CN101383049B - 图像处理装置及图像处理方法 - Google Patents

Abstract

本发明公开一种图像处理装置和图像处理方法，该图像处理装置包括：存储单元、接收单元、搜索单元、处理单元及输出单元。所述存储单元存储所绘制的图像元素的信息。所述接收单元接收变换指令，所述变换指令用于对由所述图像元素的信息指定的图像元素的一部分进行变换；所述搜索单元从所述存储单元中搜索下述图像元素：(i)所述图像元素与作为变换指令的对象的图像元素具有基于预定条件的关系，并且(ii)所述图像元素不是变换指令的对象。所述处理单元基于所接收到的变换指令对(i)作为所接收到的变换指令的对象的图像元素以及(ii)作为搜索结果被找到的图像元素进行变换处理。所述输出单元输出所述变换处理的结果。

Description

图像处理装置及图像处理方法

技术领域

本发明涉及图像处理装置和图像处理方法。

背景技术

JP 2001-312261A描述了接收手绘图形等和对表示该图形的图像进行显示的技术。

当接收到手绘图形的信息、选择所接收到的图形信息的一部分，并且接收到对由所选择的信息指定的图形进行放大、缩小等处理的变换指令时，不对未选择的图形进行变换。因此，会破坏彼此相关的图形之间的相对位置。

发明内容

[1]根据本发明的一个方面，提供一种图像处理装置，该图像处理装置包括：存储单元、接收单元、搜索单元、处理单元及输出单元。所述存储单元存储所绘制的多个图像元素的信息。所述接收单元接收变换指令，所述变换指令用于对由所述多个图像元素的信息指定的图像元素的一部分进行变换。所述搜索单元从所述存储单元中搜索下述图像元素：(i)所述图像元素与作为所述变换指令的对象的图像元素具有基于预定条件的关系，且(ii)所述图像元素不是所述变换指令的对象。所述处理单元基于所接收到的变换指令对(i)作为所接收到的变换指令的对象的图像元素以及(ii)作为搜索结果被找到的图像元素进行变换处理。输出单元输出所述变换处理的结果。

根据第[1]项所描述的构造，基于预定条件，与作为变换指令的对象的图像元素一起搜索要变换的图像元素。因此，与不具有第[1]项所描述的构造的情况相比，可以防止破坏彼此相关的图形之间的相对位置。

[2]所述搜索单元可以从所述存储单元中搜索下述图像元素：(i)所述图像元素与作为所述变换指令的对象的图像元素具有这样的关系作为基于预定条件的关系：所述图像元素的至少一部分与作为所述变换指令的对象的图像元素重叠，并且(ii)所述图像元素不是所述变换指令的对象。

根据第[2]项所描述的构造，与不具有第[2]项所描述的构造的情况相比，可以通过选择至少彼此部分重叠的图像元素作为彼此相关的图形，来防止破坏具有这种关系的图形之间的相对位置。

[3]所述搜索单元可以从所述存储单元中搜索下述图像元素：(i)所述图像元素具有这样的关系作为基于预定条件的关系：所述图像元素被作为所述变换指令的对象的图像元素包围，并且(ii)所述图像元素不是所述变换指令的对象。

根据第[3]项所描述的构造，与不具有第[3]项所描述的构造的情况相比，可以通过选择被作为所述变换指令的对象的图像元素包围的图像元素作为要变换的图形，来防止破坏具有这种关系的图形之间的相对位置。

[4]所述存储单元可以为每个图像元素存储与绘制日期和时间相关的信息。所述搜索单元可以从所述存储单元中搜索下述图像元素：(i)所述图像元素具有基于下述条件的关系，所述条件包括与绘制日期和时间条件相关的条件作为预定条件，并且(ii)所述图像元素不是所述变换指令的对象。

根据第[4]项所描述的构造，与不具有第[4]项所描述的构造的情况相比，可以通过基于包括绘制日期和时间的条件选择要变换的图像元素，来防止破坏基于绘制时间的间隔而被认为彼此相关的图形之间的相对位置。

[5]根据本发明的第二方面，提供一种图像处理方法，该图像处理方法包括：接收变换指令，所述变换指令用于对由多个图像元素的信息指定的多个图像元素的一部分进行变换，其中，所述多个图像元素的信息存储在存储单元中；从所述存储单元中搜索下述图像元素：(i)所述图像元素与作为所述变换指令的对象的图像元素具有基于预定条件的关系，并且(ii)所述图像元素不是所述变换指令的对象；基于所接收到的变换指令对(i)作为所接收到的变换指令的对象的图像元素以及(ii)作为搜索结果被找到的图像元素进行变换处理；以及输出所述变换处理的结果。

根据第[5]项所描述的方法，基于预定条件，与作为变换指令的对象的图像元素一起搜索要变换的图像元素。因此，与不具有第[5]项所描述的方法的情况相比，可以防止破坏彼此相关的图形之间的相对位置。

[6]在第[5]项所描述的图像处理方法中，所述搜索步骤可以是从所述存储单元中搜索下述图像元素：(i)所述图像元素与作为所述变换指令的对象的图像元素具有这样的关系作为基于预定条件的关系：所述图像元素的至少一部分与作为所述变换指令的对象的图像元素重叠，并且(ii)所述图像元素不是所述变换指令的对象。

根据第[6]项所描述的方法，与不具有第[6]项所描述的方法的情况相比，可以通过选择至少彼此部分重叠的图像元素作为彼此相关的图形，来防止破坏具有这种关系的图形之间的相对位置。

[7]在第[5]项或第[6]项所描述的图像处理方法中，所述搜索可以是从所述存储单元中搜索下述图像元素：(i)所述图像元素具有这样的关系作为基于预定条件的关系：所述图像元素被作为所述变换指令的对象的图像元素包围，并且(ii)所述图像元素不是所述变换指令的对象。

根据第[7]项所描述的方法，与不具有第[7]项所描述的方法的情况相比，可以通过选择被作为所述变换指令的对象的图像元素包围的图像元素作为要变换的图形，来防止破坏具有这种关系的图形之间的相对位置。

附图说明

以下将参照附图详细说明本发明的示例性实施例，其中：

图1是示出根据本发明示例性实施例的图像处理装置的构造的框图；

图2是示出根据本发明示例性实施例的图像处理装置的实例的功能框图；

图3是示出存储在根据本发明示例性实施例的图像处理装置中的图像元素信息实例的说明图；

图4是示出根据本发明示例性实施例的图像处理装置的处理实例中的目标平面实例的简图；

图5是示出通过根据本发明示例性实施例的图像处理装置生成的图像元素关系表的实例的简图；

图6是示出可通过根据本发明示例性实施例的图像处理装置绘制的图像元素实例的简图；

图7是示出根据本发明示例性实施例的图像处理装置的操作的流程图；以及

图8是示出已通过根据本发明示例性实施例的图像处理装置变换的图像元素实例的简图。

具体实施方式

以下将参照附图说明本发明的示例性实施例。

如图1所示，根据本发明示例性实施例的图像处理装置1包括控制部11、存储部12、输入部13及显示部14。

控制部11是例如CPU(中央处理器)等程序控制装置，并且根据存储在存储部12中的程序进行操作。控制部11接收用于绘制例如字符或图形等图像元素的绘制指令。根据绘制指令而绘制的图像元素存储在存储部12中。控制部11还接收变换指令，该变换指令用于对图像元素的一部分进行变换，并从存储部12中搜索下述图像元素：(i)该图像元素与作为变换指令的对象的图像元素具有基于预定条件的关系，并且(ii)该图像元素不是变换指令的对象。然后，控制部11对(i)作为变换指令的对象的图像元素以及(ii)作为搜索结果被找到的图像元素进行变换处理，并输出变换结果。控制部11的具体处理将在后面进行说明。

存储部12包括例如RAM(随机存取存储器)和/或硬盘等存储装置。存储部12存储将要通过控制部11执行的程序。该程序可以设置为存储在例如DVD-ROM等存储介质中的状态，并且可以复制到存储部12。基于控制部11接收到的绘制指令而绘制的图像元素的信息存储在存储部12中。

输入部13可以包括鼠标和键盘，还可以包括写字板。输入部13接收用户的指令并将接收到的指令输出到控制部11。例如，输入部13将绘制在写字板上的图形的信息输出到控制部11。

显示部14包括显示装置，并且根据从控制部11输入的指令来显示例如图像元素等多种信息。显示装置可以布置为使用户能够通过输入部13的写字板来识别所显示的内容。

以下说明通过控制部11进行的处理的细节。如图2所示，控制部11在功能上包括绘制指令接收部21、图像元素存储部22、图像输出部23、变换对象接收部24、变换操作接收部25、图像元素关系设定部26、搜索部27以及变换处理部28。

绘制指令接收部21根据用户通过输入部13进行的输入操作接收用于绘制字符(多个字符)和/或图形(多个图形)的绘制指令。例如，绘制指令接收部21接收这样的绘制指令，该绘制指令用于在用户使用写字板或鼠标指定的坐标处绘制通过键盘输入的字符串。绘制指令接收部21根据鼠标和/或写字板的操作接收用于绘制例如圆形、矩形和手绘线条等图形(多个图形)的绘制指令。

图像元素存储部22基于绘制指令接收部21接收到的绘制指令生成唯一的识别符(图像元素识别符)。图像元素存储部22基于绘制指令生成图像元素的信息，并将图像元素的信息与图像元素识别符彼此关联地存储在存储部12中。例如，图像元素的信息可以是用于根据绘制指令指定要绘制的图形(多个图形)的矢量信息(一组坐标信息)。基于所输入的绘制指令生成用于绘制字符串和/或图形的矢量信息的技术是公知的，故省略其详细说明。

图像元素存储部22可以从时钟部(未示出)获取表示矢量信息存储在存储部12中时的绘制时间的日期和时间信息，并且可以将所获取的日期和时间信息与矢量信息相关联地进行记录。

也就是说，如图3所示，图像元素识别符(ID)、矢量信息(V)以及日期和时间信息(T)彼此关联地存储在存储部12中。

图像输出部23生成其中绘制了存储在存储部12中的图像元素的显示画面，并且将所生成的显示画面输出到显示部14。变换对象接收部24接收用于选择绘制在显示画面中的图像元素的一部分的指令操作，并将所选择的图像元素设定为变换对象。例如，变换对象接收部24指定在鼠标等进行点击操作的位置绘制的图像元素，并将所指定的图像元素设定为变换对象。

变换操作接收部25接收包括对图像元素(多个图像元素)进行变换的处理指令。这种处理的实例包括图像元素的旋转、字符串排列方向的改变(从横向书写变为竖向书写等)以及图像元素尺寸的改变。

图像元素关系设定部26在存储部12中预留用于存储绘制平面(也可以称为“目标平面”)的区域。目标平面可以在分辨率上低于显示画面。例如，当显示画面具有800×600像素时，目标平面可以是100×75像素的像素组。

图像元素关系设定部26基于存储在存储部12中的图像元素在目标平面上绘制图像元素。此时，无论由图像元素指定的颜色如何，图像元素识别符为X的图像元素的像素值都设定为X。当多个图像元素的图形绘制在相同像素中时，该多个图像元素的图像元素识别符记录在该像素中。因此，例如，当

(1)图像元素识别符为“1”且具有矩形形状的图像元素E1、

(2)图像元素识别符为“2”且具有椭圆形状的图像元素E2以及

(3)图像元素识别符为“3”且被图像元素E2的椭圆包围的图像元素E3

存储在存储部12中时，图4所示的图像绘制在目标平面上。

图像元素关系设定部26沿着主扫描方向(例如从左到右)提取目标平面的一行。然后，图像元素关系设定部26选择存储在存储部12中的图像元素之一作为当前元素(假定Op[i]表示第i个被选择的当前元素的图像元素识别符)。当在假定最左边的像素是第0个像素的情况下扫描所提取的行时，图像元素关系设定部26搜索当前元素的图像元素识别符为Op[i]的像素。无论图像元素关系设定部26在何时找到像素值为Op[i]的像素，图像元素关系设定部26都累计并记录所找到的像素的位置(若所找到的像素是从左端起第x个像素，则为x)。在下文中，将第k个被记录的像素的位置称为R[i，k]。

图像元素关系设定部26准备记录R[i，k](k＝1，2，…)，然后提取一对记录，即：奇数记录R[i，2n-1](n＝1，2，…)及在其之后的偶数记录R[i，2n](n＝1，2，…)。当不存在奇数记录之后的偶数记录时，不进行提取。

在选择各个图像元素作为当前元素的同时，对存储在存储部12中的图像元素进行上述处理。

图像元素关系设定部26对从目标平面中最上面一行起提取的第p行进行上述处理。如果在所提取的记录中存在一组i和j(i≠j)满足R[i，2n-1]＜R[j，2m-1]＜R[j，2m]＜R[i，2n]，则图像元素关系设定部26暂时判定图像元素Op[j]包含在图像元素Op[i]中，并将表示图像元素Op[j]包含在图像元素Op[i]中的信息与识别该行的值p相关联地进行记录。

图像元素关系设定部26对目标平面的所有行进行上述处理。如果记录有表示图像元素Op[j]包含在图像元素Op[i]中的信息，并且未记录表示图像元素Op[i]包含在图像元素Op[j]中的信息，则图像元素关系设定部26记录表示图像元素Op[j]包含在图像元素Op[i]中的信息。

如果记录有(a)表示图像元素Op[j]包含在图像元素Op[i]中的信息和(b)表示图像元素Op[i]包含在图像元素Op[j]中的信息这两种信息，则图像元素关系设定部26记录表示图像元素Op[j]与图像元素Op[i]彼此相交的信息。

这种记录可以生成图像元素关系表，该图像元素关系表将包含在各个图像元素识别符中的图像元素识别符和与各个图像元素识别符相交的图像元素识别符与各个图像元素识别符相关联地存储(见图5)。

例如，在图4所示的目标平面中，由于图像元素识别符为“1”的像素位于p＝5的行，所以获得第3个和第19个位置，即R[1，1]＝3及R[1，2]＝19。此外，还在这一行中获得R[2，1]＝4及R[2，2]＝18。因此，若i＝1且j＝2，则满足R[i，2n-1]＜R[j，2m-1]＜R[j，2m]＜R[i，2n]，表示图像元素识别符为“2”的图像元素包含在图像元素识别符为“1”的图像元素中的临时信息与p＝5相关联地进行记录。

然而，在p＝7的行上，R[1，1]＝3、R[1，2]＝19、R[2，1]＝2，R[2，2]＝20。若i＝2且j＝1，则满足R[i，2n-1]＜R[j，2m-1]＜R[j，2m]＜R[i，2n]。因此，表示图像元素识别符为“1”的图像元素包含在图像元素识别符为“2”的图像元素中的临时信息与p＝7相关联地进行记录。由于记录有(a)图像元素识别符为“2”的图像元素包含在图像元素识别符为“1”的图像元素中的临时信息和(b)图像元素识别符为“1”的图像元素包含在图像元素识别符为“2”的图像元素中的临时信息，所以图像元素关系设定部26判定图像元素识别符为“1”的图像元素与图像元素识别符为“2”的图像元素彼此相交。

另一方面，在从p＝7到p＝10的各行中，当i＝1或2且j＝3时，满足R[i，2n-1]＜R[j，2m-1]＜R[j，2m]＜R[i，2n]，并且不存在其它记录。因此，图像元素关系设定部26判定图像元素识别符为“1”或“2”的图像元素包含图像元素识别符为“3”的图像元素。

作为上述相交判定或与之组合的替代，例如，如果其中记录有多个图像元素识别符的某个像素包含在目标平面中，则图像元素关系设定部26可以判定：由记录在该某个像素中的该多个图像元素识别符识别的图像元素彼此相交。

图像元素关系设定部26可以在用户给出绘制指令时进行上述处理。

搜索部27接收通过变换对象接收部24设定为变换对象的图像元素的图像元素识别符。然后，搜索部27在图5所示的图像元素关系表中搜索包含在由所接收到的图像元素识别符指定的图像元素中的图像元素或与由所接收到的图像元素识别符指定的图像元素相交的图像元素。然后，搜索部27将搜索结果输出到变换处理部28。

即使一对图像元素被记录为彼此相交的图像元素但是该对图像元素之间的尺寸差大于预定阈值，搜索部27也可以认为这样的图像元素是彼此不相交的图像元素，并从搜索结果中排除这样的图像元素。

如果图像元素关系设定部26判定该对图像元素为彼此相交的图像元素但是该对图像元素之间的尺寸差大于预定阈值，则图像元素关系设定部26可以认为这样的图像元素彼此不相交，而也可以不将这样的图像元素记录在图像元素关系表中。

此外，即使一对图像元素被记录为相交或包含的图像元素，搜索部27也可以参考这些图像元素的绘制时间，并从搜索结果中排除以大于预定阈值的时间间隔进行绘制操作的图像元素。

变换处理部28基于变换操作接收部25接收到的变换指令，对(i)由变换对象接收部24设定的图像元素和(ii)由从搜索部27输出的搜索结果指定的图像元素进行变换处理。

接下来，将在以下对根据本示例性实施例的图像处理装置1的操作进行说明。用户操作图像处理装置1的输入部13以输入字符(多个字符)和/或图形(多个图形)。例如，假定首先绘制第一矩形，然后绘制包围第一矩形的第二矩形，绘制与第二矩形相交的椭圆，并在远离这些图形的位置书写字符串(见图6)。在这种情况下：

(1)图像元素识别符为“1”且具有矩形形状的图像元素E1(第一矩形)；

(2)图像元素识别符为“2”且具有包围图像元素E1的矩形形状的图像元素E2(第二矩形)；

(3)图像元素识别符为“3”且具有包围图像元素E1并与图像元素E2相交的椭圆形状的图像元素E3；以及

(4)图像元素识别符为“4”且具有与上述图像元素E1至E3无任何包含或相交关系的字符串的图像元素E4连同各自的绘制时间进行记录。

当用户选择第二矩形来改变第二矩形(图像元素E2)的形状时，图像处理装置1以如下方式进行操作。如图7所示，当接收到用于对第二矩形进行变换的变换指令时(S1)，图像处理装置1从存储在存储部12中的图像元素中搜索下述图像元素：(i)该图像元素与第二矩形具有基于预定条件的关系，并且(ii)该图像元素不是变换指令的对象(S2)。

如上所述，在这里搜索与第二矩形相交或包含在第二矩形中的图像元素。于是，找到图像元素E1的第一矩形和图像元素E3的椭圆作为搜索结果。

如同被指定为变换对象的第二矩形一样，图像处理装置1选择通过搜索找到的第一矩形和椭圆作为变换对象(S3)。然后，图像处理装置1根据用户的指令进行变换处理(S4)。例如，当以用户指定的点作为放大/缩小中心对图像元素E2进行放大或缩小操作时，图像处理装置1进行变换处理，以便以相同点作为放大/缩小中心对图像元素E1和E3进行放大或缩小操作。图像处理装置1在显示部14上显示经变换的图像元素(S5)。

因此，例如当用户对对象进行竖向上的两倍放大操作时，如图8所示，图像元素E1、E2和E3在竖向上被放大两倍，而图像元素E4未经变换。

可以对用图像元素表示的各个图形以预先定义的方法变换图像元素。例如，在贝塞尔曲线中，控制点的位置可以根据放大或缩小比例而移动。例如，假定控制点的坐标是(Cx，Cy)，并且被指定为放大/缩小中心点的位置的坐标为(Px，Py)。若放大/缩小比例为η，则新控制点的位置为(C’x，C’y)＝(Px，Py)+η{(Cx，Cy)-(Px，Py)}。

另外，可以在排列图像元素的坐标系中设置虚拟格点。与上述控制点相似，假定格点C(Cx，Cy)的坐标移动到新位置(C’x，C’y)＝(Px，Py)+η{(Cx，Cy)-(Px，Py)}。在这种情况下，控制点可以移动相同的距离(C’x，C’y)-(Cx，Cy)，其中(Cx，Cy)是最接近于控制点的格点。

尽管已经说明了要进行变换处理的图像元素是通过图像处理装置1的输入部13输入的并且图像元素显示在显示部14上，然而本发明不局限于此。也可以通过例如网络等通信装置输入图像元素的信息或接收变换指令。类似地，图像元素也可以显示在经由通信装置连接的外部装置上。

变换操作不局限于用户以显性方式进行的变换操作。即使通过例如将字符串的横向书写变为竖向书写的另一项操作改变了尺寸，也可以搜索与该字符串的图像元素具有预定关系(相交或包含)的另一个图像元素，并且可以以与该字符串的尺寸变化相同的比例改变所找到的图像元素的尺寸。

根据本示例性实施例的图像处理装置1，与不具有根据本示例性实施例的构造的情况相比，可以减少对彼此相关的图形之间相对位置的破坏。

Claims (8)

1.一种图像处理装置，包括：

存储单元，其存储所绘制的多个图像元素的信息；

接收单元，其接收变换指令，所述变换指令用于对由所述多个图像元素的信息指定的图像元素的一部分进行变换；

搜索单元，其从所述存储单元中搜索下述图像元素，(i)所述图像元素与作为所述变换指令的对象的图像元素具有基于预定条件的关系，并且(ii)所述图像元素不是所述变换指令的对象；

处理单元，其基于所接收到的变换指令对(i)作为所接收到的变换指令的对象的图像元素以及(ii)作为搜索结果被找到的图像元素进行变换处理，使得防止破坏作为所接收到的变换指令的对象的图像元素和作为搜索结果被找到的图像元素之间的相对位置；以及

输出单元，其输出所述变换处理的结果。

2.根据权利要求1所述的图像处理装置，其中，

所述搜索单元从所述存储单元中搜索下述图像元素，(i)所述图像元素与作为所述变换指令的对象的图像元素具有这样的关系作为基于预定条件的关系：所述图像元素的至少一部分与作为所述变换指令的对象的图像元素重叠，并且(ii)所述图像元素不是所述变换指令的对象。

3.根据权利要求1所述的图像处理装置，其中，

所述搜索单元从所述存储单元中搜索下述图像元素，(i)所述图像元素具有这样的关系作为基于预定条件的关系：所述图像元素被作为所述变换指令的对象的图像元素包围，并且(ii)所述图像元素不是所述变换指令的对象。

4.根据权利要求1所述的图像处理装置，其中，

所述存储单元为每个图像元素存储与绘制日期和时间相关的信息，并且

所述搜索单元从所述存储单元中搜索下述图像元素，(i)所述图像元素具有基于下述条件的关系，所述条件包括与绘制日期和时间条件相关的条件作为预定条件，并且(ii)所述图像元素不是所述变换指令的对象。

5.根据权利要求1所述的图像处理装置，其中，

所述存储单元为每个图像元素存储与绘制日期和时间相关的信息，并且

所述搜索单元从所述存储单元中搜索下述图像元素，(i)所述图像元素具有基于下述条件的关系，所述条件包括与绘制日期和时间条件相关的条件作为预定条件，并且(ii)所述图像元素不是所述变换指令的对象。

6.一种图像处理方法，包括：

接收变换指令，所述变换指令用于对由多个图像元素的信息指定的所述多个图像元素的一部分进行变换，其中，所述多个图像元素的所述信息存储在存储单元中；

从所述存储单元中搜索下述图像元素，(i)所述图像元素与作为所述变换指令的对象的图像元素具有基于预定条件的关系，并且(ii)所述图像元素不是所述变换指令的对象；

基于所接收到的变换指令对(i)作为所接收到的变换指令的对象的图像元素以及(ii)作为搜索结果被找到的图像元素进行变换处理，使得防止破坏作为所接收到的变换指令的对象的图像元素和作为搜索结果被找到的图像元素之间的相对位置；以及

输出所述变换处理的结果。

7.根据权利要求6所述的图像处理方法，其中，

所述搜索步骤从所述存储单元中搜索下述图像元素，(i)所述图像元素与作为所述变换指令的对象的图像元素具有这样的关系作为基于预定条件的关系：所述图像元素的至少一部分与作为所述变换指令的对象的图像元素重叠，并且(ii)所述图像元素不是所述变换指令的对象。

8.根据权利要求6所述的图像处理方法，其中，

所述搜索步骤从所述存储单元中搜索下述图像元素，(i)所述图像元素具有这样的关系作为基于预定条件的关系：所述图像元素被作为所述变换指令的对象的图像元素包围，并且(ii)所述图像元素不是所述变换指令的对象。

Images