CN102131020B - 图像处理设备和图像处理方法 - Google Patents

Abstract

本发明提供图像处理设备和图像处理方法。根据本发明，能够产生如下电子文档数据，该电子文档数据能够强调通过搜索检测到的对象，使得用户可容易地识别该对象。图像处理设备从输入图像中提取对象，并提取与该对象相关的元数据。图像处理设备在确定使用根据对象的形状的形状进行描述时，产生使用根据对象的形状的形状而描述的框的向量路径描述。然后，图像处理设备产生电子文档，该电子文档包括输入图像的数据和与元数据相关联的框的向量路径描述。当对产生的电子文档进行关键字搜索时，根据与和关键字匹配的元数据相关联的框的向量路径描述进行强调显示。

Description

图像处理设备和图像处理方法

技术领域

本发明涉及用于产生可从文档图像中搜索对象的电子文档数据的图像处理设备和图像处理方法。

背景技术

传统上，为了便于使用文档图像中除字符之外的对象(例如照片、图画、线条画、表等)，已知一种用于使得能够搜索对象的技术。在以下描述中，除非另有描述，否则“对象”指的是除字符之外的对象。

在日本特开H11-306197(1999)号公报中，从文档图像中提取诸如图画、图形等的对象，并且确定在对象附近是否存在说明(caption)字符串(解释对象的字符串)。当存在说明字符串时，将说明字符串与对象相关联，使得可搜索对象。

当在一般文档图像中与对象相邻的说明是图编号(例如“图1”、“图片1”等)时，相同图编号的字符串也被写入正文文本中以解释该对象。换句话说，与说明中写入的图编号相同的表达也被写入正文文本中。日本特开H10-228473(1998)号公报公开了一种自动产生说明中的图编号和正文文本中的图编号之间的链接以形成超文本的技术。在该技术中，例如，当在与对象相邻的说明中包括图编号“图1”并且在正文文本中存在语句“图1是AAA”时，在说明“图1”和正文文本中的“图1”之间产生超链接。日本特开H10-228473(1998)号公报还描述了在对象和与对象相关的正文文本之间自动产生链接，并且产生超文本文档。

当与元数据相关联的对象经过JPEG压缩等压缩，并且存储在一个电子文档中时，作为具有小量数据的一个电子文档产生对象。当该电子文档被应用使用时，可以使用说明字符串作为搜索关键字，从元数据中搜索对象。

另一方面，在说明字符串作为元数据被分别给予对象并且可搜索除字符之外的对象的电子文档中，当进行关键字搜索时，期望作为搜索结果的对象被强调。

然而，要搜索的对象是具有各种颜色和形状的照片、图画、表等。因此，因为由于对象的原始颜色和形状，对象的强调不明显，所以用户可能难以识别搜索中找到的对象。例如，当使用以红色外接矩形来对搜索到的对象的轮廓上色的强调方法时，如果在搜索中找到了包括许多红色的矩形照片对象，则对搜索结果的强调以与照片相同的颜色与照片区域接触，使得强调变得不明显。因此，用户识别搜索中找到的对象非常困难。另外，当对象的尺寸小，或存在多个彼此相邻的对象时，不能直观地识别搜索中找到的对象，因此存在不能期望改进搜索效率的问题(参照图17A和17C)。

因此，在产生可通过关键字搜索除字符之外的对象的电子文档数据的过程中，需要如下电子文档数据产生方法，在搜索中，该方法进行对象的强调，使得在保持要搜索的对象的形状和数据状态的同时，用户可以容易地识别对象。

发明内容

根据本发明的图像处理设备包括：对象提取单元，被配置成从输入图像中提取对象；元数据提取单元，被配置成提取与所述对象相关的元数据；确定单元，被配置成确定是使用根据所述对象的形状的形状来描述框的向量路径描述，还是使用根据预定形状的形状来描述框的向量路径描述；框产生单元，被配置成在所述确定单元确定使用根据所述对象的形状的形状进行描述时，产生使用根据所述对象的形状的形状而描述的框的向量路径描述，而在所述确定单元确定使用根据所述预定形状的形状进行描述时，产生使用根据所述预定形状的形状而描述的框的向量路径描述；以及文档产生单元，被配置成产生电子文档，该电子文档包括所述输入图像的数据和与所述元数据相关联的所述框的向量路径描述，其中，当对所述电子文档进行关键字搜索时，根据与和所述关键字匹配的元数据相关联的所述框的向量路径描述，进行强调显示。

根据本发明的图像处理设备包括：对象提取单元，被配置成从输入图像中提取对象；元数据提取单元，被配置成提取与所述对象相关的元数据；框产生单元，被配置成产生使用与所述对象的形状的外部轮廓相似的形状来描述的框的向量路径描述；以及文档产生单元，被配置成产生电子文档，该电子文档包括所述输入图像的数据和与所述元数据相关联的所述框的向量路径描述，其中，当对所述电子文档进行关键字搜索时，根据与和所述关键字匹配的元数据相关联的所述框的向量路径描述进行强调显示。根据本发明的图像处理设备包括：被配置成从输入图像中提取对象并且获得区域信息的单元，所述区域信息是关于所述对象的信息；被配置成产生透明框的向量路径描述的单元，所述透明框使用根据所获得的区域信息的形状来外接所提取的对象；以及被配置成由所述输入图像产生包括所产生的透明框的向量路径描述的电子文档的单元，其中，所产生的透明框的向量路径描述包括在从所产生的电子文档中进行搜索并且作为搜索结果检测到对象时用于强调所述框的强调颜色的参数描述。

根据本发明的图像处理设备包括：被配置成从输入图像中提取对象并且获得区域信息的单元，所述区域信息是关于所述对象的信息；被配置成产生透明框的向量路径描述的单元，所述透明框使用根据所获得的区域信息的形状来外接所提取的对象；以及被配置成由所述输入图像产生包括所产生的透明框的向量路径描述的电子文档的单元，其中，所产生的透明框的向量路径描述包括在从所产生的电子文档中进行搜索并且作为搜索结果检测到对象时用于强调所述框的强调颜色的参数描述。

根据本发明，能够提供用于产生如下电子文档数据的图像处理设备和图像处理方法，在该电子文档数据中可强调搜索中找到的对象，使得用户可容易地识别对象。

通过以下对示例性实施例的描述(参照附图)，本发明的其它特征将变得明显。

附图说明

图1是示出图像处理系统的配置示例的框图；

图2是示出MFP的配置示例的框图；

图3是示出数据处理单元的配置示例的框图；

图4是示出格式转换单元的配置示例的框图；

图5A和5B是示出对输入图像数据进行的区域划分的结果的示例的图；

图6是示出输出到输入图像数据的电子文档数据的示例的图；

图7A至7D是示出作为格式转换单元的控制信息的对应表的示例的图；

图8是示出图像处理系统中进行的整个处理的概要的流程图；

图9A和9B是示出对4页输入图像数据进行的区域划分的结果的示例的图；

图10是用于解释元数据处理单元的处理的流程图；

图11是用于解释格式转换单元的处理的流程图；

图12是用于解释电子文档描述产生单元的处理的流程图；

图13A和13B是示出图形数据的示例的图；

图14是示出输出到输入图像数据的电子文档数据的示例的图示；

图15是示出图15A和15B的关系的图；

图15A和15B是示出输出到输入图像数据的电子文档数据的示例的图示；

图16A至16D是用于浏览/搜索电子文档数据的应用的画面显示示例；

图17A至17D是用于浏览/搜索电子文档数据的应用的画面显示示例；

图18是用于解释根据本发明第三实施例的参数描述产生处理的流程图；

图19是示出根据本发明第三实施例的处理结果的示例的图示；

图20是用于解释根据本发明第四实施例的参数描述产生处理的流程图；

图21A至21D是示出根据本发明第四实施例的处理结果的示例的图示；

图22是用于解释根据本发明第五实施例的图4中的向量转换处理单元402的处理的流程图；

图23A至23C是示出根据本发明第五实施例的处理结果的示例的图示；

图24是用于解释根据本发明第六实施例的向量转换处理单元的流程图；

图25是用于解释根据本发明第六实施例的向量转换处理单元的流程图；

图26是示出根据本发明第六实施例的处理结果的示例的图示；以及

图27A和27B是示出根据本发明第七实施例的用户接口(UI)画面的示例的图示。

具体实施方式

以下参照附图详细描述本发明的优选实施例。然而，实施例中描述的构成元素仅是示例，而不限制本发明的范围。

(第一实施例)

首先，描述用于实现本发明的第一实施例。

[图像处理系统的配置]

图1是示出根据本实施例的图像处理系统的配置的框图。

在图1中，作为用于实现多个功能(复印功能、打印功能、发送功能等)的多功能装置的MFP(Multi Function Peripheral，多功能外围设备)100连接到办公室A中构造的LAN 102。LAN 102还通过代理服务器103连接到外部网络104。客户PC 101通过LAN 102接收从MFP 100发送的数据，使用MFP 100的功能等等。例如，客户PC 101可将打印数据发送给MFP 100，并通过MFP 100基于打印数据对打印材料进行打印。图1的配置是示例，具有与办公室A中相同构成元素的多个办公室可连接到网络104。网络104是一般由因特网、LAN、WAN、电话线、专用数字线、ATM(异步传输模式，Asynchronous Transfer Mode)、帧中继线、通信卫星频道、线缆TV线、用于数据广播的无线电路等实现的通信网络。换句话说，网络104可以是能够发送和接收数据的任何事物。客户PC 101和代理服务器103的各种终端包括通用计算机中安装的典型构成元素。例如，构成元素是CPU、RAM、ROM、硬盘、外部存储装置、网络接口、显示器、键盘、鼠标等。

图2是示出作为根据本实施例的图像处理设备的MFP 100的详细配置的图。

MFP 100包括作为图像输入装置的扫描器单元201，作为图像输出装置的打印机单元202，包括CPU 205等的控制器单元204，以及作为用户接口的操作单元203等。控制器单元204是通过连接到扫描器单元201、打印机单元202以及操作单元203，另一方面连接到LAN 219和作为一般电话网络的公共线(WAN)220，来进行图像信息和装置信息的输入/输出的控制器。CPU 205控制包括在控制器单元204中的各个单元。RAM206是CPU 205用来工作的系统工作存储器，并且还是用于暂时存储图像数据的图像存储器。ROM 210是存储诸如系统的引导程序的程序的引导ROM。存储单元211是存储系统控制软件和图像数据的硬盘驱动器。操作单元I/F 207是与操作单元(UI)203的接口单元，并将要在操作单元203上显示的图像数据输出到操作单元203。此外，操作单元I/F 207具有如下角色：将图像处理设备的用户从操作单元203输入的信息发送到CPU 205。网络I/F 208将图像处理设备连接到LAN 219，并进行包(packet)类型信息的输入/输出。调制解调器209将图像处理设备连接到WAN 220，并通过进行数据解调/调制来进行信息的输入/输出。上述装置布置在系统总线221上。

图像总线I/F 212是连接系统总线221和图像总线222的总线桥，图像总线222高速传输图像数据，图像总线I/F 212对数据结构进行转换。图像总线222由例如PCI总线或IEEE1394总线形成。以下所述的装置布置在图像总线222上。光栅图像处理器(RIP)213分析PDL(页面描述语言)代码并进行所谓的绘制(rendering)处理，在绘制处理中PDL代码被转换成指定分辨率的位图图像。当进行转换时，属性信息被添加到各个像素或各个区域。该处理被称为图像区域确定处理。通过图像区域确定处理，代表对象类型(例如字符(文本)、线、图形或图像)的属性信息被添加到各个像素或各个区域。例如，根据PDL代码中的PDL描述的对象类型从RIP 213输出图像区域信号。与对应于对象的像素或区域相关联地存储与信号值指示的属性相对应的属性信息。因此，图像数据附有相关联的属性信息。装置I/F 214通过信号线223将作为图像输入装置的扫描器单元201连接到控制器单元204。此外，装置I/F 214通过信号线224将作为图像输出装置的打印机单元202连接到控制器单元204。装置I/F 214进行图像数据的同步/异步转换。扫描器图像处理单元215对输入图像数据进行校正、修改和编辑。打印机图像处理单元216根据打印机单元202对要输出到打印机单元202的打印输出图像数据进行校正和分辨率转换。图像旋转单元217旋转输入图像数据，使得图像正直(upright)，并输出结果图像数据。以下描述数据处理单元218。

[处理单元的配置]

接着，参照图3详细描述图2中的数据处理单元218。数据处理单元218包括区域划分单元(区域提取单元)301、属性信息添加单元302、字符识别单元303、元数据处理单元304和格式转换单元305。在数据处理单元218中，输入扫描器单元201扫描的图像数据300，并且通过各个处理单元301至305处理图像数据300。因而，处理单元218产生并输出电子文档数据310。以这种方式，数据处理单元218进行文档产生。

图2中的扫描器单元201扫描的图像数据或存储单元211中存储的图像数据(文档图像)被输入到区域划分单元301。区域划分单元301对数据中的像素进行提取/分组处理，以从输入图像中提取设置在页中的对象(例如字符、照片、图画和表)的区域(对象区域)。此外，区域划分单元301提取对象区域的属性信息和尺寸以及指示在对象区域附近是否存在其他对象的信息，并将提取的信息作为区域信息存储在存储单元211中。

在这种情况下，作为区域提取方法(对象提取方法、区域划分方法)，可使用公知的方法。根据示例方法，该方法将输入图像二值化，以产生二值图像，并减小二值图像的分辨率，以产生稀疏(thinned)图像(缩小的图像)。例如，当产生1/(M×N)的稀疏图像时，该方法针对各个M×N的像素划分二值图像，如果在M×N个像素中存在黑色像素，则确定与缩小的图像相对应的像素是黑色像素，如果不存在黑色像素，则确定与缩小的图像相对应的像素是白色像素，从而产生稀疏图像。接着，该方法从稀疏图像中提取连接黑色像素(连接的黑色像素)的部分，并产生外接连接的黑色像素的矩形。如果排列了各自具有与字符图像相似尺寸的矩形(一个字符的矩形)，或如果矩形的垂直边或水平边的尺寸与字符图像尺寸相似(连接一些字符的连接的黑色像素的矩形)，并且在其短边附近布置了相似矩形，则该矩形很有可能是形成一个字符线的字符图像。在这种情况下，矩形被组合在一起，获得代表一个字符线的矩形。各自具有与代表一个字符线的矩形的短边基本相同的长度并且在列方向上以基本相等的间隔排列的矩形的集合很有可能是正文文本。因此，该方法组合矩形并提取正文文本区域。提取照片区域、图画区域和表区域，作为具有比字符图像更大的尺寸的连接黑色像素区域。结果，例如，提取了图5A中附图标记501至505指示的区域。如下所述，基于各个区域的尺寸、纵横比、黑色像素浓度、连接黑色像素区域中包含的白色像素的轮廓跟踪结果等确定各个区域的属性。

属性信息添加单元302将属性添加到区域划分单元301划分的各个区域。将使用图5A所示的图像作为输入图像数据的示例描述处理操作。在区域505中，该区域中的字符串具有预定数目的字符和线，并且字符串具有照片的形式。因此，从综合的角度看，确定区域505为正文文本，并且属性“正文文本”被添加到区域505。对于其他区域，属性信息添加单元302确定区域是否包括具有与字符图像尺寸相似尺寸的矩形。特别地，在包括字符图像的区域中，在该区域中字符图像的矩形周期性地出现。因此，能够基于存在或不存在矩形的周期性出现来确定区域是否包括字符。结果，属性信息添加单元302确定区域501和区域504是包括字符的区域，并将属性“字符区域”添加到这些区域的元数据。然而，这些区域不具有预定数目的字符和线，并且字符串不具有照片的形式。因此，不添加属性“正文文本”。

另一方面，对于除以上所述的其他区域，如果区域的尺寸极小，该区域被确定为“噪声”。此外，在属性信息添加单元302对具有较低像素浓度的连接黑色像素区域中的白色像素进行轮廓跟踪时，如果白色像素轮廓的外接矩形以良好顺序设置，则属性信息添加单元302确定该区域为“表”，如果外接矩形不以良好顺序设置，则确定该区域为“线条画”。具有更高像素浓度的其他区域被确定为图片或照片，并且添加属性“照片”。

此外，如果在“表”、“线条画”或“照片”的区域附近(以上或以下)存在被确定为不是正文文本的字符区域，则该字符区域被确定为是解释“表”、“线条画”或“照片”的区域的字符区域，从而添加属性“说明”。添加了属性“说明”的区域与被解释的区域相关联并且存储在存储装置如存储单元211中，使得可识别由说明解释的“表”、“线条画”或“照片”的区域。

如果被确定为不是正文文本的字符区域比正文文本中的字符图像大，并且位于与正文文本的列不同的位置中，则对字符区域添加属性“标题(heading)”。如果字符区域比正文文本中的字符图像大，并且位于正文文本的列以上的位置处，则添加属性“子标题”。此外，如果字符区域小于正文文本中的字符图像，并且位于原始文档的较高边缘部分或较低边缘部分处，则添加属性“页”(或“页眉”或“页脚”)。如果尽管区域被确定为字符区域，但是区域不是“正文文本”、“标题”、“子标题”、“说明”和“页”中的任何一个，则添加属性“字符”。

当进行上述属性信息添加处理时，在图5A的示例中，属性“标题”被添加到区域501，属性“表”被添加到区域502，属性“照片”被添加到区域503，伴随区域503的属性“说明”被添加到区域504，并且属性“正文文本”被添加到区域505。

字符识别单元303对包括字符图像的区域(“字符”、“正文文本”、“标题”、“子标题”或“说明”的区域)进行公知的字符识别处理。字符识别单元303将由字符识别处理获得的字符代码串作为字符信息，与目标区域相关联地存储在存储单元211中。

区域的位置和尺寸、区域的属性信息、页的信息以及作为字符识别结果的字符信息(由区域划分单元301、属性信息添加单元302和字符识别单元303的处理提取的字符代码信息)被存储在存储单元211中。图5B示出了对图5A所示的输入图像数据进行处理时存储在存储单元211中的信息的示例。尽管在图5A的解释和图5B所示的示例中省略了，但是期望在字符识别处理期间将属性“表中的字符”添加到表中的字符图像的区域，并且如图5B所示存储信息。

元数据处理单元304将属性信息添加单元302检测到的说明伴随的对象(“照片”、“线条画”、“表”等的对象)作为搜索对象的信息，与元数据相关联地存储在存储单元211中。

在该实施例中，将写在对象的说明中的字符串和写下与包括在说明中的字符(单词)相同的字符(单词)的正文文本中的语句在用于搜索对象的元数据中彼此相关联。

在该实施例中，说明标识符用来确定用作用于搜索对象的元数据的字符串。该标识符将说明伴随的对象与说明和正文文本中的字符信息相关联。作为说明标识符，可使用用于识别对象的ID(识别信息)、指定说明和正文文本中的字符信息的存储位置的位置信息(指示记录位置的地址或指示器)、参照信息(例如XMLpath或URL)等。在该实施例中，在输入一页或多页的一系列处理中，使用唯一地识别具有说明的对象的ID。例如，使用序列号等。

因此，首先，元数据处理单元304产生用于唯一地识别属性信息添加单元302检测到的说明伴随的对象的说明标识符，并且进行将标识符添加给对象的处理。

接着，元数据处理单元304从字符识别单元303输出的说明和正文文本的字符信息中，提取与对象的解释语句或关键字相对应的元数据字符串，并进行与对应的说明标识符相关联地将元数据字符串存储在存储单元211中的处理。此时，元数据处理单元304将唯一的ID添加到说明伴随的对象和元数据字符串的组合，以识别其间的相关性，从而表示其间的相关性。

以这种方式，元数据处理单元304将元数据与属性信息添加单元302检测到的说明伴随的对象相关联，并将相关联的信息存储在存储单元211中。

格式转换单元305使用从区域划分单元301、属性信息添加单元302、字符识别单元303和元数据处理单元304获得的信息，将输入图像数据300转换成预定电子文档格式。作为电子文档格式，例如可使用PDF、SVG、XPS、OfficeOpenXML等。通过格式转换产生的电子文档包括图形的页显示信息(显示图像)和使用字符的语义描述的内容信息(元数据)。

图4是示出格式转换单元305的配置示例的框图。图像滤波处理单元401对输入图像数据进行诸如平坦化、平滑化、边缘增强、颜色量化、二值化等滤波处理。向量转换处理单元402将图像数据(例如与添加了“线条画”属性的区域相对应的部分的图像)转换成向量路径描述的图形数据(向量数据)。作为将图像数据转换成向量数据的技术，可使用公知的向量化技术。图像裁切处理单元403裁切图像数据(例如与添加了“照片”属性的区域相对应的部分的图像)，作为图像部分的图形数据(例如JPEG数据)。电子文档描述产生单元404产生在搜索到对象后识别/强调搜索结果时显示的框等的图形描述(向量路径描述)。电子文档描述输出单元405以预定格式描述框的图形数据、语义描述和向量路径描述，以产生电子文档。在此，图形数据是从向量转换处理单元402和图像裁切处理单元403输出的数据。语义描述是字符识别单元303和元数据处理单元304获得的字符信息、元数据等。框的向量路径描述是电子文档描述产生单元404产生的描述。格式转换控制单元406基于存储在图2的存储单元211中的区域信息(位置、尺寸、属性)411、区域中的字符信息412和元数据413，将图像数据300中的各个区域分配到适当的处理单元401至405。然后，格式转换控制单元406进行格式转换单元305的整体控制，使得由电子文档描述输出单元405集成处理单元401至404中的各个输出的数据。

以下描述处理单元401至405中的各个的处理内容示例。

图像滤波处理单元401是用于对图像进行诸如平坦化、平滑化、边缘增强、颜色量化、二值化等公知的图像滤波处理的处理单元。图像滤波处理单元401进行由向量转换处理单元402或图像裁切处理单元403进行处理时需要的图像处理。尽管省略了具体描述，但是假定在进行向量转换处理时进行适当的图像处理，并且在进行图像裁切处理时进行适当的图像处理。

向量转换处理单元402通过向量路径描绘功能将图像区域中的目标像素组(诸如线条画和表横隔线)转换成图形描绘表达，具体地转换成向量路径描述数据。

现在描述向量转换处理的示例。首先，将要转换的图像转换成二值图像数据。例如，当要转换的图像是灰度(gray scale)图像时，通过使用图像滤波处理单元401比较亮度和预定阈值将各个像素的亮度二值化，来进行获得二值图像数据的处理。当要转换的图像包括多个颜色时，能够将图像划分成各个颜色分量，并对各个颜色产生二值图像数据。接着，对二值图像数据中彼此连接的黑色像素的组进行轮廓跟踪，以针对各个组获得轮廓坐标点阵列。随后，将轮廓坐标点阵列自适应地划分成多个区间，并且通过线性函数或曲线函数近似各个区间。曲线函数是例如样条(spline)曲线或贝塞尔(Bezier)曲线。最后，将要转换的图像转换成包括开始点、线性线条和曲线线条以及结束点的集合的向量路径描述。

向量化方法不限于上述方法，可使用任何其他公知的方法。例如，代替对轮廓进行函数近似，对线条画的中心线(core line)进行函数近似的向量化方法也是众所周知的。

对于输入图像中的目标区域，图像裁切处理单元403仅使用该区域中的像素数据产生单独的图像部分数据。当进行该处理时，能够根据该区域的特性改变像素数据或压缩方法的类型。例如，对于“线条画”或“字符”属性的区域，使用图像滤波处理单元401针对各个颜色(一个平面或多个平面的二值图像)将图像转换成二值图像，然后将二值图像转换成通过公知的二值压缩方法(例如MMR(改进的修正读取，ModifiedModified Read))压缩的数据，同时产生与添加了各个二值图像相对应的颜色信息的数据。另一方面，对于“照片”属性的区域，使用适合自然图像的压缩的JPEG或JPEG2000方法压缩图像。

关于向量转换处理单元402进行的向量转换和图像裁切处理单元403进行的图像压缩，可以设置成根据区域的属性进行其中的一者或二者。关于正文文本、标题、说明等的字符区域，当字符识别结果的相似程度高时，可以描述字符识别结果的字符代码、字符的尺寸信息、字符的位置信息等，并再现字符区域的图形。

电子文档描述产生单元404产生框等的图形描述(向量路径描述)，在浏览电子文档时不显示该图形描述，而在搜索对象时显示该图形描述以识别/强调搜索结果。当产生图形描述时，电子文档描述产生单元404分析对象的属性和尺寸以及与其他对象的关系，从而确定针对对象产生最佳强调框的方法。作为框的产生方法，存在参照对象的向量路径描述的方法和参照预先定义的预定形状(例如矩形或圆形)的向量路径描述的方法。对于透明框，可以将用于增加对象搜索结果的识别/标识效率的辅助形状的向量路径描述添加到电子文档。辅助形状包括例如指示透明框的位置的箭头标记或元数据字符串。

电子文档描述输出单元405以预定格式描述图形数据、语义描述和透明框的向量路径描述，以产生电子文档。在此，图形数据是从向量转换处理单元402和图像裁切处理单元403输出的数据。语义描述是字符识别单元303和元数据处理单元304获得的字符信息、元数据等。透明框的向量路径描述是电子文档描述产生单元404产生的描述。

图6示出了产生的电子文档数据310的示例。图6的示例示出了如下情况的示例：当处理图5A中的图像数据500的示例时，基于存储单元211中存储的图5B所示的数据使用SVG(Scalable Vector Graphics，可缩放向量图形)格式进行描述。图6中的描述601至605分别是针对图5A中的区域501至505的图形描述。在此，描述601、604和605是使用字符代码的字符描绘描述的示例。描述602是被转换成向量的框的向量路径描述。描述603是用于附着要裁切的处理的照片图像的描述的示例。描述606是用于强调照片对象503的透明框(稍后详细描述)的向量路径描述。对说明伴随的透明框对象606赋予“1”，作为说明标识符(caption_id)608。在图5B和图6的示例中，描述诸如坐标值X1、Y1等的符号的部分中的数据实际上是数值。描述607是元数据描述的示例。在元数据描述607中，“AAA”被描述为基于说明604的字符串和正文文本的字符串提取的字符串610，并且元数据描述607与和说明标识符608相同的标识符609相关联。在图6的示例中，尽管从作为包括正文文本中的单词“图1”的部分的语句“......图1是AAA......”中提取了单词“AAA”，并且单词“AAA”被定义为元数据610，但是元数据不限于单词，而语句(例如包括“图1”的一个语句)可在不改变的情况下被添加为元数据。在图6的示例中，尽管从正文文本中提取的字符串用作元数据，但是不限于此，而可以配置成使得从说明的字符串中提取的单词被进一步添加为元数据。

尽管在此处的描述中使用SVG作为示例，但是输出格式不限于SVG，而图像可被转换成PDF、XPS、Office Open XML和其他PDL系统数据格式。

以下描述格式转换控制单元406的转换处理控制的示例。

在格式转换单元305中，应当对各个区域进行的转换处理的内容根据区域的属性而改变。例如，向量转换处理适合黑色和白色或若干颜色的图画(例如字符或线条画)。然而，其不适合具有灰度级(gradation)的图像区域(例如照片)。因此，为了根据各个区域的属性进行适当的转换，可预先设置图7A至7D中所示的对应表。

例如，根据图7A的设置，在“字符”、“线条画”和“表”属性的区域上进行向量转换处理，并且在“照片”属性的区域上进行图像裁切处理。

此外，在图7A至7D的对应表中，描述了存在或不存在从图像数据300删除对应区域的像素信息的处理。例如，描述了如下情况：根据图7A的设置，“字符”属性的区域被转换成向量路径描述数据。由于“字符”属性被指定为删除处理“存在”，对图像数据300执行如下处理：以外围区域的颜色填充与转换的向量路径覆盖的部分相对应的像素。相似地，当作为矩形图像部分裁切掉“照片”属性的区域时，对图像数据300执行如下处理：以外围区域等的颜色填充与被裁切的区域相对应的区域的范围。

该删除处理的目的是使得在完成针对各个区域的处理之后(在完成填充处理之后)能够使图像数据300用作“背景”的图像部分数据。在背景图像数据(背景图像)中，保留除区域划分处理提取的区域之外的部分(例如图像数据300的基部的像素)。当描述电子文档数据时，进行描述使得向量转换处理单元402和图像裁切处理单元403获得的图形数据(前景图像)叠加在背景图像部分数据(背景图像)上。以这种方式，能够在没有背景像素(基部的颜色)的信息丢失和没有冗余的情况下配置图形数据。

图7B是对应表的另一示例。根据图7B，尽管对“字符”区域进行二值的图像裁切处理和从图像数据300的像素删除处理，但是对其它属性的区域不进行向量化处理和图像裁切处理。具体地，在背景图像部分数据中保留除处理目标之外的像素(“照片”、“线条画”和“表”属性的区域中的像素信息)，并且描述成使得“字符”的图像部分叠加在背景图像上。

图7C和7D是对应表的另一示例，并且稍后对其详细描述。

可以预先准备与图7A至7D相似的多个对应表，并且根据输出的电子文档数据的用途(使用目的)或文档的内容选择表。例如，在基于图7A的对应表的输出中，大部分对象被转换成向量路径描述，使得在放大或缩小图像时图像质量良好。因而基于图7A的对应表的输出适合图形编辑器等的再使用。当使用图7B的对应表时，能够通过针对来自字符图像的各个字符颜色产生单独的二值图像并损失更小地压缩二值图像来以高质量再现字符图像部分，并且还能够通过JPEG压缩作为背景图像的除字符图像部分之外的部分来增加数据尺寸的压缩比。因此，当期望增加压缩比并且产生其字符图像容易读取的数据时，图7B的情况是合适的。

[处理流程]

接着，参照图8的流程图描述根据本实施例的图像处理系统中进行的整个处理的概要。通过图2中的数据处理单元218(图3中的各个处理单元301至305)进行图8所示的流程图。在该实施例中，CPU 205读取并执行存储在存储单元211中的计算机程序，从而CPU 205用作数据处理单元218(图3中的各个处理单元301至305)，然而不限于此。例如，可通过硬件(例如电子电路)实现数据处理单元218(图3中的各个处理单元301至305)。

图8是将图1中的MFP 100输入的多页图像数据转换成多页电子文档数据的处理的流程图。作为多页的图像数据，例如假定输入图9A中的页图像901至904。图9A是包括四页的文档图像的示例，并且图像901至904分别对应于页1至4。此后，描述图8中的流程图的各个步骤。

在步骤S801，区域划分单元301将一页的输入图像数据划分成区域(对象)并提取区域(对象)。例如，区域划分单元301从图9A中的图像数据901(第一页)提取区域905和906。

在步骤S802，属性信息添加单元302将属性添加到步骤S801中提取的各个区域。在图9A中的第一页的示例中，属性信息添加单元302将属性“照片”添加到区域905，并且将属性“说明”添加到区域906。属性信息添加单元302还将指示说明区域906伴随的区域是区域905的信息添加到说明区域906。在第二页的示例中，属性“线条画”被添加到区域907、908和911，并且属性“说明”被添加到区域909、910和912。此外，说明909、910和912与指示说明909、910和912伴随的区域分别是区域907、908和911的信息相关联地存储在存储单元211中。

在步骤S803，字符识别单元303对步骤S802中对其添加字符属性(正文文本、说明、标题、子标题等)的区域进行字符识别处理，并与目标区域相关联地作为字符信息保持结果。在第一页的示例中，字符识别单元303对添加字符属性“说明”的区域进行字符识别处理，获得字符信息“图1”，并使字符信息“图1”和区域906相关联。

在步骤S804，数据处理单元218确定是否对所有页进行了步骤S801至S803的信息提取处理。如果处理了所有页，则处理进行到步骤S805。如果存在没有处理的页，则处理重复从步骤S801开始的步骤。

图9B示出了作为对图9A中的图像901至904进行步骤S801至S804的处理的结果的被提取区域的位置和尺寸的信息、页信息、区域属性、区域的字符信息的示例。区域913至915分别是从第二到第四页提取的“正文文本”属性的区域。上述信息存储在存储单元211中。

在步骤S805中，元数据处理单元304进行元数据提取处理和元数据添加处理。将参照图10的流程图描述步骤S805中元数据处理单元304进行的处理的细节。

在图10的步骤S1001，元数据处理单元304从存储单元211中存储的区域信息中对其添加“说明”属性的区域中选择没有进行元数据处理的一个区域。换句话说，如果存在没有处理的说明区域，则将没有处理的说明区域选择为处理目标，并且处理进行到步骤S1002。如果不存在说明区域或处理了所有的说明区域，则元数据处理结束。当输入图9A中的图像901至904时，首先选择说明区域906，并且然后顺序选择说明区域909、910和912。

在步骤S1002，元数据处理单元304将说明标识符添加到处理目标的说明伴随的对象，并且在存储单元211中确保用于添加的说明标识符的元数据存储区域。在此，说明标识符“1”被添加到说明906伴随的照片对象905，并且在存储单元211中确保用于说明标识符“1”的元数据存储区域。

在步骤S1003，元数据处理单元304从说明区域中的字符识别信息提取锚(anchor)字符串和元数据字符串。锚字符串是用于标识原始文档中该说明伴随的对象的字符信息。元数据字符串是用于解释对象的字符信息。在伴随对象的说明中，可仅写下锚字符串，也可仅写下元数据字符串，或可写下这两个字符串。例如，在许多情况下，锚字符串是将特定字符串(例如“图片”或“图”)与数字或符号组合的图编号。因此，期望准备预先登记特定字符串的锚字符串字典，并通过比较说明字符串与该字典来指定锚部分(锚字符串+数字或符号)。可将说明区域中的字符串中的除锚部分之外的字符串标识为元数据字符串。例如，当说明是“图1照相机”时，“图1”对应于锚字符串，并且“照相机”对应于元数据字符串。

在步骤S1004中，元数据处理单元304确定在步骤S1003是否从说明区域提取了元数据字符串。如果提取了元数据字符串，则处理进行到步骤S1005，并且如果没有提取元数据字符串，则处理进行到步骤S1006。

在步骤S1005，元数据处理单元304将从说明区域提取的元数据字符串存储在用于步骤S1002中添加的说明标识符的存储区域中，并且处理进行到步骤S1006。换句话说，元数据处理单元304使从说明区域提取的元数据字符串与说明标识符相关联。

在步骤S1006，元数据处理单元304确定在步骤S1003是否从说明区域提取了锚字符串。如果提取了锚字符串，则处理进行到步骤S1007。另一方面，如果没有提取锚字符串，则处理返回步骤S1001，并且元数据处理单元304确定是否存在没有处理的说明区域。

在图9A的输入示例的第一页901中，尽管作为锚字符串从说明区域906提取了“图1”，但是没有提取元数据字符串，因此处理从步骤S1004进行到步骤S1006至S1007。

在步骤S1007，元数据处理单元304从存储在存储单元211中的“正文文本”区域中的字符信息检测与提取的锚字符串相同的字符串表达。如果元数据处理单元304检测到相同的字符串表达，则处理进行到步骤S1008。如果元数据处理单元304没有检测到相同的字符串表达，则处理返回步骤S1001，并且元数据处理单元304确定是否存在没有处理的说明区域。

在步骤S1008中，元数据处理单元304从步骤S1007中的正文文本中检测到的字符串表达附近的区域，提取与对象的元数据相对应的字符串。在图9A的输入示例中，从正文文本区域915检测与锚字符串“图1”906相同的字符串916，使得对位于字符串916附近的字符串“由图1中的照相机捕获”进行形态(morphological)分析等，并且提取单词“照相机”作为元数据字符串。为了确定元数据字符串，在自然语言处理的形态分析中可使用单词提取功能。尽管在该实施例中描述了将单词提取为元数据字符串的示例，但是不限于此，例如，包括锚字符串的一个语句可在不改变的情况下用作元数据字符串。

在步骤S1009，元数据处理单元304另外地将步骤S1008中提取的元数据字符串存储在用于说明标识符的存储区域中。换句话说，元数据处理单元304使从正文文本提取的元数据字符串与说明标识符相关联。然后，处理返回步骤S1007，并且元数据处理单元304重复地确定在正文文本的其他部分是否存在相同锚字符串的描述。如果存在相同的锚字符串，则元数据处理单元304另外地存储锚字符串。因此，存在如下情况：多个元数据字符串与一个说明标识符相关联。

返回图8，在步骤S806，格式转换单元305基于如图9B所示存储在存储单元211中的信息将图像数据300转换成电子文档数据310。如图4所示，格式转换单元305根据对应表通过格式转换控制单元406的控制在图4的图像数据300中的区域上进行格式转换处理，在对应表中描述了应在各个区域上进行的转换处理方法。在此，将参照图11的流程图描述使用图7C的对应表控制转换时的格式转换处理的流程。

在图11中的步骤S1101中，格式转换控制单元406将处理页编号的计数器n初始化成一。

在步骤S1102，格式转换控制单元406从图4的区域信息411中的第n页数据选择未处理区域中的一个作为处理目标区域。

在步骤S1103，格式转换控制单元406参照对应表检查处理目标区域的属性，并根据各个属性使处理分支。在该示例中，格式转换控制单元406使用图7C的对应表进行确定，从而确定出该区域是否为字符。具体地，当属性是字符时(“正文文本”、“说明”、“页”或“标题”)，处理进行到步骤S1104，并且当属性是“照片”、“线条画”或“表”时，处理进行到步骤S1106。

在步骤S1104，根据图7C的对应表的设置，图像裁切处理单元403产生与图像数据300中的处理目标的“字符”属性区域相对应的部分的二值图像(二值图像部分)。以例如PNG(可移植的网络图形，PortableNetwork Graphics)格式压缩产生的二值图像部分并将其存储在图2中的存储单元211中。将与图像数据300中的特定字符像素分离地获得的字符颜色信息添加到与二值图像部分中的字符线相对应的像素，并且将透明颜色提供给其他像素。

在步骤S1105，由于在图7C中设置了字符区域的删除处理指示，格式转换控制单元406进行删除处理以通过外围像素的颜色填充与图4的图像数据300中的字符部分相对应的像素。

另一方面，在步骤S1106中，格式转换控制单元406检查在步骤S1103中说明标识符是否被添加到了确定为“照片”、“线条画”或“表”的区域。如果添加了说明标识符，则处理进行到步骤S1107，并且如果没有添加，则处理进行到步骤S1110。

在步骤S1107，图4中的图像裁切处理单元403和向量转换处理单元402根据图7C的对应表的设置产生图形描述。具体地，针对添加了“照片”属性的区域通过图像裁切产生图像部分描述，并且针对添加了“线条画”或“表”属性的区域通过向量转换产生向量路径描述。

在步骤S1108，根据图7C的对应表的设置，格式转换控制单元406进行删除处理以通过外围像素的颜色填充与图4的图像数据300中的“照片”、“线条画”或“表”对应的像素。

在步骤S1109，根据图7C的对应表的设置，格式转换控制单元406使电子文档描述产生单元404产生与外接处理目标区域的框相对应的向量路径描述数据。此外，在步骤S1109中，格式转换控制单元406将处理目标区域的说明标识符添加到产生的框的向量路径描述数据，并指派透明颜色作为框的向量路径描述数据的描绘颜色。以这种方式产生的向量路径描述数据存储在图2的存储单元211中。将参照图12的流程图描述步骤S1109中的电子文档描述产生单元404进行的透明框的向量路径描述数据产生处理的细节。

在图12的步骤S1201中，电子文档描述产生单元404获得作为与处理目标的说明伴随的对象有关的信息的区域信息。区域信息包括例如区域的位置和尺寸、区域的属性、相邻对象信息等。上述信息存储在存储单元211中。

在步骤S1202中，电子文档描述产生单元404确定在向量路径描述中是否表达了处理目标区域。如果在向量路径描述中表达了处理目标区域(例如在添加“线条画”或“表”属性的区域的情况下)，则处理进行到步骤S1203，而如果没有在向量路径描述中表达(例如在添加“照片”属性的区域的情况下)，则处理进行到步骤S1206。例如，将描述图9A中的页图像901至904用作输入文档的情况。当处理添加了“线条画”属性的对象907、908和911时，处理进行到步骤S1203，并且当处理添加了“照片”属性的对象905时，处理进行到步骤S1206。

在步骤S1203，电子文档描述产生单元404比较处理目标区域的尺寸和预定阈值。当处理目标区域的尺寸小于预定阈值时(例如图9A中的对象911的情况)，处理进行到步骤S1205，而当该尺寸是预定阈值或更大时(例如在图9A中的对象907或908的情况)，处理进行到步骤S1204。以这种方式，处理根据处理目标区域的尺寸分支。

在步骤S1204中，电子文档描述产生单元404确定在处理目标区域附近是否存在其他对象。如果存在其他对象(例如图9A中的对象907和908)，则处理进行到步骤S1205，而如果不存在，则处理进行到步骤S1206。以这种方式，处理根据在处理目标区域附近是否存在其他对象分支。

如上所述，根据步骤S1202、S1203和S1204中的处理，此后的处理根据区域信息(处理目标区域的属性信息和尺寸，以及在处理目标区域附近是否存在其他对象)分支。作为分支的结果，稍后所述的透明框的向量路径描述的描述方法改变。透明框是具有透明颜色并外接对象的框。

在步骤S1205，电子文档描述产生单元404通过参照(再使用)图11的步骤S1107中产生的处理目标对象的向量路径描述数据产生透明框的向量路径描述。透明框的向量路径描述数据包括诸如到对象的向量路径描述数据的参照指示、框的放大、框位置的移动、框的尺寸和框的强调颜色的参数描述。此时，将放大参数设成使得框的尺寸比对象的向量路径描述大若干像素。期望设置成使得当参照对象的向量路径描述时，参照代表对象的外部轮廓的部分的向量路径描述。换句话说，框的向量路径描述数据具有与对象的形状相似的形状，并且以比对象的尺寸大若干像素的尺寸进行描述。透明框的向量路径描述数据可具有在强调框时使框闪烁的参数。透明颜色被指派为从框的向量路径描述数据正常描绘框时的颜色。由于使用透明颜色，框的向量路径描述的描绘结果不影响进行正常显示时在其上描绘框的页的可见度。当特定对象被检测为搜索结果时，可通过将强调颜色添加到外接对象的透明框、加厚框或使框闪烁来根据上述参数描述强调框。作为强调显示的结果，能够作为搜索结果识别通过搜索检测到的对象。

在此，将参照示出电子文档数据的描述示例的图15A和15B描述对图9A和9B中的对象907产生的透明框的向量路径描述的示例。在作为对象907的向量路径描述的描述1512中，添加和描述了用于参照描述的ID(vec_img1)。使用参照参照ID的描述(使用命令)和参数描述，描述作为透明框的向量路径描述的描述1515。结果，通过参照(使用)对象的向量路径描述数据产生了透明框的向量路径描述。稍后描述透明框的向量路径描述的细节。

另一方面，在步骤S1206，电子文档描述产生单元404通过参照(使用)预先定义的预定形状(例如矩形、圆形、六边形等)的向量路径描述数据产生透明框的向量路径描述数据。因此，透明框的向量路径描述数据包括到预定形状的向量路径描述数据的参照指示的参数描述。透明框的向量路径描述被描述成使得透明框稍微大于处理目标对象的外接图(例如在对象的外接图附近提供相当于5像素的空间)。透明颜色被指派为框的向量路径描述数据的描绘颜色。以这种方式，通过描述透明框的向量路径描述，使得透明框略大于对象的外接图，当框的向量路径描述的描绘结果被强调时，框外接的对象容易查看。

例如，当对图9A和9B中的对象905产生透明框的向量路径描述时，使用定义为图15B中的描述1505中的预定形状的矩形的向量路径描述(参照ID：frame_square)。然后，通过使用参照参照ID的描述(使用命令)和参数描述产生透明框1511的向量路径描述。稍后描述透明框的向量路径描述的细节。

根据上述处理，根据处理目标区域的属性信息和区域信息选择透明框的向量路径描述的描述方法(S1205或S1206)。换句话说，以根据区域信息等的形状产生透明框的向量路径描述。结果，当强调外接作为搜索结果检测到的对象的框时，能够使得容易查看对象。

即使当区域(对象)小时，通过根据区域的尺寸改变透明框的向量路径描述的描述方法，也能够强调框使得容易识别通过搜索检测到了哪个对象。

根据在区域附近是否存在其他对象改变透明框的向量路径描述的描述方法，使得即使当在区域附近存在其他对象时，也难以将通过搜索检测到的对象误认为其他对象。

在步骤S1207，电子文档描述产生单元404产生透明形状的另外的向量路径描述，以进一步补充地强调(指示)步骤S1205和S1206中产生的框(或对象)。作为透明形状的示例，考虑对以容易理解的方式指示对象位置的箭头等的描述。在这种情况下，能够预先将另外的描述所需的箭头等形状的向量路径描述描述为预定形状之一，并且在透明框的向量路径描述中包括该向量路径描述的参照。当框被强调时，也以同样的方式强调箭头等的透明形状。期望在透明框的向量路径描述中包括指定用于强调透明形状的强调颜色的参数的描述。为了进行补充的强调显示，能够参照从透明框的向量路径描述添加到对象的元数据(字符代码)，并使用强调颜色描绘用于解释对象的字符串。

在步骤S1208，电子文档描述产生单元404将处理目标区域的说明标识符添加到产生的框的向量路径描述数据。产生的框的向量路径描述数据存储在图2的存储单元211中。

参照图11，在步骤S1110，格式转换控制单元406确定在第n页是否存在未处理的区域。如果仍有未处理的区域，则处理返回步骤S1102，并且重复步骤S1102至S1109的处理。如果处理了第n页的整个区域，则处理进行到步骤S1111。

在步骤S1111，格式转换控制单元406在图4的图像数据300上进行处理，以通过外围区域的颜色填充图像裁切处理单元403裁切掉的区域的部分，并且产生背景图像部分。具体地，以外围区域的颜色填充并删除作为图像部分在步骤S1105从图像数据300裁切掉的“字符”区域的像素(对应于字符线的像素)。以外围区域的颜色填充并删除作为图像部分从图像数据300裁切掉的“照片”、“线条画”和“表”区域的像素。其他区域(例如基部部分等)保持不处理。在该示例中，背景图像部分的分辨率进一步减小到1/2，然后背景图像部分被转换成在其上进行JPEG压缩的图像数据，并且图像数据存储在图2的存储单元211中。然而，可以通过其他图像处理(例如平滑)来处理背景图像部分，并且以其他格式压缩。

图13A和13B是对图9A中的图像数据进行步骤S1101至S 1111的处理时产生的图像部分和向量路径描述数据的示例。图13A和图13B分别是处理第一页中的图像数据901和第二页中的图像数据902的结果。附图标记1301和1304表示步骤S1111中产生的背景图像部分的示例。由于以外围区域的颜色填充并删除字符图像的部分和裁切掉的对象的部分，以包括除以上部分之外的所有部分的一个平面的图像配置背景图像部分1301和1304。附图标记1302和1305表示步骤S1104中产生的字符部分的二值图像部分和步骤S1107中产生的图形描述数据的示例。关于字符部分的二值图像部分，分离地存储字符颜色的信息，使得字符线的部分由字符颜色的像素配置，并且其他白色部分由透明颜色的像素配置。为了便于描述提供了与图像部分1302和图形描述1305的外部框相对应的虚线，并且可以以外接字符部分和图形描述数据部分的最小矩形的区域配置实际图像部分。附图标记1303和1306表示步骤S1109(图12中的各处理)中产生的框的向量路径描述数据的示例。尽管为了便于描述在图13A和13B中以黑色粗线绘制了框的向量路径描述，但是实际上框的向量路径描述是使用透明颜色的向量路径描述，使得其不可见。为了便于描述提供了与向量路径描述1303和1306的外部框相对应的虚线，因而对于虚线不存在实际的数据。

在步骤S1112，格式转换控制单元406使电子文档描述输出单元405进行处理从而以预定格式作为电子文档页310描述当前处理的页。图14示出了关于图9A中第一页的图像901描述的电子文档页的示例。图14中的附图标记1400表示以SVG(可升级向量图形)格式描述电子文档页的示例。电子文档页1400包括背景图像数据描述1401、字符部分二值图像部分描述1402、透明框的向量路径描述1403和向量路径描述1404。背景图像数据描述1401是图11的步骤S1111中产生的描述。字符部分二值图像部分描述1402是步骤S1104中产生的描述。透明框的向量路径描述1403是步骤S1109中产生的描述。向量路径描述1404是定义执行图12中的步骤S1206的处理时参照的预定形状的描述。

在向量路径描述1403中，通过描述<use xlink:href＝″frame_square″>，参照(再使用)稍后描述的向量路径描述1404中定义的预定形状。通过以描述<transform＝″translate(100，100)scale(2)″>指定描绘位置和尺寸，产生以透明颜色描绘的框。此外，向量路径描述1404中的<id＝″frame_square″>是参照定义为预定形状的模板的ID的描述，并且<stroke＝″transparent″>是以透明颜色描绘框的描述。这意味着以透明颜色描绘向量路径描述<d＝″M440，608 L2040，608 L2040，1880 L440，1880 L440，608s″>形成的形状的图画。预定形状的向量路径描述不限于矩形，可自由定义形状(例如圆形和六边形)，并且能够准备多个形状并且根据需要使用任何一个形状。描述1401至1403是分别与图13A中的附图标记1301至1303相对应的图形描绘描述，并且描述被构造成如下图形数据：在该图形数据中从描述1401开始以重叠方式顺次地描绘。具体地，在底部描绘背景图像，在其上描绘字符图像，并且进一步在其上描绘透明框。说明标识符1405被添加到透明框(图形描述)1403的向量路径描述。

在步骤S1113，格式转换控制单元406确定当前处理的页编号n是否与页的总数目相同，该页的总数目是最后一页的页编号。如果页编号n与页的总数目相同，则格式转换控制单元406确定完成了所有页的转换处理，并且处理进行到步骤S1115。如果n小于页的总数目，则处理进行到步骤S1114，对n加1，处理返回步骤S1102，并且格式转换控制单元406对下一页重复该处理。

最终，在步骤S1115，电子文档描述输出单元405将步骤S1112中描述的各个电子文档页集成为一个文档并添加元数据的描述以产生输出的电子文档数据310。结果，电子文档描述输出单元405产生包括上述透明框的向量路径描述等的电子文档数据。

图15A和15B是输出的电子文档数据的描述示例。在输出的电子文档数据1500中，描述1501至1504分别是第一到第四页的电子文档页描述。描述1505是针对透明框的矩形的向量路径描述，通过描述<id＝″frame_square″>指派参照ID。描述1506是针对另外描述定义的箭头的向量路径描述，并且通过描述<id＝″frame_arrow″>指派参照ID。描述1507是元数据的描述示例，其中彼此相关联地描述说明标识符和元数据字符串。描述1512至1514是图11中的步骤S1107中产生的对象的向量路径描述。将从透明框的向量路径描述参照的ID自动指派给对象的这些向量路径描述。例如，通过描述<id＝″vec_img1″>将参照ID指派给对象907的向量路径描述1515。描述1511和描述1515至1517是透明框的向量路径描述，以说明标识符″caption_id″唯一地识别。各个透明框通过描述<use xlink:href＝″reference ID″>参照预定形状的向量路径描述或对象的向量路径描述。在向量路径描述中还描述了指定描绘位置和尺寸的参数描述。与说明标识符1509相关联地描述元数据描述1507中的元数据字符串“照相机”1508。说明标识符与添加到第一页中的透明框的向量路径描述1511的说明标识符1510相同。以这种方式，元数据1508和透明框的向量路径描述1511通过说明标识符1509和1510彼此相关联，如稍后所述，当使用关键字“照相机”进行搜索时，可搜索到透明框的向量路径描述1511。

以上描述是根据本发明第一实施例的电子文档数据产生处理的解释。

[搜索对象]

接着，参照图16A至16D描述在该实施例中产生的电子文档数据310中使用上述元数据作为关键字搜索对象的示例。

图16A至16D是作为搜索对象的应用(以下称为对象搜索应用)的图1中的客户PC 101或其他客户PC执行的软件的显示画面(GUI)的示例。作为该软件，当要产生的文档的格式是PDF时可使用Adobe Reader(商标)。

当作为搜索单词的输入字段1601中输入的字符串与添加到电子文档数据的元数据匹配时，对象搜索应用强调包括与元数据相关联的说明标识符的向量路径描述。

图16A是通过应用显示图5A的文档时的显示画面的示例。附图标记1601表示用于输入(指定)要搜索的单词的输入字段。附图标记1602表示在输入要搜索的单词后用于执行搜索的搜索执行按钮。附图标记1603表示用于显示图6中的电子文档数据600的描绘结果的区域。其显示内容是图形描述601至605的描绘结果。

图16B示出了搜索的执行结果。附图标记1604表示“AAA”被指定为要搜索的单词的状态。在图6的电子文档数据600中，元数据描述607中的字符串“AAA”(610)和字符描绘描述605中的字符串“AAA”与搜索单词匹配，因此在找到搜索时应用进行操作。在此，将描述找到元数据描述607中的字符串610时的操作示例。

对象搜索应用检测与搜索单词匹配的元数据的说明标识符609，并且进一步从电子文档600检测添加与说明标识符609相同的标识符608的图形描述606。然后，当显示页时，对象搜索应用描绘目标图形描述，使得对应的部分被强调。在该示例中，图形描述是图像的粘贴，因此对象搜索应用通过添加强调颜色的框，例如在图像对象附近添加红色框来显示对象。图16B中的附图标记1605表示以红色框强调作为执行搜索的结果找到的对象的部分的状态。

图16C示出了基于图7C中的对应表，在图9A中的4页的图像数据901至904上执行图11的流程图的处理产生的图15A和15B的电子文档数据1500的第一页的画面状态。显示内容是第一页的图形描述1501的描绘结果，并且等同于如下图像：在背景图像1301上以重叠方式显示图13A和图13B中的字符图像(前景图像)1302。由于对框向量路径描述1303指定了透明颜色，因此在正常情况下框不可见。

图16D示出了在图16C中显示的电子文档数据1500上进行搜索的结果。在输入字段1614中，输入“照相机”作为要搜索的单词。在电子文档数据1500中，元数据描述1507中的字符串“照相机”1508与搜索单词匹配，因此在找到搜索时应用进行操作。具体地，以与上述描述相同的方式，对象搜索应用检测与匹配的元数据1508的说明标识符1509相同的值被添加到的图形描述，并在显示页时强调对应的部分。在这种情况下，说明标识符1510被添加到的透明框1511的向量路径描述被强调，因此代替初始指定的透明颜色以强调颜色(例如红色)描绘向量路径描述1511的框。因此，如附图标记1615所示，在文档图像上叠加并以红色等以可见状态作为强调框显示搜索中找到的与元数据相对应的图形描述。对于用户，可将背景图像中的照片部分看为仿佛在搜索中找到该部分。强调方法不限于此，可使用其他框颜色或定义为预定形状的其他形状。框可闪烁。当代替粘贴图像通过向量路径描述表示找到的对象的描述时，可使用通过再使用向量路径描述形成的框形状。

将参照图17A至17D描述该方法改进搜索结果可见性(识别找到的对象和标识(区别)对象是什么)的示例，图17A至17D示出了当不考虑可见性(图17A和17C)以及考虑可见性并且进行透明框的控制(该方法：图17B和图17D)时对图15A和15B的电子文档1500进行搜索的结果。

图17A和17B中的输入窗口1701示出了“B星”被指定为要搜索的单词的状态。搜索的流程与以上所述相同，因此省略其描述。在搜索期间不考虑可见性时产生的电子文档的情况下，如图17A所示，进行附图标记1702指示的强调。然而，找到的对象非常小，因此难以识别对象位于电子文档中什么位置。即使找到该对象的位置时，也难以快速标识该对象是什么。另一方面，在该方法产生的电子文档的情况下，如图17B所示，基于对象的形状，被描述成其尺寸稍微大于对象(例如大于对象5个像素)的透明框1703被强调。除了以上之外，同时作为检测结果强调箭头指示的透明框1704，该箭头被描述为辅助信息使得可容易地找到对象的位置。通过作为辅助信息的箭头指示的框1704，可立即发现找到的对象的位置，并且通过透明框1703，能够立即识别找到了什么图像。尽管在一些搜索应用中，如上所述，在搜索中显示的强调颜色可能是一个预定颜色(例如红色)，但是对象被显示为稍微大于实际尺寸，并且显示辅助信息(例如箭头)，使得用户可容易地识别对象。当在电子文档中指定应在搜索中显示的强调颜色时，如果对象搜索应用具有解释其描述并改变强调颜色的功能，则用户可进一步容易地识别对象。

图17C和17D示出了使用其他单词在输入字段1705中指定“月亮”作为搜索结果的状态。在不考虑可见性产生的电子文档的情况下(具体地，在使用矩形强调搜索结果的电子文档的情况下)，在强调的矩形中可包括其他对象。换句话说，如图17C所示，在基于“月亮”对象强调的区域1706中存在其他对象(“A星”对象)，因此难以唯一地识别找到的对象。另一方面，基于“月亮”对象的外部轮廓的形状产生使用本发明方法强调的框1707的形状，使得可容易地识别搜索中找到的对象。此时，基于对象的形状将框1707描述成该框具有与对象相似的形状，和稍大于对象的尺寸(例如大于对象3个像素)，并且因此可更容易地识别对象。

如上所述，当基于图7A至7D的设置将文档图像转换成电子文档数据时，通过步骤S801至S805的处理，具有从文档图像提取的说明的对象和用于搜索的元数据彼此相关联并且进行提取。根据图7C中的对应表，在图11的步骤S1107中，对于“照片”对象通过图像裁切产生了图像部分描述。在对其添加说明标识符的“线条画”或“表”对象的情况下，在步骤S1107，通过向量转换产生向量路径描述。然后，在步骤S1109(图12)，产生基于各个对象的属性的透明框的向量路径描述，并与说明标识符相关联地存储。当应用浏览或搜索以这种方式转换的电子文档数据时，在浏览时具有透明颜色的向量路径描述不可见。因此，在不影响描绘的图像的可见性的情况下在页中显示向量路径描述。另一方面，当在搜索中找到元数据时，通过应用以强调颜色显示具有透明颜色的向量路径描述。可根据目标对象的属性或形状或与其他对象的位置关系控制向量路径描述，使得能够根据电子文档数据的产生者的意图强调任意的形状。例如，通过将矩形框描述为稍微大于目标对象的外接的矩形，能够在搜索期间以稍微大于目标对象的框外接与目标对象相对应的部分，使得用户可容易地标识对象。此外，当在向量路径描述中描述了目标对象时，以与对象相似的形状强调对象，使得用户容易标识目标对象。

总之，根据本实施例，在可通过关键字搜索除字符之外的对象的电子文档数据的产生处理中，确定要搜索的对象的形状和状态，并且控制用于强调对象的框的形状。基于此，能够产生能够进行强调表达的电子文档数据，使用户容易识别和标识找到的对象。

此外，当产生框的向量路径描述时，通过参照(再使用)对象的向量路径描述和预先定义的预定形状的向量路径描述，与单独地描述所有框的情况相比能够减少数据量。例如，当产生矩形框时，向量路径描述需要500个字节或更多以包括形状信息(矩形描绘命令、描绘位置/描绘尺寸)，框的透明描绘设置，框的厚度和强调期间的强调颜色等。随着框形状的复杂性增加，自然地描述量也增加。例如，当框的形状被设为星形状时，需要一千或更多的字节。另一方面，当参照预定形状产生框时，尽管预定形状的定义需要相同尺寸的描述，但是参照预定形状产生的框的向量路径描述仅需要框的参数描述，使得不考虑框的形状，描述的量减小到约200至300字节。框的参数描述包括例如描绘位置(绝对位置或关于参照对象的相对位置)、描绘尺寸(放大率&放大量)、强调颜色的设置等。当在一页中产生针对包括100个照片的图像的矩形框时，通过参照产生框的向量路径描述，与单独地描述框的情况相比每页数据尺寸可减小30千字节或更多。

如上所述，根据该实施例，能够产生如下电子文档数据，其中可强调通过搜索检测到的对象，使得用户可容易地识别对象，同时保持电子文档数据中对象的形状和数据状态。

(第二实施例)

在第一实施例的操作的描述中，通过使用图7C的对应表，对于“照片”、“线条画”和“表”，作为图像部分产生各个对象的图形描述，在前景图像中包括该图像部分，并且对各个对象产生用于强调对象的透明向量路径描述。在该实施例中，将描述如下示例：在背景图像中包括除“字符”之外的所有对象(“照片”、“线条画”和“表”)，并且仅对附着说明标识符的对象产生透明向量路径描述。

在该实施例中，将描述如下处理示例：图3中的格式转换单元305基于图7D的对应表进行控制。处理流程与第一实施例(图11)相同，因此省略执行相同操作的处理步骤的描述。

根据图7D的对应表，将“照片”对象设为包括在背景图像中。因此，在图11的步骤S1107和S1108中，图4中的图像裁切处理单元403不执行图像部分产生处理和从背景图像的图像部分删除处理，并且处理进行到步骤S1109。根据图7D的对应表，在“线条画”和“表”对象的情况下，设置指示进行向量转换，然而不进行从背景图像的删除处理。因此，在步骤S1107，向量转换处理单元402产生对象的向量路径描述并将其临时存储在存储单元211中。在接着的步骤S1108，不进行删除处理，并且处理进行到步骤S1109。

在步骤S1109(图12示出细节)，电子文档描述产生单元404产生透明框的向量路径描述。在图12的步骤S1202至S1204中，确定透明框的产生方法(步骤S1205或S1206)。

在第一实施例中，在步骤S1205中，电子文档描述产生单元404产生透明框，该透明框包括到对象的向量路径的参照指示的描述和参数描述(放大、移动、强调颜色的设置等)。这是因为在前景图像中描述了对象的向量路径描述，因此能够进行参照(再使用)。另一方面，在本实施例中，对象嵌入在背景中，使得不能以与第一实施例相同的方式参照(再使用)对象的向量路径描述。因此，格式转换控制单元406针对透明框的向量路径描述，代替参照指示，使用步骤S1107中产生的对象的向量路径描述，并且另外地在其中描述参数描述，来产生透明框。

在步骤S1206，以与第一实施例中相同的方式，电子文档描述产生单元404通过参照(再使用)预定形状的向量路径描述产生透明框的向量路径描述。此时，当对象是“线条画”或“表”对象时，不需要步骤S1107中产生的向量路径描述来产生透明框，使得可从存储单元211删除向量路径描述。

当对以这种方式转换的电子文档数据进行搜索时，在正常操作期间，显示包括背景图像和前景图像(字符部分)的页。另一方面，当在搜索中找到元数据时，通过应用以强调颜色显示具有透明颜色的向量路径描述，使得对于用户，可将对象看为仿佛在搜索中找到了对象本身。

以这种方式，以与第一实施例相同的方式，能够通过强调根据各个对象的属性控制的透明框产生用户可容易地找到搜索结果的电子文档。此外，通过在背景图像中包括除了“字符”对象之外的所有对象，与提取的照片对象和背景分别作为彼此分离的压缩图像数据保持的情况相比，文件尺寸可减小。这是因为该数据包括用于压缩的图像信息和头部信息，并且当对象的数据的数目增加时，冗余地保持与数据的数目相对应的头部信息。特别地，图像压缩方法越复杂，用于压缩的头部信息越趋向于变大。因此，当由包括大量对象(例如照片)的文档图像产生电子文档文件时，为了减小整个数据尺寸，作为一个图像压缩对象比单独地压缩各个对象更合适。例如，当图像数据保持为JPEG压缩流时，各个流不可避免地包括作为头部信息的用于解压缩的量化表、霍夫曼代码等，其尺寸是700字节或更多。当图像在一页包括100个照片时，如果照片和背景二者作为一个图像数据被压缩，则与包括背景和照片的整个101个图像数据被单独压缩的情况相比，能够减小数据尺寸每页70千字节或更多。

关于电子文档数据或关于通过作为电子文档数据中的搜索目标的单独“照片”、“线条画”或“表”图像的图像裁切产生的图像部分，可由用户适时地选择其描述方法和说明标识符到图像部分的添加方法。例如，当很有可能在另一文档中再使用对象“照片”、“线条画”等时，如图7C所示，作为图像部分裁切“照片”以增加图像分辨率，并且通过进行向量转换在向量路径描述中描述“线条画”。然后，对各个对象产生对其添加说明标识符的透明框。以这种方式，可再用作图像部分的对象作为向量路径描述或高分辨率对象图像存储在电子文档中。这样，即使当这些对象被复制到另一文档中，也可在尽可能不损失图像信息的情况下使用对象。当期望电子文档数据的数据尺寸小并且期望对象能够被搜索时，如图7D所示，在“背景”中包括对象“照片”等，产生透明框的描述，并且说明标识符附着到描述。这样，可进行如下显示：其中图像中的对象被看成仿佛该对象被搜索，并且可提高图像数据的压缩率，使得数据尺寸可减小。另外，能够根据对象的类型进行更详细的操作。

代替使用户选择如何使用电子文档数据，能够根据“照片”和类似对象的数目或各个对象的尺寸或特性，自动选择图像裁切产生的图像部分的描述方法和说明标识符的附着方法。在这种情况下，可对各个文档或每页改变方法以使用电子文档数据。

以这种方式，通过适当地选择图像裁切产生的图像部分的描述方法，并且适当地选择说明标识符的附着方法，能够根据使用目的产生电子文档数据。因此，存在如下效果：提供了便于用户使用的电子文档数据。

(第三实施例)

在第三实施例中，将描述自动计算在针对附着有说明标识符的对象产生透明框的向量路径描述时所需的框的参数(绝对位置或与参照对象的相对位置，尺寸或放大率等)的方法示例。

将参照图18的处理流程描述计算框的参数的方法。

在步骤S1801，电子文档描述产生单元404获得处理目标说明伴随的对象的区域尺寸。将该信息存储在存储单元211中。

在步骤S1802和步骤S1803中，电子文档描述产生单元404比较预定较高限制值和较低限制值与步骤S1801中获得的尺寸。如果对象的尺寸在较低限制值和较高限制值之间(包括较高限制值)(较低限制值≤对象尺寸＜较高限制值)，则处理进行到步骤S1804。如果尺寸是较高限制值或更高，或是较低限制值或更低，则处理进行到步骤S1805。

在步骤S1804，电子文档描述产生单元404根据对象尺寸计算放大率(例如对象的120％放大)。当对象小时，设置大放大率，并且当对象大时，设置小放大率。以这种方式，可根据对象的尺寸改变框的尺寸，使得能够产生可容易地查看和检查搜索结果的图像。

另一方面，在步骤S1805，电子文档描述产生单元404计算放大量，使得透明框大于对象特定尺寸。可根据对象尺寸是较高限制值或更高还是较低限制值或更低来改变放大量。例如，即使当透明框被设为总是大于对象的外接图10个像素时，能够设置成使得对较高限制值或更高的对象产生大于对象5个像素的透明框，并且对较低限制值或更低的对象产生大于对象10个像素的透明框。

在步骤S1806，电子文档描述产生单元404根据步骤S1804和S1805中计算的放大率&放大量计算透明框的移动量。这是因为当不从对象的中心放大透明框时，并且例如当从对象左上放大透明框时，需要移动透明框使得对象位于透明框的中心。

在步骤S1807，电子文档描述产生单元404从计算的放大率&放大量和移动量产生框的参数描述，并基于图12中的处理流程产生透明框的向量路径描述。框的参数描述是在图12的步骤S1205和S1206中产生透明框的向量路径描述时使用的参数描述。

在上述程序中，根据对象的尺寸自动控制透明框的尺寸(放大率&放大量)，从而如图19所示可产生具有根据对象尺寸的尺寸的透明框。基于此，能够产生具有根据对象尺寸的尺寸并且能够以易于理解的方式强调对象的透明框。

(第四实施例)

在第三实施例中，描述了根据对象尺寸产生参数描述(放大率&放大量，移动量等)的方法。在第四实施例中，将描述产生的参数描述突出到图像外部时的控制方法。将参照图20和图21A至21D描述该实施例的操作流程。

在步骤S2001，电子文档描述产生单元404根据对象产生参数描述(放大率&放大量、移动量等)。该处理使用第三实施例中描述的方法(图18)。图21A是基于步骤S2001中获得的参数描述2102描绘透明框2101的示例。在参数描述2102中，如下设置放大率和移动量：“transform＝scale(1.5，1.5)translate(-100，-100)”。

在步骤S2002，电子文档描述产生单元404检查使用产生的参数2102描绘框时框是否包括在文档内。如果框包括在文档内，则处理进行到步骤S2006，在该步骤作为参数描述产生框。另一方面，如果框突出到文档外部，则处理进行到步骤S2003。在图21A中，在文档的左侧和下侧，在文档外部描绘透明框，使得进行步骤S2003和随后步骤的处理。

在步骤S2003中，电子文档描述产生单元404降低放大率&放大量，使得在保持纵横比的同时在文档内包括框。此时，调整放大率&放大量，使得其不小于放大率&放大量的预定较低限制值(该值可能是第二实施例中使用的较低限制值)。例如，如图21B所示，放大率&放大量被改为“transform＝scale(1.2，1.2)translate(-40，-40)”，以产生参数描述2104和描绘透明框2103。

当在步骤S2003中不能获得期望的参数描述时，在步骤S2003，电子文档描述产生单元404在不保持纵横比的情况下改变放大率&放大量。以与步骤S2003中相同的方式，也在该处理中应用校正，其中放大率&放大量不小于较低限制值。所产生的参数描述是例如“transform＝scale(1.2，1.4)translate(-40，-80)”。该描述是在不保持纵横比的情况下改变放大率&放大量的参数描述2106，并且使用该参数描述描绘透明框2105。

当在步骤S2004中不能获得期望的参数描述时，在步骤S2005，电子文档描述产生单元404强制将透明框改为外接对象的图(例如矩形)，并改变设置使得添加用于补充解释的描绘描述。例如，如图21D所示，作为对象的外接矩形或稍微大于其的矩形产生透明框2107。此外，产生描述另外的描述2108和2109的参数描述2110以强调透明框。

在步骤S2006，电子文档描述产生单元404更新作为描述包括在文档内的透明框的参数描述的步骤S2001至S2005中修改的参数。

通过以上处理，能够自动地进行强调显示，在该强调显示中透明框不突出到文档外部，并且该强调显示对于用户易于理解。

(第五实施例)

在第一实施例中，在向量路径描述描绘的对象中，对于具有小尺寸的对象或由相邻对象伴随的对象，通过再使用对象的向量路径描述产生透明框。此外，在该实施例中，确定对于透明框是否可使用对象的向量路径描述，并且控制透明框的产生方法。

将参照图22描述该实施例的操作流程。给予与第一实施例中图12中相同的步骤相同的步骤编号。将使用图23A中所示的电子文档2300作为输入示例描述操作流程。电子文档2300包括对象2301、2302和2303，对各个对象都添加了说明。所有这些对象通过向量路径描述产生。

从图22中的步骤S1201至步骤S1204，电子文档描述产生单元404确定是通过再使用对象的向量路径描述产生透明框，还是通过再使用预定形状的向量路径描述产生透明框。由于处理的细节与第一实施例中图12的相同，省略其描述。

在步骤S2201，电子文档描述产生单元404确定是否可从对象的向量路径描述提取轮廓部分(外部轮廓)的向量路径描述。如果可提取轮廓部分，则处理进行到步骤S2202，而如果不能提取，则处理进行到步骤S1206。这是因为认为当对象具有复杂形状时，如果再现对象的内部描绘，则在搜索期间强调的框叠加在找到的对象上进行显示，因而不能识别找到的对象。因此，通过仅使用作为对象一部分的轮廓部分产生透明框改进了可见性。

在步骤S2202，电子文档描述产生单元404通过仅参照(再使用)作为对象的向量路径描述的一部分的轮廓部分的描述产生透明框的向量路径描述。图23A中的对象2302是可从其容易地提取轮廓的对象，因此电子文档描述产生单元404参照(再使用)对象2302的轮廓部分的向量路径描述以产生图23B中的透明框2304。

另一方面，在步骤S2201，如果确定难以提取对象的轮廓部分，则在步骤S1206，电子文档描述产生单元404通过参照(再使用)预先定义的预定形状的向量路径描述产生透明框。图23A中的对象2303被确定为从其难以提取轮廓的对象，因此电子文档描述产生单元404参照(再使用)作为预定形状的矩形的向量路径描述以产生图23C中的透明框2305。

在步骤S1207，电子文档描述产生单元404产生用于将补充信息添加到步骤S2202和步骤S1206中产生的透明框的向量路径描述。特别地，在步骤S2201，如果确定出难以提取对象的轮廓部分，则在此描述另外的信息。这是因为使用预定形状产生用于强调的透明框，因而当对象小或在对象附近存在其他对象时，不可能标识在搜索中找到了什么(哪个)对象。因此，需要通过例如添加箭头的描述，并通过不改变地再使用对象的向量路径描述在透明框不与找到的对象重叠的位置处产生透明框来产生容易理解的显示。作为图23C中的对象2303的透明框2305的补充解释，描述了箭头2306和对象自身的放大图(2307)。

在步骤S1208，进行用于使说明标识符与产生的透明框相关联的处理。

将简要描述对上述处理中产生的电子文档2300使用关键字“远距镜头”进行搜索的结果。锚字符串“图3”与对象2303相关联。锚字符串与在正文文本中写下的字符串“图3”相匹配，因此提取“远距镜头”作为针对对象2303的说明字符串。然后，找到附着了与说明字符串“远距镜头”相同的说明标识符的透明框2305至2307作为搜索结果。以这种方式，检查对象的向量路径描述是否可再用作透明框，如果可再使用，则通过再使用对象的对象路径描述的部分(轮廓部分)产生透明框。如果不能再使用，则通过除了在预定形状的向量路径描述以外还在对象附近布置箭头、对象的放大图等作为补充信息，能够产生在进行搜索时能够容易地识别和标识搜索结果的电子文档。

(第六实施例)

在第一到第五实施例中，产生再使用预定形状的向量路径描述的透明框。在该实施例中，描述如下方法：通过分析对象的形状和控制透明框的形状，该方法产生更适合对象的形状的透明框。

参照图24描述该实施例的处理流程。给予与第一实施例的图12和第五实施例的图22相同的处理步骤相同的步骤编号并且省略其描述。

在步骤S2401，电子文档描述产生单元404进行对象的分析处理。对象的分析处理包括对象的矩形程度和圆形程度的分析，倾斜程度的计算，对象的颜色信息的分析等。

在步骤S2402，电子文档描述产生单元404产生适合对象的形状的透明框的向量路径描述。图25示出了该处理的示例。该实施例的描述假定定义三种形状“矩形”、“圆形”和“六边形”作为预定形状。

在图25的步骤S2501中，电子文档描述产生单元404进行对象的矩形程度的确定处理。如果矩形程度是预定阈值或更大(例如矩形程度是80％或更大)，则选择“矩形”数据2510作为预定形状。如果矩形程度小于阈值，则处理进行到步骤S2502。

在步骤S2502，电子文档描述产生单元404进行对象的圆形程度的确定处理。如果圆形程度是阈值或更大(例如圆形程度是70％或更大)，则选择“圆形”数据2511作为预定形状。如果圆形程度小于阈值，则选择“六边形”数据2512作为预定形状。

在步骤S2503，电子文档描述产生单元404通过再使用上述步骤中选择的预定形状数据产生透明框的向量路径描述。图26示出了结果的示例。输入的电子文档2600包括对象2601至2603，对各个对象添加了“照片”属性。由于对象2601具有高矩形程度，因此在步骤S2501中选择“矩形”数据，并且产生参照“矩形”的向量路径描述的透明框的向量路径描述2604。由于对象2602具有类似于椭圆的形状，因此选择“圆形”数据。对对象2603选择“六边形”数据。然后，分别产生透明框的向量路径描述2605和2606。

在步骤S2504，电子文档描述产生单元404通过使用图24中的步骤S2401中计算的对象的倾斜程度，产生用于生成更适合对象的透明框的旋转参数。由于图26中的对象2603被识别为倾斜的对象，因此通过以与对象相同的方式倾斜透明框，产生透明框2606。

在步骤S2505，电子文档描述产生单元404确定颜色组合，使得当基于图24中的步骤S2401中获得的对象的颜色信息强调时尽可能容易地看到对象，以及设置强调颜色。具体地，电子文档描述产生单元404设置与对象的颜色不同的颜色作为强调颜色。基于此，能够防止如下情况：对象的颜色与透明框的强调颜色相似，并且结果不可区分。在图26的输入示例2600中，对象的颜色是黑色，因而例如可将透明框的强调颜色设为红色。

在该实施例的描述中，预定形状限于“矩形”、“圆形”和“六边形”。然而，预定形状不限于此，并且可使用星形状、云形状等。分析的项目和预定形状的选择方法不限于以上所述。

通过上述处理，在产生框时减小了文件尺寸的同时，搜索期间强调的框变得更适合目标对象的形状，因此能够实现易于用户理解的强调表达。

(第七实施例)

在第一到第六实施例中，自动产生基于对象区域的位置和尺寸以及图像处理对象获得的信息在对象区域中描述的最合适的透明框。在本发明的第七实施例中，提供了用户可自由设置要描述的透明框的形状、线宽度等的机制。

图27A是在其上用户选择电子文档数据的目的的用户接口(UI)画面的示例，该电子文档数据显示在图1中的MFP 100中装备的图2的操作单元203上。在UI画面2701上，有按钮2702以设置用于强调的透明框的产生方法从而自动确定，有按钮2703用于用户设置产生方法。还设置了取消选择的内容的取消按钮2704和作出决定的确认按钮。当选择了“自动”按钮2702时，根据第一到第六实施例的程序产生具有最适合各个对象的形状的透明框。另一方面，当按下“用户设置”按钮2703时，对所有对象产生具有用户设置的形状的透明框。

图27B是在其上用户设置所有对象共同的透明框的形状以强调对象的UI画面的示例。在UI画面2706上，存在按钮2707以选择透明框的基本形状，按钮2708以选择线宽度，以及按钮2709以选择强调颜色。用户操作UI画面2706上的选择按钮2707至2709以选择透明框的描述方法，并按下确认按钮2711。基于此，数据处理单元218中的控制单元(图中未示出)将与通过UI由用户指定的透明框的描述有关的信息发送到格式转换单元305。当按下取消按钮2710并且不进行用户设置时，通过控制单元将默认设置信息发送到格式转换单元305。格式转换单元305在步骤S1109(S1206)中基于接收的信息进行透明框的向量路径描述。此时，为了使得能够标识对象，期望在图18的程序中通过根据对象的尺寸改变选择的基本形状的尺寸来产生透明框的向量路径描述。

结果，在“自动”操作中，产生用户可容易地识别和标识搜索中找到的对象的电子文档。另一方面，在“用户设置”操作中，定义一个向量路径描述作为预定形状，并且在产生所有框中的任何一个时参照向量路径描述，使得文件尺寸减小。此外，不对各个框进行框的产生方法或框的形状的确定处理，因此期望改进产生输出电子文档时的处理性能。

(其他实施例)

本发明的各方面还能够通过读出并执行记录在存储装置上的用于执行上述实施例的功能的程序的系统或设备的计算机(或诸如CPU或MPU的装置)、以及由系统或设备的计算机例如读出并执行记录在存储装置上的用于执行上述实施例的功能的程序来执行步骤的方法来实现。鉴于此，例如经由网络或者从用作存储装置的各种类型的记录介质(例如计算机可读介质)向计算机提供程序。

虽然参照示例性实施例对本发明进行了说明，但是应当理解，本发明不限于所公开的示例性实施例。所附权利要求的范围符合最宽的解释，以使其涵盖所有这种变型、等同结构及功能。

Claims (10)

1.一种图像处理设备，该图像处理设备包括：

对象提取单元，被配置成从输入图像中提取对象；

元数据提取单元，被配置成提取与所述对象相关的元数据；

确定单元，被配置成基于在向量路径描述中是否描述了对象、所述对象的尺寸以及在所述对象附近是否存在其他对象，来确定是描述第一向量路径描述，还是描述第二向量路径描述，其中，所述第一向量路径描述是使用与所述对象的形状相似的形状来外接所述对象的第一框的数据，并且所述第二向量路径描述是使用预定形状来外接所述对象的第二框的数据，并且其中，如果在向量路径描述中描述了所述对象，并且当所述对象的尺寸小或在所述对象附近存在其他对象时，所述确定单元确定描述所述第一向量路径描述，而如果在向量路径描述中没有描述所述对象，或当在向量路径描述中描述了所述对象、所述对象的尺寸大并且在所述对象附近不存在其他对象时，所述确定单元确定描述所述第二向量路径描述；

框产生单元，被配置成在所述确定单元确定描述所述第一向量路径描述的情况下，产生所述第一向量路径描述，而在所述确定单元确定描述所述第二向量路径描述的情况下，产生所述第二向量路径描述；以及

文档产生单元，被配置成产生电子文档，该电子文档包括所述输入图像的数据和与所述元数据相关联的所产生的第一或第二向量路径描述，其中，

当对所产生的电子文档进行关键字搜索时，根据与和所述关键字匹配的元数据相关联的所产生的第一或第二向量路径描述，进行强调显示。

2.根据权利要求1所述的图像处理设备，其中，所述第一向量路径描述是使用与所述对象的外部轮廓的形状相似的形状来外接所述对象的所述第一框的数据。

3.根据权利要求1所述的图像处理设备，其中，所述第一向量路径描述包括用于使框大于所述对象的放大参数描述。

4.根据权利要求1所述的图像处理设备，其中，所述第一和第二向量路径描述的描绘颜色是透明颜色。

5.根据权利要求1所述的图像处理设备，其中，所述第一和第二向量路径描述包括在进行所述关键字搜索时用于强调显示的强调颜色的参数描述。

6.根据权利要求5所述的图像处理设备，其中，用于进行强调显示的所述强调颜色与所述对象的颜色不同。

7.根据权利要求1所述的图像处理设备，其中，

所述框产生单元还产生补充指示所述对象的补充信息的第三向量路径描述，

所述文档产生单元产生电子文档，该电子文档包括所述输入图像的数据、与所述元数据相关联的所述第一或第二向量路径描述以及补充信息的所述第三向量路径描述，并且

当对所述电子文档进行关键字搜索时，根据与和所述关键字匹配的元数据相关联的所述第一或第二向量路径描述和补充信息的所述第三向量路径描述进行强调显示。

8.一种图像处理设备，该图像处理设备包括：

对象提取单元，被配置成从输入图像中提取对象；

元数据提取单元，被配置成提取与所述对象相关的元数据；

确定单元，被配置成基于在向量路径描述中是否描述了对象、所述对象的尺寸以及在所述对象附近是否存在其他对象，来确定是描述第一向量路径描述，还是描述第二向量路径描述，其中，所述第一向量路径描述是使用与所述对象的形状的外部轮廓相似的形状来外接所述对象的框的数据，并且所述第二向量路径描述是使用预定形状来外接所述对象的框的数据，并且其中，如果在向量路径描述中描述了所述对象，并且当所述对象的尺寸小或在所述对象附近存在其他对象时，所述确定单元确定描述所述第一向量路径描述，而如果在向量路径描述中没有描述所述对象，或当在向量路径描述中描述了所述对象、所述对象的尺寸大并且在所述对象附近不存在其他对象时，所述确定单元确定描述所述第二向量路径描述；

框产生单元，被配置成在所述确定单元确定描述所述第一向量路径描述的情况下，产生作为使用与所述对象的形状的外部轮廓相似的形状来外接所述对象的框的数据的所述第一向量路径描述；以及

文档产生单元，被配置成产生电子文档，该电子文档包括所述输入图像的数据和与所述元数据相关联的所述第一向量路径描述，其中，

当对所产生的电子文档进行关键字搜索时，根据与和所述关键字匹配的元数据相关联的所述第一向量路径描述进行强调显示。

9.一种图像处理设备，该图像处理设备包括：

被配置成从输入图像中提取对象并且获得所述对象的区域信息的单元；

确定单元，被配置成基于在向量路径描述中是否描述了对象、所述对象的尺寸以及在所述对象附近是否存在其他对象，来确定是描述第一向量路径描述，还是描述第二向量路径描述，其中，所述第一向量路径描述是使用所获得的区域信息的形状来外接所提取的对象的透明框的数据，并且所述第二向量路径描述是使用预定形状来外接所述对象的框的数据，并且其中，如果在向量路径描述中描述了所述对象，并且当所述对象的尺寸小或在所述对象附近存在其他对象时，所述确定单元确定描述所述第一向量路径描述，而如果在向量路径描述中没有描述所述对象，或当在向量路径描述中描述了所述对象、所述对象的尺寸大并且在所述对象附近不存在其他对象时，所述确定单元确定描述所述第二向量路径描述；

被配置成在所述确定单元确定描述所述第一向量路径描述的情况下，产生作为使用所获得的区域信息的形状来外接所提取的对象的透明框的数据的所述第一向量路径描述的单元；以及

被配置成产生包括所述输入图像和所产生的向量路径描述的电子文档的单元，其中，

所产生的透明框的向量路径描述包括在从所产生的电子文档中进行搜索并且作为搜索结果检测到对象时用于强调所述框的强调颜色的参数描述。

10.一种图像处理方法，该图像处理方法包括：

对象提取步骤，由对象提取单元从输入图像中提取对象；

元数据提取步骤，由元数据提取单元提取与所述对象相关的元数据；

确定步骤，由确定单元基于在向量路径描述中是否描述了对象、所述对象的尺寸以及在所述对象附近是否存在其他对象，来确定是描述第一向量路径描述，还是描述第二向量路径描述，其中，所述第一向量路径描述是使用与所述对象的形状相似的形状来外接所述对象的第一框的数据，并且所述第二向量路径描述是使用预定形状来外接所述对象的第二框的数据，并且其中，如果在向量路径描述中描述了所述对象，并且当所述对象的尺寸小或在所述对象附近存在其他对象时，所述确定单元确定描述所述第一向量路径描述，而如果在向量路径描述中没有描述所述对象，或当在向量路径描述中描述了所述对象、所述对象的尺寸大并且在所述对象附近不存在其他对象时，所述确定单元确定描述所述第二向量路径描述；

框产生步骤，在所述确定步骤中确定描述所述第一向量路径描述时，由框产生单元产生所述第一向量路径描述，而在所述确定步骤中确定描述所述第二向量路径描述时，由所述框产生单元产生所述第二向量路径描述；以及

文档产生步骤，由文档产生单元产生电子文档，该电子文档包括所述输入图像的数据和与所述元数据相关联的所产生的第一或第二向量路径描述，其中，

当对所产生的电子文档进行关键字搜索时，根据与和所述关键字匹配的元数据相关联的所产生的第一或第二向量路径描述进行强调显示。