CN101685469B

CN101685469B - 信息处理装置及其控制方法

Info

Publication number: CN101685469B
Application number: CN2009101783031A
Authority: CN
Inventors: 伊藤直树
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2008-09-22
Filing date: 2009-09-22
Publication date: 2013-12-11
Anticipated expiration: 2029-09-22
Also published as: CN101685469A; US20100082698A1; EP2166467A1; EP2166467B1; US8380685B2; JP2010073165A

Abstract

本发明涉及一种信息处理装置及其控制方法。该信息处理装置包括：关联单元，其被构造为将输入图像数据划分成多个区域并且将各区域与一种或更多种类型的对象相关联；添加单元，其被构造为基于各对象的类型向各对象添加元数据；以及确定单元，其被构造为确定在所述对象中是否存在将所述多个区域中的第一区域与所述多个区域中不同于所述第一区域的第二区域相关联的特定对象。在所述确定单元已经确定存在所述特定对象的情况下，所述添加单元还向所述多个区域中的所述第一区域中存在的第一对象，添加用于将所述多个区域中的所述第二区域与所述多个区域中的所述第一区域相关联的元数据。

Description

信息处理装置及其控制方法

技术领域

本发明涉及信息处理装置及其控制方法。

背景技术

传统上，使用了一种将图像数据划分成多个区域并向所述各个区域中包含的文本对象、照片对象以及图形对象添加元数据的方法。例如，当向文本对象添加此元数据时，添加通过执行OCR处理获得的字符编码信息。

对于照片对象和图形对象，通过对位于要添加元数据的对象附近的文本对象执行OCR处理来获得字符串，并且将该字符串添加到照片对象或图形对象。这里，“图形”是指具有例如与诸如照片的自然图像相比物体的轮廓更加清楚、颜色存在更多限制等特征的图像。可以通过对使用图形设计软件创建的诸如线、箭头等的图像进行矢量化来生成图形。因此，用户能够利用添加到图像数据的元数据执行搜索等(参见日本特开2002-32397号公报)。

然而，表示此类照片对象或图形对象的内容的文本对象，并不一定总是位于该照片对象或图形对象的附近。另外，虽然图像数据的创建者有时使用图形对象来表现对象彼此之间具有的相关性、对象的重要度等，但是在上述方法中根本没有考虑这种信息。因此，该方法不向对象添加适当的元数据，并且对用户来说很难使用。

发明内容

根据本发明的一个方面，提供一种信息处理装置，该信息处理装置包括：关联单元，其被构造为将输入图像数据划分成多个区域并且将各区域与一种或更多种类型的对象相关联；添加单元，其被构造为基于各对象的类型向各对象添加元数据；以及确定单元，其被构造为确定在所述对象中是否存在将所述多个区域中的第一区域与所述多个区域中的不同于所述第一区域的第二区域相关联的特定对象，其中，在所述确定单元已经确定存在所述特定对象的情况下，所述添加单元还向所述多个区域中的所述第一区域中存在的第一对象，添加用于将所述多个区域中的所述第二区域与所述多个区域中的所述第一区域相关联的元数据。

根据本发明的另一个方面，提供一种信息处理装置的控制方法，所述控制方法包括以下步骤：将输入图像数据划分成多个区域并且将各区域与一种或更多种类型的对象相关联；基于各对象的类型向各对象添加元数据；以及确定在所述对象中是否存在将所述多个区域中的第一区域与所述多个区域中不同于所述第一区域的第二区域相关联的特定对象，其中，在所述确定步骤已经确定存在所述特定对象的情况下，所述添加步骤还向所述多个区域中的所述第一区域中存在的第一对象，添加用于将所述多个区域中的所述第二区域与所述多个区域中的所述第一区域相关联的元数据。

根据以下示例性实施例(参照附图)的详细描述，本发明的其他特征将变得清楚。

附图说明

包括在说明书中并构成说明书一部分的附图，例示了本发明的实施例，并与文字描述一起用于说明本发明的原理。

图1是例示根据本发明的实施例的使用MFP的示例性图像处理系统的图；

图2是例示根据本发明的实施例的MFP 100的示例性硬件框图；

图3是例示根据本发明的实施例的MFP 100的示例性功能框图；

图4是例示根据本发明的实施例的用于获得输入图像数据的示例性处理的流程图；

图5是例示根据本发明的实施例的用于获得输入图像数据的另一示例性处理的流程图；

图6是例示根据本发明的实施例的如何创建对象的流程图；

图7是例示根据本发明的实施例的用于将输入图像数据701转换成被划分成了多个对象的数据702的示例性处理的图；

图8是例示根据本发明的实施例的元数据添加处理的示例性详情的流程图；

图9是例示根据本发明的实施例的示例性特定对象的图；

图10是例示根据本发明的实施例的特定对象处理的示例性详情的流程图；

图11A和图11B是例示根据本发明的实施例的其中特定对象指示另一对象的示例性状态的图；

图12A到图12C是例示根据本发明的实施例的、由于前端区域指向对象/后端区域指向对象的存在与否而产生的多条图像数据之间的差别的图；

图13是根据本发明的实施例的当添加元数据时参照的示例性表1300；以及

图14是例示根据本发明的第二实施例的在页的端部存在特定对象的情况的图。

具体实施方式

以下，将参照附图说明本发明的实施例。在实施例中，多功能外围设备(下文称“MFP”)将用作根据本发明的信息处理装置。

(第一实施例)

首先，将利用图1到图3说明根据本实施例的MFP 100的结构。

(图像处理系统)

图1是例示根据本发明的实施例的使用MFP的示例性图像处理系统的图。该图像处理系统用于这样的环境，在该环境中办公室A110与办公室B120经由互联网130连接。

MFP 100、管理PC 101、本地PC 102、文档管理服务器103以及用于文档管理服务器103的数据库104连接到在办公室A110中安装的LAN106。MFP 100还经由LAN 108直接连接到管理PC 101。同时，本地PC 102、文档管理服务器103以及用于文档管理服务器103的数据库104连接到在办公室B120中安装的LAN 107。LAN 106和LAN 107连接到代理服务器105，并经由代理服务器105连接到互联网130。同时，LAN 108用于MFP100与管理PC 101之间的数据和控制信号等的交换。

MFP 100承担对通过读取原稿获得的输入图像数据执行的图像处理的一部分。MFP 100将对输入图像数据执行的图像处理的结果经由LAN 108输出给管理PC 101。另外，MFP 100通过分析从本地PC 102或通用PC(未示出)发送的页面描述语言(下文称“PDL”)而用作打印机。此外，MFP100具有用于将输入图像数据发送给本地PC 102或通用PC(未示出)的功能。

管理PC 101是包括图像存储功能、图像处理功能、显示功能、输入功能等的计算机，并且控制MFP 100。

(MFP)

以下将利用图2和图3说明MFP 100的结构。图2是例示MFP 100的示例性硬件框图。MFP 100包括数据处理设备200、图像读取设备201、存储设备202、记录设备203、输入设备204以及显示设备205。MFP 100分别经由网络I/F 206和网络I/F 207连接到LAN 106和LAN 108。

数据处理设备200执行对MFP 100的整体控制。更具体来说，当进行通常复印功能时，数据处理设备200对图像数据执行用于复印的图像处理，由此将图像数据转换成打印信号。当复印多页时，数据处理设备200首先按页地将打印信号保持在存储设备202中，之后将所述信号顺次输出给记录设备203，由此在记录纸上形成记录图像。数据处理设备200还对从本地PC 102经由驱动器输出的PDL数据进行分析和处理。此外，数据处理设备200还将元数据添加到输入图像数据，稍后将对此进行说明。

在本实施例中，“元数据”是指与由对象表示的内容有关的数据。例如，当对象是照片时，由对象表示的数据是照片本身；然而，可以添加诸如照片标题、拍摄地点等的关键字作为对象的元数据。利用这种元数据中包含的关键字能够进行图像搜索、自动图像分类等，这反过来能够提高系统的方便性。例如，当用户输入关键字时，作为搜索结果，显示添加有包含该关键字的元数据的对象。

图像读取设备201包括自动文档给送器(未示出)，并且利用光源照射单张原稿上的图像或一束原稿上的图像；使用透镜将由此反射的图像形成在固态图像传感器上。然后，固态图像传感器生成预定分辨率(例如，600dpi)和预定亮度水平(例如，8比特)的图像读取信号，由此构成图像数据，即，反过来由图像读取信号的光栅数据构成图像数据。

存储设备202保存来自图像读取设备201的数据、其中绘制有从本地PC 102经由驱动器输出的PDL数据的数据等。记录设备203将从本地PC102或另一通用PC(未示出)利用驱动器输出的PDL数据记录在记录纸上。输入设备204是设置在MFP 100中的键操作单元等，并用于向MFP 100输入操作及其他类型的数据。显示设备205显示操作输入状态、图像数据等。

图3是例示MFP 100的示例性功能框图。这里只提及描述本实施例所需的最少功能，并省略其他功能的描述。MFP 100包括关联单元301、添加单元302、存储单元303及确定单元304。

关联单元301将输入图像数据划分成多个区域，并将各区域识别为对象。尽管在本实施例中将对象分类为例如文本、照片或图形(线，表等)来进行描述，但是本发明并不限于这种分类。添加单元302向各对象添加表示对象属性的元数据。存储单元303存储输入图像数据、特定对象(稍后说明)等。数据处理设备200执行关联单元301、添加单元302等的功能，而存储设备202等执行存储单元303的功能。确定单元304确定是否存在将输入图像数据内的区域与该区域以外的区域相关联的特定对象。

(输入图像数据获得处理)

接着将说明用于获得输入图像数据的处理。首先，将利用图4说明使用MFP 100的图像读取设备201获得输入图像数据的情况。图4是例示用于获得输入图像数据的示例性处理的流程图。通过数据处理设备200中的CPU执行ROM中存储的计算机程序来执行该流程图所示的处理。将获得的输入图像数据保存在例如存储单元303中。

在步骤S401中，图像读取设备201从原稿读取图像。

在步骤S402中，数据处理设备200对读取的输入图像数据执行依赖于扫描器的图像处理。“依赖于扫描器的图像处理”例如是色彩处理、过滤处理等。

接着，将利用图5说明获得由本地PC 102上的应用程序生成的图像数据的情况。图5是例示用于获得输入图像数据的另一示例性处理的流程图。通过数据处理设备200中的CPU执行ROM中存储的计算机程序来执行该流程图所示的处理。

在步骤S501中，MFP 100接收由本地PC 102上的应用程序创建并且由打印机驱动器转换的打印数据。这里提及的“打印数据”是指PDL，例如是LIPS、PostScript等。

在步骤S502中，数据处理设备200利用解释器将接收到的打印数据转换成显示列表。

在步骤S503中，数据处理设备200通过绘制将显示列表转换成位图图像数据，转换结果被视作输入图像数据。

(对象的创建)

以下将利用图6说明用于从输入图像数据创建对象并向所述对象添加元数据的处理。图6是例示示例性对象化处理的流程图。通过数据处理设备200中的CPU执行ROM中存储的计算机程序来执行该流程图所示的处理。

在步骤S601中，关联单元301将输入图像数据的显示区域划分成多个对象。稍后将给出将区域划分成多个对象的详情。

在步骤S602中，添加单元302选择尚未添加元数据的单个对象作为要处理的对象。

在步骤S603中，确定单元304确定所选择的对象的类型。当对象是位图格式时执行该确定。如果对象被确定是照片，则处理进行到步骤S604。然而，如果对象被确定是图形，则处理进行到步骤S605。最后，如果对象被确定是文本，则处理进行到步骤S606。

在步骤S604中，添加单元302按照JPEG格式压缩被确定为照片的对象(下文称“照片对象”)。

在步骤S605中，添加单元302对被确定为图形的对象(下文称“图形对象”)进行矢量化，由此将对象转换成矢量数据。

在步骤S606中，添加单元302对被确定为文本的对象(下文称“文本对象”)进行矢量化，由此将对象转换成矢量数据。此外，数据处理设备200对对象执行OCR处理，由此获得字符编码数据。

在步骤S607中，添加单元302基于所选择的对象的确定结果添加最佳元数据。稍后将给出关于元数据的添加的详情。

在步骤S608中，添加单元302确定是否已向所有对象添加了元数据。如果仍旧存在尚未添加元数据的对象(步骤S608中的“否”)，则处理返回到步骤S602，并且选择尚未添加元数据的单个对象。然而，如果已对所有对象添加了元数据(步骤S608中的“是”)，则处理进行到步骤S609。

在步骤S609中，添加单元302将添加有元数据的各个对象与输入图像数据相关联，并且将结果保存在存储单元303中。

在步骤S610中，显示设备205显示所保存的图像数据。然后，图像处理系统的用户能够例如使用添加到图像数据中的元数据执行数据搜索。

(对象划分处理)

以下将利用图7详细描述图6的步骤S601。图7是例示用于将输入图像数据701转换成划分为多个对象的数据702的示例性处理的图。

按属性将输入图像数据701划分成多个矩形块。在对象划分处理中，首先将输入图像数据701二值化为黑白数据，并且提取由黑色像素轮廓围绕的像素群(pixel cluster)。接着，估算所提取的黑色像素群中的像素数量，并且对包含大于或等于预定数量的像素的黑色像素群内包含的白色像素群进行轮廓追踪。然后，只要内部像素群的像素数量是大于或等于预定值的值，则使用估算的白色像素群中的像素数量以及其中被追踪的黑色像素群，递归地执行内部像素群的提取以及轮廓追踪的执行。然后，围绕像素群生成触接由此获得的像素群的各外部边缘的矩形块，并且根据矩形块的大小和形状确定属性。

如前所述，按照矩形块的属性存在“文本”、“照片”以及“图形”。例如，具有接近1∶1的长宽比和恒定范围的像素数量的矩形块可以是用于文本区域的矩形块，由此被视作“文本对应块”。当相邻的文本对应块有规则地排列时，生成合并了这些文本对应块的新的矩形块，新的矩形块被视作文本区域矩形块。同时，平坦的像素群或者包含具有不少于一定数量像素的、四角形形状的排列整齐的白色像素群的黑色像素群，被视作图形区域矩形块，所有其他的不规则形状的像素群被视作照片区域矩形块。关联单元301将通过由此划分成矩形块而获得的各区域识别为对象。

(元数据添加处理)

以下将利用图8详细说明图6的步骤S607。图8是例示元数据添加处理的示例性详情的流程图。通过数据处理设备200中的CPU执行ROM中存储的计算机程序来执行该流程图所示的处理。

在步骤S801中，确定单元304确定所选择的对象的类型。

如果对象被确定为文本对象，则处理进行到步骤S802，在步骤S802中，添加单元302从该文本对象中提取字符串。可以通过语素分析(morphemic analysis)、图像特征量提取、语法分析(syntax analysis)等执行字符串提取。

在步骤S803中，添加单元302使用提取的字符串作为文本对象的元数据，处理结束。

如果对象被确定为照片对象，则处理进行到步骤S804，在步骤S804中，添加单元302选择距该照片对象位置最近的文本对象。

在步骤S805中，添加单元302提取由所选择的文本对象表示的字符串。如上所述，可以通过语素分析、图像特征量提取、语法分析等执行字符串提取。注意，如果已经向文本对象添加了元数据，则添加单元302可以使用由该元数据表示的字符串。

在步骤S806中，添加单元302将提取的字符串作为元数据添加到照片对象，然后处理结束。

如果对象被确定为图形对象，则处理进行到步骤S807，在步骤S807中确定单元304确定图形对象是否是特定对象。“特定对象”是指在处理输入图像数据时预先定义的对象；特定对象具有前端区域和后端区域。

以下将利用图9说明特定对象。该“特定对象”是将输入图像数据内的某一区域与某一其它区域相关联的对象。该“特定对象”还可以是表示某一对象重要的对象。

以下将详细描述该“特定对象”。图9是例示示例性特定对象的图。在箭头形状的图形对象900中，区域901表示前端区域，而区域902表示后端区域。如此，预先将定义有前端区域和后端区域的对象定义为特定对象并将其保存在存储单元303中。尽管特定对象可以是如具有箭头形状的、能够直观识别前端区域和后端区域的对象，但是特定对象并不限于这类对象。

而且前端区域和后端区域没有必要线性排列，特定对象的形状可以是如由图形对象910表示的。在此情况下，区域911表示前端区域，而区域912表示后端区域。

另外，特定对象的形状可以是如由图形对象920表示的。尽管在该种情况下两端均是箭头，但是将图形对象920的例如上部区域921视作前端区域，而将图形对象920的下部区域922视作后端区域。

类似地，特定对象的形状可以是如由图形对象930表示的。尽管在该种情况下两端也是箭头，但是将图形对象930的例如左侧区域931视作前端区域，而将图形对象930的右侧区域932视作后端区域。

此外，气球形状的图形对象940具有气球内侧与外侧彼此相关联的特性。在此情况下，对于对象940，将气球口的外侧的区域941视作前端区域，而将气球口的内侧的区域942视作后端区域。

在确定所选择的对象是否是特定对象时可以使用已知方法。例如，当特定对象具有箭头形状时，可以利用模式匹配方法来确定将要识别的箭头。

返回图8，如果对象被确定是特定对象(步骤S807中的“是”)，则处理进行到步骤S808。在步骤S808中，对特定对象进行处理；稍后将给出该处理的详情。同时，如果对象被确定不是特定对象(步骤S807中的“否”)，则处理进行到步骤S804，在步骤S804中，将对象作为照片对象处理。

(特定对象处理)

以下将利用图10详细说明图8的步骤S808。图10是例示特定对象处理的示例性详情的流程图。通过数据处理设备200中的CPU执行ROM中存储的计算机程序来执行该流程图所示的处理。

在步骤S1001中，确定单元304检查特定对象是否将多个不同对象相关联，或者特定对象是否指示某一对象。更具体来说，确定是否存在多个不同对象中的第一对象(换言之，即前端区域指示的对象)以及多个不同对象中的第二对象(换言之，即后端区域指示的对象)。下文中，分别将前端/后端区域指示的对象称为“前端区域指向对象(leading-region-pointedobject)”和“后端区域指向对象(trailing-region-pointed object)”。

以下将利用图11A和图11B说明前端区域指向对象和后端区域指向对象。图11A是例示特定对象将两个不同对象相关联的状态的示例的图。与图9类似，具有箭头形状的图形对象用作特定对象1100。这里，特定对象1100的前端区域指向对象是指位于特定对象1100的前端区域附近的预定区域1110内的对象。

在图11A的示例中，对象1111是特定对象1100的前端区域指向对象。用户基于特定对象1100预先定义预定区域1110。可以使区域1110的范围可变以适应特定对象1100的类型、显示大小等。类似地，特定对象1100的后端区域指向对象是位于预定区域1120内的对象1121。

以相同方式，当特定对象具有气球形状时，如图11B所示，特定对象1130的前端区域指向对象是指位于区域1140内的对象。在图11B的示例中，对象1141是特定对象1130的前端区域指向对象。类似地，特定对象1130的后端区域指向对象是位于区域1150内的对象1151。

注意，当预定区域内包含多个对象时，可以假定指示了该区域内包含的所有对象，或者可以选择任意单个对象作为被指示的对象。可以选择与特定对象1100最接近的对象作为任意单个对象。另外，也可以选择与预定区域部分交叠的对象而非只有完全位于预定区域内的对象作为被指示的对象。

返回图10，如果在步骤S1001中存在前端区域指向对象和后端区域指向对象二者，则处理进行到步骤S1002。如果只存在后端区域指向对象，则处理进行到步骤S1003。同样，如果只存在前端区域指向对象，则处理进行到步骤S1004。然而，如果这两种对象均不存在，则在步骤S1005中执行图8的步骤S804到S806所示的通常图形对象处理，之后处理结束。

在步骤S1002中执行用于前端区域指向对象和后端区域指向对象均存在的情况的元数据添加处理。在此情况下的图像数据的状态例如是如图12A所示。图12A到图12C是例示由于前端区域指向对象/后端区域指向对象的存在与否而产生的多条图像数据之间的差别的图。对于特定对象1200，存在前端区域指向对象1202和后端区域指向对象1201二者，特定对象将这两个对象相关联。前端区域指向对象1202是照片对象，在本示例中表示地图。后端区域指向对象1201是文本对象，在本示例中具有读作“集合场所”的字符串。利用这种图像数据，观看者很可能认为具有箭头形状的特定对象1200表现了前端区域指向对象1202与后端区域指向对象1201之间的相关性，这里后者描述了前者。因此，添加“相关性”作为特定对象1200的元数据。

还可以将用作前端区域指向对象1202的照片对象以及属于用作后端区域指向对象1201的文本对象的字符串添加到特定对象1200的元数据中。已添加了“相关性”作为元数据的对象是将其他对象相关联的对象。

另外，将属于用作后端区域指向对象1201的文本对象的字符串添加到用作前端区域指向对象1202的照片对象的元数据中。同样，将用作前端区域指向对象1202的照片对象添加到后端区域指向对象1201的元数据中。由此，如上所描述的，基于前端区域指向对象1202的类型和后端区域指向对象1201的类型添加适当的元数据。

因此，如果用户在执行搜索时输入包含在前端区域指向对象的元数据中的关键字，则作为搜索结果显示前端区域指向对象；后端区域指向对象的内容也包含在前端区域指向对象的元数据内。类似地，如果用户在执行搜索时输入包含在后端区域指向对象的元数据中的关键字，则作为搜索结果显示已添加有包含前端区域指向对象的内容的元数据的后端区域指向对象。

另外，如果用户在搜索时输入“相关性”作为关键字，则作为搜索结果显示特定对象。如果已向特定对象的元数据添加了前端区域指向对象或后端区域指向对象的内容，则通过检查属于该特定对象的元数据能够搜索到相关联的前端区域指向对象或后端区域指向对象。

用户使用图13所示的表1300预先定义要向对象的各组合添加何种元数据。表1300存储在存储单元303中。

图13是当添加元数据时参照的示例性表1300。针对前端区域指向对象1301和后端区域指向对象1302的各组合定义要添加的元数据。在该表中，前端区域元数据1303和后端区域元数据1304分别表示添加给前端区域指向对象和后端区域指向对象的元数据。同时，特定元数据1305表示添加给特定对象的元数据。

如果后端区域指向对象1302也是特定对象，如行1306，则还根据该特定对象指示的对象来添加前端区域指向对象1301的元数据。在添加了元数据之后处理结束。毋庸置疑，元数据的添加并不限于表1300所示的示例。

在步骤S1003中执行用于只存在后端区域指向对象的情况的元数据添加处理。例如，图12B例示了这种状态。例如，当图像数据由多页组成时，可能会发生这种状态。在这种情况下，可以认为特定对象1210的前端区域指示了在包含特定对象1210的页的前一页上存在的图像数据的整体。因此，将后端区域指向对象1211的元数据设定为“位于前一页的图像数据”，将特定对象1210的元数据设定为“相关性”。将在第二实施例中给出关于图像数据由多页组成的这类情况的详情。

然而，在诸如此类的情况下，可以假定特定对象不指示相关性，由此可以执行图8的步骤S804到S806所示的通常图形对象处理。在添加了元数据之后处理结束。

在步骤S1004中执行用于只存在前端区域指向对象的情况(或者换句话说，特定对象指示另一对象的情况)的元数据添加处理。

例如，图12C例示了这种状态。利用这种图像数据，观看者很可能认为具有箭头形状的特定对象1220表现了指示前端区域指向对象1222是重要数据的重要度。因此，添加单元302添加“重要度”作为特定对象1220的元数据。其中元数据添加有“重要度”的对象是表现其他对象的重要度的对象。

例如，用户通过搜索其元数据添加有“重要度”的对象，能够容易地检查高度重要的对象的图像数据。除了添加“重要度”作为元数据，也可以添加前端区域指向对象的内容。可以根据对象的内容添加前端区域指向对象的元数据。

根据以上所描述的本实施例，基于图形对象表示的内容添加元数据，由此可以向图像数据内的对象添加适当的元数据。

(第二实施例)

本实施例论述在输入图像数据由多页组成的情况下可以使用的变型例。这里，将省略对与第一实施例中相同的结构和处理的描述。将利用图14给出本实施例的概要。图14是例示在页的端部存在特定对象的情况的示例。

假定图像数据由两页或者由页1400和页1410组成。在由特定对象1401的前端区域指示的区域中不存在对象。然而，因为特定对象1401位于页的端部，所以可以认为对象1402指示下一页1410。因此，当特定对象1401位于页的端部并且其前端区域或后端区域指示该页的外部区域时，执行用于将该页与相邻页相关联的处理。

关于对象是否指示另一页的确定，可以通过确定由前端区域或后端区域指示的预定区域是否容纳在该对象所处的页内来执行。如果所述确定区域容纳在该页内，则确定对象不指示另一页。

然而，如果由特定对象的前端区域指示的对象未容纳在与特定对象所处的同一页内，则确定特定对象指示另一页。如果前端区域指示下一页，则将该下一页设定在后端区域指向对象的元数据中。同时，如果后端区域指示前一页，则将前一页设定在前端区域指向对象的元数据中。更具体来说，将前一页或后一页的缩略图设定在元数据中，将表示前一页或后一页内容的字符串设定在元数据中，或诸如此类。如第一实施例中，将特定对象的元数据设定为“相关性”。

以这种方式，即使当图像数据由多页组成时，也能够向图像数据内的对象添加适当的元数据。

(第三实施例)

在第一实施例中，在只存在前端区域指向对象的情况(或者，换句话说，特定对象指示某一对象的情况)下，将特定对象的元数据设定为“重要度”；这使得能够搜索高度重要的文档。然而在本实施例中，为单个对象定义重要度，由此提高了用户的方便性。

在本实施例中，存储对象303存储各对象的重要度。关联单元301为通过在图6的步骤S601中执行的划分而获得的各对象设定重要度。可以对所有对象设定同一重要度，或者可以对各类型的对象设定不同的重要度。

在图10的步骤S1004中，添加单元302执行以下添加处理。首先，添加单元302计算特定对象的显示大小。可以基于例如特定对象中的像素数量来计算该显示大小。然后，添加单元302基于特定对象的显示大小向前端区域指向对象添加表示重要度的元数据。可以向前端区域指向对象添加表示特定对象越大重要度越高的元数据。

另外，可以基于特定对象的显示颜色来改变前端区域指向对象的重要度的增加程度。例如，添加单元302计算特定对象的平均RGB值，并且基于该平均值确定增加程度。

以这种方式，设置对象的重要度并根据特定对象改变重要度使用户能够容易识别高重要度的对象。

(其他实施例)

通过读取并执行记录在存储设备上的程序以执行上述实施例的功能的系统或装置的计算机(或者诸如CPU或MPU的设备)，以及通过由系统或装置的计算机执行例如读取并执行记录在存储设备上的程序以执行上述实施例的功能的步骤的方法，也可以实现本发明的各个方面。为此，例如经由网络或从用作存储设备的各种类型的记录介质(例如，计算机可读介质)向计算机提供程序。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽泛的解释，以使其涵盖所有这种变型例以及等同的结构和功能。

Claims

1.一种信息处理装置，该信息处理装置包括：

关联单元，其被构造为将输入图像数据划分成多个区域并且将各区域与一种或更多种类型的对象相关联；

添加单元，其被构造为基于各对象的类型向各对象添加元数据；以及

确定单元，其被构造为确定在所述对象中是否存在将所述多个区域中的第一区域与所述多个区域中不同于所述第一区域的第二区域相关联的特定对象，

其中，在存在所述特定对象并且存在由所述特定对象的前端区域指示的存在于所述第一区域中的第一对象和由所述特定对象的后端区域指示的存在于所述第二区域中的第二对象的情况下，所述添加单元添加相关性作为所述特定对象的元数据，并且在所述第一对象是照片对象而所述第二对象是文本对象的情况下，所述添加单元将属于用作所述第二对象的文本对象的字符串添加到所述第一对象的元数据中，并且将用作所述第一对象的照片对象添加到所述第二对象的元数据中。

2.根据权利要求1所述的信息处理装置，

其中，所述添加单元向所述特定对象添加，表示所述特定对象是具有表现所述第一对象与所述第二对象相关联的内容的对象的元数据。

3.根据权利要求1所述的信息处理装置，

其中，在所述输入图像数据包含多页的情况下，如果所述第二对象跟所述特定对象和所述第一对象不在同一页上，则所述添加单元基于由所述特定对象所指示的页的内容，向所述第一对象添加元数据。

4.根据权利要求3所述的信息处理装置，

所述添加单元还向所述特定对象添加，表示所述特定对象是具有表现所述第一对象所在的页与所述第二对象所在的页相关联的内容的对象的元数据。

5.根据权利要求1所述的信息处理装置，其中，所述特定对象的形状是箭头形状。

6.根据权利要求1所述的信息处理装置，其中，所述特定对象的形状是气球形状。

7.一种信息处理装置的控制方法，所述控制方法包括以下步骤：

将输入图像数据划分成多个区域并且将各区域与一种或更多种类型的对象相关联；

基于各对象的类型向各对象添加元数据；

确定在所述对象中是否存在将所述多个区域中的第一区域与所述多个区域中不同于所述第一区域的第二区域相关联的特定对象；以及

在确定存在所述特定对象并且确定存在由所述特定对象的前端区域指示的存在于所述第一区域中的第一对象和由所述特定对象的后端区域指示的存在于所述第二区域中的第二对象的情况下，添加相关性作为所述特定对象的元数据，并且在所述第一对象是照片对象而所述第二对象是文本对象的情况下，将属于用作所述第二对象的文本对象的字符串添加到所述第一对象的元数据中，并且将用作所述第一对象的照片对象添加到所述第二对象的元数据中。