CN115687414A - 信息处理装置、信息处理方法以及计算机可读介质 - Google Patents

Abstract

本发明提供一种信息处理装置、信息处理方法以及计算机可读介质，与一边打开文档数据一边检索具有经指定的属性的图表数据的情况相比，能够从文档数据中高效地检索具有经指定的属性的图表数据。信息处理装置包括处理器，所述处理器受理至少一个文档数据、与图表数据的特定属性的指定，显示包含在所述至少一个文档数据中且具有所述特定属性的图表数据。

Description

信息处理装置、信息处理方法以及计算机可读介质

技术领域

本公开涉及一种信息处理装置、信息处理方法以及计算机可读介质。

背景技术

日本专利特开2008-52496号公报中记载了一种图像显示装置，其将图像分割为局部图像，判定经分割的局部图像的属性，并基于分割结果，或者基于分割结果以及属性判定结果来选择多个局部图像，将所选择的局部图像显示于规定的显示区域。

日本专利特开2008-40753号公报中记载了一种图像处理装置，其将文档图像分割为局部图像，受理基于关键字的检索键，以页面为单位来检索文档图像，生成显示命中(hit)了关键字检索的一个以上的文档图像的显示画面，选择经图像分割的局部图像，显示画面在各个页面单位配置表示页面的概观的缩略图、包含所命中的关键字的文本信息、以及所选择的局部图像。

发明内容

若一边打开文档数据，一边检索具有经指定的属性的图表数据，则无法从文档数据中高效地检索具有经指定的属性的图表数据。

本公开的目的在于，与一边打开文档数据一边检索具有经指定的属性的图表数据的情况相比，能够从文档数据中高效地检索具有经指定的属性的图表数据。

根据本公开的第一方案，提供一种信息处理装置，包括处理器，所述处理器受理至少一个文档数据、与图表数据的特定属性的指定，显示包含在所述至少一个文档数据中且具有所述特定属性的图表数据。

根据本公开的第二方案，所述处理器确定从所述至少一个文档数据预先提取的所述特定属性以及所述图表数据。

根据本公开的第三方案，所述图表数据为多个图表数据，所述处理器进而显示所述多个图表数据的所述特定属性以外的至少一个属性。

根据本公开的第四方案，所述处理器确定从所述至少一个文档数据预先提取的所述至少一个属性。

根据本公开的第五方案，所述处理器受理所述至少一个属性中的所述特定属性以外的属性的指定，将所述多个图表数据缩减并显示于具有所述特定属性以外的属性的至少一个图表数据中。

根据本公开的第六方案，所述处理器受理所述至少一个图表数据中的特定图表数据的指定，显示所述至少一个文档数据中包含所述特定图表数据的一个文档数据或一个文档数据的部分。

根据本公开的第七方案，所述图表数据为多个图表数据，所述处理器基于所述多个图表数据的所述特定属性以外的其他属性来显示所述多个图表数据。

根据本公开的第八方案，所述处理器将所述多个图表数据分为与所述多个图表数据的所述特定属性以外的属性相应的区域来显示。

根据本公开的第九方案，所述处理器将所述多个图表数据按照与所述多个图表数据的所述特定属性以外的属性相应的顺序来排列显示。

根据本公开的第十方案，所述处理器受理所述多个图表数据中的特定图表数据的指定，显示所述至少一个文档数据中包含所述特定图表数据的一个文档数据或一个文档数据的部分。

根据本公开的第十一方案，提供一种信息处理方法，包括下述工序：受理至少一个文档数据、与图表数据的特定属性的指定；以及显示包含在所述至少一个文档数据中且具有所述特定属性的图表数据。

根据本公开的第十二方案，提供一种计算机可读介质，保存有使计算机执行处理的程序，其中，所述处理包括下述工序：受理至少一个文档数据、与图表数据的特定属性的指定；以及显示包含在所述至少一个文档数据中且具有所述特定属性的图表数据。

(效果)

根据所述第一方案，与一边打开文档数据一边检索具有经指定的属性的图表数据的情况相比，能够从文档数据中高效地检索具有经指定的属性的图表数据。

根据所述第二方案，与在受理文档数据与属性的时间点从文档数据中提取具有所述属性的图表数据的情况相比，能够迅速地确定具有所述属性的图表数据。

根据所述第三方案，能够将检索图表数据时所用的属性以外的属性告知给用户。

根据所述第四方案，与在显示检索图表数据时所用的属性以外的属性的时间点从文档数据中提取所述属性的情况相比，能够迅速地确定所述属性。

根据所述第五方案，与不具有缩减图表数据来显示的结构的情况相比，即便所检索的图表数据多，也容易搜索作为目标的图表数据。

根据所述第六方案，也能够检索包含所指定的图表数据的文档数据或文档数据的部分。

根据所述第七方案，与不具有基于属性来显示图表数据的结构的情况相比，即便所检索的图表数据多，也容易搜索作为目标的图表数据。

根据所述第八方案，即便所检索的图表数据多，通过着眼于显示图表数据的区域，也容易搜索作为目标的图表数据。

根据所述第九方案，即便所检索的图表数据多，通过着眼于显示图表数据的顺序，也容易搜索作为目标的图表数。

根据所述第十方案，也能够检索包含所指定的图表数据的文档数据或文档数据的部分。

根据所述第十一方案，与一边打开文档数据一边检索具有经指定的属性的图表数据的情况相比，能够从文档数据中高效地检索具有经指定的属性的图表数据。

根据所述第十二方案，与一边打开文档数据一边检索具有经指定的属性的图表数据的情况相比，能够从文档数据中高效地检索具有经指定的属性的图表数据。

附图说明

图1是表示本公开的实施方式中的文档图像检索系统的整体结构例的图。

图2是表示本公开的实施方式中的文档图像服务器的硬件结构例的图。

图3是表示本公开的实施方式中的客户端终端所显示的画面的第一例的图。

图4是表示本公开的实施方式中的客户端终端所显示的缩减画面的一例的图。

图5是表示本公开的实施方式中的客户端终端缩减后所显示的画面的一例的图。

图6是表示本公开的实施方式中的客户端终端所显示的画面的第二例的图。

图7是表示本公开的实施方式中的客户端终端所显示的排列画面的一例的图。

图8是表示本公开的实施方式中的客户端终端排列后所显示的画面的一例的图。

图9是表示本公开的实施方式中的文档图像服务器的功能结构例的框图。

图10是表示本公开的实施方式中的文档图像服务器提取局部图像时的第一动作例的流程图。

图11是表示本公开的实施方式中的文档图像服务器提取局部图像时的第二动作例的流程图。

图12是表示本公开的实施方式中的文档图像服务器提取局部图像时的第三动作例的流程图。

图13是表示本公开的实施方式中的文档图像服务器将用于显示局部图像的一览的显示信息发送至客户端终端时的动作例的流程图。

图14是表示本公开的实施方式中的文档图像服务器缩减局部图像的一览时的动作的流程图。

图15是表示本公开的实施方式中的文档图像服务器排列局部图像的一览时的动作的流程图。

图16是表示本公开的实施方式中的文档图像服务器将文档图像发送至客户端终端时的动作的流程图。

具体实施方式

以下，参照附图来详细说明本公开的实施方式。

[本实施方式的概要]

本实施方式提供一种信息处理装置，其受理至少一个文档数据、与图表数据的特定属性的指定，显示包含在所述至少一个文档数据中且具有所述特定属性的图表数据。

此处，所谓文档数据，是指经电子化的文档，包含利用文档制作软件所制作的文档文件、将文档文件图像化的文档图像等。而且，所谓“打开文档数据”，是指处于使用与文档数据对应的专用软件来浏览文档数据的状态。文档数据既可为至少一个文档文件，也可为文档图像，还可为它们的组合，以下，作为文档数据，举文档图像为例来进行说明。此时，文档图像也可为将至少一个文档文件保存至文档图像服务器时进行图像化所得者。而且，所谓一个文档数据的部分，为文档数据的任何部分皆可，以下，举文档数据的页面即文档图像的页面的图像为例来进行说明。

所谓图表数据，是指经电子化的图表。并且，图表数据可为利用图表制作软件所制作的图表、框图、流程图、地图、表等的数据，且可为插入或贴附到文档文件中者。或者，图表数据也可作为将利用图表制作软件所制作的数据图像化的局部图像而包含在文档图像中。图表数据既可为利用图表制作软件所制作的数据其自身，也可为局部图像，以下，作为图表数据，举局部图像为例来进行说明。另外，在采用文档文件作为文档数据的情况下，当从文档文件中提取图表数据时，暂时生成将文档文件图像化的文档图像。由此，也暂时生成将文档文件中所含的图表数据图像化的局部图像。

所谓图表数据的属性，是指各个图表所具有的性质或特征。图表数据的属性有：通过对文档数据进行深层学习、分类型机器学习、基于规则库(rule base)的判定处理中的任一种而判定的类型的属性；以及通过对图表数据进行图像分析、文本分析等而判定的类型的属性。以下，有时将前者的类型的属性称作第一属性，将后者的类型的属性称作第二属性。

第一属性包含图表的种类。其中有图表、框图、流程图、地图、表等。而且，第一属性也包含图表的种类。其中有纵条图、横条图、折线图、散布图、圆图表、旭日图(sunburst)、雷达图等或它们的组合。进而，第一属性也包含框图或流程图的样貌。其中有纵向的流程、横向的流程、它们的混合存在等。

第二属性包含图表的样貌。其中有颜色、颜颜色数量量的多中少、像素密度的高低(图表是复杂还是简单)、在文档数据中的位置或大小等。而且，第二属性也包含图表的轴或刻度的信息。其中有年代、百分率、西历、语言种类、国名、县名、地域名、企业名、无纵刻度线、无横刻度线等。而且，第二属性还包含图表的凡例中的项目名。其中有年代、国名、县名、企业名、西历、文章等。进而，第二属性还包含图表的轴名、图表的标题(图表的上部的字符串)、图表的注释(图表的下部的字符串)等。

而且，信息处理装置也可为单个计算机，以下，举包含文档图像服务器与客户端终端的文档图像检索系统中的文档图像服务器为例来进行说明。

[文档图像检索系统的整体结构]

图1是表示本实施方式中的文档图像检索系统1的整体结构例的图。如图所示，所述文档图像检索系统1是通过文档图像服务器10与客户端终端30连接于通信线路80而构成。另外，图中，文档图像服务器10以及客户端终端30仅表示了各一个，但各装置也可设有两个以上。

文档图像服务器10是对文档图像进行管理，并根据来自客户端终端30的检索请求来对客户端终端30提供文档图像的服务器计算机。作为文档图像服务器10，例如可使用通用的个人计算机。

客户端终端30是由对由文档图像服务器10所管理的文档图像进行检索的用户所使用的终端装置。作为客户端终端30，例如可使用桌面式个人计算机(Personal Computer，PC)、笔记型PC、移动信息终端等。

通信线路80是被用于文档图像服务器10与客户端终端30之间的信息通信的线路。作为通信线路80，例如可使用局域网(Local Area Network，LAN)或国际互联网。

[文档图像服务器的硬件结构]

图2是表示本实施方式中的文档图像服务器10的硬件结构例的图。如图所示，文档图像服务器10包括处理器11、随机存取存储器(Random Access Memory，RAM)12、硬盘驱动器(Hard Disk Drive，HDD)13、通信接口(以下称作“通信I/F(Interface)”)14、显示器件15以及输入器件16。

处理器11执行操作系统(Operating System，OS)或应用等各种软件，实现后述的各功能。

RAM12是被用作处理器11的作业用存储器等的存储器。HDD13是存储针对各种软件的输入数据或者来自各种软件的输出数据等的例如磁盘装置。

通信I/F14经由通信线路80而与客户端终端30之间进行各种信息的收发。

显示器件15是显示各种信息的例如显示器。输入器件16是用户输入信息所用的例如键盘或鼠标。

[本实施方式的具体例]

图3是表示本实施方式中的客户端终端30所显示的画面300的第一例的图。图3的画面300包含文档显示区域310与文件夹显示区域360。并且，在文档显示区域310中，显示有表示文档图像的文档图标311～文档图标314。在此状态下，用户如用粗框所示的那样指定文档图标312，并指定图表来作为属性而进行显示请求。于是，客户端终端30将文档图标312所表示的文档图像中所含的图表显示在检索结果显示区域320内。此处，在检索结果显示区域320内显示有圆图表321、纵条图322、折线图323等。

此外，图3中，处于显示在检索结果显示区域320内的图表的数量过多而难以找到目标图表的状况。由于此种状况，客户端终端30提供用于缩减图表的用户接口。

图4是表示用于缩减图表的用户接口即缩减画面330的一例的图。缩减画面330包含：用于选择图表的种类的图表种类选择区域331、用于指定轴名的轴名指定区域332、用于指定注释的注释指定区域333以及确定按钮339。此处，在图表种类选择区域331中选择了纵条图以及折线图。假设在此状态下，用户点击了确定按钮339。

图5是表示在图3的画面300的状态下，如图4的缩减画面330那样进行了选择并点击了确定按钮339的情况下，客户端终端30所显示的画面300的一例的图。图5中，显示于检索结果显示区域320的图表被缩减为纵条图322以及折线图323。

假设在此状态下，用户选择了纵条图322以及折线图323中的任一个。于是，客户端终端30将显示所指定的文档图标312所表示的文档图像的多个页面的图像中包含所选择的图表的页面的图像。

另外，这些画面例不过是一例。例如，在图4的缩减画面330中，也可设置用于选择或指定所述的其他属性的区域。

图6是表示本实施方式中的客户端终端30所显示的画面300的第二例的图。图6的画面300也包含文档显示区域310与文件夹显示区域360。并且，在文件夹显示区域360中，显示有表示文件夹的文件夹图标361～文件夹图标364。假设在此状态下，用户如粗框所示那样指定文件夹图标364，并指定图表作为属性来进行显示请求。于是，客户端终端30将文件夹图标364所表示的文件夹内的文档图像中所含的图表显示在检索结果显示区域370内。此处，在检索结果显示区域370内显示有带状图371、雷达图372、散布图373、纵条图374、散布图375等。

此外，图6中，处于显示在检索结果显示区域370内的图表的数量过多而难以找到目标图表的状况。由于此种状况，客户端终端30提供用于排列图表的用户接口。

图7是表示用于排列图表的用户接口即排列画面380的一例的图。作为排列画面380，考虑用于指示将图表分为与属性相应的区域予以显示的画面、与用于指示将图表按照与属性相应的顺序进行排列显示的画面，但此处对后者进行表示。即，排列画面380包含用于选择将图表以与颜色数量相应的顺序进行排列时的顺序的颜色数量顺序选择区域381、用于选择将图表以与像素密度相应的顺序进行排列时的顺序的像素密度顺序选择区域382以及确定按钮389。此处，在像素密度顺序选择区域382中，选择了按照像素密度由低到高的顺序。假设在此状态下，用户点击了确定按钮389。

图8是表示在图6的画面300的状态下，通过图4的缩减画面330而缩减为散布图后，如图7的排列画面380那样进行了选择并点击了确定按钮389的情况下，客户端终端30所显示的画面300的一例的图。图8中，显示于检索结果显示区域370的图表被缩减为散布图373、散布图375，且按照从像素密度低的散布图375到像素密度高的散布图373这一顺序予以排列。

假设在此状态下，用户选择了散布图373、散布图375中的任一个。于是，客户端终端30将显示所指定的文件夹图标364所表示的文件夹内的文档图像中包含所选择的散布图的文档图像。

另外，这些画面例不过是一例。例如，在图7的排列画面380中，也可设置用于选择以与所述的其他属性相应的顺序来排列图表时的顺序的区域。

[文档图像服务器的功能结构]

图9是表示本实施方式中的文档图像服务器10的功能结构例的框图。如图所示，文档图像服务器10包括文档图像存储部21、局部图像提取部22、局部图像存储部23、接收部24、图像选择部25、显示信息生成部26以及发送部27。

文档图像存储部21存储文档图像。在设想只利用客户端终端30来指定文档图像的情况下，文档图像存储部21可与文件夹无关地独立存储文档图像。在也设想利用客户端终端30来指定文件夹的情况下，文档图像存储部21可对应于每个文件夹来存储文档图像。

局部图像提取部22从存储于文档图像存储部21的文档图像中提取与图表对应的局部图像以及其属性。具体而言，局部图像提取部22通过对文档图像进行深层学习、分类型机器学习、基于规则库的判定处理中的任一种，从而提取局部图像以及其第一属性。另外，关于所述局部图像以及第一属性的提取方法的详细将后述。而且，局部图像提取部22通过对局部图像进行与图表的种类相应的图像分析、文本分析等，从而提取局部图像的第二属性。进而，局部图像提取部22从存储于文档图像存储部21的文档图像中也获取对文档图像的链接信息。

局部图像存储部23将局部图像提取部22所提取的局部图像关联于局部图像提取部22所提取的属性(第一属性以及第二属性)来予以存储。而且，局部图像存储部23针对局部图像，还存储局部图像提取部22所获取的对文档图像的链接信息。

当用户利用客户端终端30来指定文档图像或文件夹，并指定图表的属性时，接收部24从客户端终端30接收文档图像或文件夹的指定与图表的属性的指定。此处，文档图像或文件夹的指定可理解为检索对象的指定，因此称作“对象指定”。而且，图表的属性的指定简称作“属性指定”。本实施方式中，作为受理至少一个文档数据与图表数据的特定属性的指定的一例，进行接收部24的所述处理。

而且，当用户在显示于客户端终端30的缩减画面上选择属性时，接收部24从客户端终端30接收指示依据所述属性来缩减局部图像的缩减指示。本实施方式中，作为受理特定属性以外的至少一个属性中的特定属性以外的属性的指定的一例，进行接收部24的所述处理。

而且，当用户在显示于客户端终端30的排列画面上指定属性以及排列方法时，接收部24从客户端终端30接收指示将局部图像关于其属性而以所述排列方法予以排列的排列指示。具体而言，接收部24接收指示将局部图像分为与其属性相应的区域的排列的排列指示、或指示将局部图像按照与其属性相应的顺序进行排列的排列的排列指示。

进而，当用户利用客户端终端30来选择局部图像而进行文档图像的检索请求时，接收部24从客户端终端30接收指定了局部图像的检索请求。本实施方式中，作为受理具有特定属性以外的属性的至少一个图表数据中的特定图表数据的指定的一例，而且，作为受理多个图表数据中的特定图表数据的指定的一例，进行接收部24的所述处理。

当接收部24收到对象指定以及属性指定时，图像选择部25从局部图像存储部23中选择局部图像，所述局部图像包含在通过所述对象指定而指定的文档图像或通过所述对象指定而指定的文件夹内的文档图像中，且具有通过所述属性指定而指定的属性。本实施方式中，作为确定从至少一个文档数据中预先提取的特定属性以及图表数据的一例，进行图像选择部25的所述处理。

而且，当用户利用客户端终端30进行缩减时，图像选择部25从局部图像存储部23获取与作为缩减对象的局部图像相关联的属性。本实施方式中，作为确定从至少一个文档数据中预先提取的至少一个属性的一例，进行图像选择部25的所述处理。

而且，当用户利用客户端终端30进行排列时，图像选择部25从局部图像存储部23中获取与作为排列对象的局部图像相关联的属性。

进而，当接收部24收到指定了局部图像的检索请求时，图像选择部25从文档图像存储部21中选择包含所述局部图像的文档图像或所述页面的图像。具体而言，当用户利用客户端终端30指定了文档图像时，图像选择部25从文档图像存储部21中选择包含局部图像的文档图像的页面的图像。而且，当用户利用客户端终端30指定了文件夹时，图像选择部25从文档图像存储部21中选择包含局部图像的文档图像。

当接收部24收到对象指定以及属性指定时，显示信息生成部26生成用于显示图像选择部25所选择的局部图像的显示信息。本实施方式中，作为显示包含在至少一个文档数据中且具有特定属性的图表数据的一例，进行显示信息生成部26的所述处理。

而且，当用户利用客户端终端30进行缩减时，显示信息生成部26生成用于显示包含图像选择部25所获取的属性的缩减画面的显示信息。随后，当接收部24收到缩减指示时，显示信息生成部26生成用于将图像选择部25先前选择的局部图像按照缩减指示进行缩减并显示缩减后的局部图像的显示信息。本实施方式中，作为在图表数据为多个图表数据的情况下，进而显示多个图表数据的特定属性以外的至少一个属性的一例，进行显示信息生成部26的所述处理。而且，本实施方式中，作为将多个图表数据缩减为具有特定属性以外的属性的至少一个图表数据予以显示的一例，进行显示信息生成部26的所述处理。

而且，当用户利用客户端终端30进行排列时，显示信息生成部26生成用于显示包含图像选择部25所获取的属性的排列画面的显示信息。随后，当接收部24收到排列指示时，显示信息生成部26生成用于将图像选择部25先前选择的局部图像按照排列指示进行排列并显示排列后的局部图像的显示信息。具体而言，显示信息生成部26生成用于将局部图像分为与属性相应的区域予以显示的显示信息、或用于将局部图像按照与属性相应的顺序排列显示的显示信息。或者，显示信息生成部26也可进一步上位概念化，而生成用于基于属性来显示局部图像的显示信息。本实施方式中，作为在图表数据为多个图表数据的情况下，基于多个图表数据的特定属性以外的其他属性来显示多个图表数据的一例，进行显示信息生成部26的所述处理。而且，本实施方式中，作为将多个图表数据分为与多个图表数据的特定属性以外的属性相应的区域予以显示、或者将多个图表数据按照与多个图表数据的特定属性以外的属性相应的顺序予以显示的一例，进行显示信息生成部26的所述处理。

进而，当接收部24收到指定了局部图像的检索请求时，显示信息生成部26生成用于显示图像选择部25所选择的文档图像或其页面的图像的显示信息。具体而言，在用户一开始指定了文档图像的情况下，显示信息生成部26生成用于显示文档图像的页面的图像的显示信息。而且，在用户一开始指定了文件夹的情况下，显示信息生成部26生成用于显示文档图像的显示信息。本实施方式中，作为显示至少一个文档数据中包含特定图表数据的文档数据或文档数据的部分的一例，进行显示信息生成部26的所述处理。

发送部27将显示信息生成部26所生成的显示信息发送至客户端终端30。

[文档图像服务器的动作]

首先，对本实施方式中的文档图像服务器10的局部图像提取部22提取局部图像时的动作进行说明。另外，所述动作中，将提取局部图像的作为对象的文档图像称作“对象文档图像”。

图10是表示文档图像服务器10的局部图像提取部22提取局部图像时的第一动作例的流程图。所述第一动作例是使用深层学习时的动作例。

如图所示，首先，局部图像提取部22获取学习用文档图像与正解数据(步骤101)。此处，所谓正解数据，是指使判别器关于学习用文档图像进行学习的作业者所制作的正解的数据，记述了学习用文档图像上的局部图像的位置以及属性。

接下来，局部图像提取部22将在步骤101中获取的学习用文档图像与正解数据输入至例如更快速区域卷积神经网络(Faster Region-Convolutional Neural Network，FasterRCNN)进行深层学习，由此来生成判别器(步骤102)。

接下来，局部图像提取部22使用在步骤102中生成的判别器，从对象文档图像中提取局部图像与其第一属性(步骤103)。

然后，局部图像提取部22从在步骤103中提取的局部图像中提取第二属性(步骤104)。此时，局部图像提取部22可根据在步骤103中提取的第一属性，来决定局部图像中的应提取第二属性的部位。

随后，局部图像提取部22将在步骤103中提取的局部图像关联于在步骤103中提取的第一属性以及在步骤104中提取的第二属性而存储至局部图像存储部23中(步骤105)。例如，局部图像提取部22可将在步骤103中提取的局部图像对应于在步骤103中提取的第一属性以及在步骤104中提取的第二属性的每个属性而存储至局部图像存储部23。

最后，局部图像提取部22针对在步骤105中存储于局部图像存储部23中的局部图像，存储对于对象文档图像的链接信息(步骤106)。此处，作为对于对象文档图像的链接信息，可使用文档图像存储部21的存储有对象文档图像的区域的信息。

图11是表示文档图像服务器10的局部图像提取部22提取局部图像时的第二动作例的流程图。所述第二动作例是使用分类型机器学习时的动作例。

如图所示，首先，局部图像提取部22将学习用文档图像分解为部件要素(步骤121)。此处，所谓部件要素，例如是指包含构成学习用文档图像的彼此连结的像素的要素。

接下来，局部图像提取部22对在步骤121中获得的多个部件要素进行统合而生成局部图像(步骤122)。具体而言，局部图像提取部22基于部件要素间的距离、多个部件要素的配置、各部件要素的临时属性等来对多个部件要素进行统合。例如，在不存在轴的柱状图中，临时属性为矩形的多个部件要素以部件要素间的距离相同的方式而均等地配置，因此局部图像提取部22对多个部件要素进行统合而制成一个柱状图。而且，局部图像提取部22也有时不对多个部件要素进行统合。此时，一个部件要素直接成为局部图像。

接下来，局部图像提取部22针对在步骤122中生成的各个局部图像，算出特征量矢量(步骤123)。此处，作为特征量矢量中所含的特征量，有像素密度、颜色比例、颜色密度方差、边缘量，边缘方差、直线密度、直线正交比率等。

接下来，局部图像提取部22将在步骤122中生成的局部图像的属性与在步骤123中算出的特征量矢量输入至机器学习型分类器，由此来生成学习完毕分类器(步骤124)。此处，作为局部图像的属性，只要使用使分类器进行学习的作业者所判断的属性即可。

另一方面，局部图像提取部22将对象文档图像分解为部件要素(步骤125)。此处，所谓部件要素，例如是指包含构成对象文档图像的彼此连结的像素的要素。

接下来，局部图像提取部22对在步骤125中获得的多个部件要素进行统合而生成局部图像(步骤126)。具体而言，局部图像提取部22基于部件要素间的距离、多个部件要素的配置、各部件要素的临时属性等来对多个部件要素进行统合。例如，在不存在轴的柱状图中，临时属性为矩形的多个部件要素以部件要素间的距离相同的方式均等地配置，因此局部图像提取部22对多个部件要素进行统合而制成一个柱状图。而且，局部图像提取部22也有时不对多个部件要素进行统合。此时，一个部件要素直接成为局部图像。

接下来，局部图像提取部22针对在步骤126中生成的各个局部图像，算出特征量矢量(步骤127)。此处，作为特征量矢量中所含的特征量，有像素密度、颜色比例、颜色密度方差、边缘量、边缘方差、直线密度、直线正交比率等。

接下来，局部图像提取部22将在步骤127中算出的特征量矢量输入至在步骤124中生成的学习完毕分类器，由此来判定在步骤126中生成的局部图像的第一属性(步骤128)。

然后，局部图像提取部22从在步骤126中生成的局部图像中提取第二属性(步骤129)。此时，局部图像提取部22可根据在步骤128中判定的第一属性，来决定局部图像中的应提取第二属性的部位。

随后，局部图像提取部22将在步骤126中生成的局部图像关联于在步骤128中判定的第一属性以及在步骤129中提取的第二属性而存储至局部图像存储部23(步骤130)。例如，局部图像提取部22可将在步骤126中生成的局部图像对应于在步骤128中判定的第一属性以及在步骤129中提取的第二属性的每个属性而存储至局部图像存储部23。

最后，局部图像提取部22针对在步骤130中存储于局部图像存储部23的局部图像，存储对于对象文档图像的链接信息(步骤131)。此处，作为对于对象文档图像的链接信息，可使用文档图像存储部21的存储有对象文档图像的区域的信息。

图12是表示文档图像服务器10的局部图像提取部22提取局部图像时的第三动作例的流程图。所述第三动作例是使用基于规则库的判别处理时的动作例。

如图所示，首先，局部图像提取部22将对象文档图像分解为部件要素(步骤141)。此处，所谓部件要素，例如是指包含构成对象文档图像的彼此连结的像素的要素。

接下来，局部图像提取部22对在步骤141中获得的多个部件要素进行统合而生成局部图像(步骤142)。具体而言，局部图像提取部22基于部件要素间的距离、多个部件要素的配置、各部件要素的临时属性等，来对多个部件要素进行统合。例如，在不存在轴的柱状图中，临时属性为矩形的多个部件要素以部件要素间的距离相同的方式均等地配置，因此局部图像提取部22对多个部件要素进行统合而制成一个柱状图。而且，局部图像提取部22也有时不对多个部件要素进行统合。此时，一个部件要素直接成为局部图像。

接下来，局部图像提取部22针对在步骤142中生成的各个局部图像，算出特征量矢量(步骤143)。此处，作为特征量矢量中所含的特征量，有像素密度、颜色比例、颜色密度方差、边缘量、边缘方差、直线密度、直线正交比率等。

接下来，局部图像提取部22使用在步骤143中算出的特征量矢量来执行逻辑判定算法，由此来判定局部图像的第一属性(步骤144)。此处，所谓逻辑判定算法，是指对局部图像的属性进行判定的作业者事先制作的算法。

然后，局部图像提取部22从在步骤142中生成的局部图像中提取第二属性(步骤145)。此时，局部图像提取部22可根据在步骤144中判定的第一属性，来决定局部图像中的应提取第二属性的部位。

随后，局部图像提取部22将在步骤142中生成的局部图像关联于在步骤144中判定的第一属性以及在步骤145中提取的第二属性而存储至局部图像存储部23(步骤146)。例如，局部图像提取部22将在步骤142中生成的局部图像对应于在步骤144中判定的第一属性以及在步骤145中提取的第二属性的每个属性而存储至局部图像存储部23。

最后，局部图像提取部22针对在步骤146中存储于局部图像存储部23的局部图像，存储对于对象文档图像的链接信息(步骤147)。此处，作为对于对象文档图像的链接信息，可使用文档图像存储部21的存储有对象文档图像的区域的信息。

接下来，对本实施方式中的文档图像服务器10将局部图像等发送至客户端终端30时的动作进行说明。

图13是表示文档图像服务器10将用于显示局部图像的一览的显示信息发送至客户端终端30时的动作例的流程图。

如图所示，首先，文档图像服务器10中，接收部24从客户端终端30接收对象指定以及属性指定(步骤201)。此处，所谓对象指定，如上所述，是指用户对文档图像或文件夹的指定。而且，所谓属性指定，如上所述，是指用户对图表的属性的指定。

接下来，图像选择部25从存储于局部图像存储部23的局部图像中，选择与在步骤201中所接收的对象指定以及属性指定对应的局部图像(步骤202)。具体而言，图像选择部25从存储于局部图像存储部23的局部图像中，选择包含在通过对象指定而指定的文档图像或通过对象指定而指定的文件夹内的文档图像中且具有通过属性指定而指定的属性的局部图像。此时，图像选择部25只要将局部图像存储部23中与对于文档图像的链接信息相关联的局部图像确定为包含在所述文档图像中的局部图像即可。而且，图像选择部25只要将局部图像存储部23中与属性相关联的局部图像确定为具有所述属性的局部图像即可。

接下来，显示信息生成部26生成用于显示在步骤202中所选择的局部图像的一览的显示信息(步骤203)。例如，显示信息生成部26生成用于显示图3的检索结果显示区域320或图6的检索结果显示区域370的显示信息。

随后，发送部27将在步骤203中生成的显示信息发送至客户端终端30(步骤204)。由此，在客户端终端30中，显示包含在步骤202中所选择的局部图像的一览的例如图3的检索结果显示区域320或图6的检索结果显示区域370。

图14是表示文档图像服务器10对局部图像的一览进行缩减时的动作的流程图。另外，当用户在客户端终端30上进行了对局部图像的一览进行缩减的意旨的输入时，文档图像服务器10执行所述动作。

如图所示，首先，文档图像服务器10中，图像选择部25获取在局部图像存储部23中与显示于客户端终端30的局部图像相关联的属性(步骤221)。

接下来，显示信息生成部26生成用于显示包含在步骤221中所获取的属性的缩减画面330的显示信息(步骤222)。

接下来，发送部27将在步骤222中所生成的显示信息发送至客户端终端30(步骤223)。由此，在客户端终端30中，例如显示图4的缩减画面330。

由此，假设用户在缩减画面330上选择或指定属性而进行局部图像的缩减指示。于是，文档图像服务器10中，接收部24从客户端终端30接收包含属性的缩减指示(步骤224)。

接下来，显示信息生成部26生成用于显示将在图13的步骤202中所选择的局部图像按照在步骤224中收到的缩减指示中所含的属性进行缩减后的局部图像的显示信息(步骤225)。具体而言，显示信息生成部26将在图13的步骤203中所生成并保持的显示信息，替换为用于显示按照缩减指示中所含的属性进行了缩减后的局部图像的显示信息。

随后，发送部27将在步骤225中生成的显示信息发送至客户端终端30(步骤226)。由此，在客户端终端30中，显示包含在步骤225中经缩减后的局部图像的例如图5的检索结果显示区域320。

图15是表示文档图像服务器10对局部图像的一览进行排列时的动作的流程图。另外，当用户在客户端终端30上进行了对局部图像的一览进行排列的意旨的输入时，文档图像服务器10执行所述动作。

如图所示，首先，文档图像服务器10中，图像选择部25获取局部图像存储部23中与显示于客户端终端30的局部图像相关联的属性(步骤241)。

接下来，显示信息生成部26生成用于显示包含在步骤241中所获取的属性的排列画面380的显示信息(步骤242)。

接下来，发送部27将在步骤242中所生成的显示信息发送至客户端终端30(步骤243)。由此，在客户端终端30中，例如显示图7的排列画面380。

由此，假设用户在排列画面380上选择或指定关于属性进行排列时的排列方法，而进行了局部图像的排列指示。此处，所谓排列方法，是指通过将局部图像分为与属性相应的区域而进行排列的方法、或者通过将局部图像按照与属性相应的顺序予以排列而进行排列的方法。于是，文档图像服务器10中，接收部24从客户端终端30中接收包含属性以及排列方法的排列指示(步骤244)。

接下来，显示信息生成部26生成显示信息(步骤245)，所述显示信息用于显示将在图13的步骤202中所选择的局部图像与在步骤244中所接收的排列指示中所含的属性相关而利用排列指示中所含的排列方法进行了排列后的局部图像。具体而言，显示信息生成部26将在图13的步骤203中生成并保持的显示信息，替换为用于显示关于排列指示中所含的属性而利用排列指示中所含的排列方法进行了排列后的局部图像的显示信息。

随后，发送部27将在步骤245中所生成的显示信息发送至客户端终端30(步骤246)。由此，在客户端终端30中，显示包含在步骤245中进行了排列后的局部图像的例如图8的检索结果显示区域370。

图16是表示文档图像服务器10将文档图像发送至客户端终端30时的动作的流程图。

首先，假设用户例如在图5的检索结果显示区域320或图8的检索结果显示区域370上选择局部图像，由此来进行文档图像的检索请求。于是，文档图像服务器10中，接收部24从客户端终端30接收指定了局部图像的检索请求(步骤261)。

接下来，图像选择部25从存储于文档图像存储部21的文档图像中，选择包含在步骤261中所接收的检索请求中经指定的局部图像的文档图像(步骤262)。具体而言，在用户一开始指定了文档图像的情况下，图像选择部25参照局部图像存储部23来获取对于包含局部图像的文档图像的页面的链接信息，并基于所述链接信息来选择文档图像的页面的图像。而且，在用户一开始指定了文件夹的情况下，图像选择部25参照局部图像存储部23来获取对于包含局部图像的文档图像的链接信息，并基于所述链接信息来选择文档图像。

接下来，显示信息生成部26生成用于显示在步骤262中所选择的文档图像的显示信息(步骤263)。

随后，发送部27将在步骤263中所生成的显示信息发送至客户端终端30(步骤264)。由此，在客户端终端30中，显示在步骤262中所选择的文档图像。

[处理器]

本实施方式中，所谓处理器，是指广义上的处理器，包含通用处理器(例如中央处理器(Central Processing Unit，CPU))或者专用处理器(例如图形处理器(GraphicsProcessing Unit，GPU)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、可编程逻辑器件等)。

而且，本实施方式中的处理器的动作也可不仅由一个处理器来完成，而且由位于物理上分离的位置的多个处理器协同完成。而且，处理器的各动作的顺序并不仅限定于本实施方式中记载的顺序，也可进行适当变更。

[程序]

本实施方式中的文档图像服务器10所进行的处理例如是作为应用软件等的程序而准备。

即，实施本实施方式的程序可作为用于使计算机实现下述功能的程序而理解，即：受理至少一个文档数据、与图表数据的特定属性的指定；以及显示包含在至少一个文档数据中且具有特定属性的图表数据。

另外，实现本实施方式的程序当然可通过通信部件来提供，也可保存在只读光盘(Compact Disc Read Only Memory，CD-ROM)等的记录介质中而提供。

Claims (12)

1.一种信息处理装置，其特征在于，包括处理器，

所述处理器受理至少一个文档数据、与图表数据的特定属性的指定，

所述处理器显示包含在所述至少一个文档数据中且具有所述特定属性的图表数据。

2.根据权利要求1所述的信息处理装置，其特征在于，

所述处理器确定从所述至少一个文档数据预先提取的所述特定属性以及所述图表数据。

3.根据权利要求1所述的信息处理装置，其特征在于，

所述图表数据为多个图表数据，

所述处理器进而显示所述多个图表数据的所述特定属性以外的至少一个属性。

4.根据权利要求3所述的信息处理装置，其特征在于，

所述处理器确定从所述至少一个文档数据预先提取的所述至少一个属性。

5.根据权利要求3所述的信息处理装置，其特征在于，

所述处理器受理所述至少一个属性中的所述特定属性以外的属性的指定，

所述处理器将所述多个图表数据缩减并显示于具有所述特定属性以外的属性的至少一个图表数据中。

6.根据权利要求5所述的信息处理装置，其特征在于，

所述处理器受理所述至少一个图表数据中的特定图表数据的指定，

所述处理器显示所述至少一个文档数据中包含所述特定图表数据的一个文档数据或一个文档数据的部分。

7.根据权利要求1所述的信息处理装置，其特征在于，

所述图表数据为多个图表数据，

所述处理器基于所述多个图表数据的所述特定属性以外的其他属性来显示所述多个图表数据。

8.根据权利要求7所述的信息处理装置，其特征在于，

所述处理器将所述多个图表数据分为与所述多个图表数据的所述特定属性以外的属性相应的区域来显示。

9.根据权利要求7所述的信息处理装置，其特征在于，

所述处理器将所述多个图表数据按照与所述多个图表数据的所述特定属性以外的属性相应的顺序来排列显示。

10.根据权利要求7所述的信息处理装置，其特征在于，

所述处理器受理所述多个图表数据中的特定图表数据的指定，

所述处理器显示所述至少一个文档数据中包含所述特定图表数据的一个文档数据或一个文档数据的部分。

11.一种信息处理方法，其特征在于，包括下述工序：

受理至少一个文档数据、与图表数据的特定属性的指定；以及

显示包含在所述至少一个文档数据中且具有所述特定属性的图表数据。

12.一种计算机可读介质，保存有使计算机执行处理的程序，其特征在于，

所述处理包括下述工序：

受理至少一个文档数据、与图表数据的特定属性的指定；以及

显示包含在所述至少一个文档数据中且具有所述特定属性的图表数据。

Images