CN111835934B - 图像处理设备及其控制方法和存储介质 - Google Patents

Abstract

本发明涉及一种图像处理设备及其控制方法和存储介质。在用户向自动生成的文件名等添加分隔符或从该文件名等删除分隔符的情况下，使得可以在从下次起将相同种类的文档的扫描图像变换成文件时，自动生成反映分隔符的有无的文件。在扫描与过去扫描的文档相似的文档的情况下，基于包括分隔符的有无的学习的结果，自动生成并呈现本次扫描的文档的属性。

Description

图像处理设备及其控制方法和存储介质

技术领域

本发明的技术涉及用以对扫描图像设置属性的技术。

背景技术

传统上，作为文档管理方法，广泛使用如下的方法，该方法将通过利用扫描器读取文档所获得的扫描图像变换成预定格式的文件，并将该文件发送至网络上的存储服务器以保存该文件。为了将扫描图像作为文件发送至网络上的存储服务器，需要向文件赋予文件名。此时，为了防止在发送目的地处的文件名的重复，通常，通过使用扫描的日期、给出扫描指示的用户的名称和扫描所使用的MFP的型号名称等来自动确定文件名。然而，使用日期和用户名等的文件名并未反映对象文档的内容，因此想要了解文件内容的用户需要通过打开文件来检查内容。此外，为了使得可以从文件名掌握文档内容，用户需要手动修改文件名。因此，提出了如下的方法(日本特开2008-71050)，该方法通过检测扫描图像中的包括字符的特定区域并进行利用OCR的字符识别、并且通过用分隔符连接所识别的字符串，来自动生成文件名。根据日本特开2008-71050的方法，可以在无需打开文件的情况下通过文件名掌握概要，因此可以省去手动编辑文件名的时间和精力。

在日本特开2008-71050的方法中插入在字符串之间的分隔符对于使文件名容易理解是有用的，但在不少情况下，存在认为这些分隔符中的一部分或全部不必要的用户。例如，在跨文档内的多个行延伸的字符串的情况下，作为将字符串分割成多个字符区域(文本块)然后进行检测的结果，存在插入不必要的分隔符的情况。利用上述的日本特开2008-71050的技术，甚至连用户认为不必要的分隔符也无例外地包括在文件名中，因此不希望使用这样的文件名的用户需要每次手动删除用户判断为不必要的分隔符。用户在每次扫描文档时进行这样的作业是麻烦的。此外，存在用户希望在任意位置添加分隔符的情况。

为了应对上述问题，开发了本发明的技术。也就是说，目的是使得可以在用户向自动生成的文件名添加分隔符或从该文件名删除分隔符的情况下，在从下次起对相同种类的文档的扫描图像进行变换时，自动生成反映分隔符的有无的文件名。

发明内容

根据本发明的图像处理设备包括：从通过扫描文档所获得的扫描图像中检测字符区域；进行控制以显示UI画面，所述UI画面用于通过使用与用户从所检测到的字符区域中所选择的字符区域相对应的字符串来对所述扫描图像设置属性；以及获取与对过去的扫描图像所设置的属性有关的结构信息，其中，所述结构信息包括与对应于字符串的字符区域有关的信息和与分隔符的有无有关的信息，以及其中，在对与所述过去的扫描图像相似的扫描图像设置属性的情况下，所显示的UI画面呈现根据所述结构信息而自动生成的属性。

一种图像处理设备包括：至少一个存储器，用于存储程序；以及至少一个处理器，用于执行所述程序，以进行：从通过扫描文档所获得的扫描图像中检测字符区域；进行控制以显示UI画面，所述UI画面用于通过使用与用户从所检测到的字符区域中所选择的字符区域相对应的字符串来对所述扫描图像设置属性；以及获取与对过去的扫描图像所设置的属性有关的结构信息，其中，所述结构信息包括与对应于字符串的字符区域有关的信息和与分隔符的有无有关的信息，以及其中，在对与所述过去的扫描图像相似的扫描图像设置属性的情况下，所显示的UI画面呈现根据所述结构信息而自动生成的属性。

一种图像处理设备的控制方法，所述图像处理设备用于对通过扫描文档所获得的扫描图像设置属性，所述控制方法包括：从所述扫描图像中检测字符区域；显示UI画面，所述UI画面用于通过使用与用户从所检测到的字符区域中所选择的字符区域相对应的字符串来对所述扫描图像设置属性；以及获取与对过去的扫描图像所设置的属性有关的结构信息，其中，所述结构信息包括与对应于字符串的字符区域有关的信息和与分隔符的有无有关的信息，以及其中，在对与所述过去的扫描图像相似的扫描图像设置属性的情况下，在所显示的UI画面上呈现根据所述结构信息而自动生成的属性。

一种存储有程序的非暂时性计算机可读存储介质，所述程序用于使计算机进行图像处理设备的控制方法，所述图像处理设备用于对通过扫描文档所获得的扫描图像设置属性，所述控制方法包括：从所述扫描图像中检测字符区域；显示UI画面，所述UI画面用于通过使用与用户从所检测到的字符区域中所选择的字符区域相对应的字符串来对所述扫描图像设置属性；以及获取与对过去的扫描图像所设置的属性有关的结构信息，其中，所述结构信息包括与对应于字符串的字符区域有关的信息和与分隔符的有无有关的信息，以及其中，在对与所述过去的扫描图像相似的扫描图像设置属性的情况下，在所显示的UI画面上呈现根据所述结构信息而自动生成的属性。

通过以下参考附图对典型实施例的说明，本发明的更多特征将变得明显。

附图说明

图1是示出图像处理系统的整个结构的图；

图2是示出MFP的硬件结构的框图；

图3是示出MFP协作服务器和存储服务器的硬件结构的框图；

图4是示出图像处理系统的软件结构的框图；

图5是示出整个图像处理系统的处理流程的序列图；

图6是示出主菜单画面的示例的图；

图7是示出登录画面的示例的图；

图8是示出扫描设置画面的示例的图；

图9A是示出请求ID的示例的图，并且图9B和图9C各自是示出对与处理情形有关的查询的响应的示例的图；

图10是示出文件名设置画面的示例的图；

图11是示出学习请求的示例的图；

图12是示出MFP中的处理流程的流程图；

图13是示出扫描图像的示例的图；

图14是示出文件名条件设置画面的示例的图；

图15是示出字符识别结果的示例的图；

图16是示出相似商业表单判断结果的示例的图；

图17是示出扫描图像的示例的图；

图18A和18B是示出MFP中的文件名设置处理的流程的流程图；

图19A和19B是示出MFP中的文件名设置处理的流程的流程图；

图20是示出预览区域的初始显示部分的图；

图21是示出文件名设置画面的示例的图；

图22是示出软键盘的示例的图；

图23是示出显示有操作引导的文件名设置画面的示例的图；

图24是示出在对字符区域进行触摸操作的情况下的文件名设置画面的示例的图；以及

图25是示出在调整初始倍率的情况下的预览区域的初始显示部分的图。

具体实施方式

以下参考附图来根据优选实施例详细说明本发明。在以下实施例中示出的结构仅仅是示例性的，并且本发明不限于示意性示出的结构。

[第一实施例]

<系统结构>

图1是示出根据本实施例的图像处理系统的整个结构的图。图像处理系统包括MFP(多功能外围设备)110以及在因特网上提供云服务的服务器设备120和130。MFP 110与服务器设备120和130连接，以能够经由因特网进行通信。

MFP 110是具有扫描功能的信息处理设备的示例。MFP 110是除了具有扫描功能之外、还具有诸如打印功能和BOX(箱)保存功能等的多个功能的多功能外围设备。服务器设备120和130这两者各自是提供云服务的信息处理设备的示例。本实施例的服务器设备120提供云服务，以对从MFP 110接收到的扫描图像进行图像分析，以及将来自MFP 110的请求传送至提供其它服务的服务器设备130，等等。在下文，服务器设备120所提供的云服务被称为“MFP协作服务”。服务器设备130提供云服务(以下称为“存储服务”)，以保存经由因特网发送的文件，以及响应于来自诸如移动终端(未图示)等的web浏览器的请求而提供保存文件，等等。在本实施例中，提供MFP协作服务的服务器设备120被称为“MFP协作服务器”，并且提供存储服务的服务器设备130被称为“存储服务器”。

图1所示的图像处理系统100的结构是示例，并且结构不限于此。例如，MFP 110也可以具有MFP协作服务器120的功能。此外，MFP协作服务器120可以代替因特网而是经由LAN(局域网)与MFP 110连接。此外，还可以用进行邮件分发服务的邮件服务器替换存储服务器130，并将该系统应用于通过将文档的扫描图像附加到邮件来发送该扫描图像的情况。

<MFP的硬件结构>

图2是示出MFP 110的硬件结构的框图。MFP 110包括控制单元210、操作单元220、打印机单元221、扫描器单元222和调制解调器223。控制单元210包括以下的各个单元211～219，并且控制整个MFP 110的操作。CPU 211读取ROM 212中所存储的各种控制程序(与在后面要说明的软件结构图中示出的各种功能相对应的程序)并执行这些程序。RAM 213用作CPU 211的诸如主存储器和工作区域等的临时存储区域。在本实施例中，一个CPU 211通过使用一个存储器(RAM 213或HDD 214)来进行在后面要说明的流程图中示出的各处理，但本实施例不限于此。例如，还可以通过使得多个CPU以及多个RAM或HDD彼此协作来进行各处理。HDD 214是被配置为存储图像数据和各种程序的大容量存储单元。操作单元I/F 215是连接操作单元220和控制单元210的接口。操作单元220设置有触摸面板和键盘等，并且接收用户的操作/输入/指示。对触摸面板的触摸操作包括通过人的手指的操作和利用触摸笔的操作。打印机I/F 216是连接打印机单元221和控制单元210的接口。将打印所用的图像数据从控制单元210经由打印机I/F 216传送到打印机单元221，并打印在诸如纸张等的打印介质上。扫描器I/F 217是连接扫描器单元222和控制单元210的接口。扫描器单元222光学地读取未图示的原稿台或ADF(自动原稿进给器)上所放置的文档，以生成扫描图像数据并将该数据经由扫描器I/F 217输入至控制单元210。可以在打印机单元221中打印(复印和输出)由扫描器单元222生成的扫描图像数据，将该数据保存在HDD 214中，以及将该数据作为文件发送至诸如MFP协作服务器120等的外部设备，等等。调制解调器I/F 218是连接调制解调器223和控制单元210的接口。调制解调器223通过传真与PSTN上的传真装置(未图示)通信图像数据。网络I/F 219是将控制单元210(MFP 110)连接至LAN的接口。MFP 110通过使用网络I/F 219将扫描图像数据发送至MFP协作服务器120，以及从MFP协作服务器120接收各种数据，等等。上述的MFP 110的硬件结构是示例，并且硬件结构可以根据需要包括其它结构，或者可以不具有该结构的一部分。

<服务器设备的硬件结构>

图3是示出MFP协作服务器120/存储服务器130的硬件结构的框图。MFP协作服务器120和存储服务器130具有包括CPU 311、ROM 312、RAM 313、HDD 314和网络I/F 315的共同硬件结构。CPU 311通过读取ROM 312中所存储的控制程序并进行各种处理来控制整个操作。RAM 313用作CPU 311的诸如主存储器和工作区域等的临时存储区域。HDD 314是被配置为存储图像数据和各种程序的大容量存储单元。网络I/F 315是将控制单元310连接至因特网的接口。MFP协作服务器120和存储服务器130经由网络I/F 315从其它设备(MFP 110等)接收针对各种处理的请求，并返回与这些请求相对应的处理结果。

<图像处理系统的软件结构>

图4是示出根据本实施例的图像处理系统100的软件结构的框图。在下文，按顺序说明与构成图像处理系统100的MFP 110、MFP协作服务器120和存储服务器130各自的角色相对应的软件结构。在下文，通过将各设备所具有的各种功能缩窄到与扫描文档和将扫描图像变换成文件、然后将文件保存在存储服务器130中的处理有关的功能，来给出说明。

<<MFP的软件结构>>

MFP 110的功能模块大致分成本机功能模块410和附加功能模块420。本机功能模块410是作为标准应用设置在MFP 110中的应用，而附加功能模块420是附加地安装在MFP110中的应用。附加功能模块420是基于Java(注册商标)的应用，并且可以容易地实现向MFP110的功能添加。在MFP 110中，可以安装未图示的其它附加应用。

本机功能模块410具有扫描执行单元411和扫描图像管理单元412。此外，附加功能模块420具有显示控制单元421、扫描控制单元422、协作服务请求单元423和图像处理单元424。

显示控制单元421将用于接收各种用户操作的用户界面画面(UI画面)显示在操作单元220的触摸面板上。各种用户操作例如包括：用于访问MFP协作服务器120的登录认证信息的输入；扫描设置；扫描开始指示的提供；文件名设置；以及文件保存指示的提供等。

扫描控制单元422根据在UI画面上进行的用户操作(例如，按下“开始扫描”按钮)，将用以进行扫描处理的指示连同扫描设置信息一起提供至扫描执行单元411。扫描执行单元411根据来自扫描控制单元422的用以进行扫描处理的指示，使得扫描器单元222经由扫描器I/F 217进行文档读取操作并生成扫描图像数据。所生成的扫描图像数据由扫描图像管理单元412保存在HDD 214中。此时，向扫描控制单元422通知与唯一地表示所保存的扫描图像数据的扫描图像标识符有关的信息。扫描图像标识符是用于唯一地标识在MFP 110中扫描的图像的编号、符号或字母。扫描控制单元422例如通过使用上述的扫描图像标识符来从扫描图像管理单元412获取变换成文件的对象扫描图像数据。然后，扫描控制单元422指示协作服务请求单元423向MFP协作服务器120进行针对将扫描图像数据变换成文件所需的处理的请求。

协作服务请求单元423向MFP协作服务器120进行针对各种处理的请求，以及接收对这些请求的响应，等等。各种处理例如包括登录认证、扫描图像分析和扫描图像数据发送等。为了与MFP协作服务器120进行发送和接收，使用诸如REST和SOAP等的通信协议。

图像处理单元424通过对扫描图像数据进行预定图像处理来生成在显示控制单元421所显示的UI画面上使用的图像。后面将说明预定图像处理的详情。

<<服务器设备的软件结构>>

首先，说明MFP协作服务器120的软件结构。MFP协作服务器120具有请求控制单元431、图像处理单元432、存储服务器访问单元433、数据管理单元434和显示控制单元435。请求控制单元431以能够接收来自外部设备的请求的状态进行待机，并根据接收到的请求内容来指示图像处理单元432、存储服务器访问单元433和数据管理单元434进行预定处理。图像处理单元432对从MFP 110发送的扫描图像数据，除了进行诸如字符区域检测处理、字符识别处理和相似文档判断处理等的图像分析处理之外，还进行诸如转动和倾斜校正等的图像修改处理。存储服务器访问单元433进行针对存储服务器130的处理的请求。云服务通过使用诸如REST和SOAP等的协议，公开了用于将文件保存在存储服务器中、以及用于获取所保存的文件等的各种接口。存储服务器访问单元433通过使用所公开的接口来向存储服务器130进行请求。数据管理单元434存储和管理在MFP协作服务器120中管理的用户信息和各种设置数据等。显示控制单元435接收来自在经由因特网连接的PC或移动终端(这两者均未图示)上运行的web浏览器的请求，并返回画面显示所需的画面结构信息(HTML和CSS等)。用户可以经由web浏览器上所显示的画面来检查所登记的用户信息以及改变扫描设置等。

接着，说明存储服务器130的软件结构。存储服务器130具有请求控制单元441、文件管理单元442和显示控制单元443。请求控制单元441以能够接收来自外部设备的请求的状态进行待机，并且在本实施例中，根据来自MFP协作服务器120的请求来指示文件管理单元442保存所接收到的文件并读取所保存的文件。然后，请求控制单元441将与该请求相对应的响应返回到MFP协作服务器120。显示控制单元443接收来自在经由因特网连接的PC或移动终端(这两者均未图示)上运行的web浏览器的请求，并返回画面显示所需的画面配置信息(HTML和CSS等)。用户可以经由web浏览器上所显示的画面来检查和获取所保存的文件等。

<整个图像处理系统的处理流程>

图5是在MFP 110中扫描文档、将所获得的扫描图像变换成文件并将该文件保存在存储服务器中时各设备之间的处理流程的序列图。图6是示出在MFP 110的启动时显示的主菜单的UI画面(以下称为“主画面”)的示例的图。通过扫描文档并将扫描图像变换成文件、并且将使用云存储服务所需的专用应用安装在MFP 110中，在主画面600上显示“扫描并保存在云存储中”按钮601。然后，在用户在主画面600内所显示的菜单按钮中按下“扫描并保存在云存储中”按钮601的情况下，图5的序列图所示的一系列处理开始。在下文，根据图5的序列图，按时间序列说明设备之间的操作。在以下的说明中，符号“S”表示步骤。

MFP 110将UI画面(以下称为“登录画面”)显示在操作单元220上，其中在该UI画面上，输入与用于访问MFP协作服务器120的登录认证有关的信息(S501)。图7示出登录画面的示例。在用户在登录画面700上的输入栏702和703中分别输入预先登记的用户ID和密码、并按下“登录”按钮701的情况下，将登录认证的请求发送至MFP协作服务器120(S502)。

接收到登录认证的请求的MFP协作服务器120通过使用该请求中所包括的用户ID和密码来进行认证处理(S503)。在通过认证的结果检查到用户是真实用户的情况下，MFP协作服务器120将访问令牌返回至MFP 110。之后，通过在MFP 110向MFP协作服务器120进行各种请求时一起发送该访问令牌，指定登录用户。在本实施例中，假定在向MFP协作服务器120的登录完成的同时，向存储服务器130的登录也完成。由此，用户预先经由因特网上的PC(未图示)的web浏览器等来进行用于使用MFP协作服务的用户ID和用于使用存储服务的用户ID之间的关联。由此，在向MFP协作服务器120的登录认证成功的情况下，向存储服务器130的登录认证也同时完成，并且可以省略登录到存储服务器130的操作。然后，MFP协作服务器120可以应对来自已登录到MFP协作服务器120的用户的与存储服务有关的请求。通常，可以通过使用公知方法(基本认证、摘要认证和使用OAuth的认证等)来进行登录认证方法。

在登录完成的情况下，MFP 110将扫描设置所用的UI画面(以下称为“扫描设置画面”)显示在操作单元220上(S504)。图8示出扫描设置画面的示例。在扫描设置画面800上，存在“开始扫描”按钮801、颜色设置栏802和分辨率设置栏803。“开始扫描”按钮801是用于给出用以开始对原稿台上所放置的文档(在本实施例中，假定为诸如报价单和账单等的商业表单)的扫描处理的指示的按钮。在颜色设置栏802中，设置扫描时的颜色模式。例如，颜色设置栏802被设计成使得可以从诸如全色和单色等的备选项中指定颜色模式。在分辨率设置栏803中，设置扫描时的分辨率。例如，分辨率设置栏803被设计成使得可以从诸如600dpi和1200dpi等的备选项中指定分辨率。颜色模式和分辨率的设置项仅仅是示例性的，并且所有这些项都无需存在，或者可以存在除这些项以外的其它设置项。此外，还可以将与颜色模式和分辨率有关的备选项仅限于存储服务所需的设置值。登录用户经由诸如这样的扫描设置画面800进行扫描处理的详细条件设置。在完成了扫描设置的用户将扫描对象文档放置在MFP 110的原稿台上并按下“开始扫描”按钮801的情况下，进行扫描(S505)。由此，生成通过将纸质文档计算机化所获得的图像数据。在该扫描完成之后，MFP 110将通过扫描获得的图像数据连同对该图像数据的分析请求一起发送至MFP协作服务器120(S506)。

在接收到用以分析扫描图像的请求的MFP协作服务器120中，请求控制单元431指示图像处理单元432进行图像分析处理(S507)。此时，请求控制单元431将能够唯一地指定所接收到的分析请求的请求ID返回到MFP 110。图9A示出请求ID的示例。另一方面，接收到用以进行分析处理的指示的图像处理单元432对扫描图像进行分析处理(S508)。在该图像分析处理中，首先进行用以检测扫描图像内存在的字符区域(文本块)的处理。对于字符区域的检测，例如可以应用已知的方法，诸如从利用特定阈值进行了二值化的图像中提取被预测为字符的矩形区域的方法等。接着，对通过字符区域检测处理检测到的各字符区域进行光学字符识别(OCR)。然后，进行用以判断本次的扫描对象商业表单与过去的扫描对象商业表单是否相似的处理(相似文档判断处理)。相似商业表单的判断使用表示扫描图像内存在的各字符区域位于扫描图像的哪个位置的配置信息。具体地，对与过去的扫描图像有关的配置信息和与本次的扫描图像有关的配置信息进行比较，并且判断字符区域的配置是否相似。这是基于以下事实：在字符区域的配置相似的情况下，可以预测出商业表单是使用相同格式创建的。用于相似商业表单的判断的与过去的扫描图像有关的配置信息是通过后面要说明的“商业表单学习处理”所累积的。通过图像分析处理所获得的结果被传送至请求控制单元431。在本实施例中，仅基于字符区域的配置之间的相似性来判断商业表单之间的相似性，但例如，也可以基于OCR结果来指定商业表单的类型(报价单和账单等)，并通过考虑所获得的类型信息来判断相似性。

在上述图像分析处理正在进行期间，MFP 110通过使用上述请求ID来向MFP协作服务器120定期地(例如，每数百毫秒至每数毫秒)进行与处理情形有关的查询(S509～S509')。重复地进行该查询，直到获取到来自MFP协作服务器120的图像分析处理的完成响应为止(S510)。在接收到与处理情形有关的查询时，MFP协作服务器120检查与请求ID相对应的图像分析处理的进度情形，并返回表示在图像分析处理尚未完成的情况下处理正在进行的响应(参见图9B)。在图像分析处理完成的情况下，MFP协作服务器120返回表示图像分析处理完成的响应(参见图9C)。在该响应的“status(状况)”中，输入表示当前处理情形的字符串，具体地，在MFP协作服务器120中处理正在进行的情况下，输入“processing(处理)”，并且在处理完成的情况下，输入“completed(完成)”。存在输入了表示其它状况的字符串(诸如在处理已失败的情况下的“failed(失败)”等)的情况。如图9C所示，在处理完成时的响应中，除了状况信息之外，还包括与扫描图像的分析结果有关的信息等。

在接收到处理完成响应之后，MFP 110通过使用该响应中所包括的表示图像分析结果的存储目的地的URL来向MFP协作服务器120进行针对图像分析处理的结果的请求(S511)。作为这种情况下的URL，存在“ocrResultUrl”和“matchingResultUrl”。在接收到该请求时，MFP协作服务器120的请求控制单元431返回与图像分析处理有关的结果信息。

然后，MFP 110通过使用所获取到的结果信息来显示用于设置文件名的UI画面(以下称为“文件名设置画面”)(S512)。图10示出文件名设置画面的示例。在用户设置文件名并按下发送按钮1007的情况下，MFP 110首先将包括与用户在设置文件名时进行的输入操作有关的信息(设置时的输入信息)的学习请求发送至MFP协作服务器120(S513)。图11示出学习请求的示例。学习内容是在“learningContent”中指定的，其中在“learningContent”中，存在与文件名所使用的字符区域有关的“rectInfoArray”和与元数据有关的“metadataArray”。在“rectInfoArray”中，输入与在文件名设置时使用的字符区域有关的坐标信息。在“metadataArray”中，输入与同文件名所使用的字符串相对应的字符区域有关的信息以及与附加到字符串的分隔符有关的信息。图11的示例表示文件名结构是这样的：开头是“fileRegion0”的字符区域的字符串，接着是分隔符，并且末尾是“fileRegion1”的字符区域的字符串，并且这三者按该顺序排列。

在接收到学习请求的MFP协作服务器120中，请求控制单元431指示图像处理单元432进行商业表单学习处理(S514)。在接收到指示时，图像处理单元432保存与扫描图像中存在的各字符区域有关的配置信息、以及在S513中接收到的学习请求中所包括的文件名设置时的输入信息(文件名结构信息)(S515)。

之后，MFP 110将用以保存扫描图像的请求连同扫描图像数据和诸如在变换成文件时设置的文件名等的信息一起发送至MFP协作服务器120(S516)。在接收到保存请求的MFP协作服务器120中，请求控制单元431除了开始文件生成处理之外，还将表示正常接收到保存请求的响应返回到MFP 110。接收到响应的MFP 110终止处理，并且状态返回到显示扫描设置画面的状态(S504)。另一方面，MFP协作服务器120从预先登记的扫描设置获取与文件格式有关的信息，并根据该文件格式将扫描图像转换成文件(S517)。此时，向所生成的文件附加了在保存请求中指定的文件名。由此生成的扫描图像文件被发送至存储服务器并保存在存储服务器中(S518)。

以上是整个图像处理系统的处理流程。

<MFP的处理详情>

随后，通过关注于MFP 110中的操作，详细说明在上述图像处理系统中使用存储服务的情况下的处理。图12是示出MFP 110中的处理流程的流程图。这一系列处理通过CPU211在控制单元210中执行HDD 214中所存储的控制程序来实现，并且响应于按下前面所述的主画面600上的“扫描并保存在云存储中”按钮601而开始。以下沿着图12所示的流程图给出详细说明。各处理上方的符号“S”意味着步骤。

在S1201中，显示控制单元421显示前面所述的登录画面700。在登录画面700上向输入栏702和703分别输入用户名和密码、并且检测到按下了“登录”按钮701的情况下，处理进入S1202。

在S1202中，协作服务请求单元423将登录认证的请求发送至MFP协作服务器120。在通过MFP协作服务器120中的登录认证检查到用户是真实用户的情况下，协作服务请求单元423从MFP协作服务器120接收访问令牌。

在S1203中，在接收到访问令牌的MFP 110中，显示控制单元421将前面所述的扫描设置画面800显示在操作单元220上。在登录用户在原稿台上放置文档并且检测到“开始扫描”按钮801的按下的情况下，显示控制单元421向扫描控制单元422通知该情况。

在S1204中，接收到上述通知的扫描控制单元422指示扫描执行单元411进行扫描处理。在接收到指示时，扫描执行单元411扫描放置在原稿台上的文档。在该流程的说明中，假定通过采用商业表单(更具体为报价单)作为扫描对象的示例来给出说明。由此，获得如图13所示的报价单的扫描图像。通过扫描生成的扫描图像数据被保存在扫描图像管理单元412中，并且向显示控制单元421通知能够指定扫描图像的标识符。此时，还可以将表示扫描正在进行的消息画面(未图示)显示在操作单元220上。

接着，在S1205中，协作服务请求单元423经由扫描控制单元422获取扫描图像数据，并将该扫描图像数据连同分析请求一起发送至MFP协作服务器120。在MFP协作服务器120中，基于分析请求，对所接收到的扫描图像数据进行前面所述的图像分析处理。此时，从MFP协作服务器120的请求控制单元431返回请求ID。

在S1206中，接收到请求ID的协作服务请求单元423将针对处理状况的获取请求连同请求ID一起发送至MFP协作服务器120。基于该获取请求，MFP协作服务器120将与由请求ID指定的图像分析处理的进度情形相对应的响应返回到MFP 110。

在S1207中，协作服务请求单元423在所接收到的响应中的状况为表示处理正在进行的“processing”的情况下，返回到S1206。然后，在等待直到经过了预定时间之后，协作服务请求单元423将针对处理状况的获取请求再次发送至MFP协作服务器120。在所接收到的响应中的状况为表示处理完成的“completed”的情况下，处理进入S1208。这里，参考前面所述的图9C来说明与在本实施例的处理完成时的响应中所包括的图像分析结果有关的信息。作为与图像分析结果有关的信息，存在“ocrResultUrl”、“matchingResultUrl”和“formKeys”这三个种类的信息。信息“ocrResultUrl”是与用于获取图像分析处理中的OCR处理的结果的URL有关的信息。信息“matchingResultUrl”是与用于获取图像分析处理的相似商业表单判断处理的结果的URL有关的信息。信息“formKeys”是与用于对扫描图像设置属性(诸如文件名、元数据和文件夹路径等)的设置值有关的信息，并且被预先设置在MFP协作服务器120中。在“formKeys”中，包含以下的信息。

·key：唯一地表示设置到扫描图像的设置值的值

·keyType：表示key的设置值的类型的值

·value：设置值的初始值(例如，表示扫描图像的“scan”)

·type：表示输入到设置值的值的种类的值(例如，代表字符串的“string”、代表数值的“number”和代表日期的“date”等)

·displayName；在MFP的触摸面板上显示设置画面的情况下的显示名称

·required：表示设置值的输入是否必不可少的值

·multiSelect：表示是否将多个字符区域的字符串用于文件名的值

·separator：连接使用多个字符区域的字符串的情况下的字符串的分隔符的内容

·autoInput：表示是否进行初始文件名的自动输入的值

在图9C中，示出在对扫描图像设置文件名的情况下的“formKeys”。通过采用图9C的情况作为示例，说明“value”、“displayName”、“required”和“multiSelect”的各值如何影响在接着的S1209中显示的文件名设置画面(图10)。现在，“value”的内容为空。在这种情况下，在文件名设置画面1000上的文件名输入栏1001中，不显示初始值。此外，“displayName”为“filename”。在这种情况下，与图10的文件名设置画面1000的情况一样，在画面的上部(在本示例中，用彩色背景上的空体字符)显示表示设置的标题或标签的“文件名”的字符串。此外，“required”为“true”。在这种情况下，在文件名输入栏1001中未输入字符串的状态下，不再能够按下“发送”按钮1007。此外，“multiSelect”为“true”。在这种情况下，可以选择从扫描图像中检测到的多个字符区域，因此可以设置连接与各字符区域相对应的字符串的文件名。“formKeys”中所包含的上述内容是由用户经由MFP协作服务器120的显示控制单元435所显示的文件名条件设置画面而设置的。图14示出文件名条件设置画面的示例。文件名条件设置画面1400内的复选框1401由用户使用，以通过使用与以前在扫描图像的文件名设置时使用的字符区域有关的信息来选择是否自动输入文件名。在设置栏1402中，在对文件名使用与多个字符区域相对应的多个字符串的情况下，从在下拉列表中显示的备选项(下划线和连字符等)中设置字符串之间插入的分隔符。这里，选择下划线。在文件名设置画面(图10)的初始显示时，预先使设置栏1403进入输入状态，并且设置作为文件名的候选而呈现给用户的字符串(初始文件名)。在该文件名条件设置画面1400上设置的内容被存储在数据管理单元434中，并且在创建处理完成时的响应的情况下被参考。

在S1208中，协作服务请求单元423访问处理完成时的响应中所包括的URL并获取图像分析结果。在图9C的示例中，在“ocrResultUrl”和“matchingResultUrl”中存储有信息，因此协作服务请求单元423访问这两个URL并获取图像分析结果。下表1示出从图13的扫描图像中检测到的字符区域的坐标以及各字符区域的字符识别结果(所识别的字符串)。

表1

然后，图15示出通过访问“ocrResultUrl”获取到的图13中的针对扫描图像的字符识别结果。这里，“imageWidth”表示分析对象扫描图像的X方向(横方向)上的像素数，并且“imageHeight”表示分析对象扫描图像的Y方向(纵方向)上的像素数。在“regions”中，包括与从扫描图像检测到的字符区域有关的坐标信息(“rect”)和与字符区域相对应的字符串信息(“Text”)。在“rect”中，包括用于指定所检测到的字符区域的信息，“x”表示字符区域的左上角的X坐标，“y”表示字符区域的左上角的Y坐标，“width”表示字符区域的X(宽度)方向上的像素数，并且“height”表示字符区域的Y(高度)方向上的像素数。然后，“text”表示与通过对由“rect”指定的字符区域进行OCR处理所获得的字符串有关的信息。包括信息“rect”和“text”，以便对应于在分析对象扫描图像内检测到的所有字符区域。然而，在图15中，省略了这些字符区域的一部分。

然后，图16示出通过访问“matchingResultUrl”所获取到的针对图13的扫描图像的相似商业表单判断结果。在“matched”中，输入“true”或“false”作为表示通过前面所述的相似商业表单判断处理而在过去的扫描图像中是否找到与本次的分析对象扫描图像相似的扫描图像的值。值为“true”的情况表示本次的扫描对象商业表单与以前扫描的商业表单相似，并且“false”的情况表示本次的扫描对象商业表单与以前扫描的商业表单不相似。在“formID”中，在找到相似商业表单的情况下，输入唯一地表示过去的相似商业表单的扫描图像的值(ID值)。另一方面，在未找到相似商业表单的情况下，输入唯一地表示本次进行扫描所针对的商业表单的扫描图像的新创建的ID值。然后，在使得学习在针对过去不存在相似商业表单的商业表单的扫描图像的文件名设置时的输入信息(与文件名有关的结构信息)的情况下，使用新创建的ID值。在“matchingScore”中，在存在相似商业表单的情况下，输入表示一致率的值。本实施例的相似性用在0和1之间的实数值表示与过去的扫描图像中的字符区域有关的配置信息和与本次的扫描图像中的字符区域有关的配置信息之间的一致率，并且这表明：值越大，这两者越相似。在“rectInfoArray”中，输入表示本次的分析对象扫描图像中的字符区域的信息，该字符区域与在针对过去相似商业表单的扫描图像的文件名设置时所使用的字符区域相对应。

在图16的示例的情况下，针对通过扫描报价单所获得的图13的扫描图像，通过使用两个字符串(即“报价单”和“品川株式会社”)来设置文件名，并且进行对输入信息的学习。之后，扫描以相同格式创建的报价单并生成图17所示的扫描图像，并且作为对扫描图像执行相似商业表单判断处理的结果，判断为扫描图像与图13的扫描图像相似。然后，图16的示例示出将与在针对图13的扫描图像的文件名设置时使用的字符区域有关的信息存储为与自动输入对象字符区域有关的信息的状态。在下文，说明直到获得图16所示的相似商业表单判断处理的结果为止的处理。

作为前提，假定将基于前面所述的图11的学习请求的学习结果保存在数据管理单元434中。然后，在相似商业表单判断处理中，通过使用与在以前的文件名设置时使用的“报价单”和“品川株式会社”的字符区域有关的坐标信息，来指定本次的扫描图像中所包括的字符区域中的、一部分与由该坐标信息表示的字符区域重叠的字符区域。然后，将与一部分被指定为重叠的字符区域有关的坐标信息以及字符区域的字符串存储在“rectInfoArray”的“text”中。在“key”中，输入唯一地表示文件名的自动输入所使用的字符区域的值。在“region”中，存储与由“key”唯一地表示的字符区域有关的坐标信息和通过对字符区域的OCR处理所获得的字符串。然后，在“rect”中，包括用于指定由“key”唯一地表示的字符区域的信息。在这种情况下，“x”表示字符区域的左上角的X坐标，“y”表示字符区域的左上角的Y坐标，“width”表示字符区域的X(宽度)方向上的像素数，并且“height”表示字符区域的Y(高度)方向上的像素数。然后，在“text”中输入与通过对由“rect”指定的字符区域进行OCR处理所获得的字符串有关的信息。在“metadataArray”中，存储自动输入文件名时使用的字符区域的顺序以及表示分隔符插入在何处的信息。在除文件名之外还设置诸如元数据等的属性信息的情况下，在“rectInfoArray”和“metadataArray”中，添加所需的信息。在“key”中，存储唯一地表示设置到扫描图像的设置值的值。在“keyType”中，存储表示“key”的设置值的类型的值。在用于文件名的情况下，在“key”中输入“filename”，并且在“keyType”中输入“filename”。在“value”中，存储用于“key”的值的字符区域和与分隔符有关的信息。在图16的示例中，具有“rectInfoArray”中的“fileRegion0”的“key”的字符区域的字符串是第一个，分隔符是第二个，并且具有“fileRegion1”的“key”的字符区域的字符串是第三个。然后，按照该顺序，将这三者自动输入在文件名输入栏1001中并显示为初始文件名。

在S1209中，显示控制单元421将前面所述的文件名设置画面1000显示在操作单元220上，使得用户可以对扫描图像进行文件名的设置。后面将说明该文件名设置处理的详情。

在S1210中，协作服务请求单元423通过参考对S1206中的针对处理状况的请求的响应，来判断是否设置了文件名自动输入并确定下一处理。具体地，协作服务请求单元423参考在前面所述的图9C所示的处理完成时的响应中所包括的“autoInput”的值，并且在意味着进行自动输入的“true”的情况下，处理进入S1211。另一方面，在意味着不进行自动输入的“false”的情况下，处理进入S1214。

在S1211中，协作服务请求单元423基于在S1208中获取到的图像分析结果来判断过去是否存在与本次的扫描图像相似的扫描图像。具体地，协作服务请求单元423参考在前面所述的图16所示的相似商业表单判断处理的结果中包括的“matched”的值，并且在表示过去的扫描图像中存在相似扫描图像的“true”的情况下，处理进入S1212。另一方面，在表示不存在相似扫描图像的“false”的情况下，处理进入S1214。

在S1212中，协作服务请求单元423判断用户是否改变了在S1209的文件名设置处理中的文件名输入栏1001中自动输入的初始文件名。在这种情况下的改变例如包括：将用于本次的文件名的字符区域改变为与初始文件名中使用的字符区域不同的字符区域；以及添加或删除分隔符；等等。然后，通过将图16的相似商业表单判断处理的结果中所包括的“metadataArray”的“value”的值与在对本次的扫描图像进行文件名设置之后在文件名输入栏1001中输入的信息进行比较，来进行该判断。作为该比较的结果，在存在差异的情况下，判断为初始文件名已改变且处理进入S1213，并且在这两者彼此一致的情况下，判断为初始文件名未改变且处理进入S1214。关于通过“formKeys”的“value”自动输入的文件名的开头字符串，即使用户删除了该字符串，处理也可以在不认为输入信息已改变的情况下进入S1214。

在S1213中，协作服务请求单元423将针对设置时的输入信息的学习请求(参见前面所述的图11)发送至MFP协作服务器120，该设置时的输入信息表示针对本次的扫描图像所设置的文件名的结构。作为在这种情况下的学习请求中所包括的“formId”，使用在S1208中获取到的图像分析结果的相似商业表单判断处理结果中所包括的“formId”的值。在图16的示例中，输入“aaaaaaaa-ffff-49ab-acf8-55558888eeee”作为“formId”的值，因此该值被存储在学习请求中。此外，在“learningContent”中，存储了在文件名设置时使用的输入信息的内容。首先，在“rectInfoArray”中，存储与文件名所使用的字符串所属的字符区域有关的坐标信息，以对应于字符区域的数量。然后，在“metadataArray”中，存储与文件名设置所使用的字符区域以及分隔符有关的信息。为了参考前面所述的表1说明用户此时进行的操作，首先，用户在文件名设置画面1000上的预览区域1002中触摸具有编号1的“报价单”。接着，用户触摸具有编号8的“品川株式会社”，并且最后按下“发送”按钮1007。接收到学习请求的MFP协作服务器120累积基于诸如这样等的用户操作的输入信息，并将所累积的输入信息用在下一个以及后续的图像分析处理中。在发送学习请求之后、从MFP协作服务器120接收到意思是正常处理了学习请求的响应的情况下，处理进入S1214。

在S1214中，协作服务请求单元423将处理对象扫描图像数据和在S1209中设置的文件名彼此关联，并将这两者发送至MFP协作服务器120。在该发送完成的情况下，该处理结束。在本实施例中，扫描图像数据及其文件名的发送是最后进行的，但也可以在扫描处理完成之后，在利用扫描图像管理单元412的扫描图像数据的保存的时间点并行地将这两者发送至MFP协作服务器120。

以上是在使用了关注于MFP 110中的操作的存储服务的情况下的处理流程。在上述说明中，假定了如下场景：进行在将通过扫描一个报价单所获得的一个扫描图像变换成文件时的文件名设置。然而，本实施例不限于此，并且也可以将本实施例应用于进行在将通过扫描多个报价单所获得的多个扫描图像变换成文件时的文件名设置的场景。在这种情况下，也可以在文件名设置画面1000内设置用以翻页的按钮，以使得可以还从第二页或第三页上的扫描图像中的字符区域设置文件名。

(文件名设置处理)

随后，沿着图18A、18B、19A和19B所示的流程图来详细说明在前面所述的S1209中显示控制单元421所进行的文件名设置处理。

在S1801中，生成以初始状态显示在前面所述的文件名设置画面1000上的文件名输入栏1001中的文件名(初始文件名)。初始文件名是通过以下过程生成的。首先，显示控制单元421参考在前面所述的处理完成时的响应，并且在“formKeys”的“value”中输入某个值的情况下将该值设置到文件名的开头。例如，在输入“scan”的字符串作为“formKeys”的“value”的情况下，显示控制单元421将“scan”设置到初始文件名的开头。接着，根据通过访问“mathingResultUrl”所获取的相似商业表单判断结果，显示控制单元421设置预定字符串。也就是说，在“matched”的值为“true”并且“matchingScore”为大于或等于预定值的数值(例如，0.6或更大)的情况下，显示控制单元421根据由“metadataArray”的“value”指定的文件名结构来设置字符串。具体地，显示控制单元421根据在“value”中指定的顺序来设置由“rectInfoArray”指定的字符区域的字符串。在相似商业表单判断结果的示例中，值“matched”为“true”并且“matchingScore”为“0.74···”，因此这是大于或等于预定值的数值。然后，在“metadataArray”的“value”中，指定“fileRegion0”是第一个、“separator”是下一个并且“fileRegion1”是最后一个的排列。结果，作为“fileRegion0”的“text”的值的“报价单”、作为处理完成响应中所包括的“separator”的值的“_(下划线)”、以及作为“fileRegion1”的“text”的值的“下丸子株式会社”按该顺序连接。以这种方式，生成“报价单_下丸子株式会社”作为初始文件名。在“formKeys”的“value”中输入某个值(例如，“scan_”)的情况下，通过向“报价单_下丸子株式会社”添加“scan_”所获得的“scan_报价单_下丸子株式会社”是初始文件名。在相似商业表单判断结果中，在“matched”的值为“false”并且“matchedScore”是小于预定值的数值的情况下，在“formKeys”的“value”中输入字符串的条件下，该字符串被原样视为初始文件名。此外，在“formKeys”的“value”中未输入字符串的情况下，不显示初始文件名(空栏)。在本实施例中，采用“matched”的值和“matchedScore”的值这两个值(即，根据“metadataArray”的“value”的顺序在“rectInfoArray”中指定的信息)作为初始文件名生成的条件。然而，条件不限于此，并且也可以采用这些结果其中之一作为条件。例如，也可以通过仅采用“matched”的值为“true”作为条件来生成初始文件名，或者通过仅采用表示相似性的值大于或等于阈值作为条件来生成文件名。

在S1802中，确定在文件名设置画面1000上的预览区域1002中以初始状态显示扫描图像时、以何种程度缩小(以下称为初始倍率)并显示扫描图像。为了确定初始倍率，使用通过访问“ocrResultUrl”所获取到的字符识别结果。首先，在扫描图像内检测到的所有字符区域中，分别找到最左侧字符区域和最右侧字符区域。在这种情况下，最左侧字符区域是所有字符区域中的、x坐标的值是最小值的字符区域。此外，最右侧字符区域是所有字符区域中的、x坐标的值和字符区域的宽度的值的总和最大的字符区域。将分别使得如此确定的最左侧字符区域的左边与预览区域1002的左边一致、并且使得最右侧位置的字符区域的右边与预览区域1002的右边一致的倍率确定为初始倍率。在使得所确定的字符区域的端部与预览区域的端部完全一致的情况下，存在用户不容易在字符区域小的条件下进行选择(进行按下)的可能性，因此也可以通过给出预定量的边距来确定初始倍率。例如，确定初始倍率，使得在预览区域1002的左端和在预览区域1002内的最左侧位置显示的字符区域的左端之间、以及在预览区域1002的右端和在最右侧位置显示的字符区域的右端之间，确保与10个像素相对应的边距。此外，在诸如各种操作按钮等的UI组件以重叠方式显示在预览区域1002上的情况下，也可以确定初始倍率，使得字符区域与UI组件不重叠。具体地，也可以确定初始倍率，使得在从预览区域1002的宽度中减去UI组件的宽度之后，最左侧的字符区域和最右侧的字符区域都包括在剩余区域的宽度内。在前面所述的图10的文件名设置画面1000的示例中，在预览区域1002内存在三个操作按钮(放大按钮1004、缩小按钮1005和恢复按钮1006)，因此确定初始倍率，使得字符区域与这些按钮不重叠。此外，存在在扫描对象商业表单的上端、下端、左端和右端的附近打印与打印处理有关的头信息等的情况，并且采用与诸如这样等的头信息相对应的字符区域的字符串作为文件名的一部分的可能性低。结果，还可以在找到上述的最左侧字符区域和最右侧字符区域时、从扫描图像的上端、下端、左端和右端排除存在于预定距离(例如，50个像素)内的字符区域。

在S1803中，确定在文件名设置画面1000上的预览区域1002内以初始状态显示以S1802中确定的初始倍率的放大/缩小之后的扫描图像的哪个部分。在利用在上述的S1802中确定的倍率进行放大/缩小之后的扫描图像中，包括最左侧字符区域和最右侧字符区域的宽度与预览区域1002的宽度大致一致。结果，首先，在水平方向上，确定以初始状态显示的部分(以下称为“初始显示部分”)，使得最左侧字符区域和最右侧字符区域恰好包括在预览区域1002中，例如，最左侧字符区域的左边与预览区域1002的左边一致。之后，确定垂直方向上的初始显示部分，使得最上侧字符区域位于预览区域1002的上端附近。此时，在初始倍率的确定时考虑到边距的情况下，通过同样考虑到边距来确定初始显示部分就足够了。例如，还可以将自扫描图像的上端起的预定距离(例如，50个像素)内存在的字符区域从显示对象中排除，并且确定初始显示部分，使得除该字符区域以外的字符区域中的位于最上侧位置的字符区域显示在预览区域1002的上端。图20是示出针对图13中的扫描图像所确定的初始显示部分的图。图20中的线框表示预览区域1002中以初始状态显示的扫描图像的范围。作为如上所述确定初始显示部分的结果，存在如下的字符串的字符区域未显示在预览区域1002中的情况，该字符串的字符区域是在存在相似商业表单并且在文件名输入栏1001中自动输入初始文件名的条件下供初始文件名使用的。在这种情况下，确定初始显示部分使得供初始文件名使用的字符串的字符区域显示在预览区域1002的中央，这就足够了。此时，还可以突出显示构成文件名输入栏1001中自动输入的初始文件名的字符串和该初始文件名所使用的字符串的字符区域(例如，改变这两者的颜色)。图21是在图13的扫描图像中自动输入“川崎株式会社”的字符串作为初始文件名的情况下的文件名设置画面1000的示例。这里，显示字符区域和在文件名输入栏1001中输入的字符串“川崎株式会社”，使得与字符串“川崎株式会社”相对应的字符区域位于预览区域1002的中央，并且进一步改变该字符区域的颜色。此时，在突出显示的字符区域中的字符大小小的情况下，也可以调整初始倍率以实现适当的字符大小。可以例如基于操作单元220的触摸面板的大小和预览区域1002中以初始状态显示的范围来获得调整之后的初始倍率。具体地，基于初始文件名所使用的字符串的字符区域的高度来求出字符大小的点、并且调整预览的初始倍率使得所求出的点变得大于或等于阈值(大于或等于预定大小)，这就足够了。

在S1804中，通过使用S1801～S1803的处理结果，将前面所述的文件名设置画面1000显示在操作单元220上。用户通过使用图10所示的文件名设置画面1000来设置存储服务器130中所保存的扫描图像的文件名。以下将详细说明这一点。

1)文件名输入栏

在用户触摸文件名输入栏1001的情况下，操作单元220的触摸面板的显示切换到软键盘，并且可以输入任意字符以及编辑自动输入的字符串等。例如，在如前面所述的图21的示例那样、用户触摸自动输入“川崎株式会社”的文件名输入栏1001中的字符串部分的情况下，显示图22所示的软键盘2200。此时，如图22所示，软键盘2200以在输入区域2201中输入所触摸的字符串的状态显示。由此，用户可以通过操作软键盘2200来修改所触摸的字符串“川崎株式会社”。此外，在触摸如图10所示的未输入字符串的状态下的文件名输入栏1001的情况下，显示输入区域2201中未输入任何内容的状态下的软键盘2200，并且用户可以通过操作软键盘2200来在文件名输入栏1001中输入任意字符串。

2)预览区域

在预览区域1002中，如前面所述，显示进行了变倍处理所针对的扫描图像的特定部分。然后，在用户触摸并选择预览区域1002内的任意字符区域的情况下，将所选择的字符区域的字符串添加到文件名输入栏1001。此时，还可以通过对与选择有关的区域加下划线、用框包围字符区域、以及对字符区域着色等来突出显示所选择的字符区域，使得知晓选择了该字符区域。此外，还可以改变显示部分以及改变显示倍率等，使得所选择的字符区域位于中央。此外，在选择多个字符区域的情况下，也可以通过用不同颜色对各个字符区域进行着色来使字符区域的显示方面彼此不同。然后，在用户再次触摸一度选择的字符区域的情况下，取消选择状态(即，删除附加到字符区域的线或颜色并返回原始状态)，并且还删除文件名输入栏1001内的与该字符区域相对应的字符串。在本实施例中，在未选择字符区域的状态下，在预览区域1002中不显示表示各字符区域的框等。然而，也可以预先显示表示各字符区域的框等，使得用户可以识别用户能够触摸的部分，并且在选择了该部分的情况下改变该部分的颜色，等等。此外，还可以使得用户能够切换是否显示框等，使得通过按钮等识别各字符区域。然后，用户可以移动通过在预览区域1002中进行滑动操作所显示的图像部分。

3)各种操作按钮

“×”标记按钮1003是用于删除在文件名输入栏1001中输入的字符串的末尾的字符串的删除按钮。“+”标记按钮1004是用于以放大状态显示预览区域1002中正显示的图像的放大按钮，并且在希望以放大状态显示各字符区域的情况下使用。“-”标记按钮1005是用于以缩小状态显示预览区域1002中正显示的图像的缩小按钮，并且在希望显示更宽范围的情况下使用。在进行放大或缩小的情况下，调整显示位置，使得预览区域1002中的中央的坐标在进行放大或缩小之前和之后相同。“U形箭头”标记按钮1006是恢复按钮，该恢复按钮用于在通过滑动操作移动了显示位置、或者通过按下放大按钮1004或缩小按钮1005改变了显示倍率的情况下，使预览区域1002返回到初始显示状态。“发送”按钮1007是用于将扫描图像变换成具有在文件名设置画面1000上设置的文件名的文件、并将该文件保存在存储服务器130中的按钮。响应于按下“发送”按钮1007，将扫描图像数据连同与所设置的文件名有关的信息一起发送至MFP协作服务器120。

在S1805中，在初始显示状态下的文件名设置画面1000内显示操作引导。通过该操作引导，第一次进行操作的用户也可以容易地理解可通过触摸并选择预览区域1002内的字符区域来设置文件名。图23示出在图10所示的文件名设置画面1000中的预览区域1002的上部以重叠方式显示作为操作引导的消息2301的状态。诸如这样等的操作引导对于已知晓操作方法的用户来说是不需要的，因此在检测到诸如触摸操作和滑动操作等的某些用户操作的时间点，操作引导被设置成不显示。此外，在一般文档的上部，在许多情况下，例如存在对该文件有重要意义的字符或数字，诸如文档标题、公司名称、商业表单编号和日期等。结果，还可以根据字符串的属性来使预览区域1002中所显示的图像部分等下移等，使得具有重要意义的这些字符串的字符区域与操作引导不重叠。此外，在操作引导与字符区域其中之一重叠的情况下、或者在操作引导包括在从字符区域起的预定距离内的情况下，确定操作引导的显示位置、使得操作引导与字符区域不重叠或者不会离字符区域过近，这就足够了。如上所述，通过代替固定显示位置、而是灵活地确定操作引导的显示位置，用户更容易选择字符区域。

S1806是用以监视用户操作的有无的处理。按预定间隔检查用户操作的有无，并且在检测到某种用户操作的情况下，处理进入S1807。然后，在S1807中，如前面所述，操作引导被设置成不显示。

S1808～S18015是用以根据所检测到的用户操作的内容来确定下一处理的确定处理。在与所检测到的用户操作相对应的处理完成的情况下，处理返回到S1806，并且等待下一用户操作的检测。

在S1808中，判断所检测到的用户操作是否是对预览区域1002内的字符区域其中之一的触摸操作。具体地，首先，与扫描图像的坐标相关联地对所触摸的位置的坐标进行变换。然后，在变换之后的坐标包括在前面所述的字符识别结果(参见图15)的“regions”中指定的字符区域其中之一内的情况下，判断为用户操作是对字符区域的触摸。在判断结果表示对字符区域的触摸的情况下，处理进入S1816，以及在用户操作不是对字符区域的触摸的情况下，处理进入S1809。在S1816中，在用户操作是对字符区域的触摸的情况下，判断是否已经选择了所触摸的字符区域。在所触摸的字符区域是尚未选择的字符区域的情况下，处理进入S1817，以及在所触摸的字符区域是已选择的字符区域的情况下，处理进入S1818。

在S1817中，将所触摸的字符区域的字符串添加到文件名输入栏1001，并且对该字符区域进行用以表示选择了该字符区域的突出显示处理。此时，在文件名输入栏1001中未输入其它字符串的情况下，按照原样添加该字符串。然后，将字符区域用于文件名设置这一事实被存储为文件名设置时的输入信息。另一方面，在文件名输入栏1001中已输入了另一字符区域的字符串的情况下，在添加分隔符之后，添加所触摸的字符区域的字符串。在这种情况下，除了将字符区域用于文件名设置这一事实之外，还存储在字符串之间插入分隔符(诸如“第一字符区域”、“分隔符”和“第二字符区域”等)这一事实。图24是示出在首先选择字符被识别为“报价单”的字符区域、之后选择字符被识别为“下丸子株式会社”的字符区域的情况下的文件名设置画面1000的图。在文件名输入栏1001中，输入与所触摸的字符区域的顺序相对应的两个字符串，并且在这两个字符串之间，输入作为分隔符的下划线。

在S1818中，将所触摸的字符区域的字符串从文件名输入栏1001中删除并取消表示选择该字符区域的突出显示，并且状态返回到表示未选择字符区域的正常显示状态。此外，在向该字符串附加了分隔符的情况下，该分隔符也一起被删除。例如，假定初始文件名的生成所使用的文件名结构为[“第一字符区域”、“分隔符”、“第二字符区域”]。在这种情况下，在用户触摸“第一字符区域”的字符区域的条件下，还将分隔符连同第一字符区域的字符串一起删除，并且仅“第二字符区域”的字符串保留在文件名输入栏1001中。

在S1809中，在所检测到的用户操作不是对字符区域的触摸的情况下，判断所检测到的用户操作是否是预览区域1002内的滑动操作。在检测到滑动操作的情况下，处理进入S1819，以及在其它情况下，处理进入S1810。

在S1819中，进行用以使预览区域1002中所显示的图像部分沿滑动操作的方向移动的处理。具体地，根据用户在触摸面板上移动他/她的手指的移动量，更新预览区域1002中所显示的图像部分。还可以将处理限制于检测到在预览区域1002内的除字符区域以外的区域中的触摸操作的情况。此外，即使用户操作是对字符区域的触摸操作，也可以根据之后用户移动他/她的手指的量，将该用户操作作为滑动操作来处理，而不是将该用户操作作为对字符区域的触摸来处理。

在S1810中，判断所检测到的用户操作是否是放大按钮1004或缩小按钮1005的按下。在放大按钮1004或缩小按钮1005的按下的情况下，处理进入S1820，以及在其它情况下，处理进入S1811。

在S1820中，进行用以放大或缩小预览区域1002中正显示的图像部分的处理。具体地，在按下放大按钮1004的情况下，进行用以将扫描图像的倍率增大预定量的处理，以及在按下缩小按钮1005的情况下，进行用以将扫描图像的倍率缩小预定量的处理。这里，预定量是任意的，并且例如基于当前倍率约为10％。此时，在按预定量的放大或缩小期间、存在初始倍率或者存在扫描图像的宽度/高度和预览区域1002的宽度/高度彼此一致的倍率的情况下，可以在该倍率处停止放大或缩小。进行控制，使得图像部分不会以整个扫描图像包括在预览区域1002内的倍率(最小倍率)或更小的倍率缩小，并且图像部分不会以最小字符区域变为预定大小的倍率(最大倍率)或更大的倍率放大。

在S1811中，判断所检测到的用户操作是否是恢复按钮1006的按下。在按下恢复按钮1006的情况下，处理进入S1821，以及在其它情况下，处理进入S1812。

在S1821中，进行用以将预览区域1002返回到初始显示状态的处理。具体地，进行以下处理：将预览区域1002中所显示的扫描图像的倍率返回到在S1802中确定的初始倍率，并且进一步将预览区域1002中的显示部分返回到在S1803中确定的初始显示部分。此时，在进行了初始倍率和初始显示部分的调整的情况下，期望将倍率和显示部分返回到调整之后的初始倍率和初始显示部分。

在S1812中，判断所检测到的用户操作是否是对在文件名输入栏1001中输入的字符串的触摸操作。此时，在检测到对在文件名输入栏1001中输入的字符串之后的空白区域的触摸操作的情况下，将触摸操作作为对末尾的字符串的触摸操作来处理就足够了。在对在文件名输入栏1001中输入的字符串的触摸操作的情况下，处理进入S1822，以及在其它情况下，处理进入S1813。

在S1822中，在操作单元220上显示处于在输入区域2201中输入进行了触摸操作所针对的字符串的状态的编辑用软键盘。这里，假定文件名设置画面1000处于图24所示的状态。在该状态下，在检测到对文件名输入栏1001中的字符串“报价单”的触摸操作的情况下，显示处于在软键盘的输入区域2201中输入字符串“报价单”的状态的软键盘2200。此外，在检测到对字符串“下丸子株式会社”的触摸操作或者检测到对该字符串之后的空白区域的触摸操作的情况下，显示处于在输入区域2201中输入作为末尾的字符串的字符串“_下丸子株式会社”的状态的软键盘2200。软键盘2200的操作与一般键盘的操作相同，因此省略了对软键盘2200的说明。随后的S1823是用以监视用户操作的有无的处理。按预定间隔检查软键盘2200中的OK按钮2202的按下的有无，并且在检测到OK按钮2202的按下的情况下，处理进入S1824。在按下除OK按钮以外的键的情况下，根据所按下的键，进行对输入区域2201中所显示的字符串的编辑。例如，用户可以通过使用软键盘2200来修改在字符识别处理中误识别的字符串。

在S1824中，判断是否进行了用以删除分隔符的改变。在本实施例中，该判断仅在S1822中将S1812中所触摸的字符串连同分隔符一起显示的情况下进行，并且将在无分隔符的情况下显示的字符串作为未进行分隔符的删除的字符串来处理。也就是说，在字符串以分隔符附加到字符串的开头的状态显示的情况下，基于在按下OK按钮2202的时间点在字符串的开头是否存在分隔符，来判断是否进行了用以删除分隔符的字符串的编辑。例如，在S1812中进行对字符串“下丸子株式会社”的触摸操作的情况下，如上所述，字符串以分隔符附加至开头的“_下丸子株式会社”的状态显示在软键盘2200的输入区域2201中。然后，通过检查分隔符是否保留在开头，来判断是否进行了分隔符的删除。此外，在S1812中进行对字符串“报价单”的触摸操作的情况下，如上所述在输入区域2201中显示“报价单”，因此在这种情况下，将字符串作为未进行用以删除分隔符的改变的字符串来处理。

在上述示例中，在假定S1812中触摸的字符串之前存在分隔符的情况下在输入区域2201中显示开头附加有分隔符的字符串的情况下给出了说明，但这不限于此。例如，在S1812中触摸的字符串之后存在分隔符的情况下，在进行配置使得所触摸的字符串以分隔符附加到字符串的末尾的状态显示在输入区域2201中的条件下，也可以进行相同的判断。也就是说，说明了如下的情况：根据图24的示例中的对字符串“报价单”的触摸操作，来进行配置，使得字符串以分隔符附加至诸如“报价单_”等的字符串的末尾的状态显示在软键盘2200的输入区域2201中。在这种情况下，通过在该步骤S1824中检查分隔符是否保留在末尾来判断是否进行了分隔符的删除，这就足够了。

在S1824中判断为进行了分隔符的删除的情况下，处理进入S1825。然后，在S1825中，存储分隔符已从文件名中删除这一事实。例如，假定初始文件名的生成所使用的文件名结构为[“第一字符区域”、“分隔符”、“第二字符区域”]。此时，在用户触摸文件名输入栏1001中的与“第二字符区域”相对应的字符串并通过使用软键盘2200删除分隔符的情况下，改变之后的文件名结构将为[“第一字符区域”、“第二字符区域”]。然后，存储与该改变之后的文件名结构有关的信息。在随后的S1826中，判断是否进行了用以将分隔符添加到文件名的改变。在判断为添加了分隔符的情况下，处理进入S1827。然后，在S1827，存储已将分隔符添加到文件名这一事实。例如，假定初始文件名的生成所使用的文件名结构为[“第一字符区域”、“第二字符区域”]。此时，在用户触摸文件名输入栏1001中的与“第二字符区域”相对应的字符串并通过使用软键盘2200将分隔符添加到该字符串的开头的情况下，改变之后的文件名结构将为[“第一字符区域”、“分隔符”、“第二字符区域”]。然后，存储与该改变之后的文件名结构有关的信息。

然后，在S1828中，在操作单元220的显示画面从软键盘2200返回到文件名设置画面1000之后，文件名被修改为改变之后的内容。此时，还可以改变扫描图像的显示部分，使得与修改后的字符串相对应的字符区域位于预览区域1002的中央。即使修改了文件名所使用的字符串的一部分，在文件名结构未改变的情况下，也不新存储与文件名结构有关的信息。然而，在进行了用以删除特定字符串中所包括的所有字符的修改的情况下，文件名结构也改变。结果，同样在这种情况下(尽管在流程图中省略了这一点)，存储与改变之后的文件名有关的结构信息。例如，假定初始文件名的生成所使用的文件名结构为[“第一字符区域”、“分隔符”、“第二字符区域”]。此时，假定用户触摸文件名输入栏1001中的与“第二字符区域”相对应的字符串、并通过使用软键盘2200来删除所有字符。在这种情况下，不再需要的分隔符也被删除，并且改变之后的文件名结构改变为[“第一字符区域”]，因此存储与改变之后的文件名结构有关的信息。

在S1813中，判断所检测到的用户操作是否是对处于未输入字符串的状态的空文件名输入栏1001的触摸操作。在对空文件名输入栏1001的触摸操作的情况下，处理进入S1829，以及在其它情况下，处理进入S1814。

在S1829中，将处于在输入区域2201中未输入任何内容的状态的字符串添加用软键盘显示在操作单元220上。随后的S1830是用以监视用户操作的有无的处理。按预定间隔检查软键盘2200上的OK按钮2202的按下的有无，并且在检测到OK按钮2202的按下的情况下，处理进入S1831。然后，在S1831中，在操作单元220的显示画面从软键盘2200返回到文件名设置画面1000之后，将所输入的字符串添加到文件名。

在S1814中，判断所检测到的用户操作是否是删除按钮1003的按下。在按下删除按钮1003的情况下，处理进入S1832，以及在其它情况下，处理进入S1815。在S1832中，删除文件名输入栏1001中所输入的字符串中的末尾的字符串。例如，在初始文件名的生成所使用的文件名结构为[“第一字符区域”、“分隔符”、“第二字符区域”]的情况下，通过按下删除按钮1003来删除与“第二字符区域”相对应的字符串。作为其结果，删除之后的文件名结构为[“第一字符区域”]，并且文件名仅是与“第一字符区域”相对应的字符串。此时，与所删除的字符串相对应的字符区域返回到表示在预览区域1002中未选择字符区域的状态。然后，存储与改变之后的文件名结构有关的信息。

在S1815中，判断所检测到的用户操作是否是发送按钮1007的按下。在按下发送按钮1007的情况下，该处理终止，并且处理进入图12的流程图中的S1210。

以上是在S1209中进行的文件名设置处理的内容。

<变形例_1>

在遵循在上述的S1802(初始倍率的确定)中基于最左侧字符区域和最右侧字符区域所确定的初始倍率的情况下，预览中所显示的各字符区域的平均高度小于预定阈值，还可以改变初始倍率，使得平均高度变得大于或等于预定阈值。在这种情况下，“平均高度”可以是所有字符区域的平均值，或者可以是这些字符区域中的一部分字符区域的平均值。作为这些字符区域中的一部分字符区域的平均值的示例，提到要以所确定的初始倍率显示在预览区域1002中的字符区域的高度的平均值、以及扫描图像的特定部分(例如，上半部分)中的字符区域的高度的平均值，等等。说明具体的示例。这里，假定最左侧字符区域的左端和最右侧字符区域的右端之间的间隔(宽度)为2,000px、预览区域1002的宽度为800px、并且预定阈值为15px。这里，所计算出的初始倍率为0.4(＝800÷2,000)，并且在所有字符区域的高度的平均值为60px的情况下，所有字符区域的高度的平均值为24px(＝60×0.4)且这不小于预定阈值，因此按原样取0.4作为初始倍率。另一方面，在所有字符区域的高度的平均值为30px的情况下，所有字符区域的高度的平均值为12px(＝30×0.4)。在这种情况下，所有字符区域的高度的平均值都小于预定阈值，因此初始倍率改变为0.5(＝0.4×15÷12)，使得平均值变得大于或等于预定阈值(这里，平均值是与阈值相同的值)。图25示出在字符区域的高度的平均值不满足阈值并且调整初始倍率的情况下的文件名设置画面1000的初始显示的示例。在该示例中，在进行用以增大初始倍率值的调整之后，在S1803中根据最左侧字符区域的左端和最上侧字符区域的上端来确定显示部分。作为其结果，与商业表单的右侧相对应的区域不再包括在显示部分中，但确保了预览区域1002中存在的各字符区域的可视性。

<变形例_2>

在上述的S1803(初始显示部分的确定)中存在用于初始文件名的多个字符区域的情况下，也可以确定显示部分，使得在预览区域1002中显示所使用的字符区域的最上侧字符区域。此外，还可以确定各字符区域中的字符串的含义和类型，并且调整显示部分，使得在预览区域1002内显示用于文件名的可能性强的字符区域。此外，还可以确定显示部分，使得在预览区域1002中显示与预先指定的字符区域的数量相对应的字符区域。此外，还可以确定显示部分，使得用于初始文件名的字符串的字符区域中的最上侧字符区域和最下侧字符区域之间的中间地点位于预览区域1002的中央。

<变形例_3>

在上述的S1805(操作引导的显示)中在文件名输入栏1001中自动输入根据相似商业表单的文件名结构的初始文件名的情况下，也可以将操作引导以不与用于初始文件名的字符串的字符区域重叠的方式显示。此时，考虑存在用于初始文件名的多个字符串、并且难以将操作引导以不与这些字符区域重叠的方式显示的情况。在诸如此等的情况下，还可以使位于初始文件名的开头的字符串的字符区域优先，并将操作引导以与位于末尾的字符串的字符区域的一部分或全部重叠的方式显示。此外，在设置了除初始文件名以外的文档属性(例如，元数据)的情况下，也可以根据文档属性的类型来确定应避免与操作引导重叠的字符区域、并确定操作引导的显示位置。例如，在值被设置为类型为日期的文档属性的情况下，将操作引导以不与对象文档中的日期的字符区域重叠的方式显示。此时，通过判断从扫描图像中提取的字符串是否对应于特定字符阵列来判断与各字符区域相对应的字符串是否为日期。例如，在以yy/mm/dd的格式将数字分别输入到“yy”、“mm”和“dd”的情况下，可以判断为字符串是日期。

<变形例_4>

在上述的S1822(编辑用软键盘的显示)中，代替在输入所触摸的字符串的状态下显示编辑用软键盘，也可以在输入区域2201内输入整个文件名的状态下显示编辑用软键盘。在这种情况下，为了防止用户误识别编辑对象，显示字符串，使得通过突出显示字符串(改变字符串的颜色、以及将框附加到字符串等)以将该字符串与其它字符串区分开、以及在字符串的末尾显示光标等，来知晓编辑对象的范围。此外，代替响应于对在文件名输入栏1001中输入的字符串的触摸操作而显示编辑用软键盘，也可以通过等待进一步的附加用户操作(例如，按下未图示的专用按钮)来显示编辑用软键盘。

<变形例_5>

此外，在本实施例的说明中，在检测到用户对字符区域的触摸操作的情况下，进行用以将所触摸的字符区域的字符串添加到文件名或从文件名删除的处理(S1817、S1818)。然而，存在如下的情况：系统的响应缓慢，因此在检测到触摸操作之后、直到将对象字符串的添加或删除反映在文件名中为止，这需要时间。在这种情况下，认为用户误判断为系统不响应用户他/她自身的触摸操作、并对相同字符区域重复数次触摸操作。在这种情形下，可能存在重复进行相同字符区域的字符串的添加和删除并且不能在用户期望的状态下停止的情况。例如，在用户多次触摸删除对象字符串的情况下，可能发生再次输入删除对象字符串的情况。因此，为了防止在添加/删除处理期间重复进行对相同字符区域的触摸操作，还可以设计系统，使得在添加/删除处理完成之前，不接收对相同字符区域的供新添加或删除用的触摸操作。此时，也可以一起显示表示处理正在进行的消息。由此，在文件名设置时的输入操作中，可以防止进行用户所不期望的字符串的添加或删除。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或设备，该系统或设备的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

根据本发明的技术，在对文档的扫描图像设置诸如文件名等的属性时，消除了每次添加或删除分隔符的时间和精力。由此，提高了用户的操作效率。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (7)

1.一种图像处理设备，包括：

至少一个存储器，用于存储程序；以及

至少一个处理器，用于执行所述程序，以进行：

从通过扫描文档所获得的扫描图像中检测字符区域；

进行控制以显示UI画面，所述UI画面用于通过使用与用户从所检测到的字符区域中所选择的一个或多个字符区域相对应的一个或多个字符串来对所述扫描图像设置属性；以及

获取与对过去的扫描图像所设置的属性有关的结构信息，

其中，所述结构信息包括与对应于多个字符串的多个字符区域有关的信息和表示在所述多个字符串被用于对所述过去的扫描图像所设置的属性的情况下各个分隔符所插入的各自的位置的信息，以及

其中，在对与所述过去的扫描图像相似的扫描图像设置属性的情况下，所显示的UI画面呈现根据所述结构信息而自动生成的属性。

2.根据权利要求1所述的图像处理设备，其中，所述至少一个处理器执行所述程序，以进一步进行：

预先设置所述分隔符的种类，

其中，在所述UI画面上，呈现通过使用预先设置的种类的分隔符自动生成的根据所述结构信息的属性。

3.根据权利要求1所述的图像处理设备，其中，

在所述UI画面上向所呈现的属性添加分隔符或从所呈现的属性删除分隔符的情况下，更新所述结构信息。

4.根据权利要求1所述的图像处理设备，其中，

扫描图像与所述过去的扫描图像是否相似是基于该扫描图像中存在的字符区域的配置的相似性来判断的。

5.根据权利要求1所述的图像处理设备，其中，

所述属性是在要将扫描图像文件化的情况下的文件名。

6.一种图像处理设备的控制方法，所述图像处理设备用于对通过扫描文档所获得的扫描图像设置属性，所述控制方法包括：

从所述扫描图像中检测字符区域；

显示UI画面，所述UI画面用于通过使用与用户从所检测到的字符区域中所选择的一个或多个字符区域相对应的一个或多个字符串来对所述扫描图像设置属性；以及

获取与对过去的扫描图像所设置的属性有关的结构信息，

其中，所述结构信息包括与对应于多个字符串的多个字符区域有关的信息和表示在所述多个字符串被用于对所述过去的扫描图像所设置的属性的情况下各个分隔符所插入的各自的位置的信息，以及

其中，在对与所述过去的扫描图像相似的扫描图像设置属性的情况下，在所显示的UI画面上呈现根据所述结构信息而自动生成的属性。

7.一种存储有程序的计算机可读存储介质，所述程序用于使计算机进行图像处理设备的控制方法，所述图像处理设备用于对通过扫描文档所获得的扫描图像设置属性，所述控制方法包括：

从所述扫描图像中检测字符区域；

显示UI画面，所述UI画面用于通过使用与用户从所检测到的字符区域中所选择的一个或多个字符区域相对应的一个或多个字符串来对所述扫描图像设置属性；以及

获取与对过去的扫描图像所设置的属性有关的结构信息，

其中，所述结构信息包括与对应于多个字符串的多个字符区域有关的信息和表示在所述多个字符串被用于对所述过去的扫描图像所设置的属性的情况下各个分隔符所插入的各自的位置的信息，以及

其中，在对与所述过去的扫描图像相似的扫描图像设置属性的情况下，在所显示的UI画面上呈现根据所述结构信息而自动生成的属性。

Images