CN104580811B - 图像处理装置及其控制方法 - Google Patents

Abstract

本发明提供一种图像处理装置及其控制方法。为了提高使用对原稿进行拍摄并显示表示拍摄的原稿的图像的图像处理装置的用户的可操作性，照相机扫描器使显示设备在所述原稿被摆放的位置显示对应于表示所述原稿的图像的残留图像，并且当检测到原稿进入检测区域时，使得删除所述残留图像。

Description

图像处理装置及其控制方法

技术领域

本发明涉及图像处理装置、该图像处理装置的控制方法以及针对该控制方法的程序。

背景技术

当利用具有平板扫描器的传统多功能机扫描多个原稿时，需要逐一读取原稿，然后开始扫描所读取的原稿。即，需要进行如下的复杂过程：将原稿逐一放置在平板稿台玻璃上、在放置原稿前后打开和关闭稿台玻璃的盖、并且按下用于扫描的读取开始按钮。

当利用具有ADF(自动原稿给送器)的多功能机扫描多个原稿时，仅须将原稿一次性地放置到ADF，然后按下读取开始按钮。因此，能够跳过上述复杂过程。

然而，利用具有ADF的多功能机的这种操作无法处理对多个原稿的各个进行不同处理的情况。例如，上述操作无法处理彩色扫描包括字符和图像的原稿A并且黑白扫描仅包括字符的下一原稿B的情况。此外，当利用平板多功能机对多个原稿进行上述处理时，需要对各原稿进行上述复杂过程并且还需要在扫描各原稿前进行设置。

另外，当用户确认扫描图像的内容时，用户存在在进行扫描后打开预览画面、然后选择用于预览的扫描数据的麻烦。

为了减少当进行扫描时的这类必要的麻烦，存在如下技术，在对放置在原稿台上的原稿进行拍摄的照相机扫描器中，检测出原稿搁置在原稿台上，然后对搁置的原稿进行拍摄(例如，日本专利特开第2007-208821号公报)。

根据上述技术，由于能够仅通过将原稿摆放在原稿台上来进行扫描，因此能够大大减少在包括原稿台的盖的打开/关闭、按钮的按下等的扫描中的麻烦。

另外，为了减少对原稿的内容确认的麻烦，存在在原稿台上显示由照相机读取的原稿的技术(例如，日本专利特愿第2005-252737号公报，或者日本专利特开第2012-053545号公报)。

在日本专利特愿第2005-252737号公报公开的技术中，照相机扫描器的原稿台用作显示器，并且拍摄的原稿的图像在显示器上被显示预定时间以使得用户能够容易确认所拍摄的原稿的内容，由此改善可操作性。

在日本专利特开第2012-053545号公报公开的技术中，通过投影仪投影的电子介质与纸质原稿交叠并被拍摄以生成该电子介质与该纸质原稿的数据已被组合的数据，并且所生成的数据被投影在与电子介质被投影到的位置相同的位置。

这里，假设在如日本专利特开第2007-208821号公报中的通过利用搁置检测的照相机扫描来连续读取原稿的系统中，在确认原稿的各内容的同时，针对确认了的原稿，在每次扫描时，进行诸如彩色设置等的不同处理。

在这种情况下，如果如日本专利特愿第2005-252737号公报中公开的技术仅进行预定时间的显示，则存在所显示的原稿在针对该原稿的操作完成前消失的可能性。

另外，在如日本专利特愿第2005-252737号公报中公开的技术在显示器上显示扫描数据的同时或者如日本专利特开第2012-053545号公报中公开的技术通过投影仪投影扫描数据的同时期望读取下一原稿的情况下，期望读取的原稿与被显示或投影的图像彼此交叠。这样，原稿的识别率劣化。

另一方面，存在通过在由照相机的手动拍摄的定时、隐藏(即，成为非显示状态)投影图像而不读取与期望读取的图像以外的图像对应的投影图像的技术(例如，日本专利特开第2006-184333号公报)。然而，在日本专利特开第2006-184333号公报公开的技术中，由于在由照相机的手动拍摄的定时不显示投影图像，所以在连续拍摄原稿时必须逐页进行操作。

发明内容

因此，本发明的目的在于提供如下的图像处理装置、该图像处理装置的控制方法以及要用于进行该控制方法的程序，该图像处理装置改善了使用拍摄原稿并显示拍摄的原稿的图像处理装置的用户的可操作性。

为了达到上述目的，在本发明中，提供了一种图像处理装置，其配备有对能够摆放原稿的摄像区域进行拍摄的摄像设备以及能够显示图像的显示设备，其特征在于所述图像处理装置包括：提取单元，其被构造为从通过利用所述摄像设备对摆放有所述原稿的所述摄像区域进行拍摄而获得的图像中，提取表示所述原稿的图像的原稿图像数据；残留图像显示单元，其被构造为使所述显示设备在所述原稿被摆放的位置，显示由通过所述提取单元提取的所述原稿图像数据生成并且对应于所述原稿的图像的残留图像；检测单元，其被构造为检测所述原稿进入用于检测所述原稿的检测区域；以及改变单元，其被构造为，在所述检测单元检测到所述原稿进入所述检测区域的情况下，以删除由所述残留图像显示单元在所述显示设备上显示的所述残留图像的方式改变所述残留图像。

根据本发明，在所述原稿被摆放的位置，显示与表示原稿的图像对应的残留图像，并且，如果检测到所述原稿进入所述检测区域，则删除所述残留图像。因此，由于用于确认的残留图像每次被自动显示，并且在原稿进入的情况下残留图像自动被删除，所以能够提高使用对原稿进行拍摄并显示表示拍摄的原稿的图像的图像处理装置的用户的可操作性。

根据以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是例示根据本发明的实施例的包括照相机扫描器的扫描器系统的示意图。

图2是例示图1的照相机扫描器的外观的图。

图3是例示图2的控制器单元的示意框图。

图4是例示用于控制图1的照相机扫描器的程序的框图。

图5A、图5B和图5C是例示图3的HDD(硬盘驱动器)中的、通过对图2中的读取区域进行拍摄获得的读取区域背景图像被存储到的记录区域的构造的图。

图6A、图6B和图6C是例示图3的HDD中的、原稿图像数据被存储到的记录区域的构造的图。

图7A、图7B和图7C是例示要被存储在图3的RAM(随机存取存储器)中的文档属性信息以及图像属性信息的图。

图8A、图8B、图8C、图8D、图8E以及图8F是用于描述原稿操作以及显示图像的示例的图。

图9是例示通过利用照相机进行拍摄获得的图像以及投影变换后的图像的图。

图10是表示要通过图4的摄像处理部进行的初始化设置处理的过程的流程图。

图11是表示主要通过图4的摄像处理部以及定时检测部进行的残留图像投影处理的过程的流程图。

图12A、图12B、图12C、图12D、图12E、图12F、图12G和图12H是用于描述检测入镜(frame-in)或出镜(frame-out)的方法的图。

图13是表示图11的S621中的原稿图像数据提取处理的过程的流程图。

图14是表示图11的S620中的输出文件生成处理的过程的流程图。

图15是表示图11的S623中的残留图像处理的过程的流程图。

图16A、图16B、图16C、图16D、图16E和图16F是用于描述原稿操作以及显示图像的示例的图。

图17是表示主要由图4的摄像处理部和定时检测部进行的残留图像投影处理的过程的流程图。

图18A是例示了原稿图像数据的坐标的图，图18B是例示了显示图像的示例的图，以及图18C是例示了从读取区域205中的残留图像区域2101提取的残留图像2102的图。

图19是表示图17的S625中的移动识别处理的过程的流程图。

图20A和图20B是用于描述当发生阴影时要进行的处理的图。

图21是表示图17的S625中的移动识别处理的过程的流程图。

图22A、图22B、图22C以及图22D是用于描述根据原稿对残留图像区域的进入、残留图像逐渐消失的状态的图。

图23是表示图17的S625中的移动识别处理的过程的流程图。

图24A、图24B、图24C、图24D、图24E、图24F、图24G以及图24H是用于描述通过原稿对残留图像区域的进入、残留图像逐渐被切除的状态的图。

图25是表示图17的S625中的移动识别处理的过程的流程图。

图26A、图26B以及图26C是用于描述原稿操作以及显示图像的示例的图。

图27是例示当生成要存储在图3的RAM中的缩略图像时生成的文档属性信息以及图像属性信息的图。

图28A、图28B、图28C、图28D、图28E以及图28F是例示缩略图像的坐标以及显示图像的图。

图29是表示图11的S623中的残留图像处理的过程的流程图。

图30A、图30B以及图30C是用于描述原稿操作以及显示图像的示例的图。

图31是表示图17的S625中的移动识别处理的过程的流程图。

图32A是例示了在读取区域205中显示缩略图像的预定区域的图，图32B是例示了原稿与该区域中显示的缩略图像交叠的情形的图，图32C是例示了要布置缩略图像的位置被改变的情形的图。

图33A、图33B以及图33C是例示原稿与被缩略图像填满的预定区域交叠的情形的图。

图34A、图34B、图34C以及图34D是例示缩略图像被重新布置的情形的图。

图35A、图35B以及图35C是例示缩略图像被归结显示的情形的图。

图36A、图36B、图36C以及图36D是例示缩略图像被缩小并显示的情形的图。

图37A、图37B、图37C、图37D以及图37E是例示在缩小处理中缩略图像的大小被缩小过多的情形的图。

图38是表示图17的S625中的移动识别处理的过程的流程图。

图39是表示图17的S625中的移动识别处理的过程的流程图。

图40是表示图38的S2807中的缩略图像偏移处理的过程的流程图。

图41是表示要通过摄像处理部和定时检测部进行的残留图像投影处理的过程的流程图。

图42是表示图41的S625中的移动识别处理的过程的流程图。

图43是表示图41的S627中的缩略图像处理的过程的流程图。

图44A、图44B、图44C、图44D、图44E、图44F以及图44G是例示搜索缩略图像可以被布置的区域的情形的图。

图45是表示图42的S2807中的缩略图像偏移处理的过程的流程图。

具体实施方式

以下将根据附图来详细描述本发明的优选实施例。

第一实施例

图1是例示根据本发明的实施例的包括照相机扫描器101的扫描器系统100的示意图。

在图1中，通过网络104连接到主计算机102和打印机103的照相机扫描器101可以响应于来自主计算机102的指令，进行用于从照相机扫描器101读取图像的扫描功能以及用于向打印机103输出扫描数据的打印功能。

另外，无需使用主计算机102而能够直接指示照相机扫描器101进行扫描功能和打印功能。

图2是例示图1的照相机扫描器101的外观的图。

在图2中，照相机扫描器101大体由控制器单元201、照相机202、臂单元203以及投影仪207构成。

图2示出了照相机扫描器101被放置在原稿板204上的情形。这里，用作摄像设备的照相机202的镜头朝向原稿板204，由此可以对读取区域205中的图像进行读取和拍摄，该读取区域205被虚线围绕并用作可以摆放原稿的摄像区域。在图2所示的示例中，原稿206被摆放在读取区域205中。

用作照相机扫描器101的主体的控制器单元201和照相机202通过臂单元203彼此连接。臂单元203通过利用关节(joint)而可以自由弯曲和拉伸。用作显示设备的投影仪207向原稿板204等投影用于协助操作的图像来显示图像。另外，可以替代投影仪207而使用LCD(液晶显示器)触摸屏。

图3是例示图2的控制器单元201的示意性框图。

在图3中，控制器单元201主要由分别连接到系统总线301的CPU(中央处理单元)302、存储设备、各种控制器以及各种接口构成。

CPU 302对控制器单元201的整体操作进行控制。RAM 303是易失性存储器，ROM(只读存储器)304是非易失性存储器。针对CPU 302的引导程序(代码)等被存储在ROM 304中。

HDD(硬盘驱动器)305与RAM 303相比具有大存储容量。要由控制器单元201执行的用于照相机扫描器101的控制以及其他各种程序被存储在HDD 305中。

CPU 302在通过通电等启动控制器单元时执行存储在ROM 304中的引导程序代码。这里，引导程序代码是要用于读取存储在HDD 305中的控制程序代码并将所读取的代码提取到RAM 303中的代码。

如果引导程序代码被执行，则CPU 302通过执行提取到RAM 303中的控制程序代码来进行各种控制。顺便提及，在CPU 302执行被存储在HDD 305中然后被提取到RAM 303中的程序代码的条件下，进行稍后描述的流程图的处理。

另外，CPU 302将要用于通过控制程序的操作的数据存储在RAM303中，并且从RAM303中读取该数据。另外，诸如通过控制程序的操作所必须的各种设置、由照相机输入而生成的图像数据等的各种数据可以被存储在HDD 305中，并且所存储的各种数据被CPU 302读取和写入。

CPU 302通过网络I/F(接口)306进行与网络104上的其他设备的通信。

图像处理器307读取存储在RAM 303中的图像数据，处理所读取的数据，将处理后的数据写回到RAM 303中。这里，要由图像处理器307进行的图像处理包括旋转处理、倍率改变处理、色彩转换处理等。

连接到照相机202的照相机I/F 308响应于来自CPU 302的指令，从照相机202获得图像数据并且将获得的数据写入到RAM 303中。另外，照相机I/F将来自CPU 302的控制命令发送到照相机202以设置和控制照相机202。

投影仪207和LCD触摸屏330连接至的显示控制器309响应于来自CPU 302的指令，使投影仪和LCD触摸屏中的各个显示图像。

输入和输出串行信号的串行I/F 310连接到LCD触摸屏330。这样，当LCD触摸屏330被按下时，CPU 302通过串行I/F 310获得对应于所按下位置的坐标。

连接到扬声器340的音频控制器311响应于CPU 302的指令，将音频数据转换成模拟音频信号并且进一步通过扬声器340输出声音。

USB(通用串行总线)控制器312响应于CPU 302的指令来控制外部USB设备。这里，诸如USB存储器、SD(安全数字)卡等的外部存储器350连接到USB控制器312，从而从外部存储器读取数据以及向外部存储器写入数据。

图4是例示用于控制图1的照相机扫描器101的控制程序401的框图。

在图4中，如上所述，在启动照相机扫描器的操作时，CPU 302将已被存储在HDD305中的照相机扫描器101的控制程序提取到RAM 303中并且执行该控制程序。

用于照相机扫描器101的控制程序401包括主控制部402、操作显示部403、网络通信部404、数据管理部405、摄像处理部406、图像识别部407、显示处理部408以及输出文件生成部409。

作为程序主体的主控制部402通过控制程序中的各个模块来执行照相机扫描器控制程序。操作显示部403响应于来自主控制部402的描绘请求，通过显示控制器309进行对投影仪207或LCD触摸屏330的描绘操作。

另外，在LCD触摸屏330被按下时，操作显示部403通过串行I/F 310接收与按下位置对应的坐标，将描绘操作中的操作画面的内容与接收的坐标相关联，决定所按下按钮的操作内容等，然后将决定的操作内容通知给主控制部402。上述的操作显示部403使显示设备将基于从原稿提取的原稿图像数据生成的并且对应于表示原稿的图像的残留图像显示在原稿被摆放的位置。另外，如稍后所描述的，如果检测到原稿进入检测区域，则操作显示部403使显示设备将残留图像的缩略图像显示为，使得该缩略图像不与进入检测区域的原稿交叠。

网络通信部404经由网络I/F 306，通过TCP/IP(发送控制协议/互联网协议)进行与网络104上的其他设备的通信。

数据管理部405将执行控制程序401所需的设置数据等存储在HDD305的预定区域中，并管理存储的数据。

摄像处理部406通过照相机I/F 308控制照相机202，并且将在通过定时检测部410检测到的定时拍摄的照相机图像发送到图像识别部407。

由移动识别部412生成并且对应于照相机图像的命令被发送到显示处理部408。

定时检测部410检测原稿的入镜定时、搁置定时以及出镜定时。可以基于从照相机202接收的照相机图像来检测上述定时。

这里，出镜定时可以被设置为就在原稿从读取区域205出镜之前的定时，当原稿开始出镜时的定时，或者上述两个定时之间的任意定时。

移动识别部412通过针对从照相机202接收的各帧计算照相机图像的帧间差，来识别手或原稿在原稿台上的移动，并且将检测到的移动转换成预先关联的命令。

这样，能够通过在原稿台上朝着照相机进行诸如挥手操作等的手势操作来对照相机扫描器101给出指令。上述的摄像处理部406检测到原稿进入用于检测原稿的检测区域。

图像识别部407从照相机202接收照相机图像，并且识别接收的照相机图像的内容。

图像识别部407中包括的原稿图像数据提取部411从在通过定时检测部410检测到的搁置定时拍摄的并且从照相机发送的照相机图像中，提取原稿图像数据。提取的原稿图像数据被存储在RAM 303中，并且还通过数据管理部405被存储并管理到HDD 305的预定区域。原稿图像数据提取部411从通过利用摄像设备对摆放有原稿的摄像区域进行拍摄获得的图像中，提取表示原稿的图像的原稿图像数据。

显示处理部408控制显示RAM 303中存储的原稿图像数据的定时。更具体地，显示处理部响应于从移动识别部412或图像识别部407接收的指令，来指示操作显示部403在指定位置显示或隐藏(即，成为非显示状态)原稿图像数据。另外，如果检测到原稿进入检测区域，则显示处理部408以使得删除由操作显示部403在显示设备上显示的残留图像的方式改变残留图像。

输出文件生成部409转换由数据管理部405记录的原稿图像数据，调整转换的数据以获得适当的图像，然后生成预定数据输出格式的输出文件。

图5A到图5C是例示图3的HDD 305中的、通过对图2中的读取区域205进行拍摄获得的读取区域背景图像被存储到的记录区域的构造的图。

更具体地，图5A是例示通过对读取区域205进行拍摄获得的读取区域背景图像1901被存储到的记录区域的图。

在图5A中，读取区域背景图像1901被存储在“IMGDIR”的目录中。

如稍后描述的，由于重复进行对读取区域205的拍摄，因此通过对读取区域205进行拍摄获得的最新图像被存储为最新静止图像，并且就在获得最新静止图像之前通过对读取区域进行拍摄获得的图像被存储为前一静止图像。另外，关于通过最初对读取区域205进行拍摄获得的图像，不存在在那之前通过对该读取区域进行拍摄获得的任何图像。因此，在这种情况下，仅存储通过最初对读取区域进行拍摄获得的最新静止图像。

图5B是例示存储有如上的最新静止图像1902的记录区域的图。如所例示的，最新静止图像1902被存储在与存储了读取区域背景图像1901的目录相同的“IMGDIR”的目录中。

图5C是例示存储了如上的最新静止图像1903和前一静止图像1902的记录区域的图。如所例示的，最新静止图像1903和前一静止图像1902被存储在与存储了读取区域背景图像1901的目录相同的“IMGDIR”的目录中。

另外，由于图5B中的最新静止图像1902被通过接下来对读取区域进行拍摄获得的新图像替代，因此最新静止图像1902被给出为图5C中的前一静止图像1902。

原稿图像数据提取部411获得读取区域背景图像1901与最新静止图像之间的差作为原稿图像数据。

图6A到图6C是例示图3的HDD 305中的、原稿图像数据分别被存储到的记录区域的构造的图。

在图6A到图6C中，原稿图像数据被存储在“DOCDIR”的目录中。更具体地，图6A示出表示第一原稿的原稿图像数据2001被存储为“IMG_0001”。

图6B示出表示第二原稿的原稿图像数据2002被新存储为“IMG_0002”，图6C示出表示第三原稿的原稿图像数据2003被新存储为“IMG_0003”。

图7A到图7C是例示要被存储在图3的RAM 303中的文档属性信息和图像属性信息的图。这里，图7A、图7B和图7C分别对应于图6A、图6B和图6C。

图7A示出表示第一原稿的原稿图像数据的文档属性信息及图像属性信息2011，图7B示出表示第一原稿的原稿图像数据的文档属性信息及图像属性信息2011以及表示第二原稿的原稿图像数据的文档属性信息及图像属性信息2012，图7C示出表示第一原稿的原稿图像数据的文档属性信息及图像属性信息2011、表示第二原稿的原稿图像数据的文档属性信息及图像属性信息2012以及表示第三原稿的原稿图像数据的文档属性信息及图像属性信息2013。

在图7A到图7C中，文档属性信息由原稿的数量以及目录名构成。这里，原稿的数量是读取的原稿的数量，并且目录名是文档属性信息的存储目的地。

另外，针对各原稿图像数据创建的图像属性信息由“NO.”、显示坐标、显示中信息、宽度、高度、格式、色彩空间以及文件名构成。

在图像属性信息中，“NO.”是原稿图像数据的序列号，并且显示坐标是表示原稿图像数据被投影仪207显示的位置的值。

图18A是例示原稿图像数据的坐标的图。

如图18A中所示，在本实施例中，能够通过三个点P11(X1,Y2)、P12(X2,Y1)以及P13(X3,Y3)来唯一识别用于显示原稿图像数据的位置。另外，还能够通过使用两个点Q1和Q2以及这两个点与一边之间的角度θ来唯一识别位置。

这里，描述转回到图7A到图7C。显示中信息由“假”或“真”表示。更具体地，“假”表示信息不被投影仪207显示，而“真”表示信息正被投影仪207显示。

宽度和高度分别表示原稿图像数据的宽度和高度。格式表示原稿图像数据的格式，图中给出“RAW”。色彩空间表示原稿图像数据的色彩空间，图中给出“RGB”。文件名表示原稿图像数据的文件名。

图8A至图8F是用于描述原稿操作以及显示图像的示例的图。

图8A示出在读取区域205中检测到原稿501的搁置并进行搁置的原稿的拍摄的情形。

如果进行拍摄，所读取原稿的图像通过投影仪207被投影在与原稿存在的位置相同的位置处，使得投影图像与原稿交叠。

图8B示出如果用手503移除原稿501、则对应于所读取原稿的图像的残留图像502被投影在原稿存在的位置的情形。

图8C示出残留图像502被显示在读取区域205中的情形。

图8D示出通过由从照相机202发送的图像识别手，通过手504进行残留图像502的诸如偏移、放大、缩小、打印、存储等的操作。另外，虽然在以下描述中主要通过利用手来进行以上操作，但是本发明并不限于手。也就是说，可以通过识别诸如笔等的特定物理介质来进行操作。

图8E示出新原稿505入镜到正显示残留图像502的读取区域205中的情形。由此，在图8A至图8F的情况下用于检测原稿的检测区域是作为摄像区域的读取区域205。

图8F示出检测到新原稿505的入镜并且隐藏(或被设置为非显示状态)显示的残留图像502的情形。

如果新原稿505在该状态下被摆放到读取区域205中，则该状态返回到可以再次读取原稿的状态。通过重复进行该操作，能够避免在残留有可被操作的残留图像的同时进行连续读取原稿的情况下，由于残留图像与新原稿交叠的现象引起的识别率的劣化。

图9是例示通过利用照相机202的拍摄获得的图像以及投影变换后的该图像的图。

由于照相机202并不严格位于读取区域205正上方，因此所拍摄的图像701的形状如图中被变形。因此，摄像处理部406计算用于将所拍摄的图像701的变形形状变换为矩形的投影变换的参数。

然后，摄像处理部406通过利用计算出的投影变换参数来将变形图像701校正为矩形图像702。

图10是表示要通过图4的摄像处理部406进行的初始化设置处理的过程的流程图。这里，应当注意该图中所示的附图标记(例如，S601)分别表示过程中的相应处理的步骤编号。

在图10中，摄像处理部406将原稿板204上的不摆放任何原稿的读取区域205拍摄作为背景图像(S601)，并将获得的图像传送到图像识别部407。

接着，摄像处理部406计算图9中描述的投影变换参数(S602)，并通过利用计算出的投影变换参数对拍摄的读取区域205的图像进行投影变换来将变形图像校正为矩形图像(S603)。

然后，摄像处理部406通过数据管理部405将作为校正图像的读取区域背景图像存储到HDD 305(S604)。

接着，摄像处理部406初始化状态管理标记(S605)，并且结束处理。

这里，状态管理标记包括表示是否检测到原稿入镜的入镜状态标记，以及表示是否检测到原稿出镜的出镜状态标记。

另外，状态管理标记包括表示是否检测到手入镜的入镜状态标记，以及表示是否检测到手出镜的出镜状态标记。

因此，状态管理标记包括两个入镜状态标记以及两个出镜状态标记。

在S605中的初始化中，针对原稿和手的入镜状态标记分别被初始化为“假”，并且针对原稿和手的出镜状态标记分别被初始化为“真”。

在本实施例中，由于原稿和手被视为要在读取区域205中被读取的物理对象，因此分别准备上述标记，以对应于上述两个对象。然而，能够将标记设置为对应于其他物理对象。

另外，每次要在读取区域205中读取的对象的数量增加时，状态管理标记也可以相应地增加。

如果以上初始化设置处理结束，则摄像处理部406的定时检测部410进行如下残留图像投影处理，即在新进入读取区域205的原稿搁置预定时间的情况下，自动对该原稿进行拍摄并且投影其残留图像。

图11是表示主要通过图4的摄像处理部406和定时检测部410进行的残留图像投影处理的过程的流程图。这里，应当注意该图中所示的附图标记分别表示过程中相应处理的步骤编号。

在图11中，摄像处理部406从照相机202对读取区域205拍摄一帧(S610)，并且将通过拍摄获得的照相机图像传送到定时检测部410。

接着，定时检测部410基于从照相机202接收的照相机图像来辨别是否检测到针对读取区域205的物理对象的入镜或出镜(S611)。另外，稍后将描述如何检测入镜或出镜。

如果在S611中检测到入镜或出镜(S611中“是”)，则定时检测部410决定入镜或出镜的物理对象是否是手，并且将决定的结果存储在RAM 303中。

接着，定时检测部410进行稍后描述的残留图像处理(S623)。这里，残留图像处理是，在残留图像正被显示的情况下，如果发生情形，则隐藏所显示的残留图像(将所显示的残留图像设为非显示状态)的处理。

然后，定时检测部410响应于S611中的入镜或出镜的检测来更新状态管理标记(S612)。

更具体地，如果在S611中检测到物理对象的入镜，则对应于物理对象的入镜状态标记被设置为“真”，而出镜状态标记被设置为“假”。另一方面，如果检测到物理对象的出镜，则入镜状态标记和出镜状态标记分别被设置为与上述设定相反。

接着，主控制部402辨别针对全部原稿的扫描是否结束(S619)。这里，基于通过网络I/F 306从主计算机102发送的扫描结束指令、从LCD触摸屏330输入的结束指令、定时器设定等来辨别结束。

如果在S619中辨别出扫描未结束(S619中“否”)，则处理返回到S610。

另一方面，如果在S619中辨别出扫描结束(S619中“是”)，则进行稍后描述的输出文件生成处理(S620)，然后处理结束。

另外，如果作为S611中的辨别结果未检测到入镜或出镜(S611中“否”)，则定时检测部410决定其是否处于在预定时间内未有改变的状态(S613)。

这里，该步骤中的处理是辨别原稿是否已被搁置或移除的处理。另外，在该步骤中，利用表示通过新对区域进行拍摄获得的照相机图像从通过之前对区域进行拍摄获得的照相机图像变化多少的图像变化量来辨别改变。

更具体地，如果图像变化量在预定时间内都处于预定范围内，则辨别出不存在变化。

如果在S613中决定不处于在预定时间内未有变化的状态，即，如果决定预定时间内存在变化(S613中“否”)，则这意味着原稿或手偏移的状态。这样，摄像处理部406进行手势处理(S624)，并且处理进行到S619。

在手势处理中，进行根据如何偏移原稿或手的处理。例如，所述处理包括通过手的偏移对残留图像的放大、缩小、偏移、操作、编辑以及打印。

另一方面，如果在S613中决定处于在预定时间内未有变化的状态(S613中“是”)，则定时检测部410计算S610中拍摄的照相机图像与当进行前一残留图像投影处理时通过S617中的拍摄获得的静止图像之间的差量(S615)。另外，如果在开始该残留图像投影处理后首次进行S615中的处理，则计算照相机图像与通过S601中的拍摄获得的读取区域205的图像之间的差量。

接着，定时检测部410辨别计算出的差量是否大于预定值(S616)。这里，预定值等于能够将通过对同一对象进行拍摄获得的两个图像辨别为相同图像的值。例如，预定值近似等于0。

如果在S616中辨别出计算出的差量小于预定值(S616中“否”)，则这意味着从前一状态未有变化，并且处理进行到S619。

另一方面，如果在S616中辨别出计算出的差量大于预定值(S616中“是”)，则定时检测部410获得通过S610中的拍摄获得的照相机图像作为静止图像(S617)。另外，在该阶段，与原稿的搁置和移除无关地获得静止图像。

接着，摄像处理部406通过利用在S602中计算出的投影变换参数对获得的静止图像进行投影变换(S618)。

然后，摄像处理部406将经历了投影变换的静止图像传送到图像识别部407。接收到静止图像的图像识别部407的原稿图像数据提取部411进行稍后描述的用于提取原稿图像数据的原稿图像数据提取处理(S621)。

接着，图像识别部407将提取的原稿图像数据传送到显示处理部408。显示处理部408更新图7A至图7C中分别描述的文档属性信息以及图像属性信息，并且将显示中信息改变为“真”。显示坐标通过在S621中提取原稿图像数据时的文档属性信息的显示坐标来表示。

显示处理部408将显示坐标以及由在S621中提取的原稿图像数据生成并且被存储在HDD 305中的显示图像传送到操作显示部403。这里，图18B例示了显示图像的示例。即，对应于读取区域205的区域是什么也不显示的黑图像2103，并且基于显示坐标的信息，以使得叠加在黑图像2103上的方式来创建残留图像2104。

然后，操作显示部403通过利用投影仪207投影接收的显示图像来更新残留图像显示(S622)，并且处理进行到S612。这样，残留图像被显示在读取区域205中。通过上述处理，以使得残留图像与读取区域205中摆放的原稿交叠的方式投影残留图像。另外，投影并不限于如上的这种定时。即，可能不是在拍摄后原稿正被摆放在读取区域205的同时进行投影，而是在移除原稿后在原稿被移除的位置进行投影。

通过重复进行上述处理，当新进入读取区域205的原稿搁置时，摄像处理部406可以自动获得与进入的原稿对应的静止图像，并将获得的静止图像传送到图像识别部407的原稿图像数据提取部411。

接着，将描述在S611中检测入镜或出镜的方法。

即，图12A到图12H是用于描述检测入镜或出镜的方法的图。

更具体地，图12A示出摆放原稿前的原稿板204，图12C示出背景图像或通过拍摄读取区域205获得的前一静止图像。

另外，图12B示出就在原稿206入镜到读取区域205之后或者就在原稿206从读取区域205出镜前的原稿板204，图12D示出就在入镜或出镜前读取的读取区域205的照相机图像。

图像识别部407的定时检测部410由图12C和图12D中分别示出的这两个拍摄图像来生成图12E所示的差分图像。

该差分图像中的黑像素区域801对应于不存在差分的部分，而白像素区域802对应于入镜或出镜的原稿206的边缘。基于与照相机图像和背景图像之间的差值对应的白像素区域802的像素的数量来检测入镜或出镜的定时。

可以通过将此时获得的差量与紧接之前计算的差量比较来决定入镜或出镜的状态。即，如果此时获得的差量与紧接之前计算的差量相比增加，则能够决定状态处于入镜处理，而如果此时获得的差量与紧接之前计算的差量相比减少，则能够决定状态处于出镜处理。

在入镜处理中，当差值对像素数量的百分比变得大于等于预定百分比时的定时被检测为入镜。

同样，在出镜处理中，当差值对像素数量的百分比变得小于等于预定百分比时的定时被检测为出镜。

另外，在原稿的边缘不被包括在照相机图像中的情况下，例如，当因为原稿被迅速移除所以图8E的图像接着图8C的图像被拍摄时，差量减少，并且差量(该情况中“0”)对像素数量的百分比变得小于或等于预定百分比。这样，能够检测到出镜。

如上所述，能够通过计算背景图像与照相机图像之间的差量以及差量的变化来检测入镜或出镜的定时。

如上参照图12B到图12E来描述检测原稿的入镜或出镜的定时的方法。然而，还能够检测另一物理对象的入镜或出镜。

图12F到图12H示出手803的出镜的情形。这里，手803对应于原稿206。在检测到入镜或出镜后，通过决定白色像素区域805中存在的对象的色彩是否是肉色，能够决定入镜或出镜的物理对象是否是手。由于在本实施例中仅使用原稿和手，因此被决定为不是手的对象即被决定为原稿。这样，能够检测到手进入检测区域。

要用于提取差分的方法并不限于利用通过当前摄像获得的图像与背景图像之间的差分的方法。即，通过利用通过前一拍摄获得静止图像的方法，即使在原稿正被摆放在读取区域205中时，也能够检测到手或新原稿图像的入镜或出镜。

图13是表示图11的S621中的原稿图像数据提取处理的过程的流程图。这里，应当注意，该图中示出的附图标记分别表示过程中的相应处理的步骤编号。

在图13中，原稿图像数据提取部411从摄像处理部406接收经历投影变换的最新静止图像(S901)。

接着，如图5B中所描述的，原稿图像数据提取部411通过数据管理部405将接收的最新静止图像存储在HDD 305中(S902)。

接着，原稿图像数据提取部411计算读取区域背景图像1901与最新静止图像之间的差量(S903)。

然后，原稿图像数据提取部411辨别计算出的差量是否大于预定值(S904)。这里，预定值等于能够将通过对同一对象进行拍摄获得的两个图像辨别为相同图像的值。例如，预定值近似等于0。

如果在S904中辨别出计算出的差量等于或小于预定值(S904中“否”)，则决定未摆放任何原稿，提取结果被返回(S907)，然后处理结束。这里，如果原稿图像数据可以被提取，则提取结果被赋予“真”。另一方面，如果原稿图像数据无法被提取，则提取结果被赋予“假”。在S904中“否”的情况下，提取结果为“假”。

另一方面，如果在S904中辨别出计算出的差量大于预定值(S904中“是”)，则决定新原稿被摆放。这样，原稿图像数据提取部411从最新静止图像提取原稿图像数据(S905)。在原稿图像数据的提取中，能够使用从S903中生成的差分图像中检测边缘并且矩形近似检测到的边缘的已有方法。

接着，如图6A中所描述的，原稿图像数据提取部411通过数据管理部405将提取的原稿图像数据存储在HDD 305中(S906)。然后，返回提取结果“真”(S907)，并且结束处理。

图14是表示图11的S620中的输出文件生成处理的过程的流程图。这里，应当注意，该图中所示的附图标记分别表示过程中的相应处理的步骤编号。

在图14中，输出文件生成部409从RAM 303获得第一原稿的图像属性信息2011(图7A到图7C)(S1801)。

接着，输出文件生成部409从HDD 305获得第一原稿的原稿图像数据2001(S1802)。

然后，输出文件生成部409针对输出文件生成头描述(S1804)。这里，从图像属性信息中的“NO.”中获得原稿编号，并且创建输出文件名。另外，图像属性信息中的宽度和高度用于输出原稿大小。

接着，输出文件生成部409将在S1802中从HDD 305获得的原稿图像数据2001存储作为输出文件的图像数据(S1805)。此时，图像处理器307能够通过诸如倾斜校正处理、旋转校正处理、背景消除处理、边缘增强处理等的校正处理来锐化图像。

接着，输出文件生成部409生成页脚描述(S1806)，并且数据管理部405丢弃HDD305中存储的原稿图像数据2001(S1807)。

接着，辨别是否针对全部原稿图像数据的处理结束(S1808)。如果在S1808中辨别出残留有未处理的原稿图像数据(S1808中“否”)，则处理返回到S1801。

另一方面，如果在S1808中辨别出针对全部原稿图像数据的处理结束(S1808中“是”)，则处理结束。

图15是表示图11的S623中的残留图像处理的过程的流程图。这里，应当注意，该图中所示的附图标记分别表示过程中相应处理的步骤编号。

在图15中，定时检测部410辨别是否在图11的S611中检测到入镜(S1001)。

如果在S1001中辨别出检测到入镜(S1001中“是”)，则定时检测部410辨别被检测到入镜的物理对象是否仅为手(S1002)。

如果在S1002中辨别出物理对象仅为手(S1002中“是”)，则处理结束。这样，由于如果物理对象仅为手则处理结束，因此可以进行S624中仅利用手的手势处理。此时，不进行稍后描述的S1005中的删除残留图像的处理，残留图像被按照原样显示。为此，如果检测到手进入检测区域，则残留图像不改变。

另一方面，如果在S1002中辨别物理对象不仅是手，即，物理对象包括原稿(S1002中“否”)，则定时检测部410辨别是否残留图像当前正被显示在读取区域205中(S1003)。

另外，能够基于由图7A到图7C中描述的图像属性信息的显示中信息代表的内容来辨别是否残留图像正被显示。这里，正被显示的图像基本对应于上次存储的数据。例如，图7A的NO.1中的、图7B的NO.2中的图像以及图7C的NO.3中的图像正分别被显示。

如果在S1003中辨别出残留图像当前未在读取区域205中被显示(S1003中“否”)，则处理结束。

另一方面，如果在S1003中辨别出残留图像当前正在读取区域205中被显示(S1003中“是”)，则定时检测部410辨别原稿当前是否被摆放在读取区域205中(S1004)。即，辨别是否原稿存在于读取区域中。

这里，通过仅确认针对原稿的入镜状态标记来进行辨别。即，如果原稿被摆放在读取区域205中，则新入镜的原稿的标记尚不为“真”。因此，仅一个针对原稿的入镜状态标记为“真”。

如果在S1004中辨别出原稿当前被摆放于读取区域205中(S1004中“是”)，则处理结束。

另一方面，如果在S1004中辨别出原稿未被摆放在读取区域205中(S1004中“否”)，即，如果针对原稿的入镜状态标记均不为“真”，则定时检测部410通过向显示处理部408传送用于删除当前正被显示的残留图像的指令来删除残留图像(S1005)，并且处理结束。

更具体地，当接收到用于删除残留图像的指令时，显示处理部408在存储的图像属性信息中将针对上次存储的图像的显示中信息改变为“假”。同时，显示处理部408生成显示中信息已被改变为“假”的残留图像被隐藏的显示图像，并且将生成的显示图像传送到操作显示部403。操作显示部403通过利用投影仪207将传送的显示图像投影在读取区域205上。这样，能够删除显示的残留图像。

这里，描述返回到S1001。如果在S1001中辨别出入镜未被检测到，即，如果辨别出检测到出镜(S1001中“否”)，则定时检测部410辨别出检测到出镜的物理对象是否仅为手(S1007)。

如果在S1007中辨别出物理对象仅为手(S1007中“是”)，则处理结束。

另一方面，如果在S1007中辨别出物理对象不仅仅是手，即，如果物理对象包括原稿(S1007中“否”)，则定时检测部410辨别残留图像是否不被显示在读取区域205中(S1008)。

这里，当残留图像正被显示的同时检测到出镜的定时表示当在原稿被摆放在读取区域205中然后残留图像被投影之后移除原稿时的时刻。

如果在S1008中辨别出残留图像被显示在读取区域205中(S1008中“被显示”)，则处理结束。

另一方面，如果在S1008中辨别出残留图像未被显示在读取区域205中(S1008中的“未显示”)，则定时检测部410在存在最新残留图像的情况下，通过向显示处理部408发出最新残留图像的重新显示处理指令来重新显示最新残留图像(S1009)，并且处理结束。

这里，如上的这种最新残留图像数据是最后存储的原稿图像数据。因此，显示处理部408将图7A到图7C的图像属性信息中的最后存储的图像的显示中信息改变为“真”。

同时，具有通过在由坐标信息指定的位置描绘上次存储的图像获得的形状的显示图像被生成并传送到操作显示部403。操作显示部403通过利用投影仪207在读取区域205中显示残留图像。如刚刚描述的，如果在残留图像被改变后没有在检测区域中检测到原稿，则作为改变前的残留图像的最新残留图像被显示在显示设备上。

通过重复进行上述处理，能够检测到原稿入镜到读取区域205中并且删除残留图像。

另外，如果原稿在其搁置前出镜，则能够重新显示由于原稿的入镜而被删除的残留图像。另外，通过辨别入镜的物理对象是否仅为手，能够对残留图像进行手势操作。

另外，如果原稿或手的阴影被投射在读取区域205中，则可以辨别出物理对象入镜到读取区域中。因此，在以上的S1002中，能够辨别入镜的物理对象是否是阴影，并且如果物理对象是阴影则结束处理。另外，如果在图11的S611中辨别出物理对象是阴影，则不能够检测入镜或出镜。在任何情况下，在第二实施例中将详细描述检测阴影的方法。

第二实施例

在第一实施例中，根据原稿是否入镜到照相机的读取区域205中来删除正被显示的残留图像。另一方面，在第二实施例中，根据原稿是否进入残留图像的显示区域来删除残留图像。

另外，由于在以上第一实施例中描述的网络结构、外观、控制器构造以及软件结构分别与第二实施例中的相同，因此其描述将被省略。

图16A至图16F是用于描述原稿操作以及显示图像的示例的图。

图16A示出在读取区域205中检测到原稿1101的搁置并且进行对所搁置原稿的拍摄的情形。

如果进行拍摄，则所读取原稿的图像通过投影仪207被投影在与原稿存在的位置相同的位置上，使得投影的图像与原稿交叠。在本实施例中，将描述将所读取原稿的图像投影为使得与原稿交叠的处理。然而，在移除原稿后，能够将所读取原稿的图像投影在与原稿存在位置相同的位置处。

图16B示出如果用手1103移除原稿1101、则对应于所读取原稿的图像的残留图像1102被投影并显示在原稿存在的位置。

图16C示出残留图像1102正被显示在读取区域205中的情形。

图16D示出通过由从照相机202发送的图像来识别手，通过手1104进行残留图像1102的诸如偏移、放大、缩小、打印、存储等的操作。另外，虽然在以下描述中主要通过手来进行上述操作，但是本发明并不限于手。即，可以通过识别诸如笔等的特定物理介质来进行操作。

图16E示出当新原稿1105进入残留图像1102的区域(也称为残留图像区域)时的时刻。在本实施例中，如果检测到新原稿1105进入残留图像区域，则显示的残留图像1102被隐藏。正如所描述的，在图16A至图16F的情况下用于检测原稿的检测区域是显示残留图像的残留图像区域。

图16F示出因为新原稿1105进入残留图像1102的区域、所以显示的残留图像1102已被隐藏的情形。

如果在该状态下新原稿1105被摆放在读取区域205中，则该状态再次返回到图16A中所示的状态，由此使得能够进行扫描。

通过重复进行上述处理，在保留可操作的残留图像的同时连续读取原稿时，能够避免由于残留图像与新原稿交叠的现象引起的识别率的劣化。

另外，由于当检测到原稿等进入残留图像区域时删除残留图像，因此即使当原稿等错误入镜到读取区域中时，如果原稿等未进入残留图像区域中，则也不删除残留图像。

这样，能够将原稿与残留图像布置为彼此相邻，由此使得能够进行更自由的操作。

图17是表示主要通过图4的摄像处理部406以及定时检测部410进行的残留图像投影处理的过程的流程图。这里，应当注意该图中所示的附图标记分别表示过程中相应处理的步骤编号。

在图17中，由于S610到S622中的处理分别与图11中所例示的相同，因此其描述将被省略。

图17与图11不同的点在于，在S611中检测到入镜或出镜后不提供如S623中的残留图像处理，不提供如S624中的手势处理，以及提供S625中的移动识别处理以及S626中的针对残留图像区域的图像存储处理。因此，在下文中将主要描述与上述点相关的内容。

在S611中检测到入镜或出镜的情况下(S611中“是”)，如果残留图像在当检测到原稿的出镜时的定时被投影，则摄像处理部406从照相机图像将残留图像区域中的残留图像存储到RAM 303(S626)。

每次进行上述处理时都更新残留图像区域。另外，RAM 303中存储的残留图像用作当检测到对象进入残留图像区域时要使用的基础。

图18C例示了从读取区域205中的残留图像区域2101提取的残留图像2102。

这里，能够通过检查图7A至图7C中所示的图像属性信息的显示坐标来辨别残留图像是否正被投影，并检测残留图像的投影位置。在那之后，处理进行到S612。

接着，将描述S625中的处理。即，摄像处理部406向移动识别部412传送当前帧和前一帧并且发出用于移动识别的指令，这样移动识别部412进行移动识别处理(S625)。在移动识别处理结束后，处理进行到S619。

图19是表示图17的S625中的移动识别处理的过程的流程图。这里，应当注意该图中所示的附图标记分别表示过程中相应处理的步骤编号。

在图19中，移动识别部412辨别生成S613中检测到的图像变化量所根据的物理对象是否仅为手(S1201)。

这里，移动识别部412提取各帧中的图像的特征量，通过检测肉色和矩形来辨别手或原稿，并且检查其重心位置是否移出帧间的预定范围之外。这样，能够辨别物理对象是仅包括手还是除了手以外还包括另一对象。

另外，通过获得当前帧与前一帧之间的差分并且检查该差分的色彩，能够辨别物理对象是仅为手还是除了手之外还包括另一对象。另外，在S611中检测到手或原稿的入镜时，能够通过利用已知技术来追踪检测结果。

如果在S1201中辨别出物理对象仅为手(S1201中“是”)，则移动识别部412进行手势处理(S1207)。在手势处理中，仅需要识别手是何种形状以及手如何移动，并且将识别出的移动所指与预定命令相关联。

另一方面，如果在S1201中辨别出物理对象不只是手(S1201中“否”)，则移动识别部412辨别已经读取的原稿(也称为读取后原稿)是否存在于读取区域205中(S1224)。

在该步骤中，利用状态标记进行这种辨别。更具体地，如果读取后原稿存在于读取区域205中，则由于针对这两个原稿(即，读取区域205中的读取后原稿以及当前存在为读取区域205中的物理对象的原稿)的状态标记为“真”，则可以利用这些状态标记来进行辨别。

另一方面，如果不存在读取后原稿，则仅针对当前存在为读取区域205中的物理对象的原稿的状态标记为“真”。

如果在S1224中辨别出读取后原稿存在于读取区域205中(S1224中“是”)，则处理结束。

另一方面，如果在S1224中辨别出读取后原稿不存在于读取区域205中(S1224中“是”)，则移动识别部412基于图像属性信息来辨别残留图像是否当前正被显示(S1202)。

如果在S1202中辨别出残留图像正被显示(S1202中“是”)，则移动识别部412辨别物理对象是否存在于残留图像区域2101中(S1203)。在该步骤中，可以通过将S626中存储在RAM 303中的残留图像与当前残留图像区域2101中的图像比较，来进行这种辨别。

如果在S1203中辨别出在残留图像区域2101中存在物理对象(S1203中“是”)，则移动识别部412删除当前被显示的残留图像(S1204)，并且处理结束。此时，RAM 303中存储的显示中信息被改变为“假”。

这里，描述返回到S1202。如果在S1202中辨别出残留图像未在被显示(S1202中“否”)，则移动识别部412辨别在残留图像区域2101中是否存在物理对象(S1205)。

如果在S1205中辨别出在残留图像区域2101中存在物理对象(S1205中“是”)，则处理结束。

另一方面，如果在S1205中辨别出在残留图像区域2101中不存在物理对象(S1205中“否”)，则移动识别部412重新显示最新残留图像(S1206)，并且处理结束。

上述处理是与图15的S1009中相同的处理。通过该处理，即使原稿错误进入残留图像区域2101并且由此残留图像被删除，也能够通过从残留图像区域2101中移除原稿来重新显示残留图像。

图20A和图20B是用于描述在发生了阴影时要进行的处理的图。

更具体地，图20A示出原稿1703与残留图像区域2101之间的位置关系，图20B示出阴影2000进入残留图像区域的示例。

虽然如图20A中所示、实际残留图像和原稿1703不进入残留图像区域2101，但是存在如图20B中所示手1702或原稿的阴影2000进入残留图像区域的可能性。

如果阴影像这样进入残留图像区域，则可以考虑到入镜未被检测到，由此在S1201时结束处理，或者也可以考虑在S611时未检测到入镜或出镜。

为了检测阴影，能够利用测量入镜部分的亮度并决定具有低于预定值的亮度的部分为阴影的方法。这样，能够检测阴影进入检测区域。另外，如刚刚描述的，如果检测到阴影进入检测区域，则能够不改变残留图像。

如上所述，在第二实施例中，由于能够在原稿进入残留图像正被显示的区域的条件下删除残留图像，因此能够避免在连续扫描原稿时原稿的识别率的劣化。

另外，通过辨别移动对象是否包括手以外的其他对象，能够在连续扫描中保留残留图像的同时通过手来操作残留图像，由此提高了可操作性。

第三实施例

在第一和第二实施例中，当原稿图像进入诸如读取区域205或残留图像区域的预定区域时，残留图像被直接删除，由此提高针对下一图像读取的精度。

这里，应当注意，基于第二实施例来执行第三实施例。即，在原稿进入预定区域的情况下，在经过预定时间后则删除残留图像。换言之，即使原稿错误进入预定区域，也不立即删除残留图像。

另外，由于在第一实施例中描述的网络结构、外观、控制器构造以及软件结构分别与第三实施例中的相同，因此其描述将被省略。

在本实施例中，如上所述在经过预定时间后删除残留图像的处理被添加到通过图19表示的过程，其他与第二实施例中的相同。

图21是表示图17的S625中的移动识别处理的过程的流程图。这里，应当注意，该图中示出的附图标记分别表示过程中相应处理的步骤编号。

在图21中，由于S1211至S1217中的处理分别与图19的S1201至S1207中的相同，因此其描述将被省略。另外，由于图21的S1224中的处理与图19的S1224中的处理相同，因此其描述将被省略。

如果在S1213中辨别出物理对象存在于残留图像区域2101(S1213中“是”)，则移动识别部412在定时器尚未启动的情况下启动定时器，或者在定时器已经启动的情况下进行不进行任何操作的定时器处理(S1220)。

接着，移动识别部412辨别从物理对象进入残留图像区域2101时起是否经过预定时间(S1218)。这里，物理对象是原稿。

如果在S1218中辨别出未经过预定时间(S1218中“否”)，则处理结束。

另一方面，如果在S1218中辨别出经过预定时间(S1218中“是”)，则删除当前正被显示的残留图像(S1214)，定时器被重设(S1221)，然后处理结束。

如果在S1215中辨别出在残留图像区域2101中不存在物理对象(S1215中“否”)，则移动识别部412在定时器尚未启动的情况下启动定时器，或者在定时器已经启动的情况下进行不进行任何操作的定时器处理(S1222)。

接着，移动识别部412辨别从物理对象进入残留图像区域2101时起是否经过预定时间(S1219)。这里，物理对象是原稿。

如果在S1219中辨别出未经过预定时间(S1219中“否”)，则处理结束。

另一方面，如果在S1219中辨别出经过预定时间(S1219中“是”)，则最新残留图像被重新显示(S1216)，定时器被重设(S1223)，然后处理结束。如刚刚描述的，在第三实施例中，如果从原稿进入检测区域时起经过预定时间，则删除残留图像。

根据上述第三实施例，能够在从原稿进入残留图像区域时起经过预定时间后删除(或清除)残留图像。这样，即使原稿错误进入残留图像区域，也不立即删除残留图像。

第四实施例

在第三实施例中，在从原稿进入残留图像区域时起经过预定时间的定时删除残留图像，由此避免残留图像的错误删除。在基于第二实施例执行的第四实施例中，与第三实施例一样，为了避免残留图像的错误删除，根据残留图像与原稿之间的交叠状态来改变残留图像的浓度，之后，如果残留图像与原稿彼此交叠的百分比变得等于或高于预定百分比，则删除残留图像。

另外，由于第一实施例中描述的网络结构、外观、控制器构造以及软件结构分别与第四实施例中的相同，因此其描述将被省略。

图22A到图22D是用于描述残留图像随着原稿对残留图像区域的进入而逐渐消失的状态的图。

更具体地，图22A示出在残留图像1301正被显示在读取区域205中的同时由手1302保持的新原稿1304进入残留图像1301的残留图像区域中的时刻。

图22B示出与图22A中所示的状态相比、原稿1304更深地进入残留图像1301的残留图像区域，由此与图22A中所示的状态相比、残留图像1301被更浅地显示的情形。

图22C示出与图22B中所示的状态相比、原稿1304进一步更深地进入残留图像1301的残留图像区域，由此与图22B中所示的状态相比、残留图像1301被更浅地显示的情形。

图22D示出因为原稿1304与残留图像1301的残留图像区域以等于或高于预定百分比的百分比交叠、所以残留图像1301被隐藏的情形。

图23是表示图17的S625中的移动识别处理的过程的流程图。这里，应当注意，该图中所示的附图标记分别表示过程中相应处理的步骤编号。

在图23中，由于S1401到S1407以及S1424中的处理分别与针对第二实施例中的图19的S1201到S1207以及S1224中的移动识别处理相同，因此其描述将被省略。

如果在S1403中辨别出在残留图像区域中存在物理对象(S1403中“是”)，则移动识别部412计算原稿与残留图像区域之间的交叠的百分比(S1408)。

在该步骤中，仅必须由S626中存储在RAM 303中的残留图像以及当前残留图像区域的图像来获得这些图像之间的差对残留图像区域的百分比。

接着，移动识别部412辨别原稿与残留图像区域之间的交叠的百分比是否等于或高于预定百分比(S1409)。

如果在S1409中辨别出原稿与残留图像区域之间的交叠的百分比不等于或高于预定百分比(S1409中“否”)，则移动识别部412指示显示处理部408遵照交叠的百分比来改变残留图像的浓度(S1410)，并且处理结束。

更具体地，移动识别部412向显示处理部408表示对应于交叠百分比的浓度。然后，显示处理部408基于残留图像部分的浓度表示以及HDD305中存储的原稿图像数据，来生成残留图像部分的浓度已被改变的显示图像，然后指示操作显示部403来显示生成的显示图像。这样，在第四实施例中，随着进入检测区域的原稿与检测区域之间的交叠百分比变大，残留图像的浓度降低，从而使得残留图像逐渐消失。

如上所述，在第四实施例中，根据原稿与残留图像区域的交叠百分比来降低残留图像的浓度。这样，能够在原稿与残留图像区域以等于或高于预定百分比的百分比交叠的情况下删除残留图像。

因此，即使原稿错误进入残留图像区域，也不立即删除残留图像。在这种情况下残留图像仅仅变得稍微浅。另外，如果原稿从残留图像区域中被移除，则残留图像以原始浓度被显示。

第五实施例

在第三及第四实施例中，如果原稿错误进入残留图像区域，则不立即删除残留图像。

在基于第二实施例执行的第五实施例中，仅残留图像与原稿彼此交叠的部分被删除，使得残留图像在视觉上被切除，在那之后，如果残留图像与原稿彼此交叠的百分比变得等于或高于预定百分比，则删除残留图像。

另外，由于第一实施例中描述的网络结构、外观、控制器构造以及软件结构分别与第五实施例中的相同，因此其描述将被省略。

图24A到图24H是用于描述通过原稿对残留图像区域的进入、残留图像逐渐被切除的状态的图。

这里，图24A对应于图24E，图24B对应于图24F，图24C对应于图24G，图24D对应于图24H。另外，图24A、图24B、图24C及图24D的各个示出读取区域205中的原稿以及残留图像这二者的状态，图24E、图24F、图24G及图24H示出要在以上对应状态中显示的残留图像的情形。

另外，图24A和图24E的各个示出在残留图像1501正被显示在读取区域205中的同时、由手1502保持的新原稿1504进入残留图像1501的残留图像区域的时刻。

图24E示出在该时刻投影的残留图像，更具体地，示出原稿1504所进入的左下部分已被切除的残留图像1501被显示的情形。

图24B示出与图24A中所示的状态相比、原稿1504更深地进入残留图像1505的残留图像区域的情形，图24F示出与图24E中所示的状态相比、切除部分更大的残留图像1505被显示的情形。

图24C示出与图24B中所示的状态相比、原稿1504进一步更深地进入残留图像1506的残留图像区域的情形。即，该图示出已被切除更大的残留图像1506。图24G示出在以上状态下显示的残留图像1506。

图24D示出因为原稿1504与残留图像区域以等于或高于预定百分比的百分比交叠、所以残留图像被隐藏的情形，图24H示出残留图像已被隐藏(即，处于非显示状态)的读取区域205的情形。

图25是表示图17的S625中的移动识别处理的过程的流程图。这里，应当注意，该图中所示的附图标记分别表示过程中相应处理的步骤编号。

在图25中，由于S1601到S1607中的处理分别与第二实施例中的用于图19的移动识别处理的S1201到S1207的处理相同，因此其描述将被省略。

另外，由于S1608和S1609中的处理分别与图23的S1408和S1409中的处理相同，因此其描述将被省略。另外，由于S1424中的处理与图23的S1424中的处理相同，因此其描述将被省略。

如果在S1609中辨别出原稿与残留图像区域之间的交叠百分比不等于或高于预定百分比(S1609中“否”)，则移动识别部412指示显示处理部408显示原稿交叠的部分已被切除的残留图像(S1610)，并且处理结束。

更具体地，移动识别部412向显示处理部408发出显示已被部分切除的残留图像的指令。然后，显示处理部408由S626中存储在RAM 303中的残留图像区域的图像以及当前残留图像区域的图像，来生成不存在差分的部分的掩膜图像。

显示处理部408由掩膜图像以及HDD 305中存储的原稿图像数据，来生成包括原稿交叠的部分已被切除的残留图像的显示图像，并且指示操作显示部403显示生成的显示图像。

另一方面，如果在S1609中辨别出原稿与残留图像区域之间的交叠百分比等于或高于预定百分比(S1609中“是”)，则残留图像被删除(S1604)，并且处理结束。这样，在第五实施例中，残留图像被改变为通过从残留图像中移除与进入显示残留图像的残留图像区域的原稿交叠的部分而获得的残留图像的图像，由此改变残留图像，使得被逐渐删除。

如上所述，根据第五实施例，残留图像被逐渐删除，使得仅残留图像与原稿彼此交叠的部分被视觉上切除。然后，能够在残留图像与原稿彼此交叠的百分比变得等于或高于预定百分比的情况下整体删除残留图像。

这样，即使原稿错误进入残留图像区域，也不立即删除残留图像。

第六实施例

在第六实施例中，如果检测到原稿入镜到读取区域205中，则显示图像被偏移到预定区域。

另外，由于第一实施例中描述的网络结构、外观、控制器构造以及软件结构分别与第六实施例中的相同，因此其描述将被省略。

图26A到图26C是用于描述原稿操作和显示图像的示例的图。

在图26A到图26C中，与第一实施例中的图8A到图8D以及第二实施例中的图16A到图16D中一样，假设原稿被拍摄并且残留图像已被保留。

图26A示出在残留图像2201正被显示的同时，由手2202保持的新原稿2203入镜的情形。即，在图26A至图26C的情况下用于检测原稿的检测区域是对应于拍摄区域的读取区域205。

然后，图26A→图26B→图26C的流程对应于在新原稿2203入镜后残留图像的偏移的流程。

在本实施例中，如果检测到新原稿2203入镜，则正被显示的残留图像2201偏移到不妨碍新原稿的读取的预定区域2208。

图26B示出当残留图像被偏移到预定区域2208时显示的转移图像2204到2207。

如图26B和图26C中所示，残留图像逐渐偏移到预定区域2208。此时，如由转移图像2204到2207所示，残留图像在缩小其大小的同时被偏移到预定区域2208。

图26C示出与转移图像2207相当的缩略图像2207作为被偏移后的残留图像被保持在预定区域2208中的情形。

在该状态下，如果新原稿2203被摆放在空区域，则能够在不存在由残留图像引起的任何障碍的情况下读取摆放的新原稿。因此，能够确保原稿识别精度。

另外，虽然图26B示出偏移的残留图像2201被显示为转移图像2204到2207，但是转移图像不是必须被显示。在这种情况下，能够跳过图26B中所示的状态，并且如图26A→图26C的状态中所示来偏移残留图像。

此外，虽然在图26C中为方便理解而使用区域2208，但是可能不实际显示读取区域205中的区域2208。总之，预定区域2208对应于被预定显示缩略图像的缩略图像显示区域。

图27是例示当生成要存储在图3的RAM 303中的缩略图像时生成的文档属性信息和图像属性信息的图。

在图27中，文档属性信息和图像属性信息表示在两个原稿被扫描并且第二原稿的残留图像仍旧被投影在读取区域205中的情况下的信息。

在图像属性信息中，针对各原稿图像数据包括表示缩略图像的坐标的SMN坐标、表示缩略图像是否正被显示的SMN显示中信息以及唯一确定缩略图的SMN名称。

在图27的“NO.1”的管理数据2401中，由于生成的缩略图像正被显示，因此分别对SMN名称和SMN坐标赋予值，并且SMN显示中信息为“真”。

在“NO.2”的管理数据2402中，虽然残留图像的显示中信息为“真”，但是缩略图像仍未显示。因此，不对SMN坐标和SMN名称赋予值，并且SMN显示中信息为“假”。

虽然SMN坐标被定义为作成缩略图像的矩形的对角的两个顶点的坐标，但是可以使用能够唯一决定缩略图像的显示位置的任意类型的信息。

图28A到图28F是例示缩略图像的坐标以及显示图像的图。

更具体地，图28A示出在读取区域205中显示残留图像2501的情形。图28B示出在图28A中所示的状态下通过显示处理部408生成的显示图像。

图28C示出缩略图像2504被显示的情形。图28D示出在图28C中所示的状态下通过显示处理部408生成的显示图像。

在图28C中，区域2506中的缩略图像2504的显示位置用坐标P11(XS11，YS11)以及P12(XS12，YS12)代表。

通过利用例如读取区域205的左上点作为原点来针对各像素唯一决定坐标。总之，利用坐标来生成图28D中所示的显示图像。

图28E示出第二缩略图像2507被显示的情形。图28F示出在图28E所示的状态下由显示处理部408生成的显示图像。这里，在YS12与YS21之间仅需具有预定距离即可。

图29是表示图11的S623中的残留图像处理的过程的流程图。这里，应当注意，该图中所示的附图标记分别表示过程中的相应处理的步骤编号。

在图29中，由于S1001到S1004中的处理分别与图15中所示的相同，因此将省略其描述。

这里，假设在S1001到S1004的处理中，定时检测部410检测到入镜，辨别出物理对象包括原稿，辨别出残留图像正被显示，然后辨别出原稿不存在于读取区域205中(S1004中“否”)。

定时检测部410由残留图像生成缩略图像(S2301)。此时，从HDD305获得作为当前正被显示的残留图像的起源的原稿图像数据，并且通过以预定方法缩小获得的原稿图像数据来生成缩略图像。生成的缩略图像被存储在RAM 303中。这里，缩略图像连同原稿图像数据以及图27中描述的文档属性信息和图像属性信息一起被存储。

接着，定时检测部410将原稿图像数据的编号“NO.”通知给显示处理部408，并且指示显示处理部显示相关原稿图像数据的缩略图像。接收到缩略图像的显示指令的显示处理部408将对应于所通知编号的图像属性数据的SMN显示中信息改变为“真”，并且从RAM 303获得缩略图像。

然后，获得的缩略图像被显示在预定区域中(S2302)。

接着，显示处理部408将作为S2302中表示的残留图像的原稿图像数据的显示中信息改变为“假”。

在那之后，残留图像被隐藏，其中在通过SMN坐标的区域中的数据指定的位置描绘缩略图像的显示图像数据被生成，并且生成的显示图像数据被传送到操作显示部403。另外，操作显示部403通过利用投影仪207向读取区域205投影传送的显示图像来删除残留图像(S2303)，然后处理结束。

如上所述，根据第六实施例，能够检测原稿入镜到读取区域205中并且将残留图像作为缩略图像偏移到预定区域。

第七实施例

第七实施例针对检测残留图像区域中而不是读取区域205的原稿帧、然后基于检测结果将显示图像偏移到预定区域的操作。

另外，由于第一实施例中描述的网络结构、外观、控制器构造以及软件结构分别与第七实施例中的相同，因此，将省略其描述。

图30A到图30C是用于描述原稿操作和显示图像的示例的图。

在图30A到图30C中，与第一实施例中的图8A到图8D以及第二实施例中的图16A到图16D中一样，假设原稿被拍摄并且残留图像已被保留。

图30A示出在残留图像2601正被显示的状态下，由手2602保持的新原稿2603进入残留图像区域的情形。即，用于检测图30A中的原稿的检测区域是显示残留图像的残留图像区域。

然后，图30A→图30B→图30C的流程对应于在新原稿2603进入残留图像区域后残留图像的偏移的流程。

在本实施例中，如果检测到新原稿2603进入残留图像区域，则正被显示的残留图像2601偏移到不妨碍新原稿的读取的预定区域2608。

图30B示出当残留图像被偏移到预定区域时显示的转移图像2604到2607。

图30C示出与转移图像2607相当的缩略图像2607被保持在预定区域2608中作为偏移后的残留图像的情形。

图31是表示图17的S625中的移动识别处理的过程的流程图。这里，应当注意，该图中所示的附图标记分别表示过程中相应处理的步骤编号。

在图31中，由于S1201到S1203以及S1224中的处理分别与第二实施例中的用于图19所示的移动识别处理的S1201到S1203以及S1224中的处理相同，S2701到S2703中的处理分别与图29的S2301到S2303中的处理相同，以及S2705中的处理与图11的S624中的处理相同，因此已进行了图31中的这些处理的描述。

另外，在本实施例中，能够在S2705的手势处理中增加新手势，诸如提供将残留图像改变为缩略图像并且将获得的缩略图像偏移到预定区域的指令的手势，或者反过来提供重新显示作为预定区域中存在的缩略图像的起源的残留图像的指令的手势。

如上所述，根据第七实施例，能够检测原稿进入残留图像区域并且将残留图像作为缩略图像偏移到预定区域。

第八实施例

在第六和第七实施例中，残留图像作为缩略图像被偏移到预定区域，从而在保留残留图像并且维持高识别精度的同时进行连续读取。

在本实施例中，作为处理新原稿被摆放从而与预定区域中的缩略图像交叠的情况的方法，将主要描述偏移缩略图像的方法。

此外，将描述对因为连续读取多个原稿因而预定区域被缩略图像填满的情况、或者对因为原稿与读取区域205相比相对较大所以多个原稿在预先准备的区域中交叠的情况进行处理的方法。

另外，由于第一实施例中描述的网络结构、外观、控制器构造以及软件结构分别与第八实施例中的相同，因此其描述将被省略。

图32A是例示读取区域205中的分别显示有缩略图像的预定区域的图。

在图32A中，提供有预定区域3001到3004。在图32A的示例中，存在4个区域，缩略图像分别被显示在这些区域中。

这里，各区域可能不实际显示在读取区域205中。另外，各区域的初始位置已被预定，并且当操作启动时初始位置在RAM 303中被展开。

虽然在本实施例中区域的数量为4，但是数量并不限于4。另外，区域的位置不限于如图32A中所示的右端、左端、上端以及下端。

图32B是例示原稿3101与区域3001中显示的缩略图像3102交叠的情形的图，图32C是例示缩略图像被布置到的位置(在下文中称为布置位置)被改变的情形的图。

在图32B中所示的状态下，能够布置缩略图像3102的范围为在区域3001的下部的左侧。这里，能够通过检查具有对应于缩略图像的大小的图像是否可以被布置在原稿不交叠的区域的部分来辨别是否留有相关范围。

如果能够改变布置位置，则缩略图像3102的布置位置如图32C中所示被改变使得不与原稿3101交叠。

在布置位置的改变中，首先通过利用RAM 303中存储的预定区域的位置，从图10的S604中存储在HDD 305中的背景图像中裁切并移走该区域的图像。

然后，通过将背景图像的该区域的移走图像与通过从当前区域的图像中减去缩略图像区域的部分获得的图像彼此相比较，能够辨别在预定区域中原稿不交叠的区域。

通过利用辨别的区域，能够确认在预定区域内是否留有可以布置缩略图像的区域。

另外，能够通过利用图27的图像属性信息中的显示坐标等来获得缩略图像的大小。

图33A到图33C是例示原稿与填满缩略图像的预定区域交叠的情形的图。

更具体地，图33A示出在缩略图像3202到3204正被显示在区域3001中的同时原稿3201与缩略图像交叠的情形。

图33B示出区域3001以外的区域3002到3004分别有空位。

如图33B中所示，无法将全部缩略图像3202到3204布置在区域3001中，但是能够将全部缩略图像3202到3204布置在区域3002到3004中。

因此，例如，通过将缩略图像3202到3204布置在区域3002中，能够显示全部缩略图像。

图33C示出全部缩略图像3202到3204被布置在区域3002中的情形。

另外，能够对这4个区域提供优先顺序，并且根据提供的优先顺序逐一搜索可以布置全部缩略图像的区域。如刚刚描述的，提供多个缩略图像显示区域，并且在包括原稿进入检测区域的位置并且缩略图像不彼此交叠的缩略图像显示区域中显示缩略图像。

图34A到图34D是例示缩略图像被重新布置的情形的图。

更具体地，图34A示出在区域3001中显示三个缩略图像3302到3304并且原稿3301与缩略图像3303和3304交叠的情形。

如该图中所示，在该状态下能够仅将一个缩略图像布置在区域3001中。

图34B示出区域3001以外的区域3002到3004分别有空位。

如该图中所示，区域3002和3003的各个具有可以布置一个缩略图像的区域。

在这种情况下，通过将缩略图像以跨区域的方式重新布置，能够将缩略图像布置为使得不与原稿3301交叠。

图34C和图34D的各个示出缩略图像3302到3304被重新布置的示例。

更具体地，图34C示出缩略图像3303被布置在区域3002中，缩略图像3304被布置在区域3003中，并且缩略图像3302被布置在区域3001中的示例。

图34D示出缩略图像3302被布置在区域3002中，缩略图像3303被布置在区域3003中，并且缩略图像3304被布置在区域3001中的示例。

这里，假设以区域3001、区域3002、区域3003以及区域3004的顺序设置优先顺序。

另外，图34A→图34C的改变对应于通过根据以上优先顺序逐一分配缩略图像获得的结果。

然而，在图34C中，存在缩略图像的顺序被打乱、由此用户难以辨别各个缩略图像的可能。

考虑到这种情形，在缩略图像如此次按行重新布置的情况下，如图34D中所示，能够按照从左起的顺序重新布置并显示缩略图像3302、3303和3304。

另外，为了使用户直观理解原稿缩略图像被偏移至的目的地，可以通过动画来显示偏移的过程。如刚刚所描述的，当显示多个缩略图像时，如果不存在可以显示全部多个缩略图像的一个缩略图像显示区域，则多个缩略图像跨多个缩略图像显示区域而被显示。

图35A到图35C是例示一次性显示多个缩略图像的情形的图。

更具体地，图35A示出在区域3001中显示三个缩略图像3402、3403以及3404并且原稿3401与缩略图像3402和3403交叠的情形。

如该图中所示，在该状态下能够仅将一个缩略图像布置在区域3001中。

图35B示出无法在区域3001以外的区域3002到3004中布置缩略图像。在该情况下，无法以如图34A到图34D中所示的方式跨区域布置缩略图像。

图35C示出缩略图像被归结到一起并被显示为缩略图像3405的情形。

如刚刚所描述的，如果仅可以布置一个缩略图像，则移动识别部412指示显示处理部408创建多个缩略图像被归结到一起的显示图像。

这里，正被显示的全部缩略图像(下文中也称为显示中缩略图像)被堆积到创建的显示图像中，并且显示图像的大小与一个缩略图像的大小基本相等。此时，移动识别部412将全部显示中缩略图像的SMN坐标的值改变为可以显示一个缩略图像的区域的坐标。即，全部缩略图像的SMN坐标的值变为相同值。这样，当显示多个缩略图像时，如果仅可以显示一个缩略图像，则通过将多个缩略图像归结到一起以具有与一个缩略图像的大小近似相等大小而获得的图像被显示。

图36A到图36D是例示缩略图像被缩小并显示的情形的图。

更具体地，图36A示出3个缩略图像3502到3504被显示在区域3001中并且原稿3501与缩略图像3502到3504交叠的情形。

图36B示出各个区域以及缩略图像。这里，通过从图36A中移除原稿3501来获得该图。

如上所述，甚至一个缩略图像都无法被显示在区域3001到3004的任意一者中。

图36C示出提供大小已分别被缩小的区域3508到3511，并且在区域3508中显示大小已分别被缩小的缩略图像3505到3507的情形。

图36D示出各个区域以及缩略图像。这里，该图通过从图36C中移除原稿3501而获得。

在图36A所示的状态下，如果移动识别部412进行缩小各区域的大小的处理，则状态改变至图36C中所示的状态。这里，基于RAM 303中存储的坐标来预定(预先确定)区域的大小的初始值。

通过缩小区域的大小，能够在缩略图像的大小符合缩小的大小的情况下显示缩略图像。然而，如果大小被过度缩小，则用户无法确认图像本身。因此，大小的下限被预定。如刚刚描述的，当显示缩略图像时，如果不存在能够显示缩略图像的缩略图像显示区域，则显示大小被缩小的缩略图像。另外，当缩小并显示缩略图像时，如果缩小的缩略图像的大小等于或小于预定大小，则缩略图像被隐藏。

图37A到图37E是例示当缩略图像被缩小时其大小被过度缩小的情形的图。

更具体地，图37A示出在区域3001中显示3个缩略图像3602到3604并且原稿3601与缩略图像3602到3604交叠的情形。

图37B示出因为这3个缩略图像3602到3604的大小在缩小处理中被过度缩小、所以这些图像被隐藏的情形。

图37C示出缩略图像3602到3604被隐藏的情形，图37D示出隐藏的缩略图像3602到3604。

图37E示出在图37D所示的状态下通过检测手3605来显示缩略图像3602到3604的情形。

如刚刚所描述的，如果大小等于或小于预定大小，则移动识别部412隐藏全部显示中缩略图像，并且将隐藏的缩略图像的SMN显示中信息改变为“假”。

图38和图39是表示图17的S625中的移动识别处理的过程的流程图。这里，应当注意，该图中所示的附图标记分别表示过程中相应处理的步骤编号。

在图38中，由于S1201到S1203以及S1224中的处理分别与图19的处理相同，因此其描述将被省略。另外，由于S2801到S2803中的处理分别与图29的S2301到S2303中的处理相同，因此其描述将被省略。

因此，首先将描述在S2803之后的S2804中的处理。移动识别部412将缩略图像显示区域的图像存储在RAM 303中。如第二实施例中的图18C一样，存储图像的方法与裁切并移走残留图像区域中的图像并存储相关图像的方法相同。

针对缩略图像的投影位置，仅必须检查缩略图像的图像属性信息。如果存在多个缩略图像，则针对全部缩略图像显示区域来存储图像。之后，处理结束。

如果在S1202中辨别出残留图像未在被显示(S1202中“否”)，则移动识别部412辨别物理对象是否与缩略图像交叠(S2806)。同样，如果在S1203中辨别出物理对象不存在于残留图像区域2101中(S1203中“否”)，则移动识别部412辨别物理对象是否与缩略图像交叠(S2806)。这里，物理对象是原稿。

可以以与图19的S1203中的处理相同的方式来进行这种辨别。即，能够通过将S2804中存储在RAM 303中的缩略图像区域的图像与当前缩略图像区域中的图像比较来进行辨别。此时，对S2804中存储的全部缩略图像区域进行辨别。

如果在S2806中辨别出物理对象不与缩略图像交叠(S2806中“否”)，则处理结束。

另一方面，如果在S2806中辨别出物理对象与缩略图像交叠(S2806中“是”)，则移动识别部412进行在区域内偏移原稿交叠的缩略图像的缩略图像偏移处理(S2807)，并且处理结束。另外，稍后将描述缩略图像偏移处理。

接着，将描述S2817中的处理。移动识别部412辨别读取的原稿(下文中也称为读取后原稿)是否被摆放在(或存在于)读取区域205中(S2817)。

如果在S2817中辨别出读取后原稿被摆放在读取区域205中(S2817中“是”)，则移动识别部412进行手势处理(S2818)，然后处理结束。

另一方面，如果在S2817中辨别出读取后原稿未被摆放在读取区域205中(S2817中“否”)，则处理进行到图39中所示的过程。然后，移动识别部412辨别是否存在通过缩略图像偏移处理隐藏的区域(参见图37D)(S2809)。

虽然存在缩略图像的SMN坐标的值，但是可以通过检查SMN显示中信息是否为“假”来进行这种辨别。

如果在S2809中辨别出存在隐藏区域(S2809中“是”)，则重新显示隐藏区域中的各缩略图像(S2810)，并且处理进行到S2811。此时，区域本身可以不被显示。这样，如果在缩略图像被隐藏后未在检测区域中检测到原稿，则显示隐藏的缩略图像。

通过上述处理，即使缩略图像一度被隐藏，也能够通过检测手来重新显示缩略图像。

另一方面，如果在S2809中辨别出不存在隐藏区域(S2809中“否”)，则移动识别部412辨别是否缩略图像已被缩小(参见图36C)(S2811)。

这里，可以通过计算缩略图像的当前大小，然后将计算出的大小与被确定为初始值的缩略图像的大小相比较来进行这种辨别。

如果在S2811中辨别出缩略图像已被缩小(S2811中“是”)，则移动识别部412将缩小区域的大小以及缩小的缩略图像的大小返回到各初始值、然后显示它们(S2812)，并且处理进行到S2813。这样，如果在缩小的缩略图像被显示后未在检测区域中检测到原稿，或者如果检测到手进入检测区域，则显示大小已被返回到等于缩小前的大小的初始值的缩略图像。

另一方面，如果在S2811中辨别出缩略图像未被缩小(S2811中“否”)，则移动识别部412辨别是否多个缩略图像已被归结到一起(参见图35C)(S2813)。

在这种情况下，仅必须辨别SMN坐标是否针对全部缩略图像相同。

如果在S2813中辨别出多个缩略图像已被归结到一起(S2813中“是”)，则移动识别部412将归结的缩略图像分离展开并显示它们(S2814)，并且处理进行到S2815。这样，如果在归结的图像被显示后检测到手进入检测区域，则归结的图像被展开，并且显示获得的分离的缩略图像。

另一方面，如果在S2813中辨别出多个缩略图像未被归结到一起(S2813中“否”)，则移动识别部412辨别是否跨多个区域显示缩略图像(参见图34C和图34D)(S2815)。这里，可以通过确认SMN坐标来进行这种辨别。

如果在S2815中辨别未跨多个区域显示缩略图像(S2815中“否”)，则处理进行到S2805。

另一方面，如果在S2815中辨别出跨多个区域显示缩略图像(S2815中“是”)，则移动识别部412将缩略图像集合到一个区域并进行显示(S2816)。如果无法在一个区域中显示缩略图像，则缩略图像分别被显示在多个区域中。接着，进行手势处理(S2805)，并且处理结束。

通过图39的以上处理，即使缩略图像被跨多个区域显示，集合或缩小，也能够将它们的各个以等于初始值的大小显示在原始位置。另外，用户能够仅靠将手通过读取区域205来重新显示缩略图像。

图40是表示图38的S2807中的缩略图像偏移处理的过程的流程图。这里，应当注意，该图中所示的附图标记分别表示过程中相应处理的步骤编号。

在图40中，移动识别部412辨别是否全部缩略图像可以被布置在图32A中所示的预定区域3001到3004中的一个区域中(参见图32B、图32C以及图33A到图33C)(S2901)。例如，因为能够将全部缩略图像(该情况下为一个缩略图像)布置在一个区域中，所以在图32B中给出辨别结果“是”。

如果在S2901中辨别出全部缩略图像可以被布置在一个区域中(S2901中“是”)，则移动识别部412将缩略图像布置在一个区域中(S2902)，并且处理结束。

例如，缩略图像3102如图32C中所示被偏移，并且缩略图像3202到3204如图33C中所示被偏移。

此时，移动识别部412指示显示处理部408偏移缩略图像。在该情形下，表示S2901中辨别的区域的可显示位置的信息也一起被传送到显示处理部。这里，作为表示可显示位置的信息，只要能够通过诸如表示区域中包括的矩形区域的坐标等的信息唯一确定区域，就可以使用该信息。

接收到该偏移指令的显示处理部408生成其中缩略图像被粘贴到示出的区域的可显示位置的显示图像，然后指示操作显示部403描绘生成的显示图像。

如果在S2901中辨别出全部缩略图像无法被布置在一个区域中(S2901中“否”)，则移动识别部412辨别是否全部缩略图像可以跨多个区域被布置(参见图34A到图34D)(S2903)。

如果在S2903中辨别出全部缩略图像可以被跨多个区域布置(S2903中“是”)，则移动识别部412将全部缩略图像跨多个区域布置(S2904)，并且处理结束。

更具体地，移动识别部412指示显示处理部408偏移缩略图像。在该情形下，表示在S2903中辨别的跨多个区域的可显示位置的信息一起被传送到显示处理部。接收到这种偏移指令的显示处理部408创建在缩略图像的偏移后的显示图像，然后显示创建的显示图像。

如果在S2903中辨别出全部缩略图像无法被跨多个区域布置(S2903中“否”)，则移动识别部412辨别是否一个缩略图像可以被布置在区域中(参见图35A到图35C)(S2905)。

另外，如果缩略图像的数量为1，则在S2901中给出辨别结果“是”。因此，很明显，如果过程到达S2905中的处理，则存在多个缩略图像。

如果在S2905中辨别出一个缩略图像可以被布置在区域中(S2905中“是”)，则移动识别部412指示显示处理部408创建多个缩略图像被归结到一起的显示图像，由此将多个缩略图像归结到一起(S2906)。

接着，显示处理部408布置全部缩略图像已被归结到一起的图像(S2907)，并且处理结束。这样，全部缩略图像被归结到一起并且偏移到一个位置，从而缩略图像不与原稿交叠。

如果在S2905中辨别出一个缩略图像无法被布置在区域中(S2905中“否”)，则移动识别部412缩小区域(即，区域的大小)(S2908)。

接着，移动识别部412遵照缩小的区域来缩小缩略图像(即，缩略图像的大小)。在该处理中，仅需与缩略图像的坐标相对应地调节SMN坐标即可。

接着，移动识别部412辨别缩略图像的大小是否等于或小于预定大小(S2910)。这里，预定大小对应于缩略图像可以被识别的下限大小。

如果在S2910中辨别出缩略图像的大小不等于或小于预定大小(S2910中“否”)，则处理返回到S2901。

另一方面，如果在S2910中辨别出缩略图像的大小等于或小于预定大小(S2910中“是”)，则缩略图像被隐藏(S2911)，并且处理结束。

接着，将详细描述在S2902中布置缩小的缩略图像的过程的流程。首先，在S2909中缩小缩略图像，处理从S2910返回到S2901。然后，如果在S2901中辨别出全部缩略图像可以被布置在缩小的区域3508中(参见图36D)，则在S2902中布置并显示缩小的缩略图像。

然后，如图37A到图37E中所示，如果原稿3601进一步与缩小的缩略图像3602到3604交叠并且由此区域3001被重复缩小，则在S2910中辨别出缩略图像的大小小于或等于预定大小。在这种情况下，如图37B中所示，隐藏缩略图像。

如上所述，在第八实施例中，如果新原稿被摆放为使得新原稿与预定区域中的缩略图像交叠，则能够偏移缩略图像。这样，能够避免由原稿与缩略图像的交叠引起的原稿的识别率的劣化。

第九实施例

在第八实施例中，如果原稿与缩略图像交叠则偏移缩略图像，由此能够避免缩略图像与原稿之间的交叠。在本实施例中，当重新显示被偏移或隐藏的缩略图像时，替代如第八实施例中的识别用户手的方法，而使用通过检测出镜来重新显示缩略图像的方法。

另外，由于第一实施例中描述的网络结构、外观、控制器构造以及软件结构分别与第九实施例中的相同，因此其描述将被省略。

图41是表示主要通过图4中例示的摄像处理部406以及定时检测部401进行的残留图像投影处理的过程的流程图。这里，应当注意，该图中所示的附图标记分别表示过程中相应处理的步骤编号。

图41所示的残留图像投影处理与图17所示的残留图像投影处理的不同点在于，在图17的S626与S612之间插入缩略图像处理(S627)，以及与移动识别处理的内容相关的点。

在图41的S625中的移动识别处理中，进行残留图像的偏移，缩略图像的偏移以及手势处理。另外，在S627中的缩略图像处理中，主要进行缩略图像的重新显示处理以应对在移动识别处理中隐藏缩略图像的情况。另外，将描述S625中的移动识别处理。

图42是表示图41的S625中的移动识别处理的过程的流程图。这里，应当注意，该图中所示的附图标记分别表示过程中相应处理的步骤编号。

这里，由于图42中例示的移动识别处理中的全部各个步骤被包括在图38中描述的移动识别处理中，因此其描述将被省略。另外，在图42所示的移动识别处理中，与图39所例示的移动识别处理不同，不包括显示缩略图像的处理。

图43是表示图41的S627中的缩略图像处理的过程的流程图。这里，应当注意，该图中所示的附图标记分别表示过程中相应处理的步骤编号。另外，应当注意缩略图像处理由定时检测部410进行。

在图43中，定时检测部410辨别是否检测到入镜(S1001)。如果在S1001中辨别出检测到入镜(S1001中“是”)，则处理结束。

另一方面，如果在S1001中辨别出未检测到入镜，即，如果检测到出镜(S1001中“否”)，则定时检测部410辨别检测到出镜的物理对象是否仅为手(S1002)。

如果在S1002中辨别出物理对象仅为手(S1002中“是”)，则处理结束。

另一方面，如果在S1002中辨别出物理对象不只是手，即物理对象除了手以外还包括原稿(S1002中“否”)，则处理进行到S3701。

另外，由于S3701到S3708中的处理分别与图39的S2809到S2816中的处理相同，因此其描述将被省略。

如上所述，在第九实施例中，由于在出镜的定时进行S3701到S3708中的处理，因此能够通过利用缩略图像的隐藏或原稿的出镜作为触发来进行缩略图像的重新显示处理，由此提高用户的可操作性。

第十实施例

在第八和第九实施例中，为了在保留残留图像并维持高识别精度的同时进行连续读取，当原稿与缩略图像交叠时缩略图像在预定区域中被偏移。在本实施例中，在将缩略图像保持为尽可能大的同时偏移缩略图像。

另外，由于在第一实施例中描述的网络结构、外观、控制器构造以及软件结构分别与第十实施例中的相同，因此将省略其描述。

在第十实施例中，进行第九实施例中描述的图41的S627中的缩略图像处理。这里，不仅能够在检测到出镜的情况下而且能够在如第八实施例中描述的识别出手的情况下进行图39的S2809到S2816的处理。

另外，由于第九实施例中描述的图42的S2807中的处理内容与在第十实施例中的不同，因此在下文中将首先描述该处理。首先，将描述在将缩略图像保持为尽可能大的同时偏移缩略图像的操作。

图44A到图44G是例示搜索可以布置缩略图像的区域的情形的图。

更具体地，图44A示出原稿3801与区域3001中的缩略图像3802交叠的情形。

在这种情况下，当在区域3001中偏移缩略图像时，如果缩略图像被偏移到该区域中的任意位置，则原稿3801与缩略图像交叠。因此，需要削减区域和缩略图像二者。

然而，如果限制“在区域中”被消除，则存在原稿3801与缩略图像3802可以被布置为使得它们彼此不交叠的可能。例如，如果缩略图像3802如稍后描述的被偏移到读取区域205的右下，则能够将缩略图像3802布置为使得不与原稿3801交叠。

图44B到图44F示出搜索可以布置缩略图像3802的区域的情形。另外，该区域在下文中将被称为可布置区域。

在图44B到图44F中，搜素区域3803的大小与缩略图像的大小相同，并且该区域被使用来预先确认缩略图像是否可以被布置在该区域的位置。

移动识别部412由当前帧的图像获得搜索区域3803，并且将获得的区域与HDD 305中存储的读取区域中的背景图像的相同区域的图像进行比较。

作为这种比较的结果，如果通过比较获得的差分等于或小于预定值，则考虑在该区域中摆放有东西，并且使该区域作为可布置区域。另一方面，如果获得的差分大于预定值，则不使该区域作为可布置区域。

如图44B→图44C→图44D→图44E的流程中所示，搜索区域3803以微像素数量为单位偏移，并且在整个读取区域205中搜索可布置区域。作为与可布置区域相关的信息，可以唯一识别可布置区域的诸如坐标信息的信息在每次进行搜索时被顺序更新，并且更新的信息被存储在RAM 303中。

这里，图44F中所示的搜索区域3804是被搜索并最终找到的可布置区域。

图44G示出缩略图像3802被布置在搜索区域3804的中心的情形。

图45是表示图42的S2807中的缩略图像偏移处理的过程的流程图。这里，应当注意，该图中所示的附图标记分别表示过程中相应处理的步骤编号。

在图45中，移动识别部412搜索如图44A到图44G中描述的可布置区域(S3901)。

接着，移动识别部412辨别是否全部缩略图像可以被布置在找到的一个可布置区域中(S3902)。换言之，辨别是否能够将全部缩略图像布置在找到的一个可布置区域中。在任意情况下，可以基于RAM 303中存储的可布置区域的坐标信息以及RAM 303中存储的SMN坐标、宽度、高度等，通过将可布置区域与缩略图像的总面积以及水平/垂直长度进行比较来执行这种辨别。

如果在S3902中辨别出全部缩略图像可以被布置在一个可布置区域中(S3902中“是”)，则移动识别部412将缩略图像偏移到一个可布置区域(S3903)，并且处理结束。

在S3903中，SMN坐标被重写，并且对显示处理部408给出用于偏移缩略图像的指令。然后，接收到偏移指令的显示处理部408生成显示图像，并且指示操作显示部403描绘生成的显示图像。

另一方面，如果在S3902中辨别出全部缩略图像无法被布置在一个可布置区域中(S3902中“否”)，则移动识别部412辨别是否全部缩略图像可以跨多个可布置区域被布置(S3904)。换言之，辨别是否能够将全部缩略图像跨多个可布置区域布置。

另外，如果无法找到多个可布置区域，则在S3904中给出辨别结果“否”。

如果在S3904中辨别出全部缩略图像可以跨多个可布置区域被布置(S3904中“是”)，则移动识别部412将全部缩略图像跨多个可布置区域布置(S3905)，并且处理结束。

另一方面，如果在S3904中辨别出全部缩略图像无法跨多个可布置区域被布置(S3904中“否”)，则移动识别部412辨别一个缩略图像是否可以被布置在可布置区域中(S3906)。

如果在S3906中辨别出一个缩略图像可以被布置在可布置区域中(S3906中“是”)，则移动识别部412指示显示处理部408创建多个缩略图像被归结到一起的显示图像，由此将多个缩略图像归结到一起(S3907)。

接着，显示处理部408布置全部缩略图像已被归结到一起的图像(S3908)，并且处理结束。

另一方面，如果在S3906中辨别出一个缩略图像无法被布置在区域中(S3906中“否”)，则移动识别部412缩小缩略图像(即，缩略图像的大小)(S3909)。在这种情况下，仅需调整缩略图像的坐标，即SMN坐标，即可。

接着，移动识别部412辨别缩略图像的大小是否等于或小于预定大小(S3910)。这里，预定大小对应于缩略图像可以被识别的下限大小。

如果在S3910中辨别出缩略图像的大小不等于或小于预定大小(S3910中“否”)，则处理返回到S3901。

另一方面，如果在S3910中辨别出缩略图像的大小等于或小于预定大小(S3910中“是”)，则缩略图像被隐藏(S3911)，并且处理结束。

在本实施例中，由于限制“在区域中”被消除，因此不提供对应于图40的S2908中的区域缩小处理的任意处理。

如上所述，在第十实施例中，不提供限制“在区域中”，并且能够在空区域中将缩略图像的大小尽可能保持大的同时偏移和布置缩略图像。

这样，能够以较大大小来查看缩略图像，由此提高缩略图像的可辨别性。

当偏移缩略图像时，能够通过动画显示偏移的过程以使用户直观理解该过程。

如上所述，根据本实施例中的照相机扫描器101，能够在通过利用原稿台上的搁置状态检测来实现原稿的连续读取的同时，在原稿台上显示和操作要用于确认的表示原稿的残留图像。此外，能够在不劣化原稿的识别率的情况下提高用户的可操作性。

另外，在本实施例中，如果检测到物理对象进入检测区域，则删除残留图像。由此，当通过照相机扫描进行原稿的连续读取时，能够在每次读取原稿时显示用于确认的显示图像，同时避免原稿的识别率由于残留图像与下一原稿之间的交叠而劣化。

另外，在本实施例中，辨别进入检测区域的物理对象是否是手。由此，使得用户能够通过手来直接操作显示图像。

根据上述实施例，作为表示原稿的图像的残留图像被显示在该原稿被摆放的位置(S622)，并且当检测到下一原稿进入检测区域时，删除残留图像(S1005)。这样，由于每次自动显示用于确认的残留图像并且在原稿进入的情况下自动删除残留图像，因此能够提高使用对原稿进行拍摄并且显示所拍摄的原稿的图像处理装置的用户的可操作性。

其他实施例

通过网络或各种存储介质向系统或装置提供用于实现以上实施例的功能的软件(程序)，并且利用系统或装置的计算机(CPU、MPU(微处理单元)等)读取并执行所提供的软件的程序代码，也实现本发明。在这种情况下，程序以及存储该程序的存储介质构成本发明。

另外，可以通过读出并执行记录在存储介质(还可以全称为“非临时性计算机可读存储介质”)上的用于执行一个或多个上述实施例的功能的计算机可执行指令(例如，一个或多个程序)和/或包括用于进行上述实施例的一个或多个的功能的一个或多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机来实现本发明的各实施例，以及通过系统或装置的计算机通过例如从存储介质读出并执行用于执行一个或多个上述实施例的功能的计算机可执行指令和/或控制一个或多个电路来进行一个或多个上述实施例的功能的方法来实现本发明的各实施例。计算机可以包括一个或多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括独立的计算机或独立的处理器的网络，以读出并执行计算机可执行指令。计算机可执行指令可以例如从网络或存储介质被提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)TM)、闪存设备、存储卡等中的一个或多个。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。

Claims (9)

1.一种图像处理装置，其配备有能够摆放原稿的板，该图像处理装置包括：

摄像单元，其被构造为对所述板上的摄像区域进行拍摄；

生成单元，其被构造为由通过利用所述摄像单元对摆放有所述原稿的所述摄像区域进行拍摄而获得的图像，生成表示所述原稿的图像的残留图像；

显示控制单元，其被构造为在所述原稿被摆放在所述板上的位置，显示通过所述生成单元生成的所述残留图像；以及

辨别单元，其被构造为辨别下一原稿到所述板上的用于检测所述原稿的检测区域的进入情形，

其中，所述显示控制单元基于由所述辨别单元辨别出的所述下一原稿到所述检测区域的进入情形，隐藏在摆放所述原稿的位置处显示的所述残留图像。

2.根据权利要求1所述的图像处理装置，其中，所述显示控制单元根据在通过所述辨别单元辨别出所述下一原稿进入所述检测区域之后经过了预定时间，隐藏所述残留图像。

3.根据权利要求1所述的图像处理装置，其中，所述显示控制单元通过随着进入所述检测区域的所述下一原稿与所述检测区域之间的交叠的百分比变大而使所述残留图像的浓度降低，来隐藏所述残留图像。

4.根据权利要求1所述的图像处理装置，其中，所述检测区域是所述摄像区域或者显示所述残留图像的残留图像区域。

5.根据权利要求1所述的图像处理装置，其中，所述显示控制单元通过将所述残留图像改变为通过从所述残留图像中消除以下部分而获得的图像，来隐藏所述残留图像，所述部分与进入显示所述残留图像的残留图像区域的所述下一原稿交叠。

6.根据权利要求1所述的图像处理装置，其中，在通过所述辨别单元辨别出在隐藏所述残留图像之后从所述检测区域移除所述下一原稿的情况下，所述显示控制单元重新显示所述残留图像。

7.根据权利要求1所述的图像处理装置，其中，

所述辨别单元能够辨别手以及阴影进入所述检测区域，并且

在通过所述辨别单元辨别出手或阴影进入所述检测区域的情况下，所述显示控制单元继续显示所述残留图像。

8.一种图像处理装置的控制方法，该图像处理装置配备有能够摆放原稿的板，该控制方法包括以下步骤：

对所述板上的摄像区域进行拍摄；

由通过对摆放有所述原稿的所述摄像区域进行拍摄而获得的图像，生成表示所述原稿的图像的残留图像；

在所述原稿被摆放在所述板上的位置，显示生成的所述残留图像；以及

辨别下一原稿到所述板上的用于检测所述原稿的检测区域的进入情形，

其中，基于辨别出的所述下一原稿到所述检测区域的进入情形，隐藏在摆放所述原稿的位置处显示的所述残留图像。

9.一种存储有计算机程序的计算机可读存储介质，所述计算机程序在被处理器执行时实现图像处理装置的控制方法，该图像处理装置配备有能够摆放原稿的板，该控制方法包括以下步骤：

对所述板上的摄像区域进行拍摄；

由通过对摆放有所述原稿的所述摄像区域进行拍摄而获得的图像，生成表示所述原稿的图像的残留图像；

在所述原稿被摆放在所述板上的位置，显示生成的所述残留图像；以及

辨别下一原稿到所述板上的用于检测所述原稿的检测区域的进入情形，

其中，基于辨别出的所述下一原稿到所述检测区域的进入情形，隐藏在摆放所述原稿的位置处显示的所述残留图像。