CN101753778B

CN101753778B - 图像处理设备和图像处理方法

Info

Publication number: CN101753778B
Application number: CN2009102612266A
Authority: CN
Inventors: 成濑丈智
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2008-12-17
Filing date: 2009-12-17
Publication date: 2012-06-27
Anticipated expiration: 2029-12-17
Also published as: CN101753778A; EP2200267A3; JP2010147723A; JP5183453B2; EP2200267A2; US20100149557A1

Abstract

本发明涉及一种图像处理设备和图像处理方法。当组合至少两个图像时，在组合图像之前校正要组合的图像之间的位移。因此，将要组合的图像显示在显示画面上以校正该位移。此外，可以放大图像以进行显示，从而更高精度地校正该位移。然而，如果放大的区域没有包括图像信息，则用户难以识别图像之间的位移并校正该位移。因此，检测图像中所包括的图像信息，并显示至少包括检测到的图像信息的区域。

Description

图像处理设备和图像处理方法

技术领域

本发明涉及一种用以组合多个图像的图像处理设备。

背景技术

已经提出了这样一种设备，该设备用于读取比原稿台的两倍还要大的单个原稿薄片上所示的数据，组合至少两个所读取的图像数据项，并且打印组合后的图像数据项。然而，在打印过程中，在所读取的图像数据项之间会发生位移。也就是说，由于用户至少两次将原稿放置在原稿台上以使该设备读取原稿数据，因而每次该设备读取原稿数据时，将原稿放置在原稿台上的方式都稍有改变。因此，如果照原样组合图像数据项，则在组合后的图像数据项上显示有分割后进行读取的图像数据项之间的位移。

因此，已经提出了用于校正分割后进行读取的图像数据项之间的位移的技术。例如，在日本特开平02-159678号公报中已公开了一种通过用户校正位移的技术。根据上述技术，在组合至少两个存储在图像存储器中的图像数据项时，将图像数据项显示在显示画面上，并且用户在查看显示画面的同时进行操作，以相对一个组合部分移动另一个组合部分并且组合图像数据项。

如果显示画面的大小不够大，则可能难以校正组合时发生的位移。例如，如果显示整个图像，则缩小比例下降，并且难以在视觉上识别出组合时发生的位移量。因此，由于因在将原稿置于原稿台上时发生的误差导致发生图像之间的位移，因而不应显示整个图像。即，代替整个图像，应该放大并显示组合边界附近所示的组合部分的图像。这里，日本特开平10-336424号公报公开了这样一种技术，该技术用于在显示单元上显示至少两个组合用图像，以使得用户在从视觉上检查图像的同时，通过例如放大并转动图像来校正在组合边界处发生的位移。上述技术可以允许通过用户所进行的操作来改变显示在显示单元上的数据的细节。然而，在这种情况下，不得不重复移动并放大显示位置的图像，以显示图像中期望的位置。用户进行复杂的操作来实现上述处理。

因此，在初次显示图像时，可能放大组合部分而进行显示。然而，由于在原稿之间字符和/或图形的大小不同，因而当设置了预定显示位置和/或预定显示倍率时，上述方法可能不适于用来校正位移。当仅显示图像的背景时，用户难以识别图像中发生的位移。因此，用户难以校正该位移。

发明内容

本发明提供一种用于对作为同一原稿图像的一部分的图像进行组合的图像处理设备。在将组合边界处的图像部分显示在显示画面上以校正要组合的图像之间的位移时，该图像处理设备可以在确定的显示倍率下并在确定的显示位置上显示数据，以使用户容易地校正位移。本发明还提供一种用以组合多个图像数据项的图像处理设备，该图像处理设备包括：检测单元，用于检测存储在存储器中的图像数据项中所包括的图像信息；指定单元，用于基于通过所述检测单元进行的检测的结果，指定包括存储在所述存储器中的各所述图像数据项的组合边界在内的区域；显示控制单元，用于在显示画面上显示各所述图像数据项的所指定的区域；以及确定单元，用于基于所述显示画面上所显示的图像数据的相对位置，确定所述图像数据项的相对位置，其中，所述指定单元指定至少包括通过所述检测单元检测到的所述图像信息的区域。

本发明还提供一种用以组合多个图像数据项的图像处理方法，该图像处理方法包括：检测存储在存储器中的图像数据项中所包括的图像信息；基于所述检测的结果，指定包括存储在所述存储器中的各所述图像数据项的组合边界在内的区域，并且指定至少包括检测到的所述图像信息的区域；在显示画面上显示各所述图像数据项的所指定的区域；以及基于所述显示画面上所显示的图像数据的相对位置，确定所述图像数据项的相对位置。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1示出根据本发明实施例的图像处理设备的外观图；

图2示出根据本发明实施例的图像处理设备的典型结构；

图3A是示出图像处理设备的ROM的典型内部结构的框图；

图3B是示出图像处理设备的ROM的另一典型内部结构的框图；

图4是示出图像处理设备的DRAM的典型内部结构的框图；

图5示出图像处理设备的操作单元的外部结构；

图6示出图像处理设备的读取单元的细节；

图7示出在将原稿分割成上部和下部以在两次读取中读取原稿数据时通过读取单元读取原稿的上部所示的数据所进行的操作；

图8示出在将原稿分割成上部和下部以在两次读取中读取原稿数据时通过读取单元读取原稿的下部所示的数据所进行的操作；

图9示出数据项被存储在上部图像区域和下部图像区域中的图像；

图10示出本实施例所进行的处理的整个流程；

图11是示出图10所示的步骤S102的细节的流程图；

图12示出用于显示在读取原稿的上部和下部的数据项并显示整个预览图像时所得到的图像的显示单元；

图13是示出图10所示的步骤S105的细节的流程图；

图14示出在图13所示的步骤S403进行显示的显示单元；

图15是示出在图像分析程序检测是否存在图像信息时所进行的步骤S402的细节的流程图；

图16是示出在图像分析程序检测字符数据时所进行的步骤S402的细节的流程图；

图17是示出在图像分析程序检测预定图像图案的数据时所进行的步骤S402的细节的流程图；

图18是示出在图像分析程序检测字符数据时并且尤其当在组合边界显示有图像信息时所进行的步骤S402的细节的流程图；

图19A是在进行与图15所示的步骤S504相对应的处理时所显示的典型图像；

图19B是在进行与图15所示的步骤S504相对应的处理时所显示的另一典型图像；

图19C是在进行与图15所示的步骤S504相对应的处理时所显示的另一典型图像；

图20A是在进行与图16所示的步骤S604相对应的处理时所显示的典型图像；

图20B是在进行与图16所示的步骤S604相对应的处理时所显示的另一典型图像；

图20C是在进行与图16所示的步骤S604相对应的处理时所显示的另一典型图像；

图21A是在进行与图17所示的步骤S704相对应的处理时所显示的典型图像；

图21B是在进行与图17所示的步骤S704相对应的处理时所显示的另一典型图像；

图21C是在进行与图17所示的步骤S704相对应的处理时所显示的另一典型图像；

图22A是在进行与图18所示的步骤S805相对应的处理时所显示的典型图像；

图22B是在进行与图18所示的步骤S805相对应的处理时所显示的另一典型图像；

图22C是在进行与图18所示的步骤S805相对应的处理时所显示的另一典型图像；

图23A是在进行与图18所示的步骤S807相对应的处理时所显示的典型图像；

图23B是在进行与图18所示的步骤S807相对应的处理时所显示的另一典型图像；

图23C是在进行与图18所示的步骤S807相对应的处理时所显示的另一典型图像；

图24是示出图13所示的步骤S404的细节的流程图；

图25示出在步骤S904所显示的典型图像调整菜单；

图26是示出图10所示的步骤S106的细节的流程图；

图27示出通过校正图像之间的位移所得到的图像。

具体实施方式

下面，将参考附图详细说明本发明的优选实施例。除非特别做出限制声明，否则上述实施例中记载的组件的相对位置和显示画面等并不是将本发明的范围限制于此。

下面将说明根据本发明实施例的图像处理设备。根据该图像处理设备，读取被放置在原稿台上的原稿上所示的数据，组合多个图像的数据项，并通过被设置为喷墨打印机的打印单元打印该多个图像的数据项。根据上述实施例，将原稿大小大于通过原稿台可读取的原稿大小的原稿的数据分割为至少两个数据项，并且在至少两次读取中进行读取。显示与分割后的数据项相对应的图像，即通过在至少两次读取中读取原稿数据所获得的图像，并且基于用户所进行的操作获得图像之间的位移量。

然后，在上述实施例中，在基于位移量校正了原稿数据的组合部分之间的位移时，在被设置为打印薄片的打印表单上打印原稿数据。更具体地，在A4大小的原稿台上进行读取时，将A3大小的原稿的数据分割成与包括上部图像和下部图像的两个部分相对应的数据项。然后，例如，获得上部图像和下部图像之间的位移量，并且打印通过校正上述位移且组合上部图像和下部图像所获得的图像的数据。原稿的大小没有限制，因此可以使用B4大小的原稿和/或不定形状的原稿。

图1示出上述实施例的图像处理设备的外观图。图1示出图像处理设备的主体10、设置原稿以读取原稿上所示的数据的原稿台11、用以在读取原稿数据时遮挡外部光的原稿盖12、被设置为插入打印表单的口的打印表单插入口13、以及被设置为排出打印后的打印表单的口的打印表单排出口14。

图2示出根据本发明实施例的图像处理设备的结构。图2示出用以控制整个设备的中央处理单元(CPU)100、用以存储程序和数据的只读存储器(ROM)101、以及被设置为图像存储器等包括临时存储区域的动态随机存取存储器(DRAM)102的存储单元。CPU 100使用DRAM 102作为工作存储器，并且基于存储在ROM 101中的程序进行控制。

图2还示出包括用户所操作的按键的操作单元103以及用于以颜色显示包括图形和消息等的数据的画面信息的显示单元104。在CPU 100的显示控制下，在显示单元104上显示图像数据。此外，CPU 100基于用户对操作单元103所进行的操作，进行移动控制，以使得可以在显示画面上移动显示单元104上所显示的图像数据。图2还示出用以读取原稿数据的读取单元105。当通过读取单元105读取原稿数据时，在CPU 100的存储控制下，将图像数据存储在DRAM 102中。打印单元106具有喷墨机构，从而当将图像数据发送至打印单元106时，在打印表单上打印图像数据。系统总线107用以使图像处理设备的各单元进行数据通信。

图3A和图3B均是示出ROM 101的内部结构的框图。图3A示出包括程序存储区域301和固定数据存储区域302的ROM 101的整体结构。将程序存储区域301分割为以下块，包括：读取单元控制程序303，用以控制读取单元105；打印单元控制程序304，用以控制打印单元106；图像分析程序305，后面将参考图3B对其细节进行说明；图像压缩展开转动程序306，用以进行图像压缩展开处理；显示单元确定程序307，用以确定显示单元104上所显示的图像数据的位置和/或倍率；以及各种其它程序308。固定数据存储区域302存储表单大小的数据等的固定数据。

图3B示出图像分析程序305的结构。显示单元确定程序307基于图像分析程序305所进行的分析的结果来进行确定，其中，图像分析程序305被分割成块，其中包括图像信息检测程序351，该图像信息检测程序351用以分析通过读取原稿的数据所获得的原稿图像数据并检测用以校正在原稿图像数据中发生的位移的图像信息。

在上述实施例中，术语“图像信息”表示被确定为不是背景图像数据的图像数据。图像信息可以是具有与白色和/或与白色相类似的颜色的像素值不同的像素值的像素。然而，由于背景图像本身的颜色可能不是白色，因而可以检测图像中所示的边缘的数据，并且可以将被确定为不同于背景图像的像素确定为图像信息。

那么，上述图像信息检测程序351包括下面三个程序。其中一个程序被配置成：当在通过读取原稿的数据所获得的原稿图像数据中指定了位置和/或范围时，检测该位置和/或范围中所示的图像信息。其中另一程序被设置成：当在原稿图像数据中指定了位置和/或范围时，检测该位置和/范围附近所示的图像信息。其中第三个程序被设置成：当检测到图像信息时，计算包括该图像信息的区域的大小。

字符检测程序352分析通过读取原稿的数据所获得的原稿图像数据，并判断原稿图像数据中所包括的图像信息是否是字符数据，从而可以检测字符数据。更具体地，上述字符检测程序352包括下面的四个程序。其中一个程序被设置成：如果该程序识别出原稿图像数据包括字符数据，则将该字符数据转换成字符代码。其中另一程序被设置成：当在原稿图像数据中指定了位置和/或范围时，检测包括在该位置和/或范围中的字符数据。其中第三个程序被设置成：当在原稿图像数据中指定了位置和/或范围时，检测该位置和/或范围附近所示的字符数据。其中第四个程序被设置成：当检测到字符的数据时，计算该字符的大小。

预定图案检测程序353分析原稿图像数据，并检测在原稿图像数据中是否包括预定图案数据。上述预定图案数据针对基于用途的实现可以包括具有圆形和正方形等的预定形状的图案的数据、利用线段包围的闭合空间的图案的数据等。预定图案检测程序353包括下面的程序。其中一个程序被设置成：当在原稿图像数据中指定了位置和/或范围时，检测包括在该位置和/或范围中的预定图案数据。其中另一程序被设置成：当在原稿图像数据中指定了位置和/或范围时，检测该位置和/或范围附近所示的预定图案数据。其中第三个程序被设置成：当检测到预定图案的数据时，计算该预定图案的大小。

用户设置信息检测程序354分析所读取的原稿数据，并且检测在所读取的原稿数据中是否包括用户设置信息。用户设置信息是用户在设备中设置的作为校正在图像数据的组合边界发生的位移所使用的符号的信息。例如，当用户希望基于作为符号所写的逐项编号来校正在图像数据的组合边界发生的位移时，登记编号(1)、(2)和(3)等的数据。上述用户设置信息检测程序354包括下面的程序。其中一个程序被设置成：当在原稿数据中指定了位置和/或范围时，基于登记的用户设置信息，检测该位置和/或范围中所示的用户设置信息。其中另一程序被设置成：当在原稿数据中指定了位置和/或范围时，检测该位置和/或范围附近所示的用户设置信息。其中第三个程序被设置成：当检测到用户设置信息时，计算该用户设置信息的大小。

图4是示出图像处理设备的DRAM 102的内部结构的框图。上部图像区域406是用以存储通过读取原稿的上部所示的数据并在联合图像专家组(Joint Photographic Experts Group，JPEG)系统下压缩该数据所获得的上部图像数据的区域。将通过读取单元105以预定单位读取的图像数据项临时存储在读取缓冲器402中。然后，图像压缩展开转动程序306在JPEG系统下压缩图像数据项，并且顺序将上述图像数据项存储在上部图像区域406中。下部图像区域405是用以存储通过读取原稿的下部所示的数据并在JPEG系统下压缩该数据所获得的下部图像数据的区域。存储下部图像数据的方法与对上部图像区域406所进行的方法相同。

上部显示数据解压缩缓冲器404用以存储为在显示单元104上显示图像数据而解压缩存储在上部图像区域406中的部分图像数据所获得的数据。下部显示数据解压缩缓冲器403用以存储为在显示单元104上显示图像数据而解压缩存储在下部图像区域405中的部分图像数据所获得的数据。打印缓冲器401用以临时存储在打印时为进行打印所转换的数据。图像分析缓冲器407被图像分析程序305临时用来分析图像数据。工作存储器408由其它程序使用。

图5示出图像处理设备的操作单元103的外部结构。显示单元104是点阵式液晶显示器(LCD)。具有在垂直和水平方向上输入数据的功能的十字按键501用来例如移动显示单元104上所示的光标。设置按键502用来输入设置数据。功能按键503用来例如设置功能。开始按键504用来例如执行包括开始打印在内的功能。如果在读取了多个图像的数据之后，当用户判断为存在要校正的位移时，用户按下位移校正按键505，则对该位移进行校正。

图6示出图像处理设备的读取单元105的细节。读取单元105包括原稿台11、用以在其上放置原稿的玻璃台601、用以读取原稿上所示的数据的读取传感器602、以及用以向用户指示原稿应该设置的位置的原稿位标器603。图6所示的读取传感器602当在图6中的箭头604所示的方向上移动时，读取原稿数据。

图7示出在将原稿分割成上部和下部以在两次读取中读取原稿数据时通过读取单元105读取原稿的上部所示的数据所进行的操作。在上述实施例中，原稿的大小为A3，并且原稿台11的大小为A4。要读取的原稿701的大小为A3。设置A3大小的原稿701，以使得A3大小的原稿701的上部读取面与玻璃台601相对。此时，使A3大小的原稿701的左上角与原稿位标器603重合。

当开始数据读取时，将读取行单位703的图像的数据作为读取数据存储在读取缓冲器402中。这里，读取行单位703表示一次存储在读取缓冲器402中的图像数据，并且读取带702表示读取行单位703的宽度。因此，随着读取传感器602的移动，将读取行单位703的数据项顺序存储在DRAM 102中。根据图7，通过读取传感器602读取A3大小的原稿701的上部所示的数据，从而将读取行单位703的数据项顺序累积在上部图像区域406上。

如图7的情况那样，图8示出在将原稿分割成上部和下部以在两次读取中读取原稿数据时通过读取单元105读取原稿的下部所示的数据所进行的操作。该读取操作与为读取上部所示的数据而进行的读取操作相同，并且将读取行单位703的数据项顺序累积在下部图像区域405上。

图9示出数据项通过图7和8所示的读取操作而读取并被存储在上部图像区域406和下部图像区域405中的图像。数据项901是存储在上部图像区域406中的上部图像数据项，并且数据项902是存储在下部图像区域405中的下部图像数据项。

接着，将参考图10说明上述实施例中进行的处理的整个流程。如图10所示，处理从步骤S101开始，并且进入步骤S102，在步骤S102，在JPEG系统下将原稿的上部所示的数据存储在上部图像区域406中。处理进入步骤S103，在步骤S103，将原稿的下部所示的数据存储在下部图像区域405中。处理进入步骤S104，在步骤S104，显示整个预览图像。处理进入步骤S105，在步骤S105，基于用户对操作单元103所进行的操作，计算校正该图像的上部和下部之间的位移所使用的校正值。处理进入步骤S106，在步骤S106，在基于在步骤S105计算出的校正值所确定的相对位置处，组合所存储的图像的上部和下部的图像数据项，并且进行打印。然后处理进入步骤S107，以完成上述处理流程。

接着，将参考图11说明步骤S102的细节。图11是示出图10所示的步骤S102的细节的流程图，其中，处理从S201开始，并且进入步骤S202，在步骤S202，读取传感器602读取A3大小的原稿701的上部所示的图像数据，并且将所读取的图像数据累积在读取缓冲器402中。处理进入步骤S203，在步骤S203，通过图像压缩展开转动程序306，在JPEG系统下对在步骤S202累积的所读取的图像数据进行压缩，并且将其存储在上部图像区域406中，并且处理进一步进入步骤S205。

图9所示的上部图像901是实际存储了其数据的JPEG图像。在步骤S205，释放读取缓冲器402，并且处理进入步骤S206，在步骤S206，判断是否全部读取了A3大小的原稿701的上部所示的数据。如果没有完成数据读取，则处理进入步骤S202，在步骤S202，读取下一读取行单位703的数据。如果完成了数据读取，则处理进入步骤S207，以完成上述处理流程。

在图10所示的步骤S103，读取A3大小的原稿701的下部所示的图像数据，其细节与图11所示的用以读取上部所示的图像数据所进行的处理流程的细节相同。然而，将所读取的图像数据存储在下部图像区域405中。

将参考图12说明在步骤S104所显示的整个预览图像。图12示出显示当读取原稿的上部和下部的数据项作为整个预览图像时所得到的图像的显示单元104。校正前图像1101是在校正与上部和下部相对应的图像之间的位移之前所显示的图像。组合边界显示候选1102是用以进行通过显示单元确定程序307所确定出的位移校正的显示候选。如果用户查看校正前图像1101，并且判断为可以不进行位移校正，则可跳过步骤S105，使处理进入步骤S106。如果用户判断为应该进行位移校正，则用户按下位移校正按键505，使处理进入步骤S105，在步骤S105，放大并显示组合边界显示候选1102中所示的区域。

图13是示出图10所示的步骤S105的细节的流程图，其中，处理从S401开始，并且进入步骤S402，在步骤S402，确定在校正位移时所显示的图像的显示位置和显示倍率。由于存在多种用于确定显示位置和显示倍率的方法，因而后面将举例说明其中一些方法。在步骤S402确定出所显示的图像的显示位置和显示倍率之后，处理进入步骤S403。在步骤S403，在确定出的显示倍率下显示在步骤S402所确定出的显示位置。

图14示出显示在图13所示的步骤S403所得到的图像的显示单元104。组合边界显示框1201是示出用于图像组合的上部和下部的区域，其中上部和下部被分离线1202分开。在以分离线1202分界的上部中显示组合部分上部图像1203，并且在以分离线1202分界的下部中显示组合部分下部图像1204。这里，在步骤S402确定显示该图像数据所指定的位置和/或倍率。返回到图13所示的流程图，在步骤S403显示图像数据，并且处理进入步骤S404，在步骤S404，例如，用户移动显示在图14所示的显示画面上的图像数据，以校正在组合边界发生的位移。此后，处理进入步骤S405，以完成上述处理流程。

如果图14所示的上述显示画面上所显示的上部和下部中的至少一个没有包括据以推断图像位移的图像信息，则用户难以判断在组合边界发生的位移的大小。另一方面，如果使用低的放大率，则即使所显示的图像数据包括图像信息的可能性高，也难以显示组合边界的细节。因此，用户难以察觉细微位移并精确地校正位移。因此，在步骤S402确定使用户容易地进行用以校正位移的操作的显示位置和/或显示倍率。

图15、图16、图17和图18均示出步骤S402的细节的变化。

图15是示出在图像分析程序305检测是否存在图像信息时所进行的步骤S402的细节的流程图。在图15中，处理从步骤S501开始，并且进入步骤S502，在步骤S502，通过图像信息检测程序351检测在进行位移校正的图像数据中所包括的图像信息。处理进入步骤S503，在步骤S503，判断在组合上部图像数据和下部图像数据的区域的附近是否检测到图像信息。如果在该组合边界的附近未检测到图像信息，则处理进入步骤S506。否则，处理进入步骤S504。在步骤S506，设置预定显示倍率和预定显示位置，并且处理进入步骤S505，以完成上述处理流程。在步骤S504，设置显示倍率和显示位置，以使得在上部图像数据和下部图像数据中均包括图像信息，并且处理进入步骤S505，以完成上述处理流程。

图19A、图19B和图19C均示出在进行与步骤S504相对应的处理时所显示的典型图像。图像1401是要读取的原稿的典型图像1。线1402表示组合边界。用户读取以组合边界1402分界的上部所示的数据，以读取原稿的上部所示的数据，并且读取以组合边界1402分界的下部所示的数据，以读取原稿的下部所示的数据。然后，组合从上部读取的数据和从下部读取的数据，并进行打印。此时，通过显示单元104显示组合边界1402以校正位移。组合边界显示框1404示出此时所设置的显示倍率和显示位置的候选。通过图像分析程序305确定组合边界显示框1404。

根据图19A、图19B和图19C各图，在上部图像数据和下部图像数据中均包括图像信息，以使得用户能够在查看上部图像数据和下部图像数据各自的同时校正位移。由于为了精确地校正位移应该显示组合边界的细节，因而如图19A、图19B和图19C的情况那样，应该一定程度地增大倍率。由于所显示图像1405的上部和下部均示出图像数据并且上部和下部均被放大，因而用户可以容易地校正位移。

这里，在组合边界处可能显示包括边缘的区域。在这种情况下，使所显示图像的边缘相互对齐，以使图像的位置相互对齐。因此，用户可以容易地校正位移。

图16是示出在图像分析程序305检测字符数据时所进行的步骤S402的细节的流程图。在图16中，处理从步骤S601开始，并且进入步骤S602，在步骤S602，图像分析程序305检测进行位移校正的图像数据中所示的字符数据。处理进入步骤S603，在步骤S603，判断从原稿的上部和下部的每一个是否检测到字符数据。后面将参考图18说明组合边界包括字符数据的例子。如果从原稿的上部和下部均未检测到字符数据，则处理进入步骤S606。否则，处理进入步骤S604。在步骤S606，设置预定显示倍率和预定显示位置，并且处理进入步骤S605，以完成上述处理流程。在步骤S604，设置显示倍率和显示位置，以使得在上部和下部中均包括字符数据，并且处理进入步骤S605，以完成上述处理流程。此外，在步骤S606，除上述预定显示倍率和显示位置以外，还可以显示参考图15所述的检测到图像信息的区域。

图20A、图20B和图20C均示出在进行与图16所示的步骤S604相对应的处理时所显示的典型图像。图像1501是要读取的原稿的典型图像2。线1502表示组合边界。用户读取以组合边界1502分界的上部所示的数据，以读取原稿的上部所示的数据，并且读取以组合边界1502分界的下部所示的数据，以读取原稿的下部所示的数据。然后，组合从上部读取的数据和从下部读取的数据，并且进行打印。此时，通过显示单元104显示组合边界1502以校正位移。组合边界显示框1504示出此时所设置的显示倍率和显示位置的候选。通过图像分析程序305确定组合边界显示框1504。

根据图20A、图20B和图20C各图，设置为在上部图像数据和下部图像数据中均包括字符数据，以使得用户能够在查看上部图像数据和下部图像数据各自的同时校正位移。由于实际显示的图像1505的上部和下部均包括字符数据并且上部和下部均被放大，因而用户可以容易地校正位移。当示出字符数据时，通常可以更清晰地在包括图像信息的像素和不包括图像信息的像素之间进行区分。此外，由于使用字符数据使得容易识别形状，因而与示出普通图像数据的情况相比，校正位移变得更为容易。

图17是示出在图像分析程序305检测预定图像图案的数据时所进行的步骤S402的细节的流程图。根据图17，使用闭合图形作为预定图像图案。该闭合图形表示圆和正方形等包括闭合线段的图形。在图17中，处理从步骤S701开始，并且进入步骤S702，在步骤S702，图像分析程序305检测进行位移校正的图像数据中所示的闭合图形的数据。处理进入步骤S703，在步骤S703，判断从原稿的上部和下部是否检测到闭合图形数据。

如果从原稿的上部和下部均未检测到闭合图形数据，则处理进入步骤S706。否则，处理进入步骤S704。在步骤S706，设置预定显示倍率和预定显示位置，并且处理进入步骤S705，以完成上述处理流程。在步骤S704，设置显示倍率和显示位置，以使得在上部和下部中均包括闭合图形数据，并且处理进入步骤S705，以完成上述处理流程。此外，在步骤S706，除上述预定显示倍率和显示位置以外，还可以显示参考图15所述的检测到图像信息的区域。

图21A、图21B和图21C均示出在进行与图17所示的步骤S704相对应的处理时所显示的典型图像。图像1601是要读取的原稿的典型图像3。线1602表示组合边界。用户读取以组合边界1602分界的上部所示的数据，以读取原稿的上部所示的数据，并且读取以组合边界1602分界的下部所示的数据，以读取原稿的下部所示的数据。然后，组合从上部读取的数据和从下部读取的数据，并且进行打印。此时，通过显示单元104显示组合边界1602以校正位移。组合边界显示框1604示出此时所设置的显示倍率和显示位置的候选。通过图像分析程序305确定组合边界显示框1604。

根据图21A、图21B和图21C各图，设置为在上部图像数据和下部图像数据中均示出闭合空间，以使得用户能够在查看上部图像数据和下部图像数据各自的同时校正位移。由于在上述实施例中，通过图像分析程序305显示并检测闭合空间等特征图形，因而与如图19所示的仅基于是否存在图像信息进行判断的情况相比，对于用户来说校正位移变得更为容易。此外，与过去预先在视觉上检查图像数据并识别特征图形相比，对于用户来说校正位移变得更为容易。

图18是示出在图像分析程序305检测字符数据时并且尤其当在组合边界示出图像信息时所进行的步骤S402的细节的流程图。在图18中，处理从步骤S801开始，并且进入步骤S802，在步骤S802，图像信息检测程序351检测进行位移校正的图像数据中所包括的图像信息，并且字符检测程序352检测进行位移校正的图像数据中所包括的字符数据。这里，可以对整个图像数据和/或通过图像信息检测程序351检测到的图像信息进行上述字符数据检测。

接着，处理进入步骤S803，以判断在组合边界是否检测到图像信息。如果检测到图像信息，则处理进入步骤S804。否则，处理进入步骤S808，在步骤S808，设置预定显示倍率和预定显示位置，并且处理进入步骤S809，以完成上述处理流程。在步骤S804，判断从组合边界处所示的图像信息是否检测到字符数据。如果检测到字符数据，则处理进入步骤S805。否则，处理进入步骤S806。在步骤S805，基于在组合边界处所示的字符数据的大小，设置显示倍率。此外，将显示位置的数据确定为组合边界的图像信息。在以上述方式确定了显示位置和显示倍率之后，处理进入步骤S809，以完成上述处理流程。

图22A、图22B和图22C均示出在进行与图18所示的步骤S805相对应的处理时所显示的典型图像。根据如图像1701所示的典型图像4，在组合边界1702示出字符串的数据。尽管将字符串数据分割成上部数据和下部数据，但是可以通过字符检测程序352识别字符的位置和大小。因此，可以确定显示倍率，以使得增大字符的大小，并且用户可以容易地读取字符。因此，可以使用作为人可识别的形状的字符并呈现适当的显示倍率，从而可以更容易地校正位移。

此外，当在步骤S804没有识别出字符数据时，在步骤S806检测组合边界附近所示的字符数据。然后，处理进入步骤S807，在步骤S807，基于在步骤S806检测到的字符数据的大小确定显示倍率。将显示位置确定为在组合边界处所示的图像信息的位置。在以上述方式确定了显示倍率和显示位置之后，处理进入步骤S809，以完成上述处理流程。

图23A、图23B和图23C均示出在进行与图18所示的步骤S807相对应的处理时所显示的典型图像。根据如图像1801所示的典型图像5，在组合边界1802示出字符串的数据。将字符串数据分割成上部数据和下部数据，并且通过图像信息检测程序351将其检测为图像信息。然而，不通过字符检测程序352将字符串数据检测为字符数据，这使得难以识别字符的大小。即，即使显示位置可能是组合边界1802的位置，也难以确定显示倍率。因此，基于在组合边界1802的附近示出的如“15:00～”所示的字符串的大小确定显示倍率。因此，即使将显示位置所示的图像信息分割成上部信息和下部信息，使得不将图像信息检测为字符数据并且难以识别字符的大小，也可以在适当的显示倍率下来显示数据。

当以上述方式在组合边界附近检测到字符数据时，在组合边界处所示的图像信息很可能也是字符数据，并且考虑到普通文本原稿，可能的字符数据的大小通常近似等于在组合边界附近检测到的字符数据的大小。因此，用户可以在适当的显示倍率下查看字符数据时校正位移。

接着，将参考图24的流程图详细说明图13所示的步骤S404。首先，根据图24，在显示单元104上显示图14所示的显示图像。在图24中，处理从步骤S901开始，并且进入步骤S902，在步骤S902，图像处理设备进入待机状态，以等待用户进行的操作。当用户按下十字按键501时，处理进入步骤S903，当用户按下功能按键503时，处理进入步骤S904，以及当用户按下设置按键502时，处理进入步骤S913。

在步骤S903，用户通过十字按键501校正图14所示的画面图像上发生的位移。例如，当用户按下十字按键501的右部时，将组合部分下部图像1204向右移动预定量。当用户按下十字按键501的上部时，将组合部分下部图像1204向上移动预定量。此时，组合部分上部图像1203一直是固定的，并且仅移动组合部分下部图像1204。在按下十字按键501时，重复进行与步骤S902和S903相对应的处理过程。

在步骤S904，显示图像调整菜单。图25示出在步骤S904所显示的典型图像调整菜单。当用户选择如“1.改变放大比例”所示的消息1301时，处理进入步骤S906。此外，当用户选择如“2.改变显示位置”所示的消息1302时，处理进入步骤S907。此外，当用户选择如“3.转动上部图像”所示的消息1303时，处理进入步骤S908。此外，当用户选择如“4.转动下部图像”所示的消息1304时，处理进入步骤S909。此外，当用户选择如“5.再次读取上部图像”所示的消息1305时，处理进入步骤S910。此外，当用户选择如“6.再次读取下部图像”所示的消息1306时，处理进入步骤S911。此外，当用户选择如“7.显示下一候选”所示的消息1307时，处理进入步骤S912。

在步骤S906，改变放大比例并且处理返回至步骤S902。在步骤S907，改变显示位置并且处理返回至步骤S902。在步骤S908，将上部图像数据转动180度并且处理返回至步骤S902。在步骤S909，将下部图像数据转动180度并且处理返回至步骤S902。在步骤S910，通过进行与步骤S102相同的处理流程再次读取上部图像数据，并且处理返回至步骤S902。在步骤S911，通过进行与步骤S103相同的处理流程再次读取下部图像数据，并且处理返回至步骤S902。在步骤S912，通过步骤S402的处理流程确定不同的候选图像显示位置，从而再次显示图像显示位置，并且处理返回至步骤S902。

执行步骤S912使得用户在不喜欢针对所显示的画面图像所指定的显示位置和显示倍率时能够显示下一候选，这增大了提供期望画面图像的可能性。在步骤S913，用户完成位移校正，并且处理进入步骤S914，以完成上述处理流程。执行图13所示的处理流程使得用户能够在期望的画面图像上校正位移。

图26是示出图10所示的步骤S106的细节的流程图。该处理从步骤S1001开始，并且进入步骤S1002。在步骤S1002，从累积在上部图像区域406上的图像数据解压缩图像数据，其中，解压缩后的图像数据的量适合于打印缓冲器401的大小，并且处理进入步骤S1003，在步骤S1003，通过打印单元控制程序304打印被解压缩进打印缓冲器401中的数据。然后，处理进入步骤S1004，在步骤S1004，从打印缓冲器401删除完成了打印的数据，并且处理进入步骤S1005，在步骤S1005，判断是否已经打印了累积在上部图像区域406上的全部图像数据。如果没有打印全部图像数据，则处理进入步骤S1003，在步骤S1003，打印下一图像数据。否则，处理进入步骤S1006，在步骤S1006，基于在步骤S105计算出的校正值，确定进行打印时下部图像数据的位移量，并且进入步骤S1007。

在步骤S1007，从累积在下部图像区域405上的图像数据解压缩图像数据，其中，解压缩后的图像数据的量适合于打印缓冲器401的大小，并且处理进入步骤S1008，在步骤S1008，基于在步骤S1006确定出的打印位置，从下部图像区域405读取下部图像的数据。图27示出通过校正图像之间的位移所得到的图像。例如，当从设置在图27的左侧的像素开始读取数据时，基于确定出的打印位置，在比通常要晚些的时刻读取该数据。

在步骤S1008，通过打印单元控制程序304打印被解压缩进打印缓冲器中的数据，并且处理进入步骤S1009，在步骤S1009，从打印缓冲器401删除完成了打印的数据。处理进入步骤S1010，在步骤S1010，判断是否已经打印了累积在下部图像区域405上的全部图像数据。如果没有完成该打印，则处理进入步骤S1008，在步骤S1008，打印下一图像数据。如果完成了该打印，则处理进入步骤S1011以完成上述处理流程。

通过进行上述处理，将图像信息包括在显示画面上所显示的组合边界处所示的图像数据中。因此，可以显示数据，从而用户可以容易地校正图像之间的位移。此外，当示出字符数据时，进行处理以识别并显示字符数据，这使得用户校正位移比过去更为容易。此外，即使字符数据在读取时在图像之间被分割并且难以识别，也可以基于组合边界附近所示的字符数据来确定显示倍率，这使得可以显示适合于校正位移的数据。

这里，在上述实施例中，将全部图像数据分割成图像数据项进行读取，并且将其存储在存储器(DRAM)中，并且提取并显示在组合图像数据项的区域附近示出的组合边界处所示的图像数据。然而，不局限于上述实施例，除组合用图像数据项以外，还可以将组合边界处所示的图像数据存储在存储器中，作为用于校正位移的数据，并且可以根据基于组合边界处所示的图像数据而进行的校正的结果，组合图像数据项，这也是本发明的实施例之一。在这种情况下，可以将存储在存储器中的组合边界处所示的图像数据缩小成包括图像信息的区域上所示的数据。因此，与通常相比，可以更大程度地放大图像数据以进行显示。

根据上述各实施例的图像处理设备包括用以读取原稿数据的读取单元、用于显示图像数据的显示单元和用以打印图像数据的打印单元。然而，不局限于上述实施例，可以将通过读取单元分割并读取的图像数据发送至显示单元进行显示，这也是本发明的实施例之一。根据本发明的其它实施例，图像处理设备可以捕获并组合图像数据项。即，图像处理设备可以是能够进行所谓的全景拍摄的数字照相机。

此外，如台式个人计算机(PC)的情况那样，图像处理设备可以不包括读取单元、显示单元和打印单元。在这种情况下，通过与读取设备连接的输入单元发送被分割并读取的图像数据，并且使该图像数据经过在上述实施例中所述的处理，以通过外部显示设备来显示组合边界。此外，可以控制外部打印设备，以使得在确定出校正位移的打印位置时，在该打印位置处打印组合后的数据项。

其它实施例

还可以通过读出并执行记录在存储器装置上的用以执行上述实施例的功能的程序的系统或设备(或者CPU或MPU等装置)的计算机或者通过下面的方法来实现本发明的各方面，其中，例如，通过系统或设备的计算机读出并执行记录在存储器装置上的用以执行上述实施例的功能的程序，执行该方法的各步骤。为此，例如通过网络或者通过用作存储器装置的各种记录介质(例如，计算机可读介质)向计算机提供该程序。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims

1.一种图像处理设备，用于组合多个图像，所述图像处理设备包括：

检测单元，用于检测存储在存储器中的各所述图像中所包括的被确定为不是各所述图像的背景的图像信息；

指定单元，用于基于通过所述检测单元进行的检测的结果，指定包括存储在所述存储器中的各所述图像的组合边界在内的区域；

显示控制单元，用于在显示画面上显示各所述图像的所指定的区域；以及

确定单元，用于基于所述显示画面上所显示的所述图像的多个区域的相对位置，根据用户指令确定所述图像的相对位置，

其中，所述指定单元指定至少包括通过所述检测单元检测到的所述图像信息的区域。

2.根据权利要求1所述的图像处理设备，其特征在于，所述检测单元基于存储在所述存储器中的各所述图像的边缘，检测所述图像信息。

3.根据权利要求1所述的图像处理设备，其特征在于，所述指定单元指定包括存储在所述存储器中的各所述图像的边缘在内的区域为包括所述组合边界的区域。

4.根据权利要求1所述的图像处理设备，其特征在于，所述检测单元从存储在所述存储器中的所述图像检测字符，以及

所述指定单元指定与检测到的所述字符的大小和位置中的至少一个相对应的区域。

5.根据权利要求4所述的图像处理设备，其特征在于，所述指定单元确定检测到的所述字符在各所述图像中的位置，并根据所确定的位置指定包括检测到的所述字符的区域。

6.根据权利要求4所述的图像处理设备，其特征在于，当所述检测单元从所存储的所述图像的组合边界检测到所述图像信息并且在所述图像的组合边界附近检测到字符时，所述指定单元指定包括所述图像信息的区域，其中，该区域的大小基于检测到的所述字符的大小来确定。

7.根据权利要求1所述的图像处理设备，其特征在于，所述显示控制单元显示所述图像中所示的通过所述指定单元指定的区域，并且基于用户发出的指令放大并显示该区域。

8.根据权利要求1所述的图像处理设备，其特征在于，还包括：

移动控制单元，用于基于用户发出的指令，在所述显示画面上移动通过所述显示控制单元显示的所述图像的至少一个，

其中，在通过所述移动控制单元移动所述图像的至少一个之后，所述确定单元基于显示在所述显示画面上的所述图像的多个区域的相对位置，确定存储在所述存储器中的所述图像的相对位置。

9.根据权利要求1所述的图像处理设备，其特征在于，还包括输出单元，所述输出单元用于基于确定出的相对位置，输出存储在所述存储器中的所述图像。

10.根据权利要求9所述的图像处理设备，其特征在于，所述输出单元向打印装置输出所述图像的图像数据，并且使所述打印装置打印该图像数据，其中，该图像数据包括所存储的基于确定出的相对位置而组合的图像。

11.根据权利要求9所述的图像处理设备，其特征在于，所述输出单元向显示装置输出所述图像的图像数据，并且使所述显示装置显示该图像数据，其中，该图像数据包括所存储的基于确定出的相对位置而组合的图像。

12.一种图像处理方法，用于组合多个图像，所述图像处理方法包括：

检测存储在存储器中的各所述图像中所包括的被确定为不是各所述图像的背景的图像信息；

基于所述检测的结果，指定包括存储在所述存储器中的各所述图像的组合边界在内的区域，并且指定至少包括检测到的所述图像信息的区域；

在显示画面上显示各所述图像的所指定的区域；以及

基于所述显示画面上所显示的所述图像的多个区域的相对位置，根据用户指令确定所述图像的相对位置。