CN101237514B - 图像处理装置及方法、图像读取和形成装置 - Google Patents

Abstract

本发明提供一种图像处理装置及方法、图像读取和形成装置以及记录媒体。文本核对处理部包括：特征点计算部，从输入的原稿图像中提取多个连接区域，通过计算连接区域的重心来求出特征点；特征量计算部，根据所计算的特征点之间的距离，计算原稿图像的特征量；以及投票处理部，基于所计算的特征量，对类似的图像进行投票，使用该文本核对处理部的功能，从两个图像的各个图像中提取特征点，并进行所提取的特征点的相关联，进行图像合成。

Description

图像处理装置及方法、图像读取和形成装置

技术领域

本发明涉及将两个图像合成的图像处理方法、图像处理装置、图像读取装置、图像形成装置。

背景技术

过去，在复印机等的图像形成装置中，存在这样的情况：通过部分地重复接合多个输入图像，从而生成一个图像，针对已生成的图像，进行图像形成。由此，作为适用于在记录媒体上复印原稿的图像的复印机的图像处理装置，在对大于作为可由图像读取部所读取的最大尺寸的扫描仪尺寸的原稿的图像进行复印的情况下，针对将原稿的图像部分地重复分割的多个部分图像的每个部分图像，进行多次的读取处理之后，将读取的多个部分图像接合而复原成原来的原稿的图像，对应于记录媒体的尺寸来输出已复原的原稿的图像。

在JP特开平4-314263号文献中公开的图像处理装置中，针对多个输入图像的每个输入图像进行二值化处理，和在二值化图像中的边缘部分的提取处理，对于二值化处理和边缘提取处理之后的各输入图像进行图案匹配方法的比较，并将两个输入图像接合，使得边缘部分的特征一致的部分重复。

但是，在JP特开平4-314263号文献中公开的结构中，将二值化处理和边缘提取处理之后的图像作为各输入图像的特征数据，进行图案匹配法的比较，但由于在此情况下，隐蔽地限定了多次分开读取的原稿不进行旋转，所以存在对实际的两个图像进行图案匹配的情况下，无法正确地检测其一致点的问题。

发明内容

本申请是鉴于所述情况而提出的，其目的在于，提供一种图像处理方法、图像处理装置、图像读取装置、图像形成装置，从两个图像的各个图像中，提取连接了像素的多个连接区域；确定出已提取的特征点是从接近各图像的哪条边的区域中提取的；选择距离所确定的边位于规定范围内的特征点；根据已选择的各连接区域中包括的特征点，分别计算表示各图像的特征的特征量；通过比较已计算的特征量，进行特征点之间的相关联；使用相关联的特征点的位置的信息，计算表示两个图像的坐标变换的变换矩阵；通过使用已计算的变换矩阵来变换一个图像，进行图像合成，通过以上结构，即使在已输入的两个图像相互倾斜的情况下，也能够正确地进行特征点的相关联，可以高精度地进行图像合成。

另外，本申请的另一目的在于，提供一种图像处理装置，在计算变换矩阵时，选择使用的特征点，从而可提高变换矩阵的精度(图像合成的精度)。

此外，本发明的另一目的在于，提供一种图像处理装置，将所合成的图像数据与特征量、表示原稿的索引、以及用于表示为合成图像的标记信息相关联地预先存储，即使在再次进行图像的合成动作的情况下，也能够使用原来的原稿，提取合成图像数据。

本申请的图像处理方法是，读取具有应相互重合的区域的两个图像，将读取的两个图像在所述区域进行合成的图像处理方法，其特征在于，从所述两个图像的各个图像中，提取连接了像素的多个连接区域；提取已提取的各连接区域中包括的特征点；确定出已提取的特征点是从接近各图像的哪条边的区域中提取的；选择距离所确定的边位于规定范围内的特征点；根据已选择的特征点，分别计算表示各图像的特征的特征量；通过比较已计算的各图像的特征量，进行从各连接区域选择的特征点之间的相关联；使用相关联的特征点的位置的信息，计算将一个图像的坐标系写为另一图像的坐标系的变换矩阵；以及通过使用已计算的变换矩阵来变换所述一个图像，合成所述两个图像。

本申请的图像处理装置是，读取具有应相互重合的区域的两个图像，将所读取的两个图像在所述区域中进行合成，该装置包括：连接区域提取部，其从所述两个图像的各个图像中，提取连接了像素的多个连接区域；特征点提取部，其提取已提取的各连接区域中包括的特征点；确定部，其确定出已提取的特征点是从接近各图像的哪条边的区域中提取的；选择部，其选择距离所确定的边位于规定范围内的特征点；特征量计算部，其基于已选择的特征点，分别计算表示各图像的特征的特征量；以及图像合成处理部，该图像合成处理部能够进行以下操作：通过比较在所述特征量计算部所计算的各图像的特征量，进行从各连接区域中选择的特征点之间的相关联；使用相关联的特征点的位置的信息，计算将一个图像的坐标系写为另一图像的坐标系的变换矩阵；以及通过使用已计算的变换矩阵来变换所述一个图像，合成所述两个图像。

本申请的图像处理装置的特征在于，所述特征点提取部从提取的特征点中除去在计算变换矩阵时成为阻碍因素的特征点。

本申请的图像处理装置的特征在于，其还包括控制部，将已合成的图像数据与从合成源的图像数据所提取的特征量、用于识别合成源的图像数据的各个数据的第1识别信息、以及用于表示为合成的图像数据的第2识别信息相关联地存储在存储部中。

本申请的图像处理装置的特征在于，其还包括图像核对部，将读取的图像与存储图像进行核对，所述图像核对部包括所述连接区域提取部、所述特征点提取部以及所述特征量计算部，将计算的特征量和预先存储的存储图像的特征量进行比较，并对一致的特征量的存储图像进行投票。

本申请的图像处理装置的特征在于，所述特征点提取部计算通过所述连接区域提取部所提取的连接区域的重心，并将已计算的重心作为所述连接区域的特征点。

本申请的图像处理装置的特征在于，所述特征量为对于包括所述各个图像的旋转、平行移动、扩大缩小的几何学的变化而不变的参数。

本申请的图像处理装置的特征在于，所述特征量计算部使用从一个图像中提取的特征点之间的距离，通过公式化的散列函数来计算散列值，并将计算的散列值作为所述一个图像的特征量。

本申请的图像处理装置的特征在于，对各个图像，预先设定应合成的区域。

本申请的图像读取装置的特征在于，其包括放置原稿的原稿台；图像读取部，其从放置于该原稿台上的原稿中读取图像；以及技术方案2所述的图像处理装置，在所述图像处理装置中合成通过所述图像读取部所读取的两个图像。

本申请的图像读取装置的特征在于，对所述原稿台，预先设定应合成的区域。

本申请的图像形成装置的特征在于，其包括技术方案2所述的图像处理装置；以及图像形成部，在用纸上形成通过该图像处理装置将两个图像合成而获得的图像。

本申请的图像形成装置的特征在于，其包括放置原稿的原稿台；以及图像读取部，其从放置于该原稿台上的原稿中读取图像；其中，对所述原稿台，预先设定应合成的区域。

本申请的存储媒体的特征在于，该存储媒体上存储有使计算机执行以下步骤的计算机程序：从具有应相互重合的区域的两个图像的各个图像中，提取连接了像素的多个连接区域；提取已提取的各连接区域中包括的特征点；基于已提取的特征点，分别计算表示各图像的特征的特征量；通过比较已计算的各图像的特征量，进行从各连接区域提取的特征点之间的相关联；使用相关联的特征点的位置的信息，计算将一个图像的坐标系写为另一图像的坐标系的变换矩阵；以及通过使用已计算的变换矩阵来变换所述一个图像，合成所述两个图像。

在本申请中，使用从两个图像的每个图像中提取的特征点，分别计算各图像的特征量，比较已计算的特征量来进行特征点之间的相关联，使用相关联的特征点的坐标，求出表示坐标变换的变换矩阵。在以往的图像合成中，使用了采用各种特征点的图案匹配，但在本申请中，由于使用对于包括图像的旋转、平行移动、放大缩小的几何学的变化而不变化的特征量，进行特征点的相关联，所以即使在两个图像产生倾斜等的情况下，也能够正确地将特征点相关联，可以高精度地合成两个图像。

在本申请中，由于使用所选择的特征点来进行图像合成，所以可提高图像合成的精度。

在本申请中，由于可基于在存储部件中相互关联地存储的信息，读出合成的图像数据，所以即使不再进行图像的合成动作，也能够使用原始的原稿来提取合成图像数据。

在本申请中，图像核对部包括连接区域提取部、特征点提取部以及特征量计算部，进行将已计算的特征量和预先存储的存储图像的特征量进行比较，对一致的特征量的存储图像进行投票的处理。因此，通过利用图像核对部的一部分的功能，进行从两个图像中提取的特征点之间的相关联，可使用相关联的特征点的位置信息，进行图像合成。另外，由于使用图像核对部的一部分功能，所以可以使为进行图像合成所附加的电路结构为必要的最小限度。

在本申请中，计算已提取的连接区域的重心，将已计算的重心作为特征点。因此，可针对任意的图像提取特征点，可高速且高精度地计算特征量。

在本申请中，由于计算对于包括图像的旋转、平行移动、放大缩小的几何学的变化而不变的参数作为特征量，所以即使在合成对象的图像被上下反转而扫描的情况下，也能够使图像合成的精度保持为一定程度以上。

在本申请中，由于使用特征点之间的距离，通过公式化的散列函数来计算散列值，所以能够计算出对应于特征点的几何学配置的不变量。

在本申请中，由于预先设定应合成的区域，所以能够缩短处理时间。

在本申请中，可对通过扫描仪、数字复合机等所读取的图像，进行图像合成。

在本申请中，由于将应合成的区域对于原稿台预先设定，所以能够容易地确定原稿的放置位置。

本申请可应用于打印机、数字复合机等，并且将通过合成而获得的图像在片材上形成。

结合附图，根据下面的具体的描述，显然会更加全面地得知本发明的所述和其它的目的和特征。

附图说明

图1为说明具有本实施方式的图像处理装置的图像处理系统的内部结构的方框图；

图2为表示文本核对处理部的内部结构的方框图；

图3为表示特征点计算部的结构的方框图；

图4A和图4B为表示特征点的提取例子的示意图；

图5为表示特征量计算部的结构的方框图；

图6为说明关注特征点和周边特征点的说明图；

图7A～图7C为说明关注特征点P3的不变量的计算例子的说明图；

图8A～图8C为说明将关注特征点设为特征点P4的情况下的不变量的计算例子的说明图；

图9A～图9D为说明将关注特征点设为P3的情况下的不变量的其它计算例子的说明图；

图10A～图10D为说明将关注特征点设为P4的情况下的不变量的其它计算例子的说明图；

图11A和图11B为表示散列表的一个例子的概念图；

图12为表示投票结果的一个例子的曲线图；

图13为说明从两个图像中提取的特征点的关联的说明图；

图14为说明实施方式1的图像处理系统的图像合成的处理步骤的流程图；

图15A和图15B为说明原稿的读取步骤的说明图；

图16A和图16B为表示特征量(散列值)和特征点的索引的对应关系的图；

图17A和图17B为表示特征点的索引和坐标之间的对应关系的图；

图18为表示重合的区域的设定例子的示意图；

图19为表示从进行相关联的两个图像的每个图像中提取的特征点的一个例子的示意图；

图20A和图20B为说明生成的直方图的说明图；

图21为说明具有本实施方式的图像处理装置的图像处理系统的内部结构的方框图；

图22为表示图像合成处理部的内部结构的方框图；

图23为说明实施方式2的图像处理系统的图像合成的处理步骤的流程图；

图24为实施方式2的图像处理系统的图像合成的处理步骤的流程图；

图25A和图25B为表示读取到图像处理装置的图像的一个例子的示意图；

图26A和图26B为表示被设定了检索图像区域和参照图像区域的情况的示意图；

图27为说明安装了本实施方式的计算机程序的图像处理装置的内部结构的方框图；

图28为表示本实施方式的网络系统的整体结构的示意图；

图29为表示MFP和服务器的内部结构的方框图；

图30为表示操作面板的一个例子的示意图；以及

图31为表示在从操作面板中选择了图像合成模式的情况下所显示的画面的一个例子的示意图。

具体实施方式

下面通过附图，对本申请的实施方式进行具体说明。

实施方式1

图1为说明具有本实施方式的图像处理装置的图像处理系统的内部结构的方框图。实施方式1的图像处理系统包括操作面板1、图像输入装置3、图像处理装置5A、图像输出装置7。

操作面板1由液晶显示装置、各种开关等构成，显示应报告给用户的信息，接受用户的各种选择操作等。

图像输入装置3为以光学方式读取原稿的图像的读取部件，其包括对用于读取的原稿照射光的光源，CCD(Charge Coupled Device)这样的图像传感器等。在图像输入装置3中，来自设置在规定的读取位置的原稿的反射光像在该图像传感器中成像，输出RGB(R：Red，G：Green，B：Blue)的模拟电信号。图像输入装置3输出的模拟电信号输入到图像处理装置5A。

图像处理装置5A将从图像输入装置3输出的模拟电信号变换为数字电信号之后，进行适当的图像处理，将获得的图像数据输出到图像输出装置7。另外，关于图像处理装置5A的内部结构、动作等，将在后面进行详述。

图像输出装置7为根据图像处理装置5A输出的图像信号，在用纸、OHP胶片等的片材上进行图像形成的部件。由此，图像输出装置7包括使感光体鼓带电至规定的电位的带电器；对应于从外部接受的图像数据来发出激光，在感光体鼓上形成静电潜像的激光写入装置；将调色剂供给在感光体表面上所形成的静电潜像而进行显影的显影器；将形成于感光体鼓表面上的调色剂像转印于用纸上的转印器等(未图示)，以电子照片方式在用纸上形成使用者所希望的图像。另外，也可以是这样的结构：除了通过使用激光写入装置的电子照片方式进行图像形成之外，还可以通过喷墨方式、热转印方式、升华方式等进行图像形成。

下面，说明图像处理装置5A的内部结构。AD变换部51将从图像输入装置3输入的RGB的模拟信号变换为数字信号。斑点(shading)校正部52对从AD变换部51输出的数字方式的RGB信号，进行去除在图像输入装置3的照明系统、成像系统、拍摄系统中产生的各种失真的处理。经过斑点校正后的RGB信号输出到文本核对处理部53。

文本核对处理部53进行通过图像输入装置3读取的图像是否与预先存储的存储图像(在下面称为注册格式)类似的判定，在判定为类似的情况下，判断输入图像是否为对注册格式进行写入的图像。在判断为对注册格式进行写入的图像的情况下，提取与写入相对应的区域，并将所提取的区域的图像与注册格式相关联地存储。

图像合成处理部54在对通过图像输入装置3所读取的两个图像进行合成时，使用文本核对处理部53的功能的一部分，提取两个图像共同的特征点，进行所提取的特征点之间的相关联，求出将一个图像的坐标系写为另一个图像的坐标系的变换矩阵，使用求出的变换矩阵来变换一个图像，进行图像合成。

输入色调校正部55进行衬底浓度的去除和对比度等的图像质量调整处理。区域分离处理部56进行根据RGB信号，将输入图像中的各像素分离为字符区域、网点区域、照片区域中的某个区域的处理。区域分离处理部56根据分离结果，将表示像素属于哪个区域的区域识别信号输出到后级的黑板生成底色去除部58、空间滤波处理部59、色调再现处理部62，同时将输入的RGB信号原样输出到后级的色校正部57。

为了实现色再现的真实，色校正部57根据包括不需要的吸收分量的CMY色材料的分光特性色浑浊的除去处理。将经过颜色校正的RGB信号输出给后级的黑板生成底色去除部58。黑板生成底色去除部58进行从颜色校正后的CMY的3色信号生成黑色(K)信号的黑板生成，进行从原来的CMY信号中扣除通过黑板生成而获得的K信号后的新的CMY信号的处理。通过该处理，CMY的3色信号变换为CMYK的4色信号。

作为黑板生成处理的一个例子，有进行架构式的黑板(skeleton black)的黑板生成的方法。在该方法中，假设架构曲线的输入输出特性为y＝f(x)，输入的数据为C，M，Y，输出的数据为C’，M’，Y’，K’，UCR率(UCR：Under Color Removal)为α(0＜α＜1)，则黑板生成底色去除处理由以下式表示。

K’＝f{min(C，M，Y)}

C’＝C-αK’

M’＝M-αK’

Y’＝Y-αK’

空间滤波处理部59基于区域识别信号，对通过黑板生成底色去除部58输入的CMYK信号的图像数据进行数字滤波器的空间滤波处理，通过对空间频率特性进行校正而进行处理，以防止输出图像的模糊、粒状性恶化。

例如，在区域分离处理部56中分离为字符的区域，为了特别提高黑色字符或颜色字符的再现性，通过空间滤波处理部59的空间滤波处理中的清晰度增强处理，高频的增强量被增加。同时，在色调再现处理部62中，被选择适合高频的再现的高分辨率的屏幕(Screen)下的二值化处理或多值化处理。另外，关于在区域分离处理部56分离为网点区域的区域来说，在空间滤波处理部59中，进行用于去除输入网点分量的低通滤波处理。接着，在输出色调校正部60中，进行将浓度信号等的信号变换为作为彩色图像输出装置的特性值的网点面积率的输出色调校正处理之后，在色调再现处理部62进行色调再现处理，以最终将图像分离成像素而可再现各自的色调。另外，关于在区域分离处理部56分离为照片的区域来说，进行重视色调再现性的屏幕下的二值化处理或多值化处理。另外，变倍处理部61在进行区域再现处理之前，根据需要进行变倍处理。

进行了所述各处理的图像数据暂时存储于存储部件(未图示)中，在规定的定时读出，输出到图像输出装置7。

本实施方式的特征在于，图像合成处理部54利用文本核对处理部53的功能的一部分，进行图像合成。在下面，详细说明文本核对处理部53。

图2为表示文本核对处理部53的内部结构的方框图。文本核对处理部53包括：控制部530、特征点计算部531、特征量计算部532、投票处理部533、类似度判定处理部534、数据存储部535。

控制部530例如为CPU，进行所述硬件各部分的控制。特征点计算部531从输入图像中包含的字符串、线等中提取连接部分，计算连接部分的重心作为特征点。特征量计算部532使用通过特征点计算部531计算的特征点，计算对旋转，放大、缩小而作为不变的量的特征量(散列值)。投票处理部533使用通过特征量计算部532计算的特征量，对预先注册在数据存储部535中的注册格式进行投票。类似度判定处理部534使用投票结果，判定输入图像和注册格式的类比。

图3为表示特征点计算部531的结构的方框图。特征点计算部531包括无彩色化处理部5311、分辨率变换部5312、滤波处理部5313、二值化处理部5314、以及重心计算部5315。

无彩色化处理部5311是用于在输入图像数据为彩色图像的情况下进行无彩色处理，使得将其变换为明度信号或亮度信号的处理部。比如，通过下述的变换式计算亮度信号。

Yj＝0.30Rj+0.59Gj+0.11Bj

在这里，Yj表示各像素的亮度值，Rj，Gj，Bj表示各像素的色分量。另外，除了使用该方法，还可以将RGB信号变换为CIE1976L^*a^*b^*信号(CIE：Commission International de l’Eclairage、L^*：明度，a^*，b^*：色度)。

分辨率变换部5312是在输入图像数据通过图像输入装置3以光学方式进行了变倍的情况下，再次进行变倍以成为规定的分辨率的处理部。另外，为了减轻后级的处理量，分辨率变换部5312也可以用于使分辨率比通过图像输入装置3在等倍时所读取的分辨率还低的分辨率变换。比如，将以600dpi(dotper inch)读入的图像数据变换为300dpi。

滤波处理部5313是用于吸收图像输入装置的空间频率特性按每个机种不同的情况所使用的处理部。在CCD所输出的图像信号中，由于透镜、反射镜等的光学部件、CCD的感光面的孔径(aperture)开口度、转送效率、余像、物理性扫描的积分效果和扫描不均匀等，产生图像的模糊等的变化。滤波处理部5313通过进行合适的滤波处理(增强处理)，进行修复因MTF的恶化所产生的模糊的处理。另外，也用于抑制后级处理不需要的高频分量。即，使用混合滤波器，进行增强和平滑处理。

二值化处理部5314是根据经无彩色化处理的图像数据，生成适合于重心计算的二值图像数据的处理部。重心计算部5315根据二值化的数据，计算连接分量的重心，将其作为特征点，输出到特征量计算部532。作为重心的计算方法，可使用现有的方法。即，基于二值图像的二值化信息，对各像素进行标示处理，根据被附加同一标志的像素来确定连接的连接区域，计算所指定的连接区域的重心作为特征点。

图4A和图4B为表示特征点的提取例子的示意图。图4A为通过前述的方法，“A”的字符被确定为连接区域的例子，表示由图中的黑色圆圈表示的点作为特征点(重心)计算的情况。图4B同样从“書”的字符中提取连接区域的例子，但是其表示将连接区域被分为两个区域确定的情况。此时，由于根据各连接区域来计算特征点(重心)，因此成为从1个字符计算出两个特征点(特征点A，特征点B)。

下面，说明特征量的计算方法。图5为表示特征量计算部532的结构的方框图。特征量计算部532包括附近点提取部5321和特征量提取部5322。附近点提取部5321将通过特征点计算部531计算的多个特征点中选择任意1个特征点作为关注特征点，依次从该关注特征点距离小的顺序，选择4个特征点作为周边特征点。特征量提取部5322基于对关注特征点的4个周边特征点的距离来计算散列值(特征量)。

图6为说明关注特征点和周边特征点的说明图。图6表示通过特征点计算部531，算出6个特征点P1～P6的情况。此时，在特征量计算部532选择特征点P3作为关注特征点的情况下，特征点P1、P2、P4、P5作为周边特征点被选择。特征量计算部532使用选择的关注特征点(P3)和周边特征点(P1，P2，P4，P5)，计算伴随输入图像的倾斜、移动、旋转等而不变的不变量，根据该计算的不变量，计算输入图像的特征量。

图7A～图7C为说明关注特征点P3的不变量的计算例子的说明图。使用关注特征点P3和周边特征点P1、P2、P4、P5之间的距离，通过H3j＝A3j/B3j来定义不变量H3j。在这里，取j＝1，2，3的值。A3j，B3j分别表示特征点之间的距离，基于各周边特征点的坐标值来计算特征点之间的距离。即，算出3组不变量，不变量H31的值为A31/B31(参照图7A)，不变量H32的值为A32/B32(参照图7B)，不变量H33的值为A33/B33(参照图7C)。即使例如在原稿读取时原稿旋转、移动、倾斜的情况下，这些不变量H3j仍不变化，在后级的类似判断中，可高精度地进行图像的类比判断。

图8A～图8C为说明将关注特征点设为特征点P4的情况下的不变量的计算例子的说明图。特征量计算部532选择特征点P2、P3、P5、P6作为周边特征点。此时，与所述相同，可通过H4j＝A4j/B4j来计算不变量H4j(j＝1，2，3)。即，不变量H41的值为A41/B41(参照图8A)，不变量H42的值为A42/B42(参照图8B)，不变量H43的值为A43/B43(参照图8C)。

在选择其它的特征点P1，P2，P5，P6作为关注特征点的情况下也是相同的，特征量计算部532依次变更关注特征点，计算选择了各特征点P1，P2，...，P6的情况下的不变量Hij(i＝1，2，...，6；j＝1，2，3)。

接着，特征量计算部532使用通过各关注特征点计算的不变量，计算特征量(散列值)Hi。将特征点Pi作为关注特征点的情况下的散列值Hi由Hi＝(Hi1×10²+Hi2×10¹+Hi3×10⁰)/E表示。在这里，i为自然数，表示特征点的数量，E为根据什么样的程度来设定余数而确定的常数，比如，在E＝10的情况下，余数取0～9的值，它成为所计算的散列值的取得范围。

图9A～图9D和图10A～图10D为分别说明将关注特征点设为P3和P4的情况下的不变量的其它计算例子的说明图。作为计算通过关注特征点的不变量的方法，例如图9A～图9D所示的那样，通过关注特征点P3的周边特征点P1，P2，P4，P5的4个点，选择4个组合，与前述的情况相同地，通过H3j＝A3j/B3j来计算不变量H3j(j＝1，2，3，4)。另外，在将关注特征点设为P4的情况下也相同地，通过关注特征点P4的周边特征点P2，P3，P5，P6的4个点，选择4个组合(参照图10A～图10D)，通过H4j＝A4j/B4j而计算不变量H4j(j＝1，2，3，4)。此时，散列值通过Hi＝(Hi1×10³+Hi2×10²+Hi3×10¹+Hi4×10⁰)/E而计算。

另外，作为特征量的所述散列值为一个例子，并不限于此，可使用其它的散列函数。另外，在上述说明中，作为周边特征点而选择了4个，但并不限于4个。例如也可提取6个。此时，也可从6个特征点中提取5个，针对提取5个的6个方法的各个方法，从5点中提取3点来求出不变量，计算散列值。

在特征量计算部532中，这样对各连接区域计算特征量(散列值)。投票处理部533根据特征量计算部532计算的散列值，检索散列表，对注册的索引的原稿进行投票。图11A和图11B为表示散列表的一个例子的概念图。散列表由散列值和表示注册格式的索引的各栏构成。即，如图11A所示的那样，对应于表示连接区域的特征的特征量，注册用于表示注册格式的索引。比如，在已计算的散列值为“H1”的情况下，投票处理部533对具有“ID1”的索引的注册格式进行投票。另外，在已计算的散列值为“H3”的情况下，投票处理部533对2种的注册格式(即，具有“ID2”，“ID3”的索引的注册格式)进行投票。在已计算的散列值为其它值的情况下，也是相同的。另外，在散列值相等的情况下(H1＝H5)，如图11B所示的那样，可以将散列表的两个项目(entry)合为1个。

图12为表示投票结果的一个例子的曲线。横轴表示注册格式的种类，纵轴表示得票数。图12所示的例子是表示对3种注册格式(“N1”～“N3”)进行投票的情况。将投票进行累加的投票结果输出给类似度判定处理部534。

类似度判定处理部534根据从投票处理部533输入的投票结果，判定图像的类似度，将判定结果通知给控制部530。类似度判定处理部534将从投票处理部533输入的投票数(得票数)与预定的阈值相比较，在投票数为阈值以上的情况下，判定输入图像与注册格式类似。在从投票处理部533输入的投票数小于阈值的情况下，类似度判断处理部534判定没有类似的原稿，将其结果通知给控制部530。

另外，所述判定方法为一个例子，作为另一方法，例如也可以将得票数用每个原稿的最大得票数(针对每个原稿所求出的特征点的数目等)相除进行归一化处理之后，进行类比判定。

在图像合成处理部54中，使用文本核对处理部53的功能的一部分，将两个原稿图像合成时，首先，进行第1次读入的原稿图像的特征点的坐标和第2次读入的原稿图像的特征点的坐标的相关联。图13为说明从两个图像中提取的特征点的相关联的说明图。图13所示的例子表示从第1次读入的原稿图像中提取具有(x1，y1)，(x2，y2)，(x3，y3)，及(x4，y4)的坐标的4个特征点，各特征点分别与具有从第2次读入的原稿图像中提取的(x1’，y1’)，(x2’，y2’)，(x3’，y3’)，及(x4’，y4’)的坐标的4个特征点相关联。

在使用第1次读入的原稿图像的特征点的坐标所生成的矩阵设为Pout，使用第2次读入的原稿图像的特征点的坐标所生成的矩阵设为Pin的情况下，将其中一个原稿图像的坐标系写为另一原稿图像的坐标系的变换式可使用变换矩阵A如下表示。

[式1]

Pout＝Pin×A

其中，

$\mathrm{Pin}=\left(\begin{array}{ccc}x1& y1& 1\\ x2& y2& 1\\ x3& y3& 1\\ x4& y4& 1\end{array}\right),$ $\mathrm{Pout}=\left(\begin{array}{ccc}{x1}^{\′}& {y1}^{\′}& 1\\ {x2}^{\′}& {y2}^{\′}& 1\\ {x3}^{\′}& {y3}^{\′}& 1\\ {x4}^{\′}& {y4}^{\′}& 1\end{array}\right),$ $A=\left(\begin{array}{ccc}a& b& c\\ d& e& f\\ g& h& i\end{array}\right)$

由于矩阵Pin不是方阵，所以在两边乘以Pin的转置矩阵Pin^T，进一步乘以Pin^TPin的逆矩阵，由此，可计算变换矩阵A。

[式2]

A＝(Pin^TPin)^-1Pin^TPout

于是，可使用变换矩阵A，如下表示将一个图像上的坐标(x，y)写为另一图像上的坐标系中的变换式。

[式3]

(x′，y′，1)＝(x，y，1)×A

图像合成处理部54使用式3，变换一个图像上的坐标，从而进行图像合成。

下面，说明图像合成的具体的处理步骤。图14为说明实施方式1的图像处理系统的图像合成的处理步骤的流程图。图像处理装置5A，首先将图像数据的读取次数k设置为1(步骤S11)，进行第k次的图像数据的读取(步骤S12)。

图15A和图15B为说明原稿的读取步骤的说明图。在本实施方式中，将超过放置原稿的压板30的尺寸(例如A3尺寸)的尺寸的原稿(例如A2尺寸的原稿)包括几个重复区域，分两次进行扫描。图15A表示对原稿的上侧区域进行扫描的情况，图15B表示将所述上侧区域的一部分重复，对原稿的下侧区域进行扫描的情况。即，按照具有相互重合的区域的方式读取图像。

接着，通过使用文本核对处理部53的特征点计算部531和特征量计算部532，进行特征量计算处理(步骤S13)。此时，文本核对处理部53存储与作为特征量计算的散列值对应的特征点的索引，同时与各索引相关地存储特征点的坐标。图16A和图16B为表示特征量(散列值)和特征点的索引之间的对应关系的图，图17A和图17B为表示特征点的索引和坐标之间的对应关系的图。这样的对应关系，例如存储在文本核对处理部53的数据存储部535中。

接着，图像处理装置5A判断读取的图像数据是否为第2次(即，是否k＝2)(步骤S14)，在不是第2次的情况下(S14：否)，使k的值增加1(步骤S15)，将处理转到步骤S12。

在读取的图像为第2次的情况下(S14：是)，进行特征点的相关联(步骤S16)。根据在第1次和第2次读取的图像计算的散列值和特征点的索引之间的对应关系分别如图16A和图16B所示那样，表示特征点的索引和坐标之间的对应关系分别如图17A和图17B所示那样时，可知从一个图像计算的特征点f1，f2，f3，f4分别与从另一图像提取的特征点p1，p2，p3，p4相关联。

在使用这些特征点而将两个图像合成的情况下，图像合成处理部54使用2组以上的对应的特征点，计算所述变换矩阵A(步骤S17)。通过使用已计算的变换矩阵A，第1次的图像上的任意的坐标(x，y)变换为第2次的图像上的坐标(x’，y’)。由此，即使在第1次的原稿具有倾斜的情况下，通过该变换矩阵A，对应于第2次的扫描图像的坐标系，进行坐标变换，可从整体上合成为连续的图像(步骤S18)。

另外，特征点和特征量的计算既可针对图像整体进行，也可预先设定重合的区域，仅仅在该设定区域进行特征点和特征量的计算。图18为表示重合的区域的设定例子的示意图。在图18所示的例子中，为了明示重合的区域，将指示板31设定在压板30的侧面。指示板31具有指标32，将通过指标32指定的压板上的区域30a设定为重合的区域。对应于该区域，实施第1次和第2次扫描，通过生成输入图像数据，只对设定宽度的区域进行一系列的处理即可。

在未设定重合的区域的情况下，也可以在进行从一个图像计算的f1，f2，f3，f4......，与从另一图像中提取的特征点p1，p2，p3，p4的相关联时，选择特征点。由于重复地读取原稿，所以在几乎所有的特征点与重复区域的点相关联，但根据情况，还存在重复区域的特征点的散列值与不重复的区域的散列值一致的情况。由于如果包括重复区域以外的特征点的坐标的数据，则存在变换矩阵的精度降低的顾虑，所以只使用重复区域内的特征点。

图19为表示从进行关联处理的两个图像的每个图像中提取的特征点的一个例子的示意图。例如在从两者的图像中，提取特征量一致的特征点，对提取的特征点f1，f2，f3，f4，...，与p1，p2，p3，p4，...，生成加上了距原稿的4条边E1，E2，E3，E4以及E1’，E2’，E3’，E4’的距离的直方图，判断各个特征点从接近原稿的哪条边的区域提取(哪个区域被重复地读取)。图20A和图20B为说明所生成的直方图的说明图。在所述直方图中，提取了特征点的边的直方图(从各点到边的距离的累积值)最小，所以使用该特征点，可以判断从哪个区域提取了特征点(图20A和图20B表示对两个特征点的坐标进行加法运算的例子。)。另外，选择从确定的边位于规定范围内(比如，特征点的坐标位置500)的特征点，由此，可删除不需要的特征点来求出变换矩阵。另外，由于自动地进行特征点位于哪个区域(边)的判定，所以在用户进行原稿读取时，可无需考虑原稿的朝向，进行原稿的读取。

另外，在使用数字复印机、复合机进行图像合成的情况下，例如通过操作面板1来选择图像合成的模式。模式的设定通过控制部530而识别，使用文本核对处理部53的功能，进行图像合成处理，通过合成获得的图像数据在由变倍处理部61缩小为预定的值(或由用户设定的值)，通过色调再现处理部62发送到图像输出装置7。

实施方式2

在实施方式1中，使用文本核对处理部53进行图像合成，但也可以为在图像合成处理中加入文本核对处理的功能的结构。在本实施方式中，对在图像合成处理中加入了文本核对处理的图像处理装置的结构进行说明。

图21为说明具有本实施方式的图像处理装置的图像处理系统的内部结构的方框图。本实施方式2的图像处理系统包括操作面板1，图像输入装置3，图像处理装置5B，图像输出装置7。其中，图像处理装置5B以外的结构与实施方式1完全相同。

图像处理装置5B由AD变换部51，斑点校正部52，图像合成处理部64，输入色调校正部55，区域分离处理部56，颜色校正部57，黑板生成底色去除部58，空间滤波处理部59，输出色调校正部60，变倍处理部61，色调再现处理部62构成。其中，图像合成处理部64以外的结构与实施方式1完全相同。

图22为表示图像合成处理部64的内部结构的方框图。图像合成处理部64包括控制部640，特征点计算部641，特征量计算部642，投票处理部643，合成处理部644，数据存储部645。

控制部640例如是CPU，进行所述硬件各部分的控制。特征点计算部641从输入图像中包括的字符串、线等中提取连接部分，计算连接部分的重心作为特征点。特征量计算部642使用通过特征点计算部641计算的特征点，计算作为对旋转、放大、缩小而不变的量的特征量(散列值)。投票处理部643使用通过特征量计算部642计算的特征量，对预先注册于投票处理部645中的注册格式进行投票。合成处理部644通过使用投票处理部643的投票结果，求出从两个图像中提取的特征点之间的对应关系，计算在所述图像之间成立的变换矩阵。接着，按照计算的变换矩阵，将其中一个图像变换为另一个图像的坐标系，进行图像合成。

图23和图24为说明实施方式2的图像处理系统的图像合成的处理步骤的流程图。图像处理装置5B，首先将图像数据的读取次数k设置为1(步骤S21)，进行第k次的图像数据的读取(步骤S22)。接着，通过使用图像合成处理部64的特征点计算部641和特征量计算部642，进行特征量计算处理(步骤S23)。

接着，图像处理装置5B判断读取的图像数据是否为第2次(即，是否k＝2)(步骤S24)，在不是第2次的情况下(S24：否)，则使k值相应地增加1(步骤S25)，将处理转到步骤S22。

图25A和图25B为表示在图像处理装置5B中读取的图像的一个例子的示意图。通过图像输入装置3读取的原稿的尺寸稍大于压板30的尺寸，在本实施方式中，例如分2次进行原稿的上侧区域和下侧区域的读取。此时，按照在上侧区域和下侧区域中形成包括共同的图像的重复区域的方式进行读取(参照图25A和图25B)。

在本实施方式中，对第1次的读取图像设定n个(n为2以上的整数)的检索图像区域，对第2次的读取图像，设定n个参照图像区域，进行检索图像区域内的特征点和参照图像区域内的特征点之间的相关联。图26A和图26B为表示被设定了检索图像区域和参照图像区域的情况的示意图。即，表示在图26A所示的第1次的读取图像中，设定n个检索图像区域T1，T2，...，Tn，在图26B所示的第2次的读取图像中，设定n个参照图像区域S1，S2，...，Sn的情况。

下面，将说明返回到图23所示的流程图，对特征点的相关联和图像合成的处理步骤进行说明。在读取的图像数据为第2次的情况下(S24：是)，图像合成处理部64将检索图像区域Tx和参照图像区域Sx的索引x设定为1(步骤S26)。接着，对检索图像区域Tx内的参照图像进行检索(步骤S27)，判断在两个区域是否具有同一特征点(步骤S28)。在判断没有同一特征点的情况下(S28：否)，将处理返回到S27。

在判断具有同一特征点的情况下(S28：是)，图像合成处理部64存储检索图像区域Tx和参照图像区域Sx内的特征点的坐标(步骤S29)。

接着，为了判断可否进行变换矩阵的计算，图像合成处理部64判断是否获得2组以上的同一特征点(步骤S30)。在判断没有获得2组以上的同一特征点的情况下(S30：否)，则判断索引x是否达到检索图像区域Tx和参照图像区域Sx的设定数n(步骤S31)。在判断索引x未达到设定数n的情况下(S31：否)，则图像合成处理部64使索引x的值相应地增加1(步骤S32)，将处理返回到步骤S27。即，在没有获得2组以上的同一特征点的情况下，由于不能够求出变换矩阵A，所以对残留的检索图像区域Tx和参照图像区域Sx，也进行特征点的相关联的尝试。另一方面，在未获得2组以上的同一特征点的状态下，判断为索引x达到设定数n时(S31：是)，进行错误处理(步骤S33)，结束本流程的处理。在错误处理中，例如将不能执行图像合成的情况报告给用户。

在步骤S30，判断为可获得2组以上的同一特征点的情况下(S30：是)，使用2组以上的相对应的特征点，计算在实施方式1中说明的变换矩阵A(步骤S34)。接着，对设置有参照图像区域的图像的全部的图像数据进行坐标变换(步骤S35)，合成为整体连续的图像。

此外，在本实施方式中，对第1次读取的读取图像设定检索图像区域，对第2次读取的读取图像设定参照图像区域，但也可以如实施方式1所示那样，不设置这些图像区域，求出重复读取的区域的特征点的对应关系，进行坐标变换，进行图像合成。

实施方式3

在实施方式1和2中，通过硬件实现各处理，但也可以构成为通过软件的处理来实现。

图27为说明安装了本实施方式的计算机程序的图像处理装置的内部结构的方框图。图中100表示本实施方式的图像处理装置，具体来说，是个人计算机、工作站等。图像处理装置100包括CPU101，在CPU101上，通过总线102而连接有ROM103、RAM104、硬盘105、外部存储部106、输入部107、显示部108、通信接口109等的硬件。CPU101按照预先存储于ROM103中的控制程序，控制所述硬件的各部分。

RAM104为暂时存储所述的控制程序，或本实施方式的计算机程序的程序代码(执行形式程序，中间代码程序，源程序)的执行中产生的各种数据的易失性的存储器。硬盘105为具有磁性记录媒体的存储部件，存储有本实施方式的计算机程序的程序代码等。外部存储部106包括读取装置，该读取装置用于从记录了本实施方式的计算机程序的程序代码的记录媒体M中，读取程序代码。记录媒体M可使用FD(Flexible Disk)，CD-ROM等。通过外部存储部106读取的程序代码存储于硬盘105中。CPU101将存储于硬盘105中的本实施方式的程序代码下载于RAM104上而执行，从而将装置整体具有作为实现在实施方式1中说明的图像处理的装置的功能，基于从两个图像分别计算的特征量，进行特征点之间的相关联，计算将一个图像的坐标系写为另一图像的坐标系的变换矩阵，使用已计算的变换矩阵来进行两个图像的合成。

输入部107具有作为用于从外部读取图像数据的接口的功能。在输入部107上例如连接有彩色扫描仪等。显示部108具有作为显示处理对象的图像数据、图像处理中的图像数据、图像处理后的图像数据等用的接口的功能。既可以是在显示部108上连接液晶显示器等的外部显示器来显示图像数据的结构，也可以是显示部108本身具有显示器，从而显示图像数据的结构。通信接口109为用于在外部连接打印机150的接口。在通过打印机150进行被图像处理的图像数据的打印的情况下，图像处理装置100根据所述图像数据，生成可在打印机150解码的打印数据，并将生成的打印数据发送给打印机150。

另外，在本实施方式中，为CPU101执行各种运算的结构，但也可以是单独设置进行图像处理的运算的专用的芯片，通过来自CPU101的指示进行运算的结构。

此外，记录本实施方式的计算机程序代码的记录媒体M，除了可以使用所述FD和CD-ROM之外，还可以使用MO、MD、DVD等的光盘、硬盘等的磁性记录媒体、IC卡、存储卡、光卡等的卡型记录媒体、掩模ROM、EPROM(Erasable Programmable Read Only Memory)、EEPROM(ElectricallyErasable Programmable Read Only Memory)、闪存ROM等的半导体存储器。另外，由于是可连接包括互联网的通信网络的系统结构，所以也可从通信网络下载本实施方式的计算机程序代码。

还有，本实施方式的计算机程序既可作为单独的应用程序、实用程序来提供，也可以组合在其它的应用程序、实用程序，作为其程序的一部分的功能来提供。例如作为一个方式，考虑到组合在打印机驱动来提供的方式。另外，本实施方式可通过所述程序代码通过电子传送所实现的、嵌入载波中的计算机数据信号的方式实现。

实施方式4

在实施方式1和2中，表示使用数字复印机、复合机，进行图像合成的例子，但也可以使用通过网络连接的服务器，分担处理而实现。

图28为本实施方式的网络系统的整体结构的示意图。如图28所示的那样，本实施方式的网络系统通过网络N连接了服务器70、复合机(MFP)10A，10B、...、打印机81A、81B、...、传真机82A、82B、...、计算机83A，83B、...、数字照相机84A，84B、...、扫描仪85A，85B、...、等。系统的结构并不限于所述方式，例如也可连接多个服务器70。

图29为表示MFP10A(10B)和服务器70的内部结构的方框图。MFP10A(10B)包括：控制装置内的硬件的各部分的MFP控制部11；从读入的原稿图像，计算特征点的特征点计算部12；根据计算的特征点，计算原稿图像的特征量的特征量计算部13；使用已计算的特征量，进行图像合成处理的MFP图像合成处理部14和存储器15。由于在硬件的各部分所进行的处理与通过实施方式1说明的图像处理装置5A执行的处理相同，故省略其细节的说明。

服务器70包括：控制装置内的硬件的各个部分的服务器控制部71；进行图像合成处理的服务器图像合成处理部72和存储器73。在服务器图像合成处理部72中，主要根据通过MFP10A(10B)计算的特征点、特征量的数据，进行计算变换矩阵的处理。

例如在复合机10A中，根据第1次读入的原稿图像和第2次读入的原稿图像，计算特征点和特征量，将其发送给服务器70，同时将读取的原稿图像暂时存储于硬盘等中。也可根据需要，进行压缩存储。在服务器70中，使用所述特征点的数据来计算变换矩阵，将计算结果发送给复合机10A。在复合机10A中，接收了变换矩阵的情况下，读出存储于硬盘等中的原稿图像(在压缩的情况下，进行解码处理后读出)，使用变换矩阵进行图像的合成。

实施方式5

也可以将表示已合成的图像数据、表示图像数据的索引、表示为合成图像数据的标记和特征量(即，表示为合成的图像数据、合成图像数据的标记和散列表)存储于服务器70(也可为MFP10A等的硬盘)等中，通过MFP10A(10B)的操作面板，选择图像合成模式，读取合成图像数据的原来的原稿，检索相对应的合成图像数据。此时，如果生成1次合成图像数据，则即使不再进行图像的合成动作，也可使用原始的原稿，提取合成图像数据。

图30为表示操作面板的一个例子的示意图，图31为在表示从操作面板选择图像合成模式的情况下，所显示的画面的一个例子的示意图。由于可从图30所示的操作面板，选择图像合成模式，从图31所示的画面，将对象聚焦于合成图像数据进行检索，所以可快速地进行检索，并且可抑制误判。由于原来的原稿为合成图像的一部分，所以可从预先设定类似度判断的阈值，使得可以从原来的原稿中提取合成图像数据。阈值是，可使用各种原稿来提取相对应的合成图像数据的值即可。合成图像数据也可按照与MMR、JPEG等的原稿的类型相对应的方法进行压缩存储。

Claims (12)

1.一种图像处理方法，其读取具有应相互重合的区域的两个图像，将所读取的两个图像在所述区域中进行合成，该方法包括以下步骤：

从所述两个图像的各个图像中，提取连接了像素的多个连接区域；

提取已提取的各连接区域中包括的特征点；

确定出已提取的特征点是从接近各图像的哪条边的区域中提取的；

选择距离所确定的边位于规定范围内的特征点；

根据已选择的特征点，分别计算表示各图像的特征的特征量；

通过比较已计算的各图像的特征量，进行从各连接区域选择的特征点之间的相关联；

使用相关联的特征点的位置的信息，计算将一个图像的坐标系写为另一图像的坐标系的变换矩阵；以及

通过使用已计算的变换矩阵来变换所述一个图像，合成所述两个图像。

2.一种图像处理装置，其读取具有应相互重合的区域的两个图像，将所读取的两个图像在所述区域中进行合成，该装置包括：

连接区域提取部，其从所述两个图像的各个图像中，提取连接了像素的多个连接区域；

特征点提取部，其提取已提取的各连接区域中包括的特征点；

确定部，其确定出已提取的特征点是从接近各图像的哪条边的区域中提取的；

选择部，其选择距离所确定的边位于规定范围内的特征点；

特征量计算部，其基于已选择的特征点，分别计算表示各图像的特征的特征量；以及

图像合成处理部，该图像合成处理部能够进行以下操作：

通过比较在所述特征量计算部所计算的各图像的特征量，进行从各连接区域中选择的特征点之间的相关联；

使用相关联的特征点的位置的信息，计算将一个图像的坐标系写为另一图像的坐标系的变换矩阵；以及

通过使用已计算的变换矩阵来变换所述一个图像，合成所述两个图像。

3.根据权利要求2所述的图像处理装置，还包括：

控制部，将已合成的图像数据与通过合成源的图像数据所提取的特征量、用于识别合成源的图像数据的各个数据的第1识别信息、以及用于表示为合成的图像数据的第2识别信息相关联地存储在存储部中。

4.根据权利要求2所述的图像处理装置，还包括：

图像核对部，将读取的图像与存储图像进行核对，

所述图像核对部包括所述连接区域提取部、所述特征点提取部以及所述特征量计算部，将计算的特征量和预先存储的存储图像的特征量进行比较，并对一致的特征量的存储图像进行投票。

5.根据权利要求2至权利要求4的任一项所述的图像处理装置，其中，

所述特征点提取部计算通过所述连接区域提取部所提取的连接区域的重心，并将已计算的重心作为所述连接区域的特征点。

6.根据权利要求2至权利要求4的任一项所述的图像处理装置，其中，

所述特征量为对于包括所述各个图像的旋转、平行移动、扩大缩小的几何学的变化而不变的参数。

7.根据权利要求2至权利要求4的任一项所述的图像处理装置，其中，

所述特征量计算部使用从一个图像中提取的特征点之间的距离，通过公式化的散列函数来计算散列值，并将计算的散列值作为所述一个图像的特征量。

8.根据权利要求2所述的图像处理装置，其中，

对各个图像，预先设定应合成的区域。

9.一种图像读取装置，包括：

放置原稿的原稿台；

图像读取部，其从放置于该原稿台上的原稿中读取图像；以及

权利要求2所述的图像处理装置，

其中，在所述图像处理装置中合成通过所述图像读取部所读取的两个图像。

10.根据权利要求9所述的图像读取装置，其中，

对所述原稿台，预先设定应合成的区域。

11.一种图像形成装置，包括：

权利要求2所述的图像处理装置；以及

图像形成部，在片材上形成通过该图像处理装置将两个图像合成而获得的图像。

12.根据权利要求11所述的图像形成装置，其还包括：

放置原稿的原稿台；以及

图像读取部，其从放置于该原稿台上的原稿中读取图像；其中

对所述原稿台，预先设定应合成的区域。

Images