CN103198318A

CN103198318A - 图像处理装置以及图像处理方法

Info

Publication number: CN103198318A
Application number: CN2012103658201A
Authority: CN
Inventors: 井原富士夫
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2011-12-13
Filing date: 2012-09-27
Publication date: 2013-07-10
Anticipated expiration: 2032-09-27
Also published as: JP5857704B2; US20130148896A1; US8805084B2; CN103198318B; JP2013125281A

Abstract

本发明涉及图像处理装置以及图像处理方法。图像处理装置包括：图像取得单元，其取得各包含字符串的第一图像和第二图像；提取单元，其提取第一图像和第二图像各个中包含的特征点；设置单元，其在第一图像和第二图像各个中设置包含沿字符串的排列方向连续排列的多个字符的一个或多个部分区域；以及识别单元，其将在第一图像中设置的部分区域中包含的特征点的位置与在第二图像中设置的部分区域中包含的特征点的位置进行比较，以识别与在第一图像中设置的部分区域相对应的、在第二图像中设置的部分区域，并识别各个所识别的部分区域中的对应点。

Description

图像处理装置以及图像处理方法

技术领域

本发明涉及图像处理装置以及图像处理方法。

背景技术

存在在已知照相机的位置和姿态的情况下检测照相机所拍摄的多个图像的对应点的技术。另外，如日本专利特开第2002-109518号公报（专利文献1）中所公开的，还开发了根据从多个图像中分别提取的特征点对来计算约束条件，并且基于该约束条件来识别这多个图像间的对应点的技术。

发明内容

本发明的一个目的是提供图像处理装置以及图像处理方法，其能够解决如下问题：在识别包含字符串的文档图像的对应点时，同样的字符在文档图像中反复出现的情况下，识别实际上没有对应关系的特征点。

根据本发明的第一方面，提供了一种图像处理装置，该图像处理装置包括：图像取得单元，其取得各包含字符串的第一图像和第二图像；提取单元，其提取所述第一图像和所述第二图像各个中包含的特征点；设置单元，其在所述第一图像和所述第二图像各个中设置包含沿所述字符串的排列方向连续排列的多个字符的一个或多个部分区域；以及识别单元，其将所述设置单元在所述第一图像中设置的部分区域中包含的特征点的位置与所述设置单元在所述第二图像中设置的部分区域中包含的特征点的位置进行比较，以识别与在所述第一图像中设置的部分区域相对应的、在所述第二图像中设置的部分区域，并识别各个所识别的部分区域中的对应点。

根据本发明的第二方面，根据第一方面的图像处理装置还包括：波形生成单元，其基于所述部分区域中设置的基准线与该部分区域中包含的特征点之间的位置关系，生成指示了各个部分区域的特征的波形，其中，所述识别单元基于所述波形生成单元针对所述设置单元在所述第一图像中设置的部分区域生成的波形、与所述波形生成单元针对所述设置单元在所述第二图像中设置的部分区域生成的波形之间的相关性，识别与在所述第二图像中设置的在所述第一图像中设置的部分区域相对应的部分区域，并识别所识别的部分区域各个中的对应点。

根据本发明的第三方面，根据第二方面的图像处理装置还包括：沿着所述部分区域的骨架线设置所述基准线的单元。

根据本发明的第四方面，根据第二方面的图像处理装置还包括：以与所述部分区域中包含的字符串的排列方向平行的方式设置所述基准线的单元。

根据本发明的第五方面，提供了一种图像处理方法，该图像处理方法包括以下步骤：取得各包含字符串的第一图像和第二图像；提取所述第一图像和所述第二图像各个中包含的特征点；在所述第一图像和所述第二图像各个中设置包含沿所述字符串的排列方向连续排列的多个字符的一个或多个部分区域；以及将所述第一图像中设置的部分区域中包含的特征点的位置与所述第二图像中设置的部分区域中包含的特征点的位置进行比较，以识别在所述第二图像中设置的与在所述第一图像中设置的部分区域相对应的部分区域，并识别所识别的部分区域各个中的对应点。

根据本发明的第一方面和第五方面，在识别包含字符串的文档图像中的对应点时，在相同字符在文档图像中反复出现的情况下，也可以识别包含字符串的图像中的对应点。

根据本发明的第二方面，即使第一图像的部分区域与第二图像的部分区域部分地一致，也可以识别二者的对应点。

根据本发明的第三方面，即使部分区域弯曲或旋转，也可以识别第二图像中与第一图像的部分区域对应的部分区域。

根据本发明的第四方面，与不具有本结构的情况相比，可以减小识别第一图像的部分区域和第二图像的部分区域的处理的负荷。

附图说明

下面基于以下附图对本发明的示例性实施方式进行详细说明，在附图中：

图1是根据示例性实施方式的图像处理装置的功能框图；

图2A和图2B是示出第一图像（2A）和第二图像（2B）的示例的图；

图3A和图3B是示出从第一图像和第二图像中提取的特征点的示例的图；

图4是示出行区域设置处理的流程图；

图5是示出行区域设置例的图；

图6A是示出基准线的第一设置例的图；

图6B是示出基准线的第二设置例的图；

图7A是示出特征数据的第一生成例的图；

图7B是示出特征数据的第二生成例的图；

图8A是示出脉冲波形间的相关性最大的状态下的示例的图；

图8B是示出脉冲波形间的相关性最大的状态下的示例的图；

图9是示出对应点识别处理的示例的流程图；并且

图10是示出对应点识别处理的变型例的流程图。

具体实施方式

下面参照附图对本发明的示例性实施方式（以下称为示例性实施方式）进行说明。

图1是根据示例性实施方式的图像处理装置10的功能框图。如图1所示，图像处理装置10包括比较图像取得单元100、特征点提取单元102、区域设置单元104、特征数据生成单元106、特征数据比较单元108以及对应点确定单元110。

包含诸如CPU等的控制器、诸如存储器等的存储装置、与外部装置进行数据收发的输入输出单元等的计算机可以从计算机可读信息存储介质中读出程序并执行，实现图像处理装置10中提供的各单元的功能。另外，可以利用光盘、磁盘、磁带、磁光盘或闪速存储器等信息存储介质向作为计算机的图像处理装置10提供该程序，或可以经由诸如因特网等的数据通信网络向图像处理装置10提供该程序。

比较图像取得单元100取得待比较的多个图像。比较图像取得单元100可以取得扫描仪（未示出）所读取的图像或者照相机（未示出）拍摄的图像，作为待比较数据，或者可以取得外部装置或存储器中存储的图像作为待比较数据。另外，在下述示例中，假设比较图像取得单元100取得第一图像和第二图像作为比较对象。另外，比较图像取得单元100可以取得三个以上的图像作为比较对象，在此情况下，可以顺序地选择所取得的多个图像中的任意两个图像作为第一图像和第二图像，并且对于各个组可以执行与以下相同的处理。

图2A和图2B示出了比较图像取得单元100取得的第一图像（图2A）和第二图像（图2B）的示例。如图2A和图2B所示，比较图像取得单元100所比较的图像包含字符串。另外，字符串可以是横写的也可以是竖写的。

特征点提取单元102从比较图像取得单元100所取得的第一图像和第二图像各个中提取特征点。特征点提取单元102可以从整个图像提取特征点，或者可以从指定的部分区域提取特征点。例如，特征点提取单元102可以利用诸如角检测法（哈里斯（Harris）角等）或SIFT（Scale-Invariant Feature Transform:尺度不变特征变换）等的特征点检测技术，从作为对象的图像（区域）提取特征点。

图3A和图3B示出了特征点提取单元102从第一图像和第二图像提取的特征点的示例。如图3A和图3B所示，特征点沿着横写的行分布并且沿着竖写的列分布。

区域设置单元104确定第一图像和第二图像的字符串排列方向，并设置包含沿所确定的排列方向连续的字符的排列区域（横写的行区域和竖写的列区域）。下面对区域设置单元104在作为对象的图像中设置排列区域的处理进行详细说明。

图4是示出在第一图像中设置行区域的行区域设置处理的流程图。如图4所示，区域设置单元104在作为对象的图像中识别文档区域（S1001)并对所识别的文档区域进行二值化（S1002）。例如，可以通过识别颜色数为2的区域来进行文档区域的识别。

区域设置单元104对二值化后的文档区域进行诸如缩放处理、噪声去除处理以及将相邻的黑色像素相互连接起来的处理等的图像处理（S1003），并提取黑色像素组的轮廓（S1004）。

区域设置单元104对步骤S1004中提取的轮廓中未处理的轮廓设置外接矩形(S1005)，并比较横向上相邻的外接矩形之间的距离（W）与纵向上相邻的外接矩形之间的距离（H）（S1006）。如果距离W＜距离H（S1006：是），则确定为横写（S1007），并且沿字符串的方向将外接矩形相互连接起来而设置行区域（S1008）。另外，如果距离W≥距离H（S1006：否），则区域设置单元104确定为竖写（S1009），并且沿字符串的方向将外接矩形相互连接起来而设置列区域（S1010）。

如果除了所设置的行区域或列区域之外还有未处理的黑色像素（S1011：是），则区域设置单元104返回到步骤S1005，如果除了所设置的行区域或列区域之外没有未处理的黑色像素（S1011：否），则结束处理。

图5示出了行区域的设置例。在图5所示的示例中，黑色像素组中设置的外接矩形之间的横向距离W小于外接矩形之间的纵向距离H，因此通过在横向上连接外接矩形设置行区域。

特征数据生成单元106基于区域设置单元104设置的排列区域所包含的特征点的位置来生成各个排列区域的特征数据。具体而言，特征数据生成单元106针对各个排列区域设置基准线，并基于该基准线与特征点之间的位置关系来生成特征数据。下面详细说明基准线的设置例。

图6A是示出基准线的第一设置例的图。在图6A所示的示例中，由于排列区域是行区域（即横写），所以沿水平方向设置基准线，而在排列区域是列区域（即竖写）的情况下，可以沿垂直方向设置基准线。

图6B是示出基准线的第二设置例的图。在图6B所示的示例中，将通过将排列区域中包含的外接矩形的中心顺序连接起来而形成的排列区域骨架线设置为基准线。在将外接矩形的中心连接起来时，可以利用直线或曲线进行连接。

接着说明基于针对各个排列区域设置的基准线与排列区域中存在的特征点之间的位置关系生成特征数据的方法的详细例。

图7A是示出特征数据的第一生成例的图。如图7A所示，针对排列区域中设置的基准线，求出将特征点（c1、c2、...、和cn）投影到（垂直落到）基准线上时特征点之间的距离（d1、d2、...、和dn）。另外，如图7A所示，生成按照所求出的特征点间的距离（d1、d2、...、和dn）设置预定高度的波（例如矩形波）而成的脉冲波形，并且把如此生成的脉冲波形用作排列区域的特征数据。

图7B是示出特征数据的第二生成例的图。如图7B所示，针对排列区域中设置的基准线，求出特征点（c1、c2、...、和cn）与基准线之间的距离（h1、h2、...、和hn）以及把特征点（c1、c2、...、和cn）投影到（垂直落到）基准线上时的特征点间的距离（d1、d2、...、和dn）。另外，如图7B所示，生成按照所求出的特征点间的距离（d1、d2、...、和dn）设置由所求出的特征点与基准线间的距离换算而得的高度的波（例如矩形波）而成的脉冲波形，并且把如此生成的脉冲波形用作排列区域的特征数据。

特征数据比较单元108将第一图像中设置的排列区域的特征数据与第二图像中设置的排列区域的特征数据进行比较。例如，特征数据比较单元108在依次改变针对第一图像中设置的排列区域（Ai，其中i=1至N）生成的脉冲波形与针对第二图像中设置的排列区域（Bj，其中j=1至M）生成的脉冲波形之间的相对位置的同时，计算相关值，并求出所计算出的相关值的最大值作为排列区域Ai与Bj的相似度。此时，特征数据比较单元108还记录相关值为最大值时的排列区域Ai和Bj的特征点之间的对应关系。

图8A示出了在第一图像的排列区域Ai和第二图像的排列区域Bj各个中，第一示例（图7A所示的示例）中生成的脉冲波形之间的相关性最大的状态的示例。另外，假设排列区域Ai包含特征点（a1、a2、...、和an）而排列区域Bj包含特征点（b1、b2、...、和bm）。这里，在特征点a2与特征点b1相对应的位置处脉冲波形之间的相关值最大时，记录该相关值以及对应点的数据（a2,b1）、（a3,b2）、（a4,b3）和（a5,b4）。这里，可以在相关值最大时，把排列区域Ai的特征点与排列区域Bj的特征点之间的位置差在阈值以内的特征点关联起来，来生成对应点的数据。

图8B示出了在第一图像的排列区域Ai和第二图像的排列区域Bj各个中，第二示例（图7B所示的示例）中生成的脉冲波形之间的相关性最大的状态的示例。另外，假设排列区域Ai包含特征点（a1、a2、...、和an）而排列区域Bj包含特征点（b1、b2、...、和bm）。这里，在特征点a1与特征点b1相对应的位置处脉冲波形之间的相关值最大时，记录该相关值以及对应点的数据(a1=b1，a3=b2，a4=b3，a5=b4)。这里，可以在相关值最大时，把排列区域Ai的特征点与排列区域Bj的特征点之间的位置差在阈值以内的特征点关联起来，来生成对应点的数据。

对应点确定单元110选择取得了针对第一图像的排列区域Ai（其中i=1至N）和第二图像的排列区域Bj（其中j=1至M）计算出的相似度中的最大值的组。另外，假设所选择的组包括排列区域Ak和排列区域Bl，对应点确定单元110基于表明针对排列区域Ak和排列区域Bl记录的表示对应点的数据，识别第一图像和第二图像的对应点（例如as和bt等）。由此，对应点确定单元110分别确定排列区域Ak的特征点at在第一图像中所处的位置坐标，以及排列区域Bl的特征点bt在第二图像中所处的位置坐标，作为对应点。

另外，对应点确定单元110可以按照针对第一图像的排列区域Ai（其中i=1至N）和第二图像的排列区域Bj（其中j=1至M）计算出的相似度的大小，以降序选择多个组，并且可以基于表示针对所选择的各组记录的对应点的数据计算第一图像和第二图像相互重叠时的相似度，并选择针对所计算出的相似度最大的组所记录的对应点。

接着，参照图9所示的流程图对图像处理装置10执行的对应点识别处理的流程进行说明。

如图9所示，图像处理装置10取得待比较的第一图像和第二图像（S2001），并且提取第一图像和第二图像各个中包含的特征点（S2002）。

图像处理装置10按照各个字符串的排列方向，在第一图像和第二图像中设置排列区域（S2003）。可以按照图4所示的流程图来进行排列区域的设置处理。

图像处理装置10选择第一图像中设置的排列区域（A1至An）中的一个（Ai（i的初始值是1））（S2004），并基于排列区域Ai中设置的基准线与排列区域Ai中包含的特征点（a_is（其中s=1至Ns））之间的位置关系生成特征数据CAi（波形数据）（S2005）。

图像处理装置10选择第二图像中设置的排列区域（B1至Bm）中的一个（Bj（j的初始值是1））（S2006），并基于排列区域Bj中设置的基准线与排列区域Bj中包含的特征点（b_jt（其中t=1至Mt））之间的位置关系生成特征数据CBj（波形数据）（S2007）。

图像处理装置10在改变波形数据CAi和CBj之间的相对位置的同时，记录两个波形数据之间的相关性的最大值MAXij以及此时的特征点a_is和特征点b_jt二者的对应点（S2008）。

如果j未达到m（S2009：否），则图像处理装置10使j加1（S2010），并返回到步骤S2006，如果j达到了m（S2009：是），则确定i是否达到了n（S2011）。这里，如果i未达到n（S2011：否），则图像处理装置10把j设为1并使i加1（S2012），并返回到步骤S2004。如果i达到了n（S2011：是），则图像处理装置10识别与所记录的最大值MAXij中的最大的那个相对应的排列区域Ai和排列区域Bj的组（S2013），基于针对所识别的排列区域Ai和Bj记录的对应点确定第一图像和第二图像的对应点（S2014），并结束处理。

接下来，参照图10所示的流程图对图像处理装置10执行的对应点识别处理的变型例进行说明。

如图10所示，图像处理装置10取得待比较的第一图像和第二图像（S3001）。

图像处理装置10按照各个字符串的排列顺序，在第一图像和第二图像中设置排列区域（S3002）。可以按照图4所示的流程图来进行排列区域的设置处理。

图像处理装置10选择第一图像中设置的排列区域（A1至An）中的一个（Ai（i的初始值是1））（S3003），并提取排列区域Ai中包含的特征点（a_is（其中s=1至Ns））（S3004）。另外，图像处理装置10基于排列区域Ai中设置的基准线与排列区域Ai中包含的特征点之间的位置关系生成特征数据CAi（波形数据）（S3005）。

图像处理装置10选择第二图像中设置的排列区域（B1至Bm）中的一个（Bj（j的初始值是1））（S3006），并提取排列区域Bj中包含的特征点（b_jt（其中t=1至Mt））（S3007）。另外，图像处理装置10基于排列区域Bj中设置的基准线与排列区域Bj中包含的特征点之间的位置关系生成特征数据CBj（波形数据）（S3008）。

图像处理装置10在改变波形数据CAi和CBj的相对位置的同时，记录两个波形数据之间的相关性的最大值MAXij以及此时的特征点a_is和特征点b_jt二者的对应点（S3009）。

如果j未达到m（S3010：否），则图像处理装置10使j加1（S3011），并返回到步骤S3006，如果j达到了m（S3010：是），则确定i是否达到了n（S3012）。这里，如果i未达到n（S3012：否），则图像处理装置10把j设为1并使i加1（S3013），并返回到步骤S3004。如果i达到了n（S3012：是），则图像处理装置10识别与所记录的最大值MAXij中的最大的相对应的排列区域Ai和排列区域Bj的组（S3014），基于针对所识别的排列区域Ai和Bj记录的对应点确定第一图像和第二图像的对应点（S3015），并结束处理。

在上述根据本示例性实施方式的图像处理装置10中，识别包含字符串的第一图像和第二图像中的对应行（或列），并基于所识别的行确定对应点。因此，与未利用每行包含的特征点之间的位置关系将特征点相互关联起来的情况相比，提高了包含字符串的图像的对应点的识别精度。

另外，进行行区域间（或列区域间）的关联以对基于行区域（或列区域）中设置的基准线与行区域（或列区域）中包含的特征点之间的位置关系的波形进行比较，因此减轻了处理负荷。此外，在沿着行区域（或列区域）的骨架线设置基准线的情况下，即使行区域（或列区域）弯曲或旋转，行区域间（或列区域间）的相关度的计算精度也不会降低。

当然，本发明不限于上述示例性实施方式。例如，可以指定第一图像和多个第二图像，可以计算第一图像中设置的行区域（或列区域）与多个第二图像各个中设置的行区域（或列区域）之间的相关度，可以识别计算出了最大相关度的行区域（或列区域）的组，并且可以基于所识别出的行区域（或列区域）中包含的特征点之间的对应关系确定第一图像和从多个第二图像中选择的一个第二图像之间的对应点。

以上本发明的示例性实施方式的说明为了例示和说明而提供的。其不是穷尽性的，也不是要将本发明限定于所公开的精确形式。显然，对于本领域技术人员来说明可以有多种变化和变型。选择了实施方式进行说明以最好地解释本发明的原理及其实际应用，以使本领域技术人员能够理解本发明的各种实施方式，以及适合于所设想的具体用途的各种变型。旨在由所附权利要求及其等同来限定本发明的范围。

Claims

1.一种图像处理装置，其包括：

图像取得单元，其取得各包含字符串的第一图像和第二图像；

提取单元，其提取第一图像和第二图像各个中包含的特征点；

设置单元，其在第一图像和和第二图像中分别设置包含沿所述字符串的排列方向连续排列的多个字符的一个或多个部分区域；以及

识别单元，其将所述设置单元在所述第一图像中设置的部分区域中所包含的特征点的位置与所述设置单元在所述第二图像中设置的部分区域中所包含的特征点的位置进行比较，以识别在所述第二图像中设置的与在所述第一图像中设置的部分区域相对应的部分区域，并识别所识别的部分区域各个中的对应点。

2.根据权利要求1所述的图像处理装置，该图像处理装置还包括：

波形生成单元，其基于在各个部分区域中设置的基准线与该部分区域中包含的特征点之间的位置关系，生成表示该部分区域的特征的波形，

其中，所述识别单元基于所述波形生成单元针对所述设置单元在所述第一图像中设置的部分区域生成的波形、与所述波形生成单元针对所述设置单元在所述第二图像中设置的部分区域生成的波形之间的相关性，识别在所述第二图像中设置的与在所述第一图像中设置的部分区域相对应的部分区域，并识别所识别的部分区域各个中的对应点。

3.根据权利要求2所述的图像处理装置，该图像处理装置还包括：

沿着所述部分区域的骨架线设置所述基准线的单元。

4.根据权利要求2所述的图像处理装置，该图像处理装置还包括：

以与所述部分区域中包含的字符串的排列方向平行的方式设置所述基准线的单元。

5.一种图像处理方法，该图像处理方法包括以下步骤：

取得各包含字符串的第一图像和第二图像；

提取所述第一图像和所述第二图像各个中包含的特征点；

在所述第一图像和所述第二图像各个中设置包含沿所述字符串的排列方向连续排列的多个字符的一个或多个部分区域；以及

将所述第一图像中设置的部分区域中包含的特征点的位置与所述第二图像中设置的部分区域中包含的特征点的位置进行比较，以识别在所述第二图像中设置的与在所述第一图像中设置的部分区域相对应的部分区域，并识别所识别的部分区域各个中的对应点。