CN103942757B - 基于内容特征的图像碎片匹配方法和系统 - Google Patents

Abstract

本公开提供一种基于内容特征的图像碎片匹配方法和系统，该方法包括：提取第一图像碎片的第一边缘，提取第二图像碎片的第二边缘；沿着所述第一边缘和第二边缘提取各自的图像碎片上的内容的特征点；提取第一图像碎片和第二图像碎片上的内容经过特征点的线段或弧线的方向信息作为特征向量；比较所述第一图像碎片和第二图像碎片的内容的特征点和特征向量的匹配度，来确定第一图像碎片与第二图像碎片是否匹配。本技术能够有效解决图像碎片的拼接过程中大量具有相似、相近、相同边缘的候选碎片的更准确匹配的问题，从而大量减少例如破碎文件证据复原所需的人力和时间成本。

Description

基于内容特征的图像碎片匹配方法和系统

技术领域

本公开一般涉及图像处理以及图形学技术领域，且更具体地，涉及一种基于内容特征的图像碎片匹配技术。

背景技术

目前，纸质碎片的计算机自动合成在许多领域都有应用，例如，在公安领域，文件物证是《刑事诉讼法》中规定的具有法律效力的七种证据之一，能够证明案件事实，提供犯罪嫌疑人的语言、指纹、笔迹、文件的成分、污损、伪造等多方面的信息。但是，在各类案件的侦查过程中，经常难以获得完整的文件物证，犯罪嫌疑人为了逃避责任，往往故意撕毁文件、毁灭证据。在侦查办案过程中，一般根据碎片上的手写字迹、图文、线条等内容，及纸张正反面性状和碎片边缘痕迹形态，人工逐块进行拼接。但是由于效率低下，严重影了响侦查破案工作的进行。再如，在文物保护领域，文物勘探的现场存在大量的文物碎片，碎片的合成是一项费时、费力的艰苦工作。还有碎纸机误粉碎了纸质文件，需要碎片还原等众多领域。

长期以来，对碎片的拼接复原通常采用手工方式。人工拼接费时、费力，进展缓慢。这就促使了用计算机自动合成碎片问题的研究。基于边缘轮廓的二维碎片自动拼接研究较多，该问题可以分为两个步骤：局部轮廓匹配和全局恢复重建（简称为全局匹配）。目前国内外的相关研究主要集中在局部轮廓匹配部分，主要考虑局部边界、局部角点的情况来判断是否达到最佳匹配的效果。目前对全局恢复重建方法的研究还比较少。全局恢复重建的方法主要有两种：一种是通过每次在候选匹匹配中选取最佳的一对，对其进行拼合处理，然后重复这个过程，直到实现全局拼接；另一种是对所有匹匹配的全局拼接可能性进行搜索，得到全局的拼接结果。第一种方法可能会抛弃很多正确的匹配，从而降低了拼接的效率。此外，由于其碎片形状的不规则性，会存在大量的不合法匹匹配，因此第二种方法的搜索过程也会大大降低拼接的效率。

但是，以上拼接方式都是基于对碎片的边缘的形状来进行的。由于偶然的原因，许多碎片的边缘的形状都是相似、相近的，甚至是相同的（例如，犯罪嫌疑人将若干张文件同时撕毁的碎片边缘；特别是，目前广为存在的用碎纸机粉碎的碎片边缘等），传统技术无法根据碎片边缘的形状进行准确的自动拟合拼接。

发明内容

为了能有效解决根据碎片边缘痕迹进行拟合中因偶然因素将相似、相近甚至相同碎片边缘假拟合成功的问题，本公开提出一种基于碎片文件内容特征的拟合方法。该技术在碎片边缘拟合的基础上，进一步根据两个碎片边缘的内容特征进行碎片拟合。

根据本公开的一个方面，提供一种基于内容特征的图像碎片匹配方法，包括：提取第一图像碎片的第一边缘，提取第二图像碎片的第二边缘；沿着所述第一边缘和第二边缘提取各自的图像碎片上的内容的特征点；提取第一图像碎片和第二图像碎片上的内容经过特征点的线段或弧线的方向信息作为特征向量；比较所述第一图像碎片和第二图像碎片的内容的特征点和特征向量的匹配度，来确定第一图像碎片与第二图像碎片是否匹配。

根据本公开的一个方面，提供一种基于内容特征的图像碎片匹配系统，包括：边缘提取装置，被配置为提取第一图像碎片的第一边缘，提取第二图像碎片的第二边缘；特征点提取装置，被配置为沿着所述第一边缘和第二边缘提取各自的图像碎片上的内容的特征点；特征向量提取装置，被配置为提取第一图像碎片和第二图像碎片上的内容经过特征点的线段或弧线的方向信息作为特征向量；比较装置，被配置为比较所述第一图像碎片和第二图像碎片的内容的特征点和特征向量的匹配度，来确定第一图像碎片与第二图像碎片是否匹配。

本公开在碎片轮廓边缘拟合的基础上，进一步利用碎片中文字、图、表等内容信息特征进行碎片拼接复原，能有效解决上述问题。具体包括碎片数字化、图像预处理、提取特征点和特征向量、碎片拼接与展示四个步骤。其中，特征点和特征向量提取是关键和创新点。该方法首先将边缘图像矢量化，并提取轮廓拐点的信息。然后，将图像内容（如文字的横、竖、撇、捺和图形的线段等）矢量化，提取与轮廓边缘交叉的内容特征信息。最终，形成碎片的矢量信息（图形化的边缘和内容）。本公开在图像碎片边缘匹配的基础上，进一步考量碎片边缘的内容信息特征，能显著提高碎片的计算机自动匹配的正确性和精度。

附图说明

图1示出了应用本公开的示例硬件环境框图。

图2示出了根据本技术的一个实施例的基于内容特征的图像碎片匹配方法的示例流程图。

图3A和3B示出了根据本技术的一个实施例的基于内容特征的图像碎片匹配方法中的输入的图像碎片的示例图。

图4A和4B示出了根据本技术的一个实施例的基于内容特征的图像碎片匹配方法中的提取图像碎片的特征点的示意图。

图5中的(a)、(b)、(c)、(d)、（e）、（f）示出了根据本技术的一个实施例的基于内容特征的图像碎片匹配方法中的提取图像碎片的特征点的示意图。

图6示出了根据本技术的一个实施例的基于内容特征的图像碎片匹配方法中的提取图像碎片的特征点和特征向量的示意图。

图7示出了根据本技术的一个实施例的基于内容特征的图像碎片匹配方法中的图像碎片匹配结果的示意图。

图8示出了根据本技术的一个实施例的基于内容特征的图像碎片匹配系统的示例方框图。

具体实施方式

现在将详细参照本发明的具体实施例，在附图中例示了本发明的例子。尽管将结合具体实施例描述本发明，但将理解，不是想要将本发明限于所述的实施例。相反，想要覆盖由所附权利要求限定的在本发明的精神和范围内包括的变更、修改和等价物。应注意，这里描述的方法步骤都可以由任何功能块或功能布置来实现，且任何功能块或功能布置可被实现为物理实体或逻辑实体、或者两者的组合。

为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。

为了便于理解，将在该章节中解释一些现有技术中的术语或词汇、以及在本公开中为方便说明而定义的术语或词汇。这些术语或词汇的解释如果与现有技术中常用或惯用的术语或词汇的解释相冲突，应按照本公开所公开的发明原理来合理判断适用何种解释。

碎片内容：是指碎片中的文字、图、表等信息。

特征点：是指碎片内容与碎片边缘的交叉点。

特征向量：是指碎片内容通过特征点的线段的向量或弧线的切线向量。

碎片内容特征：是指碎片中的文字、图、表等内容信息在碎片边缘留下的特征点和特征向量的总称。

图1示出了应用本技术的示例硬件环境框图。

一个通用的硬件系统包括随机存取存储器（RAM）（H1）、只读存储器（ROM）（H2）、数据总线（H3）、重要处理单元/数字信号处理器（CPU/DSP）（H4）、输入/输出总线（H5），显示屏（H6）以及输入/输出设备（H7）等。例如，本技术中的实施例的基于内容特征的图像碎片匹配方法可以在图1所示的CPU/DSP中执行，且执行结果、例如匹配结果和拼接结果可以被显示在显示屏（H6）上，或输出到输出设备（H7）。

图2示出了根据本技术的一个实施例的基于内容特征的图像碎片匹配方法的示例流程图。

如图2所示的基于内容特征的图像碎片匹配方法200包括：步骤201，提取第一图像碎片的第一边缘，提取第二图像碎片的第二边缘；步骤202，沿着所述第一边缘和第二边缘提取各自的图像碎片上的内容的特征点；步骤203，提取第一图像碎片和第二图像碎片上的内容经过特征点的线段或弧线的方向信息作为特征向量；步骤204，比较所述第一图像碎片和第二图像碎片的内容的特征点和特征向量的匹配度，来确定第一图像碎片与第二图像碎片是否匹配。

如此，至少基于图像碎片上的边缘处的内容的特征，来确定图像碎片的匹配，这样不仅可以考虑图像碎片的边缘的形状，还考虑图像碎片的边缘上的内容的特征，从而更准确地找到真正匹配的图像碎片，从而进行拼接来得到撕碎前的完整图像，例如有助于警察破案、文物恢复等等示例应用领域。

具体地，可以基于图像碎片上的边缘处的内容的特征点和/或特征向量的匹配，来确定图像碎片的匹配，这样能比仅考虑边缘的形状更准确地匹配合适的图像碎片。

该方法200还可以包括：在所述特征点的比较之前，可以比较所述第一边缘与所述第二边缘的形状，来确定所述第一边缘和所述第二边缘是否匹配。然后，在所述第一边缘与第二边缘匹配的情况下，可以进行所述特征点的比较。

如此，在首先判断两个图像碎片的边缘的形状匹配的情况下，再进行边缘上的内容的特征的比对，能够减少边缘的形状不匹配而造成的内容的特征的误匹配，且能够更准确地找到匹配的图像碎片。

在一个实施例中，所述特征点可以包括图像碎片上的内容与边缘的交叉点，且特征向量可以包括图像碎片上的内容经过特征点的线段的斜率或弧线的切线斜率。

在一个实施例中，所述特征点和特征向量的匹配度可以包括如下中的至少一种：特征点的位置的匹配度、特征点的个数的匹配度、特征向量的斜率的匹配度等。为了达到更准确的匹配，可以通过采用更多的参数的匹配来实现。

在一个实施例中，所述特征点可以通过检测图像碎片的边缘上的内容的外轮廓矢量与内轮廓矢量的交集来得到。当然这仅是一种方式，可以通过现有的其他算法来得到边缘处的内容的特征点。

在一个实施例中，所述特征向量可以通过如下步骤得到：以特征点为起点，在碎片图像中内容的内轮廓，直至拐点或像素点大于设定的阈值的点，则该点为终点；连接上述起点和终点，其结果近似为直线或弧线；若为直线，计算其斜率；若为曲线，计算其在特征点处的切线斜率。

该方法200还可以包括：在所述特征点的比较之前，通过第一图像碎片和第二图像碎片的缩放、旋转、平移中的至少一种来对准所述第一图像碎片和第二图像碎片的边缘。如此，不论当各图像碎片是通过撕裂、破碎而形成的（即刚体的破碎）还是存在皱褶、扭曲、破损等情况，都可以通过缩放、旋转、平移、变形等来对准第一图像碎片和第二图像碎片，从而获得更准确的匹配。

在此，图像的缩放、旋转、平移等都是图像处理中的传统技术，在此不一一赘述。

在一个实施例中，所述图像碎片上的内容可以包括如下中的至少一种：文字、图、表、文字的横、竖、撇、捺和图、表形的线段或其他内容信息。

在一个实施例中，该方法200还可以包括：将匹配的第一图像碎片和第二图像碎片按照各自的边缘拼接到一起。如此，可以拼接根据本技术匹配的图像碎片，从而将所有图像碎片拼接到一起，形成完整的原始图像，从而有助于警察破案、文物恢复等等示例应用领域。

下面以具体的碎片为示例来阐述根据本技术的各个实施例的处理细节。

图3A和3B示出了根据本技术的一个实施例的基于内容特征的图像碎片匹配方法中的输入的图像碎片的示例图。

可选地，假设在犯罪现场收集到的纸质碎片进行图像扫描（或拍照等其他获得碎片图像的方式），获得例如如图3A和3B所示的JPEG、TIFF、PNG、BMP等格式的碎片图像。从图中可以看到，图3A所示的上半部分，白色的部分是例如纸的碎片，而上面的阴影部分则是该碎片上的部分内容。图3B所示的下半部分，白色的部分是例如纸的碎片，而下面的阴影部分则是该碎片上的部分内容。

图4A和4B示出了根据本技术的一个实施例的基于内容特征的图像碎片匹配方法中的提取图像碎片的特征点的示意图。

接下来，可选地，对这些图像碎片进行预处理，例如，包括将彩色图像转换成灰度图像，对灰度图像进行滤波、直方图分析和灰度变换等。当然该预处理不是必需的，而是可选的。接下来，采用可选的现有技术边缘识别算法（例如canny算子）对经过预处理的图像碎片进行边缘识别，得到图像碎片的边缘图像和内容图像信息，如图4A和4B所示。当然，边缘识别可以利用传统技术中的除了canny算子以外的算法来实现，在此不一一赘述。

图5中的(a)、(b)、(c)、(d)、（e）、（f）示出了根据本技术的一个实施例的基于内容特征的图像碎片匹配方法中的提取图像碎片的特征点的示意图。

接下来，可以提取图像碎片上的内容在边缘处的特征点。所谓特征点可以指碎片内容与碎片边缘的交叉点，例如图5中的(a)、(b)、(c)、(d)、（e）、（f）所示的图中的边缘处的圆圈表示。

具体地，示例地，首先根据碎片的边缘图像的处理结果，读取外层轮廓的多边形点集，计算碎片边缘的外轮廓矢量。然后，可以根据内容图像的处理结果，读取内部特征的多边形点集，计算碎片边缘的内轮廓矢量。然后，求碎片边缘外轮廓和内轮廓的交集，从而得到内容在边缘处的特征点，并可选地记录到的数据结构中。

当然上述提取内容在边缘处的特征点的方式仅是示例，本领域技术人员可以利用现有的提取特征点的方式来进行。

图6示出了根据本技术的一个实施例的基于内容特征的图像碎片匹配方法中的提取图像碎片的特征点和特征向量的示意图。

如前所述，可以基于图像碎片上的边缘处的内容的特征点和/或特征向量的匹配，来确定图像碎片的匹配，这样比仅考虑边缘的形状，进一步考虑特征点和特征向量可以更准确地匹配合适的图像碎片。

具体地，获得特征向量的示例方式可以包括：

图像追踪：以特征点为起点，在碎片图像中内容的内轮廓（如图6所示的从特征点开始的线条），直至拐点或像素点大于设定的阈值的点，则该点为终点（例如图5中的除了边缘上的圆圈以外的圆圈，即终点）；

矢量化：将追踪的内容内部轮廓矢量化（即，连接上述起点和终点），其结果近似为直线或弧线（如图6所示）；

计算特征向量：若为直线，计算并可选地保存其斜率（如图6所示）；若为曲线，计算并可选地保存其在特征点处的切线斜率（如图6所示）。

当然，上述获得特征向量的方式仅为示例，本领域技术人员可构思其他方式来获得图像碎片上的内容经过特征点的线段或弧线的方向信息。

接下来，优选地，可以通过碎片图像上的边缘的内容的特征点和各个特征点的特征向量一起的相似程度，来进一步加强碎片图像匹配的准确性。当然，在其他实施例中，也可以仅考虑边缘的内容的特征点来进行碎片图像匹配以得到相对还不错的图像匹配效果，另外，甚至还可以仅考虑边缘的内容的特征向量来进行碎片图像匹配，在此不赘述。

接下来，可以通过各碎片边缘图形之间边缘和内容的特征点和/或甚至特征向量的相似程度，进行碎片边缘的比对、拟合，从而将犯罪现场的碎片准确地拼接、复原为原始图像。具体地，可以先按照两个碎片的边缘比对，在边缘比对成功的前提下，再比对边缘的内容特征。接下来，得到所有碎片之间的最佳边缘匹匹配，然后将该两个碎片合并，在原始的碎片集中删除该两个碎片，并增加新合并的碎片，再反复调用上述算法，即可完成所有碎片的自动比对和拼接合并过程。

图7示出了根据本技术的一个实施例的基于内容特征的图像碎片匹配方法中的图像碎片匹配结果的示意图。

如图5所示的多种图像碎片，其中它们具有几乎相同的碎片边缘，在传统技术中仅利用边缘的边缘比对算法很难将它们准确地匹配，例如，在传统技术中可能将图5（a）的下半个“田”与图5（d）的上半个“人”匹配。然而，本技术可按照边缘上的内容的特征点和/或特征向量来更正确地选择匹配的碎片，从而能够还原出如图7所示的匹配和拼接结果。

由此可见，根据本技术的各个实施例，可以通过各碎片边缘图形之间边缘和内容的特征点和/或甚至特征向量的相似程度，进行碎片边缘的比对、拟合，从而将犯罪现场的碎片准确地拼接、复原为原始图像。

注意，以上提到比较两个对象以及判断两个对象是否相似或相同，可以通常设置一个相似度阈值，来将两者的差别小于该相似度阈值，则认为两者是相似的，或认为两者是匹配的。在此并不限制本公开中的比较为必需完全相等或相同。

图8示出了根据本技术的一个实施例的基于内容特征的图像碎片匹配系统800的示例方框图。

图8所示的系统800包括：边缘提取装置801，被配置为提取第一图像碎片的第一边缘，提取第二图像碎片的第二边缘；特征点提取装置802，被配置为沿着所述第一边缘和第二边缘提取各自的图像碎片上的内容的特征点；特征向量提取装置803，被配置为提取第一图像碎片和第二图像碎片上的内容经过特征点的线段或弧线的方向信息作为特征向量；比较装置804，被配置为比较所述第一图像碎片和第二图像碎片的内容的特征点和特征向量的匹配度，来确定第一图像碎片与第二图像碎片是否匹配。

如此，至少基于图像碎片上的边缘处的内容的特征，来确定图像碎片的匹配，这样不仅可以考虑图像碎片的边缘的形状，还考虑图像碎片的边缘上的内容的特征，从而更准确地找到真正匹配的图像碎片，从而进行拼接来得到撕碎前的完整图像，来例如有助于警察破案、文物恢复等等示例应用领域。

如此，可以基于图像碎片上的边缘处的内容的特征点和/或特征向量的匹配，来确定图像碎片的匹配，这样比仅考虑边缘的形状，进一步考虑特征点和特征向量可以更准确地匹配合适的图像碎片。

该系统800还可以包括：边缘比较装置（未示出），被配置为在所述特征点的比较之前，可以比较所述第一边缘与所述第二边缘的形状，来确定所述第一边缘和所述第二边缘是否匹配。然后，所述比较装置803可以被配置为在所述第一边缘与第二边缘匹配的情况下，进行所述特征点的比较。

如此，在首先判断两个图像碎片的边缘的形状匹配的情况下，再进行边缘上的内容的特征的比对，能够减少边缘的形状不匹配而造成的内容的特征的误匹配，且能够更准确地找到匹配的图像碎片。

在一个实施例中，所述特征点可以包括图像碎片上的内容与边缘的交叉点，且特征向量可以包括图像碎片上的内容经过特征点的线段的斜率或弧线的切线斜率。

在一个实施例中，所述特征点和特征向量的匹配度可以包括如下中的至少一种：特征点的位置的匹配度、特征点的个数的匹配度、特征向量的斜率的匹配度等。为了达到更准确的匹配，可以通过采用更多的参数的匹配来实现。

在一个实施例中，所述特征点可以通过检测图像碎片的边缘上的内容的外轮廓矢量与内轮廓矢量的交集来得到。当然这仅是一种方式，可以通过现有的其他算法来得到边缘处的内容的特征点。

在一个实施例中，所述特征向量可以通过如下步骤得到：以特征点为起点，在碎片图像中内容的内轮廓，直至拐点或像素点大于设定的阈值的点，则该点为终点；连接上述起点和终点，其结果近似为直线或弧线；若为直线，计算其斜率；若为曲线，计算其在特征点处的切线斜率。

该系统800还可以包括：对准装置（未示出），被配置为在所述特征点的比较之前，通过第一图像碎片和第二图像碎片的缩放、旋转、平移中的至少一种来对准所述第一图像碎片和第二图像碎片的边缘。如此，不论当各图像碎片是通过撕裂、破碎而形成的（即刚体的破碎）还是存在皱褶、扭曲、破损等情况，都可以通过缩放、旋转、平移等来对准第一图像碎片和第二图像碎片，从而获得更准确的匹配。

在一个实施例中，所述图像碎片上的内容可以包括如下中的至少一种：文字、图、表、文字的横、竖、撇、捺和图形的线段或其他内容信息。

在一个实施例中，该系统800还可以包括：拼接装置（未示出），被配置为将匹配的第一图像碎片和第二图像碎片按照各自的边缘拼接到一起。如此，可以拼接根据本技术匹配的图像碎片，从而将所有图像碎片拼接到一起，形成完整的原始图像，从而有助于警察破案、文物恢复等等示例应用领域。

该系统还可以包括与上述描述方法时采用的步骤一一对应的装置。

本技术在碎片轮廓边缘拟合的基础上，进一步利用碎片中文字、图、表等内容信息特征进行碎片拼接复原，能有效解决上述问题。具体包括碎片数字化、图像预处理、提取特征点和特征向量、碎片拼接与展示四个步骤。其中，特征点和特征向量提取是关键和创新点。该方法首先将边缘图像矢量化，并提取轮廓拐点的信息。然后，将图像内容（如文字的横、竖、撇、捺和图形的线段等）矢量化，提取与轮廓边缘交叉的内容特征信息。最终，形成碎片的矢量信息（图形化的边缘和内容）。本方法在纸质碎片边缘匹配的基础上，进一步考量碎片边缘的内容信息特征，能显著提高碎片的计算机自动匹配的正确性和精度。

注意，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本发明的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本发明为必须采用上述具体的细节来实现。

本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

本公开中的步骤流程图以及以上方法描述仅作为例示性的例子并且不意图要求或暗示必须按照给出的顺序进行各个实施例的步骤。如本领域技术人员将认识到的，可以按任意顺序进行以上实施例中的步骤的顺序。诸如“其后”、“然后”、“接下来”等等的词语不意图限制步骤的顺序；这些词语仅用于引导读者通读这些方法的描述。此外，例如使用冠词“一个”、“一”或者“该”对于单数的要素的任何引用不被解释为将该要素限制为单数。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本发明。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本发明的范围。因此，本发明不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本发明的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

以上所述的方法的各个操作可以通过能够进行相应的功能的任何适当的手段而进行。该手段可以包括各种硬件和/或软件组件和/或模块，包括但不限于电路、专用集成电路（ASIC）或处理器。

可以利用被设计用于进行在此所述的功能的通用处理器、数字信号处理器（DSP）、ASIC、场可编程门阵列信号（FPGA）或其他可编程逻辑器件（PLD）、离散门或晶体管逻辑、离散的硬件组件或者其任意组合而实现或进行所述的各个例示的逻辑块、模块和电路。通用处理器可以是微处理器，但是作为替换，该处理器可以是任何商业上可获得的处理器、控制器、微控制器或状态机。处理器还可以实现为计算设备的组合，例如DSP和微处理器的组合，多个微处理器、与DSP核协作的一个或多个微处理器或任何其他这样的配置。

结合本公开描述的方法或算法的步骤可以直接嵌入在硬件中、处理器执行的软件模块中或者这两种的组合中。软件模块可以存在于任何形式的有形存储介质中。可以使用的存储介质的一些例子包括随机存取存储器（RAM）、只读存储器（ROM）、快闪存储器、EPROM存储器、EEPROM存储器、寄存器、硬碟、可移动碟、CD-ROM等。存储介质可以耦接到处理器以便该处理器可以从该存储介质读取信息以及向该存储介质写信息。在替换方式中，存储介质可以与处理器是整体的。软件模块可以是单个指令或者许多指令，并且可以分布在几个不同的代码段上、不同的程序之间以及跨过多个存储介质。

在此公开的方法包括用于实现所述的方法的一个或多个动作。方法和/或动作可以彼此互换而不脱离权利要求的范围。换句话说，除非指定了动作的具体顺序，否则可以修改具体动作的顺序和/或使用而不脱离权利要求的范围。

所述的功能可以按硬件、软件、固件或其任意组合而实现。如果以软件实现，功能可以作为一个或多个指令存储在切实的计算机可读介质上。存储介质可以是可以由计算机访问的任何可用的切实介质。通过例子而不是限制，这样的计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光碟存储、磁碟存储或其他磁存储器件或者可以用于携带或存储指令或数据结构形式的期望的程序代码并且可以由计算机访问的任何其他切实介质。如在此使用的，碟（disk）和盘（disc）包括紧凑盘（CD）、激光盘、光盘、数字通用盘（DVD）、软碟和蓝光盘，其中碟通常磁地再现数据，而盘利用激光光学地再现数据。

因此，计算机程序产品可以进行在此给出的操作。例如，这样的计算机程序产品可以是具有有形存储（和/或编码）在其上的指令的计算机可读的有形介质，该指令可由一个或多个处理器执行以进行在此所述的操作。计算机程序产品可以包括包装的材料。

软件或指令也可以通过传输介质而传输。例如，可以使用诸如同轴电缆、光纤光缆、双绞线、数字订户线（DSL）或诸如红外、无线电或微波的无线技术的传输介质从网站、服务器或者其他远程源传输软件。

此外，用于进行在此所述的方法和技术的模块和/或其他适当的手段可以在适当时由用户终端和/或基站下载和/或其他方式获得。例如，这样的设备可以耦接到服务器以促进用于进行在此所述的方法的手段的传送。或者，在此所述的各种方法可以经由存储部件（例如RAM、ROM、诸如CD或软碟等的物理存储介质）提供，以便用户终端和/或基站可以在耦接到该设备或者向该设备提供存储部件时获得各种方法。此外，可以利用用于将在此所述的方法和技术提供给设备的任何其他适当的技术。

其他例子和实现方式在本公开和所附权利要求的范围和精神内。例如，由于软件的本质，以上所述的功能可以使用由处理器、硬件、固件、硬连线或这些的任意的组合执行的软件实现。实现功能的特征也可以物理地位于各个位置，包括被分发以便功能的部分在不同的物理位置处实现。而且，如在此使用的，包括在权利要求中使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“A、B或C的至少一个”的列举意味着A或B或C，或AB或AC或BC，或ABC（即A和B和C）。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。

可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本公开的和权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。

Claims (7)

1.一种基于内容特征的图像碎片匹配方法，包括：

提取第一图像碎片的第一边缘，提取第二图像碎片的第二边缘；

沿着所述第一边缘和第二边缘提取各自的图像碎片上的内容的特征点；

提取第一图像碎片和第二图像碎片上的内容经过特征点的线段或弧线的方向信息作为特征向量；

比较所述第一图像碎片和第二图像碎片的内容的特征点和特征向量的匹配度，来确定第一图像碎片与第二图像碎片是否匹配，其中，所述特征点和特征向量的匹配度包括：特征点的位置的匹配度、特征点的个数的匹配度、特征向量的斜率的匹配度，

其中，所述特征点是通过检测图像碎片的边缘上的内容的外轮廓矢量与内轮廓矢量的交集来得到的，

其中，所述特征向量通过如下步骤得到：

以特征点为起点，在碎片图像中内容的内轮廓，直至拐点或像素点大于设定的阈值的点，则该点为终点；

连接上述起点和终点，其结果近似为直线或弧线；

若为直线，计算其斜率；

若为曲线，计算其在特征点处的切线斜率。

2.根据权利要求1所述的方法，还包括：

在所述特征点的比较之前，比较所述第一边缘与所述第二边缘的形状，来确定所述第一边缘和所述第二边缘是否匹配，

其中，在所述第一边缘与第二边缘匹配的情况下，进行所述特征点的比较。

3.根据权利要求1所述的方法，其中，所述特征点包括图像碎片上的内容与边缘的交叉点，且特征向量包括图像碎片上的内容经过特征点的线段的斜率或弧线的切线斜率。

4.根据权利要求1所述的方法，还包括：

在所述特征点的比较之前，通过第一图像碎片和第二图像碎片的缩放、旋转、平移中的至少一种来对准所述第一图像碎片和第二图像碎片的边缘。

5.根据权利要求1所述的方法，其中，所述图像碎片上的内容包括如下中的至少一种：

文字、图、表、文字的横、竖、撇、捺和图、表形的线段。

6.根据权利要求1所述的方法，还包括：

将匹配的第一图像碎片和第二图像碎片按照各自的边缘拼接到一起。

7.一种基于内容特征的图像碎片匹配系统，包括：

边缘提取装置，被配置为提取第一图像碎片的第一边缘，提取第二图像碎片的第二边缘；

特征点提取装置，被配置为沿着所述第一边缘和第二边缘提取各自的图像碎片上的内容的特征点；

特征向量提取装置，被配置为提取第一图像碎片和第二图像碎片上的内容经过特征点的线段或弧线的方向信息作为特征向量；

比较装置，被配置为比较所述第一图像碎片和第二图像碎片的内容的特征点和特征向量的匹配度，来确定第一图像碎片与第二图像碎片是否匹配，其中，所述特征点和特征向量的匹配度包括：特征点的位置的匹配度、特征点的个数的匹配度、特征向量的斜率的匹配度，

其中，所述特征点提取装置通过检测图像碎片的边缘上的内容的外轮廓矢量与内轮廓矢量的交集来得到所述特征点，

其中，所述特征向量提取装置通过如下步骤得到所述特征向量：

以特征点为起点，在碎片图像中内容的内轮廓，直至拐点或像素点大于设定的阈值的点，则该点为终点；

连接上述起点和终点，其结果近似为直线或弧线；

若为直线，计算其斜率；

若为曲线，计算其在特征点处的切线斜率。