CN108205643B - 图像匹配方法和装置 - Google Patents

Abstract

本发明提供了一种新颖的图像匹配方法和装置。该图像匹配方法包括：提取X光图像和外观图像的轮廓线；确定X光图像和外观图像的轮廓线之间的相似度；以及如果X光图像和外观图像的轮廓线之间的相似度大于或者等于预设相似度阈值，则确定X图像和外观图像是针对同一物品的。根据本发明实施例的图像匹配方法和装置可以提高图像匹配的准确率，从而可以提高安检效率。

Description

图像匹配方法和装置

技术领域

本发明涉及安检领域，更具体地涉及一种图像匹配方法和装置。

背景技术

通常，在诸如地铁站、机场等安检应用场景中，可以利用安检机，例如，X光机来获取一系列物品的X光图像，并利用安装在安检机附近的影像采集装置，例如，摄像头来获取这些物品的外观图像。图3示出了布置有安检机和影像采集装置的示例安检场景的示意图。在图3所示的安检场景中，由于安检机和影像采集装置之间的相对位置固定，所以在安检机和影像采集装置均正常运行的情况下，同一物品的X光图像和外观图像的生成时间之间的差值基本固定。对于特定物品而言，可以基于该物品的X光图像的生成时间、以及X光图像和外观图像的生成时间之间的差值，来实现该物品的X光图像与外观图像的匹配。

由于安检机和安装在其附近的影像采集装置通常无法同时生成同一物品的X光图像和外观图像，例如，在图3所示的安检场景中，物品在通过安检机后可能要过一段时间才能到达影像采集装置的影像采集范围，所以可能发生以下情况：由于安检机停带、倒带、物品被安检机的出口铅门帘阻挡等原因，物品进入影像采集装置的影像采集范围的时间变得不确定，从而导致物品的X光图像与外观图像的匹配效果很差，例如，物品的X光图像匹配不到外观图像、或者物品的X光图像被错误地匹配到另一物品的外观图像等。

发明内容

鉴于以上所述的一个或多个问题，本发明提供了一种新颖的图像匹配方法和装置。

根据本发明实施例的图像匹配方法，包括：提取X光图像和外观图像的轮廓线；确定X光图像和外观图像的轮廓线之间的相似度；以及如果X光图像和外观图像的轮廓线之间的相似度大于或者等于预设相似度阈值，则确定X图像和外观图像是针对同一物品的。

根据本发明实施例的图像匹配装置，包括：轮廓线提取单元，被配置为提取X光图像和外观图像的轮廓线；相似度确定单元，被配置为确定X光图像和外观图像的轮廓线之间的相似度；以及匹配确定单元，被配置为在X光图像和外观图像的轮廓线之间的相似度大于或者等于预设相似度阈值的情况下，确定X图像和外观图像是针对同一物品的。

根据本发明实施例的图像匹配方法和装置可以提高图像匹配准确率，从而可以提高安检效率。

附图说明

通过阅读以下参照附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显，其中，相同或相似的附图标记表示相同或相似的特征。

图1示出了根据本发明实施例的图像匹配装置的框图；

图2示出了根据本发明实施例的图像匹配方法的流程图；

图3示出了布置有安检机和影像采集装置的示例安检场景的示意图；

图4示出了能够实现根据本发明实施例的图像匹配方法和装置的计算设备的示例性硬件架构的结构图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式；相反，提供这些实施方式使得本发明更全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中，为了清晰，可能夸大了区域和层的厚度。在图中相同的附图标记表示相同或类似的结构，因而将省略它们的详细描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有所述特定细节中的一个或更多，或者可以采用其它的方法、组元、材料等。在其它情况下，不详细示出或描述公知结构、材料或者操作以避免模糊本发明的主要技术创意。

在图3所示的安检场景中，通常可以通过以下图像匹配方法来找出与针对某物品的X光图像相匹配的外观图像，即针对该物品的外观图像。具体地，该图像匹配方法包括：预先测定在特定安检场景中针对同一物品的X光图像和外观图像的生成时间之间的差值；对于特定X光图像，基于该X光图像的生成时间以及上述差值，计算与该X光图像相匹配的外观图像的生成时间，从而找出与该X光图像相匹配的外观图像，即，与该X光图像针对同一物品的外观图像。

在图3所示的安检场景中，针对某物品的外观图像的生成时间是针对该物品的X光图像的生成时间与上述差值相加得到的时间。本领域技术人员应该明白的是，虽然图3示出了物品先进入安检机然后进入影像采集装置的影像采集范围的安检场景，但是在物品先进入影像采集装置的影像采集范围然后进入安检机的安检场景中上述图像匹配方法同样适用，只是针对某物品的外观图像的生成时间变成了针对该物品的X光图像的生成时间与上述差值相减得到的时间。

在安检机和影像采集装置均正常运行的情况下，利用上述图像匹配方法可以很简单地确定针对同一物品的X光图像和外观图像。但是，在安检机停带、倒带、物品被安检机的出口/入口铅门帘阻挡的情况下，利用上述图像匹配方法无法准确地匹配针对同一物品的X光图像和外观图像。

因此，本发明提供了一种新颖的图像匹配方法和装置，来提高图像匹配的准确率(即，确保X光图像都能匹配到正确的外观图像)。图1示出了根据本发明实施例的图像匹配装置的框图。图2示出了根据本发明实施例的图像匹配方法的流程图。下面结合图1和图2，详细描述根据本发明实施例的图像匹配装置和方法。

如图1所示，根据本发明实施例的图像匹配装置100包括轮廓线提取单元102、相似度确定单元104、以及匹配确定单元106，其中：轮廓线提取单元102被配置为提取X光图像和外观图像的轮廓线，即执行步骤S202；相似度确定单元104被配置为确定X光图像和外观图像的轮廓线之间的相似度，即执行步骤S204；匹配确定单元106被配置为在X光图像和外观图像的轮廓线之间的相似度大于或者等于预设相似度阈值的情况下，确定X图像和外观图像是针对同一物品的，即执行步骤S206。

在一些实施例中，匹配确定单元106还可以被配置为在X光图像和外观图像的轮廓线之间的相似度小于预设相似度阈值的情况下，确定X图像和外观图像不是针对同一物品的。根据本发明实施例的图像匹配装置和方法可以避免因为安检机停带、倒带、物品被安检机的出口/入口铅门帘阻挡等原因导致的匹配错误，提高图像匹配准确率，从而提高安检效率。

在一些实施例中，根据本发明实施例的图像匹配装置100还可以包括图像选择单元(图中未示出)，被配置为选择生成时间处于X光图像的生成时间之前或之后的预设时间段中一个或多个外观图像中的任意一个与X光图像进行匹配。这里，只要该预设时间段的长度设置得足够长，就可以避免因为安检机停带、倒带、物品被安检机的出口/入口铅门帘阻挡等原因导致的匹配失败，即可以确保X光图像都能匹配到外观图像，从而提高图像匹配的成功率。当然，为了保证图像匹配的效率，可以根据经验将预设时间段的长度设置为合适的值。

在一些实施例中，轮廓线提取单元102可以通过以下处理来获取X光图像和外观图像的轮廓线：将X光图像和外观图像转化为灰度图像；以及对X光图像和外观图像的灰度图像进行二值化，从而提取X光图像和外观图像的轮廓线。通过将X光图像和外观图像转化为灰度图像，可以得到X光图像和外观图像的、包括诸如，灰度图像上的纹理之类的噪声的粗略轮廓线；将X光图像和外观图像的灰度图像进行二值化，可以有效减少灰度图像表面上的各种纹理对轮廓线提取的干扰；因为如果不对X光图像和外观图像的灰度图像进行二值化，灰度图像表面上的各种纹理也会被识别为轮廓线，造成轮廓线识别数量过多，影响图像匹配的准确性和效率。

这里，在对X光图像和外观图像的灰度值进行二值化的过程中所使用的二值化阈值可以通过试验得出，并且可以根据实际情况进行调整。在本实施例中，在对X光图像和/或外观图像的灰度图像进行二值化的过程中所使用的二值化阈值可以是15到35之间的任意灰度级；对于X光图像/外观图像的灰度图像中的任意一个像素，如果该像素的灰度值小于二值化阈值，则认为该像素对应于背景，否则认为该像素对应于物品。

本领域技术人员应该明白的是，提取X光图像和外观图像的轮廓线的方法不限于以上所述的方法，轮廓线提取单元102也可以利用本领域技术人员公知的其他方法来提取X光图像和外观图像的轮廓线。

在实际的安检场景中，由于物品的X光图像和外观图像分别由安检机和影像采集装置独立生成，而安检机和影像采集装置相对于物品的相对位置并不完全相同，所以针对同一物品的X光图像和外观图像通常会存在大小和角度的不同。因此，在对X光图像和外观图像进行图像匹配时，应该关注这些图像中的物品的轮廓形状，并排除缩放、旋转等干扰因素。

在一些实施例中，相似度确定单元104可以通过以下处理来确定X光图像和外观图像的轮廓线之间的相似度：确定X光图像和外观图像的轮廓线的几何不变矩(Hu矩)；确定X光图像和外观图像的轮廓线的几何不变矩之间的差异度量，作为X光图像和外观图像的轮廓线之间的相似度。

本领域技术人员应该明白的是，确定X光图像和外观图像的轮廓线之间的相似度的方法不限于以上所述的方法，相似度确定单元104也可以利用本领域技术人员公知的其他方法来确定X光图像和外观图像的轮廓线之间的相似度。例如，相似度确定单元104可以确定X光图像和外观图像的轮廓线的其他表征值之间的差值，作为它们的轮廓线之间的相似度，只要该表征值能够较为准确地反映出轮廓线的各个部分的相对位置关系即可。

这里，在确定X光图像和外观图像是否针对同一物品的过程中所使用的预设相似度阈值可以通过试验得出，并且可以根据实际情况进行调整。在利用X光图像和外观图像的轮廓线的几何不变矩之间的差异度量作为它们之间的相似度的情况下，可以将预设相似度阈值设置为0.3。这里，两条轮廓线的几何不变距之间的差异值越小，表明两条轮廓线越相似，它们对应于同一物品的可能性越大。

图4示出了能够实现根据本发明实施例的图像匹配方法和装置的计算设备的示例性硬件架构的结构图。如图4所示，计算设备400包括输入设备401、输入接口402、中央处理器403、存储器404、输出接口405、以及输出设备406。其中，输入接口402、中央处理器403、存储器404、以及输出接口405通过总线410相互连接，输入设备401和输出设备406分别通过输入接口402和输出接口405与总线410连接，进而与计算设备400的其他组件连接。具体地，输入设备401分别从安检机和影像采集装置接收X光图像和外观图像，并通过输入接口402将X光图像和外观图像传送到中央处理器403；中央处理器403基于存储器404中存储的计算机可执行指令对X光图像和外观图像进行图像匹配，以确定指示X光图像和外观图像是否针对同一物品的的输出信息，将输出信息临时或者永久地存储在存储器404中，然后通过输出接口405将输出信息传送到输出设备406；输出设备406将输出信息输出到计算设备400的外部供用户使用。

也就是说，图1所示的图像匹配装置100也可以被实现为包括：存储有计算机可执行指令的存储器；以及处理器，该处理器在执行计算机可执行指令时可以实现结合图1和图2描述的图像匹配方法和装置。这里，处理器可以基于来自安检机和影像采集装置的X光图片和外观图像执行计算机可执行指令，从而实现结合图1和图2描述的图像匹配方法和装置。

需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

本发明可以以其他的具体形式实现，而不脱离其精神和本质特征。例如，特定实施例中所描述的算法可以被修改，而系统体系结构并不脱离本发明的基本精神。因此，当前的实施例在所有方面都被看作是示例性的而非限定性的，本发明的范围由所附权利要求而非上述描述定义，并且，落入权利要求的含义和等同物的范围内的全部改变从而都被包括在本发明的范围之中。

Claims (8)

1.一种图像匹配方法，包括：

提取X光图像和外观图像的轮廓线；

确定所述X光图像和所述外观图像的轮廓线之间的相似度；以及

如果所述X光图像和所述外观图像的轮廓线之间的相似度大于或者等于预设相似度阈值，则确定所述X光图像和所述外观图像是针对同一物品的；

其中，选择生成时间处于所述X光图像的生成时间之前或之后的预设时间段中的一个或多个外观图像中的任意一个与所述X光图像进行匹配，其中

所述预设时间段与生成所述X光图像的安检机与生成所述一个或多个外观图像的影像采集装置之间的位置关系、以及所述安检机的传送带的转速有关。

2.根据权利要求1所述的图像匹配方法，其中，如果所述X光图像和所述外观图像的轮廓线之间的相似度小于所述预设相似度阈值，则确定所述X光图像和所述外观图像不是针对同一物品的。

3.根据权利要求1所述的图像匹配方法，其中，提取所述X光图像和所述外观图像的轮廓线的处理包括：

将所述X光图像和所述外观图像转化为灰度图像；以及

对所述X光图像和所述外观图像的灰度图像进行二值化，从而提取所述X光图像和所述外观图像的轮廓线。

4.根据权利要求1所述的图像匹配方法，其中，确定所述X光图像和所述外观图像的轮廓线之间的相似度的处理包括：

确定所述X光图像和所述外观图像的轮廓线的几何不变矩；

确定所述X光图像和所述外观图像的轮廓线的几何不变矩之间的差异度量，作为所述X光图像和所述外观图像的轮廓线之间的相似度。

5.一种图像匹配装置，包括：

轮廓线提取单元，被配置为提取X光图像和外观图像的轮廓线；

相似度确定单元，被配置为确定所述X光图像和所述外观图像的轮廓线之间的相似度；以及

匹配确定单元，被配置为在所述X光图像和所述外观图像的轮廓线之间的相似度大于或者等于预设相似度阈值的情况下，确定所述X光图像和所述外观图像是针对同一物品的；

图像选择单元，被配置为选择生成时间处于所述X光图像的生成时间之前或之后的预设时间段中的一个或多个外观图像中的任意一个与所述X光图像进行匹配，其中

所述预设时间段与生成所述X光图像的安检机和生成所述一个或多个外观图像的影像采集装置之间的位置关系、以及所述安检机的传送带的转速有关。

6.根据权利要求5所述的图像匹配装置，其中，所述匹配确定单元还被配置为在所述X光图像和所述外观图像的轮廓线之间的相似度小于所述预设相似度阈值的情况下，确定所述X光图像和所述外观图像不是针对同一物品的。

7.根据权利要求5所述的图像匹配装置，其中，所述轮廓线提取单元还被配置为：

将所述X光图像和所述外观图像转化为灰度图像；以及

对所述X光图像和所述外观图像的灰度图像进行二值化，从而提取所述X光图像和所述外观图像的轮廓线。

8.根据权利要求5所述的图像匹配装置，其中，所述相似度确定单元还被配置为：

确定所述X光图像和所述外观图像的轮廓线的几何不变矩；

确定所述X光图像和所述外观图像的轮廓线的几何不变矩之间的差异度量，作为所述X光图像和所述外观图像的轮廓线之间的相似度。

Images