CN111290040A - 一种基于图像识别的主动式双视角关联的方法 - Google Patents

Abstract

本发明公开了一种基于图像识别的主动式双视角关联的方法，所述基于图像识别的主动式双视角关联方法包括如下步骤：由具有扫描功能的双视角安检机同步采集行李物品的侧视角和俯视角的X光图像；由具有图像轮廓提取功能的安检系统采集行李物品的侧视角和俯视角的X光图像；响应于接收到俯视角和侧视角图像的轮廓信息,由所述安检系统确定同一物品的双视角图像，并进行主动关联；响应于接收到违禁物信息，由安检系统在设置的过滤阈值下进行置信度比较，确定违禁物品信息的可信度；响应于接收到违禁物的可信度信息，由安检系统确定违禁物出现在双视角中的位置，响应于接收到的关联图像同步信息，由显示器形成关联物品同步视频流。

Description

一种基于图像识别的主动式双视角关联的方法

技术领域

本发明涉及智慧安检技术领域，具体为一种基于图像识别的主动式双视角关联的方法。

背景技术

安检机又名安全检查仪，安全检查仪的“火眼金睛”全靠X射线来实现，是一种借助于输送带将被检查行李送入X射线检查通道而完成检查的电子设备，行李进入X射线检查通道，将阻挡包裹检测传感器，检测信号被送往系统控制部分，产生X射线触发信号，触发X射线射线源发射X射线束，一束经过准直器的扇形X射线束穿过输送带上的被检物品，X射线被被检物品吸收，最后轰击安装在通道内的双能量半导体探测器，探测器把X射线转变为信号，这些很弱的信号被放大，并送到信号处理机箱做进一步处理，目前市场上双视角安检仪使用较为广泛，但是也存在着较多的问题。

1、双视角分别识别的违禁物信息彼此孤立

现有智慧安检系统从俯视角和侧视角对相同位置的包裹进行X光成像，经过深度学习模型识别出的违禁物信息彼此没有关联，呈现给安检人员的标注信息都是离散的，若从两个视角识别的违禁品是同一分类，且两个视角的违禁物的置信度都比较低，违禁物在两个视角的图像可能都不标注出来，不能给安检人员提示；若两个视角识别的同一违禁物时是不同分类，若都提示给用户，则有可能造成信息混乱；

2、图像反查工作比较困难

俯视角和侧视角生成的图像没有关联存储，找到主视角的包裹信息，需要花费很多精力才能找到侧视角对应的包裹信息。

而针对上述问题，现有技术的缺点主要是呈现的俯视角和侧视角的X光图像的违禁物信息是孤立的，针对同一包裹没有做信息的关联，安监人员需要在俯视角和侧视角扫描图像之间反复进行视线切换，长期以往容易造成颈部和眼部疲劳及损伤，同时，若不进行俯视角和侧视角视线的切换，又容易造成安检漏洞。

公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。

发明内容

本发明的目的在于提供一种基于图像识别的主动式双视角关联的方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供一种基于图像识别的主动式双视角关联的方法，所述基于图像识别的主动式双视角关联方法包括如下步骤：

由具有扫描功能的双视角安检机同步采集行李物品的侧视角和俯视角的X光图像；

响应于接收到所述双视角安检机扫描的物品侧视角和俯视角X光图像；

由具有图像轮廓提取功能的安检系统采集行李物品的侧视角和俯视角的X光图像；

响应于接收到行李物品的双视角X光图像，由所述安检系统提取俯视角和侧视角图像的轮廓信息；

响应于接收到俯视角和侧视角图像的轮廓信息,由所述安检系统确定同一物品的双视角图像，并进行主动关联；

响应于接收到俯视角和侧视角图像的轮廓信息,由安检系统进行二值化处理，并送入模型进行推理，得到违禁物品信息；

响应于接收到违禁物信息，由安检系统在设置的过滤阈值下进行置信度比较，确定违禁物品信息的可信度；

响应于侧视角和俯视角的阈值比较，由安检机确定物品是否包含违禁物及包含的违禁物是否是同一种类；

响应于接收到违禁物的可信度信息，由安检系统确定违禁物出现在双视角中的位置，并对关联的图像进行同步；

由具有视频流播放功能的显示器与安检系统建立HDMI连接；

响应于接收到的关联图像同步信息，由显示器形成关联物品同步视频流。

在一优选的实施方式中，基于图像识别的主动式双视角关联的方法包括如下步骤：

响应于接收到俯视角和侧视角的X光成像和轮廓信息,由安检系统分析安检物品的侧视角和俯视角的X光成像和轮廓图像，从而确定图像是否属于同一物体，具体分析算法如下：

若将包裹物品的俯视角和侧视角的X光成像采集到，设俯视角X光成像为f,侧视角X光成像为c，则经分析可知：

在同一台安检机输出的X光图像中f和c的分辨率是相同的；

对于同一包裹，在f和c中的位置、运动速度是相同的；

f和c是空间正交的；

在f和c是空间正交的前提下，若同一个物体在f和c中都能完整显示，则它的宽度相等；

响应于确定侧视角和俯视角的图像是否属于同一物体,并由安检系统将同一物体进行主动关联，关联步骤如下：

设模型为F，应当对f和c使用同一个模型F。

依据包裹轮廓产生的先后顺序，确定同一个包裹在f和c中提取的轮廓图像m和n，m∈f，n∈c，设R1＝F(m)，R2＝F(n)。

在一优选的实施方式中，基于图像识别的主动式双视角关联的方法包括如下步骤：

响应于接受到同一物体的轮廓图像m和n，由安检系统将m和n进行二值化处理后，分别送入模型库中进行推理，设m和n推理后得到违禁物信息为R1和R2，通过分析结构包含以下几种情况：

设定R1和R2的置信度分别为s1和s2；

若在设置的过滤阈值Y下，R1和R2中相同位置包含的违禁物是同一分类，,若F(s1，s2)＞Y,则需要把包含的违禁物提示给安检人员；

若在设置的过滤阈值Y下，R1和R2中相同位置包含的违禁物是同一分类，,若F(s1，s2)＜Y,则不需要把包含的违禁物提示给安检人员；

若在设置的过滤阈值Y下，R1,R2中相同位置包含的违禁物不是同一分类，且F(s1)＞Y＞F(s2)，则把R1中的违禁物类别同步到R2；

若在设置的过滤阈值Y下，R1,R2中相同位置包含的违禁物不是同一分类，且F(s2)＞Y＞F(s1)，则把R2中的违禁物类别同步到R1。

在一优选的实施方式中，基于图像识别的主动式双视角关联的方法包括如下步骤：

响应于接受到由安检系统根据R1和R2的阈值比较结果将分析结果通过HDMI连接同步至显示器上，并以视频流方式提示给安检人员。

与现有技术相比，本发明具有如下优点，随着科技的快速发展，各大厂家都推出了相应的智慧安检系统，其中双视角安检机渐渐成为主流，以深度学习为代表的新技术开始为安检工作进行赋能，使安检工作日渐智能化，提升了违禁物的检出率，但在节假日等客流密集的场所，乘客所携带的物品各种各样，现有的智慧安检系统虽说能够对不同视角X图像进行智能识别，但是二者的信息是彼此孤立的，图像排查工作困难，漏检率也比较高，如何将同一包裹中的违禁物信息进行关联是非常重要的问题。本发明的目的在于提供一种基于图像识别的主动式双视角关联的方法，以解决上述背景技术中提出的问题。

附图说明

图1为本发明一实施方式的主动式双视角关联的方法流程图；

图2为本发明一实施方式的主动式双视角关联的系统流程图。

具体实施方式

下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。

除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。

图1是本发明一实施方式的主动式双视角关联的方法流程图。如图所示，本发明的方法包括如下步骤：

步骤101：由具有扫描功能的双视角安检机同步采集行李物品的侧视角和俯视角的X光图像；行李物品通过安检机的传送带送入安检机内部，在安检机内侧部和顶部设置的X射线发射装置发射的扇形X射线束下形成侧视角和俯视角X光图像；

步骤102：响应于接收到双视角安检机扫描的物品侧视角和俯视角X光图像；安检机内置的双能量半导体探测器把X射线转变为信号，经过放大后送入安检系统中做进一步处理；

步骤103：由具有图像轮廓提取功能的安检系统采集行李物品的侧视角和俯视角的X光图像；安检系统将半导体探测器传输的侧视角和俯视角X光图像进行轮廓提取，从而进行下一步分析；

步骤104：响应于接收到行李物品的双视角X光图像，由安检系统提取俯视角和侧视角图像的轮廓信息；提取的侧视角和俯视角的轮廓信息通过安检系统进行进一步分析；

步骤105：响应于接收到俯视角和侧视角图像的轮廓信息,由安检系统确定同一物品的双视角图像，并进行主动关联；将同一物品的侧视角和俯视角轮廓信息进行关联，以便后续送入模型库中进行对比分析；

步骤106：响应于接收到俯视角和侧视角图像的轮廓信息,由安检系统进行二值化处理，并送入模型进行推理，得到违禁物品信息；

步骤107：响应于接收到违禁物信息，由安检系统在设置的过滤阈值下进行置信度比较，确定违禁物品信息的可信度；

步骤108：响应于侧视角和俯视角的阈值比较，由安检机确定物品是否包含违禁物及包含的违禁物是否是同一种类；

步骤109：响应于接收到违禁物的可信度信息，由安检系统确定违禁物出现在双视角中的位置，并对关联的图像进行同步；

步骤110：由具有视频流播放功能的显示器与安检系统建立HDMI连接；

步骤111：响应于接收到的关联图像同步信息，由显示器形成关联物品同步视频流。

在一优选的实施方式中，基于图像识别的主动式双视角关联的方法包括如下步骤：

响应于接收到俯视角和侧视角的X光成像和轮廓信息,由安检系统分析安检物品的侧视角和俯视角的X光成像和轮廓图像，从而确定图像是否属于同一物体，具体分析算法如下：

若将包裹物品的俯视角和侧视角的X光成像采集到，设俯视角X光成像为f,侧视角X光成像为c，则经分析可知：

在同一台安检机输出的X光图像中f和c的分辨率是相同的；

对于同一包裹，在f和c中的位置、运动速度是相同的；

f和c是空间正交的；

在f和c是空间正交的前提下，若同一个物体在f和c中都能完整显示，则它的宽度相等；

响应于确定侧视角和俯视角的图像是否属于同一物体,并由安检系统将同一物体进行主动关联，关联步骤如下：

设模型为F，应当对f和c使用同一个模型F。

依据包裹轮廓产生的先后顺序，确定同一个包裹在f和c中提取的轮廓图像m和n，m∈f，n∈c，设R1＝F(m)，R2＝F(n)。

在一优选的实施方式中，基于图像识别的主动式双视角关联的方法包括如下步骤：

响应于接受到同一物体的轮廓图像m和n，由安检系统将m和n进行二值化处理后，分别送入模型库中进行推理，设m和n推理后得到违禁物信息为R1和R2，通过分析结构包含以下几种情况：

设定R1和R2的置信度分别为s1和s2；

若在设置的过滤阈值Y下，R1和R2中相同位置包含的违禁物是同一分类，,若F(s1，s2)＞Y,则需要把包含的违禁物提示给安检人员；

若在设置的过滤阈值Y下，R1和R2中相同位置包含的违禁物是同一分类，,若F(s1，s2)＜Y,则不需要把包含的违禁物提示给安检人员；

若在设置的过滤阈值Y下，R1,R2中相同位置包含的违禁物不是同一分类，且F(s1)＞Y＞F(s2)，则把R1中的违禁物类别同步到R2；

若在设置的过滤阈值Y下，R1,R2中相同位置包含的违禁物不是同一分类，且F(s2)＞Y＞F(s1)，则把R2中的违禁物类别同步到R1。

在一优选的实施方式中，基于图像识别的主动式双视角关联的方法包括如下步骤：

响应于接受到由安检系统根据R1和R2的阈值比较结果将分析结果通过HDMI连接同步至显示器上，并以视频流方式提示给安检人员。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (4)

1.一种基于图像识别的主动式双视角关联的方法，其特征在于：所述基于图像识别的主动式双视角关联方法包括如下步骤：

由具有扫描功能的双视角安检机同步采集行李物品的侧视角和俯视角的X光图像；

响应于接收到所述双视角安检机扫描的物品侧视角和俯视角X光图像；

由具有图像轮廓提取功能的安检系统采集行李物品的侧视角和俯视角的X光图像；

响应于接收到行李物品的双视角X光图像，由所述安检系统提取俯视角和侧视角图像的轮廓信息；

响应于接收到俯视角和侧视角图像的轮廓信息,由所述安检系统确定同一物品的双视角图像，并进行主动关联；

响应于接收到俯视角和侧视角图像的轮廓信息,由安检系统进行二值化处理，并送入模型进行推理，得到违禁物品信息；

响应于接收到违禁物信息，由安检系统在设置的过滤阈值下进行置信度比较，确定违禁物品信息的可信度；

响应于侧视角和俯视角的阈值比较，由安检机确定物品是否包含违禁物及包含的违禁物是否是同一种类；

响应于接收到违禁物的可信度信息，由安检系统确定违禁物出现在双视角中的位置，并对关联的图像进行同步；

由具有视频流播放功能的显示器与安检系统建立HDMI连接；

响应于接收到的关联图像同步信息，由显示器形成关联物品同步视频流。

2.如权利要求1所述的基于图像识别的主动式双视角关联的方法，其特征在于，所述基于图像识别的主动式双视角关联的方法包括如下步骤：

响应于接收到俯视角和侧视角的X光成像和轮廓信息,由安检系统分析安检物品的侧视角和俯视角的X光成像和轮廓图像，从而确定图像是否属于同一物体，具体分析算法如下：

若将包裹物品的俯视角和侧视角的X光成像采集到，设俯视角X光成像为f,侧视角X光成像为c，则经分析可知：

在同一台安检机输出的X光图像中f和c的分辨率是相同的；

对于同一包裹，在f和c中的位置、运动速度是相同的；

f和c是空间正交的；

在f和c是空间正交的前提下，若同一个物体在f和c中都能完整显示，则它的宽度相等；

响应于确定侧视角和俯视角的图像是否属于同一物体,并由安检系统将同一物体进行主动关联，关联步骤如下：

设模型为F，应当对f和c使用同一个模型F。

依据包裹轮廓产生的先后顺序，确定同一个包裹在f和c中提取的轮廓图像m和n，m∈f，n∈c，设R1＝F(m)，R2＝F(n)。

3.如权利要求1或2所述的基于图像识别的主动式双视角关联的方法，其特征在于，所述基于图像识别的主动式双视角关联的方法包括如下步骤：

响应于接受到同一物体的轮廓图像m和n，由安检系统将m和n进行二值化处理后，分别送入模型库中进行推理，设m和n推理后得到违禁物信息为R1和R2，通过分析结构包含以下几种情况：

设定R1和R2的置信度分别为s1和s2；

若在设置的过滤阈值Y下，R1和R2中相同位置包含的违禁物是同一分类，,若F(s1，s2)＞Y,则需要把包含的违禁物提示给安检人员；

若在设置的过滤阈值Y下，R1和R2中相同位置包含的违禁物是同一分类，,若F(s1，s2)＜Y,则不需要把包含的违禁物提示给安检人员；

若在设置的过滤阈值Y下，R1,R2中相同位置包含的违禁物不是同一分类，且F(s1)＞Y＞F(s2)，则把R1中的违禁物类别同步到R2；

若在设置的过滤阈值Y下，R1,R2中相同位置包含的违禁物不是同一分类，且F(s2)＞Y＞F(s1)，则把R2中的违禁物类别同步到R1。

4.如权利要求1或3所述的基于图像识别的主动式双视角关联的方法，其特征在于，所述基于图像识别的主动式双视角关联的方法包括如下步骤：

响应于接受到由安检系统根据R1和R2的阈值比较结果将分析结果通过HDMI连接同步至显示器上，并以视频流方式提示给安检人员。

Images