CN113759431B - 安检数据关联方法和装置、以及x射线安检系统 - Google Patents

Abstract

本发明提供安检数据关联方法和装置、以及X射线安检系统。该安检数据关联方法，包括：从在X射线安检装置的入口处采集的入口处视频中提取人体图像和包裹外观图像，并将同一包裹的人体图像和包裹外观图像进行关联；跟踪入口处视频中的每一个包裹，得到各个包裹的运动轨迹；根据运动轨迹，将同一包裹的包裹外观图像和X光图像进行关联；以及经由包裹外观图像，将同一包裹所对应的人体图像、包裹外观图像和X光图像进行关联。

Description

安检数据关联方法和装置、以及X射线安检系统

技术领域

本发明涉及安检领域，特别是，涉及一种安检数据关联方法和装置、以及X射线安检系统。

背景技术

目前，在机场、地铁、体育场馆等公共设置中，通常，采用X射线安检装置来对进出人员随身携带的行李进行安检。其中，也出现了通过图像识别，将人和行李包裹进行关联，从而确定携带危险物品的人员的技术。

例如，专利文献1公开了一种基于人包关联的安检方法及其装置。在专利文献1中，旅客放置包裹到传送带的过程中，录制包含旅客和包裹的视频，生成视频、旅客面部图像和包裹外形图像的第一关联数据，为了匹配包裹外形图像和包裹X光图像，在安检机内部设置摄像头，用该摄像头记录包裹外形后，对该包裹进行X光扫描，获取包裹信息，得到包裹X光图像，然后将包裹外形图像和包裹X光图像对应生成第二关联数据。

专利文献1：CN111323835A。

发明内容

如上所述，在专利文献1中，通过在安检机内部安装摄像头来获取包裹外形并对该包裹进行X光扫描，从而建立包裹外形和X光图像之间的关联。但是，在安检机内部安装摄像头需要对已有的安检机进行改造，这将增加安检机的成本。另外，在内部安装摄像头的同时需要在内部增加大功率的补光设备，大功率补光设备增加了安检机的功耗并产生较大热量，增加了安检机散热难度。

本发明能够提供一种改善误匹配、且能够降低设备成本的安检数据关联方法和装置、以及X射线安检系统。

本发明的一个方式提供一种安检数据关联方法，包括：从在X射线安检装置的入口处采集的入口处视频中提取人体图像和包裹外观图像，并将同一包裹的人体图像和包裹外观图像进行关联；跟踪入口处视频中的每一个包裹，得到各个包裹的运动轨迹；根据运动轨迹，将同一包裹的包裹外观图像和X光图像进行关联；以及经由包裹外观图像，将同一包裹所对应的人体图像、包裹外观图像和X光图像进行关联。

在上述的安检数据关联方法中，根据运动轨迹，将同一包裹的包裹外观图像和X光图像进行关联包括：根据运动轨迹中包裹进入X射线安检装置的时刻，预测X光图像获取时间和X光图像获取位置，其中，X光图像获取时间表示该包裹的X光图像出现在X光视频流中的时间，X光图像获取位置表示该包裹的X光图像出现在X光视频流中的位置；以及根据X光图像获取时间和X光图像获取位置，从X光图像视频流中提取包裹的X光图像，由此将同一包裹的包裹外观图像和X光图像进行关联。

在上述的安检数据关联方法中，跟踪入口处视频中的每一个包裹，得到各个包裹的运动轨迹包括：从包裹出现在X射线安检装置入口处的图像采集装置的视野中开始到进入X射线安检装置的铅帘门为止的时间内的一段期间内，获取该包裹的运动轨迹。

在上述的安检数据关联方法中，根据运动轨迹中包裹进入X射线安检装置的时刻，预测X光图像获取时间和X光图像获取位置包括：根据运动轨迹中的对应包裹进入X射线安检装置的铅帘门的位置和时间、以及传送带的运动速度，计算出该包裹的X光图像的X光图像获取时间和X光图像获取位置，根据X光图像获取时间和X光图像获取位置，从X光图像视频流中提取包裹的X光图像包括：根据X光图像获取时间和X光图像获取位置、以及该包裹的外观大小，对X光视频流进行分割，获得该包裹的X光图像。

在上述的安检数据关联方法中，还包括：基于入口处的人体图像和包裹外观图像的关联，生成入口处人包关联数据；从在X射线安检装置的出口处采集的出口处视频中提取出口处的人体图像和包裹外观图像，并对提取的人体图像和外观图像进行关联，得到出口处人包关联数据；将出口处人包关联数据与入口处人包关联数据进行比对。

在上述的安检数据关联方法中，人体图像包含表示人体信息的整体或局部的多种特征，安检数据关联方法还包括：通过机器学习方法从人体图像自动提取特征，根据所提取的特征来识别是否为同一个人。

在上述的安检数据关联方法中，根据X光图像，获取判图结果，判图结果表示包裹中是否包含违禁品，并将同一包裹对应的人体图像、包裹外观图像、X光图像、判图结果进行关联。

本发明的另一个方式提供一种安检数据关联装置，包括：人包关联单元，从在X射线安检装置的入口处采集的入口处视频中提取人体图像和包裹外观图像，并将同一包裹对应的人体图像和包裹外观图像进行关联；跟踪单元，跟踪入口处视频中的每一个包裹，得到各个包裹的运动轨迹；包图关联单元，根据运动轨迹，将同一包裹的包裹外观图像和X光图像进行关联；以及人包图关联单元，经由包裹外观图像，将同一包裹所对应的人体图像、包裹外观图像和X光图像进行关联。

在上述的安检数据关联装置中，包图关联单元进一步包括：预测部，根据运动轨迹中包裹进入X射线安检装置的时刻，预测X光图像获取时间和X光图像获取位置，X光图像获取时间表示该包裹的X光图像出现在X光视频流中的时间，X光图像获取位置表示该包裹的X光图像出现在X光视频流中的位置；以及

X光图像提取部，根据X光图像获取时间和X光图像获取位置，从X光视频流中提取包裹的X光图像；关联部，将同一包裹的包裹外观图像和X光图像进行关联。

在上述的安检数据关联装置中，跟踪单元从包裹出现在X射线安检装置入口处的图像采集装置的视野中开始到进入X射线安检装置的铅帘门为止的时间内的一段期间内，获取该包裹的运动轨迹。

在上述的安检数据关联装置中，预测部根据运动轨迹中对应包裹进入的X射线安检装置的铅帘门的位置和时间、以及传送带的运动速度来计算出该包裹的X光图像的X光图像获取时间和X光图像获取位置，X光图像提取部根据X光图像获取时间和X光图像位置、以及该包裹的外观大小，对X光视频流进行分割，获得该包裹的X光图像。

在上述的安检数据关联装置中，人包关联单元基于入口处的人体图像和包裹外观图像的关联，生成入口处人包关联数据，安检数据关联装置还包括出口处比对单元，出口处比对单元包括：出口处图像提取部，从在X射线安检装置的出口处采集的出口处视频中提取出口处的人体图像和包裹外观图像；出口处人包数据关联部，将出口处的同一包裹对应的人体图像和包裹外观图像进行关联，得到出口处人包关联数据；以及比对部，对入口处人包关联数据与出口处人包关联数据进行比对。

在上述的安检数据关联装置中，还包括：人体识别单元，通过机器学习从人体图像自动提取特征，根据所提取的特征来识别是否为同一个人，人体图像包含表示人体信息的整体或局部的多种特征。

在上述的安检数据关联装置中，还包括：判图单元，根据X光图像，获取判图结果，判图结果表示包裹中是否包含违禁品；以及

判图结果关联单元，将同一包裹对应的人体图像、包裹外观图像、X光图像、判图结果进行关联。

本发明的另一方式提供一种X射线安检系统，包括：上述的安检数据关联装置；图像采集装置，设置在X射线安检装置的入口处并采集入口处视频；以及X射线安检装置，通过X射线生成X光视频流。

在本申请中，通过跟踪技术来实现包裹的包裹外观图像和X光图像的关联，从而不需要在X射线安检装置内部设置摄像头、补光装置等，因此能够简化设备结构，降低设备成本。

附图说明

图1是示出X射线安检系统的构成的示意图；

图2是示出第一实施方式所涉及的安检数据关联装置的功能模块图；

图3是示出第一实施方式所涉及的安检数据关联方法的流程图；

图4是示出S303步骤的具体示例的流程图；

图5是示出第二实施方式所涉及的安检数据关联装置的功能模块图；

图6是示出第二实施方式所涉及的安检数据关联方法的流程图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性的实施方式或实施例。虽然附图中显示了本发明的示例性的实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施方式或实施例所限制。相反，提供这些实施方式或实施例是为了能够更清楚地理解本发明。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施方式或实施例能够以除了图示或描述以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备，不限于清楚地列出的步骤或单元，而是可以包括没有清楚地列出的其它步骤或单元。文中的相同或相似的标号表示具有相同或相似的功能的构成要素。

<第一实施方式>

如图1所示，X射线安检系统1包括：传送带11、X光机12、图像采集装置13。

当通行人员沿着图1中的箭头方向通过该X射线安检系统1旁的安检通道20时，将随身携带的行李或包裹(以下，简称为“包裹”)放在传送带11上，此时，设置在X光机12的入口处的图像采集装置13采集入口处视频，而传送带11在水平方向上移动(图1中从左向右)并通过X光机12的内部，X光机12对进入内部的包裹进行扫描，生成X光图像。

具体来说，X射线安检系统1的各构成部分如下。

传送带11可以被配置为沿着水平方向传送放置在其上的包裹。

X光机12可以对其扫描范围内的包裹进行X光扫描，生成X光图像。由于X光机12对随着传送带11的移动而连续通过的包裹进行扫描，因此所生成的X光图像可以是X光视频流、即X光视频帧序列。

传送带11和X光机12可以构成X射线安检装置。

图像采集装置13安装在X光机的入口处。对图像采集区域的人和包裹进行图像采集。换言之，拍摄包含通过图像采集区域的人和包裹的入口处视频。

在示例性实施例中，图像采集装置13可以是摄像头，更为具体来说，可以是拍摄静态图片的相机，也可以是拍摄视频的摄像机。换言之，在这里，图像既可以是静态图像，也可以是运动图像。优选的是，图像采集装置13采集的可以是视频、或者连续的拍摄的静态图像。在这种情况下，图像采集装置13可以动态地对放置在传送带11上的包裹和放置该包裹的人体进行拍摄，因此，此时所采集的图像可以是可见光视频帧序列。

上述的传送带11、X光机12、图像采集装置13可以利用现有的装置。

X射线安检系统1还可以包括：控制装置。该控制装置可以分别与传送带11、X光机12、图像采集装置13中的至少一个连接，并对传送带11的移动、X光机12的扫描、图像采集装置13的拍摄等的至少一种进行控制。

X射线安检系统1还可以包括：安检数据关联装置，该安检数据关联装置可以是上述控制装置的一部分，也可以与该控制装置独立地设置。该安检数据关联装置至少与X光机12和图像采集装置13连接。

安检数据关联装置可以以硬件方式实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。例如，安检数据关联装置可以由设置有处理器的台式计算机、平板电脑、智能电话、服务器等任何合适的电子设备，以软硬件相结合的方式实现。

安检数据关联装置的处理器可以执行后述的安检数据关联方法中的各步骤、或者与该各步骤对应的程序。

安检数据关联装置还可以包括存储器(未示出)和通信模块(未示出)等。

安检数据关联装置的存储器可以存储执行后述的安检数据关联方法的步骤，以及与用于进行安检数据关联相关的数据等。存储器可以是例如ROM(Read Only Memoryimage，只读存储器)、RAM(Random Access Memory，随机存取存储器)等。存储器具有用于执行以下安检数据关联方法中的任何步骤的程序代码的存储空间。这些程序代码被处理器读取并执行时执行下述的安检数据关联方法。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，光盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为便携式或者固定存储单元。用于执行以下方法中的任何步骤的程序代码也可以通过网络进行下载。程序代码可以例如以适当形式进行压缩。

安检数据关联装置中的通信模块可以支持在安检数据关联装置与外部电子装置之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。例如，通信模块经由网络从图像采集装置13接收入口处视频，经由网络从X光机12接收X光图像等。

此外，安检数据关联装置还可以包括显示器、麦克风、扬声器等输出部，以用于显示安检数据关联结果、或者发出警告等。

以下，参照附图，对安检数据关联装置和方法的具体实施方式进行说明。

<第一实施方式>

图2是示意性地示出第一实施方式所涉及的安检数据关联装置的功能模块图。这些功能模块可以通过安检数据关联装置的处理器执行存储在安检数据关联装置的存储器中的程序来实现。

如图2所示，安检数据关联装置14包括：人包关联单元，从在X射线安检装置的入口处采集的入口处视频中提取人体图像和包裹外观图像，并将同一包裹对应的所述人体图像和所述包裹外观图像进行关联；包图关联单元，跟踪所述入口处视频中的每一个包裹，得到各个包裹的运动轨迹，根据所述运动轨迹将同一包裹的所述包裹外观图像和X光图像进行关联；以及人包图关联单元，经由所述包裹外观图像，将所述同一包裹所对应的所述人体图像、所述包裹外观图像和所述X光图像进行关联。

以下，利用图3，对在第一实施方式中安检数据关联装置所执行的安检数据关联方法进行说明。

在S301步骤中，人包关联单元141从X射线安检装置的入口处采集的入口处视频中提取人体图像和包裹外观图像，并将同一包裹对应的所述人体图像和所述包裹外观图像进行关联。

在这里，既可以从入口处视频中对应地提取人体图像和与该人体图象所包含的人员对应的包裹外观图像，从而实现人体图像和包裹外观图像的关联。也可以在从入口处视频中提取人体图象和包裹外观图像之后，寻找两者之间的对应关系，将两者关联起来。

在这里，还可以根据人体图像和对应的包裹外观图像来生成人包关联数据，该人包关联数据表示人体图像和包裹外观图像的对应关系。

在本实施例中，从图像采集装置13所采集的入口处视频中提取并关联的是人体图像和对应的包裹外观图像。

在这里，人体图像包含表示人体信息的整体和/或局部的多种特征。即，人体图像可以是包含人体的整体特征的图像，也可以是包含人体的局部特征的图像，也可以是同时包含整体特征和局部特征的图像。

其中，优选的是，同时包含整体特征和局部特征。在这样的情况下，能够将整体特征和局部特征相结合，相互验证，能够进一步提高人员识别的准确性。另外，即便人体图像中的局部被遮挡的情况下，也能够通过其他特征，识别出同一人员，从而也能够提高人员识别的可靠性。

这里的整体特征是能够在整体上将人与其他人区分开特征，例如，人的轮廓、身高、胖瘦、衣服款式等。

局部特征是能够在局部上将人与其他人区分开的特征，例如，眉毛、眼镜、嘴巴、头发、帽子、头巾等。

这样的多种特征可以通过机器学习方法从人体图像中自动提取。在本申请中，人体图像可以是全身图像、半身图像、或者是被局部遮挡的全身或半身图像，只要是包含人体信息的整体和/或局部的多种特征即可。

在这里，安检数据关联装置14还可以包含人体识别单元。该人体识别单元可以通过机器学习方法从所述人体图像中自动提取人体的整体和局部特征，根据所提取的特征来识别是否为同一个人。人包关联单元141可以根据人体识别单元的识别结果，针对同一个人，提取一组人体图像和包裹外观图像，并进行关联。

在这里，在判断是否为同一个人时，可以仅与前后各n个人的人体图像进行比对，无需与存储器中所存储的所有的人体图像进行比对。换言之，人体识别单元仅对预定延迟时间范围内的人体图像进行比对，识别是否为同一个人。其中，该预定延迟时间可以根据该X光机12的安检流程时间来预先设定。这是由于，如本申请这样，一般情况下人员通过X光机12完成一个安检流程的时间都在一定时间范围内，根据这样的安检流程时间设定人体图像的延时范围，仅在所述延时范围内进行人体图像的匹配，可以有效减小误匹配。

另外，在本申请中，优选的是，局部特征不能仅包含脸部特征。换言之，人体图像不同于脸部图像，可以是包含脸部的更大范围的图像，也可以是除了脸部之外的其他部位的图像。更为优选的是，人体图像是整体图像或上半身图像。由于通过这样的人体图像来识别是否为同一个人，因此，即便人的面部被有色眼镜(如墨镜)、围巾或者口罩等物体遮挡，从而在无法使用脸部的特征进行人员识别的情况下，也能够通过其他人体特征来识别是否为同一个人，既能够满足安检系统的人员识别需求，又能降低误匹配率。

另外，由于图像采集装置13人体图像来识别是否为同一个人，因此采集人体图像，就可以根据其整体特征或局部特征进行人员识别，因此，不同于仅靠人脸识别来识别同一个人的情况，并不要求单独采集人脸图像，当不同的通行人员通过时，不需要为了识别人脸而不断地调整图像采集装置13的角度，从而可以不设置云台装置，在不设置云台装置的情况下，有利于用固定安装的图像采集装置13连续地采集图像，连续地拍摄视频也不会出现画面抖动等情况。

然而，在专利文献1等的现有技术中，首先，通过旅客的面部图像来识别同一人员，寻找人和包裹的关联关系。然而，在安检场景中人脸容易被帽子、有色眼镜(如墨镜)、围巾或者口罩等物体遮挡，因此，专利文献1这样的仅通过人脸识别的情况下，可能会导致严重的误匹配。其次，由于仅通过人脸识别来识别同一人员的情况下，对面部图像的拍摄要求较高，需要不断调整摄像头的角度，以录制到清晰的人脸图像。从而调整摄像头角度的云台设备等成为必要的部件，从而增加了安检装置的成本，另外人体运动过程中不断调整摄像头角度也会容易造成运动模糊，很难采集到清晰的人脸图像和包裹图像。

如上所述，在本申请中，代替面部图像而采用人体图像来识别同一人员，从而能够降低因遮挡时人脸识别不准确而导致的误匹配的同时，采集人体图像时也不需要设置云台等调整角度的设备，从而能够进一步降低误匹配率，并且能够进一步减少设备成本。在S302步骤中，跟踪单元142跟踪所述入口处视频中的包裹，得到各个包裹的运动轨迹。

具体来说，可以从包裹出现在图像采集装置13的视野中开始到进入X光机12的铅帘门为止的时间内的一段期间内，获取该包裹的所述运动轨迹。在这里，该一段期间的时间长度可以根据图像采集装置13的设置位置、拍摄范围、运动轨迹跟踪的时长要求等来适当的设定。

在这里，运动轨迹可以是在从包裹出现在图像采集装置13的视野中开始到进入X光机12的铅帘门为止的时间内连续的运动轨迹，也可以是间断的多条运动轨迹。优选的是，采用包含包裹进入X光机12的铅帘门的时间点的运动轨迹。

当该一段期间不包含包裹进入X光机12的铅帘门的时间点、而在其之前结束的情况下，也可以根据该一段期间内的运动轨迹预测接下来的运动轨迹，从而获得包裹进入X光机12的铅帘门等的时间点等的运动轨迹。

在这里，跟踪技术可以使用已有的任意的技术。

在S303步骤中，包图关联单元143根据所述运动轨迹将同一包裹的所述包裹外观图像和X光图像进行关联。在这里，可以根据包裹的运动轨迹，对所述包裹的包裹外观图像和所述X光图像进行关联生成包图关联数据，该包图关联数据表示包裹外观图像和X光图像的对应关系。

以下，参照图4，对S303步骤的具体示例进行说明。

在S3031步骤中，跟踪部根据在S302步骤中获取的运动轨迹，预测能够获取所述X光图像的X光图像获取时间和X光图像获取位置。

具体来说，根据运动轨迹中包裹进入X射线安检装置的时刻来预测X光图像获取时间和X光图像获取位置。其中，X光图像获取时间表示该包裹的X光图像出现在X光视频流中的时间，X光图像获取位置表示该包裹的X光图像出现在X光视频流中的位置。

更加具体来说，可以根据所述运动轨迹中的包裹进入X光机12的铅帘门的位置和包裹进入X光机12的铅帘门的时间、以及传送带11的运动速度，计算出该包裹的X光图像的X光图像获取时间和X光图像获取位置。在这种情况下，X射线安检装置的时刻为包裹进入X光机12的铅帘门的时间。另外，也可以根据运动轨迹中的包裹进入X光机12内的X光照射区域时的时刻、或者包裹到达铅帘门前的特定位置的时刻等，预测X光图像获取时间和X光图像获取位置。

在S3032步骤中，关联部根据计算得到的所述X光图像的X光图像获取时间和X光图像获取位置、以及包裹的实际大小，从X光图像视频流中提取所述包裹的X光图像。

具体来说，可以根据所述X光图像在X光视频流中出现的时间提取对应的X光视频帧，再根据所述X光图像在该X光视频帧中出现的位置来对所提取的所述X光视频帧进行分割，获得该包裹的所述X光图像，此时，分割的大小由包裹的实际大小和所述X射线安检装置的显示比例来决定。

在S3033步骤中，关联部将该运动轨迹所对应的包裹的包裹外观图像和X光图像进行关联。

在S304步骤中，人包图关联单元144经由所述包裹外观图像，将所述同一包裹对应的所述人体图像、所述包裹外观图像和所述X光图像进行关联。在这里，可以通过将同一包裹对应的人体图像、包裹外观图像和X光图像进行关联来生成人包图关联数据，该人包图关联数据表示人体图像、包裹外观图像和X光图像之间的对应关系。

在S301步骤中，获得了人体图像和包裹外观图像之间的对应关系，而在S303步骤中，获得了包裹外观图像和X光图像的对应关系，因此，经由包裹外观图像，换言之，以包裹外观图像为中介，可以将同一包裹对应的所述人体图像、所述包裹外观图像和所述X光图像这三种图像关联起来。

如上所述，通过跟踪技术来获得与包裹外观图像对应的X光图像，不需要在X光机12内部设置摄像装置、补光装置等来进行包裹外观图像的采集、以及与X光图像的关联，不需要改变已有的X光机12的结构，就能够实现包裹外观图像和X光图像的关联，从而能够简化设备结构，减少设备成本。

<第二实施方式>

图5是示意性地示出第二实施方式所涉及的安检数据关联装置的功能模块图。

如图5所示，安检数据关联装置14’还可以包括：判图单元145，根据所述X光图像，获取判图结果，所述判图结果表示所述包裹中是否包含违禁品；以及，判图结果关联单元146，将所述同一包裹对应的所述人体图像、所述包裹外观图像、所述X光图像、所述判图结果进行关联。

在这里，可以将所述同一包裹对应的所述人体图像、所述包裹外观图像、所述X光图像、所述判图结果进行关联来生成人包图判关联数据，该人包图判关联数据表示所述人体图像、所述包裹外观图像、所述X光图像、所述判图结果的对应关系。

另外，根据判图结果，如果包裹中含有违禁品，该判图结果中还可以包含违禁品信息，该违禁品信息包含违禁品的位置和违禁品的种类、数量等中的至少一个，该违禁品信息可以是违禁品的位置和违禁品的种类、数量等数据结构化来生成的结构化数据。上述的判图结果可以通过人工判图或者智能识别得到。当人工判图时，违禁品信息还可以包含判图人员ID等，当智能识别时，违禁品信息还可以包含所采用的识别方法等。

可以将上述的违禁品信息与人包图关联数据进行关联，生成表示人体图像、包裹外观图像、X光图像和判图结果的对应关系的人包图判关联数据。

另外，可以将所生成的人包图判关联数据在安检现场的实时显示界面进行显示，当判定包裹中存在违禁品时系统可以发出声光报警。另外，也可以将所生成的人包图判关联数据上传至数据库存储，并可用于后续查询和追溯。

通过将同一包裹对应的所述人体图像、所述包裹外观图像、所述X光图像、所述判图结果进行关联，对于包含违禁品的包裹，能够容易查看该包裹对应的所述人体图像、所述包裹外观图像、所述X光图像，从而通过人体图像快速识别携带违禁品的人员，通过包裹外观图像快速锁定包含违禁品的包裹，通过X光图像可以人工确认违禁品。

除此之外，第二实施方式的安检数据关联装置的其他结构可以与第一实施方式相同。

图6是示出第二实施方式所涉及的安检数据关联方法的整体流程的流程图。

在图6中，除了S301～S304步骤之外，还包括：S305步骤和S306步骤。

在S305步骤中，判图单元145根据所述X光图像，获取判图结果，所述判图结果表示所述包裹中是否包含违禁品的信息。另外，该判图结果还可以包含违禁品种类、位置等信息。

在S306步骤中，判图结果关联单元146将所述同一包裹对应的所述人体图像、所述包裹外观图像、所述X光图像、所述判图结果进行关联，生成人包图判关联数据。

在图6中，S301步骤可以分为从在X射线安检装置的入口处采集的入口处视频中提取人体图像和包裹外观图像的S3011步骤、基于提取的人体图像和包裹外观图像，对人体图像和包裹外观图像进行关联生成人包关联数据的S3012步骤来执行。

如图6所示，S301步骤中的生成人包关联数据的过程和S303步骤可以并行执行。在S3011步骤完成之后，就可以将所提取的包裹外观图像提供给后续的S302、S303步骤中，无需等待S3012步骤的完成。由此，可以加快处理速度，能够提高效率。

另外，安检数据关联装置还可以包括：输出单元，输出关联数据。该关联数据可以是上述的人包图关联数据、或者人包图判关联数据，也可以是人包关联数、或者包图关联数据。如图6所示，还可以包括S307步骤。在S307步骤中，输出单元输出关联数据。

另外，X射线安检系统还可以包括：出口处图像采集装置，设置在X光机12的出口处，并采集包含人体和包裹的图像。此时，安检数据关联装置还可以包括出口处比对单元。该出口处比对单元包括：出口处图像提取部，从出口处采集图像中提取出口处的人体图像和包裹外观图像；出口处人包数据关联部，对提取的人体图像和对应的包裹外观图像进行关联，得到出口处人包关联数据；以及，比对部，对入口处人包关联数据与出口处人包关联数据进行比对。此时，所输出的关联数据也可以包含出口处比对单元的比对结果，安检数据关联装置还可以在入口处的人包关联数据和出口处的人包关联数据不一致时，发出警报。由此能够检测出通行人员在出口处拿错或漏拿包裹的情况。

另外，虽然第一实施方式中说明了人体识别单元仅包含在人包关联单元141中的情况，然而，当安检数据关联装置包括出口处比对单元时，该出口处比对单元包含人体识别单元和包裹识别单元。具体来说，可以是出口处比对单元的上述比对部具有人体识别单元和包裹识别单元。人体识别单元根据人体识别单元的识别结果，比对出口处的人体图像和入口处的人体图像是否表示同一个人。同理，包裹识别单元，比对出口处的包裹外观图像和入口出的包裹外观图像，根据包裹外观图像来判断是否为同一包裹。出口处比对单元可以在通过人体识别单元判断为同一个人的基础上，再通过包裹识别单元判断该人员所拿的包裹是否为同一个。

另外，所述输出单元还可以包括报警部，在判图结果表示是包含违禁品的包裹时，发出警报；或者，在出口处比对单元的比对结果有异常时，发出警报。由此，可以在包裹中包含违禁品时，或者，发生了人员错拿、漏拿了包裹时发出警报，从而避免违禁品被错误地放行、或者通行人员错拿、漏拿的情况。

以上，虽然结合附图描述了本发明的实施方式和具体实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变形，这样的修改和变形均落入由所述权利要求所限定的范围之内。

Claims (11)

1.一种安检数据关联方法，包括：

从在X射线安检装置的入口处采集的入口处视频中提取人体图像和包裹外观图像，并将同一包裹的所述人体图像和所述包裹外观图像进行关联；

跟踪所述入口处视频中的每一个包裹，得到各个包裹的运动轨迹；

不获取所述X射线安检装置内部的包裹外观图像，而根据所述运动轨迹，将同一包裹的所述包裹外观图像和X光图像进行关联；以及

经由所述包裹外观图像，将所述同一包裹所对应的所述人体图像、所述包裹外观图像和所述X光图像进行关联，

根据所述运动轨迹，将同一包裹的所述包裹外观图像和X光图像进行关联包括：

根据所述运动轨迹中所述包裹进入X射线安检装置的时刻，预测X光图像获取时间和X光图像获取位置，其中，所述X光图像获取时间表示该包裹的X光图像出现在X光视频流中的时间，所述X光图像获取位置表示该包裹的X光图像出现在X光视频流中的位置；以及

根据所述X光图像获取时间和所述X光图像获取位置，从X光图像视频流中提取所述包裹的X光图像，由此将所述同一包裹的所述包裹外观图像和所述X光图像进行关联，

跟踪所述入口处视频中的每一个包裹，得到各个包裹的运动轨迹包括：

从包裹出现在所述X射线安检装置入口处的图像采集装置的视野中开始到进入X射线安检装置的铅帘门为止的时间内的一段期间内，获取该包裹的所述运动轨迹。

2.如权利要求1所述的安检数据关联方法，其中，

根据所述运动轨迹中所述包裹进入X射线安检装置的时刻，预测X光图像获取时间和X光图像获取位置包括：

根据所述运动轨迹中的对应包裹进入所述X射线安检装置的铅帘门的位置和时间、以及传送带的运动速度，计算出该包裹的X光图像的所述X光图像获取时间和所述X光图像获取位置，

根据所述X光图像获取时间和所述X光图像获取位置，从X光图像视频流中提取所述包裹的X光图像包括：

根据所述X光图像获取时间和所述X光图像获取位置、以及该包裹的外观大小，对所述X光视频流进行分割，获得该包裹的所述X光图像。

3.如权利要求1所述的安检数据关联方法，其中，

还包括：

基于入口处的所述人体图像和所述包裹外观图像的关联，生成入口处人包关联数据；

从在X射线安检装置的出口处采集的出口处视频中提取出口处的人体图像和包裹外观图像，并对提取的人体图像和外观图像进行关联，得到出口处人包关联数据；

将出口处人包关联数据与入口处人包关联数据进行比对。

4.如权利要求1或3所述的安检数据关联方法，其中，

所述人体图像包含表示人体信息的整体和/或局部的多种特征，

所述安检数据关联方法还包括：

通过机器学习方法从所述人体图像自动提取所述特征，根据所提取的特征来识别是否为同一个人。

5.如权利要求1所述的安检数据关联方法，其中，

根据所述X光图像，获取判图结果，所述判图结果表示所述包裹中是否包含违禁品，

并将所述同一包裹对应的所述人体图像、所述包裹外观图像、所述X光图像、所述判图结果进行关联。

6.一种安检数据关联装置，包括：

人包关联单元，从在X射线安检装置的入口处采集的入口处视频中提取人体图像和包裹外观图像，并将同一包裹对应的所述人体图像和所述包裹外观图像进行关联；

跟踪单元，跟踪所述入口处视频中的每一个包裹，得到各个包裹的运动轨迹；

包图关联单元，不获取所述X射线安检装置内部的包裹外观图像，而根据所述运动轨迹，将同一包裹的所述包裹外观图像和X光图像进行关联；以及

人包图关联单元，经由所述包裹外观图像，将所述同一包裹所对应的所述人体图像、所述包裹外观图像和所述X光图像进行关联，

所述包图关联单元进一步包括：

预测部，根据所述运动轨迹中所述包裹进入X射线安检装置的时刻，预测X光图像获取时间和X光图像获取位置，所述X光图像获取时间表示该包裹的X光图像出现在X光视频流中的时间，所述X光图像获取位置表示该包裹的X光图像出现在X光视频流中的位置；以及

X光图像提取部，根据所述X光图像获取时间和所述X光图像获取位置，从X光视频流中提取所述包裹的所述X光图像；

关联部，将所述同一包裹的所述包裹外观图像和所述X光图像进行关联，

所述跟踪单元从包裹出现在所述X射线安检装置入口处的图像采集装置的视野中开始到进入X射线安检装置的铅帘门为止的时间内的一段期间内，获取该包裹的所述运动轨迹。

7.如权利要求6所述的安检数据关联装置，其中，

所述预测部根据所述运动轨迹中对应包裹进入的所述X射线安检装置的铅帘门的位置和时间、以及传送带的运动速度来计算出该包裹的X光图像的所述X光图像获取时间和所述X光图像获取位置，

所述X光图像提取部根据所述X光图像获取时间和所述X光图像位置、以及该包裹的外观大小，对所述X光视频流进行分割，获得该包裹的所述X光图像。

8.如权利要求6所述的安检数据关联装置，其中，

所述人包关联单元基于入口处的所述人体图像和所述包裹外观图像的关联，生成入口处人包关联数据，

所述安检数据关联装置还包括出口处比对单元，所述出口处比对单元包括：

出口处图像提取部，从在X射线安检装置的出口处采集的出口处视频中提取出口处的人体图像和包裹外观图像；

出口处人包数据关联部，将出口处的同一包裹对应的人体图像和包裹外观图像进行关联，得到出口处人包关联数据；以及

比对部，对入口处人包关联数据与出口处人包关联数据进行比对。

9.如权利要求6或8所述的安检数据关联装置，其中，

还包括：

人体识别单元，通过机器学习从所述人体图像自动提取特征，根据所提取的特征来识别是否为同一个人，

所述人体图像包含表示人体信息的整体和/或局部的多种特征。

10.如权利要求6所述的安检数据关联装置，其中，

还包括：

判图单元，根据所述X光图像，获取判图结果，所述判图结果表示所述包裹中是否包含违禁品；以及

判图结果关联单元，将所述同一包裹对应的所述人体图像、所述包裹外观图像、所述X光图像、所述判图结果进行关联。

11.一种X射线安检系统，包括：

如权利要求6至10中任一项所述的安检数据关联装置；

图像采集装置，设置在所述X射线安检装置的入口处并采集所述入口处视频；以及

所述X射线安检装置，通过X射线生成所述X光视频流。