CN116224355A - 对待测物中的目标对象进行追踪的方法及系统 - Google Patents

Abstract

本公开提供了一种对待测物中的目标对象进行追踪的方法及系统，其方法包括对透视图像中的目标对象进行识别，并确定目标对象在待测物中的三维模型的第一位置信息；利用移动查看装置构建待测物的三维外形图像，确定移动查看装置相对于三维外形图像的第二位置信息；根据第一位置信息和第二位置信息，获取目标对象相对于移动查看装置的三维坐标；以及将三维坐标关联至移动查看装置，通过移动查看装置实时查看移动查看装置至目标对象的相对位置，以引导移动查看装置的使用者靠近目标对象。其系统包括处理器及移动查看装置，处理器包括识别模块。

Description

对待测物中的目标对象进行追踪的方法及系统

技术领域

本公开的至少一种实施例涉及一种对待测物中的目标对象进行追踪的方法，特别是，涉及一种对待测物中的目标对象进行追踪的方法及系统。

背景技术

透视成像是安全检查领域必不可少的手段，数字X线摄影(Digital-Radiography，DR)、计算机断层扫描(Computed Tomography，CT)均是实现物质分辨的优势技术。

特别是，在例如适用于集装箱、货物卡车之类的大型设备进行安全检查期间，如果通过射线检查设备检测到集装箱或者货物卡车中存在例如爆炸物、毒品、枪支、管制刀具之类的违禁物的情况下，需要对违禁品进行具体进行查验和判定。现有的查验方法中，一般只能通过透视成像判断待测物中存在疑似的违禁品，具体的判定还需要在待测物中找到违禁品后进行人为确认。

目前，对于违禁品在待测物中所处的具体位置尚没有有效的定位方法，一般只能基于透视成像确定违禁品在某一视角或某几视角的大致方位，再通过人工方式进行寻找。然而，由于集装箱和货物卡车的容量很大，内部可能容纳有许多物品，在这种情况下，目前所采用的查验方法无法在人工追踪的过程中实时了解查验人员与违禁品的相对位置的变化，也无法对查验人员进行较为有效的引导。

发明内容

鉴于现有技术的上述或者其他方面的至少一种技术问题，本公开的实施例，提供一种对待测物中的目标对象进行追踪的方法及系统，以快速精准找到目标对象。

根据本公开的一个方面，提供了一种对待测物中的目标对象进行追踪的方法，包括：对透视图像中的目标对象进行识别，并确定所述目标对象在待测物中的三维模型的第一位置信息；利用移动查看装置构建所述待测物的三维外形图像，确定所述移动查看装置相对于所述三维外形图像的第二位置信息；根据第一位置信息和第二位置信息，获取所述目标对象相对于移动查看装置的三维坐标；以及将所述三维坐标关联至移动查看装置，通过所述移动查看装置实时查看移动查看装置至目标对象的相对位置，以引导所述移动查看装置的使用者靠近所述目标对象。

在本公开的一些实施例中，所述方法还包括获取待测物的第一信息及透视图像。

在本公开的一些实施例中，所述利用移动查看装置构建所述待测物的三维外形图像包括：识别所述第一信息；以及构建与所述第一信息对应的所述待测物的三维外形图像。

在本公开的一些实施例中，所述获取待测物的透视图像包括通过X射线扫描待测物、获取所述透视图像。

在本公开的一些实施例中，获取待测物的透视图像包括通过X射线计算机断层扫描待测物、获取三维的所述透视图像。

在本公开的一些实施例中，所述对透视图像中的目标对象进行识别，并确定所述目标对象在待测物中的三维模型的第一位置信息包括：在所述透视图像中识别并标记所述待测物中的目标对象，得到一个视角下的标记目标；通过增加视角，补充标记添加新的标记目标，得到至少一个另一个视角下的标记目标；以及根据所述视角和所述标记目标，确定所述目标对象在所述待测物所限定的空间的三维模型内的第一位置信息。

在本公开的一些实施例中，所述对透视图像中的目标对象进行识别，并确定所述目标对象在待测物中的三维模型的第一位置信息包括：在所述透视图像中识别并标记所述待测物中的目标对象，得到至少两个视角下的标记目标；以及根据所述视角和所述标记目标，确定所述目标对象在所述待测物所限定的空间的三维模型内的第一位置信息。

在本公开的一些实施例中，所述构建所述待测物的三维外形图像包括：利用移动查看装置获取所述待测物的多个外表面的特征；以及根据多个所述外表面的特征构建所述待测物的三维外形图像。

在本公开的一些实施例中，所述根据第一位置信息和第二位置信息，获取所述目标对象相对于所述移动查看装置的三维坐标包括：以所述待测物上的一点作为原点构建所述三维外形图像的三维坐标系；在三维坐标系中生成所述第一位置信息的第一坐标点；在三维坐标系中生成所述第二位置信息的第二坐标点；以及获取所述第一坐标点相对于第二坐标点在所述三维坐标系中的三维坐标。

在本公开的一些实施例中，所述将所述三维坐标关联至移动查看装置，通过所述移动查看装置实时查看移动查看装置至目标对象的相对位置，以引导所述移动查看装置的使用者靠近所述目标对象包括：将所述三维坐标关联至移动查看装置中；将所述移动查看装置的视角设为初始追踪位置，将所述初始追踪位置至所述目标对象的方向设为第一追踪方向；以及所述移动查看装置沿所述第一追踪方向移动，使得所述移动查看装置移动后的追踪位置与所述目标对象之间的距离减小，在减小至预设值时停止移动。

在本公开的一些实施例中，所述将所述三维坐标关联至移动查看装置，通过所述移动查看装置实时查看移动查看装置至目标对象的相对位置，以引导所述移动查看装置的使用者靠近所述目标对象还包括：在所述移动查看装置沿与第一追踪方向不同的第二追踪方向移动，且所述移动查看装置移动后的追踪位置与所述目标对象之间的距离增大时，调整所述移动查看装置的移动方向至第一追踪方向，沿所述第一追踪方向移动，使得所述移动查看装置移动后的追踪位置与所述目标对象的距离减小。

在本公开的另一个方面，提供了一种用于对待测物中的目标对象进行追踪的系统，包括：处理器，包括：识别模块，被配置成在透视图像中识别并标记所述待测物中的目标对象，以确定所述目标对象在待测物中的三维模型的第一位置信息；以及移动查看装置，被配置成获取所述待测物的三维外形图像；其中，所述移动查看装置还被配置成确定所述移动查看装置相对于所述三维外形图像的第二位置信息；根据第一位置信息和第二位置信息，获取所述目标对象相对于移动查看装置的三维坐标；将所述三维坐标关联至移动查看装置，通过所述移动查看装置实时查看移动查看装置至目标对象的相对位置，以引导所述移动查看装置的使用者靠近所述目标对象。

在本公开的一些实施例中，所述系统还包括扫描装置，适用于扫描所述待测物，以获取所述待测物的透视图像。

在本公开的一些实施例中，所述扫描装置包括X射线扫描成像设备，适用于获取所述待测物的至少一个视角的透视图像。

在本公开的一些实施例中，所述扫描装置包括X射线断层扫描设备，适用于获取所述待测物的三维的透视图像。

在本公开的一些实施例中，所述系统还包括采集装置，适用于采集所述待测物的第一信息。

在本公开的一些实施例中，所述移动查看装置还包括验证模块，被配置成验证所述待测物的第一信息。

在本公开的一些实施例中，所述处理器还包括调取模块，配置为从数据库中调取与第一信息对应的待测物中的目标对象的第一位置信息；所述待测物包括集装箱或车辆；所述待测物的第一信息包括集装箱编号或车辆车牌号。

在本公开的一些实施例中，所述识别模块进一步被配置成：在所述透视图像中识别所述待测物中的目标对象，并对所述目标对象进行标记，得到一个视角下的标记目标；通过增加视角，补充标记添加新的标记目标，得到至少两个视角下的标记目标；以及根据所述视角和所述标记目标，确定所述目标对象在所述待测物所限定的空间的三维模型内的第一位置信息。

在本公开的一些实施例中，所述识别模块进一步被配置成：在所述透视图像中识别所述待测物中的目标对象，并对所述目标对象进行标记，得到至少两个视角下的标记目标；以及根据所述视角和所述标记目标，确定所述目标对象在所述待测物所限定的空间的三维模型内的第一位置信息。

在本公开的一些实施例中，所述移动查看装置包括激光雷达模块，被配置成获取所述待测物的多个外表面的特征，并根据多个外表面的所述特征构建所述待测物的三维外形图像。

在本公开的一些实施例中，所述移动查看装置进一步被配置成：以所述待测物上的一点作为原点构建所述三维外形图像的三维坐标系；在三维坐标系中生成所述第一位置信息的第一坐标点；在三维坐标系中生成所述第二位置信息的第二坐标点；以及获取所述第一坐标点相对于第二坐标点在所述三维坐标系中的三维坐标。

在本公开的一些实施例中，所述移动查看装置被配置成：在沿与第一追踪方向不同的第二追踪方向移动，且所述移动查看装置移动后的追踪位置与所述目标对象对应之间的距离增大时，停止移动；以及调整所述移动查看装置的移动方向至第一追踪方向，沿所述第一追踪方向移动，使得所述移动查看装置移动后的追踪位置与所述目标对象之间的距离减小，在减小至预设值时停止移动。

根据本公开上述实施例的对待测物中的目标对象进行追踪的方法及系统，对透视图像中的目标对象进行识别，以确定目标对象在待测物中的三维模型的位置信息，将针对待测物的透视图像及三维外形图像进行关联，以对目标对象在三维空间内所处的位置配准。并且，基于配准后的信息将目标对象在三维空间内所处的位置关联至移动查看装置中，以使得使用者能通过移动查看装置了解移动查看装置与目标对象的相对位置并引导使用者靠近目标对象，用以提升使用者对目标对象进行追踪的便利性及准确性。

附图说明

通过以下参照附图对本公开实施例的描述，本公开的上述内容以及其他目的、特征和优点将更为清楚，在附图中：

图1示意性示出了根据本公开的一种示意性实施例的对待测物中的目标对象进行追踪的方法的流程图；

图2示意性示出了根据本公开的另一种示意性实施例的对待测物中的目标对象进行追踪的方法的流程图；

图3示意性示出了图2中步骤S200的一种实施方法的流程图；

图4示意性示出了图2中步骤S200的另一种实施方法的流程图；

图5示意性示出了图2中步骤S300的一种实施方法的流程图；

图6示意性示出了根据本公开实施例的三维外形图像的局部显示效果示意图；

图7示意性示出了根据本公开的一种示意性实施例的用于对待测物中的目标对象进行追踪的系统的方框图；

图8示意性示出了图7所示的一种示意性实施例的系统的方框图；

图9示意性示出了图7所示的另一种示意性实施例的系统的方框图；

图10示意性示出了根据本公开的一种示意性实施例中扫描装置的结构示意图；

图11示意性示出了根据本公开的另一种示意性实施例中扫描装置的结构示意图；以及

图12示意性示出了一种示意性实施例的三维外形图像获取装置的结构示意图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示意性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

根据本公开的一种总体上的发明构思，提供一种对待测物中的目标对象的追踪方法。

图1示意性示出了根据本公开的一种示意性实施例的对待测物中的目标对象进行追踪的方法的流程图。

参考图1所示，根据本公开的一种示意性实施例，提供一种对待测物中的目标对象进行追踪的方法，包括对透视图像中的目标对象进行识别，并确定目标对象在待测物中的三维模型的第一位置信息；利用移动查看装置2构建待测物的三维外形图像，确定移动查看装置相对于三维外形图像的第二位置信息；根据第一位置信息和第二位置信息，获取目标对象相对于移动查看装置2的三维坐标；将三维坐标关联至移动查看装置2，通过移动查看装置2实时查看移动查看装置至目标对象的相对位置，以引导移动查看装置2的使用者靠近目标对象。

在本公开的一些实施例中，使用者在通过移动查看装置2实时查看移动查看装置2至目标对象的相对位置的状态下，目标对象可显示于移动查看装置2上。

在一个具体实施例中，目标对象可具象地显示于移动查看装置2中。例如，目标对象可以以可视的形式在移动查看装置2的显示部件(例如显示屏)中显示为三维坐标系中的一个点或基于目标对象的轮廓的区域。更具体地，可采用目标对象上的一点作为显示于移动查看装置2中的三维坐标系的点。例如，目标对象的几何中心、目标对象的轮廓上的点和/或目标对象内部的点。

在另一个具体实施例中，目标对象可以以相对于移动查看装置2的距离、方向和/或其他参数形式显示于移动查看装置2中。例如，以位于视角的某一侧及位于视角延伸方向的一侧的最短距离来显示目标对象。

在本公开的一些实施例中，已经获取的透视图像包括集装箱(包括ISO航空集装箱)、货物卡车之类的待测物的透视图像。

在本公开的另一些实施例中，追踪方法还包括获取待测物的第一信息及透视图像。

图2示意性示出了根据本公开的另一种示意性实施例的对待测物中的目标对象进行追踪的方法的流程图。

参考图2所示，在一些具体的实施例中，追踪方法包括步骤S100至S600。

在步骤S100中，利用采集装置3采集待测物(如集装箱、货物卡车)的第一信息，利用扫描装置4获取待测物的透视图像，将第一信息及与第一信息对应的待测物的透视图像进行关联(如建立数据上的映射关系)并存储于数据库中以待调取。其中，第一信息表征为用于识别待测物的信息，包括但不限于集装箱的标号、货运卡车的车牌号及与待测物对应的信息码中的至少一种。

在步骤S200中，通过处理器1对透视图像中的目标对象进行识别，以确定目标对象在待测物中的三维模型的第一位置信息，并将第一位置信息与透视图像关联并存储于数据库中以待调取。待测物中的三维模型包括但不限于以待测物所限定的容纳空间的内壁的长向、宽向及高向分别作为三维模型的X轴、Y轴及Z轴所构建的第一三维模型。第一位置信息包括但不限于依据待测物建立的第一三维模型内的坐标点。其中，目标对象包括但不限于爆炸物、易燃物、毒品、枪支、以及管制刀具之类的违禁物。应予说明，在步骤S200中，若在待测物的透视图像中没有识别到目标对象(违禁物)，则可直接放行该待测物而无需进行后续的步骤。

在步骤S300中，利用移动查看装置2识别第二信息，构建待测物的三维外形图像，并确定移动查看装置2相对于三维外形图像的第二位置信息。第二信息表征为用于识别待测物的信息，包括但不限于集装箱的标号、货运卡车的车牌号及与待测物对应的信息码中的至少一种。第二位置信息包括但不限于依据三维外形图像建立的第二三维模型内的坐标点。

在步骤S400中，依据第二信息调取数据库中所存储的与第二信息匹配的第一信息对应的第一位置信息和/或包含有第一位置信息的透视图像。

在步骤S500中，获取目标对象相对于移动查看装置的三维坐标。由于待测物所限定的容纳空间相对于待测物的外部形状的位置是相对唯一的，因此，依据待测物的容纳空间所构建的第一三维模型(包括第一位置信息)相对于待测物的三维外形图像的位置也是相对唯一的。而且，三维外形图像是通过移动查看装置2构建的，移动查看装置2和三维外形图像的相对位置是可知的，可将移动查看装置2作为三维坐标系中的另一点。因此，可将对应的第一位置信息及三维外形图像关联(包括但不限于利用指针及标示信息中的至少一种所建立的数据上的关联或图像上的关联)，以将目标对象的坐标体现在第二三维模型中。也就是说，三维坐标系中的两点(目标对象及移动查看装置2)之间的相对位置可知，可通过移动查看装置2实时查看移动查看装置2至目标对象的相对位置，引导移动查看装置2的使用者靠近目标对象。目标对象相对于移动查看装置的三维坐标包括直接相关的或间接相关的三维坐标。直接相关的三维坐标表征为目标对象相对于移动查看装置的三维坐标；间接相关的三维坐标表征为目标对象相对于目标对象及移动查看装置之外的第三点的第一三维坐标及第三点相对于移动查看装置的第二三维坐标，基于第一三维坐标及第二三维坐标可通过计算得出目标对象相对于移动查看装置的三维坐标。第三点包括但不限于待测物上的一点，可将该第三点作为建立第二三维模型的三维坐标系的原点。

在步骤S600中，将三维坐标关联至移动查看装置2(包括但不限于将三维坐标在移动查看装置2上进行显示及、构建三维坐标系的图像信息以将三维坐标表达至三维坐标系中)。

在一个具体实施例中，通过X射线成像设备扫描车辆，获取车辆的透视图像。如识别到车辆中存在违禁物，并且当前只得到一个视角下的标记目标，这种情况下可以通过增加设置其他视角，手动补充标记添加新的标记目标，保证在至少两个视角下对违禁物进行标记，以得到至少两个视角下的标记目标。最后根据视角和标记目标，确认目标对象在待测物中的三维模型的第一位置信息。在此，例如在目标对象存在两个视角下的标记目标的情况下，根据视角(即X射线的入射方向)，能够确定该目标对象的几何中心在在待测物中的三维模型的第一位置信息。在下文中，除非另有之处，目标对象的第一位置信息包括目标对象的几何中心的第一位置信息。

这样的实施方式中，在安检过程中获取了待测物的透视图像，并将第一信息与透视图像进行关联。此后，对透视图像中的目标对象进行识别。如所获取的透视图像中显示存在目标对象(违禁物)，则进一步获取待测物的三维外形图像。如所获取的透视图像中不存在目标对象(违禁物)，则完成对待测物的安检。这样，无需对每个待测物均构建三维外形图像，可较为有效地降低数据处理量。

在一个具体实施例中，包括但不限于以待测物中的一点(如集装箱的某一侧壁的中点、货运卡车的前车牌或后车牌中的至少一个)作为原点、获取目标对象相对于原点的三维坐标。

这样的实施方式中，由于原点和待测物的相对位置是固定的，依据该原点建立三维坐标系，有利于标定三维坐标系内的其他坐标点(包括但不限于目标对象和/或移动查看装置)。并且，上述三维外形图像是通过移动查看装置2建立的，移动查看装置2也可作为三维坐标系中的一点，因此，可知移动查看装置2与例如上述的原点之间的相对位置，进而可获取目标对象相对于移动查看装置2的相对位置(三维坐标)。

根据本公开的一种示意性实施例，获取待测物的透视图像包括但不限于通过X射线扫描待测物获取透视图像。

图3示意性示出了图2中步骤S200的一种实施方法的流程图。

参考图3所示，在步骤S200的一种实施方法中，包括如下子步骤S210至S240。

在步骤S210中，处理器1的识别模块在透视图像中识别待测物中的目标对象，并对目标对象进行标记。这里需要说明的是，识别目标物的具体方法，并不作为本公开的保护要点，任何本领域能够获悉的图像标识方法均可选择适用，不再进行具体展开。

在步骤S220中，处理器1判断目标对象是否具有两个及以上视角的标记。

如果得到两个及以上视角下的标记目标，则在步骤S230中，根据视角和标记目标，确定目标对象在待测物所限定的空间的三维模型内的位置信息。

如果只得到一个视角下的标记目标，则在步骤S240中，通过转换视角，补充标记添加新的标记目标，得到至少一个另一个视角下的标记目标，并返回子步骤S220。

这样的实施方式中，如透视图像是基于一个视角下获取的，则只限定了空间中的一个平面，因此，需从另一个视角下获取其他透视图像，再对该视角下获取的透视图像中的目标对象进行手动标记，由此标定出目标对象在三维模型中的位置信息。如透视图像是基于两个不同的视角下获取的(如相互正交的两个视角)，则可在空间中形成一个三维模型。

根据本公开的另一种示意性实施例，获取待测物的透视图像包括但不限于通过X射线计算机断层扫描待测物获取透视图像。

图4示意性示出了图2中步骤S200的另一种实施方法的流程图。

采用的X射线计算机断层扫描(即CT扫描)，与前述实施方法的区别在于本实施方法中采用CT扫描无需再从多个视角图像获取多个透视图像及得到多个视角下的标记目标。参考图4所示，在步骤S200的另一种实施方法中，具体包括如下子步骤S250至S260。

在步骤S250中，依据待测物的多个断层扫描图像(透视图像)重构三维断层图像，并在三维断层图像中进行标记得到标记目标。

在步骤S260中，依据三维断层图像所建立的第一三维模型，确定目标对象在三维断层图像中的第一位置信息。

这样的实施方式中，X射线计算机断层扫描本身就具备三维成像功能，因此，无需判定视角的数量，即可获取目标对象的第一位置信息。

图5示意性示出了图2中步骤S300的一种实施方法的流程图。

在步骤S300的一种实施方法中，包括如下子步骤S310至S330。

在步骤S310中，对在步骤S100中利用采集装置3采集过第一信息的待测物识别第二信息。第二信息可以是与第一信息同类的信息，例如集装箱的标号。如下文所述，待测物的第二信息可利用验证模块进行采集。

在步骤S320中，可通过移动查看装置2获取所述待测物的多个外表面的特征。

在步骤S330中，根据所述多个外表面的特征构建所述待测物的三维外形图像。

在步骤S340中，确定移动查看装置相对于三维外形图像的第二位置信息。

根据本公开的一种示意性实施例，步骤S320及S330包括利用移动查看装置2的激光雷达模块采集待测物的外表面的原始点云数据，再对原始点云数据进行配准拼接、去噪简化等处理以获得待测物的实体点云数据，再通过实体点云数据进行建模(包括但不限于几何体创建、平面创建及贴图中的至少一种)，以生成待测物的三维外形图像。

根据本公开的一种示意性实施例，步骤S340包括在待测物上选定一点作为原点，基于该原点及待测物的三维外形图像建立第二三维模型，并将移动查看装置2作为第二三维模型中的一点体现于依据第二三维模型建立的三维坐标系中。

根据本公开的另一种示意性实施例，构建待测物的三维外形图像包括利用三维外形图像获取装置5获取待测物的相对的两侧以及顶部的多个外表面的特征。根据相邻两个外形图像中的共同特征，将多个外形图像拼接成所述待测物的三维外形图像。

在一个具体实施例中，将拍摄装置52，例如摄像机，安装在门架51上，当车辆通过门架51时，利用三个拍摄装置52至少拍摄车辆的相对两侧及顶部的外形图像。车辆的种类可以包括但不限于大型卡车、轻型卡车、运动型多用途汽车(SUV)和轿车等。

这样的实施方式中，三维外形图像获取装置5独立于移动查看装置2以外，可设置于对待测物进行安检的并排位置，以在待测物进行安检的同时一并获取三维外形图像。这样，无需使用者主动构建三维外形图像，可较为有效地降低使用者的工作量。

图6示意性示出了根据本公开实施例的三维外形图像的局部显示效果示意图。

根据本公开的实施例，在车辆经过门架51的情况下，多个拍摄装置52对车辆的外观进行拍摄，并将拍摄的外形图像发送至车辆外观全景拼接装置53中，车辆外观全景拼接装置53根据同一拍摄装置52拍摄的相邻的两个外形图像中的共同特征对多个外形图像进行拼接，从而将多个外形图像拼接成车辆的全景图像，其中，全景图像可以包括车辆的前表面、后表面、左表面(图6的(a)所示)、右表面(图6的(b)所示)、上表面(图6的(c)所示)和下表面。

根据本公开的一种示意性实施例，由于待测物所限定的容纳空间(如货运卡车的集装箱)相对于待测物(货运卡车)的相对位置是唯一的，因此，依据容纳空间所建立的三维模型相对于待测物的位置是唯一的。将三维模型和待测物的三维外形图像进行关联，依据待测物上的一点(如货运卡车的前车牌的中点)为原点构建三维坐标系。将目标对象在三维模型中的位置信息(如坐标点)映射在三维坐标系中，得到目标对象在三维坐标系中的三维坐标。

这样的实施方式中，透视图像、三维外形图像、待测物及目标对象的位置信息仅存在数据上的关联。这样，所需处理的数据量少，操作较为简便。

根据本公开的另一种示意性实施例，由于可通过透视图像获取三维模型，获取待测物的三维外形图像，因此，可将透视图像及三维外形图像进行拼接以获得拼合图像。获得拼合图像的步骤包括：基于透视图像获取待测物的多个第一识别特征；基于三维外形图像获取待测物的多个第二识别特征；根据第一识别特征和第二识别特征，获取拼合图像；以待测物上的一点作为原点构建拼合图像的三维坐标系；在三维坐标系内获取目标对象的三维坐标。

根据本公开的一种示意性实施例，第一识别特征包括透视图像边缘部分的特征，第二识别特征包括三维外形图像边缘部分的特征。

在本公开的一个具体实施例中，基于透视图像获取车辆的边缘轮廓上的5个特征点作为5个第一识别特征，再基于三维图像获取车辆的边缘轮廓特征上的5个特征点作为5个第二识别特征，将5个第一识别特征和5个第二识别特征进行对准，得到多个拼合图像，选择其中第一识别特征和第二识别特征的对准精度最高的一个拼合图像。

这样的实施方式中，透视图像及三维外形图像被拼接成拼合图像。拼合图像在三维空间中进行表达，目标对象及移动查看装置2均以可视化的形式体现在三维坐标系中(例如，移动查看装置2中以使用者的视角所处的位置作为第二坐标系中的一个坐标点，移动查看装置2中显示目标对象与移动查看装置在三维坐标系中的相对位置)。这样，可具象地体现移动查看装置2与目标对象之间的距离感，以使得使用者的追踪过程更为直观。

根据本公开的一种示意性实施例，将三维坐标关联至移动查看装置2，通过移动查看装置2实时检测移动查看装置2至目标对象的相对位置，以引导移动查看装置2的使用者靠近目标对象包括：将三维坐标关联至移动查看装置2中；将移动查看装置2的视角设为初始追踪位置，将初始追踪位置至目标对象的方向设为第一追踪方向；移动查看装置2沿第一追踪方向移动，使得移动查看装置2移动后的追踪位置与目标对象之间的距离减小，在减小至预设值时停止移动。在此，预设值可设置为待测物的某一方向上的最小距离的一半，例如集装箱的宽度方向上的长度的一半。通常，在移动查看装置与目标对象之间的距离为预设值时，移动查看装置已较为精准地定位到目标对象，无法或者无需进一步移动。

在一个具体实施例中，将三维坐标关联至移动查看装置2包括将三维坐标系以视频和/或图像形式显示于移动查看装置2中。移动查看装置2进一步被配置成可对显示的三维坐标系进行操作，操作表征为可对三维坐标系的局部或全部区域进行放大、缩小或旋转(包括以三维坐标系中的某一个坐标点在三维空间内旋转和/或绕三维坐标系的某一个轴旋转)。

根据本公开的一种示意性实施例，将三维坐标关联至移动查看装置2，通过移动查看装置2实时检测移动查看装置2至目标对象的相对位置，以引导移动查看装置2的使用者靠近目标对象还包括：在移动查看装置2沿与第一追踪方向不同的第二追踪方向移动，且移动查看装置2移动后的追踪位置与目标对象之间的距离增大时，停止移动，调整移动查看装置2的移动方向至第一追踪方向，沿第一追踪方向移动，使得移动查看装置2移动后的追踪位置与目标对象的距离减小。在此，在移动查看装置2移动后的追踪位置与目标对象之间的距离增大时，移动查看装置2可以振动、响起铃声或出现文字警告等，以提示使用者调整移动查看装置2的移动方向。

这样的实施方式中，在根据本公开实施例的对待测物中的目标对象进行追踪的方法中，移动查看装置2可以显示包括目标对象的三维坐标，使用者可以根据该三维坐标确定移动查看装置2的初始追踪位置至目标对象的追踪方向，之后，使用者可以手持移动查看装置2朝向目标对象的目标对象移动；在移动查看装置2沿第一追踪方向移动时，移动查看装置2移动后的追踪位置与目标对象之间的距离减小，在减小至预设值时停止移动。此后，可采用通常的人工查验确认目标对象的具体位置并确认其是否为违禁物。这样，使用者可以手持移动查看装置2移动并在移动查看装置2上实时显示目标对象的相对三维坐标，可基本上确定目标对象在待测物中的具体位置，从而实现对目标对象的准确追踪和定位，大大缩短了人工追踪的时间，提高了图像的可读性，更加方便快速精准地找到嫌疑物。

根据本公开的另一种总体上的发明构思，还提供一种对待测物中的目标对象进行追踪的系统。

图7示意性示出了根据本公开的一种示意性实施例的用于对待测物中的目标对象进行追踪的系统的方框图。

参考图7所示，对待测物中的目标对象进行追踪的系统包括：处理器1及移动查看装置2。处理器1包括识别模块，被配置成在透视图像中识别并标记待测物中的目标对象，以确定目标对象的第一位置信息。移动查看装置2被配置成获取待测物的三维外形图像、确定移动查看装置2相对于三维外形图像的第二位置信息、根据第一位置信息和第二位置信息获取目标对象相对于移动查看装置2的三维坐标，及将三维坐标关联至移动查看装置2，通过移动查看装置2实时检测移动查看装置2至目标对象的相对位置，以引导移动查看装置2的使用者靠近目标对象。

继续参考图7所示，移动查看装置2包括激光雷达模块。激光雷达模块被配置成采集待测物的外表面的原始点云数据，再对原始点云数据进行配准拼接、去噪简化等处理以获得待测物的实体点云数据，再通过实体点云数据进行建模(包括但不限于几何体创建、平面创建及贴图中的至少一种)，以生成待测物的三维外形图像。更具体地，激光雷达模块包括但不限于激光雷达扫描仪。

在本公开一些实施例中，已经获取的透视图像包括集装箱(包括ISO航空集装箱)、货物卡车之类的待测物的透视图像。这里关于获取的透视图像可以为通过X射线扫描获得的二维透视图像或通过CT扫描获得的三维透视图像。基于一个视角下X射线扫描获得的单个二维透视图像难以确定目标对象，进而需要基于多个视角进行X射线扫描分别获取每个视角下对应的二维透视图像，进而基于多个二维透视图像确定目标对象。这里的多个一般指至少两个。

这样的实施方式中，在根据本公开实施例的基于对待测物中的目标对象进行追踪的系统中，移动查看装置2可以显示目标对象与移动查看装置2的相对位置。这样，使用者可以手持移动查看装置2实现在三维图像上对目标对象的追踪，提高了图像的可读性，方便更加快速精准地找到嫌疑物。

本公开的一种示意性实施例中，用于对待测物中的目标对象进行追踪的系统可选择性地包括扫描装置4，配置为获取例如集装箱(包括ISO航空集装箱)、货物卡车之类的待测物的透视图像。或者也可以是由获取待测物的透视图像后，将待测物的透视图像存储在数据库中，在本次使用时直接调取该存储在数据库中的待测物的透视图像。

图8示意性示出了图7所示的一种示意性实施例的系统的方框图。

参考图8所示，用对待测物中的目标对象进行追踪的系统还包括适用于扫描待测物，以获取待测物的透视图像的扫描装置4。

在本公开的一种示意性实施例中，扫描装置4包括X射线扫描成像设备，适用于获取待测物的至少两个视角的透视图像。

在一些实施例中，移动查看装置2可以包括手持终端设备，例如，包括但不限于，智能手机、平板电脑、膝上型便携计算机和台式计算机等，或者可以为无人驾驶的各种电子设备，包括但不限于无人机、机器人等。

在一个具体实施例中，移动查看装置2选用智能手机，使用者可以在智能手机的手机屏幕查看当前的使用者所在的追踪位置，并将该位置作为初始追踪位置。使用者可以通过上下左右滑动手机屏幕并手动点选想要选择的位置以确定追踪位置，使用者还可以通过两个手指在屏幕上相对、相背滑动实现局部缩放，更加便于查看细节。更具体地，移动查看装置2可以为带有激光雷达扫描仪的智能终端，例如带有LiDAR的iPhone或iPad等。

继续参考图8所示，用于对待测物中的目标对象进行追踪的系统还包括适用于采集待测物的第一信息的采集装置3。更具体地，采集装置3可以为摄像头，例如可见光摄像头。

在一个具体实施例中，摄像头识别到车辆的车头车牌号和/或车尾车牌号(第一信息)。

在另一个具体实施例中，摄像头识别到ISO航空集装箱上的集装箱编号(第一信息)。

在又一个具体实施例中，摄像头识别到车载ISO航空集装箱上的集装箱编号(第一信息)。

继续参考图8所示，用于对待测物中的目标对象进行追踪的系统还包括验证模块。

在本公开的一种示意性实施例中，验证模块和识别模块通讯连接，被配置成验证待测物的第一信息。更具体地，验证模块可以为集成于移动查看装置2中的摄像头及与摄像头通讯连接的图像识别组件(含图像识别软件)，被配置成采集待测物的至少一部分(含第二信息的部分，如车牌)的图像信息，并对采集的图像信息进行识别以识别第二信息，并将其与存储于数据库中的第一信息进行匹配验证。

这样的实施方式中，采集装置3适用于采集待测物的第一信息，验证模块适用于采集待测物的第二信息，并将第二信息和第一信息进行比较，以对第一信息进行验证。

继续参考图8所示，用于对待测物中的目标对象进行追踪的系统还包括处理器1中的调取模块(图中未示出)。调取模块配置为根据待测物的第一信息从数据库中调取与第一信息对应的待测物中的第一位置信息和/或包含有第一位置信息的透视图像。待测物包括集装箱或车辆，待测物的第一信息包括集装箱编号或车辆车牌号。更具体地，调取模块可以为通过管道通信方式由数据库或存储有待测物的相关信息(包括三维模型及三维模型内的位置信息)的云平台调取数据的功能模块。

这样的实施方式中，通过验证模块对第一信息验证后，调取存储于数据库中的与第一信息对应的第一位置信息和/或包含有第一位置信息的透视图像。

图10示意性示出了根据本公开的一种示意性实施例中扫描装置的结构示意图。

参考图10所示，扫描装置4包括第一辐射源40，在一个视角下向待测物，例如集装箱，发射X射线，安装在龙门架54上的两组探测器阵列(图中未示出)接收穿过待测物的X射线，从而得到待测物在一个视角下的透视图像(如图10所述的高度方向)。为了通过第一辐射源40得到待测物在另一个视角下的透视图像，可将待测物转换方向(如将待测物设置成沿长度方向再次通过第一辐射源40的辐射位置，图中未示出)，或者调整第一辐射源40发射射线的角度，或者再设置一组第一辐射源40，以获得另一个视角下的透视图像。

在一些实施例中，识别模块被配置成：在透视图像中识别待测物中的目标对象，并对目标对象进行标记，得到两个及以上视角下的标记目标；以及根据视角和标记目标，确定目标对象在透视图像中的位置信息。

在一些实施例中，识别模块被配置成：在透视图像中识别待测物中的目标对象，并对目标对象进行标记，得到一个视角下的标记目标；通过增加视角，补充标记添加新的标记目标，得到两个以上视角下的标记目标；以及根据视角和标记目标，确定目标对象在待测物中的三维模型的第一位置信息。

在一些实施例中，识别模块被配置成：在透视图像中识别待测物中的目标对象，并对目标对象进行标记得到标记目标；以及根据视角和标记目标，确定目标对象在透视图像中的第一位置信息。

在本公开的另一种示意性实施例中，扫描装置4包括X射线断层扫描设备，适用于获取待测物的三维的透视图像。

在一些实施例中，扫描装置4为基于CT扫描的X射线成像设备。CT扫描是一种利用计算机技术对被测物体断层扫描图像进行重建获得三维断层图像的扫描方式。该扫描方式通过单一轴面的射线穿透被测物体，根据被测物体各部分对射线的吸收与透过率不同，由计算机根据探测器接收的透过射线进行三维重构成像，由此基于CT扫描的透视图像获取装置仅利用一套射线源和探测器就可以获取三维的透视图像。

图11示意性示出了根据本公开的另一种示意性实施例中扫描装置的结构示意图。

参考图11所示，扫描装置4包括适用于发射X射线的第二辐射源41、校正器42、前准直器43、圆环形旋转架44、安装在圆环形旋转架44上的探测器阵列45和后准直器46、适用于输送集装箱车辆的传送装置47、适用于驱动圆环形旋转架44旋转的驱动装置48、以及适用于制动传送装置47的制动装置49等。

在一个具体实施例中，圆环形旋转架44为一个可以旋转的大型圆环，第二辐射源41和探测器阵列45都固定在该圆环形旋转架44上，圆环形旋转架44旋转进行扫描，得到集装箱的三维透视图像。

在本公开的一种示意性实施例中，识别模块进一步被配置成在透视图像中识别待测物中的目标对象，并对目标对象进行标记，得到至少两个视角下的标记目标。根据视角和标记目标，确定目标对象在待测物所限定的空间的三维模型内的位置信息。

在本公开的一种示意性实施例中，识别模块进一步被配置成在透视图像中识别待测物中的目标对象，并对目标对象进行标记。得到一个视角下的标记目标，通过转换视角，补充标记添加新的标记目标，得到至少两个视角下的标记目标。根据视角和标记目标，确定目标对象在待测物所限定的空间的三维模型内的位置信息。

在一些实施例中，验证模块包括但不限于集成于移动查看装置2中的摄像头及与摄像头通讯连接的图像识别组件(含图像识别软件)。

图9示意性示出了图7所示的另一种示意性实施例的系统的方框图。

参考图9所示，在本公开的一种示意性实施例中，基于对待测物中的目标对象追踪的系统还包括三维外形图像获取装置5。三维外形图像获取装置5配置为获取待测物的三维外形图像，以构建三维坐标系。

继续参考图9所示，用于对待测物中的目标对象进行追踪的系统还包括拼合模块，被配置成基于透视图像和三维外形图像构造拼合图像，并在拼合图像中构建拼合图像的三维坐标系。

在本公开的一些实施例中，拼合模块进一步被配置成基于透视图像获取待测物的多个第一识别特征基于三维外形图像获取待测物的多个第二识别特征。根据第一识别特征和第二识别特征，获取拼合图像。

在本公开的一些实施例中，第一识别特征包括透视图像边缘部分的特征，第二识别特征包括三维外形图像边缘部分的特征。

图12示意性示出了一种示意性实施例的三维外形图像获取装置的结构示意图。

参照图12所示，在本公开的一种示意性实施例中，三维外形图像获取装置包括：门架51、至少三个拍摄装置52和车辆外观全景拼接装置53。门架51包括至少两个侧柱511和/或至少一个横梁512，横梁512的两端分别与侧柱511连接。至少三个拍摄装置52分别设置于相对的两个侧柱511上以及横梁512上，集装箱车辆驶过门架51，拍摄装置52按照预设帧率拍摄车辆的多个外形图像。车辆外观全景拼接装置53与拍摄装置52通信连接，用于根据每个拍摄装置52拍摄的相邻两个外形图像中的共同特征，将多个外形图像拼接成子图像，进而根据多个子图像拼接成待测车辆的三维图像。

作为本公开的一实施例，如果移动查看装置2并未沿第一追踪方向移动，而是沿第二追踪方向移动(第二追踪方向可以是除第一追踪方向外的任意方向，例如与第一追踪方向为相反方向)，移动查看装置2则可以提示使用者改变移动方向。具体地，如果移动查看装置2沿与第一追踪方向不同的第二追踪方向移动，移动查看装置2移动后的追踪位置与目标对象之间的距离增大，则停止移动；进一步地，调整移动查看装置2的移动方向至修改后的第一追踪方向，沿修改后的第一追踪方向移动，使得移动查看装置2移动后的追踪位置与目标对象之间的距离减小，在减小至预设值时停止移动。

在一些实施例中，三维坐标系中的目标对象的位置是固定的，移动查看装置的位置是依据使用者的位置变化而变化的，基于移动查看装置的位置变化可针对使用者的坐标实时更新，并基于更新后的第二坐标点重新获取相对于第一坐标点(目标对象)的三维坐标，以对使用者与目标对象的位置进行修正。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (23)

1.一种对待测物中的目标对象进行追踪的方法，包括：

对透视图像中的目标对象进行识别，并确定所述目标对象在待测物中的三维模型的第一位置信息；

利用移动查看装置构建所述待测物的三维外形图像，确定所述移动查看装置相对于所述三维外形图像的第二位置信息；

根据第一位置信息和第二位置信息，获取所述目标对象相对于移动查看装置的三维坐标；以及

将所述三维坐标关联至移动查看装置，通过所述移动查看装置实时查看移动查看装置至目标对象的相对位置，以引导所述移动查看装置的使用者靠近所述目标对象。

2.根据权利要求1所述的方法，还包括获取待测物的第一信息及透视图像。

3.根据权利要求2所述的方法，其中，所述利用移动查看装置构建所述待测物的三维外形图像包括：

识别所述第一信息；以及

构建与所述第一信息对应的所述待测物的三维外形图像。

4.根据权利要求2或3所述的方法，其中，所述获取待测物的透视图像包括通过X射线扫描待测物、获取所述透视图像。

5.根据权利要求2或3所述的方法，其中，获取待测物的透视图像包括通过X射线计算机断层扫描待测物、获取三维的所述透视图像。

6.根据权利要求4所述的方法，其中，所述对透视图像中的目标对象进行识别，并确定所述目标对象在待测物中的三维模型的第一位置信息包括：

在所述透视图像中识别并标记所述待测物中的目标对象，得到一个视角下的标记目标；

通过增加视角，补充标记添加新的标记目标，得到至少一个另一个视角下的标记目标；以及

根据所述视角和所述标记目标，确定所述目标对象在所述待测物所限定的空间的三维模型内的第一位置信息。

7.根据权利要求4所述的方法，其中，所述对透视图像中的目标对象进行识别，并确定所述目标对象在待测物中的三维模型的第一位置信息包括：

在所述透视图像中识别并标记所述待测物中的目标对象，得到至少两个视角下的标记目标；以及

根据所述视角和所述标记目标，确定所述目标对象在所述待测物所限定的空间的三维模型内的第一位置信息。

8.根据权利要求1至3中任一所述的方法，其中，所述构建所述待测物的三维外形图像包括：

利用移动查看装置获取所述待测物的多个外表面的特征；以及

根据多个所述外表面的特征构建所述待测物的三维外形图像。

9.根据权利要求1至3中任一所述的方法，其中，所述根据第一位置信息和第二位置信息，获取所述目标对象相对于所述移动查看装置的三维坐标包括：

以所述待测物上的一点作为原点构建所述三维外形图像的三维坐标系；

在三维坐标系中生成所述第一位置信息的第一坐标点；

在三维坐标系中生成所述第二位置信息的第二坐标点；以及

获取所述第一坐标点相对于第二坐标点在所述三维坐标系中的三维坐标。

10.根据权利要求1至3中任一所述的方法，其中，所述将所述三维坐标关联至移动查看装置，通过所述移动查看装置实时查看移动查看装置至目标对象的相对位置，以引导所述移动查看装置的使用者靠近所述目标对象包括：

将所述三维坐标关联至移动查看装置中；

将所述移动查看装置的视角设为初始追踪位置，将所述初始追踪位置至所述目标对象的方向设为第一追踪方向；以及

所述移动查看装置沿所述第一追踪方向移动，使得所述移动查看装置移动后的追踪位置与所述目标对象之间的距离减小，在减小至预设值时停止移动。

11.根据权利要求10所述的方法，其中，所述将所述三维坐标关联至移动查看装置，通过所述移动查看装置实时查看移动查看装置至目标对象的相对位置，以引导所述移动查看装置的使用者靠近所述目标对象还包括：在所述移动查看装置沿与第一追踪方向不同的第二追踪方向移动，且所述移动查看装置移动后的追踪位置与所述目标对象之间的距离增大时，调整所述移动查看装置的移动方向至第一追踪方向，沿所述第一追踪方向移动，使得所述移动查看装置移动后的追踪位置与所述目标对象的距离减小。

12.一种用于对待测物中的目标对象进行追踪的系统，包括：

处理器，包括：

识别模块，被配置成在透视图像中识别并标记所述待测物中的目标对象，以确定所述目标对象在待测物中的三维模型的第一位置信息；以及

移动查看装置，被配置成获取所述待测物的三维外形图像；

其中，所述移动查看装置还被配置成确定所述移动查看装置相对于所述三维外形图像的第二位置信息；根据第一位置信息和第二位置信息，获取所述目标对象相对于移动查看装置的三维坐标；将所述三维坐标关联至移动查看装置，通过所述移动查看装置实时查看移动查看装置至目标对象的相对位置，以引导所述移动查看装置的使用者靠近所述目标对象。

13.根据权利要求12所述的系统，还包括扫描装置，适用于扫描所述待测物，以获取所述待测物的透视图像。

14.根据权利要求13所述的系统，其中，所述扫描装置包括X射线扫描成像设备，适用于获取所述待测物的至少一个视角的透视图像。

15.根据权利要求13所述的系统，其中，所述扫描装置包括X射线断层扫描设备，适用于获取所述待测物的三维的透视图像。

16.根据权利要求12至15中任一所述的系统，还包括采集装置，适用于采集所述待测物的第一信息。

17.根据权利要求16所述的系统，其中，所述移动查看装置还包括验证模块，被配置成验证所述待测物的第一信息。

18.根据权利要求17所述的系统，其中，所述处理器还包括调取模块，配置为从数据库中调取与第一信息对应的待测物中的目标对象的第一位置信息；

所述待测物包括集装箱或车辆；所述待测物的第一信息包括集装箱编号或车辆车牌号。

19.根据权利要求12至14中任一所述的系统，其中，所述识别模块进一步被配置成：

在所述透视图像中识别所述待测物中的目标对象，并对所述目标对象进行标记，得到一个视角下的标记目标；

通过增加视角，补充标记添加新的标记目标，得到至少两个视角下的标记目标；以及

根据所述视角和所述标记目标，确定所述目标对象在所述待测物所限定的空间的三维模型内的第一位置信息。

20.根据权利要求12至14中任一所述的系统，其中，所述识别模块进一步被配置成：

在所述透视图像中识别所述待测物中的目标对象，并对所述目标对象进行标记，得到至少两个视角下的标记目标；以及

根据所述视角和所述标记目标，确定所述目标对象在所述待测物所限定的空间的三维模型内的第一位置信息。

21.根据权利要求12至15中任一项所述的系统，其中，所述移动查看装置包括激光雷达模块，被配置成获取所述待测物的多个外表面的特征，并根据所述多个外表面的所述特征构建所述待测物的三维外形图像。

22.根据权利要求12至15中任一项所述的系统，其中，所述移动查看装置进一步被配置成：

以所述待测物上的一点作为原点构建所述三维外形图像的三维坐标系；

在三维坐标系中生成所述第一位置信息的第一坐标点；

在三维坐标系中生成所述第二位置信息的第二坐标点；以及

获取所述第一坐标点相对于第二坐标点在所述三维坐标系中的三维坐标。

23.根据权利要求12至15中任一所述的系统，其中，所述移动查看装置被配置成：

在沿与第一追踪方向不同的第二追踪方向移动，且所述移动查看装置移动后的追踪位置与所述目标对象对应之间的距离增大时，停止移动；以及

调整所述移动查看装置的移动方向至第一追踪方向，沿所述第一追踪方向移动，使得所述移动查看装置移动后的追踪位置与所述目标对象之间的距离减小，在减小至预设值时停止移动。

Images