CN114972411B - 图像关联方法、计算机设备及存储介质 - Google Patents

Abstract

本申请实施例提供了一种图像关联方法、计算机设备及存储介质，该方法包括：获取传送装置未执行预设事件时目标对象由第一成像装置运动至第二成像装置的第一时间间隔；获取传送装置执行预设事件的时间信息；以及获取第二成像装置对目标对象成像得到第二图像的第二时间；根据第二时间、第一时间间隔以及预设事件的时间信息，确定第一成像装置对目标对象成像的第一时间；以及将第一成像装置在第一时间对目标对象成像得到的第一图像，与第二图像进行关联。通过在确定第二时间对应的第一时间时，加入预设事件的时间信息的影响，提高确定的第一时间的准确性，以及第二图像对应的第一图像的准确性。

Description

图像关联方法、计算机设备及存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像关联方法、计算机设备及存储介质。

背景技术

随着图像处理技术的飞速发展，图像处理等技术已经被运用到各行各业，如安防、人机交互、医学图像等领域。通过多个成像装置对行李、包裹等目标对象进行成像得到的图像可以从不同方面展示行李、包裹等目标对象的特征。例如在X光安检的场景中，在X光安检设备的出口和/或入口设置行李外观摄像机，可以获取行李的X光图像和行李外观图像。

现有技术可以根据行李进入X光安检设备的时刻，预测X光图像的获取时间和X光图像的获取位置；以及根据X光图像的获取时间和获取位置，从X光图像的视频流中提取该行李的X光图像，由此将同一行李的行李外观图像和X光图像进行关联。此种方式存在以下技术问题：但是在使用过程中X光安检设备的一些工作状态，如暂停、反转会影响X光图像的获取时间的预测准确性，也会影响X光图像和行李外观图像的关联结果的准确性。

发明内容

本申请实施例提供一种图像关联方法、计算机设备及存储介质，能够提高图像关联的准确性。

第一方面，本申请提供了一种图像关联方法，所述方法包括：

获取传送装置未执行预设事件时目标对象由第一成像装置运动至第二成像装置的第一时间间隔，所述目标对象随所述传送装置在预设方向上运动；

获取所述传送装置执行预设事件的时间信息；

获取所述第二成像装置对所述目标对象成像的第二时间，所述第二成像装置对所述目标对象成像得到第二图像；

根据所述第二时间、所述第一时间间隔以及所述预设事件的时间信息，确定所述第一成像装置对所述目标对象成像的第一时间；

将所述第一成像装置在所述第一时间对所述目标对象成像得到的第一图像，与所述第二图像进行关联。

第二方面，本申请提供了一种图像关联方法，包括：

获取传送装置未执行预设事件时目标对象由第二成像装置运动至第三成像装置的第二时间间隔，所述目标对象随所述传送装置在预设方向上运动；

获取所述第二成像装置对所述目标对象成像的第二时间，所述第二成像装置对所述目标对象成像得到第二图像；

获取所述传送装置执行预设事件的时间信息；

根据所述第二时间、所述第二时间间隔以及所述预设事件的时间信息，确定所述第三成像装置对所述目标对象成像的第三时间；

将所述第三成像装置在所述第三时间对所述目标对象成像得到的第三图像，与所述第二图像进行关联。

第三方面，本申请提供了一种计算机设备，所述计算机设备包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现上述的图像关联方法的步骤。

第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，若所述计算机程序被处理器执行，实现上述的图像关联方法的步骤。

本申请公开了一种图像关联方法、计算机设备及存储介质，包括：方法获取传送装置未执行预设事件时目标对象由第一成像装置运动至第二成像装置的第一时间间隔；获取所述传送装置执行预设事件的时间信息；以及获取所述第二成像装置对所述目标对象成像得到第二图像的第二时间；根据所述第二时间、所述第一时间间隔以及所述预设事件的时间信息，确定所述第一成像装置对所述目标对象成像的第一时间；以及将所述第一成像装置在所述第一时间对所述目标对象成像得到的第一图像，与所述第二图像进行关联。通过在确定所述第二时间对应的第一时间时，加入预设事件的时间信息的影响，提高确定的第一时间的准确性，以及第二图像对应的第一图像的准确性。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一实施例的图像关联方法的流程示意图；

图2为一实施方式中图像处理系统的结构示意图；

图3为另一实施方式中图像处理系统的结构示意图；

图4为一实施方式中传送装置执行预设事件的示意图；

图5为本申请另一实施例的图像关联方法的流程示意图；

图6为另一实施方式中传送装置执行预设事件的示意图；

图7为本申请一实施例提供的一种计算机设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。

安防领域的X光图像处理技术受到越来越多的学者和专家的重视。众所周知，为避免不法分子携带刀枪、各类炸弹等违禁物品行凶作案，地铁、火车、飞机等公共场合都设有安检系统，且X光图像扫描作为一项且广泛应用的安检技术，已成为安检过程中重要的一环。安检是有关部门为了及时发现安全隐患，预防各类事故的发生，而依法对旅客人身及其携带物品和托运物品等进行的强制性检查。但是如何将安检X光图像与行李真实图像快速、准确地关联是一个亟待解决的问题。

现有解决方案可以通过跟踪入口处视频中的每一个行李，得到各个行李的运动轨迹，然后通过计算行李进入的X光安检设备的铅帘门的位置和时间、以及传送带的运动速度来计算出该行李的X光图像的X光图像获取时间和X光图像获取位置，X光图像提取部根据X光图像获取时间和X光图像位置、以及该行李的外观大小，对X光视频流进行分割，获得该行李的X光图像；以及将该运动轨迹所对应的行李外观图像和X光图像进行关联。

本申请的发明人发现现有解决方案存在以下至少一项问题：需要对视频中的真实行李进行跟踪以在进行关联时对视频帧进行分割，跟踪所需开销较大；关联时间计算较为复杂，容易导致稳定性降低；计算包图关联时间差时，需要考虑行李进入的X光安检设备的铅帘门的位置和时间、以及传送带的运动速度；虽然考虑了时间差的因素，但没有考虑安检机在实际使用过程中的暂停会造成时间差的变化，从而导致X光图像和行李外观图像的关联失败的问题，而且，安检机的反转操作也是安检员在日常工作中的常规操作，反转必然也会影响X光图像和行李外观图像的关联结果。

针对该发现，本申请的发明人对图像关联方法进行改进，以至少解决上述问题中的至少一项，例如可以提高图像关联的准确性，在一些实施方式中提供了一套具有简单、高效、准确的X光图像和行李外观图像的关联方法。

本申请的实施例提供了一种图像关联方法、计算机设备及存储介质。方法包括：获取传送装置未执行预设事件时目标对象由第一成像装置运动至第二成像装置的第一时间间隔；获取传送装置执行预设事件的时间信息；以及获取第二成像装置对目标对象成像得到第二图像的第二时间；根据第二时间、第一时间间隔以及预设事件的时间信息，确定第一成像装置对目标对象成像的第一时间；以及将第一成像装置在第一时间对目标对象成像得到的第一图像，与第二图像进行关联。通过在确定第二时间对应的第一时间时，加入预设事件的时间信息的影响，提高确定的第一时间的准确性，以及第二图像对应的第一图像的准确性。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

请参阅图1，图1是本申请的实施例提供的一种图像关联方法的流程示意图。

本申请实施例提供的图像关联方法可以应用于终端或服务器等计算机设备中。终端可以是手机、平板电脑、笔记本电脑、台式电脑、个人数字助理等电子设备；服务器可以为独立的服务器，也可以为服务器集群。

在一些实施方式中，图像关联方法可以应用于安检设备，如机场、车站等的安检设备，或者是用于对快递包裹进行安检的设备，当然也不限于此。举例而言，安检设备上搭载有平板电脑、笔记本电脑、台式电脑、个人数字助理等计算机设备，计算机设备用于执行本申请实施例所述的图像关联方法的步骤。

如图2和图3所示，本申请实施例还提供了一种图像处理系统，图像处理系统包括第二成像装置120以及第一成像装置110和/或第三成像装置130，举例而言，第二成像装置120为X光成像装置，第一成像装置110和/或第三成像装置130为可见光成像装置。图像处理系统还可以包括传送装置20，传送装置20用于传送目标对象10，目标对象10例如为行李、快递包裹等，当然也不限于此；传送装置20可以但不限于包括传送带或链式传送装置，传送装置20可以沿预设方向（如图示箭头指示的方向）带着目标对象运动。第二成像装置120用于对检测室内的物体进行成像，第一成像装置110位于检测室的入口处，第三成像装置130位于检测室的出口处，目标对象沿着预设方向运动时，第一成像装置110、第二成像装置120、第三成像装置130可以按顺序对目标对象进行成像，本申请实施例可以对第二成像装置120成像得到的第二图像，与第一成像装置110成像得到的第一图像和/或第三成像装置130成像得到的第三图像进行关联，例如关联的图像可以对应同一标识，该标识也可以与所述目标对象对应关联。图像处理系统还可以包括前述的计算机设备，计算机设备用于执行本申请实施例的方法的步骤。为便于说明，以下主要以图像处理系统为安检系统为例进行说明，在其他实施方式中图像处理系统不限于为安检系统，例如可以为生产线上的产品检测系统等，当然也不限于此。

如图1所示，图像关联方法用于对第一成像装置的第一图像和第二成像装置的第二图像进行关联时，包括以下步骤S110至步骤S150。

步骤S110、获取传送装置未执行预设事件时目标对象由第一成像装置运动至第二成像装置的第一时间间隔，所述目标对象随所述传送装置在预设方向上运动。

请参阅图2，目标对象10包括行李1，行李1在第一时间间隔从第一成像装置110下方运动至第二成像装置120下方，期间传送装置未执行预设事件，例如目标对象10随传送装置20匀速运动。举例而言，所述第一时间间隔可以为行李/包裹从安检机入口进入，到X射线扫描开始的时间间隔，例如可以通过测试工具获得；或者可以根据所述第一成像装置和所述第二成像装置之间的距离，以及所述传送装置在预设方向上的运动速度确定。

举例而言，第一时间间隔表示为T_interval，例如为5秒（s）。

步骤S120、获取所述传送装置执行预设事件的时间信息。

在一些实施方式中，所述预设事件包括暂停事件和/或反转事件。暂停事件包括传送装置停止运动，传送装置上的目标对象的位置不变，请参阅图4，在第8s至11s之间、第14s至16s之间、第18.5s至24.5s之间发生了共3次暂停事件。反转事件包括传送装置反方向传动，目标对象的运动方向与所述预设方向相反。

示例性的，所述传送装置执行预设事件的时间信息包括以下至少一种：所述传送装置执行所述预设事件的起始时间T_start、所述传送装置执行所述预设事件的结束时间T_stop、所述传送装置执行所述预设事件的事件时长（T_stop－T_start）、所述预设事件对所述目标对象的运动产生影响的影响持续时间T_duration。其中，事件时长等于所述结束时间与所述起始时间的差值。

其中，所述暂停事件对所述目标对象的运动产生影响的影响持续时间为所述传送装置执行所述暂停事件的结束时间与起始时间的差值，例如T_duration＝T_stop－T_start。在发生暂停事件时，目标对象的位置不变，使得目标对象由第一成像装置运动至第二成像装置的时间为第一时间间隔T_interval与暂停事件的事件时长的和，所述暂停事件对所述目标对象的运动产生影响的影响持续时间为事件时长（T_stop－T_start）。举例而言，传送装置传送目标对象时的速度为匀速或者大致匀速。

其中，所述反转事件对所述目标对象的运动产生影响的影响持续时间为所述传送装置执行所述反转事件的结束时间与起始时间的差值的两倍，例如T_duration＝2×（T_stop－T_start）。在发生反转事件时，目标对象的位置向第一成像装置靠近，在反转事件结束后需要（T_stop－T_start）的时间目标对象才能回到反转事件起始时的位置，使得目标对象由第一成像装置运动至第二成像装置的时间为第一时间间隔T_interval与2×（T_stop－T_start）的和，所述反转事件对所述目标对象的运动产生影响的影响持续时间为2×（T_stop－T_start）。举例而言，传送装置反转时的速度，与沿预设方向转动时的速度相同。

步骤S130、获取所述第二成像装置对所述目标对象成像的第二时间，所述第二成像装置对所述目标对象成像得到第二图像。

示例性的，在第二成像装置获取到包含所述目标对象的第二图像，如X光图像时，根据所述第二图像的时间戳确定所述第二时间，例如表示为T_2。

举例而言，获取第二成像装置的图像，识别所述图像中是否包含完整的目标对象，当所述图像中包含完整目标对象时，确定所述图像为所述第二图像，以及确定对应的第二时间。

步骤S140、根据所述第二时间、所述第一时间间隔以及所述预设事件的时间信息，确定所述第一成像装置对所述目标对象成像的第一时间。

步骤S150、将所述第一成像装置在所述第一时间对所述目标对象成像得到的第一图像，与所述第二图像进行关联。

通过在确定所述第二时间对应的第一时间时，加入预设事件的时间信息的影响，提高确定的第一时间的准确性，以及第二图像对应的第一图像的准确性。例如可以实现安检机在正常运转、暂停以及反转等多种情况下的X光图像与行李图像的关联，具有较强的适用性。

在一些实施方式中，步骤S140根据所述第二时间、所述第一时间间隔以及所述预设事件的时间信息，确定所述第一成像装置对所述目标对象成像的第一时间，包括：根据所述第二时间、所述第一时间间隔以及至少一次预设事件的时间信息，确定所述至少一次预设事件中的目标预设事件；以及根据所述第二时间、所述第一时间间隔以及所述目标预设事件的时间信息，确定所述第一成像装置对所述目标对象成像的第一时间。

其中，所述目标预设事件是在所述目标对象由所述第一成像装置运动至所述第二成像装置期间执行的预设事件。

示例性的，在所述目标对象由所述第一成像装置运动至所述第二成像装置期间执行的预设事件，会对所述目标对象对应的第一时间和第二时间造成影响。例如所述暂停事件对所述目标对象的运动产生影响的影响持续时间为所述传送装置执行所述暂停事件的结束时间与起始时间的差值，所述反转事件对所述目标对象的运动产生影响的影响持续时间为所述传送装置执行所述反转事件的结束时间与起始时间的差值的两倍。通过在至少一次预设事件中确定会对所述目标对象对应的第一时间和第二时间造成影响的目标预设事件,以及根据所述第二时间、所述第一时间间隔以及所述目标预设事件的时间信息，确定所述第一成像装置对所述目标对象成像的第一时间，可以更准确的确定所述第二时间对应的第一时间。

示例性的，当根据所述第二时间、所述第一时间间隔以及至少一次预设事件的时间信息，确定所述至少一次预设事件均不是所述目标预设事件时，即当所述目标对象在由第一成像装置运动至第二成像装置期间未发生所述预设事件时，可以确定所述预设事件均未对所述目标对象对应的第一时间和第二时间造成影响。请参阅图4，行李5在第25s至30s之间由第一成像装置运动至第二成像装置，行李6在第27.5s至32.5s之间由第一成像装置运动至第二成像装置，期间均未发生所述预设事件。

示例性的，当根据所述第二时间、所述第一时间间隔以及至少一次预设事件的时间信息，确定所述至少一次预设事件均不是所述目标预设事件时，根据所述第二时间和所述第一时间间隔的差值，确定所述第一成像装置对所述目标对象成像的第一时间。请参阅图4，行李5对应的第二时间T_2为30s，行李5对应的第一时间为T_2－T_interval，当第一时间间隔T_interval为5s时，行李5对应的第一时间为25s；行李6对应的第二时间T_2为32.5s，行李6对应的第一时间为27.5s。

在一些实施方式中，根据所述第二时间、所述第一时间间隔以及至少一次预设事件的时间信息，确定所述至少一次预设事件中的目标预设事件，包括：判断所述第二时间与最近n次预设事件各自的影响持续时间、所述最近n次预设事件中最先发生的预设事件的起始时间的差值是否大于0，且小于所述第一时间间隔，其中n为正整数；当所述第二时间与最近n次预设事件的影响持续时间、所述最近n次预设事件中最先发生的预设事件的起始时间的差值大于0，且小于所述第一时间间隔，确定所述最近n次预设事件为所述目标预设事件。

其中，所述第二时间T_2减去最近n次预设事件各自的影响持续时间T_duration之和，以及减去所述最近n次预设事件中最先发生的预设事件的起始时间T_start的差值大于0，且小于所述第一时间间隔T_interval，可以表示如下：

请参阅图4，在第8s至11s之间发生第1次暂停事件，记录第1次暂停事件的影响持续时间T_duration为3s，起始时间T_start为8s；在11.5s时得到行李2的第二图像，即行李2的第二时间T_2为11.5s，可以确定11.5－3－8大于0且小于T_interval，T_interval例如为5s，以及第1次暂停事件是在行李2由所述第一成像装置运动至所述第二成像装置期间执行的预设事件，即第1次暂停事件是行李2的目标预设事件。

示例性的，在所述目标对象由所述第一成像装置运动至所述第二成像装置期间发生所述目标预设事件的情况下，根据所述第二时间、所述第一时间间隔以及所述目标预设事件的时间信息，确定所述第一成像装置对所述目标对象成像的第一时间，包括：根据所述第二时间与所述第一时间间隔、所述最近n次预设事件各自的影响持续时间的差值，确定所述第一成像装置对所述目标对象成像的第一时间，第一时间例如表示为T_delta。

其中，根据所述第二时间T_2减去最近n次预设事件各自的影响持续时间T_duration之和，以及减去所述第一时间间隔T_interval的差值确定第一时间T_delta，可以表示如下：

请参阅图4，行李2对应的第一时间为11.5－5－3＝3.5，可以获取第一成像装置在3.5s对所述目标对象成像得到的第一图像，与行李2对应的第二图像进行关联。举例而言，根据第一时间T_delta可以作为行李图像关联的时间戳，在第一成像装置（如入口摄像机）获取该时间戳的行李外观图像即为行李2对应的第二图像的包图关联结果。

在一些实施方式中，可以记录每次预设事件的时间信息，例如按照预设事件发生的先后顺序存储每次预设事件的时间信息。举例而言，将所述预设事件的时间信息存储在双端队列Q中，在需要最近n次预设事件的时间信息确定目标预设事件和/或确定所述第一时间时，在所述双端队列Q的尾部开始遍历，得到最近n次预设事件的时间信息。

示例性的，共记录了S次预设事件的时间信息，当所述第二时间与所述S次预设事件各自的影响持续时间、所述S次预设事件中最先发生的预设事件的起始时间的差值大于0，且小于所述第一时间间隔时，确定所述S次预设事件均为所述目标预设事件。

例如，在第8s至11s之间发生第1次暂停事件，记录第1次暂停事件的影响持续时间T_duration为3s，起始时间T_start为8s；在第14s至16s之间发生第2次暂停事件，记录第2次暂停事件的影响持续时间T_duration为2s，起始时间T_start为14s。在17s时得到行李3的第二图像，即行李3的第二时间T_2为17s，可以确定17－（2＋3）－8大于0且小于T_interval，以及第1次暂停事件和第2次暂停事件均是在行李2由所述第一成像装置运动至所述第二成像装置期间执行的预设事件，即第1次暂停事件和第2次暂停事件均是行李3的目标预设事件。行李3对应的第一时间为17－5－（2＋3）＝7，可以获取第一成像装置在7s的第一图像，与行李3对应的第二图像进行关联。

示例性的，共记录了S次预设事件的时间信息，当所述第二时间与最近n次预设事件的影响持续时间、所述最近n次预设事件中最先发生的预设事件的起始时间的差值大于0，且小于所述第一时间间隔，以及所述第二时间与最近（n＋1）次预设事件的影响持续时间、所述最近（n＋1）次预设事件中最先发生的预设事件的起始时间的差值小于或等于0，或大于或等于所述第一时间间隔时，可以确定所述最近n次预设事件为所述目标预设事件，其中n为小于S的正整数。

可选的，可以先将n赋值为1，判断最近n次预设事件是否为目标预设事件，若否则确定当前目标对象在由第一成像装置运动至第二成像装置期间未发生所述目标预设事件；若是则n＝n＋1，以及判断最近n次预设事件是否为目标预设事件，若最近n次预设事件不是所述目标预设事件则可以确定最近(n－1)预设事件为所述目标预设事件。

请参阅图4，在第8s至11s之间发生第1次暂停事件，记录第1次暂停事件的时间信息；在第14s至16s之间发生第2次暂停事件，记录第2次暂停事件的时间信息；在第18.5s至24.5s之间发生第3次暂停事件，记录第3次暂停事件的影响持续时间T_duration为6s，起始时间T_start为18.5s。在26.5s时得到行李4的第二图像，即行李4的第二时间T_2为26.5s，可以确定26.5－6－18.5大于0且小于T_interval，26.5－（6＋2）－14大于0且小于T_interval，以及26.5－（6＋2＋3）－8大于T_interval，则可以确定第2次暂停事件和第3次暂停事件均是行李4的目标预设事件。行李4对应的第一时间为26.5－（6＋2）－5＝13.5，可以获取第一成像装置在13.5s的第一图像，与行李4对应的第二图像进行关联。在30s时得到行李5的第二图像，即行李5的第二时间T_2为30s，可以确定30－6－18.5大于T_interval，则可以确定最近3次暂停事件均不是行李5的目标预设事件。行李5对应的第一时间T_2－T_interval为30－5＝25，可以获取第一成像装置在25s的第一图像，与行李5对应的第二图像进行关联。

在一些实施方式中，所述方法还包括：当所述第二时间与已经记录的若干次预设事件各自的影响持续时间、所述已经记录的若干次预设事件中最早的预设事件的结束时间的差值大于所述第一时间间隔时，删除所述已经记录的若干次预设事件的时间信息。

举例而言，当所述第二时间T_2减去已经记录的若干次预设事件各自的影响持续时间T_duration之和，以及减去最早的预设事件的结束时间T_stop得到的差值

大于第一时间间隔T_interval时，例如大于T_interval＋δt（其中δt大于0，δt可以为预设值）时，可以确定已经记录的预设事件均不会对当前的目标对象和后续的目标对象的第一时间产生影响，可以删除所述已经记录的预设事件的时间信息。

请参阅图4，行李6的第二时间T_2为32.5s，可以确定32.5－（6＋2＋3）－11大于T_interval，则删除前3次预设事件的时间信息。行李6对应的第一时间（T_2－T_interval）为32.5－5＝27.5，可以获取第一成像装置在27.5s的第一图像，与行李6对应的第二图像进行关联。

本申请实施例提供的图像关联方法，包括：获取传送装置未执行预设事件时目标对象由第一成像装置运动至第二成像装置的第一时间间隔；获取所述传送装置执行预设事件的时间信息；以及获取所述第二成像装置对所述目标对象成像得到第二图像的第二时间；根据所述第二时间、所述第一时间间隔以及所述预设事件的时间信息，确定所述第一成像装置对所述目标对象成像的第一时间；以及将所述第一成像装置在所述第一时间对所述目标对象成像得到的第一图像，与所述第二图像进行关联。通过在确定所述第二时间对应的第一时间时，加入预设事件的时间信息的影响，提高确定的第一时间的准确性，以及第二图像对应的第一图像的准确性。

请结合前述实施例参阅图5，图5所示为本申请实施例提供另一实施方式中图像关联方法的流程示意图，可以用于对如图3所示的第三成像装置的第三图像和第二成像装置的第二图像进行关联。可以理解的，当图像处理系统包括第二成像装置以及第一成像装置和第三成像装置时，计算机设备即可以用于执行图1所示的方法的步骤以对第一成像装置的第一图像和第二成像装置的第二图像进行关联，也可以用于执行图5所示的方法的步骤以对第三成像装置的第三图像和第二成像装置的第二图像进行关联。

请结合图3参阅图5，图像关联方法包括以下步骤S210至步骤S250。

S210、获取传送装置未执行预设事件时目标对象由第二成像装置运动至第三成像装置的第二时间间隔，所述目标对象随所述传送装置在预设方向上运动。

请参阅图3，目标对象10包括行李1，行李1在第二时间间隔从第二成像装置120下方运动至第三成像装置130下方，期间传送装置未执行预设事件，例如目标对象10随传送装置20匀速运动。举例而言，所述第二时间间隔可以为X射线扫描行李/包裹开始到行李/包裹从安检机的出口出来的时间间隔，例如可以通过测试工具获得；或者可以根据所述第二成像装置和所述第三成像装置之间的距离，以及所述传送装置在预设方向上的运动速度确定。

举例而言，第二时间间隔表示为T_interval2，例如为6秒（s）。

S220、获取所述第二成像装置对所述目标对象成像的第二时间，所述第二成像装置对所述目标对象成像得到第二图像。

示例性的，在第二成像装置获取到包含所述目标对象的第二图像，如X光图像时，根据所述第二图像的时间戳确定所述第二时间，例如表示为T_2。

举例而言，获取第二成像装置的图像，识别所述图像中是否包含完整的目标对象，当所述图像中包含完整目标对象时，确定所述图像为所述第二图像，以及确定对应的第二时间。

S230、获取所述传送装置执行预设事件的时间信息。

在一些实施方式中，所述预设事件包括暂停事件和/或反转事件。请参阅图5，在第7s至9s之间、第14.5s至16.5s之间发生了共2次暂停事件。

示例性的，所述传送装置执行预设事件的时间信息包括以下至少一种：所述传送装置执行所述预设事件的起始时间T_start、所述传送装置执行所述预设事件的结束时间T_stop、所述传送装置执行所述预设事件的事件时长（T_stop－T_start）、所述预设事件对所述目标对象的运动产生影响的影响持续时间T_duration。

S240、根据所述第二时间、所述第二时间间隔以及所述预设事件的时间信息，确定所述第三成像装置对所述目标对象成像的第三时间。

S250、将所述第三成像装置在所述第三时间对所述目标对象成像得到的第三图像，与所述第二图像进行关联。

通过在确定所述第二时间对应的第三时间时，加入预设事件的时间信息的影响，提高确定的第三时间的准确性，以及第二图像对应的第三图像的准确性。例如可以实现安检机在正常运转、暂停以及反转等多种情况下的X光图像与行李图像的关联，具有较强的适用性。

在一些实施方式中，所述预设事件包括暂停事件，所述预设事件的时间信息包括所述传送装置执行所述暂停事件的起始时间；根据所述第二时间、所述第二时间间隔以及所述预设事件的时间信息，确定所述第三成像装置对所述目标对象成像的第三时间，包括：根据所述传送装置执行所述暂停事件的起始时间与所述第二时间的差值，确定所述第二时间之后所述目标对象的已传送时长；根据所述第二时间间隔和所述已传送时长的差值，确定所述第三成像装置对所述目标对象成像的第三时间。

请参阅图6，对于行李1，根据所述传送装置执行第1次暂停事件的起始时间T_start =7s与所述第二时间T_2=5s的差值，确定所述第二时间之后所述目标对象的已传送时长为2s；根据所述第二时间间隔T_interval2=6s与所述已传送时长的差值T_interval2－（T_start－T_2）=4s确定所述第三成像装置对所述目标对象成像的第三时间。举例而言，根据第1次暂停事件的结束时间，以及T_interval2－（T_start－T_2），确定所述第三时间。可选的，在暂停事件结束时，更新关联定时器T_timer＝T_interval2－（T_start－T_2），以及在关联定时器T_timer定时到0时，获取所述第三成像装置对所述目标对象成像得到的第三图像，与所述第二图像进行关联。可选的，在暂停事件结束时，根据暂停事件的结束时间与T_interval2－（T_start－T_2）的和确定所述第三时间。

请参阅图6，对于行李2，T_interval2－（T_start－T_2）=6－（14.5－10.5）=2s，可以在第2次暂停事件结束之后的2s，即18.5s时获取第三图像；对于行李3，T_interval2－（T_start－T_2）=6－（14.5－14）=5.5s，可以在第2次暂停事件结束之后的5.5s，即22s时获取第三图像。

在一些实施方式中，所述预设事件包括反转事件，所述预设事件的时间信息包括所述传送装置执行所述反转事件的起始时间和结束时间。根据所述第二时间、所述第二时间间隔以及所述预设事件的时间信息，确定所述第三成像装置对所述目标对象成像的第三时间，包括：根据所述传送装置执行所述反转事件的起始时间与所述第二时间的差值，确定所述第二时间之后所述目标对象的已传送时长（T_start－T_2）；根据所述第二时间间隔T_interval2和所述已传送时长的差值T_interval2－（T_start－T_2），以及所述反转事件的结束时间和起始时间的差值（T_stop－T_start）之和，确定所述第三成像装置对所述目标对象成像的第三时间；第三时间可以表示为：T_stop ＋T_interval2－（T_start－T_2）＋（T_stop－T_start）。

在发生反转事件时，目标对象的位置向第一成像装置靠近，在反转事件结束后需要（T_stop－T_start）的时间目标对象才能回到反转事件起始时的位置，因此在根据反转事件的时间信息确定第三时间时，需要加上反转事件的结束时间和起始时间的差值（T_stop－T_start）。可选的，在反转事件结束时，更新关联定时器T_timer＝T_interval2－（T_start－T_2）＋（T_stop－T_start），以及在关联定时器T_timer定时到0时，获取所述第三成像装置对所述目标对象成像得到的第三图像，与所述第二图像进行关联。可选的，在反转事件结束时，根据反转事件的结束时间与T_interval2－（T_start－T_2）＋（T_stop－T_start）的和确定所述第三时间。

在一些实施方式中，在步骤S220获取目标对象的第二图像对应的第二时间T_2时，增加所述目标对象对应的关联定时器T_timer＝T_interval2，并启动所述目标对象对应的关联定时器T_timer；当检测到所述传送装置开始执行所述预设事件时，记录所述预设事件的起始时间T_start，以及停止各所述目标对象对应的关联定时器T_timer；当检测到所述传送装置结束执行所述预设事件时，根据所述预设事件的起始时间T_start、所述目标对象对应的第二时间T_2、所述第二时间间隔T_interval2，或者还可以根据所述预设事件的结束时间T_stop更新所述关联定时器T_timer；以及在关联定时器T_timer定时到0时，获取所述第三成像装置对所述目标对象成像得到的第三图像，与所述第二图像进行关联。可选的，在对所述目标对象的第三图像与所述第二图像进行关联之后，可以移除所述目标对象的关联定时器T_timer。

可选的，各目标对象对应的关联定时器T_timer可以存放在队列中，当所述传送装置在执行所述预设事件时，遍历所述队列中的关联定时器T_timer以及停止各所述目标对象对应的关联定时器T_timer；当所述预设事件结束时，遍历所述队列中的关联定时器T_timer以及更新各所述目标对象对应的关联定时器T_timer。

本申请实施例提供的图像关联方法，包括：获取传送装置未执行预设事件时目标对象由第二成像装置运动至第三成像装置的第二时间间隔；获取所述第二成像装置对所述目标对象成像的第二时间，所述第二成像装置对所述目标对象成像得到第二图像；获取所述传送装置执行预设事件的时间信息；根据所述第二时间、所述第二时间间隔以及所述预设事件的时间信息，确定所述第三成像装置对所述目标对象成像的第三时间；将所述第三成像装置在所述第三时间对所述目标对象成像得到的第三图像，与所述第二图像进行关联。通过在确定所述第二时间对应的第三时间时，加入预设事件的时间信息的影响，提高确定的第三时间的准确性，以及第二图像对应的第三图像的准确性。

在一些实施方式中，本申请实施例的图像关联方法为基于时间序列的关联方法，影响因素较少，从而本申请实施例的图像关联方法具有较好的鲁棒性；本申请实施例可以从时间差思想的角度出发对图像进行关联，基于时间序列的计算，计算方式简单、高效、准确。

在一些实施方式中，本申请实施例只需要计算时间序列，并结合在第二成像装置之前部署第一成像装置和/或在第二成像装置之后部署第三成像装置的部署方式，实现稳定、准确的图像关联；示例性的，可以不需要检测目标对象进入检测室入口处的铅帘门的位置和时间，或者也可以不考虑传送装置的传送速度。

在一些实施方式中，本申请实施例只需要在检测室的出口摄像机和/或入口摄像机中获取基于时间序列获得的关联时间戳，然后进行视频帧图像获取即可；可以不需要对视频帧进行分割，提取行李分割后的图像，从而可以节省行李分割的时间和硬件资源。

本申请的方法可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

示例性的，上述的方法可以实现为一种计算机程序的形式，该计算机程序可以在如图7所示的计算机设备上运行。

请参阅图7，图7是本申请实施例提供的一种计算机设备的结构示意图。该计算机设备可以是服务器或终端。

参阅图7，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口，其中，存储器可以包括非易失性存储介质和内存储器。

非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一种图像关联方法的步骤。

处理器用于提供计算和控制能力，支撑整个计算机设备的运行。

内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种图像关联方法的步骤。

该网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，该计算机设备的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

应当理解的是，处理器可以是中央处理单元（Central Processing Unit，CPU），该处理器还可以是其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

其中，在一个实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：

获取传送装置未执行预设事件时目标对象由第一成像装置运动至第二成像装置的第一时间间隔，所述目标对象随所述传送装置在预设方向上运动；

获取所述传送装置执行预设事件的时间信息；

获取所述第二成像装置对所述目标对象成像的第二时间，所述第二成像装置对所述目标对象成像得到第二图像；

根据所述第二时间、所述第一时间间隔以及所述预设事件的时间信息，确定所述第一成像装置对所述目标对象成像的第一时间；

将所述第一成像装置在所述第一时间对所述目标对象成像得到的第一图像，与所述第二图像进行关联。

其中，在另一个实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：

获取传送装置未执行预设事件时目标对象由第二成像装置运动至第三成像装置的第二时间间隔，所述目标对象随所述传送装置在预设方向上运动；

获取所述第二成像装置对所述目标对象成像的第二时间，所述第二成像装置对所述目标对象成像得到第二图像；

获取所述传送装置执行预设事件的时间信息；

根据所述第二时间、所述第二时间间隔以及所述预设事件的时间信息，确定所述第三成像装置对所述目标对象成像的第三时间；

将所述第三成像装置在所述第三时间对所述目标对象成像得到的第三图像，与所述第二图像进行关联。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例或者实施例的某些部分所述的方法，如：

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程序指令，实现本申请实施例提供的任一项图像关联方法的步骤。

其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡（SmartMedia Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (11)

1.一种图像关联方法，其特征在于，包括：

获取传送装置未执行预设事件时目标对象由第一成像装置运动至第二成像装置的第一时间间隔，所述目标对象随所述传送装置在预设方向上运动；

获取所述传送装置执行预设事件的时间信息；

获取所述第二成像装置对所述目标对象成像的第二时间，所述第二成像装置对所述目标对象成像得到第二图像；

根据所述第二时间、所述第一时间间隔以及所述预设事件的时间信息，确定所述第一成像装置对所述目标对象成像的第一时间；

将所述第一成像装置在所述第一时间对所述目标对象成像得到的第一图像，与所述第二图像进行关联；

其中，根据所述第二时间、所述第一时间间隔以及所述预设事件的时间信息，确定所述第一成像装置对所述目标对象成像的第一时间，包括：

当所述第二时间与最近n次预设事件的影响持续时间、所述最近n次预设事件中最先发生的预设事件的起始时间的差值大于0，且小于所述第一时间间隔，确定所述最近n次预设事件为目标预设事件，其中n为正整数；

根据所述第二时间、所述第一时间间隔以及所述目标预设事件的时间信息，确定所述第一成像装置对所述目标对象成像的第一时间。

2.如权利要求1所述的图像关联方法，其特征在于，所述目标预设事件是在所述目标对象由所述第一成像装置运动至所述第二成像装置期间执行的预设事件。

3.如权利要求2所述的图像关联方法，其特征在于，根据所述第二时间、所述第一时间间隔以及所述目标预设事件的时间信息，确定所述第一成像装置对所述目标对象成像的第一时间，包括：

根据所述第二时间与所述第一时间间隔、所述最近n次预设事件各自的影响持续时间的差值，确定所述第一成像装置对所述目标对象成像的第一时间。

4.如权利要求2所述的图像关联方法，其特征在于，所述预设事件包括暂停事件和/或反转事件，其中所述暂停事件对所述目标对象的运动产生影响的影响持续时间为所述传送装置执行所述暂停事件的结束时间与起始时间的差值，所述反转事件对所述目标对象的运动产生影响的影响持续时间为所述传送装置执行所述反转事件的结束时间与起始时间的差值的两倍。

5.如权利要求2所述的图像关联方法，其特征在于，所述方法还包括：

当所述第二时间与已经记录的若干次预设事件各自的影响持续时间、所述已经记录的若干次预设事件中最早的预设事件的结束时间的差值大于所述第一时间间隔时，删除所述已经记录的若干次预设事件的时间信息。

6.如权利要求2-5中任一项所述的图像关联方法，其特征在于，所述方法还包括：

当根据所述第二时间、所述第一时间间隔以及至少一次预设事件的时间信息，确定至少一次所述预设事件均不是所述目标预设事件时，根据所述第二时间和所述第一时间间隔的差值，确定所述第一成像装置对所述目标对象成像的第一时间。

7.一种图像关联方法，其特征在于，包括：

获取传送装置未执行预设事件时目标对象由第二成像装置运动至第三成像装置的第二时间间隔，所述目标对象随所述传送装置在预设方向上运动；

获取所述第二成像装置对所述目标对象成像的第二时间，所述第二成像装置对所述目标对象成像得到第二图像；

获取所述传送装置执行预设事件的时间信息；

根据所述第二时间、所述第二时间间隔以及所述预设事件的时间信息，确定所述第三成像装置对所述目标对象成像的第三时间；

将所述第三成像装置在所述第三时间对所述目标对象成像得到的第三图像，与所述第二图像进行关联；

其中，根据所述第二时间、所述第二时间间隔以及所述预设事件的时间信息，确定所述第三成像装置对所述目标对象成像的第三时间，包括：

根据所述传送装置执行所述预设事件的起始时间与所述第二时间的差值，确定所述第二时间之后所述目标对象的已传送时长；

根据所述第二时间间隔和所述已传送时长的差值，确定所述第三成像装置对所述目标对象成像的第三时间。

8.如权利要求7所述的图像关联方法，其特征在于，所述预设事件包括暂停事件，所述预设事件的时间信息包括所述传送装置执行所述暂停事件的起始时间；根据所述第二时间、所述第二时间间隔以及所述预设事件的时间信息，确定所述第三成像装置对所述目标对象成像的第三时间，包括：

根据所述传送装置执行所述暂停事件的起始时间与所述第二时间的差值，确定所述第二时间之后所述目标对象的已传送时长；

根据所述第二时间间隔和所述已传送时长的差值，确定所述第三成像装置对所述目标对象成像的第三时间。

9.如权利要求7或8所述的图像关联方法，其特征在于，所述预设事件包括反转事件，所述预设事件的时间信息包括所述传送装置执行所述反转事件的起始时间和结束时间；根据所述第二时间、所述第二时间间隔以及所述预设事件的时间信息，确定所述第三成像装置对所述目标对象成像的第三时间，包括：

根据所述传送装置执行所述反转事件的起始时间与所述第二时间的差值，确定所述第二时间之后所述目标对象的已传送时长；

根据所述第二时间间隔和所述已传送时长的差值，以及所述反转事件的结束时间和起始时间的差值之和，确定所述第三成像装置对所述目标对象成像的第三时间。

10.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器；

所述存储器用于存储计算机程序；

所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现：

如权利要求1-6中任一项所述的图像关联方法的步骤；和/或

如权利要求7-9中任一项所述的图像关联方法的步骤。

11.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，若所述计算机程序被处理器执行，实现：

如权利要求1-6中任一项所述的图像关联方法的步骤；和/或

如权利要求7-9中任一项所述的图像关联方法的步骤。

Images