CN114882446B - 图像关联方法、装置、设备和介质 - Google Patents

图像关联方法、装置、设备和介质 Download PDF

Info

Publication number
CN114882446B
CN114882446B CN202210800050.2A CN202210800050A CN114882446B CN 114882446 B CN114882446 B CN 114882446B CN 202210800050 A CN202210800050 A CN 202210800050A CN 114882446 B CN114882446 B CN 114882446B
Authority
CN
China
Prior art keywords
feature map
natural light
target
image
characteristic diagram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210800050.2A
Other languages
English (en)
Other versions
CN114882446A (zh
Inventor
吴勇敢
王红强
产思贤
陈旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Qixin Smart Technology Co ltd
Original Assignee
Anhui Qixin Smart Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Qixin Smart Technology Co ltd filed Critical Anhui Qixin Smart Technology Co ltd
Priority to CN202210800050.2A priority Critical patent/CN114882446B/zh
Publication of CN114882446A publication Critical patent/CN114882446A/zh
Application granted granted Critical
Publication of CN114882446B publication Critical patent/CN114882446B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/05—Recognition of patterns representing particular kinds of hidden objects, e.g. weapons, explosives, drugs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

本申请公开了图像关联方法、装置、设备和介质，该方法包括：获取目标X光图像以及与目标X光图像相关的多个自然光图像；对目标X光图像进行特征提取，获得第一全局特征图；对多个自然光图像进行特征提取，获得多个自然光对应的多个第二全局特征图；将第一全局特征图以及多个第二全局特征图输入预测模型，获得多个自然光图像中与目标X光图像匹配的目标自然光图像。采用本申请的方法，可以基于违禁包裹X光图像（即目标X光图像）确定违禁包裹自然光图像（目标自然光图像），使得安检人员可以通过人眼确定违禁包裹与乘客的关联关系，避免了安检人员花费大量的时间和精力回看监控才能查找出违禁包裹自然光图像，大大提高了安检效率。

Description

图像关联方法、装置、设备和介质
技术领域
本公开一般涉及计算机视觉技术领域，具体涉及目标检测技术领域，尤其涉及一种图像关联方法、装置、设备和介质。
背景技术
X光安检仪可以应用于机场、火车站或者地铁安检。例如，当乘客选择搭乘地铁出行时，在刷卡进站前要将随身包裹进行安检。
现有技术中，当乘客搭乘地铁出行时，可以将随身包裹放置在X光安检仪传送带上，传送带可以将包裹传送至安检仪X光通道，由于包裹内的物品对X光的吸收程度不同，使得物品在与安检仪关联的液晶显示屏上显示出不同的颜色。当物品显示出不同颜色时，安检人员可以通过人眼捕捉到到违禁物品对应的颜色（例如，刀具显示为蓝色）。同时，位于安检机顶部的声光报警器会发出警报声，并且闪烁灯光。此时，安检人员可以根据违禁包裹，现场询问或者通过回看监控视频，确定携带该违禁包裹的乘客人脸信息后，找到该乘客并与其沟通后，对违禁包裹进行开包查验。
然而，当声光报警器报警后，携带该违禁包裹的乘客可能会弃包而逃，直接刷卡进站，或者，乘客不主动承认，安检人员花费大量的时间根据监控中的人脸信息查找该乘客，使得安检效率较低。
发明内容
基于此，有必要针对上述技术问题，提供一种图像关联方法、装置、设备和介质，可以基于违禁包裹X光图像（即目标X光图像）确定违禁包裹自然光图像（目标自然光图像），实现违禁包裹与乘客的关联，安检人员可以基于违禁包裹自然光图像快速识别出携带该包裹的乘客，大大提高了安检效率。
第一方面，提供一种图像关联方法，该方法包括：
获取目标X光图像以及与目标X光图像相关的多个自然光图像；目标X光图像包括目标监控对象；
对目标X光图像进行特征提取，获得第一全局特征图；对多个自然光图像进行特征提取，获得多个自然光图像对应的多个第二全局特征图；
将第一全局特征图以及多个第二全局特征图输入预测模型，获得多个自然光图像中与目标X光图像匹配的目标自然光图像；目标自然光图像包含目标监控对象。
第二方面，提供了一种图像关联装置，该装置包括：
获取单元，获取目标X光图像以及与目标X光图像相关的多个自然光图像；目标X光图像包括目标监控对象；
提取单元，对目标X光图像进行特征提取，获得第一全局特征图；对多个自然光图像进行特征提取，获得多个自然光图像对应的多个第二全局特征图；
预测单元，将第一全局特征图以及多个第二全局特征图输入预测模型，获得多个自然光图像中与目标X光图像匹配的目标自然光图像；目标自然光图像包含目标监控对象。
第三方面，提供了一种计算机设备，包括存储器、处理器以及存储不在存储器上并可在处理器上运行的计算机程序，其特征在于，处理器执行程序时，实现上述第一方面以及第一方面任意一种可能的实现方式的方法的步骤。
第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，实现上述第一方面以及第一方面任意一种可能的实现方式的方法的步骤。
第五方面，提供一种计算机程序产品，计算机程序产品包括指令，当指令被运行时，实现上述第一方面以及第一方面任意一种可能的实现方式的方法的步骤。
采用本申请的图像关联方法，可以基于违禁包裹X光图像确定违禁包裹自然光图像，使得安检人员可以通过人眼从违禁包裹自然光图像中捕捉出携带该包裹的乘客人脸信息，大大提高了安检效率。具体地，通过获取目标X光图像以及与目标X光图像相关的多个自然光图像；目标X光图像包括目标监控对象；对目标X光图像进行特征提取，获得第一全局特征图；对多个自然光图像进行特征提取，获得多个自然光图像对应的多个第二全局特征图；将第一全局特征图以及多个第二全局特征图输入预测模型，获得多个自然光图像中与目标X光图像匹配的目标自然光图像；目标自然光图像包含目标监控对象。采用本申请的方法，当X光安检机识别出违禁包裹（即目标监控对象）时，可以获取X光安检机记录的违禁包裹X光图像（即目标X光图像），以及摄像机拍摄的多张包裹自然光图像。通过对X光图像和多张自然光图像进行预处理，并分别将处理后的X光图像和多张自然光图像输入预测模型，通过模型确定违禁包裹自然光图像（即目标自然光图像），自然光图像中包括违禁包裹外形信息（即目标监控对象）以及乘客的人脸信息，以便安检人员基于违禁包裹自然光图像快速识别出携带该包裹的乘客。现有技术中当X光安检机识别出违禁包裹时，安检人员需要回看监控，花费大量的时间和精力才能确定出携带违禁包裹的乘客。相比而言，采用本申请的方法，避免了现有技术需要耗费安检人员大量的时间和精力查找违禁包裹的自然光图像，借助机器学习模型输出包含违禁包裹的自然图像，使得安检人员可以通过人眼确定违禁包裹与乘客的关联关系，避免了安检人员花费大量的时间和精力回看监控才能查找出违禁包裹自然光图像，大大提高了安检效率。另外，借助机器学习模型替代人工查找违禁包裹自然光图像，在避免人为查找受主观因素影响的同时，还能够提高查找效率，即缩短查找时长，提高查找准确率。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1为本申请实施例提供的图像关联系统的示意图；
图2为本申请实施例提供的图像关联方法的流程示意图；
图3为本申请实施例提供的图像关联方法的另一流程示意图；
图4为本申请实施例提供的图像关联方法的另一流程示意图；
图5为本申请实施例提供的图像关联方法的另一流程示意图；
图6为本申请实施例提供的图像关联方法的另一流程示意图；
图7为本申请实施例提供的模型训练的流程示意图；
图8为本申请实施例提供的模型结构的示意图；
图9为本申请实施例提供的图像关联装置的结构示意图；
图10为本申请实施例提供的计算机设备的结构框图。
具体实施方式
下面结合实施例和附图对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例即实施例的特征可以互相结合。下面将参考附图并结合实施例来详细说明本申请。
目前，当X光安检机识别出违禁包裹时，需要安检人员通过回看监控视频，从而确定上述违禁包裹的自然光图像，安检人员可以通过人眼辨别出上述违禁包裹自然光图像中的人脸信息，从而完成查找携带违禁包裹乘客。当人流量较大时，安检人员需要耗费大量的时间和精力确定携带违禁包裹的具体乘客，使得安检效率较低。
基于此，本申请提出一种图像关联方法、装置、设备和存储介质，能够通过模型预测与违禁包裹X光图像关联的自然光图像，基于上述自然光图像确定携带违禁包裹的具体乘客，大大提高安检效率。
本申请提供的图像关联方法，可以应用于如图1所示的图像关联系统中。参考图1，该图像关联系统可以包括X光安检机10、摄像机20以及计算机设备30 。X光安检机10可以记录包裹的X光图像，例如，可以是违禁包裹X光图像。摄像机20可以拍摄包裹的自然光图像，例如，可以是违禁包裹的自然光图像。计算机设备30可以获取将上述违禁包裹X光图像和多张自然光图像，并将其输入到预测模型，模型预测得到与违禁包裹X光图像关联的自然光图像，安检人员可以基于上述违禁包裹自然光图像确定携带该包裹的具体乘客，大大提高了安检效率。
其中，X光安检机可以中的X射线具有穿透性，包裹具有材料密度和厚度的差异，当X射线透过包裹不用部位时，不同部位对X射线的吸收程度不同，经过显像处理后可以得到不同的影像，例如，食品、塑料等有机物在安检机荧屏上显示为橙色，书本、陶瓷等在荧屏上显示在绿色，金属显示为蓝色。
摄像机20可以录制顾客放置包裹的视频，也可以拍摄顾客放置包裹的图像。示例性的，顾客放置包裹的图像可以是上述包裹的正视图、侧视图或者俯视图。
计算机设备30可以是独立的服务器，还可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络（content delivery network，CDN）、以及大数据和人工智能平台等基础云计算服务的云服务器。
前文图1介绍了本申请的应用场景图。在本申请的另一实施例中，提供了一种图像关联方法，该方法可以应用于图1所示的计算机设备30。如图2所示，该方法包括如下步骤：
步骤201、获取目标X光图像以及与目标X光图像相关的多个自然光图像；目标X光图像包括目标监控对象；
本申请实施例提供了一种图像获取方案，当X光安检机识别出违禁包裹时，可以获取X光安检机记录的违禁包裹X光图像，以及摄像机拍摄的多张包裹自然光图像，以便后续将上述两种模态（即X光模态或者自然光模态）下拍摄的图像输入模型预测，确定违禁包裹的自然光图像。示例性的，图1中的计算机设备可以获取上述违禁包裹X光图像和多张包裹自然光图像。
具体地，目标X图像可以违禁包裹的X光图像。例如，可以枪支、弹药、管制刀具或者危险物品的X光图像。示例性的，危险物品可以是爆炸性、易燃性、放射性、毒害性或者腐蚀性物品。与目标X光相关的多个自然光图像可以是与目标X光图像在同一时空内的图像。例如，可以是与目标X光图像时间邻近或者在同一空间内的自然光图像。示例性的，可以是同一安检通道的监控和同一安检通道的安检机在同一段时间内分别拍摄的多个自然光图像和违禁包裹X光图像。
与违禁包裹处于同一时间段或者同一X光安检机检测的自然光图像。目标监控对象可以是违禁包裹。
一种可能的实现方式，X光安检机记录违禁包裹X光图像PX，摄像机拍摄与违禁包裹在同一段时间和同一X光安检机进行检测的多张自然光图像（PVIS1~PVIS20）。计算机设备可以获取上述违禁包裹X光图像PX和多张自然光图像（PVIS1~PVIS20），以便后续对上述两种模态的图像进行预处理，并将处理后的两类图像输入到模型中预测，得出违禁包裹的自然光图像（例如，可以是PVIS1）。
步骤202、对目标X光图像进行特征提取，获得第一全局特征图；对多个自然光图像进行特征提取，获得多个自然光图像对应的多个第二全局特征图；
本申请实施例提供了一种图像全局特征提取方案，当步骤201中获取得到违禁包裹X光图像PX和多张自然光图像（PVIS1~PVIS20）后，可以对上述两种模态的图像进行预处理，使得上述两种模态的图像可以成为模型可以识别和处理的图像。
具体地，特征提取可以是将违禁包裹X光图像PX和多张自然光图像（PVIS1~PVIS20）输入ResNet 50网络（Residual Network 50，具有49个卷积层和1个全连接层的深度残差网络），得到PX的全局特征图FX（即第一全局特征图）和多张自然光图像的全局特征图FVIS1~FVIS20（即第二全局特征图）。第一全局特征图用于表征违禁包裹X光图像PX的全局特征。第二全局特征图用于表征多张自然光图像PVIS1~PVIS20的全局特征。
一种可能的实现方式，将X光图像PX和多张自然光图像PVIS1~PVIS20输入ResNet 50网络中，ResNet 50网络可以对上述两种模态的图像进行卷积运算、正则化处理、激活函数运算以及最大池化运算后，得到X光图像PX的第一全局特征图FVIS，以及多张自然光图像PVIS1~PVIS20的第二全局特征图PVIS1~PVIS20。
步骤203、将第一全局特征图以及多个第二全局特征图输入预测模型，获得多个自然光图像中与目标X光图像匹配的目标自然光图像；目标自然光图像包含目标监控对象。
本申请实施例提供了一种通过模型预测违禁包裹自然光图像的方案，当步骤202中得到X光图像PX的第一全局特征图FVIS，以及多张自然光图像PVIS1~PVIS20的第二全局特征图PVIS1~PVIS20后，可以将上述两种模态的特征图输入到预测模型，模型输出违禁包裹的自然光图像（包括违禁包裹和乘客人脸信息）。
具体地，预测模型可以对X光图像PX的第一特征图FVIS，以及多张自然光图像PVIS1~PVIS20的第二特征图PVIS1~PVIS20处理，得到违禁包裹的自然光图像（例如，可以是PVIS1）。
一种可能的实现方式，可以将X光图像PX的第一特征图FVIS，以及多张自然光图像PVIS1~PVIS20的第二特征图PVIS1~PVIS20输入预测模型，预测模型可以通过对上述两个模态的特征图处理，得到违禁包裹X图像关联的自然光图像（包括违禁包裹和乘客人脸信息）。
本申请的图像关联方法中，计算机设备30通过获取目标X光图像以及与目标X光图像相关的多个自然光图像；目标X光图像包括目标监控对象；对目标X光图像进行特征提取，获得第一全局特征图；对多个自然光图像进行特征提取，获得多个自然光图像对应的多个第二全局特征图；将第一全局特征图以及多个第二全局特征图输入预测模型，获得多个自然光图像中与目标X光图像匹配的目标自然光图像；目标自然光图像包含目标监控对象。上述步骤中，当X光安检机识别出违禁物品（即目标监控对象）时，计算机设备30可以获取违禁包裹X光图像（即目标X光图像）以及多张包裹的自然光图像（即与目标X光图像相关的多个自然光图像），通过对上述两种模态的图像进行预处理，使得上述两种模态的图像转变为预测模型可以识别和处理的图像，模型最终输出违禁包裹的自然光图像（即目标自然光图像），安检人员可以基于违禁包裹自然光图像快速识别出携带该包裹的乘客。相较于现有技术中，需要安检人员耗费大量的时间和精力对比多张自然光图像和违禁包裹的X光图像后，才能确定违禁包裹的自然光图像的技术方案来说，本申请能够通过预测模型输出违禁包裹的自然光图像，也正是基于这种模型预测方法，大大提高了安检效率。
前文所述的实施例中，介绍了通过模型预测违禁包裹自然光图像的技术方案。在本申请的另一实施例中，介绍了如何获取多个自然光图像。例如，前文步骤涉及的“获取与目标X光图像相关的多个自然光图像”的具体实施如图3的步骤：
步骤301、获取与X光图像属于同一场景的多个候选自然光图像；
本申请实施例提供了获取与违禁包裹X光图像属于同一场景的自然光图像的方案，上述场景可以是同一个摄像机拍摄的正常包裹图像或者违禁包裹图像，以便后续预测模型可以识别出违禁包裹的自然光图像。
具体地，同一场景用于表征摄像机监控的同一个安检通道，例如，上述安检通道可以是通道1。候选自然光图像用于表征摄像机拍摄的同一个安检通道下的正常包裹图像和违禁包裹图像。示例性的，可以是摄像机在安检通道1下拍摄的正常包裹图像可以是正常包裹的俯视图，违禁包裹图像也可以是违禁包裹的俯视图。需要说明的是，相比于主视图和侧视图，俯视图能够体现出包裹更多的细节特征。
一种可能的实现方式，摄像机可以通过拍摄获取与违禁包裹X光图像属于同一安检通道的多个正常包裹图像或者违禁包裹图像。示例性的，正常包裹图像可以是正常包裹的俯视图，违禁包裹图像可以是的俯视图。
步骤302、确定每一候选自然光图像的拍摄时间与目标X光图像的拍摄时间的时间间隔；
本申请实施例可以确定X光安检机未识别出违禁包裹的某一具体时刻与识别出违禁包裹的另一具体时刻之间的时间间隔。在上述时间内摄像机拍摄的自然光图像可以是乘客将正常包裹或者违禁包裹放置在X光安检机传送带进行安检的场面，以便后续将上述两种模态的图像输入预测模型，通过模型识别出违禁包裹的自然光图像。
具体地，候选自然光图像的拍摄时间可以是X光安检机未识别出违禁包裹的某一具体时刻，示例性的，上述某一具体时刻可以是t1、t2、t3。目标X光图像的拍摄时间可以是X光安检机识别出违禁包裹的另一具体时刻，例如，上述另一具体时刻可以是t0。时间间隔可以是X光安检机未识别出违禁包裹的某一具体时刻与识别出违禁包裹的另一具体时刻之间的间隔。示例性的，上述时间间隔可以是t0-t1、也可以是t0-t2、还可以是t0-t3。
一种可能的实现方式，摄像机可以将X光安检机未识别出违禁包裹的具体时刻t1与识别出违禁包裹的另一具体时刻t0之间的时间差t0-t1作为时间间隔。
一种可能的实现方式，摄像机可以将X光安检机未识别出违禁包裹的具体时刻t2与识别出违禁包裹的另一具体时刻t0之间的时间差t0-t2作为时间间隔。
一种可能的实现方式，摄像机可以将X光安检机未识别出违禁包裹的具体时刻t3与识别出违禁包裹的另一具体时刻t0之间的时间差t0-t3作为时间间隔。
步骤303、将多个候选自然光图像中时间间隔小于阈值的候选自然光图像，确定为与目标X光图像相关的多个自然光图像。
本申请实施例可以将X光安检机识别出违禁包裹的时间间隔小于某一具体数值的时刻作为摄像机拍摄候选自然光图像的时刻，以便后续将上述候选自然光图像输入预测模型，模型输出违禁包裹的自然光图像。
具体地，若t0为上午11时25分35秒，t1为上午11时25分15秒，t2为上午11时25分10秒，t3为上午11时25分5秒，则多个候选自然光图像中时间间隔可以是t0-t1的间隔20s、也可以为t0-t2的间隔25s，还可以是t0-t3的间隔30s。阈值用于表征预设的X光安检机未识别出违禁包裹到识别出违禁包裹的最可能时间段。例如，上述时间段可以是21s。
一种可能的实现方式，t0-t1的间隔20s小于阈值21s，摄像机可以拍摄t1时刻至t0时刻的多个候选自然光图像作为与违禁包裹X光图像（即目标X光图像）相关的多个自然光图像。
前文所述的实施例中，介绍了如何获取多个自然光图像的技术方案。在本申请的另一实施例中，介绍了如何获取违禁包裹的自然光图像。例如，前文步骤涉及的“将第一全局特征图以及第二全局特征图输入预测模型，获得多个自然光图像中与目标X光图像匹配的目标自然光图像”的具体实施包括图4的步骤：
步骤401、将第一全局特征图以及多个第二全局特征图输入预测模型进行特征提取，获得第一全局特征图的多个局部特征图，以及每一第二全局特征图的多个局部特征图；
本申请实施例提供了一种图像局部特征提取方案，当步骤203中将第一全局特征图FX和第二全局特征图FVIS1~FVIS20输入预测模型后，可以得到第一全局特征图FVIS的多个局部特征图，以及第二全局特征图FVIS1~FVIS20的多个局部特征图，以便后续确定两种模态中的特征对应关系，使得模型可以输出违禁包裹的自然光图像。
具体地，特征提取可以是采用卷积核对全局特征图进行卷积运算，从而提取更为细节的特征。例如，可以采用1*1卷积核对上述第一全局特征图FX作窗口滑动，即卷积运算，从而得到全局特征中更为细节的特征。局部特征图用于表征全局特征图中更为细节的特征。例如，对第一全局特征图FX进行卷积运算后，可以得到四个局部特征图FXL1、FXL2、FXL3、FXL4，也可以对第二全局特征图FVIS1作卷积运算，得到第二全局特征图FVIS的四个局部特征图FVIS1L1、FVIS1L2、FVIS1L3、FVIS1L4。
一种可能的方式，可以将第一全局特征图FX输入模型后进行卷积运算，得到FX的四个局部特征图FXL1、FXL2、FXL3、FXL4，以及将第二全局特征图FVIS1输入模型后作卷积运算，得到FVIS的四个局部特征图FVIS1L1、FVIS1L2、FVIS1L3、FVIS1L4。
步骤402、根据第一全局特征图、第一全局特征图的多个局部特征图、多个第二全局特征图以及每一第二全局特征图的多个局部特征图，确定第一稳定特征图以及第二稳定特征图；第一稳定特征图为目标X光图像对应的特征图中与拍摄模态无关的特征图，第二稳定特征图为自然光图像对应的特征图中与拍摄模态无关的特征图；
本申请实施例提供了一种确定稳定特征图的方案，可以获取在两种拍摄模态下均可以显影的特征，即上述特征可以在两种拍摄模态下共生。
具体地，第一稳定特征图为目标X光图像对应的特征图中与拍摄模态无关的特征图。需要说明的是，拍摄模态可以是采用不同的设备拍摄的同一包裹的图像。例如，可以是X光安检机拍摄的包裹X光图像，也可以是摄像机拍摄的包裹自然光图像。与拍摄模态无关的特征图可以是针对同一包裹，随着拍摄模态的变化，包裹对应的特征图变化不大，可以理解为特征图之间的相似程度较高。示例性的，目标X光图像可以是违禁包裹X光图像。例如，目标X光对应的特征图中与拍摄模态无关的特征图可以是在X光模态和自然光模态下均可以显影的特征。第二稳定特征图为自然光图像对应的特征图中与拍摄模态无关的特征图。例如，自然光图像可以是正常包裹的自然光图像，也可以是违禁包裹的自然光图像。示例性的，自然光图像对应的特征图中与拍摄模态无关的特征可以是在X光模态和自然光模态下均可以显影的特征。
一种可能的实现方式，可以根据第一全局特征图FX、FX的四个局部特征图FXL1、FXL2、FXL3、FXL4、第二全局特征图FVIS1以及FVIS的四个局部特征图FVIS1L1、FVIS1L2、FVIS1L3、FVIS1L4可以确定第一稳定特征图为FVIS（j）以及第二稳定特征图为FX（j）。其中，j为特征图对应矩阵的列。
步骤403、根据第一稳定特征图以及第二稳定特征图，获得多个重建特征图，根据多个重建特征图确定目标X光图像与自然光图像之间的相似度；
本申请实施例提供了一种根据稳定特征图确定违禁包裹X光图像与多个自然光图像相似度的方案，以便后续模型确定违禁包裹具体对应的自然光图像。
具体地，重建特征图用于表征两种模态下特征对应的准确度。示例性的，可以分别构建违禁包裹X光图像（即目标X光图像）与多个自然光图像的重建特征图，基于上述两类重建特征图计算相似度，以便后续模型可以确定违禁包裹的自然光图像。相似度用于表征违禁包裹X光图像与多个自然光图像中针对同一包裹，两种模态的图像的相似程度。
一种可能的实现方式，可以根据确定第一稳定特征图为FVIS（j）以及第二稳定特征图为FX（j）。分别构建违禁包裹X光图像的重建特征图ḞX、多个自然光图像的重建特征图。以构建一个自然光图像的重建特征图为例，一个自然光图像的重建特征图为ḞVIS1、ḞVISL1~ḞVISL4。可以通过计算违禁包裹X光图像的重建特征图ḞX与一个自然光图像的重建特征图为ḞVIS1、ḞVISL1~ḞVISL4这两种模态的图像针对同一包裹的相似程度。示例性的，可以采用欧式距离计算相似度，得到相似度为S1。
步骤404、将多个自然光图像中相似度最大的图像确定为目标自然光图像。
本申请实施例提供了一种根据相似度确定违禁包裹的自然光图像（即目标自然光图像）的方案，以便后续模型可以将上述相似度最大的自然光图像输出为违禁包裹的自然光图像。
具体地，违禁包裹X光图像与多个自然光图像的相似度分别可以是S1~S20，若其中S1的相似度数值最大，则将S1作为违禁包裹的自然光图像（即目标自然光图像）。
前文的实施例中，介绍了如何获取违禁包裹的自然光图像的技术方案。在本申请的另一实施例中，介绍了如何确定两种模态下的稳定特征图中特征的对应关系，即第一稳定特征图和第二稳定特征图中特征的对应关系。例如，前文步骤涉及的“根据第一全局特征图、第一全局特征图的多个局部特征图、多个第二全局特征图以及每一第二全局特征图的多个局部特征图，确定第一稳定特征图以及第二稳定特征图”的具体实施包裹图5的步骤：
步骤501、对特征图FVIS和特征图FX进行乘运算，获得运算结果P；
本申请实施例提供了一种第一全局特征图和第二全局特征图中特征对应关系的方案，以便后续通过上述对应关系构建重建特征图，从而确定违禁包裹的自然光图像（即目标自然光图像）。
具体地，特征图FVIS用于表征自然光图像经过特征提取后得到的全局特征图，上述特征图可以是一个i行*j列的矩阵。例如，特征图FVIS的行可以表示为FVIS(i)。特征图FX用于表征违禁包裹X光图像经过特征提取后得到的全局特征图，上述特征图也可以是一个j行*i列的矩阵。例如，特征图FX的列可以表示为FX(j)。
一种可能的实现方式，特征图FVIS和特征图FX本质上来说是两个i行*j列的矩阵，由于特征图FVIS的列数j和特征图FX的行数j相同，所以特征图FVIS和特征图FX可以相乘。示例性的，若P（i,j）=FT VIS(i)·FX(j)，即对应关系P为特征图FVIS的行的转置FT VIS(i)与特征图FX的列FX(j)做乘运算得到的结果。
步骤502、若P满足：P∈RHW×HW，则确定特征图FX为第一稳定特征图，特征图FVIS为第二稳定特征图；其中，特征图FX为第一全局特征图以及第一全局特征图的多个局部特征图中的任意一个，P∈RHW×HW为所述特征图FVIS和所述特征图FX乘运算的运算结果P，与所述特征图的二维矩阵HW与所述特征图的二维矩阵HW经过矩阵乘法运算的运算结果相同，则所述特征图FVIS与所述特征图FX对应，所述R为特征图的二维矩阵的尺寸，H为特征图的二维矩阵的高，W为特征图的二维矩阵的宽。
本申请实施例提供了两种模态特征图间特征对应关系P，以便后续可以通过对应关系P构建重建特征图，使得模型可以通过计算相似度确定违禁包裹的自然光图像。
具体地，若P∈RHW×HW，其中，HW为特征图的二维矩阵，即若特征图间的特征对应关系P满足二维矩阵相乘关系，则表明两种模态的特征图间的特征对应。
一种可能的实现方式，若P∈RHW×HW，则表明特征图FX为第一稳定特征图，特征图FVIS为第二稳定特征图。
前文所述的实施例中，介绍了如何确定两种模态下的稳定特征图中特征的对应关系，即第一稳定特征图和第二稳定特征图中特征的对应关系的技术方案。在本申请的另一实施例中，介绍了如何根据第一稳定特征图和第二稳定特征图构建自然光的重建特征图。例如，前文步骤涉及的“根据第一稳定特征图以及第二稳定特征图，获得多个重建特征图”包括：
将所述特征图FVIS和所述特征图FX代入如下公式，获得所述特征图FVIS对应的重建特征图ḞVIS：
Figure 381337DEST_PATH_IMAGE001
其中，MVIS(i)为特征图的响应强度，P(i,j)为特征图间的特征对应关系，FX(j)为特征图FX的列数，FVIS(i)为特征图FVIS的行数。
本申请实施例提供了一种利用第一全局特征图FX和第二全局特征图FVIS构建重建特征图ḞVIS的方案，以便后续计算相似度，使得模型可以确定违禁包裹的自然光图像。
具体地，MVIS(i)∑P(i,j)FX(j)用于表征可以在X光和自然光两种模态下都可以显影的特征，即在上述两种模态下可以存在的特征。[1-MVIS(i)]FVIS(i)用于表征仅在自然光模态下可以显影的特征，即仅在自然光模态下存在的特征。
一种可能的实现方式，可以通过得在两种模态下均可以存在的特征MVIS(i)∑P(i,j)FX(j)和仅在自然光模态下存在的特征[1-MVIS(i)]FVIS(i)，即可得到自然光的重建特征图ḞVIS。
前文所述的实施例中，介绍了如何根据第一稳定特征图和第二稳定特征图构建自然光图像的重建特征图的技术方案。在本申请的另一实施例中，介绍了如何根据第一稳定特征图和第二稳定特征图构建X光图像的重建特征图。例如，前文步骤涉及的“根据第一稳定特征图以及第二稳定特征图，获得多个重建特征图”包括：
将所述特征图FVIS和所述特征图FX代入如下公式，获得所述特征图FX对应的重建特征图ḞX：
ḞX=MX(i)∑P(i,j)FVIS(j)+[1-MX(i)]FX(i)
其中，MX(i)为特征图的响应强度,P(i,j)为特征图间的特征对应关系，FVIS(j)为特征图FVIS的列数，FX(i)为特征图FX的行数。
本申请实施例提供了一种利用第一全局特征图FX和第二全局特征图FX构建重建特征图ḞX的方案，以便后续计算相似度，使得模型可以确定违禁包裹的自然光图像。
具体地，MX(i)∑P(i,j)FVIS(j)用于表征可以在X光和自然光两种模态下都可以显影的特征，即在上述两种模态下可以存在的特征。[1-MX(i)]FX(i)用于表征仅在X光模态下可以显影的特征，即仅在X光模态下存在的特征。
一种可能的实现方式，可以通过得在两种模态下均可以存在的特征MX(i)∑P(i,j)FVIS(j)和仅在X光模态下存在的特征[1-MX(i)]FX(i)，即可得到自然光的重建特征图ḞX。
前文介绍了如何根据第一稳定特征图和第二稳定特征图构建X光图像的重建特征图的技术方案，在本申请的另一实施例中，介绍了如何根据重建特征图确定相似度数值。例如，前文步骤涉及的“根据多个重建特征图确定目标X光图像与自然光图像之间的相似度”的具体实现包裹图6的步骤：
步骤601、对目标X光图像对应的重建特征图进行向量化处理，对获得的向量进行融合处理，获得第一向量；
本申请实施例提供了一种通过重建特征图计算相似度的方案，以便后续模型将相似度数值最大的自然光图像作为违禁包裹的自然光图像。
具体地，目标X光图像对应的重建特征图可以是ḞX、ḞXL1~ḞXL4。向量化处理可以是对上述重建特征图进行池化处理，得到ḟX、ḟXL1~ḟXL4。融合处理可以是对上述重建特征向量ḟX、ḟXL1~ḟXL4进行求和运算，得到第一向量ḟX'。
步骤602、对自然光图像对应的重建特征图进行向量化处理，对获得的向量进行融合处理，获得第二向量；
具体地，自然光图像对应的重建特征图可以是ḞVIS、ḞVISL1~ḞVISL4。向量化处理可以是对上述重建特征图进行池化处理，得到ḟVIS、ḟVISL1~ḟVISL4。融合处理可以是对上述重建特征向量ḟVIS、ḟVISL1~ḟVISL4进行求和运算，得到第二向量ḟVIS'。
步骤603、根据第一向量和自然光图像对应的第二向量，确定目标X光图像与自然光图像之间的相似度。
具体地，相似度用于表征第一向量和第二向量之间的相似程度。例如，可以采用余弦相似度计算相似值。示例性的，第一向量ḟX'和第二向量ḟVIS'的相似度数值可以是S1。前文已经说明自然光图像个数范围为PVIS1~PVIS20，即20个自然光图像，则得到S1~S20相似度数值。
前文介绍了如何根据重建特征图确定相似度数值的技术方案，在本申请的另一实施例中，介绍了在运用模型预测违禁包裹的自然光图像前，如何对模型进行训练，使得模型可以用来预测违禁包裹的自然光图像。图7为本申请提供的模型训练过程，参见图7，流程图中的具体执行步骤如下：
S1、获取包裹X光图像PX1和自然光图像PVIS1。
需要说明的是，包裹X光图像包括正常包裹X光图像和违禁包裹X光图像。对于违禁包裹X光图像，可以对其进行标注，标注结果为该X光图像为违禁包裹X光图像。自然光图像也包裹正常包裹X光图像和违禁包裹X光图像，使得模型可以输出违禁包裹的自然光图像。
S2、将包裹X光图像PX1和多个自然光图像PVIS1输入到ResNet 50网络进行预处理，得到PX1的第一全局特征图FX和PVIS1的第二全局特征特征图FVIS1。
S3、将第一全局特征图FX和第二全局特征特征图FVIS1输入模型进行特征提取，得到FX的四个局部特征图FXL1、FXL2、FXL3、FXL4，以及FVIS1的局部特征图，上述局部特征图分别为FVIS1L1、FVIS1L2、FVIS1L3、FVIS1L4。
S4、计算FX、FXL1~FXL4的特征对应关系P，并根据对应关系P重建特征图ḞX、ḞXL1~ḞXL4，以及FVIS1、FVISL1~FVISL4的特征对应关系P，并根据对应关系P重建特征图ḞVIS、ḞVISL1~ḞVISL4。
S5、对重建特征图ḞX、ḞXL1~ḞXL4进行池化运算，得到特征向量ḟX、ḟXL1~ḟXL4，以及重建特征图ḞVIS、ḞVISL1~ḞVISL4进行池化运算，得到特征向量ḟVIS、ḟVISL1~ḟVISL4。
S6、对特征向量ḟX、ḟXL1~ḟXL4进行融合处理，得到第一向量ḟX'，以及特征向量ḟVIS、ḟVISL1~ḟVISL4进行融合处理，得到第二向量ḟVIS'。
S7、计算第一向量ḟX'和第二向量ḟVIS'之间的相似度，得到相似度数值S1。
S8、计算出相似度数值S1时，模型会有一个损失值，该损失值是由三个损失函数（即ID Loss、Triplet Loss以及SmoothAP Loss）共同作用而生成。
需要说明的是，上述三个损失函数会反馈给网络，网络可以调节参数，使得损失函数的数值会不断减小，可以理解的是，损失函数值越小，模型训练越优良。其中，可以通过IDLoss、Triplet Loss联合限制全局特征向量ḟX和ḟVIS，可以通过SmoothAP Loss限制局部特征向量ḟXL1~ḟXL4、ḟVISL1~ḟVISL4。
前文的实施例中，介绍了在运用模型预测违禁包裹的自然光图像前，如何对模型进行训练，使得模型可以用来预测违禁包裹的自然光图像的技术方案。在本申请的另一实施例中，介绍了本申请的图像关联方法的完整实施模型结构图，图8为本申请实施例提供的一个模型结构图，参见图8。
在一个实施例中，如图9，提供了一种图像关联装置，包括：获取单元901、编码单元902、确定单元903。其中：
获取单元901，用于获取目标X光图像以及与目标X光图像相关的多个自然光图像；目标X光图像包括目标监控对象；
提取单元902，用于对目标X光图像进行特征提取，获得第一全局特征图；对多个自然光图像进行特征提取，获得多个自然光图像对应的多个第二全局特征图；
预测单元903，用于将第一全局特征图以及多个第二全局特征图输入预测模型，获得多个自然光图像中与目标X光图像匹配的目标自然光图像；目标自然光图像包含目标监控对象。
在一个实施例中，获取单元901，用于获取与X光图像属于同一场景的多个候选自然光图像；确定每一候选自然光图像的拍摄时间与目标X光图像的拍摄时间的时间间隔；将多个候选自然光图像中时间间隔小于阈值的候选自然光图像，确定为与目标X光图像相关的多个自然光图像。
在一个实施例中，预测单元903，用于将第一全局特征图以及多个第二全局特征图输入预测模型进行特征提取，获得第一全局特征图的多个局部特征图，以及每一第二全局特征图的多个局部特征图；
根据第一全局特征图、第一全局特征图的多个局部特征图、多个第二全局特征图以及每一第二全局特征图的多个局部特征图，确定第一稳定特征图以及第二稳定特征图；第一稳定特征图为目标X光图像对应的特征图中与拍摄模态无关的特征图，第二稳定特征图为自然光图像对应的特征图中与拍摄模态无关的特征图；
根据第一稳定特征图以及第二稳定特征图，获得多个重建特征图，根据多个重建特征图确定目标X光图像与自然光图像之间的相似度；
将多个自然光图像中相似度最大的图像确定为目标自然光图像。
在一个实施例中，用于对特征图FVIS和特征图FX进行乘运算，获得运算结果P；
若P满足：P∈RHW×HW，则确定特征图FX为第一稳定特征图，特征图FVIS为第二稳定特征图；
其中，特征图FX为第一全局特征图以及第一全局特征图的多个局部特征图中的任意一个，P∈RHW×HW为所述特征图FVIS和所述特征图FX乘运算的运算结果P，与所述特征图的二维矩阵HW与所述特征图的二维矩阵HW经过矩阵乘法运算的运算结果相同，则所述特征图FVIS与所述特征图FX对应，所述R为特征图的二维矩阵的尺寸，H为特征图的二维矩阵的高，W为特征图的二维矩阵的宽。
在一个实施例中，用于将特征图FVIS和特征图FX代入如下公式，获得特征图FVIS对应的重建特征图ḞVIS：
Figure 478344DEST_PATH_IMAGE002
其中，MVIS(i)为特征图的响应强度，P(i,j)为特征图间的特征对应关系，FX(j)为特征图FX的列数，FVIS(i)为特征图FVIS的行数。
在一个实施例中，将特征图FVIS和特征图FX代入如下公式，获得特征图FX对应的重建特征图ḞX：
Figure DEST_PATH_IMAGE003
其中，MX(i)为特征图的响应强度，P(i,j)为特征图间的特征对应关系，FVIS(j)为特征图FVIS的列数，FX(i)为特征图FX的行数。
在一个实施例中，用于对目标X光图像对应的重建特征图进行向量化处理，对获得的向量进行融合处理，获得第一向量；
对自然光图像对应的重建特征图进行向量化处理，对获得的向量进行融合处理，获得第二向量；
根据第一向量和自然光图像对应的第二向量，确定目标X光图像与自然光图像之间的相似度。
关于图像关联装置的具体限定可以参见上文中对于图像关联方法的限定，在此不在赘述。上述图像关联装置的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各个模块可以以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取目标X光图像以及与目标X光图像相关的多个自然光图像；目标X光图像包括目标监控对象；
对目标X光图像进行特征提取，获得第一全局特征图；对多个自然光图像进行特征提取，获得多个自然光图像对应的多个第二全局特征图；
将第一全局特征图以及多个第二全局特征图输入预测模型，获得多个自然光图像中与目标X光图像匹配的目标自然光图像；目标自然光图像包含目标监控对象。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取与X光图像属于同一场景的多个候选自然光图像；
确定每一候选自然光图像的拍摄时间与目标X光图像的拍摄时间的时间间隔；
将多个候选自然光图像中时间间隔小于阈值的候选自然光图像，确定为与目标X光图像相关的多个自然光图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将第一全局特征图以及多个第二全局特征图输入预测模型进行特征提取，获得第一全局特征图的多个局部特征图，以及每一第二全局特征图的多个局部特征图；
根据第一全局特征图、第一全局特征图的多个局部特征图、多个第二全局特征图以及每一第二全局特征图的多个局部特征图，确定第一稳定特征图以及第二稳定特征图；第一稳定特征图为目标X光图像对应的特征图中与拍摄模态无关的特征图，第二稳定特征图为自然光图像对应的特征图中与拍摄模态无关的特征图；
根据第一稳定特征图以及第二稳定特征图，获得多个重建特征图，根据多个重建特征图确定目标X光图像与自然光图像之间的相似度；
将多个自然光图像中相似度最大的图像确定为目标自然光图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对特征图FVIS和特征图FX进行乘运算，获得运算结果P；
若P满足：P∈RHW×HW，则确定特征图FX为第一稳定特征图，特征图FVIS为第二稳定特征图；
其中，特征图FX为第一全局特征图以及第一全局特征图的多个局部特征图中的任意一个，P∈RHW×HW为所述特征图FVIS和所述特征图FX乘运算的运算结果P，与所述特征图的二维矩阵HW与所述特征图的二维矩阵HW经过矩阵乘法运算的运算结果相同，则所述特征图FVIS与所述特征图FX对应，所述R为特征图的二维矩阵的尺寸，H为特征图的二维矩阵的高，W为特征图的二维矩阵的宽。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将特征图FVIS和特征图FX代入如下公式，获得特征图FVIS对应的重建特征图ḞVIS：
Figure 371345DEST_PATH_IMAGE004
其中，MVIS(i)为特征图的响应强度，P(i,j)为特征图间的特征对应关系，FX(j)为特征图FX的列数，FVIS(i)为特征图FVIS的行数。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将特征图FVIS和特征图FX代入如下公式，获得特征图FX对应的重建特征图ḞX：
Figure 131491DEST_PATH_IMAGE005
其中，MX(i)为特征图的响应强度，P(i,j)为特征图间的特征对应关系，FVIS(j)为特征图FVIS的列数，FX(i)为特征图FX的行数。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对目标X光图像对应的重建特征图进行向量化处理，对获得的向量进行融合处理，获得第一向量；
对自然光图像对应的重建特征图进行向量化处理，对获得的向量进行融合处理，获得第二向量；
根据第一向量和自然光图像对应的第二向量，确定目标X光图像与自然光图像之间的相似度。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic Random Access Memory，DRAM）等。
本申请实施例提供一种计算机程序产品，该计算机程序产品包括指令，当该指令被运行时，使得如本申请实施例描述的方法被执行。例如，可以执行图2所示的图片识别方法的各个步骤。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (6)

1.一种图像关联方法，其特征在于，所述方法包括：
获取目标X光图像以及与所述目标X光图像相关的多个自然光图像；所述目标X光图像包括目标监控对象；
对所述目标X光图像进行特征提取，获得第一全局特征图；对所述多个自然光图像进行特征提取，获得所述多个自然光图像对应的多个第二全局特征图；
将所述第一全局特征图以及所述多个第二全局特征图输入预测模型，获得所述多个自然光图像中与所述目标X光图像匹配的目标自然光图像；所述目标自然光图像包含所述目标监控对象；
所述将所述第一全局特征图以及所述第二全局特征图输入预测模型，获得所述多个自然光图像中与所述目标X光图像匹配的目标自然光图像，包括：
将所述第一全局特征图以及所述多个第二全局特征图输入所述预测模型进行特征提取，获得所述第一全局特征图的多个局部特征图，以及每一所述第二全局特征图的多个局部特征图；
根据所述第一全局特征图、所述第一全局特征图的多个局部特征图、所述多个第二全局特征图以及每一所述第二全局特征图的多个局部特征图，确定第一稳定特征图以及第二稳定特征图；所述第一稳定特征图为所述目标X光图像对应的特征图中与拍摄模态无关的特征图，所述第二稳定特征图为所述自然光图像对应的特征图中与拍摄模态无关的特征图；
所述根据所述第一全局特征图、所述第一全局特征图的多个局部特征图、所述多个第二全局特征图以及每一所述第二全局特征图的多个局部特征图，确定第一稳定特征图以及第二稳定特征图，包括：
对特征图FVIS和特征图FX进行乘运算，获得运算结果P；
若P满足：P∈RHW×HW，则确定所述特征图FX为所述第一稳定特征图，所述特征图FVIS为所述第二稳定特征图；
其中，所述特征图FX为所述第一全局特征图以及所述第一全局特征图的多个局部特征图中的任意一个，所述特征图FVIS所述多个第二全局特征图以及每一所述第二全局特征图的多个局部特征图中的任意一个，P∈RHW×HW为所述特征图FVIS和所述特征图FX乘运算的运算结果P，与所述特征图的二维矩阵HW与所述特征图的二维矩阵HW经过矩阵乘法运算的运算结果相同，则所述特征图FVIS与所述特征图FX对应，所述R为特征图的二维矩阵的尺寸，H为特征图的二维矩阵的高，W为特征图的二维矩阵的宽；
根据所述第一稳定特征图以及所述第二稳定特征图，获得多个重建特征图，根据所述多个重建特征图确定所述目标X光图像与所述自然光图像之间的相似度；
所述根据所述第一稳定特征图以及所述第二稳定特征图，获得多个重建特征图，包括：
将所述特征图FVIS和所述特征图FX代入如下公式，获得所述特征图FVIS对应的重建特征图ḞVIS：
Figure 156532DEST_PATH_IMAGE001
其中，MVIS(i)为特征图的响应强度，P(i,j)为特征图间的特征对应关系，FX(j)为特征图FX的列数，FVIS(i)为特征图FVIS的行数；
将所述特征图FVIS和所述特征图FX代入如下公式，获得所述特征图FX对应的重建特征图ḞX：
Figure 978994DEST_PATH_IMAGE002
其中，MX(i)为特征图的响应强度,P(i,j)为特征图间的特征对应关系，FVIS(j)为特征图FVIS的列数，FX(i)为特征图FX的行数；
将所述多个自然光图像中相似度最大的图像确定为所述目标自然光图像。
2.根据权利要求1所述的方法，其特征在于，所述获取与所述目标X光图像相关的多个自然光图像，包括：
获取与所述X光图像属于同一场景的多个候选自然光图像；
确定每一所述候选自然光图像的拍摄时间与所述目标X光图像的拍摄时间的时间间隔；
将所述多个候选自然光图像中时间间隔小于阈值的候选自然光图像，确定为与所述目标X光图像相关的多个自然光图像。
3.根据权利要求1所述的方法，其特征在于，所述根据所述多个重建特征图确定所述目标X光图像与所述自然光图像之间的相似度，包括：
对所述目标X光图像对应的重建特征图进行向量化处理，对获得的向量进行融合处理，获得第一向量；
对所述自然光图像对应的重建特征图进行向量化处理，对获得的向量进行融合处理，获得第二向量；
根据所述第一向量和所述自然光图像对应的第二向量，确定所述目标X光图像与所述自然光图像之间的相似度。
4.一种图像关联装置，其特征在于，所述装置包括：
获取单元，用于获取目标X光图像以及与所述目标X光图像相关的多个自然光图像；所述目标X光图像包括目标监控对象；
提取单元，用于对所述目标X光图像进行特征提取，获得第一全局特征图；对所述多个自然光图像进行特征提取，获得所述多个自然光图像对应的多个第二全局特征图；
预测单元，用于将所述第一全局特征图以及所述多个第二全局特征图输入预测模型，获得所述多个自然光图像中与所述目标X光图像匹配的目标自然光图像；所述目标自然光图像包含所述目标监控对象；
所述预测单元，用于将所述第一全局特征图以及所述多个第二全局特征图输入所述预测模型进行特征提取，获得所述第一全局特征图的多个局部特征图，以及每一所述第二全局特征图的多个局部特征图；
根据所述第一全局特征图、所述第一全局特征图的多个局部特征图、所述多个第二全局特征图以及每一所述第二全局特征图的多个局部特征图，确定第一稳定特征图以及第二稳定特征图；所述第一稳定特征图为所述目标X光图像对应的特征图中与拍摄模态无关的特征图，所述第二稳定特征图为所述自然光图像对应的特征图中与拍摄模态无关的特征图；
所述预测单元还包括确定单元，所述确定单元用于对特征图FVIS和特征图FX进行乘运算，获得运算结果P；
若P满足：P∈RHW×HW，则确定所述特征图FX为所述第一稳定特征图，所述特征图FVIS为所述第二稳定特征图；
其中，所述特征图FX为所述第一全局特征图以及所述第一全局特征图的多个局部特征图中的任意一个，所述特征图FVIS所述多个第二全局特征图以及每一所述第二全局特征图的多个局部特征图中的任意一个，P∈RHW×HW为所述特征图FVIS和所述特征图FX乘运算的运算结果P，与所述特征图的二维矩阵HW与所述特征图的二维矩阵HW经过矩阵乘法运算的运算结果相同，则所述特征图FVIS与所述特征图FX对应，所述R为特征图的二维矩阵的尺寸，H为特征图的二维矩阵的高，W为特征图的二维矩阵的宽；
根据所述第一稳定特征图以及所述第二稳定特征图，获得多个重建特征图，根据所述多个重建特征图确定所述目标X光图像与所述自然光图像之间的相似度；
所述预测单元还包括获得单元，所述获得单元用于将所述特征图FVIS和所述特征图FX代入如下公式，获得所述特征图FVIS对应的重建特征图ḞVIS：
Figure 809809DEST_PATH_IMAGE001
其中，MVIS(i)为特征图的响应强度，P(i,j)为特征图间的特征对应关系，FX(j)为特征图FX的列数，FVIS(i)为特征图FVIS的行数；
所述预测单元还包括获得单元，所述获得单元用于将所述特征图FVIS和所述特征图FX代入如下公式，获得所述特征图FX对应的重建特征图ḞX：
Figure 8709DEST_PATH_IMAGE002
其中，MX(i)为特征图的响应强度,P(i,j)为特征图间的特征对应关系，FVIS(j)为特征图FVIS的列数，FX(i)为特征图FX的行数；
将所述多个自然光图像中相似度最大的图像确定为所述目标自然光图像。
5.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时，实现如权利要求1-3任一项所述的图像关联方法。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-3中任一所述的图像关联方法。
CN202210800050.2A 2022-07-08 2022-07-08 图像关联方法、装置、设备和介质 Active CN114882446B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210800050.2A CN114882446B (zh) 2022-07-08 2022-07-08 图像关联方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210800050.2A CN114882446B (zh) 2022-07-08 2022-07-08 图像关联方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN114882446A CN114882446A (zh) 2022-08-09
CN114882446B true CN114882446B (zh) 2022-10-04

Family

ID=82682578

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210800050.2A Active CN114882446B (zh) 2022-07-08 2022-07-08 图像关联方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN114882446B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115422391B (zh) * 2022-08-18 2023-05-26 成都智元汇信息技术股份有限公司 一种基于以图搜图的人包关联方法及装置
CN118262203A (zh) * 2022-12-28 2024-06-28 顺丰科技有限公司 违禁品检测方法、装置、计算机设备及存储介质
CN116563584B (zh) * 2023-07-10 2023-11-14 安徽启新明智科技有限公司 图像匹配方法、装置及设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011011894A1 (en) * 2009-07-31 2011-02-03 Optosecurity Inc. Method and system for identifying a liquid product in luggage or other receptacle
CA2986414A1 (en) * 2016-12-16 2018-06-16 Zhiqiang Chen Security check system and method
CN111290040A (zh) * 2020-03-12 2020-06-16 安徽启新明智科技有限公司 一种基于图像识别的主动式双视角关联的方法
CN111323835A (zh) * 2020-03-20 2020-06-23 安徽启新明智科技有限公司 一种基于人包关联的安检方法及其装置
CN111612020A (zh) * 2019-02-22 2020-09-01 杭州海康威视数字技术股份有限公司 一种异常被检物的定位方法以及安检分析设备、系统
CN112287908A (zh) * 2020-12-24 2021-01-29 成都智元汇信息技术股份有限公司 一种基于人工智能的安检快速图片识别方法及系统
CN112364903A (zh) * 2020-10-30 2021-02-12 盛视科技股份有限公司 基于x光机的物品分析及多维图像关联方法与系统
CN112371540A (zh) * 2020-09-14 2021-02-19 海深智能科技(上海)有限公司 一种可实现违禁品自动分拣的安检系统
CN112967289A (zh) * 2021-02-08 2021-06-15 上海西井信息科技有限公司 安检包裹匹配方法、系统、设备及存储介质
CN113435543A (zh) * 2021-07-22 2021-09-24 北京博睿视科技有限责任公司 一种基于传送带标识的可见光和x光图像匹配方法及装置
CN114019572A (zh) * 2021-10-11 2022-02-08 安徽太测临峰光电科技股份有限公司 一种基于多摄像机融合的x光安检方法及安检装置
CN114295649A (zh) * 2021-12-31 2022-04-08 杭州睿影科技有限公司 一种信息关联方法、装置、电子设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009016628A1 (de) * 2008-06-11 2009-12-17 Siemens Aktiengesellschaft Verfahren und Vorrichtung zum Überwachen des Transports eines Gepäckstücks

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011011894A1 (en) * 2009-07-31 2011-02-03 Optosecurity Inc. Method and system for identifying a liquid product in luggage or other receptacle
CA2986414A1 (en) * 2016-12-16 2018-06-16 Zhiqiang Chen Security check system and method
CN111612020A (zh) * 2019-02-22 2020-09-01 杭州海康威视数字技术股份有限公司 一种异常被检物的定位方法以及安检分析设备、系统
CN111290040A (zh) * 2020-03-12 2020-06-16 安徽启新明智科技有限公司 一种基于图像识别的主动式双视角关联的方法
CN111323835A (zh) * 2020-03-20 2020-06-23 安徽启新明智科技有限公司 一种基于人包关联的安检方法及其装置
CN112371540A (zh) * 2020-09-14 2021-02-19 海深智能科技(上海)有限公司 一种可实现违禁品自动分拣的安检系统
CN112364903A (zh) * 2020-10-30 2021-02-12 盛视科技股份有限公司 基于x光机的物品分析及多维图像关联方法与系统
CN112287908A (zh) * 2020-12-24 2021-01-29 成都智元汇信息技术股份有限公司 一种基于人工智能的安检快速图片识别方法及系统
CN112967289A (zh) * 2021-02-08 2021-06-15 上海西井信息科技有限公司 安检包裹匹配方法、系统、设备及存储介质
CN113435543A (zh) * 2021-07-22 2021-09-24 北京博睿视科技有限责任公司 一种基于传送带标识的可见光和x光图像匹配方法及装置
CN114019572A (zh) * 2021-10-11 2022-02-08 安徽太测临峰光电科技股份有限公司 一种基于多摄像机融合的x光安检方法及安检装置
CN114295649A (zh) * 2021-12-31 2022-04-08 杭州睿影科技有限公司 一种信息关联方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
安检图像的多模态特征提取及多核学习的图像分类研究;原玥;《中国优秀博士学位论文全文数据库 社会科学Ⅰ辑》;20220415(第04期);G113-3 *

Also Published As

Publication number Publication date
CN114882446A (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
CN114882446B (zh) 图像关联方法、装置、设备和介质
US20230162342A1 (en) Image sample generating method and system, and target detection method
CN111667464B (zh) 危险品三维图像检测方法、装置、计算机设备及存储介质
CN111402294B (zh) 目标跟踪方法、装置、计算机可读存储介质和计算机设备
US11048948B2 (en) System and method for counting objects
CN105243395B (zh) 一种人体图像比对方法和装置
CN110765990A (zh) 一种物品智能检测方法及系统、一种计算设备及存储介质
CN109522790A (zh) 人体属性识别方法、装置、存储介质及电子设备
CN111383168B (zh) 隐私保护摄影机
CN110245611B (zh) 图像识别方法、装置、计算机设备和存储介质
Smeureanu et al. Real-time deep learning method for abandoned luggage detection in video
CN113989702B (zh) 一种目标识别方法和装置
CN109961029A (zh) 一种危险物品检测方法、装置及计算机可读存储介质
CN111091025B (zh) 图像处理方法、装置和设备
TW202046709A (zh) 資訊處理裝置
Rahman et al. Unmanned aerial vehicle assisted forest fire detection using deep convolutional neural network
US20140086448A1 (en) Appearance Model Based Automatic Detection in Sensor Images
CN111429194B (zh) 用户轨迹确定系统、方法、装置及服务器
US20090220127A1 (en) Covariance based face association
JP2022086627A (ja) 異常検知装置、異常検知方法
Taghipour et al. A bottom-up and top-down human visual attention approach for hyperspectral anomaly detection
US10915760B1 (en) Human detection using occupancy grid maps
CN114004867A (zh) 一种动态观测者间眼动一致性的测算和预测方法及终端
US10553093B2 (en) Security system and method to detect motions and features associated with a traveler
CN113256822A (zh) 空间关系预测、数据处理方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant