CN115422391B - 一种基于以图搜图的人包关联方法及装置 - Google Patents

一种基于以图搜图的人包关联方法及装置 Download PDF

Info

Publication number
CN115422391B
CN115422391B CN202210991180.9A CN202210991180A CN115422391B CN 115422391 B CN115422391 B CN 115422391B CN 202210991180 A CN202210991180 A CN 202210991180A CN 115422391 B CN115422391 B CN 115422391B
Authority
CN
China
Prior art keywords
package
picture
visible light
passenger
pictures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210991180.9A
Other languages
English (en)
Other versions
CN115422391A (zh
Inventor
邓波
拜正斌
姜旭
张利
连天友
赵玲
何强
唐宗祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Zhiyuanhui Information Technology Co Ltd
Original Assignee
Chengdu Zhiyuanhui Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Zhiyuanhui Information Technology Co Ltd filed Critical Chengdu Zhiyuanhui Information Technology Co Ltd
Priority to CN202210991180.9A priority Critical patent/CN115422391B/zh
Publication of CN115422391A publication Critical patent/CN115422391A/zh
Application granted granted Critical
Publication of CN115422391B publication Critical patent/CN115422391B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/05—Recognition of patterns representing particular kinds of hidden objects, e.g. weapons, explosives, drugs
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Data Mining & Analysis (AREA)
  • Psychiatry (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于以图搜图的人包关联方法及装置，在X光安检机的进包口处设置摄像头拍摄区域，用于拍摄乘客及乘客包裹的可见光人包图片，具体包括以下步骤：接收摄像头拍摄的可见光人包图片；接收X光安检机发送的X光包裹图片；根据所述可见光人包图片，提取可见光包裹图片以及乘客图片；根据所述可见光人包图片，生成实时的包裹信息队列；遍历实时的包裹信息队列，进行第一次相似度匹配，获得包裹信息队列中与所述X光包裹图片匹配度最高的可见光包裹图片；遍历所述包裹信息集，进行第二次相似度匹配，获得同一包裹的可见光包裹图片；根据所述包裹信息集中同一包裹的可见光包裹图片，从乘客信息集中调取对应的乘客图片；将所述乘客图片与所述X光包裹图片确定为人包关联的图片。本发明通过以图搜图的方式，进行两次匹配，提高人包关联准确性。

Description

一种基于以图搜图的人包关联方法及装置
技术领域
本发明涉及智慧安检技术领域，具体涉及一种基于以图搜图的人包关联方法及装置。
背景技术
在安检场景下，当乘客把包裹放到传送带进入安检机后，会对包裹进行违禁品识别，当包裹中识别出违禁品时，需要马上确定对应的乘客。所以需要把安检机X光包裹图片和外置摄像头拍摄的可见光人包图片进行关联，才方便安检员确认。但是现有的技术是通过X光机图片的成像时间，然后根据包裹从传送带运行到X图片成像位置的时间，推算关联含有乘客的全景图。这样存在以下问题：1、包裹从进包口运行到X图片成像位置的时间会根据包裹大小，传送带速度等波动，会带来匹配偏差；2、关联的是含有乘客的包裹图片是全景图片，可应用性很差。基于以上的问题，此次发明提出一种基于以图搜图的人包关联方法。
发明内容
本发明的目的在于提供一种基于以图搜图的人包关联方法及装置，设置实时的包裹信息队列，包裹信息队列仅仅存储距离当前摄像头拍摄时间t之前时间段△t内的可见光包裹图片，因此通过遍历实时的包裹信息队列，进行第一次相似度匹配进行第一次匹配，获得与X光包裹图片相似度最高的可见光包裹图片，然后通过遍历包裹信息集进行第二次匹配，进而获得与相似度最高的可见光包裹图片对应的乘客图片，用以解决现有人包关联准确性低的问题。
一种基于以图搜图的人包关联方法，在X光安检机的进包口处设置摄像头拍摄区域，用于拍摄乘客及乘客包裹的可见光人包图片，具体包括以下步骤：
接收摄像头拍摄的可见光人包图片；
接收X光安检机发送的X光包裹图片；
根据所述可见光人包图片，提取可见光包裹图片以及乘客图片，并进行判定更新获得乘客信息集与包裹信息集，所述乘客信息集中的乘客图片与包裹信息集的至少一个可见光包裹图片对应；
根据所述可见光人包图片，单独提取可见光包裹图片，并进行包裹跟踪，生成实时的包裹信息队列；
遍历实时的包裹信息队列，进行第一次相似度匹配，获得包裹信息队列中与所述X光包裹图片匹配度最高的可见光包裹图片；
根据所述包裹信息队列中匹配度最高的可见光包裹图片，遍历所述包裹信息集，进行第二次相似度匹配，获得同一包裹的可见光包裹图片；
根据所述包裹信息集中同一包裹的可见光包裹图片，从乘客信息集中调取对应的乘客图片；
将所述乘客图片与所述X光包裹图片确定为人包关联的图片。
进一步地，所述包裹跟踪，包括基于摄像头的拍摄时间对包裹信息队列的数据数量进行刷新，具体包括以下步骤：
当前摄像头的拍摄时间t以及预设的缓存时间段Δt；
遍历包裹信息队列中每张可见光包裹图片，获得其对应的拍摄时间ti并判断,i＝1,...n,其中n为包裹信息队列中可见光包裹图片的数量；
若ti<(t-△t)，则在包裹信息队列中删除时间ti对应的可见光包裹图片。
进一步地，所述预设的缓存时间段Δt＝L/v，其中L为包裹在传送带上运动的最远距离，v为传送带移动的速度。
进一步地，所述包裹跟踪，基于包裹尺寸对包裹信息队列的数据内容进行刷新，具体包括以下步骤：
基于所述单独提取的可见光包裹图片，获得包裹的像素长度l1；
根据所述包裹的像素长度l1，比较所述实时的包裹信息队列中同一包裹的像素长度l0的大小；
若l1＞l0，则基于所述单独提取的可见光包裹图片更新所述实时的包裹信息队列中同一包裹的可见光包裹图片。
进一步地，所述判定更新，具体包括以下步骤：
根据所述可见光人包图片进行识别，生成至少一个可见光包裹图片、乘客图片及其对应的乘客ID；
判定：将当前时刻的可见光人包图片输入动作检测模型，用于判断当前时刻的可见光人包图片是否存在递包至传送带的动作；
若存在，则提取所述动作对应的可见光人包图片的可见光包裹图片、乘客图片及其对应的乘客ID，并执行以下子步骤：
更新：基于所述乘客ID的乘客信息,执行更新策略，获得所述乘客ID的最优可见光包裹图片、最优乘客图片，直到摄像头拍摄区域内不存在所述乘客ID，将所述最优可见光包裹图片、最优乘客图片分别存入乘客信息集与包裹信息集。
进一步地，所述更新策略包括包裹图片更新策略，所述包裹图片更新策略具体包括以下步骤：
依次比较最优可见光包裹图片的质量值与当前时刻同一包裹的可见光包裹图片的质量值的大小；
若当前时刻的可见光包裹图片的质量值大于同一包裹的最优可见光包裹图片的质量值，则将所述最优可见光包裹图片更新为前时刻同一包裹的的可见光包裹图片。
进一步地，所述质量值为以下列举中的一种：包裹图片尺寸值、包裹图片清晰度值、包裹图片尺寸值与清晰度值加权求和值。
进一步地，所述更新策略还包括乘客图片更新策略，所述乘客图片更新策略具体包括以下步骤：
将当前时刻的乘客图片的置信度S1与最优乘客图片的置信度S0进行比较：
若所述S1＞S0，则将最优乘客图片更新为当前时刻的乘客图片。
进一步地，在判定的同时，还包括动态更新，所述动态更新具体包括以下步骤：
基于同一个乘客ID,每获取一次人包图片，执行更新策略更新乘客信息集与包裹信息集，直到摄像头拍摄区域内不存在所述乘客ID，所述更新策略包括以下策略中的至少有一种：乘客图片更新策略，包裹图片更新策略。
一种基于以图搜图的人包关联装置，包括：
一个或多个处理器；
存储单元，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，能使得所述一个或多个处理器实现所述的一种基于以图搜图的人包关联方法。
本发明具有的有益效果：
1、本申请通过摄像机抓拍乘客与包裹的图片，再将乘客图片和包裹图片提取出来分别缓存到乘客信息集与包裹信息集中，待包裹的X光机成像完成后，通过模糊搜索法在实时的包裹信息队列关联包裹的第一次匹配的可见光包裹图片，以第一次匹配的可见光包裹图片为基准遍历所述包裹信息集，进行第二次相似度匹配相似度最高的包裹图片，获得第二次匹配的可见光包裹图片，从而在乘客信息集中匹配到关联的乘客图片，提高人包关联的准确性，从而将安检机X光包裹图片和外置摄像头拍摄的乘客图片的关联的绑定，并判断当X光包裹图片中的物品信息是否为违禁物品，若是，则提前将异常的判别结果告知安检人员，提醒安检人员对旅客行包进行开包检查，提高了旅客进站乘车的安检效率，降低了安检管理的人工成本；
2、不影响现有安检效率的前提下，乘客进入摄像头拍摄区域，在此范围内，不断做乘客识别和追踪的算法来实现人和包的动态更新，提高了旅客进站乘车时在X光安检机进包口处的摄像头拍摄的人包图片质量，在进行人包关联的过程中提高了人包关联的准确性，降低了安检管理的人工成本，解决了传统的安检过程中一旦旅客发现危险品被检出，就会放弃包裹离开或者不承认包裹是其所有而导致的追溯困难，当前时间周期内高频出现的违禁品进行重点检测，更加智能化、具有针对性，对切实保障安检过程的实时高效具有重要意义。
附图说明
图1为本发明的以图搜图的人包关联流程示意图；
图2为本发明的距离L示意图；
图3为本发明的人包关联流程示意图；
图4为本发明的安检场景示意图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
另外，为了清楚和简洁起见，可能省略了对公知的结构、功能和配置的描述。本领域普通技术人员将认识到，在不脱离本公开的精神和范围的情况下，可以对本文描述的示例进行各种改变和修改。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
实施例1
一种基于以图搜图的人包关联方法，在X光安检机的进包口处设置摄像头拍摄区域，用于拍摄乘客及乘客包裹的可见光人包图片，具体包括以下步骤：
接收摄像头拍摄的可见光人包图片；
接收X光安检机发送的X光包裹图片；
根据所述可见光人包图片，提取可见光包裹图片以及乘客图片，并进行判定更新获得乘客信息集与包裹信息集，所述乘客信息集中的乘客图片与包裹信息集的至少一个可见光包裹图片对应；
根据所述可见光人包图片，单独提取可见光包裹图片，并进行包裹跟踪，生成实时的包裹信息队列；
遍历实时的包裹信息队列，进行第一次相似度匹配，获得包裹信息队列中与所述X光包裹图片匹配度最高的可见光包裹图片；
根据所述包裹信息队列中匹配度最高的可见光包裹图片，遍历所述包裹信息集，进行第二次相似度匹配，获得同一包裹的可见光包裹图片；
根据所述包裹信息集中同一包裹的可见光包裹图片，从乘客信息集中调取对应的乘客图片；
将所述乘客图片与所述X光包裹图片确定为人包关联的图片。
具体地，所述包裹跟踪，包括基于摄像头的拍摄时间对包裹信息队列的数据数量进行刷新以及基于包裹尺寸对包裹信息队列的数据内容进行刷新，具体包括以下步骤：
当前摄像头的拍摄时间t以及预设的缓存时间段Δt；
遍历包裹信息队列中每张可见光包裹图片，获得其对应的拍摄时间ti并判断,i＝1,...n,其中n为包裹信息队列中可见光包裹图片的数量；
若ti<(t-△t)，则在包裹信息队列中删除时间ti对应的可见光包裹图片。
基于所述单独提取的可见光包裹图片，获得包裹的像素长度l1；
根据所述包裹的像素长度l1，比较所述实时的包裹信息队列中同一包裹的像素长度l0的大小；
若l1＞l0，则基于所述单独提取的可见光包裹图片更新所述实时的包裹信息队列中同一包裹的可见光包裹图片。
需要说明的是，基于摄像头的拍摄时间对包裹信息队列的数据数量进行刷新以及基于包裹尺寸对包裹信息队列的数据内容进行刷新，此两种刷新路线同时进行，确保实时的包裹信息队列的数据内容的动态更新以及数据数量维持在预设的范围，即包裹信息队列只缓存t-△t～t这一时间段的包裹图片数据。
设置实时的包裹信息队列意义在于，第一次匹配遍历的数据量在预设的范围内，增加了第一次匹配的速度，获得第一次匹配的可见光包裹图片，并通过第一次匹配的可见光包裹图片遍历所述包裹信息集，进行第二次相似度匹配相似度最高的包裹图片，获得第二次匹配的可见光包裹图片，通过以图搜图，提高人包关联的准确性。
具体地，所述判定更新，具体包括以下步骤：
根据所述可见光人包图片进行识别，生成至少一个可见光包裹图片、乘客图片及其对应的乘客ID；
判定：将当前时刻的可见光人包图片输入动作检测模型，用于判断当前时刻的可见光人包图片是否存在递包至传送带的动作；
若存在，则提取所述动作对应的可见光人包图片的可见光包裹图片、乘客图片及其对应的乘客ID，并执行以下子步骤：
更新：基于所述乘客ID的乘客信息,执行更新策略，获得所述乘客ID的最优可见光包裹图片、最优乘客图片，直到摄像头拍摄区域内不存在所述乘客ID，将所述最优可见光包裹图片、最优乘客图片分别存入乘客信息集与包裹信息集。
具体地，所述更新策略包括包裹图片更新策略，所述包裹图片更新策略具体包括以下步骤：
依次比较最优可见光包裹图片的质量值与当前时刻同一包裹的可见光包裹图片的质量值的大小；
若当前时刻的可见光包裹图片的质量值大于同一包裹的最优可见光包裹图片的质量值，则将所述最优可见光包裹图片更新为前时刻同一包裹的的可见光包裹图片。
具体地，所述质量值为以下列举中的一种：包裹图片尺寸值、包裹图片清晰度值、包裹图片尺寸值与清晰度值加权求和值。
具体地，所述更新策略还包括乘客图片更新策略，所述乘客图片更新策略具体包括以下步骤：
将当前时刻的乘客图片的置信度S1与最优乘客图片的置信度S0进行比较：
若所述S1＞S0，则将最优乘客图片更新为当前时刻的乘客图片。
需要说明的是，所述乘客图片更新策略、包裹图片更新策略可以是两条同时进行的更新路线，也可以依次进行，考虑到安检场景中，通常先进行乘客图片更新策略，若乘客图片更新策略更新成功，再进行包裹图片更新策略。
具体地，在判定的同时，还包括动态更新，所述动态更新具体包括以下步骤：
基于同一个乘客ID,每获取一次人包图片，执行更新策略更新乘客信息集与包裹信息集，直到摄像头拍摄区域内不存在所述乘客ID，所述更新策略包括以下策略中的至少有一种：乘客图片更新策略，包裹图片更新策略。
需要说明的是，采用双路线更新，路线一：乘客进入摄像头拍摄区域，在此范围内，不断做乘客识别和动态更新的算法来实现人和包的判断更新；路线二：因为所有带包乘客均需将包裹放置在传送带上进行安检X光机的检查，因此乘客在将包裹递至传送带时，设置动作检测模型，因此动态更新中遗漏的背包可以在此路线中得到补充，使得获得的人包关联图片质量提高的同时，补充了遗漏数据，从而提高了旅客进站乘车时在X光安检机进包口处的摄像头拍摄的人包图片质量。
本申请中，动态更新与判定更新同步进行。
具体地，所述摄像头拍摄区域内不存在所述乘客ID对应的乘客，具体包括以下步骤：
遍历当前时刻人包图片所有乘客ID，每遍历一个乘客ID，将所述乘客ID与前一时刻人包图片所有乘客ID进行匹配；
获得不匹配的当前时刻人包图片中的乘客ID确定为摄像头拍摄区域内不存在的乘客ID。
具体地，所述动作检测为机器学习模型，获得人包图片，具体包括以下步骤：
将待识别的人包图片输入到预先设置的模型中；
从所述预先设置的模型中获取所述人包图片中是否存在递包至传送带的动作，其中，所述模型为使用多组数据通过机器学习训练得出的，所述多组数据包括第一类数据和第二类数据，所述第一类数据中的每组数据均包括：包括人包图片和标识该图片存在递包至传送带的动作的标签；第二类数据中的每组数据均包括：包括人包图片和标识该图片不存在递包至传送带的动作的标签。
具体地，所述识别包括人脸识别，所述人脸识别具体包括以下步骤：
对所述人包图片进行相应分区，每个分区对应一个乘客和包裹；
提取分区后的人包图片的各区的特征数据；
根据各区的特征数据与所述人脸特征数据库内的对应数据进行比对并分别计算出各区与所述人脸特征数据库内的各人脸数据的置信度，根据相似度最高的人脸数据提取乘客图片并确定对应乘客的乘客ID。
在一种实施例中，所述人脸识别具体包括以下步骤：
S110、预建包含多个人脸的人脸特征数据库，
S111、输入待识别的人包图片。
S112、对输入的人包图片进行人脸定位，即识别出人包图片中的人脸部分。
S113、对定位后的人脸进行裁剪，例如可采用鼠标拉框或预先设置的取脸框对定位后的人脸进行裁剪。
S114、对裁减后的人脸进行预处理，所述预处理包括人脸尺寸归一化、光照补偿及姿态校正，所述预处理都为本领域技术人员所熟悉的技术，在此不再详述。
S115、将所裁减后的人脸与所述人脸特征数据库内的对应数据进行比对并计算出待识别的人脸与所述人脸特征数据库内的各人脸的相似度。
S116、结果处理，即根据所计算出的相似度在人脸特征数据库内找出与待识别的人脸最为相似的人脸，并生成对应的乘客ID。
具体地，所述识别还包括包裹识别，所述包裹识别具体包括以下步骤：
根据乘客ID对应的分区进行剪切，获得乘客ID对应乘客包裹图片；
将所述乘客ID对应的乘客包裹图片输入识别模型，获得乘客ID对应的包裹信息集合；
将所述乘客ID对应的乘客图片、包裹信息集合、对应的置信度打包为乘客ID对应的乘客信息。
具体地，所述分区之前，还包括将所述人脸识别进行正面脸识别，将正面脸的人包图片进行分区。对人包图片进行正面脸识别，从而对所述人包图片进行相应的正面脸分区，具体的包括：
对待识别的人包图片进行人脸检测以确定其是否包含人脸，并对包含人脸的待识别人包图片进行双眼定位；
根据定位的双眼判断所述双眼是否水平，若双眼不为水平，则旋转所述待识别的人包图片以使所述双眼水平；
根据处于水平的双眼的距离自相应待识别的人包图片中截取出相应人脸部分；
根据所截取出的相应人脸部分生成与所述人脸部分相应的镜像人脸；
根据所述人脸部分与镜像人脸对应各像素点的灰度值计算两图像之间的差距；按照公式
Figure BDA0003804014880000091
计算所述差距，其中，d为差距，A(x，y)为截取出的人脸部分中像素点(x，y)的灰度值，B(x，y)为镜像人脸中对应像素点(x，y)的灰度值；
将所述差距与预设的阀值进行比较以判断所述待识别的人包图片包含的人脸是否为正面脸。
示例性的：
一、摄像机抓拍乘客和包裹的图片，然后把乘客图片和包裹图片提取出来缓存到集合Q中；
二、包裹X光机成像完成后，通过模糊搜索关联到包裹的可见光图片BB；
三、用可见光图片BB去集合Q去搜索相似度最高的包裹图片，从而匹配到乘客图片。
1、提取乘客、包裹的可见光图片
1、乘客进入A区域后，识别出乘客信息，记为O，O包含的信息如下：
O＝{id,M,m_img,r,flag},id表示乘客的乘客id，随机生成，m_img是捕获到的乘客及包裹信息，r表示m_img为正面照的置信度，flag表示乘客是否带包，初始化为0，如果检测到乘客带包则记为1，M是个包裹列表，因为有可能乘客有多个包裹，M表示如下：
M＝{BAG0,BAG1,…},BAGi表示的是包裹信息，i表示包裹的标号，包裹BAG包含如下信息：
BAG＝{id,b_img},id表示包裹id，随机生成，b_img是包裹的图片
2、在1识别出乘客后，得到乘客图片m_img，然后从m_img识别是否带包，如果有包，则生成BAG放入M中，生成BAG时，需要生成包裹id和存入包裹图片b_img
3、跟踪乘客，判断乘客是否有递包到传送带的动作。如果有，则获取识别出递送的包裹BAG”，然后比较BAG和BAG”的包裹图片的质量，主要比较图片尺寸，如果尺寸大，说明包裹成像好。用如果BAG”的包裹图片成像比BAG的好，则用BAG’的包裹图片替换BAG的原有包裹图片。
4、跟踪乘客，判断乘客如果从区域B中消失。如果消失，则把乘客数据上传。如果没有消失，则继续3。
2、模糊搜索
如图2所示：传送带的运行方式是A->D,传送带的全长AD记为L，传送带的运行速度为v，B为安检机的入包口，C为安检机的出包口，BC段的传送带在安检机的内部。点X表示包裹到此位置时，开始扫描进行X光图片的成像。在入包传送带AB上方有个摄像机，摄像机的像头拍摄区域包裹传送带的AB区域。
整体流程：
1、将AB段上的包裹图片从可见光人包图片中单独提取并缓存至包裹信息队列中。
2、获取到包裹的X光图片后，然后从包裹信息队列中的包裹图片中找到一张最相似的包裹图片进行第一次匹配。
11、初始化：从摄像机图片中提取出包裹图片，包裹记为B’＝{id,img’,xl’,xr’,l’,t’},其中id为包裹ID，img’为包裹图片，xl’为包裹在可见光人包图片中的最左侧x坐标，xr’为包裹在摄像机图片中的最右侧x坐标，l’为包裹在摄像机图片中的长度，l’＝xr’-xl’。M是缓存包裹信息的队列，M＝{B0,B1,B2…Bi……Bn}；
12、包裹跟踪(包裹信息队列的数据内容刷新)：从摄像机图片中不断跟踪包裹B1，记跟踪到的包裹B1新的信息记为B1’。当B1’的长度l1’＝xr1’-xl1’大于B1的长度l’时，更新包裹B1的信息。更新信息如下：l’＝l1’，xl’＝xl1’，xr’＝xr1’，img1’＝img’,t’＝t1’；
13、包裹图片清除(包裹信息队列的数据数量更新)。当摄像机抓拍到图片时，除了做包裹跟踪，还需要对M中的包裹图片数据进行清除。记当前摄像机抓拍可见光人包图片时的时间为t，包裹图片缓存的时间为△t，将包裹信息队列中包裹图片对应的拍摄时间ti＜(t-△t)的数据删除。
需要说明的是，包裹图片缓存时间△t：
当包裹X光图片成像完成时，包裹随着传送带从出包口出来。设一个包裹从A运动到D，那么△t＝L/v是包裹在传送带上运行的最长时间。包裹的可见光图片最后一次更新后，△t时间后从缓存中去除。
3、X光包裹图片与包裹可见光图片匹配(第一次匹配)
记获得X光包裹图片为XB,max_conf作为最大匹配度，max_conf初始化为0，BB最为适配最好的可见光包裹信息，从包裹信息队列的找到与X光包裹图片相似度最高的图片：
For Bi in M:
计算Bi和XB之间的相似度conf，分别从尺寸，面积等维度比较。
当conf>max_conf时：
max_conf＝conf；
BB＝Bi；
最后把Bi从M中去除，避免重复匹配。
4、以图搜图(第二次匹配)
通过步骤三找到了X光图片对应包裹可见光图片BB。然后用BB去Q集合中进行包裹搜索。
max_conf为最大匹配度，初始化为0，BP为匹配到的人员信息
Figure BDA0003804014880000111
这样就得到了最佳匹配的人员信息，且获得是人员照，从Q中把BP去掉。
实施例2
本实施例的目的在于提高一种基于以图搜图的人包关联装置，包括：
一个或多个处理器；
存储单元，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，能使得所述一个或多个处理器实现所述的一种基于以图搜图的人包关联方法。
实施例3，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时能实现所述的一种基于以图搜图的人包关联方法。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。

Claims (8)

1.一种基于以图搜图的人包关联方法，其特征在于，在X光安检机的进包口处设置摄像头拍摄区域，用于拍摄乘客及乘客包裹的可见光人包图片，具体包括以下步骤：
接收摄像头拍摄的可见光人包图片；
接收X光安检机发送的X光包裹图片；
根据所述可见光人包图片，提取可见光包裹图片以及乘客图片，并进行判定更新获得乘客信息集与包裹信息集，所述乘客信息集中的乘客图片与包裹信息集的至少一个可见光包裹图片对应；
根据所述可见光人包图片，单独提取可见光包裹图片，并进行包裹跟踪，生成实时的包裹信息队列；所述包裹跟踪，包括基于摄像头的拍摄时间对包裹信息队列的数据数量进行刷新，具体包括以下步骤：
当前摄像头的拍摄时间t以及预设的缓存时间段Δt；
遍历包裹信息队列中每张可见光包裹图片，获得其对应的拍摄时间ti并判断,i=1,...n,其中n为包裹信息队列中可见光包裹图片的数量；
若ti<(t-△t)，则在包裹信息队列中删除时间ti对应的可见光包裹图片；
所述预设的缓存时间段Δt=L/v，其中L为包裹在传送带上运动的最远距离，v为传送带移动的速度；
遍历实时的包裹信息队列，进行第一次相似度匹配，获得包裹信息队列中与所述X光包裹图片匹配度最高的可见光包裹图片；
根据所述包裹信息队列中匹配度最高的可见光包裹图片，遍历所述包裹信息集，进行第二次相似度匹配，获得同一包裹的可见光包裹图片；
根据所述包裹信息集中同一包裹的可见光包裹图片，从乘客信息集中调取对应的乘客图片；
将所述乘客图片与所述X光包裹图片确定为人包关联的图片。
2.根据权利要求1所述的一种基于以图搜图的人包关联方法，其特征在于，所述包裹跟踪，基于包裹尺寸对包裹信息队列的数据内容进行刷新，具体包括以下步骤：
基于所述单独提取的可见光包裹图片，获得包裹的像素长度l1；
根据所述包裹的像素长度l1，比较所述实时的包裹信息队列中同一包裹的像素长度l0的大小；
若l1＞l0，则基于所述单独提取的可见光包裹图片更新所述实时的包裹信息队列中同一包裹的可见光包裹图片。
3.根据权利要求1所述的一种基于以图搜图的人包关联方法，其特征在于，所述判定更新，具体包括以下步骤：
根据所述可见光人包图片进行识别，生成至少一个可见光包裹图片、乘客图片及其对应的乘客ID；
判定：将当前时刻的可见光人包图片输入动作检测模型，用于判断当前时刻的可见光人包图片是否存在递包至传送带的动作；
若存在，则提取所述动作对应的可见光人包图片的可见光包裹图片、乘客图片及其对应的乘客ID，并执行以下子步骤：
更新：基于所述乘客ID的乘客信息，执行更新策略，获得所述乘客ID的最优可见光包裹图片、最优乘客图片，直到摄像头拍摄区域内不存在所述乘客ID，将所述最优可见光包裹图片、最优乘客图片分别存入乘客信息集与包裹信息集。
4.根据权利要求3所述的一种基于以图搜图的人包关联方法，其特征在于，所述更新策略包括包裹图片更新策略，所述包裹图片更新策略具体包括以下步骤：
依次比较最优可见光包裹图片的质量值与当前时刻同一包裹的可见光包裹图片的质量值的大小；
若当前时刻的可见光包裹图片的质量值大于同一包裹的最优可见光包裹图片的质量值，则将所述最优可见光包裹图片更新为前时刻同一包裹的可见光包裹图片。
5.根据权利要求4所述的一种基于以图搜图的人包关联方法，其特征在于，所述质量值为以下列举中的一种：包裹图片尺寸值、包裹图片清晰度值、包裹图片尺寸值与清晰度值加权求和值。
6.根据权利要求4所述的一种基于以图搜图的人包关联方法，其特征在于，所述更新策略还包括乘客图片更新策略，所述乘客图片更新策略具体包括以下步骤：
将当前时刻的乘客图片的置信度S1与最优乘客图片的置信度S0进行比较：
若所述S1＞S0，则将最优乘客图片更新为当前时刻的乘客图片。
7.根据权利要求1所述的一种基于以图搜图的人包关联方法，其特征在于，在判定的同时，还包括动态更新，所述动态更新具体包括以下步骤：
基于同一个乘客ID，每获取一次人包图片，执行更新策略更新乘客信息集与包裹信息集，直到摄像头拍摄区域内不存在所述乘客ID，所述更新策略包括以下策略中的至少有一种：乘客图片更新策略，包裹图片更新策略。
8.一种基于以图搜图的人包关联装置，其特征在于，包括：
一个或多个处理器；
存储单元，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，能使得所述一个或多个处理器实现根据权利要求1至7中任意一项所述的一种基于以图搜图的人包关联方法。
CN202210991180.9A 2022-08-18 2022-08-18 一种基于以图搜图的人包关联方法及装置 Active CN115422391B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210991180.9A CN115422391B (zh) 2022-08-18 2022-08-18 一种基于以图搜图的人包关联方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210991180.9A CN115422391B (zh) 2022-08-18 2022-08-18 一种基于以图搜图的人包关联方法及装置

Publications (2)

Publication Number Publication Date
CN115422391A CN115422391A (zh) 2022-12-02
CN115422391B true CN115422391B (zh) 2023-05-26

Family

ID=84199293

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210991180.9A Active CN115422391B (zh) 2022-08-18 2022-08-18 一种基于以图搜图的人包关联方法及装置

Country Status (1)

Country Link
CN (1) CN115422391B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113759431A (zh) * 2021-06-09 2021-12-07 同方威视技术股份有限公司 安检数据关联方法和装置、以及x射线安检系统
CN114295649A (zh) * 2021-12-31 2022-04-08 杭州睿影科技有限公司 一种信息关联方法、装置、电子设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929066A (zh) * 2019-11-18 2020-03-27 浙江大华技术股份有限公司 一种人员和包裹信息关联显示的方法、装置及安检机
CN111323835B (zh) * 2020-03-20 2022-09-16 安徽启新明智科技有限公司 一种基于人包关联的安检方法及其装置
CN112949577B (zh) * 2021-03-29 2023-05-09 杭州海康威视数字技术股份有限公司 信息关联方法、装置、服务器及存储介质
CN114187612A (zh) * 2021-12-09 2022-03-15 成都轨道交通集团有限公司 一种人包关联的方法与系统
CN114882446B (zh) * 2022-07-08 2022-10-04 安徽启新明智科技有限公司 图像关联方法、装置、设备和介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113759431A (zh) * 2021-06-09 2021-12-07 同方威视技术股份有限公司 安检数据关联方法和装置、以及x射线安检系统
CN114295649A (zh) * 2021-12-31 2022-04-08 杭州睿影科技有限公司 一种信息关联方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN115422391A (zh) 2022-12-02

Similar Documents

Publication Publication Date Title
CN108898044B (zh) 装载率获取方法、装置、系统及存储介质
CN111340126B (zh) 物品识别方法、装置、计算机设备和存储介质
CN110796051B (zh) 基于货柜场景下的实时存取行为检测方法和系统
US7305106B2 (en) Object detection apparatus, object detection method and recording medium
WO2020177480A1 (zh) 车辆事故的鉴定方法及装置、电子设备
US8861801B2 (en) Facial image search system and facial image search method
US20060269103A1 (en) Methods and apparatus for automatically tracking moving entities entering and exiting a specified region
WO2022257892A1 (zh) 一种信息关联方法、装置、安检设备及存储介质
CN114694064B (zh) 一种基于目标识别的切图方法与系统
US11682231B2 (en) Living body detection method and device
CN114758464B (zh) 一种基于充电桩监控视频的电瓶防盗方法、设备和存储介质
CN114187612A (zh) 一种人包关联的方法与系统
CN111753602A (zh) 动作识别方法和装置、电子设备、存储介质
CN114624263A (zh) 一种双源双视角基于目标识别的切图方法及系统
CN115422391B (zh) 一种基于以图搜图的人包关联方法及装置
CN114660097B (zh) 一种基于双源双视角的同步校正方法及系统
CN113255651A (zh) 包裹安检方法、装置及系统和节点设备、存储装置
CN108764017A (zh) 公交客流统计方法、装置及系统
CN115457455B (zh) 一种基于判定更新的人包关联方法及装置
CN111382606A (zh) 摔倒检测方法、摔倒检测装置和电子设备
CN115424200B (zh) 一种基于动态更新的人包关联方法及装置
CN115661903B (zh) 一种基于空间映射协同目标过滤的识图方法及装置
CN112633204A (zh) 一种精准客流统计方法、装置、设备和介质
CN115438208A (zh) 一种提升包裹关联准确率的方法及装置
CN116110127A (zh) 一种多联动的加油站套现行为识别系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant