CN111209868A - 一种客运站旅客与行李信息关联方法及装置 - Google Patents

一种客运站旅客与行李信息关联方法及装置 Download PDF

Info

Publication number
CN111209868A
CN111209868A CN202010019502.4A CN202010019502A CN111209868A CN 111209868 A CN111209868 A CN 111209868A CN 202010019502 A CN202010019502 A CN 202010019502A CN 111209868 A CN111209868 A CN 111209868A
Authority
CN
China
Prior art keywords
image
luggage
passenger
baggage
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010019502.4A
Other languages
English (en)
Other versions
CN111209868B (zh
Inventor
杨栋
杨国元
徐春婕
刘硕研
陈瑞凤
谢甲旭
陈清波
戴建强
樊楠
吴兴华
张亚伟
李宏
薛昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Academy of Railway Sciences Corp Ltd CARS
China State Railway Group Co Ltd
Institute of Computing Technologies of CARS
Beijing Jingwei Information Technology Co Ltd
Original Assignee
China Academy of Railway Sciences Corp Ltd CARS
China State Railway Group Co Ltd
Institute of Computing Technologies of CARS
Beijing Jingwei Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Academy of Railway Sciences Corp Ltd CARS, China State Railway Group Co Ltd, Institute of Computing Technologies of CARS, Beijing Jingwei Information Technology Co Ltd filed Critical China Academy of Railway Sciences Corp Ltd CARS
Priority to CN202010019502.4A priority Critical patent/CN111209868B/zh
Publication of CN111209868A publication Critical patent/CN111209868A/zh
Application granted granted Critical
Publication of CN111209868B publication Critical patent/CN111209868B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种客运站旅客与行李信息关联方法及装置。所述方法包括在安检仪处采集旅客拾取行李时的待检测目标图片；从所述待检测目标图片中识别出第一人脸图像和与所述第一人脸图像对应的行李信息；从预先获取的进站的人脸数据库中，找到与所述第一人脸图像相匹配的第二人脸图像，以确定与所述行李信息对应的旅客信息，本发明实施例通过在安检处采集符合拾取行李动作的待检测目标图片，并从所述待检测目标图片中识别出第一人脸图像和对应的行李信息，再从人脸数据库中找到与第一人脸图像对应的第二人脸图像，从而能够简单快速得将与第二人脸图像对应的旅客信息与所述行李信息进行关联。

Description

一种客运站旅客与行李信息关联方法及装置
技术领域
本发明涉及数据处理技术领域，尤其涉及一种客运站旅客与行李信息关联方法及装置。
背景技术
铁路客运站旅客众多，且旅客大都携带有式样各异的行李。围绕旅客携带的行李，铁路客运站主要有两方面的业务需求：一是安全方面，对于客站出现的遗留物，需要甄别遗留物来源，是谁遗留的物体；二是服务旅客方面，针对丢失的行李，需要甄别行李的归属问题，判断是哪位旅客遗失的行李。
目前，现有的行李归属，仅能由人为通过摄像图像对行李进行追溯的方式来确定行李对应的旅客，需要耗费大量的人力和时间，效率低下。
发明内容
由于现有方法存在上述问题，本发明实施例提供一种客运站旅客与行李信息关联方法及装置。
第一方面，本发明实施例提供了一种客运站旅客与行李信息关联方法，包括：
在安检仪处采集旅客拾取行李时的待检测目标图片；
从所述待检测目标图片中识别出第一人脸图像和与所述第一人脸图像对应的行李信息；
从预先获取的进站的人脸数据库中，找到与所述第一人脸图像相匹配的第二人脸图像，以确定与所述行李信息对应的旅客信息；其中，所述人脸数据库包括与各旅客信息一一对应的第二人脸图像。
进一步地，所述在安检仪处获取旅客拾取行李时的待检测目标图片，具体包括：
将从所述安检仪处采集的安检图像输入到预设的拾取图片检测模型中，得到所述待检测目标图片；其中，所述待检测目标图片包含在所述安检图像中，所述拾取图片检测模型为，预先以对待检测目标图片经过标注的安检训练图像为样本进行训练得到的。
进一步地，所述从所述待检测目标图片中识别出第一人脸图像和与所述第一人脸图像对应的行李信息，具体包括：
根据预设的人脸识别模型和行李识别模型分别从所述待检测目标图片中识别出第一人脸图像，以及至少一个手臂图像、至少一个行李图像和各行李图像对应的行李信息；
根据所述各行李图像和各手臂图像的重叠关系，将满足预设行李筛选条件的行李图像的行李信息作为与所述第一人脸图像对应的行李信息。
进一步地，所述行李筛选条件具体为：所述行李图像与手臂图像的重叠度IOU超过预设重叠阈值。
进一步地，所述客运站旅客与行李信息关联方法，还包括：
若根据所述人脸识别模型识别出的第一人脸图像的数量超过一个，或者根据所述行李识别模型识别出的手臂图像的数量超过两个，则将所述待检测目标图片丢弃。
进一步地，所述根据预设的行李识别模型识别出各行李图像对应的行李信息，具体包括：
从预设的行李数据库中，根据预设的行李识别模型获取到各行李图像匹配的行李形状和行李颜色；并根据所述行李图像中行李所占居的像素面积获取行李尺寸。
进一步地，所述拾取图片检测模型和行李识别模型为基于VGG16卷积神经网络和Faster-RCNN算法构建。
第二方面，本发明实施例提供了一种客运站旅客与行李信息关联装置，包括：
图片获取模块，用于在安检仪处采集旅客拾取行李时的待检测目标图片；
图片识别模块，用于从所述待检测目标图片中识别出第一人脸图像和与所述第一人脸图像对应的行李信息；
数据匹配模块，用于从预先获取的进站的人脸数据库中，找到与所述第一人脸图像相匹配的第二人脸图像，以确定与所述行李信息对应的旅客信息；其中，所述人脸数据库包括与各旅客信息一一对应的第二人脸图像。
第三方面，本发明实施例还提供了一种电子设备，包括：
处理器、存储器、通信接口和通信总线；其中，
所述处理器、存储器、通信接口通过所述通信总线完成相互间的通信；
所述通信接口用于该电子设备的通信设备之间的信息传输；
所述存储器存储有可被所述处理器执行的计算机程序指令，所述处理器调用所述程序指令能够执行如下方法：
在安检仪处采集旅客拾取行李时的待检测目标图片；
从所述待检测目标图片中识别出第一人脸图像和与所述第一人脸图像对应的行李信息；
从预先获取的进站的人脸数据库中，找到与所述第一人脸图像相匹配的第二人脸图像，以确定与所述行李信息对应的旅客信息；其中，所述人脸数据库包括与各旅客信息一一对应的第二人脸图像。
第四方面，本发明实施例还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如下方法：
在安检仪处采集旅客拾取行李时的待检测目标图片；
从所述待检测目标图片中识别出第一人脸图像和与所述第一人脸图像对应的行李信息；
从预先获取的进站的人脸数据库中，找到与所述第一人脸图像相匹配的第二人脸图像，以确定与所述行李信息对应的旅客信息；其中，所述人脸数据库包括与各旅客信息一一对应的第二人脸图像。
本发明实施例提供的客运站旅客与行李信息关联方法及装置，通过在安检处采集符合拾取行李动作的待检测目标图片，并从所述待检测目标图片中识别出第一人脸图像和对应的行李信息，再从人脸数据库中找到与第一人脸图像对应的第二人脸图像，从而能够简单快速得将与第二人脸图像对应的旅客信息与所述行李信息进行关联。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的客运站旅客与行李信息关联方法流程图；
图2为本发明实施例的另一客运站旅客与行李信息关联方法流程图；
图3为本发明实施例的客运站旅客与行李信息关联装置结构示意图；
图4示例了一种电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例的客运站旅客与行李信息关联方法流程图，如图1所示，所述方法包括：
步骤S01、在安检仪处采集旅客拾取行李时的待检测目标图片。
在客运站的安检仪旁设置视频采集设备，用于采集行李通过安检仪后各旅客在拾取行李时的图像，作为待检测目标图片。
进一步地，所述步骤S01具体包括：
步骤S011、将从所述安检仪处采集的安检图像输入到预设的拾取图片检测模型中，得到所述待检测目标图片；其中，所述待检测目标图片包含在所述安检图像中，所述拾取图片检测模型为，预先以对待检测目标图片经过标注的安检训练图像为样本进行训练得到的。
对于待检测目标图片的获取方法有很多，例如，可以通过摄像头对每件行李进行跟踪，并且在行李存在向上位移时进行拍摄。而本发明实施例仅给出了其中的一种举例说明。
通过预设的神经网络模型构建拾取图片检测模型，并采集大量安检训练图像作为样本进行训练，所述安检训练图像上标注出符合拾取行李动作的框图。所述拾取行李动作可定义为：旅客的手与行李直接接触，而与旅客的其他姿势和行李的位置无关。
通过视频采集设备实时采集安检仪处的安检图像，并将所述安检图像逐一输入到经过预先训练的拾取图片检测模型中。由所述拾取图片检测模型从输入的安检图像中识别出是否存在检测目标得分高于预设目标得分阈值的框图，例如0.9。若存在，则说明该框图为符合拾取行李动作的正样本，从而提取出该框图对应的图像作为输出，并存储为待检测目标图片；若不存在，则将所述安检图像丢弃。在实际的应用过程中，对于一个安检图像，可获取到多个待检测目标图片，分别保存并设置唯一对应人-物身份标识ID。
步骤S02、从所述待检测目标图片中识别出第一人脸图像和与所述第一人脸图像对应的行李信息。
对每个待检测目标图片继续进行识别，以获取所述待检测目标图片中的旅客的第一人脸图像，以及被该旅客拾取的行李的行李信息，从而将所述第一人脸图像与所述行李信息进行关联。
步骤S03、从预先获取的进站的人脸数据库中，找到与所述第一人脸图像相匹配的第二人脸图像，以确定与所述行李信息对应的旅客信息；其中，所述人脸数据库包括与各旅客信息一一对应的第二人脸图像。
在旅客进入客运站时，通过预先设置在入口处的图像采集设备和信息采集设备，获取每个旅客的第二人脸图像和旅客信息，进行关联后存入人脸数据库中。
当从待检测目标图片中识别出第一人脸图像时，将所述第一人脸图像与人脸数据库中的各第二人脸图像进行人脸比对，例如，可采用1：N人脸比对算法，将比对得分高于预设得分阈值，例如0.9，的第二人脸图像，作为与第一人脸图像对应的第二人脸图像。根据人脸数据库中与第二人脸图像关联的旅客信息，以及第一人脸图像关联的行李信息，得到了各旅客信息关联的行李信息。
若得到多个相同的旅客信息与行李信息的配对信息，则删除重复的配对信息。
本发明实施例通过在安检处采集符合拾取行李动作的待检测目标图片，并从所述待检测目标图片中识别出第一人脸图像和对应的行李信息，再从人脸数据库中找到与第一人脸图像对应的第二人脸图像，从而能够简单快速得将与第二人脸图像对应的旅客信息与所述行李信息进行关联。
图2为本发明实施例的另一客运站旅客与行李信息关联方法流程图，如图2所示，所述步骤S02具体包括：
步骤S021、根据预设的人脸识别模型和行李识别模型分别从所述待检测目标图片中识别出第一人脸图像，以及至少一个手臂图像、至少一个行李图像和对应的行李信息。
为了能够从所述待检测目标图片中得到第一人脸图像和对应的行李信息。可先根据实际的需要预先构建人脸识别模型和行李识别模型，并进行训练。所述人脸识别模型可以采用预先获取的人脸识别通用算法构建。
将得到待检测目标图片，分别输入到所述人脸识别模型和行李识别模型中。所述人脸识别模型将输出识别得到的第一人脸图像，进行保存，设置与所述第一人脸图像唯一对应的人脸ID，并与待检测目标图片的人-物ID进行关联。而所述行李识别模型将输出识别得到的手臂图像和行李图像，以及每个行李图像对应的行李信息，进行保存，分别设置与各手臂图像和各行李图像唯一对应的手臂ID和行李ID，并与所述待测目标图片的人-物ID进行关联。从而对于每个人-物ID形成对应人脸ID、行李ID和手臂ID组成的元组。
进一步地，所述客运站旅客与行李信息关联方法，还包括：
若根据所述人脸识别模型识别出的第一人脸图像的数量超过一个，或者根据所述行李识别模型识别出的手臂图像的数量超过两个，则将所述待检测目标图片丢弃。
若所述人脸识别模型没有输出第一人脸图像，则说明所述待检测目标图片中不存在旅客的可识别的脸部图像，无法用于后续的关联操作，可将所述待检测目标图片，以及对应的人-物ID等相关信息进行丢弃。
若所述人脸识别模型输出了两个以上的第一人脸图像，则说明所述待检测目标图片中除了拾取行李的旅客外，还包括其它旅客，由于无法准确对旅客进行判断，该待检测目标图片无法用于后续的关联操作，可将所述待检测目标图片，以及对应的人-物ID等相关信息进行丢弃。
若所述行李识别模型中输出了三个以上的手臂图像，则说明所述待检测目标图片中除了拾取行李的旅客的手臂外，还包括了其它旅客的手臂，由于法准确对旅客的手臂进行判断，该待检测目标图片无法用于后续的关联操作，可将所述待检测目标图片，以及对应的人-物ID等相关信息进行丢弃。
进一步地，所述根据预设的行李识别模型识别出各行李图像对应的行李信息，具体包括：
从预设的行李数据库中，根据预设的行李识别模型获取到各行李图像匹配的行李形状和行李颜色；并根据所述行李图像中行李所占居的像素面积获取行李尺寸。
预先构建行李数据库，所述行李数据库将所有的行李按照形状和颜色两个维度进行分类。所述行李形状包括立方体行李箱形、挎包形、背包形、塑料袋形等，行李颜色包括黑、白、红、黄、蓝、绿等常见的纯色，还包括任意2种或多种纯色的组合，以及其他颜色等。从而将所述行李数据库中的种类分为例如：黑色的立方体行李箱、白色的背包、黑白相间的挎包等。
所述行李识别模型，在从所述待检测目标图片识别出行李图像时，同时还要识别出在行李数据库中与所述行李图像对应的行李种类，从而得到所述行李图像的行李形状和行李颜色。
同时，通过计算所述行李图像中行李所占居的像素面积，与预设的尺寸分类进行比较，例如，可以分为大，中，小三种尺寸，从而得到了所述行李尺寸。
识别得到的行李图像对应的行李信息至少包括：行李形状、行李尺寸和行李颜色。
步骤S022、根据所述各行李图像和各手臂图像的重叠关系，将满足预设行李筛选条件的行李图像的行李信息作为与所述第一人脸图像对应的行李信息。
由于待检测目标图片中可能识别出多个行李图像，因此，需要从中筛选出由第一人脸图像对应的旅客拾取的行李的行李图像，即在从每个人-物ID对应的元组中的多个行李ID中筛选出正确的行李ID。具体的筛选方法有很多，例如，可以通过各个行李图像与第一人脸图像的距离的变动过程等。本发明实施例由通过识别得到的各行李图像和各手臂图像之间的重叠关系来进行筛选，若所述重叠关系满足预设行李筛选条件，则判定对应的行李图像为所述第一人脸图像对应的行李图像，从而在元组中将该行李图像对应的行李ID保留；而若所述行李图像与各手臂图像之间的重叠关系均不满足预设的行李行筛选条件，则在元组中将该行李图像对应的行李ID剔除。
进一步地，所述行李筛选条件具体为：所述行李图像与手臂图像的重叠度IOU超过预设重叠阈值。
所述各行李图像与手臂图像的重叠关系可具体通过计算得到的所述行李图像与手臂图像的重叠度IOU来表示。
所述IOU为所述行李图像与手臂图像在待检测目标图像上的交集部分面积与并集部分面积的比值。
若所述行李图像与手臂图像的IOU大于预设的重叠阈值，例如0.03，则判定所述行李图像与手臂图像的重叠关系满足所述行李筛选条件，从而确定该行李图像的行李信息与所述第一人脸图像相对应。相当于，确定了与第一人脸图像对应的行李形状和行李颜色。
本发明实施例通过预设的人脸识别模型和行李识别模型分别得到第一人脸图像，手臂图像和行李图像，以及行李图像对应的行李信息，再根据手臂图像与行李图像的重叠关系，确定第一人脸图像与行李信息的对应关系，从而通过后续通过第一人脸图像与旅客信息的对应关系，准确得到各旅客信息对应的行李信息。
基于上述实施例，进一步地，所述拾取图片检测模型和行李识别模型基于VGG16卷积神经网络和Faster-RCNN算法构建。
在上述实施例中所采用的拾取图片检测模型和行李识别模型的构建方式可以根据实际的需要进行设定。本发明实施例仅以基于VGG16卷积神经网络和Faster-RCNN算法为例来进行构建。可采用由IamgeNet训练好的VGG16预训练模型进行训练，并固定模型的前2层卷积层网络参数，以提升训练效率。在训练过程中可根据实际的需要设置Faster-RCNN模型参数，例如，可设置训练次数为70000次，每5000次输出一次训练模型，将用于训练拾取图片检测模型的安检训练图像归化为1080P分辨率，而将用于训练行李识别模型的待检测目标训练图片归一化为1000*600分辨率。另外，根据实际的需要为各训练完成后的模型设置对应的目标得分阈值，用于检测过程中判断出正样本。
本发明实施例通过基于VGG16卷积神经网络和Faster-RCNN算法构建所述拾取图片检测模型和行李识别模型，从而能够更加快速准确对待检测目标图片、第一人脸图像、行李图像、手臂图像进行检测。
图3为本发明实施例的客运站旅客与行李信息关联装置结构示意图，如图3所示，所述装置包括：图片获取模块10、图片识别模块11和数据匹配模块12，其中：
所述图片获取模块10用于在安检仪处采集旅客拾取行李时的待检测目标图片；所述图片识别模块11用于从所述待检测目标图片中识别出第一人脸图像和与所述第一人脸图像对应的行李信息；所述数据匹配模块12用于从预先获取的进站的人脸数据库中，找到与所述第一人脸图像相匹配的第二人脸图像，以确定与所述行李信息对应的旅客信息；其中，所述人脸数据库包括与各旅客信息一一对应的第二人脸图像。具体地：
通过图片获取模块10采集行李通过安检仪后各旅客在拾取行李时的图像，作为待检测目标图片。
进一步地，所述图片获取模块10具体用于：
将从所述安检仪处采集的安检图像输入到预设的拾取图片检测模型中，得到所述待检测目标图片；其中，所述待检测目标图片包含在所述安检图像中，所述拾取图片检测模型为，预先以对待检测目标图片经过标注的安检训练图像为样本进行训练得到的。
图片获取模块10通过预设的神经网络模型构建拾取图片检测模型，并采集大量安检训练图像作为样本进行训练，所述安检训练图像上标注出符合拾取行李动作的框图。所述拾取行李动作可定义为：旅客的手与行李直接接触，而与旅客的其他姿势和行李的位置无关。
通过图片获取模块10实时采集安检仪处的安检图像，并将所述安检图像逐一输入到经过预先训练的拾取图片检测模型中。由所述拾取图片检测模型从输入的安检图像中识别出是否存在检测目标得分高于预设目标得分阈值，的框图。若存在，则说明该框图为符合拾取行李动作的正样本，从而提取出该框图对应的图像作为输出，并存储为待检测目标图片；若不存在，则将所述安检图像丢弃。在实际的应用过程中，对于一个安检图像，可获取到多个待检测目标图片，分别保存并设置唯一对应人-物身份标识ID。
图片识别模块11对每个待检测目标图片继续进行识别，以获取所述待检测目标图片中的旅客的第一人脸图像，以及被该旅客拾取的行李的行李信息，从而将所述第一人脸图像与所述行李信息进行关联，并发关给数据匹配模块12。
在旅客进入客运站时，数据匹配模块12通过预先设置在入口处的图像采集设备和信息采集设备，获取每个旅客的第二人脸图像和旅客信息，进行关联后存入人脸数据库中。
当接收到从待检测目标图片中识别出第一人脸图像时，数据匹配模块12将所述第一人脸图像与人脸数据库中的各第二人脸图像进行人脸比对，例如，可采用1：N人脸比对算法，将比对得分高于预设得分阈值，的第二人脸图像，作为与第一人脸图像对应的第二人脸图像。根据人脸数据库中与第二人脸图像关联的旅客信息，以及从图片识别模块11获取到的第一人脸图像关联的行李信息，数据匹配模块12得到了各旅客信息关联的行李信息。
数据匹配模块12若得到多个相同的旅客信息与行李信息的配对信息，则删除重复的配对信息。
本发明实施例提供的装置用于执行上述方法，其功能具体参考上述方法实施例，其具体方法流程在此处不再赘述。
本发明实施例通过在安检处采集符合拾取行李动作的待检测目标图片，并从所述待检测目标图片中识别出第一人脸图像和对应的行李信息，再从人脸数据库中找到与第一人脸图像对应的第二人脸图像，从而能够简单快速得将与第二人脸图像对应的旅客信息与所述行李信息进行关联。
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)401、通信接口(Communications Interface)403、存储器(memory)402和通信总线404，其中，处理器401，通信接口403，存储器402通过通信总线404完成相互间的通信。处理器401可以调用存储器402中的逻辑指令，以执行上述方法。
进一步地，本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法。
进一步地，本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法。
本领域普通技术人员可以理解：此外，上述的存储器402中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种客运站旅客与行李信息关联方法，其特征在于，包括：
在安检仪处采集旅客拾取行李时的待检测目标图片；
从所述待检测目标图片中识别出第一人脸图像和与所述第一人脸图像对应的行李信息；
从预先获取的进站的人脸数据库中，找到与所述第一人脸图像相匹配的第二人脸图像，以确定与所述行李信息对应的旅客信息；其中，所述人脸数据库包括与各旅客信息一一对应的第二人脸图像。
2.根据权利要求1所述的客运站旅客与行李信息关联方法，其特征在于，所述在安检仪处获取旅客拾取行李时的待检测目标图片，具体包括：
将从所述安检仪处采集的安检图像输入到预设的拾取图片检测模型中，得到所述待检测目标图片；其中，所述待检测目标图片包含在所述安检图像中，所述拾取图片检测模型为，预先以对待检测目标图片经过标注的安检训练图像为样本进行训练得到的。
3.根据权利要求2所述的客运站旅客与行李信息关联方法，其特征在于，所述从所述待检测目标图片中识别出第一人脸图像和与所述第一人脸图像对应的行李信息，具体包括：
根据预设的人脸识别模型和行李识别模型分别从所述待检测目标图片中识别出第一人脸图像，以及至少一个手臂图像、至少一个行李图像和各行李图像对应的行李信息；
根据所述各行李图像和各手臂图像的重叠关系，将满足预设行李筛选条件的行李图像的行李信息作为与所述第一人脸图像对应的行李信息。
4.根据权利要求3所述的客运站旅客与行李信息关联方法，其特征在于，所述行李筛选条件具体为：所述行李图像与手臂图像的重叠度IOU超过预设重叠阈值。
5.根据权利要求3所述的客运站旅客与行李信息关联方法，其特征在于，所述客运站旅客与行李信息关联方法，还包括：
若根据所述人脸识别模型识别出的第一人脸图像的数量超过一个，或者根据所述行李识别模型识别出的手臂图像的数量超过两个，则将所述待检测目标图片丢弃。
6.根据权利要求3所述的客运站旅客与行李信息关联方法，其特征在于，所述根据预设的行李识别模型识别出各行李图像对应的行李信息，具体包括：
从预设的行李数据库中，根据预设的行李识别模型获取到各行李图像匹配的行李形状和行李颜色；并根据所述行李图像中行李所占居的像素面积获取行李尺寸。
7.根据权利要求6所述的客运站旅客与行李信息关联方法，其特征在于，所述拾取图片检测模型和行李识别模型为基于VGG16卷积神经网络和Faster-RCNN算法构建。
8.一种客运站旅客与行李信息关联装置，其特征在于，包括：
图片获取模块，用于在安检仪处采集旅客拾取行李时的待检测目标图片；
图片识别模块，用于从所述待检测目标图片中识别出第一人脸图像和与所述第一人脸图像对应的行李信息；
数据匹配模块，用于从预先获取的进站的人脸数据库中，找到与所述第一人脸图像相匹配的第二人脸图像，以确定与所述行李信息对应的旅客信息；其中，所述人脸数据库包括与各旅客信息一一对应的第二人脸图像。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的客运站旅客与行李信息关联方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述的客运站旅客与行李信息关联方法的步骤。
CN202010019502.4A 2020-01-08 2020-01-08 一种客运站旅客与行李信息关联方法及装置 Active CN111209868B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010019502.4A CN111209868B (zh) 2020-01-08 2020-01-08 一种客运站旅客与行李信息关联方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010019502.4A CN111209868B (zh) 2020-01-08 2020-01-08 一种客运站旅客与行李信息关联方法及装置

Publications (2)

Publication Number Publication Date
CN111209868A true CN111209868A (zh) 2020-05-29
CN111209868B CN111209868B (zh) 2023-05-09

Family

ID=70789613

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010019502.4A Active CN111209868B (zh) 2020-01-08 2020-01-08 一种客运站旅客与行李信息关联方法及装置

Country Status (1)

Country Link
CN (1) CN111209868B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111751387A (zh) * 2020-07-10 2020-10-09 安徽启新明智科技有限公司 一种违禁品智能扫描及存储方法
CN111813995A (zh) * 2020-07-01 2020-10-23 盛视科技股份有限公司 一种基于时空关系的行人提取物品行为检测方法及系统
CN113034763A (zh) * 2021-03-25 2021-06-25 南北联合信息科技有限公司 定向的信息采集方法、系统、计算机设备及存储介质
CN113077572A (zh) * 2021-03-25 2021-07-06 南北联合信息科技有限公司 一种基于运行大数据分析的智能运维监控系统
CN114019572A (zh) * 2021-10-11 2022-02-08 安徽太测临峰光电科技股份有限公司 一种基于多摄像机融合的x光安检方法及安检装置
CN114167508A (zh) * 2021-11-18 2022-03-11 中国铁道科学研究院集团有限公司电子计算技术研究所 一种安检装置及方法
CN114758485A (zh) * 2022-04-21 2022-07-15 成都商汤科技有限公司 一种告警信息处理方法、装置、计算机设备及存储介质
CN115424200A (zh) * 2022-08-18 2022-12-02 成都智元汇信息技术股份有限公司 一种基于动态更新的人包关联方法及装置
CN115457455A (zh) * 2022-08-18 2022-12-09 成都智元汇信息技术股份有限公司 一种基于判定更新的人包关联方法及装置
WO2023273531A1 (zh) * 2021-06-30 2023-01-05 中国民航信息网络股份有限公司 一种行李管理的方法、相关装置及存储介质
CN116150446A (zh) * 2023-04-14 2023-05-23 泉州装备制造研究所 一种旅客行李搜索方法及系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700058A (zh) * 2015-04-02 2015-06-10 中国民用航空局信息中心 用于旅客行李的检测方法和装置
CN104965235A (zh) * 2015-06-12 2015-10-07 同方威视技术股份有限公司 一种安检系统及方法
CN105931005A (zh) * 2016-06-22 2016-09-07 成都科曦科技有限公司 自动仓储系统
CN106845368A (zh) * 2016-12-30 2017-06-13 中国民航信息网络股份有限公司 基于人脸识别的机场登机安检再确认系统和方法
CN107403159A (zh) * 2017-07-28 2017-11-28 北京中航安通科技有限公司 一种目标物品关联、核验及票务核验方法及其装置
CN107945321A (zh) * 2017-11-08 2018-04-20 平安科技（深圳）有限公司 基于人脸识别的安检方法、应用服务器及计算机可读存储介质
CN107958435A (zh) * 2016-10-17 2018-04-24 同方威视技术股份有限公司 安检系统及配置安检设备的方法
CN108335390A (zh) * 2018-02-02 2018-07-27 百度在线网络技术（北京）有限公司 用于处理信息的方法和装置
CN108765762A (zh) * 2018-07-25 2018-11-06 智慧式控股有限公司 智慧式无人载客车辆、共享系统及商业模式
CN109131925A (zh) * 2018-07-25 2019-01-04 云南中商正晓农业科技有限公司 一种无人机场地勤行李运输车辆及商业模式
CN109254328A (zh) * 2018-02-24 2019-01-22 北京首都机场航空安保有限公司 一种行李安检系统
CN109299699A (zh) * 2018-10-10 2019-02-01 百度在线网络技术（北京）有限公司 行李自助托运、拿取的方法及装置

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700058A (zh) * 2015-04-02 2015-06-10 中国民用航空局信息中心 用于旅客行李的检测方法和装置
CN104965235A (zh) * 2015-06-12 2015-10-07 同方威视技术股份有限公司 一种安检系统及方法
CN105931005A (zh) * 2016-06-22 2016-09-07 成都科曦科技有限公司 自动仓储系统
CN107958435A (zh) * 2016-10-17 2018-04-24 同方威视技术股份有限公司 安检系统及配置安检设备的方法
CN106845368A (zh) * 2016-12-30 2017-06-13 中国民航信息网络股份有限公司 基于人脸识别的机场登机安检再确认系统和方法
CN107403159A (zh) * 2017-07-28 2017-11-28 北京中航安通科技有限公司 一种目标物品关联、核验及票务核验方法及其装置
CN107945321A (zh) * 2017-11-08 2018-04-20 平安科技（深圳）有限公司 基于人脸识别的安检方法、应用服务器及计算机可读存储介质
CN108335390A (zh) * 2018-02-02 2018-07-27 百度在线网络技术（北京）有限公司 用于处理信息的方法和装置
CN109254328A (zh) * 2018-02-24 2019-01-22 北京首都机场航空安保有限公司 一种行李安检系统
CN109446875A (zh) * 2018-02-24 2019-03-08 北京首都机场航空安保有限公司 一种智能旅客安检系统
CN109682845A (zh) * 2018-02-24 2019-04-26 北京首都机场航空安保有限公司 旅客安检信息系统及其处理方法
CN109725010A (zh) * 2018-02-24 2019-05-07 北京首都机场航空安保有限公司 行李安检装置
CN108765762A (zh) * 2018-07-25 2018-11-06 智慧式控股有限公司 智慧式无人载客车辆、共享系统及商业模式
CN109131925A (zh) * 2018-07-25 2019-01-04 云南中商正晓农业科技有限公司 一种无人机场地勤行李运输车辆及商业模式
CN109299699A (zh) * 2018-10-10 2019-02-01 百度在线网络技术（北京）有限公司 行李自助托运、拿取的方法及装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111813995A (zh) * 2020-07-01 2020-10-23 盛视科技股份有限公司 一种基于时空关系的行人提取物品行为检测方法及系统
CN111751387A (zh) * 2020-07-10 2020-10-09 安徽启新明智科技有限公司 一种违禁品智能扫描及存储方法
CN113034763A (zh) * 2021-03-25 2021-06-25 南北联合信息科技有限公司 定向的信息采集方法、系统、计算机设备及存储介质
CN113077572A (zh) * 2021-03-25 2021-07-06 南北联合信息科技有限公司 一种基于运行大数据分析的智能运维监控系统
WO2023273531A1 (zh) * 2021-06-30 2023-01-05 中国民航信息网络股份有限公司 一种行李管理的方法、相关装置及存储介质
CN114019572A (zh) * 2021-10-11 2022-02-08 安徽太测临峰光电科技股份有限公司 一种基于多摄像机融合的x光安检方法及安检装置
CN114167508A (zh) * 2021-11-18 2022-03-11 中国铁道科学研究院集团有限公司电子计算技术研究所 一种安检装置及方法
CN114758485A (zh) * 2022-04-21 2022-07-15 成都商汤科技有限公司 一种告警信息处理方法、装置、计算机设备及存储介质
CN115424200A (zh) * 2022-08-18 2022-12-02 成都智元汇信息技术股份有限公司 一种基于动态更新的人包关联方法及装置
CN115457455A (zh) * 2022-08-18 2022-12-09 成都智元汇信息技术股份有限公司 一种基于判定更新的人包关联方法及装置
CN116150446A (zh) * 2023-04-14 2023-05-23 泉州装备制造研究所 一种旅客行李搜索方法及系统

Also Published As

Publication number Publication date
CN111209868B (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
CN111209868A (zh) 一种客运站旅客与行李信息关联方法及装置
US11023715B2 (en) Method and apparatus for expression recognition
US9842266B2 (en) Method for detecting driver cell phone usage from side-view images
CN108520226B (zh) 一种基于躯体分解和显著性检测的行人重识别方法
US9721173B2 (en) Machine learning approach for detecting mobile phone usage by a driver
CN108629319B (zh) 图像检测方法及系统
CN107346409A (zh) 行人再识别方法和装置
CN106886774A (zh) 识别身份证信息的方法和装置
CN111666920B (zh) 目标物品佩戴检测方法、装置、存储介质及电子装置
CN110443137A (zh) 多维度身份信息识别方法、装置、计算机设备及存储介质
CN112633297A (zh) 目标对象的识别方法、装置、存储介质以及电子装置
CN103970771A (zh) 一种人体的检索方法和系统
CN115170792B (zh) 红外图像处理方法、装置及设备、存储介质
CN112977974A (zh) 烟包外观质量检测装置及其方法、烟包包装机
CN112434647A (zh) 一种人脸活体检测方法
CN114092877A (zh) 一种基于机器视觉的垃圾桶无人值守系统设计方法
CN114596618A (zh) 戴口罩的人脸识别训练方法、装置、电子设备及存储介质
CN107368847B (zh) 一种作物叶部病害识别方法及系统
CN115546845B (zh) 一种多视角牛脸识别方法、装置、计算机设备及存储介质
CN108256401B (zh) 一种获取目标属性特征语义的方法及装置
CN110781811A (zh) 异常工单识别方法、装置、可读存储介质和计算机设备
CN111079617B (zh) 家禽识别方法、装置、可读存储介质及电子设备
CN113780222A (zh) 一种人脸活体检测方法、装置、电子设备和可读存储介质
CN109410169B (zh) 一种图像背景干扰度的识别方法及装置
CN113255472B (zh) 一种基于随机嵌入稳定性的人脸质量评价方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant