CN112836634B - 一种多传感器信息融合的闸机防尾随方法、装置、设备和介质 - Google Patents

一种多传感器信息融合的闸机防尾随方法、装置、设备和介质 Download PDF

Info

Publication number
CN112836634B
CN112836634B CN202110141686.6A CN202110141686A CN112836634B CN 112836634 B CN112836634 B CN 112836634B CN 202110141686 A CN202110141686 A CN 202110141686A CN 112836634 B CN112836634 B CN 112836634B
Authority
CN
China
Prior art keywords
image
images
trailing
head
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110141686.6A
Other languages
English (en)
Other versions
CN112836634A (zh
Inventor
徐绍凯
王汉超
贾宝芝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Ruiwei Information Technology Co ltd
Original Assignee
Xiamen Ruiwei Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Ruiwei Information Technology Co ltd filed Critical Xiamen Ruiwei Information Technology Co ltd
Priority to CN202110141686.6A priority Critical patent/CN112836634B/zh
Publication of CN112836634A publication Critical patent/CN112836634A/zh
Application granted granted Critical
Publication of CN112836634B publication Critical patent/CN112836634B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种多传感器信息融合的闸机防尾随方法、装置、设备和介质，方法包括：至少采用两种传感器分别获取同一时刻的图像，将获取的图像分别进行校正和对齐；将处理后的图像进行图像归一化处理；将归一化的图像传入预训练的神经网络模型，得到图像中人头的位置坐标；若人头数量大于1，则判断为尾随；若人头数量等于1，则判断为非尾随；能够识别各种传统方式难以判断的复杂场景，有效防止误夹、误放的情况发生。

Description

一种多传感器信息融合的闸机防尾随方法、装置、设备和介质
技术领域
本发明涉及计算机视觉领域，特别涉及一种多传感器信息融合的闸机防尾随方法、装置、设备和介质。
背景技术
尾随过闸的行为是行人通过闸机通道的一项常见违规行为，会对园区安检、机场安检、铁路安检等造成较大的安全隐患。随着深度学习技术的高速发展，基于人脸识别的自助闸机在火车站、机场等安检领域迅速普及，而防尾随检测方式仍然为传统的红外检测方式。
传统的红外射线防尾随的方法对于尾随响应较慢，只能监控闸机门前的一小块区域，监测范围小，缺乏灵活性；
传统的防尾随方法策略单一，无法准确识别各种过闸情况，对于拖行李箱等情况不友好，容易造成误夹的情况，存在安全隐患；
传统的防尾随方法对于两人前后紧贴过闸无法很好的识别出尾随状态，很容易造成漏检，容易为尾随人员提供可乘之机。
发明内容
本发明要解决的技术问题，在于提供一种多传感器信息融合的闸机防尾随方法、装置、设备和介质，能够识别各种传统方式难以判断的复杂场景，有效的防止误夹、误放的情况发生。
第一方面，本发明提供了一种多传感器信息融合的闸机防尾随方法，包括：
步骤1、至少采用两种传感器分别获取同一时刻的图像，将获取的图像分别进行校正和对齐；
步骤2、将步骤1处理后的图像进行图像归一化处理；
步骤3、将归一化的图像传入预训练的神经网络模型，得到图像中人头的位置坐标；
步骤4、若人头数量大于1，则判断为尾随；若人头数量小于或等于1，则判断为非尾随。
进一步地，所述步骤3和步骤4之间还包括步骤a、根据图像中人头的位置坐标，使用多目标跟踪算法对当前图像人头进行跟踪，为每个人头分配id号；得到跟踪id号后，统计闸机通行区域内存在的人数。
进一步地，所述传感器包括深度传感器、热成像传感器以及RGB摄像头；采用其中两种或者三种进行图像采集。
若使用深度传感器，则获得检测范围内的深度图；所述深度传感器为结构光相机、双目相机或TOF相机；
若使用热成像传感器，则获得检测范围内的热成像数据，将其转换为单通道灰度图像；
若使用可见光摄像头，则获得三通道彩色图像。
进一步地，所述预训练的神经网络模型为：神经网络包括输入层、隐含层和输出层，其中，隐含层可以有n层，n为大于或等于1的正整数；隐含层中的某几层为特征提取子网络，可并列存在多个特征提取子网络，特征提取子网络之后的激活值为提取的特征；
首先将至少两张图像分别传入对应的特征提取子网络进行特征提取，得到至少两组特征，将所有的特征进行特征融合，将融合后的特征传入目标定位子网络，经隐含层和输出层处理后得到图像中人头的位置坐标和置信度；根据预设的阈值与置信度进行比较，判断位置坐标是否保留。
第二方面，本发明提供了一种多传感器信息融合的闸机防尾随装置，包括：
校正对齐单元，至少采用两种传感器分别获取同一时刻的图像，将获取的图像分别进行校正和对齐；
归一化处理单元，将校正对齐单元处理后的图像进行图像归一化处理；
坐标单元，将归一化的图像传入预训练的神经网络模型，得到图像中人头的位置坐标；
判断尾随单元，若人头数量大于1，则判断为尾随；若人头数量等于1，则判断为非尾随。
进一步地，所述坐标单元和判断尾随单元之间还包括id分配单元、根据图像中人头的位置坐标，使用多目标跟踪算法对当前图像人头进行跟踪，为每个人头分配id号；得到跟踪id号后，统计闸机通行区域内存在的人数，若人数大于1，则判定为尾随，若人数小于或等于1，则判定为非尾随。
进一步地，所述传感器包括深度传感器、热成像传感器以及RGB摄像头；采用其中两种或者三种进行图像采集。
若使用深度传感器，则获得检测范围内的深度图；所述深度传感器为结构光相机、双目相机或TOF相机；
若使用热成像传感器，则获得检测范围内的热成像数据，将其转换为单通道灰度图像；
若使用可见光摄像头，则获得三通道彩色图像。
进一步地，所述预训练的神经网络模型为：神经网络包括输入层、隐含层和输出层，其中，隐含层可以有n层，n为大于或等于1的正整数；隐含层中的某几层为特征提取子网络，可并列存在多个特征提取子网络，特征提取子网络之后的激活值为提取的特征；
首先将至少两张图像分别传入对应的特征提取子网络进行特征提取，得到至少两组特征，将所有的特征进行特征融合，将融合后的特征传入目标定位子网络，经隐含层和输出层处理后得到图像中人头的位置坐标和置信度；根据预设的阈值与置信度进行比较，判断位置坐标是否保留。
第三方面，本发明提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法。
第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的方法。
本发明实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
(1)技术手段的创新：本发明将多种传感器应用于闸机防尾随场景，不同于传统的红外射线方式，本发明可监控的防尾随区域范围更广且更加灵活，同时能够识别各种传统方式难以判断的复杂场景，有效的防止误夹、误放的情况发生。
(2)传感器信息融合方式的创新：本发明将三种传感器输出的图像经过特征提取后对不同传感器图像的特征进行信息融合，使用融合后的多传感器信息判断人头位置，能够使得检测出的人头位置更加准确，防止人头漏检、误检现象得发生，效果大大优于仅使用单一传感器信息进行人头检测的效果。
(3)本发明在特征融合与人头检测时使用深度学习技术，相较于传统的图像处理方法拥有更强的泛化能力和更精确的检测结果。
(4)本发明将多目标跟踪算法用于闸机的防尾随检测，对每个目标进行跟踪，赋予其id号，监测目标行动轨迹，根据连续多帧的检测结果综合得到当前帧中每个目标的id号，能够过滤掉短暂出现的误检，同时也能够为短暂出现的漏检预测一组预估的位置坐标，从而实现更加精准的闸机防尾随监测。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1本发明的流程图。
图2本发明的神经网络模型预测人头位置流程图。
图3本发明的一种可行的神经网络模型训练流程图。
图4本发明的多目标跟踪的流程图。
图5为本发明实施例一中方法中的流程图；
图6为本发明实施例二中装置的结构示意图。
具体实施方式
本申请实施例通过提供一种多传感器信息融合的闸机防尾随方法、装置、设备及介质，达到如下目的：
(1)将多种传感器应用于闸机防尾随场景中，实现比传统红外射线防尾随更精确的效果。
(2)将传感器数据转换为图像数据，经过特征提取后，融合不同的传感器图像特征，从而实现多种传感器信息的融合。
(3)在对传感器图像数据进行特征提取时，采用深度学习技术，提取更加稳定、鲁棒的图像特征。
(4)将多目标跟踪技术应用于闸机防尾随，为目标赋予精准id号，实现对目标的行动轨迹监测。
本申请实施例中的技术方案，总体思路如下：
如图1所示，包括下述步骤：
步骤1.使用深度传感器获得检测范围内的深度图；可用的深度传感器包括结构光相机、双目相机、TOF相机等可以得到测距范围内各点实际距离的测距设备，常用的深度传感器就是这三种，使用任意一种都可以；不做具体限定。
步骤2.使用热成像传感器获得检测范围内的热成像数据，将其转换为单通道灰度图像；
步骤3.使用可见光摄像头获得三通道彩色图像；
步骤4.将三种传感器获得的图像进行校正和对齐，并分别进行图像归一化，归一化公式见公式一。需要注意的是，上述三幅图像的获取时间差应尽可能的做到接近于0，以避免出现因没有帧同步而导致图像无法对齐的问题，从而引起误差。
其中，xi表示图像上某点处的像素值，min表示图像中最小的像素值，通常取0，max表示图像中最大的像素值，通常取255；
步骤5.将归一化后的三种传感器图像传入预训练的神经网络模型，经模型前向传播后得到图像中人头的位置坐标。
步骤6.使用多目标跟踪算法对当前帧人头进行跟踪，为每个人头分配id号；多目标跟踪算法是根据连续多帧的检测结果综合得到当前帧中目标的id号，能够过滤掉短暂出现的误检，同时也能够为短暂出现的漏检预测一组预估的位置坐标。所以加入跟踪算法能使人头的检测结果更优；
步骤7.得到跟踪id号后，统计闸机通行区域内存在的人数，若人数大于1，则判定为尾随，若人数小于或等于1，则判定为非尾随。
其中，步骤4的三种传感器图像校正和对齐依赖于预先对传感器进行标定的结果。对于深度传感器，结构光相机的标定方法可以是光平面标定法等成熟的标定方法；双目相机可以是主动视觉相机标定法、棋盘格标定法、相机自标定法等成熟的标定方法；TOF相机一般需要进行镜头校准、温度校准、非线性校准、共偏校准和逐像素校准，校准方法较为成熟，不做具体限定。热成像传感器的标定通常在传感器出厂时已经由厂家进行标定。可见光摄像头可使用棋盘格标定法对相机内参进行标定。
在分别标定完每种传感器后，即可采集到每种传感器的标准成像，此时，还需要对多传感器进行对齐标定。首先使用特定的标定靶在三种传感器成像范围内不同位置进行多组成像，标定靶自身需有区别于周围环境的一定高度和温度，所述标定靶就是一个特定的标志物，可以在三种传感器成像中被明显标记出来，每组成像包含来自不同传感器的同一时刻图像各一张，将采集的图像作为标定图像；在标定图像上对标定靶的位置进行标注；对每组标定图像中的任意两张图中标定靶的位置可建立位置映射方程，对所有通过标定靶位置建立的映射方程可采用最小二乘法求解，可得到三种传感器之间的两两映射矩阵，映射矩阵本质为两个传感器图像对齐的旋转、平移、缩放系数。
标定完毕后，通过映射矩阵可将深度传感器图像、热成像图像、可见光图像对齐到同一坐标系中。
其中，步骤5中预训练的神经网络模型；神经网络可以有各种不同的结构，本发明也可以使用各种不同的神经网络结构，这里只具体列举一种比较典型的，如图2所示，其实现方式为：神经网络包括输入层、隐含层和输出层，其中，隐含层可以有n层，n为大于或等于1的正整数，隐含层中的某几层为特征提取子网络，可并列存在多个特征提取子网络，特征提取子网络之后的激活值为提取的特征。首先将三幅图像分别传入三个特征提取子网络进行特征提取，得到第一特征、第二特征和第三特征，将第一、第二、第三特征进行特征融合，特征融合方法包括但不限于对应位置相加、特征维度连接等方法。将融合后的特征传入目标定位子网络，经隐含层和输出层处理后得到图像中人头的位置坐标和置信度。
其中，用来预测人头位置的神经网络模型需要为预训练好的神经网络模型，如图3所示，一种可行的模型训练步骤为：
1.数据采集。按照实际场景搭建数据采集环境，模拟各种行人场景，并收集三种传感器图像，在保存图像时，需要注意将同一帧的三种传感器图样进行关联，作为一个训练样本。需采集大量数据。
2.数据预处理。将每个训练样本的三幅图像进行校正和对齐，三种传感器图像校正和对齐依赖于预先对传感器进行标定的结果。
3.数据标注。由数据标注人员对预处理后的图片进行标注，标注信息包括图中所有人的人头位置坐标。
4.数据增强。数据增强方式包括但不限于：随机裁剪、随机调节图像亮度、饱和度、对比度等操作。需要注意的是在进行随机裁剪时，需要保证同一样本的三幅图像采用相同的裁剪参数，以保证图像的对齐。
5.模型前向传播并计算损失。将训练图像传入随机初始化参数的神经网络模型，经模型特征提取子网络和目标定位子网络前向传播后，得到预测结果，根据预测结果和标注结果计算模型预测损失。
6.若模型预测损失满足停止条件，则停止训练；否则，反向传播，根据模型预测损失计算每层参数的梯度，并更新模型参数。
7.返回5。
其中，步骤6中的多目标跟踪算法可以是开源的方法，一种可行的多目标跟踪框架是SORT，其包含两个核心算法：卡尔曼滤波和匈牙利匹配；此外，多目标跟踪算法还可以是效果更好的基于深度学习的Re-ID网络提取外观特征的deepSORT多目标跟踪方法，其效果比传统的SORT方法更好，此处不做特定限制。如图4所示，多目标跟踪的一种典型步骤为：1.检测目标，2.特征提取和运动预测，3.相似度计算，4.数据关联。
实施例一
如图2所示，本实施例提供一种多传感器信息融合的闸机防尾随方法，包括：
步骤1、至少采用两种传感器分别获取同一时刻的图像，将获取的图像分别进行校正和对齐；
步骤2、将步骤1处理后的图像进行图像归一化处理；
步骤3、将归一化的图像传入预训练的神经网络模型，得到图像中人头的位置坐标；
步骤a、根据图像中人头的位置坐标，使用多目标跟踪算法对当前图像人头进行跟踪，为每个人头分配id号；得到跟踪id号后，统计闸机通行区域内存在的人数；
步骤4、若人头数量大于1，则判断为尾随；若人头数量小于或等于1，则判断为非尾随。
所述传感器包括深度传感器、热成像传感器以及RGB摄像头；采用其中两种或者三种进行图像采集。
若使用深度传感器，则获得检测范围内的深度图；所述深度传感器为结构光相机、双目相机或TOF相机；
若使用热成像传感器，则获得检测范围内的热成像数据，将其转换为单通道灰度图像；
若使用可见光摄像头，则获得三通道彩色图像。
所述预训练的神经网络模型为：神经网络包括输入层、隐含层和输出层，其中，隐含层可以有n层，n为大于或等于1的正整数；隐含层中的某几层为特征提取子网络，可并列存在多个特征提取子网络，特征提取子网络之后的激活值为提取的特征；
首先将至少两张图像分别传入对应的特征提取子网络进行特征提取，得到至少两组特征，将所有的特征进行特征融合，将融合后的特征传入目标定位子网络，经隐含层和输出层处理后得到图像中人头的位置坐标和置信度；根据预设的阈值与置信度进行比较，判断位置坐标是否保留。
基于同一发明构思，本申请还提供了与实施例一中的方法对应的装置，详见实施例二。
实施例二
如图3所示，在本实施例中提供了第二方面，本发明提供了一种多传感器信息融合的闸机防尾随装置，包括：
校正对齐单元，至少采用两种传感器分别获取同一时刻的图像，将获取的图像分别进行校正和对齐；
归一化处理单元，将校正对齐单元处理后的图像进行图像归一化处理；
坐标单元，将归一化的图像传入预训练的神经网络模型，得到图像中人头的位置坐标；
id分配单元、根据图像中人头的位置坐标，使用多目标跟踪算法对当前图像人头进行跟踪，为每个人头分配id号；得到跟踪id号后，统计闸机通行区域内存在的人数，若人数大于1，则判定为尾随，若人数小于或等于1，则判定为非尾随；
判断尾随单元，若人头数量大于1，则判断为尾随；若人头数量等于1，则判断为非尾随。
所述传感器包括深度传感器、热成像传感器以及RGB摄像头；采用其中两种或者三种进行图像采集。
若使用深度传感器，则获得检测范围内的深度图；所述深度传感器为结构光相机、双目相机或TOF相机；
若使用热成像传感器，则获得检测范围内的热成像数据，将其转换为单通道灰度图像；
若使用可见光摄像头，则获得三通道彩色图像。
所述预训练的神经网络模型为：神经网络包括输入层、隐含层和输出层，其中，隐含层可以有n层，n为大于或等于1的正整数；隐含层中的某几层为特征提取子网络，可并列存在多个特征提取子网络，特征提取子网络之后的激活值为提取的特征；
首先将至少两张图像分别传入对应的特征提取子网络进行特征提取，得到至少两组特征，将所有的特征进行特征融合，将融合后的特征传入目标定位子网络，经隐含层和输出层处理后得到图像中人头的位置坐标和置信度；根据预设的阈值与置信度进行比较，判断位置坐标是否保留。
由于本发明实施例二所介绍的装置，为实施本发明实施例一的方法所采用的装置，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该装置的具体结构及变形，故而在此不再赘述。凡是本发明实施例一的方法所采用的装置都属于本发明所欲保护的范围。
基于同一发明构思，本申请提供了实施例一对应的电子设备实施例，详见实施例三。
实施例三
本实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，可以实现实施例一中任一实施方式。
由于本实施例所介绍的电子设备为实施本申请实施例一中方法所采用的设备，故而基于本申请实施例一中所介绍的方法，本领域所属技术人员能够了解本实施例的电子设备的具体实施方式以及其各种变化形式，所以在此对于该电子设备如何实现本申请实施例中的方法不再详细介绍。只要本领域所属技术人员实施本申请实施例中的方法所采用的设备，都属于本申请所欲保护的范围。
基于同一发明构思，本申请提供了实施例一对应的存储介质，详见实施例四。
实施例四
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，可以实现实施例一中任一实施方式。
本申请实施例中提供的技术方案，至少具有如下技术效果或优点：本申请实施例提供的方法、装置、设备及介质，
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (6)

1.一种多传感器信息融合的闸机防尾随方法，其特征在于：包括：
步骤1、至少采用两种传感器分别获取同一时刻的图像，将获取的图像分别进行校正和对齐；
步骤2、将步骤1处理后的图像进行图像归一化处理；
步骤3、将归一化的图像传入预训练的神经网络模型，得到图像中人头的位置坐标；
步骤4、若人头数量大于1，则判断为尾随；若人头数量小于或等于1，则判断为非尾随；
其中，所述预训练的神经网络模型为：神经网络包括输入层、隐含层和输出层，其中，隐含层有n层，n为大于或等于1的正整数；隐含层中的某几层为特征提取子网络，并列存在多个特征提取子网络，特征提取子网络之后的激活值为提取的特征；
首先将至少两张图像分别传入对应的特征提取子网络进行特征提取，得到至少两组特征，将所有的特征进行特征融合，将融合后的特征传入目标定位子网络，经隐含层和输出层处理后得到图像中人头的位置坐标和置信度；根据预设的阈值与置信度进行比较，判断位置坐标是否保留；
其中，将获取的图像分别进行校正和对齐，包括：使用特定的标定靶在每种传感器成像范围内不同位置进行多组成像，每组成像包括不同传感器的同一时刻图像各一张，将采集的图像作为标定图像；在标定图像上对标定靶的位置进行标注；对每组标定图像中的任意两张图中标定靶的位置建立位置映射方程，对所有通过标定靶位置建立的映射方程采用最小二乘法求解，得到所有传感器之间的两两映射矩阵，映射矩阵本质为两个传感器图像对齐的旋转、平移、缩放系数；标定完毕后，通过映射矩阵将获取的图像对齐到同一坐标系中；
其中，所述步骤3和步骤4之间还包括步骤a、根据图像中人头的位置坐标，使用多目标跟踪算法对当前图像人头进行跟踪，为每个人头分配id号；得到跟踪id号后，统计闸机通行区域内存在的人数，若人数大于1，则判定为尾随，若人数小于或等于1，则判定为非尾随；
其中，根据以下公式进行图像归一化处理：
其中，xi表示图像上某点处的像素值，min表示图像中最小的像素值，max表示图像中最大的像素值。
2.根据权利要求1所述的一种多传感器信息融合的闸机防尾随方法，其特征在于：所述传感器包括深度传感器、热成像传感器以及RGB摄像头；采用其中两种或者三种进行图像采集；
若使用深度传感器，则获得检测范围内的深度图；所述深度传感器为结构光相机、双目相机或TOF相机；
若使用热成像传感器，则获得检测范围内的热成像数据，将其转换为单通道灰度图像；
若使用可见光摄像头，则获得三通道彩色图像。
3.一种多传感器信息融合的闸机防尾随装置，其特征在于：包括：
校正对齐单元，至少采用两种传感器分别获取同一时刻的图像，将获取的图像分别进行校正和对齐；
归一化处理单元，将校正对齐单元处理后的图像进行图像归一化处理；
坐标单元，将归一化的图像传入预训练的神经网络模型，得到图像中人头的位置坐标；
判断尾随单元，若人头数量大于1，则判断为尾随；若人头数量等于1，则判断为非尾随；
其中，所述预训练的神经网络模型为：神经网络包括输入层、隐含层和输出层，其中，隐含层有n层，n为大于或等于1的正整数；隐含层中的某几层为特征提取子网络，并列存在多个特征提取子网络，特征提取子网络之后的激活值为提取的特征；
首先将至少两张图像分别传入对应的特征提取子网络进行特征提取，得到至少两组特征，将所有的特征进行特征融合，将融合后的特征传入目标定位子网络，经隐含层和输出层处理后得到图像中人头的位置坐标和置信度；根据预设的阈值与置信度进行比较，判断位置坐标是否保留；
其中，将获取的图像分别进行校正和对齐，包括：使用特定的标定靶在每种传感器成像范围内不同位置进行多组成像，每组成像包括不同传感器的同一时刻图像各一张，将采集的图像作为标定图像；在标定图像上对标定靶的位置进行标注；对每组标定图像中的任意两张图中标定靶的位置建立位置映射方程，对所有通过标定靶位置建立的映射方程采用最小二乘法求解，得到所有传感器之间的两两映射矩阵，映射矩阵本质为两个传感器图像对齐的旋转、平移、缩放系数；标定完毕后，通过映射矩阵将获取的图像对齐到同一坐标系中；
其中，所述坐标单元和判断尾随单元之间还包括id分配单元，根据图像中人头的位置坐标，使用多目标跟踪算法对当前图像人头进行跟踪，为每个人头分配id号；得到跟踪id号后，统计闸机通行区域内存在的人数，若人数大于1，则判定为尾随，若人数小于或等于1，则判定为非尾随；
其中，根据以下公式进行图像归一化处理：
其中，xi表示图像上某点处的像素值，min表示图像中最小的像素值，max表示图像中最大的像素值。
4.根据权利要求3所述的一种多传感器信息融合的闸机防尾随装置，其特征在于：所述传感器包括深度传感器、热成像传感器以及RGB摄像头；采用其中两种或者三种进行图像采集；
若使用深度传感器，则获得检测范围内的深度图；所述深度传感器为结构光相机、双目相机或TOF相机；
若使用热成像传感器，则获得检测范围内的热成像数据，将其转换为单通道灰度图像；
若使用可见光摄像头，则获得三通道彩色图像。
5.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至2任一项所述的方法。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至2任一项所述的方法。
CN202110141686.6A 2021-02-02 2021-02-02 一种多传感器信息融合的闸机防尾随方法、装置、设备和介质 Active CN112836634B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110141686.6A CN112836634B (zh) 2021-02-02 2021-02-02 一种多传感器信息融合的闸机防尾随方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110141686.6A CN112836634B (zh) 2021-02-02 2021-02-02 一种多传感器信息融合的闸机防尾随方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN112836634A CN112836634A (zh) 2021-05-25
CN112836634B true CN112836634B (zh) 2024-03-08

Family

ID=75931559

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110141686.6A Active CN112836634B (zh) 2021-02-02 2021-02-02 一种多传感器信息融合的闸机防尾随方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN112836634B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113627345A (zh) * 2021-08-11 2021-11-09 深圳市捷顺科技实业股份有限公司 一种通道闸行人检测方法、装置、设备及可读存储介质
CN114333123B (zh) * 2021-12-13 2024-08-16 南京熊猫电子股份有限公司 基于激光测距元件组的闸机通行检测方法、设备和介质
CN117392585B (zh) * 2023-10-24 2024-06-18 广州广电运通智能科技有限公司 闸机通行检测方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190104929A (ko) * 2019-08-22 2019-09-11 엘지전자 주식회사 사용자 인증과 기능 실행을 동시에 수행하는 방법 및 이를 위한 전자 디바이스
CN111144231A (zh) * 2019-12-09 2020-05-12 深圳市鸿逸达科技有限公司 一种基于深度图像的自助通道防尾随检测方法和系统
CN112001298A (zh) * 2020-08-20 2020-11-27 佳都新太科技股份有限公司 行人检测方法、装置、电子设备和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190104929A (ko) * 2019-08-22 2019-09-11 엘지전자 주식회사 사용자 인증과 기능 실행을 동시에 수행하는 방법 및 이를 위한 전자 디바이스
CN111144231A (zh) * 2019-12-09 2020-05-12 深圳市鸿逸达科技有限公司 一种基于深度图像的自助通道防尾随检测方法和系统
CN112001298A (zh) * 2020-08-20 2020-11-27 佳都新太科技股份有限公司 行人检测方法、装置、电子设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李建省.地铁闸机控制系统中人体识别技术的研究与应用.2008,第30卷(第1期),第2页. *

Also Published As

Publication number Publication date
CN112836634A (zh) 2021-05-25

Similar Documents

Publication Publication Date Title
CN112836634B (zh) 一种多传感器信息融合的闸机防尾随方法、装置、设备和介质
Zaarane et al. Distance measurement system for autonomous vehicles using stereo camera
CN101527046B (zh) 一种运动检测方法、装置和系统
KR101758058B1 (ko) 깊이 정보를 이용한 카메라 모션 추정 방법 및 장치, 증강 현실 시스템
CN102313536B (zh) 基于机载双目视觉的障碍物感知方法
CN103077521B (zh) 一种用于视频监控的感兴趣区域提取方法
CN108731587A (zh) 一种基于视觉的无人机动态目标跟踪与定位方法
CN111160220B (zh) 一种基于深度学习的包裹检测方法、装置、存储介质
CN107560592B (zh) 一种用于光电跟踪仪联动目标的精确测距方法
EP2858037B1 (en) Moving object detector
CN101819024B (zh) 一种基于机器视觉的二维位移检测方法
CN106908064B (zh) 一种基于Kinect2传感器的室内夜间视觉导航方法
WO2023155483A1 (zh) 一种车型识别方法、装置和系统
CN107609483A (zh) 面向驾驶辅助系统的危险目标检测方法、装置
CN107016348A (zh) 结合深度信息的人脸检测方法、检测装置和电子装置
CN106887002B (zh) 一种红外图像序列显著性检测方法
CN103281513B (zh) 一种无重叠域监控系统中行人识别方法
CN111856445B (zh) 一种目标检测方法、装置、设备及系统
CN111260715A (zh) 深度图的处理方法、小障碍物检测方法及系统
CN103870847B (zh) 一种低照度环境下对地监控的运动目标检测方法
Ke et al. Roadway surveillance video camera calibration using standard shipping container
CN112016558B (zh) 一种基于图像质量的介质能见度识别方法
CN116152855A (zh) 基于多模态镜头的牵小孩过闸识别方法、系统
CN113706599B (zh) 一种基于伪标签融合的双目深度估计方法
CN112767452B (zh) 摄像机主动感知方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant