CN114067384A - 高速公路疫情防控人员发热检测及车辆轨迹追踪路侧设备 - Google Patents
高速公路疫情防控人员发热检测及车辆轨迹追踪路侧设备 Download PDFInfo
- Publication number
- CN114067384A CN114067384A CN202111163518.3A CN202111163518A CN114067384A CN 114067384 A CN114067384 A CN 114067384A CN 202111163518 A CN202111163518 A CN 202111163518A CN 114067384 A CN114067384 A CN 114067384A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- roadside
- camera
- recognition
- mask
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002265 prevention Effects 0.000 title claims abstract description 24
- 238000001514 detection method Methods 0.000 claims abstract description 37
- 238000009529 body temperature measurement Methods 0.000 claims abstract description 30
- 230000004927 fusion Effects 0.000 claims abstract description 29
- 238000001931 thermography Methods 0.000 claims abstract description 23
- 230000036760 body temperature Effects 0.000 claims abstract description 21
- 239000011159 matrix material Substances 0.000 claims description 14
- 230000009466 transformation Effects 0.000 claims description 12
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000013459 approach Methods 0.000 claims description 3
- 230000009977 dual effect Effects 0.000 claims 5
- 238000004861 thermometry Methods 0.000 claims 5
- 230000000737 periodic effect Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 9
- 230000000694 effects Effects 0.000 abstract description 7
- 230000002159 abnormal effect Effects 0.000 abstract description 5
- 230000020169 heat generation Effects 0.000 abstract description 3
- 238000000034 method Methods 0.000 description 25
- 230000006870 function Effects 0.000 description 13
- 230000008569 process Effects 0.000 description 13
- 238000010438 heat treatment Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 210000000887 face Anatomy 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000011217 control strategy Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 206010037660 Pyrexia Diseases 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000003616 anti-epidemic effect Effects 0.000 description 1
- 210000000709 aorta Anatomy 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000005180 public health Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
- G01J5/0025—Living bodies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07B—TICKET-ISSUING APPARATUS; FARE-REGISTERING APPARATUS; FRANKING APPARATUS
- G07B15/00—Arrangements or apparatus for collecting fares, tolls or entrance fees at one or more control points
- G07B15/06—Arrangements for road pricing or congestion charging of vehicles or vehicle users, e.g. automatic toll systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Finance (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供了一种高速公路疫情防控人员发热检测及车辆轨迹追踪路侧设备，包括：双光融合人体测温及口罩识别路侧设备、车辆轨迹追踪路侧设备；双光融合人体测温及口罩识别路侧设备包括红外热成像摄像机及可见光人脸识别摄像机；车辆轨迹追踪路侧设备包括ETC设备及路侧摄像机。本发明采用非接触式红外温度检测技术及人脸识别技术，可以实现对体温异常和无佩戴口罩特殊人群的快速、高效及无接触地识别；运用现有ETC系统进行大规模车辆轨迹追踪，则可以在全国范围内对车辆进行轨迹识别与追踪，为快速判断车辆是否为疫区车辆提供技术保证；提高了疫情预警及防控效果以及有效减少工作人员的工作量，减少人力及财力投入成本。
Description
技术领域
本发明涉及智能交通、车路协同技术领域，具体而言，涉及一种高速公路疫情防控人员发热检测及车辆轨迹追踪路侧设备。
背景技术
高速公路是公路交通系统的“大动脉”，是综合交通运输系统的重要组成部分，是国计民生的重要保障。随着高速公路服务质量的提升，高速公路服务区正在从为出行者提供简单停车、休息、加油等服务场所，向集餐饮、购物、休闲、娱乐于一体的小型商业综合体转变。高速公路交通流量大、服务区人流密集的特点，导致突发公共卫生事件的防治形势更加复杂。
为避免疫情由高速公路扩散，需要对车辆和人员进行有效追踪及检测。现有车辆轨迹提取方案多采用基于视频的车辆检测方法，其多是以城市范围进行数据互通，无法做到全国联网，车辆在跨城市行驶过程中无法有效追踪；由于发热是常见的典型症状，现有人员发热检测方式多采用在高速公路服务区、检查站等区域应安放体温检测设备，同时采用人工监督为主的方式进行体温检测，不仅效率低下，且会降低公共场所通行效率。
因此，现有针对高速公路的车辆轨迹追踪以及人员发热检测方案的疫情预警及防控效果不佳。
发明内容
本发明解决的问题是现有针对高速公路的车辆轨迹追踪以及人员发热检测方案的疫情预警及防控效果不佳的问题。
为解决上述问题，本发明提供一种高速公路疫情防控人员发热检测及车辆轨迹追踪路侧设备，包括：双光融合人体测温及口罩识别路侧设备、车辆轨迹追踪路侧设备；所述双光融合人体测温及口罩识别路侧设备包括红外热成像摄像机及可见光人脸识别摄像机；所述车辆轨迹追踪路侧设备包括ETC设备及路侧摄像机；所述可见光人脸识别摄像机用于对获取的可见光视频识别行人的脸部区域及识别在所述脸部区域是否佩戴口罩，所述红外热成像摄像机用于提取所述脸部区域中预设区域的体温；所述双光融合人体测温及口罩识别路侧设备用于在识别行人未佩戴口罩和/或体温超过预设温度阈值的情况下，保存图像以及发出告警信息；所述ETC设备用于获取车辆驶入高速路口以及途径门架信息，所述路侧摄像机用于获取车辆视频；所述车辆轨迹追踪路侧设备用于根据所述车辆驶入高速路口以及途径门架信息生成车辆行驶轨迹、根据所述车辆视频获取车辆信息，在车辆来自疫区的情况下发出告警信息。
可选地，所述双光融合人体测温及口罩识别路侧设备用于将所述可见光人脸识别摄像机采集的可见光图像与所述红外热成像摄像机采集的红外图像的分辨率统一，利用图像配准确定所述热红外图像中的脸部区域，以及提取所述脸部区域的温度并校准后得到行人体温。
可选地，所述双光融合人体测温及口罩识别路侧设备存储有预先训练完成的人脸检测模型；所述人脸检测模型的级联结构包括依次连接的局部采样器、多个LAB级联分类器、多层感知机级联结构以及统一特征感知器。
可选地，所述双光融合人体测温及口罩识别路侧设备用于在识别前对所述红外热成像摄像机与所述可见光人脸识别摄像机进行坐标系统标定；标定内容包括以下至少一项：相机矩阵、畸变系数、相机内参、相机外参。
可选地，所述双光融合人体测温及口罩识别路侧设备用于对所述红外热成像摄像机进行定期温度校正。
可选地，所述双光融合人体测温及口罩识别路侧设备基于仿射变换关系执行所述可见光图像与所述红外图像的图像配准。
可选地，所述红外热成像摄像机用于计算所述预设区域内所有像素点的平均温度，在剔除温度低于所述平均温度的像素点后确定所述预设区域内剩余像素点的温度的众数，将所述众数确定为所述行人的体温。
可选地，所述车辆轨迹追踪路侧设备设置于路侧、服务区停车场及服务区出入口；所述ETC设备用于读取车辆的车载单元行驶轨迹。
可选地，所述车辆轨迹追踪路侧设备还包括可见光人脸识别摄像机；所述车辆轨迹追踪路侧设备还用于将所述车辆信息与所述车辆对应乘客的身份信息绑定。
可选地，所述ETC设备还用于读取车辆的车辆信息；所述车辆轨迹追踪路侧设备还用于将所述ETC设备读取的车辆信息与根据所述车辆视频获取车辆信息绑定。
本发明实施例采用非接触式红外温度检测技术及人脸识别技术，可以实现对体温异常和无佩戴口罩特殊人群的快速、高效及无接触地识别；运用现有ETC系统进行大规模车辆轨迹追踪，则可以在全国范围内对车辆进行轨迹识别与追踪，为快速判断车辆是否为疫区车辆提供技术保证；提高了疫情预警及防控效果以及有效减少工作人员的工作量，减少人力及财力投入成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明的一个实施例中高速公路疫情防控人员发热检测及车辆轨迹追踪路侧设备的整体架构示意图；
图2为本发明的一个实施例中无感式人员检测功能的逻辑示意图；
图3为本发明的一个实施例中人脸检测模型的级联结构示意图；
图4为本发明的一个实施例中高速公路疫情防控人员发热检测及车辆轨迹追踪路侧设备的整体功能流程示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
随着车主对ETC(Electronic Toll Collection，电子不停车收费)接受程度提高，以及新申请产品准入的车型应在选装配置中增加ETC车载装置的要求，ETC车载终端的保有量将持续提升。本发明实施例针对高速公路路段、服务区等典型场景，分析当前形势下疫情传播风险隐患，研究提出高速公路科技抗疫应用需求，建立应用场景。
场景一：高速公路路段应用场景。
充分发掘ETC系统在抗击疫情方面的应用潜力，本发明通过部署于主线路侧、服务区的智能路侧设备获取车辆唯一标识信息，精确提取车辆行驶轨迹，从而实现了ETC车辆的轨迹追踪及车辆来源地区识别。同时，通过高速公路疫情防控平台，对接国家疫情实时发布系统，将疫情实时数据与车辆轨迹数据进行实施融合匹配，发现疫区来源车辆，并向疫情防控部门与高速公路管理部门发出告警，服务抗击疫情工作。
场景二：高速公路服务区应用场景。
同时，高速公路服务区由于人员密度大，流动范围广，高速公路服务区也成为了疫情爆发和扩散的重要隐患，应重点予以监控防范。本发明可以实时对通过人员进行实时测温和识别：1)对经过人员进行体温检测，当人体温度超过37.3℃时，即出现疑似发热人员，系统将锁定温度异常人员，抓取面部图像并保存。2)通过人脸识别功能检测目标是否佩戴口罩，当检测人员未佩戴口罩时，抓取图片并向系统发出预警。同时，系统将自动评定服务区疫情防控风险等级，并根据当前评定结果发布管控策略。
设备硬件选型可以采用X86架构或ARM架构的高性能计算模组作为主控制器，融合红外热成像仪和可见光摄像机、ETC天线等。系统整体搭建包括多路网络摄像头，通过网络实时传输到后台服务器上，通过一系列的图像处理过程快速提取人体温度以及人员口罩佩戴情况。通过摄像机获取车辆车牌、车型、颜色数据，通过ETC获取车辆驶入高速路口以及途径门架信息，从而生成车辆高速公路行驶轨迹信息。
本发明实施例提供了一种高速公路疫情防控人员发热检测及车辆轨迹追踪路侧设备，包括：双光融合人体测温及口罩识别路侧设备、车辆轨迹追踪路侧设备。
其中，双光融合人体测温及口罩识别路侧设备包括红外热成像摄像机及可见光人脸识别摄像机；车辆轨迹追踪路侧设备包括ETC设备及路侧摄像机。
具体地，可见光人脸识别摄像机用于对获取的可见光视频识别行人的脸部区域及识别在脸部区域是否佩戴口罩，红外热成像摄像机用于提取该脸部区域中预设区域的体温。双光融合人体测温及口罩识别路侧设备可以在识别行人未佩戴口罩和/或体温超过预设温度阈值的情况下，保存图像以及发出告警信息。
具体地，ETC设备用于获取车辆驶入高速路口以及途径门架信息，路侧摄像机用于获取车辆视频。车辆轨迹追踪路侧设备可以根据车辆驶入高速路口以及途径门架信息生成车辆行驶轨迹、根据车辆视频获取车辆信息，在车辆来自疫区的情况下发出告警信息。
本实施例提供的高速公路疫情防控人员发热检测及车辆轨迹追踪路侧设备，融合红外热成像仪和可见光摄像机，实现人脸识别、人脸佩戴口罩识别、人体额温检测以及高温报警功能。
红外热成像仪对迎面过卡口人流的面部、额头等身体外露部分进行在线实时测温。当检测到的温度大于设定温度时(如37.3℃)，即出现疑似发热人员，系统将马上锁定最高温的人员并报警提醒值守人员，按预案进行处置。可见光摄像机可实现人脸识别及人脸佩戴口罩识别，若发现未佩戴口罩人员，可以自动识别、抓拍并发出告警信息。进一步，基于人脸识别结果，还可以自动计算经过的人数，可以在出入口均设置双光融合人体测温及口罩识别路侧设备，从而计算房间内目前人数。通过数据库存储人脸识别结果(所有识别到的人脸都要记录)、未佩戴口罩截图(例如未佩戴口罩要标注识别的机位、报警时间)、疑似发热人员信息、实时统计区域人员数量并发出预警。
本实施例提供的高速公路疫情防控人员发热检测及车辆轨迹追踪路侧设备，利用现有ETC系统进行大规模车辆轨迹追踪，则可以在全国范围内对车辆进行轨迹识别与追踪，从而为快速判断车辆是否为疫区车辆提供技术保证。同时，当服务区出现疑似发热病例时，可通过平台向智能路侧设备发送服务区关闭指令，智能路侧设备将服务区关闭指令发送至车载终端。
本发明实施例采用非接触式红外温度检测技术及人脸识别技术，可以实现对体温异常和无佩戴口罩特殊人群的快速、高效及无接触地识别；运用现有ETC系统进行大规模车辆轨迹追踪，则可以在全国范围内对车辆进行轨迹识别与追踪，为快速判断车辆是否为疫区车辆提供技术保证；提高了疫情预警及防控效果以及有效减少工作人员的工作量，减少人力及财力投入成本。
参见图1所示的高速公路疫情防控人员发热检测及车辆轨迹追踪路侧设备的整体架构示意图，示出了双光融合人体测温及口罩识别路侧设备、车辆轨迹追踪路侧设备。该双光融合人体测温及口罩识别路侧设备包括红外热成像摄像机及可见光人脸识别摄像机；车辆轨迹追踪路侧设备包括 ETC设备及路侧摄像机。可选地，车辆轨迹追踪路侧设备也可以包括可见光人脸识别摄像机以及红外热成像摄像机，从而实现人体测温及口罩识别功能。
如图1所示，双光融合人体测温及口罩识别路侧设备、车辆轨迹追踪路侧设备均与高速公路疫情防控平台连接，可以上传识别结果、行驶轨迹信息、告警信息以及获取疫情数据等。
参见图2所示的无感式人员检测功能的逻辑示意图，示出了双光融合人体测温及口罩识别路侧设备的功能流程。其中，可以将可见光人脸识别摄像机采集的可见光图像与红外热成像摄像机采集的红外图像的分辨率统一，利用图像配准确定热红外图像中的脸部区域，以及提取脸部区域的温度并校准后得到行人体温。
如图2所示，获取可见光视频帧及红外光视频帧后，对可见光视频帧进行图像预处理，通过特征提取进行人脸检测以及口罩检测，以确定行人的人体脸部矩形框以及口罩佩戴信息。将红外光视频帧与可见光视频帧的分辨率统一，利用图像配准得到红外光图像帧中的脸部矩形框。设计温度提取的算子，提取表面温度。对提取到的温度进行距离校正最终得到表面温度，然后进行人体的温度显示。
在本实施例中，双光融合人体测温及口罩识别路侧设备存储有预先训练完成的人脸检测模型；该人脸检测模型的级联结构包括依次连接的局部采样器、多个LAB级联分类器、多层感知机级联结构以及统一特征感知器。示例性地，为了实现高精度、低成本的多视点人脸特征提取方案，上述人脸检测模型结合一种经典级联结构和多层神经网络实现。
参见图3所示的人脸检测模型的级联结构示意图，在顶部采用局部采样器(Localsampler)，扩大人脸检测框的感受野，有效地引入图片内容的上下文信息，紧接着由多个针对不同姿态的快速LAB(Locally Assembled Binary，局部组装二进制)级联分类器构成，然后由若干个基于SURF (Speeded Up Robust Features,加速稳健特征)特征的MLP(Multi-Layer Perceptron，多层感知机)级联结构，最后由一个统一的MLP级联结构(同样基于SURF特征)来处理所有姿态的候选窗口，整体上呈现出上宽下窄的漏斗形状。从上往下，各个层次上的分类器及其所采用的特征逐步变得复杂，从而可以保留人脸窗口并排除越来越难与人脸区分的非人脸候选窗口。
上述人脸检测算法，与普通的人脸检测模型只有人脸一个类别不同，针对人脸口罩检测增加了一个类别，即将戴口罩人脸和不戴口罩的人脸作为两个类别处理。
由于测温及口罩检测基于两种不同的光源，红外热成像摄像机及可见光人脸识别摄像机不在同一坐标系下，因此需要对坐标系进行统一。基于此，双光融合人体测温及口罩识别路侧设备在识别前对红外热成像摄像机与可见光人脸识别摄像机进行坐标系统标定；标定内容可以包括：相机矩阵、畸变系数、相机内参、相机外参，具体如下：
(1)相机矩阵：包括焦距(fx，fy)，光学中心(Cx，Cy)，完全取决于相机本身，是相机的固有属性，只需要计算一次，可用矩阵表示如下： [fx,0,Cx；0,fy,cy；0,0,1]；
(2)畸变系数：畸变数学模型的5个参数D＝(k1，k2，P1，P2，k3)，径向畸变3个(k1，k2，k3)，切向畸变2个(P1，P2)；
(3)相机内参：相机矩阵和畸变系数统称为相机内参，在不考虑畸变的时候，相机矩阵也会被称为相机内参；
(4)相机外参：通过旋转和平移变换将3D的坐标转换为相机2维的坐标，其中的旋转矩阵和平移矩阵就被称为相机的外参；描述的是将世界坐标系转换成相机坐标系的过程。
以下介绍各标定内容的具体过程。
内参标定如下：
相机的标定过程实际上就是在4个坐标系转化的过程中求出相机的内参和外参的过程，这4个坐标系分别是：世界坐标系(描述物体真实位置)，相机坐标系(摄像头镜头中心)，图像坐标系(图像传感器成像中心，图片中心，影布中心，单位mm)，像素坐标系(图像左上角为原点，描述像素的位置，单位是多少行，多少列)。(1)世界坐标系相机坐标系：求解摄像头外参(旋转和平移矩阵)；(2)相机坐标系图像坐标系：求解相机内参(摄像头矩阵和畸变系数)；(3)图像坐标系像素坐标系：求解像素转化矩阵(可简单理解为原点从图片中心到左上角，单位厘米变行列)，内参标定采用棋盘格标定法。
畸变校正如下：
采用opencv提供的畸变矫正的函数，例如使用最基本的undistort函数，输入参数分别为：输入图像，矫正后图像，相机矩阵，畸变矩阵。
外参标定如下：
人脸检测与测温基于人脸面部正面实现，因此热成像仪与摄像头应保持同向，安装位置紧凑，由于外参摄像头与热成像仪场景是不固定的(随场景变化而变化)，而他们之间的相对位置是不变的，二者应外参不做调教，通过工控机同步坐标信息。
热成像仪校正如下：
红外探测器探测到的红外辐射包括空气温湿度、气流、周边环境物体产生的红外辐射等，所以在实际使用一段时间后，在环境温度过高或过低的地方进行温度测量，会产生温度漂移。因此需要使用外置黑体进行温度校正，外置黑体温度校正系数如下式所示：
k＝T0/T
式中，k为温度校正系数；T0为外置黑体的设定绝对温度；T为外置黑体被测的绝对温度。外置黑体是一个恒定不变的温度源，可以保证系统测量温度的稳定性，降低系统长期运行带来的测量误差。实际使用时，将外置黑体悬挂在视野的正前方，将其温度设定为37℃，校正环境温度。
示例性地，可见光图像与红外热成像的图像配准，基于仿射变换关系执行。
通过分析红外与可见光得到的对同一目标的两幅图像，两幅图像间有明显的尺度、旋转和平移变换。基于空间位置变换的图像配准方法，仿射变
换的模型可以表示为：
式中，(x,y)和(x′,y′)分别是两幅图像中对应点的坐标。式中的6个参数向量为两幅图像坐标之间的转换关系，只需要3对点即可确定6个参数。当方程数超过未知数的数量时，可以通过最小二乘法取得最佳解。假设在可见光与热红外图像中选取对应的匹配点为(xi,yi)和(xi′,yi′)，如下式所示：
图像配准需要求解的是最小二乘解A和B，其中A和B为仿射变换的参数，A＝(a11,a12,b1)，B＝(a21,a22,b2)。因此可以选取多个匹配点对，利用最小二乘法来寻找一个最佳解来使所有方程的均方误差最小，达到用多个配准点拟合最优参数解的目的。获得配准参数估计后，就可以将图像作相应的几何变换。
当成像传感器与被测物之间的距离相当大时，可以忽略物体的景深，将场景近似看作平面，可以将可见光图像与热红外图像近似看作仿射变换关系[8]。当运动物体与成像传感器距离较近时，需要有一种自适应的可见光与热红外图像的空间位置校正方法。由于仿射变换的图像配准效果，受被拍摄物与相机之间的距离影响。假设h0和h分别表示像素坐标下近距离被测人脸的像素高度以及远(基准)距离人脸的像素高度，X0和X分别表示像素坐标下近距离人脸的位置以及远(基准)距离人脸的位置，L0和L 分别表示世界坐标下近距离人脸的距离。
因此，本发明实施例在空间变换模型基础上提出的上述校正方法，能够解决运动物体与成像摄像头不同距离时的配准问题。
由于实际场景中，可能出现因着装不同遮挡部分感兴趣区域，导致遮挡部分温度明显低于正常温度值，使得最终提取到的感兴趣区域的温度值出现较大偏差。基于此，红外热成像摄像机可以计算预设区域内所有像素点的平均温度，在剔除温度低于平均温度的像素点后确定预设区域内剩余像素点的温度的众数，将众数确定为行人的体温。
对于感兴趣区域，不能直接对面部区域内的每个像素点获取温度并计算平均值。示例性地，针对感兴趣区域，利用5×5的模板对热红外图像运算，如下式所示：
y(i)＝∑i∈Dx(i)f(i)
式中，x(i)表示热红外图像中像素点对应的温度值；f(i)表示函数代表滑窗内温度值的众数；y(i)表示运算后热红外图像中像素点的温度值；D表示滑窗内满足条件的像素点。该感兴趣区域温度提取的算子，首先遍历感兴趣区域的每个像素点，计算区域内的平均温度，并剔除温度低于平均温度的像素点，计算感兴趣区域的温度点的众数，代表感兴趣区域的温度。该温度提取方法，可以有效地避免因头发或者帽子遮挡面部感兴趣区域，造成局部温度低于正常值的问题。
作为一种实施方式，车辆轨迹追踪路侧设备设置于路侧、服务区停车场及服务区出入口；ETC设备可以读取车辆的车载单元行驶轨迹。
车辆轨迹追踪功能可以基于现有空门架、跨线桥以及新建路侧立杆等方式，部署智能路侧设备。路侧设备具备ETC通信功能。可读取OBU行驶轨迹。读取方式参考GB/T80251-2019。智能路侧设备跟据记录流水表中ETC门架路网编号、ETC门架路段编号、ETC门架编号、入出口收费站编号、本省入口编码得到车辆当前位置信息、高速入口信息及本省高速入口位置信息，并上传至云平台。云平台汇总特定车辆的路径信息，输出该车辆的间断轨迹。同时，将车辆入出口收费站编号为全国疫情大数据子系统所记录的当前疫区收费站时，平台向智能路侧设备发出服务区管控策略信息。智能路侧设备随即向附近车辆广播该信息。
在服务区出入口可以分别部署智能路侧设备。智能路侧设备跟据记录流水表中ETC门架路网编号、ETC门架路段编号、ETC门架编号、入出口收费站编号、本省入口编码得到车辆当前位置信息、高速入口信息及本省高速入口位置信息，并上传至云平台。云平台汇总特定车辆的路径信息，输出该车辆的间断轨迹，并计算该服务区现有车辆数。
进一步，车辆轨迹追踪路侧设备还包括可见光人脸识别摄像机；车辆轨迹追踪路侧设备还可以将车辆信息与车辆对应乘客的身份信息绑定。由于ETC设备还可以读取车辆的车辆信息，车辆轨迹追踪路侧设备还能够将 ETC设备读取的车辆信息与根据车辆视频获取车辆信息绑定。
参见图4所示的高速公路疫情防控人员发热检测及车辆轨迹追踪路侧设备的整体功能流程示意图，示出了车辆识别、车辆信息与人员信息绑定、行人人脸识别及口罩佩戴检测以及预警等功能。
如图4所示，车辆轨迹追踪路侧设备部署于高速公路及服务区入口，具备相控阵ETC天线及相机，ETC获取车辆入口车道信息，ETC获取车辆车牌、车型等信息，相机识别车辆，相机识别车牌，将相机识别车辆目标与ETC目标进行绑定，增加车辆目标识别维度，可用于车辆重识别。
在服务区停车场部署车辆轨迹追踪路侧设备、红外热成像摄像机及可见光人脸识别摄像机，乘客下车后进行人脸检测及口罩识别，得到乘客体温检测结果和口罩识别结果，将乘客信息与车牌识别、ETC识别信息绑定。
在服务区的行人密集区域部署双光融合人体测温及口罩识别路侧设备，一般部署在门口较高位置，可识别行人流量和行人前进方向，进行人员体温、口罩佩戴检测，实时统计区域内未佩戴口罩人数，计算区域内行人密度，综合得到服务区管控策略执行与预警信息发布。
本发明实施例对疫情期间高速公路的高效运营管理具有重要意义，将原本分立的传感通信等路侧设施进行高度集成和再造，实现系统资源的高度复用，降低系统成本；采用非接触式红外温度检测技术及人脸识别技术，可以实现对体温异常和无佩戴口罩特殊人群的快速、高效及无接触地识别。运用现有ETC系统进行大规模车辆轨迹追踪，则可以在全国范围内对车辆进行轨迹识别与追踪，为快速判断车辆是否为疫区车辆提供技术保证，降低疫情防控工作对人民群众出行、高速公路正常运行带来的影响，提升出行体验；系统自动检测功能可有效减少工作人员的工作量，减少人力及财力投入成本。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称 ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。
当然，本领域技术人员可以理解实现上述实施例中的全部或部分流程，是可以通过计算机程度来指令控制装置来完成，所述的程序可存储于一计算机可读取的存储介质中，所述程序在执行时可包括如上述各实施例的流程，其中所述的存储介质可为存储器、磁盘、光盘等。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种高速公路疫情防控人员发热检测及车辆轨迹追踪路侧设备，其特征在于，包括：双光融合人体测温及口罩识别路侧设备、车辆轨迹追踪路侧设备；
所述双光融合人体测温及口罩识别路侧设备包括红外热成像摄像机及可见光人脸识别摄像机；所述车辆轨迹追踪路侧设备包括ETC设备及路侧摄像机；
所述可见光人脸识别摄像机用于对获取的可见光视频识别行人的脸部区域及识别在所述脸部区域是否佩戴口罩，所述红外热成像摄像机用于提取所述脸部区域中预设区域的体温；所述双光融合人体测温及口罩识别路侧设备用于在识别行人未佩戴口罩和/或体温超过预设温度阈值的情况下，保存图像以及发出告警信息；
所述ETC设备用于获取车辆驶入高速路口以及途径门架信息，所述路侧摄像机用于获取车辆视频；所述车辆轨迹追踪路侧设备用于根据所述车辆驶入高速路口以及途径门架信息生成车辆行驶轨迹、根据所述车辆视频获取车辆信息，在车辆来自疫区的情况下发出告警信息。
2.根据权利要求1所述的设备，其特征在于，所述双光融合人体测温及口罩识别路侧设备用于将所述可见光人脸识别摄像机采集的可见光图像与所述红外热成像摄像机采集的红外图像的分辨率统一，利用图像配准确定所述热红外图像中的脸部区域，以及提取所述脸部区域的温度并校准后得到行人体温。
3.根据权利要求1所述的设备，其特征在于，所述双光融合人体测温及口罩识别路侧设备存储有预先训练完成的人脸检测模型；
所述人脸检测模型的级联结构包括依次连接的局部采样器、多个LAB级联分类器、多层感知机级联结构以及统一特征感知器。
4.根据权利要求2所述的设备，其特征在于，所述双光融合人体测温及口罩识别路侧设备用于在识别前对所述红外热成像摄像机与所述可见光人脸识别摄像机进行坐标系统标定；
标定内容包括以下至少一项：相机矩阵、畸变系数、相机内参、相机外参。
5.根据权利要求4所述的设备，其特征在于，所述双光融合人体测温及口罩识别路侧设备用于对所述红外热成像摄像机进行定期温度校正。
6.根据权利要求2所述的设备，其特征在于，所述双光融合人体测温及口罩识别路侧设备基于仿射变换关系执行所述可见光图像与所述红外图像的图像配准。
7.根据权利要求2所述的设备，其特征在于，所述红外热成像摄像机用于计算所述预设区域内所有像素点的平均温度，在剔除温度低于所述平均温度的像素点后确定所述预设区域内剩余像素点的温度的众数，将所述众数确定为所述行人的体温。
8.根据权利要求1所述的设备，其特征在于，所述车辆轨迹追踪路侧设备设置于路侧、服务区停车场及服务区出入口；所述ETC设备用于读取车辆的车载单元行驶轨迹。
9.根据权利要求1所述的设备，其特征在于，所述车辆轨迹追踪路侧设备还包括可见光人脸识别摄像机；
所述车辆轨迹追踪路侧设备还用于将所述车辆信息与所述车辆对应乘客的身份信息绑定。
10.根据权利要求1所述的设备，其特征在于，所述ETC设备还用于读取车辆的车辆信息；
所述车辆轨迹追踪路侧设备还用于将所述ETC设备读取的车辆信息与根据所述车辆视频获取车辆信息绑定。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111163518.3A CN114067384A (zh) | 2021-09-30 | 2021-09-30 | 高速公路疫情防控人员发热检测及车辆轨迹追踪路侧设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111163518.3A CN114067384A (zh) | 2021-09-30 | 2021-09-30 | 高速公路疫情防控人员发热检测及车辆轨迹追踪路侧设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114067384A true CN114067384A (zh) | 2022-02-18 |
Family
ID=80234048
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111163518.3A Pending CN114067384A (zh) | 2021-09-30 | 2021-09-30 | 高速公路疫情防控人员发热检测及车辆轨迹追踪路侧设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114067384A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114596967A (zh) * | 2022-03-28 | 2022-06-07 | 浙江欧歌科技股份有限公司 | 一种用于移动出行的传染病疫情防控平台 |
| CN115036036A (zh) * | 2022-06-08 | 2022-09-09 | 深圳技术大学 | 一种基于obu电子标签的健康码信息识别方法及系统 |
| CN115098490A (zh) * | 2022-08-26 | 2022-09-23 | 山东高速信息集团有限公司 | 一种检测监控重点区域车辆的方法系统 |
| CN115905733A (zh) * | 2022-10-28 | 2023-04-04 | 广州地铁集团有限公司 | 一种基于机器视觉的口罩佩戴异常检测及轨迹追踪方法 |
-
2021
- 2021-09-30 CN CN202111163518.3A patent/CN114067384A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114596967A (zh) * | 2022-03-28 | 2022-06-07 | 浙江欧歌科技股份有限公司 | 一种用于移动出行的传染病疫情防控平台 |
| CN115036036A (zh) * | 2022-06-08 | 2022-09-09 | 深圳技术大学 | 一种基于obu电子标签的健康码信息识别方法及系统 |
| CN115036036B (zh) * | 2022-06-08 | 2023-03-24 | 深圳技术大学 | 一种基于obu电子标签的健康码信息识别方法及系统 |
| CN115098490A (zh) * | 2022-08-26 | 2022-09-23 | 山东高速信息集团有限公司 | 一种检测监控重点区域车辆的方法系统 |
| CN115905733A (zh) * | 2022-10-28 | 2023-04-04 | 广州地铁集团有限公司 | 一种基于机器视觉的口罩佩戴异常检测及轨迹追踪方法 |
| CN115905733B (zh) * | 2022-10-28 | 2024-03-08 | 广州地铁集团有限公司 | 一种基于机器视觉的口罩佩戴异常检测及轨迹追踪方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114067384A (zh) | 高速公路疫情防控人员发热检测及车辆轨迹追踪路侧设备 | |
| Zheng et al. | A novel vehicle detection method with high resolution highway aerial image | |
| Jog et al. | Pothole properties measurement through visual 2D recognition and 3D reconstruction | |
| Shah et al. | Automated visual surveillance in realistic scenarios | |
| Sun et al. | Vehicle reidentification using multidetector fusion | |
| US20030053659A1 (en) | Moving object assessment system and method | |
| US20030123703A1 (en) | Method for monitoring a moving object and system regarding same | |
| US20030053658A1 (en) | Surveillance system and methods regarding same | |
| CN104378582A (zh) | 一种基于ptz摄像机巡航的智能视频分析系统及方法 | |
| WO2004042673A2 (en) | Automatic, real time and complete identification of vehicles | |
| CN105574488A (zh) | 一种基于低空航拍红外图像的行人检测方法 | |
| Ge et al. | An improved system for long-term monitoring of full-bridge traffic load distribution on long-span bridges | |
| KR102434154B1 (ko) | 영상감시시스템에서의 고속 이동물체의 위치 및 모션 캡쳐 방법 | |
| Dinh et al. | Development of a tracking-based system for automated traffic data collection for roundabouts | |
| Xu et al. | Vehicle counting based on double virtual lines | |
| Morris et al. | A Real-Time Truck Availability System for the State of Wisconsin | |
| Nielsen et al. | Taking the temperature of pedestrian movement in public spaces | |
| CN110210324A (zh) | 一种道路目标快速检测预警方法和系统 | |
| CN109591850A (zh) | 一种轨道异物检测方法及装置 | |
| Khuc | Computer vision based structural identification framework for bridge health mornitoring | |
| Glasl et al. | Video based traffic congestion prediction on an embedded system | |
| KR20220120211A (ko) | 교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템 | |
| Pless et al. | Road extraction from motion cues in aerial video | |
| Mathews et al. | Improved computer vision-based framework for electronic toll collection | |
| Hnoohom et al. | The video-based safety methodology for pedestrian crosswalk safety measured: The case of Thammasat University, Thailand |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |