CN113390515B - 基于双摄像头的多人移动测温方法 - Google Patents

基于双摄像头的多人移动测温方法 Download PDF

Info

Publication number
CN113390515B
CN113390515B CN202110761339.3A CN202110761339A CN113390515B CN 113390515 B CN113390515 B CN 113390515B CN 202110761339 A CN202110761339 A CN 202110761339A CN 113390515 B CN113390515 B CN 113390515B
Authority
CN
China
Prior art keywords
face
region
rgb
candidate
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110761339.3A
Other languages
English (en)
Other versions
CN113390515A (zh
Inventor
刘成
齐飞
周有喜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Core Computing Integrated Shenzhen Technology Co ltd
Original Assignee
Xinjiang Aiwinn Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinjiang Aiwinn Information Technology Co Ltd filed Critical Xinjiang Aiwinn Information Technology Co Ltd
Priority to CN202110761339.3A priority Critical patent/CN113390515B/zh
Publication of CN113390515A publication Critical patent/CN113390515A/zh
Application granted granted Critical
Publication of CN113390515B publication Critical patent/CN113390515B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
    • G01J5/0025—Living bodies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Radiation Pyrometers (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于双摄像头的多人移动测温方法，包括：获取RGB人脸图像和红外热成像图像；获取RGB人脸图像中人脸位置信息和红外热成像图像中人脸区域信息；对红外热成像图像进行二值化处理；获取候选区域；将候选区域与人脸区域面积进行比对得到目标候选区域；将RGB人脸图像与所有的目标候选区域进行IOU计算，依据计算结果判断得到人脸温度。本发明能够实现对多人在移动状态的测温。

Description

基于双摄像头的多人移动测温方法
技术领域
本发明涉及智能测温技术领域，具体来说，涉及一种基于双摄像头的多人移动测温方法。
背景技术
当前市场上大部分的测温是测量静止的人体温度，对于多人和移动测温没有较好的实现方法。静止的人体测温是先利用RGB摄像头捕获人脸，然后根据人脸区域的红外热成像图计算温度。但是对于移动的人体，RGB摄像头和红外摄像头捕获速度不一致，从而导致RGB捕获的人脸无法对应上红外热成像图上人体温度区域，进而不能准确测得人体温度。
发明内容
本发明的目的在于提出一种基于双摄像头的多人移动测温方法，以克服现有技术中存在的上述不足。
为实现上述技术目的，本发明的技术方案是这样实现的：
一种基于双摄像头的多人移动测温方法，所述方法包括以下步骤：
1)通过RGB摄像头和红外摄像头分别获取多个人的RGB人脸图像和红外热成像图像；
2)通过人脸检测模型得到RGB人脸图像中人脸位置信息以及通过人头检测算法获得红外热成像图像中人脸区域信息；
3)对红外热成像图像进行二值化处理；
4)使用连通域分割算法从步骤3)处理后的热成像图像中获得候选区域；
5)将获得的每个候选区域与步骤2)中检测到的对应的人脸区域面积进行比对，若候选区域小于对应的1.5倍的人脸区域面积，则对该候选区域不做处理，若候选区域大于或等于1.5倍的人脸区域面积，则重新设定二值化处理的阈值后对该候选区域对应的红外热成像图像重复步骤3)-5)；
6)将RGB人脸图像与所有的候选区域进行IOU计算，取IOU值最大的候选区域，若IOU值大于0.5，则判定RGB图中该区域人脸对应该候选区域的温度，得到该人脸的测量温度，若IOU值小于0.5，则重复步骤1)-6)。
进一步的，步骤6)中当IOU值小于0.5时，进一步判断RGB人脸区域与候选区域的距离，若两者的距离小于设定的像素点，则判定RGB图中该区域人脸与候选区域匹配，否则重复步骤1)-6)。
进一步的，步骤3)中的二值化处理具体为：设定阈值为28摄氏度，将高于28摄氏度的像素点设置为255，将低于28摄氏度的像素点设置为0。
进一步的，步骤5)中若候选区域大于或等于1.5倍的人脸区域面积，则将阈值提高1摄氏后对该候选区域对应的红外热成像图像重复步骤3)-5)。
进一步的，RGB人脸区域与候选区域的距离通过如下公式进行计算：
Figure BDA0003149187700000021
式中：下标RGB表示RGB图像框的对应信息，H表示红外热成像图候选框的对应信息，distance表示一个框上四个顶点与另一个框上四个顶点的距离。
本发明的有益效果：本发明能够实现多人在移动状态下的测温。
附图说明
图1是本发明实施例所述方法的流程图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
如图1所示，根据本发明的实施例所述的一种基于双摄像头的多人移动测温方法，所述方法包括以下步骤：
1、通过RGB摄像头和红外摄像头分别获取多个人的RGB人脸图像和红外热成像图像。
2、通过人脸检测模型得到RGB人脸图像中人脸位置信息以及通过人头检测算法获得红外热成像图像中人脸区域信息。人脸检测模型和人头检测算法均可以使用RFSong-779目标检测模型，具体为用RGB图片训练出一个能检测RGB图片人脸的模型，用红外热成像图片训练出一个能检测红外图片人头的模型。
3、对红外热成像图像进行二值化处理，目的在于将感兴趣的区域(红外人头区域)和背景区域分离，减少环境噪声的干扰。具体的，设定二值化处理的阈值为28摄氏度，将高于28摄氏度的像素点设置为255，将低于28摄氏度的像素点设置为0。
4、使用连通域分割算法从步骤3处理后的热成像图像中获得候选区域。
5、将获得的每个候选区域与步骤2中检测到的对应的人脸区域面积进行比对，若候选区域小于对应的1.5倍的人脸区域面积，则对该候选区域不做处理，若候选区域大于或等于1.5倍的人脸区域面积，则重新设定二值化处理的阈值后对该候选区域对应的红外热成像图像重复步骤3-5直到候选区域小于1.5倍的人脸区域面积，得到真正的候选区域。具体的，步骤5中若候选区域大于或等于1.5倍的人脸区域面积，则将阈值提高1摄氏度后对该候选区域对应的红外热成像图像重复步骤3-5。候选区域比红外图片检测出的人头区域大很多会导致后续与RGB人脸区域匹配时计算的IOU偏小，实际人脸与候选区域难以匹配。因此当区域过大时需要调高阈值，减小候选区域的范围。
6、将RGB人脸图像与所有的候选区域进行IOU计算，取IOU值最大的候选区域，若IOU值大于0.5，则判定RGB图中该区域人脸对应该候选区域的温度，得到该人脸的测量温度，若IOU值小于0.5，则进行以下步骤。IOU阈值是依据长期实践经验来选取的，IOU阈值过大精度会提高但是匹配到的人头数量也会减少，过小的话匹配的精度就会下降。
7、步骤6中当IOU值小于0.5时有两种原因，一种是因为人的移动过快导致二者位置相差过大，另一种则是模型的误判，为了过滤掉模型误判的部分，进一步判断RGB人脸区域与候选区域的距离，若两者的距离小于设定的像素点，一般选择25个像素点，则判定RGB图中该区域人脸与候选区域匹配，若两者的距离大于25个像素点则匹配失败，这个人脸没有与之匹配的结果，即没有检测出来，进而重复步骤1-6重新检测。
在本实施例中，RGB人脸区域与候选区域的距离通过如下公式进行计算：
Figure BDA0003149187700000041
式中：下标RGB表示RGB图像框的对应信息，H表示红外热成像图候选框的对应信息，distance表示一个框上四个顶点与另一个框上四个顶点的距离。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于双摄像头的多人移动测温方法，其特征在于，所述方法包括以下步骤：
1)通过RGB摄像头和红外摄像头分别获取多个人的RGB人脸图像和红外热成像图像；
2)通过人脸检测模型得到RGB人脸图像中人脸位置信息以及通过人头检测算法获得红外热成像图像中人脸区域信息；
3)对红外热成像图像进行二值化处理；
4)使用连通域分割算法从步骤3)处理后的热成像图像中获得候选区域；
5)将获得的每个候选区域与步骤2)中检测到的对应的人脸区域面积进行比对，若候选区域小于对应的1.5倍的人脸区域面积，则对该候选区域不做处理，若候选区域大于或等于1.5倍的人脸区域面积，则重新设定二值化处理的阈值后对该候选区域对应的红外热成像图像重复步骤3)-5)；
6)将RGB人脸图像与所有的候选区域进行IOU计算，取IOU值最大的候选区域，若IOU值大于0.5，则判定RGB人脸图像中人脸对应该候选区域的温度，得到该人脸的测量温度，若IOU值小于0.5，则重复步骤1)-6)。
2.根据权利要求1所述的方法，其特征在于，步骤6)中当IOU值小于0.5时，进一步判断RGB人脸区域与候选区域的距离，若两者的距离小于设定的像素点，则判定RGB图中该区域人脸与候选区域匹配，否则重复步骤1)-6)。
3.根据权利要求1所述的方法，其特征在于，步骤3)中的二值化处理具体为：设定阈值为28摄氏度，将高于28摄氏度的像素点设置为255，将低于28摄氏度的像素点设置为0。
4.根据权利要求3所述的方法，其特征在于，步骤5)中若候选区域大于或等于1.5倍的人脸区域面积，则将阈值提高1摄氏度后对该候选区域对应的红外热成像图像重复步骤3)-5)。
5.根据权利要求2所述的方法，其特征在于，RGB人脸区域与候选区域的距离通过如下公式进行计算：
Figure FDA0003789858700000021
式中：下标RGB表示RGB图像框的对应信息，H表示红外热成像图候选框的对应信息，distance表示一个框上四个顶点与另一个框上四个顶点的距离。
CN202110761339.3A 2021-07-06 2021-07-06 基于双摄像头的多人移动测温方法 Active CN113390515B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110761339.3A CN113390515B (zh) 2021-07-06 2021-07-06 基于双摄像头的多人移动测温方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110761339.3A CN113390515B (zh) 2021-07-06 2021-07-06 基于双摄像头的多人移动测温方法

Publications (2)

Publication Number Publication Date
CN113390515A CN113390515A (zh) 2021-09-14
CN113390515B true CN113390515B (zh) 2023-03-28

Family

ID=77625294

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110761339.3A Active CN113390515B (zh) 2021-07-06 2021-07-06 基于双摄像头的多人移动测温方法

Country Status (1)

Country Link
CN (1) CN113390515B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705530A (zh) * 2019-12-13 2020-01-17 珠海亿智电子科技有限公司 基于活体识别的同一人脸框确认方法、装置、设备及介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011038838A (ja) * 2009-08-07 2011-02-24 Beteru:Kk 熱型赤外線出力計測装置および熱型赤外線出力計測方法
JP6517499B2 (ja) * 2014-11-28 2019-05-22 マクセル株式会社 撮像システム
CN111488764B (zh) * 2019-01-26 2024-04-30 天津大学青岛海洋技术研究院 一种面向ToF图像传感器的人脸识别方法
CN110059644A (zh) * 2019-04-23 2019-07-26 杭州智趣智能信息技术有限公司 一种基于人脸图像的活体检测方法、系统及相关组件
CN110443192B (zh) * 2019-08-01 2023-04-28 中国科学院重庆绿色智能技术研究院 一种基于双目图像的非交互式人脸活体检测方法及系统
CN111914635B (zh) * 2020-06-23 2023-12-26 北京迈格威科技有限公司 人体测温方法、装置、系统和电子设备
CN113063500B (zh) * 2021-03-30 2022-04-22 新疆爱华盈通信息技术有限公司 一种人脸测温方法、人脸测温仪及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705530A (zh) * 2019-12-13 2020-01-17 珠海亿智电子科技有限公司 基于活体识别的同一人脸框确认方法、装置、设备及介质

Also Published As

Publication number Publication date
CN113390515A (zh) 2021-09-14

Similar Documents

Publication Publication Date Title
CN111579083B (zh) 基于红外图像人脸检测的体温测量的方法和装置
US10872262B2 (en) Information processing apparatus and information processing method for detecting position of object
CN106886216B (zh) 基于rgbd人脸检测的机器人自动跟踪方法和系统
CN104598883B (zh) 一种多摄像机监控网络中目标再识别的方法
CN105574515B (zh) 一种无重叠视域下的行人再识别方法
US10748294B2 (en) Method, system, and computer-readable recording medium for image object tracking
CN102982537B (zh) 一种检测场景变换的方法和系统
CN109389630B (zh) 可见光图像与红外图像特征点集确定、配准方法及装置
CN108090428A (zh) 一种人脸识别方法及其系统
US9412039B2 (en) Blur detection system for night scene images
JP7334432B2 (ja) 物体追跡装置、監視システムおよび物体追跡方法
US9426375B2 (en) Line-of-sight detection apparatus and image capturing apparatus
CN112525352A (zh) 一种基于人脸识别的红外测温补偿方法及终端
WO2016206344A1 (zh) 白平衡处理方法、装置和计算机存储介质
TWI778552B (zh) 運動檢測方法和裝置、電子設備以及內儲程式之電腦可讀取記錄媒體
Labati et al. Weight estimation from frame sequences using computational intelligence techniques
CN110751635A (zh) 一种基于帧间差分和hsv颜色空间的口腔检测方法
CN111985314A (zh) 一种基于ViBe与改进LBP的烟雾检测方法
CN111444837A (zh) 在极端环境下提升人脸检测可用性的测温方法及测温系统
CN109344758B (zh) 基于改进局部二值模式的人脸识别方法
CN116630332B (zh) 一种基于图像处理的pvc塑料管口缺陷检测方法
CN113390515B (zh) 基于双摄像头的多人移动测温方法
CN107220972B (zh) 一种基于红外图像的禽蛋品质鉴别方法
CN107145820B (zh) 基于hog特征和fast算法的双眼定位方法
CN105118073A (zh) 基于Xtion摄像机的人体头部目标识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240508

Address after: Building 9, Building 203B, Phase II, Nanshan Yungu Entrepreneurship Park, No. 2 Pingshan 1st Road, Pingshan Community, Taoyuan Street, Nanshan District, Shenzhen, Guangdong Province, 518033

Patentee after: Core Computing Integrated (Shenzhen) Technology Co.,Ltd.

Country or region after: China

Address before: 830000 room 1010-1011, 10 / F, building a, Chuangzhi building, Xinjiang Software Park, 455 Kanas Hubei Road, economic and Technological Development Zone, Urumqi, Xinjiang Uygur Autonomous Region

Patentee before: XINJIANG AIHUA YINGTONG INFORMATION TECHNOLOGY Co.,Ltd.

Country or region before: China