CN112418251A - 红外体温检测方法及系统 - Google Patents

红外体温检测方法及系统 Download PDF

Info

Publication number
CN112418251A
CN112418251A CN202011421109.4A CN202011421109A CN112418251A CN 112418251 A CN112418251 A CN 112418251A CN 202011421109 A CN202011421109 A CN 202011421109A CN 112418251 A CN112418251 A CN 112418251A
Authority
CN
China
Prior art keywords
visible light
thermal infrared
image
body temperature
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011421109.4A
Other languages
English (en)
Other versions
CN112418251B (zh
Inventor
戴志威
冯宝宁
邓远志
聂庆文
刘志永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanxiang Smart Iot Technology Co ltd
Original Assignee
EVOC Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EVOC Intelligent Technology Co Ltd filed Critical EVOC Intelligent Technology Co Ltd
Priority to CN202011421109.4A priority Critical patent/CN112418251B/zh
Publication of CN112418251A publication Critical patent/CN112418251A/zh
Application granted granted Critical
Publication of CN112418251B publication Critical patent/CN112418251B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Computational Linguistics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Radiation Pyrometers (AREA)

Abstract

本发明提供一种红外体温检测方法及系统，其中，红外体温检测方法包括：通过可见光采样设备实时获取目标区域的可见光图像，并通过目标检测算法模型确定可见光图像中的目标边界框；通过红外热成像设备实时获取目标区域的热红外图像；从可见光图像中提取可见光特征点，从热红外图像中提取热红外特征点，并根据可见光特征点和热红外特征点，分别计算可见光图像和热红外图像的变换矩阵，以完成可见光图像和热红外图像的配准；根据可见光图像和热红外图像的配准结果，创建温度测量模板；根据温度测量模板和目标边界框的位置，获取人脸体温数据；基于外置的恒温源，对人脸体温数据进行校正，以得到体温检测结果。本发明能够提高人脸体温检测的效率。

Description

红外体温检测方法及系统
技术领域
本发明涉及红外测温技术领域，尤其涉及一种红外体温检测方法及系统。
背景技术
目前用于测量人体体温的装置主要有三种，分别是水银体温计、电子体温计与红外线体温计。水银体温计是目前广泛使用的测量人体体温的装置。在测量操作规范时，水银体温计的测量值是比较可靠的，并且水银温度计的成本低。但水银体温计也有局限。由于水银体温计的测温方式的限制，使其无法智能化，并无法自动、自主测量体温，并且需要使水银体温计长时间接触式待测部位才能测出准确温度。
电子体温计相对水银体温计，测量方式有很大改观。电子体温计的读数可以直观体现其测量的温度值。其测温时间也短，准确性也较高。但是电子体温计也存局限。和水银体温计一样，电子体温计为接触式测温(必须接触待测部位方能测量温度)，在多人群场所，接触式测温可能间接传染疾病，这样需要有专人定时对电子体温计进行维护处理，以消毒。同时，无论是采用水银体温计还是采用电子体温计其检测效率低，测温时只能对一个测试对象进行测试，无法实现大范围内的多人体温检测。
发明内容
为解决上述问题，本发明提供的红外体温检测方法及系统，通过将可见光图像与热红外图像相结合获取待测目标的体温数据，并在在通过所述目标检测算法模型在学习待测目标特征的过程中，通过聚类分析确定最接近所述目标边界框的先验边界框，并将最接近所述目标边界框的先验边界框作为所述目标边界框，如此能够加快目标检测算法模型的收敛速度，提高待测目标位置检测精度，从而能够提高体温检测效率和体温检测精度。
第一方面，本发明提供一种红外体温检测方法，包括：
通过可见光采样设备实时获取目标区域的可见光图像，并通过目标检测算法模型确定可见光图像中的目标边界框，其中，一个目标边界框内包含一个待测目标的区域，在通过所述目标检测算法模型在学习待测样本特征的过程中，通过聚类分析确定最接近所述样本边界框的先验边界框，并将最接近所述样本边界框的先验边界框作为所述样本边界框；
通过红外热成像设备实时获取所述目标区域的热红外图像；
从所述可见光图像中提取可见光特征点，从所述热红外图像中提取热红外特征点，并根据所述可见光特征点和所述热红外特征点，分别计算所述可见光图像和所述热红外图像的变换矩阵，以完成所述可见光图像和所述热红外图像的配准；
根据所述可见光图像和所述热红外图像的配准结果，创建温度测量模板；
根据所述温度测量模板和所述目标边界框的位置，获取待测目标的体温数据；
基于外置的恒温源，对所述待测目标的体温数据进行校正，以得到体温检测结果。
可选地，所述通过聚类分析确定最接近所述样本边界框的先验边界框，并将最接近所述样本边界框的先验边界框作为所述样本边界框，包括：
对所述目标检测算法模型中的训练集的先验边界框做聚类分析，以确定多个适合于待测样本的候选边界框；
根据所述多个候选边界框的置信度大小，对所述多个候选边界框进行排序；
将置信度最高的候选边界框分别与其他的候选边界框进行对比，若对比的两个候选边界框之间的交叉面积大于预设的阈值，则将与置信度最高的候选边界框对比的候选边界框从所述多个候选边界框中剔除，并将保留下来的候选边界框作为样本边界框。
可选地，所述从所述可见光图像中提取可见光特征点，从所述热红外图像中提取热红外特征点，并根据所述可见光特征点和所述热红外特征点，分别计算所述可见光图像和所述热红外图像的变换矩阵，以完成所述可见光图像和所述热红外图像的配准，包括：
采用角点检测算法分别对所述可见光图像和所述热红外图像进行特征点提取，得到所述可见光特征点和所述热红外特征点；
对所述可见光图像和所述热红外图像，分别以所述可见光特征点和所述热红外特征点为中心进行灰度窗归一化互相关，以对所述可见光特征点和所述热红外特征点进行初步特征匹配，得到初步匹配点；
采用随机抽样一致算法，并根据预设的允许误差范围将所有的初步匹配点分为内点和外点；
剔除所述外点；
根据所述内点，计算所述可见光图像和所述热红外图像的变换矩阵；
通过图像配准算法，计算所述目标边界框在所述热红外图像中所对应的位置。
可选地，所述基于外置的恒温源，对所述待测目标的体温数据进行校正，以得到体温检测结果，包括：
根据所述恒温源设定的理论绝对温度和由所述红外热成像设备测得的所述恒温源的实际绝对温度，确定温度校正系数；
根据所述温度校正系数，对所述待测目标的体温数据进行校正，以得到体温检测结果。
可选地，所述方法还包括：
根据预设的报警温度阈值范围，对所测得的人体体温进行报警温度判断；
当所述体温检测温度结果大于或小于报警温度阈值范围时，进行报警并保存可见光图像至本地。
第二方面，本发明提供一种红外体温检测系统，包括：
第一获取模块，被配置为通过可见光采样设备实时获取目标区域的可见光图像，并通过目标检测算法模型确定可见光图像中的目标边界框，其中，一个目标边界框内包含一个待测目标的区域，在通过所述目标检测算法模型在学习待测样本特征的过程中，通过聚类分析确定最接近所述样本边界框的先验边界框，并将最接近所述样本边界框的先验边界框作为所述样本边界框；
第二获取模块，被配置为通过红外热成像设备实时获取所述目标区域的热红外图像；
提取模块，被配置为从所述可见光图像中提取可见光特征点，从所述热红外图像中提取热红外特征点，并根据所述可见光特征点和所述热红外特征点，分别计算所述可见光图像和所述热红外图像的变换矩阵，以完成所述可见光图像和所述热红外图像的配准；
创建模块，被配置为根据所述可见光图像和所述热红外图像的配准结果，创建温度测量模板；
第三获取模块，被配置为根据所述温度测量模板和所述目标边界框的位置，获取待测目标的体温数据；
校正模块，被配置为基于外置的恒温源，对所述待测目标的体温数据进行校正，以得到体温检测结果。
可选地，所述第一获取模块包括：
分析子模块，被配置为对所述目标检测算法模型中的训练集的先验边界框做聚类分析，以确定多个适合于待测样本的候选边界框；
排序子模块，被配置为根据所述多个候选边界框的置信度大小，对所述多个候选边界框进行排序；
对比子模块，被配置为将置信度最高的候选边界框分别与其他的候选边界框进行对比，若对比的两个候选边界框之间的交叉面积大于预设的阈值，则将与置信度最高的候选边界框对比的候选边界框从所述多个候选边界框中剔除，并将保留下来的候选边界框作为样本边界框。
可选地，所述提取模块包括：
提取子模块，被配置为采用角点检测算法分别对所述可见光图像和所述热红外图像进行特征点提取，得到所述可见光特征点和所述热红外特征点；
匹配子模块，被配置为对所述可见光图像和所述热红外图像，分别以所述可见光特征点和所述热红外特征点为中心进行灰度窗归一化互相关，以对所述可见光特征点和所述热红外特征点进行初步特征匹配，得到初步匹配点；
划分子模块，被配置为采用随机抽样一致算法，并根据预设的允许误差范围将所有的初步匹配点分为内点和外点；
剔除子模块，被配置为剔除所述外点；
第一计算子模块，被配置为根据所述内点，计算所述可见光图像和所述热红外图像的变换矩阵；
第二计算子模块，被配置为通过图像配准算法，计算所述目标边界框在所述热红外图像中所对应的位置。
可选地，所述校正模块包括：
确定子模块，被配置为根据所述恒温源设定的理论绝对温度和由所述红外热成像设备测得的所述恒温源的实际绝对温度，确定温度校正系数；
校正子模块，被配置为根据所述温度校正系数，对所述待测目标的体温数据进行校正，以得到体温检测结果。
可选地，所述系统还包括：
判断模块，被配置为根据预设的报警温度阈值范围，对所测得的人体体温进行报警温度判断；
报警模块，被配置为当所述体温检测温度结果大于或小于报警温度阈值范围时，进行报警并保存可见光图像至本地。
本发明实施例提供的红外体温检测方法及系统，通过将可见光图像与热红外图像相结合获取待测目标的体温数据，并在在通过所述目标检测算法模型在学习待测目标特征的过程中，通过聚类分析确定最接近所述目标边界框的先验边界框，并将最接近所述目标边界框的先验边界框作为所述目标边界框，如此能够加快目标检测算法模型的收敛速度，提高待测目标位置检测精度，从而能够提高体温检测效率和体温检测精度。
附图说明
图1为本申请一实施例的基于可见光与热红外双目成像的红外体温检测方法的示意性流程图；
图2为本申请一实施例的通过SDK获取体温数据的示意性流程图；
图3为本申请一实施例的基于可见光与热红外双目成像的红外体温检测系统的示意性结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
首先，对本发明涉及的专有名词进行解释如下：
Harris：Harris角点提取算法受信号处理中自相关面数的启发，给出与自相关函数相联系的矩阵M；其中矩阵M的特征值是自相关函数的一阶曲率，如果两个曲率值都高，那么就认为该点是角点特征。
RANSAC：全称是随机抽样一致算法(random sample consensus)，RANSAC算法的基本假设是样本中包含正确数据(inliers，可以被模型描述的数据)，也包含异常数据(outliers，偏离正常范围很远、无法适应数学模型的数据)，即数据集中含有噪声，这些异常数据可能是由于错误的测量、错误的假设、错误的计算等产生的；同时RANSAC也假设，给定一组正确的数据，存在可以计算出符合这些数据的模型参数的方法。
黑体：一个可调、恒温设备。
第一方面，本发明提供一种基于可见光与热红外双目成像的红外体温检测方法，结合图1，该方法包括步骤S101至步骤S106：
步骤S101：通过可见光采样设备实时获取目标区域的可见光图像，并通过目标检测算法模型确定可见光图像中的目标边界框。
其中，一个目标边界框内包含一个待测目标的区域，在通过所述目标检测算法模型在学习待测样本特征的过程中，通过聚类分析确定最接近所述样本边界框的先验边界框，并将最接近所述样本边界框的先验边界框作为所述样本边界框。
在本实施例中，所述通过可见光采样设备实时获取目标区域的可见光图像，包括：通过可见光采样设备实时获取目标区域的视频流数据，从所述视频流数据汇中获取所述可见光图像。
在一种可选的实施例中，所述通过聚类分析确定最接近所述样本边界框的先验边界框，并将最接近所述样本边界框的先验边界框作为所述样本边界框，包括：对所述目标检测算法模型中的训练集的先验边界框做聚类分析，以确定多个适合于待测样本的候选边界框；根据所述多个候选边界框的置信度大小，对所述多个候选边界框进行排序；将置信度最高的候选边界框分别与其他的候选边界框进行对比，若对比的两个候选边界框之间的交叉面积大于预设的阈值，则将与置信度最高的候选边界框对比的候选边界框从所述多个候选边界框中剔除，并将保留下来的候选边界框作为样本边界框。
具体的，目标检测算法模型为改进后的YOLOv3网络模型。该改进后的YOLOv3网络模型的训练的方法包括：改进后的YOLOv3网络模型在进行训练时，初始规范所述先验边界框并确定所述先验边界框的数量；随着改进后的YOLOv3网络模型迭代次数的增加，改进后的YOLOv3网络模型学习人脸特征，通过调整先验边界框的参数不断接近真实的样本边界框，经过指定次数的迭代之后，采用K-means法对先验边界框进行聚类，得到图像中最接近人脸，即得到图像中最接近样本边界框的先验边界框，并将其作为候选边界框，以完成多尺度预测。之后根据所述多个候选边界框的置信度大小，对所述多个候选边界框进行排序；将置信度最高的候选边界框分别与其他的候选边界框进行对比，若对比的两个候选边界框之间的交叉面积大于预设的阈值，则将与置信度最高的候选边界框对比的候选边界框从所述多个候选边界框中剔除，并将保留下来的候选边界框作为样本边界框，以完成非极大值抑制(Non-Maximum Suppression，NMS)。
其中，采用K-means法对先验边界框进行聚类的步骤包括步骤S201至步骤S204：
步骤S201：在待测样本中随机选取K个先验边界框作为锚点；
步骤S202：使用IOU度量待测样本中的先验边界框，将每个先验边界框分配给与其距离最近的锚点。以使每个锚点下均包含有相应的先验边框，形成对应的簇；
步骤S203：计算每个簇中所有先验边界框的宽和高的均值，并更新锚点；
步骤S204：重复步骤S202和步骤S203，直到锚点不再变化，或者达到了最大迭代次数时，将锚点对应的先验边框作为候选边界框。
进一步的，所述确定可见光图像中的目标边界框的方法，即YOLOv3网络模型使用过程，进一步包括：首先，将可见光图像输入至YOLOv3网络模型，YOLOv3网络模型将可见光图像分成S×S均匀网格，然后对整个图像进行卷积；每个网格判定位于其上的物体区域，预测B个候选边界框的位置坐标(x,y,w,h)和置信度C(Object)，总共5个向量，其中坐标(x,y)表示候边界框的中心相对于网格的位置，(w,h)是候选边界框的宽度和高度。置信度C(Object)表示包含物体情况下位置的准确性，其定义如式一所示：
C(Object)＝Pr(Object)×IOU(box,centroid) 式一
其中，置信度Pr(Object)表示候选边界框中是否包含物体，如果候选边界框不包含目标对象，则C(Object)＝0；
IOU表示候选边界框面积的预测值与候选边界框面积的真实值的重叠率，即候选边界框面积的预测值与候选边界框面积的真实值的交集，与候选边界框面积的预测值与候选边界框面积的真实值的并集之比，如式二所示：
Figure BDA0002827660130000091
另外，每个网格还要预测N个类别，因此对于S×S个网格，输出一个维度为S×S(5×B+N)的向量。最后，设置阈值，以过滤置信度低的候选边界框，对候选边界框进行非极大值抑制(NMS)处理，得到目标边界框在可见光图像中的位置，以完成人脸检测的过程。
步骤S102：通过红外热成像设备实时获取所述目标区域的热红外图像。
该红外热成像设备的作用是依据待测目标辐射的能量来进行测量温度的。
步骤S103：从所述可见光图像中提取可见光特征点，从所述热红外图像中提取热红外特征点，并根据所述可见光特征点和所述热红外特征点，分别计算所述可见光图像和所述热红外图像的变换矩阵，以完成所述可见光图像和所述热红外图像的配准。
在一种可选的实施例中，所述从所述可见光图像中提取可见光特征点，从所述热红外图像中提取热红外特征点，并根据所述可见光特征点和所述热红外特征点，分别计算所述可见光图像和所述热红外图像的变换矩阵，以完成所述可见光图像和所述热红外图像的配准，包括：采用Harris角点检测算法分别对所述可见光图像和所述热红外图像进行特征点提取，得到所述可见光特征点和所述热红外特征点；对所述可见光图像和所述热红外图像，分别以所述可见光特征点和所述热红外特征点为中心进行灰度窗归一化互相关，以对所述可见光特征点和所述热红外特征点进行初步特征匹配，得到初步匹配点；采用随机抽样一致算法，并根据预设的允许误差范围将所有的初步匹配点分为内点和外点；剔除所述外点；根据所述内点，计算所述可见光图像和所述热红外图像的变换矩阵；通过图像配准算法，计算所述目标边界框在所述热红外图像中所对应的位置。
进一步的，首先需要分别计算可见光特征点和红外特征点的位置，在本实例中所述可见光特征点和是红外特征点均成为特征点。具体的，通过判断某一点向任一方向微小偏移都是否会引起灰度值剧烈变化，如果是就说明该点是特征点。通过分析目标像素邻域内的自相关函数的自相关矩阵特征值来判断某一点是否是特征点，这个局部自相关函数E如式三所示：
E(u,v)＝∑x,yGσ[I(x+u,y+v)-I(x,y)]2 式三
式中，u、v为x、y方向上的微小偏移量，I(x,y)是(x,y)像素点上的灰度值，I(x+u,y+v)为(x,y)有微小偏移后的灰度值；Gσ为高斯滤波器，它的泰勒展开式如式四所示：
Figure BDA0002827660130000101
M是2x 2的对称矩阵，如式五所示：
Figure BDA0002827660130000102
式中，IX，IY分别为图像在x，y方向的一阶导数。
设λ1、λ2是矩阵M的两个特征值，则λ1、λ2可表示局部自相关函数的曲率。则计算特征点的响应函数如式六所示：
R＝det(M)-Alpha*(TraceM)2 式六
式中，det为矩阵的行列式；TraceM为矩阵M的迹；Alpha为矩阵平方迹的权值。Alpha根据实际情况取值0.001～0.1，本发明中，Alpha取默认值0.04，R为计算出的正局部极值点，设定一个合理的阈值T，当实际计算出来的R大于该阈值时，则表示找到了一个特征点。本发明中，该阈值T取178。
通过上述方法找到的特征点中有部分是冗余的，需要进一步处理，具体如下：以特征点为中心的掩模窗口，采用归一化互相关匹配算法来对特征点集合进行初步匹配计算，以得到初步匹配点。在本发明中，用来计算相似性的掩模窗口大小为21x 21。
用归一化互相关做初步匹配时，存在很多误匹配点。本发明采用RANSAC算法，利用所有的初步匹配点，根据一个允许误差将所有初步匹配点分为内点和外点，并将外点剔除，从而剔除误匹配点，提高运算速度和匹配准确度。
之后，利用匹配点计算图像的投影变换矩阵。设可见光图像与热红外图像分别为I(x1,y1)和I(x2,y2)，其对应的投影变换关系为
Figure BDA0002827660130000111
式中，k为比例因子，反应了图像间的缩放关系，X1＝(x1,y1,w1)T，X2＝(x2,y2,w2)T为要配准的两幅图像上的齐次坐标，H有8个自由度，至少选择4对匹配点就可以估计出H。本发明中，利用内点数据比较准确的特点来进行参数估计，同时采用Gold_Standard(黄金标准)算法计算投影变换矩阵H，最终实现可见光图像与热红外图像的配准。
步骤S104：根据所述可见光图像和所述热红外图像的配准结果，创建温度测量模板。
步骤S105：根据所述温度测量模板和所述目标边界框的位置，获取待测目标的体温数据。
在本实施例中，结合图2，待测目标的体温数据的提取据红外探测器厂家提供的SDK(Software Development Kit，软件开发包)进行操作。具体的，由YoseenInitSDK建立SDK资源，并由YoseenDiscoverCameras发现在线的热像仪，即红外热成像设备；由YoseenLogin登入热像仪；由YoseenStartPreview开始预览温度测量模板；由YoseenmtGetResult获取所述目标边界框内的体温数据；由YoseenStopPreview停止预览温度测量模板；由Yoseen Logout登出热像仪；由YoseenFreeSDK释放SDK资源。
其中的所使用的测温函数具体如下：
S32 mtGetResult(xxxmeasure*measure,DataFrameHeader*dfh,s16*dfd,xxxresult*result)
该测温函数中的参数具体含义如下：
measure：测温对象，即识别的人脸框矩形区域；dfh：测温数据帧头；dfd：测温数据区；result：测量结果。
步骤S106：基于外置的恒温源，对所述待测目标的体温数据进行校正，以得到体温检测结果。
在本实例中，所述可见光采样设备采用型号为DS-2CD3T25D-I5的高清网络摄像机，其分辨率为200万像素，镜头焦距为8mm。所述红外热成像设备采用型号为M384D的热红外摄像头，其工作波长8～14um，分辨率为384x288，帧率为50Hz。所述恒温源为黑体，且黑体选择低温面源黑体，其温度范围为-30℃～80℃，温度分辨率≤0.1℃，同时稳定度≤0.1℃，以满足体温测量所需精度要求。上述方法通过监控主机进行监控，具体的，监控主机负责对不同入口的视频流数据进行处理，包括人脸检测、图像配准、温度提取和温度校正等，最终将检测结果实时输出在显示器上，而该监控主机选用型号为IPC-630B兆芯平台工控机。
在一种可选的实施例中，所述基于外置的恒温源，对所述待测目标的体温数据进行校正，以得到体温检测结果，包括：根据所述恒温源设定的理论绝对温度和由所述红外热成像设备测得的所述恒温源的实际绝对温度，确定温度校正系数；根据所述温度校正系数，对所述待测目标的体温数据进行校正，以得到体温检测结果。
在有黑体仪校正的情况下，黑体的温度误差可以在±0.2℃；黑体高度在1-1.8米间，可以被多个红外热成像仪视场覆盖、采集校正使用。通过设置黑体能够有效的避免空气温湿度、气流、周边环境物体产生的红外辐射对体温数据的影响。从而保证了系统测量温度的稳定性，减少系统长期运行引起的测量误差。实际使用时，将外置黑体悬挂在视野的正前方，将其温度设定为室温，25℃，校正外界环境对红外测温的影响。
本发明提供了一种基于可见光与热红外双目成像的体温快速筛查方法，通过高清数字摄像头采集可见光图像，并对视频图像中的行人进行人脸定位，确定其面部额头区域。然后对可见光图像与热红外图像进行配准，确定图像变换矩阵，将可见光图像中的人脸框仿射变换到热红外图像对应的人脸位置上。创建测温模板，然后向红外热成像仪下发温度测量指令，获取测温模板内的温度结果。最后，采用外置黑体校正算法，获取最终的体温测量结果。
所述方法可实现对大范围内的人群进行实时体温监测，无需人员配合，即可自动发现体温异常的人员并进行报警，是一种高效且准确的疫情排查方法。同时该方法可解决图像快速且准确的配准的问题。
在一种可选的实施例中，所述方法还包括：根据预设的报警温度阈值范围，对所测得的人体体温进行报警温度判断；当所述体温检测温度结果大于或小于报警温度阈值范围时，进行报警并保存可见光图像至本地。如此能够实现对大范围人群中体温异常个体的快速筛选。在本实施例中，所述报警温度阈值范围为36℃～37℃。
第二方面，本发明提供一种基于可见光与热红外双目成像的红外体温检测系统200，结合图3，该基于可见光与热红外双目成像的红外体温检测系统200包括：
第一获取模块201，被配置为通过可见光采样设备实时获取目标区域的可见光图像，并通过目标检测算法模型确定可见光图像中的目标边界框，其中，一个目标边界框内包含一个待测目标的区域，在通过所述目标检测算法模型在学习待测样本特征的过程中，通过聚类分析确定最接近所述样本边界框的先验边界框，并将最接近所述样本边界框的先验边界框作为所述样本边界框；
第二获取模块202，被配置为通过红外热成像设备实时获取所述目标区域的热红外图像；
提取模块203，被配置为从所述可见光图像中提取可见光特征点，从所述热红外图像中提取热红外特征点，并根据所述可见光特征点和所述热红外特征点，分别计算所述可见光图像和所述热红外图像的变换矩阵，以完成所述可见光图像和所述热红外图像的配准；
创建模块204，被配置为根据所述可见光图像和所述热红外图像的配准结果，创建温度测量模板；
第三获取模块205，被配置为根据所述温度测量模板和所述目标边界框的位置，获取待测目标的体温数据；
校正模块206，被配置为基于外置的恒温源，对所述待测目标的体温数据进行校正，以得到体温检测结果。
在一种可选的实施例中，所述第一获取模块201包括：
分析子模块，被配置为对所述目标检测算法模型中的训练集的先验边界框做聚类分析，以确定多个适合于待测样本的候选边界框；
排序子模块，被配置为根据所述多个候选边界框的置信度大小，对所述多个候选边界框进行排序；
对比子模块，被配置为将置信度最高的候选边界框分别与其他的候选边界框进行对比，若对比的两个候选边界框之间的交叉面积大于预设的阈值，则将与置信度最高的候选边界框对比的候选边界框从所述多个候选边界框中剔除，并将保留下来的候选边界框作为样本边界框。
在一种可选的实施例中，所述提取模块203包括：
提取子模块，被配置为采用角点检测算法分别对所述可见光图像和所述热红外图像进行特征点提取，得到所述可见光特征点和所述热红外特征点；
匹配子模块，被配置为对所述可见光图像和所述热红外图像，分别以所述可见光特征点和所述热红外特征点为中心进行灰度窗归一化互相关，以对所述可见光特征点和所述热红外特征点进行初步特征匹配，得到初步匹配点；
划分子模块，被配置为采用随机抽样一致算法，并根据预设的允许误差范围将所有的初步匹配点分为内点和外点；
剔除子模块，被配置为剔除所述外点；
第一计算子模块，被配置为根据所述内点，计算所述可见光图像和所述热红外图像的变换矩阵；
第二计算子模块，被配置为通过图像配准算法，计算所述目标边界框在所述热红外图像中所对应的位置。
在一种可选的实施例中，所述校正模块206包括：
确定子模块，被配置为根据所述恒温源设定的理论绝对温度和由所述红外热成像设备测得的所述恒温源的实际绝对温度，确定温度校正系数；
校正子模块，被配置为根据所述温度校正系数，对所述待测目标的体温数据进行校正，以得到体温检测结果。
在一种可选的实施例中，所述红外体温检测系统200还包括：
判断模块，被配置为根据预设的报警温度阈值范围，对所测得的人体体温进行报警温度判断；
报警模块，被配置为当所述体温检测温度结果大于或小于报警温度阈值范围时，进行报警并保存可见光图像至本地。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种红外体温检测方法，其特征在于，包括：
通过可见光采样设备实时获取目标区域的可见光图像，并通过目标检测算法模型确定可见光图像中的目标边界框，其中，一个目标边界框内包含一个待测目标的区域，在通过所述目标检测算法模型在学习待测样本特征的过程中，通过聚类分析确定最接近所述样本边界框的先验边界框，并将最接近所述样本边界框的先验边界框作为所述样本边界框；
通过红外热成像设备实时获取所述目标区域的热红外图像；
从所述可见光图像中提取可见光特征点，从所述热红外图像中提取热红外特征点，并根据所述可见光特征点和所述热红外特征点，分别计算所述可见光图像和所述热红外图像的变换矩阵，以完成所述可见光图像和所述热红外图像的配准；
根据所述可见光图像和所述热红外图像的配准结果，创建温度测量模板；
根据所述温度测量模板和所述目标边界框的位置，获取待测目标的体温数据；
基于外置的恒温源，对所述待测目标的体温数据进行校正，以得到体温检测结果。
2.根据权利要求1所述的红外体温检测方法，其特征在于，所述通过聚类分析确定最接近所述样本边界框的先验边界框，并将最接近所述样本边界框的先验边界框作为所述样本边界框，包括：
对所述目标检测算法模型中的训练集的先验边界框做聚类分析，以确定多个适合于待测样本的候选边界框；
根据所述多个候选边界框的置信度大小，对所述多个候选边界框进行排序；
将置信度最高的候选边界框分别与其他的候选边界框进行对比，若对比的两个候选边界框之间的交叉面积大于预设的阈值，则将与置信度最高的候选边界框对比的候选边界框从所述多个候选边界框中剔除，并将保留下来的候选边界框作为样本边界框。
3.根据权利要求1所述的红外体温检测方法，其特征在于，所述从所述可见光图像中提取可见光特征点，从所述热红外图像中提取热红外特征点，并根据所述可见光特征点和所述热红外特征点，分别计算所述可见光图像和所述热红外图像的变换矩阵，以完成所述可见光图像和所述热红外图像的配准，包括：
采用角点检测算法分别对所述可见光图像和所述热红外图像进行特征点提取，得到所述可见光特征点和所述热红外特征点；
对所述可见光图像和所述热红外图像，分别以所述可见光特征点和所述热红外特征点为中心进行灰度窗归一化互相关，以对所述可见光特征点和所述热红外特征点进行初步特征匹配，得到初步匹配点；
采用随机抽样一致算法，并根据预设的允许误差范围将所有的初步匹配点分为内点和外点；
剔除所述外点；
根据所述内点，计算所述可见光图像和所述热红外图像的变换矩阵；
通过图像配准算法，计算所述目标边界框在所述热红外图像中所对应的位置。
4.根据权利要求1所述的红外体温检测方法，其特征在于，所述基于外置的恒温源，对所述待测目标的体温数据进行校正，以得到体温检测结果，包括：
根据所述恒温源设定的理论绝对温度和由所述红外热成像设备测得的所述恒温源的实际绝对温度，确定温度校正系数；
根据所述温度校正系数，对所述待测目标的体温数据进行校正，以得到体温检测结果。
5.根据权利要求1至4任一项所述的红外体温检测方法，其特征在于，所述方法还包括：
根据预设的报警温度阈值范围，对所测得的人体体温进行报警温度判断；
当所述体温检测温度结果大于或小于报警温度阈值范围时，进行报警并保存可见光图像至本地。
6.一种红外体温检测系统，其特征在于，包括：
第一获取模块，被配置为通过可见光采样设备实时获取目标区域的可见光图像，并通过目标检测算法模型确定可见光图像中的目标边界框，其中，一个目标边界框内包含一个待测目标的区域，在通过所述目标检测算法模型在学习待测样本特征的过程中，通过聚类分析确定最接近所述样本边界框的先验边界框，并将最接近所述样本边界框的先验边界框作为所述样本边界框；
第二获取模块，被配置为通过红外热成像设备实时获取所述目标区域的热红外图像；
提取模块，被配置为从所述可见光图像中提取可见光特征点，从所述热红外图像中提取热红外特征点，并根据所述可见光特征点和所述热红外特征点，分别计算所述可见光图像和所述热红外图像的变换矩阵，以完成所述可见光图像和所述热红外图像的配准；
创建模块，被配置为根据所述可见光图像和所述热红外图像的配准结果，创建温度测量模板；
第三获取模块，被配置为根据所述温度测量模板和所述目标边界框的位置，获取待测目标的体温数据；
校正模块，被配置为基于外置的恒温源，对所述待测目标的体温数据进行校正，以得到体温检测结果。
7.根据权利要求6所述的红外体温检测系统，其特征在于，所述第一获取模块包括：
分析子模块，被配置为对所述目标检测算法模型中的训练集的先验边界框做聚类分析，以确定多个适合于待测样本的候选边界框；
排序子模块，被配置为根据所述多个候选边界框的置信度大小，对所述多个候选边界框进行排序；
对比子模块，被配置为将置信度最高的候选边界框分别与其他的候选边界框进行对比，若对比的两个候选边界框之间的交叉面积大于预设的阈值，则将与置信度最高的候选边界框对比的候选边界框从所述多个候选边界框中剔除，并将保留下来的候选边界框作为样本边界框。
8.根据权利要求6所述的红外体温检测系统，其特征在于，所述提取模块包括：
提取子模块，被配置为采用角点检测算法分别对所述可见光图像和所述热红外图像进行特征点提取，得到所述可见光特征点和所述热红外特征点；
匹配子模块，被配置为对所述可见光图像和所述热红外图像，分别以所述可见光特征点和所述热红外特征点为中心进行灰度窗归一化互相关，以对所述可见光特征点和所述热红外特征点进行初步特征匹配，得到初步匹配点；
划分子模块，被配置为采用随机抽样一致算法，并根据预设的允许误差范围将所有的初步匹配点分为内点和外点；
剔除子模块，被配置为剔除所述外点；
第一计算子模块，被配置为根据所述内点，计算所述可见光图像和所述热红外图像的变换矩阵；
第二计算子模块，被配置为通过图像配准算法，计算所述目标边界框在所述热红外图像中所对应的位置。
9.根据权利要求6所述的红外体温检测系统，其特征在于，所述校正模块包括：
确定子模块，被配置为根据所述恒温源设定的理论绝对温度和由所述红外热成像设备测得的所述恒温源的实际绝对温度，确定温度校正系数；
校正子模块，被配置为根据所述温度校正系数，对所述待测目标的体温数据进行校正，以得到体温检测结果。
10.根据权利要求6至9任一项所述的红外体温检测系统，其特征在于，所述系统还包括：
判断模块，被配置为根据预设的报警温度阈值范围，对所测得的人体体温进行报警温度判断；
报警模块，被配置为当所述体温检测温度结果大于或小于报警温度阈值范围时，进行报警并保存可见光图像至本地。
CN202011421109.4A 2020-12-10 2020-12-10 红外体温检测方法及系统 Active CN112418251B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011421109.4A CN112418251B (zh) 2020-12-10 2020-12-10 红外体温检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011421109.4A CN112418251B (zh) 2020-12-10 2020-12-10 红外体温检测方法及系统

Publications (2)

Publication Number Publication Date
CN112418251A true CN112418251A (zh) 2021-02-26
CN112418251B CN112418251B (zh) 2024-02-13

Family

ID=74775193

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011421109.4A Active CN112418251B (zh) 2020-12-10 2020-12-10 红外体温检测方法及系统

Country Status (1)

Country Link
CN (1) CN112418251B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114973310A (zh) * 2022-04-06 2022-08-30 国网智慧能源交通技术创新中心(苏州)有限公司 一种基于红外热成像的被动人体定位方法及系统
CN115965843A (zh) * 2023-01-04 2023-04-14 长沙观谱红外科技有限公司 一种可见光和红外图像融合方法
CN116385480A (zh) * 2023-02-03 2023-07-04 腾晖科技建筑智能(深圳)有限公司 一种针对塔吊下方运动目标的检测方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104364636A (zh) * 2012-06-22 2015-02-18 霍夫曼-拉罗奇有限公司 用于检测体液中的分析物的方法和器件
US20160343133A1 (en) * 2014-07-04 2016-11-24 Arc Devices Limited Non-Touch Optical Detection of Vital Signs From Variation Amplification Subsequent to Multiple Frequency Filters
CN108353128A (zh) * 2015-10-27 2018-07-31 富士胶片株式会社 摄像系统以及对象检测装置及其工作方法
CN110060272A (zh) * 2018-01-18 2019-07-26 杭州海康威视数字技术股份有限公司 人脸区域的确定方法、装置、电子设备及存储介质
CN111209810A (zh) * 2018-12-26 2020-05-29 浙江大学 向可见光与红外图像准确实时行人检测的边界框分割监督深度神经网络架构
CN111341461A (zh) * 2020-02-24 2020-06-26 中国船舶重工集团公司第七一七研究所 红外疫情智能综合检测识别系统
CN111623883A (zh) * 2020-05-26 2020-09-04 成都电科崇实科技有限公司 一种可见光图像与红外图像相结合的目标测温的方法
CN211477416U (zh) * 2020-03-26 2020-09-11 吉林省中业光电技术有限公司 红外人体温度测量系统
CN111938606A (zh) * 2020-08-05 2020-11-17 光谷技术股份公司 一种基于红外热成像的体温检测方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104364636A (zh) * 2012-06-22 2015-02-18 霍夫曼-拉罗奇有限公司 用于检测体液中的分析物的方法和器件
US20160343133A1 (en) * 2014-07-04 2016-11-24 Arc Devices Limited Non-Touch Optical Detection of Vital Signs From Variation Amplification Subsequent to Multiple Frequency Filters
CN108353128A (zh) * 2015-10-27 2018-07-31 富士胶片株式会社 摄像系统以及对象检测装置及其工作方法
CN110060272A (zh) * 2018-01-18 2019-07-26 杭州海康威视数字技术股份有限公司 人脸区域的确定方法、装置、电子设备及存储介质
CN111209810A (zh) * 2018-12-26 2020-05-29 浙江大学 向可见光与红外图像准确实时行人检测的边界框分割监督深度神经网络架构
CN111341461A (zh) * 2020-02-24 2020-06-26 中国船舶重工集团公司第七一七研究所 红外疫情智能综合检测识别系统
CN211477416U (zh) * 2020-03-26 2020-09-11 吉林省中业光电技术有限公司 红外人体温度测量系统
CN111623883A (zh) * 2020-05-26 2020-09-04 成都电科崇实科技有限公司 一种可见光图像与红外图像相结合的目标测温的方法
CN111938606A (zh) * 2020-08-05 2020-11-17 光谷技术股份公司 一种基于红外热成像的体温检测方法及系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114973310A (zh) * 2022-04-06 2022-08-30 国网智慧能源交通技术创新中心(苏州)有限公司 一种基于红外热成像的被动人体定位方法及系统
CN114973310B (zh) * 2022-04-06 2024-06-07 国网智慧能源交通技术创新中心(苏州)有限公司 一种基于红外热成像的被动人体定位方法及系统
CN115965843A (zh) * 2023-01-04 2023-04-14 长沙观谱红外科技有限公司 一种可见光和红外图像融合方法
CN115965843B (zh) * 2023-01-04 2023-09-29 长沙观谱红外科技有限公司 一种可见光和红外图像融合方法
CN116385480A (zh) * 2023-02-03 2023-07-04 腾晖科技建筑智能(深圳)有限公司 一种针对塔吊下方运动目标的检测方法及系统
CN116385480B (zh) * 2023-02-03 2023-10-20 腾晖科技建筑智能(深圳)有限公司 一种针对塔吊下方运动目标的检测方法及系统

Also Published As

Publication number Publication date
CN112418251B (zh) 2024-02-13

Similar Documents

Publication Publication Date Title
CN112418251B (zh) 红外体温检测方法及系统
CN110110629B (zh) 面向室内环境控制的人员信息检测方法与系统
CN111914635B (zh) 人体测温方法、装置、系统和电子设备
JP4742168B2 (ja) ビデオ監視カメラが検出した対象物の特性を識別する方法および機器
CN111339951A (zh) 体温测量方法、装置及系统
CN111458039B (zh) 基于红外测温摄像头的增强现实的体温测量方法和装置
CN111579083B (zh) 基于红外图像人脸检测的体温测量的方法和装置
CN111426388A (zh) 人员体温测量方法、系统、计算机存储介质及电子设备
CN111047568A (zh) 一种漏汽缺陷检测识别方法及系统
CN112232279A (zh) 一种人员间距检测方法和装置
JP6444283B2 (ja) 姿勢判定装置
CN111323125B (zh) 一种测温方法、装置及计算机存储介质、电子设备
JP7334432B2 (ja) 物体追跡装置、監視システムおよび物体追跡方法
CN112541403B (zh) 一种利用红外摄像头的室内人员跌倒检测方法
Iraqui et al. Fusion of omnidirectional and ptz cameras for face detection and tracking
CN113052869A (zh) 一种基于智慧ai测温的轨迹跟踪方法、系统及存储介质
CN111652314A (zh) 温度检测方法、装置、计算机设备和存储介质
JP2010217984A (ja) 像検出装置及び像検出方法
CN113749646A (zh) 基于单目视觉的人体身高测量方法、装置及电子设备
JP2008236276A (ja) カメラ装置
JP2021189946A (ja) 検出装置、検出方法及び検出プログラム
Munawar et al. Fire detection through Image Processing; A brief overview
US20220283043A1 (en) Apparatus and method for measuring body temperature by recognizing the face
US20220156977A1 (en) Calibration apparatus, calibration method, and non-transitory computer readable medium storing program
CN112784703B (zh) 一种基于多光谱的人员行动轨迹确定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230703

Address after: 518057 1701, Yanxiang science and technology building, 31 Gaoxin middle Fourth Road, Maling community, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province

Applicant after: Yanxiang smart IOT Technology Co.,Ltd.

Address before: No.1, Yanxiang Zhigu chuangxiangdi, No.11, Gaoxin Road, Guangming New District, Shenzhen, Guangdong 518107

Applicant before: EVOC INTELLIGENT TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant