CN112924037A - 基于图像配准的红外体温检测系统及检测方法 - Google Patents

基于图像配准的红外体温检测系统及检测方法 Download PDF

Info

Publication number
CN112924037A
CN112924037A CN202110219349.4A CN202110219349A CN112924037A CN 112924037 A CN112924037 A CN 112924037A CN 202110219349 A CN202110219349 A CN 202110219349A CN 112924037 A CN112924037 A CN 112924037A
Authority
CN
China
Prior art keywords
image
data
infrared
true color
list
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110219349.4A
Other languages
English (en)
Inventor
李明亮
周永旭
李宏伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei GEO University
Original Assignee
Hebei GEO University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei GEO University filed Critical Hebei GEO University
Priority to CN202110219349.4A priority Critical patent/CN112924037A/zh
Publication of CN112924037A publication Critical patent/CN112924037A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
    • G01J5/0025—Living bodies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077—Imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于计算机视觉应用领域，公开了一种基于图像配准的红外体温检测系统及检测方法，该系统包括图像采集模块、数据处理模块和输出模块，图像采集模块为红外测温摄像头和真彩色摄像头组成的双目摄像头，双目摄像头与数据处理模块连接，数据处理模块与输出模块连接。该方法包括图像数据采集、图像检测及提示、图像数据处理、图像配准融合、输出测温结果等步骤。本发明的检测系统，运行成本低，在无网络环境下也能正常使用，而且可以提醒戴帽人员脱帽测温，修正了系统性误差，使得检测的温度数据更加准确；本发明的检测方法，使得目标红外测温区域的定位更加精准和检测的温度更加准确。本发明适用于公共区域活动人员的体温探测。

Description

基于图像配准的红外体温检测系统及检测方法
技术领域
本发明属于计算机视觉应用领域，涉及体温检测，具体地说是一种基于图像配准的红外体温检测系统及检测方法。
背景技术
红外成像技术是探测公共区域活动人员中各种人员表面辐射体温的不为人眼所见的红外线的技术，公共区域活动人员的体温信息可以通过红外图像B进行有效反映。
红外探测器的厂家通常会在热红外图像B上添加比色条，比色条作为热红外图像B的标注，对应图像中温度的最高点与最低点，理论上可以将每个像素与比色条对应并获取相应的温度值，由于实际应用场景中可能存在测温区边缘地带温度明显低于正常温度值的现象，使得最终提取到的人脸额部区域的温度值出现较大偏差。
卷积神经网络(CNNs)凭借优秀的特征提取能力成为近年来的热门研究方向，许多方法利用已构建好的CNNs完成对图像像素点的预测分类，显著提高了语义分割的准确度，在高分辨率大目标的分割任务中取得了较好的效果。因此，将卷积神经网络应用到红外成像体温检测中具有重大意义。
发明内容
本发明的目的，是要提供一种基于图像配准的红外体温检测系统及检测方法，以解决现有技术红外测温系统测温数据不准确的问题。
本发明为实现上述目的，所采用的技术方法如下：
一种基于图像配准的红外体温检测系统，包括图像采集模块、数据处理模块和输出模块，图像采集模块为红外测温摄像头和真彩色摄像头组成的双目摄像头，双目摄像头与数据处理模块连接，数据处理模块与输出模块连接。
作为限定：数据处理模块包括处理器、并行处理器、内存、存储器以及为数据处理模块提供硬件环境的外围电路，处理器与双目摄像头连接，处理器接收双目摄像头发送的图像数据，处理器与内存连接，内存分别与存储器和并行处理器连接；输出模块包括显示显示当前的测温数据、错误数据、视频监控的显示单元，以及语音提示戴帽人员脱帽检测的语音提示单元，显示单元与并行处理器连接，语音提示单元与处理器连接。
作为进一步限定：基于图像配准的红外体温检测系统还包括放置在双目摄像头可采集到的区域内的温度黑体，用于修正红外摄像头采集时产生的系统性误差。
作为更进一步限定：数据处理模块采用Nvidia Jetson NANO核心板。
本发明还提供了基于图像配准的红外体温检测系统的一种检测方法，按照以下步骤进行：
S1、使用双目摄像头拍摄得到红外图像B和真彩色图像A，并发送至数据处理模块；
S2、数据处理模块对真彩色图像A进行检测，将检测到的戴帽人员的人脸区域定位数据剔除，保留不戴帽人员的人脸区域定位数据ALN，同时通过输出模块提示戴帽人员脱帽测温；
S3、数据处理模块对真彩色图像A和红外图像B进行图像处理；
S4、数据处理模块提取真彩色图像A和红外图像B中的特征点，将真彩色图像A和红外图像B中的高匹配度的特征点位置生成仿射变换矩阵，再将真彩色图像A和红外图像B进行图像配准融合，得到图像C，数据融合，输出带有额部精确定位的图像D及温度数值列表TL；
S5、数据处理模块提取温度数值列表中每块额部区域的温度数值的加权平均数作为最终的测温结果。
作为限定：步骤S2中的采用YOLO网络对真彩色图像A进行检测，检测真彩色图像A中人脸的位置及其是否戴帽，并输出人脸区域的定位数据与其相对应的戴帽状态信息的二维列表AL。
作为进一步限定：YOLO网络的具体结构为：输入的图像经过五次卷积和四次池化后，再进行三次卷积与两次池化，之后再经过反卷积得到的图像，与输入图像经过五次卷积和四次池化后得到的图像融合，然后再进行两次卷积后，再经过全连接层，得到YOLO网络的结果；同样，将输入的图像经过五次卷积和四次池化后，再进行三次卷积与两次池化，之后再经过两次卷积后进入全连接层，得到YOLO网络的结果；YOLO网络的训练过程为：采集人流视频图像数据，使用labelimg工具分类标注出图像数据中的正常人脸目标与戴帽目标，并生成标签文件，再使用Python工具将标签文件转换为YOLOv3 Tiny网络可读取的标签；划分图像数据及其对应的标签为训练集和测试集，图像数据及其对应的标签一一对应保存；配置YOLOv3 Tiny网络的初始训练参数，并加载YOLOv3 Tiny的预训练权重，使用训练集训练YOLO网络，使用测试集测试YOLO网络对人脸目标的检测结果是否符合预期，若不符合预期，则调整YOLO网络参数后重新加载预训练权重，合并训练集和测试集，并添加随机噪声和模拟光线干扰，再重新划分出新的训练集和测试集，对YOLO网络进行训练和测试，直至检测结果符合预期。
作为另一种限定：步骤S3中真彩色图像A和红外图像B的图像处理具体步骤为：
S31、将真彩色图像A上不戴帽人员的人脸区域截去并存储为图像块，得到只包含不戴帽人员的人脸图像序列pic_clip_list；
S32、将只包含不戴帽人员的人脸图像序列pic_clip_list通过填充和缩放的形式调整为统一的分辨率大小，并对应每个图像块存储其变换数据，得到数据列表TRANS-list；将只包含不戴帽人员的人脸图像序列输入至SegNet Basic语义分割网络，分割图像块中的额部区域，并输出为由点组成的区域，得到分割定位数据列表ADL；
S33、使用数据列表TRANS-list将分割定位数据列表ADL中的定位数据映射到与真彩色图像A相同的坐标系中，得到与真彩色图像A相匹配的定位数据列表MASK；
S34、采用双线性差值的方法将红外图像B的分辨率放大或缩小至与真彩色图像A的分辨率相同的大小。
作为限定：步骤S4中采用特征点匹配算法得到真彩色图像A和红外图像B的高匹配度的多个特征点，真彩色图像A和红外图像B的图像配准采用的方法为SIFT图像配准方法，并将定位数据列表MASK映射至图像配准融合后的图像C，输出带有额部精确定位的图像D及温度数值列表TL。
作为进一步限定：图像配准的方法为：采用基于学习的特征点的FAST算法对场景中多张图片进行学习，建立决策树，然后利用FAST决策树对SIFT中高斯差分金字塔进行特征点的提取；再使用SIFT算法中提取的红外图像B特征点作为观测数据，选择多组观测数据中的特征点，计算出单应矩阵，对所有的特征点集中求点对到单应矩阵的垂直距离，得到符合距离小于阈值的所有内点，重复上述过程，当内点对数占所有特征点对数的95％以上时，得出最大的内点对集合，再根据最大的内点对集合中相邻点对的映射参数，将红外图像B与真彩色图像A进行融合，得到图像C。
本发明由于采用了上述方案，与现有技术相比，所取得的有益效果是：
(1)本发明提供的基于图像配准的红外体温检测系统，通过整体运行于嵌入式平台，运行成本低，在无网络环境下也能正常使用，而且可以提醒戴帽人员脱帽测温；采用真彩色摄像头和红外摄像头结合的双目摄像头采集图像数据，进行图像融合，获得较为准确的温度数据；此外，在双目摄像头采集区域放置有温度黑体，修正了双目摄像头采集图像数据时所产生的系统性误差，使得检测的温度数据更加准确；
(2)本发明提供的检测方法，通过YOLO网络检测人员是否戴帽，剔除戴帽人员的数据，使得检测的数据更加准确；通过语义分割网络分割定位额部测温区域，定位精确；通过SIFT图像配准方法，将红外图像B和真彩色图像A配准，使得红外图像B和真彩色图像A的特征区域位置对应准确；通过将真彩色图像A的定位数据映射至融合后图像，使得目标红外测温区域的定位更加精准和检测的温度更加准确。
本发明适用于公共区域活动人员的体温探测。
附图说明
下面结合附图及具体实施例对本发明作更进一步详细说明。
图1为本发明实施例的红外体温检测系统结构框图；
图2为本发明实施例的红外体温检测系统安装示意图；
图3为本发明实施例的红外体温检测方法的流程图；
图4为本发明实施例的YOLO网络的结构示意图；
图5为本发明实施例YOLO网络的训练过程流程图；
图6为本发明实施例FAST算法的图示；
图7为本发明实施决策树模型示意图；
图8为本发明实施SegNet Basic语义分割网络示意图；
图中：1、图像采集模块；2、数据处理模块；3、输出模块；4、温度黑体；5、被测人员。
具体实施方式
下面结合实施例对本发明作进一步说明，但本领域的技术人员应当理解，本发明并不限于以下实施例，任何在本发明具体实施例基础上做出的改进和等效变化，都在本发明权利要求保护的范围之内。
实施例 基于图像配准的红外体温检测系统及检测方法
一种基于图像配准的红外体温检测系统,如图1和图2所示，包括图像采集模块1、数据处理模块2、输出模块3和温度黑体4，图像采集模块1为红外测温摄像头和真彩色摄像头组成的双目摄像头，用于采集被测人员5的图像信息，数据处理模块2包括处理器、并行处理器、内存、存储器以及为数据处理模块2提供硬件环境的外围电路，处理器与双目摄像头连接，处理器接收双目摄像头发送的图像数据，处理器与内存连接，内存分别与存储器和并行处理器连接；输出模块3包括显示当前的测温数据、错误数据、视频监控的显示单元，以及语音提示戴帽人员脱帽检测的语音提示单元，显示单元与并行处理器连接，语音提示单元与处理器连接；温度黑体4放置在双目摄像头可采集到的区域内，用于修正红外摄像头采集时产生的系统性误差。
本实施例中数据处理模块2采用Nvidia Jetson NANO核心板，板载64位4核Cortex-A57处理器、128核心GPU并行处理器和4GB内存。
基于图像配准的红外体温检测系统的检测方法，其流程图如图3所示，按照以下步骤进行：
S1、使用双目摄像头拍摄得到红外图像B和真彩色图像A，并发送至数据处理模块2；
S2、数据处理模块2中采用YOLO网络对真彩色图像A进行检测，检测真彩色图像A中人脸的位置及其是否戴帽，并输出人脸区域的定位数据与其相对应的戴帽状态信息的二维列表AL，AL中的数据存储形式如下所示：
AL＝[[x1,y1,h1,w1,s1],[x2,y2,h2,w2,s2],…,[xn,yn,hn,wn,sn]]
以真彩色图像A建立坐标系，以图的左上角为原点，x表示YOLO网络输出的横向坐标值，y表示YOLO网络输出的纵向坐标值，h表示人脸检测框的高度，w表示人脸检测框的宽度，n表示人脸检测框的编号，s表示被测人员5的戴帽状态，若被测人员不戴帽，则输出为true，若被测人员戴帽，则输出为false；
将检测到的戴帽人员的人脸区域定位数据剔除，保留不戴帽人员的人脸区域定位数据ALN，同时通过输出模块3提示戴帽人员脱帽测温；
YOLO网络是一个实时目标检测系统，就是在输入数据中查找特定的目标，将物体检测作为回归问题求解，基于一个单独的end-to-end网络，完成从原始图像的输入到物体位置和类别的输出。本实施例中YOLO网络的具体结构如图4所示，输入的图像为832*832，将图像经过5次卷积和4次池化后得到52*52*256的图像，将52*52*256的图像的特征图再进行3次卷积与2次池化得到26*26*256的图像，将26*26*256的图像经过反卷积得到与52*52*256的图像相同的维度参数的52*52*128的图像，将两幅图融合得到52*52*384的图像数据，然后再进行两次卷积得到52*52*18的特征图，然后经过全连接层，得到YOLO网络的结果；同样将26*26*256的图像的特征图经过两次卷积后进入全连接层，得到YOLO网络的结果。
YOLO网络的训练过程如图5所示，具体为：采集人流视频图像数据，采集时间跨度需要覆盖14个小时以上，剔除数据图像中过于模糊、曝光异常、异常拉抻等问题的图像，得到图像信息较为准确的图像数据集，使用labelimg工具分类标注出图像数据集中的正常人脸目标与戴帽目标，并生成标签文件，再使用Python工具将标签文件转换为YOLOv3 Tiny网络可读取的标签，标签文件中存在目标类别、目标坐标等信息；整理并核查图像数据集的完整性，将图像数据集及其对应的标签以8:2的比例随机划分为训练集和测试集，图像数据集及其对应的标签一一对应保存；配置YOLOv3 Tiny网络的初始训练参数，并加载YOLOv3Tiny的预训练权重，使用训练集训练YOLO网络，使用测试集测试YOLO网络对人脸目标的检测结果是否符合预期，若不符合预期，则调整YOLO网络参数后重新加载预训练权重，合并训练集和测试集，并添加随机噪声和模拟光线干扰，再重新以8:2的比例随机划分出新的训练集和测试集，对YOLO网络进行训练和测试，直至检测结果符合预期；
S3、数据处理模块2对真彩色图像A和红外图像B进行图像处理，具体步骤为：
S31、将真彩色图像A上不戴帽人员的人脸区域截去并存储为图像块，得到只包含不戴帽人员的人脸图像序列pic_clip_list：
pic_clip_list＝{图像1，图像2，……图像n}；
S32、将只包含不戴帽人员的人脸图像序列pic_clip_list通过填充和缩放的形式调整为统一的分辨率大小，并对应每个图像块存储其变换数据，得到数据列表TRANS-list：
TRANS-list＝{图像1缩放、填充参数，图像2缩放、填充参数，……图像n缩放、填充参数}；
将只包含不戴帽人员的人脸图像序列pic_clip_list输入至SegNet Basic语义分割网络，分割图像块中的额部区域，并输出为由点组成的区域，得到分割定位数据列表ADL：
ADL＝{图像块1定位数据，图像块2定位数据……图像块n定位数据}(基于各个图像块坐标)；
S33、使用数据列表TRANS-list将分割定位数据列表ADL中的定位数据映射到与真彩色图像A相同的坐标系中，得到与真彩色图像A相匹配的定位数据列表MASK：
MASK＝{图像块1定位数据，图像块2定位数据……图像块n定位数据}(基于真彩色图像A坐标)；
S34、采用双线性差值的方法将红外图像B的分辨率放大或缩小至与真彩色图像A的分辨率相同的大小；
S4、数据处理模块2提取真彩色图像A和红外图像B中的特征点，采用特征点匹配算法得到真彩色图像A和红外图像B的匹配度最高的5个特征点，滤除低匹配度的特征点，将真彩色图像A和红外图像B中的高匹配度的特征点位置生成仿射变换矩阵，再采用SIFT图像配准方法将真彩色图像A和红外图像B进行图像配准融合，将定位数据列表MASK映射至图像配准融合后的图像C，输出带有额部精确定位的图像D及温度数值列表TL；
图像配准的具体过程为：
采用基于学习的特征点的FAST算法对场景中多张图片进行学习，建立决策树，然后利用FAST决策树对SIFT中高斯差分金字塔进行特征点的提取；
FAST算法为判断一点是否为特征点的算法，如图6所示，以该点为中心画圆，该圆中的16个像素点中最少有N个连续像素点满足都比Ip+t大或者都比Ip+t小，则该点为特征点，其中Ip是该p点的灰度值，t则是一个阈值，而在本实施例中N值设置为12，。
S41、首先在检测场景多张图的角点提取择合适的阈值和N值，提取出的特征点作为训练数据，从圆周16个像素位置中选择一个对特征点进行划分。
Figure BDA0002953963160000081
对每个特征点设定一个bool变量Kp意为判定角点，当Kp为true时为角点。
S42、对步骤(1)中特征点进行训练，使用ID3算法建立决策树，使用第x个像素点进行决策树的划分，那么集合P得到熵K：
Figure BDA0002953963160000091
其中c是角点个数，
Figure BDA0002953963160000092
为非角点个数，由此可得到信息增益为
H(P)-H(Pd)-H(PS)-H(Pb)
S43、然后递归计算所有子集直到熵为0，从而建立决策树模型，如图7所示。
S44、为了优化速度，令xd、xs、xb相等，选择第二个检测时只需对两个位置点进行比较，可排除绝大多数点，决策树能够根据给定的阈值比较高效地判定为角点
S45、利用[ANSAC算法筛选误点，随机抽样一致算法(Random Sample Consensus，即RANSAC)是一种利用采样验证的方法找出特征点匹配，使用迭代方法估计数学模型的参数；
S46、使用SIFT算法中提取的红外图像B特征点为观测数据，对均匀缩放的观测数据点的坐标进行计算，使其更具稳定性，
Figure BDA0002953963160000093
Figure BDA0002953963160000094
其中(xi，yi)表示像素点坐标，
Figure BDA0002953963160000095
表示数据点集的中心坐标，
Figure BDA0002953963160000096
为平均距离，
Figure BDA0002953963160000097
表示归一化后像素点坐标；
S47、从特征点中随机选择6对观测数据中的特征点，计算出单应矩阵Hi，对所有的特征点集中求点对到Hi的垂直距离d，判断符合距离小于阈值的所有内点；
S48、重复步骤S46和S47，当内点对数占所有特征点对数的95％以上时，得出最大的内点对集合，再根据最大的内点对集合中相邻点对的映射参数，将红外图像B与真彩色图像A进行融合，得到图像C；
S5、数据处理模块2提取温度数值列表中每块额部区域的温度数值的加权平均数作为最终的测温结果。
本实施例中SegNet Basic语义分割网络可以对图像中的物体所在区域进行分割，例如车、马路、行人等，并且精确到像素级别。图像分割的实现由一个卷积神经网络构成，该网络主要有两部分组成：Encoder与Decoder，Encoder主要对物体信息进行解析，Decoder将解析后的信息对应成最终的图像形式，即每个像素都用对应其物体信息的颜色(或者是label)来表示。如图8所示，SegNet Basic语义分割网络是一个由Encoder(左)和Decoder(右)组成的对称网络，输入一张RGB图像后，网络根据图像中物体的语义信息，把图像中的物体进行分类(例如，“马路”，“汽车”，“楼房”等)，最后生成一张分割图像。与SSD图像检测生成的bounding box相比，图像分割可以对物体生成更加精准的二维区域信息。SegNetBasic语义分割网络中的Encoder本身其实就是一连串的卷积网络，该网络主要由卷积层，池化层和BatchNormalization层组成，卷积层负责获取图像局域特征，池化层对图像进行下采样并且将尺度不变特征传送到下一层，而BatchNormalization主要对训练图像的分布归一化，加速学习。SegNet Basic语义分割网络Encoder获取了所有的物体信息与大致的位置信息，Decoder将这些物体对应到具体的像素点上，Decoder对缩小后的特征图像进行上采样，然后对上采样后的图像进行反卷积处理，目的是完善物体的几何形状，弥补Encoder当中池化层将物体缩小造成的细节损失。
本实施例对比传统热成像测温检测取景区域内的温度最高点，是基于图像分割的测温方式，能够准确的定位目标测温区域，能够避免非人类高温物体对测温系统的干扰；额部区域分割后配准，相比于现有的人脸检测与固定量偏移方式结合选取额部测温点的方法，使用分割区域内的多个点加权计算得到测温数值，使得测温数值更具有一般性，并且现有的人脸检测与固定量偏移方式结合选取额部测温点的方法还有可能因为测温点选取在帽子等其他物体遮挡的位置而造成测温数值没有意义，而本实施例会将戴帽子的数据剔除，此外，本实施例的测温方法可以适应不同人的额部区域，若一部分额部被遮挡，本实施例可以只分割额部暴露的位置，测定区域平均温度，而现有的人脸检测和额部区域框结合测得面温度的方法，也会因为额部一部分被遮挡而导致计算出的温度数据偏低。

Claims (10)

1.一种基于图像配准的红外体温检测系统，其特征在于，包括图像采集模块、数据处理模块和输出模块，图像采集模块为红外测温摄像头和真彩色摄像头组成的双目摄像头，双目摄像头与数据处理模块连接，数据处理模块与输出模块连接。
2.根据权利要求1所述的基于图像配准的红外体温检测系统，其特征在于，数据处理模块包括处理器、并行处理器、内存、存储器以及为数据处理模块提供硬件环境的外围电路，处理器与双目摄像头连接，处理器接收双目摄像头发送的图像数据，处理器与内存连接，内存分别与存储器和并行处理器连接；输出模块包括显示显示当前的测温数据、错误数据、视频监控的显示单元，以及语音提示戴帽人员脱帽检测的语音提示单元，显示单元与并行处理器连接，语音提示单元与处理器连接。
3.根据权利要求1或2所述的基于图像配准的红外体温检测系统，其特征在于，基于图像配准的红外体温检测系统还包括放置在双目摄像头可采集到的区域内的温度黑体，用于修正红外摄像头采集时产生的系统性误差。
4.根据权利要求1所述的基于图像配准的红外体温检测系统，其特征在于，数据处理模块采用Nvidia Jetson NANO核心板。
5.权利要求1-4中任意一项所述的基于图像配准的红外体温检测系统的一种检测方法，其特征在于，按照以下步骤进行：
S1、使用双目摄像头拍摄得到红外图像B和真彩色图像A，并发送至数据处理模块；
S2、数据处理模块对真彩色图像A进行检测，将检测到的戴帽人员的人脸区域定位数据剔除，保留不戴帽人员的人脸区域定位数据ALN，同时通过输出模块提示戴帽人员脱帽测温；
S3、数据处理模块对真彩色图像A和红外图像B进行图像处理；
S4、数据处理模块提取真彩色图像A和红外图像B中的特征点，将真彩色图像A和红外图像B中的高匹配度的特征点位置生成仿射变换矩阵，再将真彩色图像A和红外图像B进行图像配准融合，得到图像C，数据融合，输出带有额部精确定位的图像D及温度数值列表TL；
S5、数据处理模块提取温度数值列表中每块额部区域的温度数值的加权平均数作为最终的测温结果。
6.根据权利要求5所述的检测方法，其特征在于，步骤S2中的采用YOLO网络对真彩色图像A进行检测，检测真彩色图像A中人脸的位置及其是否戴帽，并输出人脸区域的定位数据与其相对应的戴帽状态信息的二维列表AL。
7.根据权利要求6所述的检测方法，其特征在于，YOLO网络的具体结构为：输入的图像经过五次卷积和四次池化后，再进行三次卷积与两次池化，之后再经过反卷积得到的图像，与输入图像经过五次卷积和四次池化后得到的图像融合，然后再进行两次卷积后，再经过全连接层，得到YOLO网络的结果；同样，将输入的图像经过五次卷积和四次池化后，再进行三次卷积与两次池化，之后再经过两次卷积后进入全连接层，得到YOLO网络的结果；
YOLO网络的训练过程为：采集人流视频图像数据，使用labelimg工具分类标注出图像数据中的正常人脸目标与戴帽目标，并生成标签文件，再使用Python工具将标签文件转换为YOLOv3 Tiny网络可读取的标签；划分图像数据及其对应的标签为训练集和测试集，图像数据及其对应的标签一一对应保存；配置YOLOv3 Tiny网络的初始训练参数，并加载YOLOv3Tiny的预训练权重，使用训练集训练YOLO网络，使用测试集测试YOLO网络对人脸目标的检测结果是否符合预期，若不符合预期，则调整YOLO网络参数后重新加载预训练权重，合并训练集和测试集，并添加随机噪声和模拟光线干扰，再重新划分出新的训练集和测试集，对YOLO网络进行训练和测试，直至检测结果符合预期。
8.根据权利要求5-7中任意一项所述的检测方法，其特征在于，步骤S3中真彩色图像A和红外图像B的图像处理具体步骤为：
S31、将真彩色图像A上不戴帽人员的人脸区域截去并存储为图像块，得到只包含不戴帽人员的人脸图像序列pic_clip_list；
S32、将只包含不戴帽人员的人脸图像序列pic_clip_list通过填充和缩放的形式调整为统一的分辨率大小，并对应每个图像块存储其变换数据，得到数据列表TRANS-list；将只包含不戴帽人员的人脸图像序列输入至SegNet Basic语义分割网络，分割图像块中的额部区域，并输出为由点组成的区域，得到分割定位数据列表ADL；
S33、使用数据列表TRANS-list将分割定位数据列表ADL中的定位数据映射到与真彩色图像A相同的坐标系中，得到与真彩色图像A相匹配的定位数据列表MASK；
S34、采用双线性差值的方法将红外图像B的分辨率放大或缩小至与真彩色图像A的分辨率相同的大小。
9.根据权利要求8所述的检测方法，其特征在于，步骤S4中采用特征点匹配算法得到真彩色图像A和红外图像B的高匹配度的多个特征点，真彩色图像A和红外图像B的图像配准采用的方法为SIFT图像配准方法，并将定位数据列表MASK映射至图像配准融合后的图像C,带有额部精确定位的图像D及温度数值列表TL。
10.根据权利要求9所述的检测方法，其特征在于，图像配准的方法为：采用基于学习的特征点的FAST算法对场景中多张图片进行学习，建立决策树，然后利用FAST决策树对SIFT中高斯差分金字塔进行特征点的提取；再使用SIFT算法中提取的红外图像B特征点作为观测数据，选择多组观测数据中的特征点，计算出单应矩阵，对所有的特征点集中求点对到单应矩阵的垂直距离，得到符合距离小于阈值的所有内点，重复上述过程，当内点对数占所有特征点对数的95%以上时，得出最大的内点对集合，再根据最大的内点对集合中相邻点对的映射参数，将红外图像B与真彩色图像A进行融合，得到图像C。
CN202110219349.4A 2021-02-26 2021-02-26 基于图像配准的红外体温检测系统及检测方法 Pending CN112924037A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110219349.4A CN112924037A (zh) 2021-02-26 2021-02-26 基于图像配准的红外体温检测系统及检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110219349.4A CN112924037A (zh) 2021-02-26 2021-02-26 基于图像配准的红外体温检测系统及检测方法

Publications (1)

Publication Number Publication Date
CN112924037A true CN112924037A (zh) 2021-06-08

Family

ID=76172340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110219349.4A Pending CN112924037A (zh) 2021-02-26 2021-02-26 基于图像配准的红外体温检测系统及检测方法

Country Status (1)

Country Link
CN (1) CN112924037A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113420702A (zh) * 2021-07-03 2021-09-21 深圳市迈斯泰克电子有限公司 基于人脸进行温度检测的方法、装置、系统以及存储介质
CN114034397A (zh) * 2021-11-04 2022-02-11 建科环能科技有限公司 非侵入式人体温感检测方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103413326A (zh) * 2013-08-12 2013-11-27 上海盈方微电子股份有限公司 Fast approximated SIFT算法中特征点检测方法及装置
CN106897723A (zh) * 2017-02-20 2017-06-27 中国人民解放军军械工程学院 基于特征匹配的目标实时识别方法
CN110210621A (zh) * 2019-06-06 2019-09-06 大连理工大学 一种基于残差网络改进的目标检测方法
CN110689118A (zh) * 2019-09-29 2020-01-14 华南理工大学 一种基于YOLO V3-tiny改进的目标检测方法
CN111339951A (zh) * 2020-02-26 2020-06-26 北京迈格威科技有限公司 体温测量方法、装置及系统
CN111366244A (zh) * 2020-03-02 2020-07-03 北京迈格威科技有限公司 测温方法、装置、电子设备及计算机可读存储介质
CN111382683A (zh) * 2020-03-02 2020-07-07 东南大学 一种基于彩色相机与红外热成像仪特征融合的目标检测方法
AU2020101210A4 (en) * 2020-06-30 2020-08-06 Anguraj, Dinesh Kumar Dr Automated screening system of covid-19 infected persons by measurement of respiratory data through deep facial recognition
CN112070111A (zh) * 2020-07-28 2020-12-11 浙江大学 一种适配多波段图像的多目标检测方法和系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103413326A (zh) * 2013-08-12 2013-11-27 上海盈方微电子股份有限公司 Fast approximated SIFT算法中特征点检测方法及装置
CN106897723A (zh) * 2017-02-20 2017-06-27 中国人民解放军军械工程学院 基于特征匹配的目标实时识别方法
CN110210621A (zh) * 2019-06-06 2019-09-06 大连理工大学 一种基于残差网络改进的目标检测方法
CN110689118A (zh) * 2019-09-29 2020-01-14 华南理工大学 一种基于YOLO V3-tiny改进的目标检测方法
CN111339951A (zh) * 2020-02-26 2020-06-26 北京迈格威科技有限公司 体温测量方法、装置及系统
CN111366244A (zh) * 2020-03-02 2020-07-03 北京迈格威科技有限公司 测温方法、装置、电子设备及计算机可读存储介质
CN111382683A (zh) * 2020-03-02 2020-07-07 东南大学 一种基于彩色相机与红外热成像仪特征融合的目标检测方法
AU2020101210A4 (en) * 2020-06-30 2020-08-06 Anguraj, Dinesh Kumar Dr Automated screening system of covid-19 infected persons by measurement of respiratory data through deep facial recognition
CN112070111A (zh) * 2020-07-28 2020-12-11 浙江大学 一种适配多波段图像的多目标检测方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
袁浩期: "《基于图像融合的流动人群体温检测系统设计》", 《全国优秀硕士学位论文全文数据库（电子期刊）》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113420702A (zh) * 2021-07-03 2021-09-21 深圳市迈斯泰克电子有限公司 基于人脸进行温度检测的方法、装置、系统以及存储介质
CN114034397A (zh) * 2021-11-04 2022-02-11 建科环能科技有限公司 非侵入式人体温感检测方法
CN114034397B (zh) * 2021-11-04 2024-04-30 建科环能科技有限公司 非侵入式人体温感检测方法

Similar Documents

Publication Publication Date Title
CN110363158B (zh) 一种基于神经网络的毫米波雷达与视觉协同目标检测与识别方法
CN111476827B (zh) 目标跟踪方法、系统、电子装置及存储介质
CN111914838B (zh) 一种基于文本行识别的车牌识别方法
CN108986152B (zh) 一种基于差分图像的异物检测方法及装置
JP6397379B2 (ja) 変化領域検出装置、方法、及びプログラム
CN104077577A (zh) 一种基于卷积神经网络的商标检测方法
CN112927279A (zh) 一种图像深度信息生成方法、设备及存储介质
CN111815707A (zh) 点云确定方法、点云筛选方法、装置、计算机设备
CN110197185B (zh) 一种基于尺度不变特征变换算法监测桥下空间的方法和系统
CN113033315A (zh) 一种稀土开采高分影像识别与定位方法
CN112924037A (zh) 基于图像配准的红外体温检测系统及检测方法
CN114049356A (zh) 一种结构表观裂缝检测方法、装置及系统
CN111738071B (zh) 一种基于单目摄像机的运动变化的逆透视变换方法
CN117037103A (zh) 一种道路检测方法和装置
CN110458019B (zh) 稀缺认知样本条件下的排除倒影干扰的水面目标检测方法
CN110007764B (zh) 一种手势骨架识别方法、装置、系统及存储介质
JPH08508128A (ja) 分布マップを用いる画像の分類方法及び装置
CN113095316B (zh) 基于多级融合和角点偏移的图像旋转目标检测方法
CN114332796A (zh) 一种多传感器融合体素特征图生成方法及系统
CN113008380B (zh) 一种智慧ai体温预警方法、系统及存储介质
CN115830514B (zh) 一种适用于带弯曲河道的全河段表面流速计算方法及系统
CN110910497B (zh) 实现增强现实地图的方法和系统
CN117422699A (zh) 公路检测方法、装置、计算机设备及存储介质
CN115375991A (zh) 一种强/弱光照和雾环境自适应目标检测方法
CN114241194A (zh) 一种基于轻量级网络的仪表识别及读数方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210608

RJ01 Rejection of invention patent application after publication