CN113008380B - 一种智慧ai体温预警方法、系统及存储介质 - Google Patents

一种智慧ai体温预警方法、系统及存储介质 Download PDF

Info

Publication number
CN113008380B
CN113008380B CN202110262195.7A CN202110262195A CN113008380B CN 113008380 B CN113008380 B CN 113008380B CN 202110262195 A CN202110262195 A CN 202110262195A CN 113008380 B CN113008380 B CN 113008380B
Authority
CN
China
Prior art keywords
image
face
visible light
area
body temperature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110262195.7A
Other languages
English (en)
Other versions
CN113008380A (zh
Inventor
崔岩
刘兴林
徐世廷
刘强
陈冬雪
钟汉明
徐春广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Germany Zhuhai Artificial Intelligence Institute Co ltd
Wuyi University
4Dage Co Ltd
Original Assignee
China Germany Zhuhai Artificial Intelligence Institute Co ltd
Wuyi University
4Dage Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Germany Zhuhai Artificial Intelligence Institute Co ltd, Wuyi University, 4Dage Co Ltd filed Critical China Germany Zhuhai Artificial Intelligence Institute Co ltd
Priority to CN202110262195.7A priority Critical patent/CN113008380B/zh
Publication of CN113008380A publication Critical patent/CN113008380A/zh
Application granted granted Critical
Publication of CN113008380B publication Critical patent/CN113008380B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
    • G01J5/0025—Living bodies
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48—Thermography; Techniques using wholly visual means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/80—Calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077—Imaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种智慧AI体温预警方法、系统及存储介质，该方法包括以下步骤：S1：同时采集可见光图像和红外图像；S2：将可见光图像执行人脸识别模块；S3：将执行S2步骤后的可见光图像执行人脸朝向识别模块；S4：将执行S3步骤后的可见光图像执行额头区域识别模块；S5：将执行S4步骤后的可见光图像执行温度提取模块，将红外图像与执行S4步骤后的可见光图像的分辨率进行统一，利用图像配准校正方法得到红外图像中的额头区域，提取额头区域的温度值；S6：将可见光图像上的人体与对应提取后的温度值进行显示。通过非接触、无感知的方式，可靠、高效地进行人员高度聚集、高流动性情况下的体温实时初筛检测，实现智能自动测温功能，达到体温预警目的。

Description

一种智慧AI体温预警方法、系统及存储介质
技术领域
本发明属于智能检测体温的技术领域，尤其涉及一种智慧AI体温预警方法、系统及存储介质。
背景技术
手持式红外热像仪的测温方式是目前应用最广泛的方法，但这种测温方法效率较低，需要投入大量人力资源，提高了接触风险，而且难以做到体温检测常态化，无法形成数据记录，导致无法对卫生防疫工作分析、评估。其他传统的测温方法还包括接触式温度传感器、非接触式红外点温仪，但这些传统测温方法的共同特点均是不能同时多点测温，并依赖于大量手动操作。
随着计算机视觉的快速发展，结合AI图像识别技术进行红外测温受到重视。根据目前传统测温方法的痛点，针对现有体温检测系统所存在的局限性，本发明是基于AI图像识别技术，采用红外热成像技术与球幕视频流信息结合，以解决上述问题。
发明内容
基于此，有必要针对上述问题，本发明提出一种智慧AI体温预警方法、系统及存储介质。
一种智慧AI体温预警方法，包括4个计算模块：人脸识别模块、人脸朝向识别模块、额头区域识别模块、温度提取模块；并包括以下步骤：
S1：同时采集可见光图像和红外图像；
S2：将可见光图像执行所述人脸识别模块；
S3：将执行S2步骤后的可见光图像执行所述人脸朝向识别模块；
S4：将执行S3步骤后的可见光图像执行所述额头区域识别模块；
S5：将执行S4步骤后的可见光图像执行所述温度提取模块，将红外图像与执行S4步骤后的可见光图像的分辨率进行统一，利用图像配准校正方法得到红外图像中的额头区域，提取所述额头区域的温度值；
S6：将可见光图像上的人体与对应提取后的温度值进行显示。
优选地，所述步骤S1中的可见光图像由球幕相机获取，包括球幕相机拍摄得到的球幕视频流解码后得到的多帧可见光图像。
优选地，所述步骤S2中的人脸识别模块采用Faster-RCNN算法，得到人脸框；具体算法分为三个部分：区域建议网络、兴趣区域池化网络以及Faster-RCNN网络，并包括以下步骤：
S21：将视频流进行解码得到多帧可见光图像，将可见光图像输入至区域建议网络中；
S22：区域建议网络处理可见光图像，提取卷积特征图，确定搜索到预定数量的可能面部的边界框；
S23：在获取人脸的边界框和相应位置后，采用兴趣区域池化网络进行处理，综合人脸的特征得到一个新的特征向量；
S24：利用Faster-RCNN网络对边界框的内容进行分类，得到分类筛选后的人脸框。
优选地，所述步骤S3中的人脸朝向识别模块采用至少两个LVQ网络级联结构的分别构建Y方向和Z方向的分类器，得到人脸朝向。
优选地，所述步骤S4中的额头区域识别模块，计算人脸框的大小，依据人体面部比例关系，定义额头区域的矩形框大小，并定义偏离额头区域矩形框的修正因子；额头区域识别模块包括以下执行操作：计算人脸识别算法中提取的人脸框的大小，该人脸框可为矩形，依据人体面部比例关系，定义额头区域矩形框的面积大小，设人脸框的面积S，额头区域矩形框的面积为E，如下所示：
E＝aS；
所述a取值在0到1之间，a为额头区域矩形框占人脸框的比值。
10.优选地，所述修正因子是指人在移动时人脸框的面积与测量距离下的面积比值，作为偏离额头区域矩形框的修正因子；利用人体移动时人脸框的面积S与测温距离L下的比值，作为偏离额头区域矩形框的修正因子α，如下所示：
α＝S/L；
额头区域矩形框的大小会根据人脸框的变化而变化。
优选地，所述步骤S5中的图像配准校正方法是采用基于特征点匹配的方式，过滤误匹配点。
本发明还提出一种智慧AI体温预警系统，包括：球幕相机、红外图像采集装置、显示器、存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述智慧AI体温预警方法的步骤。
优选地，所述存储器或处理器可为上位机或数据库服务器。
本发明还提出一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述智慧AI体温预警方法的步骤。
实施本发明实施例，将具有如下有益效果：
本发明提出一种智慧AI体温预警方法、系统及存储介质，该方法通过球幕视频流或可见光图像与人工智能算法结合实现人脸抓拍与识别，针对发射率、距离、环境温度等一系列算法进行改进和修正，使修正后测温精度≤0.3℃，测温精准；并且，以非接触、无感知的方式，可靠、高效地解决了在公共场所人员高度聚集、高流动性情况下的体温实时初筛检测问题，实现智能自动测温的功能，达到体温预警的目的。本申请发明不仅适用于学校，同理适用于多人出入的其它场所，如工厂、商场、电影院、博物馆、游乐园等。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
其中：
图1为本发明一个实施例中所述系统的结构示意图；
图2为本发明一个实施例中所述方法的实现流程示意图；
图3为本发明一个实施例中人脸朝向识别模块的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在一个实施例中，如图1所示，提供了一种智慧AI体温预警系统，本发明实施例的系统包括：球幕相机、红外图像采集装置、显示器、存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述智慧AI体温预警方法的步骤。
优选地，所述存储器或处理器可为上位机或数据库服务器。在实际应用中，可能还需使用现有技术中的协调器或系统总线，用于传输数据至上位机。由球幕相机采集可见光图像，如采集的是场景中的视频流也可解码成一组可见光图像；由红外图像采集装置采集红外图像，该红外图像采集装置可以是红外摄像头，红外图像与可见光图像的所有数据自动上传至协调器，协调器通过串口将数据传输至上位机，同时保存到远程数据库服务器中。在该上位机执行本发明中所述的智慧AI体温预警方法，最终实现人体体温的快速提取，远程监控人员通过该上位机即可实时、快速的发现体温异常人员。
在一个实施例中，如图2所述，提供了一种智慧AI体温预警方法，本发明实施例的方法包括4个计算模块：人脸识别模块、人脸朝向识别模块、额头区域识别模块、温度提取模块。
S1：同时采集可见光图像和红外图像；
由球幕相机采集可见光图像，如采集的是场景中的视频流也可解码成一组可见光图像；由红外图像采集装置采集红外图像，该红外图像采集装置可以是红外摄像头。
本申请实施例中的球幕相机，由于球幕相机使用的是鱼眼镜头，这种镜头可以获得更宽的画面，但也存在一定弊端，即镜头的透镜中心区域相较于靠近中心区域更加弯曲，故在进行图像采集时会出现桶形畸变，因此需要建立探头参数自标定模型对探头的内外参数进行标定，同时计算探头内参和外参的畸变系数，并结合畸变模型完成对静态图像的畸变修正。参数自标定模型需要先建立标定模板，并求解出探头的内参和外参矩阵，然后利用重投影的方式将标定模板图像重投影至三维空间，随后根据该重投影的三维坐标点和原始标定模板三维坐标点之间的关系求解出探头内参和外参的畸变系数。标定模板中每一个点在三维空间中都存在一个对应的三维坐标。为降低重投影误差，获得最优的探头外参以及三维空间点的坐标，本发明中利用光束平差法即BundleAdjustment，简称BA，对探头标定过程进行优化。
S2：将可见光图像执行所述人脸识别模块；
人脸识别的目的，主要是在可见光图像中获取人脸的位置坐标。人脸识别有三大困难点：第一，由于实际场景中人体的人脸是非主动式抓拍，成像距离较远；第二，由于人脸存在遮挡、倾斜等问题，同时光照强度变化和噪声等因素，都会导致人脸一定程度上模糊；第三，由于人体一直在移动，容易漏检。为了能对经过成像处理的人体实时测量体温，避免产生以上问题，需要提高人脸检测精度和实时性。
在人脸检测领域，传统的Adaboost及其改进方法，难以满足实时性、精度的要求。在深度学习领域，2015年Ross G等人提出Faster-RCNN算法，使用选择性搜索地方法减少候选区域的提取，在2012PASCAL VOC测试集上的mAP为68.4％。同年，其改进版本Faster-RCNN算法借用RPN网络进一步加快候选框的筛选，在2007VOC数据集上的mAP高达79.5％。2017年，中国科学技术大学的董兰芳等人，在FDDB数据集上利用Faster-RCNN算法，发现在复杂场景、遮挡的环境下，依然有不错的检测效果。
人脸识别模块包括以下执行操作：本实施例中，采用Faster-RCNN算法作为人脸检测算法，算法分为三个部分：区域建议网络、兴趣区域池化网络以及Faster-RCNN网络，并包括以下步骤：
S21：将视频流进行解码得到多帧可见光图像，将可见光图像输入至区域建议网络中；
S22：区域建议网络处理可见光图像，提取卷积特征图，确定搜索到预定数量的可能面部的边界框(判断是否为人脸)；
S23：在获取人脸的边界框和相应位置后，采用兴趣区域池化网络进行处理，综合人脸的特征得到一个新的特征向量；
S24：利用Faster-RCNN网络对边界框的内容进行分类，得到分类筛选后的人脸框。
本申请实施例中利用Faster-RCNN算法作为人脸检测算法，把兴趣区域作为目标特征进行筛选识别。将特征域图像也即兴趣区域图像筛选识别出来后，通过图像拼接算法对筛选后的截取图像进行拼接，得到该子区域的完整特征域图像，即人脸框。
首先，本实施例中建立特征域识别模型的方法为：从经预处理后的截取图像中选择多幅包含特征域图像作为训练集，利用区域建议网络RPN网络(Region ProposalNetwork)对训练集中的图像进行特征域候选区域即兴趣候选区域的提取，通过Faster-RCNN网络中骨干网络ImageNet对训练参数初始化以及对候选区域建议网络RPN进行优化；同时将训练集中的图像依次输入Faster-RCNN网络中,进行特征提取，将得到的特征域即兴趣区域映射至Faster-RCNN网络提取的特征图上，以此获取训练集中视频图像对应的位置信息；通过ROI即兴趣区域池化网络生成固定尺寸的候选区域特征，将该固定尺寸的特征域即兴趣区域候选区域特征分别输入至分类层和边框回归层进行联合训练至模型收敛，并输出特征域即兴趣候选区域的位置和对象类别。
需要说明的是，在本实施例中利用Faster-RCNN算法对特征域识别模型进行训练过程中，随着网络层的增加，会出现梯度消失或者梯度爆炸等现象，导致网络无法收敛的问题，故本实施例的骨干网络ImageNet优选为ResNet网络，用于对训练的权值进行初始化。此外通过Faster-RCNN网络进行特征域识别后，系统中会针对特征域即兴趣区域重复生成目标边界框，本实施例中通过利用边界框修正算法，即将每个边界框对特征域即兴趣区域的识别概率作为权值进行加权修正，以此获得更为精准的特征域即兴趣区域。
本实施例中，建立完特征域识别模型后即可将每个子区域对应时刻截取的图像输入至特征域识别模型中进行训练，利用SVM即支持向量机构建二分类器，分别输出包含特征域即兴趣区域图像和不包含特征域即兴趣区域图像，对包含特征域的图像进行存储，未包含特征域的图像进行删除。
在存储的包含特征域的图像中选取一幅图像标记为基准图像，利用LK光流法计算待拼接其他图像与基准图之间的投影变换参数，待拼接图像依据投影参数进行投影变换，求解投影变换后的图像与基准间MSE误差即均方误差，若该误差超过预定阙值，则需要重复利用光流场计算投影变换参数，不断迭代至MSE误差小于设定阙值，即完成待拼接图像预基准图像的配准。重复上述过程至完成全部待拼接图像与基准图像的配准，计算拼接图像与基准图像间的单应性矩阵，结合投影关系完成图像拼接，最终得到对应时刻包含特征域的该子区域完整特征域图像，也就是人脸框。
S3：将执行S2步骤后的可见光图像执行人脸朝向识别模块；
在人脸朝向领域中，2012年，谭乐平基于区域分块统计眼部区域的像素点，利用LVQ网络分类，分类的准确率为90％。2013年Zhiguo Yan利用Haar特征定位眼部区域并统计像素信息，输入到LVQ网络进行分类，分类的准确率达到95％。2014年，朱宇鑫提取眼部特征输入到PNN网络进行朝向分类，准确率稍高于BP网络。2017年，浙江大学的徐彬彬采用卷积网络，依据面部关键点进行朝向分类。上述几种方法都存在的缺点：仅仅针对水平方向的分类，并且需要准确地采集人脸框后才能有较高的识别率。
本实施例的人脸朝向识别模块包括以下执行操作：利用人脸朝向识别算法对上述分类筛选后的人脸框进人体脸朝向识别，具体地：将从面部68个关键点中提取特征点，自适应地定位人脸区域，采用两个并行的LVQ网络对水平、竖直方向进行朝向分类。
如图3所示，根据人体颈部的旋转方向，定义面部姿态的围绕Y、Z的旋转方向，将朝向划分为15个类别，其中沿Y方向分为5个方向，即左、左前、前方、右前和右，沿Z方向分为3个方向，即上方、正方和下方。采用两个LVQ网络级联结构的分别构建Y方向和Z方向的分类器。即将Y方向的五个方向构建一个LVQ分类器，将Z方向的3个方向构建一个LVQ分类器，由此实现对人脸面部朝向的识别。
S4：将执行S3步骤后的可见光图像执行额头区域识别模块；
额头区域识别模块包括以下执行操作：计算人脸识别算法中提取的人脸框的大小，该人脸框可为矩形，依据人体面部比例关系，定义额头区域矩形框的面积大小，设人脸框的面积S，额头区域矩形框的面积为E，如下所示：
E＝aS
所述a取值在0到1之间，优选为1/3。
在实际计算中，还需要定义偏离额头区域矩形框的修正因子，由于在人体进行测温时，会存在一个测温距离，所述测温距离，是指测量设备与人体之间的距离，在本实施例中表示球幕相机与人体之间的距离。因此利用人体移动时人脸框的面积S与测温距离L下的比值，作为偏离额头区域矩形框的修正因子α，如下所示：
α＝S/L
额头区域矩形框的大小会根据人脸框的变化而变化，当人走进摄像头时额头区域矩形框变大，反之当人远离摄像头时额头区域矩形框变小。
S5：将执行S4步骤后的可见光图像执行所述温度提取模块，将红外图像与执行S4步骤后的可见光图像的分辨率进行统一，利用图像配准校正方法得到红外图像中的额头区域，提取所述额头区域的温度值；
将红外图像与可见光图像的分辨率进行统一，利用图像配准校正方法得到红外图像中的额头区域，并测得该额头区域的表面温度。
在图像配准算法领域中，2013年XiangYi等人，采用小波变换模极大值算法对图像进行边缘检测，然后采用SURF提取特征点，结合粗匹配和精匹配的方式。2016年JianfangDou等人，提出一种基于SIFT特征稀疏表示的红外图像配准方法，利用L1范数计算特征点距离，并利用RANSAC拟合误配对点。实验表明该方法比原始的SIFT在RMSE评估指标上提高5～8倍，配准误差更低。
由于本实施例的测量距离相对近，故采用基于特征点匹配的方式，过滤误匹配点，提出一种自适应的图像配准校正方法。本实施例中利用AKAZE算法实现可见光图像与红外图像中的特征点进行配准，并利用全概率RANSAC算法过滤掉错误的匹配点，构建空间变换矩阵匹配输入的图像，基于FLANN算法实现快速匹配特征点。
所述AKAZE算法、全概率RANSAC算法以及FLANN算法均为现有技术，在此不赘述。
S6：将可见光图像上的人体与对应提取后的温度值进行显示。
优选的，本发明中的智慧AI体温预警方法在智慧AI体温预警系统中运行。
本申请发明打造了一款智慧AI体温预警系统，以非接触、无感知的方式，可靠、高效地解决了在公共场所人员高度聚集、高流动性情况下的体温实时初筛检测问题。本发明不仅适用于学校，同理适用于多人出入的其它场所，如工厂、商场、电影院、博物馆、游乐园等。远程监控人员通过智慧AI体温预警系统可以实时、快速的发现体温异常学生。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种智慧AI体温预警方法，其特征在于，包括4个计算模块：人脸识别模块、人脸朝向识别模块、额头区域识别模块、温度提取模块；并包括以下步骤：
S1：同时采集可见光图像和红外图像；所述步骤S1中的可见光图像由球幕相机获取，包括球幕相机拍摄得到的球幕视频流解码后得到的多帧可见光图像；建立探头参数自标定模型对探头的内外参数进行标定，同时计算探头内参和外参的畸变系数，并结合畸变模型完成对静态图像的畸变修正；
S2：将可见光图像执行所述人脸识别模块；
S3：将执行S2步骤后的可见光图像执行所述人脸朝向识别模块；
S4：将执行S3步骤后的可见光图像执行所述额头区域识别模块；
S5：将执行S4步骤后的可见光图像执行所述温度提取模块，将红外图像与执行S4步骤后的可见光图像的分辨率进行统一，利用图像配准校正方法得到红外图像中的额头区域，提取所述额头区域的温度值；
S6：将可见光图像上的人体与对应提取后的温度值进行显示；
所述步骤S2中的人脸识别模块采用Faster-RCNN算法，得到人脸框；具体算法分为三个部分：区域建议网络、兴趣区域池化网络以及Faster-RCNN网络，并包括以下步骤：
S21：将视频流进行解码得到多帧可见光图像，将可见光图像输入至区域建议网络中；
S22：区域建议网络处理可见光图像，提取卷积特征图，确定搜索到预定数量的可能面部的边界框；
S23：在获取人脸的边界框和相应位置后，采用兴趣区域池化网络进行处理，综合人脸的特征得到一个新的特征向量；
S24：利用Faster-RCNN网络对边界框的内容进行分类，得到分类筛选后的人脸框；具体为，利用Faster-RCNN算法作为人脸检测算法，把兴趣区域作为目标特征进行筛选识别；将特征域图像也即兴趣区域图像筛选识别出来后，通过图像拼接算法对筛选后的截取图像进行拼接，得到兴趣区域的完整特征域图像，即人脸框；
其中，把兴趣区域作为目标特征进行筛选识别包括：建立特征域识别模型，将每个子区域对应时刻截取的图像输入至特征域识别模型中进行训练，利用SVM即支持向量机构建二分类器，分别输出包含特征域即兴趣区域图像和不包含特征域的图像，对包含特征域的图像进行存储，未包含特征域的图像进行删除；
将特征域图像也即兴趣区域图像筛选识别出来后，通过图像拼接算法对筛选后的截取图像进行拼接，得到兴趣区域的完整特征域图像包括：在存储的包含特征域的图像中选取一幅图像标记为基准图像，利用LK光流法计算待拼接其他图像与基准图之间的投影变换参数，待拼接图像依据投影参数进行投影变换，求解投影变换后的图像与基准间MSE误差即均方误差，若该误差超过预定阙值，则需要重复利用光流场计算投影变换参数，不断迭代至MSE误差小于设定阙值，即完成待拼接图像预基准图像的配准；重复上述过程至完成全部待拼接图像与基准图像的配准，计算拼接图像与基准图像间的单应性矩阵，结合投影关系完成图像拼接，最终得到对应时刻包含特征域的兴趣区域完整特征域图像，也就是人脸框。
2.如权利要求1所述的智慧AI体温预警方法，其特征在于，所述步骤S3中的人脸朝向识别模块采用至少两个LVQ网络级联结构的分别构建Y方向和Z方向的分类器，得到人脸朝向。
3.如权利要求1所述的智慧AI体温预警方法，其特征在于，所述步骤S4中的额头区域识别模块，计算人脸框的大小，依据人体面部比例关系，定义额头区域矩形框大小，并定义偏离额头区域矩形框的修正因子；额头区域识别模块包括以下执行操作：计算人脸识别算法中提取的人脸框的大小，该人脸框可为矩形，依据人体面部比例关系，定义额头区域矩形框的面积大小，设人脸框的面积S，额头区域矩形框的面积为E，如下所示：
；
所述a取值在0到1之间，a为额头区域矩形框占人脸框的比值。
4.如权利要求3所述的智慧AI体温预警方法，其特征在于，所述修正因子是指人在移动时人脸框的面积与测量距离下的面积比值，作为偏离额头区域矩形框的修正因子；利用人体移动时人脸框的面积S与测温距离L下的比值，作为偏离额头区域矩形框的修正因子α，如下所示：
；
额头区域矩形框的大小会根据人脸框的变化而变化。
5.如权利要求1所述的智慧AI体温预警方法，其特征在于，所述步骤S5中的图像配准校正方法是采用基于特征点匹配的方式，过滤误匹配点。
6.一种智慧AI体温预警系统，其特征在于，包括：球幕相机、红外图像采集装置、显示器、存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述智慧AI体温预警方法的步骤。
7.根据权利要求6所述的智慧AI体温预警系统，其特征在于，所述存储器或处理器可为上位机或数据库服务器。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述智慧AI体温预警方法的步骤。
CN202110262195.7A 2021-03-10 2021-03-10 一种智慧ai体温预警方法、系统及存储介质 Active CN113008380B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110262195.7A CN113008380B (zh) 2021-03-10 2021-03-10 一种智慧ai体温预警方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110262195.7A CN113008380B (zh) 2021-03-10 2021-03-10 一种智慧ai体温预警方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN113008380A CN113008380A (zh) 2021-06-22
CN113008380B true CN113008380B (zh) 2023-04-14

Family

ID=76404563

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110262195.7A Active CN113008380B (zh) 2021-03-10 2021-03-10 一种智慧ai体温预警方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN113008380B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113591597B (zh) * 2021-07-07 2022-06-21 东莞市鑫泰仪器仪表有限公司 一种基于热成像的智慧治安信息系统
CN114152349B (zh) * 2021-11-30 2023-11-14 深圳Tcl新技术有限公司 温度测量方法、装置、存储介质及电子设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109955248A (zh) * 2017-12-26 2019-07-02 深圳市优必选科技有限公司 一种机器人及其人脸跟随方法
CN110060272A (zh) * 2018-01-18 2019-07-26 杭州海康威视数字技术股份有限公司 人脸区域的确定方法、装置、电子设备及存储介质
CN111486962A (zh) * 2020-04-15 2020-08-04 易造机器人（深圳）有限公司 基于红外成像的远距离人体面部测温系统及实现方法
CN111860154B (zh) * 2020-06-12 2024-05-28 歌尔股份有限公司 一种基于视觉的额头检测方法、装置和电子设备
CN112016447A (zh) * 2020-08-27 2020-12-01 华南理工大学 基于Yolo神经网络的智能额头测温方法及其应用
CN112241700A (zh) * 2020-10-15 2021-01-19 希望银蕨智能科技有限公司 一种额头精准定位的多目标额温测量方法
CN112241702A (zh) * 2020-10-16 2021-01-19 沈阳天眼智云信息科技有限公司 基于红外双光摄像机的体温检测方法
CN112414558B (zh) * 2021-01-25 2021-04-23 深圳市视美泰技术股份有限公司 基于可见光图像及热成像图像的温度检测方法和装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"基于图像融合的流动人群体温检测系统设计;袁浩期;《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》;20200215;第2-5章 *
全景立体球视觉下的鱼眼镜头参数标定方法;张宝峰;《天津理工大学学报》;20130430;第29卷(第2期);参见摘要及正文 *
基于模板匹配和光流法的图像配准方法;吴迅兮;《无锡职业技术学院学报》;20101231;第9卷(第6期);参见摘要及正文 *
基于鱼眼镜头的全方位视觉参数标定与畸变矫正;冯为嘉;《天津大学学报》;20110531;第44卷(第5期);参见摘要及正文 *

Also Published As

Publication number Publication date
CN113008380A (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
CN111046703B (zh) 人脸防伪检测方法、装置及多目相机
CN105335722B (zh) 一种基于深度图像信息的检测系统及方法
CN110532970B (zh) 人脸2d图像的年龄性别属性分析方法、系统、设备和介质
CN109815770B (zh) 二维码检测方法、装置及系统
JP7094702B2 (ja) 画像処理装置及びその方法、プログラム
CN107256377B (zh) 用于检测视频中的对象的方法、设备和系统
US8179440B2 (en) Method and system for object surveillance and real time activity recognition
US9400935B2 (en) Detecting apparatus of human component and method thereof
Haindl et al. Unsupervised detection of non-iris occlusions
CN108875821A (zh) 分类模型的训练方法和装置、移动终端、可读存储介质
EP3499414B1 (en) Lightweight 3d vision camera with intelligent segmentation engine for machine vision and auto identification
US9639748B2 (en) Method for detecting persons using 1D depths and 2D texture
CN105930822A (zh) 一种人脸抓拍方法及系统
CN104240264B (zh) 一种运动物体的高度检测方法和装置
Huang et al. Real-time classification of green coffee beans by using a convolutional neural network
CN113008380B (zh) 一种智慧ai体温预警方法、系统及存储介质
TW200910223A (en) Image processing apparatus and image processing method
CN113435282B (zh) 基于深度学习的无人机影像麦穗识别方法
KR102199094B1 (ko) 관심객체 검출을 위한 관심영역 학습장치 및 방법
CN111967288A (zh) 智能三维物体识别和定位系统和方法
CN113052869A (zh) 一种基于智慧ai测温的轨迹跟踪方法、系统及存储介质
CN112085534B (zh) 一种关注度分析方法、系统及存储介质
Brenner et al. Rgb-d and thermal sensor fusion: A systematic literature review
US11605220B2 (en) Systems and methods for video surveillance
CN112991159B (zh) 人脸光照质量评估方法、系统、服务器与计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant