CN112107301B - 人体体温检测模型实现方法、装置和人体体温检测方法 - Google Patents
人体体温检测模型实现方法、装置和人体体温检测方法 Download PDFInfo
- Publication number
- CN112107301B CN112107301B CN202011054366.9A CN202011054366A CN112107301B CN 112107301 B CN112107301 B CN 112107301B CN 202011054366 A CN202011054366 A CN 202011054366A CN 112107301 B CN112107301 B CN 112107301B
- Authority
- CN
- China
- Prior art keywords
- infrared thermal
- image
- body temperature
- human body
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 151
- 230000036760 body temperature Effects 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000012549 training Methods 0.000 claims abstract description 51
- 238000002372 labelling Methods 0.000 claims abstract description 32
- 238000001931 thermography Methods 0.000 claims description 46
- 238000012545 processing Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 abstract description 9
- 210000003128 head Anatomy 0.000 description 107
- 238000004422 calculation algorithm Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 210000001061 forehead Anatomy 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 239000011521 glass Substances 0.000 description 6
- 210000000697 sensory organ Anatomy 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000004861 thermometry Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Computational Linguistics (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Computing Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Processing (AREA)
- Radiation Pyrometers (AREA)
Abstract
本申请提供一种人体体温检测模型实现方法、装置和人体体温检测方法,该人体体温检测模型实现方法包括:获取预定数量的红外热图像及各红外热图像的人头标注信息;利用含人头标注信息的红外热图像对预设模型进行人头检测训练,得到目标检测模型,所述目标检测模型用于对待检测的红外热图像进行人头区域检测,进而根据检测到的人头区域计算对应人体的体温。本申请的技术方案提出在红外热图像中进行人头区域检测,不仅可以保证得到的主体仍为人脸,还可以很好地解决基于人脸检测时提取到的特征较少的问题等,从而能够更好地满足实际场景的红外人体体温检测的需求等。
Description
技术领域
本申请涉及图像处理技术领域,尤其涉及一种人体体温检测模型实现方法、装置和人体体温检测方法。
背景技术
体温检测的视觉方案利用红外热像仪所拍摄的红外热图像显示的温度来估计人体的真实温度。由于人体的温度通常是测量腋下温度,而腋下区域在图像中是相对难以定位到的,但额温和腋下温度存在特定换算关系,因此现有的做法通常是,先定位自然图像中额头的位置,再在红外热图像匹配到对应位置的温度就能计算出人体的腋下温度。
然而,在上述方法中,红外热图像目标检测算法需要有较高的召回能力,即对自然图像能检测到的人脸,红外热图像都能返回一个对应的检测框。如果有漏检的情况,那么即使在自然图像检测到人脸,也会造成这个样本的漏检。所以,针对红外热图像的目标检测模型还需要进一步提升特征表达能力以增强检测能力,从而减少漏检情况等。
发明内容
有鉴于此,本申请的目的是为了克服现有技术中的不足,提供一种人体体温检测模型实现方法、装置和人体体温检测方法。
本申请的实施例提供一种人体体温检测模型实现方法,包括:
获取预定数量的红外热图像及各所述红外热图像的人头标注信息;
利用含人头标注信息的红外热图像对预设模型进行人头检测训练,得到目标检测模型,所述目标检测模型用于对待检测的红外热图像进行人头区域检测,进而根据检测到的所述人头区域计算对应人体的体温。
在一种实施例中,所述预定数量的红外热图像包括通过红外热成像设备采集到的红外热成像原始图像和基于所述红外热成像原始图像生成的红外热成像遮挡图像,所述红外热成像遮挡图像的生成包括:
对各所述红外热成像原始图像进行人头区域标注,得到对应标注的人头区域图像;
选取第一预设数量的所述人头区域图像进行叠加,得到第一图像,其中,所述第一图像中部分数量的所述人头区域图像的局部信息被遮挡;
将第二预设数量的所述第一图像按照预设划分区域进行拼接,生成所述红外热成像遮挡图像。
在一种实施例中,所述利用含人头标注信息的红外热图像对预设模型进行人头检测训练之前,所述方法还包括:
按照设定的图像增强参数对所述红外热图像进行增强处理,其中,所述图像增强参数的设定包括将色度值设定为不增强;
将增强处理后得到的红外热图像输入所述预设模型中以进行训练。
在一种实施例中,在训练所述预设模型的过程中,所述方法还包括:
根据预设的人头尺寸范围对所述预设模型中的初始预测框进行尺寸调整,以使所述预设模型经调整后输出的预测框满足预设条件,其中,所述预测框用于检测人头区域,所述尺寸调整包括尺寸大小及长宽比的调整。
在一种实施例中,预设模型为yolov3-tiny网络模型。
在一种实施例中,该人体体温检测模型实现方法还包括:
将目标检测模型移植到目标终端的系统框架中。
本申请的实施例还提供一种人体体温检测方法,应用于终端设备,终端设备中移植有利用上述的方法训练得到的目标检测模型,人体体温检测方法包括:
采集红外热图像,并利用所述目标检测模型对采集到的所述红外热图像进行人头区域检测;
根据检测到的所述人头区域计算对应人体的体温。
本申请的实施例还提供一种人体体温检测模型实现装置,包括:
获取模块,用于获取预定数量的红外热图像及各所述红外热图像的人头标注信息;
训练模块,用于利用含人头标注信息的红外热图像对预设模型进行人头检测训练,得到目标检测模型,所述目标检测模型用于对待检测的红外热图像进行人头区域检测,进而根据检测到的所述人头区域计算对应人体的体温。
本申请的实施例还提供一种终端设备,终端设备包括处理器和存储器,存储器存储有计算机程序,处理器用于执行计算机程序以实施上述的人体体温检测模型实现方法或人体体温检测方法。
在一种实施例中,该终端设备为机器人,其中,所述机器人用于实施上述的人体体温检测方法。
本申请的实施例还提供一种可读存储介质,其存储有计算机程序,计算机程序被执行时实施上述的人体体温检测模型实现方法或上述的人体体温检测方法。
本申请的实施例具有如下优点:
本申请的技术方案提出在红外热图像中进行人头区域检测,进而利用人头区域计算到对应的人体体温,通过人头检测不仅可以保证得到的主体仍为人脸,还可以很好地解决基于人脸检测时出现如戴口罩、眼镜等情况下所提取到的特征较少的问题,从而减少漏检情况,能够更好地满足实际场景的红外体温检测需求等。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例的人体体温检测模型实现方法的流程示意图;
图2示出了本申请实施例的人体体温检测模型实现方法的生成红外热成像遮挡图像的流程示意图;
图3示出了本申请实施例的人体体温检测模型实现方法的红外热成像遮挡图像的应用示意图;
图4示出了本申请实施例的人体体温检测模型实现方法的调整预测框示意图;
图5示出了本申请实施例的人体体温检测模型实现方法的模型训练时的在线增强流程示意图;
图6示出了本申请实施例的人体体温检测方法的流程示意图;
图7示出了本申请实施例的人体体温检测方法的机器人应用示意框图;
图8示出了本申请实施例的人体体温检测模型实现方法的结构示意图;
图9示出了本申请实施例的人体体温检测方法的结构示意图。
具体实施方式
下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。
通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
在下文中,可在本申请的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合,并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
除非另有限定,否则在这里使用的所有术语(包括技术术语和科学术语)具有与本申请的各种实施例所属领域普通技术人员通常理解的含义相同的含义。术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义,除非在本申请的各种实施例中被清楚地限定。
实施例1
请参照图1,本实施例提出一种人体体温检测模型实现方法,可应用于实现人体体温检测的模型构建及训练等。下面对该模型实现方法进行说明。
步骤S110,获取预定数量的红外热图像及各红外热图像的人头标注信息。
本实施例中,通过对红外热图像中的人头区域进行自动标注或人工标注,即将人头作为该人体体温检测模型的检测目标,进而利用检测到的人头区域来提取额头的温度,最后利用额头温度来换算得到人体体温。值得注意的是,之所以没有使用人脸或人体,是因为人脸在红外热图像中的特征较少,导致如五官等关键点的特征不易提取,若戴了眼镜和/或口罩等,则更加难得到人脸的特征,甚至还会出现漏检或误检等情况。而人体标注则相对人头有多变的形态,例如,可能存在不同的动作或姿态等,这些都会增加人头检测的难度等。因此,本实施例提出了人头检测,使用人脸标注不仅能够增加周围的特征,如是否有戴眼镜和/或口罩等,又可以保证得到的主体仍然是人脸,还可以降低检测难度等。
示范性地,将一定数量的带人头标注信息的红外热图像作为模型的训练样本。在一种实施方式中,该预定数量的红外热图像可包括通过红外热成像设备采集到的红外热成像原始图像等。此外,考虑到该人体体温检测模型往往应用于如人群较多的使用场景,对于出现人脸前后遮挡或左右遮挡的情况,由于特征较少,对于这些较小的目标,为减少漏检或误检等现象,本实施例中的红外热图像还可包括基于这些红外热成像原始图像生成的红外热成像遮挡图像,即增加出现遮挡的训练样本图像,利用这些遮挡图像进行模型训练,可使得训练后的模型在实际拥挤的场景下同样能够具有较好的鲁棒性等。
在一种实施方式中,如图2所示,红外热成像遮挡图像的生成包括:
步骤S111,对各红外热成像原始图像进行人头标注,得到对应标注的人头区域图像。
示范性地,对于这些红外热原始图像,可利用训练的标注模型等进行自动标注以输出相应的人头标注框,即上述的人头区域图像。当然,可通过人工标注方式来提取这些红外热原始图像中的人头区域图像。
步骤S112,选取第一预设数量的人头区域图像进行叠加,得到第一图像,其中,该第一图像中部分数量的人头区域图像的局部信息被遮挡。
示范性地,从这些人头区域图像中选取第一预设数量的图像进行图像叠加,从而得到部分人头区域图像的局部信息被遮挡。值得注意的是,在叠加过程中,通常按照实际的人脸遮挡场景来进行叠加,这样能够保证得到的样本的有效性等。例如,在实际场景中,通常是位于离红外热成像设备更近的人遮挡距离更远的人,以及人脸左右遮挡的情况。
其中,该第一预设数量可以根据实际需求来设定,在此并不作限定。例如,若选取2张人头区域图像进行叠加,可以按照上下设置位置关系进行下面的图像遮挡上面的图像,即形成上下遮挡的效果。又或者,可以按照左右设置位置关系进行左边的图像遮挡右边的图像或右边的图像遮挡左边的图像,以形成左右遮挡的效果等。进一步,可根据实际需求来确定遮挡区域的占比或进行随机遮挡等,从而形成不同程度的遮挡效果。
步骤S113,将第二预设数量的第一图像按照预设划分区域进行拼接,生成红外热成像遮挡图像。
对于经过图像叠加得到的多张第一图像,可从中选取出第二预设数量的图像进行拼接,这样可以在同一图像中呈现有多种遮挡效果,尤其在较小的计算开销下或资源受限的场景下,保证一次训练过程可以获取多张图像的人头局部信息,节省资源等。值得注意的是,在拼接过程中,通常是按照该红外热成像原始图像的尺寸进行区域划分,例如,可划分为4宫格、6宫格、8宫格等,具体的区域数量及形状可根据实际需求来设定。进而,选取与划分的区域数量对应的第一图像进行拼接,从而得到与该红外热成像原始图像的尺寸相等的红外热成像遮挡图像。
图3分别示出了形成上下遮挡效果和左右遮挡的红外热成像遮挡图像。以上下遮挡图像为例,该第一预设数量取值为2,第二预设数量为8,即每2张人头区域图像进行叠加以得到一张第一图像,每8张第一图像进行拼接得到该遮挡图像。其中,每张第一图像中的各人头区域图像是按照上下位置关系进行叠加的,且位于下方的图像部分遮挡上方的图像,即形成离红外热成像设备更近的人脸遮挡离红外热成像设备更远的人脸的情景。以左右遮挡图像为例,该第一预设数量取值为2,第二预设数量为4,此时的第一图像中包括有左边遮挡右边的情况,以及右边遮挡左边的情况。应当理解,图3所示的上下遮挡图像与左右遮挡图像仅仅是一种举例,并不作为对选取的第一预设数量和第二预设数量的限定。
本实施例中,各红外热图像的人头标注信息主要包括该人头区域所在的标注框的中心位置及标注框的长、宽等。以红外热成像原始图像为例,可以是通过人工标注以得到人头标注框,也可以通过标注模型来输出得到。而对于上述的红外热成像遮挡图像,可根据相应的叠加及拼接参数来计算得到每个人头区域的位置信息,从而得到各人头标注框的信息。
步骤S120,利用含人头标注信息的红外热图像对预设模型进行人头检测训练,得到目标检测模型。其中,该目标检测模型用于对待检测的红外热图像进行人头区域检测,进而根据检测到的人头区域计算对应人体的体温。
示范性地,利用这些带人头标注信息的红外热图像对选取的模型进行人头检测训练,从而得到能够用于人头检测的训练模型。对于这些红外热图像,可按照预设比例划分为训练集和测试集,其中,训练集可用于对初始的模型参数进行学习及调整,而测试集则用于对学习好的模型进行目标检测验证,以判断模型的训练结果是否满足预设的目标检测精度要求等。
例如,在模型训练过程中,将从输入的红外热图像中提取人头特征,如提取眼睛、鼻子、嘴巴等五官的关键点的特征,进而利用这些关键点的特征及设定的预测框来确定人头所在区域。考虑到有些人可能会戴口罩、眼镜等遮挡了五官而导致五官特征无法提取到,此时则可将口罩、眼镜等同样作为特征进行提取。可以理解,通过人头检测可以使模型的检测不仅仅局限于五官特征的提取,还可以提取更多周围的特征来进行人头区域检测,尤其是对于出现人头被部分遮挡的情况,则可以根据周围的特征来进一步判断是否为人头区域。
考虑到本实施例的人体体温检测主要用于移动式设备中,由于移动式设备的硬件资源往往受限,基于目标检测算法的占用资源且运算时间的平衡,加上人体头部这一目标也往往较小,故将选取对小目标的检测效果较优的算法而建立网络模型,如yolo系列算法、SSD目标检测算法等。在一种实施方式中,将采用yolov3算法中的tiny版本,即yolov3-tiny,以进一步保证较高的运算速度等。对于该yolov3-tiny网络模型,具体的网络结构可参见已有的相关文献,在此便不展开详述。
对于步骤S120,在训练预设模型的过程中,该方法还包括对模型的预测框(Anchor,也可称候选框)的尺寸进行调整,以使得其能够适应于本实施例中的人体头部的大小比例。其中,预测框的作用是将人工预设的初始框为算法提供初始的预测框结果,然后经过不断的模型训练在此基础上去逐渐收敛到正确的预测位置和大小。
在一种实施方式中,该方法还包括:根据预设的人头尺寸范围对预设模型中的初始预测框进行尺寸调整,以使预设模型经调整后输出的目标检测框满足预设条件,其中,尺寸调整包括尺寸大小及长宽比的调整。
通常地,yolov3-tiny网络作为通用目标检测的算法,其初始的预测框是针对各种不同尺寸的目标而设计的。示范性地,如图4所示,每个预测框的大小及长宽比都是不同的,不同的预测框对应于不同尺寸的目标。然而,本实施例提出将红外热图像中的人头区域作为检测目标,考虑到人头尺寸的范围通常比较固定,为使该算法能够更好地适用于本实施例的使用场景,将按照预设的人头尺寸范围对该初始预测框进行尺寸调整。
在一种实施方式中,根据实际拍摄到的人头所占用的像素大小来选取该预设的人头尺寸范围,例如,若该人头距离拍摄设备较远,则对应的人头尺寸将较小;反之,若该人头距离拍摄设备较近,则对应的人头尺寸将较大。例如,如图4所示,可将左边的这些不同尺寸及长宽比不同的初始预测框,调整为右边的长宽比均为1:1的预测框。其中,这些人头的尺寸选取可通过经验值设定。例如,初始预测框的若干尺寸包括([10,14],…,[344,319]),对应地调整后的尺寸包括([15,15],…,[169,169])等。
可以理解,通过对这些预测框进行尺寸减少及长宽比的调整,可以优化人头的检测效果,减少预设框的抖动及检测不准确问题,还可进一步缩短预测收敛的时间,从而提高训练效率等。
此外,在一种实施方式中,考虑到红外热图像训练样本的多样性需求,在利用含人头标注信息的红外热图像对预设模型进行人头检测训练之前,或者在迭代训练过程中,该方法还包括对这些红外热图像进行在线数据增强处理。如图5所示,示范性地,该方法还包括:
步骤S121,按照设定的图像增强参数对红外热图像进行增强处理,其中,图像增强参数的设定包括将色度值设定为不增强。
通常地,当训练样本数据规模较小,数据分布多样性有限、网络训练时间较长时,模型容易呈现出过度拟合的趋势。为此,模型训练阶段通常会设置一些数据增强参数,以用于对已有的训练样本进行数据增强,从而得到更多的训练样本,提高样本多样性,保证训练的质量等。
通常地,这些图像增强参数可包括但不限于包括,对图像进行左右旋转、上下旋转、尺寸缩放调整、镜像处理、亮度变化调整等中的任意一种或多种组合。值得注意的是,由于本实施例是从红外热图像中提取相关特征,而红外热图像的温度差别主要就是靠图像颜色的不同来区分的,故本实施例中,将对色度值设定为0,即表示不进行增强处理。可以理解,由于画面的色度变化很可能导致目标的特征消失,进而造成漏检或者检测框的不稳定等,为此,通过将色度值设定为不增强可以很好地避免上述问题。
步骤S122,将增强处理后得到的红外热图像输入预设模型中进行训练。
示范性地,经过对输入的红外热图像进行在线增强后,利用这些增强图像进行模型训练,可以提高模型的泛化性能与鲁棒性等。当然,是否每次都对输入模型的红外热图像进行增强处理,可以根据每次训练后的检测效果来确定,在此并不作限定。
在另一种实施例中,该方法还包括:将目标检测模型移植到目标终端的系统框架中。考虑到该人体体温检测模型主要运用于移动式设备,而上述训练得到的模型的运行平台与移动式设备的运行平台往往不同,例如,机器人的运行平台通常采用的是openvino框架,而yolov3-tiny算法的原始模型基于darknet框架下完成训练,因此,还需要将该目标检测模型进行框架移值从而保证检测模型的正常运行及算法的运行速度等。
本实施例的人体体温检测模型实现方法提出对红外热图像进行人头区域检测,进而基于额头温度计算到人体体温,通过人头检测不仅可以保证得到的主体仍为人脸,由于周围的特征同样可作为特征进行提取,还可以很好地解决基于人脸检测时出现如戴口罩、眼镜等情况下所提取到的特征较少的问题,从而减少漏检或误检的情况,即提升了特征表达能力,因此也能够更好地满足实际场景的红外体温检测需求等。此外,通过选取对小目标测效果较优的检测模型,一方面通过离线数据增强来获得更多的遮挡图像,以有效减少人头遮挡时漏检的情况;另一方面通过对已有的训练样本进行在线增强处理,以增加样本的多样性,其中尤其包括对色度值设置为不增强,这样可以避免出现因改变了色度值而使目标特征缺失进而造成漏检或预测框的不稳定现象。另外,还对模型的预测框按照人头尺寸范围进行调整,使得输出的人头预测框更适应于人头尺寸,这样可以优化人头的检测效果,减少预测框抖动、不准等问题。
实施例2
请参照图6,基于上述实施例1的检测模型实现方法,本实施例提出一种人体体温检测方法,可应用于各种终端设备。其中,该终端设备中移植有利用上述实施例1的方法训练得到的目标检测模型。
下面对能够用于人体体温检测的一实际机器人为例,若该机器人上存储有人体体温检测模型,其中,该检测模型将可通过上述的方法得到。如图7所示,首先,该机器人需要获取预设数量的红外热图像进行目标模型训练,每一红外热图像均携带有相应的人头标注信息。对于上述的这些红外热图像,可通过安装的红外摄像装置采集一定数量的红外热成像原始图像并利用原始图像进行离线数据增强以得到存在遮挡现象的遮挡图像。其次,该机器人将选取yolov3-tiny网络模型作为目标检测的模型,通过利用这些红外热图像进行训练,可以得到训练后的人头目标检测模型。由于机器人的运行平台通常是采用openvino框架进行算法加速的,而yolov3-tiny算法的原始模型是基于darknet框架下完成训练的,为此,还需要将该目标检测模型的框架进行由darknet框架转换到openvino框架,从而达到一个运行速度及检测效果的平衡。考虑到这两种框架目前无法直接转换,因此可通过先darknet框架转换到tensorflow框架再转到openvino框架。可以理解,上述的机器人仅仅是一种示例,对于其他的终端设备,原理类似。
在终端设备中设有该目标检测模型后,可通过该检测模型进行人头区域检测,进而计算得到人体体温。示范性地,该人体体温检测方法包括:
步骤S210,采集红外热图像并利用目标检测模型对采集到的红外热图像进行人头区域检测。
例如,该移动设备可设置在各种场景下的进出口或大厅等,以实现对目标人群进行红外人体体温检测。其中,该目标检测模型的获取过程可参见上述实施例1的各步骤,在此不再重复描述。
示范性地,本实施例的移动设备可包括但不限于为机器人、移动式红外测温设备等。若以机器人为例,对于该目标检测模型,可以通过框架移植方式使该目标检测模型能够适用于该移动设备的运行平台。
步骤S220,根据检测到的人头区域计算对应人体的体温。
示范性地,可以通过人头区域确定额头的位置,再根据红外热成像的能量分布来计算该额头的温度,进而根据额温和腋下温度之间的换算关系可计算得到人体腋下温度,将该腋下温度作为需要的人体体温。其中,关于额温和腋下温度之间的换算关系,其主要以人体辐射为基础并计算人体不同皮肤节点处的热辐射能量为原理,具体可参考已有的相关文献,在此不作详细说明。
实施例3
请参照图8,基于实施例1的人体体温检测模型实现方法,本实施例提出一种人体体温检测模型实现装置10,包括:
获取模块110,用于获取预定数量的红外热图像及各红外热图像的人头标注信息。
训练模块120,用于利用含人头标注信息的红外热图像对预设模型进行人头检测训练,得到目标检测模型,目标检测模型用于对待检测的红外热图像进行人头区域检测,进而根据检测到的人头区域计算对应人体的体温。
在一种实施例中,预定数量的红外热图像包括通过红外热成像设备采集到的红外热成像原始图像和基于红外热成像原始图像生成的红外热成像遮挡图像,其中,获取模块110包括遮挡图像生成模块,遮挡图像生成模块包括人头标注子模块、第一拼接子模块和第二拼接子模块。
示范性地,人头标注子模块用于对各红外热成像原始图像进行人头区域标注,得到对应标注的人头区域图像;第一拼接子模块用于选取第一预设数量的人头区域图像进行叠加,得到第一图像,其中,第一图像中部分数量的人头区域图像的局部信息被遮挡;第二拼接子模块用于将第二预设数量的第一图像按照预设划分区域进行拼接,生成红外热成像遮挡图像。
在一种实施例中,该人体体温检测模型实现装置10还包括增强处理模块,其中,利用含人头标注信息的红外热图像对预设模型进行人头检测训练之前,增强处理模块用于按照设定的图像增强参数对红外热图像进行增强处理,其中,图像增强参数的设定包括将色度值设定为不增强;将增强处理后得到的红外热图像输入预设模型中进行训练。
在一种实施例中,在训练预设模型的过程中,训练模块120还用于根据预设的人头尺寸范围对预设模型中的初始预测框进行尺寸调整,以使预设模型经调整后输出的预测框满足预设条件,其中,尺寸调整包括尺寸大小及长宽比的调整。本实施例中,优选地,该预设模型为yolov3-tiny网络模型。
在一种实施例中,该人体体温检测模型实现装置10还包括移植模块130,该移植模块用于将目标检测模型移植到目标终端的系统框架中。
可以理解,本实施例的各模块对应于上述实施例1的各步骤,上述实施例1的可选项同样适用于本实施例,故在此不再详述。
实施例4
请参照图9,基于上述实施例的人体体温检测方法,本实施例提出一种人体体温检测装置20,包括:
人头检测模块210,用于采集红外热图像并利用目标检测模型对采集到的红外热图像进行人头区域检测。
体温计算模块220,用于根据检测到的人头区域计算对应人体的体温。
可以理解,本实施例的各模块对应于上述实施例2的各步骤,上述实施例2的可选项同样适用于本实施例,故在此不再详述。
本申请实施例还提出一种终端设备,例如,可以是机器人或其他红外测温设备等。示范性地,该终端设备包括处理器和存储器,其中,存储器存储有计算机程序,处理器用于执行计算机程序以实施上述实施例的方法或上述装置中的各个模块的功能。
存储器可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据移动终端设备的使用所创建的数据。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本申请实施例还提出一种可读存储介质,其存储有上述终端设备中使用的计算机程序。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和结构图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或更多个模块集成形成一个独立的部分。
功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。
Claims (10)
1.一种人体体温检测模型实现方法,其特征在于,包括:
获取预定数量的红外热图像及各所述红外热图像的人头标注信息;其中,所述预定数量的红外热图像包括通过红外热成像设备采集到的红外热成像原始图像和基于所述红外热成像原始图像生成的红外热成像遮挡图像;
其中,所述红外热成像遮挡图像的生成包括:对各所述红外热成像原始图像进行人头区域标注,得到对应标注的人头区域图像;选取第一预设数量的所述人头区域图像进行叠加,得到第一图像,其中,所述第一图像中部分数量的所述人头区域图像的局部信息被遮挡;将第二预设数量的所述第一图像按照预设划分区域进行拼接,生成所述红外热成像遮挡图像;
利用含人头标注信息的红外热图像对预设模型进行人头检测训练,得到目标检测模型,所述目标检测模型用于对待检测的红外热图像进行人头区域检测,进而根据检测到的所述人头区域计算对应人体的体温。
2.根据权利要求1所述的人体体温检测模型实现方法,其特征在于,所述利用含人头标注信息的红外热图像对预设模型进行人头检测训练之前,所述方法还包括:
按照设定的图像增强参数对所述红外热图像进行增强处理,其中,所述图像增强参数的设定包括将色度值设定为不增强;
将增强处理后得到的红外热图像输入所述预设模型中以进行训练。
3.根据权利要求1至2中任一项所述的人体体温检测模型实现方法,其特征在于,在训练所述预设模型的过程中,所述方法还包括:
根据预设的人头尺寸范围对所述预设模型中的初始预测框进行尺寸调整,以使所述预设模型经调整后输出的预测框满足预设条件,其中,所述预测框用于检测人头区域,所述尺寸调整包括尺寸大小及长宽比的调整。
4.根据权利要求1所述的人体体温检测模型实现方法,其特征在于,所述预设模型为yolov3-tiny网络模型。
5.根据权利要求1所述的人体体温检测模型实现方法,其特征在于,还包括:
将所述目标检测模型移植到目标终端的系统框架中。
6.一种人体体温检测方法,其特征在于,应用于终端设备,所述终端设备中移植有利用权利要求1-4任一项所述的方法得到训练的目标检测模型,所述人体体温检测方法包括:
采集红外热图像,并利用所述目标检测模型对采集到的所述红外热图像进行人头区域检测;
根据检测到的所述人头区域计算对应人体的体温。
7.一种人体体温检测模型实现装置,其特征在于,包括:
获取模块,用于获取预定数量的红外热图像及各所述红外热图像的人头标注信息;其中,所述预定数量的红外热图像包括通过红外热成像设备采集到的红外热成像原始图像和基于所述红外热成像原始图像生成的红外热成像遮挡图像;
其中,所述红外热成像遮挡图像的生成包括:对各所述红外热成像原始图像进行人头区域标注,得到对应标注的人头区域图像;选取第一预设数量的所述人头区域图像进行叠加,得到第一图像,其中,所述第一图像中部分数量的所述人头区域图像的局部信息被遮挡;将第二预设数量的所述第一图像按照预设划分区域进行拼接,生成所述红外热成像遮挡图像;
训练模块,用于利用含人头标注信息的红外热图像对预设模型进行人头检测训练,得到目标检测模型,所述目标检测模型用于对待检测的红外热图像进行人头区域检测,进而根据检测到的所述人头区域计算对应人体的体温。
8.一种终端设备,其特征在于,所述终端设备包括处理器和存储器,所述存储器存储有计算机程序,所述处理器用于执行所述计算机程序以实施权利要求1至5中任一项所述的人体体温检测模型实现方法或权利要求6所述的人体体温检测方法。
9.根据权利要求8所述的终端设备,其特征在于,所述终端设备为机器人。
10.一种可读存储介质,其特征在于,其存储有计算机程序,所述计算机程序被执行时实施权利要求1至5中任一项所述的人体体温检测模型实现方法或权利要求6所述的人体体温检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011054366.9A CN112107301B (zh) | 2020-09-29 | 2020-09-29 | 人体体温检测模型实现方法、装置和人体体温检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011054366.9A CN112107301B (zh) | 2020-09-29 | 2020-09-29 | 人体体温检测模型实现方法、装置和人体体温检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112107301A CN112107301A (zh) | 2020-12-22 |
CN112107301B true CN112107301B (zh) | 2023-09-29 |
Family
ID=73797416
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011054366.9A Active CN112107301B (zh) | 2020-09-29 | 2020-09-29 | 人体体温检测模型实现方法、装置和人体体温检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112107301B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113743222A (zh) * | 2021-08-04 | 2021-12-03 | 北京澎思科技有限公司 | 体温测量方法、装置、电子设备以及可读存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017173222A1 (en) * | 2016-04-01 | 2017-10-05 | Gentherm Inc. | Occupant thermal state detection and comfort adjustment system and method |
CN110472593A (zh) * | 2019-08-20 | 2019-11-19 | 重庆紫光华山智安科技有限公司 | 训练图像获取方法、模型训练方法及相关装置 |
CN111242946A (zh) * | 2020-03-03 | 2020-06-05 | 广州紫川电子科技有限公司 | 一种基于红外热成像的人体体温异常检测方法及装置 |
CN111579083A (zh) * | 2020-05-13 | 2020-08-25 | 芋头科技(杭州)有限公司 | 基于红外图像人脸检测的体温测量的方法和装置 |
CN111582227A (zh) * | 2020-05-20 | 2020-08-25 | 北京澎思科技有限公司 | 基于红外热成像的信息识别方法、设备、存储介质和系统 |
CN111626125A (zh) * | 2020-04-26 | 2020-09-04 | 浙江大华技术股份有限公司 | 人脸温度检测的方法、系统、装置和计算机设备 |
-
2020
- 2020-09-29 CN CN202011054366.9A patent/CN112107301B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017173222A1 (en) * | 2016-04-01 | 2017-10-05 | Gentherm Inc. | Occupant thermal state detection and comfort adjustment system and method |
CN110472593A (zh) * | 2019-08-20 | 2019-11-19 | 重庆紫光华山智安科技有限公司 | 训练图像获取方法、模型训练方法及相关装置 |
CN111242946A (zh) * | 2020-03-03 | 2020-06-05 | 广州紫川电子科技有限公司 | 一种基于红外热成像的人体体温异常检测方法及装置 |
CN111626125A (zh) * | 2020-04-26 | 2020-09-04 | 浙江大华技术股份有限公司 | 人脸温度检测的方法、系统、装置和计算机设备 |
CN111579083A (zh) * | 2020-05-13 | 2020-08-25 | 芋头科技(杭州)有限公司 | 基于红外图像人脸检测的体温测量的方法和装置 |
CN111582227A (zh) * | 2020-05-20 | 2020-08-25 | 北京澎思科技有限公司 | 基于红外热成像的信息识别方法、设备、存储介质和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112107301A (zh) | 2020-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10997696B2 (en) | Image processing method, apparatus and device | |
CN108495050B (zh) | 拍照方法、装置、终端及计算机可读存储介质 | |
Le et al. | Physics-based shadow image decomposition for shadow removal | |
CN107154030B (zh) | 图像处理方法及装置、电子设备及存储介质 | |
CN102843509B (zh) | 图像处理装置和图像处理方法 | |
Gallo et al. | Artifact-free high dynamic range imaging | |
JP5589548B2 (ja) | 撮像装置、画像処理方法、及びプログラム記憶媒体 | |
CN110428366A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
US11128817B2 (en) | Parallax correction using cameras of different modalities | |
KR20130031574A (ko) | 영상 처리 방법 및 영상 처리 장치 | |
CN113837145A (zh) | 用于产生针对所选择识别文档的符合的面部图像的系统 | |
CN108230245A (zh) | 图像拼接方法、图像拼接装置及电子设备 | |
CN111323125B (zh) | 一种测温方法、装置及计算机存储介质、电子设备 | |
CN110276831B (zh) | 三维模型的建构方法和装置、设备、计算机可读存储介质 | |
CN109089041A (zh) | 拍摄场景的识别方法、装置、电子设备和存储介质 | |
CN107368806A (zh) | 图像矫正方法、装置、计算机可读存储介质和计算机设备 | |
CN109712177A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
CN110248101A (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
CN104902168B (zh) | 一种图像合成方法、装置及拍摄设备 | |
CN109068060B (zh) | 图像处理方法和装置、终端设备、计算机可读存储介质 | |
CN112107301B (zh) | 人体体温检测模型实现方法、装置和人体体温检测方法 | |
Kurmi et al. | Pose error reduction for focus enhancement in thermal synthetic aperture visualization | |
CN110399823A (zh) | 主体跟踪方法和装置、电子设备、计算机可读存储介质 | |
CN109360176A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
CN113920556A (zh) | 一种人脸防伪方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |