CN112329743B - 一种疫情环境下的异常体温监控方法、装置及介质 - Google Patents

一种疫情环境下的异常体温监控方法、装置及介质 Download PDF

Info

Publication number
CN112329743B
CN112329743B CN202110000781.4A CN202110000781A CN112329743B CN 112329743 B CN112329743 B CN 112329743B CN 202110000781 A CN202110000781 A CN 202110000781A CN 112329743 B CN112329743 B CN 112329743B
Authority
CN
China
Prior art keywords
face image
body temperature
generator
pedestrian
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110000781.4A
Other languages
English (en)
Other versions
CN112329743A (zh
Inventor
涂宏斌
石杰
徐任玉
彭圆圆
池瑞
占天华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Jiaotong University
Original Assignee
East China Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Jiaotong University filed Critical East China Jiaotong University
Priority to CN202110000781.4A priority Critical patent/CN112329743B/zh
Publication of CN112329743A publication Critical patent/CN112329743A/zh
Application granted granted Critical
Publication of CN112329743B publication Critical patent/CN112329743B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06T5/77—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

本发明公开了一种疫情环境下的异常体温监控方法、装置及介质，方法为：对预设区域的过往行人进行体温测量，若体温测量异常则获取其人脸图像；采用人脸重建模型对体温异常的人脸图像修复得到修复完整的人脸图像；人脸重建模型采用生成对抗网络通过训练达到平衡时的生成器构成；生成对抗网络的训练方法为：使用非完整的人脸图像作为生成器的输入数据，使用真实完整的人脸图像和生成器输出的人脸图像作为判别器的输入数据，对生成器和判别器进行对抗训练；最终使用身份识别模型对修复完整的人脸图像进行身份识别。本发明的监控识别准确率高，可实现无接触、大范围和远距离的智能监控。

Description

一种疫情环境下的异常体温监控方法、装置及介质
技术领域
本发明涉及行人目标检测与识别跟踪技术领域，具体是指一种疫情环境下的异常体温监控方法、装置及介质。
背景技术
在类似于当前新冠疫情的大范围流行疾病情况下，公共场合均需要对过往行人进行体温检测，通过通行码进行轨迹追踪。如果行人有遗漏区域没有扫码或体温测量，容易造成监测盲区。为减少人工测量，目前已有较多采用自动对过往行人进行体温测量，当出现体温异常时自动报警，但是这种监控方法仍存在诸多问题：在出现警报时仍然需要人工在小范围内进行二次排查，以分辨出准确的个体，以及进行人工监督登记和识别真实身份，不但浪费大量人力物力，极容易漏检异常体温的行人而且也不能自动对戴口罩的行人进行有效的身份识别及轨迹跟踪，不利于智慧化城市管理。因此，有必要开发一种疫情环境下的行人身份识别方法。
发明内容
本发明提供一种疫情环境下的异常体温监控方法、装置及介质，对异常体温人员进行监控的身份识别准确率高，可实现无接触、大范围和远距离的智能监控。
为实现上述技术目的，本发明采用如下技术方案：
一种疫情环境下的异常体温监控方法，包括以下步骤：
步骤1，对预设区域的过往行人进行体温测量，若体温测量异常则获取其人脸图像；
步骤2，采用人脸重建模型对体温异常的人脸图像进行规范化修复，得到修复完整的人脸图像；
其中，所述人脸重建模型采用生成对抗网络通过训练达到平衡时的生成器构成；所述生成对抗网络包括生成器和判别器，训练方法为：
使用非完整的人脸图像作为生成器的输入数据，使用真实完整的人脸图像和生成器输出的人脸图像作为判别器的输入数据，对生成器和判别器进行对抗训练；当判别器无法分辨输入的人脸图像是真实完整的人脸图像还是生成器输出的人脸图像时，生成对抗网络达到平衡；
步骤3，使用身份识别模型对修复完整的人脸图像进行身份识别。
在更优的技术方案中，所述非完整的人脸图像是指戴口罩致使人脸被部分遮挡的人脸图像，真实完整的人脸图像是指未戴口罩无遮挡的人脸图像。
在更优的技术方案中，所述生成器基于编码器和解码器构建得到，且编码器即为生成器的特征提取层；所述判别器基于VGG16构建得到。
在更优的技术方案中，所述身份识别模型使用深度卷积神经网络作为分类模型，包括特征提取层、2层全连接层和softmax分类层；身份识别模型的特征提取层，复用生成对抗网络的判别器的特征提取层；
训练深度卷积神经网络模型得到身份识别模型的方法为：
在对生成对抗网络进行训练的同时，使用真实完整的人脸图像及其身份标签作为训练样本，对构建的深度卷积神经网络进行训练；
当训练得到人脸重建模型之后，再使用人脸重建模型对非完整的人脸图像进行规范化修复，以获取修复完整的人脸图像；同时，使用修复完整的人脸图像及其身份标签作为训练样本，真实完整的人脸图像及其身份标签也作为训练样本，一起继续对深度卷积神经网络进行训练，最终得到身份识别模型。
在更优的技术方案中，步骤1中获取人脸图像的方法为：首先获取预设区域的监控视频，截取体温测量异常时刻的监控图像；然后，采用多任务级联卷积神经网络对监控图像中的人脸目标进行检测，并截取其中的人脸目标且调整至预设的尺寸，即得到人脸图像。
在更优的技术方案中，步骤3在识别得到体温异常的行人的身份后，再基于识别到的身份信息对该体温异常的行人进行轨迹跟踪和异常行为识别。
在更优的技术方案中，所述异常行为识别包括：无遮打喷嚏、身体不适引起的蹒跚行走。
在更优的技术方案中，所述轨迹跟踪具体包括：
(1) 截取检测到行人体温测量异常时的视频帧为
Figure 100002_DEST_PATH_IMAGE001
和下一视频帧
Figure 100002_DEST_PATH_IMAGE002
；
(2) 对视频帧
Figure 100002_DEST_PATH_IMAGE003
和
Figure 704307DEST_PATH_IMAGE002
分别进行行人特征提取，提取得到行人特征
Figure 100002_DEST_PATH_IMAGE004
和
Figure 100002_DEST_PATH_IMAGE005
；所述行人特征为视频帧中的像素点集合；
(3) 使用视频帧
Figure 100002_DEST_PATH_IMAGE006
对应的行人特征
Figure 100002_DEST_PATH_IMAGE007
和视频帧
Figure 994343DEST_PATH_IMAGE002
对应的行人特征
Figure 826033DEST_PATH_IMAGE005
计算相邻两个视频帧之间的变换预测矩阵
Figure 100002_DEST_PATH_IMAGE008
；
(4) 截取视频帧
Figure 658860DEST_PATH_IMAGE002
的下一视频帧
Figure 100002_DEST_PATH_IMAGE009
，使用视频帧
Figure 816172DEST_PATH_IMAGE002
对应的行人特征
Figure 468870DEST_PATH_IMAGE005
和变换预测矩阵
Figure 854983DEST_PATH_IMAGE008
，预测视频帧
Figure 11158DEST_PATH_IMAGE009
的行人特征
Figure 100002_DEST_PATH_IMAGE010
；
(5) 若行人特征
Figure 339371DEST_PATH_IMAGE010
满足以下条件，则视频帧
Figure 213786DEST_PATH_IMAGE009
中的行人与视频帧
Figure 918437DEST_PATH_IMAGE002
中行人一致，该行人为体温异常人员：
Figure 100002_DEST_PATH_IMAGE011
；
其中，
Figure 100002_DEST_PATH_IMAGE012
为视频帧
Figure 100002_DEST_PATH_IMAGE013
与视频帧
Figure 100002_DEST_PATH_IMAGE014
的行人特征中相匹配的特征点数量，
Figure 100002_DEST_PATH_IMAGE015
和
Figure 100002_DEST_PATH_IMAGE016
分别为行人特征
Figure 100002_DEST_PATH_IMAGE017
和预测行人特征
Figure 100002_DEST_PATH_IMAGE018
的特征点数量；
Figure 100002_DEST_PATH_IMAGE019
和
Figure 100002_DEST_PATH_IMAGE020
分别为行人特征
Figure 100002_DEST_PATH_IMAGE021
和
Figure 100002_DEST_PATH_IMAGE022
所占圆形的面积，
Figure 100002_DEST_PATH_IMAGE023
和
Figure 100002_DEST_PATH_IMAGE024
均为预设介于0和1之间的条件阈值；
(6) 提取视频帧
Figure 100002_DEST_PATH_IMAGE025
的行人特征
Figure 100002_DEST_PATH_IMAGE026
，按照步骤(3)至(5)相同的方法，判断后续各视频帧中的行人是否为体温异常人员，完成体温异常人员轨迹跟踪。
一种疫情环境下的异常体温监控装置，用于实现上述任一所述的一种疫情环境下的异常体温监控方法，所述异常体温监控装置包括：
体温测量及人脸图像获取模块，用于：对预设区域的过往行人进行体温测量，若体温测量异常则获取其人脸图像；
人脸重建模块，用于：采用人脸重建模型对体温异常的人脸图像进行规范化修复，得到修复完整的人脸图像；其中，所述人脸重建模型采用生成对抗网络通过训练达到平衡时的生成器构成；所述生成对抗网络包括生成器和判别器，训练方法为：使用非完整的人脸图像作为生成器的输入数据，使用真实完整的人脸图像和生成器输出的人脸图像作为判别器的输入数据，对生成器和判别器进行对抗训练；当判别器无法分辨输入的人脸图像是真实完整的人脸图像还是生成器输出的人脸图像时，生成对抗网络达到平衡；
身份识别模块，用于：使用身份识别模型对修复完整的人脸图像进行身份识别。
一种计算机存储介质，用于存储程序，所述程序被执行时，用于上述任一技术方案所述的一种疫情环境下的异常体温监控方法。
本发明的有益效果为：采用生成对抗网络构建人脸重建模型，从而可用于对戴口罩有遮挡的非完整的人脸图像进行规范化修复，得到修复完整的人脸图像，从而用于对体温异常的行人进行身份识别以及进一步基于身份信息进行轨迹跟踪和异常行为识别。因此，本发明适用于对疫情环境下戴口罩有遮挡的非完整人脸进行身份识别，而且识别准确率高，实现无接触、大范围和远距离的智能监控，对监控区域内的行人实现行人身份-体温-运动轨迹-异常行为的一体化监控，对防疫抗疫具有一定的实用意义。
附图说明
图1为本发明实施例所述方法的流程图。
具体实施方式
下面对本发明的实施例作详细说明，本实施例以本发明的技术方案为依据开展，给出了详细的实施方式和具体的操作过程，对本发明的技术方案作进一步解释说明。
本发明实施例提供一种疫情环境下的异常体温监控方法，旨在解决疫情环境下过往行人佩戴口罩导致对行人监控的身份识别不准确问题，如图1所示，具体包括以下步骤：
步骤1，对预设区域的过往行人进行体温测量，若体温测量异常则获取其人脸图像；
当监测到体温异常时，触发从预设区域的监控视频中截取体温测量异常时刻的监控图像；然后采用多任务级联卷积神经网络对监控图像中的人脸目标进行检测，并截取其中的人脸目标，将人脸目标调整至预设的尺寸，即得到体温异常行人的人脸图像。
具体的，采用多任务级联卷积神经网络对监控图像中的人脸目标进行检测的方法为：
（1）首先，将监控图像通过下采样进行压缩，得到不同尺度图像生成图像金字塔，以解决人脸目标的多尺度问题。图像金字塔的缩放公式如下：
Figure 100002_DEST_PATH_IMAGE027
；
式中，
Figure 100002_DEST_PATH_IMAGE028
为缩放得到的图像，
Figure 100002_DEST_PATH_IMAGE029
为上一张缩放得到的图像，
Figure 100002_DEST_PATH_IMAGE030
代表金字塔层间缩放比率，分子中的12代表经过高斯金字塔得到图片的最小尺寸，
Figure 100002_DEST_PATH_IMAGE031
为预设的最小图像尺寸，
Figure 100002_DEST_PATH_IMAGE032
是指图像金字塔能够缩放出的图片数量，
（2）多任务级联卷积神经网络MTCNN由P网络、R网络、O网络共同组成。将得到的金字塔图像送入P-Net，P-Net是一个人脸区域的候选网络，该网络的输入一个12*12*3的图像，通过3层的卷积之后，判断这个12*12的图像中是否存在人脸，并利用非极大化抑制算法NMS校准边框，给出人脸框的回归和人脸关键点。
P-Net的模型输入为12*12*3大小的图片，通过10个3*3*3的卷积核，2*2 的MaxPooling（stride=2）操作，生成10个5*5的特征图。接着通过16个3*3*10的卷积核，生成16个3*3的特征图。接着通过32个3*3*16的卷积核，生成32个1*1的特征图。最后针对32个1*1的特征图，可以通过2个1*1*32的卷积核，生成2个1*1的特征图用于分类；4个1*1*32的卷积核，生成4个1*1的特征图用于回归框判断；10个1*1*32的卷积核，生成10个1*1的特征图用于人脸轮廓点的判断。
（3）在输入R-Net之前，将得到的人脸框大小resize到24*24*3，由于R-Net多了一个全连接层，所以会取得更好的抑制false-positive的作用。R-Net的输出与P-Net是相同的，R-Net的目的是为了去除大量的非人脸框。
R-Net模型输入为24*24*3大小的图片，通过28个3*3*3的卷积核和3*3（stride=2）的max pooling后生成28个11*11的特征图；通过48个3*3*28的卷积核和3*3（stride=2）的max pooling后生成48个4*4的特征图；通过64个2*2*48的卷积核后，生成64个3*3的特征图；把3*3*64的特征图转换为128大小的全连接层；对回归框分类问题转换为大小为2的全连接层；对bounding box的位置回归问题，转换为大小为4的全连接层；对人脸轮廓关键点转换为大小为10的全连接层。
（4）在输入O-Net之前，将得到的人脸框大小resize到48*48*3，由于O-Net比R-Net层有多了一层卷积层，所以处理的结果会更加精细。O-Net负责人脸关键点回归，最终得到人脸关键位置和关键点。
O-Net模型输入是一个48*48*3大小的图片，通过32个3*3*3的卷积核和3*3（stride=2）的max pooling后转换为32个23*23的特征图；通过64个3*3*32的卷积核和3*3（stride=2）的max pooling后转换为64个10*10的特征图；通过64个3*3*64的卷积核和3*3（stride=2）的max pooling后转换为64个4*4的特征图；通过128个2*2*64的卷积核转换为128个3*3的特征图；通过全链接操作转换为256大小的全链接层；最好生成大小为2的回归框分类特征；大小为4的回归框位置的回归特征；大小为10的人脸轮廓位置回归特征。
（5）将通过多任务级联卷积神经网络MTCNN得到的对齐人脸图像，最终校准统一将监控图像中的人脸目标调整至预设的尺寸128*128，即得到体温异常行人的人脸图像。
步骤2，采用人脸重建模型对体温异常的人脸图像进行规范化修复，得到修复完整的人脸图像；其中，所述人脸重建模型采用生成对抗网络通过训练达到平衡时的生成器构成；所述生成对抗网络包括生成器和判别器：生成器基于编码器和解码器构建得到，且编码器即为生成器的特征提取层；判别器基于VGG16构建得到。
本实施例针对在疫情期间由于口罩部分遮挡人脸，需要快速获取目标行人身份信息进行目标跟踪。但是口罩遮挡脸部，导致人脸图像不完整，直接使用该不完整的人脸图像进行身份识别，会严重影响身份识别的准确率。为提高口罩遮挡情况下的身份识别准确性，本实施例利用生成对抗网络将遮挡部分的人脸进行拟合复原，模拟出整张人脸，有利于提高口罩遮挡形成的非完整人脸图像进行身份识别的准确性。
具体的，生成对抗网络包括生成器和判别器，训练生成对抗网络以获取人脸重建模型的具体过程为：
（1）选择keras作为深度学习的框架搭建平台；
（2）采用基于卷积神经网络的编码器和解码器构建生成器，采用基于深度卷积神经网络的VGG16构建判别器；
（3）获取真实口罩遮挡人脸识别数据集（RMFRD）训练生成对抗网络，数据集中包括525人的5千张口罩人脸和9万张正常人脸，为便于理解区分，本实施例中将口罩人脸重定义为非完整的人脸图像，即戴口罩致使人脸被部分遮挡的人脸图像，将正常人脸重定义为真实完整的人脸图像，即未戴口罩无遮挡的人脸图像。
（4）使用非完整的人脸图像作为生成器的输入数据，使用真实完整的人脸图像和生成器输出的人脸图像作为判别器的输入数据，对生成器和判别器进行对抗训练；当判别器无法分辨输入的人脸图像是真实完整的人脸图像还是生成器输出的人脸图像时，生成对抗网络达到平衡。其中，训练使用交叉熵损失函数，优化函数为Adam，训练的迭代次数设为50，每个batch包含的样本数为100。
（5）使用测试集对生成对抗网络进行验证。
此时生成对抗网络中的生成器即可作为人脸重建模型，用于对非完整的人脸图像（即戴口罩的人脸图像）进行规范化修复，输出得到修复完整的人脸图像。
本实施例中，生成器中的编码器的具体搭建步骤如下：
（1）将口罩遮挡图像输入第一层卷积层，该层包含64个卷积核，每个卷积核的大小为3*3步长为1，对遮挡图像进行卷积操作并获得特征图。
（2）第一层输出层后面紧接着一个batch normalization归一化层和Activation激活层，激活函数是Relu.
（3）将（1）（2）操作重复一次。
（4）将卷积层输出的特征图连接至MaxPooling最大池化层，竖直和水平方向上的下采样因子分别取（2，2），获得池化后特征图。
（5）将池化后特征图连接至第三个卷积层，该层包含128个卷积核，每个卷积核的大小为3*3步长为1，对遮挡图像进行卷积操作并获得特征图。
（6）输出层后面紧接着一个batch normalization归一化层和Activation激活层，激活函数是Relu.
（7）将（5）（6）操作重复一次。
（8）将卷积层输出的特征图连接至MaxPooling最大池化层，竖直和水平方向上的下采样因子分别取（2，2），获得池化后特征图。
（9）将池化后特征图连接至第五个卷积层，该层包含256个卷积核，每个卷积核的大小为3*3步长为1，对遮挡图像进行卷积操作并获得特征图。
（10）输出层后面紧接着一个batch normalization归一化层和Activation激活层，激活函数是Relu.
（11）将（9）（10）操作重复三次。
（12）将卷积层输出的特征图连接至MaxPooling最大池化层，竖直和水平方向上的下采样因子分别取（2，2），获得池化后特征图。
（13）将池化后特征图连接至第九个卷积层，该层包含512个卷积核，每个卷积核的大小为3*3步长为1，对遮挡图像进行卷积操作并获得特征图。
（14）输出层后面紧接着一个batch normalization归一化层和Activation激活层，激活函数是Relu.
（15）将（13）（14）操作重复一次。
（16）将卷积层输出的特征图连接至MaxPooling最大池化层，竖直和水平方向上的下采样因子分别取（2，2），获得池化后特征图。
（17）将池化特征图经过Flatten扁平层，将多维输入转换为一维特征向量。
（18）然后连接Dense全连接层，输出节点为1024个，编码器将输入压缩成潜在空间表征，得到人脸特征。
生成器中的解码器，与编码器互为逆过程，不同在于：编码器中是下采样，解码器是上采样。最终解码器输出一张拟合的人脸图像。
步骤3，使用身份识别模型对修复完整的人脸图像进行身份识别。
所述身份识别模型使用深度卷积神经网络作为分类模型，包括特征提取层、2层全连接层和softmax分类层。由于判别器的特征提取层（包括卷积层与池化层过程）用于将输入的人脸图像中包括的特征提取出来，而身份识别模型的特征提取层需要针对输入的人脸图像进行特征提取，因此作用相同，从而身份识别模型的特征提取层可以复用生成对抗网络的生成器的特征提取层。
其中，训练深度卷积神经网络模型得到身份识别模型的方法为：
在对生成对抗网络进行训练的同时，使用真实完整的人脸图像及其身份标签作为训练样本，对构建的深度卷积神经网络进行训练；
当训练得到人脸重建模型之后，再使用人脸重建模型对非完整的人脸图像进行规范化修复，以获取修复完整的人脸图像；同时，使用修复完整的人脸图像及其身份标签作为训练样本，真实完整的人脸图像及其身份标签也作为训练样本，一起继续对深度卷积神经网络进行训练，最终得到身份识别模型。
训练得到的身份识别模型，即可用于对步骤2输出的修复完整的人脸图像进行身份识别，同时也可对真实完整的人脸图像进行身份识别，并将识别到的身份信息以及体温数据上传至监控数据库。
步骤4，基于识别到的身份信息对该体温异常的行人进行轨迹跟踪和异常行为识别。最终可以实现对监控区域内的疑似病人进行精确跟踪，为防疫提供数据支撑。
其中，所述异常行为识别包括：无遮打喷嚏、身体不适引起的蹒跚行走。
轨迹跟踪具体包括：
(1) 截取检测到行人体温测量异常时的视频帧为
Figure DEST_PATH_IMAGE033
和下一视频帧
Figure DEST_PATH_IMAGE034
；
(2) 对视频帧
Figure DEST_PATH_IMAGE035
和
Figure DEST_PATH_IMAGE036
分别进行行人特征提取，提取得到行人特征
Figure DEST_PATH_IMAGE037
和
Figure DEST_PATH_IMAGE038
；所述行人特征为视频帧中的像素点集合；
(3) 使用视频帧
Figure DEST_PATH_IMAGE039
对应的行人特征
Figure DEST_PATH_IMAGE040
和视频帧
Figure DEST_PATH_IMAGE041
对应的行人特征
Figure DEST_PATH_IMAGE042
计算相邻两个视频帧之间的变换预测矩阵
Figure DEST_PATH_IMAGE043
；
其中，变换预测矩阵
Figure 259944DEST_PATH_IMAGE043
的计算方法为：
设行人特征
Figure DEST_PATH_IMAGE044
与行人特征
Figure DEST_PATH_IMAGE045
总共有
Figure DEST_PATH_IMAGE046
个相匹配的特征点，分别包括相匹配的第
Figure DEST_PATH_IMAGE047
个特征点分别为
Figure DEST_PATH_IMAGE048
和
Figure DEST_PATH_IMAGE049
，则变换预测矩阵
Figure DEST_PATH_IMAGE050
满足：
Figure DEST_PATH_IMAGE051
；
令
Figure DEST_PATH_IMAGE052
，
Figure DEST_PATH_IMAGE053
，
Figure DEST_PATH_IMAGE054
，则变换预测矩阵
Figure DEST_PATH_IMAGE055
的求解表达式为：
Figure DEST_PATH_IMAGE056
跟踪误差可以用下式表示：
Figure DEST_PATH_IMAGE057
。
(4) 截取视频帧
Figure DEST_PATH_IMAGE058
的下一视频帧
Figure DEST_PATH_IMAGE059
，使用视频帧
Figure 883692DEST_PATH_IMAGE058
对应的行人特征
Figure DEST_PATH_IMAGE060
和变换预测矩阵
Figure DEST_PATH_IMAGE061
，预测视频帧
Figure DEST_PATH_IMAGE062
的行人特征
Figure DEST_PATH_IMAGE063
；
(5) 若行人特征
Figure DEST_PATH_IMAGE064
满足以下条件，则视频帧
Figure DEST_PATH_IMAGE065
中的行人与视频帧中
Figure DEST_PATH_IMAGE066
行人一致，该行人为体温异常人员：
Figure 697933DEST_PATH_IMAGE011
；
其中，
Figure 675117DEST_PATH_IMAGE012
为视频帧
Figure DEST_PATH_IMAGE067
与视频帧
Figure DEST_PATH_IMAGE068
的行人特征中相匹配的特征点数量，
Figure DEST_PATH_IMAGE069
和
Figure DEST_PATH_IMAGE070
分别为行人特征
Figure DEST_PATH_IMAGE071
和预测行人特征
Figure DEST_PATH_IMAGE072
的特征点数量；
Figure DEST_PATH_IMAGE073
和
Figure DEST_PATH_IMAGE074
分别为行人特征
Figure DEST_PATH_IMAGE075
和
Figure DEST_PATH_IMAGE076
所占圆形的面积，
Figure DEST_PATH_IMAGE077
和
Figure DEST_PATH_IMAGE078
均为预设介于0和1之间的条件阈值；
(6) 提取视频帧
Figure DEST_PATH_IMAGE079
的行人特征
Figure DEST_PATH_IMAGE080
，按照步骤(3)至(5)相同的方法，判断后续各视频帧中的行人是否为体温异常人员，完成体温异常人员轨迹跟踪。
现有技术中采用逐步搜索方法进行特征匹配来完成目标轨迹跟踪，由于计算量大而需要大量时间，无法做到实时跟踪，在疫情环境下发现可能感染的目标的过程就是与时间赛跑，因此本发明实施例采用惯性预测方法，即根据前几帧行人的运动方向和速度，预测目标的可能方向，具体通过计算最近已知的行人特征之间的预测转换矩阵，对下一视频帧中的行人特征进行预测，得到行人较大可能的移动方向，进一步通过条件判断完成轨迹跟踪。因此本发明实施例对行人轨迹的跟踪方案，通过预测判断，可以大量缩短轨迹跟踪的时间，从而做到实时跟踪。
本发明还提供一种疫情环境下的异常体温监控装置，用于实现上述实施例中所述的一种疫情环境下的异常体温监控方法，所述异常体温监控装置包括：
体温测量及人脸图像获取模块，用于：对预设区域的过往行人进行体温测量，若体温测量异常则获取其人脸图像；
人脸重建模块，用于：采用人脸重建模型对体温异常的人脸图像进行规范化修复，得到修复完整的人脸图像；其中，所述人脸重建模型采用生成对抗网络通过训练达到平衡时的生成器构成；所述生成对抗网络包括生成器和判别器，训练方法为：使用非完整的人脸图像作为生成器的输入数据，使用真实完整的人脸图像和生成器输出的人脸图像作为判别器的输入数据，对生成器和判别器进行对抗训练；当判别器无法分辨输入的人脸图像是真实完整的人脸图像还是生成器输出的人脸图像时，生成对抗网络达到平衡；
身份识别模块，用于：使用身份识别模型对修复完整的人脸图像进行身份识别。
本发明还提供一种计算机存储介质，用于存储程序，所述程序被执行时，用于实现上述实施例所述的一种疫情环境下的异常体温监控方法。
以上实施例为本申请的优选实施例，本领域的普通技术人员还可以在此基础上进行各种变换或改进，在不脱离本申请总的构思的前提下，这些变换或改进都应当属于本申请要求保护的范围之内。

Claims (8)

1.一种疫情环境下的异常体温监控方法，其特征在于，包括以下步骤：
步骤1，对预设区域的过往行人进行体温测量，若体温测量异常则获取其人脸图像；
步骤2，采用人脸重建模型对体温异常的人脸图像进行规范化修复，得到修复完整的人脸图像；
其中，所述人脸重建模型的构成为：对生成对抗网络训练达到平衡，将生成对抗网络在此时的生成器作为人脸重建模型；所述生成对抗网络包括生成器和判别器，训练方法为：
使用非完整的人脸图像作为生成器的输入数据，使用真实完整的人脸图像和生成器输出的人脸图像作为判别器的输入数据，对生成器和判别器进行对抗训练；当判别器无法分辨输入的人脸图像是真实完整的人脸图像还是生成器输出的人脸图像时，生成对抗网络达到平衡；
步骤3，使用身份识别模型对修复完整的人脸图像进行身份识别；
其中，步骤3在识别得到体温异常的行人的身份后，再基于识别到的身份信息对该体温异常的行人进行轨迹跟踪和异常行为识别；所述轨迹跟踪具体包括：
(1) 截取检测到行人体温测量异常时的视频帧为
Figure DEST_PATH_IMAGE001
和下一视频帧
Figure DEST_PATH_IMAGE002
；
(2) 对视频帧
Figure DEST_PATH_IMAGE003
和
Figure 926159DEST_PATH_IMAGE002
分别进行行人特征提取，提取得到行人特征
Figure DEST_PATH_IMAGE004
和
Figure DEST_PATH_IMAGE005
；所述行人特征为视频帧中的像素点集合；
(3) 使用视频帧
Figure 905616DEST_PATH_IMAGE003
对应的行人特征
Figure 216512DEST_PATH_IMAGE004
和视频帧
Figure 408459DEST_PATH_IMAGE002
对应的行人特征
Figure 753990DEST_PATH_IMAGE005
计算相邻两个视频帧之间的变换预测矩阵
Figure DEST_PATH_IMAGE006
；
(4) 截取视频帧
Figure DEST_PATH_IMAGE007
的下一视频帧
Figure DEST_PATH_IMAGE008
，使用视频帧
Figure DEST_PATH_IMAGE009
对应的行人特征
Figure DEST_PATH_IMAGE010
和变换预测矩阵
Figure DEST_PATH_IMAGE011
，预测视频帧
Figure DEST_PATH_IMAGE012
的行人特征
Figure DEST_PATH_IMAGE013
；
(5) 若行人特征
Figure DEST_PATH_IMAGE014
满足以下条件，则视频帧
Figure DEST_PATH_IMAGE015
中的行人与视频帧
Figure DEST_PATH_IMAGE016
中行人一致，该行人为体温异常人员：
Figure DEST_PATH_IMAGE017
；
其中，
Figure DEST_PATH_IMAGE018
为视频帧
Figure DEST_PATH_IMAGE019
与视频帧
Figure DEST_PATH_IMAGE020
的行人特征中相匹配的特征点数量，
Figure DEST_PATH_IMAGE021
和
Figure DEST_PATH_IMAGE022
分别为行人特征
Figure DEST_PATH_IMAGE023
和预测行人特征
Figure DEST_PATH_IMAGE024
的特征点数量；
Figure DEST_PATH_IMAGE025
和
Figure DEST_PATH_IMAGE026
分别为行人特征
Figure DEST_PATH_IMAGE027
和
Figure DEST_PATH_IMAGE028
所占圆形的面积，
Figure DEST_PATH_IMAGE029
和
Figure DEST_PATH_IMAGE030
均为预设介于0和1之间的条件阈值；
(6) 提取视频帧
Figure DEST_PATH_IMAGE031
的行人特征
Figure DEST_PATH_IMAGE032
，按照步骤(3)至(5)相同的方法，判断后续各视频帧中的行人是否为体温异常人员，完成体温异常人员轨迹跟踪。
2.根据权利要求1所述的一种疫情环境下的异常体温监控方法，其特征在于，所述非完整的人脸图像是指戴口罩致使人脸被部分遮挡的人脸图像，真实完整的人脸图像是指未戴口罩无遮挡的人脸图像。
3.根据权利要求1所述的一种疫情环境下的异常体温监控方法，其特征在于，所述生成器基于编码器和解码器构建得到，且编码器即为生成器的特征提取层；所述判别器基于VGG16构建得到。
4.根据权利要求1所述的一种疫情环境下的异常体温监控方法，其特征在于，所述身份识别模型使用深度卷积神经网络作为分类模型，包括特征提取层、2层全连接层和softmax分类层；身份识别模型的特征提取层，复用生成对抗网络的判别器的特征提取层；
训练深度卷积神经网络模型得到身份识别模型的方法为：
在对生成对抗网络进行训练的同时，使用真实完整的人脸图像及其身份标签作为训练样本，对构建的深度卷积神经网络进行训练；
当训练得到人脸重建模型之后，再使用人脸重建模型对非完整的人脸图像进行规范化修复，以获取修复完整的人脸图像；同时，使用修复完整的人脸图像及其身份标签作为训练样本，真实完整的人脸图像及其身份标签也作为训练样本，一起继续对深度卷积神经网络进行训练，最终得到身份识别模型。
5.根据权利要求1所述的一种疫情环境下的异常体温监控方法，其特征在于，步骤1中获取人脸图像的方法为：首先获取预设区域的监控视频，截取体温测量异常时刻的监控图像；然后，采用多任务级联卷积神经网络对监控图像中的人脸目标进行检测，并截取其中的人脸目标且调整至预设的尺寸，即得到人脸图像。
6.根据权利要求1所述的一种疫情环境下的异常体温监控方法，其特征在于，所述异常行为识别包括：无遮打喷嚏、身体不适引起的蹒跚行走。
7.一种疫情环境下的异常体温监控装置，其特征在于，用于实现如权利要求1-6任一所述的一种疫情环境下的异常体温监控方法，所述异常体温监控装置包括：
体温测量及人脸图像获取模块，用于：对预设区域的过往行人进行体温测量，若体温测量异常则获取其人脸图像；
人脸重建模块，用于：采用人脸重建模型对体温异常的人脸图像进行规范化修复，得到修复完整的人脸图像；其中，所述人脸重建模型采用生成对抗网络通过训练达到平衡时的生成器构成；所述生成对抗网络包括生成器和判别器，训练方法为：使用非完整的人脸图像作为生成器的输入数据，使用真实完整的人脸图像和生成器输出的人脸图像作为判别器的输入数据，对生成器和判别器进行对抗训练；当判别器无法分辨输入的人脸图像是真实完整的人脸图像还是生成器输出的人脸图像时，生成对抗网络达到平衡；
身份识别模块，用于：使用身份识别模型对修复完整的人脸图像进行身份识别。
8.一种计算机存储介质，其特征在于，用于存储程序，所述程序被执行时，用于实现如权利要求1-6任一所述的一种疫情环境下的异常体温监控方法。
CN202110000781.4A 2021-01-04 2021-01-04 一种疫情环境下的异常体温监控方法、装置及介质 Active CN112329743B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110000781.4A CN112329743B (zh) 2021-01-04 2021-01-04 一种疫情环境下的异常体温监控方法、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110000781.4A CN112329743B (zh) 2021-01-04 2021-01-04 一种疫情环境下的异常体温监控方法、装置及介质

Publications (2)

Publication Number Publication Date
CN112329743A CN112329743A (zh) 2021-02-05
CN112329743B true CN112329743B (zh) 2021-04-27

Family

ID=74302094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110000781.4A Active CN112329743B (zh) 2021-01-04 2021-01-04 一种疫情环境下的异常体温监控方法、装置及介质

Country Status (1)

Country Link
CN (1) CN112329743B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016205951A1 (en) * 2015-06-25 2016-12-29 Appropolis Inc. A system and a method for tracking mobile objects using cameras and tag devices
CN107609481A (zh) * 2017-08-14 2018-01-19 百度在线网络技术（北京）有限公司 为人脸识别生成训练数据的方法、装置和计算机存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104008370B (zh) * 2014-05-19 2017-06-13 清华大学 一种视频人脸识别方法
US10325673B2 (en) * 2017-07-25 2019-06-18 Insilico Medicine, Inc. Deep transcriptomic markers of human biological aging and methods of determining a biological aging clock
CN107730458A (zh) * 2017-09-05 2018-02-23 北京飞搜科技有限公司 一种基于生成式对抗网络的模糊人脸重建方法及系统
CN109377448B (zh) * 2018-05-20 2021-05-07 北京工业大学 一种基于生成对抗网络的人脸图像修复方法
CN111985281B (zh) * 2019-05-24 2022-12-09 内蒙古工业大学 图像生成模型的生成方法、装置及图像生成方法、装置
CN111325127A (zh) * 2020-02-12 2020-06-23 上海云从汇临人工智能科技有限公司 一种异常对象判断方法、系统、机器可读介质及设备
CN111310717A (zh) * 2020-03-09 2020-06-19 上海通金信息科技开发有限公司 运动人群无感体温智能筛查与身份识别装置
CN111414854A (zh) * 2020-03-19 2020-07-14 银河水滴科技（北京）有限公司 一种目标人群轨迹追踪方法及装置
CN111707375B (zh) * 2020-06-10 2021-07-09 青岛联合创智科技有限公司 一种具备智能测温考勤和异常行为检测的电子班牌

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016205951A1 (en) * 2015-06-25 2016-12-29 Appropolis Inc. A system and a method for tracking mobile objects using cameras and tag devices
CN107609481A (zh) * 2017-08-14 2018-01-19 百度在线网络技术（北京）有限公司 为人脸识别生成训练数据的方法、装置和计算机存储介质

Also Published As

Publication number Publication date
CN112329743A (zh) 2021-02-05

Similar Documents

Publication Publication Date Title
CN108805093B (zh) 基于深度学习的手扶电梯乘客摔倒检测方法
He et al. Application of deep learning in integrated pest management: A real-time system for detection and diagnosis of oilseed rape pests
CN106778595B (zh) 基于高斯混合模型的人群中异常行为的检测方法
WO2019232894A1 (zh) 一种基于复杂场景下的人体关键点检测系统及方法
Huang et al. Development and validation of a deep learning algorithm for the recognition of plant disease
CN113065578B (zh) 一种基于双路区域注意力编解码的图像视觉语义分割方法
CN110717903A (zh) 一种利用计算机视觉技术进行农作物病害检测的方法
CN109190544B (zh) 一种基于序列深度图像的人体身份识别方法
CN110728252B (zh) 一种应用于区域人员运动轨迹监控的人脸检测方法
US20220180534A1 (en) Pedestrian tracking method, computing device, pedestrian tracking system and storage medium
CN109298785A (zh) 一种监测设备的人机联控系统及方法
JP2017016593A (ja) 画像処理装置、画像処理方法、及びプログラム
CN108960047A (zh) 基于深度二次树的视频监控中人脸去重方法
CN113343985B (zh) 车牌识别方法和装置
CN116229052B (zh) 一种基于孪生网络的变电站设备状态变化检测方法
CN109376736A (zh) 一种基于深度卷积神经网络的视频小目标检测方法
CN113378649A (zh) 身份、位置和动作识别方法、系统、电子设备及存储介质
Zhao et al. SAI-YOLO: a lightweight network for real-time detection of driver mask-wearing specification on resource-constrained devices
Hermina et al. A Novel Approach to Detect Social Distancing Among People in College Campus
Lin et al. Optimal CNN-based semantic segmentation model of cutting slope images
CN114359702A (zh) 一种基于Transformer的宅基地遥感图像违建识别方法及系统
CN117422695A (zh) 一种基于CR-Deeplab的异常检测方法
CN112329743B (zh) 一种疫情环境下的异常体温监控方法、装置及介质
CN107886060A (zh) 基于视频的行人自动检测与跟踪方法
CN112541403B (zh) 一种利用红外摄像头的室内人员跌倒检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant