CN111912531A - 基于智能热成像视频分析的动态人体躯干温度分析方法 - Google Patents
基于智能热成像视频分析的动态人体躯干温度分析方法 Download PDFInfo
- Publication number
- CN111912531A CN111912531A CN202010759329.1A CN202010759329A CN111912531A CN 111912531 A CN111912531 A CN 111912531A CN 202010759329 A CN202010759329 A CN 202010759329A CN 111912531 A CN111912531 A CN 111912531A
- Authority
- CN
- China
- Prior art keywords
- human
- key point
- motion
- human body
- mask
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 33
- 238000001931 thermography Methods 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 37
- 230000036760 body temperature Effects 0.000 claims abstract description 33
- 238000013528 artificial neural network Methods 0.000 claims abstract description 26
- 230000002159 abnormal effect Effects 0.000 claims abstract description 9
- 238000001914 filtration Methods 0.000 claims abstract description 8
- 238000010586 diagram Methods 0.000 claims description 33
- 210000003414 extremity Anatomy 0.000 claims description 22
- 238000012805 post-processing Methods 0.000 claims description 7
- 210000003127 knee Anatomy 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 description 19
- 230000008447 perception Effects 0.000 description 16
- 230000006870 function Effects 0.000 description 8
- 101150064138 MAP1 gene Proteins 0.000 description 6
- 210000000988 bone and bone Anatomy 0.000 description 6
- 210000000245 forearm Anatomy 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000012935 Averaging Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 230000005855 radiation Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 101100400452 Caenorhabditis elegans map-2 gene Proteins 0.000 description 2
- 101100075995 Schizosaccharomyces pombe (strain 972 / ATCC 24843) fma2 gene Proteins 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000001351 cycling effect Effects 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 238000002203 pretreatment Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 238000009529 body temperature measurement Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
- G01J5/0025—Living bodies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J2005/0077—Imaging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种基于智能热成像视频分析的动态人体躯干温度分析方法。包括：利用运动类型分析神经网络对人体骨架进行分析，输出人体运动类别；生成粗糙躯体遮罩；将粗糙躯体遮罩分别作为真实输入、引导输入进行引导滤波操作，得到细致躯体遮罩；根据细致躯体遮罩，从相机采集的运动区域热成像中截取躯体范围热成像；躯体各部分设置不同的权重，将躯体各部分平均热成像像素值与躯体各部分权重相乘，计算相乘之后的总和，作为躯体加权热成像像素值，从而得到躯体温度值；实时判断躯体温度值是否位于所得人体运动类别的标准躯体温度范围内，如果否，则判断体温异常，输出提醒消息。利用本发明可以为不同运动类型的运动者提供提醒信息。
Description
技术领域
本发明涉及人工智能、计算机视觉技术领域，具体涉及一种基于智能热成像视频分析的动态人体躯干温度分析方法。
背景技术
运动过程中对人体温度进行实时监控，对人体健康十分必要。公告号为CN109405232B、发明名称为基于红外温度感测及人体动态的空调自动调节方法的专利文献使用红外测温传感器与图像处理相结合的方式，但图像处理仅用作判断人是否处于运动状态，在实际应用中，仍需要给每个运动者装配传感器，传感器的部署较为繁琐，且易脱落。公开号为CN106491090A、发明名称为采用红外医学影像技术对人体健康进行评估的方法的专利方法通过固定位姿的远红外摄像头采集红外图像，且要求病人的姿态固定，直接对图像划分躯体区域。该方法无法应用于运动场景中，泛化能力差。各运动场景中，检测目标处于持续移动的情况，无法通过对图像划分区域完成各躯体温度的分析。
发明内容
本发明的目的在于针对上述现有技术存在的缺陷，提出一种基于智能热成像视频分析的动态人体躯干温度分析方法。
一种基于智能热成像视频分析的动态人体躯干温度分析方法，该方法包括：
对相机采集的运动区域彩色图像进行运动者人体关键点感知，输出多通道人体关键点热力图，根据关键点连接关系的先验知识，得到人体骨架；
利用运动类型分析神经网络对人体骨架进行分析，输出人体运动类别；
将人体肩部连线中心点与根结点连接，根据躯干的经验宽度，以连接线为中线、所有垂直于连接线且长度为肢体经验宽度的线段上的像素点的集合，构成躯干粗糙遮罩；将每段肢体两端的关键点连接，根据各段肢体的经验宽度，以连接线为中线、所有垂直于连接线且长度为肢体经验宽度的线段上的像素点的集合，构成该段肢体的粗糙遮罩；将粗糙躯干遮罩与各段肢体粗糙遮罩结合，得到粗糙躯体遮罩；
将粗糙躯体遮罩分别作为真实输入、引导输入进行引导滤波操作，得到细致躯体遮罩；
根据细致躯体遮罩，从相机采集的运动区域热成像中截取躯体范围热成像；
躯体各部分设置不同的权重，将躯体各部分平均热成像像素值与躯体各部分权重相乘，计算相乘之后的总和，作为躯体加权热成像像素值，从而得到躯体温度值；
实时判断躯体温度值是否位于所得人体运动类别的标准躯体温度范围内，如果否，则判断体温异常，输出提醒消息。
根据关键点连接关系的先验知识，得到人体骨架包括：
步骤s1，对多通道人体关键点热力图进行后处理，并根据深度信息将人体关键点坐标由二维变换为三维，得到多个人体关键点坐标集合，每个集合对应一个通道；
步骤s2，针对每个根节点，计算根节点与相连接关键点类型对应人体关键点坐标集合中每个关键点之间的距离，将距离属于经验范围的对应关键点加入根节点对应的个体关键点集合；
步骤s3，计算新加入关键点与其相连接关键点类型对应人体关键点坐标集合中每个关键点之间的距离，将距离属于经验范围的对应关键点加入根节点对应的个体关键点集合；
步骤s4，重复步骤s3，直到每个人体关键点坐标集合都经过匹配，得到多个个体关键点集合，根据连接关系先验知识，得到人体骨架。
利用人体关键点感知神经网络进行人体关键点感知，人体关键点感知网络包括：
人体关键点编码器，对图像进行特征提取，输出特征图；
人体关键点解码器，对特征图进行上采样重构，输出人体关键点热力图。
运动类型分析神经网络包括：
运动类别编码器，用于对人体骨架进行特征提取，输出特征图；
全连接层，用于对特征图进行加权分类，输出运动类别。
对一段时间内的人体骨架进行分析，统计人体运动类别。
该方法还包括：
将连续帧的根节点热力图叠加，将叠加热力图中的像素值与经验阈值比较，像素值大于经验阈值的位置为运动者位置；
将根节点与运动者位置小于设定距离的人体骨架，输入运动类型分析神经网络，输出人体运动类别。
人体关键点包括：头部中心关键点、颈部中心关键点、左右肩部关键点、肩部连线中心点、左右肘部关键点、左右手部关键点、根节点、左右胯骨关键点、左右膝部关键点、左右脚部关键点。
本发明与现有技术相比，具有以下有益效果：
1.本发明相比于基于红外温度感测及人体动态的空调自动调节方法，优点在于：在应用中无需使用任何便携式设备采集数据，通过摄像头即可完成温度信息的分析，不仅成本低而且检测精度高。
2.本发明考虑到多人运动场景下，运动者之间的距离较大，因此设计了根据关键点连接关系的先验知识得到人体骨架，相比与采用联合嵌入的神经网络、部分亲和矢量场的神经网络，大大降低了训练网络时的标注数据量，降低了网络训练所需时间，而且在运动场景下能够准确匹配出多人骨架。
3.本发明采用热度叠加方法区分运动者、非运动者，不仅效果好，而且计算量低、计算效率高。
4.本发明利用运动类型分析神经网络分析出人体运动类别，相比于现有技术，能够根据运动者的运动类型提供相应的提醒信息。
5.本发明根据人体骨架，设计了粗糙躯体遮罩生成方法，相比于利用语义分割网络分割躯体的方法，无需进行训练，降低了使用难度，而且在后续使用过程中，能够较快得到粗糙躯体遮罩。
6.本发明对粗糙躯体遮罩进行引导滤波，提高了躯体遮罩的精度，有助于提高后续热成像温度分析的精度。
7.本发明基于深度学习技术，设计人体关键点感知神经网络实时监测运动目标，不要求被检测目标位姿固定，能够适用于运动场景。
附图说明
图1为本发明方法框架图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明提供一种基于智能热成像视频分析的动态人体躯干温度分析方法，通过相机采集图像，经过处理得到运动者的运动类型及运动时各躯体的温度，与该类运动的标准躯体温度相比，分析运动者运动时体温是否处于异常状态。图1为本发明方法框架图。下面通过具体实施例来进行说明。
实施例1：
在运动区域附近部署相机，相机的位姿固定，以斜俯视视角拍摄。需要说明的是，相机部署时，其视角应能拍摄其所负责监控的运动区域。
对相机采集的运动区域彩色图像进行运动者人体关键点感知，输出多通道人体关键点热力图，根据关键点连接关系的先验知识，得到人体骨架。利用人体关键点感知神经网络进行人体关键点感知，人体关键点感知网络包括：人体关键点编码器，对图像进行特征提取，输出特征图；人体关键点解码器，对人体关键点编码器输出的特征图进行上采样重构，输出人体关键点热力图。
人体关键点感知神经网络，对相机拍摄的图像进行人体关键点的检测。本发明所采用的关键点位置检测方法，基于Encoder-Decoder的CNN训练人体关键点提取网络。本实施例中，人体关键点包括16类，分别为头部中心关键点(1)、颈部中心关键点(1)、左右肩部关键点(2)、左右肩部连线中心点(1)、左右肘部关键点(2)、左右手部关键点(2)、根节点(1)、左右胯骨关键点(2)、左右膝部关键点(2)、左右脚部关键点(2)。根节点，为左右胯骨之间的中心点。人体关键点热力图输出的通道中的表征是符合高斯分布的热斑，一般对训练集标注时，以高斯核卷积生成以关键点为中心的热斑作标注，使用均方误差损失函数进行训练可以得到。标签数据经过归一化处理，因此输出的热斑值域也位于[0，1]。
人体关键点感知神经网络训练细节如下：采用相机对目标区域进行图像采集，目标区域中有运动者，以采集的多帧图像作为训练数据集，数据集图像需经过预处理，本发明采用归一化方法作为预处理，便于模型更好的收敛。同样，标签应通过相同的预处理。标签为人体关键点经高斯模糊后得到的人体关键点热力图。通过采集的图像和热力图标签数据，端到端地训练人体关键点编码器Encoder1和人体关键点解码器Decoder1。Encoder1对图像进行特征提取，输入为归一化处理后的图像数据，输出为Feature map1；Decoder1对Feature map1进行上采样，输出与原图等大的人体关键点热力图Heatmap1，由于有16类关键点，Heatmap1按关键点类别以17个通道形式输出，一个通道为背景类。采用均方误差损失函数，对网络进行训练。目前能够较好的预测关键点位置的网络和开源项目较多，是一种主流的计算机视觉任务，实施者也可以根据情况自行选择。
利用运动类型分析神经网络对人体骨架进行分析，输出人体运动类别。运动类型分析神经网络包括：运动类别编码器，用于对人体骨架进行特征提取，输出特征图；全连接层，用于对运动类别编码器输出的特征图进行加权分类，输出运动类别。
本实施例选择其中较为常见的三类地面有氧运动进行识别。实施者可根据实际情况，选择足够多的运动类别。有氧运动类别包括三类，为慢跑、跳绳、和骑单车。
运动类型分析神经网络训练细节如下：采用相机对运动区域进行图像采集，采集的多帧图像人为标注骨架，所标注的骨架作为训练数据集。标注为图像中图像所属运动类别。通过图像和标注数据，端到端地训练运动类别编码器Encoder2和全连接层FC。Encoder2提取特征，输出Feature map2；Feature map2经flatten操作送入全连接层FC，经过softmax函数输出运动类别。采用交叉熵损失函数，对网络进行训练。
为了避免单帧图像处理时的误检测问题，建议对输出结果进行一定的后处理。本发明采用一种简单的后处理方法，即对一段时间内的运动类别进行统计分析，如果一段时间内输出的运动类别大部分均为某一类，则运动者在进行该类运动。例如通过对连续120帧图像进行统计，当类别结果为一类的数值大于110帧，则判断为该类别动作。
根据躯干关键点生成粗糙躯干遮罩；将每段肢体两端的关键点连接，根据各段肢体的经验宽度，以连接线为中线、所有垂直于连接线且长度为肢体经验宽度的线段上的像素点的集合，构成该段肢体的粗糙遮罩；将粗糙躯干遮罩与各段肢体粗糙遮罩结合，得到粗糙躯体遮罩。
对于骨骼关键点，两个关键点可构成一个躯体，且仅有该对关键点可构成相应的躯体，例如：左肘关键点和左手关键点能且仅能构成小臂肢体。对每两个关键点所构成的人体躯体，以关键点相连线段为中线，设置一个经验宽度L，所有垂直于该线段的直线上与线段距离为L的点的集合，构成此躯体的粗糙Mask。对于不同躯体，应选择不同的距离L进行粗糙Mask的生成。需要特别说明的是，人体躯干部分的Mask生成为通过左右肩部中心点与根节点两点以上述方式生成人体躯干Mask。
将粗糙躯体遮罩分别作为真实输入、引导输入进行引导滤波操作，得到细致躯体遮罩。导向滤波(Guided Fliter)的输入为真实输入p和引导输入I。在本发明中，两个输入都为粗糙躯体Mask。滤波输出为q。公式1为：qi＝akIi+bk，ak、bk是需要确定的常量系数，该公式具有边缘保留的能力，原因在于求导时通过式
可见，I有梯度的地方输出q就有梯度。通过公式2qi＝pi-ni实现去噪；ni为噪声。令噪声最小化，
通过最小二乘法求解ak、bk，ωk是滤波窗口。
根据细致躯体遮罩，从相机采集的运动区域热成像中截取躯体范围热成像；躯体各部分设置不同的权重，将躯体各部分平均热成像像素值与躯体各部分权重相乘，计算相乘之后的总和，作为躯体加权热成像像素值，从而得到躯体温度值；实时判断躯体温度值是否位于所得人体运动类别的标准躯体温度范围内，如果否，则判断体温异常，输出提醒消息。热成像像素值为热辐射值，可通过查表得到热辐射值对应的温度值。
标准躯体温度范围可以通过以下方法获得：基于运动类型，对标准环境下该运动类别的多个人体躯体温度信息进行采集，采集方式可选择在各躯体上安装温度传感器的传统方法，也可以使用热成像方法。对一个人的躯体各部分温度求加权和可以得到一个人的躯体温度。多人平均即可得到标准躯体温度。对多个人的某一躯体部分的温度信息进行均值处理，可以作为该躯体部分的标准温度，例如对多人的小臂温度信息进行均值处理，可以得到小臂的标准温度。如此可以得到标准躯体温度、躯体各部分的标准温度。应当基于实际情况设定一个浮动值，检测温度与标准温度差值在浮动值范围内，判断为正常；否则，判断为温度异常，提醒运动者注意。比较时，可以根据标准躯体温度范围获得一个提醒结果，也可以比较运动者躯体各部分温度与相应的躯体部分的标准温度范围，提醒该躯体部分的温度是否异常。
实施例2：
本实施例可以在相机视野中有多个运动者的情况下，区分运动者。
在运动区域附近部署相机，相机的位姿固定，以斜俯视视角拍摄。需要说明的是，相机部署时，其视角应能拍摄其所负责监控的运动区域。
对相机采集的运动区域彩色图像进行运动者人体关键点感知，输出多通道人体关键点热力图，根据关键点连接关系的先验知识，得到人体骨架。利用人体关键点感知神经网络进行人体关键点感知，人体关键点感知网络包括：人体关键点编码器，对图像进行特征提取，输出特征图；人体关键点解码器，对人体关键点编码器输出的特征图进行上采样重构，输出人体关键点热力图。
人体关键点感知神经网络，对相机拍摄的图像进行人体关键点的检测。本发明所采用的关键点位置检测方法，基于Encoder-Decoder的CNN训练人体关键点提取网络。本实施例中，人体关键点包括16类，分别为头部中心关键点(1)、颈部中心关键点(1)、左右肩部关键点(2)、左右肩部连线中心点(1)、左右肘部关键点(2)、左右手部关键点(2)、根节点(1)、左右胯骨关键点(2)、左右膝部关键点(2)、左右脚部关键点(2)。根节点，为左右胯骨之间的中心点。人体关键点热力图输出的通道中的表征是符合高斯分布的热斑，一般对训练集标注时，以高斯核卷积生成以关键点为中心的热斑作标注，使用均方误差损失函数进行训练可以得到。标签数据经过归一化处理，因此输出的热斑值域也位于[0，1]。
人体关键点感知神经网络训练细节如下：采用相机对目标区域进行图像采集，目标区域中有运动者，以采集的多帧图像作为训练数据集，数据集图像需经过预处理，本发明采用归一化方法作为预处理，便于模型更好的收敛。同样，标签应通过相同的预处理。标签为人体关键点经高斯模糊后得到的人体关键点热力图。通过采集的图像和热力图标签数据，端到端地训练人体关键点编码器Encoder1和人体关键点解码器Decoder1。Encoder1对图像进行特征提取，输入为归一化处理后的图像数据，输出为Feature map1；Decoder1对Feature map1进行上采样，输出与原图等大的人体关键点热力图Heatmap1，由于有16类关键点，Heatmap1按关键点类别以17个通道形式输出，一个通道为背景类。采用均方误差损失函数，对网络进行训练。目前能够较好的预测关键点位置的网络和开源项目较多，是一种主流的计算机视觉任务，实施者也可以根据情况自行选择。
根据关键点连接关系的先验知识，得到人体骨架包括：步骤s1，对多通道人体关键点热力图进行后处理，并根据深度信息将人体关键点坐标由二维变换为三维，得到多个人体关键点坐标集合，每个集合对应一个通道。经过该步骤，可以得到头部中心关键点坐标集合、颈部中心关键点坐标集合、左右肩部关键点坐标集合等16个人体关键点坐标集合。步骤s2，针对每个根节点，计算根节点与相连接关键点类型对应人体关键点坐标集合中每个关键点之间的距离，将距离属于经验范围的对应关键点加入根节点对应的个体关键点集合。例如根节点与左胯骨关键点连接，从左胯骨关键点坐标集合中，依次计算每个坐标与根节点的距离，将距离属于经验距离范围的加入根节点对应的人的个体关键点集合。步骤s3，计算新加入关键点与其相连接关键点类型对应人体关键点坐标集合中每个关键点之间的距离，将距离属于经验范围的对应关键点加入根节点对应的个体关键点集合。该步骤与步骤s2类似。步骤s4，重复步骤s3，直到每个人体关键点坐标集合都经过匹配，得到多个个体关键点集合，根据连接关系先验知识，得到人体骨架。至此，区分出了多人骨架。
运动区域可能有人经过，但是不是运动者，需要区分运动者与非运动者。考虑到有氧运动时，运动者活动范围比较固定，因此，为了提取运动者位置，将连续帧的根节点热力图叠加，将叠加热力图中的像素值与经验阈值比较，像素值大于经验阈值的位置为运动者位置。
对所得根节点热力图直接叠加，像素点叠加后的值与经验阈值对比判断运动者活动位置。具体的，对某一根节点A，点A经匹配得到点A对应个体的人体骨架，点A经过多帧热力图直接逐点叠加，与经验阈值比较，判断得到点A对应个体的运动位置。以设定距离划定范围，属于该范围的骨架即为运动者的人体骨架。将根节点与运动者位置小于设定距离的人体骨架，输入运动类型分析神经网络，输出人体运动类别。
利用运动类型分析神经网络对人体骨架进行分析，输出人体运动类别。运动类型分析神经网络包括：运动类别编码器，用于对人体骨架进行特征提取，输出特征图；全连接层，用于对运动类别编码器输出的特征图进行加权分类，输出运动类别。
本实施例选择其中较为常见的三类地面有氧运动进行识别。实施者可根据实际情况，选择足够多的运动类别。有氧运动类别包括三类，为慢跑、跳绳、和骑单车。
运动类型分析神经网络训练细节如下：采用相机对运动区域进行图像采集，采集的多帧图像人为标注骨架，所标注的骨架作为训练数据集。标注为图像中图像所属运动类别。通过图像和标注数据，端到端地训练运动类别编码器Encoder2和全连接层FC。Encoder2提取特征，输出Feature map2；Feature map2经flatten操作送入全连接层FC，经过softmax函数输出运动类别。采用交叉熵损失函数，对网络进行训练。
为了避免单帧图像处理时的误检测问题，建议对输出结果进行一定的后处理。本发明采用一种简单的后处理方法，即对一段时间内的运动类别进行统计分析，如果一段时间内输出的运动类别大部分均为某一类，则运动者在进行该类运动。例如通过对连续120帧图像进行统计，当类别结果为一类的数值大于110帧，则判断为该类别动作。
根据躯干关键点生成粗糙躯干遮罩；将每段肢体两端的关键点连接，根据各段肢体的经验宽度，以连接线为中线、所有垂直于连接线且长度为肢体经验宽度的线段上的像素点的集合，构成该段肢体的粗糙遮罩；将粗糙躯干遮罩与各段肢体粗糙遮罩结合，得到粗糙躯体遮罩。
对于骨骼关键点，两个关键点可构成一个躯体，且仅有该对关键点可构成相应的躯体，例如：左肘关键点和左手关键点能且仅能构成小臂肢体。对每两个关键点所构成的人体躯体，以关键点相连线段为中线，设置一个经验宽度L，所有垂直于该线段的直线上与线段距离为L的点的集合，构成此躯体的粗糙Mask。对于不同躯体，应选择不同的距离L进行粗糙Mask的生成。需要特别说明的是，人体躯干部分的Mask生成为通过左右肩部中心点与根节点两点以上述方式生成人体躯干Mask。
将粗糙躯体遮罩分别作为真实输入、引导输入进行引导滤波操作，得到细致躯体遮罩。导向滤波(Guided Fliter)的输入为真实输入p和引导输入I。在本发明中，两个输入都为粗糙躯体Mask。滤波输出为q。公式1为：qi＝akIi+bk，ak、bk是需要确定的常量系数，该公式具有边缘保留的能力，原因在于求导时通过式
可见，I有梯度的地方输出q就有梯度。通过公式2qi＝pi-ni实现去噪；ni为噪声。令噪声最小化，
通过最小二乘法求解ak、bk，ωk是滤波窗口。
根据细致躯体遮罩，从相机采集的运动区域热成像中截取躯体范围热成像；躯体各部分设置不同的权重，将躯体各部分平均热成像像素值与躯体各部分权重相乘，计算相乘之后的总和，作为躯体加权热成像像素值，从而得到躯体温度值；实时判断躯体温度值是否位于所得人体运动类别的标准躯体温度范围内，如果否，则判断体温异常，输出提醒消息。热成像像素值为热辐射值，可通过查表得到热辐射值对应的温度值。
标准躯体温度范围可以通过以下方法获得：基于运动类型，对标准环境下该运动类别的多个人体躯体温度信息进行采集，采集方式可选择在各躯体上安装温度传感器的传统方法，也可以使用热成像方法。对一个人的躯体各部分温度求加权和可以得到一个人的躯体温度。多人平均即可得到标准躯体温度。对多个人的某一躯体部分的温度信息进行均值处理，可以作为该躯体部分的标准温度，例如对多人的小臂温度信息进行均值处理，可以得到小臂的标准温度。如此可以得到标准躯体温度、躯体各部分的标准温度。应当基于实际情况设定一个浮动值，检测温度与标准温度差值在浮动值范围内，判断为正常；否则，判断为温度异常，提醒运动者注意。比较时，可以根据标准躯体温度范围获得一个提醒结果，也可以比较运动者躯体各部分温度与相应的躯体部分的标准温度范围，提醒该躯体部分的温度是否异常。
以上实施例仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于智能热成像视频分析的动态人体躯干温度分析方法，其特征在于，该方法包括：
对相机采集的运动区域彩色图像进行运动者人体关键点感知，输出多通道人体关键点热力图，根据关键点连接关系的先验知识，得到人体骨架；
利用运动类型分析神经网络对人体骨架进行分析，输出人体运动类别；
将人体肩部连线中心点与根结点连接，根据躯干的经验宽度，以连接线为中线、所有垂直于连接线且长度为肢体经验宽度的线段上的像素点的集合，构成躯干粗糙遮罩；将每段肢体两端的关键点连接，根据各段肢体的经验宽度，以连接线为中线、所有垂直于连接线且长度为肢体经验宽度的线段上的像素点的集合，构成该段肢体的粗糙遮罩；将粗糙躯干遮罩与各段肢体粗糙遮罩结合，得到粗糙躯体遮罩；
将粗糙躯体遮罩分别作为真实输入、引导输入进行引导滤波操作，得到细致躯体遮罩；
根据细致躯体遮罩，从相机采集的运动区域热成像中截取躯体范围热成像；
躯体各部分设置不同的权重，将躯体各部分平均热成像像素值与躯体各部分权重相乘，计算相乘之后的总和，作为躯体加权热成像像素值，从而得到躯体温度值；
实时判断躯体温度值是否位于所得人体运动类别的标准躯体温度范围内，如果否，则判断体温异常，输出提醒消息。
2.如权利要求1所述的方法，其特征在于，根据关键点连接关系的先验知识，得到人体骨架包括：
步骤s1，对多通道人体关键点热力图进行后处理，并根据深度信息将人体关键点坐标由二维变换为三维，得到多个人体关键点坐标集合，每个集合对应一个通道；
步骤s2，针对每个根节点，计算根节点与相连接关键点类型对应人体关键点坐标集合中每个关键点之间的距离，将距离属于经验范围的对应关键点加入根节点对应的个体关键点集合；
步骤s3，计算新加入关键点与其相连接关键点类型对应人体关键点坐标集合中每个关键点之间的距离，将距离属于经验范围的对应关键点加入根节点对应的个体关键点集合；
步骤s4，重复步骤s3，直到每个人体关键点坐标集合都经过匹配，得到多个个体关键点集合，根据连接关系先验知识，得到人体骨架。
3.如权利要求1所述的方法，其特征在于，利用人体关键点感知神经网络进行人体关键点感知，人体关键点感知网络包括：
人体关键点编码器，对图像进行特征提取，输出特征图；
人体关键点解码器，对特征图进行上采样重构，输出人体关键点热力图。
4.如权利要求3所述的方法，其特征在于，运动类型分析神经网络包括：
运动类别编码器，用于对人体骨架进行特征提取，输出特征图；
全连接层，用于对特征图进行加权分类，输出运动类别。
5.如权利要求1所述的方法，其特征在于，对一段时间内的人体骨架进行分析，统计人体运动类别。
6.如权利要求2所述的方法，其特征在于，该方法还包括：
将连续帧的根节点热力图叠加，将叠加热力图中的像素值与经验阈值比较，像素值大于经验阈值的位置为运动者位置；
将根节点与运动者位置小于设定距离的人体骨架，输入运动类型分析神经网络，输出人体运动类别。
7.如权利要求1所述的方法，其特征在于，人体关键点包括：头部中心关键点、颈部中心关键点、左右肩部关键点、肩部连线中心点、左右肘部关键点、左右手部关键点、根节点、左右胯骨关键点、左右膝部关键点、左右脚部关键点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010759329.1A CN111912531A (zh) | 2020-07-31 | 2020-07-31 | 基于智能热成像视频分析的动态人体躯干温度分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010759329.1A CN111912531A (zh) | 2020-07-31 | 2020-07-31 | 基于智能热成像视频分析的动态人体躯干温度分析方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111912531A true CN111912531A (zh) | 2020-11-10 |
Family
ID=73286958
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010759329.1A Withdrawn CN111912531A (zh) | 2020-07-31 | 2020-07-31 | 基于智能热成像视频分析的动态人体躯干温度分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111912531A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113269197A (zh) * | 2021-04-25 | 2021-08-17 | 南京三百云信息科技有限公司 | 基于语义分割的证件图像顶点坐标回归系统和识别方法 |
| CN113566396A (zh) * | 2021-09-24 | 2021-10-29 | 南通嘉蒂体育用品有限公司 | 基于数据识别的健身房温度控制调节方法 |
-
2020
- 2020-07-31 CN CN202010759329.1A patent/CN111912531A/zh not_active Withdrawn
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113269197A (zh) * | 2021-04-25 | 2021-08-17 | 南京三百云信息科技有限公司 | 基于语义分割的证件图像顶点坐标回归系统和识别方法 |
| CN113269197B (zh) * | 2021-04-25 | 2024-03-08 | 南京三百云信息科技有限公司 | 基于语义分割的证件图像顶点坐标回归系统和识别方法 |
| CN113566396A (zh) * | 2021-09-24 | 2021-10-29 | 南通嘉蒂体育用品有限公司 | 基于数据识别的健身房温度控制调节方法 |
| CN113566396B (zh) * | 2021-09-24 | 2021-12-10 | 南通嘉蒂体育用品有限公司 | 基于数据识别的健身房温度控制调节方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109948459B (zh) | 一种基于深度学习的足球动作评估方法与系统 | |
| Pantic et al. | Facial action recognition for facial expression analysis from static face images | |
| CN104036236B (zh) | 一种基于多参数指数加权的人脸性别识别方法 | |
| CN111368810A (zh) | 基于人体及骨骼关键点识别的仰卧起坐检测系统及方法 | |
| CN107590452A (zh) | 一种基于步态与人脸融合的身份识别方法及装置 | |
| CN107122744A (zh) | 一种基于人脸识别的活体检测系统及方法 | |
| CN110110629A (zh) | 面向室内环境控制的人员信息检测方法与系统 | |
| CN109934111A (zh) | 一种基于关键点的健身姿态估计方法及系统 | |
| CN107220604A (zh) | 一种基于视频的跌倒检测方法 | |
| CN108717531A (zh) | 基于Faster R-CNN的人体姿态估计方法 | |
| CN114067358A (zh) | 一种基于关键点检测技术的人体姿态识别方法及系统 | |
| CN109522853A (zh) | 面向监控视频的人脸检测与搜索方法 | |
| CN102473238A (zh) | 用于图像分析的系统和方法 | |
| CN112464915B (zh) | 一种基于人体骨骼点检测的俯卧撑计数方法 | |
| CN111912531A (zh) | 基于智能热成像视频分析的动态人体躯干温度分析方法 | |
| CN111914643A (zh) | 一种基于骨骼关键点检测的人体动作识别方法 | |
| Yang et al. | Human upper limb motion analysis for post-stroke impairment assessment using video analytics | |
| CN108960047A (zh) | 基于深度二次树的视频监控中人脸去重方法 | |
| CN110490109A (zh) | 一种基于单目视觉的在线人体康复动作识别方法 | |
| CN105975928A (zh) | 可穿戴眼动仪第一视角视频图像分析方法 | |
| CN112668531A (zh) | 一种基于动作识别的运动姿态矫正方法 | |
| WO2021248815A1 (zh) | 一种高精度的儿童坐姿检测与矫正方法及装置 | |
| US20230237694A1 (en) | Method and system for detecting children's sitting posture based on face recognition of children | |
| Szankin et al. | Long distance vital signs monitoring with person identification for smart home solutions | |
| CN115273150A (zh) | 基于人体姿态估计的安全帽佩戴的新型识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20201110 |