CN111444896A - 一种远红外热成像人体经络关键点定位方法 - Google Patents

一种远红外热成像人体经络关键点定位方法 Download PDF

Info

Publication number
CN111444896A
CN111444896A CN202010386690.4A CN202010386690A CN111444896A CN 111444896 A CN111444896 A CN 111444896A CN 202010386690 A CN202010386690 A CN 202010386690A CN 111444896 A CN111444896 A CN 111444896A
Authority
CN
China
Prior art keywords
feature
image
network
meridian
branch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010386690.4A
Other languages
English (en)
Other versions
CN111444896B (zh
Inventor
裘世明
骆海铭
于明华
李明睿
马自强
张利兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Bituo Technology Co ltd
Original Assignee
Beijing Bituo Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Bituo Technology Co ltd filed Critical Beijing Bituo Technology Co ltd
Priority to CN202010386690.4A priority Critical patent/CN111444896B/zh
Publication of CN111444896A publication Critical patent/CN111444896A/zh
Application granted granted Critical
Publication of CN111444896B publication Critical patent/CN111444896B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Public Health (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种远红外热成像人体经络关键点定位方法，包括以下步骤：步骤I：构建数据集；步骤II、搭建网络模型；步骤III、制作标签；步骤IV、数据增强与图像预处理；步骤V、训练模型；步骤VI、模型推理；步骤VII、计算全部经络点并输出图像。本设计通过将HRnet高分辨率网络模型用于远红外图像中人体关键点定位，可以将人体经络与机器学习结合，通过我们的算法模型可以确定人体红外图像上整个人体正背面的经络点的位置，可以帮助医生通过经络上的病理信息，快速识别症状，辅助医生诊断病症。

Description

一种远红外热成像人体经络关键点定位方法
技术领域
本发明涉及一种定位方法，尤其涉及一种远红外热成像人体经络关键点定位方法。
背景技术
红外线辐射是存在于自然界中的最广泛的电磁波辐射，它在电磁波连续频谱中波长为0.78～1000μm处于无线电波与可见光之间的区域。红外线辐射是，基于物理学中所有物体的分子和原子在一般环境下都会永不停息地做无规则运动，并且无休止地辐射出热红外能量。分子和原子的无规则运动越剧烈，辐射的能量就越大；分子和原子的无规则运动越平缓，辐射的能量就越小。
由于黑体辐射的存在，所有的物体都会辐射红外线，利用红外探测器接收被测物体的红外辐射能量分布图形和背景的红外辐射能量分布图形之间的红外线差，可以形成不同的红外图像。利用这种方法，就可以对检测的目标进行远距离的热图像成像和测温，并且可以对其进行智能分析从而进一步做出判断。
但是现有的红外热像的人体图像没有成熟的公开数据集，也没有成熟的人体关键点制定规则，直接采用自然图像中的人体关键点定位方法难以达到较好的效果，从而不能辅助医生通过经络上的病理信息，快速识别症状，辅助医生诊断病症，使得远红外热成像技术没有得到有效的利用。
发明内容
为了解决上述技术所存在的不足之处，本发明提供了一种远红外热成像人体经络关键点定位方法。
为了解决以上技术问题，本发明采用的技术方案是：一种远红外热成像人体经络关键点定位方法，包括以下步骤：
步骤I：构建数据集；步骤II、搭建网络模型；步骤III、制作标签；步骤IV、数据增强与图像预处理；步骤V、训练模型；步骤VI、模型推理；步骤VII、计算全部经络点并输出图像；
步骤II、搭建网络模型的具体过程为：在深度学习框架Pytorch上搭建基于深度学习的远红外人体关键点定位网络；基础网络结构为编码器解码器结构，采用两个子网络级联组成整体网络，子网络一为修改后的UNet网络，子网络二为改造的HRnet结构；
子网络二由两部分组成，一部分是HRnet部分结构，另一部分是子网络二的后半部分；其中，HRnet部分结构为：图像经过两个减小尺寸的卷积，再经过四个Bottleneck即两个3*3的卷积，得到一个feature map1，形成第一分支；对featuren map1进行下采样得到feature map2，形成第二分支；feature map1、feature map2输入到由四个BasicBlock组成的Block，输出特征图feature map1.1、feature map2.1的尺度不变，通道数改变；featuremap1.1下采样融合到第二分支、feature map2.1上采样融合第一分支；对feature map2.1进行下采样得到feature map3，形成第三分支；feature map1.1、feature map2.1、featuremap3输入到由四个BasicBlock组成Block，输出特征图feature map1.2、feature map2.2、feature map3.1的尺度不变，通道数改变；feature map1.2下采样融合到第二、第三分支，feature map2.2上采样融合到第一分支，下采样融合到第三分支，feature map3.1上采样融合到第一、第二分支；
对feature map3.1进行下采样得到feature map4；输出特征图feature map1.2、feature map2.2、feature map3.1、feature map4输入到由四个BasicBlock组成Block，输出特征图feature map1.3、feature map2.3、feature map3.3、feature 4.1的尺度不变，通道数改变；
其中，子网络二的后半部分结构为：对不同size的特征图feature map2.3、feature map3.3、feature 4.1分别经过上采样，使它们统一到与feature map1.3相同size的大小，并通过cat()函数将前述四个feature加和得到feature map5，feature map5进行1*1的卷积操作，尺寸不变，通道数不变，再进行1*1的卷积操作，尺寸不变，通道数改变，最终输出feature map5；子网络二采用HRnet网络结构，其并行连接高分辨率与低分辨率网络，其方法能够保持高分辨率，而不是通过一个低到高的过程恢复分辨率，所以预测热图在空间上更精确，并且模型融合低分辨率特征图来提高高分辨率的特征图的表示效果，并进行重复的多尺度融合。
进一步地，步骤II中，子网络一的输入为图像，子网络二的输入为图像拼接上子网络一最后的一层的特征图；子网络一UNet网络是先进行下采样，经过不同程度的卷积，学习了深层次的特征，再经过上采样回复为原图大小，上采样用反卷积实现，最后输出类别数量的特征图，然后使用激活函数sigmoid转化为概率图；其中，下采样方法为进行stride为2的3*3卷积；上采样方法为双线性插值法。
进一步地，步骤I的具体过程为：通过红外摄像机拍摄人体全身图像构建远红外人体数据集，自主对图像中人体关键点进行标注，图像尺寸为384*384；
其中，关键点标注为在图中标注锁骨窝左、胸骨上窝、锁骨窝右、锁骨窝下左、锁骨窝下右、胸骨中、乳头左、乳头右、乳根左、乳根右、左肘关节I、左肘关节II、左肘关节III、右肘关节I、右肘关节II、右肘关节III、曲骨、曲骨左、曲骨右、平大腿内侧左、平大腿内侧右、膝眼左、膝眼右、膝下内侧左、膝下内侧右、脚踝中左、脚踝中右、脚踝内左、脚踝内右总共二十九个标注点。
进一步地，步骤III的具体过程为：对数据进行初步筛查并进行标注，通过在空白图像中画高斯核的方式得到回归用的标签，loss函数采用L2Loss；
loss函数：
Figure BDA0002484064640000031
其中，x代表每个像素，f(x)为网络的输出值，y(x)代表标签真值；
高斯核函数：
Figure BDA0002484064640000041
其中，ji和ki代表第i个关键点在图像中的x和y的坐标，σx，σy分别代表高斯核在x和y方向的标准差。
进一步地，步骤VI中，数据增强是指训练时对图像进行多种变换，增加数据量，同时对标签进行相同的变换处理；其中，图像变换方式包括：旋转：18°～-18°，裁切拉伸：x：0.8～1.3，y：0.8～1.3，剪切变换，分段仿射变换；
图像预处理是指在图像输入网络之前，将图像归一化到0～1之间，具体方法为：①将图像所有像素从小到大排列，取前15％的像素的最大值记为img_min；②图像中的最大值，记为img_max；③将图像中所有小于img_min的值重置为img_min；④以img_max和img_min为上下界，将图像归一化到0～1之间，具体为：X＝(X-img_min)/(img_max-img_min)，X为图像。
进一步地，步骤V的具体过程为：将MSE损失函数作为模型所用的损失函数训练模型，采用Adam优化策略训练关键点定位网络；参数采用Xavier初始化，批次大小设置为60，初始学习率0.001，每迭代30个周期学习率衰减一次，衰减率为0.1，经过200个周期迭代后效果达到最佳；其中，前60个周期采用半径为7个像素为半径放置高斯核作为标签真值，后120个周期采用半径为3个像素为半径放置高斯核作为标签真值。
进一步地，步骤VI的具体过程为：模型训练好之后，提取模型前传产生的预测热图Heatmap，提取预测热图中的最大值作为关键点位置；
pi＝arg max(Heatmapi)，
其中，P为关键点坐标，Heatmap为预测热图。
进一步地，步骤VII的具体过程为：通过代数几何方法和全身人体医学经络图，计算全身整体经络正背面的经络点的坐标值，输出显示人体全身经络点的图像；通过各种几何算法的结合，使每个人都有一套自己的经络脉络图，经络曲线贴合人体曲线，每个经络点更加准确，并且在视觉上效果更好。
本发明基于深度学习算法，通过高分辨率网络HRnet，生成关键点热图，通过热图定位关键点，通过精心设计的网络结构，专门定制的数据增强方法，经过调优的模型优化算法，特定的后处理方法，以及精确标注的数据，形成了整套远红外热成像人体经络关键点定位方法。经络病症大多以症候群的形式表现，症候群应当包括经气不利或阻滞不通的病症、经脉气血变化的病症、经脉相关脏腑病变的病症。本设计通过将HRnet高分辨率网络模型用于远红外图像中人体关键点定位，可以将人体经络与机器学习结合，通过我们的算法模型可以确定人体红外图像上整个人体正背面的经络点的位置，可以帮助医生通过经络上的病理信息，快速识别症状，辅助医生诊断病症。
附图说明
图1为本发明的关键点标注数据示意图。
图2为图1的背面关键点标注数据示意图。
图3为本发明的整体神经网络模型结构图。
图4为子网络一的结构示意图。
图5为SE模块的结构示意图。
图6为子网络二的结构示意图。
图7HRnet部分结构的网络结构图。
图8为本发明得到的人体全身经络点的正面图像。
图9为本发明得到的人体全身经络点的背面图像。
图10为本发明的整体流程示意图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图10所示的一种远红外热成像人体经络关键点定位方法，包括以下步骤：
步骤I：构建数据集；通过红外摄像机拍摄人体全身图像构建远红外人体数据集，即通过自有数据构建远红外人体数据集，自主对图像中人体关键点进行标注，图像尺寸为384*384；
自有数据：数据集为招募志愿者后进行采集得到的大量人体红外图像。
图像的尺寸(分辨率)为固定值，高384像素，宽384像素。
自主标注：根据说明文档，对每一张红外人体图像的关键点位置进行标注。其中，关键点标注为在图中标注锁骨窝左、胸骨上窝、锁骨窝右、锁骨窝下左、锁骨窝下右、胸骨中、乳头左、乳头右、乳根左、乳根右、左肘关节I、左肘关节II、左肘关节III、右肘关节I、右肘关节II、右肘关节III、曲骨、曲骨左、曲骨右、平大腿内侧左、平大腿内侧右、膝眼左、膝眼右、膝下内侧左、膝下内侧右、脚踝中左、脚踝中右、脚踝内左、脚踝内右总共二十九个标注点。如图1、图2所示。
步骤II、搭建网络模型；在深度学习框架Pytorch上搭建基于深度学习的远红外人体关键点定位网络；基础网络结构为编码器解码器结构，采用两个子网络级联组成整体网络，如图3所示。子网络一为修改后的UNet网络，如图4所示；子网络二为改造的HRnet结构，如图6所示；子网络一的输入为图像，子网络二的输入为图像拼接上子网络一最后的一层的特征图；
子网络一UNet网络是先进行下采样，经过不同程度的卷积，学习了深层次的特征，再经过上采样回复为原图大小，上采样用反卷积实现，第一层和第二层拼接前要叠加经过SE模块处理后的特征图，最后输出类别数量的特征图，然后使用激活函数sigmoid转化为概率图；
如图5所示，SE(Squeeze-and-Excitation)模块首先对卷积得到的特征图进行Squeeze操作，得到channel级的全局特征，然后对全局特征进行Excitation操作，学习各个channel间的关系，也得到不同channel的权重，最后乘以原来的特征图得到最终特征。本质上，SE模块是在channel维度上做attention或者gating操作，这种注意力机制让模型可以更加关注信息量最大的channel特征，而抑制那些不重要的channel特征。
Pytorch框架是基于Torch框架的深度学习/机器学习框架，其底层和Torch框架一样，但是使用Python重新写了很多内容，不仅更加灵活，支持动态图，而且提供了Python接口。Pytorch框架是一个以Python优先的深度学习框架，不仅能够实现强大的GPU加速，同时还支持动态神经网络。
子网络二由两部分组成，一部分是HRnet部分结构，另一部分是子网络二的后半部分；其中，如图7所示，HRnet部分结构为：图像经过两个减小尺寸的卷积，再经过四个Bottleneck即两个3*3的卷积，得到一个feature map1，形成第一分支；对featuren map1进行下采样得到feature map2，形成第二分支；feature map1、feature map2输入到由四个BasicBlock组成的Block，输出特征图feature map1.1、feature map2.1的尺度不变，通道数改变；feature map1.1下采样融合到第二分支、feature map2.1上采样融合第一分支；对feature map2.1进行下采样得到feature map3，形成第三分支；feature map1.1、featuremap2.1、feature map3输入到由四个BasicBlock组成Block，输出特征图feature map1.2、feature map2.2、feature map3.1的尺度不变，通道数改变；feature map1.2下采样融合到第二、第三分支，feature map2.2上采样融合到第一分支，下采样融合到第三分支，featuremap3.1上采样融合到第一、第二分支；对feature map3.1进行下采样得到feature map4；输出特征图feature map1.2、feature map2.2、feature map3.1、feature map4输入到由四个BasicBlock组成Block，输出特征图feature map1.3、feature map2.3、feature map3.3、feature 4.1的尺度不变，通道数改变；
其中，子网络二的后半部分结构为：对不同size的特征图feature map2.3、feature map3.3、feature 4.1分别经过上采样，使它们统一到与feature map1.3相同size的大小，并通过cat()函数将前述四个feature加和得到feature map5，feature map5进行1*1的卷积操作，尺寸不变，通道数不变，再进行1*1的卷积操作，尺寸不变，通道数改变，最终输出feature map5；子网络二采用HRnet网络结构，其并行连接高分辨率与低分辨率网络，其方法能够保持高分辨率，而不是通过一个低到高的过程恢复分辨率，所以预测热图在空间上更精确，并且模型融合低分辨率特征图来提高高分辨率的特征图的表示效果，并进行重复的多尺度融合。
其中，下采样方法为进行stride为2的3*3卷积；上采样方法为双线性插值法。Bottleneck、Block、BasicBlock均属于参差网络其中的一种。
采用High-Resoultion Net(HRNet)高分辨率网络，模型的主要特点是在整个过程中特征图(Feature Map)始终保持高分辨率。
Unet网络常用于小样本量的学习，具有较强的纹理特征提取能力。子网络一采用改进后的Unet，增加了低层级卷积的堆叠，进一步提升子网络一对纹理信息的提取。HRnet网络相对于Unet更注重空间定位和高级特征的提取，子网络二采用HRnet网络，进一步提升网络检测特征的准确性和泛化能力。两者配合使用，可以在较小的数据集上获得较好特征点检测表现。
步骤III、制作标签；通过在空白图像中不同channel(通道)中关键点对应位置放置高斯核形成关键点热图来制作标签，即在空白图像中画高斯核的方式形成回归用的标签，关键点的位置存在一定的模糊性，通过高斯核制作标签可以体现这种模糊性，降低模型回归的虚警。
loss函数采用L2Loss；loss函数：
Figure BDA0002484064640000081
其中，x代表每个像素，f(x)为网络的输出值，y(x)代表标签真值；
高斯核函数：
Figure BDA0002484064640000082
其中，ji和ki代表第i个关键点在图像中的x和y的坐标，σx，σy分别代表高斯核在x和y方向的标准差。
步骤IV、数据增强与图像预处理；数据增强是指训练时对图像进行多种变换，增加数据量，同时对标签进行相同的变换处理；图像变换后标签的真值也会随变换改变，所以标签和图像要进行相同的变换处理。数据增强可以提升模型的泛化能力。数据增强在不实质性的增加数据的情况下，让有限的数据产生等价于更多数据的价值。
其中，图像变换方式包括：旋转：18°～-18°，裁切拉伸：x：0.8～1.3，y：0.8～1.3，剪切变换，分段仿射变换；
图像预处理是指在图像输入网络之前，将图像归一化到0～1之间，具体方法为：①将图像所有像素从小到大排列，取前15％的像素的最大值记为img_min；②图像中的最大值，记为img_max；③将图像中所有小于img_min的值重置为img_min；④以img_max和img_min为上下界，将图像归一化到0～1之间，具体为：X＝(X-img_min)/(img_max-img_min)，X为图像。数据预处理可以减少数据的外部差异，凸显数据的有效特征。
步骤V、训练模型；将MSE损失函数作为模型所用的损失函数训练模型，采用Adam优化策略训练关键点定位网络；参数采用Xavier初始化，批次大小设置为60，初始学习率0.001，每迭代30个周期学习率衰减一次，衰减率为0.1，经过200个周期迭代后效果达到最佳；其中，前60个周期采用半径为7个像素为半径放置高斯核作为标签真值，后120个周期采用半径为3个像素为半径放置高斯核作为标签真值。先用大高斯核，相对小高斯核关键点的定位更加模糊，也更容易训练，梯度回传的视野也更大；后用小高斯核，小高斯核回归出的关键点定位精度更高。
Adam是一种可以替代传统随机梯度下降过程的一阶优化算法，它能基于训练数据迭代地更新神经网络权重。Adam算法和传统的随机梯度下降不同。随机梯度下降保持单一的学习率(即alpha)更新所有的权重，学习率在训练过程中并不会改变。而Adam通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率。“Xavier”初始化方法是一种很有效的神经网络初始化方法。
步骤VI、模型推理；模型训练好之后，利用模型推算关键点需要将数据进行步骤IV中的图像预处理归一化到0～1之间，然后将预处理之后的图像送进模型前传生成预测热图Heatmap。取出预测热图中每个通道(chanel)中最大值所在位置，即为该通道预测关键点所在位置。
pi＝arg max(Heatmapi)，
其中，P为关键点坐标，Heatmap为预测热图。
使用高斯函数形成关键点热图，采用交叉熵(crossentropy)作为损失函数(lossfunction)训练模型，采用Adam优化策略训练关键点定位网络。采用两段训练方法，第一阶段采用较大高斯核形成热图训练模型，可以加速收敛，第二阶段采用较小高斯核形成热图训练模型，可以提高模型关键点定位精度。
步骤VII、计算全部经络点并输出图像；通过代数几何方法和全身人体医学经络图，计算全身整体经络正背面的经络点的坐标值，输出显示人体全身经络点的图像，如图8、图9所示，每条经络会根据人体的形态进行调整。比如说胖的人和瘦的人，他的经络曲线在人体图上的表现和弯曲程度是不一样的。通过各种几何算法的结合，使每个人都有一套自己的经络脉络图，经络曲线贴合人体曲线，每个经络点更加准确，并且在视觉上效果更好。
本发明以实现远红外图像中人体经络关键点定位，并通过关键点定位获得人体经络不同穴位点的温度值为主要功能。本发明通过对远红外图像中人体的关键点定位可获得人体不同穴位的温度值，从而通过各个穴位点的温度值差异性和最低最高温度值等信息，评估人体脉络的疏通情况，通过左右脉络对称经络点的对比，还有与正常脉络情况经络点温度值进行对比，来评估分析此人身体健康状况，辅助医生找寻病症根源，并且可以对中医当中的针灸疗法进行辅助。远红外热图像是可以反映物体体表温度的图像，在医药卫生、消防、地质、工业等多个方面都有广泛的应用。
上述实施方式并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的技术方案范围内所做出的变化、改型、添加或替换，也均属于本发明的保护范围。

Claims (8)

1.一种远红外热成像人体经络关键点定位方法，其特征在于：所述定位方法包括以下步骤：
步骤I：构建数据集；步骤II、搭建网络模型；步骤III、制作标签；步骤IV、数据增强与图像预处理；步骤V、训练模型；步骤VI、模型推理；步骤VII、计算全部经络点并输出图像；
所述步骤II、搭建网络模型的具体过程为：在深度学习框架Pytorch上搭建基于深度学习的远红外人体关键点定位网络；基础网络结构为编码器解码器结构，采用两个子网络级联组成整体网络，子网络一为修改后的UNet网络，子网络二为改造的HRnet结构；
所述子网络二由两部分组成，一部分是HRnet部分结构，另一部分是子网络二的后半部分；其中，HRnet部分结构为：图像经过两个减小尺寸的卷积，再经过四个Bottleneck即两个3*3的卷积，得到一个feature map1，形成第一分支；对featuren map1进行下采样得到feature map2，形成第二分支；feature map1、feature map2输入到由四个BasicBlock组成的Block，输出特征图feature map1.1、feature map2.1的尺度不变，通道数改变；featuremap1.1下采样融合到第二分支、feature map2.1上采样融合第一分支；对feature map2.1进行下采样得到feature map3，形成第三分支；feature map1.1、feature map2.1、featuremap3输入到由四个BasicBlock组成Block，输出特征图feature map1.2、feature map2.2、feature map3.1的尺度不变，通道数改变；feature map1.2下采样融合到第二、第三分支，feature map2.2上采样融合到第一分支，下采样融合到第三分支，feature map3.1上采样融合到第一、第二分支；
对feature map3.1进行下采样得到feature map4；输出特征图feature map1.2、feature map2.2、feature map3.1、feature map4输入到由四个BasicBlock组成Block，输出特征图feature map1.3、feature map2.3、feature map3.3、feature 4.1的尺度不变，通道数改变；
其中，子网络二的后半部分结构为：对不同size的特征图feature map2.3、featuremap3.3、feature 4.1分别经过上采样，使它们统一到与feature map1.3相同size的大小，并通过cat()函数将前述四个feature加和得到feature map5，feature map5进行1*1的卷积操作，尺寸不变，通道数不变，再进行1*1的卷积操作，尺寸不变，通道数改变，最终输出feature map5；子网络二采用HRnet网络结构，其并行连接高分辨率与低分辨率网络，其方法能够保持高分辨率，而不是通过一个低到高的过程恢复分辨率，所以预测热图在空间上更精确，并且模型融合低分辨率特征图来提高高分辨率的特征图的表示效果，并进行重复的多尺度融合。
2.根据权利要求1所述的远红外热成像人体经络关键点定位方法，其特征在于：所述步骤II中，子网络一的输入为图像，子网络二的输入为图像拼接上子网络一最后的一层的特征图；子网络一UNet网络是先进行下采样，经过不同程度的卷积，学习了深层次的特征，再经过上采样回复为原图大小，上采样用反卷积实现，最后输出类别数量的特征图，然后使用激活函数sigmoid转化为概率图；其中，下采样方法为进行stride为2的3*3卷积；上采样方法为双线性插值法。
3.根据权利要求1所述的远红外热成像人体经络关键点定位方法，其特征在于：所述步骤I的具体过程为：通过红外摄像机拍摄人体全身图像构建远红外人体数据集，自主对图像中人体关键点进行标注，图像尺寸为384*384；
其中，关键点标注为在图中标注锁骨窝左、胸骨上窝、锁骨窝右、锁骨窝下左、锁骨窝下右、胸骨中、乳头左、乳头右、乳根左、乳根右、左肘关节I、左肘关节II、左肘关节III、右肘关节I、右肘关节II、右肘关节III、曲骨、曲骨左、曲骨右、平大腿内侧左、平大腿内侧右、膝眼左、膝眼右、膝下内侧左、膝下内侧右、脚踝中左、脚踝中右、脚踝内左、脚踝内右总共二十九个标注点。
4.根据权利要求1所述的远红外热成像人体经络关键点定位方法，其特征在于：所述步骤III的具体过程为：对数据进行初步筛查并进行标注，通过在空白图像中画高斯核的方式得到回归用的标签，loss函数采用L2Loss；
loss函数：
Figure FDA0002484064630000031
其中，x代表每个像素，f(x)为网络的输出值，y(x)代表标签真值；
高斯核函数：
Figure FDA0002484064630000032
其中，ji和ki代表第i个关键点在图像中的x和y的坐标，σx，σy分别代表高斯核在x和y方向的标准差。
5.根据权利要求1所述的远红外热成像人体经络关键点定位方法，其特征在于：所述步骤VI中，数据增强是指训练时对图像进行多种变换，增加数据量，同时对标签进行相同的变换处理；其中，图像变换方式包括：旋转：18°～-18°，裁切拉伸：x：0.8～1.3，y：0.8～1.3，剪切变换，分段仿射变换；
图像预处理是指在图像输入网络之前，将图像归一化到0～1之间，具体方法为：①将图像所有像素从小到大排列，取前15％的像素的最大值记为img_min；②图像中的最大值，记为img_max；③将图像中所有小于img_min的值重置为img_min；④以img_max和img_min为上下界，将图像归一化到0～1之间，具体为：X＝(X-img_min)/(img_max-img_min)，X为图像。
6.根据权利要求1所述的远红外热成像人体经络关键点定位方法，其特征在于：所述步骤V的具体过程为：将MSE损失函数作为模型所用的损失函数训练模型，采用Adam优化策略训练关键点定位网络；参数采用Xavier初始化，批次大小设置为60，初始学习率0.001，每迭代30个周期学习率衰减一次，衰减率为0.1，经过200个周期迭代后效果达到最佳；其中，前60个周期采用半径为7个像素为半径放置高斯核作为标签真值，后120个周期采用半径为3个像素为半径放置高斯核作为标签真值。
7.根据权利要求1所述的远红外热成像人体经络关键点定位方法，其特征在于：所述步骤VI的具体过程为：模型训练好之后，提取模型前传产生的预测热图Heatmap，提取预测热图中的最大值作为关键点位置；
pi＝argmax(Heatmapi)，
其中，P为关键点坐标，Heatmap为预测热图。
8.根据权利要求1所述的远红外热成像人体经络关键点定位方法，其特征在于：所述步骤VII的具体过程为：通过代数几何方法和全身人体医学经络图，计算全身整体经络正背面的经络点的坐标值，输出显示人体全身经络点的图像；通过各种几何算法的结合，使每个人都有一套自己的经络脉络图，经络曲线贴合人体曲线，每个经络点更加准确，并且在视觉上效果更好。
CN202010386690.4A 2020-05-09 2020-05-09 一种远红外热成像人体经络关键点定位方法 Active CN111444896B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010386690.4A CN111444896B (zh) 2020-05-09 2020-05-09 一种远红外热成像人体经络关键点定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010386690.4A CN111444896B (zh) 2020-05-09 2020-05-09 一种远红外热成像人体经络关键点定位方法

Publications (2)

Publication Number Publication Date
CN111444896A true CN111444896A (zh) 2020-07-24
CN111444896B CN111444896B (zh) 2023-06-30

Family

ID=71655229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010386690.4A Active CN111444896B (zh) 2020-05-09 2020-05-09 一种远红外热成像人体经络关键点定位方法

Country Status (1)

Country Link
CN (1) CN111444896B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112801984A (zh) * 2021-01-29 2021-05-14 华南理工大学 一种激光视觉系统下的基于对抗学习的焊缝定位方法
CN112819750A (zh) * 2020-12-31 2021-05-18 北京鹰之眼智能健康科技有限公司 基于深度学习的肥胖症远红外图像证候分型方法和系统
CN113393446A (zh) * 2021-06-21 2021-09-14 湖南大学 基于注意力机制的卷积神经网络医学图像关键点检测方法
CN113780250A (zh) * 2021-11-11 2021-12-10 四川大学 一种针对小样本的端到端面部腧穴定位方法及电子设备
CN113808184A (zh) * 2021-08-30 2021-12-17 中科尚易健康科技(北京)有限公司 基于点云识别的插值方法和装置、设备及存储介质
CN113807205A (zh) * 2021-08-30 2021-12-17 中科尚易健康科技(北京)有限公司 局部增强的人体经络识别方法和装置、设备及存储介质
CN113807414A (zh) * 2021-08-30 2021-12-17 中科尚易健康科技(北京)有限公司 基于深度学习的人体经络自动标注方法和装置、设备及存储介质
CN113842116A (zh) * 2021-10-14 2021-12-28 北京鹰之眼智能健康科技有限公司 一种人体穴位的自动定位方法、装置和电子设备
CN114098636A (zh) * 2021-11-05 2022-03-01 北京鹰之眼智能健康科技有限公司 一种人体健康状态管理方法、系统和电子设备
CN114712220A (zh) * 2022-01-19 2022-07-08 中国科学院自动化研究所 穴位检测方法、装置及电子设备
CN115273244A (zh) * 2022-09-29 2022-11-01 合肥工业大学 基于图神经网络的人体动作识别方法和系统
CN117253259A (zh) * 2023-09-26 2023-12-19 北京鹰之眼智能健康科技有限公司 一种人体红外图像的处理方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102525795A (zh) * 2012-01-16 2012-07-04 沈阳理工大学 一种足部按摩机器人快速自动定位方法
CN105930810A (zh) * 2016-04-26 2016-09-07 北京工业大学 基于特征点定位算法的面部穴位定位方法和定位装置
CN105919796A (zh) * 2016-05-20 2016-09-07 山东建筑大学 中医按摩机器人系统及其穴位寻找方法
CN107041840A (zh) * 2017-01-09 2017-08-15 东南大学 基于数据库表方法的超声成像穴位识别仪及其识别方法
CN107767419A (zh) * 2017-11-07 2018-03-06 广州深域信息科技有限公司 一种人体骨骼关键点检测方法及装置
CN108647639A (zh) * 2018-05-10 2018-10-12 电子科技大学 实时人体骨骼关节点检测方法
CN108765546A (zh) * 2018-04-18 2018-11-06 北京奇虎科技有限公司 穴位检测方法及装置
WO2019210555A1 (zh) * 2018-05-04 2019-11-07 深圳技术大学（筹） 一种基于深度神经网络的人数统计方法及装置、存储介质
CN110613605A (zh) * 2019-08-29 2019-12-27 成都中医药大学 穴位判别模型的构建方法、穴位判别方法和判别系统
CN110688929A (zh) * 2019-09-20 2020-01-14 北京华捷艾米科技有限公司 一种人体骨架关节点定位方法及装置
CN110705425A (zh) * 2019-09-25 2020-01-17 广州西思数字科技有限公司 一种基于图卷积网络的舌象多标签分类学习方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102525795A (zh) * 2012-01-16 2012-07-04 沈阳理工大学 一种足部按摩机器人快速自动定位方法
CN105930810A (zh) * 2016-04-26 2016-09-07 北京工业大学 基于特征点定位算法的面部穴位定位方法和定位装置
CN105919796A (zh) * 2016-05-20 2016-09-07 山东建筑大学 中医按摩机器人系统及其穴位寻找方法
CN107041840A (zh) * 2017-01-09 2017-08-15 东南大学 基于数据库表方法的超声成像穴位识别仪及其识别方法
CN107767419A (zh) * 2017-11-07 2018-03-06 广州深域信息科技有限公司 一种人体骨骼关键点检测方法及装置
CN108765546A (zh) * 2018-04-18 2018-11-06 北京奇虎科技有限公司 穴位检测方法及装置
WO2019210555A1 (zh) * 2018-05-04 2019-11-07 深圳技术大学（筹） 一种基于深度神经网络的人数统计方法及装置、存储介质
CN108647639A (zh) * 2018-05-10 2018-10-12 电子科技大学 实时人体骨骼关节点检测方法
CN110613605A (zh) * 2019-08-29 2019-12-27 成都中医药大学 穴位判别模型的构建方法、穴位判别方法和判别系统
CN110688929A (zh) * 2019-09-20 2020-01-14 北京华捷艾米科技有限公司 一种人体骨架关节点定位方法及装置
CN110705425A (zh) * 2019-09-25 2020-01-17 广州西思数字科技有限公司 一种基于图卷积网络的舌象多标签分类学习方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邢妍妍 等: "融合型UNet++网络的超声胎儿头部边缘检测", 中国图象图形学报 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819750A (zh) * 2020-12-31 2021-05-18 北京鹰之眼智能健康科技有限公司 基于深度学习的肥胖症远红外图像证候分型方法和系统
CN112819750B (zh) * 2020-12-31 2024-05-28 北京鹰之眼智能健康科技有限公司 基于深度学习的肥胖症远红外图像证候分型方法和系统
CN112801984A (zh) * 2021-01-29 2021-05-14 华南理工大学 一种激光视觉系统下的基于对抗学习的焊缝定位方法
CN113393446A (zh) * 2021-06-21 2021-09-14 湖南大学 基于注意力机制的卷积神经网络医学图像关键点检测方法
CN113808184A (zh) * 2021-08-30 2021-12-17 中科尚易健康科技(北京)有限公司 基于点云识别的插值方法和装置、设备及存储介质
CN113807205A (zh) * 2021-08-30 2021-12-17 中科尚易健康科技(北京)有限公司 局部增强的人体经络识别方法和装置、设备及存储介质
CN113807414A (zh) * 2021-08-30 2021-12-17 中科尚易健康科技(北京)有限公司 基于深度学习的人体经络自动标注方法和装置、设备及存储介质
CN113842116A (zh) * 2021-10-14 2021-12-28 北京鹰之眼智能健康科技有限公司 一种人体穴位的自动定位方法、装置和电子设备
CN114098636A (zh) * 2021-11-05 2022-03-01 北京鹰之眼智能健康科技有限公司 一种人体健康状态管理方法、系统和电子设备
CN114098636B (zh) * 2021-11-05 2023-09-01 北京鹰之眼智能健康科技有限公司 一种人体健康状态管理方法、系统和电子设备
CN113780250A (zh) * 2021-11-11 2021-12-10 四川大学 一种针对小样本的端到端面部腧穴定位方法及电子设备
CN114712220A (zh) * 2022-01-19 2022-07-08 中国科学院自动化研究所 穴位检测方法、装置及电子设备
CN115273244A (zh) * 2022-09-29 2022-11-01 合肥工业大学 基于图神经网络的人体动作识别方法和系统
CN115273244B (zh) * 2022-09-29 2022-12-20 合肥工业大学 基于图神经网络的人体动作识别方法和系统
CN117253259A (zh) * 2023-09-26 2023-12-19 北京鹰之眼智能健康科技有限公司 一种人体红外图像的处理方法
CN117253259B (zh) * 2023-09-26 2024-03-29 北京鹰之眼智能健康科技有限公司 一种人体红外图像的处理方法

Also Published As

Publication number Publication date
CN111444896B (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
CN111444896A (zh) 一种远红外热成像人体经络关键点定位方法
CN111145170B (zh) 一种基于深度学习的医学影像分割方法
Yap et al. Deep learning in diabetic foot ulcers detection: A comprehensive evaluation
CN111932550B (zh) 一种基于深度学习的3d心室核磁共振视频分割系统
WO2020135812A1 (en) Systems and methods for ossification center detection and bone age assessment
Yu et al. Multiple attentional path aggregation network for marine object detection
CN112102373A (zh) 一种基于强约束仿射形变特征学习的颈动脉多模态图像配准方法
CN109948575B (zh) 超声图像中眼球区域分割方法
Ding et al. FTransCNN: Fusing Transformer and a CNN based on fuzzy logic for uncertain medical image segmentation
Yan et al. Monocular depth estimation with guidance of surface normal map
Pandey et al. Segmentation of liver lesions with reduced complexity deep models
Yuan et al. A multi-scale convolutional neural network with context for joint segmentation of optic disc and cup
Ye et al. Medical image diagnosis of prostate tumor based on PSP-Net+ VGG16 deep learning network
Liu et al. LCS: A collaborative optimization framework of vector extraction and semantic segmentation for building extraction
Manikandan et al. Glaucoma Disease Detection Using Hybrid Deep Learning Model
Sarica et al. A dense residual U-net for multiple sclerosis lesions segmentation from multi-sequence 3D MR images
CN111696042A (zh) 基于样本学习的图像超分辨重建方法
Ye et al. An improved efficientNetV2 model based on visual attention mechanism: application to identification of cassava disease
Guo et al. CAFR-CNN: coarse-to-fine adaptive faster R-CNN for cross-domain joint optic disc and cup segmentation
Yang et al. A dense R‐CNN multi‐target instance segmentation model and its application in medical image processing
CN107146211A (zh) 基于线扩散函数和双边滤波的视网膜血管图像降噪方法
Tang et al. HTC-Net: A hybrid CNN-transformer framework for medical image segmentation
CN116188435B (zh) 一种基于模糊逻辑的医学图像深度分割方法
CN116631064A (zh) 基于关键点与网格顶点互补增强的3d人体姿态估计方法
CN116681742A (zh) 基于图神经网络的可见光与红外热成像图像配准方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant