CN113780250A - 一种针对小样本的端到端面部腧穴定位方法及电子设备 - Google Patents

一种针对小样本的端到端面部腧穴定位方法及电子设备 Download PDF

Info

Publication number
CN113780250A
CN113780250A CN202111329541.5A CN202111329541A CN113780250A CN 113780250 A CN113780250 A CN 113780250A CN 202111329541 A CN202111329541 A CN 202111329541A CN 113780250 A CN113780250 A CN 113780250A
Authority
CN
China
Prior art keywords
face
acupoint
facial
training
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111329541.5A
Other languages
English (en)
Other versions
CN113780250B (zh
Inventor
张婷婷
杨红雨
陈虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202111329541.5A priority Critical patent/CN113780250B/zh
Publication of CN113780250A publication Critical patent/CN113780250A/zh
Application granted granted Critical
Publication of CN113780250B publication Critical patent/CN113780250B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H39/00—Devices for locating or stimulating specific reflex points of the body for physical therapy, e.g. acupuncture
    • A61H39/02—Devices for locating such points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Rehabilitation Therapy (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Pain & Pain Management (AREA)
  • Epidemiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及中医腧穴和机器视觉技术交叉领域，特别是一种针对小样本的端到端面部腧穴定位方法及电子设备。本发明所述方法构建了面部腧穴智能定位任务数据集用于端到端面部腧穴定位研究。利用神经网络的非线性建模能力，深度挖掘面部抽象特征，极大地提高了面部腧穴定位准确度。同时，本发明提出了两阶段模型训练策略，可实现通过少量面部腧穴样本数据训练即可达到良好的面部腧穴定位效果，能够有效降低基于神经网络模型的面部腧穴定位方法对标注数据的依赖。此外，本发明融合了机器学习的注意力机制，促使深度神经网络模型关注目标的细节信息，抑制无用信息，进一步提高了本发明所述方法的面部腧穴定位精度。

Description

一种针对小样本的端到端面部腧穴定位方法及电子设备
技术领域
本发明涉及中医腧穴和机器视觉技术交叉领域，特别是一种针对小样本的端到端面部腧穴定位方法及电子设备。
背景技术
目前，中医针灸疗法已在全球超过183个国家获得广泛应用和认可。由于每个人形体上存在高矮胖瘦的差异，导致针灸疗法对从业医师的临床经验要求很高，具体表现之一是对腧穴定位的准确程度。腧穴，又称穴位，是人体脏腑经络之气输注于体表的部位，是针灸治疗疾病的刺激点与反应点。虽然中医经络腧穴学具有完整的理论体系，但仍存在人工取穴主观性强、难以标准化和传承困难等问题。本发明主要针对面部腧穴定位进行研究和探索，为中医穴位相关的智能化治疗奠定技术基础。
临床上常用的腧穴定位法有三种：体表解剖标志定位法、骨度折量定位法及指寸定位法。其中，面部大部分腧穴（鱼腰、印堂、下关等）通过体表解剖标志定位法更为精准，少部分腧穴（夹承浆、瞳子髎等）通过骨度折量定位法较为准确。面部腧穴智能定位指的是通过自动人脸检测并分析面部五官轮廓特征，定位出面部腧穴。随着人工智能技术的快速发展，当前腧穴智能定位方法主要分为：基于双目视觉和编码结构光相结合的人脸腧穴定位方法、基于人脸关键点算法的腧穴定位方法和基于卷积神经网络的端到端腧穴定位方法等。
目前较为流行的是基于人脸关键点算法的面部腧穴定位方法，该方法通过面部特征点定位技术对人脸进行检测并获取人脸关键点（左右嘴角、鼻尖中心、眉毛左角、眉毛中心、眉毛右角、下巴最低点等）坐标，然后结合中医取穴手法中的骨度折量定位法，利用眉心和发际点的距离计算人脸的同身寸长度，最终基于人脸关键点位置和同身寸长度计算面部腧穴坐标。这种方法基于人脸关键点检测结果做计算，而非直接定位面部腧穴坐标。一方面，人脸关键点检测结果存在误差，导致基于人脸关键点计算的腧穴坐标产生累计误差。另一方面，从临床经验分析，大部分面部腧穴定位采用体表解剖标志定位法的结果相比骨度折量定位法更为精准。比如承浆穴位于颏唇沟的正中凹陷处，如通过骨度折量定位法计算口唇下方0.5同身寸未必刚好是颏唇沟正中凹陷处。
因此，为了提高中医面部腧穴定位精度，同时考虑到面部腧穴标注非常依赖专家经验和人工成本高的问题，本发明提出了一种针对小样本的端到端面部腧穴定位方法及电子设备。
发明内容
本发明目的在于克服现有技术中存在的面部腧穴定位精度不足以及面部腧穴数据人工标注强依赖专家知识且成本高昂的问题，提供一种针对小样本的端到端面部腧穴定位方法及电子设备。
为了实现上述发明目的，本发明提供了以下技术方案：
一种针对小样本的端到端面部腧穴定位方法，包括以下步骤：
给定一张人脸图片，将图片输入已训练的端到端面部腧穴定位模型，得到面部腧穴热图及其对应的腧穴坐标；
其中，所述端到端面部腧穴定位模型包括以下训练过程：
S1：构建面部腧穴智能定位任务数据集；
S2：搭建基于深度神经网络的端到端面部腧穴定位模型；
S3：通过图像重建任务对所述端到端面部腧穴定位模型进行非监督自编码模型预训练；
S4：通过所述面部腧穴智能定位任务数据集对预训练后的所述端到端面部腧穴定位模型进行监督学习训练；
S5：获取监督学习训练后的所述端到端面部腧穴定位模型，并在测试数据集上进行评估，计算预测坐标与真实坐标之间的NME（Normalized Mean Error，归一化平均误差）数值和/或AUC（Area-Under-the-Curve，曲线下面积）数值，当所述NME数值小于第一预设值和/或所述AUC数值大于第二预设值后，输出监督学习训练后的所述端到端面部腧穴定位模型；否则进入步骤S4继续训练。
本发明所述方法通过端到端的方法对面部腧穴进行定位，充分利用神经网络的非线性建模能力，深度挖掘面部抽象特征，极大地提高了面部腧穴定位准确度。同时提出了两阶段模型训练策略，可实现通过少量面部腧穴样本数据训练即可达到良好的面部腧穴定位效果，能够有效降低基于神经网络模型的面部腧穴定位方法对标注数据的依赖。此外，本发明融合了机器学习的注意力机制，促使深度神经网络模型更关注目标的细节，进一步提升本发明所述方法的面部腧穴定位精度。
作为本发明的优选方案，所述端到端面部腧穴定位模型包括图像特征编码模块、共享图像重建生成模块以及特征交叉传输模块；
所述图像特征编码模块包括编码器，所述编码器采用ResNet网络模型；
所述共享图像重建生成模块包括生成器以及隐性空间鉴别器，所述生成器采用逆ResNet网络模型，所述生成器包括多个逆残差模块；所述隐性空间鉴别器包括多个全连接层，且每个所述全连接层设有多个神经元；
所述特征交叉传输模块包括多个交叉传输层，所述交叉传输层包括卷积模块及通道和空间注意力机制模块；所述交叉传输层的数量与所述逆残差模块一致，且交叉传输层与所述共享图像重建生成模块的生成器中的逆残差模块交叉设置。本发明提出的网络结构利用交叉传输层融入通道和空间维度上的注意力机制，使模型更关注于目标本身，面部特征提取效果更好，进一步提高了面部腧穴的定位准确度。
作为本发明的优选方案，所述步骤S3包括：
S31：选取公开的人脸数据集作为图像重建任务的训练样本；
S32：设定训练参数，并通过重建人脸图像任务对所述端到端面部腧穴定位模型的所述图像特征编码模块以及所述共享图像重建生成模块进行预训练；
所述训练参数包括训练迭代次数、编码器输入图像尺寸、生成器输出图像尺寸、批次训练量以及学习速率等；所述预训练模型包括编码器、生成器和鉴别器。本发明通过重构大量公开人脸图像数据集学习人脸隐性知识，之后基于学习到的面部隐性知识，有监督地训练面部腧穴定位模型。
作为本发明的优选方案，所述步骤S32中人脸图像重建过程的损失函数表达式为：
Figure 949726DEST_PATH_IMAGE001
，
其中，
Figure 17914DEST_PATH_IMAGE002
为人脸图像重建过程中的损失函数，
Figure 810421DEST_PATH_IMAGE003
为编码器，
Figure 183633DEST_PATH_IMAGE004
为生成器，
Figure 949814DEST_PATH_IMAGE005
为真假图片鉴别器，
Figure 639553DEST_PATH_IMAGE006
为隐性空间鉴别器，
Figure 304758DEST_PATH_IMAGE007
为重构损失、
Figure 447157DEST_PATH_IMAGE008
为结构图像损失、
Figure 288468DEST_PATH_IMAGE009
为编码特征损失、为对抗特征损失，
Figure 770396DEST_PATH_IMAGE010
分别为
Figure 403240DEST_PATH_IMAGE011
的权重。
作为本发明的优选方案，所述步骤S4是通过所述面部腧穴智能定位任务数据集以及所述模型参数对所述端到端面部腧穴定位模型进行模型训练；所述模型训练的损失函数为：
Figure 32936DEST_PATH_IMAGE012
，
其中，
Figure 406499DEST_PATH_IMAGE013
为给定图像，
Figure 805250DEST_PATH_IMAGE014
为监督学习训练时的损失函数，
Figure 608996DEST_PATH_IMAGE015
是第一层逆ResNet层后经过激活函数处理的结果，
Figure 460408DEST_PATH_IMAGE016
为面部腧穴热图的真实值，
Figure 377942DEST_PATH_IMAGE017
为交叉传输层（卷积及通道和空间注意力模块）运算。
作为本发明的优选方案，所述面部腧穴的位置表达式为：
Figure 100042DEST_PATH_IMAGE018
，
Figure 74689DEST_PATH_IMAGE019
为预测的面部腧穴热图，
Figure 678976DEST_PATH_IMAGE020
为第
Figure 886621DEST_PATH_IMAGE021
个面部腧穴的预测坐标，
Figure 259964DEST_PATH_IMAGE022
分别为所述预测的面部腧穴热图的横坐标和纵坐标。
作为本发明的优选方案，所述步骤S3和所述步骤S4还包括数据扩充过程；
所述数据扩充过程包括但不限于对训练数据中的图片进行随机水平翻转、平移、旋转及剪裁。
作为本发明的优选方案，所述步骤S1包括：
S11：采集真实人脸数据或从公开的人脸数据集中选取数据样本作为原始未标注数据；
S12：针对所述原始未标注数据进行预处理，输出预处理数据；所述预处理包括但不限于图像去噪、人脸检测与分割、光照归一化以及人脸姿态矫正；
S13：对所述预处理数据中的面部腧穴类别和坐标进行人工标注，并输出面部腧穴智能定位任务数据集；所述面部腧穴智能定位任务数据集包括训练集和测试集，所述训练集和所述测试集中的数据来源相互独立。本发明基于公开人脸数据集构建面部腧穴智能定位任务数据集，且采用体表解剖标志定位法和骨度折量定位法结合对其进行人工标注，保证面部腧穴数据标注的准确性，为面部腧穴定位提供了良好的数据基础，解决了目前无公开的数据集用于面部腧穴定位任务的难题。作为本发明的优选方案，所述步骤S13中标注内容通过数据标注软件人工标注；所述标注内容包括腧穴类别和坐标；
其中，所述腧穴类别包括：鱼腰、印堂、下关、瞳子髎、太阳、素髎、丝竹空、四白、水沟、上迎香、迎香、颧髎、攒竹、睛明、承泣、口禾髎、巨髎、地仓、承浆、夹承浆、颊车、大迎、兑端、球后。
一种电子设备，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任一项所述的方法。
与现有技术相比，本发明的有益效果：
1.本发明所述方法通过端到端的方式对面部腧穴进行定位，充分利用神经网络的非线性建模能力，深度挖掘面部抽象特征，极大地提高了面部腧穴定位准确度。
2.本发明提出了两阶段模型训练策略，通过重构大量公开人脸图像数据集学习人脸隐性信息，之后基于学习到的面部隐性知识有监督地训练面部腧穴定位模型，可实现基于少量面部腧穴样本数据训练即可达到良好的面部腧穴定位效果，能够有效降低基于神经网络模型的面部腧穴定位方法对标注数据的依赖。
3.本发明提出的网络结构利用交叉传输层融入通道和空间维度上的注意力机制，使模型更关注于目标本身，面部特征提取效果更好，从而提高了面部腧穴定位的准确度。
4.本发明通过在公开人脸数据集的基础上对面部腧穴类别和坐标进行标注并构建可用于面部腧穴定位模型训练的数据集，解决了目前无公开的数据集用于面部腧穴定位任务的难题。同时，采用体表解剖标志定位法和骨度折量定位法结合进行腧穴标定，保证面部腧穴数据标注的准确性，为面部腧穴定位研究提供良好的数据基础。
附图说明
图1为本发明实施例1所述的一种针对小样本的端到端面部腧穴定位方法的流程示意图；
图2为本发明实施例1所述的一种针对小样本的端到端面部腧穴定位方法中所述端到端面部腧穴定位模型的训练过程示意图；
图3为本发明实施例3所述的一种针对小样本的端到端面部腧穴定位方法的面部腧穴智能定位任务数据集样本示意图；
图4为本发明实施例3所述的一种针对小样本的端到端面部腧穴定位方法中的端到端面部腧穴定位模型的流程运行示例图；
图5为本发明实施例3所述的一种针对小样本的端到端面部腧穴定位方法中人脸图像重建任务网络模型示意图；
图6为本发明实施例3所述的一种针对小样本的端到端面部腧穴定位方法中端到端面部腧穴定位任务网络模型示意图；
图7为本发明实施例4所述的一种利用了实施例1所述的一种针对小样本的端到端面部腧穴定位方法的一种电子设备。
具体实施方式
下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。
实施例1
如图1所示，一种针对小样本的端到端面部腧穴定位方法，包括以下步骤：
给定一张人脸图片，将图片输入已训练的端到端面部腧穴定位模型，得到面部腧穴热图及其对应的腧穴坐标；
其中，如图2所示，所述端到端面部腧穴定位模型包括以下训练过程：
S1：构建面部腧穴智能定位任务数据集。
S11：采集真实人脸数据或从公开的人脸数据集中选取数据样本作为原始未标注数据；
S12：针对所述原始未标注数据进行预处理，输出预处理数据；所述预处理包括但不限于图像去噪、人脸检测与分割、光照归一化以及人脸姿态矫正；
S13：对所述预处理数据中的面部腧穴进行人工标注，并输出面部腧穴智能定位任务数据集；所述面部腧穴智能定位任务数据集包括训练集和测试集，所述训练集和所述测试集中的数据来源相互独立。其中，标注内容通过数据标注软件人工标注；所述标注内容包括腧穴类别和坐标；
其中，所述腧穴类别包括：鱼腰、印堂、下关、瞳子髎、太阳、素髎、丝竹空、四白、水沟、上迎香、迎香、颧髎、攒竹、睛明、承泣、口禾髎、巨髎、地仓、承浆、夹承浆、颊车、大迎、兑端、球后。
S2：搭建基于深度神经网络的端到端面部腧穴定位模型。
所述端到端面部腧穴定位模型包括图像特征编码模块、共享图像重建生成模块以及特征交叉传输模块；
所述图像特征编码模块包括编码器，所述编码器采用ResNet网络模型（所述ResNet网络模型包括但不限于ResNet-18以及ResNet-50网络模型）；
所述共享图像重建生成模块包括生成器以及隐性空间鉴别器，所述生成器采用逆ResNet网络模型（所述逆ResNet网络模型包括但不限于逆ResNet-18以及逆ResNet-50网络模型，且采用网络模型与所述编码器结构相对应），包括多个逆残差模块；所述隐性空间鉴别器包括多个全连接层，且每个所述全连接层设有多个神经元；
所述特征交叉传输模块包括多个交叉传输层，所述交叉传输层包括卷积模块及通道和空间注意力机制模块；所述交叉传输层的数量与所述逆残差模块一致，且交叉传输层与所述共享图像重建生成模块的生成器中的逆残差模块交叉设置。
S3：通过图像重建任务对所述端到端面部腧穴定位模型进行非监督自编码模型预训练。
S31：选取公开的人脸数据集作为图像重建任务的训练样本；
S32：设定训练参数，并通过重建人脸图像任务对所述端到端面部腧穴定位模型的所述图像特征编码模块以及所述共享图像重建生成模块进行预训练；
所述训练参数包括训练迭代次数、编码器输入图像尺寸、生成器输出图像尺寸、批次训练量以及学习速率等；所述预训练模型包括编码器、生成器和鉴别器。
其中，人脸图像重建过程的损失函数表达式为：
Figure 405513DEST_PATH_IMAGE001
，
其中，
Figure 231517DEST_PATH_IMAGE002
为人脸图像重建过程中的损失函数，
Figure 756433DEST_PATH_IMAGE003
为编码器，
Figure 436813DEST_PATH_IMAGE004
为生成器，
Figure 254727DEST_PATH_IMAGE005
为真假图片鉴别器，
Figure 66563DEST_PATH_IMAGE006
为隐性空间鉴别器，
Figure 362547DEST_PATH_IMAGE023
为重构损失、
Figure 206088DEST_PATH_IMAGE008
为结构图像损失、
Figure 929325DEST_PATH_IMAGE009
为编码特征损失、
Figure 494036DEST_PATH_IMAGE024
为对抗特征损失，
Figure 593710DEST_PATH_IMAGE025
分别为
Figure 500879DEST_PATH_IMAGE007
、
Figure 660596DEST_PATH_IMAGE008
、
Figure 712604DEST_PATH_IMAGE009
、
Figure 350390DEST_PATH_IMAGE024
的权重。
S4：通过所述面部腧穴智能定位任务数据集对预训练后的所述端到端面部腧穴定位模型进行监督学习训练。
所述模型训练的损失函数为：
Figure 106206DEST_PATH_IMAGE012
，
其中，
Figure 436825DEST_PATH_IMAGE013
为给定图像，
Figure 710549DEST_PATH_IMAGE014
为监督学习训练时的损失函数，
Figure 417605DEST_PATH_IMAGE015
是第一层逆ResNet层后经过激活函数处理的结果，
Figure 33787DEST_PATH_IMAGE016
为面部腧穴热图的真实值，
Figure 535307DEST_PATH_IMAGE017
为交叉传输层运算。
所述面部腧穴的位置表达式为：
Figure 561907DEST_PATH_IMAGE018
，
Figure 541495DEST_PATH_IMAGE019
为预测的面部腧穴热图，
Figure 25566DEST_PATH_IMAGE020
为第
Figure 193592DEST_PATH_IMAGE021
个面部腧穴的预测坐标，
Figure 943374DEST_PATH_IMAGE022
分别为所述预测的面部腧穴热图的横坐标和纵坐标。
S5：获取监督学习训练后的所述端到端面部腧穴定位模型，并在测试数据集上进行评估，计算预测坐标与真实坐标之间的NME数值和/或AUC数值，当所述NME数值小于第一预设值和/或所述AUC数值大于第二预设值后，输出监督学习训练后的所述端到端面部腧穴定位模型；否则进入步骤S4继续训练。
所述步骤S3和所述步骤S4还包括数据扩充过程：所述数据扩充过程包括但不限于对训练数据中的图片进行随机水平翻转、平移、旋转及剪裁。
实施例2
本实施例与实施例1的区别在于，所述步骤S5还包括一个训练迭代次数阈值，当所述步骤S5执行次数达到所述迭代阈值后，直接输出监督学习训练后的所述端到端面部腧穴定位模型，并在测试数据集上进行评估，计算预测坐标与真实坐标之间的NME数值和/或AUC数值，以及此时的所述端到端面部腧穴定位模型，以避免由于模型评估性能不达标导致模型训练无法终止。
实施例3
本实施例为实施例1的实际应用例，具体包括以下步骤：
步骤1：构建面部腧穴智能定位任务数据集。
步骤1-1：从人脸公开数据集CAS-PEAL中挑选654个个体的共654张正面人脸图像。其中，所述654张正面人脸图像中男女性别数据各占一半。
步骤1-2：针对步骤1-1中的原始未标注数据进行预处理，包括图像归一化处理、人脸检测与分割等。
步骤1-3：邀请某中医大三位经验丰富的从业医师使用开源labelme软件对每一张图像进行人工标注。标注内容包括面部的24个穴位（鱼腰、印堂、下关、瞳子髎、太阳、素髎、丝竹空、四白、水沟、上迎香、迎香、颧髎、攒竹、睛明、承泣、口禾髎、巨髎、地仓、承浆、夹承浆、颊车、大迎、兑端、球后）。因部分穴位在面部只有一个，部分穴位在面部左右两侧各一个，经计算共43个穴位点。面部腧穴标注数据样本示例如图3所示。并将654张面部腧穴数据样本分为600张训练数据和54张测试数据。其中，训练集和测试集中男女性别数据各占一半。
步骤2：构建基于深度神经网络的端到端面部腧穴定位模型；本发明所述模型执行流程如图4所示。
步骤2-1：构建图像特征编码模块的编码器（E）采用标准的ResNet-18。
步骤2-2：构建共享图像重建生成模块的生成器（G）采用逆ResNet-18，隐性空间鉴别器（
Figure 694030DEST_PATH_IMAGE006
）采用3个全连接层，每层有1000个神经元。图像特征编码模块的编码器和共享图像重建生成模块的生成器首先用于人脸图像重建任务与训练，其网络结构如图5所示。
步骤2-3：构建特征交叉传输模块，在逆ResNet层中间插入交叉传输层（ITL）——3×3的卷积及通道和空间注意力机制模块（CBAM模块），交叉传输层的主要作用是提取生成器每一层卷积层的关键特性。每个交叉传输层产生与原始逆ResNet层相同数量的输出通道。特征交叉传输模块用于与上述模块一起构成本发明针对小样本的端到端面部腧穴定位任务模型，其网络结构如图6所示。
步骤3：通过图像重建任务对所述端到端面部腧穴定位模型进行非监督自编码模型预训练。
步骤3-1：选取VGGFace2和AffectNet公开人脸数据集作为非监督训练人脸图像重建任务的训练样本。
步骤3-2：设定训练参数，通过重建人脸图像任务对所述端到端面部腧穴定位模型中的所述图像特征编码模块以及所述共享图像重建生成模块进行预训练；鉴于面部腧穴训练样本数量较少，本发明首先利用对抗自编码器网络重构大量公开人脸数据，学习面部的隐性知识，为后续针对小样本的端到端面部腧穴定位模型做模型预训练。其中，真假图片鉴别器（
Figure 845657DEST_PATH_IMAGE005
）采用DCGAN鉴别器。给定图像
Figure 190444DEST_PATH_IMAGE013
，编码器
Figure 161942DEST_PATH_IMAGE026
产生特征向量
Figure 185130DEST_PATH_IMAGE027
；生成器
Figure 191264DEST_PATH_IMAGE028
将
Figure 990109DEST_PATH_IMAGE027
投影回图像空间：
Figure DEST_PATH_IMAGE029
。所述鉴别器
Figure 26067DEST_PATH_IMAGE005
的任务是区分
Figure 416728DEST_PATH_IMAGE030
是否为真实图像。
所述训练参数包括训练迭代次数、编码器输入图像尺寸、生成器输出图像尺寸、批次训练量以及学习速率等。具体设定神经网络模型的训练迭代次数epochs为50，编码器输入图像尺寸为128×128，输出大小为99维的向量。生成器输出图像尺寸为128×128，批次训练量batch-size设置为64，使用Adam算法进行优化，学习速率lr为2×10-5，
Figure DEST_PATH_IMAGE031
，
Figure 106729DEST_PATH_IMAGE032
；训练过程中，采用随机水平翻转、平移、旋转及剪裁等方法对训练图片进行数据增强，提高模型的泛化能力。
步骤4：通过所述面部腧穴智能定位任务数据集对所述端到端面部腧穴定位模型进行监督学习训练。
步骤4-1：冻结步骤3中自编码器的所有参数，并训练优化特征交叉传输模块参数以适用于针对小样本的端到端面部腧穴定位任务，最后一个卷积层映射到L通道的热图（L是要预测的腧穴的个数）。
步骤4-2：将步骤1构建所得面部腧穴智能定位任务数据集用于该步模型训练，分别将训练数据集样本量设置为50、100、200、300和400等（男女性别数据各占一半），测试数据集保持不变。训练过程的损失函数
Figure DEST_PATH_IMAGE033
使用真实面部腧穴热图与预测面部腧穴热图之间的L2距离，训练完成输出最终的针对小样本的端到端面部腧穴定位模型。
Figure DEST_PATH_IMAGE035
腧穴的坐标计算公式为：
Figure 806701DEST_PATH_IMAGE018
。
其中，
Figure 248397DEST_PATH_IMAGE013
是给定的人脸图片，
Figure 177170DEST_PATH_IMAGE036
是第一层逆ResNet之后经过激活函数处理所得结果，
Figure 390851DEST_PATH_IMAGE016
为面部腧穴热图的真实值，
Figure 950139DEST_PATH_IMAGE019
为预测的面部腧穴热图，
Figure 619412DEST_PATH_IMAGE017
为交叉传输层运算，
Figure 351875DEST_PATH_IMAGE022
为所述预测的面部腧穴热图的横坐标和纵坐标。
步骤4-3：设定神经网络模型的训练迭代次数epochs为3000次，输入图片经预处理调整为256×256，输出的面部腧穴热图尺寸为128×128，学习速率lr为0.001；所述NME第一预设值为1.2，所述AUC第二预设值为0.9；设定完参数后，开始网络模型训练，最终输出针对小样本的端到端面部腧穴定位模型，用于面部腧穴定位。
步骤5：对训练所得针对小样本的端到端面部腧穴定位模型进行验证。
步骤5-1：给定一张所构建数据集内的人脸图片和对应的面部腧穴坐标，将图片输入步骤4训练所得针对小样本的端到端面部腧穴定位模型得到面部腧穴坐标预测值，并与人工标注面部腧穴坐标真实值做对比。使用NME和AUC衡量模型性能，其定义如下：
Figure DEST_PATH_IMAGE037
，
其中，
Figure 764271DEST_PATH_IMAGE038
面部腧穴坐标的真实值，
Figure DEST_PATH_IMAGE039
面部腧穴坐标的预测值，
Figure 927749DEST_PATH_IMAGE040
表示样本数量，
Figure DEST_PATH_IMAGE041
表示用于归一化的外眼角距离。NME数值越小，表示面部腧穴坐标预测结果越准确。
Figure 425596DEST_PATH_IMAGE042
，
其中，
Figure 463215DEST_PATH_IMAGE013
表示归一化误差，
Figure DEST_PATH_IMAGE043
（Cumulative ErrorDistribution，CED）函数。AUC数值越大，表示面部腧穴坐标预测结果越准确。
具体实验结果如下表：
表1 本发明方法实验结果
Figure 261276DEST_PATH_IMAGE045
步骤6：模型实际运行实例。
给定一张所构建数据集以外的人脸图片，将图片输入步骤4训练所得的所述端到端面部腧穴定位模型得到面部腧穴坐标预测结果（包括面部腧穴热图以及对应的腧穴坐标），通过专业的从业医师对预测结果进行打分，以评估该模型的性能。
实施例4
如图7所示，一种电子设备，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述实施例所述的一种针对小样本的端到端面部腧穴定位方法。所述输入输出接口可以包括显示器、键盘、鼠标、以及USB接口，用于输入输出数据；电源用于为电子设备提供电能。
本领域技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器（Read Only Memory，ROM）、磁碟或者光盘等各种可以存储程序代码的介质。
当本发明上述集成的单元以软件功能单元的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种针对小样本的端到端面部腧穴定位方法，其特征在于，包括以下步骤：
给定一张人脸图片，将图片输入已训练的端到端面部腧穴定位模型，得到面部腧穴热图及其对应的腧穴坐标；
其中，所述端到端面部腧穴定位模型包括以下训练过程：
S1：构建面部腧穴智能定位任务数据集；
S2：搭建基于深度神经网络的端到端面部腧穴定位模型；
S3：通过图像重建任务对所述端到端面部腧穴定位模型进行非监督自编码模型预训练；
S4：通过所述面部腧穴智能定位任务数据集对预训练后的所述端到端面部腧穴定位模型进行监督学习训练；
S5：获取监督学习训练后的所述端到端面部腧穴定位模型并在测试数据集上进行评估，计算预测坐标与真实坐标之间的NME数值和/或AUC数值，当所述NME数值小于第一预设值和/或所述AUC数值大于第二预设值后，输出监督学习训练后的所述端到端面部腧穴定位模型；否则进入步骤S4继续训练。
2.根据权利要求1所述的一种针对小样本的端到端面部腧穴定位方法，其特征在于，所述端到端面部腧穴定位模型包括图像特征编码模块、共享图像重建生成模块以及特征交叉传输模块；
所述图像特征编码模块包括编码器，所述编码器采用ResNet网络模型；
所述共享图像重建生成模块包括生成器以及隐性空间鉴别器，所述生成器采用逆ResNet网络模型，所述生成器包括多个逆残差模块；所述隐性空间鉴别器包括多个全连接层，且每个所述全连接层设有多个神经元；
所述特征交叉传输模块包括多个交叉传输层，所述交叉传输层包括卷积模块及通道和空间注意力机制模块；所述交叉传输层的数量与所述逆残差模块一致，且所述交叉传输层与所述共享图像重建生成模块的生成器中的逆残差模块交叉设置。
3.根据权利要求2所述的一种针对小样本的端到端面部腧穴定位方法，其特征在于，所述步骤S3包括：
S31：选取公开的人脸数据集作为图像重建任务的训练样本；
S32：设定训练参数，并通过重建人脸图像任务对所述端到端面部腧穴定位模型的所述图像特征编码模块以及所述共享图像重建生成模块进行预训练；
所述训练参数包括训练迭代次数、编码器输入图像尺寸、生成器输出图像尺寸、批次训练量以及学习速率。
4.根据权利要求3所述的一种针对小样本的端到端面部腧穴定位方法，其特征在于，所述步骤S32中人脸图像重建过程的损失函数表达式为：
Figure 115800DEST_PATH_IMAGE001
，
其中，
Figure 575600DEST_PATH_IMAGE002
为人脸图像重建过程中的损失函数，
Figure 225893DEST_PATH_IMAGE003
为编码器，
Figure 884801DEST_PATH_IMAGE004
为生成器，
Figure 304150DEST_PATH_IMAGE005
为真假图片鉴别器，
Figure 400763DEST_PATH_IMAGE006
为隐性空间鉴别器，
Figure 272773DEST_PATH_IMAGE007
为重构损失、为结构图像损失、
Figure 14333DEST_PATH_IMAGE008
为编码特征损失、
Figure 491451DEST_PATH_IMAGE009
为对抗特征损失，
Figure 561563DEST_PATH_IMAGE010
分别为
Figure 124131DEST_PATH_IMAGE007
、
Figure 669382DEST_PATH_IMAGE011
、
Figure 532165DEST_PATH_IMAGE008
、
Figure 157531DEST_PATH_IMAGE009
的权重。
5.根据权利要求2所述的一种针对小样本的端到端面部腧穴定位方法，其特征在于，所述步骤S4是通过所述面部腧穴智能定位任务数据集以及所述模型参数对所述端到端面部腧穴定位模型进行模型训练；所述模型训练的损失函数为：
Figure 738554DEST_PATH_IMAGE012
，
其中，
Figure 494020DEST_PATH_IMAGE013
为给定图像，
Figure 214239DEST_PATH_IMAGE014
为监督学习训练时的损失函数，
Figure 75754DEST_PATH_IMAGE015
是第一层逆ResNet层后经过激活函数处理的结果，
Figure 347335DEST_PATH_IMAGE016
为面部腧穴热图的真实值，为交叉传输层运算。
6.根据权利要求5所述的一种针对小样本的端到端面部腧穴定位方法，其特征在于，所述面部腧穴的位置表达式为：
Figure 520476DEST_PATH_IMAGE017
，
Figure 92271DEST_PATH_IMAGE018
为预测的面部腧穴热图，
Figure 609840DEST_PATH_IMAGE019
为第
Figure 634297DEST_PATH_IMAGE020
个面部腧穴的预测坐标，
Figure 593550DEST_PATH_IMAGE021
分别为所述预测的面部腧穴热图的横坐标和纵坐标。
7.根据权利要求5所述的一种针对小样本的端到端面部腧穴定位方法，其特征在于，所述步骤S3和所述步骤S4还包括数据扩充过程；
所述数据扩充过程包括但不限于对训练数据中的图片进行随机水平翻转、平移、旋转及剪裁。
8.根据权利要求1所述的一种针对小样本的端到端面部腧穴定位方法，其特征在于，所述步骤S1包括：
S11：采集真实人脸数据或从公开的人脸数据集中选取数据样本作为原始未标注数据；
S12：针对所述原始未标注数据进行预处理，输出预处理数据；所述预处理包括但不限于图像去噪、人脸检测与分割、光照归一化以及人脸姿态矫正；
S13：对所述预处理数据中的面部腧穴类别和坐标进行人工标注，并输出面部腧穴智能定位任务数据集；所述面部腧穴智能定位任务数据集包括训练集和测试集，所述训练集和所述测试集中的数据来源相互独立。
9.根据权利要求8所述的一种针对小样本的端到端面部腧穴定位方法，其特征在于，所述步骤S13中标注内容通过数据标注软件进行人工标注；所述标注内容包括腧穴类别和坐标；
其中，所述腧穴类别包括：鱼腰、印堂、下关、瞳子髎、太阳、素髎、丝竹空、四白、水沟、上迎香、迎香、颧髎、攒竹、睛明、承泣、口禾髎、巨髎、地仓、承浆、夹承浆、颊车、大迎、兑端、球后。
10.一种电子设备，其特征在于，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至9中任一项所述的方法。
CN202111329541.5A 2021-11-11 2021-11-11 一种针对小样本的端到端面部腧穴定位方法及电子设备 Active CN113780250B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111329541.5A CN113780250B (zh) 2021-11-11 2021-11-11 一种针对小样本的端到端面部腧穴定位方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111329541.5A CN113780250B (zh) 2021-11-11 2021-11-11 一种针对小样本的端到端面部腧穴定位方法及电子设备

Publications (2)

Publication Number Publication Date
CN113780250A true CN113780250A (zh) 2021-12-10
CN113780250B CN113780250B (zh) 2022-01-28

Family

ID=78873792

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111329541.5A Active CN113780250B (zh) 2021-11-11 2021-11-11 一种针对小样本的端到端面部腧穴定位方法及电子设备

Country Status (1)

Country Link
CN (1) CN113780250B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114615666A (zh) * 2022-03-11 2022-06-10 四川大学 一种自适应多变干扰域的通用射频指纹提取与识别方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107137225A (zh) * 2017-06-22 2017-09-08 山东中医药大学 个性化头面部穴位识别模型建立、定位的方法和系统
US20180001184A1 (en) * 2016-05-02 2018-01-04 Bao Tran Smart device
CN109431471A (zh) * 2018-12-25 2019-03-08 王曦廷 基于四诊合参的中医辅助诊疗交互方法及系统
CN110404166A (zh) * 2018-04-27 2019-11-05 郑明德 一种基于Android的Tensorflow人工智能多路电子针灸治疗仪
CN110458085A (zh) * 2019-08-06 2019-11-15 中国海洋大学 基于注意力增强三维时空表征学习的视频行为识别方法
CN110930374A (zh) * 2019-11-13 2020-03-27 北京邮电大学 一种基于双深度相机的腧穴定位方法
CN111375138A (zh) * 2018-12-27 2020-07-07 株式会社色彩七 诱导脑部血液循环增进的装置及方法
CN111444896A (zh) * 2020-05-09 2020-07-24 北京碧拓科技有限公司 一种远红外热成像人体经络关键点定位方法
CN111986316A (zh) * 2018-10-17 2020-11-24 美的集团股份有限公司 用于基于远程控制的触觉交互生成压力点图的系统和方法
CN112116597A (zh) * 2020-07-30 2020-12-22 北京明医堂互联网医疗科技有限公司 一种基于鍉圆针痧象数据挖掘的背腹穴位区域定位健康管理系统
CN112184705A (zh) * 2020-10-28 2021-01-05 成都智数医联科技有限公司 一种基于计算机视觉技术的人体穴位识别、定位及应用系统
CN113081796A (zh) * 2021-04-09 2021-07-09 南通市第一人民医院 一种针灸穴位智能定位的系统及方法
CN113160246A (zh) * 2021-04-14 2021-07-23 中国科学院光电技术研究所 一种基于深度监督的图像语义分割方法
CN113537057A (zh) * 2021-07-14 2021-10-22 山西中医药大学 一种基于改进CycleGAN的面部穴位自动定位检测系统及方法
CN113554669A (zh) * 2021-07-28 2021-10-26 哈尔滨理工大学 一种改进注意力模块的Unet网络脑肿瘤MRI图像分割方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180001184A1 (en) * 2016-05-02 2018-01-04 Bao Tran Smart device
CN107137225A (zh) * 2017-06-22 2017-09-08 山东中医药大学 个性化头面部穴位识别模型建立、定位的方法和系统
CN110404166A (zh) * 2018-04-27 2019-11-05 郑明德 一种基于Android的Tensorflow人工智能多路电子针灸治疗仪
CN111986316A (zh) * 2018-10-17 2020-11-24 美的集团股份有限公司 用于基于远程控制的触觉交互生成压力点图的系统和方法
CN109431471A (zh) * 2018-12-25 2019-03-08 王曦廷 基于四诊合参的中医辅助诊疗交互方法及系统
CN111375138A (zh) * 2018-12-27 2020-07-07 株式会社色彩七 诱导脑部血液循环增进的装置及方法
CN110458085A (zh) * 2019-08-06 2019-11-15 中国海洋大学 基于注意力增强三维时空表征学习的视频行为识别方法
CN110930374A (zh) * 2019-11-13 2020-03-27 北京邮电大学 一种基于双深度相机的腧穴定位方法
CN111444896A (zh) * 2020-05-09 2020-07-24 北京碧拓科技有限公司 一种远红外热成像人体经络关键点定位方法
CN112116597A (zh) * 2020-07-30 2020-12-22 北京明医堂互联网医疗科技有限公司 一种基于鍉圆针痧象数据挖掘的背腹穴位区域定位健康管理系统
CN112184705A (zh) * 2020-10-28 2021-01-05 成都智数医联科技有限公司 一种基于计算机视觉技术的人体穴位识别、定位及应用系统
CN113081796A (zh) * 2021-04-09 2021-07-09 南通市第一人民医院 一种针灸穴位智能定位的系统及方法
CN113160246A (zh) * 2021-04-14 2021-07-23 中国科学院光电技术研究所 一种基于深度监督的图像语义分割方法
CN113537057A (zh) * 2021-07-14 2021-10-22 山西中医药大学 一种基于改进CycleGAN的面部穴位自动定位检测系统及方法
CN113554669A (zh) * 2021-07-28 2021-10-26 哈尔滨理工大学 一种改进注意力模块的Unet网络脑肿瘤MRI图像分割方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
L. SUN 等: ""Acupoint Detection Based on Deep Convolutional Neural Network"", 《IEEE》 *
XI ZHONG等: ""Classification of Acupuncture Points Based on the Bert Model"", 《JOURNAL OF DATA ANALYSIS AND INFORMATION PROCESSING》 *
疏颖 等: ""结合自监督学习和生成对抗网络的小样本人脸属性识别"", 《中国图象图形学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114615666A (zh) * 2022-03-11 2022-06-10 四川大学 一种自适应多变干扰域的通用射频指纹提取与识别方法
CN114615666B (zh) * 2022-03-11 2023-06-13 四川大学 一种自适应多变干扰域的通用射频指纹提取与识别方法

Also Published As

Publication number Publication date
CN113780250B (zh) 2022-01-28

Similar Documents

Publication Publication Date Title
Ploumpis et al. Towards a complete 3D morphable model of the human head
CN108815721B (zh) 一种照射剂量确定方法及系统
Rao et al. A symmetric fully convolutional residual network with DCRF for accurate tooth segmentation
Tian et al. DCPR-GAN: dental crown prosthesis restoration using two-stage generative adversarial networks
CN106068514A (zh) 用于在不受约束的媒体中识别面孔的系统和方法
CN113781640A (zh) 基于弱监督学习的三维人脸重建模型建立方法及其应用
CN113393550B (zh) 一种姿态和纹理引导的时尚服装设计合成方法
CN109063643B (zh) 一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法
CN111028914A (zh) 人工智能引导的剂量预测方法与系统
CN113780250B (zh) 一种针对小样本的端到端面部腧穴定位方法及电子设备
CN111430025B (zh) 一种基于医疗影像数据扩增的疾病诊断模型训练方法
Zhao et al. An intelligent augmented reality training framework for neonatal endotracheal intubation
Yuan et al. Personalized design technique for the dental occlusal surface based on conditional generative adversarial networks
Qian et al. CephaNN: a multi-head attention network for cephalometric landmark detection
CN112070685A (zh) Hifu治疗系统的动态软组织运动预测的方法
CN117611753B (zh) 基于人工智能重建技术的面部整形修复辅助系统及方法
Qiu et al. SCULPTOR: Skeleton-consistent face creation using a learned parametric generator
Tian et al. Efficient tooth gingival margin line reconstruction via adversarial learning
CN111888665B (zh) 基于自适应对抗网络的三维剂量分布预测模型的构建方法
CN112201349A (zh) 一种基于人工智能的正畸手术方案生成系统
CN115526898A (zh) 一种医学影像分割方法
CN114612532A (zh) 一种三维牙齿配准方法、系统、计算机设备及存储介质
CN113779298A (zh) 一种基于复合损失的医学视觉问答方法
Chen et al. Facial Acupoints Location Using Transfer Learning on Deep Residual Network
Qiao et al. Fuzzy deep medical diagnostic system: gray relation framework and the guiding functionalities for the professional sports club social responsibility

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant