CN117636446A - 脸部穴位定位方法、针灸方法、针灸机器人及存储介质 - Google Patents
脸部穴位定位方法、针灸方法、针灸机器人及存储介质 Download PDFInfo
- Publication number
- CN117636446A CN117636446A CN202410106300.1A CN202410106300A CN117636446A CN 117636446 A CN117636446 A CN 117636446A CN 202410106300 A CN202410106300 A CN 202410106300A CN 117636446 A CN117636446 A CN 117636446A
- Authority
- CN
- China
- Prior art keywords
- layer
- face
- facial
- feature
- acupoint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000001467 acupuncture Methods 0.000 title claims abstract description 59
- 230000001815 facial effect Effects 0.000 claims abstract description 75
- 230000011218 segmentation Effects 0.000 claims abstract description 55
- 210000004709 eyebrow Anatomy 0.000 claims abstract description 18
- 108091006146 Channels Proteins 0.000 claims description 61
- 230000006870 function Effects 0.000 claims description 38
- 230000004913 activation Effects 0.000 claims description 32
- 238000011176 pooling Methods 0.000 claims description 31
- 238000010606 normalization Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 10
- 208000024891 symptom Diseases 0.000 claims description 8
- 238000012935 Averaging Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 210000001508 eye Anatomy 0.000 description 16
- 210000001331 nose Anatomy 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 238000012549 training Methods 0.000 description 11
- 210000000214 mouth Anatomy 0.000 description 10
- 238000002059 diagnostic imaging Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 241000251468 Actinopterygii Species 0.000 description 3
- 235000017166 Bambusa arundinacea Nutrition 0.000 description 3
- 235000017491 Bambusa tulda Nutrition 0.000 description 3
- 241001330002 Bambuseae Species 0.000 description 3
- 235000015334 Phyllostachys viridis Nutrition 0.000 description 3
- 239000011425 bamboo Substances 0.000 description 3
- SZGZILRQIYNODJ-UHFFFAOYSA-L disodium;7,12-dihydroquinoxalino[3,2-b]phenazine-2,9-disulfonate Chemical compound [Na+].[Na+].[O-]S(=O)(=O)C1=CC=C2N=C(C=C3C(NC4=CC=C(C=C4N3)S(=O)(=O)[O-])=C3)C3=NC2=C1 SZGZILRQIYNODJ-UHFFFAOYSA-L 0.000 description 3
- 239000003814 drug Substances 0.000 description 3
- 210000001061 forehead Anatomy 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000002911 mydriatic effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 210000000697 sensory organ Anatomy 0.000 description 2
- 208000010392 Bone Fractures Diseases 0.000 description 1
- 206010010071 Coma Diseases 0.000 description 1
- 208000004929 Facial Paralysis Diseases 0.000 description 1
- 208000030880 Nose disease Diseases 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 208000036826 VIIth nerve paralysis Diseases 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000000845 cartilage Anatomy 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 210000002429 large intestine Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000036548 skin texture Effects 0.000 description 1
- 210000001944 turbinate Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明提供了一种脸部穴位定位方法、针灸方法、针灸机器人及存储介质，脸部穴位定位方法包括：利用深度相机采集脸部的RGB图像和深度图像，并基于RGB图像和深度图像生成脸部三维点云数据；将脸部三维点云数据输入至训练完备的脸部分割模型中，获得多个脸部特征区域，多个脸部特征区域包括眉毛区域、眼睛区域、鼻子区域和嘴巴区域；获取多个脸部特征区域与关键穴位点的关联关系，并基于关联关系和多个脸部特征区域确定脸部穴位的位置。本发明提高了脸部穴位的定位效率和实时性。
Description
技术领域
本发明穴位识别技术领域，具体涉及一种脸部穴位定位方法、针灸方法、针灸机器人及存储介质。
背景技术
脸部的穴位有很多，包括太阳穴、阳白穴、攒竹穴、丝竹空穴、承泣穴、四白穴、地仓穴、颊车穴、下关穴、印堂穴、水沟穴、口禾髎穴、晴朗穴、素髎穴等。脸部穴位在保健和医疗上有很多应用，不同穴位用处各不相同。常用的印堂穴和水沟穴（人中穴），当人昏迷或意识不清时可以掐水沟穴。按揉眼部周围的穴位，比如丝竹空、晴朗、攒竹、承泣、四白等，可以保护眼睛，平时我们做的眼保健操就是按揉这些穴位。阳白、鱼腰、地仓、颊车等穴在临床上可以治疗面瘫。鼻翼两旁的迎香穴，是大肠经的腧穴，常用于治疗鼻部的疾病。
目前脸部穴位定位方法主要有传统的穴位定位方法、现代技术穴位定位方法，传统的穴位定位方法主要由中医师傅积攒多年传承的经验和技巧，人工分析脸部特征，如皮肤纹理、斑点和脸部结构来确定穴位。耗费大量时间和精力，缺乏自动化，且个人主观性较强，各门派对穴位定位结果存在偏差，且对中医师傅经验要求高。现代技术穴位定位方法主要通过影像学和扫描技术，如使用X光、MRI、CT扫描等现代医学影像学技术来观察和确定穴位位置。但是不便捷、设备昂贵，检测成本大，不能实时检测，并且影像设备存在辐射暴露情况。
因此，亟需提供一种脸部穴位定位方法、针灸方法、针灸机器人及存储介质，解决上述技术问题。
发明内容
有鉴于此，有必要提供一种脸部穴位定位方法、针灸方法、针灸机器人及存储介质，用以解决现有技术中存在的穴位定位效率慢、定位准确性和实时性较差的技术问题。
一方面，本发明提供了一种脸部穴位定位方法，包括：
利用深度相机采集脸部的RGB图像和深度图像，并基于所述RGB图像和所述深度图像生成脸部三维点云数据；
将所述脸部三维点云数据输入至训练完备的脸部分割模型中，获得多个脸部特征区域，所述多个脸部特征区域包括眉毛区域、眼睛区域、鼻子区域和嘴巴区域；
获取所述多个脸部特征区域与关键穴位点的关联关系，并基于所述关联关系和所述多个脸部特征区域确定脸部穴位的位置。
在一些可能的实现方式中，所述深度相机包括RGB摄像头和深度传感器；所述利用深度相机采集脸部的RGB图像和深度图像，并基于所述RGB图像和所述深度图像生成脸部三维点云数据，包括：
基于所述RGB摄像头采集所述RGB图像；
基于所述深度传感器采集所述深度图像；
获取所述RGB摄像头的第一相机参数以及所述深度传感器的第二相机参数；
基于所述第一相机参数和所述第二相机参数将所述RGB图像和所述深度图像进行融合，获得所述脸部三维点云数据。
在一些可能的实现方式中，所述脸部分割模型包括特征提取模块、通道注意力模块、空间注意力模块以及分割模块；所述将所述脸部三维点云数据输入至训练完备的脸部分割模型中，获得多个脸部特征区域，包括：
将所述脸部三维点云数据输入至所述特征提取模块中，获得脸部特征；
将所述脸部特征输入至所述通道注意力模块中，获得通道特征；
将所述通道特征输入至所述空间注意力模块中，获得空间-通道特征；
将所述空间-通道特征输入至所述分割模块中，获得所述多个脸部特征区域。
在一些可能的实现方式中，所述特征提取模块包括依次连接的多个共享权重的第一多层感知机、第二多层感知机、第三多层感知机、第四多层感知机、第五多层感知机、最大池化层以及特征拼接层；
所述第一多层感知机、第二多层感知机、第三多层感知机、第四多层感知机、第五多层感知机均包括卷积层、批量归一化层和激活函数层；
所述第一多层感知机用于提取所述脸部三维点云第一尺度的特征，获得第一尺度特征；
所述第二多层感知机用于提取所述脸部三维点云第二尺度的特征，获得第二尺度特征；
所述第三多层感知机用于提取所述脸部三维点云第三尺度的特征，获得第三尺度特征；
所述第四多层感知机用于提取所述脸部三维点云第四尺度的特征，获得第四尺度特征；
所述第五多层感知机用于提取所述脸部三维点云第五尺度的特征，获得第五尺度特征；
所述最大池化层用于对所述第五尺度特征进行最大池化，获得全局特征；
所述特征拼接层用于将所述第一尺度特征、第二尺度特征、第三尺度特征、第四尺度特征、第五尺度特征以及全局特征进行拼接，获得所述脸部特征。
在一些可能的实现方式中，所述分割模块包括第一分割单元、第二分割单元、第三分割单元以及第四分割单元；
所述第一分割单元和所述第二分割单元均包括卷积层、批量归一化层、激活函数层和丢弃层；
所述第三分割单元包括卷积层、批量归一化层和激活函数层；
所述第四分割单元包括卷积层和批量归一化层。
在一些可能的实现方式中，所述通道注意力模块包括并行的通道最大池化层、通道平均池化层以及依次连接在所述通道最大池化层和所述通道平均池化层之后的通道多层感知机、第一通道激活函数层、通道特征加权层以及第二通道激活函数层。
在一些可能的实现方式中，所述空间注意力模块包括并行的空间最大池化层、空间平均池化层以及依次连接在所述空间最大池化层和所述空间平均池化层之后的空间特征拼接层、空间卷积层、空间激活函数层以及空间特征加权层。
另一方面，本发明还提供了一种针灸方法，包括：
基于脸部穴位定位方法确定待针灸人员的脸部穴位；
获取所述待针灸人员的症状，并基于所述症状从所述脸部穴位中确定目标穴位；
获取灸针的初始位置，并基于所述初始位置、所述目标穴位以及预设的路径规划算法确定规划路径；
控制所述灸针沿所述规划路径达到所述脸部穴位；
其中，所述脸部穴位定位方法为上述任意一种可能的实现方式中所述的脸部穴位定位方法。
另一方面，本发明还提供了一种针灸机器人，包括存储器和处理器，其中，
所述存储器，用于存储程序；
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以实现上述任意一种可能的实现方式中所述的脸部穴位定位方法和/或针灸方法中的步骤。
另一方面，本发明还提供了一种计算机可读存储介质，所述可读存储介质上存储有程序或指令，所述程序或指令被处理器执行时以实现上述任意一种可能的实现方式中所述的脸部穴位定位方法和/或针灸方法中的步骤。
采用上述实施例的有益效果是：本发明提供的脸部穴位定位方法，通过深度相机采集脸部的RGB图像和深度图像，并基于RGB图像和深度图像生成脸部三维点云数据，然后将脸部三维点云数据输入至训练完备的脸部分割模型中，获得多个脸部特征区域，接着通过获取到的多个脸部特征区域与关键穴位点的关联关系即可确定脸部穴位的位置，实现脸部穴位的定位。本发明不依赖中医师傅的经验和技巧，消除了人为因素和待针灸人员个体化差异的影响，提高了脸部穴位定位效率和定位准确性。且相比于通过医学影像设备实现穴位定位的方式，深度相机设备成本低，拍摄时间短，实时反馈性能强，更为轻巧便捷，从而可进一步提高脸部穴位的定位效率和实时性。
进一步地，基于脸部三维点云数据确定脸部穴位的位置，相比于医学影像手段，能够提供更多的细节和深度信息，脸部结构描述更加真实准确，从而可进一步提高脸部穴位的定位准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的脸部穴位定位方法的一个实施例流程示意图；
图2为本发明提供的脸部穴位的一个实施例示意图；
图3为本发明提供的脸部穴位的拓扑关系的一个实施例示意图；
图4为本发明图1中S101的一个实施例流程示意图；
图5为本发明提供的脸部分割模型的一个实施例结构示意图；
图6为本发明图1中S102的一个实施例流程示意图；
图7为本发明提供的特征提取模块的一个实施例结构示意图；
图8为本发明提供的分割模块的一个实施例结构示意图；
图9为本发明提供的通道注意力模块的一个实施例结构示意图；
图10为本发明提供的空间注意力模块的一个实施例结构示意图；
图11为本发明提供的针灸方法的一个实施例流程示意图；
图12为本发明提供的针灸机器人的一个实施例结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，示意性的附图并未按实物比例绘制。本发明中使用的流程图示出了根据本发明的一些实施例实现的操作。应当理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本发明内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器系统和/或微控制器系统中实现这些功能实体。
本发明实施例中所涉及的“第一”“第二”等描述仅用于描述目的，而不能理解为指示或者暗示其相对重要性或者隐含指明所指示的技术特征的数量。因此，限定有“第一”“第二”的技术特征可以明示或者隐含地包括至少一个该特征。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其他实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其他实施例相结合。
本发明提供了一种脸部穴位定位方法、针灸方法、针灸机器人及存储介质，以下分别进行说明。
图1为本发明实施例提出的脸部穴位定位方法的一个实施例流程示意图，如图1所示，脸部穴位定位方法包括：
S101、利用深度相机采集脸部的RGB图像和深度图像，并基于RGB图像和深度图像生成脸部三维点云数据；
S102、将脸部三维点云数据输入至训练完备的脸部分割模型中，获得多个脸部特征区域，多个脸部特征区域包括眉毛区域、眼睛区域、鼻子区域和嘴巴区域；
S103、获取多个脸部特征区域与关键穴位点的关联关系，并基于关联关系和多个脸部特征区域确定脸部穴位的位置。
与现有技术相比，本发明实施例提供的脸部穴位定位方法，通过深度相机采集脸部的RGB图像和深度图像，并基于RGB图像和深度图像生成脸部三维点云数据，然后将脸部三维点云数据输入至训练完备的脸部分割模型中，获得多个关联穴位的脸部特征，接着通过获取到的多个脸部特征区域与关键穴位点的关联关系即可确定脸部穴位的位置，实现脸部穴位的定位。本发明实施例不依赖中医师傅的经验和技巧，消除了人为因素和待针灸人员个体化差异的影响，提高了脸部穴位定位效率和定位准确性。且相比于通过医学影像设备实现穴位定位的方式，深度相机设备成本低，拍摄时间短，实时反馈性能强，更为轻巧便捷，从而可进一步提高脸部穴位的定位效率和实时性。
进一步地，基于脸部三维点云数据确定脸部穴位的位置，相比于医学影像手段，能够提供更多的细节和深度信息，脸部结构描述更加真实准确，从而可进一步提高脸部穴位的定位准确性。
在本发明的具体实施例中，深度相机为Kinect深度相机。
Kinect深度相机使用具备卓越像素技术的1兆像素ToF成像芯片，以实现更高的调制频率和深度测量精度，且利用多相位深度计算方法，实现高准确度深度测量，从而可进一步确保脸部穴位的定位准确性。
需要说明的是：步骤S102中的脸部分割模型在使用前需要进行训练，其训练过程可为：基于步骤S101获得多个脸部三维点云数据，并基于人工标注的方式为各脸部三维点云数据的脸部特征区域进行标注，生成训练集，基于训练集对初始脸部分割模型进行训练，当训练满足要求时，获得脸部分割模型。
在本发明的具体实施例中，步骤S103中的关联关系可依据《GB/T 22163-2008 腧穴定位图》中头颈部经穴（正面）和国家标准《GB/T 12346—2021 经穴名称与定位》所描述脸部穴位点与五官特征区域进行建立。如图2所示，印堂穴在两眉毛内侧端中间凹陷的关键点处，素髎穴在鼻尖正中央的关键点处，水沟穴在人中沟的上1/3与中1/3交点的关键点处，兑端穴在上唇结节中点的关键点处，承浆穴在颏唇沟的正中凹陷的关键点处。眉毛区域上边有阳白穴,中间有鱼腰穴，左右两边分别对应丝竹空穴和攒竹穴。阳白穴在眉上1寸，瞳孔直上的关键点处，鱼腰穴在瞳孔直上眉毛中的关键点处，丝竹空穴在最左边眉梢凹陷的关键点处，攒竹穴在最右边眉头凹陷中，额切迹的关键点处。围绕眼睛区域左边、右边和下边分别对应瞳子髎穴、睛明穴、承泣穴、球后穴和四白穴。瞳子髎穴在目外眦外侧0.5寸凹陷中的关键点处，睛明穴在目内眦角稍上方凹陷的关键点处，承泣穴在眼球与眶下缘之间，瞳孔直下的关键点处，球后穴在眶下外缘1/4与内3/4交界的关键点处，四白穴在瞳孔直下，当眶下孔的关键点处。围绕鼻子区域左右两边有迎香穴和巨髎穴，左上方和右上方有上迎香穴，下边有口禾髎穴、水沟穴以及鼻子正中央的素髎穴。迎香穴在鼻翼外缘中点旁，鼻唇沟中的关键点处，巨髎穴在横平鼻翼下缘，瞳孔直下的关键点处，上迎香穴在鼻翼软骨与鼻甲交界的关键点处，口禾髎穴在横平人中沟1/3与下2/3交点，鼻孔外缘直下的关键点处，水沟穴在人中沟的上1/3与中1/3交点的关键点处，素髎穴在鼻尖正中央的关键点处。嘴巴区域上边有兑端穴，下边有承浆穴，左右两边有地仓穴。兑端穴在上唇结节中点的关键点处，承浆穴在颏唇沟的正中凹陷的关键点处，地仓穴在口角旁开0.4寸的关键点处。
并且如图3所示，以上穴位点之间存在拓扑关系、拟合直线。如印堂穴、素髎穴、水沟穴、兑端穴、承浆穴在脸部中轴线上，阳白穴、鱼腰穴、承泣穴、四白穴、巨髎穴、地仓穴在左右两侧脸的同一条竖线上，在同一条横线上的还有攒竹穴和印堂穴，口禾髎穴和水沟穴，上迎香穴、迎香穴和巨髎穴。鼻子区域关联穴位点与等腰三角形存在一定关系。为了确保确定出的关联关系的准确性，在本发明的一些实施例中，将左右眼睛区域的瞳子髎穴、球后穴和四白穴拟合一条直线，瞳子髎穴和睛明穴拟合另外一条直线，使用最小二乘法对n个穴位点进行拟合，建立方差误差求导得参数，最小化每个穴位点到直线的垂直误差。根据人体的解剖结构，脸部左右两侧穴位是相对称的，这也包括脸部五官区域，眉毛、眼睛、鼻子、嘴巴都是沿脸部中轴线对称。上述提到的寸数可根据“骨度”折量定位法来取。如眉间（印堂穴处）到前发际正中为3寸用于确定穴位的纵向距离，两额角发际（头维）之间为9寸用于确定穴位的横向距离。两骨节点之间的长度折量为一定的等份，每1等份为1寸，10等份为1尺作为定穴的依据。
应当理解的是：人体的脸部包括47个穴位点，穴位点数量较多，而并非所有的穴位点都会用到，因此，步骤S103中的关键穴位点为常用的穴位点。
具体地，关键穴位点可根据实际应用场景或经验进行设定或调整，在此不做具体限定。
在本发明的一些实施例中，深度相机包括RGB摄像头和深度传感器；则如图4所示，步骤S101包括：
S401、基于RGB摄像头采集RGB图像，基于深度传感器采集深度图像；
S402、获取RGB摄像头的第一相机参数以及深度传感器的第二相机参数；
S403、基于第一相机参数和第二相机参数将RGB图像和深度图像进行融合，获得脸部三维点云数据。
其中，第一相机参数和第二相机参数均包括分辨率、帧速率、视场角、校准信息等。
需要说明的是：为避免脸部三维点云数据中存在的噪声对定位结果造成影响，在本发明的一些实施例中，在步骤S403之后，还需要对脸部三维点云数据进行预处理。
具体地：去除脸部三维点云数据中除脸部外的多余区域，例如：不规则头发和身体等，并去除脸部三维点云数据中的脸部边缘孤立点。
在本发明的一些实施例中，如图5所示，脸部分割模型包括特征提取模块、通道注意力模块、空间注意力模块以及分割模块；则如图6所示，步骤S102包括：
S601、将脸部三维点云数据输入至特征提取模块中，获得脸部特征；
S602、将脸部特征输入至通道注意力模块中，获得通道特征；
S603、将通道特征输入至空间注意力模块中，获得空间-通道特征；
S604、将空间-通道特征输入至分割模块中，获得多个脸部特征区域。
本发明实施例引入了通道注意力机制和空间注意力机制，注意力机制可以帮助脸部分割模型同时关注局部特征和全局特征。针对脸部分割模型处理人脸部分与整个脸部之间的关系很重要。提升脸部分割模型确定眉毛、眼睛、鼻子和嘴巴在整个脸部的位置精确度，并更好地分割这些区域。同时注意力机制将点云中的每个点之间建立关联，有效处理脸部各个部分之间存在复杂的关系，如眉毛在眼睛上方，眼睛在鼻子上方，嘴巴在鼻子下方，眼睛是椭圆形状，鼻子为三角形状等。注意力机制可以帮助模型捕获这些全局关联信息，提高分割准确性。并且使脸部分割模型更具有鲁棒性，使其能够适应不同人脸形状和姿势的变化。
在本发明的一些实施例中，如图7所示，特征提取模块包括依次连接的多个共享权重的第一多层感知机、第二多层感知机、第三多层感知机、第四多层感知机、第五多层感知机、最大池化层以及特征拼接层；
第一多层感知机、第二多层感知机、第三多层感知机、第四多层感知机、第五多层感知机均包括卷积层、批量归一化（Batch Normalization，BN）层和激活函数层；
第一多层感知机用于提取脸部三维点云第一尺度的特征，获得第一尺度特征；
第二多层感知机用于提取脸部三维点云第二尺度的特征，获得第二尺度特征；
第三多层感知机用于提取脸部三维点云第三尺度的特征，获得第三尺度特征；
第四多层感知机用于提取脸部三维点云第四尺度的特征，获得第四尺度特征；
第五多层感知机用于提取脸部三维点云第五尺度的特征，获得第五尺度特征；
最大池化层用于对第五尺度特征进行最大池化，获得全局特征；
特征拼接层用于将第一尺度特征、第二尺度特征、第三尺度特征、第四尺度特征、第五尺度特征以及全局特征进行拼接，获得脸部特征。
在本发明的具体实施例中，第一多层感知机、第二多层感知机、第三多层感知机、第四多层感知机、第五多层感知机得到的尺度特征的大小依次为64、128、256、512、1024和2048。
本发明实施例通过设置提取不同尺度的多个多层感知机，可提取脸部三维点云不同尺度的特征，进而可提高对脸部穴位的识别精度。
需要说明的是：为了提高脸部分割模型的性能，特征拼接层还会将训练集中的目标类别总数和第一尺度特征、第二尺度特征、第三尺度特征、第四尺度特征、第五尺度特征、全局特征进行拼接。
其中，训练集中的目标类别可包括左眉、右眉、左眼、右眼、鼻子和嘴巴这六个类别，则目标类别总数为6。
其中，各多层感知机的激活函数层的激活函数为Relu函数。
在本发明的一些实施例中，如图8所示，分割模块包括依次连接的第一分割单元、第二分割单元、第三分割单元以及第四分割单元；
第一分割单元和第二分割单元均包括卷积层、批量归一化层、激活函数层和丢弃（Dropout）层；
第三分割单元包括卷积层、批量归一化层和激活函数层；
第四分割单元包括卷积层和批量归一化层。
本发明实施例通过设置第一分割单元和第二分割单元包括丢弃层，可有效防止脸部分割模型过拟合，进一步提高脸部分割模型的模型精度，从而提高脸部穴位定位方法的准确性。
其中，第一分割单元、第二分割单元、第三分割单元以及第四分割单元的激活函数层的激活函数为Relu函数。
在本发明的一些实施例中，如图9所示，通道注意力模块包括通道最大池化层、通道平均池化层、通道多层感知机、第一通道激活函数层、通道特征加权层以及第二通道激活函数层。
其中，通道注意力模块的目的是在不改变通道数量的情况下，减少空间维度，以便在人脸五官识别中更好地聚焦重要信息。比如在分割人脸五官任务中，关注面部的重要特征，如眉毛、眼睛、鼻子和嘴巴。
具体地，首先将输入的特征图通过两个并行的通道最大池化层和通道平均池化层进行处理，将脸部特征的高度和宽度变为C×1×1的形状，C为通道数，以捕获通道方向上的全局信息。然后将C×1×1的特征图经过通道多层感知机处理，通道数被压缩到原通道数的1/L倍，然后再恢复到原通道数，并经过第一通道激活函数层，产生两个激活后的特征图。接下来，基于通道特征加权层将这两个特征图的对应元素逐个相加，然后通过第二通道激活函数层，获得通道注意力的输出结果。最后，将通道注意力的输出结果与原始特征图相乘，使其恢复到原来的C×H×W的大小，以突出人脸五官的关键特征，即：获得通道特征。
其中，第一通道激活函数层的激活函数为Relu函数，第二通道激活函数层的激活函数为sigmoid函数。
在本发明的一些实施例中，如图10所示，空间注意力模块包括空间最大池化层、空间平均池化层、空间特征拼接层、空间卷积层、空间激活函数层以及空间特征加权层。
其中，空间注意力模块的目的是在保持空间维度不变的情况下，减少通道维度，比如在分割人脸五官任务中更好地关注目标的位置信息。
具体地：首先，将通道注意力模块的输出结果，即：通道特征，经过并行的空间最大池化层和空间平均池化层，得到两个大小为1×H×W的特征图，其中H和W表示高度和宽度。然后，基于空间特征拼接层将这两个特征图进行拼接，然后再基于空间卷积层进行7×7的卷积操作，将它们转换为一个通道的特征图，随之利用空间激活函数层对前一步得到的特征图进行激活操作，得到空间注意力的特征图。最后，将特征图与原始特征图相乘，以使其恢复到原来的C×H×W大小，从而突出了目标的位置信息，即：得到空间-通道特征。
其中，空间激活函数层的激活函数为sigmoid函数。
本发明实施例还提供了一种针灸方法，如图11所示，针灸方法包括：
S1101、基于脸部穴位定位方法确定待针灸人员的脸部穴位；
S1102、获取待针灸人员的症状，并基于症状从脸部穴位中确定目标穴位；
S1103、获取灸针的初始位置，并基于初始位置、目标穴位以及预设的路径规划算法确定规划路径；
S1104、控制灸针沿规划路径达到脸部穴位；
其中，脸部穴位定位方法为上述任意一个实施例中的脸部穴位定位方法。
本发明实施例通过设置基于初始位置、目标穴位以及预设的路径规划算法确定规划路径，并控制灸针沿规划路径达到脸部穴位，可提高针灸的精确性。
如图12所示，本发明还相应提供了一种针灸机器人1200。该针灸机器人1200包括处理器1201、存储器1202及显示器1203。图12仅示出了针灸机器人1200的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代地实施更多或者更少的组件。
存储器1202在一些实施例中可以是针灸机器人1200的内部存储单元，例如针灸机器人1200的硬盘或内存。存储器1202在另一些实施例中也可以是针灸机器人1200的外部存储设备，例如针灸机器人1200上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。
进一步地，存储器1202还可既包括针灸机器人1200的内部储存单元也包括外部存储设备。存储器1202用于存储安装针灸机器人1200的应用软件及各类数据。
处理器1201在一些实施例中可以是中央处理器（Central Processing Unit，CPU），微处理器或其他数据处理芯片，用于运行存储器1202中存储的程序代码或处理数据，例如本发明中的脸部穴位定位方法和/或针灸方法。
显示器1203在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。显示器1203用于显示针灸机器人1200的信息以及用于显示可视化的用户界面。针灸机器人1200的部件1201-1203通过系统总线相互通信。
在本发明的一些实施例中，当处理器1201执行存储器1202中的脸部穴位定位程序时，可实现以下步骤：
利用深度相机采集脸部的RGB图像和深度图像，并基于RGB图像和深度图像生成脸部三维点云数据；
将脸部三维点云数据输入至训练完备的脸部分割模型中，获得多个脸部特征区域，多个脸部特征区域包括眉毛区域、眼睛区域、鼻子区域和嘴巴区域；
获取多个脸部特征区域与关键穴位点的关联关系，并基于关联关系和多个脸部特征区域确定脸部穴位的位置。
在本发明的一些实施例中，当处理器1201执行存储器1202中的针灸程序时，可实现以下步骤：
基于脸部穴位定位方法确定待针灸人员的脸部穴位；
获取待针灸人员的症状，并基于症状从脸部穴位中确定目标穴位；
获取灸针的初始位置，并基于初始位置、目标穴位以及预设的路径规划算法确定规划路径；
控制灸针沿规划路径达到脸部穴位。
应当理解的是：处理器1201在执行存储器1202中的脸部穴位定位程序和/或针灸程序时，除了上面的功能之外，还可实现其他功能，具体可参见前面相关方法实施例的描述。
进一步地，针灸机器人1200还可包括机械臂，机械臂的前端连接有灸针，通过控制机械臂即可实现控制灸针移动的目的。
相应地，本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质用于存储计算机可读取的程序或指令，程序或指令被处理器执行时，能够实现上述各方法实施例提供的脸部穴位定位方法和/或针灸方法步骤或功能。
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件（如处理器，控制器等）来完成，计算机程序可存储于计算机可读存储介质中。其中，计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上对本发明所提供的脸部穴位定位方法、针灸方法、针灸机器人及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种脸部穴位定位方法，其特征在于，包括：
利用深度相机采集脸部的RGB图像和深度图像，并基于所述RGB图像和所述深度图像生成脸部三维点云数据；
将所述脸部三维点云数据输入至训练完备的脸部分割模型中，获得多个脸部特征区域，所述多个脸部特征区域包括眉毛区域、眼睛区域、鼻子区域和嘴巴区域；
获取所述多个脸部特征区域与关键穴位点的关联关系，并基于所述关联关系和所述多个脸部特征区域确定脸部穴位的位置；
所述脸部分割模型包括特征提取模块、通道注意力模块、空间注意力模块以及分割模块；
所述特征提取模块包括依次连接的多个共享权重的第一多层感知机、第二多层感知机、第三多层感知机、第四多层感知机、第五多层感知机、最大池化层以及特征拼接层。
2.根据权利要求1所述的脸部穴位定位方法，其特征在于，所述深度相机包括RGB摄像头和深度传感器；所述利用深度相机采集脸部的RGB图像和深度图像，并基于所述RGB图像和所述深度图像生成脸部三维点云数据，包括：
基于所述RGB摄像头采集所述RGB图像；
基于所述深度传感器采集所述深度图像；
获取所述RGB摄像头的第一相机参数以及所述深度传感器的第二相机参数；
基于所述第一相机参数和所述第二相机参数将所述RGB图像和所述深度图像进行融合，获得所述脸部三维点云数据。
3.根据权利要求1所述的脸部穴位定位方法，其特征在于，所述将所述脸部三维点云数据输入至训练完备的脸部分割模型中，获得多个脸部特征区域，包括：
将所述脸部三维点云数据输入至所述特征提取模块中，获得脸部特征；
将所述脸部特征输入至所述通道注意力模块中，获得通道特征；
将所述通道特征输入至所述空间注意力模块中，获得空间-通道特征；
将所述空间-通道特征输入至所述分割模块中，获得所述多个脸部特征区域。
4.根据权利要求3所述的脸部穴位定位方法，其特征在于，所述第一多层感知机、第二多层感知机、第三多层感知机、第四多层感知机、第五多层感知机均包括卷积层、批量归一化层和激活函数层；
所述第一多层感知机用于提取所述脸部三维点云第一尺度的特征，获得第一尺度特征；
所述第二多层感知机用于提取所述脸部三维点云第二尺度的特征，获得第二尺度特征；
所述第三多层感知机用于提取所述脸部三维点云第三尺度的特征，获得第三尺度特征；
所述第四多层感知机用于提取所述脸部三维点云第四尺度的特征，获得第四尺度特征；
所述第五多层感知机用于提取所述脸部三维点云第五尺度的特征，获得第五尺度特征；
所述最大池化层用于对所述第五尺度特征进行最大池化，获得全局特征；
所述特征拼接层用于将所述第一尺度特征、第二尺度特征、第三尺度特征、第四尺度特征、第五尺度特征以及全局特征进行拼接，获得所述脸部特征。
5.根据权利要求3所述的脸部穴位定位方法，其特征在于，所述分割模块包括依次连接的第一分割单元、第二分割单元、第三分割单元以及第四分割单元；
所述第一分割单元和所述第二分割单元均包括卷积层、批量归一化层、激活函数层和丢弃层；
所述第三分割单元包括卷积层、批量归一化层和激活函数层；
所述第四分割单元包括卷积层和批量归一化层。
6.根据权利要求3所述的脸部穴位定位方法，其特征在于，所述通道注意力模块包括并行的通道最大池化层、通道平均池化层以及依次连接在所述通道最大池化层和所述通道平均池化层之后的通道多层感知机、第一通道激活函数层、通道特征加权层以及第二通道激活函数层。
7.根据权利要求3所述的脸部穴位定位方法，其特征在于，所述空间注意力模块包括并行的空间最大池化层、空间平均池化层以及依次连接在所述空间最大池化层和所述空间平均池化层之后的空间特征拼接层、空间卷积层、空间激活函数层以及空间特征加权层。
8.一种针灸方法，其特征在于，包括：
基于脸部穴位定位方法确定待针灸人员的脸部穴位；
获取所述待针灸人员的症状，并基于所述症状从所述脸部穴位中确定目标穴位；
获取灸针的初始位置，并基于所述初始位置、所述目标穴位以及预设的路径规划算法确定规划路径；
控制所述灸针沿所述规划路径达到所述脸部穴位；
其中，所述脸部穴位定位方法为权利要求1至7中任意一项所述的脸部穴位定位方法。
9.一种针灸机器人，其特征在于，包括存储器和处理器，其中，
所述存储器，用于存储程序；
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以实现上述权利要求1至7中任意一项所述的脸部穴位定位方法中的步骤，和/或，上述权利要求8所述的针灸方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述可读存储介质上存储有程序或指令，所述程序或指令被处理器执行时实现1至7中任意一项所述的脸部穴位定位方法中的步骤，和/或，上述权利要求8所述的针灸方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410106300.1A CN117636446B (zh) | 2024-01-25 | 2024-01-25 | 脸部穴位定位方法、针灸方法、针灸机器人及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410106300.1A CN117636446B (zh) | 2024-01-25 | 2024-01-25 | 脸部穴位定位方法、针灸方法、针灸机器人及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117636446A true CN117636446A (zh) | 2024-03-01 |
| CN117636446B CN117636446B (zh) | 2024-05-07 |
Family
ID=90035849
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410106300.1A Active CN117636446B (zh) | 2024-01-25 | 2024-01-25 | 脸部穴位定位方法、针灸方法、针灸机器人及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117636446B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050154317A1 (en) * | 2004-01-12 | 2005-07-14 | Shin Sang-Hoon | Apparatus and method for detecting an acupoint or other site of interest |
| CN107137225A (zh) * | 2017-06-22 | 2017-09-08 | 山东中医药大学 | 个性化头面部穴位识别模型建立、定位的方法和系统 |
| CN110464633A (zh) * | 2019-06-17 | 2019-11-19 | 深圳壹账通智能科技有限公司 | 穴位识别方法、装置、设备及存储介质 |
| US20200126297A1 (en) * | 2018-10-17 | 2020-04-23 | Midea Group Co., Ltd. | System and method for generating acupuncture points on reconstructed 3d human body model for physical therapy |
| US20200405148A1 (en) * | 2019-06-27 | 2020-12-31 | Bao Tran | Medical analysis system |
| CN113537057A (zh) * | 2021-07-14 | 2021-10-22 | 山西中医药大学 | 一种基于改进CycleGAN的面部穴位自动定位检测系统及方法 |
| CN114511508A (zh) * | 2022-01-11 | 2022-05-17 | 浙江工业大学 | 融合卷积与多层感知机神经网络的结直肠息肉分割方法 |
| CN115227569A (zh) * | 2022-06-23 | 2022-10-25 | 齐齐哈尔市祥和中医器械有限责任公司 | 基于现实虚拟的人体穴位识别方法和系统 |
| CN115457598A (zh) * | 2022-09-15 | 2022-12-09 | 北京思灵机器人科技有限责任公司 | 一种穴位识别方法及穴位识别网络 |
| CN115512411A (zh) * | 2022-09-23 | 2022-12-23 | 杏暖健康科技(上海)有限公司 | 一种基于人工智能的面部穴位识别定位系统及方法 |
| US20230080031A1 (en) * | 2020-01-16 | 2023-03-16 | Huawei Technologies Co., Ltd. | Face Recognition Method and Face Recognition Apparatus |
| US20230206603A1 (en) * | 2022-09-19 | 2023-06-29 | Nanjing University Of Posts And Telecommunications | High-precision point cloud completion method based on deep learning and device thereof |
| CN116740026A (zh) * | 2023-06-15 | 2023-09-12 | 湖南大学 | 一种基于全身关键点识别和实例分割的腧穴定位方法 |
| KR20230141175A (ko) * | 2022-03-31 | 2023-10-10 | 부경대학교 산학협력단 | 기계학습 기반의 경혈 위치 인식 시스템 및 그 방법 |
-
2024
- 2024-01-25 CN CN202410106300.1A patent/CN117636446B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050154317A1 (en) * | 2004-01-12 | 2005-07-14 | Shin Sang-Hoon | Apparatus and method for detecting an acupoint or other site of interest |
| CN107137225A (zh) * | 2017-06-22 | 2017-09-08 | 山东中医药大学 | 个性化头面部穴位识别模型建立、定位的方法和系统 |
| US20200126297A1 (en) * | 2018-10-17 | 2020-04-23 | Midea Group Co., Ltd. | System and method for generating acupuncture points on reconstructed 3d human body model for physical therapy |
| CN110464633A (zh) * | 2019-06-17 | 2019-11-19 | 深圳壹账通智能科技有限公司 | 穴位识别方法、装置、设备及存储介质 |
| US20200405148A1 (en) * | 2019-06-27 | 2020-12-31 | Bao Tran | Medical analysis system |
| US20230080031A1 (en) * | 2020-01-16 | 2023-03-16 | Huawei Technologies Co., Ltd. | Face Recognition Method and Face Recognition Apparatus |
| CN113537057A (zh) * | 2021-07-14 | 2021-10-22 | 山西中医药大学 | 一种基于改进CycleGAN的面部穴位自动定位检测系统及方法 |
| CN114511508A (zh) * | 2022-01-11 | 2022-05-17 | 浙江工业大学 | 融合卷积与多层感知机神经网络的结直肠息肉分割方法 |
| KR20230141175A (ko) * | 2022-03-31 | 2023-10-10 | 부경대학교 산학협력단 | 기계학습 기반의 경혈 위치 인식 시스템 및 그 방법 |
| CN115227569A (zh) * | 2022-06-23 | 2022-10-25 | 齐齐哈尔市祥和中医器械有限责任公司 | 基于现实虚拟的人体穴位识别方法和系统 |
| CN115457598A (zh) * | 2022-09-15 | 2022-12-09 | 北京思灵机器人科技有限责任公司 | 一种穴位识别方法及穴位识别网络 |
| US20230206603A1 (en) * | 2022-09-19 | 2023-06-29 | Nanjing University Of Posts And Telecommunications | High-precision point cloud completion method based on deep learning and device thereof |
| CN115512411A (zh) * | 2022-09-23 | 2022-12-23 | 杏暖健康科技(上海)有限公司 | 一种基于人工智能的面部穴位识别定位系统及方法 |
| CN116740026A (zh) * | 2023-06-15 | 2023-09-12 | 湖南大学 | 一种基于全身关键点识别和实例分割的腧穴定位方法 |
Non-Patent Citations (2)
| Title |
|---|
| 余家伟； 何强 ； 陈帅: "《基于语义分割的MRF深度图修复》", 《 工业控制计算机》, vol. 36, no. 6, 24 July 2023 (2023-07-24), pages 13 - 15 * |
| 赵阳;张涛;练秋生;: "红外面部图像的贝尔面瘫针灸穴位定位算法", 小型微型计算机系统, no. 07, 15 July 2012 (2012-07-15), pages 223 - 229 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117636446B (zh) | 2024-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10143522B2 (en) | Systems and methods for planning hair transplantation | |
| US11710246B2 (en) | Skin 3D model for medical procedure | |
| CN107296650A (zh) | 基于虚拟现实和增强现实的智能手术辅助系统 | |
| WO2012121341A1 (ja) | 画像データ処理装置および経頭蓋磁気刺激装置 | |
| Jiang et al. | Registration technology of augmented reality in oral medicine: A review | |
| CN107456278A (zh) | 一种内窥镜手术导航方法和系统 | |
| CN109091380B (zh) | 以ar技术实现穴道视觉化的中医系统及其方法 | |
| CN117636446B (zh) | 脸部穴位定位方法、针灸方法、针灸机器人及存储介质 | |
| JP5687532B2 (ja) | 情報処理方法、フランクフルト平面の算出方法および情報処理装置 | |
| CN109620405A (zh) | 一种开颅手术体表切口的移动增强现实导航方法 | |
| CN111831118B (zh) | 一种基于增强现实的三维脑电显示方法及其显示系统 | |
| Zhang et al. | E-faceatlasAR: extend atlas of facial acupuncture points with auricular maps in augmented reality for self-acupressure | |
| WO2022173055A1 (ja) | 骨格推定方法、装置、プログラム、システム、学習済みモデル生成方法、および学習済みモデル | |
| Danino et al. | Algorithm for facial weight-change [image weight-change simulator] | |
| Chen et al. | 3D Real-time Face Acupoints Recognition System Based on HoloLens 2 | |
| Shao et al. | Facial augmented reality based on hierarchical optimization of similarity aspect graph | |
| CN116310230A (zh) | 识别脑电电极安装位置的方法、装置、设备及存储介质 | |
| CN114270408A (zh) | 用于控制显示器的方法、计算机程序和混合现实显示设备 | |
| CN117334303A (zh) | 一种三维医学影像标注方法及系统 | |
| CN117731394A (zh) | 一种气道管理导航系统 | |
| CN114332223A (zh) | 掩膜生成方法、图像配准方法、计算机设备及存储介质 | |
| CN116403256A (zh) | 一种人脸动作捕捉方法、系统、电子设备及介质 | |
| CN112568992A (zh) | 基于3d扫描眼睑参数测量方法、装置、设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |