CN115953375A - 多方法融合的手部穴位定位方法、系统及电子设备 - Google Patents

多方法融合的手部穴位定位方法、系统及电子设备 Download PDF

Info

Publication number
CN115953375A
CN115953375A CN202211685313.6A CN202211685313A CN115953375A CN 115953375 A CN115953375 A CN 115953375A CN 202211685313 A CN202211685313 A CN 202211685313A CN 115953375 A CN115953375 A CN 115953375A
Authority
CN
China
Prior art keywords
hand
positioning
acupuncture point
training
acupuncture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211685313.6A
Other languages
English (en)
Inventor
陈嘉诚
边耐政
董乙人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202211685313.6A priority Critical patent/CN115953375A/zh
Publication of CN115953375A publication Critical patent/CN115953375A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Finger-Pressure Massage (AREA)

Abstract

本申请公开了一种多方法融合的手部穴位定位方法、系统及电子设备，属于医疗图像处理技术领域。该方法基于机器学习与数字图像处理技术，结合传统中医的穴位定位理论，针对不同穴位，采用针对性的方法进行穴位的准确定位。该申请中，将手部穴位分为四类，第一类是可以通过手部关键点，根据中医定位方法进行定位的穴位；第二类是需要通过指甲位置，根据中医定位方法进行定位的穴位；第三类是位于手部边缘位置的穴位；第四类是没有明显图像特征的穴位。根据手部穴位所属类别的不同，选用不同的定位方法，并采用增强现实的方法将穴位信息叠加显示到真实的手部图像上，经过验证，该发明可以更准确的定位手部穴位，并具有更直观的显示效果。

Description

多方法融合的手部穴位定位方法、系统及电子设备
技术领域
本申请属于立体视觉技术领域，具体涉及一种多方法融合的手部穴位定位方法、系统及电子设备。
背景技术
常用的二维图像缺乏深度信息，而深度信息对于我们感知所处的三维世界是极其重要的。模拟人类的双眼感知机制，双目立体视觉通过采集具有一定角度和位置偏差的左、右图像，并通过计算图像中每个像素点的视差，而后使用三角公式恢复被拍摄场景的深度信息，在三维重建、自动驾驶、自助导航和增强现实等领域具有重大的应用前景。
传统的立体匹配方法速度快，易于实现，但精度较低，而基于学习的立体匹配方法往往能够取得很高的匹配精度，但很多基于学习的立体匹配方法在特征提取阶段将每个像素点的通道和空间特征视为同等重要，这不利于对立体匹配任务有效特征的充分表达，而给了无效特征阻碍立体匹配进程的机会，致使最后的匹配精度下降，同时对于弱纹理区域的立体匹配依然是如今双目立体匹配需要研究的重要方向。
为此，本申请提供一种多方法融合的手部穴位定位方法及电子设备以解决上述问题
发明内容
本申请实施例的目的是提供一种多方法融合的手部穴位定位方法及电子设备，其解决了现有技术中手部穴位定位粒度大、不够准确的问题。
为了解决上述技术问题，本申请是这样实现的：
第一方面，本申请实施例提供了一种多方法融合的手部穴位定位方法，包括：
采集手部图像信息，进行数据标注，包括左、右手信息以及指甲位置信息，并对数据进行预处理，形成样本数据；
根据形成的样本数据，生成用于训练指甲定位模型的数据集；
根据形成的样本数据，采用关键点定位模型定位样本的手部关键点，生成训练直接穴位定位模型的数据集；
对用于训练指甲定位模型的数据集按照比例进行划分，形成训练集和测试集，进行指甲定位模型的训练；
对用于训练直接穴位定位模型的数据集按照比例进行划分，形成训练集和测试集，进行直接穴位定位模型的训练；
通过AR眼镜获取手部图像或实时视频，将图像信息传输到该手部定位系统；
针对不同的穴位，采取不同的模型或方法，结合中医穴位定位理论，进行穴位的定位；
将穴位位置信息与名称信息通过增强现实的方式显示到手部对应位置。
可选的，所述手部图像信息，包括：
左手手掌图像、左手手背图像、右手手掌图像以及右手手背图像四种图像；
其中，四种图像等比例采集，手的姿势需平放；
所述指甲位置信息，包括：
采用矩形框进行标注；
所述对数据进行预处理，包括：
图像旋转、图像增强、对比度调整以及亮度调整。
可选的，所述采用关键点定位模型定位样本的手部关键点，包括：
采取MediaPipe手部关键点定位算法定位21个手部关键点，手部关键点坐标为(xi,yi,zi)，其中，下标i表示关键点的索引；xi表示第i个关键点在图像水平方向的比例位置，该比例乘以图片水平方向的长度，就是第i个关键点水平方向的坐标；yi表示第i个关键点在图像垂直方向的比例位置，该比例乘以图片垂直方向的高度，就是第i个关键点垂直方向的坐标；zi表示第i个关键点相对于手腕的深度信息。
可选的，所述进行指甲定位模型的训练，包括：
采用YOLOv5算法进行指甲定位模型的训练；
所述指甲定位模型，包括：
定位图像中所有存在的指甲位置，对于每个指甲的位置，使用(xbegin,ybegin)和(xend,yend)形成的矩形框表示，其中，(xbegin,ybegin)表示矩形框起始点的坐标，(xend,yend)表示矩形框终止点的坐标。
可选的，所述直接穴位定位模型，包括：
输入层，具有63个神经元；
隐藏层，数量为两个；
输出层，用于定位穴位的x、y坐标。
可选的，所述采取不同的模型或方法，包括：
根据不同的穴位特点，采用不同的定位方法，包括：
调用MediaPipe手部关键点定位模型，定位出21个手部关键点；
根据该信息得到图像中的手部区域；
通过第10与第11个关键点，计算手指同身寸长度；
调用指甲识别模型，并保存模型识别的结果；如果识别结果不为空，则表示当前图像为手背；识别结果为空则表示当前图像为手掌；若图像为手掌，则进行手掌穴位的定位；若为手背，则进行手背穴位的定位。
可选的，所述结合中医穴位定位理论，进行穴位的定位，包括：
对于第一类穴位，以手部关键点为基准，根据中医的穴位定位方法，按照手指同身寸进行偏移，定位穴位位置；
对于第二类穴位，根据目标穴位所属的手部位置，得到属于该位置的指甲位置信息。以该指甲位置为基准，根据中医的穴位定位方法，按照手指同身寸进行偏移，定位穴位位置；
对于第三类穴位，采用Canny算子进行手部边缘检测，获取当前图像中手部轮廓信息，根据目标穴位所属的手部位置，选择距离该位置最近的手部关键点，根据中医的穴位定位方法选取搜索的方向，以该关键点为起点，沿着该搜索方向进行搜索，在到达手部轮廓时停止搜索，得到该穴位的位置。
对于第四类穴位，将目标穴位21个手部关键点的x、y、z数据输入直接穴位定位模型，模型计算后，得到该穴位的x、y坐标。
第二方面，本申请实施例提供了一种多方法融合的手部穴位定位系统，包括：
样本数据形成模块，用于采集手部图像信息，进行数据标注，包括左、右手信息以及指甲位置信息，并对数据进行预处理，形成样本数据；
第一数据集生成模块，用于根据形成的样本数据，生成用于训练指甲定位模型的数据集；
第二数据集生成模块，用于根据形成的样本数据，采用关键点定位模型定位样本的手部关键点，生成训练直接穴位定位模型的数据集；
指甲定位模型训练模块，用于对用于训练指甲定位模型的数据集按照比例进行划分，形成训练集和测试集，进行指甲定位模型的训练；
直接穴位定位模型训练模块，对用于训练直接穴位定位模型的数据集按照比例进行划分，形成训练集和测试集，进行直接穴位定位模型的训练；
图像信息传输模块，用于通过AR眼镜获取手部图像或实时视频，将图像信息传输到该手部定位系统；
穴位定位模块，用于针对不同的穴位，采取不同的模型或方法，结合中医穴位定位理论，进行穴位的定位；
显示模块，用于将穴位位置信息与名称信息通过增强现实的方式显示到手部对应位置。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
在本申请实施例中，提出了一种更细粒度的手部穴位定位方法，针对不同类别的手部穴位采取针对性的定位方法；在考虑手部关键点信息的基础上，进一步考虑了指甲信息、手部轮廓信息，并提出了没有明显图像特征情况下的穴位定位方法，提高了手部穴位的定位精度；其次，本申请将手部穴位分为四类，针对每种类别提出定位方法，而不是针对每个穴位提出不同的定位方法；在保证定位精度的前提下，降低了系统开发的工作量；再次，本申请采用增强现实技术显示穴位信息，在真实的视野中叠加显示穴位信息，更加直观，在手部穴位定位时也不需要手持拍摄，更为方便。
附图说明
图1是本申请实施例提供的定位方法实施步骤图；
图2是本申请实施例提供的21个手部关键点的示意图；
图3是本申请实施例在针对每个穴位定位时的定位方法图；
图4(a)～(d)是本申请实施例提供的手部穴位定位示意图；
图5是本申请实施例提供的多方法融合的手部穴位定位系统的结构框图；
图6是本申请实施例提供的电子设备的结构框架图；
图7是本申请实施例提供的电子设备的硬件结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的多方法融合的手部穴位定位方法进行详细地说明。
请参见图1，是本申请实施例提供的一种多方法融合的手部穴位定位方法，包括：
步骤S100、采集手部图像信息，进行数据标注，包括左、右手信息以及指甲位置信息，并对数据进行预处理，形成样本数据；
步骤S101、根据形成的样本数据，生成用于训练指甲定位模型的数据集；
步骤S102、根据形成的样本数据，采用关键点定位模型定位样本的手部关键点，生成训练直接穴位定位模型的数据集；
步骤S103、对用于训练指甲定位模型的数据集按照比例进行划分，形成训练集和测试集，进行指甲定位模型的训练；
步骤S104、对用于训练直接穴位定位模型的数据集按照比例进行划分，形成训练集和测试集，进行直接穴位定位模型的训练；
步骤S105、通过AR眼镜获取手部图像或实时视频，将图像信息传输到该手部定位系统；
步骤S106、针对不同的穴位，采取不同的模型或方法，结合中医穴位定位理论，进行穴位的定位；
步骤S107、将穴位位置信息与名称信息通过增强现实的方式显示到手部对应位置。
在步骤S100中，所述手部图像信息，包括：
左手手掌图像、左手手背图像、右手手掌图像以及右手手背图像四种图像；其中，四种图像等比例采集，手的姿势需平放，也就是说，手不进行弯曲、握拳等动作。
所述指甲位置信息，包括：
采用矩形框进行标注；
所述对数据进行预处理，包括但不限于：
图像旋转、图像增强、对比度调整以及亮度调整等方法。
需另外说明的是，不考虑畸形、残疾等特殊情况，每个图像样本中包含一个手部，每个手部标注五个指甲的位置信息。
在步骤S102中，所述采用关键点定位模型定位样本的手部关键点，包括：
采取MediaPipe手部关键点定位算法定位21个手部关键点，具体参见图2所示，手部关键点坐标为(xi,yi,zi)，其中，下标i表示关键点的索引；xi表示第i个关键点在图像水平方向的比例位置，该比例乘以图片水平方向的长度，就是第i个关键点水平方向的坐标；yi表示第i个关键点在图像垂直方向的比例位置，该比例乘以图片垂直方向的高度，就是第i个关键点垂直方向的坐标；zi表示第i个关键点相对于手腕的深度信息。
需要说明的是，考虑到人体结构的关联性，第四类穴位虽然没有明显的图像特征，但是与其他手部部位还是存在关联，因此，步骤S102中构建的数据集包含了手部21个关键点的x、y、z轴信息，以及要定位穴位的x、y轴信息。
在步骤S103中，所述进行指甲定位模型的训练，包括：
采用YOLOv5算法进行指甲定位模型的训练，训练得到的指甲定位模型有两个用处，一个作用是定位指甲的位置，另一作用是可以根据模型输出，来判断手部图像是手掌还是手背。
所述指甲定位模型，包括：
定位图像中所有存在的指甲位置，对于每个指甲的位置，使用(xbegin,ybegin)和(xend,yend)形成的矩形框表示，其中，(xbegin,ybegin)表示矩形框起始点的坐标，(xend,yend)表示矩形框终止点的坐标。
需要说明的是，在步骤S103中，划分数据集时要做到随机划分，避免数据顺序对模型产生影响，并且要保证左/右手、手掌/手背四种图像在训练集与测试集中的等比例分布。
在步骤S104中，所述直接穴位定位模型，包括：
输入层，具有63个神经元；
隐藏层，数量为两个；
输出层，用于定位穴位的x、y坐标。
另外，该模型学习率lr为0.001，损失函数为MSE。
步骤S104中训练的模型可以直接定位没有明显图像特征的穴位，模型运行速度较快，可以准确地定位第四类穴位。
需要说明的是，在步骤S104中，划分数据集时要做到随机划分，避免数据顺序对模型产生影响，并且要保证左/右手、手掌/手背四种图像在训练集与测试集中的等比例分布。
在步骤S105中，采用头戴式AR眼镜获取手部图像信息，即具有移动平台的优点，也解放了双手，不用进行手持拍摄，可以更方便的获取手部图像信息。
参见图3和4(a)～(d)所示，在步骤S106中，所述采取不同的模型或方法，包括：
根据不同的穴位特点，采用不同的定位方法，包括：
调用MediaPipe手部关键点定位模型，定位出21个手部关键点；
根据该信息得到图像中的手部区域；
通过第10与第11个关键点，计算手指同身寸长度；
调用指甲识别模型，并保存模型识别的结果；如果识别结果不为空，则表示当前图像为手背；识别结果为空则表示当前图像为手掌；若图像为手掌，则进行手掌穴位的定位；若为手背，则进行手背穴位的定位。
另外需要说明的是，在能够区分手掌与手背的情况下，可以根据关键点信息判断当前图像是左手还是右手，在进行坐标偏移的时候需要用到该信息。
在步骤S106中，所述结合中医穴位定位理论，进行穴位的定位，包括：
对于第一类穴位，以手部关键点为基准，根据中医的穴位定位方法，按照手指同身寸进行偏移，定位穴位位置；
对于第二类穴位，根据目标穴位所属的手部位置，得到属于该位置的指甲位置信息。以该指甲位置为基准，根据中医的穴位定位方法，按照手指同身寸进行偏移，定位穴位位置；
对于第三类穴位，采用Canny算子进行手部边缘检测，获取当前图像中手部轮廓信息，根据目标穴位所属的手部位置，选择距离该位置最近的手部关键点，根据中医的穴位定位方法选取搜索的方向，以该关键点为起点，沿着该搜索方向进行搜索，在到达手部轮廓时停止搜索，得到该穴位的位置。
对于第四类穴位，将目标穴位21个手部关键点的x、y、z数据输入直接穴位定位模型，模型计算后，得到该穴位的x、y坐标。
下面以具体实施例1对本申请实施例提供的一种多方法融合的手部穴位定位方法进行详细说明。
实施例1
第一类穴位以少府穴为例，中医穴位理论中，少府穴位于横平第5掌指关节近端，第4、5掌骨之间，根据第13和第17关键点可以进行定位，第13关键点坐标为(x13,y13)，第17关键点坐标为(x17,y17)，可以得到少府穴坐标为：
Figure BDA0004020640460000091
第二类穴位以左手商阳穴为例，中医穴位理论中，商阳穴位于食指末节桡侧，指甲根角侧上方0.1指寸位置，因此该穴位可以通过食指指甲位置，以及同身寸长度进行定位，通过第10和第11关键点，计算出同身寸长度为：
Figure BDA0004020640460000092
记定位出的左手食指指甲坐标为(xe,ye)，则可以得到商阳穴坐标为：
Figure BDA0004020640460000093
第三类穴位以中冲穴为例，中医穴位理论中，中冲穴位于中指末端最高点，因此可以根据关键点12，结合Canny算子提取出的手部轮廓进行定位，设提取出的手部轮廓为c，那么以关键点12为出发点，向上进行搜索，当检测到到达轮廓c时停止搜索，此时的位置坐标即中冲穴的坐标。
第四类穴位以合谷穴为例，中医穴位理论中，合谷穴位于第2掌骨桡侧的中点处，但是仅通过21个关键点并不能确定第2掌骨的长度，也就无法确定其中点位置，无法直接根据手部关键点定位，因此，对于该穴位，将21个关键点的x、y、z坐标信息输入直接穴位定位模型，通过模型计算，输出该穴位的坐标。
参见图5所示，本申请实施例提供了一种多方法融合的手部穴位定位系统，包括样本数据形成模块1、第一数据集生成模块2、第二数据集生成模块3、指甲定位模型训练模块4、直接穴位定位模型训练模块5、图像信息传输模块6、穴位定位模块7以及显示模块8。
所述样本数据形成模块1用于采集手部图像信息，进行数据标注，包括左、右手信息以及指甲位置信息，并对数据进行预处理，形成样本数据。
所述第一数据集生成模块2用于根据形成的样本数据，生成用于训练指甲定位模型的数据集。
所述第二数据集生成模块3用于根据形成的样本数据，采用关键点定位模型定位样本的手部关键点，生成训练直接穴位定位模型的数据集。
所述指甲定位模型训练模块4用于对用于训练指甲定位模型的数据集按照比例进行划分，形成训练集和测试集，进行指甲定位模型的训练。
所述直接穴位定位模型训练模块5对用于训练直接穴位定位模型的数据集按照比例进行划分，形成训练集和测试集，进行直接穴位定位模型的训练。
所述图像信息传输模块6用于通过AR眼镜获取手部图像或实时视频，将图像信息传输到该手部定位系统。
所述穴位定位模块7用于针对不同的穴位，采取不同的模型或方法，结合中医穴位定位理论，进行穴位的定位。
所述显示模块8用于将穴位位置信息与名称信息通过增强现实的方式显示到手部对应位置。
如图6所示，本申请实施例还提供一种电子设备600，电子设备600包括处理器601，存储器602，存储在存储器602上并可在所述处理器601上运行的程序或指令，该程序或指令被处理器601执行时实现上述多方法融合的手部穴位定位方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，本申请实施例中的第一电子设备包括上述所述的移动电子设备和非移动电子设备。
图7为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备700包括但不限于：射频单元701、网络模块702、音频输出单元703、输入单元704、传感器705、显示单元706、用户输入单元707、接口单元708、存储器709、以及处理器710等部件。
本领域技术人员可以理解，电子设备700还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器710逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图7中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
应理解的是，本申请实施例中，输入单元704可以包括图形处理器(GraphicsProcessingUnit，GPU)7041和麦克风7042，图形处理器7041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元706可包括显示面板7061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板7061。用户输入单元707包括触控面板7071以及其他输入设备7072。触控面板7071，也称为触摸屏。触控面板7071可包括触摸检测装置和触摸控制器两个部分。其他输入设备7072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器709可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器710可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器710中。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述多方法融合的手部穴位定位方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccessMemory，RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述多方法融合的手部穴位定位方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种多方法融合的手部穴位定位方法，其特征在于，包括：
采集手部图像信息，进行数据标注，包括左、右手信息以及指甲位置信息，并对数据进行预处理，形成样本数据；
根据形成的样本数据，生成用于训练指甲定位模型的数据集；
根据形成的样本数据，采用关键点定位模型定位样本的手部关键点，生成训练直接穴位定位模型的数据集；
对用于训练指甲定位模型的数据集按照比例进行划分，形成训练集和测试集，进行指甲定位模型的训练；
对用于训练直接穴位定位模型的数据集按照比例进行划分，形成训练集和测试集，进行直接穴位定位模型的训练；
通过AR眼镜获取手部图像或实时视频，将图像信息传输到该手部定位系统；
针对不同的穴位，采取不同的模型或方法，结合中医穴位定位理论，进行穴位的定位；
将穴位位置信息与名称信息通过增强现实的方式显示到手部对应位置。
2.根据权利要求1所述的方法，其特征在于：所述手部图像信息，包括：
左手手掌图像、左手手背图像、右手手掌图像以及右手手背图像四种图像；
其中，四种图像等比例采集，手的姿势需平放；
所述指甲位置信息，包括：
采用矩形框进行标注；
所述对数据进行预处理，包括：
图像旋转、图像增强、对比度调整以及亮度调整。
3.根据权利要求1所述的方法，其特征在于：所述采用关键点定位模型定位样本的手部关键点，包括：
采取MediaPipe手部关键点定位算法定位21个手部关键点，手部关键点坐标为(xi,yi,zi)，其中，下标i表示关键点的索引；xi表示第i个关键点在图像水平方向的比例位置，该比例乘以图片水平方向的长度，就是第i个关键点水平方向的坐标；yi表示第i个关键点在图像垂直方向的比例位置，该比例乘以图片垂直方向的高度，就是第i个关键点垂直方向的坐标；zi表示第i个关键点相对于手腕的深度信息。
4.根据权利要求1所述的方法，其特征在于：所述进行指甲定位模型的训练，包括：
采用YOLOv5算法进行指甲定位模型的训练；
所述指甲定位模型，包括：
定位图像中所有存在的指甲位置，对于每个指甲的位置，使用(xbegin,ybegin)和(xend,yend)形成的矩形框表示，其中，(xbegin,ybegin)表示矩形框起始点的坐标，(xend,yend)表示矩形框终止点的坐标。
5.根据权利要求1所述的方法，其特征在于：所述直接穴位定位模型，包括：
输入层，具有63个神经元；
隐藏层，数量为两个；
输出层，用于定位穴位的x、y坐标。
6.根据权利要求1所述的方法，其特征在于：所述采取不同的模型或方法，包括：
根据不同的穴位特点，采用不同的定位方法，包括：
调用MediaPipe手部关键点定位模型，定位出21个手部关键点；
根据该信息得到图像中的手部区域；
通过第10与第11个关键点，计算手指同身寸长度；
调用指甲识别模型，并保存模型识别的结果；如果识别结果不为空，则表示当前图像为手背；识别结果为空则表示当前图像为手掌；若图像为手掌，则进行手掌穴位的定位；若为手背，则进行手背穴位的定位。
7.根据权利要求1所述的方法，其特征在于：所述结合中医穴位定位理论，进行穴位的定位，包括：
对于第一类穴位，以手部关键点为基准，根据中医的穴位定位方法，按照手指同身寸进行偏移，定位穴位位置；
对于第二类穴位，根据目标穴位所属的手部位置，得到属于该位置的指甲位置信息。以该指甲位置为基准，根据中医的穴位定位方法，按照手指同身寸进行偏移，定位穴位位置；
对于第三类穴位，采用Canny算子进行手部边缘检测，获取当前图像中手部轮廓信息，根据目标穴位所属的手部位置，选择距离该位置最近的手部关键点，根据中医的穴位定位方法选取搜索的方向，以该关键点为起点，沿着该搜索方向进行搜索，在到达手部轮廓时停止搜索，得到该穴位的位置。
对于第四类穴位，将目标穴位21个手部关键点的x、y、z数据输入直接穴位定位模型，模型计算后，得到该穴位的x、y坐标。
8.一种多方法融合的手部穴位定位系统，其特征在于，包括：
样本数据形成模块，用于采集手部图像信息，进行数据标注，包括左、右手信息以及指甲位置信息，并对数据进行预处理，形成样本数据；
第一数据集生成模块，用于根据形成的样本数据，生成用于训练指甲定位模型的数据集；
第二数据集生成模块，用于根据形成的样本数据，采用关键点定位模型定位样本的手部关键点，生成训练直接穴位定位模型的数据集；
指甲定位模型训练模块，用于对用于训练指甲定位模型的数据集按照比例进行划分，形成训练集和测试集，进行指甲定位模型的训练；
直接穴位定位模型训练模块，对用于训练直接穴位定位模型的数据集按照比例进行划分，形成训练集和测试集，进行直接穴位定位模型的训练；
图像信息传输模块，用于通过AR眼镜获取手部图像或实时视频，将图像信息传输到该手部定位系统；
穴位定位模块，用于针对不同的穴位，采取不同的模型或方法，结合中医穴位定位理论，进行穴位的定位；
显示模块，用于将穴位位置信息与名称信息通过增强现实的方式显示到手部对应位置。
9.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至8中任一项所述的多方法融合的手部穴位定位方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有程序或指令，所述程序或指令被处理器执行时实现如权利要求1至8中任一项所述的多方法融合的手部穴位定位方法的步骤。
CN202211685313.6A 2022-12-27 2022-12-27 多方法融合的手部穴位定位方法、系统及电子设备 Pending CN115953375A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211685313.6A CN115953375A (zh) 2022-12-27 2022-12-27 多方法融合的手部穴位定位方法、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211685313.6A CN115953375A (zh) 2022-12-27 2022-12-27 多方法融合的手部穴位定位方法、系统及电子设备

Publications (1)

Publication Number Publication Date
CN115953375A true CN115953375A (zh) 2023-04-11

Family

ID=87290938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211685313.6A Pending CN115953375A (zh) 2022-12-27 2022-12-27 多方法融合的手部穴位定位方法、系统及电子设备

Country Status (1)

Country Link
CN (1) CN115953375A (zh)

Similar Documents

Publication Publication Date Title
Memo et al. Head-mounted gesture controlled interface for human-computer interaction
EP3971686A1 (en) Ar scenario-based gesture interaction method and apparatus, storage medium, and communication terminal
CN110163048B (zh) 手部关键点的识别模型训练方法、识别方法及设备
US8751969B2 (en) Information processor, processing method and program for displaying a virtual image
Mossel et al. 3DTouch and HOMER-S: intuitive manipulation techniques for one-handed handheld augmented reality
CN110363867B (zh) 虚拟装扮系统、方法、设备及介质
CN108509026B (zh) 基于增强交互方式的远程维修支持系统及方法
Andersen et al. Virtual annotations of the surgical field through an augmented reality transparent display
EP2278823A2 (en) Stereo image interaction system
JP6571108B2 (ja) モバイル機器用三次元ジェスチャのリアルタイム認識及び追跡システム
CN106325509A (zh) 三维手势识别方法及系统
CN110377779A (zh) 图像标注的方法、基于病理图像的标注展示方法及装置
WO2022174594A1 (zh) 基于多相机的裸手追踪显示方法、装置及系统
CN111240476A (zh) 基于增强现实的交互方法、装置、存储介质和计算机设备
CN104656893A (zh) 一种信息物理空间的远程交互式操控系统及方法
CN112348942B (zh) 一种健身交互方法和系统
CN112905014A (zh) Ar场景下的交互方法、装置、电子设备及存储介质
Hernoux et al. A seamless solution for 3D real-time interaction: design and evaluation
CN106293078A (zh) 基于摄像头的虚拟现实交互方法和装置
CN111901518B (zh) 显示方法、装置和电子设备
CN114005511A (zh) 一种康复训练方法、系统、训练自助设备和存储介质
CN113703583A (zh) 一种多模态交叉融合的虚拟影像融合系统、方法、装置
CN115953375A (zh) 多方法融合的手部穴位定位方法、系统及电子设备
CN115268658A (zh) 一种基于增强现实的多方远程空间圈画标记方法
Abate et al. Mixed reality environment for mission critical systems servicing and repair

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination