CN116977638A - 基于深度学习的人体背部穴位识别实现方法、设备及介质 - Google Patents
基于深度学习的人体背部穴位识别实现方法、设备及介质 Download PDFInfo
- Publication number
- CN116977638A CN116977638A CN202310931552.3A CN202310931552A CN116977638A CN 116977638 A CN116977638 A CN 116977638A CN 202310931552 A CN202310931552 A CN 202310931552A CN 116977638 A CN116977638 A CN 116977638A
- Authority
- CN
- China
- Prior art keywords
- acupoint
- recognition model
- recognition
- deep learning
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000013135 deep learning Methods 0.000 title claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 16
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 238000003709 image segmentation Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 239000010154 weishu Substances 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 6
- 238000004519 manufacturing process Methods 0.000 abstract description 3
- 238000013461 design Methods 0.000 description 6
- 239000003814 drug Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000001467 acupuncture Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 208000032544 Cicatrix Diseases 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 240000005499 Sasa Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000001605 fetal effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000000554 physical therapy Methods 0.000 description 1
- 239000002243 precursor Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 231100000241 scar Toxicity 0.000 description 1
- 230000037387 scars Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H39/00—Devices for locating or stimulating specific reflex points of the body for physical therapy, e.g. acupuncture
- A61H39/02—Devices for locating such points
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2205/00—Devices for specific parts of the body
- A61H2205/08—Trunk
- A61H2205/081—Back
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Rehabilitation Therapy (AREA)
- Databases & Information Systems (AREA)
- Public Health (AREA)
- Pain & Pain Management (AREA)
- Physical Education & Sports Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- Epidemiology (AREA)
- Human Computer Interaction (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及基于深度学习的人体背部穴位识别实现方法、设备及介质，该方法包括以下步骤：获取带有穴位标识的人体背部图像数据；获取标注的人体背部图像的背部穴位的坐标值，得到背部图像数据集；通过背部图像数据集对基于深度学习算法的背部穴位识别模型进行训练，得到训练好的背部穴位识别模型；将处理后的待识别图片输入训练好的背部穴位识别模型，得到预测的二维坐标值。本发明对输入图像先进行预处理，选取出识别特征，通过对采集原图像进行预处理，将处理后的数据投入训练，能够实现穴位识别的普适性，减少数据集制作的工作量；采用了非接触式穴位识别定位，减少对专业医师的依赖，提高了穴位识别的效率。
Description
技术领域
本发明涉及数据处理技术领域，特别涉及基于深度学习的人体背部穴位识别实现方法、设备及介质。
背景技术
在中医学中，经络穴位在针灸、艾灸等中医理疗中具有重要的作用。对于中医治疗法，首先是人工费用高昂，相应有经验的相关从业者也越来越少。随着智能化医疗的发展，穴位识别的自动化和智能化成为必然的发展趋势。目前，智能化医疗系统进行穴位识别时，需要中医医生识别出基本穴位，并将基本穴位的坐标输入模型中，然后根据穴位之间的相对位置关系识别其他的穴位，其很大程度上依赖于经验丰富的医生。而不专业的医者可能无法迅速找到对应的位置对患者进行治疗，降低了穴位按摩的效果。而且，现有的穴位识别方法能够识别的穴位数量有限，且大部分可识别的穴位是普通人可识别的穴位。
发明内容
为了实现本发明的上述目的和其他优点，本发明的第一目的是提供基于深度学习的人体背部穴位识别实现方法，包括以下步骤：
获取带有穴位标识的人体背部图像数据；
获取标注的人体背部图像的背部穴位的坐标值，得到背部图像数据集；
通过背部图像数据集对基于深度学习算法的背部穴位识别模型进行训练，得到训练好的背部穴位识别模型；
将处理后的待识别图片输入训练好的背部穴位识别模型，得到预测的二维坐标值。
进一步地，还包括背部穴位空间三维坐标获取步骤：
将彩色图像空间转换至深度图像坐标空间，通过训练好的背部穴位识别模型预测出的穴位关键点二维坐标值找到深度图像中对应的深度信息，得到有效的空间三维坐标。
进一步地，所述背部穴位空间三维坐标获取步骤还包括采用连续多帧图像采集有效深度信息值，剔除零值，取中值。
进一步地，所述背部穴位空间三维坐标获取步骤还包括采用训练好的背部穴位识别模型检测穴位关键点的邻域范围之内，搜索有效值坐标信息，选取预设范围内距离预测目标关键点最近的有效三维坐标值。
进一步地，还包括人体背部图像预处理步骤：
利用人体姿态识别算法和人像分割算法合成人体的特征图像。
进一步地，所述利用人体姿态识别算法和人像分割算法合成人体的特征图像包括以下步骤：
通过语义分割方法对人体背部图像进行操作处理，得到带有人体轮廓信息的掩膜图像；
对人体背部图像进行骨架提取，并在分割的掩膜图像上绘制骨架关键点和骨架连接，得到处理后的特征提取图像。
进一步地，所述人体背部图像预处理步骤还包括：对图像进行归一化处理、随机旋转以及缩放处理。
进一步地，所述通过背部图像数据集对基于深度学习算法的背部穴位识别模型进行训练包括以下步骤：
将处理后的背部图像数据集输入背部穴位识别模型进行训练，得到背部穴位的坐标预测值：
通过背部穴位的坐标预测值和穴位坐标值计算背部穴位识别模型的损失函数值；
根据损失函数值对背部穴位识别模型进行更新,得到改进的背部穴位识别模型。
进一步地，所述通过背部穴位的坐标预测值和穴位坐标值计算背部穴位识别模型的损失函数值具体为利用均方差误差函数计算背部穴位识别模型的坐标预测值和穴位坐标值之间误差的平方。
进一步地，所述根据损失函数值对背部穴位识别模型进行更新包括以下步骤：
根据损失函数值判断背部穴位识别模型是否满足收敛条件；
当背部穴位识别模型不满足收敛条件时，对背部穴位识别模型的权重和偏置值进行优化计算，得到优化的背部穴位识别模型；
根据优化的背部穴位识别模型的损失函数值判断优化的背部穴位识别模型是否满足收敛条件；
当优化的背部穴位识别模型不满足收敛条件时，重复对背部穴位识别模型的权重和偏置值进行优化计算步骤，直到满足收敛条件，并将满足收敛条件的优化的背部穴位识别模型确定为改进的背部穴位识别模型。
进一步地，所述基于深度学习算法的背部穴位识别模型为基于Swin-Transformer的模型。
进一步地，所述获取带有穴位标识的人体背部图像数据具体为对运动视频逐帧截取图像，获得带有穴位标识的人体背部图像数据，所述运动视频为标记有背部穴位标识点的不同志愿者不同位姿的运动视频。
进一步地，所述背部穴位包括大椎穴、肩井穴、风门穴、肺俞穴、天宗穴、隔俞穴、胃俞穴、肾俞穴、大肠俞穴。
本发明的第二目的是提供一种电子设备，包括：存储器，其上存储有程序代码；处理器，其与所述存储器连接，并且当所述程序代码被所述处理器执行时，实现基于深度学习的人体背部穴位识别实现方法。
本发明的第三目的是提供一种计算机可读存储介质，其上存储有程序指令，所述程序指令被执行时实现基于深度学习的人体背部穴位识别实现方法。
与现有技术相比，本发明的有益效果是：
本发明提供基于深度学习的人体背部穴位识别实现方法，对输入图像先进行预处理，选取出识别特征，通过对采集原图像进行预处理，将处理后的数据投入训练，能够实现穴位识别的普适性，减少数据集制作的工作量；采用了非接触式穴位识别定位，减少对专业医师的依赖，提高了穴位识别的效率；将深度神经网络应用于穴位识别，用基于深度学习的方法训练了可靠的深度学习网络模型。本发明采用的识别方式为2D关键点识别，为保证在3D场景下的准确性，也可以关注3D穴位的识别，提高了在三维空间穴位识别的准确性。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为实施例1的基于深度学习的人体背部穴位识别实现方法流程图；
图2为实施例1的带有穴位标识的人体背部图像示意图；
图3为实施例1的处理后的特征提取图像示意图；
图4为实施例1的Swin-Transformer结构示意图；
图5为实施例1的处理后的图像背部穴位点预测结果示意图；
图6为实施例2的电子设备示意图；
图7为实施例3的存储介质示意图。
具体实施方式
下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
实施例1
基于深度学习的人体背部穴位识别实现方法，如图1所示，包括以下步骤：
获取带有穴位标识的人体背部图像数据；基于深度学习的模型需要大量的数据样本模型，考虑到对人体背部图像直接进行穴位标记，过程繁杂，标记人员技术专业性要求高，耗费人力成本大，且实际取穴过程中，医师需要对人体进行推压按揉才能确保穴位的准确位置。本实施例通过录制已由专业医师标记有背部穴位标识点的不同志愿者不同位姿的运动视频，再对运动视频逐帧截取图像，从而获取带有穴位标识的人体背部图像数据，如图2所示。
获取标注的人体背部图像的背部穴位的坐标值，得到背部图像数据集；本实施例中，不需要具备中医穴位知识的人员，就可以直接用labelme数据标注工具对带有标识点的人体背部图像的17个穴位的坐标值进行标注，得到每张人体背部图像中17个穴位的穴位坐标值。其中，背部穴位包括大椎穴、肩井穴、风门穴、肺俞穴、天宗穴、隔俞穴、胃俞穴、肾俞穴、大肠俞穴。
由于采集的原图直接带有明显标识点特征，对后续深度神经网络训练的特征提取干扰因素大。另外，由于采集数据场景和类型单一，实际应用中可能存在患者背部的衣物遮挡、胎记疤痕等干扰因素，只对原图进行训练得到的模型无法对此状况做出应对，但考虑到多场景多类型数据集制作工程量大，于是提出了对采集原图像进行预处理，将处理后的数据投入训练，可实现穴位识别的普适性。
采集原图的预处理步骤包括：对采集图像进行处理，利用人体姿态识别算法和人像分割算法合成人体的特征图像，如图3所示。具体包括以下步骤：
通过语义分割方法对人体背部图像进行操作处理，得到带有人体轮廓信息的掩膜图像；
对人体背部图像进行23点的骨架提取，并在分割的掩膜图像上绘制骨架关键点和骨架连接，得到处理后的特征提取图像，如图3所示。
通过采集原图的预处理步骤可以忽略外部环境和遮挡物等因素的干扰，使得在有限的数据集，该自动穴位检测方法具有更广的应用场景。另外，基于深度学习的背部穴位识别模型进行训练和测试时，还得对数据进行处理，处理包括：归一化处理，以及随机旋转、缩放进行数据增强。数据的归一化标准化，使得模型收敛的更快更好；对训练数据进行旋转和缩放，使得数据增强，有利于增加数据的鲁棒性。
通过背部图像数据集对基于深度学习算法的背部穴位识别模型进行训练，得到训练好的背部穴位识别模型；具体包括以下步骤：
将处理后的背部图像数据集输入背部穴位识别模型进行训练，得到背部穴位的坐标预测值：
通过背部穴位的坐标预测值和穴位坐标值yi计算背部穴位识别模型的损失函数值MSE；由于背部穴位的识别，其实质为背部穴位位置的识别，且识别结果为具体数值，因此，本实施例利用均方差误差函数计算背部穴位识别模型的坐标预测值和穴位坐标值之间误差的平方，以此衡量背部穴位识别模型的优劣，背部穴位识别模型的坐标预测值和穴位坐标值之间误差的平方的值越小，说明背部穴位识别模型的识别效果越好。
根据损失函数值对背部穴位识别模型进行更新,得到改进的背部穴位识别模型。具体包括以下步骤：
根据损失函数值判断背部穴位识别模型是否满足收敛条件；
当背部穴位识别模型不满足收敛条件时，对背部穴位识别模型的权重和偏置值进行优化计算，得到优化的背部穴位识别模型；
根据优化的背部穴位识别模型的损失函数值判断优化的背部穴位识别模型是否满足收敛条件；
当优化的背部穴位识别模型不满足收敛条件时，重复对背部穴位识别模型的权重和偏置值进行优化计算步骤，直到满足收敛条件，并将满足收敛条件的优化的背部穴位识别模型确定为改进的背部穴位识别模型。
其中，基于深度学习算法的背部穴位识别模型为基于Swin-Transformer的模型。背部穴位识别模型采用深度神经网络模型Swin-Transformer。Swin-Transformer是在ViT的基础上将层次性、局部性和平移不变性等先验引入Transformer网络结构设计，从而能在视觉任务中取得更好的性能，能适用于多种CV任务，且其复杂度相对图片大小为线性相关，计算效率也十分不错。采用移位窗口，自注意的计算在局部的非重叠窗口内进行。这一设计有两方面的好处，一是复杂度从此前的和图像大小的平方关系变成了线性关系，也使得层次化的整体结构设计、局部先验的引入成为可能；二是因为采用非重叠窗口，自注意计算时不同Query会共享同样的Key集合，从而对硬件友好，更实用。其中，Query：搜索引擎上输入的内容，Key：搜索引擎根据Query为你匹配Key。在前后两层的Transformer模块中，非重叠窗口的配置相比前一层做了半个窗口的移位，这样使得上一层中不同窗口的信息进行了交换。相比于卷积网络以及先驱的自注意骨干网络(Local Relation Net和SASA)中常见的滑动窗(Sliding window)设计，这一新的设计牺牲了部分平移不变性，但是实验发现平移不变性的部分丢失不会降低准确率，甚至因为正则效应效果更好。同时，这一设计对硬件更友好，从而更实用而有希望成为主流。
如图4所示，Swin-Transformer采用了分层结构，通过从小尺寸的补丁开始，并逐渐将相邻补丁合并到更深的Transformer层中来构建层次表示。有了这些分层特征映射，Swin-Transformer模型可以方便地利用先进技术进行密集预测。线性计算复杂度是通过在分割图像的非重叠窗口内局部计算自注意力来实现的。Swin-Transformer通过在更深的层中合并图像块来构建分层特征图，并且由于仅在每个局部窗口内计算自注意力，因此对于输入图像大小具有线性计算复杂度。
将处理后的待识别图片输入训练好的背部穴位识别模型，得到预测的二维坐标值，如图5所示。
由于预测的图像穴位指标为二维平面坐标值，要想获取有效的空间三维坐标还得获取预测穴位点的深度信息。利用深度相机，将彩色图像空间转换到深度图像坐标空间中，通过训练好的背部穴位识别模型预测出的穴位关键点二维坐标值，找到深度图像中对应的深度信息，从而得到有效的空间三维坐标。由于在实际采集的深度图像中，深度图像存在缺失值。这是由红外发射器和照相机之间的差异引起的阴影，或者由镜面反射率或低反照率表面引起的随机缺失或伪造值造成的。这会导致深度值不稳定，所以采用连续多帧图像采集有效深度信息值，剔除零值，取中值。有时候单坐标点会出现深度信息的缺失，采用训练好的背部穴位识别模型检测穴位关键点的邻域范围之内，搜索有效值坐标信息，选取有效范围内距离预测目标关键点最近的有效三维坐标值。
实施例2
一种电子设备200，如图6所示，包括但不限于：存储器201，其上存储有程序代码；处理器202，其与存储器连接，并且当程序代码被处理器执行时，实现基于深度学习的人体背部穴位识别实现方法。关于方法的详细描述，可以参照上述方法实施例中的对应描述，在此不再赘述。
实施例3
一种计算机可读存储介质，如图7所示，其上存储有程序指令，程序指令被执行时实现的基于深度学习的人体背部穴位识别实现方法。关于方法的详细描述，可以参照上述方法实施例中的对应描述，在此不再赘述。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上仅为本说明书实施例而已，并不用于限制本说明书一个或多个实施例。对于本领域技术人员来说，本说明书一个或多个实施例可以有各种更改和变换。凡在本说明书一个或多个实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例的权利要求范围之内。
Claims (15)
1.基于深度学习的人体背部穴位识别实现方法，其特征在于，包括以下步骤：
获取带有穴位标识的人体背部图像数据；
获取标注的人体背部图像的背部穴位的坐标值，得到背部图像数据集；
通过背部图像数据集对基于深度学习算法的背部穴位识别模型进行训练，得到训练好的背部穴位识别模型；
将处理后的待识别图片输入训练好的背部穴位识别模型，得到预测的二维坐标值。
2.如权利要求1所述的基于深度学习的人体背部穴位识别实现方法，其特征在于，还包括背部穴位空间三维坐标获取步骤：
将彩色图像空间转换至深度图像坐标空间，通过训练好的背部穴位识别模型预测出的穴位关键点二维坐标值找到深度图像中对应的深度信息，得到有效的空间三维坐标。
3.如权利要求2所述的基于深度学习的人体背部穴位识别实现方法，其特征在于：所述背部穴位空间三维坐标获取步骤还包括采用连续多帧图像采集有效深度信息值，剔除零值，取中值。
4.如权利要求2所述的基于深度学习的人体背部穴位识别实现方法，其特征在于：所述背部穴位空间三维坐标获取步骤还包括采用训练好的背部穴位识别模型检测穴位关键点的邻域范围之内，搜索有效值坐标信息，选取预设范围内距离预测目标关键点最近的有效三维坐标值。
5.如权利要求1所述的基于深度学习的人体背部穴位识别实现方法，其特征在于，还包括人体背部图像预处理步骤：
利用人体姿态识别算法和人像分割算法合成人体的特征图像。
6.如权利要求5所述的基于深度学习的人体背部穴位识别实现方法，其特征在于，所述利用人体姿态识别算法和人像分割算法合成人体的特征图像包括以下步骤：
通过语义分割方法对人体背部图像进行操作处理，得到带有人体轮廓信息的掩膜图像；
对人体背部图像进行骨架提取，并在分割的掩膜图像上绘制骨架关键点和骨架连接，得到处理后的特征提取图像。
7.如权利要求5所述的基于深度学习的人体背部穴位识别实现方法，其特征在于，所述人体背部图像预处理步骤还包括：对图像进行归一化处理、随机旋转以及缩放处理。
8.如权利要求6或7所述的基于深度学习的人体背部穴位识别实现方法，其特征在于：所述通过背部图像数据集对基于深度学习算法的背部穴位识别模型进行训练包括以下步骤：
将处理后的背部图像数据集输入背部穴位识别模型进行训练，得到背部穴位的坐标预测值：
通过背部穴位的坐标预测值和穴位坐标值计算背部穴位识别模型的损失函数值；
根据损失函数值对背部穴位识别模型进行更新,得到改进的背部穴位识别模型。
9.如权利要求8所述的基于深度学习的人体背部穴位识别实现方法，其特征在于：所述通过背部穴位的坐标预测值和穴位坐标值计算背部穴位识别模型的损失函数值具体为利用均方差误差函数计算背部穴位识别模型的坐标预测值和穴位坐标值之间误差的平方。
10.如权利要求8所述的基于深度学习的人体背部穴位识别实现方法，其特征在于，所述根据损失函数值对背部穴位识别模型进行更新包括以下步骤：
根据损失函数值判断背部穴位识别模型是否满足收敛条件；
当背部穴位识别模型不满足收敛条件时，对背部穴位识别模型的权重和偏置值进行优化计算，得到优化的背部穴位识别模型；
根据优化的背部穴位识别模型的损失函数值判断优化的背部穴位识别模型是否满足收敛条件；
当优化的背部穴位识别模型不满足收敛条件时，重复对背部穴位识别模型的权重和偏置值进行优化计算步骤，直到满足收敛条件，并将满足收敛条件的优化的背部穴位识别模型确定为改进的背部穴位识别模型。
11.如权利要求8所述的基于深度学习的人体背部穴位识别实现方法，其特征在于：所述基于深度学习算法的背部穴位识别模型为基于Swin-Transformer的模型。
12.如权利要求1所述的基于深度学习的人体背部穴位识别实现方法，其特征在于：所述获取带有穴位标识的人体背部图像数据具体为对运动视频逐帧截取图像，获得带有穴位标识的人体背部图像数据，所述运动视频为标记有背部穴位标识点的不同志愿者不同位姿的运动视频。
13.如权利要求1所述的基于深度学习的人体背部穴位识别实现方法，其特征在于：所述背部穴位包括大椎穴、肩井穴、风门穴、肺俞穴、天宗穴、隔俞穴、胃俞穴、肾俞穴、大肠俞穴。
14.一种电子设备，其特征在于，包括：存储器，其上存储有程序代码；处理器，其与所述存储器连接，并且当所述程序代码被所述处理器执行时，实现如权利要求1～13任一项所述的方法。
15.一种计算机可读存储介质，其特征在于，其上存储有程序指令，所述程序指令被执行时实现如权利要求1～13任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310931552.3A CN116977638A (zh) | 2023-07-27 | 2023-07-27 | 基于深度学习的人体背部穴位识别实现方法、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310931552.3A CN116977638A (zh) | 2023-07-27 | 2023-07-27 | 基于深度学习的人体背部穴位识别实现方法、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116977638A true CN116977638A (zh) | 2023-10-31 |
Family
ID=88472559
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310931552.3A Pending CN116977638A (zh) | 2023-07-27 | 2023-07-27 | 基于深度学习的人体背部穴位识别实现方法、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116977638A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117974740A (zh) * | 2024-04-01 | 2024-05-03 | 南京师范大学 | 基于聚合式窗口自注意力机制的穴位定位方法及机器人 |
| CN118072357A (zh) * | 2024-04-16 | 2024-05-24 | 南昌理工学院 | 一种智能按摩机器人的控制方法及系统 |
-
2023
- 2023-07-27 CN CN202310931552.3A patent/CN116977638A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117974740A (zh) * | 2024-04-01 | 2024-05-03 | 南京师范大学 | 基于聚合式窗口自注意力机制的穴位定位方法及机器人 |
| CN118072357A (zh) * | 2024-04-16 | 2024-05-24 | 南昌理工学院 | 一种智能按摩机器人的控制方法及系统 |
| CN118072357B (zh) * | 2024-04-16 | 2024-07-02 | 南昌理工学院 | 一种智能按摩机器人的控制方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111476292B (zh) | 医学图像分类处理人工智能的小样本元学习训练方法 | |
| CN116977638A (zh) | 基于深度学习的人体背部穴位识别实现方法、设备及介质 | |
| Kang et al. | Study of a full-view 3D finger vein verification technique | |
| US9117105B2 (en) | 3D face recognition method based on intermediate frequency information in geometric image | |
| WO2017219391A1 (zh) | 一种基于三维数据的人脸识别系统 | |
| US20170045950A1 (en) | Gesture Recognition Systems | |
| Liu et al. | 3D fingerprint reconstruction system using feature correspondences and prior estimated finger model | |
| CN113362382A (zh) | 三维重建方法和三维重建装置 | |
| Zhang et al. | Graph fusion for finger multimodal biometrics | |
| CN107392187B (zh) | 一种基于梯度方向直方图的人脸活体检测方法 | |
| WO2023137914A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN107610177B (zh) | 一种同步定位与地图构建中确定特征点的方法和设备 | |
| CN113781640A (zh) | 基于弱监督学习的三维人脸重建模型建立方法及其应用 | |
| CN112131965B (zh) | 一种人体姿态估计方法、装置、电子设备及存储介质 | |
| CN111566700B (zh) | 用于借助多任务学习确定对象在对象的周围环境中的姿势的方法和控制设备 | |
| CN112329662B (zh) | 基于无监督学习的多视角显著性估计方法 | |
| CN113706514A (zh) | 基于模板图像的病灶定位方法、装置、设备及存储介质 | |
| Zhang et al. | When 3d reconstruction meets ubiquitous rgb-d images | |
| Cao et al. | A tracking registration method for augmented reality based on multi-modal template matching and point clouds | |
| CN116958958A (zh) | 基于图卷积双流形状先验自适应类别级物体姿态估计方法 | |
| Slimani et al. | RoCNet++: Triangle-based descriptor for accurate and robust point cloud registration | |
| Vezzetti et al. | Application of geometry to rgb images for facial landmark localisation-a preliminary approach | |
| CN107492119B (zh) | 基于双竞争性相位相关影像金字塔的掌纹roi匹配方法 | |
| Xu et al. | An improved head pose estimation method for the robotic wheelchair interaction control | |
| Gao et al. | SAMM: surroundedness and absorption Markov model based visual saliency detection in images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |