CN115227569B - 基于现实虚拟的人体穴位识别系统 - Google Patents
基于现实虚拟的人体穴位识别系统 Download PDFInfo
- Publication number
- CN115227569B CN115227569B CN202210715208.6A CN202210715208A CN115227569B CN 115227569 B CN115227569 B CN 115227569B CN 202210715208 A CN202210715208 A CN 202210715208A CN 115227569 B CN115227569 B CN 115227569B
- Authority
- CN
- China
- Prior art keywords
- acupoint
- human body
- treatment operation
- glasses
- body image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011282 treatment Methods 0.000 claims abstract description 154
- 239000011521 glass Substances 0.000 claims abstract description 60
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000003062 neural network model Methods 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 24
- 238000010586 diagram Methods 0.000 claims abstract description 21
- 238000007781 pre-processing Methods 0.000 claims abstract description 21
- 238000000605 extraction Methods 0.000 claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims description 25
- 238000012937 correction Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 16
- 238000005457 optimization Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 10
- 238000003745 diagnosis Methods 0.000 claims description 10
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 10
- 235000002566 Capsicum Nutrition 0.000 claims description 9
- 239000006002 Pepper Substances 0.000 claims description 9
- 235000016761 Piper aduncum Nutrition 0.000 claims description 9
- 235000017804 Piper guineense Nutrition 0.000 claims description 9
- 235000008184 Piper nigrum Nutrition 0.000 claims description 9
- 239000003990 capacitor Substances 0.000 claims description 9
- 201000010099 disease Diseases 0.000 claims description 9
- 238000011084 recovery Methods 0.000 claims description 9
- 150000003839 salts Chemical class 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 8
- 238000009499 grossing Methods 0.000 claims description 7
- 230000000087 stabilizing effect Effects 0.000 claims description 7
- 230000009471 action Effects 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 claims description 4
- 238000010801 machine learning Methods 0.000 claims description 4
- 210000001835 viscera Anatomy 0.000 claims description 4
- 238000012800 visualization Methods 0.000 claims description 4
- 244000203593 Piper nigrum Species 0.000 claims 1
- 239000003814 drug Substances 0.000 description 17
- 238000002560 therapeutic procedure Methods 0.000 description 16
- 230000009286 beneficial effect Effects 0.000 description 11
- 241000722363 Piper Species 0.000 description 8
- 238000001467 acupuncture Methods 0.000 description 6
- 210000003128 head Anatomy 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000011284 combination treatment Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 235000003261 Artemisia vulgaris Nutrition 0.000 description 1
- 240000006891 Artemisia vulgaris Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 239000002729 catgut Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H39/00—Devices for locating or stimulating specific reflex points of the body for physical therapy, e.g. acupuncture
- A61H39/02—Devices for locating such points
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/90—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to alternative medicines, e.g. homeopathy or oriental medicines
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Public Health (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Epidemiology (AREA)
- Data Mining & Analysis (AREA)
- Primary Health Care (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Rehabilitation Therapy (AREA)
- Mathematical Physics (AREA)
- Physical Education & Sports Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Pain & Pain Management (AREA)
- Veterinary Medicine (AREA)
- Alternative & Traditional Medicine (AREA)
- Molecular Biology (AREA)
- Pharmacology & Pharmacy (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Human Computer Interaction (AREA)
- Pathology (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Finger-Pressure Massage (AREA)
Abstract
本发明涉及医疗器械技术领域，具体提供了一种基于现实虚拟的人体穴位识别方法和系统，方法包括穿戴具备人体穴位识别功能的VR眼镜或者AR眼镜，采集患者的人体图像，并进行预处理；提取预处理后人体图像的图像特征，将图像特征输入预设的穴位识别神经网络模型进行训练，得到患者穴位与经脉图；根据预设的穴位治疗方案确定需要进行治疗操作的穴位位置。系统包括VR眼镜或者AR眼镜，VR眼镜或者AR眼镜包括主控模块、特征提取模块、穴位定位模块和数码摄像头，主控模块分别与特征提取模块、穴位定位模块和数码摄像头连接，用于实现前述人体穴位识别方法。本发明降低了操作人员对人体穴位辨识的掌握程度，使得人员训练简化，可以缩短医务人员的训练时间。
Description
技术领域
本发明涉及医疗器械技术领域，特别涉及一种基于现实虚拟的人体穴位识别方法和系统。
背景技术
人体穴位的辨识是中医采用穴位治疗方式(手段)的基础，中医的穴位治疗方式(手段)包括但不限于穴位贴敷、艾灸、针刺、针灸、穴位埋线和穴位推拿等。以艾灸(简称灸疗或灸法)为例，艾灸它是用艾叶制成的艾条和/或艾柱产生的艾热刺激人体穴位或特定部位，激发经脉气的活动来调整人体紊乱的生理生化功能，从而达到防病治病目的。其他穴位治疗方式的作用机制与艾灸有相近之处，且不同穴位治疗方式可以相辅相成进行组合治疗，组合治疗的作用更强，效果更佳。
穴位治疗方式的效果与人体穴位及治疗操作的准确性成正相关，由于对人体穴位的辨识需要长时间的训练才能掌握，因此艾灸操作人员需要较长的学习过程。
发明内容
为了解决上述技术问题，本发明提供了一种基于现实虚拟的人体穴位识别方法，包括以下步骤：
S100：穿戴具备人体穴位识别功能的VR眼镜或者AR眼镜，采集患者的人体图像，并进行预处理；
S200：提取预处理后人体图像的图像特征，将图像特征输入预设的穴位识别神经网络模型进行训练，得到患者穴位与经脉图；
S300：根据预设的穴位治疗方案确定需要进行治疗操作的穴位位置。
可选的，S200步骤中采用的穴位识别神经网络模型通过以下方式得到：
S210：获取具有穴位与经脉标识的人体样本图像，提取人体样本图像的图像特征，构建样本数据集；
S220：构建基于神经网络的穴位识别初步模型；
S230：采用样本数据集用于对穴位识别初步模型进行训练优化，得到穴位识别神经网络模型。
可选的，还包括S400：对患者采用穴位治疗方案进行治疗，具体如下：
S410：采集对患者进行治疗操作治疗的实时治疗操作图像，进行预处理；
S420：根据实时治疗操作图像和穴位位置进行实时治疗操作定位矫正；
S430：在穴位与经脉图基础上，结合治疗操作进展形成实时穴位治疗操作图并在VR眼镜或者AR眼镜上进行显示。
可选的，预处理包括：
以人体图像的像素为基础，对采集的多帧人体图像进行融合，得到融合后的人体图像；
通过恢复低秩矩阵去除融合后的人体图像中存在的椒盐噪声，得到去噪后的人体图像；其中，恢复低秩矩阵通过以下方式得到：对融合后的人体图像划分像素坐标区域，根据排列构建特征矩阵，采用极小化目标优化函数运算处理得到低秩矩阵，使用广义拉格朗日乘数法对目标优化函数求解，得到恢复低秩矩阵；
对去噪后的人体图像采用均值滤波进行平滑处理，得到平滑处理后的人体图像。
可选的，在S420步骤中，实时治疗操作定位矫正的方式如下：
对实时治疗操作图像进行图像识别处理，识别穴位治疗操作手势，并获取穴位治疗操作手势的位置信息；
选取患者身体上的某点作为原点构建坐标系，根据穴位治疗方案确定需要治疗操作的当前穴位，将穴位治疗操作手势的位置信息和当前穴位的穴位位置导入坐标系进行坐标定位；
将穴位治疗操作手势坐标与当前穴位的穴位位置坐标进行向量转化，采用向量运算方式进行坐标对比；
若穴位治疗操作手势坐标与当前穴位的穴位位置坐标存在偏差，根据偏差方向进行穴位治疗操作手势移动提示；通过治疗操作动作跟踪，对穴位治疗操作手势的位置信息进行实时更新；并将更新后的穴位治疗操作手势坐标与当前穴位的穴位位置坐标进行坐标对比；
若穴位治疗操作手势坐标与当前穴位的穴位位置坐标相互匹配，则进行当前穴位的穴位治疗操作手势治疗操作。
本发明还提供了一种基于现实虚拟的人体穴位识别系统，包括VR眼镜或者AR眼镜，VR眼镜或者AR眼镜包括主控模块、特征提取模块、穴位定位模块和数码摄像头；
数码摄像头用于采集患者的人体图像，并进行预处理；
特征提取模块用于提取预处理后人体图像的图像特征；
主控模块分别与特征提取模块、穴位定位模块和数码摄像头连接，主控模块内置穴位识别神经网络模型，将图像特征输入预设的穴位识别神经网络模型进行训练，得到患者穴位与经脉图；
穴位定位模块用于根据预设的穴位治疗方案确定需要进行治疗操作的穴位位置。
可选的，主控模块连接有治疗定位矫正模块；和显示器；
数码摄像头用于对患者进行治疗操作治疗时采集患者的实时治疗操作图像，并进行预处理；
治疗定位矫正模块；用于根据实时治疗操作图像和穴位位置进行实时治疗操作定位矫正；
主控模块在穴位与经脉图基础上结合治疗操作进展形成实时穴位治疗操作图；
显示器用于显示患者的实时穴位治疗操作图。
可选的，主控模块连接有远红外探测头，远红外探测头用于探测患者的经脉数据；
主控模块连接有辅助诊疗分析模块，辅助诊疗分析模块用于对经脉数据进行处理，利用机器学习技术，得到患者的病情参数，对患者脏腑和经络的潜在病症进行预判，并推荐穴位治疗方案；
在实施穴位治疗操作过程中，根据远红外探测头实时探测的经脉数据，对经络间的变化和热传导情况进行观测，实现治疗效果的可视化。
可选的，数码摄像头内置预处理单元，预处理单元对人体图像和实时治疗操作图像进行预处理包括：
以人体图像的像素为基础，对采集的多帧人体图像进行融合，得到融合后的人体图像
通过恢复低秩矩阵去除融合后的人体图像中存在的椒盐噪声，得到去噪后的人体图像，其中，恢复低秩矩阵通过以下方式得到：对融合后的人体图像划分像素坐标区域，根据排列构建特征矩阵，采用极小化目标优化函数运算处理得到低秩矩阵，使用广义拉格朗日乘数法对目标优化函数求解，得到恢复低秩矩阵；
对去噪后的人体图像采用均值滤波进行平滑处理，得到平滑处理后的人体图像。
可选的，VR眼镜或者AR眼镜配置有稳压电路，通过电池的电源输出经稳压电路处理后给VR眼镜或者AR眼镜供电；
远红外探测头配置有放大电路；所述放大电路包括电阻R1、电阻R2、电阻R3、电容C1、电容C2和放大器U1；
所述远红外探测头与电阻R1的一端连接，所述电阻R1的另一端分别与电容C1的正极和放大器U1的输入引脚1连接，所述放大器U1的输入引脚2与电源连接；所述电容C1的负极与电阻R2的一端连接，所述电阻R2的另一端与放大器U1的输出引脚及电阻R3的一端连接，所述电阻R3的另一端与电容C2的正极连接，所述电容C2的负极接地，所述电阻R3的另一端与主控模块连接。
本发明的基于现实虚拟的人体穴位识别方法和系统，通过穿戴具备人体穴位识别功能的VR眼镜或者AR眼镜，采集患者的人体图像，提取图像特征并输入预设的穴位识别神经网络模型进行训练，得到患者穴位与经脉图，配合以预设的穴位治疗方案确定需要进行治疗操作的穴位位置，即可辅助实现中医穴位疗法中对人体穴位识别，大大降低了操作人员对人体穴位辨识的掌握程度，使得中医穴位疗法实施人员能够经简化训练就可以胜任，可以缩短中医穴位疗法医务人员的训练时间。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种基于现实虚拟的人体穴位识别方法流程图；
图2为本发明的基于现实虚拟的人体穴位识别方法实施例采用的穴位识别神经网络模型构建流程图；
图3为本发明的基于现实虚拟的人体穴位识别方法实施例二流程图；
图4为本发明的基于现实虚拟的人体穴位识别方法图3实施例对患者采用穴位治疗方案进行治疗的流程图；
图5为本发明实施例中一种基于现实虚拟的人体穴位识别系统示意图；
图6为本发明的基于现实虚拟的人体穴位识别系统实施例采用的远红外探测头所配置的放大电路示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
如图1所示，本发明实施例提供了一种基于现实虚拟的人体穴位识别方法，包括以下步骤：
S100：穿戴具备人体穴位识别功能的VR眼镜或者AR眼镜，采集患者的人体图像，并进行预处理；
S200：提取预处理后人体图像的图像特征，将图像特征输入预设的穴位识别神经网络模型进行训练，得到患者穴位与经脉图；
S300：根据预设的穴位治疗方案确定需要进行治疗操作的穴位位置。
上述技术方案的工作原理和有益效果为：本方案通过穿戴具备人体穴位识别功能的VR眼镜或者AR眼镜，采集患者的人体图像，提取图像特征并输入预设的穴位识别神经网络模型进行训练，得到患者穴位与经脉图，配合以预设的穴位治疗方案确定需要进行治疗操作的穴位位置，即可辅助实现中医穴位疗法中对人体穴位识别，大大降低了操作人员对人体穴位辨识的掌握程度，使得中医穴位疗法实施人员能够经简化训练就可以胜任，可以缩短中医穴位疗法医务人员的训练时间。
在一个实施例中，如图2所示，S200步骤中采用的穴位识别神经网络模型通过以下方式得到：
S210：获取具有穴位与经脉标识的人体样本图像，提取人体样本图像的图像特征，构建样本数据集；
S220：构建基于神经网络的穴位识别初步模型；
S230：采用样本数据集用于对穴位识别初步模型进行训练优化，得到穴位识别神经网络模型。
上述技术方案的工作原理和有益效果为：本方案对于VR眼镜或者AR眼镜中用于人体穴位识别的穴位识别神经网络模型，基于神经网络构建穴位识别初步模型，获取具有穴位与经脉标识的人体样本图像，人体样本图像必须足够用于模型训练，例如采用1万张不同的人体样本图像，提取人体样本图像的图像特征构建样本数据集，进行模型训练与优化最终得到穴位识别神经网络模型；通过模型训练与优化提高了穴位识别神经网络模型对于人体穴位的辨识准确率，训练样本可以采用不同人的人体样本图像，使得穴位识别神经网络模型可以广泛地适用于不同人群的穴位辨识；穴位识别神经网络模型对穴位的识别可以采用多点(至少包括不在同一直线上的三个点)定位原理，例如对于面部穴位可以先找到(识别)印堂、下额和耳廓作为定位特征点，基于面部各穴位与印堂、下额和耳廓的位置关系进行定位识别；躯干穴位可以采用从脊椎及两肩上选取不在同一直线上的至少三个点作为定位特征点；四肢穴位可以采用从不同关节位置选取不在同一直线上的至少三个点作为定位特征点；人体样本图像的图像特征包括定位特征点及相互关系等。
在一个实施例中，如图3-4所示，还包括S400：对患者采用穴位治疗方案进行治疗，具体如下：
S410：采集对患者进行治疗操作治疗的实时治疗操作图像，进行预处理；
S420：根据实时治疗操作图像和穴位位置进行实时治疗操作定位矫正；
S430：在穴位与经脉图基础上，结合治疗操作进展形成实时穴位治疗操作图并在VR眼镜或者AR眼镜上进行显示。
上述技术方案的工作原理和有益效果为：本方案在利用VR眼镜或者AR眼镜中的穴位识别神经网络模型进行人体穴位识别的基础上，通过采集实时治疗操作图像进行实时治疗操作定位矫正，显示在VR眼镜或者AR眼镜上，对中医穴位疗法操作者(即VR眼镜或者AR眼镜的佩戴者)进行穴位治疗操作的辅助定位与引导，可以帮助对人体穴位掌握深度不高的人员实现准确中医穴位疗法工作；其中，对于实时治疗操作图像可以采用人体图像同样的预处理方式。
在一个实施例中，预处理包括：
以人体图像的像素为基础，对采集的多帧人体图像进行融合，得到融合后的人体图像
通过恢复低秩矩阵去除融合后的人体图像中存在的椒盐噪声，得到去噪后的人体图像，其中，恢复低秩矩阵通过以下方式得到：对融合后的人体图像划分像素坐标区域，根据排列构建特征矩阵，采用极小化目标优化函数运算处理得到低秩矩阵，使用广义拉格朗日乘数法对目标优化函数求解，得到恢复低秩矩阵；
对去噪后的人体图像采用均值滤波进行平滑处理，得到平滑处理后的人体图像。
上述技术方案的工作原理和有益效果为：本方案通过对人体图像进行上述预处理，可以提高人体图像的像素清晰度，排除椒盐噪声，通过平滑处理对去除椒盐噪声产生的不平滑情况进行补偿处理，使得去除噪声后的人体图像的恢复平滑性，改善了人体图像的质量，为后续提取图像特征用于穴位识别提供了良好基础，可以进一步提高穴位及经脉识别的准确性。
在一个实施例中，在预处理时，多帧人体图像进行融合采用以下算法实施：
上式中，P‘(i，j)表示融合后人体图像的像素点(i，j)的像素值；n表示采集人体图像的帧数；Pk(i，j)表示融合前第k帧人体图像的像素点(i，j)的像素值；ωk(i，j)表示第k帧人体图像的融合权重。
上述技术方案的工作原理和有益效果为：本方案通过采集多帧人体图像，采上述算法进行图像融合处理，可以避免采用单帧图像由于照明、动作等因此影响导致的图像质量较差而引起穴位与经脉识别及中医穴位疗法治疗操作误差，进一步提高穴位及经脉识别的准确性。
在一个实施例中，在S420步骤中，实时治疗操作定位矫正的方式如下：
对实时治疗操作图像进行图像识别处理，识别穴位治疗操作手势，并获取穴位治疗操作手势的位置信息；
选取患者身体上的某点作为原点构建坐标系，根据穴位治疗方案确定需要治疗操作的当前穴位，将穴位治疗操作手势的位置信息和当前穴位的穴位位置导入坐标系进行坐标定位；
将穴位治疗操作手势坐标与当前穴位的穴位位置坐标进行向量转化，采用向量运算方式进行坐标对比；
若穴位治疗操作手势坐标与当前穴位的穴位位置坐标存在偏差，根据偏差方向进行穴位治疗操作手势移动提示；通过治疗操作动作跟踪，对穴位治疗操作手势的位置信息进行实时更新；并将更新后的穴位治疗操作手势坐标与当前穴位的穴位位置坐标进行坐标对比；
若穴位治疗操作手势坐标与当前穴位的穴位位置坐标相互匹配，则进行当前穴位的穴位治疗操作手势治疗操作。
上述技术方案的工作原理和有益效果为：本方案对于实时治疗操作定位矫正，采用坐标系进行坐标定位，通过治疗操作动作跟踪，实时把握穴位治疗操作手势的位置信息及穴位治疗操作手势坐标，使用坐标进行向量转化，采用向量运算方式进行坐标对比和提示，实现了矫正的全过程引导，采用向量运算提高了定位精度，提高了本发明采用的VR眼镜或者AR眼镜的辅助治疗操作的精度。
如图5所示，本发明实施例提供了一种基于现实虚拟的人体穴位识别系统，包括VR眼镜或者AR眼镜，VR眼镜或者AR眼镜包括主控模块、特征提取模块、穴位定位模块和数码摄像头；
数码摄像头用于采集患者的人体图像，并进行预处理；
特征提取模块用于提取预处理后人体图像的图像特征；
主控模块分别与特征提取模块、穴位定位模块和数码摄像头连接，主控模块内置穴位识别神经网络模型，将图像特征输入预设的穴位识别神经网络模型进行训练，得到患者穴位与经脉图；
穴位定位模块用于根据预设的穴位治疗方案确定需要进行治疗操作的穴位位置。
上述技术方案的工作原理和有益效果为：本方案通过穿戴具备人体穴位识别功能的VR眼镜或者AR眼镜，采集患者的人体图像，提取图像特征并输入预设的穴位识别神经网络模型进行训练，得到患者穴位与经脉图，配合以预设的穴位治疗方案确定需要进行治疗操作的穴位位置，即可辅助实现中医穴位疗法中对人体穴位识别，大大降低了操作人员对人体穴位辨识的掌握程度，使得中医穴位疗法实施人员能够经简化训练就可以胜任，可以缩短中医穴位疗法医务人员的训练时间。
在一个实施例中，如图5所示，主控模块连接有治疗定位矫正模块；和显示器；
数码摄像头用于对患者进行治疗操作治疗时采集患者的实时治疗操作图像，并进行预处理；
治疗定位矫正模块；用于根据实时治疗操作图像和穴位位置进行实时治疗操作定位矫正；
主控模块在穴位与经脉图基础上结合治疗操作进展形成实时穴位治疗操作图；
显示器用于显示患者的实时穴位治疗操作图。
上述技术方案的工作原理和有益效果为：本方案在利用VR眼镜或者AR眼镜中的穴位识别神经网络模型进行人体穴位识别的基础上，通过数码摄像头采集实时治疗操作图像，使用治疗定位矫正模块；进行实时治疗操作定位矫正，显示在VR眼镜或者AR眼镜的显示器上，对中医穴位疗法操作者进行穴位治疗操作的辅助定位与引导，可以帮助对人体穴位掌握深度不高的人员实现准确中医穴位疗法工作；其中，对于实时治疗操作图像可以采用人体图像同样的预处理方式。
在一个实施例中，如图5所示，主控模块连接有远红外探测头，远红外探测头用于探测患者的经脉数据；
主控模块连接有辅助诊疗分析模块，辅助诊疗分析模块用于对经脉数据进行处理，利用机器学习技术，得到患者的病情参数，对患者脏腑和经络的潜在病症进行预判，并推荐穴位治疗方案；
在实施穴位治疗操作过程中，根据远红外探测头实时探测的经脉数据，对经络间的变化和热传导情况进行观测，实现治疗效果的可视化。
上述技术方案的工作原理和有益效果为：本方案通过设置远红外探测头探测患者的经脉数据，配合设置的辅助诊疗分析模块对经脉数据进行处理，采用机器学习技术，可以输出患者一些重要病情参数，例如某条经脉在某个位置存在淤堵情况等，对患者脏腑和经络的潜在病症进行预判，提高了辅助诊疗的客观性，让医务人员及患者深入了解健康情况；结合辅助诊疗情况推荐穴位治疗方案，可以提高诊疗效率；另外，在实施穴位治疗操作过程中，根据远红外探测头实时探测的经脉数据，对经络间的变化和热传导情况进行观测，了解实施的穴位治疗操作对人体产生的影响，实现治疗效果的可视化。
在一个实施例中，数码摄像头内置预处理单元，预处理单元对人体图像和实时治疗操作图像进行预处理包括：
以人体图像的像素为基础，对采集的多帧人体图像进行融合，得到融合后的人体图像
通过恢复低秩矩阵去除融合后的人体图像中存在的椒盐噪声，得到去噪后的人体图像，其中，恢复低秩矩阵通过以下方式得到：对融合后的人体图像划分像素坐标区域，根据排列构建特征矩阵，采用极小化目标优化函数运算处理得到低秩矩阵，使用广义拉格朗日乘数法对目标优化函数求解，得到恢复低秩矩阵；
对去噪后的人体图像采用均值滤波进行平滑处理，得到平滑处理后的人体图像。
上述技术方案的工作原理和有益效果为：本方案通过在数码摄像头设置预处理单元，对人体图像和实时治疗操作图像进行上述预处理，可以提高人体图像和实时治疗操作图像的像素清晰度，排除椒盐噪声，通过平滑处理对去除椒盐噪声产生的不平滑情况进行补偿处理，使得去除噪声后的人体图像和实时治疗操作图像的恢复平滑性，改善了人体图像和实时治疗操作图像的质量，为后续穴位识别和中医穴位疗法治疗操作提供了良好基础，可以进一步提高穴位与经脉识别及中医穴位疗法治疗操作的准确性。
在一个实施例中，VR眼镜或者AR眼镜配置有稳压电路，通过电池的电源输出经稳压电路处理后给VR眼镜或者AR眼镜供电；
如图6所示，远红外探测头配置有放大电路；所述放大电路包括电阻R1、电阻R2、电阻R3、电容C1、电容C2和放大器U1；
所述远红外探测头与电阻R1的一端连接，所述电阻R1的另一端分别与电容C1的正极和放大器U1的输入引脚1连接，所述放大器U1的输入引脚2与电源连接；所述电容C1的负极与电阻R2的一端连接，所述电阻R2的另一端与放大器U1的输出引脚及电阻R3的一端连接，所述电阻R3的另一端与电容C2的正极连接，所述电容C2的负极接地，所述电阻R3的另一端与主控模块连接。
上述技术方案的工作原理和有益效果为：本方案通过设置稳压电路，降低电池在使用寿命时长中由于使用时长变化引起的电源输出衰减，提高了VR眼镜或者AR眼镜的运行精度、可靠性和使用寿命；通过给远红外探测头配置有放大电路，将远红外探测头输出的探测信号放大，可以识别细微的探测差异，提高探测灵敏度；还可以提高探测信号的抗干扰性能，保障远红外探测头的经脉探测精度。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (1)
1.一种基于现实虚拟的人体穴位识别系统，其特征在于，包括VR眼镜或者AR眼镜，VR眼镜或者AR眼镜包括主控模块、特征提取模块、穴位定位模块和数码摄像头；
数码摄像头用于采集患者的人体图像，并进行预处理；
特征提取模块用于提取预处理后人体图像的图像特征；
主控模块分别与特征提取模块、穴位定位模块和数码摄像头连接，主控模块内置穴位识别神经网络模型，将图像特征输入预设的穴位识别神经网络模型进行训练，得到患者穴位与经脉图；
穴位定位模块用于根据预设的穴位治疗方案确定需要进行治疗操作的穴位位置；
其中，主控模块连接有治疗定位矫正模块；和显示器；
数码摄像头用于对患者进行治疗操作治疗时采集患者的实时治疗操作图像，并进行预处理；
治疗定位矫正模块；用于根据实时治疗操作图像和穴位位置进行实时治疗操作定位矫正；
主控模块在穴位与经脉图基础上结合治疗操作进展形成实时穴位治疗操作图；
显示器用于显示患者的实时穴位治疗操作图；
数码摄像头内置预处理单元，预处理单元对人体图像和实时治疗操作图像进行预处理包括：
以人体图像的像素为基础，对采集的多帧人体图像进行融合，得到融合后的人体图像；
通过恢复低秩矩阵去除融合后的人体图像中存在的椒盐噪声，得到去噪后的人体图像，其中，恢复低秩矩阵通过以下方式得到：对融合后的人体图像划分像素坐标区域，根据排列构建特征矩阵，采用极小化目标优化函数运算处理得到低秩矩阵，使用广义拉格朗日乘数法对目标优化函数求解，得到恢复低秩矩阵；
对去噪后的人体图像采用均值滤波进行平滑处理，得到平滑处理后的人体图像；
所述多帧人体图像进行融合采用以下算法实施：
上式中，P‘(i,j)表示融合后人体图像的像素点(i,j)的像素值；n表示采集人体图像的帧数；Pk(i,j)表示融合前第k帧人体图像的像素点(i,j)的像素值；ωk(i,j)表示第k帧人体图像的融合权重；
实时治疗操作定位矫正的方式如下：
对实时治疗操作图像进行图像识别处理，识别穴位治疗操作手势，并获取穴位治疗操作手势的位置信息；
选取患者身体上的某点作为原点构建坐标系，根据穴位治疗方案确定需要治疗操作的当前穴位，将穴位治疗操作手势的位置信息和当前穴位的穴位位置导入坐标系进行坐标定位；
将穴位治疗操作手势坐标与当前穴位的穴位位置坐标进行向量转化，采用向量运算方式进行坐标对比；
若穴位治疗操作手势坐标与当前穴位的穴位位置坐标存在偏差，根据偏差方向进行穴位治疗操作手势移动提示；通过治疗操作动作跟踪，对穴位治疗操作手势的位置信息进行实时更新；并将更新后的穴位治疗操作手势坐标与当前穴位的穴位位置坐标进行坐标对比；
若穴位治疗操作手势坐标与当前穴位的穴位位置坐标相互匹配，则进行当前穴位的穴位治疗操作手势治疗操作；
主控模块连接有远红外探测头，远红外探测头用于探测患者的经脉数据；
主控模块连接有辅助诊疗分析模块，辅助诊疗分析模块用于对经脉数据进行处理，利用机器学习技术，得到患者的病情参数，对患者脏腑和经络的潜在病症进行预判，并推荐穴位治疗方案；
在实施穴位治疗操作过程中，根据远红外探测头实时探测的经脉数据，对经络间的变化和热传导情况进行观测，实现治疗效果的可视化；
VR眼镜或者AR眼镜配置有稳压电路，通过电池的电源输出经稳压电路处理后给VR眼镜或者AR眼镜供电；
远红外探测头配置有放大电路；所述放大电路包括电阻R1、电阻R2、电阻R3、电容C1、电容C2和放大器U1；
所述远红外探测头与电阻R1的一端连接，所述电阻R1的另一端分别与电容C1的正极和放大器U1的输入引脚1连接，所述放大器U1的输入引脚2与电源连接；所述电容C1的负极与电阻R2的一端连接，所述电阻R2的另一端与放大器U1的输出引脚及电阻R3的一端连接，所述电阻R3的另一端与电容C2的正极连接，所述电容C2的负极接地，所述电阻R3的另一端与主控模块连接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210715208.6A CN115227569B (zh) | 2022-06-23 | 2022-06-23 | 基于现实虚拟的人体穴位识别系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210715208.6A CN115227569B (zh) | 2022-06-23 | 2022-06-23 | 基于现实虚拟的人体穴位识别系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115227569A CN115227569A (zh) | 2022-10-25 |
| CN115227569B true CN115227569B (zh) | 2024-02-23 |
Family
ID=83668889
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210715208.6A Active CN115227569B (zh) | 2022-06-23 | 2022-06-23 | 基于现实虚拟的人体穴位识别系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115227569B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117636446B (zh) * | 2024-01-25 | 2024-05-07 | 江汉大学 | 脸部穴位定位方法、针灸方法、针灸机器人及存储介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103377466A (zh) * | 2012-04-12 | 2013-10-30 | 西门子公司 | 用于增强透视成像系统中图像对比度的方法及系统 |
| CN105534694A (zh) * | 2015-12-04 | 2016-05-04 | 上海华郡科技有限公司 | 一种人体特征可视化装置及方法 |
| CN106859956A (zh) * | 2017-01-13 | 2017-06-20 | 北京奇虎科技有限公司 | 一种人体穴位识别按摩方法、装置及ar设备 |
| CN110063886A (zh) * | 2019-05-17 | 2019-07-30 | 谈佳乐 | 一种ar增强现实智能针灸头戴式设备 |
| WO2019218808A1 (zh) * | 2018-05-14 | 2019-11-21 | 张海滨 | 一种穴位刺激仪及穴位刺激系统 |
| CN112767263A (zh) * | 2021-01-07 | 2021-05-07 | 上饶师范学院 | 基于低秩函数和多方向全变分的图像混合噪声去除方法 |
| CN113011568A (zh) * | 2021-03-31 | 2021-06-22 | 华为技术有限公司 | 一种模型的训练方法、数据处理方法及设备 |
| CN113139914A (zh) * | 2021-03-16 | 2021-07-20 | 哈尔滨工业大学（深圳） | 图像去噪方法、装置、电子设备及存储介质 |
| CN113763793A (zh) * | 2021-08-23 | 2021-12-07 | 黑龙江中医药大学 | 一种针灸训练系统和方法 |
| CN113808047A (zh) * | 2021-09-22 | 2021-12-17 | 武汉商学院 | 一种人体运动捕捉数据去噪方法 |
| CN113822290A (zh) * | 2021-09-26 | 2021-12-21 | 上海闻泰电子科技有限公司 | 数据融合方法、装置、电子设备和计算机可读存储介质 |
| CN113842116A (zh) * | 2021-10-14 | 2021-12-28 | 北京鹰之眼智能健康科技有限公司 | 一种人体穴位的自动定位方法、装置和电子设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103655164B (zh) * | 2013-11-21 | 2016-01-27 | 成都中医药大学 | 支持多路输出的循证针灸经穴治疗与检测仪及其使用方法 |
-
2022
- 2022-06-23 CN CN202210715208.6A patent/CN115227569B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103377466A (zh) * | 2012-04-12 | 2013-10-30 | 西门子公司 | 用于增强透视成像系统中图像对比度的方法及系统 |
| CN105534694A (zh) * | 2015-12-04 | 2016-05-04 | 上海华郡科技有限公司 | 一种人体特征可视化装置及方法 |
| CN106859956A (zh) * | 2017-01-13 | 2017-06-20 | 北京奇虎科技有限公司 | 一种人体穴位识别按摩方法、装置及ar设备 |
| WO2019218808A1 (zh) * | 2018-05-14 | 2019-11-21 | 张海滨 | 一种穴位刺激仪及穴位刺激系统 |
| CN110063886A (zh) * | 2019-05-17 | 2019-07-30 | 谈佳乐 | 一种ar增强现实智能针灸头戴式设备 |
| CN112767263A (zh) * | 2021-01-07 | 2021-05-07 | 上饶师范学院 | 基于低秩函数和多方向全变分的图像混合噪声去除方法 |
| CN113139914A (zh) * | 2021-03-16 | 2021-07-20 | 哈尔滨工业大学（深圳） | 图像去噪方法、装置、电子设备及存储介质 |
| CN113011568A (zh) * | 2021-03-31 | 2021-06-22 | 华为技术有限公司 | 一种模型的训练方法、数据处理方法及设备 |
| CN113763793A (zh) * | 2021-08-23 | 2021-12-07 | 黑龙江中医药大学 | 一种针灸训练系统和方法 |
| CN113808047A (zh) * | 2021-09-22 | 2021-12-17 | 武汉商学院 | 一种人体运动捕捉数据去噪方法 |
| CN113822290A (zh) * | 2021-09-26 | 2021-12-21 | 上海闻泰电子科技有限公司 | 数据融合方法、装置、电子设备和计算机可读存储介质 |
| CN113842116A (zh) * | 2021-10-14 | 2021-12-28 | 北京鹰之眼智能健康科技有限公司 | 一种人体穴位的自动定位方法、装置和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115227569A (zh) | 2022-10-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109859203B (zh) | 基于深度学习的缺陷牙齿图像识别方法 | |
| CN110368300B (zh) | 一种智能针灸诊疗系统 | |
| WO2019052062A1 (zh) | 基于人工智能的医学影像报告生成系统及方法 | |
| CN115227569B (zh) | 基于现实虚拟的人体穴位识别系统 | |
| CN110338759B (zh) | 一种正面疼痛表情数据采集方法 | |
| CN112420141B (zh) | 一种中医健康评估系统及其应用 | |
| CN113647939A (zh) | 一种针对脊柱退行性疾病的人工智能康复评估与训练系统 | |
| Zhu et al. | Multi-source fusion domain adaptation using resting-state knowledge for motor imagery classification tasks | |
| CN111445979A (zh) | 一种中医经络识别的方法 | |
| CN110477867A (zh) | 一种动物电刺激疼痛评估测试系统及评估测试方法 | |
| CN110321827A (zh) | 一种基于人脸疼痛表情视频的疼痛水平评估方法 | |
| CN115496786A (zh) | 一种基于机器视觉的背部穴道的定位方法 | |
| Kossack et al. | Automatic region-based heart rate measurement using remote photoplethysmography | |
| CN116098621A (zh) | 一种基于注意力机制的情绪面孔及生理反应识别方法 | |
| Mehrizi et al. | Automatic health problem detection from gait videos using deep neural networks | |
| CN112070737A (zh) | 一种基于舌象图像处理的中医观舌辩症智能识别方法 | |
| Zaher et al. | A framework for assessing physical rehabilitation exercises | |
| Chinnaiah et al. | A new deliberation of embedded based assistive system for Yoga | |
| LIU et al. | Artificial intelligence rehabilitation evaluation and training system for degeneration of joint disease | |
| CN114092449A (zh) | 一种基于深度学习的人体脏器和经络的视觉定位方法 | |
| Lee et al. | Design of A Hand Back Acupoint Massage Aid | |
| Ríos-Kavadoy et al. | Intelligent Scroll Order Generator Software from View Movements in People with Disabilities | |
| WO2023179218A1 (zh) | 运动障碍病的静止性震颤量化评估方法和系统 | |
| JP6895603B1 (ja) | 微弱電流による人体の機能改善を施すための治療・施術システム | |
| Yang et al. | Rehabilitation Training Evaluation and Correction System Based on BlazePose |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |