CN109091380B - 以ar技术实现穴道视觉化的中医系统及其方法 - Google Patents
以ar技术实现穴道视觉化的中医系统及其方法 Download PDFInfo
- Publication number
- CN109091380B CN109091380B CN201810173002.9A CN201810173002A CN109091380B CN 109091380 B CN109091380 B CN 109091380B CN 201810173002 A CN201810173002 A CN 201810173002A CN 109091380 B CN109091380 B CN 109091380B
- Authority
- CN
- China
- Prior art keywords
- acupoint
- marks
- image
- deformable model
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000012800 visualization Methods 0.000 title claims abstract description 19
- 239000003814 drug Substances 0.000 title claims abstract description 16
- 238000005516 engineering process Methods 0.000 title claims abstract description 16
- 208000024891 symptom Diseases 0.000 claims abstract description 59
- 238000012545 processing Methods 0.000 claims abstract description 36
- 238000001467 acupuncture Methods 0.000 claims abstract description 15
- 230000000638 stimulation Effects 0.000 claims description 25
- 201000010099 disease Diseases 0.000 claims description 15
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 15
- 238000013459 approach Methods 0.000 claims description 8
- 230000016776 visual perception Effects 0.000 claims 2
- 230000002452 interceptive effect Effects 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 7
- 239000003550 marker Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000004936 stimulating effect Effects 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 244000309466 calf Species 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H39/00—Devices for locating or stimulating specific reflex points of the body for physical therapy, e.g. acupuncture
- A61H39/02—Devices for locating such points
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/01—Constructive details
- A61H2201/0107—Constructive details modular
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/50—Control means thereof
- A61H2201/5007—Control means thereof computer controlled
Landscapes
- Health & Medical Sciences (AREA)
- Rehabilitation Therapy (AREA)
- Epidemiology (AREA)
- Pain & Pain Management (AREA)
- Physical Education & Sports Medicine (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Finger-Pressure Massage (AREA)
Abstract
一种以AR技术实现穴道视觉化的中医系统及其方法，包括有一输入模块，用以接收症状的描述或穴道信息；一判断模块，具有一数据库与判断单元，该数据库储存有多笔病症数据以及多笔与前述病症相关联的穴道数据，该判断单元用以根据该症状的描述或穴道信息与这些病症数据进行关联性匹配，以取得对应的穴道数据；一影像处理模块，用以将对应该穴道数据的预估穴道位置点附加于该输入影像上，以形成一输出影像；以及一显示模块，与处理单元连接，该显示模块用以显示该输出影像。通过上述设计，可提供使用者查找自身穴道并视觉化显示的互动服务。
Description
技术领域
本发明涉及提示人体穴道位置的系统；特别是涉及一种以AR技术实现穴道视觉化的中医系统及其方法。
背景技术
中医针灸与穴位按摩是中医常用的疗法，根据病患的不同症状可以针对对应症状的穴道进行针灸或按摩，藉以治疗或缓解病患的不适。
然而，除非经由一段时间的专业训练，一般人很难找出对应各种症状的穴道点的位置以及对应的用途，再则，穴道的确切位置点也会根据个人体型上的差异而有所不同，因此，对于一般社会大众来说，通过按摩穴道来缓解自身的不适，是比较陌生的。
第100398083C号中国专利公开了一种虚拟现实针灸穴位定位方法，其结合有虚拟现实技术、自动化控制技术及激光投影技术等高科技手段改造传统针灸定位方式，实现针灸取穴定位高精度、自动化。然而，上述专利并未提供如何找出可缓解对应特定症状的穴道位置，因此，一般使用者在不了解穴道及其疗效的情况下，仍旧无法自己找出适当的穴道位置点，除此之外，前述专利还必须动用两台以上摄影机拍摄人体组成人体立体图像才能搜取对应穴位座标数据，而在搜取数据后，必须由自动控制系统控制机械手移动至对应穴位座标，才能定位出穴道位置，对于一般人而言，具有可实用性不高以及设备成本庞大等缺点。
中国专利申请CN102393880A公开了一种3dmax环境下经络腧穴立体定位方法，其发明目的在于如何在3D人体模型中进行经络腧穴立体定位，然而，该发明仅适合中医针灸的实践教学与临床施治，对于一般普罗大众而言并不实用。此外，上述专利也没有提供如何找出可缓解对应特定症状的腧穴位置，仅是标记出3D人体模型的所有经络腧穴位置，因此，一般使用者在不了解腧穴及其疗效的情况下，仍旧无法自己找出适当的腧穴位置点。
中国专利申请CN106780653A公开了一种人体经络与腧穴可视图的生成方法，实现在实时人体图像上迭加标准人体经络与与腧穴图像，藉以得到人体经络与腧穴可视图。但是，上述发明并没有提供可根据使用者所提供之症状来查找腧穴位置的相关技术内容，因此，对于一般使用者而言，不符合其使用需求。
中国专利申请CN101958079A公开了经脉穴位在三维虚拟人体解剖组织中的定位模型及其应用，揭露有在计算机视频上以人体虚拟仿真的三维数字图像和穴位针灸查询系统的形式运行显示。然而，该发明主要是应用于现代中医医学的科学研究与实践教学，偏重于学术教育，同样也没有提供可根据使用者所提供之症状来查找穴位的相关技术内容，而有所需要改良的地方。
发明内容
有鉴于此，本发明的目的在于提供一种以AR技术实现穴道视觉化的中医系统及其方法，可接收使用者输入症状，并帮助使用者快速定位出对应症状的穴道位置，藉以供使用者通过按摩该穴道位置以缓解症状。
为了实现上述目的，本发明提供的一种以AR技术实现穴道视觉化的中医系统，包括有：一处理单元；一输入模块，与该处理单元连接，该输入模块包括有一症状输入单元以及一影像输入单元，该症状输入单元用以接收一症状的描述，该影像输入单元用以接收一输入影像；一判断模块，与该处理单元连接，该判断模块包括有一数据库以及一判断单元，该数据库储存有多笔病症数据以及多笔与前述病症相关联的穴道数据；该判断单元用以根据该症状的描述与这些病症数据进行关联性匹配，以取得对应该症状的描述的穴道数据；一影像处理模块，与该处理单元连接，用以将对应该穴道数据的预估穴道位置点附加于该输入影像上，以形成一输出影像；以及一显示模块，与处理单元连接，该显示模块用以显示该输出影像。
为了实现上述目的，本发明另提供一种以AR技术实现穴道视觉化的方法，其包括有以下步骤：A、提供一数据库，该数据库储存有多笔病症数据以及多笔与前述病症相关联的穴道数据；B、接收一症状的描述或一穴道信息；C、根据该症状的描述或该穴道信息，与该数据库中所储存的病症数据或穴道数据进行关联性匹配，以取得对应的穴道数据；D、接收一输入影像，并依据步骤C所取得的穴道数据将预估穴道位置点附加于该输入影像上，以形成一输出影像；以及E、显示该输出影像。
本发明的效果在于，可根据使用者输入的症状的描述，查找出相应的穴道数据，并根据使用者所提供的输入影像，将预估穴道位置点附加于该输入影像上，并输出具有预估穴道位置点的输出影像，藉以提供使用者穴道视觉化体验。
附图说明
图1为本发明一实施例的以AR技术实现穴道视觉化的中医系统的方框图；
图2为本发明一实施例的以AR技术实现穴道视觉化的方法流程图；
图3为本发明一实施例的以AR技术实现穴道视觉化的中医系统的情境示意图；
图4及图5对输入影像标记第二标记的示意图；
图6为比对输入影像与可形变模型的偏差程度的示意图；
图7为平面座标示意图，揭示移动穴道位置点以取得预估穴道位置点；
图8A及图8B分别为初始与变形后的三维可形变模型投影于二维平面的示意图；
图9为平面座标示意图，揭示移动穴道位置点以取得预估穴道位置点；
图10为使用者手部接受穴道刺激的示意图。
【附图标记说明】
[本发明]
1 中医系统
10 处理单元
20 输入模块
22 症状输入单元 24 穴道输入单元 26 影像输入单元
30 判断模块
32 数据库 34 判断单元
40 影像处理模块
50 显示模块
60 智能手机
70 伺服器端
80 机械手臂
90 穴道刺激装置
A 穴道位置点 A’穴道位置点
A1 预估穴道位置点
I 输入影像
L1 第一标记
L11、L12、L13 第一标记
L11’、L12’、L13’ 第一标记
L2 第二标记
L21、L22、L23 第二标记
M 可形变模型
O 输出影像
v、v’ 顶点
P1，P2 穴道点
H 手部
具体实施方式
为能更清楚地说明本发明，现举一优选实施例并配合附图详细说明如后。请参见图1所示，为本发明一优选实施例的以AR技术实现穴道视觉化的中医系统1，其包括有一处理单元10、一输入模块20、一判断模块 30、一影像处理模块40以及一显示模块50。
该输入模块20与该处理单元10连接，该输入模块20包括有一症状输入单元22及/或一穴道输入单元26，以及一影像输入单元26。其中，该症状输入单元22用以接收一症状的描述，举例而言，在一实施例中，该症状输入单元22可以是一收音单元(如麦克风)，用以接收使用者通过语音的方式说明症状，或者用以接收使用者的一段声音档案，并且可通过分析该声音档案判断使用者的症状；另外，在一实施例中，该症状输入单元 22可以是例如触控屏、键盘等的操作介面，用以供使用者输入症状的描述；另外，在一实施例中，所述的症状输入单元也可为一相机镜头，用以拍摄患者的人体部位影像，并以该影像的特征作为输入的症状的描述，但在其他应用上，并不以此为限。
该穴道输入单元24用以接收一穴道信息，举例而言，在一实施例中，该穴道输入单元24可以是一收音单元，用以收录使用者以语音的方式所输入的穴道信息，其中所述穴道信息包括有：穴道名称、穴道功能等等；另外，在一实施例中，该穴道输入单元24可以是一以触控屏为例的操作介面，在该触控屏上显示有多个穴道信息的选单或按钮，可供使用者点选，以输入所选定的穴道信息。
该影像输入单元26用以接收一输入影像，举例而言，所述的影像输入单元26可以是一相机、摄影机或是其他配备有镜头的手机或是穿戴装置(如google眼镜等)，使用者可操作该影像输入单元26对人体部位进行拍摄，藉以取得输入影像。
该判断模块30与该处理单元10连接，其包括有一数据库32以及一判断单元34。该数据库32供储存有多笔病症数据以及多笔与前述病症相关联的穴道数据，此外，在一实施例中，所述的数据库32可为中医医学集成数据库，除了储存有病症、穴道数据外，还可储存有多种中药材资讯、病患历史资讯以及针对各病症所推荐的专门医院诊所等数据，但并不以此为限。
该判断单元34用以根据前述输入模块20所接收的症状的描述或者穴道信息，与该数据库32中所储存的这些病症数据、穴道数据等进行关联性匹配，以取得对应该症状的描述或该穴道信息的穴道数据。
该影像处理模块40与该处理单元10连接，用以将该对应该穴道数据的预估穴道位置点附加于该输入影像上，以形成一输出影像，并在该显示模块50上显示。
其中，前述的输入模块20可以是由一笔记本电脑、平板电脑、台式电脑、智能手机、便携式装置以及穿戴式装置等电子装置的其中一种所提供，或者是由前述装置协同运作以提供前述症状输入单元22、穴道输入单元24以及影像输入单元26的功能，而前述的处理单元10可为前述装置的处理核心，但不以此为限。所述诊断模块30可建置于前述的电子装置，但不以此为限，亦可建置于另外的主机上或者是云端数据库等伺服器端，并可通过网络或其他无线或是有线通讯方式与前述电子装置连线。所述影像处理模块40可以是前述电子装置所提供，或者由伺服器端方面所提供。所述显示模块50可以是前述电子装置所提供，或者是由该电子装置另外连接一显示装置，以实现该显示模块50显示该输出影像的功能。
请配合图1至图3所示，在一使用情境下，中医系统包括有一以智能手机60为例的行动装置，该智能手机60具有该处理单元10、该输入模块 20以及显示模块50；以及一伺服器端70，该伺服器端70提供有该判断模块30以及该影像处理模块40。
本实施例的以AR技术实现穴道视觉化的方法包括有以下步骤：首先，使用者可操作该智能手机60与该伺服器端70进行连线，例如通过运行应用程序与该伺服器端70连接，并可操作该智能手机60输入症状的描述或穴道信息，并将症状的描述或穴道信息上传至该伺服器端70，该伺服器端接收到该症状的描述或该穴道信息后，并可通过判断单元34根据该症状的描述或该穴道信息与数据库32中所储存的这些病症数据和/或这些穴道数据进行关联性匹配，并取得对应该症状的描述或该穴道信息的穴道数据。例如，在进行关联性匹配后，所得的穴道数据包括迎香穴以及巨髎穴。
接着，接收使用者所提供一二维输入影像，以作为后续穴道视觉化的目标影像。此外，在一实施例中，伺服器端70可进一步提示使用者提供对应匹配结果的特定人体部位特征的输入影像。举例而言，当该伺服器端 70进行匹配确认对应的穴道数据后，可一并取得对应穴道点位置，例如在本实施例中，进行关联性匹配所得的迎香穴以及巨髎穴皆位于脸部，那么伺服器端70便可更进一步提示使用者提供脸部影像作为输入影像，例如将人体模型中的头部以相异颜色或闪烁方式表示，如此一来，便可有助于提示使用者，以帮助使用者提供对应正确的人体部位输入影像。
在伺服器端70接收该输入影像后，便根据经由关联性匹配后所得的穴道数据将预估穴道位置点附加于该输入影像上，以形成一输出影像。例如，在本实施例中，是将迎香穴以及巨髎穴等穴道的预估穴道位置点A1 附加于该输入影像上，以形成该输出影像O，并回传给该智能手机60，在该智能手机60上进行显示。其中，前述取得输入影像以及将预估穴道位置点附加于该输入影像上，以形成输出影像的步骤可重复执行，如此一来，便可在智能手机60上提供使用者即时的穴道视觉化的输出影像O，使用者便可根据输出影像O的预估穴道位置点A1按摩自身的穴道，从而达到症状缓解的效果，或者可供了解与学习特定穴道位置点的效果。
此外，在一实施例中，在该输出影像O上，并不只显示有预估穴道位置点A1，在一实施例中，亦可一并显示有对应该预估穴道位置点的穴道名称、别名、适应症状以及疗效等资讯，但不以此为限。
值得一提的是，为进一步提供更准确的穴道视觉化效果，在所述数据库32中进一步建立并储存有人体部位的特征以及基于人体部位的可形变模型。人体部位的特征为供判断输入影像是否包含欲视觉化穴道点所在的人体部位。可形变模型M(参照图6)包括有依据人体部位的特征而遍布的多个第一标记L1以及多个穴道位置点A。其中，所述的人体部位可以是脸部、手部、腿部、脚底板等部位但不以此为限。
其中，在一实施例中，该人体部位的特征为事先收集大量的人体部位的图片，并通过特征检测法获得人体部位的特征以及对应的穴道位置点，取得这些特征后，再通过分类器训练出可分类的模型。其中，所述的特征检测法可为方向梯度直方图(Histogram ofOriented Gradient，HOG)特征、局部二值模式(Local Binary Pattern，LBP)特征、Haar-like特征、卷积神经网络(Convolutional Neural Network，CNN)等的其中之一或其组合，但不以此为限；所述的分类器可为支持向量机(Support Vector Machine， SVM)、相关向量机(Relevance vector machine，RVM)等的其中之一或其组合，但不以此为限。例如，在一实施例中，可收集大量的脸部图片，取HOG特征得到可表示人脸的特征，取得并聚合这些特征后，可通过SVM 训练出可分类的人脸分类器。
其中，在一实施例中，该可形变模型为基于大量三维人脸扫描模型经过主成份分析(Principal Component Analysis)所做成的三维可形变模型 (3DMorphableModel，3DMM)，并且可根据不同的参数决定出不同的脸型。其中该三维可形变模型是由多个顶点组成，各个顶点分别具有对应 x，y，z的座标资讯，而在这些顶点中包含有根据人体部位特征遍布的第一标记L1以及位于这些顶点之间的多个穴道位置点A。除此之外，在一实施例中，在进行该三维可形变模型M的标记时，可一并记录有第一标记的顶点编号以及穴道点的座标位置以及邻近的至少三个顶点编号。
举例而言，假定该三维可形变模型是由3000个顶点组成，每一个顶点接具有x，y，z的座标资讯，若控制脸型的参数有60个，该三维可形变模型具有以下函数关系：NewFace(9000*1)＝MeanShape(9000*1) +ShapeVector(9000*60)*Coeffs(60*1)。其中，MeanShape为人脸综合模型，ShapeVector为参数可改变的特征向量，Coeffs为可改变脸型的参数。由此，通过给予不同的参数，便可取得不同脸型的三维可形变模型。
其中，若以三维可形变模型与输入影像进行比对时，还包括有将该三维可形变模型的这些第一标记投影至平行于该输入影像的二维平面，再在该二维平面上调整这些第一标记L1的分布，以使得这些第一标记L1的分布趋近这些第二标记L2的分布。
接着，请配合图4及图5所示，在接收输入影像I后，包括有通过影像处理模块40对该输入影像I进行影像检测，并且根据该输入影像I上的人体部位特征在该输入影像I上标示多个第二标记L2。在本实施例中，所述的输入影像I为人脸影像，这些第二标记L2如同可形变模型上的第一标记L1皆为根据影像上的眼角、嘴角、鼻梁、鼻翼等特征点排列。
接着，请配合图6所示，通过该影像处理模块40根据该可形变模型 M的这些第一标记L1与该输入影像I的这些第二标记L2的座标数据的偏差程度，对该可形变模型M进行拟合，以调整该可形变模型M的这些第一标记L1的分布趋近这些第二标记L2的分布，并根据这些第一标记L1 的座标变化量调整对应该穴道数据的穴道位置点A的坐标，以取得该预估穴道位置点A1。例如参见图7所示，假设L11、L12、L13为第一标记， L21、L22、L23为第二标记，由附图可见，若欲将这些第一标记趋近这些第二标记，则须调整第一标记L13往右移动，那么穴道位置点A向右移动后的位置便是该预估穴道位置点A1。而后，再将该预估穴道位置点A1附加于该输入影像I上，而形成如图3中所示的输出影像O，藉以实现穴道视觉化的效果。
值得一提的是，在一实施例中，由于使用者所提供的输入影像未必都是正视角的影像，因此，在接收该输入影像I后，包括有旋转以三维可形变模型为例的可形变模型，使得该三维可形变模型与该输入影像I的角度一致后，再将这些第一标记L1投影至平行于该输入影像I的二维平面，再在该二维平面上调整这些第一标记L1的分布趋近这些第二标记L2。其中，在一实施例中，关于调整这些第一标记L1的分布趋近这些第二标记 L2的方式，可将参数套入三维可形变模型中，以取得新的三维可形变模型(新的人脸模型)，以及将新的三维可形变模型中决定第一标记L1的特征向量取出，并将其投影至二维平面后作为奇异值分解(Singular Value Decomposition，SVD)求解以逼近控制脸型参数，判断此次求解参数的偏差程度是否小于一预定阈值，例如判断此次求得参数与前次参数距离小于该预定阈值，则三维可形变模型的拟合完成，否则则重新调整该三维可形变模型的参数后，再次执行前次步骤。
之后，找出属于变形后的三维可形变模型的穴道点。其方法包括有：使用前述变形后的三维可形变模型，将变形后的该三维可形变模型的第一标记以及其至少一穴道位置点的邻近顶点投影至一二维平面上，以及将初始的三维可形变模型的至少一穴道位置点以及该至少一穴道位置点的邻近顶点投影至该二维平面上；通过以上两组的邻近顶点作为影像变形控制点，调整该初始的三维可形变模型的穴道位置点的座标以取得对应变形后的该三维可形变模型的穴道位置点。举例而言，请配合图8A所示，为初始的三维可形变模型投影至二维平面的第一标记L11～L13、穴道位置点A 以及邻近该穴道位置点A的三个顶点v；请配合图8B所示，为变形后的三维可形变模型的第一标记L11’～L13’、穴道位置点A’以及穴道位置点A’邻近的三个顶点v’。其中该变形后的三维可形变模型的穴道位置点A’即为根据以上两组的邻近顶点v、v’作为影像变形控制点，以调整该初始的三维可形变模型的穴道位置点A的座标以取得对应变形后的该三维可形变模型的穴道位置点A’。其中，关于所述穴道位置点的座标调整量是根据邻近该至少一穴道位置点的至少三个第一标记和/或至少三个顶点的座标变化量，并根据该穴道位置点分别相距该至少三个第一标记和/或至少三个顶点的距离给予权重比例，调整该至少一穴道位置点的座标。
接着，找出属于输入影像上的预估穴道点位置。其方法包括有：将变形后的该三维可形变模型的第一标记以及穴道位置点投影至二维平面上，以该输入影像的这些第二标记做为控制点，调整变形后的该三维可形变模型的第一标记的分布趋近这些第二标记的分布，并依据这些第一标记的变形量，调整该穴道位置点座标，以取得该至少一预估穴道位置点。举例而言，请参见图9所示，L11’、L12’、L13’为变形后的该三维可形变模型的第一标记，L21、L22、L23为第二标记，由附图可见，若欲将这些第一标记趋近这些第二标记，则须调整第一标记L13’往右移动，那么穴道位置点 A向右移动后的位置便是该预估穴道位置点A1，最后再将该预估穴道位置点附加于输入影像上，以构成具有穴道视觉化效果输出影像。
值得一提的是，前述再次将变形后的三维可形变模型投影至二维平面与输入影像进行比对的目的在于，输入影像中的表情可能会有变化，或是因为预估的三维可形变模型的旋转角度与输入影像之间的角度预估有误差，因此，为了消除前述影响，则再次将变形后的三维可形变模型与输入影像进行比对，以取得预估穴道位置点。
值得一提的是，通过上述系统及方法所取得的预估穴道位置点的座标，除了可供附加预估穴道位置点在使用者所提供的输入影像上，以制作成具有穴道视觉化效果的输出影像供使用者检视之外，还可作为其他应用。举例而言，请配合图10所示，在一实施例中，所述中医系统进一步包括有一机械手臂80以及连接于该机械手臂80上的一穴道刺激装置90，使用者可将任何一个人体部位移动至影像输入单元(图中未示出)的拍摄范围内，例如，在本实施例中，所述的人体部位为使用者的手部H，接着，影像输入单元可对该人体部位进行摄影以取得对应该人体部位的输入影像，之后，便可根据使用者所提供的症状描述或者使用者所欲选择刺激的穴道位置，依据上述实施例所提供的方法取得预估穴道位置点座标(或称影像座标)，接着，可将预估穴道位置点座标进行座标系转换，以转换为符合机械手臂80的机械座标系的预估穴道位置点座标，其中，关于影像座标系与机械座标系的转换方式与影像校正为现有技术，在此不再赘述。其中，所述机械手臂80与穴道刺激装置90与处理单元连接或讯号连接，并可受该处理单元的控制而作动，由此，便可控制该机械手臂80带动穴道刺激装置90移动至预估穴道位置点座标，即移动至对应该预估穴道位置点座标的人体部位，以使得该穴道刺激装置90对使用者的该人体部位上对应的穴道点 P1，P2等进行穴道刺激。其中，所述的穴道刺激装置90所进行的穴道刺激的模式可包括有但不限于：利用机械性刺激，如碰触、按压等；利用电流刺激；利用激光刺激；利用超声波刺激；利用温度刺激等。
补充一提的是，实务上，关于穴道刺激装置90的刺激模式的选用，可根据使用者的需求进行更换，除此之外，在一实施例中，所述中医系统可与使用者的一行动装置进行连线，并可受控于该行动装置，由此，使用者便可通过行动装置操控穴道刺激装置的穴道刺激程序的进行，例如：穴道刺激的强度、时间长短等，但不以此为限，举例而言，当使用电流刺激装置为例的穴道刺激装置时，还可调整所使用的电流刺激的大小；当使用超声波装置为例的穴道刺激装置时可调整超音波的频率高低或振幅强度等。另外，在其他应用上，所述人体部位并不以双手为限，亦可为使用者的其他人体部位，例如：后背、大腿、小腿、脚掌等。
本发明所提供的中医系统与方法只需要使用者提供二维影像即可进行三维空间的穴道位置点的定位，并且在确定出预估穴道位置点的位置后，再将预估穴道位置点与二维影像结合并显示给使用者观看。通过上述技术手段，本发明可有效地提升本中医系统与方法的泛用性以及提升穴道位置点定位的精准度，更进一步地，本发明还结合有机械手臂连接穴道刺激装置，可在定位出穴道位置点之后，对该穴道位置点进行穴道刺激，这样的技术内容都是先前技术当中所提及的在先专利申请所前所未见的，由此可见，本发明的中医系统与方法具有显著的新颖性与创造性。
以上所述的各单元与模块之间的连接，泛指通过有线或无线方式进行连线或连接，而并不以直接连接为限。以上所述仅为本发明的优选可行实施例而已，举凡应用本发明说明书及权利要求保护范围所进行的等效变化，理应包含在本发明的保护范围之内。
Claims (8)
1.一种以AR技术实现穴道视觉化的中医系统，其包括有：
一处理单元；
一输入模块，与该处理单元连接，该输入模块包括有一症状输入单元以及一影像输入单元，该症状输入单元用以接收一症状的描述，该影像输入单元用以对人体部位进行拍摄，以接收一输入影像；
一判断模块，与该处理单元连接，该判断模块包括有一数据库以及一判断单元，该数据库储存有多笔病症数据以及多笔与前述病症相关联的穴道数据；该判断单元用以根据该症状的描述与这些病症数据进行关联性匹配，以取得对应该症状的描述的穴道数据；
一影像处理模块，与该处理单元连接，用以将对应该穴道数据的预估穴道位置点附加于该输入影像上，以形成一输出影像；以及
一显示模块，与处理单元连接，该显示模块用以显示该输出影像；
其中该数据库储存有一基于人体部位的可形变模型，该可形变模型包括有依据人体部位的特征而遍布的多个第一标记以及多个穴道位置点；该影像处理模块是根据该输入影像上的人体部位特征在该输入影像上标示多个第二标记，并根据该可形变模型的这些第一标记与该输入影像的这些第二标记的座标数据的偏差程度，对该可形变模型进行拟合，以调整这些第一标记的分布趋近这些第二标记的分布，并根据这些第一标记的座标变化量调整对应该穴道数据的穴道位置点坐标，以取得该预估穴道位置点；
其中该输入影像为二维影像，该可形变模型为三维可形变模型；该影像处理模块将该三维可形变模型的这些第一标记投影至平行于该输入影像的二维平面，再在该二维平面上调整该第一标记的分布。
2.如权利要求1所述的以AR技术实现穴道视觉化的中医系统，其中该输入模块包括有一穴道输入单元，用以接收一穴道信息；该判断单元包括有根据该穴道信息与该数据库中所储存的多个穴道数据进行关联性匹配，并取得对应该穴道信息的穴道数据；该影像处理模块将对应该穴道数据的预估穴道位置点附加于该输入影像上，以形成另一输出影像。
3.如权利要求1所述的以AR技术实现穴道视觉化的中医系统，包括有相连接的一机械手臂以及一穴道刺激装置，该机械手臂和该穴道刺激装置与该处理单元连接，且该机械手臂受该处理单元的控制而可带动该穴道刺激装置移动至该预估穴道位置点，以使得该穴道刺激装置对对应该预估穴道位置点的一人体部位进行穴道刺激。
4.一种以AR技术实现穴道视觉化的方法，其包括有以下步骤：
A、提供一数据库，该数据库储存有多笔病症数据以及多笔与前述病症相关联的穴道数据；
B、接收一症状的描述或一穴道信息；
C、根据该症状的描述或该穴道信息，与该数据库中所储存的病症数据或穴道数据进行关联性匹配，以取得对应的穴道数据；
D、由一影像输入单元对人体部位进行拍摄，以接收一输入影像，并依据步骤C所取得的穴道数据将预估穴道位置点附加于该输入影像上，以形成一输出影像；以及
E、显示该输出影像；
其中该数据库储存有一基于人体部位的可形变模型，该可形变模型包括有依据人体部位的特征而遍布的多个第一标记以及多个穴道位置点；在步骤D中包括有：根据该输入影像上的人体部位特征在该输入影像上标示多个第二标记，并根据该可形变模型的这些第一标记与该输入影像的这些第二标记的座标数据的偏差程度，对该可形变模型进行拟合，以调整这些第一标记的分布趋近这些第二标记的分布，并根据这些第一标记的座标变化量调整对应该穴道数据的穴道位置点坐标，以取得该预估穴道位置点；
其中该输入影像为二维影像，该可形变模型为三维可形变模型；在步骤D中包括有：将该三维可形变模型的这些第一标记投影至平行在该输入影像的二维平面，再在该二维平面上调整这些第一标记的分布，并储存变形后的该三维可形变模型。
5.如权利要求4所述的以AR技术实现穴道视觉化的方法，其中在步骤D之前包括有根据匹配后所取得的对应穴道数据，提示使用者提供对应匹配结果的特定人体部位特征的输入影像。
6.如权利要求4所述的以AR技术实现穴道视觉化的方法，其中该三维可形变模型包括有多个顶点，这些顶点中具有这些第一标记，这些穴道位置点位于这些顶点之间；在步骤D中包括有：将变形后的该三维可形变模型的第一标记以及其穴道位置点的邻近顶点投影至一二维平面上，以及将初始的三维可形变模型的穴道位置点以及穴道位置点的邻近顶点投影至该二维平面上；通过以上两组的邻近顶点作为影像变形控制点，调整该初始的三维可形变模型的穴道位置点的座标以取得对应变形后的该三维可形变模型的穴道位置点。
7.如权利要求6所述的以AR技术实现穴道视觉化的方法，其中在步骤D中包括有：将变形后的该三维可形变模型的第一标记以及穴道位置点投影二维平面上，以该输入影像的这些第二标记作为控制点，调整变形后的该三维可形变模型的第一标记的分布趋近这些第二标记的分布，并依据这些第一标记的变形量，调整该穴道位置点座标，以取得该至少一预估穴道位置点。
8.如权利要求4所述的以AR技术实现穴道视觉化的方法，其中在步骤D中包括有：旋转该三维可形变模型，使该三维可形变模型与该输入影像的角度一致后，再将这些第一标记的分布投影至二维平面。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW106120651A TWI644285B (zh) | 2017-06-20 | 2017-06-20 | Acupuncture visualization Chinese medicine system and method thereof by using AR technology |
| TW106120650 | 2017-06-20 | ||
| TW106120651 | 2017-06-20 | ||
| TW106120650A TWI629662B (zh) | 2017-06-20 | 2017-06-20 | Method for realizing acupoint visualization by AR technology |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109091380A CN109091380A (zh) | 2018-12-28 |
| CN109091380B true CN109091380B (zh) | 2021-03-05 |
Family
ID=64796722
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810173002.9A Expired - Fee Related CN109091380B (zh) | 2017-06-20 | 2018-03-01 | 以ar技术实现穴道视觉化的中医系统及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109091380B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023028065A1 (en) * | 2021-08-24 | 2023-03-02 | China Medical University | Dynamic three-dimensional meridian system of human body |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109939001A (zh) * | 2019-04-02 | 2019-06-28 | 王云 | 一种脑卒中后吞咽障碍的康复训练装置 |
| CN110801392B (zh) * | 2019-11-06 | 2022-02-11 | 北京地平线机器人技术研发有限公司 | 人体上预定点位的标注方法、装置和电子设备 |
| CN111110549A (zh) * | 2019-12-25 | 2020-05-08 | 湖南翰坤实业有限公司 | 一种自动识别穴位分析人体健康的智能按摩机器人 |
| CN113498325B (zh) * | 2020-01-21 | 2022-11-11 | 京东方科技集团股份有限公司 | 三维显示方法、装置、系统和计算机可读存储介质 |
| CN111785362A (zh) * | 2020-06-04 | 2020-10-16 | 北京同有三和中医药发展基金会 | 信息查询方法及装置、可读存储介质、电子设备 |
| CN116020094A (zh) * | 2022-12-28 | 2023-04-28 | 四川省八一康复中心（四川省康复医院） | 便携式穴位刺激仪与人机交互的成人吞咽康复训练系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105534694B (zh) * | 2015-12-04 | 2018-01-26 | 上海华郡科技有限公司 | 一种人体特征可视化装置及方法 |
| CN106548008A (zh) * | 2016-10-11 | 2017-03-29 | 上海大学 | 基于智能搜索的ar中医治疗演示方法 |
-
2018
- 2018-03-01 CN CN201810173002.9A patent/CN109091380B/zh not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023028065A1 (en) * | 2021-08-24 | 2023-03-02 | China Medical University | Dynamic three-dimensional meridian system of human body |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109091380A (zh) | 2018-12-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109091380B (zh) | 以ar技术实现穴道视觉化的中医系统及其方法 | |
| JP7091531B2 (ja) | 身体上ジェスチャ・インターフェース及び投影表示のための方法 | |
| EP2726164B1 (en) | Augmented-reality range-of-motion therapy system and method of operation thereof | |
| Avola et al. | An interactive and low-cost full body rehabilitation framework based on 3D immersive serious games | |
| KR20210011425A (ko) | 이미지 처리 방법 및 디바이스, 이미지 장치, 및 저장 매체 | |
| CN111063416A (zh) | 一种基于虚拟现实的阿尔兹海默症康复训练及能力评估系统 | |
| EP3376950A1 (en) | Representation of symptom alleviation | |
| Arbeláez et al. | Haptic augmented reality (HapticAR) for assembly guidance | |
| Hu et al. | StereoPilot: A wearable target location system for blind and visually impaired using spatial audio rendering | |
| Semblantes et al. | Visual feedback framework for rehabilitation of stroke patients | |
| CN109273079A (zh) | 基于中医的ai云诊疗系统 | |
| Sherstyuk et al. | Mixed reality manikins for medical education | |
| CN111045575A (zh) | 一种诊疗交互方法和诊疗终端设备 | |
| Boonbrahm et al. | Interactive marker-based augmented reality for CPR training | |
| US20210296003A1 (en) | Representation of symptom alleviation | |
| Jia et al. | Gesture Recognition of Somatosensory Interactive Acupoint Massage Based on Image Feature Deep Learning Model. | |
| CN113035000A (zh) | 一种面向中枢整合康复治疗技术的虚拟现实训练系统 | |
| Zhang et al. | Faceatlasar: Atlas of facial acupuncture points in augmented reality | |
| CN109426336A (zh) | 一种虚拟现实辅助选型设备 | |
| TWI644285B (zh) | Acupuncture visualization Chinese medicine system and method thereof by using AR technology | |
| KR20140132864A (ko) | 스트레스 변화에 따른 신체 및 심리 변화의 동영상 이용 간이 측정 방법 및 이를 이용한 힐링서비스 | |
| TWI629662B (zh) | Method for realizing acupoint visualization by AR technology | |
| TW201619754A (zh) | 醫用影像物件化介面輔助解說控制系統及其方法 | |
| CN112991437A (zh) | 基于图像展缩技术的全自动穴位定位方法 | |
| Rodrigues et al. | Supervised classification of motor-rehabilitation body movements with rgb cameras and pose tracking data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210305 |