CN115778333A - 一种视觉定位寸、关、尺脉搏穴位的方法和装置 - Google Patents
一种视觉定位寸、关、尺脉搏穴位的方法和装置 Download PDFInfo
- Publication number
- CN115778333A CN115778333A CN202211404688.0A CN202211404688A CN115778333A CN 115778333 A CN115778333 A CN 115778333A CN 202211404688 A CN202211404688 A CN 202211404688A CN 115778333 A CN115778333 A CN 115778333A
- Authority
- CN
- China
- Prior art keywords
- cun
- guan
- patient
- wrist
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 127
- 238000001467 acupuncture Methods 0.000 title claims abstract description 65
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 96
- 230000008569 process Effects 0.000 claims abstract description 95
- 210000000707 wrist Anatomy 0.000 claims abstract description 92
- 238000003384 imaging method Methods 0.000 claims abstract description 61
- 238000012800 visualization Methods 0.000 claims abstract description 47
- 230000000007 visual effect Effects 0.000 claims abstract description 29
- 230000002792 vascular Effects 0.000 claims abstract description 22
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000002474 experimental method Methods 0.000 claims description 18
- 241001133760 Acoelorraphe Species 0.000 claims description 10
- 238000000354 decomposition reaction Methods 0.000 claims description 7
- 238000000691 measurement method Methods 0.000 claims description 4
- 238000002583 angiography Methods 0.000 claims description 2
- 238000003745 diagnosis Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 239000003814 drug Substances 0.000 description 7
- 238000003672 processing method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 230000002349 favourable effect Effects 0.000 description 4
- 238000005452 bending Methods 0.000 description 3
- 238000002405 diagnostic procedure Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 210000003811 finger Anatomy 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012631 diagnostic technique Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002321 radial artery Anatomy 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Finger-Pressure Massage (AREA)
Abstract
本发明公开了一种视觉定位寸、关、尺脉搏穴位的方法和装置，方法包括：利用血管显像设备对患者手腕上寸、关、尺脉搏穴位所在的目标区域显像；利用双目相机采集血管显像后目标区域的图像并进行融合得到融合后血管可视化图像；根据融合后血管可视化图像确定桡骨茎突所在点的二维平面坐标，确定桡骨茎突所在点与双目相机中心的目标距离；根据二维平面坐标和目标距离确定桡骨茎突所在点的三维坐标；根据融合后血管可视化图像确定患者手腕的直径信息和手臂的偏转角度；根据桡骨茎突所在点的三维坐标、直径信息、偏转角度及预先建立的目标模型，分别计算患者的寸、关、尺脉搏穴位的三维坐标。本发明利用视觉定位方法能自动准确定位寸、关、尺脉搏穴位。
Description
技术领域
本发明属于机器视觉辅助定位领域，具体涉及一种视觉定位寸、关、尺脉搏穴位的方法和装置。
背景技术
中医文化是中华民族的瑰宝，是中国古代人民在生活实践和同疾病斗争过程中总结发展出来的经验，并经过不断地实践与探索逐步形成了当代的医学理论体系。中医学有“望闻问切”四诊，通过该四诊，可以综合判断从而诊疗疾病。其中，中医脉诊是四诊中最为核心的诊断技术，也是其中最神秘，最值得探索的诊断手段。中医脉诊也称为切脉，是由医生用手指切按患者寸口桡动脉的寸、关、尺三个穴位，通过感知脉搏跳动情况来了解病情、辨别病症。
随着人工智能技术的快速发展，智慧医疗体系在不断完善，智能诊脉系统正在成为一个热门研究方向。其致力于由机器人等智能设备模拟中医为患者诊脉，获取脉搏信号，从而为医生准确复原患者的脉相信息以便于诊断。在该过程中，由于人体手腕脉搏穴位寸、关、尺并没有显著视觉特征，使得智能设备定位寸、关、尺三个脉搏穴位的难度较大，因此成为智能诊脉系统的研究瓶颈之一。目前市场上相关的脉相仪产品大都由患者自行定位寸、关、尺脉搏穴位，之后再将定位到的手腕脉搏穴位对准脉象仪的脉搏采集装置。但由于“中医诊脉学”是一门经验学科，目前市场上相关的脉相仪产品等采用的脉搏穴位定位方法存在两个明显的弊端：(1)脉搏穴位主要依靠人为经验寻找，没有过多中医背景的患者自己确定的寸、关、尺三个脉搏穴位可能与脉搏穴位的真实位置之间存在较大差异，导致定位准确性低；(2)这种患者辅助诊脉仪器实现诊脉的方式，并没有完全地解放患者，并未实现完全的智能化，无法归入智能诊脉系统的范畴。
可见，如何自动化并准确定位患者的寸、关、尺脉搏穴位，是实现智能诊脉的关键问题。
发明内容
为了解决现有技术中提出的上述问题，本发明实施例提供了一种视觉定位寸、关、尺脉搏穴位的方法和装置。具体技术方案如下：
第一方面，本发明实施例提供了一种视觉定位寸、关、尺脉搏穴位的方法，所述方法包括：
利用血管显像设备对患者手腕上寸、关、尺脉搏穴位所在的目标区域进行显像；
利用双目相机采集血管显像后目标区域的图像，并将采集到的两图像进行融合，得到融合后血管可视化图像；
根据所述融合后血管可视化图像确定患者手腕上桡骨茎突所在点的二维平面坐标，并确定所述桡骨茎突所在点与双目相机中心的目标距离；
根据所述二维平面坐标和所述目标距离，确定所述桡骨茎突所在点的三维坐标；
根据所述融合后血管可视化图像确定患者手腕的直径信息，并确定患者手臂的偏转角度；
根据所述桡骨茎突所在点的三维坐标、所述直径信息、所述偏转角度，以及预先建立的目标模型，分别计算患者的寸、关、尺脉搏穴位的三维坐标；其中，所述目标模型表征桡骨茎突所在点的三维坐标、人体手腕直径、手臂的偏转角度与寸、关、尺脉搏穴位的三维坐标之间的函数关系，根据样本数据预先实验构建。
在本发明的一个实施例中，所述利用血管显像设备对患者手腕上寸、关、尺脉搏穴位所在的目标区域进行显像之前，所述方法还包括：
将患者待测的手腕置于限位脉枕上，并调整掌根位置与所述血管显像设备的投影边界对齐，以保证所述目标区域在所述血管显像设备和所述双目相机的正下方拍摄区域内。
在本发明的一个实施例中，根据所述融合后血管可视化图像确定患者手腕上桡骨茎突所在点的二维平面坐标，包括：
根据所述融合后血管可视化图像，确定患者手腕上桡骨所在的边缘曲线上拐点的平面坐标，得到患者手腕上桡骨茎突所在点的二维平面坐标。
在本发明的一个实施例中，所述确定所述桡骨茎突所在点与双目相机中心的目标距离，包括：
利用双目测距方法确定所述桡骨茎突所在点与双目相机中心的目标距离。
在本发明的一个实施例中，所述根据所述融合后血管可视化图像确定患者手腕的直径信息，包括：
根据所述融合后血管可视化图像，确定患者手腕两侧边缘之间的距离，得到患者手腕的直径信息。
在本发明的一个实施例中，所述确定患者手臂的偏转角度，包括：
根据所述融合后血管可视化图像，确定患者的手臂方向；
确定所述手臂方向相较于手臂所在平面水平方向的偏转角度。
在本发明的一个实施例中，所述目标模型的公式表达式，包括：
其中，
θ表示所述偏转角度；D表示所述直径信息；(x1,y1,z1)表示所述桡骨茎突所在点的三维坐标；(xc,yc,zc)、(xg,yg,zg)、(xch,ych,zch)分别表示患者的寸、关、尺脉搏穴位的三维坐标；
分别表示双目相机两个摄像头到寸、关、尺脉搏穴位的视差，由实验确定；kc、kg、kch分别表示所述桡骨茎突所在点至寸、关、尺脉搏穴位的距离，与所述直径信息的关系系数；k′xc1、k′yc2、kzc1、k′xg1、k′yg2、kzg1、k′xch1、k′ych2、kzch1分别表示寸、关、尺脉搏穴位的三维坐标在x、y、z三个方向各自的分解系数，由实验确定。
第二方面，本发明实施例提供了一种视觉定位寸、关、尺脉搏穴位的装置，所述装置包括：
双目相机、血管显像设备、限位脉枕、计算控制模块、图像设备安装台、定位系统支撑架和定位系统支撑台；其中，所述双目相机和所述血管显像设备设置于所述图像设备安装台上；所述双目相机的两个摄像头分别位于所述血管显像设备两侧；所述图像设备安装台和所述定位系统支撑台通过所述定位系统支撑架连接；所述限位脉枕设置于所述定位系统支撑台上，并位于所述双目相机和所述血管显像设备的正下方；
所述限位脉枕，用于放置患者待测的手腕；
所述血管显像设备，用于对患者放置于所述限位脉枕的手腕上寸、关、尺脉搏穴位所在的目标区域进行显像；
所述双目相机，用于采集血管显像后目标区域的图像；
所述计算控制模块，用于将所述双目相机采集到的两图像进行融合，得到融合后血管可视化图像；根据所述融合后血管可视化图像确定患者手腕上桡骨茎突所在点的二维平面坐标，并确定所述桡骨茎突所在点与双目相机中心的目标距离；根据所述二维平面坐标和所述目标距离，确定所述桡骨茎突所在点的三维坐标；根据所述融合后血管可视化图像确定患者手腕的直径信息，并确定患者手臂的偏转角度；根据所述桡骨茎突所在点的三维坐标、所述直径信息、所述偏转角度，以及预先建立的目标模型，分别计算患者的寸、关、尺脉搏穴位的三维坐标；其中，所述目标模型表征桡骨茎突所在点的三维坐标、人体手腕直径、手臂的偏转角度与寸、关、尺脉搏穴位的三维坐标之间的函数关系，根据样本数据预先实验构建。
在本发明的一个实施例中，所述定位系统支撑架为弯曲状，突出方向沿手指延伸方向。
在本发明的一个实施例中，所述定位系统支撑架为高度可调节的定位系统支撑架。
本发明实施例所提供的方案中，首先利用血管显像设备对患者手腕上寸、关、尺脉搏穴位所在的目标区域进行显像；并利用双目相机采集血管显像后目标区域的图像，进行两图像融合得到融合后血管可视化图像。然后对融合后血管可视化图像采用图像处理手段检测桡骨茎突位置、手腕直径和手臂偏转角度，并根据预先建立的目标模型计算患者的寸、关、尺脉搏穴位的三维坐标，实现了利用视觉定位方法由图像确定患者的寸、关、尺脉搏穴位的三维坐标。由于血管可视化图像对目标和背景进行了显像增强，能够提高特征识别精度，同时，采用图像处理手段进行像素级定位能够提高定位的准确度，因此本发明实施例能够自动、准确定位患者的寸、关、尺脉搏穴位，无需依靠人为经验寻找穴位，同时能够完全地解放患者，有利于实现智能诊脉。
附图说明
图1为本发明实施例所提供的一种视觉定位寸、关、尺脉搏穴位的方法的流程示意图；
图2为本发明实施例中患者手腕上桡骨茎突的位置示意图；
图3为本发明实施例中融合后血管可视化图像得到的患者手腕上桡骨茎突所在点的二维平面坐标的位置示意图；
图4为本发明实施例中患者手腕上桡骨茎突所在点以及寸、关、尺脉搏穴位的位置分布图；
图5为本发明实施例中PC、PG、PCH、P1以及DC、DG、DCH的关系示意图；
图6为本发明实施例所提供的一种视觉定位寸、关、尺脉搏穴位的装置的结构示意图；
图7为本发明实施例所提供的另一种视觉定位寸、关、尺脉搏穴位的装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了实现自动化并准确定位患者的寸、关、尺脉搏穴位的目的，本发明实施例提供了一种视觉定位寸、关、尺脉搏穴位的方法和装置。
下面，首先对本发明实施例所提供的一种视觉定位寸、关、尺脉搏穴位的方法进行介绍。
如图1所示，本发明实施例所提供的一种视觉定位寸、关、尺脉搏穴位的方法，可以包括如下步骤：
S1，利用血管显像设备对患者手腕上寸、关、尺脉搏穴位所在的目标区域进行显像；
寸关尺为脉学术语，指寸口脉分三部的名称。人体手腕上寸、关、尺脉搏穴位位于手掌掌根靠近大拇侧腕内横纹直下处，但这三个穴位并没有显著的视觉特征，无法通过肉眼直观确定，通常需要依靠有经验的医生来确定。
本发明实施例中，目标区域可以为手腕内侧一个预设大小的区域，能够涵盖手掌大鱼际下边缘以及寸、关、尺脉搏穴位即可，可以根据经验值设定目标区域的具体范围。
本发明实施例可以利用血管显像设备照射目标区域，获得相应的显像结果。其中，血管显像设备可以为血管显像仪等，血管显像仪是一种利用血液中血红蛋白对近红外光的吸收强于其他组织的原理，能够实时地将血管原位1:1地投影在皮肤表面，显示血管的粗细、走向、分布和轮廓的医疗设备。因此，可以理解的是，显像后手腕目标区域表面呈现投影式的显像结果，血管实现了可视化。
S2，利用双目相机采集血管显像后目标区域的图像，并将采集到的两图像进行融合，得到融合后血管可视化图像；
可以理解的是，双目相机可以获得拍摄物体的尺寸信息和深度信息，本发明实施例采用双目相机有助于目标的三维定位。
为了减少整个图像采集设备的占用空间，同时减少视角差异，本发明实施例中，血管显像设备可以位于双目相机两个摄像头间的中心位置。其中，整个图像采集设备包括血管显像设备和双目相机。
本发明实施例利用双目相机的两个摄像头拍摄血管可视化后的手腕目标区域，可以分别得到一张血管可视化图像。然后，可以利用现有的双目相机图像融合算法，将两个摄像头采集到的血管可视化图像进行融合，得到融合后血管可视化图像。
关于双目相机采集图像并进行图像融合的具体处理过程，请参见相关技术理解，在此不做详细说明。
可选的一种实施方式中，利用血管显像设备对患者手腕上寸、关、尺脉搏穴位所在的目标区域进行显像之前，该方法还包括：
将患者待测的手腕置于限位脉枕上，并调整掌根位置与血管显像设备的投影边界对齐，以保证目标区域在血管显像设备和双目相机的正下方拍摄区域内。
本发明实施例可以在血管显像设备和双目相机正下方设置一个限位脉枕，在采集图像前，患者将待测的手腕放置于限位脉枕上，并使得手腕内侧朝向血管显像设备。
血管显像设备开启后会在置于下方的手腕表面上投影出一条带有颜色的直线，比如蓝色等，作为投影边界。可以根据投影边界移动患者手腕的位置，调整其掌根位置与血管显像设备的投影边界对齐。
本发明实施例可以预先利用大量患者的数据，通过实验确定脉枕、整个图像采集设备的位置、投影边界的位置、血管显像设备的照射区域、双目相机的拍摄区域，以及目标区域的大小之间的关系，从而保证针对任一患者，当其手腕置于脉枕上，掌根位置与血管显像设备的投影边界对齐时，其目标区域在血管显像设备和双目相机的正下方拍摄区域内，从而保证采集到完整、准确的目标图像。
其中，为了简便，限位脉枕和整个图像采集设备的相对位置可以是固定的，以保证针对任一患者，均能够采集到符合要求的相应图像，从而提高后续定位的效率。
或者，限位脉枕和整个图像采集设备的相对位置也可以是可调节的，这样更有利于适应不同的患者体形和姿态状态，同时能够获得拍摄范围满足要求且清晰度较高的图像。
需要说明的是，本发明实施例得到融合后血管可视化图像后，还可以对其进行图像预处理，包括提取有效区域、增强特征区域、图像分割、图像细化和细化图像修复等，以提取感兴趣区域并提高图像质量。其中，图像预处理各环节可以利用现有技术完成，在此不做限制。
S3，根据融合后血管可视化图像确定患者手腕上桡骨茎突所在点的二维平面坐标，并确定桡骨茎突所在点与双目相机中心的目标距离；
发明人通过对中医穴位理论进行研究，发现人体手腕上桡骨茎突所在点与寸、关、尺脉搏穴位具有一定的位置关系，同时，由于桡骨茎突相比于手腕其余部位，具有突出的弯曲特征，因此，可以对其进行定位，从而在其位置基础上，定位出寸、关、尺脉搏穴位。
可选的一种实施方式中，根据融合后血管可视化图像确定患者手腕上桡骨茎突所在点的二维平面坐标，包括：
根据融合后血管可视化图像，确定患者手腕上桡骨所在的边缘曲线上拐点的平面坐标，得到患者手腕上桡骨茎突所在点的二维平面坐标。
该步骤是利用图像处理方法对融合后血管可视化图像进行处理，所谓的拐点表示的是一个弯曲特征点，即手腕向大鱼际延伸的边缘曲线中曲度的突变点。本发明实施例将手腕所在平面定义为XY平面，因此，所得到的平面坐标是指X坐标和Y坐标。
其中，图像处理方法包括经典的图像处理算法和机器学习方法等，在此不做具体限制。
本发明实施例寻找桡骨茎突位置之所以利用血管显像设备显像并得到血管可视化图像，而并非直接对人体手腕采集可见光图像，是因为发明人经过实验验证，对于手腕桡骨茎突的识别仅使用可见光成像无法达到理想的效果。究其原因在于：桡骨茎突的位置大致位于距离“鱼际线”1.0～1.3mm的拇指侧手腕部，其曲线特征并不明显；同时，由于人的体质并不相同，桡骨茎突的显现也存在个体差异，尤其是对于体形较胖的个体，其桡骨茎突处几乎显现不出曲线特征。而本发明实施例利用血管可视化图像辅助定位识别的优势在于，血管可视化图像增加了目标和背景的差异，突出强调了含有桡骨茎突的脉搏穴位位置的图像特征，使得凸起的曲线特征显像更明显，因此能够更清晰准确地识别出人体手腕上桡骨所在的边缘曲线，从而定位其拐点得到桡骨茎突所在点的位置。其次，血管可视化对于“鱼际”等约束定位的特征起到了增强作用；血管可视化图像中血管的走向也有助于识别桡骨茎突的位置。
以一张融合后血管可视化图像为例，患者手腕上桡骨茎突的位置请见图2所示。得到的患者手腕上桡骨茎突所在点的二维平面坐标，请参见图3所示，其中，十字线表示的位置为患者手腕上桡骨茎突所在点的二维平面坐标，以P1表示。
可选的一种实施方式中，确定桡骨茎突所在点与双目相机中心的目标距离，包括：
利用双目测距方法确定桡骨茎突所在点与双目相机中心的目标距离。
可以理解的是，双目测距方法可以测量目标距离双目相机中心的距离，因此，在确定桡骨茎突所在点后，可以将其作为目标测得桡骨茎突所在点与双目相机中心的目标距离。其中，双目测距方法的实现过程可以分为四个步骤：相机标定、双目校正、双目匹配和深度信息计算。具体过程请参见相关技术理解，在此不做详细说明。
S4，根据二维平面坐标和目标距离，确定桡骨茎突所在点的三维坐标；
本发明实施例的一般情况下，目标区域位于血管显像设备和双目相机正下方的拍摄区域内，桡骨茎突所在点与双目相机中心的目标距离可以等同于桡骨茎突所在点的高度信息，因此，可以将其转换为Z坐标，连同表征X坐标和Y坐标的二维平面坐标，一起构成桡骨茎突所在点的三维坐标。
当然，若目标区域并未位于血管显像设备和双目相机正下方的拍摄区域内，而是存在微小的偏差，则可以根据预设的补偿量和计算关系，通过桡骨茎突所在点与双目相机中心的目标距离计算出桡骨茎突所在点的高度信息，得到其Z坐标，连同表征X坐标和Y坐标的二维平面坐标，一起构成桡骨茎突所在点的三维坐标。具体补偿量和计算关系可以预先实验获得，具体实验过程和补偿计算过程在此不做详细说明。
S5，根据融合后血管可视化图像确定患者手腕的直径信息，并确定患者手臂的偏转角度；
可选的一种实施方式中，根据融合后血管可视化图像确定患者手腕的直径信息，包括：
根据融合后血管可视化图像，确定患者手腕两侧边缘之间的距离，得到患者手腕的直径信息。
具体的，可以利用图像处理方法识别融合后血管可视化图像中分别位于患者手腕两侧的预定边缘点，然后计算这两个预定边缘点之间的距离，得到患者手腕的直径信息。其中，预定边缘点可以根据掌根位置、腕横纹位置或者桡骨茎突位置等确定。
可选的一种实施方式中，确定患者手臂的偏转角度，包括：
1)根据融合后血管可视化图像，确定患者的手臂方向。
该步骤也可以利用图像处理方法实现。患者的手臂方向可以通过手臂边缘、掌根线等确定。
比如可以利用图像处理方法在融合后血管可视化图像定位出手臂边缘线条，将其拟合校正为直线，将该直线方向确定为患者的手臂方向。
2)确定手臂方向相较于手臂所在平面水平方向的偏转角度。
该步骤是计算两直线的夹角，也可以利用图像处理方法等实现，在此不做示例说明。
本发明实施例中，手臂所在平面为XY平面，其中水平方向为X方向。原则上，手臂方向应当沿着X方向，即与双目相机两个摄像头的排列方向垂直，但由于患者的个体姿态差异，有可能手臂方向会与X方向存在较小的角度。为了便于理解，将患者的手臂相较于所在平面水平方向的偏转角度设为θ，其中，当手臂偏向双目相机的左侧摄像头，即出现了沿逆时针转动的情况，此时θ为正值，当手臂偏向双目相机的右侧摄像头，即出现了沿顺时针转动的情况，此时θ为负值。
需要说明的是，S3～S4和S5两个部分可以不分先后顺序。
S6，根据桡骨茎突所在点的三维坐标、直径信息、偏转角度，以及预先建立的目标模型，分别计算患者的寸、关、尺脉搏穴位的三维坐标；
其中，目标模型表征桡骨茎突所在点的三维坐标、人体手腕直径、手臂的偏转角度与寸、关、尺脉搏穴位的三维坐标之间的函数关系，根据样本数据预先实验构建。
为了便于理解本方案，首先对目标模型的构建过程进行简要介绍。
本发明实施例将寸、关、尺三个脉搏穴位的三维坐标分别表示为PC(xc,yc,zc)、PG(xg,yg,zg)和PCH(xch,ych,zch)；桡骨茎突所在点的三维坐标表示为P1(x1,y1,z1)；患者手腕的直径信息表示为D。针对S6，P1为三维坐标，请与前文P1表示的二维坐标进行合理区分。
其中，PC、PG、PCH和P1在手腕上的位置分布请参见图4所示。为了便于直观显示，此处以不进行血管可视化显像的可见光图像进行示例，但需要强调的是，实验中采用的均为融合后血管可视化图像。
首先，可以根据PC、PG、PCH分别与P1、D的关系，构造以下映射关系：
其中，f1、f2、f3、g1、g2、g3、h1、h2、h3为计算函数，可以通过实验获得；
和
分别表示双目相机两个摄像头到寸、关、尺脉搏穴位的视差，也由实验确定。具体的：
在实际应用中，为了调整方便，将P1作为参考点，即x1＝0,y1＝0,z1＝0。寸、关、尺脉搏穴位的三维坐标可以根据P1与PC、PG、PCH的距离DC、DG、DCH以及三点视差
计算，而DC、DG、DCH可以根据D来计算。具体的：
DC＝kcD
DG＝kgD
DCH＝kchD
其中，PC、PG、PCH、P1以及DC、DG、DCH的关系请参见图5所示。同样的，此处以不进行血管可视化显像的可见光图像进行示例，但实验中采用的为融合后血管可视化图像。
kc、kg、kch分别表示桡骨茎突所在点至寸、关、尺脉搏穴位的距离与直径信息的关系系数；其余k分别表示寸、关、尺脉搏穴位的三维坐标在x、y、z三个方向各自的分解系数。
在这种条件下，PC、PG、PCH的计算公式可以变化为：
其中，等号左侧为更新后的f,g,h函数；上述公式中k′xc1等带有上角标'的k参数为对应更新的分解系数。
并且，由患者手臂可能与所在平面水平方向存在偏转角度θ，将θ作为系统误差时，可在系统校正计算中加入，因此上述公式可以进一步剔除无关项。具体的，由于在计算过程中，偏转角度对整个系统引入的误差大于空间坐标分量方向的分解量引起的误差，因此本发明实施例在计算过程中进行了无关项剔除处理的简化过程。得到以下结果：
其中，等号左侧为再次更新后的f,g,h函数。
上述公式表示，在计算时，X坐标仅保留x分量，Y坐标仅保留y分量，景深信息和x、y无关，仅和视差
有关。
因此，可以得到最终的目标模型。目标模型的公式表达式，包括：
如前所示，其中，
θ表示偏转角度，在面向图像采集设备的情况下，当手臂偏向左侧摄像头时θ为正，当手臂偏向右侧摄像头时θ为负；D表示直径信息；(x1,y1,z1)表示桡骨茎突所在点的三维坐标；(xc,yc,zc)、(xg,yg,zg)、(xch,ych,zch)分别表示患者的寸、关、尺脉搏穴位的三维坐标；
分别表示双目相机两个摄像头到寸、关、尺脉搏穴位的视差，由实验确定；kc、kg、kch分别表示桡骨茎突所在点至寸、关、尺脉搏穴位的距离，与直径信息的关系系数；k′xc1、k′yc2、kzc1、k′xg1、k′yg2、kzg1、k′xch1、k′ych2、kzch1分别表示寸、关、尺脉搏穴位的三维坐标在x、y、z三个方向各自的分解系数，由实验确定。
示例性的，本发明实施例中，目标模型的关系系数和分解系数可以通过采集50组不同性别、不同年龄、不同身高的人的脉搏穴位数据实验统计分析得到，同时为确保科学性与可靠性，本发明实施例结合《脉经》、《脉经》等对寸、关、尺脉搏穴位位置记载与描述的典籍，对数据进行可靠性分析，如表1所示为实际测试的部分实验数据。
表1
通过实验数据的统计分析，本发明实施例可以确定：kc＝0.27；kg＝0.48；kch＝0.75；k′xc1＝55.5；k′xg1＝62.5；k′xch1＝60.8；k′yc2＝k′yg2＝k′ych2＝31.25；kzc1＝kzg1＝kzch1＝0。
本发明实施例所提供的方案中，首先利用血管显像设备对患者手腕上寸、关、尺脉搏穴位所在的目标区域进行显像；并利用双目相机采集血管显像后目标区域的图像，进行两图像融合得到融合后血管可视化图像。然后对融合后血管可视化图像采用图像处理手段检测桡骨茎突位置、手腕直径和手臂偏转角度，并根据预先建立的目标模型计算患者的寸、关、尺脉搏穴位的三维坐标，实现了利用视觉定位方法由图像确定患者的寸、关、尺脉搏穴位的三维坐标。由于血管可视化图像对目标和背景进行了显像增强，能够提高特征识别精度，同时，采用图像处理手段进行像素级定位能够提高定位的准确度，因此本发明实施例能够自动、准确定位患者的寸、关、尺脉搏穴位，无需依靠人为经验寻找穴位，同时能够完全地解放患者，有利于实现智能诊脉。
第二方面，本发明实施例还提供了一种视觉定位寸、关、尺脉搏穴位的装置，如图6所示，该装置包括：
双目相机、血管显像设备、限位脉枕、计算控制模块、图像设备安装台、定位系统支撑架和定位系统支撑台；其中，双目相机和血管显像设备设置于图像设备安装台上；双目相机的两个摄像头分别位于血管显像设备两侧；图像设备安装台和定位系统支撑台通过定位系统支撑架连接；限位脉枕设置于定位系统支撑台上，并位于双目相机和血管显像设备的正下方；
限位脉枕，用于放置患者待测的手腕；
血管显像设备，用于对患者放置于限位脉枕的手腕上寸、关、尺脉搏穴位所在的目标区域进行显像；
双目相机，用于采集血管显像后目标区域的图像；
计算控制模块，用于将双目相机采集到的两图像进行融合，得到融合后血管可视化图像；根据融合后血管可视化图像确定患者手腕上桡骨茎突所在点的二维平面坐标，并确定桡骨茎突所在点与双目相机中心的目标距离；根据二维平面坐标和目标距离，确定桡骨茎突所在点的三维坐标；根据融合后血管可视化图像确定患者手腕的直径信息，并确定患者手臂的偏转角度；根据桡骨茎突所在点的三维坐标、直径信息、偏转角度，以及预先建立的目标模型，分别计算患者的寸、关、尺脉搏穴位的三维坐标；其中，目标模型表征桡骨茎突所在点的三维坐标、人体手腕直径、手臂的偏转角度与寸、关、尺脉搏穴位的三维坐标之间的函数关系，根据样本数据预先实验构建。
图6中，1表示双目相机右侧的摄像头；2表示血管显像设备；3表示双目相机左侧的摄像头；4表示图像设备安装台；5表示定位系统支撑架；6表示定位系统支撑台；7表示限位脉枕。图6中并未示出计算控制模块。
可选的一种实施方式中，定位系统支撑架为弯曲状，突出方向沿手指延伸方向。
也就是说，本发明实施例将定位系统支撑架设计为C型，这样可以在患者伸出手臂的时候，利用定位系统支撑架的弯曲度给手臂保留足够充分的伸展空间。同时对手臂上方其余操作部件保留充足的操作空间，避免碰撞到定位系统支撑架。
可选的一种实施方式中，计算控制模块可以包括工控板等。
可选的一种实施方式中，定位系统支撑架为高度可调节的定位系统支撑架。
对应的结构可以参见图7所示。图7中8表示用于调节高度的丝杠电机。
由于血管显像仪的最佳工作距离是20～25mm，但患者的手腕厚度可能存在个体差异。为了确保采集到最佳的图像数据，可以通过手动或者自动方式，调节定位系统支撑架的高度。比如，可以利用双目相机定位的图像设备安装台与患者手腕的距离，根据该距离和预设距离的比较关系，自动升降定位系统支撑架使其调整至合适的位置，以实现最佳显像效果，等等。
该视觉定位寸、关、尺脉搏穴位的装置的具体内容请参见第一方面介绍的视觉定位寸、关、尺脉搏穴位的方法，在此不做赘述。
本发明实施例所提供的视觉定位寸、关、尺脉搏穴位的装置，利用血管显像设备对患者放置于限位脉枕的手腕上寸、关、尺脉搏穴位所在的目标区域进行显像；利用双目相机采集血管显像后目标区域的图像；并利用计算控制模块进行两图像融合得到融合后血管可视化图像。然后对融合后血管可视化图像采用图像处理手段检测桡骨茎突位置、手腕直径和手臂偏转角度，并根据预先建立的目标模型计算患者的寸、关、尺脉搏穴位的三维坐标，实现了利用视觉定位方法由图像确定患者的寸、关、尺脉搏穴位的三维坐标。由于血管可视化图像对目标和背景进行了显像增强，能够提高特征识别精度，同时，采用图像处理手段进行像素级定位能够提高定位的准确度，因此本发明实施例能够自动、准确定位患者的寸、关、尺脉搏穴位，无需依靠人为经验寻找穴位，同时能够完全地解放患者，有利于实现智能诊脉。
需要说明的是，在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (10)
1.一种视觉定位寸、关、尺脉搏穴位的方法，其特征在于，包括：
利用血管显像设备对患者手腕上寸、关、尺脉搏穴位所在的目标区域进行显像；
利用双目相机采集血管显像后目标区域的图像，并将采集到的两图像进行融合，得到融合后血管可视化图像；
根据所述融合后血管可视化图像确定患者手腕上桡骨茎突所在点的二维平面坐标，并确定所述桡骨茎突所在点与双目相机中心的目标距离；
根据所述二维平面坐标和所述目标距离，确定所述桡骨茎突所在点的三维坐标；
根据所述融合后血管可视化图像确定患者手腕的直径信息，并确定患者手臂的偏转角度；
根据所述桡骨茎突所在点的三维坐标、所述直径信息、所述偏转角度，以及预先建立的目标模型，分别计算患者的寸、关、尺脉搏穴位的三维坐标；其中，所述目标模型表征桡骨茎突所在点的三维坐标、人体手腕直径、手臂的偏转角度与寸、关、尺脉搏穴位的三维坐标之间的函数关系，根据样本数据预先实验构建。
2.根据权利要求1所述的视觉定位寸、关、尺脉搏穴位的方法，其特征在于，所述利用血管显像设备对患者手腕上寸、关、尺脉搏穴位所在的目标区域进行显像之前，所述方法还包括：
将患者待测的手腕置于限位脉枕上，并调整掌根位置与所述血管显像设备的投影边界对齐，以保证所述目标区域在所述血管显像设备和所述双目相机的正下方拍摄区域内。
3.根据权利要求1或2所述的视觉定位寸、关、尺脉搏穴位的方法，其特征在于，根据所述融合后血管可视化图像确定患者手腕上桡骨茎突所在点的二维平面坐标，包括：
根据所述融合后血管可视化图像，确定患者手腕上桡骨所在的边缘曲线上拐点的平面坐标，得到患者手腕上桡骨茎突所在点的二维平面坐标。
4.根据权利要求3所述的视觉定位寸、关、尺脉搏穴位的方法，其特征在于，所述确定所述桡骨茎突所在点与双目相机中心的目标距离，包括：
利用双目测距方法确定所述桡骨茎突所在点与双目相机中心的目标距离。
5.根据权利要求3所述的视觉定位寸、关、尺脉搏穴位的方法，其特征在于，所述根据所述融合后血管可视化图像确定患者手腕的直径信息，包括：
根据所述融合后血管可视化图像，确定患者手腕两侧边缘之间的距离，得到患者手腕的直径信息。
6.根据权利要求3所述的视觉定位寸、关、尺脉搏穴位的方法，其特征在于，所述确定患者手臂的偏转角度，包括：
根据所述融合后血管可视化图像，确定患者的手臂方向；
确定所述手臂方向相较于手臂所在平面水平方向的偏转角度。
7.根据权利要求1所述的视觉定位寸、关、尺脉搏穴位的方法，其特征在于，所述目标模型的公式表达式，包括：
其中，
θ表示所述偏转角度；D表示所述直径信息；(x1,y1,z1)表示所述桡骨茎突所在点的三维坐标；(xc,yc,zc)、(xg,yg,zg)、(xch,ych,zch)分别表示患者的寸、关、尺脉搏穴位的三维坐标；
分别表示双目相机两个摄像头到寸、关、尺脉搏穴位的视差，由实验确定；kc、kg、kch分别表示所述桡骨茎突所在点至寸、关、尺脉搏穴位的距离，与所述直径信息的关系系数；k′xc1、k′yc2、kzc1、k′xg1、k′yg2、kzg1、k′xch1、k′ych2、kzch1分别表示寸、关、尺脉搏穴位的三维坐标在x、y、z三个方向各自的分解系数，由实验确定。
8.一种视觉定位寸、关、尺脉搏穴位的装置，其特征在于，包括：
双目相机、血管显像设备、限位脉枕、计算控制模块、图像设备安装台、定位系统支撑架和定位系统支撑台；其中，所述双目相机和所述血管显像设备设置于所述图像设备安装台上；所述双目相机的两个摄像头分别位于所述血管显像设备两侧；所述图像设备安装台和所述定位系统支撑台通过所述定位系统支撑架连接；所述限位脉枕设置于所述定位系统支撑台上，并位于所述双目相机和所述血管显像设备的正下方；
所述限位脉枕，用于放置患者待测的手腕；
所述血管显像设备，用于对患者放置于所述限位脉枕的手腕上寸、关、尺脉搏穴位所在的目标区域进行显像；
所述双目相机，用于采集血管显像后目标区域的图像；
所述计算控制模块，用于将所述双目相机采集到的两图像进行融合，得到融合后血管可视化图像；根据所述融合后血管可视化图像确定患者手腕上桡骨茎突所在点的二维平面坐标，并确定所述桡骨茎突所在点与双目相机中心的目标距离；根据所述二维平面坐标和所述目标距离，确定所述桡骨茎突所在点的三维坐标；根据所述融合后血管可视化图像确定患者手腕的直径信息，并确定患者手臂的偏转角度；根据所述桡骨茎突所在点的三维坐标、所述直径信息、所述偏转角度，以及预先建立的目标模型，分别计算患者的寸、关、尺脉搏穴位的三维坐标；其中，所述目标模型表征桡骨茎突所在点的三维坐标、人体手腕直径、手臂的偏转角度与寸、关、尺脉搏穴位的三维坐标之间的函数关系，根据样本数据预先实验构建。
9.根据权利要求8所述的视觉定位寸、关、尺脉搏穴位的装置，其特征在于，所述定位系统支撑架为弯曲状，突出方向沿手指延伸方向。
10.根据权利要求8或9所述的视觉定位寸、关、尺脉搏穴位的装置，其特征在于，所述定位系统支撑架为高度可调节的定位系统支撑架。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211404688.0A CN115778333B (zh) | 2022-11-10 | 2022-11-10 | 一种视觉定位寸、关、尺脉搏穴位的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211404688.0A CN115778333B (zh) | 2022-11-10 | 2022-11-10 | 一种视觉定位寸、关、尺脉搏穴位的方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115778333A true CN115778333A (zh) | 2023-03-14 |
| CN115778333B CN115778333B (zh) | 2023-07-14 |
Family
ID=85436591
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211404688.0A Active CN115778333B (zh) | 2022-11-10 | 2022-11-10 | 一种视觉定位寸、关、尺脉搏穴位的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115778333B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116797778A (zh) * | 2023-03-23 | 2023-09-22 | 北京鹰之眼智能健康科技有限公司 | 感兴趣区域获取方法、电子设备和存储介质 |
| CN118383736A (zh) * | 2024-06-26 | 2024-07-26 | 山东印迹生物技术有限公司 | 一种基于人工智能的腕部关脉定位方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105147261A (zh) * | 2015-08-03 | 2015-12-16 | 刘垚 | 一种中医脉诊仪及其定位寸、关、尺脉搏点的方法 |
| CN105393281A (zh) * | 2013-08-02 | 2016-03-09 | 三菱电机株式会社 | 手势判定装置和方法、手势操作装置、程序以及记录介质 |
| WO2018196371A1 (zh) * | 2017-04-26 | 2018-11-01 | 华南理工大学 | 一种三维手指静脉识别方法及系统 |
| US20190206052A1 (en) * | 2017-12-29 | 2019-07-04 | Shenzhen Institutes Of Advanced Technology Chinese Academy Of Sciences | Carpal segmentation and recognition method and system, terminal and readable storage medium |
| CN113171062A (zh) * | 2021-04-29 | 2021-07-27 | 中国科学院微电子研究所 | 识别寸、关、尺的方法、终端、系统、介质及计算机设备 |
-
2022
- 2022-11-10 CN CN202211404688.0A patent/CN115778333B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105393281A (zh) * | 2013-08-02 | 2016-03-09 | 三菱电机株式会社 | 手势判定装置和方法、手势操作装置、程序以及记录介质 |
| CN105147261A (zh) * | 2015-08-03 | 2015-12-16 | 刘垚 | 一种中医脉诊仪及其定位寸、关、尺脉搏点的方法 |
| WO2018196371A1 (zh) * | 2017-04-26 | 2018-11-01 | 华南理工大学 | 一种三维手指静脉识别方法及系统 |
| US20190206052A1 (en) * | 2017-12-29 | 2019-07-04 | Shenzhen Institutes Of Advanced Technology Chinese Academy Of Sciences | Carpal segmentation and recognition method and system, terminal and readable storage medium |
| CN113171062A (zh) * | 2021-04-29 | 2021-07-27 | 中国科学院微电子研究所 | 识别寸、关、尺的方法、终端、系统、介质及计算机设备 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116797778A (zh) * | 2023-03-23 | 2023-09-22 | 北京鹰之眼智能健康科技有限公司 | 感兴趣区域获取方法、电子设备和存储介质 |
| CN116797778B (zh) * | 2023-03-23 | 2024-03-22 | 北京鹰之眼智能健康科技有限公司 | 感兴趣区域获取方法、电子设备和存储介质 |
| CN118383736A (zh) * | 2024-06-26 | 2024-07-26 | 山东印迹生物技术有限公司 | 一种基于人工智能的腕部关脉定位方法及系统 |
| CN118383736B (zh) * | 2024-06-26 | 2024-08-23 | 山东印迹生物技术有限公司 | 一种基于人工智能的腕部关脉定位方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115778333B (zh) | 2023-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115778333B (zh) | 一种视觉定位寸、关、尺脉搏穴位的方法和装置 | |
| Huang et al. | Robotic arm based automatic ultrasound scanning for three-dimensional imaging | |
| EP3858432B1 (en) | Transcranial magnetic stimulation-based diagnosis and treatment apparatus | |
| Yang et al. | Automatic 3-D imaging and measurement of human spines with a robotic ultrasound system | |
| JP5702861B2 (ja) | 解剖学的表面の支援型自動データ収集方法 | |
| Sforza et al. | Soft-tissue facial anthropometry in three dimensions: from anatomical landmarks to digital morphology in research, clinics and forensic anthropology | |
| CN107041729A (zh) | 双目近红外成像系统及血管识别方法 | |
| JP2009536847A (ja) | 創傷部を取り扱うためのシステム及び方法 | |
| JP2009536848A (ja) | 創傷部を取り扱うためのシステム及び方法 | |
| CN110772255A (zh) | 基于姿态与位置传感器的人体脊柱侧弯角度的测量方法 | |
| US20120310075A1 (en) | Medical measurement system and method | |
| CN110059670B (zh) | 人体头面部、肢体活动角度及体姿非接触测量方法及设备 | |
| CN108078765A (zh) | 一种基于标记点投影实现腧穴定位的方法 | |
| CN116549216A (zh) | 基于oct的玻璃体注射数据处理方法及机器人、设备、介质 | |
| CN111568393A (zh) | 一种基于人工智能的个体化中医脉诊系统 | |
| CN112426356A (zh) | 中医施灸设备及其3d扫描辅助定穴方法和系统 | |
| CN111839534B (zh) | 一种采血方法及采血机器人 | |
| CN108143501B (zh) | 一种基于体表静脉特征的解剖投影方法 | |
| CN110638524B (zh) | 一种基于vr眼镜的肿瘤穿刺实时模拟系统 | |
| KR20160057024A (ko) | 마커리스 ３차원 객체추적 장치 및 그 방법 | |
| CN108158804B (zh) | 一种基于体表静脉特征实现目标定位的体表静脉模具及制作方法 | |
| CN116212254A (zh) | 自动机器人辅助超声引导放疗系统及其方法 | |
| CN115006737A (zh) | 基于深度相机的放射治疗体位监测系统 | |
| CN111950639B (zh) | 一种同步实时显示超声与断层解剖图像的成像方法 | |
| CN209980267U (zh) | 一种三目视觉手语识别装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |