CN118213040A - 基于人体三维模型的结构化腧穴知识图谱构建系统及方法 - Google Patents

Abstract

本发明涉及一种基于人体三维模型的结构化腧穴知识图谱构建系统及方法，其技术特点是：三维点云扫描设备对人体体表进行扫描获得人体表面点云数据；主控台计算机读取人体全身CT数据，利用配准算法实现CT影像与体表扫描的配准融合，构建骨骼、肌肉、皮肤组织之间的映射关系；整合不同体型、不同性别的受试者的体表视觉信息和体内影像结构信息，利用体表扫描数据与体内解剖结构的配准融合，建立标准人体三维模型；结合中医腧穴定位规则构建基于人体三维模型的结构化腧穴知识图谱。本发明设计合理，解决了腧穴定位缺乏三维图谱的问题，可为后续智能针灸操作过程记录与识别、智能针灸机器人操作等应用工具研发提供结构化腧穴知识图谱支持。

Description

基于人体三维模型的结构化腧穴知识图谱构建系统及方法

技术领域

本发明属于信息技术领域，涉及知识图谱的构建，尤其是一种基于人体三维模型的结构化腧穴知识图谱构建系统及方法。

背景技术

针灸是祖国医学的重要组成部分，针刺疗法是在中医理论的指导下，通过疾病辨证分析选定刺激腧穴，按照不同的角度、深度将针具刺入不同腧穴，再施以捻转、提插等行针手法，通过对特定腧穴或部位的刺激疏通经络、沟通脏腑、调节气血阴阳，达到治疗疾病的目的。腧穴是人体脏腑经络之气输注于体表的特殊部位，也往往是疾病的反应点，腧穴处方是针刺治疗方案的核心，也是针刺疗效的基石。

针刺疗法技艺性强，但长期以来针灸治疗过程的记录高度依赖于临床观摩，对治疗腧穴的选择、针刺操作过程的学习和复制也依赖于对观摩过程的主观理解、记忆和抄录。观摩者需根据施针者的进针部位判断刺激腧穴，但施针者对针体的操作速度快、且观摩角度有一定遮挡，难以完全准确记录医生选择的腧穴以及对腧穴施加的针刺手法。上述问题历来制约着针刺特色技术的传承和推广。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于人体三维模型的结构化腧穴知识图谱构建系统及方法，解决了腧穴定位缺乏三维图谱、制约后续智能针灸操作过程记录与识别、智能针灸机器人操作等应用的问题。

本发明解决现有的技术问题是采取以下技术方案实现的：

一种基于人体三维模型的结构化腧穴知识图谱构建系统，包括三维点云扫描设备、RevolutionApex CT设备、机器人控制计算机、图像信号处理计算机和主控台计算机；

所述三维点云扫描设备：在机器人控制计算机的控制下扫描采集人体体表数据，并将人体体表数据传输至图像信号处理计算机；

所述RevolutionApex CT设备用于采集人体全身CT数据，并将采集的人体全身CT数据传输至图像信号处理计算机；

所述图像信号处理计算机：接收三维点云扫描设备的人体体表数据和RevolutionApex CT设备的人体全身CT数据，并对人体体表数据进行预处理得到体表点云数据，然后将体表点云数据及人体全身CT数据传输至主控台计算机；

所述主控台计算机：接收体表点云数据及人体全身CT数据，将人体全身CT数据进行医学影像分割及点云转换，利用配准算法将CT影像与体表点云数据进行配准融合，建立人体三维模型，结合中医腧穴定位规则构建基于人体三维模型的结构化腧穴知识图谱，并向机器人控制计算机发送自动扫描和规划好的机械臂运动路径的控制指令；

所述机器人控制计算机：接收主控台计算机的控制指令，控制三维点云扫描设备扫描采集人体体表数据。

进一步，所述三维点云扫描设备安装在多自由度机械臂及可移动支架上，所述多自由度机械臂及可移动支架在机器人控制计算机的控制下移动。

进一步，所述三维点云扫描设备内安装有体表扫描模块，该体表扫描模块对人体表面进行三维点云扫描和RGB扫描，并将扫描后的人体体表数据传输至图像信号处理计算机。

进一步，所述图像信号处理计算机内安装有图像处理模块，该图像处理模块用于对人体体表数据进行预处理得到准确点云，并在结构化腧穴知识图谱构建过程中，采用Geodesic Distance算法计算体表两点之间沿人体表面的最短距离，作为计算人体自适应分寸的客观度量。

进一步，所述主控台计算机内安装有医学影像分割模块、点云配准模块、腧穴定位模块及控制模块，其中：

所述医学影像分割模块读取人体全身CT数据，通过CT分割模型分割出所需要部位的结构影像，将分割得到的骨骼、肌肉、皮肤组织在同一坐标系下进行变换映射，利用CT重建技术构建骨骼、肌肉、皮肤组织之间的人体三维模型，整合不同体型、不同性别的受试者，建立标准人体三维模型；

所述点云配准模块对医学影像分割模块得到的皮肤、肌肉和骨骼组织进行点云变换得到待配准点云，对三维点云扫描设备得到的准确点云及医学影像分割模块转换得到的待配准点云进行配准融合；

所述腧穴定位模块读取三维点云扫描设备获得的准确点云信息进行快速特征匹配，实现决策信息的反馈整合，向控制模块发送决策信息，进行下一区域的扫描与定位；加载腧穴特征模型，读取当前扫描的点云文件亦或通过点云配准模块转换得到的体表点云数据，依据已建立的标准人体三维模型，结合骨骼、肌肉、皮肤组织之间映射关系，在针灸规则的指导下，对人体坐、立、仰卧、俯卧和侧卧位姿态以及不同部位进行相应的腧穴定位；

所述控制模块接收主控计算机和腧穴定位模块发出的决策信息，向机器人控制计算机发出控制指令。

进一步，所述主控计算机向控制模块发送决策信息包括自动模式和手动模式，在自动模式下，控制模块维持原有路径规划所生成的轨迹，在手动模式指令下，进行手动扫描查漏。

一种基于人体三维模型的结构化腧穴知识图谱构建构建方法，包括以下步骤：

步骤1、机器人控制计算机控制三维点云扫描设备对人体体表进行扫描，获得人体表面点云数据；

步骤2、主控台计算机读取经RevolutionApex CT设备扫描的人体全身CT数据，加载CT分割模型，将分割得到的骨骼、肌肉、皮肤组织在同一坐标系下进行变换映射，利用CT重建技术构建骨骼、肌肉、皮肤组织之间的人体三维模型；

步骤3、主控台计算机对医学影像分割模块得到的皮肤、肌肉和骨骼组织进行点云变换，然后利用配准算法实现CT影像与体表扫描的配准融合；

步骤4、主控台计算机收集多名受试者的实验数据，整合不同体型、不同性别的受试者的体表视觉信息和体内影像结构信息，利用体表扫描数据与体内解剖结构的配准融合，建立人体骨骼-肌肉-皮肤三者的映射关系，将其集成到一个统一标准，建立标准人体三维模型；

步骤5、基于标准人体三维模型，结合中医腧穴定位规则构建基于人体三维模型的结构化腧穴知识图谱。

进一步，所述步骤2的具体实现方法为：

医学影像分割模块读取经RevolutionApex CT设备扫描的人体全身CT数据；

加载CT分割模型，该分割模型利用nn U-Net网络来训练数据；

读取受试者的所有CT数据，进行以下处理：CT数据的存储，身体不同部位的分割，根据所扫描CT数据的分辨率选择不同的分割模型；

将分割的人体不同部位以需要的Nifti或者DICOM形式输出；

将分割得到的骨骼、肌肉、皮肤组织在同一坐标系下进行变换映射，利用CT重建技术构建骨骼、肌肉、皮肤组织之间的人体三维模型。

进一步，所述步骤3的具体实现方法为：

点云配准模块对医学影像分割模块得到的皮肤、肌肉和骨骼组织进行点云变换，将得到的Nifti或者DICOM文件，依据Mimics软件变换为Point Cloud文件；

对体表信息扫描模块获取的目标点云以及转换得到的待配准的源点云，使用体素网格对原始点云进行下采样；

利用ISS算法获取源点云与目标点云对应匹配的关键点，根据FPFH特征描述符描述关键点与其相邻点之间的特征关系，基于关键点的FPFH，将源关键点集作为查询点，使用KD-Tree通过最近邻查询得到相对应的目标点集，获得目标与源之间的对应点集；

基于对应图节点可靠性的最优选择策略以及边缘可靠的逐点对齐方法去除经体表扫描获取的点云数据与CT影像中分割得到的特定部位中的异常点，根据三个对应点逐点对齐的坐标变换过程，完成6自由度的刚性配准任务。

进一步，所述步骤5的具体实现方法为：

腧穴定位模块对人体表面点云数据进行快速特征匹配，实现决策信息的反馈整合，向控制模块发送决策信息；

加载腧穴特征模型，该腧穴特征模型由数据训练所得，数据源于对多名受试者的三维准确腧穴特征点的标注；

读取当前扫描的点云文件或通过点云配准模块转换得到的体表点云数据，进行以下处理：点云数据的存储，实时腧穴坐标定位以及根据点云信息进行碰撞检测。

在对点云数据处理后识别当前腧穴，完成识别后将运动决策信息传递至控制模块，进行下一区域的扫描与定位；

根据人体的坐、立、仰卧、俯卧和侧卧位以及不同部位采取不同的腧穴定位方法：对于人体面部，根据现有成熟的面部特征点识别技术，依据面部的分寸度量以及检测出的特征点与穴位之间的约束关系来定位腧穴；对于人体腹部，通过人体三维模型中骨骼与体表的映射关系实现准确取穴功能。

本发明的优点和积极效果是：

本发明在医学影像学和结构光学成像技术基础上，整合了不同体型、不同性别的受试者的体表视觉信息和体内影像结构信息，利用体表扫描数据与体内解剖结构的配准融合，建立人体骨骼-肌肉-皮肤三者的映射关系，建立标准人体三维模型，同时结合中医针灸规则建立结构化腧穴知识图谱，可为后续智能针灸操作过程记录与识别、智能针灸机器人操作等应用工具研发提供结构化腧穴知识图谱支持，大大提高衍生工具的可实现性。

附图说明

图1为发明的结构化腧穴知识图谱构建系统结构示意图；

图2为本发明结构化腧穴知识图谱构建方法的总体流程图；

图3为本发明的人体三维模型构建流程图；

图4为本发明的结构化腧穴知识图谱构建流程图；

图5为通过三维点云扫描设备扫描得到的原始点云图；

图6为原始点云的正方向示意图；

图7为预处理后的目标点云图；

图8为人体全身CT的横断面、冠状面、矢状面图；

图9为医学影像分割模块得到的身体、皮肤、骨骼肌、头盖骨等分割重建结果；

图10为体内影像结构重建的三维人体模型；

图11为点云变换之后获得的体表、肌肉、骨骼点云图；

图12为头部源点云与体表扫描获取的面部点云数据的配准结果图；

图13为人体面部与腹部两点之间的最短路径距离示意图；

图14为根据骨骼与体表的映射关系在人体三维模型中定位骨节标志图；

图15为面部部分特征点与穴位对比图；

图16为腹部理论图谱与穴位对比图。

具体实施方式

以下结合附图对本发明实施例做进一步详述。

本发明的设计思想：依据中医经典的经络腧穴理论，结合计算机视觉、知识图谱、人工智能、大数据等技术，通过对相关技术的整合和突破，构建人体三维模型，并以该人体三维模型为基础建立结构化腧穴知识图谱，为后续智能针灸操作过程记录与识别、智能针灸机器人操作等应用工具研发提供支持，有利于推动针刺治疗从临床循证向科学循证发展，推动针灸智慧化诊疗的发展。

基于上述设计思想，本发明提出一种基于人体三维模型的结构化腧穴知识图谱构建系统，如图1至图4所示，包括三维点云扫描设备、RevolutionApex CT设备、机器人控制计算机、图像信号处理计算机、主控台计算机和多自由度机械臂及可移动支架。本系统结合体表视觉信息与体内影像进行配准融合，建立标准人体三维模型，并根据针灸经络腧穴定位，建立结构化腧穴知识图谱。在建立标准人体三维模型时，通过多自由度机械臂夹持(或者手持)三维点云扫描设备对人体体表进行扫描，得到体表扫描数据，通过RevolutionApex CT设备获取不同部位不同组织的CT数据，主控台计算机通过整合不同体型、不同性别的受试者的体表视觉信息和体内影像结构信息，并利用体表扫描数据与体内解剖结构的配准融合，建立人体骨骼-肌肉-皮肤三者的映射关系，将其集成到一个统一标准，建立标准人体模型，进而结合中医腧穴定位规则构建基于人体三维模型的结构化腧穴知识图谱。

下面对系统中的各个部分分别进行说明：

三维点云扫描设备：安装在多自由度机械臂及可移动支架上，并在机器人控制计算机的控制下扫描采集人体体表数据，并将人体体表数据传输至图像信号处理计算机。

RevolutionApex CT设备用于采集人体全身CT数据，并将采集的人体全身CT数据传输至图像信号处理计算机。

图像信号处理计算机：接收三维点云扫描设备的人体体表数据和RevolutionApexCT设备的人体全身CT数据，并对人体体表数据进行预处理得到点云数据，然后将点云数据及CT数据传输至主控台计算机。

在图像信号处理计算机中安装有图像处理模块，该图像处理模块用于对人体体表数据进行预处理，并可实现如下功能：

计算针灸治疗过程中必需的人体分寸，它是一种因人而异的距离度量，因为每个人的生理特点不同，根据人体的生理比例计算得到的“寸”在腧穴定位中发挥重要作用。

读取经三维点云扫描设备得到的体表信息亦或通过点云配准模块转换得到的皮肤点云数据，根据Geodesic Distance算法计算三维网格中两顶点沿网格表面最短路径的距离，亦即体表两点之间沿人体表面的最短距离，作为计算人体自适应分寸的客观度量。

主控台计算机：接收图像信号处理计算机的点云数据及CT数据，进行医学影像分割、点云配准、三维模型建立、腧穴定位以及规划修正机械臂运动轨迹，并将机械臂轨迹传输至机器人控制计算机中。主控台计算机通过其内置的医学影像分割模块、点云配准模块、腧穴定位模块及控制模块实现上述功能。

医学影像分割模块用于构建人体三维模型，可实现如下功能：

读取经RevolutionApex CT设备扫描的人体全身CT数据(其中，在RevolutionApexCT设备扫描过程中，总辐射剂量控制在200DLP(单位：mGy·cm)以下)，该模块允许加载Nifti文件或包含受试者所有DICOM切片的文件夹。

在系统启动后加载CT分割模型，该模型利用nn U-Net网络来训练数据，其可以分割CT图像中超过117个类别，该模型是在各种不同的CT图像上进行训练(例如不同的扫描仪、机构，协议等)的。

加载CT分割模型后读取受试者的所有CT数据，进行以下处理：CT数据的存储，身体不同部位的分割，根据所扫描CT数据的分辨率选择不同的分割模型。

将分割的人体不同部位以需要的Nifti或者DICOM形式输出；

将分割得到的骨骼、肌肉、皮肤组织在同一坐标系下进行变换映射，利用CT重建技术构建三者(骨骼、肌肉、皮肤组织)之间的人体三维模型。

点云配准模块用于构建人体三维模型，可实现如下功能：

对医学影像分割模块得到的皮肤、肌肉和骨骼组织进行点云变换，将得到的Nifti或者DICOM文件依据Mimics软件变换为Point Cloud文件供以配准模块。

对体表信息扫描模块获取的准确点云信息(目标点云)以及转换得到的点云数据(源点云，待配准)使用体素网格对原始点云进行下采样，降低分辨率。

利用ISS算法获取源点云与目标点云对应匹配的关键点，根据FPFH特征描述符描述关键点与其相邻点之间的特征关系，基于关键点的FPFH，将源关键点集作为查询点，使用KD-Tree通过最近邻查询得到相对应的目标点集，获得目标与源之间的对应点集。

基于对应图节点可靠性的最优选择策略以及边缘可靠的逐点对齐方法去除经体表扫描获取的点云数据与CT影像中分割得到的特定部位中的异常点，根据三个对应点逐点对齐的坐标变换过程，完成了6自由度的刚性配准任务，实现高效准确的配准。

腧穴定位模块用于结构化腧穴知识图谱构建，可实现如下功能：

对体表信息扫描模块获取的准确点云信息进行快速特征匹配，实现决策信息的反馈整合，向控制模块发送决策信息。

在系统启动后首先加载腧穴特征模型，该模型由数据训练所得，数据源于对多名受试者的三维准确腧穴特征点的标注。

在加载腧穴特征模型后读取当前扫描的点云文件或通过点云配准模块转换得到的体表点云数据，进行以下处理：点云数据的存储，实时腧穴坐标定位以及根据点云信息进行碰撞检测。

在对点云数据处理后识别当前腧穴，完成识别后将运动决策信息传递至控制模块，进行下一区域的扫描与定位，或者根据人体视觉手持三维点云扫描设备扫描下一个区域。

根据人体的不同姿态(坐、立、仰卧、俯卧和侧卧位)和不同部位采取不同的腧穴定位方法。以人体面部和腹部穴位为例：对于人体面部，根据现有成熟的面部特征点识别技术，依据面部的分寸度量以及检测出的特征点与穴位之间的约束关系来定位腧穴；对于人体腹部，腹部分寸需通过某些骨节标志来折量全身各部的长度和宽度，定出分寸，用于腧穴定位，因此，这类腧穴涉及人体三维模型中骨骼与体表的映射关系，用这种方法来实现准确取穴。

以面部腧穴为例，根据面部穴位的不同特点，将其分为两类：一类是固定标志，指由骨节和肌肉所形成的突起或凹陷、五官轮郭、发际等。一类是活动标志，指各部的关节、肌肉、肌腱、皮肤随着活动而出现的空隙、凹陷、皱纹、尖端等。例如：微张口，耳屏正中前缘凹陷中取听宫。第一种固定标志点的腧穴定位方法，可以通过体表特征获得，第二种需要借助建立的人体三维模型，指引患者做出某些特定动作得到，因此，模块提出的方法仅针对固定标志穴位。其相关定位原理以及分寸度量方法如下：

(1)面部腧穴的定位原理为通过dlib算法识别人脸标志点(眼睛轮廓，眉毛，鼻子，嘴巴，面部轮廓等)，在现有成熟的人脸面部关键点检测基础上，根据《实用人体腧穴解剖图谱-2008》，结合人体面部纹理特征与每个穴位的位置约束关系，通过下述计算得到的面部分寸，以此识别面部腧穴。

(2)关于人体分寸，因为人体差异性，“分寸”因人而异，针灸中经常使用三种方法来度量寸长：体表解剖标志、骨度折量法、指寸测量法。该模块采用的面部分寸计算方法是耳后两乳突(完骨)之间定义为9横寸，用于确定头后部腧穴的横向距离。

以腹部腧穴为例，其相关定位原理以及分寸度量方法如下：

腹部腧穴的定位原理是：根据上述建立的人体三维模型(骨骼与体表之间的映射关系)，由天突-剑突尖-脐中映射到人体表面，根据下述计算的分寸，在《实用人体腧穴解剖图谱-2008》指导下，定位中极、中脘、气海、关元等穴位位置。

该模块采用的胸腹肋部分寸计算方法是：根据GB/T 12346—2021经穴名称与定位，胸骨上窝(天突)→剑突尖折量为9直寸，用于用于确定胸部任脉穴的纵向距离。剑突尖→脐中折量为8直寸，用于确定上腹部腧穴的纵向距离，如下表1。

表1胸腹肋部骨度折量寸表

根据面部穴位与腹部腧穴的自动定位方法，引申到人体不同姿态不同部位的腧穴定位上，帮助医生进行腧穴定位。

主控台计算机对控制模块发送自动模式或手动模式指令，在自动模式下，根据决策指令进行扫描仪运动路径规划，形成运动轨迹，发送给控制模块；当系统检测到当前扫描图像存在缺陷时，采用手动模式，遥操作手动控制。

控制模块用于结构化腧穴知识图谱构建，实现如下功能：

在启动后对配置参数进行自检，接收腧穴定位模块和主控计算机发出的决策信息。

在主控台计算机发送自动模式指令下，维持原有路径规划所生成的轨迹，进行定速运动，实现匀速扫描。

在主控台计算机发送手动模式指令下，识别遥操作指令，实现对机械臂的手动控制，以手动扫描查漏补缺，将未完整扫描图像进行二次扫描。

机器人控制计算机：控制多自由度机械臂及可移动支架夹持三维点云扫描设备沿着主控台计算机规划的机械臂轨迹自动扫描采集人体体表数据。

在机器人控制计算机中安装有体表信息扫描模块，可实现如下功能：

为三维点云扫描设备配置接口文件，对扫描参数进行设置；

在系统参数配置后启动三维点云扫描设备，扫描三维点云(在线扫描视景中物体)以及RGB扫描(在线识别点云RGB信息)；

根据主控台计算机给定的规划机械臂运动的路径，控制机械臂按照规划的路径行走；

在系统扫描后将原始数据传输至图像信号处理计算机。

多自由度机械臂及可移动支架与机器人控制计算机相连接，并在机器人控制计算机的控制下带动三维点云扫描设备移动。

基于上述结构化腧穴知识图谱构建系统，本发明还提出一种基于人体三维模型的结构化腧穴知识图谱构建方法，包括以下步骤：

步骤1、机器人控制计算机控制三维点云扫描设备对人体体表进行扫描，获得人体表面点云数据。

在本步骤中，自主操作机械臂夹持(或者手持)三维点云扫描设备对人体体表进行扫描，建立三维特征点云，获得人体表面点云数据。以人体面部为例，经扫描得到如图5所示的未经处理的原始点云。

注意：在经三维点云扫描设备获取的体表图像传输至点云配准模块前，需要由体表信息扫描模块对原始点云进行预处理：利用Geomagic软件去除杂散点；根据点云配准模块的要求规定点云所在坐标系的正方向，得到经处理后的目标点云，如图6及图7所示。

步骤2、主控台计算机中的医学影像分割模块读取经RevolutionApex CT设备扫描的人体全身CT数据，加载CT分割模型，将分割得到的骨骼、肌肉、皮肤组织在同一坐标系下进行变换映射，利用CT重建技术构建三者(骨骼、肌肉、皮肤组织)之间的人体三维模型。

在本步骤中，医学影像分割模块读取经RevolutionApex CT设备扫描的人体全身CT数据，如图8所示。该模块允许加载Nifti文件或包含受试者所有DICOM切片的文件夹。

在加载CT分割模型后，医学影像分割模块对人体不同部位不同组织进行分割，以人体上身为例，分割后得到身体、皮肤、骨骼肌、头盖骨等分割重建结果，如图9所示。

医学影像分割模块将分割得到的骨骼、肌肉、皮肤组织在同一坐标系下进行变换映射，利用CT重建技术构建三者之间的人体三维模型，如图10所示，可以清晰地看出骨骼-肌肉-皮肤组织等三者之间的映射关系。

步骤3、主控台计算机中的点云配准模块对医学影像分割模块得到的皮肤、肌肉和骨骼组织进行点云变换，然后利用配准算法实现CT影像与体表扫描的配准融合。

在本步骤中，点云配准模块对医学影像分割模块得到的皮肤、肌肉和骨骼组织利用Mimics变换为Point Cloud文件，变换结果图11所示：

基于对应图节点可靠性的最优选择策略以及边缘可靠的逐点对齐方法去除异常点，完成了6自由度的刚性配准任务，以人体面部为例，将经体表扫描获取的点云数据与CT影像中分割得到的头部进行配准，配准前与配准之后的结果如图12所示。

步骤4、主控台计算机收集多名受试者的实验数据，整合不同体型、不同性别的受试者的体表视觉信息和体内影像结构信息，利用体表扫描数据与体内解剖结构的配准融合，建立人体骨骼-肌肉-皮肤三者的映射关系，集成到统一标准，建立标准人体三维模型。

步骤5、基于标准人体三维模型，结合中医腧穴定位规则构建基于人体三维模型的结构化腧穴知识图谱。

由于人体分寸是针灸治疗过程中必需的度量标准，它是一种因人而异的距离度量，因为每个人的生理特点不同，根据人体的生理比例计算得到的“寸”就不同，在腧穴定位中必须考虑这极为关键的一环，在“分寸”测量过程中，利用Geodesic Distance算法计算三维网格中两顶点沿网格表面最短路径的距离，亦即体表两点之间沿人体表面的最短距离，作为计算人体自适应分寸的客观度量，以人体面部鼻尖和眉间以及胸骨上窝(天突)、剑突尖和脐中为例，计算结果如表2及图13所示。

表2、计算的人体表面距离与不同部位的人体分寸

说明	distance(mm)	1cun＝？mm
			鼻尖—眉间	52.95	——(针灸理论中未阐述)
天突—剑突尖	192.5	1cun＝192.5/9＝21.4mm
			剑突尖—脐中	200.2	1cun＝200.2/8＝25mm

在定位天突、剑突尖与脐中的位置的时候，利用建立的人体三维模型，呈现效果如图14所示，根据骨骼与体表的映射关系，定位骨节标志，为折量全身各部的长度和宽度提供基础。

以人体面部固定标志的腧穴定位为例，输入体表点云文件，利用二维图像中的dlib算法，识别面部68个关键点，覆盖了面部主要器官和面部轮廓，根据《实用人体腧穴解剖图谱-2008》，结合人体面部纹理特征与每个穴位的位置约束关系，得到面部17个腧穴的位置(三维空间坐标)，实现三维空间定位功能，图15给出了面部部分特征点与穴位对比图。

以人体胸腹肋部的腧穴定位为例，输入经CT分割得到的数据，根据骨骼与体表之间的映射关系，结合腹部分寸(如表3所示)，定位中极、中脘、气海、关元等穴位位置，图16给出了腹部理论图谱与穴位对比图。

表3常用腹部腧穴描述

根据腧穴定位模块，实现面部穴位与腹部腧穴的自动定位，进而引申到人体不同姿态不同部位的腧穴定位上，收集多名受试者的实验数据，整合不同体型、不同性别的受试者的体表视觉信息和体内影像结构信息，利用体表扫描数据与体内解剖结构的配准融合，建立人体骨骼-肌肉-皮肤三者的映射关系，将其集成到一个统一标准，建立标准人体模型，根据针灸经络腧穴定位，建立结构化腧穴知识图谱。

需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (10)

1.一种基于人体三维模型的结构化腧穴知识图谱构建系统，其特征在于：包括三维点云扫描设备、RevolutionApex CT设备、机器人控制计算机、图像信号处理计算机和主控台计算机；

所述三维点云扫描设备：在机器人控制计算机的控制下扫描采集人体体表数据，并将人体体表数据传输至图像信号处理计算机；

所述RevolutionApex CT设备用于采集人体全身CT数据，并将采集的人体全身CT数据传输至图像信号处理计算机；

所述图像信号处理计算机：接收三维点云扫描设备的人体体表数据和RevolutionApexCT设备的人体全身CT数据，并对人体体表数据进行预处理得到体表点云数据，然后将体表点云数据及人体全身CT数据传输至主控台计算机；

所述主控台计算机：接收体表点云数据及人体全身CT数据，将人体全身CT数据进行医学影像分割及点云转换，利用配准算法将CT影像与体表点云数据进行配准融合，建立人体三维模型，结合中医腧穴定位规则构建基于人体三维模型的结构化腧穴知识图谱，并向机器人控制计算机发送自动扫描和规划好的机械臂运动路径的控制指令；

所述机器人控制计算机：接收主控台计算机的控制指令，控制三维点云扫描设备扫描采集人体体表数据。

2.根据权利要求1所述的基于人体三维模型的结构化腧穴知识图谱构建系统，其特征在于：所述三维点云扫描设备安装在多自由度机械臂及可移动支架上，所述多自由度机械臂及可移动支架在机器人控制计算机的控制下移动。

3.根据权利要求1或2所述的基于人体三维模型的结构化腧穴知识图谱构建系统，其特征在于：所述三维点云扫描设备内安装有体表扫描模块，该体表扫描模块对人体表面进行三维点云扫描和RGB扫描，并将扫描后的人体体表数据传输至图像信号处理计算机。

4.根据权利要求1或2所述的基于人体三维模型的结构化腧穴知识图谱构建系统，其特征在于：所述图像信号处理计算机内安装有图像处理模块，该图像处理模块用于对人体体表数据进行预处理得到准确点云，并在结构化腧穴知识图谱构建过程中，采用GeodesicDistance算法计算体表两点之间沿人体表面的最短距离，作为计算人体自适应分寸的客观度量。

5.根据权利要求1或2所述的基于人体三维模型的结构化腧穴知识图谱构建系统，其特征在于：所述主控台计算机内安装有医学影像分割模块、点云配准模块、腧穴定位模块及控制模块，其中：

所述医学影像分割模块读取人体全身CT数据，通过CT分割模型分割出所需要部位的结构影像，将分割得到的骨骼、肌肉、皮肤组织在同一坐标系下进行变换映射，利用CT重建技术构建骨骼、肌肉、皮肤组织之间的人体三维模型，整合不同体型、不同性别的受试者，建立标准人体三维模型；

所述点云配准模块对医学影像分割模块得到的皮肤、肌肉和骨骼组织进行点云变换得到待配准点云，对三维点云扫描设备得到的准确点云及医学影像分割模块转换得到的待配准点云进行配准融合；

所述腧穴定位模块读取三维点云扫描设备获得的准确点云信息进行快速特征匹配，实现决策信息的反馈整合，向控制模块发送决策信息，进行下一区域的扫描与定位；加载腧穴特征模型，读取当前扫描的点云文件或通过点云配准模块转换得到的体表点云数据，依据已建立的标准人体三维模型，结合骨骼、肌肉、皮肤组织之间映射关系，在针灸规则的指导下，对人体坐、立、仰卧、俯卧和侧卧位姿态以及不同部位进行相应的腧穴定位；

所述控制模块接收腧穴定位模块和主控计算机发出的决策信息，向机器人控制计算机发出控制指令。

6.根据权利要求1或2所述的基于人体三维模型的结构化腧穴知识图谱构建系统，其特征在于：所述主控计算机向控制模块发送决策信息包括自动自动模式和手动模式，在自动模式下，控制模块维持原有路径规划所生成的轨迹，在手动模式指令下，进行手动扫描查漏。

7.根据权利要求1至6所述的基于人体三维模型的结构化腧穴知识图谱构建系统的构建方法，其特征在于：包括以下步骤：

步骤1、机器人控制计算机控制三维点云扫描设备对人体体表进行扫描，获得人体表面点云数据；

步骤2、主控台计算机读取经RevolutionApex CT设备扫描的人体全身CT数据，加载CT分割模型，将分割得到的骨骼、肌肉、皮肤组织在同一坐标系下进行变换映射，利用CT重建技术构建骨骼、肌肉、皮肤组织之间的人体三维模型；

步骤3、主控台计算机对医学影像分割模块得到的皮肤、肌肉和骨骼组织进行点云变换，然后利用配准算法实现CT影像与体表扫描的配准融合；

步骤4、主控台计算机收集多名受试者的实验数据，整合不同体型、不同性别的受试者的体表视觉信息和体内影像结构信息，利用体表扫描数据与体内解剖结构的配准融合，建立人体骨骼-肌肉-皮肤三者的映射关系，将其集成到一个统一标准，建立标准人体三维模型；

步骤5、基于标准人体三维模型，结合中医腧穴定位规则构建基于人体三维模型的结构化腧穴知识图谱。

8.根据权利要求7所述的基于人体三维模型的结构化腧穴知识图谱构建系统的构建方法，其特征在于：所述步骤2的具体实现方法为：

医学影像分割模块读取经RevolutionApex CT设备扫描的人体全身CT数据；

加载CT分割模型，该分割模型利用nn U-Net网络来训练数据；

读取受试者的所有CT数据，进行以下处理：CT数据的存储，身体不同部位的分割，根据所扫描CT数据的分辨率选择不同的分割模型；

将分割的人体不同部位以需要的Nifti或者DICOM形式输出；

将分割得到的骨骼、肌肉、皮肤组织在同一坐标系下进行变换映射，利用CT重建技术构建骨骼、肌肉、皮肤组织之间的人体三维模型。

9.根据权利要求7所述的基于人体三维模型的结构化腧穴知识图谱构建系统的构建方法，其特征在于：所述步骤3的具体实现方法为：

点云配准模块对医学影像分割模块得到的皮肤、肌肉和骨骼组织进行点云变换，将得到的Nifti或者DICOM文件，依据Mimics软件变换为Point Cloud文件；

对体表信息扫描模块获取的目标点云以及转换得到的待配准的源点云，使用体素网格对原始点云进行下采样；

利用ISS算法获取源点云与目标点云对应匹配的关键点，根据FPFH特征描述符描述关键点与其相邻点之间的特征关系，基于关键点的FPFH，将源关键点集作为查询点，使用KD-Tree通过最近邻查询得到相对应的目标点集，获得目标与源之间的对应点集；

基于对应图节点可靠性的最优选择策略以及边缘可靠的逐点对齐方法去除经体表扫描获取的点云数据与CT影像中分割得到的特定部位中的异常点，根据三个对应点逐点对齐的坐标变换过程，完成6自由度的刚性配准任务。

10.根据权利要求7所述的基于人体三维模型的结构化腧穴知识图谱构建系统的构建方法，其特征在于：所述步骤5的具体实现方法为：

腧穴定位模块对人体表面点云数据进行快速特征匹配，实现决策信息的反馈整合，向控制模块发送决策信息；

加载腧穴特征模型，该腧穴特征模型由数据训练所得，数据源于对多名受试者的三维准确腧穴特征点的标注；

读取当前扫描的点云文件或通过点云配准模块转换得到的体表点云数据，进行以下处理：点云数据的存储，实时腧穴坐标定位以及根据点云信息进行碰撞检测。

在对点云数据处理后识别当前腧穴，完成识别后将运动决策信息传递至控制模块，进行下一区域的扫描与定位；

根据人体的坐、立、仰卧、俯卧和侧卧位以及不同部位采取不同的腧穴定位方法：对于人体面部，根据现有成熟的面部特征点识别技术，依据面部的分寸度量以及检测出的特征点与穴位之间的约束关系来定位腧穴；对于人体腹部，通过人体三维模型中骨骼与体表的映射关系实现准确取穴功能。