CN110896611A - 一种基于摄像头的经颅磁刺激诊疗导航系统 - Google Patents

Abstract

本发明公开一种基于摄像头的经颅磁刺激诊疗导航系统，包括躺式床、头枕、3D摄像头、3D扫描仪、机械手、TMS线圈和智能终端；该导航系统的导航方法为：首先采用所述3D扫描仪和智能终端对患者头部进行建模；再将头模的位置与患者头部的实际位置进行匹配，确定患者头模上待磁刺激磁刺激点的空间位置；再对机械手、TMS线圈和3D摄像头进行建模；最后将患者头模和操作设备的模型放在同一个空间坐标系中，计算出TMS线圈模型到达头模上待磁刺激磁刺激点的最佳路径，再根据该最佳路径对机械手的移动进行自动导航，将TMS线圈移动至患者头部进行治疗。本发明通过自动对机械手的移动进行导航，避免了人为因素对治疗效果造成的影响，同时提升了患者的体验感。

Description

一种基于摄像头的经颅磁刺激诊疗导航系统

技术领域

本发明属于经颅磁刺激医疗技术领域，具体是一种基于摄像头的经颅磁刺激诊疗导航系统。

背景技术

据中国疾病预防控制中心精神卫生中心统计，目前我国精神疾病患者总数已超过1亿，但公众对精神疾病的知晓率不足5成，就诊率更低。目前这些精神病人得到及时救治的约20％，有80％的精神病人得不到及时救治，甚至得不到最基本的救治，症精神疾病患者人数更是高达1600万人。根据IMS health的最新统计数据，全球精神疾病用药已经超过360亿美元，占药品销售总额的5％。不过，就国内而言，目前的精神疾病用药市场规模仍相对较小，大约占医院销售总额的1.5％左右。我国精神病专科医院已经超过600家，但与日益增长的精神病发病率相比，在数量和质量上与精神病患者需求之间还存在较大差距，仍有为数众多的精神病患者不能得到专业、系统、有效的治疗。

经颅磁刺激(Transcranial Magnetic Stimulation，TMS)，是一种通过脉冲磁场在局部大脑皮层中产生电流以暂时激活或抑制该皮层的技术。在如今现有的医疗设备领域，关于经颅磁刺激治疗设备的操作都是通过人为操作或支架固定控制TMS线圈，来对患者进行治疗。人工操作很不方便，需要长时间手持线圈或者利用支架固定一个特定角度；患者的体验感不好，坐着保持姿势不敢乱动，乱动后需要重新定位；人工定位比较繁琐也不够精准，从而对患者的治疗效果大打折扣。因此，亟需一种能够自动对机械手的移动进行导航，从而自动对患者头部的磁刺激磁刺激点进行治疗的导航系统。

较精确的定位方法可采用经颅磁刺激导航系统，目前有两种，一种是机器视觉定位导航系统，如中国专利“经颅磁刺激导航系统及经颅磁刺激线圈定位方法”201210281507.X，201210281472.X；另一种是光学定位导航系统，如中国专利“一种导航经颅磁刺激治疗系统”201010235826.8，“一种用于重复经颅磁刺激光学定位导航系统的校准装置和方法”201010235828.7。机器视觉定位导航系统需要定位帽，定位帽的厚度增加了线圈与大脑皮层的距离，增加了刺激强度，造成能量的浪费，特别是在需要经颅磁刺激和脑电记录同时进行时，同时佩戴定位帽和脑电电极帽会增加更多的线圈与大脑皮层距离。在光学定位导航系统中，由于物体对光的阻碍作用，对光学传感器和光源的位置提出了很高的要求，也在一定程度上限制了光学定位系统的使用。

申请号为201710467812.0的专利公开了一种经颅磁刺激治疗设备，包括TMS线圈、支架、机械臂、控制器及定位装置；定位装置检测到人体头部与TMS线圈的位置，并将位置发送至控制器，控制器控制机械臂的六个驱动机构旋转相应的角度，由于机械臂具有六个自由度，TMS线圈可以实现整个大脑脑区的刺激；然而该专利中的定位装置采用的是两个红外摄像头和一个处理器，其获得的位置信息不够精准，不能对患者头部磁刺激磁刺激点的位置进行精准定位，从而无法将机械臂精准地导航至患者头部待刺激部位，无法准确地对磁刺激磁刺激点进行磁刺激治疗，从而降低了治疗效果。

发明内容

本发明的目的是针对现有技术存在的问题，提供一种基于摄像头的经颅磁刺激诊疗导航系统，通过3D摄像头能够有效获取患者面部彩色图像、红外图像和深度图像，并根据这些图像得到患者面部特征点的空间位置，并根据患者面部特征信息构建与患者头部匹配的头部模型，在头模上精准定位磁刺激磁刺激点的位置，并通过导航系统能够自动对机械手的移动进行导航，从而自动将TMS线圈移动至患者头部的磁刺激磁刺激点进行治疗；解决了现有技术中通过长时间手持TMS线圈导致的人为误差及给医务人员带来的操作不便性；同时解决了现有专利中由于定位装置对患者头部磁刺激磁刺激点定位不精准导致的机械臂导航路径不精确，最终造成治疗效果不显著的问题。

为实现上述目的，本发明采用的技术方案是：

一种基于摄像头的经颅磁刺激诊疗导航系统，包括躺式床、头枕、3D摄像头、3D扫描仪、机械手、TMS线圈和智能终端；所述3D摄像头、3D扫描仪、机械手、TMS线圈分别与智能终端电连接；

所述躺式床可以前后移动，用于调整患者头部与摄像头的相对位置；

所述头枕主要起到托架作用，支撑位点为头骨，还包括颈部，起到的作用是限制病人的移动，且不会造成病人的不适，并且不能阻碍头背部的磁刺激；

所述3D摄像头用于获取患者头部和机械手的空间位姿，从而对机械手进行导航；

所述机械手用于夹持TMS线圈对患者头部刺激磁刺激点进行磁刺激治疗；

所述导航系统的导航方法包括以下步骤：

S1，患者平躺在所述躺式床上，开启所述智能终端，通过智能终端调节所述躺式床的前后位置，使所述躺式床到达治疗位置；

S2，采用所述3D扫描仪和智能终端对患者头部进行建模；

S3，通过所述3D摄像头和智能终端将患者的头模的位置与患者头部的实际位置进行匹配，确定患者头模上待磁刺激磁刺激点的空间位置；

S4，通过所述智能终端对机械手、TMS线圈和3D摄像头进行建模；

S5，将步骤S4中建好的设备模型与步骤S2中建好的患者头模放在同一个空间坐标系中；再通过所述智能终端计算出TMS线圈模型到达头模上待磁刺激磁刺激点的最佳路径，所述智能终端再根据该最佳路径对机械手的移动进行自动导航，最终将所述TMS线圈移动至患者头部待磁刺激磁刺激点进行治疗。

具体地，步骤S3中，将患者的头模的位置与患者头部的实际位置进行匹配的方法包括以下步骤：

S31，在患者头模上标出用于配准的面部特征点；

S32，通过3D摄像头识别出患者面部的特征点；

S33，将步骤S31中标出的面部特征点与步骤S32中识别出的面部特征点进行匹配计算，得到患者头部与患者头模的旋转、平移关系；

S34，根据所述旋转、平移关系对患者头模进行旋转、平移操作，使患者头模的位置与患者头部的实际位置匹配上。

具体地，步骤S4中，对所述机械手、TMS线圈和3D摄像头建模后，需要将机械手模型、TMS线圈模型、3D摄像头模型的空间位置分别与机械手、TMS线圈、3D摄像头的实际空间位置进行匹配；具体匹配方法为：

S41,在机械手模型上标出用于配准的特征点；

S42，通过3D摄像头识别出机械手处于初始位置时的特征点；

S43，将步骤S41中标出的特征点与步骤S42中识别出的特征点进行匹配计算，得到机械手模型与机械手的旋转、平移关系；

S44，根据机械手处于初始位置时所述3D摄像头、TMS线圈与机械手的相对位置是固定的原理，得到3D摄像头模型、TMS线圈模型分别与3D摄像头、TMS线圈的旋转、平移关系；

S45，根据步骤S43和步骤S44中的旋转、平移关系，对所述机械手模型、TMS线圈模型、3D摄像头模型进行旋转、平移操作，使所述机械手模型、TMS线圈模型、3D摄像头模型的空间位置分别与机械手、TMS线圈、3D摄像头的实际空间位置匹配上。

优选地，所述导航方法还包括跟随定位步骤，所述跟随定位步骤包括：通过所述智能终端对患者头部模型的空间位姿进行微调，使患者头部模型的空间位姿与患者头部当前的实际空间位姿进行匹配，然后在头部模型上重新定位最新的磁刺激点，最后重新规划机械手的移动路径，将TMS线圈移动到最新的磁刺激点进行治疗。

本发明还提供了一种基于摄像头的经颅磁刺激诊疗头模建模系统，包括3D扫描仪、定位帽和智能终端，所述3D扫描仪和智能终端电连接；所述头模建模系统的建模方法包括以下步骤：

S1，患者佩戴好所述定位帽，启动所述智能终端，通过所述3D扫描仪从各个方向采集患者头部的3D图像数据，并将采集到的3D图像数据发送给所述智能终端；

S2，通过所述智能终端将3D扫描仪从各个方向采集到的3D图像数据进行整合，得到患者头部完整的3D点云图像，再通过抽样、平滑、平面拟合处理后得到患者头部完整的3D头模数据；

S3，利用所述3D头模数据，结合MNI脑空间坐标，将MNI空间的颅骨3D数据映射到患者的3D头模数据上，得到患者的3D头模。

具体地，所述3D扫描仪包括一个3D摄像头和一个旋转支架，所述3D摄像头安装在旋转支架上，所述旋转支架由电机驱动旋转，所述电机与智能终端电连接；采集患者头部的3D图像数据时，通过智能终端控制电机驱动旋转支架匀速转动，从而使3D摄像头匀速绕患者头部做圆周运动，从各个方向采集患者头部的3D图像数据。

具体地，所述3D扫描仪还可以包括若干个3D摄像头和一个固定支架，所述若干个3D摄像头均安装在固定支架上；采集患者头部的3D图像数据时，通过智能终端控制所述若干个3D摄像头同时从不同方向采集患者头部的3D图像数据。

进一步地，所述3D摄像头拍摄到的图像数据包括彩色图像、深度图像和3D点云图像。所述3D摄像头设置在患者面部上方且能够将其面部完全纳入拍摄范围的位置。

具体地，步骤S1中，所述定位帽为弹性材质做成的白色头罩，用于遮住患者头发；因为3D扫描仪无法扫描黑色无热量的头发，故需要通过所述白色头罩遮住毛发，露出患者五官及额头，并对特征点(眉心、鼻尖等)做标记；该定位帽具有弹性，适用人群广，佩戴方便；所述定位帽上设有若干Mark点，便于3D摄像头采集图像数据。

具体地，步骤S2中，对所述从各个方向采集到的3D图像数据进行整合的方法为：通过识别各个方向采集到的图像中的特征点计算出各个图像之间的匹配关系，再通过3D点云的ICP算法得到各个方向采集到的点云图像之间的空间位置关系，最后根据所述匹配关系和空间位置关系将所有的点云图像数据进行旋转和平移操作，得到患者头部完整的3D点云图像。

具体地，步骤S3中，所述映射方法为，通过选取患者头部NZ、CZ、AL、AR四点与颅骨模型上这四个点进行比对，得到颅骨模型转换矩阵，再将MNI空间中的点乘以该转换矩阵得到患者头模坐标点；其中，NZ表示鼻根，AL表示左耳，AR表示右耳，CZ表示鼻根与枕骨隆突的连线相交于左耳与右耳连线的交点。

本发明还提供了一种基于摄像头的经颅磁刺激诊疗检测系统，用于对患者头部磁刺激点的空间位置进行定位；所述检测系统包括：3D摄像头、躺式床、头枕和智能终端；所述3D摄像头用于拍摄患者的面部图像，并通过所述智能终端将患者面部图像与3D头模进行匹配，得到用于经颅磁刺激诊疗的磁刺激点定位信息。所述检测系统的检测方法包括以下步骤：

S1，患者平躺在所述躺式床上，调节所述躺式床的前后位置，使所述躺式床到达治疗位置；

S2，治疗开始前，采用所述3D摄像头拍摄患者头部的图像数据，采用所述智能终端进行头部建模，建立患者头部的3D头模；

S3，治疗开始，采用所述3D摄像头拍摄患者的实时面部图像，采用所述智能终端进行位姿匹配，将所述实时面部图像与已建立的3D头模进行位置匹配，进一步包括：在所述3D头模中标出用于匹配的面部特征点；通过所述3D摄像头自动识别出患者的实时面部图像的面部特征点；通过特征点匹配进行仿射变换得到转换矩阵，计算出患者的实时面部图像与已建立的3D头模的转换关系；计算所述3D头模在空间中的位置；计算所述3D头模上的磁刺激点在空间中的位置坐标。

优选地，所述检测方法还包括：在对患者头部进行磁刺激治疗的过程中，所述智能终端还通过3D摄像头对患者头部进行跟随定位；在治疗过程中会记录每次定位完成时患者头部磁刺激点的位置信息，若下一时刻由于患者头部运动造成当前时刻与上一时刻的磁刺激点位置距离超过5mm，则启动跟随定位；若不超过5mm，则不启动跟随定位。

与现有技术相比，本发明的有益效果是：(1)本发明通过3D摄像头和智能终端对患者头部进行建模，并将患者头模与患者头部进行匹配，再通过智能终端计算出TMS线圈模型到达头模上待磁刺激磁刺激点的最佳路径，智能终端再根据该最佳路径对机械手的移动进行自动导航，最终将所述TMS线圈移动至患者头部待磁刺激磁刺激点进行治疗；从而减轻了医生的负担，不用长时间手持线圈，避免了人为因素对治疗效果造成的影响；(2)本发明在治疗过程中，可以通过3D摄像头实时检测患者头部的空间位姿，并对患者头模的空间位姿进行实时微调，实时更新最新的磁刺激磁刺激点，保证治疗的精准性；同时对患者头部的姿态没有限制，有效地提升了患者的体验感。

附图说明

图1为本发明一实施方式的一种基于摄像头的经颅磁刺激诊疗导航系统的导航方法流程示意图；

图2为本发明一实施方式的一种基于摄像头的经颅磁刺激诊疗导航系统结构示意图；

图3为本发明又一实施方式的一种基于摄像头的经颅磁刺激诊疗头模建模系统的结构示意图；

图4为本发明又一实施方式的一种基于摄像头的经颅磁刺激诊疗头模建模系统的结构示意图；

图5为本发明又一实施方式的摄像头安装位的布置示意图；

图6为本发明又一实施方式的一种基于摄像头的经颅磁刺激诊疗头模建模系统的建模方法流程图；

图7为本发明又一实施方式的一种基于摄像头的经颅磁刺激诊疗检测系统的方法流程图；

图中：图中：1、躺式床；2、头枕；3、3D摄像头；4、机械手；5、TMS线圈；6、旋转支架；7、电机；8、3D扫描仪；9、智能终端；10、座椅；11、摄像头安装位；12、固定支架。

具体实施方式

下面将结合本发明中的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动条件下所获得的所有其它实施例，都属于本发明保护的范围。

本发明中，术语“安装、”“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

作为本发明的一实施方式，如图1、2所示，本实施例提供了一种基于摄像头的经颅磁刺激诊疗导航系统，包括躺式床、头枕、3D摄像头、3D扫描仪、机械手、TMS线圈和智能终端；所述3D摄像头、3D扫描仪、机械手、TMS线圈分别与智能终端电连接；所述智能终端可以为计算机；

所述躺式床为卧式平移平台，可以前后移动，用于调整患者头部与摄像头的相对位置；

所述头枕主要起到托架作用，支撑位点为头骨，还包括颈部，起到的作用是限制病人的移动，且不会造成病人的不适，并且不能阻碍头背部的磁刺激；

所述3D摄像头用于获取患者头部和机械手的空间位姿，从而对机械手进行导航；

所述机械手用于夹持TMS线圈对患者头部刺激磁刺激点进行磁刺激治疗；

所述导航系统的导航方法包括以下步骤：

S1，患者平躺在所述躺式床上，开启所述智能终端，通过智能终端调节所述躺式床的前后位置，使所述躺式床到达治疗位置；

S2，采用所述3D扫描仪和智能终端对患者头部进行建模；

S3，通过所述3D摄像头和智能终端将患者的头模的位置与患者头部的实际位置进行匹配，确定患者头模上待磁刺激磁刺激点的空间位置；

S4，通过所述智能终端对机械手、TMS线圈和3D摄像头进行建模；

S5，将步骤S4中建好的设备模型与步骤S2中建好的患者头模放在同一个空间坐标系中；再通过所述智能终端计算出TMS线圈模型到达头模上待磁刺激磁刺激点的最佳路径(移动距离最短，且移动过程中不会与其它设备发送碰撞)，所述智能终端再根据该最佳路径对机械手的移动进行自动导航，最终将所述TMS线圈移动至患者头部待磁刺激磁刺激点进行治疗。

具体地，步骤S2中，对患者头部进行建模包括以下步骤：

S21，通过所述3D摄像头从各个方向采集患者头部的3D图像数据，并将采集到的3D图像数据发送给所述智能终端；

S22，通过所述智能终端将所述3D图像数据进行整合，得到患者头部完整的3D点云图像，再通过抽样、平滑、平面拟合处理后得到患者头部完整的3D头模数据；

对所述3D图像数据进行整合的方法为：通过识别各个方向采集到的图像中的特征点计算出各个图像之间的匹配关系，再通过3D点云的ICP算法得到各个方向采集到的点云图像之间的空间位置关系，最后根据所述匹配关系和空间位置关系将所有的点云图像数据进行旋转和平移操作，得到患者头部完整的3D点云图像；

S23，利用所述3D头模数据，结合MNI脑空间坐标，将MNI空间的颅骨3D数据映射到患者的3D头模数据上，得到患者的3D头模。

具体地，步骤S3中，3D摄像头实时拍摄的3D图像只有患者的面部信息，没有头部信息，所以要将S2中建好的头模与实时拍摄的面部数据进行位置的配准，由于ICP算法计算量较大，无法满足实时检测的要求，位置配准方法是先在头模中标出用于配准的面部特征点(眉心、耳垂、眼角、鼻尖、嘴角和下巴)，再在实时图像中自动识别出面部特征点，通过特征点匹配计算出实时画面与头模的转换关系，并计算出头模在空间的位置，再计算出头模上的磁刺激点在空间中的位置坐标；具体步骤如下：

S31，在患者头模上标出用于配准的面部特征点；

S32，通过3D摄像头识别出患者面部的特征点；

S33，将步骤S31中标出的面部特征点与步骤S32中识别出的面部特征点进行匹配计算，得到患者头部与患者头模的旋转、平移关系；

S34，根据所述旋转、平移关系对患者头模进行旋转、平移操作，使患者头模的位置与患者头部的实际位置匹配上。

具体地，步骤S4中，对所述机械手、TMS线圈和3D摄像头建模可采用SolidWorks软件进行建模，建模完成后需要将机械手模型、TMS线圈模型、3D摄像头模型的空间位置分别与机械手、TMS线圈、3D摄像头的实际空间位置进行匹配；具体匹配方法为：

S41,在机械手模型上标出用于配准的特征点；

S42，通过3D摄像头识别出机械手处于初始位置时的特征点；

S43，将步骤S41中标出的特征点与步骤S42中识别出的特征点进行匹配计算，得到机械手模型与机械手的旋转、平移关系；

S44，根据机械手处于初始位置时所述3D摄像头、TMS线圈与机械手的相对位置是固定的原理，得到3D摄像头模型、TMS线圈模型分别与3D摄像头、TMS线圈的旋转、平移关系；

S45，根据步骤S43和步骤S44中的旋转、平移关系，对所述机械手模型、TMS线圈模型、3D摄像头模型进行旋转、平移操作，使所述机械手模型、TMS线圈模型、3D摄像头模型的空间位置分别与机械手、TMS线圈、3D摄像头的实际空间位置匹配上。

具体地，步骤S5中，一般机械手的移动路径规划算法比较复杂，由于本实施例中的模型、障碍和路径都是已知的，故采用手动规划路径的方法，在距离头模较远(大于30mm)的位置使用直线路径，在头模附近(小于/等于30mm)使用圆弧路径，使TMS线圈围绕头部运动到下一个磁刺激磁刺激点；由于头模的3D数据是已知的，故可将头模数据放大从而留出运行的安全距离，计算出头模上两点的最短弧线路径。

作为本发明的另一实施方式，本实施例提供了一种基于摄像头的经颅磁刺激诊疗导航系统，与上述实施例1的区别点在于，本实施例的导航系统还具有跟随定位功能；在对机械手进行导航的过程中，即使患者头部姿态发生变化，也能通过3D摄像头对患者头部的姿态进行实时跟随定位，保证治疗的精准性，提高治疗效果和患者的体验感。

具体地，在对患者头部进行磁刺激治疗的过程中，所述智能终端还通过3D摄像头对患者头部进行跟随定位；在治疗过程中会记录每次定位完成时患者头部的位置信息，若下一时刻由于患者头部运动造成当前时刻与上一时刻的磁刺激点距离超过5mm，则启动跟随定位；若不超过5mm，则不启动跟随定位；若患者头部转动次数较多，则暂停3D摄像头和机械手的跟随，并同时暂停TMS线圈的磁刺激；若患者不在3D摄像头的可调整范围内或离开，则停止机械手和线圈的磁刺激动作。

进一步地，所述跟随定位的步骤为：通过所述智能终端对患者头部模型的空间位姿进行微调，使患者头部模型的空间位姿与患者头部当前的实际空间位姿进行匹配，然后在头部模型上重新定位最新的磁刺激点，最后重新规划机械手的移动路径，将TMS线圈移动到最新的磁刺激点进行治疗。

本发明通过摄像头拍摄患者头部的视频图像数据，对患者的头部进行建模，并根据建模数据以及拍摄的人脸视频图像对患者的人脸姿态进行检测估计，得到患者的人脸姿态数据，然后根据人脸姿态数据进行机器人导航，调整TMS治疗磁刺激点，在无需佩戴导光球定位的情况下保证每次治疗时磁刺激点定位的精准，解决了TMS定位及重复定位的问题。

作为本发明的又一实施方式，提供一种基于摄像头的经颅磁刺激诊疗头模建模系统，包括3D扫描仪、定位帽、座椅和智能终端，所述3D扫描仪和智能终端电连接；所述智能终端可以为计算机。

具体地，如图2所示，所述3D扫描仪包括一个3D摄像头和一个旋转支架，所述3D摄像头安装在旋转支架上，所述旋转支架由电机驱动旋转，所述电机与智能终端电连接；采集患者头部的3D图像数据时，通过智能终端控制电机驱动旋转支架匀速转动，从而使3D摄像头匀速绕患者头部做圆周运动，从各个方向采集患者头部的3D图像数据。

如图6所示，所述头模建模系统的建模方法包括以下步骤：

S1，患者坐在所述座椅上并佩戴好所述定位帽，启动所述智能终端，通过所述3D扫描仪从各个方向采集患者头部的3D图像数据，并将采集到的3D图像数据发送给所述智能终端；

S2，通过所述智能终端将3D扫描仪从各个方向采集到的3D图像数据进行整合，得到患者头部完整的3D点云图像，再通过抽样、平滑、平面拟合处理后得到患者头部完整的3D头模数据；

S3，利用所述3D头模数据，结合医学常用的MNI脑空间坐标，将MNI空间的脑向3D扫描得到的颅骨模型映射到患者的3D头模数据上，得到患者的3D头模，然后在患者的3D头模上建立磁刺激点模型。

具体地，步骤S1中，所述定位帽为弹性材质做成的白色头罩，用于遮住患者头发；因为3D扫描仪无法扫描黑色无热量的头发，故需要通过所述白色头罩遮住毛发，露出患者五官及额头，并对特征点(眉心、鼻尖等)做标记；该定位帽具有弹性，适用人群广，佩戴方便；所述定位帽上设有若干Mark点，便于3D摄像头采集图像数据。

具体地，步骤S2中，对所述从各个方向采集到的3D图像数据进行整合的方法为：通过识别各个方向采集到的图像中的特征点计算出各个图像之间的匹配关系，再通过3D点云的ICP算法得到各个方向采集到的点云图像之间的空间位置关系，最后根据所述匹配关系和空间位置关系将所有的点云图像数据进行旋转和平移操作，得到患者头部完整的3D点云图像。

进一步地，对头部进行建模需要通过3D摄像头采集患者头部的3D扫描数据，3D摄像头每拍照一次会产生彩色图、深度图和3D点云图，这3幅图是同时产生的，所以各个图像上的点有固定的对应关系，这个对应关系是已知的，是通过摄像头的标定得到的；3D扫描就是围绕患者头部拍摄一系列的图像，然后将这些图像拼接成一个完整的图像，而图像拼接要找到两幅图像中相同的部分并进行匹配；在3D摄像头中头发无法得到3D点云，而在医学治疗头模需要颅骨的3D数据(不要头发)，故在头模扫描时患者需要戴上特定的定位帽，为了使匹配更准确，帽子上一般会设一些mark点；3D扫描最终需要对3D点云进行拼接，拼接时需要每一幅图像点云之间的旋转平移关系，点云的拼接主要依靠ICP算法，ICP算法有时会失败，故需要先做粗匹配。

进一步地，点云的拼接步骤如下：

S21，先在彩色图中通过OpenCV中cv::FeatureDetector和cv::DescriptorExtractor计算“关键点”，并对这些关键点周围的像素计算其“描述子”，再通过cv::DMatch对上述的描述子进行匹配，然后调用OpenCV里的SolvePnPRansac函数求解PnP得到两幅图像的位移和旋转的信息；

S22，使用上面计算得到的位移和旋转的信息作为ICP算法的初始粗匹配的结果对两幅点云数据进行计算得到更加精准的位移和旋转数据；

S23，使用上述位移和旋转数据得到位移和旋转矩阵，并对上一幅点云图中的点全部进行旋转和平移，将计算的到的新点云添加到当前点云图中，得到一个更大的点云，完成两幅点云的整合；

S24，重复步骤S21至S23，将所有点云图整合成一个更大的点云图，再对此点云图进行滤波平滑处理，抽样减少点的数量，拟合得到3D曲面数据；即得到患者头部完整的3D数据。

具体地，步骤S3中，所述映射方法为，通过选取患者头部NZ、CZ、AL、AR四点与颅骨模型上这四个点进行比对，得到颅骨模型转换矩阵，再将MNI空间中的点乘以该转换矩阵得到患者头模坐标点；其中，NZ表示鼻根，AL表示左耳，AR表示右耳，CZ表示鼻根与枕骨隆突的连线相交于左耳与右耳连线的交点。

作为本发明的又一实施方式，提供一种基于摄像头的经颅磁刺激诊疗头模建模系统，本实施例中所述3D扫描仪包括3个3D摄像头和一个固定支架。

具体地，如图4所示，所述固定支架上设有3个摄像头安装位，相邻两个摄像头安装位之间的夹角均为120度，所述3个3D摄像头分别安装在所述3个摄像头安装位上；

采集患者头部的3D图像数据时，通过智能终端控制所述3个3D摄像头同时从三个方向采集患者头部的3D图像数据。

本实施中，通过3个3D摄像头同时采集患者头部的3D图像数据，并将采集到的数据发送至智能终端进行头部建模，实时性较好。

作为本发明的又一实施方式，提供一种基于摄像头的经颅磁刺激诊疗检测系统。包括躺式床、头枕、3D摄像头、3D扫描仪、机械手、TMS线圈和智能终端；所述3D摄像头、机械手、TMS线圈分别与智能终端连接；所述智能终端可选择计算机、笔记本、平板电脑等。

所述躺式床为卧式平移平台，可以前后移动，用于调整患者头部与摄像头的相对位置。

所述头枕主要起到托架作用，支撑位点为头骨，还包括颈部，起到的作用是限制病人的移动，且不会造成病人的不适，并且不能阻碍头部的磁刺激。

所述3D摄像头用于获取患者的头部姿态数据及实时的面部姿态数据，在进行治疗前，采用3D摄像头获取患者的头部姿态数据，结合智能终端进行头部3D建模；在开始治疗后，采用3D摄像头获取患者的实时面部数据，结合智能终端对实时面部数据进行处理，将已建模的3D头模与实时面部图像进行匹配。

所述3D摄像头还用于获取机械手和TMS线圈的的空间位姿，从而利用机械手进行导航，将TMS线圈夹持到磁刺激点位置。

所述机械手还用于夹持TMS线圈对患者头部刺激磁刺激点进行磁刺激治疗。

如图7所示，所述检测系统的检测方法包括以下步骤：

S1，患者平躺在所述躺式床上，调节所述躺式床的前后位置，使所述躺式床到达治疗位置；

S2，治疗开始前，采用所述3D摄像头拍摄患者头部的图像数据，采用所述智能终端进行建模，建立患者头部的3D头模；

S3，治疗开始，采用所述3D摄像头拍摄患者的实时面部图像，采用所述智能终端进行位姿匹配，将所述实时面部图像与已建立的3D头模进行位置匹配，进一步包括：在所述3D头模中标出用于匹配的面部特征点，该面部特征点是在建模过程中由摄像头自动识别的；通过所述3D摄像头自动识别出患者的实时面部图像的面部特征点；通过特征点匹配进行仿射变换得到转换矩阵，计算出患者的实时面部图像与已建立的3D头模的转换关系；计算所述3D头模在摄像头坐标系下的位置；计算所述3D头模上的磁刺激点在空间中的位置坐标。

具体地，S2中，对患者头部进行建模包括以下步骤：

S21，通过所述3D摄像头从各个方向采集患者头部的3D图像数据，并将采集到的3D图像数据发送给所述智能终端；

S22，所述智能终端将所述3D图像数据进行整合，得到患者头部完整的3D点云图像，再通过抽样、平滑、平面拟合处理后得到患者头部完整的3D头模数据；

S23，利用所述3D头模数据，结合MNI脑空间坐标，将MNI空间的脑向3D扫描得到的颅骨模型映射到患者的3D头模数据上，得到患者的3D头模，然后在患者的3D头模上建立磁刺激点模型。

具体地，步骤S3中，3D摄像头实时拍摄的3D图像只有患者的面部信息，没有头部信息，所以要将S2中建好的头模与实时拍摄的面部数据进行位置的配准，由于ICP算法计算量较大，无法满足实时检测的要求，位置配准方法是先在头模中标出用于配准的面部特征点(眼角、鼻尖等)，再在实时图像中自动识别出面部特征点，通过特征点匹配计算出实时画面与头模的转换关系，并计算出头模在空间的位置，再计算出头模上的磁刺激点在空间中的位置坐标。

所述转换关系包括患者的实时面部图像与所述3D头模在摄像头坐标系下的旋转、平移关系，根据所述旋转、平移关系对所述3D头模进行旋转、平移操作，将所述3D头模匹配到患者的实时面部图像上。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种基于摄像头的经颅磁刺激诊疗导航系统，其特征在于，包括躺式床、头枕、3D摄像头、3D扫描仪、机械手、TMS线圈和智能终端；所述3D摄像头、3D扫描仪、机械手、TMS线圈分别与智能终端电连接；所述导航系统的导航方法包括以下步骤：

S1，通过卧式平移平台将患者平移至预定位置，开启所述智能终端；

S2，采用所述3D扫描仪和智能终端对患者头部进行建模；

S3，通过所述3D摄像头和智能终端将患者的头模的位置与患者头部的实际位置进行匹配，确定患者头模上待磁刺激磁刺激点的空间位置；

S4，通过所述智能终端对机械手、TMS线圈和3D摄像头进行建模；

S5，将步骤S4中建好的设备模型与步骤S2中建好的患者头模放在同一个空间坐标系中；再通过所述智能终端计算出TMS线圈模型到达头模上待磁刺激磁刺激点的最佳路径，所述智能终端再根据该最佳路径对机械手的移动进行自动导航，最终将所述TMS线圈移动至患者头部待磁刺激磁刺激点进行治疗。

2.根据权利要求1所述的一种基于摄像头的经颅磁刺激诊疗导航系统，其特征在于，所述导航方法还包括：在对患者头部进行磁刺激治疗的过程中，所述智能终端还通过3D摄像头对患者头部进行跟随定位；在治疗过程中会记录每次定位完成时患者头部的位置信息，若下一时刻由于患者头部运动造成当前时刻与上一时刻的磁刺激点距离超过5mm，则启动跟随定位；若不超过5mm，则不启动跟随定位。

3.根据权利要求2所述的一种基于摄像头的经颅磁刺激诊疗导航系统，其特征在于，所述跟随定位的步骤为：通过所述智能终端对患者头部模型的空间位姿进行微调，使患者头部模型的空间位姿与患者头部当前的实际空间位姿进行匹配，然后在头部模型上重新定位最新的磁刺激点，最后重新规划机械手的移动路径，将TMS线圈移动到最新的磁刺激点进行治疗。

4.根据权利要求1所述的一种基于摄像头的经颅磁刺激诊疗导航系统，其特征在于，步骤S2中，对患者头部进行建模包括以下步骤：

S21，通过所述3D摄像头从各个方向采集患者头部的3D图像数据，并将采集到的3D图像数据发送给所述智能终端；

S22，通过所述智能终端将所述3D图像数据进行整合，得到患者头部完整的3D点云图像，再通过抽样、平滑、平面拟合处理后得到患者头部完整的3D头模数据；

S23，利用所述3D头模数据，结合MNI脑空间坐标，将MNI空间的颅骨3D数据映射到患者的3D头模数据上，得到患者的3D头模。

5.根据权利要求1所述的一种基于摄像头的经颅磁刺激诊疗导航系统，其特征在于，步骤S3中，将患者的头模的位置与患者头部的实际位置进行匹配的方法包括以下步骤：

S31，在患者头模上标出用于配准的面部特征点；

S32，通过3D摄像头识别出患者面部的特征点；

S33，将步骤S31中标出的面部特征点与步骤S32中识别出的面部特征点进行匹配计算，得到患者头部与患者头模的旋转、平移关系；

S34，根据所述旋转、平移关系对患者头模进行旋转、平移操作，使患者头模的位置与患者头部的实际位置匹配上。

6.根据权利要求1所述的一种基于摄像头的经颅磁刺激诊疗导航系统，其特征在于，步骤S4中，对所述机械手、TMS线圈和3D摄像头建模后，需要将机械手模型、TMS线圈模型、3D摄像头模型的空间位置分别与机械手、TMS线圈、3D摄像头的实际空间位置进行匹配；具体匹配方法为：

S41,在机械手模型上标出用于配准的特征点；

S42，通过3D摄像头识别出机械手处于初始位置时的特征点；

S43，将步骤S41中标出的特征点与步骤S42中识别出的特征点进行匹配计算，得到机械手模型与机械手的旋转、平移关系；

S44，根据机械手处于初始位置时所述3D摄像头、TMS线圈与机械手的相对位置是固定的原理，得到3D摄像头模型、TMS线圈模型分别与3D摄像头、TMS线圈的旋转、平移关系；

S45，根据步骤S43和步骤S44中的旋转、平移关系，对所述机械手模型、TMS线圈模型、3D摄像头模型进行旋转、平移操作，使所述机械手模型、TMS线圈模型、3D摄像头模型的空间位置分别与机械手、TMS线圈、3D摄像头的实际空间位置匹配上。

Images