CN110896609B - 一种用于经颅磁刺激治疗的tms定位导航方法 - Google Patents

一种用于经颅磁刺激治疗的tms定位导航方法 Download PDF

Info

Publication number
CN110896609B
CN110896609B CN201980001082.2A CN201980001082A CN110896609B CN 110896609 B CN110896609 B CN 110896609B CN 201980001082 A CN201980001082 A CN 201980001082A CN 110896609 B CN110896609 B CN 110896609B
Authority
CN
China
Prior art keywords
patient
head
positioning
face
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980001082.2A
Other languages
English (en)
Other versions
CN110896609A (zh
Inventor
孙聪
王波
蔡胜安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Znion Technology Co Ltd
Original Assignee
Wuhan Znion Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN201811131181.6A external-priority patent/CN109260593B/zh
Application filed by Wuhan Znion Technology Co Ltd filed Critical Wuhan Znion Technology Co Ltd
Publication of CN110896609A publication Critical patent/CN110896609A/zh
Application granted granted Critical
Publication of CN110896609B publication Critical patent/CN110896609B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N2/00Magnetotherapy
    • A61N2/02Magnetotherapy using magnetic fields produced by coils, including single turn loops or electromagnets
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N2/00Magnetotherapy
    • A61N2/004Magnetotherapy specially adapted for a specific therapy
    • A61N2/006Magnetotherapy specially adapted for a specific therapy for magnetic stimulation of nerve tissue
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/08Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Neurology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Magnetic Treatment Devices (AREA)

Abstract

一种用于经颅磁刺激治疗的TMS定位导航方法,主要包括以下步骤:首先,采集患者面部RGBD图像数据,得到稳定的RGBD图像数据和3D点云图像数据;然后再对患者面部的RGBD图像采用人脸检测算法,得到患者面部特征点信息;再对患者面部进行空间定位,得到患者面部特征点位于摄像头空间坐标系中的3D坐标值;再对患者头部进行建模,将患者头部模型的空间位姿与患者头部的实际空间位姿进行匹配,确定患者实际刺激位点的空间位姿,对机械手的移动路径进行规划,完成首次定位;最后保存首次定位中患者头部的磁刺激点的空间位姿数据和机械手的移动路径规划数据,再下一次治疗时,只需调出首次定位时保存的数据即可实现一键定位。

Description

一种用于经颅磁刺激治疗的TMS定位导航方法
技术领域
本发明属于经颅磁刺激医疗技术领域,具体是一种用于经颅磁刺激治疗的TMS定位导航方法。
背景技术
据中国疾病预防控制中心精神卫生中心统计,目前我国精神疾病患者总数已超过1亿,但公众对精神疾病的知晓率不足5成,就诊率更低。目前这些精神病人得到及时救治的约20%,有80%的精神病人得不到及时救治,甚至得不到最基本的救治,症精神疾病患者人数更是高达1600万人。根据IMS health的最新统计数据,全球精神疾病用药已经超过360亿美元,占药品销售总额的5%。不过,就国内而言,目前的精神疾病用药市场规模仍相对较小,大约占医院销售总额的1.5%左右。我国精神病专科医院已经超过600家,但与日益增长的精神病发病率相比,在数量和质量上与精神病患者需求之间还存在较大差距,仍有为数众多的精神病患者不能得到专业、系统、有效的治疗。
经颅磁刺激(Transcranial Magnetic Stimulation,TMS),是一种通过脉冲磁场在局部大脑皮层中产生电流以暂时激活或抑制该皮层的技术。在如今现有的医疗设备领域,关于经颅磁刺激治疗设备的操作都是通过人为操作或支架固定控制TMS线圈,来对患者进行治疗。人工操作很不方便,需要长时间手持线圈或者利用支架固定一个特定角度;患者的体验感不好,坐着保持姿势不敢乱动,乱动后需要重新定位;人工定位比较繁琐也不够精准,从而对患者的治疗效果大打折扣。
申请号为201710467812.0的专利公开了一种经颅磁刺激治疗设备,包括TMS线圈、支架、机械臂、控制器及定位装置;定位装置检测到人体头部与TMS线圈的位置,并将位置发送至控制器,控制器控制机械臂的六个驱动机构旋转相应的角度,由于机械臂具有六个自由度,TMS线圈可以实现整个大脑脑区的刺激;然而该专利中的定位装置采用的是两个红外摄像头和一个处理器,其获得的位置信息不够精准,不能有效对头部特定部位进行治疗,治疗效果会降低很多;且不具有重复定位的功能,同一个患者每次去治疗时都需要重新进行定位,降低了治疗效率;亟需进一步改进。
发明内容
本发明的目的是针对现有技术存在的问题,提供一种用于经颅磁刺激治疗的TMS定位导航方法,通过3D摄像头能够有效获取患者面部RGBD图像、红外图像和深度图像,并根据这些图像得到患者面部特征点的空间位置,为精确定位患者头部位姿提供数据支持,并通过对机械手的移动路径进行合理规划,使机械手能够自动将TMS线圈移动到患者头部磁刺激点位进行治疗,从而减轻了医生的负担,同时提高了治疗效率和治疗效果;解决了现有技术中仅通过两个红外摄像头和一个处理模块对患者头部定位不精准的问题。
为实现上述目的,本发明采用的技术方案是:
一种用于经颅磁刺激治疗的TMS定位导航方法,包括以下步骤:
S1,患者平躺在卧式平移平台上,将所述卧式平移平台平移至预定位置,操作人员打开TMS治疗系统;
S2,采用3D摄像头采集患者面部RGBD图像数据,通过标定、背景剔除、滤波、光照补偿算法得到稳定的RGBD图像数据和3D点云图像数据;
S3,对患者面部的RGBD图像采用人脸检测算法,得到患者面部区域,再通过ASM特征点检测算法,得到患者面部特征点信息;
S4,对患者面部进行空间定位,以3D摄像头为原点建立空间坐标系,根据3D点云图像数据得到患者面部特征点位于3D摄像头空间坐标系中的3D坐标值;
S5,对患者头部进行建模,将3D摄像头绕头部匀速旋转或者使用多个摄相机同时拍摄,得到患者头部全方位的图像数据,通过识别所述全方位的图像数据中的面部特征点信息计算出图像之间的匹配关系,再通过3D点云的ICP算法得到点云的空间位置关系,将扫描数据中所有的3D点云图像数据进行整合得到患者头部完整的3D数据;再以医学常用的MNI脑空间坐标为标准,将MNI空间的脑向3D扫描得到的颅骨3D数据映射到所述完整的3D数据上得到患者的头部模型,然后在得到的患者头部模型上建立磁刺激点模型;
S6,首次定位,将患者头部模型的空间位姿与患者头部的实际空间位姿进行匹配,确定患者实际刺激位点的空间位姿,对操作设备进行建模,对机械手的移动路径进行规划;机械手根据规划的路径自动移动到患者头部磁刺激点进行磁刺激治疗;
S7,重复定位,在首次定位完成后,将首次定位时患者头部的磁刺激点信息和机械手的路径规划数据保存在患者头模中;患者在进行下次治疗时,可以直接调出上一次定位的数据对患者头部进行重复定位。
具体地,步骤S2中,所述光照补偿算法包括以下步骤:
S21,采用轮廓跟踪算法对RGBD图像进行分析,得到患者的面部轮廓线;
S22,将S21中的轮廓线映射到患者面部的3D点云图像上;
S23,沿着所述3D点云图像上的轮廓线,分析轮廓线两边点云的坐标值;若两边点云坐标值的高度存在较大跳变,则表明该轮廓真实有效;若不存在较大跳变,则表明该轮廓是由于光线过强造成阴影而形成的伪轮廓;
S24,在RGBD图像上,将所述伪轮廓对应位置两侧的像素明度调至接近,即暗区向明区方向调整,以消除光线过强造成的阴影;
S25,在3D点云图像上,遍历找出高度跳变较大的区域;
S26,将S25中高度跳变较大的区域映射至RGBD图像,将高度向上跳变的区域的像素明度调亮,将高度向下跳变的区域的像素明度调暗,以消除光线过暗造成的影响。
具体地,步骤S3中,所述人脸检测算法为基于模板匹配的方法、基于肤色特征的方法或者基于AdaBoost的方法;
基于模板匹配的方法:模版匹配法的实现原理为通过比较预设的模版与待检测区域之间的相似性实现计算目标与模版的相关系数。对于人脸检测而言,就是利用人脸的灰度模板在待检测图像中寻找最接近于人脸的区域。相比于其他的基于特征进行人脸检测的方法,基于模板匹配的人脸检测方法具有直观、简单、算法容易实现的特点,并且适应性强,对图像质量的依赖度较低,鲁棒性强。
基于肤色特征的方法:人脸最显著的外部特征之一便是肤色,肤色的优点在于并不会对人脸其余特征产生依赖,对面部的姿态及脸型变化不具有敏感性,可以通过构建人脸与其他不同颜色背景相区别的肤色模型较为容易地检测出人脸。但是,该方法对类肤色物体不能很好地区分,会造成误检,同时还对光照变化比较敏感,从而影响人脸检测的准确性。
基于AdaBoost的方法:首先采用Haar-like特征来表征人脸,借助积分图来加快Haar-like特征求值的过程;然后采用AdaBoost筛选出最好的人脸矩形特征。该特征被称为弱分类器,最后串联这些分类器,构成强分类器,实现检测人脸的目的。同时,该方法对光照的变化不容易敏感。
具体地,步骤S4中,对患者面部进行空间定位的方法包括以下步骤:
S41,利用3D摄像头中的红外摄像头获取人面部的3D点云图像,找到患者的面部距离摄像头最近的点,即鼻尖,获取其在摄像头坐标系下的空间坐标(x,y,z);
S42,利用步骤S2中得到的稳定的RGBD图像,根据人脸特征识别算法找到图像中包括人的鼻尖、鼻根、眼角、嘴角、眉毛在内的特征点,并根据人面部的左右对称性,推算出患者的面部相对于摄像头的角度(rx,ry,rz);
S43,将S41,S42中获取的点坐标和角度合成完整的3D空间坐标(x,y,z,rx,ry,rz)。
具体地,步骤S6中,对机械手的移动路径进行规划包括:规划各磁刺激点的刺激顺序和规划机械手到达各磁刺激点的最优路径。
具体地,在首次定位或重复定位的过程中,需要对患者的头部进行跟随定位;在治疗过程中会记录每次定位完成时患者头部的位置信息,若下一时刻由于患者运动造成当前时刻与上一时刻的磁刺激点位置距离超过5mm,则启动跟随定位;若不超过5mm,则不启动跟随定位。
进一步地,所述跟随定位的步骤为:对患者头部模型的空间位姿进行调整,使头部模型的空间位姿与患者头部当前的实际空间位姿进行匹配,然后在头部模型上重新定位最新的磁刺激点,最后重新规划机械手的移动路径,将TMS线圈移动到最新的磁刺激点进行治疗。
与现有技术相比,本发明的有益效果是:(1)本发明采用3D摄像头采集患者面部RGBD图像数据,并通过标定、背景剔除、滤波、光照补偿算法得到稳定的RGBD图像数据和3D点云图像数据,为面部区域检测和面部特征点的检测提供了优质的数据来源,避免了光照等外在因素对面部特征点的检测造成影响,从而提高了对患者头部三维位姿定位的精确性;(2)本发明在首次定位的过程中,通过对操作设备进行建模,通过算法确定机械手应当移动的位点;通过算法,对各磁刺激点的刺激顺序、机械手到达各磁刺激点的最优路径和移动速度进行规划,从而保证机械手在将TMS线圈移动至磁刺激点的过程中不会碰撞到其它设备或者患者其它部位;(3)本发明还具有重复定位功能,在首次定位完成后,将首次定位时患者头部的磁刺激点信息和机械手的路径规划数据保存在患者头模中;患者在进行下次治疗时,可以直接调出上一次定位的数据对患者头部进行一键定位,从而提高了治疗效率;(4)本发明在首次定位和重复定位的过程中,还可以对患者头部进行跟随定位,患者在治疗的过程中,即使头部位姿发生变化,本发明也能很快对头部模型的位姿进行微调,使头部模型的空间位姿与患者头部当前的实际空间位姿进行匹配,然后在头部模型上重新定位最新的磁刺激点,最后重新规划机械手的移动路径,将TMS线圈移动到最新的磁刺激点进行治疗,从而提升患者的体验效果。
附图说明
图1为本发明一种用于经颅磁刺激治疗的TMS定位导航方法的流程示意框图;
图2为本发明中光照补偿算法的流程示意框图;
图3为本发明中用于获得人的面部相对于摄像头角度的空间坐标系示意图。
具体实施方式
下面将结合本发明中的附图,对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动条件下所获得的所有其它实施例,都属于本发明保护的范围。
实施例1
如图1所示,本实施例提供了一种用于经颅磁刺激治疗的TMS定位导航方法,具体包括以下步骤:
S1,患者平躺在卧式平移平台上,将所述卧式平移平台平移至预定位置,操作人员打开TMS治疗系统;
S2,采用3D摄像头采集患者面部RGBD图像数据,通过标定、背景剔除、滤波、光照补偿算法得到稳定的RGBD图像数据和3D点云图像数据;所述RGBD图像数据包括RGBD图像、红外图像和深度图像;
S3,对患者面部的RGBD图像采用人脸检测算法,得到患者面部区域,再通过ASM特征点检测算法,得到患者面部特征点信息;
S4,对患者面部进行空间定位,以摄像头为原点建立空间坐标系,根据3D点云图像数据得到患者面部特征点位于摄像头空间坐标系中的3D坐标值;
S5,对患者头部进行建模,将相机绕头部匀速旋转或者使用多个摄相机同时拍摄,得到患者头部扫描数据,通过识别图像中的特征点计算出图像之间的匹配关系,再通过3D点云的ICP算法得到点云的空间位置关系,将扫描数据中所有的3D点云图像数据进行整合得到患者头部完整的3D数据;再以医学常用的MNI脑空间坐标为标准,将MNI空间的脑向3D扫描得到的颅骨3D数据映射到所述完整的3D数据上得到患者的头模,然后在得到的患者头模上建立磁刺激点模型;
S6,首次定位,将患者头部模型的空间位姿与患者头部的实际空间位姿进行匹配,确定患者实际刺激位点的空间位姿,对操作设备进行建模,通过算法确定机械手应当移动的位点;通过算法,对机械手的移动路径进行规划,规划各磁刺激点的刺激顺序和规划机械手到达各磁刺激点的最优路径;机械手根据规划的路径自动移动到患者头部磁刺激点进行磁刺激治疗;
S7,重复定位,在首次定位完成后,将首次定位时患者头部的磁刺激点信息和机械手的路径规划数据保存在患者头模中;患者在进行下次治疗时,可以直接调出上一次定位的数据对患者头部进行重复定位。
具体地,如图2所示,步骤S2中,所述光照补偿算法包括以下步骤:
S21,采用轮廓跟踪算法对RGBD图像进行分析,得到患者的面部轮廓线;
S22,将S21中的轮廓线映射到患者面部的3D点云图像上;
S23,沿着所述3D点云图像上的轮廓线,分析轮廓线两边点云的坐标值;若两边点云坐标值的高度存在较大跳变,则表明该轮廓真实有效;若不存在较大跳变,则表明该轮廓是由于光线过强造成阴影而形成的伪轮廓;
S24,在RGBD图像上,将所述伪轮廓对应位置两侧的像素明度调至接近,即暗区向明区方向调整,以消除光线过强造成的阴影;
S25,在3D点云图像上,遍历找出高度跳变较大的区域;
S26,将S25中高度跳变较大的区域映射至RGBD图像,将高度向上跳变的区域的像素明度调亮,将高度向下跳变的区域的像素明度调暗,以消除光线过暗造成的影响。
具体地,步骤S3中,所述人脸检测算法为基于模板匹配的方法、基于肤色特征的方法或者基于AdaBoost的方法;
基于模板匹配的方法:模版匹配法的实现原理为通过比较预设的模版与待检测区域之间的相似性实现计算目标与模版的相关系数。对于人脸检测而言,就是利用人脸的灰度模板在待检测图像中寻找最接近于人脸的区域。相比于其他的基于特征进行人脸检测的方法,基于模板匹配的人脸检测方法具有直观、简单、算法容易实现的特点,并且适应性强,对图像质量的依赖度较低,鲁棒性强。
基于肤色特征的方法:人脸最显著的外部特征之一便是肤色,肤色的优点在于并不会对人脸其余特征产生依赖,对面部的姿态及脸型变化不具有敏感性,可以通过构建人脸与其他不同颜色背景相区别的肤色模型较为容易地检测出人脸。但是,该方法对类肤色物体不能很好地区分,会造成误检,同时还对光照变化比较敏感,从而影响人脸检测的准确性。
基于AdaBoost的方法:首先采用Haar-like特征来表征人脸,借助积分图来加快Haar-like特征求值的过程;然后采用AdaBoost筛选出最好的人脸矩形特征。该特征被称为弱分类器,最后串联这些分类器,构成强分类器,实现检测人脸的目的。同时,该方法对光照的变化不容易敏感。
具体地,步骤S4中,对患者面部进行空间定位的方法包括以下步骤:
S41,利用3D摄像头中的红外摄像头获取人面部的3D点云图像,找到患者的面部距离摄像头最近的点,即鼻尖,获取其在摄像头坐标系下的空间坐标(x,y,z);
S42,利用步骤S2中得到的稳定的RGBD图像,根据人脸特征识别算法找到图像中包括人的鼻尖、鼻根、眼角、嘴角、眉毛在内的特征点,并根据人面部的左右对称性,推算出患者的面部相对于摄像头的角度(rx,ry,rz);
S43,将S41,S42中获取的点坐标和角度合成完整的3D空间坐标(x,y,z,rx,ry,rz)。
进一步地,步骤S41中,所述鼻尖的(x,y)坐标通过如下方法得到:首先通过Opencv在Demo上将人脸上68个特征点描绘出来,并编号;然后通过如下模型得到:
circle(temp,cvPoint(shapes[0].part(i).x(),shapes[0].part(i).y()),3,cv::Scalar(0,0,255),-1);
其中,part(i)代表的是第i个特征点,x()和y()是访问特征点二维坐标的途径;
进一步地,所述鼻尖的z轴坐标,即鼻尖到摄像头的距离,可通过双目匹配三角测量原理得到;三角测量原理即目标点在左右两幅图中成像的横坐标之间存在的差异(视差Disparity),与目标点到成像平面的距离成反比例的关系:Z=ft/d,从而得到Z轴坐标;双目匹配采用三角测量原理完全基于图像处理技术,通过寻找两个图像中的相同的特征点得到匹配点。所述人脸在摄像头坐标系下的空间坐标为现有技术且已成熟,在此就不再多做赘述。
进一步地,步骤S42中,患者的面部相对于摄像头的角度(rx,ry,rz)通过如下方式得到:
首先构建空间坐标系,根据图片上人的面部特征点(鼻尖、鼻根、眼角、嘴角、眉毛等)构建人的头部模型,再将所述图片映射到头部模型上,各面部特征点分别对应头部模型上的特征点;如图3所示,在头部模型上,以人的左耳垂(A点)、右耳垂(B点)和鼻尖(C点)三个点创建一个平面,以A点和B点的中点O点作为坐标系原点,垂直该平面的方向为Z轴,A点和B点连线的方向为X轴,C点与O点的连线方向作为Y轴,构建基于人脸的空间坐标系,其中X轴与Y轴垂直;再通过计算O点到摄像头的连线分别与X轴、Y轴、Z轴之间的夹角α、β、γ即可推算出人的面部相对于摄像头的角度(rx,ry,rz)。
具体的,步骤S5中,对头部进行建模需要通过3D摄像头采集患者头部的3D扫描数据,3D摄像头每拍照一次会产生彩色图、深度图和3D点云图,这3幅图是同时产生的,所以各个图像上的点有固定的对应关系,这个对应关系是已知的,是通过摄像头的标定得到的;3D扫描就是围绕患者头部拍摄一系列的图像,然后将这些图像拼接成一个完整的图像,而图像拼接要找到两幅图像中想同的部分并进行匹配;在3D摄像头中头发无法得到3D点云,而在医学治疗头模需要颅骨的3D数据(不要头发),故在头模扫描时患者需要戴上特定的帽子,为了使匹配更准确,帽子上一般会设一些mark点;3D扫描最终需要对3D点云进行拼接,拼接时需要每一幅图像点云之间的旋转平移关系,点云的拼接主要依靠ICP算法。
进一步地,点云的拼接步骤如下:
S51,先在彩色图中通过OpenCV中cv::FeatureDetector和cv::DescriptorExtractor计算“关键点”,并对这些关键点周围的像素计算其“描述子”,再通过cv::DMatch对上述的描述子进行匹配,然后调用OpenCV里的SolvePnPRansac函数求解PnP得到两幅图像的位移和旋转的信息;
S52,使用上面计算得到的位移和旋转的信息作为ICP算法的初始粗匹配的结果对两幅点云数据进行计算得到更加精准的位移和旋转数据;
S53,使用上述位移和旋转数据得到位移和旋转矩阵,并对上一幅点云图中的点全部进行旋转和平移,将计算的到的新点云添加到当前点云图中,得到一个更大的点云,完成两幅点云的整合;
S54,重复步骤S51至S53,将所有点云图整合成一个更大的点云图,再对此点云图进行滤波平滑处理,抽样减少点的数量,拟合得到3D曲面数据;即得到患者头部完整的3D数据。
具体地,步骤S6中,将患者头部模型的空间位姿与患者头部的实际空间位姿进行匹配,具体匹配方法为:在治疗过程中,3D摄像头实时拍摄的3D图像只有患者的面部信息,没有头部信息,所以要将S5中建好的头模与实时拍摄的面部数据进行位置的配准,由于ICP算法计算量较大,无法满足实时检测的要求,位置配准方法是先在头模中标出用于配准的面部特征点(眼角、鼻尖等),再在实时图像中自动识别出面部特征点,通过特征点匹配计算出实时画面与头模的转换关系,并计算出头模在空间的位置,再计算出头模上的靶点在空间中的位置坐标。
进一步地,对操作设备进行建模具体包括对机械手、3D摄像头和TMS线圈进行建模,并将建好的模型与患者头模放在同一个空间坐标中(摄像头空间坐标系),再在头模上选取待磁刺激靶点,在空间模型中计算出TMS线圈到达靶点的最佳路径,并保证运动过程中没有碰撞。
进一步地,一般机械手的移动路径规划算法比较复杂,由于本实施例中的模型、障碍和路径都是已知的,故采用手动规划路径的方法,在距离头模较远的位置使用直线路径,在头模附近使用圆弧路径,使TMS线圈围绕头部运动到下一个磁刺激靶点;由于头模的3D数据是已知的,故可将头模数据放大从而留出运行的安全距离,计算出头模上两点的最短弧线路径。
实施例2
本实施例提供了一种用于经颅磁刺激治疗的TMS定位导航方法,与上述实施例的区别点在于,本实施例的TMS定位导航方法还包括跟随定位方法。
具体地,在首次定位或重复定位的过程中,需要对患者的头部进行跟随定位;在治疗过程中会记录每次定位完成时患者头部的位置信息,如果在下一时刻由于患者运动造成当前靶点位置与上一时刻的靶点位置距离超过5mm,则启动跟随定位的动作,通过算法对头部模型和机械手导航进行微调,重新定位正确的磁刺激点,重新计算机械手的运动路径,将线圈移动到新的靶点位置;若距离不超过5mm,则不启动跟随定位的动作;若病人转动较多,则暂停摄像头和机械手的跟随,并暂停线圈磁刺激;若病人不在摄像头可调整的范围内或离开,则停止机械手和线圈磁刺激动作。
实施例3
本实施例还提供了一种用于经颅磁刺激治疗的TMS定位导航设备,包括躺式床、头枕、3D摄像头、机械手;治疗时,患者平躺在所述躺式床上,将头部枕在所述头枕上,通过3D摄像头采集患者头部3D数据,结合算法对患者头部上的磁刺激点进行精准定位,再控制机械手将TMS线圈移动到磁刺激点对患者进行治疗。
所述躺式床可以前后移动,用于调整患者头部与摄像头的相对位置;
所述头枕主要起到托架作用,支撑位点为头骨和颈部,用于限制病人的移动,且不会造成病人的不适,并且不会影响头背部的磁刺激;
所述3D摄像头采用的是现有的摄像头,可以使用多个3D摄像头对患者头部进行多角度图像采集,或者采用一个摄像头与其它设备结合对患者头部进行移动旋转扫描来采集患者头部3D数据;
所述机械手与线圈结合的部位设有压力传感器,线圈与患者脑部接触不会造成贴合不紧或者压迫过重,能有效提升患者的体验效果。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种用于经颅磁刺激的TMS定位导航方法,其特征在于,包括以下步骤:
S1,通过卧式平移平台将患者平移至预定位置,打开TMS系统;
S2,通过3D扫描仪扫描患者头部,得到患者头部的三维模型数据;
进一步包括:
S21,采用3D摄像头采集患者面部RGBD图像数据,通过标定、背景剔除、滤波、光照补偿算法得到稳定的RGBD图像数据和3D点云图像数据;
所述光照补偿算法包括以下步骤:
S211,采用轮廓跟踪算法对所述RGBD图像进行分析,得到患者的面部轮廓线;
S212,将S211中的轮廓线映射到患者面部的3D点云图像上;
S213,沿着所述3D点云图像上的轮廓线,分析轮廓线两边点云的坐标值;若两边点云坐标值的高度存在较大跳变,则表明该轮廓真实有效;若不存在较大跳变,则表明该轮廓是由于光线过强造成阴影而形成的伪轮廓;
S214,在RGBD图像上,将所述伪轮廓对应位置两侧的像素明度调至接近,即暗区向明区方向调整,以消除光线过强造成的阴影;
S215,在3D点云图像上,遍历找出高度跳变较大的区域;
S216,将S215中高度跳变较大的区域映射至RGBD图像,将高度向上跳变的区域的像素明度调亮,将高度向下跳变的区域的像素明度调暗,以消除光线过暗造成的影响;
S22,获取患者面部特征点信息:采用人脸检测算法对患者面部的RGBD图像进行处理,得到患者面部区域,再通过ASM特征点检测算法,得到患者面部特征点信息;
S23,对患者面部进行空间定位,以3D摄像头为原点建立空间坐标系,根据3D点云图像数据得到患者面部特征点位于3D摄像头空间坐标系中的3D坐标值;
S24,对患者头部进行建模,将3D摄像头绕头部匀速旋转或者使用多个3D摄相机同时拍摄,得到患者头部全方位的图像数据,通过识别所述全方位的图像数据中的面部特征点信息计算出各方位图像之间的匹配关系,再通过3D点云的ICP算法得到点云的空间位置关系,将扫描数据中所有的3D点云图像数据进行整合得到患者头部完整的3D数据;再以MNI脑空间坐标为标准,将MNI空间的颅骨3D数据映射到所述完整的3D数据上得到患者的头部模型,然后在患者的头部模型上建立磁刺激点模型;
S3,首次定位,检测患者头部与TMS线圈的位置,并将所述三维模型与患者头部进行匹配,以获得精确的操作部位,控制器根据患者头部及TMS线圈的位置对机械手的移动路径进行规划,控制机械手将TMS线圈精确地移动至患者头部进行操作;
S4,跟随定位,在操作过程中,若患者头部的位置发生变化,通过实时检测患者头部的新位置,并将患者头部的三维模型与新位置进行匹配,获得精确的操作部位,从而对患者头部进行实时精准定位操作;将患者头部的三维模型与新位置进行匹配的方法是:先在头模中标出用于配准的面部特征点,再在患者面部的实时图像中自动识别出面部特征点,通过特征点匹配计算出实时画面与头模的转换关系,并计算出头模在空间的位置,再计算出头模上的靶点在空间中的位置坐标。
2.根据权利要求1所述的一种用于经颅磁刺激的TMS定位导航方法,其特征在于,步骤S22中,所述人脸检测算法为基于模板匹配的方法、基于肤色特征的方法或者基于AdaBoost的方法。
3.根据权利要求1所述的一种用于经颅磁刺激的TMS定位导航方法,其特征在于,步骤S23中,对患者面部进行空间定位的方法包括以下步骤:
S231,利用3D摄像头获取人面部的3D点云图像,找到患者的面部距离摄像头最近的点,即鼻尖,获取其在摄像头坐标系下的空间坐标(x,y,z);
S232,利用步骤S21中得到的稳定的RGBD图像,根据人脸特征识别算法找到图像中包括人的鼻尖、鼻根、眼角、嘴角、眉毛在内的特征点,并根据人面部的左右对称性,推算出患者的面部相对于摄像头的角度(rx,ry,rz);
S233,将S231,S232中获取的点坐标和角度合成完整的3D空间坐标(x,y,z,rx,ry,rz)。
4.根据权利要求1所述的一种用于经颅磁刺激的TMS定位导航方法,其特征在于,步骤S3中,对机械手的移动路径进行规划包括:规划各磁刺激点的刺激顺序、规划机械手到达各磁刺激点的最优路径和移动速度。
5.根据权利要求1所述的一种用于经颅磁刺激的TMS定位导航方法,其特征在于,步骤S4中,所述跟随定位具体为:在操作过程中会记录每次定位完成时患者头部磁刺激点的位置信息,若下一时刻由于患者头部运动造成当前时刻与上一时刻的磁刺激点位置距离超过5mm,则启动跟随定位;若不超过5mm,则不启动跟随定位;
启动跟随定位后,首先对患者头部模型的空间位姿进行调整,使头部模型的空间位姿与患者头部当前的实际空间位姿进行匹配,然后在头部模型上重新定位最新的磁刺激点,最后重新规划机械手的移动路径,将TMS线圈移动到最新的磁刺激点进行操作。
6.根据权利要求1所述的一种用于经颅磁刺激的TMS定位导航方法,其特征在于,还包括重复定位,所述重复定位具体为:在首次定位完成后,将首次定位时患者头部的操作部位信息和机械手的路径规划数据保存在患者的头模数据中;患者在进行下次操作时,直接调出上一次定位的数据对患者头部进行重复定位。
CN201980001082.2A 2018-09-27 2019-02-26 一种用于经颅磁刺激治疗的tms定位导航方法 Active CN110896609B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN2018111311816 2018-09-27
CN201811131181.6A CN109260593B (zh) 2018-09-27 2018-09-27 一种经颅磁刺激治疗方法及设备
PCT/CN2019/076099 WO2020062773A1 (zh) 2018-09-27 2019-02-26 一种用于经颅磁刺激治疗的tms定位导航方法

Publications (2)

Publication Number Publication Date
CN110896609A CN110896609A (zh) 2020-03-20
CN110896609B true CN110896609B (zh) 2023-09-26

Family

ID=69787906

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980001082.2A Active CN110896609B (zh) 2018-09-27 2019-02-26 一种用于经颅磁刺激治疗的tms定位导航方法

Country Status (1)

Country Link
CN (1) CN110896609B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111657947B (zh) * 2020-05-21 2022-07-05 四川大学华西医院 一种神经调控靶区的定位方法
CN111672029A (zh) * 2020-06-04 2020-09-18 杭州师范大学 基于颅表解剖标志的智能导航方法、导航系统及导航仪
CN111760208A (zh) * 2020-07-21 2020-10-13 上海交通大学 基于机械臂的人体经颅超声刺激自动定位系统和方法
CN111729200B (zh) * 2020-07-27 2022-06-17 浙江大学 基于深度相机和磁共振的经颅磁刺激自动导航系统和方法
CN112274780A (zh) * 2020-11-19 2021-01-29 王昕� 一种外接线缆的tms治疗设备的力补偿装置及方法
CN113041500A (zh) * 2021-03-31 2021-06-29 南京伟思医疗科技股份有限公司 一种可记忆经颅磁刺激导航定位装置与定位方法
CN113730816B (zh) * 2021-08-19 2023-11-28 深圳英智科技有限公司 自动检测运动阈值的系统、方法、计算机设备及存储介质
CN114279435B (zh) * 2021-12-31 2024-01-30 北京银河方圆科技有限公司 定位导航方法和可读存储介质
CN114376726B (zh) * 2022-02-08 2024-03-29 西安科悦医疗技术有限公司 经颅磁刺激导航过程的路径规划方法及相关装置
CN115157268A (zh) * 2022-08-19 2022-10-11 北京银河方圆科技有限公司 空间姿态估计方法
CN115762303B (zh) * 2022-11-07 2023-08-18 深圳职业技术学院 经颅磁刺激线圈电磁场模拟系统的系统搭建方法
CN116704111A (zh) * 2022-12-08 2023-09-05 荣耀终端有限公司 图像处理方法和设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1400261A1 (de) * 2002-09-13 2004-03-24 BrainLAB AG Verfahren zur Planung der Stimulation hyper/hypometabolischer Kortexareale
CN103558910A (zh) * 2013-10-17 2014-02-05 北京理工大学 一种自动跟踪头部姿态的智能显示器系统
CN106110507A (zh) * 2016-07-26 2016-11-16 沈阳爱锐宝科技有限公司 一种经颅磁刺激器的导航定位装置及定位方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012121341A1 (ja) * 2011-03-09 2012-09-13 国立大学法人大阪大学 画像データ処理装置および経頭蓋磁気刺激装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1400261A1 (de) * 2002-09-13 2004-03-24 BrainLAB AG Verfahren zur Planung der Stimulation hyper/hypometabolischer Kortexareale
CN103558910A (zh) * 2013-10-17 2014-02-05 北京理工大学 一种自动跟踪头部姿态的智能显示器系统
CN106110507A (zh) * 2016-07-26 2016-11-16 沈阳爱锐宝科技有限公司 一种经颅磁刺激器的导航定位装置及定位方法

Also Published As

Publication number Publication date
CN110896609A (zh) 2020-03-20

Similar Documents

Publication Publication Date Title
CN110896609B (zh) 一种用于经颅磁刺激治疗的tms定位导航方法
EP3858433B1 (en) Tms positioning navigation apparatus for transcranial magnetic stimulation treatment
CN110896611B (zh) 一种基于摄像头的经颅磁刺激诊疗导航系统
US7929661B2 (en) Method and apparatus for radiographic imaging
CN110300993B (zh) 一种用于经颅磁刺激诊疗的摄像系统
CN110382046B (zh) 一种基于摄像头的经颅磁刺激诊疗检测系统
CN116630382B (zh) 神经调控图像监测配准系统和控制方法
US11948247B2 (en) Camera-based transcranial magnetic stimulation diagnosis and treatment head modeling system
CN115006737A (zh) 基于深度相机的放射治疗体位监测系统
US12016715B2 (en) Chest X-ray system and method
EP4201330A1 (en) Chest x-ray system and method
FI20225840A1 (en) Dental X-ray imaging system and method for dental X-ray imaging of a patient
Yasumuro et al. 3-dimensional visual navigation for repetitive transcranial magnetic stimulation treatment
WO2024095134A1 (en) Registration and navigation in cranial procedures
CN110896610A (zh) 一种经颅磁刺激诊疗设备
CN115607841A (zh) 基于经颅磁刺激用随动装置的定位系统、方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant