CN111729200B - 基于深度相机和磁共振的经颅磁刺激自动导航系统和方法 - Google Patents

Abstract

本发明公开了一种基于深度相机和磁共振的经颅磁刺激自动导航系统和方法。经颅磁刺激仪和刺激线圈连接并装在机械手臂，线圈相机朝向刺激线圈，面部相机正对受试者脸部；刺激发生前，通过磁共振扫描仪采集全脑结构数据；面部相机实时采集提取面部图像区域，将面部图像区域与全脑结构数据进行匹配得头部模型并标定待刺激部位，通过线圈相机拍摄建立刺激线圈模型，得刺激线圈与受试者头部的位置关系；刺激发生，实时经面部相机采集获得头部位置和待刺激部位变化，根据位置关系移动机械手臂，刺激线圈跟随受试者头部移动并实时对准待刺激部位。本发明通过深度相机和磁共振实现经颅磁刺激自动导航，能使经颅磁刺激实现实时、快速、准确、有效的定位。

Description

基于深度相机和磁共振的经颅磁刺激自动导航系统和方法

技术领域

本发明属于经颅磁刺激医疗领域的一种经颅磁刺激控制系统和方法，具体是一种基于磁共振成像与深度相机感应的经颅磁刺激自动导航系统和方法。

背景技术

经颅磁刺激(Transcranial Magnetic Stimulation,TMS)是一种利用脉冲磁场，作用于大脑中枢神经系统，改变大脑皮层神经细胞的膜电位，使之产生感应电流，影响脑内代谢和神经电活动，从而引起的一系列生理、生化反应的磁刺激技术。经颅磁刺激具有无痛、无损伤、操作简便、安全可靠的特点，在临床医学和神经科学研究方面具有广泛的意义。

经颅磁刺激仪在使用时需要医护人员或者研究主试(操作人员)在刺激脉冲序列发生过程中，一直将刺激线圈对准贴近受试者的待刺激部位。但是实际使用过程中，存在两个问题。第一，需要操作人员根据掌握的解剖学经验耗费大量的时间找准待刺激部位。第二，在刺激过程中，受试者无法长时间保持一种姿势，当患者头部发生移动的时候，刺激无法作用到预定的待刺激部位。

目前有部分经颅磁刺激仪配备有导航系统，一种是光学定位导航系统，该方法主要是通过受试者及刺激线圈上的荧光球的相对位置实时跟踪经颅磁刺激线圈的位置。但是由于荧光球佩戴位置不固定，每次使用前都需要通过专用的定位笔进行初始定位，操作较为繁琐，耗费时间也较长。另一种是通过3D相机对患者头部(需佩戴定位头套)及线圈进行建模，在3D头模上对待刺激部位进行标定，通过对头部的实时追踪实现对刺激器的控制。但是使用3D相机得到的头模型受头发影响，而线圈的刺激深度是有一定范围的，这样会导致刺激无法到达想要刺激的部位。此外，这种仅基于佩戴头套的模型缺少大脑皮质的信息，无法对特定脑区进行快速、准确的定位。

发明内容

针对上述一系列问题，本发明的目的是提供一种基于深度相机和磁共振成像的经颅磁刺激自动导航系统，可以使经颅磁刺激线圈实现实时、快速、准确、有效的定位。

本发明的技术方案包括以下内容：

一、一种基于深度相机和磁共振成像的经颅磁刺激自动导航系统：

系统包括磁共振扫描仪、线圈相机、面部相机、数据处理及控制终端、机械手臂、经颅磁刺激仪和刺激线圈，磁共振扫描仪在测试开始前对被试头部进行扫描，所获取磁共振数据导入数据处理及控制终端，经颅磁刺激仪和刺激线圈连接，线圈相机朝向刺激线圈并拍摄刺激线圈，面部相机朝向人的脸部并进行拍摄，经颅磁刺激仪通过刺激线圈产生调节大脑活动的磁场，刺激线圈安装在机械手臂末端，经颅磁刺激仪、机械手臂、线圈相机、面部相机均连接到数据处理及控制终端。

所述的面部相机和线圈相机均为深度相机。所述数据处理和控制终端能够通过磁共振影像数据建立受试者头模型，能通过所述深度相机获得受试者头部和刺激线圈的空间位置信息，对所述机械手臂进行实时控制来移动所述刺激线圈，保证受试者头部和刺激线圈的相对位置始终保持不变。

二、一种基于深度相机和磁共振成像的经颅磁刺激自动导航方法：

S1，刺激发生前，通过磁共振扫描仪扫描受试者的头部得到全脑结构影像数据，将全脑结构影像数据输入至数据处理及控制终端建立完整的头部三维模型；通过测量刺激线圈的实际物理尺寸建立完整的线圈三维模型；

S2，刺激发生前，实时进行以下工作：通过受试者前方的面部相机得到受试者面部的RGB图像和深度图像，数据处理及控制终端根据RGB图像检测出受试者的面部图像区域，通过该面部图像区域在深度图像中对应的深度数据建立受试者面部点云数据，将面部点云数据与全脑结构影像数据进行对齐匹配整合得到受试者在面部相机坐标系中的完整头部模型及其坐标信息，并标定待刺激部位的位置信息；

S3，刺激发生前，通过线圈相机对刺激线圈拍摄获得刺激线圈局部的RGB和深度图像，数据处理及控制终端根据RGB图像检测出线圈图像区域，通过该线圈图像区域在深度图像中对应的深度数据建立刺激线圈的局部三维模型，将局部三维模型与线圈三维模型对齐匹配整合得到整个线圈的空间位置信息，再处理获得刺激线圈与受试者头部之间的位置关系；

S4，刺激发生时，在受试者头部发生移动情况下，实时通过面部相机采集的受试者面部的RGB图像和深度图像输入到数据处理及控制终端中，处理获得头部位置和待刺激部位位置的变化，根据刺激线圈与受试者头部之间的位置关系对机械手臂进行移动控制，将刺激线圈跟随受试者头部移动并实时对准待刺激部位，从而实现经颅磁刺激自动导航；

S5，刺激结束后，保存刺激的点云数据、刺激位置等信息。

所述的刺激线圈由经颅磁刺激仪控制通电后产生磁场，磁场透过颅骨到人体大脑在指定的待刺激部位进行刺激。

所述S2中，获得受试者带全脑坐标的头部模型，具体为：

S21，通过受试者前方的面部相机得到受试者面部的RGB图像和深度图像，并将RGB和深度图像数据发送至数据处理及控制终端；

S22，数据处理及控制终端根据面部的RGB图像提取检测出受试者的面部图像区域，将通过该面部图像区域在深度图像对应的深度数据建立受试者面部点云数据，将面部点云数据与全脑结构影像数据进行对齐匹配整合得到受试者的头部模型及其坐标信息；

S23，标定待刺激部位的位置信息。

所述S3中，获得刺激线圈与受试者头部之间的相对位置，并将线圈移动到待刺激区域，具体为：通过坐标变换将线圈相机的坐标位置变化到面部相机坐标系，经计算获得刺激线圈与受试者头部之间的相对位置关系；计算出将线圈移动到待刺激位置的步骤和参数，控制机械手臂移动线圈到待刺激位置。

所述S4中，获得受试者的头部模型及其坐标信息，具体为：

S41，将全脑结构影像数据进行图像分割处理后提取受试者的面部点云数据图及脑空间坐标信息；

S42，使受试者正视面部相机，将得到的面部RGB图像与深度信息发送至所述数据处理及控制终端，分析处理后得到受试者的面部点云数据图；

S43，将步骤S41和S42获得的面部点云数据图的两种面部点云图进行匹配，得到面部相机下的全脑空间坐标信息。

本发明深度相机组能获取受试者的面部信息，数据处理及控制终端将磁共振头部影像与面部信息进行匹配，并实时检测头部位移并控制机械手臂。

与现有技术相比，本发明所述的经颅磁刺激自动导航系统基于深度摄像头与磁共振影像相结合，具有以下优势：

(1)本方法将深度摄像头面部信息与磁共振影像相结合对受试者的头部建立初始模型，可有效防止受试者因头发的影响造成的刺激效果不足，并且不需要受试者佩戴其他辅助设备。

(2)在经颅磁刺激仪使用过程中，通过深度相机拍摄的面部特征信息将实时面部图像与初始模型相匹配，得到刺激部位在刺激过程中的位移坐标矩阵，从而控制刺激线圈进行相同的移动。减少了使用过程中，因为人的因素造成的误差和时间损耗，保证了治疗或实验的高效性和可重复性。

(3)在定位过程中，可以通过磁共振影像所呈现的大脑皮质信息准确标定待刺激部位，与现有的基于头部表面模型来定位的方法相比，本方法的定位更加精确。

(4)本方法对经颅磁刺激仪的线圈进行建模，在刺激开始后自动控制刺激线圈移动到待刺激部位，实现完全自动化，减少人为操作带来的误差，减少操作者的准备时间。

附图说明

图1为本发明一实施方案提供的系统组成示意图；

图2为本发明一实施方案的具体工作流程图；

图3为本发明一实施方案提供的头部模型构建过程示意图。

图4为本发明一实施方案提供的线圈自动化控制过程示意图。

具体实施方式

以下，将结合本发明实例中的例图，对本发明实时例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了说明本发明的技术方案，下面通过具体实施例来进行说明。

如图1所示，具体实施的系统包括磁共振扫描仪1、线圈相机3、面部相机2、数据处理及控制终端4、机械手臂5、经颅磁刺激仪6和刺激线圈7。磁共振扫描仪1在测试开始前对被试头部进行扫描，所获取磁共振数据导入数据处理及控制终端4；线圈相机3朝向刺激线圈并拍摄刺激线圈；面部相机2朝向受试者的脸部并进行拍摄；经颅磁刺激仪6和刺激线圈7连接，经颅磁刺激仪6通过刺激线圈7产生调节大脑活动的磁场；刺激线圈7安装在机械手臂5末端；经颅磁刺激仪、机械手臂、线圈相机、面部相机均连接到数据处理及控制终端。

磁共振扫描仪1提供人的磁共振影像，磁共振影像中包含全脑空间位置坐标。

面部相机2得到受试者的面部点云信息，并与磁共振扫描仪1得到的面部信息进行匹配，并能实时检测到受试者头部位移。面部相机在使用过程中位置保持不变，始终正对着受试者脸部。

线圈相机3完成刺激线圈的物理模型建立，还实时检测到刺激线圈的位置信息。线圈相机3在使用过程中位置保持不变，始终正对着受试者头顶。

机械手臂5固定线圈的位置，并控制刺激线圈移动到指定位置。

经颅磁刺激仪6通过刺激线圈对受试者头部特定区域进行刺激，经颅磁刺激仪的刺激线圈根据使用目的的不同，有多种形状。

如图2所示，本发明的实施例及其实施过程包括：

实验开始前，请受试者坐在座椅上，正对面部相机；通过机械手臂将刺激线圈固定在线圈相机与受试者头部之间，正对线圈相机。

S1，刺激发生前，通过磁共振扫描仪扫描受试者的头部得到高分辨率的全脑结构影像数据，将全脑结构影像数据输入至数据处理及控制终端；

S2，刺激发生前，实时进行以下工作：

S21，通过受试者前方的面部相机得到受试者面部的RGB图像和深度图像，将图像数据发送至数据处理及控制终端。

S22，根据面部的RGB图像提取出受试者的面部图像区域，根据深度图像分析处理获得到面部相机下受试者面部的点云数据，通过两部分点云匹配将面部图像区域与全脑结构影像数据进行整合得到受试者的头部模型及其坐标信息。

S23,在受试者的头部模型上标定待刺激部位的位置信息；

S3,刺激发生前，通过线圈相机对刺激线圈建模并控制机械手臂移动线圈到待刺激位置。具体步骤如下：

S31,根据刺激线圈的物理尺寸建立线圈完整的3D模型，通过线圈相机对刺激线圈拍摄获得刺激线圈的RGB和深度图像并实时输入到数据处理及控制终端。

S32,数据处理及控制终端根据RGB图像检测出线圈图像区域，通过该线圈图像区域对应的深度数据建立线圈的点云数据，该点云数据与线圈完整3D模型进行对齐匹配整合得到线圈的坐标位置，并通过坐标变换将线圈相机的坐标变化到面部相机，计算获得刺激线圈与受试者头部之间的相对位置关系；

S33，数据处理及控制终端计算出将线圈移动到待刺激位置的步骤和参数，控制机械手臂移动线圈到S2中标定的待刺激位置。

根据刺激线圈的实际尺寸与世界坐标映射关系，对刺激线圈进行建模，并标记刺激线圈的中心区域和磁场方向。根据面部相机与线圈相机的相对位置，将刺激线圈与受试者在面部相机坐标系下。

S4，刺激发生时，在受试者头部发生移动情况下，实时通过面部相机采集的受试者面部的RGB图像和深度图像输入到数据处理及控制终端中，处理获得头部位置和待刺激部位位置的变化，根据刺激线圈与受试者头部之间的位置关系对机械手臂进行移动控制，将刺激线圈跟随受试者头部移动并实时对准待刺激部位，从而实现经颅磁刺激自动导航；具体通过以下步骤实现：当待刺激部位发生移动时进行跟随。

S41，将全脑结构影像数据进行分割处理后得到受试者的面部点云数据图及脑空间坐标信息；

S42，使受试者正视面部相机，将得到的面部RGB图像与深度信息发送至数据处理及控制终端，分析处理后得到面部点云数据图；

S43，将步骤S41和S42获得的两种面部点云图进行匹配，得到面部相机下的全脑空间坐标信息。

具体可以是标记两种面部特征点鼻尖区域点云信息，以鼻尖区域为准将两种面部点云图进行初始配准，然后用面部信息进行迭代校准。

在数据处理及控制终端中，计算出待刺激区域的空间位置，并算出刺激线圈需要移动的路径，通过机械手臂将刺激线圈移动至待刺激区域。

S5，刺激结束后，保留刺激的点云数据、刺激位置等信息。

本发明通过将磁共振脑影像数据与深度相机拍摄到的受试者的面部数据相结合的方法对头部进行建模，通过实时检测面部特征区域的移动得到待刺激区域的位置坐标，然后通过机械手臂对刺激线圈进行导航，及时调整刺激线圈位置保证治疗或实验的连续性与准确性。

本发明的实施例并非对本方面作任何形式上的限制，任何熟悉本专业的技术人员，在不脱离本方面技术方案范围内，当可利用上述揭示的技术内容做出些许更多或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本方面的技术实质对以上实施例所作的任何简单修改，等同变化与修饰，均仍属于本方面技术方案的范围内。

Claims (5)

1.一种基于深度相机和磁共振成像的经颅磁刺激自动导航系统，其特征在于：

所述的经颅磁刺激自动导航系统的经颅磁刺激自动导航方法，包括如下步骤：

S1，刺激发生前，通过磁共振扫描仪扫描受试者的头部得到全脑结构影像数据，将全脑结构影像数据输入至数据处理及控制终端建立完整的头部三维模型；通过测量刺激线圈的实际物理尺寸建立完整的线圈三维模型；

S2，刺激发生前，实时进行以下工作：通过受试者前方的面部相机得到受试者面部的RGB图像和深度图像，数据处理及控制终端根据RGB图像检测出受试者的面部图像区域，通过该面部图像区域在深度图像中对应的深度数据建立受试者面部点云数据，将面部点云数据与全脑结构影像数据进行对齐匹配整合得到受试者在面部相机坐标系中的完整头部模型及其坐标信息，并标定待刺激部位的位置信息；

S3，刺激发生前，通过线圈相机对刺激线圈拍摄获得刺激线圈局部的RGB和深度图像，数据处理及控制终端根据RGB图像检测出线圈图像区域，通过该线圈图像区域在深度图像中对应的深度数据建立刺激线圈的局部三维模型，将局部三维模型与线圈三维模型对齐匹配整合得到整个线圈的空间位置信息，再处理获得刺激线圈与受试者头部之间的位置关系；

S4，刺激发生时，在受试者头部发生移动情况下，实时通过面部相机采集的受试者面部的RGB图像和深度图像输入到数据处理及控制终端中，处理获得头部位置和待刺激部位位置的变化，根据刺激线圈与受试者头部之间的位置关系对机械手臂进行移动控制，将刺激线圈跟随受试者头部移动并实时对准待刺激部位，从而实现经颅磁刺激自动导航；

S5，刺激结束后，保存刺激的点云数据、刺激位置信息。

2.根据权利要求1所述的一种基于深度相机和磁共振成像的经颅磁刺激自动导航系统，其特征在于：所述的刺激线圈由经颅磁刺激仪控制通电后产生磁场，磁场透过颅骨到人体大脑在指定的待刺激部位进行刺激。

3.根据权利要求1所述的一种基于深度相机和磁共振成像的经颅磁刺激自动导航系统，其特征在于：所述S2中，获得受试者带全脑坐标的头部模型，具体为：

S21，通过受试者前方的面部相机得到受试者面部的RGB图像和深度图像，并将RGB和深度图像数据发送至数据处理及控制终端；

S22，数据处理及控制终端根据面部的RGB图像提取检测出受试者的面部图像区域，将通过该面部图像区域在深度图像对应的深度数据建立受试者面部点云数据，将面部点云数据与全脑结构影像数据进行对齐匹配整合得到受试者的头部模型及其坐标信息；

S23，标定待刺激部位的位置信息。

4.根据权利要求1所述的一种基于深度相机和磁共振成像的经颅磁刺激自动导航系统，其特征在于：所述S3中，获得刺激线圈与受试者头部之间的相对位置，并将线圈移动到待刺激区域，具体为：通过坐标变换将线圈相机的坐标位置变化到面部相机坐标系，经计算获得刺激线圈与受试者头部之间的相对位置关系；计算出将线圈移动到待刺激位置的步骤和参数，控制机械手臂移动线圈到待刺激位置。

5.根据权利要求1所述的一种基于深度相机和磁共振成像的经颅磁刺激自动导航系统，其特征在于：所述S4中，获得受试者的头部模型及其坐标信息，具体为：

S41，将全脑结构影像数据进行图像分割处理后提取受试者的面部点云数据图及脑空间坐标信息；

S42，使受试者正视面部相机，将得到的面部RGB图像与深度信息发送至所述数据处理及控制终端，分析处理后得到受试者的面部点云数据图；

S43，将步骤S41和S42获得的面部点云数据图的两种面部点云图进行匹配，得到面部相机下的全脑空间坐标信息。

Images