CN109758229A - 一种基于虚拟现实的神经外科手术控制系统及方法 - Google Patents

Abstract

本发明属于医疗虚拟现实技术领域，公开了一种基于虚拟现实的神经外科手术控制系统及方法；所述基于虚拟现实的神经外科手术控制系统包括：影像采集模块、动作数据采集模块、数据导入模块、主控模块、三维构建模块、操作识别模块、指令反馈模块、训练模块、数据存储模块、显示模块。本发明通过三维构建模块克服了固定分块图像传输算法中当屏幕图像变化区域正好位于多个矩形分块临界点，不能有效减少传输数据量的问题；同时，通过训练模块方便受训者进行使用、操作；通过完全模拟真实环境、给受训者近乎真实的沉浸感；采用实时进行判断的算法，每植入一枚粒子就实时进行位置判断，方便受训者进行错误纠正、提高粒子植入水平。

Description

一种基于虚拟现实的神经外科手术控制系统及方法

技术领域

本发明属于医疗虚拟现实技术领域，尤其涉及一种基于虚拟现实的神经外科手术控制系统及方法。

背景技术

在周围神经系统内，若干条神经纤维构成一神经纤维束，外包数层扁平上皮样细胞组成的神经束膜(即神经外膜)。数个神经纤维束集中形成神经。每条神经纤维外包以网状疏松结缔组织构成的神经内膜。神经将神经中枢、感觉器官和效应器连结在一起。由感觉传入纤维组成的神经称感觉神经；由传送冲动至效应器的传出神经纤维组成的神经称为运动神经。大多数神经由感觉和运动两种纤维组成，而称为混合神经。随着科学技术不断发展，人们对神经解剖生理的深入研究，神经外科学界为难治性的精神病人开辟了一条与以往方法不同的手术治疗手段。据介绍，这种治疗方法的原理就是在脑内与精神活动相关的部位，破坏式切断一部分脑组织，中断它们之间的某些联系通道，起到调整脑功能的作用，达到清除精神症状的目的。而详细阅读卫生部本次发出的消息后也可得知，卫生部并非对神经外科手术全盘否定，而是加强了对医疗机构实施该手术的资格和神经外科手术适应症的管理。然而，现有的基于虚拟现实的神经外科手术控制中采集的神经解剖图谱数据不准确，容易重复配准操作；同时图谱颜色单一标识，不能准确显示结果从属关系，不利于识别；而且现有的样条曲线/曲面并不插值控制顶点；不利于图像几何造型的准确生成；同时，不方便医生训练，容易发送碰撞，真实性差。

综上所述，现有技术存在的问题是：

(1)现有的基于虚拟现实的神经外科手术控制中采集的神经解剖图谱数据不准确，容易重复配准操作；同时图谱颜色单一标识，不能准确显示结果从属关系，不利于识别；而且现有的样条曲线/曲面并不插值控制顶点；不利于图像几何造型的准确生成；同时，不方便医生训练，容易发送碰撞，真实性差。

(2)在将颅脑模型、手术室模型数据导入到储存器中，采用传统的算法，降低了导入效率，延长了导入的时间。

(3)医疗影像设备采集患者图像数据信息的过程中，在对患者图像数据信息去噪时，采用现有的算法，造成影像模糊和空间分辨率下降现象出现，不能较好地突出影像的边缘和细节信息。

(4)通过感应器识别医生的操作动作中，大多数对个体手势动作信号进行识别，造成了动作信号的差异性和不稳定性，降低了对手势的实时有效性识别。。

发明内容

针对现有技术存在的问题，本发明提供了一种基于虚拟现实的神经外科手术控制系统及方法。

本发明是这样实现的，一种基于虚拟现实的神经外科手术控制方法，所述基于虚拟现实的神经外科手术控制方法包括以下步骤：

步骤一，利用医疗影像设备采集患者图像数据信息，利用体感设备采集医生手术动作数据；将上述数据信息通过数据导入程序导入到存储器数据中心中；

步骤二，利用三维软件构建神经解剖图谱，通过根据训练模式对医生手术进行综合训练操作；

步骤三，通过感应器识别医生的操作动作，在神经解剖图谱中进行演示，当时出现错误时，对医生操作指令进行相应处理反馈操作结果；

步骤四，利用存储器存储影像数据、动作数据、术后信息数据，利用VR设备显示虚拟化场景。

进一步，通过医疗影像设备采集患者图像数据信息，对患者图像数据信息去噪时采用图像的稀疏表示去噪方法，具体包括：

一幅理想的图像表示为F′，V表示图像噪声，此时带有噪声的图像F表示为：

F＝F′+V；

基于稀疏表示去噪方法的核心是将信号通过某个过完备字典D进行稀疏表示，用若干个基信号来线性表示原始信号F；

稀疏去噪的过程包括影像信号进行稀疏分解，稀疏分解模型满足：

min||x₀|| s.t.||f-Dx||₂≤ε；

式中f为列向量信号，x为稀疏表示系数，d字典，ε为表示误差；

稀疏去噪的过程包括构造用于稀疏分解的过完备字典，字典的选择满足函数：

图像块均满足稀疏模型M(D，ε，T₀)，则存在字典D∈R^n×m(m≥n)，及每一列f对应的表达系数x∈R^m，满足式||Dx-f||₂≤ε。

进一步，通过感应器识别医生的操作动作采用基于加速度传感器的连续动态手势识别方法具体包括以下步骤：

(1)通过MEMS加速度传感器采集手势动作信号；

(2)在采集的过程中，结合手势信号的动作特征，对单个手势的有效数据进行自动定位截取；

(3)经预处理和特征提取后，构建隐马尔可夫模型以实现对特定手势的实时识别。

本发明的另一目的在于提供一种实施所述基于虚拟现实的神经外科手术控制方法的基于虚拟现实的神经外科手术控制系统，所述基于虚拟现实的神经外科手术控制系统包括：

影像采集模块，与主控模块连接，用于通过医疗影像设备采集患者图像数据信息；

动作数据采集模块，与主控模块连接，用于通过体感设备采集医生手术动作数据；

数据导入模块，与主控模块连接，用于通过数据导入程序导入颅脑模型、手术室模型；

主控模块，与影像采集模块、动作数据采集模块、数据导入模块、三维构建模块、操作识别模块、指令反馈模块、训练模块、数据存储模块、显示模块连接，用于通过单片机控制各个模块正常工作；

三维构建模块，与主控模块连接，用于通过三维软件构建神经解剖图谱；

操作识别模块，与主控模块连接，用于通过感应器识别医生的操作动作；

指令反馈模块，与主控模块连接，用于对医生操作指令进行相应处理反馈操作结果；

训练模块，与主控模块连接，用于通过训练模式对医生手术进行综合训练操作；

数据存储模块，与主控模块连接，用于通过存储器存储影像数据、动作数据、术后信息数据；

显示模块，与主控模块连接，用于通过VR设备显示虚拟化场景。

本发明的另一目的在于提供一种应用所述基于虚拟现实的神经外科手术控制方法的计算机。

本发明的另一目的在于提供一种应用所述基于虚拟现实的神经外科手术控制方法的信息数据处理终端。

本发明的优点及积极效果为：本发明通过三维构建模块将得到三维标准数字化图谱数据从横断面、冠状面和矢状面三个方向上的结构进行分割方法，首先比较相邻两帧图像，找出所有图像变化的区域，然后根据变化像素点的坐标得到面积最小的不重叠矩形区域的集合，每次只发送矩形区域集合所包含的图像数据，以减小每一帧的分割后的图像传输数据，达到有效地降低的传输数据量的目的。本发明根据每帧图像变化区域的数不同，动态的将屏幕分成数量不同的矩形分块，克服了固定分块图像传输算法屏幕分块个数难以确定和适应性差的问题；将屏幕根据每帧图像每个变化范围的不同分成大小不同的矩形分块，克服了固定分块图像传输算法中当屏幕图像变化区域正好位于多个矩形分块临界点，不能有效减少传输数据量的问题。本发明更能有效地降低CPU使用率，减少带宽占用率，提高图像分割后的图像传输的性能；同时，通过训练模块方便受训者进行使用、操作；采用高精度红外线定位仪配合相应的头盔及交互用的手柄机构，在实现高精度定位的同时，能够实时追踪受训者头部的相对位置、两只手柄的相对位置，避免碰撞。本发明通过完全模拟真实环境、给受训者近乎真实的沉浸感，通过预先判断植入粒子位置正确与否，达到提高受训者粒子植入水平的有益效果；当使用者到达预先划定的房间边缘时，前置摄像头会开启并将现实世界的图形进行显示，从而达到最大程度的保证使用者的安全性；采用实时进行判断的算法，每植入一枚粒子就实时进行位置判断，方便受训者进行错误纠正、提高粒子植入水平。本发明最大的优点在于实时性与高度的沉浸性。

本发明中的数据导入模块通过数据导入程序导入颅脑模型、手术室模型到数据存储模块中，采用基于强类型DataSet的批量数据导入的优化算法，提高了将颅脑模型、手术室模型导入到存储模块中的导入效率，减少了导入的时间。

本发明中的影像采集模块用于通过医疗影像设备采集患者图像数据信息的过程中，在对患者图像数据信息去噪时，为了避免传统上的去噪算法，造成影像模糊和空间分辨率下降现象出现，较好地突出影像的边缘和细节信息，采用图像的稀疏表示去噪方法。

本发明中操作识别模块通过感应器识别医生的操作动作中，采用基于加速度传感器的连续动态手势识别方法，避免了个体手势动作信号的差异性和不稳定性，提高对手势的实时有效性识别。

附图说明

图1是本发明实施提供的基于虚拟现实的神经外科手术控制方法流程图。

图2是本发明实施提供的基于虚拟现实的神经外科手术控制系统结构示意图；

图中：1、影像采集模块；2、动作数据采集模块；3、数据导入模块；4、主控模块；5、三维构建模块；6、操作识别模块；7、指令反馈模块；8、训练模块；9、数据存储模块；10、显示模块。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

下面结合附图对本发明的应用原理作详细的描述。

如图1所示，本发明实施例提供的基于虚拟现实的神经外科手术控制方法包括以下步骤：

S101：首先，利用医疗影像设备采集患者图像数据信息，利用体感设备采集医生手术动作数据；将上述数据信息通过数据导入程序导入到存储器数据中心中；

S102：利用三维软件构建神经解剖图谱，通过根据训练模式对医生手术进行综合训练操作；

S103：通过感应器识别医生的操作动作，在神经解剖图谱中进行演示，当时出现错误时，对医生操作指令进行相应处理反馈操作结果；

S104：利用存储器存储影像数据、动作数据、术后信息数据，利用VR设备显示虚拟化场景。

如图2所示，本发明实施例提供的基于虚拟现实的神经外科手术控制系统包括：影像采集模块1、动作数据采集模块2、数据导入模块3、主控模块4、三维构建模块5、操作识别模块6、指令反馈模块7、训练模块8、数据存储模块9、显示模块10。

影像采集模块1，与主控模块4连接，用于通过医疗影像设备采集患者图像数据信息；

动作数据采集模块2，与主控模块4连接，用于通过体感设备采集医生手术动作数据；

数据导入模块3，与主控模块4连接，用于通过数据导入程序导入颅脑模型、手术室模型；

主控模块4，与影像采集模块1、动作数据采集模块2、数据导入模块3、三维构建模块5、操作识别模块6、指令反馈模块7、训练模块8、数据存储模块9、显示模块10连接，用于通过单片机控制各个模块正常工作；

三维构建模块5，与主控模块4连接，用于通过三维软件构建神经解剖图谱；

操作识别模块6，与主控模块4连接，用于通过感应器识别医生的操作动作；

指令反馈模块7，与主控模块4连接，用于对医生操作指令进行相应处理反馈操作结果；

训练模块8，与主控模块4连接，用于通过训练模式对医生手术进行综合训练操作；

数据存储模块9，与主控模块4连接，用于通过存储器存储影像数据、动作数据、术后信息数据；

显示模块10，与主控模块4连接，用于通过VR设备显示虚拟化场景。

所述影像采集模块1用于通过医疗影像设备采集患者图像数据信息的过程中，在对患者图像数据信息去噪时，为了避免传统上的去噪算法，造成影像模糊和空间分辨率下降现象出现，较好地突出影像的边缘和细节信息，采用图像的稀疏表示去噪方法，具体包括：

假设一幅理想的图像表示为F′，V表示图像噪声，此时带有噪声的图像F可以表示为F＝F′+V；

基于稀疏表示去噪方法的核心是将信号通过某个过完备字典D进行稀疏表示，即用若干个基信号来线性表示原始信号F；

稀疏去噪的过程包括两个关键的步骤，一是对影像信号进行稀疏分解，使其有效地提高信号稀疏分解的运算效率，要建立此类稀疏分解模型需要满足下式：

min||x₀|| s.t.||f-Dx||₂≤ε；

式中f为列向量信号，x为稀疏表示系数，d字典，ε为表示误差；

稀疏去噪的第二个关键步骤是构造用于稀疏分解的过完备字典，使其更好地体现影像信号的特征，字典的选择需满足以下函数：

假设图像块均满足稀疏模型M(D，ε，T₀)，则存在字典D∈R^n×m(m≥n)，及每一列f对应的表达系数x∈R^m，满足式||Dx-f||₂≤ε，即可以近似还原原始信号。

所述操作识别模块6通过感应器识别医生的操作动作中，为了避免个体手势动作信号的差异性和不稳定性，提高对手势的实时有效性识别，采用基于加速度传感器的连续动态手势识别方法，具体包括以下步骤：

步骤一，通过MEMS加速度传感器采集手势动作信号；

步骤二，在采集的过程中，结合手势信号的动作特征，对单个手势的有效数据进行自动定位截取；

步骤三，经预处理和特征提取后，构建隐马尔可夫模型以实现对特定手势的实时识别。

所述数据导入模块3通过数据导入程序导入颅脑模型、手术室模型到数据存储模块中，为了提高将颅脑模型、手术室模型导入到存储模块中的导入效率，减少导入的时间，采用基于强类型DataSet的批量数据导入的优化算法，具体包括以下步骤：

步骤一，算法开始；获取外部文件的路径及名称；

步骤二，新建一个离线数据集DataSet，用来存储外部文件中的数据；

步骤三，将外部文件中的数据添加到DataSet中，此时的离线数据集记为D＝{D₁，D₂，…，D_i，…，D_n}，其中D_i表示第i条数据；

步骤四，新建一个计时器对象stopwatch，并打开计时器；

步骤五，生成adapter对象；

步骤六，测试数据库的连接状态，如果数据库的连接状态是关闭的，则将其打开；

步骤七，for each D_i∈D{用DataSet强类型提供的adapter.Insert()方法，将D_i插入数据库}；

步骤八，将数据库的连接状态设置为关闭状态；

步骤九，关闭计时器，记录所用时间，算法结束。

本发明提供的三维构建模块5构建方法如下：

(1)采用先进的非线性插值法，对神经解剖图谱进行细致的数字化三维重建工作；

(2)采用三维非线性配准法，将神经解剖图谱率先统一到同一坐标系下，获取三维标准数字化图谱；

(3)生成三维彩色图谱；

将得到三维标准数字化图谱数据从横断面、冠状面和矢状面三个方向上的结构进行分割，采样获取每个结构在不同层上的多个轮廓坐标点信息，生成原始的数据点集，并记录下解剖名称；采用Cardinal样条插值对采集到的不连续的原始的数据点集进行插值生成大脑解剖结构的轮廓曲线；对生成的轮廓曲线包围的区域采用逐点判断填充算法进行区域颜色填充，按照不同脑组织结构所在的层数不同将所有的结构全部进行区域颜色填充，生成二维的彩色图谱，然后将横断面、冠状面和矢状面三个方向上二维的彩色图谱根据固定的层间距生成三维彩色图谱；

(4)进行可视化平台构建，对图谱横断面、冠状面和矢状面三个方向进行二维的大脑剖面显示，同时进行三维正交大脑剖面的显示；

(5)建立解剖器官与解剖名称、解剖名称与颜色信息之间的对应关系；

将感兴趣的解剖结构的解剖名称以及颜色信息以一一对应的形式存储，建立解剖器官与解剖名称、解剖名称与颜色信息之间的对应关系，采用分级存储的形式存储不同解剖器官之间的类属关系以及所属的主区域；通过读取感兴趣的解剖结构对应的颜色信息来实现实时显示感兴趣解剖结构名称，并用树形结构窗口显示解剖结构间以分级存储形式存储的从属关系。

本发明提供的训练模块8训练方法如下：

1)从病人图像数据库读取DICOM图形并实时显示，进行三维重建，提取病人的皮肤和组织器官模型；根据DICOM图上的肿瘤靶区1进行勾画，三维重建得到靶区器官模型；

2)依据病人病情、靶区位置实际情况，规划穿刺路径、粒子植入位置，并生成计量规划报告；

3)受训者进入训练模式，佩戴上VR头盔，通过手柄进行模拟粒子植入，右手柄在视野中拟化为穿刺针，左手柄在视野中拟化为穿刺模板，在虚拟环境中，受训者按下左手柄扳机在皮肤预定位置上放置模板；

4)受训者右手持“穿刺针”按照模板上预留的针道进行模拟穿刺，按下右手柄的“确认”按键，在预留模拟针道放置一枚粒子，在粒子放置完成后，会自动与术前规划的粒子位置进行比较，如果达到位置则继续放置下一枚粒子，并动态生成剂量球；如果放置位置不对则提示“粒子放置位置不正确”并自动删除该枚粒子，提示受训者进行重新粒子放置，直到粒子位置正确；

5)放置完所有术前规划预留粒子后，提示模拟训练完成，并生成训练报告，包括失败次数、模拟穿刺总耗时、平均粒子放置耗时，以及模拟训练生成的DVH曲线，并分析与参考DVH曲线的相似程度。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于虚拟现实的神经外科手术控制方法，其特征在于，所述基于虚拟现实的神经外科手术控制方法包括以下步骤：

步骤一，利用医疗影像设备采集患者图像数据信息，利用体感设备采集医生手术动作数据；将上述数据信息通过数据导入程序导入到存储器数据中心中；

步骤二，利用三维软件构建神经解剖图谱，通过根据训练模式对医生手术进行综合训练操作；

步骤三，通过感应器识别医生的操作动作，在神经解剖图谱中进行演示，当时出现错误时，对医生操作指令进行相应处理反馈操作结果；

步骤四，利用存储器存储影像数据、动作数据、术后信息数据，利用VR设备显示虚拟化场景。

2.如权利要求1所述的基于虚拟现实的神经外科手术控制方法，其特征在于，通过医疗影像设备采集患者图像数据信息，对患者图像数据信息去噪时采用图像的稀疏表示去噪方法，具体包括：

一幅理想的图像表示为F′，V表示图像噪声，此时带有噪声的图像F表示为：

F＝F′+V；

基于稀疏表示去噪方法的核心是将信号通过某个过完备字典D进行稀疏表示，用若干个基信号来线性表示原始信号F；

稀疏去噪的过程包括影像信号进行稀疏分解，稀疏分解模型满足：

min||x₀|| s.t.||f-Dx||₂≤ε；

式中f为列向量信号，x为稀疏表示系数，d字典，ε为表示误差；

稀疏去噪的过程包括构造用于稀疏分解的过完备字典，字典的选择满足函数：

图像块均满足稀疏模型M(D，ε，T₀)，则存在字典D∈R^n×m(m≥n)，及每一列f对应的表达系数x∈R^m，满足式||Dx-f||₂≤ε。

3.如权利要求1所述的基于虚拟现实的神经外科手术控制方法，其特征在于，通过感应器识别医生的操作动作采用基于加速度传感器的连续动态手势识别方法具体包括以下步骤：

(1)通过MEMS加速度传感器采集手势动作信号；

(2)在采集的过程中，结合手势信号的动作特征，对单个手势的有效数据进行自动定位截取；

(3)经预处理和特征提取后，构建隐马尔可夫模型以实现对特定手势的实时识别。

4.一种实施权利要求1所述基于虚拟现实的神经外科手术控制方法的基于虚拟现实的神经外科手术控制系统，其特征在于，所述基于虚拟现实的神经外科手术控制系统包括：

影像采集模块，与主控模块连接，用于通过医疗影像设备采集患者图像数据信息；

动作数据采集模块，与主控模块连接，用于通过体感设备采集医生手术动作数据；

数据导入模块，与主控模块连接，用于通过数据导入程序导入颅脑模型、手术室模型；

主控模块，与影像采集模块、动作数据采集模块、数据导入模块、三维构建模块、操作识别模块、指令反馈模块、训练模块、数据存储模块、显示模块连接，用于通过单片机控制各个模块正常工作；

三维构建模块，与主控模块连接，用于通过三维软件构建神经解剖图谱；

操作识别模块，与主控模块连接，用于通过感应器识别医生的操作动作；

指令反馈模块，与主控模块连接，用于对医生操作指令进行相应处理反馈操作结果；

训练模块，与主控模块连接，用于通过训练模式对医生手术进行综合训练操作；

数据存储模块，与主控模块连接，用于通过存储器存储影像数据、动作数据、术后信息数据；

显示模块，与主控模块连接，用于通过VR设备显示虚拟化场景。

5.一种应用权利要求1～3任意一项所述基于虚拟现实的神经外科手术控制方法的计算机。

6.一种应用权利要求1～3任意一项所述基于虚拟现实的神经外科手术控制方法的信息数据处理终端。