CN102106758B

CN102106758B - 立体定向神经外科手术中病人头部标记的自动视觉定位装置及方法

Info

Publication number: CN102106758B
Application number: CN2011100674354A
Authority: CN
Inventors: 孟偲; 李艳杰; 刘达; 王田苗
Original assignee: Beihang University
Current assignee: Beijing Baihui Weikang Technology Co Ltd
Priority date: 2011-03-21
Filing date: 2011-03-21
Publication date: 2013-10-16
Anticipated expiration: 2031-03-21
Also published as: CN102106758A

Abstract

立体定向神经外科手术中病人头部标记自动视觉定位装置及方法，设计标记模板；按照特定的方法将标记贴在病人头部；使用图像处理和模式识别的方法获取视频中单帧左右眼图像标记中心的像素坐标，并使用计算机视觉方法将其重建为空间坐标；同样使用图像处理和模式识别的方法跟踪获取视频序列的标记中心像素坐标，并使用计算机视觉方法将其重建为空间坐标。本发明改变了传统的神经外科手术中手动选取标记中心的方法，实现了标记中心定位的自动化，简化了手术步骤，缩短了手术时间；定位结果更加准确；提高手术的可靠性。本发明可以推广应用，解决骨科等手术中的标记中心的定位和跟踪问题。

Description

立体定向神经外科手术中病人头部标记的自动视觉定位装置及方法

技术领域

本发明涉及神经外科手术中病人头部的注册问题，特别是一种立体定向神经外科手术中病人头部标记的自动视觉定位装置及定位方法，属于图像处理的领域。

背景技术

立体定向神经外科手术中一个很关键的技术就是病人头部的注册，也就是获取医学图像空间和手术设备空间的对应关系。医学图像空间是指用CT或MRI断层图像重建的病人脑部空间，其包含病人大脑内部的重要信息；手术设备空间是指医疗机器人或其它医疗设备所在的空间。只有实现病人头部的注册，才能使手术设备准确定位患者脑部病患位置，顺利完成手术。

注册的方法可以分为有框架式和无框架式两种方式，其中有框架式定位方式需要将框架固定在病人的颅骨上，病人脑部相对框架固定，因此可以用框架建立医学图像空间和手术设备空间的对应关系；无框架式定位方式不使用框架定位，而是通过贴在病人脑部或固定在颅骨上的标记建立医学图像空间和手术设备空间的对应关系。有框架方式定位方式的缺点是，固定在头部的框架会对病人造成额外的伤害，并且其安装过程复杂，它在CT或MRI中的成像会影响病人脑部的成像效果。现在普遍采用的是无框架式定位方式，即获取两种空间下的标记坐标，通过标记匹配组成标记对，利用标记对就可以得到两种空间的对应关系。

医学图像空间下的标记坐标计算可以用图像处理的方法获得，方法较为单一。手术设备空间的标记坐标的计算方法很多，一些文献将其分为有机械臂式和无机械臂式两种方式，其中有机械臂式是指医生通过手动操纵医疗机器人的机械臂接触病人头部的标记来确定标记的位置，由于机械臂底座固定，各机械臂长度已知，关节的转角可以由传感器获得，因此可以推算出标记中心在手术设备空间下的坐标；无机械臂式是指利用超声、红外、磁场或可见光等方法定位标记在手术设备空间下的坐标。有机械臂式定位方法需要医生了解部分机械知识，以便其可以安全、顺利地移动机械臂接触标记中心，此方法较为繁琐，重复定位困难，更不可能实现跟踪定位。利用超声、红外或磁场等方式定位标记的方法较为简单，可以很容易的实现重复定位和跟踪，但需要专用的测量仪器，设备费用昂贵。利用可见光定位标记的方法，需要的设备简单，仅需要特殊的标记和一台双目相机即可。其原理是，首先利用图像处理和模式识别的方法计算出两幅图像标记的像素坐标，其次利用计算机视觉方法重建标记的空间坐标。其中，后者属于比较成熟的技术，但前者现在尚无固定的方法。国内第一例远程手术是利用手动的方法获取标记的图像坐标，即用鼠标顺序点击左右眼图像中的标记，从而确定其像素坐标。这种方法需要较多的人机交互操作，较为繁琐，而且难以实现标记的跟踪，同时，使用人工的方法确定标记的定位精度不高，只能达到像素级精度。

发明内容

本发明解决的问题：克服现有技术的不足，提供一种临床复杂环境及背景下标记的自动检测、跟踪识别与精确定位装置及定位方法，为机器人辅助立体定向神经外科手术提供一种自动图像实时注册与手术中安全监控的方法，该方法改变了以往神经外科手术中需要医生手动选择标记的方法，也可以有效解决手术过程中病人头部的缓慢移动导致的注册失败的问题，从而使机器人辅助立体定向神经外科手术的图像注册完全实现完全自动化，提高手术的效率和安全性。

本发明的技术解决方案：立体定向神经外科手术中病人头部标记自动视觉定位装置，包括PC机、双目相机及配套设备、相机支架和标记；所述标记包括A、B两类，其中B类一个，A类三个，共四个，所述A类标记是将电极片的电极点涂成白色，电极点周围涂成黑色，形成的白-黑嵌套的标记；B类标记是将电极片的电极涂成白色，电极点以外的内侧涂成一定形状的黑色，电极点以外的外侧涂成白色，形成的白-黑-白嵌套的标记，标记的拍摄效果和尺寸如图3、图4所示；双目摄像机固定在支架上，基本正对B类标记并可以同时拍摄到病人头部的三个A类标记；支架放置在病床的一侧，手术过程中不能移动，以保证双目相机不动；标记按特定方式粘贴在病人头部，具体方法见后面所述步骤二。B类标记贴在病人额头位置(一般是鼻梁正上方的头盖骨上)，三个A类标记都贴在病人头上B类标记的同一侧；B类标记指向一个A类标记，二者的连线两侧粘贴另两个A类标记，标记的粘贴位置如图5、图6所示；双目相机通过配套设备(网线、火线、图像采集卡和1394卡等)连接PC机，用于获取病人头部的实时图像，并将其传送给PC机；PC机用于处理采集到的图像，即自动检测标记，计算标记中心的图像坐标，重建标记的空间坐标以及跟踪标记。

立体定向神经外科手术中病人头部标记自动视觉定位方法，分为检测和跟踪两部分：

步骤一：设计A类和B类标记

A类和B类标记都是在电极片的基础上再加工得到的，其中A类标记是将电极片的电极点涂成白色，电极点周围涂成黑色，形成的白-黑嵌套的标记；B类标记是将电极片的电极涂成白色，电极点周围内侧涂成白色，电极点周围外侧涂成黑色，形成的白-黑-白嵌套的标记；

步骤二：将A类和B类标记贴在病人头部

B类标记共一个、A类标记共三个，它们的粘贴方式具体是：B类标记贴在病人额头位置(一般是鼻梁正上方的头盖骨上)，三个A类标记都贴在病人头上B类标记的同一侧；B类标记指向一个A类标记，二者的连线两侧粘贴另两个A类标记，标记的粘贴位置如图5、图6所示。

步骤三：标定双目摄像机

步骤四：自动检测四个标记，具体实现为：

(1)定位B类标记，提取包含病人头部的局部图像；

(2)分割提取局部图像的候选A类标记；

(3)提取候选A类标记的特征，并利用先验知识排除伪标记；

(4)对A类标记进行分类，搜寻缺失的标记，计算A类标记中心的像素坐标；

(5)利用双目相机极线几何约束搜索缺失的标记；

(6)匹配左右眼图像中的标记，计算匹配的标记对对应的空间坐标；

步骤五：自动跟踪四个标记

实现标记的跟踪只要在上次标记中心的周围搜索即可，具体方法为：初始假设标记运动速度为零，在上帧的标记中心位置附近搜索当前帧的标记中心；跟踪两帧图像以后，利用前两帧标记中心的运动信息，推测当前的标记中心位置，然后在此位置附近搜索当前帧的标记中心；最后，匹配左右眼中的标记，形成标记对，再利用计算机视觉的方法重建标记中心的空间坐标。

本发明与现有的技术相比优点在于：原来的机器人辅助立体定向神经外科手术是利用人工选点的方法获取标记的像素坐标，即用鼠标顺序点击左右眼图像中的标记中心，从而确定其像素坐标。这种方法需要较多的人机交互操作，耗时长，不便于医生的操作，也降低了手术效率，另一方面，它还要求自标定开始到手术结束的整个过程中，患者头部不能移动，否则注册失败。而实际的立体定向神经外科手术一般是微创手术，临床中采用局部麻醉，患者仍能够活动，因此患者头部可能发生较小的移动，但此位置变化没有被医生察觉，这会对手术结果带来严重影响，甚至可能造成严重手术事故。本发明中的自动检测跟踪算法可以很好的解决此问题，既简化了医生的操作，提高了手术的效率，为抢救病人争取了更多的时间，也提高了标记定位的精度，进而提高了注册的精度，增加了手术的安全性、可靠性。

附图说明

图1为本发明定位装置的组成示意图；

图2为本发明的实现流程图；

图3为本发明的标记示意图，其中a为电极片，b为A类标记，c为B类标记；

图4为本发明的标记尺寸图，其中a为B类标记，b为A类标记；

图5为本发明中粘贴好的四个标记的照片；

图6为本发明中标记粘贴相对位置示意图；

图7为本发明中双目相机拍摄的原始图像；

图8为本发明中通过B类标记获取的局部图像；

图9为本发明中的顶帽变换结果；

图10为本发明中顶帽变换后再二值化结果，其中a为二值化图像，b为在原图上显示结果；

图11为本发明中的log算子边缘检测结果，其中a为图像边缘，b为在原图上显示边缘；

图12为本发明中的综合图像分割结果，其中a为二值化图像，b为在原图上显示分割结果；

图13为本发明中为初始的候选标记示意图；

图14为本发明中的定位B类标记的方向；

图15为本发明中利用B类标记排除伪标记后结果；

图16为本发明中利用标记外接矩形特征排除伪标记后结果；

图17为本发明中利用标记局部特征排除伪标记；

图18为本发明中标记最终检测匹配结果；

图19为本发明中左目标记检测正确，右目标记检测缺失的情况；

图20为本发明利用双目极线几何约束搜索右目缺失标记的流程，其中a为初始所有候选标记；b为根据与极线的距离排除伪标记(白色直线为极线)后的结果；c为根据A、B类标记位置关系排除伪标记后的结果；d为根据与B类标记中心的距离排除的伪标记后的结果；e根据标记的转角排除伪标记后的的结果；f为选出模板匹配值最大的标记；

图21为本发明利用双目极线几何约束搜索右目缺失标记的流程图；

图22为本发明中标记的自动跟踪算法流程图。

具体实施方式

如图1所示，本发明定位装置包括：PC机、双目模拟相机和图像采集卡或双目数字相机和配套设备(网线、火线和1394卡等)、支架、标记(电极贴片)。以上硬件的组合方式如图1所示：标记贴在病人头部(共四个)；双目相机用于采集病人头部的数字图像；支架用于支撑和固定双目相机；PC机用于处理双目相机采集的数字图像，实现病人头部实时注册算法。以下分别介绍。

(1)PC机可选用个人计算机。个人计算机作为悉知的普及性计算机性能越来越高，已经完全满足这该发明及医疗手术的要求。PC机的操作系统可选用Windows XP或Windows 7操作系统。

(2)双目相机包括镜头和感光元件，双目相机可选择两个单目相机组合或一个双目相机。两个单目相机组合需标定相对位置，而双目相机相对关系是已知的，直接可以使用。其中，镜头可以选用日本宾得(PENTAX)公司的镜头或希比希(COMPUTAR)公司的镜头，成像器件可以选择日本东芝泰力(TOSHIBATELI)公司的CCD成像元件。另一种选择是使用双目相机成品，如加拿大POINT GRAY RESEARCH公司的大黄蜂(Bumblebee2)双目相机。

(3)相机配套设备按相机类型分类：模拟相机需要配备图像采集卡和模拟信号线，采集卡可选用嘉恒公司或大恒公司的黑白图像采集卡，模拟信号线会与采集卡配套出售；火线数字相机需使用火线和1394卡，它们会与相机配套出售；千兆网数字相机仅需要普通的网线即可。

(4)支架可以购买成品，也可以定做，能将双目摄像机固定在合适位置即可。

(5)标记有两种：A类和B类，它们的具体形状和尺寸如图3、图4所示。B类标记共一个、A类标记共三个。它们的粘贴方式具体是，B类标记贴在病人额头位置(一般是鼻梁正上方的头盖骨上)，三个A类标记都贴在病人头上B类标记的同一侧；B类标记指向一个A类标记，二者的连线两侧粘贴另两个A类标记，标记的粘贴位置如图5、图6所示

如图2所示，本发明为立体定向神经外科手术中病人头部标记自动定位方法，实现上述主法的硬件平台为：双目相机固定在支架上并通过配套设备与电脑相连，支架放置在病床的一侧，四个标记按一定规律粘贴于病人头部，系统整体结果如图1所示，标记粘贴位置如图5、图6所示，包括自动检测和跟踪算法，算法具体以下步骤实现：

1、定位B类标记，提取包含病人头部的局部图像

这一步主要包含B类标记的定位和局部图像的提取两部分。

B类标记正对摄像头，白-黑-白三层结构对比分明，因此可以采用较大的形态学掩膜对采集的图像做顶帽变换和自适应二值化处理，再通过白色连通区域统计就可以找到所有的候选B类标记。由于B类标记尺寸一致，根据其中心形状近似圆形，从中心到外侧一次为白-黑-白的颜色等特点，可以计算二值化图像中所有疑似mark点的外形特征(外接矩形、圆形度、长短轴等)，根据这些特征排除伪标记，最后利用模板匹配的方法，选出响应值最大的标记。

确定B类标记的初始位置后，可以根据B类标记各部分比例关系，提取B类标记完整的局部图像，进而推算出病人头部分布的大概范围，最后将病人头部的局部图像提取出来。最终提取的局部图像如图8所示。

2、分割标记

分割标记主要包括顶帽变换、自适应二值化、log算子边缘检测和综合分割四个步骤。以下分别说明

由于标记中心为白色，周围为黑色，所以可以利用形态学顶帽变换的方法来初步提取，顶帽变换的结果如图9所示。

由于图像的明暗可能随灯光和相机的曝光时间影响，所以需要使用自适应的方法将顶帽变换的结果二值化。通过手动调节二值化阈值，发现合适的阈值与局部灰度图像的灰度值跨度近似成线性关系，因此选择一个固定的比例系数，将局部图像的灰度值跨度乘以此系数即可获得合适的阈值，二值化后的图像如图10所示。

当光照不是很均匀时，同样大小的标记中心在二值化图像中显示的大小会差距很大，为了消除这种影响，用边缘检测的方法处理局部灰度图像，可得到各个标记中心的真实边缘。这里采用log算子边缘检测的方法，因为它可以得到闭合的边缘。log算子边缘检测结果如图11所示。

利用上述二值化图像和log边缘图像，使用区域生长的方法可以获得标记中心更准确的分割结果，如图12所示。通过统计分割图像中的白色连通区域，可以得到所有的候选标记，如图13所示。

3、利用特征排除伪标记

由于存在噪声等诸多干扰，候选标记中存在许多伪标记。为了排除这些伪标记，本发明使用了两种方法，第一种方法是利用B类mark与A类mark的位置关系，第二种方法是利用标记的形状、灰度等特征。

由于A类标记位于B类标记的同侧，B类标记指向其中一个A类标记，二者的连线两侧分布着另外两个A类标记，所以，可以通过判别B类标记的指向，排除B类标记另一侧的伪标记，B类标记两侧的分割线如图14所示，利用此分割线排除伪标记后的结果如图15所示。

由于真实的标记与伪标记存在形状、灰度等方面的区别，所以可以通过统计真实标记的特征，获取先验知识，进而排除伪标记，筛选出真实的标记。标记的特征包括标记的外接矩形长宽值、长宽比、连通区域的面积、长短轴和圆形度以及标记附近的灰度特征。利用标记外接矩形的长宽和长宽比排除伪目标后的结果如图16所示，利用标记的面积、长短轴、圆形度以及周围灰度特征排除伪目标后的结果如图17所示。

4、对标记进行分类，并搜寻缺失的标记

由于标记的粘贴位置相对已知，所以可以通过计算A类标记中心与B类标记中心的连线和B类标记中心方向的夹角来判别标记的种类，如图6所示可以将A类标记分为左、中、右三种，每一种A类标记的中心与B类标记的中心构成的向量都与B类标记的指向之间存在一定的转角，按此转角对A类标记分类统计，不仅可以实现左右眼的A类标记匹配，还可以搜索缺失的A类标记。

5、利用双目相机极线几何约束搜索缺失的标记

前面四步操作之后的仍然可能存在漏检的标记，即当左目图像中的标记无法被自动检测出来时，右目图像中的标记却可以被自动检测出来，如图19所示。由于双目相机标定之后两个相机的内参数、畸变参数和相对位姿已知，因此可以使用双目相机极线几何约束的方法由左(右)图中的标记中心坐标搜索到右(左)图中的标记中心坐标。譬如，当定位到左图中的一个标记中心坐标，但无法定位右图中的对应的标记中心坐标时，可以由基础矩阵和左图中的标记中心坐标计算出右图中对应的标记中心所在的极线方程，考虑到相机标定存在误差，右图中的标记中心可能不在极线上，但到极线的距离很近，这样就可以在此极线附近搜索到缺失的标记，并定位其中心坐标。利用极线约束由左图标记搜索右图标记的过程如图20所示，算法流程图如图21所示，具体为：首先，算法对包含病人头部的局部图像做顶帽变换和自适应二值化处理，再统计二值图像连通域的个数，获得候选A类标记；其次，算法删除中心与极线距离(由先验知识获得)超过阈值的候选A类标记；再次，算法根据其它特征(包括候选A类标记中心与B类标记中心的距离，候选A类标记与B类标记的相对位置和转角)排除其它候选A类标记；最后，算法计算剩余候选A类标记的模板匹配值，选出匹配值最大的一个并认为它是缺失的A类标记，将其重心计算出来作为函数返回值。

6、匹配左右眼图像中的标记，计算标记中心空间坐标

根据左右眼图像中标记的分类结果，可以实现左右眼标记的匹配，如图18所示。根据匹配的标记点坐标和摄像机投影矩阵，分别获取两个点的反投影线并计算出二者的空间交点或距离最近的点，就可以得到标记中心的空间坐标。

7、自动跟踪四个标记

当确定四个标记的初始位置之后，算法会自动启动跟踪程序，即不再遍历整幅图像搜索标记点，而是根据前两帧中标记中心位置的变化推测当前帧对应标记的中心位置，并在此位置附近搜索当前帧标记中心的精确位置。跟踪算法由于只在一个很小的局部搜索标记中心，因而可以极大得提高算法的效率，实现标记的实时定位。实际手术过程中，病人头部移动缓慢，所以跟踪算法不太复杂，算法的详细流程图如图22所示。首先，算法根据前几帧图像中标记的中心坐标预测当前帧图像的标记中心坐标；其次，算法从当前帧图像获取局部图像(该局部图像包含待搜索标记)并对其做顶帽变换和自适应二值化处理，得到候选标记；再次，算法根据先验知识(标记的形状等特征)排除伪标记；再次，算法计算剩余候选标记的模板匹配度并选出匹配度最大的一个，将其重心计算出来；最后，算法匹配左右眼图像中的标记，重建标记中心的空间三维坐标。

综上所述，本发明改变了传统的神经外科手术中手动获取标记中心坐标的方法，实现了标记定位的自动化，简化了手术步骤，缩短了手术时间；由于利用了数字图像处理技术，标记的定位精度能够达到亚像素级别，定位结果更加准确；另外，标记的跟踪技术还可以解决标记在手术过程的移动问题，提高手术的可靠性。本发明可以推广应用，解决骨科等手术中的标记定位和跟踪问题。

本发明未详细阐述部分属于本领域公知技术。

Claims

1.立体定向神经外科手术中病人头部标记自动视觉定位装置，其特征在于：包括PC机、双目相机及配套设备、相机支架和标记；所述标记共四个，包括A、B两类，其中B类一个，A类三个；所述A类标记是将电极片的电极点涂成白色，电极点周围涂成黑色，形成的白-黑嵌套的标记；B类标记是将电极片的电极点涂成白色，电极点以外的内侧涂成一定形状的黑色，电极点以外的外侧涂成白色，形成的白-黑-白嵌套的标记；双目相机固定在相机支架上，基本正对B类标记并可以同时拍摄到病人头部的三个A类标记；相机支架放置在病床的一侧；标记按特定方式粘贴在病人头部，具体方法为B类标记贴在病人额头位置，三个A类标记都贴在病人头上B类标记的同一侧，B类标记指向一个A类标记，二者的连线两侧粘贴另两个A类标记；双目相机通过配套设备连接PC机，用于获取病人头部的实时图像，并将其传送给PC机；PC机用于处理采集到的图像，即自动检测标记，计算标记中心的图像坐标，重建标记的空间坐标以及跟踪标记。