CN108324369B - 基于面的术中配准方法及神经导航设备 - Google Patents
基于面的术中配准方法及神经导航设备 Download PDFInfo
- Publication number
- CN108324369B CN108324369B CN201810101097.3A CN201810101097A CN108324369B CN 108324369 B CN108324369 B CN 108324369B CN 201810101097 A CN201810101097 A CN 201810101097A CN 108324369 B CN108324369 B CN 108324369B
- Authority
- CN
- China
- Prior art keywords
- patient
- data
- point cloud
- scanner
- facial region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
Landscapes
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Robotics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明提供基于面的术中配准方法，该方法包括：接收三维扫描仪发送的患者面部三维点云信息；接收光学追踪设备发送的位姿矩阵，所述位姿矩阵为扫描患者面部过程中的所述三维扫描仪在光学追踪设备空间坐标系中的位姿矩阵；对患者面部三维点云信息与术前患者面部的CT数据进行初始配准，得到CT数据到患者所在真实空间坐标系的初始转换矩阵；确定三维扫描仪到光学追踪设备坐标系的转换矩阵；根据位姿矩阵、初始转换矩阵及转换矩阵确定目标转换矩阵；基于目标转换矩阵将CT数据转换到患者所在的真实空间坐标系。本发明还公开了一种神经导航设备，本发明所提供的基于面的术中配准方法及神经导航设备，能够提高术中配准的精确度，提高术中配准效果。
Description
技术领域
本发明涉及手术导航领域，尤其涉及一种基于面的术中配准方法及神经导航设备。
背景技术
手术导航是指将病人术前或术中影像数据和手术床上病人解剖结构准确对应，在手术过程中跟踪手术器械并将手术器械的位置在病人影像上以虚拟探针的形式实时更新显示。术中配准是手术导航系统中非常重要的环节，术中配准的精度直接影响手术导航的精度。术中配准主要将病人电子计算机断层扫描(Computed Tomography，CT)等医学影像所在的虚拟世界坐标系转换到病人所在的真实世界坐标系下的过程。目前手术导航中常用的术中配准包括基于点的配准，基于点的配准有以下缺陷：扫描CT是需要在病人面部贴若干标记物，加大手术成本，延长手术准备时间，粘贴在病人面部的标记物容易发生移位和脱落，增大术中配准的误差，标记物选取过程比较长，增加医生的工作量。可见，现有技术中术中配准存在配准效果比较差的问题。
发明内容
本发明解决的技术问题是提供一种基于面的术中配准方法及神经导航设备，解决现有技术中术中配准存在配准效果比较差的问题。
为解决上述技术问题，本发明提供了一种基于面的术中配准方法，包括：
通过三维扫描仪扫描患者的面部，得到患者面部三维点云信息；
在所述三维扫描仪扫描患者的面部时，通过光学追踪设备确定所述三维扫描仪在光学追踪设备空间坐标系中的位姿矩阵MarkerTNDI；
对所述患者面部三维点云信息与术前所述患者面部的计算机断层扫描CT数据进行初始配准，得到CT数据到所述患者所在真实空间坐标系的初始转换矩阵CTTScanner；
确定所述三维扫描仪到光学追踪设备坐标系的转换矩阵ScannerTMarker；
根据所述位姿矩阵MarkerTNDI、初始转换矩阵CTTScanner及转换矩阵ScannerTMarker确定目标转换矩阵CTTNDI；
基于所述目标转换矩阵CTTNDI将CT数据转换到所述患者所在的真实空间坐标系。
优选地，所述对所述患者面部三维点云信息与术前所述患者面部的计算机断层扫描CT数据进行配准，得到CT数据到所述患者所在真实空间坐标系的初始转换矩阵CTTScanner的步骤包括：
基于凸包结构算法及迭代最近点ICP算法将所述患者面部三维点云信息与术前所述患者面部的计算机断层扫描CT数据进行配准，得到CT数据到所述患者所在真实空间坐标系的初始转换矩阵CTTScanner。
优选地，所述基于凸包结构算法及迭代最近点ICP算法将所述患者面部三维点云信息与术前所述患者面部的计算机断层扫描CT数据进行配准，得到CT数据到所述患者所在真实空间坐标系的初始转换矩阵CTTScanner步骤包括：
基于凸包结构算法对所述患者面部三维点云信息与术前所述患者面部的CT数据进行初始配准，得到所述患者面部三维点云信息与术前所述患者面部的CT数据之间的坐标转换矩阵T，基于所述坐标转换矩阵T对所述患者面部三维点云信息进行初步坐标变换，得到目标三维点云信息；
基于分割k维数据空间的数据结构kd-tree从所述目标三维点云信息中搜索与所述CT数据的每一个点最近的点，移除所述目标三维点云信息中的杂点，得到处理后的三维点云信息；
基于迭代最近点ICP算法将所述处理后的三维点云信息与术前所述患者面部的计算机断层扫描CT数据进行精准配准，得到CT数据到所述患者所在真实空间坐标系的初始转换矩阵CTTScanner。
优选地，所述根据所述位姿矩阵MarkerTNDI、初始转换矩阵CTTScanner及坐标系转换矩阵ScannerTMarker确定目标转换矩阵CTTNDI的步骤包括：
将所述位姿矩阵MarkerTNDI、初始转换矩阵CTTScanner及坐标系转换矩阵ScannerTMarker之间的乘积作为所述目标转换矩阵CTTNDI。
优选地，所述确定所述三维扫描仪到光学追踪设备坐标系的转换矩阵ScannerTMarker的步骤包括：
根据附着在所述三维扫描仪上的光学跟踪标识点，确定所述三维扫描仪到光学追踪设备坐标系的转换矩阵ScannerTMarker；
在所述三维扫描仪上附着光学跟踪标识点后，所述三维扫描仪到光学追踪设备坐标系的转换矩阵ScannerTMarker固定不变。
为解决上述技术问题，本发明还提供一种神经导航设备，包括：
获取模块，用于通过三维扫描仪扫描患者的面部，得到患者面部三维点云信息；
第一确定模块，用于在所述三维扫描仪扫描患者的面部时，通过光学追踪设备确定所述三维扫描仪在光学追踪设备空间坐标系中的位姿矩阵MarkerTNDI；
初始配准模块，用于对所述患者面部三维点云信息与术前所述患者面部的计算机断层扫描CT数据进行初始配准，得到CT数据到所述患者所在真实空间坐标系的初始转换矩阵CTTScanner；
第二确定模块，用于确定所述三维扫描仪到光学追踪设备坐标系的转换矩阵ScannerTMarker；
第三确定模块，用于根据所述位姿矩阵MarkerTNDI、初始转换矩阵CTTScanner及转换矩阵ScannerTMarker确定目标转换矩阵CTTNDI；
转换模块，基于所述目标转换矩阵CTTNDI将CT数据转换到所述患者所在的真实空间坐标系。
优选地，所述初始配准模块，还用于基于凸包结构算法及迭代最近点ICP算法将所述患者面部三维点云信息与术前所述患者面部的计算机断层扫描CT数据进行配准，得到CT数据到所述患者所在真实空间坐标系的初始转换矩阵CTTScanner。
优选地，所述初始配准模块包括：
第一配准子模块，基于凸包结构算法对所述患者面部三维点云信息与术前所述患者面部的CT数据进行初始配准，得到所述患者面部三维点云信息与术前所述患者面部的CT数据之间的坐标转换矩阵T，基于所述坐标转换矩阵T对所述患者面部三维点云信息进行初步坐标变换，得到目标三维点云信息；
移除子模块，用于基于分割k维数据空间的数据结构kd-tree从所述目标三维点云信息中搜索与所述CT数据的每一个点最近的点，移除所述目标三维点云信息中的杂点，得到处理后的三维点云信息；
第二配准子模块，用于基于迭代最近点ICP算法将所述处理后的三维点云信息与术前所述患者面部的计算机断层扫描CT数据进行精准配准，得到CT数据到所述患者所在真实空间坐标系的初始转换矩阵CTTScanner。
优选地，所述第三确定模块，用于将所述位姿矩阵MarkerTNDI、初始转换矩阵CTTScanner及坐标系转换矩阵ScannerTMarker之间的乘积作为所述目标转换矩阵CTTNDI。
优选地，所述第二确定模块，用于根据附着在所述三维扫描仪上的光学跟踪标识点，确定所述三维扫描仪到光学追踪设备坐标系的转换矩阵ScannerTMarker。
本发明提供的基于面的术中配准方法及神经导航设备，在术中配准过程中，无需在患者皮肤上设置人工标记物，无潜在危险，操作便捷，配准精度高，时间花费少，效率高。
附图说明
图1为本发明提供的基于面的术中配准方法一实施例的应用环境示意图；
图2为本发明提供的基于面的术中配准方法一实施例的流程图；
图3为本发明提供的患者的术中面部点云信息的示意图；
图4为本发明提供的患者的术前CT数据的示意图；
图5为本发明提供的基于面的术中配准方法另一实施例的流程图；
图6为本发明提供的神经导航设备的一实施例的结构图；
图7为本发明提供的神经导航设备的另一实施例的结构图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式。
参见图1，图1为本发明提供的基于面的术中配准方法一实施例的应用环境示意图。在图1中包括神经导航设备100、光学追踪设备200及三维扫描仪300。神经导航设备100、光学追踪设备200及三维扫描仪300之间可以进行通信连接。
参见图2，图2为本发明提供的基于面的术中配准方法一实施例的流程图，图2所示的基于面的术中配准方法可以应用于如图1所示的应用环境中，如图2所示，基于面的术中配准方法包括以下步骤：
步骤S201、通过三维扫描仪扫描患者的面部，得到患者面部三维点云信息。
在本发明实施例中，可以将三维扫描仪对准病人面部进行扫描，获取病人面部三维数据。举例来说，在图1所示的应用环境中，通过三维扫描仪300对准患者面部进行扫描，得到患者的面部点云信息。
参见图3，图3为本发明提供的患者的术中面部点云信息的示意图。如图3所示的患者的面部点云信息可以清楚的显示面部轮廓。可以理解的是，点云信息除了具有几何位置以外，还可以有颜色信息。颜色信息通常是通过相机获取彩色影像，然后将对应位置的像素的颜色信息(RGB)赋予点云中对应的点。
步骤S202、在所述三维扫描仪扫描患者的面部时，通过光学追踪设备确定所述三维扫描仪在光学追踪设备空间坐标系中的位姿矩阵MarkerTNDI。
举例来说，在图1的应用环境中，在三维扫描仪300扫描患者的面部时，光学追踪设备200确定三维扫描仪300在光学追踪设备空间坐标系中的位姿矩阵MarkerTNDI，光学追踪设备200可以为NDI Polaris Vicra光学追踪定位系统。
步骤S203、对所述患者面部三维点云信息与术前所述患者面部的计算机断层扫描CT数据进行初始配准，得到CT数据到所述患者所在真实空间坐标系的初始转换矩阵CTTScanner。
参见图4，图4为本发明提供的患者的术前CT数据的示意图。如图4所示，所示患者的术前CT数据为对患者的面部的扫描数据进行三维建模后的面部模型。
具体来说，在图1中的应用环境中，神经导航设备100对所述患者面部三维点云信息与术前所述患者面部的计算机断层扫描CT数据进行初始配准，得到CT数据到所述患者所在真实空间坐标系的初始转换矩阵CTTScanner。
步骤S204、确定所述三维扫描仪到光学追踪设备坐标系的转换矩阵ScannerTMarker。
具体来说，在图1所示的应用环境中，神经导航设备100确定所述三维扫描仪到光学追踪设备坐标系的转换矩阵ScannerTMarker。
在本发明实施例中，可以在图中的三维扫描仪300上附着光学跟踪标识点，在所述三维扫描仪300上附着光学跟踪标识点后，所述三维扫描仪300到光学追踪设备坐标系的转换矩阵ScannerTMarker是固定不变的。
可选的，该步骤S204可以包括以下步骤：根据附着在所述三维扫描仪上的光学跟踪标识点，确定所述三维扫描仪到光学追踪设备坐标系的转换矩阵ScannerTMarker。
步骤S205、根据所述位姿矩阵MarkerTNDI、初始转换矩阵CTTScanner及转换矩阵ScannerTMarker确定目标转换矩阵CTTNDI。
在本发明实施例中，可以将所述位姿矩阵MarkerTNDI、初始转换矩阵CTTScanner及坐标系转换矩阵ScannerTMarker之间的乘积作为所述目标转换矩阵CTTNDI。
具体来说，可根据以下公式：CTTNDI＝MarkerTNDI*ScannerTMarker*CTTScanner计算目标转换矩阵CTTNDI，其中，MarkerTNDI为所述三维扫描仪在光学追踪设备空间坐标系中的位姿矩阵、CTTScanner为CT数据到所述患者所在真实空间坐标系的初始转换矩阵，ScannerTMarker为所述三维扫描仪到光学追踪设备坐标系的转换矩阵。
步骤S206、基于所述目标转换矩阵CTTNDI将CT数据转换到所述患者所在的真实空间坐标系。
在该步骤中，将患者的CT数据转换到患者所在的真实空间坐标系中，进入追踪导航过程，在患者的患部的图像模型中进行相应的手术器械位置标识，完成手术导航的跟踪过程，保证手术医生能将医疗器械精确送达目标。
本发明实施例中提供的基于面的术中配准方法，在术中配准过程中，无需在患者皮肤上设置人工标记物，无潜在危险，操作便捷，配准精度高，时间花费少，效率高。
请参阅图5，图5为本发明提供的基于面的术中配准方法另一实施例的流程图。图5所示的基于面的术中配准方法可以应用于如图1所示的应用环境中，如图5所示，基于面的术中配准方法包括以下步骤：
步骤S501、通过三维扫描仪扫描患者的面部，得到患者面部三维点云信息。
该步骤S501与图2所示实施例中的步骤S201具有相同的实现方式及有益效果，为避免重复，在此不再赘述。
步骤S502、在所述三维扫描仪扫描患者的面部时，通过光学追踪设备确定所述三维扫描仪在光学追踪设备空间坐标系中的位姿矩阵MarkerTNDI。
该步骤S502与图2所示实施例中的步骤S202具有相同的实现方式及有益效果，为避免重复，在此不再赘述。
步骤S503、基于凸包结构算法及迭代最近点ICP算法将所述患者面部三维点云信息与术前所述患者面部的计算机断层扫描CT数据进行配准，得到CT数据到所述患者所在真实空间坐标系的初始转换矩阵CTTScanner。
在本实施例中，凸包算法可以是葛立恒Graham扫描法和Jarvis步进法，ICP算法一种迭代计算方法，通过不断迭代最小化源数据与目标数据对应点来实现精确地拼合。这样，可以提高CT数据到所述患者所在真实空间坐标系的初始转换矩阵CTTScanner的精确度，提高配准的准确度。
该步骤S503可以包括以下步骤：
基于凸包结构算法对所述患者面部三维点云信息与术前所述患者面部的CT数据进行初始配准，得到所述患者面部三维点云信息与术前所述患者面部的CT数据之间的坐标转换矩阵T，基于所述坐标转换矩阵T对所述患者面部三维点云信息进行初步坐标变换，得到目标三维点云信息；
基于分割k维数据空间的数据结构kd-tree从所述目标三维点云信息中搜索与所述CT数据的每一个点最近的点，移除所述目标三维点云信息中的杂点，得到处理后的三维点云信息；
基于迭代最近点ICP算法将所述处理后的三维点云信息与术前所述患者面部的计算机断层扫描CT数据进行精准配准，得到CT数据到所述患者所在真实空间坐标系的初始转换矩阵CTTScanner。
在本发明实施例中，所述基于凸包结构算法对所述患者面部三维点云信息与术前所述患者面部的CT数据进行初始配准，得到所述患者面部三维点云信息与术前所述患者面部的CT数据之间的坐标转换矩阵T，基于所述坐标转换矩阵T对所述患者面部三维点云信息进行初步坐标变换，得到目标三维点云信息的步骤可以包括以下步骤：
对所述患者面部三维点云信息提取第一凸包结构，对术前所述患者面部的CT数据提取第二凸包结构，从所述第一凸包结构随机选取第一三角形，从第二凸包结构选择位于所述第一三角形配对的第二三角形；判断所述第一三角形与所述第二三角形的相似度是否超过第一预设阈值；若所述第一三角形与所述第二三角形的相似度超过第一预设阈值，则通过所述第一三角形与所述第二三角形之间的坐标转换矩阵T，基于所述坐标转换矩阵T对所述患者面部三维点云信息进行配准；若所述第一三角形与所述第二三角形的相似度超过第一预设阈值低于第一预设阈值，则重新从第二凸包结构选择位于所述第一三角形配对的三角形。判断配准后的所述患者面部三维点云信息与术前所述患者面部的CT数据的重合比例是否最优，若所述重合比例为最优，则更新最优的坐标变换矩阵T；若所述重合比例不为最优，则重新从第二凸包结构选择位于所述第一三角形配对的三角形。判断随机抽样一致(RANdom SAmple Consensus，RANSAC)迭代是否终止，若RANSAC迭代终止，则将基于最优的坐标变换矩阵T对所述患者面部三维点云信息进行初步坐标变换后得到的三维点云信息，作为所述目标三维点云信息；若RANSAC迭代未终止，则从所述第一凸包结构随机选取三角形。在本发明实施例中，将点云的凸包结构信息引入点云配准过程中，利用点云凸包表面的三角形连接关系，作为随机采样的约束，经过多次的随机迭代并以最多匹配点(Largestcommon point，LCP)测度对变换进行评价，获得最优的坐标变换结果，可以提高初始配准的准度。
在本发明实施例中，从所述目标三维点云信息中搜索与所述CT数据的每一个点最近的点是指：对于述目标三维点云信息中的每一个点，用kd-tree算法在所述CT数据里搜索与之最近的点。当所述目标三维点云信息中的某一点与所述CT数据中的最近的点之间的距离小于一预设阈值时认为这两个点为对应点，所述杂点为没有对应点的点。
在本发明实施例中，基于凸包结构算法进行初始配准，不受角度限制，且速度快、效果好，基于kd-tree移除杂点，可以提高搜索杂点的速度，提高移除杂点的速度。基于迭代最近点ICP算法得到CT数据到所述患者所在真实空间坐标系的初始转换矩阵CTTScanner，可以提高CT数据到所述患者所在真实空间坐标系的初始转换矩阵CTTScanner的精确度，提高配准的准确度。
步骤S504、确定所述三维扫描仪到光学追踪设备坐标系的转换矩阵ScannerTMarker。
该步骤S504与图2所示实施例中的步骤S204具有相同的实现方式及有益效果，为避免重复，在此不再赘述。
步骤S505、根据所述位姿矩阵MarkerTNDI、初始转换矩阵CTTScanner及转换矩阵ScannerTMarker确定目标转换矩阵CTTNDI。
该步骤S505与图2所示实施例中的步骤S205具有相同的实现方式及有益效果，为避免重复，在此不再赘述。
步骤S506、基于所述目标转换矩阵CTTNDI将CT数据转换到所述患者所在的真实空间坐标系。
该步骤S506与图2所示实施例中的步骤S206具有相同的实现方式及有益效果，为避免重复，在此不再赘述。
本发明实施例中提供的基于面的术中配准方法，在术中配准过程中，无需在患者皮肤上设置人工标记物，无潜在危险，操作便捷，配准精度高，时间花费少，效率高。
本发明进一步提供一种神经导航设备。参见图6，图6为本发明提供的神经导航设备一实施例的结构图，如图6所示，神经导航设备600包括获取模块601、第一确定模块602、初始配准模块603、第二确定模块604、第三确定模块605及转换模块606，获取模块601、第一确定模块602与初始配准模块603连接、初始配准模块603与第二确定模块604连接、第二确定模块604与第三确定模块605连接、第三确定模块605与转换模块606连接，其中：
获取模块601，用于通过三维扫描仪扫描患者的面部，得到患者面部三维点云信息；第一确定模块602，用于在所述三维扫描仪扫描患者的面部时，通过光学追踪设备确定所述三维扫描仪在光学追踪设备空间坐标系中的位姿矩阵MarkerTNDI；初始配准模块603，用于对所述患者面部三维点云信息与术前所述患者面部的计算机断层扫描CT数据进行初始配准，得到CT数据到所述患者所在真实空间坐标系的初始转换矩阵CTTScanner；第二确定模块604，用于确定所述三维扫描仪到光学追踪设备坐标系的转换矩阵ScannerTMarker；第三确定模块605，用于根据所述位姿矩阵MarkerTNDI、初始转换矩阵CTTScanner及转换矩阵ScannerTMarker确定目标转换矩阵CTTNDI；转换模块606，基于所述目标转换矩阵CTTNDI将CT数据转换到所述患者所在的真实空间坐标系。
在本发明实施例中，可以将三维扫描仪对准病人面部进行扫描，获取病人面部三维数据。具体的，神经导航设备600的获取模块601通过三维扫描仪对准患者面部进行扫描，得到患者的面部点云信息。
请再次参见图3，图3为本发明提供的患者的术中面部点云信息的示意图。如图3所示的患者的面部点云信息可以清楚的显示面部轮廓。可以理解的是，点云信息除了具有几何位置以外，还可以有颜色信息。颜色信息通常是通过相机获取彩色影像，然后将对应位置的像素的颜色信息(RGB)赋予点云中对应的点。
在三维扫描仪300扫描患者的面部时，神经导航设备600的第一确定模块602通过光学追踪设备确定三维扫描仪在光学追踪设备空间坐标系中的位姿矩阵MarkerTNDI，光学追踪设备可以为NDI Polaris Vicra光学追踪定位系统。
请再次参阅图4，图4为本发明提供的患者的术前CT数据的示意图。如图4所示，所示患者的术前CT数据为对患者的面部的扫描数据进行三维建模后的面部模型。
具体来说，神经导航设备600对所述患者面部三维点云信息与术前所述患者面部的CT数据进行初始配准，得到CT数据到所述患者所在真实空间坐标系的初始转换矩阵CTTScanner。
具体来说，神经导航设备600确定所述三维扫描仪到光学追踪设备坐标系的转换矩阵ScannerTMarker。在本发明实施例中，可以在三维扫描仪上附着光学跟踪标识点，在所述三维扫描仪上附着光学跟踪标识点后，所述三维扫描仪到光学追踪设备坐标系的转换矩阵ScannerTMarker是固定不变的。
可选的，第二确定模块604，还用于根据附着在所述三维扫描仪上的光学跟踪标识点，确定所述三维扫描仪到光学追踪设备坐标系的转换矩阵ScannerTMarker。
在本发明实施例中，第三确定模块605还用于将所述位姿矩阵MarkerTNDI、初始转换矩阵CTTScanner及坐标系转换矩阵ScannerTMarker之间的乘积作为所述目标转换矩阵CTTNDI。
可选的，第三确定模块605还用于根据以下公式：CTTNDI＝MarkerTNDI*ScannerTMarker*CTTScanner计算目标转换矩阵CTTNDI，其中，MarkerTNDI为所述三维扫描仪在光学追踪设备空间坐标系中的位姿矩阵、CTTScanner为CT数据到所述患者所在真实空间坐标系的初始转换矩阵，ScannerTMarker为所述三维扫描仪到光学追踪设备坐标系的转换矩阵。
在转换模块606基于所述目标转换矩阵CTTNDI将CT数据转换到所述患者所在的真实空间坐标系之后，神经导航设备600进入追踪导航过程，在患者的患部的图像模型中进行相应的手术器械位置标识，完成手术导航的跟踪过程，保证手术医生能将医疗器械精确送达目标。
本发明实施例中提供的神经导航设备600，在术中配准过程中，无需在患者皮肤上设置人工标记物，无潜在危险，操作便捷，配准精度高，时间花费少，效率高。
请参阅图7，图7为本发明提供的神经导航设备600另一实施例的结构图。图7为在图6基础上的改进结构图，图7与图6的区别之处在于初始配准模块603中增加了第一配准子模块6031、移除子模块6032及第二配准子模块6033，图7所示的获取模块601、第一确定模块602、第二确定模块604、第三确定模块605及转换模块606具有与图6中所示的获取模块601、第一确定模块602、第二确定模块604、第三确定模块605及转换模块606相同的功能，在此不再赘述，第一配准子模块6031与移除子模块6032连接、移除子模块6032与第二配准子模块6033连接，下面对初始配准模块603、第一配准子模块6031、移除子模块6032及第二配准子模块6033进行详细说明。
初始配准模块603，还用于基于凸包结构算法及迭代最近点ICP算法将所述患者面部三维点云信息与术前所述患者面部的计算机断层扫描CT数据进行配准，得到CT数据到所述患者所在真实空间坐标系的初始转换矩阵CTTScanner。
在本实施例中，凸包算法可以是葛立恒Graham扫描法和Jarvis步进法，ICP算法一种迭代计算方法，通过不断迭代最小化源数据与目标数据对应点来实现精确地拼合。这样，可以提高CT数据到所述患者所在真实空间坐标系的初始转换矩阵CTTScanner的精确度，提高配准的准确度。
第一配准子模块6031，用于基于凸包结构算法对所述患者面部三维点云信息与术前所述患者面部的CT数据进行初始配准，得到所述患者面部三维点云信息与术前所述患者面部的CT数据之间的坐标转换矩阵T，基于所述坐标转换矩阵T对所述患者面部三维点云信息进行初步坐标变换，得到目标三维点云信息；；移除子模块6032，用于基于分割k维数据空间的数据结构kd-tree从所述目标三维点云信息中搜索与所述CT数据的每一个点最近的点，移除所述目标三维点云信息中的杂点，得到处理后的三维点云信息分割k维数据空间的数据结构kd-tree从搜索；第二配准子模块6033，用于基于迭代最近点ICP算法将所述处理后的三维点云信息与术前所述患者面部的计算机断层扫描CT数据进行精准配准，得到CT数据到所述患者所在真实空间坐标系的初始转换矩阵CTTScanner。
在本发明实施例中，所述基于凸包结构算法对所述患者面部三维点云信息与术前所述患者面部的CT数据进行初始配准，得到所述患者面部三维点云信息与术前所述患者面部的CT数据之间的坐标转换矩阵T，基于所述坐标转换矩阵T对所述患者面部三维点云信息进行初步坐标变换，得到目标三维点云信息的步骤可以包括以下步骤：
对所述患者面部三维点云信息提取第一凸包结构，对术前所述患者面部的CT数据提取第二凸包结构，从所述第一凸包结构随机选取第一三角形，从第二凸包结构选择位于所述第一三角形配对的第二三角形；判断所述第一三角形与所述第二三角形的相似度是否超过第一预设阈值；若所述第一三角形与所述第二三角形的相似度超过第一预设阈值，则通过所述第一三角形与所述第二三角形之间的坐标转换矩阵T，基于所述坐标转换矩阵T对所述患者面部三维点云信息进行配准；若所述第一三角形与所述第二三角形的相似度超过第一预设阈值低于第一预设阈值，则重新从第二凸包结构选择位于所述第一三角形配对的三角形。判断配准后的所述患者面部三维点云信息与术前所述患者面部的CT数据的重合比例是否最优，若所述重合比例为最优，则更新最优的坐标变换矩阵T；若所述重合比例不为最优，则重新从第二凸包结构选择位于所述第一三角形配对的三角形。判断随机抽样一致(RANdom SAmple Consensus，RANSAC)迭代是否终止，若RANSAC迭代终止，则将基于最优的坐标变换矩阵T对所述患者面部三维点云信息进行初步坐标变换后得到的三维点云信息，作为所述目标三维点云信息；若RANSAC迭代未终止，则从所述第一凸包结构随机选取三角形。在本发明实施例中，将点云的凸包结构信息引入点云配准过程中，利用点云凸包表面的三角形连接关系，作为随机采样的约束，经过多次的随机迭代并以最多匹配点(Largestcommon point，LCP)测度对变换进行评价，获得最优的坐标变换结果，可以提高初始配准的准度。
在本发明实施例中，从所述目标三维点云信息中搜索与所述CT数据的每一个点最近的点是指：对于述目标三维点云信息中的每一个点，用kd-tree算法在所述CT数据里搜索与之最近的点。当所述目标三维点云信息中的某一点与所述CT数据中的最近的点之间的距离小于一预设阈值时认为这两个点为对应点，所述杂点为没有对应点的点。
在本发明实施例中，基于凸包结构算法进行初始配准，不受角度限制，且速度快、效果好，基于kd-tree移除杂点，可以提高搜索杂点的速度，提高移除杂点的速度。基于迭代最近点ICP算法得到CT数据到所述患者所在真实空间坐标系的初始转换矩阵CTTScanner，可以提高CT数据到所述患者所在真实空间坐标系的初始转换矩阵CTTScanner的精确度，提高配准的准确度。
本发明实施例中提供的神经导航设备600，在术中配准过程中，无需在患者皮肤上设置人工标记物，无潜在危险，操作便捷，配准精度高，时间花费少，效率高。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种基于面的术中配准方法，其特征在于，包括：
通过三维扫描仪扫描患者的面部，得到患者面部三维点云信息；
在所述三维扫描仪扫描患者的面部时，通过光学追踪设备确定所述三维扫描仪在光学追踪设备空间坐标系中的位姿矩阵MarkerTNDI；
对所述患者面部三维点云信息与术前所述患者面部的计算机断层扫描CT数据进行初始配准，得到CT数据到所述患者所在真实空间坐标系的初始转换矩阵CTTScanner；
确定所述三维扫描仪到光学追踪设备坐标系的转换矩阵ScannerTMarker；
根据所述位姿矩阵MarkerTNDI、初始转换矩阵CTTScanner及转换矩阵ScannerTMarker确定目标转换矩阵CTTNDI；
基于所述目标转换矩阵CTTNDI将CT数据转换到所述患者所在的真实空间坐标系。
2.如权利要求1所述的基于面的术中配准方法，其特征在于，所述对所述患者面部三维点云信息与术前所述患者面部的计算机断层扫描CT数据进行配准，得到CT数据到所述患者所在真实空间坐标系的初始转换矩阵CTTScanner的步骤包括：
基于凸包结构算法及迭代最近点ICP算法将所述患者面部三维点云信息与术前所述患者面部的计算机断层扫描CT数据进行配准，得到CT数据到所述患者所在真实空间坐标系的初始转换矩阵CTTScanner。
3.如权利要求2所述的基于面的术中配准方法，其特征在于，所述基于凸包结构算法及迭代最近点ICP算法将所述患者面部三维点云信息与术前所述患者面部的计算机断层扫描CT数据进行配准，得到CT数据到所述患者所在真实空间坐标系的初始转换矩阵CTTScanner步骤包括：
基于凸包结构算法对所述患者面部三维点云信息与术前所述患者面部的CT数据进行初始配准，得到所述患者面部三维点云信息与术前所述患者面部的CT数据之间的坐标转换矩阵T，基于所述坐标转换矩阵T对所述患者面部三维点云信息进行初步坐标变换，得到目标三维点云信息；
基于分割k维数据空间的数据结构kd-tree从所述目标三维点云信息中搜索与所述CT数据的每一个点最近的点，移除所述目标三维点云信息中的杂点，得到处理后的三维点云信息；
基于迭代最近点ICP算法将所述处理后的三维点云信息与术前所述患者面部的计算机断层扫描CT数据进行精准配准，得到CT数据到所述患者所在真实空间坐标系的初始转换矩阵CTTScanner。
4.如权利要求1至3任一项所述的基于面的术中配准方法，其特征在于，所述根据所述位姿矩阵MarkerTNDI、初始转换矩阵CTTScanner及坐标系转换矩阵ScannerTMarker确定目标转换矩阵CTTNDI的步骤包括：
将所述位姿矩阵MarkerTNDI、初始转换矩阵CTTScanner及坐标系转换矩阵ScannerTMarker之间的乘积作为所述目标转换矩阵CTTNDI。
5.如权利要求1至3任一项所述的基于面的术中配准方法，其特征在于，所述确定所述三维扫描仪到光学追踪设备坐标系的转换矩阵ScannerTMarker的步骤包括：
根据附着在所述三维扫描仪上的光学跟踪标识点，确定所述三维扫描仪到光学追踪设备坐标系的转换矩阵ScannerTMarker；
在所述三维扫描仪上附着光学跟踪标识点后，所述三维扫描仪到光学追踪设备坐标系的转换矩阵ScannerTMarker固定不变。
6.一种神经导航设备，其特征在于，包括：
获取模块，用于通过三维扫描仪扫描患者的面部，得到患者面部三维点云信息；
第一确定模块，用于在所述三维扫描仪扫描患者的面部时，通过光学追踪设备确定所述三维扫描仪在光学追踪设备空间坐标系中的位姿矩阵MarkerTNDI；
初始配准模块，用于对所述患者面部三维点云信息与术前所述患者面部的计算机断层扫描CT数据进行初始配准，得到CT数据到所述患者所在真实空间坐标系的初始转换矩阵CTTScanner；
第二确定模块，用于确定所述三维扫描仪到光学追踪设备坐标系的转换矩阵ScannerTMarker；
第三确定模块，用于根据所述位姿矩阵MarkerTNDI、初始转换矩阵CTTScanner及转换矩阵ScannerTMarker确定目标转换矩阵CTTNDI；
转换模块，基于所述目标转换矩阵CTTNDI将CT数据转换到所述患者所在的真实空间坐标系。
7.如权利要求6所述的神经导航设备，其特征在于，所述初始配准模块，还用于基于凸包结构算法及迭代最近点ICP算法将所述患者面部三维点云信息与术前所述患者面部的计算机断层扫描CT数据进行配准，得到CT数据到所述患者所在真实空间坐标系的初始转换矩阵CTTScanner。
8.如权利要求7所述的神经导航设备，其特征在于，所述初始配准模块包括：
第一配准子模块，用于基于凸包结构算法对所述患者面部三维点云信息与术前所述患者面部的CT数据进行初始配准，得到所述患者面部三维点云信息与术前所述患者面部的CT数据之间的坐标转换矩阵T，基于所述坐标转换矩阵T对所述患者面部三维点云信息进行初步坐标变换，得到目标三维点云信息；
移除子模块，用于基于分割k维数据空间的数据结构kd-tree从所述目标三维点云信息中搜索与所述CT数据的每一个点最近的点，移除所述目标三维点云信息中的杂点，得到处理后的三维点云信息；
第二配准子模块，用于基于迭代最近点ICP算法将所述处理后的三维点云信息与术前所述患者面部的计算机断层扫描CT数据进行精准配准，得到CT数据到所述患者所在真实空间坐标系的初始转换矩阵CTTScanner。
9.如权利要求6至8任一项所述的神经导航设备，其特征在于，所述第三确定模块，用于将所述位姿矩阵MarkerTNDI、初始转换矩阵CTTScanner及坐标系转换矩阵ScannerTMarker之间的乘积作为所述目标转换矩阵CTTNDI。
10.如权利要求6至8任一项所述的神经导航设备，其特征在于，所述第二确定模块，用于根据附着在所述三维扫描仪上的光学跟踪标识点，确定所述三维扫描仪到光学追踪设备坐标系的转换矩阵ScannerTMarker。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810101097.3A CN108324369B (zh) | 2018-02-01 | 2018-02-01 | 基于面的术中配准方法及神经导航设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810101097.3A CN108324369B (zh) | 2018-02-01 | 2018-02-01 | 基于面的术中配准方法及神经导航设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108324369A CN108324369A (zh) | 2018-07-27 |
| CN108324369B true CN108324369B (zh) | 2019-11-22 |
Family
ID=62927928
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810101097.3A Active CN108324369B (zh) | 2018-02-01 | 2018-02-01 | 基于面的术中配准方法及神经导航设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108324369B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109009435A (zh) * | 2018-08-20 | 2018-12-18 | 真健康（北京）医疗科技有限公司 | 一种肺结节穿刺导航系统 |
| CN109146931B (zh) * | 2018-11-12 | 2021-11-02 | 深圳安科高技术股份有限公司 | 一种三维图像处理方法、系统、装置及存储介质 |
| CN109512512A (zh) * | 2019-01-14 | 2019-03-26 | 常州锦瑟医疗信息科技有限公司 | 基于点云匹配的神经外科术中增强现实定位的方法和装置 |
| CN110169820A (zh) * | 2019-04-24 | 2019-08-27 | 艾瑞迈迪科技石家庄有限公司 | 一种关节置换手术位姿标定方法及装置 |
| CN110680470B (zh) * | 2019-10-08 | 2021-04-23 | 山东大学 | 一种肿瘤自动穿刺机的激光引导定位装置 |
| CN110946659A (zh) * | 2019-12-25 | 2020-04-03 | 武汉中科医疗科技工业技术研究院有限公司 | 影像空间与实际空间的注册方法及系统 |
| CN111583314A (zh) * | 2020-04-13 | 2020-08-25 | 艾瑞迈迪医疗科技（北京）有限公司 | 应用于手术导航系统中的同步配准框架获取方法及装置 |
| CN114897972A (zh) * | 2021-12-27 | 2022-08-12 | 机科发展科技股份有限公司 | 一种托盘定位方法及装置 |
| CN114343844A (zh) * | 2021-12-28 | 2022-04-15 | 杭州键嘉机器人有限公司 | 一种关节手术导航系统中恢复注册数据的方法和装置 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102429726A (zh) * | 2011-08-03 | 2012-05-02 | 哈尔滨工业大学 | 基于图像导航的并联机器人辅助人工颈椎间盘置换手术定位方法 |
| CN102999902B (zh) * | 2012-11-13 | 2016-12-21 | 上海交通大学医学院附属瑞金医院 | 基于ct配准结果的光学导航定位导航方法 |
| CN103020960B (zh) * | 2012-11-26 | 2015-08-19 | 北京理工大学 | 基于凸包不变性的点云配准方法 |
| CN103040525B (zh) * | 2012-12-27 | 2016-08-03 | 深圳先进技术研究院 | 一种多模医学影像手术导航方法及系统 |
| CN103908346B (zh) * | 2012-12-31 | 2016-04-20 | 复旦大学 | 一种高精度自动神经导航空间配准方法 |
| CN103251457A (zh) * | 2013-03-20 | 2013-08-21 | 东南大学 | 一种用于神经外科立体定向手术的头面部标记点半自动标定方法 |
| CN103325143B (zh) * | 2013-06-13 | 2016-10-05 | 华南理工大学 | 基于模型匹配的标记点自动注册方法 |
| CN103310458B (zh) * | 2013-06-19 | 2016-05-11 | 北京理工大学 | 结合凸包匹配和多尺度分级策略的医学图像弹性配准方法 |
| CN105701788A (zh) * | 2014-11-24 | 2016-06-22 | 复旦大学 | 一种基于全局优化的神经导航自动空间配准方法 |
| CN107456278B (zh) * | 2016-06-06 | 2021-03-05 | 北京理工大学 | 一种内窥镜手术导航方法和系统 |
| CN106214256A (zh) * | 2016-09-21 | 2016-12-14 | 华南理工大学 | 一种无标记点光学手术导航系统及其导航方法 |
| CN107330926A (zh) * | 2017-08-25 | 2017-11-07 | 上海嘉奥信息科技发展有限公司 | 一种术中导航系统中的非标记医学图像配准系统及方法 |
-
2018
- 2018-02-01 CN CN201810101097.3A patent/CN108324369B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN108324369A (zh) | 2018-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108324369B (zh) | 基于面的术中配准方法及神经导航设备 | |
| US11751951B2 (en) | Surface tracking-based surgical robot system for drilling operation and control method | |
| Colchester et al. | Development and preliminary evaluation of VISLAN, a surgical planning and guidance system using intra-operative video imaging | |
| US20190298277A1 (en) | Surgical positioning apparatus, positioning system and positioning method | |
| CN105078573B (zh) | 基于手持式扫描仪的神经导航空间配准方法 | |
| CN106999256A (zh) | 基于无源标记的光学跟踪方法和系统 | |
| CN107714082A (zh) | 一种基于光学定位的超声探头标定装置及方法 | |
| CN107592802A (zh) | 通过解剖模型增强引导腹腔镜手术过程的系统和方法 | |
| EP3543955B1 (en) | Image processing device and projection system | |
| US9830737B2 (en) | Virtual endoscopic image generation device, method, and medium containing program | |
| CN107481276A (zh) | 一种三维医学图像中标记点序列的自动识别方法 | |
| CN109994188A (zh) | 基于ndi的神经外科导航配准测试方法和系统 | |
| CN109461183A (zh) | 一种空间坐标点与点云位置点三维对比的方法 | |
| CN110037808A (zh) | 基于结构光扫描的术中肝脏表面信息实时采集方法及系统 | |
| JP6605240B2 (ja) | 画像処理方法および装置並びにプログラム | |
| CN111493878A (zh) | 用于骨科手术的光学三维扫描设备及测量骨骼表面的方法 | |
| CN114463557B (zh) | 轮廓标记方法、装置、设备、存储介质及系统 | |
| Bano et al. | Image mosaicking | |
| Plishker et al. | Hybrid tracking for improved registration of laparoscopic ultrasound and laparoscopic video for augmented reality | |
| CN115245302A (zh) | 一种基于内窥镜图像重建三维场景的系统和方法 | |
| CN113450395B (zh) | 基于光学跟踪探针划取点的手术导航空间配准方法及装置 | |
| CN110458963A (zh) | 一种三维导航系统中目标物的精确定位方法及装置 | |
| CN115990032B (zh) | 基于先验知识的超声扫描视觉导航方法、装置及设备 | |
| TWI817847B (zh) | 擴增實境與混合實境下物件快速追蹤定位之方法、電腦程式及電腦可讀取媒體 | |
| Billings et al. | A hybrid surface/image-based approach to facilitate ultrasound/CT registration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20180727 Assignee: Ari Mai Di technology Shijiazhuang Co., Ltd. Assignor: Ari Mai Di medical technology (Beijing) Co., Ltd. Contract record no.: 2018440020075 Denomination of invention: Method for registering and Use of Neuronavigation equipment in art based on face License type: Common License Record date: 20180911 |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |