CN114463482A - 光学跟踪三维扫描仪的标定模型、方法及其手术导航系统 - Google Patents

光学跟踪三维扫描仪的标定模型、方法及其手术导航系统 Download PDF

Info

Publication number
CN114463482A
CN114463482A CN202011242387.3A CN202011242387A CN114463482A CN 114463482 A CN114463482 A CN 114463482A CN 202011242387 A CN202011242387 A CN 202011242387A CN 114463482 A CN114463482 A CN 114463482A
Authority
CN
China
Prior art keywords
scanner
calibration
matrix
registration
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011242387.3A
Other languages
English (en)
Inventor
武潺
范敬凡
李文杰
杨健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202011242387.3A priority Critical patent/CN114463482A/zh
Publication of CN114463482A publication Critical patent/CN114463482A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

光学跟踪三维扫描仪的标定模型、方法及其手术导航系统,保证在不同方位下扫描到的数据能正确对齐,保证点云配准的准确性,使扫描仪能够在不同方位扫描到尽量多的三维模型数据,可应用于多种不同类型和参数扫描仪的外参标定场景。标定模型由4×4个立体子模型组成,在一个角处的子模型是一个用于定位方向的半球,半球的半径为20mm,其余位置都由边长为40mm且高为15mm的5面锥体填充;通过3D打印机将该标定模型精确打印出来。

Description

光学跟踪三维扫描仪的标定模型、方法及其手术导航系统
技术领域
本发明涉及医学图像处理的技术领域,尤其涉及一种光学跟踪三维扫描仪的标定模型,利用该模型的光学跟踪三维扫描仪的标定方法,以及采用该标定方法的手术导航系统。
背景技术
随着三维重建技术的进步和日趋成熟,三维扫描仪设备能够重建更加精确和稠密的物体面型轮廓数据。因此,三维扫描技术也被越来越多地应用于对精度有极高要求的计算机辅助手术导航领域中,用来解决一些传统技术无法解决的问题,如手术导航的空间配准(Image to patient registration)、术中脑皮质的形变估计(brain shiftestimation)以及术中肝脏组织的形变补偿等。其中手术导航的空间配准作为导航定位的核心步骤,配准的精确度直接影响了手术导航的定位精确度。
手术导航中的空间配准技术经历了从基于标志点的配准到基于患者表面轮廓的配准方法,1986年,Roberts和Strohbehn提出了基于皮肤标记点的空间配准方法。1997年Maurer和Fitzpatrick将植入性标志点用于手术导航系统中,临床结果显示最终的导航误差为0.5~0.6mm,达到了亚毫米级别的精度。2001年,West和Fitzpatrick研究了基准点位置分布、形状等对最终导航误差的影响。2017年,Kim等人提出一种基于标志点的配准框架,用一种特定形状的标志点用于在CT图像中定位,从而减少因操作者操作引入的定位误差。然而,由于基于基准点的配准方法存在操作过程复杂、成本高、花费时间长、有创伤、接触式存在潜在危险等问题,已经不再是这个领域的研究热点,研究者们致力于寻找一种快速、无标、无创的手术导航空间配准方法。
近年来,随着三维扫描技术的进步,陆续出现了一系列基于患者面部轮廓的空间配准方法,这种方法因其快速、无标和无创等优点迅速成为该领域的研究热点。Simpson等人在2013年对比了几种获取患者面部轮廓的方法,这包括利用光学跟踪探针、被跟踪的激光测距仪以及三维扫描仪,结果表明,基于三维扫描仪的患者面部轮廓重建方法具有更高的精准度,且其快速和非接触式等特点也成为巨大的优势。
然而,当前基于三维扫描仪的空间配准方法依然存在一些问题。国内外很多研究者对比分析了手术导航系统中不同的空间配准方式,他们得出的结论也大致相同,即基于标识点的配准方式要比基于表面的配准方式精度高,可以达到亚毫米级。Eggers等人在他们的文章中指出,影响基于表面配准方法精度的因素在于,残余的角度误差会影响最终的配准结果。在基于三维扫描仪的空间配准方法中,常利用一个跟踪标识物将扫描仪坐标空间与跟踪仪的坐标空间进行精确的关联,因此,如何实现这两个坐标空间之间的精确标定成为关键问题。
发明内容
为克服现有技术的缺陷,本发明要解决的技术问题是提供了一种光学跟踪三维扫描仪的标定模型,其保证在不同方位下扫描到的数据能正确对齐,保证点云配准的准确性,使扫描仪能够在不同方位扫描到尽量多的三维模型数据,可应用于多种不同类型和参数扫描仪的外参标定场景。
本发明的技术方案是:这种光学跟踪三维扫描仪的标定模型,其特征在于:其由4×4个立体子模型组成,在一个角处的子模型是一个用于定位方向的半球,半球的半径为20mm,其余位置都由边长为40mm且高为15mm的5面锥体填充;通过3D打印机将该标定模型精确打印出来。
还提供了利用该标定模型的光学跟踪三维扫描仪的标定方法,其包括以下步骤:
(1)利用点云配准技术来构建标定方程,实现扫描仪外参矩阵的初步标定;
(2)构造一个误差模型和全局优化策略,对步骤(1)得到的扫描仪外参矩阵进行优化,得到最佳的扫描仪外参矩阵。
还提供了采用光学跟踪三维扫描仪的标定方法的手术导航系统,该手术导航系统包括:
三维扫描仪标定模块,其利用所述标定方法对三维扫描仪进行精确标定,得到扫描仪到与其绑定的光学跟踪标志物之间的坐标转换关系
Figure BDA0002768851690000031
点云配准模块,其通过将扫描得到的点云与从患者CT数据中得到的面部轮廓数据进行匹配,将患者影像数据转换到三维扫描仪坐标空间下;
空间坐标系转换模块,其配置为光学跟踪器实时检测并确定三维扫描仪上附着的光学标志物的坐标空间位姿,结合三维扫描仪标定得到的矩阵
Figure BDA0002768851690000032
将患者影像数据转换到患者所在的真实世界坐标系下。
本发明首先设计了一个专用于三维扫描仪外参标定的三维模型,可应用于多种不同类型和参数扫描仪的外参标定场景;使用三维扫描仪在空间中不同方位下对标定模型数据进行采集,然后利用空间坐标关系以及点云配准技术,构建一系列方程并求解得到扫描仪外参矩阵的初始值,最后构建全局误差模型,并利用LM非线性优化算法对得到的初始变换矩阵进行全局优化,最终得到最优的扫描仪外参矩阵;通过手术导航系统的三维扫描仪标定模块、点云配准模块和空间坐标系转换模块来实现三维扫描仪在手术导航空间配准中的应用。
附图说明
图1示出了三维扫描仪外参标定方法原理图。
图2示出了根据本发明的三维标定模型的俯视图和主视图。
图3示出了所设计模型的理论可扫描范围示意图。
图4示出了根据本发明的光学跟踪三维扫描仪的标定方法的流程图。
具体实施方式
如图2所示,这种光学跟踪三维扫描仪的标定模型,其特征在于:其由4×4个立体子模型组成,在一个角处的子模型是一个用于定位方向的半球,半球的半径为20mm,其余位置都由边长为40mm且高为15mm的5面锥体填充;通过3D打印机将该标定模型精确打印出来。
如图4所示,还提供了利用该标定模型的光学跟踪三维扫描仪的标定方法,其包括以下步骤:
(1)利用点云配准技术来构建标定方程,实现扫描仪外参矩阵的初步标定;
(2)构造一个误差模型和全局优化策略,对步骤(1)得到的扫描仪外参矩阵进行优化,得到最佳的扫描仪外参矩阵。
优选地,所述步骤(1)中,
手眼标定方程为公式(2):
Figure BDA0002768851690000041
根据公式(3)矩阵A表示为光学跟踪仪NDI与光学标志物Marker的空间变换,矩阵B为三维扫描仪Scanner与三维标定模型Model的空间变换,矩阵X为三维扫描仪Scanner与光学标志物Marker的空间变换:
Figure BDA0002768851690000051
B、
Figure BDA0002768851690000052
三个变换关系所构成的闭环,在该坐标系下模型上的任意一点表示为pm,则该点在扫描仪在两个不同方位下扫描得到的点云中的对应点表示为公式(4):
Figure BDA0002768851690000053
消除掉公式(4)中共同的参量pm得:
Figure BDA0002768851690000054
由公式(5),矩阵B为扫描仪在不同方位下扫描到的点云之间进行刚性配准得到的空间变换矩阵;模型之间的匹配通过迭代地找到一个将两组点云最佳对齐的变换,通过最小化以下对准误差来实现:
Figure BDA0002768851690000055
其中,R和t分别表示可以最小化两组点云之间整体误差的旋转矩阵和平移向量,pi和qi分别表示两组点云中的第i个点,通过模型的点云匹配得到矩阵B。
优选地,所述步骤(1)中,通过在不同方位下捕获多组数据,构建出一系列AX=XB的方程,求解方程中的矩阵X。
优选地,所述步骤(2)中,给定一个距离度量δ,用两组配准后点云之间的平均距离来定义两组点云之间的匹配误差,表示为公式(7):
Figure BDA0002768851690000061
其中,Ttrans为两组点云之间的转换矩阵,pi和qi分别为P和Q中符合距离度量δ约束的第i个点,n为配准后符合距离度量δ约束的点对数量;
基于此,定义一组点云与多组点云之间的匹配误差为公式(8):
Figure BDA0002768851690000062
其中n为所采集的点云组数。
优选地,所述步骤(2)中,δ=5mm。
优选地,所述步骤(2)中,定义优化目标为最小化所有点云的平均配准误差,称之为重复扫描配准误差RSRE,
Figure BDA0002768851690000063
将RSRE作为LM非线性优化的代价函数对初步求取的变换矩阵X进行优化,最终得到全局优化后的变换矩阵作为最终结果。
还提供了采用光学跟踪三维扫描仪的标定方法的手术导航系统,该手术导航系统包括:
三维扫描仪标定模块,其利用所述标定方法对三维扫描仪进行精确标定,得到扫描仪到与其绑定的光学跟踪标志物之间的坐标转换关系
Figure BDA0002768851690000064
点云配准模块,其通过将扫描得到的点云与从患者CT数据中得到的面部轮廓数据进行匹配,将患者影像数据转换到三维扫描仪坐标空间下;
空间坐标系转换模块,其配置为光学跟踪器实时检测并确定三维扫描仪上附着的光学标志物的坐标空间位姿,结合三维扫描仪标定得到的矩阵
Figure BDA0002768851690000071
将患者影像数据转换到患者所在的真实世界坐标系下。
本发明首先设计了一个专用于三维扫描仪外参标定的三维模型,可应用于多种不同类型和参数扫描仪的外参标定场景;使用三维扫描仪在空间中不同方位下对标定模型数据进行采集,然后利用空间坐标关系以及点云配准技术,构建一系列方程并求解得到扫描仪外参矩阵的初始值,最后构建全局误差模型,并利用LM非线性优化算法对得到的初始变换矩阵进行全局优化,最终得到最优的扫描仪外参矩阵;通过手术导航系统的三维扫描仪标定模块、点云配准模块和空间坐标系转换模块来实现三维扫描仪在手术导航空间配准中的应用。
优选地,所述步骤点云配准模块中,通过粗配准和精配准两步实现两组点云的精确匹配;
其中粗配准采用Super4PCS算法完成,以得到两组点云之间良好的初始姿态;
精配准采用ICP算法,以找到使两组点云之间匹配度最高的变换R和t;令P={p1,p2,…,pm}和Q={q1,q2,…,qn}分别为扫描仪扫描得到的患者面部点云和对应的从患者医学影像中提取出来的皮肤点云,则这两组点云的配准问题为最小化以下匹配误差:
Figure BDA0002768851690000072
其中
Figure BDA0002768851690000073
为通过扫描仪标定得到的扫描仪变换矩阵,
Figure BDA0002768851690000074
为NDI实时跟踪的附着在三维扫描仪上的光学标志物;
Figure BDA0002768851690000075
则表示扫描仪扫描到的点云转换到NDI坐标系下之后的点集。
以下更详细地说明本发明的内容。
与利用2D相机的机器人手眼标定问题类似,三维扫描仪的外参标定也可以被看作一个Eye-in-hand手眼标定问题来求解,不同之处在于本发明将光学标志物绑定在扫描仪上对其进行跟踪,也就是用光学跟踪代替了机械臂结构。接下来的标定问题就可以被分解为两个子问题:(1)通过空间坐标关系构造AX=XB方程;(2)精确计算方程中的A和B矩阵,以保证所求矩阵X的精确性。
如图1所示为所提出的三维扫描仪外参标定方法原理图,这里涉及到4个坐标系之间的空间变换,包括光学跟踪仪{NDI}、光学标志物{Marker}、三维扫描仪{Scanner}以及三维标定模型{Model}。通过对图1中的空间变换关系进行关联,可以得到一个坐标转换等式:
Figure BDA0002768851690000081
将该等式进行整理可以得到一个形如AX=XB的方程,也就是手眼标定方程的一般形式:
Figure BDA0002768851690000082
则矩阵A、矩阵B矩阵X可以分别表示为上述转换之间的组合:
Figure BDA0002768851690000083
其中,矩阵X为待求解的未知矩阵。矩阵A和矩阵B可以分别通过外部跟踪和扫描仪所扫描到的标定模型数据计算得到。由于三维扫描仪外参标定的特殊性,本文将把研究重点集中在三个方面:(1)针对三维扫描仪外参标定的标定模型设计;(2)标定方程中的参量即矩阵A和矩阵B的精确计算及矩阵X的求解;(3)矩阵X的全局优化策略。
针对三维扫描仪外参标定的特殊性,需要一个专用的标定模型,具体需要满足几个设计原则:(1)模型应保证其方向的可辨别性,以保证在不同方位下扫描到的数据能正确对齐;(2)模型应具有足够多的三维特征,以保证点云配准的准确性;(3)在不同方位下应保证所扫描模型数据的可见性,以使扫描仪能够在不同方位扫描到尽量多的三维模型数据。
基于该设计原则,设计了一个专门用于三维扫描仪外参标定的三维模型,并利用3D打印技术将其打印出来,打印误差控制在0.2mm以内,如图2所示。
模型由4×4个立体子模型组成,除了位于角上的一个用于定位方向的半球(r=20mm)外,其余位置都由边长为40mm且高为15mm的5面锥体填充。这样的设计是为了保证三维扫描仪能够捕获到模型大部分表面的同时,能够保持尽量多的三维特征,如图3所示。此外,这种设计可以提高所捕获到的数据对于三维空间的描述能力,并在一定程度上提高三维扫描仪的标定精度。
所设计的三维标定模型可适用于多种场景下的扫描仪标定问题,但需要注意的是,模型尺寸要根据所标定扫描仪的视场和扫描距离范围等参数来调整,以保证模型能够在合适的扫描距离下尽量多的填充扫描仪的视场,提高标定精度。
利用标定模型,详细描述本文所提出的三维扫描仪外参标定模型中参数的计算方法。其中,矩阵A表示扫描仪在两个不同方位下扫描时与其绑定的光学标识物在空间中的相对位姿变换,因此矩阵A可以由光学跟踪仪捕获的两次扫描仪的空间位姿矩阵进行计算直接得到,其计算精度由跟踪器的定位误差来决定,本文中所使用的光学跟踪器(PolarisVEGA,Northern Digital Inc.,Canada)定位精度为0.12mm,因此在本部分中将暂时忽略该定位误差带来的影响。
矩阵B实际上是三维扫描仪中的双目重建相机在空间中的相对位姿变换,为了求解该矩阵,我们需要借助在世界坐标空间(光学跟踪仪坐标空间)中位姿固定的标定模型来实现,本文使用三维标定模型。具体来说,不同方位下真实模型与扫描仪之间的坐标转换关系构成一个闭环,即图1中B、
Figure BDA0002768851690000101
Figure BDA0002768851690000102
三个变换关系所构成的闭环,假设模型有自身固定的坐标系,在该坐标系下模型上的任意一点表示为pm,则该点在扫描仪在两个不同方位下扫描得到的点云中的对应点表示为:
Figure BDA0002768851690000103
消除掉公式(4)中共同的参量pm可得:
Figure BDA0002768851690000104
由公式(5)可以发现,图1中的矩阵B即为扫描仪在不同方位下扫描到的点云之间进行刚性配准得到的空间变换矩阵。模型之间的匹配通过ICP算法实现,ICP算法的基本原理是迭代地找到一个将两组点云最佳对齐的变换,通过最小化以下对准误差来实现:
Figure BDA0002768851690000105
其中,R和t分别表示可以最小化两组点云之间整体误差的旋转矩阵和平移向量,pi和qi分别表示两组点云中的第i个点。通过模型的点云匹配,可以得到一组扫描仪之间的位姿变换矩阵,即矩阵B。通过在不同方位下捕获多组数据,可以构建出一系列形如AX=XB的方程。本文使用Tsai等人提出的方法来求解方程中的未知矩阵X。
以上已经可以求解出想要的未知变换矩阵X,但由于光学跟踪仪的定位误差和点云配准误差的存在,这可能会使得标定结果在某部分特定空间范围内能够达到很低的误差,而在其余部分空间范围内误差很大。为了解决这一问题,本文提出一种针对变换矩阵X的全局优化策略。设计了一个误差模型,使用得到的变换矩阵X作为初始值,通过Levenberg-Marquard(LM)非线性优化算法对该矩阵进行微调优化。
假设有在多个方位下采集得到的点云数据PTSi(i=0,…,n),n表示所采集的点云次数,pij表示在第i组点云中的第j个点,以及在对应位置的光学标志物转换
Figure BDA0002768851690000111
Figure BDA0002768851690000112
表示第i组点云由扫描仪坐标系到NDI坐标系下的转换。将所有点云统一到世界坐标系(光学跟踪仪坐标系)下后,有
Figure BDA0002768851690000113
用p′ij表示坐标系统一后第i组点云中的第j个点。
给定一个距离度量δ(本文中取δ=5mm),用两组配准后点云之间的平均距离来定义两组点云之间的匹配误差,这可以表示为:
Figure BDA0002768851690000114
其中,Ttrans为两组点云之间的转换矩阵,pi和qi分别为P和Q中符合距离度量δ约束的第i个点,n为配准后符合距离度量δ约束的点对数量。基于此,定义一组点云与多组点云之间的匹配误差为:
Figure BDA0002768851690000115
其中n为所采集的点云组数。因此我们定义优化目标为最小化所有点云的平均配准误差,称之为重复扫描配准误差(Repeat Scan Registration Error,RSRE),由下式给出:
Figure BDA0002768851690000116
将RSRE作为LM非线性优化的代价函数对初步求取的变换矩阵X进行优化,最终得到全局优化后的变换矩阵作为最终结果。
被跟踪的三维扫描仪在计算机辅助手术领域有诸多应用,本发明将描述三维扫描仪在手术导航空间配准中的应用,并以此来设计实验进一步验证所提出标定方法的优越性。搭建了一个手术导航系统,利用被光学跟踪的三维扫描仪实现手术导航中的空间配准过程。本文所提出的配准方法主要分为三维扫描仪标定、点云配准和空间坐标系转换三个部分。
首先,利用提出的标定方法对三维扫描仪进行了精确标定,得到扫描仪到与其绑定的光学跟踪标志物之间的坐标转换关系
Figure BDA0002768851690000121
这一步骤通常在实验环境下进行。然后,通过将扫描得到的点云与从患者CT数据中得到的面部轮廓数据进行匹配,可以将患者影像数据转换到三维扫描仪坐标空间下。最后,光学跟踪器实时检测并确定三维扫描仪上附着的光学标志物的坐标空间位姿,结合三维扫描仪标定得到的矩阵
Figure BDA0002768851690000122
最终可以将患者影像数据转换到患者所在的真实世界坐标系下(NDI坐标空间)。这样就完成了手术导航中空间配准的完整过程。
其中,点云配准是几何数据处理中的基本任务。经典的ICP算法因其精度高、速度快等优势,在点云配准问题中被广泛使用,但它的缺陷也非常明显,即容易陷入局部极小值,只有在两组待配准点云大致对齐时才能保证收敛,而在针对点云覆盖率小、位姿差异大的两组点云配准问题时表现不佳。因此在进行点云配准任务时往往需要先对其进行初始位姿的变换,然后再利用ICP算法进行精细配准完成点云的匹配过程。
在基于三维扫描仪的手术导航空间配准问题中,存在两个关键问题:①患者在导航空间下位姿的不确定导致两组待配准点云之间的初始位姿可能差异很大;②由于手术环境限制,往往无法获得完整的患者面部点云数据,且扫描到的点云中可能会包含大量的无效点云。针对第一个问题,最简单的方式可以通过手动选点的方式将从医学影像中提取出来的点云与扫描的点云进行初始的粗配准,这种需要大量人工交互的方法能够保证初始变换的准确性,但同时也使得操作变得更加繁琐,因此需要找到一种忽略点云初始位姿的点云粗配准方法。第二个问题是一个典型的点云局部配准问题,针对临床这一使用场景,扫描到的患者面部点云与患者医学影像中提取的皮肤点云可能仅局部重叠,因此在点云的粗配准(Coarse Registration)过程中,选择最大公共点集(Largest Common Pointset,LCP)作为相似性测度显然最为合适。
综合以上问题,采用一种Coarse-to-Fine的点云配准方法,通过粗配准和精配准两步实现两组点云的精确匹配。其中粗配准采用Mellado等人提出的Super4PCS算法完成,以得到两组点云之间良好的初始姿态,精配准步骤则采用ICP算法,以找到使两组点云之间匹配度最高的变换R(旋转)和t(平移)。令P={p1,p2,…,pm}和Q={q1,q2,…,qn}分别为扫描仪扫描得到的患者面部点云和对应的从患者医学影像中提取出来的皮肤点云,则这两组点云的配准问题即为最小化以下匹配误差:
Figure BDA0002768851690000131
其中
Figure BDA0002768851690000132
为通过扫描仪标定得到的扫描仪变换矩阵,
Figure BDA0002768851690000133
为NDI实时跟踪的附着在三维扫描仪上的光学标志物。因此,
Figure BDA0002768851690000134
则表示扫描仪扫描到的点云转换到NDI坐标系下之后的点集。通过这个过程,就可以将CT所在虚拟世界坐标系与病人所在真实世界坐标系进行匹配,完成空间配准过程。
以上所述,仅是本发明的较佳实施例,并非对本发明作任何形式上的限制,凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属本发明技术方案的保护范围。

Claims (9)

1.光学跟踪三维扫描仪的标定模型,其特征在于:其由4×4个立体子模型组成,在一个角处的子模型是一个用于定位方向的半球,半球的半径为20mm,其余位置都由边长为40mm且高为15mm的5面锥体填充;通过3D打印机将该标定模型精确打印出来。
2.光学跟踪三维扫描仪的标定方法,其特征在于:其包括以下步骤:
(1)利用点云配准技术来构建标定方程,实现扫描仪外参矩阵的初步标定;
(2)构造一个误差模型和全局优化策略,对步骤(1)得到的扫描仪外参矩阵进行优化,得到最佳的扫描仪外参矩阵。
3.根据权利要求2所述的光学跟踪三维扫描仪的标定方法,其特征在于:所述步骤(1)中,
手眼标定方程为公式(2):
Figure FDA0002768851680000011
根据公式(3)矩阵A表示为光学跟踪仪NDI与光学标志物Marker的空间变换,矩阵B为三维扫描仪Scanner与三维标定模型Model的空间变换,矩阵X为三维扫描仪Scanner与光学标志物Marker的空间变换:
Figure FDA0002768851680000012
B、
Figure FDA0002768851680000013
三个变换关系所构成的闭环,在该坐标系下模型上的任意一点表示为pm,则该点在扫描仪在两个不同方位下扫描得到的点云中的对应点表示为公式(4):
Figure FDA0002768851680000021
消除掉公式(4)中共同的参量pm得:
Figure FDA0002768851680000022
由公式(5),矩阵B为扫描仪在不同方位下扫描到的点云之间进行刚性配准得到的空间变换矩阵;模型之间的匹配通过迭代地找到一个将两组点云最佳对齐的变换,通过最小化以下对准误差来实现:
Figure FDA0002768851680000023
其中,R和t分别表示可以最小化两组点云之间整体误差的旋转矩阵和平移向量,pi和qi分别表示两组点云中的第i个点,通过模型的点云匹配得到矩阵B。
4.根据权利要求3所述的光学跟踪三维扫描仪的标定方法,其特征在于:所述步骤(1)中,通过在不同方位下捕获多组数据,构建出一系列AX=XB的方程,求解方程中的矩阵X。
5.根据权利要求4所述的光学跟踪三维扫描仪的标定方法,其特征在于:所述步骤(2)中,给定一个距离度量δ,用两组配准后点云之间的平均距离来定义两组点云之间的匹配误差,表示为公式(7):
Figure FDA0002768851680000024
其中,Ttrans为两组点云之间的转换矩阵,pi和qi分别为P和Q中符合距离度量δ约束的第i个点,n为配准后符合距离度量δ约束的点对数量;
基于此,定义一组点云与多组点云之间的匹配误差为公式(8):
Figure FDA0002768851680000031
其中n为所采集的点云组数。
6.根据权利要求5所述的光学跟踪三维扫描仪的标定方法,其特征在于:所述步骤(2)中,δ=5mm。
7.根据权利要求6所述的光学跟踪三维扫描仪的标定方法,其特征在于:所述步骤(2)中,定义优化目标为最小化所有点云的平均配准误差,称之为重复扫描配准误差RSRE,
Figure FDA0002768851680000032
将RSRE作为LM非线性优化的代价函数对初步求取的变换矩阵X进行优化,最终得到全局优化后的变换矩阵作为最终结果。
8.采用根据权利要求7所述的光学跟踪三维扫描仪的标定方法的手术导航系统,其特征在于:该手术导航系统包括:
三维扫描仪标定模块,其利用所述标定方法对三维扫描仪进行精确标定,得到扫描仪到与其绑定的光学跟踪标志物之间的坐标转换关系
Figure FDA0002768851680000033
点云配准模块,其通过将扫描得到的点云与从患者CT数据中得到的面部轮廓数据进行匹配,将患者影像数据转换到三维扫描仪坐标空间下;
空间坐标系转换模块,其配置为光学跟踪器实时检测并确定三维扫描仪上附着的光学标志物的坐标空间位姿,结合三维扫描仪标定得到的矩阵
Figure FDA0002768851680000034
将患者影像数据转换到患者所在的真实世界坐标系下。
9.根据权利要求8所述的手术导航系统,其特征在于:所述步骤点云配准模块中,通过粗配准和精配准两步实现两组点云的精确匹配;其中粗配准采用Super4PCS算法完成,以得到两组点云之间良好的初始姿态;
精配准采用ICP算法,以找到使两组点云之间匹配度最高的变换R和t;令P={p1,p2,…,pm}和Q={q1,q2,…,qn}分别为扫描仪扫描得到的患者面部点云和对应的从患者医学影像中提取出来的皮肤点云,则这两组点云的配准问题为最小化以下匹配误差:
Figure FDA0002768851680000041
其中
Figure FDA0002768851680000042
为通过扫描仪标定得到的扫描仪变换矩阵,
Figure FDA0002768851680000043
为NDI实时跟踪的附着在三维扫描仪上的光学标志物,
Figure FDA0002768851680000044
则表示扫描仪扫描到的点云转换到NDI坐标系下之后的点集。
CN202011242387.3A 2020-11-09 2020-11-09 光学跟踪三维扫描仪的标定模型、方法及其手术导航系统 Pending CN114463482A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011242387.3A CN114463482A (zh) 2020-11-09 2020-11-09 光学跟踪三维扫描仪的标定模型、方法及其手术导航系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011242387.3A CN114463482A (zh) 2020-11-09 2020-11-09 光学跟踪三维扫描仪的标定模型、方法及其手术导航系统

Publications (1)

Publication Number Publication Date
CN114463482A true CN114463482A (zh) 2022-05-10

Family

ID=81404922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011242387.3A Pending CN114463482A (zh) 2020-11-09 2020-11-09 光学跟踪三维扫描仪的标定模型、方法及其手术导航系统

Country Status (1)

Country Link
CN (1) CN114463482A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116628786A (zh) * 2023-07-26 2023-08-22 中南大学 一种异形立体标志球制造方法
RU2811363C1 (ru) * 2023-10-03 2024-01-11 Общество С Ограниченной Ответственностью "Психо Технолоджи" Система калибровки набора камер для задач оптического трекинга объектов в пространстве
CN117557601A (zh) * 2023-09-26 2024-02-13 北京长木谷医疗科技股份有限公司 一种基于数字孪生的骨骼配准方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108175500A (zh) * 2016-12-08 2018-06-19 复旦大学 基于手持式三维扫描仪的手术导航空间配准方法
CN108324369A (zh) * 2018-02-01 2018-07-27 艾瑞迈迪医疗科技(北京)有限公司 基于面的术中配准方法及神经导航设备
CN109498156A (zh) * 2017-09-14 2019-03-22 北京大华旺达科技有限公司 一种基于三维扫描的头部手术导航方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108175500A (zh) * 2016-12-08 2018-06-19 复旦大学 基于手持式三维扫描仪的手术导航空间配准方法
CN109498156A (zh) * 2017-09-14 2019-03-22 北京大华旺达科技有限公司 一种基于三维扫描的头部手术导航方法
CN108324369A (zh) * 2018-02-01 2018-07-27 艾瑞迈迪医疗科技(北京)有限公司 基于面的术中配准方法及神经导航设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FANG WAN等: "Flange-Based Hand-Eye Calibration Using a 3D Camera With High Resolution, Accuracy, and Frame Rate", ORIGINAL RESEARCH, 31 May 2020 (2020-05-31) *
HAKJE YOO等: "Acquisition of point cloud in CT image space to improve accuracy of surface registration: Application to neurosurgical navigation system", JOURNAL OF MECHANICAL SCIENCE AND TECHNOLOGY, 31 May 2020 (2020-05-31) *
ZHENGYOU ZHANG: "A Flexible New Technique for Camera Calibration", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, 30 November 2000 (2000-11-30) *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116628786A (zh) * 2023-07-26 2023-08-22 中南大学 一种异形立体标志球制造方法
CN116628786B (zh) * 2023-07-26 2023-10-10 中南大学 一种异形立体标志球制造方法
CN117557601A (zh) * 2023-09-26 2024-02-13 北京长木谷医疗科技股份有限公司 一种基于数字孪生的骨骼配准方法及装置
RU2811363C1 (ru) * 2023-10-03 2024-01-11 Общество С Ограниченной Ответственностью "Психо Технолоджи" Система калибровки набора камер для задач оптического трекинга объектов в пространстве

Similar Documents

Publication Publication Date Title
CN101467887B (zh) 一种手术导航系统中x射线透视图像标定方法
CN110264504B (zh) 一种用于增强现实的三维配准方法和系统
CN110547872B (zh) 手术导航注册系统
CN103793915B (zh) 神经外科导航中低成本无标记配准系统及配准方法
KR20150024349A (ko) 데이터를 위치 맞춤하는 방법
CN114463482A (zh) 光学跟踪三维扫描仪的标定模型、方法及其手术导航系统
CN110946659A (zh) 影像空间与实际空间的注册方法及系统
CN115578320A (zh) 一种骨科手术机器人全自动空间注册方法及系统
Stückler et al. Robust real-time registration of RGB-D images using multi-resolution surfel representations
Li et al. Calibrating 3D scanner in the coordinate system of optical tracker for image-to-patient registration
CN116883471B (zh) 面向胸腹部经皮穿刺的线结构光无接触点云配准方法
CN108804861B (zh) 一种具有真实力反馈的脊柱微创手术培训系统及方法
CN112381952B (zh) 一种基于多相机的面部轮廓点云模型重构方法及装置
Piccinelli et al. Rigid 3D registration of pre-operative information for semi-autonomous surgery
CA3168969A1 (en) Methods and systems for using multi view pose estimation
JP4608152B2 (ja) 三次元データ処理装置および三次元データ処理方法、並びにプログラム提供媒体
CN111915494A (zh) 校准方法、装置及系统
CN115063457A (zh) 医学影像解剖特征点的自动识别方法、系统、设备及介质
CN113256693A (zh) 基于K-means与正态分布变换的多视角配准方法
CN113450395B (zh) 基于光学跟踪探针划取点的手术导航空间配准方法及装置
CN115880469B (zh) 一种表面点云数据与三维影像的配准方法
Yang et al. A novel neurosurgery registration pipeline based on heat maps and anatomic facial feature points
Lin et al. Optimization model for the distribution of fiducial markers in liver intervention
US20220028081A1 (en) Systems and methods for estimating the movement of a target using a universal deformation model for anatomic tissue
Kahmen et al. Orientation of point clouds for complex surfaces in medical surgery using trinocular visual odometry and stereo ORB-SLAM2

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Fan Jingfan

Inventor after: Li Wenjie

Inventor after: Yang Jian

Inventor after: Wang Yongtian

Inventor before: Wu Chan

Inventor before: Fan Jingfan

Inventor before: Li Wenjie

Inventor before: Yang Jian

CB03 Change of inventor or designer information