CN112330723A - 一种物理到图像/图像到物理的自动配准方法 - Google Patents

一种物理到图像/图像到物理的自动配准方法 Download PDF

Info

Publication number
CN112330723A
CN112330723A CN202011003357.7A CN202011003357A CN112330723A CN 112330723 A CN112330723 A CN 112330723A CN 202011003357 A CN202011003357 A CN 202011003357A CN 112330723 A CN112330723 A CN 112330723A
Authority
CN
China
Prior art keywords
image
template
physical
point
marker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011003357.7A
Other languages
English (en)
Other versions
CN112330723B (zh
Inventor
吴志杰
熊体超
凌永权
李康荣
唐会
庞康高
李观华
林宇恒
鮑浩能
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202011003357.7A priority Critical patent/CN112330723B/zh
Publication of CN112330723A publication Critical patent/CN112330723A/zh
Application granted granted Critical
Publication of CN112330723B publication Critical patent/CN112330723B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种物理到图像/图像到物理的自动配准方法,所述方法包括以下步骤:S1:输入标记物模板的三维图像,构建标记物模板的特征向量htemplate;输入目标模型的三维图像,构建目标模型的特征向量hj;S2:对特征向量htemplate和特征向量hj进行特征匹配,从模板模型中识别出与标记物模板的标记点最接近的特征点;S3:求出标记物表面上的点,并打上对应的标签;S4:输出带有标记物表面标签的目标模型三维图像。本发明通过自动化技术分析标记物模板和对象模型的三维图像的点云信息,构建了特征向量从而进行匹配标记物表面,可有效提高标记物检测的准确性。

Description

一种物理到图像/图像到物理的自动配准方法
技术领域
本发明涉及物理域与图像域的配准检测领域,更具体地,涉及一种物理到图 像/图像到物理的自动配准方法。
背景技术
医学领域中,医学图像分析是医务人员对患者进行诊断和治疗的非常重要的 一个环节。常用的3D医学图像可以由计算机断层(CT)扫描或非接触式光学扫 描仪(OS)获得。医务人员经常将同一患者的多个图像进行分析,或者将图像 与真实物体一起进行分析,来对人体进行研究并规划治疗方案。因此,在医务人 员进行规划前,如果能够把图像的多种互补信息整合在一起,使图像中的各点与 另外的图像或物理世界的实物对应点保持一致,那么将有助于医务人员获得更多 的参考信息,提高临床诊断的准确性。参考“Lam,W.,Ngan,H.,Wat,P.,Luk,H., Pow,E.,&Goto,T..(2015).Novel geometric coordinationregistration in cone-beam computed Tomogram.Applied Imagery PatternRecognition Workshop.IEEE.”,Lam 等人提出了一种从立方体的笛卡尔坐标到三维图像的有效映射,通过物理到图像 (PI)/图像到物理(IP)的配准,定义了物体和图像的几何坐标,并在定义的平 面上得到正交图像。后来,参考“Lam,W.Y.H.,Luk,H.W.K.,Ngan,H.Y.T.,Hsung,R.T.C.,Goto,T.K.,&Pow,E.H.N..(2016).Validation of a novel geometriccoordination registration using manual and semi-automatic registration incone-beam computed tomogram.Is&t International Symposium on ElectronicImaging(Vol.2016,pp.1-6).”,Lam等人定义了物理立方角(CC)上的直角坐标系, 并使用多个表面(例如,三个正交表面形成CC)进行多个图像的半自动配准。 这些表面有一个内在的关系,定义了笛卡尔坐标系的原点和x,y,z轴。把坐标系 定义在CC上可以使得配准更加简单和精确。在物理域,定义了CC的对象可以 很容易地被坐标测量机(CMM)测量出目标点在物理域中的真实坐标。Lam等 人以CMM所度量的目标点为金标准,通过对定义了CC的3D虚拟图像进行手 动配准和半自动配准,分别测得目标配准误差(TRE)为0.56mm和0.39mm。 参考专利“Walter Y.H.Lam,Henry Y.T.Ngan,Tai-Chiu Hsung,Henry W.K.Luk,Edmond Pow.(2018).Multiple surfaces for physical-to-image/image-to-physical registrationand image verification.Patent:WO 2018/152742 A1”,发明人更进一步建 议在实际应用中采用多个几个曲面,包括CC和圆盘。
此前,图像配准算法有基于体素强度的最佳拟合算法、基于基准标记的配准 算法和基于表面的配准算法。然而,基于体素强度的最佳拟合算法只适用于图像 到图像(II)的配准,无法应用于PI/IP配准。基于基准标记的配准算法需要在 患者或模型上标记一些点,这将使得一些技术性上的困难,例如在有限空间的口 腔或口腔模型上打上足够的标记点,而且这会增加在配准时所需要的计算时间。 基于表面的配准算法通常不被用于PI/IP的配准,因为对象的表面特性会使OS 扫描仪捕捉到的表面出现问题,所以无法确保得到的表面精度达到要求。
Lam等人提出的基于CC标记物的配准方法有效地解决了以上问题。但是目 前只存在利用软件实现手动配准(MR)和半自动配准(SR),如SimPlant Pro, MeshLab和3D-slicer。参考专利“Walter Y.H.Lam,Henry Y.T.Ngan,Tai-Chiu Hsung,Henry W.K.Luk,Edmond Pow.(2018).Multiple surfaces for physical-to-image/image-to-physicalregistration and image verification.Patent:WO 2018/152742 A1”,提出了如果能够进行自动配准,那么将有效地减少配准误差。 在MR或SR时,医务人员是通过对3D图像上标记物的三个正交平面作为基准, 然后把笛卡尔坐标系定义在上面。然而,这种人为的配准过程通常是复杂的,需 要花费大量的时间的。而且,由于人为判别与实际情况往往是存在较大的偏差, 配准误差无法得到保证,从而导致标记物检测不够准确。
发明内容
本发明为克服上述现有技术所述的标记物检测不够准确的缺陷,提供一种物 理到图像/图像到物理的自动配准方法。
所述方法包括以下步骤:
S1:输入标记物模板的三维图像,构建标记物模板的特征向量htemplate
输入目标模型的三维图像,构建目标模型的特征向量hj
S2:对特征向量htemplate和特征向量hj进行特征匹配,从模板模型中识别出 与标记物模板的标记点最接近的特征点;
S3:求出标记物表面上的点,并打上对应的标签;
S4:输出带有标记物表面标签的目标模型三维图像。
由于三维图像中有很多三维坐标点,“带有标记物表面标签”是指,在模型 的三维图像中,属于标记物的部分的点都做一个标记(标签),用来确定图像中 “这些点就是标记物”,确定了标记物在哪里。
优选地,S1中构建标记物模板的特征向量htemplate包括以下步骤:
步骤(1):对标记物模板的三维图像进行体素化质心降采样,形成新的但点 数量更少的三维图像;降采样的目的是在后续对对象的3D图像进行特征匹配时 保持同样的分辨率,采用体素化质心降采样可以保留3D图像的细节信息。
步骤(2):对降采样后的三维图像进行法线估计;
步骤(3):将所有点法线方向指向模板外部,同时进行单位化处理;
步骤(4):设置标记物模板搜索半径,利用KD-tree提取标记物模板的特征 点ftemplate在标记物模板搜索半径范围内的点和点法线,把法线的起点平移至原点 (0,0,0);由于法线经过了单位化处理,法线的终点会落在半径为1的球面上;
其中,设置标记物模板搜索半径,以ftemplate为中心,搜寻所述搜索半径范围 内的点以及相应的点法线。该半径依据标记物(立方体和圆柱体)的形状大小来 设置。
步骤(5):构建标记物模板参考立方体,并且等分成27(3*3*3)个体素, 把参考立方体的中心移动到球心,统计法线终点在每个体素中的数量,生成27 维的特征向量htemplate
优选地,步骤(2)具体为:由于降采样后的三维图像的点法线信息消失, 采用KD-tree数据结构快速寻找图像中每个点的近邻点集;
以每个点与其近邻点集构成了局部表面,计算该局部表面的法线作为每个点 的点法线;
优选地,S1中构建目标模型的特征向量hj包括以下步骤:
步骤一:对目标模型的三维图像进行体素化质心降采样,使体素化参数与标 记物模板的降采样参数一致;以确保拥有相同的分辨率,记原目标模型的三维图 像顶点位置为p,法线为n,体素化后的目标模型的三维图像的点为v,其点法线 为m;
步骤二:对降采样后的三维图像进行每个点法线mj估计和曲率估计;构建 KD-tree数据结构,计算每个局部表面的法线作为每个点的点法线,以及每个局 部表面的曲率作为每个点的曲率值;
步骤三:将所有的点法线mj方向指向模型外部,同时进行单位化处理;
步骤四:按照曲率值,提取出处于所有平坦区域的点
Figure BDA0002695074600000041
以及点法线
Figure BDA0002695074600000042
步骤五:遍历平坦区域的点
Figure BDA0002695074600000043
及点法线
Figure BDA0002695074600000044
设置目标模型搜索半径, 利用KD-tree提取每个
Figure BDA0002695074600000045
在目标模型搜索半径范围内的点和法线,设其集为
Figure BDA0002695074600000046
Figure BDA0002695074600000047
的起点平移至原点(0,0,0), 即是
Figure BDA0002695074600000048
其终点会落在半径为1mm的球面上,记为
Figure BDA0002695074600000049
旋转球面使得
Figure BDA00026950746000000410
与z轴重合;
其中,设置目标模型搜索搜半径,也就是以
Figure BDA00026950746000000411
为中心,搜寻半径范围内的 点以及相应的点法线。该半径依据标记物(立方体和圆柱体)的形状大小来设置。
步骤六:构建目标模型参考立方体,并且等分成27(3*3*3)个体素,把目 标模型参考立方体的中心移动到球心,统计法线终点在每个体素中的数量,生成 27维的特征向量hj
优选地,步骤(1)和步骤一中的体素化质心降采样公式为:
Figure BDA00026950746000000412
其中,vj为第i个体素的质心即为采样点,N为三维图像被分解成体素的个 数,M为体素内包含的点的个数,P={pr:r=1,...,M}为体素内的点。
优选地,步骤五中旋转球面使得
Figure BDA00026950746000000413
与z轴重合的操作中所旋转的角度的计 算公式为:
Figure BDA00026950746000000414
其中,Z为坐标轴z正方向的单位向量。
优选地,步骤五中旋转球面使得
Figure BDA00026950746000000415
与z轴重合的操作中的旋转公式为:
Figure BDA00026950746000000416
Figure BDA00026950746000000417
Figure BDA00026950746000000418
其中,
Figure BDA00026950746000000419
为球面
Figure BDA00026950746000000420
经过旋转后得到的全新的球面。ωj为旋转轴, ωjxjyjz分别为ωj在x、y、z轴上的分量。
优选地,S2所述特征匹配,是根据特征向量的余弦相似度来进行匹配。
优选地,所述特征匹配的是标记物的表面。而不是标记物的整个实体。标记 物附着在对象上后获得的3D图像表达的是外表面,诸如立方体标记物,能够被 识别出一个上平面和四个侧平面,圆柱体标记物能够被识别出上平面和侧边曲面。
优选地,S3具体为:从特征向量集合计算得与htemplate最相似的hj的所在索 引J,对应的特征向量记作hJ,hJ确定后,从hJ对应的特征点vJ出发,利用KD-tree 对搜索半径范围内的点打上标签,模型中标记物的表面就被定位到了;其中索引 J的计算公式为:
Figure BDA0002695074600000051
其中,N为三维图像被分解成体素的个数。
标签代表了在三维图像众多点中标记出来的属于标记物的点,而这些标签是 从特征向量hJ所对应的特征点vJ出发,根据上述的搜索半径把半径范围内的点 都标记(标签)好,所以从“索引J”可以推导出“标签”。
与现有技术相比,本发明技术方案的有益效果是:
本发明通过自动化技术分析标记物模板和对象模型的三维图像的点云信息, 构建了特征向量从而进行匹配标记物表面,可有效提高标记物检测的准确性。
附图说明
图1为实施例1所述物理到图像/图像到物理的自动配准方法流程图。
图2为立方体各法线端点在球面上的分布情况。
图3为圆柱体各法线端点在球面上的分布情况。
图4为上颌树脂模型。
图5为在口腔模型上带有标记物的丙烯酸支架。
图6为带有标记物支架的模型的3D图像。
图7为标记物识别结果。
具体实施方式
附图仅用于示例性说明,不能理解为对本专利的限制;
为了更好说明本实施例,附图某些部件会有省略、放大或缩小,并不代表实 际产品的尺寸;
对于本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理 解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
本实施例提供一种物理到图像/图像到物理的自动配准方法,本实施例采用 根据点云数据计算的3D体素特征进行特征匹配。如图1所示,所述方法包括以 下步骤:
S1:输入标记物模板的三维图像,构建标记物模板的特征向量htemplate;输入 目标模型的三维图像,构建目标模型的特征向量hj
其中,构建标记物模板特征向量的具体操作如下:
步骤(1):对标记物模板的3D图像进行体素化质心降采样,形成新的但点 数量更少的3D图像。降采样的目的是在后续对对象的3D图像进行特征匹配时 保持同样的分辨率,采用体素化质心降采样可以保留3D图像的细节信息。
步骤(2):对降采样后的3D图像进行法线估计。降采样后的3D图像的点 法线信息消失,采用KD-tree数据结构快速寻找图像中每个点的近邻点集。每个 点与其近邻点集构成了局部表面,计算该局部表面的法线作为每个点的点法线。
步骤(3):所有点法线方向需要指向模板外部,同时需要进行单位化处理。
步骤(4):设置标记物模板搜索半径,利用KD-tree提取ftemplate在标记物模 板搜索半径范围内的点和点法线,把法线的起点平移至原点(0,0,0),由于法线 经过了单位化处理,法线的终点会落在半径为1的球面上,如附图2和附图3所 示分别为正方体和圆柱体标记物法线终点的分布情况。
设置标记物模板搜索半径,以ftemplate为中心,搜寻半径范围内的点以及相应 的点法线。该半径依据标记物(立方体和圆柱体)的形状大小来设置,设置范围 在6mm到8mm,本实施例中搜索半径设置为7mm。
步骤(5):构建一个边长为2mm的立方体,并且等分成27(3*3*3)个体 素,把立方体的中心移动到球心,统计法线终点在每个体素中的数量,生成27 维的特征向量htemplate
构建目标模型特征向量的具体操作步骤如下:
步骤一:对模型的3D图像进行体素化质心降采样,体素化参数需要与标记 物模板的降采样参数一致,以确保拥有相同的分辨率,记原3D图像顶点位置为 p,其法线为n,体素化后3D图像的点为v,其点法线为m。
步骤二:对降采样后的3D图像进行每个点法线mj估计和曲率估计,构建 KD-tree数据结构,计算每个局部表面的法线作为每个点的点法线,以及每个局 部表面的曲率作为每个点的曲率值。
步骤三:所有的mj方向需要指向模型外部,同时需要进行单位化处理。
步骤四:按照曲率值,提取出处于所有平坦区域的点
Figure RE-GDA0002885634890000071
以及点法线
Figure RE-GDA0002885634890000072
步骤五:遍历上述平坦区域的点
Figure BDA0002695074600000073
及点法线
Figure BDA0002695074600000074
设置目标模型搜索半 径,利用KD-tree提取每个
Figure BDA0002695074600000075
在目标模型搜索半径范围内的点和法线,设其集 为
Figure BDA0002695074600000076
Figure BDA0002695074600000077
的起点平移至原点(0,0,0), 即是
Figure BDA0002695074600000078
其终点会落在半径为1mm的球面上,旋转球面使得
Figure BDA0002695074600000079
与z轴重 合。
其中,设置目标模型搜索搜半径,也就是以
Figure BDA00026950746000000710
为中心,搜寻半径范围内的 点以及相应的点法线。该半径依据标记物(立方体和圆柱体)的形状大小来设置, 设置范围在6mm到8mm,本实施例中目标模型搜索半径设置为7mm。
步骤六:构建一个边长为2mm的立方体,并且等分成27(3*3*3)个体素, 把立方体的中心移动到球心,统计法线终点在每个体素中的数量,生成27维的 特征向量hj
S2:对特征向量htemplate和特征向量hj进行特征匹配,从模板模型中识别出 与标记物模板的标记点最接近的特征点;
根据标记物模板的特征向量htemplate,从模型的各个
Figure BDA00026950746000000711
的特征向量hj中找 出与htemplate最相近的一个hJ
S3:求出标记物表面上的点,并打上对应的标签;
S4:输出带有标记物表面标签的目标模型三维图像。
上述3D图像可以通过CT或者OS扫描获得。
上述的标记物模板,是附着或拟合在诸如手术器具、支架上的几何标记物。 该结构可以通过修改Lego积木来实现。通过3D扫描,或利用软件(如Meshlab) 在模型的3D图像上裁剪,或通过计算机辅助设计(CAD)软件,可以获得单独 的标记物模板的3D图像。利用软件定义标记点ftemplate
上述法线估计和曲率估计可以通过协方差矩阵的方法进行估计。
上述构建特征向量,如果目标是识别立方体表面,必须把球面旋转至更合适 的位置,使得特征识别率得到提高。
上述的特征匹配,可以根据特征向量的余弦相似度来进行匹配。
上述所匹配的是标记物的表面,而不是标记物的整个实体。标记物附着在对 象上后获得的3D图像表达的是外表面,诸如立方体标记物,能够被识别出一个 上平面和四个侧平面,圆柱体标记物能够被识别出上平面和侧边曲面。
本实施例可以在不同计算机环境例如Python、C++、Matlab等中实现。
作为一个具体的实施例,下面以口腔植入物为具体事例对本发明进行详细说 明:
在口腔植入物手术中,植入物的位置是非常重要的。牙科医生将与人体骨相 容性高的纯钛金属制成的植入物放置患者的颌骨中,经过精心规划来代替患者的 牙根。如附图4所示为上颌树脂模型,模型的右中门牙被切除,并需要用植入物 代替。然后,为模型制作附带标记物的丙烯酸支架,支架上定义了一个立方体 (10mm*10mm*10mm)和两个圆柱体(半径为6mm)作为标记物,如附图5所示。 在物理域与图像的虚拟域中,笛卡尔坐标系将被定义在支架的立方体的一个角上, 其三个线角分别构成x,y,z轴。支架上圆柱体的上表面与立方体的上表面是共面 的几何关系,因此圆柱体可以用来辅助配准,提高配准精度。模型经过CT或 OS扫描仪扫描后得到网格模型,即是三维虚拟图像,如附图6所示。三维虚拟 图像以三维点云的格式存在,其基本元素包括点的位置,点法线,三角面片,配 准过程将根据三维虚拟图像作为输入数据进行配准处理。
本发明是基于标记物模板匹配的方法来对标记物表面进行检测的,通过分析 输入模型和标记物模板的点云信息定位到模型中的标记物位置,模板上有一个标 记点,目的就是寻找模型中与模板标记点相一致的点。特征向量算法总结如下:
1.对输入模型体素化
2.局部表面的曲率值计算和法线估计
3.检测平坦区域点集
Figure BDA0002695074600000081
4.旋转点法线
Figure BDA0002695074600000082
分布至合适的方向
5.计算平坦区域每个点
Figure BDA0002695074600000083
的特征
以下将对以上算法详细说明:
首先,对输入的模型和标记物模板进行数据预处理。三维虚拟图像的点的分 布在不同位置并不均匀而且数据量巨大,为了克服这些问题并且保留图像的细节 信息,需要对图像进行均值体素化来降采样。如公式1所示,设一幅虚拟图像被 分解成N个体素,体素内包含了M个点,即是P={pr:r=1,...,M},第i个体素 的质心即为采样点vj
Figure BDA0002695074600000091
经过降采样后的体素特征点集分布均匀而且点数量较少,采用KD-tree数据 结构可以得到模型和模板点云特征点vj的K近邻个点{vj1,...,vjk},设K=4,即得 到与vj最近邻的4个体素特征点{vj1,...,vj4}。然后,利用vj与其{vj1,...,vj4}估计 局部区域的曲率值和法线。首先,计算vj与{vj1,...,vj4}构成的局部点集的协方差 矩阵Cj。然后,求出矩阵Cj的特征值(λj1j2j3)和特征向量(ej1,ej2,ej3)。取最 小的特征值所对应的单位化特征向量作为vj的法线,局部表面的曲率值cj计算如 公式2所示。
Figure BDA0002695074600000092
从模型的体素特征点集中提取出曲率值小于阈值的vj,设阈值为0.001,记 为
Figure BDA0002695074600000093
Figure BDA0002695074600000094
代表了模型平坦区域的点,从而筛除了大部分噪声点。重新构建 KD-tree,对
Figure BDA0002695074600000095
进行球形范围的点搜索
Figure BDA0002695074600000096
采用球形范围搜索的原因是希望能 够囊括目标标记物的表面来进行表面识别。设范围半径为7mm,立方体标记物 的ftemplate在上表面的最中央,如图2所示,从ftemplate出发,半径7mm范围内要 囊括到立方体标记物的多个面。
根据
Figure BDA0002695074600000097
的信息并基于点法线分布来为
Figure BDA0002695074600000098
计算特征。立方体标记物的
Figure BDA0002695074600000099
对应法线
Figure BDA00026950746000000910
由于
Figure BDA00026950746000000911
已经被单位化处理,如果把
Figure BDA00026950746000000912
的起点移动至原点(0,0,0) 上,那么
Figure BDA00026950746000000913
的终点就会落在半径为1,球心为(0,0,0)的球面上,记为
Figure BDA00026950746000000914
如附图2所示。可以看到,由于在同一平面的法线具有相同或相似的指向,所以
Figure BDA00026950746000000915
会分为五簇,分别是五个平面所指的方向。对于圆柱体标记物也有类似的性 质。如图3所示,圆柱体平面部分的
Figure BDA00026950746000000916
会集中为一簇,而侧面的
Figure BDA00026950746000000917
会在赤道 附近围成一个圈。
因此,可以根据
Figure BDA00026950746000000918
的分布情况知道标记物的规律,描述
Figure BDA00026950746000000919
的特征。由于 球面的北极方向需要与
Figure BDA0002695074600000101
对应的
Figure BDA0002695074600000102
方向一致,所以首先需要把球面根据参 考向量axisz=(0,0,1)旋转至合适的方向。旋转轴计算公式如公式3所示,两向量 的夹角计算如公式4所示,
Figure BDA0002695074600000103
在三维空间中的旋转矩阵如公式5所示,旋转公 式如公式6所示,
Figure BDA0002695074600000104
球面与axisz=(0,0,1)对齐后得到
Figure BDA0002695074600000105
球面。生成一个边长为 2mm的立方体,并且等分成27(3*3*3)个体素,把立方体的中心移动到球心,
Figure BDA0002695074600000106
会落在各个体素中,统计每个体素中点的数量,生成27维的特征向量hj。对 于标记物模板,以同样的方法计算出模板标记点的特征向量htemplate。根据公式7, 即可从特征向量集合计算得与htemplate最相似的hj的所在索引J,对应的特征向量 记作hJ,hJ确定后,模型中标记物的表面就被定位到了,识别结果如附图7所示。
Figure BDA0002695074600000107
Figure BDA0002695074600000108
Figure BDA0002695074600000109
Figure BDA00026950746000001010
Figure BDA00026950746000001011
其中,
Figure BDA00026950746000001012
为球面
Figure BDA00026950746000001013
经过旋转后得到的全新的球面;ωj为旋转轴, ωjxjyjz分别为ωj在x、y、z轴上的分量,Z为坐标轴z正方向的单位向量, 本实施例设为(0,0,1)。
本实施例可以用于后续的自动化配准中,在识别模型上的标记物表面后,通 过分析标记物上的各个平面,求得正交平面的关系,便可以确定笛卡尔坐标系的 原点和坐标轴,从而确定整个坐标系。
本实施例通过分析标记物表面点云信息,构建基于法线的球面分布的特征描 述向量的算法,提高了标记物检测的准确性。
本实施例基于法线的球面分布的特征描述向量进行标记物表面识别,为全自 动配准提供了新思路,可以通过分析各个表面的点云信息来进行自动化配准。本 技术运用到后续的自动配准中,将有效地减小和缩短传统的通过手动或半自动配 准方法带来的配准误差和操作时间。
附图中描述位置关系的用语仅用于示例性说明,不能理解为对本专利的限制;
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非 是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明 的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施 方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进 等,均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种物理到图像/图像到物理的自动配准方法,其特征在于,所述方法包括以下步骤:
S1:输入标记物模板的三维图像,构建标记物模板的特征向量htemplate
输入目标模型的三维图像,构建目标模型的特征向量hj
S2:对特征向量htemplate和特征向量hj进行特征匹配,从模板模型中识别出与标记物模板的标记点最接近的特征点;
S3:求出标记物表面上的点,并打上对应的标签;
S4:输出带有标记物表面标签的目标模型三维图像。
2.根据权利要求1所述物理到图像/图像到物理的自动配准方法,其特征在于,S1中构建标记物模板的特征向量htemplate包括以下步骤:
步骤(1):对标记物模板的三维图像进行体素化质心降采样,形成新的但点数量更少的三维图像;
步骤(2):对降采样后的三维图像进行法线估计;
步骤(3):将所有点法线方向指向模板外部,同时进行单位化处理;
步骤(4):设置标记物模板搜索半径,利用KD-tree提取标记物模板的特征点ftemplate在标记物模板搜索半径范围内的点和点法线,把法线的起点平移至原点(0,0,0);由于法线经过了单位化处理,法线的终点会落在半径为1的球面上;
步骤(5):构建标记物模板参考立方体,并且等分成27个体素,把参考立方体的中心移动到球心,统计法线终点在每个体素中的数量,生成27维的特征向量htemplate
3.根据权利要求2所述物理到图像/图像到物理的自动配准方法,其特征在于,步骤(2)具体为:采用KD-tree数据结构快速寻找图像中每个点的近邻点集;
以每个点与其近邻点集构成了局部表面,计算该局部表面的法线作为每个点的点法线。
4.根据权利要求2所述物理到图像/图像到物理的自动配准方法,其特征在于,S1中构建目标模型的特征向量hj包括以下步骤:
步骤一:对目标模型的三维图像进行体素化质心降采样,使体素化参数与标记物模板的降采样参数一致;
步骤二:对降采样后的三维图像进行每个点法线mj估计和曲率估计;
步骤三:将所有的点法线mj方向指向模型外部,同时进行单位化处理;
步骤四:按照曲率值,提取出处于所有平坦区域的点
Figure FDA0002695074590000021
以及点法线
Figure FDA0002695074590000022
步骤五:遍历平坦区域的点
Figure FDA0002695074590000023
及点法线
Figure FDA0002695074590000024
设置目标模型搜索半径,利用KD-tree提取每个
Figure FDA0002695074590000025
在目标模型搜索半径范围内的点和法线,设其集为
Figure FDA0002695074590000026
Figure FDA0002695074590000027
的起点平移至原点(0,0,0),即是
Figure FDA0002695074590000028
其终点会落在半径为1mm的球面上,记为
Figure FDA0002695074590000029
旋转球面使得
Figure FDA00026950745900000210
与z轴重合;
步骤六:构建目标模型参考立方体,并且等分成27个体素,把目标模型参考立方体的中心移动到球心,统计法线终点在每个体素中的数量,生成27维的特征向量hj
5.根据权利要求4所述物理到图像/图像到物理的自动配准方法,其特征在于,步骤(1)和步骤一中的体素化质心降采样公式为:
Figure FDA00026950745900000211
其中,vj为第i个体素的质心即为采样点,M为体素内包含的点的个数,P={pr:r=1,...,M}为体素内的点。
6.根据权利要求4所述物理到图像/图像到物理的自动配准方法,其特征在于,步骤五中旋转球面使得
Figure FDA00026950745900000212
与z轴重合的操作中所旋转的角度的计算公式为:
Figure FDA00026950745900000213
其中,Z为z坐标轴正方向的单位向量。
7.根据权利要求4所述物理到图像/图像到物理的自动配准方法,其特征在于,步骤五中旋转球面使得
Figure FDA00026950745900000214
与z轴重合的操作中的旋转公式为:
Figure FDA00026950745900000215
Figure FDA00026950745900000216
Figure FDA00026950745900000217
其中,
Figure FDA0002695074590000031
为球面
Figure FDA0002695074590000032
经过旋转后得到的全新的球面;wj为旋转轴,wjx,wjy,wjz分别为wj在x、y、z轴上的分量。
8.根据权利要求4所述物理到图像/图像到物理的自动配准方法,其特征在于,S2所述特征匹配,是根据特征向量的余弦相似度来进行匹配。
9.根据权利要求4所述物理到图像/图像到物理的自动配准方法,其特征在于,所述特征匹配的是标记物的表面。
10.根据权利要求4所述物理到图像/图像到物理的自动配准方法,其特征在于,S3具体为:从特征向量集合计算得与htemplate最相似的hj的所在索引J,对应的特征向量记作hJ,hJ确定后,从hJ对应的特征点vJ出发,利用KD-tree对搜索半径范围内的点打上标签,其中索引J的计算公式为:
Figure FDA0002695074590000033
其中,N为三维图像被分解成体素的个数。
CN202011003357.7A 2020-09-22 2020-09-22 一种物理到图像/图像到物理的自动配准方法 Active CN112330723B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011003357.7A CN112330723B (zh) 2020-09-22 2020-09-22 一种物理到图像/图像到物理的自动配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011003357.7A CN112330723B (zh) 2020-09-22 2020-09-22 一种物理到图像/图像到物理的自动配准方法

Publications (2)

Publication Number Publication Date
CN112330723A true CN112330723A (zh) 2021-02-05
CN112330723B CN112330723B (zh) 2023-08-01

Family

ID=74303929

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011003357.7A Active CN112330723B (zh) 2020-09-22 2020-09-22 一种物理到图像/图像到物理的自动配准方法

Country Status (1)

Country Link
CN (1) CN112330723B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109785374A (zh) * 2019-01-23 2019-05-21 北京航空航天大学 一种牙科增强现实手术导航的自动实时无标记图像配准方法
CN110415342A (zh) * 2019-08-02 2019-11-05 深圳市唯特视科技有限公司 一种基于多融合传感器的三维点云重建装置与方法
CN110462681A (zh) * 2017-02-23 2019-11-15 港大科桥有限公司 用于物理到图像/图像到物理配准和图像验证的多个表面

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110462681A (zh) * 2017-02-23 2019-11-15 港大科桥有限公司 用于物理到图像/图像到物理配准和图像验证的多个表面
CN109785374A (zh) * 2019-01-23 2019-05-21 北京航空航天大学 一种牙科增强现实手术导航的自动实时无标记图像配准方法
CN110415342A (zh) * 2019-08-02 2019-11-05 深圳市唯特视科技有限公司 一种基于多融合传感器的三维点云重建装置与方法

Also Published As

Publication number Publication date
CN112330723B (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
CN109785374B (zh) 一种牙科增强现实手术导航的自动实时无标记图像配准方法
US9292920B2 (en) Methods and systems for producing an implant
Damas et al. Forensic identification by computer-aided craniofacial superimposition: a survey
US9275191B2 (en) Methods and systems for producing an implant
JP5584441B2 (ja) ボリュームデータ間の対応付け方法
CN113112609A (zh) 一种面向肺部活检支气管镜的导航方法和系统
CN111640143B (zh) 一种基于PointNet的神经导航快速面配准方法及系统
CN107240128B (zh) 一种基于轮廓特征的x线片和彩色照片配准方法
CN109965979A (zh) 一种无需标志点的稳健的神经导航自动注册方法
Li et al. A vision-based navigation system with markerless image registration and position-sensing localization for oral and maxillofacial surgery
CN117958970A (zh) 一种基于ct与激光口扫的口腔手术实时导航方法
Long et al. A marching cubes algorithm: application for three-dimensional surface reconstruction based on endoscope and optical fiber
CN117078840A (zh) 基于ct图像的髋关节三维建模的自动定量计算方法
CN112330723B (zh) 一种物理到图像/图像到物理的自动配准方法
WO2020136303A1 (es) Procedimiento de identificación de imágenes óseas
Menaka et al. A novel feature extraction scheme for visualisation of 3D anatomical structures
Yaniv Rigid registration
Zhang et al. Performance analysis of active shape reconstruction of fractured, incomplete skulls
Schön et al. Automatic coarse registration of 3D surfaces
Wu et al. Multiple Geometric surfaces detection in Geometric Coordination Registration for implant surgery virtual planning and assessment
Wang et al. Geometric Analysis of 3D Facial Image Data: A Survey
WO2021213450A1 (en) Method and system to augment medical scan image information on extended reality image
Ji et al. An Automatic Measurement System for Ulna Bone Morphological Parameters Based on 3D Slicer Software
Aliani et al. Optimizing texture representation in 3D medical models using an RGBD camera
Cao et al. Comparative Study of Feature-Based Surface Matching Automatic Coarse Registration Algorithms for Neuronavigation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant