CN112330723A - 一种物理到图像/图像到物理的自动配准方法 - Google Patents
一种物理到图像/图像到物理的自动配准方法 Download PDFInfo
- Publication number
- CN112330723A CN112330723A CN202011003357.7A CN202011003357A CN112330723A CN 112330723 A CN112330723 A CN 112330723A CN 202011003357 A CN202011003357 A CN 202011003357A CN 112330723 A CN112330723 A CN 112330723A
- Authority
- CN
- China
- Prior art keywords
- image
- template
- physical
- point
- marker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 239000003550 marker Substances 0.000 claims abstract description 94
- 239000013598 vector Substances 0.000 claims abstract description 53
- 238000012545 processing Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000002591 computed tomography Methods 0.000 description 5
- 239000007943 implant Substances 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 2
- 238000011960 computer-aided design Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000011347 resin Substances 0.000 description 2
- 229920005989 resin Polymers 0.000 description 2
- 101150049349 setA gene Proteins 0.000 description 2
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 210000004283 incisor Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 239000010936 titanium Substances 0.000 description 1
- 229910052719 titanium Inorganic materials 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种物理到图像/图像到物理的自动配准方法,所述方法包括以下步骤:S1:输入标记物模板的三维图像,构建标记物模板的特征向量htemplate;输入目标模型的三维图像,构建目标模型的特征向量hj;S2:对特征向量htemplate和特征向量hj进行特征匹配,从模板模型中识别出与标记物模板的标记点最接近的特征点;S3:求出标记物表面上的点,并打上对应的标签;S4:输出带有标记物表面标签的目标模型三维图像。本发明通过自动化技术分析标记物模板和对象模型的三维图像的点云信息,构建了特征向量从而进行匹配标记物表面,可有效提高标记物检测的准确性。
Description
技术领域
本发明涉及物理域与图像域的配准检测领域,更具体地,涉及一种物理到图 像/图像到物理的自动配准方法。
背景技术
医学领域中,医学图像分析是医务人员对患者进行诊断和治疗的非常重要的 一个环节。常用的3D医学图像可以由计算机断层(CT)扫描或非接触式光学扫 描仪(OS)获得。医务人员经常将同一患者的多个图像进行分析,或者将图像 与真实物体一起进行分析,来对人体进行研究并规划治疗方案。因此,在医务人 员进行规划前,如果能够把图像的多种互补信息整合在一起,使图像中的各点与 另外的图像或物理世界的实物对应点保持一致,那么将有助于医务人员获得更多 的参考信息,提高临床诊断的准确性。参考“Lam,W.,Ngan,H.,Wat,P.,Luk,H., Pow,E.,&Goto,T..(2015).Novel geometric coordinationregistration in cone-beam computed Tomogram.Applied Imagery PatternRecognition Workshop.IEEE.”,Lam 等人提出了一种从立方体的笛卡尔坐标到三维图像的有效映射,通过物理到图像 (PI)/图像到物理(IP)的配准,定义了物体和图像的几何坐标,并在定义的平 面上得到正交图像。后来,参考“Lam,W.Y.H.,Luk,H.W.K.,Ngan,H.Y.T.,Hsung,R.T.C.,Goto,T.K.,&Pow,E.H.N..(2016).Validation of a novel geometriccoordination registration using manual and semi-automatic registration incone-beam computed tomogram.Is&t International Symposium on ElectronicImaging(Vol.2016,pp.1-6).”,Lam等人定义了物理立方角(CC)上的直角坐标系, 并使用多个表面(例如,三个正交表面形成CC)进行多个图像的半自动配准。 这些表面有一个内在的关系,定义了笛卡尔坐标系的原点和x,y,z轴。把坐标系 定义在CC上可以使得配准更加简单和精确。在物理域,定义了CC的对象可以 很容易地被坐标测量机(CMM)测量出目标点在物理域中的真实坐标。Lam等 人以CMM所度量的目标点为金标准,通过对定义了CC的3D虚拟图像进行手 动配准和半自动配准,分别测得目标配准误差(TRE)为0.56mm和0.39mm。 参考专利“Walter Y.H.Lam,Henry Y.T.Ngan,Tai-Chiu Hsung,Henry W.K.Luk,Edmond Pow.(2018).Multiple surfaces for physical-to-image/image-to-physical registrationand image verification.Patent:WO 2018/152742 A1”,发明人更进一步建 议在实际应用中采用多个几个曲面,包括CC和圆盘。
此前,图像配准算法有基于体素强度的最佳拟合算法、基于基准标记的配准 算法和基于表面的配准算法。然而,基于体素强度的最佳拟合算法只适用于图像 到图像(II)的配准,无法应用于PI/IP配准。基于基准标记的配准算法需要在 患者或模型上标记一些点,这将使得一些技术性上的困难,例如在有限空间的口 腔或口腔模型上打上足够的标记点,而且这会增加在配准时所需要的计算时间。 基于表面的配准算法通常不被用于PI/IP的配准,因为对象的表面特性会使OS 扫描仪捕捉到的表面出现问题,所以无法确保得到的表面精度达到要求。
Lam等人提出的基于CC标记物的配准方法有效地解决了以上问题。但是目 前只存在利用软件实现手动配准(MR)和半自动配准(SR),如SimPlant Pro, MeshLab和3D-slicer。参考专利“Walter Y.H.Lam,Henry Y.T.Ngan,Tai-Chiu Hsung,Henry W.K.Luk,Edmond Pow.(2018).Multiple surfaces for physical-to-image/image-to-physicalregistration and image verification.Patent:WO 2018/152742 A1”,提出了如果能够进行自动配准,那么将有效地减少配准误差。 在MR或SR时,医务人员是通过对3D图像上标记物的三个正交平面作为基准, 然后把笛卡尔坐标系定义在上面。然而,这种人为的配准过程通常是复杂的,需 要花费大量的时间的。而且,由于人为判别与实际情况往往是存在较大的偏差, 配准误差无法得到保证,从而导致标记物检测不够准确。
发明内容
本发明为克服上述现有技术所述的标记物检测不够准确的缺陷,提供一种物 理到图像/图像到物理的自动配准方法。
所述方法包括以下步骤:
S1:输入标记物模板的三维图像,构建标记物模板的特征向量htemplate;
输入目标模型的三维图像,构建目标模型的特征向量hj;
S2:对特征向量htemplate和特征向量hj进行特征匹配,从模板模型中识别出 与标记物模板的标记点最接近的特征点;
S3:求出标记物表面上的点,并打上对应的标签;
S4:输出带有标记物表面标签的目标模型三维图像。
由于三维图像中有很多三维坐标点,“带有标记物表面标签”是指,在模型 的三维图像中,属于标记物的部分的点都做一个标记(标签),用来确定图像中 “这些点就是标记物”,确定了标记物在哪里。
优选地,S1中构建标记物模板的特征向量htemplate包括以下步骤:
步骤(1):对标记物模板的三维图像进行体素化质心降采样,形成新的但点 数量更少的三维图像;降采样的目的是在后续对对象的3D图像进行特征匹配时 保持同样的分辨率,采用体素化质心降采样可以保留3D图像的细节信息。
步骤(2):对降采样后的三维图像进行法线估计;
步骤(3):将所有点法线方向指向模板外部,同时进行单位化处理;
步骤(4):设置标记物模板搜索半径,利用KD-tree提取标记物模板的特征 点ftemplate在标记物模板搜索半径范围内的点和点法线,把法线的起点平移至原点 (0,0,0);由于法线经过了单位化处理,法线的终点会落在半径为1的球面上;
其中,设置标记物模板搜索半径,以ftemplate为中心,搜寻所述搜索半径范围 内的点以及相应的点法线。该半径依据标记物(立方体和圆柱体)的形状大小来 设置。
步骤(5):构建标记物模板参考立方体,并且等分成27(3*3*3)个体素, 把参考立方体的中心移动到球心,统计法线终点在每个体素中的数量,生成27 维的特征向量htemplate。
优选地,步骤(2)具体为:由于降采样后的三维图像的点法线信息消失, 采用KD-tree数据结构快速寻找图像中每个点的近邻点集;
以每个点与其近邻点集构成了局部表面,计算该局部表面的法线作为每个点 的点法线;
优选地,S1中构建目标模型的特征向量hj包括以下步骤:
步骤一:对目标模型的三维图像进行体素化质心降采样,使体素化参数与标 记物模板的降采样参数一致;以确保拥有相同的分辨率,记原目标模型的三维图 像顶点位置为p,法线为n,体素化后的目标模型的三维图像的点为v,其点法线 为m;
步骤二:对降采样后的三维图像进行每个点法线mj估计和曲率估计;构建 KD-tree数据结构,计算每个局部表面的法线作为每个点的点法线,以及每个局 部表面的曲率作为每个点的曲率值;
步骤三:将所有的点法线mj方向指向模型外部,同时进行单位化处理;
步骤五:遍历平坦区域的点及点法线设置目标模型搜索半径, 利用KD-tree提取每个在目标模型搜索半径范围内的点和法线,设其集为把的起点平移至原点(0,0,0), 即是其终点会落在半径为1mm的球面上,记为旋转球面使得与z轴重合;
步骤六:构建目标模型参考立方体,并且等分成27(3*3*3)个体素,把目 标模型参考立方体的中心移动到球心,统计法线终点在每个体素中的数量,生成 27维的特征向量hj。
优选地,步骤(1)和步骤一中的体素化质心降采样公式为:
其中,vj为第i个体素的质心即为采样点,N为三维图像被分解成体素的个 数,M为体素内包含的点的个数,P={pr:r=1,...,M}为体素内的点。
其中,Z为坐标轴z正方向的单位向量。
优选地,S2所述特征匹配,是根据特征向量的余弦相似度来进行匹配。
优选地,所述特征匹配的是标记物的表面。而不是标记物的整个实体。标记 物附着在对象上后获得的3D图像表达的是外表面,诸如立方体标记物,能够被 识别出一个上平面和四个侧平面,圆柱体标记物能够被识别出上平面和侧边曲面。
优选地,S3具体为:从特征向量集合计算得与htemplate最相似的hj的所在索 引J,对应的特征向量记作hJ,hJ确定后,从hJ对应的特征点vJ出发,利用KD-tree 对搜索半径范围内的点打上标签,模型中标记物的表面就被定位到了;其中索引 J的计算公式为:
其中,N为三维图像被分解成体素的个数。
标签代表了在三维图像众多点中标记出来的属于标记物的点,而这些标签是 从特征向量hJ所对应的特征点vJ出发,根据上述的搜索半径把半径范围内的点 都标记(标签)好,所以从“索引J”可以推导出“标签”。
与现有技术相比,本发明技术方案的有益效果是:
本发明通过自动化技术分析标记物模板和对象模型的三维图像的点云信息, 构建了特征向量从而进行匹配标记物表面,可有效提高标记物检测的准确性。
附图说明
图1为实施例1所述物理到图像/图像到物理的自动配准方法流程图。
图2为立方体各法线端点在球面上的分布情况。
图3为圆柱体各法线端点在球面上的分布情况。
图4为上颌树脂模型。
图5为在口腔模型上带有标记物的丙烯酸支架。
图6为带有标记物支架的模型的3D图像。
图7为标记物识别结果。
具体实施方式
附图仅用于示例性说明,不能理解为对本专利的限制;
为了更好说明本实施例,附图某些部件会有省略、放大或缩小,并不代表实 际产品的尺寸;
对于本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理 解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
本实施例提供一种物理到图像/图像到物理的自动配准方法,本实施例采用 根据点云数据计算的3D体素特征进行特征匹配。如图1所示,所述方法包括以 下步骤:
S1:输入标记物模板的三维图像,构建标记物模板的特征向量htemplate;输入 目标模型的三维图像,构建目标模型的特征向量hj;
其中,构建标记物模板特征向量的具体操作如下:
步骤(1):对标记物模板的3D图像进行体素化质心降采样,形成新的但点 数量更少的3D图像。降采样的目的是在后续对对象的3D图像进行特征匹配时 保持同样的分辨率,采用体素化质心降采样可以保留3D图像的细节信息。
步骤(2):对降采样后的3D图像进行法线估计。降采样后的3D图像的点 法线信息消失,采用KD-tree数据结构快速寻找图像中每个点的近邻点集。每个 点与其近邻点集构成了局部表面,计算该局部表面的法线作为每个点的点法线。
步骤(3):所有点法线方向需要指向模板外部,同时需要进行单位化处理。
步骤(4):设置标记物模板搜索半径,利用KD-tree提取ftemplate在标记物模 板搜索半径范围内的点和点法线,把法线的起点平移至原点(0,0,0),由于法线 经过了单位化处理,法线的终点会落在半径为1的球面上,如附图2和附图3所 示分别为正方体和圆柱体标记物法线终点的分布情况。
设置标记物模板搜索半径,以ftemplate为中心,搜寻半径范围内的点以及相应 的点法线。该半径依据标记物(立方体和圆柱体)的形状大小来设置,设置范围 在6mm到8mm,本实施例中搜索半径设置为7mm。
步骤(5):构建一个边长为2mm的立方体,并且等分成27(3*3*3)个体 素,把立方体的中心移动到球心,统计法线终点在每个体素中的数量,生成27 维的特征向量htemplate。
构建目标模型特征向量的具体操作步骤如下:
步骤一:对模型的3D图像进行体素化质心降采样,体素化参数需要与标记 物模板的降采样参数一致,以确保拥有相同的分辨率,记原3D图像顶点位置为 p,其法线为n,体素化后3D图像的点为v,其点法线为m。
步骤二:对降采样后的3D图像进行每个点法线mj估计和曲率估计,构建 KD-tree数据结构,计算每个局部表面的法线作为每个点的点法线,以及每个局 部表面的曲率作为每个点的曲率值。
步骤三:所有的mj方向需要指向模型外部,同时需要进行单位化处理。
步骤五:遍历上述平坦区域的点及点法线设置目标模型搜索半 径,利用KD-tree提取每个在目标模型搜索半径范围内的点和法线,设其集 为把的起点平移至原点(0,0,0), 即是其终点会落在半径为1mm的球面上,旋转球面使得与z轴重 合。
其中,设置目标模型搜索搜半径,也就是以为中心,搜寻半径范围内的 点以及相应的点法线。该半径依据标记物(立方体和圆柱体)的形状大小来设置, 设置范围在6mm到8mm,本实施例中目标模型搜索半径设置为7mm。
步骤六:构建一个边长为2mm的立方体,并且等分成27(3*3*3)个体素, 把立方体的中心移动到球心,统计法线终点在每个体素中的数量,生成27维的 特征向量hj。
S2:对特征向量htemplate和特征向量hj进行特征匹配,从模板模型中识别出 与标记物模板的标记点最接近的特征点;
S3:求出标记物表面上的点,并打上对应的标签;
S4:输出带有标记物表面标签的目标模型三维图像。
上述3D图像可以通过CT或者OS扫描获得。
上述的标记物模板,是附着或拟合在诸如手术器具、支架上的几何标记物。 该结构可以通过修改Lego积木来实现。通过3D扫描,或利用软件(如Meshlab) 在模型的3D图像上裁剪,或通过计算机辅助设计(CAD)软件,可以获得单独 的标记物模板的3D图像。利用软件定义标记点ftemplate。
上述法线估计和曲率估计可以通过协方差矩阵的方法进行估计。
上述构建特征向量,如果目标是识别立方体表面,必须把球面旋转至更合适 的位置,使得特征识别率得到提高。
上述的特征匹配,可以根据特征向量的余弦相似度来进行匹配。
上述所匹配的是标记物的表面,而不是标记物的整个实体。标记物附着在对 象上后获得的3D图像表达的是外表面,诸如立方体标记物,能够被识别出一个 上平面和四个侧平面,圆柱体标记物能够被识别出上平面和侧边曲面。
本实施例可以在不同计算机环境例如Python、C++、Matlab等中实现。
作为一个具体的实施例,下面以口腔植入物为具体事例对本发明进行详细说 明:
在口腔植入物手术中,植入物的位置是非常重要的。牙科医生将与人体骨相 容性高的纯钛金属制成的植入物放置患者的颌骨中,经过精心规划来代替患者的 牙根。如附图4所示为上颌树脂模型,模型的右中门牙被切除,并需要用植入物 代替。然后,为模型制作附带标记物的丙烯酸支架,支架上定义了一个立方体 (10mm*10mm*10mm)和两个圆柱体(半径为6mm)作为标记物,如附图5所示。 在物理域与图像的虚拟域中,笛卡尔坐标系将被定义在支架的立方体的一个角上, 其三个线角分别构成x,y,z轴。支架上圆柱体的上表面与立方体的上表面是共面 的几何关系,因此圆柱体可以用来辅助配准,提高配准精度。模型经过CT或 OS扫描仪扫描后得到网格模型,即是三维虚拟图像,如附图6所示。三维虚拟 图像以三维点云的格式存在,其基本元素包括点的位置,点法线,三角面片,配 准过程将根据三维虚拟图像作为输入数据进行配准处理。
本发明是基于标记物模板匹配的方法来对标记物表面进行检测的,通过分析 输入模型和标记物模板的点云信息定位到模型中的标记物位置,模板上有一个标 记点,目的就是寻找模型中与模板标记点相一致的点。特征向量算法总结如下:
1.对输入模型体素化
2.局部表面的曲率值计算和法线估计
以下将对以上算法详细说明:
首先,对输入的模型和标记物模板进行数据预处理。三维虚拟图像的点的分 布在不同位置并不均匀而且数据量巨大,为了克服这些问题并且保留图像的细节 信息,需要对图像进行均值体素化来降采样。如公式1所示,设一幅虚拟图像被 分解成N个体素,体素内包含了M个点,即是P={pr:r=1,...,M},第i个体素 的质心即为采样点vj。
经过降采样后的体素特征点集分布均匀而且点数量较少,采用KD-tree数据 结构可以得到模型和模板点云特征点vj的K近邻个点{vj1,...,vjk},设K=4,即得 到与vj最近邻的4个体素特征点{vj1,...,vj4}。然后,利用vj与其{vj1,...,vj4}估计 局部区域的曲率值和法线。首先,计算vj与{vj1,...,vj4}构成的局部点集的协方差 矩阵Cj。然后,求出矩阵Cj的特征值(λj1,λj2,λj3)和特征向量(ej1,ej2,ej3)。取最 小的特征值所对应的单位化特征向量作为vj的法线,局部表面的曲率值cj计算如 公式2所示。
从模型的体素特征点集中提取出曲率值小于阈值的vj,设阈值为0.001,记 为 代表了模型平坦区域的点,从而筛除了大部分噪声点。重新构建 KD-tree,对进行球形范围的点搜索采用球形范围搜索的原因是希望能 够囊括目标标记物的表面来进行表面识别。设范围半径为7mm,立方体标记物 的ftemplate在上表面的最中央,如图2所示,从ftemplate出发,半径7mm范围内要 囊括到立方体标记物的多个面。
根据的信息并基于点法线分布来为计算特征。立方体标记物的对应法线由于已经被单位化处理,如果把的起点移动至原点(0,0,0) 上,那么的终点就会落在半径为1,球心为(0,0,0)的球面上,记为如附图2所示。可以看到,由于在同一平面的法线具有相同或相似的指向,所以 会分为五簇,分别是五个平面所指的方向。对于圆柱体标记物也有类似的性 质。如图3所示,圆柱体平面部分的会集中为一簇,而侧面的会在赤道 附近围成一个圈。
因此,可以根据的分布情况知道标记物的规律,描述的特征。由于 球面的北极方向需要与对应的方向一致,所以首先需要把球面根据参 考向量axisz=(0,0,1)旋转至合适的方向。旋转轴计算公式如公式3所示,两向量 的夹角计算如公式4所示,在三维空间中的旋转矩阵如公式5所示,旋转公 式如公式6所示,球面与axisz=(0,0,1)对齐后得到球面。生成一个边长为 2mm的立方体,并且等分成27(3*3*3)个体素,把立方体的中心移动到球心, 会落在各个体素中,统计每个体素中点的数量,生成27维的特征向量hj。对 于标记物模板,以同样的方法计算出模板标记点的特征向量htemplate。根据公式7, 即可从特征向量集合计算得与htemplate最相似的hj的所在索引J,对应的特征向量 记作hJ,hJ确定后,模型中标记物的表面就被定位到了,识别结果如附图7所示。
本实施例可以用于后续的自动化配准中,在识别模型上的标记物表面后,通 过分析标记物上的各个平面,求得正交平面的关系,便可以确定笛卡尔坐标系的 原点和坐标轴,从而确定整个坐标系。
本实施例通过分析标记物表面点云信息,构建基于法线的球面分布的特征描 述向量的算法,提高了标记物检测的准确性。
本实施例基于法线的球面分布的特征描述向量进行标记物表面识别,为全自 动配准提供了新思路,可以通过分析各个表面的点云信息来进行自动化配准。本 技术运用到后续的自动配准中,将有效地减小和缩短传统的通过手动或半自动配 准方法带来的配准误差和操作时间。
附图中描述位置关系的用语仅用于示例性说明,不能理解为对本专利的限制;
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非 是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明 的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施 方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进 等,均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种物理到图像/图像到物理的自动配准方法,其特征在于,所述方法包括以下步骤:
S1:输入标记物模板的三维图像,构建标记物模板的特征向量htemplate;
输入目标模型的三维图像,构建目标模型的特征向量hj;
S2:对特征向量htemplate和特征向量hj进行特征匹配,从模板模型中识别出与标记物模板的标记点最接近的特征点;
S3:求出标记物表面上的点,并打上对应的标签;
S4:输出带有标记物表面标签的目标模型三维图像。
2.根据权利要求1所述物理到图像/图像到物理的自动配准方法,其特征在于,S1中构建标记物模板的特征向量htemplate包括以下步骤:
步骤(1):对标记物模板的三维图像进行体素化质心降采样,形成新的但点数量更少的三维图像;
步骤(2):对降采样后的三维图像进行法线估计;
步骤(3):将所有点法线方向指向模板外部,同时进行单位化处理;
步骤(4):设置标记物模板搜索半径,利用KD-tree提取标记物模板的特征点ftemplate在标记物模板搜索半径范围内的点和点法线,把法线的起点平移至原点(0,0,0);由于法线经过了单位化处理,法线的终点会落在半径为1的球面上;
步骤(5):构建标记物模板参考立方体,并且等分成27个体素,把参考立方体的中心移动到球心,统计法线终点在每个体素中的数量,生成27维的特征向量htemplate。
3.根据权利要求2所述物理到图像/图像到物理的自动配准方法,其特征在于,步骤(2)具体为:采用KD-tree数据结构快速寻找图像中每个点的近邻点集;
以每个点与其近邻点集构成了局部表面,计算该局部表面的法线作为每个点的点法线。
4.根据权利要求2所述物理到图像/图像到物理的自动配准方法,其特征在于,S1中构建目标模型的特征向量hj包括以下步骤:
步骤一:对目标模型的三维图像进行体素化质心降采样,使体素化参数与标记物模板的降采样参数一致;
步骤二:对降采样后的三维图像进行每个点法线mj估计和曲率估计;
步骤三:将所有的点法线mj方向指向模型外部,同时进行单位化处理;
步骤五:遍历平坦区域的点及点法线设置目标模型搜索半径,利用KD-tree提取每个在目标模型搜索半径范围内的点和法线,设其集为把的起点平移至原点(0,0,0),即是其终点会落在半径为1mm的球面上,记为旋转球面使得与z轴重合;
步骤六:构建目标模型参考立方体,并且等分成27个体素,把目标模型参考立方体的中心移动到球心,统计法线终点在每个体素中的数量,生成27维的特征向量hj。
8.根据权利要求4所述物理到图像/图像到物理的自动配准方法,其特征在于,S2所述特征匹配,是根据特征向量的余弦相似度来进行匹配。
9.根据权利要求4所述物理到图像/图像到物理的自动配准方法,其特征在于,所述特征匹配的是标记物的表面。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011003357.7A CN112330723B (zh) | 2020-09-22 | 2020-09-22 | 一种物理到图像/图像到物理的自动配准方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011003357.7A CN112330723B (zh) | 2020-09-22 | 2020-09-22 | 一种物理到图像/图像到物理的自动配准方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112330723A true CN112330723A (zh) | 2021-02-05 |
CN112330723B CN112330723B (zh) | 2023-08-01 |
Family
ID=74303929
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011003357.7A Active CN112330723B (zh) | 2020-09-22 | 2020-09-22 | 一种物理到图像/图像到物理的自动配准方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112330723B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109785374A (zh) * | 2019-01-23 | 2019-05-21 | 北京航空航天大学 | 一种牙科增强现实手术导航的自动实时无标记图像配准方法 |
CN110415342A (zh) * | 2019-08-02 | 2019-11-05 | 深圳市唯特视科技有限公司 | 一种基于多融合传感器的三维点云重建装置与方法 |
CN110462681A (zh) * | 2017-02-23 | 2019-11-15 | 港大科桥有限公司 | 用于物理到图像/图像到物理配准和图像验证的多个表面 |
-
2020
- 2020-09-22 CN CN202011003357.7A patent/CN112330723B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110462681A (zh) * | 2017-02-23 | 2019-11-15 | 港大科桥有限公司 | 用于物理到图像/图像到物理配准和图像验证的多个表面 |
CN109785374A (zh) * | 2019-01-23 | 2019-05-21 | 北京航空航天大学 | 一种牙科增强现实手术导航的自动实时无标记图像配准方法 |
CN110415342A (zh) * | 2019-08-02 | 2019-11-05 | 深圳市唯特视科技有限公司 | 一种基于多融合传感器的三维点云重建装置与方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112330723B (zh) | 2023-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109785374B (zh) | 一种牙科增强现实手术导航的自动实时无标记图像配准方法 | |
US9292920B2 (en) | Methods and systems for producing an implant | |
Damas et al. | Forensic identification by computer-aided craniofacial superimposition: a survey | |
US9275191B2 (en) | Methods and systems for producing an implant | |
JP5584441B2 (ja) | ボリュームデータ間の対応付け方法 | |
CN113112609A (zh) | 一种面向肺部活检支气管镜的导航方法和系统 | |
CN111640143B (zh) | 一种基于PointNet的神经导航快速面配准方法及系统 | |
CN107240128B (zh) | 一种基于轮廓特征的x线片和彩色照片配准方法 | |
CN109965979A (zh) | 一种无需标志点的稳健的神经导航自动注册方法 | |
Li et al. | A vision-based navigation system with markerless image registration and position-sensing localization for oral and maxillofacial surgery | |
CN117958970A (zh) | 一种基于ct与激光口扫的口腔手术实时导航方法 | |
Long et al. | A marching cubes algorithm: application for three-dimensional surface reconstruction based on endoscope and optical fiber | |
CN117078840A (zh) | 基于ct图像的髋关节三维建模的自动定量计算方法 | |
CN112330723B (zh) | 一种物理到图像/图像到物理的自动配准方法 | |
WO2020136303A1 (es) | Procedimiento de identificación de imágenes óseas | |
Menaka et al. | A novel feature extraction scheme for visualisation of 3D anatomical structures | |
Yaniv | Rigid registration | |
Zhang et al. | Performance analysis of active shape reconstruction of fractured, incomplete skulls | |
Schön et al. | Automatic coarse registration of 3D surfaces | |
Wu et al. | Multiple Geometric surfaces detection in Geometric Coordination Registration for implant surgery virtual planning and assessment | |
Wang et al. | Geometric Analysis of 3D Facial Image Data: A Survey | |
WO2021213450A1 (en) | Method and system to augment medical scan image information on extended reality image | |
Ji et al. | An Automatic Measurement System for Ulna Bone Morphological Parameters Based on 3D Slicer Software | |
Aliani et al. | Optimizing texture representation in 3D medical models using an RGBD camera | |
Cao et al. | Comparative Study of Feature-Based Surface Matching Automatic Coarse Registration Algorithms for Neuronavigation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |