CN112132876A - 2d-3d图像配准中的初始位姿估计方法 - Google Patents

2d-3d图像配准中的初始位姿估计方法 Download PDF

Info

Publication number
CN112132876A
CN112132876A CN202011026902.4A CN202011026902A CN112132876A CN 112132876 A CN112132876 A CN 112132876A CN 202011026902 A CN202011026902 A CN 202011026902A CN 112132876 A CN112132876 A CN 112132876A
Authority
CN
China
Prior art keywords
image
registered
original
normal
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011026902.4A
Other languages
English (en)
Other versions
CN112132876B (zh
Inventor
孙涛
郭可
刘传耙
宋轶民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202011026902.4A priority Critical patent/CN112132876B/zh
Publication of CN112132876A publication Critical patent/CN112132876A/zh
Application granted granted Critical
Publication of CN112132876B publication Critical patent/CN112132876B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了2D‑3D图像配准中的总体初始位姿估计方法，步骤为：识别原始正交平面图像，对包含多个目标的图像通过分割、赋值得到待配准正交图像；然后从扫描得到的包含待配准目标的原始三维数据中提取、赋值得到待配准目标体数据，通过相关数字重建影像将目标体数据投影生成原始空间位姿下的正交匹配模板。后续将正交匹配模板与待配准正交图像配准得到的平面配准参数通过正交投影原理转换为空间参数，再利用空间参数生成新的参照图与待配准图像重叠显示，根据正侧位重叠效果的不同进行人工校正，最后按人工校正对象得到的平面参数选择对应映射处理，即可实现空间5个参数的有效估计。采用本方法加快了配准效率，减少了初始位姿估计的误差。

Description

2D-3D图像配准中的初始位姿估计方法
技术领域
本发明涉及初始位姿估计方法，尤其涉及2D-3D图像配准中的初始位姿估计方法。
背景技术
2D-3D配准是利用计算机技术实现同一目标物体的二维平面图像数据与三维空间图像数据在空间位置和结构纹理上的对齐，完成二维像素平面和三维模型空间的统一，进而建立二者坐标的转换关系。
大部分2D-3D配准是将三维体数据通过数字重建影像技术投影生成DRR图像，比较DRR图像与平面图像的相似性，再不断改变投影环境下三维体数据的六个空间参数，生成新的DRR图像继续与平面图像比较，直至某一位置下投影生成的DRR图像和平面图像间的相似性达到最大，此时得到的三维体数据的空间参数，就是在相同相机坐标系下生成2D平面图像所对应3D实体的三维位姿，当生成DRR图像的起始空间参数即初始位姿越接近3D实体的真实位姿，配准的成功率就越高，配准时间也越短。目前，对于初始位姿的估计通常有以下方法，如目标对象植入标记物、粘贴标记点和探针拾取点的方式，在配准前进行标记物的追踪获取初始位姿；或者通过成像设置，限制目标在成像设备下的位置(如正侧位、前后位等)，以及用户识别图像中的结构特征位置实现初始位姿的估计。尽管上述操作能获取初始位姿，但这些方法主要存在如下不足：1)通过植入物完成初始位姿估计需要额外的操作，具有过程复杂的缺点，也可能造成目标结构的变化；2)未考虑标记点与探针因目标弹性变形或非刚体结构产生的误差、可被估计的空间参数数量少，获得的初始位姿精度较差；3)自动化程度低，增加了2D-3D配准的准备时间，降低了配准效率；4)配准研究的对象为单一目标，缺少对多目标对象的初始位姿获取。
综上，现有的初始位姿估计方法难以满足2D-3D高精度图像配准的要求。
发明内容
本发明的目的在于克服已有技术的缺点，提供一种操作方便、效率快、精度高，且具有人机交互简单化等特点的2D-3D图像配准中的初始位姿估计方法。
本发明的技术方案：
本发明的2D-3D图像配准中的总体初始位姿估计方法，包括以下步骤：
(1)识别原始正交双平面图像，所述的原始正交双平面图像包括原始正位图像和原始侧位图像，原始正位图像和原始侧位图像都是在同一相机坐标系下，拍摄角度相差90°生成的图像，相机正位光源到原始正位图像中点、相机侧位光源到原始侧位图像中点的距离相同，同时相机正位光源与原始正位图像中点连线所在的直线为原始正位图像的法向量，相机侧位光源与原始侧位图像中点连线所在的直线为原始侧位图像的法向量。对原始正交双平面图像中含多目标的图像通过区域生长算法进行分割，提取原始正交双平面图像中需要进行配准的2D目标用于后续初始位姿估计；
(2)采用图像处理软件Mimics从包含待配准目标实体的原始三维体数据中，提取与待配准正位图像以及待配准侧位图像中的2D待配准目标相对应的3D目标体数据，再通过MATLAB软件对提取的待配准目标的3D目标体数据进行格式转换和重采样处理，最后构建投影坐标系O-XYZ，通过正交投影获得与待配准正位图像分辨率大小和像素尺寸一致的原始空间位姿下的正位匹配模板，以及与待配准侧位图像分辨率大小和像素尺寸一致的原始空间位姿下的侧位匹配模板，所述的正位匹配模板和侧位匹配模板组成双平面匹配模板，所述原始空间位姿是指目标体数据在投影坐标系下沿X轴、Y轴和Z轴的移动参数和转动参数都为0时的空间位姿；
(3)利用归一化互相关作为相似性测度，分别实现待配准正位图像和正位匹配模板之间以及待配准侧位图像和侧位匹配模板之间的配准，得到正位和侧位的配准参数，具体步骤包括：
(3a)在待配准正位图像上建立正位配准坐标系o-uvw，所述的正位配准坐标系以待配准正位图像的中心点作为坐标系原点，水平轴为u轴，与正位像素坐标系x轴平行，垂直轴为v轴，与正位像素坐标系轴y平行，根据右手法则确定z轴为待配准正位图像的中心法向量，采用同样的方法在正位匹配模板上建立正位配准坐标系，将待配准正位图像和正位匹配模板进行配准，步骤为：
待配准正位图像作为固定图像，正位匹配模板图像作为移动图像，通过Powell优化搜索算法实现对固定图像平面三个参数的搜索，所述的三个参数包括沿正位配准坐标系下的u/v轴方向的两个平面移动参数和一个绕w轴的转动参数，当作为衡量图像间相似性的归一化互相关系数值最大时，待配准正位图像与正位匹配模板完成配准，此时的三个平面参数即为正位配准的参数；
(3b)重复步骤(3a)实现待配准侧位图像和侧位匹配模板的配准，得到三个侧位配准参数，正位配准参数和侧位配准参数构成了平面配准参数；
(4)根据步骤(2)中构建的投影坐标系，能够通过正交投影原理得到空间参数与平面参数的映射关系，然后将步骤(3)得到的平面配准参数转换为空间参数，实现对目标体数据在构建的投影坐标系下5个空间参数的初始位姿估计，所述的5个参数为目标体数据沿投影坐标系的X、Y、Z坐标轴的移动参数Tx、Ty、Tz以及绕X、Y坐标轴的转动参数Rx和Ry；
(5)利用步骤(4)得到的5个空间转换参数的估计值，再设置绕Z坐标轴转动参数Rz的值为0，即能够通过这6个空间参数生成正位参照图和侧位参照图，所述的正位参照图、待配准正位图像、侧位参照图以及待配准侧位图像具有相同的图像分辨率和像素尺寸；
(6)将待配准正位图像和正位参照图进行显示，当两张图像重叠效果好、图像间的差异小，不需要对步骤(3)得到的正位平面配准参数进行校正，执行步骤(8)；当两张图像重叠效果差、图像间的差异大，需要对步骤(3)得到的正位平面配准参数校正，执行下一步；
(7)通过MATLAB软件采用人机交互的方法实现待配准正位图像与正位匹配模板的重新配准，得到正位的新的平面配准参数；
(8)将待配准侧位图像和侧位参照图进行显示，重复步骤(6)若两张图像重叠效果好、图像间的差异小，则执行步骤(9)；否则重复步骤(7)，得到侧位的新的平面配准参数，然后再执行步骤(9)；
(9)根据正位平面配准参数和侧位平面配准参数是否需要进行人工校正的不同情形，分别进行以下操作：
若正位平面配准参数和侧位平面配准参数都不需要进行人工校正，则步骤(4)得到的估计值即为初始位姿估计参数；
若正位平面配准参数和侧位平面配准参数都需要进行人工校正，则将人工校正得到的正位和侧位的新的平面配准参数通过步骤(4)中的映射关系转换为空间参数，即得到人工校正后目标体数据在投影坐标系下5个参数的初始位姿估计；
若正位平面配准参数需要进行人工校正而侧位平面配准参数不需要进行人工校正，则将正位的新的平面配准参数代替步骤(3)中的正位平面配准参数，然后和侧位平面配准参数通过步骤(4)中的映射关系转换为空间参数，即得到人工校正后目标体数据在投影坐标系下5个参数的初始位姿估计；
若正位平面配准参数不需要进行人工校正而侧位平面配准参数需要进行人工校正，则将侧位的新的平面配准参数代替步骤(3)中的侧位平面配准参数，然后和正位平面配准参数通过步骤(4)中的映射关系转换为空间参数，即得到人工校正后目标体数据在投影坐标系下5个参数的初始位姿估计。
本发明具有的优点和积极效果是：本发明方法利用区域生长算法实现多目标图像的分割，提取需要进行配准2D目标，可实现多个对象的初始位姿估计；将待配准平面图像与匹配模板配准得到的平面配准参数通过正交投影原理完成对空间参数的转换，可实现投影环境下空间5个参数的有效估计；用户图像识别校验的引入，保证了初始位姿估计的成功，在加快配准效率的同时减少了人机交互的复杂过程，使整个初始位姿估计具有操作简单、自动化程度高的特点。
附图说明
图1是本发明的2D-3D图像配准中的初始位姿估计方法的整体流程图；
图2是多目标图像分割的子流程图；
图3是数字重建影像投影的子流程图；
图4是正交投射原理示意图；
图5(a)是一个不规则物体的待配准正位图像；
图5(b)为图5(a)初始位姿估计后生成的正位参照图；
图5(c)为待配准正位图像和正位参数图的重叠图像；
图5(d)为人工校正后的重叠图像。
具体实施方式
为能进一步了解本发明的发明内容、特点及功效，兹例举以下实施例，并配合附图详细说明如下：
参见附图1，本发明的2D-3D图像配准中的总体初始位姿估计方法，包括以下步骤：
(1)识别原始正交双平面图像，所述的原始正交双平面图像包括原始正位图像和原始侧位图像。原始正位图像和原始侧位图像都是在同一相机坐标系下，经不同拍摄角度(拍摄角度相差90°，即正交投影)生成的图像，相机正位光源到原始正位图像中点、相机侧位光源到原始侧位图像中点的距离都为s，同时相机正位光源与原始正位图像中点连线所在的直线为原始正位图像的法向量，相机侧位光源与原始侧位图像中点连线所在的直线为原始侧位图像的法向量。对原始正交双平面图像中含多目标的图像通过区域生长算法进行分割，提取原始正交双平面图像中需要进行配准的2D目标用于后续初始位姿估计。
作为本发明的一种实施方式，采用MATLAB软件执行步骤(1)具体过程为：
(1a)采用人机交互的方法对原始正交双平面图像进行识别，如果原始正交双平面图像中所含目标为一个对象，则执行步骤(2)，否则执行下一步；
(1b)原始正交双平面图像的分辨率都为L×L，像素尺寸都为n×n，首先对原始正位图像进行分割，分割方法为：
第一步，取原始正位图像中待配准目标内的任意一点I作为种子点，即像素搜索的起始点；
第二步，对原始正位图像中的待配准目标与背景进行像素分析，根据包含待配准目标的原始实体的材质(如实体的材质可以为钢、塑料等不同材料属性)选择阈值所在的区间，生长准则通过阈值设置来实现，即设置阈值上限P和阈值下限Q，将种子点和周围领域的像素点进行比较，当邻域像素点在阈值范围内时，将这些具有相似性质的点合并起来继续向外生长，相似的点则作为下次生长的种子点；
第三步，构建一个领域滤波器，具体步骤为；
首先，在原始正位图像上建立正位像素坐标系p-xy，所述的正位像素坐标系的原点p在原始正位图像左上角顶点，水平轴为x轴，垂直轴为y轴；
然后，根据待配准目标区域的图像面积和形状，建立一个与待配准目标区域的轮廓线宽度范围相近的领域(当待配准目标区域较大时，应该选用较大的领域滤波器，当待配准图像区域较小时，应该选用较小的领域滤波器，滤波器的选择没有硬性要求)，即在正位像素坐标系中设置领域滤波器在原始正位图像x轴方向上的长度为a，在y轴方向上的长度为b，产生a×b像素大小的邻域，用来过滤输入待配准目标图像中的噪声，以此决定一个像素是否在待配准目标区域中，直至不再有像素满足加入此区域的准则时，区域生长停止，得到生长区域的导出图像，所述的导出图像为二值图像，其分辨率和像素尺寸与原始正位图像相同，即分辨率为L×L，像素尺寸为n×n；
第四步，采用人机交互的方法对二值图像进行判断，如果二值图像中只有待配准目标，则进行步骤(1c)，否则进行第五步；
第五步，当导出的二值图像不止包括待配准目标时，采用手动分割方法将与待配准目标相连的区域切除，得到只包含待配准目标的二值图像,然后进行下一步；
(1c)所述的二值图像仅有0和1这两个像素值，若二值图像中某个坐标点像素值为1，则该点属于待配准目标区域，此时待配准正位图像与原始正位图像在像素坐标系中该坐标点处的像素灰度值一致；若二值图像中某个坐标点的像素值为0，则该点不属于待配准目标区域，待配准正位图像上该点的像素灰度值等于原始正位图像中背景像素的灰度平均值。
根据上述原理，基于步骤(1b)导出的二值图像进行赋值操作，得到与原始正位图像相同分辨率和像素尺寸的待配准正位图像。
作为本发明的一种实施方式，利用MATLAB软件执行步骤(1c)，具体过程为：
第一步，构建一张与原始正位图像具有相同分辨率与像素尺寸的新图像，所述新图像上每个坐标点的初始像素灰度值皆为0；
第二步，采用与在原始正位图像上构建正位像素坐标系相同的方法在二值图像上构建二值图像像素坐标系，然后对在二值图像像素坐标系中的二值图像上的每个坐标点进行判断，若该坐标点像素的值为1，将原始正位图像上相同坐标点的像素灰度值匹配给新图像，即S'(p'ij)＝S(pij),i,j＝1,2…L；否则，该点像素的值为0，将正位图像中背景像素的灰度平均值匹配给新图像上的相同坐标点，即S'(p'ij)＝S(m),i,j＝1,2…L。其中为S和S'分别为原始正位图像和新图像，pij和p'ij分别为原始正位图像和新图像在(i,j)坐标点处的像素值，m为原始正位图像背景像素的灰度平均值。
第三步，采用与在原始正位图像上构建正位像素坐标系相同的方法在新图像中构建新图像像素坐标系，对新图像中每个坐标点的像素采用对应的匹配值进行赋值，得到待配准正位图像。
(1d)对多目标的原始侧位图像重复步骤(1b)-(1c)，得到待配准侧位图像；
(2)采用图像处理软件Mimics从包含待配准目标实体的原始三维体数据中，提取与待配准正位图像以及待配准侧位图像中的2D待配准目标相对应的3D目标体数据，再通过MATLAB软件对提取的待配准目标的3D目标体数据进行格式转换和重采样处理，最后构建投影坐标系O-XYZ，通过如附图3所示的正交投影，获得与待配准正位图像分辨率大小和像素尺寸一致的原始空间位姿下的正位匹配模板，以及与待配准侧位图像分辨率大小和像素尺寸一致的原始空间位姿下的侧位匹配模板，所述的正位匹配模板和侧位匹配模板组成双平面匹配模板，所述原始空间位姿是指目标体数据在投影坐标系下沿X轴、Y轴和Z轴的移动参数和转动参数都为0时的空间位姿。
作为本发明的一种实施方式，所述的步骤(2)具体执行以下步骤：
(2a)对包含待配准目标实体进行扫描，得到在扫描自带空间坐标系下包含待配准目标实体的原始三维体数据，若原始三维体数据只包括待配准目标的实体，则不需要对原始三维体数据进行单独提取，执行步骤(2c)；否则，执行步骤(2b)；
(2b)利用Mimics图像处理软件从原始三维体数据中对只包含待配准目标实体的体数据进行选择，并导出为Mimics体数据。遍历导出的Mimics体数据(导出的Mimics体数据为层级二值图像)并且基于原始三维体数据(得到的Mimics体数据还不能直接用，因为层级二值图像是黑白图像，没有原始三维数据的像素信息，所以需要通过原始三维体数据进行赋值)，采用步骤(1c)的方法对Mimics体数据中的每一层二值图像进行赋值操作，得到目标体数据；
(2c)将目标体数据文件转换为NII格式的文件，并且经过重采样处理进行保存，方便后续数据处理；
(2d)采用图像处理软件(如：MATLAB)进行以下操作：
第一步，在目标体数据中建立投影坐标系O-XYZ，所述投影坐标系原点为目标体数据中待配准目标3D实体的旋转中心(原始三维数据以图4所示为例是一个长方体数据，目标体数据也是同样大小的长方体数据，只不过后者是从前者中提取出的只包含待配准目标实体的体数据，而待配准目标实体的重心并不一定是长方体的中点，所以需要将待配准目标实体的重心设置为目标体数据的旋转中心才能实现投影坐标系下的转换)；投影坐标系的X轴、Y轴和Z轴与扫描自带空间坐标系下的X轴、Y轴和Z轴方向一致；在正交投影过程中令投影正位光源S1在Y轴上，投影侧位光源S2在X轴上，投影正位光源到投影正位图像中点的距离、投影侧位光源到投影侧位图像中点的距离与步骤(1)中相机正位光源到原始正位图像中点、相机侧位光源到原始侧位图像中点的距离都为s；所述的旋转中心是投影正位光源S1到投影正位图像中心、投影侧位光源S2到投影侧位图像中心的距离中点；
第二步，设置投影正位图像的分辨率为L×L，像素尺寸为n×n；
第三步，采用现有方法(如可以参见文献：刘博，《一种数字影像重建算法及其增强技术》，2006，第十一届中国体视学与图像分析学术会议论文集)设定光线追踪算法中的衰减系数、插值函数以及正位投影光线的数量与路径，并在MATLAB中调用包含光线追踪算法的图像处理工具包，对处于原始空间位姿的目标体数据进行正位投影，所述原始空间位姿是指目标体数据在投影坐标系下沿X轴、Y轴和Z轴的移动参数和转动参数都为0时的空间位姿，即可得到在原始空间位姿下与待配准正位图像对应的分辨率为L×L，像素尺寸为n×n的正位匹配模板；
(2e)重复步骤(2d)操作，不改变目标体数据的空间位姿，只对投影环境的成像角度进行90度改变，生成与待配准侧位图像对应的侧位匹配模板，所述的正位匹配模板和侧位匹配模板构成正交双平面匹配模板；
(3)利用归一化互相关作为相似性测度，分别实现待配准正位图像和正位匹配模板之间以及待配准侧位图像和侧位匹配模板之间的配准，得到正位和侧位的配准参数，具体步骤包括：
(3a)在待配准正位图像上建立正位配准坐标系o-uvw，所述的正位配准坐标系以待配准正位图像的中心点作为坐标系原点，水平轴为u轴，与正位像素坐标系x轴平行，垂直轴为v轴，与正位像素坐标系轴y平行，根据右手法则确定z轴为待配准正位图像的中心法向量，采用同样的方法在正位匹配模板上建立正位配准坐标系。将待配准正位图像和正位匹配模板进行配准，步骤为：
待配准正位图像作为固定图像，正位匹配模板图像作为移动图像，通过Powell优化搜索算法实现对固定图像平面三个参数的搜索，所述的三个参数包括沿正位配准坐标系下的u/v轴方向的两个平面移动参数和一个绕w轴的转动参数，当作为衡量图像间相似性的归一化互相关系数值最大时，待配准正位图像与正位匹配模板完成配准，此时的三个平面参数即为正位的平面配准参数；
(3b)重复步骤(3a)实现待配准侧位图像和侧位匹配模板的配准，得到三个侧位的平面配准参数，正位平面配准参数和侧位平面配准参数构成了正交平面配准参数；
(4)根据步骤(2)中构建的投影坐标系(作为本发明的一种实施方式，可以采用步骤(2d)中构建的投影坐标系)，通过正交投影原理得到空间参数与平面参数的映射关系，然后将步骤(3)得到的正交平面配准参数转换为空间参数，实现对目标体数据在构建的投影坐标系下5个空间参数的初始位姿估计，所述的5个参数为目标体数据沿投影坐标系的X、Y、Z坐标轴的移动参数Tx、Ty、Tz以及绕X、Y坐标轴的转动参数Rx和Ry。
对步骤(4)结合附图4具体说明如下：
根据步骤(2)中的投影环境参数，通过建立投影坐标系可得到图4所示正交投影原理图，图中S1和S2分别为正位投影光源、侧位投影光源，
Figure BDA0002702384350000091
为目标体数据，目标体数据分别由沿空间坐标系的X、Y、Z三个坐标轴的移动参数Tx、Ty、Tz和绕这三个坐标轴的转动参数Rx、Ry、Rz决定，
Figure BDA0002702384350000092
为目标体数据经正交投影后在二维平面上的图像。tx、ty和tz为目标体数据沿空间坐标轴的平移操作，ωx、ωy和ωz为目标体数据绕对应坐标轴的旋转操作。当目标体数据发生平移或旋转时，二维平面上的图像也会发生相应改变，因此可以根据二维平面上图像的改变来反向推导目标体数据的变换，即通过待配准正位图像与正位匹配模板、待配准侧位图像与侧位匹配模板的配准，推导目标体数据在投影坐标系下的空间变换。其中的转换过程即为空间参数到平面参数的映射，映射关系表达式为：
Figure BDA0002702384350000093
式中，k值的1和2分别表示正位、侧位，Pk为正交投影过程，即将目标体数据在空间参数的变化转变为投影正位图像的改变以及投影侧位图像的改变，δk是由插值算法引起的小范围波动误差。
由图4可以看出，X轴和Y轴分别为投影侧位图像和投影正位图像的中心法向量，而Z轴与X轴和Y轴垂直，即Z轴与图中两个平面平行，所以当目标体数据发生tx、ty、tz、ωx和ωy变换时，二维平面上图像改变较大，而目标体数据发生ωz变换时，二维平面上图像的改变较小，所以通过二维平面上图像的改变来完成目标体数据空间位姿的估计时，需要限制参数Rz的大小，此时可利用步骤(3)得到的平面配准参数，实现目标体数据在步骤(4)构建的投影坐标系下5个参数的初始位姿估计。
(5)利用步骤(4)得到的5个空间转换参数的估计值，再设置绕Z坐标轴转动参数Rz的值为0，即能够通过这6个空间参数生成正位参照图和侧位参照图，所述的正位参照图、待配准正位图像、侧位参照图以及待配准侧位图像具有相同的图像分辨率和像素尺寸。
(6)将待配准正位图像和正位参照图进行显示，因为传统人工交互配准误差一般在10°或10mm的范围内，所以当两张图像重叠效果好、图像间的差异小，不需要对步骤(3)得到的正位平面配准参数进行校正，即估计误差Δ小于人工配准范围(所述估计误差Δ是目标体数据的估计空间参数与真实空间参数的差值)时，则执行步骤(8)。而当两张图像重叠效果差、图像间的差异大，需要对步骤(3)得到的正位平面配准参数校正，即估计误差Δ大于人工配准范围时，执行下一步；
(7)通过MATLAB软件采用人机交互的方法实现待配准正位图像与正位匹配模板的重新配准，得到正位的新的平面配准参数；
(8)将待配准侧位图像和侧位参照图进行显示，重复步骤(6)若两张图像重叠效果好、图像间的差异小，则执行步骤(9)；否则重复步骤(7)，得到侧位的新的平面配准参数，然后再执行步骤(9)；
(9)根据正位平面配准参数和侧位平面配准参数是否需要进行人工校正的不同情形，分别进行以下操作：
若正位平面配准参数和侧位平面配准参数都不需要进行人工校正，则步骤(4)得到的估计值即为初始位姿估计参数；
若正位平面配准参数和侧位平面配准参数都需要进行人工校正，则将人工校正得到的正位和侧位的新的平面配准参数通过步骤(4)中的映射关系转换为空间参数，即得到人工校正后目标体数据在投影坐标系下5个参数的初始位姿估计；
若正位平面配准参数需要进行人工校正而侧位平面配准参数不需要进行人工校正，则将正位的新的平面配准参数代替步骤(3)中的正位平面配准参数，然后和侧位平面配准参数通过步骤(4)中的映射关系转换为空间参数，即得到人工校正后目标体数据在投影坐标系下5个参数的初始位姿估计；
若正位平面配准参数不需要进行人工校正而侧位平面配准参数需要进行人工校正，则将侧位的新的平面配准参数代替步骤(3)中的侧位平面配准参数，然后和正位平面配准参数通过步骤(4)中的映射关系转换为空间参数，即得到人工校正后目标体数据在投影坐标系下5个参数的初始位姿估计。
下面结合附图对人工校正举例进行说明：
首先将待配准正位图像图5(a)与新生成的正位参照图像图5(b)进行重叠显示得到图5(c)，因为图像间差异较大，所以需要人工配准正位匹配模板和待配准正位图像，配准后的结果如图5(d)所示，此时模板经过的平移和旋转参数值即为正位平面的配准参数。对需要人工校正的待配准侧位图像重复上述人工校正操作，得到侧位平面的配准参数。
本发明的一种针对2D-3D图像配准的初始位姿估计方法，可以减少初始位姿估计过程额外的操作，同时可实现多目标的参数估计，采用平面配准参数进行空间参数的估计，减少了配准时间的同时提高了自动化程度，人机交互校验的方法操作简单，加快了配准效率，减少了初始位姿估计的误差。故本发明的一种针对2D-3D图像配准的初始位姿估计方法可满足图像2D-3D配准起始搜索参数的需求。

Claims (4)

1.2D-3D图像配准中的总体初始位姿估计方法，其特征在于包括以下步骤：
(1)识别原始正交双平面图像，所述的原始正交双平面图像包括原始正位图像和原始侧位图像，原始正位图像和原始侧位图像都是在同一相机坐标系下，拍摄角度相差90°生成的图像，相机正位光源到原始正位图像中点、相机侧位光源到原始侧位图像中点的距离都为s，同时相机正位光源与原始正位图像中点连线所在的直线为原始正位图像的法向量，相机侧位光源与原始侧位图像中点连线所在的直线为原始侧位图像的法向量；对原始正交双平面图像中含多目标的图像通过区域生长算法进行分割，提取原始正交双平面图像中需要进行配准的2D目标用于后续初始位姿估计；
(2)采用图像处理软件Mimics从包含待配准目标实体的原始三维体数据中，提取与待配准正位图像以及待配准侧位图像中的2D待配准目标相对应的3D目标体数据，再通过MATLAB软件对提取的待配准目标的3D目标体数据进行格式转换和重采样处理，最后构建投影坐标系O-XYZ，通过正交投影获得与待配准正位图像分辨率大小和像素尺寸一致的原始空间位姿下的正位匹配模板，以及与待配准侧位图像分辨率大小和像素尺寸一致的原始空间位姿下的侧位匹配模板，所述的正位匹配模板和侧位匹配模板组成双平面匹配模板，所述原始空间位姿是指目标体数据在投影坐标系下沿X轴、Y轴和Z轴的移动参数和转动参数都为0时的空间位姿；
(3)利用归一化互相关作为相似性测度，分别实现待配准正位图像和正位匹配模板之间以及待配准侧位图像和侧位匹配模板之间的配准，得到正位和侧位的配准参数，具体步骤包括：
(3a)在待配准正位图像上建立正位配准坐标系o-uvw，所述的正位配准坐标系以待配准正位图像的中心点作为坐标系原点，水平轴为u轴，与正位像素坐标系x轴平行，垂直轴为v轴，与正位像素坐标系轴y平行，根据右手法则确定z轴为待配准正位图像的中心法向量，采用同样的方法在正位匹配模板上建立正位配准坐标系，将待配准正位图像和正位匹配模板进行配准，步骤为：
待配准正位图像作为固定图像，正位匹配模板图像作为移动图像，通过Powell优化搜索算法实现对固定图像平面三个参数的搜索，所述的三个参数包括沿正位配准坐标系下的u/v轴方向的两个平面移动参数和一个绕w轴的转动参数，当作为衡量图像间相似性的归一化互相关系数值最大时，待配准正位图像与正位匹配模板完成配准，此时的三个平面参数即为正位配准的参数；
(3b)重复步骤(3a)实现待配准侧位图像和侧位匹配模板的配准，得到三个侧位配准参数，正位配准参数和侧位配准参数构成了平面配准参数；
(4)根据步骤(2)中构建的投影坐标系，能够通过正交投影原理得到空间参数与平面参数的映射关系，然后将步骤(3)得到的平面配准参数转换为空间参数，实现对目标体数据在构建的投影坐标系下5个空间参数的初始位姿估计，所述的5个参数为目标体数据沿投影坐标系的X、Y、Z坐标轴的移动参数Tx、Ty、Tz以及绕X、Y坐标轴的转动参数Rx和Ry；
(5)利用步骤(4)得到的5个空间转换参数的估计值，再设置绕Z坐标轴转动参数Rz的值为0，即能够通过这6个空间参数生成正位参照图和侧位参照图，所述的正位参照图、待配准正位图像、侧位参照图以及待配准侧位图像具有相同的图像分辨率和像素尺寸；
(6)将待配准正位图像和正位参照图进行显示，当两张图像重叠效果好、图像间的差异小，不需要对步骤(3)得到的正位平面配准参数进行校正，执行步骤(8)；当两张图像重叠效果差、图像间的差异大，需要对步骤(3)得到的正位平面配准参数校正，执行下一步；
(7)通过MATLAB软件采用人机交互的方法实现待配准正位图像与正位匹配模板的重新配准，得到正位的新的平面配准参数；
(8)将待配准侧位图像和侧位参照图进行显示，重复步骤(6)若两张图像重叠效果好、图像间的差异小，则执行步骤(9)；否则重复步骤(7)，得到侧位的新的平面配准参数，然后再执行步骤(9)；
(9)根据正位平面配准参数和侧位平面配准参数是否需要进行人工校正的不同情形，分别进行以下操作：
若正位平面配准参数和侧位平面配准参数都不需要进行人工校正，则步骤(4)得到的估计值即为初始位姿估计参数；
若正位平面配准参数和侧位平面配准参数都需要进行人工校正，则将人工校正得到的正位和侧位的新的平面配准参数通过步骤(4)中的映射关系转换为空间参数，即得到人工校正后目标体数据在投影坐标系下5个参数的初始位姿估计；
若正位平面配准参数需要进行人工校正而侧位平面配准参数不需要进行人工校正，则将正位的新的平面配准参数代替步骤(3)中的正位平面配准参数，然后和侧位平面配准参数通过步骤(4)中的映射关系转换为空间参数，即得到人工校正后目标体数据在投影坐标系下5个参数的初始位姿估计；
若正位平面配准参数不需要进行人工校正而侧位平面配准参数需要进行人工校正，则将侧位的新的平面配准参数代替步骤(3)中的侧位平面配准参数，然后和正位平面配准参数通过步骤(4)中的映射关系转换为空间参数，即得到人工校正后目标体数据在投影坐标系下5个参数的初始位姿估计。
2.根据权利要求1所述的2D-3D图像配准中的总体初始位姿估计方法，其特征在于：采用MATLAB软件执行步骤(1)具体过程为：
(1a)采用人机交互的方法对原始正交双平面图像进行识别，如果原始正交双平面图像中所含目标为一个对象，则执行步骤(2)，否则执行下一步；
(1b)原始正交双平面图像的分辨率都为L×L，像素尺寸都为n×n，首先对原始正位图像进行分割，分割方法为：
第一步，取原始正位图像中待配准目标内的任意一点作为种子点，即像素搜索的起始点；
第二步，对原始正位图像中的待配准目标与背景进行像素分析，根据包含待配准目标的原始实体的材质选择阈值所在的区间，设置阈值上限和阈值下限，将种子点和周围领域的像素点进行比较，当邻域像素点在阈值范围内时，将这些具有相似性质的点合并起来继续向外生长，相似的点则作为下次生长的种子点；
第三步，构建一个领域滤波器，具体步骤为；
首先，在原始正位图像上建立正位像素坐标系p-xy，所述的正位像素坐标系的原点p在原始正位图像左上角顶点，水平轴为x轴，垂直轴为y轴；
然后，根据待配准目标区域的图像面积和形状，建立一个与待配准目标区域的轮廓线宽度范围相近的领域，即在正位像素坐标系中设置领域滤波器在原始正位图像x轴方向上的长度为a，在y轴方向上的长度为b，产生a×b像素大小的邻域，用来过滤输入待配准目标图像中的噪声，以此决定一个像素是否在待配准目标区域中，直至不再有像素满足加入此区域的准则时，区域生长停止，得到生长区域的导出图像，所述的导出图像为二值图像，其分辨率和像素尺寸与原始正位图像相同；
第四步，采用人机交互的方法对二值图像进行判断，如果二值图像中只有待配准目标，则进行步骤(1c)，否则进行第五步；
第五步，当导出的二值图像不止包括待配准目标时，采用手动分割方法将与待配准目标相连的区域切除，得到只包含待配准目标的二值图像,然后进行下一步：
(1c)基于步骤(1b)导出的二值图像进行赋值操作，得到与原始正位图像相同分辨率和像素尺寸的待配准正位图像；
(1d)对多目标的原始侧位图像重复步骤(1b)-(1c)，得到待配准侧位图像。
3.根据权利要求2所述的2D-3D图像配准中的总体初始位姿估计方法，其特征在于：采用MATLAB软件执行步骤(1c)，具体过程为：
第一步，构建一张与原始正位图像具有相同分辨率与像素尺寸的新图像，所述新图像上每个坐标点的初始像素灰度值皆为0；
第二步，采用与在原始正位图像上构建正位像素坐标系相同的方法在二值图像上构建二值图像像素坐标系，然后对在二值图像像素坐标系中的二值图像上的每个坐标点进行判断，若该坐标点像素的值为1，将原始正位图像上相同坐标点的像素灰度值匹配给新图像，即S'(p'ij)＝S(pij),i,j＝1,2…L；否则，该点像素的值为0，将正位图像中背景像素的灰度平均值匹配给新图像上的相同坐标点，即S'(p'ij)＝S(m),i,j＝1,2…L；其中为S和S'分别为原始正位图像和新图像，pij和p'ij分别为原始正位图像和新图像在(i,j)坐标点处的像素值，m为原始正位图像背景像素的灰度平均值；
第三步，采用与在原始正位图像上构建正位像素坐标系相同的方法在新图像中构建新图像像素坐标系，对新图像中每个坐标点的像素采用对应的匹配值进行赋值，得到待配准正位图像。
4.根据权利要求1-3之一所述的2D-3D图像配准中的总体初始位姿估计方法，其特征在于：所述的步骤(2)具体执行以下步骤：
(2a)对包含待配准目标实体进行扫描，得到在扫描自带空间坐标系下包含待配准目标实体的原始三维体数据，若原始三维体数据只包括待配准目标的实体，则不需要对原始三维体数据进行单独提取，执行步骤(2c)；否则，执行步骤(2b)；
(2b)利用Mimics图像处理软件从原始三维体数据中对只包含待配准目标实体的体数据进行选择，并导出为Mimics体数据；遍历导出的Mimics体数据并且基于原始三维体数据，采用步骤(1c)的方法对Mimics体数据中的每一层二值图像进行赋值操作，得到目标体数据；
(2c)将目标体数据文件转换为NII格式的文件，并且经过重采样处理进行保存；
(2d)采用图像处理软件进行以下操作：
第一步，在目标体数据中建立投影坐标系O-XYZ，所述投影坐标系原点为目标体数据中待配准目标3D实体的旋转中心；投影坐标系的X轴、Y轴和Z轴与扫描自带空间坐标系下的X轴、Y轴和Z轴方向一致；在正交投影过程中令投影正位光源S1在Y轴上，投影侧位光源S2在X轴上；投影正位光源到投影正位图像中点的距离、投影侧位光源到投影侧位图像中点的距离与步骤(1)中相机正位光源到原始正位图像中点、相机侧位光源到原始侧位图像中点的距离都为s；所述的旋转中心是投影正位光源S1到投影正位图像中心、投影侧位光源S2到投影侧位图像中心的距离中点；
第二步，设置投影正位图像的分辨率为L×L，像素尺寸为n×n；
第三步，设定光线追踪算法中的衰减系数、插值函数以及正位投影光线的数量与路径，并在MATLAB中调用包含光线追踪算法的图像处理工具包，对处于原始空间位姿的目标体数据进行正位投影，即可得到在原始空间位姿下与待配准正位图像对应的分辨率为L×L，像素尺寸为n×n的正位匹配模板；
(2e)重复步骤(2d)操作，不改变目标体数据的空间位姿，只对投影环境的成像角度进行90度改变，生成与待配准侧位图像对应的侧位匹配模板，所述的正位匹配模板和侧位匹配模板构成正交双平面匹配模板。
CN202011026902.4A 2020-09-25 2020-09-25 2d-3d图像配准中的初始位姿估计方法 Active CN112132876B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011026902.4A CN112132876B (zh) 2020-09-25 2020-09-25 2d-3d图像配准中的初始位姿估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011026902.4A CN112132876B (zh) 2020-09-25 2020-09-25 2d-3d图像配准中的初始位姿估计方法

Publications (2)

Publication Number Publication Date
CN112132876A true CN112132876A (zh) 2020-12-25
CN112132876B CN112132876B (zh) 2022-03-29

Family

ID=73840308

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011026902.4A Active CN112132876B (zh) 2020-09-25 2020-09-25 2d-3d图像配准中的初始位姿估计方法

Country Status (1)

Country Link
CN (1) CN112132876B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082534A (zh) * 2022-07-21 2022-09-20 杭州三坛医疗科技有限公司 双平面图像配准方法、装置及机器人
CN116327228A (zh) * 2023-03-30 2023-06-27 杭州邦杰星医疗科技有限公司 一种2d-3d图像初始值计算的方法
CN117159138A (zh) * 2023-09-20 2023-12-05 上海涛影医疗科技有限公司 一种基于关节定位的2d-3d配准方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366397A (zh) * 2012-03-31 2013-10-23 上海理工大学 基于c形臂2d投影图像的脊柱3d模型构建方法
CN104637061A (zh) * 2015-01-30 2015-05-20 中国科学院自动化研究所 一种二维三维医学图像配准方法
EP3306567A1 (en) * 2016-10-10 2018-04-11 Globus Medical, Inc. Method and system for improving 2d-3d registration convergence
CN110544279A (zh) * 2019-08-26 2019-12-06 华南理工大学 一种结合图像识别和遗传算法精配准的位姿估计方法
CN111080681A (zh) * 2019-12-16 2020-04-28 电子科技大学 一种基于LoG算子的3D/2D医学图像配准方法
CN111345898A (zh) * 2020-03-18 2020-06-30 上海交通大学医学院附属第九人民医院 激光手术路径引导方法、及其计算机设备和系统
CN111563920A (zh) * 2020-04-15 2020-08-21 西安工程大学 一种全局优化与多约束条件迭代的3d彩色点云配准方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366397A (zh) * 2012-03-31 2013-10-23 上海理工大学 基于c形臂2d投影图像的脊柱3d模型构建方法
CN104637061A (zh) * 2015-01-30 2015-05-20 中国科学院自动化研究所 一种二维三维医学图像配准方法
EP3306567A1 (en) * 2016-10-10 2018-04-11 Globus Medical, Inc. Method and system for improving 2d-3d registration convergence
CN110544279A (zh) * 2019-08-26 2019-12-06 华南理工大学 一种结合图像识别和遗传算法精配准的位姿估计方法
CN111080681A (zh) * 2019-12-16 2020-04-28 电子科技大学 一种基于LoG算子的3D/2D医学图像配准方法
CN111345898A (zh) * 2020-03-18 2020-06-30 上海交通大学医学院附属第九人民医院 激光手术路径引导方法、及其计算机设备和系统
CN111563920A (zh) * 2020-04-15 2020-08-21 西安工程大学 一种全局优化与多约束条件迭代的3d彩色点云配准方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
VAN DER BOM M J，ET AL.: "Robust initialization of 2D-3D image registration using the projection-slice theorem and phase correlation", 《MEDICAL PHYSICS》 *
雷扬: "一种改进的2D-3D医学图像配准算法的设计与实现", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082534A (zh) * 2022-07-21 2022-09-20 杭州三坛医疗科技有限公司 双平面图像配准方法、装置及机器人
CN116327228A (zh) * 2023-03-30 2023-06-27 杭州邦杰星医疗科技有限公司 一种2d-3d图像初始值计算的方法
CN116327228B (zh) * 2023-03-30 2024-04-30 杭州邦杰星医疗科技有限公司 一种2d-3d图像初始值计算的方法
CN117159138A (zh) * 2023-09-20 2023-12-05 上海涛影医疗科技有限公司 一种基于关节定位的2d-3d配准方法及系统
CN117159138B (zh) * 2023-09-20 2024-04-19 上海涛影医疗科技有限公司 一种基于关节定位的2d-3d配准方法及系统

Also Published As

Publication number Publication date
CN112132876B (zh) 2022-03-29

Similar Documents

Publication Publication Date Title
CN109872397B (zh) 一种基于多目立体视觉的飞机零件的三维重建方法
CN112132876B (zh) 2d-3d图像配准中的初始位姿估计方法
CN109974707B (zh) 一种基于改进点云匹配算法的室内移动机器人视觉导航方法
JP5955406B2 (ja) データを位置合わせする方法
JP4785880B2 (ja) 三次元オブジェクト認識のためのシステムおよび方法
CN111899328B (zh) 一种基于rgb数据与生成对抗网络的点云三维重建方法
CN113178009B (zh) 一种利用点云分割和网格修补的室内三维重建方法
CN107833270A (zh) 基于深度相机的实时物体三维重建方法
CN109754459B (zh) 一种用于构建人体三维模型的方法及系统
CN112001926B (zh) 基于多维语义映射rgbd多相机标定方法、系统及应用
JP6483832B2 (ja) Ｒｇｂ−ｄセンサを使用して物体を走査する方法とシステム
CN108230247A (zh) 基于云端的三维地图的生成方法、装置、设备及应用程序
CN110717494A (zh) Android移动端室内场景三维重建及语义分割方法
WO2022253027A1 (zh) 基于高斯分布聚类的水下声呐图像匹配方法
CN114782628A (zh) 基于深度相机的室内实时三维重建方法
Pacheco et al. Reconstruction of high resolution 3D objects from incomplete images and 3D information
CN116681839B (zh) 一种基于改进NeRF的实景三维目标重建与单体化方法
CN106408654B (zh) 一种三维地图的创建方法及系统
CN117197333A (zh) 基于多目视觉的空间目标重构与位姿估计方法及系统
CN116878524A (zh) 一种基于金字塔l-k光流与多视角几何约束的动态slam稠密地图构建方法
Buck et al. Capturing uncertainty in monocular depth estimation: Towards fuzzy voxel maps
CN116797733A (zh) 实时三维物体动态重建方法
Jisen A study on target recognition algorithm based on 3D point cloud and feature fusion
He et al. 3D surface registration using Z-SIFT
CN117872398B (zh) 一种大规模场景实时三维激光雷达密集建图方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant