CN108416735A - 基于几何特征的数字化x线图像的拼接方法及装置 - Google Patents

基于几何特征的数字化x线图像的拼接方法及装置 Download PDF

Info

Publication number
CN108416735A
CN108416735A CN201810222957.9A CN201810222957A CN108416735A CN 108416735 A CN108416735 A CN 108416735A CN 201810222957 A CN201810222957 A CN 201810222957A CN 108416735 A CN108416735 A CN 108416735A
Authority
CN
China
Prior art keywords
image
matching template
picture
piece image
latter picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810222957.9A
Other languages
English (en)
Other versions
CN108416735B (zh
Inventor
袁文
饶玉明
王益民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shen Tu Medical Imaging Device Co Ltd Of Shenzhen
Original Assignee
Shen Tu Medical Imaging Device Co Ltd Of Shenzhen
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shen Tu Medical Imaging Device Co Ltd Of Shenzhen filed Critical Shen Tu Medical Imaging Device Co Ltd Of Shenzhen
Priority to CN201810222957.9A priority Critical patent/CN108416735B/zh
Publication of CN108416735A publication Critical patent/CN108416735A/zh
Application granted granted Critical
Publication of CN108416735B publication Critical patent/CN108416735B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明适用于医学成像技术领域，提供了一种基于几何特征的数字化X线图像的拼接方法及装置，首先，确定前一幅图像和后一幅图像的拼接方向，截取前一幅图像对应位置的N分之一作为匹配模板；然后，提取匹配模板的几何轮廓信息，并根据该几何轮廓信息在后一幅图像中寻找最佳匹配位姿，从而得到该匹配模板在后一幅图像中的准确位置和旋转角度；再然后，根据所述准确位置和旋转角度生成仿射变换矩阵，并利用所述仿射变换矩阵将前一幅图像和后一幅图像的像素坐标统一到同一坐标系，使前一幅图像和后一幅图像对齐；最后，结合仿射变换矩阵将对齐后的图像进行图像融合，得到全景图；本发明提供的拼接方法减少了医学图像的拼接时间，极大的提高了效率。

Description

基于几何特征的数字化X线图像的拼接方法及装置
技术领域
本发明属于医学成像技术领域，尤其涉及一种基于几何特征的数字化X线图像的拼接方法及装置。
背景技术
目前，数字化X线成像设备由于受到其X线探测器的制造工艺和尺寸大小的制约，尚无法直接获取患者全身或大视角范围的X线图像。为解决被检查部位远大于X线探测器面积的问题，实践中常常需要将被检查部位分成若干次拍摄，然后将分次拍摄的有重叠部分的图像按一定规则拼接起来形成全景图，用于诊断和手术方案制定等目的。
一般地，数字化X线图像的拼接过程可分为两个主要步骤：图像对齐和图像融合。图像对齐通过求取图像间像素的几何位置关系，将图像进行空间变换，使得图像中相同目标位于同一坐标；图像融合则是将已在空间上对齐的图像序列按照一定方式进行组合成全景图，以消除图像光强或色彩的不连续性，使得最终的全景图符合观察的需要，如无明暗不均、无明显拼接缝隙等。
目前主要有两种方式用于X线图像对齐，一、基于角点配准，二、基于灰度值，其中，基于角点的计算量大，效率低；基于灰度值的精确度高，但也存在计算量大，导致效率低的问题，且对灰度变化极其敏感，易匹配失败。
发明内容
本发明提供一种基于几何特征的数字化X线图像的拼接方法及装置，旨在解决目前的医学图像拼接过程中，对图像进行对齐操作时耗时长、效率低的问题。
本发明提供了一种基于几何特征的数字化X线图像的拼接方法，包括：
根据输入的图像序列中前一幅图像和后一幅图像之间部分区域的相似性确定图像的拼接方向；
根据所述拼接方向截取所述前一幅图像对应位置的N分之一，作为所述后一幅图像的匹配模板；
提取所述匹配模板的几何轮廓信息，并根据所述匹配模板的几何轮廓信息在所述后一幅图像中寻找最佳匹配位姿，根据所述最佳匹配位姿得到所述匹配模板在所述后一幅图像中的准确位置和旋转角度；
根据所述准确位置和旋转角度生成仿射变换矩阵，并利用所述仿射变换矩阵将所述前一幅图像和所述后一幅图像的像素坐标统一到同一坐标系，使所述前一幅图像和所述后一幅图像对齐；
结合所述仿射变换矩阵将对齐后的所述前一幅图像和所述后一幅图像进行图像融合，得到全景图。
本发明还提供了一种基于几何特征的数字化X线图像的拼接装置，包括：
拼接方向确定模块，用于根据输入的图像序列中前一幅图像和后一幅图像之间部分区域的相似性确定图像的拼接方向；
匹配模板截取模块，用于根据所述拼接方向截取所述前一幅图像对应位置的N分之一，作为所述后一幅图像的匹配模板；
最佳匹配位姿寻找模块，用于提取所述匹配模板的几何轮廓信息，并根据所述匹配模板的几何轮廓信息在所述后一幅图像中寻找最佳匹配位姿，根据所述最佳匹配位姿得到所述匹配模板在所述后一幅图像中的准确位置和旋转角度；
对齐模块，用于根据所述准确位置和旋转角度生成仿射变换矩阵，并利用所述仿射变换矩阵将所述前一幅图像和所述后一幅图像的像素坐标统一到同一坐标系，使所述前一幅图像和所述后一幅图像对齐；
融合模块，用于结合所述仿射变换矩阵将对齐后的所述前一幅图像和所述后一幅图像进行图像融合，得到全景图。
本发明与现有技术相比，有益效果在于：本发明提供的一种基于几何特征的数字化X线图像的拼接方法及装置，首先，确定前一幅图像和后一幅图像的拼接方向，截取前一幅图像对应位置的N分之一作为匹配模板；然后，提取匹配模板的几何轮廓信息，并根据该几何轮廓信息在所述后一幅图像中寻找最佳匹配位姿，从而得到该匹配模板在所述后一幅图像中的准确位置和旋转角度；再然后，根据所述准确位置和旋转角度生成仿射变换矩阵，并利用所述仿射变换矩阵将所述前一幅图像和所述后一幅图像的像素坐标统一到同一坐标系，使前一幅图像和后一幅图像对齐；最后，结合仿射变换矩阵将对齐后的图像进行图像融合，得到全景图；本发明与现有技术相比，采用了图像的几何轮廓作为模板匹配方式实现图像对齐，对存在明显几何轮廓特征的图像，与基于灰度或角点的配准相比，可大大减少计算量，同时对存在灰度变化、部分模糊不清的图像的情况也无影响，算法的鲁棒性好，可快速、准确拼接两幅医学图像，极大的提高了效率。
附图说明
图1是本发明实施例提供的一种基于几何特征的数字化X线图像的拼接方法的流程示意图；
图2a、图2b分别是本发明实施例提供的采用垂直拼接方式和水平拼接方式时，截取模板的位置示意图；
图3a、图3b分别是本发明实施例提供的被搜索的图像和匹配模板的轮廓示意图；
图4是本发明实施例提供的如何获取梯度信息的流程示意图；
图5是本发明实施例提供的图像金字塔的示意图；
图6是本发明实施例提供的匹配模板在后一幅图像中寻找最佳匹配位姿的详细过程示意图；
图7是本发明实施例提供的对齐和融合过程的流程示意图；
图8a是本发明实施例提供的前一幅图像；
图8b是本发明实施例提供的后一幅图像；
图8c是图8a和图8b经过上下拼接融合后得到的全景图；
图9是本发明实施例提供的一种基于几何特征的数字化X线图像的拼接装置的模块示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
由于现有技术中存在通过角点配准或者灰度值配准的方法拼接图像时，耗时长、效率低的技术问题。
为了解决上述技术问题，本发明提出一种基于几何特征的数字化X线图像的拼接方法及装置，采用了图像的几何轮廓作为模板匹配方式实现图像对齐，极大的提高了效率。
下面具体介绍本发明实施例提供的一种基于几何特征的数字化X线图像的拼接方法，如图1所示，包括：
步骤S1，根据输入的图像序列中前一幅图像和后一幅图像之间部分区域的相似性确定图像的拼接方向；
具体地，要实现对输入设备输入的一系列图像序列的拼接目标，首先需要确定相邻两幅图像的拼接方向。如果是可以进行拼接的图像，那么相邻两幅图像的部分区域一定存在相同或相似性，那么可以根据相邻两幅图像之间部分区域的相似性确定拼接方向，所述拼接方向包括：上下拼接方向(即垂直拼接方向)和左右拼接方向(即水平拼接方向)。
具体地，在确定图像的拼接方向时，先水平方向查找相似性，若满足相似性条件，则跳过垂直方向查找，否则进入垂直方向查找。
步骤S2，根据所述拼接方向截取所述前一幅图像对应位置的N分之一，作为所述后一幅图像的匹配模板；
具体地，本发明实施例提供的拼接方向为上下拼接方向(即垂直拼接方向)或左右拼接方向(即水平拼接方向)，若为上下拼接方向，则根据上下拼接方向截取所述前一幅图像底部位置的四分之一，作为后一幅图像的匹配模板；若为左右拼接方向，则根据左右拼接方向截取所述前一幅图像右侧位置的四分之一，作为后一幅图像的匹配模板，如图2a和图2b分别为列举的不同的拼接方式(垂直拼接和水平拼接)时，截取模板的位置示意图。
步骤S3，提取所述匹配模板的几何轮廓信息，并根据所述匹配模板的几何轮廓信息在所述后一幅图像中寻找最佳匹配位姿，根据所述最佳匹配位姿得到所述匹配模板在所述后一幅图像中的准确位置和旋转角度；
下面先具体介绍计算相似度的工作原理：
一、图3a和图3b分别为被搜索的图像(后一幅图像)和匹配模板(前一幅图像)的轮廓，截取的匹配模板经canny边缘检测算子后，得到的匹配模板边缘转换成一系列点集pi＝(xi,yi)T，i＝1,2,3,……,n，对应于每个点有一个梯度方向向量di＝(ti,ui)T，其中，ti表示x方向上的向量，ui表示y方向上的向量，被搜索的图像同样也可以转换成点集和与之对应的方向向量ex,y＝(vx,y,wx,y)T来表示，vx,y表示x方向上的归一化向量，wx,y表示y方向上的归一化向量，图4具体示出了如何获取梯度信息(点和箭头)的过程。模板匹配过程中，经仿射变换后的匹配模板与被搜索的图像在某一位置的子图像进行相似性度量值计算，得到相似度。匹配模板中边缘点梯度向量的旋转变换表达式如下所示：
di'＝R(θ)di (1-1)
其中，
其中，di'表示旋转变换之后的梯度方向向量，R(θ)表示旋转变换矩阵。
二、在搜索图像某位置q＝[x,y]T子图像处，相似性度量函数由式(1-2)给出：
其中，s表示一个轮廓和另一个轮廓的相似度，eq+p'表示单位方向向量。
式(1-2)计算的是匹配模板与被搜索的图像在某一位置的子图像对应边缘点的梯度向量点积平均值。当一对对应边缘点梯度方向相同时，点积取得最大值，梯度方向正交时，点积为零，梯度方向相反时，点积取得负的最大值。计算得到的相似性度量值不方便用于判断被搜索的图像在某一位置的子图像是否为符合要求的结果，即很难确定一个阈值来筛选所需要的结果。因而对(1-2)式进行归一化处理：
上式将转换后的匹配模板与被搜索的图像在点(x,y)处子图像所有对应点的方向向量点积和的归一化。由于对方向向量进行了归一化处理，相似性度量对任意光照变化具有不变性，不管是匹配模板还是搜索图像中有噪声，由于噪声导致的方向向量是随机的，平均起来对以上求和公式没有贡献值，因而具有很好的抗干扰性。表达式(1-3)的取值范围为[-1,1]，返回值为1时，表示匹配模板和被搜索的图像的子图像完全匹配；返回值为-1时，表示图像极性相反。此相似性度量对部分遮挡和混乱情况也能处理，返回值大致与图像相似度成比例。
三、计算相似性度量的终止条件，相似性度量的部分和公式：
其中，sj表示剩余n-j项的和。由归一化相似性度量公式可知，剩余n-j项的和小于(n-j)/n＝1-j/n，所以当部分和满足下式时，即可终止相似性度量的计算。
sj<smin-1+j/n (1-5)
其中，Smin为设定的阈值。
考虑到目标图像可能存在部分遮挡和隐藏的问题，提出了一个改进的终止条件。第一部分采用宽松的阈值判断，剩下的部分采用严格点的阈值判断，通过预设设定一个系数g来实现。
sj<min(smin-1+f.j/n,smin.j/n) (1-6)
其中，f＝(1-g.smin)/(1-smin)，g表示宽松条件，当g＝1时，所有的点都使用严格的终止条件；当g＝0时，所有的点都使用宽松的终止条件来判断。一般情况下，为了保证不产生误判，参数g通常设置为0.9。
即在进行相似性度量时，先采用(1-4)式计算出sj，然后利用(1-6)式判断是否符合提前终止条件，若符合，再采用(1-3)计算相似度，并将计算出的相似度与smin比较，从而得出相似度是否符合预设条件的结论。
下面再结合相似度的工作原理具体介绍通过构建图像金字塔的方法来寻找最佳匹配位姿，从而得到准确位置和旋转角度。
事实上，要达到实时性要求，需要采用更加快速有效的搜索策略。由复杂度O(whNn)可知，其中w-图像宽度，h-图像高度，N-模板点集个数，n-旋转次数。计算相似性度量的运行时间取决于被搜索图像大小、模板边缘点个数以及模板旋转的次数。由粗到精的搜索策略可以有效降低算法的复杂度，即通过降低图像的分辨率得到一个大概的位置，再在高分辨率下得到精确位置，实现这一过程行之有效的办法是构建图像金字塔，如图5所示为本发明实施例建立的图像金字塔。
在构建图像金字塔时，可以只考虑被搜索的图像和匹配模板间隔为i的那些像素点，即隔i行i列重采样图像。对被搜索的图像和匹配模板进行同样的操作，得到低分辨率的图像后，通过计算匹配模板和被搜索的图像子图像的相似性度量值来获取与匹配模板相似图像的大概位置。接着，使用间隔小一点，如i/2的重采样图像，在上一分辨率得到的大概位置的一个小邻域内进行相似性度量计算并判断，获得更精确一些的匹配位置。依此逐步求精，直到得到原分辨率下精确的匹配位置。
基于图像金字塔，可以采取如下的搜索策略：首先，通过穷举使模板以各种姿态遍历一次金字塔最顶层的图像，即分辨率最低的那一层。在计算相似度量值时，可以加入一个合理的停止标准，加快判断效率。然后，将在最顶层找到的位置映射到下一层，在该位置的一定邻域内进行更精细的匹配，依次，直到图像金字塔的最底层，也即得到最高分辨率匹配精度。
所述步骤S3即具体构建图像金字塔的方法包括：
步骤S31，对所述匹配模板和所述后一幅图像分别进行金字塔二分之一采样，得到M层采样后图像，并提取各层图像的几何轮廓信息；
步骤S32，根据金字塔最高层图像的几何轮廓信息并结合相似性度量准则计算所述匹配模板和所述后一幅图像的相似性得分，若所述相似性得分大于第一设定阈值，则得到第一位置和旋转角度；
具体地，若所述相似性得分不大于第一设定阈值，则搜索失败，结束搜索操作。
步骤S33，将得到的所述第一位置乘以二并结合所述旋转角度作为下一层图像的初始位姿进行搜索，根据金字塔下一层图像的几何轮廓信息并结合相似性度量准则计算所述匹配模板和所述后一幅图像的相似性得分，若所述相似性得分大于第二设定阈值，则得到第二位置和旋转角度；
具体地，若所述相似性得分不大于第二设定阈值，则搜索失败，结束搜索操作。
步骤S34，重复搜索操作直至最底层图像，若所述最底层图像的相似性得分大于第M设定阈值，则确定所述匹配模板在所述后一幅图像中的最佳匹配位姿，根据所述最佳匹配位姿得到所述匹配模板在所述后一幅图像中的准确位置和旋转角度。
具体地，当确定所述最佳匹配位姿后，即得到所述匹配模板在所述后一幅图像中的准确位置和旋转角度。若所述最底层图像的相似性得分不大于第M设定阈值，则搜索失败，结束搜索操作；如图6所示为所述匹配模板在所述后一幅图像中寻找最佳匹配位姿的详细过程示意图，其中，i表示金字塔层数，α表示旋转角度，angle表示旋转角度范围，deta表示角度步长。
本发明实施例采用图像金字塔给算法带来的增速效果具体为，被搜索的图像每增加一层，被搜索的图像和匹配模板的像素点个数即各减少到原来的1/4，也就是提速了16倍。若图像金字塔为四层，在不考虑停止标准的加速效果，计算的效率比原始图像相比提高了163＝4096倍。
步骤S4，根据所述准确位置和旋转角度生成仿射变换矩阵，并利用所述仿射变换矩阵将所述前一幅图像和所述后一幅图像的像素坐标统一到同一坐标系，使所述前一幅图像和所述后一幅图像对齐；
具体地，所述步骤S4具体为：根据所述准确位置和旋转角度生成仿射变换矩阵，将前一幅图像作为固定图像，结合所述仿射变换矩阵对后一幅图像进行旋转得到旋转后图像，然后再对所述旋转后图像作平移变换，从而将所述前一幅图像和所述后一幅图像对齐。
步骤S5，结合所述仿射变换矩阵将对齐后的所述前一幅图像和所述后一幅图像进行图像融合，得到全景图。
具体地，由所述仿射变换矩阵得到所述前一幅图像和所述后一幅图像的水平或垂直的重叠区域，根据所述重叠区域计算融合后图像的尺寸，并根据所述尺寸建立一个空的图像矩阵；对于所述重叠区域外的图像像素点，取对应图像像素值填充入所述矩阵，对于所述重叠区域内的图像像素点，分别取所述前一幅图像和所述后一幅图像像素值，并按距离计算权重比，得到新的图像像素值，并填充入所述矩阵，得到融合后的全景图，如图7所示为对齐并融合的流程示意图。
具体地，针对上述建立空的矩阵的过程举一具体实施例：若前一幅图像和后一幅图像长宽都为20mm×20mm，而水平重叠部分为10mm，那么，新的图像的尺寸应该是30mm×20mm，据此，得到一个空的图像矩阵。
事实上，图像融合的方法有很多种，其中最简单的就是在重叠区域取平均值，但是这样会产生明显的拼接痕迹，图像过渡不平顺。本发明采用式(1-7)列举的距离权重因子法，根据距离调整权重因子，得到过渡平滑柔和的图像，图像效果连续，无明显拼接痕迹。
其中，T(x,y)表示图像像素值，表示权重因子，T1(x,y)表示第T1张的图像像素值，T2(x,y)表示第T2张的图像像素值。
如图8c所示为前一幅图像和后一幅图像经过上下拼接融合后得到的全景图，其中，图8a表示前一幅图像，图8a表示后一幅图像。
本发明实施例提出的一种基于几何特征的数字化X线图像的拼接方法，采用了图像的几何轮廓作为模板匹配方式实现图像对齐，对存在明显几何轮廓特征的图像而言，通过提取边缘梯度信息可快速准确定位模板图像，完成拼接；与基于灰度或特征点的配准相比，可大大减少计算量，配准时间可提高20倍，可达ms级，同时对存在灰度变化、部分模糊不清的图像也无影响，算法的鲁棒性好，可快速准确配准两幅图像，减少了医学图像的拼接时间，提高了拼接效率。
下面具体介绍本发明实施例提供的一种基于几何特征的数字化X线图像的拼接装置，如图9所示，包括：
拼接方向确定模块1，用于根据输入的图像序列中前一幅图像和后一幅图像之间部分区域的相似性确定图像的拼接方向；
匹配模板截取模块2，用于根据所述拼接方向截取所述前一幅图像对应位置的N分之一，作为所述后一幅图像的匹配模板；
最佳匹配位姿寻找模块3，用于提取所述匹配模板的几何轮廓信息，并根据所述匹配模板的几何轮廓信息在所述后一幅图像中寻找最佳匹配位姿，根据所述最佳匹配位姿得到所述匹配模板在所述后一幅图像中的准确位置和旋转角度；
对齐模块4，用于根据所述准确位置和旋转角度生成仿射变换矩阵，并利用所述仿射变换矩阵将所述前一幅图像和所述后一幅图像的像素坐标统一到同一坐标系，使所述前一幅图像和所述后一幅图像对齐；
融合模块5，用于结合所述仿射变换矩阵将对齐后的所述前一幅图像和所述后一幅图像进行图像融合，得到全景图。
需要说明的是，基于几何特征的数字化X线图像的拼接装置的相关内容具体可参阅图1-8所示实施例中描述的基于几何特征的数字化X线图像的拼接方法，此处不作赘述。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于几何特征的数字化X线图像的拼接方法，其特征在于，包括：
根据输入的图像序列中前一幅图像和后一幅图像之间部分区域的相似性确定图像的拼接方向；
根据所述拼接方向截取所述前一幅图像对应位置的N分之一，作为所述后一幅图像的匹配模板；
提取所述匹配模板的几何轮廓信息，并根据所述匹配模板的几何轮廓信息在所述后一幅图像中寻找最佳匹配位姿，根据所述最佳匹配位姿得到所述匹配模板在所述后一幅图像中的准确位置和旋转角度；
根据所述准确位置和旋转角度生成仿射变换矩阵，并利用所述仿射变换矩阵将所述前一幅图像和所述后一幅图像的像素坐标统一到同一坐标系，使所述前一幅图像和所述后一幅图像对齐；
结合所述仿射变换矩阵将对齐后的所述前一幅图像和所述后一幅图像进行图像融合，得到全景图。
2.如权利要求1所述的数字化X线图像的拼接方法，其特征在于，所述拼接方向包括：上下拼接方向和左右拼接方向；
所述根据拼接方向截取所述前一幅图像对应位置的N分之一，包括：根据上下拼接方向截取所述前一幅图像底部位置的四分之一，或包括：根据左右拼接方向截取所述前一幅图像右侧位置的四分之一。
3.如权利要求1所述的数字化X线图像的拼接方法，其特征在于，所述提取所述匹配模板的几何轮廓信息，并根据所述匹配模板的几何轮廓信息在所述后一幅图像中寻找最佳匹配位姿，根据所述最佳匹配位姿得到所述匹配模板在所述后一幅图像中的准确位置和旋转角度，包括：
对所述匹配模板和所述后一幅图像分别进行金字塔二分之一采样，得到M层采样后图像，并提取各层图像的几何轮廓信息；
根据金字塔最高层图像的几何轮廓信息并结合相似性度量准则计算所述匹配模板和所述后一幅图像的相似性得分，若所述相似性得分大于第一设定阈值，则得到第一位置和旋转角度；
将得到的所述第一位置乘以二并结合所述旋转角度作为下一层图像的初始位姿进行搜索，根据金字塔下一层图像的几何轮廓信息并结合相似性度量准则计算所述匹配模板和所述后一幅图像的相似性得分，若所述相似性得分大于第二设定阈值，则得到第二位置和旋转角度；
重复搜索操作直至最底层图像，若所述最底层图像的相似性得分大于第M设定阈值，则确定所述匹配模板在所述后一幅图像中的最佳匹配位姿，根据所述最佳匹配位姿得到所述匹配模板在所述后一幅图像中的准确位置和旋转角度。
4.如权利要求1至3任一项所述的数字化X线图像的拼接方法，其特征在于，所述利用所述仿射变换矩阵将所述前一幅图像和所述后一幅图像的像素坐标统一到同一坐标系，使所述前一幅图像和所述后一幅图像对齐，包括：
将前一幅图像作为固定图像，结合所述仿射变换矩阵对后一幅图像进行旋转得到旋转后图像，然后再对所述旋转后图像作平移变换，从而将所述前一幅图像和所述后一幅图像对齐。
5.如权利要求1所述的数字化X线图像的拼接方法，其特征在于，所述结合所述仿射变换矩阵将对齐后的所述前一幅图像和所述后一幅图像进行图像融合，包括：
由所述仿射变换矩阵得到所述前一幅图像和所述后一幅图像的的重叠区域，根据所述重叠区域计算融合后图像的尺寸，并根据所述尺寸建立一个空的图像矩阵；对于所述重叠区域外的图像像素点，取对应图像像素值填充入所述矩阵，对于所述重叠区域内的图像像素点，分别取所述前一幅图像和所述后一幅图像像素值，并按距离计算权重比得到新的图像像素值，将所述新的图像像素值填充入所述矩阵得到融合后的图像。
6.一种基于几何特征的数字化X线图像的拼接装置，其特征在于，包括：
拼接方向确定模块，用于根据输入的图像序列中前一幅图像和后一幅图像之间部分区域的相似性确定图像的拼接方向；
匹配模板截取模块，用于根据所述拼接方向截取所述前一幅图像对应位置的N分之一，作为所述后一幅图像的匹配模板；
最佳匹配位姿寻找模块，用于提取所述匹配模板的几何轮廓信息，并根据所述匹配模板的几何轮廓信息在所述后一幅图像中寻找最佳匹配位姿，根据所述最佳匹配位姿得到所述匹配模板在所述后一幅图像中的准确位置和旋转角度；
对齐模块，用于根据所述准确位置和旋转角度生成仿射变换矩阵，并利用所述仿射变换矩阵将所述前一幅图像和所述后一幅图像的像素坐标统一到同一坐标系，使所述前一幅图像和所述后一幅图像对齐；
融合模块，用于结合所述仿射变换矩阵将对齐后的所述前一幅图像和所述后一幅图像进行图像融合，得到全景图。
7.如权利要求6所述的数字化X线图像的拼接装置，其特征在于，所述拼接方向包括：上下拼接方向和左右拼接方向；
所述匹配模板截取模块具体用于：根据上下拼接方向截取所述前一幅图像底部位置的四分之一，作为所述后一幅图像的匹配模板；
或所述匹配模板截取模块具体用于：根据左右拼接方向截取所述前一幅图像右侧位置的四分之一，作为所述后一幅图像的匹配模板。
8.如权利要求6所述的数字化X线图像的拼接装置，其特征在于，所述最佳匹配位姿寻找模块具体包括：几何轮廓信息提取子模块、第一相似性度量子模块、第二相似性度量子模块和第M相似性度量子模块；
所述几何轮廓信息提取子模块，具体用于对所述匹配模板和所述后一幅图像分别进行金字塔二分之一采样，得到M层采样后图像，并提取各层图像的几何轮廓信息；
所述第一相似性度量子模块，具体用于根据金字塔最高层图像的几何轮廓信息并结合相似性度量准则计算所述匹配模板和所述后一幅图像的相似性得分，若所述相似性得分大于第一设定阈值，则得到第一位置和旋转角度；
所述第二相似性度量子模块，具体用于将得到的所述第一位置乘以二并结合所述旋转角度作为下一层图像的初始位姿进行搜索，根据金字塔下一层图像的几何轮廓信息并结合相似性度量准则计算所述匹配模板和所述后一幅图像的相似性得分，若所述相似性得分大于第二设定阈值，则得到第二位置和旋转角度；
所述第M相似性度量子模块，具体用于重复搜索操作直至最底层图像，若所述最底层图像的相似性得分大于第M设定阈值，则确定所述匹配模板在所述后一幅图像中的最佳匹配位姿，根据所述最佳匹配位姿得到所述匹配模板在所述后一幅图像中的准确位置和旋转角度。
9.如权利要求6至8任一项所述的数字化X线图像的拼接装置，其特征在于，所述对齐模块具体用于：根据所述准确位置和旋转角度生成仿射变换矩阵，将前一幅图像作为固定图像，结合所述仿射变换矩阵对后一幅图像进行旋转得到旋转后图像，然后再对所述旋转后图像作平移变换，从而将所述前一幅图像和所述后一幅图像对齐。
10.如权利要求6所述的数字化X线图像的拼接装置，其特征在于，所述融合模块，具体用于：由所述仿射变换矩阵得到所述前一幅图像和所述后一幅图像的的重叠区域，根据所述重叠区域计算融合后图像的尺寸，并根据所述尺寸建立一个空的图像矩阵；对于所述重叠区域外的图像像素点，取对应图像像素值填充入所述矩阵，对于所述重叠区域内的图像像素点，分别取所述前一幅图像和所述后一幅图像像素值，并按距离计算权重比得到新的图像像素值，将所述新的图像像素值填充入所述矩阵得到融合后的图像。
CN201810222957.9A 2018-03-19 2018-03-19 基于几何特征的数字化x线图像的拼接方法及装置 Active CN108416735B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810222957.9A CN108416735B (zh) 2018-03-19 2018-03-19 基于几何特征的数字化x线图像的拼接方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810222957.9A CN108416735B (zh) 2018-03-19 2018-03-19 基于几何特征的数字化x线图像的拼接方法及装置

Publications (2)

Publication Number Publication Date
CN108416735A true CN108416735A (zh) 2018-08-17
CN108416735B CN108416735B (zh) 2022-02-01

Family

ID=63132052

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810222957.9A Active CN108416735B (zh) 2018-03-19 2018-03-19 基于几何特征的数字化x线图像的拼接方法及装置

Country Status (1)

Country Link
CN (1) CN108416735B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111105347A (zh) * 2019-11-19 2020-05-05 贝壳技术有限公司 一种生成带深度信息的全景图的方法、装置及存储介质
CN112085709A (zh) * 2020-08-19 2020-12-15 浙江华睿科技有限公司 一种图像对比方法及设备
US11055835B2 (en) 2019-11-19 2021-07-06 Ke.com (Beijing) Technology, Co., Ltd. Method and device for generating virtual reality data

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MXPA02001035A (es) * 1999-07-26 2003-07-21 Computerized Med Syst Inc Sistema y metodo de fusion/alineacion de imagen automatizada.
KR101007409B1 (ko) * 2010-05-26 2011-01-14 삼성탈레스 주식회사 영상 융합 처리 장치 및 방법
CN102509114A (zh) * 2011-11-22 2012-06-20 李京娜 基于改进的结构相似度的图像配准方法
CN102654902A (zh) * 2012-01-16 2012-09-05 江南大学 基于轮廓向量特征的嵌入式实时图像匹配方法
CN103400363A (zh) * 2013-08-06 2013-11-20 深圳市安健科技有限公司 X射线影像拼接方法及系统
CN103679713A (zh) * 2013-12-04 2014-03-26 华南理工大学 一种针对部分匹配图像的二维图像配准方法
CN104236528A (zh) * 2013-06-06 2014-12-24 上海宇航系统工程研究所 一种非合作目标相对位姿测量方法
CN104732485A (zh) * 2015-04-21 2015-06-24 深圳市深图医学影像设备有限公司 一种数字化x线图像的拼接方法及系统
CN104778658A (zh) * 2015-04-01 2015-07-15 北京理工大学 一种多投影机投影图像全自动几何拼接校正方法
CN104867126A (zh) * 2014-02-25 2015-08-26 西安电子科技大学 基于点对约束和三角形网的有变化区域的合成孔径雷达图像配准方法
CN105023260A (zh) * 2014-04-22 2015-11-04 Tcl集团股份有限公司 一种全景图像融合方法及融合装置
CN105303567A (zh) * 2015-10-16 2016-02-03 浙江工业大学 融合图像尺度不变特征变换和个体熵相关系数的图像配准方法
CN105574815A (zh) * 2015-12-21 2016-05-11 湖南优象科技有限公司 用于扫描鼠标器的图像拼接方法及装置
CN105930858A (zh) * 2016-04-06 2016-09-07 吴晓军 一种带旋转、缩放的快速高精度几何模板匹配方法
CN106251350A (zh) * 2016-07-28 2016-12-21 北京航空航天大学 一种基于极小惯量的rcs像与目标轮廓配准方法
CN106530219A (zh) * 2016-11-07 2017-03-22 青岛海信移动通信技术股份有限公司 图像拼接方法及装置
CN106846404A (zh) * 2017-01-16 2017-06-13 河海大学常州校区 一种基于工件内外轮廓几何特征的快速位姿检测方法

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MXPA02001035A (es) * 1999-07-26 2003-07-21 Computerized Med Syst Inc Sistema y metodo de fusion/alineacion de imagen automatizada.
KR101007409B1 (ko) * 2010-05-26 2011-01-14 삼성탈레스 주식회사 영상 융합 처리 장치 및 방법
CN102509114A (zh) * 2011-11-22 2012-06-20 李京娜 基于改进的结构相似度的图像配准方法
CN102654902A (zh) * 2012-01-16 2012-09-05 江南大学 基于轮廓向量特征的嵌入式实时图像匹配方法
CN104236528A (zh) * 2013-06-06 2014-12-24 上海宇航系统工程研究所 一种非合作目标相对位姿测量方法
CN103400363A (zh) * 2013-08-06 2013-11-20 深圳市安健科技有限公司 X射线影像拼接方法及系统
CN103679713A (zh) * 2013-12-04 2014-03-26 华南理工大学 一种针对部分匹配图像的二维图像配准方法
CN104867126A (zh) * 2014-02-25 2015-08-26 西安电子科技大学 基于点对约束和三角形网的有变化区域的合成孔径雷达图像配准方法
CN105023260A (zh) * 2014-04-22 2015-11-04 Tcl集团股份有限公司 一种全景图像融合方法及融合装置
CN104778658A (zh) * 2015-04-01 2015-07-15 北京理工大学 一种多投影机投影图像全自动几何拼接校正方法
CN104732485A (zh) * 2015-04-21 2015-06-24 深圳市深图医学影像设备有限公司 一种数字化x线图像的拼接方法及系统
CN105303567A (zh) * 2015-10-16 2016-02-03 浙江工业大学 融合图像尺度不变特征变换和个体熵相关系数的图像配准方法
CN105574815A (zh) * 2015-12-21 2016-05-11 湖南优象科技有限公司 用于扫描鼠标器的图像拼接方法及装置
CN105930858A (zh) * 2016-04-06 2016-09-07 吴晓军 一种带旋转、缩放的快速高精度几何模板匹配方法
CN106251350A (zh) * 2016-07-28 2016-12-21 北京航空航天大学 一种基于极小惯量的rcs像与目标轮廓配准方法
CN106530219A (zh) * 2016-11-07 2017-03-22 青岛海信移动通信技术股份有限公司 图像拼接方法及装置
CN106846404A (zh) * 2017-01-16 2017-06-13 河海大学常州校区 一种基于工件内外轮廓几何特征的快速位姿检测方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
MYUNG-HO JU等: "Oriented Edge-Based Feature Descriptor for Multi-Sensor Image Alignment and Enhancement", 《INTERNATIONAL JOURNAL OF ADVANCED ROBOTIC SYSTEMS》 *
YIMIN WANG等: "Camera Compensation Using a Feature Projection Matrix for Person Reidentification", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 *
ZOU, LI-HUI ET AL.: "Dynamic Scene Stitching Driven by Visual Cognition Model", 《SCIENTIFIC WORLD JOURNAL》 *
万年红: "基于边缘特征点的全景图像拼接算法", 《温州大学学报(自然科学版)》 *
刘畅等: "固定多摄像头的视频拼接技术", 《数据采集与处理》 *
聂何婷: "图像序列拼接与融合中的关键技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
胡伊日格其: "基于改进图像配准算法的图像拼接实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111105347A (zh) * 2019-11-19 2020-05-05 贝壳技术有限公司 一种生成带深度信息的全景图的方法、装置及存储介质
CN111105347B (zh) * 2019-11-19 2020-11-13 贝壳找房(北京)科技有限公司 一种生成带深度信息的全景图的方法、装置及存储介质
WO2021098567A1 (zh) * 2019-11-19 2021-05-27 贝壳找房(北京)科技有限公司 生成带深度信息的全景图的方法、装置及存储介质
US11055835B2 (en) 2019-11-19 2021-07-06 Ke.com (Beijing) Technology, Co., Ltd. Method and device for generating virtual reality data
US11721006B2 (en) 2019-11-19 2023-08-08 Realsee (Beijing) Technology Co., Ltd. Method and device for generating virtual reality data
CN112085709A (zh) * 2020-08-19 2020-12-15 浙江华睿科技有限公司 一种图像对比方法及设备
CN112085709B (zh) * 2020-08-19 2024-03-22 浙江华睿科技股份有限公司 一种图像对比方法及设备

Also Published As

Publication number Publication date
CN108416735B (zh) 2022-02-01

Similar Documents

Publication Publication Date Title
CN105346706B (zh) 飞行装置、飞行控制系统及方法
CN108319949A (zh) 一种高分辨率遥感图像中多朝向舰船目标检测与识别方法
CN104318548B (zh) 一种基于空间稀疏度和sift特征提取的快速图像配准实现方法
CN108827316A (zh) 基于改进的Apriltag标签的移动机器人视觉定位方法
CN106504229B (zh) 图像中特征点的检测方法
CN106504194B (zh) 一种基于最佳拼接平面和局部特征的图像拼接方法
CN108416735A (zh) 基于几何特征的数字化x线图像的拼接方法及装置
CN107248159A (zh) 一种基于双目视觉的金属工件缺陷检测方法
CN108038456A (zh) 一种人脸识别系统中的防欺骗方法
CN106934803A (zh) 电子器件表面缺陷的检测方法及装置
CN103902953B (zh) 一种屏幕检测系统及方法
CN105631872B (zh) 基于多特征点的遥感图像配准方法
CN106530271B (zh) 一种红外图像显著性检测方法
CN106971406A (zh) 物体位姿的检测方法和装置
CN109064409A (zh) 一种移动机器人的视觉图像拼接系统及方法
CN108010086A (zh) 基于网球场标志线交点的摄像机标定方法、装置和介质
CN110189375A (zh) 一种基于单目视觉测量的图像目标识别方法
KR20040101377A (ko) 스테레오 이미지의 에지를 체인으로 연결하는 방법
JP3390426B2 (ja) 物体像識別方法
CN105869148A (zh) 目标检测方法及装置
CN110428762A (zh) 基于像素点亮度的oled面板老化测试发光特性检测方法
CN105787870A (zh) 一种图形图像拼接融合系统
JP3406577B2 (ja) 物体認識方法
CN103310482B (zh) 一种三维重建方法及系统
JPH06229942A (ja) ピンホール検査装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant