CN106548492A - 确定匹配点对的方法及装置、图像获取方法 - Google Patents

确定匹配点对的方法及装置、图像获取方法 Download PDF

Info

Publication number
CN106548492A
CN106548492A CN201610916844.XA CN201610916844A CN106548492A CN 106548492 A CN106548492 A CN 106548492A CN 201610916844 A CN201610916844 A CN 201610916844A CN 106548492 A CN106548492 A CN 106548492A
Authority
CN
China
Prior art keywords
image
point
double points
pixel
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610916844.XA
Other languages
English (en)
Inventor
胡扬
牛杰
徐亮
王汉禹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Healthcare Co Ltd filed Critical Shanghai United Imaging Healthcare Co Ltd
Priority to CN201610916844.XA priority Critical patent/CN106548492A/zh
Publication of CN106548492A publication Critical patent/CN106548492A/zh
Priority to US15/649,819 priority patent/US10580135B2/en
Priority to US16/806,207 priority patent/US11416993B2/en
Priority to US17/819,925 priority patent/US11893738B2/en
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4038Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/033Recognition of patterns in medical or anatomical images of skeletal patterns

Abstract

确定匹配点对的方法及装置。所述方法包括:对第一图像和第二图像进行金字塔分解,分别构造与第一图像对应的第一差分金字塔,与第二图像对应的第二差分金字塔;遍历第一差分金字塔的每一层,搜索每层图像中的极值点,遍历第二差分金字塔的每一层,搜索每层图像中的极值点;去除第一差分金字塔图像的极值点中为第一图像强边缘上的像素点获得第一图像中的特征点;去除第二差分金字塔图像的极值点中为第二图像强边缘上的像素点获得第二图像中的特征点;对第一图像和第二图像中的特征点匹配生成初始匹配点对;去除初始匹配点对中错误的匹配点对获得匹配点对。本发明技术方案复杂度低、计算量小且可以简单快速的确定准确度高的匹配点对。

Description

确定匹配点对的方法及装置、图像获取方法
技术领域
本发明涉及图像处理技术领域,特别涉及一种图像中特征点的检测方法及装置、确定匹配点对的方法及装置、图像获取方法及装置以及X射线摄影系统。
背景技术
数字X射线摄影(DR,Digital Radiography)设备是计算机数字图像处理技术与X射线放射技术相结合而形成的一种先进的医疗设备。数字X射线摄影设备因其辐射剂量小、影像质量高、疾病的检出率和诊断的准确性较高而被广泛的应用。
在诊断脊椎前突、侧弯、下肢畸形等骨科疾病,或者进行骨折复位、关节移位、截骨术和椎弓根螺钉插入时,需要医学影像设备的辅助,而X射线摄影设备由于其成本低、剂量小、且能够实现无创可视化等优点,目前成为上述诊断的首选设备。但是由于X射线摄影设备在平板尺寸方面的限制,其成像范围难以覆盖完整的脊椎或下肢区域。此时,通常通过对脊椎或四肢长骨采集图像序列,利用图像处理算法将图像序列进行准确拼接,为医生提供准确的影像信息,以完成对上述骨科疾病的诊断。
通过X射线摄影设备采集图像时,相邻两次拍摄的人体解剖位有所不同,故采用的剂量也不同,因此相邻图像之间重叠区域的灰度差异也较大。且在拍摄图像的过程中,为避免患者受到过多的辐射剂量,通常会通过限束器遮去不必要的原发X射线,其能将X射线照射野限制在所需的最小范围,但是图像中限束器覆盖的区域会对精确拼接造成干扰。另外,为了保护受检者,拍摄过程中也会尽量的降低辐射剂量,因此拍摄获得的X射线图像中噪声干扰较大,图像清晰度差。而在获取多张图像过程中受检者也难以做到一直屏气,难免会有轻微的呼吸或轻微移动,上述提及的都会对拼接算法的精度有所影响。此外,为避免要求受检者长时间保持不动和屏气,以及减少医生的等待时间,提高诊断效率,也要求图像拼接算法具有很快的执行速度。
因此,能快速获得拼接精度高的图像是图像拼接领域的技术难点。现有的对X射线图像的拼接通常采用基于特征、基于灰度、基于变换域的拼接方法。对于基于特征的图像拼接方法而言,其首先对待配准图像进行预处理,提取特定的特征集;然后根据相似性度量函数,对特征集的描述进行匹配,进而实现图像的位置匹配。基于特征的图像拼接方法对图像的灰度变化具有较强的鲁棒性,且采用基于特征的图像拼接方法进行图像拼接时,提取了待拼接图像的显著特征,在很大程度上压缩了图像的信息量,故采用该拼接方法计算量较小,执行速度较快。对于基于灰度的图像拼接方法而言,其主要是利用图像的灰度信息,选择一个合适的能够度量图像之间相似程度的代价函数,然后采用某种搜索策略,取使该相似性代价函数值取得最值的对应变换模型的参数值。然而基于灰度的图像拼接方法搜索最优参数的过程计算量比较大,算法执行时间长,对图像噪声的敏感性强,对图像灰度依赖性比较强,且两幅待拼接图像重叠区域之间的灰度差异的大小将会影响拼接的精确度。而基于变换域的图像拼接方法则是通过快速傅里叶变换将两幅图像从空间域变换到频率域,通过两幅图像的互功率谱的相位直接计算出两幅图像的平移、旋转和缩放的对应参数,以实现图像的拼接。然而基于变换域的图像拼接方法受图像边缘显著差异和噪声等影响,有可能得不到正确的拼接参数,故通常基于变换域的图像拼接方法较多应用于拼接初始时配准参数的确定。因此,目前较多采用基于特征的拼接方法以实现对X射线图像的拼接。然而采用现有的基于特征的图像拼接方法对X射线图像进行拼接时,在对待拼接图像中的特征点进行检测时,检测算法的复杂度高且检测速度慢。此外采用现有的基于特征点的图像拼接方法实现图像拼接时,匹配点对中仍存在错误的匹配点对,匹配点对的准确度低,进而导致以基于特征的图像拼接方法进行图像拼接时,拼接获得的图像的拼接精度不高,对临床诊断有一定的影响。
因此,如何能够以较低的复杂度快速的检测图像中的特征点,简单并准确地确定匹配点对,获得拼接精度高的图像,成为目前亟待解决的问题之一。
发明内容
本发明要解决的问题是提供一种确定匹配点对的方法,以较低的复杂度和较小的计算量简单快速准确的确定准确度高的匹配点对,以及提供一种拼接精度高的图像获取方法。
为解决上述问题,本发明技术方案提供一种确定匹配点对的方法,包括:
对第一图像和第二图像进行金字塔分解,基于分解后的第一图像和第二图像分别构造与所述第一图像对应的第一差分金字塔图像以及与所述第二图像对应的第二差分金字塔图像;所述第一图像和所述第二图像为相邻的图像;
遍历所述第一差分金字塔图像的每一层,搜索每层差分金字塔图像中的极值点,遍历所述第二差分金字塔图像的每一层,搜索每层差分金字塔图像中的极值点;所述极值点关联于预设邻域中的像素点的灰度值的绝对值;
去除所述第一差分金字塔图像的极值点中为所述第一图像强边缘上的像素点以获得所述第一图像中的特征点;去除所述第二差分金字塔图像的极值点中为所述第二图像强边缘上的像素点以获得所述第二图像中的特征点;
对所述第一图像和所述第二图像中的特征点进行匹配以生成初始匹配点对;
去除所述初始匹配点对中错误的匹配点对以获得匹配点对。
可选的,所述第一差分金字塔图像的极值点是指每层差分金字塔图像中像素点的灰度值的绝对值为所述像素点预设邻域中像素点的灰度值的绝对值最大的像素点;所述第二差分金字塔图像的极值点是指每层差分金字塔图像中像素点的灰度值的绝对值为所述像素点预设邻域中像素点的灰度值的绝对值最大的像素点。
可选的,所述第一差分金字塔图像的极值点是指所述第一差分金字塔图像中修正后的像素点P,修正后的像素点P是对像素点P的位置进行修正后获得的,所述像素点P是指所述第一差分金字塔图像的每层图像中像素点的灰度值的绝对值为所述像素点预设邻域中像素点的灰度值的绝对值最大的像素点;所述第二差分金字塔图像的极值点是指所述第二差分金字塔图像中修正后的像素点P,所述修正后的像素点P是对像素点P的位置进行修正后获得的,像素点P是指所述第二差分金字塔图像的每层图像中像素点的灰度值的绝对值为所述像素点预设邻域中像素点的灰度值的绝对值最大的像素点。
可选的,所述第一差分金字塔图像的极值点是指对像素点P的灰度值的绝对值按照由大至小的顺序排序后位于前N位的像素点P,所述像素点P是指所述第一差分金字塔图像的每层图像中像素点的灰度值的绝对值为所述像素点预设邻域中像素点的灰度值的绝对值最大的像素点;所述第二差分金字塔图像的极值点是指对像素点P的灰度值的绝对值按照由大至小的顺序排序后位于前N位的像素点P,所述像素点P是指所述第二差分金字塔图像的每层图像中像素点的灰度值的绝对值为所述像素点预设邻域中像素点的灰度值的绝对值最大的像素点。
可选的,所述去除所述初始匹配点对中错误的匹配点对以获得匹配点对包括:
以所述初始匹配点对的第一坐标之差为横坐标,与第一坐标之差对应的初始匹配点对个数为纵坐标生成第一直方图,确定所述第一直方图中初始匹配点对个数之和最大时所在簇的初始匹配点对为第一匹配点对;
以所述第一匹配点对的第二坐标之差为横坐标,与第二坐标之差对应的第一匹配点对个数为纵坐标生成第二直方图,确定所述第二直方图中第一匹配点对个数之和最大时所在簇的第一匹配点对为匹配点对。
可选的,所述去除所述初始匹配点对中错误的匹配点对以获得匹配点对包括:
计算所述第一图像和所述第二图像的初始匹配点对所在连线的斜率,以所述初始匹配点对所在连线的斜率为横坐标,与所述斜率对应的初始匹配点对个数为纵坐标生成斜率直方图;
确定所述斜率直方图中初始匹配点对个数之和最大时所在簇的初始匹配点对为第一匹配点对;
以所述第一匹配点对的第一坐标之差为横坐标,与第一坐标之差对应的第一匹配点对个数为纵坐标生成第一直方图;
确定所述第一直方图中第一匹配点对个数之和最大时所在簇的第一匹配点对为第二匹配点对;
以所述第二匹配点对的第二坐标之差为横坐标,与第二坐标之差对应的第二匹配点对个数为纵坐标生成第二直方图;
确定所述第二直方图中第二匹配点对个数之和最大时所在簇的第二匹配点对为匹配点对。
可选的,通过如下方式计算所述第一图像和所述第二图像的初始匹配点对所在连线的斜率:
其中:Ki为第i对初始匹配点对所在连线的斜率、(x1i,y1i)、(x2i,y2i)为第i对初始匹配点对、(x1i,y1i)为所述第一图像中的第i个初始匹配点的位置、(x2i,y2i)为所述第二图像中的第i个初始匹配点的位置、W1为所述第一图像的宽度。
为解决上述问题,本发明技术方案还提供一种图像获取方法,包括:
采用上述的确定匹配点对的方法确定第一图像和第二图像的匹配点对;
基于所述匹配点对之间的位置关系确定所述第一图像和所述第二图像之间的偏移;
根据所述第一图像和所述第二图像之间的偏移确定所述第一图像和所述第二图像的重叠区域;
根据所述重叠区域对所述第一图像和所述第二图像进行拼接。
为解决上述问题,本发明技术方案还提供一种确定匹配点对的装置,包括:
分解单元,用于对第一图像和第二图像进行金字塔分解,基于分解后的第一图像和第二图像分别构造与所述第一图像对应的第一差分金字塔图像以及与所述第二图像对应的第二差分金字塔图像;所述第一图像和所述第二图像为相邻的图像;
搜索单元,用于遍历所述第一差分金字塔图像的每一层,搜索每层差分金字塔图像中的极值点,遍历所述第二差分金字塔图像的每一层,搜索每层差分金字塔图像中的极值点;所述极值点关联于预设邻域中的像素点的灰度值的绝对值;
第一去除单元,用于去除所述第一差分金字塔图像的极值点中为所述第一图像强边缘上的像素点以获得所述第一图像中的特征点;去除所述第二差分金字塔图像的极值点中为所述第二图像强边缘上的像素点以获得所述第二图像中的特征点;
匹配单元,用于对所述第一图像和所述第二图像中的特征点进行匹配以生成初始匹配点对;
第二去除单元,用于去除所述初始匹配点对中错误的匹配点对以获得匹配点对。
为解决上述问题,本发明技术方案还提供一种X射线摄影系统,包括上述的确定匹配点对的装置。
与现有技术相比,本发明技术方案具有以下优点:
先对所述图像进行金字塔分解,基于分解后的图像构造差分金字塔图像;然后遍历所述差分金字塔图像的每一层,搜索每层差分金字塔图像中的极值点,所述极值点关联于预设邻域中的像素点的灰度值的绝对值;最后去除所述极值点中为所述图像强边缘上的像素点以获得所述图像中的特征点。由于遍历了所述差分金字塔图像的每一层来搜索每层差分金字塔图像中的极值点,相对于现有的以差分金字塔图像所在空间来确定极值点的方法而言,检测的复杂度低,进而在一定程度上提高了检测特征点的速度,由于去除了极值点中为所述图像强边缘上的像素点,故可以获得稳定的特征点。
附图说明
图1是本发明实施例一的图像中特征点的检测方法的流程示意图;
图2是本发明实施例二的确定匹配点对的方法的流程示意图;
图3是本发明实施例二的特征点描述子示意图;
图4是本发明实施例三的确定匹配点对的方法的流程示意图;
图5是本发明实施例三的获取第一图像和第二图像中初始匹配点对所在连线的斜率的示意图;
图6是本发明实施例四的图像获取方法的流程示意图;
图7-a至图7-d是第一图像和第二图像之间的位置关系示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂,下面结合附图对本发明的具体实施方式做详细的说明。在以下描述中阐述了具体细节以便于充分理解本发明。但是本发明能够以多种不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似推广。因此本发明不受下面公开的具体实施方式的限制。
正如现有技术中所描述的,在对待拼接图像中的特征点进行检测时,现有的检测算法复杂度高,且检测速度慢,此外,在对检测到的特征点进行匹配时,匹配点对的准确度不高,因此基于该匹配点对进行拼接,拼接后获得的图像的拼接精度低,对临床诊断带来了影响。
因此,发明人提出对现有的特征点检测方法进行改进,并基于改进后的特征点检测方法进一步的改进基于特征点来确定匹配点对的方法,改进基于特征的图像拼接方法,以实现以较低的复杂度快速的检测出图像中的特征点,简单快速准确地确定相邻两幅图像之间的匹配点对,进而实现以较快的速度获得拼接精度较高的图像。
以下通过具体的实施例对本发明的技术方案进行详细的说明。
实施例一
请参见图1,图1是本发明实施例一的图像中特征点的检测方法的流程示意图;如图1所示,本实施例的图像中特征点的检测方法包括:
S101:对所述图像进行金字塔分解,基于分解后的图像构造差分金字塔图像;
S102:遍历所述差分金字塔图像的每一层,搜索每层差分金字塔图像中的极值点,所述极值点关联于预设邻域中的像素点的灰度值的绝对值;
S103:去除所述极值点中为所述图像强边缘上的像素点以获得所述图像中的特征点。
执行S101,对所述图像进行金字塔分解,本实施例中是对所述图像进行高斯金字塔分解,或者说建立所述图像的高斯金字塔。并基于分解后的图像构造高斯差分金字塔图像。本实施例中,对所述图像进行高斯金字塔分解首先可以通过高斯函数与所述图像进行卷积,得到不同尺度的高斯平滑图像,然后对不同尺度的高斯平滑图像进行降采样以构成高斯金字塔图像。具体地,本实施例中,通过如下公式获得高斯金字塔图像:
L(x,y,σ)=G(x,y,σ)*I(x,y)
其中,I(x,y)为输入图像,G(x,y,σ)为高斯函数,L(x,y,σ)为高斯金字塔图像,σ为高斯核的尺度,(x,y)为像素点的坐标。
对于高斯函数G(x,y,σ)而言,(xi,yi)为高斯核的中心。本实施例中,随着σ的逐渐增大,可以生成不同尺度的高斯平滑图像,在σ逐渐增大的过程中,对所述高斯平滑图像进行降采样,经过降采样后的高斯平滑图像构成高斯金字塔图像。本实施例中可以通过对σ的值的大小进行控制,以控制检测到的特征点的数量,进而减少检测所述特征点的时间。接下来,构造所述高斯金字塔图像的高斯差分金字塔图像,高斯差分函数D(x,y,σ)=[G(x,y,kσ)-G(x,y,σ)]*I(x,y)=G(x,y,kσ)*I(x,y)-G(x,y,σ)*I(x,y)。
由上述可知,G(x,y,σ)*I(x,y)为对所述图像进行高斯金字塔分解后获得的图像,即L(x,y,σ)。故,所述图像的高斯差分金字塔图像为相邻尺度的高斯金字塔图像的差,也即:D(x,y,σ)=L(x,y,kσ)-L(x,y,σ)。
通过S101获得了所述图像的高斯差分金字塔图像,接下来执行S102,确定所述高斯差分金字塔图像中的极值点,具体地,就是遍历所述高斯差分金字塔图像的每一层,搜索每一层的高斯差分金字塔图像中存在的极值点,本实施例中,所述极值点关联于预设邻域中的像素点的灰度值的绝对值,本实施例中,所述极值点可以是每层差分金字塔图像中像素点的灰度值的绝对值为所述像素点预设邻域中像素点的灰度值的绝对值最大的像素点。所述预设邻域的大小可根据实际的需求而定(如:最终要确定的特征点的强度以及特征点在所述图像中所占区域的大小),本实施例中,所述预设邻域可以为以该像素点为中心的八邻域,也即以该像素点为中心的3×3的像素点阵列,还可以是以该像素点为中心的二十四邻域,也即以该像素点为中心的5×5的像素点阵列。举例来说,就是对每一层的高斯差分金字塔图像而言,将该层中的每一个像素点的灰度值的绝对值与其周围预定邻域的像素点的灰度值的绝对值进行比较,当该像素点的灰度值的绝对值比其周围的所有像素点的灰度值的绝对值都大时,则该像素点为该层高斯差分金字塔图像中的极值点。
本实施例中,为了提高搜索到的极值点的准确度进而提高最终检测到的图像中的特征点的准确度,所述极值点还可以是修正后的像素点P,所述修正后的像素点P是对像素点P的位置进行修正后获得的,所述像素点P是指每层差分金字塔图像中像素点的灰度值的绝对值为所述像素点预设邻域中像素点的灰度值的绝对值最大的像素点。此处的像素点P的获得也是通过将每层差分金字塔图像中的每一个像素点的灰度值的绝对值与其周围预定邻域的像素点的灰度值的绝对值进行比较,当该像素点的灰度值的绝对值比其周围的所有像素点的灰度值的绝对值都大时,该像素点为像素点P。在获得所述像素点P后,对其位置进行修正以获得修正后的像素点P,本实施例中通过如下方式对所述像素点P的位置进行修正:
首先,先获取偏移量,所述偏移量δ通过如下方式获得:
其中:D为高斯差分函数,X=(Δx,Δy,Δσ)T,Δx,Δy,Δσ分别为极值点的x坐标、y坐标以及σ与所述像素点P的xp坐标、yp坐标以及σp之差。
通过上述公式求解出δ后,将所述像素点P的xp坐标、yp坐标以及σp加上δ中与其对应的向量,则可以获得修正后的像素点P的位置,也即极值点的位置。
本实施例中,为了控制检测特征点时算法执行的时间,提高检测图像中特征点的速度,所述极值点还可以是对像素点P的灰度值的绝对值按照由大至小的顺序排序后位于前N位的像素点P,所述像素点P是指每层差分金字塔图像中像素点的灰度值的绝对值为所述像素点预设邻域中像素点的灰度值的绝对值最大的像素点。同样地,此处的像素点P的获得也是通过将每层差分金字塔图像中的每一个像素点的灰度值的绝对值与其周围预定邻域的像素点的灰度值的绝对值进行比较,当该像素点的灰度值的绝对值比其周围的所有像素点的灰度值的绝对值都大时,该像素点为像素点P。本实施例中,N的取值为经验值,通过对多幅图像中检测到的特征点的准确率和检测特征点过程中算法执行的时间进行折衷以最终获得N值,本实施例中N的取值范围可以为30~50,如N可以取40,对获得的像素点P的灰度值的绝对值按照由大到小的顺序进行排序,取像素点P的灰度值的绝对值位于前40位的像素点P作为极值点,去除像素点P中其他的特征较弱的像素点。
此外,本实施例中在确定极值点时,也可以是先对像素点P的灰度值的绝对值按照由大至小的顺序进行排序,先取出像素点P的灰度值的绝对值位于前N位的像素点P,然后对位于前N位的像素点P的位置进行修正,最后将像素点P的灰度值的绝对值位于前N位且对这N个像素点P的位置进行修正后的像素点P作为极值点,采用该方式确定极值点,最终获得的极值点的准确度高,且可以提高后续检测图像中特征点的速度。
通过S102获得的极值点,若将其作为特征点,其中会包括不稳定的特征点,故需要将不稳定的特征点去除以获得稳定的特征点。因此,执行S013去除所述极值点中为所述图像强边缘上的像素点以获得所述图像中稳定的特征点。由于图像强边缘上的像素点在横跨边缘的方向有较大的主曲率,沿着垂直边缘的方向主曲率则较小,因此可以通过主曲率来判断极值点中那些像素点是所述图像强边缘上的像素点。此外,由于主曲率的大小和Hessian矩阵的特征值是呈正比的,所以本实施例中,可以通过计算Hessian矩阵的特征值来确定主曲率,进而确定位于所述图像强边缘上的像素点。
本实施例中,具体地,通过计算所述极值点在其预定领域的最大主曲率和最小主曲率,并根据二者的比值来确定该极值点是否是所述图像强边缘上的像素点。由上述可知,主曲率和Hessian矩阵的特征值成正比,因此最大主曲率和最小主曲率的比值可以通过计算Hessian矩阵的最大特征值和最小特征值的比值来获得。本实施例中,Hessian矩阵如下所示:
其中:D为高斯差分函数
Dxx=D(y,x+1,σ)+D(y,x-1,σ)-2×D(x,y,σ)
Dyy=D(y+1,x,σ)+D(y-1,x,σ)-2×D(x,y,σ)
Dxy=0.25×[D(y+1,x+1,σ)+D(y-1,x-1,σ)-D(y+1,x-1,σ)
-D(y-1,x+1,σ)]
(x,y)为所述极值点的坐标,计算上述的Hessian矩阵的最大特征值和最小特征值之间的比值,然后将所述比值与预设的阈值进行比较,所述预设的阈值根据经验而定,其关联于剔除图像强边缘上像素点的准确程度,和剩余的像素点数量对后续算法执行时间的影响。本实施例中所述预设的阈值的范围可以为1~30,如:所述预设的阈值可以为20。由上述公式可以知晓当所述极值点在其2×2的邻域的最大主曲率和最小主曲率的比值大于所述预设的阈值时,该极值点为所述图像强边缘上的像素点。通过对所述极值点在其2×2邻域的最大主曲率和最小主曲率的比值的判断,可以将S102中搜索到的极值点中存在的所述图像强边缘上的像素点进行去除,最终获得较稳定的特征点。
至此,通过上述的S01~S103实现了对图像中特征点的检测,由于遍历了所述差分金字塔图像的每一层来搜索每层差分金字塔图像中的极值点,相对于现有的以差分金字塔图像所在空间来确定极值点的方法而言,检测的复杂度低,进而在一定程度上提高了检测特征点的速度,由于去除了极值点中为所述图像强边缘上的像素点,故可以获得稳定的特征点。
此外,需要说明的是,在实际应用中对图像中的特征点进行检测时,根据不同的应用场景,可以对整幅图像进行特征点检测,也可以只针对部分图像进行特征点检测,例如:若对第一图像和第二图像进行特征点检测后是应用于后续对第一图像和第二图像进行拼接,则在对第一图像和第二图像进行特征点检测时,可以只针对第一图像和第二图像大致重叠的区域(初始重叠区域)在第一图像中所在的区域进行特征点检测,第一图像和第二图像的初始重叠区域在第二图像中所在的区域进行特征点检测。
对应于上述的图像中特征点的检测方法,本实施例还提供一种图像中特征点的检测装置,所述图像中特征点的检测装置包括:
分解单元,用于对所述图像进行金字塔分解,基于分解后的图像构造差分金字塔图像;
搜索单元,用于遍历所述差分金字塔图像的每一层,搜索每层差分金字塔图像中的极值点,所述极值点关联于预设邻域中的像素点的灰度值的绝对值;
第一去除单元,用于去除所述极值点中为所述图像强边缘上的像素点以获得所述图像中的特征点。
所述图像中特征点的检测装置的具体实施可参考所述特征点的检测方法的实施,在此不再赘述。
本实施例还提供一种X射线摄影系统,包括上述的图像中特征点的检测装置。
实施例二
本实施例提供一种确定匹配点对的方法,请参见图2,图2是本发明实施例二的确定匹配点对的方法的流程示意图,如图2所示,所述确定匹配点对的方法包括:
S101′:对第一图像和第二图像进行金字塔分解,基于分解后的第一图像和第二图像分别构造与所述第一图像对应的第一差分金字塔图像以及与所述第二图像对应的第二差分金字塔图像;所述第一图像和所述第二图像为相邻的图像;
S102′:遍历所述第一差分金字塔图像的每一层,搜索每层差分金字塔图像中的极值点,遍历所述第二差分金字塔图像的每一层,搜索每层差分金字塔图像中的极值点,所述极值点关联于预设邻域中的像素点的灰度值的绝对值;
S103′:去除所述第一差分金字塔图像的极值点中为所述第一图像强边缘上的像素点以获得所述第一图像中的特征点;去除所述第二差分金字塔图像的极值点中为所述第二图像强边缘上的像素点以获得所述第二图像中的特征点;
S104:对所述第一图像和所述第二图像中的特征点进行匹配以生成初始匹配点对;
S105:以所述初始匹配点对的第一坐标之差为横坐标,与第一坐标之差对应的初始匹配点对个数为纵坐标生成第一直方图,确定所述第一直方图中初始匹配点对个数之和最大时所在簇的初始匹配点对为第一匹配点对;
S106:以所述第一匹配点对的第二坐标之差为横坐标,与第二坐标之差对应的第一匹配点对个数为纵坐标生成第二直方图,确定所述第二直方图中第一匹配点对个数之和最大时所在簇的第一匹配点对为匹配点对。
本实施例中,S101′~S103′检测第一图像中的特征点和检测第二图像中的特征点与实施例一中的S101~S103相类似,此处不再赘述,在检测出所述第一图像和所述第二图像中的特征点后,执行S104,对二者中的特征点进行匹配以生成初始匹配点对,具体地,本实施例中通过如下方式对所述第一图像和第二图像中的特征点进行匹配:
首先,获取所述第一图像和所述第二图像中的特征点的特征向量,对于特征点的特征向量而言,通常是通过该特征点附近的像素点的信息来对该特征点的特征向量进行描述,本实施例中是用第一图像中的特征点的预定邻域的像素点的梯度、梯度幅值、梯度方向来对第一图像中的特征点进行描述,也即所述第一图像中的特征点的特征向量通过其预定邻域的像素点的梯度、梯度幅值以及梯度向量来表征。
以下,以所述第一图像为例,对第一图像中的特征点的特征向量的获取进行相应的说明。本实施例中以所述特征点为原点,以预定的长度为半径形成以所述特征点为中心的预定邻域,本实施例中,所述半径radius可以通过如下公式获得:
其中:σoct为所述特征点所在的差分金字塔图像的高斯核的尺度,d为变量,其取值关联于生成的特征向量对特征点邻域描述的准确程度和算法执行时间,d的范围可以为2~8,本实施例中d=4。在确定了以所述特征点为中心的预定邻域后,差分金字塔图像中某一层的特征点在所述预定邻域中的像素点的梯度gradI(x,y)、梯度幅值m(x,y)、梯度方向θ(x,y)分别通过如下公式获得:
其中,I(x,y)为输入图像、gradI(x,y)为梯度、m(x,y)为梯度幅值、θ(x,y)为梯度方向、(x,y)为像素点的坐标。
计算了每一个特征点预定邻域的像素点的梯度、梯度幅值以及梯度方向后,对预定邻域的像素点的梯度方向和梯度幅值进行直方图统计,以获得该特征点的特征向量。本实施例中,以特征点的预定邻域为8×8的单元(每一个单元代表一个像素点,特征点在8×8的单元的中心),也即预定邻域为64个像素点为例来说明与该特征点对应的特征向量的获得。请参见图3,图3是本发明实施例二的特征点描述子示意图,图3中左侧所示为64个像素点(用64个单元格表示),每个像素点的梯度方向和梯度幅值通过图3中左侧所示的具有方向和大小的小箭头表示,为了对64个像素点的梯度方向和梯度幅值进行直方图统计,先将8×8的单元格分割成4个4×4的单元格,对4个4×4单元格里的像素点的梯度方向和梯度幅值进行直方图统计,本实施例中对每一个4×4的单元格而言,分别绘制八方向的梯度分布直方图,也就是说对于每一个4×4的单元格里的16个像素点,按照一定的规则来对这16个像素点的梯度方向和梯度幅值进行直方图统计,如:将像素点的梯度方向最终统计在0°、45°、90°、135°、180°、225°、270°、315°和360°这8个方向上,而像素点的梯度方向为何值时将该梯度方向归为上述8个方向之一,则可以根据预定的规则而定,如:当像素点的梯度方向大于0°小于45°时,将该像素点的梯度方向归为45°,当像素点的梯度方向大于45°小于90°时,将该像素点的梯度方向归为90°等,在将像素点的梯度方向归为上述8个方向之一后,该方向上箭头的长度则对应了不同像素点在该方向上的梯度幅值的叠加,将这4个4×4的单元格作为种子点,参见图3所示,图3中右侧的单元格的中心(黑色的圆点)为特征点,为了体现不同像素点和特征点之间的距离,对每个像素点的梯度幅值附上高斯权重,于是一个特征点形成了8×4=32维向量,从而得到特征点的32维描述子:W=(w1,w2,…w32),此外为减轻不同特征点因光照不同对周围区域造成的影响,对描述子进行标准化,本实施例中通过如下公式对上述的32维描述子进行标准化:
进而得到标准化以后的特征点的特征向量:L=(l1,l2,…l32)。至此通过特征点预定邻域的像素点的梯度、梯度向量及梯度幅值对所述特征点进行了描述,获得了所述特征点的特征向量。
同样地,对于所述第二图像中的特征点而言,也采用上述的方法获得所述第二图像中的特征点的特征向量。接下来基于所述第一图像中的特征点的特征向量及所述第二图像中的特征点的特征向量,对所述第一图像和所述第二图像中的特征点进行双向匹配以生成初始匹配点对。
具体地,本实施例中采用如下方式对所述第一图像和第二图像中的特征点进行双向匹配,首先:计算所述第一图像中每一个特征点的特征向量与所述第二图像中的特征点的特征向量之间的欧式几何距离,举例来说,第一图像中的特征点的特征向量所在的集合为{a1、a2、a3…an}(集合中每一个特征向量为32维),第二图像中的特征点的特征向量所在的集合{b1、b2、b3…bn}(集合中每一个特征向量为32维),则分别计算a1和b1、a1和b2、…a1和bn之间的欧式几何距离,a2和b1、a2和b2、…a2和bn之间的欧式几何距离,an和b1、an和b2、…an和bn之间的欧式几何距离。对于a1而言其和b1、b2、b3…bn之间的欧式几何距离中,存在一个最小欧式几何距离和一个次小欧式几何距离,计算二者之间的第一比值f1,同样地对于a2而言其和b1、b2、b3…bn之间的欧式几何距离中,也存在一个最小欧式几何距离和一个次小欧式几何距离,计算二者之间的第一比值f2,依此类推得到第一图像中的每一个特征点的特征向量与第二图像中的特征点的特征向量之间的最小欧式几何距离和次小欧式几何距离的第一比值,即f1、f2、f3、f4…fn。若f1、f2、f3、f4…fn中存在小于第一阈值的第一比值,则以与所述最小欧式几何距离对应的所述第一图像中的特征点和所述第二图像中的特征点为第三匹配点对,举例来说,若f4小于所述第一阈值,与f4对应的最小欧式几何距离为特征向量a4与特征向量b12之间的欧式几何距离,则所述第一图像中的特征点4和所述第二图像中的特征点12为第三匹配点对。对于所有小于所述第一阈值的第一比值,找出对应的特征点对以获得第三匹配点对,所有的第三匹配点对组成了第一集合。本实施例中,所述第一阈值为经验值,关联于匹配时第三匹配点对的准确度,本实施例中所述第一阈值的范围可以为0.1~10,如所述第一阈值可以为6。
然后,同样地计算所述第二图像中每一个特征点的特征向量与所述第一图像中的特征点的特征向量之间的欧式距离,即分别计算b1和a1、b1和a2、…b1和an之间的欧式几何距离,b2和a1、b2和a2、…b2和an之间的欧式几何距离,bn和a1、bn和a2、…bn和an之间的欧式几何距离。对于b1而言其和a1、a2、a3…an之间的欧式几何距离中,也存在一个最小欧式几何距离和一个次小欧式几何距离,计算二者之间的第二比值s1,依此类推得到第二图像中的每一个特征点的特征向量与第一图像中的特征点的特征向量之间的最小欧式几何距离和次小欧式几何距离的第二比值,即s1、s2、s3、s4…sn。若s1、s2、s3、s4…sn中存在小于第二阈值的第二比值,则以与所述最小欧式几何距离对应的所述第二图像中的特征点和所述第一图像中的特征点为第四匹配点对,举例来说,若s4小于所述第二阈值,与s4对应的最小欧式几何距离为特征向量b4与特征向量a12之间的欧式几何距离,则以所述第二图像中的特征点4和所述第一图像中的特征点12为第四匹配点对。对于所有小于所述第二阈值的第二比值,找出对应的特征点对以获得第四匹配点对,所有的第四匹配点对组成了第二集合。本实施例中,所述第二阈值为经验值,关联于匹配时第四匹配点对的准确度,本实施例中所述第二阈值的范围可以为0.1~10,如所述第二阈值可以为5。
对上述的第一集合和第二集合取交集,交集中的匹配点对为所述第一图像和所述第二图像的初始匹配点对。通过双向匹配的方式,可以提高匹配点对之间的匹配程度,因此最终获得的初始匹配点对的匹配程度较好。
本实施例中,进行双向匹配时,对于第一图像中的每一个特征点的特征向量而言在计算其与第二图像中的特征点的特征向量之间的欧式几何距离时,是遍历了第二图像中所有的特征点的特征向量来进行计算的,同样地,对于第二图像中的每一个特征点的特征向量而言在计算其与第一图像中的特征点的特征向量之间的欧式几何距离时,是遍历了第一图像中所有的特征点的特征向量来进行计算的。考虑到实际的应用场景,所述第一图像和所述第二图像之间可能在水平方向整体偏移较大,在竖直方向的偏移非常小或者不存在;或者所述第一图像和所述第二图像之间可能在竖直方向整体偏移较大,在水平方向偏移非常小或者不存在。如:对于X射线摄影系统采集到的第一图像和第二图像而言,受检者所在平面和探测器所在平面之间是平行的,第一图像和第二图像之间的放大率差异可以忽略不计,因此,第一图像和第二图像之间只存在位置上的平移关系,即第一图像和第二图像仅存在沿水平方向和竖直方向上的偏移,采用X射线摄影系统采集图像时,探测器和球管可以沿立柱所在方向移动(通常也称之为探测器和球管沿竖直方向移动),如:立位拍摄,也可以沿平床X轴所在方向移动(通常也称之为探测器和球管沿水平方向移动),如:卧位拍摄。若探测器和球管沿立柱所在方向或平床X轴(长轴)所在方向移动时,探测器移动时所在导轨的精度足够高,探测器在沿立柱所在方向移动的过程中在与其垂直的方向移动较小或者基本上没有移动,探测器在沿平床X轴所在方向移动的过程中在与其垂直的方向移动较小或者基本上没有移动,则第一图像和第二图像在与立柱所在方向垂直的方向或者在与平床X轴所在方向垂直的方向的偏移比较小或者基本上不存在,也即第一图像和第二图像之间仅在一个方向的偏移较大。
需要说明的是,本实施例中对于探测器和球管沿立柱所在方向移动,即立位拍摄,以立柱所在方向为竖直方向(纵坐标),与立柱所在方向垂直的方向为水平方向(横坐标)进行说明,相应的立位拍摄时采集到的图像的横坐标和纵坐标与上述描述的方向相对应。对于探测器和球管沿水平方向移动,即卧位拍摄,以平床X轴所在方向为水平方向(横坐标),与平床X轴所在方向垂直的方向为竖直方向(纵坐标),相应的以卧位拍摄时采集到的图像的横坐标和纵坐标与其描述的方向相对应。
本实施例中,若所述第一图像和所述第二图像之间可能在水平方向(横坐标)整体偏移较大(例如:卧位拍摄),在竖直方向的偏移非常小或者不存在;此时在计算所述第一图像中的每一个特征点的特征向量与所述第二图像中的特征点的特征向量之间的最小欧式距离与次小欧式距离的比时,可以只计算所述第一图像中的每一个特征点的特征向量与在所述第二图像中与该特征点的纵坐标距离之差的绝对值小于第一预设距离的特征点的特征向量之间的最小欧式距离和次小欧式距离的比;所述第一预设距离关联于匹配准确率和算法执行时间的折衷以及不同系统的实际情况,所述第一预设距离的范围可以为1~500个像素点,如所述第一预设距离可以为300个像素点。在计算所述第二图像中的每一个特征点的特征向量与所述第一图像中的特征点的特征向量之间的最小欧式距离与次小欧式距离的比时,可以只计算所述第二图像中的每一个特征点的特征向量与在所述第一图像中与该特征点的纵坐标距离之差的绝对值小于第二预设距离的特征点的特征向量之间的最小欧式距离和次小欧式距离的比;所述第二预设距离关联于匹配准确率和算法执行时间的折衷以及不同系统的实际情况,所述第二预设距离的范围可以为1~500个像素点,如所述第二预设距离可以为300个像素点。举例来说,若第一图像中的特征点4的坐标为(x4,y4),第二图像中的特征点12的坐标为(x12,y12),特征点21的坐标为(x21,y21),|y12-y4|、|y21-y4|均小于所述第一预设距离,则只计算第一图像中特征点4的特征向量和第二图像中特征点12以及特征点21的特征向量之间的最小欧式几何距离和次小欧式几何距离之比。
若所述第一图像和所述第二图像之间可能在竖直方向(纵坐标)整体偏移较大(例如:立位拍摄),在水平方向偏移非常小或者不存在;此时在计算所述第一图像中的每一个特征点的特征向量与所述第二图像中的特征点的特征向量之间的最小欧式距离与次小欧式距离的比时,可以只计算所述第一图像中的每一个特征点的特征向量与在所述第二图像中与该特征点的横坐标距离之差的绝对值小于第三预设距离的特征点的特征向量之间的最小欧式距离和次小欧式距离的比;所述第三预设距离关联于匹配准确率和算法执行时间的折衷以及不同系统的实际情况,所述第三预设距离的范围可以为1~500个像素点,本实施例中所述第三预设距离可以为100个像素点。在计算所述第二图像中的每一个特征点的特征向量与所述第一图像中的特征点的特征向量之间的最小欧式距离与次小欧式距离的比时,可以只计算所述第二图像中的每一个特征点的特征向量与在所述第一图像中与该特征点的横坐标距离之差的绝对值小于第四预设距离的特征点的特征向量之间的最小欧式距离和次小欧式距离的比;所述第四预设距离关联于匹配准确率和算法执行时间的折衷以及不同系统的实际情况,所述第四预设距离的范围可以为1~500个像素点,本实施例中所述第四预设距离可以为400个像素点。举例来说,若第一图像中的特征点4的坐标为(x4,y4),第二图像中的特征点12的坐标为(x12,y12),特征点21的坐标为(x21,y21),|x12-x4|、|x21-x4|均小于所述第三预设距离,则只计算第一图像中特征点4的特征向量和第二图像中特征点12以及特征点21的特征向量之间的最小欧式几何距离和次小欧式几何距离之比。
此外,对于上述的X射线摄影系统,由于受检者所在平面和探测器所在平面之间平行,第一图像和第二图像之间的放大率差异可以忽略不计,此时在计算所述第一图像中的每一个特征点的特征向量与所述第二图像中的特征点的特征向量之间的最小欧式距离与次小欧式距离的比时,可以只计算所述第一图像中的每一个特征点的特征向量与在所述第二图像中与该特征点属于同一差分金字塔图像层的特征点的特征向量之间的最小欧式距离与次小欧式距离的比。举例来说,所述第一图像中的特征点4在差分金字塔图像的第12层,而所述第二图像中的特征点1、3、6、12、21也在差分金字塔图像的第12层,因此可以只计算所述第一图像中的特征点4的特征向量与所述第二图像中的特征点1、3、6、12、21的特征向量之间的最小欧式几何距离和次小欧式几何距离的比。而在计算所述第二图像中的每一个特征点的特征向量与所述第一图像中的特征点的特征向量之间的最小欧式距离与次小欧式距离的比时,可以只计算所述第二图像中的每一个特征点的特征向量与在所述第一图像中与该特征点属于同一差分金字塔图像层的特征点的特征向量之间的最小欧式距离与次小欧式距离的比。
另外,由上述可知对于X射线摄影系统采集的图像,第一图像和第二图像之间可能存在水平方向或竖直方向的偏移且二者之间的放大率差异可忽略不计,因此在对所述第一图像和第二图像中的特征点进行双向匹配时,对于所述第一图像和所述第二图像之间在水平方向整体偏移较大,在竖直方向的偏移非常小或者不存在(例如:卧位拍摄),本实施例在计算所述第一图像中的每一个特征点的特征向量与所述第二图像中的特征点的特征向量之间的最小欧式距离与次小欧式距离的比时,还可以只计算所述第一图像中的每一个特征点的特征向量与在所述第二图像中与该特征点的纵坐标距离之差的绝对值小于第一预设距离且与该特征点属于同一差分金字塔图像层的特征点的特征向量之间的最小欧式距离和次小欧式距离的比;在计算所述第二图像中的每一个特征点的特征向量与所述第一图像中的特征点的特征向量之间的最小欧式距离与次小欧式距离的比时,还可以只计算所述第二图像中的每一个特征点的特征向量与在所述第一图像中与该特征点的纵坐标距离之差的绝对值小于第二预设距离且与该特征点属于同一差分金字塔图像层的特征点的特征向量之间的最小欧式距离和次小欧式距离的比。
同样地,在对所述第一图像和第二图像中的特征点进行双向匹配时,对于立位拍摄时,所述第一图像和所述第二图像之间在竖直方向整体偏移较大,在水平方向偏移非常小或者不存在;本实施例在计算所述第一图像中的每一个特征点的特征向量与所述第二图像中的特征点的特征向量之间的最小欧式距离与次小欧式距离的比时,还可以只计算所述第一图像中的每一个特征点的特征向量与在所述第二图像中与该特征点的横坐标距离之差的绝对值小于第三预设距离且与该特征点属于同一差分金字塔图像层的特征点的特征向量之间的最小欧式距离和次小欧式距离的比;在计算所述第二图像中的每一个特征点的特征向量与所述第一图像中的特征点的特征向量之间的最小欧式距离与次小欧式距离的比时,还可以只计算所述第二图像中的每一个特征点的特征向量与在所述第一图像中与该特征点的横坐标距离之差的绝对值小于第四预设距离且与该特征点属于同一差分金字塔图像层的特征点的特征向量之间的最小欧式距离和次小欧式距离的比。
本实施例中,在对所述第一图像和所述第二图像中的特征点进行双向匹配时,根据不同的应用场景来计算所述第一图像中的特征点的特征向量与所述第二图像中的特征点的特征向量之间的最小欧式几何距离和次小欧式几何距离,可以提高特征点匹配的速度,进而也提高了确定匹配点对的速度,同时也可以提高匹配获得的初始匹配点对的准确度。
至此通过上述步骤,实现了对S101′~S103′检测出的所述第一图像和所述第二图像中的特征点的匹配,获得了初始匹配点对。然而对于匹配获得的初始匹配点对而言,其中会存在错误的匹配点对,因此,需要去除所述初始匹配点对中错误的匹配点对,本实施例中具体通过S105~S106来去除所述初始匹配点对中错误的匹配点对。
本实施例中,从第一图像和第二图像之间的位置关系的角度进行考虑,来去除所述初始配点对中可能存在的错误的匹配点对。考虑到第一图像和第二图像之间在水平方向和竖直方向可能均存在偏移,如采用上述的X射线摄影系统采集到的第一图像和第二图像,二者之间只存在位置上的平移关系,即第一图像和第二图像仅存在沿水平方向和竖直方向上的偏移,故可以根据第一图像和第二图像之间实际的位置关系来去除所述初始匹配点对中错误的匹配点对以获得准确度高的匹配点对。
由上述可知,对于不同的拍摄体位,第一图像和第二图像之间在水平方向和竖直方向的偏移有所不同,对于立位拍摄而言,探测器和球管沿竖直方向移动,导轨只能保证第一图像和第二图像在水平(横坐标)方向上不会出现较大的偏移,而在竖直(纵坐标)方向上,即使在特征点检测和特征向量匹配相对准确的前提下,计算获得的所有初始匹配点对的纵坐标之差会比所有初始匹配点对的横坐标之差大,因此,初始匹配点对中真正的匹配点对(最终确定的匹配点对或称之为正确的匹配点对)的纵坐标之差和错误的匹配点对的纵坐标之差的差异也会较大。而当探测器和球管沿水平方向移动时,导轨只能保证待第一图像和第二图像在竖直(纵坐标)方向上不会出现较大的偏移,而在水平(横坐标)方向上,即使在特征点检测和特征向量匹配相对准确的前提下,计算获得的所有初始匹配点对的横坐标之差会比所有初始匹配点对的纵坐标之差大,因此,初始匹配点对中真正的匹配点对(最终确定的匹配点对或称之为正确的匹配点对)的横坐标之差和错误的匹配点对的横坐标之差的差异也会较大。
因此,对于探测器和球管沿竖直方向运动而言,对第一图像和第二图像中的特征点进行匹配,生成的初始匹配点对的纵坐标之差会比横坐标之差大(竖直方向的偏移大于水平方向的偏移)。而对于探测器和球管沿水平方向运动而言,对第一图像和第二图像中的特征点进行匹配,生成的初始匹配点对的横坐标之差会比纵坐标之差大(水平方向的偏移会大于竖直方向的偏移)。故,本实施例中在获得所述第一图像和第二图像的初始匹配点对后,可以通过直方图统计的方式分别从统计较相近的纵坐标之差对应的初始匹配点对个数,较相近的横坐标之差对应的初始匹配点对个数两方面进行,以去除初始匹配点对中可能还存在的错误的匹配点对。
执行S105:以所述初始匹配点对的第一坐标之差为横坐标,与第一坐标之差对应的初始匹配点对个数为纵坐标生成第一直方图,确定所述第一直方图中初始匹配点对个数之和最大时所在簇的初始匹配点对为第一匹配点对;本实施例中,若是立位拍摄,则第一图像和第二图像之间在水平方向的偏移不大,在竖直方向的偏移较大,因此,初始匹配点对中正确的匹配点对的纵坐标之差和错误的匹配点对的纵坐标之差的差异也会较大,所以,对于立位拍摄而言,可以先对所述初始匹配点对的纵坐标之差进行直方图统计以获得第一匹配点对,具体的就是以所述初始匹配点对的纵坐标之差为横坐标,与纵坐标之差对应的初始匹配点对个数为纵坐标生成第一直方图,确定所述第一直方图中初始匹配点对个数之和最大时所在簇的初始匹配点对为第一匹配点对。若是卧位拍摄,则第一图像和第二图像之间在竖直方向的偏移不大,在水平方向偏移较大,因此,初始匹配点对中正确的匹配点对的横坐标之差和错误的匹配点对的横坐标之差的差异也会较大,所以对于卧位拍摄而言,可以先对所述初始匹配点对的横坐标之差进行直方图统计以获得第一匹配点对,具体的就是以所述初始匹配点对的横坐标之差为横坐标,与横坐标之差对应的初始匹配点对个数为纵坐标生成第一直方图,确定所述第一直方图中初始匹配点对个数之和最大时所在簇的初始匹配点对为第一匹配点对。
以立位拍摄为例,第一图像和第二图像分别为I1和I2,在对I1和I2进行了特征点检测和匹配以获得初始匹配点对后,若在初始匹配点对中属于I1的像素点的坐标为(x1i,y1i)、属于I2的像素点的坐标为(x2i,y2i),(i∈[1,N],N为初始匹配点对的个数),以y2i-y1i为横坐标,并对与y2i-y1i对应的初始匹配点对的个数进行统计,如:当初始匹配点对的纵坐标之差为6个像素单位时,与其对应的初始匹配点对的个数为20,根据该统计信息,生成以初始匹配点对的纵坐标之差为横坐标,与该纵坐标之差对应的初始匹配点对的个数为纵坐标的第一直方图,通过该第一直方图中对初始匹配点对在不同纵坐标之差下所对应的初始匹配点对个数的统计,可以去除错误的初始匹配点对,这是因为对于通过S104匹配获得的第一图像和第二图像的初始匹配点对而言,正确的匹配点对仍然占了大部分,因此,在所述第一直方图中的一个簇中所包含的初始匹配点对个数最多时,其所在的簇所包含的初始匹配点对为正确的匹配点对的可能性最大,因此,保留所述第一直方图中,初始匹配点对个数之和为最大时其所在簇中所包括的初始匹配点对,将其他簇中所包括的初始匹配点对作为错误的匹配点去除,并将保留的初始匹配点对作为第一匹配点对。
同样地,对于卧位拍摄而言,通过S104匹配获得的第一图像和第二图像的初始匹配点对中,正确的匹配点对仍然占了大部分,因此,在以所述初始匹配点对的横坐标之差为横坐标,与横坐标之差对应的初始匹配点对个数为纵坐标生成第一直方图中的一个簇中所包含的初始匹配点对个数最多时,其所在的簇所包含的初始匹配点对为正确的匹配点对的可能性最大,故保留所述第一直方图中,初始匹配点对个数之和为最大时其所在簇中所包括的初始匹配点对,将其他簇中所包括的初始匹配点对作为错误的匹配点去除,并将保留的初始匹配点对作为第一匹配点对。
本实施例中,所述簇可以根据经验值而定也可以通过实验获得,也即在生成所述第一直方图之前,需根据经验值或者实验获得的值对簇的宽度进行定义。本实施例中,所述簇的宽度可以在4~6个像素点之间。
通过执行S105去除了纵坐标之差不属于计算出的大部分的初始匹配点对的纵坐标之差的那部分,或者横坐标之差不属于计算出的大部分的初始匹配点对的横坐标之差的部分,也即去除了所述初始匹配点对中错误的匹配点对以获得第一匹配点对。本实施例中不管是立位拍摄还是卧位拍摄,其在水平方向和竖直方向均存在偏移,在去除了所述第一图像和所述第二图像沿一个方向可能存在的错误的匹配点对后,执行S106,去除二者之间沿另一个方向可能存在的错误的匹配点对,也即以所述第一匹配点对的第二坐标之差为横坐标,与第二坐标之差对应的第一匹配点对个数为纵坐标生成第二直方图,同样地,对于在所述初始匹配点对中去除了部分错误的匹配对后获得的第一匹配点对而言,在所述第一匹配点对中正确的匹配点对仍然是占大部分的,因此,在所述第二直方图中第一匹配点对个数之和最大时,其所在簇所包含的第一匹配点对为正确的匹配点对(最终确定的匹配点对)的可能性也是最大的,因此,保留所述第二直方图中,第一匹配点对个数之和为最大时其所在簇中所包括的第一匹配点对,将其他簇中所包括的第一匹配点对作为错误的匹配点对去除,并将保留的第一匹配点对作为匹配点对。本实施例中,若是立位拍摄则所述第二坐标为横坐标,即生成以横坐标之差为横坐标,与横坐标之差对应的第一匹配点对个数为纵坐标的第二直方图。若是卧位拍摄则所述第二坐标为纵坐标,即生成以纵坐标之差为横坐标,与纵坐标之差对应的第一匹配点对个数为纵坐标的第二直方图。最终在所述第二直方图中,确定第一匹配点对个数之和最大时所在簇的第一匹配点对为匹配点对,所述簇的宽度可以在4~6个像素点之间。通过执行S106,去除了横坐标之差不属于计算出的大部分的第一匹配点对的横坐标之差的那部分,或者纵坐标之差不属于计算出的大部分的第一匹配点对的纵坐标之差的部分,也即去除了所述第一匹配点对中错误的匹配点对以获得匹配点对。
需要说明的是,在实际去除所述初始匹配点对中的错误的匹配点对的过程中,可能会出现第一直方图中不同簇中所包含的初始匹配点对个数相同的情况,此时需要对第一直方图进行均值滤波,在对经过了均值滤波后的第一直方图中保留初始匹配点对个数之和为最大时其所在簇中所包含的初始匹配点对为第一匹配点对,然后以该第一匹配点对的第二坐标之差为横坐标,与第二坐标之差对应的该第一匹配点对个数为纵坐标生成第二直方图,若所述第二直方图中也存在不同簇中所包含的第一匹配点对个数相同的情况,此时也需对所述第二直方图进行均值滤波,确定经过了均值滤波的第二直方图中第一匹配点对个数之和为最大时其所在簇中所包含的第一匹配点对为匹配点对。
本实施例中,对于不同体位的拍摄,从第一图像和第二图像之间的位置关系的角度进行了考虑,先对所述初始匹配点对的第一坐标之差进行直方图统计以去除其中错误的匹配点对来获得第一匹配点对,再对获得的第一匹配点对的第二坐标之差进行直方图统计以进一步的去除可能仍然存在的错误的匹配点对,筛选出准确的匹配点对,因此提高了最终获得的匹配点对的准确度,且采用直方图统计的方式在初始匹配点对中确定匹配点对方法简单计算量小。
此外,本实施例中,所述第一图像和第二图像除了在水平方向和竖直方向存在整体偏移外,还可能存在第一图像和第二图像在竖直方向存在较大偏移在水平方向不存在偏移或者偏移较小,或者第一图像和第二图像在水平方向存在较大偏移在竖直方向不存在偏移或者偏移较小。例如:对于上述的X射线摄影系统,当探测器和球管沿竖直方向移动(立位拍摄),或者沿水平方向移动(卧位拍摄)时,若探测器移动时所在导轨的精度足够高,探测器在沿竖直方向移动的过程中在水平方向移动较小或者基本上没有移动,探测器在沿水平方向移动的过程中在竖直方向移动较小或者基本上没有移动,则第一图像和第二图像之间可能出现仅在一个方向的偏移较大,在另外一个方向的偏移较小或者基本上不存在,此时初始匹配点对在一个方向或者说沿一个坐标的偏移接近零,此时可以从统计较相近的纵坐标之差对应的初始匹配点对个数,或者从统计较相近的横坐标之差对应的初始匹配点对个数来去除初始匹配点对中存在的错误的匹配点对。
具体的,本实施例中以所述初始匹配点对的坐标之差为横坐标,与坐标之差对应的初始匹配点对个数为纵坐标生成直方图,确定所述直方图中初始匹配点对个数之和最大时所在簇的初始匹配点对为匹配点对。同样地,对于在这种应用场景下检测到的初始匹配点对中,占了大部分的仍然是正确的匹配点对,因此,在所述直方图中的一个簇中所包含的初始匹配点对个数最多时,其所在的簇所包含的初始匹配点对为正确的匹配点对的可能性最大,故保留直方图中初始匹配点对个数之和为最大时其所在簇中所包括的初始匹配点对,将其他簇中所包括的初始匹配点对作为错误的匹配点对去除。本实施例中,对于第一图像和第二图像在竖直方向存在较大偏移在水平方向不存在偏移或者偏移较小(立位拍摄),所述坐标为纵坐标;对于第一图像和第二图像在水平方向存在较大偏移在竖直方向不存在偏移或者偏移较小(卧位拍摄),所述坐标为横坐标;所述簇的宽度在生成所述直方图之前,需根据经验值或者实验获得的值进行定义。本实施例中,所述簇的宽度可以在4~6个像素点之间。
至此,通过上述的S101'~S106实现了对第一图像和第二图像中的匹配点对的确定,由于确定匹配点对的过程中,特征点的检测复杂度低速度快,因此在一定程度上也降低了确定匹配点对的复杂度,提高了确定匹配点对的速度。由于检测到的特征点较稳定,因此也提高了匹配获得的初始匹配点对的准确度,此外在去除所述初始匹配点对中错误的匹配点对时,从第一图像和第二图像之间的位置关系的角度考虑,进而通过直方图统计的方式确定匹配点对,方法简单,计算量小,获得的匹配点对的准确度高。因此,本实施例确定匹配点对的方法,在一定程度上降低了确定匹配点对的复杂度,在一定程度上提高了确定匹配点对的速度,且最终获得的匹配点对的准确度高。
对应于上述的确定匹配点对的方法,本实施例还提供一种确定匹配点对的装置,所述确定匹配点对的装置包括:
分解单元,用于对第一图像和第二图像进行金字塔分解,基于分解后的第一图像和第二图像分别构造与所述第一图像对应的第一差分金字塔图像以及与所述第二图像对应的第二差分金字塔图像;所述第一图像和所述第二图像为相邻的图像;
搜索单元,用于遍历所述第一差分金字塔图像的每一层,搜索每层差分金字塔图像中的极值点,遍历所述第二差分金字塔图像的每一层,搜索每层差分金字塔图像中的极值点;所述极值点关联于预设邻域中的像素点的灰度值的绝对值;
第一去除单元,用于去除所述第一差分金字塔图像的极值点中为所述第一图像强边缘上的像素点以获得所述第一图像中的特征点;去除所述第二差分金字塔图像的极值点中为所述第二图像强边缘上的像素点以获得所述第二图像中的特征点;
匹配单元,用于对所述第一图像和所述第二图像中的特征点进行匹配以生成初始匹配点对;
第一直方图生成单元,用于以所述初始匹配点对的第一坐标之差为横坐标,与第一坐标之差对应的初始匹配点对个数为纵坐标生成第一直方图;
第一匹配点对确定单元,用于确定所述第一直方图中初始匹配点对个数之和最大时所在簇的初始匹配点对为第一匹配点对;
第二直方图生成单元,用于以所述第一匹配点对的第二坐标之差为横坐标,与第二坐标之差对应的第一匹配点对个数为纵坐标生成第二直方图;
匹配点对确定单元,用于确定所述第二直方图中第一匹配点对个数之和最大时所在簇的第一匹配点对为匹配点对。
本实施例的确定匹配点对的装置,去除所述初始匹配点对中错误的匹配点对以获得匹配点对的第二去除单元包括:第一直方图生成单元、第一匹配点对确定单元、第二直方图生成单元和匹配点对确定单元。所述确定匹配点对的装置的具体实施可参考所述确定匹配点对的方法的实施,在此不再赘述。
本实施例还提供一种X射线摄影系统,包括上述的确定匹配点对的装置。
实施例三
本实施例提供一种确定匹配点对的方法,与实施例二不同的是,本实施例中去除所述初始匹配点对中错误的匹配点对的方法与实施例二中不同,请参见图4,图4是本发明实施例三的确定匹配点对的方法的流程示意图;本实施例中,所述确定匹配点对的方法包括:
S101′:对第一图像和第二图像进行金字塔分解,基于分解后的第一图像和第二图像分别构造与所述第一图像对应的第一差分金字塔图像以及与所述第二图像对应的第二差分金字塔图像;所述第一图像和所述第二图像为相邻的图像;
S102′:遍历所述第一差分金字塔图像的每一层,搜索每层差分金字塔图像中的极值点,遍历所述第二差分金字塔图像的每一层,搜索每层差分金字塔图像中的极值点,所述极值点关联于预设邻域中的像素点的灰度值的绝对值;
S103′:去除所述第一差分金字塔图像的极值点中为所述第一图像强边缘上的像素点以获得所述第一图像中的特征点;去除所述第二差分金字塔图像的极值点中为所述第二图像强边缘上的像素点以获得所述第二图像中的特征点;
S104:对所述第一图像和所述第二图像中的特征点进行匹配以生成初始匹配点对;
S105':计算所述第一图像和第二图像的初始匹配点对所在连线的斜率,以所述初始匹配点对所在连线的斜率为横坐标,与所述斜率对应的初始匹配点对个数为纵坐标生成斜率直方图;
S106':确定所述斜率直方图中初始匹配点对个数之和最大时所在簇的初始匹配点对为第一匹配点对;
S107:以所述第一匹配点对的第一坐标之差为横坐标,与第一坐标之差对应的第一匹配点对个数为纵坐标生成第一直方图,确定所述第一直方图中第一匹配点对个数之和最大时所在簇的第一匹配点对为第二匹配点对;
S108:以所述第二匹配点对的第二坐标之差为横坐标,与第二坐标之差对应的第二匹配点对个数为纵坐标生成第二直方图,确定所述第二直方图中第二匹配点对个数之和最大时所在簇的第二匹配点对为匹配点对。
本实施例中S101′~S104生成所述第一图像和所述第二图像的初始匹配点对与实施例二中相类似,此处不再赘述,本实施例中,在去除所述第一图像和所述第二图像的初始匹配点对中错误的匹配点对时,考虑到对于第一图像和第二图像而言,具有相同特性的特征点之间的连线应平行,如:对于通过X射线摄影系统采集到的第一图像和第二图像,二者在相同解剖结构上的特征点之间的连线应平行,或者说第一图像和第二图像之间的正确的匹配点对之间连线所具有的平行特性(也即正确的匹配点对所在连线的斜率相同或者非常接近),非相同解剖结构上的特征点之间的连线会呈现杂乱无章的状态(第一图像和第二图像之间错误的匹配点对之间的连线呈杂乱无章状态,也即错误的匹配点对所在连线的斜率呈不同值),因此,本实施例中,先对初始匹配点对之间的斜率进行直方图统计,以通过斜率直方图来对生成的初始匹配点对进行筛选以去除其中错误的匹配点对,然后再从第一图像和第二图像之间的位置关系角度进行考虑,来对第一图像和第二图像的初始匹配点对中错误的匹配点对进行进一步的去除,以下以第一图像和第二图像为X射线摄影系统采集到的图像为例,对去除初始匹配点对中错误的匹配点对的过程进行说明,但本发明的技术方案对此不做限定。
执行S105':计算所述第一图像I1和所述第二图像I2中初始匹配点对所在连线的斜率,参见图5,图5是本发明实施例三的获取第一图像和第二图像中初始匹配点对所在连线的斜率的示意图,如图5所示:本实施例中所述第一图像I1与所述第二图像I2紧邻且沿水平方向并列放置,I1的左上角为坐标原点,I1的水平边界(水平边界的长度为I1的宽W1)与X轴重合,竖直边界(竖直边界的长度为所述I1和I2沿竖直方向的高度)与Y轴重合,I2的水平边界也与X轴重合。像素点P1和P2为初始匹配点对,其中像素点P1位于I1中,其坐标为(x11,y11),像素点P2位于I2中,由于I1和I2并列放置,因此,在如图5所示的坐标系中,像素点P2的坐标为(x21+W1,y22),m1为像素点P1和像素点P2之间的连线,则m1的斜率可以通过如下公式获得:
对于I1和I2中的所有的初始匹配点对而言,二者之间连线的斜率则可以通过如下公式获得:
其中:Ki为第i对初始匹配点对所在连线的斜率、(x1i,y1i)、(x2i,y2i)为第i对初始匹配点对、(x1i,y1i)为所述第一图像I1中的第i个初始匹配点的位置、(x2i,y2i)为所述第二图像I2中的第i个初始匹配点的位置、W1为所述第一图像I1的宽度。
通过上述公式可以得到所述第一图像I1和所述第二图像I2中的初始匹配点对所在连线的斜率,以计算获得的斜率为横坐标,与该斜率对应的初始匹配点对的个数为纵坐标生成斜率直方图。举例来说,初始匹配点对P1和P2之间连线的斜率为对与对应的初始匹配点对的个数进行统计,继续参见图5,图5中与m1平行的m2、m3、m4的斜率均与相同,因此,图5中与对应的初始匹配点对的个数为4个。根据该统计信息,即可建立斜率和初始匹配点对之间的映射关系,获得斜率直方图。通过该斜率直方图中对不同斜率下所对应的初始匹配点对个数的统计,可以去除部分错误的匹配点对,这是因为通过S104匹配获得的初始匹配点对中,正确的匹配点对仍然占了大部分,因此,在所述斜率直方图中的一个簇中所包含的初始匹配点对个数最多时,其所在的簇所包含的初始匹配点对为正确的匹配点对的可能性也最大。
因此,执行S106',确定所述斜率直方图中初始匹配点对个数之和最大时所在簇的初始匹配点对为第一匹配点对。也即保留斜率直方图中,初始匹配点对个数之和为最大时其所在簇中所包括的初始匹配点对,将其他簇中所包括的初始匹配点对作为错误的匹配点对去除。本实施例中,所述簇可以根据经验值而定也可以通过实验获得,也即在生成所述斜率直方图之前,需根据经验值或者实验获得的值对簇的宽度进行定义。本实施例中,所述簇的宽度可以在4~6个像素点之间。对于图5而言,就是保留了图5中与m1、m2、m3、m4对应的初始匹配点对,去除与m5、m6对应的初始匹配点对。
需要说明的是,本实施例中,是以图5所示的方式建立坐标系以获得所述第一图像和第二图像中初始匹配点对所在连线的斜率,在其他实施例中,所述第一图像和第二图像也可以沿竖直方向上下放置,此时,在该坐标系下所述第一图像和所述第二图像的初始匹配点对所在连线的斜率的表达方式与上述也略有不同,但是对于所述第一图像和所述第二图像而言,不论以何种方式建立坐标系,最终生成的斜率直方图中,保留的初始匹配点对个数之和最大时所在簇的初始匹配点对均应相同。因此,本实施例中所述第一图像和所述第二图像的初始匹配点对所在连线的斜率的计算方式不应作为对本发明技术方案的限定。
由实施例二可知,所述第一图像和所述第二图像可能在水平和竖直方向均存在偏移,仍以X射线摄影系统为例,探测器和球管沿竖直方向运动时,对第一图像和第二图像中的特征点进行匹配,生成的初始匹配点对的纵坐标之差会比横坐标之差大(竖直方向的偏移大于水平方向的偏移)。而探测器和球管沿水平方向运动时,对第一图像和第二图像中的特征点进行匹配,生成的初始匹配点对的横坐标之差会比纵坐标之差大(水平方向的偏移会大于竖直方向的偏移)。
故,在通过斜率直方图去除了初始匹配点对中的错误匹配点对获得第一匹配点对后,可以通过直方图统计的方式分别从统计较相近的纵坐标之差对应的第一匹配点对个数,较相近的横坐标之差对应的第一匹配点对个数两方面进行,以去除第一匹配点对中可能还存在的错误的匹配点对。执行S107:以所述第一匹配点对的第一坐标之差为横坐标,与第一坐标之差对应的第一匹配点对个数为纵坐标生成第一直方图,确定所述第一直方图中第一匹配点对个数之和最大时所在簇的第一匹配点对为第二匹配点对;本实施例中,若第一图像和第二图像之间在水平方向的偏移不大,在竖直方向的偏移较大,如:立位拍摄,则第一匹配点对中正确的匹配点对的纵坐标之差和错误的匹配点对的纵坐标之差的差异也会较大,所以,可以先对所述第一匹配点对的纵坐标之差进行直方图统计以获得第二匹配点对,具体的就是以所述第一匹配点对的纵坐标之差为横坐标,与纵坐标之差对应的第一匹配点对个数为纵坐标生成第一直方图,确定所述第一直方图中第一匹配点对个数之和最大时所在簇的第一匹配点对为第二匹配点对。若第一图像和第二图像之间在竖直方向的偏移不大,在水平方向的偏移较大,如:卧位拍摄,则第一匹配点对中正确的匹配点对的横坐标之差和错误的匹配点对的横坐标之差的差异也会较大,所以,可以先对所述第一匹配点对的横坐标之差进行直方图统计以获得第二匹配点对,具体的就是以所述第一匹配点对的横坐标之差为横坐标,与横坐标之差对应的第一匹配点对个数为纵坐标生成第一直方图,确定所述第一直方图中第一匹配点对个数之和最大时所在簇的第一匹配点对为第二配点对。
以立位拍摄为例,第一图像和第二图像分别为I1和I2,在对I1和I2进行了基于斜率直方图统计的方式去除了部分错误的匹配点对获得第一匹配点对后,若在第一匹配点对中属于I1的像素点的坐标为(x1i,y1i)、属于I2的像素点的坐标为(x2i,y2i),(i∈[1,N],N为第一匹配点对的个数),以y2i-y1i为横坐标,并对与y2i-y1i对应的第一匹配点对的个数进行统计,如:当第一匹配点对的纵坐标之差为4个像素单位时,与其对应的第一匹配点对的个数为120,根据该统计信息,生成以第一匹配点对的纵坐标之差为横坐标,与该纵坐标之差对应的第一匹配点对的个数为纵坐标的第一直方图,通过该第一直方图中对第一匹配点对在不同纵坐标之差下所对应的第一匹配点对个数的统计,可以去除错误的第一匹配点对,这是因为通过S106'中确定的第一匹配点对中正确的匹配点对仍然占了大部分,因此,在所述第一直方图中的一个簇中所包含的第一匹配点对个数最多时,其所在的簇所包含的第一匹配点对为正确的匹配点对的可能性最大,因此,保留所述第一直方图中,第一匹配点对个数之和为最大时其所在簇中所包括的第一匹配点对,将其他簇中所包括的第一匹配点对作为错误的匹配点去除,并将保留的第一匹配点对作为第二匹配点对。
同样地,对于卧位拍摄而言,在对第一图像I1和第二图像I2进行了基于斜率直方图统计的方式去除了部分错误的匹配点对获得第一匹配点对后,正确的匹配点对仍然占了大部分,因此,在以所述第一匹配点对的横坐标之差为横坐标,与横坐标之差对应的第一匹配点对个数为纵坐标生成的第一直方图中的一个簇中所包含的第一匹配点对个数最多时,其所在的簇所包含的第一匹配点对为正确的匹配点对的可能性最大,故保留所述第一直方图中,第一匹配点对个数之和为最大时其所在簇中所包括的第一匹配点对,将其他簇中所包括的第一匹配点对作为错误的匹配点去除,并将保留的第一匹配点对作为第二匹配点对。
本实施例中,所述簇可以根据经验值而定也可以通过实验获得,也即在生成所述第一直方图之前,需根据经验值或者实验获得的值对簇的宽度进行定义。本实施例中,所述簇的宽度可以在4~6个像素点之间。
通过执行S107去除了纵坐标之差不属于计算出的大部分的第一匹配点对的纵坐标之差的那部分,或者横坐标之差不属于计算出的大部分的第一匹配点对的横坐标之差的部分,也即去除了所述第一匹配点对中错误的匹配点对以获得第二匹配点对。本实施例中,由于所述第一图像和所述第二图像在水平方向和竖直方向均存在偏移,因此在去除了第一图像I1和第二图像I2沿一个方向可能存在的错误的匹配点对后,执行S108,去除二者之间沿另一个方向可能存在的错误的匹配点对,也即以所述第二匹配点对的第二坐标之差为横坐标,与第二坐标之差对应的第二匹配点对个数为纵坐标生成第二直方图,确定所述第二直方图中第二匹配点对个数之和最大时所在簇的第二匹配点对为匹配点对。本实施例中,若所述第一图像和第二图像之间在水平方向偏移不大,在竖直方向的偏移较大,如:立位拍摄,则所述第二坐标为横坐标,即生成以横坐标之差为横坐标,与横坐标之差对应的第二匹配点对个数为纵坐标的第二直方图。若所述第一图像和第二图像之间在竖直方向的偏移不大,在水平方向的偏移较大,如:卧位拍摄,则所述第二坐标为纵坐标,即生成以纵坐标之差为横坐标,与纵坐标之差对应的第二匹配点对个数为纵坐标的第二直方图。最终在所述第二直方图中,确定第二匹配点对个数之和最大时所在簇的第二匹配点对为匹配点对,所述簇的宽度可以在4~6个像素点之间。通过执行S108,去除了横坐标之差不属于计算出的大部分的第二匹配点对的横坐标之差的那部分,或者纵坐标之差不属于计算出的大部分的第二匹配点对的纵坐标之差的部分,也即去除了所述第二匹配点对中错误的匹配点对以获得匹配点对。
需要说明的是,在实际去除所述初始匹配点对中的错误的匹配点对的过程中,可能会出现斜率直方图中不同簇中所包含的初始匹配点对个数相同的情况,此时需要对斜率直方图进行均值滤波,在对经过了均值滤波后的斜率直方图中保留初始匹配点对个数之和为最大时其所在簇中所包含的初始匹配点对为第一匹配点对,然后以该第一匹配点对的第一坐标之差为横坐标,与第一坐标之差对应的该第一匹配点对个数为纵坐标生成第一直方图,若所述第一直方图中也存在不同簇中所包含的第一匹配点对个数相同的情况,此时也需对所述第一直方图进行均值滤波,在对经过了均值滤波后的第一直方图中保留第一匹配点对个数之和为最大时其所在簇中所包含的第一匹配点对为第二匹配点对,然后以该第二匹配点对的第二坐标之差为横坐标,与第二坐标之差对应的第二匹配点对个数为纵坐标生成第二直方图,若所述第二直方图中仍存在不同簇中所包含的第二匹配点对个数相同的情况,则对所述第二直方图进行均值滤波,确定经过了均值滤波的第二直方图中第二匹配点对个数之和为最大时其所在簇中所包含的第二匹配点对为匹配点对。
本实施例中,对于所述第一图像和第二图像之间在水平方向偏移不大,在竖直方向的偏移较大,如:立位拍摄,先基于斜率直方图的方式去除了初始匹配点对中部分错误的匹配点对获得第一匹配点对,然后以所述第一匹配点对的纵坐标之差为横坐标,与纵坐标之差对应的第一匹配点对个数为纵坐标生成第一直方图以确定第二匹配点对,最后以所述第二匹配点对的横坐标之差为横坐标,与横坐标之差对应的第二匹配点对个数为纵坐标生成第二直方图以确定匹配点对。对于所述第一图像和第二图像之间在竖直方向的偏移不大,在水平方向的偏移较大,如:卧位拍摄,先基于斜率直方图的方式去除了初始匹配点对中部分错误的匹配点对获得第一匹配点对,然后以所述第一匹配点对的横坐标之差为横坐标,与横坐标之差对应的第一匹配点对个数为纵坐标生成第一直方图以确定第二匹配点对,最后以所述第二匹配点对的纵坐标之差为横坐标,与纵坐标之差对应的第二匹配点对个数为纵坐标生成第二直方图以确定匹配点对。对于不同体位的拍摄,既考虑了第一图像和第二图像之间的解剖结构特性,又从第一图像和第二图像之间的位置关系的角度进行了考虑以尽可能的去除第一图像和第二图像的初始匹配点对中错误的匹配点,因此在很大程上提高了最终获得的匹配点对的准确度,且采用直方图统计的方式在初始匹配点对中确定匹配点对方法简单计算量小。
本实施例的确定匹配点对的方法,在进行特征点检测时,检测特征点的复杂度低,速度快,因此在一定程度上降低了确定匹配点对的复杂度,提高了确定匹配点对的速度。由于检测到的特征点较稳定,因此也提高了匹配获得的初始匹配点对的准确度,在去除所述初始匹配点对中错误的匹配点对时,采用基于斜率直方图统计和直方图统计的方式去除错误的匹配点对,复杂度低、计算量小,获得的匹配点对的准确度高。故,本实施例的确定匹配点对的方法,在很大程度上降低了确定匹配点对的复杂度,在很大程度上提高了确定匹配点对的速度,且最终获得的匹配点对的准确度高。
由实施例二可知,所述第一图像和所述第二图像除了在水平方向和竖直方向存在整体偏移外,还可能存在所述第一图像和所述第二图像在竖直方向存在较大偏移在水平方向不存在偏移或者偏移较小,或者所述第一图像和所述第二图像在水平方向存在较大偏移在竖直方向不存在偏移或者偏移较小。例如:对于上述的X射线摄影系统,当探测器和球管沿竖直方向移动(立位拍摄),或者沿水平方向移动(卧位拍摄)时,若探测器移动时所在导轨的精度足够高,探测器在沿竖直方向移动的过程中在水平方向移动较小或者基本上没有移动,探测器在沿水平方向移动的过程中在竖直方向移动较小或者基本上没有移动,初始匹配点对在一个方向或者说沿一个坐标的偏移接近零。
因此,在另一实施例中,可以先对初始匹配点对之间的斜率进行直方图统计,通过斜率直方图来对生成的初始匹配点对进行筛选以去除其中错误的匹配点对,然后再从统计较相近的纵坐标之差对应的初始匹配点对个数,或者从统计较相近的横坐标之差对应的初始匹配点对个数来去除初始匹配点对中仍存在的错误的匹配点对。
具体的,就是先计算所述第一图像和所述第二图像的初始匹配点对所在连线的斜率,以所述初始匹配点对所在连线的斜率为横坐标,与所述斜率对应的初始匹配点对个数为纵坐标生成斜率直方图;确定所述斜率直方图中初始匹配点对个数之和最大时所在簇的初始匹配点对为第一匹配点对;以所述第一匹配点对的坐标之差为横坐标,与坐标之差对应的第一匹配点对个数为纵坐标生成直方图;确定所述直方图中第一匹配点对个数之和最大时所在簇的第一匹配点对为匹配点对。若所述第一图像和所述第二图像在竖直方向存在较大偏移在水平方向不存在偏移或者偏移较小,如立位拍摄,则以所述第一匹配点对的纵坐标之差为横坐标,与纵坐标之差对应的第一匹配点对个数为纵坐标生成直方图。若所述第一图像和所述第二图像在水平方向存在较大偏移在竖直方向不存在偏移或者偏移较小,如卧位拍摄,则以所述第一匹配点对的横坐标之差为横坐标,与横坐标之差对应的第一匹配点对个数为纵坐标生成直方图。
在又一实施例中,也可以仅通过斜率直方图的方式去除所述初始匹配点对中错误的匹配点对。
至此,通过S101'~S108去除了所述第一图像和所述第二图像的初始匹配点对中存在的错误的匹配点对,本实施例中,先基于斜率直方图的方式去除了初始匹配点对中部分错误的匹配点对获得第一匹配点对,然后以所述第一匹配点对的第一坐标之差为横坐标,与第一坐标之差对应的第一匹配点对个数为纵坐标生成第一直方图以确定第二匹配点对,最后以所述第二匹配点对的第二标之差为横坐标,与第二坐标之差对应的第二匹配点对个数为纵坐标生成第二直方图以确定匹配点对。既考虑了第一图像和第二图像之间的解剖结构特性,又从第一图像和第二图像之间的位置关系的角度进行了考虑以尽可能的去除第一图像和第二图像的初始匹配点对中错误的匹配点,因此在很大程上提高了最终获得的匹配点对的准确度,在很大程度上降低了获得匹配点对的复杂度,且采用斜率直方图和直方图统计的方式在初始匹配点对中确定匹配点对方法简单计算量小。
对应上述的确定匹配点对的方法,本实施例还提供一种确定匹配点对的装置,所述确定匹配点对的装置包括:
分解单元:用于对第一图像和第二图像进行金字塔分解,基于分解后的第一图像和第二图像分别构造与所述第一图像对应的第一差分金字塔图像以及与所述第二图像对应的第二差分金字塔图像;所述第一图像和所述第二图像为相邻的图像;
搜索单元:用于遍历所述第一差分金字塔图像的每一层,搜索每层差分金字塔图像中的极值点,遍历所述第二差分金字塔图像的每一层,搜索每层差分金字塔图像中的极值点,所述极值点关联于预设邻域中的像素点的灰度值的绝对值;
第一去除单元:用于去除所述第一差分金字塔图像的极值点中为所述第一图像强边缘上的像素点以获得所述第一图像中的特征点;去除所述第二差分金字塔图像的极值点中为所述第二图像强边缘上的像素点以获得所述第二图像中的特征点;
匹配单元:用于对所述第一图像和所述第二图像中的特征点进行匹配以生成初始匹配点对;
斜率直方图生成单元:用于计算所述第一图像和第二图像的初始匹配点对所在连线的斜率,以所述初始匹配点对所在连线的斜率为横坐标,与所述斜率对应的初始匹配点对个数为纵坐标生成斜率直方图;
第一匹配点对确定单元:用于确定所述斜率直方图中初始匹配点对个数之和最大时所在簇的初始匹配点对为第一匹配点对;
第一直方图生成单元:用于以所述第一匹配点对的第一坐标之差为横坐标,与第一坐标之差对应的第一匹配点对个数为纵坐标生成第一直方图;
第二匹配点对确定单元:用于确定所述第一直方图中第一匹配点对个数之和最大时所在簇的第一匹配点对为第二匹配点对;
第二直方图生成单元:用于以所述第二匹配点对的第二坐标之差为横坐标,与第二坐标之差对应的第二匹配点对个数为纵坐标生成第二直方图;
匹配点对确定单元,用于确定所述第二直方图中第二匹配点对个数之和最大时所在簇的第二匹配点对为匹配点对。
本实施例的确定匹配点对的装置,去除所述初始匹配点对中错误的匹配点对以获得匹配点对的第二去除单元包括:斜率直方图生成单元、第一匹配点对确定单元、第一直方图生成单元、第二匹配点对确定单元、第二直方图生成单元和匹配点对确定单元。所述确定匹配点对的装置的具体实施可参考所述确定匹配点对的方法的实施,在此不再赘述。
本实施例还提供一种X射线摄影系统,包括上述的确定匹配点对的装置。
实施例四
本实施例提供一种图像获取方法,请参见图6,图6是本发明实施例四的图像获取方法的流程示意图,如图6所示:所述图像获取方法包括:
S201:对第一图像和第二图像进行金字塔分解,基于分解后的第一图像和第二图像分别构造与所述第一图像对应的第一差分金字塔图像以及与所述第二图像对应的第二差分金字塔图像;所述第一图像和所述第二图像为相邻的图像;
S202:遍历所述第一差分金字塔图像的每一层,搜索每层差分金字塔图像中的极值点,遍历所述第二差分金字塔图像的每一层,搜索每层差分金字塔图像中的极值点,所述极值点关联于预设邻域中的像素点的灰度值的绝对值;
S203:去除所述第一差分金字塔图像的极值点中为所述第一图像强边缘上的像素点以获得所述第一图像中的特征点;去除所述第二差分金字塔图像的极值点中为所述第二图像强边缘上的像素点以获得所述第二图像中的特征点;
S204:对所述第一图像和所述第二图像中的特征点进行匹配以生成初始匹配点对;
S205:去除所述初始匹配点对中错误的匹配点对以获得匹配点对;
S206:基于所述匹配点对之间的位置关系确定所述第一图像和所述第二图像之间的偏移;
S207:根据所述第一图像和所述第二图像之间的偏移确定所述第一图像和所述第二图像的重叠区域;
S208:根据所述重叠区域对所述第一图像和所述第二图像进行拼接。
本实施例中获取的图像为拼接后的图像,所述第一图像和所述第二图像可以是通过X射线摄影系统采集到的图像,由于对所述第一图像和所述第二图像进行特征点检测和匹配,主要是用于对第一图像和第二图像进行拼接,因此,本实施例中在执行S201之前,可以先对所述第一图像和所述第二图像进行预处理,具体地,首先可以根据实际的经验预估所述第一图像和所述第二图像的初始重叠区域,根据所述第一图像和所述第二图像的初始重叠区域的高度在所述第一图像中确定与该初始重叠区域对应的第一区域,本实施例中称之为第三图像,在所述第二图像中确定与该初始重叠区域对应的第二区域,本实施例中称之为第四图像。对所述第三图像和所述第四图像进行预处理,具体的就是对所述第三图像和所述第四图像进行灰度范围映射,将所述第三图像和所述第四图像的灰度值映射到相同的范围。举例来说,若所述第三图像的灰度值属于0~255,所述第四图像的灰度值属于0~4096,则可以将所述第三图像的0~255的灰度值线性的映射到所述第四图像的0~4096的灰度值范围内。
另外,考虑到对所述第一图像和所述第二图像进行拼接时,待拼接的区域(真正重叠的区域)属于所述初始重叠区域,所以本实施例中在检测所述第一图像和所述第二图像中的特征点时,即执行S201~S203的过程中,是对所述第一图像和所述第二图像的部分区域即上述的初始重叠区域进行检测,也即对所述第一图像的第一区域和所述第二图像的第一区域进行检测,或者说是对所述第三图像和所述第四图像的特征点进行检测。
因此,在获取拼接图像的过程中执行S201时,是对所述第一图像的部分图像和所述第二图像的部分图像进行金字塔分解,也就是说S201中是对所述第三图像和所述第四图像进行金字塔分解,并基于分解后的第三图像和第四图像分别构造与所述第三图像对应的第三差分金字塔图像以及与所述第四图像对应的第四差分金字塔图像。而具体如何对第三图像和第四图像进行金字塔分解,并构造第三差分金字塔图像和第四差分金字塔图像,可以参见S101,此处不再赘述。
同样地,在获取拼接图像的过程中执行S202时,是遍历所述第三差分金字塔图像的每一层,搜索每层差分金字塔图像中的极值点,遍历所述第四差分金字塔图像的每一层,搜索每层差分金字塔图像中的极值点,所述极值点关联于预设邻域中的像素点的灰度值的绝对值;执行S203时,是去除所述第三差分金字塔图像的极值点中为所述第三图像强边缘上的像素点以获得所述第三图像中的特征点;去除所述第四差分金字塔图像的极值点中为所述第四图像强边缘上的像素点以获得所述第四图像中的特征点,而所述第三图像中的特征点也是所述第一图像中的特征点,所述第四图像中的特征点也是所述第二图像中的特征点。
此外,由上述可知,在确定高斯差分金字塔图像中的极值点时,所述极值点可以是对像素点P的灰度值的绝对值按照由大至小的顺序排序后位于前N位的像素点P,在获取拼接图像的过程中,确定所述第三差分金字塔图像中的极值点时,所取的极值点则可以是对像素点P的灰度值的绝对值按照由大至小的顺序排序后位于前M位的像素点P(像素点P是指所述第三差分金字塔图像的每层中像素点的灰度值的绝对值为所述像素点预设邻域中像素点的灰度值的绝对值最大的像素点),M=N×初始重叠区域高度。同样地,确定所述第四差分金字塔图像中的极值点时,所取的极值点也可以是对像素点P的灰度值的绝对值按照由大至小的顺序排序后位于前M位的像素点P(像素点P是指所述第四差分金字塔图像的每层中像素点的灰度值的绝对值为所述像素点预设邻域中像素点的灰度值的绝对值最大的像素点)。
本实施例在获取拼接图像时,由于考虑了对特征点的检测和匹配主要是用于对第一图像和第二图像进行拼接,因此,在检测特征点时,并未对整幅第一图像和第二图像进行检测,而是对位于第一图像中的初始重叠区域即第三图像和位于第二图像中的初始重叠区域即第四图像进行了特征点的检测和匹配,因此可以提高特征点的检测速度,进一步地也可以提高确定所述第一图像和所述第二图像的匹配点对的速度。
通过执行S201~S203获得所述第一图像和所述第二图像中的特征点后,执行S204~S205对所述第一图像和所述第二图像中的特征点进行匹配以生成初始匹配点对,去除所述初始匹配点对中错误的匹配点对以获得匹配点对。本实施例中对所述第一图像和所述第二图像中的特征点如何进行匹配可以参见实施例二中的描述,去除所述初始匹配点对中错误的匹配点对以获得匹配点对则可以参见实施例二和实施例三中描述的去除所述初始匹配点对中错误的匹配点对的方法,此处不再赘述。
在通过S201~S205获得匹配点对后,执行S206基于所述匹配点对之间的位置关系确定所述第一图像和所述第二图像之间的偏移。具体地,本实施例中是以匹配点对的横坐标之差的均值作为所述第一图像和所述第二图像之间在水平方向的偏移,以匹配点对的纵坐标之差的均值作为所述第一图像和所述第二图像之间在竖直方向的偏移。举例来说:若最终获得的匹配点对为K个,其中属于第一图像I1的像素点的坐标为(x1i,y1i)、属于第二图像I2的像素点的坐标为(x2i,y2i),则所述第一图像和所述第二图像之间在水平方向的偏移所述第一图像和所述第二图像之间在竖直方向的偏移
本实施例中,若所述第一图像和所述第二图像之间在水平方向的偏移非常小(如:立位拍摄或者纵向拼接),故Δx趋于零,若所述第一图像和所述第二图像之间在竖直方向的偏移非常小(如:卧位拍摄或者横向拼接),则Δy趋于零。
执行S207,根据S206获得的所述第一图像和所述第二图像之间在水平方向和竖直方向的偏移确定二者之间的重叠区域。由上述可知,本实施例中是根据实际的经验预估所述第一图像和所述第二图像的初始重叠区域,仅在初始重叠区域中对所述第一图像和所述第二图像的特征点进行检测,这样可以提高特征点的检测速度,进而提高确定匹配点对的速度以及图像拼接的速度。因此本步中,仍以在所述第一图像I1和所述第二图像I2中,分别提取了初始重叠区域I1′(第三图像)和初始重叠区域I2′(第四图像)(I1′和I2′的图像尺寸相同)对初始重叠区域I1′和I2′进行特征点检测和匹配后获得的I1′和I2′之间在水平方向的偏移Δx,在竖直方向的偏移Δy为例,来说明如何获得I1′和I2′之间的重叠区域。
具体地,本实施例中通过如下方式确定I1′和I2′之间的重叠区域。本实施例中建立水平向右为X轴正方向,竖直向下为Y轴正方向的直角坐标系,由于I1′和I2′的图像尺寸相同,故I1′和I2′的高度H(沿Y轴方向)以及I1′和I2′的宽度W(沿X轴方向)均相同。以I2′的上边界与I1′的上边界之间的相对位置关系作为I1′和I2′在竖直方向的偏移Δy,以I2′的左边界与I1′的左边界的相对位置关系作为I1′和I2′在水平方向的偏移Δx。实际拼接过程中可能会出现Δx、Δy均大于零,Δx大于零、Δy小于零,Δx小于零、Δy大于零,Δx、Δy均小于零的情况,以下结合图7-a至图7-d的第一图像第二图像之间的位置关系示意图,对这四种情况下重叠区域的确定进行简单的说明。
此外,需要说明的是,图7-a至图7-d仅为第一图像和第二图像之间的位置关系示意图,其示出了第一图像和第二图像之间在水平方向和竖直方向均存在偏移的情况,并未示意出可能存在的第一图像和第二图像之间在水平方向或者竖直方向的偏移趋于零的情况,但本发明的技术方案并不局限于图7-a至图7-d所示的情况。
本实施例中,若Δx、Δy均大于零,则如图7-a所示,I2′的上边界和I1′的上边界均位于Y轴正向,I2′的上边界位于I1′的上边界的下方,I2′的上边界相对于I1′的上边界沿Y轴正向的偏移为I1′和I2′在竖直方向的偏移Δy,此时I1′和I2′在竖直方向重叠的高度为H-Δy;I2′的左边界和I1′的左边界均位于X轴正向,I2′的左边界位于I1′的左边界的右方,I2′的左边界相对于I1′的左边界沿X轴正向的偏移为I1′和I2′在水平方向的偏移Δx,I1′和I2′在水平方向重叠的宽度为W-Δx。在确定了I1′和I2′在水平方向和竖直方向重叠的宽度后,则可以确定I1′和I2′的重叠区域,而I1′和I2′之间的重叠区域,也即I1和I2之间的重叠区域。
若Δx大于零、Δy小于零,则如图7-b所示,I2′的上边界位于Y轴负向、I1′的上边界位于X轴,I2′的上边界位于I1′的上边界的上方,I2′的上边界相对于I1′的上边界的偏移沿Y轴负向,此时I1′和I2′在竖直方向重叠的高度为H+Δy;I2′的左边界和I1′的左边界均位于X轴正向,I2′的左边界位于I1′的左边界的右方,I2′的左边界相对于I1′的左边界沿X轴正向的偏移为I1′和I2′在水平方向的偏移Δx,I1′和I2′在水平方向重叠的宽度为W-Δx。在确定了I1′和I2′在水平方向和竖直方向重叠的宽度后,则可以确定I1′和I2′的重叠区域,而I1′和I2′之间的重叠区域,也即I1和I2之间的重叠区域。
若Δx小于零、Δy大于零,则如图7-c所示,I2′的上边界和I1′的上边界均位于Y轴正向,I2′的上边界位于I1′的上边界的下方,此时I1′和I2′在竖直方向重叠的高度为H-Δy;I2′的左边界位于Y轴,I1′的左边界位于X轴正向,I2′的左边界位于I1′的左边界的左方,I2′的左边界相对于I1′的左边界的偏移沿X轴负向,I1′和I2′在水平方向重叠的宽度为W+Δx。在确定了I1′和I2′在水平方向和竖直方向重叠的宽度后,则可以确定I1′和I2′的重叠区域,而I1′和I2′之间的重叠区域,也即I1和I2之间的重叠区域。
若Δx小于零、Δy小于零,则如图7-d所示,I2′的上边界位于Y轴负向、I1′的上边界位于X轴,I2′的上边界位于I1′的上边界的上方,I2′的上边界相对于I1′的上边界的偏移沿Y轴负向,此时I1′和I2′在竖直方向重叠的高度为H+Δy;I2′的左边界位于Y轴,I1′的左边界位于X轴正向,I2′的左边界位于I1′的左边界的左方,I2′的左边界相对于I1′的左边界的偏移沿X轴负向,I1′和I2′在水平方向重叠的宽度为W+Δx。在确定了I1′和I2′在水平方向和竖直方向重叠的宽度后,则可以确定I1′和I2′的重叠区域,而I1′和I2′之间的重叠区域,也即I1和I2之间的重叠区域。
需要说明的是本实施例中是以I2′的上边界与I1′的上边界之间的相对位置关系作为I1′和I2′在竖直方向的偏移Δy,以I2′的左边界与I1′的左边界的相对位置关系作为I1′和I2′在水平方向的偏移Δx。在其他实施例中,I1′和I2′在竖直方向的偏移Δy也可以以I2′的下边界与I1′的下边界之间的相对位置关系而定,I1′和I2′在水平方向的偏移Δx也可以以I2′的右边界与I1′的右边界的相对位置关系而定,本实施例中对此不做限定。
执行S208,根据S207获得的第一图像和第二图像的重叠区域,对二者之间进行拼接,仍以上述的I1和I2为例,由上述可知,S207中实际上是对第一图像I1和第二图像I2中的初始重叠区域I1′和I2′的重叠区域进行了确定,而I1′和I2′的重叠区域也即I1和I2的重叠区域。本实施例中,以该重叠区域的中心作为拼接点,先确定拼接点在I1′和I2′中的位置坐标,由于I1′和I2′与原图像I1和I2之间的相对位置关系是已知的,因此可以知晓拼接点在I1的位置以及拼接点在I2的位置,然后基于拼接点的位置来对I1和I2进行拼接,并对拼接后的图像进行融合。具体地,本实施例中仍建立以水平向右为X轴正向,竖直向下为Y轴正向的直角坐标系,I1和I2的左上角均位于该坐标系的原点,以I1为采集到的第一幅图像,I2为采集到的第二副图像为例,则在I1中保留像素点的纵坐标小于I1中的拼接点的纵坐标的像素点所在的区域,在I2中保留像素点的纵坐标大于拼接点的纵坐标的像素点所在的区域,将这两部分区域进行拼接以使得位于I1和I2中的拼接点重合。由于I1和I2之间存在灰度差异,因此在对I1和I2进行拼接后,位于拼接处上方和下方的图像会存在明显的灰度差异,故需对拼接后的图像进行融合。具体地,在拼接后的图像中过拼接点做与X轴平行的直线,称其为I1和I2之间的拼缝,在所述拼缝的上方(为I1)和下方(为I2)各取N个像素点,2N个像素点中每一个像素点的灰度值g通过如下公式获得:
g=a1×I1(x1,y1)+a2×I2(x2,y2)
其中,a1+a2=1,I1(x1,y1)为该像素点在I1中的灰度值,I2(x2,y2)为该像素点在I2中的灰度值。a1和a2为权重,当每一列的像素点的位置从位于I1到逐渐靠近拼缝,然后位于拼缝,再从远离拼缝到位于I2中,上述公式中权重a1由1逐渐变为0,权重a2由零逐渐变为1,通过加权平均的方式使得位于拼缝附近的区域的过渡较平滑以使得拼接后的图像更加符合实际的临床需求。
实际应用中,在对I1和I2完成拼接后,二者之间产生相对偏移的部分(该部分没有图像)可以采用黑色进行填充,或者采用与该偏移部分接近的背景区域的灰度值进行相应的填充。
至此,通过上述的步骤实现了对所述第一图像和所述第二图像中的特征点进行检测,并对其进行匹配,生成匹配点对,最终根据匹配点对来确定所述第一图像和所述第二图像的重叠区域,进而完成对所述第一图像和所述第二图像的拼接。本实施例中采用了复杂度低,计算量小且速度快的方式确定了准确度高的匹配点对,进而基于该匹配点对进行拼接后获得的图像的拼接精度高。
对应上述的图像获取方法,本实施例还提供一种图像获取装置,所述图像获取装置包括:
分解单元,用于对第一图像和第二图像进行金字塔分解,基于分解后的第一图像和第二图像分别构造与所述第一图像对应的第一差分金字塔图像以及与所述第二图像对应的第二差分金字塔图像;所述第一图像和所述第二图像为相邻的图像;
搜索单元,用于遍历所述第一差分金字塔图像的每一层,搜索每层差分金字塔图像中的极值点,遍历所述第二差分金字塔图像的每一层,搜索每层差分金字塔图像中的极值点;所述极值点关联于预设邻域中的像素点的灰度值的绝对值;
第一去除单元,用于去除所述第一差分金字塔图像的极值点中为所述第一图像强边缘上的像素点以获得所述第一图像中的特征点;去除所述第二差分金字塔图像的极值点中为所述第二图像强边缘上的像素点以获得所述第二图像中的特征点;
匹配单元,用于对所述第一图像和所述第二图像中的特征点进行匹配以生成初始匹配点对;
第二去除单元,用于去除所述初始匹配点对中错误的匹配点对以获得匹配点对;
偏移确定单元,用于基于所述匹配点对之间的位置关系确定所述第一图像和所述第二图像之间的偏移;
重叠区域确定单元,用于根据所述第一图像和所述第二图像之间的偏移确定所述第一图像和所述第二图像的重叠区域;
拼接单元,用于根据所述重叠区域对所述第一图像和所述第二图像进行拼接。
所述图像获取装置的具体实施可参考所述图像获取方法的实施,在此不再赘述。
本实施例还提供一种X射线摄影系统,包括上述的图像获取装置。
综上所述,本发明实施方式提供的图像中特征点的检测方法,至少具有如下有益效果:
先对所述图像进行金字塔分解,基于分解后的图像构造差分金字塔图像;然后遍历所述差分金字塔图像的每一层,搜索每层差分金字塔图像中的极值点,所述极值点关联于预设邻域中的像素点的灰度值的绝对值;最后去除所述极值点中为所述图像强边缘上的像素点以获得所述图像中的特征点。由于遍历了所述差分金字塔图像的每一层来搜索每层差分金字塔图像中的极值点,相对于现有的以差分金字塔图像所在空间来确定极值点的方法而言,检测的复杂度低,进而在一定程度上提高了检测特征点的速度,由于去除了极值点中为所述图像强边缘上的像素点,故可以获得稳定的特征点。
本发明虽然已以较佳实施例公开如上,但其并不是用来限定本发明,任何本领域技术人员在不脱离本发明的精神和范围内,都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改,因此,凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰,均属于本发明技术方案的保护范围。

Claims (10)

1.一种确定匹配点对的方法,其特征在于,包括:
对第一图像和第二图像进行金字塔分解,基于分解后的第一图像和第二图像分别构造与所述第一图像对应的第一差分金字塔图像以及与所述第二图像对应的第二差分金字塔图像;所述第一图像和所述第二图像为相邻的图像;
遍历所述第一差分金字塔图像的每一层,搜索每层差分金字塔图像中的极值点,遍历所述第二差分金字塔图像的每一层,搜索每层差分金字塔图像中的极值点;所述极值点关联于预设邻域中的像素点的灰度值的绝对值;
去除所述第一差分金字塔图像的极值点中为所述第一图像强边缘上的像素点以获得所述第一图像中的特征点;去除所述第二差分金字塔图像的极值点中为所述第二图像强边缘上的像素点以获得所述第二图像中的特征点;
对所述第一图像和所述第二图像中的特征点进行匹配以生成初始匹配点对;
去除所述初始匹配点对中错误的匹配点对以获得匹配点对。
2.如权利要求1所述的确定匹配点对的方法,其特征在于,所述第一差分金字塔图像的极值点是指每层差分金字塔图像中像素点的灰度值的绝对值为所述像素点预设邻域中像素点的灰度值的绝对值最大的像素点;所述第二差分金字塔图像的极值点是指每层差分金字塔图像中像素点的灰度值的绝对值为所述像素点预设邻域中像素点的灰度值的绝对值最大的像素点。
3.如权利要求1所述的确定匹配点对的方法,其特征在于,所述第一差分金字塔图像的极值点是指所述第一差分金字塔图像中修正后的像素点P,修正后的像素点P是对像素点P的位置进行修正后获得的,所述像素点P是指所述第一差分金字塔图像的每层图像中像素点的灰度值的绝对值为所述像素点预设邻域中像素点的灰度值的绝对值最大的像素点;所述第二差分金字塔图像的极值点是指所述第二差分金字塔图像中修正后的像素点P,所述修正后的像素点P是对像素点P的位置进行修正后获得的,像素点P是指所述第二差分金字塔图像的每层图像中像素点的灰度值的绝对值为所述像素点预设邻域中像素点的灰度值的绝对值最大的像素点。
4.如权利要求1所述的确定匹配点对的方法,其特征在于,所述第一差分金字塔图像的极值点是指对像素点P的灰度值的绝对值按照由大至小的顺序排序后位于前N位的像素点P,所述像素点P是指所述第一差分金字塔图像的每层图像中像素点的灰度值的绝对值为所述像素点预设邻域中像素点的灰度值的绝对值最大的像素点;所述第二差分金字塔图像的极值点是指对像素点P的灰度值的绝对值按照由大至小的顺序排序后位于前N位的像素点P,所述像素点P是指所述第二差分金字塔图像的每层图像中像素点的灰度值的绝对值为所述像素点预设邻域中像素点的灰度值的绝对值最大的像素点。
5.如权利要求1所述的确定匹配点对的方法,其特征在于,所述去除所述初始匹配点对中错误的匹配点对以获得匹配点对包括:
以所述初始匹配点对的第一坐标之差为横坐标,与第一坐标之差对应的初始匹配点对个数为纵坐标生成第一直方图,确定所述第一直方图中初始匹配点对个数之和最大时所在簇的初始匹配点对为第一匹配点对;
以所述第一匹配点对的第二坐标之差为横坐标,与第二坐标之差对应的第一匹配点对个数为纵坐标生成第二直方图,确定所述第二直方图中第一匹配点对个数之和最大时所在簇的第一匹配点对为匹配点对。
6.如权利要求1所述的确定匹配点对的方法,其特征在于,所述去除所述初始匹配点对中错误的匹配点对以获得匹配点对包括:
计算所述第一图像和所述第二图像的初始匹配点对所在连线的斜率,以所述初始匹配点对所在连线的斜率为横坐标,与所述斜率对应的初始匹配点对个数为纵坐标生成斜率直方图;
确定所述斜率直方图中初始匹配点对个数之和最大时所在簇的初始匹配点对为第一匹配点对;
以所述第一匹配点对的第一坐标之差为横坐标,与第一坐标之差对应的第一匹配点对个数为纵坐标生成第一直方图;
确定所述第一直方图中第一匹配点对个数之和最大时所在簇的第一匹配点对为第二匹配点对;
以所述第二匹配点对的第二坐标之差为横坐标,与第二坐标之差对应的第二匹配点对个数为纵坐标生成第二直方图;
确定所述第二直方图中第二匹配点对个数之和最大时所在簇的第二匹配点对为匹配点对。
7.如权利要求6所述的确定匹配点对的方法,其特征在于,通过如下方式计算所述第一图像和所述第二图像的初始匹配点对所在连线的斜率:
K i = y 2 i - y 1 i x 2 i - x 1 i + W 1
其中:Ki为第i对初始匹配点对所在连线的斜率、(x1i,y1i)、(x2i,y2i)为第i对初始匹配点对、(x1i,y1i)为所述第一图像中的第i个初始匹配点的位置、(x2i,y2i)为所述第二图像中的第i个初始匹配点的位置、W1为所述第一图像的宽度。
8.一种图像获取方法,其特征在于,包括:
采用权利要求1~7任一项所述的确定匹配点对的方法确定第一图像和第二图像的匹配点对;
基于所述匹配点对之间的位置关系确定所述第一图像和所述第二图像之间的偏移;
根据所述第一图像和所述第二图像之间的偏移确定所述第一图像和所述第二图像的重叠区域;
根据所述重叠区域对所述第一图像和所述第二图像进行拼接。
9.一种确定匹配点对的装置,其特征在于,包括:
分解单元,用于对第一图像和第二图像进行金字塔分解,基于分解后的第一图像和第二图像分别构造与所述第一图像对应的第一差分金字塔图像以及与所述第二图像对应的第二差分金字塔图像;所述第一图像和所述第二图像为相邻的图像;
搜索单元,用于遍历所述第一差分金字塔图像的每一层,搜索每层差分金字塔图像中的极值点,遍历所述第二差分金字塔图像的每一层,搜索每层差分金字塔图像中的极值点;所述极值点关联于预设邻域中的像素点的灰度值的绝对值;
第一去除单元,用于去除所述第一差分金字塔图像的极值点中为所述第一图像强边缘上的像素点以获得所述第一图像中的特征点;去除所述第二差分金字塔图像的极值点中为所述第二图像强边缘上的像素点以获得所述第二图像中的特征点;
匹配单元,用于对所述第一图像和所述第二图像中的特征点进行匹配以生成初始匹配点对;
第二去除单元,用于去除所述初始匹配点对中错误的匹配点对以获得匹配点对。
10.一种X射线摄影系统,其特征在于,包括权利要求9所述的确定匹配点对的装置。
CN201610916844.XA 2016-07-14 2016-09-30 确定匹配点对的方法及装置、图像获取方法 Pending CN106548492A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201610916844.XA CN106548492A (zh) 2016-09-30 2016-09-30 确定匹配点对的方法及装置、图像获取方法
US15/649,819 US10580135B2 (en) 2016-07-14 2017-07-14 System and method for splicing images
US16/806,207 US11416993B2 (en) 2016-07-14 2020-03-02 System and method for splicing images
US17/819,925 US11893738B2 (en) 2016-07-14 2022-08-15 System and method for splicing images

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610877441.9A CN106504229B (zh) 2016-09-30 2016-09-30 图像中特征点的检测方法
CN201610916844.XA CN106548492A (zh) 2016-09-30 2016-09-30 确定匹配点对的方法及装置、图像获取方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201610877441.9A Division CN106504229B (zh) 2016-07-14 2016-09-30 图像中特征点的检测方法

Publications (1)

Publication Number Publication Date
CN106548492A true CN106548492A (zh) 2017-03-29

Family

ID=58294764

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201610877441.9A Active CN106504229B (zh) 2016-07-14 2016-09-30 图像中特征点的检测方法
CN201610916842.0A Pending CN106504237A (zh) 2016-07-14 2016-09-30 确定匹配点对的方法及图像获取方法
CN201610916844.XA Pending CN106548492A (zh) 2016-07-14 2016-09-30 确定匹配点对的方法及装置、图像获取方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201610877441.9A Active CN106504229B (zh) 2016-07-14 2016-09-30 图像中特征点的检测方法
CN201610916842.0A Pending CN106504237A (zh) 2016-07-14 2016-09-30 确定匹配点对的方法及图像获取方法

Country Status (1)

Country Link
CN (3) CN106504229B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913316A (zh) * 2022-04-02 2022-08-16 淮沪电力有限公司田集第二发电厂 工业设备表计识别的图像分类方法、装置、电子设备和存储介质

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019041265A1 (zh) * 2017-08-31 2019-03-07 深圳市大疆创新科技有限公司 特征提取电路和图像处理集成电路
CN107609562B (zh) * 2017-09-14 2020-09-04 电子科技大学 一种基于sift算法的尺度空间特征检测方法
CN109508571B (zh) * 2017-09-14 2021-08-27 杭州海康威视数字技术股份有限公司 一种条空定位方法、装置、电子设备及存储介质
CN108573269B (zh) * 2017-10-24 2021-02-05 北京金山云网络技术有限公司 图像特征点匹配方法、匹配装置、电子设备及存储介质
CN107918938A (zh) * 2017-11-16 2018-04-17 凌云光技术集团有限责任公司 一种点集与点集的匹配方法及装置
CN108960251A (zh) * 2018-05-22 2018-12-07 东南大学 一种图像匹配描述子生成尺度空间的硬件电路实现方法
CN109431511B (zh) * 2018-11-14 2021-09-24 南京航空航天大学 一种基于数字图像处理的人体背部脊柱侧弯脊柱轮廓特征曲线拟合方法
CN109242769B (zh) * 2018-12-13 2019-03-19 腾讯科技(深圳)有限公司 一种图像处理方法和装置
CN111898396A (zh) * 2019-05-06 2020-11-06 北京四维图新科技股份有限公司 障碍物检测方法和装置
CN110335297B (zh) * 2019-06-21 2021-10-08 华中科技大学 一种基于特征提取的点云配准方法
CN111311626A (zh) * 2020-05-11 2020-06-19 南京安科医疗科技有限公司 基于ct图像的颅骨骨折自动检测方法及电子介质
CN112837225B (zh) * 2021-04-15 2024-01-23 浙江卡易智慧医疗科技有限公司 一种立位全脊柱图像自动无缝拼接的方法及装置
CN113421249B (zh) * 2021-06-30 2024-02-06 上海申瑞继保电气有限公司 变电站设备可变尺度图像数值处理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110116609A (ko) * 2010-04-19 2011-10-26 인하대학교 산학협력단 그래픽 가속기 기반 고속 slam 시스템 및 방법
CN103761721A (zh) * 2013-12-30 2014-04-30 西北工业大学 一种适用于空间绳系机器人的立体视觉快速图像拼接方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101770568A (zh) * 2008-12-31 2010-07-07 南京理工大学 基于仿射不变点及光流计算的目标自动识别和跟踪方法
CN101510257B (zh) * 2009-03-31 2011-08-10 华为技术有限公司 一种人脸相似度匹配方法及装置
CN103593832A (zh) * 2013-09-25 2014-02-19 重庆邮电大学 一种基于高斯二阶差分特征检测算子的图像拼接方法
CN104515502A (zh) * 2013-09-28 2015-04-15 沈阳新松机器人自动化股份有限公司 一种机器人手眼立体视觉测量方法
CN104717456B (zh) * 2013-12-11 2018-05-04 杭州海康威视数字技术股份有限公司 移动侦测处理的方法与装置
CN103729654A (zh) * 2014-01-22 2014-04-16 青岛新比特电子科技有限公司 基于改进sift算法的图像匹配检索系统
CN103886611B (zh) * 2014-04-08 2018-04-27 西安煤航信息产业有限公司 一种适合于航空摄影飞行质量自动检查的影像匹配方法
CN104376552B (zh) * 2014-09-19 2017-12-29 四川大学 一种3d模型与二维图像的虚实配准方法
CN104717465B (zh) * 2014-12-23 2023-10-03 北京亿羽舜海科技有限公司 多个ip摄像头的广角视频监控设备及视频监控方法
CN104616297A (zh) * 2015-01-26 2015-05-13 山东省计算中心(国家超级计算济南中心) 一种用于图像篡改取证的改进型sift算法
CN104850851A (zh) * 2015-04-22 2015-08-19 福州大学 一种具有尺度不变性的orb特征点匹配方法
CN104820965A (zh) * 2015-04-30 2015-08-05 武汉大学 一种低空无人机影像无地理编码快速拼接方法
CN104881671B (zh) * 2015-05-21 2018-01-19 电子科技大学 一种基于2D‑Gabor的高分遥感影像局部特征提取方法
CN104881877A (zh) * 2015-06-12 2015-09-02 哈尔滨工业大学 基于fpga的卷积与时序优化的图像关键点检测的方法
CN105447864B (zh) * 2015-11-20 2018-07-27 小米科技有限责任公司 图像的处理方法、装置及终端

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110116609A (ko) * 2010-04-19 2011-10-26 인하대학교 산학협력단 그래픽 가속기 기반 고속 slam 시스템 및 방법
CN103761721A (zh) * 2013-12-30 2014-04-30 西北工业大学 一种适用于空间绳系机器人的立体视觉快速图像拼接方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
仵建宁等: "一种基于兴趣点匹配的图像拼接方法", 《计算机应用》 *
曹新华: "基于特征点驱动的 CT 图像配准与拼接方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
肖南峰: "《服务机器人》", 31 January 2013, 清华大学出版社 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913316A (zh) * 2022-04-02 2022-08-16 淮沪电力有限公司田集第二发电厂 工业设备表计识别的图像分类方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN106504229B (zh) 2019-11-12
CN106504237A (zh) 2017-03-15
CN106504229A (zh) 2017-03-15

Similar Documents

Publication Publication Date Title
CN106548492A (zh) 确定匹配点对的方法及装置、图像获取方法
CN109754387B (zh) 一种全身骨显像放射性浓聚灶的智能检测定位方法
CN102737395B (zh) 一种医用x射线系统中的图像处理方法及装置
CN104424629B (zh) 一种x光胸片肺部分割方法和装置
CN103829965B (zh) 使用标记体来引导ct扫描的方法和设备
CN109938764A (zh) 一种基于深度学习的自适应多部位扫描成像方法及其系统
CN106408609A (zh) 一种基于双目视觉的并联机构末端运动位姿检测方法
CN103871036B (zh) 用于三维数字减影血管造影图像的快速配准和拼接方法
CN101258524A (zh) 带有靶检测的自适应放射治疗方法
WO2021073120A1 (zh) 医学影像的肺部区域阴影标记方法、装置、服务器及存储介质
CN108648192A (zh) 一种检测结节的方法及装置
CN104567758B (zh) 立体成像系统及其方法
CN106667512A (zh) X射线成像设备的几何校正方法、乳腺断层成像设备
CN113139962B (zh) 用于脊柱侧凸概率评估的系统和方法
CN103345740A (zh) 基于多投影图像配准的肺结节检测方法
CN106447664A (zh) 确定匹配点对的方法及图像获取方法
CN104933719B (zh) 一种积分图块间距离检测图像边缘方法
CN105405101B (zh) X射线图像处理方法和装置
US20160210740A1 (en) Method and system for spine position detection
CN105205784B (zh) 标尺识别方法及影像拼接方法
CN108416735B (zh) 基于几何特征的数字化x线图像的拼接方法及装置
CN103366348A (zh) 一种抑制x线图像中骨骼影像的方法及处理设备
CN109087357A (zh) 扫描定位方法、装置、计算机设备及计算机可读存储介质
CN111402231A (zh) 一种用于肺部ct影像质量的自动评估系统及方法
Yao et al. Employing topographical height map in colonic polyp measurement and false positive reduction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170329

RJ01 Rejection of invention patent application after publication