CN105389774A - 对齐图像的方法和装置 - Google Patents
对齐图像的方法和装置 Download PDFInfo
- Publication number
- CN105389774A CN105389774A CN201410452309.4A CN201410452309A CN105389774A CN 105389774 A CN105389774 A CN 105389774A CN 201410452309 A CN201410452309 A CN 201410452309A CN 105389774 A CN105389774 A CN 105389774A
- Authority
- CN
- China
- Prior art keywords
- pixel
- image
- represent
- prime
- dtri
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000005259 measurement Methods 0.000 claims abstract description 41
- 239000000203 mixture Substances 0.000 claims description 177
- 239000011159 matrix material Substances 0.000 claims description 53
- 230000009466 transformation Effects 0.000 claims description 44
- 238000005516 engineering process Methods 0.000 abstract description 12
- 230000006870 function Effects 0.000 description 36
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005314 correlation function Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
-
- G06T3/147—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
- G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
Abstract
本发明实施例公开了一种对齐图像的方法和装置,该方法包括:获取待对齐的两个图像的图像信息;根据该两个图像的图像信息,通过互相关度量模型,确定第一坐标偏移量,该第一坐标偏移量用于指示该两个图像间待对齐的像素点在该坐标系中的位置偏差;根据该第一图像中像素点在该坐标系中的坐标和该第一坐标偏移量,对齐该两个图像。本发明实施例中引入了互相关度量模型,由于互相关度量模型同时考虑图像间颜色的互相关和梯度的互相关,与现有的基于SIFT特征点的图像对齐技术,更适合多模态多光谱图像间的对齐,提高了图像对齐的准确性。
Description
技术领域
本发明涉及图像处理领域,并且更具体地,涉及一种对齐图像的方法和装置。
背景技术
图像对齐技术是图像处理领域的基础技术。随着数字图像的快速发展,出现了一系列基于图像对齐技术的应用。这些应用包括全景图的生成,高动态图的生成,两张图像的信息融合等,例如,用红外图像修复彩色图像、用带噪声的图像去除另一张彩色图的模糊等。
随着各种图像采集设备的蓬勃发展,多模态多光谱图像的对齐成为了一个新的问题,这些多模态多光谱图像包括近红外图像、彩图图像、深度图像、核磁共振图像以及超声图像等。采集设备的不同以及采集场景的动态性会导致采集到的图像存在很大差异。图1示出了4组常见的多模态多光谱图像,从左到右:第1组为不同曝光度的图像,第2组为彩色和深度图像,第3组为彩色和近红外图像,第4组为开闪光灯和不开闪光灯的图像。从图1中可以看出,多模态多光谱图像间主要存在以下的差别:
·图像间颜色反差大;
·图像间梯度大小和方向的反差大。
传统的基于SIFT(尺度不变特征变换,Scale-invariantFeatureTransform)特征点的对齐技术在图像对齐领域具有广泛的应用。具体而言,该技术通过找SIFT特征点对需要对齐的图像进行匹配。以两张图像为例,基于SIFT特征点的图像对齐方法首先提取两张图像的SIFT特征点向量,通过向量的欧式距离来寻找最近邻,从而得到两张图像间的对应关系。但是,SIFT特征点与图像的梯度大小方向有很大关系,也就是说,基于SIFT特征点的图像对齐技术很大程度上依赖图像结构相似区域在梯度大小方向的一致性。但是,从图1可以看出,多模态多光谱图像在结构相似区域的梯度方向,是存在较大反差的,因此,基于SIFT特征点的图像对齐技术不适用于多模态多光谱图像的对齐。
发明内容
本发明实施例提供了一种对齐图像的方法和装置,能够提高图像对齐的准确性。
第一方面,提供一种对齐图像的方法,包括:获取待对齐的两个图像的图像信息,其中,第一图像的图像信息包括所述第一图像中像素点在选取的坐标系中的坐标,所述第一图像中像素点的像素值,以及所述第一图像中像素点的像素值梯度,第二图像的图像信息包括:所述第二图像中像素点的像素值,以及所述第二图像中像素点的像素值梯度,其中,所述两个图像均位于所述坐标系中;根据所述两个图像的图像信息,通过互相关度量模型,确定第一坐标偏移量,所述第一坐标偏移量用于指示所述两个图像间待对齐的像素点在所述坐标系中的位置偏差;根据所述第一图像中像素点在所述坐标系中的坐标和所述第一坐标偏移量,对齐所述两个图像。
结合第一方面,在第一方面的一种实现方式中,在根据所述两个图像的图像信息,通过互相关度量模型,确定第一坐标偏移量之前,所述方法还包括:获取第三图像的图像信息,所述第三图像的图像信息包括:所述第三图像中像素点的像素值,以及所述第三图像中像素点的像素值梯度,其中,所述第三图像位于所述坐标系中,且所述第一图像和所述第三图像为待对齐的初始图像;根据所述初始图像的图像信息,通过所述互相关度量模型,确定坐标变换矩阵,所述坐标变换矩阵用于指示所述初始图像间待对齐的像素点在所述坐标系中的空间位置关系;根据所述坐标变换矩阵,确定第二坐标偏移量,所述第二坐标偏移量用于指示所述初始图像间的待对齐的像素点在所述坐标系中的位置偏差;根据所述第二坐标偏移量和所述第三图像中像素点的像素值,得到所述第二图像。
结合第一方面或其上述实现方式的任一种,在第一方面的另一种实现方式中,所述根据所述初始图像的图像信息,通过所述互相关度量模型,确定坐标变换矩阵,包括:通过计算的最小值,确定所述坐标变换矩阵,其中, p=(xp,yp)T,wp=(up,vp)T,H表示所述坐标变换矩阵,且H满足[up,vp,1]T=[xp,yp,1]T(H-I),I表示单位矩阵,p表示所述第一图像中像素点在所述坐标系中的坐标,xp表示p的横坐标,yp表示p的纵坐标,wp表示所述第二坐标偏移量,up表示wp的横坐标,vp表示wp的纵坐标,I1,p表示所述第一图像的以p为中心的图像块内,各像素点的像素值组成的一维列向量,表示所述图像块内,各像素点的像素值梯度组成的一维列向量,I′1,p表示所述图像块内,各像素点的像素均值组成的一维列向量,表示所述图像块内,各像素点的像素值梯度的均值组成的一维列向量,I3,p表示所述第三图像的以p+wp为中心的图像块内,各像素点的像素值组成的一维列向量,表示所述以p+wp为中心的图像块内,各像素点的像素值梯度组成的一维列向量,I′3,p表示所述以p+wp为中心的图像块内,各像素点的像素均值组成的一维列向量,表示所述以p+wp为中心的图像块内,各像素点的像素值梯度的均值组成的一维列向量,β和τ为常数,β用于控制函数ρ(x)的形状,τ为E2(p,wp)中项的权重。
结合第一方面或其上述实现方式的任一种,在第一方面的另一种实现方式中,所述根据所述坐标变换矩阵,确定第二坐标偏移量,包括:根据公式[up,vp,1]T=[xp,yp,1]T(H-I),确定所述第二坐标偏移量。
结合第一方面或其上述实现方式的任一种,在第一方面的另一种实现方式中,所述根据所述第二坐标偏移量和所述第三图像中像素点的像素值,得到所述第二图像,包括:根据公式I2(p)=I3(p+wp),得到所述第二图像,其中,I2(p)表示所述第二图像在p的像素值,I3(p+wp)表示所述第三图像在p+wp的像素值。
结合第一方面或其上述实现方式的任一种,在第一方面的另一种实现方式中,所述根据所述两个图像的图像信息,通过互相关度量模型,确定第一坐标偏移量,包括:根据公式 确定所述第一坐标偏移量,其中, p=(xp,yp)T,w'p=(u'p,v'p)T, p表示所述第一图像的像素点在所述坐标系中的坐标,xp表示p的横坐标,yp表示p的纵坐标,w'p表示所述第一坐标偏移量,u'p表示w'p的横坐标,v'p表示w'p的纵坐标,I1,p表示所述第一图像的以p为中心的图像块内,各像素点的像素值组成的一维列向量,表示所述图像块内,各像素点的像素值梯度组成的一维列向量,I′1,p表示所述图像块内,各像素点的像素均值组成的一维列向量,表示所述图像块内,各像素点的像素值梯度的均值组成的一维列向量,I2,p表示所述第二图像的以p+w'p为中心的图像块内,各像素点的像素值组成的一维列向量,表示所述以p+w'p为中心的图像块内,各像素点的像素值梯度组成的一维列向量,I'2,p表示所述以p+w'p为中心的图像块内,各像素点的像素均值组成的一维列向量,表示所述以p+w'p为中心的图像块内,各像素点的像素值梯度的均值组成的一维列向量,λ1、β、λ2和τ为常数,λ1和λ2为E3(w'p)中第二项和第三项的权重,β用于控制函数ρ(x)的形状,τ为E2(p,w'p)中项的权重,N(p)表示所述第一图像中像素点p的相邻像素点组成的集合,q表示所述集合中的任意像素点,wq表示q与q在所述第二图像中的待对齐像素点之间的坐标偏移量,ε为常数。
结合第一方面或其上述实现方式的任一种,在第一方面的另一种实现方式中,所述互相关度量模型为: 其中, p=(xp,yp)T,wp=(up,vp)T,p表示所述第一图像的像素点在所述坐标系中的坐标,xp表示p的横坐标,yp表示p的纵坐标,wp表示所述第一坐标偏移量,up表示wp的横坐标,vp表示wp的纵坐标,I1,p表示所述第一图像的以p为中心的图像块内,各像素点的像素值组成的一维列向量,所述图像块内,各像素点的像素值梯度组成的一维列向量,I′1,p表示所述图像块内,各像素点的像素均值组成的一维列向量,表示所述图像块内,各像素点的像素值梯度的均值组成的一维列向量,I2,p表示所述第二图像的以p+wp为中心的图像块内,各像素点的像素值组成的一维列向量,表示所述以p+wp为中心的图像块内,各像素点的像素值梯度组成的一维列向量,I'2,p表示所述以p+wp为中心的图像块内,各像素点的像素均值组成的一维列向量,表示所述以p+wp为中心的图像块内,各像素点的像素值梯度的均值组成的一维列向量,β为权重,用于控制函数ρ(x)的形状。
第二方面,提供一种对齐图像的装置,包括:第一获取单元,用于获取待对齐的两个图像的图像信息,其中,第一图像的图像信息包括所述第一图像中像素点在选取的坐标系中的坐标,所述第一图像中像素点的像素值,以及所述第一图像中像素点的像素值梯度,第二图像的图像信息包括:所述第二图像中像素点的像素值,以及所述第二图像中像素点的像素值梯度,其中,所述两个图像均位于所述坐标系中;第一确定单元,用于根据所述两个图像的图像信息,通过互相关度量模型,确定第一坐标偏移量,所述第一坐标偏移量用于指示所述两个图像间待对齐的像素点在所述坐标系中的位置偏差;对齐单元,用于根据所述第一图像中像素点在所述坐标系中的坐标和所述第一坐标偏移量,对齐所述两个图像。
结合第二方面,在第二方面的一种实现方式中,所述装置还包括:第二获取单元,用于获取第三图像的图像信息,所述第三图像的图像信息包括:所述第三图像中像素点的像素值,以及所述第三图像中像素点的像素值梯度,其中,所述第三图像位于所述坐标系中,且所述第一图像和所述第三图像为待对齐的初始图像;第二确定单元,用于根据所述初始图像的图像信息,通过所述互相关度量模型,确定坐标变换矩阵,所述坐标变换矩阵用于指示所述初始图像间待对齐的像素点在所述坐标系中的空间位置关系;第三确定单元,用于根据所述坐标变换矩阵,确定第二坐标偏移量,所述第二坐标偏移量用于指示所述初始图像间的待对齐的像素点在所述坐标系中的位置偏差;第四确定单元,用于根据所述第二坐标偏移量和所述第三图像中像素点的像素值,得到所述第二图像。
结合第二方面或其上述实现方式的任一种,在第二方面的另一种实现方式中,所述第二确定单元具体用于通过计算的最小值,确定所述坐标变换矩阵,其中, p=(xp,yp)T,wp=(up,vp)T,H表示所述坐标变换矩阵,且H满足[up,vp,1]T=[xp,yp,1]T(H-I),I表示单位矩阵,p表示所述第一图像中像素点在所述坐标系中的坐标,xp表示p的横坐标,yp表示p的纵坐标,wp表示所述第二坐标偏移量,up表示wp的横坐标,vp表示wp的纵坐标,I1,p表示所述第一图像的以p为中心的图像块内,各像素点的像素值组成的一维列向量,表示所述图像块内,各像素点的像素值梯度组成的一维列向量,I′1,p表示所述图像块内,各像素点的像素均值组成的一维列向量,表示所述图像块内,各像素点的像素值梯度的均值组成的一维列向量,I3,p表示所述第三图像的以p+wp为中心的图像块内,各像素点的像素值组成的一维列向量,表示所述以p+wp为中心的图像块内,各像素点的像素值梯度组成的一维列向量,I′3,p表示所述以p+wp为中心的图像块内,各像素点的像素均值组成的一维列向量,表示所述以p+wp为中心的图像块内,各像素点的像素值梯度的均值组成的一维列向量,β和τ为常数,β用于控制函数ρ(x)的形状,τ为E2(p,wp)中项的权重。
结合第二方面或其上述实现方式的任一种,在第二方面的另一种实现方式中,所述第三确定单元具体用于根据公式[up,vp,1]T=[xp,yp,1]T(H-I),确定所述第二坐标偏移量。
结合第二方面或其上述实现方式的任一种,在第二方面的另一种实现方式中,所述第四确定单元具体用于根据公式I2(p)=I3(p+wp),得到所述第二图像,其中,I2(p)表示所述第二图像在p的像素值,I3(p+wp)表示所述第三图像在p+wp的像素值。
结合第二方面或其上述实现方式的任一种,在第二方面的另一种实现方式中,所述第一确定单元具体用于根据公式 确定所述第一坐标偏移量,其中, p=(xp,yp)T,w'p=(u'p,v'p)T, p表示所述第一图像的像素点在所述坐标系中的坐标,xp表示p的横坐标,yp表示p的纵坐标,w'p表示所述第一坐标偏移量,u'p表示w'p的横坐标,v'p表示w'p的纵坐标,I1,p表示所述第一图像的以p为中心的图像块内,各像素点的像素值组成的一维列向量,表示所述图像块内,各像素点的像素值梯度组成的一维列向量,I′1,p表示所述图像块内,各像素点的像素均值组成的一维列向量,表示所述图像块内,各像素点的像素值梯度的均值组成的一维列向量,I2,p表示所述第二图像的以p+w'p为中心的图像块内,各像素点的像素值组成的一维列向量,表示所述以p+w'p为中心的图像块内,各像素点的像素值梯度组成的一维列向量,I'2,p表示所述以p+w'p为中心的图像块内,各像素点的像素均值组成的一维列向量,表示所述以p+w'p为中心的图像块内,各像素点的像素值梯度的均值组成的一维列向量,λ1、β、λ2和τ为常数,λ1和λ2为E3(w'p)中第二项和第三项的权重,β用于控制函数ρ(x)的形状,τ为E2(p,w'p)中项的权重,N(p)表示所述第一图像中像素点p的相邻像素点组成的集合,q表示所述集合中的任意像素点,wq表示q与q在所述第二图像中的待对齐像素点之间的坐标偏移量,ε为常数。
结合第二方面或其上述实现方式的任一种,在第二方面的另一种实现方式中,所述互相关度量模型为: 其中, p=(xp,yp)T,wp=(up,vp)T,p表示所述第一图像的像素点在所述坐标系中的坐标,xp表示p的横坐标,yp表示p的纵坐标,wp表示所述第一坐标偏移量,up表示wp的横坐标,vp表示wp的纵坐标,I1,p表示所述第一图像的以p为中心的图像块内,各像素点的像素值组成的一维列向量,所述图像块内,各像素点的像素值梯度组成的一维列向量,I′1,p表示所述图像块内,各像素点的像素均值组成的一维列向量,表示所述图像块内,各像素点的像素值梯度的均值组成的一维列向量,I2,p表示所述第二图像的以p+wp为中心的图像块内,各像素点的像素值组成的一维列向量,表示所述以p+wp为中心的图像块内,各像素点的像素值梯度组成的一维列向量,I'2,p表示所述以p+wp为中心的图像块内,各像素点的像素均值组成的一维列向量,表示所述以p+wp为中心的图像块内,各像素点的像素值梯度的均值组成的一维列向量,β为权重,用于控制函数ρ(x)的形状。
本发明实施例中引入了互相关度量模型,由于互相关度量模型同时考虑图像间颜色的互相关和梯度的互相关,与现有的基于SIFT特征点的图像对齐技术,更适合多模态多光谱图像间的对齐,提高了图像对齐的准确性。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是多模态多光谱图像的示例图。
图2是鲁棒函数的函数曲线图。
图3是本发明实施例的对齐图像的方法的示意性流程图。
图4是本发明实施例的对齐图像的装置的示意性框图。
图5是本发明实施例的对齐图像的装置的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都应属于本发明保护的范围。
图像对齐领域,图像间的结构相似性度量的选取直接关系到最终图像对齐的效果。现有技术中,结构相似性度量包括:颜色、梯度、SIFT特征点、互信息等。但是,由于多模态多光谱图像在颜色和梯度方向上具有较大反差,以上任意一种结构相似性度量都很难准确描述多模态多光谱图像之间的结构相似性。
本发明实施例中引入互相关度量(也可以称为鲁棒选择性标准化互相关度量)模型来描述图像间的结构相似性,该互相关度量模型是基于图像间颜色的互相关和梯度的互相关建立的,或者说,互相关度量模型用于指示图像间颜色的互相关和梯度的互相关。假设待对齐的图像为第一图像和第二图像,第一图像用I1表示,第二图像用I2表示,互相关度量模型可以表示为公式:
在上述公式中,ΦΙ(p,wp)是标准化互相关函数,定义在第一图像I1中以p为中心的图像块(patch)和第二图像I2中以p+wp为中心的图像块的颜色空间上。同理,也是标准化互相关函数,定义在第一图像I1中以p为中心的图像块(patch)和第二图像I2中以p+wp为中心的图像块的梯度空间上。
此外,互相关模型中引入鲁棒函数该鲁棒函数是连续可导函数,其函数图像可参见图2。图2中的左侧为鲁棒函数的函数曲线,右侧为鲁棒函数的导函数的函数曲线。从图2可以看出,该鲁棒函数是关于x的增函数,但随着x的增大,该鲁棒函数的增长速度越来越慢,起到了很好的鲁棒效果。
下面结合图3,详细描述本发明实施例的对齐图像的方法。
图3是本发明实施例的对齐图像的方法的示意性流程图。图3的方法包括:
310、获取待对齐的两个图像的图像信息,其中,第一图像的图像信息包括第一图像中像素点在选取的坐标系中的坐标,第一图像中像素点的像素值,以及第一图像中像素点的像素值梯度,第二图像的图像信息包括:第二图像中像素点的像素值,以及第二图像中像素点的像素值梯度,其中,两个图像均位于坐标系中。
320、根据两个图像的图像信息,通过互相关度量模型,确定第一坐标偏移量,第一坐标偏移量用于指示两个图像间待对齐的像素点在坐标系中的位置偏差。
需要说明的是,假设第一图像和第二图像均具有N个像素点,上述第一图像中的像素点可指第一图像中的N个像素点,上述第二图像中的像素点可指第二图像中的N个像素点。上述第一坐标偏移值可以是集合的概念,具体地,第一图像中的N个像素点中各像素点可对应N个第一坐标偏移值。
330、根据第一图像中像素点在坐标系中的坐标和第一坐标偏移量,对齐两个图像。
例如,第一图像中的像素点的坐标为p,p点对应的第一坐标偏移量为wp,步骤330可包括:先找到第二图像的像素点p+wp的像素值x,然后将第二图像的像素点p的像素值y更新为像素值x。
由上可知,多模态多光谱的图像具有颜色反差大和梯度大小和方向反差大的特点,本发明实施例中引入了互相关度量模型,由于互相关度量模型同时考虑图像间颜色的互相关和梯度的互相关,与现有的基于SIFT特征点的图像对齐技术,更适合多模态多光谱图像间的对齐,提高了图像对齐的准确性。
可选地,作为一个实施例,在步骤320之前,图3的方法还可包括:获取第三图像的图像信息,第三图像的图像信息包括:第三图像中像素点的像素值,以及第三图像中像素点的像素值梯度,其中,第三图像位于坐标系中,且第一图像和第三图像为待对齐的初始图像;根据初始图像的图像信息,通过互相关度量模型,确定坐标变换矩阵,坐标变换矩阵用于指示初始图像间待对齐的像素点在坐标系中的空间位置关系;根据坐标变换矩阵,确定第二坐标偏移量,第二坐标偏移量用于指示初始图像间的待对齐的像素点在坐标系中的位置偏差;根据第二坐标偏移量和第三图像中像素点的像素值,得到第二图像。
可以这样理解,第一图像和第三图像是待对齐的初始图像,本实施例将第一图像和第三图像的对齐分解成两次对齐,先进行一次全局对齐,再进行一次像素级对齐,其中,经过全局对齐,第三图像会被更新成为第二图像。也就是说,第二图像是第一图像和第三图像对齐过程中生成的中间图像。
需要说明的是,上述图像的全局对齐是通过求解坐标变换矩阵来实现的,上述坐标变换矩阵可以是一个单应性(Homography)矩阵,该坐标变换矩阵可用来描述第三图像经过全局平移、旋转和缩放与第一图像进行大体对齐。
下面给出坐标变换矩阵的求解过程的实施例。
该坐标变换矩阵可通过计算能量函数的最小值求解,其中, p=(xp,yp)T,wp=(up,vp)T,H表示坐标变换矩阵,且H满足[up,vp,1]T=[xp,yp,1]T(H-I),I表示单位矩阵,p表示第一图像中像素点在坐标系中的坐标,xp表示p的横坐标,yp表示p的纵坐标,wp表示第二坐标偏移量,up表示wp的横坐标,vp表示wp的纵坐标,I1,p表示第一图像的以p为中心的图像块内,各像素点的像素值组成的一维列向量,表示图像块内,各像素点的像素值梯度组成的一维列向量,I′1,p表示图像块内,各像素点的像素均值组成的一维列向量,表示图像块内,各像素点的像素值梯度的均值组成的一维列向量,I3,p表示第三图像的以p+wp为中心的图像块内,各像素点的像素值组成的一维列向量,表示以p+wp为中心的图像块内,各像素点的像素值梯度组成的一维列向量,I′3,p表示以p+wp为中心的图像块内,各像素点的像素均值组成的一维列向量,表示以p+wp为中心的图像块内,各像素点的像素值梯度的均值组成的一维列向量,β和τ为常数,β用于控制函数ρ(x)的形状,τ为E2(p,wp)中项的权重。
需要说明的是,中,由于H满足[up,vp,1]T=[xp,yp,1]T(H-I),先将wp替换为H,然后可以采用最速下降法求解该方程的最小值。为了进一步提高算法的效率,可以采用图像金字塔法逐步优化H。具体而言,先从图像金字塔的底层(底层具有最低分辨率)快速求解,然后将结果传回上层继续优化,最后在分辨率最高的金字塔顶层进行优化。这种优化策略能够显著提高算法的运行速度。
得到坐标变化矩阵之后,上述根据坐标变换矩阵,确定第二坐标偏移量可包括:根据公式[up,vp,1]T=[xp,yp,1]T(H-I),确定第二坐标偏移量。
具体地,当确定了H之后,通过将第一图像中各像素点的坐标(xp,yp)代入上式,计算出该像素点对应的第二坐标偏移值(up,vp)。
得到第二坐标偏移值之后,根据公式I2(p)=I3(p+wp),得到第二图像,其中,I2(p)表示第二图像在p的像素值,I3(p+wp)表示第三图像在p+wp的像素值。此时,就得到了上述第二图像。
完成图像的全局对齐后,接下来可以进行像素级的对齐。具体而言,可根据公式 确定第一坐标偏移量,其中, p=(xp,yp)T,w'p=(u'p,v'p)T, p表示第一图像的像素点在坐标系中的坐标,xp表示p的横坐标,yp表示p的纵坐标,w'p表示第一坐标偏移量,u'p表示w'p的横坐标,v'p表示w'p的纵坐标,I1,p表示第一图像的以p为中心的图像块内,各像素点的像素值组成的一维列向量,表示图像块内,各像素点的像素值梯度组成的一维列向量,I′1,p表示图像块内,各像素点的像素均值组成的一维列向量,表示图像块内,各像素点的像素值梯度的均值组成的一维列向量,I2,p表示第二图像的以p+w'p为中心的图像块内,各像素点的像素值组成的一维列向量,表示以p+w'p为中心的图像块内,各像素点的像素值梯度组成的一维列向量,I'2,p表示以p+w'p为中心的图像块内,各像素点的像素均值组成的一维列向量,表示以p+w'p为中心的图像块内,各像素点的像素值梯度的均值组成的一维列向量,λ1、β、λ2和τ为常数,λ1和λ2为E3(w'p)中第二项和第三项的权重,β用于控制函数ρ(x)的形状,τ为E2(p,w'p)中项的权重,N(p)表示第一图像中像素点p的相邻像素点组成的集合,q表示集合中的任意像素点,wq表示q与q在第二图像中的待对齐像素点之间的坐标偏移量,ε为常数。
具体地, 中的第一项可以让第一图像和第二图像的对齐是在互相关度量模型的约束下进行,第二项和第三项是正则项,可以约束像素间的偏移量w'p是平滑的。第二项可以保证像素间的偏移量w'p是分片平滑的,其中,是鲁棒函数,ε是较小的常数,可以去1E-4。第三项是中值滤波项,用于提高w'p的平滑性,同时使得求解w'p的精确性提高。
此外,该能量函数的求解是一个变分问题,可以采用欧拉-拉格朗日方程求解。为了加速求解,可以采用从粗糙到精细的求解过程。具体而言,可以先建立第一图像和第二图像的高斯金字塔,从高斯金字塔的最粗糙层开始求解,接下来将粗糙层的结果传递至精细层,作为精细层的初值继续求解,知道传递至最精层(即原图)。该求解策略可以显著提高算法的运行速度,同时能够精确求解w'p较大的情况。
应理解,在本发明的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
上文中结合图1至图3,详细描述了根据本发明实施例的对齐图像的方法,下面将结合图4至图5,描述根据本发明实施例的对齐图像的装置。
应理解,图4和图5中的装置能够实现图3中的各个步骤,为避免重复,此处不再详述。
图4是本发明实施例的对齐图像的装置的示意性框图。图4的装置400包括:
第一获取单元410,用于获取待对齐的两个图像的图像信息,其中,第一图像的图像信息包括所述第一图像中像素点在选取的坐标系中的坐标,所述第一图像中像素点的像素值,以及所述第一图像中像素点的像素值梯度,第二图像的图像信息包括:所述第二图像中像素点的像素值,以及所述第二图像中像素点的像素值梯度,其中,所述两个图像均位于所述坐标系中;
第一确定单元420,用于根据所述两个图像的图像信息,通过互相关度量模型,确定第一坐标偏移量,所述第一坐标偏移量用于指示所述两个图像间待对齐的像素点在所述坐标系中的位置偏差;
对齐单元430,用于根据所述第一图像中像素点在所述坐标系中的坐标和所述第一坐标偏移量,对齐所述两个图像。
本发明实施例中引入了互相关度量模型,由于互相关度量模型同时考虑图像间颜色的互相关和梯度的互相关,与现有的基于SIFT特征点的图像对齐技术,更适合多模态多光谱图像间的对齐,提高了图像对齐的准确性。
可选地,作为一个实施例,所述装置400还可包括:第二获取单元,用于获取第三图像的图像信息,所述第三图像的图像信息包括:所述第三图像中像素点的像素值,以及所述第三图像中像素点的像素值梯度,其中,所述第三图像位于所述坐标系中,且所述第一图像和所述第三图像为待对齐的初始图像;第二确定单元,用于根据所述初始图像的图像信息,通过所述互相关度量模型,确定坐标变换矩阵,所述坐标变换矩阵用于指示所述初始图像间待对齐的像素点在所述坐标系中的空间位置关系;第三确定单元,用于根据所述坐标变换矩阵,确定第二坐标偏移量,所述第二坐标偏移量用于指示所述初始图像间的待对齐的像素点在所述坐标系中的位置偏差;第四确定单元,用于根据所述第二坐标偏移量和所述第三图像中像素点的像素值,得到所述第二图像。
可选地,作为一个实施例,所述第二确定单元具体用于通过计算的最小值,确定所述坐标变换矩阵,其中, p=(xp,yp)T,wp=(up,vp)T,H表示所述坐标变换矩阵,且H满足[up,vp,1]T=[xp,yp,1]T(H-I),I表示单位矩阵,p表示所述第一图像中像素点在所述坐标系中的坐标,xp表示p的横坐标,yp表示p的纵坐标,wp表示所述第二坐标偏移量,up表示wp的横坐标,vp表示wp的纵坐标,I1,p表示所述第一图像的以p为中心的图像块内,各像素点的像素值组成的一维列向量,表示所述图像块内,各像素点的像素值梯度组成的一维列向量,I′1,p表示所述图像块内,各像素点的像素均值组成的一维列向量,表示所述图像块内,各像素点的像素值梯度的均值组成的一维列向量,I3,p表示所述第三图像的以p+wp为中心的图像块内,各像素点的像素值组成的一维列向量,表示所述以p+wp为中心的图像块内,各像素点的像素值梯度组成的一维列向量,I′3,p表示所述以p+wp为中心的图像块内,各像素点的像素均值组成的一维列向量,表示所述以p+wp为中心的图像块内,各像素点的像素值梯度的均值组成的一维列向量,β和τ为常数,β用于控制函数ρ(x)的形状,τ为E2(p,wp)中项的权重。
可选地,作为一个实施例,所述第三确定单元具体用于根据公式[up,vp,1]T=[xp,yp,1]T(H-I),确定所述第二坐标偏移量。
可选地,作为一个实施例,所述第四确定单元具体用于根据公式I2(p)=I3(p+wp),得到所述第二图像,其中,I2(p)表示所述第二图像在p的像素值,I3(p+wp)表示所述第三图像在p+wp的像素值。
可选地,作为一个实施例,所述第一确定单元420具体用于根据公式 确定所述第一坐标偏移量,其中, p=(xp,yp)T,w'p=(u'p,v'p)T, p表示所述第一图像的像素点在所述坐标系中的坐标,xp表示p的横坐标,yp表示p的纵坐标,w'p表示所述第一坐标偏移量,u'p表示w'p的横坐标,v'p表示w'p的纵坐标,I1,p表示所述第一图像的以p为中心的图像块内,各像素点的像素值组成的一维列向量,表示所述图像块内,各像素点的像素值梯度组成的一维列向量,I′1,p表示所述图像块内,各像素点的像素均值组成的一维列向量,表示所述图像块内,各像素点的像素值梯度的均值组成的一维列向量,I2,p表示所述第二图像的以p+w'p为中心的图像块内,各像素点的像素值组成的一维列向量,表示所述以p+w'p为中心的图像块内,各像素点的像素值梯度组成的一维列向量,I'2,p表示所述以p+w'p为中心的图像块内,各像素点的像素均值组成的一维列向量,表示所述以p+w'p为中心的图像块内,各像素点的像素值梯度的均值组成的一维列向量,λ1、β、λ2和τ为常数,λ1和λ2为E3(w'p)中第二项和第三项的权重,β用于控制函数ρ(x)的形状,τ为E2(p,w'p)中项的权重,N(p)表示所述第一图像中像素点p的相邻像素点组成的集合,q表示所述集合中的任意像素点,wq表示q与q在所述第二图像中的待对齐像素点之间的坐标偏移量,ε为常数。
可选地,作为一个实施例,所述互相关度量模型为: 其中, p=(xp,yp)T,wp=(up,vp)T,p表示所述第一图像的像素点在所述坐标系中的坐标,xp表示p的横坐标,yp表示p的纵坐标,wp表示所述第一坐标偏移量,up表示wp的横坐标,vp表示wp的纵坐标,I1,p表示所述第一图像的以p为中心的图像块内,各像素点的像素值组成的一维列向量,所述图像块内,各像素点的像素值梯度组成的一维列向量,I′1,p表示所述图像块内,各像素点的像素均值组成的一维列向量,表示所述图像块内,各像素点的像素值梯度的均值组成的一维列向量,I2,p表示所述第二图像的以p+wp为中心的图像块内,各像素点的像素值组成的一维列向量,表示所述以p+wp为中心的图像块内,各像素点的像素值梯度组成的一维列向量,I'2,p表示所述以p+wp为中心的图像块内,各像素点的像素均值组成的一维列向量,表示所述以p+wp为中心的图像块内,各像素点的像素值梯度的均值组成的一维列向量,β为权重,用于控制函数ρ(x)的形状。
图5是本发明实施例的对齐图像的装置的示意性框图。图5的装置500包括:
存储器510,用于存储程序;
处理器520,用于执行程序,当所述程序被执行时,所述处理器520用于获取待对齐的两个图像的图像信息,其中,第一图像的图像信息包括所述第一图像中像素点在选取的坐标系中的坐标,所述第一图像中像素点的像素值,以及所述第一图像中像素点的像素值梯度,第二图像的图像信息包括:所述第二图像中像素点的像素值,以及所述第二图像中像素点的像素值梯度,其中,所述两个图像均位于所述坐标系中;根据所述两个图像的图像信息,通过互相关度量模型,确定第一坐标偏移量,所述第一坐标偏移量用于指示所述两个图像间待对齐的像素点在所述坐标系中的位置偏差;根据所述第一图像中像素点在所述坐标系中的坐标和所述第一坐标偏移量,对齐所述两个图像。
本发明实施例中引入了互相关度量模型,由于互相关度量模型同时考虑图像间颜色的互相关和梯度的互相关,与现有的基于SIFT特征点的图像对齐技术,更适合多模态多光谱图像间的对齐,提高了图像对齐的准确性。
可选地,作为一个实施例,所述处理器520还可用于获取第三图像的图像信息,所述第三图像的图像信息包括:所述第三图像中像素点的像素值,以及所述第三图像中像素点的像素值梯度,其中,所述第三图像位于所述坐标系中,且所述第一图像和所述第三图像为待对齐的初始图像;根据所述初始图像的图像信息,通过所述互相关度量模型,确定坐标变换矩阵,所述坐标变换矩阵用于指示所述初始图像间待对齐的像素点在所述坐标系中的空间位置关系;根据所述坐标变换矩阵,确定第二坐标偏移量,所述第二坐标偏移量用于指示所述初始图像间的待对齐的像素点在所述坐标系中的位置偏差;根据所述第二坐标偏移量和所述第三图像中像素点的像素值,得到所述第二图像。
可选地,作为一个实施例,所述处理器520具体用于通过计算的最小值,确定所述坐标变换矩阵,其中, p=(xp,yp)T,wp=(up,vp)T,H表示所述坐标变换矩阵,且H满足[up,vp,1]T=[xp,yp,1]T(H-I),I表示单位矩阵,p表示所述第一图像中像素点在所述坐标系中的坐标,xp表示p的横坐标,yp表示p的纵坐标,wp表示所述第二坐标偏移量,up表示wp的横坐标,vp表示wp的纵坐标,I1,p表示所述第一图像的以p为中心的图像块内,各像素点的像素值组成的一维列向量,表示所述图像块内,各像素点的像素值梯度组成的一维列向量,I′1,p表示所述图像块内,各像素点的像素均值组成的一维列向量,表示所述图像块内,各像素点的像素值梯度的均值组成的一维列向量,I3,p表示所述第三图像的以p+wp为中心的图像块内,各像素点的像素值组成的一维列向量,表示所述以p+wp为中心的图像块内,各像素点的像素值梯度组成的一维列向量,I′3,p表示所述以p+wp为中心的图像块内,各像素点的像素均值组成的一维列向量,表示所述以p+wp为中心的图像块内,各像素点的像素值梯度的均值组成的一维列向量,β和τ为常数,β用于控制函数ρ(x)的形状,τ为E2(p,wp)中项的权重。
可选地,作为一个实施例,所述处理器520具体用于根据公式[up,vp,1]T=[xp,yp,1]T(H-I),确定所述第二坐标偏移量。
可选地,作为一个实施例,所述处理器520具体用于根据公式I2(p)=I3(p+wp),得到所述第二图像,其中,I2(p)表示所述第二图像在p的像素值,I3(p+wp)表示所述第三图像在p+wp的像素值。
可选地,作为一个实施例,所述处理器520具体用于根据公式 确定所述第一坐标偏移量,其中, p=(xp,yp)T,w'p=(u'p,v'p)T, p表示所述第一图像的像素点在所述坐标系中的坐标,xp表示p的横坐标,yp表示p的纵坐标,w'p表示所述第一坐标偏移量,u'p表示w'p的横坐标,v'p表示w'p的纵坐标,I1,p表示所述第一图像的以p为中心的图像块内,各像素点的像素值组成的一维列向量,表示所述图像块内,各像素点的像素值梯度组成的一维列向量,I′1,p表示所述图像块内,各像素点的像素均值组成的一维列向量,表示所述图像块内,各像素点的像素值梯度的均值组成的一维列向量,I2,p表示所述第二图像的以p+w'p为中心的图像块内,各像素点的像素值组成的一维列向量,表示所述以p+w'p为中心的图像块内,各像素点的像素值梯度组成的一维列向量,I'2,p表示所述以p+w'p为中心的图像块内,各像素点的像素均值组成的一维列向量,表示所述以p+w'p为中心的图像块内,各像素点的像素值梯度的均值组成的一维列向量,λ1、β、λ2和τ为常数,λ1和λ2为E3(w'p)中第二项和第三项的权重,β用于控制函数ρ(x)的形状,τ为E2(p,w'p)中项的权重,N(p)表示所述第一图像中像素点p的相邻像素点组成的集合,q表示所述集合中的任意像素点,wq表示q与q在所述第二图像中的待对齐像素点之间的坐标偏移量,ε为常数。
可选地,作为一个实施例,其特征在于,所述互相关度量模型为: 其中, p=(xp,yp)T,wp=(up,vp)T,p表示所述第一图像的像素点在所述坐标系中的坐标,xp表示p的横坐标,yp表示p的纵坐标,wp表示所述第一坐标偏移量,up表示wp的横坐标,vp表示wp的纵坐标,I1,p表示所述第一图像的以p为中心的图像块内,各像素点的像素值组成的一维列向量,所述图像块内,各像素点的像素值梯度组成的一维列向量,I′1,p表示所述图像块内,各像素点的像素均值组成的一维列向量,表示所述图像块内,各像素点的像素值梯度的均值组成的一维列向量,I2,p表示所述第二图像的以p+wp为中心的图像块内,各像素点的像素值组成的一维列向量,表示所述以p+wp为中心的图像块内,各像素点的像素值梯度组成的一维列向量,I'2,p表示所述以p+wp为中心的图像块内,各像素点的像素均值组成的一维列向量,表示所述以p+wp为中心的图像块内,各像素点的像素值梯度的均值组成的一维列向量,β为权重,用于控制函数ρ(x)的形状。
应理解,在本发明实施例中,术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系。例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接,也可以是电的,机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (14)
1.一种对齐图像的方法,其特征在于,包括:
获取待对齐的两个图像的图像信息,其中,第一图像的图像信息包括所述第一图像中像素点在选取的坐标系中的坐标,所述第一图像中像素点的像素值,以及所述第一图像中像素点的像素值梯度,第二图像的图像信息包括:所述第二图像中像素点的像素值,以及所述第二图像中像素点的像素值梯度,其中,所述两个图像均位于所述坐标系中;
根据所述两个图像的图像信息,通过互相关度量模型,确定第一坐标偏移量,所述第一坐标偏移量用于指示所述两个图像间待对齐的像素点在所述坐标系中的位置偏差;
根据所述第一图像中像素点在所述坐标系中的坐标和所述第一坐标偏移量,对齐所述两个图像。
2.如权利要求1所述的方法,其特征在于,
在根据所述两个图像的图像信息,通过互相关度量模型,确定第一坐标偏移量之前,所述方法还包括:
获取第三图像的图像信息,所述第三图像的图像信息包括:所述第三图像中像素点的像素值,以及所述第三图像中像素点的像素值梯度,其中,所述第三图像位于所述坐标系中,且所述第一图像和所述第三图像为待对齐的初始图像;
根据所述初始图像的图像信息,通过所述互相关度量模型,确定坐标变换矩阵,所述坐标变换矩阵用于指示所述初始图像间待对齐的像素点在所述坐标系中的空间位置关系;
根据所述坐标变换矩阵,确定第二坐标偏移量,所述第二坐标偏移量用于指示所述初始图像间的待对齐的像素点在所述坐标系中的位置偏差;
根据所述第二坐标偏移量和所述第三图像中像素点的像素值,得到所述第二图像。
3.如权利要求2所述的方法,其特征在于,所述根据所述初始图像的图像信息,通过所述互相关度量模型,确定坐标变换矩阵,包括:
通过计算的最小值,确定所述坐标变换矩阵,其中, p=(xp,yp)T,wp=(up,vp)T,H表示所述坐标变换矩阵,且H满足[up,vp,1]T=[xp,yp,1]T(H-I),I表示单位矩阵,p表示所述第一图像中像素点在所述坐标系中的坐标,xp表示p的横坐标,yp表示p的纵坐标,wp表示所述第二坐标偏移量,up表示wp的横坐标,vp表示wp的纵坐标,I1,p表示所述第一图像的以p为中心的图像块内,各像素点的像素值组成的一维列向量,表示所述图像块内,各像素点的像素值梯度组成的一维列向量,I′1,p表示所述图像块内,各像素点的像素均值组成的一维列向量,表示所述图像块内,各像素点的像素值梯度的均值组成的一维列向量,I3,p表示所述第三图像的以p+wp为中心的图像块内,各像素点的像素值组成的一维列向量,表示所述以p+wp为中心的图像块内,各像素点的像素值梯度组成的一维列向量,I′3,p表示所述以p+wp为中心的图像块内,各像素点的像素均值组成的一维列向量,表示所述以p+wp为中心的图像块内,各像素点的像素值梯度的均值组成的一维列向量,β和τ为常数,β用于控制函数ρ(x)的形状,τ为E2(p,wp)中项的权重。
4.如权利要求3所述的方法,其特征在于,所述根据所述坐标变换矩阵,确定第二坐标偏移量,包括:
根据公式[up,vp,1]T=[xp,yp,1]T(H-I),确定所述第二坐标偏移量。
5.如权利要求4所述的方法,其特征在于,所述根据所述第二坐标偏移量和所述第三图像中像素点的像素值,得到所述第二图像,包括:
根据公式I2(p)=I3(p+wp),得到所述第二图像,其中,I2(p)表示所述第二图像在p的像素值,I3(p+wp)表示所述第三图像中在p+wp的像素值。
6.如权利要求1-5中任一项所述的方法,其特征在于,所述根据所述两个图像的图像信息,通过互相关度量模型,确定第一坐标偏移量,包括:
根据公式 确定所述第一坐标偏移量,其中, p=(xp,yp)T,w′p=(u′p,v′p)T, p表示所述第一图像的像素点在所述坐标系中的坐标,xp表示p的横坐标,yp表示p的纵坐标,w'p表示所述第一坐标偏移量,u'p表示w'p的横坐标,v'p表示w'p的纵坐标,I1,p表示所述第一图像的以p为中心的图像块内,各像素点的像素值组成的一维列向量,表示所述图像块内,各像素点的像素值梯度组成的一维列向量,I′1,p表示所述图像块内,各像素点的像素均值组成的一维列向量,表示所述图像块内,各像素点的像素值梯度的均值组成的一维列向量,I2,p表示所述第二图像的以p+w'p为中心的图像块内,各像素点的像素值组成的一维列向量,表示所述以p+w'p为中心的图像块内,各像素点的像素值梯度组成的一维列向量,I'2,p表示所述以p+w'p为中心的图像块内,各像素点的像素均值组成的一维列向量,表示所述以p+w'p为中心的图像块内,各像素点的像素值梯度的均值组成的一维列向量,λ1、β、λ2和τ为常数,λ1和λ2为E3(w'p)中第二项和第三项的权重,β用于控制函数ρ(x)的形状,τ为E2(p,w'p)中项的权重,N(p)表示所述第一图像中像素点p的相邻像素点组成的集合,q表示所述集合中的任意像素点,wq表示q与q在所述第二图像中的待对齐像素点之间的坐标偏移量,ε为常数。
7.如权利要求1-6中任一项所述的方法,其特征在于,所述互相关度量模型为:
8.一种对齐图像的装置,其特征在于,包括:
第一获取单元,用于获取待对齐的两个图像的图像信息,其中,第一图像的图像信息包括所述第一图像中像素点在选取的坐标系中的坐标,所述第一图像中像素点的像素值,以及所述第一图像中像素点的像素值梯度,第二图像的图像信息包括:所述第二图像中像素点的像素值,以及所述第二图像中像素点的像素值梯度,其中,所述两个图像均位于所述坐标系中;
第一确定单元,用于根据所述两个图像的图像信息,通过互相关度量模型,确定第一坐标偏移量,所述第一坐标偏移量用于指示所述两个图像间待对齐的像素点在所述坐标系中的位置偏差;
对齐单元,用于根据所述第一图像中像素点在所述坐标系中的坐标和所述第一坐标偏移量,对齐所述两个图像。
9.如权利要求8所述的装置,其特征在于,所述装置还包括:
第二获取单元,用于获取第三图像的图像信息,所述第三图像的图像信息包括:所述第三图像中像素点的像素值,以及所述第三图像中像素点的像素值梯度,其中,所述第三图像位于所述坐标系中,且所述第一图像和所述第三图像为待对齐的初始图像;
第二确定单元,用于根据所述初始图像的图像信息,通过所述互相关度量模型,确定坐标变换矩阵,所述坐标变换矩阵用于指示所述初始图像间待对齐的像素点在所述坐标系中的空间位置关系;
第三确定单元,用于根据所述坐标变换矩阵,确定第二坐标偏移量,所述第二坐标偏移量用于指示所述初始图像间的待对齐的像素点在所述坐标系中的位置偏差;
第四确定单元,用于根据所述第二坐标偏移量和所述第三图像中像素点的像素值,得到所述第二图像。
10.如权利要求9所述的装置,其特征在于,所述第二确定单元具体用于通过计算的最小值,确定所述坐标变换矩阵,其中, p=(xp,yp)T,wp=(up,vp)T,H表示所述坐标变换矩阵,且H满足[up,vp,1]T=[xp,yp,1]T(H-I),I表示单位矩阵,p表示所述第一图像中像素点在所述坐标系中的坐标,xp表示p的横坐标,yp表示p的纵坐标,wp表示所述第二坐标偏移量,up表示wp的横坐标,vp表示wp的纵坐标,I1,p表示所述第一图像的以p为中心的图像块内,各像素点的像素值组成的一维列向量,表示所述图像块内,各像素点的像素值梯度组成的一维列向量,I′1,p表示所述图像块内,各像素点的像素均值组成的一维列向量,表示所述图像块内,各像素点的像素值梯度的均值组成的一维列向量,I3,p表示所述第三图像的以p+wp为中心的图像块内,各像素点的像素值组成的一维列向量,表示所述以p+wp为中心的图像块内,各像素点的像素值梯度组成的一维列向量,I′3,p表示所述以p+wp为中心的图像块内,各像素点的像素均值组成的一维列向量,表示所述以p+wp为中心的图像块内,各像素点的像素值梯度的均值组成的一维列向量,β和τ为常数,β用于控制函数ρ(x)的形状,τ为E2(p,wp)中项的权重。
11.如权利要求10所述的装置,其特征在于,所述第三确定单元具体用于根据公式[up,vp,1]T=[xp,yp,1]T(H-I),确定所述第二坐标偏移量。
12.如权利要求11所述的装置,其特征在于,所述第四确定单元具体用于根据公式I2(p)=I3(p+wp),得到所述第二图像,其中,I2(p)表示所述第二图像在p的像素值,I3(p+wp)表示所述第三图像在p+wp的像素值。
13.如权利要求8-12中任一项所述的装置,其特征在于,所述第一确定单元具体用于根据公式 确定所述第一坐标偏移量,其中, p=(xp,yp)T,w'p=(u'p,v'p)T, p表示所述第一图像的像素点在所述坐标系中的坐标,xp表示p的横坐标,yp表示p的纵坐标,w'p表示所述第一坐标偏移量,u'p表示w'p的横坐标,v'p表示w'p的纵坐标,I1,p表示所述第一图像的以p为中心的图像块内,各像素点的像素值组成的一维列向量,表示所述图像块内,各像素点的像素值梯度组成的一维列向量,I′1,p表示所述图像块内,各像素点的像素均值组成的一维列向量,表示所述图像块内,各像素点的像素值梯度的均值组成的一维列向量,I2,p表示所述第二图像的以p+w'p为中心的图像块内,各像素点的像素值组成的一维列向量,表示所述以p+w'p为中心的图像块内,各像素点的像素值梯度组成的一维列向量,I'2,p表示所述以p+w'p为中心的图像块内,各像素点的像素均值组成的一维列向量,表示所述以p+w'p为中心的图像块内,各像素点的像素值梯度的均值组成的一维列向量,λ1、β、λ2和τ为常数,λ1和λ2为E3(w'p)中第二项和第三项的权重,β用于控制函数ρ(x)的形状,τ为E2(p,w'p)中项的权重,N(p)表示所述第一图像中像素点p的相邻像素点组成的集合,q表示所述集合中的任意像素点,wq表示q与q在所述第二图像中的待对齐像素点之间的坐标偏移量,ε为常数。
14.如权利要求8-13中任一项所述的装置,其特征在于,所述互相关度量模型为: 其中, p=(xp,yp)T,wp=(up,vp)T,p表示所述第一图像的像素点在所述坐标系中的坐标,xp表示p的横坐标,yp表示p的纵坐标,wp表示所述第一坐标偏移量,up表示wp的横坐标,vp表示wp的纵坐标,I1,p表示所述第一图像的以p为中心的图像块内,各像素点的像素值组成的一维列向量,所述图像块内,各像素点的像素值梯度组成的一维列向量,I′1,p表示所述图像块内,各像素点的像素均值组成的一维列向量,表示所述图像块内,各像素点的像素值梯度的均值组成的一维列向量,I2,p表示所述第二图像的以p+wp为中心的图像块内,各像素点的像素值组成的一维列向量,表示所述以p+wp为中心的图像块内,各像素点的像素值梯度组成的一维列向量,I'2,p表示所述以p+wp为中心的图像块内,各像素点的像素均值组成的一维列向量,表示所述以p+wp为中心的图像块内,各像素点的像素值梯度的均值组成的一维列向量,β为权重,用于控制函数ρ(x)的形状。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410452309.4A CN105389774B (zh) | 2014-09-05 | 2014-09-05 | 对齐图像的方法和装置 |
PCT/CN2015/075823 WO2016033967A1 (zh) | 2014-09-05 | 2015-04-03 | 对齐图像的方法和装置 |
US15/448,799 US10127679B2 (en) | 2014-09-05 | 2017-03-03 | Image alignment method and apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410452309.4A CN105389774B (zh) | 2014-09-05 | 2014-09-05 | 对齐图像的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105389774A true CN105389774A (zh) | 2016-03-09 |
CN105389774B CN105389774B (zh) | 2019-03-01 |
Family
ID=55422028
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410452309.4A Active CN105389774B (zh) | 2014-09-05 | 2014-09-05 | 对齐图像的方法和装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10127679B2 (zh) |
CN (1) | CN105389774B (zh) |
WO (1) | WO2016033967A1 (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107292822A (zh) * | 2017-06-26 | 2017-10-24 | 北京奇艺世纪科技有限公司 | 一种图像的拼接方法和装置 |
CN107590155A (zh) * | 2016-07-08 | 2018-01-16 | 富士通株式会社 | 文档图像的字符真值获取装置及方法、电子设备 |
TWI642896B (zh) * | 2016-10-31 | 2018-12-01 | 迪摩西 魏斯特 | 利用光學感測器之耐磨液壓/氣動活塞位置感測裝置及方法 |
CN109061386A (zh) * | 2018-08-20 | 2018-12-21 | 上海仁童电子科技有限公司 | 一种线缆检测方法及装置 |
CN110136080A (zh) * | 2019-05-10 | 2019-08-16 | 厦门欢乐逛科技股份有限公司 | 图像修复方法及装置 |
CN111080523A (zh) * | 2019-12-17 | 2020-04-28 | 天津津航技术物理研究所 | 红外周视搜索系统及基于角度信息的红外周视图像拼接方法 |
CN112243091A (zh) * | 2020-10-16 | 2021-01-19 | 微创(上海)医疗机器人有限公司 | 三维内窥镜系统、控制方法和存储介质 |
CN116363252A (zh) * | 2023-06-02 | 2023-06-30 | 南京诺源医疗器械有限公司 | 目标成像方法及系统 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102560780B1 (ko) | 2016-10-05 | 2023-07-28 | 삼성전자주식회사 | 복수의 이미지 센서를 포함하는 이미지 처리 시스템 및 그것을 포함하는 전자 장치 |
US10412286B2 (en) | 2017-03-31 | 2019-09-10 | Westboro Photonics Inc. | Multicamera imaging system and method for measuring illumination |
CN109754413A (zh) * | 2018-12-27 | 2019-05-14 | 中国科学院长春光学精密机械与物理研究所 | 一种菲索型动态干涉仪条纹图配准方法 |
CN110163898B (zh) * | 2019-05-07 | 2023-08-11 | 腾讯科技(深圳)有限公司 | 深度信息配准方法、装置、系统、设备及存储介质 |
CN111968166B (zh) * | 2020-08-20 | 2023-09-29 | 西安工程大学 | 一种基于非刚体纺织图像配准技术的精确纺织方法 |
CN113255586B (zh) * | 2021-06-23 | 2024-03-15 | 中国平安人寿保险股份有限公司 | 基于rgb图像和ir图像对齐的人脸防作弊方法及相关设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103325085A (zh) * | 2012-03-02 | 2013-09-25 | 索尼公司 | 自动图像对齐 |
US20130301897A1 (en) * | 2012-05-11 | 2013-11-14 | Siemens Corporation | Method of deformable motion correction and image registration in x-ray stent imaging |
CN103632362A (zh) * | 2012-08-28 | 2014-03-12 | 中国电信股份有限公司 | 图像匹配处理方法、装置及系统 |
CN103679714A (zh) * | 2013-12-04 | 2014-03-26 | 中国资源卫星应用中心 | 一种基于梯度互相关的光学和sar图像自动配准方法 |
CN103796001A (zh) * | 2014-01-10 | 2014-05-14 | 深圳奥比中光科技有限公司 | 一种同步获取深度及色彩信息的方法及装置 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6519372B1 (en) * | 1999-08-31 | 2003-02-11 | Lockheed Martin Corporation | Normalized crosscorrelation of complex gradients for image autoregistration |
US7894528B2 (en) * | 2005-05-25 | 2011-02-22 | Yissum Research Development Company Of The Hebrew University Of Jerusalem | Fast and robust motion computations using direct methods |
US7977942B2 (en) * | 2005-11-16 | 2011-07-12 | Board Of Regents, The University Of Texas System | Apparatus and method for tracking movement of a target |
US7609877B2 (en) * | 2006-02-09 | 2009-10-27 | The United States Of America As Represented By The Secretary Of The Navy | Tactical image parameter adjustment method for stereo pair correlation |
US8126289B2 (en) * | 2006-06-20 | 2012-02-28 | Ophthalmic Imaging Systems | Device, method and system for automatic montage of segmented retinal images |
AU2007240236A1 (en) * | 2007-12-11 | 2009-06-25 | Canon Kabushiki Kaisha | Correlatability analysis for sparse alignment |
US8086043B2 (en) * | 2007-12-21 | 2011-12-27 | Ati Technologies Ulc | System and method of image correlation based on image structure |
US20090232388A1 (en) * | 2008-03-12 | 2009-09-17 | Harris Corporation | Registration of 3d point cloud data by creation of filtered density images |
CN102857704B (zh) * | 2012-09-12 | 2015-08-19 | 天津大学 | 带有时间域同步校准技术的多源视频拼接方法 |
CN103793891A (zh) * | 2012-10-26 | 2014-05-14 | 海法科技有限公司 | 低复杂度的全景影像接合方法 |
EP3053139B1 (en) * | 2013-10-01 | 2020-10-21 | Ventana Medical Systems, Inc. | Line-based image registration and cross-image annotation devices, systems and methods |
DE102015208929B3 (de) * | 2015-05-13 | 2016-06-09 | Friedrich-Alexander-Universität Erlangen-Nürnberg | Verfahren zur 2D-3D-Registrierung, Recheneinrichtung und Computerprogramm |
-
2014
- 2014-09-05 CN CN201410452309.4A patent/CN105389774B/zh active Active
-
2015
- 2015-04-03 WO PCT/CN2015/075823 patent/WO2016033967A1/zh active Application Filing
-
2017
- 2017-03-03 US US15/448,799 patent/US10127679B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103325085A (zh) * | 2012-03-02 | 2013-09-25 | 索尼公司 | 自动图像对齐 |
US20130301897A1 (en) * | 2012-05-11 | 2013-11-14 | Siemens Corporation | Method of deformable motion correction and image registration in x-ray stent imaging |
CN103632362A (zh) * | 2012-08-28 | 2014-03-12 | 中国电信股份有限公司 | 图像匹配处理方法、装置及系统 |
CN103679714A (zh) * | 2013-12-04 | 2014-03-26 | 中国资源卫星应用中心 | 一种基于梯度互相关的光学和sar图像自动配准方法 |
CN103796001A (zh) * | 2014-01-10 | 2014-05-14 | 深圳奥比中光科技有限公司 | 一种同步获取深度及色彩信息的方法及装置 |
Non-Patent Citations (2)
Title |
---|
J.P.W.PLUIM: ""Image registration by maximization of combined"", 《IEEE TRANSACTIONS ON MEDICAL IMAGIN》 * |
彭曙蓉: ""高分辨率合成孔径雷达干涉测量技术及其应用研究"", 《中国博士学位全文数据库 信息科技辑》 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107590155A (zh) * | 2016-07-08 | 2018-01-16 | 富士通株式会社 | 文档图像的字符真值获取装置及方法、电子设备 |
CN107590155B (zh) * | 2016-07-08 | 2020-09-08 | 富士通株式会社 | 文档图像的字符真值获取装置及方法、电子设备 |
TWI642896B (zh) * | 2016-10-31 | 2018-12-01 | 迪摩西 魏斯特 | 利用光學感測器之耐磨液壓/氣動活塞位置感測裝置及方法 |
CN107292822B (zh) * | 2017-06-26 | 2020-08-28 | 北京奇艺世纪科技有限公司 | 一种图像的拼接方法和装置 |
CN107292822A (zh) * | 2017-06-26 | 2017-10-24 | 北京奇艺世纪科技有限公司 | 一种图像的拼接方法和装置 |
CN109061386A (zh) * | 2018-08-20 | 2018-12-21 | 上海仁童电子科技有限公司 | 一种线缆检测方法及装置 |
CN110136080A (zh) * | 2019-05-10 | 2019-08-16 | 厦门欢乐逛科技股份有限公司 | 图像修复方法及装置 |
CN110136080B (zh) * | 2019-05-10 | 2023-03-21 | 厦门稿定股份有限公司 | 图像修复方法及装置 |
CN111080523A (zh) * | 2019-12-17 | 2020-04-28 | 天津津航技术物理研究所 | 红外周视搜索系统及基于角度信息的红外周视图像拼接方法 |
CN111080523B (zh) * | 2019-12-17 | 2023-10-24 | 天津津航技术物理研究所 | 红外周视搜索系统及基于角度信息的红外周视图像拼接方法 |
CN112243091A (zh) * | 2020-10-16 | 2021-01-19 | 微创(上海)医疗机器人有限公司 | 三维内窥镜系统、控制方法和存储介质 |
CN112243091B (zh) * | 2020-10-16 | 2022-12-16 | 上海微创医疗机器人(集团)股份有限公司 | 三维内窥镜系统、控制方法和存储介质 |
CN116363252A (zh) * | 2023-06-02 | 2023-06-30 | 南京诺源医疗器械有限公司 | 目标成像方法及系统 |
CN116363252B (zh) * | 2023-06-02 | 2023-08-04 | 南京诺源医疗器械有限公司 | 目标成像方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
US20170178348A1 (en) | 2017-06-22 |
US10127679B2 (en) | 2018-11-13 |
WO2016033967A1 (zh) | 2016-03-10 |
CN105389774B (zh) | 2019-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105389774A (zh) | 对齐图像的方法和装置 | |
CN104574347B (zh) | 基于多源遥感数据的在轨卫星图像几何定位精度评价方法 | |
CN102710951B (zh) | 基于散斑结构光深度相机的多视点计算成像方法 | |
US6671399B1 (en) | Fast epipolar line adjustment of stereo pairs | |
CN102693542B (zh) | 一种影像特征匹配方法 | |
CN104200461B (zh) | 基于互信息图像选块和sift特征的遥感图像配准方法 | |
CN103426186A (zh) | 一种改进的surf快速匹配方法 | |
CN102122359B (zh) | 一种图像配准方法及装置 | |
EP3566172A1 (en) | Systems and methods for lane-marker detection | |
CN103198476B (zh) | 一种粗线型十字圆环标记的图像检测方法 | |
CN102074015A (zh) | 一种基于二维图像序列的目标对象的三维重建方法 | |
CN103295239A (zh) | 一种基于平面基准影像的激光点云数据的自动配准方法 | |
CN103093479A (zh) | 一种基于双目视觉的目标定位方法 | |
CN102800097A (zh) | 多特征多级别的可见光与红外图像高精度配准方法 | |
CN102592281B (zh) | 图像匹配方法 | |
CN105182350A (zh) | 一种应用特征跟踪的多波束声呐目标探测方法 | |
CN104599258A (zh) | 一种基于各向异性特征描述符的图像拼接方法 | |
CN102800098A (zh) | 多特征多级别的可见光全色与多光谱高精度配准方法 | |
CN104599286A (zh) | 一种基于光流的特征跟踪方法及装置 | |
CN102800099A (zh) | 多特征多级别的可见光与高光谱图像高精度配准方法 | |
Qian et al. | Robust visual-lidar simultaneous localization and mapping system for UAV | |
CN110084743B (zh) | 基于多航带起始航迹约束的图像拼接与定位方法 | |
CN101246595A (zh) | 光学三维扫描系统中多视点云数据拼合方法 | |
CN112215925A (zh) | 自适应采煤机随动跟踪多摄像头视频拼接方法 | |
Manduchi et al. | Distinctiveness maps for image matching |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |