CN100354893C - 图像配准方法改进 - Google Patents

图像配准方法改进 Download PDF

Info

Publication number
CN100354893C
CN100354893C CNB2004800151453A CN200480015145A CN100354893C CN 100354893 C CN100354893 C CN 100354893C CN B2004800151453 A CNB2004800151453 A CN B2004800151453A CN 200480015145 A CN200480015145 A CN 200480015145A CN 100354893 C CN100354893 C CN 100354893C
Authority
CN
China
Prior art keywords
image
fourier transform
function
rotation
change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2004800151453A
Other languages
English (en)
Other versions
CN1799068A (zh
Inventor
斯蒂芬·詹姆斯·哈迪
彼得·阿尔雷宁·弗莱彻
基兰·杰勒德·拉金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN1799068A publication Critical patent/CN1799068A/zh
Application granted granted Critical
Publication of CN100354893C publication Critical patent/CN100354893C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods

Abstract

本发明公开了一种至少确定关联两个图像的变换的旋转和缩放参数的方法(200)。该方法(200)通过形成每个图像的空间域表达式而开始,该表达式对于图像的平移是不变的。接下来,在这些表达式之间执行对数极坐标域中的相关。在检测该相关中的幅值峰值之后,该方法(200)根据该幅值峰值的位置来确定旋转和缩放参数。

Description

图像配准方法改进
技术领域
本发明一般涉及图像配准(image registration),特别涉及确定配准通过旋转、缩放和平移而关联的两个图像的变换。
背景技术
图像配准是确定具有共同主题内容(subject matter)的一对图像中的像素元素之间的对应关系的处理。具体地说,图像配准涉及确定关联一对图像中的像素元素的变换的参数。因此,图像配准是图像匹配的重要方面,其中在存在某种关联两个图像的实质部分的几何变换的假定下,针对共同主题内容比较两个图像。图像配准还用于卫星和医疗成像,其中获得一系列部分重叠的图像,并且必须形成各个图像的镶嵌图(mosaic),从而形成单个大图像。
图像配准还有用于照相机校准,其中捕获已知对象的图像,并且计算该已知对象在图像内的位置,从而确定成像设备的一些未知参数。图像配准的另一应用是作为用于确定视频序列中的视频帧之间的相对摄像机方向和位置的系统的一部分。
当两个图像仅通过平移而关联时,可以使用简单形式的图像配准。在这种情况下,可以使用匹配滤波方法,以得到关联两个图像的平移。互相关和相位相关是这种匹配滤波方法的两个例子。
可以在空间或频率域中进行互相关。考虑两个图像I1(x,y)和I2(x,y),其是像素坐标x和y的函数。空间域中两个图像I1(x,y)和I2(x,y)的互相关由下式定义:
C ( x ′ , y ′ ) = Σ x Σ y I 1 ( x , y ) I 2 ( x + x ′ , y + y ′ ) - - - ( 1 )
如果两个图像I1(x,y)和I2(x,y)通过简单平移(Δx,Δy)而关联,则由此:
I2(x,y)=I1(x-Δx,y-Δy),                             (2)
然后,互相关C(x’,y’)在平移坐标(Δx,Δy)处具有最大值,其中:
C ( Δ x , Δ y ) = Σ x Σ y I 1 ( x , y ) 2 - - - ( 3 )
这样,通过计算两个图像I1(x,y)和I2(x,y)的互相关C(x’,y’),可以确定配准两个图像I1(x,y)和I2(x,y)的平移(Δx,Δy)。
一般使用快速傅立叶变换(FFT)进行互相关。对于图像In(x,y),由下式定义离散傅立叶变换
Figure C20048001514500072
Figure C20048001514500073
其中Nx和Ny分别是x和y维中的图像尺寸。由下式定义离散傅立叶逆变换
Figure C20048001514500074
Figure C20048001514500075
FFT是计算离散傅立叶变换
Figure C20048001514500076
及其逆变换
Figure C20048001514500077
的在计算上高效的方法。
互相关C可以通过下式来计算:
Figure C20048001514500078
其中
Figure C20048001514500079
表示离散傅立叶变换
Figure C200480015145000710
的复共轭。这样,对一个图像的FFT
Figure C200480015145000711
和另一个图像的FFT的复共轭
Figure C200480015145000712
的乘积取逆FFT
Figure C200480015145000713
1(),将产生另一图像,其包含等同于在方程(1)中所定义的互相关C的值。
相位相关C’是经常使用的另一匹配滤波方法,并且由下式定义:
Figure C200480015145000714
也就是,不是使用图像I1(x,y)和I2(x,y)的离散傅立叶变换
Figure C200480015145000715
而是仅使用图像的离散傅立叶变换的复相位部分。如果图像I1(x,y)和I2(x,y)通过平移偏量(Δx,Δy)而关联,则相位相关C’将在关联两个图像I1(x,y)和I2(x,y)的平移坐标(Δx,Δy)处具有非常明显的峰值,并且在相位相关C’中的其它地方具有较小的值。
尽管当两个图像I1(x,y)和I2(x,y)仅通过平移而关联时使用匹配滤波,但是当两个图像I1(x,y)和I2(x,y)通过旋转和缩放变换而关联,使得图像I2(x,y)是图像I1(x,y)的旋转和缩放型式时,也就是:
I2(x,y)=I1(s(xcosθ+ysinθ),s(-xsinθ+ycosθ)),      (8)
其中s是缩放因子并且θ是旋转角度,可以通过下式将图像I1(x,y)和I2(x,y)变换成对数极坐标空间来确定未知的旋转θ和缩放s参数:
ρ = 1 2 log ( x 2 + y 2 ) - - - ( 9 )
φ = tan - 1 y x
上面的变换将导出如下的对数极坐标空间中图像I1(x,y)和I2(x,y)之间的关系:
I2(ρ,φ)=I1(ρ+logs,φ+θ),    (10)
然后,可以使用上述匹配滤波方法,从而根据在坐标(log,θ)处的相关C中的峰值来确定缩放和旋转参数s和θ。
图像配准还经常应用于这样一对图像I1(x,y)和I2(x,y),其中像素元素之间的对应关系不是诸如平移或旋转和缩放的简单变换。可能需要配准两个图像I1(x,y)和I2(x,y),这两个图像使用不同的成像设备而捕获,或者使用相同的成像设备但是其中每个图像使用该成像设备的不同配置而捕获。在这种情况下,变换包括平移、旋转和缩放。
考虑通过平移以及旋转和缩放而关联的两个图像I1(x,y)和I2(x,y),从而:
I2(x,y)=I1(s(xcosθ+ysinθ)+Δx,s(-xsinθ+ycosθ)+Δy)(11)
当变换参数使得显著减少两个图像之间的重叠时,现有的配准通过平移、旋转和缩放而关联的图像的方法在很多种类的图像上具有较差的信噪比。此外,现有方法包含180度歧义,这将导致计算低效。这种歧义是实函数的傅立叶幅值为对称这一事实的结果。
发明内容
本发明的目的是基本上克服或至少减轻现有方案的一个或多个缺点。
根据本公开内容的第一方面,提供了一种至少确定关联两个图像的变换的旋转和缩放参数的方法,所述方法包括以下步骤:
形成每个所述图像的空间域表达式(representation),其对于所述图像的平移是不变的;
在所述表达式之间进行傅立叶-梅林相关;
检测所述相关中的幅值峰值;以及
根据所述幅值峰值的位置来确定所述旋转和缩放参数。
根据本公开内容的第二方面,提供了一种用于至少确定关联两个图像的变换的旋转和缩放参数的方法,所述方法包括以下步骤:
通过对所述图像应用算子(operator)而形成每个所述图像的多路函数,所述算子在一常量内对于旋转和缩放是可交换的。
形成每个所述多路函数的表达式,其对于所述多路函数的平移是不变的;
在所述表达式之间进行傅立叶-梅林相关;
检测所述相关中的幅值峰值;以及
根据所述幅值峰值的位置来确定所述旋转和缩放参数。
根据本公开内容的另一方面,提供了一种用于实现任何一种上述方法的装置。
根据本公开内容的另一方面,提供了一种计算机程序产品,其包括在其上记录了计算机程序的计算机可读介质,该计算机程序用于实现任何一种上述方法。
还公开了本发明的其它方面。
附图说明
现在参考附图对本发明的一个或多个实施例进行描述,其中:
图1是根据本发明实施例的确定关联两个图像的变换的方法的流程图,其中该变换包括旋转、缩放和平移;
图2是可以在其上实施所述方案的通用计算机的示意性方框图;
图3示出了确定关联两个图像的旋转和缩放参数且在图1所示的方法中执行的步骤的更详细的流程图;
图4示出了确定关联两个图像的平移参数且在图1所示的方法中执行的步骤的更详细的流程图;
图5和6示出了从具有实值的图像形成复图像的可选实现的更详细的流程图,并且是图3中的步骤的子步骤;
图7示出了形成在空间域中是平移不变的复图像之一的表达式的更详细的流程图,并且是图3中的步骤的子步骤;以及
图8示出了在图3的步骤中执行的执行傅立叶-梅林相关的更详细的流程图。
具体实施方式
在任何一个或多个附图中引用具有相同标号的步骤和/或特征的情况下,除非出现相反的含义,否则为描述起见,这些步骤和/或特征具有相同的功能或操作。
应当注意,包含在“背景技术”部分中的涉及现有图像配准方法的讨论不应当被理解为本发明人或专利申请人的陈述,其中这些方法无论如何都形成本技术领域的一般常识的一部分。
图1是根据本发明实施例的确定关联两个图像的变换的方法200的流程图,其中该变换包括旋转、缩放和平移。确定关联两个图像的变换的方法200优选地使用如图2所示的通用计算机系统100来实施,其中,图1的方法可以作为在计算机系统100内执行的软件如应用程序来实现。具体地说,由计算机系统100执行的软件中的指令来实现确定关联两个图像的变换的方法200的步骤。例如,该软件可以存储在包括下述存储设备的计算机可读介质中。从计算机可读介质将该软件装载到计算机系统100中,然后由计算机系统100执行。具有这种记录在其上的软件或计算机程序的计算机可读介质为计算机程序产品。在计算机系统100中使用计算机程序优选地实现一种有利的用于确定关联两个图像的变换的装置。
计算机系统100由计算机模块101、诸如键盘102和鼠标103的输入设备、包括打印机115和显示设备114的输出设备形成。调制解调器(Modem)收发器设备116由计算机模块101用于与例如通过电话线121或其它功能介质可连接的通信网络120来回通信。调制解调器116可以用来获得对因特网和其它网络系统如局域网(LAN)和广域网(WAN)的访问,并且在一些实现中可以并入到计算机模块101中。
计算机模块101典型地包括至少一个处理器单元105、以及例如由半导体随机存取存储器(RAM)和只读存储器(ROM)形成的存储器单元106。模块101还包括多个输入/输出(I/O)接口,其包括耦接到视频显示器114的视频接口107、用于键盘102和鼠标103的I/O接口113,以及用于调制解调器116和打印机115的接口108。提供了存储设备109,并且其典型地包括硬盘驱动器110和软盘驱动器111。典型地提供了CD-ROM驱动器112作为非易失性数据源。计算机模块101的组件105到113典型地通过互连总线104并且以导致相关领域技术人员所公知的计算机系统100的传统操作模式的方式进行通信。
典型地,应用程序驻留在硬盘驱动器110上,并且在执行其时由处理器105读取和控制。从网络120取出的程序和任何数据的中间存储可以使用半导体存储器106来实现,其中半导体存储器106可能与硬盘驱动器110协同工作。在某些情况下,可以将应用程序编码到CD-ROM或软盘上来提供给用户,并通过对应的驱动器112或111来读取它,或者可选地可以由用户通过调制解调器设备116从网络120来读取它。在此所使用的术语“计算机可读介质”是指参与向计算机系统100提供指令和/或数据以便执行和/或处理的任何存储或传输介质。
本发明还隐式公开了一种计算机程序,这是因为本领域的技术人员应当清楚,在此所描述的优选方法100的各个步骤能够通过计算机代码来实施。
公开了一种用于确定关联两个图像I1(x,y)和I2(x,y)的变换的方法,其中假定这两个图像通过旋转、缩放和平移而关联,从而:
I2(x,y)=I1(s(xcosθ+ysinθ)+Δx,s(-xsinθ+ycosθ)+Δy)(12)
其中,s是缩放因子,θ是旋转角度,并且(Δx,Δy)是平移。该方法包括两个阶段-第一阶段确定未知的缩放和旋转变换,其中在旋转角度θ中具有180度歧义;以及第二阶段确定平移(Δx,Δy)并且解决角度歧义。通过下式将经过缩放、旋转和偏移的图像I2(x,y)的傅立叶变换与另一图像I1(x,y)而关联:
Figure C20048001514500121
在第一阶段中,通过取傅立叶变换
Figure C20048001514500122
的幅值,形成图像的平移不变式,
Figure C20048001514500123
平移不变式与图像的平移(Δx,Δy)无关。对傅立叶幅值执行对数极坐标变换导出如下的两个图像的傅立叶幅值之间的简单线性关系:
Figure C20048001514500124
两个图像的傅立叶幅值的对数极坐标再采样之间的相关在logs和θ
Figure C20048001514500125
处包含峰值,从而允许确定关联两个图像I1(x,y)和I2(x,y)的未知的缩放s和旋转角度θ参数,其中旋转角度θ具有180度歧义。该歧义是实函数的傅立叶幅值为对称这一事实的结果。
通过对第二图像I2(x,y)撤消(undo)现在已知的针对可能旋转角度θ的缩放和旋转转换,以产生局部配准图像,开始确定关联两个图像I1(x,y)和I2(x,y)的变换的方法的第二阶段。然后,将局部配准图像与第一图像I1(x,y)相关,以确定两个图像I1(x,y)和I2(x,y)之间的未知平移(Δx,Δy)。将给出局部配准图像与第一图像I1(x,y)之间的最佳空间相关的旋转角度θ视为正确的旋转角度θ。现在,关联两个图像I1(x,y)和I2(x,y)的全部变换都是已知的。
回到图1,其中示出了根据本发明的确定关联两个图像I1(x,y)和I2(x,y)的变换的方法200的流程图。在步骤205,方法200接收两个图像I1(x,y)和I2(x,y)作为输入。假定图像I1(x,y)和I2(x,y)在图像内容上具有相当大的重叠。图像I1(x,y)和I2(x,y)是具有实值的函数,这些实值典型地由0到预定最大值之间的值的数组表示,其中预定最大值通常为1到255。在步骤205,典型地从存储设备109(图2)检索图像I1(x,y)和I2(x,y)。然而,也可以从网络120或从连接到计算机系统100的成像设备(未示出)接收图像I1(x,y)和I2(x,y)。
下一步,在步骤210和270执行图像配准。具体地说,在步骤210确定关联两个图像I1(x,y)和I2(x,y)的旋转和缩放参数,分别为θ和s,并且在步骤270确定平移(Δx,Δy)。方法200在步骤290结束,其中向显示设备114产生包含两个基本上对齐的图像I1″(x,y)和I2(x,y)的输出。可选地,在显示设备114上输出缩放因子s、旋转角度θ和平移(Δx,Δy)。
图3示出了步骤210(图1)的更详细流程图,其中确定关联两个图像I1(x,y)和I2(x,y)的旋转和缩放参数,分别为θ和s。优选实现的步骤210从子步骤212开始,其中处理器105(图2)从图像I1(x,y)和I2(x,y)形成多路函数。在优选实现中,处理器105从图像I1(x,y)和I2(x,y)形成复图像
Figure C20048001514500134
Figure C20048001514500135
使得当对每个复图像 进行傅立叶变换时,生成具有非对称傅立叶幅值的非Herimitian结果。因此,使用复图像
Figure C20048001514500137
作为下面傅立叶-梅林相关的输入,消除否则将存在的180度歧义。
通过对图像I1(x,y)和I2(x,y)应用算子γ{}来形成复图像
Figure C20048001514500138
Figure C20048001514500139
其中算子γ{}对于旋转和缩放在一常量内是可交换的,也就是:
Tβ,s[γ{f(x,y)}]=g(β,s)γ{Tβ,s[f(x,y)]};    (16)
其中β和s是旋转和缩放因子,Tβ,s是旋转-缩放变换,并且g是旋转β和缩放s的某一函数。
算子γ{}的例子包括:
γ{f(x,y)}=f(x,y)+if2(x,y);                       (17)
γ { f ( x , y ) } = ∂ f ∂ x + i ∂ f ∂ y ; 以及                                                       (18)
γ { f ( x , y ) } = ( ∂ f ∂ x + i ∂ f ∂ y ) 2 .
下面参照图5和6描述从图像In(x,y)形成复图像
Figure C200480015145001312
的优选步骤。
在子步骤214,由处理器105逐一地处理在子步骤212形成的多路函数,其在优选实现中为复图像
Figure C200480015145001313
Figure C200480015145001314
以形成两个复图像
Figure C20048001514500142
中的每个的表达式T1(x,y)和T2(x,y),其中T1(x,y)和T2(x,y)在空间域中是平移不变的。应当理解,图像的平移导致图像的裁剪。因为裁剪引入独立于由平移引入的改变的图像改变,所以平移不变意味着基本上平移不变。
子步骤214之后是步骤216,其中处理器105对两个复图像
Figure C20048001514500143
的表达式T1(x,y)和T2(x,y)执行傅立叶-梅林相关,从而产生相位相关图像,其中可能的关联输入图像I1(x,y)和I2(x,y)的旋转和缩放由孤立峰值表示。下面参照图8更详细地描述傅立叶-梅林相关。
因为表达式T1(x,y)和T2(x,y)在空间域中是平移不变的,所以傅立叶-梅林相关对通过大范围的平移、旋转和缩放因子而关联的图像I1(x,y)和I2(x,y)产生较好的结果。这样的较好结果典型地包括针对通过旋转、缩放和平移而关联的图像的增大匹配过滤信噪比、以及没有通过旋转、缩放和平移而关联的图像之间的增强区别。
方法200继续到子步骤218,其中处理器105在相位相关图像内检测幅值峰值的位置。通过二次项拟合对幅值峰值的位置进行插值,从而检测达到子像素准确度的幅值峰值位置。
然后,在子步骤220,处理器105确定所检测的幅值峰值是否具有大于预定阈值的信噪比。在优选实现中所使用的阈值为1.5。
如果确定了幅值峰值具有大于预定阈值的信噪比,则在子步骤222,处理器105使用幅值峰值的位置来确定关联两个图像I1(x,y)和I2(x,y)的缩放s和旋转角度θ参数。如果幅值峰值位于(ζ,α),则关联两个图像I1(x,y)和I2(x,y)的缩放s和旋转角度θ参数为:
s=e-αξ,以及                                    (20)
θ = - 2 πα Q . - - - ( 21 )
其中,α和Q是与下面参照图8描述的傅立叶-梅林相关的对数极坐标再采样步骤630关联的常量。
如果在子步骤220确定了峰值具有不大于预定阈值的信噪比,则断定图像I1(x,y)和I2(x,y)不关联,并且方法200在子步骤250结束。
图4示出了步骤270(图1)的更详细的流程图,其中确定关联两个图像I1(x,y)和I2(x,y)的平移(Δx,Δy)。在子步骤280,对图像I1(x,y)执行在子步骤222(图3)确定的旋转和缩放变换,从而撤销这些变换以形成图像I1′(x,y)。可选地,可以对复图像 执行这些变换。然后,在子步骤282,使用相位相关对经过旋转和缩放的变换图像I1′(x,y)和原始图像I2(x,y)进行相关,以产生另一个相关图像。这个相关图像中的幅值峰值位置一般将与关联图像I1(x,y)和I2(x,y)的平移(Δx,Δy)相对应。从而,在子步骤284,处理器105在相关图像内检测幅值峰值的位置。
然后,在子步骤286,处理器105使用幅值峰值的位置确定关联两个图像I1′(x,y)和I2(x,y)的平移参数(Δx,Δy)。相同的平移参数(Δx,Δy)也关联原始的两个图像I1(x,y)和I2(x,y)。如果幅值峰值位于位置(x0,y0),则平移(Δx,Δy)为(-x0,-y0)。这样,在子步骤222已经确定了未知的缩放s和旋转角度θ参数,并且在子步骤286已经确定了未知的平移参数(Δx,Δy)。将这些参数传递到步骤290(图1),以便产生输出。
图5示出了子步骤212(图3)的第一实现的更详细的流程图,其中从图像In(x,y)形成复图像
Figure C20048001514500153
在子步骤320,由处理器105将图像In(x,y)与复核函数k进行卷积。该卷积可以在空间域中或者通过在傅立叶域中相乘的标准技术执行。在子步骤320使用的复核函数k是具有如下傅立叶变换
Figure C20048001514500154
的复核函数:
K ( u , v ) = u + iv | u + iv | . - - - ( 22 )
可以在子步骤320使用的可选复核函数k’为具有如下傅立叶变换的复核函数:
K′(u,v)=u+iv。                                  (23)
在子步骤330规格化卷积结果((I*K),其中*表示卷积),以便具有单位幅值,
Γ = I * k | I * k | , - - - ( 24 )
最后,在子步骤340,将卷积Γ的规格化结果与原始图像In(x,y)相乘,以形成复图像
Figure C20048001514500161
复图像 具有与原始图像In(x,y)相同的幅值,但是复图像
Figure C20048001514500163
中的每个点具有在子步骤320通过卷积而生成的关联相位。对于在方程式(22)和(23)中给出的核k和k’,关联相位对与图像In(x,y)的梯度方向关联的量进行编码。
图6示出了子步骤212(图3)的第二(可选)实现的更详细的流程图,其中从图像In(x,y)形成复图像
Figure C20048001514500164
在子步骤420,处理器105对图像In(x,y)应用非线性算子,以产生复图像。在子步骤420应用的非线性算子是能量算子,其可以由下式描述:
E[I]=ID2I-(DI)2,                                     (25)
其中,D是导数算子
D = ∂ ∂ x + i ∂ ∂ y . - - - ( 26 )
可以在子步骤420应用以产生复图像的可选非线性算子是幺模能量算子:
E′[I]=ID′2I-(D′I)2,                               (27)
其中,D′是幺模导数算子。幺模导数算子D′可以如下被描述为傅立叶域中的运算:
Figure C20048001514500166
优选地,在子步骤420之后的子步骤430中,将应用到图像In(x,y)的非线性算子的结果规格化成单位模量,并且在子步骤440,用原始图像In(x,y)乘以该规格化的结果,以形成复图像
Figure C20048001514500167
可选地,应用到图像In(x,y)的非线性算子的结果,即子步骤420的输出可以用作复图像
Figure C20048001514500168
图7示出了在子步骤214(图3)执行的形成复图像
Figure C20048001514500169
之一的表达式Tn(x,y)的更详细的流程图,其中表达式Tn(x,y)在空间域中是平移不变的。子步骤214接收在子步骤212形成的复图像
Figure C200480015145001610
作为输入。首先,在子步骤520,由处理器105使用FFT对每个复图像
Figure C200480015145001611
进行傅立叶变换,从而产生由复值组成的图像。在子步骤530,将该图像分成两个独立图像,它们是包含傅立叶变换的复合值的幅值的幅值图像和包含傅立叶变换的复合值的相位的相位图像。在子步骤560,对幅值函数应用一函数,其中该函数在一常量内对于旋转和缩放是可交换的。在优选实现中,将幅值图像乘以斜坡函数,以执行幅值图像的高通滤波。在子步骤570,对相位图像应用一算子,以获得相位的第二阶或更高阶导数,其是平移不变式。在优选实现中,使用拉普拉斯算子。
子步骤214继续到子步骤580,其中通过下式组合从子步骤560产生的修改后的幅值图像、以及从子步骤570产生的对相位图像取拉普拉斯算子的结果:
|F|+iA2                                     (29)
其中,|F|是复图像
Figure C20048001514500171
的傅立叶变换的修改幅值,2是傅立叶变换的相位图像的拉普拉斯算子,并且A是被设成下式的缩放常量:
A=max(|F|)/π。                                 (30)
缩放常量A确保了重新组合的傅立叶幅值和相位信息具有大致相等的幅值。
然后,在子步骤590,对修改后的幅值图像和对相位图像取拉普拉斯算子的结果的组合结果进行傅立叶逆变换,从而产生在空间域中是平移不变的表达式Tn(x,y)。
可以使用傅立叶幅值和相位的其它平移不变式来代替子步骤560和580,例如:
傅立叶幅值的平方模量;
傅立叶幅值的对数;
傅立叶变换的对数的拉普拉斯算子;或者
诸如以下的算子
( ( ∂ 2 ∂ u 2 + ∂ 2 ∂ v 2 ) + i ( ∂ 2 ∂ u ∂ v - ∂ 2 ∂ v ∂ u ) ) ( log F ) - - - ( 31 )
( ( ∂ 2 ∂ u 2 + ∂ 2 ∂ v 2 ) + i ( ∂ 2 ∂ u ∂ v - ∂ 2 ∂ v ∂ u ) ) ( log F ) - - - ( 32 )
其中复数对数被定义为
logF=log|F|+i                                      (33)
优选地,平移不变式没有关于旋转的180°歧义。除了傅立叶幅值的平方模量之外,这对于上面列出的所有其它平移不变式都成立。
图8示出了在子步骤216对在空间域中是平移不变的表达式T1(x,y)和T2(x,y)执行傅立叶-梅林相关的子步骤的更详细流程图。在子步骤630,将每个表达式T1(x,y)和T2(x,y)再采样到对数极坐标域。为了再采样到对数极坐标域,需要在对数极坐标域内指定分辨率。如果原始图像I1(x,y)和I2(x,y)为N像素宽且M像素高,因此x坐标在0到N-1之间变化,而y坐标在0到M-1之间变化,则在空间域中是平移不变的表达式T1(x,y)和T2(x,y)的中心位于(cx,cy)=(floor(N/2),floor(M/2))。相对于该中心执行在对数极坐标空间中对具有尺寸P像素×Q像素的图像的对数极坐标再采样。为了在原点处避免奇点,需要忽略围绕表达式T1(x,y)和T2(x,y)的中心的半径rmin像素的圆盘(disc)。在忽略该圆盘的时候,通过如下在点(x,y)处对平移不变图像进行插值来确定对数极坐标平面中的点(x,y):
x = c x + cos 2 πj Q r min e ai - - - ( 34 )
y = c y + sin 2 πj Q r min e ai
其中
a = log r max / r min P - 1 - - - ( 35 )
并且
rmax=max{M/2,N/2}                                  (36)
表示对数极坐标图像所扩展的空间域中的最大半径。常量rmin、P和Q的通常值是:
P=Q=(M+N)/2,以及                                  (37)
rmin =5。                                           (38)
在子步骤640,处理器105对每一个再采样表达式T1(x,y)和T2(x,y)执行傅立叶变换。子步骤640之后是子步骤650,其中处理器105对第二再采样表达式T2(x,y)执行复共轭。然后,在子步骤660规格化傅立叶变换,从而通过将每个傅立叶变换的每个复元素除以复元素的幅值而使每一个具有单位幅值。然后,在子步骤670相乘规格化傅立叶变换,然后在子步骤680对相乘结果进行傅立叶逆变换。相位相关图像产生。
上面描述了本公开内容的优选实现,并且应当理解,在不脱离本公开内容的精神和范围的情况下可以对其进行多种改变和/或改变。具体地说,可以忽略形成多路函数的子步骤212(图3),同时仍然保留形成在空间域中对于平移是不变的表达式的子步骤214。
按照仅具有一个分量的图像I1(x,y)和I2(x,y)上的操作描述了方法200。也可以使用方法200相互配准多分量图像如彩色图像和来自多频谱设备的图像。这可以如下实现:通过这些分量的某代数组合从每个多分量图像形成单分量图像,并且配准这样产生的两个单分量图像I1(x,y)和I2(x,y)。可选地,它可以如下实现:分别配准第一多分量图像的每个分量与另一个多分量图像的每个分量。
在本说明书的上下文中,词汇“包括(comprising)”意味着“主要包含但不一定仅仅包含”或者“具有”或者“包含(including)”,而不是“仅仅由...组成”。词汇“comprising”的变体,例如“comprise”和“comprises”具有对应变化的含义。

Claims (17)

1.一种至少确定关联两个图像的变换的旋转和缩放参数的方法,所述方法包括以下步骤:
形成每个所述图像的空间域表达式,其对于所述图像的平移是不变的;
在所述表达式之间执行对数极坐标域中的相关;
检测所述相关中的幅值峰值;以及
根据所述幅值峰值的位置来确定所述旋转和缩放参数,
其中,所述形成步骤针对每个所述图像包括以下子步骤:
执行所述图像的傅立叶变换,以形成傅立叶变换图像;
对所述傅立叶变换图像执行一函数以形成更改的傅立叶变换图像,所述函数在一常量内对于旋转和缩放是可交换的;以及
对所述更改的傅立叶变换图像执行傅立叶逆变换以形成所述空间域表达式。
2.如权利要求1所述的方法,其中,为了形成更改的傅立叶变换图像对所述傅立叶变换图像执行的所述函数在所述傅立叶变换图像的幅值分量上执行,以形成更改的傅立叶变换图像。
3.如权利要求1所述的方法,其中对所述傅立叶变换图像执行所述函数以形成更改的傅立叶变换图像的步骤包括以下子步骤:
对所述傅立叶变换图像的幅值分量执行所述函数,以形成更改的傅立叶幅值图像;
获得所述傅立叶变换图像的相位分量的第二阶或更高阶导数,以形成更改的傅立叶相位图像;以及
组合所述更改的傅立叶幅值图像和更改的傅立叶相位图像,以形成所述更改的傅立叶变换图像。
4.如权利要求3所述的方法,其中通过对所述傅立叶变换图像的所述相位分量应用拉普拉斯算子而形成所述更改的傅立叶相位图像。
5.如权利要求3或4所述的方法,其中通过使用所述更改的傅立叶幅值图像作为所述更改的傅立叶变换图像的实部,并且使用所述更改的傅立叶相位图像作为所述更改的傅立叶变换图像的虚部,组合所述更改的傅立叶幅值图像和所述更改的傅立叶相位图像。
6.一种至少确定关联两个图像的变换的旋转和缩放参数的方法,所述方法包括以下步骤:
通过对所述图像应用算子而形成每个所述图像的多路函数,所述算子在一常量内对于旋转和缩放是可交换的;
形成每个所述多路函数的表达式,其对于所述多路函数的平移是不变的;
在所述表达式之间执行对数极坐标域中的相关;
检测所述相关中的幅值峰值;以及
根据所述幅值峰值的位置来确定所述旋转和缩放参数。
7.如权利要求6所述的方法,其中形成所述多路函数的步骤针对每个所述图像包括以下子步骤:
将所述图像与复核函数进行卷积;以及
用卷积步骤的结果乘以所述图像,其中所述复核函数具有以下傅立叶变换:
K ( u , v ) = u + iv | u + iv | .
8.如权利要求6所述的方法,其中形成所述多路函数的步骤针对每个图像包括以下子步骤:
将所述图像与复核函数进行卷积;以及
用卷积步骤的结果乘以所述图像,其中所述复核函数具有以下傅立叶变换:
K(u,v)=u+iv。
9.如权利要求6所述的方法,其中形成所述多路函数的步骤针对每个图像包括以下子步骤:
对所述图像应用能量算子,以形成所述多路函数,其中所述能量算子被描述成:
E[I]=ID2I-(DI)2
其中D是导数算子。
10.如权利要求6所述的方法,其中形成所述多路函数的步骤针对每个图像包括以下子步骤,:
对所述图像应用幺模能量算子,以形成所述多路函数,其中所述幺模能量算子被描述成:
E′[I]=ID′2I-(D′I)2
其中D′是幺模导数算子。
11.如权利要求9或10所述的方法,其中形成所述多路函数的步骤还包括以下子步骤:
规格化应用步骤的结果。
12.如权利要求9或10所述的方法,其中形成所述多路函数的步骤还包括以下子步骤:
用应用步骤的结果乘以所述图像。
13.如权利要求9或10所述的方法,其中形成所述多路函数的步骤还包括以下子步骤:
规格化应用步骤的结果;以及
用规格化步骤的结果乘以所述图像。
14.如权利要求6到13中的任一项所述的方法,其中所述表达式是在空间域中。
15.如权利要求1到14中的任一项所述的方法,其中所述相关是傅立叶-梅林相关。
16.一种用于至少确定关联两个图像的变换的旋转和缩放参数的装置,所述装置包括:
用于形成每个所述图像的空间域表达式的部件,其中所述空间域表达式对于所述图像的平移是不变的;
用于在所述表达式之间执行对数极坐标域中的相关的部件;
用于检测所述相关中的幅值峰值的部件;以及
用于根据所述幅值峰值的位置来确定所述旋转和缩放参数的部件,
其中,所述形成部件针对每个所述图像包括以下部件:
用于执行所述图像的傅立叶变换,以形成傅立叶变换图像的部件;
用于对所述傅立叶变换图像执行一函数以形成更改的傅立叶变换图像的部件,所述函数在一常量内对于旋转和缩放是可交换的;以及
用于对所述更改的傅立叶变换图像执行傅立叶逆变换以形成所述空间域表达式的部件。
17.一种用于至少确定关联两个图像的变换的旋转和缩放参数的装置,所述装置包括:
用于通过对所述图像应用算子而形成每个所述图像的多路函数的部件,所述算子在一常量内对于旋转和缩放是可交换的;
用于形成每个所述多路函数的表达式的部件,所述表达式对于所述多路函数的平移是不变的;
用于在所述表达式之间执行对数极坐标域中的相关的部件;
用于检测所述相关中的幅值峰值的部件;以及
用于根据所述幅值峰值的位置来确定所述旋转和缩放参数的部件。
CNB2004800151453A 2003-07-08 2004-07-02 图像配准方法改进 Expired - Fee Related CN100354893C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
AU2003903511A AU2003903511A0 (en) 2003-07-08 2003-07-08 Image registration method improvement
AU2003903511 2003-07-08

Publications (2)

Publication Number Publication Date
CN1799068A CN1799068A (zh) 2006-07-05
CN100354893C true CN100354893C (zh) 2007-12-12

Family

ID=31983143

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2004800151453A Expired - Fee Related CN100354893C (zh) 2003-07-08 2004-07-02 图像配准方法改进

Country Status (6)

Country Link
US (1) US7853098B2 (zh)
EP (1) EP1646983B1 (zh)
JP (1) JP4217741B2 (zh)
CN (1) CN100354893C (zh)
AU (1) AU2003903511A0 (zh)
WO (1) WO2005004059A1 (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003903511A0 (en) * 2003-07-08 2003-07-24 Canon Kabushiki Kaisha Image registration method improvement
US7539354B2 (en) * 2004-08-25 2009-05-26 Canon Kabushiki Kaisha Image database key generation method
JP4686762B2 (ja) * 2005-06-07 2011-05-25 独立行政法人産業技術総合研究所 三次元形状の位置あわせ方法及びプログラム
JP5111794B2 (ja) * 2005-08-08 2013-01-09 株式会社東芝 紙葉類識別装置、紙葉類識別方法、及び辞書作成方法
AU2007240236A1 (en) * 2007-12-11 2009-06-25 Canon Kabushiki Kaisha Correlatability analysis for sparse alignment
US9628811B2 (en) * 2007-12-17 2017-04-18 Qualcomm Incorporated Adaptive group of pictures (AGOP) structure determination
CN101251926B (zh) * 2008-03-20 2011-08-17 北京航空航天大学 一种基于局部轮廓协方差矩阵的遥感图像配准方法
AU2009202141A1 (en) * 2009-05-29 2010-12-16 Canon Kabushiki Kaisha Phase estimation distortion analysis
CN101882310A (zh) * 2010-06-10 2010-11-10 上海电力学院 数码照片的数字变焦倍数检测方法
CN102075679A (zh) * 2010-11-18 2011-05-25 无锡中星微电子有限公司 一种图像采集方法和装置
US8958659B2 (en) * 2011-12-24 2015-02-17 Ecole De Technologie Superieure Image registration method and system robust to noise
CN103377382A (zh) * 2012-04-27 2013-10-30 通用电气公司 用于图像对准的最佳梯度寻踪
JP6044125B2 (ja) * 2012-06-11 2016-12-14 株式会社リコー 検出装置および多色画像形成装置
US10088658B2 (en) * 2013-03-18 2018-10-02 General Electric Company Referencing in multi-acquisition slide imaging
BR112015018561A2 (pt) 2013-10-18 2017-07-18 Koninklijke Philips Nv dispositivo de processamento de imagens que pode registrar ao menos duas imagens de um objeto, método para o registro de pelo menos duas imagens de um objeto, e, equipamento de imageamento médico
US10198533B2 (en) * 2013-10-22 2019-02-05 Hexagon Technology Center Gmbh Registration of multiple laser scans
CN103839262A (zh) * 2014-02-24 2014-06-04 西安电子科技大学 一种基于直线和fft的sar图像配准方法
JP6433268B2 (ja) * 2014-03-31 2018-12-05 国立大学法人 東京大学 検査システムおよび検査方法
CN105282418B (zh) * 2014-06-25 2019-07-12 株式会社昭特制作所 照相机控制装置以及照相机控制方法
EP3172717A4 (en) * 2014-07-22 2018-01-17 Hewlett-Packard Development Company, L.P. Rapid image registration
KR101562150B1 (ko) 2014-12-23 2015-10-22 연세대학교 산학협력단 멀티 스펙트럼 이미지간 매칭 방법 및 장치
US10339178B2 (en) 2015-06-30 2019-07-02 Samsung Electronics Co., Ltd. Fingerprint recognition method and apparatus
GB2555675B (en) 2016-08-05 2019-05-08 Secr Defence Method and apparatus for generating an enhanced digital image of a physical object or environment
KR20180086087A (ko) 2017-01-20 2018-07-30 삼성전자주식회사 지문 정보 처리 방법
CN107516322B (zh) * 2017-08-11 2020-08-18 浙江大学 一种基于对数极空间的图像物体大小和旋转估计计算方法
US10846824B2 (en) * 2017-12-08 2020-11-24 Tata Consultancy Services Limited Systems and methods for reconstructing super-resolution images under total aliasing based upon translation values
CN111062976B (zh) * 2019-12-25 2023-02-28 中国科学院长春光学精密机械与物理研究所 基于fmt的低轨卫星太阳望远镜遥感图像配准方法
CN112070810B (zh) * 2020-08-31 2024-03-22 安徽爱观视觉科技有限公司 定位方法、可移动设备及计算机可读存储介质
CN112215942B (zh) * 2020-09-14 2024-01-12 中国科学院计算技术研究所 一种冷冻电镜局部断层三维图像重构方法及系统
US11774581B2 (en) 2020-09-15 2023-10-03 Vayyar Imaging Ltd. Systems and methods for imaging a concealed surface
CN112686933B (zh) * 2020-12-29 2024-03-08 中国科学院长春光学精密机械与物理研究所 基于改进互功率谱的星上图像配准叠加增强方法及系统
CN116310806B (zh) * 2023-02-28 2023-08-29 北京理工大学珠海学院 一种基于图像识别的智慧农业一体化管理系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6266452B1 (en) * 1999-03-18 2001-07-24 Nec Research Institute, Inc. Image registration method
US6343143B1 (en) * 1998-04-10 2002-01-29 Commissariat A L'energie Atomique Process for the registration of two different images of the same object
US6373970B1 (en) * 1998-12-29 2002-04-16 General Electric Company Image registration using fourier phase matching

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6424725B1 (en) * 1996-05-16 2002-07-23 Digimarc Corporation Determining transformations of media signals with embedded code signals
US7187810B2 (en) * 1999-12-15 2007-03-06 Medispectra, Inc. Methods and systems for correcting image misalignment
JP2004310243A (ja) 2003-04-03 2004-11-04 Mega Chips Corp Log−Polar変換を用いた画像マッチング方法、システムおよびプログラム
AU2003903511A0 (en) * 2003-07-08 2003-07-24 Canon Kabushiki Kaisha Image registration method improvement
US7349583B2 (en) * 2003-09-05 2008-03-25 The Regents Of The University Of California Global motion estimation image coding and processing
US7539354B2 (en) * 2004-08-25 2009-05-26 Canon Kabushiki Kaisha Image database key generation method
US20060061777A1 (en) * 2004-09-13 2006-03-23 Canon Kabushiki Kaisha Modifying digital documents
EP1647937A1 (en) * 2004-10-15 2006-04-19 Sony Deutschland GmbH Method for motion estimation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6343143B1 (en) * 1998-04-10 2002-01-29 Commissariat A L'energie Atomique Process for the registration of two different images of the same object
US6373970B1 (en) * 1998-12-29 2002-04-16 General Electric Company Image registration using fourier phase matching
US6266452B1 (en) * 1999-03-18 2001-07-24 Nec Research Institute, Inc. Image registration method

Also Published As

Publication number Publication date
JP4217741B2 (ja) 2009-02-04
EP1646983A4 (en) 2010-07-07
US20070122060A1 (en) 2007-05-31
EP1646983A1 (en) 2006-04-19
WO2005004059A1 (en) 2005-01-13
JP2007520762A (ja) 2007-07-26
AU2003903511A0 (en) 2003-07-24
EP1646983B1 (en) 2012-09-12
US7853098B2 (en) 2010-12-14
CN1799068A (zh) 2006-07-05

Similar Documents

Publication Publication Date Title
CN100354893C (zh) 图像配准方法改进
JP3841321B2 (ja) 画像レジストレーション方法
TW529256B (en) Rotation, scale, and translation resilient public watermarking for images
US6219462B1 (en) Method and apparatus for performing global image alignment using any local match measure
Brilakis et al. Shape-based retrieval of construction site photographs
US20090148051A1 (en) Correlatability analysis for sparse alignment
Bigün Pattern recognition in images by symmetries and coordinate transformations
US8208756B2 (en) Alpha-masked RST image registration
Lee et al. Skewed rotation symmetry group detection
Zhong et al. Detection of copy–move forgery using discrete analytical Fourier–Mellin transform
EP2195765B1 (en) Enhanced image identification
Barreiro et al. The discriminating power of wavelets to detect non-Gaussianity in the cosmic microwave background
Vandergheynst et al. Directional dyadic wavelet transforms: Design and algorithms
Goljan et al. Estimation of lens distortion correction from single images
WO2019123917A1 (ja) 画像照合装置
JP4182095B2 (ja) 画像のマッチング・キー生成方法
Leistedt et al. Wavelet reconstruction of E and B modes for CMB polarization and cosmic shear analyses
Lahajnar et al. Rotation-invariant texture classification
Van Ginkel et al. Curvature estimation from orientation fields
JP2000182039A5 (zh)
Alata et al. Choice of a 2-D causal autoregressive texture model using information criteria
JP2007510335A (ja) 画像間のアフィン関係を推定する方法
Li et al. Spherical image inpainting with frame transformation and data-driven prior deep networks
CN113945987A (zh) 病害地质体检测的方法、装置及电子设备
JP3197193B2 (ja) 2次元信号フィルタリング装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20071212

Termination date: 20180702

CF01 Termination of patent right due to non-payment of annual fee