CN109242891A - 一种基于改进光流场模型的图像配准方法 - Google Patents

一种基于改进光流场模型的图像配准方法 Download PDF

Info

Publication number
CN109242891A
CN109242891A CN201810879723.1A CN201810879723A CN109242891A CN 109242891 A CN109242891 A CN 109242891A CN 201810879723 A CN201810879723 A CN 201810879723A CN 109242891 A CN109242891 A CN 109242891A
Authority
CN
China
Prior art keywords
image
optical flow
displacement field
registration
field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810879723.1A
Other languages
English (en)
Other versions
CN109242891B (zh
Inventor
何凯
魏颖
王阳
黄婉蓉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201810879723.1A priority Critical patent/CN109242891B/zh
Publication of CN109242891A publication Critical patent/CN109242891A/zh
Application granted granted Critical
Publication of CN109242891B publication Critical patent/CN109242891B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于改进光流场模型的图像配准方法，所述方法包括以下步骤：构建由数据项、各向异性正则项、非局部平滑项构成的光流场模型的能量函数；通过最小化能量函数求解位移场，对金字塔的每一层图像求位移场，且每一层的位移场作为下一层的初始位移场，直到获得最终的位移场；根据获得的最终位移场，对待配准图像进行变化插值，获得最终的配准图像，实现配准。本发明针对传统光流模型造成的过平滑，细节丢失，精度不足等问题对光流模型进行了改进，以提高非刚性图像配准的精度与鲁棒性。

Description

一种基于改进光流场模型的图像配准方法
技术领域
本发明涉及计算机视觉领域，尤其涉及一种基于改进光流场模型的图像配准方法。
背景技术
图像配准是图像处理领域一个基本又重要的研究课题。图像配准是将不同时间，不同传感器或者不同条件下获取的两幅或多福图像进行匹配，寻找图像间关于空间和灰度的映射关系。图像配准技术是计算机视觉的一项基础任务和技术难点，其应用领域包括：医学图形处理、遥感图像处理、图像融合、图像搜索、机器视觉、目标识别、环境监测、图像拼接、安全监控、以及地理信息系统等。
配准的种类主要包括刚性配准与非刚性配准，其中基于刚性配准的方法现阶段相对已经比较成熟，但许多情况下不能以刚性假定为前提进行相关图像处理，由于其中许多的形变的性质是非刚性、非线性的，为了处理这些广泛存在的情况，需要使用非刚性的配准方法，非刚性配准问题一直是当今图像领域一个研究热点和难点。
基于光流场模型的方法是实现非刚性图像配准的一种典型方法。光流场指的是图像灰度模式的表观运动，它包含了各像素的瞬时运动信息。Horn和Schunck最早提出光流约束方程，给出了光流的基本计算方法。通过求解变分能量函数，能够获得前后两帧图像的运动位移场。Thirion等人将光流方法引入到图像配准中，利用光流计算求得的位移场对待配准图像进行变换，实现配准。
发明内容
本发明的目的是为了克服现有技术中的不足，提出了一种基于改进光流场模型的图像配准方法，针对传统光流模型造成的过平滑，细节丢失，精度不足等问题对光流模型进行了改进，以提高非刚性图像配准的精度与鲁棒性，本发明的目的可通过以下技术方案实现：
一种基于改进光流场模型的图像配准方法，所述方法包括以下步骤：
构建由数据项、各向异性正则项、非局部平滑项构成的光流场模型的能量函数；
通过最小化能量函数求解位移场，对金字塔的每一层图像求位移场，且每一层的位移场作为下一层的初始位移场，直到获得最终的位移场；
根据获得的最终位移场，对待配准图像进行变化插值，获得最终的配准图像，实现配准。
其中，所述各向异性正则项具体为：
式中，αg代表全局平滑因子，αl代表局部平滑因子；是关于图像梯度的单调递减函数；β，k为正常数，可用于控制光流的扩散速率，分别为u,v的梯度。进一步地，所述非局部平滑项具体为：
式中，N∈Ω代表邻域空间，与是像素点(i,j)处的位移场，与是像素点(i,j)邻域的位移场。
其中，所述wi,j,i',j'为权函数：
式中：I(Xi,j)与I(Xi',j')分别为(i,j)与(i',j')处像素点的灰度向量，W(Xi,j)与W(Xi',j')分别为(i,j)与(i',j')处像素点的位移场向量，i′与j′分别为(i,j)处像素点的邻域像素点的横坐标与纵坐标，∝表示成正比。
其中，所述能量函数具体为：
E(W)＝ED(W)+ES(W)+γEnl(W)
式中，ED(W)为数据项，ES(W)为各向异性正则项，Enl(W)是非局部平滑项，γ是非局部平滑项的权重系数。
本发明提供的技术方案的有益效果是：
1)本发明利用新的各项异性正则项来代替传统光流模型中的各向同性正则项，可以有效避免过平滑现象，保护图像的边缘特征；
2)本发明通过在光流场模型中增加一个非局部平滑项，利用领域信息有效去除光流噪点，同时保留了图像的细节特征；
3)本发明通过交替求解获得位移场，利用最终获得的位移场对待配准图像进行矫正实现了图像配准，取得了理想的配准效果，算法具有较强的鲁棒性。
附图说明
图1为一种基于改进光流场模型的图像配准方法的流程图；
图2是医学图像配准结果的示意图；
其中，(a)为参考图像，(b)为待配准图像，(c)为H-S[1]配准结果图，(d)为Brox算法[2]配准结果图，(e)为SIFT Flow(尺度不变特征变换流)算法配准结果图，(f)为本发明的配准结果图。
图3是柔性图像配准结果的示意图；
其中，(a)为参考图像，(b)为待配准图像，(c)为H-S配准结果图，(d)为Brox算法配准结果图，(e)为SIFT Flow算法配准结果图，(f)为本发明的配准结果图。
图4是人脸图像配准结果的示意图。
其中，(a)为参考图像，(b)为待配准图像，(c)为H-S配准结果图，(d)为Brox算法配准结果图，(e)为SIFT Flow算法配准结果图，(f)为本发明的配准结果图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
实施例1
一种基于改进光流场模型的图像配准方法，参见图1，该方法包括以下步骤：
101：构建由数据项、各向异性正则项、非局部平滑项构成的光流场模型的能量函数；
102：通过最小化能量函数求解位移场，对金字塔的每一层图像求位移场，且每一层的位移场作为下一层的初始位移场，直到获得最终的位移场；
103：根据获得的最终位移场，对待配准图像进行变化插值，获得最终的配准图像，实现配准。
综上所述，本发明实施例通过上述步骤101-103，针对传统光流模型造成的过平滑，细节丢失，精度不足等问题对光流模型进行了改进，以提高非刚性图像配准的精度与鲁棒性。
实施例2
下面结合具体的计算公式、实例对实施例1中的方案进行进一步地介绍，详见下文描述：
201：构建光流场模型的能量函数；
传统的光流场模型中的数据项采用平方形式，会放大溢出点的位移估计差，为了增加对溢出点的惩罚力度，采用一个非平方形式的惩罚函数，数据项定义如下：
ED＝∫Ωψ(|I2(X+W)-I1(X)|2)dX (1)
式中，I1和I2为待配准的2幅图像；X＝(x,y)T代表图像空间域Ω中的某点；W＝(u,v)T(u和v分别为光流水平位移与垂直位移)代表图像I1和I2之间的运动位移场。
传统的光流场模型采用各向同性的正则项，光流估计过程中容易造成过平滑现象导致配准过程中出现图像边缘模糊，为了保护边缘，本发明实施例提出一个新的各向异性正则项，定义如下：
式中，αg代表全局平滑因子，αl代表局部平滑因子；是关于图像梯度的单调递减函数。β，k为正常数，可用于控制光流的扩散速率，分别为u,v的梯度。
传统算法在迭代估计位移场时，容易造成误差累积，同时丢失图像细节，为了解决这一问题，在光流场模型基础上增加一个非局部平滑项，利用邻域信息来约束光流场。非局部平滑项Enl(W)定义如下：
式中：N∈Ω代表邻域空间，与是像素点(i,j)处的位移场，与是像素点(i,j)邻域的位移场。wi,j,i',j'为权函数，定义如下：
式中：I(Xi,j)与I(Xi',j')分别为(i,j)与(i',j')处像素点的灰度向量，W(Xi,j)与W(Xi',j')分别为(i,j)与(i',j')处像素点的位移场向量，i′与j′分别为(i,j)处像素点的邻域像素点的横坐标与纵坐标，∝表示成正比。
其中，σ1、σ2以及σ3均为预设值，根据大量实验结果的统计，本发明实施例以σ1＝7，σ2＝7，σ3＝0.5为例进行说明，具体实现时，根据实际应用中的需要进行设定，本发明实施例对此不做限制。
该非局部平滑项能够达到去除噪点的目的，同时由于权函数wi,j,i',j'包含了图像结构信息与光流运动信息能够较好的保留图像的细节信息。
综上所述，本发明实施例中的能量函数定义为：
E(W)＝ED(W)+ES(W)+γEnl(W) (6)
式中，ED(W)为数据项，ES(W)为各向异性正则项，Enl(W)是非局部平滑项，γ是非局部平滑项的权重系数。
202：位移场的求解过程：通过最小化能量函数式(6)求解位移场；
由于直接对式(6)进行求解比较复杂，引入一个辅助光流场添加辅助项后的能量函数定义为：
其中，为辅助光流场；为辅助项。
为了简化求解过程，将上式可分解为2个部分：
首先，固定通过最小化能量函数[3]E1(W)求解W(即公式(8))；然后，保持W，通过最小化能量函数[4] 求解(即公式(9))；最后，通过交替最小化获得光流场W。
其中，上述的最小化能量函数的过程、以及交替最小化的过程，均是本领域技术人员所公知，本发明实施例对此不做赘述。
由于非刚性配准中图像形变严重，会引起像素点漂移，容易出现误匹配，为了解决大位移形变问题，本发明实施例采用由粗到精的金字塔分层迭代策略[2]，对金字塔的每一层图像求位移场(即最小化能量函数的过程就是求解位移场的过程)，且每一层的位移场作为下一层的初始位移场，直到获得最终的位移场。
203：根据获得的最终位移场，对待配准图像进行变化插值，获得最终的配准图像，实现配准。
其中，该步骤203中的对待配准图像进行变化插值，获得最终的配准图像的过程为本领域技术人员所公知，本发明实施例对此不做赘述。
综上所述，本发明实施例通过步骤201-步骤203利用新的各项异性正则项来代替传统光流模型中的各向同性正则项，可以有效避免过平滑现象，保护图像的边缘特征；通过在光流场模型中增加一个非局部平滑项，利用领域信息有效去除光流噪点，同时保留了图像的细节特征。
实施例3
下面结合具体的实例对本发明的技术方案做进一步详细描述。
图2-图4是本方法与传统光流场模型算法的配准结果对比示意图。图2是医学MRI(核磁共振成像)图像配准结果图，从图2可以看出，传统H-S算法对图像有一定的纠正作用，但图像整体边界模糊，存在许多噪点，配准效果不理想；与之相比，Brox算法的配准效果有较大提高，结构保持相对完整，但一些小位移区域的细节部分矫正效果不够理想；SIFTFlow的配准结果存在明显的断点，且由于配准精度无法达到亚像素级而存在明显的块效应；
而本方法由于采用异向正则项，同时引入非局部项，在图像细节保持及配准精度方面明显优于传统算法，配准效果最为理想。
图3是柔性图像配准结果图，从图3可以看出，利用传统H-S算法进行配准，其结果图像在边缘与内部存在严重模糊；Brox算法的配准结果图像在中间区域(如数字‘38’处)存在明显的误匹配；SIFT Flow算法虽然取得了较好的配准效果，但是仍然存在一些断点与块效应，特别是在衣服边缘区域，存在明显的阶梯效应。而本方法则取得了最优配准效果。
图4是人脸图像配准结果图，从图4可以看出，H-S算法的配准图像边界模糊严重；Brox算法虽然取得了不错的整体配准效果，但嘴巴部分矫正效果不佳；SIFT Flow算法结果存在较多误匹配及块效应；而本方法在眉毛，嘴巴，眼睛等细节部位均实现了比较精细的矫正。
表1与表2分别给出了用H-S算法，Brox算法，SIFT算法与本方法实现图像配准后配准结果与参考图像间的峰值信噪比与归一化互信息。从表1-2中可以看出，本方法的峰值信噪比与归一化互信息均高于对比算法，说明本方法取得了最好的配准效果。
表1不同算法的峰值信噪比(dB)对比结果
表2不同算法的归一化互信息对比结果
参考文献
[1]Horn B,Schunck B.Determining optical flow[J].ArtificialIntelligence,1981,17(2):185
[2]Brox T,Bruhn A,Papenberg N,et al.High accuracy optical flowestimation based on a theory for warping[C]//Proceedings of the 2004EuropeanConference on Computer Vision.Berlin,Germany,2004:25-36.
[3]Sun D,Roth S,Black M J.A Quantitative Analysis of CurrentPractices in Optical Flow Estimation and the Principles BehindThem.International Journal of Computer Vision(IJCV),2014,106(2):115.
[4]Li Y,Osher S.A new median formula with applications to PDE baseddenoising[J].Communications in Mathematical Sciences,2009,7(3):741-753.
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于改进光流场模型的图像配准方法，其特征在于，所述方法包括以下步骤：
构建由数据项、各向异性正则项、非局部平滑项构成的光流场模型的能量函数；
通过最小化能量函数求解位移场，对金字塔的每一层图像求位移场，且每一层的位移场作为下一层的初始位移场，直到获得最终的位移场；
根据获得的最终位移场，对待配准图像进行变化插值，获得最终的配准图像，实现配准。
2.根据权利要求1所述的一种基于改进光流场模型的图像配准方法，其特征在于，所述各向异性正则项具体为：
ES＝∫Ω(αg+αl.g(▽I))·ψ(|▽u|2+|▽v|2)dX
g(▽I)＝exp(-β|▽I|k)
式中，αg代表全局平滑因子，αl代表局部平滑因子；g(▽I)是关于图像梯度▽I的单调递减函数；β，k为正常数，可用于控制光流的扩散速率，▽u、▽v分别为u,v的梯度。
3.根据权利要求1所述的一种基于改进光流场模型的图像配准方法，其特征在于，所述非局部平滑项具体为：
式中，N∈Ω代表邻域空间，与是像素点(i,j)处的位移场，与是像素点(i,j)邻域的位移场。
4.根据权利要求3所述的一种基于改进光流场模型的图像配准方法，其特征在于，所述wi,j,i',j'为权函数：
式中：I(Xi,j)与I(Xi',j')分别为(i,j)与(i',j')处像素点的灰度向量，W(Xi,j)与W(Xi',j')分别为(i,j)与(i',j')处像素点的位移场向量，i′与j′分别为(i,j)处像素点的邻域像素点的横坐标与纵坐标，∝表示成正比。
5.根据权利要求1所述的一种基于改进光流场模型的图像配准方法，其特征在于，所述能量函数具体为：
E(W)＝ED(W)+ES(W)+γEnl(W)
式中，ED(W)为数据项，ES(W)为各向异性正则项，Enl(W)是非局部平滑项，γ是非局部平滑项的权重系数。
CN201810879723.1A 2018-08-03 2018-08-03 一种基于改进光流场模型的图像配准方法 Expired - Fee Related CN109242891B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810879723.1A CN109242891B (zh) 2018-08-03 2018-08-03 一种基于改进光流场模型的图像配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810879723.1A CN109242891B (zh) 2018-08-03 2018-08-03 一种基于改进光流场模型的图像配准方法

Publications (2)

Publication Number Publication Date
CN109242891A true CN109242891A (zh) 2019-01-18
CN109242891B CN109242891B (zh) 2020-05-01

Family

ID=65070235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810879723.1A Expired - Fee Related CN109242891B (zh) 2018-08-03 2018-08-03 一种基于改进光流场模型的图像配准方法

Country Status (1)

Country Link
CN (1) CN109242891B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583315A (zh) * 2020-04-23 2020-08-25 武汉卓目科技有限公司 一种新的可见光图像和红外图像配准方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030202701A1 (en) * 2002-03-29 2003-10-30 Jonathon Schuler Method and apparatus for tie-point registration of disparate imaging sensors by matching optical flow
US20080112649A1 (en) * 2006-11-14 2008-05-15 Siemens Corporate Research, Inc. Method and System for Dual Energy Image Registration
CN102034115A (zh) * 2010-12-14 2011-04-27 南方医科大学 基于马尔可夫随机场模型与非局部先验的图像配准方法
CN103871056A (zh) * 2014-03-11 2014-06-18 南京信息工程大学 基于各向异性光流场与去偏移场的脑部mr图像配准方法
CN104680544A (zh) * 2015-03-18 2015-06-03 哈尔滨工程大学 基于3维流场正则化的变分场景流估计方法
CN106056540A (zh) * 2016-07-08 2016-10-26 北京邮电大学 基于鲁棒光流和Zernike不变矩的视频时空超分辨率重建方法
CN108022261A (zh) * 2017-11-01 2018-05-11 天津大学 一种改进的光流场模型算法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030202701A1 (en) * 2002-03-29 2003-10-30 Jonathon Schuler Method and apparatus for tie-point registration of disparate imaging sensors by matching optical flow
US20080112649A1 (en) * 2006-11-14 2008-05-15 Siemens Corporate Research, Inc. Method and System for Dual Energy Image Registration
CN102034115A (zh) * 2010-12-14 2011-04-27 南方医科大学 基于马尔可夫随机场模型与非局部先验的图像配准方法
CN103871056A (zh) * 2014-03-11 2014-06-18 南京信息工程大学 基于各向异性光流场与去偏移场的脑部mr图像配准方法
CN104680544A (zh) * 2015-03-18 2015-06-03 哈尔滨工程大学 基于3维流场正则化的变分场景流估计方法
CN106056540A (zh) * 2016-07-08 2016-10-26 北京邮电大学 基于鲁棒光流和Zernike不变矩的视频时空超分辨率重建方法
CN108022261A (zh) * 2017-11-01 2018-05-11 天津大学 一种改进的光流场模型算法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583315A (zh) * 2020-04-23 2020-08-25 武汉卓目科技有限公司 一种新的可见光图像和红外图像配准方法及装置

Also Published As

Publication number Publication date
CN109242891B (zh) 2020-05-01

Similar Documents

Publication Publication Date Title
CN110428433B (zh) 一种基于局部阈值的Canny边缘检测算法
CN109584282B (zh) 一种基于sift特征与光流模型的非刚性图像配准方法
CN107862706B (zh) 一种基于特征向量的改进光流场模型方法
CN105976330B (zh) 一种嵌入式雾天实时视频稳像方法
Gonçalves et al. HAIRIS: A method for automatic image registration through histogram-based image segmentation
CN111899200B (zh) 一种基于3d滤波的红外图像增强方法
CN103871056B (zh) 基于各向异性光流场与去偏移场的脑部mr图像配准方法
CN110619647B (zh) 基于边缘点频域空域特征结合图像模糊区域定位方法
CN108022261B (zh) 一种基于改进光流场模型的非刚性图像配准方法
CN108280804A (zh) 一种多帧图像超分辨率重建方法
CN110245600B (zh) 自适应起始快速笔画宽度无人机道路检测方法
CN106952292B (zh) 基于6自由度场景流聚类的3d运动目标检测方法
CN109658361A (zh) 一种顾及运动估计误差的运动场景超分辨率重建方法
WO2022233252A1 (zh) 图像处理方法、装置、计算机设备和存储介质
CN105719251A (zh) 一种用于大像移线性模糊的压缩降质图像复原方法
CN109242891B (zh) 一种基于改进光流场模型的图像配准方法
CN104766287A (zh) 一种基于显著性检测的模糊图像盲复原方法
Halder et al. A fast restoration method for atmospheric turbulence degraded images using non-rigid image registration
CN108399629B (zh) 一种人工复眼相机的图像阵列光流估计方法
Yang et al. Hierarchical joint bilateral filtering for depth post-processing
Nieuwenhuizen et al. Dynamic turbulence mitigation with large moving objects
CN109801238B (zh) 一种基于简化大气散射模型的弱光照图像增强方法
CN113362257A (zh) 基于自适应加权边缘检测的全变分图像去噪方法
Zhong et al. Spatially adaptive tensor total variation-tikhonov model for depth image super resolution
Mohan Adaptive super-resolution image reconstruction with lorentzian error norm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200501

Termination date: 20210803

CF01 Termination of patent right due to non-payment of annual fee