CN113610906B - 一种基于融合图像引导的多视差图像序列配准方法 - Google Patents

一种基于融合图像引导的多视差图像序列配准方法 Download PDF

Info

Publication number
CN113610906B
CN113610906B CN202110911123.0A CN202110911123A CN113610906B CN 113610906 B CN113610906 B CN 113610906B CN 202110911123 A CN202110911123 A CN 202110911123A CN 113610906 B CN113610906 B CN 113610906B
Authority
CN
China
Prior art keywords
image sequence
parallax image
registered
fusion
parallax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110911123.0A
Other languages
English (en)
Other versions
CN113610906A (zh
Inventor
闫涛
钱宇华
杜亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanxi University
Original Assignee
Shanxi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanxi University filed Critical Shanxi University
Priority to CN202110911123.0A priority Critical patent/CN113610906B/zh
Publication of CN113610906A publication Critical patent/CN113610906A/zh
Application granted granted Critical
Publication of CN113610906B publication Critical patent/CN113610906B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像配准技术领域，具体涉及一种基于融合图像引导的多视差图像序列配准方法。技术方案包括以下步骤：首先，利用非降采样小波变换对待配准的多视差图像序列的高低频子图进行融合；然后选择融合图像中分布于四角的四个标准特征子图，依次在待配准的多视差图像序列中对应位置设置搜索范围，通过选择搜索范围内相关系数最大值位置得到特征坐标点对；根据特征坐标点对计算每幅图像的拉伸系数；最后将待配准的多视差图像序列中所有位置与对应的拉伸系数相乘得到配准后的多视差图像序列。本发明的方法能够有效克服基准图像中纹理稀疏的问题，可实现多视差图像序列的精确配准。

Description

一种基于融合图像引导的多视差图像序列配准方法
技术领域
本发明属于图像配准技术领域，具体涉及一种基于融合图像引导的多视差图像序列配准方法。
背景技术
传感器技术的迅猛发展，使得图像采集设备的终端尺寸不断趋于微型化与小型化，以手机、智能终端摄像头为代表的图像采集设备在分辨率和图像处理性能方面出现了质的提升。这使得以前需要基于大型图像运算设备计算的三维重建问题得以通过小型计算终端完成，现阶段通常运用小型终端采集多幅视差图像序列实现相关应用场景的三维重建。其中，图像配准作为多视差图像序列三维重建问题的前期处理步骤，其配准精度直接决定重建结果的好坏。然而，多视差图像序列在采集过程中由于受到相机抖动等因素会导致图像序列出现移位，进而导致三维重建结果出现较大偏差。因此，准确高效的多视差图像序列的配准尤为重要。
现有的多视差图像配准的方法主要分为图像特征点变换和多平面分割两类。其中，图像特征点变换的方法通常对多幅视差图像利用统一的特征描述算子(如SIFT、LBP)进行匹配，但这类方法仅适用于视差范围较小的情况，对于距离目标物体较远的视差图像，由于这类图像普遍具有纹理稀疏与图像平滑的特点，这可能导致特征点选择出现困难；多平面分割的方法主要用于克服视差范围较大的情况，通过将视差图像分割为多个区域，视差图像序列间的各区域分别采用不同的单应性矩阵建立关联，但此类方法对分割方法的准确性有较高要求，除此之外，相邻视差图像之间的特征区域可能会随着相机与物体间的距离发生模糊变化，导致特征点匹配的结果出现错误。
综上可知，图像特征点变换和多平面分割均无法直接用于三维重建中多视差图像序列的配准问题，而且这两类匹配方法通常采用首张视差图像作为基准图像，然后对其他视差图像序列进行匹配，假使首张图像中特征稀疏，将导致后续图像序列的匹配出现较大的积累误差。因此，我们认为在多视差图像序列配准过程中，基准图像是保证所有图像序列配准的关键。本专利采用融合图像作为基准图像对所有的多视差图像序列进行配准，确保了多视差图像序列可以实现精确匹配。
发明内容
为克服现有解决方案中不足之处，本发明的目的是提供一种基于融合图像引导的多视差图像序列配准方法。
本发明所采用的技术方案是，一种基于融合图像引导的多视差图像序列配准方法，包括以下步骤：
步骤1，设置非降采样小波变换的最大分解层数为Lmax，滤波器组为‘maxflat’；
步骤2，对待配准的多视差图像序列通过式(1)进行非降采样小波变换得到n幅低频子图/>与n×Lmax幅高频子图/>
其中，Ii为多视差图像序列中第i幅图像，多视差图像序列的总数为n，l表示分解尺度且其取值为1≤l≤Lmax，NSWT表示非降采样小波变换；
步骤3，对步骤2得到的n幅低频子图按照式(2)得到对应的低频融合子图
其中max(·)表示取最大值函数；
步骤4，对步骤2得到的n×Lmax幅高频子图通过式(3)得到对应的高频融合子图集/>
其中abs(·)表示取绝对值函数；
步骤5，对步骤3和步骤4得到的低频融合子图与高频融合子图集/>通过式(4)的非降采样小波变换的反变换得到多视差图像序列/>的融合图像IF，
其中，Inverse NSWT表示非降采样小波变换反变换；
步骤6，选择融合图像IF中处于四角位置的四个矩形区域作为标准特征子图，并在对应的待配准的多视差图像序列/>中相同位置设定标准特征子图的搜索范围其中搜索范围与标准特征子图的关系满足式(5)；
步骤7，设四个标准特征子图的中心坐标为然后将标准特征子图依次在待配准的多视差图像序列/>对应的搜索范围内遍历，并根据式(6)计算出搜索范围内所有的相关系数，选择相关系数最大值作为配准点/>
最终，待配准的多视差图像序列中各图像均得到4个特征坐标点对其中G(·)表示相关系数；
步骤8，将步骤7得到的待配准的多视差图像序列中各图像的4个特征坐标点对根据式(7)依次计算其对应的拉伸系数
步骤9，待配准的多视差图像序列按照步骤8中得到的拉伸系数按照式(8)得到配准后的多视差图像序列/>
与现有技术相比，本发明具有以下优点：
(1)本发明采用多视差图像序列的融合图像作为引导配准的基准图像，可有效的克服基准图像中纹理稀疏和特征点难以选择的问题；
(2)本发明提出的配准方法具有较高的运算效率，可实现多视差图像序列的快速精确匹配，保证了后续三维重建结果的准确性。
附图说明
图1是本发明一种基于融合图像引导的多视差图像序列配准方法的示意图。
具体实施方式
如图1所示，本实施例所述一种基于融合图像引导的多视差图像序列配准方法，包括以下步骤：
步骤1，设置非降采样小波变换的最大分解层数为Lmax，滤波器组为‘maxflat’；
步骤2，对待配准的多视差图像序列通过式(1)进行非降采样小波变换得到n幅低频子图/>与n×Lmax幅高频子图/>
其中，Ii为多视差图像序列中第i幅图像，多视差图像序列的总数为n，l表示分解尺度且其取值为1≤l≤Lmax，NSWT表示非降采样小波变换；
步骤3，对步骤2得到的n幅低频子图按照式(2)得到对应的低频融合子图
其中max(·)表示取最大值函数；
步骤4，对步骤2得到的n×Lmax幅高频子图通过式(3)得到对应的高频融合子图集/>
其中abs(·)表示取绝对值函数；
步骤5，对步骤3和步骤4得到的低频融合子图与高频融合子图集/>通过式(4)的非降采样小波变换的反变换得到多视差图像序列/>的融合图像IF，
其中，Inverse NSWT表示非降采样小波变换反变换；
步骤6，选择融合图像IF中处于四角位置的四个矩形区域作为标准特征子图，并在对应的待配准的多视差图像序列/>中相同位置设定标准特征子图的搜索范围其中搜索范围与标准特征子图的关系满足式(5)；
步骤7，设四个标准特征子图的中心坐标为然后将标准特征子图依次在待配准的多视差图像序列/>对应的搜索范围内遍历，并根据式(6)计算出搜索范围内所有的相关系数，选择相关系数最大值作为配准点/>
最终，待配准的多视差图像序列中各图像均得到4个特征坐标点对其中G(·)表示相关系数；
步骤8，将步骤7得到的待配准的多视差图像序列中各图像的4个特征坐标点对根据式(7)依次计算其对应的拉伸系数
步骤9，待配准的多视差图像序列按照步骤8中得到的拉伸系数按照式(8)得到配准后的多视差图像序列/>

Claims (1)

1.一种基于融合图像引导的多视差图像序列配准方法，其特征是，包括以下步骤：
步骤1，设置非降采样小波变换的最大分解层数为Lmax，滤波器组为‘maxflat’；
步骤2，对待配准的多视差图像序列通过式(1)进行非降采样小波变换得到n幅低频子图/>与n×Lmax幅高频子图/>
其中，Ii为多视差图像序列中第i幅图像，多视差图像序列的总数为n，l表示分解尺度且其取值为1≤l≤Lmax，NSWT表示非降采样小波变换；
步骤3，对步骤2得到的n幅低频子图按照式(2)得到对应的低频融合子图/>
其中max(·)表示取最大值函数；
步骤4，对步骤2得到的n×Lmax幅高频子图通过式(3)得到对应的高频融合子图集/>
其中abs(·)表示取绝对值函数；
步骤5，对步骤3和步骤4得到的低频融合子图与高频融合子图集/>通过式(4)的非降采样小波变换的反变换得到多视差图像序列/>的融合图像IF，
其中，Inverse NSWT表示非降采样小波变换反变换；
步骤6，选择融合图像IF中处于四角位置的四个矩形区域作为标准特征子图，并在对应的待配准的多视差图像序列/>中相同位置设定标准特征子图的搜索范围其中搜索范围与标准特征子图的关系满足式(5)；
步骤7，设四个标准特征子图的中心坐标为然后将标准特征子图依次在待配准的多视差图像序列/>对应的搜索范围内遍历，并根据式(6)计算出搜索范围内所有的相关系数，选择相关系数最大值作为配准点/>
最终，待配准的多视差图像序列中各图像均得到4个特征坐标点对其中G(·)表示相关系数；
步骤8，将步骤7得到的待配准的多视差图像序列中各图像的4个特征坐标点对根据式(7)依次计算其对应的拉伸系数
步骤9，待配准的多视差图像序列按照步骤8中得到的拉伸系数按照式(8)得到配准后的多视差图像序列/>
CN202110911123.0A 2021-08-06 2021-08-06 一种基于融合图像引导的多视差图像序列配准方法 Active CN113610906B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110911123.0A CN113610906B (zh) 2021-08-06 2021-08-06 一种基于融合图像引导的多视差图像序列配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110911123.0A CN113610906B (zh) 2021-08-06 2021-08-06 一种基于融合图像引导的多视差图像序列配准方法

Publications (2)

Publication Number Publication Date
CN113610906A CN113610906A (zh) 2021-11-05
CN113610906B true CN113610906B (zh) 2023-07-18

Family

ID=78307862

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110911123.0A Active CN113610906B (zh) 2021-08-06 2021-08-06 一种基于融合图像引导的多视差图像序列配准方法

Country Status (1)

Country Link
CN (1) CN113610906B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116402806B (zh) * 2023-04-26 2023-11-14 杭州瑞普基因科技有限公司 一种基于组织切片免疫组化图像的三维重建方法、系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009097552A1 (en) * 2008-02-01 2009-08-06 Omnivision Cdm Optics, Inc. Image data fusion systems and methods
CN110097623A (zh) * 2019-04-30 2019-08-06 北京控制工程研究所 一种非同源图像数据信息融合处理方法及系统
CN112308887A (zh) * 2020-09-30 2021-02-02 西北工业大学 一种多源图像序列实时配准方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9948869B2 (en) * 2016-07-04 2018-04-17 Yuan-Ting Fang Image fusion method for multiple lenses and device thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009097552A1 (en) * 2008-02-01 2009-08-06 Omnivision Cdm Optics, Inc. Image data fusion systems and methods
CN110097623A (zh) * 2019-04-30 2019-08-06 北京控制工程研究所 一种非同源图像数据信息融合处理方法及系统
CN112308887A (zh) * 2020-09-30 2021-02-02 西北工业大学 一种多源图像序列实时配准方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于图像片段匹配的立体匹配算法;李迎江;张建伟;钟羽中;伍少梅;;四川大学学报(自然科学版);55(05);955-964 *

Also Published As

Publication number Publication date
CN113610906A (zh) 2021-11-05

Similar Documents

Publication Publication Date Title
CN110310310B (zh) 一种针对航空影像配准的改进方法
CN115205489A (zh) 一种大场景下的三维重建方法、系统及装置
CN109118544B (zh) 基于透视变换的合成孔径成像方法
CN109559273B (zh) 一种面向车底图像的快速拼接方法
CN116664892A (zh) 基于交叉注意与可形变卷积的多时相遥感图像配准方法
CN112946679B (zh) 一种基于人工智能的无人机测绘果冻效应检测方法及系统
CN110136048B (zh) 一种图像配准方法及系统、存储介质及终端
CN115267724B (zh) 一种基于激光雷达可估位姿的移动机器人位置重识别方法
CN113610906B (zh) 一种基于融合图像引导的多视差图像序列配准方法
CN111798453A (zh) 用于无人驾驶辅助定位的点云配准方法及其系统
CN116129146A (zh) 一种基于局部特征一致性的异源图像匹配方法及系统
CN111739071A (zh) 基于初始值的快速迭代配准方法、介质、终端和装置
CN111127353A (zh) 一种基于块配准和匹配的高动态图像去鬼影方法
CN113642397B (zh) 一种基于手机视频的物体长度测量方法
CN111681271B (zh) 一种多通道多光谱相机配准方法、系统及介质
CN114066954A (zh) 一种用于多模态图像的特征提取配准方法
CN106651756B (zh) 一种基于sift和验证机制的图像配准方法
CN114998630B (zh) 一种从粗到精的地对空图像配准方法
CN116681844A (zh) 一种基于亚米级立体像对卫星影像的建筑物白膜构建方法
CN112700504B (zh) 一种多视角远心相机的视差测量方法
Tang et al. An SIFT-Based Fast Image Alignment Algorithm for High-Resolution Image
CN115619637A (zh) 一种可移植到arm端的全景图像自动拼接融合方法
CN115456870A (zh) 基于外参估计的多图像拼接方法
CN107909608A (zh) 基于互信息和局部频谱抑制的运动目标定位方法及装置
CN109242910B (zh) 一种基于任意已知平面形状的单目相机自标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant