CN117152221A - 一种图像非刚性配准方法、系统、设备和存储介质 - Google Patents

一种图像非刚性配准方法、系统、设备和存储介质 Download PDF

Info

Publication number
CN117152221A
CN117152221A CN202311394087.0A CN202311394087A CN117152221A CN 117152221 A CN117152221 A CN 117152221A CN 202311394087 A CN202311394087 A CN 202311394087A CN 117152221 A CN117152221 A CN 117152221A
Authority
CN
China
Prior art keywords
layer
displacement field
patch
offset
seed point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311394087.0A
Other languages
English (en)
Other versions
CN117152221B (zh
Inventor
施陈博
贾宝盾
祝长生
张淳
蒋鑫
张国栋
杨心杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Langbowei Intelligent Technology Co ltd
Shandong University of Science and Technology
Original Assignee
Suzhou Langbowei Intelligent Technology Co ltd
Shandong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Langbowei Intelligent Technology Co ltd, Shandong University of Science and Technology filed Critical Suzhou Langbowei Intelligent Technology Co ltd
Priority to CN202311394087.0A priority Critical patent/CN117152221B/zh
Publication of CN117152221A publication Critical patent/CN117152221A/zh
Application granted granted Critical
Publication of CN117152221B publication Critical patent/CN117152221B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域，具体为一种图像非刚性配准方法、系统、设备和存储介质，该配准方法在模板图像中设置种子点，通过对种子点进行标记后生成自适应补丁，接着根据纹理特征相似度，在测试图像上进行多尺度的块匹配和均衡处理后，先利用中值滤波等手段剔除粗糙位移场中存在明显异常的偏移量，再根据偏移量平滑假设，即相邻像素点的偏移量具有连续性，最后利用变分增强等手段对粗糙位移场进行精化，得到精细位移场后，对测试图像经像素映射处理，使其与模板图像更相似，可有效处理图像间存在的大位移、大形变，使得图像配准精度高，可达到亚像素级的配准精度，为后续高精度缺陷分析提供支持。

Description

一种图像非刚性配准方法、系统、设备和存储介质
技术领域
本发明涉及图像处理技术领域，具体为一种图像非刚性配准方法、系统、设备和存储介质。
背景技术
图像非刚性配准是一种图像处理技术，用于将具有非刚性形变变化的图像进行对齐。相对于刚性配准，非刚性配准更适用于处理具有曲面形变或局部变形的图像，例如医学图像、地理图像等。传统的图像非刚性配准技术主要依赖于基于光流的方法，光流技术可以推测图像中像素的位移，从而可以用于估计图像之间的形变变换。根据光流的估计结果，可以构建一个位移场来描述两幅图像之间的非刚性变形。通过优化算法，可以最小化位移场之间的差异，从而实现图像的非刚性配准。
通过基于光流的非刚性配准方法对连续图像帧进行非刚性配准，可以实现视频压缩、视频分析、高精度缺陷分析等更高级别的任务。当前，基于光流的非刚性配准算法受到基本光流假设的约束——亮度不变假设和小位移假设，使得其无法在大位移、大形变场景下取得较高的配准精度，限制了非刚性算法在实际场景中的应用。
发明内容
本发明提供了一种配准精度高的图像非刚性配准方法、系统、设备和存储介质。
本发明技术方案如下：
一种图像非刚性配准方法，包括如下操作：
S1、获取模板图像的种子点集，所述种子点集经标记处理，得到标记种子点集；
S2、获取所述标记种子点集的自适应补丁集，基于所述自适应补丁集，测试图像经多尺度配准处理，得到粗糙位移场；
所述多尺度匹配处理的操作为：当前层的自适应补丁集在测试图像上进行块匹配，得到当前层的偏移量集，基于所述当前层的偏移量集，得到当前层的位移场和优化搜索半径集，并传递给下一层，所述下一层执行得到位移场、得到优化搜索半径集和传递的操作，直至最后一层，得到所述粗糙位移场；
S3、所述粗糙位移场经滤波处理，得到滤波粗糙位移场；所述滤波粗糙位移场经变分增强处理，得到精细位移场；
S4、基于所述精细位移场，所述测试图像经像素映射处理，得到图像配准结果。
所述S2中多尺度匹配处理的操作具体为：所述模板图像的第L层图层的自适应补丁集，根据纹理特征相似度，在所述测试图像中对应第L层图层进行块匹配，得到第L层测试补丁集；获取所述第L层测试补丁集与第L层自适应补丁集的位置差，得到第L层偏移量集；所述第L层偏移量集经均衡处理，得到第L层位移场；基于所述第L层偏移量集，得到优化搜索半径集，所述优化搜索半径集与第L层位移场向上传递至第L-1层图层，分别作为所述第L-1层图层的初始第L-1层搜索半径集和初始第L-1层偏移量集；基于所述初始第L-1层搜索半径集，执行所述块匹配、获取位置差的操作得到的偏移量集，与所述初始第L-1层偏移量集结合，得到第L-1层偏移量集，所述第L-1层偏移量集执行均衡处理、得到优化搜索半径集和传递的操作，直至顶层，得到所述粗糙位移场。
所述均衡处理的操作具体为：在所述第L层偏移量集的中心至四周的方向上，将所述第L层偏移量集中，所述标记种子点集中不可靠种子点对应的第L层测试补丁集的偏移量替换为，所述不可靠种子点的八邻域范围内可靠种子点对应测试补丁集的偏移量均值，得到所述第L层位移场；当前轮次的不可靠种子点对应的第L层测试补丁集的偏移量经替换后，将所述当前轮次的不可靠种子点更新为可靠种子点，并执行下一轮的替换操作。
所述得到第L-1层偏移量集的操作具体为：获取所述位置差的操作得到的偏移量集，与对应位置所述初始第L-1层偏移量集的和，得到第L-1层偏移量集。
所述S1中标记的操作具体为：获取所述种子点集中的每个种子点的第一尺寸补丁，判断当前第一尺寸补丁的信息熵是否大于第一熵阈值；若大于，则当前第一尺寸补丁对应的种子点为可靠种子点；若不大于，所述当前第一尺寸补丁经扩大尺寸处理，得到第二尺寸补丁；判断所述第二尺寸补丁是否大于第二熵阈值；
若不大于，则当前第二尺寸补丁对应的种子点为可靠种子点；若大于，则当前第二尺寸补丁对应的种子点为不可靠种子点。
所述S3中变分增强处理的操作具体为：根据位移场平滑假设，将所述滤波粗糙位移场中相邻测试补丁之间的位移场偏差值调整至预设范围内，得到亚像素级别的所述精细位移场。
所述S1中获取模板图像的种子点集的操作具体为：获取所述模板图像的尺寸数据，基于所述尺寸数据，在所述模板图像上根据固定步长设置若干个种子点，得到所述种子点集。
一种图像非刚性配准系统，包括：
标记种子点集生成模块，用于获取模板图像的种子点集，所述种子点集经标记处理，得到标记种子点集；
粗糙位移场生成模块，用于获取所述标记种子点集的自适应补丁集，基于所述自适应补丁集，测试图像经多尺度配准处理，得到粗糙位移场；所述多尺度匹配处理的操作为：当前层的自适应补丁集在测试图像上进行块匹配，得到当前层的偏移量集，基于所述当前层的偏移量集，得到当前层的位移场和优化搜索半径集，并传递给下一层，下一层执行得到位移场、得到优化搜索半径集和传递的操作，直至最后一层，得到所述粗糙位移场；
精细位移场生成模块，用于所述粗糙位移场经滤波处理，得到滤波粗糙位移场；所述滤波粗糙位移场经变分增强处理，得到精细位移场；
图像配准结果生成模块，用于基于所述精细位移场，所述测试图像经像素映射处理，得到图像配准结果。
一种图像非刚性配准设备，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现上述的图像非刚性配准方法。
一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现上述的图像非刚性配准方法。
本发明的有益效果在于：
本发明提供的一种图像非刚性配准方法，在模板图像中设置种子点，通过对种子点进行标记后生成自适应补丁，接着根据纹理特征相似度，在测试图像上进行多尺度的块匹配和均衡处理后，先利用中值滤波等手段剔除粗糙位移场中存在明显异常的偏移量，再根据偏移量平滑假设，即相邻像素点的偏移量具有连续性，利用变分增强等手段对粗糙位移场进行精化，得到精细位移场后，对测试图像经像素映射处理，使其与模板图像更相似，可有效处理图像间存在的大位移、大形变，并且能够应对非平面印刷品图案中存在的重复纹理、弱纹理区域；该方法的图像配准精度高，可以达到亚像素级的配准精度，为后续高精度缺陷分析提供支持。
附图说明
通过阅读下文优选实施方式的详细描述，本申请的方案和优点对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。
在附图中：
图1为实施例中配准方法的流程示意图；
图2为实施例中示例1的配准测试效果图，（a）为模板图像，（b）为测试图像，（c）为残差图像；
图3为实施例中示例2的配准测试效果图，（a）为模板图像，（b）为测试图像，（c）为残差图像。
具体实施方式
下面将结合附图更详细地描述本公开的示例性实施方式。
本实施例提供了一种图像非刚性配准方法，参见图1，包括如下操作：
S1、获取模板图像的种子点集，所述种子点集经标记处理，得到标记种子点集；
S2、获取所述标记种子点集的自适应补丁集，基于所述自适应补丁集，测试图像经多尺度配准处理，得到粗糙位移场；
所述多尺度匹配处理的操作为：所述多尺度匹配处理的操作为：当前层的自适应补丁集在测试图像上进行块匹配，得到当前层的偏移量集，基于所述当前层的偏移量集，得到当前层的位移场和优化搜索半径集，并传递给下一层，所述下一层执行得到位移场、得到优化搜索半径集和传递的操作，直至最后一层，得到所述粗糙位移场；
S3、所述粗糙位移场经滤波处理，得到滤波粗糙位移场；所述滤波粗糙位移场经变分增强处理，得到精细位移场；
S4、基于所述精细位移场，所述测试图像经像素映射处理，得到图像配准结果。
对于图像间存在的大位移、大形变，其破坏了光流估计中的小位移假设，因此无法直接使用光流估计的方法来计算精细位移场，通过自适应块匹配可以估计大位移、大形变下的粗糙位移场，为后续精细位移场的获取奠定基础。粗位移场估计流程主要包括以下步骤：
S1、获取模板图像的种子点集，种子点集经标记处理，得到标记种子点集。
获取模板图像的种子点集的操作为：获取模板图像的尺寸数据，基于尺寸数据，在模板图像上根据固定步长（等间距）设置若干个种子点，得到种子点集。标记的操作为：获取种子点集中的每个种子点的第一尺寸补丁，判断当前第一尺寸补丁的信息熵是否大于第一熵阈值；若大于，则当前第一尺寸补丁对应的种子点为可靠种子点；若不大于，当前第一尺寸补丁经扩大尺寸处理，得到第二尺寸补丁；判断第二尺寸补丁是否大于第二熵阈值；若不大于，则当前第二尺寸补丁对应的种子点为可靠种子点；若大于，则当前第二尺寸补丁对应的种子点为不可靠种子点。
由于一次性将补丁的尺寸增大，容易降低信息熵的准确度，所以需要分批这次增大补丁的尺寸去判断种子点是否可靠。具体过程为：首先在模板图像中采用固定步长等间距生成种子点，以当前种子点为中心生成小尺寸的第一尺寸补丁，若其信息熵大于给定第一熵阈值，则判定当前第一尺寸补丁有效，对应种子点为可靠种子点，否则，增加第一尺寸补丁的尺寸至最大为第二尺寸补丁，若此时的信息熵超过第二熵阈值，则判定当前种子点不可靠。
S2、获取标记种子点集的自适应补丁集，基于自适应补丁集，测试图像经多尺度配准处理，得到粗糙位移场；多尺度匹配处理的操作为：当前层的自适应补丁集在测试图像上进行块匹配，得到当前层的偏移量集，基于当前层的偏移量集，得到当前层的位移场和优化搜索半径集，并传递给下一层，下一层执行得到位移场、得到优化搜索半径集和传递的操作，直至最后一层，得到粗糙位移场。
多尺度匹配处理的操作具体为：模板图像的第L层图层的自适应补丁集，根据纹理特征相似度，在测试图像中对应第L层图层进行块匹配，得到第L层测试补丁集；获取第L层测试补丁集与第L层自适应补丁集的位置差，得到第L层偏移量集；第L层偏移量集经均衡处理，得到第L层位移场；基于第L层偏移量集，得到优化搜索半径集，优化搜索半径集与第L层位移场传递至第L-1层图层，分别作为第L-1层图层的初始第L-1层搜索半径集和初始第L-1层偏移量集；基于初始第L-1层搜索半径集，执行块匹配、获取位置差的操作得到的偏移量集，与初始第L-1层偏移量集结合，得到第L-1层偏移量集，第L-1层偏移量集执行均衡处理、优化搜索半径集和传递的操作，直至顶层，得到粗糙位移场。
均衡处理的操作为：在第L层偏移量集的中心至四周的方向上，将第L层偏移量集中，标记种子点集中不可靠种子点对应的第L层测试补丁集的偏移量替换为，不可靠种子点的八邻域范围内可靠种子点对应测试补丁集的偏移量均值，得到第L层位移场；当前轮次的不可靠种子点对应的第L层测试补丁集的偏移量经替换后，将当前轮次的不可靠种子点更新为可靠种子点，并执行下一轮的替换操作。
得到第L-1层偏移量集的操作为：获取位置差的操作得到的偏移量集，与对应位置初始第L-1层偏移量集的和，得到第L-1层偏移量集。
具体为，在每一图层内，首先从模板图像和测试图像的底层图层开始，模板图像的底层图层中的每个底层自适应补丁，根据与测试图像的纹理特征相似度，以及预设搜索半径，在测试图像上找到对应的底层测试补丁，然后获取底层自适应补丁到底层测试补丁的偏移量，对于从模板图像中取出的底层测试补丁，其中心（种子点）的坐标为（x，y），可以在测试图像中寻找到其最佳匹配的底层测试补丁中心坐标为（x1，y1），那么此时底层偏移量可以表示为（x1-x，y1-y）。
接着，在底层偏移量集的中心至四周的方向上，利用形态学操作中的膨胀或腐蚀处理，依次将不可靠种子点对应测试补丁集的偏移量调整为，其八邻域范围内可靠种子点对应测试补丁集的偏移量均值，一旦不可靠种子点对应的对应测试补丁集的偏移量经替换后，则将该不可靠种子点更新标记为可靠种子点，并作为可靠种子点参与后面的偏移量替换操作，实现底层偏移量集中的像素偏移量快速插值，得到底层位移场。
在快速插值完成之后，采用最小覆盖圆策略，利用底层偏移量集，计算优化搜索半径集，并和底层位移场一起向上传递，作为下一层的初始搜索半径集和初始偏移量集。基于下一层的初始搜索半径集，去获得下一层模板图像与测试图像之间的偏移量集，与底层偏移量集进行对应位置数值累加，得到下一层偏移量集，下一层偏移量集继续执行均衡处理和获取搜索半径的操作，得到下一层位移场；如此重复操作，直至顶层图层，得到测试图像的粗糙位移场图像。以多尺度匹配的方式由下到上，由粗（低分辨率的底层图层）到精（高分辨率的顶层图层）的计算偏移量，可得到准确度高的粗糙位移场图像。
获取粗糙位移场后，先根据偏移量平滑假设利用中值滤波等手段剔除存在明显异常的偏移量，再利用变分增强等手段对粗糙位移场进行精化。位移场精化包括如下步骤：
S3、粗糙位移场经滤波处理，得到滤波粗糙位移场；滤波粗糙位移场经变分增强处理，得到精细位移场图像。
首先，通过中值滤波对粗糙位移场进行滤波平滑处理，旨在剔除粗糙位移场中存在明显异常的偏移量；其次，基于位移场平滑假设，即相邻像素点的偏移量具有连续性，将滤波粗糙位移场中相邻测试补丁之间的位移场偏差值调整至预设范围内，得到亚像素级别的精细位移场。
S4、基于精细位移场，所述测试图像经像素映射处理，得到图像配准结果。
根据精细位移场中的数据，以及测试图像与模板图像的空间映射关系，将测试图像与模板图像进行对应位置的像素值相减，得到图像配准结果。也可以理解：基于精细位移场，获得测试图像与模板图像的残差图，得到图像配准结果。
为验证本实施例提供的配准方法的效果，做了如下实验。参见图2（示例1）和图3（示例2）中的模板图像和残差图像，其为利用线扫相机采集的非平面印刷品图像，不同帧的图像之间存在大位移、大形变，残差图像为采用本方法得到的测试结果。
如图2所示，采用本实施例提供的配准方法，残差图像中几乎不存在亮区，可以极好地实现非平面印刷品图像的高精度配准。
如图3所示，在测试图像上方（图顶部的圆圈）构造缺陷，从残差图中可以看出，人为构造缺陷区域存在明显的亮区，其余正常区域基本无差异。
综合图2和图3中的残差图结果，可以充分证明本实施例所提出的配准方法在大位移、大形变图像下非刚性配准的有效性，可服务于视频分析、缺陷检测等更高级别的任务。
本实施例还提供一种图像非刚性配准系统，包括：
标记种子点集生成模块，用于获取模板图像的种子点集，种子点集经标记处理，得到标记种子点集；
粗糙位移场生成模块，用于获取标记种子点集的自适应补丁集，基于自适应补丁集，测试图像经多尺度配准处理，得到粗糙位移场；多尺度匹配处理的操作为：当前层的自适应补丁集在测试图像上进行块匹配，得到当前层的偏移量集，基于当前层的偏移量集，得到当前层的位移场和优化搜索半径集，并传递给下一层，下一层执行得到位移场、得到优化搜索半径集和传递的操作，直至最后一层，得到粗糙位移场；
精细位移场生成模块，用于粗糙位移场经滤波处理，得到滤波粗糙位移场；滤波粗糙位移场经变分增强处理，得到精细位移场；
图像配准结果生成模块，用于基于精细位移场，测试图像经像素映射处理，得到图像配准结果。
本实施例还提供一种图像非刚性配准设备，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现上述的图像非刚性配准方法。
本实施例还提供一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现上述的图像非刚性配准方法。
本实施例提供的一种图像非刚性配准方法，在模板图像中设置种子点，通过对种子点进行标记后生成自适应补丁，接着根据纹理特征相似度，在测试图像上进行多尺度的块匹配和均衡处理后，先利用中值滤波等手段剔除粗糙位移场中存在明显异常的偏移量，再根据偏移量平滑假设，即相邻像素点的偏移量具有连续性，利用变分增强等手段对粗糙位移场进行精化，得到精细位移场后，对测试图像经像素映射处理，使其与模板图像更相似，可有效处理图像间存在的大位移、大形变，并且能够应对非平面印刷品图案中存在的重复纹理、弱纹理区域；该方法的图像配准精度高，可以达到亚像素级的配准精度，为后续高精度缺陷分析提供支持。

Claims (10)

1.一种图像非刚性配准方法，其特征在于，包括如下操作：
S1、获取模板图像的种子点集，所述种子点集经标记处理，得到标记种子点集；
S2、获取所述标记种子点集的自适应补丁集，基于所述自适应补丁集，测试图像经多尺度配准处理，得到粗糙位移场；
所述多尺度匹配处理的操作为：当前层的自适应补丁集在测试图像上进行块匹配，得到当前层的偏移量集，基于所述当前层的偏移量集，得到当前层的位移场和优化搜索半径集，并传递给下一层，所述下一层执行得到位移场、得到优化搜索半径集和传递的操作，直至最后一层，得到所述粗糙位移场；
S3、所述粗糙位移场经滤波处理，得到滤波粗糙位移场；所述滤波粗糙位移场经变分增强处理，得到精细位移场；
S4、基于所述精细位移场，所述测试图像经像素映射处理，得到图像配准结果。
2.根据权利要求1所述的图像非刚性配准方法，其特征在于，所述S2中多尺度匹配处理的操作具体为：
所述模板图像的第L层图层的自适应补丁集，根据纹理特征相似度，在所述测试图像中对应第L层图层进行块匹配，得到第L层测试补丁集；获取所述第L层测试补丁集与第L层自适应补丁集的位置差，得到第L层偏移量集；所述第L层偏移量集经均衡处理，得到第L层位移场；
基于所述第L层偏移量集，得到优化搜索半径集，所述优化搜索半径集与第L层位移场传递至第L-1层图层，分别作为所述第L-1层图层的初始第L-1层搜索半径集和初始第L-1层偏移量集；
基于所述初始第L-1层搜索半径集，执行所述块匹配、获取位置差的操作得到的偏移量集，与所述初始第L-1层偏移量集结合，得到第L-1层偏移量集，所述第L-1层偏移量集执行均衡处理、得到优化搜索半径集和传递的操作，直至顶层，得到所述粗糙位移场。
3.根据权利要求2所述的图像非刚性配准方法，其特征在于，所述均衡处理的操作具体为：
在所述第L层偏移量集的中心至四周的方向上，将所述第L层偏移量集中，所述标记种子点集中不可靠种子点对应的第L层测试补丁集的偏移量替换为，所述不可靠种子点的八邻域范围内可靠种子点对应测试补丁集的偏移量均值，得到所述第L层位移场；
当前轮次的不可靠种子点对应的第L层测试补丁集的偏移量经替换后，将所述当前轮次的不可靠种子点更新为可靠种子点，并执行下一轮的替换操作。
4.根据权利要求2所述的图像非刚性配准方法，其特征在于，所述得到第L-1层偏移量集的操作具体为：
获取所述位置差的操作得到的偏移量集，与对应位置所述初始第L-1层偏移量集的和，得到第L-1层偏移量集。
5.根据权利要求1所述的图像非刚性配准方法，其特征在于，所述S1中标记的操作具体为：
获取所述种子点集中的每个种子点的第一尺寸补丁，判断当前第一尺寸补丁的信息熵是否大于第一熵阈值；
若大于，则当前第一尺寸补丁对应的种子点为可靠种子点；若不大于，所述当前第一尺寸补丁经扩大尺寸处理，得到第二尺寸补丁；判断所述第二尺寸补丁是否大于第二熵阈值；
若不大于，则当前第二尺寸补丁对应的种子点为可靠种子点；若大于，则当前第二尺寸补丁对应的种子点为不可靠种子点。
6.根据权利要求1所述的图像非刚性配准方法，其特征在于，所述S3中变分增强处理的操作具体为：
根据位移场平滑假设，将所述滤波粗糙位移场中相邻测试补丁之间的位移场偏差值调整至预设范围内，得到亚像素级别的所述精细位移场。
7.根据权利要求1所述的图像非刚性配准方法，其特征在于，所述S1中获取模板图像的种子点集的操作具体为：
获取所述模板图像的尺寸数据，基于所述尺寸数据，在所述模板图像上根据固定步长设置若干个种子点，得到所述种子点集。
8.一种图像非刚性配准系统，其特征在于，包括：
标记种子点集生成模块，用于获取模板图像的种子点集，所述种子点集经标记处理，得到标记种子点集；
粗糙位移场生成模块，用于获取所述标记种子点集的自适应补丁集，基于所述自适应补丁集，测试图像经多尺度配准处理，得到粗糙位移场；所述多尺度匹配处理的操作为：当前层的自适应补丁集在测试图像上进行块匹配，得到当前层的偏移量集，基于所述当前层的偏移量集，得到当前层的位移场和优化搜索半径集，并传递给下一层，下一层执行得到位移场、得到优化搜索半径集和传递的操作，直至最后一层，得到所述粗糙位移场；
精细位移场生成模块，用于所述粗糙位移场经滤波处理，得到滤波粗糙位移场；所述滤波粗糙位移场经变分增强处理，得到精细位移场；
图像配准结果生成模块，用于基于所述精细位移场，所述测试图像经像素映射处理，得到图像配准结果。
9.一种图像非刚性配准设备，其特征在于，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如权利要求1-7任一项所述的图像非刚性配准方法。
10.一种计算机可读存储介质，其特征在于，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的图像非刚性配准方法。
CN202311394087.0A 2023-10-26 2023-10-26 一种图像非刚性配准方法、系统、设备和存储介质 Active CN117152221B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311394087.0A CN117152221B (zh) 2023-10-26 2023-10-26 一种图像非刚性配准方法、系统、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311394087.0A CN117152221B (zh) 2023-10-26 2023-10-26 一种图像非刚性配准方法、系统、设备和存储介质

Publications (2)

Publication Number Publication Date
CN117152221A true CN117152221A (zh) 2023-12-01
CN117152221B CN117152221B (zh) 2024-01-16

Family

ID=88884567

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311394087.0A Active CN117152221B (zh) 2023-10-26 2023-10-26 一种图像非刚性配准方法、系统、设备和存储介质

Country Status (1)

Country Link
CN (1) CN117152221B (zh)

Citations (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6097854A (en) * 1997-08-01 2000-08-01 Microsoft Corporation Image mosaic construction system and apparatus with patch-based alignment, global block adjustment and pair-wise motion-based local warping
US20060002632A1 (en) * 2004-06-30 2006-01-05 Accuray, Inc. Motion field generation for non-rigid image registration
US20080037845A1 (en) * 2006-07-26 2008-02-14 Yu Deuerling-Zheng Accelerated image registration by means of parallel processors
DE102006035229A1 (de) * 2006-07-26 2008-03-27 Friedrich-Alexander-Universität Erlangen-Nürnberg Beschleunigte Bildregistrierung mittels Parallelprozessoren
WO2009132516A1 (zh) * 2008-04-29 2009-11-05 香港理工大学 弹性成像的二维位移估计方法
CN101887589A (zh) * 2010-06-13 2010-11-17 东南大学 一种基于立体视觉的实拍低纹理图像重建方法
CN102722890A (zh) * 2012-06-07 2012-10-10 内蒙古科技大学 基于光流场模型的非刚性心脏图像分级配准方法
US20120300998A1 (en) * 2010-01-22 2012-11-29 Annidis Health Systems Corp. Registration method for multispectral retinal images
US20140257083A1 (en) * 2011-10-12 2014-09-11 The Johns Hopkins University Methods for Evaluating Regional Cardiac Function and Dyssynchrony from a Dynamic Imaging Modality Using Endocardial Motion
US20140355899A1 (en) * 2013-05-29 2014-12-04 Adobe Systems Incorporated Video enhancement using related content
CN104240230A (zh) * 2014-06-30 2014-12-24 华南理工大学 一种提高相位相关算法匹配精度的方法
CN104796623A (zh) * 2015-02-03 2015-07-22 中国人民解放军国防科学技术大学 基于金字塔块匹配和泛函优化的拼接视频去结构偏差方法
CN105809712A (zh) * 2016-03-02 2016-07-27 西安电子科技大学 一种高效大位移光流估计方法
US20170069113A1 (en) * 2015-09-04 2017-03-09 International Business Machines Corporation Unsupervised asymmetry detection
CN107194334A (zh) * 2017-05-10 2017-09-22 武汉大学 基于光流模型的视频卫星影像密集匹配方法及系统
AU2016266019A1 (en) * 2016-11-30 2018-06-14 Canon Kabushiki Kaisha Image registration method
CN110536142A (zh) * 2019-08-30 2019-12-03 天津大学 一种针对非刚性图像序列的帧间插值方法
CN110738693A (zh) * 2019-09-27 2020-01-31 北京理工大学 一种地基成像雷达多角度图像配准方法
CN111369435A (zh) * 2020-02-18 2020-07-03 山东师范大学 基于自适应稳定模型的彩色图像深度上采样方法及系统
CN111652790A (zh) * 2019-04-16 2020-09-11 上海铼锶信息技术有限公司 一种亚像素图像配准方法
CN111815757A (zh) * 2019-06-29 2020-10-23 浙江大学山东工业技术研究院 基于图像序列的大型构件三维重建方法
CN111882588A (zh) * 2020-07-29 2020-11-03 Oppo广东移动通信有限公司 图像块配准方法及相关产品
CN112419373A (zh) * 2020-11-27 2021-02-26 重庆理工大学 一种大位移光流场估计方法
CN112465883A (zh) * 2020-11-23 2021-03-09 山东科技大学 一种高精度曲面非均匀图像配准方法
CN114429555A (zh) * 2022-01-20 2022-05-03 中国科学技术大学 由粗到细的图像稠密匹配方法、系统、设备及存储介质
CN114445615A (zh) * 2021-12-21 2022-05-06 国网甘肃省电力公司经济技术研究院 基于尺度不变特征金字塔结构的旋转绝缘子目标检测方法
CN115147710A (zh) * 2022-07-15 2022-10-04 杭州电子科技大学 基于异质滤波探测与水平集分割的声纳图像目标处理方法
CN115311691A (zh) * 2022-10-12 2022-11-08 山东圣点世纪科技有限公司 一种基于腕部静脉和腕部纹理的联合识别方法
WO2023283091A1 (en) * 2021-07-08 2023-01-12 The Regents Of The University Of California Biopsy-free in vivo virtual histology of tissue using deep learning

Patent Citations (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6097854A (en) * 1997-08-01 2000-08-01 Microsoft Corporation Image mosaic construction system and apparatus with patch-based alignment, global block adjustment and pair-wise motion-based local warping
US20060002632A1 (en) * 2004-06-30 2006-01-05 Accuray, Inc. Motion field generation for non-rigid image registration
US20080037845A1 (en) * 2006-07-26 2008-02-14 Yu Deuerling-Zheng Accelerated image registration by means of parallel processors
DE102006035229A1 (de) * 2006-07-26 2008-03-27 Friedrich-Alexander-Universität Erlangen-Nürnberg Beschleunigte Bildregistrierung mittels Parallelprozessoren
WO2009132516A1 (zh) * 2008-04-29 2009-11-05 香港理工大学 弹性成像的二维位移估计方法
US20120300998A1 (en) * 2010-01-22 2012-11-29 Annidis Health Systems Corp. Registration method for multispectral retinal images
CN101887589A (zh) * 2010-06-13 2010-11-17 东南大学 一种基于立体视觉的实拍低纹理图像重建方法
US20140257083A1 (en) * 2011-10-12 2014-09-11 The Johns Hopkins University Methods for Evaluating Regional Cardiac Function and Dyssynchrony from a Dynamic Imaging Modality Using Endocardial Motion
CN102722890A (zh) * 2012-06-07 2012-10-10 内蒙古科技大学 基于光流场模型的非刚性心脏图像分级配准方法
US20140355899A1 (en) * 2013-05-29 2014-12-04 Adobe Systems Incorporated Video enhancement using related content
CN104240230A (zh) * 2014-06-30 2014-12-24 华南理工大学 一种提高相位相关算法匹配精度的方法
CN104796623A (zh) * 2015-02-03 2015-07-22 中国人民解放军国防科学技术大学 基于金字塔块匹配和泛函优化的拼接视频去结构偏差方法
US20170069113A1 (en) * 2015-09-04 2017-03-09 International Business Machines Corporation Unsupervised asymmetry detection
CN105809712A (zh) * 2016-03-02 2016-07-27 西安电子科技大学 一种高效大位移光流估计方法
AU2016266019A1 (en) * 2016-11-30 2018-06-14 Canon Kabushiki Kaisha Image registration method
CN107194334A (zh) * 2017-05-10 2017-09-22 武汉大学 基于光流模型的视频卫星影像密集匹配方法及系统
CN111652790A (zh) * 2019-04-16 2020-09-11 上海铼锶信息技术有限公司 一种亚像素图像配准方法
CN111815757A (zh) * 2019-06-29 2020-10-23 浙江大学山东工业技术研究院 基于图像序列的大型构件三维重建方法
CN110536142A (zh) * 2019-08-30 2019-12-03 天津大学 一种针对非刚性图像序列的帧间插值方法
CN110738693A (zh) * 2019-09-27 2020-01-31 北京理工大学 一种地基成像雷达多角度图像配准方法
CN111369435A (zh) * 2020-02-18 2020-07-03 山东师范大学 基于自适应稳定模型的彩色图像深度上采样方法及系统
CN111882588A (zh) * 2020-07-29 2020-11-03 Oppo广东移动通信有限公司 图像块配准方法及相关产品
CN112465883A (zh) * 2020-11-23 2021-03-09 山东科技大学 一种高精度曲面非均匀图像配准方法
CN112419373A (zh) * 2020-11-27 2021-02-26 重庆理工大学 一种大位移光流场估计方法
WO2023283091A1 (en) * 2021-07-08 2023-01-12 The Regents Of The University Of California Biopsy-free in vivo virtual histology of tissue using deep learning
CN114445615A (zh) * 2021-12-21 2022-05-06 国网甘肃省电力公司经济技术研究院 基于尺度不变特征金字塔结构的旋转绝缘子目标检测方法
CN114429555A (zh) * 2022-01-20 2022-05-03 中国科学技术大学 由粗到细的图像稠密匹配方法、系统、设备及存储介质
CN115147710A (zh) * 2022-07-15 2022-10-04 杭州电子科技大学 基于异质滤波探测与水平集分割的声纳图像目标处理方法
CN115311691A (zh) * 2022-10-12 2022-11-08 山东圣点世纪科技有限公司 一种基于腕部静脉和腕部纹理的联合识别方法

Non-Patent Citations (10)

* Cited by examiner, † Cited by third party
Title
CHUNYANG WEI 等: "Mismatches Filtering of Unmanned Aerial Vehicle Images Based on Motion Vector Consistency", IEEE GEOSCIENCE AND REMOTE SENSING LETTERS, pages 1 - 5 *
EP RODRIGUES 等: "Evaluation of similarity measures in contrast enhanced echocardiography motion detection and registration", 2009 36TH ANNUAL COMPUTERS IN CARDIOLOGY CONFERENCE (CINC), pages 773 - 776 *
XIAOHUAN CAO 等: "Deformable Image Registration Using a Cue-Aware Deep Regression Network", IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING, vol. 65, no. 9, pages 1900 - 1911, XP011691458, DOI: 10.1109/TBME.2018.2822826 *
XINKE MA 等: "Remote Sensing Image Registration With Adjustable Threshold and Variational Mixture Transformation", IEEE GEOSCIENCE AND REMOTE SENSING LETTERS, pages 765 - 769 *
倪标 等: "一种倾斜影像密集匹配算法的设计与实现", 地理空间信息, vol. 18, no. 07, pages 66 - 69 *
凌霄: "基于多重约束的多源光学卫星影像自动匹配方法研究", 中国博士学位论文全文数据库 基础科学辑, vol. 2020, no. 1, pages 008 - 36 *
宋斐: "基于层次B样条和部分区域层次B样条实现多模医学图像配准精细化", 中国新通信, vol. 17, no. 08, pages 107 - 108 *
张樟: "基于DIC技术的结构变形测量方法研究", 中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑, vol. 2019, no. 1, pages 038 - 419 *
闫佳星: "基于改进光流场模型的非刚性图像配准", 中国优秀硕士学位论文全文数据库 信息科技辑, vol. 2019, no. 4, pages 138 - 1067 *
黄冬梅 等: "基于信息熵种子点选取的流线可视化", 计算机工程与科学, vol. 40, no. 03, pages 411 - 417 *

Also Published As

Publication number Publication date
CN117152221B (zh) 2024-01-16

Similar Documents

Publication Publication Date Title
Abdelhamed et al. A high-quality denoising dataset for smartphone cameras
CN107316326B (zh) 应用于双目立体视觉的基于边的视差图计算方法和装置
US20130028519A1 (en) Feature based image registration
CN107025660B (zh) 一种确定双目动态视觉传感器图像视差的方法和装置
CN108470356B (zh) 一种基于双目视觉的目标对象快速测距方法
KR20120068470A (ko) 스테레오 영상 정합 장치 및 그 방법
CN110827189B (zh) 一种数字图像或视频的水印去除方法及系统
CN113327206B (zh) 基于人工智能的输电线智能巡检系统的图像模糊处理方法
CN103400343A (zh) 一种补偿夜间红外下视图像亮度不均匀的方法
CN111242888A (zh) 一种基于机器视觉的图像处理方法及系统
CN114283089B (zh) 基于跳跃加速的深度恢复方法、电子设备及存储介质
CN110717935A (zh) 一种基于图像特征信息的图像匹配方法，装置与系统
CN117152221B (zh) 一种图像非刚性配准方法、系统、设备和存储介质
CN113744307A (zh) 一种基于阈值动态调整的图像特征点跟踪方法和系统
CN117132503A (zh) 一种图像局部高亮区域修复方法、系统、设备及存储介质
CN110246169B (zh) 一种基于梯度的窗口自适应立体匹配方法及系统
CN109741370B (zh) 一种目标跟踪方法和装置
CN114283081B (zh) 基于金字塔加速的深度恢复方法、电子设备及存储介质
CN110852947A (zh) 一种基于边缘锐化的红外图像超分辨方法
CN107680083B (zh) 视差确定方法和视差确定装置
JP2017162391A (ja) 画像処理方法及び画像処理プログラム
CN112381842B (zh) 一种显微全景图像聚焦映射面的获取方法及系统
CN112766338B (zh) 一种计算距离图像的方法、系统及计算机可读存储介质
CN114331919A (zh) 深度恢复方法、电子设备及存储介质
CN114693546A (zh) 图像去噪方法、装置、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Shi Chenbo

Inventor after: Jia Baodun

Inventor after: Zhu Changsheng

Inventor after: Zhang Chun

Inventor after: Jiang Xin

Inventor after: Zhang Guodong

Inventor after: Yang Xinjie

Inventor before: Shi Chenbo

Inventor before: Jia Baodun

Inventor before: Zhu Changsheng

Inventor before: Zhang Chun

Inventor before: Jiang Xin

Inventor before: Zhang Guodong

Inventor before: Yang Xinjie