CN110363235B - 一种高分辨率图像匹配方法及系统 - Google Patents

一种高分辨率图像匹配方法及系统 Download PDF

Info

Publication number
CN110363235B
CN110363235B CN201910580849.3A CN201910580849A CN110363235B CN 110363235 B CN110363235 B CN 110363235B CN 201910580849 A CN201910580849 A CN 201910580849A CN 110363235 B CN110363235 B CN 110363235B
Authority
CN
China
Prior art keywords
matching
pixel
resolution
image
resolution image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910580849.3A
Other languages
English (en)
Other versions
CN110363235A (zh
Inventor
魏辉
朱效民
赵雅倩
李仁刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN201910580849.3A priority Critical patent/CN110363235B/zh
Publication of CN110363235A publication Critical patent/CN110363235A/zh
Priority to US17/614,850 priority patent/US20220230412A1/en
Priority to PCT/CN2019/114525 priority patent/WO2021000471A1/zh
Application granted granted Critical
Publication of CN110363235B publication Critical patent/CN110363235B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759—Region-based matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements

Abstract

本发明涉及图像处理技术领域，提供一种高分辨率图像匹配方法及系统，方法包括：对初始高分辨率图像进行区域保真下采样，得到多层次的低分辨率图像；采用带有全局探针的方式对得到的多层次的所述低分辨率图像进行局部匹配，得到低分辨率图像的匹配结果；利用图像匹配的整体一致性，对得到的所述低分辨率图像的匹配结果进行反向求精，得到各级高分辨率图像的匹配结果，直至得到初始分辨率图像的匹配结果，从而既能降低图像匹配过程的计算量，又能提高匹配结果的精度，再基于整体一致性，通过反向求精得到高分辨率图像的匹配结果。

Description

一种高分辨率图像匹配方法及系统
技术领域
本发明属于图像处理技术领域，尤其涉及一种高分辨率图像匹配方法及系统。
背景技术
基于视觉的深度感知是一种在自动驾驶、工业检测、机器人、增强现实、无人机等许多领域有着普遍应用的底层通用支撑技术。相较于其他深度感知手段，视觉深度感知具有可以得到稠密数据、精度高、成本低、适用性好等优势。但由于涉及到图像之间的匹配问题，视觉深度感知也存在计算量大的问题，在普遍要求实时响应的诸多领域的应用面临较大问题。当前视觉深度感知技术的应用中，为保证实时性普遍只能支持低分辨率图像的匹配，导致无法充分利用目前高分辨率摄像设备的性能，只能得到较低精度和较小距离的深度数据。
目前，用于视觉深度感知的图像匹配主要有局部方法和全局方法两种，局部方法通过逐像素比较的方式，在两幅图像中寻找对应同一目标的像素，形成两幅图像像素之间的匹配关系，从而计算对应的视差和深度数据；这种方法面临大量的像素比对计算，运算量大，为保证实时性只能支持低分辨率图像的匹配。全局方法把图像的匹配转化为一个优化问题，通过在全局范围内寻找最优解实现图像之间的匹配。由于全局优化涉及到大量参数的设计，且最优解的求解非常复杂和不稳定，这种方法的效果虽然比局部方法更好，但也面临计算过程更为复杂的问题。结合这两种方法各自的特点，出现了半全局优化方法，这种方法和局部方法一样采用逐像素比对实现图像的匹配计算，但是在若干方向上通过优化手段得到对应方向的优化视差结果，提高了视差值的准确性。半全局优化方法在一定程度上改善了局部方法准确性不高和全局方法计算复杂的问题，但并未彻底解决高分辨率图像的匹配和远距离深度感知问题。
发明内容
针对现有技术中的缺陷，本发明提供了一种既能降低图像匹配过程的计算量，又能提高匹配结果的精度，再基于整体一致性，通过反向求精得到高分辨率图像的匹配结果的高分辨率图像匹配方法。
本发明所提供的技术方案是：一种高分辨率图像匹配方法，所述方法包括下述步骤：
对初始高分辨率图像进行区域保真下采样，得到多层次的低分辨率图像；
采用带有全局探针的方式对得到的多层次的所述低分辨率图像进行局部匹配，得到低分辨率图像的匹配结果；
利用图像匹配的整体一致性，对得到的所述低分辨率图像的匹配结果进行反向求精，得到各级高分辨率图像的匹配结果，直至得到初始分辨率图像的匹配结果。
作为一种改进的方案，所述对初始高分辨率图像进行区域保真下采样，得到多层次的低分辨率图像的步骤具体包括下述步骤：
初始化像素个数R的值，所述像素个数R作为停止采样条件；
将得到像素个数R的值作为下一级分辨率图像对应位置的像素值；
依次对初始高分辨率图像进行区域保真的下采样动作，直到得到的图像分辨率满足采样停止条件，停止采样过程，最后得到的图像即为最低分辨率的图像。
作为一种改进的方案，在初始高分辨率图像过程中，综合上下左右相邻的四个像素信息，得到一个值，得到的每个值包含了相邻四个图像的信息。
作为一种改进的方案，所述采用带有全局探针的方式对得到的多层次的所述低分辨率图像进行局部匹配，得到低分辨率图像的匹配结果的步骤具体包括下述步骤：
初始化全局探针数量、方向和长度；
对得到的所述最低分辨率的图像进行逐像素匹配，计算得到各个匹配结果对应的匹配代价；
根据确定的探针数量、方向和长度，计算所述最低分辨率的图像在探针上各个位置处的像素值和中心像素值的大小关系，以二进制值表示；
对所有待匹配像素，计算其对应的探针之间的距离；
对每个待匹配像素，依据计算得到的各个匹配结果对应的匹配代价和得到的对应的探针之间距离进行加权求和，得到的加权求和结果作为各个待匹配像素的最终匹配代价；
选取匹配代价最小的候选像素作为所述低分辨率图像的最终匹配结果。
作为一种改进的方案，所述利用图像匹配的整体一致性，对得到的所述低分辨率图像的匹配结果进行反向求精，得到各级高分辨率图像的匹配结果，直至得到初始分辨率图像的匹配结果的步骤具体包括下述步骤：
在得到的低分辨率图像的匹配结果中，对每个匹配像素执行配对处理，找到其各自在上一级分辨率图像中对应的像素区域；
对得到的上一级分辨率图像中对应的像素区域，进行区域内像素的匹配计算，得到像素区域内最优像素匹配关系；
将得到的所述像素区域内最优像素匹配关系确定为当前分辨率图像之间的匹配关系；
循环执行像素区域内最优像素匹配关系的匹配计算和当前分辨率图像之间的匹配关系确定操作步骤，直到得到最高分辨率图像的匹配结果，作为最终的初始分辨率图像匹配结果。
本发明的另一目的在于提供一种高分辨率图像匹配系统，所述系统包括：
下采样模块，用于对初始高分辨率图像进行区域保真下采样，得到多层次的低分辨率图像；
局部匹配模块，用于采用带有全局探针的方式对得到的多层次的所述低分辨率图像进行局部匹配，得到低分辨率图像的匹配结果；
反向求精模块，用于利用图像匹配的整体一致性，对得到的所述低分辨率图像的匹配结果进行反向求精，得到各级高分辨率图像的匹配结果，直至得到初始分辨率图像的匹配结果。
作为一种改进的方案，所述下采样模块具体包括：
值初始化模块，用于初始化像素个数R的值，所述像素个数R作为停止采样条件；
像素值确认模块，用于将得到像素个数R的值作为下一级分辨率图像对应位置的像素值；
最低分辨率的图像获取模块，用于依次对初始高分辨率图像进行区域保真的下采样动作，直到得到的图像分辨率满足采样停止条件，停止采样过程，最后得到的图像即为最低分辨率的图像。
作为一种改进的方案，在初始高分辨率图像过程中，综合上下左右相邻的四个像素信息，得到一个值，得到的每个值包含了相邻四个图像的信息。
作为一种改进的方案，所述局部匹配模块具体包括：
探针初始化模块，用于初始化全局探针数量、方向和长度；
像素匹配模块，用于对得到的所述最低分辨率的图像进行逐像素匹配，计算得到各个匹配结果对应的匹配代价；
大小关系计算模块，用于根据确定的探针数量、方向和长度，计算所述最低分辨率的图像在探针上各个位置处的像素值和中心像素值的大小关系，以二进制值表示；
探针距离计算模块，用于对所有待匹配像素，计算其对应的探针之间的距离；
最终匹配代价计算模块，用于对每个待匹配像素，依据计算得到的各个匹配结果对应的匹配代价和得到的对应的探针之间距离进行加权求和，得到的加权求和结果作为各个待匹配像素的最终匹配代价；
最终匹配结果确认模块，用于选取匹配代价最小的候选像素作为所述低分辨率图像的最终匹配结果。
作为一种改进的方案，所述反向求精模块具体包括：
配对处理模块，用于在得到的低分辨率图像的匹配结果中，对每个匹配像素执行配对处理，找到其各自在上一级分辨率图像中对应的像素区域；
最优像素匹配关系计算模块，用于对得到的上一级分辨率图像中对应的像素区域，进行区域内像素的匹配计算，得到像素区域内最优像素匹配关系；
匹配关系确定模块，用于将得到的所述像素区域内最优像素匹配关系确定为当前分辨率图像之间的匹配关系；
循环执行模块，用于循环执行像素区域内最优像素匹配关系的匹配计算和当前分辨率图像之间的匹配关系确定操作步骤，直到得到最高分辨率图像的匹配结果，作为最终的初始分辨率图像匹配结果。
在本发明实施例中，对初始高分辨率图像进行区域保真下采样，得到多层次的低分辨率图像；采用带有全局探针的方式对得到的多层次的所述低分辨率图像进行局部匹配，得到低分辨率图像的匹配结果；利用图像匹配的整体一致性，对得到的所述低分辨率图像的匹配结果进行反向求精，得到各级高分辨率图像的匹配结果，直至得到初始分辨率图像的匹配结果，从而既能降低图像匹配过程的计算量，又能提高匹配结果的精度，再基于整体一致性，通过反向求精得到高分辨率图像的匹配结果。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
图1是本发明提供的高分辨率图像匹配方法的实现流程图；
图2是本发明提供的对初始高分辨率图像进行区域保真下采样，得到多层次的低分辨率图像的实现流程图；
图3是本发明提供的采用带有全局探针的方式对得到的多层次的所述低分辨率图像进行局部匹配，得到低分辨率图像的匹配结果的实现流程图；
图4是本发明提供的利用图像匹配的整体一致性，对得到的所述低分辨率图像的匹配结果进行反向求精，得到各级高分辨率图像的匹配结果，直至得到初始分辨率图像的匹配结果的实现流程图；
图5是本发明提供的区域保真下采样的过程示意图；
图6是本发明提供的带有全局探针的区域匹配过程示意图；
图7是本发明提供的低分辨率图像中匹配结果示意图；
图8是本发明提供的高分辨率图像匹配系统的结构框图；
图9是本发明提供的下采样模块的结构框图；
图10是本发明提供的局部匹配模块的结构框图；
图11是本发明提供的反向求精模块的结构框图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的、技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。
图1示出了本发明提供的高分辨率图像匹配方法的实现流程图，其具体包括下述步骤：
在步骤S101中，对初始高分辨率图像进行区域保真下采样，得到多层次的低分辨率图像。
在步骤S102中，采用带有全局探针的方式对得到的多层次的所述低分辨率图像进行局部匹配，得到低分辨率图像的匹配结果。
在步骤S103中，利用图像匹配的整体一致性，对得到的所述低分辨率图像的匹配结果进行反向求精，得到各级高分辨率图像的匹配结果，直至得到初始分辨率图像的匹配结。
在该实施例中，设计了区域保真的下采样策略，将高分辨率图像转化为低分辨率图像，同时保持更多图像信息。提出了带有全局探针的图像匹配方法，利用全局探针优化匹配精度，减少由局部相似造成的误匹配。设计了基于整体一致性的反向求精方法，优化低分辨率图像匹配结果向高分辨率图像匹配结果对应过程，进一步提高高分辨率图像的匹配精度。
图2示出了本发明提供的对初始高分辨率图像进行区域保真下采样，得到多层次的低分辨率图像的实现流程图，其具体包括下述步骤：
在步骤S201中，初始化像素个数R的值，所述像素个数R作为停止采样条件。
在步骤S202中，将得到像素个数R的值作为下一级分辨率图像对应位置的像素值。
在步骤S203中，依次对初始高分辨率图像进行区域保真的下采样动作，直到得到的图像分辨率满足采样停止条件，停止采样过程，最后得到的图像即为最低分辨率的图像。
其中，在该实施例中，在初始高分辨率图像过程中，综合上下左右相邻的四个像素信息，得到一个值，得到的每个值包含了相邻四个图像的信息，保证局部区域信息能够保持在下一级的像素中。
在该实施例中，如图5所示，区域保真的下采样策略，将高分辨率图像转化为低分辨率图像，同时保持更多图像信息。
图3示出了本发明提供的采用带有全局探针的方式对得到的多层次的所述低分辨率图像进行局部匹配，得到低分辨率图像的匹配结果的实现流程图，其步骤具体包括下述步骤：
在步骤S301中，初始化全局探针数量、方向和长度；
在该步骤中，全局探针可以是四向、八向等等，数量任选。方向可以是沿轴对齐方向，也可以是对角线方向，或者任意其它方向。探针长度可以延伸到图像边缘，也可以延伸到图像中间。
在步骤S302中，对得到的所述最低分辨率的图像进行逐像素匹配，计算得到各个匹配结果对应的匹配代价；
在该步骤中，匹配窗口的选择可以是规则形状，也可以是自适应的不规则形状或其它任何形状。匹配代价可以基于像素值直接计算，也可以采用基于像素值的非参数变换等任何方法。
在步骤S303中，根据确定的探针数量、方向和长度，计算所述最低分辨率的图像在探针上各个位置处的像素值和中心像素值的大小关系，以二进制值表示；
每个探针上所有像素和中心像素之间的大小关系值依像素位置形成一个二进制字符串。
在步骤S304中，对所有待匹配像素，计算其对应的探针之间的距离；
在该步骤中，探针之间距离的计算可以采用汉明距离，也可以采用任何其他距离计算方式。
在步骤S305中，对每个待匹配像素，依据计算得到的各个匹配结果对应的匹配代价和得到的对应的探针之间距离进行加权求和，得到的加权求和结果作为各个待匹配像素的最终匹配代价；
在步骤S306中，选取匹配代价最小的候选像素作为所述低分辨率图像的最终匹配结果。
在该实施例中，如图6所示，设计了一种带有全局探针的高精度局部匹配方法，通过计算当前匹配的局域匹配度和全局匹配度，共同决定最优匹配对，避免陷入因局部相似造成的误匹配。
图4示出了本发明提供的利用图像匹配的整体一致性，对得到的所述低分辨率图像的匹配结果进行反向求精，得到各级高分辨率图像的匹配结果，直至得到初始分辨率图像的匹配结果的实现流程图，其具体包括下述步骤：
在步骤S401中，在得到的低分辨率图像的匹配结果中，对每个匹配像素执行配对处理，找到其各自在上一级分辨率图像中对应的像素区域；
在该步骤中，不同级分辨率图像之间像素的对应关系可以在步骤一的下采样过程中维护相应数据，也可以采用其他方式获得该对应关系数据。
在步骤S402中，对得到的上一级分辨率图像中对应的像素区域，进行区域内像素的匹配计算，得到像素区域内最优像素匹配关系；
在该步骤中，该匹配计算可以采用和步骤二中匹配计算相同的方法，也可以采用其他任何方法。通过匹配计算，得到像素区域内最优的像素匹配关系。
在步骤S403中，将得到的所述像素区域内最优像素匹配关系确定为当前分辨率图像之间的匹配关系；
该过程完成了从低分辨率图像像素匹配关系向高分辨率图像像素匹配关系的过渡，而不是直接用不同分辨率图像间像素的对应关系作为高分辨率图像的匹配结果。
在步骤S404中，循环执行像素区域内最优像素匹配关系的匹配计算和当前分辨率图像之间的匹配关系确定操作步骤，直到得到最高分辨率图像的匹配结果，作为最终的初始分辨率图像匹配结果。
在该实施例中，如图7所示，针对采样过程可能造成的引入误差，本发明设计了基于整体一致性的反向求精方法，基于低分辨率图像的匹配结果和图像匹配中的整体一致性，通过对像素所在区域进行局部求精，得到高分辨率图像对应的匹配关系。
图8示出了本发明提供的高分辨率图像匹配系统的结构框图，为了便于说明，图中仅给出了与本发明实施例相关的部分。
高分辨率图像匹配系统包括：
下采样模块11，用于对初始高分辨率图像进行区域保真下采样，得到多层次的低分辨率图像；
局部匹配模块12，用于采用带有全局探针的方式对得到的多层次的所述低分辨率图像进行局部匹配，得到低分辨率图像的匹配结果；
反向求精模块13，用于利用图像匹配的整体一致性，对得到的所述低分辨率图像的匹配结果进行反向求精，得到各级高分辨率图像的匹配结果，直至得到初始分辨率图像的匹配结果。
如图9所示，下采样模块11具体包括：
值初始化模块14，用于初始化像素个数R的值，所述像素个数R作为停止采样条件；
像素值确认模块15，用于将得到像素个数R的值作为下一级分辨率图像对应位置的像素值；
最低分辨率的图像获取模块16，用于依次对初始高分辨率图像进行区域保真的下采样动作，直到得到的图像分辨率满足采样停止条件，停止采样过程，最后得到的图像即为最低分辨率的图像。
如图10所示，所述局部匹配模块12具体包括：
探针初始化模块17，用于初始化全局探针数量、方向和长度；
像素匹配模块18，用于对得到的所述最低分辨率的图像进行逐像素匹配，计算得到各个匹配结果对应的匹配代价；
大小关系计算模块19，用于根据确定的探针数量、方向和长度，计算所述最低分辨率的图像在探针上各个位置处的像素值和中心像素值的大小关系，以二进制值表示；
探针距离计算模块20，用于对所有待匹配像素，计算其对应的探针之间的距离；
最终匹配代价计算模块21，用于对每个待匹配像素，依据计算得到的各个匹配结果对应的匹配代价和得到的对应的探针之间距离进行加权求和，得到的加权求和结果作为各个待匹配像素的最终匹配代价；
最终匹配结果确认模块22，用于选取匹配代价最小的候选像素作为所述低分辨率图像的最终匹配结果。
如图11所示，所述反向求精模块13具体包括：
配对处理模块23，用于在得到的低分辨率图像的匹配结果中，对每个匹配像素执行配对处理，找到其各自在上一级分辨率图像中对应的像素区域；
最优像素匹配关系计算模块24，用于对得到的上一级分辨率图像中对应的像素区域，进行区域内像素的匹配计算，得到像素区域内最优像素匹配关系；
匹配关系确定模块25，用于将得到的所述像素区域内最优像素匹配关系确定为当前分辨率图像之间的匹配关系；
循环执行模块26，用于循环执行像素区域内最优像素匹配关系的匹配计算和当前分辨率图像之间的匹配关系确定操作步骤，直到得到最高分辨率图像的匹配结果，作为最终的初始分辨率图像匹配结果。
上述各个模块的功能如上述方法实施例所记载，在此不再赘述。
在本发明实施例中，对初始高分辨率图像进行区域保真下采样，得到多层次的低分辨率图像；采用带有全局探针的方式对得到的多层次的所述低分辨率图像进行局部匹配，得到低分辨率图像的匹配结果；利用图像匹配的整体一致性，对得到的所述低分辨率图像的匹配结果进行反向求精，得到各级高分辨率图像的匹配结果，直至得到初始分辨率图像的匹配结果，从而既能降低图像匹配过程的计算量，又能提高匹配结果的精度，再基于整体一致性，通过反向求精得到高分辨率图像的匹配结果。
以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (4)

1.一种高分辨率图像匹配方法，其特征在于，所述方法包括下述步骤：
对初始高分辨率图像进行区域保真下采样，得到多层次的低分辨率图像；
采用带有全局探针的方式对得到的多层次的所述低分辨率图像进行局部匹配，得到低分辨率图像的匹配结果；
利用图像匹配的整体一致性，对得到的所述低分辨率图像的匹配结果进行反向求精，得到各级高分辨率图像的匹配结果，直至得到初始分辨率图像的匹配结果；
所述对初始高分辨率图像进行区域保真下采样，得到多层次的低分辨率图像的步骤具体包括下述步骤：
初始化像素个数R的值，所述像素个数R作为停止采样条件；
将得到像素个数R的值作为下一级分辨率图像对应位置的像素值；
依次对初始高分辨率图像进行区域保真的下采样动作，直到得到的图像分辨率满足采样停止条件，停止采样过程，最后得到的图像即为最低分辨率的图像；
所述采用带有全局探针的方式对得到的多层次的所述低分辨率图像进行局部匹配，得到低分辨率图像的匹配结果的步骤具体包括下述步骤：
初始化全局探针数量、方向和长度；
对得到的所述最低分辨率的图像进行逐像素匹配，计算得到各个匹配结果对应的匹配代价；
根据确定的探针数量、方向和长度，计算所述最低分辨率的图像在探针上各个位置处的像素值和中心像素值的大小关系，以二进制值表示；
对所有待匹配像素，计算其对应的探针之间的距离；
对每个待匹配像素，依据计算得到的各个匹配结果对应的匹配代价和得到的对应的探针之间距离进行加权求和，得到的加权求和结果作为各个待匹配像素的最终匹配代价；
选取匹配代价最小的候选像素作为所述低分辨率图像的最终匹配结果；
其中，所述利用图像匹配的整体一致性，对得到的所述低分辨率图像的匹配结果进行反向求精，得到各级高分辨率图像的匹配结果，直至得到初始分辨率图像的匹配结果的步骤具体包括下述步骤：
在得到的低分辨率图像的匹配结果中，对每个匹配像素执行配对处理，找到其各自在上一级分辨率图像中对应的像素区域；
对得到的上一级分辨率图像中对应的像素区域，进行区域内像素的匹配计算，得到像素区域内最优像素匹配关系；
将得到的所述像素区域内最优像素匹配关系确定为当前分辨率图像之间的匹配关系；
循环执行像素区域内最优像素匹配关系的匹配计算和当前分辨率图像之间的匹配关系确定操作步骤，直到得到最高分辨率图像的匹配结果，作为最终的初始分辨率图像匹配结果。
2.根据权利要求1所述的高分辨率图像匹配方法，其特征在于，在初始高分辨率图像过程中，综合上下左右相邻的四个像素信息，得到一个值，得到的每个值包含了相邻四个图像的信息。
3.一种高分辨率图像匹配系统，其特征在于，所述系统包括：
下采样模块，用于对初始高分辨率图像进行区域保真下采样，得到多层次的低分辨率图像；
局部匹配模块，用于采用带有全局探针的方式对得到的多层次的所述低分辨率图像进行局部匹配，得到低分辨率图像的匹配结果；
反向求精模块，用于利用图像匹配的整体一致性，对得到的所述低分辨率图像的匹配结果进行反向求精，得到各级高分辨率图像的匹配结果，直至得到初始分辨率图像的匹配结果；
所述下采样模块具体包括：
值初始化模块，用于初始化像素个数R的值，所述像素个数R作为停止采样条件；
像素值确认模块，用于将得到像素个数R的值作为下一级分辨率图像对应位置的像素值；
最低分辨率的图像获取模块，用于依次对初始高分辨率图像进行区域保真的下采样动作，直到得到的图像分辨率满足采样停止条件，停止采样过程，最后得到的图像即为最低分辨率的图像；
所述局部匹配模块具体包括：
探针初始化模块，用于初始化全局探针数量、方向和长度；
像素匹配模块，用于对得到的所述最低分辨率的图像进行逐像素匹配，计算得到各个匹配结果对应的匹配代价；
大小关系计算模块，用于根据确定的探针数量、方向和长度，计算所述最低分辨率的图像在探针上各个位置处的像素值和中心像素值的大小关系，以二进制值表示；
探针距离计算模块，用于对所有待匹配像素，计算其对应的探针之间的距离；
最终匹配代价计算模块，用于对每个待匹配像素，依据计算得到的各个匹配结果对应的匹配代价和得到的对应的探针之间距离进行加权求和，得到的加权求和结果作为各个待匹配像素的最终匹配代价；
最终匹配结果确认模块，用于选取匹配代价最小的候选像素作为所述低分辨率图像的最终匹配结果；
其中，所述反向求精模块具体包括：
配对处理模块，用于在得到的低分辨率图像的匹配结果中，对每个匹配像素执行配对处理，找到其各自在上一级分辨率图像中对应的像素区域；
最优像素匹配关系计算模块，用于对得到的上一级分辨率图像中对应的像素区域，进行区域内像素的匹配计算，得到像素区域内最优像素匹配关系；
匹配关系确定模块，用于将得到的所述像素区域内最优像素匹配关系确定为当前分辨率图像之间的匹配关系；
循环执行模块，用于循环执行像素区域内最优像素匹配关系的匹配计算和当前分辨率图像之间的匹配关系确定操作步骤，直到得到最高分辨率图像的匹配结果，作为最终的初始分辨率图像匹配结果。
4.根据权利要求3所述的高分辨率图像匹配系统，其特征在于，在初始高分辨率图像过程中，综合上下左右相邻的四个像素信息，得到一个值，得到的每个值包含了相邻四个图像的信息。
CN201910580849.3A 2019-06-29 2019-06-29 一种高分辨率图像匹配方法及系统 Active CN110363235B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910580849.3A CN110363235B (zh) 2019-06-29 2019-06-29 一种高分辨率图像匹配方法及系统
US17/614,850 US20220230412A1 (en) 2019-06-29 2019-10-31 High-resolution image matching method and system
PCT/CN2019/114525 WO2021000471A1 (zh) 2019-06-29 2019-10-31 一种高分辨率图像匹配方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910580849.3A CN110363235B (zh) 2019-06-29 2019-06-29 一种高分辨率图像匹配方法及系统

Publications (2)

Publication Number Publication Date
CN110363235A CN110363235A (zh) 2019-10-22
CN110363235B true CN110363235B (zh) 2021-08-06

Family

ID=68216725

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910580849.3A Active CN110363235B (zh) 2019-06-29 2019-06-29 一种高分辨率图像匹配方法及系统

Country Status (3)

Country Link
US (1) US20220230412A1 (zh)
CN (1) CN110363235B (zh)
WO (1) WO2021000471A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363235B (zh) * 2019-06-29 2021-08-06 苏州浪潮智能科技有限公司 一种高分辨率图像匹配方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104156957A (zh) * 2014-08-06 2014-11-19 昆山天工智能科技有限公司 一种稳定高效的高分辨率立体匹配方法
CN105335952A (zh) * 2014-06-19 2016-02-17 株式会社理光 匹配代价计算方法和装置、以及视差值计算方法和设备
CN105466399A (zh) * 2016-01-11 2016-04-06 中测新图(北京)遥感技术有限责任公司 快速半全局密集匹配方法和装置
CN105488776A (zh) * 2014-10-10 2016-04-13 北京大学 超分辨率图像重建方法和装置
CN108010082A (zh) * 2017-12-28 2018-05-08 上海觉感视觉科技有限公司 一种几何匹配的方法
CN108460795A (zh) * 2018-03-05 2018-08-28 成都通甲优博科技有限责任公司 倒金字塔式双目立体匹配方法及系统
CN108682029A (zh) * 2018-03-22 2018-10-19 深圳飞马机器人科技有限公司 多尺度密集匹配方法和系统
CN109711457A (zh) * 2018-12-20 2019-05-03 江南大学 一种基于改进hu不变矩的快速图像匹配方法及其应用

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010065242A1 (en) * 2008-12-01 2010-06-10 Marvell World Trade, Ltd. Bit resolution enhancement
US8339470B2 (en) * 2009-11-30 2012-12-25 Indian Institute Of Technology Madras Method and system for generating a high resolution image
CN102629374B (zh) * 2012-02-29 2014-05-21 西南交通大学 基于子空间投影和邻域嵌入的图像超分辨率重建方法
AU2013206597A1 (en) * 2013-06-28 2015-01-22 Canon Kabushiki Kaisha Depth constrained superpixel-based depth map refinement
CN104184981B (zh) * 2014-08-27 2017-12-15 深圳市华星光电技术有限公司 一种基于缩减像素采样处理的低解析度显示方法及设备
US9767533B2 (en) * 2015-02-16 2017-09-19 Adobe Systems Incorporated Image resolution enhancement based on data from related images
WO2017030507A1 (en) * 2015-08-19 2017-02-23 Heptagon Micro Optics Pte. Ltd. Generating a disparity map having reduced over-smoothing
CN108492326B (zh) * 2018-01-31 2021-11-23 北京大学深圳研究生院 分辨率从低到高的逐渐精细化的立体匹配方法及系统
CN110363235B (zh) * 2019-06-29 2021-08-06 苏州浪潮智能科技有限公司 一种高分辨率图像匹配方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105335952A (zh) * 2014-06-19 2016-02-17 株式会社理光 匹配代价计算方法和装置、以及视差值计算方法和设备
CN104156957A (zh) * 2014-08-06 2014-11-19 昆山天工智能科技有限公司 一种稳定高效的高分辨率立体匹配方法
CN105488776A (zh) * 2014-10-10 2016-04-13 北京大学 超分辨率图像重建方法和装置
CN105466399A (zh) * 2016-01-11 2016-04-06 中测新图(北京)遥感技术有限责任公司 快速半全局密集匹配方法和装置
CN108010082A (zh) * 2017-12-28 2018-05-08 上海觉感视觉科技有限公司 一种几何匹配的方法
CN108460795A (zh) * 2018-03-05 2018-08-28 成都通甲优博科技有限责任公司 倒金字塔式双目立体匹配方法及系统
CN108682029A (zh) * 2018-03-22 2018-10-19 深圳飞马机器人科技有限公司 多尺度密集匹配方法和系统
CN109711457A (zh) * 2018-12-20 2019-05-03 江南大学 一种基于改进hu不变矩的快速图像匹配方法及其应用

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
On Building an Accurate Stereo Matching System on Graphics Hardware;Xing Mei et al.;《2011 IEEE International Conference on Computer Vision Workshops》;20111231;第467-474页 *

Also Published As

Publication number Publication date
CN110363235A (zh) 2019-10-22
US20220230412A1 (en) 2022-07-21
WO2021000471A1 (zh) 2021-01-07

Similar Documents

Publication Publication Date Title
CN110298298B (zh) 目标检测及目标检测网络的训练方法、装置及设备
US11321937B1 (en) Visual localization method and apparatus based on semantic error image
CN111862126B (zh) 深度学习与几何算法结合的非合作目标相对位姿估计方法
CN109712071B (zh) 基于航迹约束的无人机图像拼接与定位方法
US8861893B2 (en) Enhancing video using super-resolution
Huang et al. ScaleFormer: revisiting the transformer-based backbones from a scale-wise perspective for medical image segmentation
CN110298884B (zh) 一种适于动态环境中单目视觉相机的位姿估计方法
US20200380653A1 (en) Image processing device and image processing method
CN111765884A (zh) 机器人重定位方法、装置、电子设备及存储介质
US20120002866A1 (en) Method and apparatus for reducing the memory requirement for determining disparity values for at least two stereoscopically recorded images
CN110706262B (zh) 图像处理方法、装置、设备及存储介质
CN112700486B (zh) 对图像中路面车道线的深度进行估计的方法及装置
CN110363235B (zh) 一种高分辨率图像匹配方法及系统
CN114445473B (zh) 基于深度学习算子的立体匹配方法和系统
CN114677655A (zh) 多传感器目标检测方法、装置、电子设备以及存储介质
CN113421217A (zh) 可行驶区域检测方法和装置
CN101882220A (zh) 一种基于动态模板的条码图像校正方法及校正点获取方法
Krauss et al. Deterministic guided lidar depth map completion
WO2022027032A1 (en) Processing perspective view range images using neural networks
CN113704276A (zh) 地图更新方法、装置、电子设备及计算机可读存储介质
CN115619678A (zh) 一种图像变形的矫正方法、装置、计算机设备及存储介质
CN113628284B (zh) 位姿标定数据集生成方法、装置、系统、电子设备及介质
CN101908144B (zh) 一种条码图像校正方法及校正点获取方法
CN110634159A (zh) 一种目标检测方法和装置
CN111768437B (zh) 一种用于矿井巡检机器人的图像立体匹配方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant