CN113034666A - 一种基于金字塔视差优化代价计算的立体匹配方法 - Google Patents

一种基于金字塔视差优化代价计算的立体匹配方法 Download PDF

Info

Publication number
CN113034666A
CN113034666A CN202110137278.3A CN202110137278A CN113034666A CN 113034666 A CN113034666 A CN 113034666A CN 202110137278 A CN202110137278 A CN 202110137278A CN 113034666 A CN113034666 A CN 113034666A
Authority
CN
China
Prior art keywords
image
pyramid
layer
original
parallax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110137278.3A
Other languages
English (en)
Other versions
CN113034666B (zh
Inventor
杨力
李�浩
罗哉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Jiliang University
Original Assignee
China Jiliang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiliang University filed Critical China Jiliang University
Priority to CN202110137278.3A priority Critical patent/CN113034666B/zh
Publication of CN113034666A publication Critical patent/CN113034666A/zh
Application granted granted Critical
Publication of CN113034666B publication Critical patent/CN113034666B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种基于金字塔视差优化代价计算的立体匹配方法,其中,该基于金字塔视差优化代价计算的立体匹配方法包括:获得立体图像的原始左图像和原始右图像;设定下采样参数;将多组不同分辨率的左图像和右图像与原始左图像和原始右图像构成图像金字塔;计算图像金字塔S层的代价值;将S层采样图和图像金字塔S‑1层的左图像和右图像作为输入计算金字塔S‑1层的代价值,同时基于图像金字塔S层的分辨率视差优化匹配字塔S‑1层的代价值;重复上述步骤,直到得到图像金字塔0层的视差图作为最终视差图。通过本申请,解决了相关技术中无法融合多分辨率视差图来提高原分辨率视差图的匹配正确率的问题,实现了基于金字塔视差优化代价计算的立体匹配。

Description

一种基于金字塔视差优化代价计算的立体匹配方法
技术领域
本申请涉及计算机视觉领域,特别是涉及一种基于金字塔视差优化代价计 算的立体匹配方法、装置、电子装置和存储介质。
背景技术
计算机视觉是一项关于如何运用照相机和计算机来获取生产经营所需的数 据与信息的技术。随着计算机视觉技术的发展,计算机视觉在各种场景中都得 到了广泛应用。双目立体视觉模拟人类的视觉系统,是计算机视觉领域重要分 支。其中,立体匹配是通过寻找同一场景下经过极线校正的左右两幅图像的像 素匹配点,逐像素获取视差,从而恢复三维场景的过程。获取的三维信息好坏 取决于视差图的正确率,因此改进立体匹配算法得到更加精确的视差图是目前 计算机视觉领域的研究热点。而立体匹配的难点在于弱纹理与重复纹理区域, 这些区域由于特征较少、相似度较高,难以进行匹配,导致最后的视差图误匹 配率较高。现有的立体匹配算法直接用原分辨率下的左右图进行立体匹配,然 而低分辨率下的左右图得到的视差图包含着许多信息,并且对弱纹理与重复纹 理区域的匹配要比原分辨率视差图好,无法融合多分辨率视差图来提高原分辨 率视差图的匹配正确率。
目前针对相关技术中无法融合多分辨率视差图来提高原分辨率视差图的匹 配正确率的问题,尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种基于金字塔视差优化代价计算的立体匹配方法、 装置、电子装置和存储介质,以至少解决相关技术中无法融合多分辨率视差图 来提高原分辨率视差图的匹配正确率的问题。
第一方面,本申请实施例提供了一种基于金字塔视差优化代价计算的立体 匹配方法,包括:
获得立体图像的原始左图像和原始右图像;
设定下采样参数,对所述原始左图像和原始右图像进行一定次数的下采样, 得到多组不同分辨率的左图像和右图像,其中,所述下采样参数包括采样分辨 率;
将所述多组不同分辨率的左图像和右图像与原始左图像和原始右图像构成 图像金字塔,其中,所述图像金字塔S层为图像金字塔的顶层,为最低分辨率 左图像和右图像,向下依次按照采样先后顺序排列不同分辨率的左图像和右图 像,所述图像金字塔0层为原始左右图;
计算图像金字塔S层的代价值,获得图像金字塔S层的视差图,设定采样 参数对所述图像金字塔S层的视差图进行上采样得到S层采样图,其中,所述 采样参数包括所述图像金字塔S-1层的采样分辨率;
将所述S层采样图和图像金字塔S-1层的左图像和右图像作为输入计算金 字塔S-1层的代价值,同时基于图像金字塔S层的分辨率视差优化匹配所述字 塔S-1层的代价值,获得图像金字塔S-1层的的视差图;
重复上述步骤,直到得到图像金字塔1层的视差图作为最终视差图。
在其中一个实施例中,所述原始左图像和原始右图像为同一场景下经过极 线校正的左右两幅图像。
在其中一个实施例中,所述计算图像金字塔S层的代价值包括:
对图像金字塔S层的左图像和右图像使用census变换法计算匹配代价值。
在其中一个实施例中,所述获得具体包括:
将所述图像金字塔S层的代价值进行代价聚合、视差计算、视差精化得到 所述图像金字塔S层的视差图。
在其中一个实施例中,所述代价聚合包括SGM多路径动态规划代价聚合。
在其中一个实施例中,所述视差计算包括胜者为王算法。
在其中一个实施例中,所述视差精化包括左右一致性检查,其中,所述左 右一致性检查包括:获取左右视差图;对左视差图的每个像素a,计算出同名点 在右视差图中的像素b;判断所述像素a和所述像素b的视差值之差的绝对值是 否小于预设阈值,若所述绝对值超过阈值,则一致性检查不通过,将对应像素 的视差变为0。
第二方面,本申请实施例提供了一种基于金字塔视差优化代价计算的立体 匹配装置,包括:
获取模块,用于获得立体图像的原始左图像和原始右图像;
采样模块,用于设定下采样参数,对原始左图像和原始右图像进行一定次 数的下采样,得到多组不同分辨率的左图像和右图像;
图像金字塔构建模块,用于将多组不同分辨率的左图像和右图像与原始左 图像和原始右图像构成图像金字塔;
视差图计算模块,用于计算图像金字塔各层的代价值,获得图像金字塔各 层的视差图。
第三方面,本申请实施例提供了一种电子装置,包括存储器和处理器,其 特征在于,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序 时实现如上述第一方面所述的基于金字塔视差优化代价计算的立体匹配方法。
第四方面,本申请实施例提供了一种存储介质,所述存储介质中存储有计 算机程序,其中,所述计算机程序被设置为运行时执行如上述第一方面所述的 基于金字塔视差优化代价计算的立体匹配方法。
相比于相关技术,本申请能够提高弱纹理以及重复纹理区域的匹配正确率, 获得更好的视差图,解决了相关技术中无法融合多分辨率视差图来提高原分辨 率视差图的匹配正确率的问题,实现了对计算机视觉立体匹配算法的优化。
本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请 的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分, 本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限 定。在附图中:
图1是根据本申请实施例的基于金字塔视差优化代价计算的立体匹配流程 图;
图2是根据本申请实施例的基于金字塔视差优化代价计算的立体匹配装置 结构图;
图3为根据本申请实施例的基于金字塔视差优化代价计算的立体匹配设备 的硬件结构示意图;
图4为根据本申请实施例的基于金字塔视差优化代价计算的立体匹配金字 塔结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实 施例,对本申请进行描述和说明。应当理解,此处所描述的具体实施例仅仅用 以解释本申请,并不用于限定本申请。基于本申请提供的实施例,本领域普通 技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本 申请保护的范围。
显而易见地,下面描述中的附图仅仅是本申请的一些示例或实施例,对于 本领域的普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些 附图将本申请应用于其他类似情景。此外,还可以理解的是,虽然这种开发过 程中所作出的努力可能是复杂并且冗长的,然而对于与本申请公开的内容相关 的本领域的普通技术人员而言,在本申请揭露的技术内容的基础上进行的一些 设计,制造或者生产等变更只是常规的技术手段,不应当理解为本申请公开的 内容不充分。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或 特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短 语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的 实施例。本领域普通技术人员显式地和隐式地理解的是,本申请所描述的实施 例在不冲突的情况下,可以与其它实施例相结合。
除非另作定义,本申请所涉及的技术术语或者科学术语应当为本申请所属 技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、 “一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复 数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形, 意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单元)的过程、 方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没 有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的 其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词 语并非限定于物理的或者机械的连接,而是可以包括电气的连接,不管是直接 的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述 关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示: 单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前 后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、 “第三”等仅仅是区别类似的对象,不代表针对对象的特定排序。
本实施例提供了一种基于金字塔视差优化代价计算的立体匹配方法。图1 是根据本申请实施例的一种基于金字塔视差优化代价计算的立体匹配方法的流 程图,如图1所示,该流程包括如下步骤:
步骤S101,获得立体图像的原始左图像和原始右图像。
在本实施例中,所述原始左图像和原始右图像为同一场景下经过极线校正 的左右两幅图像。
步骤S102,设定下采样参数,对所述原始左图像和原始右图像进行一定次 数的下采样,得到多组不同分辨率的左图像和右图像,其中,所述下采样参数 包括采样分辨率。
步骤S103,构建图像金字塔,将原始左图像和原始右图像作为图像金字塔 的0层,图像金字塔的1层为下采样中最大分辨率图像,S层为下采样中的最小 分辨率图像,其中,从0层依次往上为分辨率低的图像。
步骤S104,对图像金字塔的第S层图像进行计算得到匹配代价值,同时对 S层的图像进行计算得到最低分辨率的视差图,即S层的视差图,设定采样参数 对所述图像金字塔S层的视差图进行上采样得到S层采样图,其中,所述S层 为根据设定图像的采样层数,所述采样参数包括所述图像金字塔S-1层的采样分 辨率。
步骤S105,将S层的视差图上采样到S-1层图像的分辨率与S-1层的图像 一起作为输入与S层的匹配代价值进行计算优化获得优化后的匹配代价值,基 于该优化后的匹配代价值经过剩余立体匹配得到S-1层的视差图。
步骤S106,重复上述步骤,直到得到图像金字塔0层的视差图作为最终视 差图。在本实施例中,步骤S101中获得立体图像的原始左图像和原始右图像的 具体步骤为:摄像系统对需要进行计算机识别的识别目标进行拍摄,获得原始 完整图像,接收到上述原始完整图像后对其进行极线校正获得原始左图像和原 始右图像。其中,极线校正是指:极点在无穷远处,双摄像相机的光轴平行, 像点在左右图像上的高度一致,将其作为极线校正的目标。通过极线校正后做 后续的立体匹配时,只需在同一行上搜索左右像平面的匹配点即可,使得识别 效率大大提高。
在本实施例中,步骤S102分别进行下采样得到不同分辨率的左右图像的主 要目的有具体为:使得图像符合显示区域的大小;生成对应图像的缩略图。
在本实施例中,获得金字塔S层视差图的具体方法为:对金字塔S层的左 图像和右图像使用census变换法计算匹配代价值,并经过代价聚合、视差计算、 视差精化得到最低分辨率的视差图Ds;将Ds上采样到下一层S-1层左右图的分 辨率大小,记为
Figure BDA0002927209980000051
与S-1层的左右图一起作为输入,在代价计算部分基于上 一层分辨率视差优化匹配代价值,具体如下:
Figure BDA0002927209980000052
中像素点p的视差值为
Figure BDA0002927209980000053
计算像素点p的代价值CD(p,d)为:
Figure BDA0002927209980000061
dr为S-1层分辨率时的视差搜索范围,d为当前遍历到的视差。同时用census 变换法计算像素点p的代价值Ccensus(p,d),并做归一化处理得到代价值为:
Figure BDA0002927209980000062
N为census变换规定的窗口中像素个数。像素点p最后的匹配代价值为:
Figure BDA0002927209980000063
其中,λ为权重。
将C(p,d)经过代价聚合、视差计算、视差精化得到S-1层分辨率下的视差图 DS-1。构建图像金字塔的示意图如图4所述。
在其中一些实施例中,优选地,所述上采样方法为最邻近元法。
进一步,所述代价聚合为SGM多路径动态规划代价聚合。将得到的匹配代 价值进行像素周围所有路径上的一维聚合得到该路径下的路径代价值,将所有 路径代价值相加得到该像素聚合后的匹配代价值。
优选地,所选路径为8路径,像素p沿着某条路径r的路径代价计算公式如 下:
Figure BDA0002927209980000064
公式中p代表像素,r代表路径,Lr(p,d)是聚合代价值,C(p,d)是初始代价 值,P1,P2为惩罚系数。
Lr(p-r,d)表示路径内上一个像素视差为d时的聚合代价值。
Lr(p-r,d-1)表示路径内上一个像素视差为d-1时的聚合代价值。
Lr(p-r,d+1)表示路径内上一个像素视差为d+1时的聚合代价值。
Figure BDA0002927209980000065
表示路径内上一个像素所有代价值的最小值。
最后得到总路径代价值S的计算公式如下:
Figure BDA0002927209980000066
在其中一些实施例中,所述计算图像金字塔S层的代价值包括:对图像金 字塔S层的左图像和右图像使用census变换法计算匹配代价值。在本实施例中, Census变换属于非参数图像变换的一种,使用census变换法计算匹配代价值的 具体步骤是:在图像区域定义一个矩形窗口,用这个矩形窗口遍历整幅图像。 选取中心像素作为参考像素,将矩形窗口中每个像素的灰度值与参考像素的灰 度值进行比较,灰度值小于或等于参考值的像素标记为0,大于参考值的像素标 记为1,最后再将它们按位连接,得到变换后的结果,变换后的结果是由0和1 组成的二进制码流。上述Census变换的实质是将图像像素的灰度值编码成二进 制码流,以此来获取邻域像素灰度值相对于中心像素灰度值的大小关系。变换 过程可通过如下公式表达:
Figure BDA0002927209980000071
Figure BDA0002927209980000072
其中,p是窗口中心像素,q是窗口中心像素以外的其他像素,Np表示中 心像素p的邻域。通过本实施例,对图像金字塔S层的左图像和右图像使用census 变换法计算匹配代价值能够较好地检测出图像中的局部结构特征,如边缘、角 点特征等。
在其中一些实施例中,所述获得图像金字塔S层的视差图具体包括:将所 述图像金字塔S层的代价值进行代价聚合、视差计算、视差精化得到所述图像 金字塔S层的视差图。在本实施例中,代价聚合、视差计算、视差精化的具体 步骤为:匹配代价叠加,全局算法基于原始匹配代价进行后续算法计算。而区 域算法则需要通过窗口叠加来增强匹配代价的可靠性。视差获取,对于区域算 法来说,在完成匹配代价的叠加以后,视差的获取就很容易了,在一定范围内 选取叠加匹配代价最优的点(SAD和SSD取最小值,NCC取最大值)作为对应 匹配点,如胜者为王算法WTA(Winner-take-all)。而全局算法则直接对原始匹 配代价进行处理,先给出一个能量评价函数,然后通过不同的优化算法来求得 能量的最小值,同时计算每个点的视差值。视差精化,立体匹配算法计算出来 的视差都是一些离散的特定整数值,在一些精度要求比较高的场合,如精确的 三维重构中,就需要在初始视差获取后采用一些措施对视差进行精化,如匹配 代价的曲线拟合、图像滤波、图像分割等。通过本实施例,能够实现利用代价 值得到视差图。
在其中一些实施例中,所述代价聚合包括SGM多路径动态规划代价聚合。 其中,SGM多路径动态规划代价聚合采用基于类似于扫描线或者叫单方向动态 规划的方法,使用一维路径聚合的方式来近似二维最优,相比其他解决方法效 率更高。SGM能量函数表达式为:
Figure BDA0002927209980000081
其中,C为匹配代价,公式的第一项是数据项,表示当视差图为D时,所 有像素的匹配代价的累加,第二项和第三项是平滑项,表示对像素p的Np邻域 内的所有像素进行惩罚,其中第二项惩罚力度较小,对相邻像素视差变化很小 的情况(1个像素)进行惩罚;第三项惩罚力度较大(P2>P1),对相邻像素视 差变化很大(大于1个像素)的情况进行惩罚。
在其中一些实施例中,所述视差计算包括胜者为王算法。其中,胜者为王 算法是一种利用两幅视图的差异将视图分为特征点和非特征点后对特征点采用 WTA匹配处理,利用视差的分段连续性,对非特征点只进行简单验证,得出致 密的视差图,减少了系统的运算量,降低了计算机工作负担。其中,所述胜者 为王算法的具体步骤为:每个像素选择最小聚合代价值所对应的视差值作为最 终视差,优选地,视差计算得到的视差图是整像素精度,为了提高视差精度采 用子像素拟合获得子像素精度。具体为最优视差的代价值以及前后两个视差的 代价值进行二次曲线拟合,曲线的极值点所对应的视差值即为新的子像素视差 值。
在其中一些实施例中,所述视差精化包括左右一致性检查,其中,所述左 右一致性检查包括:获取左右视差图;对左视差图的每个像素a,计算出同名点 在右视差图中的像素b;判断所述像素a和所述像素b的视差值之差的绝对值是 否小于预设阈值,若所述绝对值超过阈值,则一致性检查不通过,将对应像素 的视差变为0。通过本实施例,对左图像和右图像的一致性进行检查,其中阈值 可以有技术人员设定,对无法通过一致性检查的像素归零,保证了左右图的一 致性。优选地,唯一性检测是指对每个像素计算最小代价mincost和次最小代价 secdmincost的值,uniquenessRation为所设阈值,若满足:
Figure BDA0002927209980000082
则该像素点被剔除,视差变为0。
优选地,剔除小连通区域具体为对于每一个视差像素点,当其连通区域的 像素点个数小于所设阈值时,认为该区域视差值无效,该区域视差变为0。
优选地,所述连通区域是指每一个视差像素点与其相邻视差像素点的视差 变化绝对值小于所设阈值即认为该两个视差像素点是连通的。
本实施例还提供了一种基于金字塔视差优化代价计算的立体匹配装置,该 装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以 下所使用的,术语“模块”、“单元”、“子单元”等可以实现预定功能的软 件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是 硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图2是根据本申请实施例的基于金字塔视差优化代价计算的立体匹配装置 的结构框图,如图2所示,该装置包括:获取模块21,用于获得立体图像的原 始左图像和原始右图像;采样模块22,用于设定下采样参数,对原始左图像和 原始右图像进行一定次数的下采样,得到多组不同分辨率的左图像和右图像; 图像金字塔构建模块23,用于将多组不同分辨率的左图像和右图像与原始左图 像和原始右图像构成图像金字塔;视差图计算模块24,用于计算图像金字塔各 层的代价值,获得图像金字塔各层的视差图。
需要说明的是,上述各个模块可以是功能模块也可以是程序模块,既可以 通过软件来实现,也可以通过硬件来实现。对于通过硬件来实现的模块而言, 上述各个模块可以位于同一处理器中;或者上述各个模块还可以按照任意组合 的形式分别位于不同的处理器中。
另外,结合图1描述的本申请实施例基于金字塔视差优化代价计算的立体 匹配方法可以由基于金字塔视差优化代价计算的立体匹配设备来实现。图3为 根据本申请实施例的基于金字塔视差优化代价计算的立体匹配设备的硬件结构 示意图。
基于金字塔视差优化代价计算的立体匹配设备可以包括处理器31以及存储 有计算机程序指令的存储器32。
具体地,上述处理器31可以包括中央处理器(CPU),或者特定集成电路(Application Specific Integrated Circuit,简称为ASIC),或者可以被配置成实 施本申请实施例的一个或多个集成电路。
其中,存储器35可以包括用于数据或指令的大容量存储器。举例来说而非 限制,存储器35可包括硬盘驱动器(Hard Disk Drive,简称为HDD)、软盘驱 动器、固态驱动器(Solid State Drive,简称为SSD)、闪存、光盘、磁光盘、 磁带或通用串行总线(UniversalSerial Bus,简称为USB)驱动器或者两个或更 多个以上这些的组合。在合适的情况下,存储器35可包括可移除或不可移除(或 固定)的介质。在合适的情况下,存储器35可在数据处理装置的内部或外部。 在特定实施例中,存储器35是非易失性(Non-Volatile)存储器。在特定实施例 中,存储器35包括只读存储器(Read-Only Memory,简称为ROM)和随机存 取存储器(Random Access Memory,简称为RAM)。在合适的情况下,该ROM 可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory,简 称为PROM)、可擦除PROM(ErasableProgrammable Read-Only Memory,简 称为EPROM)、电可擦除PROM(ElectricallyErasable Programmable Read-Only Memory,简称为EEPROM)、电可改写ROM(ElectricallyAlterable Read-Only Memory,简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组 合。在合适的情况下,该RAM可以是静态随机存取存储器(Static Random-AccessMemory,简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory,简称为DRAM),其中,DRAM可以是快速页模式动态随机存取存 储器(Fast Page Mode DynamicRandom Access Memory,简称为FPMDRAM)、 扩展数据输出动态随机存取存储器(ExtendedDate Out Dynamic Random Access Memory,简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory,简称SDRAM)等。
存储器35可以用来存储或者缓存需要处理和/或通信使用的各种数据文件, 以及处理器32所执行的可能的计算机程序指令。
处理器31通过读取并执行存储器32中存储的计算机程序指令,以实现上 述实施例中的任意一种基于金字塔视差优化代价计算的立体匹配方法。
在其中一些实施例中,基于金字塔视差优化代价计算的立体匹配设备还可 包括通信接口33和总线30。其中,如图3所示,处理器31、存储器32、通信 接口33通过总线30连接并完成相互间的通信。
通信接口33用于实现本申请实施例中各模块、装置、单元和/或设备之间的 通信。通信接口33还可以实现与其他部件例如:外接设备、图像/数据采集设备、 数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线30包括硬件、软件或两者,将基于金字塔视差优化代价计算的立体匹 配设备的部件彼此耦接在一起。总线30包括但不限于以下至少之一:数据总线 (Data Bus)、地址总线(Address Bus)、控制总线(Control Bus)、扩展总线 (Expansion Bus)、局部总线(Local Bus)。举例来说而非限制,总线30可包 括图形加速接口(Accelerated GraphicsPort,简称为AGP)或其他图形总线、增 强工业标准架构(Extended Industry StandardArchitecture,简称为EISA)总线、 前端总线(Front Side Bus,简称为FSB)、超传输(HyperTransport,简称为 HT)互连、工业标准架构(Industry Standard Architecture,简称为ISA)总线、 无线带宽(InfiniBand)互连、低引脚数(Low Pin Count,简称为LPC)总线、 存储器总线、微信道架构(Micro Channel Architecture,简称为MCA)总线、外 围组件互连(Peripheral Component Interconnect,简称为PCI)总线、PCI-Express (PCI-X)总线、串行高级技术附件(Serial Advanced Technology Attachment, 简称为SATA)总线、视频电子标准协会局部(Video Electronics Standards Association Local Bus,简称为VLB)总线或其他合适的总线或者两个或更多个 以上这些的组合。在合适的情况下,总线30可包括一个或多个总线。尽管本申 请实施例描述和示出了特定的总线,但本申请考虑任何合适的总线或互连。
该基于金字塔视差优化代价计算的立体匹配设备可以基于获取到的基于金 字塔视差优化代价计算的立体匹配,执行本申请实施例中的基于金字塔视差优 化代价计算的立体匹配方法,从而实现结合图1描述的基于金字塔视差优化代 价计算的立体匹配方法。
另外,结合上述实施例中的基于金字塔视差优化代价计算的立体匹配方法, 本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质 上存储有计算机程序指令;该计算机程序指令被处理器执行时实现上述实施例 中的任意一种基于金字塔视差优化代价计算的立体匹配方法。
相比于现有技术,本申请具有以下优点:
1.本申请利用论文引用的时间信息,通过构建引用网络设计了一种学术评价 排序方法,该方法可以有效利用时间信息,减少论文引用随时间的累积效应, 为评价科技文献提供了准确客观的方法。
2.本申请通过设定基准集的方式,以基准集确定算法参数,在计算其他论文 的学术价值时以基准集为参考,具有较高的可靠性和自主性。
3.本申请通过封装系统的方式面向用户,具有简单易操作的特点,学习成本 较低。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述 实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特 征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但 并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普 通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进, 这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要 求为准。

Claims (10)

1.一种基于金字塔视差优化代价计算的立体匹配方法,其特征在于,包括:
获得立体图像的原始左图像和原始右图像;
设定下采样参数,对所述原始左图像和原始右图像进行下采样,得到多组不同分辨率的左图像和右图像,其中,所述下采样参数包括采样分辨率;
将所述多组不同分辨率的左图像和右图像与原始左图像和原始右图像构成图像金字塔,其中,所述图像金字塔S层为图像金字塔的顶层,为原始最低分辨率左图像和原始右图像,向下依次按照采样先后顺序排列不同分辨率的左图像和右图像,所述图像金字塔0层为原始左右图;
计算图像金字塔S层的代价值,获得图像金字塔S层的视差图,设定采样参数对所述图像金字塔S层的视差图进行上采样得到S层采样图,其中,所述图像金字塔S层为图像金字塔顶层,所述采样参数包括所述图像金字塔S-1层的采样分辨率;将S层的视差图上采样到S-1层图像的分辨率与S-1层的图像一起作为输入与S层的匹配代价值进行计算优化获得优化后的匹配代价值,基于该优化后的匹配代价值经过剩余立体匹配得到S-1层的视差图;
重复上述步骤,直到得到图像金字塔0层的视差图作为最终视差图。
2.根据权利要求1所述的一种基于金字塔视差优化代价计算的立体匹配方法,其特征在于,所述原始左图像和原始右图像为同一场景下经过极线校正的左右两幅图像。
3.根据权利要求1所述的一种基于金字塔视差优化代价计算的立体匹配方法,其特征在于,所述计算图像金字塔S层的代价值包括:
对图像金字塔S层的左图像和右图像使用census变换法计算匹配代价值。
4.根据权利要求1所述的一种基于金字塔视差优化代价计算的立体匹配方法,其特征在于,所述获得图像金字塔S层的视差图具体包括:
将所述图像金字塔S层的代价值进行代价聚合、视差计算、视差精化得到所述图像金字塔S层的视差图。
5.根据权利要求4所述的一种基于金字塔视差优化代价计算的立体匹配方法,其特征在于,所述代价聚合包括SGM多路径动态规划代价聚合。
6.根据权利要求4所述的一种基于金字塔视差优化代价计算的立体匹配方法,其特征在于,所述视差计算包括胜者为王算法。
7.根据权利要求4所述的一种基于金字塔视差优化代价计算的立体匹配方法,其特征在于,所述视差精化包括左右一致性检查,其中,所述左右一致性检查包括:获取左右视差图;对左视差图的每个像素a,计算出同名点在右视差图中的像素b;判断所述像素a和所述像素b的视差值之差的绝对值是否小于预设阈值,若所述绝对值超过阈值,则一致性检查不通过,将对应像素的视差变为0。
8.一种基于金字塔视差优化代价计算的立体匹配方法,其特征在于,包括:
获取模块,用于获得立体图像的原始左图像和原始右图像;
采样模块,用于设定下采样参数,对原始左图像和原始右图像进行一定次数的下采样,得到多组不同分辨率的左图像和右图像;
图像金字塔构建模块,用于将多组不同分辨率的左图像和右图像与原始左图像和原始右图像构成图像金字塔;
视差图计算模块,用于计算图像金字塔各层的代价值,获得图像金字塔各层的视差图。
9.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1至7中任一项所述的基于金字塔视差优化代价计算的立体匹配方法。
10.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行权利要求1至7中任一项所述的基于金字塔视差优化代价计算的立体匹配方法。
CN202110137278.3A 2021-02-01 2021-02-01 一种基于金字塔视差优化代价计算的立体匹配方法 Active CN113034666B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110137278.3A CN113034666B (zh) 2021-02-01 2021-02-01 一种基于金字塔视差优化代价计算的立体匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110137278.3A CN113034666B (zh) 2021-02-01 2021-02-01 一种基于金字塔视差优化代价计算的立体匹配方法

Publications (2)

Publication Number Publication Date
CN113034666A true CN113034666A (zh) 2021-06-25
CN113034666B CN113034666B (zh) 2023-09-12

Family

ID=76459593

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110137278.3A Active CN113034666B (zh) 2021-02-01 2021-02-01 一种基于金字塔视差优化代价计算的立体匹配方法

Country Status (1)

Country Link
CN (1) CN113034666B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113658241A (zh) * 2021-08-16 2021-11-16 北京的卢深视科技有限公司 单目结构光的深度恢复方法、电子设备及存储介质
CN115908170A (zh) * 2022-11-04 2023-04-04 浙江华诺康科技有限公司 双目图像的降噪方法、装置、电子装置和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105160702A (zh) * 2015-08-20 2015-12-16 武汉大学 基于LiDAR点云辅助的立体影像密集匹配方法及系统
CN106340036A (zh) * 2016-08-08 2017-01-18 东南大学 一种基于双目立体视觉的立体匹配方法
CN108460795A (zh) * 2018-03-05 2018-08-28 成都通甲优博科技有限责任公司 倒金字塔式双目立体匹配方法及系统
CN108876861A (zh) * 2018-05-25 2018-11-23 中国空间技术研究院 一种地外天体巡视器的立体匹配方法
CN110473217A (zh) * 2019-07-25 2019-11-19 沈阳工业大学 一种基于Census变换的双目立体匹配方法
CN111402129A (zh) * 2020-02-21 2020-07-10 西安交通大学 一种基于联合上采样卷积神经网络的双目立体匹配方法
CN111833393A (zh) * 2020-07-05 2020-10-27 桂林电子科技大学 一种基于边缘信息的双目立体匹配方法
CN111881985A (zh) * 2020-07-30 2020-11-03 中国空间技术研究院 立体匹配方法、装置、终端和存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105160702A (zh) * 2015-08-20 2015-12-16 武汉大学 基于LiDAR点云辅助的立体影像密集匹配方法及系统
CN106340036A (zh) * 2016-08-08 2017-01-18 东南大学 一种基于双目立体视觉的立体匹配方法
CN108460795A (zh) * 2018-03-05 2018-08-28 成都通甲优博科技有限责任公司 倒金字塔式双目立体匹配方法及系统
CN108876861A (zh) * 2018-05-25 2018-11-23 中国空间技术研究院 一种地外天体巡视器的立体匹配方法
CN110473217A (zh) * 2019-07-25 2019-11-19 沈阳工业大学 一种基于Census变换的双目立体匹配方法
CN111402129A (zh) * 2020-02-21 2020-07-10 西安交通大学 一种基于联合上采样卷积神经网络的双目立体匹配方法
CN111833393A (zh) * 2020-07-05 2020-10-27 桂林电子科技大学 一种基于边缘信息的双目立体匹配方法
CN111881985A (zh) * 2020-07-30 2020-11-03 中国空间技术研究院 立体匹配方法、装置、终端和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李迎松: "经典SGM:(3)代价聚合(cost aggregation)", HTTP://ZHUANLAN.ZHIHU.COM/P/164791921 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113658241A (zh) * 2021-08-16 2021-11-16 北京的卢深视科技有限公司 单目结构光的深度恢复方法、电子设备及存储介质
CN115908170A (zh) * 2022-11-04 2023-04-04 浙江华诺康科技有限公司 双目图像的降噪方法、装置、电子装置和存储介质
CN115908170B (zh) * 2022-11-04 2023-11-21 浙江华诺康科技有限公司 双目图像的降噪方法、装置、电子装置和存储介质

Also Published As

Publication number Publication date
CN113034666B (zh) 2023-09-12

Similar Documents

Publication Publication Date Title
CN110135455B (zh) 影像匹配方法、装置及计算机可读存储介质
Wang et al. 360sd-net: 360 stereo depth estimation with learnable cost volume
CN110473137B (zh) 图像处理方法和装置
US10621446B2 (en) Handling perspective magnification in optical flow processing
US8331615B2 (en) Match, expand, and filter technique for multi-view stereopsis
Yang et al. Self-supervised learning of depth inference for multi-view stereo
CN108596975B (zh) 一种针对弱纹理区域的立体匹配算法
CN111402170B (zh) 图像增强方法、装置、终端及计算机可读存储介质
CN103034982B (zh) 一种基于变焦视频序列的图像超分辨率重建方法
CN107274483A (zh) 一种物体三维模型构建方法
CN108073857A (zh) 动态视觉传感器dvs事件处理的方法及装置
CN111340922A (zh) 定位与地图构建的方法和电子设备
CN113034666B (zh) 一种基于金字塔视差优化代价计算的立体匹配方法
Yang et al. Non-parametric depth distribution modelling based depth inference for multi-view stereo
CN115984494A (zh) 一种基于深度学习的月面导航影像三维地形重建方法
WO2023159757A1 (zh) 视差图生成方法和装置、电子设备及存储介质
CN114445473B (zh) 基于深度学习算子的立体匹配方法和系统
CN114742875A (zh) 基于多尺度特征提取和自适应聚合的双目立体匹配方法
CN114663298A (zh) 基于半监督深度学习的视差图修补方法及系统
Hallek et al. Real-time stereo matching on CUDA using Fourier descriptors and dynamic programming
CN117132737A (zh) 一种三维建筑模型构建方法、系统及设备
CN115908992B (zh) 双目立体匹配的方法、装置、设备以及存储介质
US20230053952A1 (en) Method and apparatus for evaluating motion state of traffic tool, device, and medium
CN116246119A (zh) 3d目标检测方法、电子设备及存储介质
CN112991207B (zh) 全景深度估计方法、装置、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant