CN117576256B - 一种视差填充方法、系统及存储介质 - Google Patents

一种视差填充方法、系统及存储介质 Download PDF

Info

Publication number
CN117576256B
CN117576256B CN202311524825.9A CN202311524825A CN117576256B CN 117576256 B CN117576256 B CN 117576256B CN 202311524825 A CN202311524825 A CN 202311524825A CN 117576256 B CN117576256 B CN 117576256B
Authority
CN
China
Prior art keywords
parallax
area
filling
region
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311524825.9A
Other languages
English (en)
Other versions
CN117576256A (zh
Inventor
赵庆松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yuanxiang Technology Suzhou Co ltd
Metoak Technology Beijing Co ltd
Original Assignee
Yuanxiang Technology Suzhou Co ltd
Metoak Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yuanxiang Technology Suzhou Co ltd, Metoak Technology Beijing Co ltd filed Critical Yuanxiang Technology Suzhou Co ltd
Priority to CN202311524825.9A priority Critical patent/CN117576256B/zh
Publication of CN117576256A publication Critical patent/CN117576256A/zh
Application granted granted Critical
Publication of CN117576256B publication Critical patent/CN117576256B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种视差填充方法、系统及存储介质，该方法包括：基于双目立体相机采集到的当前场景图像，获取视差图及当前场景图像的感兴趣区域；确定感兴趣区域对应于视差图中的第一位置区域，并基于第一位置区域中的视差值，确定空洞填充区域；确定空洞填充区域对应于当前场景图像中左图像或右图像的第二位置区域，计算第二位置区域中像素点的像素值大于或等于过曝阈值的占比；当占比大于或等于比例阈值时，基于空洞填充区域的邻接矩形，采用插值的方式，对空洞填充区域进行视差填充。通过本申请中的技术方案，能够准确的对双目立体相机视差图中平面区域的视差空洞进行视差填充，有利于提升视差图质量。

Description

一种视差填充方法、系统及存储介质
技术领域
本申请涉及双目视觉的技术领域，具体而言，涉及一种视差填充方法、一种视差填充系统以及一种计算机可读存储介质。
背景技术
双目立体相机通过双目匹配算法实现视差图的输出，以表征视野范围内物体与双目立体相机之间的距离。在拍摄场景中，在双目立体相机近距离处存在部分平面物体或物体表面存在部分平面的情况下，特别是对于室内环境，由于场景中外部光源的影响，平面物体或物体平面会对外部光源进行反射，导致在双目立体相机采集到的图像中产生反射光过曝区域，使得视差图的相应位置上存在较大的视差空洞，即该区域没有视差。
同样的，对于散斑型双目立体相机而言，其内增设有一颗红外补光灯，在较近距离处采图时，在相应的平面位置处，由于散斑不聚焦，同样会产生一个光斑，从而造成视差空洞，严重影响视差图质量。因此，为了得到更精准的视差图，需要对上述视差图中的视差空洞进行修复。
而现有技术中，通常是基于去噪的方法或者连续性填充的方法对视差空洞进行修复，但这些方法仅适用于几个像素大小的小空洞进行填充，无法适用于因外部光源反射或散斑引起的较大区域(几十个像素大小)的视差空洞的视差修复或者填充。
发明内容
本申请的目的在于：如何对双目立体相机视差图中平面区域的视差空洞进行视差填充。
本申请第一方面的技术方案是：提供了一种视差填充方法，该方法包括：步骤1：基于双目立体相机采集到的当前场景图像，获取视差图及当前场景图像的感兴趣区域；步骤2：确定感兴趣区域对应于视差图中的第一位置区域，并基于第一位置区域中的视差值，确定空洞填充区域，其中，空洞填充区域内各视差点的视差值为0；步骤3：确定空洞填充区域对应于当前场景图像中左图像或右图像的第二位置区域，计算第二位置区域中像素点的像素值大于或等于过曝阈值的占比；步骤4：当占比大于或等于比例阈值时，基于空洞填充区域的邻接矩形，采用插值的方式，对空洞填充区域进行视差填充。
在一些实施例中，步骤2中，具体包括：步骤21：基于感兴趣区域的坐标，在视差图中确定第一位置区域；步骤22：利用全零掩码模板，采用滑动窗口的方式，逐行在第一位置区域内进行匹配；步骤23：当判定第一位置区域中被全零掩码模板覆盖的范围内的视差点的视差值均为零时，将被全零掩码模板覆盖的范围记作空洞填充区域。
在一些实施例中，步骤2中，还包括：以空洞填充区域的边界视差点为生长起始点，在第一位置区域内采用向外生长的方式，确定与空洞填充区域连通且视差值为零的视差点所在区域，记作空洞更新区域；基于空洞更新区域，更新空洞填充区域。
在一些实施例中，步骤2中，还包括：当空洞填充区域在视差图内囊括多个视差值不为零的视差点时，将多个视差值不为零的视差点中不相连的视差点的视差值置为零，判断多个视差值不为零的视差点中相连的视差点的个数是否小于个数阈值，若是，将对应的视差点的视差值置为零，若否，保留对应的视差点的视差值，更新空洞填充区域。
在一些实施例中，步骤2中，还包括：以更新前空洞填充区域中左上角的视差点为内接矩形起始点，在更新后空洞填充区域内确定最大内接矩形；基于最大内接矩形，再次更新空洞填充区域。
在一些实施例中，步骤4中，具体包括：当第二位置区域中像素点的像素值大于或等于过曝阈值的占比大于或等于比例阈值时，确定空洞填充区域的最小外接矩形；基于最小外接矩形，确定空洞填充区域外围的四个邻接矩形；基于邻接矩形内包含的各个视差点的视差值，采用插值的方式，对空洞填充区域进行视差填充。
在一些实施例中，步骤4中还包括：基于邻接矩形内包含的各个视差点的视差值，进行平面拟合，生成拟合平面；计算邻接矩形内各个视差点到拟合平面的几何距离；当判定几何距离的平均值小于或等于平面阈值时，基于邻接矩形内包含的各个视差点的视差值，采用插值的方式，对空洞填充区域进行视差填充。
在一些实施例中，邻接矩形包括左邻接矩形、右邻接矩形、上邻接矩形以及下邻接矩形，采用插值的方式，对空洞填充区域进行视差填充，具体包括：分别计算左邻接矩形、右邻接矩形中每一行的视差值的行平均值，分别记作左行平均值以及右行平均值；分别计算上邻接矩形、下邻接矩形中每一列的视差值的列平均值，分别记作上列平均值以及下列平均值；基于左行平均值、右行平均值、上列平均值以及下列平均值，采用插值的方式，对空洞填充区域进行视差填充。
本申请第二方面的技术方案是：提供了一种视差填充系统，该系统包括：第一区域确定单元，第一区域确定单元被配置为基于双目立体相机采集到的当前场景图像，获取视差图及当前场景图像的感兴趣区域；第二区域确定单元，第二区域确定单元被配置为确定感兴趣区域对应于视差图中的第一位置区域，并基于第一位置区域中的视差值，确定空洞填充区域；占比计算单元，占比计算单元被配置为确定空洞填充区域对应于当前场景图像中左图像或右图像的第二位置区域，计算第二位置区域中像素点的像素值大于或等于过曝阈值的占比；视差填充单元，视差填充单元被配置为当占比大于或等于比例阈值时，基于空洞填充区域的邻接矩形，采用插值的方式，对空洞填充区域进行视差填充。
本申请实施例的第三个方面提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时，实现如上述第一方面技术方案中的任一项方法。
本申请的有益效果是：
本申请中的技术方案，基于当前场景图像的感兴趣区域，利用全零掩码模板在视差图中进行匹配，并根据图像中像素点的像素值大于或等于过曝阈值的占比，确定因过曝或光斑引起的平面区域视差空洞，进而采用插值的方式，对空洞填充区域进行视差填充，能够准确的对双目立体相机视差图中平面区域的视差空洞进行视差填充，有利于提升视差图质量，进而提高双目立体相机的测距精度。
本申请中，还考虑到向外生长确定出的空洞填充区域其形状不一定规则，且视差图中可能存在噪点，并针对此类噪点进行了滤除处理，以保证视差填充的效果。并且，本申请还在进行插值之前，基于邻接矩形内包含的各个视差点的视差值进行平面拟合，保证插值时所利用的邻接矩形与空洞填充区域位于同一个平面内，提高了插值的准确性及合理性。
附图说明
本申请的上述和/或附加方面的优点在结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本申请的一个实施例的视差填充方法的示意流程图；
图2是根据本申请的一个实施例的空洞填充区域的示意图；
图3是根据本申请的一个实施例的邻接矩形的示意图；
图4是根据本申请的一个实施例的插值方法的示意图；
图5是根据本申请的一个实施例的视差填充系统的示意框图。
具体实施方式
为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附图和具体实施方式对本申请进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互结合。
在下面的描述中，阐述了很多具体细节以便于充分理解本申请，但是，本申请还可以采用其他不同于在此描述的其他方式来实施，因此，本申请的保护范围并不受下面公开的具体实施例的限制。
实施例1：
如图1所示，本实施例提供了一种视差填充方法，该方法包括：
步骤1：基于双目立体相机采集到的当前场景图像，获取视差图及当前场景图像的感兴趣区域；
步骤2：确定感兴趣区域对应于视差图中的第一位置区域，并基于第一位置区域中的视差值，确定空洞填充区域，其中，空洞填充区域内各视差点的视差值为0；
步骤3：确定空洞填充区域对应于当前场景图像中左图像或右图像的第二位置区域，计算第二位置区域中像素点的像素值大于或等于过曝阈值的占比；
步骤4：当占比大于或等于比例阈值时，基于空洞填充区域的邻接矩形，采用插值的方式，对空洞填充区域进行视差填充。
具体的，本实施例中的双目立体相机中设置有两个参数已知的相机，分别记为左相机和右相机，获取到的图像分别记作左图像和右图像，选取右图像作为计算视差图的参考。通过双目匹配算法与左右相机拍摄的图像，可计算出右图像中每一个像素点对应的视差值，进而组成视差图。
需要说明的是，也可以选用左图像作为计算视差图的参考。
现本实施例以右图像和对应的视差图为例进行说明。
在确定感兴趣区域时，可通过图像识别算法，将识别出的双目立体相机视野范围内各个物体在右图像中所在的区域，作为感兴趣区域。再结合视差图，即可确定该物体与双目立体相机之间的距离，实现测距。但由于视差空洞的影响，会导致双目立体相机测距不准确，因此，需要进行视差填充。
需要说明的是，确定出的感兴趣区域可能为一个，也可能为多个，当感兴趣区域为多个时，需要分别对各个感兴趣区域进行视差填充处理，但各个感兴趣区域的处理方式相同。
还可以直接将右图像中的某一固定区域，如图像下方的1/2区域，作为感兴趣区域，对视差图中的对应区域进行视差填充，以降低视差空洞的影响。
现本实施例以划定的感兴趣区域为例，对本实施例中的视差填充方式进行说明。
根据右图像中设定的感兴趣区域的位置坐标，在视差图中确定相应区域，记为第一位置区域，之后，需要在第一位置区域内确定空洞填充区域，此时，可以引入连通域的思路，选取多个视差值为0的视差点所在的区域，组成空洞填充区域。
还可以利用全零掩码模板，采用滑动窗口的方式，对第一位置区域进行逐行扫描，逐一匹配全零掩码模板覆盖区域的视差点的视差值是否全部为零，以确定视差图中的空洞填充区域。
其中，全零掩码模板的大小可以根据需要进行设定，其大小可以为10×10像素、5×5像素、10×5像素等。
基于空洞填充区域的位置坐标，确定右图像中对应的第二位置区域，并计算右图像在第二位置区域中各个像素点的像素值大于或等于过曝阈值的占比，当占比大于或等于比例阈值P时，则进行视差填充。若占比小于比例阈值P，则判定为无需进行视差填充，丢弃当前帧图像即可。
通过对大量的实验数据分析发现，对于视差图中无视差值的区域，如果其在右视图中相应的区域存在过曝现象，则该区域为平面区域的置信度较高。因此，设定过曝阈值，遍历右图像中各个空洞填充区域对应的图像区域中像素点的像素值，如果该图像区域中像素值大于或等于过曝阈值的像素点的占比大于或等于比例阈值P时，则认为该空洞填充区域为因平面过曝所导致的无视差区域，可以采用本实施例中的方式进行视差填充。
其中，过曝阈值的取值可以人为设定，例如像素值的取值范围为[0,255]，则过曝阈值可以设定为220，也可以设定为230。
在进行插值运算时，可以先确定空洞填充区域的最小外接矩形，并选取该最小外接矩形外围的四个邻接矩形，再根据四个邻接矩形对应行和对应列的视差值或视差均值进行插值运算。
以视差均值为例，分别计算左行平均值Xl-l、右行平均值Xl-r、上列平均值Xr-u以及下列平均值Xr-d，对应的计算公式为：
X＝(Xl-l*(1-a)+Xl-r*a+Xr-u*(1-b)+Xr-d*b)/2
式中，a、b为权重值，其取值大小由待差值的视差点位置坐标与空洞填充区域边界坐标的差值比值确定。
通过本实施例中的视差填充方法，能够准确的对双目立体相机视差图中平面区域的视差空洞进行视差填充，有利于提升视差图质量。
在一些实施例中，针对于因平面区域过曝导致视差空洞的情形，提高确定空洞填充区域的效率，在确定空洞填充区域的过程中，该步骤2中，具体包括：步骤21：基于感兴趣区域的坐标，在视差图中确定第一位置区域；步骤22：利用全零掩码模板，采用滑动窗口的方式，逐行在第一位置区域内进行匹配；步骤23：当判定第一位置区域中被全零掩码模板覆盖的范围内的视差点的视差值均为零时，将被全零掩码模板覆盖的范围记作空洞填充区域。
在一些实施例中，为了提高空洞填充区域的匹配效率以及视差填充效果，实现对不规则区域进行视差填充，该步骤2中，还包括：以空洞填充区域的边界视差点为生长起始点，在第一位置区域内采用向外生长的方式，确定与空洞填充区域连通且视差值为零的视差点所在区域，记作空洞更新区域；基于空洞更新区域，更新空洞填充区域。
具体的，如图2所示，每一个方块代表一个视差点所在区域，如果在感兴趣区域中找到视差值全部为零的区域，则将该区域记作空洞填充区域201，之后以该空洞填充区域201的边界视差点为生长起始点，采用向外生长的方式，遍历相应第一位置区域中的视差点，确定与该空洞填充区域201连通的、视差点视差值为零的区域，记作空洞更新区域202，进而更新空洞填充区域。
之后，再以更新之前的空洞填充区域201所在行为起始行，确定其与更新后的空洞填充区域边界的交点，将该交点相邻的下一个视差图中的视差点作为窗口起始点，再次利用全零掩码模板203，采用滑动窗口的方式，对第一位置区域进行逐行扫描，直至扫描完第一位置区域的全部区域，确定出其内的全部空洞填充区域。
在一些实施例中，由于向外生长确定出的空洞填充区域其形状不一定规则，且视差图中可能存在噪点，因此，对空洞填充区域进行二次处理，上述步骤2中，还包括：当空洞填充区域在视差图内囊括多个视差值不为零的视差点时，将多个视差值不为零的视差点中不相连的视差点的视差值置为零，并判断多个视差值不为零的视差点中相连的视差点的个数是否小于个数阈值，若是，将对应的视差点的视差值置为零，若否，保留对应的视差点的视差值，更新空洞填充区域。
具体地，由于生长后得到的空洞填充区域的不规则，其在视差图范围内可能囊括了视差值不为零的区域，因此，如果此类视差值不为零的区域对应于一个个孤立的视差点(不相连的视差点)，则可判定该视差点为噪点，此时，将对应视差值置为零即可，更新空洞填充区域。
而对于囊括的多个相连的此类视差点，则可以通过相连的视差点的个数来判断是否为噪点。因此，当相连的视差点的个数小于个数阈值(如少于5个像素点)，则将此类视差点判断为噪点，将相应的视差值置为零即可，更新空洞填充区域；否则，判定此类视差点为有效视差点，保留此类视差点即可。
在一些实施例中，对于空洞填充区域所囊括的视差图中的噪点，还可以通过内接最大矩形的方式进行避让，再结合全零掩码模板逐行匹配的方式进行滤除，上述步骤2中，还包括：以更新前空洞填充区域中左上角的视差点为内接矩形起始点，在更新后空洞填充区域内确定最大内接矩形，其中，该最大内接矩形中不包含视差值不为零的视差点所在区域；基于最大内接矩形，再次更新空洞填充区域。
在一些实施例中，如图3所示，步骤4中，具体包括：当第二位置区域中像素点的像素值大于或等于过曝阈值的占比大于或等于比例阈值时，确定空洞填充区域301的最小外接矩形302；基于最小外接矩形302，确定空洞填充区域301外围的四个邻接矩形303；基于邻接矩形303内包含的各个视差点的视差值，采用插值的方式，对空洞填充区域301进行视差填充。
具体的，在确定邻接矩形303时，首先确定空洞填充区域301的最小外接矩形，然后根据该最小外接矩形的长宽，确定该最小外接矩形四周对应的四个邻接矩形303，这四个邻接矩形303的长宽大小相等，分别为左邻接矩形、右邻接矩形、上邻接矩形、下邻接矩形。
最后，再根据上述四个邻接矩形303中视差点的视差值，通过插值的方式进行视差填充。由于任一个邻接矩形303中每一行或者每一列中均包含多个视差点，因此，在选取插值的数据时，可以采用随机选取的方式进行，即在一行或一列中任意选取一个视差点的视差值作为插值数据；也可以采用平均值的方式进行，即计算一行或一列的视差均值，将该均值作为插值数据；还可以采用加权的方式进行，如根据一行或一列的视差点距离待填充视差点的距离确定权重，再进行归一化计算，将最终结果作为插值数据；或者可以用其他方式确定。
在一些实施例中，为了保证插值的准确性及合理性，保证邻接矩形与空洞填充区域位于同一个平面内，该方法还包括：基于邻接矩形内包含的各个视差点的视差值，进行平面拟合，生成拟合平面；计算邻接矩形内各个视差点到拟合平面的几何距离；当判定几何距离的平均值小于或等于平面阈值时，基于邻接矩形内包含的各个视差点的视差值，采用插值的方式，对空洞填充区域进行视差填充。
具体的，根据这四个邻接矩形中所包含视差点的视差值进行平面拟合(如采用最小二乘法拟合)，生成拟合平面。再进行平面度检测，计算这四个邻接矩形中所包含各个视差点的视差值到该拟合平面的几何距离(该距离的取值为正值)，并以一个邻接矩形为单元，计算该邻接矩形内几何距离的平均值。
判断该平均值是否小于或等于平面阈值，若是，则认为该空洞填充区域与其四个邻接矩形所包含的区域处于同一个平面，可以进行视差填充；若否，则不在同一平面，不进行视差填充。
在一些实施例中，如图4所示，邻接矩形包括左邻接矩形、右邻接矩形、上邻接矩形以及下邻接矩形，采用插值的方式，对空洞填充区域进行视差填充，具体包括：分别计算左邻接矩形、右邻接矩形中每一行的视差值的行平均值，分别记作左行平均值Xl-l以及右行平均值Xl-r；分别计算上邻接矩形、下邻接矩形中每一列的视差值的列平均值，分别记作上列平均值Xr-u以及下列平均值Xr-d；基于左行平均值Xl-l、右行平均值Xl-r、上列平均值Xr-u以及下列平均值Xr-d，采用插值的方式，对空洞填充区域进行视差填充，对应的计算公式为：
X＝(Xl-l*(1-a)+Xl-r*a+Xr-u*(1-b)+Xr-d*b)/2
式中，a、b为权重值，其取值大小由待差值的视差点位置坐标与空洞填充区域边界坐标的差值比值确定。
在本实施例中，基于当前场景图像的感兴趣区域，利用全零掩码模板在视差图中进行匹配，并根据图像中像素点的像素值大于或等于过曝阈值的占比，确定因过曝或光斑引起的平面区域视差空洞，进而采用插值的方式，对空洞填充区域进行视差填充，能够准确的对双目立体相机视差图中平面区域的视差空洞进行视差填充，有利于提升视差图质量，进而提高双目立体相机的测距精度。
实施例2：
如图5所示，本实施例提供了一种视差填充系统100，该系统100包括：第一区域确定单元10，第一区域确定单元10被配置为基于双目立体相机采集到的当前场景图像，获取视差图及当前场景图像的感兴趣区域。
具体的，本实施例中的双目立体相机中设置有两个参数已知的相机，分别记为左相机和右相机，获取到的图像分别记作左图像和右图像，选取右图像作为计算视差图的参考。通过双目匹配算法与左右相机拍摄的图像，可计算出右图像中每一个像素点对应的视差值，进而组成视差图。
需要说明的是，也可以选用左图像作为计算视差图的参考。
现本实施例以右图像和对应的视差图为例进行说明。
通过图像识别算法，可识别出双目立体相机视野范围内各个物体在右图像中所在的区域，作为感兴趣区域，识别物体的类型。再结合视差图，即可确定该物体与双目立体相机之间的距离，实现测距。但由于视差空洞的影响，会导致双目立体相机测距不准确，因此，需要进行视差填充。
需要说明的是，确定出的感兴趣区域可能为一个，也可能为多个，当感兴趣区域为多个时，需要分别对各个感兴趣区域进行视差填充处理，各个感兴趣区域的处理方式相同。
现本实施例以一个感兴趣区域为例，对本实施例中的视差填充方式进行说明。
该系统100包括：第二区域确定单元20，第二区域确定单元20被配置为确定感兴趣区域对应于视差图中的第一位置区域，并基于第一位置区域中的视差值，确定空洞填充区域，其中，空洞填充区域内各视差值为0。
具体的，在确定空洞填充区域的过程中，具体包括：基于感兴趣区域的坐标，在视差图中确定第一位置区域；利用全零掩码模板，采用滑动窗口的方式，逐行在第一位置区域内进行匹配；当判定第一位置区域中被全零掩码模板覆盖的范围内的视差点的视差值均为零时，将被全零掩码模板覆盖的范围记作空洞填充区域。
其中，全零掩码模板的大小可以根据需要进行设定，其大小可以为10×10像素、5×5像素、10×5像素等。
在一些实施例中，为了提高空洞填充区域的匹配效率以及视差填充效果，实现对不规则区域进行视差填充，上述过程还包括：以空洞填充区域的边界视差点为生长起始点，在第一位置区域内采用向外生长的方式，确定与空洞填充区域连通且视差值为零的视差点所在区域，记作空洞更新区域；基于空洞更新区域，更新空洞填充区域。
在一些实施例中，由于向外生长确定出的空洞填充区域其形状不一定规则，且视差图中可能存在噪点，因此，对空洞填充区域进行二次处理，上述过程还包括：当空洞填充区域在视差图内囊括多个视差值不为零的视差点时，将多个视差值不为零的视差点中不相连的视差点的视差值置为零，并判断多个视差值不为零的视差点中相连的视差点的个数是否小于个数阈值，若是，将对应的视差点的视差值置为零，若否，保留对应的视差点的视差值，更新空洞填充区域。
在一些实施例中，对于空洞填充区域所囊括的视差图中的噪点，还可以通过内接最大矩形的方式进行避让，再结合全零掩码模板逐行匹配的方式进行滤除，上述过程还包括：以更新前空洞填充区域中左上角的视差点为内接矩形起始点，在更新后空洞填充区域内确定最大内接矩形，其中，该最大内接矩形中不包含视差值不为零的视差点所在区域；基于最大内接矩形，再次更新空洞填充区域。
该系统100包括：占比计算单元30，占比计算单元30被配置为确定空洞填充区域对应于当前场景图像中左图像或右图像的第二位置区域，计算第二位置区域中像素点的像素值大于或等于过曝阈值的占比。
具体的，基于空洞填充区域的位置坐标，确定右图像中对应的第二位置区域，并计算右图像在第二位置区域中各个像素点的像素值大于或等于过曝阈值的占比，当占比大于或等于比例阈值P时，则进行视差填充。若占比小于比例阈值P，则判定为无需进行视差填充，丢弃当前帧图像即可。
通过对大量的实验数据分析发现，对于视差图中无视差值的区域，如果其在右视图中相应的区域存在过曝现象，则该区域为平面区域的置信度较高。因此，设定过曝阈值，遍历右图像中各个空洞填充区域对应的图像区域中像素点的像素值，如果该图像区域中像素值大于或等于过曝阈值的像素点的占比大于或等于比例阈值P时，则认为该空洞填充区域为因平面过曝所导致的无视差区域，可以采用本实施例中的方式进行视差填充。
其中，过曝阈值的取值可以人为设定，例如像素值的取值范围为[0,255]，则过曝阈值可以设定为220，也可以设定为230。
该系统100包括：视差填充单元40，视差填充单元40被配置为当占比大于或等于比例阈值时，基于空洞填充区域的邻接矩形，采用插值的方式，对空洞填充区域进行视差填充。
具体的，当第二位置区域中像素点的像素值大于或等于过曝阈值的占比大于或等于比例阈值时，确定空洞填充区域的最小外接矩形；基于最小外接矩形，确定空洞填充区域外围的四个邻接矩形；基于邻接矩形内包含的各个视差点的视差值，采用插值的方式，对空洞填充区域进行视差填充。
在一些实施例中，为了保证插值的准确性及合理性，保证邻接矩形与空洞填充区域位于同一个平面内，该上述过程还包括：基于邻接矩形内包含的各个视差点的视差值，进行平面拟合，生成拟合平面；计算邻接矩形内各个视差点到拟合平面的几何距离；当判定几何距离的平均值小于或等于平面阈值时，基于邻接矩形内包含的各个视差点的视差值，采用插值的方式，对空洞填充区域进行视差填充。
具体的，邻接矩形包括左邻接矩形、右邻接矩形、上邻接矩形以及下邻接矩形，采用插值的方式，对空洞填充区域进行视差填充，具体包括：分别计算左邻接矩形、右邻接矩形中每一行的视差值的行平均值，分别记作左行平均值Xl-l以及右行平均值Xl-r；分别计算上邻接矩形、下邻接矩形中每一列的视差值的列平均值，分别记作上列平均值Xr-u以及下列平均值Xr-d；基于左行平均值Xl-l、右行平均值Xl-r、上列平均值Xr-u以及下列平均值Xr-d，采用插值的方式，对空洞填充区域进行视差填充，对应的计算公式为：
X＝(Xl-l*(1-a)+Xl-r*a+Xr-u*(1-b)+Xr-d*b)/2
式中，a、b为权重值，其取值大小由待差值的视差点位置坐标与空洞填充区域边界坐标的差值比值确定。
在本实施例中，基于当前场景图像的感兴趣区域，利用全零掩码模板在视差图中进行匹配，并根据图像中像素点的像素值大于或等于过曝阈值的占比，确定因过曝或光斑引起的平面区域视差空洞，进而采用插值的方式，对空洞填充区域进行视差填充，能够准确的对双目立体相机视差图中平面区域的视差空洞进行视差填充，有利于提升视差图质量，进而提高双目立体相机的测距精度。
本申请实施例又提供了一种计算机可读存储介质，该可读存储介质中存储有计算机程序，当被存储的计算机程序被处理器执行时，实现上述任一实施例中的方法步骤。
具体的，该计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中；计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述任一个实施例中的方法步骤。
上述计算机可读存储介质可以包括随机存取存储器(Random Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其它光盘存储器、磁盘存储器或其它磁存储设备等。
上述处理器可以为中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
至此，已经详细描述了本申请的各实施例。为了避免遮蔽本申请的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
虽然已经通过示例对本申请的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本申请的范围。
本申请中的步骤可根据实际需求进行顺序调整、合并和删减。
尽管参考附图详地公开了本申请，但应理解的是，这些描述仅仅是示例性的，并非用来限制本申请的应用。本申请的保护范围由附加权利要求限定，并可包括在不脱离本申请保护范围和精神的情况下针对发明所作的各种变型、改型及等效方案。

Claims (9)

1.一种视差填充方法，其特征在于，所述方法包括：
步骤1：基于双目立体相机采集到的当前场景图像，获取视差图及所述当前场景图像的感兴趣区域；
步骤2：确定所述感兴趣区域对应于所述视差图中的第一位置区域，并基于所述第一位置区域中的视差值，确定空洞填充区域，其中，所述空洞填充区域内各视差点的视差值为0；
步骤3：确定所述空洞填充区域对应于所述当前场景图像中左图像或右图像的第二位置区域，计算所述第二位置区域中像素点的像素值大于或等于过曝阈值的占比；
步骤4：当所述占比大于或等于比例阈值时，基于所述空洞填充区域的邻接矩形，采用插值的方式，对所述空洞填充区域进行视差填充，其中，所述步骤4具体包括：
当所述第二位置区域中像素点的像素值大于或等于过曝阈值的占比大于或等于比例阈值时，确定所述空洞填充区域的最小外接矩形；
基于所述最小外接矩形，确定所述空洞填充区域外围的四个所述邻接矩形；
基于所述邻接矩形内包含的各个视差点的视差值，采用插值的方式，对所述空洞填充区域进行视差填充。
2.如权利要求1所述的视差填充方法，其特征在于，所述步骤2中，具体包括：
步骤21：基于所述感兴趣区域的坐标，在所述视差图中确定所述第一位置区域；
步骤22：利用全零掩码模板，采用滑动窗口的方式，逐行在所述第一位置区域内进行匹配；
步骤23：当判定所述第一位置区域中被所述全零掩码模板覆盖的范围内的视差点的视差值均为零时，将被所述全零掩码模板覆盖的范围记作所述空洞填充区域。
3.如权利要求2所述的视差填充方法，其特征在于，所述步骤2中，还包括：
以所述空洞填充区域的边界视差点为生长起始点，在所述第一位置区域内采用向外生长的方式，确定与所述空洞填充区域连通且视差值为零的视差点所在区域，记作空洞更新区域；
基于所述空洞更新区域，更新所述空洞填充区域。
4.如权利要求3所述的视差填充方法，其特征在于，所述步骤2中，还包括：
当所述空洞填充区域在所述视差图内囊括多个视差值不为零的视差点时，
将多个所述视差值不为零的视差点中不相连的视差点的视差值置为零，
判断多个所述视差值不为零的视差点中相连的视差点的个数是否小于个数阈值，若是，将对应的视差点的视差值置为零，若否，保留对应的视差点的视差值，
更新所述空洞填充区域。
5.如权利要求3所述的视差填充方法，其特征在于，所述步骤2中，还包括：
以更新前空洞填充区域中左上角的视差点为内接矩形起始点，在所述更新后空洞填充区域内确定最大内接矩形；
基于所述最大内接矩形，再次更新空洞填充区域。
6.如权利要求1所述的视差填充方法，其特征在于，所述步骤4中还包括：
基于所述邻接矩形内包含的各个视差点的视差值，进行平面拟合，生成拟合平面；
计算所述邻接矩形内各个视差点到所述拟合平面的几何距离；
当判定所述几何距离的平均值小于或等于平面阈值时，基于所述邻接矩形内包含的各个视差点的视差值，采用插值的方式，对所述空洞填充区域进行视差填充。
7.如权利要求6所述的视差填充方法，其特征在于，所述邻接矩形包括左邻接矩形、右邻接矩形、上邻接矩形以及下邻接矩形，所述采用插值的方式，对所述空洞填充区域进行视差填充，具体包括：
分别计算所述左邻接矩形、所述右邻接矩形中每一行的视差值的行平均值，分别记作左行平均值以及右行平均值；
分别计算所述上邻接矩形、所述下邻接矩形中每一列的视差值的列平均值，分别记作上列平均值以及下列平均值；
基于所述左行平均值、所述右行平均值、所述上列平均值以及所述下列平均值，采用插值的方式，对所述空洞填充区域进行视差填充。
8.一种视差填充系统，其特征在于，所述系统包括：
第一区域确定单元，所述第一区域确定单元被配置为基于双目立体相机采集到的当前场景图像，获取视差图及所述当前场景图像的感兴趣区域；
第二区域确定单元，所述第二区域确定单元被配置为确定所述感兴趣区域对应于所述视差图中的第一位置区域，并基于所述第一位置区域中的视差值，确定空洞填充区域；
占比计算单元，所述占比计算单元被配置为确定所述空洞填充区域对应于所述当前场景图像中左图像或右图像的第二位置区域，计算所述第二位置区域中像素点的像素值大于或等于过曝阈值的占比；
视差填充单元，所述视差填充单元被配置为当所述占比大于或等于比例阈值时，基于所述空洞填充区域的邻接矩形，采用插值的方式，对所述空洞填充区域进行视差填充，其中，具体包括：
当所述第二位置区域中像素点的像素值大于或等于过曝阈值的占比大于或等于比例阈值时，确定所述空洞填充区域的最小外接矩形；
基于所述最小外接矩形，确定所述空洞填充区域外围的四个所述邻接矩形；
基于所述邻接矩形内包含的各个视差点的视差值，采用插值的方式，对所述空洞填充区域进行视差填充。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1至7中任一项所述的方法。
CN202311524825.9A 2023-11-16 2023-11-16 一种视差填充方法、系统及存储介质 Active CN117576256B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311524825.9A CN117576256B (zh) 2023-11-16 2023-11-16 一种视差填充方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311524825.9A CN117576256B (zh) 2023-11-16 2023-11-16 一种视差填充方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN117576256A CN117576256A (zh) 2024-02-20
CN117576256B true CN117576256B (zh) 2024-04-26

Family

ID=89885531

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311524825.9A Active CN117576256B (zh) 2023-11-16 2023-11-16 一种视差填充方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN117576256B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1371078A (zh) * 2001-02-13 2002-09-25 国际商业机器公司 图像区域处理期间暴露像素的自动着色
CN106340036A (zh) * 2016-08-08 2017-01-18 东南大学 一种基于双目立体视觉的立体匹配方法
CN106485668A (zh) * 2015-09-02 2017-03-08 汤姆逊许可公司 用于过曝修正的方法、系统和装置
CN111047634A (zh) * 2019-11-13 2020-04-21 杭州飞步科技有限公司 场景深度的确定方法、装置、设备及存储介质
CN111314688A (zh) * 2020-03-16 2020-06-19 北京迈格威科技有限公司 视差图空洞填充方法、装置和电子系统
CN116309861A (zh) * 2023-02-13 2023-06-23 湖北大学 一种带视差图三层填充的双目测距方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1371078A (zh) * 2001-02-13 2002-09-25 国际商业机器公司 图像区域处理期间暴露像素的自动着色
CN106485668A (zh) * 2015-09-02 2017-03-08 汤姆逊许可公司 用于过曝修正的方法、系统和装置
CN106340036A (zh) * 2016-08-08 2017-01-18 东南大学 一种基于双目立体视觉的立体匹配方法
CN111047634A (zh) * 2019-11-13 2020-04-21 杭州飞步科技有限公司 场景深度的确定方法、装置、设备及存储介质
CN111314688A (zh) * 2020-03-16 2020-06-19 北京迈格威科技有限公司 视差图空洞填充方法、装置和电子系统
CN116309861A (zh) * 2023-02-13 2023-06-23 湖北大学 一种带视差图三层填充的双目测距方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Reconstruction of multispectral images from spectrally coded light fields of flat scenes;Schambach, M等;《TM-TECHNISCHES MESSEN》;20191231;758-764 *
基于稀疏子空间聚类的视差图优化;孙怡阳;《中国优秀硕士学位论文全文数据库》;20210515(第5期);1-83 *

Also Published As

Publication number Publication date
CN117576256A (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
CN112367514B (zh) 三维场景构建方法、装置、系统和存储介质
US10477178B2 (en) High-speed and tunable scene reconstruction systems and methods using stereo imagery
CN101960860B (zh) 使用基于区域的滤波的深度图提取系统和方法
CN113034568B (zh) 一种机器视觉深度估计方法、装置、系统
US10321112B2 (en) Stereo matching system and method of operating thereof
WO2007052191A2 (en) Filling in depth results
KR20140027468A (ko) 깊이 측정치 품질 향상
US20030206652A1 (en) Depth map creation through hypothesis blending in a bayesian framework
CN110866882B (zh) 基于深度置信度的分层联合双边滤波深度图修复方法
CN110189265B (zh) 距离能量相关三维成像超级像素修复方法
KR20190140828A (ko) 이미지에서 극점의 서브 픽셀 위치를 추정하기 위한 방법, 장치 및 시스템
JP4296617B2 (ja) 画像処理装置および画像処理方法、並びに記録媒体
CN117576256B (zh) 一种视差填充方法、系统及存储介质
CN112116644B (zh) 一种基于视觉的障碍物检测方法和装置、障碍物距离计算方法和装置
CN113643427A (zh) 一种双目测距及三维重建方法
CN116125489A (zh) 一种室内物体三维检测方法、计算机设备及存储介质
CN112258635B (zh) 基于改进双目匹配sad算法的三维重建方法及装置
CN107025636B (zh) 结合深度信息的图像去雾方法及装置和电子装置
JP2006023133A (ja) ３次元形状測定装置および方法
CN112802175B (zh) 大规模场景遮挡剔除方法、装置、设备及存储介质
JP2961140B2 (ja) 画像処理方法
CN117197211B (zh) 一种深度图像生成方法、系统、装置及介质
CN117148378B (zh) 一种基于激光器的光学成像系统
CN109801324B (zh) 一种对光强不敏感的斜面近邻传播立体匹配方法
JP7066580B2 (ja) 画像処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant