CN107330932B - 一种修补视差图中噪点的方法及装置 - Google Patents

一种修补视差图中噪点的方法及装置 Download PDF

Info

Publication number
CN107330932B
CN107330932B CN201710458679.2A CN201710458679A CN107330932B CN 107330932 B CN107330932 B CN 107330932B CN 201710458679 A CN201710458679 A CN 201710458679A CN 107330932 B CN107330932 B CN 107330932B
Authority
CN
China
Prior art keywords
value
pixel point
parallax
pixel
values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710458679.2A
Other languages
English (en)
Other versions
CN107330932A (zh
Inventor
王智慧
田国会
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Co Ltd
Original Assignee
Hisense Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Co Ltd filed Critical Hisense Co Ltd
Priority to CN201710458679.2A priority Critical patent/CN107330932B/zh
Publication of CN107330932A publication Critical patent/CN107330932A/zh
Application granted granted Critical
Publication of CN107330932B publication Critical patent/CN107330932B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种修补视差图中噪点的方法及装置,所述方法包括:采用两台深度相机拍摄同一场景的深度图,基于所述深度图计算所述场景的视差图;若所述视差图中第一像素点为噪点,则在深度图中所述第一像素点对应的检测窗口中,查找灰度值与所述第一像素点的灰度值的差值小于预设的灰度差值阈值的第二像素点;根据查找到的多个第二像素点的视差值重新确定所述视差图中第一像素点的视差值,以提升修补后视差值的准确度。

Description

一种修补视差图中噪点的方法及装置
技术领域
本发明涉及计算机视觉技术领域,尤其涉及一种修补视差图中噪点的方法及装置。
背景技术
双目立体视觉技术是一种对双目摄像机拍摄的同一场景的深度图进行视差估计,确定三维空间场景深度的技术。在通过视差估计算法(例如,半全局匹配算法)得到的视差图中,往往存在大量噪点,这对后续操作及分析处理产生较大干扰。
为了去除这些噪点,目前普遍利用噪点邻域范围内灰度值与噪点的灰度值最接近的像素点的视差值,来替换掉视差图中噪点处的视差值。这种利用单一像素的视差值修补噪点视差值的方法,过于简单,且修补后视差值的准确度不高。
发明内容
本发明的目的在于提供一种修补视差图中噪点的方法及装置,用以提升修补后视差值的准确度。
为实现上述发明目的,本发明提供了如下技术方案:
本发明提供一种修补视差图中噪点的方法,所述方法包括:
采用两台深度相机拍摄同一场景的深度图,基于所述深度图计算所述场景的视差图;
若所述视差图中第一像素点为噪点,则在深度图中所述第一像素点对应的检测窗口中,查找灰度值与所述第一像素点的灰度值的差值小于预设的灰度差值阈值的第二像素点;
根据查找到的多个第二像素点的视差值重新确定所述视差图中第一像素点的视差值。
本发明还提供一种修补视差图中噪点的装置,所述装置包括:
视差图计算单元,用于采用两台深度相机拍摄同一场景的深度图,基于所述深度图计算所述场景的视差图;
像素点查找单元,用于若所述视差图中第一像素点为噪点,则在深度图中所述第一像素点对应的检测窗口中,查找灰度值与所述第一像素点的灰度值的差值小于预设的灰度差值阈值的第二像素点;
视差值确定单元,用于根据查找到的多个第二像素点的视差值重新确定所述视差图中第一像素点的视差值。
由以上描述可以看出,本发明基于噪点邻域内灰度值与噪点灰度值接近的多个像素点的视差值,来重新确定噪点处的视差值,以提升修补后视差值的准确度。
附图说明
图1是本发明实施例示出的一种修补视差图中噪点的方法流程图;
图2A是本发明实施例示出的道路场景的基准图;
图2B是本发明实施例示出的同一道路场景的匹配图;
图2C是采用已有技术中的SGM算法获得的同一道路场景的视差图;
图2D是本发明实施例示出的同一道路场景的修补后的视差图的示意图;
图3是本发明实施例示出的双目立体视觉平台设备的结构示意图;
图4是本发明实施例示出的一种修补视差图中噪点的装置的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本发明可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本发明范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
视差估计是双目立体视觉技术的一个重要环节,是后续景深估计、三维空间重建的基础,因此,视差估计的准确性非常重要。
在利用视差估计算法(例如,半全局匹配算法)得到的视差图中,往往存在大量的噪点。在删除和修补噪点时,可利用噪点邻域内灰度值与该噪点灰度值最接近的像素点的视差值(像素点间的灰度值越接近,位于同一物体上的可能性越大,具有相同视差值的可能性也就越大),来直接替换掉噪点处的视差值,以达到去噪的目的。但是,该处理方式导致视差修补的准确度完全取决于选定的单一像素点的视差值,若该选定的像素点的视差值准确度不高,必然导致噪点修补后的视差值的准确度也不高。
针对上述问题,本发明提出一种修补视差图中噪点的方法,该方法基于噪点邻域内灰度值与噪点灰度值接近的多个像素点的视差值,来修补噪点处的视差值,以提升修补后视差值的准确度。
参见图1,为本发明修补视差图中噪点的方法的一个实施例流程图,该实施例对修补视差图中噪点的过程进行描述。
步骤101,采用两台深度相机拍摄同一场景的深度图,基于所述深度图计算所述场景的视差图。
通过两台深度相机(亦称为双目摄像机)拍摄同一场景的深度图(包括左深度图和右深度图),对左深度图和右深度图进行极线校正,得到平行等位的两幅深度图,使匹配像素对处于同一扫描线上。
以SGM(Semi-Global Matching,半全局匹配)算法为例,该算法利用校正后的左深度图和右深度图之间的像素匹配结果计算基准图(左深度图和右深度图中一个为基准图,另一个为匹配图)中每个像素点的视差值,并利用能量函数加以优化,最终确定基准图中每个像素点的最优视差,即得到基准图的视差图。如图2A所示为基准图,图2B所示为匹配图,图2C所示为计算得到的基准图的视差图,该视差图中存在大量噪点,尤其在物体边缘区域。
步骤102,若所述视差图中第一像素点为噪点,则在深度图中所述第一像素点对应的检测窗口中,查找灰度值与所述第一像素点的灰度值的差值小于预设的灰度差值阈值的第二像素点。
首先,对视差图进行噪点检测,将当前检测的像素点记为第一像素点,检查过程具体为,在视差图中第一像素点对应的检测窗口中,统计视差值与第一像素点的视差值的差值小于预设的视差差值阈值的第三像素点的数量,当统计的第三像素点的数量占检测窗口中所有像素点的总数量的比例小于预设的比例阈值时,说明检测窗口中视差值与第一像素点的视差值接近的像素点比较少,那么该第一像素点为噪点的可能性就非常大,因此,确定该第一像素点为噪点;反之,当统计的第三像素点的数量占检测窗口中所有像素点的总数量的比例大于或等于预设的比例阈值时,说明检测窗口中视差值与第一像素点的视差值接近的像素点较多,该第一像素点为物体表面正常像素点的可能性更大,因此,确定该第一像素不是噪点。
举例说明,第一像素点为像素点p,给定检测窗口半径为r,在以像素点p为中心、半径为r的检测窗口中遍历所有像素点p'。在一种实施方式中,若像素点p'的视差值dp'与像素点p的视差值dp之间的视差差值|dp'-dp|小于预设的视差差值阈值dT,则将像素点p'作为第三像素点进行统计;在另一种实施方式中,可预设阈值调节系数λ1和λ2,例如,λ1∈[0,1),λ2∈(1,2],基于像素点p的视差值dp预设视差值匹配条件dp'∈[λ1dp2dp],其中,λ1dp为下限视差阈值,λ2dp为上限视差阈值,如果像素点p'的视差值dp'满足预设的视差值匹配条件,即像素点p'的视差值dp'位于下限视差阈值和上限视差阈值之间,则像素点p'作为第三像素点进行统计。若统计的所有第三像素点的数量占检测窗口中所有像素点总数量的5%,低于预设的比例阈值80%,则确定像素点p为噪点;若统计的所有第三像素点的数量占检测窗口中所有像素总数量的95%,高于预设的比例阈值80%,则确定像素点p不是噪点。
当通过噪点检测确定视差图中第一像素点为噪点后,从该视差图对应的深度图中,查找第一像素点对应检测窗口中灰度值与第一像素点的灰度值的差值小于预设的灰度差值阈值的第二像素点,即查找灰度值与第一像素点的灰度值接近的像素点,这些灰度值接近的像素点位于同一物体的可能性较大,对应视差值也会比较接近;换言之,排除与第一像素点灰度值差异比较大的像素点,这些灰度值差异比较大的像素点位于不同物体的可能性较大,对应视差值差异也会比较大,因此,排除这些视差值差异较大的像素点,有利于提升后续视差值修补的准确度。
步骤103,根据查找到的多个第二像素点的视差值重新确定所述视差图中第一像素点的视差值。
具体为,确定第二像素点与第一像素点之间的距离权重值、灰度权重值、以及第二像素点的视差值的置信度权重值。下面分别对各权重值进行介绍:
距离权重值:是指根据第二像素点和第一像素点之间的欧氏距离确定的权重值。该权重值随第二像素点和第一像素点之间距离的增大而减小,即距离权重值与第二像素点和第一像素点之间的欧氏距离呈反相关关系。这是由于,距离越近的像素点视差值相同或相近的可能性越大,而距离越远的像素点视差值不同的可能性越大,因此,本发明对距离第一像素点越近的第二像素点设置越大的距离权重值,以提高该距离较近的第二像素点的视差值对第一像素点视差值的影响程度,反之,对距离第一像素点越远的第二像素点设置越小的距离权重值,降低该距离较远的第二像素点的视差值对第一像素点视差值的影响程度。
具体地,作为一种实施方式,可通过如下公式确定第二像素点的距离权重值:
Figure BDA0001324354130000061
其中,p代表第一像素点,p'代表第二像素点,|L(p)-L(p')|为像素点p'与像素点p之间的欧氏距离,S(p,p')为距离权重值。
灰度权重值:是指根据第二像素点和第一像素点之间灰度值的差值确定的权重值,该权重值随第二像素点和第一像素点之间灰度值的差值的增大而减小,即灰度权重值与第二像素点和第一像素点之间的灰度值的差值呈反相关关系。这是由于,灰度值越接近的像素点位于同一物体上的可能性越大,同一物体上像素点的视差值相同或相近,灰度值相差越大的像素点位于不同物体上的可能性越大,视差值往往相差较大,因此,本发明对灰度值与第一像素点灰度值越接近的第二像素点设置越大的灰度权重值,以提高该灰度值接近的第二像素点的视差值对第一像素点视差值的影响程度,反之,对灰度值与第一像素点灰度值相差越大的第二像素点设置越小的灰度权重值,降低该灰度值相差较大的第二像素点的视差值对第一像素点视差值的影响程度。
具体地,作为一种实施方式,可通过如下公式确定第二像素点的灰度权重值:
Figure BDA0001324354130000062
其中,p代表第一像素点,p'代表第二像素点,|I(p)-I(p')|为像素点p'与像素点p之间的灰度值的差值,C(p,p')为灰度权重值。
置信度权重值:是指根据第二像素点自身视差值的置信度值确定的权重值,其中,该第二像素点的视差值的置信度值可通过如下方式确定:
在一种实施方式中,获取第二像素点在不同视差值下的代价函数值,按照函数值从小到大的顺序,从获取的代价函数值中选择函数值最小的第一代价函数值(也称为最优代价函数值)和函数值次小的第二代价函数值(也称为次优代价函数值),将第一代价函数值与第二代价函数值的商,作为第二像素点的视差值的置信度值,可通过如下公式表示:
Figure BDA0001324354130000071
其中,p'代表第二像素点,
Figure BDA0001324354130000072
为最优代价函数值,
Figure BDA0001324354130000073
为次优代价函数值,
Figure BDA0001324354130000074
M(p')为像素点p'的视差值的置信度值。
在另一种实施方式中,可将第一代价函数值对应的视差值(也称为最优视差值)与第二代价函数值对应的视差值(也称为次优视差值)的差值,作为第二像素点的视差值的置信度值,可通过如下公式表示:
M(p')=|d1-d2| 公式(4)
其中,p'代表第二像素点,d1为最优视差值,d2为次优视差值,M(p')为像素点p'的视差值的置信度值。
当最优代价函数值与次优代价函数值比较接近,或者,最优视差值与次优视差值相差较大时,置信度值M(p')越大,通常表明第二像素点的视差值的可信度越低,应设置越小的置信度权重值,记为B(p'),以降低可信度低的第二像素点的视差值对第一像素点视差值的影响程度,反之,置信度值M(p')越小,表明第二像素点的视差值的可信度越高,应设置越大的置信度权重值,以提高可信度高的第二像素点的视差值对第一像素点视差值的影响程度。即置信度权重值B(p')与第二像素点的视差值的置信度值M(p')呈反相关关系。
根据上述获取的每一个第二像素点的距离权重值、灰度权重值、置信度权重值以及第二像素点的视差值,重新确定视差图中第一像素点的视差值,具体为,获取多个第二像素点的距离权重值、灰度权重值、置信度权重值分别与视差值的乘积的第一累加和;获取多个第二像素点的距离权重值、灰度权重值、置信度权重值的乘积的第二累加和;将第一累加和与第二累加和的商作为重新确定的第一像素点的视差值。可通过如下公式表示:
Figure BDA0001324354130000081
其中,p代表第一像素点,p'代表第二像素点,W(p)代表像素点p对应检测窗口中灰度值与第一像素点灰度值接近的多个第二像素点,S(p,p')为距离权重值,C(p,p')为灰度权重值,B(p')为视差值的置信度权重值,dp'为视差图中像素点p'的视差值,
Figure BDA0001324354130000082
为重新确定的像素点p的视差值,
Figure BDA0001324354130000083
利用重新确定的视差值修补视差图中第一像素点原有视差值。
从上述描述可以看出,本发明是基于第一像素点周围与第一像素点灰度值接近的多个第二像素点的视差值来修补第一像素点的视差值,即使存在个别视差值不准确的第二像素点,但是在其它第二像素点的制约下,修补后的第一像素点的视差值也不会偏离太大,且本发明在修补第一像素点的视差值时,综合考虑了第二像素点与第一像素点之间的距离、灰度值的差值以及第二像素点本身视差值的可信度,对于那些与第一像素点距离较近、灰度值接近、自身视差值可信度较高的第二像素点通过设置较大的权重值,提升对第一像素点的影响程度,而对与第一像素点距离较远、灰度值相差较大、自身视差值可信度较低的第二像素点通过设置较小的权重值,降低对第一像素点的影响程度,从而提高修补后视差值的准确度。
参考图2A所示的是一台深度相机拍摄的道路场景的深度图,匹配图图2B所示的是另一台深度相机拍摄的同一道路场景的深度图,视差图图2C是采用现有技术的SGM算法获得的该道路场景的视差图。其中,参考基准图图2A和匹配图图2B可以看出,由于两台深度相机针对同一道路场景拍摄角度的不同,造成道路上的汽车对路边的树木的遮挡在基准图图2A和匹配图图2B中并不相同,而且基准图图2A和匹配图图2B中的电线杆对其旁边的树木的遮挡也不相同。采用现有技术的SGM算法,基于基准图图2A和匹配图图2B计算该道路场景的视差图时,利用基准图图2A和匹配图图2B中像素点的匹配结果计算基准图图2A中每一个像素点的视差值,并利用能量函数传播得到每一个像素点的最终能量值,确定该像素点的最优视差值,视差图如图2C所示。参考图2C所示,由于汽车对路边的树木的遮挡和电线杆对其旁边的树木的遮挡,使得在最终匹配出来的视差图中局部存在较多的噪点,示例的,如图2C中方框框出来的噪点。
但是,参考图2D所示,图2D所示的视差图是采用本发明实施例的修补视差图中噪点的方法对其进行噪点修补后的视差图。参考图2D所示,由于本发明实施例的修补视差图中噪点的方法,通过噪点邻域内灰度值与噪点的灰度值接近的多个像素点的视差值,来重新确定噪点的视差值,明显减少了物体边缘区域的噪点数量,进而降低了由于汽车对路边的树木的遮挡和电线杆对其旁边的树木的遮挡导致的视差图中的噪点数量,提升了修补后的视差值的准确度。
与前述修补视差图中噪点的方法的实施例相对应,本发明还提供了修补视差图中噪点的装置的实施例。
本发明修补视差图中噪点的装置的实施例可以应用在双目立体视觉平台设备上。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在设备的处理器运行存储器中对应的计算机程序指令形成的。从硬件层面而言,如图3所示,为本发明修补视差图中噪点的装置所在设备的一种硬件结构图,除了图3所示的处理器以及非易失性存储器之外,实施例中装置所在的设备通常根据该设备的实际功能,还可以包括其他硬件,对此不再赘述。
请参考图4,为本发明一个实施例中的修补视差图中噪点的装置的结构示意图。该修补视差图中噪点的装置包括视差图计算单元401、像素点查找单元402、视差值确定单元403,其中:
视差图计算单元401,用于采用两台深度相机拍摄同一场景的深度图,基于所述深度图计算所述场景的视差图;
像素点查找单元402,用于若所述视差图中第一像素点为噪点,则在深度图中所述第一像素点对应的检测窗口中,查找灰度值与所述第一像素点的灰度值的差值小于预设的灰度差值阈值的第二像素点;
视差值确定单元403,用于根据查找到的多个第二像素点的视差值重新确定所述视差图中第一像素点的视差值。
进一步地,所述像素点查找单元402确定所述视差图中第一像素为噪点,具体包括:
在视差图中所述第一像素点对应的检测窗口中,统计视差值与所述第一像素点的视差值的差值小于预设的视差差值阈值的第三像素点的数量;当统计的第三像素点的数量占所述检测窗口中所有像素点的总数量的比例小于预设的比例阈值时,确定所述第一像素点为噪点。
进一步地,
所述视差值确定单元403,具体用于确定第二像素点与第一像素点之间的距离权重值、灰度权重值、以及第二像素点的视差值的置信度权重值,其中,所述距离权重值与所述第二像素点和所述第一像素点之间的欧氏距离呈反相关关系,所述灰度权重值与所述第二像素点和所述第一像素点之间的灰度值的差值呈反相关关系,所述置信度权重值与所述第二像素点的视差值的置信度值呈反相关关系;根据所述距离权重值、所述灰度权重值、所述置信度权重值和所述第二像素点的视差值,确定所述视差图中第一像素点的视差值。
进一步地,所述视差值确定单元403根据所述距离权重值、所述灰度权重值、所述置信度权重值和所述第二像素点的视差值,确定所述视差图中第一像素点的视差值,具体包括:
获取所述多个第二像素点的距离权重值、灰度权重值、置信度权重值分别与视差值的乘积的第一累加和;获取所述多个第二像素点的距离权重值、灰度权重值、置信度权重值的乘积的第二累加和;将所述第一累加和与所述第二累加和的商作为重新确定的所述第一像素点的视差值。
进一步地,所述视差值确定单元403确定第二像素点的视差值的置信度权重值,具体包括:
获取所述第二像素点在不同视差值下的代价函数值;按照函数值从小到大的顺序,从获取的代价函数值中选择第一代价函数值和第二代价函数值;将所述第一代价函数值对应的视差值与所述第二代价函数值对应的视差值的差值,作为所述第二像素点的视差值的置信度值;根据所述第二像素点的视差值的置信度值确定第二像素点的视差值的置信度权重值,其中,所述置信度权重值与所述第二像素点的视差值的置信度值呈反相关关系。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

Claims (6)

1.一种修补视差图中噪点的方法,其特征在于,所述方法包括:
采用两台深度相机拍摄同一场景的深度图,基于所述深度图计算所述场景的视差图;
若所述视差图中第一像素点为噪点,则在深度图中所述第一像素点对应的检测窗口中,查找灰度值与所述第一像素点的灰度值的差值小于预设的灰度差值阈值的第二像素点;
确定第二像素点与第一像素点之间的距离权重值、灰度权重值、以及第二像素点的视差值的置信度权重值,其中,所述距离权重值与所述第二像素点和所述第一像素点之间的欧氏距离呈反相关关系,所述灰度权重值与所述第二像素点和所述第一像素点之间的灰度值的差值呈反相关关系,所述置信度权重值与所述第二像素点的视差值的置信度值呈反相关关系;
获取多个所述第二像素点的距离权重值、灰度权重值、置信度权重值、视差值的乘积的第一累加和;
获取多个所述第二像素点的距离权重值、灰度权重值、置信度权重值的乘积的第二累加和;
将所述第一累加和与所述第二累加和的商作为重新确定的所述第一像素点的视差值。
2.如权利要求1所述的方法,其特征在于,确定所述视差图中第一像素点为噪点,具体包括:
在视差图中所述第一像素点对应的检测窗口中,统计视差值与所述第一像素点的视差值的差值小于预设的视差差值阈值的第三像素点的数量;
当统计的第三像素点的数量占所述检测窗口中所有像素点的总数量的比例小于预设的比例阈值时,确定所述第一像素点为噪点。
3.如权利要求1所述的方法,其特征在于,所述确定第二像素点的视差值的置信度权重值,具体包括:
获取所述第二像素点在不同视差值下的代价函数值;
按照函数值从小到大的顺序,从获取的代价函数值中选择第一代价函数值和第二代价函数值;
将所述第一代价函数值对应的视差值与所述第二代价函数值对应的视差值的差值,作为所述第二像素点的视差值的置信度值;
根据所述第二像素点的视差值的置信度值确定第二像素点的视差值的置信度权重值,其中,所述置信度权重值与所述第二像素点的视差值的置信度值呈反相关关系。
4.一种修补视差图中噪点的装置,其特征在于,所述装置包括:
视差图计算单元,用于采用两台深度相机拍摄同一场景的深度图,基于所述深度图计算所述场景的视差图;
像素点查找单元,用于若所述视差图中第一像素点为噪点,则在深度图中所述第一像素点对应的检测窗口中,查找灰度值与所述第一像素点的灰度值的差值小于预设的灰度差值阈值的第二像素点;
视差值确定单元,用于确定第二像素点与第一像素点之间的距离权重值、灰度权重值、以及第二像素点的视差值的置信度权重值,其中,所述距离权重值与所述第二像素点和所述第一像素点之间的欧氏距离呈反相关关系,所述灰度权重值与所述第二像素点和所述第一像素点之间的灰度值的差值呈反相关关系,所述置信度权重值与所述第二像素点的视差值的置信度值呈反相关关系;获取多个所述第二像素点的距离权重值、灰度权重值、置信度权重值、视差值的乘积的第一累加和;获取多个所述第二像素点的距离权重值、灰度权重值、置信度权重值的乘积的第二累加和;将所述第一累加和与所述第二累加和的商作为重新确定的所述第一像素点的视差值。
5.如权利要求4所述的装置,其特征在于,所述像素点查找单元确定所述视差图中第一像素为噪点,具体包括:
在视差图中所述第一像素点对应的检测窗口中,统计视差值与所述第一像素点的视差值的差值小于预设的视差差值阈值的第三像素点的数量;当统计的第三像素点的数量占所述检测窗口中所有像素点的总数量的比例小于预设的比例阈值时,确定所述第一像素点为噪点。
6.如权利要求4所述的装置,其特征在于,所述视差值确定单元确定第二像素点的视差值的置信度权重值,具体包括:
获取所述第二像素点在不同视差值下的代价函数值;按照函数值从小到大的顺序,从获取的代价函数值中选择第一代价函数值和第二代价函数值;将所述第一代价函数值对应的视差值与所述第二代价函数值对应的视差值的差值,作为所述第二像素点的视差值的置信度值;根据所述第二像素点的视差值的置信度值确定第二像素点的视差值的置信度权重值,其中,所述置信度权重值与所述第二像素点的视差值的置信度值呈反相关关系。
CN201710458679.2A 2017-06-16 2017-06-16 一种修补视差图中噪点的方法及装置 Expired - Fee Related CN107330932B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710458679.2A CN107330932B (zh) 2017-06-16 2017-06-16 一种修补视差图中噪点的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710458679.2A CN107330932B (zh) 2017-06-16 2017-06-16 一种修补视差图中噪点的方法及装置

Publications (2)

Publication Number Publication Date
CN107330932A CN107330932A (zh) 2017-11-07
CN107330932B true CN107330932B (zh) 2020-08-14

Family

ID=60195513

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710458679.2A Expired - Fee Related CN107330932B (zh) 2017-06-16 2017-06-16 一种修补视差图中噪点的方法及装置

Country Status (1)

Country Link
CN (1) CN107330932B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634304B (zh) * 2020-12-31 2022-09-13 上海易维视科技有限公司 去除3d格式视频或图像中的反射光斑的方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103310421B (zh) * 2013-06-27 2016-03-09 清华大学深圳研究生院 针对高清图像对的快速立体匹配方法及视差图获取方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102136136B (zh) * 2011-03-17 2012-10-03 南京航空航天大学 基于自适应Census变换的光度不敏感立体匹配方法
CN103226821B (zh) * 2013-04-27 2015-07-01 山西大学 基于视差图像素分类校正优化的立体匹配方法
CN106651897B (zh) * 2016-10-12 2019-12-31 成都快眼科技有限公司 一种基于超像素分割的视差修正方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103310421B (zh) * 2013-06-27 2016-03-09 清华大学深圳研究生院 针对高清图像对的快速立体匹配方法及视差图获取方法

Also Published As

Publication number Publication date
CN107330932A (zh) 2017-11-07

Similar Documents

Publication Publication Date Title
US9237326B2 (en) Imaging system and method
KR101622344B1 (ko) 적응적 영역 가중치가 적용된 센서스 변환 기반 스테레오 정합을 통한 시차 계산 방법 및 그 시스템
CN107316326B (zh) 应用于双目立体视觉的基于边的视差图计算方法和装置
CN105069804B (zh) 基于智能手机的三维模型扫描重建方法
US20140003704A1 (en) Imaging system and method
JP2011013706A (ja) ステレオ画像処理装置およびステレオ画像処理方法
CN107980138A (zh) 一种虚警障碍物检测方法及装置
CN116309757B (zh) 基于机器视觉的双目立体匹配方法
CN110598689B (zh) 用于估计图像中极值点的子像素位置的方法、设备和系统
CN109520480B (zh) 基于双目立体视觉的测距方法及测距系统
CN108460792B (zh) 一种基于图像分割的高效聚焦立体匹配方法
CN107392898B (zh) 应用于双目立体视觉中的像素点视差值计算方法及装置
JP2009009331A (ja) 白線検出装置および白線検出方法
CN111105452A (zh) 基于双目视觉的高低分辨率融合立体匹配方法
CN112261390B (zh) 车载摄像设备及其图像优化装置和优化方法
CN108596012B (zh) 一种障碍物框合并方法、装置及终端
CN111428651A (zh) 一种车辆的障碍信息获取方法、系统及车辆
JP2011232965A (ja) 平面領域検出装置及びステレオカメラシステム
CN107330932B (zh) 一种修补视差图中噪点的方法及装置
CN108805841B (zh) 一种基于彩色图引导的深度图恢复及视点合成优化方法
Emlek et al. Variable window size for stereo image matching based on edge information
JP2961272B1 (ja) 特徴ベクトルを利用した物体の認識装置および方法
CN107240083B (zh) 一种修补视差图中噪点的方法及装置
CN114066779B (zh) 一种深度图滤波方法及装置、电子设备、存储介质
CN107680083B (zh) 视差确定方法和视差确定装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200814