CN107240083B - 一种修补视差图中噪点的方法及装置 - Google Patents
一种修补视差图中噪点的方法及装置 Download PDFInfo
- Publication number
- CN107240083B CN107240083B CN201710515422.6A CN201710515422A CN107240083B CN 107240083 B CN107240083 B CN 107240083B CN 201710515422 A CN201710515422 A CN 201710515422A CN 107240083 B CN107240083 B CN 107240083B
- Authority
- CN
- China
- Prior art keywords
- value
- parallax
- pixel
- pixel point
- pixel points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000001514 detection method Methods 0.000 claims abstract description 49
- 230000003321 amplification Effects 0.000 claims description 9
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 description 45
- 238000010586 diagram Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 7
- 230000003247 decreasing effect Effects 0.000 description 4
- 230000008439 repair process Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 208000001491 myopia Diseases 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
本发明提供一种修补视差图中噪点的方法及装置，该方法包括：基于两台深度相机拍摄的同一场景的深度图确定场景的视差图；若视差图中第一像素点为噪点，统计第一像素点的检测窗口中视差值的置信度值小于第一置信度阈值、且灰度值与第一像素点的灰度值的差值小于灰度阈值的第二像素点的数量；若第二像素点的数量与检测窗口内的像素点数量的比例大于比例阈值，则基于第二像素点的视差值替换第一像素点的视差值；若第二像素点的数量与检测窗口内的像素点数量的比例小于或等于比例阈值，基于按比例放大后的匹配窗口确定第一像素点的最优代价函数，用最优代价函数对应的视差值替换第一像素点的视差值，以提升修补后视差值的准确度。
Description
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种修补视差图中噪点的方法及装置。
背景技术
双目立体视觉技术是一种对双目摄像机拍摄的同一场景的深度图进行视差估计，确定三维空间场景深度的技术。在通过视差估计算法(例如，半全局匹配算法)得到的视差图中，往往存在大量噪点，这些噪点对后续操作及分析处理会产生较大干扰，因此，在使用视差图之前一般需要进行噪点修补。
目前普遍采用的修补方式是对视差图中每一个噪点采用相同的修补方法进行修补，但是视差图中每一个噪点及其周围像素点的情况不同，采用同一同修补方法进行修补，必然导致某些噪点修补的准确度不高。
发明内容
本发明的目的在于提供一种修补视差图中噪点的方法及装置，用以提升修补后视差值的准确度。
为实现上述发明目的，本发明提供了如下技术方案：
本发明提供一种修补视差图中噪点的方法，所述方法包括：
采用两台深度相机拍摄同一场景的深度图，基于预设的匹配窗口确定所述深度图中像素点的代价函数，并基于所述代价函数确定所述场景的视差图；
若所述视差图中第一像素点为噪点，统计所述第一像素点的检测窗口中视差值的置信度值小于预设的第一置信度阈值、且灰度值与所述第一像素点的灰度值的差值小于预设的灰度阈值的第二像素点的数量；
若所述第二像素点的数量与所述检测窗口内的像素点数量的比例大于预设的比例阈值，则基于所述第二像素点的视差值替换所述第一像素点在所述视差图中的视差值；
若所述第二像素点的数量与所述检测窗口内的像素点数量的比例小于或等于预设的比例阈值，按照预设的比例放大所述匹配窗口，基于放大后的匹配窗口确定所述第一像素点的最优代价函数，并用所述最优代价函数对应的视差值替换所述第一像素点在所述视差图中的视差值。
本发明还提供一种修补视差图中噪点的装置，所述装置包括：
视差图确定单元，用于采用两台深度相机拍摄同一场景的深度图，基于预设的匹配窗口确定所述深度图中像素点的代价函数，并基于所述代价函数确定所述场景的视差图；
像素点统计单元，用于若所述视差图中第一像素点为噪点，统计所述第一像素点的检测窗口中视差值的置信度值小于预设的第一置信度阈值、且灰度值与所述第一像素点的灰度值的差值小于预设的灰度阈值的第二像素点的数量；
第一视差值替换单元，用于若所述第二像素点的数量与所述检测窗口内的像素点数量的比例大于预设的比例阈值，则基于所述第二像素点的视差值替换所述第一像素点在所述视差图中的视差值；
第二视差值替换单元，用于若所述第二像素点的数量与所述检测窗口内的像素点数量的比例小于或等于预设的比例阈值，按照预设的比例放大所述匹配窗口，基于放大后的匹配窗口确定所述第一像素点的最优代价函数，并用所述最优代价函数对应的视差值替换所述第一像素点在所述视差图中的视差值。
由以上描述可以看出，本发明在检测为噪点的第一像素点对应的检测窗口中，统计视差值可信度较高(置信度值较小)且灰度值与第一像素点的灰度值接近的第二像素点的数量，当统计的第二像素点的数量占检测窗口中像素点总数量的比例较大时，说明检测窗口中灰度值与第一像素点的灰度值接近且视差值可信度较高的第二像素点的数量较多，其中，灰度值接近表明第一像素点与第二像素点位于同一物体上的可能性较大，即具有相同或相近视差值的可能性较大，因此，本发明利用视差值相同或相近且视差值可信度较高的第二像素点的视差值修补第一像素点的视差值，可提升修补后视差值的准确度；而当统计的第二像素点的数量占检测窗口中像素点总数量的比例较小时，即视差值相同或相近且视差值可信度较高的第二像素点的数量较少时，基于数量较少的第二像素点的视差值来修补第一像素点的视差值的准确度无法保证，因此，本发明针对第一像素点重新进行像素匹配，在原匹配窗口的基础上，按照预设比例放大匹配窗口，即增加匹配窗口中像素点的数量，提升匹配的准确度，进而利用根据放大后的匹配窗口确定的最优代价函数对应的视差值，来替换第一像素点的视差值，提升修补后视差值的准确度。
附图说明
图1是本发明实施例示出的一种修补视差图中噪点的方法流程图；
图2是本发明实施例示出的像素点匹配示意图；
图3A是本发明实施例示出的道路场景的基准图；
图3B是本发明实施例示出的同一道路场景的匹配图；
图3C是采用已有技术中的SGM算法获得的同一道路场景的视差图；
图3D是本发明实施例示出的同一道路场景的修补后的视差图的示意图；
图4是本发明实施例示出的放大匹配窗口后的像素点匹配示意图；
图5是本发明实施例示出的双目立体视觉平台设备的结构示意图；
图6是本发明实施例示出的另一种修补视差图中噪点的装置的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本发明提供一种修补视差图中噪点的方法，该方法在噪点对应的检测窗口中，统计视差值置信度较高且灰度值与噪点的灰度值接近的第二像素点的数量，根据第二像素点的数量占检测窗口中像素点总数量的比例，采用不同的修补方式进行修补，以提升不同噪点修补后的视差值的准确度。
参见图1，为本发明修补视差图中噪点的方法的一个实施例流程图，该实施例对修补视差图中噪点的过程进行描述。
步骤101，采用两台深度相机拍摄同一场景的深度图，基于预设的匹配窗口确定所述深度图中像素点的代价函数，并基于所述代价函数确定所述场景的视差图。
通过两台深度相机(亦称为双目摄像机)拍摄同一场景的深度图(包括左深度图和右深度图)，对左深度图和右深度图进行极线校正，得到两幅平行等位的深度图，以便后续像素匹配时在同一扫描线上查找匹配像素点。
以SGM(Semi-Global Matching，半全局匹配)算法为例，该算法对校正后的左深度图和右深度图(左深度图和右深度图中一个为基准图，另一个为匹配图)进行像素匹配，参见图2，基准图中像素点p基于预设的匹配窗口与匹配图中与像素点p处于同一扫描线上的各像素点进行匹配，以匹配图中的像素点q为例，匹配过程即建立像素点p与像素点q之间的代价函数的过程，再利用能量函数对像素点p的视差值加以优化，最终确定基准图中像素点p的最优视差值。对基准图中的每一个像素点执行上述匹配及优化过程，得到基准图对应的视差图。
参见图3A，为本发明实施例示出的一种道路场景的基准图，图3B为同一道路场景的匹配图，图3C为采用上述SGM算法得到的同一道路场景的视差图，该视差图中存在大量噪点。
步骤102，若所述视差图中第一像素点为噪点，统计所述第一像素点的检测窗口中视差值的置信度值小于预设的第一置信度阈值、且灰度值与所述第一像素点的灰度值的差值小于预设的灰度阈值的第二像素点的数量。
首先，对视差图进行噪点检测。作为一实施方式，统计视差图中第一像素点对应检测窗口中视差值与第一像素点的视差值的差值小于预设的视差阈值的像素点的个数，即视差值与第一像素点的视差值接近的像素点的数量，当统计的视差值接近的像素点的数量占检测窗口中所有像素点的总数量的比例小于预设的第一比例阈值时，说明检测窗口中视差值与第一像素点的视差值接近的像素点比较少，该第一像素点为噪点的可能性非常大，因此，确定该第一像素点为噪点。
当确定第一像素点为噪点时，统计第一像素点的检测窗口中视差值的置信度值小于预设的第一置信度阈值、且灰度值与第一像素点的灰度值的差值小于预设的灰度阈值的第二像素点的数量，即，统计检测窗口中视差值可信度高(置信度值越小，视差值的可信度越高)且灰度值与第一像素点的灰度值接近的第二像素点的数量。
其中，检测窗口中像素点的视差值的置信度值可通过如下方式确定：
在一种实施方式中，获取像素点在不同视差值下的代价函数值，按照函数值从小到大的顺序，从获取的代价函数值中选择函数值最小的第一代价函数值(也称为最优代价函数值)和函数值次小的第二代价函数值(也称为次优代价函数值)，将第一代价函数值与第二代价函数值的商，作为像素点的视差值的置信度值，可通过如下公式表示：
其中，p'为待计算视差值置信度值的像素点，
为最优代价函数值，
为次优代价函数值，
M(p')为像素点p'的视差值的置信度值。
在另一种实施方式中，可将第一代价函数值对应的视差值(也称为最优视差值)与第二代价函数值对应的视差值(也称为次优视差值)的差值，作为第二像素点的视差值的置信度值，可通过如下公式表示：
M(p')＝|d1-d2| 公式(2)
其中，p'为待计算视差值置信度值的像素点，d1为最优视差值，d2为次优视差值，M(p')为像素点p'的视差值的置信度值。
当最优代价函数值与次优代价函数值比较接近，或者，最优视差值与次优视差值相差较大时，置信度值M(p')越大，表明像素点的视差值的可信度越低；反之，置信度值M(p')越小，对应视差值的可信度就越高。
步骤103，若所述第二像素点的数量与所述检测窗口内的像素点数量的比例大于预设的比例阈值，则基于所述第二像素点的视差值替换所述第一像素点在所述视差图中的视差值。
当通过步骤102统计的第二像素点的数量与检测窗口内的像素点数量的比例大于预设的比例阈值时，说明检测窗口中灰度值与第一像素点的灰度值接近且视差值可信度较高的第二像素点的数量较多，其中，灰度值接近表明第一像素点与第二像素点位于同一物体上的可能性较大，那么第一像素点与第二像素点具有相同或相近视差值的可能性就较大，且由于第二像素点的视差值的可信度较高，因此，基于第二像素点的视差值替换视差图中第一像素点的视差值的准度度就会较高。具体替换方式如下：
在第一种实施方式中，可直接利用检测窗口中视差值的置信度值最小的第二像素点的视差值替换第一像素点的视差值，即利用视差值可信度最高的第二像素点的视差值替换第一像素点的视差值，该替换方式简单易行，计算量小，但是过于依赖单一像素点的视差值，该可信度最高的第二像素点的视差值未必是与第一像素点的视差值相同或最相近的视差值，因此，不能保证修补后视差值具有较高的准确度。
在第二种实施方式中，可利用检测窗口中所有第二像素点的视差值的均值替换第一像素点的视差值，即基于多个第二像素点的视差值来确定第一像素点的视差值，以避免过于依赖单一像素点的视差值，即利用多个第二像素点的视差值的相互制约(视差均值)，避免重新确定的第一像素点的视差值出现严重偏差，在一定程度上可提升修补后第一像素点的视差值的准确度。
在第三种实施方式中，首先确定第二像素点与第一像素点之间的距离权重值、灰度权重值、以及第二像素点的视差值的置信度权重值。下面分别对各权重值进行介绍：
距离权重值：是指根据第二像素点和第一像素点之间的欧氏距离确定的权重值。该权重值随第二像素点和第一像素点之间距离的增大而减小，即距离权重值与第二像素点和第一像素点之间的欧氏距离呈反相关关系。这是由于，距离越近的像素点视差值相同或相近的可能性越大，而距离越远的像素点视差值不同的可能性越大，因此，本发明对距离第一像素点越近的第二像素点设置越大的距离权重值，以提高该距离较近的第二像素点的视差值对第一像素点视差值的影响程度，反之，对距离第一像素点越远的第二像素点设置越小的距离权重值，降低该距离较远的第二像素点的视差值对第一像素点视差值的影响程度。
具体地，作为一种实施方式，可通过如下公式确定第二像素点的距离权重值：
其中，p代表第一像素点，p'代表第二像素点，|L(p)-L(p')|为像素点p'与像素点p之间的欧氏距离，S(p,p')为距离权重值。
灰度权重值：是指根据第二像素点和第一像素点之间灰度值的差值确定的权重值，该权重值随第二像素点和第一像素点之间灰度值的差值的增大而减小，即灰度权重值与第二像素点和第一像素点之间的灰度值的差值呈反相关关系。这是由于，灰度值越接近的像素点位于同一物体上的可能性越大，同一物体上像素点的视差值相同或相近，灰度值相差越大的像素点位于不同物体上的可能性越大，视差值往往相差较大，因此，本发明对灰度值与第一像素点灰度值越接近的第二像素点设置越大的灰度权重值，以提高该灰度值接近的第二像素点的视差值对第一像素点视差值的影响程度，反之，对灰度值与第一像素点灰度值相差越大的第二像素点设置越小的灰度权重值，降低该灰度值相差较大的第二像素点的视差值对第一像素点视差值的影响程度。
具体地，作为一种实施方式，可通过如下公式确定第二像素点的灰度权重值：
其中，p代表第一像素点，p'代表第二像素点，|I(p)-I(p')|为像素点p'与像素点p之间的灰度值的差值，C(p,p')为灰度权重值。
置信度权重值：是指根据第二像素点自身视差值的置信度值确定的权重值，其中，第二像素点的视差值的置信度值可根据前述公式(1)或公式(2)得到，在此不再赘述。
在得到第二像素点的置信度值M(p')后，基于该值M(p')确定置信度权重值，记为B(p')。具体为，置信度权重值B(p')与第二像素点的视差值的置信度值M(p')呈反相关关系。即置信度值M(p')越大，表明第二像素点的视差值的可信度越低，应设置越小的置信度权重值，以降低可信度低的第二像素点的视差值对第一像素点视差值的影响程度，反之，置信度值M(p')越小，表明第二像素点的视差值的可信度越高，应设置越大的置信度权重值，以提高可信度高的第二像素点的视差值对第一像素点视差值的影响程度。
基于上述确定的距离权重值、灰度权重值、置信度权重值和第二像素点的视差值，替换第一像素点在视差图中的视差值。具体为，获取多个第二像素点的距离权重值、灰度权重值、置信度权重值分别与视差值的乘积的第一累加和；获取多个第二像素点的距离权重值、灰度权重值、置信度权重值的乘积的第二累加和；利用第一累加和与第二累加和的商，替换第一像素点在视差图中的视差值。可通过如下公式表示：
其中，p为第一像素点，p'为第二像素点，W(p)代表像素点p对应检测窗口中的多个第二像素点，S(p,p')为距离权重值，C(p,p')为灰度权重值，B(p')为视差值的置信度权重值，dp'为视差图中像素点p'的视差值，
为计算得到的像素点p的视差值，用于替换像素点p在视差图中的视差值，
本实施方式综合考虑了第二像素点与第一像素点之间的距离、灰度值的差值以及第二像素点自身视差值的可信度，对于与第一像素点距离较近、灰度值接近、且自身视差值可信度较高的第二像素点通过设置较大的权重值，提升对第一像素点视差值的影响程度，而对与第一像素点距离较远、灰度值相差较大、且自身视差值可信度较低的第二像素点通过设置较小的权重值，降低对第一像素点视差值的影响程度，相较于前两种实施方式，本实施方式的视差值修补后的准确度更高。
参考基准图图3A所示的是一台深度相机拍摄的道路场景的深度图，匹配图图3B所示的是另一台深度相机拍摄的同一道路场景的深度图，视差图图3C是采用现有技术的SGM算法获得的该道路场景的视差图。其中，参考基准图图3A和匹配图图3B可以看出，由于两台深度相机针对同一道路场景拍摄角度的不同，造成道路上的汽车对路边的树木的遮挡在基准图图3A和匹配图图3B中并不相同，而且基准图图3A和匹配图图3B中的电线杆对其旁边的树木的遮挡也不相同。采用现有技术的SGM算法，基于基准图图3A和匹配图图3B计算该道路场景的视差图时，利用基准图图3A和匹配图图3B中像素点的匹配结果计算基准图图3A中每一个像素点的视差值，并利用能量函数传播得到每一个像素点的最终能量值，确定该像素点的最优视差值，视差图如图3C所示。参考图3C所示，由于汽车对路边的树木的遮挡和电线杆对其旁边的树木的遮挡，使得在最终匹配出来的视差图中局部存在较多的噪点，示例的，如图3C中方框框出来的噪点。
但是，参考图3D所示，图3D所示的视差图是采用前述第三种实施方式进行噪点修补后的视差图。参考图3D所示，由于第三种实施方式的修补视差图中噪点的方法，基于噪点邻域内灰度值与噪点的灰度值接近且视差值可信度较高的多个像素点与噪点之间的距离、灰度值的差值以及像素点自身视差值的可信度，设置了不同的权重值，使得与噪点距离较近、灰度值接近、且自身视差值可信度较高的像素点具有较大的权重值，提升对噪点视差值的影响程度，而与噪点距离较远、灰度值相差较大、且自身视差值可信度较低的像素点具有较小的权重值，降低对噪点视差值的影响程度，因此，明显减少了物体边缘区域的噪点数量，降低了由于汽车对路边的树木的遮挡和电线杆对其旁边的树木的遮挡导致的视差图中的噪点数量，提升了修补后的视差值的准确度。
步骤104，若所述第二像素点的数量与所述检测窗口内的像素点数量的比例小于或等于预设的比例阈值，按照预设的比例放大所述匹配窗口，基于放大后的匹配窗口确定所述第一像素点的最优代价函数，并用所述最优代价函数对应的视差值替换所述第一像素点在所述视差图中的视差值。
当通过步骤102统计的第二像素点的数量与检测窗口内的像素点数量的比例小于或等于预设的比例阈值时，说明检测窗口中灰度值与第一像素点的灰度值接近且视差值可信度较高的第二像素点的数量较少，如果直接利用数量较少的第二像素点的视差值替换第一像素点的视差值，例如，通过步骤103提到的三种替换方式进行替换，视差值的准确性仍无法保证。
为此，本发明针对确定为噪点的第一像素点重新执行像素匹配，在原匹配窗口的基础上，按照预设的比例放大匹配窗口(增加匹配窗口中像素点的数量，提升匹配的准确度)，参见图4，虚线方框为放大后的匹配窗口，基于放大后的匹配窗口确定第一像素点的最优代价函数(函数值最小的代价函数)，获取该最优代价函数对应的视差值(记为最优视差值)，然后，计算该最优视差值的置信度值，若该最优视差值的置信度值小于预设的第二置信度阈值，说明该最优视差值的可信度高，因此，用该可信度高的最优视差值替换第一像素点在视差图中的视差值，以保证替换后视差值的准确度；若该最优视差值的置信度值大于或等于预设的第二置信度阈值，说明此次放大匹配窗口后得到的最优视差值的可信度不高，不能直接用于替换第一像素点的视差值，为此，本发明预设匹配窗口的放大次数阈值，在匹配窗口的放大次数未达到预设的放大次数阈值时，继续按照比例放大匹配窗口，在基于放大后的匹配窗口获取到可信度高的最优视差值时替换视差图中第一像素点的视差值。
从上述描述可以看出，本发明针对同一幅视差图，可基于统计的第一像素点(噪点)周围视差值置信度高且灰度值与噪点的灰度值接近的第二像素点的数量的不同，采取不同的修补方式进行修补，因此，可提升修补后视差图的视差值的准确度。
与前述修补视差图中噪点的方法的实施例相对应，本发明还提供了修补视差图中噪点的装置的实施例。
本发明修补视差图中噪点的装置的实施例可以应用在双目立体视觉平台设备上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的处理器运行存储器中对应的计算机程序指令形成的。从硬件层面而言，如图5所示，为本发明修补视差图中噪点的装置所在设备的一种硬件结构图，除了图5所示的处理器以及非易失性存储器之外，实施例中装置所在的设备通常根据该设备的实际功能，还可以包括其他硬件，对此不再赘述。
请参考图6，为本发明一个实施例中的修补视差图中噪点的装置的结构示意图。该修补视差图中噪点的装置包括视差图确定单元601、像素点统计单元602、第一视差值替换单元603以及第二视差值替换单元604，其中：
视差图确定单元601，用于采用两台深度相机拍摄同一场景的深度图，基于预设的匹配窗口确定所述深度图中像素点的代价函数，并基于所述代价函数确定所述场景的视差图；
像素点统计单元602，用于若所述视差图中第一像素点为噪点，统计所述第一像素点的检测窗口中视差值的置信度值小于预设的第一置信度阈值、且灰度值与所述第一像素点的灰度值的差值小于预设的灰度阈值的第二像素点的数量；
第一视差值替换单元603，用于若所述第二像素点的数量与所述检测窗口内的像素点数量的比例大于预设的比例阈值，则基于所述第二像素点的视差值替换所述第一像素点在所述视差图中的视差值；
第二视差值替换单元604，用于若所述第二像素点的数量与所述检测窗口内的像素点数量的比例小于或等于预设的比例阈值，按照预设的比例放大所述匹配窗口，基于放大后的匹配窗口确定所述第一像素点的最优代价函数，并用所述最优代价函数对应的视差值替换所述第一像素点在所述视差图中的视差值。
进一步地，
所述第一视差值替换单元603，具体用于若所述第二像素点的数量与所述检测窗口内的像素点数量的比例大于预设的比例阈值，确定第二像素点与第一像素点之间的距离权重值、灰度权重值、以及第二像素点的视差值的置信度权重值，其中，所述距离权重值与所述第二像素点和所述第一像素点之间的欧氏距离呈反相关关系，所述灰度权重值与所述第二像素点和所述第一像素点之间的灰度值的差值呈反相关关系，所述置信度权重值与所述第二像素点的视差值的置信度值呈反相关关系；基于所述距离权重值、所述灰度权重值、所述置信度权重值和所述第二像素点的视差值，替换所述第一像素点在所述视差图中的视差值。
进一步地，所述第一视差值替换单元603基于所述距离权重值、所述灰度权重值、所述置信度权重值和所述第二像素点的视差值，替换所述第一像素点在所述视差图中的视差值，包括：
获取多个第二像素点的距离权重值、灰度权重值、置信度权重值分别与视差值的乘积的第一累加和；获取所述多个第二像素点的距离权重值、灰度权重值、置信度权重值的乘积的第二累加和；利用所述第一累加和与所述第二累加和的商，替换所述第一像素点在所述视差图中的视差值。
进一步地，
所述第二视差值替换单元604，具体用于若所述第二像素点的数量与所述检测窗口内的像素点数量的比例小于或等于预设的比例阈值，按照预设的比例放大所述匹配窗口；基于放大后的匹配窗口确定所述第一像素点的最优代价函数；若所述最优代价函数对应的视差值的置信度值小于预设的第二置信度阈值，用所述最优代价函数对应的视差值替换所述第一像素点在所述视差图中的视差值。
进一步地，
所述第二视差值替换单元604，还用于若所述最优代价函数对应的视差值的置信度值大于或等于预设的第二置信度阈值，统计所述匹配窗口的放大次数；若所述匹配窗口的放大次数未达到预设的放大次数阈值，返回执行所述按照预设的比例放大所述匹配窗口的步骤。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (10)
1.一种修补视差图中噪点的方法，其特征在于，所述方法包括：
采用两台深度相机拍摄同一场景的深度图，基于预设的匹配窗口确定所述深度图中像素点的代价函数，并基于所述代价函数确定所述场景的视差图；
若所述视差图中第一像素点为噪点，统计所述第一像素点的检测窗口中视差值的置信度值小于预设的第一置信度阈值、且灰度值与所述第一像素点的灰度值的差值小于预设的灰度阈值的第二像素点的数量；
若所述第二像素点的数量与所述检测窗口内的像素点数量的比例大于预设的比例阈值，则基于所述第二像素点的视差值替换所述第一像素点在所述视差图中的视差值；
若所述第二像素点的数量与所述检测窗口内的像素点数量的比例小于或等于预设的比例阈值，按照预设的比例放大所述匹配窗口，基于放大后的匹配窗口确定所述第一像素点的最优代价函数，并用所述最优代价函数对应的视差值替换所述第一像素点在所述视差图中的视差值。
2.如权利要求1所述的方法，其特征在于，所述若所述第二像素点的数量与所述检测窗口内的像素点数量的比例大于预设的比例阈值，则基于所述第二像素点的视差值替换所述第一像素点在所述视差图中的视差值，包括：
若所述第二像素点的数量与所述检测窗口内的像素点数量的比例大于预设的比例阈值，确定第二像素点与第一像素点之间的距离权重值、灰度权重值、以及第二像素点的视差值的置信度权重值，其中，所述距离权重值与所述第二像素点和所述第一像素点之间的欧氏距离呈反相关关系，所述灰度权重值与所述第二像素点和所述第一像素点之间的灰度值的差值呈反相关关系，所述置信度权重值与所述第二像素点的视差值的置信度值呈反相关关系；
基于所述距离权重值、所述灰度权重值、所述置信度权重值和所述第二像素点的视差值，替换所述第一像素点在所述视差图中的视差值。
3.如权利要求2所述的方法，其特征在于，所述基于所述距离权重值、所述灰度权重值、所述置信度权重值和所述第二像素点的视差值，替换所述第一像素点在所述视差图中的视差值，包括：
获取多个第二像素点的距离权重值、灰度权重值、置信度权重值分别与视差值的乘积的第一累加和；
获取所述多个第二像素点的距离权重值、灰度权重值、置信度权重值的乘积的第二累加和；
利用所述第一累加和除以所述第二累加和的商，替换所述第一像素点在所述视差图中的视差值。
4.如权利要求1所述的方法，其特征在于，所述若所述第二像素点的数量与所述检测窗口内的像素点数量的比例小于或等于预设的比例阈值，按照预设的比例放大所述匹配窗口，基于放大后的匹配窗口确定所述第一像素点的最优代价函数，并用所述最优代价函数对应的视差值替换所述第一像素点在所述视差图中的视差值，包括：
若所述第二像素点的数量与所述检测窗口内的像素点数量的比例小于或等于预设的比例阈值，按照预设的比例放大所述匹配窗口；
基于放大后的匹配窗口确定所述第一像素点的最优代价函数；
若所述最优代价函数对应的视差值的置信度值小于预设的第二置信度阈值，用所述最优代价函数对应的视差值替换所述第一像素点在所述视差图中的视差值。
5.如权利要求4所述的方法，其特征在于，若所述最优代价函数对应的视差值的置信度值大于或等于预设的第二置信度阈值，所述方法还包括：
统计所述匹配窗口的放大次数；
若所述匹配窗口的放大次数未达到预设的放大次数阈值，返回执行所述按照预设的比例放大所述匹配窗口的步骤。
6.一种修补视差图中噪点的装置，其特征在于，所述装置包括：
视差图确定单元，用于采用两台深度相机拍摄同一场景的深度图，基于预设的匹配窗口确定所述深度图中像素点的代价函数，并基于所述代价函数确定所述场景的视差图；
像素点统计单元，用于若所述视差图中第一像素点为噪点，统计所述第一像素点的检测窗口中视差值的置信度值小于预设的第一置信度阈值、且灰度值与所述第一像素点的灰度值的差值小于预设的灰度阈值的第二像素点的数量；
第一视差值替换单元，用于若所述第二像素点的数量与所述检测窗口内的像素点数量的比例大于预设的比例阈值，则基于所述第二像素点的视差值替换所述第一像素点在所述视差图中的视差值；
第二视差值替换单元，用于若所述第二像素点的数量与所述检测窗口内的像素点数量的比例小于或等于预设的比例阈值，按照预设的比例放大所述匹配窗口，基于放大后的匹配窗口确定所述第一像素点的最优代价函数，并用所述最优代价函数对应的视差值替换所述第一像素点在所述视差图中的视差值。
7.如权利要求6所述的装置，其特征在于：
所述第一视差值替换单元，具体用于若所述第二像素点的数量与所述检测窗口内的像素点数量的比例大于预设的比例阈值，确定第二像素点与第一像素点之间的距离权重值、灰度权重值、以及第二像素点的视差值的置信度权重值，其中，所述距离权重值与所述第二像素点和所述第一像素点之间的欧氏距离呈反相关关系，所述灰度权重值与所述第二像素点和所述第一像素点之间的灰度值的差值呈反相关关系，所述置信度权重值与所述第二像素点的视差值的置信度值呈反相关关系；基于所述距离权重值、所述灰度权重值、所述置信度权重值和所述第二像素点的视差值，替换所述第一像素点在所述视差图中的视差值。
8.如权利要求7所述的装置，其特征在于，所述第一视差值替换单元基于所述距离权重值、所述灰度权重值、所述置信度权重值和所述第二像素点的视差值，替换所述第一像素点在所述视差图中的视差值，包括：
获取多个第二像素点的距离权重值、灰度权重值、置信度权重值分别与视差值的乘积的第一累加和；获取所述多个第二像素点的距离权重值、灰度权重值、置信度权重值的乘积的第二累加和；利用所述第一累加和除以所述第二累加和的商，替换所述第一像素点在所述视差图中的视差值。
9.如权利要求6所述的装置，其特征在于：
所述第二视差值替换单元，具体用于若所述第二像素点的数量与所述检测窗口内的像素点数量的比例小于或等于预设的比例阈值，按照预设的比例放大所述匹配窗口；基于放大后的匹配窗口确定所述第一像素点的最优代价函数；若所述最优代价函数对应的视差值的置信度值小于预设的第二置信度阈值，用所述最优代价函数对应的视差值替换所述第一像素点在所述视差图中的视差值。
10.如权利要求9所述的装置，其特征在于：
所述第二视差值替换单元，还用于若所述最优代价函数对应的视差值的置信度值大于或等于预设的第二置信度阈值，统计所述匹配窗口的放大次数；若所述匹配窗口的放大次数未达到预设的放大次数阈值，返回执行所述按照预设的比例放大所述匹配窗口的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710515422.6A CN107240083B (zh) | 2017-06-29 | 2017-06-29 | 一种修补视差图中噪点的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710515422.6A CN107240083B (zh) | 2017-06-29 | 2017-06-29 | 一种修补视差图中噪点的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107240083A CN107240083A (zh) | 2017-10-10 |
| CN107240083B true CN107240083B (zh) | 2020-06-09 |
Family
ID=59990205
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710515422.6A Expired - Fee Related CN107240083B (zh) | 2017-06-29 | 2017-06-29 | 一种修补视差图中噪点的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107240083B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112526545A (zh) * | 2019-08-30 | 2021-03-19 | 深圳市速腾聚创科技有限公司 | 一种激光雷达点云处理方法、装置、存储介质及终端设备 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011104151A1 (en) * | 2010-02-26 | 2011-09-01 | Thomson Licensing | Confidence map, method for generating the same and method for refining a disparity map |
| CN102136136B (zh) * | 2011-03-17 | 2012-10-03 | 南京航空航天大学 | 基于自适应Census变换的光度不敏感立体匹配方法 |
| CN103226821B (zh) * | 2013-04-27 | 2015-07-01 | 山西大学 | 基于视差图像素分类校正优化的立体匹配方法 |
| KR102214934B1 (ko) * | 2014-07-18 | 2021-02-10 | 삼성전자주식회사 | 단항 신뢰도 및 쌍별 신뢰도 학습을 통한 스테레오 매칭 장치 및 방법 |
| CN106651897B (zh) * | 2016-10-12 | 2019-12-31 | 成都快眼科技有限公司 | 一种基于超像素分割的视差修正方法 |
-
2017
- 2017-06-29 CN CN201710515422.6A patent/CN107240083B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN107240083A (zh) | 2017-10-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109886997B (zh) | 基于目标检测的识别框确定方法、装置及终端设备 | |
| KR102459853B1 (ko) | 디스패리티 추정 장치 및 방법 | |
| CN107316326B (zh) | 应用于双目立体视觉的基于边的视差图计算方法和装置 | |
| JP5687082B2 (ja) | 移動物体追跡装置 | |
| CN105069804B (zh) | 基于智能手机的三维模型扫描重建方法 | |
| JP2011013706A (ja) | ステレオ画像処理装置およびステレオ画像処理方法 | |
| CN104504688A (zh) | 基于双目立体视觉的客流密度估计的方法和系统 | |
| JP6679858B2 (ja) | 対象の遮蔽を検出する方法と装置 | |
| CN107590444B (zh) | 静态障碍物的检测方法、装置及存储介质 | |
| CN116309757A (zh) | 基于机器视觉的双目立体匹配方法 | |
| CN110853353B (zh) | 基于视觉的密度交通车辆计数和交通流量计算方法及系统 | |
| CN110598689B9 (zh) | 用于估计图像中极值点的子像素位置的方法、设备和系统 | |
| CN110659545B (zh) | 车辆识别模型的训练方法、车辆识别方法、装置和车辆 | |
| CN108027884A (zh) | 优化对象检测 | |
| CN111105452A (zh) | 基于双目视觉的高低分辨率融合立体匹配方法 | |
| CN116645396A (zh) | 轨迹确定方法、装置、计算机可读存储介质及电子设备 | |
| CN107392898B (zh) | 应用于双目立体视觉中的像素点视差值计算方法及装置 | |
| CN108596012B (zh) | 一种障碍物框合并方法、装置及终端 | |
| CN107240083B (zh) | 一种修补视差图中噪点的方法及装置 | |
| CN111428651A (zh) | 一种车辆的障碍信息获取方法、系统及车辆 | |
| CN107330932B (zh) | 一种修补视差图中噪点的方法及装置 | |
| CN107204013B (zh) | 应用于双目立体视觉中的像素点视差值计算方法及装置 | |
| Emlek et al. | Variable window size for stereo image matching based on edge information | |
| CN107680083B (zh) | 视差确定方法和视差确定装置 | |
| EP3076370B1 (en) | Method and system for selecting optimum values for parameter set for disparity calculation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200609 |