CN109698950B - 立体视觉系统的增强方法及立体视觉系统 - Google Patents

Abstract

本发明提供了一种立体视觉系统的增强方法及立体视觉系统，首先获取一立体视觉系统对同一视觉场景拍摄的多个原始图像并得到原始视差图像；然后，通过提取视差值为最小有效视差值对应像素来获取背景像素并建立背景的特征模型，通过提取视差值为连续无效视差值对应像素片段来获取空洞像素并建立空洞的特征模型，通过提取邻域视差值为连续有效视差值对应像素片段来获取邻域有效像素并建立邻域的特征模型，通过度量三者的特征模型的相似度选择填补空洞像素的视差值，本发明能够准确的区分所述空洞像素为背景或前景，以准确的填补所述空洞像素。

Description

立体视觉系统的增强方法及立体视觉系统

技术领域

本发明涉及视觉图像处理技术领域，尤其涉及一种立体视觉系统的增强方法及立体视觉系统。

背景技术

双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取视觉场景的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。双目立体视觉融合两只“眼睛”获得的原始图像并观察它们之间的差别，可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，通过这个差别可以建立视差(Disparity)图像。

双目立体视觉根据光源的不同可以分别主动立体视觉(主动提供光源)及被动立体视觉(借助环境光)，其中被动立体视觉的测距范围特别广，可以是0.5m到20m之间，在拍摄两幅原始图像后，在基于立体匹配的深度计算中，由于两幅原始图像的拍摄视角不同，所以，在一幅原始图像中的可见的背景像素可能在另一幅原始图像中被前景物体遮挡而没有可以匹配的对应点，导致在视差图像中出现“空洞(gap)”，现有技术中是采取邻域有效视差值法对“空洞”进行填补，但是在大多数情况下，“空洞”是视觉场景中的背景，而背景的视差值并不一定能在“空洞”的邻域中找到，导致无法正确的填补视差图像中的“空洞”。

发明内容

本发明的目的在于提供一种立体视觉系统的增强方法及立体视觉系统，以填补视差图像中的“空洞”缺陷。

为了达到上述目的，本发明提供了一种立体视觉系统的增强方法，包括：

获取一立体视觉系统对同一视觉场景拍摄的多个原始图像，以得到原始视差图像；

提取所述原始视差图像中最小的有效视差值对应的像素以获取背景像素，并建立背景的特征模型；

提取所述原始视差图中视差值为连续的无效视差值对应的像素片段以获取空洞像素，并建立空洞的特征模型；

提取所述原始视差图的空洞像素的邻域中视差值为连续有效视差值对应的像素片段以获取邻域像素，并建立邻域的特征模型；

度量所述背景的特征模型、空洞的特征模型及邻域的特征模型的相似度，以确定填补所述空洞像素的视差值。

可选的，度量背景的特征模型、空洞的特征模型及邻域的特征模型的相似度，以确定填补空洞像素的视差值的步骤包括：

度量所述空洞的特征模型与所述背景的特征模型的相似度为k1，度量所述空洞的特征模型与所述邻域的特征模型的相似度为k2，当k1大于等于k2时，采用所述背景像素的视差值填补所述空洞像素，当k1小于k2时，采用所述邻域像素的视差值填补所述空洞像素。

可选的，度量背景的特征模型、空洞的特征模型及邻域的特征模型的相似度，以确定填补空洞像素的视差值的步骤包括：

度量所述空洞的特征模型与所述背景的特征模型的相似度为k1，当k1大于等于第一阈值时，采用所述背景像素的视差值填补所述空洞像素，当k1小于所述第一阈值时，采用所述邻域像素的视差值填补所述空洞像素。

可选的，度量背景的特征模型、空洞的特征模型及邻域的特征模型的相似度，以确定填补空洞像素的视差值的步骤包括：

度量所述空洞的特征模型与所述邻域的特征模型的相似度为k2，当k2大于等于第二阈值时，采用所述邻域像素的视差值填补所述空洞像素，当k2小于所述第二阈值时，采用所述背景像素的视差值填补所述空洞像素。

可选的，通过所述原始图像建立背景的特征模型、空洞的特征模型及邻域的特征模型。

可选的，所述背景的特征模型、空洞的特征模型及邻域的特征模型均为颜色模型或均为纹理模型。

可选的，多个原始图像为所述立体视觉系统从不同视角拍摄的同一视觉场景的图像。

可选的，多个所述原始图像通过图像立体匹配算法得到所述原始视差图像。

本发明还提供了一种立体视觉系统，包括：

多个摄像模块，用于拍摄同一视觉场景的多个原始图像以得到原始视差图像；

背景像素提取模块，用于提取所述原始视差图像中最小的有效视差值对应的像素以获取背景像素，并建立背景的特征模型；

空洞像素提取模块，用于提取所述原始视差图中视差值为连续的无效视差值对应的像素片段以获取空洞像素，并建立空洞像素的特征模型；

邻域像素提取模块，用于提取所述原始视差图的空洞像素的邻域中视差值为连续有效视差值对应的像素片段以获取邻域像素，并建立邻域的特征模型；视差填补模块，用于度量所述背景的特征模型、空洞的特征模型及邻域的特征模型的相似度，以确定填补空洞像素的视差值。

可选的，所述立体视觉系统为多目被动立体视觉系统或多目主动立体视觉系统。

在本发明提供的立体视觉系统的增强方法及立体视觉系统中，首先获取一立体视觉系统对同一视觉场景拍摄的多个原始图像并得到原始视差图像；然后，通过提取视差值为最小有效视差值对应像素来获取背景像素并建立背景的特征模型，通过提取视差值为连续无效视差值对应像素片段来获取空洞像素并建立空洞的特征模型，通过提取邻域视差值为连续有效视差值对应像素片段来获取邻域有效像素并建立邻域的特征模型，通过度量三者的特征模型的相似度选择填补空洞像素的视差值，本发明能够准确的区分所述空洞像素为背景或前景，以准确的填补所述空洞像素。

附图说明

图1为本发明实施例提供的立体视觉系统的增强方法的流程图；

图2为本发明实施例提供的立体视觉系统的结构框图；

其中，附图标记为：

1-摄像模块；2-背景像素提取模块；3-空洞像素提取模块；4-邻域像素提取模块；5-视差填补模块。

具体实施方式

下面将结合示意图对本发明的具体实施方式进行更详细的描述。根据下列描述和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。

请参阅图1，其为本实施例提供的立体视觉系统的增强方法的流程图，如图1所示，所述立体视觉系统的增强方法包括：

S1：获取一立体视觉系统对同一视觉场景拍摄的多个原始图像，以得到原始视差图像；

S2：提取所述原始视差图像中最小的有效视差值对应的像素以获取背景像素，并建立背景的特征模型；

S3：提取所述原始视差图中视差值为连续的无效视差值对应的像素片段以获取空洞像素，并建立空洞的特征模型；

S4：提取所述原始视差图的空洞像素的邻域中视差值为连续有效视差值对应的像素片段以获取邻域像素，并建立邻域的特征模型；

S5：度量所述背景的特征模型、空洞的特征模型及邻域的特征模型的相似度，以确定填补所述空洞像素的视差值。

本实施例中，所述立体视觉系统为被动立体视觉系统，例如具有两个摄像模块，以模仿人体的左眼和右眼。执行步骤S1，所述立体视觉系统的两个摄像模块拍摄同一视觉场景以得到两个原始图像，由于两个所述原始图像的拍摄角度不同，所以，在一个原始图像中可见的背景可能在另一个原始图像中被前景物体遮挡而没有可以匹配的对应点。

接下来，对两个原始图像进行立体匹配以得到原始视差图，所述原始视差图中每个像素点均具有视差值(有效视差值或无效视差值)，所述原始图像中被遮盖的像素在所述原始视差图中表现为空洞像素，通常空洞像素的视差值会被赋值为0，以立体视觉系统的测距范围为0.5m到20m，分辨率为1080P为例，0.5m对应的视差值约为420像素，20m对应的视差值约为10像素，则空洞像素的视差值为0，而其他像素的视差值大于等于10，所以将视差值为0设定为无效视差值，将视差值大于等于10设定为有效视差值。

接下来执行步骤S2，统计所述原始视差图像的每行像素中最小的有效视差值的像素，可以理解的是，最小的有效视差值的像素就是背景像素，确定了最小的有效视差值的像素后也就确定了背景的位置。接着根据所述原始图像及所述背景像素建立背景的特征模型，可选的，本实施例中，所述背景的特征模型为颜色模型，例如是像素颜色直方图，在确定所述背景像素后，通过在所述原始图像中提取所述背景像素的颜色可以得到所述像素颜色直方图。可以理解的是，所述背景的特征模型还可以是纹理模型等，本发明不作限制。

接着执行步骤S3，确定所述空洞像素的位置。具体的，统计所述原始视差图中各行像素中视差值为连续的无效视差值的像素片段，即所述像素片段为所述原始视差图像的任一行像素中视差值为无效视差值的若干个连续像素。可以理解的是，无效视差值对应的像素就是空洞像素，确定了连续的无效视差值对应的像素后也就确定了空洞的位置。然后，通过所述原始图像建立空洞的特征模型，可选的，当所述背景的特征模型为颜色模型时，提取所述空洞像素的颜色特征以建立颜色特征模型；当所述背景的特征模型为纹理模型时，提取所述空洞像素的纹理特征，以建立纹理模型。本实施例中，由于所述背景的特征模型为像素颜色直方图，这里也提取所述空洞像素的颜色特征以形成所述空洞像素的像素颜色直方图。

接下来执行步骤S4，得到所述空洞像素之后，还可以提取所述原始视差图的空洞像素的邻域中视差值为连续有效视差值对应的像素片段以获取邻域像素，确定空洞像素的邻域中视差值为连续有效视差值对应的像素片段也就确定了邻域像素的位置。然后，通过所述原始图像建立邻域的特征模型，所述邻域的特征模型也是颜色特征模型，即所述背景的特征模型、空洞的特征模型及邻域的特征模型是相对应的，可以均为颜色模型，也可以均为纹理模型。

接下来，执行步骤S5，首先可以度量所述空洞的特征模型与所述背景的特征模型的相似度为k1，当k1大于等于第一阈值时，采用所述背景像素填补所述空洞像素；当当k1小于所述第一阈值时，采用所述邻域像素的视差值填补所述空洞像素。本实施例中，比较所述背景的像素颜色直方图与所述空洞像素的视差值颜色直方图的相似性为k1，若相似度k1大于等于所述第一阈值时，则表明所述空洞像素为背景，可以直接将所述空洞像素中所有像素的视差值置为最小的有效视差值；若相似度k1小于所述第一阈值时，则表明所述空洞像素不为背景，可能是前景，采用邻域像素的视差值填补所述空洞像素中的每个像素。当然，由于还计算出了邻域的特征模型，这里也可以直接比较所述空洞的特征模型与所述邻域的特征模型的相似度为k2，当k2大于等于第二阈值时，采用所述邻域像素填补所述空洞像素，当k2小于所述第二阈值时，依然采用所述背景像素填补所述空洞像素。或者，为了使填补的结果更接近真实的情况，可以先度量所述空洞的特征模型与所述背景的特征模型的相似度k1，然后再度量所述空洞的特征模型与所述邻域的特征模型的相似度k2，当当k1大于等于k2时，采用所述背景像素的视差值填补所述空洞像素，反之，当k1小于k2时，采用所述邻域像素的视差值填补所述空洞像素。

进一步，采用所述邻域像素的视差值填补所述空洞像素的方法可以是线性插值法及邻域视差较小值法，所述线性插值法的本质是假设所述空洞像素是前景与背景像素的平滑过渡带，采用线性插值的方法平滑的填补所述空洞像素中的每个像素，所述邻域视差较小值法的本质是假设所述空洞像素是距离较远的物体，并且这个物体在邻域像素中存在，通过将所述空洞像素中的每个像素全部置为邻域中有效视差的最小值。

在填补所述原始视差图像中的所有所述空洞像素之后形成完整视差图像，通过所述完整视差图像可以得到对应所述视觉场景的深度图像。

基于此，如图2所示，本发明还提供了一种立体视觉系统，包括：

多个摄像模块1，用于拍摄同一视觉场景的多个原始图像以得到原始视差图像；

背景像素提取模块2，用于提取所述原始视差图像中最小的有效视差值对应的像素以获取背景像素，并建立背景的特征模型；

空洞像素提取模块3，用于提取所述原始视差图中视差值为连续的无效视差值对应的像素片段以获取空洞像素，并建立空洞像素的特征模型；

邻域像素提取模块4，用于提取所述原始视差图的空洞像素的邻域中视差值为连续有效视差值对应的像素片段以获取邻域像素，并建立邻域的特征模型；

视差填补模块5，用于度量所述背景的特征模型、空洞的特征模型及邻域的特征模型的相似度，以确定填补空洞像素的视差值。

本实施例中，所述立体视觉系统为双目被动立体视觉系统。

综上，在本发明实施例提供的立体视觉系统的增强方法及立体视觉系统中，首先获取一立体视觉系统对同一视觉场景拍摄的多个原始图像并得到原始视差图像；然后，通过提取视差值为最小有效视差值对应像素来获取背景像素并建立背景的特征模型；通过提取视差值为连续无效视差值对应像素片段来获取空洞像素并建立空洞的特征模型；通过提取邻域视差值为连续有效视差值对应像素片段来获取邻域有效像素并建立邻域的特征模型；再度量所述空洞的特征模型与所述背景的特征模型的相似度，当相似度大于等于所述第一阈值时，使用背景像素的视差值填补所述原始视差图像中的空洞像素，当相似度小于所述第一阈值时，使用邻域像素的视差值填补所述原始视差图像中的空洞像素；或者度量所述空洞的特征模型与所述邻域的特征模型的相似度，当相似度大于等于所述第二阈值时，使用邻域像素的视差值填补所述原始视差图像中的空洞像素，当相似度小于所述第二阈值时，使用背景像素的视差值填补所述原始视差图像中的空洞像素；或者分别度量所述空洞的特征模型与所述背景的特征模型的相似度，以及空洞的特征模型与所述邻域的特征模型的相似度，当前者大于后者时，使用背景像素的视差值填补所述原始视差图像中的空洞像素，当后者大于前者时，使用邻域像素的视差值填补所述原始视差图像中的空洞像素，本发明能够准确的区分所述空洞像素为背景或前景，以准确的填补所述空洞像素。

上述仅为本发明的优选实施例而已，并不对本发明起到任何限制作用。任何所属技术领域的技术人员，在不脱离本发明的技术方案的范围内，对本发明揭露的技术方案和技术内容做任何形式的等同替换或修改等变动，均属未脱离本发明的技术方案的内容，仍属于本发明的保护范围之内。

Claims (10)

1.一种立体视觉系统的增强方法，其特征在于，包括：

获取一立体视觉系统对同一视觉场景拍摄的多个原始图像，以得到原始视差图像；

提取所述原始视差图像中最小的有效视差值对应的像素以获取背景像素，并通过所述原始图像建立背景的特征模型；

提取所述原始视差图中视差值为连续的无效视差值对应的像素片段以获取空洞像素，并通过所述原始图像建立空洞的特征模型；

提取所述原始视差图的空洞像素的邻域中视差值为连续有效视差值对应的像素片段以获取邻域像素，并通过所述原始图像建立邻域的特征模型；

度量所述背景的特征模型、空洞的特征模型及邻域的特征模型的相似度，以确定填补所述空洞像素的视差值；

其中，将空洞像素的视差值设定为无效视差值，将除空洞外其他像素的视差值设定为有效视差值。

2.如权利要求1所述的立体视觉系统的增强方法，其特征在于，度量背景的特征模型、空洞的特征模型及邻域的特征模型的相似度，以确定填补空洞像素的视差值的步骤包括：

度量所述空洞的特征模型与所述背景的特征模型的相似度为k1，度量所述空洞的特征模型与所述邻域的特征模型的相似度为k2，当k1大于等于k2时，采用所述背景像素的视差值填补所述空洞像素，当k1小于k2时，采用所述邻域像素的视差值填补所述空洞像素。

3.如权利要求1所述的立体视觉系统的增强方法，其特征在于，度量背景的特征模型、空洞的特征模型及邻域的特征模型的相似度，以确定填补空洞像素的视差值的步骤包括：

度量所述空洞的特征模型与所述背景的特征模型的相似度为k1，当k1大于等于第一阈值时，采用所述背景像素的视差值填补所述空洞像素，当k1小于所述第一阈值时，采用所述邻域像素的视差值填补所述空洞像素。

4.如权利要求1所述的立体视觉系统的增强方法，其特征在于，度量背景的特征模型、空洞的特征模型及邻域的特征模型的相似度，以确定填补空洞像素的视差值的步骤包括：

度量所述空洞的特征模型与所述邻域的特征模型的相似度为k2，当k2大于等于第二阈值时，采用所述邻域像素的视差值填补所述空洞像素，当k2小于所述第二阈值时，采用所述背景像素的视差值填补所述空洞像素。

5.如权利要求1-4中任一项所述的立体视觉系统的增强方法，其特征在于，通过所述原始图像建立背景的特征模型、空洞的特征模型及邻域的特征模型。

6.如权利要求1-4中任一项所述的立体视觉系统的增强方法，其特征在于，所述背景的特征模型、空洞的特征模型及邻域的特征模型均为颜色模型或均为纹理模型。

7.如权利要求1所述的立体视觉系统的增强方法，其特征在于，多个原始图像为所述立体视觉系统从不同视角拍摄的同一视觉场景的图像。

8.如权利要求1所述的立体视觉系统的增强方法，其特征在于，多个所述原始图像通过图像立体匹配算法得到所述原始视差图像。

9.一种立体视觉系统，其特征在于，包括：

多个摄像模块，用于拍摄同一视觉场景的多个原始图像以得到原始视差图像；

背景像素提取模块，用于提取所述原始视差图像中最小的有效视差值对应的像素以获取背景像素，并通过所述原始图像建立背景的特征模型；

空洞像素提取模块，用于提取所述原始视差图中视差值为连续的无效视差值对应的像素片段以获取空洞像素，并通过所述原始图像建立空洞像素的特征模型；

邻域像素提取模块，用于提取所述原始视差图的空洞像素的邻域中视差值为连续有效视差值对应的像素片段以获取邻域像素，并通过所述原始图像建立邻域的特征模型；

视差填补模块，用于度量所述背景的特征模型、空洞的特征模型及邻域的特征模型的相似度，以确定填补空洞像素的视差值；

其中，将空洞像素的视差值设定为无效视差值，将除空洞外其他像素的视差值设定为有效视差值。

10.如权利要求9所述的立体视觉系统，其特征在于，所述立体视觉系统为多目被动立体视觉系统或者多目主动立体视觉系统。

Images