CN111354032A - 一种生成视差图的方法及装置 - Google Patents

Abstract

本申请是关于一种生成视差图的方法及装置，属于图像处理技术领域。所述方法包括：通过双目摄像机进行拍摄得到第一图片和第二图片，所述第一图片和所述第二图片包括地面图像；将所述第一图片和所述第二图片输入用于生成视差图的卷积神经网络，获取所述卷积神经网络根据所述第一图片和所述第二图片生成的所述第一图片的视差图和所述第二图片的视差图。所述装置包括：创建模块和获取模块。本申请能够提高生成视差图的效率。

Description

一种生成视差图的方法及装置

技术领域

本申请涉及图像处理技术领域，特别涉及一种生成视差图的方法及装置。

背景技术

双目摄像机包括左右两个摄像头，通过该两个摄像头同时拍摄得到左图片和右图片。目前可以根据该左右图片生成视差图，基于该视差图可以进行距离测量或生成深度图等应用。

目前在拍摄得到左右图片时，通过棋盘标定算法和立体匹配算法对该左右图片进行处理得到初步视差图。通过背景相减法、基于前景检测的视差优化算法对该初步视差图进行修正，得到完整视差图。

发明人在实现本申请的过程中，发现上述方式至少存在如下缺陷：

上述生成视差图的方法应用了多种图像处理算法，操作比较复杂，同时容易引入误差，除此之外，上述方法无法准确地估计地面反光、低纹理等异常区域的视差生成视差图需要较长时间，效率较低。

发明内容

为了提高生成视差图的效率，本申请实施例提供了一种生成视差图的方法及装置，所述技术方案如下：

根据本申请实施例的第一方面，提供一种生成视差图的方法，所述方法包括：

通过双目摄像机进行拍摄得到第一图片和第二图片，所述第一图片和所述第二图片包括地面图像；

将所述第一图片和所述第二图片输入用于生成视差图的卷积神经网络，获取所述卷积神经网络根据所述第一图片和所述第二图片生成的所述第一图片的视差图和所述第二图片的视差图。

可选的，所述将所述第一图片和所述第二图片输入用于生成视差图的卷积神经网络，获取所述卷积神经网络根据所述第一图片和所述第二图片生成的所述第一图片的视差图和所述第二图片的视差图，包括：

对所述第一图片和所述第二图片进行预处理得到第三图片和第四图片，所述第三图片中的每个像素值和所述第四图片中的每个像素值位于预设范围内，所述第三图片的尺寸和所述第四图片的尺寸为所述卷积神经网络产生的特征图尺寸的整数倍，预设处理包括畸变矫正、像素值归一化和尺寸调整中的至少一个；

将所述第三图片和所述第四图片输入所述卷积神经网络，获取所述卷积神经网络根据所述第三图片和所述第四图片生成的所述第一图片的视差图和所述第二图片的视差图。

可选的，所述将所述第一图片和所述第六图片输入用于生成视差图的卷积神经网络之前，还包括：

根据图片对集合中的至少一个图片对生成地面方程，所述图片对集合包括所述双目摄像机拍摄的图片对，图片对包括第五图片和第六图片，所述地面方程用于生成视差图；

根据所述图片对集合和所述地面方程训练待训练的卷积神经网络。

可选的，所述根据图片对集合中的至少一个图片对生成地面方程，包括：

根据图片对集合中的至少一个图片对，通过用于生成视差图的算法生成所述至少一个图片对中的每个图片对包括的第五图片对应的视差图和第六图片对应的视差图；

根据所述每个图片对的第五图片对应的视差图和第六图片对应的视差图中被标记出的无反光地面图像区域构建用于生成视差图的地面方程。

可选的，所述根据所述图片对集合和所述地面方程训练待训练的卷积神经网络，包括：

根据所述图片对集合中的图片对包括的第五图片和第六图片，通过所述地面方程生成所述图片对包括的第五图片对应的第一视差图和第六图片对应的第一视差图；

根据所述图片对集合中的图片对包括的第五图片和第六图片，通过待训练的卷积神经网络生成所述图片对包括的第五图片对应的第二视差图和第六图片对应的第二视差图；

根据所述图片对包括的第五图片对应的第一视差图和第二视差图以及第六图片对应的第一视差图和第二视差图，设置所述待训练的卷积神经网络的参数。

可选的，所述根据所述图片对包括的第五图片对应的第一视差图和第二视差图以及第六图片对应的第一视差图和第二视差图，设置所述待训练的卷积神经网络的参数，包括：

根据所述图片对包括的第五图片对应的第一视差图和第二视差图，生成所述图片对包括的第五图片对应的误差图，所述第五图片对应的误差图包括所述第五图片对应的第二视差图中的每个像素点的视差误差；

根据所述图片对包括的第六图片对应的第一视差图和第二视差图，生成所述图片对包括的第六图片对应的误差图，所述第六图片对应的误差图包括所述第六图片对应的第二视差图中的每个像素点的视差误差；

根据所述图片对包括第五图片对应的误差图和第六图片对应的误差图设置所述待训练的卷积神经网络的参数。

可选的，所述根据所述图片对包括的第五图片对应的第一视差图和第二视差图，生成所述图片对包括的第五图片对应的误差图，包括：

根据所述图片对包括的第五图片对应的第一视差图和第二视差图生成所述第五图片对应的第一差异图，所述第一差异图包括所述第五图片中的每个像素点在所述第一视差图中对应的第一视差值和在所述第二视差图中对应的第二视差值之间的视差差值；

将所述第一差异图中的每个像素点的视差差值归一化到预设差值范围得到第二差异图；

根据所述第二差异图中的每个像素点的视差差值生成所述第五图片对对应的置信度图；

根据所述图片对包括的第六图片、所述第五图片对应的置信度图和第二视差图，生成所述第五图片对应的误差图。

可选的，所述根据所述图片对包括的第六图片对应的第一视差图和第二视差图，生成所述图片对包括的第六图片对应的误差图，包括：

根据所述图片对包括的第六图片对应的第一视差图和第二视差图生成所述第六图片对应的第一差异图，所述第一差异图包括所述第六图片中的每个像素点在所述第一视差图中对应的第一视差值和在所述第二视差图中对应的第二视差值之间的视差差值；

将所述第一差异图中的每个像素点的视差差值归一化到预设差值范围得到第二差异图；

根据所述第二差异图中的每个像素点的视差差值生成所述第六图片对对应的置信度图；

根据所述图片对包括的第五图片、所述第六图片对应的置信度图和第二视差图，生成所述第六图片对应的误差图。

根据本申请实施例的第二方面，提供一种生成视差图的装置，所述装置包括：

拍摄模块，用于通过双目摄像机进行拍摄得到第一图片和第二图片，所述第一图片和所述第二图片包括地面图像；

获取模块，用于将所述第一图片和所述第二图片输入用于生成视差图的卷积神经网络，获取所述卷积神经网络根据所述第一图片和所述第二图片生成的所述第一图片的视差图和所述第二图片的视差图。

可选的，所述获取模块包括：

处理单元，用于对所述第一图片和所述第二图片进行预处理得到第三图片和第四图片，所述第三图片中的每个像素值和所述第四图片中的每个像素值位于预设范围内，所述第三图片的尺寸和所述第四图片的尺寸为所述卷积神经网络产生的特征图尺寸的整数倍，预设处理包括畸变矫正、像素值归一化和尺寸调整中的至少一个；

获取单元，用于将所述第三图片和所述第四图片输入所述卷积神经网络，获取所述卷积神经网络根据所述第三图片和所述第四图片生成的所述第一图片的视差图和所述第二图片的视差图。

可选的，所述装置还包括：

生成模块，用于根据图片对集合中的至少一个图片对生成地面方程，所述图片对集合包括所述双目摄像机拍摄的图片对，图片对包括第五图片和第六图片，所述地面方程用于生成视差图；

训练模块，用于根据所述图片对集合和所述地面方程训练待训练的卷积神经网络。

可选的，所述生成模块包括：

第一生成单元，用于根据图片对集合中的至少一个图片对，通过用于生成视差图的算法生成所述至少一个图片对中的每个图片对包括的第五图片对应的视差图和第六图片对应的视差图；

构建单元，用于根据所述每个图片对的第五图片对应的视差图和第六图片对应的视差图中被标记出的无反光地面图像区域构建用于生成视差图的地面方程。

可选的，所述训练模块包括：

第一生成单元，用于根据所述图片对集合中的图片对包括的第五图片和第六图片，通过所述地面方程生成所述图片对包括的第五图片对应的第一视差图和第六图片对应的第一视差图；

第二生成单元，用于根据所述图片对集合中的图片对包括的第五图片和第六图片，通过待训练的卷积神经网络生成所述图片对包括的第五图片对应的第二视差图和第六图片对应的第二视差图；

设置单元，用于根据所述图片对包括的第五图片对应的第一视差图和第二视差图以及第六图片对应的第一视差图和第二视差图，设置所述待训练的卷积神经网络的参数。

可选的，所述设置单元，用于：

根据所述图片对包括的第五图片对应的第一视差图和第二视差图，生成所述图片对包括的第五图片对应的误差图，所述第五图片对应的误差图包括所述第五图片对应的第二视差图中的每个像素点的视差误差；

根据所述图片对包括的第六图片对应的第一视差图和第二视差图，生成所述图片对包括的第六图片对应的误差图，所述第六图片对应的误差图包括所述第六图片对应的第二视差图中的每个像素点的视差误差；

根据所述图片对包括第五图片对应的误差图和第六图片对应的误差图设置所述待训练的卷积神经网络的参数。

可选的，所述设置单元，用于：

根据所述图片对包括的第五图片对应的第一视差图和第二视差图生成所述第五图片对应的第一差异图，所述第一差异图包括所述第五图片中的每个像素点在所述第一视差图中对应的第一视差值和在所述第二视差图中对应的第二视差值之间的视差差值；

将所述第一差异图中的每个像素点的视差差值归一化到预设差值范围得到第二差异图；

根据所述第二差异图中的每个像素点的视差差值生成所述第五图片对对应的置信度图；

根据所述图片对包括的第六图片、所述第五图片对应的置信度图和第二视差图，生成所述第五图片对应的误差图。

可选的，所述设置单元，用于：

根据所述图片对包括的第六图片对应的第一视差图和第二视差图生成所述第六图片对应的第一差异图，所述第一差异图包括所述第六图片中的每个像素点在所述第一视差图中对应的第一视差值和在所述第二视差图中对应的第二视差值之间的视差差值；

将所述第一差异图中的每个像素点的视差差值归一化到预设差值范围得到第二差异图；

根据所述第二差异图中的每个像素点的视差差值生成所述第六图片对对应的置信度图；

根据所述图片对包括的第五图片、所述第六图片对应的置信度图和第二视差图，生成所述第六图片对应的误差图。

根据本申请实施例的第三方面，提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现所述第一方面或第一方面任可选的方式提供的方法步骤。

本申请实施例提供的技术方案可以包括以下有益效果：

通过双目摄像机进行拍摄得到第一图片和第二图片，第一图片和第二图片包括地面图像；将第一图片和第二图片输入用于生成视差图的卷积神经网络，获取卷积神经网络根据第一图片和第二图片生成的第一图片的视差图和第二图片的视差图，这样只需要通过卷积神经网络就可以得到视差图，相比现有技术通过分别经过多个算法处理得到视差图的方案，可以提高生成视差图的效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1是本申请实施例提供的一种创建视差图的方法流程图；

图2是本申请实施例提供的另一种创建视差图的方法流程图；

图3是本申请实施例提供的一种创建视差图的装置结构示意图；

图4是本申请实施例提供的一种终端结构示意图。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

参见图1，本申请实施例提供了一种生成视差图的方法，所述方法包括：

步骤101：通过双目摄像机进行拍摄得到第一图片和第二图片，第一图片和第二图片包括地面图像。

步骤102：将第一图片和第二图片输入用于生成视差图的卷积神经网络，获取卷积神经网络根据第一图片和第二图片生成的第一图片的视差图和第二图片的视差图。

在本申请实施例中，通过双目摄像机进行拍摄得到第一图片和第二图片，第一图片和第二图片包括地面图像；将第一图片和第二图片输入用于生成视差图的卷积神经网络，获取卷积神经网络根据第一图片和第二图片生成的第一图片的视差图和第二图片的视差图，这样只需要通过卷积神经网络就可以得到视差图，相比现有技术通过分别经过多个算法处理得到视差图的方案，可以提高生成视差图的效率。

参见图2，本申请实施例提供了一种生成视差图的方法，包括：

步骤201：通过双目摄像机进行拍摄得到图片对集合，图片对集合包括m个图片对，图片对包括第五图片和第六图片，第五图片和第六图片包括地面图像，m为预设的大于或等于1的整数。

在执行本步骤之前安装双目摄像机，使双目摄像机位姿与地面之间的角度保持不变，然后使用双目报像机对地面和位于地面上的物体进行拍摄。

双目摄像机包括两个摄像头，该两个摄像头同时进行拍摄得到一个图片对，图片对中的第五图片是该两个摄像头中的一个摄像头拍摄的图片，该图片对中的第六图片是该两个摄像头中的另一个摄像头拍摄的图片。

步骤202：对图片对集合中的每个图片对进行预处理。

对于该图片对集合中的每个图片对，对该图片对进行的预处理包括畸变矫正处理、像素值归一化处理和图片尺寸调整中的至少一个。

双目摄像机拍摄该图片对时可能发生畸变，导致该图片对包括的第五图片中的图像和第六图片中的图像可以发生畸变，所以需要对该图片对进行畸变矫正处理，以矫正第五图片中发生畸变的图像和第六图片中发生畸变的图像。

可选的，可以根据双目摄像机的内参数对该图片对中的第五图片和第六图片进行畸变矫正处理。

对该图片对进行过畸变矫正处理后，对该图片对进行像素值归一化处理得到图片对。详细实现过程可以为：

将第五图片中的每个像素点的像素值归一化成预设像素值范围内的值，以及将第六图片中的每个像素点的像素值归一化成预设像素值范围内的值，所以处理后的该图片对中的第五图片和第六图片包括的像素点的像素值均位于预设像素值范围内。

预设像素值范围可以大于或等于0且小于或等于1。第五图片中的每个像素点的像素值和第六图片中的每个像素点的像素值均大于或等于0且小于或等于255。

可选的，在对第五图片进行像素值归一化处理时，对于第五图片中的任一个像素点，从第五图片中获取该像素点的像素值，将该像素值除以255得到的归一化后的像素值，在第五图片中将该像素点的像素值更新为该归一化后的像素值。对第五图片中的其他每个像素点按该像素点相同的处理，得到经过像素值归一化处理后的第五图片。

可选的，在对第六图片进行像素值归一化处理时，对于第六图片中的任一个像素点，从第六图片中获取该像素点的像素值，将该像素值除以255得到的归一化后的像素值，在第六图片中将该像素点的像素值更新为该归一化后的像素值。对第六图片中的其他每个像素点按该像素点相同的处理，得到经过像素值归一化处理后的第六图片。

可选的，也可以不对该图片对中的图片进行像素值归一化处理，也可以对该图片对中的图片进行像素值归一化处理，经过像素值归一化处理后图片中的像素点的像素值由于均在预设像素值范围内，任意两个像素值之间的差值较小，这样在训练卷积神经网络时有利于卷积神经网络的收敛，减小训练次数。

可选的，可以获取待训练的卷积神经网络产生的特征图尺寸，基于该特征图尺寸调整该图片对中的第五图片的尺寸和第六图片的尺寸，调整后的第五图片的尺寸和第六图片的尺寸均为该特征图尺寸的整数倍。

可选的，对于m个图片对中的每个图片对，可以对该图片对中的第五图片包括的图像和第六图片包括的图像进行变换处理，得到新的图片对，将该新的图片对添加到图片对集合。

可选的，可以对该图片对中的图片进行多次变换，得到多个新的图片对，将该多个新的图片对添加到图片对集合中。

对图片中的图像进行的变换包括亮度变换和色彩变换等中的至少一个。例如，对于该图片对包括的第五图片和第六图片。对该第五图片中的图像进行变换处理得到新的第五图片，对该第六图片中的图像进行变换处理得到新的第六图片，该新的第五图片和新的第六图片组成了该图片对对应的的新的图片对。

步骤203：根据图片集合中的至少一个图片对构建用于生成视差图的地面方程。

在本步骤中，根据该至少一个图片对，通过用于生成视差图的算法生成该至少一个图片对中的每个图片对包括的第五图片对应的视差图和第六图片对应的视差图。识别生成的每个视差图中被标记出的无反光地面图像区域，根据每个无反光地面图像区域包括的像素点构建用于生成视差图的地面方程。

可选的，用于生成视差图的算法可以为半全局匹配(semi-global matching，SGM)算法等。双目摄像机拍摄的图片中可能包括地面反光的图像，用于生成视差图的算法在生成视差图时可能会受到该地面反光的图像的影响。所以在本步骤中，当通过用于生成视差图的算法生成该至少一个图片对中的每个图片对包括的图片对应的视差图后，可以显示生成的每个视差图，这样技术人员可以在每个视差图中标记出无反光地面图像区域。

可选的，可以根据每个无反光地面图像区域包括的像素点，通过预设算法构建的用于生成视差图的地面方程，在利用该地面方程生成视差图时可以消除图片中的地面反光区域的影响，提高了生成的视差图的精度。

可选的，预设算法可以为随机抽样一致(random sample consensus，ransac)算法，将每个无反光地面图像区域包括的像素点输入ransac算法，使ransac算法根据这些像素点估计出地面方程。

步骤204：根据该地面方程和该图片对集合训练待训练的卷积神经网络。

在本步骤中，待训练的卷积神经网络是一个包括编解码结构的卷积神经网络，该卷积神经网络包括编码网络，该编码网络可以为resnet-50，该编码网络通过残差连接使得网络能够更深，从而能够学习到输入图像更高层次的特征表示。由于编码网络中存在卷积操作和下采样操作，使得输出的特征图尺寸小于输入图像的尺寸，因此在解码过程中引入了上采样操作，使得卷积神经网络能够学习到高分辨率的视差图。解码网络是由卷积操作与上采样操作共同组成的，除此之外，在解码过程中还通过直连操作将编码过程中所求得的特征融合到解码过程中，从而使得求解视差图时能够更充分地利用输入图片的特征。

在本步骤中，可以通过如下2041至2045的操作实现，分别为：

2041：通过地面方程生成图片对集合中的每个图片对包括的第五图片对应的第一视差图和第六图片对应的第一视差图。

可以将图片对集合中的每个图片对包括的第五图片和第六图片输入到地面方程，接收地面方程输出的每个图片对包括的第五图片对应的第一视差图和第六图片对应的第一视差图。

2042：通过待训练的卷积神经网络生成图片对集合中的每个图片对包括的第五图片对应的第二视差图和第六图片对应的第二视差图。

可以将该图片对集合中的每个图片对包括的第五图片和第六图片输入到卷积神经网络，接收卷积神经网络输出的每个图片对包括的第五图片对应的第二视差图和第六图片对应的第二视差图。

2043：根据每个图片对包括的第五图片对应的第一视差图和第二视差图，分别获取每个图片对包括的第五图片对应的置信度图，以及根据每个图片对包括的第六图片对应的第一视差图和第二视差图，分别获取每个图片对包括的第六图片对应的置信度图。

对于每个图片对，可以按如下(1)至(3)的操作，获取该图片对包括第五图片对应的置信度图和第六图片对应的置信度图。分别为：

(1)：根据第五图片对应的第一视差图和第二视差图获取第五图片中的每个像素点的视差差值，将每个像素点的视差差值组成得到第五图片对应的第一差异图。

可选的，对于第五图片中的每个像素点，根据该像素点在第五图片中的位置，从第五图片对应的第一视差图中获取对应的第一视差值，以及从第五图片对应的第二视差图中获取对应的第二视差值，根据获取的第一视差值和第二视差值通过如下第一公式计算出该像素点的视差差值。

第一公式为：diff_ij＝D_ij-d_ij；

其中，在第一公式中，diff_ij为第五图片中的第i行第j列的像素点的视差差值，D_ij为第一视差图中位于第i行第j列的第一视差值，d_ij为第二视差图中位于第i行第j列的第二视差值。

(2)：根据第六图片对应的第一视差图和第二视差图获取第六图片中的每个像素点的视差差值，将每个像素点的视差差值组成得到第六图片对应的第一差异图。

可选的，对于第六图片中的每个像素点，根据该像素点在第六图片中的位置，从第六图片对应的第一视差图中获取对应的第一视差值，以及从第六图片对应的第二视差图中获取对应的第二视差值，根据获取的第一视差值和第二视差值通过上述第一公式计算出该像素点的视差差值。

(3)：将第五图片对应的第一差异图中的每个像素点的视差差值归一化到预设范围得到第五图片对应的第二差异图，其中第五图片对应的第二差异图中的每个像素点的视差差值位于该预设范围内，该预设范围可以为大于等于0且小于或等于1。

可选的，对于第五图片对应的第一差异图中的每个像素点，可以通过如下第二公式对该像素点的视差差值进行归一化处理，得到该像素点在第二差异图中归一化后的视差差值。

第二公式为

其中，在第二公式中diff_ij为第一差异图中的第i行第j列的像素点的视差差值，diffcip_ij为该像素点归一化后的视差差值；在第二公式中，如果diff_ij≤0，则diffcip_ij＝0；如果diff_ij≥1，则diffcip_ij＝1；如果为其他情况，即当0<diff_ij<1时，diffcip_ij＝diff_ij。

(4)：将第六图片对应的第一差异图中的每个像素点的视差差值归一化到预设范围得到第六图片对应的第二差异图，其中第六图片对应的第二差异图中的每个像素点的视差差值位于该预设范围内。

可选的，对于第六图片对应的第一差异图中的每个像素点，可以通过上述第二公式对该像素点的视差差值进行归一化处理，得到该像素点在第二差异图中归一化后的视差差值。

(5)：根据第五图片对应的第二差异图中的每个像素点的视差差值获取每个像素点的置信度，将每个像素点的置信度组成第五图片对应的置信度图。

可选的，对于第五图片对应的第二差异图中的每个像素点，根据该像素点的视差差值，通过如下第三公式获取该像素点的置信度。

第三公式为

其中，在第三公式中，diffcip_ij为第二差异图中的第i行第j列的像素点的视差差值，confidence_ij为该像素点的置信度。

(6)：根据第六图片对应的第二差异图中的每个像素点的视差差值获取每个像素点的置信度，将每个像素点的置信度组成第六图片对应的置信度图。

可选的，对于第六图片对应的第二差异图中的每个像素点，根据该像素点的视差差值，通过上述第三公式获取该像素点的置信度。

2044：对于每个图片对包括的第五图片和第六图片，根据该第六图片、该第五图片对应的置信度图和第二视差图，生成该第五图片对应的误差图，该第五图片对应的误差图用于表示该第五图片对应的第二视差图中的视差误差。

该第五图片对应的误差图中保存了该第五图片对应的第二视差图中的每个像素点的视差误差，第二视差图中的像素点的视差误差是卷积神经网络在生成第二视差图时产生的。

可选的，对于该第五图片以及该第五图片对应的置信度图和第二视差图，根据该第五图片中的每个像素点在该第二视差图中对应的第二视差值和在该置信度图中对应的置信度，获取第五图片中每个像素点的视差误差，将每个像素点的视差误差组成该第五图片对应的误差图。

在本步骤中，获取第五图片中每个像素点的视差误差，可以通过如下(1)至(4)的操作来实现，该(1)至(4)的操作分别为：

(1)：对于该第五图片中的第i行第j列的像素点，从该第五图片中获取该像素点的像素值，从该第五图片对应的置信度图和第二视差图获取该像素点对应的置信度和视差值。

(2)：根据该像素点对应的视差值，从该第六图片中获取该像素点在第六图片中对应的像素点的像素值。

假设第i行第j列的该像素点对应的视差值为dispL_ij，该像素点在第六图片中对应的像素点为第六图片中的第i行第j-dispL_ij列的像素点。

(3)：根据该像素点的像素值和该像素点在第六图片中对应的像素点的像素值，通过如下第四公式获取该像素点的重建误差。

第四公式为

在第四公式中，imgL_err_ij为第i行第j列的该像素点的重建误差，

为该像素点在第六图片中对应的像素点的像素值，即为第六图片中的第i行第j-dispL_ij列的像素点的像素值，imgL_ij为第五图片中的第i行第j列的该像素点的像素值，| |表示取绝对值运算。

其中，当(j-dispL_ij)小于0时，表示在第六图片中不存在与第五图片中第i行第j列的像素点对应的像素点，则第i行第j列的像素点的重建误差设置为0。

(4)：根据该像素点的置信信息和重建误差，通过如下第五公式获取该像素点的视差误差。

第五公式为Err_ij＝imgL_err_ij*confidence_ij；

其中，在第五公式中，Err_ij为该像素点的视差误差，confidence_ij为该像素点对应的置信度。

重复执行上述(1)至(4)的操作，以获取第五图片中每个像素点的视差误差。

2045：对于每个图片对包括的第五图片和第六图片，根据该第五图片、该第六图片对应的置信度图和第二视差图，生成该第六图片对应的误差图，该第六图片对应的误差图用于表示该第六图片对应的第二视差图中的视差误差。

该第六图片对应的误差图中保存了该第六图片对应的第二视差图中的每个像素点的视差误差，第二视差图中的像素点的视差误差是卷积神经网络在生成第二视差图时产生的。

可选的，对于该第六图片以及该第六图片对应的置信度图和第二视差图，根据该第六图片中的每个像素点在该第二视差图中对应的第二视差值和在该置信度图中对应的置信度，获取第六图片中每个像素点的视差误差，将每个像素点的视差误差组成该第六图片对应的误差图。

在本步骤中，获取第六图片中每个像素点的视差误差，可以通过如下(1)至(4)的操作来实现，该(1)至(4)的操作分别为：

(1)：对于该第六图片中的第i行第j列的像素点，从该第六图片中获取该像素点的像素值，从该第六图片对应的置信度图和第二视差图获取该像素点对应的置信度和视差值。

(2)：根据该像素点对应的视差值，从该第五图片中获取该像素点在第五图片中对应的像素点的像素值。

假设第i行第j列的该像素点对应的视差值为dispR_ij，该像素点在第五图片中对应的像素点为第五图片中的第i行第j+dispR_ij列的像素点。

(3)：根据该像素点的像素值和该像素点在第五图片中对应的像素点的像素值，通过如下第六公式获取该像素点的重建误差。

第六公式为

在第六公式中，imgR_err_ij为第i行第j列的该像素点的重建误差，

为该像素点在第五图片中对应的像素点的像素值，即为第五图片中的第i行第j+dispR_ij列的像素点的像素值，imgR_ij为第六图片中的第i行第j列的该像素点的像素值。

其中，当(j+dispR_ij)大第五图片的宽度时，表示在第五图片中不存在与第六图片中第i行第j列的像素点对应的像素点，则第i行第j列的像素点的重建误差设置为0。

(4)：根据该像素点的置信信息和重建误差，通过如下第七公式获取该像素点的视差误差。

第七公式为Err_ij＝imgR_err_ij*confidence_ij；

其中，在第五公式中，Err_ij为该像素点的视差误差，confidence_ij为该像素点对应的置信度。

重复执行上述(1)至(4)的操作，以获取第六图片中每个像素点的视差误差。

2046：将每个图片对包括的第五图片对应的误差图和第六图片对应的误差图输入到卷积神经网络，使该卷积神经网络设其其参数，返回执行2042。

在本步骤可以设置门限值R，上述2042至2046为一次训练卷积神经网络的操作，可以设置训练次数r，r的初始值为0。当执行完一次2042至2046的操作，设置r＝r+1，当r小于或等于R时，重复执行2042至2046的训练操作，直至当r大于R时，停止继续执行2042至2046的训练操作，此时得到训练后的卷积神经网络。

训练得到卷积神经网络后，就可以使用该卷积神经网络生成视差图，详细实现如下见如下步骤。

步骤205：通过双目摄像机进行拍摄得到第一图片和第二图片，第一图片和第二图片包括地面图像。

在执行本步骤之前安装双目摄像机，使用双目报像机对地面和位于地面和地面上的物体进行拍摄。双目摄像机包括两个摄像头，该两个摄像头同时进行摄像得到第一图片和第二图片。

步骤206：分别对第一图片和第二图片进行预处理。

对第一图片和第二图片进行的预设处理包括畸变矫正处理、像素值归一化处理和图片尺寸处理中的至少一个。

双目摄像机拍摄第一图片和第二图片时可能发生畸变，导致第一图片中的图像和第二图片中的图像可以发生畸变，所以需要进行畸变矫正处理，以矫正第一图片中发生畸变的图像和第二图片中发生畸变的图像。

可选的，可以根据双目摄像机的内参数对第一图片和第二图片进行畸变矫正处理。

对第一图片和第二图片进行过畸变矫正处理后，对矫正处理后的第一图片和第二图片进行像素归一化处理。详细实现过程可以为：

将第一图片中的每个像素点的像素值归一化成预设像素值范围内的值，以及将第二图片中的每个像素点的像素值归一化成预设像素值范围内的值。

可选的，在对第一图片进行归一化处理时，对于第一图片中的任一个像素点，从第一图片中获取该像素点的像素值，将该像素值除以255得到的归一化后的像素值，在第一图片中将该像素点的像素值更新为该归一化后的像素值。对第一图片中的其他每个像素点按该像素点相同的处理，得到归一化后的第一图片。

在对第二图片进行归一化处理时，对于第二图片中的任一个像素点，从第二图片中获取该像素点的像素值，将该像素值除以255得到的归一化后的像素值，在第二图片中将该像素点的像素值更新为该归一化后的像素值。对第二图片中的其他每个像素点按该像素点相同的处理，得到归一化处理后的第二图片。

可选的，可以基于该特征图尺寸调整该图片对中的第一图片的尺寸和第二图片的尺寸，调整后的第一图片的尺寸和第二图片的尺寸均为该特征图尺寸的整数倍。

步骤207：将第一图片和第二图片输入卷积神经网络，接收该卷积神经网络根据第一图片和第二图片生成的第一图片对应的视差图和第二图片对应的视差图。

生成第一图片对应的视差图和第二图片对应的视差图视差图后，还可以根据该双目摄像机的内参数和第一图片对应的视差图生成第一图片对应的深度图，或者，根据该双目摄像机的内参数和第二图片对应的视差图生成第二图片对应的深度图。实现过程可以为：

对于第一视频图片对应的视差图中的每个像素点的视差值，根据该双目摄像机的内参数和该像素点的视差值，通过如下第八公式获取该像素点的深度值。按上述过程获取该视差图中的每个像素点的深度值，将每个像素点的深度值组成第一视频图片的深度图。

第八公式为dep4＝f*b/disp，disp是该视差图中的像素点的视差值，dep4是该像素点的深度值，f为双目摄像机的焦距，b为双目摄像机的基线距离。

获取第二图片对应的深度图的实现过程和上述获取第一图片的深度度的过程相同，在此不再详细说明。

在本申请实施例中，由于根据图片对集合中的至少一个图片对生成地面方程，图片对集合包括双目摄像机拍摄的图片对，该地面方程用于生成视差图；根据该图片对集合和地面方程训练待训练的卷积神经网络，训练后的卷积神经网络可以生成视差图，这样可以通过卷积神经网络来生成视差，简化操作，避免引入误差。在训练的过程中通过人为方式标记出无反光地面图像区域，利用该无反光地面图像区域训练出的卷积神经网络可以提高生成视差图的效果。

下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

参见图3，本申请实施例提供了一种生成视差图的装置300，所述装置300包括：

拍摄模块301，用于通过双目摄像机进行拍摄得到第一图片和第二图片，所述第一图片和所述第二图片包括地面图像；

获取模块302，用于将所述第一图片和所述第二图片输入用于生成视差图的卷积神经网络，获取所述卷积神经网络根据所述第一图片和所述第二图片生成的所述第一图片的视差图和所述第二图片的视差图。

可选的，所述获取模块302包括：

处理单元，用于对所述第一图片和所述第二图片进行预处理得到第三图片和第四图片，所述第三图片中的每个像素值和所述第四图片中的每个像素值位于预设范围内，所述第三图片的尺寸和所述第四图片的尺寸为所述卷积神经网络产生的特征图尺寸的整数倍，预设处理包括畸变矫正、像素值归一化和尺寸调整中的至少一个；

获取单元，用于将所述第三图片和所述第四图片输入所述卷积神经网络，获取所述卷积神经网络根据所述第三图片和所述第四图片生成的所述第一图片的视差图和所述第二图片的视差图。

可选的，所述装置300还包括：

生成模块，用于根据图片对集合中的至少一个图片对生成地面方程，所述图片对集合包括所述双目摄像机拍摄的图片对，图片对包括第五图片和第六图片，所述地面方程用于生成视差图；

训练模块，用于根据所述图片对集合和所述地面方程训练待训练的卷积神经网络。

可选的，所述生成模块包括：

第一生成单元，用于根据图片对集合中的至少一个图片对，通过用于生成视差图的算法生成所述至少一个图片对中的每个图片对包括的第五图片对应的视差图和第六图片对应的视差图；

构建单元，用于根据所述每个图片对的第五图片对应的视差图和第六图片对应的视差图中被标记出的无反光地面图像区域构建用于生成视差图的地面方程。

可选的，所述训练模块包括：

第一生成单元，用于根据所述图片对集合中的图片对包括的第五图片和第六图片，通过所述地面方程生成所述图片对包括的第五图片对应的第一视差图和第六图片对应的第一视差图；

第二生成单元，用于根据所述图片对集合中的图片对包括的第五图片和第六图片，通过待训练的卷积神经网络生成所述图片对包括的第五图片对应的第二视差图和第六图片对应的第二视差图；

设置单元，用于根据所述图片对包括的第五图片对应的第一视差图和第二视差图以及第六图片对应的第一视差图和第二视差图，设置所述待训练的卷积神经网络的参数。

可选的，所述设置单元，用于：

根据所述图片对包括的第五图片对应的第一视差图和第二视差图，生成所述图片对包括的第五图片对应的误差图，所述第五图片对应的误差图包括所述第五图片对应的第二视差图中的每个像素点的视差误差；

根据所述图片对包括的第六图片对应的第一视差图和第二视差图，生成所述图片对包括的第六图片对应的误差图，所述第六图片对应的误差图包括所述第六图片对应的第二视差图中的每个像素点的视差误差；

根据所述图片对包括第五图片对应的误差图和第六图片对应的误差图设置所述待训练的卷积神经网络的参数。

可选的，所述设置单元，用于：

根据所述图片对包括的第五图片对应的第一视差图和第二视差图生成所述第五图片对应的第一差异图，所述第一差异图包括所述第五图片中的每个像素点在所述第一视差图中对应的第一视差值和在所述第二视差图中对应的第二视差值之间的视差差值；

将所述第一差异图中的每个像素点的视差差值归一化到预设差值范围得到第二差异图；

根据所述第二差异图中的每个像素点的视差差值生成所述第五图片对对应的置信度图；

根据所述图片对包括的第六图片、所述第五图片对应的置信度图和第二视差图，生成所述第五图片对应的误差图。

可选的，所述设置单元，用于：

根据所述图片对包括的第六图片对应的第一视差图和第二视差图生成所述第六图片对应的第一差异图，所述第一差异图包括所述第六图片中的每个像素点在所述第一视差图中对应的第一视差值和在所述第二视差图中对应的第二视差值之间的视差差值；

将所述第一差异图中的每个像素点的视差差值归一化到预设差值范围得到第二差异图；

根据所述第二差异图中的每个像素点的视差差值生成所述第六图片对对应的置信度图；

根据所述图片对包括的第五图片、所述第六图片对应的置信度图和第二视差图，生成所述第六图片对应的误差图。

在本申请实施例中，由于生成模块根据图片对集合中的至少一个图片对生成地面方程，图片对集合包括双目摄像机拍摄的图片对，该地面方程用于生成视差图；训练模块根据该图片对集合和地面方程训练待训练的卷积神经网络，训练后的卷积神经网络可以生成视差图，这样可以通过卷积神经网络来生成视差，简化操作，避免引入误差。在训练的过程中通过人为方式标记出无反光地面图像区域，利用该无反光地面图像区域训练出的卷积神经网络可以提高生成视差图的效果。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图4示出了本发明一个示例性实施例提供的终端400的结构框图。该终端400可以是便携式移动终端，比如：智能手机、平板电脑、笔记本电脑或台式电脑。终端400还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，终端400包括有：处理器401和存储器402。

处理器401可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器401可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器401也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器401可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器401还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器402可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器402还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器402中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器401所执行以实现本申请中方法实施例提供的生成视差图的方法。

在一些实施例中，终端400还可选包括有：外围设备接口403和至少一个外围设备。处理器401、存储器402和外围设备接口403之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口403相连。具体地，外围设备包括：射频电路404、触摸显示屏405、摄像头406、音频电路407、定位组件408和电源409中的至少一种。

外围设备接口403可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器401和存储器402。在一些实施例中，处理器401、存储器402和外围设备接口403被集成在同一芯片或电路板上；在一些其他实施例中，处理器401、存储器402和外围设备接口403中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路404用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路404通过电磁信号与通信网络以及其他通信设备进行通信。射频电路404将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路404包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路404可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路404还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏405用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏405是触摸显示屏时，显示屏405还具有采集在显示屏405的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器401进行处理。此时，显示屏405还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏405可以为一个，设置终端400的前面板；在另一些实施例中，显示屏405可以为至少两个，分别设置在终端400的不同表面或呈折叠设计；在再一些实施例中，显示屏405可以是柔性显示屏，设置在终端400的弯曲表面上或折叠面上。甚至，显示屏405还可以设置成非矩形的不规则图形，也即异形屏。显示屏405可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。

摄像头组件406用于采集图像或视频。可选地，摄像头组件406包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件406还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路407可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器401进行处理，或者输入至射频电路404以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端400的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器401或射频电路404的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路407还可以包括耳机插孔。

定位组件408用于定位终端400的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件408可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。

电源409用于为终端400中的各个组件进行供电。电源409可以是交流电、直流电、一次性电池或可充电电池。当电源409包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。

在一些实施例中，终端400还包括有一个或多个传感器410。该一个或多个传感器410包括但不限于：加速度传感器411、陀螺仪传感器412、压力传感器413、指纹传感器414、光学传感器415以及接近传感器416。

加速度传感器411可以检测以终端400建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器411可以用于检测重力加速度在三个坐标轴上的分量。处理器401可以根据加速度传感器411采集的重力加速度信号，控制触摸显示屏405以横向视图或纵向视图进行用户界面的显示。加速度传感器411还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器412可以检测终端400的机体方向及转动角度，陀螺仪传感器412可以与加速度传感器411协同采集用户对终端400的3D动作。处理器401根据陀螺仪传感器412采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器413可以设置在终端400的侧边框和/或触摸显示屏405的下层。当压力传感器413设置在终端400的侧边框时，可以检测用户对终端400的握持信号，由处理器401根据压力传感器413采集的握持信号进行左右手识别或快捷操作。当压力传感器413设置在触摸显示屏405的下层时，由处理器401根据用户对触摸显示屏405的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器414用于采集用户的指纹，由处理器401根据指纹传感器414采集到的指纹识别用户的身份，或者，由指纹传感器414根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器401授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器414可以被设置终端400的正面、背面或侧面。当终端400上设置有物理按键或厂商Logo时，指纹传感器414可以与物理按键或厂商Logo集成在一起。

光学传感器415用于采集环境光强度。在一个实施例中，处理器401可以根据光学传感器415采集的环境光强度，控制触摸显示屏405的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏405的显示亮度；当环境光强度较低时，调低触摸显示屏405的显示亮度。在另一个实施例中，处理器401还可以根据光学传感器415采集的环境光强度，动态调整摄像头组件406的拍摄参数。

接近传感器416，也称距离传感器，通常设置在终端400的前面板。接近传感器416用于采集用户与终端400的正面之间的距离。在一个实施例中，当接近传感器416检测到用户与终端400的正面之间的距离逐渐变小时，由处理器401控制触摸显示屏405从亮屏状态切换为息屏状态；当接近传感器416检测到用户与终端400的正面之间的距离逐渐变大时，由处理器401控制触摸显示屏405从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图4中示出的结构并不构成对终端400的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

本领域技术人员在考虑说明书及实践这里公开的申请后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (16)

1.一种生成视差图的方法，其特征在于，所述方法包括：

通过双目摄像机进行拍摄得到第一图片和第二图片，所述第一图片和所述第二图片包括地面图像；

将所述第一图片和所述第二图片输入用于生成视差图的卷积神经网络，获取所述卷积神经网络根据所述第一图片和所述第二图片生成的所述第一图片的视差图和所述第二图片的视差图。

2.如权利要求1所述的方法，其特征在于，所述将所述第一图片和所述第二图片输入用于生成视差图的卷积神经网络，获取所述卷积神经网络根据所述第一图片和所述第二图片生成的所述第一图片的视差图和所述第二图片的视差图，包括：

对所述第一图片和所述第二图片进行预处理得到第三图片和第四图片，所述第三图片中的每个像素值和所述第四图片中的每个像素值位于预设范围内，所述第三图片的尺寸和所述第四图片的尺寸为所述卷积神经网络产生的特征图尺寸的整数倍，预设处理包括畸变矫正、像素值归一化和尺寸调整中的至少一个；

将所述第三图片和所述第四图片输入所述卷积神经网络，获取所述卷积神经网络根据所述第三图片和所述第四图片生成的所述第一图片的视差图和所述第二图片的视差图。

3.如权利要求1所述的方法，其特征在于，所述将所述第一图片和所述第六图片输入用于生成视差图的卷积神经网络之前，还包括：

根据图片对集合中的至少一个图片对生成地面方程，所述图片对集合包括所述双目摄像机拍摄的图片对，图片对包括第五图片和第六图片，所述地面方程用于生成视差图；

根据所述图片对集合和所述地面方程训练待训练的卷积神经网络。

4.如权利要求3所述的方法，其特征在于，所述根据图片对集合中的至少一个图片对生成地面方程，包括：

根据图片对集合中的至少一个图片对，通过用于生成视差图的算法生成所述至少一个图片对中的每个图片对包括的第五图片对应的视差图和第六图片对应的视差图；

根据所述每个图片对的第五图片对应的视差图和第六图片对应的视差图中被标记出的无反光地面图像区域构建用于生成视差图的地面方程。

5.如权利要求3所述的方法，其特征在于，所述根据所述图片对集合和所述地面方程训练待训练的卷积神经网络，包括：

根据所述图片对集合中的图片对包括的第五图片和第六图片，通过所述地面方程生成所述图片对包括的第五图片对应的第一视差图和第六图片对应的第一视差图；

根据所述图片对集合中的图片对包括的第五图片和第六图片，通过待训练的卷积神经网络生成所述图片对包括的第五图片对应的第二视差图和第六图片对应的第二视差图；

根据所述图片对包括的第五图片对应的第一视差图和第二视差图以及第六图片对应的第一视差图和第二视差图，设置所述待训练的卷积神经网络的参数。

6.如权利要求5所述的方法，其特征在于，所述根据所述图片对包括的第五图片对应的第一视差图和第二视差图以及第六图片对应的第一视差图和第二视差图，设置所述待训练的卷积神经网络的参数，包括：

根据所述图片对包括的第五图片对应的第一视差图和第二视差图，生成所述图片对包括的第五图片对应的误差图，所述第五图片对应的误差图包括所述第五图片对应的第二视差图中的每个像素点的视差误差；

根据所述图片对包括的第六图片对应的第一视差图和第二视差图，生成所述图片对包括的第六图片对应的误差图，所述第六图片对应的误差图包括所述第六图片对应的第二视差图中的每个像素点的视差误差；

根据所述图片对包括第五图片对应的误差图和第六图片对应的误差图设置所述待训练的卷积神经网络的参数。

7.如权利要求6所述的方法，其特征在于，所述根据所述图片对包括的第五图片对应的第一视差图和第二视差图，生成所述图片对包括的第五图片对应的误差图，包括：

根据所述图片对包括的第五图片对应的第一视差图和第二视差图生成所述第五图片对应的第一差异图，所述第一差异图包括所述第五图片中的每个像素点在所述第一视差图中对应的第一视差值和在所述第二视差图中对应的第二视差值之间的视差差值；

将所述第一差异图中的每个像素点的视差差值归一化到预设差值范围得到第二差异图；

根据所述第二差异图中的每个像素点的视差差值生成所述第五图片对对应的置信度图；

根据所述图片对包括的第六图片、所述第五图片对应的置信度图和第二视差图，生成所述第五图片对应的误差图。

8.如权利要求6所述的方法，其特征在于，所述根据所述图片对包括的第六图片对应的第一视差图和第二视差图，生成所述图片对包括的第六图片对应的误差图，包括：

根据所述图片对包括的第六图片对应的第一视差图和第二视差图生成所述第六图片对应的第一差异图，所述第一差异图包括所述第六图片中的每个像素点在所述第一视差图中对应的第一视差值和在所述第二视差图中对应的第二视差值之间的视差差值；

将所述第一差异图中的每个像素点的视差差值归一化到预设差值范围得到第二差异图；

根据所述第二差异图中的每个像素点的视差差值生成所述第六图片对对应的置信度图；

根据所述图片对包括的第五图片、所述第六图片对应的置信度图和第二视差图，生成所述第六图片对应的误差图。

9.一种生成视差图的装置，其特征在于，所述装置包括：

拍摄模块，用于通过双目摄像机进行拍摄得到第一图片和第二图片，所述第一图片和所述第二图片包括地面图像；

获取模块，用于将所述第一图片和所述第二图片输入用于生成视差图的卷积神经网络，获取所述卷积神经网络根据所述第一图片和所述第二图片生成的所述第一图片的视差图和所述第二图片的视差图。

10.如权利要求9所述的装置，其特征在于，所述获取模块包括：

处理单元，用于对所述第一图片和所述第二图片进行预处理得到第三图片和第四图片，所述第三图片中的每个像素值和所述第四图片中的每个像素值位于预设范围内，所述第三图片的尺寸和所述第四图片的尺寸为所述卷积神经网络产生的特征图尺寸的整数倍，预设处理包括畸变矫正、像素值归一化和尺寸调整中的至少一个；

获取单元，用于将所述第三图片和所述第四图片输入所述卷积神经网络，获取所述卷积神经网络根据所述第三图片和所述第四图片生成的所述第一图片的视差图和所述第二图片的视差图。

11.如权利要求10所述的装置，其特征在于，所述装置还包括：

生成模块，用于根据图片对集合中的至少一个图片对生成地面方程，所述图片对集合包括所述双目摄像机拍摄的图片对，图片对包括第五图片和第六图片，所述地面方程用于生成视差图；

训练模块，用于根据所述图片对集合和所述地面方程训练待训练的卷积神经网络。

12.如权利要求11所述的装置，其特征在于，所述生成模块包括：

第一生成单元，用于根据图片对集合中的至少一个图片对，通过用于生成视差图的算法生成所述至少一个图片对中的每个图片对包括的第五图片对应的视差图和第六图片对应的视差图；

构建单元，用于根据所述每个图片对的第五图片对应的视差图和第六图片对应的视差图中被标记出的无反光地面图像区域构建用于生成视差图的地面方程。

13.如权利要求11所述的装置，其特征在于，所述训练模块包括：

第一生成单元，用于根据所述图片对集合中的图片对包括的第五图片和第六图片，通过所述地面方程生成所述图片对包括的第五图片对应的第一视差图和第六图片对应的第一视差图；

第二生成单元，用于根据所述图片对集合中的图片对包括的第五图片和第六图片，通过待训练的卷积神经网络生成所述图片对包括的第五图片对应的第二视差图和第六图片对应的第二视差图；

设置单元，用于根据所述图片对包括的第五图片对应的第一视差图和第二视差图以及第六图片对应的第一视差图和第二视差图，设置所述待训练的卷积神经网络的参数。

14.如权利要求13所述的装置，其特征在于，所述设置单元，用于：

根据所述图片对包括的第五图片对应的第一视差图和第二视差图，生成所述图片对包括的第五图片对应的误差图，所述第五图片对应的误差图包括所述第五图片对应的第二视差图中的每个像素点的视差误差；

根据所述图片对包括的第六图片对应的第一视差图和第二视差图，生成所述图片对包括的第六图片对应的误差图，所述第六图片对应的误差图包括所述第六图片对应的第二视差图中的每个像素点的视差误差；

根据所述图片对包括第五图片对应的误差图和第六图片对应的误差图设置所述待训练的卷积神经网络的参数。

15.如权利要求14所述的装置，其特征在于，所述设置单元，用于：

根据所述图片对包括的第五图片对应的第一视差图和第二视差图生成所述第五图片对应的第一差异图，所述第一差异图包括所述第五图片中的每个像素点在所述第一视差图中对应的第一视差值和在所述第二视差图中对应的第二视差值之间的视差差值；

将所述第一差异图中的每个像素点的视差差值归一化到预设差值范围得到第二差异图；

根据所述第二差异图中的每个像素点的视差差值生成所述第五图片对对应的置信度图；

根据所述图片对包括的第六图片、所述第五图片对应的置信度图和第二视差图，生成所述第五图片对应的误差图。

16.如权利要求14所述的装置，其特征在于，所述设置单元，用于：

根据所述图片对包括的第六图片对应的第一视差图和第二视差图生成所述第六图片对应的第一差异图，所述第一差异图包括所述第六图片中的每个像素点在所述第一视差图中对应的第一视差值和在所述第二视差图中对应的第二视差值之间的视差差值；

将所述第一差异图中的每个像素点的视差差值归一化到预设差值范围得到第二差异图；

根据所述第二差异图中的每个像素点的视差差值生成所述第六图片对对应的置信度图；

根据所述图片对包括的第五图片、所述第六图片对应的置信度图和第二视差图，生成所述第六图片对应的误差图。

Images