CN111047634B - 场景深度的确定方法、装置、设备及存储介质 - Google Patents

Abstract

本发明实施例提供一种场景深度的确定方法、装置、设备及存储介质，该方法包括：获取双目视觉传感器采集的第一左右图像；采用第一视差网络模型对第一左右图像进行立体匹配，以获得第一视差图，第一视差网络模型是以计算每对第二左图像和对应的第一伪图像中除遮挡区域外的有效区域的第一图像相似性损失，以对第二视差网络模型训练至收敛后得到的；利用双目视觉传感器的参数将第一视差图转换为对应场景的深度。第一视差网络模型能够避免遮挡区域影响到有效区域的损失和整个视差网络模型的训练结果，使第一视觉网络模型更加适用于存在遮挡区域的第一视差图，使得到的第一视差图更加清晰平滑，更加符合真实视差，进而使确定的场景深度更加准确。

Description

场景深度的确定方法、装置、设备及存储介质

技术领域

本发明实施例涉及计算机视觉领域，尤其涉及一种场景深度的确定方法、装置、设备及存储介质。

背景技术

三维视觉场景中的深度能够度量三维视觉场景中的被测物体到成像平面的垂直距离。在计算机视觉中，确定三维视觉场景的深度在视频监控、机器人导航、自动驾驶等领域中具有重要的意义。

现有技术中，在确定三维视觉场景中的深度时，为了提高精度，普遍采用双目视觉传感器采集左右图像，然后采用视差网络模型计算左右图像间的视差图，并利用相机参数对视差图进行转换，得到视差图对应的场景的深度。

由于在采用视差网络模型确定视差图时，视差图中会存在遮挡区域，导致视差图不够清晰平滑，进而导致确定的场景深度的准确性较低。

发明内容

本发明实施例提供一种场景深度的确定方法、装置、设备及存储介质，解决了现有技术中采用视差网络模型确定视差图时，视差图中会存在遮挡区域，导致视差图不够清晰平滑，进而导致确定的场景深度的准确性较低的技术问题。

第一方面，本发明实施例提供一种场景深度的确定方法，所述方法应用于电子设备，所述电子设备与双目视觉传感器进行通信，所述方法包括：

获取所述双目视觉传感器采集的第一左右图像；

采用第一视差网络模型对所述第一左右图像进行立体匹配，以获得第一视差图，所述第一视差网络模型是以计算每对第二左图像和对应的第一伪图像中除遮挡区域外的有效区域的第一图像相似性损失，以对第二视差网络模型训练至收敛后得到的；

利用双目视觉传感器的参数将所述第一视差图转换为对应场景的深度。

进一步地，如上所述的方法，所述利用双目视觉传感器的参数将所述第一视差图转换为对应场景的深度，包括：

确定所述第一视差图的遮挡区域；

采用遮挡区域的邻域视差值替换所述遮挡区域，以得到修复后的视差图；

利用双目视觉传感器的参数将所述修复后的视差图转换为对应场景的深度。

进一步地，如上所述的方法，所述采用第一视差网络模型对所述第一左右图像进行立体匹配，以获得第一视差图之前，还包括：

确定各第一训练样本中第二左图像中的遮挡区域，所述第一训练样本包括第二左右图像；

将所述各第一训练样本输入至所述第二视差网络模型中，以输出各第一训练样本对应的第二视差图；

根据各所述第二视差图和对应的第二右图像确定对应的第一伪左图像；

确定各第一伪左图像中的遮挡区域；

计算每对第二左图像和第一伪左图像中除遮挡区域外的有效区域的第一图像相似性损失；

根据各所述第一图像相似性损失对所述第二视差网络模型进行训练至收敛，以得到所述第一视差网络模型。

进一步地，如上所述的方法，所述确定各第一训练样本中第二左图像中的遮挡区域，包括：

将各所述第一训练样本输入至第三视差网络模型中，以输出各第一训练样本对应的第三视差图；

根据所述第二左图像、对应的第三视差图及第二右图像确定所述遮挡区域。

进一步地，如上所述的方法，所述根据所述第二左图像、对应的第三视差图及第二右图像确定所述遮挡区域，包括：

获取所述第二左图像中的各第一像素点坐标值对应的第三视差图中的视差坐标值和第二右图像中的第二像素点坐标值；

若多个第一像素点坐标值对应的视差坐标值不同且第二像素点坐标值相同，则将该多个第一像素点确定为遮挡点；

将所述遮挡点构成的区域确定为所述遮挡区域。

进一步地，如上所述的方法，所述将所述第一训练样本输入至第三视差网络模型中，以输出各第一训练样本对应的第三视差图之前，还包括：

获取第二训练样本，所述第二训练样本包括第三左右图像；

采用初始视差网络模型对所述第三左右图像进行立体匹配，以输出各第二训练样本对应的第四视差图；

根据各所述第四视差图和对应的第三右图像确定对应的第二伪左图像；

计算每对第三左图像和第二伪左图像中的第二图像相似性损失；

根据各所述第二图像相似性损失对所述初始视差网络模型进行训练至收敛，以得到所述第三视差网络模型。

第二方面，本发明实施例提供一种场景深度的确定装置，所述装置位于电子设备中，所述电子设备与双目视觉传感器进行通信，所述装置包括：

图像获取模块，用于获取所述双目视觉传感器采集的第一左右图像；

视差图获取模块，用于采用第一视差网络模型对所述第一左右图像进行立体匹配，以获得第一视差图，所述第一视差网络模型是以计算每对第二左图像和对应的第一伪图像中除遮挡区域外的有效区域的第一图像相似性损失，以对第二视差网络模型训练至收敛后得到的；

深度确定模块，用于利用双目视觉传感器的参数将所述第一视差图转换为对应场景的深度。

进一步地，如上所述的装置，所述深度确定模块，具体用于：

确定所述第一视差图的遮挡区域；采用遮挡区域的邻域视差值替换所述遮挡区域，以得到修复后的视差图；利用双目视觉传感器的参数将所述修复后的视差图转换为对应场景的深度。

进一步地，如上所述的装置，还包括：第一模型训练模块，用于：

确定各第一训练样本中第二左图像中的遮挡区域，所述第一训练样本包括第二左右图像；将所述各第一训练样本输入至所述第二视差网络模型中，以输出各第一训练样本对应的第二视差图；根据各所述第二视差图和对应的第二右图像确定对应的第一伪左图像；确定各第一伪左图像中的遮挡区域；计算每对第二左图像和第一伪左图像中除遮挡区域外的有效区域的第一图像相似性损失；根据各所述第一图像相似性损失对所述第二视差网络模型进行训练至收敛，以得到所述第一视差网络模型。

进一步地，如上所述的装置，所述第一模型训练模块，在确定各第一训练样本中第二左图像中的遮挡区域时，具体用于：

将各所述第一训练样本输入至第三视差网络模型中，以输出各第一训练样本对应的第三视差图；根据所述第二左图像、对应的第三视差图及第二右图像确定所述遮挡区域。

进一步地，如上所述的装置，所述第一模型训练模块，在根据所述第二左图像、对应的第三视差图及第二右图像确定所述遮挡区域时，具体用于：

获取所述第二左图像中的各第一像素点坐标值对应的第三视差图中的视差坐标值和第二右图像中的第二像素点坐标值；若多个第一像素点坐标值对应的视差坐标值不同且第二像素点坐标值相同，则将该多个第一像素点确定为遮挡点；将所述遮挡点构成的区域确定为所述遮挡区域。

进一步地，如上所述的装置，还包括：第二模型训练模块，用于：

获取第二训练样本，所述第二训练样本包括第三左右图像；采用初始视差网络模型对所述第三左右图像进行立体匹配，以输出各第二训练样本对应的第四视差图；根据各所述第四视差图和对应的第三右图像确定对应的第二伪左图像；计算每对第三左图像和第二伪左图像中的第二图像相似性损失；根据各所述第二图像相似性损失对所述初始视差网络模型进行训练至收敛，以得到所述第三视差网络模型。

第三方面，本发明实施例提供一种电子设备，包括：

存储器，处理器以及计算机程序；

其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如第一方面中任一项所述的方法。

第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现如第一方面中任一项所述的方法。

本发明实施例提供一种场景深度的确定方法、装置、设备及存储介质，通过获取双目视觉传感器采集的第一左右图像；采用第一视差网络模型对第一左右图像进行立体匹配，以获得第一视差图，第一视差网络模型是以计算每对第二左图像和对应的第一伪图像中除遮挡区域外的有效区域的第一图像相似性损失，以对第二视差网络模型训练至收敛后得到的；利用双目视觉传感器的参数将第一视差图转换为对应场景的深度。由于第一视差网络模型是以计算每对第二左图像和对应的第一伪图像中除遮挡区域外的有效区域的第一图像相似性损失，以对第二视差网络模型训练至收敛后得到的，所以第一视差网络模型能够避免遮挡区域影响到有效区域的损失和整个视差网络模型的训练结果，使第一视觉网络模型更加适用于存在遮挡区域的第一视差图，使得到的第一视差图更加清晰平滑，更加符合真实视差，进而使确定的场景深度更加准确。

应当理解，上述发明内容部分中所描述的内容并非旨在限定本发明的实施例的关键或重要特征，亦非用于限制本发明的范围。本发明的其它特征将通过以下的描述变得容易理解。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的场景深度的确定方法的一种应用场景图；

图2为本发明实施例一提供的场景深度的确定方法的流程图；

图3为本发明实施例二提供的场景深度的确定方法的流程图；

图4为本发明实施例二提供的场景深度的确定方法中步骤201的流程图；

图5为本发明实施例二提供的场景深度的确定方法中步骤202的流程图；

图6为本发明实施例二提供的场景深度的确定方法中步骤2022的流程图；

图7为本发明实施例二提供的场景深度的确定方法中步骤203的流程图；

图8为本发明实施例二提供的场景深度的确定方法中步骤206的流程图；

图9为本发明实施例三提供的场景深度的确定装置的结构示意图；

图10为本发明实施例四提供的场景深度的确定装置的结构示意图；

图11为本发明实施例五提供的电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本发明的实施例。虽然附图中显示了本发明的某些实施例，然而应当理解的是，本发明可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本发明。应当理解的是，本发明的附图及实施例仅用于示例性作用，并非用于限制本发明的保护范围。

本发明实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明实施例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

首先对本发明实施例提供的场景深度的确定方法的应用场景进行介绍。本发明实施例提供的场景深度的确定方法可应用在机器人导航场景中，自动驾驶场景中或其他计算机视觉相关的场景中。

若应用在机器人导航场景中，则在机器人上搭载有双目视觉传感器，电子设备集成在机器人内。电子设备与双目视觉传感器进行通信，电子设备首先获取双目视觉传感器采集的第一左右图像，其次采用第一视差网络模型对第一左右图像进行立体匹配，以获得第一视差图。其中，第一视差网络模型是以计算每对第二左图像和对应的第一伪图像中除遮挡区域外的有效区域的第一图像相似性损失，以对第二视差网络模型训练至收敛后得到的。最后利用双目视觉传感器的参数将第一视差图转换为对应场景的深度。由于第一视差网络模型是以计算每对第二左图像和对应的第一伪图像中除遮挡区域外的有效区域的第一图像相似性损失，以对第二视差网络模型训练至收敛后得到的，所以第一视差网络模型能够避免遮挡区域影响到有效区域的损失和整个视差网络模型的训练结果，使第一视觉网络模型更加适用于存在遮挡区域的第一视差图，使得到的第一视差图更加清晰平滑，更加符合真实视差，进而使确定的场景深度更加准确。电子设备将更加准确的场景深度发给机器人，使机器人能够准确获知场景中的每个被测物体距离机器人的距离，进而有效规避障碍物，到达目的地。

如图1所示，若应用在自动驾驶场景中，则在无人驾驶车辆前端搭载有双目视觉传感器，电子设备集成在无人驾驶车辆内，如为车载终端，或者不集成在无人驾驶车辆内，而是能够与无人驾驶车辆进行通信。其中，电子设备与双目视觉传感器进行通信，电子设备首先获取双目视觉传感器采集的第一左右图像，其次采用第一视差网络模型对第一左右图像进行立体匹配，以获得第一视差图。其中，第一视差网络模型是以计算每对第二左图像和对应的第一伪图像中除遮挡区域外的有效区域的第一图像相似性损失，以对第二视差网络模型训练至收敛后得到的。最后利用双目视觉传感器的参数将第一视差图转换为对应场景的深度。由于第一视差网络模型是以计算每对第二左图像和对应的第一伪图像中除遮挡区域外的有效区域的第一图像相似性损失，以对第二视差网络模型训练至收敛后得到的，所以第一视差网络模型能够避免遮挡区域影响到有效区域的损失和整个视差网络模型的训练结果，使第一视觉网络模型更加适用于存在遮挡区域的第一视差图，使得到的第一视差图更加清晰平滑，更加符合真实视差，进而使确定的场景深度更加准确。电子设备将更加准确的场景深度发给无人驾驶车辆，使无人驾驶车辆能够准确获知场景中的每个被测物体距离无人驾驶车辆的距离，进而有效规避障碍物，顺利进行行驶。

可以理解的是，本发明实施例提供的场景深度的确定方法还可应用在其他场景中，具体应用方式与机器人导航应用场景及自动驾驶应用场景类似，在此不再一一赘述。

以下将参照附图具体描述本申请的实施例。

实施例一

图2为本发明实施例一提供的场景深度的确定方法的流程图，如图2所示，本实施例提供的场景深度的确定方法的执行主体为场景深度的确定装置，该场景深度的确定装置可以位于电子设备中，电子设备可以为膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置等。其中，电子设备与双目视觉传感器进行通信，则本实施例提供的场景深度的确定方法包括以下几个步骤。

步骤101，获取双目视觉传感器采集的第一左右图像。

本实施例中，双目视觉传感器可以为双目视觉摄像头，或者还可以为其他类型的双目视觉传感器，本实施例中对此不作限定。

本实施例中，双目视觉传感器可根据应用场景的不同，设置在某一固定位置。如应用在自动驾驶领域中，设置在路侧。或者可随着物体进行移动，如应用在机器人导航领域中，设置在机器人上。再如应用在自动驾驶领域中，设置在无人驾驶车辆上，本实施例中对双目视觉传感器设置的位置不作限定。

具体地，双目视觉传感器可按照采样频率对前方场景进行拍摄。左视觉传感器拍摄的图像为第一左图像，右传感器拍摄的图像为第一右图像。在拍摄到第一左图像和第一右图像后，将第一左右图像发送给电子设备，以使电子设备获取到第一左右图像。

其中，第一左右图像均可以为二维的RGB图像。

步骤102，采用第一视差网络模型对第一左右图像进行立体匹配，以获得第一视差图，第一视差网络模型是以计算每对第二左图像和对应的第一伪图像中除遮挡区域外的有效区域的第一图像相似性损失，以对第二视差网络模型训练至收敛后得到的。

其中，第一视差网络模型通过第一训练集中的训练样本对第二视差网络模型训练至收敛后得到的。第一训练集中的训练样本为第一训练样本。第一训练样本包括第二左图像和第二右图像。在采用第一训练集对第二视差网络模型进行训练时，可首先确定每个第一训练样本中第二左图像中的遮挡区域，然后将各第一训练样本输入至第二视差网络模型中，由第二视差网络模型对各第二左图像和对应的第二右图像进行立体匹配，确定各第二左图像和对应的第二右图像中的像素点坐标的对应关系。然后计算具有对应关系的像素点坐标的差值，形成各第二视差图。然后根据各第二视差图和对应的第二右图像确定对应的第一伪左图像。第一伪左图像是根据第二视差图和对应的第二右图像恢复出的左图像。然后根据第二左图像和对应的第一伪左图像的对应关系，确定各第一伪左图像中的遮挡区域，将每对第二左图像和第一伪左图像输入到相似性损失函数中，计算每对第二左图像和第一伪左图像中除遮挡区域外的有效区域的图像相似性损失。该图像相似性损失为第一图像相似性损失。最后计算每对第二左图像和第一伪左图像对应的第一图像相似性损失的平均值。若第一图像相似性损失的平均值未达到预设要求，则调整第二视差网络模型中的参数，对第二视差网络模型进行训练。直到第一图像相似性损失的平均值达到预设要求时，该第二视差网络模型训练至收敛。该训练至收敛的第二视差网络模型为第一视差网络模型。

其中，第一视差网络模型和第二视差网络模型可以为无监督的深度学习模型。如可以为神经网络模型。由于卷积神经网络模型更适合处理图像，所以优选地，第一视差网络模型和第二视差网络模型均为卷积神经网络模型。

步骤103，利用双目视觉传感器的参数将第一视差图转换为对应场景的深度。

本实施例中，双目视觉传感器的参数可包括双目视觉传感器的焦距，左右视觉传感器的基线距离。

具体地，本实施例中，利用双目视觉传感器焦距及左右相机的基线距离。并结合三角测量原理，将第一视差图转换为对应场景的深度。

其中，第一视差图的维度与第一左图像和第一右图像的维度相同。所以第一视差图中每个点都表示一个视差值，则将第一视差图转换为对应场景的深度时，每个第一视差图中的点都对应一个深度。场景中包括的被测物体不同，则对应的被测物体的深度也不同。

本实施例提供的场景深度的确定方法，通过获取双目视觉传感器采集的第一左右图像；采用第一视差网络模型对第一左右图像进行立体匹配，以获得第一视差图，第一视差网络模型是以计算每对第二左图像和对应的第一伪图像中除遮挡区域外的有效区域的第一图像相似性损失，以对第二视差网络模型训练至收敛后得到的；利用双目视觉传感器的参数将第一视差图转换为对应场景的深度。由于第一视差网络模型是以计算每对第二左图像和对应的第一伪图像中除遮挡区域外的有效区域的第一图像相似性损失，以对第二视差网络模型训练至收敛后得到的，所以第一视差网络模型能够避免遮挡区域影响到有效区域的损失和整个视差网络模型的训练结果，使第一视觉网络模型更加适用于存在遮挡区域的第一视差图，使得到的第一视差图更加清晰平滑，更加符合真实视差，进而使确定的场景深度更加准确。

实施例二

图3为本发明实施例二提供的场景深度的确定方法的流程图，如图3所示，本实施例提供的场景深度的确定方法，是在本发明实施例一提供的场景深度的确定方法的基础上，对步骤102-步骤103的进一步细化，并且还包括了对第二视差网络模型进行训练，得到第一视差网络模型的步骤，以及对初始视差网络模型进行训练，以得到第三视差网络模型的步骤。则本实施例提供的场景深度的确定方法包括以下步骤。

步骤201，采用第二训练样本对初始视差网络模型进行训练至收敛，以得到第三视差网络模型。

作为一种可选实施方式，本实施例中，如图4所示，步骤201包括以下步骤：

步骤2011，获取第二训练样本，第二训练样本包括第三左右图像。

本实施例中，第二训练集是区别于第一训练集，在第二训练集中包括多个第二训练样本，每个第二训练样本包括：第三左右图像，第三左右图像包括：第三左图像和第三右图像。

其中，第三左右图像也是由双目视觉传感器采集获得的。

步骤2012，采用初始视差网络模型对第三左右图像进行立体匹配，以输出各第二训练样本对应的第四视差图。

进一步地，本实施例中，初始视差网络模型可以为无监督的初始卷积神经网络模型。将各第二训练样本输入到初始视差网络模型中，由初始视差网络模型对各第三左右图像进行立体匹配，确定各第三左图像和对应的第三右图像中的像素点坐标的对应关系。然后计算具有对应关系的像素点坐标的差值，形成各视差图，该视差图为第四视差图，初始视差网络模型输出第四视差图。

步骤2013，根据各第四视差图和对应的第三右图像确定对应的第二伪左图像。

本实施例中，由各第四视差图和对应的第三右图像确定出的对应的伪左图像为第二伪左图像。

进一步地，本实施例中，确定第四视差图中每个视差值与对应的第三右图像中像素点坐标的对应关系，根据每个视差值与对应的第三右图像中像素点坐标确定第二伪左图像中对应像素点坐标。采用双线性插值算法对第三右图像中像素点坐标相邻位置的像素值进行插值，以确定第二伪左图像中对应像素点坐标处的像素值。由确定出第二伪左图像中每个像素点坐标出的像素值形成第二伪左图像。

步骤2014，计算每对第三左图像和第二伪左图像中的第二图像相似性损失。

进一步地，本实施例中，将每对第三左图像和第二伪左图像输入到图像相似性损失函数中，图像相似性损失函数对每对第三左图像和第二伪左图像的图像相似性损失进行计算，以获得每对第三左图像和第二伪左图像间的图像相似性损失。每对第三左图像和第二伪左图像间的图像相似性损失为第二图像相似性损失。

步骤2015，根据各第二图像相似性损失对初始视差网络模型进行训练至收敛，以得到第三视差网络模型。

进一步地，本实施例中，计算每对第三左图像和第二伪左图像对应的第二图像相似性损失的平均值。若第二图像相似性损失的平均值未达到预设要求，则调整初始视差网络模型中的参数，对初始视差网络模型进行训练。直到第二图像相似性损失的平均值达到预设要求时，该初始视差网络模型训练至收敛。该训练至收敛的初始视差网络模型为第三视差网络模型。

可以理解的是，第三视差网络模型也可以为卷积神经网络模型。

步骤202，确定各第一训练样本中第二左图像中的遮挡区域，第一训练样本包括第二左右图像。

本实施例中，第一训练样本位于第一训练集中。在第一训练集中包括多个第一训练样本，第一训练样本包括第二左右图像。

其中，第二左右图像中，第二左图像包括遮挡区域。遮挡区域是第二左右图像中不存在像素对应关系的区域，即在第二左图像中存在但在第二右图像中不存在的区域。

作为一种可选实施方式，如图5所示，步骤202包括以下步骤：

步骤2021，将各第一训练样本输入至第三视差网络模型中，以输出各第一训练样本对应的第三视差图。

其中，第三视差网络模型为训练至收敛的初始视差网络模型。

进一步地，本实施例中，将各第一训练样本输入至第三视差网络模型中，第三视差网络模型对各第一训练样本中的第二左图像和第二右图像进行立体匹配，并根据立体匹配结果，计算第二左图像和第二右图像间的视差图，该视差图为第三视差图。第三视差网络模型输出每个第一训练样本对应的第三视差图。

步骤2022，根据第二左图像、对应的第三视差图及第二右图像确定遮挡区域。

进一步地，每个第一训练样本都有对应的第二左图像、第三视差图及第二右图像，则根据第一训练样本都有对应的第二左图像、第三视差图及第二右图像确定每个训练样本中第二左图像对应的遮挡区域。

作为一种可选实施方式，如图6所示，步骤2022包括以下步骤：

步骤2022a，获取第二左图像中的各第一像素点坐标值对应的第三视差图中的视差坐标值和第二右图像中的第二像素点坐标值。

进一步地，本实施例中，根据第二左图像中各第一像素坐标值与第三视差图中的视差坐标值的对应关系，获取第二左图像中的各第一像素点坐标值对应的第三视差图中的视差坐标值。并根据第二左图像中各第一像素坐标值与第二右图像中的第二像素点坐标值的对应关系，获取第二左图像中的各第一像素点坐标值对应的第二右图像中的第二像素点坐标值。

步骤2022b，若多个第一像素点坐标值对应的视差坐标值不同且第二像素点坐标值相同，则将该多个第一像素点确定为遮挡点。

本实施例中，对步骤202b进行示例性说明如下：

假设第二左图像中某一个第一像素点k1的坐标值为U，U对应的视差坐标值为D，第二右图像中对应的第二像素坐标值为(U-D)。假设第二左图像中另一个第一像素点k2坐标值为(U+i)，(U+i)对应的视差坐标值为(D+i)，第二右图像中的第二像素坐标值仍为(U-D)，则说明第一像素点k1和第二像素点k2为遮挡点。

步骤2022c，将遮挡点构成的区域确定为遮挡区域。

步骤203，采用各第一训练样本对第二视差网络模型进行训练至收敛，以得到第一视差网络模型。

作为一种可选实施方式，如图7所示，步骤203包括以下步骤：

步骤2031，将各第一训练样本输入至第二视差网络模型中，以输出各第一训练样本对应的第二视差图。

其中，第二视差网络模型也可以为无监督的卷积神经网络模型。第二视差网络模型不同于初始视差网络模型和第三视差网络模型。即第二视差网络模型中的参数分别与初始视差网络模型及第三视差网络模型中的参数不同。

进一步地，本实施例中，将各第一训练样本输入至第二视差网络模型中，第二视差网络模型对各第二左右图像进行立体匹配，确定各第二左图像和对应的第二右图像中的像素点坐标的对应关系。然后计算具有对应关系的像素点坐标的差值，形成各视差图，该视差图为第二视差图，第二视差网络模型输出第二视差图。

步骤2032，根据各第二视差图和对应的第二右图像确定对应的第一伪左图像。

进一步地，本实施例中，由各第二视差图和对应的第二右图像确定出的伪左图像为第一伪左图像。

进一步地，本实施例中，确定第二视差图中每个视差值与对应的第三右图像中像素点坐标的对应关系，根据每个视差值与对应的第二右图像中像素点坐标确定第一伪左图像中对应像素点坐标。采用双线性插值算法对第二右图像中像素点坐标相邻位置的像素值进行插值，以确定第一伪左图像中对应像素点坐标处的像素值。由确定出第一伪左图像中每个像素点坐标出的像素值形成第一伪左图像。

步骤2033，确定各第一伪左图像中的遮挡区域。

进一步地，本实施例中，根据各第二左图像的像素坐标值与对应的第一伪左图像的像素坐标值的对应关系，确定各第一伪左图像中的遮挡区域。

步骤2034，计算每对第二左图像和第一伪左图像中除遮挡区域外的有效区域的第一图像相似性损失。

进一步地，本实施例中，每对左图像和对应的第一伪左图像都有遮挡区域和非遮挡区域，将非遮挡区域确定为有效区域。

具体地，本实施例中，在将每对第二左图像和第一伪左图像输入到图像相似性损失函数中时，对每对第二左图像和第一伪左图像中的遮挡区域进行标记，在计算图像相似性损失时，排除遮挡区域，只计算有效区域的图像相似性损失。

其中，每对第二左图像和第一伪左图像中除遮挡区域外的有效区域的图像相似性损失作为第一图像相似性损失。

步骤2035，根据各第一图像相似性损失对第二视差网络模型进行训练至收敛，以得到第一视差网络模型。

进一步地，本实施例中，计算每对第二左图像和第一伪左图像中除遮挡区域外的有效区域的第一图像相似性损失的平均值。若第一图像相似性损失的平均值未达到预设要求，则调整第二视差网络模型中的参数，对第二视差网络模型进行训练。直到第一图像相似性损失的平均值达到预设要求时，该第二视差网络模型训练至收敛。该训练至收敛的第二视差网络模型为第一视差网络模型。

其中，预设要求可以为预设相似性损失阈值。预设相似性损失阈值的数值不作限定。

可以理解的是，若第一视差网络模型已经获得，则无需在每次执行步骤204-步骤206之前均执行步骤201-步骤203。

步骤204，获取双目视觉传感器采集的第一左右图像。

本实施例中，步骤204与本发明实施例一中的步骤101的实现方式相同，在此不再一一赘述。

值的说明是的，步骤204-步骤206是对第一视差网络模型应用的步骤。

步骤205，采用第一视差网络模型对第一左右图像进行立体匹配，以获得第一视差图，第一视差网络模型是以计算每对第二左图像和对应的第一伪图像中除遮挡区域外的有效区域的第一图像相似性损失，以对第二视差网络模型训练至收敛后得到的。

步骤206，利用双目视觉传感器的参数将第一视差图转换为对应场景的深度。

作为一种可选实施方式，如图8所示，本实施例中，步骤206包括以下步骤：

步骤2061，确定第一视差图的遮挡区域。

进一步地，本实施例中，可首先确定第一左图像中的遮挡区域，然后根据第一左图像中的像素点坐标值与第一视差图中的视差值的对应关系，确定第一视差图的遮挡区域。

步骤2062，采用遮挡区域的邻域视差值替换遮挡区域，以得到修复后的视差图。

进一步地，本实施例中，获取第一视差图中的遮挡区域对应的邻域，将领域中的视差值替换遮挡区域中的视差值，进行遮挡区域替换后的第一视差图为修复后的视差图。

步骤2063，利用双目视觉传感器的参数将修复后的视差图转换为对应场景的深度。

进一步地，本实施例中，利用双目视觉传感器焦距及左右相机的基线距离。并结合三角测量原理，将修复后的视差图转换为对应场景的深度。

其中，修复后的视差图的维度与第一左图像和第一右图像的维度相同。所以修复后的视差图中每个点都表示一个视差值，则将修复后的视差图转换为对应场景的深度时，每个修复后的视差图中的点都对应一个深度。场景中包括的被测物体不同，则对应的被测物体的深度也不同。

本实施例提供的场景深度的确定方法，在利用双目视觉传感器的参数将第一视差图转换为对应场景的深度时，确定第一视差图的遮挡区域；采用遮挡区域的邻域视差值替换遮挡区域，以得到修复后的视差图；利用双目视觉传感器的参数将修复后的视差图转换为对应场景的深度。不仅使得到的第一视差图更加清晰平滑，更加符合真实视差，并且将第一视差图中的遮挡区域替换后，进一步提高了修复后的是插图的清晰度和平滑度，进一步提高了场景深度的准确性。

实施例三

图9为本发明实施例三提供的场景深度的确定装置的结构示意图，如图9所示，本实施例提供的场景深度的确定装置30位于电子设备中，电子设备与双目视觉传感器进行通信，则本实施例提供的场景深度的确定装置30包括：图像获取模块31，视差图获取模块32及深度确定模块33。

其中，图像获取模块31，用于获取双目视觉传感器采集的第一左右图像。视差图获取模块32，用于采用第一视差网络模型对第一左右图像进行立体匹配，以获得第一视差图，第一视差网络模型是以计算每对第二左图像和对应的第一伪图像中除遮挡区域外的有效区域的第一图像相似性损失，以对第二视差网络模型训练至收敛后得到的。深度确定模块33，用于利用双目视觉传感器的参数将第一视差图转换为对应场景的深度。

本实施例提供的场景深度的确定装置可以执行图2所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

实施例四

图10为本发明实施例四提供的场景深度的确定装置的结构示意图，如图10所示，本实施例提供的场景深度的确定装置40在本发明实施例三提供的场景深度的确定装置30的基础上，进一步地，还包括：第一模型训练模块41和第二模型训练模块42。

进一步地，深度确定模块33，具体用于：

确定第一视差图的遮挡区域；采用遮挡区域的邻域视差值替换遮挡区域，以得到修复后的视差图；利用双目视觉传感器的参数将修复后的视差图转换为对应场景的深度。

进一步地，第一模型训练模块41，用于：

确定各第一训练样本中第二左图像中的遮挡区域，第一训练样本包括第二左右图像；将各第一训练样本输入至第二视差网络模型中，以输出各第一训练样本对应的第二视差图；根据各第二视差图和对应的第二右图像确定对应的第一伪左图像；确定各第一伪左图像中的遮挡区域；计算每对第二左图像和第一伪左图像中除遮挡区域外的有效区域的第一图像相似性损失；根据各第一图像相似性损失对第二视差网络模型进行训练至收敛，以得到第一视差网络模型。

进一步地，第一模型训练模块41，在确定各第一训练样本中第二左图像中的遮挡区域时，具体用于：

将各第一训练样本输入至第三视差网络模型中，以输出各第一训练样本对应的第三视差图；根据第二左图像、对应的第三视差图及第二右图像确定遮挡区域。

进一步地，第一模型训练模块41，在根据第二左图像、对应的第三视差图及第二右图像确定遮挡区域时，具体用于：

获取第二左图像中的各第一像素点坐标值对应的第三视差图中的视差坐标值和第二右图像中的第二像素点坐标值；若多个第一像素点坐标值对应的视差坐标值不同且第二像素点坐标值相同，则将该多个第一像素点确定为遮挡点；将遮挡点构成的区域确定为遮挡区域。

进一步地，第二模型训练模块42，用于：

获取第二训练样本，第二训练样本包括第三左右图像；采用初始视差网络模型对第三左右图像进行立体匹配，以输出各第二训练样本对应的第四视差图；根据各第四视差图和对应的第三右图像确定对应的第二伪左图像；计算每对第三左图像和第二伪左图像中的第二图像相似性损失；根据各第二图像相似性损失对初始视差网络模型进行训练至收敛，以得到第三视差网络模型。

本实施例提供的场景深度的确定装置可以执行图3-图8所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

实施例五

本发明实施例五还提供一种电子设备，如图11所示，该电子设备包括：存储器51，处理器52以及计算机程序。

其中，计算机程序存储在存储器51中，并被配置为由处理器52执行以实现本发明实施例一提供的场景深度的确定方法或本发明实施例二提供的场景深度的确定方法。

相关说明可以对应参见图2至图8的步骤所对应的相关描述和效果进行理解，此处不做过多赘述。

其中，本实施例中，存储器51和处理器52通过总线53连接。

实施例六

本发明实施例六提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行以实现本发明实施例一提供的场景深度的确定方法或本发明实施例二提供的场景深度的确定方法。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

用于实施本发明的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (7)

1.一种场景深度的确定方法，其特征在于，所述方法应用于电子设备，所述电子设备与双目视觉传感器进行通信，所述方法包括：

获取所述双目视觉传感器采集的第一左右图像；

采用第一视差网络模型对所述第一左右图像进行立体匹配，以获得第一视差图，所述第一视差网络模型是以计算每对第二左图像和对应的第一伪图像中除遮挡区域外的有效区域的第一图像相似性损失，以对第二视差网络模型训练至收敛后得到的；

利用双目视觉传感器的参数将所述第一视差图转换为对应场景的深度；

所述利用双目视觉传感器的参数将所述第一视差图转换为对应场景的深度，包括：

确定所述第一视差图的遮挡区域；

采用遮挡区域的邻域视差值替换所述遮挡区域，以得到修复后的视差图；

利用双目视觉传感器的参数将所述修复后的视差图转换为对应场景的深度；

所述采用第一视差网络模型对所述第一左右图像进行立体匹配，以获得第一视差图之前，还包括：

确定各第一训练样本中第二左图像中的遮挡区域，所述第一训练样本包括第二左右图像；

将所述各第一训练样本输入至所述第二视差网络模型中，以输出各第一训练样本对应的第二视差图；

根据各所述第二视差图和对应的第二右图像确定对应的第一伪左图像，确定各第一伪左图像中的遮挡区域；

计算每对第二左图像和第一伪左图像中除遮挡区域外的有效区域的第一图像相似性损失；

根据各所述第一图像相似性损失对所述第二视差网络模型进行训练至收敛，以得到所述第一视差网络模型。

2.根据权利要求1所述的方法，其特征在于，所述确定各第一训练样本中第二左图像中的遮挡区域，包括：

将各所述第一训练样本输入至第三视差网络模型中，以输出各第一训练样本对应的第三视差图；

根据所述第二左图像、对应的第三视差图及第二右图像确定所述遮挡区域。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第二左图像、对应的第三视差图及第二右图像确定所述遮挡区域，包括：

获取所述第二左图像中的各第一像素点坐标值对应的第三视差图中的视差坐标值和第二右图像中的第二像素点坐标值；

若多个第一像素点坐标值对应的视差坐标值不同且第二像素点坐标值相同，则将该多个第一像素点确定为遮挡点；

将所述遮挡点构成的区域确定为所述遮挡区域。

4.根据权利要求2所述的方法，其特征在于，所述将各所述第一训练样本输入至第三视差网络模型中，以输出各第一训练样本对应的第三视差图之前，还包括：

获取第二训练样本，所述第二训练样本包括第三左右图像；

采用初始视差网络模型对所述第三左右图像进行立体匹配，以输出各第二训练样本对应的第四视差图；

根据各所述第四视差图和对应的第三右图像确定对应的第二伪左图像；

计算每对第三左图像和第二伪左图像中的第二图像相似性损失；

根据各所述第二图像相似性损失对所述初始视差网络模型进行训练至收敛，以得到所述第三视差网络模型。

5.一种场景深度的确定装置，其特征在于，所述装置位于电子设备中，所述电子设备与双目视觉传感器进行通信，所述装置包括：

图像获取模块，用于获取所述双目视觉传感器采集的第一左右图像；

视差图获取模块，用于采用第一视差网络模型对所述第一左右图像进行立体匹配，以获得第一视差图，所述第一视差网络模型是以计算每对第二左图像和对应的第一伪图像中除遮挡区域外的有效区域的第一图像相似性损失，以对第二视差网络模型训练至收敛后得到的；

深度确定模块，用于利用双目视觉传感器的参数将所述第一视差图转换为对应场景的深度；

所述深度确定模块，具体用于：

确定所述第一视差图的遮挡区域；采用遮挡区域的邻域视差值替换所述遮挡区域，以得到修复后的视差图；利用双目视觉传感器的参数将所述修复后的视差图转换为对应场景的深度；

所述装置，还包括：第一模型训练模块，用于：

确定各第一训练样本中第二左图像中的遮挡区域，所述第一训练样本包括第二左右图像；

将所述各第一训练样本输入至所述第二视差网络模型中，以输出各第一训练样本对应的第二视差图；

根据各所述第二视差图和对应的第二右图像确定对应的第一伪左图像，确定各第一伪左图像中的遮挡区域；

计算每对第二左图像和第一伪左图像中除遮挡区域外的有效区域的第一图像相似性损失；

根据各所述第一图像相似性损失对所述第二视差网络模型进行训练至收敛，以得到所述第一视差网络模型。

6.一种电子设备，其特征在于，包括：

存储器，处理器以及计算机程序；

其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1-4中任一项所述的方法。

7.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1-4中任一项所述的方法。