CN110533663A - 一种图像视差确定方法、装置、设备及系统 - Google Patents
一种图像视差确定方法、装置、设备及系统 Download PDFInfo
- Publication number
- CN110533663A CN110533663A CN201810515532.7A CN201810515532A CN110533663A CN 110533663 A CN110533663 A CN 110533663A CN 201810515532 A CN201810515532 A CN 201810515532A CN 110533663 A CN110533663 A CN 110533663A
- Authority
- CN
- China
- Prior art keywords
- image
- sample image
- group
- segmentation result
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请实施例提供了一种图像视差确定方法、装置、设备及系统，方法包括：利用预设损失函数，基于多对样本图像、以及该多对样本图像的分割结果，对预设结构的初始视差网络进行训练，得到视差网络模型，图像的分割结果包括：图像中每个像素点所属平面的信息；利用该视差网络模型确定图像视差，可以识别像素点所属的平面，对于一些弱纹理区域来说，识别其像素点所属的平面后，便可以较准确地确定弱纹理区域的视差图，因此，本方案提高了视差准确性。
Description
技术领域
本申请涉及计算机视觉技术领域，特别是涉及一种图像视差确定方法、装置、设备及系统。
背景技术
对于多目相机来说，通常需要计算其包含的每对双目相机所采集的双目图像之间的视差。计算双目图像之间的视差一般包括：利用SGM(semi-global matching，半全局匹配)算法，计算双目图像之间的初始视差图；再对初始视差图进行降噪、滤波处理，得到最终的视差图。
但是这种方案中，对于双目图像中的一些弱纹理区域来说，如墙面、地面、或反光区域等，弱纹理区域对应的视差图准确性较差。
发明内容
本申请实施例的目的在于提供一种图像视差确定方法、装置、设备及系统，以提高视差准确性。
为达到上述目的，本申请实施例提供了一种图像视差确定方法，包括：
获取至少一对待处理图像；
将所述至少一对待处理图像输入预先训练得到的视差网络模型中，得到每对待处理图像的视差图；
其中，所述视差网络模型为：利用预设损失函数，基于多对样本图像、以及所述多对样本图像的分割结果，对预设结构的初始视差网络进行训练得到的；图像的分割结果包括：图像中每个像素点所属平面的信息。
可选的，采用如下步骤训练得到所述视差网络模型：
将第一组样本图像输入预设结构的初始视差网络，并利用第一预设损失函数，对所述初始视差网络进行训练，得到预训练模型；其中，所述第一预设损失函数中包含一项或多项误差参数；
获取所述第一组样本图像的分割结果；
将所述第一组样本图像、以及所述第一组样本图像的分割结果输入所述预训练模型，并利用第二预设损失函数，对所述预训练模型进行调整，得到视差网络模型；其中，所述第二预设损失函数中包含所述第一预设损失函数中的全部误差参数以及图像的分割结果对应的误差参数。
可选的，所述将所述第一组样本图像、以及所述第一组样本图像的分割结果输入所述预训练模型，包括：
基于所述第一组样本图像的分割结果，从所述第一组样本图像中抽取多对样本图像，作为目标样本图像；
将所述目标样本图像、以及所述目标样本图像的分割结果输入所述预训练模型。
可选的，所述获取所述第一组样本图像的分割结果，包括：
将所述第一组样本图像输入预先训练得到的分割网络模型，得到所述第一组样本图像的分割结果；所述分割网络模型为：以第二组样本图像的分割结果为监督，对预设结构的初始分割网络进行训练得到的；
所述将所述目标样本图像、以及所述目标样本图像的分割结果输入所述预训练模型，包括：
在所述第一组样本图像的分割结果中，得到所述目标样本图像的分割结果，作为第一分割结果；
利用边缘检测算法，对所述目标样本图像进行检测，根据检测结果，对所述第一分割结果中的平面进行分割，得到第二分割结果；
将所述目标样本图像以及所述第二分割结果输入所述预训练模型。
可选的，采用如下步骤训练得到所述分割网络模型：
将第二组样本图像及所述第二组样本图像的分割结果输入预设结构的初始分割网络，并以所述第二组样本图像的分割结果为监督，对所述初始分割网络进行训练，得到分割网络模型；其中，所述第二组样本图像为所述第一组样本图像的子集。
可选的，所述第一预设损失函数包含以下一项或多项误差参数：图像匹配误差参数、视差图平滑性误差参数、视差图左右一致性误差参数、重建图像梯度误差。
可选的，所述预训练模型的输出结果中包括多个不同尺度下的视差图；所述第一预设损失函数为所述多个不同尺度下的视差图的损失值的和；其中，一个尺度下的视差图的损失值＝(图像匹配误差参数*第一权重+视差图平滑性误差*第二权重+视差图左右一致性误差参数*第三权重+重建图像梯度误差参数*第四权重)；其中，所述第一权重、所述第一权重、所述第三权重和第四权重为预先设定的。
可选的，所述图像的分割结果对应的误差参数为：图像中所有平面的梯度参数的平均值，其中一个平面的梯度参数＝该平面中所有像素点的梯度参数的平均值，其中一个像素点的梯度参数＝该像素点的梯度值-该平面中所有像素点的梯度均值。
为达到上述目的，本申请实施例还提供了一种图像视差确定装置，包括：
第一获取模块，用于获取至少一对待处理图像；
第一输入模块，用于将所述至少一对待处理图像输入预先训练得到的视差网络模型中，得到每对待处理图像的视差图；
其中，所述视差网络模型为：利用预设损失函数，基于多对样本图像、以及所述多对样本图像的分割结果，对预设结构的初始视差网络进行训练得到的；图像的分割结果包括：图像中每个像素点所属平面的信息。
可选的，所述装置还可以包括：
第一训练模块，用于将第一组样本图像输入预设结构的初始视差网络，并利用第一预设损失函数，对所述初始视差网络进行训练，得到预训练模型；其中，所述第一预设损失函数中包含一项或多项误差参数；
第二获取模块，用于获取所述第一组样本图像的分割结果；
第二输入模块，用于将所述第一组样本图像、以及所述第一组样本图像的分割结果输入所述预训练模型；
调整模块，用于利用第二预设损失函数，对所述预训练模型进行调整，得到视差网络模型；其中，所述第二预设损失函数中包含所述第一预设损失函数中的全部误差参数以及图像的分割结果对应的误差参数。
可选的，所述第二输入模块，可以包括：
抽取子模块，用于基于所述第一组样本图像的分割结果，从所述第一组样本图像中抽取多对样本图像，作为目标样本图像；
输入子模块，用于将所述目标样本图像、以及所述目标样本图像的分割结果输入所述预训练模型。
可选的，所述第二获取模块，具体可以用于：
将所述第一组样本图像输入预先训练得到的分割网络模型，得到所述第一组样本图像的分割结果；所述分割网络模型为：以第二组样本图像的分割结果为监督，对预设结构的初始分割网络进行训练得到的；
所述输入子模块，具体可以用于：
在所述第一组样本图像的分割结果中，得到所述目标样本图像的分割结果，作为第一分割结果；
利用边缘检测算法，对所述目标样本图像进行检测，根据检测结果，对所述第一分割结果中的平面进行分割，得到第二分割结果；
将所述目标样本图像以及所述第二分割结果输入所述预训练模型。
可选的，所述装置还可以包括：
第二训练模块，用于将第二组样本图像及所述第二组样本图像的分割结果输入预设结构的初始分割网络，并以所述第二组样本图像的分割结果为监督，对所述初始分割网络进行训练，得到分割网络模型；其中，所述第二组样本图像为所述第一组样本图像的子集。
可选的，所述第一预设损失函数包含以下一项或多项误差参数：图像匹配误差参数、视差图平滑性误差参数、视差图左右一致性误差参数、重建图像梯度误差。
可选的，所述预训练模型的输出结果中包括多个不同尺度下的视差图；所述第一预设损失函数为所述多个不同尺度下的视差图的损失值的和；其中，一个尺度下的视差图的损失值＝(图像匹配误差参数*第一权重+视差图平滑性误差*第二权重+视差图左右一致性误差参数*第三权重+重建图像梯度误差参数*第四权重)；其中，所述第一权重、所述第一权重、所述第三权重和第四权重为预先设定的。
可选的，所述图像的分割结果对应的误差参数为：图像中所有平面的梯度参数的平均值，其中一个平面的梯度参数＝该平面中所有像素点的梯度参数的平均值，其中一个像素点的梯度参数＝该像素点的梯度值-该平面中所有像素点的梯度均值。
为达到上述目的，本申请实施例还提供了一种电子设备，包括处理器和存储器；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一种图像视差确定方法。
为达到上述目的，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种图像视差确定方法。
为达到上述目的，本申请实施例还提供了一种图像视差确定系统，包括：多目相机和处理设备，其中，
所述多目相机，用于采集至少一对待处理图像，并将所述至少一对待处理图像发送至所述处理设备；
所述处理设备，用于接收所述至少一对待处理图像；将所述至少一对待处理图像输入预先训练得到的视差网络模型中，得到每对待处理图像的视差图；其中，所述视差网络模型为：利用预设损失函数，基于多对样本图像、以及所述多对样本图像的分割结果，对预设结构的初始视差网络进行训练得到的；图像的分割结果包括：图像中每个像素点所属平面的信息。
应用本申请实施例，利用预设损失函数，基于多对样本图像、以及该多对样本图像的分割结果，对预设结构的初始视差网络进行训练，得到视差网络模型，图像的分割结果包括：图像中每个像素点所属平面的信息；利用该视差网络模型确定图像视差，可以识别像素点所属的平面，对于一些弱纹理区域来说，识别其像素点所属的平面后，便可以较准确地确定弱纹理区域的视差图，因此，本方案提高了视差准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种图像视差确定方法的流程示意图；
图2为本申请实施例提供的一种训练得到视差网络模型的流程示意图；
图3为本申请实施例提供的一种网络结构示意图；
图4为本申请实施例提供的不同类型的残差卷积块示意图；
图5为本申请实施例提供的一种图像视差确定装置的结构示意图；
图6为本申请实施例提供的一种电子设备的结构示意图；
图7为本申请实施例提供的一种图像视差确定系统的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了解决上述技术问题，本申请实施例提供了一种图像视差确定方法、装置及设备。该方法及装置可以应用于具有图像处理功能的各种电子设备，比如手机、电脑等等，或者也可以应用于具有图像处理功能的相机，具体不做限定。
下面首先对本申请实施例提供的一种图像视差确定方法进行详细说明。
图1为本申请实施例提供的一种图像视差确定方法的流程示意图，包括：
S101：获取至少一对待处理图像。
一对待处理图像即为需要确定视差的图像。举例来说，可以获取多目相机采集的图像，如果多目相机为双目相机，则可以将其采集的双目图像作为一对待处理图像，如果多目相机中的摄像头的数量大于二，则该多目相机包含多个双目相机，相应的，该多目相机采集的图像中也包含多对双目图像，这样也就获取到多对待处理图像。
作为一种实施方式，该多目相机可以为水平双目相机、或者垂直双目相机、或者针孔相机、或者鱼眼相机等等，具体不做限定。本申请实施例的执行主体可以为该多目相机，也可以为与该多目相机通信连接的电子设备。举例来说，多目相机可以通过USB3.0与PC(个人电脑)相连接，由PC对多目相机采集的图像进行处理，这样，可以提高图像处理速度。PC中可以包含英伟达的GPU(Graphics Processing Unit，图形处理器)，如GTX TITAN XP，这样可以进一步提高图像处理速度。
S102：将该至少一对待处理图像输入预先训练得到的视差网络模型中，得到每对待处理图像的视差图。
其中，该视差网络模型为：利用预设损失函数，基于多对样本图像、以及所述多对样本图像的分割结果，对预设结构的初始视差网络进行训练得到的；图像的分割结果包括：图像中每个像素点所属平面的信息。
本实施例中，可以先利用第一预设损失函数，并基于多对样本图像，对预设结构的初始视差网络进行训练，得到预训练模型。
可以将多对样本图像输入预设结构的初始视差网络，并利用第一预设损失函数，对该初始视差网络进行训练；第一预设损失函数中包括一项或多项误差参数，训练过程也就是对该初始视差网络中的网络参数进行迭代调整，使得第一预设损失函数中的误差参数值越来越小；满足迭代结束条件后，停止训练，也就得到了训练完成的预训练模型。该迭代结束条件可以为调整次数达到设定阈值，或者为第一预设损失函数中的误差参数值小于设定阈值，具体不做限定。
在训练得到预训练模型之外，获取上述多对样本图像的分割结果。举例来说，可以将该多对样本图像输入预先训练得到的分割网络模型，输出内容即为该多对样本图像的分割结果。
分割网络模型为：以多对样本图像的分割结果为监督，对预设结构的初始分割网络进行训练得到的。为了区分描述，将预训练模型对应的样本图像称为第一组样本图像，将分割网络模型对应的样本图像称为第二组样本图像。第一组样本图像与第二组样本图像可以针对同一场景。
训练得到预训练模型与训练得到分割网络模型的先后顺序不做限定。
训练得到分割网络模型需要以第二组样本图像的分割结果为监督，一种情况下，需要对第二组样本图像进行人工标定，这种情况下，第二组样本图像的数据量可以少一些，少于第一组样本图像的数据量，这样可以减少人工标定的工作量。
图像的分割结果包括图像中每个像素点所属平面的信息。举例来说，假设图像中包括地面、天花板、墙面、桌面这些平面，还包括桌面上的杯子及其他非平面摆件，还包括人体，则分割结果也就是针对图像中每个像素点所属的平面进行标记，比如，将属于地面的像素点标记为1，将属于天花板的像素点标记为2，将属于墙面的像素点标记为3，将属于桌面的像素点标记为4，将属于杯子、摆件、人体这些非平面的像素点标记为0。
可以将添加了标记的样本图像输入预设结构的初始分割网络，也就是以图像的分割结果为监督，对该初始分割网络进行训练，也就是对该初始分割网络中的网络参数进行迭代调整，使得该初始分割网络的输出结果与作为监督的分割结果越来越相似；满足迭代结束条件后，停止训练，也就得到了训练完成的分割网络模型。该迭代结束条件可以为调整次数达到设定阈值，或者为输出结果与作为监督的分割结果的相似度达到设定阈值，具体不做限定。
训练得到分割网络模型后，将上述第一组样本图像输入该分割网络模型，便得到了第一组样本图像的分割结果。
然后，将上述第一组样本图像以及上述第一组样本图像的分割结果输入预训练模型，并利用第二预设损失函数，对该预训练模型进行训练。或者，也可以从第一组样本图像中抽取一部分，并将所抽取的样本图像及其分割结果输入预训练模型，并利用第二预设损失函数，对该预训练模型进行训练。
第二预设损失函数中包含第一预设损失函数中的全部误差参数以及图像的分割结果对应的误差参数；训练过程也就是对该预训练模型中的网络参数进行迭代调整，使得第二预设损失函数中的误差参数值越来越小；满足迭代结束条件后，停止训练，也就得到了训练完成的视差网络模型。该迭代结束条件可以为调整次数达到设定阈值，或者为第二预设损失函数中的误差参数值小于设定阈值，具体不做限定。
举例来说，所述第一预设损失函数可以包含以下一项或多项误差参数：图像匹配误差参数、视差图平滑性误差参数、视差图左右一致性误差参数、重建图像梯度误差。
预训练模型的输出结果中可以包括多个不同尺度下的视差图；所述第一预设损失函数为所述多个不同尺度下的视差图的损失值的和；其中，一个尺度下的视差图的损失值＝(图像匹配误差参数*第一权重+视差图平滑性误差*第二权重+视差图左右一致性误差参数*第三权重+重建图像梯度误差参数*第四权重)；其中，所述第一权重、所述第一权重、所述第三权重和第四权重为预先设定的。
不同尺度下的视差图的分辨率是不同的，其中，高分辨率的视差图可以更好的保留图像中的细节信息，低分辨率的视差图可以更好的恢复视差图的全局结构信息。也就是说，将S101中获取的待处理图像输入至视差网络模型中，可以输出不同尺度下的视差图，既可以保留图像中的细节信息，又可以恢复视差图的全局结构信息。
如果一对待处理图像包括左图像和右图像，则所述图像匹配误差参数＝左图像的图像匹配误差参数+右图像的图像匹配误差参数；所述视差图平滑性误差参数＝左图像的视差图平滑性误差参数+右图像的视差图平滑性误差参数；所述视差图左右一致性误差参数＝左图像的视差图左右一致性误差参数+右图像的视差图左右一致性误差参数；所述重建图像梯度误差参数＝左图像的重建图像梯度误差参数+右图像的重建图像梯度误差参数。
下面对训练得到视差网络模型的过程进行详细介绍：
图2为本申请实施例提供的一种训练得到视差网络模型的流程示意图，包括：
S201：将第一组样本图像输入预设结构的初始视差网络，并利用第一预设损失函数，对该初始视差网络进行训练，得到预训练模型；其中，第一预设损失函数中包含一项或多项误差参数。
为了与后面内容中的其他样本图像相区分，这里将预训练模型对应的样本图像称为第一组样本图像。举例来说，可以获取2万对样本图像，作为第一组样本图像，将这2万对样本图像输入预设结构的初始视差网络。
初始视差网络可以为编码解码(Ecoder-Decoder)网络，初始视差网络的网络结构可以如图3所示，图3中，layer表示层的名称，chns表示层的输入输出通道数量，I/O表示层的采样尺度，k表示层中卷积核的大小，s表示层中卷积操作的步长，input表示层的输入数据，+表示数据在通道上的叠加，*表示尺度为2的上采样操作；conv表示二维的卷积操作，iconv表示二维的反卷积操作，upconv表示上采样和二维卷积操作的集合，disp表示不同采样尺度的视差图。
图3中通过大小为3、步长为1的二维卷积获取视差，并使用sigmoid作为激活函数，或者说，解码网络中的视差获取层中包含大小为3、步长为1的二维卷积，并使用sigmoid作为激活函数。
编码网络中每一个卷积层后都可以跟随一个BN(Batch Normalization)层，另外，编码网络中除最后一个卷积层外其他卷积层在BN层之后还可以跟随一个ELU(ExponentialLinear Unit，指数线性单元)层，解码网络中除视差获取层外其他卷积层之后也可以跟随一个ELU层。
图3中的res_bi表示残差卷积块，图4展示了两种不同的残差卷积块block1和block2，图4中表示卷积核大小为k，步长为s的二维卷积操作。
如上所述，将2万对样本图像分别输入图3中的初始视差网络，并利用第一预设损失函数，对该初始视差网络进行训练。图3中的初始视差网络输出4个不同尺度的视差图，第一预设损失函数为这4个不同尺度下的视差图的损失值的和，假设一对待处理图像包括左图像和右图像，则一个尺度下的视差图的损失值可以为：
其中，Ln表示上述4个视差图中的一张视差图，n可以1、2、3、4；wim表示第一权重，wds表示第二权重，wlr表示第三权重，wg表示第四权重，举例来说，第一权重可以为1.0，第二权重可以为0.1，第三权重可以为1.0，第四权重可以为0.1；表示左图像的图像匹配误差参数，表示右图像的图像匹配误差参数，表示左图像的视差图平滑性误差参数，表示右图像的视差图平滑性误差参数，表示左图像的视差图左右一致性误差参数，表示右图像的视差图左右一致性误差参数，表示左图像的重建图像梯度误差参数，表示右图像的重建图像梯度误差参数。
具体的，左图像的图像匹配误差参数可以为：
其中，N表示左图像中所有像素点的数量，ij表示一个像素点的坐标，α表示左图像SSIM(structural similarity index measurement，一种衡量两幅图像结构相似度的指标)损失值和一阶图像差异损失值之间的权重；表示左图像，表示根据右图像及输出的左视差图生成的左视图重建图像，表示左图像与该重建左图像的一阶颜色值差异。
根据右图像及输出的左视差图，生成左视图重建图像的过程可以如下式所示： 表示右图像，表示视差值。视差值可以为浮点型数据，图像重建时可以使用双线性插值方法。
右图像匹配误差参数与左图像匹配误差参数的计算过程类似，不再赘述。
左图像的视差图平滑性误差参数可以为：
其中，N表示左图像中所有像素点的数量，ij表示一个像素点的坐标，表示水平一阶梯度，表示垂直一阶梯度。
损失函数中设置视差图平滑性误差参数的目的在于，使得视差图尽量平滑，也就是视差图的梯度和尽量最小。但由于图像边缘部分的视差不连续性，也就是视差存在跳变，因此，这里的视差图平滑性误差参数对左图像和右图像的梯度做了加权。右图像的视差图平滑性误差参数与左图像的视差图平滑性误差参数的计算过程类似，不再赘述。
左图像的视差图左右一致性误差参数可以为：
其中，N表示左图像中所有像素点的数量，ij表示一个像素点的坐标，表示左图像的视差图，表示右图像的视差图。右图像的视差图左右一致性误差参数与左图像的视差图左右一致性误差参数的计算过程类似，不再赘述。
损失函数中设置视差图左右一致性误差参数的目的在于，使得初始视差网络输出的左右图像的视差图尽量一致。
可以对损失函数中的各项损失值求导，并利用Adam参数优化方法对初始视差网络的网络参数进行迭代更新。训练过程中，损失函数的值越来越小。举例来说，可以设定训练次数，当达到训练次数的情况下，训练完成，得到预训练模型。
举例来说，可以使用使用RMSProp参数优化方法，学习率固定为1e-3，batch(批处理量)的大小为训练时使用的GPU的数量乘以4。利用2万对待处理图像对初始视差网络进行训练，可以训练50轮，之后得到的即为预训练模型。
S202：获取该第一组样本图像的分割结果。
S201与S202的执行顺序不做限定，可以先执行S201再执行S202，也可以先执行S202再执行S201，也可以同时执行。
举例来说，可以将所述第一组样本图像输入预先训练得到的分割网络模型，得到所述第一组样本图像的分割结果；所述分割网络模型为：以第二组样本图像的分割结果为监督，对预设结构的初始分割网络进行训练得到的。
举例来说，训练得到分割网络模型的过程可以包括：将第二组样本图像及所述第二组样本图像的分割结果输入预设结构的初始分割网络，并以所述第二组样本图像的分割结果为监督，对所述初始分割网络进行训练，得到分割网络模型；其中，所述第二组样本图像为所述第一组样本图像的子集。
训练得到预训练模型与训练得到分割网络模型的先后顺序不做限定。
举例来说，可以从上述2万对样本图像中选取2500对样本图像，作为第二组样本图像。一种情况下，可以对第二组样本图像进行人工标定，得到第二组样本图像的分割结果。
举例来说，假设图像中包括地面、天花板、墙面、桌面这些平面，还包括桌面上的杯子及其他非平面摆件，还包括人体，则分割结果也就是针对图像中每个像素点所属的平面进行标记，比如，将属于地面的像素点标记为1，将属于天花板的像素点标记为2，将属于墙面的像素点标记为3，将属于桌面的像素点标记为4，将属于杯子、摆件、人体这些非平面的像素点标记为0。
可以对上述2500对第二组样本图像进行标记，将标记结果也就是分割结果作为监督，对该初始分割网络进行训练，也就是对该初始分割网络中的网络参数进行迭代调整，使得该初始分割网络的输出结果与作为监督的分割结果越来越相似；满足迭代结束条件后，停止训练，也就得到了训练完成的分割网络模型。该迭代结束条件可以为调整次数达到设定阈值，或者为输出结果与作为监督的分割结果的相似度达到设定阈值，具体不做限定。
训练得到分割网络模型后，将上述第一组样本图像输入该分割网络模型，便得到了第一组样本图像的分割结果。
S203：将该第一组样本图像、以及该第一组样本图像的分割结果输入该预训练模型，并利用第二预设损失函数，对该预训练模型进行调整，得到视差网络模型。
其中，所述第二预设损失函数中包含所述第一预设损失函数中的全部误差参数以及图像的分割结果对应的误差参数。
可以将上述2万对样本图像都输入该预训练模型，也可以从这2万对样本图像中抽取一部分输入该预训练模型。举例来说，可以从这2万对样本图像中抽取约1/15的数据输入该预训练模型。
作为一种实施方式，可以基于所述第一组样本图像的分割结果，从所述第一组样本图像中抽取多对样本图像，作为目标样本图像；将所述目标样本图像、以及所述目标样本图像的分割结果输入所述预训练模型。
比如，可以将这2万对样本图像输入分割网络模型，得到每对样本图像对应的分割结果，基于分割结果中属于平面的像素点的数量，对这2万对样本图像进行排序，具体的，可以按照数量由多到少的顺序排列，并选择前1400对样本图像，作为目标样本图像。
作为一种实施方式，将目标样本图像、以及所述目标样本图像的分割结果输入预训练模型，可以包括：。
在所述第一组样本图像的分割结果中，得到所述目标样本图像的分割结果，作为第一分割结果；
利用边缘检测算法，对所述目标样本图像进行检测，根据检测结果，对所述第一分割结果中的平面进行分割，得到第二分割结果；
将所述目标样本图像以及所述第二分割结果输入所述预训练模型。
举例来说，假设样本图像中存在一个方形桌面，可以理解，方形桌面存在6个平面，但是分割网络模型通常将这6个平面中的像素点识别为同一平面，这种情况下，可以利用边缘检测算法，对分割网络模型输出的分割结果作进一步分割，这样，便可以将上述识别出的一个平面细分为6个桌面，提高了分割结果的准确性。
如上所述，第二预设损失函数在第一预设损失函数的基础上，增加一项误差参数：图像的分割结果对应的误差参数，具体可以为：图像中所有平面的梯度参数的平均值，其中一个平面的梯度参数＝该平面中所有像素点的梯度参数的平均值，其中一个像素点的梯度参数＝该像素点的梯度值-该平面中所有像素点的梯度均值。
第二预设损失函数可以表示为其中，L表示第二预设损失函数，Lp表示第一预设损失函数，表示图像的分割结果对应的误差参数。
作为一种实施方式，其中，p表示像素点，P表示平面，p∈P表示像素点p属于平面P，N表示图像中所包含的平面的数量，|p|表示一个平面中像素点的数量，i表示一个平面中的第i个像素点，为第i个像素点的梯度，表示一个平面内所有像素点的梯度均值。
延续上述例子，可以从这2万对样本图像中抽取1400对样本图像，将这1400对样本图像输入该预训练模型，可以对这1400对样本图像进行30轮训练，之后得到的即为视差网络模型。
对预训练模型进行训练得到视差网络模型的过程，也可以理解为对预训练模型进行微调的过程，该过程的计算量小于训练得到预训练模型的计算量。
一般来说，对于墙面、地面、或反光区域等弱纹理区域的像素点来说，通常较难确定这些像素点对应的视差，而本实施例中，识别出这些弱纹理区域的像素点，并确定这些像素点所在的平面，基于这些像素点所在的平面，确定这些像素点对应的视差，准确度较高。
应用本申请所示实施例，利用预设损失函数，基于多对样本图像、以及该多对样本图像的分割结果，对预设结构的初始视差网络进行训练，得到视差网络模型，图像的分割结果包括：图像中每个像素点所属平面的信息；利用该视差网络模型确定图像视差，可以识别像素点所属的平面，对于一些弱纹理区域来说，识别其像素点所属的平面后，便可以较准确地确定弱纹理区域的视差图，因此，本方案提高了视差准确性。
与上述方法实施例相对应，本申请实施例还提供一种图像视差确定装置，如图5所示，包括：
第一获取模块501，用于获取至少一对待处理图像；
第一输入模块502，用于将所述至少一对待处理图像输入预先训练得到的视差网络模型中，得到每对待处理图像的视差图；
其中，所述视差网络模型为：利用预设损失函数，基于多对样本图像、以及所述多对样本图像的分割结果，对预设结构的初始视差网络进行训练得到的；图像的分割结果包括：图像中每个像素点所属平面的信息。
作为一种实施方式，所述装置还可以包括：第一训练模块、第二获取模块、第二输入模块和调整模块(图中未示出)，其中，
第一训练模块，用于将第一组样本图像输入预设结构的初始视差网络，并利用第一预设损失函数，对所述初始视差网络进行训练，得到预训练模型；其中，所述第一预设损失函数中包含一项或多项误差参数；
第二获取模块，用于获取所述第一组样本图像的分割结果；
第二输入模块，用于将所述第一组样本图像、以及所述第一组样本图像的分割结果输入所述预训练模型；
调整模块，用于利用第二预设损失函数，对所述预训练模型进行调整，得到视差网络模型；其中，所述第二预设损失函数中包含所述第一预设损失函数中的全部误差参数以及图像的分割结果对应的误差参数。
作为一种实施方式，所述第二输入模块，可以包括：
抽取子模块，用于基于所述第一组样本图像的分割结果，从所述第一组样本图像中抽取多对样本图像，作为目标样本图像；
输入子模块，用于将所述目标样本图像、以及所述目标样本图像的分割结果输入所述预训练模型。
作为一种实施方式，所述第二获取模块，可以具体用于：
将所述第一组样本图像输入预先训练得到的分割网络模型，得到所述第一组样本图像的分割结果；所述分割网络模型为：以第二组样本图像的分割结果为监督，对预设结构的初始分割网络进行训练得到的；
所述输入子模块，具体可以用于：
在所述第一组样本图像的分割结果中，得到所述目标样本图像的分割结果，作为第一分割结果；
利用边缘检测算法，对所述目标样本图像进行检测，根据检测结果，对所述第一分割结果中的平面进行分割，得到第二分割结果；
将所述目标样本图像以及所述第二分割结果输入所述预训练模型。
作为一种实施方式，所述装置还可以包括：
第二训练模块(图中未示出)，用于将第二组样本图像及所述第二组样本图像的分割结果输入预设结构的初始分割网络，并以所述第二组样本图像的分割结果为监督，对所述初始分割网络进行训练，得到分割网络模型；其中，所述第二组样本图像为所述第一组样本图像的子集。
作为一种实施方式，所述第一预设损失函数包含以下一项或多项误差参数：图像匹配误差参数、视差图平滑性误差参数、视差图左右一致性误差参数、重建图像梯度误差。
作为一种实施方式，所述预训练模型的输出结果中包括多个不同尺度下的视差图；所述第一预设损失函数为所述多个不同尺度下的视差图的损失值的和；其中，一个尺度下的视差图的损失值＝(图像匹配误差参数*第一权重+视差图平滑性误差*第二权重+视差图左右一致性误差参数*第三权重+重建图像梯度误差参数*第四权重)；其中，所述第一权重、所述第一权重、所述第三权重和第四权重为预先设定的。
作为一种实施方式，所述一对待处理图像包括左图像和右图像；所述图像匹配误差参数＝左图像的图像匹配误差参数+右图像的图像匹配误差参数；所述视差图平滑性误差参数＝左图像的视差图平滑性误差参数+右图像的视差图平滑性误差参数；所述视差图左右一致性误差参数＝左图像的视差图左右一致性误差参数+右图像的视差图左右一致性误差参数；所述重建图像梯度误差参数＝左图像的重建图像梯度误差参数+右图像的重建图像梯度误差参数。
作为一种实施方式，所述图像的分割结果对应的误差参数为：图像中所有平面的梯度参数的平均值，其中一个平面的梯度参数＝该平面中所有像素点的梯度参数的平均值，其中一个像素点的梯度参数＝该像素点的梯度值-该平面中所有像素点的梯度均值。
应用本申请图5所示实施例，利用预设损失函数，基于多对样本图像、以及该多对样本图像的分割结果，对预设结构的初始视差网络进行训练，得到视差网络模型，图像的分割结果包括：图像中每个像素点所属平面的信息；利用该视差网络模型确定图像视差，可以识别像素点所属的平面，对于一些弱纹理区域来说，识别其像素点所属的平面后，便可以较准确地确定弱纹理区域的视差图，因此，本方案提高了视差准确性。
本申请实施例还提供了一种电子设备，如图6所示，包括处理器601和存储器602，
存储器602，用于存放计算机程序；
处理器601，用于执行存储器602上所存放的程序时，实现上述任一种图像视差确定方法。
上述电子设备提到的存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种图像视差确定方法。
本申请实施例还提供一种图像视差确定系统，如图7所示，包括：多目相机和处理设备，其中，
所述多目相机，用于采集至少一对待处理图像，并将所述至少一对待处理图像发送至所述处理设备；
所述处理设备，用于接收所述至少一对待处理图像；将所述至少一对待处理图像输入预先训练得到的视差网络模型中，得到每对待处理图像的视差图；其中，所述视差网络模型为：利用预设损失函数，基于多对样本图像、以及所述多对样本图像的分割结果，对预设结构的初始视差网络进行训练得到的；图像的分割结果包括：图像中每个像素点所属平面的信息。
该多目相机可以为双目相机、三目相机等等，多目相机中包括的摄像头数量不做限定。该多目相机可以为针孔相机、鱼眼相机等等，具体不做限定。
该处理设备可以为PC，PC可以通过USB3.0与该多目相机相连接，或者，也可以通过其他有线或无线的连接方式相连接，具体不做限定。该处理设备还可以执行上述任一种图像视差确定方法。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于图5所示的图像视差确定装置实施例、图6所示的电子设备实施例、上述计算机可读存储介质实施例、以及图7所示的图像视差确定系统实施例而言，由于其基本相似于图1-4所示的图像视差确定方法实施例，所以描述的比较简单，相关之处参见图1-4所示的图像视差确定方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。
Claims (17)
1.一种图像视差确定方法，其特征在于，包括：
获取至少一对待处理图像；
将所述至少一对待处理图像输入预先训练得到的视差网络模型中，得到每对待处理图像的视差图；
其中，所述视差网络模型为：利用预设损失函数，基于多对样本图像、以及所述多对样本图像的分割结果，对预设结构的初始视差网络进行训练得到的；图像的分割结果包括：图像中每个像素点所属平面的信息。
2.根据权利要求1所述的方法，其特征在于，采用如下步骤训练得到所述视差网络模型：
将第一组样本图像输入预设结构的初始视差网络，并利用第一预设损失函数，对所述初始视差网络进行训练，得到预训练模型；其中，所述第一预设损失函数中包含一项或多项误差参数；
获取所述第一组样本图像的分割结果；
将所述第一组样本图像、以及所述第一组样本图像的分割结果输入所述预训练模型，并利用第二预设损失函数，对所述预训练模型进行调整，得到视差网络模型；其中，所述第二预设损失函数中包含所述第一预设损失函数中的全部误差参数以及图像的分割结果对应的误差参数。
3.根据权利要求2所述的方法，其特征在于，所述将所述第一组样本图像、以及所述第一组样本图像的分割结果输入所述预训练模型，包括：
基于所述第一组样本图像的分割结果，从所述第一组样本图像中抽取多对样本图像，作为目标样本图像；
将所述目标样本图像、以及所述目标样本图像的分割结果输入所述预训练模型。
4.根据权利要求3所述的方法，其特征在于，所述获取所述第一组样本图像的分割结果，包括：
将所述第一组样本图像输入预先训练得到的分割网络模型，得到所述第一组样本图像的分割结果；所述分割网络模型为：以第二组样本图像的分割结果为监督，对预设结构的初始分割网络进行训练得到的；
所述将所述目标样本图像、以及所述目标样本图像的分割结果输入所述预训练模型，包括：
在所述第一组样本图像的分割结果中，得到所述目标样本图像的分割结果，作为第一分割结果；
利用边缘检测算法，对所述目标样本图像进行检测，根据检测结果，对所述第一分割结果中的平面进行分割，得到第二分割结果；
将所述目标样本图像以及所述第二分割结果输入所述预训练模型。
5.根据权利要求4所述的方法，其特征在于，采用如下步骤训练得到所述分割网络模型：
将第二组样本图像及所述第二组样本图像的分割结果输入预设结构的初始分割网络，并以所述第二组样本图像的分割结果为监督，对所述初始分割网络进行训练，得到分割网络模型；其中，所述第二组样本图像为所述第一组样本图像的子集。
6.根据权利要求1所述的方法，其特征在于，所述第一预设损失函数包含以下一项或多项误差参数：图像匹配误差参数、视差图平滑性误差参数、视差图左右一致性误差参数、重建图像梯度误差。
7.根据权利要求6所述的方法，其特征在于，所述预训练模型的输出结果中包括多个不同尺度下的视差图；所述第一预设损失函数为所述多个不同尺度下的视差图的损失值的和；其中，一个尺度下的视差图的损失值＝(图像匹配误差参数*第一权重+视差图平滑性误差*第二权重+视差图左右一致性误差参数*第三权重+重建图像梯度误差参数*第四权重)；其中，所述第一权重、所述第一权重、所述第三权重和第四权重为预先设定的。
8.根据权利要求1所述的方法，其特征在于，所述图像的分割结果对应的误差参数为：图像中所有平面的梯度参数的平均值，其中一个平面的梯度参数＝该平面中所有像素点的梯度参数的平均值，其中一个像素点的梯度参数＝该像素点的梯度值-该平面中所有像素点的梯度均值。
9.一种图像视差确定装置，其特征在于，包括：
第一获取模块，用于获取至少一对待处理图像；
第一输入模块，用于将所述至少一对待处理图像输入预先训练得到的视差网络模型中，得到每对待处理图像的视差图；
其中，所述视差网络模型为：利用预设损失函数，基于多对样本图像、以及所述多对样本图像的分割结果，对预设结构的初始视差网络进行训练得到的；图像的分割结果包括：图像中每个像素点所属平面的信息。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括：
第一训练模块，用于将第一组样本图像输入预设结构的初始视差网络，并利用第一预设损失函数，对所述初始视差网络进行训练，得到预训练模型；其中，所述第一预设损失函数中包含一项或多项误差参数；
第二获取模块，用于获取所述第一组样本图像的分割结果；
第二输入模块，用于将所述第一组样本图像、以及所述第一组样本图像的分割结果输入所述预训练模型；
调整模块，用于利用第二预设损失函数，对所述预训练模型进行调整，得到视差网络模型；其中，所述第二预设损失函数中包含所述第一预设损失函数中的全部误差参数以及图像的分割结果对应的误差参数。
11.根据权利要求10所述的装置，其特征在于，所述第二输入模块，包括：
抽取子模块，用于基于所述第一组样本图像的分割结果，从所述第一组样本图像中抽取多对样本图像，作为目标样本图像；
输入子模块，用于将所述目标样本图像、以及所述目标样本图像的分割结果输入所述预训练模型。
12.根据权利要求11所述的装置，其特征在于，所述第二获取模块，具体用于：
将所述第一组样本图像输入预先训练得到的分割网络模型，得到所述第一组样本图像的分割结果；所述分割网络模型为：以第二组样本图像的分割结果为监督，对预设结构的初始分割网络进行训练得到的；
所述输入子模块，具体用于：
在所述第一组样本图像的分割结果中，得到所述目标样本图像的分割结果，作为第一分割结果；
利用边缘检测算法，对所述目标样本图像进行检测，根据检测结果，对所述第一分割结果中的平面进行分割，得到第二分割结果；
将所述目标样本图像以及所述第二分割结果输入所述预训练模型。
13.根据权利要求12所述的装置，其特征在于，所述装置还包括：
第二训练模块，用于将第二组样本图像及所述第二组样本图像的分割结果输入预设结构的初始分割网络，并以所述第二组样本图像的分割结果为监督，对所述初始分割网络进行训练，得到分割网络模型；其中，所述第二组样本图像为所述第一组样本图像的子集。
14.根据权利要求9所述的装置，其特征在于，所述第一预设损失函数包含以下一项或多项误差参数：图像匹配误差参数、视差图平滑性误差参数、视差图左右一致性误差参数、重建图像梯度误差。
15.根据权利要求14所述的装置，其特征在于，所述预训练模型的输出结果中包括多个不同尺度下的视差图；所述第一预设损失函数为所述多个不同尺度下的视差图的损失值的和；其中，一个尺度下的视差图的损失值＝(图像匹配误差参数*第一权重+视差图平滑性误差*第二权重+视差图左右一致性误差参数*第三权重+重建图像梯度误差参数*第四权重)；其中，所述第一权重、所述第一权重、所述第三权重和第四权重为预先设定的。
16.根据权利要求9所述的装置，其特征在于，所述图像的分割结果对应的误差参数为：图像中所有平面的梯度参数的平均值，其中一个平面的梯度参数＝该平面中所有像素点的梯度参数的平均值，其中一个像素点的梯度参数＝该像素点的梯度值-该平面中所有像素点的梯度均值。
17.一种图像视差确定系统，其特征在于，包括：多目相机和处理设备，其中，
所述多目相机，用于采集至少一对待处理图像，并将所述至少一对待处理图像发送至所述处理设备；
所述处理设备，用于接收所述至少一对待处理图像；将所述至少一对待处理图像输入预先训练得到的视差网络模型中，得到每对待处理图像的视差图；其中，所述视差网络模型为：利用预设损失函数，基于多对样本图像、以及所述多对样本图像的分割结果，对预设结构的初始视差网络进行训练得到的；图像的分割结果包括：图像中每个像素点所属平面的信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810515532.7A CN110533663B (zh) | 2018-05-25 | 2018-05-25 | 一种图像视差确定方法、装置、设备及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810515532.7A CN110533663B (zh) | 2018-05-25 | 2018-05-25 | 一种图像视差确定方法、装置、设备及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110533663A true CN110533663A (zh) | 2019-12-03 |
| CN110533663B CN110533663B (zh) | 2022-03-04 |
Family
ID=68657814
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810515532.7A Active CN110533663B (zh) | 2018-05-25 | 2018-05-25 | 一种图像视差确定方法、装置、设备及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110533663B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110853087A (zh) * | 2020-01-14 | 2020-02-28 | 长沙小钴科技有限公司 | 一种视差估计方法、装置、存储介质及终端 |
| CN113435465A (zh) * | 2020-03-20 | 2021-09-24 | 阿里巴巴集团控股有限公司 | 图像处理、智能控制方法及设备 |
| CN114170248A (zh) * | 2021-12-21 | 2022-03-11 | 上海微创医疗机器人（集团）股份有限公司 | 图像的处理方法、数据处理方法、医疗系统、设备及介质 |
| CN114255268A (zh) * | 2020-09-24 | 2022-03-29 | 武汉Tcl集团工业研究院有限公司 | 视差图处理、深度学习模型训练方法及相关设备 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101976455A (zh) * | 2010-10-08 | 2011-02-16 | 东南大学 | 一种基于立体匹配的彩色图像三维重建方法 |
| CN102074014A (zh) * | 2011-02-23 | 2011-05-25 | 山东大学 | 一种利用基于图论的图像分割算法的立体匹配方法 |
| CN103226821A (zh) * | 2013-04-27 | 2013-07-31 | 山西大学 | 基于视差图像素分类校正优化的立体匹配方法 |
| CN105550675A (zh) * | 2016-02-02 | 2016-05-04 | 天津大学 | 一种基于优化聚合积分通道的双目行人检测方法 |
| CN105979244A (zh) * | 2016-05-31 | 2016-09-28 | 十二维度（北京）科技有限公司 | 一种基于深度学习的2d图像转3d图像的方法及系统 |
| CN106558058A (zh) * | 2016-11-29 | 2017-04-05 | 北京图森未来科技有限公司 | 分割模型训练方法、道路分割方法、车辆控制方法及装置 |
| CN106600583A (zh) * | 2016-12-07 | 2017-04-26 | 西安电子科技大学 | 基于端到端神经网络的视差图获取方法 |
| CN107886477A (zh) * | 2017-09-20 | 2018-04-06 | 武汉环宇智行科技有限公司 | 无人驾驶中立体视觉与低线束激光雷达的融合矫正方法 |
| CN107945222A (zh) * | 2017-12-15 | 2018-04-20 | 东南大学 | 一种新型的立体匹配代价计算以及视差后处理方法 |
-
2018
- 2018-05-25 CN CN201810515532.7A patent/CN110533663B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101976455A (zh) * | 2010-10-08 | 2011-02-16 | 东南大学 | 一种基于立体匹配的彩色图像三维重建方法 |
| CN102074014A (zh) * | 2011-02-23 | 2011-05-25 | 山东大学 | 一种利用基于图论的图像分割算法的立体匹配方法 |
| CN103226821A (zh) * | 2013-04-27 | 2013-07-31 | 山西大学 | 基于视差图像素分类校正优化的立体匹配方法 |
| CN105550675A (zh) * | 2016-02-02 | 2016-05-04 | 天津大学 | 一种基于优化聚合积分通道的双目行人检测方法 |
| CN105979244A (zh) * | 2016-05-31 | 2016-09-28 | 十二维度（北京）科技有限公司 | 一种基于深度学习的2d图像转3d图像的方法及系统 |
| CN106558058A (zh) * | 2016-11-29 | 2017-04-05 | 北京图森未来科技有限公司 | 分割模型训练方法、道路分割方法、车辆控制方法及装置 |
| CN106600583A (zh) * | 2016-12-07 | 2017-04-26 | 西安电子科技大学 | 基于端到端神经网络的视差图获取方法 |
| CN107886477A (zh) * | 2017-09-20 | 2018-04-06 | 武汉环宇智行科技有限公司 | 无人驾驶中立体视觉与低线束激光雷达的融合矫正方法 |
| CN107945222A (zh) * | 2017-12-15 | 2018-04-20 | 东南大学 | 一种新型的立体匹配代价计算以及视差后处理方法 |
Non-Patent Citations (2)
| Title |
|---|
| XIAONING ZHANG等: "On segment-sharedprotectionfordynamicconnectionsinmulti-domain optical meshnetworks", 《ELSEVIER》 * |
| 于舒春 等: "基于同构RBF网络的视差图像分治重建", 《计算机工程》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110853087A (zh) * | 2020-01-14 | 2020-02-28 | 长沙小钴科技有限公司 | 一种视差估计方法、装置、存储介质及终端 |
| CN110853087B (zh) * | 2020-01-14 | 2020-04-28 | 长沙小钴科技有限公司 | 一种视差估计方法、装置、存储介质及终端 |
| CN113435465A (zh) * | 2020-03-20 | 2021-09-24 | 阿里巴巴集团控股有限公司 | 图像处理、智能控制方法及设备 |
| CN114255268A (zh) * | 2020-09-24 | 2022-03-29 | 武汉Tcl集团工业研究院有限公司 | 视差图处理、深度学习模型训练方法及相关设备 |
| CN114170248A (zh) * | 2021-12-21 | 2022-03-11 | 上海微创医疗机器人（集团）股份有限公司 | 图像的处理方法、数据处理方法、医疗系统、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110533663B (zh) | 2022-03-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109508681B (zh) | 生成人体关键点检测模型的方法和装置 | |
| CN110533663A (zh) | 一种图像视差确定方法、装置、设备及系统 | |
| CN108596108B (zh) | 基于三元组语义关系学习的航拍遥感图像变化检测方法 | |
| CN110163213B (zh) | 基于视差图和多尺度深度网络模型的遥感图像分割方法 | |
| CN109690620A (zh) | 三维模型生成装置以及三维模型生成方法 | |
| JP6397379B2 (ja) | 変化領域検出装置、方法、及びプログラム | |
| CN109640066B (zh) | 高精度稠密深度图像的生成方法和装置 | |
| US9551579B1 (en) | Automatic connection of images using visual features | |
| CN111340866A (zh) | 深度图像生成方法、装置及存储介质 | |
| CN112927363A (zh) | 体素地图构建方法及装置、计算机可读介质和电子设备 | |
| CN108986197A (zh) | 3d骨架线构建方法及装置 | |
| US20160232420A1 (en) | Method and apparatus for processing signal data | |
| CN114219855A (zh) | 点云法向量的估计方法、装置、计算机设备和存储介质 | |
| CN113436338A (zh) | 火灾现场的三维重建方法、装置、服务器及可读存储介质 | |
| CN112489099A (zh) | 点云配准方法、装置、存储介质及电子设备 | |
| CN113902802A (zh) | 视觉定位方法及相关装置、电子设备和存储介质 | |
| CN111080781A (zh) | 一种三维地图显示方法及移动终端 | |
| CN117132737B (zh) | 一种三维建筑模型构建方法、系统及设备 | |
| CN116051980B (zh) | 基于倾斜摄影的建筑识别方法、系统、电子设备及介质 | |
| CN110363863A (zh) | 一种神经网络的输入数据生成方法和系统 | |
| CN114757822B (zh) | 一种基于双目的人体三维关键点检测方法及系统 | |
| CN112651351B (zh) | 一种数据处理的方法和装置 | |
| CN110853087B (zh) | 一种视差估计方法、装置、存储介质及终端 | |
| CN109785369A (zh) | 一种虚拟现实人像采集方法及装置 | |
| CN116883770A (zh) | 深度估计模型的训练方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |