CN111489385A - 双目立体匹配网络训练方法及装置 - Google Patents
双目立体匹配网络训练方法及装置 Download PDFInfo
- Publication number
- CN111489385A CN111489385A CN202010271351.1A CN202010271351A CN111489385A CN 111489385 A CN111489385 A CN 111489385A CN 202010271351 A CN202010271351 A CN 202010271351A CN 111489385 A CN111489385 A CN 111489385A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- binocular
- training sample
- image training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本公开提供了一种双目立体匹配网络训练方法、图像处理方法、行驶控制方法、装置、电子设备、及存储介质，该方法包括：获取双目图像训练样本以及参考图像样本，其中，双目图像训练样本包括左目图像训练样本和右目图像训练样本；基于参考图像样本，对双目图像训练样本进行色彩转换，得到转换后的目标双目图像训练样本，其中，目标双目图像训练样本的色彩与参考图像样本的色彩相匹配；利用所述目标双目图像训练样本对双目立体匹配网络进行训练，得到训练后的双目立体匹配网络。
Description
技术领域
本公开涉及深度学习技术领域，具体而言，涉及一种双目立体匹配网络训练方法、图像处理方法、行驶控制方法、装置、电子设备、及存储介质。
背景技术
双目立体匹配是计算机视觉领域中最基础的问题之一，其中，双目立体匹配的任务是从相同场景的两个视角图像中找到匹配的像素点，构建该场景对应的视差图像。
一般可以通过训练后的双目立体匹配网络确定双目图像的视差图，由于真实场景数据集中包含的视差图真值数据较少，合成数据集中包含的视差图真值数据较多，因此可以通过包含大量视差真值数据的合成数据集对双目立体匹配网络进行训练。但是，通过合成数据集训练的双目立体匹配网络无法在真实场景数据集上预测出精确的视差图，即通过合成数据集训练的双目立体匹配网络确定真实场景图像对应的视差图的准确度较低。
发明内容
有鉴于此，本公开至少提供一种双目立体匹配网络训练方法、图像处理方法、行驶控制方法、装置、电子设备、及存储介质。
第一方面，本公开提供了一种双目立体匹配网络训练方法，包括：
获取双目图像训练样本以及参考图像样本；其中，所述双目图像训练样本包括左目图像训练样本和右目图像训练样本；
基于所述参考图像样本，对所述双目图像训练样本进行色彩转换，得到转换后的目标双目图像训练样本，其中，所述目标双目图像训练样本的色彩与所述参考图像样本的色彩相匹配；
利用所述目标双目图像训练样本对双目立体匹配网络进行训练，得到训练后的双目立体匹配网络。
采用上述方法，可以基于参考图像样本对双目图像训练样本进行色彩转换，降低双目图像训练样本与参考图像样本之间的色彩差异，由于参考图像训练样本可以为目标域的图像，双目图像训练样本可以为源域的图像，使得基于色彩转换后的目标双目图像训练样本对双目立体匹配网络进行训练后，得到的训练后的双目立体匹配网络可以较准确的生成目标域的图像的视差图，提升了双目立体匹配网络的域自适应能力，即提高双目立体匹配网络的泛化能力。
一种可能的实施方式中，所述基于所述参考图像样本，对所述双目图像训练样本进行色彩转换，得到转换后的目标双目图像训练样本，包括：
将所述参考图像样本和所述双目图像训练样本从RGB图像转换为LAB图像，得到中间参考图像样本以及中间双目图像训练样本；
基于所述中间参考图像样本以及所述中间双目图像训练样本，生成转换后的目标双目图像训练样本。
上述实施方式下，由于在LAB色彩空间包括的色彩模式较为全面，因此，在将参考图像样本和双目图像训练样本从RGB图像转换为LAB图像后，基于LAB图像实现图像的色彩转换，可以较准确的得到目标双目图像训练样本。
一种可能的实施方式中，基于所述中间参考图像样本以及所述中间双目图像训练样本，生成转换后的目标双目图像训练样本，包括：
确定所述中间参考图像样本对应的第一像素值均值和第一像素值方差，所述中间双目图像训练样本中的中间左目图像训练样本对应的第二像素值均值和第二像素值方差，以及中间右目图像训练样本对应的第二像素值均值和第二像素值方差；
基于所述第一像素值均值及所述第一像素值方差、所述中间左目图像训练样本对应的第二像素值均值及第二像素值方差、以及所述中间参考图像样本，生成目标左目图像训练样本；
基于所述第一像素值均值及所述第一像素值方差、所述中间右目图像训练样本对应的第二像素值均值及第二像素值方差、以及所述中间参考图像样本，生成目标右目图像训练样本；
其中，所述目标左目图像训练样本和所述目标右目图像训练样本构成了所述目标双目图像训练样本。
一种可能的实施方式中，采用以下步骤生成目标单目图像训练样本，所述目标单目图像训练样本为所述目标左目图像训练样本或者所述目标右目图像训练样本：
基于所述第一像素值均值，对所述中间参考图像样本中各个像素点的像素值进行调整，生成第一转换图像；
基于所述第一像素值方差以及所述中间单目图像训练样本对应的第二像素值方差，确定转换系数，并基于所述转换系数，对所述第一转换图像中各个像素点的像素值进行调整，生成第二转换图像；
基于所述中间单目图像训练样本对应的第二像素值均值，对所述第二转换图像中各个像素点的像素值进行调整，生成第三转换图像；
将所述第三转换图像转换为RGB图像，得到所述目标单目图像训练样本；其中，当所述目标单目图像训练样本为所述目标左目图像训练样本时，所述中间单目图像训练样本为所述中间左目图像训练样本；当所述目标单目图像训练样本为所述目标右目图像训练样本时，所述中间单目图像训练样本为所述中间右目图像训练样本。
上述实施方式下，通过中间单目图像训练样本对应的第二像素值均值与第二像素值方差、中间参考图像样本对应的第一像素值均值与第一像素值方差，实现中间单目图像训练样本的色彩转换，得到目标单目图像训练样本，使得得到的目标单目图像训练样本的色彩与参考图像样本的色彩匹配，降低了目标单目图像训练样本与参考图像样本之间的色彩差异性，由于参考图像样本为目标域的图像，故可以使得基于目标双目图像训练样本训练得到的双目立体匹配网络，可以较准确的得到目标域的图像的视差图，提升了双目立体匹配网络的域自适应能力，即提高了双目立体匹配网络的泛化能力。
一种可能的实施方式中，利用所述目标双目图像训练样本对所述双目立体匹配网络进行训练，包括：
分别对目标左目图像训练样本以及目标右目图像训练样本进行特征提取，生成左目特征图以及右目特征图；
分别对所述左目特征图以及所述右目特征图进行归一化处理，生成归一化处理后的目标左目特征图以及目标右目特征图；
基于所述目标左目特征图以及目标右目特征图，计算所述目标双目图像训练样本中所述目标左目图像训练样本与所述目标右目图像训练样本之间的匹配代价；
基于所述目标左目图像训练样本与所述目标右目图像训练样本之间的匹配代价，生成所述目标双目图像训练样本对应的预测视差图；
基于所述预测视差图以及所述双目图像训练样本对应的标注视差图，调整所述双目立体匹配网络的参数。
这里，通过分别对左目特征图以及右目特征图进行归一化处理，得到目标左目特征图以及目标右目特征图，并可以基于目标左目特征图以及目标右目特征图，计算得到目标左目图像训练样本与目标右目图像训练样本之间的匹配代价，通过归一化处理后的目标左目特征图和目标右目特征图计算匹配代价时，可以使得不同数据域的不同图像之间的匹配代价分布结果相似，降低了不同数据域的不同图像之间匹配代价分布的差异性，即可以降低目标图像训练样本与真实场景图像之间匹配代价分布的差异性，提升了双目立体匹配网络的域自适应能力，即提高了双目立体匹配网络的泛化能力。
一种可能的实施方式中，分别对所述左目特征图以及所述右目特征图进行归一化处理，生成归一化处理后的目标左目特征图以及目标右目特征图，包括：
基于通道特征信息对所述左目特征图以及所述右目特征图进行第一归一化处理，生成中间左目特征图以及中间右目特征图；
基于位置特征信息对所述中间左目特征图以及所述中间右目特征图进行第二归一化处理，生成所述目标左目特征图以及所述目标右目特征图。
这里，基于通道特征信息对左目特征图和右目特征图进行第一归一化处理，即对同一通道的特征图上的特征点的特征值进行第一归一化处理，以及基于位置特征信息对中间左目特征图以及中间右目特征图进行第二归一化处理，即对不同通道的特征图上同一位置的特征点对应的特征值进行第二归一化处理，使得左目特征图以及右目特征图中每一特征点对应的特征值位于一定的范围之内，进而可以使得不同数据集中不同的图像对应的归一化处理后的目标特征图的匹配代价的分布较为一致，提高了双目立体匹配网络的泛化能力。
一种可能的实施方式中，基于通道特征信息对所述左目特征图以及所述右目特征图进行第一归一化处理，生成中间左目特征图以及中间右目特征图，包括：
针对所述左目特征图中的每个通道的特征图，基于该通道的特征图中每个特征点的特征值，确定该通道对应的特征调整值；并根据每个通道对应的特征调整值对该通道的特征图上的每个特征点的特征值进行调整，得到处理后的中间左目特征图；以及，
针对所述右目特征图中的每个通道的特征图，基于该通道的特征图中每个特征点的特征值，确定该通道对应的特征调整值；并根据每个通道对应的特征调整值对该通道的特征图上的每个特征点的特征值进行调整，得到处理后的中间右目特征图。
这里，通过确定每个通道的特征调整值，基于每个通道对应的特征调整值调整该通道中每个特征点的特征值，过程简单，运算量低，提高了归一化处理的效率，进而可以提高双目立体匹配网络的处理效率。
一种可能的实施方式中，基于位置特征信息对所述中间左目特征图以及所述中间右目特征图进行第二归一化处理，生成所述目标左目特征图以及所述目标右目特征图，包括：
基于所述中间左目特征图对应的各个通道的特征图中，对应同一位置的各个特征点的特征值，得到该位置对应的特征调整值；并根据每个位置对应的特征调整值对所述中间左目特征图对应的各个通道的特征图中，与该位置对应的特征点的特征值进行调整，得到处理后的目标左目特征图；
基于所述中间右目特征图对应的各个通道的特征图中，对应同一位置的各个特征点的特征值，得到该位置对应的特征调整值；并根据每个位置对应的特征调整值对所述中间右目特征图对应的各个通道的特征图中，与该位置对应的特征点的特征值进行调整，得到处理后的目标右目特征图。
这里，通过确定每个位置的特征调整值，基于每个位置对应的特征调整值调整该位置对应的特征点的特征值，归一化处理过程简单，运算量低，提高了归一化处理的效率，进而可以提高双目立体匹配网络的处理效率。
第二方面，本公开提供了一种图像处理方法，包括：
获取待检测双目图像；
基于双目立体匹配网络对所述待检测双目图像进行目标检测，得到所述待检测双目图像对应的第一目标视差图，其中，所述双目立体匹配网络为基于第一方面或第一方面任一实施方式所述的双目立体匹配网络训练方法训练得到；
基于所述第一目标视差图对所述待检测双目图像进行处理，得到处理结果。
第三方面，本公开提供了一种行驶控制方法，包括：
获取行驶装置在行驶过程中采集的双目道路图像；
利用双目立体匹配网络对所述双目道路图像进行目标检测，确定所述双目道路图像对应的第二目标视差图；所述双目立体匹配网络采用第一方面或第一方面任一实施方式所述的双目立体匹配网络训练方法训练得到；
基于所述第二目标视差图，确定所述双目道路图像中包括的目标对象的三维位姿信息；
基于确定的所述目标对象的三维位姿信息，控制所述行驶装置。
以下装置、电子设备等的效果描述参见上述方法的说明，这里不再赘述。
第四方面，本公开提供了一种双目立体匹配网络训练装置，包括：
样本获取模块，用于获取双目图像训练样本以及参考图像样本；其中，所述双目图像训练样本包括左目图像训练样本和右目图像训练样本；
色彩转换模块，用于基于所述参考图像样本，对所述双目图像训练样本进行色彩转换，得到转换后的目标双目图像训练样本，其中，所述目标双目图像训练样本的色彩与所述参考图像样本的色彩相匹配；
训练模块，用于利用所述目标双目图像训练样本对双目立体匹配网络进行训练，得到训练后的双目立体匹配网络。
一种可能的实施方式中，所述色彩转换模块，在基于所述参考图像样本，对所述双目图像训练样本进行色彩转换，得到转换后的目标双目图像训练样本的情况下，用于：
将所述参考图像样本和所述双目图像训练样本从RGB图像转换为LAB图像，得到中间参考图像样本以及中间双目图像训练样本；
基于所述中间参考图像样本以及所述中间双目图像训练样本，生成转换后的目标双目图像训练样本。
一种可能的实施方式中，所述色彩转换模块，在基于所述中间参考图像样本以及所述中间双目图像训练样本，生成转换后的目标双目图像训练样本的情况下，用于：
确定所述中间参考图像样本对应的第一像素值均值和第一像素值方差，所述中间双目图像训练样本中的中间左目图像训练样本对应的第二像素值均值和第二像素值方差，以及中间右目图像训练样本对应的第二像素值均值和第二像素值方差；
基于所述第一像素值均值及所述第一像素值方差、所述中间左目图像训练样本对应的第二像素值均值及第二像素值方差、以及所述中间参考图像样本，生成目标左目图像训练样本；
基于所述第一像素值均值及所述第一像素值方差、所述中间右目图像训练样本对应的第二像素值均值及第二像素值方差、以及所述中间参考图像样本，生成目标右目图像训练样本；
其中，所述目标左目图像训练样本和所述目标右目图像训练样本构成了所述目标双目图像训练样本。
一种可能的实施方式中，所述色彩转换模块，用于采用以下步骤生成目标单目图像训练样本，所述目标单目图像训练样本为所述目标左目图像训练样本或者所述目标右目图像训练样本：
基于所述第一像素值均值，对所述中间参考图像样本中各个像素点的像素值进行调整，生成第一转换图像；
基于所述第一像素值方差以及所述中间单目图像训练样本对应的第二像素值方差，确定转换系数，并基于所述转换系数，对所述第一转换图像中各个像素点的像素值进行调整，生成第二转换图像；
基于所述中间单目图像训练样本对应的第二像素值均值，对所述第二转换图像中各个像素点的像素值进行调整，生成第三转换图像；
将所述第三转换图像转换为RGB图像，得到所述目标单目图像训练样本；其中，当所述目标单目图像训练样本为所述目标左目图像训练样本时，所述中间单目图像训练样本为所述中间左目图像训练样本；当所述目标单目图像训练样本为所述目标右目图像训练样本时，所述中间单目图像训练样本为所述中间右目图像训练样本。
一种可能的实施方式中，所述训练模块，在利用所述目标双目图像训练样本对所述双目立体匹配网络进行训练的情况下，用于：
分别对目标左目图像训练样本以及目标右目图像训练样本进行特征提取，生成左目特征图以及右目特征图；
分别对所述左目特征图以及所述右目特征图进行归一化处理，生成归一化处理后的目标左目特征图以及目标右目特征图；
基于所述目标左目特征图以及目标右目特征图，计算所述目标双目图像训练样本中所述目标左目图像训练样本与所述目标右目图像训练样本之间的匹配代价；
基于所述目标左目图像训练样本与所述目标右目图像训练样本之间的匹配代价，生成所述目标双目图像训练样本对应的预测视差图；
基于所述预测视差图以及所述双目图像训练样本对应的标注视差图，调整所述双目立体匹配网络的参数。
一种可能的实施方式中，所述训练模块，在分别对所述左目特征图以及所述右目特征图进行归一化处理，生成归一化处理后的目标左目特征图以及目标右目特征图的情况下，用于：
基于通道特征信息对所述左目特征图以及所述右目特征图进行第一归一化处理，生成中间左目特征图以及中间右目特征图；
基于位置特征信息对所述中间左目特征图以及所述中间右目特征图进行第二归一化处理，生成所述目标左目特征图以及所述目标右目特征图。
一种可能的实施方式中，所述训练模块，在基于通道特征信息对所述左目特征图以及所述右目特征图进行第一归一化处理，生成中间左目特征图以及中间右目特征图的情况下，用于：
针对所述左目特征图中的每个通道的特征图，基于该通道的特征图中每个特征点的特征值，确定该通道对应的特征调整值；并根据每个通道对应的特征调整值对该通道的特征图上的每个特征点的特征值进行调整，得到处理后的中间左目特征图；以及，
针对所述右目特征图中的每个通道的特征图，基于该通道的特征图中每个特征点的特征值，确定该通道对应的特征调整值；并根据每个通道对应的特征调整值对该通道的特征图上的每个特征点的特征值进行调整，得到处理后的中间右目特征图。
一种可能的实施方式中，所述训练模块，在基于位置特征信息对所述中间左目特征图以及所述中间右目特征图进行第二归一化处理，生成所述目标左目特征图以及所述目标右目特征图的情况下，用于：
基于所述中间左目特征图对应的各个通道的特征图中，对应同一位置的各个特征点的特征值，得到该位置对应的特征调整值；并根据每个位置对应的特征调整值对所述中间左目特征图对应的各个通道的特征图中，与该位置对应的特征点的特征值进行调整，得到处理后的目标左目特征图；
基于所述中间右目特征图对应的各个通道的特征图中，对应同一位置的各个特征点的特征值，得到该位置对应的特征调整值；并根据每个位置对应的特征调整值对所述中间右目特征图对应的各个通道的特征图中，与该位置对应的特征点的特征值进行调整，得到处理后的目标右目特征图。
第五方面，本公开提供了一种图像处理装置，包括：
图像获取模块，用于获取待检测双目图像；
第一目标检测模块，用于基于双目立体匹配网络对所述待检测双目图像进行目标检测，得到所述待检测双目图像对应的第一目标视差图，其中，所述双目立体匹配网络为基于第一方面或第一方面任一实施方式所述的双目立体匹配网络训练方法训练得到；
处理模块，用于基于所述第一目标视差图对所述待检测双目图像进行处理，得到处理结果。
第六方面，本公开提供了一种行驶控制装置，包括：
道路图像获取模块，用于获取行驶装置在行驶过程中采集的双目道路图像；
第二目标检测模块，用于利用双目立体匹配网络对所述双目道路图像进行目标检测，确定所述双目道路图像对应的第二目标视差图；所述双目立体匹配网络采用第一方面或第一方面任一实施方式所述的双目立体匹配网络训练方法训练得到；
三维位姿信息确定模块，用于基于所述第二目标视差图，确定所述双目道路图像中包括的目标对象的三维位姿信息；
控制模块，用于基于确定的所述目标对象的三维位姿信息，控制所述行驶装置。
第七方面，本公开提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述第一方面或任一实施方式所述的双目立体匹配网络训练方法的步骤；或执行如上述第二方面或任一实施方式所述的图像处理方法的步骤；或执行如上述第三方面或任一实施方式所述的行驶控制方法的步骤。
第八方面，本公开提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述第一方面或任一实施方式所述的双目立体匹配网络训练方法的步骤；或执行如上述第二方面或任一实施方式所述的图像处理方法的步骤；或执行如上述第三方面或任一实施方式所述的行驶控制方法的步骤。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种双目立体匹配网络训练方法的流程示意图；
图2示出了本公开实施例所提供的一种图像处理方法的流程示意图；
图3示出了本公开实施例所提供的一种行驶控制方法的流程示意图；
图4示出了本公开实施例所提供的一种双目立体匹配网络训练装置的架构示意图；
图5示出了本公开实施例所提供的一种图像处理装置的架构示意图；
图6示出了本公开实施例所提供的一种行驶控制装置的架构示意图；
图7示出了本公开实施例所提供的一种电子设备的结构示意图；
图8示出了本公开实施例所提供的另一种电子设备的结构示意图；
图9示出了本公开实施例所提供的另一种电子设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
目前，真实场景数据集中包含的视差图真值数据较少，比如，真实场景数据集可以为KITTI数据集、Middlebury数据集等；而合成数据集呈包含的视差真值数据较多，比如，合成数据集可以为Scene Flow Datasets数据集等。
神经网络的训练需要大量包含标签的数据，即需要使用大量包含视差真值的训练数据对双目立体匹配网络进行训练，因此，可以选择合成数据集对双目立体匹配网络进行训练。但是，由于合成数据集中包含的数据是合成的数据，不是在真实场景中采集得到的数据，使得通过合成数据集训练的双目立体匹配网络在确定真实场景图像对应的视差图时，得到的视差图的准确度较低。为了解决上述问题，本公开实施例提供了双目立体匹配网络训练方法。
为便于对本公开实施例进行理解，首先对本公开实施例所公开的一种双目立体匹配网络训练方法进行详细介绍。
参见图1所示，为本公开实施例所提供的一种双目立体匹配网络训练方法的流程示意图，包括S101-S103，其中：
S101，获取双目图像训练样本以及参考图像样本；其中，双目图像训练样本包括左目图像训练样本和右目图像训练样本；
S102，基于参考图像样本，对双目图像训练样本进行色彩转换，得到转换后的目标双目图像训练样本，其中，目标双目图像训练样本的色彩与参考图像样本的色彩相匹配；
S103，利用目标双目图像训练样本对双目立体匹配网络进行训练，得到训练后的双目立体匹配网络。
上述方法中，通过基于参考图像样本对双目图像训练样本进行色彩转换，降低双目图像训练样本与参考图像样本之间的色彩差异，由于参考图像训练样本可以为目标域的图像，双目图像训练样本可以为源域的图像，使得基于色彩转换后的目标双目图像训练样本对双目立体匹配网络进行训练后，得到的训练后的双目立体匹配网络可以较准确的生成目标域对应的图像的视差图，提升了双目立体匹配网络的域自适应能力，即提高双目立体匹配网络的泛化能力。
下述对S101-S103进行详细说明。
针对S101：
这里，双目图像训练样本可以为合成数据集中的至少一对合成双目图像，每对合成双目图像中包括左目合成图像以及右目合成图像，即双目图像训练样本包括左目图像训练样本和右目图像训练样本，合成数据集对应的域可以为源域。其中，合成双目图像可以为通过智能设备(比如，电脑、手机等设备)合成的双目图像；参考图像样本可以为真实场景数据集中的图像，即该图像为在真实场景中采集到的图像，真实场景数据集对应的域可以为目标域，双目图像训练样本与参照图像样本为不同数据域中的图像。
针对S102：
本公开实施例中，可以基于参考图像样本对双目图像训练样本进行色彩转换，生成与参考图像样本的色彩相匹配的目标双目图像训练样本。
示例性的，基于参考图像样本，对双目图像训练样本进行色彩转换，得到转换后的目标双目图像训练样本，可以包括：
将参考图像样本和双目图像训练样本从红绿蓝RGB图像转换为LAB图像，得到中间参考图像样本以及中间双目图像训练样本；
基于中间参考图像样本以及中间双目图像训练样本，生成转换后的目标双目图像训练样本。
这里，参考图像样本和双目图像训练样本可以为RGB图像。示例性的，可以在LAB色彩空间下，基于参考图像样本，对双目图像训练样本进行色彩转换。其中，L代表图像的亮度、A代表图像的颜色是从深绿色(低亮度值)到灰色(中亮度值)再到亮粉红色(高亮度值)；B代表图像从亮蓝色(低亮度值)到灰色(中亮度值)再到黄色(高亮度值)。因此，可以先将参考图像样本和双目图像训练样本从RGB图像转换为LAB图像，得到中间参考图像样本以及中间双目图像训练样本。其中，可以通过色彩转换软件将RGB图像转换为LAB图像。进而，可以基于得到的中间参考图像样本以及中间双目图像训练样本，生成转换后的目标双目图像训练样本。
上述实施方式中，由于在LAB色彩空间包括的色彩模式较为全面，因此，在将参考图像样本和双目图像训练样本从RGB图像转换为LAB图像后，基于LAB图像实现图像的色彩转换，可以较准确的得到目标双目图像训练样本。
一种可选实施方式中，基于中间参考图像样本以及中间双目图像训练样本，生成转换后的目标双目图像训练样本，包括：
确定中间参考图像样本对应的第一像素值均值和第一像素值方差，中间双目图像训练样本中的中间左目图像训练样本对应的第二像素值均值和第二像素值方差，以及中间右目图像训练样本对应的第二像素值均值和第二像素值方差；
基于第一像素值均值及第一像素值方差、中间左目图像训练样本对应的第二像素值均值及第二像素值方差、以及中间参考图像样本，生成目标左目图像训练样本；
基于第一像素值均值及第一像素值方差、中间右目图像训练样本对应的第二像素值均值及第二像素值方差、以及中间参考图像样本，生成目标右目图像训练样本；其中，目标左目图像训练样本和目标右目图像训练样本构成了目标双目图像训练样本。
本公开实施例中，可以根据中间参考图像样本中每个像素点的像素值，确定中间参考图像样本中对应的第一像素值均值和第一像素值方差；以及根据中间左目图像训练样本中每个像素点的像素值，确定中间左目图像训练样本对应的第二像素值均值和第二像素值方差，和根据中间右目图像训练样本中每个像素点的像素值，确定中间右目图像训练样本对应的第二像素值均值和第二像素值方差。进而，基于确定的第一像素值均值和第一像素值方差、中间左目图像训练样本对应的第二像素值均值和第二像素值方差、以及中间参考图像样本，生成目标左目训练样本，同理，还可以生成目标右目训练样本。其中，目标左目图像训练样本和目标右目图像训练样本构成了目标双目图像训练样本。
一种可选实施方式中，采用以下步骤生成目标单目图像训练样本，所述目标单目图像训练样本为所述目标左目图像训练样本或者所述目标右目图像训练样本：
一、基于第一像素值均值，对中间参考图像样本中各个像素点的像素值进行调整，生成第一转换图像；
二、基于第一像素值方差以及中间单目图像训练样本对应的第二像素值方差，确定转换系数，并基于转换系数，对第一转换图像中各个像素点的像素值进行调整，生成第二转换图像；
三、基于中间单目图像训练样本对应的第二像素值均值，对第二转换图像中各个像素点的像素值进行调整，生成第三转换图像；
四、将第三转换图像转换为RGB图像，得到目标单目图像训练样本；其中，当所述目标单目图像训练样本为所述目标左目图像训练样本时，所述中间单目图像训练样本为所述中间左目图像训练样本；当所述目标单目图像训练样本为所述目标右目图像训练样本时，所述中间单目图像训练样本为所述中间右目图像训练样本。
这里，在中间单目图像训练样本为中间左目图像训练样本时，则生成的目标单目图像训练样本为目标左目图像训练样本；在中间单目图像训练样本为中间右目图像训练样本时，则生成的目标单目图像训练样本为目标右目图像训练样本。
对步骤一进行说明，示例性的，可以将中间参考图像样本中各个像素点的像素值减去第一像素值均值，得到各个像素点对应的调整后的像素值，调整像素值后的各个像素点构成了第一转换图像，其中，第一转换图像中各个像素点的像素值的分布情况为以0值为中心，分布在0值的一定范围内。
针对步骤二，在具体实施时，可以将中间单目图像训练样本对应的第二像素值方差与第一像素值方差相除，得到转换系数。并将第一转换图像中各个像素点的像素值与转换系数相乘，得到调整像素值后的各个像素点，调整像素值后的各个像素点构成了第二转换图像。其中，第二转换图像中的各个像素点的像素值的方差与中间参考图像样本对应的第一像素值方差近似。
针对步骤三，将第二转换图像中各个像素点的像素值与中间单目图像训练样本对应的第二像素值均值求和，得到各个像素点调整后的像素值，进而整像素值后的各个像素点构成了第三转换图像。其中，得到的第三转换图像的色彩与中间参考图像样本的色彩相匹配。
针对步骤四，这里得到的第三转换图像为LAB图像，故可以将得到的第三转换图像通过色彩转换软件，转换为RGB图像，得到目标单目图像训练样本。
上述实施方式中，通过中间单目图像训练样本对应的第二像素值均值与第二像素值方差、中间参考图像样本对应的第一像素值均值与第一像素值方差，实现中间单目图像训练样本的色彩转换，得到目标单目图像训练样本，使得得到的目标单目图像训练样本的色彩与参考图像样本的色彩匹配，降低了目标单目图像训练样本与参考图像样本之间的色彩差异性，由于参考图像样本为目标域的图像，故可以使得基于目标双目图像训练样本训练得到的双目立体匹配网络，可以较准确的得到目标域的图像的视差图，提升了双目立体匹配网络的域自适应能力，即提高了双目立体匹配网络的泛化能力。
针对S103：
这里，可以对双目立体匹配网络进行多次训练，直至训练的双目立体匹配网络满足设置的条件位置，则得到训练后的双目立体匹配网络。针对每次训练过程：可以基于本次训练时获取的双目图像训练样本以及参考图像样本，得到本次训练时的目标双目图像训练样本，将本次训练时的目标双目图像训练样本输入至双目立体匹配网络中，对双目立体匹配网络进行训练，得到本次训练后的双目立体匹配网络。
其中，每次对双目立体匹配网络进行训练时，获取的双目图像训练样本中可以包括一对或者多对双目图像，每对双目图像中包括左目图像以及右目图像；通过本次获取的参考图像样本对本次获取的双目图像训练样本进行色彩转换，得到本次训练时使用的目标双目图像训练样本。在具体实施时，每次训练时获取的参考图像样本可以为不同的参考图像样本，即每次训练时可以从真实场景数据集中随机获取一个图像作为本次训练时对应的参考图像样本。
一种可选实施方式中，利用所述目标双目图像训练样本对所述双目立体匹配网络进行训练，包括：
分别对目标左目图像训练样本以及目标右目图像训练样本进行特征提取，生成左目特征图以及右目特征图；
分别对左目特征图以及右目特征图进行归一化处理，生成归一化处理后的目标左目特征图以及目标右目特征图；
基于目标左目特征图以及目标右目特征图，计算目标双目图像训练样本中目标左目图像训练样本与目标右目图像训练样本之间的匹配代价；
基于目标左目图像训练样本与目标右目图像训练样本之间的匹配代价，生成目标双目图像训练样本对应的预测视差图；
基于预测视差图以及双目图像训练样本对应的标注视差图，调整双目立体匹配网络的参数。
示例性的，双目立体匹配网络结构可以包括：特征提取模块、归一化处理模块、匹配代价计算模块、编码器以及解码器。其中，特征提取模块包括左目特征提取模块以及右目特征提取模块，归一化处理模块包括左目归一化处理模块以及右目归一化处理模块。
示例性的，将色彩转换后的目标双目图像训练样本输入至双目立体匹配网络中，左目特征提取模块对目标左目图像训练样本进行特征提取，得到左目特征图，右目特征提取模块对目标右目图像训练样本进行特征提取，得到右目特征图。
左目归一化处理模块对左目特征图进行归一化处理，生成归一化处理后的目标左目特征图，以及右目归一化处理模块对右目特征图进行归一化处理，生成归一化处理后的目标右目特征图。其中，左目归一化处理模块以及右目归一化处理模块的归一化处理过程相同。
可以将归一化处理后得到的目标左目特征图以及目标右目特征图输入至匹配代价计算模块中，使得匹配代价计算模块计算目标双目图像训练样本中目标左目图像训练样本与目标右目图像训练样本之间的匹配代价。其中，双目立体匹配网络中的匹配代价计算模块计算匹配代价体时可以有两种计算模式：相关(correlation)及串接(concatenation)，本公开实施例中得到的归一化处理后的目标左目特征图和目标右目特征图，既适用于相关的匹配代价计算模式，也适用于串接的匹配代价计算模式。
进一步，匹配代价计算模块在将目标左目特征图以及目标右目特征图以相关或者串接的匹配代价计算模式进行计算，得到目标双目图像训练样本中目标左目图像训练样本与目标右目图像训练样本之间的匹配代价；将计算得到的目标双目图像训练样本对应的匹配代价分布结果输入至编码器中进行处理，并将处理后的编码结果输入至解码器中，生成目标双目图像训练样本对应的预测视差图；进而可以基于预测视差图以及双目图像训练样本对应的标注视差图，调整双目立体匹配网络的参数，完成对双目立体匹配网络的一次训练。
上述实施方式中，通过分别对左目特征图以及右目特征图进行归一化处理，得到目标左目特征图以及目标右目特征图，并可以基于目标左目特征图以及目标右目特征图，计算得到目标左目图像训练样本与目标右目图像训练样本之间的匹配代价，通过归一化处理后的目标左目特征图和目标右目特征图计算匹配代价时，可以使得不同域的不同图像之间的匹配代价分布结果相似，降低了不同数据域的不同图像之间匹配代价分布的差异性，即可以降低目标图像训练样本与真实场景图像之间匹配代价分布的差异性，提升了双目立体匹配网络的域自适应能力，即提高了双目立体匹配网络的泛化能力。
一种可选实施方式中，分别对左目特征图以及右目特征图进行归一化处理，生成归一化处理后的目标左目特征图以及目标右目特征图，包括：
基于通道特征信息对左目特征图以及右目特征图进行第一归一化处理，生成中间左目特征图以及中间右目特征图。
基于位置特征信息对中间左目特征图以及中间右目特征图进行第二归一化处理，生成目标左目特征图以及目标右目特征图。
这里，基于通道特征信息对左目特征图和右目特征图进行第一归一化处理，即对同一通道的特征图上的特征点的特征值进行第一归一化处理，以及基于位置特征信息对中间左目特征图以及中间右目特征图进行第二归一化处理，即对不同通道的特征图上同一位置的特征点对应的特征值进行第二归一化处理，使得左目特征图以及右目特征图中每一特征点对应的特征值位于一定的范围之内，进而可以使得不同数据集中不同的图像对应的归一化处理后的目标特征图的特征值的分布较为一致，提高了双目立体匹配网络的泛化能力。
一种可选实施方式中，基于通道特征信息对左目特征图以及右目特征图进行第一归一化处理，生成中间左目特征图以及中间右目特征图，可以包括：
针对左目特征图中的每个通道的特征图，基于该通道的特征图中每个特征点的特征值，确定该通道对应的特征调整值；并根据每个通道对应的特征调整值对该通道的特征图上的每个特征点的特征值进行调整，得到处理后的中间左目特征图；以及，针对右目特征图中的每个通道的特征图，基于该通道的特征图中每个特征点的特征值，确定该通道对应的特征调整值；并根据每个通道对应的特征调整值对该通道的特征图上的每个特征点的特征值进行调整，得到处理后的中间右目特征图。
本公开实施例中，特征提取模块输出的特征图的尺寸信息可以为N×C×H×W，其中，H可以为特征图的高度，W可以为特征图的宽度，C可以为特征图对应的通道数量，N可以为本次训练双目立体匹配网络时获取的双目图像训练样本中包含的双目图像的对数，N、C、H、W均为正整数，比如，若本次训练双目立体匹配网络时获取的双目图像训练样本中包括5对双目图像，则N为5，若本次训练双目立体匹配网络时获取的双目图像训练样本中包括1对双目图像，则N为1。
示例性的，基于通道特征信息对左目特征图以及右目特征图进行第一归一化处理的公式可以为：
其中，上述公式(1)在用于对左目特征图进行第一归一化处理时，Fn,c,h,w为左目特征图中每个特征点的特征值，ε为预设的归一化系数，F′n,c,h,w为生成的中间左目特征图上对应特征点的特征值。
在具体实施，若左目特征图中N＝2，C＝3，则可以确定左目特征图中包括6个通道的特征图，则针对每个通道的特征图，将该通道上每个特征点的特征值求平方和，将得到的平方和结果与归一化系数相加，再将得到的和值开根号，得到该通道对应的特征调整值，即可以根据公式(1)中的分母对应的计算公式，得到每个通道对应的特征调整值。
接着，将该通道上每个特征点的特征值与该特征调整值求商，得到该通道对应的第一归一化处理后的特征图，进而基于各个通道对应的第一归一化处理后的特征图构成了中间左目特征图。其中，右目特征图的第一归一化处理过程可参考左目特征图的过程，此处不再赘述。
这里，通过确定每个通道的特征调整值，基于每个通道对应的特征调整值调整该通道中每个特征点的特征值，过程简单，运算量低，提高了归一化处理的效率，进而可以提高双目立体匹配网络的处理效率。
一种可选实施方式中，基于位置特征信息对中间左目特征图以及中间右目特征图进行第二归一化处理，生成目标左目特征图以及目标右目特征图，可以包括：
基于中间左目特征图对应的各个通道的特征图中，对应同一位置的各个特征点的特征值，得到该位置对应的特征调整值；并根据每个位置对应的特征调整值对中间左目特征图对应的各个通道的特征图中，与该位置对应的特征点的特征值进行调整，得到处理后的目标左目特征图；
基于中间右目特征图对应的各个通道的特征图中，对应同一位置的各个特征点的特征值，得到该位置对应的特征调整值；并根据每个位置对应的特征调整值对中间右目特征图对应的各个通道的特征图中，与该位置对应的特征点的特征值进行调整，得到处理后的目标右目特征图。
示例性的，基于位置特征信息对左目特征图以及右目特征图进行第一归一化处理的公式可以为：
其中，上述公式(2)在用于对左目特征图进行第一归一化处理时，F′n,c,h,w为中间左目特征图中特征点的特征值，ε为预设的归一化系数，F″n,c,h,w为生成的目标左目特征图上对应特征点的特征值。
这里，若左目特征图中N＝2，C＝3，则表征该左目特征图中包括2个三通道的特征图，可以得到2个三通道的中间左目特征图；则针对每一个三通道的中间左目特征图，基于中间左目特征图对应的三个通道的特征图中，对应同一位置的各个特征点的特征值，得到该位置对应的特征调整值，即可以根据公式(2)中的分母对应的计算公式，得到每个位置对应的特征调整值。并根据每个位置对应的特征调整值对中间左目特征图对应的三个通道的特征图中，与该位置对应的特征点的特征值进行调整，得到处理后的目标左目特征图。
比如，针对每个三通道的中间左目特征图，该位置可以为h＝1、w＝1的位置(其中，h、w可以为该位置对应的横、纵坐标，该横坐标与纵坐标可以为中间左目特征图在图像坐标系中的坐标)，则可以将三个通道上h＝1、w＝1的位置处的特征值求平方和，并将得到的平方和结果与归一化系数相加，再将得到的和值开根号，得到该h＝1、w＝1的位置对应的特征调整值，并将三通道上每个通道上的h＝1、w＝1的位置处的特征值与该位置上的特征调整值求商，得到目标左目特征图上与该位置对应的特征点的特征值；进而可以得到处理后的目标左目特征图。其中，中间右目特征图的第二归一化处理过程可参考中间左目特征图的过程，此处不再赘述。
上述实施方式中，通过确定每个位置的特征调整值，基于每个位置对应的特征调整值调整该位置对应的特征点的特征值，归一化处理过程简单，运算量低，提高了归一化处理的效率，进而可以提高双目立体匹配网络的处理效率。
参见图2所示，为本公开实施例所提供的一种图像处理方法的流程示意图，包括S201-S203，其中：
S201，获取待检测双目图像；
S202，基于双目立体匹配网络对待检测双目图像进行目标检测，得到待检测双目图像对应的第一目标视差图，其中，双目立体匹配网络为基于上述实施方式所述的双目立体匹配网络训练方法训练得到；
S203，基于所述第一目标视差图对所述待检测双目图像进行处理，得到处理结果。
这里，基于第一目标视差图可进行的处理操作包括但不限于目标检测、深度确定、三维场景建模、同步定位与建图等。比如，可以对第一目标视差图进行建模处理，得到处理结果；比如将第一目标视差图输入至建模软件中进行场景建模，确定待检测双目图像对应的场景模型。
参见图3所示，为本公开实施例所提供的一种行驶控制方法的流程示意图，包括S301-S304，其中：
S301，获取行驶装置在行驶过程中采集的双目道路图像；
S302，利用双目立体匹配网络对双目道路图像进行目标检测，确定双目道路图像对应的第二目标视差图；双目立体匹配网络采用上述实施方式所述的双目立体匹配网络训练方法训练得到；
S303，基于第二目标视差图，确定双目道路图像中包括的目标对象的三维位姿信息；
S304，基于确定的目标对象的三维位姿信息，控制行驶装置。
示例性的，行驶装置可以为自动驾驶车辆、装有高级驾驶辅助系统(AdvancedDriving Assistance System，ADAS)的车辆、或者机器人等。双目道路图像可以为行驶装置在行驶过程中实时采集到的双目图像。目标对象可以为道路中可以能出现的任一标识、和/或任一物体和/或、任一对象。比如，目标对象可以为斑马线、右拐等路面标识，也可以为禁止停车等的标识牌，还可以为出现在道路上的动物、行人等，也可以为道路上的其他车辆等。
其中，在控制行驶装置时，可以控制行驶装置加速、减速、转向、制动等，或者可以播放语音提示信息，以提示驾驶员控制行驶装置加速、减速、转向、制动等。这里，三维位姿信息中包括但不限于目标对象的中心点在三维坐标系中的三维坐标信息、朝向信息、目标对象的长度、宽度、高度等。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于相同的构思，本公开实施例还提供了一种双目立体匹配网络训练装置，参见图4所示，为本公开实施例提供的一种双目立体匹配网络训练装置的架构示意图，包括样本获取模块401、色彩转换模块402、以及训练模块403，具体的：
样本获取模块401，用于获取双目图像训练样本以及参考图像样本；其中，所述双目图像训练样本包括左目图像训练样本和右目图像训练样本；
色彩转换模块402，用于基于所述参考图像样本，对所述双目图像训练样本进行色彩转换，得到转换后的目标双目图像训练样本，其中，所述目标双目图像训练样本的色彩与所述参考图像样本的色彩相匹配；
训练模块403，用于利用所述目标双目图像训练样本对双目立体匹配网络进行训练，得到训练后的双目立体匹配网络。
一种可能的实施方式中，所述色彩转换模块402，在基于所述参考图像样本，对所述双目图像训练样本进行色彩转换，得到转换后的目标双目图像训练样本的情况下，用于：
将所述参考图像样本和所述双目图像训练样本从RGB图像转换为LAB图像，得到中间参考图像样本以及中间双目图像训练样本；
基于所述中间参考图像样本以及所述中间双目图像训练样本，生成转换后的目标双目图像训练样本。
一种可能的实施方式中，所述色彩转换模块402，在基于所述中间参考图像样本以及所述中间双目图像训练样本，生成转换后的目标双目图像训练样本的情况下，用于：
确定所述中间参考图像样本对应的第一像素值均值和第一像素值方差，所述中间双目图像训练样本中的中间左目图像训练样本对应的第二像素值均值和第二像素值方差，以及中间右目图像训练样本对应的第二像素值均值和第二像素值方差；
基于所述第一像素值均值及所述第一像素值方差、所述中间左目图像训练样本对应的第二像素值均值及第二像素值方差、以及所述中间参考图像样本，生成目标左目图像训练样本；
基于所述第一像素值均值及所述第一像素值方差、所述中间右目图像训练样本对应的第二像素值均值及第二像素值方差、以及所述中间参考图像样本，生成目标右目图像训练样本；
其中，所述目标左目图像训练样本和所述目标右目图像训练样本构成了所述目标双目图像训练样本。
一种可能的实施方式中，所述色彩转换模块402，用于采用以下步骤生成目标单目图像训练样本，所述目标单目图像训练样本为所述目标左目图像训练样本或者所述目标右目图像训练样本：
基于所述第一像素值均值，对所述中间参考图像样本中各个像素点的像素值进行调整，生成第一转换图像；
基于所述第一像素值方差以及所述中间单目图像训练样本对应的第二像素值方差，确定转换系数，并基于所述转换系数，对所述第一转换图像中各个像素点的像素值进行调整，生成第二转换图像；
基于所述中间单目图像训练样本对应的第二像素值均值，对所述第二转换图像中各个像素点的像素值进行调整，生成第三转换图像；
将所述第三转换图像转换为RGB图像，得到所述目标单目图像训练样本；其中，当所述目标单目图像训练样本为所述目标左目图像训练样本时，所述中间单目图像训练样本为所述中间左目图像训练样本；当所述目标单目图像训练样本为所述目标右目图像训练样本时，所述中间单目图像训练样本为所述中间右目图像训练样本。
一种可能的实施方式中，所述训练模块403，在利用所述目标双目图像训练样本对所述双目立体匹配网络进行训练的情况下，用于：
分别对目标左目图像训练样本以及目标右目图像训练样本进行特征提取，生成左目特征图以及右目特征图；
分别对所述左目特征图以及所述右目特征图进行归一化处理，生成归一化处理后的目标左目特征图以及目标右目特征图；
基于所述目标左目特征图以及目标右目特征图，计算所述目标双目图像训练样本中所述目标左目图像训练样本与所述目标右目图像训练样本之间的匹配代价；
基于所述目标左目图像训练样本与所述目标右目图像训练样本之间的匹配代价，生成所述目标双目图像训练样本对应的预测视差图；
基于所述预测视差图以及所述双目图像训练样本对应的标注视差图，调整所述双目立体匹配网络的参数。
一种可能的实施方式中，所述训练模块403，在分别对所述左目特征图以及所述右目特征图进行归一化处理，生成归一化处理后的目标左目特征图以及目标右目特征图的情况下，用于：
基于通道特征信息对所述左目特征图以及所述右目特征图进行第一归一化处理，生成中间左目特征图以及中间右目特征图；
基于位置特征信息对所述中间左目特征图以及所述中间右目特征图进行第二归一化处理，生成所述目标左目特征图以及所述目标右目特征图。
一种可能的实施方式中，所述训练模块403，在基于通道特征信息对所述左目特征图以及右目特征图进行第一归一化处理，生成中间左目特征图以及中间右目特征图的情况下，用于：
针对所述左目特征图中的每个通道的特征图，基于该通道的特征图中每个特征点的特征值，确定该通道对应的特征调整值；并根据每个通道对应的特征调整值对该通道的特征图上的每个特征点的特征值进行调整，得到处理后的中间左目特征图；以及，
针对所述右目特征图中的每个通道的特征图，基于该通道的特征图中每个特征点的特征值，确定该通道对应的特征调整值；并根据每个通道对应的特征调整值对该通道的特征图上的每个特征点的特征值进行调整，得到处理后的中间右目特征图。
一种可能的实施方式中，所述训练模块403，在基于位置特征信息对所述中间左目特征图以及所述中间右目特征图进行第二归一化处理，生成所述目标左目特征图以及所述目标右目特征图的情况下，用于：
基于所述中间左目特征图对应的各个通道的特征图中，对应同一位置的各个特征点的特征值，得到该位置对应的特征调整值；并根据每个位置对应的特征调整值对所述中间左目特征图对应的各个通道的特征图中，与该位置对应的特征点的特征值进行调整，得到处理后的目标左目特征图；
基于所述中间右目特征图对应的各个通道的特征图中，对应同一位置的各个特征点的特征值，得到该位置对应的特征调整值；并根据每个位置对应的特征调整值对所述中间右目特征图对应的各个通道的特征图中，与该位置对应的特征点的特征值进行调整，得到处理后的目标右目特征图。
基于相同的构思，本公开实施例还提供了一种图像处理装置，参见图5所示，为本公开实施例提供的一种图像处理装置的架构示意图，包括图像获取模块501、第一目标检测模块502、以及处理模块503，具体的：
图像获取模块501，用于获取待检测双目图像；
第一目标检测模块502，用于基于双目立体匹配网络对所述待检测双目图像进行目标检测，得到所述待检测双目图像对应的第一目标视差图，其中，所述双目立体匹配网络为基于第一方面或第一方面任一实施方式所述的双目立体匹配网络训练方法训练得到；
处理模块503，用于基于所述第一目标视差图对所述待检测双目图像进行处理，得到处理结果。
基于相同的构思，本公开实施例还提供了一种行驶控制装置，参见图6所示，为本公开实施例提供的一种行驶控制装置的架构示意图，包括道路图像获取模块601、第二目标检测模块602、三维位姿信息确定模块603、以及控制模块604，具体的：
道路图像获取模块601，用于获取行驶装置在行驶过程中采集的双目道路图像；
第二目标检测模块602，用于利用双目立体匹配网络对所述双目道路图像进行目标检测，确定所述双目道路图像对应的第二目标视差图；所述双目立体匹配网络采用第一方面或第一方面任一实施方式所述的双目立体匹配网络训练方法训练得到；
三维位姿信息确定模块603，用于基于所述第二目标视差图，确定所述双目道路图像中包括的目标对象的三维位姿信息；
控制模块604，用于基于确定的所述目标对象的三维位姿信息，控制所述行驶装置。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模板可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
基于同一技术构思，本公开实施例还提供了一种电子设备。参照图7所示，为本公开实施例提供的电子设备的结构示意图，包括处理器701、存储器702、和总线703。其中，存储器702用于存储执行指令，包括内存7021和外部存储器7022；这里的内存7021也称内存储器，用于暂时存放处理器701中的运算数据，以及与硬盘等外部存储器7022交换的数据，处理器701通过内存7021与外部存储器7022进行数据交换，当电子设备700运行时，处理器701与存储器702之间通过总线703通信，使得处理器701在执行以下指令：
获取双目图像训练样本以及参考图像样本；其中，所述双目图像训练样本包括左目图像训练样本和右目图像训练样本；
基于所述参考图像样本，对所述双目图像训练样本进行色彩转换，得到转换后的目标双目图像训练样本，其中，所述目标双目图像训练样本的色彩与所述参考图像样本的色彩相匹配；
利用所述目标双目图像训练样本对双目立体匹配网络进行训练，得到训练后的双目立体匹配网络。
基于同一技术构思，本公开实施例还提供了另一种电子设备。参照图8所示，为本公开实施例提供的电子设备的结构示意图，包括处理器801、存储器802、和总线803。其中，存储器802用于存储执行指令，包括内存8021和外部存储器8022；这里的内存8021也称内存储器，用于暂时存放处理器801中的运算数据，以及与硬盘等外部存储器8022交换的数据，处理器801通过内存8021与外部存储器8022进行数据交换，当电子设备800运行时，处理器801与存储器802之间通过总线803通信，使得处理器801在执行以下指令：
获取待检测双目图像；
基于双目立体匹配网络对所述待检测双目图像进行目标检测，得到所述待检测双目图像对应的第一目标视差图，其中，所述双目立体匹配网络为基于上述实施例所述的双目立体匹配网络训练方法训练得到；
基于所述第一目标视差图对所述待检测双目图像进行处理，得到处理结果。
基于同一技术构思，本公开实施例还提供了另一种电子设备。参照图9所示，为本公开实施例提供的电子设备的结构示意图，包括处理器901、存储器902、和总线903。其中，存储器902用于存储执行指令，包括内存9021和外部存储器9022；这里的内存9021也称内存储器，用于暂时存放处理器901中的运算数据，以及与硬盘等外部存储器9022交换的数据，处理器901通过内存9021与外部存储器9022进行数据交换，当电子设备900运行时，处理器901与存储器902之间通过总线903通信，使得处理器901在执行以下指令：
获取行驶装置在行驶过程中采集的双目道路图像；
利用双目立体匹配网络对所述双目道路图像进行目标检测，确定所述双目道路图像对应的第二目标视差图；所述双目立体匹配网络采用上述实施例所述的双目立体匹配网络训练方法训练得到；
基于所述第二目标视差图，确定所述双目道路图像中包括的目标对象的三维位姿信息；
基于确定的所述目标对象的三维位姿信息，控制所述行驶装置。
此外，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的双目立体匹配网络训练方法的步骤。
本公开实施例所提供的双目立体匹配网络训练方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的双目立体匹配网络训练方法的步骤，具体可参见上述方法实施例，在此不再赘述。
此外，本公开实施例还提供另一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的行驶控制方法的步骤。
本公开实施例所提供的行驶控制方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的行驶控制方法的步骤，具体可参见上述方法实施例，在此不再赘述。
此外，本公开实施例还提供另一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的图像处理方法的步骤。
本公开实施例所提供的图像处理方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的图像处理方法的步骤，具体可参见上述方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。
Claims (15)
1.一种双目立体匹配网络训练方法，其特征在于，包括：
获取双目图像训练样本以及参考图像样本；其中，所述双目图像训练样本包括左目图像训练样本和右目图像训练样本；
基于所述参考图像样本，对所述双目图像训练样本进行色彩转换，得到转换后的目标双目图像训练样本，其中，所述目标双目图像训练样本的色彩与所述参考图像样本的色彩相匹配；
利用所述目标双目图像训练样本对双目立体匹配网络进行训练，得到训练后的双目立体匹配网络。
2.根据权利要求1所述的方法，其特征在于，所述基于所述参考图像样本，对所述双目图像训练样本进行色彩转换，得到转换后的目标双目图像训练样本，包括：
将所述参考图像样本和所述双目图像训练样本从RGB图像转换为LAB图像，得到中间参考图像样本以及中间双目图像训练样本；
基于所述中间参考图像样本以及所述中间双目图像训练样本，生成转换后的目标双目图像训练样本。
3.根据权利要求2所述的方法，其特征在于，基于所述中间参考图像样本以及所述中间双目图像训练样本，生成转换后的目标双目图像训练样本，包括：
确定所述中间参考图像样本对应的第一像素值均值和第一像素值方差，所述中间双目图像训练样本中的中间左目图像训练样本对应的第二像素值均值和第二像素值方差，以及中间右目图像训练样本对应的第二像素值均值和第二像素值方差；
基于所述第一像素值均值及所述第一像素值方差、所述中间左目图像训练样本对应的第二像素值均值及第二像素值方差、以及所述中间参考图像样本，生成目标左目图像训练样本；
基于所述第一像素值均值及所述第一像素值方差、所述中间右目图像训练样本对应的第二像素值均值及第二像素值方差、以及所述中间参考图像样本，生成目标右目图像训练样本；
其中，所述目标左目图像训练样本和所述目标右目图像训练样本构成了所述目标双目图像训练样本。
4.根据权利要求3所述的方法，其特征在于，采用以下步骤生成目标单目图像训练样本，所述目标单目图像训练样本为所述目标左目图像训练样本或者所述目标右目图像训练样本：
基于所述第一像素值均值，对所述中间参考图像样本中各个像素点的像素值进行调整，生成第一转换图像；
基于所述第一像素值方差以及中间单目图像训练样本对应的第二像素值方差，确定转换系数，并基于所述转换系数，对所述第一转换图像中各个像素点的像素值进行调整，生成第二转换图像；
基于所述中间单目图像训练样本对应的第二像素值均值，对所述第二转换图像中各个像素点的像素值进行调整，生成第三转换图像；
将所述第三转换图像转换为RGB图像，得到所述目标单目图像训练样本；其中，当所述目标单目图像训练样本为所述目标左目图像训练样本时，所述中间单目图像训练样本为所述中间左目图像训练样本；当所述目标单目图像训练样本为所述目标右目图像训练样本时，所述中间单目图像训练样本为所述中间右目图像训练样本。
5.根据权利要求1所述的方法，其特征在于，利用所述目标双目图像训练样本对所述双目立体匹配网络进行训练，包括：
分别对目标左目图像训练样本以及目标右目图像训练样本进行特征提取，生成左目特征图以及右目特征图；
分别对所述左目特征图以及所述右目特征图进行归一化处理，生成归一化处理后的目标左目特征图以及目标右目特征图；
基于所述目标左目特征图以及所述目标右目特征图，计算所述目标双目图像训练样本中所述目标左目图像训练样本与所述目标右目图像训练样本之间的匹配代价；
基于所述目标左目图像训练样本与所述目标右目图像训练样本之间的匹配代价，生成所述目标双目图像训练样本对应的预测视差图；
基于所述预测视差图以及所述双目图像训练样本对应的标注视差图，调整所述双目立体匹配网络的参数。
6.根据权利要求5所述的方法，其特征在于，分别对所述左目特征图以及所述右目特征图进行归一化处理，生成归一化处理后的目标左目特征图以及目标右目特征图，包括：
基于通道特征信息对所述左目特征图以及所述右目特征图进行第一归一化处理，生成中间左目特征图以及中间右目特征图；
基于位置特征信息对所述中间左目特征图以及所述中间右目特征图进行第二归一化处理，生成所述目标左目特征图以及所述目标右目特征图。
7.根据权利要求6所述的方法，其特征在于，基于通道特征信息对所述左目特征图以及所述右目特征图进行第一归一化处理，生成中间左目特征图以及中间右目特征图，包括：
针对所述左目特征图中的每个通道的特征图，基于该通道的特征图中每个特征点的特征值，确定该通道对应的特征调整值；并根据每个通道对应的特征调整值对该通道的特征图上的每个特征点的特征值进行调整，得到处理后的中间左目特征图；以及，
针对所述右目特征图中的每个通道的特征图，基于该通道的特征图中每个特征点的特征值，确定该通道对应的特征调整值；并根据每个通道对应的特征调整值对该通道的特征图上的每个特征点的特征值进行调整，得到处理后的中间右目特征图。
8.根据权利要求6所述的方法，其特征在于，基于位置特征信息对所述中间左目特征图以及所述中间右目特征图进行第二归一化处理，生成所述目标左目特征图以及所述目标右目特征图，包括：
基于所述中间左目特征图对应的各个通道的特征图中，对应同一位置的各个特征点的特征值，得到该位置对应的特征调整值；并根据每个位置对应的特征调整值对所述中间左目特征图对应的各个通道的特征图中，与该位置对应的特征点的特征值进行调整，得到处理后的目标左目特征图；
基于所述中间右目特征图对应的各个通道的特征图中，对应同一位置的各个特征点的特征值，得到该位置对应的特征调整值；并根据每个位置对应的特征调整值对所述中间右目特征图对应的各个通道的特征图中，与该位置对应的特征点的特征值进行调整，得到处理后的目标右目特征图。
9.一种图像处理方法，其特征在于，包括：
获取待检测双目图像；
基于双目立体匹配网络对所述待检测双目图像进行目标检测，得到所述待检测双目图像对应的第一目标视差图，其中，所述双目立体匹配网络为基于权利要求1至8任一项所述的双目立体匹配网络训练方法训练得到；
基于所述第一目标视差图对所述待检测双目图像进行处理，得到处理结果。
10.一种行驶控制方法，其特征在于，包括：
获取行驶装置在行驶过程中采集的双目道路图像；
利用双目立体匹配网络对所述双目道路图像进行目标检测，确定所述双目道路图像对应的第二目标视差图；所述双目立体匹配网络采用权利要求1至8任一项所述的双目立体匹配网络训练方法训练得到；
基于所述第二目标视差图，确定所述双目道路图像中包括的目标对象的三维位姿信息；
基于确定的所述目标对象的三维位姿信息，控制所述行驶装置。
11.一种双目立体匹配网络训练装置，其特征在于，包括：
样本获取模块，用于获取双目图像训练样本以及参考图像样本；其中，所述双目图像训练样本包括左目图像训练样本和右目图像训练样本；
色彩转换模块，用于基于所述参考图像样本，对所述双目图像训练样本进行色彩转换，得到转换后的目标双目图像训练样本，其中，所述目标双目图像训练样本的色彩与所述参考图像样本的色彩相匹配；
训练模块，用于利用所述目标双目图像训练样本对双目立体匹配网络进行训练，得到训练后的双目立体匹配网络。
12.一种图像处理装置，其特征在于，包括：
图像获取模块，用于获取待检测双目图像；
第一目标检测模块，用于基于双目立体匹配网络对所述待检测双目图像进行目标检测，得到所述待检测双目图像对应的第一目标视差图，其中，所述双目立体匹配网络为基于权利要求1至8任一项所述的双目立体匹配网络训练方法训练得到；
处理模块，用于基于所述第一目标视差图对所述待检测双目图像进行处理，得到处理结果。
13.一种行驶控制装置，其特征在于，包括：
道路图像获取模块，用于获取行驶装置在行驶过程中采集的双目道路图像；
第二目标检测模块，用于利用双目立体匹配网络对所述双目道路图像进行目标检测，确定所述双目道路图像对应的第二目标视差图；所述双目立体匹配网络采用权利要求1至8任一项所述的双目立体匹配网络训练方法训练得到；
三维位姿信息确定模块，用于基于所述第二目标视差图，确定所述双目道路图像中包括的目标对象的三维位姿信息；
控制模块，用于基于确定的所述目标对象的三维位姿信息，控制所述行驶装置。
14.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至8任一所述的双目立体匹配网络训练方法的步骤；或执行如权利要求9所述的图像处理方法的步骤；或执行如权利要求10所述的行驶控制方法的步骤。
15.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至8任一所述的双目立体匹配网络训练方法的步骤；或执行如权利要求9所述的图像处理方法的步骤；或执行如权利要求10所述的行驶控制方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010271351.1A CN111489385B (zh) | 2020-04-08 | 2020-04-08 | 双目立体匹配网络训练方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010271351.1A CN111489385B (zh) | 2020-04-08 | 2020-04-08 | 双目立体匹配网络训练方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111489385A true CN111489385A (zh) | 2020-08-04 |
| CN111489385B CN111489385B (zh) | 2021-12-07 |
Family
ID=71798146
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010271351.1A Active CN111489385B (zh) | 2020-04-08 | 2020-04-08 | 双目立体匹配网络训练方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111489385B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130215234A1 (en) * | 2012-02-16 | 2013-08-22 | Electronics And Telecommunications Research Institute | Method and apparatus for stereo matching |
| CN105956597A (zh) * | 2016-05-04 | 2016-09-21 | 浙江大学 | 一种基于卷积神经网络的双目立体匹配方法 |
| CN106887018A (zh) * | 2015-12-15 | 2017-06-23 | 株式会社理光 | 立体匹配方法、控制器和系统 |
| US20180150723A1 (en) * | 2016-11-29 | 2018-05-31 | Samsung Electronics Co., Ltd. | Method and apparatus for stereo matching |
| CN108257165A (zh) * | 2018-01-03 | 2018-07-06 | 上海兴芯微电子科技有限公司 | 图像立体匹配方法、双目视觉设备 |
| US20180211401A1 (en) * | 2017-01-26 | 2018-07-26 | Samsung Electronics Co., Ltd. | Stereo matching method and apparatus, image processing apparatus, and training method therefor |
| CN109274950A (zh) * | 2018-11-09 | 2019-01-25 | 北京旷视科技有限公司 | 图像处理方法、装置及电子设备 |
| CN109405824A (zh) * | 2018-09-05 | 2019-03-01 | 武汉契友科技股份有限公司 | 一种适用于智能网联汽车的多源感知定位系统 |
| CN109493373A (zh) * | 2018-11-07 | 2019-03-19 | 上海为森车载传感技术有限公司 | 一种基于双目立体视觉的立体匹配方法 |
| CN109544613A (zh) * | 2018-11-23 | 2019-03-29 | 南昌航空大学 | 一种基于稠密网络深度学习的双目立体匹配方法及系统 |
| CN109584290A (zh) * | 2018-12-03 | 2019-04-05 | 北京航空航天大学 | 一种基于卷积神经网络的立体图像匹配方法 |
| CN110473247A (zh) * | 2019-07-30 | 2019-11-19 | 中国科学院空间应用工程与技术中心 | 立体匹配方法、装置及存储介质 |
| CN110533712A (zh) * | 2019-08-26 | 2019-12-03 | 北京工业大学 | 一种基于卷积神经网络的双目立体匹配方法 |
-
2020
- 2020-04-08 CN CN202010271351.1A patent/CN111489385B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130215234A1 (en) * | 2012-02-16 | 2013-08-22 | Electronics And Telecommunications Research Institute | Method and apparatus for stereo matching |
| CN106887018A (zh) * | 2015-12-15 | 2017-06-23 | 株式会社理光 | 立体匹配方法、控制器和系统 |
| CN105956597A (zh) * | 2016-05-04 | 2016-09-21 | 浙江大学 | 一种基于卷积神经网络的双目立体匹配方法 |
| US20180150723A1 (en) * | 2016-11-29 | 2018-05-31 | Samsung Electronics Co., Ltd. | Method and apparatus for stereo matching |
| CN108364310A (zh) * | 2017-01-26 | 2018-08-03 | 三星电子株式会社 | 立体匹配方法和设备、图像处理设备及其训练方法 |
| US20180211401A1 (en) * | 2017-01-26 | 2018-07-26 | Samsung Electronics Co., Ltd. | Stereo matching method and apparatus, image processing apparatus, and training method therefor |
| CN108257165A (zh) * | 2018-01-03 | 2018-07-06 | 上海兴芯微电子科技有限公司 | 图像立体匹配方法、双目视觉设备 |
| CN109405824A (zh) * | 2018-09-05 | 2019-03-01 | 武汉契友科技股份有限公司 | 一种适用于智能网联汽车的多源感知定位系统 |
| CN109493373A (zh) * | 2018-11-07 | 2019-03-19 | 上海为森车载传感技术有限公司 | 一种基于双目立体视觉的立体匹配方法 |
| CN109274950A (zh) * | 2018-11-09 | 2019-01-25 | 北京旷视科技有限公司 | 图像处理方法、装置及电子设备 |
| CN109544613A (zh) * | 2018-11-23 | 2019-03-29 | 南昌航空大学 | 一种基于稠密网络深度学习的双目立体匹配方法及系统 |
| CN109584290A (zh) * | 2018-12-03 | 2019-04-05 | 北京航空航天大学 | 一种基于卷积神经网络的立体图像匹配方法 |
| CN110473247A (zh) * | 2019-07-30 | 2019-11-19 | 中国科学院空间应用工程与技术中心 | 立体匹配方法、装置及存储介质 |
| CN110533712A (zh) * | 2019-08-26 | 2019-12-03 | 北京工业大学 | 一种基于卷积神经网络的双目立体匹配方法 |
Non-Patent Citations (3)
| Title |
|---|
| E. REINHARD等: "Color transfer between images", 《IEEE COMPUTER GRAPHICS AND APPLICATIONS》 * |
| XIAO SONG 等: "EdgeStereo：An Efficient Multi-task Learning Network for Stereo Matching and Edge Detection", 《INTERNATIONAL JOURNAL OF COMPUTER VISION》 * |
| 王玉锋等: "基于三维卷积神经网络的立体匹配算法", 《光学学报》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111489385B (zh) | 2021-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108961327B (zh) | 一种单目深度估计方法及其装置、设备和存储介质 | |
| Huang et al. | Indoor depth completion with boundary consistency and self-attention | |
| CN104598915B (zh) | 一种手势识别方法与装置 | |
| CN110634161B (zh) | 一种基于点云数据的工件位姿快速高精度估算方法及装置 | |
| CN111161349B (zh) | 物体姿态估计方法、装置与设备 | |
| CN105300401B (zh) | 电子装置及其控制方法 | |
| CN110889464B (zh) | 检测目标对象的神经网络训练、目标对象的检测方法及装置 | |
| CN109034017A (zh) | 头部姿态估计方法及机器可读存储介质 | |
| CN111462096A (zh) | 三维目标检测方法及装置 | |
| CN104899563A (zh) | 一种二维人脸关键特征点定位方法及系统 | |
| CN103632153B (zh) | 一种基于区域的图像显著图提取方法 | |
| CN110945537B (zh) | 训练装置、识别装置、训练方法、识别方法和程序 | |
| CN113011364B (zh) | 神经网络训练、目标对象检测、行驶控制方法及装置 | |
| CN111539484A (zh) | 训练神经网络的方法及装置 | |
| US11941892B2 (en) | Method and device for providing data for creating a digital map | |
| CN111382870A (zh) | 训练神经网络的方法以及装置 | |
| CN105678318A (zh) | 交通标牌的匹配方法及装置 | |
| CN109115232B (zh) | 导航的方法和装置 | |
| CN112926461A (zh) | 神经网络训练、行驶控制方法及装置 | |
| CN113592015B (zh) | 定位以及训练特征匹配网络的方法和装置 | |
| CN109523570B (zh) | 运动参数计算方法及装置 | |
| CN111489385B (zh) | 双目立体匹配网络训练方法及装置 | |
| CN110514140B (zh) | 一种三维成像方法、装置、设备以及存储介质 | |
| CN112613460A (zh) | 人脸生成模型的建立方法和人脸生成方法 | |
| JP2021063703A (ja) | タイヤ摩耗度推定装置、タイヤ摩耗度学習装置、タイヤ摩耗度推定方法、学習済モデルの生成方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |