CN111753961B - 模型训练方法和装置、预测方法和装置 - Google Patents

模型训练方法和装置、预测方法和装置 Download PDF

Info

Publication number
CN111753961B
CN111753961B CN202010593221.XA CN202010593221A CN111753961B CN 111753961 B CN111753961 B CN 111753961B CN 202010593221 A CN202010593221 A CN 202010593221A CN 111753961 B CN111753961 B CN 111753961B
Authority
CN
China
Prior art keywords
image
depth information
sample image
sample
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010593221.XA
Other languages
English (en)
Other versions
CN111753961A (zh
Inventor
宋希彬
周定富
方进
张良俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010593221.XA priority Critical patent/CN111753961B/zh
Publication of CN111753961A publication Critical patent/CN111753961A/zh
Priority to US17/112,247 priority patent/US11841921B2/en
Priority to GB2019743.0A priority patent/GB2596370B/en
Priority to FR2013370A priority patent/FR3112007A1/fr
Application granted granted Critical
Publication of CN111753961B publication Critical patent/CN111753961B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了模型训练方法和装置、预测方法和装置，涉及人工智能、深度学习、图像处理、自动驾驶领域。具体方案为：将样本图像中第一样本图像输入深度信息预测模型，得到第一样本图像的深度信息；基于样本图像中第二样本图像以及第一样本图像，得到图像间姿态信息；至少根据图像间姿态信息和深度信息，得到第一样本图像对应的投影图像；确定计算第二样本图像与投影图像的相似度的函数，得到损失函数，利用损失函数训练深度信息预测模型。

Description

模型训练方法和装置、预测方法和装置
技术领域
本申请涉及计算机技术领域，尤其涉及人工智能、深度学习、图像处理、自动驾驶领域。
背景技术
现有基于监督的深度信息估计的方案，以彩色图像作为输入，通过机器学习，如卷积神经网络等方式，估计彩色图像的深度信息。该方案在训练过程中，通过激光雷达或其它深度传感器采集真实的深度信息来作为监督信号，但高精度且密集的深度信息往往难以获得，导致训练受限。
发明内容
本申请提供了一种模型训练方法和装置、预测方法和装置。
第一方面，本申请提供了一种模型训练方法，包括：
将样本图像中第一样本图像输入深度信息预测模型，得到第一样本图像的深度信息；
基于样本图像中第二样本图像以及第一样本图像，得到图像间姿态信息；
至少根据图像间姿态信息和深度信息，得到第一样本图像对应的投影图像；
确定计算第二样本图像与投影图像的相似度的函数，得到损失函数，利用损失函数训练深度信息预测模型。
第二方面，本申请提供了一种预测方法，包括：
获取待预测图像；
将待预测图像输入深度信息预测模型，得到深度信息预测模型输出的待预测图像的深度信息；
其中，深度信息预测模型采用本申请所提供的模型训练方法训练所得。
第三方面，本申请提供了一种模型训练装置，包括：
将样本图像中第一样本图像输入深度信息预测模型，得到第一样本图像的深度信息；
基于样本图像中第二样本图像以及第一样本图像，得到图像间姿态信息；
至少根据图像间姿态信息和深度信息，得到第一样本图像对应的投影图像；
确定计算第二样本图像与投影图像的相似度的函数，得到损失函数，利用损失函数训练深度信息预测模型。
第四方面，本申请提供了一种预测装置，包括：
待预测图像获取模块，用于获取待预测图像；
预测模块，用于将待预测图像输入深度信息预测模型，得到深度信息预测模型输出的待预测图像的深度信息；
其中，深度信息预测模型采用本申请所提供的模型训练装置训练所得。
第五方面，提供了一种电子设备，包括：
至少一个处理器；以及
与至少一个处理器通信连接的存储器；其中，
存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上的方法。
第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如上的方法。
第七方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上所述的方法。
根据本申请的技术解决了现有通过激光雷达或其它深度传感器采集真实的深度信息来作为监督信号，导致深度信息预测模型训练受限的问题。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请实施例提供的模型训练方法的流程图一；
图2是根据本申请实施例提供的模型训练方法的流程图二；
图3是根据本申请实施例提供的模型训练方法的流程图三；
图4是根据本申请实施例提供的模型训练方法的流程图四；
图5是根据本申请实施例提供的模型训练方法的流程图五；
图6是根据本申请实施例提供的深度信息预测模型的示例图；
图7是根据本申请实施例提供的模型训练方法的流程图六；
图8是根据本申请实施例提供的预测方法的流程图；
图9是根据本申请实施例提供的模型训练装置的结构图；
图10是根据本申请实施例提供的预测装置的结构图；
图11是用来实现本申请实施例的模型训练方法或预测方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本申请实施例提供一种模型训练方法，可应用于自动驾驶系统中，如自动驾驶汽车和无人驾驶挖掘机，还可应用于增强现实(Augmented Reality，AR)和虚拟现实技术(Virtual Reality，VR)。参见图1，该方法包括：
S101、将样本图像中第一样本图像输入深度信息预测模型，得到第一样本图像的深度信息；
S102、基于样本图像中第二样本图像以及第一样本图像，得到图像间姿态信息；
S103、至少根据图像间姿态信息和深度信息，得到第一样本图像对应的投影图像；
S104、确定计算第二样本图像与投影图像的相似度的函数，得到损失函数，利用损失函数训练深度信息预测模型。
可见，本申请以图像为输入，可以以自监督的方式有效估计图像对应的深度信息，不需要通过激光雷达或其它深度传感器采集的高精度深度信息的支持，限制较少。
在一示例中，本申请以彩色图像作为输入进行自监督的深度信息估计，整个方法可分为两部分，包括：图像间姿态信息估计以及图像深度信息估计。例如给定两帧图像It和It+1，通过获得的图像间姿态信息Pt以及图像It对应的深度信息Dt，可以将图像It投影至It+1的视角下产生虚拟的图像It’，如果图像间姿态信息Pt及深度信息Dt估计足够准确，则图像It’与图像It+1会足够接近，因此确定计算图像It’与图像It+1的相似度的函数，得到损失函数loss(It+1,It’)，利用损失函数训练深度信息预测模型。可选地，步骤S101中，样本图像可以为视频帧，例如，第一样本图像和第二样本图像为相隔预设帧的两帧视频帧。或者，第一样本图像和第二样本图像为连续两帧视频图像(如It,和It+1)。除此之外，也可以采用其它方式选取第一样本图像和第二样本图像，使得第一样本图像和第二样本图像的内容相似即可。例如，样本图像包括两个拍摄设备(如双目相机)拍摄同一方位得到的多帧图像，第一样本图像和第二样本图像为两个拍摄设备在同一时刻拍摄的图像。
可选地，样本图像为彩色图像。
在一种实施方式中，参见图2，步骤S101中，得到第一样本图像的深度信息，包括：
S201、对第一样本图像进行尺寸处理，得到与第一样本图像的尺寸不同的第一图像；
可选地，存在多个第一图像，每个第一图像的尺寸不同。
可选地，对第一样本图像进行的尺寸处理可以为对第一样本图像进行降采样操作。例如，对于一幅图像尺寸为M×N，对其进行s倍的降采样操作后，可以得到(M/s)×(N/s)尺寸的图像。
S202、对第一图像进行特征提取，得到图像特征；
S203、根据图像特征，确定第一样本图像的深度信息。
可选地，当包含多个第一图像时，对于每个第一图像均进行特征提取最后结合多个第一图像的图像特征，确定第一样本图像的深度信息。
这样处理的好处是，对第一样本图像进行尺寸处理，以获取不同尺寸的第一图像，有利于获取不同尺寸下的图像的特征信息，从而可以提取更全面的信息，既有全局的整体信息，又有局部的详细信息。
在一种实施方式中，参加图3，步骤S101得到第一样本图像的深度信息，包括：
S301、利用深度信息预测模型的卷积层对第一样本图像进行特征提取，得到卷积特征；
可选地，深度信息预测模型中包括一特征提取网络，特征提取网络包括多层卷积层，不同层的卷积层提取的特征大小不同。利用特征提取网络直接对第一样本图像进行特征提取，从而获取各层卷积层提取的卷积特征，得到多层卷积层的卷积特征；
S302、根据卷积特征，确定第一样本图像的深度信息。
可选地，当获取到多层卷积层的卷积特征，可以结合多层卷积层的卷积特征，确定第一样本图像的深度信息。
这样处理的好处是，从各层卷积层获取提取的第一样本图像的特征，从而可以提取更全面的特征信息，既有全局的整体信息，又有局部的详细信息。
在一种实施方式中，参见图4，步骤S101中，得到第一样本图像的深度信息，包括：
S401、获取第一样本图像的图像特征和卷积特征，图像特征是对第一图像进行特征提取后得到的，第一图像为与第一样本图像的尺度不同的图像，卷积特征是利用深度信息预测模型中卷积层对第一样本图像进行特征提取后得到的；
S402、根据图像特征和卷积特征，确定第一样本图像的深度信息。
可选地，将图像特征和卷积特征进行连接(concat)，根据连接后的特征确定第一样本图像的深度信息；
举例来说，若存在多个尺寸的第一图像的图像特征和多层卷积层得到的卷积特征，步骤S402可以包括：
(1)将同一特征大小的图像特征和卷积特征进行连接，得到连接后的多尺度特征；
(2)基于连接后的多尺度特征确定中间深度信息；
(3)基于中间深度信息，确定第一样本图像的深度信息。
上述实施方式结合不同尺寸的第一图像所确定的图像特征和不同卷积层所提取的卷积特征，得到新的表达能力更强的特征信息，进而有利于得到更高精度的深度信息。
可选地，步骤S402中的(2)可以采用图像重建技术来得到中间深度信息。具体的，对连接后的多尺度特征进行多层卷积操作和激活函数(比如sigmoid)操作，获得连接后的多尺度特征对应的多个深度图像D＝{D1，…，Dn}。同理，步骤S203和步骤S302基于图像特征或卷积特征得到深度信息的方式可以参考此处实施方式。
可选地，在获取连接后的多尺度特征之后，对连接后的多尺度特征进行通道增强处理，得到增强处理后的多尺度特征。通过通道增强，可以有效增强获取的多尺度特征中的有效信息。
参考图5，给定一个特征F(c×w×h)，其中，c表示特征的通道数，w和h分别表示特征的宽和高，通道增强的过程如下：
(1)对特征F进行卷积(conv)操作和reshape函数操作，获得特征Q(c×(h×w))和特征H((h×w)×c)；
(2)通过将特征Q(c×(h×w))和特征H((h×w)×c)进行矩阵乘法操作后获得矩阵M(c×c)，然后对矩阵M(c×c)进行逻辑回归softmax操作获得矩阵M’(c×c)。
(3)通过对特征F进行卷积操作获得新的特征F’(c×h×w)；
(4)通过M’(c×c)作为权重和特征F’(c×h×w)进行矩阵乘法操作，获得增强后的特征Fh(c×h×w)；通过特征Fh与特征F’进行像素级加法，获得最终的增强后的特征Fo。
参见图6，图6为深度信息预测模型的一种示例图。
第一步，对第一样本图像进行降采样操作，得到多个尺寸的第一图像，如第一图像A、第一图像B和第一图像C。对每一第一图像均进行特征提取，得到图像特征。
另外，将第一样本图像直接输入深度信息预测模型中的特征提取网络，特征提取网络包括多层卷积层，如图示的卷积层C1、卷积层C2和卷积层C3。从各层卷积层中获取特征，得到卷积特征。
将同一特征大小的图像特征和卷积特征进行连接(concat)，得到连接后的多尺度特征。
第二步，在获取连接后的多尺度特征之后，对连接后的多尺度特征进行通道增强处理，得到增强处理后的多尺度特征。通过通道增强，可以有效增强获取的多尺度特征中的有效信息。
第三步，在获得通道增强后的多尺度特征后，对增强后的多尺度特征进行图像重建，得到多个深度图像D＝{D1，…，Dn}。
第四步，根据多个深度图像D＝{D1，…，Dn}，确定最后输出的深度信息。
在一种实施方式中，步骤S102基于样本图像中第二样本图像以及第一样本图像，得到图像间姿态信息，包括：
(1)对第二样本图像和第一样本图像进行特征提取；
(2)对提取的第二样本图像和第一样本图像的特征进行回归处理，得到图像间姿态信息。可选地，图像间姿态信息Pt包括多个旋转参数和多个平移参数，例如建立空间直角坐标系xyz，那么对应可以得到3个旋转参数和3个平移参数。
这样处理的好处是，通过对图像进行特征提取以及对提取的特征回归处理的方式，来确定图像间姿态信息，计算结果更加准确。
图7为实现步骤S102的一种流程示例图。参考图7，第一样本图像和第二样本图像(如It,和It+1)输入卷积神经网络backbone，通过backbone进行特征提取，使用全连接网络对提取的特征进行回归处理，得到最终的帧间姿态结果Pt。此处的backbone可以是目前常用的特征提取网络，如resnet18或resnet50等。
在一种实施方式中，步骤S103至少根据图像间姿态信息和深度信息，得到第一样本图像对应的投影图像，包括：
(1)获取第一样本图像对应的第一采集参数以及第二样本图像对应的第二采集参数；
(2)根据第一样本图像的深度信息和第一采集参数，确定第一样本图像的第一点云数据；
其中，点云数据指的是在某一坐标系下的点的数据集。每一个点可以包含了多种信息，例如三维坐标、颜色、分类值、强度值和时间等等。
(3)根据图像间姿态信息，将第一点云数据转换为第二点云数据；
(4)根据第二采集参数对第二点云数据进行投影，得到投影图像。
具体的，假设第一样本图像It对应的第一采集参数为Kt，第二样本图像It+1对应的第二采集参数为Kt+1，Kt与Kt+1为矩阵。根据It对应的深度信息Dt，得到第一点云数据为Pdt＝Kt -1×Dt。根据图像间姿态信息Pt可将第一点云数据Pdt转换到第二样本图像It+1对应的视角下的第二点云数据Pdt+1：Pdt+1＝Pt×Pdt。最后，根据第二采集参数Kt+1投影获得投影图像It’：It’＝Kt+1×Pdt+1。
这样处理的好处是，通过上述步骤，利用图像采集时的采集参数、图像间姿态信息和深度信息，则可得到第一样本图像在第二样本图像视角下的投影图像，利用该投影图像和第二样本图像的相似度则可验证深度信息的准确性。该方法计算简单且容易实现，无需其它硬件来采集信息，大大降低成本。
在一种实施方式中，步骤S104所确定的损失函数可以为第二样本图像和投影图像之间的结构相似度(Structural SIMilarity，SSIM)，SSIM是一种衡量两幅图像相似度的指标。
下述为损失函数的一种示例：
loss(It+1，I′t)＝SSIM(It+1，I′t)
在其它实施方式中，也可以采用其它计算相似度的方式，例如余弦相似度、基于直方图、基于互信息或基于图像指纹信息等相似度计算方法。
在另一种实施方式中，针对步骤S402中的(2)可以获得与多尺度特征对应的多个深度图像D＝{D1，…，Dn}的情况，对应的，步骤S102可以根据图像间姿态信息和多个深度图像，得到第一样本图像对应的多个投影图像。
步骤S104中确定的损失函数还可以包括：计算第二样本图像分别和多个深度图像的相似度，以及对多个相似度进行加权求和，相似度与深度图像的尺寸正相关。损失函数的示例如下：
其中，相似度的权重Wi＝1/2k，其中，k与深度图像的尺寸相关，例如可以用获得当前深度图像时的下采样倍数来确定k的值。
对应的，参见图8，本申请实施例提供一种预测方法，该方法包括：
S801、获取待预测图像；
S802、将待预测图像输入深度信息预测模型，得到深度信息预测模型输出的待预测图像的深度信息；
其中，深度信息预测模型采用本申请实施例所提供的模型训练方法训练所得。另外，深度信息预测模型的具体实现方式也可以参考上述实施，此处不再赘述。
对应的，参见图9，本申请实施例提供一种模型训练装置900，包括：
深度信息获得模块901，用于将样本图像中第一样本图像输入深度信息预测模型，得到第一样本图像的深度信息；
图像间姿态信息获得模块902，用于基于样本图像中第二样本图像以及第一样本图像，得到图像间姿态信息；
投影图像获得模块903，用于至少根据图像间姿态信息和深度信息，得到第一样本图像对应的投影图像；
损失函数获得模块904，用于确定计算第二样本图像与投影图像的相似度的函数，得到损失函数，利用损失函数训练深度信息预测模型。
在一种实施方式中，深度信息获得模块901，包括：
图像尺寸处理子模块，用于对第一样本图像进行尺寸处理，得到与第一样本图像的尺寸不同的第一图像；
图像特征获得子模块，用于对第一图像进行特征提取，得到图像特征；
第一深度信息获得子模块，用于根据图像特征，确定第一样本图像的深度信息。
在一种实施方式中，深度信息获得模块901，包括：
卷积特征获得子模块，用于利用深度信息预测模型中的卷积层对第一样本图像进行特征提取，得到卷积特征；
第二深度信息获得子模块，用于根据卷积特征，确定第一样本图像的深度信息。
在一种实施方式中，深度信息获得模块901，包括：
特征获得子模块，用于获取第一样本图像的图像特征和卷积特征，图像特征是对第一图像进行特征提取后得到的，第一图像为与第一样本图像的尺寸不同的图像，卷积特征是利用深度信息预测模型中卷积层对第一样本图像进行特征提取后得到的；
第三深度信息获得子模块，用于根据图像特征和卷积特征，确定第一样本图像的深度信息。
在一种实施方式中，图像间姿态信息获得模块902，包括：
特征提取子模块，用于对第二样本图像和第一样本图像进行特征提取；
图像间姿态信息子模块，用于对提取得到的第二样本图像和第一样本图像的特征进行回归处理，得到图像间姿态信息。
在一种实施方式中，投影图像获得模块903，包括：
采集参数获取子模块，用于获取第一样本图像对应的第一采集参数以及第二样本图像对应的第二采集参数；
第一点云数据获取子模块，用于根据第一样本图像的深度信息和第一采集参数，确定第一样本图像的第一点云数据；
第二点云数据获取子模块，用于根据图像间姿态信息，将第一点云数据转换为第二点云数据；
投影子模块，用于根据第二采集参数对第二点云数据进行投影，得到投影图像。
对应的，参见图10，本申请实施例还提供一种预测装置1000，包括：
待预测图像获取模块1001，用于获取待预测图像；
预测模块1002，用于将待预测图像输入深度信息预测模型，得到深度信息预测模型输出的待预测图像的深度信息；
其中，深度信息预测模型采用本申请实施例提供的模型训练装置训练所得。
根据本申请的实施例，本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
如图11所示，是根据本申请实施例的模型训练方法或预测方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图11所示，该电子设备包括：一个或多个处理器1101、存储器1102，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图11中以一个处理器1101为例。
存储器1102即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的模型训练方法或预测方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的模型训练方法或预测方法。
存储器1102作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的模型训练方法对应的程序指令/模块(例如，附图9所示的深度信息获得模块901、图像间姿态信息获得模块902、投影图像获得模块903和损失函数获得模块904)。处理器1101通过运行存储在存储器1102中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的模型训练方法。
存储器1102可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据模型训练电子设备的使用所创建的数据等。此外，存储器1102可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器1102可选包括相对于处理器1101远程设置的存储器，这些远程存储器可以通过网络连接至模型训练电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
模型训练方法或预测方法的电子设备还可以包括：输入装置1103和输出装置1104。处理器1101、存储器1102、输入装置1103和输出装置1104可以通过总线或者其他方式连接，图11中以通过总线连接为例。
输入装置1103可接收输入的数字或字符信息，以及产生与模型训练电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置1104可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与虚拟专用服务器(VPS)服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (17)

1.一种模型训练方法，包括：
将样本图像中第一样本图像输入深度信息预测模型，得到所述第一样本图像的深度信息；
基于所述样本图像中第二样本图像以及所述第一样本图像，得到图像间姿态信息；
至少根据所述图像间姿态信息和所述深度信息，得到所述第一样本图像对应的投影图像；
确定计算所述第二样本图像与所述投影图像的相似度的函数，得到损失函数，利用所述损失函数训练所述深度信息预测模型；
所述得到所述第一样本图像的深度信息，包括：
将同一特征大小的图像特征和卷积特征进行连接，得到连接后的多尺度特征；所述图像特征是对第一图像进行特征提取后得到的，所述第一图像为与所述第一样本图像的尺寸不同的图像，所述卷积特征是将所述第一样本图像输入至所述深度信息预测模型得到的特征；
基于所述连接后的多尺度特征确定中间深度信息；
基于所述中间深度信息，确定所述第一样本图像的深度信息；
所述至少根据所述图像间姿态信息和所述深度信息，得到所述第一样本图像对应的投影图像，包括：
根据所述图像间姿态信息，将第一点云数据转换为第二点云数据；所述第一点云数据为所述第一样本图像的点云数据；
根据所述第二样本图像的第二采集参数对所述第二点云数据进行投影，得到所述投影图像。
2.根据权利要求1所述的方法，其中，所述得到所述第一样本图像的深度信息，包括：
对第一样本图像进行尺寸处理，得到与第一样本图像的尺寸不同的第一图像；
对所述第一图像进行特征提取，得到图像特征；
根据所述图像特征，确定所述第一样本图像的深度信息。
3.根据权利要求1或2所述的方法，其中，所述得到所述第一样本图像的深度信息，包括：
利用所述深度信息预测模型中的卷积层对第一样本图像进行特征提取，得到卷积特征；
根据所述卷积特征，确定所述第一样本图像的深度信息。
4.根据权利要求1所述的方法，其中，所述得到所述第一样本图像的深度信息，包括：
获取所述第一样本图像的图像特征和卷积特征，所述图像特征是对第一图像进行特征提取后得到的，所述第一图像为与所述第一样本图像的尺寸不同的图像，所述卷积特征是利用所述深度信息预测模型中卷积层对所述第一样本图像进行特征提取后得到的；
根据所述图像特征和所述卷积特征，确定所述第一样本图像的深度信息。
5.根据权利要求1或4所述的方法，其中，所述基于所述样本图像中第二样本图像以及所述第一样本图像，得到图像间姿态信息，包括：
对所述第二样本图像和所述第一样本图像进行特征提取；
对提取得到的所述第二样本图像和所述第一样本图像的特征进行回归处理，得到图像间姿态信息。
6.根据权利要求1或4所述的方法，其中，
所述至少根据所述图像间姿态信息和所述深度信息，得到所述第一样本图像对应的投影图像，包括：
获取所述第一样本图像对应的第一采集参数以及所述第二样本图像对应的第二采集参数；
根据所述第一样本图像的深度信息和所述第一采集参数，确定所述第一样本图像的第一点云数据；
根据所述图像间姿态信息，将所述第一点云数据转换为第二点云数据；
根据所述第二采集参数对所述第二点云数据进行投影，得到所述投影图像。
7.一种预测方法，包括：
获取待预测图像；
将所述待预测图像输入深度信息预测模型，得到所述深度信息预测模型输出的所述待预测图像的深度信息；
其中，所述深度信息预测模型采用权利要求1-6任一项所述的模型训练方法训练所得。
8.一种模型训练装置，包括：
深度信息获得模块，用于将样本图像中第一样本图像输入深度信息预测模型，得到所述第一样本图像的深度信息；
图像间姿态信息获得模块，用于基于所述样本图像中第二样本图像以及所述第一样本图像，得到图像间姿态信息；
投影图像获得模块，用于至少根据所述图像间姿态信息和所述深度信息，得到所述第一样本图像对应的投影图像；
损失函数获得模块，用于确定计算所述第二样本图像与所述投影图像的相似度的函数，得到损失函数，利用所述损失函数训练所述深度信息预测模型；
所述深度信息获得模块，包括：
第三深度信息获得子模块，用于根据图像特征和卷积特征，确定所述第一样本图像的深度信息；所述图像特征是对第一图像进行特征提取后得到的，所述第一图像为与所述第一样本图像的尺寸不同的图像，所述卷积特征是将所述第一样本图像输入至所述深度信息预测模型得到的特征；
所述第三深度信息获得子模块，具体用于将同一特征大小的所述图像特征和所述卷积特征进行连接，得到连接后的多尺度特征；
基于所述连接后的多尺度特征确定中间深度信息；
基于所述中间深度信息，确定所述第一样本图像的深度信息；
所述投影图像获得模块，包括：
第二点云数据获取子模块，用于根据所述图像间姿态信息，将第一点云数据转换为第二点云数据；所述第一点云数据为所述第一样本图像的点云数据；
投影子模块，用于根据所述第二样本图像的第二采集参数对所述第二点云数据进行投影，得到所述投影图像。
9.根据权利要求8所述的装置，其中，所述深度信息获得模块，包括：
图像尺寸处理子模块，用于对第一样本图像进行尺寸处理，得到与第一样本图像的尺寸不同的第一图像；
图像特征获得子模块，用于对所述第一图像进行特征提取，得到图像特征；
第一深度信息获得子模块，用于根据所述图像特征，确定所述第一样本图像的深度信息。
10.根据权利要求8或9所述的装置，其中，所述深度信息获得模块，包括：
卷积特征获得子模块，用于利用所述深度信息预测模型中的卷积层对第一样本图像进行特征提取，得到卷积特征；
第二深度信息获得子模块，用于根据所述卷积特征，确定所述第一样本图像的深度信息。
11.根据权利要求8所述的装置，其中，所述深度信息获得模块，包括：
特征获得子模块，用于获取所述第一样本图像的图像特征和卷积特征，所述图像特征是对第一图像进行特征提取后得到的，所述第一图像为与所述第一样本图像的尺寸不同的图像，所述卷积特征是利用所述深度信息预测模型中卷积层对所述第一样本图像进行特征提取后得到的；
第三深度信息获得子模块，用于根据所述图像特征和所述卷积特征，确定所述第一样本图像的深度信息。
12.根据权利要求8或11所述的装置，其中，所述图像间姿态信息获得模块，包括：
特征提取子模块，用于对所述第二样本图像和所述第一样本图像进行特征提取；
图像间姿态信息子模块，用于对提取得到的所述第二样本图像和所述第一样本图像的特征进行回归处理，得到图像间姿态信息。
13.根据权利要求8或11所述的装置，其中，
所述投影图像获得模块，包括：
采集参数获取子模块，用于获取所述第一样本图像对应的第一采集参数以及所述第二样本图像对应的第二采集参数；
第一点云数据获取子模块，用于根据所述第一样本图像的深度信息和所述第一采集参数，确定所述第一样本图像的第一点云数据；
第二点云数据获取子模块，用于根据所述图像间姿态信息，将所述第一点云数据转换为第二点云数据；
投影子模块，用于根据所述第二采集参数对所述第二点云数据进行投影，得到所述投影图像。
14.一种预测装置，包括：
待预测图像获取模块，用于获取待预测图像；
预测模块，用于将所述待预测图像输入深度信息预测模型，得到所述深度信息预测模型输出的所述待预测图像的深度信息；
其中，所述深度信息预测模型采用权利要求9-13任一项所述的模型训练装置训练所得。
15.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的方法。
17.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述的方法。
CN202010593221.XA 2020-06-26 2020-06-26 模型训练方法和装置、预测方法和装置 Active CN111753961B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010593221.XA CN111753961B (zh) 2020-06-26 2020-06-26 模型训练方法和装置、预测方法和装置
US17/112,247 US11841921B2 (en) 2020-06-26 2020-12-04 Model training method and apparatus, and prediction method and apparatus
GB2019743.0A GB2596370B (en) 2020-06-26 2020-12-15 Model training method and apparatus, and prediction method and apparatus
FR2013370A FR3112007A1 (fr) 2020-06-26 2020-12-16 Procédé et appareil d’entraînement de modèle, et procédé et appareil de prédiction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010593221.XA CN111753961B (zh) 2020-06-26 2020-06-26 模型训练方法和装置、预测方法和装置

Publications (2)

Publication Number Publication Date
CN111753961A CN111753961A (zh) 2020-10-09
CN111753961B true CN111753961B (zh) 2023-07-28

Family

ID=72677258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010593221.XA Active CN111753961B (zh) 2020-06-26 2020-06-26 模型训练方法和装置、预测方法和装置

Country Status (4)

Country Link
US (1) US11841921B2 (zh)
CN (1) CN111753961B (zh)
FR (1) FR3112007A1 (zh)
GB (1) GB2596370B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4209006A4 (en) * 2020-11-11 2023-10-18 Huawei Technologies Co., Ltd. APPARATUS AND METHOD FOR VERIFYING ESTIMATED DEPTH INFORMATION
CN112634343A (zh) * 2020-12-23 2021-04-09 北京百度网讯科技有限公司 图像深度估计模型的训练方法、图像深度信息的处理方法
CN112651453B (zh) * 2020-12-30 2023-10-13 北京百度网讯科技有限公司 损失函数的自适应方法、装置、设备和存储介质
CN112927319B (zh) * 2021-02-25 2023-10-03 北京百度网讯科技有限公司 模型训练方法、图像处理方法、装置、设备及存储介质
CN112862006B (zh) * 2021-03-25 2024-02-06 北京百度网讯科技有限公司 图像深度信息获取模型的训练方法、装置及电子设备
CN112991415B (zh) * 2021-04-13 2024-05-03 Oppo广东移动通信有限公司 深度信息确定方法、装置、电子设备和存储介质
CN113901901A (zh) * 2021-09-29 2022-01-07 北京百度网讯科技有限公司 图像处理模型的训练方法、装置、电子设备和介质
CN113962319A (zh) * 2021-10-29 2022-01-21 北京京东振世信息技术有限公司 用于训练预测模型和预测数据的方法和装置
CN114332028A (zh) * 2021-12-30 2022-04-12 小荷医疗器械(海南)有限公司 内窥镜图像的处理方法、装置、可读介质和电子设备
CN114596637B (zh) * 2022-03-23 2024-02-06 北京百度网讯科技有限公司 图像样本数据增强训练方法、装置及电子设备
CN114758076A (zh) * 2022-04-22 2022-07-15 北京百度网讯科技有限公司 一种用于建立三维模型的深度学习模型的训练方法及装置
CN115457036B (zh) * 2022-11-10 2023-04-25 中国平安财产保险股份有限公司 检测模型训练方法、智能点数方法和相关设备
CN115674262A (zh) * 2022-11-14 2023-02-03 网易（杭州）网络有限公司 挖掘机控制方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107578436A (zh) * 2017-08-02 2018-01-12 南京邮电大学 一种基于全卷积神经网络fcn的单目图像深度估计方法
CN109377530A (zh) * 2018-11-30 2019-02-22 天津大学 一种基于深度神经网络的双目深度估计方法
CN109461180A (zh) * 2018-09-25 2019-03-12 北京理工大学 一种基于深度学习的三维场景重建方法
WO2019099684A1 (en) * 2017-11-15 2019-05-23 Google Llc Unsupervised learning of image depth and ego-motion prediction neural networks
WO2019128646A1 (zh) * 2017-12-28 2019-07-04 深圳励飞科技有限公司 人脸检测方法、卷积神经网络参数的训练方法、装置及介质
CN110490919A (zh) * 2019-07-05 2019-11-22 天津大学 一种基于深度神经网络的单目视觉的深度估计方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108389226A (zh) 2018-02-12 2018-08-10 北京工业大学 一种基于卷积神经网络和双目视差的无监督深度预测方法
KR102220109B1 (ko) * 2018-05-31 2021-02-25 주식회사 뷰노 심층 신경망을 이용하여 영상을 분류하는 방법 및 이를 이용한 장치
CN110800023A (zh) 2018-07-24 2020-02-14 深圳市大疆创新科技有限公司 图像处理方法和设备、摄像装置以及无人机
CN110009674B (zh) 2019-04-01 2021-04-13 厦门大学 基于无监督深度学习的单目图像景深实时计算方法
US11044462B2 (en) 2019-05-02 2021-06-22 Niantic, Inc. Self-supervised training of a depth estimation model using depth hints
CN111652921B (zh) 2020-04-21 2023-04-28 深圳大学 一种单目深度预测模型的生成方法及单目深度预测方法
CN111311685B (zh) 2020-05-12 2020-08-07 中国人民解放军国防科技大学 一种基于imu与单目图像的运动场景重构无监督方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107578436A (zh) * 2017-08-02 2018-01-12 南京邮电大学 一种基于全卷积神经网络fcn的单目图像深度估计方法
WO2019099684A1 (en) * 2017-11-15 2019-05-23 Google Llc Unsupervised learning of image depth and ego-motion prediction neural networks
WO2019128646A1 (zh) * 2017-12-28 2019-07-04 深圳励飞科技有限公司 人脸检测方法、卷积神经网络参数的训练方法、装置及介质
CN109461180A (zh) * 2018-09-25 2019-03-12 北京理工大学 一种基于深度学习的三维场景重建方法
CN109377530A (zh) * 2018-11-30 2019-02-22 天津大学 一种基于深度神经网络的双目深度估计方法
CN110490919A (zh) * 2019-07-05 2019-11-22 天津大学 一种基于深度神经网络的单目视觉的深度估计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Deep Learning in Next-Frame Prediction: A Benchmark Review;Yufan Zhou;IEEE Access;全文 *
基于结构化深度学习的单目图像深度估计;李耀宇;王宏民;张一帆;卢汉清;;机器人(06);全文 *

Also Published As

Publication number Publication date
FR3112007A1 (fr) 2021-12-31
GB2596370B (en) 2023-05-24
US11841921B2 (en) 2023-12-12
CN111753961A (zh) 2020-10-09
GB202019743D0 (en) 2021-01-27
GB2596370A (en) 2021-12-29
US20210406599A1 (en) 2021-12-30

Similar Documents

Publication Publication Date Title
CN111753961B (zh) 模型训练方法和装置、预测方法和装置
US11615605B2 (en) Vehicle information detection method, electronic device and storage medium
CN111291885B (zh) 近红外图像的生成方法、生成网络的训练方法和装置
CN111739005B (zh) 图像检测方法、装置、电子设备及存储介质
CN112528786B (zh) 车辆跟踪方法、装置及电子设备
CN112529073A (zh) 模型训练方法、姿态估计方法、装置及电子设备
CN111709873B (zh) 图像转换模型生成器的训练方法和装置
CN111767853B (zh) 车道线检测方法和装置
CN111784834B (zh) 一种点云地图生成方法、装置以及电子设备
EP3901909A1 (en) Method and apparatus for processing video frame, device, medium and computer program product
CN111401251B (zh) 车道线提取方法、装置、电子设备及计算机可读存储介质
CN111967297B (zh) 图像的语义分割方法、装置、电子设备及介质
CN112270711B (zh) 模型训练以及姿态预测方法、装置、设备以及存储介质
CN111833391B (zh) 图像深度信息的估计方法及装置
CN114202074A (zh) 用于目标检测任务的预训练模型生成方法、装置及设备
CN111753739A (zh) 物体检测方法、装置、设备以及存储介质
CN112749701B (zh) 车牌污损分类模型的生成方法和车牌污损分类方法
CN112508027B (zh) 用于实例分割的头部模型、实例分割模型、图像分割方法及装置
CN111932530B (zh) 三维对象检测方法、装置、设备和可读存储介质
CN112053362B (zh) 图像分割方法、装置、电子设备及存储介质
CN112488126A (zh) 特征图处理方法、装置、设备以及存储介质
CN116167426A (zh) 人脸关键点定位模型的训练方法及人脸关键点定位方法
CN112508830B (zh) 图像处理模型的训练方法、装置、设备及存储介质
CN111753960B (zh) 模型训练及图像处理方法、装置、电子设备、存储介质
CN113362409B (zh) 图像上色及其模型训练方法、装置、电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant