CN111524187A - 一种视觉定位模型的训练方法及装置 - Google Patents

一种视觉定位模型的训练方法及装置 Download PDF

Info

Publication number
CN111524187A
CN111524187A CN202010324203.1A CN202010324203A CN111524187A CN 111524187 A CN111524187 A CN 111524187A CN 202010324203 A CN202010324203 A CN 202010324203A CN 111524187 A CN111524187 A CN 111524187A
Authority
CN
China
Prior art keywords
color
task
branch network
image
training sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010324203.1A
Other languages
English (en)
Other versions
CN111524187B (zh
Inventor
田咪
申浩
聂琼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to CN202010324203.1A priority Critical patent/CN111524187B/zh
Publication of CN111524187A publication Critical patent/CN111524187A/zh
Application granted granted Critical
Publication of CN111524187B publication Critical patent/CN111524187B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本说明书公开了一种视觉定位模型的训练方法及装置，获取若干环境图像以及采集环境图像时采集设备的位姿，针对每个环境图像分别确定用于定位任务和用于色彩任务的训练样本，通过将两种训练样本输入视觉定位模型的共享分支网络，使得定位任务和色彩任务可以共同训练该共享分支网络，之后分别根据两种任务的训练样本的标签，确定第一以及第二损失，最后通过第一损失以及第二损失，训练所述视觉定位模型。通过色彩任务，实现了基于环境图像确定自监督的训练样本，使标签无需人工标注，提高了训练效率，降低了成本。

Description

一种视觉定位模型的训练方法及装置
技术领域
本申请涉及视觉定位技术领域，尤其涉及一种视觉定位模型的训练方法以及装置。
背景技术
目前，视觉定位技术被广泛的应用在各个领域中，常见的无人驾驶技术领域中，通过无人车采集的图像，通过视觉定位技术确定无人车的位姿，可作为无人控制的决策信息之一。
在现有技术中，基于深度学习的视觉定位方法，避免了传统视觉定位方法中需要大量数据构建地图的弊端，通过训练好的定位模型便可以根据输入的图像输出位姿。并且，为了训练的定位模型具有更好性能，减少训练过程导致定位模型出现过拟合的情况，目前还采用多任务训练的方式来训练定位模型。常见的有将语义分割任务、里程计任务等任务与定位任务进行联合训练的方法，通过将模型隐层中的模型参数在多任务训练过程中进行共享，使得定位模型能够学习图像的纹理特征、语义特征、路径特征等，并将这些特征也作为输出位姿参考的特征。
通常来说语义分割任务，由于能够学习到图像的特征，因此对于视觉定位的定位模型起到的效果较好。但是，由于语义分割模型的训练需要基于标注好语义的训练样本，而定位模型的训练需要基于大量的图像(即训练样本)，导致基于语义分割的多任务训练方式，训练定位模型的成本较高。
发明内容
本说明书实施例提供的一种视觉定位模型的训练方法及装置，用于部分解决现有技术中存在的问题。
本说明书实施例采用下述技术方案：
本说明书提供的视觉定位模型的训练方法，包括：
获取若干环境图像以及采集环境图像时采集设备的位姿；
针对每个环境图像，将该环境图像作为定位任务的训练样本，将采集该环境图像时采集设备的位姿作为定位任务的训练样本的标签，以及确定该环境图像的指定通道作为色彩任务的训练样本，将该环境图像作为色彩任务的训练样本的标签；
将各定位任务的训练样本输入所述视觉定位模型的共享分支网络，得到所述共享分支网络输出的中间结果，再通过定位分支网络得到所述视觉定位模型输出的位姿结果；
将各色彩任务的训练样本输入视觉定位模型的共享分支网络，得到所述共享分支网络输出的纹理编码，再将得到的纹理编码输入色彩解码分支网络，得到色彩图像；
针对每个环境图像，根据基于该环境图像确定的定位任务的训练样本的标签与输出的位姿结果，确定第一损失，根据基于该环境图像确定的色彩任务的训练样本的标签与输出的色彩图像，确定第二损失；
根据确定出的第一损失以及第二损失，训练所述视觉定位模型，所述视觉定位模型用于视觉定位。
可选地，确定该环境图像的指定通道作为色彩任务的训练样本，将该环境图像作为色彩任务的训练样本的标签，具体包括：
确定该环境图像的Lab色彩空间图像，以及RGB色彩空间图像；
将Lab色彩空间图像的亮度通道的图像作为色彩任务的训练样本，将RGB色彩空间图像作为色彩任务的训练样本的标签。
可选地，将各色彩任务的训练样本输入视觉定位模型的共享分支网络，得到所述共享分支网络输出的纹理编码，再将得到的纹理编码输入色彩解码分支网络，得到色彩图像，具体包括：
针对每个色彩任务的训练样本，将该色彩任务的训练样本输入所述共享分支网络，得到所述共享分支网络输出的该训练样本的对应的环境图像的纹理编码；
将该纹理编码输入所述视觉定位模型的色彩任务的解码分支网络，得到所述解码分支网络输出的该色彩任务的训练样本的色彩通道对应的图像；
根据该色彩任务的训练样本以及输出的色彩通道对应的图像，确定该色彩任务的训练样本对应的环境图像的Lab色彩空间图像；
根据得到的Lab色彩空间图像，确定RGB色彩空间图像，作为色彩图像。
可选地，所述视觉定位模型的所述共享分支网络与所述色彩解码分支网络构成编码器-解码器结构，且所述共享分支网络与所述色彩解码分支网络均为卷积神经网络。
可选地，将各定位任务的训练样本输入视觉定位模型的共享分支网络，得到所述视觉定位模型输出的定位结果，具体包括：
针对每个定位任务的训练样本，将该定位任务的训练样本输入所述视觉定位模型的共享分支网络，得到所述共享分支网络输出的中间结果；
将所述中间结果输入所述视觉定位模型的定位分支网络，得到所述定位分支网络输出的位姿结果；
其中，所述定位分支网络为全连接网络，所述中间结果至少表征了环境图像的纹理特征与位姿之间的对应关系。
可选地，根据确定出的第一损失以及第二损失，训练所述视觉定位模型，具体包括：
根据确定出的各第一损失，以第一损失最小为优化目标，调整所述视觉定位模型的模型参数，以及根据确定出的各第一损失，以第二损失最小为优化目标，调整所述视觉定位模型的模型参数；或者
针对每个环境图像，根据基于该环境图像确定出的第一损失、第二损失、预设第一权重以及预设第二权重，确定总损失，以总损失最小为优化目标，调整所述视觉定位模型的模型参数。
可选地，所述位姿包括三维坐标以及三维坐标各坐标轴的旋转角度。
本说明书提供的视觉定位模型的训练装置，包括：
获取模块，获取若干环境图像以及采集环境图像时采集设备的位姿；
生成模块，针对每个环境图像，将该环境图像作为定位任务的训练样本，将采集该环境图像时采集设备的位姿作为定位任务的训练样本的标签，以及确定该环境图像的指定通道作为色彩任务的训练样本，将该环境图像作为色彩任务的训练样本的标签；
第一计算模块，将各定位任务的训练样本输入所述视觉定位模型的共享分支网络，得到所述共享分支网络输出的中间结果，再通过定位分支网络得到所述视觉定位模型输出的位姿结果；
第二计算模块，将各色彩任务的训练样本输入视觉定位模型的共享分支网络，得到所述共享分支网络输出的纹理编码，再将得到的纹理编码输入色彩解码分支网络，得到色彩图像；
损失确定模块，针对每个环境图像，根据基于该环境图像确定的定位任务的训练样本的标签与输出的位姿结果，确定第一损失，根据基于该环境图像确定的色彩任务的训练样本的标签与输出的色彩图像，确定第二损失；
参数调整模块，根据确定出的第一损失以及第二损失，训练所述视觉定位模型，所述视觉定位模型用于视觉定位。
本说明书提供的计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的方法。
本说明书提供的电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一所述的方法。
本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：
首先，获取若干环境图像以及采集环境图像时采集设备的位姿。之后，针对每个环境图像分别确定用于定位任务和用于色彩任务的训练样本，通过将两种训练样本输入视觉定位模型的共享分支网络，使得定位任务和色彩任务可以共同训练该共享分支网络，然后分别根据两种任务的训练样本的标签，确定第一以及第二损失。最后通过第一损失以及第二损失，训练所述视觉定位模型。通过色彩任务，实现了基于环境图像确定自监督的训练样本，相比现有需要人工标注的多任务训练的方式，标签无需人工标注，提高了训练效率，降低了成本。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本说明书实施例提供的视觉定位模型的训练流程示意图；
图2为本说明书实施例提供的视觉定位模型示意图；
图3为本说明书实施例提供的定位任务部分的模型结构示意图；
图4为本说明书实施例提供的色彩任务部分的模型结构示意图；
图5为本说明书实施例提供的视觉定位模型的训练装置的结构示意图；
图6为本说明书实施例提供的实现视觉定位模型的训练方法的电子设备示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
以下结合附图，详细说明本申请各实施例提供的技术方案。
图1为本说明书实施例提供的视觉定位模型的训练流程示意图，包括：
S100：获取若干环境图像以及采集环境图像时采集设备的位姿。
在本说明书中，该视觉定位模型为基于深度学习训练得到的视觉定位模型，用于根据输入的环境图像，输出采集该环境图像的设备的位姿。其中，位姿可包括该采集设备的三维坐标以及在该三维坐标的各坐标轴上的旋转角度，即一个六自由度的位姿数据。由于训练过程通常比较耗时且复杂，因此通常由服务器执行模型训练过程，同理本说明书中也可由服务器对该视觉定位模型进行训练。
具体的，在本说明书中，用于训练视觉定位模型的服务器，可从获取若干环境图像，以及各环境图像在采集时采集设备的位姿。
其中，由于基于深度学习训练得到视觉定位模型，可认为是“学习”到了图像与位姿之间的对应关系，因此采集环境图像的地点限制了训练完成的视觉定位模型的使用区域。也就是说，利用在A区域采集的环境图像和采集时的位姿，训练得到的视觉定位模型只能用于在A区域内进行视觉定位，并不适用于B区域。于是，在本说明书中，该服务器可根据该视觉定位模型的使用地点，对获取的环境图像进行筛选。例如，假设该视觉定位模型是用于C市D区的无人车导航提供定位数据的，则该服务器可仅获取在D区采集的环境图像。
具体的，该服务器可根据预设的视觉定位模型的使用区域，针对每个环境图像，根据采集该环境图像时采集设备的位姿，判断该环境图像的采集地点是否在该使用区域内，若是则获取该环境图像以及对应的位姿进行后续训练过程，若否则不采用该环境图像进行训练过程。
另外，在本说明书中，服务器还可针对该视觉定位模型的使用场景，在获取环境图像时，根据环境图像的采集设备，对环境图像进行筛选。例如，假设该视觉定位模型是用于车辆定位的，如用于无人车视觉定位的，而由于车辆是行驶在公共道路上，因此该服务器可从各环境图像中确定由车载设备采集的环境图像，而假设该视觉定位模型是用于楼内定位的，如室内扫地机器人，则该服务器可从各环境图像中确定由室内移动设备采集的环境图像，等等。
需要说明的是，由于在本说明书中该视觉定位模型是基于多任务深度学习训练的模型，通过多任务可以避免定位任务学习时过拟合，因此训练样本越多则训练效果越好。
S102：针对每个环境图像，将该环境图像作为定位任务的训练样本，将采集该环境图像时采集设备的位姿作为定位任务的训练样本的标签，以及确定该环境图像的指定通道作为色彩任务的训练样本，将该环境图像作为色彩任务的训练样本的标签。
在本说明书中，该服务器可针对步骤S100获取的各环境图像，确定用于多任务学习的训练样本。并且，由于是多任务，因此通过每个环境图像该服务器需要确定用于不同任务的训练样本和训练样本对应的标签。
具体的，在本说明书中为了避免语义分割模型的训练样本需要高额的人工标注成本的问题，该服务器可选择利用环境图像，确定自监督的训练样本，也就是无需人工标注的训练样本，这就需要对环境图像进行“拆分”。
首先，针对每个环境图像，由于视觉定位模型在使用时就是输入环境图像，输出计算得到的位姿，因此在确定用于定位任务的训练样本时，服务器可将该环境图像作为定位任务的训练样本，并将采集该环境图像时采集设备的位姿作为该定位任务的训练样本的标签。
其次，针对每个环境图像，由于环境中每个物体反射光线的波长，决定了物体“显示”的颜色，因此当环境光出现变化时颜色也可能出现变化。例如，正午和黄昏同一物体的颜色可能出现不同。而物体的纹理通常是较为固定的，于是为了避免多任务学习后视觉定位模型产生不必要的误差，例如，对时段敏感，在本说明书中该服务器可选择环境图像的亮度通道作为指定通道，并将该环境图像的亮度通道对应的图像，作为色彩任务的训练样本，将该环境图像作为色彩任务的训练样本。
其中，该色彩任务可视为将环境图像“拆分”为亮度图像作为输入，由于亮度图像去掉了色彩部分，因此可更显著的体现图像中纹理特征，再通过模型输出彩色图像，即所谓的对图像“上色”的过程，通过对作为标签的环境图像和“上色”得到的图像，确定损失对模型进行训练。
需要说明的是，在本说明书中，同一张环境图像可确定出一个定位任务的训练样本和一个色彩任务的训练样本。
S104：将各定位任务的训练样本输入所述视觉定位模型的共享分支网络，得到所述共享分支网络输出的中间结果，再通过定位分支网络得到所述视觉定位模型输出的位姿结果。
在本说明书中，在确定出各任务的训练样本后，该服务器便可进行模型训练，由于是多任务学习的训练过程，因此本说明书中对于步骤S104和步骤S106的先后顺序并不做限定，当联合训练时步骤S104和步骤S106可以是并行执行的，当采用交叉训练时，步骤S104和步骤S106可以先后执行，当然对于执行顺序本说明书不做限定。
另外，由于该视觉定位模型是基于多任务学习训练的，因此该视觉定位模型可分为用于定位任务的部分以及用于色彩任务的部分，如图2所示。
图2为本说明书提供的视觉定位模型的整体结构，可见该模型包含定位任务的部分以及色彩任务的部分，其中，两部分的输入端使用同一个共享分支网络，使得多种任务均可训练该共享分支网络，实现多任务学习之间效果“共享”。对于用于定位任务的部分，该部分模型的共享分支网络接收输入的训练样本并输出纹理编码，作为中间结果，再将中间结果继续输入至定位分支网络，最后通过定位分支网络得到输出的位姿结果。对于用于色彩任务的部分，该部分模型的共享分支网络接收输入的训练样本并输出纹理编码，再通过色彩分支网络，得到输出的色彩图像。并且，如在步骤S102中所述的，不同任务的训练样本是不同的。
具体的，本说明书分别对模型不同部分根据输入，确定输出的过程进行说明。对于定位任务，首先，针对每个定位任务的训练样本，将该定位任务的训练样本输入该视觉定位模型的共享分支网络，得到该共享分支网络输出的中间结果。其中，该共享分支网络具体可为卷积神经网络(Convolutional Neural Networks，CNN)，并且由于定位任务的训练样本就是环境图像，而不是仅是环境图像包含的某几个通道对应的图像，因此此时共享分支网络输出的中间结果至少表征了图像中纹理特征与位姿之间的对应关系。
其次，该服务器可将该中间结果输入该视觉定位模型的定位分支网络，得到该定位分支网络输出的位姿结果。其中，该定位分支网络具体可以是全连接网络，例如，多层感知机(Multilayer Perceptron，MLP)结构的网络。通常在基于单任务的深度学习训练视觉定位模型中，视觉定位模型输出的位姿结果的也是全连接网络，并且通常输出的位姿结果为两组数据，分别为三维坐标系下坐标值(或者，也可认为是坐标向量)，以及在三个坐标轴上旋转角度。其中，在三个坐标轴上旋转角度表示采集设备在采集环境图像(即，该定位任务的训练样本)时，采集设备在三个坐标轴上的旋转程度。因此，本说明书中该视觉定位模型的全连接网络输出的也可以是两组数据，并将两组数据作为位姿结果。
图3为本说明书提供的定位任务部分的模型结构，其中共享分支网络通过卷积得到高维的中间结果，全连接网络根据该中间结果，输出两组结果，分别表示坐标和旋转角度。
当然，本说明书并不限制该全连接网络输出的位姿结果的形式，具体可根据需要设置，该全连接网络也可输出一个1×6的向量，表征6自由度的位姿结果。例如，输出(x，y，z，Rx，Ry，Rz)，其中，(x，y，z)表示三维坐标系下坐标值，(Rx，Ry，Rz)表示采集设备分别在x，y，z三个轴上旋转角度。
S106：将各色彩任务的训练样本输入视觉定位模型的共享分支网络，得到所述共享分支网络输出的纹理编码，再将得到的纹理编码输入色彩解码分支网络，得到色彩图像。
在本说明书中，该服务器在根据色彩任务进行训练时，主要目的是训练该共享分支网络学习图像的纹理与位姿之间关系，避免单任务训练时，通过低维数据监督高维数据，导致模型不准确的问题。由于传统的基于深度学习训练得到的视觉定位模型，“监督”模型训练效果的标签是位姿，而输入的数据是图像，图像包含的信息量显然远大于位姿包含的信息，导致最终模型学习到的是特定图像与特定位姿之间的对应关系，即出现模型过拟合的情况，模型稳定性欠佳，通过多任务学习可以很好的减轻这一现象。
具体的，该服务器可针对每个色彩任务的训练样本，将该色彩任务的训练样本输入该共享分支网络，得到该共享分支网络输出的该训练样本的对应的环境图像的纹理编码。需要说明的是，对于色彩任务的训练样本和定位任务的训练样本，虽然都是输入该共享分支网络，但是由于色彩任务的训练样本仅包含了环境图像的亮度通道，而定位任务的训练样本包含了环境图像的所有通道，即使技术共享分支网络是同一个，但是针对不同任务的训练样本该共享分支网络输出的结果也不完全相同。在色彩任务中，在将亮度通道对应的图像作为训练样本时，由于亮度通道保留的图像纹理更丰富，因此该共享分支网络输出的纹理编码在训练过程中的效果更好。
之后，该服务器可将该纹理编码输入该视觉定位模型的色彩任务的解码分支网络，得到该解码分支网络输出的该色彩任务的训练样本的色彩通道对应的图像。
最后，该服务器可根据该训练样本(即，亮度通道对应的图像)以及输出的色彩通道对应的图像，确定该色彩任务的训练样本对应的环境图像的上色图像。
图4为本说明书提供的色彩任务部分的模型结构，其中共享分支网络通过卷积得到高维的纹理编码，解码分支网络根据该纹理编码进行解码，输出色彩通道的图像，其中，该解码分支网络也可是CNN结构的。
其中，在本说明书中对于该视觉定位模型中执行色彩任务的部分，可视为是一个编码器-解码器结构(encode-decode)的模型。其中，共享分支网络为根据亮度通道的图像进行纹理特征编码的编码器，而该解码分支网络为根据编码器的编码进行解码的解码器，输出的既可以是全量通道的图像，当然也可如前文所述的过程输出色彩通道的图像。在该色彩任务的执行过程中，该视觉定位模型将仅有亮度通道对应的图像，进行了上色，使最终输出的图像是一个具有色彩的图像。相当于学习通过共享分支网络学习图像的纹理特征，通过解码分支网络学习纹理与颜色之间的关系。
另外，在本说明书中，该色彩任务的训练样本，具体可以是环境图像的国际照明委员会规定光照及颜色(International Commission on Illumination LAB，Lab)色彩空间图像的L通道的图像，则该解码分支网络输出的具体可以是Lab色彩空间的a和b通道的图像，服务器可根据L通道的图像(即输入)和a、b通道的图像(即输出)，确定完整的Lab色彩空间的图像。L通道即亮度通道，a通道代表从绿色到红色的分量，b通道代表从蓝色到黄色的分量。
进一步地，由于通常采集的图像都是以RGB格式存储的，因此获取的环境图像通常色彩空间上是RGB形式的，因此该服务器在步骤S100中确定色彩任务的训练样本时，可以将环境图像的RGB色彩空间图像转换为Lab色彩空间图像，在将其中的L通道作为色彩任务的训练样本，将RGB色彩空间图像作为训练样本的标签。
S108：针对每个环境图像，根据基于该环境图像确定的定位任务的训练样本的标签与输出的位姿结果，确定第一损失，根据基于该环境图像确定的色彩任务的训练样本的标签与输出的色彩图像，确定第二损失。
在本说明书中，对该视觉定位模型进行训练时，可以采用联合训练的方式或者交叉训练的方式，本说明书不做限定。因此对于每个训练样本，该服务器可根据该训练样本所用于的任务，确定如何计算损失。
具体的，针对每个环境图像，根据基于该环境图像确定的定位任务的训练样本的标签，以及定位分支网络输出的该训练样本的位姿结果，确定第一损失。也就是根据实际采集环境图像的采集设备的位姿与模型输出的位姿之间的差，确定第一损失。
而根据基于该环境图像确定的色彩任务的训练样本的标签，以及解码分支网络输出的该训练样本的色彩图像，确定第二损失。其中，如在步骤S106中所述的该样本图像可以采用RGB格式存储，而该模型的解码分支网络可输出Lab色彩空间的图像，于是该服务器可根据输出的Lab色彩空间图像，确定RGB色彩空间图像，作为色彩图像。通过确定环境图像与色彩图像的差，确定第二损失，则该第二损失中包括了图像中色彩特征的损失以及纹理特征的损失。
S110:根据确定出的第一损失以及第二损失，训练所述视觉定位模型，所述视觉定位模型用于视觉定位。
在本说明书中，若采用联合训练的方式训练该视觉定位模型，则以基于同一个环境图像确定出的第一损失和第二损失，预设的第一权重和第二权重，确定该视觉定位模型的总损失。例如，用公式L＝λPLP+λCLC，确定总损失。其中，L为总损失，p表示与定位相关，c表示与色彩相关，λP为第一权重，LP为第一损失，λC为第二权重，LC为第二损失。第一以及第二权重可根据需要设置，本说明书不做限制。之后，以总损失最小为优化目标，调整该视觉定位模型中的模型参数，并且调整的参数包含了各分支网络中的参数。
若采用交叉训练的方式训练该视觉定位模型，则服务器可根据用于定位任务的训练样本确定出的第一损失，以第一损失最小为优化目标，调整该视觉定位模型中的共享分支网络以及定位分支网络中的模型参数。根据用于色彩任务的训练样本确定出的第二损失，以第二损失最小为优化目标，调整该视觉定位模型中的共享分支网络以及解码分支网络中的模型参数。这一过程可以交替进行多次，直到训练结果满足预设条件，例如模型参数收敛或者预测结果准确率达到预设值或者训练次数到达预设次数等，确定模型训练完成。当然，利用第一损失调整模型参数和利用第二损失调整模型参数的顺序可以按需要设置，例如先让共享分支网络学习纹理特征，再学习位姿特征，或者反之，本说明书对此不做限定。
基于图1所示的视觉定位模型的训练方法，首先，获取若干环境图像以及采集环境图像时采集设备的位姿。之后，针对每个环境图像分别确定用于定位任务和用于色彩任务的训练样本，通过将两种训练样本输入视觉定位模型的共享分支网络，使得定位任务和色彩任务可以共同训练该共享分支网络，并且由于色彩任务的训练样本至包含亮度通道，因此共享分支网络可以学习到图像纹理特征而不会受到色彩干扰。然后分别根据两种任务的训练样本的标签，确定第一以及第二损失。最后通过第一损失以及第二损失，训练所述视觉定位模型。通过色彩任务，实现了基于环境图像确定自监督的训练样本，相比现有需要人工标注的多任务训练的方式，标签无需人工标注，提高了训练效率，降低了成本。
另外，在本说明书中，也可将环境图像中的其他通道作为指定通道，具体选择哪个通道可根据需要设置，本说明书对此不做限定。例如，在步骤S102中，该服务器从环境图像的RGB三通道中选择R通道作为指定通道，则R通道对应的图像作为色彩任务的训练样本。或者，从环境图像的Lab三通道中，选择a通道或者b通道作为指定通道。
于是，在进行色彩任务的训练时，该色彩解码分支网络输出的是环境图像中未作为指定通道的其他通道的图像。例如，将a通道对应的图像作为色彩任务的训练样本，则色彩解码分支网络输出的是L和b通道对应的图像，服务器可根据输出的L、b通道，以及该a通道，确定Lab色彩空间的图像，再转换为RGB色彩空间图像(即，色彩图像)，根据色彩图像和环境图像确定第二损失。当然，由于在Lab色彩空间中亮度通道保持的纹理特征更多，因此训练效果较好。
基于图1所示的视觉定位模型的训练过程，本说明书实施例还对应提供视觉定位模型的训练装置的结构示意图，如图5所示。
图5为本说明书实施例提供的视觉定位模型的训练装置的结构示意图，所述装置包括：
获取模块200，获取若干环境图像以及采集环境图像时采集设备的位姿；
生成模块202，针对每个环境图像，将该环境图像作为定位任务的训练样本，将采集该环境图像时采集设备的位姿作为定位任务的训练样本的标签，以及确定该环境图像的指定通道作为色彩任务的训练样本，将该环境图像作为色彩任务的训练样本的标签；
第一计算模块204，将各定位任务的训练样本输入所述视觉定位模型的共享分支网络，得到所述共享分支网络输出的中间结果，再通过定位分支网络得到所述视觉定位模型输出的位姿结果；
第二计算模块206，将各色彩任务的训练样本输入视觉定位模型的共享分支网络，得到所述共享分支网络输出的纹理编码，再将得到的纹理编码输入色彩解码分支网络，得到色彩图像；
损失确定模块208，针对每个环境图像，根据基于该环境图像确定的定位任务的训练样本的标签与输出的位姿结果，确定第一损失，根据基于该环境图像确定的色彩任务的训练样本的标签与输出的色彩图像，确定第二损失；
参数调整模块210，根据确定出的第一损失以及第二损失，训练所述视觉定位模型，所述视觉定位模型用于视觉定位。
可选地，所述生成模块202，确定该环境图像的Lab色彩空间图像，以及RGB色彩空间图像，将Lab色彩空间图像的亮度通道的图像作为色彩任务的训练样本，将RGB色彩空间图像作为色彩任务的训练样本的标签。
可选地，所述第二计算模块204，针对每个色彩任务的训练样本，将该色彩任务的训练样本输入所述共享分支网络，得到所述共享分支网络输出的该训练样本的对应的环境图像的纹理编码，将该纹理编码输入所述视觉定位模型的色彩任务的解码分支网络，得到所述解码分支网络输出的该色彩任务的训练样本的色彩通道对应的图像，根据该色彩任务的训练样本以及输出的色彩通道对应的图像，确定该色彩任务的训练样本对应的环境图像的Lab色彩空间图像，根据得到的Lab色彩空间图像，确定RGB色彩空间图像，作为色彩图像。
可选地，所述视觉定位模型的所述共享分支网络与所述色彩解码分支网络构成编码器-解码器结构，且所述共享分支网络与所述色彩解码分支网络均为卷积神经网络。
可选地，所述第一计算模块206，针对每个定位任务的训练样本，将该定位任务的训练样本输入所述视觉定位模型的共享分支网络，得到所述共享分支网络输出的中间结果，将所述中间结果输入所述视觉定位模型的定位分支网络，得到所述定位分支网络输出的位姿结果，其中，所述定位分支网络为全连接网络，所述中间结果至少表征了环境图像的纹理特征与位姿之间的对应关系。
可选地，所述参数调整模块210，根据确定出的各第一损失，以第一损失最小为优化目标，调整所述视觉定位模型的模型参数，以及根据确定出的各第一损失，以第二损失最小为优化目标，调整所述视觉定位模型的模型参数；或者，针对每个环境图像，根据基于该环境图像确定出的第一损失、第二损失、预设第一权重以及预设第二权重，确定总损失，以总损失最小为优化目标，调整所述视觉定位模型的模型参数。
本说明书实施例还提供了计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述视觉定位模型的训练方法中的任一个。
基于图1提供的视觉定位模型的训练过程，本说明书实施例还提出了图6所示的电子设备。如图6，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述视觉定位模型的训练方法中的任一个。
当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (10)

1.一种视觉定位模型的训练方法，其特征在于，包括：
获取若干环境图像以及采集环境图像时采集设备的位姿；
针对每个环境图像，将该环境图像作为定位任务的训练样本，将采集该环境图像时采集设备的位姿作为定位任务的训练样本的标签，以及确定该环境图像的指定通道作为色彩任务的训练样本，将该环境图像作为色彩任务的训练样本的标签；
将各定位任务的训练样本输入所述视觉定位模型的共享分支网络，得到所述共享分支网络输出的中间结果，再通过定位分支网络得到所述视觉定位模型输出的位姿结果；
将各色彩任务的训练样本输入视觉定位模型的共享分支网络，得到所述共享分支网络输出的纹理编码，再将得到的纹理编码输入色彩解码分支网络，得到色彩图像；
针对每个环境图像，根据基于该环境图像确定的定位任务的训练样本的标签与输出的位姿结果，确定第一损失，根据基于该环境图像确定的色彩任务的训练样本的标签与输出的色彩图像，确定第二损失；
根据确定出的第一损失以及第二损失，训练所述视觉定位模型，所述视觉定位模型用于视觉定位。
2.如权利要求1所述的方法，其特征在于，确定该环境图像的指定通道作为色彩任务的训练样本，将该环境图像作为色彩任务的训练样本的标签，具体包括：
确定该环境图像的Lab色彩空间图像，以及RGB色彩空间图像；
将Lab色彩空间图像的亮度通道的图像作为色彩任务的训练样本，将RGB色彩空间图像作为色彩任务的训练样本的标签。
3.如权利要求2所述的方法，其特征在于，将各色彩任务的训练样本输入视觉定位模型的共享分支网络，得到所述共享分支网络输出的纹理编码，再将得到的纹理编码输入色彩解码分支网络，得到色彩图像，具体包括：
针对每个色彩任务的训练样本，将该色彩任务的训练样本输入所述共享分支网络，得到所述共享分支网络输出的该训练样本的对应的环境图像的纹理编码；
将该纹理编码输入所述视觉定位模型的色彩任务的解码分支网络，得到所述解码分支网络输出的该色彩任务的训练样本的色彩通道对应的图像；
根据该色彩任务的训练样本以及输出的色彩通道对应的图像，确定该色彩任务的训练样本对应的环境图像的Lab色彩空间图像；
根据得到的Lab色彩空间图像，确定RGB色彩空间图像，作为色彩图像。
4.如权利要求1或3所述的方法，其特征在于，所述视觉定位模型的所述共享分支网络与所述色彩解码分支网络构成编码器-解码器结构，且所述共享分支网络与所述色彩解码分支网络均为卷积神经网络。
5.如权利要求1所述的方法，其特征在于，将各定位任务的训练样本输入所述视觉定位模型的共享分支网络，得到所述共享分支网络输出的中间结果，再通过定位分支网络得到所述视觉定位模型输出的位姿结果，具体包括：
针对每个定位任务的训练样本，将该定位任务的训练样本输入所述视觉定位模型的共享分支网络，得到所述共享分支网络输出的中间结果；
将所述中间结果输入所述视觉定位模型的定位分支网络，得到所述定位分支网络输出的位姿结果；
其中，所述定位分支网络为全连接网络，所述中间结果至少表征了环境图像的纹理特征与位姿之间的对应关系。
6.如权利要求1所述的方法，其特征在于，根据确定出的第一损失以及第二损失，训练所述视觉定位模型，具体包括：
根据确定出的各第一损失，以第一损失最小为优化目标，调整所述视觉定位模型的模型参数，以及根据确定出的各第一损失，以第二损失最小为优化目标，调整所述视觉定位模型的模型参数；或者，
针对每个环境图像，根据基于该环境图像确定出的第一损失、第二损失、预设第一权重以及预设第二权重，确定总损失，以总损失最小为优化目标，调整所述视觉定位模型的模型参数。
7.如权利要求1所述的方法，其特征在于，所述位姿包括三维坐标以及三维坐标各坐标轴的旋转角度。
8.一种视觉定位模型的训练装置，其特征在于，包括：
获取模块，获取若干环境图像以及采集环境图像时采集设备的位姿；
生成模块，针对每个环境图像，将该环境图像作为定位任务的训练样本，将采集该环境图像时采集设备的位姿作为定位任务的训练样本的标签，以及确定该环境图像的指定通道作为色彩任务的训练样本，将该环境图像作为色彩任务的训练样本的标签；
第一计算模块，将各定位任务的训练样本输入所述视觉定位模型的共享分支网络，得到所述共享分支网络输出的中间结果，再通过定位分支网络得到所述视觉定位模型输出的位姿结果；
第二计算模块，将各色彩任务的训练样本输入视觉定位模型的共享分支网络，得到所述共享分支网络输出的纹理编码，再将得到的纹理编码输入色彩解码分支网络，得到色彩图像；
损失确定模块，针对每个环境图像，根据基于该环境图像确定的定位任务的训练样本的标签与输出的位姿结果，确定第一损失，根据基于该环境图像确定的色彩任务的训练样本的标签与输出的色彩图像，确定第二损失；
参数调整模块，根据确定出的第一损失以及第二损失，训练所述视觉定位模型，所述视觉定位模型用于视觉定位。
9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1-7任一所述的方法。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1-7任一所述的方法。
CN202010324203.1A 2020-04-22 2020-04-22 一种视觉定位模型的训练方法及装置 Active CN111524187B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010324203.1A CN111524187B (zh) 2020-04-22 2020-04-22 一种视觉定位模型的训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010324203.1A CN111524187B (zh) 2020-04-22 2020-04-22 一种视觉定位模型的训练方法及装置

Publications (2)

Publication Number Publication Date
CN111524187A true CN111524187A (zh) 2020-08-11
CN111524187B CN111524187B (zh) 2023-06-02

Family

ID=71903980

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010324203.1A Active CN111524187B (zh) 2020-04-22 2020-04-22 一种视觉定位模型的训练方法及装置

Country Status (1)

Country Link
CN (1) CN111524187B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112802075A (zh) * 2021-02-02 2021-05-14 网易（杭州）网络有限公司 纹理生成模型的训练方法、图像处理方法及装置
CN113469296A (zh) * 2021-09-03 2021-10-01 广东众聚人工智能科技有限公司 基于少量标签数据自监督联合学习的图像分类方法及系统
WO2024041392A1 (zh) * 2022-08-23 2024-02-29 北京有竹居网络技术有限公司 图像处理方法、装置、存储介质及设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107689073A (zh) * 2016-08-05 2018-02-13 阿里巴巴集团控股有限公司 图像集的生成方法、装置及图像识别模型训练方法、系统
CN108171748A (zh) * 2018-01-23 2018-06-15 哈工大机器人（合肥）国际创新研究院 一种面向机器人智能抓取应用的视觉识别与定位方法
CN108225277A (zh) * 2018-03-09 2018-06-29 深圳臻迪信息技术有限公司 无人机的图像获取方法、视觉定位方法、装置、无人机
CN109472828A (zh) * 2018-10-26 2019-03-15 达闼科技（北京）有限公司 一种定位方法、装置、电子设备及计算机可读存储介质
CN109840531A (zh) * 2017-11-24 2019-06-04 华为技术有限公司 训练多标签分类模型的方法和装置
CN110211181A (zh) * 2019-05-15 2019-09-06 深圳前海达闼云端智能科技有限公司 视觉定位的方法、装置、存储介质和电子设备
CN110378400A (zh) * 2019-07-08 2019-10-25 北京三快在线科技有限公司 一种用于图像识别的模型训练方法及装置
US20200104645A1 (en) * 2018-09-27 2020-04-02 Deepmind Technologies Limited Reinforcement learning neural networks grounded in learned visual entities
CN110956214A (zh) * 2019-12-03 2020-04-03 北京车和家信息技术有限公司 一种自动驾驶视觉定位模型的训练方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107689073A (zh) * 2016-08-05 2018-02-13 阿里巴巴集团控股有限公司 图像集的生成方法、装置及图像识别模型训练方法、系统
CN109840531A (zh) * 2017-11-24 2019-06-04 华为技术有限公司 训练多标签分类模型的方法和装置
CN108171748A (zh) * 2018-01-23 2018-06-15 哈工大机器人（合肥）国际创新研究院 一种面向机器人智能抓取应用的视觉识别与定位方法
CN108225277A (zh) * 2018-03-09 2018-06-29 深圳臻迪信息技术有限公司 无人机的图像获取方法、视觉定位方法、装置、无人机
US20200104645A1 (en) * 2018-09-27 2020-04-02 Deepmind Technologies Limited Reinforcement learning neural networks grounded in learned visual entities
CN109472828A (zh) * 2018-10-26 2019-03-15 达闼科技（北京）有限公司 一种定位方法、装置、电子设备及计算机可读存储介质
CN110211181A (zh) * 2019-05-15 2019-09-06 深圳前海达闼云端智能科技有限公司 视觉定位的方法、装置、存储介质和电子设备
CN110378400A (zh) * 2019-07-08 2019-10-25 北京三快在线科技有限公司 一种用于图像识别的模型训练方法及装置
CN110956214A (zh) * 2019-12-03 2020-04-03 北京车和家信息技术有限公司 一种自动驾驶视觉定位模型的训练方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈哲: "应用于无人驾驶的视觉定位关键技术研究" *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112802075A (zh) * 2021-02-02 2021-05-14 网易（杭州）网络有限公司 纹理生成模型的训练方法、图像处理方法及装置
CN113469296A (zh) * 2021-09-03 2021-10-01 广东众聚人工智能科技有限公司 基于少量标签数据自监督联合学习的图像分类方法及系统
WO2024041392A1 (zh) * 2022-08-23 2024-02-29 北京有竹居网络技术有限公司 图像处理方法、装置、存储介质及设备

Also Published As

Publication number Publication date
CN111524187B (zh) 2023-06-02

Similar Documents

Publication Publication Date Title
CN109087349B (zh) 一种单目深度估计方法、装置、终端和存储介质
CN111524187A (zh) 一种视觉定位模型的训练方法及装置
CN109003297B (zh) 一种单目深度估计方法、装置、终端和存储介质
CN110119148B (zh) 一种六自由度姿态估计方法、装置及计算机可读存储介质
CN111238450B (zh) 视觉定位方法及装置
CN110162089B (zh) 一种无人驾驶的仿真方法及装置
CN110488821B (zh) 一种确定无人车运动策略的方法及装置
CN110378400B (zh) 一种用于图像识别的模型训练方法及装置
CN112801229A (zh) 一种识别模型的训练方法及装置
US11600039B2 (en) Mechanism for improved light estimation
CN111797711A (zh) 一种模型训练的方法及装置
CN112465029A (zh) 一种实例追踪的方法及装置
CN115933387A (zh) 基于视觉语言预训练模型的机器人操控方法、装置及介质
CN113724128A (zh) 一种训练样本的扩充方法
CN114494381A (zh) 模型训练及深度估计方法、装置、存储介质及电子设备
CN113010780B (zh) 一种模型训练以及点击率预估方法及装置
CN116342888B (zh) 一种基于稀疏标注训练分割模型的方法及装置
CN117635822A (zh) 一种模型训练的方法、装置、存储介质及电子设备
CN117409466A (zh) 一种基于多标签控制的三维动态表情生成方法及装置
CN112362084A (zh) 一种数据标定方法、装置及数据标定系统
CN116805393A (zh) 一种基于3DUnet光谱-空间信息融合的高光谱图像分类方法和系统
CN116012483A (zh) 一种图像渲染的方法、装置、存储介质及电子设备
CN115937851A (zh) 一种增强深度学习学习域的方法和系统
CN114154579A (zh) 一种图像分类方法、装置、存储介质及电子设备
CN111524190B (zh) 视觉定位网络的训练、无人驾驶设备的控制方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant