CN111192313A - 机器人构建地图的方法、机器人及存储介质 - Google Patents

机器人构建地图的方法、机器人及存储介质 Download PDF

Info

Publication number
CN111192313A
CN111192313A CN201911409030.7A CN201911409030A CN111192313A CN 111192313 A CN111192313 A CN 111192313A CN 201911409030 A CN201911409030 A CN 201911409030A CN 111192313 A CN111192313 A CN 111192313A
Authority
CN
China
Prior art keywords
point cloud
map
space
cloud map
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911409030.7A
Other languages
English (en)
Other versions
CN111192313B (zh
Inventor
夏舸
张焕坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Youdi Robot (Wuxi) Co.,Ltd.
Original Assignee
Uditech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Uditech Co Ltd filed Critical Uditech Co Ltd
Priority to CN201911409030.7A priority Critical patent/CN111192313B/zh
Publication of CN111192313A publication Critical patent/CN111192313A/zh
Application granted granted Critical
Publication of CN111192313B publication Critical patent/CN111192313B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请适用于计算机技术领域，提出一种机器人构建地图的方法：通过目标环境的至少连续两帧空间图像信息构建所述目标环境的稀疏点云地图，并将所述稀疏点云地图和所述目标环境的语义地图输入预先训练的对抗网络模型进行分析，得到所述目标环境的稠密点云地图，使得机器人能够稠密点云地图提供的大量特征点信息在目标环境中进行准确定位。

Description

机器人构建地图的方法、机器人及存储介质
技术领域
本申请属于计算机技术领域，尤其涉及一种机器人构建地图的方法、机器人及存储介质。
背景技术
在机器人进行定位的过程中进行地图重建，是提高机器人对环境适应能力的重要手段，但是，地图重建需要消耗大量的系统资源。目前，常见的基于视觉的地图重建方法，往往只是构建特征点相对稀少的点云地图，在环境发生变化后影响机器人的定位准确性。
发明内容
有鉴于此，本申请实施例提供了机器人构建地图的方法、机器人及存储介质，以解决现有技术中机器人无法在环境发生变化后进行准确定位的问题。
本申请实施例的第一方面提供了一种机器人构建地图的方法，包括：
采集目标环境的至少连续两帧空间图像信息；
根据所述空间图像信息构建所述目标环境的稀疏点云地图，所述稀疏点云地图包含的空间点数量小于预设的空间点数量阈值；
将所述稀疏点云地图和所述目标环境的语义地图输入预先训练的对抗网络模型进行分析，得到所述目标环境的稠密点云地图，所述稠密点云地图包含的空间点数量大于或等于预设的空间点数量阈值。
在一种可选的实现方式中，所述空间图像信息包括空间图像的各个像素点对应的三维空间点的深度信息；
所述根据所述空间图像信息构建所述目标环境的稀疏点云地图，包括：
分别从连续两帧所述空间图像信息中获取各个所述像素点的位置信息，以及各个所述像素点对应的三维空间点的深度信息；
根据摄像头的运动参数、各个所述像素点的位置信息以及各个所述像素点对应的三维空间点的深度信息，确定所述目标环境的稀疏点云地图。
在一种可选的实现方式中，所述根据摄像头的运动参数、各个所述像素点的位置信息以及各个所述像素点对应的三维空间点的深度信息，确定所述目标环境的稀疏点云地图，包括：
分别将所述摄像头的运动参数、各个所述像素点的位置信息以及各个所述像素点各自对应的三维空间点的深度信息输入预设的成像模型进行分析，得到各个所述三维空间点的空间位置信息；
根据各个所述三维空间点的所述空间位置信息构建所述稀疏点云地图。
在一种可选的实现方式中，所述预先训练的对抗网络模型为条件生成对抗网络模型，所述条件生成对抗网络模型包括生成网络、判别网络以及预设的约束条件；
所述生成网络的输入为预设数量的不同预设空间的稀疏点云地图和所述约束条件，输出为各个所述预设空间的预测稠密点云地图，所述约束条件作为条件信息与各个所述预设空间的预测稠密点云地图进行对抗；
所述判别网络的输入为各个所述预设空间的预测稠密点云地图，输出为各个所述预设空间的预测稠密点云地图为各个所述预设空间的真实稠密点云地图的概率值。
在一种可选的实现方式中，预设的所述约束条件为各个所述预设空间的语义地图。
在一种可选的实现方式中，在所述将所述稀疏点云地图和所述目标环境的语义地图输入预先训练的对抗网络模型进行分析，得到所述目标环境的稠密点云地图之前，还包括：
分别将各个所述预设空间的稀疏点云地图与各个所述预设空间的语义地图输入预先构建的所述生成网络中进行训练，得到各个所述预设空间的所述预测稠密点云地图；
将各个所述预设空间的预测稠密点云地图输入预先构建的所述判别网络中进行训练，得到各个所述预设空间的预测稠密点云地图为各个所述预设空间的真实稠密点云地图的概率值；
根据所述概率值，调整预先构建的所述生成网络的权重值；
当所述生成网络的损失函数值的变化率小于或等于预设的第一变化率阈值，且所述判别网络的损失函数值的变化率小于或等于预设的第二变化率阈值，则确定对预先构建的所述对抗网络模型的训练结束，得到所述生成对抗网络模型。
在一种可选的实现方式中，所述生成对抗网络模型表示为：
min(G)：max(D)V(D，G)＝Ex[logD(x|θ)]+EZ[log(1-D(G(z|θ)))]
其中，D为判别网络，G为生成网络，X为各个预设空间的稀疏点云地图，Z为各个预设空间的预测稠密点云点图，θ为各个预设空间的语义地图，Ex[logD(x|θ)]，为各个预设空间的稀疏点云地图的概率密度，EZ[log(1-DCzθ各个预设空间的预测稠密点云点图的概率密度。
本申请实施例第二方面提供一种机器人，包括：
采集模块，用于采集目标环境的至少连续两帧空间图像信息；
构建模块，用于根据所述空间图像信息构建所述目标环境的稀疏点云地图，所述稀疏点云地图包含的空间点数量小于预设的空间点数量阈值；
分析模块，用于将所述稀疏点云地图和所述目标环境的语义地图输入预先训练的对抗网络模型进行分析，得到所述目标环境的稠密点云地图，所述稠密点云地图包含的空间点数量大于或等于预设的空间点数量阈值。
在一种可选的实现方式中，所述空间图像信息包括空间图像的各个像素点对应的三维空间点的深度信息；
所述构建模块，包括：
获取单元，用于分别从连续两帧所述空间图像信息中获取各个所述像素点的位置信息，以及各个所述像素点对应的三维空间点的深度信息；
确定单元，用于根据摄像头的运动参数、各个所述像素点的位置信息以及各个所述像素点对应的三维空间点的深度信息，确定所述目标环境的稀疏点云地图。
在一种可选的实现方式中，所述确定单元，包括：
分析子单元，用于分别将所述摄像头的运动参数、各个所述像素点的位置信息以及各个所述像素点各自对应的三维空间点的深度信息输入预设的成像模型进行分析，得到各个所述三维空间点的空间位置信息；
构建子单元，用于根据各个所述三维空间点的所述空间位置信息构建所述稀疏点云地图。
在一种可选的实现方式中，所述预先训练的对抗网络模型为条件生成对抗网络模型，所述条件生成对抗网络模型包括生成网络、判别网络以及预设的约束条件；
所述生成网络的输入为预设数量的不同预设空间的稀疏点云地图和所述约束条件，输出为各个所述预设空间的预测稠密点云地图，所述约束条件作为条件信息与各个所述预设空间的预测稠密点云地图进行对抗；
所述判别网络的输入为各个所述预设空间的预测稠密点云地图，输出为各个所述预设空间的预测稠密点云地图为各个所述预设空间的真实稠密点云地图的概率值。
在一种可选的实现方式中，预设的所述约束条件为各个所述预设空间的语义地图。
在一种可选的实现方式中，还包括：
第一训练模块，用于分别将各个所述预设空间的稀疏点云地图与各个所述预设空间的语义地图输入预先构建的所述生成网络中进行训练，得到各个所述预设空间的所述预测稠密点云地图；
第二训练模块，用于将各个所述预设空间的预测稠密点云地图输入预先构建的所述判别网络中进行训练，得到各个所述预设空间的预测稠密点云地图为各个所述预设空间的真实稠密点云地图的概率值；
调整模块，用于根据所述概率值，调整预先构建的所述生成网络的权重值；
确定模块，用于在当所述生成网络的损失函数值的变化率小于或等于预设的第一变化率阈值，且所述判别网络的损失函数值的变化率小于或等于预设的第二变化率阈值，则确定对预先构建的所述对抗网络模型的训练结束，得到所述生成对抗网络模型。
在一种可选的实现方式中，所述生成对抗网络模型表示为：
min(G)：max(D)V(D，G)＝Ex[logD(x|θ)]+EZ[log(1-D(G(z|θ)))]
其中，D为判别网络，G为生成网络，X为各个预设空间的稀疏点云地图，Z为各个预设空间的预测稠密点云点图，θ为各个预设空间的语义地图，Ex[logD(x|θ)]，为各个预设空间的稀疏点云地图的概率密度，EZ[log(1-DCzθ各个预设空间的预测稠密点云点图的概率密度。
本申请实施例第三方面提供一种机器人，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上第一方面所述机器人构建地图的方法的步骤。
本申请实施例第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上第一方面所述机器人构建地图的方法步骤。
本申请实施例第一方面提供的机器人构建地图的方法与现有技术相比存在的有益效果是：通过目标环境的至少连续两帧空间图像信息构建所述目标环境的稀疏点云地图，并将所述稀疏点云地图和所述目标环境的语义地图输入预先训练的对抗网络模型进行分析，得到所述目标环境的稠密点云地图，使得机器人能够稠密点云地图提供的大量特征点信息在目标环境中进行准确定位。
本申请第二至第四方面提供的实施例与现有技术相比存在的有益效果，与本申请第一方面提供的实施例与现有技术相比存在的有益效果相同，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1本申请第一实施例提供的机器人构建地图的方法的实现流程图；
图2是图1中S102的具体实现流程图；
图3是图2中S1022的具体实现流程图；
图4是本申请第二实施例提供的机器人构建地图的方法的实现流程图；
图5是本申请实施例提供的生成网络的训练过程示意图；
图6是本申请实施例提供的判别网络的训练示意图；
图7是本申请实施例提供的条件对抗生成网络模型的训练示意图；
图8是本申请第三实施例提供的机器人的结构示意图；
图9是本申请第四实施例提供的机器人的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。如图1所示，是本申请第一实施例提供的机器人构建地图的方法的实现流程图，本实施例的执行主体为机器人。详述如下：
S101，采集目标环境的至少连续两帧空间图像信息。
可以理解地，所述目标环境为机器人作业区域内的环境。所述至少连续两帧空间图像信息为机器人的摄像头采集的所述作业区域内的至少连续两帧空间图像的信息。
作为示例而非限定，所述空间图像信息包括空间图像的各个像素点对应的三维空间点的深度信息；例如，在一具体实现方式中，假设采集的连续两帧空间图像分别为第一图像和第二图像，所述第一图像的空间图像信息包括第一图像中各个位置的像素点p1对应的深度信息s1，所述第二图像的空间图像信息包括第二图像中各个位置的像素点p2对应的深度信息s2。
S102，根据所述空间图像信息构建所述目标环境的稀疏点云地图，所述稀疏点云地图包含的空间点数量小于预设的空间点数量阈值。
需要说明的是，本实施例通过预设的特征点提取算法，分别从所述至少连续两帧空间图像信息中，提取预设数量的像素点对应的深度信息，并根据提取的所述像素点对应的深度信息以及机器人的摄像头的运动参数确定目标环境的稀疏点云地图。需要说明的是，预设的特征点提取算法包括但不限于快速特征点提取算法(Oriented FAST andRotated BRIEF，ORB)、尺度不变特征变化算法(Scale-invariant feature transform，SIFT)、鲁棒性的特征算法(SpeedUp Features，SURF)。
在一种可选的实现方式中，如图2所示，是图1中S102的具体实现流程图。由图2可知，S102包括S1021～S1022，详述如下：
S1021，分别从连续两帧所述空间图像信息中获取各个所述像素点的位置信息，以及各个所述像素点对应的三维空间点的深度信息。
S1022，根据摄像头的运动参数、各个所述像素点的位置信息以及各个所述像素点对应的三维空间点的深度信息，确定所述目标环境的稀疏点云地图。
作为示例而非限定，将所述运动参数、各个所述像素点的位置信息以及各个所述像素点对应的三维空间点的深度信息，代入预设的成像模型确定所述目标环境的稀疏点云地图。
如图3所示，是图2中S1022的具体实现流程图。由图3可知，S1022包括S301～S302，详述如下：
S301，分别将所述摄像头的运动参数、各个所述像素点的位置信息以及各个所述像素点各自对应的三维空间点的深度信息输入预设的成像模型进行分析，得到各个所述三维空间点的空间位置信息。
作为示例而非限定，在本实施例中，预设的所述成像模型为：
snpn＝Tnp
其中，sn为第n张图像中任一位置的像素点对应的深度信息，pn为第n张图像中任一位置的像素点的像素位置信息，Tn为机器人的摄像头的运动参数，P为空间点P的空间位置信息。
可以理解地，通过求解上述成像函数，可以确定目标环境中任一空间点P的空间位置信息。
S302，根据各个所述三维空间点的所述空间位置信息构建所述稀疏点云地图。可以理解地，点云地图包括空间点的空间位置信息，所述稀疏点云徒弟地图通常包含有较稀疏的空间点，因此，在一些环境变化较复杂的应用场景中，机器人根据所述稀疏点云地图，无法准确地进行导航定位，在本实施例中，在确定了所述稀疏点云地图之后，进一步根据所述稀疏点云地图以及所述目标环境的语义地图，确定所述目标环境的稠密点云地图。
S103，将所述稀疏点云地图和所述目标环境的语义地图输入预先训练的对抗网络模型进行分析，得到所述目标环境的稠密点云地图，所述稠密点云地图包含的空间点数量大于或等于预设的空间点数量阈值。
在一种可选的实现方式中，所述预先训练的对抗网络模型为条件生成对抗网络模型，所述条件生成对抗网络模型包括生成网络、判别网络以及预设的约束条件。
所述生成网络的输入为预设数量的不同预设空间的稀疏点云地图和所述约束条件，输出为各个所述预设空间的预测稠密点云地图，所述约束条件作为条件信息与各个所述预设空间的预测稠密点云地图进行对抗。
所述判别网络的输入为各个所述预设空间的预测稠密点云地图，输出为各个所述预设空间的预测稠密点云地图为各个所述预设空间的真实稠密点云地图的概率值。
需要说明的是，生成对抗网络(Generative Adversarial Nets，GAN)主要由两个网络构成，生成网络G和判别网络D。其中，生成网络的思想是将任意对象(噪声)生成预测样本，判别网络则需要判断生成网络生成的预测样本是真实性，即生成网络和判别网络在训练过程中共同进步，判别网络对预测样本的判别能力不断上升，生成网络的造假能力也不断上升。然而，这种不需要预先建模的方法缺点是太过自由了，对于较大的图片，较多像素的情形，基于简单GAN的方式会导致生成模型不可控。
为解决这一问题，本申请的实施例中考虑给生成对抗网络G添加约束。因此，采用条件生成对抗网络(Conditional Generative Adversarial Nets，CGAN)。所述条件生成对抗网络为带条件约束的GAN，在生成网络(D)和判别网络(G)的建模中均引入条件变量θ，使用额外的条件变量θ对生对抗网络模型增加约束条件，可以指导生成对抗网络模型的训练过程。
具体地，CGAN优化是一个极小极大博弈问题，最终的目的是生成网络的输出预测样本，输入至判别网络时，判别网络很难判断预测样本是真实的或伪造的，即极大化判别网络的判断能力，极小化将生成网络的输出判断为伪造的概率。
在一种可选的实现方式中，预设的所述约束条件为各个所述预设空间的语义地图。
作为示例而非限定，所述生成对抗网络模型可以表示为：
min(G)：max(D)V(D，G)＝Ex[logD(x|θ)]+EZ[log(1-D(G(z|θ)))]
其中，D为判别网络，G为生成网络，X为各个预设空间的稀疏点云地图，Z为各个预设空间的预测稠密点云点图，θ为各个预设空间的语义地图，Ex[logD(x|θ)]，为各个预设空间的稀疏点云地图的概率密度，EZ[log(1-DCzθ各个预设空间的预测稠密点云点图的概率密度。
通过上述分析可知，本申请实施例提供的机器人构建地图的方法，通过目标环境的至少连续两帧空间图像信息构建所述目标环境的稀疏点云地图，并将所述稀疏点云地图和所述目标环境的语义地图输入预先训练的对抗网络模型进行分析，得到所述目标环境的稠密点云地图，使得机器人能够稠密点云地图提供的大量特征点信息在目标环境中进行准确定位。
如图4所示，是本申请第二实施例提供的机器人构建地图的方法的实现流程图。由图4可知，本实施例与图1所示实施例相比，S401～S402与S101～S102以及S407与S103的具体实现过程相同，不同之处在于，在S407之前还包括S403～S406。需要说明的是S403与S402为并列执行关系，详述如下：
S403，分别将各个所述预设空间的稀疏点云地图与各个所述预设空间的语义地图输入预先构建的所述生成网络中进行训练，得到各个所述预设空间的所述预测稠密点云地图。
需要说明的是，在本实施例中，预先通过机器人的摄像头采集预设数量的不同预设空间的空间图像，根据所述空间图像离线生成各个所述预设空间的稀疏点云地图、稠密点云地图以及语义地图，并将同一预设空间的三种地图进行关联存储，作为训练样本。
作为实例而非限定，如图5所示，是本申请实施例提供的生成网络的训练过程示意图。由图5可知，所述生成网络的训练过程包括：
构建生成网络5，将各个预设空间的稀疏点云地图51作为生成网络5的输入，并以各个预设空间的语义地图52作为条件变量，对生成网络5进行训练，得到生成网络5输出的随机变量。在本实施例中，所述生成网络5输出的随机变量为预测稠密点云地图53。
S404，将各个所述预设空间的预测稠密点云地图输入预先构建的所述判别网络中进行训练，得到各个所述预设空间的预测稠密点云地图为各个所述预设空间的真实稠密点云地图的概率值。
可以理解地，所述生成网络和所述识别网络为条件对抗生成网络的两部分，在训练所述生成网络的同时，训练所述识别网络，以得到训练之后的所述条件对抗生成网络。
作为示例而非限定，如图6所示，是本申请实施例提供的判别网络的训练示意图。由图6可知，所述判别网络的训练过程包括：
构建判别网络6，将所述生成网络5输出的各个所述预设空间的稠密点云地图53作为判别网络6的输入，训练该判别网络6，得到所述判别网络6输出的各个所述预设空间对应的预测稠密点云地图为真实点云地图的概率；
需要说明的是，在训练判别网络的训练过程中，以各个所述预设空间的语义地图为条件变量，进行对抗识别，若判别网络6识别出所述预测稠密点云地图53为真实稠密点云地图，则输出1，若判别网络6识别所述预测稠密点云地图53为错误稠密点云地图，则输出0，进一步根据输出的1和0的数量确定将预先确定所述预设空间对应的预测稠密点云地图为真实稠密点云地图的概率值。S405，根据所述概率值，调整预先构建的所述生成网络的权重值。
具体地，在以各个所述预设空间的语义地图为条件变量，进行对抗训练的过程中，根据判别网络输出的所述预测稠密点云地图为所述真实稠密点云地图的概率值，不断调整所述生成网络的权重值，使得所述生成网络对随机变量的预测更准确。
S406，当所述识别网络的损失函数值的变化率小于或等于预设的第一变化率阈值，则结束对所述生成网络的权重值的优化，确定对预先构建的所述对抗网络模型的训练结束，得到所述生成对抗网络模型。
可以理解地，在训练所述生成网络和所述识别网络的过程中，还可以同时观测所述生成网络的损失函数；例如，在另一可选的实现方式中，当所述识别网络的损失函数值的变化率小于或等于预设的第一变化率阈值，且当所述生成网络的损失函数值的变化率小于或等于预设的第二变化率阈值时，则结束对所述生成网络的权重值的优化，确定对预先构建的所述对抗网络模型的训练结束，得到所述生成对抗网络模型。
作为实例而非限定，如图7所示，是本申请实施例提供的条件对抗生成网络模型的训练示意图。由图7可知，在训练所述条件对抗生成网络模型7时，将所述生成网络5和所述识别网络6同步进行对抗训练，所述条件对抗生成网络模型7的输入为各个预设空间的稀疏点云地图51和各个所述预设空间的语义地图52，输出为预测稠密点云地图53。
通过上述分析可知，本申请实施例在训练所述条件生成对抗网络模型的过程中，引入条件变量信息，使得生成的所述预测稠密点云地图与真实稠密点云地图更相似，提高生成稠密点云地图的精度。
图8是本申请第三实施例提供的机器人的结构示意图。由图8可知，本实施例提供的机器人8包括：采集模块801、构建模块802以及分析模块803。其中：
采集模块801，用于采集目标环境的至少连续两帧空间图像信息；
构建模块802，用于根据所述空间图像信息构建所述目标环境的稀疏点云地图，所述稀疏点云地图包含的空间点数量小于预设的空间点数量阈值；
分析模块803，用于将所述稀疏点云地图和所述目标环境的语义地图输入预先训练的对抗网络模型进行分析，得到所述目标环境的稠密点云地图，所述稠密点云地图包含的空间点数量大于或等于预设的空间点数量阈值。
在一种可选的实现方式中，所述空间图像信息包括各个像素点对应的三维空间点的深度信息；
所述构建模块802，包括：
获取单元，用于分别从连续两帧所述空间图像信息中获取各个所述像素点的位置信息，以及各个所述像素点对应的三维空间点的深度信息；
确定单元，用于根据摄像头的运动参数、各个所述像素点的位置信息以及各个所述像素点对应的三维空间点的深度信息，确定所述目标环境的稀疏点云地图。
在一种可选的实现方式中，所述确定单元，包括：
分析子单元，用于分别将所述摄像头的运动参数、各个所述像素点的位置信息以及各个所述像素点各自对应的三维空间点的深度信息输入预设的成像模型进行分析，得到各个所述三维空间点的空间位置信息；
构建子单元，用于根据各个所述三维空间点的所述空间位置信息构建所述稀疏点云地图。
在一种可选的实现方式中，所述预先训练的对抗网络模型为条件生成对抗网络模型，所述条件生成对抗网络模型包括生成网络、判别网络以及预设的约束条件；
所述生成网络的输入为预设数量的不同预设空间的稀疏点云地图和所述约束条件，输出为各个所述预设空间的预测稠密点云地图，所述约束条件作为条件信息与各个所述预设空间的预测稠密点云地图进行对抗；
所述判别网络的输入为各个所述预设空间的预测稠密点云地图，输出为各个所述预设空间的预测稠密点云地图为各个所述预设空间的真实稠密点云地图的概率值。
在一种可选的实现方式中，预设的所述约束条件为各个所述预设空间的语义地图。
在一种可选的实现方式中，还包括：
第一训练模块，用于分别将各个所述预设空间的稀疏点云地图与各个所述预设空间的语义地图输入预先构建的所述生成网络中进行训练，得到各个所述预设空间的所述预测稠密点云地图；
第二训练模块，用于将各个所述预设空间的预测稠密点云地图输入预先构建的所述判别网络中进行训练，得到各个所述预设空间的预测稠密点云地图为各个所述预设空间的真实稠密点云地图的概率值；
调整模块，用于根据所述概率值，调整预先构建的所述生成网络的权重值；
确定模块，用于在当所述生成网络的损失函数值的变化率小于或等于预设的第一变化率阈值，且所述判别网络的损失函数值的变化率小于或等于预设的第二变化率阈值，则确定对预先构建的所述对抗网络模型的训练结束，得到所述生成对抗网络模型。
在一种可选的实现方式中，所述生成对抗网络模型表示为：
min(G)：max(D)V(D，G)＝Ex[logD(x|θ)]+EZ[log(1-D(G(z|θ)))]
其中，D为判别网络，G为生成网络，X为各个预设空间的稀疏点云地图，Z为各个预设空间的预测稠密点云点图，θ为各个预设空间的语义地图，Ex[logD(x|θ)]，为各个预设空间的稀疏点云地图的概率密度，EZ[log(1-DCzθ各个预设空间的预测稠密点云点图的概率密度。
图9是本申请第四实施例提供的机器人的结构示意图。如图9所示，该实施例的机器人9包括：处理器90、存储器91以及存储在存储器91中并可在处理器90上运行的计算机程序92，例如机器人构建地图的程序。处理器90执行计算机程序92时实现上述各个机器人构建地图的方法实施例中的步骤，例如图1所示的步骤101至103。
示例性的，计算机程序92可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在存储器91中，并由处理器90执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序92在所述机器人9中的执行过程。例如，计算机程序92可以被分割成采集模块、构建模块以及分析模块(虚拟装置中的模块)，各模块具体功能如下：
采集模块，用于采集目标环境的至少连续两帧空间图像信息；
构建模块，用于根据所述空间图像信息构建所述目标环境的稀疏点云地图，所述稀疏点云地图包含的空间点数量小于预设的空间点数量阈值；
分析模块，用于将所述稀疏点云地图和所述目标环境的语义地图输入预先训练的对抗网络模型进行分析，得到所述目标环境的稠密点云地图，所述稠密点云地图包含的空间点数量大于或等于预设的空间点数量阈值。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个通信单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种机器人构建地图的方法，其特征在于，包括：
采集目标环境的至少连续两帧空间图像信息；
根据所述空间图像信息构建所述目标环境的稀疏点云地图，所述稀疏点云地图包含的空间点数量小于预设的空间点数量阈值；
将所述稀疏点云地图和所述目标环境的语义地图输入预先训练的对抗网络模型进行分析，得到所述目标环境的稠密点云地图，所述稠密点云地图包含的空间点数量大于或等于预设的空间点数量阈值。
2.如权利要求1所述的机器人构建地图的方法，其特征在于，所述空间图像信息包括空间图像的各个像素点对应的三维空间点的深度信息；
所述根据所述空间图像信息构建所述目标环境的稀疏点云地图，包括：
分别从连续两帧所述空间图像信息中获取各个所述像素点的位置信息，以及各个所述像素点对应的三维空间点的深度信息；
根据摄像头的运动参数、各个所述像素点的位置信息以及各个所述像素点对应的三维空间点的深度信息，确定所述目标环境的稀疏点云地图。
3.如权利要求2所述的机器人构建地图的方法，其特征在于，所述根据摄像头的运动参数、各个所述像素点的位置信息以及各个所述像素点对应的三维空间点的深度信息，确定所述目标环境的稀疏点云地图，包括：
分别将所述摄像头的运动参数、各个所述像素点的位置信息以及各个所述像素点各自对应的三维空间点的深度信息输入预设的成像模型进行分析，得到各个所述三维空间点的空间位置信息；
根据各个所述三维空间点的所述空间位置信息构建所述稀疏点云地图。
4.如权利要求1-3任一所述的机器人构建地图的方法，其特征在于，所述预先训练的对抗网络模型为条件生成对抗网络模型，所述条件生成对抗网络模型包括生成网络、判别网络以及预设的约束条件；
所述生成网络的输入为预设数量的不同预设空间的稀疏点云地图和所述约束条件，输出为各个所述预设空间的预测稠密点云地图，所述约束条件作为条件信息与各个所述预设空间的预测稠密点云地图进行对抗；
所述判别网络的输入为各个所述预设空间的预测稠密点云地图，输出为各个所述预设空间的预测稠密点云地图为各个所述预设空间的真实稠密点云地图的概率值。
5.如权利要求4所述的机器人构建地图的方法，其特征在于，预设的所述约束条件为各个所述预设空间的语义地图。
6.如权利要求5所述的机器人构建地图的方法，其特征在于，在所述将所述稀疏点云地图和所述目标环境的语义地图输入预先训练的对抗网络模型进行分析，得到所述目标环境的稠密点云地图之前，还包括：
分别将各个所述预设空间的稀疏点云地图与各个所述预设空间的语义地图输入预先构建的所述生成网络中进行训练，得到各个所述预设空间的所述预测稠密点云地图；
将各个所述预设空间的预测稠密点云地图输入预先构建的所述判别网络中进行训练，得到各个所述预设空间的预测稠密点云地图为各个所述预设空间的真实稠密点云地图的概率值；
根据所述概率值，调整预先构建的所述生成网络的权重值；
当所述生成网络的损失函数值的变化率小于或等于预设的第一变化率阈值，且所述判别网络的损失函数值的变化率小于或等于预设的第二变化率阈值，则确定对预先构建的所述对抗网络模型的训练结束，得到所述生成对抗网络模型。
7.如权利要求5或6所述的机器人构建地图的方法，其特征在于，所述生成对抗网络模型表示为：
min(G)：max(D)V(D,G)＝Ex[log D(x|θ)]+EZ[log(1-D(G(z|θ)))]
其中，D为判别网络，G为生成网络，X为各个预设空间的稀疏点云地图，Z为各个预设空间的预测稠密点云点图，θ为各个预设空间的语义地图，Ex[log D(x|θ)]，为各个预设空间的稀疏点云地图的概率密度，EZ[log(1-D(G(z|θ)))各个预设空间的预测稠密点云点图的概率密度。
8.一种机器人，其特征在于，包括：
采集模块，用于采集目标环境的至少连续两帧空间图像信息；
构建模块，用于根据所述空间图像信息构建所述目标环境的稀疏点云地图，所述稀疏点云地图包含的空间点数量小于预设的空间点数量阈值；
分析模块，用于将所述稀疏点云地图和所述目标环境的语义地图输入预先训练的对抗网络模型进行分析，得到所述目标环境的稠密点云地图，所述稠密点云地图包含的空间点数量大于或等于预设的空间点数量阈值。
9.一种机器人，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7所述机器人构建地图的方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7所述机器人构建地图的方法的步骤。
CN201911409030.7A 2019-12-31 2019-12-31 机器人构建地图的方法、机器人及存储介质 Active CN111192313B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911409030.7A CN111192313B (zh) 2019-12-31 2019-12-31 机器人构建地图的方法、机器人及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911409030.7A CN111192313B (zh) 2019-12-31 2019-12-31 机器人构建地图的方法、机器人及存储介质

Publications (2)

Publication Number Publication Date
CN111192313A true CN111192313A (zh) 2020-05-22
CN111192313B CN111192313B (zh) 2023-11-07

Family

ID=70709691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911409030.7A Active CN111192313B (zh) 2019-12-31 2019-12-31 机器人构建地图的方法、机器人及存储介质

Country Status (1)

Country Link
CN (1) CN111192313B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111917841A (zh) * 2020-07-15 2020-11-10 炬星科技（深圳）有限公司 网络点云图的构建方法、机器人、设备及存储介质
CN112258625A (zh) * 2020-09-18 2021-01-22 山东师范大学 基于注意力机制的单幅图像到三维点云模型重建方法及系统
CN112258626A (zh) * 2020-09-18 2021-01-22 山东师范大学 基于图像级联生成稠密点云的三维模型生成方法及系统
CN112598737A (zh) * 2020-12-24 2021-04-02 中建科技集团有限公司 室内机器人定位方法、装置、终端设备及存储介质
CN115908734A (zh) * 2022-11-25 2023-04-04 贵州电网有限责任公司信息中心 电网地图更新方法、装置、设备及存储介质
CN117115366A (zh) * 2023-10-25 2023-11-24 中国科学院自动化研究所 基于无人系统三维感知的环境模型重建方法、系统及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104346608A (zh) * 2013-07-26 2015-02-11 株式会社理光 稀疏深度图稠密化方法和装置
WO2018094719A1 (zh) * 2016-11-28 2018-05-31 深圳市大疆创新科技有限公司 生成点云地图的方法、计算机系统和装置
CN108648270A (zh) * 2018-05-12 2018-10-12 西北工业大学 基于eg-slam的无人机实时三维场景重建方法
US20190179021A1 (en) * 2017-12-07 2019-06-13 Institute For Information Industry Three-dimensional point cloud tracking apparatus and method using recurrent neural network
US20190219700A1 (en) * 2017-11-17 2019-07-18 DeepMap Inc. Iterative closest point process based on lidar with integrated motion estimation for high definition maps
CN110047139A (zh) * 2019-04-28 2019-07-23 南昌航空大学 一种指定目标三维重建方法及系统
CN110097589A (zh) * 2019-04-29 2019-08-06 广东工业大学 一种应用于稀疏地图稠密化的深度补全方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104346608A (zh) * 2013-07-26 2015-02-11 株式会社理光 稀疏深度图稠密化方法和装置
WO2018094719A1 (zh) * 2016-11-28 2018-05-31 深圳市大疆创新科技有限公司 生成点云地图的方法、计算机系统和装置
US20190219700A1 (en) * 2017-11-17 2019-07-18 DeepMap Inc. Iterative closest point process based on lidar with integrated motion estimation for high definition maps
US20190179021A1 (en) * 2017-12-07 2019-06-13 Institute For Information Industry Three-dimensional point cloud tracking apparatus and method using recurrent neural network
CN108648270A (zh) * 2018-05-12 2018-10-12 西北工业大学 基于eg-slam的无人机实时三维场景重建方法
CN110047139A (zh) * 2019-04-28 2019-07-23 南昌航空大学 一种指定目标三维重建方法及系统
CN110097589A (zh) * 2019-04-29 2019-08-06 广东工业大学 一种应用于稀疏地图稠密化的深度补全方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
余?;: "基于半监督生成对抗网络的三维重建云工作室" *
张蔚: "基于图像语义信息的视觉SLAM关键算法研究" *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111917841A (zh) * 2020-07-15 2020-11-10 炬星科技（深圳）有限公司 网络点云图的构建方法、机器人、设备及存储介质
CN111917841B (zh) * 2020-07-15 2023-06-16 炬星科技（深圳）有限公司 网络点云图的构建方法、机器人、设备及存储介质
CN112258625A (zh) * 2020-09-18 2021-01-22 山东师范大学 基于注意力机制的单幅图像到三维点云模型重建方法及系统
CN112258626A (zh) * 2020-09-18 2021-01-22 山东师范大学 基于图像级联生成稠密点云的三维模型生成方法及系统
CN112258625B (zh) * 2020-09-18 2023-05-05 山东师范大学 基于注意力机制的单幅图像到三维点云模型重建方法及系统
CN112598737A (zh) * 2020-12-24 2021-04-02 中建科技集团有限公司 室内机器人定位方法、装置、终端设备及存储介质
WO2022134415A1 (zh) * 2020-12-24 2022-06-30 中建科技集团有限公司 室内机器人定位方法、装置、终端设备及存储介质
CN115908734A (zh) * 2022-11-25 2023-04-04 贵州电网有限责任公司信息中心 电网地图更新方法、装置、设备及存储介质
CN117115366A (zh) * 2023-10-25 2023-11-24 中国科学院自动化研究所 基于无人系统三维感知的环境模型重建方法、系统及设备
CN117115366B (zh) * 2023-10-25 2024-02-13 中国科学院自动化研究所 基于无人系统三维感知的环境模型重建方法、系统及设备

Also Published As

Publication number Publication date
CN111192313B (zh) 2023-11-07

Similar Documents

Publication Publication Date Title
CN111192313B (zh) 机器人构建地图的方法、机器人及存储介质
CN111815754B (zh) 一种三维信息确定方法、三维信息确定装置及终端设备
CN112328715B (zh) 视觉定位方法及相关模型的训练方法及相关装置、设备
WO2021052283A1 (zh) 处理三维点云数据的方法和计算设备
CN111476835B (zh) 多视角图像一致性的无监督深度预测方法、系统、装置
CN111695421A (zh) 图像识别方法、装置及电子设备
CN116188805A (zh) 海量图像的图像内容分析方法、装置和图像信息网络
CN111931790A (zh) 一种激光点云提取方法及装置
CN111488810A (zh) 人脸识别方法、装置、终端设备及计算机可读介质
CN109685805A (zh) 一种图像分割方法及装置
CN112446462B (zh) 目标神经网络模型的生成方法和装置
CN110276801B (zh) 一种物体定位方法、装置及存储介质
CN111652168B (zh) 基于人工智能的群体检测方法、装置、设备及存储介质
CN110929731B (zh) 一种基于探路者智能搜索算法的医疗影像处理方法及装置
CN115631192B (zh) 一种阀门试压机的控制方法、装置、设备及介质
CN114820755B (zh) 一种深度图估计方法及系统
CN111127481A (zh) 基于tof图像联通区域的图像识别方法及装置
CN115965925A (zh) 点云目标检测方法、计算机设备、存储介质及车辆
CN116071625A (zh) 深度学习模型的训练方法、目标检测方法及装置
CN113658274B (zh) 用于灵长类动物种群行为分析的个体间距自动计算方法
Huang et al. Methods on visual positioning based on basketball shooting direction standardisation
CN113704374A (zh) 空间飞行器轨迹拟合方法、装置及终端
CN112288748B (zh) 一种语义分割网络训练、图像语义分割方法及装置
EP3624062A1 (en) Methods and apparatus for processing image data for machine vision
CN114692888A (zh) 系统参数处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Unit 7-11, 6th Floor, Building B2, No. 999-8 Gaolang East Road, Wuxi Economic Development Zone, Wuxi City, Jiangsu Province, China 214000

Patentee after: Youdi Robot (Wuxi) Co.,Ltd.

Country or region after: China

Address before: 5D, Building 1, Tingwei Industrial Park, No. 6 Liufang Road, Xingdong Community, Xin'an Street, Bao'an District, Shenzhen City, Guangdong Province

Patentee before: UDITECH Co.,Ltd.

Country or region before: China