CN113902842A - 机器人野外可行驶区域数据集制作方法、设备及存储介质 - Google Patents
机器人野外可行驶区域数据集制作方法、设备及存储介质 Download PDFInfo
- Publication number
- CN113902842A CN113902842A CN202111075408.1A CN202111075408A CN113902842A CN 113902842 A CN113902842 A CN 113902842A CN 202111075408 A CN202111075408 A CN 202111075408A CN 113902842 A CN113902842 A CN 113902842A
- Authority
- CN
- China
- Prior art keywords
- scene
- field
- image
- robot
- travelable area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000004088 simulation Methods 0.000 claims abstract description 68
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000004519 manufacturing process Methods 0.000 claims abstract description 16
- 230000003068 static effect Effects 0.000 claims description 7
- 238000003672 processing method Methods 0.000 claims description 6
- 239000003086 colorant Substances 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 4
- 238000013461 design Methods 0.000 claims description 3
- 238000004043 dyeing Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000003709 image segmentation Methods 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 206010021143 Hypoxia Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/61—Scene description
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请属于机器人感知、规划、控制技术领域，具体而言，涉及一种机器人野外可行驶区域数据集制作方法、设备及存储介质。本申请方法根据机器人野外可行驶区域场景，分别制作场景中各单个物体的三维模型；将所有所述单个物体的三维模型进行组合，形成与野外可行驶区域相对应的仿真场景；根据所述仿真场景，获取野外可行驶区域的场景图像和图像真值；分别对所述野外可行驶区域的场景图像和图像真值进行处理，得到机器人野外场景可行驶区域数据集。
Description
技术领域
本申请属于机器人感知、规划、控制技术领域，具体而言，涉及一种机器人野外可行驶区域数据集制作方法、设备及存储介质。
背景技术
在复杂野外场景中工作的野外作业机器人进行环境感知与理解的深度学习算法模型的训练时，需要获取大量的野外场景可行驶区域图像数据及需要对大量的野外场景可行驶区域的图像样本数据进行标注。然而，在复杂的高寒缺氧、干旱荒凉等环境恶劣与气候恶劣的极端环境中去采集足够多的适用于本身的不同视角、不同天气、不同光照的可行驶区域数据集，是一种十分危险的行为，同时，对非结构化的复杂野外场景的图像数据进行人工标注也具有十分大的困难，需要耗费大量的人力资源，大量标注的样本数据的质量难以得到保证，数据集制作的效率极为低下，人工采集足够的野外场景图像数据并进行分割数据集制作以适用基于深度学习的分割算法几乎不可行。
现在主要的图像分割数据方法是根据目标物体的边缘，由肉眼观察并通过人工判断，一个点一个点地进行鼠标点击标注。对非结构化的复杂野外场景的图像数据进行标注也具有十分大的困难，需要耗费大量的人力资源，大量标注的样本数据的质量难以得到保证。而且场景的覆盖程度不够。
发明内容
有鉴于此，本公开提出了一种机器人野外可行驶区域数据集制作方法、设备及存储介质，以解决修改技术中的技术问题。
根据本公开的第一方面，提出机器人野外可行驶区域数据集制作方法，包括：
根据机器人野外可行驶区域场景，分别制作场景中各单个物体的三维模型；
将所有所述单个物体的三维模型进行组合，形成与野外可行驶区域相对应的仿真场景；
根据所述仿真场景，获取野外可行驶区域的场景图像和图像真值；
分别对所述野外可行驶区域的场景图像和图像真值进行处理，得到机器人野外场景可行驶区域数据集。
可选地，所述根据机器人野外可行驶区域场景，分别制作场景中各单个物体的三维模型，包括：
(1)拍摄机器人野外可行驶区域场景中一个单个物体的多幅图像；
(2)根据所述多幅图像，重构得到一个单个物体的三维模型；
(3)重复步骤(1)和步骤(2)，得到机器人野外可行驶区域场景中所有单个物体的三维模型。
可选地，将所有所述单个物体的三维模型进行组合，形成与野外可行驶区域相对应的仿真场景，包括：
(1)采用3D图像处理方法，根据设计要求，从所有单个物体的三维模型中选择相关单个物体的三维模型组合，制作得到一个静态仿真场景；
(2)对所述静态仿真场景进行动态改变，获取不同时间、不同天气、不同路况的更加真实的仿真场景)，得到与野外可行驶区域相对应的仿真场景。
可选地，根据所述仿真场景，获取野外可行驶区域的场景图像和图像真值，包括：
(1)利用3D图形处理方法，分别在所述仿真场景中的所有不同物体表面染上不同颜色，得到仿真场景的真值模型；
(2)在同一位置、以同一角度，获取仿真场景真值模型的图像真值以及仿真场景的场景图像，并对图像真值和场景图像进行编号；
(3)多次重复步骤(2)，获取编号的多个仿真场景真值模型的图像真值以及仿真场景的场景图像。
可选地，对所述野外可行驶区域的场景图像和图像真值进行处理，过程为：根据编号次序，分别对所述多个仿真场景真值模型的图像真值以及仿真场景的场景图像进行配对，得到多个标注了图像真值的场景图像，多个上述场景图像组成机器人野外场景可行驶区域数据集。
根据本公开的第二方面，提出了机器人野外可行驶区域数据集制作装置，包括：
模型制作模块，用于根据机器人野外可行驶区域场景，分别制作场景中各单个物体的三维模型；
模型处理模块，用于将所有所述单个物体的三维模型进行组合，形成与野外可行驶区域相对应的仿真场景；
图像处理模块，用于根据所述仿真场景，获取野外可行驶区域的场景图像和图像真值；
数据集处理模块，用于分别对所述野外可行驶区域的场景图像和图像真值进行处理，得到机器人野外场景可行驶区域数据集。
根据本公开的第三方面，提出电子设备，包括：
存储器，用于存储处理器可执行的指令；
处理器，用于被配置执行：
根据机器人野外可行驶区域场景，分别制作场景中各单个物体的三维模型；
将所有所述单个物体的三维模型进行组合，形成与野外可行驶区域相对应的仿真场景；
根据所述仿真场景，获取野外可行驶区域的场景图像和图像真值；
分别对所述野外可行驶区域的场景图像和图像真值进行处理，得到机器人野外场景可行驶区域数据集。
根据本公开的第三方面，提出计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序用于使所述计算机执行时实现以下步骤：
根据机器人野外可行驶区域场景，分别制作场景中各单个物体的三维模型；
将所有所述单个物体的三维模型进行组合，形成与野外可行驶区域相对应的仿真场景；
根据所述仿真场景，获取野外可行驶区域的场景图像和图像真值；
分别对所述野外可行驶区域的场景图像和图像真值进行处理，得到机器人野外场景可行驶区域数据集。
根据本公开的实施例，快速准确高效的获取适用于轮式机器人在复杂野外场景中的非结构化可行驶路面图像分割数据集,可以产生大量的真值，适用于复杂野外作业地机器人图像分割数据集地获取。使用游戏引擎创建复杂野外场景，重构一个三维环境，在三维环境里模拟相机，然后获得原始图片与其分割图像标注数据的真值。
上述说明仅是本公开一个实施例的概述，为了能够更清楚了解本申请的技术手段，从而可依照说明书的内容予以实施，并且为了让本是的上述和其它目的、特征和优点能够更明显易懂，以下特举本公开的具体实施方式。
附图说明
为了更清楚地说明本申请的实施例是的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本公开的一个实施例示出的野外可行驶区域数据集制作方法流程图。
图2是根据本公开的一个实施例示出的机器人野外可行驶场景制作流程框图。图2中，(a)是从仿真场景中获取的一幅图像，(b)是与图像相对应的真值图像。
图3是根据本公开的一个实施例示出的机器人野外可行驶区域数据集制作装置的结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1是根据本公开一个实施例表示的野外可行驶区域场景制作流程框图，本实施例所示的野外可行驶区域场景制作可以适用于用户设备，例如手机、平板电脑等。
如图1所示，所述机器人野外可行驶区域数据集制作方法，包括：
在步骤1中，根据机器人野外可行驶区域场景，分别制作场景中各单个物体的三维模型。
在一个实施例中，根据机器人野外可行驶区域场景，分别制作场景中各单个物体的三维模型，如图2所示，包括：
(1)拍摄机器人野外可行驶区域场景中一个单个物体的多幅图像；
(2)根据所述多幅图像，采用图像Reality Capture软件，重构得到一个单个物体的三维模型；
在本公开的一个实施例中，使用摄影测量技术为、仿真野外可行驶区域场景创建高质量模型：
通过实景视频，获取模型所有必要角度的照片，然后将图片放入在AdobeLightroom中处理源图像，以便进行全色校正。
然后利用Reality Capture处理图像，获取高质量的模型扫描的数据，使用ZBrush和Maya的组合进行抽取，重新拓扑和UV。
然后在Substance Painter中烘焙纹理贴图(AO，曲率，切线法线，世界空间法线，位置贴图)，并在Xnormal中烘焙基色和弯曲法线，从基色贴图中删除所有高光和阴影，从而生成未照明的Albedo贴图。生成Albedo贴图后，将使用Substance Generators和Custommask在Substance Painter中创建所有PBR贴图，隔离扫描的特定功能并确保可以实现资产的物理和准确外观。
(3)重复步骤(1)和步骤(2)，得到机器人野外可行驶区域场景中所有单个物体的三维模型。
在步骤2中，将所有所述单个物体的三维模型进行组合，形成与野外可行驶区域相对应的仿真场景。
在一个实施例中，将单个物体的三维模型进行组合，形成与野外可行驶区域相对应的仿真场景，包括：
(1)采用3D图像处理方法(例如游戏引擎)，根据设计要求，从所有单个物体的三维模型中选择相关单个物体的三维模型组合，制作得到一个全栈闭环的静态仿真场景；
(2)对所述静态仿真场景进行动态改变，(即，在静态仿真场景中加入动态元素，例如光照、烟雾、雨雪、人物、动物等等，以获取不同时间、不同天气、不同路况的更加真实的仿真场景)，得到与野外可行驶区域相对应的仿真场景。
从真实世界开始，对真实世界做简化，重点关注野外场景中的可行驶道路区域。结合UE4强大的游戏引擎，可以利用小面积的野外仿真(荒漠、草原、山地或丛林)可行驶道路场景模拟较大面积的对应的真实场景。
在步骤3中，根据所述仿真场景，获取野外可行驶区域的场景图像和图像真值。
在一个实施例中，根据仿真场景，获取野外可行驶区域的场景图像和图像真值，包括：
(1)利用3D图形处理方法(例如3D Studio Max、MAYA软件、Blender等等)，分别在所述仿真场景中的所有不同物体表面染上不同颜色，得到仿真场景的真值模型；
使用UE4直接渲染出来的图像没有畸变，而真实的摄像机拍照会产生畸变，可以加上摄像机的径向畸变和切向畸变模拟，为感知模块输出大量有标注的数据，帮助感知模块训练感知算法，提高轮式机器人的复杂野外场景中的仿真图像的真实性。
(2)在同一位置、以同一角度，利用虚拟相机获取仿真场景真值模型的图像真值以及仿真场景的场景图像，并对图像真值和场景图像进行编号；
(3)多次重复步骤(2)，获取编号的多个仿真场景真值模型的图像真值以及仿真场景的场景图像。
在步骤4中，分别对所述野外可行驶区域的场景图像和图像真值进行处理，得到机器人野外场景可行驶区域数据集。
一个实施例中，对野外可行驶区域的场景图像和图像真值进行处理的过程为：根据编号次序，分别对所述多个仿真场景真值模型的图像真值以及仿真场景的场景图像进行配对，得到多个标注了图像真值的场景图像，多个上述场景图像组成机器人野外场景可行驶区域数据集。
与上述机器人野外可行驶区域数据集制作方法的实施例相对应地，本公开还提出了机器人野外可行驶区域数据集制作装置的实施例。
图3是根据本公开实施例示出的机器人野外可行驶区域数据集制作装置的示意框图。
如图3所示，所述机器人野外可行驶区域数据集制作装置包括：
模型制作模块，用于根据机器人野外可行驶区域场景，分别制作场景中各单个物体的三维模型；
模型处理模块，用于将所有所述单个物体的三维模型进行组合，形成与野外可行驶区域相对应的仿真场景；
图像处理模块，根据所述仿真场景，获取野外可行驶区域的场景图像和图像真值；
数据集处理模块，分别对所述野外可行驶区域的场景图像和图像真值进行处理，得到机器人野外场景可行驶区域数据集。
本公开的实施例还提出了一种电子设备，包括：
存储器，用于存储处理器可执行的指令；
处理器，用于被配置执行：
根据机器人野外可行驶区域场景，分别制作场景中各单个物体的三维模型；
将所有所述单个物体的三维模型进行组合，形成与野外可行驶区域相对应的仿真场景；
根据所述仿真场景，获取野外可行驶区域的场景图像和图像真值；
分别对所述野外可行驶区域的场景图像和图像真值进行处理，得到机器人野外场景可行驶区域数据集。
本公开的实施例还提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序，该程序被处理器执行时实现以下步骤：
根据机器人野外可行驶区域场景，分别制作场景中各单个物体的三维模型；
将所有所述单个物体的三维模型进行组合，形成与野外可行驶区域相对应的仿真场景；
根据所述仿真场景，获取野外可行驶区域的场景图像和图像真值；
分别对所述野外可行驶区域的场景图像和图像真值进行处理，得到机器人野外场景可行驶区域数据集。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：接收第一用户为接入方软件配置引导信息的请求；根据请求，为第一用户提供配置页面；获取第一用户在配置页面为引导信息设置的显示条件和显示位置信息；在引导配置系统中保存引导信息的显示条件和显示位置信息；在监测到接入方软件的运行满足显示条件时，控制接入方软件根据显示位置信息显示引导信息。
或者，上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：接收第一用户为接入方软件配置引导信息的请求；根据请求，为第一用户提供配置页面；获取第一用户在配置页面为引导信息设置的显示条件和显示位置信息；在引导配置系统中保存引导信息的显示条件和显示位置信息；在监测到接入方软件的运行满足显示条件时，控制接入方软件根据显示位置信息显示引导信息。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (8)
1.一种机器人野外可行驶区域数据集制作方法，其特征在于，包括：
根据机器人野外可行驶区域场景，分别制作场景中各单个物体的三维模型；
将所有所述单个物体的三维模型进行组合，形成与野外可行驶区域相对应的仿真场景；
根据所述仿真场景，获取野外可行驶区域的场景图像和图像真值；
分别对所述野外可行驶区域的场景图像和图像真值进行处理，得到机器人野外场景可行驶区域数据集。
2.根据权利要求1所述的机器人野外场景可通行区域数据集制作方法，其特征在于，所述根据机器人野外可行驶区域场景，分别制作场景中各单个物体的三维模型，包括：
(1)拍摄机器人野外可行驶区域场景中一个单个物体的多幅图像；
(2)根据所述多幅图像，重构得到一个单个物体的三维模型；
(3)重复步骤(1)和步骤(2)，得到机器人野外可行驶区域场景中所有单个物体的三维模型。
3.根据权利要求1所述的机器人野外场景可通行区域数据集制作方法，其特征在于，将所有所述单个物体的三维模型进行组合，形成与野外可行驶区域相对应的仿真场景，包括：
(1)采用3D图像处理方法，根据设计要求，从所有单个物体的三维模型中选择相关单个物体的三维模型组合，制作得到一个静态仿真场景；
(2)对所述静态仿真场景进行动态改变，获取不同时间、不同天气、不同路况的更加真实的仿真场景)，得到与野外可行驶区域相对应的仿真场景。
4.根据权利要求1所述的机器人野外场景可通行区域数据集制作方法，其特征在于，根据所述仿真场景，获取野外可行驶区域的场景图像和图像真值，包括：
(1)利用3D图形处理方法，分别在所述仿真场景中的所有不同物体表面染上不同颜色，得到仿真场景的真值模型；
(2)在同一位置、以同一角度，获取仿真场景真值模型的图像真值以及仿真场景的场景图像，并对图像真值和场景图像进行编号；
(3)多次重复步骤(2)，获取编号的多个仿真场景真值模型的图像真值以及仿真场景的场景图像。
5.根据权利要求1所述的机器人野外场景可通行区域数据集制作方法，其特征在于，对所述野外可行驶区域的场景图像和图像真值进行处理，过程为：根据编号次序，分别对所述多个仿真场景真值模型的图像真值以及仿真场景的场景图像进行配对，得到多个标注了图像真值的场景图像，多个上述场景图像组成机器人野外场景可行驶区域数据集。
6.一种机器人野外可行驶区域数据集制作装置，其特征在于，包括：
模型制作模块，用于根据机器人野外可行驶区域场景，分别制作场景中各单个物体的三维模型；
模型处理模块，用于将所有所述单个物体的三维模型进行组合，形成与野外可行驶区域相对应的仿真场景；
图像处理模块，用于根据所述仿真场景，获取野外可行驶区域的场景图像和图像真值；
数据集处理模块，用于分别对所述野外可行驶区域的场景图像和图像真值进行处理，得到机器人野外场景可行驶区域数据集。
7.一种电子设备，其特征在于，包括：
存储器，用于存储处理器可执行的指令；
处理器，用于被配置执行：
根据机器人野外可行驶区域场景，分别制作场景中各单个物体的三维模型；
将所有所述单个物体的三维模型进行组合，形成与野外可行驶区域相对应的仿真场景；
根据所述仿真场景，获取野外可行驶区域的场景图像和图像真值；
分别对所述野外可行驶区域的场景图像和图像真值进行处理，得到机器人野外场景可行驶区域数据集。
8.一种计算机可读存储介质，其特征在于，包括：所述计算机可读存储介质上存储有计算机程序，所述计算机程序用于使所述计算机执行权利要求1-5的任一项所述的机器人野外可行驶区域数据集制作方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111075408.1A CN113902842A (zh) | 2021-09-14 | 2021-09-14 | 机器人野外可行驶区域数据集制作方法、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111075408.1A CN113902842A (zh) | 2021-09-14 | 2021-09-14 | 机器人野外可行驶区域数据集制作方法、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113902842A true CN113902842A (zh) | 2022-01-07 |
Family
ID=79028282
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111075408.1A Pending CN113902842A (zh) | 2021-09-14 | 2021-09-14 | 机器人野外可行驶区域数据集制作方法、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113902842A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108765574A (zh) * | 2018-06-19 | 2018-11-06 | 北京智明星通科技股份有限公司 | 3d场景拟真方法及系统和计算机可读存储介质 |
| CN112232293A (zh) * | 2020-11-09 | 2021-01-15 | 腾讯科技（深圳）有限公司 | 图像处理模型训练、图像处理方法及相关设备 |
| CN112770106A (zh) * | 2020-12-18 | 2021-05-07 | 北京五一视界数字孪生科技股份有限公司 | 硬件在环评价方法、装置、存储介质、电子设备与系统 |
-
2021
- 2021-09-14 CN CN202111075408.1A patent/CN113902842A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108765574A (zh) * | 2018-06-19 | 2018-11-06 | 北京智明星通科技股份有限公司 | 3d场景拟真方法及系统和计算机可读存储介质 |
| CN112232293A (zh) * | 2020-11-09 | 2021-01-15 | 腾讯科技（深圳）有限公司 | 图像处理模型训练、图像处理方法及相关设备 |
| CN112770106A (zh) * | 2020-12-18 | 2021-05-07 | 北京五一视界数字孪生科技股份有限公司 | 硬件在环评价方法、装置、存储介质、电子设备与系统 |
Non-Patent Citations (1)
| Title |
|---|
| 李鹏飞: "《VR游戏设计开发》", 30 November 2018, 暨南大学出版社 , pages: 6 - 20 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108564527B (zh) | 基于神经网络的全景图内容补全和修复的方法及装置 | |
| CN103914802B (zh) | 用于使用导入的深度信息的图像选择和掩蔽的系统与方法 | |
| US20180276882A1 (en) | Systems and methods for augmented reality art creation | |
| CN107016718B (zh) | 一种场景渲染方法和装置 | |
| EP3533218B1 (en) | Simulating depth of field | |
| US10719920B2 (en) | Environment map generation and hole filling | |
| CN110378947B (zh) | 3d模型重建方法、装置及电子设备 | |
| US20200302579A1 (en) | Environment map generation and hole filling | |
| CN109688343A (zh) | 增强现实演播室的实现方法和装置 | |
| CN111932641B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN113205586A (zh) | 图像处理方法及装置、电子设备、计算机可读存储介质 | |
| Kolivand et al. | Covering photo-realistic properties of outdoor components with the effects of sky color in mixed reality | |
| US20220375152A1 (en) | Method for Efficiently Computing and Specifying Level Sets for Use in Computer Simulations, Computer Graphics and Other Purposes | |
| KR20230162107A (ko) | 증강 현실 콘텐츠에서의 머리 회전들에 대한 얼굴 합성 | |
| CN112562056A (zh) | 虚拟演播室中虚拟灯光的控制方法、装置、介质与设备 | |
| CN112734896A (zh) | 环境遮蔽渲染方法、装置、存储介质及电子设备 | |
| JP2023512131A (ja) | マルチアングル画面カバレッジ解析のための装置 | |
| CN115100337A (zh) | 一种基于卷积神经网络的全身人像视频重照明方法和装置 | |
| TWI810818B (zh) | 提供三維模型的電腦實施方法與系統及其相關之儲存媒體 | |
| CN114663324A (zh) | 一种bim模型与gis信息的融合显示方法及相关组件 | |
| CN111870953A (zh) | 一种高度图生成方法、装置、设备及存储介质 | |
| CN110378948B (zh) | 3d模型重建方法、装置及电子设备 | |
| CN109816791B (zh) | 用于生成信息的方法和装置 | |
| US20230222736A1 (en) | Methods and systems for interacting with 3d ar objects from a scene | |
| CN109285160B (zh) | 一种抠像方法与系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |