CN117237575A - 室内场景生成方法、控制装置及可读存储介质 - Google Patents
室内场景生成方法、控制装置及可读存储介质 Download PDFInfo
- Publication number
- CN117237575A CN117237575A CN202311492817.0A CN202311492817A CN117237575A CN 117237575 A CN117237575 A CN 117237575A CN 202311492817 A CN202311492817 A CN 202311492817A CN 117237575 A CN117237575 A CN 117237575A
- Authority
- CN
- China
- Prior art keywords
- scene
- asset
- indoor
- virtual scene
- assets
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000003860 storage Methods 0.000 title claims abstract description 27
- 230000003068 static effect Effects 0.000 claims abstract description 36
- 238000001514 detection method Methods 0.000 claims abstract description 13
- 230000007613 environmental effect Effects 0.000 claims description 10
- 238000004088 simulation Methods 0.000 claims description 7
- 230000002452 interceptive effect Effects 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 abstract description 8
- 238000012549 training Methods 0.000 abstract description 7
- 238000010276 construction Methods 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 abstract description 4
- 230000008447 perception Effects 0.000 abstract description 4
- 238000012360 testing method Methods 0.000 abstract description 4
- 230000006399 behavior Effects 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 9
- 238000007689 inspection Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000000354 decomposition reaction Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000001579 optical reflectometry Methods 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明涉及场景构建技术领域，具体提供一种室内场景生成方法、控制装置及可读存储介质，旨在解决如何更为高效地生成虚拟室内场景数据的问题。为此目的，本发明根据虚拟场景资产来构建室内的镜头3D场景，基于机器人的任务类型，生成机器人的任务轨迹，根据静态3D场景和任务轨迹，进行任务轨迹的碰撞检查，获得碰撞检查结果，根据碰撞检查结果生成最终的室内场景，能够实现自动化的室内场景生成，提升了室内场景的生成效率和场景多样性。结合机器人任务轨迹的碰撞检查，能够确保生成的室内场景的有效性，为视觉检测、视觉导航、具身智能等行为任务提供丰富的任务测试数据，也能为基于深度学习的感知和决策任务的模型训练提供丰富的训练数据。
Description
技术领域
本发明涉及场景构建技术领域，具体提供一种室内场景生成方法、控制装置及可读存储介质。
背景技术
在进行机器人室内3D仿真场景的视觉检测、视觉导航、具身智能等行为任务测试时，以及基于深度学习等感知或决策规划任务等模型训练过程中，都需要丰富的室内场景数据作为数据支持。在真实的室内场景数据有限的前提下，往往需要生成虚拟的室内场景数据。
在虚拟室内场景数据构建过程中，传统的方法一般是采用人工手动搭建场景及人工摆放场景物件，这个过程往往是效率较低的。
相应地，本领域需要一种新的室内场景生成方案来解决上述问题。
发明内容
为了克服上述缺陷，提出了本发明，以提供解决或至少部分地解决如何更为高效地生成虚拟室内场景数据的问题。
在第一方面，本发明提供一种室内场景生成方法，所述方法包括：
基于虚拟场景资产，构建室内的静态3D场景；
基于预设的机器人的任务类型，生成所述机器人的任务轨迹；
基于所述静态3D场景和所述任务轨迹，进行所述任务轨迹的碰撞检查，获得碰撞检查结果；
根据所述碰撞检查结果，生成最终的室内场景。
在上述室内场景生成方法的一个技术方案中，所述虚拟场景资产包括环境布局资产、大型虚拟场景资产、小型虚拟场景资产和装饰型虚拟场景资产；
所述基于虚拟场景资产，构建室内的静态3D场景，包括：
生成所述环境布局资产；
基于所述环境布局资产，进行所述大型虚拟场景资产的随机摆放；
基于摆放后的大型虚拟场景资产和所述环境布局资产，根据所述小型虚拟场景资产的交互功能属性，进行小型虚拟场景资产的随机摆放；
基于摆放后的小型虚拟场景资产、摆放后的大型虚拟场景资产和所述环境布局资产，进行装饰型虚拟场景资产的随机摆放，以构建所述静态3D场景。
在上述室内场景生成方法的一个技术方案中，所述基于所述环境布局资产，进行所述大型虚拟场景资产的随机摆放，包括：
基于所述环境布局资产与所述大型虚拟场景资产遵循临近或相对或远离的相对关系，进行所述大型虚拟场景资产的随机摆放。
在上述室内场景生成方法的一个技术方案中，所述环境布局资产、所述大型虚拟场景资产、所述小型虚拟场景资产和所述装饰型虚拟场景资产之间遵循无干涉原则。
在上述室内场景生成方法的一个技术方案中，所述基于预设的机器人的任务类型，生产所述机器人的任务轨迹，包括：
根据所述任务类型、预设的起点和预设的终点，随机生成所述机器人的途径点，并获取部分途径点上所述机器人的3D位姿；
根据所述起点、所述终点，所述途径点和所述3D位姿，获取所述任务轨迹。
在上述室内场景生成方法的一个技术方案中，所述根据所述碰撞检查结果，生成最终的室内场景，包括：
当所述碰撞检查结果为所述虚拟场景资产与所述机器人存在碰撞时，将所述存在碰撞的虚拟场景资产移除，以根据移除后的静态3D场景，获得所述最终的室内场景。
在上述室内场景生成方法的一个技术方案中，
所述根据移除后的静态3D场景，获得所述最终的室内场景，包括：
在所述移除后的静态3D场景中，重新进行虚拟场景资产的生成，以获得更新后的静态3D场景；并执行“基于所述静态3D场景和所述任务轨迹，进行所述任务轨迹的碰撞检查，获得碰撞检查结果”的步骤，以根据所述检查结果，生成最终的室内场景。
在上述室内场景生成方法的一个技术方案中，所述生成最终的室内场景，包括：
根据所述虚拟场景资产的资产标签，应用物理仿真引擎，生成所述虚拟场景资产的RGB图像和/或深度图和/或语义信息和/或2D标注框和/或3D标注盒和/或位姿数据。
在第二方面，提供一种控制装置，该控制装置包括至少一个处理器和至少一个存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行上述室内场景生成方法的技术方案中任一项技术方案所述的室内场景生成方法。
在第三方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述室内场景生成方法的技术方案中任一项技术方案所述的室内场景生成方法。
本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：
在实施本发明的技术方案中，本发明根据虚拟场景资产来构建室内的镜头3D场景，基于机器人的任务类型，生成机器人的任务轨迹，根据静态3D场景和任务轨迹，进行任务轨迹的碰撞检查，获得碰撞检查结果，根据碰撞检查结果生成最终的室内场景。通过上述配置方式，本发明能够实现自动化的室内场景生成，无需人工操作，有效提升了室内场景的生成效率和场景多样性。同时，结合机器人任务轨迹的碰撞检查，也能够有效确保生成的室内场景的有效性，进而能够为视觉检测、视觉导航、具身智能等行为任务提供更为丰富的任务测试数据，也能够为基于深度学习的感知和决策任务的模型训练提供更为丰富的训练数据。
附图说明
参照附图，本发明的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本发明的保护范围组成限制。其中：
图1是根据本发明的一个实施例的室内场景生成方法的主要步骤流程示意图；
图2是根据本发明实施例的一个实施方式的室内场景生成过程的主要步骤流程示意图。
具体实施方式
下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
在本发明的描述中，“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路，各种合适的感应器，通信端口，存储器，也可以包括软件部分，比如程序代码，也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合，比如只是A、只是B或者A和B。术语“至少一个A或B”或者“A和B中的至少一个”含义与“A和/或B”类似，可以包括只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。
参阅附图1，图1是根据本发明的一个实施例的室内场景生成方法的主要步骤流程示意图。如图1所示，本发明实施例中的室内场景生成方法主要包括下列步骤S101-步骤S104。
步骤S101：基于虚拟场景资产，构建室内的静态3D场景。
在本实施例中，可以基于虚拟场景资产，构建室内的静态3D场景。
一个实施方式中，虚拟场景资产可以包括环境布局资产、大型虚拟场景资产、小型虚拟场景资产和装饰型虚拟场景资产。
一个实施方式中，步骤S101可以进一步包括以下步骤S1011至步骤S1014：
步骤S1011：生成环境布局资产。
步骤S1012：基于环境布局资产，进行大型虚拟场景资产的随机摆放。
步骤S1013：基于摆放后的大型虚拟场景资产和环境布局资产，根据小型虚拟场景资产的交互功能属性，进行小型虚拟场景资产的随机摆放。
步骤S1014：基于摆放后的小型虚拟场景资产、摆放后的大型虚拟场景资产和环境布局资产，进行装饰型虚拟场景资产的随机摆放，以构建静态3D场景。
在本实施方式中，首先可以先生成环境布局资产，如墙面、玻璃、门电梯等。第二，基于环境布局资产，进行大型虚拟场景资产等随机摆放，如家具等。第三，基于摆放后等大型虚拟场景资产和环境布局资产，可以基于小型虚拟场景资产等交互功能属性，进行小型虚拟场景资产等随机摆放，如水杯、食物等。第四，基于摆放后的小型虚拟场景资产、摆放后的大型虚拟场景资产和环境布局资产，进行装饰型虚拟场景资产的随机摆放，如绿植、挂画等，以实现静态3D场景的构建。
其中，交互功能属性（affordance）是指资产可提供的可交互的功能。如，可吃的，可装东西的等。
一个实施方式中，环境布局资产与大型虚拟场景资产遵循临近或相对或远离的相对关系，基于相对关系进行大型虚拟场景资产的随机摆放。即，在进行大型虚拟场景资产的随机摆放过程中，遵循与环境布局资产之间的临近、相对和远离三种相对关系。
一个实施方式中，环境布局资产、大型虚拟场景资产、小型虚拟场景资产和装饰型虚拟场景资产之间遵循无干涉原则。即，环境布局资产、大型虚拟场景资产、小型虚拟场景资产和装饰型虚拟场景资产在摆放过程中相互之间不存在干涉关系。干涉指的是一种外力作用在物体上,使其发生运动或状态改变的过程。
一个实施方式中，环境布局资产、大型虚拟场景资产、小型虚拟场景资产和装饰型虚拟场景资产可以基于3D资产设计师或基于Nerf（神经辐射场）或基于激光雷达扫描重建获得。
其中，虚拟场景资产的物理属性及可交互属性可以由人工或软件进行批量生成。虚拟场景资产的物理数据可以包括物体的反照率(albedo)，基础颜色，金属/粗糙度（metallic/roughness）及高光反射率(specular)等材质属性，以及物体质心位置/质量等。
一个实施方式中，虚拟场景资产的当前状态可通过条件进行切换。虚拟场景资产均可以以凸分解（convex decomposition）的方法生成碰撞体。其中，凸分解是指将物体分解为一系列的互不相交的凸体的集合。
步骤S102：基于预设的机器人的任务类型，生成机器人的任务轨迹。
在本实施例中，可以预设的机器人的任务类型生成机器人的任务轨迹。
一个实施方式中，机器人可以为移动机器人，其任务类型为从起点移动至终点。
一个实施方式中，机器人可以为操作机器人，其任务类型为从起点移动至终点，并在起点和终点之间的途径点位置（包括起点和终点）拿取或放下物品。
一个实施方式中，步骤S102可以进一步包括以下步骤S1021和步骤S1022：
步骤S1021：根据任务类型、预设的起点和预设的终点，随机生成机器人的途径点，并获取部分途径点上机器人的3D位姿。
步骤S1022：根据起点、终点，途径点和3D位姿，获取任务轨迹。
在本实施方式中，可以根据任务类型，起点、终点，随机生成机器人的途径点，并获取在部分途径点上的3D位姿，以基于起点、终点，途径点和3D位姿获取任务轨迹。其中，3D位姿为包括3D坐标和三个方向角，即，3D位姿可以表示为(x, y, z, roll, pitch, yaw)。其中，roll为横滚角，pitch为俯仰角，yaw为偏航角。
针对带有机器手臂的操作机器人，任务可以为抓起物体(PickupObject)，放下物体(PutObject)等，其生成轨迹由起始位姿到目标位姿及部分途径位姿的机器手臂各关节3D位姿组成。同时具有移动及操作功能的机器人，其任务可为组合形式任务，如结合导航的抓取任务(FetchObject)，其生成轨迹则包含移动及操作机器人的起始点、目标点及部分途径点的3D位姿。
一个实施方式中，可以基于起点和终点，应用平滑插值法，随机生成途径点。
步骤S103：基于静态3D场景和任务轨迹，进行任务轨迹的碰撞检查，获得碰撞检查结果。
在本实施例中，可以根据构建的静态3D场景和任务轨迹，来对任务轨迹进行碰撞检查，以确认任务轨迹在静态场景中是否存在碰撞，从而获得碰撞检查结果。其中，碰撞检查(collision check )是指检查机器人轨迹与静态3D场景中的虚拟场景资产之间是否存在干涉关系的过程。即，机器人基于任务轨迹进行导航过程中，存在障碍物，就认为碰撞检查未通过。
步骤S104：根据碰撞检查结果，生成最终的室内场景。
在本实施例中，可以根据碰撞检查结果，来生成最终的室内场景。
一个实施方式中，当碰撞检查结果为虚拟场景资产与机器人存在碰撞时，将存在碰撞的虚拟场景资产移除，以根据移除后的静态3D场景，获得最终的室内场景。
一个实施方式中，在移除后的静态3D场景中，重新进行虚拟场景资产的生成，以获得更新后的静态3D场景，并执行步骤S103，对更新后的静态3D场景进行碰撞检查，以根据检查结果，生成最终的室内场景。
一个实施方式中，最终的室内场景中包含虚拟场景资产的资产标签。可以应用物理仿真引擎，基于资产标签，生成虚拟场景资产的RGB图像、深度图、语义信息、2D标注框、3D标注盒、位姿数据等数据，从而生成最终的室内场景。
一个实施方式中，物理仿真引擎可以为nvidia omniverse（英伟达推出的一个开放的虚拟协作和仿真平台）。nvidia omniverse可提供实时光线追踪的逼真渲染及物理级属性准确的刚体、布料、流体等的模拟，并能够增加机器人导航过程中的拿取、摩擦力等属性。
基于上述步骤S101-步骤S104，本发明实施例根据虚拟场景资产来构建室内的镜头3D场景，基于机器人的任务类型，生成机器人的任务轨迹，根据静态3D场景和任务轨迹，进行任务轨迹的碰撞检查，获得碰撞检查结果，根据碰撞检查结果生成最终的室内场景。通过上述配置方式，本发明实施例能够实现自动化的室内场景生成，无需人工操作，有效提升了室内场景的生成效率和场景多样性。同时，结合机器人任务轨迹的碰撞检查，也能够有效确保生成的室内场景的有效性，进而能够为视觉检测、视觉导航、具身智能等行为任务提供更为丰富的任务测试数据，也能够为基于深度学习的感知和决策任务的模型训练提供更为丰富的训练数据。
一个实施方式中，可以参阅附图2，图2是根据本发明实施例的一个实施方式的构建室内的静态3D场景的主要步骤流程示意图。如图2所示，可以先输入数字资产（虚拟场景资产），根据数字资产基于分层的室内的静态3D场景搭建方法包括：Layer 1：基于墙面/玻璃/门等室内环境Layout（环境布局资产）生产；Layer 2：家具类大型室内资产（大型虚拟场景资产）随机摆放；Layer 3：基于affordance的室内小型物体资产（小型虚拟场景资产）随机摆放；Layer 4：其他装饰类物体（装饰型虚拟场景资产）随机摆放。基于室内的静态3D场景进行机器人形态的任务轨迹生成。基于任务轨迹进行碰撞检查。根据碰撞检查结果，实现图像/深度图数据生成、标注数据生成。
需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本发明的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时（并行）执行或以其他顺序执行，这些变化都在本发明的保护范围之内。
本领域技术人员能够理解的是，本发明实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。
进一步，本发明还提供了一种控制装置。在根据本发明的一个控制装置实施例中，控制装置包括处理器和存储装置，存储装置可以被配置成存储执行上述方法实施例的室内场景生成方法的程序，处理器可以被配置成用于执行存储装置中的程序，该程序包括但不限于执行上述方法实施例的室内场景生成方法的程序。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该控制装置可以是包括各种电子设备形成的控制装置设备。
在本发明实施例中控制装置可以是包括各种电子设备形成的控制装置设备。在一些可能的实施方式中，控制装置可以包括多个存储装置和多个处理器。而执行上述方法实施例的室内场景生成方法的程序可以被分割成多段子程序，每段子程序分别可以由处理器加载并运行以执行上述方法实施例的室内场景生成方法的不同步骤。具体地，每段子程序可以分别存储在不同的存储装置中，每个处理器可以被配置成用于执行一个或多个存储装置中的程序，以共同实现上述方法实施例的室内场景生成方法，即每个处理器分别执行上述方法实施例的室内场景生成方法的不同步骤，来共同实现上述方法实施例的室内场景生成方法。
上述多个处理器可以是部署于同一个设备上的处理器，例如上述控制装置可以是由多个处理器组成的高性能设备，上述多个处理器可以是该高性能设备上配置的处理器。此外，上述多个处理器也可以是部署于不同设备上的处理器，例如上述控制装置可以是服务器集群，上述多个处理器可以是服务器集群中不同服务器上的处理器。
进一步，本发明还提供了一种计算机可读存储介质。在根据本发明的一个计算机可读存储介质实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的室内场景生成方法的程序，该程序可以由处理器加载并运行以实现上述室内场景生成方法。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
进一步，应该理解的是，由于各个模块的设定仅仅是为了说明本发明的装置的功能单元，这些模块对应的物理器件可以是处理器本身，或者处理器中软件的一部分，硬件的一部分，或者软件和硬件结合的一部分。因此，图中的各个模块的数量仅仅是示意性的。
本领域技术人员能够理解的是，可以对装置中的各个模块进行适应性地拆分或合并。对具体模块的这种拆分或合并并不会导致技术方案偏离本发明的原理，因此，拆分或合并之后的技术方案都将落入本发明的保护范围内。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种室内场景生成方法，其特征在于，所述方法包括：
基于虚拟场景资产，构建室内的静态3D场景；
基于预设的机器人的任务类型，生成所述机器人的任务轨迹；
基于所述静态3D场景和所述任务轨迹，进行所述任务轨迹的碰撞检查，获得碰撞检查结果；
根据所述碰撞检查结果，生成最终的室内场景。
2.根据权利要求1所述的室内场景生成方法，其特征在于，
所述虚拟场景资产包括环境布局资产、大型虚拟场景资产、小型虚拟场景资产和装饰型虚拟场景资产；
所述基于虚拟场景资产，构建室内的静态3D场景，包括：
生成所述环境布局资产；
基于所述环境布局资产，进行所述大型虚拟场景资产的随机摆放；
基于摆放后的大型虚拟场景资产和所述环境布局资产，根据所述小型虚拟场景资产的交互功能属性，进行小型虚拟场景资产的随机摆放；
基于摆放后的小型虚拟场景资产、摆放后的大型虚拟场景资产和所述环境布局资产，进行装饰型虚拟场景资产的随机摆放，以构建所述静态3D场景。
3.根据权利要求2所述的室内场景生成方法，其特征在于，
所述基于所述环境布局资产，进行所述大型虚拟场景资产的随机摆放，包括：
基于所述环境布局资产与所述大型虚拟场景资产遵循临近或相对或远离的相对关系，进行所述大型虚拟场景资产的随机摆放。
4.根据权利要求2或3所述的室内场景生成方法，其特征在于，
所述环境布局资产、所述大型虚拟场景资产、所述小型虚拟场景资产和所述装饰型虚拟场景资产之间遵循无干涉原则。
5.根据权利要求1所述的室内场景生成方法，其特征在于，
所述基于预设的机器人的任务类型，生产所述机器人的任务轨迹，包括：
根据所述任务类型、预设的起点和预设的终点，随机生成所述机器人的途径点，并获取部分途径点上所述机器人的3D位姿；
根据所述起点、所述终点，所述途径点和所述3D位姿，获取所述任务轨迹。
6.根据权利要求1所述的室内场景生成方法，其特征在于，
所述根据所述碰撞检查结果，生成最终的室内场景，包括：
当所述碰撞检查结果为所述虚拟场景资产与所述机器人存在碰撞时，将所述存在碰撞的虚拟场景资产移除，以根据移除后的静态3D场景，获得所述最终的室内场景。
7.根据权利要求6所述的室内场景生成方法，其特征在于，
所述根据移除后的静态3D场景，获得所述最终的室内场景，包括：
在所述移除后的静态3D场景中，重新进行虚拟场景资产的生成，以获得更新后的静态3D场景；并执行“基于所述静态3D场景和所述任务轨迹，进行所述任务轨迹的碰撞检查，获得碰撞检查结果”的步骤，以根据所述检查结果，生成最终的室内场景。
8.根据权利要求1所述的室内场景生成方法，其特征在于，
所述生成最终的室内场景，包括：
根据所述虚拟场景资产的资产标签，应用物理仿真引擎，生成所述虚拟场景资产的RGB图像和/或深度图和/或语义信息和/或2D标注框和/或3D标注盒和/或位姿数据。
9.一种控制装置，包括至少一个处理器和至少一个存储装置，所述存储装置适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行权利要求1至8中任一项所述的室内场景生成方法。
10.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至8中任一项所述的室内场景生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311492817.0A CN117237575B (zh) | 2023-11-10 | 2023-11-10 | 室内场景生成方法、控制装置及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311492817.0A CN117237575B (zh) | 2023-11-10 | 2023-11-10 | 室内场景生成方法、控制装置及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117237575A true CN117237575A (zh) | 2023-12-15 |
| CN117237575B CN117237575B (zh) | 2024-02-06 |
Family
ID=89095144
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311492817.0A Active CN117237575B (zh) | 2023-11-10 | 2023-11-10 | 室内场景生成方法、控制装置及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117237575B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110721468A (zh) * | 2019-09-30 | 2020-01-24 | 腾讯科技（深圳）有限公司 | 互动道具控制方法、装置、终端及存储介质 |
| CN111569424A (zh) * | 2020-05-14 | 2020-08-25 | 北京代码乾坤科技有限公司 | 游戏场景内的物理结算方法和装置 |
| CN112150575A (zh) * | 2020-10-30 | 2020-12-29 | 深圳市优必选科技股份有限公司 | 场景数据获取方法及模型训练方法、装置及计算机设备 |
| CN113272838A (zh) * | 2020-05-19 | 2021-08-17 | 深圳元戎启行科技有限公司 | 虚拟场景生成方法、装置、计算机设备和存储介质 |
| CN115186473A (zh) * | 2022-07-07 | 2022-10-14 | 北京交通大学 | 一种基于平行智能的场景感知建模与验证方法 |
| US11481970B1 (en) * | 2021-05-28 | 2022-10-25 | End To End, Inc. | Modeling indoor scenes using measurements captured using mobile devices |
| CN115578236A (zh) * | 2022-08-29 | 2023-01-06 | 上海智能制造功能平台有限公司 | 基于物理引擎和碰撞实体的位姿估计虚拟数据集生成方法 |
-
2023
- 2023-11-10 CN CN202311492817.0A patent/CN117237575B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110721468A (zh) * | 2019-09-30 | 2020-01-24 | 腾讯科技（深圳）有限公司 | 互动道具控制方法、装置、终端及存储介质 |
| CN111569424A (zh) * | 2020-05-14 | 2020-08-25 | 北京代码乾坤科技有限公司 | 游戏场景内的物理结算方法和装置 |
| CN113272838A (zh) * | 2020-05-19 | 2021-08-17 | 深圳元戎启行科技有限公司 | 虚拟场景生成方法、装置、计算机设备和存储介质 |
| CN112150575A (zh) * | 2020-10-30 | 2020-12-29 | 深圳市优必选科技股份有限公司 | 场景数据获取方法及模型训练方法、装置及计算机设备 |
| US11481970B1 (en) * | 2021-05-28 | 2022-10-25 | End To End, Inc. | Modeling indoor scenes using measurements captured using mobile devices |
| CN115186473A (zh) * | 2022-07-07 | 2022-10-14 | 北京交通大学 | 一种基于平行智能的场景感知建模与验证方法 |
| CN115578236A (zh) * | 2022-08-29 | 2023-01-06 | 上海智能制造功能平台有限公司 | 基于物理引擎和碰撞实体的位姿估计虚拟数据集生成方法 |
Non-Patent Citations (2)
| Title |
|---|
| 李秀芝;韩亮;孙琦;姚楠;: "虚拟实验室场景人机交互系统实验设计", 实验技术与管理, no. 03 * |
| 梅海艺: "基于仿真场景虚拟数据生成和域适应的场景流预测方法研究", 《中国优秀博硕士学位论文全文数据库(电子期刊) 信息科技辑》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117237575B (zh) | 2024-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102622776B (zh) | 三维环境重构 | |
| Deitke et al. | Robothor: An open simulation-to-real embodied ai platform | |
| US11244189B2 (en) | Systems and methods for extracting information about objects from scene information | |
| CN112150575B (zh) | 场景数据获取方法及模型训练方法、装置及计算机设备 | |
| CN110026987A (zh) | 一种机械臂抓取轨迹的生成方法、装置、设备及存储介质 | |
| US20150123968A1 (en) | Occlusion render mechanism for point clouds | |
| CN109887003A (zh) | 一种用于进行三维跟踪初始化的方法与设备 | |
| EP2973433A2 (en) | Mapping augmented reality experience to various environments | |
| CN111161388B (zh) | 零售商品货架图像的生成方法、系统、设备和存储介质 | |
| CN110276804B (zh) | 数据处理方法及装置 | |
| Piumsomboon et al. | Physically-based interaction for tabletop augmented reality using a depth-sensing camera for environment mapping | |
| KR20200136723A (ko) | 가상 도시 모델을 이용하여 객체 인식을 위한 학습 데이터 생성 방법 및 장치 | |
| CN102592306A (zh) | 虚拟环境中遮挡的估计方法 | |
| CN117274353B (zh) | 合成图像数据生成方法、控制装置及可读存储介质 | |
| CN110930492A (zh) | 模型渲染的方法、装置、计算机可读介质及电子设备 | |
| CN117237575B (zh) | 室内场景生成方法、控制装置及可读存储介质 | |
| Di Paola et al. | A gaming approach for cultural heritage knowledge and dissemination | |
| US20230154062A1 (en) | Augmented reality (ar) object communication and interaction system and method | |
| US20230154102A1 (en) | Representing 3d shapes with probabilistic directed distance fields | |
| CN114065490A (zh) | 一种车辆轨迹跟踪的仿真方法、装置、设备及存储介质 | |
| Hempe et al. | Taking the step from edutainment to eRobotics-A novel approach for an active render-framework to face the challenges of modern, multi-domain VR simulation systems | |
| CN102184517A (zh) | 动态场景中一种快速求交算法 | |
| Hong et al. | Design and Implementation of Path Planning for Wheel‐Track Hybrid Mobile Robot | |
| Barros-Sobrín et al. | Gamification for road asset inspection from Mobile Mapping System data | |
| US20240058954A1 (en) | Training robot control policies |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |