CN116127783B - 一种虚拟世界生成系统 - Google Patents
一种虚拟世界生成系统 Download PDFInfo
- Publication number
- CN116127783B CN116127783B CN202310315967.8A CN202310315967A CN116127783B CN 116127783 B CN116127783 B CN 116127783B CN 202310315967 A CN202310315967 A CN 202310315967A CN 116127783 B CN116127783 B CN 116127783B
- Authority
- CN
- China
- Prior art keywords
- module
- sensing
- platform
- data
- engine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008447 perception Effects 0.000 claims abstract description 85
- 230000033001 locomotion Effects 0.000 claims description 82
- 238000003860 storage Methods 0.000 claims description 36
- 239000000463 material Substances 0.000 claims description 35
- 238000003384 imaging method Methods 0.000 claims description 33
- 239000012530 fluid Substances 0.000 claims description 32
- 230000006870 function Effects 0.000 claims description 32
- 230000003993 interaction Effects 0.000 claims description 30
- 230000008451 emotion Effects 0.000 claims description 26
- 238000004891 communication Methods 0.000 claims description 25
- 238000001514 detection method Methods 0.000 claims description 25
- 238000000034 method Methods 0.000 claims description 24
- 230000005236 sound signal Effects 0.000 claims description 22
- 238000012986 modification Methods 0.000 claims description 20
- 230000004048 modification Effects 0.000 claims description 20
- 239000007788 liquid Substances 0.000 claims description 19
- 239000007787 solid Substances 0.000 claims description 19
- 230000009471 action Effects 0.000 claims description 16
- 230000003287 optical effect Effects 0.000 claims description 16
- 238000013473 artificial intelligence Methods 0.000 claims description 14
- 238000007726 management method Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 12
- 238000005259 measurement Methods 0.000 claims description 11
- 210000004556 brain Anatomy 0.000 claims description 10
- 230000037147 athletic performance Effects 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 9
- 230000001815 facial effect Effects 0.000 claims description 9
- 230000001360 synchronised effect Effects 0.000 claims description 9
- 238000001931 thermography Methods 0.000 claims description 9
- 230000006855 networking Effects 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 7
- 230000003190 augmentative effect Effects 0.000 claims description 7
- 239000004065 semiconductor Substances 0.000 claims description 7
- 238000005286 illumination Methods 0.000 claims description 6
- 230000001339 gustatory effect Effects 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 238000005481 NMR spectroscopy Methods 0.000 claims description 3
- 230000000386 athletic effect Effects 0.000 claims description 3
- 230000004886 head movement Effects 0.000 claims description 3
- 230000036651 mood Effects 0.000 claims description 3
- 238000001556 precipitation Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000029058 respiratory gaseous exchange Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 86
- 230000007613 environmental effect Effects 0.000 description 19
- 238000012545 processing Methods 0.000 description 18
- 239000007789 gas Substances 0.000 description 17
- 238000004590 computer program Methods 0.000 description 11
- 241000283973 Oryctolagus cuniculus Species 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 5
- 230000010365 information processing Effects 0.000 description 4
- 239000011664 nicotinic acid Substances 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000009776 industrial production Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 238000012876 topography Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000003592 biomimetic effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 238000011555 rabbit model Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 239000013535 sea water Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开涉及一种虚拟世界生成系统,所述系统包括感知系统、元计算模块和虚拟世界诞生模块,其中,所述感知系统,用于获取物理世界的感知数据;所述元计算模块,用于根据所述感知数据构建环境模型和对象模型,并获取或提供所述对象模型对应的规律引擎,所述规律引擎用于模拟物理世界中的规律;所述虚拟世界诞生模块,用于将所述环境模型、所述对象模型以及所述规律引擎进行结合,生成与所述物理世界对应的虚拟世界。本公开实施例提供的虚拟世界生成系统能够获取物理实体对象的多维度数据、构建一致性的多维度多时空数字孪生模型。
Description
技术领域
本公开涉及计算机技术领域,尤其涉及一种虚拟世界生成系统。
背景技术
数字孪生是借助信息技术,刻画一个跟现实世界实体高度逼真的数字孪生模型,或称为数字孪生体。数字孪生也就是通过给一个物理对象建立数字化的模型,实现物理对象与数字模型之间数据和信息的交互、联系与反馈的技术。
目前的数字孪生技术可以用于产品中,通过采集设备的运行数据,并与其数字孪生模型在相同工况下的仿真结果对比,分析设备的运行是否正常。同时也可以用于工厂中,在工厂的建设前期、建设期间以及运行期间通过数字孪生工厂提高工厂的产能、降低能耗。但是当前的数字孪生技术仍存在下述问题:无法可靠地获取物理实体对象的多维度数据、无法构建一致性的多维多时空尺度高保真模型。
发明内容
有鉴于此,本公开提出了一种虚拟世界生成系统,对物理世界的实体对象进行多维度的识别,通过元计算模块对大量数据进行分析处理,从而搭建出多维度多时空的数字孪生模型。
根据本公开的一方面,提供了一种虚拟世界生成系统,包括感知系统、元计算模块和虚拟世界诞生模块,其中,所述感知系统,用于获取物理世界的感知数据;所述元计算模块,用于根据所述感知数据构建环境模型和对象模型,并获取或提供所述对象模型对应的规律引擎,所述规律引擎用于模拟物理世界中的规律;所述虚拟世界诞生模块,用于将所述环境模型、所述对象模型以及所述规律引擎进行结合,生成与所述物理世界对应的虚拟世界。
在本公开实施例中,通过感知系统获取物理世界的多维度感知数据,并通过元计算模块根据获得的感知数据搭建环境模型和对象模型,通过虚拟世界诞生模块结合规则引擎生成所述物理世界对应的虚拟世界,可以看出,通过所述系统可以得到物理世界的多维度数据,并据此生成多维度多时空的数字孪生模型。
在一种可能的实现方式中,所述感知系统包括感知平台、感知控制模块以及至少一个感知模块,其中,所述感知平台用于搭载所述至少一个感知模块;所述感知控制模块用于为所述感知平台提供通信能力以及控制所述至少一个感知模块;所述至少一个感知模块用于获取所述感知数据。
在一种可能的实现方式中,所述感知平台包括电源管理模块、平台动力模块、平台控制模块、平台识别模块、陀螺仪位置模块、平台结构模块和平台人工智能模块中的至少一种,其中,所述电源管理模块,用于为所述感知控制模块和所述感知模块提供电力,以满足所述感知控制模块和所述感知模块的工作要求;所述平台动力模块,用于为所述感知系统提供动力,以实现对所述感知平台的驱动;所述平台控制模块,用于控制所述感知平台的姿态,以使所述感知平台的姿态满足获取所述感知数据时的需求;所述平台识别模块,用于提供所述感知平台的识别编码,以及为所述感知平台提供鉴权功能,其中,所述识别编码用于实现对所述感知平台的管理,所述鉴权功能用于保证所述感知平台的安全;所述陀螺仪位置模块,用于提供所述感知平台的运动信息和位置信息;所述平台结构模块,用于构成所述感知平台的结构支撑,提供所述感知平台的稳定模式;所述平台人工智能模块,用于在全模式下进行对所述感知平台的自动控制和数据分析,或在所述感知平台处于单机模式或者静默状态下,自主规划任务路径。
在一种可能的实现方式中,所述感知平台包括空基平台、海基平台和陆基平台中的至少一种。
在一种可能的实现方式中,所述空基平台包括球形飞行器、仿生飞行器和无人机中的至少一种,所述海基平台包括无人水面船舶、无人水下航行器和水面机器人中的至少一种,所述陆基平台包括地面移动机器人和固定位置随动平台设备中的至少一种。
在一种可能的实现方式中,所述平台控制模块包括空基平台控制系统、海基平台控制系统、陆基平台控制系统中的至少一种,其中,所述空基平台控制系统,用于控制所述空基平台的姿态,所述空基平台的姿态控制包括俯仰控制、滚转控制和偏航控制中的至少一种;所述海基平台控制系统,用于控制所述海基平台的姿态,所述海基平台的姿态控制包括悬停控制、移动控制和下潜控制中的至少一种;所述陆基平台控制系统,用于控制所述陆基平台的姿态,所述陆基平台的姿态控制包括移动控制、圆弧运动控制和关节控制中的至少一种。
在一种可能的实现方式中,所述平台动力模块包括电机驱动动力模块、气动驱动动力模块和液压驱动动力模块中的至少一种,其中,所述电机驱动动力模块,用于为所述感知平台在旋转或者直线运动的过程中提供动力;所述气动驱动动力模块,用于为所述感知平台在第一幅度的旋转或者直线运动过程中提供动力,所述第一幅度大于第一阈值;所述液压驱动动力模块,用于为所述感知平台在直线运动过程中提供动力。
在一种可能的实现方式中,所述平台识别模块用于为所述感知平台提供鉴权功能,包括:所述平台识别模块用于对请求与所述感知平台进行连接或者请求对所述感知平台进行控制的电子设备进行鉴权。
在一种可能的实现方式中,所述感知平台包括静默状态和在线状态中的至少一种,其中,在所述静默状态下,所述平台控制模块用于根据平台人工智能模块规划的任务路径控制所述感知平台的姿态,以便于所述至少一个感知模块获取到感知数据;在所述在线状态下,所述平台控制模块用于根据接受到的任务路径控制所述感知平台的姿态,以便于所述至少一个感知模块获取感知数据。
在一种可能的实现方式中,所述感知平台包括单机模式和联机模式中的至少一种,其中,在所述单机模式下,所述感知平台独立执行任务,不与其他感知平台通信;在所述联机模式下,所述感知平台与其他感知平台组成网络,合作执行任务。
在一种可能的实现方式中,所述平台人工智能模块包括任务规划模块和导航模块,其中,所示导航模块,用于获取地图信息和地形测量信息;所述任务规划模块,用于根据任务指令规划当前位置与所述任务地点之间的任务路径,并控制所述感知模块。
在一种可能的实现方式中,所述感知系统包括多机协作模块,所述多机协作模块用于多个所述感知平台根据任务指令共同协作完成任务。
在一种可能的实现方式中,所述感知系统的多机协作模块包括地图建模模块、任务分配模块和冲突控制模块,其中,所述地图建模模块,用于根据所述任务指令对预设范围内的地形进行建模并更新地图信息;所述任务分配模块,用于根据所述任务指令确定感知平台的数量并为每个感知平台分配任务;所述冲突控制模块,用于接收各感知平台的规划路径,并将预测发生冲突的路径进行优化。
在一种可能的实现方式中,所述感知平台处于静默状态且处于联机模式的情况下,所述多个感知平台组成临时网络连接,通过组网的模式进行通信。
在一种可能的实现方式中,在所述感知平台处于无线组网模式的情况下,任意一个所述感知平台均能够作为其他感知平台的数据转发中继,以多跳互连的形式形成相对稳定的网络。
在一种可能的实现方式中,所述感知控制模块包括通信单元、控制单元和智能单元中的至少一种,所述感知平台上搭载至少一个感知模块,其中,所述通信单元,用于实现所述感知系统内部的通信以及所述感知系统与所述元计算模块之间的通信;所述控制单元,用于基于指令控制所述至少一个感知模块。
在一种可能的实现方式中,所述感知控制模块还包括安全模块,所述安全模块用于对接入所述感知系统的设备进行身份校验,以及对所述感知系统的交互信息进行编解码,以保证通信安全。
在一种可能的实现方式中,所述感知数据至少包括三维成像数据、生命体的生物数据、生命体或者物品的空间位置数据以及环境数据。
在一种可能的实现方式中,所述至少一个感知模块包括三维扫描成像模块、生物感知模块、空间位置感知模块和环境感知模块中的至少一种;其中,所述三维扫描成像模块,用于获取三维成像数据;所述生物感知模块,用于获取生物数据;所述空间位置感知模块,用于获取空间位置数据或运动轨迹;所述环境感知模块,用于获取环境数据。
在一种可能的实现方式中,所述三维成像数据包括扫描数据、图像数据和距离数据中的至少一种;所述三维扫描成像模块包括激光模块、相位测量模块和机器视觉模块中的至少一种;其中,所述激光模块,用于获取扫描数据;所述机器视觉模块,用于获取图像数据;所述相位测量模块,用于获取第一距离数据,所述第一距离数据表示所述激光模块的扫描对象或者所述机器视觉模块的拍摄对象与所述感知平台的距离。
在一种可能的实现方式中,所述激光模块包括:第一激光器模块,用于投射激光到目标物体表面上,得到第一激光条纹;采集模块,用于采集所述第一激光条纹,得到所述扫描数据。
在一种可能的实现方式中,所述相位测量模块包括:第二激光器模块条,用于投射激光到目标物体表面上,得到第二激光条纹;条纹识别模块,用于识别所述第二激光条纹得到所述第一距离数据。
在一种可能的实现方式中,所述生物感知模块包括热成像模块、听觉感知模块、运动捕捉模块、情绪感知模块、触觉感知模块、材质感知模块、核磁共振模块、嗅觉感知模块和味觉感知模块中的中的至少一种。
在一种可能的实现方式中,所述热成像模块包括光子探测模块和热探测模块中的至少一种,其中,所述光子探测模块,用于温度小于第一温度的环境的探测;所述热探测模块,用于温度大于或者等于所述第一温度的环境的探测。
在一种可能的实现方式中,所述听觉感知模块包括振动检测模块、除噪模块和信号调节模块,其中,所述振动检测模块,用于采集声音信号;所述除噪模块,用于筛选所述声音信号中的目标声音信号,所述目标声音信号为目标生物发出的声音信号;所述信号调节模块,用于对所述目标声音信号的幅度进行调节。
在一种可能的实现方式中,所述运动捕捉模块包括惯性捕捉模块和光学捕捉模块中的至少一种;其中,所述光学捕捉模块,用于在亮度大于第一亮度的环境下进行动作捕捉;所述惯性捕捉模块,用于在亮度小于或者等于所述第一亮度的环境下进行动作捕捉。
在一种可能的实现方式中,所述情绪感知模块包括面部识别模块、肢体识别模块、呼吸识别模块、脑识别模块和皮肤识别模块中的至少一种;其中,所述面部识别模块,用于通过面部细节动作识别目标生物的情绪,所述面部细节动作包括眼部动作、鼻部动作、嘴部动作中的至少一种;所述肢体识别模块,用于通过肢体动作识别目标生物的情绪,所述肢体动作包括头部动作、肢体运动幅度、手部动作、脚步动作中的至少一种;所述呼吸识别模块,用于通过呼吸状态识别目标生物的情绪,所述呼吸状态包括呼吸时间比率和呼吸空气量比率中的至少一种;所述脑识别模块,用于通过脑电波识别目标生物的情绪;所述皮肤识别模块,用于通过皮肤电导值识别目标生物的情绪。
在一种可能的实现方式中,所述触觉感知模块包括压力识别模块、温度识别模块和质感识别模块中的至少一种;其中,所述压力识别模块,用于识别目标生物表面的压力;所述温度识别模块,用于识别目标生物的温度;所述质感识别模块,用于识别目标生物的光滑度和质感。
在一种可能的实现方式中,所述材质感知模块包括:声波发生模块,用于产生高频超声波,并将所述高频超声波发送到目标;材质识别模块,用于根据接收到的声波识别所述目标的材质。
在一种可能的实现方式中,所述嗅觉感知模块包括半导体式识别模块和生物式识别模块中的至少一种;其中,所述半导体式识别模块,用于识别浓度大于第一浓度阈值的气体;所述生物式识别模块,用于识别浓度小于第一浓度阈值的气体。
在一种可能的实现方式中,所述空间位置感知模块包括空间感知模块、空间位置模块、空间跟踪模块中的至少一种,其中,所述空间感知模块用于获取第二距离数据,所述空间感知模块包括光学测距模块、声学测距模块、机器视觉测距模块中的至少一种,所述第二距离数据表示所述对象与所述感知平台之间的距离;所述空间位置模块用于获取所述对象的坐标数据,所述空间跟踪模块用于跟踪所述对象的距离变化。
在一种可能的实现方式中,所述环境感知模块包括固体感知模块、液体感知模块和气体感知模块中的中的至少一种;其中,所述固体感知模块,用于感知固体信息,所述固体信息包括固体的成分和/或强度;所述液体感知模块,用于感知液体信息,所述液体信息包括液体的成分和/或密度;所述气体感知模块,用于感知气体信息,所述气体信息包括气体的成分和/或密度。
在一种可能的实现方式中,所述环境感知模块还包括环境温度感知模块、湿度感知模块、雨量感知模块、光照感知模块和风力感知模块中的至少一种;其中,所述环境感知模块,用于感知周围环境的温度信息;所述湿度感知模块,用于感知周围环境的湿度信息;所述雨量感知模块,用于感知降水量信息;所述光照感知模块,用于感知周围环境的亮度信息;所述风力感知模块,用于感知风向信息和风速信息。
在一种可能的实现方式中,所述环境感知模块还包括环境分析模块,所述环境分析模块用于对所述固体信息、液体信息、气体信息、温度信息、湿度信息、降水量信息、亮度信息和风向风速信息中的至少一者进行分析,得到所述环境信息。
在一种可能的实现方式中,所述感知系统还包括存储模块,所述存储模块用于存储感知系统采集到的数据。
在一种可能的实现方式中,所述元计算模块包括环境重建模块、生物感知重建模块和虚拟规律引擎识别模块,其中,所述环境重建模块,用于基于所述环境数据构建所述环境模型;所述生物感知重建模块,用于基于所述三维成像数据、所述生物数据和所述空间位置数据构建所述对象模型;所述虚拟规律引擎识别模块,用于基于所述三维成像数据和所述生物数据获取所述对象模型对应的规律引擎。
在一种可能的实现方式中,所述系统还包括虚拟世界引擎模块,所述虚拟世界引擎模块包括材料引擎模块、力学引擎模块、运动引擎模块和流体引擎模块中的至少一种,其中,所述材料引擎模块,用于模拟不同材料在物理世界的属性功能;所述力学引擎模块,用于模拟不同物体在物理世界的力学表现;所述运动引擎模块,用于模拟不同物体在物理世界的运动表现;所述流体引擎模块,用于模拟不同流体在物理世界的流体表现;所述虚拟规律引擎识别模块,用于从所述材料引擎模块、所述力学引擎模块、所述运动引擎模块以及所述流体引擎模块中查找与所述感知数据对应的属性功能、力学表现、运动表现和流体表现中的至少一种,并将查找到的属性功能、力学表现、运动表现和流体表现中的至少一种作为所述对象模型对应的规律引擎。
在一种可能的实现方式中,所述元计算模块还包括物理规律引擎识别模块;所述物理规律引擎识别模块,用于在所述虚拟规律引擎识别模块未查找到与所述感知数据对应的属性功能、力学表现、运动表现或者流体表现的情况下,自主感知所述物理世界的规律数据,并基于所述规律数据生成所述对象模型对应的规律引擎,以及在所述材料引擎模块、所述力学引擎模块、所述运动引擎模块和所述流体引擎模块中的至少一种中存储所生成的规律引擎。
在一种可能的实现方式中,所述虚拟世界引擎模块还包括虚拟规律引擎存储模块;所述虚拟规律引擎存储模块,用于存储虚拟规律引擎。
在一种可能的实现方式中,所述虚拟世界引擎模块还包括虚拟规律引擎获取模块;所述虚拟规律引擎获取模块,用于接收所述虚拟规律引擎,并基于所述虚拟规律引擎的规律数据将所述虚拟规律引擎存储至对应的所述材料引擎模块、所述力学引擎模块、所述运动引擎模块、所述流体引擎模块和所述虚拟规律引擎存储模块中的至少一种。
在一种可能的实现方式中,所述虚拟世界诞生模块包括环境重现模块、对象放置模块、规律优化模块,其中,所述环境重现模块,用于基于所述环境模型进行环境布局和重现;所述对象放置模块,用于基于所述对象模型的信息进行对象模型的定位和重现;所述规律优化模块,用于基于根据所述规律引擎对所述重现的环境模型和对象模型进行优化生成虚拟世界。
在一种可能的实现方式中,所述系统还包括世界修改模块,所述世界修改模块包括模型修改模块和坐标修改模块,其中,所述模型修改模块,用于修改所述对象模型和所述环境模型的参数;所述坐标修改模块,用于修改所述对象模型在环境模型中的定位的坐标位置。
在一种可能的实现方式中,所述系统还包括世界切换模块,所述世界切换模块包括同步世界切换模块和虚拟世界切换模块,其中,所述同步世界切换模块,用于将所述虚拟世界的状态切换至与所述物理世界同步的状态;所述虚拟世界切换模块,用于切换到所述虚拟世界的状态。
在一种可能的实现方式中,所述系统还包括交互模块,所述交互模块,用于提供所述虚拟世界与现实世界的交互接口。
在一种可能的实现方式中,所述交互接口包括五感交互接口、虚拟现实设备接口、增强现实设备接口、脑机接口、人机接口和全息接口中的至少一种。
根据本公开的一方面,提供了一种电子设备,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为调用所述存储器存储的指令,以部署上述系统。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本公开。根据下面参考附图对示例性实施例的详细说明,本公开的其它特征及方面将变得清楚。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。
图1示出了根据本公开实施例的虚拟世界生成系统的框图。
图2示出本公开实施例提供的感知系统的框图。
图3示出本公开实施例提供的感知模块的框图。
图4示出本公开实施例提供的三维扫描成像模块的框图。
图5示出本公开实施例提供的激光模块的框图。
图6示出本公开实施例提供的相位测量模块的框图。
图7示出本公开实施例提供的生物感知模块的框图。
图8示出本公开实施例提供的热成像模块的框图。
图9示出本公开实施例提供的听觉感知模块的框图。
图10示出本公开实施例提供的运动捕捉模块的框图。
图11示出本公开实施例提供的情绪感知模块的框图。
图12示出本公开实施例提供的触觉感知模块的框图。
图13示出本公开实施例提供的材质感知模块的框图。
图14示出本公开实施例提供的嗅觉感知模块的框图。
图15示出本公开实施例提供的空间位置感知模块的框图。
图16示出本公开实施例提供的环境感知模块的框图。
图17示出本公开实施例提供的感知平台的框图。
图18示出本公开实施例提供的平台控制模块的框图。
图19示出本公开实施例提供的平台动力模块的框图。
图20示出本公开实施例提供的平台人工智能模块的框图。
图21示出本公开实施例提供的感知系统的框图。
图22示出本公开实施例提供的多机协作模块的框图。
图23示出本公开实施例提供的感知控制模块的框图。
图24示出本公开实施例提供的感知系统的框图。
图25示出本公开实施例提供的元计算模块的框图。
图26示出了根据本公开实施例的虚拟世界生成系统的框图。
图27示出本公开实施例提供的虚拟世界引擎模块的框图。
图28示出本公开实施例提供的元计算模块的框图。
图29示出本公开实施例提供的虚拟世界引擎模块的框图。
图30示出本公开实施例提供的虚拟世界诞生模块的框图。
图31示出了根据本公开实施例的虚拟世界生成系统的框图。
图32示出本公开实施例提供的世界修改模块的框图。
图33示出了根据本公开实施例的虚拟世界生成系统的框图。
图34示出本公开实施例提供的世界切换模块的框图。
图35示出了根据本公开实施例的虚拟世界生成系统的框图。
图36示出本公开实施例提供的交互模块的框图。
图37示出了根据本公开实施例的虚拟世界生成系统的整体框图。
图38示出根据本公开实施例的一种电子设备1900的框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
另外,为了更好地说明本公开,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有某些具体细节,本公开同样可以实施。在一些实例中,对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述,以便于凸显本公开的主旨。
图1示出了根据本公开实施例的虚拟世界生成系统的框图。如图1所示,所述虚拟世界生成系统可以包括感知系统11、元计算模块12和虚拟世界诞生模块13。
其中,所述感知系统11,用于获取物理世界的感知数据。
在数字孪生技术中,搭建数字孪生模型需要对物理世界的信息进行实时性准确性的传输,因此,对于搭建多维度、多时空的数字孪生模型首先也需要获取到物理世界的感知数据,为了能够获取到多种使用场景的信息,就需要多种传感器间相互配合,即通过一个感知系统来获取物理世界的感知数据。
在一种可能的实现方式中,所述感知数据可以包括三维成像数据、生命体的生物数据、生命体或者物品的空间位置数据以及环境数据。所述感知系统可以对物理世界的任意多种数据进行采集,感知数据的种类越多,数字孪生模型的维度就越高,数字孪生模型与物理世界的相似度也就越高。所述感知系统进行感知数据采集时,不仅可以对物理世界的非生物数据进行采集(例如环境中的水分、土壤数据等),还可以对物理世界的生物数据进行采集(例如生物的温度等),这样保证了感知数据的完整性和丰富度。
图2示出本公开实施例提供的感知系统的框图。如图2所示,所述感知系统包括感知平台、感知控制模块以及至少一个感知模块,其中,所述感知平台用于搭载所述至少一个感知模块;所述感知控制模块用于为所述感知平台提供通信能力以及控制所述至少一个感知模块;所述至少一个感知模块用于获取所述感知数据。
在本公开实施例中,所述感知平台可以根据指令完成指定的收集任务,并为感知模块提供搭载位置,根据需要搭载单个类别或多个类别的感知模块,为了可以获取物理世界中的多种数据,所述感知平台可以包括多种形式,可以是路基平台、海基平台、空基平台的形式,也可以是无人仿生机器人,工业生产线上各类职能机器人。所述感知控制模块为感知平台与感知模块之间提供通信的能力,可以将感知模块获取到的感知数据传输给感知平台,通过感知平台传输到系统中。所述感知模块可以收集物理世界的各种数据,根据不同的需要,感知模块可以包括传感器、摄像头、传感器网关、二维码标签和识别器、全球定位系统(Global Positioning System,GPS)等具有感知功能的感应器件或者将上述的感应器件进行组网得到的感应网络。所述感知系统通过感知平台搭载感知模块完成指定的采集任务,感知平台通过感知控制模块控制感知模块收集感知数据,感知模块收集到的感知数据又通过感知控制模块传输给感知平台,这样,感知系统就可以根据指令完成数据的采集。
图3示出本公开实施例提供的感知模块的框图。如图3所示,所述至少一个感知模块包括三维扫描成像模块、生物感知模块、空间位置感知模块和环境感知模块中的至少一种;其中,所述三维扫描成像模块,用于获取三维成像数据;所述生物感知模块,用于获取生物数据;所述空间位置感知模块,用于获取空间位置数据或运动轨迹;所述环境感知模块,用于获取环境数据。
图4示出本公开实施例提供的三维扫描成像模块的框图。所述三维成像数据包括扫描数据、图像数据和距离数据中的至少一种。如图4所示,所述三维扫描成像模块包括激光模块、相位测量模块和机器视觉模块中的至少一种;其中,所述激光模块,用于获取扫描数据;所述机器视觉模块,用于获取图像数据;所述相位测量模块,用于获取第一距离数据,所述第一距离数据表示所述激光模块的扫描对象或者所述机器视觉模块的拍摄对象与所述感知平台的距离。
在本公开实施例中,所述三维扫描成像模块可以快速扫描被测物体,不需要反射棱镜即可直接获取高精度的扫描点云数据(即三维成像数据),通过三维成像数据可以快速建立结构复杂、不规则的场景的三维可视化模型。
图5示出本公开实施例提供的激光模块的框图。如图5所示,所述激光模块包括:第一激光器模块,用于投射激光到目标物体表面上,得到第一激光条纹;采集模块,用于采集所述第一激光条纹,得到所述扫描数据。
图6示出本公开实施例提供的相位测量模块的框图。如图6所示,所述相位测量模块包括:第二激光器模块,用于投射激光到目标物体表面上,得到第二激光条纹;条纹识别模块,用于识别所述第二激光条纹得到所述第一距离数据。
在本公开实施例中,在想要对物体采集三维成像数据时,可以通过第一激光器模块投射激光到目标物体表面上,得到第一激光条纹,然后通过采集模块采集所述第一激光条纹,得到所述扫描数据,再通过第二激光器模块投射激光到目标物体表面上,得到第二激光条纹,经过条纹识别模块识别所述第二激光条纹得到第一距离数据。
图7示出本公开实施例提供的生物感知模块的框图。如图7所示,所述生物感知模块包括热成像模块、听觉感知模块、运动捕捉模块、情绪感知模块、触觉感知模块、材质感知模块、核磁共振模块、嗅觉感知模块和味觉感知模块中的中的至少一种。
在本公开实施例中,所述生物感知数据为生物的活体数据,通过不同的感知模块将生物对不同物体的五感和状态记录下来,通过生物感知数据在数字孪生世界中,使用者也可以对目标物体的对应数字模型产生相同的五感和状态,通过生物感知数据可以让数字孪生世界更加真实。
图8示出本公开实施例提供的热成像模块的框图。如图8所示,所述热成像模块包括光子探测模块和热探测模块中的至少一种,其中,所述光子探测模块,用于温度小于第一温度的环境的探测;所述热探测模块,用于温度大于或者等于所述第一温度的环境的探测。
在本公开实施例中,所述热成像模块可以通过非接触探测红外能量(热量),并将其转换为电信号,进而在显示器上生成热图像和温度值,并可以对温度值进行计算,在环境温度大于第一温度的情况下,可以通过热探测模块进行探测,在环境温度小于第一温度的情况下,可以通过光子探测模块进行探测,其中,第一温度可以根据实际需要设置,在一个示例中,第一温度可以是100K(-173℃),在环境温度低于100K的情况下通过光子探测模块进行探测可以获得较快的探测速度。
图9示出本公开实施例提供的听觉感知模块的框图。如图9所示,所述听觉感知模块包括振动检测模块、除噪模块和信号调节模块,其中,所述振动检测模块,用于采集声音信号;所述除噪模块,用于筛选所述声音信号中的目标声音信号,所述目标声音信号为目标生物发出的声音信号;所述信号调节模块,用于对所述目标声音信号的幅度进行调节。
在本公开实施例中,所述听觉感知模块可以获取听觉数据,例如获取物理世界的声音数据,通过振动检测模块采集声音信号,通过除噪模块对声音信号中的目标声音信号进行识别,再通过信号调节模块增强目标声音信号的幅度得到听觉数据。
图10示出本公开实施例提供的运动捕捉模块的框图。如图10所示,所述运动捕捉模块包括惯性捕捉模块和光学捕捉模块中的至少一种;其中,所述光学捕捉模块,用于在亮度大于第一亮度的环境下进行动作捕捉;所述惯性捕捉模块,用于在亮度小于或者等于所述第一亮度的环境下进行动作捕捉。
在本公开实施例中,所述运动捕捉模块可以准确测量运动物体在三维空间的运动状况,可以包括光学捕捉模块和惯性捕捉模块,在环境的亮度大于第一亮度的情况下,可以通过光学捕捉模块进行动作捕捉,光学捕捉模块通过捕捉目标对象的光点位置推断其在三维空间中的位置变化,由此完成动作捕捉,在环境的亮度小于第一亮度的情况下,可以通过惯性捕捉模块进行动作捕捉,惯性捕捉模块通过传感器直接测量目标对象的三维转动量和加速度,以此完成动作捕捉,得到目标对象的运动数据。
图11示出本公开实施例提供的情绪感知模块的框图。如图11所示,所述情绪感知模块包括面部识别模块、肢体识别模块、呼吸识别模块、脑识别模块和皮肤识别模块中的至少一种;其中,所述面部识别模块,用于通过面部细节动作识别目标生物的情绪,所述面部细节动作包括眼部动作、鼻部动作、嘴部动作中的至少一种;所述肢体识别模块,用于通过肢体动作识别目标生物的情绪,所述肢体动作包括头部动作、肢体运动幅度、手部动作、脚步动作中的至少一种;所述呼吸识别模块,用于通过呼吸状态识别目标生物的情绪,所述呼吸状态包括呼吸时间比率和呼吸空气量比率中的至少一种;所述脑识别模块,用于通过脑电波识别目标生物的情绪;所述皮肤识别模块,用于通过皮肤电导值识别目标生物的情绪。
在本公开实施例中,所述情绪感知模块可以获取到目标生物有关于情绪方面的感知数据,例如对目标生物的面部表情和肢体工作分析目标生物当前的情绪状态,在获得目标生物的情绪状态后可以将不同的情绪状态作为感知数据传到系统中,这样,在数字孪生世界里面使用者可以体会到目标生物的情绪变化。
图12示出本公开实施例提供的触觉感知模块的框图。如图12所示,所述触觉感知模块包括压力识别模块、温度识别模块和质感识别模块中的至少一种;其中,所述压力识别模块,用于识别目标生物表面的压力;所述温度识别模块,用于识别目标生物的温度;所述质感识别模块,用于识别目标生物的光滑度和质感。
图13示出本公开实施例提供的材质感知模块的框图。如图13所示,所述材质感知模块包括:声波发生模块,用于产生高频超声波,并将所述高频超声波发送到目标;材质识别模块,用于根据接收到的声波识别所述目标的材质。
图14示出本公开实施例提供的嗅觉感知模块的框图。如图14所示,所述嗅觉感知模块包括半导体式识别模块和生物式识别模块中的至少一种;其中,所述半导体式识别模块,用于识别浓度大于第一浓度阈值的气体;所述生物式识别模块,用于识别浓度小于第一浓度阈值的气体。
在本公开实施例中,通过触觉感知模块、材质感知模块、嗅觉感知模块对目标生物的外表和气味进行采集,通过数字孪生技术将其传输到数字世界中,这样,使用者就可以通过数字孪生世界真实的感受到生物的存在。
图15示出本公开实施例提供的空间位置感知模块的框图。如图15所示,所述空间位置感知模块包括空间感知模块、空间位置模块、空间跟踪模块中的至少一种,其中,所述空间感知模块用于获取第二距离数据,所述空间感知模块包括光学测距模块、声学测距模块、机器视觉测距模块中的至少一种,所述第二距离数据表示所述对象与所述感知平台之间的距离;所述空间位置模块用于获取所述对象的坐标数据,所述空间跟踪模块用于跟踪所述对象的距离变化。
在本公开实施例中,空间位置感知模块可以得到空间位置数据或运动轨迹,通过光学测距模块、声学测距模块、机器视觉测距模块对目标对象的距离进行测量,通过空间位置模块获取目标对象的坐标,并根据空间跟踪模块跟踪目标对象的距离变化,通过目标对象的坐标和与感知平台间的距离变化得到目标对象的空间位置数据和运动轨迹。
图16示出本公开实施例提供的环境感知模块的框图。如图16所示,所述环境感知模块包括固体感知模块、液体感知模块和气体感知模块中的中的至少一种;其中,所述固体感知模块,用于感知固体信息,所述固体信息包括固体的成分和/或强度;所述液体感知模块,用于感知液体信息,所述液体信息包括液体的成分和/或密度;所述气体感知模块,用于感知气体信息,所述气体信息包括气体的成分和/或密度。
如图16所示,所述环境感知模块还包括环境温度感知模块、湿度感知模块、雨量感知模块、光照感知模块和风力感知模块中的至少一种;其中,所述环境感知模块,用于感知周围环境的温度信息;所述湿度感知模块,用于感知周围环境的湿度信息;所述雨量感知模块,用于感知降水量信息;所述光照感知模块,用于感知周围环境的亮度信息;所述风力感知模块,用于感知风向信息和风速信息。
如图16所示,所述环境感知模块还包括环境分析模块,所述环境分析模块用于对所述固体信息、液体信息、气体信息、温度信息、湿度信息、降水量信息、亮度信息和风向风速信息中的至少一者进行分析,得到所述环境信息。
在本公开实施例中,所述环境感知模块可以得到环境数据,通过多种不同的环境感知模块可以将物理世界中的固体信息、液体信息和气体信息进行采集,例如不同高度下空气中压强和含氧量,还可以将物理世界中的气候信息进行采集,例如对当前环境中的降雨量和风向进行记录,这样就可以在数字孪生世界中模拟当前的环境和气象变化,让使用者真正做到身历其境。
在本公开实施例中,所述感知系统在设置好了需要的感知模块后,还需要感知平台来搭载感知模块完成任务,所述感知平台除了需要搭载感知模块外,本身还可以满足不同的任务目的,下面对本公开的感知平台进行说明。
图17示出本公开实施例提供的感知平台的框图。如图17所示,所述感知平台包括电源管理模块、平台动力模块、平台控制模块、平台识别模块、陀螺仪位置模块、平台结构模块和平台人工智能模块中的至少一种,其中,所述电源管理模块,用于为所述感知控制模块和所述感知模块提供电力,以满足所述感知控制模块和所述感知模块的工作要求;所述平台动力模块,用于为所述感知系统提供动力,以实现对所述感知平台的驱动;所述平台控制模块,用于控制所述感知平台的姿态,以使所述感知平台的姿态满足获取所述感知数据时的需求;所述平台识别模块,用于提供所述感知平台的识别编码,以及为所述感知平台提供鉴权功能,其中,所述识别编码用于实现对所述感知平台的管理,所述鉴权功能用于保证所述感知平台的安全;所述陀螺仪位置模块,用于提供所述感知平台的运动信息和位置信息;所述平台结构模块,用于构成所述感知平台的结构支撑,提供所述感知平台的稳定模式;所述平台人工智能模块,用于在全模式下进行对所述感知平台的自动控制和数据分析,或在所述感知平台处于单机模式或者静默状态下,自主规划任务路径。
在本公开实施例中,所述感知平台的电源管理模块可以为感知控制模块和感知模块提供工作所需要的电力,所述电源管理模块的电源单独为感知控制模块和感知模块供电,不受感知平台其他模块的干扰。
在一种可能的实现方式中,所述感知平台包括空基平台、海基平台和陆基平台中的至少一种。所述空基平台包括球形飞行器、仿生飞行器和无人机中的至少一种,所述海基平台包括无人水面船舶、无人水下航行器和水面机器人中的至少一种,所述陆基平台包括地面移动机器人和固定位置随动平台设备中的至少一种。
其中,仿生飞行器为模仿鸟类、昆虫等生物扑动翅膀的飞行方式的飞行器,例如可以是仿蜻蜓飞行器、仿翠鸟飞行器等,所述无人机可以包括无人固定翼飞机、无人垂直起降飞机、无人飞艇、无人直升机、无人多旋翼飞行器、无人伞翼机等。
图18示出本公开实施例提供的平台控制模块的框图。如图18所示,所述平台控制模块包括空基平台控制系统、海基平台控制系统、陆基平台控制系统中的至少一种,其中,所述空基平台控制系统,用于控制所述空基平台的姿态,所述空基平台的姿态控制包括俯仰控制、滚转控制和偏航控制中的至少一种;所述海基平台控制系统,用于控制所述海基平台的姿态,所述海基平台的姿态控制包括悬停控制、移动控制和下潜控制中的至少一种;所述陆基平台控制系统,用于控制所述陆基平台的姿态,所述陆基平台的姿态控制包括移动控制、圆弧运动控制和关节控制中的至少一种。
在本公开实施例中,所述空基平台的姿态可以包括俯仰控制、滚转控制和偏航控制中的至少一种,三种不同的方向姿态可以复合成任何复杂的机动动作,空基平台还具有防抖、悬停、防撞等功能,这样,所述感知系统可以采集到空中需要采集的感知数据。所述海基平台可以是海面上的船舶、水上机器人,还可以是海面下的水下航行器、水下机器人等,所述海基平台的姿态可以包括悬停控制、移动控制和下潜控制中的至少一种,对于海面上的海基平台,主要的姿态可以是横摇、纵摇、艏摇、横荡、纵荡、垂荡,对海面下的海基平台,主要的姿态可以是下潜、移动和悬停,这样,所述感知系统可以采集到海面上或者海面下需要采集到的感知数据。所述路基平台可以是陆地机器人、工业用到的生产设备和机动车辆等,主要的姿态可以是对工业用到的生产设备的简单机械运动,例如对机械臂的关节调整,也可以是对陆地机器人的移动控制,使其根据不同的实际环境进行数据采集,这样,所述感知系统可以采集到陆地上需要采集的感知数据。
图19示出本公开实施例提供的平台动力模块的框图。如图19所示,所述平台动力模块包括电机驱动动力模块、气动驱动动力模块和液压驱动动力模块中的至少一种,其中,所述电机驱动动力模块,用于为所述感知平台在旋转或者直线运动的过程中提供动力;所述气动驱动动力模块,用于为所述感知平台在第一幅度的旋转或者直线运动过程中提供动力,所述第一幅度大于第一阈值;所述液压驱动动力模块,用于为所述感知平台在直线运动过程中提供动力。
在本公开实施例中,所述感知平台在工作的过程中需要平台动力模块提供动力,根据感知平台的不同,平台动力模块提供动力的方式也有所不同,例如,当感知平台为功率较大的工业机器人系统时,可以通过液压驱动的方式对其提供动力,当感知平台为精度需求不高的上下料机器人时,可以通过气动驱动的方式对其提供动力。此外,当平台动力模块通过电机驱动的方式对感知平台提供动力时,可以是传统电机驱动方式,还可以通过新能源发电来控制电机驱动。
在一种可能的实现方式中,所述平台识别模块用于为所述感知平台提供鉴权功能,包括:所述平台识别模块用于对请求与所述感知平台进行连接或者请求对所述感知平台进行控制的电子设备进行鉴权。
在一种可能的实现方式中,所述感知平台包括静默状态和在线状态中的至少一种,其中,在所述静默状态下,所述平台控制模块用于根据平台人工智能模块规划的任务路径控制所述感知平台的姿态,以便于所述至少一个感知模块获取到感知数据;在所述在线状态下,所述平台控制模块用于根据接受到的任务路径控制所述感知平台的姿态,以便于所述至少一个感知模块获取感知数据。
在一种可能的实现方式中,所述感知平台包括单机模式和联机模式中的至少一种,其中,在所述单机模式下,所述感知平台独立执行任务,不与其他感知平台通信;在所述联机模式下,所述感知平台与其他感知平台组成网络,合作执行任务。
在本公开实施例中,所述感知平台可以为静默状态和在线状态中的一种,也可以是单机模式和联机模式中的一种,即所述感知平台可以包括四种情况,即单机模式下的静默状态、单机模式下的在线状态、联机模式下的静默状态和联机模式下在线状态。
图20示出本公开实施例提供的平台人工智能模块的框图。如图20所示,所述平台人工智能模块包括任务规划模块和导航模块,其中,所示导航模块,用于获取地图信息和地形测量信息;所述任务规划模块,用于根据任务指令规划当前位置与所述任务地点之间的任务路径,并控制所述感知模块。
图21示出本公开实施例提供的感知系统的框图。如图21所示,在图2的基础上,所述感知系统包括多机协作模块,所述多机协作模块用于多个所述感知平台根据任务指令共同协作完成任务。
图22示出本公开实施例提供的多机协作模块的框图。如图22所示,所述感知系统的多机协作模块包括地图建模模块、任务分配模块和冲突控制模块,其中,所述地图建模模块,用于根据所述任务指令对预设范围内的地形进行建模并更新地图信息;所述任务分配模块,用于根据所述任务指令确定感知平台的数量并为每个感知平台分配任务;所述冲突控制模块,用于接收各感知平台的规划路径,并将预测发生冲突的路径进行优化。
在一种可能的实现方式中,所述感知平台处于静默状态且处于联机模式的情况下,所述多个感知平台组成临时网络连接,通过组网的模式进行通信。在所述感知平台处于无线组网模式的情况下,任意一个所述感知平台均能够作为其他感知平台的数据转发中继,以多跳互连的形式形成相对稳定的网络。
在本公开实施例中,当所述感知平台处于联机模式时,可以通过多机协作模块完成指定的任务,在感知平台接收到任务后,多个感知平台可以组成临时的网络连接,共同完成任务,在搭建好组网后,各个感知平台可以通过地图建模模块针对任务指令对周围的地形进行探测并实时更新周围的地图信息,在获得有效的地图信息后,任务分配模块可以根据任务指令确定感知平台的数量,并根据各个感知平台所携带的感知模块和所处位置确定每个感知平台需要完成的任务,在上述多个感知平台接收到本身需要完成的任务后,就通过平台人工智能模块对任务路径进行规划,冲突控制模块根据各个感知平台的自主规划路径对可能发生冲突的感知平台进行路径优化,到此为止,每个感知平台都得到了需要完成的任务和相应的规划路径,根据对应的规划路径和任务控制感知模块就可以完成多机协作的感知数据采集。
在本公开实施例中,当所述感知平台处于在线状态时,所述感知系统与远端控制平台进行实时数据传输,无论感知平台此时是联机模式还是单机模式使用者都可以根据指令对其进行控制,在一个示例中,使用者可以通过远端操作平台对感知系统传递指令,所述感知系统中的感知平台在接收到使用者传递的指令后根据控制指令的任务路径进行运动,并且根据接收到的指令对搭载的感知模块进行控制,以此获得感知数据,当所述感知平台处于静默状态时,所述感知系统与远端控制平台的连接断开或不进行实时数据传输,在一个示例中,使用者可以提前对感知系统输入任务指令,所述感知平台通过平台人工智能模块对所述任务指令进行分析,并规划自身的任务路径和感知模块的控制时序,以此获得感知数据。
图23示出本公开实施例提供的感知控制模块的框图。如图23所示,所述感知控制模块包括通信单元、控制单元和智能单元中的至少一种,所述感知平台上搭载至少一个感知模块,其中,所述通信单元,用于实现所述感知系统内部的通信以及所述感知系统与所述元计算模块之间的通信,所述通信单元可以包括5G通信模块和星链通信模块;所述控制单元,用于基于指令控制所述至少一个感知模块。
如图23所示,所述感知控制模块还包括安全模块,所述安全模块用于对接入所述感知系统的设备进行身份校验,以及对所述感知系统的交互信息进行编解码,以保证通信安全。
图24示出本公开实施例提供的感知系统的框图。如图24所示,在图2的基础上,所述感知系统还包括存储模块,所述存储模块用于存储感知系统采集到的数据。
在本公开实施例中,所述感知系统中的感知平台和感知模块可以通过感知控制模块进行数据传输,所述感知平台根据规划的感知模块时序对感知模块进行控制,在需要感知模块进行数据采集时,感知平台将控制指令通过感知控制模块传递给感知模块,在感知模块获得感知数据后,感知系统可以将感知数据存储到存储模块中,也可以通过感知控制模块与元计算模块之间进行通信,将感知数据上传到远端的控制平台。
如图1所示,所述虚拟世界生成系统还包括所述元计算模块12,所述元计算模块12用于根据所述感知数据构建环境模型和对象模型,并获取或提供所述对象模型对应的规律引擎,所述规律引擎用于模拟物理世界中的规律。
在本公开实施例中,所述感知系统将获得的感知数据上传给元计算模块后,所述元计算模块可以根据得到的感知数据进行数字孪生模型的搭建,根据模块中存储的规则引擎对所述感知数据进行数据分析和重组,并据此将现实世界在数字世界中进行还原,完成数字孪生模型的搭建。
图25示出本公开实施例提供的元计算模块的框图。如图25所示,所述元计算模块包括环境重建模块、生物感知重建模块和虚拟规律引擎识别模块,其中,所述环境重建模块,用于基于所述环境数据构建所述环境模型;所述生物感知重建模块,用于基于所述三维成像数据、所述生物数据和所述空间位置数据构建所述对象模型;所述虚拟规律引擎识别模块,用于基于所述三维成像数据和所述生物数据获取所述对象模型对应的规律引擎。
在本公开实施例中,所述元计算模块可以包括数字化模型生成模块,所述数字化模型生成模块可以包括环境重建模块和生物感知重建模块,元计算模块可以根据感知数据中的环境数据完成对现实世界中环境的孪生,在一个示例中,所述元计算模块可以结合环境数据对现有的基础环境模型进行修改,也可以根据模块中的规则引擎和环境数据重新搭建一个环境模型。所述元计算模块还可以根据感知数据中的三维成像数据、生物数据和空间位置数据完成对现实世界中生物或非生物的孪生,在一个示例中,所述元计算模块可以根据三维成像数据将现实世界中的生产设备在数字世界中进行孪生得到生产设备的数字模型,并根据空间位置数据对得到的数字模型在数字世界中进行定位,以此得到现实世界中的目标对象在数字世界中数字孪生模型。
图26示出了根据本公开实施例的虚拟世界生成系统的框图。如图26所示,在图1的基础上,所述系统还包括虚拟世界引擎模块14,图27示出本公开实施例提供的虚拟世界引擎模块的框图。如图27所示,所述虚拟世界引擎模块包括材料引擎模块、力学引擎模块、运动引擎模块和流体引擎模块中的至少一种,其中,所述材料引擎模块,用于模拟不同材料在物理世界的属性功能;所述力学引擎模块,用于模拟不同物体在物理世界的力学表现;所述运动引擎模块,用于模拟不同物体在物理世界的运动表现;所述流体引擎模块,用于模拟不同流体在物理世界的流体表现;所述虚拟规律引擎识别模块,用于从所述材料引擎模块、所述力学引擎模块、所述运动引擎模块以及所述流体引擎模块中查找与所述感知数据对应的属性功能、力学表现、运动表现和流体表现中的至少一种,并将查找到的属性功能、力学表现、运动表现和流体表现中的至少一种作为所述对象模型对应的规律引擎。
图28示出本公开实施例提供的元计算模块的框图。如图28所示,在图25的基础上,所述元计算模块还包括物理规律引擎识别模块;所述物理规律引擎识别模块,用于在所述虚拟规律引擎识别模块未查找到与所述感知数据对应的属性功能、力学表现、运动表现或者流体表现的情况下,自主感知所述物理世界的规律数据,并基于所述规律数据生成所述对象模型对应的规律引擎,以及在所述材料引擎模块、所述力学引擎模块、所述运动引擎模块和所述流体引擎模块中的至少一种中存储所生成的规律引擎。
图29示出本公开实施例提供的虚拟世界引擎模块的框图。如图29所示,在图27的基础上,所述虚拟世界引擎模块还包括虚拟规律引擎存储模块;所述虚拟规律引擎存储模块,用于存储虚拟规律引擎。
如图29所示,在图27的基础上,所述虚拟世界引擎模块还包括虚拟规律引擎获取模块;所述虚拟规律引擎获取模块,用于接收所述虚拟规律引擎,并基于所述虚拟规律引擎的规律数据将所述虚拟规律引擎存储至对应的所述材料引擎模块、所述力学引擎模块、所述运动引擎模块、所述流体引擎模块和所述虚拟规律引擎存储模块中的至少一种。
在本公开实施例中,元计算模块在接收到感知数据后,可以根据得到的感知数据和模块中的规则引擎完成对物理世界的数字孪生模型的搭建,在这过程中,规则引擎的选择和来源就显得极为重要,元计算模块内部存储有材料引擎模块、力学引擎模块、运动引擎模块、流体引擎模块这些基本规则模块,在得到感知数据后,通过虚拟规律引擎识别模块在上述四种引擎模块中寻找与感知数据相匹配的规则引擎,例如,通过材料引擎模块对工件的材料属性进行模拟,得到与现实世界对应的工件数字孪生模型。在一个示例中,感知系统将在雪地中运动中的雪兔的感知数据传输到元计算模块中,元计算模块根据得到的感知数据可以先完成对雪地和雪兔的建模,得到环境模型和生物模型,之后根据感知数据选择相应的规则引擎完善雪地模型和雪兔模型,即在材料引擎模块中寻找到雪兔表皮的属性,在力学引擎模块中寻找雪落在雪兔身上时的力学表现,在运动引擎模块中寻找雪兔奔跑时的运动表现,根据不同的规则引擎对最初搭建的生物模型进行完善得到雪兔的数字孪生模型。
在本公开实施例中,元计算模块在寻找规则引擎以完成数字孪生模型的搭建时,如果没有寻找到对应的规则引擎,则可以通过物理规则引擎识别模块自主感知物理世界中的规律,并将得到规则引擎存储到对应的引擎模块中。在一个示例中,感知平台可以为水下航行器,这样可以通过感知系统得到深海下的环境数据,在元计算模块接收到深海的感知数据后可以建立深海的环境模型,并在流体引擎模块中寻找深海的海水表现,在流体引擎模块中没有寻找到对应的流体表现的情况下,通过物理规则引擎识别模块自主感知深海的海水表现,得到对应的规则引擎,完善环境模型,并将得到的深海海水表现存储到流体引擎模块中,得到更新后的引擎模块。
在本公开实施例中,元计算模块在寻找规则引擎以完成数字孪生模型的搭建时,如果没有寻找到对应的规则引擎,则可以通过虚拟规律引擎获取模块接收虚拟规则引擎。在一个示例中,感知平台可以为月球探测器,这样可以通过感知系统得到月球的部分环境数据,在元计算模型接收到月球的感知数据后可以建立月球的环境模型,并在力学引擎模块中寻找月球的力学表现,在力学引擎模块中没有寻找到对应的力学表现的情况下,使用者可以通过虚拟规则引擎获取模块将外部创建的规则引擎上传到系统中,元计算模块接收到所述规则引擎后,完善月球的环境模型,并将所述规则引擎存储在力学引擎模块中,得到更新后的引擎模块。
如图1所示,所述虚拟世界生成系统还包括虚拟世界诞生模块13,所述虚拟世界诞生模块13用于将所述环境模型、所述对象模型以及所述规律引擎进行结合,生成与所述物理世界对应的虚拟世界。
图30示出本公开实施例提供的虚拟世界诞生模块的框图。如图30所示,所述虚拟世界诞生模块包括环境重现模块、对象放置模块、规律优化模块,其中,所述环境重现模块,用于基于所述环境模型进行环境布局和重现;所述对象放置模块,用于基于所述对象模型的信息进行对象模型的定位和重现;所述规律优化模块,用于基于根据所述规律引擎对所述重现的环境模型和对象模型进行优化生成虚拟世界。
在本公开实施例中,在得到环境模型、对象模型和所述的规则引擎后,可以将它们进行结合得到完整的对物理世界数字孪生的数字世界。得到对应的环境模型后,可以通过环境重现模块对其进行重新布局和重现,即将数字世界中的环境信息替换为环境模型中携带的环境信息,以此完成对现实世界的环境重现,在得到对应的目标对象模型后,可以通过对象放置模块,将所述对象模型在数字世界中进行与现实世界对应的定位,在环境模型和对象模型都在数字世界中布置完成后,通过规则引擎对其进行优化。在一个示例中,感知系统通过多机协作模式将一条小溪从水面至水下一米的所有数据进行采集,通过元计算模块对感知数据进行分析和处理,完成对小溪模型和河中生物模型的搭建,虚拟世界诞生模块用小溪模型的数据替换当前数字世界的环境数据,并将对应的各个生物模型完成相应的定位,通过对应的规则模型完成对其的优化得到完整的小溪数字孪生模型。
图31示出了根据本公开实施例的虚拟世界生成系统的框图。如图31所示,在图1的基础上,所述系统还包括世界修改模块15,图32示出本公开实施例提供的世界修改模块的框图。如图32所示,所述世界修改模块包括模型修改模块和坐标修改模块,其中,所述模型修改模块,用于修改所述对象模型和所述环境模型的参数;所述坐标修改模块,用于修改所述对象模型在环境模型中的定位的坐标位置。
在本公开实施例中,在得到数字孪生模型后,还可以对其进行修改得到满足使用者目的的虚拟世界模型,在一个示例中,在得到数字孪生模型后,可以通过世界修改模块对其进行修改,例如改变当前数字孪生世界中的环境模型的参数,将温度从20°修改为15°,也可以改变当前数字孪生世界中的对象模型的位置或将其去除。
图33示出了根据本公开实施例的虚拟世界生成系统的框图。如图33所示,在图1的基础上,所述系统还包括世界切换模块16,图34示出本公开实施例提供的世界切换模块的框图。如图34所示,所述世界切换模块包括同步世界切换模块和虚拟世界切换模块,其中,所述同步世界切换模块,用于将所述虚拟世界的状态切换至与所述物理世界同步的状态;所述虚拟世界切换模块,用于切换到所述虚拟世界的状态。
在本公开实施例中,在得到虚拟世界模型后,可以通过世界切换模块将数字世界的状态在数字孪生模型和虚拟世界模型中切换,所述数字孪生模型即实时跟随物理世界变化的虚拟世界,所述虚拟世界模型即根据使用者需要设置的虚拟世界。
图35示出了根据本公开实施例的虚拟世界生成系统的框图。如图35所示,在图1的基础上,所述系统还包括交互模块19,所述交互模块,用于提供所述虚拟世界与现实世界的交互接口。
图36示出本公开实施例提供的交互模块的框图。如图36所示,所述交互模块可以包括五感交互接口、虚拟现实设备接口、增强现实设备接口、脑机接口、人机接口和全息接口中的至少一种。
其中,五感交互接口可以实现五感交互功能。这里的五感指的是使用者的视觉、听觉、嗅觉、味觉、触觉等。也就是说,全息交互模块可以通过五感交互接口获取到使用者的的视觉、听觉、嗅觉、味觉、触觉信息,并将所述信息作为交互信息。
虚拟现实(Virtual Reality,VR)设备接口可以用来提供VR设备接口,从而获取使用者的面部信息和人体行为信息,并将所述面部信息和人体行为信息作为交互信息。
增强现实设备接口(Augmented Reality,AR)可以用来提供AR设备接口可以用来提供AR设备接口,从而获取使用者的语义、手势等信息,并将所述语义、手势信息作为交互信息。
人机接口是指人与计算机之间建立联系、交换信息的输入/输出设备的接口,这些设备包括键盘、显示器、打印机、鼠标器等。脑机接口,指在使用者与外部设备之间创建的直接连接,实现脑与设备的信息交换。所述人机/脑机接口可以获取使用者的神经信号或电信号,并将所述神经信号和电信号作为交互信息。
全息接口可以用来提供全息设备接口,从而获取使用者的动作信息,并将所述动作信息作为交互信息。
图37示出了根据本公开实施例的虚拟世界生成系统的整体框图。如图37所示,本公开实施例公开的虚拟世界生成系统可以通过感知系统中的空间感知模块感知到目标对象的空间位置和运动状态,通过三维扫描成像模块感知到目标对象的三维数据,通过生物感知模块感知到目标对象的生物数据,通过环境感知模块感知到当前环境的环境数据,将上述的感知数据通过通信控制模块传输到系统的元计算模块中,元计算模块根据接收到的感知数据通过数字化模型生成模块建立物理世界采集对象对应的数字孪生模型,即环境模型和对象模型,并通过虚拟世界引擎模块对得到的数字孪生模型进行优化,得到优化后的环境模型和对象模型,再通过虚拟世界诞生模块将环境模型和对象模型通过选定的规则引擎进行虚拟世界的生成得到完整的虚拟世界,使用者可以通过全息交互模块对虚拟世界进行修改和数据交互,并通过世界切换模型选择想要进行数据交互的虚拟世界,通过上述方法可以得到多维度多时空的数字孪生模型。
可以理解,本公开提及的上述各个方法实施例,在不违背原理逻辑的情况下,均可以彼此相互结合形成结合后的实施例,限于篇幅,本公开不再赘述。本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
本公开实施例还提出一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时运行上述系统。计算机可读存储介质可以是易失性或非易失性计算机可读存储介质。
本公开实施例还提出一种电子设备,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为调用所述存储器存储的指令,以部署上述系统。
本公开实施例还提供了一种计算机程序产品,包括计算机可读代码,或者承载有计算机可读代码的非易失性计算机可读存储介质,当所述计算机可读代码在电子设备的处理器中运行时,所述电子设备中的处理器运行上述系统。
本公开涉及增强现实领域,通过获取现实环境中的目标对象的图像信息,进而借助各类视觉相关算法实现对目标对象的相关特征、状态及属性进行检测或识别处理,从而得到与具体应用匹配的虚拟与现实相结合的AR效果。示例性的,目标对象可涉及与人体相关的脸部、肢体、手势、动作等,或者与物体相关的标识物、标志物,或者与场馆或场所相关的沙盘、展示区域或展示物品等。视觉相关算法可涉及视觉定位、SLAM、三维重建、图像注册、背景分割、对象的关键点提取及跟踪、对象的位姿或深度检测等。具体应用不仅可以涉及跟真实场景或物品相关的导览、导航、讲解、重建、虚拟效果叠加展示等交互场景,还可以涉及与人相关的特效处理,比如妆容美化、肢体美化、特效展示、虚拟模型展示等交互场景。可通过卷积神经网络,实现对目标对象的相关特征、状态及属性进行检测或识别处理。上述卷积神经网络是基于深度学习框架进行模型训练而得到的网络模型。
图38示出根据本公开实施例的一种电子设备1900的框图。例如,电子设备1900可以被提供为一服务器或终端设备。参照图38,电子设备1900包括处理组件1922,其进一步包括一个或多个处理器,以及由存储器1932所代表的存储器资源,用于存储可由处理组件1922的执行的指令,例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件1922被配置为执行指令,以执行上述方法。
电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源管理,一个有线或无线网络接口1950被配置为将电子设备1900连接到网络,和一个输入输出(I/O)接口1958。电子设备1900可以操作基于存储在存储器1932的操作系统,例如微软服务器操作系统(Windows ServerTM),苹果公司推出的基于图形用户界面操作系统(Mac OSXTM),多用户多进程的计算机操作系统(UnixTM),自由和开放原代码的类Unix操作系统(LinuxTM),开放原代码的类Unix操作系统(FreeBSDTM)或类似。
在示例性实施例中,还提供了一种非易失性计算机可读存储介质,例如包括计算机程序指令的存储器1932,上述计算机程序指令可由电子设备1900的处理组件1922执行以完成上述方法。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是(但不限于)电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software Development Kit,SDK)等等。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以互相参考,为了简洁,本文不再赘述。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
若本公开技术方案涉及个人信息,应用本公开技术方案的产品在处理个人信息前,已明确告知个人信息处理规则,并取得个人自主同意。若本公开技术方案涉及敏感个人信息,应用本公开技术方案的产品在处理敏感个人信息前,已取得个人单独同意,并且同时满足“明示同意”的要求。例如,在摄像头等个人信息采集装置处,设置明确显著的标识告知已进入个人信息采集范围,将会对个人信息进行采集,若个人自愿进入采集范围即视为同意对其个人信息进行采集;或者在个人信息处理的装置上,利用明显的标识/信息告知个人信息处理规则的情况下,通过弹窗信息或请个人自行上传其个人信息等方式获得个人授权;其中,个人信息处理规则可包括个人信息处理者、个人信息处理目的、处理方式以及处理的个人信息种类等信息。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (21)
1.一种虚拟世界生成系统,其特征在于,所述系统包括感知系统、元计算模块和虚拟世界诞生模块,其中,
所述感知系统,用于获取物理世界的感知数据;
所述元计算模块,用于根据所述感知数据构建环境模型和对象模型,并获取或提供所述对象模型对应的规律引擎,所述规律引擎用于模拟物理世界中的规律;
所述虚拟世界诞生模块,用于将所述环境模型、所述对象模型以及所述规律引擎进行结合,生成与所述物理世界对应的虚拟世界;
其中,所述感知系统包括感知平台、感知控制模块以及至少一个感知模块,其中,
所述感知平台用于搭载所述至少一个感知模块,所述感知平台包括空基平台、海基平台和陆基平台中的至少一种;
所述感知控制模块用于为所述感知平台提供通信能力以及控制所述至少一个感知模块;
所述至少一个感知模块用于获取所述感知数据;
其中,所述感知系统包括多机协作模块,所述多机协作模块用于多个所述感知平台根据任务指令共同协作完成任务;
所述感知系统的多机协作模块包括地图建模模块、任务分配模块和冲突控制模块,其中,
所述地图建模模块,用于根据所述任务指令对预设范围内的地形进行建模并更新地图信息;
所述任务分配模块,用于根据所述任务指令确定感知平台的数量并为每个感知平台分配任务;
所述冲突控制模块,用于接收各感知平台的规划路径,并将预测发生冲突的路径进行优化;
其中,所述任务分配模块还用于:根据各个感知平台所携带的感知模块和所处位置确定每个感知平台需要完成的任务;
其中,所述空基平台包括球形飞行器、仿生飞行器和无人机中的至少一种,所述海基平台包括无人水面船舶、无人水下航行器和水面机器人中的至少一种,所述陆基平台包括地面移动机器人和固定位置随动平台设备中的至少一种;
其中,所述感知数据至少包括三维成像数据、生命体的生物数据、生命体或者物品的空间位置数据以及环境数据;
其中,所述至少一个感知模块包括三维扫描成像模块、生物感知模块、空间位置感知模块和环境感知模块中的至少一种;其中,
所述三维扫描成像模块,用于获取三维成像数据;
所述生物感知模块,用于获取生物数据;
所述空间位置感知模块,用于获取空间位置数据或运动轨迹;
所述环境感知模块,用于获取环境数据。
2.根据权利要求1所述的系统,其特征在于,所述感知平台包括电源管理模块、平台动力模块、平台控制模块、平台识别模块、陀螺仪位置模块、平台结构模块和平台人工智能模块中的至少一种,其中,
所述电源管理模块,用于为所述感知控制模块和所述感知模块提供电力,以满足所述感知控制模块和所述感知模块的工作要求;
所述平台动力模块,用于为所述感知系统提供动力,以实现对所述感知平台的驱动;
所述平台控制模块,用于控制所述感知平台的姿态,以使所述感知平台的姿态满足获取所述感知数据时的需求;
所述平台识别模块,用于提供所述感知平台的识别编码,以及为所述感知平台提供鉴权功能,其中,所述识别编码用于实现对所述感知平台的管理,所述鉴权功能用于保证所述感知平台的安全;
所述陀螺仪位置模块,用于提供所述感知平台的运动信息和位置信息;
所述平台结构模块,用于构成所述感知平台的结构支撑,提供所述感知平台的稳定模式;
所述平台人工智能模块,用于在全模式下进行对所述感知平台的自动控制和数据分析,或在所述感知平台处于单机模式或者静默状态下,自主规划任务路径。
3.根据权利要求2所述的系统,其特征在于,所述平台控制模块包括空基平台控制系统、海基平台控制系统、陆基平台控制系统中的至少一种,其中,
所述空基平台控制系统,用于控制所述空基平台的姿态,所述空基平台的姿态控制包括俯仰控制、滚转控制和偏航控制中的至少一种;
所述海基平台控制系统,用于控制所述海基平台的姿态,所述海基平台的姿态控制包括悬停控制、移动控制和下潜控制中的至少一种;
所述陆基平台控制系统,用于控制所述陆基平台的姿态,所述陆基平台的姿态控制包括移动控制、圆弧运动控制和关节控制中的至少一种。
4.根据权利要求2所述的系统,其特征在于,所述平台动力模块包括电机驱动动力模块、气动驱动动力模块和液压驱动动力模块中的至少一种,其中,
所述电机驱动动力模块,用于为所述感知平台在旋转或者直线运动的过程中提供动力;
所述气动驱动动力模块,用于为所述感知平台在第一幅度的旋转或者直线运动过程中提供动力,所述第一幅度大于第一阈值;
所述液压驱动动力模块,用于为所述感知平台在直线运动过程中提供动力。
5.根据权利要求2所述的系统,其特征在于,所述平台识别模块用于为所述感知平台提供鉴权功能,包括:
所述平台识别模块用于对请求与所述感知平台进行连接或者请求对所述感知平台进行控制的电子设备进行鉴权。
6.根据权利要求2所述的系统,其特征在于,所述感知平台包括静默状态和在线状态中的至少一种,其中,
在所述静默状态下,所述平台控制模块用于根据平台人工智能模块规划的任务路径控制所述感知平台的姿态,以便于所述至少一个感知模块获取到感知数据;
在所述在线状态下,所述平台控制模块用于根据接受到的任务路径控制所述感知平台的姿态,以便于所述至少一个感知模块获取感知数据。
7.根据权利要求6所述的系统,其特征在于,所述感知平台包括单机模式和联机模式中的至少一种,其中,
在所述单机模式下,所述感知平台独立执行任务,不与其他感知平台通信;
在所述联机模式下,所述感知平台与其他感知平台组成网络,合作执行任务。
8.根据权利要求2所述的系统,其特征在于,所述平台人工智能模块包括任务规划模块和导航模块,其中,
所示导航模块,用于获取地图信息和地形测量信息;
所述任务规划模块,用于根据任务指令规划当前位置与任务地点之间的任务路径,并控制所述感知模块。
9.根据权利要求1所述的系统,其特征在于,所述感知平台处于静默状态且处于联机模式的情况下,所述多个感知平台组成临时网络连接,通过组网的模式进行通信;
其中,在所述感知平台处于无线组网模式的情况下,任意一个所述感知平台均能够作为其他感知平台的数据转发中继,以多跳互连的形式形成相对稳定的网络。
10.根据权利要求1所述的系统,其特征在于,所述感知控制模块包括通信单元、控制单元和智能单元中的至少一种,所述感知平台上搭载至少一个感知模块,其中,
所述通信单元,用于实现所述感知系统内部的通信以及所述感知系统与所述元计算模块之间的通信;
所述控制单元,用于基于指令控制所述至少一个感知模块。
11.根据权利要求10所述的系统,其特征在于,所述感知控制模块还包括安全模块,所述安全模块用于对接入所述感知系统的设备进行身份校验,以及对所述感知系统的交互信息进行编解码,以保证通信安全。
12.根据权利要求1所述的系统,其特征在于,所述三维成像数据包括扫描数据、图像数据和距离数据中的至少一种;所述三维扫描成像模块包括激光模块、相位测量模块和机器视觉模块中的至少一种;其中,所述激光模块,用于获取扫描数据;
所述机器视觉模块,用于获取图像数据;
所述相位测量模块,用于获取第一距离数据,所述第一距离数据表示所述激光模块的扫描对象或者所述机器视觉模块的拍摄对象与所述感知平台的距离;
其中,所述激光模块包括:第一激光器模块,用于投射激光到目标物体表面上,得到第一激光条纹;
采集模块,用于采集所述第一激光条纹,得到所述扫描数据;
其中,所述相位测量模块包括:第二激光器模块条,用于投射激光到目标物体表面上,得到第二激光条纹;
条纹识别模块,用于识别所述第二激光条纹得到所述第一距离数据;
所述生物感知模块包括热成像模块、听觉感知模块、运动捕捉模块、情绪感知模块、触觉感知模块、材质感知模块、核磁共振模块、嗅觉感知模块和味觉感知模块中的至少一种;
其中,所述热成像模块包括光子探测模块和热探测模块中的至少一种,其中,所述光子探测模块,用于温度小于第一温度的环境的探测;
所述热探测模块,用于温度大于或者等于所述第一温度的环境的探测;
其中,所述听觉感知模块包括振动检测模块、除噪模块和信号调节模块,其中,所述振动检测模块,用于采集声音信号;
所述除噪模块,用于筛选所述声音信号中的目标声音信号,所述目标声音信号为目标生物发出的声音信号;
所述信号调节模块,用于对所述目标声音信号的幅度进行调节;
其中,所述运动捕捉模块包括惯性捕捉模块和光学捕捉模块中的至少一种;
其中,所述光学捕捉模块,用于在亮度大于第一亮度的环境下进行动作捕捉;
所述惯性捕捉模块,用于在亮度小于或者等于所述第一亮度的环境下进行动作捕捉;
其中,所述情绪感知模块包括面部识别模块、肢体识别模块、呼吸识别模块、脑识别模块和皮肤识别模块中的至少一种;其中,所述面部识别模块,用于通过面部细节动作识别目标生物的情绪,所述面部细节动作包括眼部动作、鼻部动作、嘴部动作中的至少一种;
所述肢体识别模块,用于通过肢体动作识别目标生物的情绪,所述肢体动作包括头部动作、肢体运动幅度、手部动作、脚步动作中的至少一种;
所述呼吸识别模块,用于通过呼吸状态识别目标生物的情绪,所述呼吸状态包括呼吸时间比率和呼吸空气量比率中的至少一种;
所述脑识别模块,用于通过脑电波识别目标生物的情绪;
所述皮肤识别模块,用于通过皮肤电导值识别目标生物的情绪;
其中,所述触觉感知模块包括压力识别模块、温度识别模块和质感识别模块中的至少一种;
其中,所述压力识别模块,用于识别目标生物表面的压力;
所述温度识别模块,用于识别目标生物的温度;
所述质感识别模块,用于识别目标生物的光滑度和质感;
其中,所述材质感知模块包括:
声波发生模块,用于产生高频超声波,并将所述高频超声波发送到目标;
材质识别模块,用于根据接收到的声波识别所述目标的材质;
其中,所述嗅觉感知模块包括半导体式识别模块和生物式识别模块中的至少一种;
其中,所述半导体式识别模块,用于识别浓度大于第一浓度阈值的气体;
所述生物式识别模块,用于识别浓度小于第一浓度阈值的气体;
所述空间位置感知模块包括空间感知模块、空间位置模块、空间跟踪模块中的至少一种,其中,所述空间感知模块用于获取第二距离数据,所述空间感知模块包括光学测距模块、声学测距模块、机器视觉测距模块中的至少一种,所述第二距离数据表示所述对象与所述感知平台之间的距离;
所述空间位置模块用于获取所述对象的坐标数据,所述空间跟踪模块用于跟踪所述对象的距离变化;
所述环境感知模块包括固体感知模块、液体感知模块和气体感知模块中的中的至少一种;
其中,所述固体感知模块,用于感知固体信息,所述固体信息包括固体的成分和/或强度;所述液体感知模块,用于感知液体信息,所述液体信息包括液体的成分和/或密度;所述气体感知模块,用于感知气体信息,所述气体信息包括气体的成分和/或密度;
其中,所述环境感知模块还包括环境温度感知模块、湿度感知模块、雨量感知模块、光照感知模块和风力感知模块中的至少一种;
其中,所述温度感知模块,用于感知周围环境的温度信息;所述湿度感知模块,用于感知周围环境的湿度信息;所述雨量感知模块,用于感知降水量信息;所述光照感知模块,用于感知周围环境的亮度信息;所述风力感知模块,用于感知风向信息和风速信息;
其中,所述环境感知模块还包括环境分析模块,所述环境分析模块用于对所述固体信息、液体信息、气体信息、温度信息、湿度信息、降水量信息、亮度信息和风向风速信息中的至少一者进行分析,得到环境信息。
13.根据权利要求2至12中任意一项所述的系统,其特征在于,所述感知系统还包括存储模块,所述存储模块用于存储感知系统采集到的数据。
14.根据权利要求1所述的系统,其特征在于,所述元计算模块包括环境重建模块、生物感知重建模块和虚拟规律引擎识别模块,其中,
所述环境重建模块,用于基于环境数据构建所述环境模型;
所述生物感知重建模块,用于基于三维成像数据、生物数据和空间位置数据构建所述对象模型;
所述虚拟规律引擎识别模块,用于基于所述三维成像数据和所述生物数据获取所述对象模型对应的规律引擎。
15.根据权利要求14所述的系统,其特征在于,所述系统还包括虚拟世界引擎模块,所述虚拟世界引擎模块包括材料引擎模块、力学引擎模块、运动引擎模块、流体引擎模块、虚拟规律引擎存储模块和虚拟规律引擎获取模块中的至少一种,其中,
所述材料引擎模块,用于模拟不同材料在物理世界的属性功能;
所述力学引擎模块,用于模拟不同物体在物理世界的力学表现;
所述运动引擎模块,用于模拟不同物体在物理世界的运动表现;
所述流体引擎模块,用于模拟不同流体在物理世界的流体表现;
所述虚拟规律引擎存储模块,用于存储虚拟规律引擎;
所述虚拟规律引擎获取模块,用于接收所述虚拟规律引擎,并基于所述虚拟规律引擎的规律数据将所述虚拟规律引擎存储至对应的所述材料引擎模块、所述力学引擎模块、所述运动引擎模块、所述流体引擎模块和所述虚拟规律引擎存储模块中的至少一种;所述虚拟规律引擎识别模块,用于从所述材料引擎模块、所述力学引擎模块、所述运动引擎模块以及所述流体引擎模块中查找与所述感知数据对应的属性功能、力学表现、运动表现和流体表现中的至少一种,并将查找到的属性功能、力学表现、运动表现和流体表现中的至少一种作为所述对象模型对应的规律引擎。
16.根据权利要求15所述的系统,其特征在于,所述元计算模块还包括物理规律引擎识别模块;
所述物理规律引擎识别模块,用于在所述虚拟规律引擎识别模块未查找到与所述感知数据对应的属性功能、力学表现、运动表现或者流体表现的情况下,自主感知所述物理世界的规律数据,并基于所述规律数据生成所述对象模型对应的规律引擎,以及在所述材料引擎模块、所述力学引擎模块、所述运动引擎模块和所述流体引擎模块中的至少一种中存储所生成的规律引擎。
17.根据权利要求14至16中任意一项所述的系统,其特征在于,所述虚拟世界诞生模块包括环境重现模块、对象放置模块、规律优化模块,其中,
所述环境重现模块,用于基于所述环境模型进行环境布局和重现;
所述对象放置模块,用于基于所述对象模型的信息进行对象模型的定位和重现;
所述规律优化模块,用于基于根据所述规律引擎对所述重现的环境模型和对象模型进行优化生成虚拟世界。
18.根据权利要求17所述的系统,其特征在于,所述系统还包括世界修改模块,所述世界修改模块包括模型修改模块和坐标修改模块,其中,
所述模型修改模块,用于修改所述对象模型和所述环境模型的参数;
所述坐标修改模块,用于修改所述对象模型在环境模型中的定位的坐标位置。
19.根据权利要求1至18中任意一项所述的系统,其特征在于,所述系统还包括世界切换模块,所述世界切换模块包括同步世界切换模块和虚拟世界切换模块,其中,
所述同步世界切换模块,用于将所述虚拟世界的状态切换至与所述物理世界同步的状态;
所述虚拟世界切换模块,用于切换到所述虚拟世界的状态。
20.根据权利要求1至19中任意一项所述的系统,其特征在于,所述系统还包括交互模块,所述交互模块,用于提供所述虚拟世界与现实世界的交互接口;
所述交互接口包括五感交互接口、虚拟现实设备接口、增强现实设备接口、脑机接口、人机接口和全息接口中的至少一种。
21.一种电子设备,其特征在于,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为调用所述存储器存储的指令,以部署权利要求1至20中任意一项所述的系统。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310315967.8A CN116127783B (zh) | 2023-03-24 | 2023-03-24 | 一种虚拟世界生成系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310315967.8A CN116127783B (zh) | 2023-03-24 | 2023-03-24 | 一种虚拟世界生成系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116127783A CN116127783A (zh) | 2023-05-16 |
CN116127783B true CN116127783B (zh) | 2024-01-23 |
Family
ID=86299281
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310315967.8A Active CN116127783B (zh) | 2023-03-24 | 2023-03-24 | 一种虚拟世界生成系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116127783B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116972780B (zh) * | 2023-09-25 | 2024-01-26 | 北京锐达仪表有限公司 | 具有物表气体分布测量或者物表温度及气体分布测量功能的三维扫描装置 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111300381A (zh) * | 2020-01-20 | 2020-06-19 | 兰州理工大学 | 基于数字孪生三维模型的软体机器人或驱动器系统及其建模方法 |
CN111881515A (zh) * | 2020-07-17 | 2020-11-03 | 华中科技大学 | 一种基于孪生数据驱动的无人艇实时速度测量方法及系统 |
CN112102499A (zh) * | 2019-06-18 | 2020-12-18 | 明日基金知识产权控股有限公司 | 融合现实系统和方法 |
WO2021038558A1 (en) * | 2019-08-26 | 2021-03-04 | Israel Aerospace Industries Ltd. | System, method and computer program product implementing a decentralized avionic channel |
US11216663B1 (en) * | 2020-12-01 | 2022-01-04 | Pointivo, Inc. | Systems and methods for generating of 3D information on a user display from processing of sensor data for objects, components or features of interest in a scene and user navigation thereon |
CN114223008A (zh) * | 2019-05-15 | 2022-03-22 | 罗伯瑞斯有限公司 | 元宇宙数据融合系统 |
CN114372341A (zh) * | 2020-10-15 | 2022-04-19 | 上海宝信软件股份有限公司 | 基于数字孪生的钢铁热轧管控系统及方法 |
CN114386150A (zh) * | 2022-01-13 | 2022-04-22 | 上海理工大学 | 一种应用6g数字孪生的数字、智慧化建筑物 |
CN114741954A (zh) * | 2022-03-17 | 2022-07-12 | 中国人民解放军军事科学院战争研究院 | 一种基于智能及虚拟技术实现的数智孪生系统 |
CN115309264A (zh) * | 2022-07-15 | 2022-11-08 | 西安电子科技大学广州研究院 | 一种面向虚拟和物理世界连接构建系统 |
CN115525769A (zh) * | 2022-09-22 | 2022-12-27 | 北京超图骏科数字技术有限公司 | 一种面向全球的战场环境数据组织方法及相关装置 |
CN115563680A (zh) * | 2022-10-09 | 2023-01-03 | 阿里云计算有限公司 | 数字孪生对象处理方法以及系统 |
-
2023
- 2023-03-24 CN CN202310315967.8A patent/CN116127783B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114223008A (zh) * | 2019-05-15 | 2022-03-22 | 罗伯瑞斯有限公司 | 元宇宙数据融合系统 |
CN112102499A (zh) * | 2019-06-18 | 2020-12-18 | 明日基金知识产权控股有限公司 | 融合现实系统和方法 |
WO2021038558A1 (en) * | 2019-08-26 | 2021-03-04 | Israel Aerospace Industries Ltd. | System, method and computer program product implementing a decentralized avionic channel |
CN111300381A (zh) * | 2020-01-20 | 2020-06-19 | 兰州理工大学 | 基于数字孪生三维模型的软体机器人或驱动器系统及其建模方法 |
CN111881515A (zh) * | 2020-07-17 | 2020-11-03 | 华中科技大学 | 一种基于孪生数据驱动的无人艇实时速度测量方法及系统 |
CN114372341A (zh) * | 2020-10-15 | 2022-04-19 | 上海宝信软件股份有限公司 | 基于数字孪生的钢铁热轧管控系统及方法 |
US11216663B1 (en) * | 2020-12-01 | 2022-01-04 | Pointivo, Inc. | Systems and methods for generating of 3D information on a user display from processing of sensor data for objects, components or features of interest in a scene and user navigation thereon |
CN114386150A (zh) * | 2022-01-13 | 2022-04-22 | 上海理工大学 | 一种应用6g数字孪生的数字、智慧化建筑物 |
CN114741954A (zh) * | 2022-03-17 | 2022-07-12 | 中国人民解放军军事科学院战争研究院 | 一种基于智能及虚拟技术实现的数智孪生系统 |
CN115309264A (zh) * | 2022-07-15 | 2022-11-08 | 西安电子科技大学广州研究院 | 一种面向虚拟和物理世界连接构建系统 |
CN115525769A (zh) * | 2022-09-22 | 2022-12-27 | 北京超图骏科数字技术有限公司 | 一种面向全球的战场环境数据组织方法及相关装置 |
CN115563680A (zh) * | 2022-10-09 | 2023-01-03 | 阿里云计算有限公司 | 数字孪生对象处理方法以及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN116127783A (zh) | 2023-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Mansouri et al. | Cooperative coverage path planning for visual inspection | |
US11202036B2 (en) | Merged reality system and method | |
Kaufmann et al. | Deep drone acrobatics | |
Müller et al. | Sim4cv: A photo-realistic simulator for computer vision applications | |
US11734472B2 (en) | System and method for modeling physical objects in a simulation | |
JP7407919B2 (ja) | 動画処理方法、動画処理装置、コンピュータプログラム及び電子機器 | |
CN108351649A (zh) | 用于uav交互指令和控制的系统和方法 | |
CN107085422A (zh) | 一种基于Xtion设备的多功能六足机器人的远程控制系统 | |
CN105051755A (zh) | 用于姿势识别的部位和状态检测 | |
Desaraju et al. | Vision-based landing site evaluation and informed optimal trajectory generation toward autonomous rooftop landing | |
CN116127783B (zh) | 一种虚拟世界生成系统 | |
Tao et al. | Manufacturing assembly simulations in virtual and augmented reality | |
CN115933868A (zh) | 翻转讲台的立体综合教学场系统及其工作方法 | |
Khattar et al. | Visual localization and servoing for drone use in indoor remote laboratory environment | |
CN115330946A (zh) | 元宇宙构建方法、装置、存储介质及电子设备 | |
Mettler et al. | Research infrastructure for interactive human-and autonomous guidance | |
Gazani et al. | Bag of views: An appearance-based approach to next-best-view planning for 3d reconstruction | |
Raudies et al. | Learning to navigate in a virtual world using optic flow and stereo disparity signals | |
CN115357500A (zh) | 自动驾驶系统的测试方法、装置、设备和介质 | |
Mittal et al. | A simulated dataset in aerial images using Simulink for object detection and recognition | |
Guerra et al. | Flightgoggles: A modular framework for photorealistic camera, exteroceptive sensor, and dynamics simulation | |
Awed et al. | Towards realizing a visual UAV flying environment: A novel approach based aerial imagery to construct a dataset for visual servoing | |
Buck et al. | Unreal engine-based photorealistic aerial data generation and unit testing of artificial intelligence algorithms | |
Qin et al. | Quadrotor UAV Virtual Reality Verification Platform | |
CN116342842B (zh) | 一种虚拟世界的数据传输系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |