CN113485392B - 基于数字孪生的虚拟现实交互方法 - Google Patents
基于数字孪生的虚拟现实交互方法 Download PDFInfo
- Publication number
- CN113485392B CN113485392B CN202110674620.3A CN202110674620A CN113485392B CN 113485392 B CN113485392 B CN 113485392B CN 202110674620 A CN202110674620 A CN 202110674620A CN 113485392 B CN113485392 B CN 113485392B
- Authority
- CN
- China
- Prior art keywords
- sensor
- aerial vehicle
- unmanned aerial
- coordinate system
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000005516 engineering process Methods 0.000 claims abstract description 14
- 230000004927 fusion Effects 0.000 claims abstract description 11
- 238000004088 simulation Methods 0.000 claims abstract description 9
- 238000009877 rendering Methods 0.000 claims abstract description 8
- 238000005259 measurement Methods 0.000 claims description 11
- 238000013519 translation Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 4
- 230000002452 interceptive effect Effects 0.000 claims description 4
- 150000001875 compounds Chemical class 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000012805 post-processing Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 abstract description 4
- 238000012545 processing Methods 0.000 abstract description 4
- 230000003190 augmentative effect Effects 0.000 description 7
- 238000010276 construction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000000546 chi-square test Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Hardware Design (AREA)
- Data Mining & Analysis (AREA)
- Geometry (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Human Computer Interaction (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于数字孪生的虚拟现实交互方法，首先开场景模型数据库，以确保场景模型中的虚拟物体与物理实体的一致性，然后基于传感器数据和物理模型构建虚拟场景，最后在模拟器中对构建的虚拟场景进行渲染；传感器驱动的虚拟场景物体可以进行实时监控，物理模型预测；在完成物理模型的基础上，连接VR设备进行虚拟现实交互。本发明通过使用数字孪生技术，进行模型场景搭建仿真深度渲染现实场景，进行模型优化和渲染，将无人机航空遥感及遥感影像自动处理技术、倾斜摄影三维建模、地理信息系统技术、建筑信息模型等交叉学科进行深度融合，集数据采集、处理、决策辅助分析的完善体系采用VR设备进行人机交互，实现在VR设备进行一体交互。
Description
技术领域
本发明涉及数字孪生技术领域，具体涉及一种基于数字孪生的虚拟现实交互方法。
背景技术
数字孪生是充分利用物理模型、传感器更新、运行历史等数据，集成多学科、多物理量、多尺度、多概率的仿真过程，在虚拟空间中完成映射从而反映相对应的实体装备的全生命周期过程。数字孪生是一种超越现实的概念，可以被视为一个或多个重要的、彼此依赖的装备系统的数字映射系统。数字孪生是个普遍适应的理论技术体系，可以在众多领域应用，目前在产品设计、产品制造、医学分析、工程建设等领域应用较多。数字孪生是在MBD基础上深入发展起来的，企业在实施基于模型的系统工程(MBSE)的过程中产生了大量的物理的、数学的模型，这些模型为数字孪生的发展奠定了基础。数字孪生体是指在计算机虚拟空间存在的与物理实体完全等价的信息模型，可以基于数字孪生体对物理实体进行仿真分析和优化。数字孪生是技术、过程、方法，数字孪体是对象、模型和数据。目前在国内应用最深入的是工程建设领域，关注度最高、研究最热的是智能制造领域。虚拟现实(含增强现实、混合现实等，以下简称VR)是学科高度交叉的科学技术领域，也是辐射性强大的应用技术。随着VR技术的不断发展，VR在许多行业得到应用，VR+成为发展趋势，为人类生产带来新模态，产生颠覆性影响。近年来更快速进入大众生活，为人类生活带来新体验。
发明内容
本发明的目的是提供一种基于数字孪生的虚拟现实交互方法，借助数字孪生技术再现真实生活场景的动态虚拟，利用来自传感器数据和物理模型的综合知识来模拟生活场景的动态。
为了实现上述任务，本发明采用以下技术方案：
一种基于数字孪生的虚拟现实交互方法，包括以下步骤：
步骤1，根据所要模拟的场景，进行场景搭建，搭建建筑模型，传感器模型以及需要控制的对象模型；
所述需要控制的对象模型为无人机模型，将建立的场景和无人机模型进行标注，并且设置无人机模型以及室内室外场景的建筑物模型的3D刚体、角色控制器并对所有的场景进行位置设置，然后着色背景，针对无人机模型加碰撞器，设置旋翼，对无人机模型进行位置布控以及无人机模型局部渲染和贴图；
步骤2，针对于无人机模型进行虚拟端的控制，首先要在虚拟端绑定无人机对象，编写脚本，设置无人机模型的重量，速度，俯仰角，偏航角，滚转角，还需要定义摄像头跟随，光线，并且在无人机模型中加入碰撞器，同时还需要多传感器模拟，利用红外传感器进行红外避障，信息传递；利用超声波传感器进行超声波避障；利用相机传感器模拟机器视觉；利用IMU传感器进行无人机模型姿态信息以及无人机模型运行信息获取；利用高度传感器获取无人机模型的高度信息及速度信息；利用接触式传感器获得无人机模型的感知范围，利用深度相机传感器和激光雷达传感器，获取环境深度信息，进行自主定位导航；利用深度相机检测位姿，深度相机坐标系下的三维坐标需要由图像中的像素点坐标计算得到，借助于虚拟现实、数字孪生和智能操控技术进行三维重建，实现无人机模型的精准定位；
步骤3，连接VR设备虚拟现实头盔连接到电脑，并且在虚拟端中配置环境，实现虚拟端的连接；
步骤4，标定激光雷达传感器和相机传感器的内部参数，使标定后的相机传感器符合针孔成像模型后，对GPS/IMU组合导航系统、相机传感器以及激光雷达传感器之间的相对位姿进行配准，为数据融合做准备；
在机载测量系统中，GPS/IMU组合导航系统提供了无人机模型在世界大地测量坐标系下的位置；利用April Tag得到相对于相机传感器的6自由度位姿；建立相机传感器与激光雷达传感器、GPS/IMU组合导航系统的相对关系，以及机载测量系统的定位方程；
步骤5，在虚拟现实头盔设备上进行控制，利用投影机，将虚拟内容呈现于物理空间，达到虚实融合的效果，无人机模型作为输入和输出信息的双载体，实现交互输入与视觉呈现完全一致化；
步骤6，通过云平台进行命令发布，当无人机模型在虚拟端进行仿真模拟飞行的同时，实际的无人机接收到云平台发布的命令，按照接收信息进行定点飞行，实现虚拟现实交互，在实现交互的同时，实际的无人机搭载激光雷达，
摄像头，借助5G模块将当下环境传输到虚拟端，虚拟端接收数据进行三维重建，达到虚拟现实高度一致化。
进一步地，所述建立相机传感器与激光雷达传感器、GPS/IMU组合导航系统的相对关系，具体包括3个坐标系，分别为：
传感器坐标系，惯性坐标系和世界坐标系；传感器坐标系与惯性坐标系之间的关系刚性固定，它们之间的旋转平移关系分别用
和
表示，标定物在惯性坐标系下的坐标XIMU可通过下式得到：
式中，XIMU为标定物点P在惯性坐标系下的坐标；
为传感器坐标系到惯性坐标系的平移参数；
为传感器坐标系到惯导坐标的旋转参数构成的旋转矩阵，XSensor为标定物点在传感器坐标系下的坐标；
机载测量系统在无人机模型移动过程中，传感器高频率记录测量数据，经后处理得到无人机模型的位置和姿态信息。在惯性坐标系下的任一扫描点坐标可通过下式得到：
式中，
为惯性坐标系到世界坐标系的平移参数；
为惯性坐标系到世界坐标系的旋转参数构成的旋转矩阵，
为传感器坐标系到世界坐标系的平移参数，XL为惯性坐标系下的坐标，从而可以得到机载测量系统的定位方程。
进一步地，利用虚拟现实头盔的手柄进行控制，运行虚拟端环境，即可看到虚拟端场景的模型，当手柄点击场景内的某一点的时候，无人机模型会飞向该位置，当达到该位置的时候，无人机模型保持悬停状态，从而实现人机交互，还可以在虚拟现实头盔中导入手动模型脚本，实现用手指控制。
进一步地，所述虚拟端采用Unity，虚拟现实头盔采用Oculus Quest设备。
进一步地，所述命令与虚拟端中对于无人机模型进行控制的命令相对应。
与现有技术相比，本发明具有以下技术特点：
1.本发明通过使用数字孪生技术，进行模型场景搭建仿真深度渲染现实场景，进行模型优化和渲染，将无人机航空遥感及遥感影像自动处理技术、倾斜摄影三维建模、地理信息系统技术(GIS)、建筑信息模型(BIM)和大数据应用等交叉学科进行深度融合，构建了空地一体，集数据采集、处理、决策辅助分析的完善体系采用VR设备进行人机交互，实现在VR设备进行已一体交互。
2.本发明多传感器融合达到更加真实的虚拟现实交互，实现精确交互，仿真与现实对应，结合目前主流的联合卡尔曼滤波技术，在GPS/视觉多传感器融合定位算法基础上，增加超宽带UWB无线定位技术，弥补GPS和视觉传感器无法提供有效位置数据的不足。为保证多传感器融合算法的容错性和鲁棒性，采用基于卡尔曼滤波测量值与预测值间马氏距离的卡方检验对传感器数据进行有效性检验。
附图说明
图1为无人机场景模型示意图；
图2为传感器标定的位置关系示意图；
图3为Unity平台传感器模拟示意图；
图4为Oculus Quest连接图；
图5为Oculus Quest手柄控制场景；
图6为Unity 3D内四旋翼飞行器到达指定位置的示意图。
具体实施方式
本发明提出一种基于数字孪生的虚拟现实交互方法，首先开场景模型数据库，以确保场景模型中的虚拟物体与物理实体的一致性，然后基于传感器数据和物理模型构建虚拟场景，最后在模拟器中对构建的虚拟场景进行渲染。传感器驱动的虚拟场景物体可以进行实时监控，物理模型预测。在完成物理模型的基础上，连接VR设备(采用的是OculusQuest)进行虚拟现实交互。
参见附图，本发明方法主要包含构建虚拟场景，VR测试交互两部分，具体实现的步骤如下：
步骤1，根据所要模拟的场景，进行场景搭建，搭建建筑模型，传感器模型，以及需要控制的对象模型，这里采用的是无人机模型；将建立的场景模型进行标注，并且设置无人机模型以及室内室外场景的建筑物模型的3D刚体Rigidbody、角色控制器CharacterController以及所有的场景设置位置，着色背景，针对无人机模型加碰撞器，设置旋翼，对无人机模型进行位置布控以及无人机模型局部渲染和贴图，使之更加具有科技感、真实感，达到Unity场景美观，并且接近真实的场景。
步骤2，针对于无人机进行虚拟端的控制，首先要在虚拟端Unity中绑定无人机对象，编写脚本，设置无人机模型的重量，速度，俯仰角，偏航角，滚转角等，还需要定义摄像头跟随，光线等，并且在无人机模型中加入碰撞器，同时还需要多传感器模拟，利用红外传感器进行红外避障，信息传递；利用超声波传感器进行超声波避障；利用普通相机传感器模拟机器视觉；利用IMU传感器进行无人机姿态信息以及无人机运行信息获取；利用高度传感器获取无人机模型的高度信息及速度信息；利用接触式传感器获得无人机模型的感知范围，利用深度相机传感器和激光雷达传感器，获取环境深度信息，进行自主定位导航，利用深度相机检测位姿，位姿检测设备坐标系下的三维坐标Pl(X，Y，Z)需要由图像中的像素点坐标计算得到，借助于虚拟现实、数字孪生和智能操控等技术进行三维重建，实现无人机模型的精准定位。
步骤3，连接VR设备Oculus Quest连接到电脑端，并且在Unity中配置环境，实现虚拟端的连接。
步骤4，在标定激光雷达传感器和相机传感器的内部参数，修正设备内部因素引起的畸变等，使标定后的相机符合针孔成像模型后，对GPS/IMU组合导航系统、相机传感器以及激光雷达传感器之间的相对位姿进行配准，为数据融合做准备。在机载测量系统中，GPS/IMU组合导航系统提供了无人机模型在世界大地测量坐标系下的位置。利用April Tag得到了April Tag相对于相机传感器的6自由度位姿。相机传感器与激光雷达传感器、GPS/IMU组合导航系统的相对关系，对应的关系图如图1所示，其涉及3个坐标系，分别为传感器坐标系，惯性坐标系和世界坐标系。传感器坐标系与惯性坐标系之间的关系刚性固定，它们之间的旋转平移关系分别用
和
表示，标定物在惯性坐标系下的坐标XIMU可通过下式得到：
式中，XIMU为标定物点P在惯性坐标系下的坐标；
为传感器坐标系到惯性坐标系的平移参数；
为传感器坐标系到惯导坐标的旋转参数构成的旋转矩阵。机载测量系统在无人机模型移动过程中，传感器高频率记录测量数据，经后处理得到无人机模型的位置和姿态信息。在惯性坐标系下的任一扫描点坐标可通过下式得到：
式中，
为惯性坐标系到世界坐标系的平移参数；
为惯性坐标系到世界坐标系的旋转参数构成的旋转矩阵，
为传感器坐标系到世界坐标系的平移参数，XL为惯性坐标系下的坐标，从而可以得到机载测量系统的定位方程。
步骤5，在Oculus Quest设备上进行控制，目前增强现实根据显示装置位置不同，可以分为头戴式增强现实、手持式增强现实和空间增强现实三大形式，空间增强现实作为增强现实最重要形式，利用投影机等装置，将虚拟内容呈现于物理空间，达到虚实融合的效果，交互对象，即无人机模型作为输入和输出信息的双载体，实现交互输入与视觉呈现完全一致化，在实时性，匹配精度方面给与保证。
本实施例中，利用Oculus Quest的手柄进行控制，头戴Quest设备，连接电脑，运行Unity环境，即可看到Unity场景的模型，当手柄点击场景内的某一点的时候，无人机模型会飞向该位置，当达到该位置的时候，无人机保持悬停状态，从而实现人机交互，还可以在Quest设备中导入手动模型脚本，实现用手指控制。
步骤6，针对上一步实现的人机交互基础上，进行实际场景中利用云平台对无人机控制，建立实际场景与虚拟端场景中无人机的交互：
通过实际环境下云平台进行命令发布，该命令与虚拟端中对于无人机模型进行控制的命令相对应；当无人机模型在虚拟端进行仿真模拟飞行的同时，实际的无人机接收到云平台发布的命令，按照接收信息进行定点飞行，实现虚拟现实交互，在实现交互的同时，实际的无人机搭载激光雷达，摄像头等，借助5G模块将当下环境传输到虚拟端，虚拟端接收数据进行三维重建，达到虚拟现实高度一致化。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (5)
1.一种基于数字孪生的虚拟现实交互方法，其特征在于，包括以下步骤：
步骤1，根据所要模拟的场景，进行场景搭建，搭建建筑模型，传感器模型以及需要控制的对象模型；
所述需要控制的对象模型为无人机模型，将建立的场景和无人机模型进行标注，并且设置无人机模型以及室内室外场景的建筑物模型的3D刚体、角色控制器并对所有的场景进行位置设置，然后着色背景，针对无人机模型加碰撞器，设置旋翼，对无人机模型进行位置布控以及无人机模型局部渲染和贴图；
步骤2，针对于无人机模型进行虚拟端的控制，首先要在虚拟端绑定无人机对象，编写脚本，设置无人机模型的重量，速度，俯仰角，偏航角，滚转角，还需要定义摄像头跟随，光线，并且在无人机模型中加入碰撞器，同时还需要多传感器模拟，利用红外传感器进行红外避障，信息传递；利用超声波传感器进行超声波避障；利用相机传感器模拟机器视觉；利用IMU传感器进行无人机模型姿态信息以及无人机模型运行信息获取；利用高度传感器获取无人机模型的高度信息及速度信息；利用接触式传感器获得无人机模型的感知范围，利用深度相机传感器和激光雷达传感器，获取环境深度信息，进行自主定位导航；利用深度相机检测位姿，深度相机坐标系下的三维坐标需要由图像中的像素点坐标计算得到，借助于虚拟现实、数字孪生和智能操控技术进行三维重建，实现无人机模型的精准定位；
步骤3，连接VR设备到电脑端，将虚拟现实头盔连接到电脑，并且在虚拟端中配置环境，实现虚拟端的连接；
步骤4，标定激光雷达传感器和相机传感器的内部参数，使标定后的相机传感器符合针孔成像模型后，对GPS/IMU组合导航系统、相机传感器以及激光雷达传感器之间的相对位姿进行配准，为数据融合做准备；
在机载测量系统中，GPS/IMU组合导航系统提供了无人机模型在世界大地测量坐标系下的位置；利用April Tag得到相对于相机传感器的6自由度位姿；建立相机传感器与激光雷达传感器、GPS/IMU组合导航系统的相对关系，以及机载测量系统的定位方程；
步骤5，在虚拟现实头盔设备上进行控制，利用投影机，将虚拟内容呈现于物理空间，达到虚实融合的效果，无人机模型作为输入和输出信息的双载体，实现交互输入与视觉呈现完全一致化；
步骤6，通过云平台进行命令发布，当无人机模型在虚拟端进行仿真模拟飞行的同时，实际的无人机接收到云平台发布的命令，按照接收信息进行定点飞行，实现虚拟现实交互，在实现交互的同时，实际的无人机搭载激光雷达，摄像头，借助5G模块将当下环境传输到虚拟端，虚拟端接收数据进行三维重建，达到虚拟现实高度一致化。
2.根据权利要求1所述的基于数字孪生的虚拟现实交互方法，其特征在于，所述建立相机传感器与激光雷达传感器、GPS/IMU组合导航系统的相对关系，具体包括3个坐标系，分别为：
传感器坐标系，惯性坐标系和世界坐标系；传感器坐标系与惯性坐标系之间的关系刚性固定，它们之间的旋转平移关系分别用
和
表示，标定物在惯性坐标系下的坐标XIMU可通过下式得到：
式中，XIMU为标定物点P在惯性坐标系下的坐标；
为传感器坐标系到惯性坐标系的平移参数；
为传感器坐标系到惯导坐标的旋转参数构成的旋转矩阵，XSensor为标定物点在传感器坐标系下的坐标；
机载测量系统在无人机模型移动过程中，传感器高频率记录测量数据，经后处理得到无人机模型的位置和姿态信息。在惯性坐标系下的任一扫描点坐标可通过下式得到：
式中，
为惯性坐标系到世界坐标系的平移参数；
为惯性坐标系到世界坐标系的旋转参数构成的旋转矩阵，
为传感器坐标系到世界坐标系的平移参数，XL为惯性坐标系下的坐标，从而可以得到机载测量系统的定位方程。
3.根据权利要求1所述的基于数字孪生的虚拟现实交互方法，其特征在于，利用虚拟现实头盔的手柄进行控制，运行虚拟端环境，即可看到虚拟端场景的模型，当手柄点击场景内的某一点的时候，无人机模型会飞向该位置，当达到该位置的时候，无人机模型保持悬停状态，从而实现人机交互，还可以在虚拟现实头盔中导入手动模型脚本，实现用手指控制。
4.根据权利要求1所述的基于数字孪生的虚拟现实交互方法，其特征在于，所述虚拟端采用Unity，虚拟现实头盔采用Oculus Quest设备。
5.根据权利要求1所述的基于数字孪生的虚拟现实交互方法，其特征在于，所述命令与虚拟端中对于无人机模型进行控制的命令相对应。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110674620.3A CN113485392B (zh) | 2021-06-17 | 2021-06-17 | 基于数字孪生的虚拟现实交互方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110674620.3A CN113485392B (zh) | 2021-06-17 | 2021-06-17 | 基于数字孪生的虚拟现实交互方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113485392A CN113485392A (zh) | 2021-10-08 |
| CN113485392B true CN113485392B (zh) | 2022-04-08 |
Family
ID=77935497
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110674620.3A Active CN113485392B (zh) | 2021-06-17 | 2021-06-17 | 基于数字孪生的虚拟现实交互方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113485392B (zh) |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114004957B (zh) * | 2021-10-29 | 2024-07-09 | 腾讯科技（深圳）有限公司 | 增强现实图片的生成方法、装置、设备和存储介质 |
| CN114035425B (zh) * | 2021-11-05 | 2022-07-26 | 广东工业大学 | 一种无人机数字孪生系统的虚实状态同步方法和系统 |
| CN114396944B (zh) * | 2022-01-18 | 2024-03-22 | 西安塔力科技有限公司 | 一种基于数字孪生的自主定位误差矫正方法 |
| CN114155299B (zh) * | 2022-02-10 | 2022-04-26 | 盈嘉互联（北京）科技有限公司 | 一种建筑数字孪生构建方法及系统 |
| CN114153220B (zh) * | 2022-02-10 | 2022-06-14 | 深圳市爱云信息科技有限公司 | 基于人工智能物联网平台用于自动驾驶的远程控制方法 |
| CN114329747B (zh) * | 2022-03-08 | 2022-05-10 | 盈嘉互联（北京）科技有限公司 | 一种面向建筑数字孪生的虚实实体坐标映射方法及系统 |
| CN114779716A (zh) * | 2022-03-15 | 2022-07-22 | 珠海超凡视界科技有限公司 | 一种基于数字孪生模型的时序类潜在问题识别方法及系统 |
| CN114756052B (zh) * | 2022-03-31 | 2023-04-07 | 电子科技大学 | 一种基于无人机群的多目标协同追踪方法 |
| CN114859556A (zh) * | 2022-04-19 | 2022-08-05 | 国网江苏省电力有限公司南通供电分公司 | 一种基于数字孪生的断路器检修vr设备 |
| CN114935940B (zh) * | 2022-05-16 | 2023-05-23 | 广东工业大学 | 一种基于虚拟现实的多无人机远程控制方法 |
| CN114935916B (zh) * | 2022-06-02 | 2024-07-02 | 南京维拓科技股份有限公司 | 一种利用物联网和虚拟现实技术实现工业元宇宙的方法 |
| CN114814758B (zh) * | 2022-06-24 | 2022-09-06 | 国汽智控(北京)科技有限公司 | 相机-毫米波雷达-激光雷达的联合标定方法、设备 |
| CN115311918B (zh) * | 2022-08-01 | 2023-11-17 | 广东虚拟现实科技有限公司 | 虚实融合训练系统以及方法 |
| CN115909851B (zh) * | 2022-12-01 | 2024-06-11 | 江西科骏实业有限公司 | 一种轨道交通车辆沉浸式驾驶模拟系统及其应用方法 |
| CN115762293A (zh) * | 2022-12-26 | 2023-03-07 | 北京东方瑞丰航空技术有限公司 | 一种基于虚拟现实定位器定位的航空训练方法和系统 |
| CN115951598B (zh) * | 2023-01-16 | 2023-12-01 | 中国人民解放军国防科技大学 | 一种多无人机的虚实结合仿真方法、装置及系统 |
| CN116052864B (zh) * | 2023-02-03 | 2023-10-20 | 广东工业大学 | 基于数字孪生的穿刺手术机器人虚拟测试环境构建方法 |
| CN116563491B (zh) * | 2023-03-29 | 2024-03-19 | 广州番禺职业技术学院 | 一种数字孪生场景建模及标定方法 |
| CN116149376B (zh) * | 2023-04-21 | 2023-07-25 | 西安迈远科技有限公司 | 一种基于装配式建筑平台的无人机巡航的控制方法 |
| CN116416386A (zh) * | 2023-06-12 | 2023-07-11 | 深圳星寻科技有限公司 | 一种基于数字孪生l5级仿真高清渲染还原系统 |
| CN116681871B (zh) * | 2023-07-31 | 2023-10-31 | 山东捷瑞数字科技股份有限公司 | 一种面向数字孪生的模型视觉辅助定位方法及装置 |
| CN117528189A (zh) * | 2023-10-20 | 2024-02-06 | 江苏科学梦创展科技有限公司 | 一种适用于动物展览馆的5g传输vr交互系统 |
| CN117608401B (zh) * | 2023-11-23 | 2024-08-13 | 北京理工大学 | 一种基于数字分身的机器人远程交互系统及交互方法 |
| CN117389338B (zh) * | 2023-12-12 | 2024-03-08 | 天津云圣智能科技有限责任公司 | 无人机的多视角交互方法、装置及存储介质 |
| CN117555426B (zh) * | 2024-01-11 | 2024-03-12 | 深圳时空数字科技有限公司 | 基于数字孪生技术的虚拟现实交互系统 |
| CN117934777B (zh) * | 2024-01-26 | 2024-08-30 | 扬州自在岛生态旅游投资发展有限公司 | 一种基于虚拟现实的空间布置系统及方法 |
| CN118505209B (zh) * | 2024-07-18 | 2024-10-01 | 苏州方兴信息技术有限公司 | 一种基于数字孪生和ar技术的钢铁设备运维系统与方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111161410A (zh) * | 2019-12-30 | 2020-05-15 | 中国矿业大学(北京) | 一种矿井数字孪生模型及其构建方法 |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR3035523B1 (fr) * | 2015-04-23 | 2017-04-21 | Parrot | Systeme de pilotage de drone en immersion |
| US9836117B2 (en) * | 2015-05-28 | 2017-12-05 | Microsoft Technology Licensing, Llc | Autonomous drones for tactile feedback in immersive virtual reality |
| CN106909163A (zh) * | 2015-12-22 | 2017-06-30 | 深圳信息职业技术学院 | 沉浸式虚拟现实无人机驾驶系统 |
| KR102451679B1 (ko) * | 2016-03-30 | 2022-10-07 | 삼성전자주식회사 | 무인 비행체 |
| WO2018151908A1 (en) * | 2017-02-16 | 2018-08-23 | Walmart Apollo, Llc | Systems and methods for a virtual reality showroom with autonomous storage and retrieval |
| CN107352032B (zh) * | 2017-07-14 | 2024-02-27 | 广东工业大学 | 一种人流量数据的监控方法及无人机 |
| CN208537983U (zh) * | 2018-07-26 | 2019-02-22 | 河池学院 | 一种vr体感无人飞行器 |
| FR3092416B1 (fr) * | 2019-01-31 | 2022-02-25 | Univ Grenoble Alpes | Système et procédé d’interaction avec des robots dans des applications de réalité mixte |
| CN110392357B (zh) * | 2019-06-21 | 2022-03-11 | 广东工业大学 | 一种无人机辅助物联网通信装置的资源分配控制方法 |
| KR102135256B1 (ko) * | 2019-08-08 | 2020-07-17 | 엘지전자 주식회사 | 자율 주행 시스템에서 차량의 사용자 인증 위한 방법 및 장치 |
| KR20190104103A (ko) * | 2019-08-19 | 2019-09-06 | 엘지전자 주식회사 | 애플리케이션 구동 방법 및 장치 |
| CN110648389A (zh) * | 2019-08-22 | 2020-01-03 | 广东工业大学 | 基于无人机和边缘车辆协同的城市街景3d重建方法和系统 |
| CN110673627A (zh) * | 2019-09-16 | 2020-01-10 | 广东工业大学 | 一种森林无人机搜寻方法 |
| KR20190127619A (ko) * | 2019-10-25 | 2019-11-13 | 엘지전자 주식회사 | 전자 장치 및 그의 동작 방법 |
| CN110908399B (zh) * | 2019-12-02 | 2023-05-12 | 广东工业大学 | 一种基于轻量型神经网络的无人机自主避障方法及系统 |
| CN111343425A (zh) * | 2020-02-28 | 2020-06-26 | 深圳市凯达尔科技实业有限公司 | 基于无人机的虚拟现实直播控制方法 |
| CN111443723B (zh) * | 2020-04-07 | 2023-09-15 | 中国航空无线电电子研究所 | 一种无人机第三视角视景生成和显示程序 |
| CN112051750B (zh) * | 2020-08-07 | 2023-10-03 | 广东工业大学 | 一种四旋翼无人机数字孪生系统 |
| CN112114668B (zh) * | 2020-09-02 | 2024-04-19 | 北京捷安申谋科技有限公司 | 基于数字孪生的ar单兵伴随侦察无人机系统及其侦察方法 |
-
2021
- 2021-06-17 CN CN202110674620.3A patent/CN113485392B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111161410A (zh) * | 2019-12-30 | 2020-05-15 | 中国矿业大学(北京) | 一种矿井数字孪生模型及其构建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113485392A (zh) | 2021-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113485392B (zh) | 基于数字孪生的虚拟现实交互方法 | |
| CN108898676B (zh) | 一种虚实物体之间碰撞及遮挡检测方法及系统 | |
| CN108351649B (zh) | 用于控制可移动物体的方法和设备 | |
| KR102110123B1 (ko) | 증강 현실을 위한 자동화된 참조 프레임 캘리브레이션 | |
| CN111091613A (zh) | 基于无人机航测的三维实景建模方法 | |
| CN107390545A (zh) | 一种无人机及其载荷的仿真训练系统 | |
| CN111260649B (zh) | 一种近距离机械臂感知与校准方法 | |
| CN104376596A (zh) | 一种基于单幅图像的三维场景结构建模与注册方法 | |
| CN112115607B (zh) | 一种基于多维赛博空间的移动智能体数字孪生系统 | |
| GB2550037A (en) | Method and system for virtual sensor data generation with depth ground truth annotation | |
| WO2018187927A1 (en) | Vision simulation system for simulating operations of a movable platform | |
| CN110765620A (zh) | 飞行器视景仿真方法、系统、服务器及存储介质 | |
| CN111275015A (zh) | 一种基于无人机的电力巡线电塔检测识别方法及系统 | |
| CN113031462B (zh) | 无人机用港机巡检航线规划系统及方法 | |
| CN114488848B (zh) | 面向室内建筑空间的无人机自主飞行系统及仿真实验平台 | |
| Eiris et al. | InDrone: a 2D-based drone flight behavior visualization platform for indoor building inspection | |
| CN109839945A (zh) | 无人机降落方法、无人机降落装置及计算机可读存储介质 | |
| CN114139370A (zh) | 一种光学引擎和电磁成像双模动目标同步仿真方法和系统 | |
| Mittal et al. | A simulated dataset in aerial images using Simulink for object detection and recognition | |
| Ren et al. | Future prospects of UAV tilt photogrammetry technology | |
| CN108492366A (zh) | 无人机自适应多场景合成虚拟视景方法 | |
| CN115272458A (zh) | 用于固定翼无人机着陆阶段的视觉定位方法 | |
| Crombez et al. | Using dense point clouds as environment model for visual localization of mobile robot | |
| Amiri Atashgah et al. | An integrated virtual environment for feasibility studies and implementation of aerial MonoSLAM | |
| Awed et al. | Towards realizing a visual UAV flying environment: A novel approach based aerial imagery to construct a dataset for visual servoing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |