CN107193371A - 一种基于虚拟现实的实时人机交互系统及方法 - Google Patents
一种基于虚拟现实的实时人机交互系统及方法 Download PDFInfo
- Publication number
- CN107193371A CN107193371A CN201710298940.7A CN201710298940A CN107193371A CN 107193371 A CN107193371 A CN 107193371A CN 201710298940 A CN201710298940 A CN 201710298940A CN 107193371 A CN107193371 A CN 107193371A
- Authority
- CN
- China
- Prior art keywords
- virtual
- module
- real
- scene
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供了一种基于虚拟现实的实时人机交互系统,三维图像采集模块对真实场景进行图像采集,并将三维图像信息传输至虚拟场景处理模块;虚拟场景处理模块对真实场景虚拟构建与实时渲染,为控制者提供真实场景三维实时模拟;控制模块对各模块统筹控制与信息传输,同时接收控制者的控制指令并将其发送至运动反馈模块和外接设备;运动反馈模块在接收到控制指令后,根据预先设定的运动方式操纵虚拟环境中的控制对象完成相应的动作,为控制者在虚拟环境中提供控制效果的实时反馈;虚拟现实头盔作为虚拟场景呈现设备,佩戴于控制者并在其中实现沉浸式的实时人机交互。同时提供了一种实时人机交互方法。本发明实现了虚拟现实环境下的实时人机交互。
Description
技术领域
本发明涉及虚拟现实技术领域,尤其涉及一种在虚拟现实环境中实现实时人机交互的基于虚拟现实的实时人机交互系统及方法。
背景技术
虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统,它利用计算机生成一种模拟环境,是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真。通过对虚拟现实技术的应用,可以采用更为自然的人机交互手段实现对控制过程的模拟,塑造出更具沉浸感的控制环境和现实情况下难以实现的条件,并赋予控制模拟以新的含义。
经调研,目前发现没有其他专利实现了虚拟环境下的实时人机交互。专利CN201610365024.6“一种虚拟现实实时交互中虚拟对现实自主响应方法”实现了虚拟场景与真实场景的实时交互,但是并没有涉及到人机交互的功能。CN201520627434.4“一种基于虚拟现实技术的人机交互系统”实现了纯粹虚拟环境下的人机交互,但是并不具备实时性。
利于虚拟现实技术进行实时人机交互这一功能在许多领域都具有很高的应用价值,例如在控制模拟领域,在控制无人机进行飞行模拟的过程中,借助于在虚拟环境中进行的实时人机交互,一方面可以及时地获取当前的飞行环境信息,避免不必要的操作失误;另一方面,可以为控制者带来身临其境的控制体验,提高可操作性。此外,这一功能还可应用于应急救灾,勘探等场合,控制者可通过虚拟环境中的实时模拟了解当前场合的详细情况,做出最准确的判断,同时还可以控制外接设备实现相应的操作,完成某一具体的任务。
因此,如何实现虚拟现实环境中的人机实时交互,成为本领域亟待解决的问题。
发明内容
针对上述现有技术中存在的上述不足,本发明的目的是提出一种基于虚拟现实的实时人机交互系统及方法。
本发明是通过以下技术方案实现的。
根据本发明的一个方面,提供了一种基于虚拟现实的实时人机交互系统,包括三维图像采集模块、虚拟场景处理模块、控制模块、运动反馈模块、虚拟现实头盔以及外接设备;其中:
所述三维图像采集模块搭载于外接设备,用于实现对真实场景的三维图像采集,并将采集到的三维图像信息传输至虚拟场景处理模块;
所述虚拟场景处理模块与虚拟现实头盔相连接,用于实现真实场景的虚拟构建与实时渲染,为控制者提供真实场景的三维实时模拟;
所述控制模块主要用于实现对三维图像采集模块、虚拟场景处理模块、运动反馈模块的统筹控制与信息传输,同时接收来自控制者的控制指令并将控制指令发送至运动反馈模块和外接设备;
所述运动反馈模块在接收到控制指令后,根据预先设定的运动方式操纵虚拟环境中的控制对象完成相应的动作,为控制者在虚拟环境中提供控制效果的实时反馈;
所述虚拟现实头盔作为虚拟场景的呈现设备,佩戴于控制者,并在其中实现沉浸式的实时人机交互。
优选地,所述三维图像采集模块包括双目摄像机和图传模块,其中:
所述双目摄像机用于实现真实场景的三维图像采集,通过搭载于不同的外接设备实现不同运动视角下的三维图像采集;
所述图传模块用于实现采集到的三维图像信息与虚拟场景处理模块之间的传输。
优选地,所述外界设备采用如下任意一项或多项:
-无人机;
-小车;
-机械手。
优选地,所述虚拟场景处理模块基于软件虚幻引擎4编程实现,所述虚拟场景处理模块根据所接收到的三维图像信息,在虚拟环境内完成真实场景的构建,并根据不断更新传输的三维图像信息完成对场景的实时渲染。
优选地,所述虚拟场景处理模块基于软件虚幻引擎4编程实现,是通过虚幻引擎4的蓝图功能,将特定的底层函数进行封装实现模块化,再利用节点将不同的模块进行连接完成一系列相应的功能。
优选地,所述控制模块主要由指令输入端和数传模块组成,其中:
所述指令输入端用于指代不同形式的控制指令输入设备;
所述数传模块用于接收控制指令并将控制指令发送至运动反馈模块和外接设备处,同时服务于三维图像采集模块、虚拟场景处理模块、运动反馈模块之间的信息传输,实现统筹控制。
优选地,所述运动反馈模块基于软件虚幻引擎4编程实现,通过外接设备预先设定特定的运动方式和指令对应关系,保证真实与虚拟条件下场景变换方式的一致性以及准确的实时控制对应关系。
优选地,所述运动反馈模块基于软件虚幻引擎4编程实现,是通过虚幻引擎4的蓝图功能,将特定的底层函数进行封装实现模块化,再利用节点将不同的模块进行连接完成一系列相应的功能。
优选地,所述运动反馈模块还用于记录控制对象的运动轨迹,并与实际的指令操作进行比对,得到的比对结果用于判断控制方式的效果以及为控制策略的制定提供参考。
根据本发明的另一个方面,提供了一种基于虚拟现实的实时人机交互方法,通过上述系统完成,包括步骤如下:
步骤S1、选定外接设备,搭载三维图像采集模块,并在运动反馈模块中设定虚拟控制对象的运动方式与指令对应关系;
步骤S2、控制者佩戴虚拟现实头盔,启动三维图像采集模块的双目摄像机,在虚拟环境内完成真实场景的构建;
步骤S3、控制者发送控制指令,运动反馈模块接收到控制指令,操纵虚拟控制对象完成相应动作;同时,外接设备接收到控制指令,操纵搭载着双目摄像机的外接设备完成同样的动作;
步骤S4、在步骤S3的过程中,虚拟场景处理模块根据双目摄像机在运动过程中所采集得到的三维图像信息对虚拟场景进行实时渲染;
重复步骤S1~S4,完成虚拟场景下的实时人机交互。
优选地,所述步骤S1中,虚拟控制对象根据外接设备进行三维模型建模,通过对运动反馈模块的设置,使虚拟控制对象具备与外接设备一致的运动方式,为控制者提供实时的控制反馈。
优选地,所述步骤S2中,虚拟现实头盔利用双目视觉的成像原理为控制者提供三维立体的虚拟环境。
与现有技术相比,本发明具有如下的有益效果:
1、本发明实现了虚拟环境下的人机实时交互,为虚拟现实技术与其他领域交叉结合运用提供了新的思路;
2、本发明同时具有较高的实用价值,可用于控制模拟、应急救灾、勘探等多种场合。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1是本发明的系统结构示意图;
图2是本发明实施例效果示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进。这些都属于本发明的保护范围。
实施例
本实施例提供了一种基于虚拟现实的实时人机交互系统及方法,包括三维图像采集模块、虚拟场景处理模块、控制模块、运动反馈模块、虚拟现实头盔以及外接设备。所述三维图像采集模块搭载于外接设备,主要实现对真实场景的图像采集,并将三维图像信息传输至虚拟场景渲染模块;所述虚拟场景处理模块实现真实场景的虚拟构建与实时渲染,为控制者提供真实场景的三维实时模拟;所述控制模块主要用于实现各模块(三维图像采集模块、虚拟场景处理模块、运动反馈模块)的统筹控制与信息传输,同时接收来自控制者的控制指令并将其发送至运动反馈模块和外接设备处;所述运动反馈模块在接收到控制指令后,根据预先设定的运动方式操纵虚拟环境中的控制对象完成相应的动作,为控制者在虚拟环境中提供控制效果的反馈;所述虚拟现实头盔作为虚拟场景的呈现设备,控制者在佩戴之后即可在其中实现沉浸式的实时人机交互。
进一步地,所述三维图像采集模块包括双目摄像机和图传模块,所述双目摄像机实现真实场景的三维图像采集,搭载于不同的外接设备(如无人机,小车,机械手)时可实现不同运动视角下的图像采集;所述图传模块实现图像信息至虚拟场景处理模块的传输。
进一步地,所述虚拟场景处理模块基于软件虚幻引擎4编程实现,该模块可根据所接收到的三维图像信息,在虚拟环境内实现真实场景的构建,并根据不断更新传输的图像信息完成对场景的实时渲染。
进一步地,所述控制模块主要由指令输入端和数传模块组成,所述指令输入端可指代不同形式的控制指令输入设备;所述数传模块接受控制指令并将其发送至运动反馈模块和外接设备,同时服务于各模块(三维图像采集模块、虚拟场景处理模块、运动反馈模块)之间的信息传输,实现统筹控制。
进一步地,所述运动反馈模块基于软件虚幻引擎4编程实现,可根据双目摄像机的搭载设备(即外接设备)预先设定特定的运动方式和指令对应关系,保证真实与虚拟条件下场景变换方式的一致性,确保准确的实时控制对应关系。。
进一步地,所述运动反馈模块还用于记录控制对象的运动轨迹,并与实际的指令操作进行比对,得到的比对结果用于判断控制方式的效果以及为控制策略的制定提供参考。
本实施例提供的一种基于虚拟现实的实时人机交互系统,其交互方法,通过上述的系统完成,包括步骤如下:
步骤S1、选定外接设备,搭载三维图像采集模块,并在运动反馈模块中设定虚拟控制对象的运动方式与指令对应关系;
步骤S2、控制者佩戴虚拟现实头盔,启动双目摄像机,在虚拟环境内完成真实场景的构建;
步骤S3、控制者发送控制指令,运动反馈模块接收到控制指令,操纵虚拟控制对象完成相应动作;同时,外接设备接收到控制指令,操纵搭载着双目摄像头的外接设备完成同样的动作;
步骤S4、在步骤S3的过程中,虚拟场景处理模块根据双目摄像机在运动过程中所采集得到的图像信息对虚拟场景进行实时渲染;
重复以上步骤,即可完成虚拟现实环境下的实时人机交互。
所述步骤S1中所述虚拟控制对象根据外接设备进行建模,通过对运动反馈模块的设置,可使虚拟控制对象具备与外接设备一致的运动方式,为控制者提供实时的反馈。
所述步骤S2中虚拟现实头盔利用双目视觉的成像原理为控制者提供三维立体的虚拟环境。
下面结合具体实例,对本实施例进一步详细说明。
本实施例所提供的基于虚拟现实的实时人机交互系统及方法,主要采用了虚拟场景实时渲染反馈真实场景变换的概念思路。具体描述如下:
1、三维图像采集模块搭载于特定的外接设备,如无人机、小车、机械手等,可以根据所搭载的特定设备完成特定运动视角下的图像采集。在外接设备接收到控制指令运动的过程中,其视角发生相应的变化,所采集得到的三维图像信息经由虚拟场景处理模块处理后对虚拟场景进行实时渲染,保证虚拟场景与真实场景的一致性与变化的实时性,为控制者提供真实的环境反馈。
2、根据外接设备的选定,可以在运动反馈模块中为虚拟场景中的控制对象设置相应的运动方式。进而,在运动反馈模块与外接设备同时接收到控制指令时使虚拟控制对象与外接设备保证动作响应的一致性,为控制者提供控制效果方面的反馈。
优选的,上述虚拟控制对象根据实际外接设备建模而成,具备与真实设备同样的运动方式,可为控制者带来真实的控制体验。
优选的,运动反馈模块同时具备记录控制对象运动轨迹的功能,可实现全程的轨迹记录,如系统应用于控制模拟的过程中,该功能可用于记录目标对象的运动轨迹,并与实际的指令操作进行比对,判断控制方式的效果,为控制策略的制定提供参考。
3、三维图像采集模块中双目摄像机用于采集真实环境的三维图像信息,并通过数传模块发送至计算机端的虚拟场景处理模块。虚拟场景处理模块基于软件虚幻引擎4编程实现,通过可视化编程的形式在三维场景中进行构建与渲染。在接收到所采集得到的三维图像信息后,该模块以双目摄像机所在位置作为原点构建三维虚拟场景,初次构建全部场景需耗费一定时间,在后续场景变换的过程中可实现实时渲染,故在使用过程中,初次需要为场景构建预留一定时间,完成后可进行实时的场景变换渲染。
在本实施例中,选择无人机作为外接设备,首先在虚拟场景中建模外接设备,构建虚拟控制对象,并在运动反馈模块中设置其相应的运动方式,具体为:上升、下降、前进、左转、右转。
三维图像采集模块搭载于无人机,采集周围环境三维图像信息并通过图传模块传输至虚拟场景处理模块。处理模块花费一定时间完成初始场景的构建,并在虚拟现实头盔中完成显示。
控制者通过指令输入端输入某一指令,经由数传模块发送至无人机端和运动反馈模块。无人机端接收到指令完成相应动作,其视角发生一定变化,经由三维图像采集模块进行采集,发送至三维图像处理模块,进行处理并完成实时渲染。与此同时,在虚拟场景内的虚拟控制对象接收到控制指令完成同样的动作,控制者可从虚拟控制对象的动作获得操作效果的反馈。
经评价,在整个过程中,首先,外接设备与虚拟控制对象在指令接收,动作执行,运动方式等方面都保证了极高的一致性;其次,在外接设备执行控制指令的过程中,其视角范围内的虚拟场景反馈也实现了实时性与高效性。故可以得出,本实施例提供的系统及方法,能够很好地在虚拟环境下实现实时的人机交互,且该系统及方法可以在实际领域中得到较好的应用,具有较高的实用价值。
本实施例提供的系统基于虚拟现实技术实现了一种全新的实时人机交互方式,在控制模拟方面具有很高的应用价值。现有的控制方式多基于二维形式的图像反馈,受限于环境因素,容易造成操作失误与不必要的损失;或者基于纯虚拟环境下的模拟,难以在实际场合中实现应用。而本实施例建立于虚拟现实环境中的实时场景反馈完美地解决了这一问题,三维立体的虚拟现实场景不仅可以为控制者带来真实直观的信息反馈,也能为控制者带来沉浸式的操作体验。此外,实际控制对象的相应动作也得以在虚拟场景中得到反馈,本实施例所运用的运动反馈模块与实际控制对象在同时间接收来自控制者的指令,并将该指令施加于虚拟控制对象进行执行,故控制者也可得到控制效果方面的实时反馈。综上所述,本实施例在模拟控制领域具有较高的实用价值,但不仅限于这一领域,本实施例也可应用于应急救灾、勘探等领域,帮助控制者进入条件恶劣的现场,了解真实的环境情况,并帮助控制者做出准确的判断,达成特定的任务等。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。在不冲突的情况下,本申请的实施例和实施例中的特征可以任意相互组合。
Claims (10)
1.一种基于虚拟现实的实时人机交互系统,其特征在于,包括三维图像采集模块、虚拟场景处理模块、控制模块、运动反馈模块、虚拟现实头盔以及外接设备;其中:
所述三维图像采集模块搭载于外接设备,用于实现对真实场景的三维图像采集,并将采集到的三维图像信息传输至虚拟场景处理模块;
所述虚拟场景处理模块与虚拟现实头盔相连接,用于实现真实场景的虚拟构建与实时渲染,为控制者提供真实场景的三维实时模拟;
所述控制模块主要用于实现对三维图像采集模块、虚拟场景处理模块、运动反馈模块的统筹控制与信息传输,同时接收来自控制者的控制指令并将控制指令发送至运动反馈模块和外接设备;
所述运动反馈模块在接收到控制指令后,根据预先设定的运动方式操纵虚拟环境中的控制对象完成相应的动作,为控制者在虚拟环境中提供控制效果的实时反馈;
所述虚拟现实头盔作为虚拟场景的呈现设备,佩戴于控制者,并在其中实现沉浸式的实时人机交互。
2.根据权利要求1所述的基于虚拟现实的实时人机交互系统,其特征在于,所述三维图像采集模块包括双目摄像机和图传模块,其中:
所述双目摄像机用于实现真实场景的三维图像采集,通过搭载于不同的外接设备实现不同运动视角下的三维图像采集;
所述图传模块用于实现采集到的三维图像信息与虚拟场景处理模块之间的传输。
3.根据权利要求2所述的基于虚拟现实的实时人机交互系统,其特征在于,所述外界设备采用如下任意一项或多项:
-无人机;
-小车;
-机械手。
4.根据权利要求1所述的基于虚拟现实的实时人机交互系统,其特征在于,所述虚拟场景处理模块基于软件虚幻引擎4编程实现,所述虚拟场景处理模块根据所接收到的三维图像信息,在虚拟环境内完成真实场景的构建,并根据不断更新传输的三维图像信息完成对场景的实时渲染。
5.根据权利要求1所述的基于虚拟现实的实时人机交互系统,其特征在于,所述控制模块主要由指令输入端和数传模块组成,其中:
所述指令输入端用于指代不同形式的控制指令输入设备;
所述数传模块用于接收控制指令并将控制指令发送至运动反馈模块和外接设备处,同时服务于三维图像采集模块、虚拟场景处理模块、运动反馈模块之间的信息传输,实现统筹控制。
6.根据权利要求1所述的基于虚拟现实的实时人机交互系统,其特征在于,所述运动反馈模块基于软件虚幻引擎4编程实现,通过外接设备预先设定特定的运动方式和指令对应关系,保证真实与虚拟条件下场景变换方式的一致性以及准确的实时控制对应关系。
7.根据权利要求6所述的基于虚拟现实的实时人机交互系统,其特征在于,所述运动反馈模块还用于记录控制对象的运动轨迹,并与实际的指令操作进行比对,得到的比对结果用于判断控制方式的效果以及为控制策略的制定提供参考。
8.根据权利要求4或6所述的基于虚拟现实的实时人机交互系统,其特征在于,所述基于软件虚幻引擎4编程实现,是通过虚幻引擎4的蓝图功能,将特定的底层函数进行封装实现模块化,再利用节点将不同的模块进行连接完成相应的功能。
9.一种基于虚拟现实的实时人机交互方法,其特征在于,通过权利要求1至6中的任一项所述的系统完成,包括步骤如下:
步骤S1、选定外接设备,搭载三维图像采集模块,并在运动反馈模块中设定虚拟控制对象的运动方式与指令对应关系;
步骤S2、控制者佩戴虚拟现实头盔,启动三维图像采集模块的双目摄像机,在虚拟环境内完成真实场景的构建;
步骤S3、控制者发送控制指令,运动反馈模块接收到控制指令,操纵虚拟控制对象完成相应动作;同时,外接设备接收到控制指令,操纵搭载着双目摄像机的外接设备完成同样的动作;
步骤S4、在步骤S3的过程中,虚拟场景处理模块根据双目摄像机在运动过程中所采集得到的三维图像信息对虚拟场景进行实时渲染;
重复步骤S1~S4,完成虚拟场景下的实时人机交互。
10.根据权利要求9所述的基于虚拟现实的实时人机交互方法,其特征在于,所述步骤S1中,虚拟控制对象根据外接设备进行三维模型建模,通过对运动反馈模块的设置,使虚拟控制对象具备与外接设备一致的运动方式,为控制者提供实时的控制反馈;和/或
所述步骤S2中,虚拟现实头盔利用双目视觉的成像原理为控制者提供三维立体的虚拟环境。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710298940.7A CN107193371A (zh) | 2017-04-28 | 2017-04-28 | 一种基于虚拟现实的实时人机交互系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710298940.7A CN107193371A (zh) | 2017-04-28 | 2017-04-28 | 一种基于虚拟现实的实时人机交互系统及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107193371A true CN107193371A (zh) | 2017-09-22 |
Family
ID=59873658
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710298940.7A Pending CN107193371A (zh) | 2017-04-28 | 2017-04-28 | 一种基于虚拟现实的实时人机交互系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107193371A (zh) |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107978191A (zh) * | 2017-12-12 | 2018-05-01 | 北京克科技有限公司 | 一种应用于虚拟现实环境下的运载梯以及虚拟现实系统 |
CN108256972A (zh) * | 2018-01-16 | 2018-07-06 | 上海裕铃信息科技有限公司 | 一种沉浸式社交的商业模式 |
CN108646770A (zh) * | 2018-03-28 | 2018-10-12 | 深圳臻迪信息技术有限公司 | 一种无人机飞行控制方法、装置及系统 |
CN108874123A (zh) * | 2018-05-07 | 2018-11-23 | 北京理工大学 | 一种通用的模块化的虚拟现实被动力触觉反馈系统 |
CN108876891A (zh) * | 2017-11-27 | 2018-11-23 | 北京旷视科技有限公司 | 人脸图像数据采集方法及人脸图像数据采集装置 |
CN108983819A (zh) * | 2018-08-14 | 2018-12-11 | 苏敏华 | 一种无人机管控方法、装置及系统 |
CN109164829A (zh) * | 2018-10-23 | 2019-01-08 | 哈尔滨工业大学(深圳) | 一种基于力反馈装置和vr感知的飞行机械臂系统及控制方法 |
CN109460150A (zh) * | 2018-11-12 | 2019-03-12 | 北京特种机械研究所 | 一种虚拟现实人机交互系统及方法 |
CN109806580A (zh) * | 2019-01-23 | 2019-05-28 | 感悟科技(深圳)有限公司 | 基于无线传输的混合现实系统及方法 |
CN109857258A (zh) * | 2019-02-20 | 2019-06-07 | 福州凡来界信息科技有限公司 | 一种虚拟远程遥控方法及装置、系统 |
CN110673743A (zh) * | 2019-08-21 | 2020-01-10 | 佳都新太科技股份有限公司 | 一种基于三维空间场景的虚实交互系统及方法 |
CN110688000A (zh) * | 2019-08-02 | 2020-01-14 | 中国船舶重工集团公司第七一五研究所 | 一种虚拟现实人机交互方法 |
CN111144202A (zh) * | 2019-11-14 | 2020-05-12 | 北京海益同展信息科技有限公司 | 一种对象控制方法、装置、系统、电子设备及存储介质 |
CN111640339A (zh) * | 2020-05-29 | 2020-09-08 | 中国科学院自动化研究所 | 沉浸式虚拟现实装置、系统及控制方法 |
CN111833462A (zh) * | 2020-07-14 | 2020-10-27 | 深圳市瑞立视多媒体科技有限公司 | 基于虚幻引擎的切割方法、装置、设备及存储介质 |
CN112114668A (zh) * | 2020-09-02 | 2020-12-22 | 北京捷安申谋军工科技有限公司 | 基于数字孪生的ar单兵伴随侦察无人机系统及其侦察方法 |
CN112150635A (zh) * | 2020-09-02 | 2020-12-29 | 北京捷安申谋军工科技有限公司 | 基于数字孪生的ar单兵与机器人混编作战系统及其方法 |
CN112446961A (zh) * | 2019-08-30 | 2021-03-05 | 中兴通讯股份有限公司 | 场景重建系统及方法 |
CN112967403A (zh) * | 2021-02-07 | 2021-06-15 | 安徽嘻哈网络技术有限公司 | 一种驾培机器人管理中心的虚拟现实系统 |
CN113488179A (zh) * | 2021-07-20 | 2021-10-08 | 重庆东登科技有限公司 | 基于虚拟现实的急救系统 |
CN114063650A (zh) * | 2021-11-17 | 2022-02-18 | 中国人民解放军军事科学院国防科技创新研究院 | 一种面向虚幻引擎的仿真无人机飞行控制方法 |
CN117934777A (zh) * | 2024-01-26 | 2024-04-26 | 扬州自在岛生态旅游投资发展有限公司 | 一种基于虚拟现实的空间布置系统及方法 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100231712B1 (ko) * | 1997-06-13 | 1999-11-15 | 정선종 | 무인정찰기 시스템의 운용 방법 |
CN102170361A (zh) * | 2011-03-16 | 2011-08-31 | 西安电子科技大学 | 基于虚拟现实的网络会议方法 |
CN102930753A (zh) * | 2012-10-17 | 2013-02-13 | 中国石油化工股份有限公司 | 加油站虚拟培训系统及应用 |
CN103970268A (zh) * | 2013-02-01 | 2014-08-06 | 索尼公司 | 信息处理设备、客户端设备、信息处理方法以及程序 |
CN105222761A (zh) * | 2015-10-29 | 2016-01-06 | 哈尔滨工业大学 | 借助虚拟现实及双目视觉技术实现的第一人称沉浸式无人机驾驶系统及驾驶方法 |
CN105334864A (zh) * | 2015-11-24 | 2016-02-17 | 杨珊珊 | 一种用于控制无人机的智能眼镜及控制方法 |
CN105427701A (zh) * | 2015-11-30 | 2016-03-23 | 北京众威消防科技有限公司 | 消防业务操作培训系统和方法 |
CN105739525A (zh) * | 2016-02-14 | 2016-07-06 | 普宙飞行器科技(深圳)有限公司 | 一种配合体感操作实现虚拟飞行的系统 |
CN105759833A (zh) * | 2016-02-23 | 2016-07-13 | 普宙飞行器科技(深圳)有限公司 | 一种沉浸式无人机驾驶飞行系统 |
CN106125747A (zh) * | 2016-07-13 | 2016-11-16 | 国网福建省电力有限公司 | 基于vr交互的无人机机载第一视角随动吊舱系统 |
CN106204751A (zh) * | 2016-07-13 | 2016-12-07 | 广州大西洲科技有限公司 | 现实对象与虚拟场景的实时整合方法和整合系统 |
CN106327583A (zh) * | 2016-08-24 | 2017-01-11 | 惠州Tcl移动通信有限公司 | 一种实现全景摄像的虚拟现实设备及其实现方法 |
CN106339079A (zh) * | 2016-08-08 | 2017-01-18 | 清华大学深圳研究生院 | 一种基于计算机视觉的利用无人飞行器实现虚拟现实的方法及装置 |
CN106527724A (zh) * | 2016-11-14 | 2017-03-22 | 墨宝股份有限公司 | 一种实现虚拟现实场景的方法及系统 |
-
2017
- 2017-04-28 CN CN201710298940.7A patent/CN107193371A/zh active Pending
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100231712B1 (ko) * | 1997-06-13 | 1999-11-15 | 정선종 | 무인정찰기 시스템의 운용 방법 |
CN102170361A (zh) * | 2011-03-16 | 2011-08-31 | 西安电子科技大学 | 基于虚拟现实的网络会议方法 |
CN102930753A (zh) * | 2012-10-17 | 2013-02-13 | 中国石油化工股份有限公司 | 加油站虚拟培训系统及应用 |
CN103970268A (zh) * | 2013-02-01 | 2014-08-06 | 索尼公司 | 信息处理设备、客户端设备、信息处理方法以及程序 |
CN105222761A (zh) * | 2015-10-29 | 2016-01-06 | 哈尔滨工业大学 | 借助虚拟现实及双目视觉技术实现的第一人称沉浸式无人机驾驶系统及驾驶方法 |
CN105334864A (zh) * | 2015-11-24 | 2016-02-17 | 杨珊珊 | 一种用于控制无人机的智能眼镜及控制方法 |
CN105427701A (zh) * | 2015-11-30 | 2016-03-23 | 北京众威消防科技有限公司 | 消防业务操作培训系统和方法 |
CN105739525A (zh) * | 2016-02-14 | 2016-07-06 | 普宙飞行器科技(深圳)有限公司 | 一种配合体感操作实现虚拟飞行的系统 |
CN105759833A (zh) * | 2016-02-23 | 2016-07-13 | 普宙飞行器科技(深圳)有限公司 | 一种沉浸式无人机驾驶飞行系统 |
CN106125747A (zh) * | 2016-07-13 | 2016-11-16 | 国网福建省电力有限公司 | 基于vr交互的无人机机载第一视角随动吊舱系统 |
CN106204751A (zh) * | 2016-07-13 | 2016-12-07 | 广州大西洲科技有限公司 | 现实对象与虚拟场景的实时整合方法和整合系统 |
CN106339079A (zh) * | 2016-08-08 | 2017-01-18 | 清华大学深圳研究生院 | 一种基于计算机视觉的利用无人飞行器实现虚拟现实的方法及装置 |
CN106327583A (zh) * | 2016-08-24 | 2017-01-11 | 惠州Tcl移动通信有限公司 | 一种实现全景摄像的虚拟现实设备及其实现方法 |
CN106527724A (zh) * | 2016-11-14 | 2017-03-22 | 墨宝股份有限公司 | 一种实现虚拟现实场景的方法及系统 |
Cited By (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108876891A (zh) * | 2017-11-27 | 2018-11-23 | 北京旷视科技有限公司 | 人脸图像数据采集方法及人脸图像数据采集装置 |
CN108876891B (zh) * | 2017-11-27 | 2021-12-28 | 北京旷视科技有限公司 | 人脸图像数据采集方法及人脸图像数据采集装置 |
CN107978191A (zh) * | 2017-12-12 | 2018-05-01 | 北京克科技有限公司 | 一种应用于虚拟现实环境下的运载梯以及虚拟现实系统 |
CN108256972A (zh) * | 2018-01-16 | 2018-07-06 | 上海裕铃信息科技有限公司 | 一种沉浸式社交的商业模式 |
CN108646770A (zh) * | 2018-03-28 | 2018-10-12 | 深圳臻迪信息技术有限公司 | 一种无人机飞行控制方法、装置及系统 |
CN108874123A (zh) * | 2018-05-07 | 2018-11-23 | 北京理工大学 | 一种通用的模块化的虚拟现实被动力触觉反馈系统 |
CN108983819A (zh) * | 2018-08-14 | 2018-12-11 | 苏敏华 | 一种无人机管控方法、装置及系统 |
CN109164829A (zh) * | 2018-10-23 | 2019-01-08 | 哈尔滨工业大学(深圳) | 一种基于力反馈装置和vr感知的飞行机械臂系统及控制方法 |
CN109460150A (zh) * | 2018-11-12 | 2019-03-12 | 北京特种机械研究所 | 一种虚拟现实人机交互系统及方法 |
CN109806580A (zh) * | 2019-01-23 | 2019-05-28 | 感悟科技(深圳)有限公司 | 基于无线传输的混合现实系统及方法 |
CN109857258A (zh) * | 2019-02-20 | 2019-06-07 | 福州凡来界信息科技有限公司 | 一种虚拟远程遥控方法及装置、系统 |
CN109857258B (zh) * | 2019-02-20 | 2023-02-03 | 福州凡来界信息科技有限公司 | 一种虚拟远程遥控方法及装置、系统 |
CN110688000A (zh) * | 2019-08-02 | 2020-01-14 | 中国船舶重工集团公司第七一五研究所 | 一种虚拟现实人机交互方法 |
CN110688000B (zh) * | 2019-08-02 | 2023-01-10 | 杭州瑞声海洋仪器有限公司 | 一种虚拟现实人机交互方法 |
CN110673743A (zh) * | 2019-08-21 | 2020-01-10 | 佳都新太科技股份有限公司 | 一种基于三维空间场景的虚实交互系统及方法 |
CN112446961A (zh) * | 2019-08-30 | 2021-03-05 | 中兴通讯股份有限公司 | 场景重建系统及方法 |
CN111144202A (zh) * | 2019-11-14 | 2020-05-12 | 北京海益同展信息科技有限公司 | 一种对象控制方法、装置、系统、电子设备及存储介质 |
CN111144202B (zh) * | 2019-11-14 | 2023-11-07 | 京东科技信息技术有限公司 | 一种对象控制方法、装置、系统、电子设备及存储介质 |
CN111640339A (zh) * | 2020-05-29 | 2020-09-08 | 中国科学院自动化研究所 | 沉浸式虚拟现实装置、系统及控制方法 |
CN111833462A (zh) * | 2020-07-14 | 2020-10-27 | 深圳市瑞立视多媒体科技有限公司 | 基于虚幻引擎的切割方法、装置、设备及存储介质 |
CN111833462B (zh) * | 2020-07-14 | 2024-05-17 | 深圳市瑞立视多媒体科技有限公司 | 基于虚幻引擎的切割方法、装置、设备及存储介质 |
CN112150635A (zh) * | 2020-09-02 | 2020-12-29 | 北京捷安申谋军工科技有限公司 | 基于数字孪生的ar单兵与机器人混编作战系统及其方法 |
CN112114668A (zh) * | 2020-09-02 | 2020-12-22 | 北京捷安申谋军工科技有限公司 | 基于数字孪生的ar单兵伴随侦察无人机系统及其侦察方法 |
CN112114668B (zh) * | 2020-09-02 | 2024-04-19 | 北京捷安申谋科技有限公司 | 基于数字孪生的ar单兵伴随侦察无人机系统及其侦察方法 |
CN112150635B (zh) * | 2020-09-02 | 2024-07-26 | 北京捷安申谋科技有限公司 | 基于数字孪生的ar单兵与机器人混编作战系统及其方法 |
CN112967403A (zh) * | 2021-02-07 | 2021-06-15 | 安徽嘻哈网络技术有限公司 | 一种驾培机器人管理中心的虚拟现实系统 |
CN113488179A (zh) * | 2021-07-20 | 2021-10-08 | 重庆东登科技有限公司 | 基于虚拟现实的急救系统 |
CN114063650A (zh) * | 2021-11-17 | 2022-02-18 | 中国人民解放军军事科学院国防科技创新研究院 | 一种面向虚幻引擎的仿真无人机飞行控制方法 |
CN117934777A (zh) * | 2024-01-26 | 2024-04-26 | 扬州自在岛生态旅游投资发展有限公司 | 一种基于虚拟现实的空间布置系统及方法 |
CN117934777B (zh) * | 2024-01-26 | 2024-08-30 | 扬州自在岛生态旅游投资发展有限公司 | 一种基于虚拟现实的空间布置系统及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107193371A (zh) | 一种基于虚拟现实的实时人机交互系统及方法 | |
CN110405730B (zh) | 一种基于rgb-d图像的人机物交互机械臂示教系统 | |
WO2022166264A1 (zh) | 作业机械的模拟训练系统、方法、装置和电子设备 | |
Pan et al. | Augmented reality-based robot teleoperation system using RGB-D imaging and attitude teaching device | |
CN108333941A (zh) | 一种基于混合增强智能的云机器人协作学习方法 | |
CN106078752A (zh) | 一种基于Kinect的仿人机器人人体行为模仿方法 | |
CN106373453A (zh) | 一种沉浸式高铁列车虚拟驾驶行为智能评判方法及仿真系统 | |
CN107577159A (zh) | 扩增实境仿真系统 | |
Szczurek et al. | Multimodal multi-user mixed reality human–robot interface for remote operations in hazardous environments | |
CN110321000B (zh) | 一种面向智能系统复杂任务的虚拟仿真系统 | |
CN109033535A (zh) | 一种基于vr技术的生产线设计可视化系统 | |
CN110310541A (zh) | 一种空天地海一体化舰船通信网络虚拟仿真与实验教学平台 | |
Kakiuchi et al. | Development of humanoid robot system for disaster response through team nedo-jsk's approach to darpa robotics challenge finals | |
CN116197899A (zh) | 一种基于vr的主动式机器人遥操作系统 | |
CN109213306A (zh) | 一种机器人远程控制平台及其设计方法 | |
Cichon et al. | Robotic teleoperation: Mediated and supported by virtual testbeds | |
Cichon et al. | Simulation-based control and simulation-based support in erobotics applications | |
CN206877277U (zh) | 一种基于混合现实技术的虚拟人机示教系统 | |
CN115497357A (zh) | 一种多人动捕搜排爆vr模拟训练系统及训练方法 | |
Rossmann et al. | The virtual testbed: Latest virtual reality technologies for space robotic applications | |
CN111360819B (zh) | 机器人的控制方法及装置、计算机设备、存储介质 | |
CN107738256A (zh) | 一种手把手仿人示教机器人编程系统 | |
Tachi | Tele-Existence. | |
Freund et al. | Virtual reality for intelligent and interactive operating, training, and visualization systems | |
Roßmann | From space to the forest and to construction sites: virtual testbeds pave the way for new technologies |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170922 |