CN106249847A - 一种基于头戴式设备实现远程控制的虚拟增强现实系统 - Google Patents
一种基于头戴式设备实现远程控制的虚拟增强现实系统 Download PDFInfo
- Publication number
- CN106249847A CN106249847A CN201510430007.1A CN201510430007A CN106249847A CN 106249847 A CN106249847 A CN 106249847A CN 201510430007 A CN201510430007 A CN 201510430007A CN 106249847 A CN106249847 A CN 106249847A
- Authority
- CN
- China
- Prior art keywords
- equipment
- headset equipment
- information
- audio
- headset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种基于头戴式设备实现远程控制的虚拟增强现实系统，其中头戴式设备用于获取头部姿态信号，并将根据头部姿态信号生成的第一控制信号发送至远程设备，以控制远程设备的运动，以致头戴式设备和远程设备运动同步。远程设备将获取的音视频信息发送至头戴式设备，头戴式设备将对音视频信息进行计算处理得到的第二控制信号发送至远程设备，以调整远程设备的实际视角方向，以致远程设备的实际视角方向与头戴式设备的显示视角方向一致或接近。头戴式设备实时输出显示音视频信息。头戴式设备通过网络远程控制远程设备，以致远程设备与头戴式设备的运动同步，以及远程设备中视频捕捉装置的实际视角方向与头戴式设备的显示视角方向一致或接近。
Description
技术领域
本发明涉及虚拟现实技术，尤其涉及一种基于头戴式设备实现远程控制的虚拟增强现实系统。
背景技术
目前，虚拟现实技术在穿戴式设备领域得到了广泛的应用，主要应用包括虚拟体感游戏和虚拟增强现实。但是，如何利用穿戴式设备实现远程设备的控制，以致远程设备与穿戴式设备同步运动且视角方向一致或接近，是当前亟待解决的技术问题。
发明内容
有鉴于此，实有必要提供一种穿戴式设备可远程控制远程设备，以致远程设备与穿戴式设备同步运动，且其实际视角方向与穿戴式设备的显示视角方向一致或接近的基于头戴式设备实现远程控制的虚拟增强现实系统。
一种基于头戴式设备实现远程控制的虚拟增强现实系统，其包括头戴式设备、以及通过网络与头戴式设备连接且受头戴式设备远程控制的远程设备；头戴式设备用于获取头部姿态信号，并将根据头部姿态信号生成的第一控制信号发送至远程设备，以控制远程设备的运动，以致头戴式设备和远程设备运动同步；远程设备将获取的音视频信息发送至头戴式设备，头戴式设备将对音视频信息进行计算处理得到的第二控制信号发送至远程设备，以调整远程设备的实际视角方向，以致远程设备的实际视角方向与头戴式设备显示音视频信息的视角方向一致或接近；头戴式设备实时输出显示音视频信息。
优选地，网络包括无线网络和有线网络，头戴式设备包括第一无线通信模块和第一有线通信模块；远程设备包括第二无线通信模块和第二有线通信模块。头戴式设备通过无线网络或有线网络与远程设备进行信息的交互。
优选地，头戴式设备包括多个三维姿态传感器和多个加速度传感器和第一控制器，三维姿态传感器用于测量头部的三维运动信息，加速度传感器用于获取头部相对于水平面的倾斜角度信息，第一控制器用于根据三维运动信息和倾斜角度信息生成确定头戴式设备移动路线的头部姿态信号，并根据头部姿态信号生成第一控制信号。
优选地，远程设备包括第二控制器、驱动装置和音视频获取装置，第二控制器用于根据第一控制信号生成驱动信号，并将驱动信号发送至驱动装置，驱动装置用于根据驱动信号控制音视频获取装置的运动，以致头戴式设备和音视频获取装置的运动同步。
优选地，音视频获取装置包括图像捕捉装置和音频输入装置，图像捕捉装置用于将获取的图像信息发送至第二控制器，音频输入装置用于将获取的音频信息发送至第二控制器，控制器用于整合图像信息和音频信息为音视频信息。
优选地，其特征在于，图像捕捉装置包括摄像头，摄像头包括镜头，摄像头用于通过镜头捕捉外界景物，以致生成图像信息。
优选地，头戴式设备还包括音视频输出装置，音视频输出装置包括视频输出装置和音频输出装置，视频输出装置用于输出图像信息，音频输出装置用于输出音频信息。
优选地，视频输出装置包括显示屏和光学透镜，第一控制器用于获取光学透镜的第一角度信息，第一控制器用于根据第一角度信息和图像信息生成第二控制信号，以调整镜头的角度，以致镜头获取图像的实际视角方向和经光学透镜在显示屏上显示图像信息的视角方向一致或者接近。
优选地，音频输出装置包括耳机和扬声器。
优选地，远程设备还包括环境扫描装置，环境扫描装置用于收集远程设备所处环境的地图信息和方位信息，并将地图信息和方位信息发送至头戴式设备。
本发明中头戴式设备通过网络远程控制远程设备，以致远程设备与头戴式设备的运动同步，以及远程设备的实际视角方向与头戴式设备的显示视角方向一致或接近。
附图说明
图1为一种实施方式基于头戴式设备实现远程控制的虚拟增强现实系统的框架示意图。
图2为图1中头戴式设备的功能模块示意图。
图3为图1中远程设备的功能模块示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用来限定本发明。
如图1～图3所示，其为一种实施方式基于头戴式设备实现远程控制的虚拟增强现实系统的框架示意图，图2为图1中头戴式设备的功能模块示意图，图3为图1中远程设备的功能模块示意图。该基于头戴式设备实现远程控制的虚拟增强现实系统包括头戴式设备10和远程设备20。头戴式设备10包括第一控制器107、视频输出装置106、音频输出装置105、三维姿态传感器104、加速度传感器103、第一无线通信模块102和第一有线通信模块101。该视频输出装置106包括显示屏1061和光学透镜1062。该音频输出装置105包括耳机1051和扬声器1052。远程设备20包括第二控制器207、图像捕捉装置206、音频输入装置205、驱动装置204、环境扫描装置、第二无线通信模块202和第二有线通信模块201。该图像捕捉装置206包括摄像头2061，该摄像头2061包括镜头2062。该音频输入装置205包括麦克风2051。该驱动装置204包括马达。
三维姿态传感器104用于测量头部的三维运动信息，加速度传感器103用于获取头部相对于水平面的倾斜角度信息，第一控制器107用于根据三维运动信息和倾斜角度信息生成确定头戴式设备10移动路线的头部姿态信号，并根据头部姿态信号生成第一控制信号。头戴式设备10通过第一无线通信模块102或第一有线通信模块101发送第一控制信号至远程设备20的第二无线通信模块202或第二有线通信模块201。第二控制器207用于根据第一控制信号生成驱动信号，并将驱动信号发送至驱动装置204，驱动装置204用于根据驱动信号控制远程设备20的运动，以致头戴式设备10和远程设备20的运动同步。
图像捕捉装置206用于将获取的图像信息发送至第二控制器207，音频输入装置205用于将获取的音频信息发送至第二控制器207，第二控制器207用于整合图像信息和音频信息为音视频信息。第一控制器107用于获取光学透镜1062的第一角度信息，第一控制器107用于根据第一角度信息和图像信息生成第二控制信号，以调整镜头2062的角度，以致镜头2062获取图像的实际视角方向和经光学透镜1062在显示屏1061上显示图像信息的视角方向一致或者接近。
头戴式设备10与远程设备20视角一致或接近后，视频输出装置106用于实时输出远程设备20的图像捕捉装置206获取的图像信息，音频输出装置105用于实时输出远程设备20的音频输入装置205获取的音频信息。此外，视频输出装置106还用于输出远程设备20的环境扫描装置收集的远程设备20所处环境的地图信息和方位信息。
上述的基于头戴式设备实现远程控制的虚拟增强现实系统，本发明可以通过有线网络或无线网络实现对远程设备的控制，以提升了头戴式设备适用范围。此外，本发明的头戴式设备可远程控制远程设备，以致远程设备与头戴式设备同步运动，且远程设备的实际视角方向与头戴式设备的显示视角方向一致或接近，以致提升了用户身临其境的体验度。
以上对发明的具体实施方式进行了详细说明，但其只作为范例，本发明并不限制与以上描述的具体实施方式。对于本领域的技术人员而言，任何对该发明进行的等同修改或替代也都在本发明的范畴之中，因此，在不脱离本发明的精神和原则范围下所作的均等变换和修改、改进等，都应涵盖在本发明的范围内。
Claims (10)
1.一种基于头戴式设备实现远程控制的虚拟增强现实系统，其特征在于，其包括头戴式设备、以及通过网络与所述头戴式设备连接且受所述头戴式设备远程控制的远程设备；所述头戴式设备用于获取头部姿态信号，并将根据所述头部姿态信号生成的第一控制信号发送至所述远程设备，以控制所述远程设备的运动，以致所述头戴式设备和远程设备运动同步；所述远程设备将获取的音视频信息发送至所述头戴式设备，所述头戴式设备将对所述音视频信息进行计算处理得到的第二控制信号发送至所述远程设备，以调整所述远程设备的实际视角方向，以致所述远程设备的所述实际视角方向与所述头戴式设备显示所述音视频信息的视角方向一致或接近；所述头戴式设备实时输出显示所述音视频信息。
2.根据权利要求1所述的基于头戴式设备实现远程控制的虚拟增强现实系统，其特征在于，所述网络包括无线网络和有线网络，所述头戴式设备包括第一无线通信模块和第一有线通信模块；所述远程设备包括第二无线通信模块和第二有线通信模块，所述头戴式设备通过所述无线网络或所述有线网络与所述远程设备进行信息的交互。
3.根据权利要求1所述的基于头戴式设备实现远程控制的虚拟增强现实系统，其特征在于，所述头戴式设备包括多个三维姿态传感器和多个加速度传感器和第一控制器，所述三维姿态传感器用于测量头部的三维运动信息，所述加速度传感器用于获取所述头部相对于水平面的倾斜角度信息，所述第一控制器用于根据所述三维运动信息和所述倾斜角度信息生成确定所述头戴式设备移动路线的头部姿态信号，并根据所述头部姿态信号生成第一控制信号。
4.根据权利要求1所述的基于头戴式设备实现远程控制的虚拟增强现实系统，其特征在于，所述远程设备包括第二控制器、驱动装置和音视频获取装置，所述第二控制器用于根据所述第一控制信号生成驱动信号，并将所述驱动信号发送至所述驱动装置，所述驱动装置用于根据所述驱动信号控制所述音视频获取装置的运动，以致所述头戴式设备和所述音视频获取装置的运动同步。
5.根据权利要求4所述的基于头戴式设备实现远程控制的虚拟增强现实系统，其特征在于，所述音视频获取装置包括图像捕捉装置和音频输入装置，所述图像捕捉装置用于将获取的图像信息发送至所述第二控制器，所述音频输入装置用于将获取的音频信息发送至所述第二控制器，所述第二控制器用于整合所述图像信息和所述音频信息为所述音视频信息。
6.根据权利要求5所述的基于头戴式设备实现远程控制的虚拟增强现实系统，其特征在于，所述图像捕捉装置包括摄像头，所述摄像头包括镜头，所述摄像头用于通过所述镜头捕捉外界景物，以致生成所述图像信息。
7.根据权利要求5所述的基于头戴式设备实现远程控制的虚拟增强现实系统，其特征在于，所述头戴式设备还包括音视频输出装置，所述音视频输出装置包括视频输出装置和音频输出装置，所述视频输出装置用于输出所述图像信息，所述音频输出装置用于输出所述音频信息。
8.根据权利要求7所述的基于头戴式设备实现远程控制的虚拟增强现实系统，其特征在于，所述视频输出装置包括显示屏和光学透镜，所述第一控制器用于获取所述光学透镜的第一角度信息，所述第一控制器用于根据所述第一角度信息和所述图像信息生成第二控制信号，以调整所述镜头的角度，以致所述镜头获取图像的实际视角方向和经所述光学透镜在所述显示屏上显示所述图像信息的视角方向一致或者接近。
9.根据权利要求7所述的基于头戴式设备实现远程控制的虚拟增强现实系统，其特征在于，所述音频输出装置包括耳机和扬声器。
10.根据权利要求1所述的基于头戴式设备实现远程控制的虚拟增强现实系统，其特征在于，所述远程设备还包括环境扫描装置，所述环境扫描装置用于收集所述远程设备所处环境的地图信息和方位信息，并将所述地图信息和方位信息发送至所述头戴式设备。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510430007.1A CN106249847A (zh) | 2015-07-21 | 2015-07-21 | 一种基于头戴式设备实现远程控制的虚拟增强现实系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510430007.1A CN106249847A (zh) | 2015-07-21 | 2015-07-21 | 一种基于头戴式设备实现远程控制的虚拟增强现实系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106249847A true CN106249847A (zh) | 2016-12-21 |
Family
ID=57626784
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510430007.1A Pending CN106249847A (zh) | 2015-07-21 | 2015-07-21 | 一种基于头戴式设备实现远程控制的虚拟增强现实系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106249847A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107290972A (zh) * | 2017-07-05 | 2017-10-24 | 三星电子（中国）研发中心 | 设备控制方法和装置 |
| CN107426531A (zh) * | 2017-05-16 | 2017-12-01 | 上海欧忆能源科技有限公司 | 姿态视角遥控遥视智能头盔、方法、摄像装置及系统 |
| CN109814704A (zh) * | 2017-11-22 | 2019-05-28 | 腾讯科技（深圳）有限公司 | 一种视频数据处理方法和装置 |
| CN112104722A (zh) * | 2020-09-04 | 2020-12-18 | 瑞欧威尔(上海)智能科技有限公司 | 一种基于边缘服务器的头戴式计算机网络 |
| CN112399167A (zh) * | 2020-12-08 | 2021-02-23 | 恒玄科技(北京)有限公司 | 一种用于无线通信的智能眼镜 |
| CN112667179A (zh) * | 2020-12-18 | 2021-04-16 | 北京理工大学 | 一种基于混合现实的远程同步协作系统 |
| CN113728615A (zh) * | 2020-03-31 | 2021-11-30 | 深圳市大疆创新科技有限公司 | 图像处理方法、图像处理设备、用户设备、飞行器及系统 |
| CN116896684A (zh) * | 2023-08-02 | 2023-10-17 | 广州颖上信息科技有限公司 | 一种稳定器的虚拟控制系统及方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090222149A1 (en) * | 2008-02-28 | 2009-09-03 | The Boeing Company | System and method for controlling swarm of remote unmanned vehicles through human gestures |
| US20120242678A1 (en) * | 2010-02-28 | 2012-09-27 | Osterhout Group, Inc. | See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment |
| CN101251777B (zh) * | 2007-02-23 | 2014-02-12 | 三星电子株式会社 | 计算机系统及其控制方法 |
| CN103620527A (zh) * | 2011-05-10 | 2014-03-05 | 寇平公司 | 使用动作和语音命令来控制信息显示和远程设备的头戴式计算机 |
| CN103677235A (zh) * | 2012-08-28 | 2014-03-26 | 华宝通讯股份有限公司 | 交互式扩增实境系统、便携式通讯装置与互动方法 |
-
2015
- 2015-07-21 CN CN201510430007.1A patent/CN106249847A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101251777B (zh) * | 2007-02-23 | 2014-02-12 | 三星电子株式会社 | 计算机系统及其控制方法 |
| US20090222149A1 (en) * | 2008-02-28 | 2009-09-03 | The Boeing Company | System and method for controlling swarm of remote unmanned vehicles through human gestures |
| US20120242678A1 (en) * | 2010-02-28 | 2012-09-27 | Osterhout Group, Inc. | See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment |
| CN103620527A (zh) * | 2011-05-10 | 2014-03-05 | 寇平公司 | 使用动作和语音命令来控制信息显示和远程设备的头戴式计算机 |
| CN103677235A (zh) * | 2012-08-28 | 2014-03-26 | 华宝通讯股份有限公司 | 交互式扩增实境系统、便携式通讯装置与互动方法 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107426531A (zh) * | 2017-05-16 | 2017-12-01 | 上海欧忆能源科技有限公司 | 姿态视角遥控遥视智能头盔、方法、摄像装置及系统 |
| CN107290972A (zh) * | 2017-07-05 | 2017-10-24 | 三星电子（中国）研发中心 | 设备控制方法和装置 |
| CN109814704A (zh) * | 2017-11-22 | 2019-05-28 | 腾讯科技（深圳）有限公司 | 一种视频数据处理方法和装置 |
| CN113728615A (zh) * | 2020-03-31 | 2021-11-30 | 深圳市大疆创新科技有限公司 | 图像处理方法、图像处理设备、用户设备、飞行器及系统 |
| CN112104722A (zh) * | 2020-09-04 | 2020-12-18 | 瑞欧威尔(上海)智能科技有限公司 | 一种基于边缘服务器的头戴式计算机网络 |
| CN112399167A (zh) * | 2020-12-08 | 2021-02-23 | 恒玄科技(北京)有限公司 | 一种用于无线通信的智能眼镜 |
| CN112399167B (zh) * | 2020-12-08 | 2021-04-13 | 恒玄科技(北京)有限公司 | 一种用于无线通信的智能眼镜 |
| CN112667179A (zh) * | 2020-12-18 | 2021-04-16 | 北京理工大学 | 一种基于混合现实的远程同步协作系统 |
| CN112667179B (zh) * | 2020-12-18 | 2023-03-28 | 北京理工大学 | 一种基于混合现实的远程同步协作系统 |
| CN116896684A (zh) * | 2023-08-02 | 2023-10-17 | 广州颖上信息科技有限公司 | 一种稳定器的虚拟控制系统及方法 |
| CN116896684B (zh) * | 2023-08-02 | 2024-05-17 | 广州颖上信息科技有限公司 | 一种稳定器的虚拟控制系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106249847A (zh) | 一种基于头戴式设备实现远程控制的虚拟增强现实系统 | |
| US10579320B2 (en) | Display system, display device, information display method, and program | |
| WO2017215295A1 (zh) | 一种摄像机参数调整方法、导播摄像机及系统 | |
| US11006072B2 (en) | Window system based on video communication | |
| US10623698B2 (en) | Video communication device and method for video communication | |
| JP2017058752A (ja) | 作業支援方法、作業支援プログラム、及び作業支援システム | |
| CN108650494B (zh) | 基于语音控制的可即时获取高清照片的直播系统 | |
| US11151804B2 (en) | Information processing device, information processing method, and program | |
| TW201809934A (zh) | 遠距作業支援裝置、指示用終端以及現場用終端 | |
| KR20170044451A (ko) | 헤드 마운트 디스플레이를 이용한 원격지 카메라 제어 시스템 및 방법 | |
| US10972699B2 (en) | Video communication device and method for video communication | |
| US10645340B2 (en) | Video communication device and method for video communication | |
| JP2018163461A (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
| US11094109B2 (en) | Data processing | |
| US10701313B2 (en) | Video communication device and method for video communication | |
| JP2017062650A (ja) | 表示システム、表示装置、情報表示方法、及び、プログラム | |
| WO2017092369A1 (zh) | 一种头戴设备、三维视频通话系统和三维视频通话实现方法 | |
| JP2018018315A (ja) | 表示システム、表示装置、情報表示方法、及び、プログラム | |
| CN111541866A (zh) | 一种基于5g的远程协助装置及方法 | |
| CN114489326B (zh) | 面向人群的虚拟人交互注意力驱动的姿态控制装置及方法 | |
| JP2013110630A (ja) | 会話映像表示システム | |
| WO2022220306A1 (ja) | 映像表示システム、情報処理装置、情報処理方法、及び、プログラム | |
| KR20220057438A (ko) | 스마트기기의 디스플레이 영역에 표시된 피사체의 안면 트래킹 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20161221 |
|
| RJ01 | Rejection of invention patent application after publication |