CN109257339A - 远程虚拟现实仿真环境的高效交互方法及系统 - Google Patents

远程虚拟现实仿真环境的高效交互方法及系统 Download PDF

Info

Publication number
CN109257339A
CN109257339A CN201810992869.7A CN201810992869A CN109257339A CN 109257339 A CN109257339 A CN 109257339A CN 201810992869 A CN201810992869 A CN 201810992869A CN 109257339 A CN109257339 A CN 109257339A
Authority
CN
China
Prior art keywords
simulated environment
server
client
data
high efficiency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810992869.7A
Other languages
English (en)
Inventor
张立华
庄鹤然
焦健
高鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Bori Electronic Technology Co Ltd
Original Assignee
Changchun Bori Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Bori Electronic Technology Co Ltd filed Critical Changchun Bori Electronic Technology Co Ltd
Priority to CN201810992869.7A priority Critical patent/CN109257339A/zh
Publication of CN109257339A publication Critical patent/CN109257339A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/133—Protocols for remote procedure calls [RPC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/04—Protocols for data compression, e.g. ROHC
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H04L69/161—Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields
    • H04L69/162—Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields involving adaptations of sockets based mechanisms

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种远程虚拟现实仿真环境的高效交互方法及系统，为了实现医疗保险风险控制而设计。本发明远程虚拟现实仿真环境的高效交互方法包括，服务端运行方法：对图像数据进行编码压缩；根据仿真场景中无人机提供的多种动作，注册对应的RPC远程过程调用功能；客户端运行方法：解码VR图像仿真环境数据，实现仿真环境在客户端的重现；驱动VR设备运行，实现虚拟现实效果；从VR眼镜、控制手柄等外设设备获取用户反馈和操作信息数据；通过RPC远程过程调用协议向服务端发送反馈和控制信息数据，达到对仿真环境进行控制的目的。本发明建立一个高保真和低延迟的远程虚拟现实仿真环境。

Description

远程虚拟现实仿真环境的高效交互方法及系统
技术领域
本发明涉及虚拟现实仿真领域，具体涉及一种远程虚拟现实仿真环境的高效交互方法及系统。
背景技术
现有的虚拟现实仿真环境技术都是在单一服务器中运行虚拟仿真场景，并使用VR设备与服务器直连方式进行仿真数据的传输与反馈，所需要的全部计算机计算过程都需要在这台服务器上运行。
当前虚拟仿真环境服务器需要与VR眼镜等外部设备直接电缆链接，使得用户体验在物理位置方面有一定的局限性，需要用户处在仿真环境服务器较近距离进行交互操作。
仿真环境服务器一边需要构建渲染虚拟现实环境，一边需要计算驱动VR设备的运行，对服务器性能有很高的要求。
当前VR显示图像为服务器场景渲染后的再根据VR眼镜设备参数再进行透视矩阵变换等二次变化后的图像数据，增加服务器的性能负担，又不利于远距离传输。
在需要使用仿真环境中如图像数据进行其它算法计算时，更加大对仿真环境服务器的性能要求。
鉴于上述，本设计人，积极加以研究创新，以期创设一种远程虚拟现实仿真环境的高效交互方法及系统，使其更具有产业上的利用价值。
发明内容
为解决上述技术问题，本发明的目的是提供一种对仿真环境图像数据的压缩网络传输，使得用户可以与虚拟现实仿真环境进行远程交互操作的远程虚拟现实仿真环境的高效交互方法及系统。
本发明远程虚拟现实仿真环境的高效交互方法，包括，
服务端运行方法：获取虚拟现实仿真环境的图像数据，对图像数据进行编码压缩；根据仿真场景中无人机提供的多种动作，注册对应的RPC远程过程调用功能；建立socket协议服务端接口，等待与客户端建立并维护远程网络连接通信；
客户端运行方法：向服务端socket协议发送连接申请，建立连接后开始循环接收数据；解码VR图像仿真环境数据，实现仿真环境在客户端的重现；驱动VR设备运行，实现虚拟现实效果；从VR眼镜、控制手柄等外设设备获取用户反馈和操作信息数据；通过RPC远程过程调用协议向服务端发送反馈和控制信息数据，达到对仿真环境进行控制的目的。
进一步地，使用开源UE4虚幻引擎搭建无人机虚拟飞行仿真环境。
进一步地，服务端与客户端通过互联网网络进行通信。
本发明远程虚拟现实仿真环境的高效交互系统，包括：
服务端包括：虚拟现实引擎场景单元，用于获取虚拟现实仿真环境的图像数据仿真视角图像获取单元；
编码压缩模块，用于对图像数据进行编码压缩；
网络通信模块，用于建立socket协议服务端接口，等待与客户端建立并维护远程网络连接通信；
远程调用注册模块，用于根据仿真场景中无人机提供的多种动作，注册对应的RPC远程过程调用功能；
客户端包括：网络通信模块，用于向服务端socket协议发送连接申请，建立连接后开始循环接收数据；
VR设备驱动模块，用于解码VR图像仿真环境数据，实现仿真环境在客户端的重现；驱动VR设备运行，实现虚拟现实效果；从VR眼镜、控制手柄等外设设备获取用户反馈和操作信息数据；
远程调用功能模块，用于通过RPC远程过程调用协议向服务端发送反馈和控制信息数据，达到对仿真环境进行控制的目的。
借由上述方案，本发明远程虚拟现实仿真环境的高效交互方法及系统，至少具有以下优点：
通过对仿真环境图像数据的压缩网络传输，使得用户可以与虚拟现实仿真环境进行远程交互操作；
将整个的系统对计算性能的要求分散到服务端和客户端，减小对服务器的性能要求，提高服务器处理相应速度，又可以在客户端对图像等仿真数据做更多的计算操作；
利用网络通信协议，方便实现用户与仿真环境进行高效的交互控制。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。
附图说明
图1为本发明远程虚拟现实仿真环境的高效交互方法及系统的服务端框图；
图2为本发明远程虚拟现实仿真环境的高效交互方法及系统的客户端框图；
图3为本发明远程虚拟现实仿真环境的高效交互方法及系统的服务端与客户端的网络进行通信框图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
实施例1
如图1至3所示，本发明一种远程虚拟现实仿真环境的高效交互方法的一较佳实施例，包括：
服务端运行方法：获取虚拟现实仿真环境的图像数据，对图像数据进行编码压缩；根据仿真场景中无人机提供的多种动作，注册对应的RPC远程过程调用功能；建立socket协议服务端接口，等待与客户端建立并维护远程网络连接通信；
客户端运行方法：向服务端socket协议发送连接申请，建立连接后开始循环接收数据；解码VR图像仿真环境数据，实现仿真环境在客户端的重现；驱动VR设备运行，实现虚拟现实效果；从VR眼镜、控制手柄等外设设备获取用户反馈和操作信息数据；通过RPC远程过程调用协议向服务端发送反馈和控制信息数据，达到对仿真环境进行控制的目的。
本实施例使用开源UE4虚幻引擎搭建无人机虚拟飞行仿真环境；
搭配GTX1070级别显卡主机作为无人机仿真环境场景运行服务器；
启动场景后，远程客户端启动VR设备驱动程序，开启VR眼镜、控制手柄等外部设备；
客户端接收到服务端图像进行解码处理后，通过VR设备驱动发送至VR眼镜；
客户端同时还可以对图像进行双目测距算法计算，可实时得到无人机与周边物体距离信息；
用户在客户端佩戴VR眼镜进入仿真环境，并使用控制手柄与仿真环境中无人机进行飞行控制交互操作。
本实施例，使用的是现有编码技术H264，我们只对内存使用过程中的读取操作做了小幅改进，减少硬盘与内存之间的交互读取，可以提高数据处理速度；优化了部分算法的处理器汇编，可以提高算法的处理速度，进而提高编码速度。数据压缩：针对服务端和客户端使用的数据格式，以及压缩过程中的数据格式，使用了图像编码前图像拼接，解码后再拆分图像的改进，可以减少网络通信量，还可以保证图像的对应关系，因为VR眼镜左右眼每一次需要使用两幅图像，两幅图像有细微差别，一起使用才有立体效果；
网络数据传输：使用的是现有技术socket协议的网络传输，没有进行改进。
实施例2
本发明一种远程虚拟现实仿真环境的高效交互系统的一较佳实施例，为了实现上述实施例1中所述的方法，包括：
服务端包括：虚拟现实引擎场景单元，用于获取虚拟现实仿真环境的图像数据仿真视角图像获取单元；
编码压缩模块，用于对图像数据进行编码压缩；
网络通信模块，用于建立socket协议服务端接口，等待与客户端建立并维护远程网络连接通信；
远程调用注册模块，用于根据仿真场景中无人机提供的多种动作，注册对应的RPC远程过程调用功能；
客户端包括：网络通信模块，用于向服务端socket协议发送连接申请，建立连接后开始循环接收数据；
VR设备驱动模块，用于解码VR图像仿真环境数据，实现仿真环境在客户端的重现；驱动VR设备运行，实现虚拟现实效果；从VR眼镜、控制手柄等外设设备获取用户反馈和操作信息数据；
远程调用功能模块，用于通过RPC远程过程调用协议向服务端发送反馈和控制信息数据，达到对仿真环境进行控制的目的。
以上所述仅是本发明的优选实施方式，并不用于限制本发明，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims (4)

1.一种远程虚拟现实仿真环境的高效交互方法，其特征在于，包括，
服务端运行方法：获取虚拟现实仿真环境的图像数据，对图像数据进行编码压缩；根据仿真场景中无人机提供的多种动作，注册对应的RPC远程过程调用功能；建立socket协议服务端接口，等待与客户端建立并维护远程网络连接通信；
客户端运行方法：向服务端socket协议发送连接申请，建立连接后开始循环接收数据；解码VR图像仿真环境数据，实现仿真环境在客户端的重现；驱动VR设备运行，实现虚拟现实效果；从VR眼镜、控制手柄等外设设备获取用户反馈和操作信息数据；通过RPC远程过程调用协议向服务端发送反馈和控制信息数据，达到对仿真环境进行控制的目的。
2.根据权利要求1所述的远程虚拟现实仿真环境的高效交互方法，其特征在于，使用开源UE4虚幻引擎搭建无人机虚拟飞行仿真环境。
3.根据权利要求1所述的远程虚拟现实仿真环境的高效交互方法，其特征在于，服务端与客户端通过互联网网络进行通信。
4.一种远程虚拟现实仿真环境的高效交互系统，其特征在于，包括：
服务端包括：虚拟现实引擎场景单元，用于获取虚拟现实仿真环境的图像数据仿真视角图像获取单元；
编码压缩模块，用于对图像数据进行编码压缩；
网络通信模块，用于建立socket协议服务端接口，等待与客户端建立并维护远程网络连接通信；
远程调用注册模块，用于根据仿真场景中无人机提供的多种动作，注册对应的RPC远程过程调用功能；
客户端包括：网络通信模块，用于向服务端socket协议发送连接申请，建立连接后开始循环接收数据；
VR设备驱动模块，用于解码VR图像仿真环境数据，实现仿真环境在客户端的重现；驱动VR设备运行，实现虚拟现实效果；从VR眼镜、控制手柄等外设设备获取用户反馈和操作信息数据；
远程调用功能模块，用于通过RPC远程过程调用协议向服务端发送反馈和控制信息数据，达到对仿真环境进行控制的目的。
CN201810992869.7A 2018-08-29 2018-08-29 远程虚拟现实仿真环境的高效交互方法及系统 Pending CN109257339A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810992869.7A CN109257339A (zh) 2018-08-29 2018-08-29 远程虚拟现实仿真环境的高效交互方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810992869.7A CN109257339A (zh) 2018-08-29 2018-08-29 远程虚拟现实仿真环境的高效交互方法及系统

Publications (1)

Publication Number Publication Date
CN109257339A true CN109257339A (zh) 2019-01-22

Family

ID=65049604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810992869.7A Pending CN109257339A (zh) 2018-08-29 2018-08-29 远程虚拟现实仿真环境的高效交互方法及系统

Country Status (1)

Country Link
CN (1) CN109257339A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111708644A (zh) * 2020-05-29 2020-09-25 北京百度网讯科技有限公司 用于自动驾驶仿真的虚拟世界管理方法和系统
CN111885130A (zh) * 2020-07-10 2020-11-03 深圳市瑞立视多媒体科技有限公司 语音通信方法、装置、系统、设备及存储介质
CN113296979A (zh) * 2021-05-13 2021-08-24 中国人民解放军军事科学院战争研究院 一种虚幻引擎与外部程序的数据通信方法
CN113835736A (zh) * 2021-08-18 2021-12-24 华建数创(上海)科技有限公司 面向虚幻引擎的数模实时联动实现机制
CN114071111A (zh) * 2021-12-27 2022-02-18 北京百度网讯科技有限公司 视频播放方法和装置
CN114063650A (zh) * 2021-11-17 2022-02-18 中国人民解放军军事科学院国防科技创新研究院 一种面向虚幻引擎的仿真无人机飞行控制方法
CN114268779A (zh) * 2021-12-08 2022-04-01 北京字跳网络技术有限公司 图像数据处理方法、装置、设备及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1845177A (zh) * 2006-05-17 2006-10-11 浙江大学 基于图像传输的三维远程渲染系统及其方法
CN105592103A (zh) * 2016-02-02 2016-05-18 郭小虎 基于Unity3D的虚拟现实设备与移动设备的同步显示方法
CN105791977A (zh) * 2016-02-26 2016-07-20 北京视博云科技有限公司 基于云服务的虚拟现实数据处理方法、设备及系统
CN106502766A (zh) * 2016-12-31 2017-03-15 佛山市幻云科技有限公司 基于kvm的机架服务器仿真方法和系统
CN106657393A (zh) * 2017-02-08 2017-05-10 浪潮（苏州）金融技术服务有限公司 一种基于Websocket的设备远程交互系统及方法
CN106789970A (zh) * 2016-12-06 2017-05-31 邹汶坤 一种基于ar/vr技术的远程展示系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1845177A (zh) * 2006-05-17 2006-10-11 浙江大学 基于图像传输的三维远程渲染系统及其方法
CN105592103A (zh) * 2016-02-02 2016-05-18 郭小虎 基于Unity3D的虚拟现实设备与移动设备的同步显示方法
CN105791977A (zh) * 2016-02-26 2016-07-20 北京视博云科技有限公司 基于云服务的虚拟现实数据处理方法、设备及系统
CN106789970A (zh) * 2016-12-06 2017-05-31 邹汶坤 一种基于ar/vr技术的远程展示系统
CN106502766A (zh) * 2016-12-31 2017-03-15 佛山市幻云科技有限公司 基于kvm的机架服务器仿真方法和系统
CN106657393A (zh) * 2017-02-08 2017-05-10 浪潮（苏州）金融技术服务有限公司 一种基于Websocket的设备远程交互系统及方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111708644A (zh) * 2020-05-29 2020-09-25 北京百度网讯科技有限公司 用于自动驾驶仿真的虚拟世界管理方法和系统
CN111885130A (zh) * 2020-07-10 2020-11-03 深圳市瑞立视多媒体科技有限公司 语音通信方法、装置、系统、设备及存储介质
CN111885130B (zh) * 2020-07-10 2023-06-30 深圳市瑞立视多媒体科技有限公司 语音通信方法、装置、系统、设备及存储介质
CN113296979A (zh) * 2021-05-13 2021-08-24 中国人民解放军军事科学院战争研究院 一种虚幻引擎与外部程序的数据通信方法
CN113835736A (zh) * 2021-08-18 2021-12-24 华建数创(上海)科技有限公司 面向虚幻引擎的数模实时联动实现机制
CN114063650A (zh) * 2021-11-17 2022-02-18 中国人民解放军军事科学院国防科技创新研究院 一种面向虚幻引擎的仿真无人机飞行控制方法
CN114268779A (zh) * 2021-12-08 2022-04-01 北京字跳网络技术有限公司 图像数据处理方法、装置、设备及计算机可读存储介质
CN114268779B (zh) * 2021-12-08 2023-09-08 北京字跳网络技术有限公司 图像数据处理方法、装置、设备及计算机可读存储介质
CN114071111A (zh) * 2021-12-27 2022-02-18 北京百度网讯科技有限公司 视频播放方法和装置
CN114071111B (zh) * 2021-12-27 2023-08-15 北京百度网讯科技有限公司 视频播放方法和装置

Similar Documents

Publication Publication Date Title
CN109257339A (zh) 远程虚拟现实仿真环境的高效交互方法及系统
US9509974B2 (en) Method and system for providing three dimensional stereo image
CN105791977B (zh) 基于云服务的虚拟现实数据处理方法、设备及系统
CN103475953B (zh) 一种基于桌面云的媒体控制方法和设备
CN102413150B (zh) 服务器、虚拟桌面控制方法以及虚拟桌面控制系统
EP3185562A1 (en) Method and apparatus for processing panoramic live video resource
US20170192734A1 (en) Multi-interface unified displaying system and method based on virtual reality
CN106937154A (zh) 处理虚拟形象的方法及装置
CN112379769A (zh) 虚拟场景业务信息的处理方法、系统以及云管理平台
CN113079216A (zh) 一种云应用的实现方法、装置、电子设备及可读存储介质
Fujihashi et al. HoloCast: Graph signal processing for graceful point cloud delivery
CN112328356B (zh) Android与Windows的互通方法、装置、存储介质及计算机设备
EP4162691A1 (en) A method, an apparatus and a computer program product for video encoding and video decoding
CN107251527A (zh) 共享的场景对象同步
CN111901628A (zh) 基于zSpace桌面VR一体机的云端渲染方法
WO2020103018A1 (zh) 视频处理的方法、地面控制端及存储介质
CN113784105A (zh) 一种沉浸式vr终端的信息处理方法及系统
CN105068708B (zh) 一种指令获取、反馈方法及设备和云服务器
AU2021384132A9 (en) Providing a 3d representation of a transmitting participant in a virtual meeting
CN110448892B (zh) 基于增强现实的游戏实现方法及系统
CN105611387A (zh) 视频图像预览方法和系统
CN103646427A (zh) 一种采集图像数据的方法及装置
CN110620910A (zh) 一种基于OpenCV的双摄像头网络传输系统的图像信息传输方法
CN114513647B (zh) 一种三维虚拟场景中数据的传输方法及设备
CN102780894A (zh) 一种3d图像的编解码方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190122

RJ01 Rejection of invention patent application after publication