CN104536763B - 一种模拟现实的网络游戏实现方法 - Google Patents
一种模拟现实的网络游戏实现方法 Download PDFInfo
- Publication number
- CN104536763B CN104536763B CN201510008649.2A CN201510008649A CN104536763B CN 104536763 B CN104536763 B CN 104536763B CN 201510008649 A CN201510008649 A CN 201510008649A CN 104536763 B CN104536763 B CN 104536763B
- Authority
- CN
- China
- Prior art keywords
- game
- picture
- video
- scene
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
一种模拟现实的网络游戏实现方法，包括真实场景或物件的获取步骤、视频流的生成步骤、客户端的视频流获取步骤和虚拟现实网络游戏互动的步骤；本发明采用服务端模拟现实场景生成、视频流化处理、视频分享等方式，将仅支持单人的模拟现实游戏外延到网络游戏模式，提升了游戏趣味性，增添了新的玩法。
Description
技术领域
本发明涉及虚拟现实技术、网络游戏技术领域，是一种实现虚拟现实游戏网络化的实现方法，尤其是满足覆盖各种终端，由具备条件用户端发起，通过服务端处理的虚拟现实游戏联网互动机制，具体地说是一种采用发起者用户端拍照真实场景、服务端生产游戏虚拟场景、通过视频流下发和分享模式形成虚拟现实网络游戏互动的方法。
背景技术
目前，AR技术是近年来国外众多知名大学和研究机构的研究热点之一，增强现实技术是数字化技术的发展和延伸，它通过对实时的视频图像进行信息传输和处理，将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在，形成交互式的三维图像画面，生成一种逼真的视、听、力、触和动等感觉的虚拟环境。曾被美国权威科学家评为21世纪最具开发潜力技术之一，其近两年在各大领域正充分发挥着巨大的作用。但作为该种技术核心增值服务——游戏而言，受限于当前的实现机制，目前的AR游戏仅能提供基于单体用户周围场景或实体物件的场景虚拟，仅能提供单用户的游戏方式。
网络游戏一般采用C/S的架构体系，其特点是用户端（游戏客户端）与服务端分离，是一种由服务器端运行游戏逻辑，由用户终端运行个人游戏场景的游戏方式。游戏服务器与客户端实时交互游戏操控和游戏场景位置信息。在这种方式下，游戏场景信息（地图、音乐等）需要预先安装或分发到客户端。
当前主流的AR游戏均为单机模式，即用户根据所处环境或AR地图等物品，本地生产虚拟场景进行游戏。AR联网游戏，则必须联网用户同处一定范围的特殊环境或共享对应的AR地图等物品，方能实现联网对战，简而言之其实是一种近似局域网或蓝牙对战模式，并非广义上的互联网对战方式。
发明内容
本发明的目的是针对目前解决虚拟现实（AR）游戏仅能提供基于用户周围场景或实体物件的场景虚拟单人或局域网式对战模式，缺乏基于互联网对战乐趣的局限的问题，提供一种模拟现实的网络游戏实现方法，由服务端共享和分发给其他联网用户，实现多人基于一个虚拟现实场景的联网游戏对战。
本发明的技术方案是：
一种模拟现实的网络游戏实现方法，包括以下步骤：
（1）真实场景或物件的获取步骤：客户端用户利用自身终端的摄像头，拍摄周边真实场景或物件的图片，上传至服务端；
（2）、视频流的生成步骤：服务端采用虚拟现实技术中的图像处理方法对客户端拍摄的周边真实场景或物件的图片进行处理，得到图片中的元素以及各元素之间的关系，采用游戏图形引擎处理技术按照元素之间的相互逻辑关系调度和组装，将图片中的元素以及各元素之间的关系转化成游戏虚拟场景，将游戏虚拟场景生成视频流；
（3）、客户端的视频流获取步骤：服务端将视频流发送给上传图片的客户端用户，该用户通过触屏或外接手柄的操控模式，实现游戏互动，并通过视频流分享，向其他用户发起游戏邀请；
（4）虚拟现实网络游戏互动步骤：其他用户接收发起者游戏邀请，从服务端下载视频流，进行联网对战。
本发明的步骤（2）中，各元素之间的关系包括位置属性、视野角度、击打属性、穿越属性和光影效果中的一种或多种。
本发明的步骤（2）中，采用标准的H.265编码协议将虚拟游戏场景生成视频流。
本发明的步骤（2）中，服务端在生成的视频流过程中，采用场景画面动态变量选取或剔除特效的方式对视频流进行压缩编码，之后在客户端进行本地解码，得到压缩的视频流。
本发明的场景画面动态变量选取的视频流压缩编码方法具体为：将游戏虚拟场景的画面分成若干块，选取其中元素或各元素之间的关系发生变化的部分进行采集编码，之后通过客户端本地解码，使之变化部分更新到原有视频画面中。
本发明的元素或各元素之间的关系发生变化是指前后帧画面中元素的位置属性、视野角度、击打属性、穿越属性和光影效果的变化。
本发明的剔除特效的视频流压缩编码方法具体为：游戏虚拟场景的画面是由不同的三角形面组成，选出其中具有特效属性的三角形将其剔除掉，之后将剩余三角形即基本游戏画面进行采集编码，通过客户端本地解码，使基本游戏画面部分更新到原有视频画面中。
本发明的特效包括游戏光影或粒子。
本发明的有益效果：
本发明采用服务端模拟现实场景生成、视频流化处理、视频分享等方式，将仅支持单人的模拟现实游戏外延到网络游戏模式，提升了游戏趣味性，增添了新的玩法。
本发明采用服务端流化处理机制，能够实现面向弱终端，以瘦客户端模式的，提供大型游戏互动机制，并能够实现多屏实时互动机制。
本发明立足于游戏场景特性，采用动态变量选取和剔除特效等游戏场景视频优化压缩技术，提升压缩比和传输数量规模，降低网络时延和提升传输效率。
具体实施方式
下面结合实施例对本发明作进一步的说明。
本发明不同于当前实现机制，在虚拟现实单机游戏的网络化迁移时，通过发起者拍照并上传到服务端，基于服务端图像分析处理、场景逻辑处理/生成，流化处理和传输下发到发起者客户端，并通过发起者向其他用户分享模式，形成多人基于同一虚拟现实游戏场景互动。实现虚拟现实服务扩展到不具备虚拟现实机制的其他联网终端，由服务端图形引擎动态组合游戏场景形成游戏流化互动，解决现有机制单机模式缺乏互动乐趣的局限。
本发明包括客户端和服务端两大组成部分，客户端部分主要包括：实际场景采集、图片上传、视频解码、视频播放、视频分享和操控互动等功能；服务端部分包括：图像解析、游戏场景生成、视频编码、视频压缩、视频下发/转发、操控响应等功能。
一种模拟现实的网络游戏实现方法，包括以下步骤：
（1）真实场景或物件的获取步骤：客户端用户利用自身终端的摄像头，拍摄周边真实场景或物件的图片，上传至服务端；
（2）、视频流的生成步骤：服务端采用虚拟现实技术中的图像处理方法对客户端拍摄的周边真实场景或物件的图片进行处理，得到图片中的元素以及各元素之间的关系，采用游戏图形引擎处理技术按照元素之间的相互逻辑关系调度和组装，将图片中的元素以及各元素之间的关系转化成游戏虚拟场景，采用标准的H.265编码协议将虚拟游戏场景生成视频流；各元素之间的关系包括位置属性、视野角度、击打属性、穿越属性和光影效果中的一种或多种；
为了减少对网络带宽压力及提升视频品质，服务端在生成的视频流过程中，采用场景画面动态变量选取或剔除特效的方式对视频流进行压缩编码，之后在客户端进行本地解码，得到压缩的视频流，达到压缩比达到十倍以上，达到标准3G网络可正常低时延传输；
（3）、客户端的视频流获取步骤：服务端将视频流发送给上传图片的客户端用户，该用户通过触屏或外接手柄的操控模式，实现游戏互动，并通过视频流分享，向其他用户发起游戏邀请；
（4）虚拟现实网络游戏互动：其他用户接收发起者游戏邀请，从服务端下载视频流，进行联网对战。
具体实施时：
1、客户端：
（1）实际场景采集：模拟现实网络游戏发起者，利用其自身终端摄像头，拍摄周边真实场景或物件，实时获取实际场景图片；
（2）图片上传：发起者将其拍摄完成的实景图片，上传到服务端；
（3）视频解码：发起者客户端接收服务端下发的游戏视频流，采用自身芯片硬件或软件机制，按照服务端编码机制进行解码；
（4）视频播放：发起者客户端，本地播放通过解码的视频流；
（5）视频分享：发起者客户端，将游戏视频流分享给其他用户；
（6）操控互动：其他用户接受分享的视频流，获取服务端下发的同步视频，并采用触屏或手柄等外设进行操控，完成虚拟现实游戏的网游化互动。
2、服务端：
（1）图像解析：服务端针对客户端上传的实景图片进行解析，将道路、天空、建筑物、移动元素及其他背景等进行分拆，并获取其彼此位置、相互关系等实景逻辑；
（2）游戏场景生成：服务端按照图像解析的结果，将图片中各实物与存储的虚拟物件对应，按照原实景图片逻辑，通过游戏图形引擎调度游戏图素、NPC、建筑物、道路等组装成为虚拟的游戏场景；
（3）视频编码：服务端将实时虚拟生产的游戏场景，按照H.265协议进行视频流化处理。
（4）视频压缩：采用动态变量选取、剔除特效等方法，对视频进行压缩，满足各种带宽传输。
（5）视频下发/转发：服务端将完成编码、压缩的视频流下发到客户端，并按照客户端分享请求，将其转发给其他共享客户端；
（6）操控响应：按照客户端操控指令，游戏中对应走、跑、跳和攻击等操作动作，并实施进行游戏场景更新。
本发明中在视频优化压缩过程中，使用到动态变量选取技术，其在服务端视频优化压缩过程中使用，并需要客户端继续对应逻辑同步处理。
（1）游戏场景划分：按照游戏场景大小，将游戏场景等分为若干份；
（2）分块解析：解析各分块游戏场景变化情况，重点跟踪变化几率最大的中间部分；
（3）动态筛选：按照各块分析，将其中动态变化部分筛选出来；
（4）动态部分采编：将动态部分进行采编，转化为视频流；
（5）视频下发：将动态部分完成流化视频下发到客户端；
（6）适配解码：客户端将对应视频进行解码分析；
（7）静态画面同步：客户端将解码出来动态部分与本地缓存的静态画面叠加；
（8）视频整合：将完成叠加的视频流整合在一起，并进行播放。
本发明的剔除特效的视频优化处理办法，其在服务端游戏场景生成和视频优化压缩过程中使用，无需客户端配合。仅在网络条件有限情况下使用，并以降低游戏清晰度为代价，正常情况下不建议使用。
（1）关闭光影效果：在游戏场景生成过程前，关闭游戏相关的光影效果，减少游戏画面复杂性；
（2）图层解析：将游戏场景按照不同图层进行解析，将其中场景基本元素外的，特效添加图层解析出来；
（3）剔除特效：将特效层从游戏场景中剔除；
（4）视频采编：将完成特效剔除的场景进行采编，转化为视频流。
本发明未涉及部分均与现有技术相同或可采用现有技术加以实现。
Claims (5)
1.一种模拟现实的网络游戏实现方法，其特征是它包括以下步骤：
（1）真实场景或物件的获取步骤：客户端用户利用自身终端的摄像头，拍摄周边真实场景或物件的图片，上传至服务端；
（2）、视频流的生成步骤：服务端采用虚拟现实技术中的图像处理方法对客户端拍摄的周边真实场景或物件的图片进行处理，得到图片中的元素以及各元素之间的关系，采用游戏图形引擎处理技术按照元素之间的相互逻辑关系调度和组装，将图片中的元素以及各元素之间的关系转化成游戏虚拟场景，将游戏虚拟场景生成视频流；
（3）、客户端的视频流获取步骤：服务端将视频流发送给上传图片的客户端用户，该用户通过触屏或外接手柄的操控模式，实现游戏互动，并通过视频流分享，向其他用户发起游戏邀请；
（4）虚拟现实网络游戏互动步骤：其他用户接收发起者游戏邀请，从服务端下载视频流，进行联网对战；
步骤（2）中，服务端在生成的视频流过程中，采用场景画面动态变量选取或剔除特效的方式对视频流进行压缩编码，之后在客户端进行本地解码，得到压缩的视频流；
场景画面动态变量选取的视频流压缩编码方法具体为：将游戏虚拟场景的画面分成若干块，选取其中元素或各元素之间的关系发生变化的部分进行采集编码，之后通过客户端本地解码，使之变化部分更新到原有视频画面中；
剔除特效的视频流压缩编码方法具体为：游戏虚拟场景的画面是由不同的三角形面组成，选出其中具有特效属性的三角形将其剔除掉，之后将剩余三角形即基本游戏画面进行采集编码，通过客户端本地解码，使基本游戏画面部分更新到原有视频画面中。
2.根据权利要求1所述的模拟现实的网络游戏实现方法，其特征是步骤（2）中，各元素之间的关系包括位置属性、视野角度、击打属性、穿越属性和光影效果中的一种或多种。
3.根据权利要求1所述的模拟现实的网络游戏实现方法，其特征是步骤（2）中，采用标准的H.265编码协议将虚拟游戏场景生成视频流。
4.根据权利要求1所述的模拟现实的网络游戏实现方法，其特征是元素或各元素之间的关系发生变化是指前后帧画面中元素的位置属性、视野角度、击打属性、穿越属性和光影效果的变化。
5.根据权利要求1所述的模拟现实的网络游戏实现方法，其特征是特效包括游戏光影或粒子。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510008649.2A CN104536763B (zh) | 2015-01-08 | 2015-01-08 | 一种模拟现实的网络游戏实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510008649.2A CN104536763B (zh) | 2015-01-08 | 2015-01-08 | 一种模拟现实的网络游戏实现方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104536763A CN104536763A (zh) | 2015-04-22 |
| CN104536763B true CN104536763B (zh) | 2017-03-08 |
Family
ID=52852295
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510008649.2A Active CN104536763B (zh) | 2015-01-08 | 2015-01-08 | 一种模拟现实的网络游戏实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104536763B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107203899A (zh) * | 2017-05-03 | 2017-09-26 | 北京小米移动软件有限公司 | 信息推送方法及设备 |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104991734B (zh) * | 2015-06-30 | 2019-02-22 | 北京奇艺世纪科技有限公司 | 一种对基于触屏方式的游戏实现操控的方法及装置 |
| CN105797378A (zh) * | 2016-03-16 | 2016-07-27 | 成都电锯互动科技有限公司 | 一种基于虚拟现实技术的游戏视频实现方法 |
| CN105797379A (zh) * | 2016-03-16 | 2016-07-27 | 成都电锯互动科技有限公司 | 一种基于虚拟现实技术的游戏视频处理方法 |
| CN105827610B (zh) * | 2016-03-31 | 2020-01-31 | 联想(北京)有限公司 | 一种信息处理方法和第一电子设备 |
| CN106293079A (zh) * | 2016-08-01 | 2017-01-04 | 李良 | 游戏数据设置方法、设备、电子设备、服务器和系统 |
| CN106993181B (zh) * | 2016-11-02 | 2019-03-05 | 大辅科技（北京）有限公司 | 多vr/ar设备协同系统及协同方法 |
| CN108228120A (zh) * | 2016-12-13 | 2018-06-29 | 腾讯科技（深圳）有限公司 | 一种ar场景下的多屏联动方法和系统 |
| CN107441714A (zh) * | 2017-06-01 | 2017-12-08 | 杨玉苹 | 一种实现ar第一人称射击游戏的图像处理方法及其装置、射击游戏对战系统及其工作方法 |
| CN107390875B (zh) * | 2017-07-28 | 2020-01-31 | 腾讯科技（上海）有限公司 | 信息处理方法、装置、终端设备和计算机可读存储介质 |
| CN110545363B (zh) * | 2018-05-28 | 2022-04-26 | 中国电信股份有限公司 | 实现多终端联网同步的方法、系统和云端服务器 |
| CN110694265A (zh) * | 2019-10-22 | 2020-01-17 | 网易（杭州）网络有限公司 | 游戏中数据同步的方法及装置、电子设备、存储介质 |
| CN110798477B (zh) * | 2019-11-06 | 2022-03-18 | 江苏视博云信息技术有限公司 | 数据传输方法、设备、管理平台及云游戏系统架构 |
| CN111258422B (zh) * | 2020-01-14 | 2023-05-05 | 深圳十米网络科技有限公司 | 终端游戏交互方法、装置、计算机设备及存储介质 |
| US11452940B2 (en) | 2020-06-09 | 2022-09-27 | International Business Machines Corporation | Real-world activity simulation augmentation with real-world data of the activity |
| CN113559503B (zh) * | 2021-06-30 | 2024-03-12 | 上海掌门科技有限公司 | 视频生成方法、设备及计算机可读介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1529288A (zh) * | 2003-10-10 | 2004-09-15 | 威盛电子股份有限公司 | 计算三维图形中各顶点的属性的方法 |
| CN102323985A (zh) * | 2011-09-08 | 2012-01-18 | 盛乐信息技术（上海）有限公司 | 真实与虚拟的转换系统及方法 |
| CN104184960A (zh) * | 2014-08-19 | 2014-12-03 | 厦门美图之家科技有限公司 | 一种对视频文件进行特效处理的方法 |
| CN102577412B (zh) * | 2010-03-04 | 2014-12-10 | 北京视博云科技有限公司 | 一种图像编码方法和装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103023872B (zh) * | 2012-11-16 | 2016-01-06 | 杭州顺网科技股份有限公司 | 一种云游戏服务平台 |
| CN103218854B (zh) * | 2013-04-01 | 2016-04-20 | 成都理想境界科技有限公司 | 在增强现实过程中实现部件标注的方法及增强现实系统 |
| CN103475878A (zh) * | 2013-09-06 | 2013-12-25 | 同观科技（深圳）有限公司 | 一种视频编码方法和编码器 |
-
2015
- 2015-01-08 CN CN201510008649.2A patent/CN104536763B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1529288A (zh) * | 2003-10-10 | 2004-09-15 | 威盛电子股份有限公司 | 计算三维图形中各顶点的属性的方法 |
| CN102577412B (zh) * | 2010-03-04 | 2014-12-10 | 北京视博云科技有限公司 | 一种图像编码方法和装置 |
| CN102323985A (zh) * | 2011-09-08 | 2012-01-18 | 盛乐信息技术（上海）有限公司 | 真实与虚拟的转换系统及方法 |
| CN104184960A (zh) * | 2014-08-19 | 2014-12-03 | 厦门美图之家科技有限公司 | 一种对视频文件进行特效处理的方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107203899A (zh) * | 2017-05-03 | 2017-09-26 | 北京小米移动软件有限公司 | 信息推送方法及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104536763A (zh) | 2015-04-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104536763B (zh) | 一种模拟现实的网络游戏实现方法 | |
| US20220193542A1 (en) | Compositing multiple video streams into a single media stream | |
| Hou et al. | Wireless VR/AR with edge/cloud computing | |
| CN105306468B (zh) | 一种合成视频数据实时共享的方法及其主播客户端 | |
| CN106792214A (zh) | 一种基于数字视听场所的直播互动方法和系统 | |
| CN106789991A (zh) | 一种基于虚拟场景的多人互动方法及系统 | |
| CN100588250C (zh) | 一种多视点视频流的自由视点视频重建方法及系统 | |
| CN107027045A (zh) | 视频流推送控制方法、装置及视频流导播端 | |
| CN106713988A (zh) | 一种对虚拟场景直播进行美颜处理的方法及系统 | |
| CN106792246A (zh) | 一种融合式虚拟场景互动的方法及系统 | |
| JP7411794B2 (ja) | Ｇｐｕの１つまたは複数のパラメータを調整するためのシステム及び方法 | |
| US20120270652A1 (en) | System for servicing game streaming according to game client device and method | |
| EP2674916B1 (en) | Moving image distribution server, moving image playback device, control method, program, and recording medium | |
| CN108055472A (zh) | 一种实时全景直播系统及方法 | |
| CN106792228A (zh) | 一种直播互动方法和系统 | |
| KR101491941B1 (ko) | 서버로부터 클라이언트로 3ｄ 비디오 정보를 전송하기 위한 디바이스 및 방법 | |
| WO2022257480A1 (zh) | 直播数据的生成方法、装置、存储介质及电子设备 | |
| CN104998412A (zh) | 一种单机游戏实现方法及装置 | |
| CN110087081A (zh) | 视频编码方法、装置、服务器及存储介质 | |
| US20220360812A1 (en) | Systems and methods for decoding and displaying image frames | |
| JP7447293B2 (ja) | 異種クライアントエンドポイントへのストリーミングのための２ｄビデオの適応のためのニューラルネットワークモデルの参照 | |
| US20170221174A1 (en) | Gpu data sniffing and 3d streaming system and method | |
| KR20210084248A (ko) | Vr 컨텐츠 중계 플랫폼 제공 방법 및 그 장치 | |
| US9838463B2 (en) | System and method for encoding control commands | |
| CN110602523A (zh) | 一种vr全景直播多媒体处理合成系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: The Jianye District of Nanjing City, Jiangsu province 210019 Jiangdong Street No. 18 building 4 floor 17 Applicant after: Xuan Cai interactive network Science and Technology Ltd. Address before: Nanjing City, Jiangsu province Hanzhoung road 210029 No. 268 Hanzhoung mansion 4 floor Applicant before: Xuan Cai interactive network Science and Technology Ltd. |
|
| COR | Change of bibliographic data | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |