CN109587118A - Android网游的分布式支持多终端和多网络的系统 - Google Patents

Android网游的分布式支持多终端和多网络的系统 Download PDF

Info

Publication number
CN109587118A
CN109587118A CN201811335622.4A CN201811335622A CN109587118A CN 109587118 A CN109587118 A CN 109587118A CN 201811335622 A CN201811335622 A CN 201811335622A CN 109587118 A CN109587118 A CN 109587118A
Authority
CN
China
Prior art keywords
android
network game
video
remote control
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811335622.4A
Other languages
English (en)
Other versions
CN109587118B (zh
Inventor
王伟珣
徐琳
黄晟
马超
周磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan duoxing cloud computer technology Co.,Ltd.
Original Assignee
徐琳
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 徐琳 filed Critical 徐琳
Priority to CN201811335622.4A priority Critical patent/CN109587118B/zh
Publication of CN109587118A publication Critical patent/CN109587118A/zh
Priority to US17/263,158 priority patent/US11872482B2/en
Priority to EP19882008.6A priority patent/EP3826259A4/en
Priority to JP2021527276A priority patent/JP7193181B2/ja
Priority to PCT/CN2019/111379 priority patent/WO2020093843A1/zh
Application granted granted Critical
Publication of CN109587118B publication Critical patent/CN109587118B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/352—Details of game servers involving special game server arrangements, e.g. regional servers connected to a national server or a plurality of servers managing partitions of the game world
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/358—Adapting the game course according to the network or server load, e.g. for reducing latency due to different connection speeds between clients
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A63F13/77—Game security or game management aspects involving data related to game devices or game servers, e.g. configuration data, software version or amount of memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72427—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42653—Internal components of the client ; Characteristics thereof for processing graphics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Security & Cryptography (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明涉及本发明的一个技术方案是提供了一种Android网游App的分布式支持多种终端和多种网络的系统，包括：网游服务器，其特征在于，还包括Android网游App分布式视频和远控服务器，Android网游视频和远控模式客户端。本发明的技术方案还包括提供了一种基于上述系统的Android网游App的分布式支持多种终端和多种网络的方法。本发明的有益效果是：使得Android网游达到服务器GPU能支持的电影般逼真的图形效果，同时能支持AR、VR所需的高性能图形处理；Android网游App端可以很好地适用于各种网络环境和各种用户端智能终端的OS平台。

Description

Android网游的分布式支持多终端和多网络的系统
技术领域
本发明涉及一种Android网游App的分布式支持多种终端和多种网络的系统以及基于该系统的方法。
背景技术
目前运行于Android平台的网游(以下简称Android网游)较为流行，因其游戏内容丰富吸引了大量玩家。目前为止，Android网游的运行架构有以下两种：
第一种是客户端/服务器模式，系统架构图如图1所示。在图1所示的架构中，Android网游的App客户端只能在Android OS平台的智能手机和平板电脑运行。这就限制了Android网游的App客户端的图形处理(OpenGL)只能在Android OS平台的智能手机和平板电脑硬件配置的图形处理器(以下简称GPU)和中央处理器(以下简称CPU)的上运行和处理。
与电脑服务器和个人电脑配置的GPU和CPU的性能相比，基于Android OS平台的智能手机和平板电脑的GPU和CPU的性能弱近百倍。受制于性能限制，虽然电脑服务器和个人电脑上运行的游戏的效果已经可以达到电影般真实，但现有的Android网游的图形效果却不够真实，差距甚远。
第二种是利用ARM CPU虚拟化技术和配套的GPU虚拟化驱动程序的GPU虚拟化技术，在ARM Linux KVM上虚拟机里运行Android OS，在Android OS里修改图形处理管线，做图形的分布式远程处理。这种技术必须使用支持GPU虚拟化的GPU卡和配套的GPU虚拟化驱动程序，才实现GPU虚拟化技术。其系统构架如图2所示。
Android网游在图2所示构架的处理流程是：Android网游App调用Android平台的图形框架和运行时(runtime)，通过改造过的Android图形运行时将App图形调用捕捉到，并将这Android网游App图形调用通过网络通讯发到客户端智能手机上。客户端智能手机上的客户端App接收图形调用，该客户端App重放这些图形调用到智能手机的Android OS，做图形显示处理。这些图形调用由客户端智能手机的常规的Linux内核GPU驱动程序和智能手机的GPU进行处理并显示。
上述技术存在的问题是：依赖OS虚拟化技术，虚拟化技术的网络和GPU部分性能差，成本高。由于还是用智能手机的GPU对图形调用进行图形处理，因此图形显示效果仍然受限于智能手机的GPU，图形效果仍然达不到真实逼真的效果。
发明内容
本发明的目的是：使得Android网游的App端达到服务器或个人电脑GPU能支持的电影般逼真的图形效果，并可以将Android网游的App端扩展支持到多种终端和多种网络。
为了达到上述目的，本发明的一个技术方案是提供了一种Android网游App的分布式支持多种终端和多种网络的系统，包括：
网游服务器，用于存储用户的Android网游账户信息和游戏信息(例如游戏内容剧情等)，并服务和响应Android网游App，其特征在于，还包括：
Android网游App分布式视频和远控服务器，分别与Android网游服务器及Android网游视频和远控模式客户端建立网络通信，包括增强的ARM CPU版Android OS、增强的多实例的ARM Linux Docker容器和宿主服务端、增强的ARMCPU版本Linux，ARM Linux Docker容器和宿主服务端在ARM CPU版本Linux上运行，其中：
每个ARM Linux Docker容器内运行多个ARM CPU版Android OS容器实例，Android网游App运行在增强的ARM CPU版Android OS上。
优选地，宿主服务端是Android网游App与Andriod网游App分布式视频和远控服务器与Android网游服务器的交互输入输出口，Andriod网游App分布式视频和远控服务器的宿主服务端从网游服务器处获取相应用户的Android网游账户信息和游戏信息，发送给ARMLinux Docker容器内运行的增强的ARM CPU版Android OS上的Android网游App，使得Android网游App与Android网游服务器交互运行，并且，Android网游App运行要修改相应的Android网游账户信息，由Android网游服务器进行存储；
同时，宿主服务端也是Android网游App与Android网游App分布式视频和远控服务器与Android网游视频和远控模式客户端的交互口，Android网游App运行过程中，宿主服务端把Android网游App的图形显示从OpenGL_ES命令通过Docker容器的设备映射和Binder服务辅助转换成单路或者多路视频流，发送给Android网游视频和远控模式客户端；宿主服务端接收Android网游视频和远控模式客户端上传的控制信息，并将该控制信息发送给ARMLinux Docker容器内运行的Android网游App；
宿主服务端服务于Android网游视频和远控模式客户端，该客户端运行于移动终端设备上，通过Android网游视频和远控模式客户端播放从Android网游App分布式视频和远控服务器接收到的视频流，同时，利用Android网游视频和远控模式客户端采集控制信息，并上传给Android网游App分布式视频和远控服务器。
优选地，所述宿主服务端包括显示控制，视频流服务层，操控管理，操控服务层以及Mesa、libdrm、vaapi库。
优选地，所述Android网游视频和远控模式客户端还采集移动终端设备的性能信息以及Android网游视频和远控模式客户端与Android网游App分布式视频和远控服务器进行通信的网络状态信息，将收集的性能信息及网络状态信息上传至Android网游App分布式视频和远控服务器，由Android网游App分布式视频和远控服务器根据接收到的性能信息及网络状态信息实时调整待传输视频流的大小及网络传输参数。
优选地，所述Android网游视频和远控模式客户端包括视频流客户端库，运行有Android网游视频和远控模式客户端的移动终端设备所运行的操作系统的操控模块，终端及网络信息采集模块。
本发明的另一个技术方案是提供了一种基于上述系统的Android网游App的分布式支持多种终端和多种网络的方法，其特征在于，包括以下步骤：
步骤1、用户发送登录信息给Android网游App分布式视频和远控服务器，由宿主服务端依据登录信息获取Android网游服务器内存储的相应的Android网游账户信息和游戏信息；
步骤2、宿主服务端将Android网游账户信息和游戏信息发送给ARM LinuxDocker容器内运行的增强的ARM CPU版Android OS实例，在增强的ARM CPU版Android OS上根据Android网游账户信息和网游内容信息等运行Android网游App；
步骤3、Android网游App运行过程中，宿主服务端把Android网游的图形显示从OpenGL_ES命令通过Docker容器的设备映射和Binder服务辅助转换成单路或者多路视频流，发送给用户所使用的移动终端设备上运行的Android网游视频和远控模式客户端；
步骤4、Android网游视频和远控模式客户端该客户端将接收到的视频流在当前移动终端设备上显示，并捕捉用户根据显示的画面执行的控制信息，将采集到的控制信息上传给宿主服务端；
步骤5、宿主服务端接收到控制信息后，发送给ARM Linux Docker容器内运行的Android网游App。
优选地，还包括以下步骤：
所述Android网游视频和远控模式客户端在工作过程中，还采集移动终端设备的性能信息以及Android网游视频和远控模式客户端与Android网游App分布式视频和远控服务器进行通信的网络状态信息，将收集的性能信息及网络状态信息上传至Android网游App分布式视频和远控服务器，由Android网游App分布式视频和远控服务器根据接收到的性能信息及网络状态信息实时调整待传输视频流的大小及网络传输参数。
本发明的有益效果是：
(1)Android网游App端可以用上高性能的服务器ARM CPU和高性能GPU，使得Android网游App达到服务器GPU能支持的电影般逼真的图形效果，同时能支持AR、VR所需的高性能图形处理。
(2)Android网游App端可以很好地适用于各种网络环境和各种用户端智能终端的OS平台，用户在各种网络环境和各种智能终端上都可以用到图形效果逼真的游戏。
(3)性能好、成本低，没OS虚拟化的IO开销，不用虚拟化专用GPU卡和专用OS加专门的GPU虚拟化驱动程序。
附图说明
图1为Android网游现有的客户端/服务器模式的系统架构图；
图2为Android网游现有的另一种系统架构图；
图3为本发明的系统架构图。
具体实施方式
为使本发明更明显易懂，兹以优选实施例，并配合附图作详细说明如下。
随着网络技术的发展，本发明提供的一种Android网游App的分布式支持多种终端和多种网络的系统参考引用名称为《互动娱乐应用扩展支持多种终端和多种网络的系统和方法》、专利号为ZL 200610026512.0的发明专利，把Android网游App的运行平台AndroidOS改造成分布式，分成网游服务器、Android网游App分布式视频和远控服务器及Android网游视频和远控模式客户端。
网游服务器采用现有的网游服务器，其功能也与现有的网游服务器一致，用于存储用户的Android网游账户信息和游戏信息(例如游戏内容剧情等)，并服务和响应Android网游App。
Android网游App分布式视频和远控服务器，分别与网游服务器及Android网游App视频和远控模式客户端建立网络通信，由增强的ARM CPU版Android OS和增强的多实例的ARM Linux Docker容器和宿主服务端和增强的ARM CPU版本Linux组成。
每个ARM Linux Docker容器内运行多个增强的ARM CPU版Android OS实例，Android网游App运行在ARM CPU版Android OS上。其中，增强的ARM CPU版Android OS部分的实施是：定制Init以在宿主Linux的Docker容器环境里启动、定制bionic增加系统调用、定制SystemServer适配服务、定制属性系统、使用alsa支持声音、适配网络；增加自包含的mesa，通过libdrm、llvm、mesa三者的配合完成渲染，通过编写socket将合成过的DRM的bo(buffer object)及其标识名字和刷新事件传送出去。
增强的多实例的ARM Linux Docker容器部分的实施是：增加动态增减binder设备功能；Android OS镜像在Docker中的定制修改及运行环境构建；为Docker添加ARM Linux宿主机hooks机制，提供容器启动前后、关闭前后的hooks和运行时cgroup的override，从而开发实现Docker容器内运行多个Android OS实例。
增强的ARM CPU版本Linux部分的实施是：修改binder驱动，增加多binder设备支持，增加Linux cgoups的GPU支持，打开AppArmor，增强容器和宿主Linux安全性，Linux上还包括支持ARM CPU的GPU驱动程序。
宿主服务端是Android网游App分布式视频和远控服务器与网游服务器的交互输入输出口，宿主服务端从网游服务器处获取相应用户的Android网游账户信息和游戏信息，发送给ARM Linux Docker容器内运行的增强的ARM CPU版AndroidOS上的Android网游App，使得Android网游App依据Android网游服务器交互运行，并且，宿主服务端根据Android网游App的运行结果修改相应的Android网游账户信息，由网游服务器进行存储；。
同时，宿主服务端也是Android网游App分布式视频和远控服务器与Android网游视频和远控模式客户端的交互口，Android网游运行过程中，宿主服务端把Android网游的图形显示从OpenGL_ES命令通过Docker容器的设备映射和Binder服务辅助转换成单路或者多路视频流，发送给Android网游视频和远控模式客户端；宿主服务端接收Android网游视频和远控模式客户端上传的控制信息，并将该控制信息发送给ARM Linux Docker容器内运行的Android网游App。
在本实施例中，宿主服务端由显示控制，视频流服务层，操控管理，操控服务层以及Mesa、libdrm、vaapi库构成。宿主服务端部分的实施是：实现socket接收和发送显示DRM的bo；基于anbox的Host端修改socket用于接收和发送输入事件。宿主服务端作为服务器和客户端的交互口的具体实施是：主要功能为开发压缩bo视频流、和本发明的Android网游视频和远控模式客户端交互的协议、接收操控输入和传感器的socket和发送压缩视频流的socket；根据收到的本发明的Android网游视频和远控模式客户端上报，采集、上报信息，动态调整视频流格式和参数，以及通讯层协议参数；运行AR或VR网游App时根据视角需要，压缩并传输两路或者多路视频流。
Android网游视频和远控模式客户端运行于移动终端设备上，通过Android网游视频和远控模式客户端播放从Android网游App分布式视频和远控服务器接收到的视频流，同时，利用Android网游视频和远控模式客户端采集控制信息，并上传给Android网游App分布式视频和远控服务器。在本实施例中，Android网游视频和远控模式客户端包括视频流客户端库，运行有Android网游视频和远控模式客户端的移动终端设备所运行的操作系统的操控模块，终端及网络信息采集模块。
Android网游视频和远控模式客户端部分的实施是：实现显示、鼠标、键盘、触控，传感器的控制协议，接收视频流并播放，实现采集用户终端类型的形式、格式，并时时监测、测量服务器到客户端的智能手机设备的网络时延，丢包等信息报告给宿主服务端；本客户端具体实施还可以支持运行在Android OS,iOS,SailfishOS等多种终端的智能手机OS。
本发明提供的一种Android网游App的分布式支持多种终端和多种网络的方法包括以下步骤：
步骤1、用户发送登录信息给Android网游App分布式视频和远控服务器，由宿主服务端依据登录信息获取网游服务器内存储的相应的Android网游账户信息和游戏信息；
步骤2、宿主服务端将Android网游账户信息和游戏信息发送给ARM LinuxDocker容器内运行的ARM CPU版Android OS实例，在增强的ARM CPU版AndroidOS上根据Android网游账户信息运行Android网游App；
步骤3、Android网游App运行过程中，宿主服务端把Android网游App的图形显示从OpenGL_ES命令通过Docker容器的设备映射和Binder服务辅助转换成单路或者多路视频流，发送给用户所使用的移动终端设备上运行的Android网游视频和远控模式客户端；
步骤4、Android网游视频和远控模式客户端该客户端将接收到的视频流在当前移动终端设备上显示，并捕捉用户根据显示的画面执行的控制信息，将采集到的控制信息上传给宿主服务端；
步骤5、宿主服务端接收到控制信息后，发送给ARM Linux Docker容器内运行的Android网游App；
步骤6、Android网游视频和远控模式客户端在工作过程中，还采集移动终端设备的性能信息(例如移动终端设备的类型的形式、格式)以及Android网游视频和远控模式客户端与Android网游App分布式视频和远控服务器进行通信的网络状态信息(例如网络时延、丢包等信息)，将收集的性能信息及网络状态信息上传至Android网游App分布式视频和远控服务器，由Android网游App分布式视频和远控服务器根据接收到的性能信息及网络状态信息实时调整待传输视频流的大小(例如调整视频流的格式和参数)及网络传输参数(例如调整通讯层协议参数)，从而更好地适配多种终端和多种网络以及网络时时传输带宽和质量情况。
实施中方法步骤流程细化是：
用户在Android网游视频和远控模式客户端操作智能手机及其传感器，该客户端通过输入协议将这些操作动作信息和传感器信息发送到宿主服务端，然后再通过宿主服务端传送到对应那一个Docker容器里的Android OS中的Android网游的App端，通过这些信息就是实现对该Android网游的App端的控制。控制完成后，Android网游的App端通过AndroidOS的libdrm调用Android OS自己的Mesa，并使用透过Docker映射的ARM Linux本地显卡对图像进行渲染和混合，然后通过socket将合成后的图像bo标识传给宿主服务端，宿主服务端拿到图像bo标识后，调用vaapi压缩成视频流，再通过协议传输给Android网游视频和远控模式客户端显示。

Claims (7)

1.一种Android网游App的分布式支持多种终端和多种网络的系统，包括：
网游服务器，用于存储用户的Android网游账户信息和游戏信息，其特征在于，还包括：
Android网游App分布式视频和远控服务器，分别与网游服务器及Android网游视频和远控模式客户端建立网络通信，包括增强的ARM CPU版Android OS、增强的多实例的ARMLinux Docker容器和宿主服务端、增强的ARM CPU版本Linux，ARM Linux Docker容器和宿主服务端在ARM CPU版本Linux上运行，其中：
每个ARM Linux Docker容器内运行多个ARM CPU版Android OS实例，Android网游App运行在增强的ARM CPU版Android OS上。
2.如权利要求1所述的一种Android网游App的分布式支持多种终端和多种网络的系统，其特征在于：所述的宿主服务端是Android网游App分布式视频和远控服务器与网游服务器的交互输入输出口，宿主服务端从网游服务器处获取相应用户的Android网游账户信息和游戏信息，发送给ARM Linux Docker容器内运行的增强的ARM CPU版Android OS上的Android网游App，使得Android网游App依据Android网游服务器交互运行，并且，宿主服务端根据Android网游App的运行结果修改相应的Android网游账户信息，由网游服务器进行存储；
同时，宿主服务端也是Android网游App分布式视频和远控服务器与Android网游视频和远控模式客户端的交互口，Android网游运行过程中，宿主服务端把Android网游App的图形显示从OpenGL_ES命令通过Docker容器的设备映射和Binder服务辅助转换成单路或者多路视频流，发送给Android网游视频和远控模式客户端；宿主服务端接收Android网游视频和远控模式客户端上传的控制信息，并将该控制信息发送给ARM Linux Docker容器内运行的Android网游App；
宿主服务端服务于Android网游视频和远控模式客户端，该客户端运行于移动终端设备上，通过Android网游视频和远控模式客户端播放从Android网游App分布式视频和远控服务器接收到的视频流，同时，利用Android网游视频和远控模式客户端采集控制信息，并上传给Android网游App分布式视频和远控服务器。
3.如权利要求2所述的一种Android网游App的分布式支持多种终端和多种网络的系统，其特征在于：所述宿主服务端还包括显示控制，视频流服务层，操控管理，操控服务层以及Mesa、libdrm、vaapi库。
4.如权利要求1所述的一种Android网游App的分布式支持多种终端和多种网络的系统，其特征在于，所述Android网游视频和远控模式客户端还采集移动终端设备的性能信息以及Android网游视频和远控模式客户端与Android网游App分布式视频和远控服务器进行通信的网络状态信息，将收集的性能信息及网络状态信息上传至Android网游App分布式视频和远控服务器，由Android网游App分布式视频和远控服务器根据接收到的性能信息及网络状态信息实时调整待传输视频流的大小及网络传输参数。
5.如权利要求1所述的一种Android网游App的分布式支持多种终端和多种网络的系统，其特征在于，所述Android网游视频和远控模式客户端包括视频流客户端库，运行有Android网游视频和远控模式客户端的移动终端设备所运行的操作系统的操控模块，终端及网络信息采集模块。
6.一种基于权利要求1所述系统的Android网游App的分布式支持多种终端和多种网络的方法，其特征在于，包括以下步骤：
步骤1、用户发送登录信息给Android网游App分布式视频和远控服务器，由宿主服务端依据登录信息获取网游服务器内存储的相应的Android网游账户信息和游戏信息；
步骤2、宿主服务端将Android网游账户信息和游戏信息发送给ARM Linux Docker容器内运行的ARM CPU版Android OS实例，在增强的ARM CPU版Android OS上根据Android网游账户信息和网游内容信息运行Android网游App；
步骤3、Android网游App运行过程中，宿主服务端把Android网游App的图形显示从OpenGL_ES命令通过Docker容器的设备映射和Binder服务辅助转换成单路或者多路视频流，发送给用户所使用的移动终端设备上运行的Android网游视频和远控模式客户端；
步骤4、Android网游视频和远控模式客户端该客户端将接收到的视频流在当前移动终端设备上显示，并捕捉用户根据显示的画面执行的控制信息，将采集到的控制信息上传给宿主服务端；
步骤5、宿主服务端接收到控制信息后，发送给ARM Linux Docker容器内运行的Android网游App。
7.如权利要求6所述的一种Android网游App的分布式支持多种终端和多种网络的方法，其特征在于，还包括以下步骤：
所述Android网游视频和远控模式客户端在工作过程中，还采集移动终端设备的性能信息以及Android网游视频和远控模式客户端与Android网游App分布式视频和远控服务器进行通信的网络状态信息，将收集的性能信息及网络状态信息上传至Android网游App分布式视频和远控服务器，由Android网游App分布式视频和远控服务器根据接收到的性能信息及网络状态信息实时调整待传输视频流的大小及网络传输参数。
CN201811335622.4A 2018-11-11 2018-11-11 Android网游的分布式支持多终端和多网络的系统 Active CN109587118B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201811335622.4A CN109587118B (zh) 2018-11-11 2018-11-11 Android网游的分布式支持多终端和多网络的系统
US17/263,158 US11872482B2 (en) 2018-11-11 2019-10-16 Distributed multi-terminal and multi-network supporting system for android online game
EP19882008.6A EP3826259A4 (en) 2018-11-11 2019-10-16 DISTRIBUTED SUPPORT SYSTEM FOR MULTIPLE TERMINALS AND MULTIPLE NETWORKS FOR ANDROID ONLINE GAMING
JP2021527276A JP7193181B2 (ja) 2018-11-11 2019-10-16 複数の端末及び複数のネットワークをサポートするＡｎｄｒｏｉｄオンラインゲームアプリの分散型システム
PCT/CN2019/111379 WO2020093843A1 (zh) 2018-11-11 2019-10-16 Android网游的分布式支持多终端和多网络的系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811335622.4A CN109587118B (zh) 2018-11-11 2018-11-11 Android网游的分布式支持多终端和多网络的系统

Publications (2)

Publication Number Publication Date
CN109587118A true CN109587118A (zh) 2019-04-05
CN109587118B CN109587118B (zh) 2021-05-11

Family

ID=65921970

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811335622.4A Active CN109587118B (zh) 2018-11-11 2018-11-11 Android网游的分布式支持多终端和多网络的系统

Country Status (5)

Country Link
US (1) US11872482B2 (zh)
EP (1) EP3826259A4 (zh)
JP (1) JP7193181B2 (zh)
CN (1) CN109587118B (zh)
WO (1) WO2020093843A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020093843A1 (zh) * 2018-11-11 2020-05-14 长沙摩智云计算机科技有限公司 Android网游的分布式支持多终端和多网络的系统
CN113641437A (zh) * 2021-08-16 2021-11-12 深圳技德智能科技研究院有限公司 一种Linux兼容Android的应用界面旋转方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1937596A (zh) * 2006-05-12 2007-03-28 王伟珣 多人互动娱乐应用扩展支持多种终端和网络的系统和方法
CN102571900A (zh) * 2010-12-08 2012-07-11 中国电信股份有限公司 一种实现远端实时操控的系统和方法
CN103023872A (zh) * 2012-11-16 2013-04-03 杭州顺网科技股份有限公司 一种云游戏服务平台
US9843533B2 (en) * 2014-03-06 2017-12-12 Trilio Data Inc. Elastic compute cloud based on underutilized server resources using a distributed container system
CN108268304A (zh) * 2017-01-03 2018-07-10 中国科学院声学研究所 一种基于容器的Web app迁移方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9710821B2 (en) * 2011-09-15 2017-07-18 Stephan HEATH Systems and methods for mobile and online payment systems for purchases related to mobile and online promotions or offers provided using impressions tracking and analysis, location information, 2D and 3D mapping, mobile mapping, social media, and user behavior and
CN103888485B (zh) 2012-12-19 2018-03-09 华为技术有限公司 云计算资源的分配方法、装置及系统
US9451043B2 (en) * 2013-09-13 2016-09-20 Evie Labs, Inc. Remote virtualization of mobile apps
US20150141143A1 (en) 2013-11-15 2015-05-21 Ol2, Inc. Systems and methods for coordinating input devices with rendered content being provided to platforms
US10105593B2 (en) 2014-04-08 2018-10-23 Razer (Asia-Pacific) Pte. Ltd. File prefetching for gaming applications accessed by electronic devices
CN105357256B (zh) 2015-09-28 2018-10-30 深信服网络科技（深圳）有限公司 管理移动设备的方法及服务器
CN105491021A (zh) 2015-11-24 2016-04-13 华东师范大学 一种Android云应用服务器及Android云应用服务器系统
CN106776067B (zh) 2016-11-29 2020-10-23 北京元心科技有限公司 多容器系统中系统资源的管理方法及管理装置
CN108021608A (zh) 2017-10-31 2018-05-11 赛尔网络有限公司 一种基于Docker的轻量级网站部署方法
CN108388460B (zh) * 2018-02-05 2021-05-18 中国人民解放军战略支援部队航天工程大学 基于图形集群的远程实时渲染平台构建方法
CN109587118B (zh) 2018-11-11 2021-05-11 长沙摩智云计算机科技有限公司 Android网游的分布式支持多终端和多网络的系统
US10972768B2 (en) * 2019-06-27 2021-04-06 Intel Corporation Dynamic rebalancing of edge resources for multi-camera video streaming
US11368552B2 (en) * 2019-09-17 2022-06-21 Charter Communications Operating, Llc Methods and apparatus for supporting platform and application development and operation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1937596A (zh) * 2006-05-12 2007-03-28 王伟珣 多人互动娱乐应用扩展支持多种终端和网络的系统和方法
CN102571900A (zh) * 2010-12-08 2012-07-11 中国电信股份有限公司 一种实现远端实时操控的系统和方法
CN103023872A (zh) * 2012-11-16 2013-04-03 杭州顺网科技股份有限公司 一种云游戏服务平台
US9843533B2 (en) * 2014-03-06 2017-12-12 Trilio Data Inc. Elastic compute cloud based on underutilized server resources using a distributed container system
CN108268304A (zh) * 2017-01-03 2018-07-10 中国科学院声学研究所 一种基于容器的Web app迁移方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨霞: "采用容器技术的多Android系统的研究与实现", 《小型微型计算机系统》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020093843A1 (zh) * 2018-11-11 2020-05-14 长沙摩智云计算机科技有限公司 Android网游的分布式支持多终端和多网络的系统
US11872482B2 (en) 2018-11-11 2024-01-16 Hunan Duoxingyun Cloud Technology Co., Ltd. Distributed multi-terminal and multi-network supporting system for android online game
CN113641437A (zh) * 2021-08-16 2021-11-12 深圳技德智能科技研究院有限公司 一种Linux兼容Android的应用界面旋转方法及装置
CN113641437B (zh) * 2021-08-16 2023-06-16 深圳技德智能科技研究院有限公司 一种Linux兼容Android的应用界面旋转方法及装置

Also Published As

Publication number Publication date
CN109587118B (zh) 2021-05-11
US20210162299A1 (en) 2021-06-03
US11872482B2 (en) 2024-01-16
JP2022507759A (ja) 2022-01-18
JP7193181B2 (ja) 2022-12-20
WO2020093843A1 (zh) 2020-05-14
EP3826259A4 (en) 2022-04-06
EP3826259A1 (en) 2021-05-26

Similar Documents

Publication Publication Date Title
CN106713485B (zh) 云计算移动终端
CN110213601A (zh) 一种基于云游戏的直播系统及直播方法、直播互动方法
CN111882626A (zh) 图像处理方法、装置、服务器及介质
CN111433743B (zh) 一种app远程控制方法及相关设备
US20180048736A1 (en) Hierarchical display-server system and method
CN100591120C (zh) 视频通信方法及装置
WO2022227938A1 (zh) 一种云游戏的处理方法、装置、设备及存储介质
CN105072190A (zh) 一种实时性桌面云的实现方法及系统
CN106685959A (zh) 移动终端实时控制机顶盒的方法、设备及系统
US11272261B2 (en) Cloud platform capable of providing real-time streaming services for heterogeneous applications including AR, VR, XR, and MR irrespective of specifications of hardware of user
CN113209632A (zh) 一种云游戏的处理方法、装置、设备及存储介质
CN102855133A (zh) 一种计算机处理单元交互式系统
CN109587118A (zh) Android网游的分布式支持多终端和多网络的系统
CN110025957A (zh) 一种云游戏服务器端架构、客户端和系统
WO2024037110A1 (zh) 数据处理方法、装置、设备以及介质
CN110012267A (zh) 无人机控制方法及音视频数据传输方法
CN102857531B (zh) 一种基于云计算的远程交互式系统
CN102857533A (zh) 一种基于云计算的远程交互式系统
Ha et al. N-screen service using I/O virtualization technology
CN103428297A (zh) 基于桌面虚拟化的远程交互系统架构
US11070713B2 (en) Network-controlled 3D video capture
CN204031363U (zh) 一种多功能无线个人便携数码装置
CN101794543B (zh) 一种自适应互动视讯终端
CN102857534A (zh) 一种基于云计算的远程交互方法
CN103618968B (zh) 一种面向云环境下的网络电视播放方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190515

Address after: 410000 Room G194, Headquarters Building, Changsha Zhongdian Software Park Co., Ltd., 39 Jianshan Road, Changsha High-tech Development Zone, Hunan Province

Applicant after: Changsha Mozhi Cloud Computing Technology Co., Ltd.

Address before: Room 2503, No. 137, Lane 99, Tan Road, Putuo District, Shanghai

Applicant before: Xu Lin

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211102

Address after: 410205 Room 302, building 4, phase I, Changsha Zhongdian Software Park, No. 39, Jianshan Road, Changsha high tech Development Zone, Changsha, Hunan

Patentee after: Hunan duoxing cloud computer technology Co.,Ltd.

Address before: 410000 Room G194, Headquarters Building, Changsha Zhongdian Software Park Co., Ltd., 39 Jianshan Road, Changsha High-tech Development Zone, Hunan Province

Patentee before: Changsha Mozhi Cloud Computing Technology Co.,Ltd.

TR01 Transfer of patent right