CN112354178A - 一种基于云端自动进入街霸游戏对战的系统 - Google Patents

一种基于云端自动进入街霸游戏对战的系统 Download PDF

Info

Publication number
CN112354178A
CN112354178A CN202011186885.0A CN202011186885A CN112354178A CN 112354178 A CN112354178 A CN 112354178A CN 202011186885 A CN202011186885 A CN 202011186885A CN 112354178 A CN112354178 A CN 112354178A
Authority
CN
China
Prior art keywords
module
game
street
tyrant
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011186885.0A
Other languages
English (en)
Inventor
洪清泉
苏金平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Wheat Interactive Enterprise Development Co ltd
Original Assignee
Shanghai Wheat Interactive Enterprise Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Wheat Interactive Enterprise Development Co ltd filed Critical Shanghai Wheat Interactive Enterprise Development Co ltd
Priority to CN202011186885.0A priority Critical patent/CN112354178A/zh
Publication of CN112354178A publication Critical patent/CN112354178A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/833—Hand-to-hand fighting, e.g. martial arts competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种基于云端自动进入街霸游戏对战的系统，包括服务端游戏沙盒容器、自动进入游戏对战识别模块、服务端音视频编码模块、服务端游戏操作控制控制、人机对战AI智能模块和街霸播放端。服务端游戏沙盒容器包括开源easyhook初始化模块、街霸游戏渲染hook模块、街霸游戏声音数据hook模块、街霸input输入控制hook和服务器socket初始化。自动进入游戏对战识别模块包括opencv开源库初始化、一组街霸游戏特征图片采集、游戏对战状态管理模块和基于图像特征比对模块。本发明使不同地点，不同网络的街霸忠实玩家可以对战街霸，降低玩家玩街霸对战模式门槛，缩短玩家进入对战模式的时间；结合AI技术模拟不同用户发送对战指令及加入自研算法进行人机对战模式。

Description

一种基于云端自动进入街霸游戏对战的系统
技术领域
本发明涉及街霸游戏领域，具体为一种基于云端自动进入街霸游戏对战的系统。
背景技术
目前5G的到来，游戏及应用运行在云端是趋势，pc上游戏各种智能玩法推送到各个终端也是趋势，由于街霸游戏进入对战需要很多步骤才能进入对战界面；非常麻烦，还有由于pc街霸游戏并不能支持两个玩家在不同时间，不同地点进行对战，介于此把街霸放在云端，利用AI图像识别自动进入对战界面，再利用rtc技术把街霸游戏界面分发给不同网络，不同地点的玩家；当玩家要学习技能的时候，还可以通过此自动对战模块学习观看对战技能；现有技术存在的问题：1、由于街霸是单机游戏，不能跨网对战；2、由于街霸是pc版游戏，不能再android，ios跨端玩游戏；3、由于街霸进入对战需要好几层界面，路径非常深，对于新手有一定的门槛。
发明内容
本发明的目的是针对现有技术的缺陷，提供一种基于云端自动进入街霸游戏对战的系统，以解决上述背景技术提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于云端自动进入街霸游戏对战的系统，包括服务端游戏沙盒容器、自动进入游戏对战识别模块、服务端音视频编码模块、服务端游戏操作控制控制、人机对战AI智能模块和街霸播放端。
作为本发明的一种优选技术方案，所述服务端游戏沙盒容器包括开源easyhook初始化模块、街霸游戏渲染hook模块、街霸游戏声音数据hook模块、 街霸input输入控制hook和服务器socket初始化。
作为本发明的一种优选技术方案，所述自动进入游戏对战识别模块包括opencv开源库初始化、一组街霸游戏特征图片采集、游戏对战状态管理模块和基于图像特征比对模块。
作为本发明的一种优选技术方案，所述服务端音视频编码模块包括采集街霸游戏图像数据模块、采集街霸游戏声音数据模块、nvdia codec sdk h编码模块、AAC声音编码模块和音视频数据推送模块。
作为本发明的一种优选技术方案，所述服务端游戏操作控制控制包括接收播放端的控制解码模块和控制指令编码发送到游戏模块。
作为本发明的一种优选技术方案，所述人机对战AI智能模块包括对战状态监控模块和智能控制发送模块。
作为本发明的一种优选技术方案，所述街霸播放端包括端网络连接模块、服务端数据接收解析模块、h硬解码渲染模块、aac声音解码播放模块和用户控制操作传输模块。
本发明的有益效果是：本发明使不同地点，不同网络的街霸忠实玩家可以对战街霸，降低玩家玩街霸对战模式门槛，缩短玩家进入对战模式的时间；结合AI技术模拟不同用户发送对战指令及加入自研算法进行人机对战模式。
附图说明
图1为本发明的模块图；
图2为本发明的流程图；
图3为本发明的客户端与服务器得连接图。
服务端游戏沙盒容器10、开源easyhook初始化模块11、街霸游戏渲染hook模块12、街霸游戏声音数据hook模块13、 街霸input输入控制hook14、服务器socket初始化15、自动进入游戏对战识别模块20、opencv开源库初始化21、一组街霸游戏特征图片采集22、游戏对战状态管理模块23、基于图像特征比对模块24、服务端音视频编码模块30、采集街霸游戏图像数据模块31、采集街霸游戏声音数据模块32、nvdia codec sdk h264编码模块33、AAC声音编码模块34、音视频数据推送模块35、服务端游戏操作控制控制40、接收播放端的控制解码模块41、控制指令编码发送到游戏模块42、人机对战AI智能模块50、对战状态监控模块51、智能控制发送模块52、街霸播放端60、端网络连接模块61、服务端数据接收解析模块62、h264硬解码渲染模块63、aac声音解码播放模块64、用户控制操作传输模块65。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易被本领域人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
实施例：请参阅图1-3，本发明提供一种技术方案：一种基于云端自动进入街霸游戏对战的系统，包括服务端游戏沙盒容器10、自动进入游戏对战识别模块20、服务端音视频编码模块30、服务端游戏操作控制控制40、人机对战AI智能模块50和街霸播放端60。服务端游戏沙盒容器10包括开源easyhook初始化模块11、街霸游戏渲染hook模块12、街霸游戏声音数据hook模块13、 街霸input输入控制hook14和服务器socket初始化15。自动进入游戏对战识别模块20包括opencv开源库初始化21、一组街霸游戏特征图片采集22、游戏对战状态管理模块23和基于图像特征比对模块24。服务端音视频编码模块30包括采集街霸游戏图像数据模块31、采集街霸游戏声音数据模块32、nvdia codec sdk h264编码模块33、AAC声音编码模块34和音视频数据推送模块35。服务端游戏操作控制控制40包括接收播放端的控制解码模块41和控制指令编码发送到游戏模块42。人机对战AI智能模块50包括对战状态监控模块51和智能控制发送模块52。街霸播放端60包括端网络连接模块61、服务端数据接收解析模块62、h264硬解码渲染模块63、aac声音解码播放模块64和用户控制操作传输模块65。
服务端游戏沙盒容器10：此模块是x86的云游戏基于hook通用的核心框架，此容器包含模块开源easyhook初始化模块11 这个框架用于游戏画面、声音、控制的对应的数据采集，街霸游戏渲染hook模块12 用于抓取街霸游戏画面进行h264编码，街霸游戏声音数据hook模块13 采集游戏的声音用于传到播放终端，街霸input输入控制hook14 ；用于把用户的手柄及鼠标的控制指令转成街霸input的数据，让街霸有手柄和鼠标消息，服务器socket初始化15 用于和客户端进行音视频、控制消息的发送接收；
自动进入游戏对战识别模块20：此模块是基于一组特征图像识别指令，来自动进入特征指定的场景，街霸启动后一直自动发送KEY_BUTTON_A键，直到识别有游戏选择开始特征，然后自动发送KEY_DPAD_DOWN光标停留在对战按钮上，然后再自动发送KEY_BUTTON_A键进入对战过程场景，直到识别有选择玩家角色特征，当前是属于玩家1选择角色，这个时候发送'O'按键消息表示玩家1选好角色，然后自动发送'Q'键值表示玩家2选好角色，直到识别角色选择完毕进度特征；然后自动发送KEY_BUTTON_A键，直到识别到对战开始界面，则对战标记为正式开始，直到识别到对战赢的特征表示对战结果是赢，人工识别到对战负的标志，则表示对战结果是输；此模块包含opencv开源库初始化21 用于游戏画面特征识别，一组街霸游戏特征图片采集22 此图片集合包含battle-start-sign（对战开始标记），game-lose（游戏接收标记） 一组图见附录1，gameselect-ui-sign（角色选择标记），game-win（游戏胜利），selectroles-finish-sign（选择角色完成），selectroles-ui-sign（开始能选择角色）；游戏对战状态管理模块23 此模块记录对战的过程状态，包含选择角色、角色完成、对战开始、对战结果、对战结束；基于图像特征比对模块24 用于一组街霸游戏特征图片采集22 与当前画面进行相似度比较，当相似度大于90% 则表明采集到当前指定特征的游戏状态；服务端音视频编码模块30：玩家看的游戏画面和声音都时这个模块推送给玩家的终端播放，采集街霸游戏图像数据模块31 根据街霸游戏渲染hook模块12 rendertarget采取到的direct9 gpu数据直接传送nvdia codec sdk h264编码模块33进行硬编码；采集街霸游戏声音数据模块32 根据霸游戏声音数据hook模块13 采取的pcm的数据经过转换编码发送到AAC声音编码模块34 进行声音数据编码；nvdia codec sdk h264编码模块33 调用nvdia编码sdk,根据采集街霸游戏图像数据模块31 传过来的数据进行编码，编码后的数据经过音视频数据推送模块35给街霸播放端60
AAC声音编码模块34 调用AAC编码库，根据采集街霸游戏声音数据模块32 传过来的pcm数据进行编码，编码后的数据经过音视频数据推送模块35推送给街霸播放端60；
服务端游戏操作控制控制40：玩家的手柄及鼠标的操作都是传到服务端的此模块进行处理传给街霸游戏进程；接收播放端的控制解码模块41 该模块是接收玩家操控指令的接收站，该接收站还做控制操作的解码操作，完成后放入控制码队列；控制指令编码发送到游戏模块42 经过接收播放端的控制解码模块41 产生的控制队列码，从控制码队列取出控制指令然后转码成directinput标准指令给游戏进程消息；人机对战AI智能模块50自动进入游戏对战识别模块20 发送特定的控制指令，此模块包括对战状态监控模块51 不断循环监控对战状态，然后根据相应的对战状态通过智能控制发送模块52 发送给游戏进行自能化操作；街霸播放端60：玩家就是通过街霸播放终端进行体验对战游戏，观看街霸对战；该终端包括服务端网络连接模块61 用于和服务端建立传输连接，
服务端数据接收解析模块62 用于接收服务端音视频数据，把数据传给h264硬解码渲染模块63 进行视频播放，及aac声音解码播放模块64 进行游戏声音播放，玩家的操作指令通过用户控制操作传输模块65 编码传送给服务端游戏操作控制控制40；
本发明创造的关键改进点：
本发明是一种街霸放在云端运行，利用opencv开源AI库 进行街霸特征图像识别，一层一层进入街霸对战界面，等对战玩家都连接上服务器服务，再利用rtc技术把街霸游戏界面分发给不同网络，不同地点的玩家；此发明是基于一组特征图像识别指令，来自动进入特征指定的场景，街霸启动后一直自动发送KEY_BUTTON_A键，直到识别有游戏选择开始特征，然后自动发送KEY_DPAD_DOWN光标停留在对战按钮上，然后再自动发送KEY_BUTTON_A键进入对战过程场景，直到识别有选择玩家角色特征，当前是属于玩家1选择角色，这个时候发送'O'按键消息表示玩家1选好角色，然后自动发送'Q'键值表示玩家2选好角色，直到识别角色选择完毕进度特征；然后自动发送KEY_BUTTON_A键，直到识别到对战开始界面，则对战标记为正式开始，直到识别到对战赢的特征表示对战结果是赢，人工识别到对战负的标志，则表示对战结果是输。
本发明使不同地点，不同网络的街霸忠实玩家可以对战街霸，降低玩家玩街霸对战模式门槛，缩短玩家进入对战模式的时间；结合AI技术模拟不同用户发送对战指令及加入自研算法进行人机对战模式。
上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (7)

1.一种基于云端自动进入街霸游戏对战的系统，其特征在于：包括服务端游戏沙盒容器（10）、自动进入游戏对战识别模块（20）、服务端音视频编码模块（30）、服务端游戏操作控制控制（40）、人机对战AI智能模块（50）和街霸播放端（60）。
2.根据权利要求1所述的一种基于云端自动进入街霸游戏对战的系统，其特征在于：所述服务端游戏沙盒容器（10）包括开源easyhook初始化模块（11）、街霸游戏渲染hook模块（12）、街霸游戏声音数据hook模块（13）、 街霸input输入控制hook（14）和服务器socket初始化（15）。
3.根据权利要求1所述的一种基于云端自动进入街霸游戏对战的系统，其特征在于：所述自动进入游戏对战识别模块（20）包括opencv开源库初始化（21）、一组街霸游戏特征图片采集（22）、游戏对战状态管理模块（23）和基于图像特征比对模块（24）。
4.根据权利要求1所述的一种基于云端自动进入街霸游戏对战的系统，其特征在于：所述服务端音视频编码模块（30）包括采集街霸游戏图像数据模块（31）、采集街霸游戏声音数据模块（32）、nvdia codec sdk h264编码模块（33）、AAC声音编码模块（34）和音视频数据推送模块（35）。
5.根据权利要求1所述的一种基于云端自动进入街霸游戏对战的系统，其特征在于：所述服务端游戏操作控制控制（40）包括接收播放端的控制解码模块（41）和控制指令编码发送到游戏模块（42）。
6.根据权利要求1所述的一种基于云端自动进入街霸游戏对战的系统，其特征在于：所述人机对战AI智能模块（50）包括对战状态监控模块（51）和智能控制发送模块（52）。
7.根据权利要求1所述的一种基于云端自动进入街霸游戏对战的系统，其特征在于：所述街霸播放端（60）包括端网络连接模块（61）、服务端数据接收解析模块（62）、h264硬解码渲染模块（63）、aac声音解码播放模块（64）和用户控制操作传输模块（65）。
CN202011186885.0A 2020-10-30 2020-10-30 一种基于云端自动进入街霸游戏对战的系统 Pending CN112354178A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011186885.0A CN112354178A (zh) 2020-10-30 2020-10-30 一种基于云端自动进入街霸游戏对战的系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011186885.0A CN112354178A (zh) 2020-10-30 2020-10-30 一种基于云端自动进入街霸游戏对战的系统

Publications (1)

Publication Number Publication Date
CN112354178A true CN112354178A (zh) 2021-02-12

Family

ID=74513785

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011186885.0A Pending CN112354178A (zh) 2020-10-30 2020-10-30 一种基于云端自动进入街霸游戏对战的系统

Country Status (1)

Country Link
CN (1) CN112354178A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015126133A1 (en) * 2014-02-21 2015-08-27 Samsung Electronics Co., Ltd. Method and apparatus to sandbox run-time android applications with lightweight container
US20170272544A1 (en) * 2016-03-15 2017-09-21 Tangentix Limited Computer System and Method for Sandboxed Applications
CN109126122A (zh) * 2017-06-16 2019-01-04 上海拆名晃信息科技有限公司 一种用于虚拟现实的云游戏系统实现方法
CN111729293A (zh) * 2020-08-28 2020-10-02 腾讯科技（深圳）有限公司 一种数据处理方法、装置及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015126133A1 (en) * 2014-02-21 2015-08-27 Samsung Electronics Co., Ltd. Method and apparatus to sandbox run-time android applications with lightweight container
US20170272544A1 (en) * 2016-03-15 2017-09-21 Tangentix Limited Computer System and Method for Sandboxed Applications
CN109126122A (zh) * 2017-06-16 2019-01-04 上海拆名晃信息科技有限公司 一种用于虚拟现实的云游戏系统实现方法
CN111729293A (zh) * 2020-08-28 2020-10-02 腾讯科技（深圳）有限公司 一种数据处理方法、装置及存储介质

Similar Documents

Publication Publication Date Title
WO2022111110A1 (zh) 虚拟视频直播处理方法及装置、存储介质、电子设备
CN108536414B (zh) 语音处理方法、装置和系统、移动终端
CN109299326B (zh) 视频推荐方法及装置、系统、电子设备以及存储介质
CN112653700B (zh) 一种基于webrtc网页视频通信的方法
CN108922450B (zh) 在房屋虚拟三维空间中讲房内容自动播放控制方法及装置
US11451858B2 (en) Method and system of processing information flow and method of displaying comment information
CN113209632B (zh) 一种云游戏的处理方法、装置、设备及存储介质
CN108462883A (zh) 一种直播互动方法、装置、终端设备及存储介质
CN103533459A (zh) 一种新闻视频条目拆分的方法和系统
WO2023045619A1 (zh) 一种数据处理方法、装置、设备以及可读存储介质
CN112019905A (zh) 直播回放方法、计算机设备及可读存储介质
CN112383832B (zh) 直播间互动方法、电子设备和计算机可读存储介质
CN112437338A (zh) 虚拟资源转移方法、装置、电子设备以及存储介质
CN115022656A (zh) 一种基于机器人操作系统的远程支援方法及设备
CN113630618B (zh) 视频处理方法、装置及系统
CN114139491A (zh) 一种数据处理方法、装置及存储介质
CN106937127B (zh) 一种智能搜索准备的显示方法及其系统
CN112354178A (zh) 一种基于云端自动进入街霸游戏对战的系统
CN113440864A (zh) 直播指示信息推荐方法、装置、设备及存储介质
CN105635841A (zh) 互动播出的控制方法和系统
CN109040798A (zh) 直播数据引流方法、存储介质、电子设备及系统
CN105791964B (zh) 跨平台的媒体文件播放方法及系统
CN107529070A (zh) 一种实现弹幕的方法和系统
CN111010333A (zh) 一种携带触控元素的即时通讯装置及方法
CN106664432A (zh) 多媒体信息播放方法及系统、采集设备、标准化服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210212

WD01 Invention patent application deemed withdrawn after publication