CN113440843B - 云游戏启动控制方法、装置、云服务器和终端设备 - Google Patents

云游戏启动控制方法、装置、云服务器和终端设备 Download PDF

Info

Publication number
CN113440843B
CN113440843B CN202110716584.2A CN202110716584A CN113440843B CN 113440843 B CN113440843 B CN 113440843B CN 202110716584 A CN202110716584 A CN 202110716584A CN 113440843 B CN113440843 B CN 113440843B
Authority
CN
China
Prior art keywords
game
image
video frame
pixel
frame image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110716584.2A
Other languages
English (en)
Other versions
CN113440843A (zh
Inventor
岳浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
MIGU Interactive Entertainment Co Ltd
MIGU Culture Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
MIGU Interactive Entertainment Co Ltd
MIGU Culture Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, MIGU Interactive Entertainment Co Ltd, MIGU Culture Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202110716584.2A priority Critical patent/CN113440843B/zh
Publication of CN113440843A publication Critical patent/CN113440843A/zh
Application granted granted Critical
Publication of CN113440843B publication Critical patent/CN113440843B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45Controlling the progress of the video game
    • A63F13/48Starting a game, e.g. activating a game device or waiting for other players to join a multiplayer session
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures

Abstract

本发明公开了一种云游戏启动控制方法、装置、云服务器和终端设备,涉及云游戏技术领域,方法包括:云服务器接收游戏服务器发送的游戏画面视频数据;对所述游戏画面视频数据进行图像提取,获得视频帧图像;对所述视频帧图像和预存的游戏启动图像进行相似度判断,获得相似度判断结果;若所述相似度判断结果满足游戏启动成功条件,将所述游戏画面视频数据发送给终端设备,以使所述终端设备终止预存加载画面显示,并显示云游戏画面。本发明解决了现有云游戏启动时黑屏显示给用户,导致用户无法真实知晓游戏是否启动成功,影响用户体验的问题,实现了通过游戏视频流画面识别,了解游戏启动状态的目的。

Description

云游戏启动控制方法、装置、云服务器和终端设备
技术领域
本发明涉及云游戏技术领域,尤其涉及一种云游戏启动控制方法、装置、云服务器和终端设备。
背景技术
随着互联网云计算信息处理技术的不断发展,产生了云游戏技术。云游戏是以云计算为基础的游戏方式,在云游戏的运行模式下,所有游戏都在云服务器端运行,并将渲染完毕后的游戏画面压缩后通过网络传送给用户终端。
目前,用户在终端设备上启动运行云游戏时,在接收到云服务器传送的游戏画面之前,只能黑屏显示给用户,导致用户无法真实知晓游戏是否启动成功,影响用户体验感。
发明内容
本发明的主要目的在于:提供一种云游戏启动控制方法、装置、云服务器和终端设备,旨在解决现有云游戏启动时黑屏显示给用户,导致用户无法真实知晓游戏是否启动成功,影响用户体验的技术问题。
为实现上述目的,本发明采用如下技术方案:
第一方面,本发明提供了一种云游戏启动控制方法,应用于云服务器,所述方法包括以下步骤:
接收游戏服务器发送的游戏画面视频数据;
对所述游戏画面视频数据进行图像提取,获得视频帧图像;
对所述视频帧图像和预存的游戏启动图像进行相似度判断,获得相似度判断结果;
若所述相似度判断结果满足游戏启动成功条件,将所述游戏画面视频数据发送给终端设备,以使所述终端设备终止预存加载画面显示,并显示云游戏画面,其中,所述预存加载画面在所述终端设备获取到启动云游戏的操作信息时进行显示。
可选地,上述云游戏启动控制方法中,所述对所述视频帧图像和预存的游戏启动图像进行相似度判断,获得相似度判断结果的步骤,具体包括:
对所述视频帧图像和所述游戏启动图像进行特征提取,获得所述视频帧图像的像素特征和所述游戏启动图像的像素特征,其中,所述像素特征包括色调、饱和度和明度;
根据所述视频帧图像的像素特征和所述游戏启动图像的像素特征,利用图像比较模型,获得所述视频帧图像和所述游戏启动图像的相似度值;
判断所述相似度值是否达到预设相似度阀值,获得对应的相似度判断结果。
可选地,上述云游戏启动控制方法中,所述根据所述视频帧图像的像素特征和所述游戏启动图像的像素特征,利用图像比较模型,获得所述视频帧图像和所述游戏启动图像的相似度值的步骤之前,所述方法还包括:
获取数据训练集,所述数据训练集包括视频帧图像和游戏启动图像;
对所述视频帧图像和所述游戏启动图像进行特征提取,获得所述视频帧图像的像素特征和所述游戏启动图像的像素特征;
根据所述视频帧图像的像素特征和所述游戏启动图像的像素特征,获得任意两个像素特征变量的协方差;
根据所述任意两个像素特征变量的协方差和高斯分布概率密度函数,建立判别模型;
根据所述数据训练集,对所述判别模型进行训练,获得图像比较模型。
第二方面,本发明提供了一种云游戏启动控制方法,应用于终端设备,所述方法包括以下步骤:
在获取到启动云游戏的操作信息时,显示预存加载画面;
接收云服务器发送的游戏画面视频数据,终止所述预存加载画面显示,以进行云游戏画面显示;其中,所述游戏画面视频数据在视频帧图像和预存的游戏启动图像的相似度判断结果满足游戏启动成功条件时发送,所述视频帧图像从所述游戏画面视频数据中提取获得。
可选地,上述云游戏启动控制方法中,所述接收云服务器在判断视频帧图像和预存的游戏启动图像的相似度判断结果满足游戏启动成功条件时发送的游戏画面视频数据,终止所述预存加载画面显示,以进行云游戏画面显示的步骤之前,所述方法还包括:
在获取到启动云游戏的操作信息时,生成云游戏启动指令,并发送所述云游戏启动指令给云服务器,以使所述云服务器根据所述云游戏启动指令生成启动游戏请求,并发送所述启动游戏请求给游戏服务器。
第三方面,本发明提供了一种云游戏启动控制装置,应用于云服务器,所述装置包括:
视频流接收模块,用于接收游戏服务器发送的游戏画面视频数据;
图像截取模块,用于对所述游戏画面视频数据进行图像提取,获得视频帧图像;
图像比较模块,用于对所述视频帧图像和预存的游戏启动图像进行相似度判断,获得相似度判断结果;
视频流发送模块,用于若所述相似度判断结果满足游戏启动成功条件,将所述游戏画面视频数据发送给终端设备,以使所述终端设备终止预存加载画面显示,并显示云游戏画面,其中,所述预存加载画面在所述终端设备获取到启动云游戏的操作信息时进行显示。
第四方面,本发明提供了一种云游戏启动控制装置,应用于终端设备,所述装置包括:
加载画面显示模块,用于在获取到启动云游戏的操作信息时,显示预存加载画面;
云游戏画面显示模块,用于接收云服务器发送的游戏画面视频数据,终止所述预存加载画面显示,以进行云游戏画面显示;其中,所述游戏画面视频数据在视频帧图像和预存的游戏启动图像的相似度判断结果满足游戏启动成功条件时发送,所述视频帧图像从所述游戏画面视频数据中提取获得。
第五方面,本发明提供了一种云服务器,所述设备包括处理器和存储器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,实现如上述的云游戏启动控制方法。
第六方面,本发明提供了一种终端设备,所述设备包括处理器和存储器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,实现如上述的云游戏启动控制方法。
第七方面,本发明提供了一种存储介质,其上存储有计算机程序,所述计算机程序可被一个或多个处理器执行,以实现如上述的云游戏启动控制方法。
本发明提供的上述一个或多个技术方案,可以具有如下优点或至少实现了如下技术效果:
本发明提出的一种云游戏启动控制方法、装置、云服务器和终端设备,通过在云服务器接收到游戏画面视频数据后,对所述游戏画面视频数据进行图像提取,获得视频帧图像,并对视频帧图像和预存的游戏启动图像进行相似度判断,在相似度判断结果满足游戏启动成功条件时,才将所述游戏画面视频数据发送给终端设备,以让用户明确地知晓游戏启动成功;并且,在此期间,由终端设备显示预存加载画面,代替现有的黑屏显示,在接收到云服务发送的游戏画面视频数据后再进行云游戏画面显示,不仅可以通过画面显示的变化让用户知晓游戏启动状态,还可以防止用户误操作;实现了通过游戏视频流画面识别,了解游戏启动状态的目的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的这些附图获得其他的附图。
图1为本发明云游戏启动控制方法第一实施例的流程示意图;
图2为本发明涉及的云服务器的硬件结构示意图;
图3为本发明云游戏启动控制方法第二实施例的流程示意图;
图4为本发明云游戏启动控制方法第三实施例的流程示意图;
图5为本发明涉及的终端设备的硬件结构示意图;
图6为本发明云游戏启动控制方法第四实施例的流程示意图;
图7为本发明云游戏启动控制装置第一实施例的功能模块示意图;
图8为本发明云游戏启动控制装置第二实施例的功能模块示意图;
图9为本发明云游戏启动控制方法各个实施例涉及的包括云服务器和终端设备的云游戏系统的连接示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例只是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明,在本发明中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
另外,在本发明中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明,其本身没有特定的意义。因此,“模块”、“部件”或“单元”可以混合地使用。
对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。另外,各个实施例的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时,应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。
随着互联网云计算信息处理技术的不断发展,产生了云游戏技术。云游戏是以云计算为基础的游戏方式,在云游戏的运行模式下,所有游戏都在云服务器端运行,并将渲染完毕后的游戏画面压缩后通过网络传送给用户终端。在云游戏场景下,游戏并不在用户终端设备,而是在云服务器中运行,并由云服务器将游戏场景渲染为视频音频流,通过网络传输给用户终端设备。用户终端设备无需拥有强大的图形运算与数据处理能力,仅需拥有基本的流媒体播放能力与获取用户输入指令并发送给云服务器的能力即可,大大降低了对用户终端设备的配置要求,摆脱了对硬件的依赖。
对现有技术的分析发现,用户在终端设备上启动运行云游戏时,云服务器会将获取的游戏画面传送给终端设备进行显示,但目前的云游戏技术中,在终端设备接收到云服务器传送的游戏画面的第一帧之前,只能黑屏显示给用户,或者仅仅显示桌面操控按钮的画面给用户,导致用户无法真实知晓游戏是否启动成功,影响用户体验感,而且容易误操作桌面按钮,导致运行故障、卡顿等问题。
鉴于现有技术中云游戏启动时黑屏显示给用户,导致用户无法真实知晓游戏是否启动成功,影响用户体验的技术问题,本发明提供了一种云游戏启动控制方法,总体思路如下:
应用于云服务器时,方法包括:接收游戏服务器发送的游戏画面视频数据;对所述游戏画面视频数据进行图像提取,获得视频帧图像;对所述视频帧图像和预存的游戏启动图像进行相似度判断,获得相似度判断结果;若所述相似度判断结果满足游戏启动成功条件,将所述游戏画面视频数据发送给终端设备,以使所述终端设备终止预存加载画面显示,并显示云游戏画面,其中,所述预存加载画面在所述终端设备获取到启动云游戏的操作信息时进行显示;
应用于终端设备时,方法包括:在获取到启动云游戏的操作信息时,显示预存加载画面;接收云服务器发送的游戏画面视频数据,终止所述预存加载画面显示,以进行云游戏画面显示;其中,所述游戏画面视频数据在视频帧图像和预存的游戏启动图像的相似度判断结果满足游戏启动成功条件时发送,所述视频帧图像从所述游戏画面视频数据中提取获得。
通过上述技术方案,在云服务器接收到游戏画面视频数据后,对所述游戏画面视频数据进行图像提取,获得视频帧图像,并对视频帧图像和预存的游戏启动图像进行相似度判断,在相似度判断结果满足游戏启动成功条件时,才将所述游戏画面视频数据发送给终端设备,以让用户明确地知晓游戏启动成功;并且,在此期间,由终端设备显示预存加载画面,代替现有的黑屏显示,在接收到云服务发送的游戏画面视频数据后再进行云游戏画面显示,不仅可以通过画面显示的变化让用户知晓游戏启动状态,还可以防止用户误操作;实现了通过游戏视频流画面识别,了解游戏启动状态的目的。
实施例一
参照图1的流程示意图,提出本发明云游戏启动控制方法的第一实施例,该云游戏启动控制方法应用于云服务器,所述云服务器是指能够实现网络连接的服务器等网络设备。
如图2所示,为云服务器的硬件结构示意图。所述云服务器可以包括:处理器1001,例如CPU(Central Processing Unit,中央处理器),通信总线1002,用户接口1003,网络接口1004,存储器1005。
本领域技术人员可以理解,图2中示出的硬件结构并不构成对本发明云服务器的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
具体的,通信总线1002用于实现这些组件之间的连接通信;
用户接口1003用于连接终端设备,与终端设备进行数据通信,用户接口1003可以包括输出单元,如显示屏、输入单元,如键盘,可选的,用户接口1003还可以包括其他输入/输出接口,比如标准的有线接口、无线接口;
网络接口1004用于连接后台服务器,与后台服务器进行数据通信,网络接口1004可以包括输入/输出接口,比如标准的有线接口、无线接口,如Wi-Fi接口;
存储器1005用于存储各种类型的数据,这些数据例如可以包括该云服务器中任何应用程序或方法的指令,以及应用程序相关的数据,存储器1005可以是高速RAM存储器,也可以是稳定的存储器,例如磁盘存储器,可选的,存储器1005还可以是独立于所述处理器1001的存储装置;
具体的,继续参照图2,存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及计算机程序,其中,网络通信模块主要用于连接游戏服务器,与游戏服务器进行数据通信;
处理器1001用于调用存储器1005中存储的计算机程序,并执行以下操作:
接收游戏服务器发送的游戏画面视频数据;
对所述游戏画面视频数据进行图像提取,获得视频帧图像;
对所述视频帧图像和预存的游戏启动图像进行相似度判断,获得相似度判断结果;
若所述相似度判断结果满足游戏启动成功条件,将所述游戏画面视频数据发送给终端设备,以使所述终端设备终止预存加载画面显示,并显示云游戏画面,其中,所述预存加载画面在所述终端设备获取到启动云游戏的操作信息时进行显示。
基于上述的云服务器,下面结合图1所示的流程示意图,对本实施例的云游戏启动控制方法进行详细描述。所述方法可以包括以下步骤:
步骤S120:接收游戏服务器发送的游戏画面视频数据。
具体的,在云游戏系统中,包括有三端,一端是用户侧的安装有云游戏管理应用程序的终端设备,比如手机、平板电脑、台式电脑等,一端是云游戏管理侧的调用配置运行游戏的云服务器,还有一端是不同游戏提供方的响应云服务器的请求生成云游戏画面的游戏服务器。如图9所示,为云游戏系统的连接示意图,终端设备与云服务器连接,云服务器与游戏服务器连接。
当用户在终端设备上触控游戏图标,生成云游戏启动指令,云服务器接收到云游戏启动指令后,对应生成启动游戏请求,并对应发送到游戏服务器,游戏服务器响应于该启动游戏请求,生成游戏画面视频数据,并返回给云服务器。
步骤S140:对所述游戏画面视频数据进行图像提取,获得视频帧图像。
具体的,游戏画面视频数据不仅包括启动游戏成功后的游戏运行过程的视频画面,还包括游戏启动阶段的视频画面,现有的云服务器接收到视频画面后,统一直接传送给用户的终端设备,即使画面由黑屏转为视频画面后,用户仍然不能知晓是否真的启动成功。鉴于此,本方法对获得的游戏画面视频数据增加了图像识别的过程,首先,对游戏画面视频数据进行图像提取,获得多个视频帧图像。
步骤S160:对所述视频帧图像和预存的游戏启动图像进行相似度判断,获得相似度判断结果。
具体的,根据预先上传到云服务器的游戏启动图像,对步骤S140获得的多个视频帧图像按照视频帧顺序依次进行图像相似度判断,即先对第一针视频帧图像与预存的游戏启动图像进行相似度判断,获得相似度满足预设条件或不满足预设条件的判断结果;如果第一帧视频帧图像与游戏启动图像的相似度不满足预设条件,则获取第二帧视频帧图像与游戏启动图像的相似度,直到某一帧视频帧图像与游戏启动图像的相似度满足预设条件,说明该游戏启动成功。
图像相似度判断可以直接利用函数计算式对视频帧图像和预存的游戏启动图像的相似度进行计算,获得相似度值,再根据预先设定的相似度阀值,判断该相似度值是否达到相似度阀值,从而判断是否满足游戏启动成功条件。也可以通过图像比较模型来获取视频帧图像和预存的游戏启动图像的相似度值,再根据预先设定的相似度阀值,判断该相似度值是否达到相似度阀值,从而判断是否满足游戏启动成功条件。还可以通过训练获得的深度学习模型进行判断,即将视频帧图像和预存的游戏启动图像一起输入模型,模型自动进行判断,最后输出相似或不相似的判断结果,即不需要单独设定阀值,而是由模型在每次运行时,自动生成阀值,从而直接得到满足或不满足游戏启动成功条件的结果。
步骤S180:若所述相似度判断结果满足游戏启动成功条件,将所述游戏画面视频数据发送给终端设备,以使所述终端设备终止预存加载画面显示,并显示云游戏画面,其中,所述预存加载画面在所述终端设备获取到启动云游戏的操作信息时进行显示。
具体的,当某一帧视频帧图像与游戏启动图像的相似度满足预设条件,说明游戏启动成功,即获得的相似度判断结果满足游戏启动成功条件,此时,云服务器即可将接收到的游戏服务器发送的游戏画面视频数据通过网络发送给终端设备,其中,云服务器可以对游戏画面视频数据进行压缩后再发送给用户的终端设备,还可以进行其他的云端处理,具体根据实际情况而定,此处不作限定。
用户的终端设备接收到云服务器传送的游戏画面视频数据后,进行画面显示,以让用户明确地知晓游戏启动成功。在终端设备发送云游戏启动指令给云服务器,云服务器在进行上述操作的过程中,终端设备还调用并显示自身预存的游戏加载画面,替代现有的黑屏显示或桌面显示,再通过画面的转换,转换为游戏画面后,可以让用户清楚地区分游戏启动过程和游戏操作过程。防止用户不清楚目前云服务器启动游戏的状态,而随意操作桌面按钮导致启动失败等问题。
本实施例提供的云游戏启动控制方法,通过在云服务器接收到游戏画面视频数据后,对所述游戏画面视频数据进行图像提取,获得视频帧图像,并对视频帧图像和预存的游戏启动图像进行相似度判断,在相似度判断结果满足游戏启动成功条件时,才将所述游戏画面视频数据发送给终端设备,以让用户明确地知晓游戏启动成功,实现了通过游戏视频流画面识别,了解游戏启动状态的目的。
实施例二
基于同一发明构思,参照图3,在实施例一的基础上,提出本发明云游戏启动控制方法的第二实施例,该云游戏启动控制方法应用于云服务器。
下面结合图3所示的流程示意图,对本实施例的云游戏启动控制方法进行详细描述。所述方法可以包括以下步骤:
步骤S110:基于终端设备的云游戏启动指令,生成启动游戏请求,并发送所述启动游戏请求给所述游戏服务器,以使所述游戏服务器根据所述启动游戏请求生成游戏画面视频数据。
具体的,所述步骤S110,可以包括:
步骤S111:接收终端设备发送的云游戏启动指令,其中,所述云游戏启动指令由所述终端设备在获取到启动云游戏的操作信息时生成;
步骤S112:根据所述云游戏启动指令生成启动游戏请求,并发送所述启动游戏请求给所述游戏服务器,以使所述游戏服务器根据所述启动游戏请求生成游戏画面视频数据。
在具体实施方式中,如图9所示的云游戏系统的连接示意图,终端设备用于提供用户操作游戏的界面,可以是安装的一个云游戏程序软件,用户通过触控该程序软件的不同图标按钮启动不同的游戏。即终端设备在获取到启动云游戏的操作信息时,生成云游戏启动指令,并发送所述云游戏启动指令给云服务器,云服务器接收终端设备发送的云游戏启动指令,响应于该云游戏启动指令,另行生成启动游戏请求,并发送所述启动游戏请求到对应的游戏服务器。游戏服务器接收云服务器发送的启动游戏请求,根据所述启动游戏请求启动游戏实例,生成游戏画面视频数据,即游戏视频流,并发送所述游戏画面视频数据给云服务器。
步骤S120:接收游戏服务器发送的游戏画面视频数据。
具体的,云服务器接收游戏服务器发送的游戏画面视频数据,可以进行压缩后继续步骤S140,也可以直接进行步骤S140,以进行游戏画面识别。
步骤S140:对所述游戏画面视频数据进行图像提取,获得视频帧图像。
具体的,云服务器接收游戏画面视频数据后,进行动态切片,对每一帧画面进行截取,获得视频帧图像。
步骤S160:对所述视频帧图像和预存的游戏启动图像进行相似度判断,获得相似度判断结果。
具体的,游戏启动图像为终端设备上安装的云游戏应用程序的运营管理员针对每种游戏预先上传到云服务器的启动画面的参照照片,具体可以通过后台管理端或者云游戏管理平台进行管理。
具体的,所述步骤S160,具体可以包括:
步骤S161:对所述视频帧图像和所述游戏启动图像进行特征提取,获得所述视频帧图像的像素特征和所述游戏启动图像的像素特征,其中,所述像素特征包括色调、饱和度和明度。
具体的,所述步骤S161,具体可以包括:
步骤S161.1:在所述视频帧图像和所述游戏启动图像相对位置的样本区域内进行特征提取,获得多个样本像素点的颜色信息;
步骤S161.2:将所述颜色信息转换为像素信息,并分别计算所述多个样本像素点的像素平均值,获得所述视频帧图像的像素特征和所述游戏启动图像的像素特征。
具体的,颜色信息为RGB值,像素信息为HSV值。RGB值是工业界的一种颜色标准,是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的,RGB即是代表红、绿、蓝三个通道的颜色,这个标准几乎包括了人类视力所能感知的所有颜色。HSV值是根据颜色的直观特性创建的一种颜色空间,具体包括色调(Hue),饱和度(Saturation),明度(Value)。
步骤S162:根据所述视频帧图像的像素特征和所述游戏启动图像的像素特征,利用图像比较模型,获得所述视频帧图像和所述游戏启动图像的相似度值。
在统计学中,协方差可用于衡量两个变量的相似程度,上述图像比较模型通过计算两幅图片的三个维度的样本变量协方差,并转换为高斯分布概率密度函数后,统计样本点落入该高斯分布概率密度函数区域的数量占比,作为两幅图片相似的概率值,即相似度值。
进一步地,所述步骤S162之前,所述方法还可以包括:
步骤S16a:获取数据训练集,所述数据训练集包括视频帧图像和游戏启动图像。
具体的,获取视频帧图像C,C=[C1,C2,…,Cn]和游戏启动图像T,数据训练集中的视频帧图像可以是历史获取的视频帧图像,也可以是专门的一段游戏启动和运行过程的完整视频的视频帧图像。
步骤S16b:对所述视频帧图像和所述游戏启动图像进行特征提取,获得所述视频帧图像的像素特征和所述游戏启动图像的像素特征。
具体的,选定任意一帧的视频帧图像Ci(Ci∈C)和游戏启动图像T的样本区域,各自的样本区域均为对应的位置,方便更好地比对相似性。相比于对比整个图像的方式,选取样本区域进行比对,可以减少计算量,减轻云服务器的负担。
在具体实施过程中,步骤S16b可以包括:
步骤S16b.1:在视频帧图像Ci(Ci∈C)和游戏启动图像T相对位置的样本区域内进行特征提取,获得多个样本像素点的颜色信息;比如,
视频帧图像Ci中样本区域内任意一个样本像素点的样本位置为(xi,yi),根据样本位置与颜色信息之间对应关系的映射,构建的数据结构map中存储的内容,已知样本位置可以找到对应的颜色信息,即RGB值(Ri,Gi,Bi);
游戏启动图像T中样本区域T
其中任意一个样本像素点的样本位置为(i′,yi′),对应的,其颜色信息,即RGB值为(Ri′,Gi′,Bi′)。
步骤S16b.2:将所述颜色信息转换为像素信息。
将颜色信息即RGB值(R,G,B)转换为像素信息即HSV值(H,S,V),具体过程为:
设定min=min(R,G,B),max=max(R,G,B),则
若R=ax,则
若G=ax,则
若B=max,则
若H<0,则
H=H+360。
按照上述方法,将视频帧图像的颜色信息即RGB值(Ri,Gi,Bi)转换为像素信息,即HSV值(Hi,Si,Vi),将游戏启动图像的颜色信息即RGB值(Ri′,Gi′,Bi′)转换为像素信息,即HSV值(Hi′,Si′,Vi′)。
步骤S16b.3:根据所述像素信息,分别计算所述多个样本像素点的像素平均值,获得所述视频帧图像的像素特征和所述游戏启动图像的像素特征。
在样本区域中,选择多个样本像素点,求取该多个样本像素点的像素平均值,比如,对视频帧图像的样本区域内的n个样本像素点,求取色调平均值h,饱和度平均值s和明度平均值v,具体过程为:
色调平均值h:
饱和度平均值s:
明度平均值v:
按照上述方法,即可得到视频帧图像的像素特征(h,,);
继续按照上述方法,可获得游戏启动图像的像素特征(h′,s′,v′)。
步骤S16c:根据所述视频帧图像的像素特征和所述游戏启动图像的像素特征,获得任意两个像素特征变量的协方差。
具体的,根据两幅图片的像素信息和像素特征,计算两幅图片中相同变量的协方差,比如,色调变量的协方差σH
按照上述方法,根据视频帧图像的像素信息和游戏启动图像的像素信息,以及视频帧图像的像素特征和游戏启动图像的像素特征,可计算视频帧图像的色调变量与游戏启动图像的色调变量的协方差σH,视频帧图像的饱和度变量与游戏启动图像的饱和度变量的协方差σS,以及视频帧图像的明度变量与游戏启动图像的明度变量的协方差σV
再计算任意两个像素特征变量的协方差矩阵,比如,对视频帧图像中色调H和饱和度S,令可获得视频帧图像中色调变量与饱和度变量的协方差矩阵:
为了方便计算,更好地区别视频帧图像和游戏启动图像,对游戏启动图像中色调H′和饱和度S′,设定μ1=H′,μ2=S′,则可获得游戏启动图像中色调变量与饱和度变量的协方差矩阵:
步骤S16d:根据所述任意两个像素特征变量的协方差和高斯分布概率密度函数,建立判别模型;
具体的,高斯分布概率密度函数为:
根据上述信息,构造二维高斯分布函数图像,具体过程为:
其中,c是常量,整理上式得到:
为了简化计算式,便于查看,令
则继续整理得到:
以该函数式构建图像,并获得在该图像范围内的样本像素点的数量k,k<n;
对k个样本像素点中任意一个样本像素位置满足
则对应的视频帧图像和游戏启动图像满足色调和饱和度相似,统计所有样本像素点的数量,可以获得视频帧图像和游戏启动图像的色调和饱和度的概率值:
按照上述步骤S16c和S16d的计算过程,可以继续得到视频帧图像和游戏启动图像的色调和明度的概率值ρH,V,以及视频帧图像和游戏启动图像的明度和饱和度的概率值ρS,V
再根据色调和饱和度的概率值ρH,S、色调和明度的概率值ρH,V,以及明度和饱和度的概率值ρS,V,获得最终的相似度值:
其中,c1、c2和c3是常量。
按照以上规则,建立一个深度学习模型,获得判别模型。
步骤S16e:根据所述数据训练集,对所述判别模型进行训练,获得图像比较模型。
按照上述过程,建立好判别模型后,根据数据训练集的所有视频帧图像和预设的游戏启动图像对判别模型进行训练,获得训练好的图像比较模型。
通过深度学习模型计算相似值,根据每一帧视频帧图像和游戏启动图像的比较,持续对模型进行优化,可以保证后续获取相似度值的准确性。
在实际过程中,直接将步骤S161获取到的视频帧图像的像素特征和游戏启动图像的像素特征输入图像比较模型,经过图像比较模型内部运算,输出视频帧图像和游戏启动图像的相似度值ρ。
步骤S163:判断所述相似度值是否达到预设相似度阀值,获得对应的相似度判断结果。
具体的,当所述相似度判断结果为所述相似度值达到预设相似度阀值,判定所述相似度判断结果为满足游戏启动成功条件;当所述相似度判断结果为所述相似度值没有达到预设相似度阀值,判定所述相似度判断结果为未满足游戏启动成功条件,返回步骤S161,继续对下一帧的视频帧图像和预存的游戏启动图像进行特征提取,以进行相似度判断。
在具体实施过程中,预设相似度阀值ρT,ρT∈(0,1),当相似度值ρ≥ρT,则判定所述相似度判断结果满足游戏启动成功条件,当ρ<ρT,判定所述相似度判断结果未满足游戏启动成功条件,游戏还在启动过程中,获取的视频图像也不是实际的游戏运行画面,还需继续获取下一帧视频画面,直到满足游戏启动成功条件,说明当前的视频帧图像与预存的游戏启动图像一致,即表示游戏启动成功且已达到游戏运行过程的第一帧视频画面。
步骤S180:若所述相似度判断结果满足游戏启动成功条件,将所述游戏画面视频数据发送给终端设备,以使所述终端设备终止预存加载画面显示,并显示云游戏画面,其中,所述预存加载画面在所述终端设备获取到启动云游戏的操作信息时进行显示。
具体的,当相似度判断结果满足游戏启动成功条件时,云服务器将步骤S120接收到的游戏画面视频数据发送给终端设备,终端设备接收到云服务器发送的游戏画面视频数据后,终止所述预存加载画面显示,以进行云游戏画面显示。并且,后续持续获取云游戏画面,进行云游戏体验。其中,游戏加载画面可以是图像、动画或视频等,一般占用内存极小,因此不会对终端设备有过高配置要求。
需要说明,本实施例的方法还可以应用于其他视频图像传输领域。
本实施例提供的云游戏启动控制方法,通过在云服务器上部署云游戏展示界面的视频流内容识别服务,实时分析视频流内容,具体通过图像比较模型,比较视频流的每一帧图像与预存的游戏启动图像,将云游戏底层实例控制环境与玩家使用环境进行隔离,只有当云游戏启动成功后,才将实时游戏画面视频传送到用户的终端设备,提升了云游戏服务运行的安全性与稳定性。并且,在云游戏客户端产品,即终端设备上准确识别到游戏运行的真实画面,给用户更好的游戏启动体验。
实施例三
参照图4的流程示意图,提出本发明云游戏启动控制方法的第三实施例,该云游戏启动控制方法应用于终端设备,所述终端设备是指能够实现网络连接的终端,所述终端设备可以是手机、电脑、平板电脑、嵌入式工控机等终端。
如图5所示,为终端设备的硬件结构示意图。所述终端设备可以包括:处理器2001,例如CPU(Central Processing Unit,中央处理器),通信总线2002,用户接口2003,网络接口2004,存储器2005。本领域技术人员可以理解,图5中示出的硬件结构并不构成对本发明终端设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
具体的,通信总线2002用于实现这些组件之间的连接通信;
用户接口2003用于连接通信组件,与通信组件进行数据通信,用户接口2003可以包括输出单元,如显示屏、输入单元,如键盘,可选的,用户接口2003还可以包括其他输入/输出接口,比如标准的有线接口、无线接口;
网络接口2004用于连接后台服务器,与后台服务器进行数据通信,网络接口2004可以包括输入/输出接口,比如标准的有线接口、无线接口,如Wi-Fi接口;
存储器2005用于存储各种类型的数据,这些数据例如可以包括该设备中任何应用程序或方法的指令,以及应用程序相关的数据,存储器2005可以是高速RAM存储器,也可以是稳定的存储器,例如磁盘存储器,可选的,存储器2005还可以是独立于所述处理器2001的存储装置;
具体的,继续参照图5,存储器2005中可以包括操作系统、网络通信模块、用户接口模块以及计算机程序,其中,网络通信模块主要用于连接云服务器,与云服务器进行数据通信;
处理器2001用于调用存储器2005中存储的计算机程序,并执行以下操作:
在获取到启动云游戏的操作信息时,显示预存加载画面;
接收云服务器发送的游戏画面视频数据,终止所述预存加载画面显示,以进行云游戏画面显示;其中,所述游戏画面视频数据在视频帧图像和预存的游戏启动图像的相似度判断结果满足游戏启动成功条件时发送,所述视频帧图像从所述游戏画面视频数据中提取获得。
基于上述的终端设备,下面结合图4所示的流程示意图,对本实施例的云游戏启动控制方法进行详细描述。所述方法可以包括以下步骤:
步骤S220:在获取到启动云游戏的操作信息时,显示预存加载画面。
具体的,当用户在终端设备的云游戏应用程序中点击对应的云游戏图标,即移动终端获取到启动该云游戏的操作信息,调用预存的加载画面显示在终端设备上,而不是屏幕显示不变只是后台等待,可以防止用户以为游戏尚未启动,而继续在云游戏应用程序中随意点击,影响云游戏启动。预存加载画面可以是图像、动画或视频等,一般占用内存极小,因此不会对终端设备有过高配置要求。
步骤S240:接收云服务器发送的游戏画面视频数据,终止所述预存加载画面显示,以进行云游戏画面显示;其中,所述游戏画面视频数据在视频帧图像和预存的游戏启动图像的相似度判断结果满足游戏启动成功条件时发送,所述视频帧图像从所述游戏画面视频数据中提取获得。
具体的,在终端设备显示预存加载画面的同时,终端设备还发送云游戏启动指令给云服务器,云服务器接收云游戏启动指令后,对应生成启动游戏请求,并发送给对应的游戏服务器,以获取游戏画面视频数据。在获取到游戏画面视频数据后,按照上述第一实施例或第二实施例,在判断视频帧图像和预存的游戏启动图像的相似度判断结果满足游戏启动成功条件时,将所述游戏画面视频数据发送给终端设备,终端设备接收到游戏画面视频数据后,终止显示预存加载画面,开始显示游戏画面,进行云游戏体验。
需要说明的是,本实施例的方法步骤的具体实施方式中更多实施细节,以及各个步骤对应达到的技术效果可参见本发明云游戏启动控制方法第一实施例或第二实施例中具体实施方式的描述,为了说明书的简洁,此处不再重复赘述。
实施例四
基于同一发明构思,参照图6,提出本发明云游戏启动控制方法的第四实施例,该云游戏启动控制方法应用于终端设备。
下面结合图6所示的流程示意图,对本实施例的云游戏启动控制方法进行详细描述。
所述方法可以包括以下步骤:
步骤S220:在获取到启动云游戏的操作信息时,显示预存加载画面。
步骤S230:在获取到启动云游戏的操作信息时,生成云游戏启动指令,并发送所述云游戏启动指令给云服务器,以使所述云服务器根据所述云游戏启动指令生成启动游戏请求,并发送所述启动游戏请求给游戏服务器。
步骤S240:接收云服务器发送的游戏画面视频数据,终止所述预存加载画面显示,以进行云游戏画面显示;其中,所述游戏画面视频数据在视频帧图像和预存的游戏启动图像的相似度判断结果满足游戏启动成功条件时发送,所述视频帧图像从所述游戏画面视频数据中提取获得。
具体的,步骤S220和步骤S230为同时进行的步骤,在该终端设备上,具体的画面显示分为两个阶段,预存加载画面显示阶段和游戏画面显示阶段,用户可以通过这两个阶段的变化清楚地知晓云游戏是在启动过程,还是在启动成功之后的运行过程。因此,本方法可以通过画面显示的变化让用户清楚地知晓游戏启动状态,同时,由终端设备显示预存加载画面,代替现有的黑屏显示或桌面背景显示,可以防止用户误操作;实现了通过游戏视频流画面识别,了解游戏启动状态的目的。
需要说明的是,本实施例的方法步骤的具体实施方式中更多实施细节,以及各个步骤对应达到的技术效果可参见本发明云游戏启动控制方法第一实施例、第二实施例或第三实施例中具体实施方式的描述,为了说明书的简洁,此处不再重复赘述。
实施例五
基于同一发明构思,参照图7,提出本发明云游戏启动控制装置的第一实施例,该云游戏启动控制装置可以为虚拟装置,应用于云服务器。
下面结合图7所示的功能模块示意图,对本实施例提供的云游戏启动控制装置进行详细描述,所述装置可以包括:
视频流接收模块,用于接收游戏服务器发送的游戏画面视频数据;
图像截取模块,用于对所述游戏画面视频数据进行图像提取,获得视频帧图像;
图像比较模块,用于对所述视频帧图像和预存的游戏启动图像进行相似度判断,获得相似度判断结果;
视频流发送模块,用于若所述相似度判断结果满足游戏启动成功条件,将所述游戏画面视频数据发送给终端设备,以使所述终端设备终止预存加载画面显示,并显示云游戏画面,其中,所述预存加载画面在所述终端设备获取到启动云游戏的操作信息时进行显示。
进一步地,所述图像比较模块,可以包括:
特征提取单元,用于对所述视频帧图像和所述游戏启动图像进行特征提取,获得所述视频帧图像的像素特征和所述游戏启动图像的像素特征,其中,所述像素特征包括色调、饱和度和明度;
相似度获取单元,用于根据所述视频帧图像的像素特征和所述游戏启动图像的像素特征,利用图像比较模型,获得所述视频帧图像和所述游戏启动图像的相似度值;
相似度判断单元,用于判断所述相似度值是否达到预设相似度阀值,获得对应的相似度判断结果。
进一步地,所述图像比较模块,还可以包括:
模型训练单元,用于获取数据训练集,所述数据训练集包括视频帧图像和游戏启动图像;对所述视频帧图像和所述游戏启动图像进行特征提取,获得所述视频帧图像的像素特征和所述游戏启动图像的像素特征;再根据所述视频帧图像的像素特征和所述游戏启动图像的像素特征,获得任意两个像素特征变量的协方差;然后根据所述任意两个像素特征变量的协方差和高斯分布概率密度函数,建立判别模型;最后根据所述数据训练集,对所述判别模型进行训练,获得图像比较模型。
需要说明,本实施例提供的云游戏启动控制装置中各个模块可实现的功能和对应达到的技术效果可以参照本发明云游戏启动控制方法第一实施例或第二实施例中具体实施方式的描述,为了说明书的简洁,此处不再赘述。
实施例六
基于同一发明构思,参照图8,提出本发明云游戏启动控制装置的第二实施例,该云游戏启动控制装置可以为虚拟装置,应用于终端设备。
下面结合图8所示的功能模块示意图,对本实施例提供的云游戏启动控制装置进行详细描述,所述装置可以包括:
加载画面显示模块,用于在获取到启动云游戏的操作信息时,显示预存加载画面;
云游戏画面显示模块,用于接收云服务器发送的游戏画面视频数据,终止所述预存加载画面显示,以进行云游戏画面显示;其中,所述游戏画面视频数据在视频帧图像和预存的游戏启动图像的相似度判断结果满足游戏启动成功条件时发送,所述视频帧图像从所述游戏画面视频数据中提取获得。
进一步地,所述装置还可以包括:
指令生成模块,用于在获取到启动云游戏的操作信息时,生成云游戏启动指令,并发送所述云游戏启动指令给云服务器,以使所述云服务器根据所述云游戏启动指令生成启动游戏请求,并发送所述启动游戏请求给游戏服务器。
需要说明,本实施例提供的云游戏启动控制装置中各个模块可实现的功能和对应达到的技术效果可以参照本发明云游戏启动控制方法第三实施例或第四实施例中具体实施方式的描述,为了说明书的简洁,此处不再赘述。
实施例七
基于同一发明构思,参照图2,为本发明实施例一、实施例二和实施例五涉及的云服务器的硬件结构示意图。本实施例提供了一种云服务器,所述云服务器可以包括处理器和存储器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,实现本发明云游戏启动控制方法第一实施例或第二实施例的全部或部分步骤。
具体的,所述云服务器是指能够实现网络连接的服务器等网络设备。
可以理解,所述设备还可以包括通信总线,用户接口和网络接口。其中,通信总线用于实现这些组件之间的连接通信。
用户接口用于连接终端设备,与终端设备进行数据通信,用户接口可以包括输出单元,如显示屏、输入单元,如键盘,可选的,用户接口还可以包括其他输入/输出接口,比如标准的有线接口、无线接口。
网络接口用于连接后台服务器,与后台服务器进行数据通信,网络接口可以包括输入/输出接口,比如标准的有线接口、无线接口,如Wi-Fi接口。
存储器用于存储各种类型的数据,这些数据例如可以包括该云服务器中任何应用程序或方法的指令,以及应用程序相关的数据。存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,例如静态随机存取存储器(Static Random AccessMemory,简称SRAM),可擦除可编程只读存储器(Erasable Programmable Read-OnlyMemory,简称EPROM),可编程只读存储器(Programmable Read-Only Memory,简称PROM),只读存储器(Read-Only Memory,简称ROM),磁存储器,快闪存储器,磁盘或光盘,可选的,存储器还可以是独立于所述处理器的存储装置。
具体的,存储器中可以包括操作系统、网络通信模块、用户接口模块以及计算机程序,其中,网络通信模块主要用于连接游戏服务器,与游戏服务器进行数据通信。
处理器用于调用存储器中存储的计算机程序,并执行如上述的云游戏启动控制方法第一实施例或第二实施例的全部或部分步骤,处理器可以是专用集成电路(ApplicationSpecific Integrated Circuit,简称ASIC)、数字信号处理器(Digital SignalProcessor,简称DSP)、数字信号处理设备(Digital Signal Processing Device,简称DSPD)、可编程逻辑器件(Programmable Logic Device,简称PLD)、现场可编程门阵列(Field Programmable Gate Array,简称FPGA)、控制器、微控制器、微处理器或其他电子元件,用于执行如上述云游戏启动控制方法第一实施例或第二实施例的全部或部分步骤。
实施例八
基于同一发明构思,参照图5,为本发明实施例三、实施例四和实施例六涉及的终端设备的硬件结构示意图。本实施例提供了一种终端设备,所述终端设备可以包括处理器和存储器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,实现本发明云游戏启动控制方法第三实施例或第四实施例的全部或部分步骤。
具体的,所述终端设备是指能够实现网络连接的终端。
可以理解,所述设备还可以包括通信总线,用户接口和网络接口。其中,通信总线用于实现这些组件之间的连接通信。
用户接口用于连接通信组件,与通信组件进行数据通信,用户接口可以包括输出单元,如显示屏、输入单元,如键盘,可选的,用户接口还可以包括其他输入/输出接口,比如标准的有线接口、无线接口。
网络接口用于连接后台服务器,与后台服务器进行数据通信,网络接口可以包括输入/输出接口,比如标准的有线接口、无线接口,如Wi-Fi接口。
存储器用于存储各种类型的数据,这些数据例如可以包括该终端设备中任何应用程序或方法的指令,以及应用程序相关的数据。存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,例如静态随机存取存储器(Static Random AccessMemory,简称SRAM),可擦除可编程只读存储器(Erasable Programmable Read-OnlyMemory,简称EPROM),可编程只读存储器(Programmable Read-Only Memory,简称PROM),只读存储器(Read-Only Memory,简称ROM),磁存储器,快闪存储器,磁盘或光盘,可选的,存储器还可以是独立于所述处理器的存储装置。
具体的,存储器中可以包括操作系统、网络通信模块、用户接口模块以及计算机程序,其中,网络通信模块主要用于连接云服务器,与云服务器进行数据通信。
处理器用于调用存储器中存储的计算机程序,并执行如上述的云游戏启动控制方法第三实施例或第四实施例的全部或部分步骤,处理器可以是专用集成电路(ApplicationSpecific Integrated Circuit,简称ASIC)、数字信号处理器(Digital SignalProcessor,简称DSP)、数字信号处理设备(Digital Signal Processing Device,简称DSPD)、可编程逻辑器件(Programmable Logic Device,简称PLD)、现场可编程门阵列(Field Programmable Gate Array,简称FPGA)、控制器、微控制器、微处理器或其他电子元件,用于执行如上述云游戏启动控制方法第三实施例或第四实施例的全部或部分步骤。
实施例九
基于同一发明构思,本实施例提供了一种计算机可读存储介质,如闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等,所述存储介质上存储有计算机程序,所述计算机程序可被一个或多个处理器执行,所述计算机程序被处理器执行时可以实现本发明云游戏启动控制方法各个实施例的全部或部分步骤。
需要说明,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
以上所述仅为本发明的可选实施例,并非因此限制本发明的专利范围,凡是在本发明的发明构思下,利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均包括在本发明的专利保护范围内。

Claims (9)

1.一种云游戏启动控制方法,其特征在于,应用于云服务器,所述方法包括以下步骤:
接收游戏服务器发送的游戏画面视频数据;
对所述游戏画面视频数据进行图像提取,获得视频帧图像;
对所述视频帧图像和预存的游戏启动图像进行相似度判断,获得相似度判断结果,所述游戏启动图像为针对各个游戏预先上传到云服务器的启动画面的参照照片;
若所述相似度判断结果满足游戏启动成功条件,将所述游戏画面视频数据发送给终端设备,以使所述终端设备终止预存加载画面显示,并显示云游戏画面,实现画面的转换,其中,所述预存加载画面在所述终端设备获取到启动云游戏的操作信息时进行显示,所述预存加载画面存储于所述终端设备中;
所述对所述视频帧图像和预存的游戏启动图像进行相似度判断,获得相似度判断结果,包括:
在所述视频帧图像和所述游戏启动图像相对位置的样本区域内进行特征提取,获得多个样本像素点的颜色信息;
将所述颜色信息转换为像素信息,并分别计算所述多个样本像素点的像素平均值,获得所述视频帧图像的像素特征和所述游戏启动图像的像素特征,其中,所述像素特征包括色调、饱和度和明度,所述像素平均值包括色调平均值、饱和度平均值和明度平均值;
根据所述视频帧图像的像素特征和所述游戏启动图像的像素特征,进行相似度判断,获得相似度判断结果;
所述根据所述视频帧图像的像素特征和所述游戏启动图像的像素特征,进行相似度判断,获得相似度判断结果的步骤,具体包括:
根据所述视频帧图像的像素特征和所述游戏启动图像的像素特征,利用图像比较模型,获得所述视频帧图像和所述游戏启动图像的相似度值;
判断所述相似度值是否达到预设相似度阀值,获得对应的相似度判断结果;
所述根据所述视频帧图像的像素特征和所述游戏启动图像的像素特征,利用图像比较模型,获得所述视频帧图像和所述游戏启动图像的相似度值,包括:
根据所述视频帧图像的像素特征(h,s,v)和所述游戏启动图像的像素特征(h′,s′,v′),以及所述视频帧图像的像素信息(H,S,V)和所述游戏启动图像的像素信息(H′,S′,V′),计算色调变量的协方差σH、饱和度变量的协方差σS和明度变量的协方差σV
分别计算所述视频帧图像中任意两个像素特征变量的协方差矩阵以及所述游戏启动图像中任意两个像素特征变量的协方差矩阵;
利用高斯分布概率密度函数构造二维高斯分布函数图像,以获得所述视频帧图像和所述游戏启动图像的色调和饱和度的概率值ρH,S、色调和明度的概率值ρH,V以及明度和饱和度的概率值ρS,V
根据所述色调和饱和度的概率值ρH,S、色调和明度的概率值ρH,V以及明度和饱和度的概率值ρS,V,获得所述视频帧图像和所述游戏启动图像的相似度值ρ。
2.如权利要求1所述的云游戏启动控制方法,其特征在于,所述根据所述视频帧图像的像素特征和所述游戏启动图像的像素特征,利用图像比较模型,获得所述视频帧图像和所述游戏启动图像的相似度值的步骤之前,所述方法还包括:
获取数据训练集,所述数据训练集包括历史视频帧图像和历史游戏启动图像;
对所述历史视频帧图像和所述历史游戏启动图像进行特征提取,获得所述历史视频帧图像的像素特征和所述历史游戏启动图像的像素特征;
根据所述历史视频帧图像的像素特征和所述历史游戏启动图像的像素特征,获得任意两个像素特征变量的协方差;
根据所述任意两个像素特征变量的协方差和高斯分布概率密度函数,建立判别模型;
根据所述数据训练集,对所述判别模型进行训练,获得图像比较模型。
3.一种云游戏启动控制方法,其特征在于,应用于终端设备,所述方法包括以下步骤:
在获取到启动云游戏的操作信息时,显示预存加载画面,所述预存加载画面存储于所述终端设备中;
接收云服务器发送的游戏画面视频数据,终止所述预存加载画面显示,以进行云游戏画面显示,实现画面的转换;其中,所述游戏画面视频数据在视频帧图像和预存的游戏启动图像的相似度判断结果满足游戏启动成功条件时发送,所述视频帧图像从所述游戏画面视频数据中提取获得;所述游戏画面视频数据在视频帧图像和预存的游戏启动图像的相似度判断结果满足游戏启动成功条件时发送包括:通过所述云服务器在所述视频帧图像和所述游戏启动图像相对位置的样本区域内进行特征提取,获得多个样本像素点的颜色信息,将所述颜色信息转换为像素信息,并分别计算所述多个样本像素点的像素平均值,获得所述视频帧图像的像素特征和所述游戏启动图像的像素特征,再根据所述视频帧图像的像素特征和所述游戏启动图像的像素特征,进行相似度判断,且相似度判断结果满足游戏启动成功条件时发送;其中,所述像素特征包括色调、饱和度和明度,所述像素平均值包括色调平均值、饱和度平均值和明度平均值;其中,通过所述云服务器根据所述视频帧图像的像素特征和所述游戏启动图像的像素特征,进行相似度判断包括:通过所述云服务器根据所述视频帧图像的像素特征和所述游戏启动图像的像素特征,利用图像比较模型,获得所述视频帧图像和所述游戏启动图像的相似度值;判断所述相似度值是否达到预设相似度阀值,获得对应的相似度判断结果;
其中,通过所述云服务器根据所述视频帧图像的像素特征和所述游戏启动图像的像素特征,利用图像比较模型,获得所述视频帧图像和所述游戏启动图像的相似度值,包括:通过所述云服务器根据所述视频帧图像的像素特征(h,s,v)和所述游戏启动图像的像素特征(h′,s′,v′),以及所述视频帧图像的像素信息(H,S,V)和所述游戏启动图像的像素信息(H′,S′,V′),计算色调变量的协方差σH、饱和度变量的协方差σS和明度变量的协方差σV;分别计算所述视频帧图像中任意两个像素特征变量的协方差矩阵以及所述游戏启动图像中任意两个像素特征变量的协方差矩阵;利用高斯分布概率密度函数构造二维高斯分布函数图像,以获得所述视频帧图像和所述游戏启动图像的色调和饱和度的概率值ρH,S、色调和明度的概率值ρH,V以及明度和饱和度的概率值ρS,V;根据所述色调和饱和度的概率值ρH,S、色调和明度的概率值ρH,V以及明度和饱和度的概率值ρS,V,获得所述视频帧图像和所述游戏启动图像的相似度值ρ。
4.如权利要求3所述的云游戏启动控制方法,其特征在于,所述接收云服务器在判断视频帧图像和预存的游戏启动图像的相似度判断结果满足游戏启动成功条件时发送的游戏画面视频数据,终止所述预存加载画面显示,以进行云游戏画面显示的步骤之前,所述方法还包括:
在获取到启动云游戏的操作信息时,生成云游戏启动指令,并发送所述云游戏启动指令给云服务器,以使所述云服务器根据所述云游戏启动指令生成启动游戏请求,并发送所述启动游戏请求给游戏服务器。
5.一种云游戏启动控制装置,其特征在于,应用于云服务器,所述装置包括:
视频流接收模块,用于接收游戏服务器发送的游戏画面视频数据;
图像截取模块,用于对所述游戏画面视频数据进行图像提取,获得视频帧图像;
图像比较模块,用于对所述视频帧图像和预存的游戏启动图像进行相似度判断,获得相似度判断结果,所述游戏启动图像为针对各个游戏预先上传到云服务器的启动画面的参照照片;
视频流发送模块,用于若所述相似度判断结果满足游戏启动成功条件,将所述游戏画面视频数据发送给终端设备,以使所述终端设备终止预存加载画面显示,并显示云游戏画面,实现画面的转换,其中,所述预存加载画面在所述终端设备获取到启动云游戏的操作信息时进行显示,所述预存加载画面存储于所述终端设备中;
所述图像比较模块,还用于在所述视频帧图像和所述游戏启动图像相对位置的样本区域内进行特征提取,获得多个样本像素点的颜色信息;将所述颜色信息转换为像素信息,并分别计算所述多个样本像素点的像素平均值,获得所述视频帧图像的像素特征和所述游戏启动图像的像素特征;根据所述视频帧图像的像素特征和所述游戏启动图像的像素特征,进行相似度判断,获得相似度判断结果;其中,所述像素特征包括色调、饱和度和明度,所述像素平均值包括色调平均值、饱和度平均值和明度平均值;
所述图像比较模块,还用于根据所述视频帧图像的像素特征和所述游戏启动图像的像素特征,利用图像比较模型,获得所述视频帧图像和所述游戏启动图像的相似度值;判断所述相似度值是否达到预设相似度阀值,获得对应的相似度判断结果;
其中,所述根据所述视频帧图像的像素特征和所述游戏启动图像的像素特征,利用图像比较模型,获得所述视频帧图像和所述游戏启动图像的相似度值,包括:根据所述视频帧图像的像素特征(h,s,v)和所述游戏启动图像的像素特征(h′,s′,v′),以及所述视频帧图像的像素信息(H,S,V)和所述游戏启动图像的像素信息(H′,S′,V′),计算色调变量的协方差σH、饱和度变量的协方差σS和明度变量的协方差σV;分别计算所述视频帧图像中任意两个像素特征变量的协方差矩阵以及所述游戏启动图像中任意两个像素特征变量的协方差矩阵;利用高斯分布概率密度函数构造二维高斯分布函数图像,以获得所述视频帧图像和所述游戏启动图像的色调和饱和度的概率值ρH,S、色调和明度的概率值ρH,V以及明度和饱和度的概率值ρS,V;根据所述色调和饱和度的概率值ρH,S、色调和明度的概率值ρH,V以及明度和饱和度的概率值ρS,V,获得所述视频帧图像和所述游戏启动图像的相似度值ρ。
6.一种云游戏启动控制装置,其特征在于,应用于终端设备,所述装置包括:
加载画面显示模块,用于在获取到启动云游戏的操作信息时,显示预存加载画面,所述预存加载画面存储于所述终端设备中;
云游戏画面显示模块,用于接收云服务器发送的游戏画面视频数据,终止所述预存加载画面显示,以进行云游戏画面显示,实现画面的转换;其中,所述游戏画面视频数据在视频帧图像和预存的游戏启动图像的相似度判断结果满足游戏启动成功条件时发送,所述视频帧图像从所述游戏画面视频数据中提取获得;所述游戏画面视频数据在视频帧图像和预存的游戏启动图像的相似度判断结果满足游戏启动成功条件时发送包括:通过所述云服务器在所述视频帧图像和所述游戏启动图像相对位置的样本区域内进行特征提取,获得多个样本像素点的颜色信息,将所述颜色信息转换为像素信息,并分别计算所述多个样本像素点的像素平均值,获得所述视频帧图像的像素特征和所述游戏启动图像的像素特征,再根据所述视频帧图像的像素特征和所述游戏启动图像的像素特征,进行相似度判断,且相似度判断结果满足游戏启动成功条件时发送;其中,所述像素特征包括色调、饱和度和明度,所述像素平均值包括色调平均值、饱和度平均值和明度平均值;其中,通过所述云服务器根据所述视频帧图像的像素特征和所述游戏启动图像的像素特征,进行相似度判断包括:通过所述云服务器根据所述视频帧图像的像素特征和所述游戏启动图像的像素特征,利用图像比较模型,获得所述视频帧图像和所述游戏启动图像的相似度值;判断所述相似度值是否达到预设相似度阀值,获得对应的相似度判断结果;
其中,通过所述云服务器根据所述视频帧图像的像素特征和所述游戏启动图像的像素特征,利用图像比较模型,获得所述视频帧图像和所述游戏启动图像的相似度值,包括:通过所述云服务器根据所述视频帧图像的像素特征(h,s,v)和所述游戏启动图像的像素特征(h′,s′,v′),以及所述视频帧图像的像素信息(H,S,V)和所述游戏启动图像的像素信息(H′,S′,V′),计算色调变量的协方差σH、饱和度变量的协方差σS和明度变量的协方差σV;分别计算所述视频帧图像中任意两个像素特征变量的协方差矩阵以及所述游戏启动图像中任意两个像素特征变量的协方差矩阵;利用高斯分布概率密度函数构造二维高斯分布函数图像,以获得所述视频帧图像和所述游戏启动图像的色调和饱和度的概率值ρH,S、色调和明度的概率值ρH,V以及明度和饱和度的概率值ρS,V;根据所述色调和饱和度的概率值ρH,S、色调和明度的概率值ρH,V以及明度和饱和度的概率值ρS,V,获得所述视频帧图像和所述游戏启动图像的相似度值ρ。
7.一种云服务器,其特征在于,所述云服务器包括存储器和处理器,所述存储器上存储有计算机程序,该计算机程序被所述处理器执行时,实现如权利要求1或2所述的云游戏启动控制方法。
8.一种终端设备,其特征在于,所述终端设备包括存储器和处理器,所述存储器上存储有计算机程序,该计算机程序被所述处理器执行时,实现如权利要求3或4所述的云游戏启动控制方法。
9.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序可被一个或多个处理器执行,以实现如权利要求1至4中任一项所述的云游戏启动控制方法。
CN202110716584.2A 2021-06-25 2021-06-25 云游戏启动控制方法、装置、云服务器和终端设备 Active CN113440843B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110716584.2A CN113440843B (zh) 2021-06-25 2021-06-25 云游戏启动控制方法、装置、云服务器和终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110716584.2A CN113440843B (zh) 2021-06-25 2021-06-25 云游戏启动控制方法、装置、云服务器和终端设备

Publications (2)

Publication Number Publication Date
CN113440843A CN113440843A (zh) 2021-09-28
CN113440843B true CN113440843B (zh) 2023-12-08

Family

ID=77813310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110716584.2A Active CN113440843B (zh) 2021-06-25 2021-06-25 云游戏启动控制方法、装置、云服务器和终端设备

Country Status (1)

Country Link
CN (1) CN113440843B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5586197A (en) * 1993-09-02 1996-12-17 Canon Kabushiki Kaisha Image searching method and apparatus thereof using color information of an input image
TW201828156A (zh) * 2017-01-19 2018-08-01 阿里巴巴集團服務有限公司 圖像識別方法、度量學習方法、圖像來源識別方法及裝置
CN108961265A (zh) * 2018-05-30 2018-12-07 南京汇川图像视觉技术有限公司 一种基于颜色显著性和高斯模型的精确目标分割方法
CN110780789A (zh) * 2019-10-25 2020-02-11 腾讯科技(深圳)有限公司 游戏应用启动方法和装置、存储介质及电子装置
CN110942031A (zh) * 2019-11-27 2020-03-31 上海米哈游网络科技股份有限公司 一种游戏画面异常的检测方法、装置、电子设备及存储介质
CN111467793A (zh) * 2015-08-19 2020-07-31 索尼互动娱乐美国有限责任公司 利用客户端侧资产整合的云游戏流式传送
CN112069906A (zh) * 2020-08-10 2020-12-11 浙江工业大学 一种基于OpenCV和综合匹配距离的红绿灯识别方法
CN112206513A (zh) * 2020-09-17 2021-01-12 江苏视博云信息技术有限公司 一种云游戏的控制方法、信息交互方法、装置及系统
CN112691365A (zh) * 2021-01-12 2021-04-23 腾讯科技(深圳)有限公司 云游戏加载方法、系统、装置、存储介质和云游戏系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2489674A (en) * 2011-03-29 2012-10-10 Sony Corp 3D image generation
US20190143221A1 (en) * 2017-11-15 2019-05-16 Sony Interactive Entertainment America Llc Generation and customization of personalized avatars

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5586197A (en) * 1993-09-02 1996-12-17 Canon Kabushiki Kaisha Image searching method and apparatus thereof using color information of an input image
CN111467793A (zh) * 2015-08-19 2020-07-31 索尼互动娱乐美国有限责任公司 利用客户端侧资产整合的云游戏流式传送
TW201828156A (zh) * 2017-01-19 2018-08-01 阿里巴巴集團服務有限公司 圖像識別方法、度量學習方法、圖像來源識別方法及裝置
CN108961265A (zh) * 2018-05-30 2018-12-07 南京汇川图像视觉技术有限公司 一种基于颜色显著性和高斯模型的精确目标分割方法
CN110780789A (zh) * 2019-10-25 2020-02-11 腾讯科技(深圳)有限公司 游戏应用启动方法和装置、存储介质及电子装置
CN110942031A (zh) * 2019-11-27 2020-03-31 上海米哈游网络科技股份有限公司 一种游戏画面异常的检测方法、装置、电子设备及存储介质
CN112069906A (zh) * 2020-08-10 2020-12-11 浙江工业大学 一种基于OpenCV和综合匹配距离的红绿灯识别方法
CN112206513A (zh) * 2020-09-17 2021-01-12 江苏视博云信息技术有限公司 一种云游戏的控制方法、信息交互方法、装置及系统
CN112691365A (zh) * 2021-01-12 2021-04-23 腾讯科技(深圳)有限公司 云游戏加载方法、系统、装置、存储介质和云游戏系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"基于高斯混合模型的图像检索算法研究";肖维;《软件导刊》;第48-50页 *
汤大权等编著.《信息资源管理技术概论》.国防科技大学出版社,2009,第160-163页. *

Also Published As

Publication number Publication date
CN113440843A (zh) 2021-09-28

Similar Documents

Publication Publication Date Title
CN109618173B (zh) 视频压缩方法、装置和计算机可读存储介质
CN112333524B (zh) 动态视频覆盖
CN107862018B (zh) 食材烹饪方法的推荐方法及装置
RU2738202C1 (ru) Способ определения цвета кожи, устройство для определения цвета кожи и носитель данных
US7652717B2 (en) White balance correction in digital camera images
CN107613202B (zh) 一种拍摄方法及移动终端
RU2669511C2 (ru) Способ и устройство для идентификации типа изображения
CN110139104B (zh) 视频解码方法、装置、计算机设备和存储介质
CN110377391B (zh) 图片显示方法、装置、移动终端及存储介质
CN114266838A (zh) 图像数据处理方法、装置、电子设备及存储介质
US20170161875A1 (en) Video resolution method and apparatus
US8265383B2 (en) Method and communication terminal for searching phone book for desired contacts
CN113440843B (zh) 云游戏启动控制方法、装置、云服务器和终端设备
CN108737851B (zh) 用于针对视频内容项的调色板提取的方法、系统和介质
CN113453017B (zh) 视频处理方法、装置、设备及计算机程序产品
CN114663570A (zh) 贴图生成方法、装置、电子装置及可读存储介质
WO2018010652A1 (zh) 图像识别回调通知的方法、服务器和计算机可读存储介质
CN114092359A (zh) 花屏处理方法、装置和电子设备
WO2022111269A1 (zh) 视频的细节增强方法、装置、移动终端和存储介质
CN114140358A (zh) 图像显示方法、装置、终端及存储介质
CN113254123A (zh) 云桌面场景的识别方法和装置、存储介质及电子装置
CN114385847A (zh) 一种图片数据处理方法、装置、计算机设备及存储介质
CN111932332A (zh) 虚拟试妆方法、装置、电子设备和计算机可读介质
CN112801932A (zh) 图像显示方法、装置、电子设备和存储介质
CN110875982B (zh) 徽标显示方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant