CN113098946B - 云桌面场景的识别方法和装置、存储介质及电子装置 - Google Patents

云桌面场景的识别方法和装置、存储介质及电子装置 Download PDF

Info

Publication number
CN113098946B
CN113098946B CN202110327062.3A CN202110327062A CN113098946B CN 113098946 B CN113098946 B CN 113098946B CN 202110327062 A CN202110327062 A CN 202110327062A CN 113098946 B CN113098946 B CN 113098946B
Authority
CN
China
Prior art keywords
scene
frame
cloud desktop
image
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110327062.3A
Other languages
English (en)
Other versions
CN113098946A (zh
Inventor
张泽宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Wanxiang Electronics Technology Co Ltd
Original Assignee
Xian Wanxiang Electronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Wanxiang Electronics Technology Co Ltd filed Critical Xian Wanxiang Electronics Technology Co Ltd
Priority to CN202110327062.3A priority Critical patent/CN113098946B/zh
Publication of CN113098946A publication Critical patent/CN113098946A/zh
Application granted granted Critical
Publication of CN113098946B publication Critical patent/CN113098946B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/08Protocols specially adapted for terminal emulation, e.g. Telnet
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • G06F9/452Remote windowing, e.g. X-Window System, desktop virtualisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/131Protocols for games, networked simulations or virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • G06F2009/45595Network integration; Enabling network access in virtual machine instances

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种云桌面场景的识别方法和装置、存储介质及电子装置。其中,该方法包括:获取目标源端对当前时刻所显示的当前云桌面图像进行图像采集后所得到的待识别图像帧;获取与待识别图像帧对应的图像状态参数,其中,图像状态参数用于指示待识别图像帧相对参考图像帧的变化状态,参考图像帧为在待识别图像帧之前采集到的图像帧;获取与图像状态参数相匹配的场景标识,并将场景标识所指示的应用场景确定为当前云桌面图像所属的目标应用场景,达到了对云桌面的应用场景进行自适应识别切换的目的,实现了提高云桌面场景的识别效率的技术效果,解决了云桌面场景的识别效率较低的技术问题。

Description

云桌面场景的识别方法和装置、存储介质及电子装置
技术领域
本发明涉及计算机领域,具体而言,涉及一种云桌面场景的识别方法和装置、存储介质及电子装置。
背景技术
云桌面系统通常包括云端服务器和接收端,在云端服务器中设置有与接收端对应的源端,其中,源端通常以虚拟机(Virtual Machine,简称VM)的形式存在。用户通过接收端对运行在云端服务器中的虚拟机VM进行操作,虚拟机VM将把云桌面的显示图像发送给接收端以呈现给用户。
随着云桌面系统的应用越来越广泛,可以基于云桌面系统实现的应用场景也随之增加。例如,以云办公系统与云游戏系统为例,二者所需的显示性能不同,对应地,二者的云桌面图像在接收端的显示方式也不同。如果在云办公系统场景中运行云游戏,则会因为显示方式不对应而出现卡顿等运行不顺畅的情况。
在现有技术中,需要用户通过接收端对不同应用场景进行场景的选择和切换,即云桌面系统的性能切换依靠接收端的场景切换指令。也就是说,目前云桌面系统尚不能实现对应用场景进行自适应地识别切换,即仍然需要依靠用户人为识别的结果再进行手动操作切换。这样对云桌面的应用场景进行人为识别将大大影响云桌面场景的识别效率。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种云桌面场景的识别方法和装置、存储介质及电子装置,以至少解决云桌面场景的识别效率较低的技术问题。
根据本发明实施例的一个方面,提供了一种云桌面场景的识别方法,包括:获取目标源端对当前时刻所显示的当前云桌面图像进行图像采集后所得到的待识别图像帧;获取与上述待识别图像帧对应的图像状态参数,其中,上述图像状态参数用于指示上述待识别图像帧相对参考图像帧的变化状态,上述参考图像帧为在上述待识别图像帧之前采集到的图像帧;获取与上述图像状态参数相匹配的场景标识,并将上述场景标识所指示的应用场景确定为上述当前云桌面图像所属的目标应用场景。
根据本发明实施例的另一方面,还提供了一种云桌面场景的识别装置,包括:第一获取单元,用于获取目标源端对当前时刻所显示的当前云桌面图像进行图像采集后所得到的待识别图像帧;第二获取单元,用于获取与上述待识别图像帧对应的图像状态参数,其中,上述图像状态参数用于指示上述待识别图像帧相对参考图像帧的变化状态,上述参考图像帧为在上述待识别图像帧之前采集到的图像帧;识别单元,用于获取与上述图像状态参数相匹配的场景标识,并将上述场景标识所指示的应用场景确定为上述当前云桌面图像所属的目标应用场景。
根据本发明实施例的又一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述的云桌面场景的识别方法。
根据本发明实施例的又一方面,还提供了一种电子设备,包括存储器和处理器,上述存储器中存储有计算机程序,上述处理器被设置为通过所述计算机程序执行上述的云桌面场景的识别方法。
在本发明实施例中,提供了一种云桌面场景的识别方法,该方法包括:获取目标源端对当前时刻所显示的当前云桌面图像进行图像采集后所得到的待识别图像帧;获取与上述待识别图像帧对应的图像状态参数,其中,上述图像状态参数用于指示上述待识别图像帧相对参考图像帧的变化状态,上述参考图像帧为在上述待识别图像帧之前采集到的图像帧;获取与上述图像状态参数相匹配的场景标识,并将上述场景标识所指示的应用场景确定为上述当前云桌面图像所属的目标应用场景的方式,通过采集当前时刻目标源端的待识别图像帧并获取与待识别图像帧对应的图像状态参数,通过获取与图像状态参数相匹配的场景标识并根据场景标识所指示的应用场景确定目标应用场景,达到了对云桌面的应用场景进行自适应识别切换的目的,从而实现了提高云桌面场景的识别效率的技术效果,进而解决了云桌面场景的识别效率较低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种可选的云桌面场景的识别方法的应用环境的示意图;
图2是根据本发明实施例的另一种可选的云桌面场景的识别方法的应用环境的示意图;
图3是根据本发明实施例的一种可选的云桌面场景的识别方法的流程图;
图4是根据本发明实施例的另一种可选的云桌面场景的识别方法的流程图;
图5是根据本发明实施例的另一种可选的云桌面场景的识别方法的流程图;
图6是根据本发明实施例的另一种可选的云桌面场景的识别方法的流程图;
图7是根据本发明实施例的另一种可选的云桌面场景的识别方法的流程图;
图8是根据本发明实施例的另一种可选的云桌面场景的识别方法的流程图;
图9是根据本发明实施例的一种可选的云桌面场景的识别装置的结构示意图;
图10是根据本发明实施例的一种可选的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的一个方面,提供了一种云桌面场景的识别方法,可选地,作为一种可选的实施方式,如图1所示的应用环境中,云游戏系统包括云端服务器200和零终端1、零终端2……零终端N,云端服务器200上运行多个源端的虚拟机10、虚拟机20……虚拟机M,每个虚拟机对应一个接收端,接收端可以为零终端。用户通过零终端,操作虚拟机上运行的游戏,虚拟机采集桌面画面并发送给零终端,零终端将接受到的图像显示在所连接的显示器上。针对任意一个虚拟机,分别给一个对应的零终端推送界面,每个虚拟机之间是独立运行的。具体的,虚拟机可以运行PC操作系统,零终端可以连接显示器。作为另一种可选的实施方式,如图2所示的环境中,云端服务器200中的源端的虚拟机采用一个操作系统210并分别给多个零终端推送界面,操作系统可以是windows操作系统,每个零终端接收的图像等信息都是互相独立的,这种应用环境更加节省资源。对于上述两种云桌面系统的应用场景分类,目前一般分为游戏场景和办公场景。本发明实施例提供的云桌面场景的识别方法通过采集当前时刻目标源端的待识别图像帧并获取与待识别图像帧对应的图像状态参数,通过获取与图像状态参数相匹配的场景标识并根据场景标识所指示的应用场景确定目标应用场景,达到了对云桌面的应用场景进行自适应地识别切换的目的,从而实现了提高云桌面场景的识别效率的技术效果,进而解决了云桌面场景的识别效率较低的技术问题。具体过程可以如下步骤,如图3所示:
S302:获取目标源端对当前时刻所显示的当前云桌面图像进行图像采集后所得到的待识别图像帧;
S304:获取与待识别图像帧对应的图像状态参数;
S306:获取与图像状态参数相匹配的场景标识,并将场景标识所指示的应用场景确定为当前云桌面图像所属的目标应用场景。
本发明实施例达到了对云桌面的应用场景进行自适应地识别切换的目的,从而实现了提高云桌面场景的识别效率的技术效果,进而解决了云桌面场景的识别效率较低的技术问题。
本发明实施例的云桌面场景识别方法可以用于但不限于以下应用场景:云游戏应用场景、云办公应用场景、云VR应用场景(Virtual Reality,简称VR)、云娱乐应用场景、云驾驶应用场景、云医疗诊断应用场景等,不同的应用场景对于目标源端所需的显示性能不同,对应地,不同的应用场景的云桌面图像在接收端的显示方式也不同,比如,对于目标源端的显示性能需求,云医疗诊断应用场景、云驾驶应用场景的显示性能一般要高于云游戏的显示性能,云游戏的显示性能要高于云娱乐的显示性能,云娱乐的显示性能要高于云办公的显示性能,传统的云桌面场景切换需要用户通过接收端对不同应用场景进行场景的手动选择和切换,即云桌面系统的性能切换依靠接收端的场景切换指令,传统的方式存在操作复杂、切换不准确的问题,比如一般切换操作人员无法准确确认各个云应用场景所需的显示性能的精度,往往会造成云应用场景切换错误或者切换耗费时间的问题,而本发明实施例的云桌面场景的识别方法通过采集当前时刻目标源端的待识别图像帧并获取与待识别图像帧对应的图像状态参数,通过获取与图像状态参数相匹配的场景标识并根据场景标识所指示的应用场景确定目标应用场景,达到了对云桌面的应用场景进行自适应地识别切换的目的,从而实现了提高云桌面场景的识别效率的技术效果,进而解决了云桌面场景的识别效率较低的技术问题,比如,对于云游戏应用场景的识别,本发明实施例通过获取目标源端对当前时刻所显示的当前云桌面游戏图像进行图像采集后所得到的待识别游戏图像帧,获取与待识别游戏图像帧对应的游戏图像状态参数;并获取与游戏图像状态参数相匹配的游戏场景标识,并将游戏场景标识所指示的游戏应用场景确定为当前云桌面图像所属的目标应用场景,本发明实施例无需操作人员通过不准确且费时的手动切换应用场景,达到了对云桌面的应用场景进行自适应识别切换的目的,从而实现了提高云桌面场景的识别效率的技术效果,进而解决了云桌面场景的识别效率较低的技术问题。
具体地,在本发明实施例中,步骤S304中的图像状态参数用于指示待识别图像帧相对参考图像帧的变化状态,参考图像帧为在待识别图像帧之前采集到的图像帧,具体地,对于虚拟机识别帧率大小,一帧就是一副静止的画面,连续的帧就形成动画,如电影等。帧率(Frame rate)是以帧称为单位的位图图像连续出现在显示器上的频率(速率)。本领域技术人员所指的的帧率就是在秒钟时间里传输的图片的帧数,通常用FPS(Frames PerSecond,简称FPS)表示。每一帧都是静止的图像,快速连续地显示帧便形成了运动的假象,还原了物体当时的状态。高帧率可以得到更流畅、更逼真的动画。每秒钟帧数(FPS)愈多,所显示的动作就会愈流畅。
可选地,在本实施例中,上述目标源端均可以包括但不吸纳于采集器和编码器。其中,采集器用于采集源图像。对于不同的操作系统环境,显示器的刷新帧率不同。本发明实施例中所提到的帧率指的是采集器的采集帧率,比如:显示器刷新帧率为10帧/s,也就是说每秒中刷新10帧,采集端在每次显示器刷新的时间从显卡采集画面,如果显卡发生刷新,则成功采集一帧画面,反之,则代表显卡未发生刷新(画面未变),则不会产生采集帧,故采集帧率小于等于显示器刷新帧率。
作为一种可选的方案,如图4所示,步骤S304,获取与待识别图像帧对应的图像状态参数包括:步骤S404,获取目标源端在当前周期内的采集帧率,其中,图像状态参数包括采集帧率;步骤S306,获取与图像状态参数相匹配的场景标识,并将场景标识所指示的应用场景确定为当前云桌面图像所属的目标应用场景包括:步骤S406,在采集帧率大于预设帧率阈值的情况下,确定场景标识为游戏场景标识,并确定当前云桌面图像所属的目标应用场景为游戏场景。本发明实施例进一步提高了场景识别的精准度,对于不同类型的场景识别的效率也大大提升。上述步骤S406中,将当前帧率和预设帧率阈值比较,如果高于该预设帧率阈值,则判断为游戏场景标识,并确定为游戏场景。可选的,该帧率阈值设置为60帧/s,可调整,本领域技术人员可知,帧率达到60帧/s就会比较流畅。因为对游戏一般来说,第一人称射击游戏比较注重帧率的高低,如果帧率小于30帧/s的话,游戏会显得不连贯。高的帧率可以得到更流畅、更逼真的动画。
作为一种可选的方案,如图5所示,步骤S304获取与待识别图像帧对应的图像状态参数包括:步骤S504,获取目标源端在当前周期内的采集帧率和帧变化元素,具体地,图像状态参数包括采集帧率和帧变化元素,帧变化元素为待识别图像帧所指示的显示界面相对于参考图像帧所指示的显示界面发生改变的元素;步骤S306,获取与图像状态参数相匹配的场景标识,并将场景标识所指示的应用场景确定为当前云桌面图像所属的目标应用场景包括:步骤S506,在采集帧率小于等于预设帧率阈值,且并无帧变化元素的情况下,确定场景标识为办公场景标识,并确定当前云桌面图像所属的目标应用场景为办公场景。本发明实施例通过判断界面是否变化来识别场景标识,进一步提高了场景识别的精准度,对于不同类型的场景识别的效率也大大提升。本实施例中,若采集帧率小于等于预设帧率阈值且通过显示界面是否发生变化来确定场景标识并确定应用场景。
作为一种可选的方案,如图6所示,步骤S304包括步骤S604,获取目标源端在当前周期内的采集帧率和帧中宏块变化信息,具体地,步骤S306,在图像状态参数还包括帧中宏块变化信息的情况下,获取与图像状态参数相匹配的场景标识,并将场景标识所指示的应用场景确定为当前云桌面图像所属的目标应用场景包括:步骤606,在采集帧率小于等于预设帧率阈值,存在帧变化元素且帧中宏块变化信息指示发生变化的宏块比例大于预设比例阈值的情况下,确定场景标识为游戏场景标识,并确定当前云桌面图像所属的目标应用场景为游戏场景,具体地,帧中宏块变化信息用于指示待识别图像帧相对于参考图像帧发生改变的宏块。本发明实施例进一步提高了场景识别的精准度,对于不同类型的场景识别的效率也大大提升。
需要说明的是,获取当前图像帧和参考图像帧相比发生变化的宏块;其中,上述参考图像帧可以是前一帧图像,也可以是前N帧图像。其中,当前图像帧和参考图像帧均由多个宏块组成。每个宏块包括K*M大小的像素,K和M可以相等,其中K和M是整数,也可以不相等。比如每个宏块包括8*8大小的像素。可以通过接口获取发生变化的宏块,统计发生变化的宏块,并识别发生变化宏块的位置。基于数据统计,首先判断发生变化的宏块比例是否超过预设阈值,比如80%;其中,判断宏块是否发生变化,指的是宏块中每一个像素点和参考图像帧对应位置的像素点相比,是否完全一致;如果完全一致,则判断该宏块是未发生变化的宏块;如果不完全一致,则判断该宏块是发生变化的宏块。如果变化超过80%,则标识为游戏标识,应用场景确定为游戏场景,该阈值也是可以修改设定的,比如是60%或者其他。
作为一种可选的方案,如图7所示,步骤S304中的步骤S704,获取目标源端在当前周期内的采集帧率和帧中宏块变化信息;步骤S306,获取与图像状态参数相匹配的场景标识,并将场景标识所指示的应用场景确定为当前云桌面图像所属的目标应用场景包括:步骤S706,在采集帧率小于等于预设帧率阈值,存在帧变化元素且帧中宏块变化信息指示发生变化的宏块比例小于预设比例阈值的情况下,确定发生改变的宏块各自所在的位置以及各自的改变时间;步骤S708,在发生改变的宏块各自的改变时间位于预设周期内,且发生改变的宏块各自所在的位置位于同一区域内,则确定场景标识为游戏场景标识,并确定当前云桌面图像所属的目标应用场景为游戏场景;步骤S710,在发生改变的宏块各自所在的位置并非位于同一区域内,则确定场景标识为办公场景标识,并确定当前云桌面图像所属的目标应用场景为办公场景。本发明实施例进一步提高了场景识别的精准度,对于不同类型的场景识别的效率也大大提升。
作为一种可选的方案,获取与待识别图像帧对应的图像状态参数包括:比对待识别图像帧中的各个宏块及参考图像帧中的各个宏块;统计发生改变的宏块的数量;根据统计出的发生改变的宏块的数量,计算发生变化的宏块比例。该方案进一步提高了场景识别的精准度,对于不同类型的场景识别的效率也大大提升。
作为一种可选的方案,在将场景标识所指示的应用场景确定为当前云桌面图像所属的目标应用场景之后,还包括:确定与目标应用场景匹配的目标编码方式;按照目标编码方式对当前云桌面图像进行编码,得到编码结果;将编码结果传输给接收端进行显示。该方案进一步提高了场景识别的精准度,对于不同类型的场景识别的效率也大大提升。本发明实施例中,每个虚拟机都包括采集端和编码器,采集端用于采集源画面,比如云服务器连接游戏服务器的场景下,采集端采集的是每个虚拟机对应的账号登录的游戏界面,在游戏场景下,采集端将所有数据直接发送给硬核编码器编码,其中,硬核编码器是H265编码器。如果是办公场景,服务器的虚拟机运行有操作系统,操作系统中运行有不同的应用程序。该场景下需要识别图像数据中的文字部分,对文字部分可以但不限于进行vGTP进行编码,其他部件可以但不限于进行H265编码,可以是得的现实的图像更加清晰。
具体结合以下示例进行说明,如图8所示,具体的步骤可以包括:
步骤S801,获取虚拟机的当前帧率;步骤S802,将当前帧率和预设帧率阈值比较;如果当前帧率高于该预设帧率阈值,则进入步骤S803,识别为游戏场景;如果当前帧率不高于该帧率阈值,则进入步骤S804,获取变化宏块,并执行步骤S805,判断变化宏块是否大于阈值;若变化宏块大于阈值,则进行步骤S806,识别为游戏场景,若变化宏块不大于阈值,则进入步骤S807,判断变化宏块是否位于同一个区域;若位于同一个区域,则进入步骤S808,识别为游戏场景,若不位于同一个区域,则进入步骤S809,识别为办公场景。该方案中,其中,判断宏块是否发生变化,指的是宏块中每一个像素点和参考帧对应位置的像素点相比,是否完全一致;如果完全一致,则判断该宏块是未发生变化的宏块;如果不完全一致,则判断该宏块是发生变化的宏块。如果变化超过80%,进入游戏场景。如果变化不超过80%,且如果发生变化的宏块在预设的时间周期内,发生变化的位置不变,例如均属于同一个区域,则识别为游戏场景。如果变化的宏块不超过80%,并且变化的位置不属于同一个区域,则识别为办公场景,可选的,该阈值也是可以修改设定的,比如是60%或者其他。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的另一个方面,还提供了一种用于实施上述云桌面场景的识别方法的云桌面场景的识别装置。如图9所示,该装置包括:
第一获取单元902,用于获取目标源端对当前时刻所显示的当前云桌面图像进行图像采集后所得到的待识别图像帧;
第二获取单元904,用于获取与所述待识别图像帧对应的图像状态参数,其中,所述图像状态参数用于指示所述待识别图像帧相对参考图像帧的变化状态,所述参考图像帧为在所述待识别图像帧之前采集到的图像帧;
识别单元906,用于获取与所述图像状态参数相匹配的场景标识,并将所述场景标识所指示的应用场景确定为所述当前云桌面图像所属的目标应用场景。
在本发明实施例中,提供了一种采用的云桌面场景的识别方法包括:获取目标源端对当前时刻所显示的当前云桌面图像进行图像采集后所得到的待识别图像帧;获取与上述待识别图像帧对应的图像状态参数,其中,上述图像状态参数用于指示上述待识别图像帧相对参考图像帧的变化状态,上述参考图像帧为在上述待识别图像帧之前采集到的图像帧;获取与上述图像状态参数相匹配的场景标识,并将上述场景标识所指示的应用场景确定为上述当前云桌面图像所属的目标应用场景的方式,通过采集当前时刻目标源端的待识别图像帧并获取与待识别图像帧对应的图像状态参数,通过获取与图像状态参数相匹配的场景标识并根据场景标识所指示的应用场景确定目标应用场景,达到了对云桌面的应用场景进行自适应识别切换的目的,从而实现了提高云桌面场景的识别效率的技术效果,进而解决了云桌面场景的识别效率较低的技术问题。
根据本发明实施例的又一个方面,还提供了一种用于实施上述云桌面场景识别的处理方法的电子设备,该电子设备可以是图10所示的终端设备或服务器。本实施例以该电子设备为终端设备为例来说明。如图10所示,该电子设备包括存储器1002和处理器1004,该存储器1002中存储有计算机程序,该处理器1004被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,获取目标源端对当前时刻所显示的当前云桌面图像进行图像采集后所得到的待识别图像帧;
S2,获取与所述待识别图像帧对应的图像状态参数,其中,所述图像状态参数用于指示所述待识别图像帧相对参考图像帧的变化状态,所述参考图像帧为在所述待识别图像帧之前采集到的图像帧;
S3,获取与所述图像状态参数相匹配的场景标识,并将所述场景标识所指示的应用场景确定为所述当前云桌面图像所属的目标应用场景。
可选地,本领域普通技术人员可以理解,图10所示的结构仅为示意,电子设备也可以是智能手机(如Android手机、IOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices,MID)、PAD等终端设备。图10其并不对上述电子设备的结构造成限定。例如,电子设备还可包括比图10中所示更多或者更少的组件(如网络接口等),或者具有与图10所示不同的配置。
其中,存储器1002可用于存储软件程序以及模块,如本发明实施例中的隐藏内核模块的处理方法和装置对应的程序指令/模块,处理器1004通过运行存储在存储器1002内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的隐藏内核模块的处理方法。存储器1002可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器1002可进一步包括相对于处理器1004远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中,存储器1002具体可以但不限于用于内核模块信息列表,第一内核信息列表,第二内核信息列表等信息。作为一种示例,如图10所示,上述存储器1002中可以但不限于包括上述云桌面场景识别装置中的第一获取单元902,第二获取单元904,识别单元906。此外,还可以包括但不限于上述隐藏内核模块的处理装置中的其他模块单元,本示例中不再赘述。
可选地,上述的传输装置1006用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输装置1006包括一个网络适配器(Network Interface Controller,NIC),其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中,传输装置1006为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
此外,上述电子设备还包括:显示器1008,用于显示上述内核模块信息列表,第一内核信息列表,第二内核信息列表,目标内核模块;和连接总线1010,用于连接上述电子设备中的各个模块部件。
在其他实施例中,上述终端设备或者服务器可以是一个分布式系统中的一个节点,其中,该分布式系统可以为区块链系统,该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中,节点之间可以组成点对点(P2P,Peer To Peer)网络,任意形式的计算设备,比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。
根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述云场景识别方面的各种可选实现方式中提供的方法。其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,获取目标源端对当前时刻所显示的当前云桌面图像进行图像采集后所得到的待识别图像帧;
S2,获取与所述待识别图像帧对应的图像状态参数,其中,所述图像状态参数用于指示所述待识别图像帧相对参考图像帧的变化状态,所述参考图像帧为在所述待识别图像帧之前采集到的图像帧;
S3,获取与所述图像状态参数相匹配的场景标识,并将所述场景标识所指示的应用场景确定为所述当前云桌面图像所属的目标应用场景。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个采集单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种云桌面场景的识别方法,其特征在于,包括:
获取目标源端对当前时刻所显示的当前云桌面图像进行图像采集后所得到的待识别图像帧;
根据所述待识别图像帧,获取所述目标源端在当前周期内的采集帧率和帧变化元素,其中,所述帧变化元素为所述待识别图像帧所指示的显示界面相对于参考图像帧所指示的显示界面发生改变的元素,所述参考图像帧为在所述待识别图像帧之前采集到的图像帧;
在所述采集帧率小于等于预设帧率阈值,存在所述帧变化元素且帧中宏块变化信息指示发生变化的宏块比例小于预设比例阈值的情况下,确定所述发生改变的宏块各自所在的位置以及各自的改变时间,其中,所述帧中宏块变化信息用于指示所述待识别图像帧相对于所述参考图像帧发生改变的宏块;
在所述发生改变的宏块各自的改变时间位于预设周期内,且所述发生改变的宏块各自所在的位置位于同一区域内,则确定所述当前云桌面图像所属的目标应用场景的场景标识为游戏场景标识,并确定所述当前云桌面图像所属的所述目标应用场景为游戏场景;
在所述发生改变的宏块各自所在的位置并非位于同一区域内,则确定所述场景标识为办公场景标识,并确定所述当前云桌面图像所属的所述目标应用场景为办公场景;在所述采集帧率大于所述预设帧率阈值的情况下,确定所述场景标识为游戏场景标识,并确定所述当前云桌面图像所属的所述目标应用场景为游戏场景;
在所述采集帧率小于等于所述预设帧率阈值,且并无所述帧变化元素的情况下,确定所述当前云桌面图像所属的目标应用场景的场景标识为办公场景标识,并确定所述当前云桌面图像所属的所述目标应用场景为办公场景;
其中,所述场景标识用于指示所述当前云桌面图像所属的所述目标应用的场景类型。
2.根据权利要求1所述的方法,其特征在于,所述根据所述待识别图像帧,获取所述目标源端在当前周期内的采集帧率和帧变化元素之后还包括:
在所述采集帧率小于等于所述预设帧率阈值,存在所述帧变化元素且所述帧中宏块变化信息指示发生变化的宏块比例大于预设比例阈值的情况下,确定所述场景标识为游戏场景标识,并确定所述当前云桌面图像所属的所述目标应用场景为游戏场景。
3.根据权利要求1所述的方法,其特征在于,根据所述待识别图像帧,获取所述目标源端在当前周期内的帧变化元素包括:
比对所述待识别图像帧中的各个宏块及所述参考图像帧中的各个宏块;
统计所述发生改变的宏块的数量;
根据统计出的所述发生改变的宏块的数量,计算所述发生变化的宏块比例。
4.根据权利要求1至3中任一项所述的方法,其特征在于,在所述确定所述当前云桌面图像所属的所述目标应用场景为游戏场景或所述确定所述当前云桌面图像所属的所述目标应用场景为办公场景之后,还包括:
确定与所述目标应用场景匹配的目标编码方式;
按照所述目标编码方式对所述当前云桌面图像进行编码,得到编码结果;
将所述编码结果传输给接收端进行显示。
5.一种云桌面场景的识别装置,其特征在于,包括:
第一获取单元,用于获取目标源端对当前时刻所显示的当前云桌面图像进行图像采集后所得到的待识别图像帧;
第二获取单元,用于根据所述待识别图像帧,获取所述目标源端在当前周期内的采集帧率和帧变化元素,其中,所述帧变化元素为所述待识别图像帧所指示的显示界面相对于参考图像帧所指示的显示界面发生改变的元素,所述参考图像帧为在所述待识别图像帧之前采集到的图像帧;
识别单元,用于在所述采集帧率小于等于预设帧率阈值,存在所述帧变化元素且帧中宏块变化信息指示发生变化的宏块比例小于预设比例阈值的情况下,确定所述发生改变的宏块各自所在的位置以及各自的改变时间,其中,所述帧中宏块变化信息用于指示所述待识别图像帧相对于所述参考图像帧发生改变的宏块;在所述发生改变的宏块各自的改变时间位于预设周期内,且所述发生改变的宏块各自所在的位置位于同一区域内,则确定所述当前云桌面图像所属的目标应用场景的场景标识为游戏场景标识,并确定所述当前云桌面图像所属的所述目标应用场景为游戏场景;在所述发生改变的宏块各自所在的位置并非位于同一区域内,则确定所述场景标识为办公场景标识,并确定所述当前云桌面图像所属的所述目标应用场景为办公场景;在所述采集帧率大于所述预设帧率阈值的情况下,确定所述当前云桌面图像所属的目标应用场景的场景标识为游戏场景标识,并确定所述当前云桌面图像所属的所述目标应用场景为游戏场景;在所述采集帧率小于等于所述预设帧率阈值,且并无所述帧变化元素的情况下,确定所述当前云桌面图像所属的目标应用场景的场景标识为办公场景标识,并确定所述当前云桌面图像所属的所述目标应用场景为办公场景;其中,所述场景标识用于指示所述当前云桌面图像所属的所述目标应用的场景类型。
6.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,其特征在于,所述计算机程序被设置为运行时执行所述权利要求1至4任一项中所述的方法。
7.一种电子设备,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行所述权利要求1至4任一项中所述的方法。
CN202110327062.3A 2021-03-26 2021-03-26 云桌面场景的识别方法和装置、存储介质及电子装置 Active CN113098946B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110327062.3A CN113098946B (zh) 2021-03-26 2021-03-26 云桌面场景的识别方法和装置、存储介质及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110327062.3A CN113098946B (zh) 2021-03-26 2021-03-26 云桌面场景的识别方法和装置、存储介质及电子装置

Publications (2)

Publication Number Publication Date
CN113098946A CN113098946A (zh) 2021-07-09
CN113098946B true CN113098946B (zh) 2023-12-22

Family

ID=76670166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110327062.3A Active CN113098946B (zh) 2021-03-26 2021-03-26 云桌面场景的识别方法和装置、存储介质及电子装置

Country Status (1)

Country Link
CN (1) CN113098946B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114286094A (zh) * 2021-12-10 2022-04-05 西安万像电子科技有限公司 云桌面场景下的编解码方法、装置、电子设备和存储介质
CN114466109B (zh) * 2021-12-27 2024-03-08 天翼云科技有限公司 一种基于高拍仪的图像处理方法、终端设备和介质
CN117149470A (zh) * 2023-10-31 2023-12-01 西安雷风电子科技有限公司 一种云桌面连接方法、装置、设备及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7856054B1 (en) * 2003-11-14 2010-12-21 Apple Inc. Scene change identification during encoding of compressed video
CN108664228A (zh) * 2017-03-31 2018-10-16 上海中兴软件有限责任公司 一种图像显示方法及移动终端
CN109413480A (zh) * 2018-09-30 2019-03-01 Oppo广东移动通信有限公司 画面处理方法、装置、终端及存储介质
CN109905711A (zh) * 2019-02-28 2019-06-18 深圳英飞拓智能技术有限公司 一种图像的处理方法、系统及终端设备
CN110881136A (zh) * 2019-11-14 2020-03-13 腾讯科技(深圳)有限公司 视频帧率控制方法、装置、计算机设备及存储介质
CN111882626A (zh) * 2020-08-06 2020-11-03 腾讯科技(深圳)有限公司 图像处理方法、装置、服务器及介质
CN112230758A (zh) * 2020-11-09 2021-01-15 腾讯科技(深圳)有限公司 帧率调整方法、装置、设备及计算机可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120281757A1 (en) * 2011-05-04 2012-11-08 Roncero Izquierdo Francisco J Scene change detection for video transmission system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7856054B1 (en) * 2003-11-14 2010-12-21 Apple Inc. Scene change identification during encoding of compressed video
CN108664228A (zh) * 2017-03-31 2018-10-16 上海中兴软件有限责任公司 一种图像显示方法及移动终端
CN109413480A (zh) * 2018-09-30 2019-03-01 Oppo广东移动通信有限公司 画面处理方法、装置、终端及存储介质
CN109905711A (zh) * 2019-02-28 2019-06-18 深圳英飞拓智能技术有限公司 一种图像的处理方法、系统及终端设备
CN110881136A (zh) * 2019-11-14 2020-03-13 腾讯科技(深圳)有限公司 视频帧率控制方法、装置、计算机设备及存储介质
CN111882626A (zh) * 2020-08-06 2020-11-03 腾讯科技(深圳)有限公司 图像处理方法、装置、服务器及介质
CN112230758A (zh) * 2020-11-09 2021-01-15 腾讯科技(深圳)有限公司 帧率调整方法、装置、设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN113098946A (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
CN113098946B (zh) 云桌面场景的识别方法和装置、存储介质及电子装置
CN105791977B (zh) 基于云服务的虚拟现实数据处理方法、设备及系统
CN110636294B (zh) 视频解码方法及装置,视频编码方法及装置
EP3410302B1 (en) Graphic instruction data processing method, apparatus
CN103650001A (zh) 动画分发服务器、动画播放装置、控制方法、程序、及记录介质
CN113596488B (zh) 直播间的展示方法、装置、电子设备和存储介质
CN110650357B (zh) 视频解码方法及装置
CN115445194A (zh) 游戏的渲染方法、装置、设备及存储介质
CN110719526B (zh) 视频播放方法及装置
CN115396705A (zh) 投屏操作验证方法、平台及系统
CN113076159B (zh) 图像显示方法和装置、存储介质及电子设备
CN113064689A (zh) 场景识别方法和装置、存储介质及电子设备
CN113391741B (zh) 操作校验方法和装置、存储介质及电子设备
CN109660508A (zh) 数据可视化方法、电子装置、计算机设备及存储介质
CN114466224B (zh) 视频数据的编解码方法和装置、存储介质及电子设备
US20230018087A1 (en) Data coding method and apparatus, and computer-readable storage medium
CN112650596B (zh) 目标数据的跨进程共享方法、装置、设备及存储介质
CN113254123A (zh) 云桌面场景的识别方法和装置、存储介质及电子装置
CN110545431B (zh) 视频解码方法及装置、视频编码方法及装置
CN110677692B (zh) 视频解码方法及装置、视频编码方法及装置
CN112437332B (zh) 一种目标多媒体信息的播放方法和装置
CN109999490B (zh) 一种降低联网云应用延迟的方法及系统
CN111008611B (zh) 排队时长的确定方法及装置、存储介质、电子装置
CN113946221A (zh) 眼部驱动控制方法和装置、存储介质及电子设备
CN115025495B (zh) 角色模型的同步方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant