CN111831239A - 一种虚拟桌面残影消除方法、装置、电子设备及存储介质 - Google Patents

一种虚拟桌面残影消除方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111831239A
CN111831239A CN201910299999.7A CN201910299999A CN111831239A CN 111831239 A CN111831239 A CN 111831239A CN 201910299999 A CN201910299999 A CN 201910299999A CN 111831239 A CN111831239 A CN 111831239A
Authority
CN
China
Prior art keywords
ghost
scene
image data
virtual desktop
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910299999.7A
Other languages
English (en)
Other versions
CN111831239B (zh
Inventor
刘杰洪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sangfor Technologies Co Ltd
Original Assignee
Sangfor Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sangfor Technologies Co Ltd filed Critical Sangfor Technologies Co Ltd
Priority to CN201910299999.7A priority Critical patent/CN111831239B/zh
Publication of CN111831239A publication Critical patent/CN111831239A/zh
Application granted granted Critical
Publication of CN111831239B publication Critical patent/CN111831239B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请公开了一种虚拟桌面残影消除方法:首先通过场景识别筛选出残影出现概率较高的残影多发场景,对范围进行了第一次缩减,之后又确定了残影多发场景中易出现残影的目标图像区域,实现了范围的第二次缩减,通过两次缩减使得额外发送的无损图像数据最终被限缩在一个较小的范围内,而非像现有技术对全部图像数据都统一的使用数据量更大的无损或低有损图像数据来替换,因此通过本申请极具针对性的残影消除方案,使得仅需要额外发送少量的无损图像数据即可实现较好的残影消除效果,性价比更高。本申请还同时公开了一种虚拟桌面残影消除装置、电子设备及计算机可读存储介质,具有上述有益效果。

Description

一种虚拟桌面残影消除方法、装置、电子设备及存储介质
技术领域
本申请涉及虚拟桌面技术领域,特别涉及一种虚拟桌面残影消除方法、装置、电子设备及计算机可读存储介质。
背景技术
虚拟桌面是一种支持企业级实现桌面系统的远程动态访问与数据中心统一托管的技术。虚拟桌面技术可以让我们通过任何设备、在任何时间、任何地点访问在网络中属于我们个人的桌面系统。为了减少虚拟桌面的数据发送量,更好地利用有限的带宽,虚拟桌面技术中往往采用有损压缩与无损压缩相结合的方法来对桌面内容进行编码。
然而,有损压缩在降低编码数据发送量的同时也会带来了一定程度的画面质量问题,其中比较影响用户体验的一种是残影问题,引发残影问题的原因首先是有损压缩算法的使用导致了桌面图像数据不可逆的失真,并由于缓存算法加以扩散使得失真现象扩大化,使得虚拟桌面上某些区域在移动后在原来位置仍留下区域边框的残影(可参见图1),给予用户较差的使用体验。
现有解决残影问题的方法大多是直接改用图像信息损失率较低或不损失的压缩算法,使得桌面图像数据失真概率降低或为零,此种方法虽然能够使得画面质量得到明显的改善,但也让较大幅度的增加了图像数据的传输数据量;另一种是通过滤波等手段的方式来消除残影,虽然此种方式不会提升传输数据量,但由于无法确定残影问题出现的区域,因此滤波算法的施加对象是全体图像数据,不仅使得计算量有明显的上升,且滤波方式改善残影问题的效果也不佳。总的来说,现有解决残影问题的方式无法在传输数据量与画面质量上取得一个较好的平衡。
因此,如何克服现有技术存在的技术缺陷,提供一种能够在不明显提升图像数据传输数据量的基础上,使得残影问题得到较好改善的方法,是本领域技术人员亟待解决的问题。
发明内容
本申请的目的是提供一种虚拟桌面残影消除方法、装置、电子设备及计算机可读存储介质,旨在解决现有的残影消除方式无法在不明显提升图像数据传输数据量的基础上,较好的改善残影问题的技术缺陷。
为实现上述目的,本申请提供一种虚拟桌面残影消除方法,该方法包括:
获取虚拟桌面运行时的特征信息,并根据所述特征信息与预设残影特征间的匹配度确定当前桌面场景是否为残影多发场景;
当所述当前桌面场景为所述残影多发场景时,根据所述特征信息定位所述当前桌面场景中易出现残影的目标图像区域;
将所述目标图像区域的无损图像数据发送给所述客户端,以使所述客户端使用所述无损图像数据替换存在残影的有损图像数据。
可选的,在根据所述特征信息与预设残影特征间的匹配度确定所述当前桌面场景是否为残影多发场景之前,还包括:
收集存在残影的真实虚拟桌面图像数据;
从所述真实虚拟桌面图像数据中提取得到所述预设残影特征。
可选的,从所述真实虚拟桌面图像数据中提取得到所述预设残影特征,包括:
利用有监督的深度学习算法从所述真实虚拟桌面图像数据中提取得到所述预设残影特征。
可选的,所述特征信息包括:
用户鼠标和/或键盘的操作信息、脏域与缓存区域间的相对位置信息、窗口位置的变化信息中的至少一种。
可选的,根据所述特征信息与预设残影特征间的匹配度确定所述当前桌面场景是否为残影多发场景,包括:
当所述特征信息为所述脏域与缓存区域间的相对位置信息时,判断是否存在与所述相对位置信息的匹配程度超过预设阈值的预设残影特征;
若存在与所述相对位置信息的匹配程度超过预设阈值的预设残影特征,则确定所述当前桌面场景为所述残影多发场景;
对应的,根据所述特征信息定位所述当前桌面场景中易导致残影出现的目标图像区域,包括:
从所述特征信息中提取得到缓存区域和脏域的位置信息;
根据所述位置信息将所述脏域与相邻各所述缓存区域的边界区域确定为所述目标图像区域。
可选的,将所述目标图像区域的无损图像数据发送给所述客户端,包括:
将所述目标区域的无损图像数据排列于已打包好的待传输的虚拟桌面图像之后。
为实现上述目的,本申请还提供了一种虚拟桌面残影消除装置,该装置包括:
残影多发场景判别单元,用于获取虚拟桌面运行时的特征信息,并根据所述特征信息与预设残影特征间的匹配度确定当前桌面场景是否为残影多发场景;
残影区域确定单元,用于当所述当前桌面场景为所述残影多发场景时,根据所述特征信息定位所述当前桌面场景中易出现残影的目标图像区域;
残影消除单元,用于将所述目标图像区域的无损图像数据发送给所述客户端,以使所述客户端使用所述无损图像数据替换存在残影的有损图像数据。
可选的,该虚拟桌面残影消除装置还包括:
真实虚拟桌面图像数据收集单元,用于在根据所述特征信息与预设残影特征间的匹配度确定所述当前桌面场景是否为残影多发场景之前,收集存在残影的真实虚拟桌面图像数据;
预设残影特征提取单元,用于从所述真实虚拟桌面图像数据中提取得到所述预设残影特征。
可选的,所述预设残影特征提取单元包括:
深度学习算法特征提取子单元,用于利用有监督的深度学习算法从所述真实虚拟桌面图像数据中提取得到所述预设残影特征。
可选的,所述残影多发场景判别单元包括:
相对位置变化信息判别子单元,用于当所述特征信息为所述脏域与缓存区域间的相对位置信息时,判断是否存在与所述相对位置信息的匹配程度超过预设阈值的预设残影特征;
残影多发场景确定子单元,用于当存在与所述相对位置信息的匹配程度超过预设阈值的预设残影特征时,确定所述当前桌面场景为所述残影多发场景;
对应的,所述残影区域确定单元包括:
位置信息提取子单元,用于从所述特征信息中提取得到缓存区域和脏域的位置信息;
目标图像区域确定子单元,用于根据所述位置信息将所述脏域与相邻各所述缓存区域的边界区域确定为所述目标图像区域。
可选的,所述残影消除单元包括:
无损图像数据补发子单元,用于将所述目标区域的无损图像数据排列于已打包好的待传输的虚拟桌面图像之后。
为实现上述目的,本申请还提供了一种电子设备,该电子设备包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如上述内容所描述的虚拟桌面残影消除方法。
为实现上述目的,本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述内容所描述的虚拟桌面残影消除方法。
本申请的核心是提供一种虚拟桌面残影消除方法:首先通过(能够反映虚拟桌面所执行操作的)特征信息与预设残影特征间的匹配度来进行当前桌面场景是否属于残影多发场景的场景识别,在确定当前桌面场景属于残影多发场景后,再根据该特征信息进一步确定易出现残影的目标图像区域,最后将该目标图像区域的无损图像数据发送给客户端,以使客户端通过将存在残影的有损图像数据替换为无损图像数据的方式消除残影。
根据上述技术方案可以看出,本申请首先通过场景识别筛选出残影出现概率较高的残影多发场景,对范围进行了第一次缩减,之后又确定了残影多发场景中易出现残影的目标图像区域,实现了范围的第二次缩减,通过两次缩减使得额外发送的无损图像数据最终被限缩在一个较小的范围内,而非像现有技术对全部图像数据都统一的使用数据量更大的无损或低有损图像数据来替换,因此通过本申请极具针对性的残影消除方案,使得仅需要额外发送少量的无损图像数据即可实现较好的残影消除效果,性价比更高。
本申请同时还提供了一种虚拟桌面残影消除装置、电子设备及计算机可读存储介质,具有上述有益效果,在此不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为虚拟桌面图像中残影出现的示意图;
图2为本申请实施例提供的一种虚拟桌面残影消除方法的流程图;
图3为本申请实施例提供的一种通过脏域与缓存区域间相对位置关系消除残影的方法的流程图;
图4为本申请实施例提供的一种虚拟桌面残影消除装置的结构框图;
图5为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
本申请的目的是提供一种虚拟桌面残影消除方法、装置、电子设备及计算机可读存储介质,旨在解决现有的残影消除方式无法在不明显提升图像数据传输数据量的基础上,较好的改善残影问题的技术缺陷。
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
实施例一
请参见图2,图2为本申请实施例提供的一种虚拟桌面残影消除方法的流程图,其包括以下步骤:
S101:获取虚拟桌面运行时的特征信息,并根据特征信息与预设残影特征间的匹配度确定当前桌面场景是否为残影多发场景;
本步骤旨在首先根据特征信息对当前桌面场景是否为残影多发场景进行判别,其中,残影多发场景为有较大概率导致残影现象出现的桌面场景。
根据背景技术和图1对残影现象产生的描述,可以看出残影现象产生有几个前提条件:其一,使用有损压缩算法,且导致压缩后的图像数据有不可逆的失真情况出现;其二,由于缓存算法加以扩散导致失真现象放大化。在这两个前提条件的影响下,导致虚拟桌面上的某些区域移动后其边框仍残留在原来位置,由于边框普比为高对比度的蓝色或黑色,使得残留下的边框与周围图像相比十分明显,给予了用户较差的使用体验。
根据残影现象产生的原理和过程,可以看出在前提条件之外,触发残影现象还需要有区域或窗口移动这一条件,但并不意味者满足前提条件下的所有区域或窗口移动都会导致出现残影,但残影出现却一定伴随着区域或窗口移动这个动作,因此区域或窗口移动这个动作将作为导致残影出现的必要不充分条件。
基于此,本步骤所获取和使用的特征信息是指包含有能够表征是否区域或窗口移动这个动作的信息,以用于初步确定当前桌面场景是否为残影多发场景。具体的,该特征信息可以包括用户鼠标和/或键盘的操作信息、脏域与缓存区域间的相对位置信息、窗口位置的变化信息中以及其它能够表征区域或窗口移动这个动作存在的信息中的至少一种。
其中,由于区域或窗口的移动往往伴随着用户通过诸如鼠标和/或键盘的选中和拖动操作,因此用户鼠标和/或键盘的操作信息将能够作为反映区域或窗口移动这个动作存在的一种信息;由于区域或窗口的移动必将导致区域或窗口的所在位置发生变化,因此也能够根据位置的变化信息来判别是否存在区域或窗口的移动;由于现有虚拟桌面技术中为了尽可能的减少传输的数据量,采用了缓存算法(缓存算法可以自动将图像拆分成多个矩形,指出其中哪些矩形命中了缓存,对于命中缓存的区域直接拷贝缓存中对应位置的内容,而不用再经过压缩算法对图像内容处理,降低了数据码流),因此基于缓存算法得到的缓存区域与脏域(屏幕内容相比上一帧发生改变的区域,往往用矩形包围发生改变的区域,有多个改变的区域就有多个对应的矩形,通常虚拟桌面的服务端都会对最原始的变动区域进行矩形切分和整合,从而得到尽量简洁的脏域矩形表示)间的相对位置信息的变化也可以判断出是否存在区域或窗口移动这个动作。
上面提到过,存在区域或窗口移动这个动作是存在残影的必要不充分条件,因此为了尽可能的准确,本申请还预先从切实存在残影的真实虚拟桌面场景中提取得到预设残影特征,以通过与包含在特征信息中的相关特征进行匹配的方式来实现场景的识别。
一种包括但不限于的实现方式为:
收集存在残影的真实虚拟桌面图像数据;
从真实虚拟桌面图像数据中提取得到预设残影特征。
进一步的,为了使得得到的预设残影特征更准确,还可以通过有监督的深度学习算法在用户的监督下实现残影特征的提取,不仅利用了深度学习算法能够挖掘隐藏特征的能力,还通过外界监督的方式有效防止了提取内容与本申请所需的残影特征不符的现象出现。
S102:当当前桌面场景为残影多发场景时,根据特征信息定位当前桌面场景中易出现残影的目标图像区域;
本步骤建立在S101的判断结果为当前桌面场景为残影多发场景的基础上,也就是说当前桌面场景通过了S101提供的第一次判定,确定当前桌面场景为大概率存在残影的场景,而本步骤旨在根据特征信息进一步的定位当前桌面场景中易出现残影的目标图像区域,换句话说,本步骤就是进一步定位当前桌面场景中的那个图像区域容易出现残影,如图1和残影产生原理可知,残留下来的残影时移动的区域或窗口的外边框,因此实质上本步骤就是确定当前桌面场景中的外边框的位置,若存在就将其标记为目标图像区域,以备后续步骤使用。
本步骤的具体实现步骤将根据特征信息具体表现为何种信息而定,实施例二提供了一种当特征信息为脏域与缓存区域间位置信息时的一种实现方式,其它种类的信息只需要根据信息种类的不同,进行适应性调整即可。
S103:将目标图像区域的无损图像数据发送给客户端,以使客户端使用无损图像数据替换存在残影的有损图像数据。
在S102的基础上,本步骤旨在将目标图像区域的无损图像数据发送给客户端,以使客户端使用无损图像数据替换存在残影的有损图像数据。
进一步的,本步骤使用无损图像数据只是为了尽可能的减少替换用图像数据中依然存在失真的问题,使得替换后的图像数据不仅消除了残影,且画面质量得到提升。但即使存在失真问题,残影现象也会因替换操作得到消除,因此在要求不高或者要求额外传输的图像数据尽可能的少的情况下,也可以改用其他有损算法,将不存在残影的有损图像数据发给客户端,也能够消除残影现象。具体使用哪种方式,此处不做具体限定,应根据实际应用场景下的要求灵活选择最合适的方式。
将目标图像区域的无损图像数据发送给客户端的方式也存在多种,大体可分为运算量较少的和运算量较大的两种,其中运算量较少的方式就是不改变已经打包好的、完整的待传输虚拟桌面图像中目标图像区域的部分图像数据,而是将额外的无损图像数据排列在该虚拟桌面图像后面,使得在打包后的虚拟桌面图像被客户端解码还原后,紧接着使用补发的无损图像数据进行替换;运算量较大的就是,改变已经打包好的、完整的待传输虚拟桌面图像中目标图像区域的部分图像数据,相比于前一种,就额外需要拆包、解码、替换、编码、封包等步骤。两种方式各有优缺点,可根据实际应用场景中所有可能存在的特殊要求,灵活选择最适合的方式,此处不做具体限定。
从本实施例提供的技术方案中可以看出,本申请首先通过场景识别筛选出残影出现概率较高的残影多发场景,对范围进行了第一次缩减,之后又确定了残影多发场景中易出现残影的目标图像区域,实现了范围的第二次缩减,通过两次缩减使得额外发送的无损图像数据最终被限缩在一个较小的范围内,而非像现有技术对全部图像数据都统一的使用数据量更大的无损或低有损图像数据来替换,因此通过本申请极具针对性的残影消除方案,使得仅需要额外发送少量的无损图像数据即可实现较好的残影消除效果,性价比更高。
实施例二
请参见图3,图3为本申请实施例提供的一种通过脏域与缓存区域间相对位置关系消除残影的方法的流程图,在实施例一的基础上,本实施例具体给出一种当特征信息为脏域与缓存区域间相对位置关系时的残影消除方法,包括如下步骤:
S201:获取虚拟桌面运行时脏域与缓存区域间的相对位置信息;
S202:判断是否存在与相对位置信息的匹配程度超过预设阈值的预设残影特征;
其中,预设阈值的大小可以根据多次试验得到的结果来设定、也可以由丰富相关经验的专业技术人员设定,还可以由一个合适的相似性模型经内部函数的计算自行得到,此处并不做具体限定。
S203:确定当前桌面场景为非残影多发场景;
本步骤建立在S202的判断结果为不存在与相对位置信息的匹配程度超过预设阈值的预设残影特征的基础上,具体包括以下两种情景,其一:不包含于预设残影特征中;其二,包含于预设残影特征中,但匹配程度(或称相似性)低于预设阈值。
进一步的,针对第二种情况,可以在实际情况允许的情况下,也将其纳入S205、S206以及S207的处理步骤,以尽可能的防止因预设阈值设置的不合理造成的漏判。当然,也可以在发现阈值设置的不合理时,将阈值调整至合适的大小。
S204:确定当前桌面场景为残影多发场景;
本步骤建立在S202的判断结果为存在与相对位置信息的匹配程度超过预设阈值的预设残影特征的基础上,说明当前桌面场景为残影多发场景。
S205:从特征信息中提取得到缓存区域和脏域的位置信息;
S206:根据位置信息将脏域与相邻各缓存区域的边界区域确定为目标图像区域;
S205和S206则是通过缓存区域和脏域的位置信息将外边框所处的边界区域确定为目标图像区域,以便S207步骤得到对应区域的无损图像数据。
S207:将目标图像区域的无损图像数据发送给客户端,以使客户端使用无损图像数据替换存在残影的有损图像数据。
需要说明的是,实施例二给出了基于单一种类的信息(脏域与缓存区域间的相对位置信息)进行场景识别、易出现残影区域定位的方式,由于能够表征区域或窗口移动这一动作的特征信息并不仅限于这一种,也可以单独基于其它种类的信息得到相同或相似的实现步骤,而为了保证正确性,还可以灵活的根据多种类信息同时来进行判定,使得结果更加可靠、更加准确,组合方式包括依次使用不同种类信息进行判别、同时使用不同种类的信息进行判别,还可以进一步的设置可得出结果所需的通过判别的信息种类数,而由于不同种类的信息对动作是否存在表征程度的不同,还可以设置相应的权重等等方式,本领域技术人员可在本申请提出的思想的指导下,给出多种组合实现方案,因为情况复杂,无法一一列举进行阐述,此处不再一一赘述。
实施例三
下面请参见图4,图4为本申请实施例提供的一种虚拟桌面残影消除装置的结构框图,该装置可以包括:
残影多发场景判别单元100,用于获取虚拟桌面运行时的特征信息,并根据所述特征信息与预设残影特征间的匹配度确定当前桌面场景是否为残影多发场景;
残影区域确定单元200,用于当所述当前桌面场景为所述残影多发场景时,根据所述特征信息定位所述当前桌面场景中易出现残影的目标图像区域;
残影消除单元300,用于将所述目标图像区域的无损图像数据发送给所述客户端,以使所述客户端使用所述无损图像数据替换存在残影的有损图像数据。
进一步的,该虚拟桌面残影消除装置还可以包括:
真实虚拟桌面图像数据收集单元,用于在根据所述特征信息与预设残影特征间的匹配度确定所述当前桌面场景是否为残影多发场景之前,收集存在残影的真实虚拟桌面图像数据;
预设残影特征提取单元,用于从所述真实虚拟桌面图像数据中提取得到所述预设残影特征。
其中,该预设残影特征提取单元可以包括:
深度学习算法特征提取子单元,用于利用有监督的深度学习算法从所述真实虚拟桌面图像数据中提取得到所述预设残影特征。
其中,该残影多发场景判别单元100可以包括:
相对位置变化信息判别子单元,用于当所述特征信息为所述脏域与缓存区域间的相对位置信息时,判断是否存在与所述相对位置信息的匹配程度超过预设阈值的预设残影特征;
残影多发场景确定子单元,用于当存在与所述相对位置信息的匹配程度超过预设阈值的预设残影特征时,确定所述当前桌面场景为所述残影多发场景;
对应的,该残影区域确定单元200可以包括:
位置信息提取子单元,用于从所述特征信息中提取得到缓存区域和脏域的位置信息;
目标图像区域确定子单元,用于根据所述位置信息将所述脏域与相邻各所述缓存区域的边界区域确定为所述目标图像区域。
其中,该残影消除单元300可以包括:
无损图像数据补发子单元,用于将所述目标区域的无损图像数据排列于已打包好的待传输的虚拟桌面图像之后。
本实施例作为一个对应于上述方法实施例的装置实施例存在,拥有方法实施例的全部有益效果,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图5是根据一示例性实施例示出的一种电子设备400的框图。如图4所示,电子设备400可以包括处理器401和存储器402,还可以进一步包括多媒体组件403、信息输入/信息输出(I/O)接口404以及通信组件405中的一者或多者。
其中,处理器401用于控制电子设备400的整体操作,以完成上述的虚拟桌面残影消除方法中的部分或全部步骤;存储器402用于存储各种类型的数据以支持处理器401需要执行的各步骤操作,这些数据例如可以包括用于在该电子设备400上操作的任何应用程序或方法的指令,以及应用程序相关的数据,例如虚拟桌面运行时的特征数据、预设残影特征、匹配度计算算法、图像数据等。该存储器402可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,例如静态随机存取存储器(Static Random Access Memory,SRAM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-OnlyMemory,EEPROM)、可擦除可编程只读存储器
(Erasable Programmable Read-Only Memory,EPROM)、可编程只读存储器
(Programmable Read-Only Memory,PROM)、只读存储器(Read-Only Memory,ROM)、磁存储器、快闪存储器、磁盘或光盘中的一者或多者。
多媒体组件403可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏,音频组件用于输出和/或输入音频信号。例如,音频组件可以包括一个麦克风,麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器402或通过通信组件405发送。音频组件还包括至少一个扬声器,用于输出音频信号。I/O接口404为处理器401和其他接口模块之间提供接口,上述其他接口模块可以是键盘,鼠标等。通信组件405用于电子设备400与其他设备之间进行有线或无线通信。无线通信,例如Wi-Fi,蓝牙,近场通信(Near FieldCommunication,简称NFC),2G、3G或4G,或它们中的一种或几种的组合,因此相应的该通信组件405可以包括:Wi-Fi模块,蓝牙模块,NFC模块。
在一示例性实施例中,电子设备400可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit,简称ASIC)、数字信号处理器(DigitalSignal Processor,简称DSP)、数字信号处理设备(Digital Signal Processing Device,简称DSPD)、可编程逻辑器件(Programmable Logic Device,简称PLD)、现场可编程门阵列(Field Programmable Gate Array,简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述实施例给出的虚拟桌面残影消除方法。
优选的,该电子设备400可以是一种应用有本申请技术方案的虚拟桌面服务端。
在另一示例性实施例中,还提供了一种存储有程序指令的计算机可读存储介质,该程序指令将在被处理器执行时实现与该程序指令对应的操作。例如,该计算机可读存储介质可以为上述包括程序指令的存储器402,上述程序指令具体为可由电子设备400的处理器401在执行时完成上述实施例给出的虚拟桌面残影消除方法。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述,且各个实施例间为递进关系,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,可参见对应的方法部分说明。以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是,在本说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其它要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (13)

1.一种虚拟桌面残影消除方法,其特征在于,包括:
获取虚拟桌面运行时的特征信息,并根据所述特征信息与预设残影特征间的匹配度确定当前桌面场景是否为残影多发场景;
当所述当前桌面场景为所述残影多发场景时,根据所述特征信息定位所述当前桌面场景中易出现残影的目标图像区域;
将所述目标图像区域的无损图像数据发送给所述客户端,以使所述客户端使用所述无损图像数据替换存在残影的有损图像数据。
2.根据权利要求1所述的虚拟桌面残影消除方法,其特征在于,在根据所述特征信息与预设残影特征间的匹配度确定所述当前桌面场景是否为残影多发场景之前,还包括:
收集存在残影的真实虚拟桌面图像数据;
从所述真实虚拟桌面图像数据中提取得到所述预设残影特征。
3.根据权利要求2所述的虚拟桌面残影消除方法,其特征在于,从所述真实虚拟桌面图像数据中提取得到所述预设残影特征,包括:
利用有监督的深度学习算法从所述真实虚拟桌面图像数据中提取得到所述预设残影特征。
4.根据权利要求1所述的虚拟桌面残影消除方法,其特征在于,所述特征信息包括:
用户鼠标和/或键盘的操作信息、脏域与缓存区域间的相对位置信息、窗口位置的变化信息中的至少一种。
5.根据权利要求4所述的虚拟桌面残影消除方法,其特征在于,根据所述特征信息与预设残影特征间的匹配度确定所述当前桌面场景是否为残影多发场景,包括:
当所述特征信息为所述脏域与缓存区域间的相对位置信息时,判断是否存在与所述相对位置信息的匹配程度超过预设阈值的预设残影特征;
若存在与所述相对位置信息的匹配程度超过预设阈值的预设残影特征,则确定所述当前桌面场景为所述残影多发场景;
对应的,根据所述特征信息定位所述当前桌面场景中易导致残影出现的目标图像区域,包括:
从所述特征信息中提取得到缓存区域和脏域的位置信息;
根据所述位置信息将所述脏域与相邻各所述缓存区域的边界区域确定为所述目标图像区域。
6.根据权利要求1至5任一项所述的虚拟桌面残影消除方法,其特征在于,将所述目标图像区域的无损图像数据发送给所述客户端,包括:
将所述目标区域的无损图像数据排列于已打包好的待传输的虚拟桌面图像之后。
7.一种虚拟桌面残影消除装置,其特征在于,包括:
残影多发场景判别单元,用于获取虚拟桌面运行时的特征信息,并根据所述特征信息与预设残影特征间的匹配度确定当前桌面场景是否为残影多发场景;
残影区域确定单元,用于当所述当前桌面场景为所述残影多发场景时,根据所述特征信息定位所述当前桌面场景中易出现残影的目标图像区域;
残影消除单元,用于将所述目标图像区域的无损图像数据发送给所述客户端,以使所述客户端使用所述无损图像数据替换存在残影的有损图像数据。
8.根据权利要求7所述的虚拟桌面残影消除装置,其特征在于,还包括:
真实虚拟桌面图像数据收集单元,用于在根据所述特征信息与预设残影特征间的匹配度确定所述当前桌面场景是否为残影多发场景之前,收集存在残影的真实虚拟桌面图像数据;
预设残影特征提取单元,用于从所述真实虚拟桌面图像数据中提取得到所述预设残影特征。
9.根据权利要求8所述的虚拟桌面残影消除装置,其特征在于,所述预设残影特征提取单元包括:
深度学习算法特征提取子单元,用于利用有监督的深度学习算法从所述真实虚拟桌面图像数据中提取得到所述预设残影特征。
10.根据权利要求7所述的虚拟桌面残影消除装置,其特征在于,所述残影多发场景判别单元包括:
相对位置变化信息判别子单元,用于当所述特征信息为所述脏域与缓存区域间的相对位置信息时,判断是否存在与所述相对位置信息的匹配程度超过预设阈值的预设残影特征;
残影多发场景确定子单元,用于当存在与所述相对位置信息的匹配程度超过预设阈值的预设残影特征时,确定所述当前桌面场景为所述残影多发场景;
对应的,所述残影区域确定单元包括:
位置信息提取子单元,用于从所述特征信息中提取得到缓存区域和脏域的位置信息;
目标图像区域确定子单元,用于根据所述位置信息将所述脏域与相邻各所述缓存区域的边界区域确定为所述目标图像区域。
11.根据权利要求7至10任一项所述的虚拟桌面残影消除装置,其特征在于,所述残影消除单元包括:
无损图像数据补发子单元,用于将所述目标区域的无损图像数据排列于已打包好的待传输的虚拟桌面图像之后。
12.一种电子设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至6任一项所述的虚拟桌面残影消除方法。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的虚拟桌面残影消除方法。
CN201910299999.7A 2019-04-15 2019-04-15 一种虚拟桌面残影消除方法、装置、电子设备及存储介质 Active CN111831239B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910299999.7A CN111831239B (zh) 2019-04-15 2019-04-15 一种虚拟桌面残影消除方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910299999.7A CN111831239B (zh) 2019-04-15 2019-04-15 一种虚拟桌面残影消除方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111831239A true CN111831239A (zh) 2020-10-27
CN111831239B CN111831239B (zh) 2023-07-11

Family

ID=72914494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910299999.7A Active CN111831239B (zh) 2019-04-15 2019-04-15 一种虚拟桌面残影消除方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111831239B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101227606A (zh) * 2007-01-18 2008-07-23 中兴通讯股份有限公司 消除视频解码重建图像拖影的方法和装置
US20110069016A1 (en) * 2009-09-22 2011-03-24 Victor B Michael Device, Method, and Graphical User Interface for Manipulating User Interface Objects
CN103686044A (zh) * 2012-09-05 2014-03-26 想象技术有限公司 像素缓冲
CN104318893A (zh) * 2014-09-29 2015-01-28 青岛海信电器股份有限公司 一种消除静态图像显示区域残影缺陷的方法和系统
CN106231214A (zh) * 2016-08-11 2016-12-14 复旦大学 基于可调宏块的高速cmos传感器图像近似无损压缩方法
CN107633482A (zh) * 2017-07-24 2018-01-26 西安电子科技大学 一种基于序列图像的超分辨率重建方法
US20180137602A1 (en) * 2016-11-14 2018-05-17 Google Inc. Low resolution rgb rendering for efficient transmission

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9613591B2 (en) * 2014-08-29 2017-04-04 Lg Electronics Inc. Method for removing image sticking in display device
CN105808306B (zh) * 2016-03-31 2018-06-29 广东欧珀移动通信有限公司 一种图标的显示方法、显示装置以及终端

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101227606A (zh) * 2007-01-18 2008-07-23 中兴通讯股份有限公司 消除视频解码重建图像拖影的方法和装置
US20110069016A1 (en) * 2009-09-22 2011-03-24 Victor B Michael Device, Method, and Graphical User Interface for Manipulating User Interface Objects
CN103686044A (zh) * 2012-09-05 2014-03-26 想象技术有限公司 像素缓冲
CN104318893A (zh) * 2014-09-29 2015-01-28 青岛海信电器股份有限公司 一种消除静态图像显示区域残影缺陷的方法和系统
CN106231214A (zh) * 2016-08-11 2016-12-14 复旦大学 基于可调宏块的高速cmos传感器图像近似无损压缩方法
US20180137602A1 (en) * 2016-11-14 2018-05-17 Google Inc. Low resolution rgb rendering for efficient transmission
CN107633482A (zh) * 2017-07-24 2018-01-26 西安电子科技大学 一种基于序列图像的超分辨率重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
徐雅丽等: "一种去虚影的高动态范围图像融合算法", 《激光杂志》 *

Also Published As

Publication number Publication date
CN111831239B (zh) 2023-07-11

Similar Documents

Publication Publication Date Title
CN114584849B (zh) 视频质量评估方法、装置、电子设备及计算机存储介质
CN112135140B (zh) 视频清晰度识别方法、电子设备及存储介质
US11062210B2 (en) Method and apparatus for training a neural network used for denoising
CN106453572B (zh) 基于云服务器同步图像的方法及系统
CN111985281B (zh) 图像生成模型的生成方法、装置及图像生成方法、装置
US11627369B2 (en) Video enhancement control method, device, electronic device, and storage medium
CN114679607B (zh) 一种视频帧率控制方法、装置、电子设备及存储介质
JP2022508225A (ja) 映像増強制御方法、装置、電子機器及び記憶媒体
JP2022509191A (ja) 映像デコーディング制御方法、装置、電子機器及び記憶媒体
CN111145202B (zh) 模型生成方法、图像处理方法、装置、设备及存储介质
JP2024517359A (ja) 画像処理ネットワークの訓練方法、装置、コンピュータ機器及びコンピュータプログラム
CN111859210A (zh) 图像处理方法、装置、设备及存储介质
CN113452996A (zh) 一种视频编码、解码方法及装置
CN110796115B (zh) 图像检测方法、装置、电子设备及可读存储介质
CN110351014B (zh) 数据处理方法、装置、计算机可读存储介质和计算机设备
CN109120979B (zh) 视频增强控制方法、装置以及电子设备
CN111831239B (zh) 一种虚拟桌面残影消除方法、装置、电子设备及存储介质
US20220415046A1 (en) Method for determining video coding test sequence, electronic device and computer storage medium
EP3985989A1 (en) Detection of modification of an item of content
CN112752110B (zh) 视频呈现方法及装置、计算设备、存储介质
CN116264606A (zh) 用于处理视频的方法、设备和计算机程序产品
CN112085025A (zh) 物体分割方法、装置、设备
US11647153B1 (en) Computer-implemented method, device, and computer program product
CN117495854B (zh) 视频数据处理方法、设备及存储介质
KR20180074964A (ko) 원격 디스플레이의 체감 품질을 향상하는 영상 처리 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant