CN116489132A - 虚拟桌面数据传输方法、服务器、客户端和存储介质 - Google Patents

虚拟桌面数据传输方法、服务器、客户端和存储介质 Download PDF

Info

Publication number
CN116489132A
CN116489132A CN202310481679.XA CN202310481679A CN116489132A CN 116489132 A CN116489132 A CN 116489132A CN 202310481679 A CN202310481679 A CN 202310481679A CN 116489132 A CN116489132 A CN 116489132A
Authority
CN
China
Prior art keywords
image data
image
area
text
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310481679.XA
Other languages
English (en)
Inventor
张宸
林灵锋
徐敬蘅
宋汝鹏
杨峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Shenxinfu Information Security Co ltd
Original Assignee
Shenzhen Shenxinfu Information Security Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Shenxinfu Information Security Co ltd filed Critical Shenzhen Shenxinfu Information Security Co ltd
Priority to CN202310481679.XA priority Critical patent/CN116489132A/zh
Publication of CN116489132A publication Critical patent/CN116489132A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请实施例公开了一种虚拟桌面数据传输方法，该方法包括：识别出虚拟桌面对应的图像帧中不同的场景区域的图像数据；通过服务器的硬件编码器，对自然图像区域和视频区域的图像数据进行有损编码，得到有损编码后的图像数据；通过服务器的处理器，对文字区域和图文混合区域的图像数据进行无损压缩，得到无损压缩后的图像数据；基于有损编码后的图像数据和无损压缩后的图像数据得到目标图像数据，并向客户端发送目标图像数据。本申请实施例还公开了一种服务器和存储介质。

Description

虚拟桌面数据传输方法、服务器、客户端和存储介质
技术领域
本申请涉及通信技术领域，尤其涉及一种虚拟桌面数据传输方法、服务器、客户端和存储介质。
背景技术
桌面云系统中，服务端可以与客户端进行数据传输；通常，服务端在接收到用户通过客户端的云桌面触发的操作指令后，会根据操作指令获取当前即将在云桌面上显示的画面，并通过远程桌面云传输协议(Simple Protocol for Independent ComputingEnvironments，SPICE)中的H264编码器对该画面进行编码，然后将编码后的画面传输至客户端，以在客户端的云桌面上显示该画面。然而，在广域网网络较差或带宽有限的情况下，H264难以满足云桌面高清画质的传输需求，导致显示在云桌面上的画面的画质较差。
发明内容
为解决上述技术问题，本申请实施例期望提供一种虚拟桌面数据传输方法、服务器和存储介质，解决了相关技术中的在广域网网络较差或带宽有限的情况下，H264难以满足云桌面高清画质的传输需求，导致显示在云桌面上的画面的画质较差的问题。
本申请的技术方案是这样实现的：
一种虚拟桌面数据传输方法，所述方法包括：
识别出虚拟桌面对应的图像帧中不同的场景区域的图像数据；所述不同的场景区域包括自然图像区域、视频区域、文字区域和图文混合区域；
通过所述服务器的硬件编码器，对所述自然图像区域和所述视频区域的图像数据进行有损编码，得到有损编码后的图像数据；所述硬件编码器为支持高效率视频编码协议H265的视频编码器或支持H265演进后的协议的视频编码器；
通过所述服务器的处理器，对所述文字区域和所述图文混合区域的图像数据进行无损压缩，得到无损压缩后的图像数据；
基于所述有损编码后的图像数据和所述无损压缩后的图像数据得到目标图像数据，并向客户端发送所述目标图像数据。
上述方案中，所述通过所述服务器的硬件编码器，对所述自然图像区域和所述视频区域的图像数据进行有损编码，得到有损编码后的图像数据，包括：
将所述自然图像区域和所述视频区域的图像数据从第一数据格式转换为第二数据格式，得到中间图像数据；
将所述中间图像数据输入到所述硬件编码器进行有损编码，得到所述有损编码后的图像数据。
上述方案中，所述对所述文字区域和所述图文混合区域的图像数据进行无损压缩，得到无损压缩后的图像数据，包括：
对所述文字区域的图像数据进行第一无损压缩，得到压缩后的所述文字区域的图像数据；
对所述图文混合区域的图像数据进行第二无损压缩，得到压缩后的所述图文混合区域的图像数据；所述第一无损压缩不同于所述第二无损压缩；所述无损压缩后的图像数据包括所述压缩后的文字区域的图像数据和所述压缩后的图文混合区域的图像数据。
上述方案中，所述第一无损压缩是采用第一无损压缩算法进行压缩的；所述第二无损压缩是采用第二无损压缩算法进行压缩的。
一种虚拟桌面数据传输方法，所述方法应用于客户端，包括：
接收服务器发送的目标图像数据；其中，所述目标图像数据包括有损编码后的图像数据和无损压缩后的图像数据；
通过所述客户端的硬件解码器，对所述有损编码后的图像数据进行解码，得到自然图像区域和视频区域的图像数据；所述硬件解码器为支持高效率视频编码协议H265的视频解码器或支持H265演进后的协议的视频解码器；
通过所述客户端的处理模块，对所述无损压缩后的图像数据进行解压，得到文字区域和图文混合区域的图像数据；
基于所述自然图像区域、所述视频区域、所述文字区域、以及所述图文混合区域的图像数据，得到图像帧，并在所述客户端的虚拟桌面上显示所述图像帧。
上述方案中，所述通过所述服务器的硬件解码器，对所述有损编码后的图像数据进行解码，得到自然图像区域和视频区域的图像数据，包括：
将所述有损编码后的图像数据输入到所述硬件解码器进行解码，得到中间图像数据；
将中间图像数据从第二数据格式转换为第一数据格式，得到所述自然图像区域和所述视频区域的图像数据。
上述方案中，所述通过所述客户端的硬件解码器，对所述有损编码后的图像数据进行解码，得到自然图像区域和视频区域的图像数据，包括：
将所述有损编码后的图像数据输入到所述硬件解码器进行解码，得到中间图像数据；
将中间图像数据从第二数据格式转换为第一数据格式，得到所述自然图像区域和所述视频区域的图像数据。
上述方案中，所述对所述无损压缩后的图像数据进行解码，得到文字区域和图文混合区域的图像数据，包括：
对所述无损压缩后的图像数据中的缩后的文字区域的图像数据进行第一解压，得到所述文字区域的图像数据；
对所述无损压缩后的图像数据中的压缩后的图文混合区域的图像数据进行第二解压，得到所述图文混合区域的图像数据；所述第一解压不同于所述第二解压。
上述方案中，所述基于所述自然图像区域、视频区域、所述文字区域和图文混合区域的图像数据，得到图像帧，包括：
对所述自然图像区域、所述视频区域、所述文字区域和所述图文混合区域的图像数据进行融合处理，得到所述图像帧。
一种虚拟桌面数据传输装置，所述装置包括：
识别单元，用于识别出虚拟桌面对应的图像帧中不同的场景区域的图像数据；所述不同的场景区域包括自然图像区域、视频区域、文字区域和图文混合区域；
第一处理单元，用于通过所述服务器的硬件编码器，对所述自然图像区域和所述视频区域的图像数据进行有损编码，得到有损编码后的图像数据；所述硬件编码器为支持高效率视频编码协议H265的视频编码器或支持H265演进后的协议的视频编码器；
所述第一处理单元，还用于通过所述服务器的处理器，对所述文字区域和所述图文混合区域的图像数据进行无损压缩，得到无损压缩后的图像数据；
所述第一处理单元，还用于基于所述有损编码后的图像数据和所述无损压缩后的图像数据得到目标图像数据，并向客户端发送所述目标图像数据。
一种虚拟桌面数据传输装置，所述装置包括：
接收单元，用于接收服务器发送的目标图像数据；其中，所述目标图像数据包括有损编码后的图像数据和无损压缩后的图像数据；
第二处理单元，用于通过所述客户端的硬件解码器，对所述有损编码后的图像数据进行解码，得到自然图像区域和视频区域的图像数据；所述硬件解码器为支持高效率视频编码协议H265的视频解码器或支持H265演进后的协议的视频解码器；
所述第二处理单元，还用于通过所述客户端的处理模块，对所述无损压缩后的图像数据进行解压，得到文字区域和图文混合区域的图像数据；
所述第二处理单元，还用于基于所述自然图像区域、所述视频区域、所述文字区域、以及所述图文混合区域的图像数据，得到图像帧，并在所述客户端的虚拟桌面上显示所述图像帧。
一种服务器，所述服务器包括：第一处理器、第一存储器和第一通信总线；
所述第一通信总线用于实现所述第一处理器和所述第一存储器之间的通信连接；
所述第一处理器用于执行所述第一存储器中的虚拟桌面数据传输程序，以实现上述的虚拟桌面数据传输方法的步骤。
一种客户端，所述客户端包括：第二处理器、第二存储器和第二通信总线；
所述第二通信总线用于实现所述第二处理器和所述第二存储器之间的通信连接；
所述第二处理器用于执行所述第二存储器中的虚拟桌面数据传输程序，以实现上述的虚拟桌面数据传输方法的步骤。
一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述的虚拟桌面数据传输方法的步骤。
本申请的实施例所提供的虚拟桌面数据传输方法、服务器、客户端和存储介质，可以识别出虚拟桌面对应的图像帧中不同的场景区域的图像数据，接着，通过服务器的硬件编码器对自然图像区域和视频区域的图像数据进行有损编码得到有损编码后的图像数据，通过服务器的处理器对文字区域和图文混合区域的图像数据进行无损压缩得到无损压缩后的图像数据，基于有损编码后的图像数据和无损压缩后的图像数据得到目标图像数据，并向客户端发送目标图像数据；硬件编码器为支持高效率视频编码协议H265的视频编码器或支持H265演进后的协议的视频编码器；如此，针对虚拟桌面对应的图像帧中不同的场景区域的图像数据采用不同的编码方式进行处理，以通过差异化编码减少图像帧在压缩时的损耗，并且进行有损编码的硬件编码器具有良好的压缩比、且具有较低的码流，因此在保持图像帧高清画质的同时还能够降低桌面云系统的通信流量，进而使显示在客户端的图像帧的画质更好，能够满足云桌面高清画质的传输需求，提升用户体验感，解决了相关技术中的在广域网网络较差或带宽有限的情况下，H264难以满足云桌面高清画质的传输需求，导致显示在云桌面上的画面的画质较差的问题。
附图说明
图1为本申请实施例提供的一种虚拟桌面数据传输方法的流程示意图；
图2为本申请实施例提供的另一种虚拟桌面数据传输方法的流程示意图；
图3为本申请实施例提供的又一种虚拟桌面数据传输方法的流程示意图；
图4为本申请另一实施例提供的一种虚拟桌面数据传输方法的流程示意图；
图5为本申请实施例提供的一种虚拟桌面数据传输装置的结构示意图；
图6为本申请实施例提供的另一种虚拟桌面数据传输装置的结构示意图；
图7为本申请实施例提供的一种服务器的结构示意图；
图8为本申请实施例提供的一种客户端的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
应理解，说明书通篇中提到的“本申请实施例”或“前述实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“本申请实施例中”或“在前述实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在未做特殊说明的情况下，电子设备执行本申请实施例中的任一步骤，可以是电子设备的处理器执行该步骤。还值得注意的是，本申请实施例并不限定电子设备执行下述步骤的先后顺序。另外，不同实施例中对数据进行处理所采用的方式可以是相同的方法或不同的方法。还需说明的是，本申请实施例中的任一步骤是电子设备可以独立执行的，即电子设备执行下述实施例中的任一步骤时，可以不依赖于其它步骤的执行。
应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本申请实施例提供一种虚拟桌面数据传输方法，该方法可以应用于服务器中，参照图1所示，该方法包括以下步骤：
步骤101、识别出虚拟桌面对应的图像帧中不同的场景区域的图像数据。
其中，不同的场景区域包括自然图像区域、视频区域、文字区域和图文混合区域。
在本申请实施例中，虚拟桌面为在服务器上虚拟出来的且能够与客户端进行访问的桌面；虚拟桌面，又称云桌面。在一种可行的实现方式中，配置桌面云的服务端与客户端可以通过目标传输协议进行数据通信；其中，目标传输协议包括但不限于独立计算环境初级协议(Simple Protocol for Independent Computing Environments，SPICE)、远程桌面协议(Remote Desktop Protocol，RDP)、个人计算机网络互连协议(Personal Computerover Internet Protocol，PCoIP)、独立计算体系结构(Independent ComputingArchitecture，ICA)协议、高清体验(High Definition Experience，HDX)协议、远程帧缓冲(Remote Frame Buffer，RFB)协议。在另一种可行的实现方式中，配置桌面云的服务端与客户端还可以与远程桌面控制软件进行数据通信；其中，远程桌面控制软件可以包括但不限于Xrdp、远程桌面控制协议(Free Remote Desktop Protocol，FreeRDP)、远程桌面软件(RustDesk)。需要说明的是，上述两种可行的实现方式均可适用于不同网络协议的场景，并不局限于广域网和局域网。
在本申请实施例中，虚拟桌面对应的图像帧是即将在客户端的虚拟桌面上显示的图像数据。虚拟桌面对应的图像帧可以包括自然图像区域、视频区域、文字区域和图文混合区域等多个不同的场景区域的图像数据；自然图像区域为图像显示的区域，视频区域为视频显示的区域，文字区域为仅显示文字的区域，图文混合区域为即有图片又有文字的区域。
在一种可行的实现方式中，可以通过虚拟桌面所在的客户端的鼠标、键盘等外部设备向服务器发送针对某一数据的获取指令；然后，服务器在接收到客户端发送的获取指令后，基于操作指令，从自身数据库中获取即将在虚拟桌面上显示的图像帧；接着，基于每一场景区域的显示内容对图像帧进行划分，得到不同的场景区域的图像数据，以确定不同的场景区域的图像数据对应的处理方法，进而基于每一场景区域的图像数据对应的处理方法对图像帧进行处理。
步骤102、通过服务器的硬件编码器，对自然图像区域和视频区域的图像数据进行有损编码，得到有损编码后的图像数据。
其中，硬件编码器为支持高效率视频编码协议H265的视频编码器或支持H265演进后的协议的视频编码器。
在本申请实施例中，硬件编码器用于进行有损压缩；硬件编码器具有很高的压缩比、较低的码流、对画质的损耗较小；在一种可行的实现方式中，硬件编码器可以为高效率视频编码协议(High Efficiency Video Coding，H265)或支持H265演进后的协议的视频编码器，H265演进后的协议的视频编码器是指基于H265改进后的硬件编码器。自然图像区域和视频图像区域的图像数据，是指自然图像区域的图像数据、以及视频图像区域的图像数据；其中，自然图像区域为显示图像的区域；视频区域为显示视频的区域。有损编码后的图像数据是对自然图像区域和视频区域的图像数据进行有损压缩后得到的图像数据。
由于自然图像区域和视频区域的图像数据的数据量较大，传输时耗费的资源较多，因此需要对自然图像区域和视频区域的图像数据进行有损压缩，以减少数据量，提高传输速率。这种情况下，可以在服务器中配置硬件编码器H265，以通过硬件编码器H265，对自然图像区域和视频区域的图像数据进行有损压缩得到有损压缩后的图像数据，以通过硬编码的方式进行有损压缩。
步骤103、通过服务器的处理器，对文字区域和图文混合区域的图像数据进行无损压缩，得到无损压缩后的图像数据。
在本申请实施例中，文字区域和图文混合区域的图像数据，是指文字区域的图像数据、以及图文混合区域的图像数据；其中，文字区域为显示文字的区域；图文混合区域为显示图像和文字的区域。无损压缩后的图像数据是对文字区域和图文混合区域的图像数据进行无损压缩后得到的图像数据。处理器可以为服务器的中央处理器(CentralProcessing Unit，CPU)、或图形处理器(Graphics Processing Unit，GPU)。处理器用于进行无损压缩。值得一提的是，无损压缩相比于有损压缩，对图像的损耗较小，画质更高清。
一般，文字在显示屏上显示的要求较高，因此对于文字部分，需要进行无损压缩，以保证文字的高清显示。这种情况下，可以通过服务器的CPU，对文字区域和图文混合区域的图像数据进行无损压缩得到无损压缩后的图像数据，以通过软编码的方式进行无损压缩。
步骤104、基于有损编码后的图像数据和无损压缩后的图像数据得到目标图像数据，并向客户端发送目标图像数据。
在本申请实施例中，目标图像数据是基于有损编码后的图像数据和无损压缩后的图像数据得到的，用于使客户端基于目标图像数据能够在虚拟桌面上显示图像帧。
在一种可行的方式中，客户端在接收到目标图像数据后，可以对目标图像数据进行解码处理，得到包括不同场景区域的图像数据的图像帧，然后将图像帧显示在虚拟桌面上。
在本申请实施例中，由于目标图像数据是采用不同的编码方式对图像帧中不同场景区域的图像数据进行处理后得到的，通过差异化编码减少了图像帧在压缩时的损耗，并且进行有损编码的硬件编码器具有良好的压缩比、且具有较低的码流，因此在保持图像帧高清画质的同时还能够降低桌面云系统的通信流量，进而使显示在客户端的图像帧的画质更好，能够满足云桌面高清画质的传输需求，提升用户体验感；然而，相关技术中直接采用H264编码器对即将显示在云桌面上的画面进行编码，没有针对性地对画面中的显示内容进行划分，更没有采用不同的编码方法进行处理，因此相比于相关技术，本申请实施例所提供的虚拟桌面数据传输方法针对图像帧中不同场景区域的图像数据采用不同的编码方法进行编码，所得到的画质更好，并且对不同场景区域的图像数据采用不同的编码方法进行编码，在保证各个场景的图像数据能够清晰显示的同时最大限度地对各个场景的图像数据进行了压缩，还可以降低桌面云系统的通信流量，提高桌面云系统的整体性能，更适用于远程桌面云系统的传输。
本申请实施例所提供的虚拟桌面数据传输方法，针对虚拟桌面对应的图像帧中不同的场景区域的图像数据采用不同的编码方式进行处理，以通过差异化编码减少图像帧在压缩时的损耗，并且进行有损编码的硬件编码器具有良好的压缩比、且具有较低的码流，因此在保持图像帧画质的同时还能够降低桌面云系统的通信流量，进而使显示在客户端的图像帧的画质更好，能够满足云桌面高清画质的传输需求，提升用户体验感，解决了相关技术中的在广域网网络较差或带宽有限的情况下，H264难以满足云桌面高清画质的传输需求，导致显示在云桌面上的画面的画质较差的问题。
基于前述实施例，本申请实施例提供一种虚拟桌面数据传输方法，参照图2所示，该方法包括以下步骤：
步骤201、接收服务器发送的目标图像数据。
其中，目标图像数据包括有损编码后的图像数据和无损压缩后的图像数据。
步骤202、通过客户端的硬件解码器，对有损编码后的图像数据进行解码，得到自然图像区域和视频区域的图像数据。
其中，硬件解码器为支持高效率视频编码协议H265的视频解码器或支持H265演进后的协议的视频解码器。
在本申请实施例中，客户端上可以配置有硬件编码器，以通过硬件编码器，对目标图像数据中的有损编码后的图像数据进行解码，得到自然图像区域和视频区域的图像数据。
步骤203、通过客户端的处理模块，对无损压缩后的图像数据进行解压，得到文字区域和图文混合区域的图像数据。
在本申请实施例中，可以通过客户端的CPU，对目标图像数据中的无损压缩后的图像数据进行解压，得到文字区域和图文混合区域的图像数据。
步骤204、基于自然图像区域、视频区域、文字区域和图文混合区域的图像数据，得到图像帧，并在客户端的虚拟桌面上显示图像帧。
在本申请实施例中，可以对自然图像区域、视频区域、文字区域和图文混合区域的图像数据进行处理，以得到图像帧，并在客户端的虚拟桌面上显示图像帧，从而实现将服务端的虚拟机映射到客户端。
本申请实施例所提供的虚拟桌面数据传输方法，由于目标图像数据是采用不同的编码方式对图像帧中不同的场景区域的图像数据进行处理后得到的，通过差异化编码减少了图像帧在压缩时的损耗，并且进行有损编码的硬件编码器具有良好的压缩比、且具有较低的码流，因此在保持图像帧高清画质的同时还能够降低桌面云系统的通信流量，进而使显示在客户端的图像帧的画质更好，能够满足云桌面高清画质的传输需求，提升用户体验感，解决了相关技术中的在广域网网络较差或带宽有限的情况下，H264难以满足云桌面高清画质的传输需求，导致显示在云桌面上的画面的画质较差的问题。
基于前述实施例，本申请实施例提供一种虚拟桌面数据传输方法，参照图3所示，该方法包括以下步骤：
步骤301、服务器识别出虚拟桌面对应的图像帧中不同的场景区域的图像数据。
其中，不同的场景区域包括自然图像区域、视频区域、文字区域和图文混合区域。
在本申请实施例中，可以通过目标传输协议获取虚拟桌面对应的图像帧，识别出图像帧中不同的场景区域的图像数据。目标传输协议为服务器与客户端之间的传输协议，用于服务器与客户端进行通信；目标传输协议可以同时支持联合图像专家组(JointPhotographic Experts Group，JPEG)编码协议、先进视频编码协议(Advanced VideoCoding，H.264)、H.265以及GLZ无损压缩协议。
在一种可行的实现方式中，如果服务器部署的目标传输协议为SPICE协议，那么可以通过SPICE协议获取虚拟桌面对应的图像帧，通过SPICE协议将图像帧划分为不同的场景区域的图像数据；进一步地，可以通过SPICE协议下的识别模块检测图像帧中的内容，以得到不同的场景区域的图像数据。
在本申请其他实施例中，可以在目标传输协议中的编码模块中设置有多种编码方法，以确定不同场景区域对应的编码方法。其中，编码模块可以包括JPEG编码方法、H.264编码方法、H.265编码方法以及GLZ编码方法，其中，GLZ编码方法和JPEG编码方法为无损压缩，H.264编码方法和H.265编码方法为有损压缩；在一种可行的实现方式中，可以通过SPICE协议中的编码模块，调用不同场景区域对应的编码方法，以对不同场景区域的图像数据进行编码。示例地，对自然图像区域和视频区域的图像数据采用硬编码方法(H265、或H264)，对文字区域和图文混合区域的图像数据采用软编码方式(JPEG、或GLZ)。
步骤302、服务器将自然图像区域和视频区域的图像数据从第一数据格式转换为第二数据格式，得到中间图像数据。
在本申请实施例中，第一数据格式为自然图像区域和视频区域的图像数据的源格式；示例地，第一数据格式可以为三基色(Red Green Blue，RGB)。第二数据格式是输入硬件编码器时的数据格式；示例地，第二数据格式可以为颜色编码(Luminance ChrominanceChroma，YUV)格式。中间图像数据是将自然图像区域和视频区域的图像数据转换数据格式后得到的图像数据。
对于自然图像区域和视频区域的图像数据，压缩程度较高，因此在编码之前，需要进行格式转换，以减少数据量，便于后续编码。在一种可行的实现方式中，如果自然图像区域和视频区域的图像数据的数据格式为RGB格式，则可以将其转换为YUV格式。
步骤303、服务器将中间图像数据输入到硬件编码器进行有损编码，得到有损编码后的图像数据。
其中，硬件编码器为支持高效率视频编码协议H265的视频编码器或支持H265演进后的协议的视频编码器。
在本申请实施例中，自然图像区域和视频区域中包括大量的图像，尤其是视频区域，视频区域中会存在大量重复的图像内容，如果采用JPEG编码方法，存在码流较大且压缩率低的问题，因此对于自然图像区域和视频区域对应的编码方法可以为H.264编码方法或H.265编码方法，H.264编码方法或H.265编码方法对图像的压缩率高、且实时性强，更适用于远程云桌面系统的传输；也即，可以采用H.264编码器或H.265编码器对转换数据格式后的中间图像数据进行编码得到编码后的图像数据。
具体地，可以通过SPICE协议中的编码模块，调用H265编码方法对中间图像数据进行有损编码，得到有损编码后的图像数据。
需要说明的是，采用H.264编码方法还是H.265编码方法对自然图像区域和视频区域进行编码，是根据客户端的解码能力确定的，也即，如果客户端只支持H.264，那么采用H.264编码方法对自然图像区域和视频区域进行编码；如果客户端支持H.264编码方法和H.265编码方法，则优先采用H.265编码方法对自然图像区域和视频区域进行编码，因为H.265编码方法相比于H.264编码方法，码流更低，具有更高的压缩比，得到的画质更高。
进一步地，在本申请其他实施例中，如果对图像区域的画质要求较高，则可以采用JPEG编码方法对图像区域的图像数据进行编码，采用H.265编码方法(或H.264编码方法)对视频区域的图像数据进行编码。
步骤304、服务器通过服务器的处理器，对文字区域的图像数据进行第一无损压缩，得到压缩后的文字区域的图像数据。
其中，第一无损压缩是采用第一无损压缩算法进行压缩的。
在本申请实施例中，第一无损压缩算法可以为GLZ编码方法，也即通过GLZ编码方法对文字区域的图像数据进行第一无损压缩，得到压缩后的文字区域的图像数据。
在一种可行的实现方式中，可以通过SPICE协议中的编码模块，调用GLZ编码方法，在服务器的CPU上对文字区域的图像数据进行第一无损压缩，得到压缩后的文字区域的图像数据。
步骤305、服务器通过服务器的处理器，对图文混合区域的图像数据进行第二无损压缩，得到压缩后的图文混合区域的图像数据。
其中，第一无损压缩不同于第二无损压缩；无损压缩后的图像数据包括压缩后的文字区域的图像数据和压缩后的图文混合区域的图像数据；第二无损压缩是采用第二无损压缩算法进行压缩的。
在本申请实施例中，第二无损压缩算法可以为JPEG编码方法，也即采用JPEG编码方法对图文混合区域的图像数据进行第二无损压缩，得到压缩后的图文混合区域的图像数据。第二无损压缩的压缩程度大于第一无损压缩的压缩程度。
在一种可行的实现方式中，可以通过SPICE协议中的编码模块，调用JPEG编码方法，在服务器的CPU上对文字区域的图像数据进行第为无损压缩，得到压缩后的图文混合区域的图像数据。
在本申请其他实施例中，可以通过目标编码器件执行步骤302～305，以对不同场景区域的图像数据进行编码；在一种可行的实现方式中，目标编码器件可以为编码芯片，用于提高编码速率；具体地，在目标传输协议中配置编码加速卡协议，在对不同场景区域的图像数据进行编码时，将编码操作放到编码加速卡中进行，以提高编码速率，降低桌面云系统的负载，提高本申请实施例的信息传输方法的核心竞争力。
步骤306、服务器基于有损编码后的图像数据和无损压缩后的图像数据得到目标图像数据，并向客户端发送目标图像数据。
在本申请实施例中，目标图像数据可以包括有损编码后的图像数据和无损压缩后的图像数据，如此，发送目标图像数据，也即，发送有损编码后的图像数据和无损压缩后的图像数据至客户端。
在一种可行的实现方式中，服务器可以通过SPICE协议向客户端发送目标图像数据。
步骤307、客户端接收服务器发送的目标图像数据。
其中，目标图像数据包括有损编码后的图像数据和无损压缩后的图像数据。
步骤308、客户端将有损编码后的图像数据输入到硬件解码器进行解码，得到中间图像数据。
其中，硬件解码器为支持高效率视频编码协议H265的视频解码器或支持H265演进后的协议的视频解码器。
在本申请实施例中，如果服务器是采用H265编码器进行编码后得到有损编码后的图像数据，那么此处采用H265解码器对有损编码后的图像数据进行解码得到中间图像数据。如果服务器是采用H264编码器进行编码后得到有损编码后的图像数据，那么此处采用H264解码器对有损编码后的图像数据进行解码得到中间图像数据。
步骤309、客户端将中间图像数据从第二数据格式转换为第一数据格式，得到自然图像区域和视频区域的图像数据。
在本申请实施例中，将中间图像数据从第二数据格式转换为第一数据格式，也即将中间图像数据从YUV数据格式转换为BGR数据格式，以得到自然图像区域和视频区域的图像数据。
步骤310、客户端通过客户端的处理模块，对无损压缩后的图像数据中的压缩后的文字区域的图像数据进行第一解压，得到文字区域的图像数据。
在本申请实施例中，可以通过客户端的CPU，调用GLZ编码方法对无损压缩后的图像数据中的压缩后的文字区域的图像数据进行第一解压，得到文字区域的图像数据。
步骤311、客户端通过客户端的处理模块，对无损压缩后的图像数据中的压缩后的图文混合区域的图像数据进行第二解压，得到图文混合区域的图像数据。
其中，第一解压不同于第二解压。
在本申请实施例中，可以通过客户端的CPU，调用JPEG编码方法对无损压缩后的图像数据中的压缩后的图文混合区域的图像数据进行第二解压，得到图文混合区域的图像数据。
步骤312、客户端对自然图像区域和视频区域的图像数据、以及文字区域和图文混合区域的图像数据进行融合处理，得到图像帧，并在客户端的虚拟桌面上显示图像帧。
在本申请实施例中，对自然图像区域和视频区域的图像数据、以及文字区域和图文混合区域的图像数据进行融合处理，也即将自然图像区域和视频区域的图像数据、以及文字区域和图文混合区域的图像数据还原为图像帧，以在客户端的虚拟桌面上显示该图像帧。
如图4所示，可以通过SPICE协议获取图像帧，然后通过识别模块对图像帧中的图像数据进行判断，如果图像帧为全屏视频播放，可以直接将获取的图像帧进行格式转换，也即将RGB格式的图像帧转换为YUV格式的图像帧，然后采用H.264编码器或H.265编码器对YUV格式的图像帧进行编码得到编码后的图像帧，并将编码后的图像帧传输至客户端；客户端接收到编码后的图像帧后，对编码后的图像帧进行解码得到图像帧，并将图像帧显示在目标桌面上。如果图像帧为非全屏视频播放，可以通过识别模块识别不同场景的图像数据；对于文字区域，可以采用GLZ编码器对文字区域的图像数据进行无损压缩得到压缩后的文字区域的图像数据；对于图文混合区域，可以采用JPEG444编码器对图文混合区域的图像数据进行无损压缩得到压缩后的图文混合区域的图像数据；对于自然图像区域和视频区域，可以将自然图像区域和视频区域的图像数据从RGB格式转换为YUV格式得到中间图像数据，然后采用H.264编码器或H.265编码器对YUV格式的中间图像数据进行有损编码得到有损编码后的图像数据，基于有损压缩后的图像数据和无损压缩后的图像数据(即，压缩后的文字区域的图像数据和压缩后的图文混合区域的图像数据)确定目标图像数据，并传输至客户端目标图像数据；客户端接收到目标图像数据后，对目标图像数据中的有损编码后的图像数据进行解码得到自然图像区域和视频区域的图像数据，对目标图像数据中的无损压缩后的图像数据进行解压，得到文字区域和图文混合区域的图像数据，然后将自然图像区域、视频区域、文字区域、以及图文混合区域的图像数据进行整合处理得到图像帧，并将图像帧显示在虚拟桌面上。其中，GLZ编码的可打印字符引用编码(Quoted-printable，QP)可以设置为23，JPEG编码的QP可以设置为27，H.265编码的QP可以设置为28～33，具体可根据实际业务需求设置每一编码方法的编码参数(包括但不限于QP)，本申请实施例对此不作限定。
需要说明的是，本申请实施例提供的虚拟桌面数据传输方法，不仅可以应用于基于局域网进行通信的云桌面系统和可以应用于基于广域网进行通信的云桌面系统。
需要说明的是，本实施例中与其它实施例中相同步骤和相同内容的说明，可以参照其它实施例中的描述，此处不再赘述。
本申请实施例所提供的虚拟桌面数据传输方法，针对虚拟桌面对应的图像帧中不同的场景区域的图像数据采用不同的编码方式进行处理，以通过差异化编码减少图像帧在压缩时的损耗，并且进行有损编码的硬件编码器具有良好的压缩比、且具有较低的码流，因此在保持图像帧画质的同时还能够降低桌面云系统的通信流量，进而使显示在客户端的图像帧的画质更好，能够满足云桌面高清画质的传输需求，提升用户体验感，解决了相关技术中的在广域网网络较差或带宽有限的情况下，H264难以满足云桌面高清画质的传输需求，导致显示在云桌面上的画面的画质较差的问题。
基于前述实施例，本申请实施例提供一种虚拟桌面数据传输装置，该虚拟桌面数据传输装置可以应用于图1和3对应的实施例提供的虚拟桌面数据传输方法中，参照图5所示，该虚拟桌面数据传输装置4可以包括：
识别单元41，用于识别出虚拟桌面对应的图像帧中不同的场景区域的图像数据；所述不同的场景区域包括自然图像区域、视频区域、文字区域和图文混合区域；
第一处理单元42，用于通过所述服务器的硬件编码器，对所述自然图像区域和所述视频区域的图像数据进行有损编码，得到有损编码后的图像数据；所述硬件编码器为支持高效率视频编码协议H265的视频编码器或支持H265演进后的协议的视频编码器；
所述第一处理单元42，还用于通过所述服务器的处理器，对所述文字区域和所述图文混合区域的图像数据进行无损压缩，得到无损压缩后的图像数据；
所述第一处理单元42，还用于基于所述有损编码后的图像数据和所述无损压缩后的图像数据得到目标图像数据，并向客户端发送所述目标图像数据。
在本申请的其他实施例中，第一处理单元42具体用于实现以下步骤：
将所述自然图像区域和所述视频区域的图像数据从第一数据格式转换为第二数据格式，得到中间图像数据；
将所述中间图像数据输入到所述硬件编码器进行有损编码，得到所述有损编码后的图像数据。
在本申请的其他实施例中，第一处理单元42具体用于实现以下步骤：
对所述文字区域的图像数据进行第一无损压缩，得到压缩后的所述文字区域的图像数据；
对所述图文混合区域的图像数据进行第二无损压缩，得到压缩后的所述图文混合区域的图像数据；所述第一无损压缩不同于所述第二无损压缩；所述无损压缩后的图像数据包括所述压缩后的文字区域的图像数据和所述压缩后的图文混合区域的图像数据。
在本申请的其他实施例中，第一处理单元4具体用于实现以下步骤：
所述第一无损压缩是采用第一无损压缩算法进行压缩的；所述第二无损压缩是采用第二无损压缩算法进行压缩的。
需要说明的是，各个单元所执行的步骤的具体说明可以参照图1和3对应的实施例提供的虚拟桌面数据传输方法中的实现过程，此处不再赘述。
本申请实施例所提供的虚拟桌面数据传输方法，针对虚拟桌面对应的图像帧中不同的场景区域的图像数据采用不同的编码方式进行处理，以通过差异化编码减少图像帧在压缩时的损耗，并且进行有损编码的硬件编码器具有良好的压缩比、且具有较低的码流，因此在保持图像帧画质的同时还能够降低桌面云系统的通信流量，进而使显示在客户端的图像帧的画质更好，能够满足云桌面高清画质的传输需求，提升用户体验感，解决了相关技术中的在广域网网络较差或带宽有限的情况下，H264难以满足云桌面高清画质的传输需求，导致显示在云桌面上的画面的画质较差的问题。
基于前述实施例，本申请实施例提供另一种虚拟桌面数据传输装置，该虚拟桌面数据传输装置可以应用于图2和3对应的实施例提供的虚拟桌面数据传输方法中，参照图6所示，该虚拟桌面数据传输装置5可以包括：
接收单元51，用于接收服务器发送的目标图像数据；其中，所述目标图像数据包括有损编码后的图像数据和无损压缩后的图像数据；
第二处理单元52，用于通过所述客户端的硬件解码器，对所述有损编码后的图像数据进行解码，得到自然图像区域和视频区域的图像数据；所述硬件解码器为支持高效率视频编码协议H265的视频解码器或支持H265演进后的协议的视频解码器；
所述第二处理单元52，还用于通过所述客户端的处理模块，对所述无损压缩后的图像数据进行解压，得到文字区域和图文混合区域的图像数据；
所述第二处理单元52，还用于基于所述自然图像区域、所述视频区域、所述文字区域、以及所述图文混合区域的图像数据，得到图像帧，并在所述客户端的虚拟桌面上显示所述图像帧。
在本申请的其他实施例中，第二处理单元52具体用于实现以下步骤：
将所述有损编码后的图像数据输入到所述硬件解码器进行解码，得到中间图像数据；
将中间图像数据从第二数据格式转换为第一数据格式，得到所述自然图像区域和所述视频区域的图像数据。
在本申请的其他实施例中，第二处理单元52具体用于实现以下步骤：
对所述无损压缩后的图像数据中的压缩后的文字区域的图像数据进行第一解压，得到所述文字区域的图像数据；
对所述无损压缩后的图像数据中的压缩后的图文混合区域的图像数据进行第二解压，得到所述图文混合区域的图像数据；所述第一解压不同于所述第二解压。
在本申请的其他实施例中，第二处理单元52具体用于实现以下步骤：
对所述自然图像区域、所述视频区域、所述文字区域和所述图文混合区域的图像数据进行融合处理，得到所述图像帧。
需要说明的是，处理器所执行的步骤的具体说明可以参照图2和3对应的实施例提供的虚拟桌面数据传输方法中的实现过程，此处不再赘述。
本申请实施例所提供的虚拟桌面数据传输方法，由于目标图像数据是采用不同的编码方式对图像帧中不同的场景区域的图像数据进行处理后得到的，通过差异化编码减少了图像帧在压缩时的损耗，并且进行有损编码的硬件编码器具有良好的压缩比、且具有较低的码流，因此在保持图像帧高清画质的同时还能够降低桌面云系统的通信流量，进而使显示在客户端的图像帧的画质更好，能够满足云桌面高清画质的传输需求，提升用户体验感，解决了相关技术中的在广域网网络较差或带宽有限的情况下，H264难以满足云桌面高清画质的传输需求，导致显示在云桌面上的画面的画质较差的问题。
基于前述实施例，本申请的实施例提供一种服务器，服务器可以应用于图1和3对应的实施例提供的虚拟桌面数据传输方法中，参照图7所示，服务器6可以包括：第一处理器61、第一存储器62和第一通信总线63，其中：
第一通信总线63用于实现第一处理器61和第一存储器62之间的通信连接；
第一处理器61用于执行第一存储器62中的虚拟桌面数据传输程序，以实现以下步骤：
识别出虚拟桌面对应的图像帧中不同的场景区域的图像数据；所述不同的场景区域包括自然图像区域、视频区域、文字区域和图文混合区域；
通过所述服务器的硬件编码器，对所述自然图像区域和所述视频区域的图像数据进行有损编码，得到有损编码后的图像数据；所述硬件编码器为支持高效率视频编码协议H265的视频编码器或支持H265演进后的协议的视频编码器；
通过所述服务器的处理器，对所述文字区域和所述图文混合区域的图像数据进行无损压缩，得到无损压缩后的图像数据；
基于所述有损编码后的图像数据和所述无损压缩后的图像数据得到目标图像数据，并向客户端发送所述目标图像数据。
在本申请的其他实施例中，第一处理器61用于执行第一存储器62中的虚拟桌面数据传输程序的通过所述服务器的硬件编码器，对所述自然图像区域和所述视频区域的图像数据进行有损编码，得到有损编码后的图像数据，以实现以下步骤：
将所述自然图像区域和所述视频区域的图像数据从第一数据格式转换为第二数据格式，得到中间图像数据；
将所述中间图像数据输入到所述硬件编码器进行有损编码，得到所述有损编码后的图像数据。
在本申请的其他实施例中，处理器61用于执行存储器62中的虚拟桌面数据传输程序的对所述文字区域和所述图文混合区域的图像数据进行无损压缩，得到无损压缩后的图像数据，以实现以下步骤：
对所述文字区域的图像数据进行第一无损压缩，得到压缩后的所述文字区域的图像数据；
对所述图文混合区域的图像数据进行第二无损压缩，得到压缩后的所述图文混合区域的图像数据；所述第一无损压缩不同于所述第二无损压缩；所述无损压缩后的图像数据包括所述压缩后的文字区域的图像数据和所述压缩后的图文混合区域的图像数据。
在本申请的其他实施例中，所述第一无损压缩是采用第一无损压缩算法进行压缩的；所述第二无损压缩是采用第二无损压缩算法进行压缩的。
需要说明的是，处理器所执行的步骤的具体说明可以参照图1和3对应的实施例提供的虚拟桌面数据传输方法中的实现过程，此处不再赘述。
本申请实施例所提供的虚拟桌面数据传输方法，针对虚拟桌面对应的图像帧中不同的场景区域的图像数据采用不同的编码方式进行处理，以通过差异化编码减少图像帧在压缩时的损耗，并且进行有损编码的硬件编码器具有良好的压缩比、且具有较低的码流，因此在保持图像帧画质的同时还能够降低桌面云系统的通信流量，进而使显示在客户端的图像帧的画质更好，能够满足云桌面高清画质的传输需求，提升用户体验感，解决了相关技术中的在广域网网络较差或带宽有限的情况下，H264难以满足云桌面高清画质的传输需求，导致显示在云桌面上的画面的画质较差的问题。
基于前述实施例，本申请的实施例提供一种客户端，客户端可以应用于图2和3对应的实施例提供的虚拟桌面数据传输方法中，参照图8所示，客户端7可以包括：第二处理器71、第二存储器72和第二通信总线73，其中：
第二通信总线73用于实现第二处理器71和第二存储器72之间的通信连接；
第二处理器71用于执行第二存储器72中的虚拟桌面数据传输程序，以实现以下步骤：
接收服务器发送的目标图像数据；其中，所述目标图像数据包括有损编码后的图像数据和无损压缩后的图像数据；
通过所述客户端的硬件解码器，对所述有损编码后的图像数据进行解码，得到自然图像区域和视频区域的图像数据；所述硬件解码器为支持高效率视频编码协议H265的视频解码器或支持H265演进后的协议的视频解码器；
通过所述客户端的处理模块，对所述无损压缩后的图像数据进行解压，得到文字区域和图文混合区域的图像数据；
基于所述自然图像区域、所述视频区域、所述文字区域、以及所述图文混合区域的图像数据，得到图像帧，并在所述客户端的虚拟桌面上显示所述图像帧。
在本申请的其他实施例中，第二处理器71用于执行存储器72中的虚拟桌面数据传输程序的通过所述客户端的硬件解码器，对所述有损编码后的图像数据进行解码，得到自然图像区域和视频区域的图像数据，以实现以下步骤：
将所述有损编码后的图像数据输入到所述硬件解码器进行解码，得到中间图像数据；
将中间图像数据从第二数据格式转换为第一数据格式，得到所述自然图像区域和所述视频区域的图像数据。
在本申请的其他实施例中，第二处理器71用于执行第二存储器72中的虚拟桌面数据传输程序的对所述无损压缩后的图像数据进行解码，得到文字区域和图文混合区域的图像数据，以实现以下步骤：
对所述无损压缩后的图像数据中的压缩后的文字区域的图像数据进行第一解压，得到所述文字区域的图像数据；
对所述无损压缩后的图像数据中的压缩后的图文混合区域的图像数据进行第二解压，得到所述图文混合区域的图像数据；所述第一解压不同于所述第二解压。
在本申请的其他实施例中，第二处理器71用于执行第二存储器72中的虚拟桌面数据传输程序的基于所述自然图像区域、视频区域、所述文字区域和图文混合区域的图像数据，得到图像帧，以实现以下步骤：
对所述自然图像区域、所述视频区域、所述文字区域和所述图文混合区域的图像数据进行融合处理，得到所述图像帧。
需要说明的是，第二处理器所执行的步骤的具体说明可以参照图2和3对应的实施例提供的虚拟桌面数据传输方法中的实现过程，此处不再赘述。
本申请实施例所提供的虚拟桌面数据传输方法，由于目标图像数据是采用不同的编码方式对图像帧中不同的场景区域的图像数据进行处理后得到的，通过差异化编码减少了图像帧在压缩时的损耗，并且进行有损编码的硬件编码器具有良好的压缩比、且具有较低的码流，因此在保持图像帧高清画质的同时还能够降低桌面云系统的通信流量，进而使显示在客户端的图像帧的画质更好，能够满足云桌面高清画质的传输需求，提升用户体验感，解决了相关技术中的在广域网网络较差或带宽有限的情况下，H264难以满足云桌面高清画质的传输需求，导致显示在云桌面上的画面的画质较差的问题。
基于前述实施例，本申请的实施例提供一种存储介质，该存储介质存储有一个或者多个程序，该一个或者多个程序可被一个或者多个处理器执行，以实现图1和3对应的实施例提供的虚拟桌面数据传输方法的步骤，或2和3对应的实施例提供的虚拟桌面数据传输方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。

Claims (11)

1.一种虚拟桌面数据传输方法，其特征在于，所述方法应用于服务器，包括：
识别出虚拟桌面对应的图像帧中不同的场景区域的图像数据；所述不同的场景区域包括自然图像区域、视频区域、文字区域和图文混合区域；
通过所述服务器的硬件编码器，对所述自然图像区域和所述视频区域的图像数据进行有损编码，得到有损编码后的图像数据；所述硬件编码器为支持高效率视频编码协议H265的视频编码器或支持H265演进后的协议的视频编码器；
通过所述服务器的处理器，对所述文字区域和所述图文混合区域的图像数据进行无损压缩，得到无损压缩后的图像数据；
基于所述有损编码后的图像数据和所述无损压缩后的图像数据得到目标图像数据，并向客户端发送所述目标图像数据。
2.根据权利要求1所述的方法，其特征在于，所述通过所述服务器的硬件编码器，对所述自然图像区域和所述视频区域的图像数据进行有损编码，得到有损编码后的图像数据，包括：
将所述自然图像区域和所述视频区域的图像数据从第一数据格式转换为第二数据格式，得到中间图像数据；
将所述中间图像数据输入到所述硬件编码器进行有损编码，得到所述有损编码后的图像数据。
3.根据权利要求1所述的方法，其特征在于，所述对所述文字区域和所述图文混合区域的图像数据进行无损压缩，得到无损压缩后的图像数据，包括：
对所述文字区域的图像数据进行第一无损压缩，得到压缩后的所述文字区域的图像数据；
对所述图文混合区域的图像数据进行第二无损压缩，得到压缩后的所述图文混合区域的图像数据；所述第一无损压缩不同于所述第二无损压缩；所述无损压缩后的图像数据包括所述压缩后的文字区域的图像数据和所述压缩后的图文混合区域的图像数据。
4.根据权利要求3所述的方法，其特征在于，所述第一无损压缩是采用第一无损压缩算法进行压缩的；所述第二无损压缩是采用第二无损压缩算法进行压缩的。
5.一种虚拟桌面数据传输方法，其特征在于，所述方法应用于客户端，包括：
接收服务器发送的目标图像数据；其中，所述目标图像数据包括有损编码后的图像数据和无损压缩后的图像数据；
通过所述客户端的硬件解码器，对所述有损编码后的图像数据进行解码，得到自然图像区域和视频区域的图像数据；所述硬件解码器为支持高效率视频编码协议H265的视频解码器或支持H265演进后的协议的视频解码器；
通过所述客户端的处理模块，对所述无损压缩后的图像数据进行解压，得到文字区域和图文混合区域的图像数据；
基于所述自然图像区域、所述视频区域、所述文字区域、以及所述图文混合区域的图像数据，得到图像帧，并在所述客户端的虚拟桌面上显示所述图像帧。
6.根据权利要求5所述的方法，其特征在于，所述通过所述客户端的硬件解码器，对所述有损编码后的图像数据进行解码，得到自然图像区域和视频区域的图像数据，包括：
将所述有损编码后的图像数据输入到所述硬件解码器进行解码，得到中间图像数据；
将中间图像数据从第二数据格式转换为第一数据格式，得到所述自然图像区域和所述视频区域的图像数据。
7.根据权利要求5所述的方法，其特征在于，所述对所述无损压缩后的图像数据进行解码，得到文字区域和图文混合区域的图像数据，包括：
对所述无损压缩后的图像数据中的压缩后的文字区域的图像数据进行第一解压，得到所述文字区域的图像数据；
对所述无损压缩后的图像数据中的压缩后的图文混合区域的图像数据进行第二解压，得到所述图文混合区域的图像数据；所述第一解压不同于所述第二解压。
8.根据权利要求5所述的方法，其特征在于，所述基于所述自然图像区域、视频区域、所述文字区域和图文混合区域的图像数据，得到图像帧，包括：
对所述自然图像区域、所述视频区域、所述文字区域和所述图文混合区域的图像数据进行融合处理，得到所述图像帧。
9.一种服务器，其特征在于，所述服务器包括：第一处理器、第一存储器和第一通信总线；
所述第一通信总线用于实现所述第一处理器和所述第一存储器之间的通信连接；
所述第一处理器用于执行所述第一存储器中的虚拟桌面数据传输程序，以实现如权利要求1～4中任一项所述的虚拟桌面数据传输方法的步骤。
10.一种客户端，其特征在于，所述客户端包括：第二处理器、第二存储器和第二通信总线；
所述第二通信总线用于实现所述第二处理器和所述第二存储器之间的通信连接；
所述第二处理器用于执行所述第二存储器中的虚拟桌面数据传输程序，以实现如权利要求5～8中任一项所述的虚拟桌面数据传输方法的步骤。
11.一种存储介质，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1～4或5～8中任一项所述的虚拟桌面数据传输方法的步骤。
CN202310481679.XA 2023-04-27 2023-04-27 虚拟桌面数据传输方法、服务器、客户端和存储介质 Pending CN116489132A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310481679.XA CN116489132A (zh) 2023-04-27 2023-04-27 虚拟桌面数据传输方法、服务器、客户端和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310481679.XA CN116489132A (zh) 2023-04-27 2023-04-27 虚拟桌面数据传输方法、服务器、客户端和存储介质

Publications (1)

Publication Number Publication Date
CN116489132A true CN116489132A (zh) 2023-07-25

Family

ID=87224885

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310481679.XA Pending CN116489132A (zh) 2023-04-27 2023-04-27 虚拟桌面数据传输方法、服务器、客户端和存储介质

Country Status (1)

Country Link
CN (1) CN116489132A (zh)

Similar Documents

Publication Publication Date Title
US11012489B2 (en) Picture file processing method, picture file processing device, and storage medium
Lin et al. Mixed chroma sampling-rate high efficiency video coding for full-chroma screen content
KR101962990B1 (ko) 복잡도가 낮은 원격 프리젠테이션 세션 인코더
WO2019210822A1 (zh) 视频编解码方法、装置、系统及存储介质
CN109831668B (zh) 数据压缩方法及装置、数据编码/解码方法及装置
CN107665128B (zh) 图像处理方法、系统、服务器及可读存储介质
CN105959724B (zh) 一种视频数据处理方法以及装置
US11882297B2 (en) Image rendering and coding method and related apparatus
WO2014079036A1 (zh) 图像压缩方法及图像处理装置
KR101805550B1 (ko) 프리젠테이션 가상화를 위한 화면 부호화 방법 및 서버
US20120218292A1 (en) System and method for multistage optimized jpeg output
CN113645469B (zh) 图像处理方法、装置、智能终端及计算机可读存储介质
US20090262126A1 (en) System and Method for Separated Image Compression
CN110740352B (zh) 显卡透传环境下基于spice协议的差异图像显示方法
CN114938408B (zh) 一种云手机的数据传输方法、系统、设备及介质
WO2021147463A1 (zh) 视频处理方法、装置及电子设备
CN111935483B (zh) 一种视频图像无损编解码方法及系统
CN111225214B (zh) 视频处理方法、装置及电子设备
CN109413445B (zh) 一种视频传输方法及装置
CN114827620A (zh) 图像处理方法、装置、设备与介质
CN116489132A (zh) 虚拟桌面数据传输方法、服务器、客户端和存储介质
KR20160082521A (ko) 크로마 하향 변환 및 상향 변환 처리
CN115174917A (zh) 一种基于h264的视频显示方法及装置
CN111314701A (zh) 视频处理方法及电子设备
CN113450293A (zh) 视频信息处理方法、装置、系统、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination