CN113992918A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113992918A
CN113992918A CN202111105128.0A CN202111105128A CN113992918A CN 113992918 A CN113992918 A CN 113992918A CN 202111105128 A CN202111105128 A CN 202111105128A CN 113992918 A CN113992918 A CN 113992918A
Authority
CN
China
Prior art keywords
frame image
data packet
next frame
server
target client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111105128.0A
Other languages
English (en)
Inventor
张天乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Wanxiang Electronics Technology Co Ltd
Original Assignee
Xian Wanxiang Electronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Wanxiang Electronics Technology Co Ltd filed Critical Xian Wanxiang Electronics Technology Co Ltd
Priority to CN202111105128.0A priority Critical patent/CN113992918A/zh
Publication of CN113992918A publication Critical patent/CN113992918A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开提供一种图像处理方法、装置、存储介质及电子设备，该方法包括：对服务器发送的经过编码的当前帧图像进行解码并显示当前帧图像；若在对编码的当前帧图像进行解码时，确定目标客户端算力不足，则向服务器发送指示消息，指示消息用于指示服务器将预设比例的经过编码的下一帧图像的第一数据包发送至指定终端设备；接收服务器发送的下一帧图像的第二数据包以及指定终端设备发送的下一帧图像的第一数据包；对经过第二数据包进行解码；根据经过解码的下一帧图像的第一数据包和经过解码的下一帧图像的第二数据包对下一帧图像进行显示。本发明用于解决客户端解码算力不足，客户端对接收到的图像解码不及时，则有可能会产生画面卡顿，花屏等问题。

Description

图像处理方法、装置、电子设备及存储介质
技术领域
本公开涉及图像处理领域，尤其涉及图像处理方法、装置、电子设备及存储介质。
背景技术
云桌面技术是指用户通过客户端远程访问服务器，服务器上运行有服务器分客户端分配的虚拟机，该虚拟机与实际的计算机实现相同的功能，并将该虚拟机的桌面图像通过虚拟方式发送至远程客户端。依靠云桌面这一技术，用户跟操作自己的计算机一样，能够远程访问服务器。服务器将桌面图像经过编码后，通过网络传输到客户端，客户端解码得到桌面图像。
采用云桌面技术，软件运行和计算机进行大量运算的地方是运行在服务器，而用户正在使用的客户端不需要太高的配置来获取较高的算力，为节约成本，客户端可以使用体积小、配置低，即设备成本较低的终端设备。但是，若服务器发送的编码后的桌面图像数据量较大或者数据传输速率较大时，客户端解码算力不足，客户端对接收到的图像解码不及时，则有可能会产生画面卡顿，花屏等问题。
发明内容
本公开实施例提供一种图像处理方法、装置、电子设备及存储介质，能够解决服务器发送的编码后的桌面图像数据量较大或者数据传输速率较大时，客户端解码算力不足，客户端对接收到的图像解码不及时，则有可能会产生画面卡顿，花屏等问题。所述技术方案如下：
根据本公开实施例的第一方面，提供一种图像处理方法，应用于目标客户端，包括：
对服务器发送的经过编码的当前帧图像进行解码并显示所述当前帧图像，所述经过编码的当前帧图像包括至少一个数据包；
若在对所述编码的当前帧图像进行解码时，确定所述目标客户端算力不足，则向所述服务器发送指示消息，所述指示消息包括所述目标客户端的标识信息，所述指示消息用于指示所述服务器将预设比例的经过编码的下一帧图像的第一数据包发送至指定终端设备，以便所述指定终端设备对所述第一数据包进行解码；
接收所述服务器发送的经过编码的下一帧图像的第二数据包以及所述指定终端设备发送的经过解码的下一帧图像的第一数据包，所述第二数据包是所述经过编码的下一帧图像的数据包中除所述第一数据包外的数据包；
对所述经过编码的下一帧图像的第二数据包进行解码；
根据经过解码的下一帧图像的第一数据包和所述经过解码的下一帧图像的第二数据包对下一帧图像进行显示。
本公开实施例提供的图像处理方法，能够对服务器发送的经过编码的当前帧图像进行解码并显示所述当前帧图像；若在对所述经过编码的当前帧图像进行解码时，确定所述目标客户端算力不足，则向所述服务器发送指示消息，所述指示消息包括所述目标客户端的标识信息，所述指示消息用于指示所述服务器将预设比例的经过编码的下一帧图像的第一数据包发送至指定终端设备，以便所述指定终端设备对所述第一数据包进行解码；接收所述服务器发送的经过编码的下一帧图像的第二数据包以及所述指定终端设备发送的经过解码的下一帧图像的第一数据包，所述第二数据包是所述经过编码的下一帧图像的数据包中除所述第一数据包外的数据包；对所述经过编码的下一帧图像的第二数据包进行解码；根据经过解码的下一帧图像的第一数据包和所述经过解码的下一帧图像的第二数据包对下一帧图像进行显示，能够在目标客户端算力不足时，将指定终端设备作为算力补充设备，由指定终端设备将图像的部分数据进行处理，减少了目标客户端的数据处理量，能够及时对图像解码，极大地减少了产生画面卡顿，图像花屏等问题的出现，提高了用户体验。
在一个实施例中，所述确定所述目标客户端算力不足包括：
若在对所述经过编码的当前帧图像进行解码时，所述目标客户端的资源占用率大于第一预设资源占用率阈值，则确定所述目标客户端算力不足。
通过在对所述经过编码的当前帧图像进行解码时，确定目标客户端的资源占用率大于第一预设资源占用率阈值，能够准确的确定客户端算力不足。
在一个实施例中，所述方法还包括：
若在对所述经过编码的当前帧图像进行解码时，所述目标客户端的资源占用率大于所述第一预设资源占用率阈值且小于或者等于第二预设资源占用率阈值，则向所述服务器发送第一指示消息，所述第一指示消息包括所述目标客户端的标识信息，所述第一指示消息用于指示所述服务器将第一预设比例的经过编码的下一帧图像的第一数据包发送至指定终端设备，以便所述指定终端设备对所述编码的下一帧图像的第一数据包进行解码其中，所述第二预设资源占用率阈值大于所述第一预设资源占用率阈值。
在一个实施例中，所述方法还包括：
若在对所述经过编码的当前帧图像进行解码时，所述目标客户端的资源占用率大于所述第二预设资源占用率阈值，则向所述服务器发送第二指示消息，所述第二指示消息包括所述目标客户端的标识信息，所述第二指示消息用于指示所述服务器将第二预设比例的经过编码的下一帧图像的第一数据包发送至指定终端设备，以便所述指定终端设备对所述编码的下一帧图像的第一数据包进行解码，所述第二预设比例大于所述第一预设比例。
在一个实施例中，所述确定所述目标客户端算力不足包括：
若在对所述经过编码的当前帧图像进行解码时，所述目标客户端的中央处理器(CPU，Central Processing Unit Processo)的温度大于第一预设温度阈值，则确定所述目标客户端算力不足。
通过在对所述经过编码的当前帧图像进行解码时，确定目标客户端的CPU的温度大于第一预设温度阈值，能够准确的确定客户端算力不足。
在一个实施例中，所述方法还包括：
若在对所述经过编码的当前帧图像进行解码时，所述目标客户端的CPU的温度大于第一预设温度阈值且小于或者等于第二预温度阈值，则向所述服务器发送所述第一指示消息。
在一个实施例中，所述方法还包括：
若在对所述经过编码的当前帧图像进行解码时，所述目标客户端的CPU的温度大于所述第二预温度阈值，则向所述服务器发送所述第二指示消息。
根据本公开实施例的第二方面，提供一种图像处理装置，应用于目标客户端，包括：
当前帧图像解码模块，用于对服务器发送的经过编码的当前帧图像进行解码并显示所述当前帧图像，所述经过编码的当前帧图像包括至少一个数据包；
指示消息发送模块，用于若在对所述编码的当前帧图像进行解码时，确定所述目标客户端算力不足，则向所述服务器发送指示消息，所述指示消息包括所述目标客户端的标识信息，所述指示消息用于指示所述服务器将预设比例的经过编码的下一帧图像的第一数据包发送至指定终端设备，以便所述指定终端设备对所述第一数据包进行解码；
下一帧图像接收模块，用于接收所述服务器发送的经过编码的下一帧图像的第二数据包以及所述指定终端设备发送的经过解码的下一帧图像的第一数据包，所述第二数据包是所述经过编码的下一帧图像的数据包中除所述第一数据包外的数据包；
下一帧图像解码模块，用于对所述经过编码的下一帧图像的第二数据包进行解码；
下一帧图像显示模块，用于根据经过解码的下一帧图像的第一数据包和所述经过解码的下一帧图像的第二数据包对下一帧图像进行显示。
在一个实施例中，所述指示消息发送模块用于：
若在对所述经过编码的当前帧图像进行解码时，所述目标客户端的资源占用率大于第一预设资源占用率阈值，则确定所述目标客户端算力不足。
在一个实施例中，所述指示消息发送模块用于：
若在对所述经过编码的当前帧图像进行解码时，所述目标客户端的资源占用率大于所述第一预设资源占用率阈值且小于或者等于第二预设资源占用率阈值，则向所述服务器发送第一指示消息，所述第一指示消息包括所述目标客户端的标识信息，所述第一指示消息用于指示所述服务器将第一预设比例的经过编码的下一帧图像的第一数据包发送至指定终端设备，以便所述指定终端设备对所述编码的下一帧图像的第一数据包进行解码其中，所述第二预设资源占用率阈值大于所述第一预设资源占用率阈值。
在一个实施例中，所述指示消息发送模块用于：
若在对所述经过编码的当前帧图像进行解码时，所述目标客户端的资源占用率大于所述第二预设资源占用率阈值，则向所述服务器发送第二指示消息，所述第二指示消息包括所述目标客户端的标识信息，所述第二指示消息用于指示所述服务器将第二预设比例的经过编码的下一帧图像的第一数据包发送至指定终端设备，以便所述指定终端设备对所述编码的下一帧图像的第一数据包进行解码，所述第二预设比例大于所述第一预设比例。
在一个实施例中，所述指示消息发送模块用于：
若在对所述经过编码的当前帧图像进行解码时，所述目标客户端的中央处理器CPU的温度大于第一预设温度阈值，则确定所述目标客户端算力不足。
在一个实施例中，所述指示消息发送模块用于：
若在对所述经过编码的当前帧图像进行解码时，所述目标客户端的CPU的温度大于第一预设温度阈值且小于或者等于第二预温度阈值，则向所述服务器发送所述第一指示消息。
在一个实施例中，所述指示消息发送模块用于：
若在对所述经过编码的当前帧图像进行解码时，所述目标客户端的CPU的温度大于所述第二预温度阈值，则向所述服务器发送所述第二指示消息。
根据本公开实施例的第三方面，提供一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条计算机指令，所述指令由所述处理器加载并执行以实现第一方面中任一项所述的图像处理方法中所执行的步骤。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，所述存储介质中存储有至少一条计算机指令，所述指令由处理器加载并执行以实现第一方面中任一项所述的图像处理方法中所执行的步骤。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是本公开实施例提供的一种图像处理系统的结构图；
图2是本公开实施例提供的一种图像处理方法的流程图；
图3是本公开实施例提供的一种图像处理装置的结构图；
图4是本公开实施例提供的一种电子设备的结构图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是本公开实施提供的一种图像处理系统的结构图。如图1所示，该系统10包括：
服务器10、至少一个客户端20以及指定终端设备30。其中，服务器分别10与至少一个客户端20中的每一个客户端以及指定终端设备30连接，指定终端设备30分别与至少一个客户端20中的每一个客户端以及服务器10连接。
示例性地，当用户在使用目标客户端时，服务器会为用户分配虚拟机，并将虚拟机的桌面图像经过编码后发送至目标客户端，该目标客户端为至少一个客户端20中的任意一个客户端。例如，图1中客户端1至客户端n中的任意一个客户端。
在本实施中，目标客户端接收服务器发将当前帧桌面图像进行编码后发送至目标客户端。目标客户端经过编码的当前帧桌面图像进行解码并显示所述当前帧桌面图像。
目标客户端若在对经过编码的当前帧桌面图像进行解码时，确定该目标客户端算力不足，则向服务器发送指示消息，该指示消息包括目标客户端的标识信息，该指示消息用于指示服务器将对下一帧桌面图像进行编码，并将预设比例的经过编码的下一帧桌面图像的第一数据包以及目标客户端的标识信息发送至指定终端设备，再将经过编码的下一帧桌面图像的第二数据包发送至目标客户端，该第二数据包是经过编码的下一帧桌面图像的数据包中除第一数据包外的数据包。同时，指定终端设备可以作为算力补充设备，在接收到服务器发送的第一数据包后，对该第一数据包进行解码并将该经过解码的第一数据包发送至目标客户端。
进一步地，目标客户端接收服务器发送的经过编码的下一帧桌面图像的第二数据包以及指定终端设备发送的经过解码的下一帧桌面图像的第一数据包，再对该经过编码的下一帧桌面图像的第二数据包进行解码，并根据经过解码的下一帧桌面图像的第一数据包和经过解码的下一帧桌面图像的第二数据包对下一帧桌面图像进行显示。
通过本公开实施例提供的图像处理系统，能够在目标客户端算力不足时，将指定终端设备作为算力补充设备，服务器将图像的部分数据发送至指定终端设备进行处理，减少了目标客户端的数据处理量，能够及时对图像解码，极大地减少了产生画面卡顿，图像花屏等问题的出现，提高了用户体验。
下面对图像处理系统如何进行图像处理做进一步详细说明。图2是本公开实施例提供的一种图像处理方法的流程图，该方法应用于目标客户端。如图2所示，该方法包括：
S201、对服务器发送的经过编码的当前帧图像进行解码并显示所述当前帧图像。
在本步骤中，服务器将为用户分配的虚拟机的当前帧桌面图像进行编码后，发送至用户使用的目标客户端。示例性地，服务器对当前帧桌面图像进行编码后，生成经过编码的当前帧桌面图像的多个数据包。
S202、若在对所述经过编码的当前帧桌面图像进行解码时，确定所述目标客户端算力不足，则向所述服务器发送指示消息，所述指示消息包括所述目标客户端的标识信息，所述指示消息用于指示所述服务器将预设比例的经过编码的下一帧图像的第一数据包发送至指定终端设备，以便所述指定终端设备对所述第一数据包进行解码。
下面对如何确定目标客户端算力不足进行说明。
在一个实施例中，若在对所述经过编码的当前帧图像进行解码时，所述目标客户端的资源占用率大于第一预设资源占用率阈值，则确定所述目标客户端算力不足。
示例性地，所述方法还包括：
若在对所述经过编码的当前帧图像进行解码时，所述目标客户端的资源占用率大于所述第一预设资源占用率阈值且小于或者等于第二预设资源占用率阈值，则向所述服务器发送第一指示消息，所述第一指示消息包括所述目标客户端的标识信息，所述第一指示消息用于指示所述服务器将第一预设比例的下一帧图像的第一数据包发送至指定终端设备，以便所述指定终端设备对所述编码的下一帧图像的第一数据包进行解码，其中，所述第二预设资源占用率阈值大于所述第一预设资源占用率阈值。
例如，第一预设资源占用率阈值可以为70％，第二预设资源占用率阈值可以为80％，该第一预80％，则将指定终端设备作为算力补充设备，向所述服务器发送第一指示消息，服务器接收到该第一指示消息后，将下一帧桌面图像进行宏块划分，生成N个宏块以及各个宏块的序列号，例如N为100，对该100个宏块以及各个宏块的序列号进行编码。并将其中经过编码的20个宏块以及该20个宏块的序列号的第一数据包发送至指定终端设备，并将剩余的第二数据包发送至目标客户端，第二数据包包括剩余的经过编码80个宏块以及80个宏块的序列号。
例如，在本实施例中，该20个宏块可以为前20个宏块。指定终端设备接收到该经过编码的20个宏块以及该20个宏块的序列号的第一数据包后，对该20个宏块以及该20个宏块的序列号进行解码，生成经过解码的20个宏块的第一数据包，并将该经过解码的20个宏块的第一数据包发送至目标客户端。
示例性地，所述方法还包括：
若在对所述经过编码的当前帧图像进行解码时，所述目标客户端的资源占用率大于所述第二预设资源占用率阈值，则向所述服务器发送第二指示消息，所述第二指示消息包括所述目标客户端的标识信息，所述第二指示消息用于指示所述服务器将第二预设比例的经过编码的下一帧图像的第一数据包发送至指定终端设备，以便所述指定终端设备对所述编码的下一帧图像的第一数据包进行解码，所述第二预设比例大于所述第一预设比例。
例如，该第二预设比例可以为30％。目标客户端的资源占用率大于80％，则将指定终端设备作为算力补充设备，向所述服务器发送第二指示消息，服务器接收到该第二指示消息后，将下一帧桌面图像进行宏块划分，生成N个宏块以及各个宏块的序列号，例如N为100，对该100个宏块以及各个宏块的序列号进行编码。再将其中经过编码的30个宏块以及该30个宏块的序列号的第一数据包发送至指定终端设备，并将剩余的第二数据包发送至目标客户端，第二数据包包括剩余的经过编码70个宏块以及70个宏块的序列号。
例如，在本实施例中，该30个宏块可以为前30个宏块。指定终端设备接收到该经过编码30个宏块以及该30个宏块的序列号的第一数据包后，对该30个宏块以及该30个宏块的序列号进行解码，生成经过解码的30个宏块的第一数据包，并将该经过解码的30个宏块的第一数据包发送至目标客户端。
此处需要说明的是，本实施例只是示例性地给出了第一预设资源占用率阈值、第二预设资源占用率阈值第一预设比例、第二预设比例以及N的取值，第一预设资源占用率阈值、第二预设资源占用率阈值第一预设比例、第二预设比例以及N还可以取其他值，本实施例此处不做具体限制。
在另一个实施例中，若在对所述经过编码的当前帧图像进行解码时，所述目标客户端的中央处理器CPU的温度大于第一预设温度阈值，则确定所述目标客户端算力不足。
示例性地，所述方法还包括：
若在对所述经过编码的当前帧图像进行解码时，所述目标客户端的CPU的温度大于第一预设温度阈值且小于或者等于第二预温度阈值，则向所述服务器发送所述第一指示消息。
示例性地，所述方法还包括：
若在对所述经过编码的当前帧图像进行解码时，所述目标客户端的CPU的温度大于所述第二预温度阈值，则向所述服务器发送所述第二指示消息。
例如，第一预设温度阈值可以为50摄氏度，第二预温度阈值可以为55摄氏度。目标客户端的CPU的温度大于50摄氏度且小于或者等于55摄氏度，则向所述服务器发送所述第一指示消息。目标客户端的CPU的温度大于55摄氏度，则向所述服务器发送所述第二指示消息。
此处需要说明的是，本实施例只是示例性地给出了第一预设温度阈值以及第二预温度阈值的取值，第一预设温度阈值以及第二预温度阈值还可以取其他值，本实施例此处不做具体限制。
在第三个实施例中，若目标客户端接收服务器发送的经过编码的当前帧桌面图像的多个数据包时，确定发生数据包丢包且丢包率大于第一预设丢包率阈值，则确定所述目标客户端算力不足。
示例性地，所述方法还包括：
若丢包率大于第一预设丢包率阈值且小于或者等于第二预设丢包率阈值，则向所述服务器发送所述第一指示消息。
示例性地，所述方法还包括：
若丢包率大于第二预设丢包率阈值，则向所述服务器发送所述第二指示消息，第二预设丢包率阈值大于第一预设丢包率阈值。
例如，第一预设丢包率阈值可以为5％，第二预设丢包率阈值可以为10％。丢包率大于5％且小于或者等于10％，则向所述服务器发送所述第一指示消息。丢包率大于10％，则向所述服务器发送所述第二指示消息。
此处需要说明的是，本实施例只是示例性地给出了第一预设丢包率阈值以及第二预设丢包率阈值的取值，第一预设丢包率阈值以及第二预设丢包率阈值还可以取其他值，本实施例此处不做具体限制。
S203、接收所述服务器发送的经过编码的下一帧图像的第二数据包以及所述指定终端设备发送的经过解码的下一帧图像的第一数据包，所述第二数据包是所述经过编码的下一帧图像的数据包中除所述第一数据包外的数据包。
例如，终端设备接收服务器发送的经过编码的80个宏块的第二数据包以及指定终端设备发送的经过解码的20个宏块的第一数据包。
S204、对所述经过编码的下一帧图像的第二数据包进行解码。
进一步地，终端设备接收服务器发送的经过编码的80个宏块的第二数据包，进行解码，得到该80个宏块以及80个宏块中每个宏块的序列号。
S205、根据经过解码的下一帧图像的第一数据包和所述经过解码的下一帧图像的第二数据包对下一帧图像进行显示。
进一步地，终端设备根据解码后的80个宏块以及80个宏块中每个宏块的序列号，以及解码的20个宏块的第一数据包中20个宏块以及该20个宏块中每个宏块的序列号对所有宏块按照序列号进行排列，生成该下一帧桌面图像，并显示该下一帧桌面图像。
本公开实施例提供的图像处理方法，能够对服务器发送的经过编码的当前帧图像进行解码并显示所述当前帧图像；若在对所述经过编码的当前帧图像进行解码时，确定所述目标客户端算力不足，则向所述服务器发送指示消息，所述指示消息包括所述目标客户端的标识信息，所述指示消息用于指示所述服务器将预设比例的经过编码的下一帧图像的第一数据包发送至指定终端设备，以便所述指定终端设备对所述第一数据包进行解码；接收所述服务器发送的经过编码的下一帧图像的第二数据包以及所述指定终端设备发送的经过解码的下一帧图像的第一数据包，所述第二数据包是所述经过编码的下一帧图像的数据包中除所述第一数据包外的数据包。对所述经过编码的下一帧图像的第二数据包进行解码；根据经过解码的下一帧图像的第一数据包和所述经过解码的下一帧图像的第二数据包对下一帧图像进行显示，能够在目标客户端算力不足时，将指定终端设备作为算力补充设备，由指定终端设备将图像的部分数据进行处理，减少了目标客户端的数据处理量，能够及时对图像解码，极大地减少了产生画面卡顿，花屏等问题的出现，提高了用户体验。
基于上述图2对应的实施例中所描述的图像处理方法，下述为本公开装置实施例，可以用于执行本公开方法实施例。
图3是本公开实施例提供的一种图像处理装置的结构图。该装置30应用于目标客户端。如图3所示，该装置30包括：
当前帧图像解码模块301，用于对服务器发送的经过编码的当前帧图像进行解码并显示所述当前帧图像，所述经过编码的当前帧图像包括至少一个数据包；
指示消息发送模块302，用于若在对所述编码的当前帧图像进行解码时，确定所述目标客户端算力不足，则向所述服务器发送指示消息，所述指示消息包括所述目标客户端的标识信息，所述指示消息用于指示所述服务器将预设比例的经过编码的下一帧图像的第一数据包发送至指定终端设备，以便所述指定终端设备对所述第一数据包进行解码；
下一帧图像接收模块303，用于接收所述服务器发送的经过编码的下一帧图像的第二数据包以及所述指定终端设备发送的经过解码的下一帧图像的第一数据包，所述第二数据包是所述经过编码的下一帧图像的数据包中除所述第一数据包外的数据包；
下一帧图像解码模块304，用于对所述经过编码的下一帧图像的第二数据包进行解码；
下一帧图像显示模块305，用于根据经过解码的下一帧图像的第一数据包和所述经过解码的下一帧图像的第二数据包对下一帧图像进行显示。
在一个实施例中，所述指示消息发送模块302用于：
若在对所述经过编码的当前帧图像进行解码时，所述目标客户端的资源占用率大于第一预设资源占用率阈值，则确定所述目标客户端算力不足。
在一个实施例中，所述指示消息发送模块302用于：
若在对所述经过编码的当前帧图像进行解码时，所述目标客户端的资源占用率大于所述第一预设资源占用率阈值且小于或者等于第二预设资源占用率阈值，则向所述服务器发送第一指示消息，所述第一指示消息包括所述目标客户端的标识信息，所述第一指示消息用于指示所述服务器将第一预设比例的经过编码的下一帧图像的第一数据包发送至指定终端设备，以便所述指定终端设备对所述编码的下一帧图像的第一数据包进行解码其中，所述第二预设资源占用率阈值大于所述第一预设资源占用率阈值。
在一个实施例中，所述指示消息发送模块302用于：
若在对所述经过编码的当前帧图像进行解码时，所述目标客户端的资源占用率大于所述第二预设资源占用率阈值，则向所述服务器发送第二指示消息，所述第二指示消息包括所述目标客户端的标识信息，所述第二指示消息用于指示所述服务器将第二预设比例的经过编码的下一帧图像的第一数据包发送至指定终端设备，以便所述指定终端设备对所述编码的下一帧图像的第一数据包进行解码，所述第二预设比例大于所述第一预设比例。
在一个实施例中，所述指示消息发送模块302用于：
若在对所述经过编码的当前帧图像进行解码时，所述目标客户端的中央处理器CPU的温度大于第一预设温度阈值，则确定所述目标客户端算力不足。
在一个实施例中，所述指示消息发送模块302用于：
若在对所述经过编码的当前帧图像进行解码时，所述目标客户端的CPU的温度大于第一预设温度阈值且小于或者等于第二预温度阈值，则向所述服务器发送所述第一指示消息。
在一个实施例中，所述指示消息发送模块302用于：
若在对所述经过编码的当前帧图像进行解码时，所述目标客户端的CPU的温度大于所述第二预温度阈值，则向所述服务器发送所述第二指示消息。
本公开实施例提供的图像处理装置，其实现过程和技术效果可以参见上述图2实施例，在此不再赘述。
图4为本公开实施例提供的电子设备的结构图。如图4所示，该电子设备40包括：
处理器401和存储器402，所述存储器402中存储有至少一条计算机指令，所述指令由所述处理器4401加载并执行以实现上述方法实施例中所描述的图像处理方法。
基于上述图2对应的实施例中所描述的图像处理方法，本公开实施例还提供一种计算机可读存储介质，例如，非临时性计算机可读存储介质可以是只读存储器(英文：ReadOnly Memory，ROM)、随机存取存储器(英文：Random Access Memory，RAM)、CD-ROM、磁带、软盘和光数据存储装置等。该存储介质上存储有计算机指令，用于执行上述图2对应的实施例中所描述的图像处理方法，此处不再赘述。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

Claims (10)

1.一种图像处理方法，其特征在于，应用于目标客户端，包括：
对服务器发送的经过编码的当前帧图像进行解码并显示所述当前帧图像，所述经过编码的当前帧图像包括至少一个数据包；
若在对所述编码的当前帧图像进行解码时，确定所述目标客户端算力不足，则向所述服务器发送指示消息，所述指示消息包括所述目标客户端的标识信息，所述指示消息用于指示所述服务器将预设比例的经过编码的下一帧图像的第一数据包发送至指定终端设备，以便所述指定终端设备对所述第一数据包进行解码；
接收所述服务器发送的经过编码的下一帧图像的第二数据包以及所述指定终端设备发送的经过解码的下一帧图像的第一数据包，所述第二数据包是所述经过编码的下一帧图像的数据包中除所述第一数据包外的数据包；
对所述经过编码的下一帧图像的第二数据包进行解码；
根据经过解码的下一帧图像的第一数据包和所述经过解码的下一帧图像的第二数据包对下一帧图像进行显示。
2.根据权利要求1所述的方法，其特征在于，所述确定所述目标客户端算力不足包括：
若在对所述经过编码的当前帧图像进行解码时，所述目标客户端的资源占用率大于第一预设资源占用率阈值，则确定所述目标客户端算力不足。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
若在对所述经过编码的当前帧图像进行解码时，所述目标客户端的资源占用率大于所述第一预设资源占用率阈值且小于或者等于第二预设资源占用率阈值，则向所述服务器发送第一指示消息，所述第一指示消息包括所述目标客户端的标识信息，所述第一指示消息用于指示所述服务器将第一预设比例的经过编码的下一帧图像的第一数据包发送至指定终端设备，以便所述指定终端设备对所述编码的下一帧图像的第一数据包进行解码其中，所述第二预设资源占用率阈值大于所述第一预设资源占用率阈值。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
若在对所述经过编码的当前帧图像进行解码时，所述目标客户端的资源占用率大于所述第二预设资源占用率阈值，则向所述服务器发送第二指示消息，所述第二指示消息包括所述目标客户端的标识信息，所述第二指示消息用于指示所述服务器将第二预设比例的经过编码的下一帧图像的第一数据包发送至指定终端设备，以便所述指定终端设备对所述编码的下一帧图像的第一数据包进行解码，所述第二预设比例大于所述第一预设比例。
5.根据权利要求4所述的方法，其特征在于，所述确定所述目标客户端算力不足包括：
若在对所述经过编码的当前帧图像进行解码时，所述目标客户端的中央处理器CPU的温度大于第一预设温度阈值，则确定所述目标客户端算力不足。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
若在对所述经过编码的当前帧图像进行解码时，所述目标客户端的CPU的温度大于第一预设温度阈值且小于或者等于第二预温度阈值，则向所述服务器发送所述第一指示消息。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
若在对所述经过编码的当前帧图像进行解码时，所述目标客户端的CPU的温度大于所述第二预温度阈值，则向所述服务器发送所述第二指示消息。
8.一种图像处理装置，其特征在于，应用于目标客户端，包括：
当前帧图像解码模块，用于对服务器发送的经过编码的当前帧图像进行解码并显示所述当前帧图像，所述经过编码的当前帧图像包括至少一个数据包；
指示消息发送模块，用于若在对所述编码的当前帧图像进行解码时，确定所述目标客户端算力不足，则向所述服务器发送指示消息，所述指示消息包括所述目标客户端的标识信息，所述指示消息用于指示所述服务器将预设比例的经过编码的下一帧图像的第一数据包发送至指定终端设备，以便所述指定终端设备对所述第一数据包进行解码；
下一帧图像接收模块，用于接收所述服务器发送的经过编码的下一帧图像的第二数据包以及所述指定终端设备发送的经过解码的下一帧图像的第一数据包，所述第二数据包是所述经过编码的下一帧图像的数据包中除所述第一数据包外的数据包；
下一帧图像解码模块，用于对所述经过编码的下一帧图像的第二数据包进行解码；
下一帧图像显示模块，用于根据经过解码的下一帧图像的第一数据包和所述经过解码的下一帧图像的第二数据包对下一帧图像进行显示。
9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条计算机指令，所述指令由所述处理器加载并执行以实现权利要求1至权利要求7任一项所述的图像处理方法中所执行的步骤。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条计算机指令，所述指令由处理器加载并执行以实现权利要求1至权利要求7任一项所述的图像处理方法中所执行的步骤。
CN202111105128.0A 2021-09-22 2021-09-22 图像处理方法、装置、电子设备及存储介质 Pending CN113992918A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111105128.0A CN113992918A (zh) 2021-09-22 2021-09-22 图像处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111105128.0A CN113992918A (zh) 2021-09-22 2021-09-22 图像处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113992918A true CN113992918A (zh) 2022-01-28

Family

ID=79736152

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111105128.0A Pending CN113992918A (zh) 2021-09-22 2021-09-22 图像处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113992918A (zh)

Similar Documents

Publication Publication Date Title
EP3410302B1 (en) Graphic instruction data processing method, apparatus
CN109309842B (zh) 直播数据处理方法和装置、计算机设备和存储介质
EP2916543A1 (en) Method for coding/decoding depth image and coding/decoding device
US11086668B2 (en) Method, electronic device and computer program product for processing task
CN106101794A (zh) 一种虚拟桌面视频数据的处理方法、装置及系统
CN111263243A (zh) 视频编码方法、装置、计算机可读介质及电子设备
CN113992918A (zh) 图像处理方法、装置、电子设备及存储介质
CN110072144B (zh) 一种图像拼接处理方法、装置、设备及计算机存储介质
CN107426114B (zh) 资源分配方法及系统
CN107734278B (zh) 一种视频回放方法及相关装置
CN111629228A (zh) 数据传输方法及服务器
CN113949900B (zh) 直播贴图处理方法、系统、设备及存储介质
CN112104871B (zh) 一种数据编码方法、装置以及计算机可读存储介质
CN112584151A (zh) 图像处理方法及终端设备、服务器
CN113327302A (zh) 图片处理方法及装置、存储介质、电子装置
US11281422B2 (en) Video data display method and device
CN110602500A (zh) 数据更新方法及系统
CN113157226A (zh) 远程数据的显示方法、装置、设备及机器可读存储介质
CN110969672A (zh) 图像压缩方法及装置
CN110570502A (zh) 显示图像帧的方法、装置、电子设备和计算机可读存储介质
JP2016530597A (ja) マトリックスコードを読み取る手段を備える電子機器にデータを送信するために画面上に少なくとも１つのマトリックスコードを表示する方法
CN111447453B (zh) 图像处理方法及装置
CN115134616B (zh) 直播背景控制方法、装置、电子设备、介质及程序产品
CN111475240B (zh) 数据处理方法及系统
CN113075993B (zh) 视频显示方法、装置和存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication