CN113766274A - 图像编码、解码方法、电子设备及存储介质 - Google Patents

图像编码、解码方法、电子设备及存储介质 Download PDF

Info

Publication number
CN113766274A
CN113766274A CN202111115674.2A CN202111115674A CN113766274A CN 113766274 A CN113766274 A CN 113766274A CN 202111115674 A CN202111115674 A CN 202111115674A CN 113766274 A CN113766274 A CN 113766274A
Authority
CN
China
Prior art keywords
image
area
image area
frame
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111115674.2A
Other languages
English (en)
Inventor
田巍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Cloud Computing Ltd
Original Assignee
Alibaba Cloud Computing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Cloud Computing Ltd filed Critical Alibaba Cloud Computing Ltd
Priority to CN202111115674.2A priority Critical patent/CN113766274A/zh
Publication of CN113766274A publication Critical patent/CN113766274A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请实施例提供一种图像编码、解码方法、电子设备及存储介质，其中图像编码方法包括：获取图像帧；确定所述图像帧中相对于上一帧图像帧存在画面变化的第一图像区域，以及确定所述第一图像区域的特征信息；基于所述第一图像区域的特征信息，若确定用户对所述第一图像区域的画面变化不感兴趣，则降低所述第一图像区域的画质参数；至少基于所述第一图像区域的画质参数，对所述图像帧进行图像编码。本申请实施例在对图像帧进行编码时，能够从用户视觉认知出发，合理确定图像帧中图像区域的画质参数，提升编码后图像帧的展示流畅度。

Description

图像编码、解码方法、电子设备及存储介质
技术领域
本申请实施例涉及图像处理技术领域，具体涉及一种图像编码、解码方法、电子设备及存储介质。
背景技术
图像帧是组成图像序列(例如视频等)的最小单位，图像帧在设备之间传输时，发送图像帧的设备可通过图像编码技术，对图像帧进行图像压缩处理，从而以较少的数据量表示图像帧的图像内容。画面质量(简称画质)是图像编码技术的重要指标之一，画质越高则编码后的图像帧越清晰；然而，图像帧具有多个图像区域，在对图像帧进行编码时，如何合理确定图像区域的画质，成为了本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本申请实施例提供一种图像编码、解码方法、电子设备及存储介质，以在对图像帧进行编码时，合理确定图像帧中图像区域的画质，提升编码后图像帧的展示流畅度。
为实现上述目的，本申请实施例提供如下技术方案。
第一方面，本申请实施例提供一种图像编码方法，包括：
获取图像帧；
确定所述图像帧中相对于上一帧图像帧存在画面变化的第一图像区域，以及确定所述第一图像区域的特征信息；
基于所述第一图像区域的特征信息，若确定用户对所述第一图像区域的画面变化不感兴趣，则降低所述第一图像区域的画质参数；
至少基于所述第一图像区域的画质参数，对所述图像帧进行图像编码。
第二方面，本申请实施例提供一种图像解码方法，包括：
获取编码后图像帧；
对所述编码后图像帧进行解码，并展示解码后图像帧，所述解码后图像帧包括用户对画面变化不感兴趣的第一图像区域，该第一图像区域的画质低于解码后图像帧的其他图像区域。
第三方面，本申请实施例提供一种电子设备，包括：至少一个存储器和至少一个处理器；所述存储器存储一条或多条计算机可执行指令，所述处理器调用所述一条或多条计算机可执行指令，以执行实现如上述第一方面所述的图像编码方法，或者，如上述第二方面所述的图像解码方法。
第四方面，本申请实施例提供一种存储介质，所述存储介质存储一条或多条计算机可执行指令，所述一条或多条计算机可执行指令被执行时实现如上述第一方面所述的图像编码方法，或者，如上述第二方面所述的图像解码方法。
第五方面，本申请实施例提供一种图像编码装置，包括：
图像帧获取模块，用于获取图像帧；
图像区域及特征确定模块，用于确定所述图像帧中相对于上一帧图像帧存在画面变化的第一图像区域，以及确定所述第一图像区域的特征信息；
参数调整模块，用于基于所述第一图像区域的特征信息，若确定用户对所述第一图像区域的画面变化不感兴趣，则降低所述第一图像区域的画质参数；
编码执行模块，用于至少基于所述第一图像区域的画质参数，对所述图像帧进行图像编码。
第六方面，本申请实施例提供一种计算机程序，该计算机程序被执行时实现如上述第一方面所述的图像编码方法，或者，如上述第二方面所述的图像解码方法。
本申请实施例提供的图像编码方法，可在对图像帧进行编码时，确定图像帧中相对于上一帧图像帧存在画面变化的第一图像区域，以及所述第一图像区域的特征信息；从而基于所述特征信息，判断用户是否对第一图像区域的画面变化感兴趣；进而在用户对第一图像区域的画面变化不感兴趣时，降低第一图像区域的画质参数，以至少基于所述第一图像区域的画质参数，实现对所述图像帧进行图像编码。本申请实施例可在对图像帧进行编码时，分析图像帧中存在画面变化的第一图像区域的特征信息，从而在用户对第一图像区域的画面变化不感兴趣时，降低第一图像区域的画质参数，避免图像帧在编码时，过多的码率被分配给用户不感兴趣的第一图像区域。在此基础上，本申请实施例可将用户不感兴趣的第一图像区域降低的码率，分配给图像帧中的其他图像区域，保障图像帧中的其他图像区域的画质，从而在保障图像帧的整体画质的基础上，避免提升图像帧的码率上限，提升了编码后的图像帧在终端的展示流畅度。可见，本申请实施例在对图像帧进行编码时，能够从用户视觉认知出发，合理确定图像帧中图像区域的画质参数，提升编码后图像帧的展示流畅度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1A为云桌面的系统架构示意图。
图1B为桌面图像帧的图像区域示例图。
图2为本申请实施例提供的图像编码方法的流程图。
图3为本申请实施例提供的确定图像帧的图像区域的方法流程图。
图4为本申请实施例提供的降低第一图像区域的画质参数的方法流程图。
图5A至图5E分别为第一图像区域的示例图。
图6为本申请实施例提供的为第一图像区域设置画质参数的方法流程图。
图7为本申请实施例提供的ROI技术的架构示意图。
图8为本申请实施例提供的图像解码方法的流程图。
图9为本申请实施例提供的图像编码装置的框图。
图10为电子设备的框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面以云桌面为例，对设备之间传输图像帧的场景进行示例说明。云桌面又称桌面虚拟化、云电脑。基于云桌面技术，主机所包含的CPU、内存、硬盘等组件可在云端服务器中虚拟出来；用户在终端安装云桌面客户端之后，可以通过特有的通信协议访问云端服务器上的虚拟机主机来实现交互操作，进而达到与操作传统电脑一致的体验效果。图1A示例性的示出了云桌面的系统架构示意图。如图1A所示，该系统架构可以包括：云端服务器110和终端120。
云端服务器110为部署在云端的服务器设备，其可以是单一服务器或者多台服务器形成的服务器集群。云端服务器110可以虚拟化出虚拟机主机，并将虚拟机主机的桌面图像帧经过图像编码之后，传输给终端120。
终端120为部署在用户侧的安装有云桌面客户端的用户设备，例如智能手机、笔记本电脑、平板电脑等。终端120在获取云端服务器110传输的编码后桌面图像帧后，可以对编码后桌面图像帧进行解码，并在屏幕展示出解码后桌面图像帧。用户基于终端120展示的桌面图像帧，可以进行点击、拖动、键入等交互操作。终端120可将用户的交互操作传输给云端服务器110，从而云端服务器110可调整桌面图像帧的画面内容，并将调整画面内容的桌面图像帧再次编码后传输给终端120。通过上述过程，用户可在云桌面场景下，达到与操作传统电脑一致的体验效果。
画质作为图像编码的重要编码参数，云端服务器在对桌面图像帧进行图像编码时，需要对桌面图像帧的画质进行设置。具体来说，桌面图像帧具有多个图像区域，云端服务器需要确定桌面图像帧中图像区域的画质参数(画质参数越高，则画面质量越清晰，需要的码率越高)，从而基于确定的图像区域的画质，对桌面图像帧进行图像编码。
在一种可选实现中，云端服务器可基于ROI(Region Of Interest，感兴趣区域)技术，识别桌面图像帧中用户感兴趣的ROI区域和用户不感兴趣的非ROI区域，从而设置ROI区域的画质参数高于非ROI区域的画质参数，进而对桌面图像帧进行图像编码。然而，ROI技术仍然存在一定的局限性：
画面变化的图像区域一般会被设置为ROI区域，而画面静态的图像区域一般会被设置为非ROI区域，此时如果ROI区域的画面快速变化，ROI技术会将更多的码率分配给画面快速变化的ROI区域，从而提升画面快速变化的ROI区域的画质。在此基础上，如果为了保持桌面图像帧的整体码率不变，则画面静态的非ROI区域会设置较低的码率，导致非ROI区域的画质变差；如果想保持画面静态的非ROI区域的画质，则需要提升图像编码整体的码率上限，这将降低编码后的桌面图像帧在终端的展示流畅度，导致用户的交互操作出现明显的卡顿。
为更为清楚的说明上述问题，下面以一个示例进行说明。图1B示例性的示出了桌面图像帧的图像区域示例图。如图1B所示，桌面图像帧包括图像区域A1(例如浏览器区域)、图像区域A2(例如文档区域)和图像区域A3(例如桌面背景区域)。图像区域A1的画面随着用户滚动操作快速的变化，图像区域A2的图像内容变化缓慢，而图像区域A3的画面保持不变。基于ROI技术，如果图像区域A1和A2识别为ROI区域，图像区域A3识别为非ROI区域，则图像区域A1和A2会被分配高于图像区域A3的码率，以提升图像区域A1和A2的画质，并且由于图像区域A1的画面变化快速，图像区域A1会被分配更多的码率。在此基础上，如果为了保持桌面图像帧的整体码率不变，则图像区域A3会设置较低的码率，从而导致图像区域A3的画质变差。如果为了保持图像区域A3的画质，则需要为桌面图像帧设置更大的码率上限，这将导致编码后的桌面图像帧的整体码率提升，使得编码后的桌面图像帧在终端的展示流畅度降低，导致用户的交互操作出现明显的卡顿。
需要说明的是，上述问题不仅存在于云桌面的场景，也存在于终端之间的桌面共享等涉及设备之间传输图像帧的场景，还存在于单一设备录制视频并编码的场景等。
经本申请的发明人研究发现：当图像帧中某一图像区域的画面快速变化时，从用户的视觉认知来看，用户大概率对该图像区域的画面变化过程并不感兴趣，而是对画面变化后的结果感兴趣；特别是在图像区域的画面快速变化是由用户特意的持续操作触发时，用户基本不会对画面快速变化的过程感兴趣。基于此，本申请实施例提供新型的图像编码方案，以在对图像帧进行编码时，从用户的视觉认知出发，合理确定图像帧中图像区域的画质，提升编码后图像帧的展示流畅度。
图2示出了本申请实施例提供的图像编码方法的可选流程图。该图像编码方法可由图像编码设备执行，图像编码设备可以认为是对图像帧进行图像编码的电子设备，例如云桌面场景下的云端服务器、桌面共享场景下发送图像帧的终端、单一的录制视频并编码的设备(例如服务器或终端)等。参照图2，该方法流程可以包括如下步骤。
在步骤S210中，获取图像帧。
所述图像帧可以是图像编码设备当前需要编码的图像帧。例如，云端服务器当前的桌面图像帧、终端当前需要共享的桌面图像帧、终端或服务器当前录制的图像帧等。
在步骤S211中，确定所述图像帧中相对于上一帧图像帧存在画面变化的第一图像区域，以及确定所述第一图像区域的特征信息。
在一些实施例中，本申请实施例可将图像帧与相邻的上一帧图像帧进行对比，从图像帧中确定出存在画面变化的图像区域。为便于说明，图像帧中存在画面变化的图像区域可称为第一图像区域。图像帧中可能存在一个或多个第一图像区域，即图像帧中存在画面变化的第一图像区域可以是一个或多个。
在一些实施例中，本申请实施例确定图像帧中的第一图像区域之后，可确定第一图像区域的特征信息。作为可选实现，第一图像区域的特征信息可以包括表示第一图像区域的位置属性的位置特征(例如第一图像区域的中心位置、区域大小等特征信息)，以及表示第一图像区域的画面变化属性的画面变化特征(例如第一图像区域的画面变化频率、第一图像区域的用户交互操作信息等特征信息)。
在进一步的一些实施例中，基于图像帧与相邻的上一帧图像帧的对比，本申请实施例还可能从图像帧中确定出画面静态的图像区域。为便于说明，图像帧中画面静态的图像区域可称为第二图像区域。本申请实施例重点关注如何设置第一图像区域的画质参数，而针对第二图像区域，第二图像区域可以视为是非R OI区域，本申请实施例在不提升第二图像区域的画质参数的情况下，并不设限第二图像区域的画质参数设置方式，例如第二图像区域的画质参数可以保持不变等。
在步骤S212中，基于所述第一图像区域的特征信息，若确定用户对所述第一图像区域的画面变化不感兴趣，则降低所述第一图像区域的画质参数。
区别于传统ROI技术将画面变化的第一图像区域设置为ROI区域，并提升第一图像区域的画质参数的手段，本申请实施例在确定第一图像区域之后，需要基于第一图像区域的特征信息，具体分析第一图像区域的画面变化是否是用户感兴趣的，从而在用户对第一图像区域的画面变化不感兴趣时，降低第一图像区域的画质参数，避免图像帧在编码时，过多的码率被分配给用户不感兴趣的画面，从而实现为图像帧合理设置画质参数。
在一些实施例中，本申请实施例可具体分析第一图像区域的画面变化特征，来判断用户对第一图像区域的画面变化是否感兴趣。作为可选实现，如果第一图像区域的画面变化频率是快速的，并且第一图像区域的画面变化是由用户的持续操作特意触发(即用户特意通过持续操作，使得第一图像区域的画面快速变化)，则从用户视觉认知来看，用户对第一图像区域的画面变化不感兴趣，用户可能感兴趣的是第一图像区域经过画面快速变化之后的结果画面。基于此，本申请实施例在基于第一图像区域的特征信息(例如特征信息中的画面变化特征)，分析出第一图像区域的画面变化频率是快速的(例如第一图像区域的画面变化频率高于设定变化频率)，且第一图像区域的画面变化是由用户的持续操作触发(例如第一图像区域当前存在用户交互操作)，则可确定用户对第一图像区域的画面变化不感兴趣，此时可降低第一图像区域的画质。
在进一步的一些实施例中，用户对所述第一图像区域的画面变化可能是感兴趣的，此时，本申请实施例可提升第一图像区域的画质参数或者保持画质参数不变。在可能的实现中，如果用户对第一图像区域的画面变化感兴趣，则本申请实施例在不降低第一图像区域的画质参数的情况下，并不设限第一图像区域的画质参数设置方式，例如第一图像区域的画质参数可以提升或者保持不变等。
需要说明的是，如果图像帧中存在多个第一图像区域，则用户可能对部分第一图像区域的画面变化不感兴趣，而对另一部分第一图像区域的画面变化感兴趣，此时，本申请实施例可降低用户不感兴趣的第一图像区域的画质参数，设置用户感兴趣的第一图像区域的画质参数提升或者保持不变。进一步的，用户可能对多个第一图像区域的画面变化均不感兴趣，此时，本申请实施例可对多个第一图像区域的画质参数均进行降低。进一步的，用户也可能对多个第一图像区域的画面变化均感兴趣，此时，本申请实施例可设置多个第一图像区域的画质参数均进行提升或均保持不变。
在步骤S213中，至少基于所述第一图像区域的画质参数，对所述图像帧进行图像编码。
在第一图像区域的画面变化为用户不感兴趣的情况下，本申请实施例降低第一图像区域的画质参数之后，可至少基于所述第一图像区域的画质参数，对所述图像帧进行图像编码，从而在图像帧的编码过程中，避免过多的码率被分配给用户不感兴趣的第一图像区域，实现为图像帧合理设置画质参数。
在进一步的一些实施例中，如果图像帧中还存在第二图像区域和用户感兴趣的第一图像区域(即用户对画面变化感兴趣的第一图像区域)，则本申请实施例可在设置第二图像区域的画质参数(例如保持画质参数不变)，设置用户感兴趣的第一图像区域的画质参数(例如提升画质参数)的情况下，降低用户不感兴趣的第一图像区域的画质参数，从而在保持图像帧的整体码率不变的情况下，对图像帧进行编码。例如，用户不感兴趣的第一图像区域所降低的画质参数，可以是用户感兴趣的第一图像区域所提升的画质参数。
本申请实施例提供的图像编码方法，可在对图像帧进行编码时，确定图像帧中相对于上一帧图像帧存在画面变化的第一图像区域，以及所述第一图像区域的特征信息；从而基于所述特征信息，判断用户是否对第一图像区域的画面变化感兴趣；进而在用户对第一图像区域的画面变化不感兴趣时，降低第一图像区域的画质参数，以至少基于所述第一图像区域的画质参数，实现对所述图像帧进行图像编码。本申请实施例可在对图像帧进行编码时，分析图像帧中存在画面变化的第一图像区域的特征信息，从而在用户对第一图像区域的画面变化不感兴趣时，降低第一图像区域的画质参数，避免图像帧在编码时，过多的码率被分配给用户不感兴趣的第一图像区域。在此基础上，本申请实施例可将用户不感兴趣的第一图像区域降低的码率，分配给图像帧中的其他图像区域，保障图像帧中的其他图像区域的画质，从而在保障图像帧的整体画质的基础上，避免提升图像帧的码率上限，提升了编码后的图像帧在终端的展示流畅度。可见，本申请实施例在对图像帧进行编码时，能够从用户视觉认知出发，合理确定图像帧中图像区域的画质参数，提升编码后图像帧的展示流畅度。
在一些实施例中，本申请实施例可基于图像帧与相邻的上一帧图像帧的对比，从图像帧中确定存在画面变化的第一图像区域，以及画图静态的第二图像区域。图3示出了本申请实施例提供的确定图像帧的图像区域的方法流程图。该方法流程可由图像编码设备执行，参照图3，该方法流程可以包括如下步骤。
在步骤S310中，将图像帧分割为多个图像块。
在一些实施例中，针对每一帧图像帧，本申请实施例可按照设定的图像块大小，将图像帧分割为多个图像块；从而针对当前需要编码的图像帧，本申请实施例可将图像帧分割为多个图像块。
在步骤S311中，将图像帧和上一帧图像帧中相同位置的图像块的像素特征进行比对，以确定图像帧中存在画面变化的目标图像块。
在将图像帧分割为多个图像块后，基于图像帧和上一帧图像帧分别分割的多个图像块，本申请实施例可将图像帧和上一帧图像帧中相同位置的图像块进行像素特征的比对，从而确定出图像帧中相对于上一帧图像帧存在画面变化的图像块。为便于说明，本申请实施例可将图像帧中存在画面变化的图像块称为目标图像块。在一些实施例中，针对图像帧中任一位置的图像块，如果该图像块相比于上一帧图像帧的相同位置的图像块存在像素特征的变化，则可确定该图像块为图像帧中的目标图像块。从图像帧中确定的目标图像块可能是多个。
在步骤S312中，将图像帧中连续的目标图像块确定为一个第一图像区域。
在确定图像帧中存在画面变化的目标图像块后，图像帧中连续的目标图像块可形成图像帧中存在画面变化的一个第一图像区域。在一些实施例中，图像帧可能存在多组连续的目标图像块，一组连续的目标图像块可以形成一个第一图像区域，从而多组连续的目标图像块可形成多个第一图像区域。一组连续的目标图像块可以由相邻接的目标图像块形成。基于此，从图像帧中确定的第一图像区域可能是多个。在其他可能的实现，本申请实施例也可能仅从图像帧中确定出一个第一图像区域。
在进一步的一些实施例中，本申请实施例还可确定图像帧中的非目标图像块。图像帧中相对于上一帧图像帧不存在画面变化的图像块可称为非目标图像块。在一些实施例中，针对图像帧中任一位置的图像块，如果该图像块相比于上一帧图像帧的相同位置的图像块不存在像素特征的变化，则可确定该图像块为图像帧中的非目标图像块。从图像帧中确定的非目标图像块可能是多个。进一步的，本申请实施例可将图像帧中连续的非目标图像块确定为图像帧中画面静态的一个第二图像区域。从图像帧中确定的第二图像区域可能是一个或多个。
通过将图像帧进行图像分块，并将图像帧与上一帧图像帧中相同位置的图像块进行像素特征的比对，本申请实施例可从图像帧中确定出画面变化的目标图像块和画图静态的非目标图像块，从而由图像帧中连续的目标图像块形成一个第一图像区域，由图像帧中连续的非目标图像块形成一个第二图像区域，实现按照画面是否变化的属性为图像帧精准的划分图像区域。
在一些实施例中，图像帧的图像区域可以包括画面变化的第一图像区域(一个或多个)，以及画面静态的第二图像区域(一个或多个)。在画质参数设置的可选实现上，本申请实施例可设置第二图像区域的画质参数保持不变，而第一图像区域的画质参数可基于第一图像区域的特征信息进行调整。作为一种可选实现，本申请实施例可基于第一图像区域的特征信息判断用户是否对第一图像区域的画面变化感兴趣，从而在用户对第一图像区域的画面变化不感兴趣时，降低第一图像区域的画质参数。在一些实施例中，第一图像区域的特征信息可以包括：表示第一图像区域的位置属性的位置特征，以及表示第一图像区域的画面变化属性的画面变化特征。
在一些实施例中，图4示出了本申请实施例提供的降低第一图像区域的画质参数的可选方法流程图。参照图4，该方法流程可以包括如下步骤。
在步骤S410中，根据第一图像区域的画面变化特征，判断第一图像区域是否存在用户交互操作，以及第一图像区域的画面变化频率是否高于设定变化频率。
在一些实施例中，如果第一图像区域的用户交互操作信息不为空，则本申请实施例可确定第一图像区域存在用户交互操作。在一些实施例中，本申请实施例可通过设定变化频率来界定第一图像区域的画面变化是快速还是缓慢，如果第一图像区域的画面变化频率高于设定变化频率，则可确定第一图像区域的画面快速变化，如果第一图像区域的画面变化频率不高于设定变化频率，则可确定第一图像区域的画面缓慢变化。在一个示例中，设定变化频率例如1秒30帧，本申请实施例可根据实际情况定义设定变化频率的具体数值，对此本申请实施例并不设限。
作为可选实现，第一图像区域的画面变化特征可以包括：第一图像区域的画面变化频率、第一图像区域的用户交互操作信息等特征信息。本申请实施例可基于第一图像区域的用户交互操作信息是否为空，来判断第一图像区域是否存在用户交互操作，基于第一图像区域的画面变化频率，来判断第一图像区域的画面变化频率是否高于设定变化频率。如果第一图像区域存在用户交互操作，且第一图像区域的画面变化频率高于设定变化频率，则说明用户当前是特意通过持续的交互操作，来使得第一图像区域的画面快速变化，此时从用户的视觉认知来看，用户对第一图像区域的画面变化并不感兴趣，可降低第一图像区域的画质参数。
在步骤S411中，若第一图像区域存在用户交互操作，且画面变化频率高于设定变化频率，则基于第一图像区域的画质参数与第一图像区域的画面变化频率呈负相关的关系，降低第一图像区域的画质参数。
在确定第一图像区域存在用户交互操作，且画面变化频率高于设定变化频率时，本申请实施例可基于第一图像区域的画质参数与第一图像区域的画面变化频率呈负相关的关系，降低第一图像区域的画质参数。也就是说，第一图像区域在降低画质参数时，第一图像区域的画面变化频率越高，则第一图像区域降低后的画质参数越低。
在一些实施例中，本申请实施例可基于第一图像区域的位置特征(例如中心位置，区域大小等)，确定第一图像区域的画质参数的作用范围，从而基于第一图像区域的画质参数与第一图像区域的画面变化频率呈负相关的关系，在该作用范围内降低画质参数。
在进一步的一些实施例中，本申请实施例在确定用户对画面变化不感兴趣的第一图像区域时，可以先过滤不存在用户交互操作的第一图像区域，以及区域大小较小的第一图像区域。例如，不存在用户交互操作的第一图像区域，以及区域大小较小的第一图像区域，可以保持画质参数不变。
在进一步的一些实施例中，图像帧中存在画面变化的第一图像区域可能具有多个，其中部分第一图像区域可能不存在用户交互操作，也可能画面变化频率不高于设定变化频率，对于这部分第一图像区域，本申请实施例在不降低这部分第一图像区域的画质参数的情况下，对于这部分第一图像区域的画质参数设置方式并不设限，例如可以提升这部分第一图像区域的画质参数，也可以保持这部分第一图像区域的画质参数不变。
本申请实施例可在用户对第一图像区域的画面变化不感兴趣时，降低第一图像区域的画质参数，避免图像帧在编码时，过多的码率被分配给用户对画面变化不感兴趣的第一图像区域，实现合理确定图像帧中图像区域的画质参数，提升编码后图像帧的展示流畅度。
在进一步的一些实施例中，本申请实施例对于存在画面变化的第一图像区域可能是设置降低画质参数，也可能是设置保持画质参数不变，还可能是设置提升画质参数。下面对设置第一图像区域的画质参数可能存在的几种示例情况进行说明。
情况一，第一图像区域的画面快速变化，且第一图像区域的画面变化是由用户持续的交互操作触发，此时认为用户对第一图像区域的画面变化不感兴趣，降低第一图像区域的画质参数。
作为情况一的一种示例，结合图5A所示的第一图像区域的示例图，第一图像区域可以例如浏览器区域，当用户快速滚动浏览器的内容滚动条，以使得浏览器中的内容快速变化时，用户是希望快速滚动浏览器的内容滚动条，来查找浏览器中某一位置的内容。也就是说，用户特意持续快速的滚动内容滚动条，来在浏览器中查找内容。此时从用户视觉认知来看，用户对于内容滚动条快速滚动过程中的浏览器画面变化并不感兴趣，用户感兴趣的可能是内容滚动条不再快速滚动或者停止滚动时，浏览器所展示的内容。基于此，本申请实施例可在浏览器的内容滚动条快速滚动期间，降低浏览器区域的画质参数。
作为情况一的另一种示例，结合图5B所示的第一图像区域的另一示例图，第一图像区域可以例如视频播放区域，当用户快速拖动视频进度条，以使得视频播放内容快速变化时，用户是希望快速拖动视频进度条，以使得视频到达特定的进度进行播放。也就是说，用户特意持续快速的拖动视频进度条，来使得视频快速到达特定的进度。此时从用户视觉认知来看，用户对于视频进度条快速拖动过程中的视频画面变化并不感兴趣，用户感兴趣的可能是视频进度条不再快速拖动或者停止拖动时的视频画面。基于此，本申请实施例可在视频的视频进度条快速拖动期间，降低视频播放区域的画质参数。
情况二、第一图像区域的画面缓慢变化，且第一图像区域为焦点区域，此时认为用户对第一图像区域的画面变化感兴趣，可提升第一图像区域的画质参数。在一些实施例中，焦点区域可以是光标所在区域。作为可选实现，本申请实施例可通过将光标位置与第一图像区域的位置范围进行比对，判断光标位置是否落在第一图像区域的位置范围内，从而识别第一图像区域是否为焦点区域。
作为情况二的一种示例，结合图5C所示的第一图像区域的再一示例图，第一图像区域可以例如文档区域，光标落在文档区域内，并且文档区域的内容随着用户的键盘键入操作或者鼠标滚动操作等缓慢变化，则此时用户是在关注文档区域的内容，本申请实施例可提升文档区域的画质参数。
情况三、第一图像区域的画面缓慢变化，并且第一图像区域的画面变化是由用户持续的交互操作触发，此时认为用户对第一图像区域的画面变化感兴趣，可提升第一图像区域的画质参数。也就是说，用户通过特意的持续操作，来使得第一图像区域的画面缓慢变化，则用户对第一图像区域的画面变化感兴趣，需要提升第一图像区域的画质参数。
作为情况三的一种示例，结合图5D所示的第一图像区域的又一示例图，第一图像区域可以例如浏览器区域，当用户缓慢滚动浏览器的内容滚动条，以使得浏览器中的内容缓慢变化时，可以认为用户是希望浏览浏览器中的内容。此时，本申请实施例可提升浏览器区域的画质参数。
情况四、第一图像区域的画面快速变化，但第一图像区域的画面快速变化过程并不涉及用户持续的交互操作，此时可保持第一图像区域的画质参数不变。例如，第一图像区域的画面快速变化是由用户的单次操作触发，并且第一图像区域的画面快速变化过程中不涉及用户持续的操作，则认为用户是希望观看第一图像区域的画面快速变化过程，此时可保持第一图像区域的画质参数不变。
作为情况四的一种示例，结合图5E所示的第一图像区域的又另一示例图，第一图像区域可以例如视频播放区域，当用户触发视频以多倍速进行播放时，视频播放区域的画面将快速变化，此时用户是希望观看视频以多倍速进行播放的内容，因此本申请实施例可保持视频播放区域的画质参数不变。
情况五、第一图像区域的画面缓慢变化，且第一图像区域不为焦点区域，也不涉及用户的交互操作，则本申请实施例可保持第一图像区域的画质参数不变。
作为情况五的一种示例，第一图像区域可以例如视频播放区域，视频播放区域以正常播放速度进行播放，并且当前光标不位于视频播放区域，用户也未对视频播放区域进行操作，则此时可保持视频播放区域的画质参数不变。
情况六，第一图像区域的画面虽然存在变化(可能变化缓慢、也可能快速变化)，但第一图像区域的区域大小较小，则调整第一图像区域的画质参数的意义较小，本申请实施例可保持第一图像区域的画质参数不变。
上述示出了设置第一图像区域的画质参数的多种情况，上述这些情况可以认为是设置第一图像区域的画质参数的可选示例情况，本申请实施例也可支持设置第一图像区域的画质参数的其他情况。但无论如何，作为一种可选实现，第一图像区域的画质参数是与第一图像区域的画面变化属性(例如画面变化频率、用户交互操作信息)相关联的；其中，画面变化频率表示第一图像区域的画面是快速变化还是缓慢变化，第一图像区域的用户交互操作信息表示第一图像区域的画面变化是否是用户特意操作的，表达的是用户对于第一图像区域的操作意愿。基于此，本申请实施例可基于第一图像区域的特征信息，确定用户是否对第一图像区域的画面变化感兴趣，从而为第一图像区域设置画质参数，以使得为第一图像区域设置的画质参数兼容上述示例的情况以及上述虽未示例但可能存在的情况。
在一些实施例中，本申请实施例在确定图像帧中的图像区域(包含第一图像区域和第二图像区域)后，可确定图像区域的特征信息，以基于图像区域的特征信息，为图像区域设置画质参数。基于本申请实施例的图像区域包括第一图像区域和第二图像区域，本申请实施例确定的图像区域的特征信息可以包括第一图像区域的特征信息以及第二图像区域的特征信息。作为可选实现，图像区域的特征信息可以包括：表示图像区域的位置属性的位置特征，以及表示图像区域的画面变化属性的画面变化特征。可选的，位置特征可以包括：图像区域的中心位置、区域大小等特征信息。画面变化特征可以包括：图像区域的画面变化频率、图像区域的用户交互操作信息等特征信息。在一个示例中，本申请实施例针对图像帧中的任一图像区域，可确定出图像区域的中心位置、区域大小、画面变化频率、用户交互操作信息等特征信息。进一步的，第一图像区域和第二图像区域的交互操作信息可能为空(即第一图像区域和第二图像区域不涉及用户交互操作)，也可能指示具体的用户操作行为(例如，拖动、滑动、滚动、点击、键入等不同的用户操作行为)。
在一些实施例中，基于第二图像区域为图像帧中画面静态的图像区域，因此第二图像区域的画面变化频率为0，基于第一图像区域为图像帧中存在画面变化的图像区域，因此第一图像区域的画面变化频率不为0。作为可选实现，本申请实施例可保持第二图像区域的画质参数不变。进而，针对图像帧中的第一图像区域，本申请实施例可基于第一图像区域的特征信息，判断第一图像区域的画质参数是否需要调整，并在第一图像区域的画质参数需要调整时，实现为第一图像区域调整画质参数。作为可选实现，图6示出了本申请实施例提供的为第一图像区域设置画质参数的可选方法流程图。参照图6，该方法流程可以包括如下步骤。
在步骤S610中，根据第一图像区域的用户交互操作信息，以及第一图像区域的区域大小，判断第一图像区域是否需要调整画质参数，若否，执行步骤S611，若是，执行步骤S612。
本申请实施例可基于第一图像区域的特征信息中的用户交互操作信息以及区域大小，判断第一图像区域是否需要调整画质参数。如果判断第一图像区域不需要调整画质参数，则可执行步骤S611，保持第一图像区域的画质参数不变。如果判断第一图像区域需要调整画质参数，则可执行步骤S612，基于第一图像区域的画面变化频率，调整第一图像区域的画质参数。
在一些实施例中，如果第一图像区域的用户交互操作信息为空，或，第一图像区域的区域大小小于设定区域大小，则本申请实施例可确定第一图像区域不需要调整画质参数，可进入步骤S611。例如，第一图像区域的画面快速变化，但不涉及用户交互操作(比如上述情况四)，则本申请实施例可保持第一图像区域的画质参数不变。又例如，第一图像区域的画面缓慢变化，但不涉及用户的交互操作(比如上述情况五)，则本申请实施例可保持第一图像区域的画质参数不变。再例如，第一图像区域的区域大小小于设定区域大小(比如上述情况六)，由于第一图像区域的区域大小较小，调整第一图像区域的画质参数的意义较小，因此本申请实施例可保持第一图像区域的画质参数不变。在一个示例中，设定区域大小可以例如128*128像素，本申请实施例可根据实际情况定义设定区域大小的具体数值，对此本申请实施例并不设限。
在一些实施例中，如果第一图像区域的用户交互操作信息不为空(即第一图像区域存在用户交互操作)，并且，第一图像区域的区域大小不小于设定区域大小，则本申请实施例可确定第一图像区域需要调整画质参数，可进入步骤S612。
在步骤S611中，保持第一图像区域的画质参数不变。
在步骤S612中，判断第一图像区域的画面变化频率是否高于设定变化频率，若是，执行步骤S613，若否，执行步骤S614。
当第一图像区域的画面变化频率高于设定变化频率时，本申请实施例可进入步骤S613，以对第一图像区域的画质参数进行降低。当第一图像区域的画面变化频率不高于设定变化频率时，本申请实施例可进入步骤S614，以对第一图像区域的画质参数进行提升。
在步骤S613中，基于第一图像区域的画质参数与第一图像区域的画面变化频率呈负相关的关系，降低第一图像区域的画质参数。
在一些实施例中，基于步骤S610，步骤S612的判断，本申请实施例可在第一图像区域存在用户交互操作、区域大小不小于设定区域大小、且画面变化频率高于设定变化频率时，认为第一图像区域的画面快速变化，且第一图像区域的画面变化是由用户持续的交互操作触发(比如上述情况一)，从而从用户视觉认知来看，用户对第一图像区域的画面变化过程并不感兴趣，可降低第一图像区域的画质参数。
在步骤S614、基于第一图像区域的画质参数与第一图像区域的画面变化频率呈负相关的关系，提升第一图像区域的画质参数。
在一些实施例中，基于步骤S610，步骤S612的判断，本申请实施例可在第一图像区域存在用户交互操作、区域大小不小于设定区域大小，并且画面变化频率不高于设定变化频率时，认为第一图像区域的画面缓慢变化，且第一图像区域可能为焦点区域(比如上述情况二)，或者第一图像区域的画面变化可能是由用户持续的交互操作触发(比如上述情况三)，从而此时可提升第一图像区域的画质参数。本申请实施例可基于第一图像区域的画质参数与第一图像区域的画面变化频率呈负相关的关系，提升第一图像区域的画质参数。也就是说，第一图像区域在提升画质参数时，第一图像区域的画面变化频率越低，则第一图像区域提升后的画质参数越高。在一些实施例中，本申请实施例可基于第一图像区域的位置特征，确定第一图像区域的画质参数作用范围，从而在该作用范围内提升画质参数。
在一些实施例中，如果图像帧中存在降低画质参数的第一图像区域(即用户对画面变化不感兴趣的第一图像区域)，以及提升画质参数的第一图像区域(即用户对画面变化感兴趣的第一图像区域)，则用户对画面变化不感兴趣的第一图像区域所降低的画质参数，可以为用户对画面变化感兴趣的第一图像区域所提升的画质参数。
本申请实施例可基于图像帧中画面变化的第一图像区域的特征信息，为不同画面变化属性的第一图像区域设置画质参数，从而实现为用户不感兴趣的第一图像区域降低画质参数，为用户感兴趣的第一图像区域提升画质参数，保持用户无操作或者区域较小的第一图像区域的画质参数不变，从而实现为图像帧中的图像区域合理、精准的确定画质参数，提升编码后图像帧的展示流畅度。
作为可选实现，图像帧中的图像区域可以分为：降低画质参数的第一图像区域，提升画质参数的第一图像区域，保持画质参数的第一图像区域，以及保持画质参数的第二图像区域。在此基础上，本申请实施例可结合ROI技术，为图像帧中的图像区域设置画质参数。在一些实施例中，图7示出了本申请实施例提供的ROI技术的架构示意图。如图7所示，ROI技术架构可以包括：渲染组件710，特征检测组件720，编码器730，和传输组件740；其中，编码器730中设置有ROI过滤器731。
渲染组件710用于渲染图像帧。
特征检测组件720用于对渲染组件710当前渲染的图像帧进行图像区域检测，以及检测各图像区域的特征信息。在一些实施例中，特征检测组件720可基于图3所示方法流程，实现对图像帧检测图像区域，以确定图像帧的第一图像区域和第二图像区域。针对检测的各图像区域，特征检测组件720可确定各图像区域的特征信息，例如确定各图像区域的中心位置、区域大小、画面变化频率、用户交互操作信息等。
在进一步的一些实施例中，针对第二图像区域，本申请实施例可保持画质参数不变，而针对第一图像区域，特征检测组件720可基于特征信息确定开启ROI功能的第一图像区域，将开启ROI功能的第一图像区域对应的特征信息传输给ROI过滤器731，以使得ROI过滤器731对开启ROI功能的第一图像区域进行画质参数的设置调整。作为可选实现，开启ROI功能的第一图像区域可以认为是需要调整画质参数的第一图像区域，一个图像区域如果开启ROI功能，则可针对该图像区域的编码参数(包含画质参数)进行设置调整，一个图像区域如果未开启ROI功能，则该图像区域的编码参数保持不变。
作为可选实现，特征检测组件720可基于第一图像区域的用户交互操作信息和区域大小，决定第一图像区域是否开启ROI功能。如果第一图像区域的用户交互操作信息为空，或者，区域大小小于设定区域大小，则特征检测组件可确定该第一图像区域不开启ROI功能。对于存在用户交互操作，并且区域大小不小于设定区域大小的第一图像区域，特征检测组件可确定该第一图像区域需要开启ROI功能。特征检测组件可将需要开启ROI功能的第一图像区域的特征信息传输给ROI过滤器731。
ROI过滤器731可根据ROI码流分配策略，调整需要开启ROI功能的第一图像区域的编码参数(具体可以是编码参数中的画质参数)并配置给编码器，以由编码器基于图像帧中各图像区域的编码参数，实现对图像帧进行编码。该ROI码流分配策略可以表示为:针对需要开启ROI功能的第一图像区域，第一图像区域的画面变化频率越高，则画质参数越低。
传输组件740用于传输编码器730编码后的图像帧。
在一些实施例中，第一图像区域的特征信息与编码参数的关系可以表示为：第一图像区域的用户交互操作信息决定第一图像区域是否开启ROI功能，例如，第一图像区域虽然画面快速变化，但无用户交互操作，则该第一图像区域不开启ROI功能；第一图像区域的区域大小决定是否开启ROI功能，例如第一图像区域的区域大小小于设定区域大小，则该第一图像区域不开启ROI功能；第一图像区域的中心位置与区域大小相结合，用于决定第一图像区域的编码参数在图像帧中作用的区域范围；第一图像区域的画面变化频率决定画质参数的高低，例如第一图像区域的画质参数需要调整时，第一图像区域的画质参数与第一图像区域的画面变化频率呈负相关的关系。
需要说明的是，上述基于ROI技术对图像帧的第一图像区域设置编码参数的方式仅是可选实现，本申请实施例也可支持以其他的方式对第一图像区域设置编码参数，例如，本申请实施例在确定图像帧中存在用户交互操作且画面快速变化的第一图像区域时，可直接降低该第一图像区域的画质参数，而其他图像区域的画质参数可以保持不变，或者基于第一图像区域降低的画质参数来提升其他图像区域的画质参数，而并不一定需要通过ROI技术来为第一图像区域配置画质参数。
在另一些实施例中，第一图像区域的特征信息并不限于是第一图像区域的画面变化特征和位置特征。作为替代的可选实现，本申请实施例可确定第一图像区域的画面内容类型，将第一图像区域的画面内容类型作为第一图像区域的特征信息。基于用户的偏好等用户信息，如果第一图像区域的画面内容类型与用户偏好不相匹配(例如第一图像区域的画面内容类型不为用户偏好的内容类型)，则用户极可能对第一图像区域的画面变化不感兴趣，本申请实施例可降低第一图像区域的画质参数。
本申请实施例在对图像帧进行编码时，能够从用户视觉认知出发，合理确定图像帧中图像区域的画质参数，提升编码后图像帧的展示流畅度。
图8示出了本申请实施例提供的图像解码方法的流程图。该方法流程可由图像解码设备执行。图像解码设备可以认为是对图像帧进行图像解码的电子设备，例如云桌面场景下的终端、桌面共享场景下接收图像帧的终端等。参照图8，该方法流程可以包括如下步骤。
在步骤S810中，获取编码后图像帧。
编码后图像帧可基于本申请实施例提供的图像编码方案进行编码，并由图像编码设备传输给图像解码设备。
在步骤S811中，对所述编码后图像帧进行解码，并展示解码后图像帧，所述解码后图像帧包括用户对画面变化不感兴趣的第一图像区域，该第一图像区域的画质低于解码后图像帧的其他图像区域。
在一些实施例中，基于本申请实施例提供的图像编码方案，编码后图像帧中用户不感兴趣的第一图像区域的画质是降低的，用户感兴趣的第一图像区域的画质是提升的，而其余图像区域(其余第一图像区域和第二图像区域)的画质保持不变。因此图像解码设备对编码后图像帧进行解码后，所展示的解码后图像帧中包括用户对画面变化不感兴趣的第一图像区域，并且该第一图像区域的画质低于解码后图像帧的其他图像区域，其他图像区域例如用户对画面变化感兴趣的第一图像区域，画面静态的第二图像区域等。
下面对本申请实施例提供的图像编码装置进行介绍，下文描述的图像编码装置可以认为是，图像编码设备为实现本申请实施例提供的图像编码方法所需设置的功能模块。下文描述的图像编码装置的内容可与前文描述的方法内容相互对应参照。
在一些实施例中，图9示出了本申请实施例提供的图像编码装置的框图。该图像编码装置可应用于图像编码设备。参照图9，该图像编码装置可以包括：
图像帧获取模块910，用于获取图像帧；
图像区域及特征确定模块920，用于确定所述图像帧中相对于上一帧图像帧存在画面变化的第一图像区域，以及确定所述第一图像区域的特征信息；
参数调整模块930，用于基于所述第一图像区域的特征信息，若确定用户对所述第一图像区域的画面变化不感兴趣，则降低所述第一图像区域的画质参数；
编码执行模块940，用于至少基于所述第一图像区域的画质参数，对所述图像帧进行图像编码。
在一些实施例中，所述第一图像区域的特征信息包括第一图像区域的画面变化特征；参数调整模块930，用于基于所述第一图像区域的特征信息，若确定用户对所述第一图像区域的画面变化不感兴趣，则降低所述第一图像区域的画质参数包括：
根据所述第一图像区域的画面变化特征，若确定所述第一图像区域存在用户交互操作，且画面变化频率高于设定变化频率，则基于所述第一图像区域的画质参数与所述第一图像区域的画面变化频率呈负相关的关系，降低所述第一图像区域的画质参数。
在一些实施例中，所述画面变化特征包括：画面变化频率，以及用户交互操作信息。
在进一步的一些实施例中，所述第一图像区域的特征信息还包括：位置特征。参数调整模块930，用于基于所述第一图像区域的画质参数与所述第一图像区域的画面变化频率呈负相关的关系，降低所述第一图像区域的画质参数包括：
基于所述第一图像区域的位置特征，确定所述第一图像区域的画质参数的作用范围，基于所述第一图像区域的画质参数与所述第一图像区域的画面变化频率呈负相关的关系，在该作用范围内降低画质参数。
在一些实施例中，所述位置特征包括：图像区域的中心位置，以及区域大小。
在一些实施例中，参数调整模块930，用于根据所述第一图像区域的画面变化特征，若确定所述第一图像区域存在用户交互操作，且画面变化频率高于设定变化频率，则基于所述第一图像区域的画质参数与所述第一图像区域的画面变化频率呈负相关的关系，降低所述第一图像区域的画质参数包括：
根据所述第一图像区域的用户交互操作信息，以及所述第一图像区域的区域大小，判断所述第一图像区域是否需要调整画质参数；
若判断所述第一图像区域需要调整画质参数，判断所述第一图像区域的画面变化频率是否高于设定变化频率；
若判断所述第一图像区域的画面变化频率高于设定变化频率，基于所述第一图像区域的画质参数与第一图像区域的画面变化频率呈负相关的关系，降低所述第一图像区域的画质参数。
在一些实施例中，参数调整模块930，用于根据所述第一图像区域的用户交互操作信息，以及所述第一图像区域的区域大小，判断所述第一图像区域是否需要调整画质参数包括：
若所述第一图像区域的用户交互操作信息为空，或，所述第一图像区域的区域大小小于设定区域大小，则判断所述第一图像区域不需要调整画质参数；
若所述第一图像区域的用户交互操作信息不为空，并且，所述第一图像区域的区域大小不小于设定区域大小，则判断所述第一图像区域需要调整画质参数。
在进一步的一些实施例中，本申请实施例提供的参数调整模块930还可以用于：
若判断所述第一图像区域不需要调整画质参数，则保持所述第一图像区域的画质参数不变；
或者，若判断所述第一图像区域需要调整画质参数，且判断所述第一图像区域的画面变化频率不高于设定变化频率，基于第一图像区域的画质参数与第一图像区域的画面变化频率呈负相关的关系，提升第一图像区域的画质参数。
在一些实施例中，图像区域及特征确定模块920，用于确定所述图像帧中相对于上一帧图像帧存在画面变化的第一图像区域包括：
将所述图像帧分割为多个图像块
将所述图像帧和上一帧图像帧中相同位置的图像块的像素特征进行比对，以确定所述图像帧中存在画面变化的目标图像块；
将所述图像帧中连续的目标图像块确定为一个第一图像区域。
在进一步的一些实施例中，图像区域及特征确定模块920还可用于：确定所述图像帧中画面静态的非目标图像块，将所述图像帧中连续的非目标图像块确定为所述图像帧中不存在画面变化的第二图像区域。
在进一步的一些实施例中，本申请实施例提供的参数调整模块930，还可以用于：保持所述第二图像区域的画质参数不变。
本申请实施例还提供一种电子设备，该电子设备例如图像编码设备，或者图像解码设备。该电子设备在成为图像编码设备时，可执行本申请实施例提供的图像编码方法。该电子设备在成为图像解码设备时，可执行本申请实施例提供的图像解码方法。作为可选实现，图10示出了本申请实施例提供的电子设备的可选框图。如图10所示，该电子设备可以包括：至少一个处理器1，至少一个通信接口2，至少一个存储器3和至少一个通信总线4。
在本申请实施例中，处理器1、通信接口2、存储器3、通信总线4的数量为至少一个，且处理器1、通信接口2、存储器3通过通信总线4完成相互间的通信。
可选的，通信接口2可以为用于进行网络通信的通信模块的接口。
可选的，处理器1可能是CPU(中央处理器)，GPU(Graphics Processing Unit，图形处理器)，NPU(嵌入式神经网络处理器)，FPGA(Field Programmable Gate Array，现场可编程逻辑门阵列)，TPU(张量处理单元)，AI芯片，特定集成电路ASIC(Application SpecificIntegrated Circuit)，或者是被配置成实施本申请实施例的一个或多个集成电路等。
存储器3可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。
其中，存储器3存储一条或多条计算机可执行指令，处理器1调用所述一条或多条计算机可执行指令，以执行本申请实施例提供的图像编码方法，或者图像解码方法。
本申请实施例还提供一种存储介质，该存储介质存储一条或多条计算机可执行指令，该一条或多条计算机可执行指令被执行时实现本申请实施例提供的图像编码方法，或者图像解码方法。
本申请实施例还提供一种计算机程序，该计算机程序被执行时实现本申请实施例提供的图像编码方法，或者图像解码方法。
上文描述了本申请实施例提供的多个实施例方案，各实施例方案介绍的各可选方式可在不冲突的情况下相互结合、交叉引用，从而延伸出多种可能的实施例方案，这些均可认为是本申请实施例披露、公开的实施例方案。
虽然本申请实施例披露如上，但本申请并非限定于此。任何本领域技术人员，在不脱离本申请的精神和范围内，均可作各种更动与修改，因此本申请的保护范围应当以权利要求所限定的范围为准。

Claims (13)

1.一种图像编码方法，其中，包括：
获取图像帧；
确定所述图像帧中相对于上一帧图像帧存在画面变化的第一图像区域，以及确定所述第一图像区域的特征信息；
基于所述第一图像区域的特征信息，若确定用户对所述第一图像区域的画面变化不感兴趣，则降低所述第一图像区域的画质参数；
至少基于所述第一图像区域的画质参数，对所述图像帧进行图像编码。
2.根据权利要求1所述的图像编码方法，其中，所述第一图像区域的特征信息包括第一图像区域的画面变化特征；所述基于所述第一图像区域的特征信息，若确定用户对所述第一图像区域的画面变化不感兴趣，则降低所述第一图像区域的画质参数包括：
根据所述第一图像区域的画面变化特征，若确定所述第一图像区域存在用户交互操作，且画面变化频率高于设定变化频率，则基于所述第一图像区域的画质参数与所述第一图像区域的画面变化频率呈负相关的关系，降低所述第一图像区域的画质参数。
3.根据权利要求2所述的图像编码方法，其中，所述画面变化特征包括：画面变化频率，以及用户交互操作信息。
4.根据权利要求3所述的图像编码方法，其中，所述第一图像区域的特征信息还包括：位置特征；所述基于所述第一图像区域的画质参数与所述第一图像区域的画面变化频率呈负相关的关系，降低所述第一图像区域的画质参数包括：
基于所述第一图像区域的位置特征，确定所述第一图像区域的画质参数的作用范围，基于所述第一图像区域的画质参数与所述第一图像区域的画面变化频率呈负相关的关系，在该作用范围内降低画质参数。
5.根据权利要求4所述的图像编码方法，其中，所述位置特征包括：图像区域的中心位置，以及区域大小。
6.根据权利要求5所述的图像编码方法，其中，所述根据所述第一图像区域的画面变化特征，若确定所述第一图像区域存在用户交互操作，且画面变化频率高于设定变化频率，则基于所述第一图像区域的画质参数与所述第一图像区域的画面变化频率呈负相关的关系，降低所述第一图像区域的画质参数包括：
根据所述第一图像区域的用户交互操作信息，以及所述第一图像区域的区域大小，判断所述第一图像区域是否需要调整画质参数；
若判断所述第一图像区域需要调整画质参数，判断所述第一图像区域的画面变化频率是否高于设定变化频率；
若判断所述第一图像区域的画面变化频率高于设定变化频率，基于所述第一图像区域的画质参数与第一图像区域的画面变化频率呈负相关的关系，降低所述第一图像区域的画质参数。
7.根据权利要求6所述的图像编码方法，其中，所述根据所述第一图像区域的用户交互操作信息，以及所述第一图像区域的区域大小，判断所述第一图像区域是否需要调整画质参数包括：
若所述第一图像区域的用户交互操作信息为空，或，所述第一图像区域的区域大小小于设定区域大小，则判断所述第一图像区域不需要调整画质参数；
若所述第一图像区域的用户交互操作信息不为空，并且，所述第一图像区域的区域大小不小于设定区域大小，则判断所述第一图像区域需要调整画质参数。
8.根据权利要求6所述的图像编码方法，其中，还包括：
若判断所述第一图像区域不需要调整画质参数，则保持所述第一图像区域的画质参数不变；
或者，若判断所述第一图像区域需要调整画质参数，且判断所述第一图像区域的画面变化频率不高于设定变化频率，基于第一图像区域的画质参数与第一图像区域的画面变化频率呈负相关的关系，提升第一图像区域的画质参数。
9.根据权利要求1-8任一项所述的图像编码方法，其中，所述确定所述图像帧中相对于上一帧图像帧存在画面变化的第一图像区域包括：
将所述图像帧分割为多个图像块
将所述图像帧和上一帧图像帧中相同位置的图像块的像素特征进行比对，以确定所述图像帧中存在画面变化的目标图像块；
将所述图像帧中连续的目标图像块确定为一个第一图像区域。
10.根据权利要求9所述的图像编码方法，其中，还包括：
确定所述图像帧中画面静态的非目标图像块，将所述图像帧中连续的非目标图像块确定为所述图像帧中不存在画面变化的第二图像区域；
保持所述第二图像区域的画质参数不变。
11.一种图像解码方法，其中，包括：
获取编码后图像帧；
对所述编码后图像帧进行解码，并展示解码后图像帧，所述解码后图像帧包括用户对画面变化不感兴趣的第一图像区域，该第一图像区域的画质低于解码后图像帧的其他图像区域。
12.一种电子设备，其中，包括：至少一个存储器和至少一个处理器；所述存储器存储一条或多条计算机可执行指令，所述处理器调用所述一条或多条计算机可执行指令，以执行实现如权利要求1-10任一项所述的图像编码方法，或者，如权利要求11所述的图像解码方法。
13.一种存储介质，其中，所述存储介质存储一条或多条计算机可执行指令，所述一条或多条计算机可执行指令被执行时实现如权利要求1-10任一项所述的图像编码方法，或者，如权利要求11所述的图像解码方法。
CN202111115674.2A 2021-09-23 2021-09-23 图像编码、解码方法、电子设备及存储介质 Pending CN113766274A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111115674.2A CN113766274A (zh) 2021-09-23 2021-09-23 图像编码、解码方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111115674.2A CN113766274A (zh) 2021-09-23 2021-09-23 图像编码、解码方法、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113766274A true CN113766274A (zh) 2021-12-07

Family

ID=78797053

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111115674.2A Pending CN113766274A (zh) 2021-09-23 2021-09-23 图像编码、解码方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113766274A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115150638A (zh) * 2022-06-29 2022-10-04 深信服科技股份有限公司 一种基于云桌面的数据传输方法、装置、设备及存储介质
WO2024114322A1 (zh) * 2022-11-30 2024-06-06 腾讯科技（深圳）有限公司 画面渲染方法、装置、设备、存储介质及程序产品
CN115150638B (zh) * 2022-06-29 2024-07-09 深信服科技股份有限公司 一种基于云桌面的数据传输方法、装置、设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040151390A1 (en) * 2003-01-31 2004-08-05 Ryuichi Iwamura Graphic codec for network transmission
CN105979216A (zh) * 2016-06-12 2016-09-28 浙江宇视科技有限公司 一种感兴趣区域的视频传输方法及装置
US20180007364A1 (en) * 2016-07-01 2018-01-04 Frederic J. Noraz Method and system of video coding using content based metadata
US20190253704A1 (en) * 2017-03-21 2019-08-15 Tencent Technology (Shenzhen) Company Limited Video encoding method, video decoding method, computer device and storage medium
JP2019149721A (ja) * 2018-02-27 2019-09-05 キヤノン株式会社 動画像符号化装置、動画像符号化装置の制御方法及びプログラム
CN110572579A (zh) * 2019-09-30 2019-12-13 联想(北京)有限公司 图像处理方法、装置及电子设备
CN110740316A (zh) * 2019-09-09 2020-01-31 西安万像电子科技有限公司 数据编码方法及装置
CN111491208A (zh) * 2020-04-08 2020-08-04 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备及计算机可读介质
CN111918066A (zh) * 2020-09-08 2020-11-10 北京字节跳动网络技术有限公司 视频编码方法、装置、设备及存储介质
CN112351282A (zh) * 2020-10-28 2021-02-09 西安万像电子科技有限公司 图像数据的传输方法及装置、非易失性存储介质及处理器

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040151390A1 (en) * 2003-01-31 2004-08-05 Ryuichi Iwamura Graphic codec for network transmission
CN105979216A (zh) * 2016-06-12 2016-09-28 浙江宇视科技有限公司 一种感兴趣区域的视频传输方法及装置
US20180007364A1 (en) * 2016-07-01 2018-01-04 Frederic J. Noraz Method and system of video coding using content based metadata
US20190253704A1 (en) * 2017-03-21 2019-08-15 Tencent Technology (Shenzhen) Company Limited Video encoding method, video decoding method, computer device and storage medium
JP2019149721A (ja) * 2018-02-27 2019-09-05 キヤノン株式会社 動画像符号化装置、動画像符号化装置の制御方法及びプログラム
CN110740316A (zh) * 2019-09-09 2020-01-31 西安万像电子科技有限公司 数据编码方法及装置
CN110572579A (zh) * 2019-09-30 2019-12-13 联想(北京)有限公司 图像处理方法、装置及电子设备
CN111491208A (zh) * 2020-04-08 2020-08-04 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备及计算机可读介质
CN111918066A (zh) * 2020-09-08 2020-11-10 北京字节跳动网络技术有限公司 视频编码方法、装置、设备及存储介质
CN112351282A (zh) * 2020-10-28 2021-02-09 西安万像电子科技有限公司 图像数据的传输方法及装置、非易失性存储介质及处理器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张方, 吴成柯, 肖嵩, 王养利: "一种基于MPEG-4的感兴趣区域视频编码新方法", 电子学报, no. 04 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115150638A (zh) * 2022-06-29 2022-10-04 深信服科技股份有限公司 一种基于云桌面的数据传输方法、装置、设备及存储介质
CN115150638B (zh) * 2022-06-29 2024-07-09 深信服科技股份有限公司 一种基于云桌面的数据传输方法、装置、设备及存储介质
WO2024114322A1 (zh) * 2022-11-30 2024-06-06 腾讯科技（深圳）有限公司 画面渲染方法、装置、设备、存储介质及程序产品

Similar Documents

Publication Publication Date Title
CN110377257B (zh) 图层合成方法、装置、电子设备及存储介质
US9912992B2 (en) Method and system for enhancing user experience for remoting technologies
CN110377263B (zh) 图像合成方法、装置、电子设备及存储介质
EP2517470B1 (en) Systems and methods for video-aware screen capture and compression
CN110377264B (zh) 图层合成方法、装置、电子设备及存储介质
US20130016107A1 (en) Method and mechanism for performing both server-side and client-side rendering of visual data
US10863230B1 (en) Content stream overlay positioning
US10652591B2 (en) System for cloud streaming service, method for same using still-image compression technique and apparatus therefor
US10360046B2 (en) Using contextual and spatial awareness to improve remote desktop imaging fidelity
CN112596843B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
US8971615B2 (en) Image type classifier for improved remote presentation session compression
JP7186877B2 (ja) 映像デコーディング制御方法、装置、電子機器及び記憶媒体
CN111491208B (zh) 视频处理方法、装置、电子设备及计算机可读介质
CN112416346B (zh) 界面配色方案的生成方法、装置、设备及存储介质
WO2011127991A1 (en) Method of transmission of visual content
CN113766274A (zh) 图像编码、解码方法、电子设备及存储介质
CN109587561B (zh) 视频处理方法、装置、电子设备及存储介质
WO2020038071A1 (zh) 视频增强控制方法、装置、电子设备及存储介质
CN116069435A (zh) 在虚拟场景中动态加载图片资源的方法、系统及存储介质
CN116966546A (zh) 图像处理方法、装置、介质、设备和程序产品
CN112926420B (zh) 一种显示设备和菜单文字识别方法
CN114449305A (zh) 直播间中的礼物动画播放方法及装置
US20230114786A1 (en) Methods, Systems and Computer Program Products for Cloud Based Cross-Device Software Application Execution
KR20220164027A (ko) 프로그레시브 이미지 오버스무딩
CN114327216A (zh) 影像显示装置与其清晰度调整方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40064000

Country of ref document: HK