CN112954398B - 编码方法、解码方法、装置、存储介质及电子设备 - Google Patents

编码方法、解码方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN112954398B
CN112954398B CN202110168540.0A CN202110168540A CN112954398B CN 112954398 B CN112954398 B CN 112954398B CN 202110168540 A CN202110168540 A CN 202110168540A CN 112954398 B CN112954398 B CN 112954398B
Authority
CN
China
Prior art keywords
image
region
data
code stream
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110168540.0A
Other languages
English (en)
Other versions
CN112954398A (zh
Inventor
何鸣
阮良
陈功
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Netease Zhiqi Technology Co Ltd
Original Assignee
Hangzhou Netease Zhiqi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Netease Zhiqi Technology Co Ltd filed Critical Hangzhou Netease Zhiqi Technology Co Ltd
Priority to CN202110168540.0A priority Critical patent/CN112954398B/zh
Publication of CN112954398A publication Critical patent/CN112954398A/zh
Application granted granted Critical
Publication of CN112954398B publication Critical patent/CN112954398B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开实施方式涉及一种编码方法、解码方法、编码装置、解码装置、存储介质与电子设备，涉及图像与视频处理技术领域。所述编码方法包括：在待编码图像中确定感兴趣区域图像与非感兴趣区域图像；对所述感兴趣区域图像进行第一编码，生成第一码流数据；对所述非感兴趣区域图像进行第二编码，生成第二码流数据；合并所述第一码流数据与所述第二码流数据，得到所述待编码图像对应的目标码流数据；所述目标码流数据中所述第一码流数据与所述第二码流数据的包头数据不同。本公开提高了图像编码质量，实现了图像中重要信息与非重要信息所占资源比例的优化。

Description

编码方法、解码方法、装置、存储介质及电子设备
技术领域
本公开的实施方式涉及图像与视频处理技术领域，更具体地，本公开的实施方式涉及一种编码方法、解码方法、编码装置、解码装置、计算机可读存储介质及电子设备。
背景技术
本部分旨在为权利要求中陈述的本公开的实施方式提供背景或上下文，此处的描述不因为包括在本部分中就承认是现有技术。
图像与视频在人们日常浏览的信息中占据了非常高的比例，例如在社交软件中发送图像与视频，在视频平台观看电视剧、短视频等，已成为日常的沟通与娱乐方式。
在图像与视频的传输、存储过程中，需要对图像或视频进行编码，以降低图像或视频数据所占用的带宽或存储资源。
发明内容
然而，现有的编码方法大多对整张图像(或视频中的整帧图像)采用相同的编码方式，使得图像中重要信息与非重要信息占用资源比例不合理，无法很好地呈现重要信息。
为此，非常需要一种改进的编码方法，可以改善图像中的重要信息与非重要信息占用资源比例不合理的问题。
在本上下文中，本公开的实施方式期望提供一种编码方法、解码方法、编码装置、解码装置、计算机可读存储介质及电子设备。
根据本公开的第一方面，提供一种编码方法，包括：在待编码图像中确定感兴趣区域图像与非感兴趣区域图像；对所述感兴趣区域图像进行第一编码，生成第一码流数据；对所述非感兴趣区域图像进行第二编码，生成第二码流数据；合并所述第一码流数据与所述第二码流数据，得到所述待编码图像对应的目标码流数据；所述目标码流数据中所述第一码流数据与所述第二码流数据的包头数据不同。
在一种实施方式中，所述对所述感兴趣区域图像进行第一编码，生成第一码流数据，包括：将所述待编码图像与位置信息输入第一编码器，以通过所述第一编码器对所述待编码图像中的感兴趣区域图像进行第一编码，生成所述第一码流数据；其中，所述位置信息用于表示所述待编码图像中感兴趣区域的位置或者非感兴趣区域的位置。
在一种实施方式中，所述对所述非感兴趣区域图像进行第二编码，生成第二码流数据，包括：将所述待编码图像与位置信息输入第二编码器，以通过所述第二编码器对所述待编码图像中的非感兴趣区域图像进行第二编码，生成所述第二码流数据；其中，所述位置信息用于表示所述待编码图像中感兴趣区域的位置或者非感兴趣区域的位置。
在一种实施方式中，所述方法还包括：依次将待编码视频中的每一帧图像确定为所述待编码图像。
在一种实施方式中，所述对所述非感兴趣区域图像进行第二编码，生成第二码流数据，包括：基于所述待编码图像中的非感兴趣区域图像与上一帧图像中的非感兴趣区域图像，确定所述待编码图像是运动场景图像或静止场景图像；如果所述待编码图像是静止场景图像，则将所述待编码图像编码为跳帧数据。
在一种实施方式中，所述对所述非感兴趣区域图像进行第二编码，生成第二码流数据，还包括：如果所述待编码图像是运动场景图像，则对所述待编码图像中的所述非感兴趣区域图像进行模糊处理，并对模糊处理后的所述非感兴趣区域图像进行编码，生成所述第二码流数据。
在一种实施方式中，所述基于所述待编码图像中的非感兴趣区域图像与上一帧图像中的非感兴趣区域图像，确定所述待编码图像是运动场景图像或静止场景图像，包括：计算所述待编码图像中的非感兴趣区域图像与上一帧图像中的非感兴趣区域图像的像素差值；当所述像素差值大于像素差阈值时，确定所述待编码图像是运动场景图像；当所述像素差值小于所述像素差阈值时，确定所述待编码图像是静止场景图像。
在一种实施方式中，所述在待编码图像中确定感兴趣区域图像与非感兴趣区域图像，包括：利用图像识别算法在所述待编码图像中识别出感兴趣区域图像与非感兴趣区域图像。
根据本公开的第二方面，提供一种解码方法，包括：根据待解码数据中的包头数据，从所述待解码数据中获取第一码流数据与第二码流数据；利用第一解码方式解码所述第一码流数据，得到感兴趣区域图像；利用第二解码方式解码所述第二码流数据，得到非感兴趣区域图像；合成所述感兴趣区域图像与所述非感兴趣区域图像，得到所述待解码数据对应的目标图像。
在一种实施方式中，在利用第二解码方式解码所述第二码流数据，得到非感兴趣区域图像前，所述方法还包括：当启用虚拟背景时，生成虚拟的非感兴趣区域图像；当不启用虚拟背景时，执行利用第二解码方式解码所述第二码流数据，得到非感兴趣区域图像。
在一种实施方式中，所述根据待解码数据中的包头数据，从所述待解码数据中获取第一码流数据与第二码流数据，包括：解析所述待解码数据中每个数据包的包头数据；当所述包头数据的预设标志位为第一数值时，确定所述数据包为第一码流数据；当所述包头数据的预设标志位为第二数值时，确定所述数据包为第二码流数据。
在一种实施方式中，所述利用第一解码方式解码所述第一码流数据，得到感兴趣区域图像，包括：利用第一解码方式解码所述第一码流数据中的数据包，得到多帧感兴趣区域图像；所述利用第二解码方式解码所述第二码流数据，得到非感兴趣区域图像，包括：利用第二解码方式解码所述第二码流数据中的数据包，得到多帧非感兴趣区域图像；所述合成所述感兴趣区域图像与所述非感兴趣区域图像，得到所述待解码数据对应的目标图像，包括：合成相同帧的所述感兴趣区域图像与所述非感兴趣区域图像，得到包括多帧目标图像的视频。
在一种实施方式中，所述方法还包括：将解码所述第二码流数据得到的非感兴趣区域图像进行缓存；当解析待解码的数据包为跳帧数据时，基于缓存的非感兴趣区域图像确定所述跳帧数据对应的非感兴趣区域图像。
在一种实施方式中，所述将解码所述第二码流数据得到的非感兴趣区域图像进行缓存，包括：将解码得到的最新一帧非感兴趣区域图像进行缓存；所述基于缓存的非感兴趣区域图像确定所述跳帧数据对应的非感兴趣区域图像，包括：将缓存的非感兴趣区域图像作为所述跳帧数据对应的非感兴趣区域图像。
根据本公开的第三方面，提供一种编码装置，包括：区域确定模块，被配置为在待编码图像中确定感兴趣区域图像与非感兴趣区域图像；第一编码模块，被配置为对所述感兴趣区域图像进行第一编码，生成第一码流数据；第二编码模块，被配置为对所述非感兴趣区域图像进行第二编码，生成第二码流数据；码流合并模块，被配置为合并所述第一码流数据与所述第二码流数据，得到所述待编码图像对应的目标码流数据；所述目标码流数据中所述第一码流数据与所述第二码流数据的包头数据不同。
在一种实施方式中，所述第一编码模块，被配置为：将所述待编码图像与位置信息输入第一编码器，以通过所述第一编码器对所述待编码图像中的感兴趣区域图像进行第一编码，生成所述第一码流数据；其中，所述位置信息用于表示所述待编码图像中感兴趣区域的位置或者非感兴趣区域的位置。
在一种实施方式中，所述第二编码模块，被配置为：将所述待编码图像与位置信息输入第二编码器，以通过所述第二编码器对所述待编码图像中的非感兴趣区域图像进行第二编码，生成所述第二码流数据；其中，所述位置信息用于表示所述待编码图像中感兴趣区域的位置或者非感兴趣区域的位置。
在一种实施方式中，所述装置还包括：图像获取模块，被配置为依次将待编码视频中的每一帧图像确定为所述待编码图像。
在一种实施方式中，所述第二编码模块，被配置为：基于所述待编码图像中的非感兴趣区域图像与上一帧图像中的非感兴趣区域图像，确定所述待编码图像是运动场景图像或静止场景图像；如果所述待编码图像是静止场景图像，则将所述待编码图像编码为跳帧数据。
在一种实施方式中，所述第二编码模块，还被配置为：如果所述待编码图像是运动场景图像，则对所述待编码图像中的所述非感兴趣区域图像进行模糊处理，并对模糊处理后的所述非感兴趣区域图像进行编码，生成所述第二码流数据。
在一种实施方式中，所述第二编码模块，被配置为通过以下方式确定所述待编码图像是运动场景图像或静止场景图像：计算所述待编码图像中的非感兴趣区域图像与上一帧图像中的非感兴趣区域图像的像素差值；当所述像素差值大于像素差阈值时，确定所述待编码图像是运动场景图像；当所述像素差值小于所述像素差阈值时，确定所述待编码图像是静止场景图像。
在一种实施方式中，所述区域确定模块，被配置为：利用图像识别算法在所述待编码图像中识别出感兴趣区域图像与非感兴趣区域图像。
根据本公开的第四方面，提供一种解码装置，包括：码流数据获取模块，被配置为根据待解码数据中的包头数据，从所述待解码数据中获取第一码流数据与第二码流数据；第一解码模块，被配置为利用第一解码方式解码所述第一码流数据，得到感兴趣区域图像；第二解码模块，被配置为利用第二解码方式解码所述第二码流数据，得到非感兴趣区域图像；图像合成模块，被配置为合成所述感兴趣区域图像与所述非感兴趣区域图像，得到所述待解码数据对应的目标图像。
在一种实施方式中，所述第二解码模块，被配置为：当启用虚拟背景时，生成虚拟的非感兴趣区域图像；当不启用虚拟背景时，执行利用第二解码方式解码所述第二码流数据，得到非感兴趣区域图像。
在一种实施方式中，所述码流数据获取模块，被配置为：解析所述待解码数据中每个数据包的包头数据；当所述包头数据的预设标志位为第一数值时，确定所述数据包为第一码流数据；当所述包头数据的预设标志位为第二数值时，确定所述数据包为第二码流数据。
在一种实施方式中，所述第一解码模块，被配置为利用第一解码方式解码所述第一码流数据中的数据包，得到多帧感兴趣区域图像；所述第二解码模块，被配置为利用第二解码方式解码所述第二码流数据中的数据包，得到多帧非感兴趣区域图像；所述图像合成模块，被配置为合成相同帧的所述感兴趣区域图像与所述非感兴趣区域图像，得到包括多帧目标图像的视频。
在一种实施方式中，所述第二解码模块，还被配置为：将解码所述第二码流数据得到的非感兴趣区域图像进行缓存；当解析待解码的数据包为跳帧数据时，基于缓存的非感兴趣区域图像确定所述跳帧数据对应的非感兴趣区域图像。
在一种实施方式中，所述第二解码模块，被配置为：将解码得到的最新一帧非感兴趣区域图像进行缓存；将缓存的非感兴趣区域图像作为所述跳帧数据对应的非感兴趣区域图像。
根据本公开实施方式的第五方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一种方法。
根据本公开实施方式的第六方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一种方法。
根据本公开实施方式的编码方法、解码方法、编码装置、解码装置、计算机可读存储介质及电子设备，对待编码图像中的感兴趣区域图像与非感兴趣区域图像分别进行第一编码与第二编码。一方面，实现了感兴趣区域图像的质量高于非感兴趣区域图像，能够更好地呈现感兴趣区域图像的信息，提高了图像整体质量，带给用户更好的视觉感受。另一方面，通过降低非感兴趣区域图像的编码量，向感兴趣区域图像分配了更多地带宽或存储资源，使得资源占比更加合理。例如在存储空间有限的情况下，使感兴趣区域图像对应的第一码流数据占用更多的存储空间，以保证图像中重要信息的存储；在带宽有限的情况下，使非感兴趣区域图像对应的第二码流数据占用更少的带宽，以减少卡顿、拥塞等现象，从而提高了资源的利用率。
附图说明
通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，其中：
图1示出本公开实施方式中一种编码方法的流程图；
图2示出本公开实施方式中一种生成第一码流数据与第二码流数据的示意图；
图3示出本公开实施方式中一种编码非感兴趣区域图像方法的流程图；
图4示出本公开实施方式中一种确定运动场景图像与静止场景图像方法的流程图；
图5示出本公开实施方式中一种解码方法的流程图；
图6示出本公开实施方式中一种区分第一码流数据与第二码流数据方法的流程图；
图7示出本公开实施方式中一种视频解码方法的流程图；
图8示出本公开实施方式中一种编码与解码流程架构示意图；
图9示出本公开实施方式中一种编码装置的结构示意图；
图10示出本公开实施方式中一种解码装置的结构示意图；以及
图11示出本公开实施方式中一种电子设备的结构示意图。
在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施方式来描述本公开的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本公开，而并非以任何方式限制本公开的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道，本公开的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
根据本公开的实施方式，提供一种编码方法、解码方法、编码装置、解码装置、计算机可读存储介质及电子设备。
在本文中，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
下面参考本公开的若干代表性实施方式，详细阐述本公开的原理和精神。
发明概述
本发明人发现，现有的编码方法大多对整张图像(或视频中的整帧图像)采用相同的编码方式，使得图像中重要信息与非重要信息的图像质量相同，占用资源比例不合理，无法很好地呈现重要信息。例如，非重要信息数据量较高时，占用较多的带宽或存储资源，导致资源浪费，或者为了降低非重要信息的数据量而采用压缩率较高的编码算法，导致重要信息的图像质量受损。
鉴于上述内容，本公开提供一种编码方法、解码方法、编码装置、解码装置、计算机可读存储介质及电子设备，对待编码图像中的感兴趣区域图像与非感兴趣区域图像分别进行第一编码与第二编码。一方面，实现了感兴趣区域图像的质量高于非感兴趣区域图像，能够更好地呈现感兴趣区域图像的信息，提高了图像整体质量，带给用户更好的视觉感受。另一方面，通过降低非感兴趣区域图像的编码量，向感兴趣区域图像分配了更多地带宽或存储资源，使得资源占比更加合理。例如在存储空间有限的情况下，使感兴趣区域图像对应的第一码流数据占用更多的存储空间，以保证图像中重要信息的存储；在带宽有限的情况下，使非感兴趣区域图像对应的第二码流数据占用更少的带宽，以减少卡顿、拥塞等现象，从而提高了资源的利用率。
在介绍了本公开的基本原理之后，下面具体介绍本公开的各种非限制性实施方式。
应用场景总览
需要注意的是，下述应用场景仅是为了便于理解本公开的精神和原理而示出，本公开的实施方式在此方面不受任何限制。相反，本公开的实施方式可以应用于适用的任何场景。
用户A向用户B发送图像时，在用户A的终端上通过本实施方式的编码方法对图像编码，并发送码流数据，在用户B的终端上通过本实施方式的解码方法对码流数据解码，得到图像。用户C在视频平台观看视频时，视频平台的服务器通过本实施方式的编码方法对视频中的每一帧图像编码，并发送码流数据，在用户C的终端上通过本实施方式的解码方法对码流数据解码，得到视频。
示例性方法
本公开的示例性实施方式首先提供一种编码方法，可以包括：
在待编码图像中确定感兴趣区域图像与非感兴趣区域图像；
对感兴趣区域图像进行第一编码，生成第一码流数据；
对非感兴趣区域图像进行第二编码，生成第二码流数据；
合并第一码流数据与第二码流数据，得到待编码图像对应的目标码流数据；目标码流数据中第一码流数据与第二码流数据的包头数据不同。
图1示出了该编码方法的示例性流程，下面分别对图1中的每个步骤进行具体说明。
参考图1，步骤S110中，在待编码图像中确定感兴趣区域图像与非感兴趣区域图像。
其中，待编码图像可以是单独的图像，例如用户手机相册中的图像，也可以是视频中的一帧图像，例如拍摄视频时，依次将视频中的每一帧图像作为待编码图像，进行编码并存储。
感兴趣区域(Region Of Interest，简称ROI)是指图像中重要信息所在的区域，包括但不限于：图像中的人脸区域，运动物体区域，文字区域等。图像中感兴趣区域以外的区域为非感兴趣区域，可以是图像中的环境、背景、不重要的人或物等区域。在不同场景中，用户感兴趣的图像内容可能不同，例如在视频通话或者视频直播的场景中，感兴趣区域可以是人脸区域，在视频跟踪的场景中，感兴趣区域可以是运动物体区域，因此可以采用与场景相适应的方式来对待编码图像分割感兴趣区域与非感兴趣区域。也可以由用户人为确定感兴趣区域与非感兴趣区域，例如，用户可以设置感兴趣区域所需满足的条件，如像素值的范围条件，形状条件，语义条件等；或者用户可以在待编码图像中手动框选一个区域，作为感兴趣区域；或者用户可以在待编码图像中选中一个局部(如可以选中一个点，一条线，一个局部区域等)，系统识别该局部所在的连通区域，作为感兴趣区域。
在一种实施方式中，可以利用图像识别算法在待编码图像中识别出感兴趣区域图像与非感兴趣区域图像。图像识别算法包括但不限于：
人脸检测算法，用于检测图像中的人脸，包括检测图像中所有人脸的位置，或者检测图像中特定人脸的位置，后者需要用到识别人脸身份的算法，包括人脸特征的对比等；通过人脸检测算法可以人脸所在的区域，例如为矩形框，即为感兴趣区域；
目标检测算法，用于识别图像中特定的目标，如动物、车辆等，可以将目标所在的区域确定为感兴趣区域；举例来说，用户可以预设输入一张或多张关于目标的图像，系统可以从中学习目标的特征，进而在待编码图像中识别该目标；
规则形状识别算法，用于识别图像中具有特定形状的物体，如圆形、正六边形等，以确定相应的感兴趣区域；举例来说，用户可以预先设置感兴趣区域所需满足的形状条件，系统通过规则形状识别算法识别待编码图像中满足该条件的区域，作为感兴趣区域。
在一种实施方式中，步骤S110可以通过以下步骤实现：
对待编码图像进行语义分割，得到待编码图像中多个区域的语义；
将语义为预设语义的区域确定为感兴趣区域，将感兴趣区域以外的区域确定为非感兴趣区域。
其中，语义分割可以对待编码图像进行像素级的语义分类，由此得到待编图像中不同区域的语义。预设语义是感兴趣语义，例如人脸，动物，车辆等，可以由用户人为确定，例如用户可以预先设置感兴趣区域所需满足的语义条件，表示哪些语义是用户所感兴趣的，即为预设语义。预设语义也可以由系统根据实际场景或任务确定，例如在视频通话的场景中，系统可以自动确定人脸为预设语义。预设语义可以是一个语义或多个语义。判断待编码图像中每个区域的语义是否预设语义，如果是，则该区域属于感兴趣区域，反之则属于非感兴趣区域。
需要说明的是，本示例性实施方式中可以以像素为单位，对待编码图像中的感兴趣区域与非感兴趣区域进行精确划分，例如通过上述语义分割的方式即可实现像素级划分。在一种实施方式中，为便于后续编码，也可以在最小编码单元的尺度上进行感兴趣区域与非感兴趣区域的划分，例如最小编码单元为2*2的像素单元，则感兴趣区域与非感兴趣区域可以是由多个2*2的像素单元组成的区域。
在一种实施方式中，在确定待编码图像中的感兴趣区域与非感兴趣区域时，可以将待编码图像分割为感兴趣区域图像与非感兴趣区域图像。例如，将待编码图像中的非感兴趣区域的像素值置零，仅保留感兴趣区域的像素值，则得到感兴趣区域图像；将待编码图像中的感兴趣区域的像素值置零，仅保留非感兴趣区域的像素值，则得到非感兴趣区域图像。
在另一种实施方式中，也可以不对待编码图像进行分割，通过位置信息来表示待编码图像中感兴趣区域与非感兴趣区域的位置。需要说明的是，在待编码图像中，感兴趣区域与非感兴趣区域互为补集，因此记录其中一个的位置信息即可同时得到两个区域的位置；为了后续便于分别对感兴趣区域图像与非感兴趣区域图像进行编码，也可以记录第一位置信息与第二位置信息，第一位置信息用于表示待编码图像中感兴趣区域的位置，第二位置信息用于表示待编码图像中非感兴趣区域的位置。
下面以感兴趣区域的位置为例，对位置信息的具体形式进行示例性说明：位置信息可以是感兴趣区域的边界坐标，通常应用于感兴趣区域为规则形状的情况下，例如感兴趣区域为矩形时，位置信息可以是矩形两个角点的坐标；位置信息也可以是与待编码图像尺寸相同的掩模(mask)，该掩模中感兴趣区域的值为1，非感兴趣区域的值为0，将待编码图像与掩模相乘，可以得到感兴趣区域图像，将待编码图像与反掩模(即掩模中1/0值反转后的掩模)相乘，可以得到非感兴趣区域图像。
继续参考图1，步骤S120中，对感兴趣区域图像进行第一编码，生成第一码流数据；
步骤S130中，对非感兴趣区域图像进行第二编码，生成第二码流数据。
本公开对于上述两个步骤的执行顺序不做限定。例如，可以先执行步骤S120以对感兴趣区域图像进行编码，再执行步骤S130以对非感兴趣区域图像进行编码；也可以先执行步骤S130再执行步骤S120；还可以同时执行步骤S120与S130，例如设置两个并行进程，分别执行第一编码与第二编码。
由于第一编码与第二编码的过程相关性较高，因此将两个步骤放在一起进行对比说明。
第一编码表示针对感兴趣区域图像的编码方式，第二编码表示针对非感兴趣区域图像的编码方式。本示例性实施方式中，编码方式是指从图像到码流数据的整个过程的处理方式，可以包括预处理、编码算法处理、后处理等多个环节。
第一码流数据对应于感兴趣区域图像，第二码流数据对应于非感兴趣区域图像。将第一码流数据与感兴趣区域图像的数据量之比称为第一数据比例，将第二码流数据与非感兴趣区域图像的数据量之比称为第二数据比例。由于感兴趣区域图像的信息更加重要，第一编码方式应当保留感兴趣区域图像中的较多信息；相比之下，第二编码方式无需保留非感兴趣区域图像中的较多信息。因此，第一数据比例可以高于第二数据比例。例如当待编码图像中感兴趣区域图像与非感兴趣区域图像的比例均为50％，即两者数据量相同时，经过编码后，第一码流数据的数据量应当高于第二码流数据，表示第一码流数据中保留的图像信息多于第二码流数据。
需要说明的是，第一数据比例或第二数据比例的概念并不等同于编码率。例如，假设感兴趣区域图像的数据量为Z1，在对感兴趣区域图像进行第一编码时，先进行预处理，预处理后感兴趣区域图像的数据量为Z2，再对预处理后的图像进行编码，得到第一码流数据，数据量为Z3；编码率仅仅考虑编码过程的数据量变化，为Z3/Z2；第一数据比例考虑每个环节的数据量变化，为Z3/Z1，与编码率并不相同。
为使第一数据比例高于第二数据比例，可以采取以下两方面处理措施：
(一)对感兴趣区域图像与非感兴趣区域图像采用不同的预处理方式
在一种实施方式中，可以在预处理环节对感兴趣区域图像进行上采样处理，例如通过超分辨率重建算法提高感兴趣区域图像的分辨率，以增加细节信息，使图像更清晰，然后进行编码。相对应的，可以不对非感兴趣区域图像进行预处理，则非感兴趣区域图像的分辨率低于感兴趣区域图像，直接对非感兴趣区域图像进行编码。由于在预处理环节增加了感兴趣区域图像的数据量，而未改变非感兴趣区域图像的数据量，可以实现第一数据比例高于第二数据比例。并且解码后得到的感兴趣区域图像更加清晰，从而实现了针对性的编码。
在一种实施方式中，可以不对感兴趣区域图像进行预处理，直接进行编码。相对应的，可以在预处理环节对非感兴趣区域图像进行图像简化处理。图像简化处理可以包括以下任意一种或多种方式：
下采样处理，减少非感兴趣区域图像的像素数，例如每两个像素中保留一个，以将非感兴趣区域图像的像素数减少至一半；
模糊处理，包括均值模糊算法、高斯模糊算法等，将一定范围内的像素值平滑化，以减小像素值间的差异，甚至将相邻的像素转换为相同的像素值，由此模糊图像中原本的信息；
打马赛克处理，可以采用固定像素值或随机像素值对需要打马赛克的区域进行填充，以替代原本的像素值，这样覆盖了图像中原本的信息；打马赛克的区域可以是非感兴趣区域图像中的敏感区域，例如检测非感兴趣区域图像中是否存在姓名、电话号码、地址等隐私信息，将隐私信息所在的区域确定为敏感区域，进行打马赛克处理。
通过图像简化处理，减少或简化了图像中的像素值，相当于去除了部分细节信息，这样在编码时能够有效降低编码量。例如，对非感兴趣区域图像进行模糊处理后，降低了图像的像素值梯度，使得像素值更加聚集，相同像素值更多，使得在对非感兴趣区域图像进行DPCM(Differential Pulse Code Modulation，差分脉冲编码调制)编码时，减小了图像中的残差值；进而，对残差值进行编码的开销更低，即编码量更低。
在一种实施方式中，可以在预处理环节对感兴趣区域图像进行上采样处理，并对非感兴趣区域图像进行图像简化处理，相当于综合了上述两种实施方式。
(二)对感兴趣区域图像与非感兴趣区域图像采用不同的编码算法
在一种实施方式中，对感兴趣区域图像采用第一编码算法，对非感兴趣区域图像采用第二编码算法，第一编码算法的编码率高于第二编码算法，例如第一编码算法可以是无损编码，第二编码算法可以是有损编码。这样在第一编码时，数据量变化较小，信息损失的相对较少，在第二编码时，数据量变化较大，信息损失的相对较多，可以实现第一数据比例高于第二数据比例，以及感兴趣区域图像与非感兴趣区域图像的质量差异化。
根据实际需求，可以采用上述任意处理措施来控制第一编码与第二编码。应当理解，也可以同时采用上述两方面处理措施。例如，在步骤S120中，采用第一编码算法对感兴趣区域图像进行编码；在步骤S130中，先对非感兴趣区域图像进行模糊处理，再采用第二编码算法进行编码。
在一种实施方式中，可以针对感兴趣区域图像与非感兴趣区域图像设置第一编码器与第二编码器，以分别执行第一编码与第二编码。下面进行具体说明。
第一编码：可以将待编码图像与上述位置信息输入第一编码器，以通过第一编码器对待编码图像中的感兴趣区域图像进行第一编码，生成第一码流数据。第一编码器可以识别位置信息，这样在对待编码图像编码时，可以跳过非感兴趣区域的像素。参考图2举例说明，在步骤S110中确定待编码图像I0中的第一位置信息与第二位置信息，分别为掩模MROI与反掩模RMROI。掩模MROI与反掩模RMROI中的白色区域值为1，黑色区域值为0，即MROI中的白色区域为感兴趣区域，RMROI中的白色区域为非感兴趣区域。将I0与MROI输入第一编码器，第一编码器读取MROI，对I0中的感兴趣区域图像进行第一编码，输出对应的第一码流数据。
第二编码：可以将待编码图像与上述位置信息输入第二编码器，以通过第二编码器对待编码图像中的非感兴趣区域图像进行第二编码，生成第二码流数据。第二编码器也可以识别位置信息，这样在对待编码图像编码时，可以跳过感兴趣区域的像素。参考图2举例说明，在步骤S110中确定待编码图像I0中的第一位置信息与第二位置信息，分别为掩模MROI与反掩模RMROI。将I0与RMROI输入第二编码器，第二编码器读取RMROI，对I0中的非感兴趣区域图像进行第二编码，输出对应的第二码流数据。
需要说明的是，上述输入第一编码器的位置信息与输入第二编码器的位置信息可以相同，例如均为表示感兴趣区域位置的掩模，也可以不同，例如分别为第一位置信息与第二位置信息。当输入两编码器的位置信息相同时，可以对两编码器进行相反的设置，例如位置信息均为掩模时，可以设置第一编码器对掩模中的“1”区域编码，第二编码器对掩模中的“0”区域编码。
第一编码器与第二编码器可以同时分别地对感兴趣区域图像与非感兴趣区域图像进行编码，两编码器的工作相互独立，相较于对整张待编码图像进行编码缩短了时间，提高了效率。并且，针对感兴趣区域图像与非感兴趣区域图像的编码需求，可以对第一编码器与第二编码器进行具体设置，由此实现了差异化编码，提高了编码灵活性。
继续参考图1，步骤S140中，合并第一码流数据与第二码流数据，得到待编码图像对应的目标码流数据；目标码流数据中第一码流数据与第二码流数据的包头数据不同。
第一码流数据与第二码流数据均包含了一部分图像信息，一般的，需要将第一码流数据与第二码流数据合并，得到完整的待编码图像的码流数据，即目标码流数据。可以通过信道将目标码流数据传输至解码端，或者将目标码流数据存储到电子设备。
图像或视频的码流数据一般是由数据包组成的，例如一个数据包为一帧数据。在一种实施方式中，可以将第一码流数据与第二码流数据的数据包放入同一个队列中，相当于对第一码流数据与第二码流数据进行了合并，将队列中的码流数据向解码端发送，提高了数据传输的效率。
数据包一般又由包头与包体组成，包头用于记录数据包的基本信息，包体用于记录数据包的数据。本示例性实施方式中，为了对第一码流数据与第二码流数据进行区分，可以设置第一码流数据与第二码流数据的包头数据不同。例如，在包头数据中设置预设标志位，其可以是包头数据中的一个预设字段，预设标志位为第一数值时，表示数据包为感兴趣区域图像，属于第一码流数据；预设标志位为第二数值时，表示数据包为非感兴趣区域图像，属于第二码流数据。这样在解码时可以通过包头数据区分第一码流数据与第二码流数据。示例性的，第一数值可以是1，第二数值可以是0，由此通过一个bit即可对第一码流数据与第二码流数据进行区分。
需要补充的是，包头数据中除了上述预设标志位以外，还可以包括数据包其他方面的基本信息，例如数据包id(Identifier，标识符)、时间戳、大小、编码算法等。本公开对此不做限定。
以上通过图1的4个步骤，说明了对待编码图像进行编码的流程。图1的4个步骤是对于单张图像的处理。在视频编码的场景中，一般需要对待编码视频中的每一帧图像进行编码，可以依次将待编码视频中的每一帧图像确定为待编码图像，执行图1的流程，实现方式与编码单张图像相同，对应得到每一帧的第一码流数据与第二码流数据，最终可以得到待编码视频的码流数据。
在一种实施方式中，上述第一编码器与第二编码器可以为视频编码器。将每一帧的感兴趣区域图像输入第一编码器，第一编码器逐帧编码后，输出包括多帧感兴趣区域图像数据包的第一码流数据；将每一帧的非感兴趣区域图像输入第二编码器，第二编码器逐帧编码后，输出包括多帧非感兴趣区域图像数据包的第二码流数据
在视频编码的流程中，还可以进一步简化数据。在一种实施方式中，参考图3所示，步骤S130可以进一步包括以下步骤S310与S320：
步骤S310，基于待编码图像中的非感兴趣区域图像与上一帧图像中的非感兴趣区域图像，确定待编码图像是运动场景图像或静止场景图像。
其中，待编码图像为当前处理的一帧图像，也可称为当前帧图像。由于非感兴趣区域图像大多为场景中的环境、背景等，在相邻两帧图像中很可能是静止状态，即待编码图像中的非感兴趣区域图像相对于上一帧图像中的非感兴趣区域图像无明显变化，此时可以确定待编码图像是静止场景图像，反之则为运动场景图像。
对于运动/静止场景图像的判断，可以通过帧差法、光流法、混合高斯模型等运动检测算法实现。下面对帧差法进行示例性说明。参考图4所示，步骤S310可以通过以下步骤S410至S430实现：
步骤S410，计算待编码图像中的非感兴趣区域图像与上一帧图像中的非感兴趣区域图像的像素差值；
步骤S420，当像素差值大于像素差阈值时，确定待编码图像是运动场景图像；
步骤S430，当像素差值小于像素差阈值时，确定待编码图像是静止场景图像。
其中，像素差值可以是两张非感兴趣区域图像中相同位置像素值之差的统计值，如可以是平均值或加权平均值(权重可以根据像素的位置与感兴趣区域的距离来确定)。两张非感兴趣区域图像的像素差值越大，说明场景的变化越大，运动程度越高。像素差阈值是预设用于衡量场景是否发生明显运动的标准，可以根据经验与实际情况设定。当像素差值大于像素差阈值时，说明待编码图像中的非感兴趣区域图像发生明显运动，待编码图像为运动场景图像；当像素差值小于像素差阈值时，说明待编码图像中的非感兴趣区域图像未发生明显运动，待编码图像为静止场景图像。
步骤S320，如果待编码图像是静止场景图像，则将待编码图像编码为跳帧数据。
由上可知，待编码图像是静止场景图像，意味着待编码图像中的非感兴趣区域图像与上一帧图像中的非感兴趣区域图像较为接近。在第二编码中，这种情况下无需对非感兴趣区域图像重复编码，将待编码图像中的非感兴趣区域图像表示为跳帧数据，而不对图像进行实际编码。跳帧数据表示未对这一帧进行实际编码，可以通过较少的位宽来记录跳帧数据。解码端解码跳帧数据时，可以直接采用前帧图像(可以是上一帧图像，当存在连续多帧图像为静止场景图像时，也可以是相隔一定数量的前帧)中的非感兴趣区域图像。可见，跳帧数据进一步简化了非感兴趣区域图像的数据，降低了编码量。
在一种实施方式中，可以将跳帧数据作为一种特殊的数据包，添加至第二码流数据中。由于跳帧数据不包含实际的码流数据，因此该数据包的包体可以为空，在包头数据中记录预设的跳帧数据即可区别于其他的普通码流数据包。例如，在包头数据中设置跳帧标志位，跳帧标志位的数值为1，表示该数据包为跳帧数据包，跳帧标志位的数值为0，表示该数据包为普通数据包。这样在解码时，从包头数据中读取到跳帧数据，即可确定数据包为跳帧数据包，无需解析包体数据。
在一种实施方式中，继续参考图3所示，步骤S130还可以包括：
步骤S330，如果待编码图像是运动场景图像，则对待编码图像中的非感兴趣区域图像进行模糊处理，并对模糊处理后的非感兴趣区域图像进行编码，生成第二码流数据。
模糊处理可以包括均值模糊算法、高斯模糊算法等，能够简化非感兴趣区域图像中的像素值，以降低编码量。
在一种实施方式中，如果待编码图像是运动场景图像，则可以对待编码图像进行模糊处理，得到模糊图像；然后将模糊图像与上述位置信息(如反掩模)输入第二编码器，第二编码器识别位置信息后，对模糊图像中的非感兴趣区域图像进行编码，生成第二码流数据。
通过图3的3个步骤，结合了跳帧与模糊处理这两种方式，来简化待编码视频中的非感兴趣区域图像，由此降低了第二编码中的编码量，提高了编码效率。
本公开的示例性实施方式还提供一种解码方法，用于对上述编码方法所编码得到的码流数据进行解码。参考图5所示，该解码方法可以包括以下步骤S510至S540：
步骤S510，根据待解码数据中的包头数据，从待解码数据中获取第一码流数据与第二码流数据。
待解码数据可以是上述目标码流数据，包括多个数据包，数据包的包头数据携带标识第一码流数据与第二码流数据的信息，因此可根据包头数据从待解码数据中拆分出第一码流数据与第二码流数据。
在一种实施方式中，参考图6所示，步骤S510可以通过以下步骤S610至S630实现：
步骤S610，解析待解码数据中每个数据包的包头数据；
步骤S620，当包头数据的预设标志位为第一数值时，确定数据包为第一码流数据；
步骤S630，当包头数据的预设标志位为第二数值时，确定数据包为第二码流数据。
其中，预设标志位可以是包头数据中的预设字段。读取该预设字段的数值后，判断其为第一数值还是第二数值，进而确定数据包为第一码流数据还是第二码流数据。这样在后续步骤中可以对第一码流数据与第二码流数据进行针对性解码。
步骤S520，利用第一解码方式解码第一码流数据，得到感兴趣区域图像；
步骤S530，利用第二解码方式解码第二码流数据，得到非感兴趣区域图像。
第一解码方式与上述第一编码方式相对应，第二解码方式与上述第二编码方式相对应。
在一种实施方式中，如果第一编码方式与第二编码方式所用的编码算法不同，则第一解码方式与第二解码方式所用的解码算法也不同。
在一种实施方式中，如果第一编码方式与第二编码方式所用的编码算法相同，而预处理方式不同，则第一解码方式与第二解码方式所用的解码算法也相同，针对解码得到的图像，可以进一步进行预处理的逆处理，将逆处理后的图像输出为感兴趣区域图像或非感兴趣区域图像，也可以不进行处理，将解码后的数据直接输出为感兴趣区域图像或非感兴趣区域图像。下面举例说明：
(1)在编码阶段，对感兴趣区域图像进行上采样处理，对非感兴趣区域图像不进行预处理，并采用相同的编码算法对两部分图像编码，得到第一码流数据与第二码流数据。在解码阶段，采用与编码算法对应的解码算法解码第一码流数据与第二码流数据，得到感兴趣区域图像与非感兴趣区域图像。感兴趣区域图像为上采样处理后的图像，清晰度较高，无需进一步的处理，直接输出；非感兴趣区域图像也可以直接输出。
(2)在编码阶段，对感兴趣区域图像不进行预处理，对非感兴趣区域图像进行图像简化处理，并采用相同的编码算法对两部分图像编码，得到第一码流数据与第二码流数据。在解码阶段，采用与编码算法对应的解码算法解码第一码流数据与第二码流数据，得到感兴趣区域图像与非感兴趣区域图像。感兴趣区域图像可以直接输出；非感兴趣区域图像为图像简化处理后的图像，可以直接输出，也可以进行与图像简化相对应的图像增强处理。例如，在编码阶段对非感兴趣区域图像进行模糊处理的情况下，可以在解码出非感兴趣区域图像后，进行去模糊处理，然后输出；在编码阶段对非感兴趣区域图像进行下采样处理的情况下，可以在解码出非感兴趣区域图像后，进行上采样处理，然后输出。
在一种实施方式中，可以通过第一解码器与第二解码器分别对第一码流数据与第二码流数据进行解码。第一解码器与第二解码器被配置为与上述第一编码器与第二编码器相对应，采用对应的解码方式分别解码第一码流数据与第二码流数据的数据包；第一解码器输出感兴趣区域图像，第二解码器输出非感兴趣区域图像。
步骤S540，合成感兴趣区域图像与非感兴趣区域图像，得到待解码数据对应的目标图像。
感兴趣区域图像与非感兴趣区域图像一般为互补的图像，即感兴趣区域图像中缺失非感兴趣区域的信息(例如非感兴趣区域的像素值为0)，非感兴趣区域图像中缺失感兴趣区域的信息(例如感兴趣区域的像素值为0)，将感兴趣区域图像与非感兴趣区域图像合成，例如可以将感兴趣区域图像与非感兴趣区域图像相加，得到完整的目标图像。
需要说明的是，步骤S520中得到的感兴趣区域图像与步骤S530中得到的非感兴趣区域图像可能分辨率不同，一般的，感兴趣区域图像的分辨率高于非感兴趣区域图像，针对于该情况，可以在非感兴趣区域图像中增加像素，并填充相邻像素值，使其与感兴趣区域图像的分辨率相同，进而再进行合成。
在一种实施方式中，当启用虚拟背景时，可以生成虚拟的非感兴趣区域图像；当不启用虚拟背景时，可以执行步骤S530。其中，虚拟背景可以是图像或视频软件中的一项功能，启用该功能后，无需对第二码流数据进行解码，采用虚拟的非感兴趣区域图像即可。虚拟的非感兴趣区域图像可以是软件预置的背景图像，如可以是卡通图案、纹理、风景等。由此，进一步降低了解码量，并提供了更为多样化的图像或视频观看体验。
在一种实施方式中，待解码数据可以是视频编码后的码流数据，其解码流程可以参考图7中的步骤S710至S740：
步骤S710，依次解析待解码数据中每个数据包的包头数据，以确定每个数据包属于第一码流数据或第二码流数据；
步骤S720，利用第一解码方式解码第一码流数据中的数据包，得到多帧感兴趣区域图像；
步骤S730，利用第二解码方式解码第二码流数据中的数据包，得到多帧非感兴趣区域图像；
步骤S740，合成相同帧的感兴趣区域图像与非感兴趣区域图像，得到包括多帧目标图像的视频。
上述步骤S710至S740，分别与图5中的步骤S510至S540相对应。需要说明的是，在视频的码流数据中，通常记录帧信息，例如包头数据中包括图像的时间戳，由此可以确定图像的帧序列。在步骤S740中，可以将相同帧的感兴趣区域图像与非感兴趣区域图像合成，例如将时间戳相同的感兴趣区域图像与非感兴趣区域图像合成，得到一帧目标图像；进而，在解码得到每一帧目标图像后，得到待解码数据对应的完整视频。
在一种实施方式中，上述第一解码器与第二解码器可以为视频解码器。依次解析待解码数据中的每个数据包后，如果判断数据包属于第一码流数据，则输入第一解码器，如果判断数据包属于第二码流数据，则输入第二解码器；第一解码器对第一码流数据中的数据包逐个解码后，输出多帧感兴趣区域图像所形成的视频流；第二解码器对第二码流数据中的数据包逐个解码后，输出多帧非感兴趣区域图像所形成的视频流。
在一种实施方式中，解码方法还可以包括以下步骤：
将解码第二码流数据得到的非感兴趣区域图像进行缓存；
当解析待解码的数据包为跳帧数据时，基于缓存的非感兴趣区域图像确定跳帧数据对应的非感兴趣区域图像。
其中，跳帧数据可以是待解码数据中的一种特殊的数据包，其不包含实际的码流数据。示例性的，当从包头数据中读取预设的数据或字符时，例如读取包头数据中的跳帧标志位数值为1，确定该数据包为跳帧数据，无需解析包体数据(该数据包的包体数据可能为空)。可以从缓存中获取已解码的前帧非感兴趣区域图像，并确定当前帧的非感兴趣区域图像，即跳帧数据对应的非感兴趣区域图像。
在一种实施方式中，可以将解码得到的最新一帧非感兴趣区域图像进行缓存；进而，当解析到跳帧数据时，将缓存的非感兴趣区域图像作为跳帧数据对应的非感兴趣区域图像。即，跳帧数据对应的非感兴趣区域图像为最近一帧非跳帧数据对应的非感兴趣区域图像。这样在缓存中保存一帧非感兴趣区域图像即可实现跳帧数据的处理，非常方便，且不占用过多的缓存资源。
在一种实施方式中，也可以从缓存中获取多帧非感兴趣区域图像，基于多帧非感兴趣区域图像进行运动估计，以确定当前帧的非感兴趣区域图像。
通过上述跳帧数据的处理，进一步降低了解码量，提高了解码效率，有利于提供更为流畅的视频观看体验。
图8示出了本示例性实施方式中编码与解码的整体架构示意图，包括编码端与解码端两部分，下面分别说明。
编码端的编码处理流程包括：
将待编码视频流输入编码端，首先对其进行ROI检测，确定其中每一帧图像的第一位置信息与第二位置信息，第一位置信息表示感兴趣区域的位置，第二位置信息表示非感兴趣区域的位置；
将待编码视频流分为两路视频流，第一视频流包括待编码视频流与第一位置信息，第二视频流包括待编码视频流与第二位置信息；
将第一视频流输入第一编码器，对其中的感兴趣区域图像进行第一编码，输出第一码流数据；
将第二视频流中的每一帧图像进行运动场景检测；
如果第二视频流中的图像为静止场景，则进行跳帧处理，生成对应的跳帧数据；
如果第二视频流中的图像为运动场景，则进行模糊与打码(打马赛克)处理，生成处理后的第二视频流；
将处理后的第二视频流输入第二编码器，对其中的非感兴趣区域图像进行第二编码，输出第二码流数据；
将第一码流数据、第二码流数据、跳帧数据合并到码流传输队列中，形成目标码流数据，通过队列传输至解码端。
解码端的解码处理流程包括：
接收上述目标码流数据后，首先进行包头解析，以确定每个数据包属于第一码流数据、第二码流数据还是跳帧数据；
如果属于第一码流数据，则将数据包输入第一解码器，进行解码，生成ROI视频流，输入至图像合成器中；
如果属于第二码流数据，则将数据包输入第二解码器，进行解码，输出解码后的非ROI视频流；
如果属于跳帧数据，则读取缓存图像作为对应的非ROI图像，输出缓存的非ROI视频流；
解码后的非ROI视频流与缓存的非ROI视频流可以合并为实际ROI视频流；
虚拟背景生成器可以输出虚拟非ROI视频流，根据用户设置或场景需求，将实际ROI视频流与虚拟ROI视频流中的一路输入至图像合成器；
当启用虚拟背景时，选择将虚拟非ROI视频流输入至图像合成器，与上述ROI视频流进行相同帧图像的合成，输出目标视频流；
当未启动虚拟背景时，选择将实际ROI视频流输入至图像合成器，与上述ROI视频流进行相同帧图像的合成，输出目标视频流。
示例性装置
在介绍了本公开示例性实施方式的编码方法与解码方法之后，接下来，参考图9和图10对本公开示例性实施方式的编码装置与解码装置进行说明。
参考图9所示，编码装置900可以包括：
区域确定模块910，被配置为在待编码图像中确定感兴趣区域图像与非感兴趣区域图像；
第一编码模块920，被配置为对感兴趣区域图像进行第一编码，生成第一码流数据；
第二编码模块930，被配置为对非感兴趣区域图像进行第二编码，生成第二码流数据；
码流合并模块940，被配置为合并第一码流数据与第二码流数据，得到待编码图像对应的目标码流数据；目标码流数据中第一码流数据与第二码流数据的包头数据不同。
在一种实施方式中，第一编码模块920，被配置为：
将待编码图像与位置信息输入第一编码器，以通过第一编码器对待编码图像中的感兴趣区域图像进行第一编码，生成第一码流数据。其中，位置信息用于表示待编码图像中感兴趣区域的位置或者非感兴趣区域的位置。
在一种实施方式中，第二编码模块930，被配置为：
将待编码图像与位置信息输入第二编码器，以通过第二编码器对待编码图像中的非感兴趣区域图像进行第二编码，生成第二码流数据。其中，位置信息用于表示待编码图像中感兴趣区域的位置或者非感兴趣区域的位置。
在一种实施方式中，编码装置900还包括：
图像获取模块，被配置为依次将待编码视频中的每一帧图像确定为待编码图像。
在一种实施方式中，第二编码模块930，被配置为：
基于待编码图像中的非感兴趣区域图像与上一帧图像中的非感兴趣区域图像，确定待编码图像是运动场景图像或静止场景图像；
如果待编码图像是静止场景图像，则将待编码图像编码为跳帧数据。
在一种实施方式中，第二编码模块930，还被配置为：
如果待编码图像是运动场景图像，则对待编码图像中的非感兴趣区域图像进行模糊处理，并对模糊处理后的非感兴趣区域图像进行编码，生成第二码流数据。
在一种实施方式中，第二编码模块930，被配置为通过以下方式确定待编码图像是运动场景图像或静止场景图像：
计算待编码图像中的非感兴趣区域图像与上一帧图像中的非感兴趣区域图像的像素差值；
当像素差值大于像素差阈值时，确定待编码图像是运动场景图像；
当像素差值小于像素差阈值时，确定待编码图像是静止场景图像。
在一种实施方式中，区域确定模块910，被配置为：
利用图像识别算法在待编码图像中识别出感兴趣区域图像与非感兴趣区域图像。
参考图10所示，解码装置1000可以包括：
码流数据获取模块1010，被配置为根据待解码数据中的包头数据，从待解码数据中获取第一码流数据与第二码流数据；
第一解码模块1020，被配置为利用第一解码方式解码第一码流数据，得到感兴趣区域图像；
第二解码模块1030，被配置为利用第二解码方式解码第二码流数据，得到非感兴趣区域图像；
图像合成模块1040，被配置为合成感兴趣区域图像与非感兴趣区域图像，得到待解码数据对应的目标图像。
在一种实施方式中，第二解码模块1030，被配置为：
当启用虚拟背景时，生成虚拟的非感兴趣区域图像；
当不启用虚拟背景时，执行利用第二解码方式解码第二码流数据，得到非感兴趣区域图像。
在一种实施方式中，码流数据获取模块1010，被配置为：
解析待解码数据中每个数据包的包头数据；
当包头数据的预设标志位为第一数值时，确定数据包为第一码流数据；
当包头数据的预设标志位为第二数值时，确定数据包为第二码流数据。
在一种实施方式中，第一解码模块1020，被配置为利用第一解码方式解码第一码流数据中的数据包，得到多帧感兴趣区域图像；
第二解码模块1030，被配置为利用第二解码方式解码第二码流数据中的数据包，得到多帧非感兴趣区域图像；
图像合成模块1040，被配置为合成相同帧的感兴趣区域图像与非感兴趣区域图像，得到包括多帧目标图像的视频。
在一种实施方式中，第二解码模块1030，还被配置为：
将解码第二码流数据得到的非感兴趣区域图像进行缓存；
当解析待解码的数据包为跳帧数据时，基于缓存的非感兴趣区域图像确定跳帧数据对应的非感兴趣区域图像。
在一种实施方式中，第二解码模块1030，被配置为：
将解码得到的最新一帧非感兴趣区域图像进行缓存；
将缓存的非感兴趣区域图像作为跳帧数据对应的非感兴趣区域图像。
此外，本公开实施方式的其他具体细节在上述方法的发明实施方式中已经详细说明，在此不再赘述。
示例性存储介质
下面对本公开示例性实施方式的存储介质进行说明。
本示例性实施方式中，可以通过程序产品实现上述方法，如可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
该程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RE等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言-诸如Java、C++等，还包括常规的过程式程序设计语言-诸如"C"语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
示例性电子设备
参考图11对本公开示例性实施方式的电子设备进行说明。
图11显示的电子设备1100仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图11所示，电子设备1100以通用计算设备的形式表现。电子设备1100的组件可以包括但不限于：至少一个处理单元1110、至少一个存储单元1120、连接不同系统组件(包括存储单元1120和处理单元1110)的总线1130。
其中，存储单元存储有程序代码，程序代码可以被处理单元1110执行，使得处理单元1110执行本说明书上述"示例性方法"部分中描述的根据本公开各种示例性实施方式的步骤。例如，处理单元1110可以执行如图1所示的方法步骤等。
存储单元1120可以包括易失性存储单元，例如随机存取存储单元(RAM)1121和/或高速缓存存储单元1122，还可以进一步包括只读存储单元(ROM)1123。
存储单元1120还可以包括具有一组(至少一个)程序模块1125的程序/实用工具1124，这样的程序模块1125包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线1130可以包括数据总线、地址总线和控制总线。
电子设备1100也可以与一个或多个外部设备1200(例如键盘、指向设备、蓝牙设备等)通信，这种通信可以通过输入/输出(I/O)接口1140进行。电子设备1100还可以通过网络适配器1150与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器1150通过总线1130与电子设备1100的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1100使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
应当注意，尽管在上文详细描述中提及了装置的若干模块或子模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
此外，尽管在附图中以特定顺序描述了本公开方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
虽然已经参考若干具体实施方式描述了本公开的精神和原理，但是应该理解，本公开并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本公开旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (30)

1.一种编码方法，其特征在于，包括：
依次将待编码视频中的每一帧图像确定为待编码图像；
在所述待编码图像中确定感兴趣区域图像与非感兴趣区域图像；
对所述感兴趣区域图像进行第一编码，生成第一码流数据；
对所述非感兴趣区域图像进行第二编码，生成第二码流数据；其中，所述对所述非感兴趣区域图像进行第二编码，生成第二码流数据，包括：基于所述待编码图像中的非感兴趣区域图像与上一帧图像中的非感兴趣区域图像，确定所述待编码图像是运动场景图像或静止场景图像；如果所述待编码图像是静止场景图像，则将所述待编码图像中的所述非感兴趣区域图像编码为跳帧数据；如果所述待编码图像是运动场景图像，则对所述待编码图像中的所述非感兴趣区域图像进行模糊处理，并对模糊处理后的所述非感兴趣区域图像进行编码，生成所述第二码流数据；
合并所述第一码流数据、所述第二码流数据与所述跳帧数据，得到所述待编码图像对应的目标码流数据；所述目标码流数据中所述第一码流数据、所述第二码流数据与所述跳帧数据的包头数据不同。
2.根据权利要求1所述的方法，其特征在于，所述对所述感兴趣区域图像进行第一编码，生成第一码流数据，包括：
将所述待编码图像与位置信息输入第一编码器，以通过所述第一编码器对所述待编码图像中的感兴趣区域图像进行第一编码，生成所述第一码流数据；
其中，所述位置信息用于表示所述待编码图像中感兴趣区域的位置或者非感兴趣区域的位置。
3.根据权利要求1所述的方法，其特征在于，所述对所述非感兴趣区域图像进行第二编码，生成第二码流数据，包括：
将所述待编码图像与位置信息输入第二编码器，以通过所述第二编码器对所述待编码图像中的非感兴趣区域图像进行第二编码，生成所述第二码流数据；
其中，所述位置信息用于表示所述待编码图像中感兴趣区域的位置或者非感兴趣区域的位置。
4.根据权利要求1所述的方法，其特征在于，所述在所述待编码图像中确定感兴趣区域图像与非感兴趣区域图像，包括：
对所述待编码图像进行语义分割，得到所述待编码图像中多个区域的语义；
将语义为预设语义的区域确定为感兴趣区域，将感兴趣区域以外的区域确定为非感兴趣区域，以得到所述感兴趣区域图像与所述非感兴趣区域图像。
5.根据权利要求1所述的方法，其特征在于，所述目标码流数据的包头数据中设有跳帧标志位，用于表示所述目标码流数据中的数据包是否为所述跳帧数据。
6.根据权利要求1所述的方法，其特征在于，所述对所述待编码图像中的所述非感兴趣区域图像进行模糊处理，并对模糊处理后的所述非感兴趣区域图像进行编码，生成所述第二码流数据，包括：
对所述待编码图像进行模糊处理，得到模糊图像，将所述模糊图像与位置信息输入第二编码器，使所述第二编码器识别所述位置信息后对所述模糊图像中的非感兴趣区域图像进行编码，生成所述第二码流数据；
其中，所述位置信息用于表示所述待编码图像中感兴趣区域的位置或者非感兴趣区域的位置。
7.根据权利要求1所述的方法，其特征在于，所述基于所述待编码图像中的非感兴趣区域图像与上一帧图像中的非感兴趣区域图像，确定所述待编码图像是运动场景图像或静止场景图像，包括：
计算所述待编码图像中的非感兴趣区域图像与上一帧图像中的非感兴趣区域图像的像素差值；
当所述像素差值大于像素差阈值时，确定所述待编码图像是运动场景图像；
当所述像素差值小于所述像素差阈值时，确定所述待编码图像是静止场景图像。
8.根据权利要求1所述的方法，其特征在于，所述在待编码图像中确定感兴趣区域图像与非感兴趣区域图像，包括：
利用图像识别算法在所述待编码图像中识别出感兴趣区域图像与非感兴趣区域图像。
9.一种解码方法，其特征在于，包括：
根据待解码数据中每个数据包的包头数据，确定所述数据包为第一码流数据、第二码流数据或跳帧数据；
利用第一解码方式解码所述第一码流数据，得到感兴趣区域图像；
利用第二解码方式解码所述第二码流数据，得到所述第二码流数据对应的非感兴趣区域图像；所述第二码流数据对应的非感兴趣区域图像是原始图像中的非感兴趣区域图像经过模糊处理后的图像；
基于缓存的非感兴趣区域图像确定所述跳帧数据对应的非感兴趣区域图像；所述缓存的非感兴趣区域图像为解码所述第二码流数据得到的非感兴趣区域图像；
合成所述感兴趣区域图像、所述第二码流数据对应的非感兴趣区域图像与所述跳帧数据对应的非感兴趣区域图像，得到所述待解码数据对应的视频；
其中，在利用第二解码方式解码所述第二码流数据，得到所述第二码流数据对应的非感兴趣区域图像前，所述方法还包括：
当启用虚拟背景时，生成虚拟的非感兴趣区域图像；
当不启用虚拟背景时，执行利用第二解码方式解码所述第二码流数据，得到所述第二码流数据对应的非感兴趣区域图像。
10.根据权利要求9所述的方法，其特征在于，所述基于缓存的非感兴趣区域图像确定所述跳帧数据对应的非感兴趣区域图像，包括：
获取缓存的多帧非感兴趣区域图像，基于所述多帧非感兴趣区域图像进行运动估计，以确定当前帧的非感兴趣区域图像。
11.根据权利要求9所述的方法，其特征在于，所述根据待解码数据中每个数据包的包头数据，确定所述数据包为第一码流数据、第二码流数据或跳帧数据，包括：
解析所述待解码数据中每个数据包的包头数据；
当所述包头数据的预设标志位为第一数值时，确定所述数据包为第一码流数据；
当所述包头数据的预设标志位为第二数值时，确定所述数据包为第二码流数据。
12.根据权利要求9所述的方法，其特征在于，所述合成所述感兴趣区域图像、所述第二码流数据对应的非感兴趣区域图像与所述跳帧数据对应的非感兴趣区域图像，得到所述待解码数据对应的视频，包括：
合成相同帧的所述感兴趣区域图像、所述第二码流数据对应的非感兴趣区域图像与所述跳帧数据对应的非感兴趣区域图像，得到包括多帧目标图像的视频。
13.根据权利要求9所述的方法，其特征在于，所述根据待解码数据中每个数据包的包头数据，确定所述数据包为第一码流数据、第二码流数据或跳帧数据，包括：
当所述包头数据中的跳帧标志位数值为1时，确定所述数据包为跳帧数据。
14.根据权利要求9所述的方法，其特征在于，所述基于缓存的非感兴趣区域图像确定所述跳帧数据对应的非感兴趣区域图像，包括：
将缓存的非感兴趣区域图像作为所述跳帧数据对应的非感兴趣区域图像；所述缓存的非感兴趣区域图像为解码得到的最新一帧非感兴趣区域图像。
15.一种编码装置，其特征在于，包括：
图像获取模块，被配置为依次将待编码视频中的每一帧图像确定为待编码图像；
区域确定模块，被配置为在所述待编码图像中确定感兴趣区域图像与非感兴趣区域图像；
第一编码模块，被配置为对所述感兴趣区域图像进行第一编码，生成第一码流数据；
第二编码模块，被配置为对所述非感兴趣区域图像进行第二编码，生成第二码流数据；其中，所述对所述非感兴趣区域图像进行第二编码，生成第二码流数据，包括：基于所述待编码图像中的非感兴趣区域图像与上一帧图像中的非感兴趣区域图像，确定所述待编码图像是运动场景图像或静止场景图像；如果所述待编码图像是静止场景图像，则将所述待编码图像中的所述非感兴趣区域图像编码为跳帧数据；如果所述待编码图像是运动场景图像，则对所述待编码图像中的所述非感兴趣区域图像进行模糊处理，并对模糊处理后的所述非感兴趣区域图像进行编码，生成所述第二码流数据；
码流合并模块，被配置为合并所述第一码流数据、所述第二码流数据与所述跳帧数据，得到所述待编码图像对应的目标码流数据；所述目标码流数据中所述第一码流数据、所述第二码流数据与所述跳帧数据的包头数据不同。
16.根据权利要求15所述的装置，其特征在于，所述第一编码模块，被配置为：
将所述待编码图像与位置信息输入第一编码器，以通过所述第一编码器对所述待编码图像中的感兴趣区域图像进行第一编码，生成所述第一码流数据；
其中，所述位置信息用于表示所述待编码图像中感兴趣区域的位置或者非感兴趣区域的位置。
17.根据权利要求15所述的装置，其特征在于，所述第二编码模块，被配置为：
将所述待编码图像与位置信息输入第二编码器，以通过所述第二编码器对所述待编码图像中的非感兴趣区域图像进行第二编码，生成所述第二码流数据；
其中，所述位置信息用于表示所述待编码图像中感兴趣区域的位置或者非感兴趣区域的位置。
18.根据权利要求15所述的装置，其特征在于，所述在所述待编码图像中确定感兴趣区域图像与非感兴趣区域图像，包括：
对所述待编码图像进行语义分割，得到所述待编码图像中多个区域的语义；
将语义为预设语义的区域确定为感兴趣区域，将感兴趣区域以外的区域确定为非感兴趣区域，以得到所述感兴趣区域图像与所述非感兴趣区域图像。
19.根据权利要求15所述的装置，其特征在于，所述目标码流数据的包头数据中设有跳帧标志位，用于表示所述目标码流数据中的数据包是否为所述跳帧数据。
20.根据权利要求15所述的装置，其特征在于，所述对所述待编码图像中的所述非感兴趣区域图像进行模糊处理，并对模糊处理后的所述非感兴趣区域图像进行编码，生成所述第二码流数据，包括：
对所述待编码图像进行模糊处理，得到模糊图像，将所述模糊图像与位置信息输入第二编码器，使所述第二编码器识别所述位置信息后对所述模糊图像中的非感兴趣区域图像进行编码，生成所述第二码流数据；
其中，所述位置信息用于表示所述待编码图像中感兴趣区域的位置或者非感兴趣区域的位置。
21.根据权利要求15所述的装置，其特征在于，所述第二编码模块，被配置为通过以下方式确定所述待编码图像是运动场景图像或静止场景图像：
计算所述待编码图像中的非感兴趣区域图像与上一帧图像中的非感兴趣区域图像的像素差值；
当所述像素差值大于像素差阈值时，确定所述待编码图像是运动场景图像；
当所述像素差值小于所述像素差阈值时，确定所述待编码图像是静止场景图像。
22.根据权利要求15所述的装置，其特征在于，所述区域确定模块，被配置为：
利用图像识别算法在所述待编码图像中识别出感兴趣区域图像与非感兴趣区域图像。
23.一种解码装置，其特征在于，包括：
码流数据获取模块，被配置为根据待解码数据中每个数据包的包头数据，确定所述数据包为第一码流数据、第二码流数据或跳帧数据；
第一解码模块，被配置为利用第一解码方式解码所述第一码流数据，得到感兴趣区域图像；
第二解码模块，被配置为利用第二解码方式解码所述第二码流数据，得到所述第二码流数据对应的非感兴趣区域图像；基于缓存的非感兴趣区域图像确定所述跳帧数据对应的非感兴趣区域图像；所述缓存的非感兴趣区域图像为解码所述第二码流数据得到的非感兴趣区域图像；所述第二码流数据对应的非感兴趣区域图像是原始图像中的非感兴趣区域图像经过模糊处理后的图像；
图像合成模块，被配置为合成所述感兴趣区域图像、所述第二码流数据对应的非感兴趣区域图像与所述跳帧数据对应的非感兴趣区域图像，得到所述待解码数据对应的视频；
其中，所述第二解码模块，被配置为：
当启用虚拟背景时，生成虚拟的非感兴趣区域图像；
当不启用虚拟背景时，执行利用第二解码方式解码所述第二码流数据，得到所述第二码流数据对应的非感兴趣区域图像。
24.根据权利要求23所述的装置，其特征在于，所述基于缓存的非感兴趣区域图像确定所述跳帧数据对应的非感兴趣区域图像，包括：
获取缓存的多帧非感兴趣区域图像，基于所述多帧非感兴趣区域图像进行运动估计，以确定当前帧的非感兴趣区域图像。
25.根据权利要求23所述的装置，其特征在于，所述码流数据获取模块，被配置为：
解析所述待解码数据中每个数据包的包头数据；
当所述包头数据的预设标志位为第一数值时，确定所述数据包为第一码流数据；
当所述包头数据的预设标志位为第二数值时，确定所述数据包为第二码流数据。
26.根据权利要求23所述的装置，其特征在于，所述图像合成模块，被配置为合成相同帧的所述感兴趣区域图像、所述第二码流数据对应的非感兴趣区域图像与所述跳帧数据对应的非感兴趣区域图像，得到包括多帧目标图像的视频。
27.根据权利要求23所述的装置，其特征在于，所述根据待解码数据中每个数据包的包头数据，确定所述数据包为第一码流数据、第二码流数据或跳帧数据，包括：
当所述包头数据中的跳帧标志位数值为1时，确定所述数据包为跳帧数据。
28.根据权利要求23所述的装置，其特征在于，所述基于缓存的非感兴趣区域图像确定所述跳帧数据对应的非感兴趣区域图像，包括：
将缓存的非感兴趣区域图像作为所述跳帧数据对应的非感兴趣区域图像；所述缓存的非感兴趣区域图像为解码得到的最新一帧非感兴趣区域图像。
29.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～14任一项所述的方法。
30.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1～14任一项所述的方法。
CN202110168540.0A 2021-02-07 2021-02-07 编码方法、解码方法、装置、存储介质及电子设备 Active CN112954398B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110168540.0A CN112954398B (zh) 2021-02-07 2021-02-07 编码方法、解码方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110168540.0A CN112954398B (zh) 2021-02-07 2021-02-07 编码方法、解码方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN112954398A CN112954398A (zh) 2021-06-11
CN112954398B true CN112954398B (zh) 2023-03-24

Family

ID=76243203

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110168540.0A Active CN112954398B (zh) 2021-02-07 2021-02-07 编码方法、解码方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN112954398B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113573140B (zh) * 2021-07-09 2022-05-03 西安交通大学 一种支持人脸检测与实时超分辨率的码率自适应决策方法
CN113660495A (zh) * 2021-08-11 2021-11-16 易谷网络科技股份有限公司 实时视频流压缩方法、装置、电子设备以及存储介质
CN113923476B (zh) * 2021-09-30 2024-03-26 支付宝(杭州)信息技术有限公司 一种基于隐私保护的视频压缩方法及装置
CN114007130A (zh) * 2021-10-29 2022-02-01 维沃移动通信有限公司 数据传输方法、装置、电子设备及存储介质
GB202215675D0 (en) * 2022-10-21 2022-12-07 V Nova Int Ltd Distributed analysis of a multi-layer signal encoding

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103002289A (zh) * 2013-01-08 2013-03-27 中国电子科技集团公司第三十八研究所 面向监控应用的视频恒定质量编码装置及其编码方法
CN106162177A (zh) * 2016-07-08 2016-11-23 腾讯科技（深圳）有限公司 视频编码方法和装置
CN110213587A (zh) * 2019-07-08 2019-09-06 北京达佳互联信息技术有限公司 视频编码方法、装置、电子设备及存储介质
CN110536138A (zh) * 2018-05-25 2019-12-03 杭州海康威视数字技术股份有限公司 一种有损压缩编码方法、装置和系统级芯片

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1872590B1 (en) * 2005-04-19 2014-10-22 Telecom Italia S.p.A. Method and apparatus for digital image coding
CN101742296B (zh) * 2008-11-14 2016-01-20 北京中星微电子有限公司 降低码流数据量波动的视频编解码方法及装置
CN101777180B (zh) * 2009-12-23 2012-07-04 中国科学院自动化研究所 基于背景建模和能量最小化的复杂背景实时替换方法
KR102317938B1 (ko) * 2019-03-19 2021-10-27 한국전자기술연구원 타일 기반 스트리밍을 위한 분할영상 분산 디코딩 방법 및 시스템
CN110636294B (zh) * 2019-09-27 2024-04-09 腾讯科技（深圳）有限公司 视频解码方法及装置，视频编码方法及装置
CN110572579B (zh) * 2019-09-30 2021-09-14 联想(北京)有限公司 图像处理方法、装置及电子设备
CN111105440B (zh) * 2019-11-29 2023-07-07 北京金山云网络技术有限公司 视频中目标物体的跟踪方法、装置、设备及存储介质
CN111612796A (zh) * 2020-04-27 2020-09-01 西安万像电子科技有限公司 图像处理方法及装置
CN112004114B (zh) * 2020-08-31 2022-07-05 广州市百果园信息技术有限公司 视频处理方法、装置、可读存储介质及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103002289A (zh) * 2013-01-08 2013-03-27 中国电子科技集团公司第三十八研究所 面向监控应用的视频恒定质量编码装置及其编码方法
CN106162177A (zh) * 2016-07-08 2016-11-23 腾讯科技（深圳）有限公司 视频编码方法和装置
CN110536138A (zh) * 2018-05-25 2019-12-03 杭州海康威视数字技术股份有限公司 一种有损压缩编码方法、装置和系统级芯片
CN110213587A (zh) * 2019-07-08 2019-09-06 北京达佳互联信息技术有限公司 视频编码方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN112954398A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
CN112954398B (zh) 编码方法、解码方法、装置、存储介质及电子设备
US9258519B2 (en) Encoder assisted frame rate up conversion using various motion models
US6618444B1 (en) Scene description nodes to support improved chroma-key shape representation of coded arbitrary images and video objects
US6989868B2 (en) Method of converting format of encoded video data and apparatus therefor
US11232598B2 (en) Distinct encoding and decoding of stable information and transient/stochastic information
US20080227431A1 (en) Data processing system and method, communication system and method, and charging apparatus and method
US20090190669A1 (en) Method for encoding and decoding video signal
US20070147504A1 (en) Selecting key frames from video frames
CN110049336B (zh) 视频编码方法和视频解码方法
Ascenso et al. The jpeg ai standard: Providing efficient human and machine visual data consumption
US11601617B2 (en) Method for forming an output image sequence from an input image sequence, method for reconstructing an input image sequence from an output image sequence, associated devices, server equipment, client equipment and computer programs
WO2023005740A1 (zh) 图像编码、解码、重建、分析方法、系统及电子设备
CN114584805A (zh) 视频传输方法、服务器、终端和视频传输系统
CN113747242B (zh) 图像处理方法、装置、电子设备及存储介质
WO2022266033A1 (en) Video conferencing based on adaptive face re-enactment and face restoration
CN111432213A (zh) 用于视频和图像压缩的自适应贴片数据大小编码
US7643700B2 (en) Processing of coded data according to user preference
WO2024078066A1 (zh) 视频解码方法、视频编码方法、装置、存储介质及设备
CN113452996A (zh) 一种视频编码、解码方法及装置
CN114900717B (zh) 视频数据传输方法、装置、介质和计算设备
CN115361582B (zh) 一种视频实时超分辨率处理方法、装置、终端及存储介质
CN104980763B (zh) 一种视频码流、视频编解码方法及装置
US20080106639A1 (en) Video enhancement Internet media experience in converting high definition formats to video formats
CN110958460B (zh) 一种视频存储方法、装置、电子设备及存储介质
CN113660495A (zh) 实时视频流压缩方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20211008

Address after: 310000 Room 408, building 3, No. 399, Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province

Applicant after: Hangzhou Netease Zhiqi Technology Co.,Ltd.

Address before: 310052 Room 301, Building No. 599, Changhe Street Network Business Road, Binjiang District, Hangzhou City, Zhejiang Province

Applicant before: HANGZHOU LANGHE TECHNOLOGY Ltd.

GR01 Patent grant
GR01 Patent grant