CN116866604A - 一种图像处理方法及装置 - Google Patents

一种图像处理方法及装置 Download PDF

Info

Publication number
CN116866604A
CN116866604A CN202310955467.0A CN202310955467A CN116866604A CN 116866604 A CN116866604 A CN 116866604A CN 202310955467 A CN202310955467 A CN 202310955467A CN 116866604 A CN116866604 A CN 116866604A
Authority
CN
China
Prior art keywords
image
sub
images
frame
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310955467.0A
Other languages
English (en)
Inventor
张斐然
罗小伟
李�荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spreadtrum Semiconductor Chengdu Co Ltd
Original Assignee
Spreadtrum Semiconductor Chengdu Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spreadtrum Semiconductor Chengdu Co Ltd filed Critical Spreadtrum Semiconductor Chengdu Co Ltd
Priority to CN202310955467.0A priority Critical patent/CN116866604A/zh
Publication of CN116866604A publication Critical patent/CN116866604A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请公开了一种图像处理方法及装置，该方法包括：确定已编码视频序列，其中，已编码视频序列包括多个图像集合，该多个图像集合中包括第一图像集合，第一图像集合包括至少一个分割图像，分割图像包括至少一个帧内编码子图像和至少一个帧间编码子图像；发送已编码视频序列。通过这种方式，有利于使得编码后的图像消耗的码率更加平稳。

Description

一种图像处理方法及装置
技术领域
本申请涉及图像技术领域，尤其涉及一种图像处理方法及装置。
背景技术
随着多媒体应用设备的不断普及，人们对视频的质量要求也在不断提升，但同时传输以及存储视频所需要的带宽以及内存容量也呈现爆炸式的增长，视频压缩编码技术成为了视频传输以及存储的有效手段。
采用视频压缩编码中的码率控制(Rate Control，RC)技术可以在保证编码码率接近目标码率的前提下，最大限度地提升编码视频的质量。例如，采用可变码率(VariableBitrate，VBR)码率控制算法可以根据图像的内容特性自适应地为不同的图像区域分配不同大小的目标码率，这能有效提升编码视频的质量，但是编码后的I帧会消耗较大的码率，这样可能会造成较大的传输时延，甚至造成丢包等现象。
发明内容
本申请公开了一种图像处理方法及装置，有利于使得编码后的图像消耗的码率更加平稳，从而有利于降低传输时延，避免产生丢包。
第一方面，本申请提供了一种图像处理方法，所述方法包括：确定已编码视频序列，其中，已编码视频序列包括多个图像集合，所述多个图像集合中包括第一图像集合，第一图像集合包括至少一个分割图像，分割图像包括至少一个帧内编码子图像和至少一个帧间编码子图像；发送已编码视频序列。
在该技术方案中，分割图像中包括至少一个帧内编码子图像和至少一个帧间编码子图像，其中，帧间编码子图像占用的码率小于帧内编码子图像占用的码率，这样可以降低该分割图像在编码后消耗的码率，使得已编码视频序列中的各帧图像在编码后消耗的码率比较平稳，这样有利于降低传输时延，避免产生丢包。另外，在第一图像集合中至少包括两帧分割图像的情况下，可以使得第二终端设备对一个分割图像中的帧间编码子图像无法解码的情况下，可以采用另一个分割图像中的帧内编码子图像替换该帧间编码子图像进行解码，这样使得原本无法解码的分割图像可以被成功解码。
在一种可能的实现方式中，所述至少一个分割图像包括第一分割图像，第一分割图像为第一图像集合中的第二图像的参考帧。
在该技术方案中，由于第一分割图像包括至少一个帧内编码子图像和至少一个帧间编码子图像，其中，帧间编码子图像占用的码率小于帧内编码子图像占用的码率，这样可以降低第一分割图像在编码后消耗的码率，使得已编码视频序列中的各帧图像在编码后消耗的码率比较平稳，这样有利于降低传输时延，避免产生丢包。
在一种可能的实现方式中，为帧内编码子图像分配的目标码率大于为帧间编码子图像分配的目标码率。
在该技术方案中，可以使得编码后的帧内编码子图像实际消耗的码率大于编码后的帧间编码子图像实际消耗的码率，这样可以降低分割图像在编码后消耗的码率，还能确保帧内编码子图像的图像质量。
在一种可能的实现方式中，所述至少一个分割图像中的帧内编码子图像的数量之和，与一帧分割图像中的子图像数量相同。
在该技术方案中，可以使得即使第一图像集合中的分割图像中的全部帧间编码子图像无法解码的情况下，可以采用第一图像集合中其他分割图像中的帧内编码子图像替换无法解码的帧间编码子图像进行解码，这样使得原本无法解码的帧间编码子图像所属的分割图像可以被成功解码。
在一种可能的实现方式中，所述至少一个分割图像在第一图像集合中连续。
在该技术方案中，在第一图像集合中的分割图像中的部分或全部帧间编码子图像无法解码的情况下，可以采用第一图像集合中距离较近的其他分割图像中的帧内编码子图像替换无法解码的帧间编码子图像进行解码，这样使得原本无法解码的帧间编码子图像所属的分割图像可以被成功解码，还可以使得采用帧内编码子图像替换帧间编码子图像进行解码后得到的图像与原本无法解码的帧间编码子图像所属的分割图像的原图像之间的差异较小。
在一种可能的实现方式中，所述第一图像集合包括所述多个图像集合中除第一个图像集合以外的至少一个图像集合。
在一种可能的实现方式中，所述分割图像中的第一已编码子图像是根据第一QP对第一子图像进行编码得到的，第一已编码子图像为所述分割图像中的任一帧内编码子图像或帧间编码子图像；其中，所述第一子图像的前一个已编码图像未被分割，所述第一QP根据所述第一子图像的前一个已编码图像的编码信息以及所述第一子图像的目标码率确定；或者，所述第一子图像的前一个已编码图像被分割，所述第一QP根据所述第一子图像的前一个已编码子图像的编码信息以及所述第一子图像的目标码率确定。
在一种可能的实现方式中，已编码图像的编码信息包括：所述已编码图像消耗的码率和/或所述已编码图像的QP；已编码子图像的编码信息包括：所述已编码子图像消耗的码率和/或所述已编码子图像的QP。
第二方面，本申请提供了另一种图像处理方法，所述方法包括：接收已编码视频序列，其中，已编码视频序列包括多个图像集合，所述多个图像集合中包括第一图像集合，第一图像集合包括至少一个分割图像，分割图像包括至少一个帧内编码子图像和至少一个帧间编码子图像；对已编码视频序列进行解码。
在该技术方案中，分割图像中包括至少一个帧内编码子图像和至少一个帧间编码子图像，其中，帧间编码子图像占用的码率小于帧内编码子图像占用的码率，这样可以降低该分割图像在编码后消耗的码率，使得已编码视频序列中的各帧图像在编码后消耗的码率比较平稳，这样有利于降低传输时延，避免产生丢包。另外，在第一图像集合中至少包括两帧分割图像的情况下，可以使得第二终端设备对一个分割图像中的帧间编码子图像无法解码的情况下，可以采用另一个分割图像中的帧内编码子图像替换该帧间编码子图像进行解码，这样使得原本无法解码的分割图像可以被成功解码。
在一种可能的实现方式中，所述至少一个分割图像包括第一分割图像，第一分割图像为第一图像集合中的第二图像的参考帧。
在该技术方案中，由于第一分割图像包括至少一个帧内编码子图像和至少一个帧间编码子图像，其中，帧间编码子图像占用的码率小于帧内编码子图像占用的码率，这样可以降低第一分割图像在编码后消耗的码率，使得已编码视频序列中的各帧图像在编码后消耗的码率比较平稳，这样有利于降低传输时延，避免产生丢包。
在一种可能的实现方式中，所述至少一个分割图像中的帧内编码子图像的数量之和，与一帧分割图像中的子图像数量相同。
在该技术方案中，可以使得即使第一图像集合中的分割图像中的全部帧间编码子图像无法解码的情况下，可以采用第一图像集合中其他分割图像中的帧内编码子图像替换无法解码的帧间编码子图像进行解码，这样使得原本无法解码的帧间编码子图像所属的分割图像可以被成功解码。
在一种可能的实现方式中，所述至少一个分割图像在第一图像集合中连续。
在该技术方案中，在第一图像集合中的分割图像中的部分或全部帧间编码子图像无法解码的情况下，可以采用第一图像集合中距离较近的其他分割图像中的帧内编码子图像替换无法解码的帧间编码子图像进行解码，这样使得原本无法解码的帧间编码子图像所属的分割图像可以被成功解码，还可以使得采用帧内编码子图像替换帧间编码子图像进行解码后得到的图像与原本无法解码的帧间编码子图像所属的分割图像的原图像之间的差异较小。
在一种可能的实现方式中，第一图像集合包括所述多个图像集合中除第一个图像集合以外的至少一个图像集合。
在一种可能的实现方式中，所述至少一个分割图像包括第一分割图像和第二分割图像，对已编码视频序列进行解码的具体实施方式为：第一分割图像中的第一帧间编码子图像无法解码，将第二分割图像中的第一帧内编码子图像的解码结果作为第一帧间编码子图像的解码结果。
在该技术方案中，使得第一分割图像可以被成功解码，进一步的，可以避免由于无法解码第一分割图像而导致将第一分割图像作为参考帧的其他图像也无法解码的情况发生。
在一种可能的实现方式中，第二分割图像为所述至少一个分割图像中距离第一分割图像最近的分割图像。
在该技术方案中，可以使得第二分割图像中的第一帧内编码子图像替换第一帧间编码子图像进行解码后得到的图像与原本无法解码的该第一帧间编码子图像所属的第一分割图像的原图像之间的差异较小。
在一种可能的实现方式中，第一帧内编码子图像为第二分割图像中距离第一帧间编码子图像最近的帧内编码子图像。
第三方面，本申请提供了一种装置，所述装置包括用于实现第一方面或第二方面所述的方法的单元。
第四方面，本申请提供另一种装置，包括处理器；该处理器，用于执行第一方面或第二方面所述的方法。
在一种可选的实施方式中，该装置还可以包括存储器；该存储器用于存储计算机程序；处理器，具体用于从该存储器中调用计算机程序，执行第一方面或第二方面所述的方法。
第五方面，本申请提供一种芯片，该芯片用于执行第一方面或第二方面所述的方法。
第六方面，本申请提供一种芯片模组，该芯片模组包括通信接口和芯片，其中：通信接口用于进行芯片模组内部通信，或者用于该芯片模组与外部设备进行通信；该芯片用于执行第一方面或第二方面所述的方法。
第七方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被计算机运行时，执行第一方面或第二方面所述的方法。
第八方面，本申请提供一种包括计算机程序或指令的计算机程序产品，当计算机程序或指令在计算机上运行时，使得计算机执行如第一方面或第二方面所述的方法。
附图说明
图1是本申请实施例提供的一种图像处理系统的架构示意图；
图2a是本申请实施例提供的一种图像处理方法的流程示意图；
图2b是本申请实施例提供的一种对视频序列中的第2个图像集合中的第一帧图像进行分割的场景示意图；
图3是本申请实施例提供的另一种图像处理方法的流程示意图；
图4a是本申请实施例提供的一种对视频序列中的第2个图像集合中的第一帧、第三帧、第五帧图像进行分割的场景示意图；
图4b是本申请实施例提供的一种在1个P slice丢失的情况下通过其他分割图像中的I slice恢复丢失的P slice所属的分割图像的场景示意图；
图4c是本申请实施例提供的一种在2个P slice丢失的情况下通过其他分割图像中的I slice恢复丢失的2个P slice所属的分割图像的场景示意图；
图5a是本申请实施例提供的一种对视频序列中的第2个图像集合中的前三帧图像进行分割的场景示意图；
图5b是本申请实施例提供的另一种在2个P slice丢失的情况下通过其他分割图像中的I slice恢复丢失的2个P slice所属的分割图像的场景示意图；
图6是本申请提供的一种装置的结构示意图；
图7是本申请提供的另一种装置的结构示意图；
图8是本申请提供的又一种装置的结构示意图；
图9是本申请提供的一种芯片模组的结构示意图。
具体实施方式
应理解，本申请实施例中涉及的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。本申请实施例中的“至少一个”，指的是一个或多个，多个指的是两个或两个以上。本申请实施例中的“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示如下三种情况：单独存在A，同时存在A和B，单独存在B。其中，A、B可以是单数或者复数。字符“/”可以表示前后关联对象是一种“或”的关系。
本申请实施例中的“以下至少一项(个)”或其类似表达，指的是这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a、b或c中的至少一项(个)，可以表示如下七种情况：a，b，c，a和b，a和c，b和c，a、b和c。其中，a、b、c中的每一个可以是元素，也可以是包含一个或多个元素的集合。
本申请实施例中“等于”可以与“小于”连用，也可以与“大于”连用，但不同时与“小于”和“大于”连用。“等于”与“小于”连用，适用于“小于”所采用的技术方案。“等于”与“大于”连用，适用于“大于”所采用的技术方案。
请参见图1，图1为本申请实施例提供的一种图像处理系统的架构示意图。该图像处理系统可包括但不限于一个第一终端设备和一个第二终端设备，其中，第一终端设备用于对视频序列中的图像、子图像进行编码，得到已编码视频序列，第二终端设备用于对接收到的已编码视频序列进行解码。图1所示的设备数量和形态用于举例并不构成对本申请实施例的限定，实际应用中可以包括两个或两个以上的第一终端设备，两个或两个以上的第二终端设备。图1所示的图像处理系统以包括一个第一终端设备101和一个第二终端设备102为例。其中，第一终端设备101可以与第二终端设备102进行通信，例如，第一终端设备101可以向第二终端设备102发送已编码视频序列。
本申请实施例中终端设备是一种具有拍摄、录像、录屏、投屏、视频通话等至少一项功能的设备，可以称之为终端(terminal)、用户设备(user equipment，UE)、移动台(mobile station，MS)、移动终端(mobile terminal，MT)、接入终端设备、物联网终端设备、车载终端设备、工业控制终端设备、UE单元、UE站、移动站、远方站、远程终端设备、移动设备、UE终端设备、无线通信设备、UE代理或UE装置等。终端设备可以是固定的或者移动的。需要说明的是，终端设备可以支持至少一种无线通信技术，例如长期演进(long timeevolution，LTE)、NR、第六代移动通信系统(6th-generation，6G)或下一代无线通信技术等。
例如，终端设备可以是手机(mobile phone)、平板电脑(pad)、监控、行车记录仪、视频通话设备、台式机、笔记本电脑、一体机、车载终端、虚拟现实(virtual reality，VR)终端设备、增强现实(augmented reality，AR)终端设备、工业控制(industrial control)中的无线终端、无人驾驶(self-driving)中的无线终端、远程手术(remote medicalsurgery)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportationsafety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端、蜂窝电话、无绳电话、会话启动协议(session initiation protocol，SIP)电话、无线本地环路(wireless local loop，WLL)站、个人数字助理(personal digitalassistant，PDA)、具有无线通信功能的手持设备、计算设备或连接到无线调制解调器的其它处理设备、可穿戴设备、未来移动通信网络中的终端设备或者未来演进的公共陆地移动网络(public land mobile network，PLMN)中的终端设备等。在本申请的一些实施例中，终端设备还可以是具有拍摄、录像、录屏、投屏、视频通话等至少一项功能的装置，例如芯片模组。其中，芯片模组可以包括芯片，还可以包括其它分立器件。本申请的实施例对终端设备所采用的具体技术和具体设备形态不做限定。
需要说明的是，本申请实施例的技术方案可以应用于各种通信系统。例如：5G移动通信系统、5G NR系统。可选的，本申请实施例的方法还适用于未来的各种通信系统，例如6G系统或者其他通信网络等。
可以理解的是，本申请实施例描述的系统是为了更加清楚的说明本申请实施例的技术方案，并不构成对本申请实施例提供的技术方案的限定，本领域技术人员可知，随着系统架构的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
下面对本申请实施例的图像处理方法进行详细介绍。该图像处理方法可以由第一终端设备和第二终端设备执行，也可以由与第一终端设备匹配的装置(如，芯片、芯片模组或处理器等置于第一终端设备内部的装置)和与第二终端设备匹配的装置(如，芯片、芯片模组或处理器等置于第二终端设备内部的装置)执行。
如图2a所示，为本申请实施例的一种图像处理方法的流程示意图，包括但不限于以下步骤。
S201、第一终端设备确定已编码视频序列，其中，已编码视频序列包括多个图像集合，该多个图像集合中包括第一图像集合，第一图像集合包括至少一个分割图像，分割图像包括至少一个帧内编码子图像和至少一个帧间编码子图像。
其中，已编码视频序列可以是第一终端设备对未编码视频序列中的图像、子图像进行编码得到的。未编码视频序列可以为待进行视频压缩编码的图像序列，该图像序列可以从第一终端设备的存储器中获取，图像序列的图像可以由第一终端设备采集或者由与第一终端设备连接的设备采集。或者，未编码视频序列可以由其他设备采集，并发送给第一终端设备。或者，第一终端设备可以接收由其他设备编码后发送给第一终端设备的视频序列，第一终端设备对接收到的视频序列进行解码得到未编码视频序列，进一步，采用本申请实施例中的图像处理方法对该未编码视频序列重新进行编码，得到已编码视频序列。
本申请实施例中的视频序列(例如已编码视频序列、未编码视频序列)由连续的图像组成，视频序列中的图像可以分为多个图像集合，每个图像集合可以包括多帧图像。在本申请实施例中，已编码视频序列中的图像集合与未编码视频序列中的图像集合一一对应，已编码视频序列中的图像集合是对未编码视频序列中对应的图像集合中的图像、子图像进行编码得到的，已编码视频序列中的图像集合与未编码视频序列中对应的图像集合中的图像、子图像也是一一对应的。在本申请实施例中，以已编码视频序列中的第一图像集合与未编码视频序列中的第二图像集合对应为例，也就是说，第一终端设备对未编码视频序列中的第二图像集合中的图像、子图像进行编码，得到已编码视频序列中的第一图像集合，其中，第二图像集合包括图像a、子图像b，第一图像集合包括图像a’、子图像b’，图像a’是第一终端设备对图像a进行编码得到的，子图像b’是第一终端设备对子图像b进行编码得到的。
可选的，每个图像集合由连续的图像组成。图像集合可以为图像组(Group ofPictures，GOP)，GOP包括至少一帧I帧和至少一帧P帧，可选的，还可以包括至少一帧B帧。其中，I帧采用帧内预测编码，I帧也可称为内部编码帧、关键帧。P帧和B帧均采用帧间预测编码。具体的，P帧采用前向预测编码，P帧参考之前的I帧或P帧进行预测编码。B帧参考前后的两帧进行双向预测编码。被参考的帧称为参考帧，I帧和P帧可以作为参考帧，B帧不能作为参考帧。简单地讲，I帧是一个完整的画面，而Ρ帧记录的是相对于前一帧的变化，B帧记录的是相对于前后两帧的变化。如果没有I帧，Ρ帧和B帧就无法解码。
第二图像集合中存在至少一帧图像需要被分割，第二图像集合中需要被分割的图像与第一图像集合中的分割图像一一对应，也就是说，第一图像集合中包括至少一个分割图像，第二图像集合与第一图像集合的数量均为一个或多个。可选的，第一图像集合可以包括已编码视频序列中的多个图像集合中除第一个图像集合以外的至少一个图像集合，换言之，第一图像集合可以包括已编码视频序列中除第一个图像集合以外的其他图像集合中的部分或全部图像集合。也就是说，第一终端设备不对未编码视频序列中的第一个图像集合中的图像进行分割，仅对未编码视频序列中除第一个图像集合以外的其他图像集合中的图像进行分割。
第一终端设备对第二图像集合中至少一个需要被分割的图像进行分割，得到至少一个分割图像，进一步的，对该至少一个分割图像和第二图像集合中的未分割图像进行编码，得到第一图像集合。其中，分割图像包括至少一个帧内编码子图像和至少一个帧间编码子图像。
可选的，该至少一个分割图像可以包括第一分割图像，第一分割图像为第一图像集合中的第二图像的参考帧。由于第一分割图像包括至少一个帧内编码子图像和至少一个帧间编码子图像，其中，帧间编码子图像占用的码率小于帧内编码子图像占用的码率，这样可以降低第一分割图像在编码后消耗的码率，使得已编码视频序列中的各帧图像在编码后消耗的码率比较平稳，这样有利于降低传输时延，避免产生丢包。
其中，第二图像可以为第一图像集合中除第一分割图像以外的任意图像，第二图像可以为第一图像集合中的分割图像或者未分割图像。可选的，在第一图像集合中，第二图像可以为与第一分割图像相邻的分割图像或未分割图像。
可选的，第一分割图像为第一图像集合中的第一帧图像，也就是说，需要被分割的图像至少包括第二图像集合中的第一帧图像，第一终端设备至少需要对第二图像集合中的第一帧图像进行分割。可选的，第一分割图像可以为第一图像集合中的关键帧。
第一终端设备对图像进行分割可以得到多个子图像，各个分割得到的子图像的大小(size)可以相同也可以不同，也就是说，分割图像中可以包括多个子图像，分割图像中的各个子图像的size可以相同也可以不同。例如，第一终端设备可以条带(slice)为粒度对图像进行分割，得到多个slice，也就是说，子图像可以指slice。slice最少包含一个宏块。slice可以包括I slice、P slice、B slice。其中，I slice为采用帧内预测编码的slice，Pslice和B slice为采用帧间预测编码的slice，具体的，P slice采用前向预测编码，Pslice参考之前的I slice或P slice进行预测编码。B slice参考前后的两个slice进行双向预测编码。被参考的slice称为参考slice，I slice和P slice可以作为参考slice，Bslice不能作为参考slice。如果没有I slice，Ρslice和B slice就无法解码。以第一终端设备对图像进行分割得到M个子图像(即分割图像中包括M个子图像)为例，M为大于1的正整数，M可以由第一终端设备默认设置，或者可以由用户操作第一终端设备设置或修改，本申请实施例对此不做限定。
可选的，第一终端设备对图像进行分割得到的各个子图像的类型可以不同，也就是说，分割图像中的各个子图像的类型可以不同。例如，分割图像中包括3个子图像，其中，第一个子图像属于类型a，第二个子图像和第三个子图像属于类型b。
可选的，子图像的类型可以指子图像的视频压缩编码方式，视频压缩编码方式可以包括帧内编码、帧间编码，例如，分割图像包括至少一个帧内编码子图像和至少一个帧间编码子图像。其中，帧间编码可以包括前向预测编码、双向预测编码等。示例性的，帧内编码子图像可以为I slice，帧间编码子图像可以为P slice或B slice，前向预测编码子图像可以为P slice、双向预测编码子图像可以为B slice。
可选的，第一终端设备对图像进行分割得到的各个子图像采用的视频压缩编码方式可以相同也可以不同，也就是说，分割图像中的各个子图像的视频压缩编码方式可以相同也可以不同。例如，分割图像中包括3个子图像，其中，第一个子图像采用帧内编码，第二个子图像和第三个子图像采用的视频压缩编码方式相同，为前向预测编码。或者，3个子图像采用的视频压缩编码方式均不同，第一个子图像、第二个子图像、第三个子图像采用的视频压缩编码方式分别为帧内编码、前向预测编码、双向预测编码。
可选的，第一终端设备对图像进行分割得到的属于各个类型的子图像的数量可以相同也可以不同，也就是说，一个分割图像中属于各个类型的子图像的数量可以相同也可以不同。例如，分割图像中包括帧内编码子图像和帧间编码子图像，其中，帧内编码子图像的数量为1个，前向预测编码子图像的数量为2个。或者，帧内编码子图像的数量为1个，前向预测编码子图像的数量为1个，双向预测编码子图像的数量为1个。
请参见图2b，图2b为对视频序列中的第2个图像集合中的第一帧图像进行分割的场景示意图，图2b以视频序列中的前两个图像集合均包括5帧图像，且第一终端设备对第2个图像集合中的第一帧图像进行分割，不对第1个图像集合中的图像进行分割为例。其中，第1个图像集合中的第一帧图像为即时解码刷新(Instantaneous Decoding Refresh，IDR)帧，第1个图像集合中的其他4帧图像均为P帧，第2个图像集合中的每个帧均为P帧。第一终端设备对第2个图像集合中的第一帧图像进行分割，对第2个图像集合中的其他图像不进行分割。第一终端设备对第2个图像集合中的第一帧图像进行分割得到3个子图像，且3个子图像分别为1个I slice和2个P slice。需要说明的是，图2b中，第2个图像集合中的第一帧图像被分割后得到的3个子图像的类型分别为：I slice、P slice、P slice用于举例，或者，第2个图像集合中的第一帧图像被分割后得到的3个子图像的类型可以分别为：P slice、Islice、P slice，或者为，P slice、P slice、I slice。
IDR帧是一种特殊的I帧。当第一终端设备的解码器解码到IDR帧时，将已解码的数据全部输出或抛弃，然后开始一次全新的解码序列。IDR帧之后的图像不会参考IDR帧之前的图像，因此IDR帧可以阻止视频序列中的错误传播。
S202、第一终端设备发送已编码视频序列。相应的，第二终端设备接收已编码视频序列。
第一终端设备对未编码视频序列中的图像分割完成后，得到分割后的图像，进一步的，第一终端设备对分割后的图像和未编码视频序列中的未分割图像进行编码，得到已编码视频序列，并发送已编码视频序列。
由于第一终端设备将未编码视频序列中需分割的图像分割为至少一个帧内编码子图像和至少一个帧间编码子图像，其中，帧间编码子图像占用的码率小于帧内编码子图像占用的码率，这样可以降低分割图像在编码后消耗的码率，使得已编码视频序列中的各帧图像在编码后消耗的码率比较平稳，这样有利于降低传输时延，避免产生丢包。
在一种可能的实现方式中，为帧内编码子图像分配的目标码率大于为帧间编码子图像分配的目标码率。目标码率是指在采用视频压缩编码后所要求得到的视频的比特率目标值。通过这种方式，可以使得编码后的帧内编码子图像实际消耗的码率大于编码后的帧间编码子图像实际消耗的码率，这样可以降低分割图像在编码后消耗的码率，还能确保帧内编码子图像的图像质量。
在一种可能的实现方式中，为帧内编码子图像分配的目标码率是为帧间编码子图像分配的目标码率的N倍，N为大于1的正整数。例如，以帧内编码子图像为I slice，帧间编码子图像为P slice为例，为I slice分配的目标码率是为P slice分配的目标码率的3倍。其中，N可以由第一终端设备默认设置，或者可以由用户操作第一终端设备设置或修改，本申请实施例对此不做限定。
S203、第二终端设备对已编码视频序列进行解码。
第二终端设备接收到已编码视频序列后，可以对已编码视频序列进行解码。可选的，第二终端设备可以显示解码后得到的图像。
现有技术中GOP中的第一帧图像为I帧，并且对I帧进行分割得到的slice全部属于I slice，编码后的I slice消耗的码率较编码后的P slice和B slice消耗的码率更大，也就是说，这样会导致GOP中的第一帧图像在编码后消耗的码率较大。然而，本申请实施例中，分割图像中包括帧内编码子图像和帧间编码子图像，例如，第一图像集合中的第一帧图像为分割图像，且该分割图像中包括I slice和P slice，这样可以降低该分割图像在编码后消耗的码率，使得已编码视频序列中的各帧图像在编码后消耗的码率比较平稳，这样有利于降低传输时延，避免产生丢包。
如图3所示，为本申请实施例的另一种图像处理方法的流程示意图，包括但不限于以下步骤。图3对应的实施例中以第一图像集合中的至少一个分割图像包括第一分割图像和第二分割图像为例进行介绍。
S301、第一终端设备确定已编码视频序列，其中，已编码视频序列包括多个图像集合，该多个图像集合中包括第一图像集合，第一图像集合包括第一分割图像和第二分割图像，第一分割图像和第二分割图像中均包括至少一个帧内编码子图像和至少一个帧间编码子图像。
需要说明的是，第一分割图像和第二分割图像的分割过程相似，具体可参见图2a对应实施例中对一个图像进行分割的描述，此处不再赘述。还需要说明的是，S301的执行过程可参见图2a对应实施例中S201中的具体描述，此处不再赘述。
可选的，第一分割图像可以为第一图像集合的第一帧图像，第二分割图像可以包括第一图像集合中除第一帧图像以外的其他分割图像中的部分或全部分割图像，第二分割图像的数量可以为一个或多个。
可选的，不同的图像被分割后得到的子图像数量可以相同也可以不同，也就是说，不同分割图像中包括的子图像数量可以相同也可以不同。例如，第一分割图像和第二分割图像中均包括3个子图像，或者，第一分割图像中均包括3个子图像，第二分割图像中均包括2个子图像。
可选的，不同的图像被分割后得到的子图像的大小(size)可以相同也可以不同，也就是说，不同分割图像中包括的子图像的size可以相同也可以不同。
可选的，不同的图像被分割后得到的属于各个类型的子图像的数量可以相同也可以不同，也就是说，不同分割图像中属于各个类型的子图像的数量可以相同也可以不同。子图像的类型可以指子图像的视频压缩编码方式。例如，第一分割图像和第二分割图像中均包括1个帧内编码子图像和2个帧间编码子图像。或者，第一分割图像中包括1个帧内编码子图像和2个帧间编码子图像，第二分割图像中包括2个帧内编码子图像和1个帧间编码子图像。或者，第一图像集合中的至少一个分割图像包括1个第一分割图像和2个第二分割图像，2个第二分割图像分别为第二分割图像a和第二分割图像b，第二分割图像a中包括1个帧内编码子图像和2个帧间编码子图像，第二分割图像b中包括2个帧内编码子图像和1个帧间编码子图像。
请参见图4a，图4a为对视频序列中的第2个图像集合中的第一帧、第三帧、第五帧图像进行分割的场景示意图。图4a以视频序列中的前两个图像集合均包括5帧图像，且第一终端设备不对第1个图像集合中的图像进行分割为例，其中，第1个图像集合中的第一帧图像为IDR帧，第1个图像集合中的其他4帧图像均为P帧，第2个图像集合中的每个帧均为P帧。第一分割图像是对第2个图像集合中的第一帧图像进行分割后得到的分割图像进行编码得到的，第二分割图像的数量为2个，第1个第二分割图像是对第2个图像集合中的第三帧图像进行分割后得到的分割图像进行编码得到的，第2个第二分割图像是对第五帧图像进行分割后得到的分割图像进行编码得到的，第一分割图像、第二分割图像中均包括3个子图像，且第一分割图像、第二分割图像中的3个子图像均分别为Islice、P slice、P slice。
S302、第一终端设备发送已编码视频序列。相应的，第二终端设备接收已编码视频序列。
已编码视频序列中的图像、子图像在传输过程中可能出现丢包或者数据发生差错等情况，导致第二终端设备无法解码该图像、子图像。例如，在传输过程中，第一分割图像中的帧间编码子图像在传输过程丢失，导致第二终端设备无法解码第一分割图像。
S303、第一分割图像中的第一帧间编码子图像无法解码，第二终端设备将第二分割图像中的第一帧内编码子图像的解码结果作为该第一帧间编码子图像的解码结果。
第二终端设备将第二分割图像中的第一帧内编码子图像的解码结果作为该第一帧间编码子图像的解码结果，也就是说，第二终端设备可以用第二分割图像中的第一帧内编码子图像替换第一帧间编码子图像进行解码。由于帧内编码子图像可以不依赖于其他子图像进行独立解码，因此，通过这种方式，使得第一分割图像可以被成功解码，进一步的，可以避免由于无法解码第一分割图像而导致将第一分割图像作为参考帧的其他图像也无法解码的情况发生。
可以理解的是，在本申请实施例中，第一图像集合中至少包括两帧分割图像(例如包括第一分割图像和第二分割图像)，也就是说，第一终端设备对第二图像集合中的至少两帧图像进行分割，这样可以使得第二终端设备对一个分割图像(例如第一分割图像)中的帧间编码子图像无法解码的情况下，可以采用另一个分割图像(例如第二分割图像)中的帧内编码子图像替换该帧间编码子图像进行解码，这样使得该第一分割图像可以被成功解码。
可选的，第一帧间编码子图像可以为第一分割图像中的任一个帧间编码子图像，一个分割图像中的部分或者全部帧间编码子图像均可能发生无法解码的情况。第一帧内编码子图像可以为第二分割图像中的任一个帧内编码子图像，或者，第一帧内编码子图像可以为第二分割图像中第一个帧内编码子图像，或者，第一帧内编码子图像可以为第二分割图像中距离第一帧间编码子图像最近的帧内编码子图像。
假设图4a中第2个图像集合中的第一帧分割图像中的第1个P slice无法解码，该Pslice无法解码，会导致第2个图像集合中的第一分割帧图像中的第2个P slice也无法解码，也会导致第2个图像集合中的第一帧分割图像无法解码，进一步的，这样会导致将第2个图像集合中的第一帧分割图像作为参考帧的第二帧图像无法解码。如图4b所示，可以采用将第2个图像集合中的第二帧分割图像(即第2个图像集合中的第三帧图像)中的I slice替换该P slice进行解码，这样使得第2个图像集合中的第一帧分割图像可以被成功解码，从而不会影响第2个图像集合中第二帧图像的解码。
在一种可能的实现方式中，第一图像集合中的至少一个分割图像中的帧内编码子图像的数量之和大于或等于，第一图像集合中的一帧分割图像中的子图像数量，也就是说，第二图像集合中被分割图像的总数大于或等于第二图像集合中一帧图像被分割后得到的子图像的总数，这是因为对第二图像集合中的图像进行分割得到的子图像中至少包括一帧帧内编码子图像。例如，第一图像集合中的至少一个分割图像中的帧内编码子图像的数量之和，与第一图像集合中的一帧分割图像中的子图像数量相同，均为M。这样可以使得即使第一图像集合中的分割图像中的全部帧间编码子图像无法解码的情况下，可以采用第一图像集合中其他分割图像中的帧内编码子图像替换无法解码的帧间编码子图像进行解码，这样使得原本无法解码的帧间编码子图像所属的分割图像可以被成功解码。
假设图4a中第2个图像集合中的第一帧分割图像中的2个P slice均无法解码，这会导致将第2个图像集合中的第一帧分割图像作为参考帧的第二帧图像无法解码。如图4c所示，可以采用将第2个图像集合中的第二帧分割图像(即第2个图像集合中的第三帧图像)中的I slice和将第2个图像集合中的第三帧分割图像(即第2个图像集合中的第五帧图像)中的I slice替换该2个P slice进行解码，这样使得第2个图像集合中的第一帧分割图像可以被成功解码，从而不会影响第2个图像集合中第二帧图像的解码。
在一种可能的实现方式中，第一图像集合中的至少一个分割图像在第一图像集合中连续，也就是说，第一分割图像和第二分割图像在第一图像集合中连续。通过这种方式，在第一图像集合中的分割图像(如第一分割图像或第二分割图像)中的部分或全部帧间编码子图像无法解码的情况下，可以采用第一图像集合中距离较近的其他分割图像中的帧内编码子图像替换无法解码的帧间编码子图像进行解码，这样使得原本无法解码的帧间编码子图像所属的分割图像可以被成功解码，还可以使得采用帧内编码子图像替换帧间编码子图像进行解码后得到的图像与原本无法解码的帧间编码子图像所属的分割图像的原图像之间的差异较小。
请参见图5a，图5a为对视频序列中的第2个图像集合中的前三帧图像进行分割的场景示意图。图5a以视频序列中的前两个图像集合均包括5帧图像，且第一终端设备不对第1个图像集合中的图像进行分割为例，其中，第1个图像集合中的第一帧图像为IDR帧，第1个图像集合中的其他4帧图像均为P帧，第2个图像集合中的每个帧均为P帧。第2个图像集合中的第一帧分割图像为第一分割图像，第2个图像集合中的第二帧分割图像和第三帧分割图像为第二分割图像，第2个图像集合中的3帧分割图像中均包括3个子图像，且第一帧分割图像中的3个子图像分别为I slice、P slice、P slice，第二帧分割图像中的3个子图像分别为P slice、I slice、P slice，第三帧分割图像中的3个子图像分别为Pslice、P slice、Islice。
可选的，第二分割图像可以为第一图像集合中距离第一分割图像最近的分割图像。通过这种方式，可以使得第二分割图像中的第一帧内编码子图像替换第一帧间编码子图像进行解码后得到的图像与原本无法解码的该第一帧间编码子图像所属的第一分割图像的原图像之间的差异较小。
假设第二终端设备对图5a中第2个图像集合中的第二帧分割图像中的2个P slice均无法解码，这会导致将第2个图像集合中的第二帧分割图像作为参考帧的第三帧分割图像无法解码，第三帧分割图像无法解码，还会导致将第2个图像集合中的第三帧分割图像作为参考帧的后续图像无法解码。如图5b所示，第二终端设备可以采用第2个图像集合中的第一帧分割图像中的I slice和第2个图像集合中的第三帧分割图像中的I slice替换该2个Pslice进行解码，这样使得第2个图像集合中的第二帧分割图像可以被成功解码，并且由于前三帧图像连续，因此可以使得解码得到的第二帧分割图像更加接近分割之前的原第二帧图像。
在一种可能的实现方式中，以已编码视频序列中的已编码的分割图像中包括第一已编码子图像，且第一已编码子图像是第一终端设备对第一子图像进行编码得到的为例，具体的，该第一已编码子图像可以是根据第一量化参数(Quantization Parameter，QP)对第一子图像进行编码得到的。其中，第一已编码子图像可以为该分割图像中的任一帧内编码子图像或任一帧间编码子图像。第一子图像的前一个已编码图像未被分割，第一QP可以根据第一子图像的前一个已编码图像的编码信息以及第一子图像的目标码率确定；或者，第一子图像的前一个已编码图像被分割，第一QP可以根据第一子图像的前一个已编码子图像的编码信息以及第一子图像的目标码率确定。
其中，已编码图像的编码信息可以包括但不限于：该已编码图像消耗的码率和/或该已编码图像的QP；已编码子图像的编码信息可以包括但不限于：该已编码子图像消耗的码率和/或该已编码子图像的QP。
接下来介绍第一终端设备为第二图像集合中的未分割图像、分割图像中的子图像(包括帧内编码子图像、帧间编码子图像)分配目标码率。需要说明的是，下述公式中，以帧内编码子图像为I slice，帧间编码子图像为P slice为例进行说明。
第一终端设备为第二图像集合中的未分割图像分配的目标码率可以如公式(1)所示：
公式(1)中，Rwindow_rem表示编码器码控窗口内剩余未编码图片的目标码率，Nwindow_rem表示编码器码控窗口内剩余未编码图片的个数。
以为帧内编码子图像分配的目标码率是为帧间编码子图像分配的目标码率的IP_ratio倍为例，第一终端设备为第二图像集合中的分割图像分配的目标码率可以如公式(2)所示，其中，分割图像中包括帧内编码子图像，IP_ratio大于1。
公式(2)中，slice_num表示一帧分割图像中包括的子图像的总数。
第一终端设备为第二图像集合中的分割图像中的第一个子图像分配的目标码率可以如公式(3)所示：
在第二图像集合中的分割图像中的第一个子图像为帧内编码子图像的情况下，第一终端设备为该分割图像中的剩余子图像分配的目标码率可以如公式(4)所示：
公式(4)中，Rframe_rem表示编码完上一个子图像后剩余的目标码率，Nslice_rem表示剩余的子图像个数。
在第二图像集合中的分割图像中的第一个子图像为帧间编码子图像的情况下，第一终端设备为位于帧内编码子图像之前的帧间编码子图像分配的目标码率可以如公式(5)所示：
在第二图像集合中的分割图像中的第一个子图像为帧间编码子图像的情况下，第一终端设备为帧内编码子图像分配的目标码率可以如公式(6)所示：
在第二图像集合中的分割图像中的第一个子图像为帧间编码子图像的情况下，第一终端设备为位于帧内编码子图像之后的帧间编码子图像分配的目标码率可以如公式(7)所示：
接下来介绍第一终端设备为第二图像集合中的未分割图像、分割图像中的子图像(包括帧内编码子图像、帧间编码子图像)确定QP。
视频序列中第一个图像集合中的IDR帧的QP值可以为初始QP值，视频序列中第一个图像集合中的第一个P帧的QP值可以为初始QP值。IDR帧的初始QP值、第一个图像集合中的第一个P帧的QP值均可以由第一终端设备默认设置，或者可以由用户操作第一终端设备设置或修改，本申请实施例对此不做限定。
视频序列中第一个图像集合中的未分割图像的目标码率实现过程如公式(8)所示，公式(8)中，RlastFrame_enc表示前一帧图像编码实际消耗的码率，QP_ratio表示当前帧图像的QP相比于前一帧图像的QP的变化幅度，根据QP_ratio以及前一帧图像的QP便可以得到当前帧图像的QP值。
视频系列中除第一个图像集合以外的其他图像集合中的未分割图像可分为两类，第一类未分割图像的前一帧图像包含帧内编码子图像(即前一帧图像为分割图像)，第二类未分割图像的前一帧图像不包含帧内编码子图像(即前一帧图像为未分割图像)。第一类未分割图像、第二类未分割图像的QP_ratio分别如公式(9)中的第一个公式、第二个公式所示。
第二图像集合中的第一帧分割图像中的帧内编码子图像、帧间编码子图像的QP_ratio分别如公式(10)中的第一个公式、第二个公式所示。需要说明的是，第二图像集合中的第一帧分割图像的前一帧图像为未分割图像。
公式(10)中，在当前子图像的上一个子图像为帧内编码子图像的情况下(即在当前slice的上一个slice为I slice的情况下)，Rcompare＝Rlastslice_enc/IP_ratio。在当前子图像的上一个子图像为帧间编码子图像的情况下(即在当前slice的上一个slice为P slice的情况下)，Rcompare＝Rlastslice_enc，Rlastslice_enc表示上一个已编码子图像实际所消耗的码率。
第二图像集合中除第一帧分割图像以外的分割图像中的帧内编码子图像、帧间编码子图像的QP_ratio如公式(11)所示。
公式(11)中，在当前帧中的第一个子图像为帧间编码子图像(即当前帧中的第一个slice为P slice)的情况下，Rcompare＝RlastFrame_enc/(slice_num+IP_ratio-1)，且RSlice＝RSlice_target0。
公式(11)中，在当前子图像为帧间编码子图像，且当前子图像并非当前帧中的第一个子图像，当前子图像位于帧内编码子图像之前(即当前slice为P slice，当前slice并未第一个slice，且当前P slice位于I slice之前)的情况下，Rcompare＝Rlastslice_enc，且RSlice＝RSlice_target2。
公式(11)中，在当前子图像为帧间编码子图像，且当前子图像位于帧内编码子图像之后，上一个已编码子图像为帧内编码子图像(即当前slice为P slice，当前P slice位于I slice之后，且上一个已编码slice为I slice)的情况下，Rcompare＝Rlastslice_enc/IP_ratio，且RSlice＝RSlice_target4。
公式(11)中，在当前子图像为帧间编码子图像，且当前子图像位于帧内编码子图像之后，上一个已编码子图像不为帧内编码子图像(即当前slice为P slice，当前P slice位于I slice之后，且上一个已编码slice不为I slice)的情况下，则Rcompare＝Rlastslice_enc，且RSlice＝RSlice_target4。
对于视频序列中除第二图像集合以外的其他图像集合中的第一帧图像(该第一帧图像为分割图像)，若该第一帧图像的前一帧图像不包含帧内编码子图像(即该第一帧图像的前一帧图像为未分割图像)，那么该第一帧图像中的帧内编码子图像、帧间编码子图像的QP_ratio如公式(10)所示。
若该第一帧图像的前一帧图像包含帧内编码子图像(即该第一帧图像的前一帧图像为分割图像)，那么该第一帧图像中的帧内编码子图像、帧间编码子图像的QP_ratio如公式(12)所示。
公式(12)中，在当前子图像为帧间编码子图像，且当前子图像的前一已编码子图像为帧内编码子图像(即当前slice为P slice，且当前slice的上一已编码slice为Islice)的情况下，Rcompare＝Rlastslice_enc/IP_ratio，且RSlice＝RSlice_target1。在当前子图像为帧间编码子图像，且当前子图像的前一已编码子图像为帧间编码子图像(即当前slice为Pslice，且当前slice的上一已编码slice为P slice)的情况下，Rcompare＝Rlastslice_enc，且RSlice＝RSlice_target1。
以上各个实施例可以单独使用，也可以相互结合使用，以实现不同的技术效果。
请参阅图6，图6是本申请实施例提供的一种装置的结构示意图。如图6所示，该装置60包括确定单元601、发送单元602。装置60可以执行前述方法实施例中第一终端设备的相关步骤。
确定单元601，用于确定已编码视频序列，其中，已编码视频序列包括多个图像集合，所述多个图像集合中包括第一图像集合，第一图像集合包括至少一个分割图像，分割图像包括至少一个帧内编码子图像和至少一个帧间编码子图像；
发送单元602，用于发送已编码视频序列。
在一种可能的实现方式中，所述至少一个分割图像包括第一分割图像，第一分割图像为第一图像集合中的第二图像的参考帧。
在一种可能的实现方式中，为帧内编码子图像分配的目标码率大于为帧间编码子图像分配的目标码率。
在一种可能的实现方式中，为帧内编码子图像分配的目标码率是为帧间编码子图像分配的目标码率的N倍，N为大于1的正整数。
在一种可能的实现方式中，所述至少一个分割图像中的帧内编码子图像的数量之和，与一帧分割图像中的子图像数量相同。
在一种可能的实现方式中，所述至少一个分割图像在第一图像集合中连续。
在一种可能的实现方式中，第一图像集合包括所述多个图像集合中除第一个图像集合以外的至少一个图像集合。
在一种可能的实现方式中，所述分割图像中的第一已编码子图像是根据第一QP对第一子图像进行编码得到的，第一已编码子图像为所述分割图像中的任一帧内编码子图像或帧间编码子图像；其中，所述第一子图像的前一个已编码图像未被分割，所述第一QP根据所述第一子图像的前一个已编码图像的编码信息以及所述第一子图像的目标码率确定；或者，所述第一子图像的前一个已编码图像被分割，所述第一QP根据所述第一子图像的前一个已编码子图像的编码信息以及所述第一子图像的目标码率确定。
在一种可能的实现方式中，已编码图像的编码信息包括：所述已编码图像消耗的码率和/或所述已编码图像的QP；已编码子图像的编码信息包括：所述已编码子图像消耗的码率和/或所述已编码子图像的QP。
具体的，在这种情况中，确定单元601、发送单元602所执行的操作可以参照上述实施例中有关第一终端设备的介绍。
装置60还可以用于实现上述实施例中第一终端设备的其他功能，此处不再赘述。基于同一发明构思，本申请实施例中提供的装置60解决问题的原理与有益效果与本申请方法实施例中第一终端设备解决问题的原理和有益效果相似，可以参见方法的实施的原理和有益效果，为简洁描述，在这里不再赘述。
请参阅图7，图7是本申请实施例提供的另一种装置的结构示意图。如图7所示，该装置70包括接收单元701、解码单元702。装置70可以执行前述方法实施例中第二终端设备的相关步骤。
接收单元701，用于接收已编码视频序列，其中，已编码视频序列包括多个图像集合，所述多个图像集合中包括第一图像集合，第一图像集合包括至少一个分割图像，分割图像包括至少一个帧内编码子图像和至少一个帧间编码子图像；
解码单元702，用于对已编码视频序列进行解码。
在一种可能的实现方式中，所述至少一个分割图像包括第一分割图像，第一分割图像为第一图像集合中的第二图像的参考帧。
在一种可能的实现方式中，所述至少一个分割图像中的帧内编码子图像的数量之和，与一帧分割图像中的子图像数量相同。
在一种可能的实现方式中，所述至少一个分割图像在第一图像集合中连续。
在一种可能的实现方式中，第一图像集合包括所述多个图像集合中除第一个图像集合以外的至少一个图像集合。
在一种可能的实现方式中，所述至少一个分割图像包括第一分割图像和第二分割图像，解码单元702用于对已编码视频序列进行解码时，具体用于：第一分割图像中的第一帧间编码子图像无法解码，将第二分割图像中的第一帧内编码子图像的解码结果作为第一帧间编码子图像的解码结果。
在一种可能的实现方式中，第二分割图像为所述至少一个分割图像中距离第一分割图像最近的分割图像。
在一种可能的实现方式中，第一帧内编码子图像为第二分割图像中距离第一帧间编码子图像最近的帧内编码子图像。
具体的，在这种情况中，接收单元701、解码单元702所执行的操作可以参照上述实施例中有关第二终端设备的介绍。
装置70还可以用于实现上述实施例中第二终端设备的其他功能，此处不再赘述。基于同一发明构思，本申请实施例中提供的装置70解决问题的原理与有益效果与本申请方法实施例中第二终端设备解决问题的原理和有益效果相似，可以参见方法的实施的原理和有益效果，为简洁描述，在这里不再赘述。
请参阅图8，图8为本申请实施例提供的又一种装置80。装置80可以用于实现上述方法实施例中第一终端设备或第二终端设备的功能。装置80可以包括处理器801和收发器802，收发器802可以在处理器801的控制下执行相应的动作。可选的，装置80还可以包括存储器803。其中，处理器801、收发器802、存储器803可以通过总线804或其他方式连接。总线在图8中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
本申请实施例中的耦合是装置、单元或模块之间的间接耦合或通信连接，可以是电性，机械或其它的形式，用于装置、单元或模块之间的信息交互。本申请实施例中不限定上述处理器801、收发器802、存储器803之间的具体连接介质。
存储器803可以包括只读存储器和随机存取存储器，并向处理器801提供指令和数据。存储器803的一部分还可以包括非易失性随机存取存储器(Non-Volatile RandomAccess Memory，NVRAM)。
处理器801可以是中央处理单元(Central Processing Unit，CPU)，该处理器801还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器，可选的，该处理器801也可以是任何常规的处理器等。
一种示例中，当第一终端设备采用图8所示的形式时，图8中的处理器可以执行上述任一方法实施例中的第一终端设备执行的方法。
一种示例中，当第二终端设备采用图8所示的形式时，图8中的处理器可以执行上述任一方法实施例中的第二终端设备执行的方法。
在一种可选的实施方式中，存储器803，用于存储程序指令；处理器801，用于调用存储器803中存储的程序指令，以用于执行上述实施例中第一终端设备或第二终端设备所执行的步骤。具体的，图6中的确定单元601、发送单元602的功能/实现过程均可以通过图8中的处理器801调用存储器803中存储的计算机执行指令来实现。或者，图6中的确定单元601的功能/实现过程可以通过图8中的处理器801调用存储器803中存储的计算机执行指令来实现，图6的发送单元602的功能/实现过程可以通过图8中的收发器802来实现。图7中的接收单元701、解码单元702的功能/实现过程均可以通过图8中的处理器801调用存储器803中存储的计算机执行指令来实现。或者，图7中的解码单元702的功能/实现过程可以通过图8中的处理器801调用存储器803中存储的计算机执行指令来实现，图7的接收单元701的功能/实现过程可以通过图8中的收发器802来实现。
在本申请实施例中，可以通过在包括CPU、随机存取存储介质(Random AccessMemory，RAM)、只读存储介质(Read-Only Memory，ROM)等处理元件和存储元件的例如计算机的通用计算装置上运行能够执行上述方法所涉及的各步骤的计算机程序(包括程序代码)，以及来实现本申请实施例所提供的方法。计算机程序可以记载于例如计算机可读记录介质上，并通过计算机可读记录介质装载于上述计算装置中，并在其中运行。
基于同一发明构思，本申请实施例中提供的装置80解决问题的原理与有益效果与本申请方法实施例中第一终端设备、第二终端设备解决问题的原理和有益效果相似，可以参见方法的实施的原理和有益效果，为简洁描述，在这里不再赘述。
前述装置(如装置60、装置70、装置80)，例如可以是：芯片、或者芯片模组。
本申请实施例还提供一种芯片，该芯片可以执行前述方法实施例中第一终端设备、第二终端设备的相关步骤。
对于芯片用于实现图2a或图3对应实施例中第一终端设备的功能的情况：
该芯片用于：确定已编码视频序列，其中，已编码视频序列包括多个图像集合，所述多个图像集合中包括第一图像集合，第一图像集合包括至少一个分割图像，分割图像包括至少一个帧内编码子图像和至少一个帧间编码子图像；
发送已编码视频序列。
在一种可能的实现方式中，所述至少一个分割图像包括第一分割图像，第一分割图像为第一图像集合中的第二图像的参考帧。
在一种可能的实现方式中，为帧内编码子图像分配的目标码率大于为帧间编码子图像分配的目标码率。
在一种可能的实现方式中，为帧内编码子图像分配的目标码率是为帧间编码子图像分配的目标码率的N倍，N为大于1的正整数。
在一种可能的实现方式中，所述至少一个分割图像中的帧内编码子图像的数量之和，与一帧分割图像中的子图像数量相同。
在一种可能的实现方式中，所述至少一个分割图像在第一图像集合中连续。
在一种可能的实现方式中，第一图像集合包括所述多个图像集合中除第一个图像集合以外的至少一个图像集合。
在一种可能的实现方式中，所述分割图像中的第一已编码子图像是根据第一QP对第一子图像进行编码得到的，第一已编码子图像为所述分割图像中的任一帧内编码子图像或帧间编码子图像；其中，所述第一子图像的前一个已编码图像未被分割，所述第一QP根据所述第一子图像的前一个已编码图像的编码信息以及所述第一子图像的目标码率确定；或者，所述第一子图像的前一个已编码图像被分割，所述第一QP根据所述第一子图像的前一个已编码子图像的编码信息以及所述第一子图像的目标码率确定。
在一种可能的实现方式中，已编码图像的编码信息包括：所述已编码图像消耗的码率和/或所述已编码图像的QP；已编码子图像的编码信息包括：所述已编码子图像消耗的码率和/或所述已编码子图像的QP。
具体的，在这种情况中，芯片所执行的操作可以参照上述方法实施例中有关第一终端设备的介绍。
对于芯片用于实现图2a或图3对应实施例中第二终端设备的功能的情况：
该芯片用于：接收已编码视频序列，其中，已编码视频序列包括多个图像集合，所述多个图像集合中包括第一图像集合，第一图像集合包括至少一个分割图像，分割图像包括至少一个帧内编码子图像和至少一个帧间编码子图像；
对已编码视频序列进行解码。
在一种可能的实现方式中，所述至少一个分割图像包括第一分割图像，第一分割图像为第一图像集合中的第二图像的参考帧。
在一种可能的实现方式中，所述至少一个分割图像中的帧内编码子图像的数量之和，与一帧分割图像中的子图像数量相同。
在一种可能的实现方式中，所述至少一个分割图像在第一图像集合中连续。
在一种可能的实现方式中，第一图像集合包括所述多个图像集合中除第一个图像集合以外的至少一个图像集合。
在一种可能的实现方式中，所述至少一个分割图像包括第一分割图像和第二分割图像，该芯片用于对已编码视频序列进行解码时，具体用于：第一分割图像中的第一帧间编码子图像无法解码，将第二分割图像中的第一帧内编码子图像的解码结果作为第一帧间编码子图像的解码结果。
在一种可能的实现方式中，第二分割图像为所述至少一个分割图像中距离第一分割图像最近的分割图像。
在一种可能的实现方式中，第一帧内编码子图像为第二分割图像中距离第一帧间编码子图像最近的帧内编码子图像。
具体的，在这种情况中，芯片所执行的操作可以参照上述方法实施例中有关第二终端设备的介绍。
在一种可能的实现方式中，上述芯片包括至少一个处理器、至少一个第一存储器和至少一个第二存储器；其中，前述至少一个第一存储器和前述至少一个处理器通过线路互联，前述第一存储器中存储有指令；前述至少一个第二存储器和前述至少一个处理器通过线路互联，前述第二存储器中存储前述方法实施例中需要存储的数据。
对于应用于或集成于芯片的各个装置、产品，其包含的各个模块可以都采用电路等硬件的方式实现，或者，至少部分模块可以采用软件程序的方式实现，该软件程序运行于芯片内部集成的处理器，剩余的(如果有)部分模块可以采用电路等硬件方式实现。
基于同一发明构思，本申请实施例中提供的芯片解决问题的原理与有益效果与本申请方法实施例中第一终端设备、第二终端设备解决问题的原理和有益效果相似，可以参见方法的实施的原理和有益效果，为简洁描述，在这里不再赘述。
请参阅图9，图9为本申请实施例提供的一种芯片模组的结构示意图。芯片模组90可以执行前述方法实施例中第一终端设备、第二终端设备的相关步骤，该芯片模组90包括：通信接口901和芯片902。
其中，通信接口用于进行芯片模组内部通信，或者用于该芯片模组与外部设备进行通信；该芯片用于实现本申请实施例中第一终端设备、第二终端设备的功能，具体参见方法实施例。可选的，芯片模组90还可以包括存储模组903、电源模组904。存储模组903用于存储数据和指令。电源模组904用于为芯片模组提供电能。
对于应用于或集成于芯片模组的各个装置、产品，其包含的各个模块可以都采用电路等硬件的方式实现，不同的模块可以位于芯片模组的同一组件(例如芯片、电路模块等)或者不同组件中，或者，至少部分模块可以采用软件程序的方式实现，该软件程序运行于芯片模组内部集成的处理器，剩余的(如果有)部分模块可以采用电路等硬件方式实现。
本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序包括一条或多条程序指令，该一条或多条程序指令被计算机加载并运行时，执行上述方法实施例所提供的方法。
本申请实施例还提供一种包含计算机程序或指令的计算机程序产品，当计算机程序或指令在计算机上运行时，使得计算机执行上述方法实施例所提供的方法。
关于上述实施例中描述的各个装置、产品包含的各个模块/单元，其可以是软件模块/单元，也可以是硬件模块/单元，或者也可以部分是软件模块/单元，部分是硬件模块/单元。例如，对于应用于或集成于芯片的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于芯片模组的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于芯片模组的同一组件(例如芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片模组内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于终端的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于终端内同一组件(例如，芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于终端内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现。
需要说明的是，对于前述的各个方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某一些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本申请实施例装置中的模块可以根据实际需要进行合并、划分和删减。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤可以通过程序指令及相关的硬件来完成，该程序指令可以存储于一计算机可读存储介质中，计算机可读存储介质可以包括：闪存盘、ROM、RAM、磁盘或光盘等。
以上所揭露的仅为本申请一种实施例而已，仅仅是本申请一部分实施例，不能以此来限定本申请之权利范围。

Claims (20)

1.一种图像处理方法，其特征在于，所述方法包括：
确定已编码视频序列，其中，所述已编码视频序列包括多个图像集合，所述多个图像集合中包括第一图像集合，所述第一图像集合包括至少一个分割图像，所述分割图像包括至少一个帧内编码子图像和至少一个帧间编码子图像；
发送所述已编码视频序列。
2.根据权利要求1所述的方法，其特征在于，所述至少一个分割图像包括第一分割图像，所述第一分割图像为所述第一图像集合中的第二图像的参考帧。
3.根据权利要求1或2所述的方法，其特征在于，为帧内编码子图像分配的目标码率大于为帧间编码子图像分配的目标码率。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述至少一个分割图像中的帧内编码子图像的数量之和，与一帧分割图像中的子图像数量相同。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述至少一个分割图像在所述第一图像集合中连续。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述第一图像集合包括所述多个图像集合中除第一个图像集合以外的至少一个图像集合。
7.根据权利要求1-6任一项所述的方法，其特征在于，
所述分割图像中的第一已编码子图像是根据第一量化参数QP对第一子图像进行编码得到的，所述第一已编码子图像为所述分割图像中的任一帧内编码子图像或帧间编码子图像；其中，
所述第一子图像的前一个已编码图像未被分割，所述第一QP根据所述第一子图像的前一个已编码图像的编码信息以及所述第一子图像的目标码率确定；或者，
所述第一子图像的前一个已编码图像被分割，所述第一QP根据所述第一子图像的前一个已编码子图像的编码信息以及所述第一子图像的目标码率确定。
8.根据权利要求7所述的方法，其特征在于，
已编码图像的编码信息包括：所述已编码图像消耗的码率和/或所述已编码图像的QP；
已编码子图像的编码信息包括：所述已编码子图像消耗的码率和/或所述已编码子图像的QP。
9.一种图像处理方法，其特征在于，所述方法包括：
接收已编码视频序列，其中，所述已编码视频序列包括多个图像集合，所述多个图像集合中包括第一图像集合，所述第一图像集合包括至少一个分割图像，所述分割图像包括至少一个帧内编码子图像和至少一个帧间编码子图像；
对所述已编码视频序列进行解码。
10.根据权利要求9所述的方法，其特征在于，所述至少一个分割图像包括第一分割图像，所述第一分割图像为所述第一图像集合中的第二图像的参考帧。
11.根据权利要求9或10任一项所述的方法，其特征在于，所述至少一个分割图像中的帧内编码子图像的数量之和，与一帧分割图像中的子图像数量相同。
12.根据权利要求9-11任一项所述的方法，其特征在于，所述至少一个分割图像在所述第一图像集合中连续。
13.根据权利要求9-12任一项所述的方法，其特征在于，所述第一图像集合包括所述多个图像集合中除第一个图像集合以外的至少一个图像集合。
14.根据权利要求10所述的方法，其特征在于，所述至少一个分割图像包括所述第一分割图像和第二分割图像，所述对所述已编码视频序列进行解码，包括：
所述第一分割图像中的第一帧间编码子图像无法解码，将所述第二分割图像中的第一帧内编码子图像的解码结果作为所述第一帧间编码子图像的解码结果。
15.根据权利要求14所述的方法，其特征在于，所述第二分割图像为所述至少一个分割图像中距离所述第一分割图像最近的分割图像。
16.根据权利要求14或15所述的方法，其特征在于，所述第一帧内编码子图像为所述第二分割图像中距离所述第一帧间编码子图像最近的帧内编码子图像。
17.一种装置，其特征在于，包括用于实现权利要求1～16中任一项所述方法的单元。
18.一种装置，其特征在于，包括处理器，所述处理器用于实现权利要求1～16中任一项所述方法。
19.一种芯片模组，其特征在于，所述芯片模组包括通信接口和芯片，其中：所述通信接口用于进行芯片模组内部通信，或者用于所述芯片模组与外部设备进行通信；所述芯片用于执行权利要求1～16中任一项所述方法。
20.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被计算机运行时，执行如权利要求1～16中任一项所述的方法。
CN202310955467.0A 2023-07-31 2023-07-31 一种图像处理方法及装置 Pending CN116866604A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310955467.0A CN116866604A (zh) 2023-07-31 2023-07-31 一种图像处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310955467.0A CN116866604A (zh) 2023-07-31 2023-07-31 一种图像处理方法及装置

Publications (1)

Publication Number Publication Date
CN116866604A true CN116866604A (zh) 2023-10-10

Family

ID=88235940

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310955467.0A Pending CN116866604A (zh) 2023-07-31 2023-07-31 一种图像处理方法及装置

Country Status (1)

Country Link
CN (1) CN116866604A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118413674A (zh) * 2024-06-27 2024-07-30 杭州海康威视数字技术股份有限公司 自适应编码方法、装置、设备及计算机程序产品

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118413674A (zh) * 2024-06-27 2024-07-30 杭州海康威视数字技术股份有限公司 自适应编码方法、装置、设备及计算机程序产品

Similar Documents

Publication Publication Date Title
US10321138B2 (en) Adaptive video processing of an interactive environment
US9521411B2 (en) Method and apparatus for encoder assisted-frame rate up conversion (EA-FRUC) for video compression
US9262986B2 (en) Reference frame management for screen content video coding using hash or checksum functions
US9414086B2 (en) Partial frame utilization in video codecs
US20120195372A1 (en) Joint frame rate and resolution adaptation
CN110392284B (zh) 视频编码、视频数据处理方法、装置、计算机设备和存储介质
US9473790B2 (en) Inter-prediction method and video encoding/decoding method using the inter-prediction method
US8243117B2 (en) Processing aspects of a video scene
JPWO2006082690A1 (ja) 画像符号化方法および画像符号化装置
US20180184089A1 (en) Target bit allocation for video coding
CN110248192B (zh) 编码器切换、解码器切换、屏幕分享方法和屏幕分享系统
WO2021057705A1 (zh) 视频编解码方法和相关装置
WO2021057697A1 (zh) 视频编解码方法和装置、存储介质及电子装置
CN116866604A (zh) 一种图像处理方法及装置
WO2019184556A1 (zh) 一种双向帧间预测方法及装置
US9565404B2 (en) Encoding techniques for banding reduction
KR102609215B1 (ko) 비디오 인코더, 비디오 디코더, 및 대응하는 방법
US20240214562A1 (en) Video coding with dynamic groups of pictures
CN112040234B (zh) 视频编码、解码方法和装置、电子设备及存储介质
EP3777171A1 (en) Bidirectional intra prediction signalling
US10735773B2 (en) Video coding techniques for high quality coding of low motion content
CN115866297A (zh) 视频处理方法、装置、设备及存储介质
WO2021057478A1 (zh) 视频编解码方法和相关装置
US9451288B2 (en) Inferred key frames for fast initiation of video coding sessions
CN111193926B (zh) 编码数据处理方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination