CN115150610A - 一种图像处理方法、装置及设备 - Google Patents

一种图像处理方法、装置及设备 Download PDF

Info

Publication number
CN115150610A
CN115150610A CN202210731347.8A CN202210731347A CN115150610A CN 115150610 A CN115150610 A CN 115150610A CN 202210731347 A CN202210731347 A CN 202210731347A CN 115150610 A CN115150610 A CN 115150610A
Authority
CN
China
Prior art keywords
frame
frames
class
type
gop sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210731347.8A
Other languages
English (en)
Inventor
马强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202210731347.8A priority Critical patent/CN115150610A/zh
Publication of CN115150610A publication Critical patent/CN115150610A/zh
Priority to PCT/CN2023/102139 priority patent/WO2023246936A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请提供一种图像处理方法、装置及设备，该方法包括：将GOP序列内的所有P帧划分为第一类P帧和第二类P帧；所述第一类P帧不能够作为参考帧，所述第二类P帧能够作为第一类P帧的参考帧、且所述第二类P帧能够作为第二类P帧的参考帧；若确定需要对所述GOP序列内的P帧进行抽帧，则对所述第一类P帧进行抽帧，或，对所述第一类P帧和所述第二类P帧进行抽帧。通过本申请的技术方案，可以按照一定规律进行丢帧，既能保证视频帧序列按照顺序播放，又可以在一些特殊场景下丢弃部分P帧以达到节省带宽的目的。

Description

一种图像处理方法、装置及设备
技术领域
本申请涉及视频编解码领域，尤其涉及一种图像处理方法、装置及设备。
背景技术
为了达到节约空间的目的，视频图像都是经过编码后才传输的，完整的视频编码方法可以包括预测、变换、量化、熵编码、滤波等过程，而预测编码可以包括帧内编码和帧间编码。帧间编码是利用视频时间域的相关性，使用邻近已编码图像的像素预测当前图像的像素，达到去除视频时域冗余的目的。帧内编码是考虑到相邻块之间存在很强的空域相关性，利用周围已经重建的像素作为参考像素，对当前未编码块进行预测，只需要对残差值进行后续编码处理，而不是对原始值进行编码，有效去除空域上的冗余，大大提高了压缩效率。
在视频编码过程中，可以将所有图像区分为I帧和P帧，I帧是采用帧内编码的图像，即可以进行独立编码，而不需要参考其它图像，P帧是采用帧间编码的图像，即需要参考其它图像完成编码，如依赖前面的图像完成编码。比如说，连续视频帧依次包括帧1-帧10，帧1是I帧，帧2-帧5是P帧，帧6是I帧，帧7-帧10是P帧，那么，帧1采用帧内编码，帧2参考帧1完成帧间编码，帧3参考帧2完成帧间编码，帧4参考帧3完成帧间编码，帧5参考帧4完成帧间编码，帧6采用帧内编码，帧7参考帧6完成帧间编码，以此类推。
显然，在上述方式中，所有P帧均不能被丢弃，一旦某个P帧被丢弃，那么，就会导致后续P帧无法被正确处理。比如说，若帧3被丢弃，则会导致帧4无法参考帧3完成帧间编码，帧5也无法参考帧4完成帧间编码。
发明内容
本申请提供一种图像处理方法，所述方法包括：
将画面组GOP序列内的所有P帧划分为第一类P帧和第二类P帧；其中，所述第一类P帧不能够作为参考帧，所述第二类P帧能够作为第一类P帧的参考帧、且所述第二类P帧能够作为第二类P帧的参考帧；
若确定需要对所述GOP序列内的P帧进行抽帧，则对所述第一类P帧进行抽帧，或者，对所述第一类P帧和所述第二类P帧进行抽帧。
在一种可能的实施方式中，所述将GOP序列内的所有P帧划分为第一类P帧和第二类P帧，包括：基于所述GOP序列内的各P帧之间的位置排序关系，将所述GOP序列内的所有P帧划分为第一类P帧和第二类P帧。
在一种可能的实施方式中，相邻两个第二类P帧之间存在M1个第一类P帧，所述GOP序列的I帧与第一个第二类P帧之间存在M2个第一类P帧；其中，所述M1为正整数，所述M2为正整数。
针对每个第一类P帧，若该第一类P帧前面存在第二类P帧，则将该第一类P帧前面最近一个第二类P帧作为该第一类P帧的参考帧，若该第一类P帧前面不存在第二类P帧，则将所述GOP序列的I帧作为该第一类P帧的参考帧；
针对每个第二类P帧，若该第二类P帧前面存在第二类P帧，则将该第二类P帧前面最近一个第二类P帧作为该第二类P帧的参考帧，若该第二类P帧前面不存在第二类P帧，则将所述GOP序列的I帧作为该第二类P帧的参考帧。
在一种可能的实施方式中，当图像序列集合包括至少两个GOP序列时，针对每个GOP序列，若该GOP序列不是所述图像序列集合的首个GOP序列，则将首个GOP序列的I帧作为该GOP序列的第一帧的参考帧。
示例性的，所述若确定需要对所述GOP序列内的P帧进行抽帧，则对所述第一类P帧进行抽帧，或者，对所述第一类P帧和所述第二类P帧进行抽帧，包括：若基于业务信息确定需要采用第一抽样比例对所述GOP序列内的P帧进行抽帧，则对所有第一类P帧或部分第一类P帧进行抽帧；若基于业务信息确定需要采用第二抽样比例对所述GOP序列内的P帧进行抽帧，则对所有第一类P帧进行抽帧，并对所有第二类P帧或部分第二类P帧进行抽帧；或者，
若基于业务信息确定需要采用第一抽样比例对所述GOP序列内的P帧进行抽帧，则对部分第一类P帧进行抽帧；若基于业务信息确定需要采用第二抽样比例对所述GOP序列内的P帧进行抽帧，则对所有第一类P帧进行抽帧；若基于业务信息确定需要采用第三抽样比例对所述GOP序列内的P帧进行抽帧，则对所有第一类P帧进行抽帧，并对所有第二类P帧或部分第二类P帧进行抽帧；
其中，第二抽样比例大于第一抽样比例，第三抽样比例大于第二抽样比例。
在一种可能的实施方式中，所述方法还包括：
若所述业务信息包括GOP序列对应的分辨率、GOP序列对应的帧率和解码端对应的解码能力，则基于所述分辨率、所述帧率和所述解码能力确定是否需要对所述GOP序列内的P帧进行抽帧；若是，则基于所述分辨率、所述帧率和所述解码能力确定所述GOP序列对应的抽样比例；
或者，若所述业务信息包括发送端与接收端之间的目标网络对应的网络质量，则基于所述网络质量确定是否需要对所述GOP序列内的P帧进行抽帧；若是，则基于所述网络质量确定所述GOP序列对应的抽样比例；
其中，所述抽样比例为第一抽样比例、或第二抽样比例；或者，
所述抽样比例为第一抽样比例、或第二抽样比例、或第三抽样比例。
本申请提供一种图像处理装置，所述装置包括：
划分模块，用于将画面组GOP序列内的所有P帧划分为第一类P帧和第二类P帧；其中，所述第一类P帧不能够作为参考帧，所述第二类P帧能够作为第一类P帧的参考帧、且所述第二类P帧能够作为第二类P帧的参考帧；
处理模块，用于若确定需要对所述GOP序列内的P帧进行抽帧，则对所述第一类P帧进行抽帧，或者，对所述第一类P帧和所述第二类P帧进行抽帧。
在一种可能的实施方式中，所述划分模块将GOP序列内的所有P帧划分为第一类P帧和第二类P帧时具体用于：基于所述GOP序列内的各P帧之间的位置排序关系，将所述GOP序列内的所有P帧划分为第一类P帧和第二类P帧；
其中，相邻两个第二类P帧之间存在M1个第一类P帧，所述GOP序列的I帧与第一个第二类P帧之间存在M2个第一类P帧；M1和M2均为正整数；
其中，针对每个第一类P帧，若该第一类P帧前面存在第二类P帧，则将该第一类P帧前面最近一个第二类P帧作为该第一类P帧的参考帧，若该第一类P帧前面不存在第二类P帧，则将GOP序列的I帧作为该第一类P帧的参考帧；针对每个第二类P帧，若该第二类P帧前面存在第二类P帧，则将该第二类P帧前面最近一个第二类P帧作为该第二类P帧的参考帧，若该第二类P帧前面不存在第二类P帧，则将GOP序列的I帧作为该第二类P帧的参考帧；
其中，当图像序列集合包括至少两个GOP序列时，针对所述至少两个GOP序列中的每个GOP序列，若该GOP序列不是所述图像序列集合的首个GOP序列，则将首个GOP序列的I帧作为该GOP序列的第一帧的参考帧；
其中，所述处理模块确定需要对所述GOP序列内的P帧进行抽帧，则对所述第一类P帧进行抽帧，或者，对所述第一类P帧和所述第二类P帧进行抽帧时具体用于：若基于业务信息确定需要采用第一抽样比例对所述GOP序列内的P帧进行抽帧，则对所有第一类P帧或部分第一类P帧进行抽帧；若基于业务信息确定需要采用第二抽样比例对所述GOP序列内的P帧进行抽帧，则对所有第一类P帧进行抽帧，并对所有第二类P帧或部分第二类P帧进行抽帧；或者，若基于业务信息确定需要采用第一抽样比例对所述GOP序列内的P帧进行抽帧，则对部分第一类P帧进行抽帧；若基于业务信息确定需要采用第二抽样比例对所述GOP序列内的P帧进行抽帧，则对所有第一类P帧进行抽帧；若基于业务信息确定需要采用第三抽样比例对所述GOP序列内的P帧进行抽帧，则对所有第一类P帧进行抽帧，并对所有第二类P帧或部分第二类P帧进行抽帧；其中，第二抽样比例大于第一抽样比例，第三抽样比例大于第二抽样比例；
其中，所述处理模块，还用于若所述业务信息包括GOP序列对应的分辨率、GOP序列对应的帧率和解码端对应的解码能力，则基于所述分辨率、所述帧率和所述解码能力确定是否需要对所述GOP序列内的P帧进行抽帧；若是，则基于所述分辨率、所述帧率和所述解码能力确定所述GOP序列对应的抽样比例；或者，若所述业务信息包括发送端与接收端之间的目标网络对应的网络质量，则基于所述网络质量确定是否需要对所述GOP序列内的P帧进行抽帧；若是，则基于所述网络质量确定所述GOP序列对应的抽样比例；其中，所述抽样比例为第一抽样比例、或第二抽样比例；或者，所述抽样比例为第一抽样比例、或第二抽样比例、或第三抽样比例。
本申请提供一种图像处理设备，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；所述处理器用于执行机器可执行指令，以实现本申请上述实施例公开的图像处理方法。
由以上技术方案可见，本申请实施例中，可以将GOP(Group of Pictures，画面组)序列内的所有P帧划分为第一类P帧和第二类P帧，第一类P帧不能够作为参考帧，第二类P帧能够作为第一类P帧的参考帧、第二类P帧也能够作为第二类P帧的参考帧，在此基础上，可以对第一类P帧进行抽帧，或者，对第一类P帧和第二类P帧进行抽帧。上述方式提供一种新型视频帧序列，该视频帧序列包括不同类型的P帧，即第一类P帧和第二类P帧，在视频帧序列中，可以按照一定规律进行丢帧，既能保证视频帧序列按照顺序播放，具有按照规则间叉性丢弃P帧而不影响观看的特点，又可以在一些特殊场景下丢弃部分P帧以达到节省带宽的目的，该视频帧序列在解码、网络传输、存储中具有更好的使用前景，实现解码倍增路数、低带宽传输，低码率存储等特点。
附图说明
为了更加清楚地说明本申请实施例或者现有技术中的技术方案，下面将对本申请实施例或者现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据本申请实施例的这些附图获得其他的附图。
图1A和图1B是GOP序列的示意图；
图2是本申请一种实施方式中的图像处理方法的流程示意图；
图3A和图3B是GOP序列的示意图；
图4A-图4C是对GOP序列内的P帧进行抽帧的示意图；
图5A-图5E是通过多路显示图像的示意图；
图6是图像序列集合的示意图；
图7是本申请一种实施方式中的图像处理装置的结构示意图；
图8是本申请一种实施方式中的图像处理设备的硬件结构图。
具体实施方式
在本申请实施例使用的术语仅仅是出于描述特定实施例的目的，而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。还应当理解，本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在视频编码和视频解码过程中，可以将所有图像区分为I帧和P帧，I帧是采用帧内编码的图像，即可以独立编码，而不需要参考其它图像，P帧是采用帧间编码的图像，即需要参考其它图像完成编码，如依赖前面的图像完成编码。
视频编码是为图像存储而产生的压缩技术，能够将图像压缩为体积较小的码流，并将码流存储于硬盘。当需要播放视频时，将码流重新解码为图像，并对图像进行显示。在对图像进行视频编码时，编码方式有H.264、H.265等。
视频解码是将码流重新解码为图像的技术，在将码流(如存储于硬盘或从网络传输的码流)解码为图像之后，就可以显示图像，实现视频播放。
在视频编码和视频解码过程中，可以将I帧、该I帧与下一个I帧之间的所有P帧组成GOP序列，即GOP序列的第一帧是I帧，且GOP序列只有一个I帧，GOP序列的I帧后面可以包括P帧。比如说，连续视频帧依次包括帧1-帧10，帧1是I帧，帧2-帧5是P帧，帧6是I帧，帧7-帧10是P帧，那么，GOP序列1包括帧1-帧5，GOP序列2包括帧6-帧10，参见图1A所示，示出了GOP序列1和GOP序列2，每个GOP序列可以包括一个I帧和多个P帧。
针对每个GOP序列，该GOP序列内的每个P帧均需要参考前一帧，比如说，对于GOP序列1，帧2参考帧1完成帧间编码，帧3参考帧2完成帧间编码，帧4参考帧3完成帧间编码，帧5参考帧4完成帧间编码。但是，在上述结构中，所有P帧均不能丢弃，一旦某个P帧被丢弃，就会导致后续P帧无法被正确处理。比如说，参见图1B所示，若帧3被丢弃，则会导致帧4无法参考帧3完成帧间编码，帧5也无法参考帧4完成帧间编码，也就是说，帧3后面的所有P帧均不能被正确处理。正常情况下，两个I帧之间会有2秒到10秒之间的时间，若某个P帧被丢弃，就会导致数秒的图像无法正常显示。
针对上述问题，本申请实施例中提供一种新型视频帧序列，该视频帧序列可以包括不同类型的P帧，如第一类P帧和第二类P帧，该视频帧序列可以按照一定规律进行丢帧，既能保证视频帧序列按照顺序播放，在丢弃P帧的情况下也不影响观看，也可以通过丢弃部分P帧达到节省带宽的目的。
以下结合具体实施例，对本申请实施例的技术方案进行说明。
本申请实施例中提出一种图像处理方法，该方法可以应用于任意设备，参见图2所示，为该图像处理方法的流程示意图，该方法可以包括：
步骤201、将GOP序列内的所有P帧划分为第一类P帧和第二类P帧；示例性的，该第一类P帧不能够作为参考帧，该第二类P帧能够作为第一类P帧的参考帧、且该第二类P帧也能够作为第二类P帧的参考帧。
示例性的，针对每个GOP序列来说，该GOP序列可以包括I帧和多个P帧，本申请实施例中，可以将该GOP序列内的所有P帧区分为2种类型的P帧，可以将这2种类型的P帧分别称为第一类P帧和第二类P帧。
其中，第一类P帧也可以称为普通P帧，第一类P帧不能作为其它帧的参考帧。第一类P帧可以将其它帧作为本第一类P帧的参考帧，比如说，第一类P帧可以将第二类P帧作为参考帧，第一类P帧也可以将GOP序列的I帧作为参考帧。但是，第一类P帧不可以将其它第一类P帧作为参考帧。
其中，第二类P帧也可以称为被参考P帧(即第二类P帧可以作为参考帧)，第二类P帧能够作为第一类P帧的参考帧、第二类P帧也能够作为第二类P帧的参考帧。第二类P帧可以将其它帧作为本第二类P帧的参考帧，比如说，第二类P帧可以将其它第二类P帧作为参考帧，第二类P帧也可以将GOP序列的I帧作为参考帧。但是，第二类P帧不可以将第一类P帧作为参考帧。
在一种可能的实施方式中，在将GOP序列内的所有P帧划分为第一类P帧和第二类P帧时，可以采用任意划分方式，对此划分方式不做限制，只要同时存在第一类P帧和第二类P帧即可。示例性的，可以基于GOP序列内的各P帧之间的位置排序关系，将GOP序列内的所有P帧划分为第一类P帧和第二类P帧，即划分方式依据是位置排序关系。位置排序关系是指P帧是GOP序列内的哪一P帧，如第一个P帧、第二个P帧等，用于表示处于GOP序列的哪个位置。
例如，第一个P帧是第一类P帧，第二个P帧是第二类P帧，第三个P帧是第一类P帧，第四个P帧是第二类P帧，以此类推。又例如，第一个P帧和第二个P帧是第一类P帧，第三个P帧和第四个P帧是第二类P帧，以此类推。又例如，第一个P帧和第二个P帧是第一类P帧，第三个P帧是第二类P帧，以此类推。又例如，第一个P帧、第二个P帧和第三个P帧是第一类P帧，第四个P帧是第二类P帧，以此类推。又例如，第一个P帧是第一类P帧，第二个P帧和第三个P帧是第二类P帧，以此类推。当然，上述划分方式只是示例。
示例性的，在将所有P帧划分为第一类P帧和第二类P帧时，第一类P帧的数量与第二类P帧的数量可以相同，第一类P帧的数量与第二类P帧的数量也可以不同。在第一类P帧的数量与第二类P帧的数量不同时，第一类P帧的数量可以大于第二类P帧的数量，第一类P帧的数量也可以小于第二类P帧的数量，比如说，后续以第一类P帧的数量大于第二类P帧的数量为例。
示例性的，在将所有P帧划分为第一类P帧和第二类P帧时，至少两个第一类P帧可以连续出现，但是，两个第二类P帧不会连续出现。比如说，第一类P帧后面的可以是第一类P帧或者第二类P帧，第二类P帧后面的可以是第一类P帧，但是，第二类P帧后面的不会是第二类P帧。
示例性的，GOP序列的I帧后面可以是第一类P帧，GOP序列的I帧后面可以是第二类P帧。比如说，GOP序列的I帧后面的第一个P帧是第一类P帧。
在一种可能的实施方式中，在将GOP序列内的所有P帧划分为第一类P帧和第二类P帧时，相邻两个第二类P帧之间存在M1个第一类P帧，GOP序列的I帧(即第一帧)与第一个第二类P帧之间存在M2个第一类P帧，M1为正整数，M2为正整数，M1和M2均可以根据经验配置，M1和M2可以相同，也可以不同。其中，相邻两个第二类P帧之间存在M1个第一类P帧时，M1是可以变化的，比如说，第一个第二类P帧与第二个第二类P帧之间存在3个第一类P帧，第二个第二类P帧与第三个第二类P帧之间存在4个第一类P帧，第三个第二类P帧与第四个第二类P帧之间存在3个第一类P帧，以此类推。
示例性的，相邻两个第二类P帧之间需要包括第一类P帧，第一类P帧的个数可以保持固定数目，如第一类P帧的数量为1个以上，但是，为了防止图像质量较差，第一类P帧的数量也不能太多。为了方便描述，在本申请实施例中，以相邻两个第二类P帧之间包括3个第一类P帧为例，且GOP序列的I帧与第一个第二类P帧之间存在3个第一类P帧。当然，上述划分方式只是一个示例，对此不做限制，比如说，相邻两个第二类P帧之间可以包括4个第一类P帧为例，或，相邻两个第二类P帧之间可以包括2个第一类P帧为例。
为了方便描述，本申请实施例中，以图3A所示的GOP序列为例，I帧后面的第一帧是第一类P帧，I帧与第一个第二类P帧之间存在3个第一类P帧。相邻两个第二类P帧之间存在3个第一类P帧。参见图3A所示，GOP序列内的各帧依次是：I帧、第一类P帧、第一类P帧、第一类P帧、第二类P帧、第一类P帧、第一类P帧、第一类P帧、第二类P帧，以此类推。
在一种可能的实施方式中，基于“第一类P帧不作为参考帧，第二类P帧能够作为第一类P帧的参考帧、且第二类P帧能够作为第二类P帧的参考帧”的特点，那么：针对每个第一类P帧，若该第一类P帧前面存在第二类P帧，则将该第一类P帧前面最近一个第二类P帧作为该第一类P帧的参考帧，若该第一类P帧前面不存在第二类P帧，则将GOP序列的I帧作为该第一类P帧的参考帧。针对每个第二类P帧，若该第二类P帧前面存在第二类P帧，则将该第二类P帧前面最近一个第二类P帧作为该第二类P帧的参考帧，若该第二类P帧前面不存在第二类P帧，则将GOP序列的I帧作为该第二类P帧的参考帧。
参见图3B所示，示出了各P帧与参考帧之间的关系。针对第一类P帧来说，第1个第一类P帧的参考帧是前面的I帧，第2个第一类P帧的参考帧是前面的I帧，第3个第一类P帧的参考帧是前面的I帧，第4个第一类P帧的参考帧是前面的第二类P帧，第5个第一类P帧的参考帧是前面的第二类P帧，第6个第一类P帧的参考帧是前面的第二类P帧，以此类推。针对第二类P帧来说，第1个第二类P帧的参考帧是前面的I帧，第2个第二类P帧的参考帧是前面的第二类P帧，第3个第二类P帧的参考帧是前面的第二类P帧，以此类推。
步骤202、若确定需要对GOP序列内的P帧进行抽帧，则对第一类P帧进行抽帧，或者，对第一类P帧和第二类P帧进行抽帧。示例性的，对P帧进行抽帧是指：不对这个P帧进行处理，如编码端对P帧进行抽帧时，就是不对这个P帧进行编码，解码端对P帧进行抽帧时，就是不对这个P帧进行解码。
在一种可能的实施方式中，若确定需要对GOP序列内的P帧进行抽帧，则可以对所有第一类P帧或部分第一类P帧进行抽帧；或者，可以对所有第一类P帧进行抽帧，并对所有第二类P帧或部分第二类P帧进行抽帧。综上可以看出，在对第一类P帧进行抽帧时，不需要考虑第二类P帧是否被抽帧，可以直接对第一类P帧进行抽帧。在对第二类P帧进行抽帧时，需要考虑第一类P帧是否被抽帧，只有在所有第一类P帧均被抽帧之后，才可以对第二类P帧进行抽帧。
在一种可能的实施方式中，为了对GOP序列内的P帧进行抽帧，可以划分多个抽样比例，该抽样比例用于表示对多少P帧进行抽帧，例如，抽样比例为x时，表示对所有P帧中的x进行抽帧，不同抽样比例表示不同抽样方式。
比如说，可以划分2个抽样比例，这2个抽样比例记为第一抽样比例和第二抽样比例，且第一抽样比例小于第二抽样比例。针对第一抽样比例，可以对所有第一类P帧或部分第一类P帧进行抽帧；针对第二抽样比例，可以对所有第一类P帧进行抽帧，并对所有第二类P帧或部分第二类P帧进行抽帧。
又例如，可以划分3个抽样比例，这3个抽样比例记为第一抽样比例、第二抽样比例和第三抽样比例，第一抽样比例小于第二抽样比例，第二抽样比例小于第三抽样比例。针对第一抽样比例，可以对部分第一类P帧进行抽帧；针对第二抽样比例，可以对所有第一类P帧进行抽帧；针对第三抽样比例，可以对所有第一类P帧进行抽帧，并对所有第二类P帧或部分第二类P帧进行抽帧。
又例如，可以划分4个抽样比例，记为第一抽样比例、第二抽样比例、第三抽样比例和第四抽样比例，第一抽样比例小于第二抽样比例，第二抽样比例小于第三抽样比例，第三抽样比例小于第四抽样比例。针对第一抽样比例，对部分第一类P帧进行抽帧；针对第二抽样比例，对所有第一类P帧进行抽帧；针对第三抽样比例，对所有第一类P帧进行抽帧，对部分第二类P帧进行抽帧；针对第四抽样比例，对所有第一类P帧进行抽帧，对所有第二类P帧抽帧。
当然，上述只是抽样比例的划分示例，对此不做限制，可以划分任意数量的抽样比例，为了方便描述，后续以划分2个或3个抽样比例为例进行说明。
示例性的，在划分第一抽样比例、第二抽样比例和第三抽样比例的基础上，若需要采用第一抽样比例对GOP序列内的P帧进行抽帧，则对部分第一类P帧进行抽帧；若需要采用第二抽样比例对GOP序列内的P帧进行抽帧，则对所有第一类P帧进行抽帧；若需要采用第三抽样比例对GOP序列内的P帧进行抽帧，则对所有第一类P帧进行抽帧，对所有第二类P帧或部分第二类P帧进行抽帧。
假设第一类P帧的总数量占P帧总数量的x1，第二类P帧的总数量占P帧总数量的x2，x1与x2之和为1，那么，第一抽样比例小于x1，第二抽样比例小于或者等于x1，以第二抽样比例是x1为例，第三抽样比例小于或者等于x1+x2。参见图3A和图3B所示，x1为0.75，x2为0.25，在此基础上，若抽样比例小于或者等于0.5，则可以确定抽样比例是第一抽样比例，若抽样比例大于0.5，且小于或者等于0.75，则可以确定抽样比例是第二抽样比例，若抽样比例大于0.75，且小于或者等于1，则可以确定抽样比例是第三抽样比例。
综上可以看出，在对P帧进行抽帧时，优先对第一类P帧的全部或局部进行抽帧，第一类P帧全部被抽帧后，对第二类P帧的全部或局部进行抽帧。在对第二类P帧的局部进行抽帧时，保留前面的第二类P帧，对后面的第二类P帧进行抽帧，如对第k(大于1)个第二类P帧之后的所有第二类P帧进行抽帧。
参见图4A所示，若确定需要采用第一抽样比例对GOP序列内的P帧进行抽帧，则对部分第一类P帧进行抽帧，在该情况下，第一抽样比例小于或等于0.5，以第一抽样比例是0.5为例，需要对两个第二类P帧之间的2个第一类P帧进行抽帧，即两个第二类P帧之间保留1个第一类P帧。比如说，将两个第二类P帧之间的3个第一类P帧，按照一个丢弃，一个保留，一个丢弃的策略进行抽帧。参见图4B所示，若确定需要采用第二抽样比例对GOP序列内的P帧进行抽帧，则对所有第一类P帧进行抽帧，在该情况下，第二抽样比例小于或者等于0.75，且大于0.5。参见图4C所示，若确定需要采用第三抽样比例对GOP序列内的P帧进行抽帧，则可以对所有第一类P帧进行抽帧，并对所有第二类P帧进行抽帧，在该情况下，第三抽样比例小于或者等于1，且大于0.75。
参见图4A所示，一个GOP序列可以实现1/2抽帧，当1/2抽帧无法满足业务需求时，参见图4B所示，一个GOP序列可以实现3/4抽帧，当3/4抽帧也无法满足业务需求时，参见图4C所示，一个GOP序列可以实现完全抽帧。
示例性的，在划分第一抽样比例和第二抽样比例的基础上，若确定需要采用第一抽样比例对GOP序列内的P帧进行抽帧，则可以对所有第一类P帧进行抽帧；若确定需要采用第二抽样比例对GOP序列内的P帧进行抽帧，则对所有第一类P帧进行抽帧，并对所有第二类P帧或部分第二类P帧进行抽帧。
假设第一类P帧的总数量占P帧总数量的x1，第二类P帧的总数量占P帧总数量的x2，x1与x2之和为1，那么，第一抽样比例小于或等于x1，第二抽样比例小于或等于x1+x2。参见图3A和图3B所示，x1为0.75，x2为0.25，在此基础上，若抽样比例小于或等于0.75，则确定抽样比例是第一抽样比例，若抽样比例大于0.75，且小于或等于1，则确定抽样比例是第二抽样比例。
参见图4B所示，若确定需要采用第一抽样比例对GOP序列内的P帧进行抽帧，则可以对所有第一类P帧进行抽帧，在该情况下，第一抽样比例小于或者等于0.75。参见图4C所示，若确定需要采用第二抽样比例对GOP序列内的P帧进行抽帧，则可以对所有第一类P帧进行抽帧，并对所有第二类P帧进行抽帧，在该情况下，第二抽样比例小于或者等于1，且大于0.75。
参见图4B所示，一个GOP序列可以实现3/4抽帧，当3/4抽帧也无法满足业务需求时，参见图4C所示，一个GOP序列可以实现完全抽帧。
在一种可能的实施方式中，在划分第一抽样比例、第二抽样比例和第三抽样比例的基础上，可以基于业务信息确定GOP序列对应的抽样比例，比如说，基于业务信息确定采用第一抽样比例对GOP序列内的P帧进行抽帧，或者，基于业务信息确定采用第二抽样比例对GOP序列内的P帧进行抽帧，或者，基于业务信息确定采用第三抽样比例对GOP序列内的P帧进行抽帧。
若采用第一抽样比例对GOP序列内的P帧进行抽帧时，能够满足业务信息对应的业务需求，如对GOP序列抽取50％的P帧能够满足业务需求，则基于业务信息确定采用第一抽样比例。若采用第一抽样比例无法满足业务需求，但采用第二抽样比例对GOP序列内的P帧进行抽帧时，能够满足业务信息对应的业务需求，即对GOP序列抽取75％的P帧能够满足业务需求，则基于业务信息确定采用第二抽样比例。若采用第一抽样比例无法满足业务需求，采用第二抽样比例也无法满足业务需求，则基于业务信息确定采用第三抽样比例。
在另一种可能的实施方式中，在划分第一抽样比例和第二抽样比例的基础上，可以基于业务信息确定GOP序列对应的抽样比例，如基于业务信息确定采用第一抽样比例对GOP序列内的P帧进行抽帧，或者，基于业务信息确定采用第二抽样比例对GOP序列内的P帧进行抽帧。例如，若采用第一抽样比例对GOP序列内的P帧进行抽帧时，能够满足业务信息对应的业务需求，即对GOP序列抽取75％的P帧能满足业务需求，则基于业务信息确定采用第一抽样比例。若采用第一抽样比例无法满足业务需求，基于业务信息确定采用第二抽样比例。
在划分第一抽样比例、第二抽样比例和第三抽样比例的基础上，以下结合业务信息的两个具体应用场景，对上述抽帧过程进行说明。当然，在划分第一抽样比例和第二抽样比例的基础上，其实现方式可以类似，本文不再赘述。
应用场景1：业务信息可以包括GOP序列对应的分辨率、GOP序列对应的帧率和解码端对应的解码能力，基于该分辨率、该帧率和该解码能力确定是否需要对GOP序列内的P帧进行抽帧。若否，则不对GOP序列内的P帧进行抽帧。若是，则基于该分辨率、该帧率和该解码能力确定GOP序列对应的抽样比例。例如，GOP序列对应的抽样比例可以为第一抽样比例、或第二抽样比例、或第三抽样比例。或者，基于该分辨率、该帧率和该解码能力确定GOP序列对应的抽样比例，如第一抽样比例、或第二抽样比例。
比如说，假设NVR设备具有4*1080P30的解码能力，即NVR设备一秒钟可以解码4*30帧的1920*1080的图像，超过该解码能力的图像就无法完成解码。
a、若GOP序列对应的是4*30帧的图像(分辨率为1920*1080，帧率为4*30帧)，则基于分辨率、帧率和解码能力确定不需要对GOP序列内的P帧进行抽帧，即分辨率、帧率和解码能力匹配，因此，NVR设备不对GOP序列内的P帧进行抽帧，一秒钟可以解码4*30帧的图像，并通过4路显示1080P30的图像，参见图5A所示。
b、若GOP序列对应的是8*30帧的图像(分辨率为1920*1080，帧率为8*30帧)，则基于分辨率、帧率和解码能力确定需要对GOP序列内的P帧进行抽帧，即，分辨率、帧率和解码能力不匹配(即解码能力不支持解码该分辨率、帧率的图像)，因此，NVR设备确定需要对GOP序列内的P帧进行抽帧，且每路图像按照第一抽样比例(即1/2抽帧的方式)进行抽帧，一秒钟可以解码4*30帧的图像时，可以通过8路显示1080P15的图像，参见图5B所示，显然，8路的15帧对应的是4*30帧。
显然，当解码路数增加时，如从4路变为8路，可以通过对每路图像进行抽帧的方式，使得解码能力支持解码该分辨率、帧率的图像，满足业务需求。
c、若GOP序列对应的是4*60帧的图像(分辨率为1920*1080，帧率为4*60帧)，则基于分辨率、帧率和解码能力确定需要对GOP序列内的P帧进行抽帧，即，分辨率、帧率和解码能力不匹配(即解码能力不支持解码该分辨率、帧率的图像)，因此，NVR设备确定需要对GOP序列内的P帧进行抽帧，且每路图像按照第一抽样比例(即1/2抽帧的方式)进行抽帧，一秒钟可以解码4*30帧的图像时，可以通过4路显示1080P30的图像，参见图5C所示，显然，4*60帧被1/2抽帧之后剩余4*30帧。
显然，当倍速回放时，如从30帧图像变为60帧图像，可以通过对每路图像进行抽帧的方式，使得解码能力支持解码该分辨率、帧率的图像，满足业务需求，显然，30帧2倍速相当于每秒60帧，按照1/2抽帧则等于每秒30帧。
d、若GOP序列对应的是12*30帧的图像(分辨率为1920*1080，帧率为12*30帧)，则基于分辨率、帧率和解码能力确定需要对GOP序列内的P帧进行抽帧，即，分辨率、帧率和解码能力不匹配(即解码能力不支持解码该分辨率、帧率的图像)，因此，NVR设备确定需要对GOP序列内的P帧进行抽帧，且每路图像按照第二抽样比例(即3/4抽帧的方式)进行抽帧，一秒钟可以解码4*30帧的图像时，可以通过12路显示1080P10的图像，参见图5D所示，显然，12路的10帧对应的是4*30帧。
显然，当解码路数增加时，如从4路变为12路，可以通过对每路图像进行抽帧的方式，使得解码能力支持解码该分辨率、帧率的图像，满足业务需求。
e、若GOP序列对应的是16*30帧的图像(分辨率为1920*1080，帧率为16*30帧)，则基于分辨率、帧率和解码能力确定需要对GOP序列内的P帧进行抽帧，即，分辨率、帧率和解码能力不匹配(即解码能力不支持解码该分辨率、帧率的图像)，因此，NVR设备确定需要对GOP序列内的P帧进行抽帧，且每路图像按照第三抽样比例(即4/4抽帧的方式)进行抽帧，一秒钟可以解码4*30帧的图像时，可以通过16路显示1080P7.5的图像，参见图5E所示，显然，16路的7.5帧对应的是4*30帧。
显然，当解码路数增加时，如从4路变为16路，可以通过对每路图像进行抽帧的方式，使得解码能力支持解码该分辨率、帧率的图像，满足业务需求。
综上可以看出，当多倍速和/或多路数的条件任意变化时，可以按照第一抽样比例、或第二抽样比例、或第三抽样比例来抽帧，从而满足业务需求。
应用场景2：业务信息可以包括发送端与接收端之间的目标网络对应的网络质量，基于该网络质量确定是否需要对GOP序列内的P帧进行抽帧。若否，则不对GOP序列内的P帧进行抽帧。若是，则基于该网络质量确定GOP序列对应的抽样比例，例如，GOP序列对应的抽样比例可以为第一抽样比例、或第二抽样比例、或第三抽样比例。或者，基于该网络质量确定GOP序列对应的抽样比例，GOP序列对应的抽样比例可以为第一抽样比例、或第二抽样比例。
比如说，发送端向接收端发送GOP序列时，需要检测用于承载GOP序列的目标网络对应的网络质量(如抖动、丢包率等)，对此检测方式不做限制。
在一种可能的实施方式中，可以设计4个级别的网络质量，若目标网络对应的网络质量是第1级别(即最优级别)的网络质量，则确定不对GOP序列内的P帧进行抽帧。若目标网络对应的网络质量是第2级别的网络质量，则确定对GOP序列内的P帧进行抽帧，且抽样比例是第一抽样比例，如1/2抽帧的方式。若目标网络对应的网络质量是第3级别的网络质量，则确定对GOP序列内的P帧进行抽帧，且抽样比例是第二抽样比例，如3/4抽帧的方式。若目标网络对应的网络质量是第4级别(即最差级别)的网络质量，则确定对GOP序列内的P帧进行抽帧，且抽样比例是第三抽样比例，如4/4抽帧的方式。
在另一种可能的实施方式中，可以设计2个级别的网络质量，若目标网络对应的网络质量是第1级别(即最优级别)的网络质量，则确定不对GOP序列内的P帧进行抽帧。若目标网络对应的网络质量是第2级别的网络质量，则确定对GOP序列内的P帧进行抽帧，且抽样比例是第一抽样比例，在GOP序列的传输过程中，若网络质量仍然是第2级别的网络质量，则将抽样比例调整为第二抽样比例，在GOP序列的传输过程中，若网络质量仍然是第2级别的网络质量，则将抽样比例调整为第三抽样比例。此外，在GOP序列的传输过程中，若网络质量恢复为第1级别的网络质量，则不对GOP序列内的P帧进行抽帧。
当然，上述两个应用场景只是确定抽样比例的两个示例，还可以采用其它方式确定GOP序列对应的抽样比例，对此不做限制。例如，依据每帧大小来确定GOP序列对应的抽样比例，如帧大小小于第一门限值时，不对GOP序列内的P帧进行抽帧，帧大小大于第一门限值且小于第二门限值时，抽样比例是第一抽样比例，帧大小大于第二门限值且小于第三门限值时，抽样比例是第二抽样比例，帧大小大于第三门限值时，抽样比例是第三抽样比例。
在一种可能的实施方式中，还可以将至少两个GOP序列组成一个图像序列集合，基于此，当图像序列集合包括至少两个GOP序列时，针对每个GOP序列，若该GOP序列不是该图像序列集合的首个GOP序列，则可以将首个GOP序列的I帧作为该GOP序列的第一帧的参考帧。在该实施方式中，若GOP序列不是图像序列集合的首个GOP序列，则可以将该GOP序列的第一帧称为关键P帧(即不再称为I帧)，关键P帧的参考帧是前面最近的I帧。
示例性的，对于图像序列集合来说，该图像序列集合可以包括至少一个关键P帧，即允许存在至少一个关键P帧，关键P帧用于取代I帧的位置，关键P帧只能参考离它最近的前面的I帧，且关键P帧的帧结构可以有效降低整体带宽。
参见图6所示，是图像序列集合的示意图，该图像序列集合可以包括关键P帧。在I帧与关键P帧之间，可以存在第一类P帧和第二类P帧，第一类P帧和第二类P帧的结构关系可以参见上述实施例。在相邻两个关键P帧之间，可以存在第一类P帧和第二类P帧，第一类P帧和第二类P帧的结构关系可以参见上述实施例。在此基础上，在对P帧进行抽帧时，可以对第一类P帧进行抽帧，可以对第二类P帧进行抽帧，但是不能对关键P帧进行抽帧。
由以上技术方案可见，本申请实施例中，可以将GOP序列内的所有P帧划分为第一类P帧和第二类P帧，第一类P帧不能够作为参考帧，第二类P帧能够作为第一类P帧的参考帧、第二类P帧也能够作为第二类P帧的参考帧，在此基础上，可以对第一类P帧进行抽帧，或者，对第一类P帧和第二类P帧进行抽帧。上述方式提供一种新型视频帧序列，该视频帧序列包括不同类型的P帧，即第一类P帧和第二类P帧，在视频帧序列中，可以按照一定规律进行丢帧，既能保证视频帧序列按照顺序播放，具有按照规则间叉性丢弃P帧而不影响观看的特点，又可以在一些特殊场景下丢弃部分P帧以达到节省带宽的目的，该视频帧序列在解码、网络传输、存储中具有更好的使用前景，实现解码倍增路数、低带宽传输，低码率存储等特点，在弱网环境下也能够解决帧丢失后长期黑屏花屏等问题。丢帧策略可以动态实施，根据现场情况任意调整丢帧策略，在不影响解码完整性的情况下，灵活而有效的降低消耗。该视频帧序列可以保证抽帧的灵活性和图像质量的稳定性，可以有效改善客户体验。可以在解码过程中进行一定规则的丢帧以实现1/2帧、3/4帧等方式的解码。或者，在网络传输中实现1/2帧、3/4帧的低带宽传输，这种丢帧策略可以动态实施，根据现场情况任意调整策略，在不影响解码完整性的情况下，灵活而有效的降低消耗。
基于与上述方法同样的申请构思，本申请实施例中提出一种图像处理装置，参见图7所示，为所述图像处理装置的结构示意图，所述装置可以包括：
划分模块71，用于将画面组GOP序列内的所有P帧划分为第一类P帧和第二类P帧；其中，所述第一类P帧不能够作为参考帧，所述第二类P帧能够作为第一类P帧的参考帧、且所述第二类P帧能够作为第二类P帧的参考帧；
处理模块72，用于若确定需要对所述GOP序列内的P帧进行抽帧，则对所述第一类P帧进行抽帧，或者，对所述第一类P帧和所述第二类P帧进行抽帧。
示例性的，所述划分模块71将GOP序列内的所有P帧划分为第一类P帧和第二类P帧时具体用于：基于所述GOP序列内的各P帧之间的位置排序关系，将所述GOP序列内的所有P帧划分为第一类P帧和第二类P帧。
示例性的，相邻两个第二类P帧之间存在M1个第一类P帧，所述GOP序列的I帧与第一个第二类P帧之间存在M2个第一类P帧；M1和M2为正整数。
示例性的，针对每个第一类P帧，若该第一类P帧前面存在第二类P帧，则将该第一类P帧前面最近一个第二类P帧作为该第一类P帧的参考帧，若该第一类P帧前面不存在第二类P帧，则将GOP序列的I帧作为该第一类P帧的参考帧；针对每个第二类P帧，若该第二类P帧前面存在第二类P帧，则将该第二类P帧前面最近一个第二类P帧作为该第二类P帧的参考帧，若该第二类P帧前面不存在第二类P帧，则将GOP序列的I帧作为该第二类P帧的参考帧。
示例性的，当图像序列集合包括至少两个GOP序列时，针对所述至少两个GOP序列中的每个GOP序列，若该GOP序列不是所述图像序列集合的首个GOP序列，则将首个GOP序列的I帧作为该GOP序列的第一帧的参考帧。
示例性的，所述处理模块72确定需要对所述GOP序列内的P帧进行抽帧，则对所述第一类P帧进行抽帧，或者，对所述第一类P帧和所述第二类P帧进行抽帧时具体用于：若基于业务信息确定需要采用第一抽样比例对所述GOP序列内的P帧进行抽帧，则对所有第一类P帧或部分第一类P帧进行抽帧；若基于业务信息确定需要采用第二抽样比例对所述GOP序列内的P帧进行抽帧，则对所有第一类P帧进行抽帧，并对所有第二类P帧或部分第二类P帧进行抽帧；或者，若基于业务信息确定需要采用第一抽样比例对所述GOP序列内的P帧进行抽帧，则对部分第一类P帧进行抽帧；若基于业务信息确定需要采用第二抽样比例对所述GOP序列内的P帧进行抽帧，则对所有第一类P帧进行抽帧；若基于业务信息确定需要采用第三抽样比例对所述GOP序列内的P帧进行抽帧，则对所有第一类P帧进行抽帧，并对所有第二类P帧或部分第二类P帧进行抽帧；其中，第二抽样比例大于第一抽样比例，第三抽样比例大于第二抽样比例。
示例性的，所述处理模块72，还用于若所述业务信息包括GOP序列对应的分辨率、GOP序列对应的帧率和解码端对应的解码能力，则基于所述分辨率、所述帧率和所述解码能力确定是否需要对所述GOP序列内的P帧进行抽帧；若是，则基于所述分辨率、所述帧率和所述解码能力确定所述GOP序列对应的抽样比例；或者，若所述业务信息包括发送端与接收端之间的目标网络对应的网络质量，则基于所述网络质量确定是否需要对所述GOP序列内的P帧进行抽帧；若是，则基于所述网络质量确定所述GOP序列对应的抽样比例；其中，所述抽样比例为第一抽样比例、或第二抽样比例；或者，所述抽样比例为第一抽样比例、或第二抽样比例、或第三抽样比例。
基于与上述方法同样的申请构思，本申请实施例中提出一种图像处理设备，参见图8所示，图像处理设备包括处理器81和机器可读存储介质82，机器可读存储介质82存储有能够被处理器81执行的机器可执行指令；处理器81用于执行机器可执行指令，以实现本申请上述示例公开的图像处理方法。
基于与上述方法同样的申请构思，本申请实施例还提供一种机器可读存储介质，所述机器可读存储介质上存储有若干计算机指令，所述计算机指令被处理器执行时，能够实现本申请上述示例公开的图像处理方法。
其中，上述机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
而且，这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：
将画面组GOP序列内的所有P帧划分为第一类P帧和第二类P帧；其中，所述第一类P帧不能够作为参考帧，所述第二类P帧能够作为第一类P帧的参考帧、且所述第二类P帧能够作为第二类P帧的参考帧；
若确定需要对所述GOP序列内的P帧进行抽帧，则对所述第一类P帧进行抽帧，或者，对所述第一类P帧和所述第二类P帧进行抽帧。
2.根据权利要求1所述的方法，其特征在于，
所述将GOP序列内的所有P帧划分为第一类P帧和第二类P帧，包括：
基于所述GOP序列内的各P帧之间的位置排序关系，将所述GOP序列内的所有P帧划分为第一类P帧和第二类P帧。
3.根据权利要求2所述的方法，其特征在于，相邻两个第二类P帧之间存在M1个第一类P帧，所述GOP序列的I帧与第一个第二类P帧之间存在M2个第一类P帧；其中，所述M1为正整数，所述M2为正整数。
4.根据权利要求1-3任一项所述的方法，其特征在于，
针对每个第一类P帧，若该第一类P帧前面存在第二类P帧，则将该第一类P帧前面最近一个第二类P帧作为该第一类P帧的参考帧，若该第一类P帧前面不存在第二类P帧，则将所述GOP序列的I帧作为该第一类P帧的参考帧；
针对每个第二类P帧，若该第二类P帧前面存在第二类P帧，则将该第二类P帧前面最近一个第二类P帧作为该第二类P帧的参考帧，若该第二类P帧前面不存在第二类P帧，则将所述GOP序列的I帧作为该第二类P帧的参考帧。
5.根据权利要求1所述的方法，其特征在于，当图像序列集合包括至少两个GOP序列时，针对每个GOP序列，若该GOP序列不是所述图像序列集合的首个GOP序列，则将首个GOP序列的I帧作为该GOP序列的第一帧的参考帧。
6.根据权利要求1所述的方法，其特征在于，
所述若确定需要对所述GOP序列内的P帧进行抽帧，则对所述第一类P帧进行抽帧，或者，对所述第一类P帧和所述第二类P帧进行抽帧，包括：
若基于业务信息确定需要采用第一抽样比例对所述GOP序列内的P帧进行抽帧，则对所有第一类P帧或部分第一类P帧进行抽帧；若基于业务信息确定需要采用第二抽样比例对所述GOP序列内的P帧进行抽帧，则对所有第一类P帧进行抽帧，并对所有第二类P帧或部分第二类P帧进行抽帧；或者，
若基于业务信息确定需要采用第一抽样比例对所述GOP序列内的P帧进行抽帧，则对部分第一类P帧进行抽帧；若基于业务信息确定需要采用第二抽样比例对所述GOP序列内的P帧进行抽帧，则对所有第一类P帧进行抽帧；若基于业务信息确定需要采用第三抽样比例对所述GOP序列内的P帧进行抽帧，则对所有第一类P帧进行抽帧，并对所有第二类P帧或部分第二类P帧进行抽帧；
其中，第二抽样比例大于第一抽样比例，第三抽样比例大于第二抽样比例。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
若所述业务信息包括GOP序列对应的分辨率、GOP序列对应的帧率和解码端对应的解码能力，则基于所述分辨率、所述帧率和所述解码能力确定是否需要对所述GOP序列内的P帧进行抽帧；若是，则基于所述分辨率、所述帧率和所述解码能力确定所述GOP序列对应的抽样比例；或者，
若所述业务信息包括发送端与接收端之间的目标网络对应的网络质量，则基于所述网络质量确定是否需要对所述GOP序列内的P帧进行抽帧；若是，则基于所述网络质量确定所述GOP序列对应的抽样比例；
其中，所述抽样比例为第一抽样比例、或第二抽样比例；或者，
所述抽样比例为第一抽样比例、或第二抽样比例、或第三抽样比例。
8.一种图像处理装置，其特征在于，所述装置包括：
划分模块，用于将画面组GOP序列内的所有P帧划分为第一类P帧和第二类P帧；其中，所述第一类P帧不能够作为参考帧，所述第二类P帧能够作为第一类P帧的参考帧、且所述第二类P帧能够作为第二类P帧的参考帧；
处理模块，用于若确定需要对所述GOP序列内的P帧进行抽帧，则对所述第一类P帧进行抽帧，或者，对所述第一类P帧和所述第二类P帧进行抽帧。
9.根据权利要求8所述的装置，其特征在于，
其中，所述划分模块将GOP序列内的所有P帧划分为第一类P帧和第二类P帧时具体用于：基于所述GOP序列内的各P帧之间的位置排序关系，将所述GOP序列内的所有P帧划分为第一类P帧和第二类P帧；
其中，相邻两个第二类P帧之间存在M1个第一类P帧，所述GOP序列的I帧与第一个第二类P帧之间存在M2个第一类P帧；M1和M2均为正整数；
其中，针对每个第一类P帧，若该第一类P帧前面存在第二类P帧，则将该第一类P帧前面最近一个第二类P帧作为该第一类P帧的参考帧，若该第一类P帧前面不存在第二类P帧，则将GOP序列的I帧作为该第一类P帧的参考帧；针对每个第二类P帧，若该第二类P帧前面存在第二类P帧，则将该第二类P帧前面最近一个第二类P帧作为该第二类P帧的参考帧，若该第二类P帧前面不存在第二类P帧，则将GOP序列的I帧作为该第二类P帧的参考帧；
其中，当图像序列集合包括至少两个GOP序列时，针对所述至少两个GOP序列中的每个GOP序列，若该GOP序列不是所述图像序列集合的首个GOP序列，则将首个GOP序列的I帧作为该GOP序列的第一帧的参考帧；
其中，所述处理模块确定需要对所述GOP序列内的P帧进行抽帧，则对所述第一类P帧进行抽帧，或者，对所述第一类P帧和所述第二类P帧进行抽帧时具体用于：若基于业务信息确定需要采用第一抽样比例对所述GOP序列内的P帧进行抽帧，则对所有第一类P帧或部分第一类P帧进行抽帧；若基于业务信息确定需要采用第二抽样比例对所述GOP序列内的P帧进行抽帧，则对所有第一类P帧进行抽帧，并对所有第二类P帧或部分第二类P帧进行抽帧；或者，若基于业务信息确定需要采用第一抽样比例对所述GOP序列内的P帧进行抽帧，则对部分第一类P帧进行抽帧；若基于业务信息确定需要采用第二抽样比例对所述GOP序列内的P帧进行抽帧，则对所有第一类P帧进行抽帧；若基于业务信息确定需要采用第三抽样比例对所述GOP序列内的P帧进行抽帧，则对所有第一类P帧进行抽帧，并对所有第二类P帧或部分第二类P帧进行抽帧；其中，第二抽样比例大于第一抽样比例，第三抽样比例大于第二抽样比例；
其中，所述处理模块，还用于若所述业务信息包括GOP序列对应的分辨率、GOP序列对应的帧率和解码端对应的解码能力，则基于所述分辨率、所述帧率和所述解码能力确定是否需要对所述GOP序列内的P帧进行抽帧；若是，则基于所述分辨率、所述帧率和所述解码能力确定所述GOP序列对应的抽样比例；或者，若所述业务信息包括发送端与接收端之间的目标网络对应的网络质量，则基于所述网络质量确定是否需要对所述GOP序列内的P帧进行抽帧；若是，则基于所述网络质量确定所述GOP序列对应的抽样比例；其中，所述抽样比例为第一抽样比例、或第二抽样比例；或者，所述抽样比例为第一抽样比例、或第二抽样比例、或第三抽样比例。
10.一种图像处理设备，其特征在于，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；所述处理器用于执行机器可执行指令，以实现权利要求1-7任一所述的方法步骤。
CN202210731347.8A 2022-06-24 2022-06-24 一种图像处理方法、装置及设备 Pending CN115150610A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210731347.8A CN115150610A (zh) 2022-06-24 2022-06-24 一种图像处理方法、装置及设备
PCT/CN2023/102139 WO2023246936A1 (zh) 2022-06-24 2023-06-25 一种图像处理方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210731347.8A CN115150610A (zh) 2022-06-24 2022-06-24 一种图像处理方法、装置及设备

Publications (1)

Publication Number Publication Date
CN115150610A true CN115150610A (zh) 2022-10-04

Family

ID=83408974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210731347.8A Pending CN115150610A (zh) 2022-06-24 2022-06-24 一种图像处理方法、装置及设备

Country Status (1)

Country Link
CN (1) CN115150610A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116033170A (zh) * 2023-03-28 2023-04-28 阿里巴巴（中国）有限公司 视频解码方法、视频编解码系统以及视频解码装置
WO2023246936A1 (zh) * 2022-06-24 2023-12-28 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023246936A1 (zh) * 2022-06-24 2023-12-28 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及设备
CN116033170A (zh) * 2023-03-28 2023-04-28 阿里巴巴（中国）有限公司 视频解码方法、视频编解码系统以及视频解码装置

Similar Documents

Publication Publication Date Title
CN115150610A (zh) 一种图像处理方法、装置及设备
US10382830B2 (en) Trick play in digital video streaming
EP2096870A2 (en) Systems and methods for processing multiple projections of video data in a single video file
US20140161172A1 (en) Software hardware hybrid video encoder
TWI479895B (zh) An animation predictive coding apparatus, an animation prediction coding method, an animation prediction coding program, an animation prediction decoding apparatus, an animation prediction decoding method, and an animation prediction decoding program
US8139647B2 (en) Moving image decoding apparatus and moving image decoding method
KR20140085492A (ko) 디코딩된 픽쳐 버퍼 및 참조 픽쳐 목록들에 관한 상태 정보의 시그널링
JP5232114B2 (ja) 画像符号化装置、及び画像符号化方法
JP2009033423A (ja) 画像圧縮方法、および、画像処理装置
CN102075756B (zh) 视频多帧预测编解码方法和装置
US8165217B2 (en) Image decoding apparatus and method for decoding prediction encoded image data
GB2321154A (en) Reverse playback of MPEG video
EP2117235A2 (en) Apparatus and method for managing reference frame buffer in layered video coding
KR20110063004A (ko) 키 프레임 추출 장치 및 방법과 이를 이용한 방송 녹화 장치 및 방법
CN111901603A (zh) 一种用于静态背景视频的编码方法及解码方法
CN115150611A (zh) 一种图像处理方法、装置及设备
JP2007096672A (ja) 画像処理装置
CN115460458B (zh) 视频丢帧方法和设备
CN107623852B (zh) 一种对数字视频信号进行编码及降帧的方法及装置
JP4723486B2 (ja) グループオブピクチャへのランダム・アクセスを提供するためのグループオブピクチャの再構造化方法
CN111279694A (zh) Gdr码流编码方法、终端设备、机器可读存储介质
CN115278313A (zh) 一种高倍率多路数的视频并发倍速方法
WO2023246936A1 (zh) 一种图像处理方法、装置及设备
US20100232768A1 (en) Recording device, reproducing device, and method
EP3547684B1 (en) Method, device and system for encoding a sequence of frames in a video stream

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination