CN118044204A - 编解码方法、解码器、编码器及计算机可读存储介质 - Google Patents

编解码方法、解码器、编码器及计算机可读存储介质 Download PDF

Info

Publication number
CN118044204A
CN118044204A CN202180102917.0A CN202180102917A CN118044204A CN 118044204 A CN118044204 A CN 118044204A CN 202180102917 A CN202180102917 A CN 202180102917A CN 118044204 A CN118044204 A CN 118044204A
Authority
CN
China
Prior art keywords
frame
key
decoding
key frame
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180102917.0A
Other languages
English (en)
Inventor
虞露
潘雅庆
朱炳杰
戴震宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Zhejiang University ZJU
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU, Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Zhejiang University ZJU
Publication of CN118044204A publication Critical patent/CN118044204A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请实施例提供了一种编解码方法、解码器、编码器及计算机可读存储介质，该方法可以包括：解析码流，获取解码帧的帧类型标识；若帧类型标识表征解码帧为关键帧，则通过解码网络，对关键帧进行解码，得到解码信息；利用任务网络，对解码信息进行任务分析，得到任务分析结果。

Description

编解码方法、解码器、编码器及计算机可读存储介质 技术领域
本申请实施例涉及视频编解码的技术领域，尤其涉及一种编解码方法、解码器、编码器及计算机存储介质。
背景技术
视频作为在互联网流量中占据主导地位的一种主要媒体形式，如若不进行压缩，则会导致传输的数据量巨大。而传统的视频编解码标准如H.264/AVC,H.265/HEVC，H.266/VVC就是对视频进行压缩。但面向的对象为人类视觉方面，其压缩的目标是在保持图像像素级的质量，使其具有良好的视觉质量，如何提高视频的压缩效率仍需继续探讨。
发明内容
本申请实施例提供了一种编解码方法、解码器、编码器及计算机可读存储介质，能够差异化处理视频编解码过程，提高编解码效率。
本申请实施例的技术方案可以如下实现：
本申请实施例提供了一种解码方法，包括：
解析码流，获取解码帧的帧类型标识；
若所述帧类型标识表征解码帧为关键帧，则通过解码网络，对所述关键帧进行解码，得到解码信息；
利用任务网络，对所述解码信息进行任务分析，得到任务分析结果。
本申请实施例提供了一种编码方法，包括：
对视频序列进行处理，确定关键帧和非关键帧；
若编码帧为所述关键帧，则通过编码网络，对所述关键帧进行编码，得到关键帧码流；
若编码帧为所述非关键帧，则基于参考关键帧对所述非关键帧进行帧间编码，得到非关键帧码流；所述参考关键帧为所述非关键帧编码前已编码关键帧。
本申请实施例提供了一种解码器，包括：
解析部分，被配置解析码流，获取解码帧的帧类型标识；
解码部分，被配置为若所述帧类型标识表征解码帧为关键帧，则通过解码网络，对所述关键帧进行解码，得到解码信息；
任务分析部分，被配置为利用任务网络，对所述解码信息进行任务 分析，得到任务分析结果。
本申请提实施例供了一种编码器，包括：
确定部分，被配置为对视频序列进行处理，确定关键帧和非关键帧；
编码部分，被配置为若编码帧为所述关键帧，则通过编码网络，对所述关键帧进行编码，得到关键帧码流；以及若编码帧为所述非关键帧，则基于参考关键帧对所述非关键帧进行帧间编码，得到非关键帧码流；所述参考关键帧为所述非关键帧编码前已编码关键帧。
本申请实施例还提供了一种解码器，包括：
第一存储器，用于存储可执行解码指令；
第一处理器，用于执行所述第一存储器中存储的可执行解码指令时，实现解码器所述的解码方法。
本申请实施例还提供了一种编码器，包括：
第二存储器，用于存储可执行编码指令；
第二处理器，用于执行所述第二存储器中存储的可执行编码指令时，实现编码器所述的编码方法。
本申请实施例提供了一种计算机可读存储介质，存储有可执行解码指令，用于引起第一处理器执行时，实现解码器所述的解码方法；或者，存储有可执行编码指令，用于引起第二处理器执行时，实现编码器所述的编码方法。
本申请实施例提供了一种编解码方法、解码器、编码器及计算机可读存储介质，由于在解码的过程中，只对关键帧采用端到端的解码方式，得到解码信息，该解码信息直接可以使用在进行智能任务的过程中，可以采用关键帧就实现任务分析功能，而无需所有码流解析完成时才进行智能任务的执行。因此，在提高了智能任务处理速度的基础上，提高了关键帧的解码效率。
附图说明
图1为本申请实施例的相关技术实现的编解码方法一；
图2为本申请实施例的相关技术实现的编解码方法二；
图3为本申请实施例的相关技术实现的编解码方法三；
图4为本申请实施例提供的一种解码方法的流程图；
图5A为本申请实施例提供的一种Lee网络模型的结构示意图；
图5B为本申请实施例提供的一种Duan网络模型的结构示意图；
图6A为本申请实施例提供的一种yolo_v3网络模型的结构示意图；
图6B为本申请实施例提供的另一种yolo_v3网络模型的结构示意图；
图6C为本申请实施例提供的一种ResNet-FPN网络模型的结构示意图；
图6D为本申请实施例提供的一种Mask-RCNN网络模型的结构示意图；
图7为本申请实施例提供的一种解码系统的组成框图示意图；
图8为本申请实施例提供的一种编码方法的流程图；
图9为本申请实施例提供的一种编码系统的组成框图示意图；
图10为本申请实施例提供的示例性的编解码流程示意；
图11为本申请实施例提供的示例性的关键帧的编解码流程示意图一；
图12为本申请实施例提供的示例性的关键帧的编解码流程示意图二；
图13为本申请实施例提供的一种解码器的结构示意图一；
图14为本申请实施例提供的一种解码器的结构示意图二；
图15为本申请实施例提供的一种编码器的结构示意图一；
图16为本申请实施例提供的一种编码器的结构示意图二。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
除非另有定义，本申请所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
在本申请实施例中，端到端图像编解码网络已经有比较成熟的发展，不同的技术方案差异在于编码器和解码器的结构不同，或是概率估计模型的不同。最新的端到端图像编码技术的率失真性能已经接近甚至超越了最新的VVC国际标准的VTM编解码器中帧内编码的性能，这对比于传统编解码的历史而言，端到端图像编解码在极短的时间就赶上了传统编解码的性能，其对编解码来说有着极为重要的意义。
近年来随着深度学习的发展，基于深度学习的图像编码成为研究的热点，通过神经网络的结构将图像像素级质量作为损失函数并优化，最后利用概率估计模型近似估算码字分布，从而实现优化率失真性能的目标，这种技术称之为端到端图像编码。且近年来机器成为处理大量视频流量的对象，面向机器任务的视频压缩的需求越来越大。
目前，图像及视频的编解码处理可以包括面向人类视觉的视频压缩和基于面向机器任务的视频压缩，前者更注重图像像素级质量，而后者更加注重语义质量。其中，面向人类视觉的视频压缩时采用传统编解码方法。面向机器任务的视频压缩是采用端到端图像压缩网络实现的编解码方法。
这样，在国际上，国际标准组织MPEG的Ad-Hoc创建一个名为“机器视频编码”(VCM)的组织。对于传统的视频编解码而言，发展已经趋于一定饱和阶段，能够优化的技术和开发的方向以及能够提高的性能有限，很难有一个突破性的发展，而对于端到端图像压缩网络而言，虽然在图像上 有一定的突破，但在视频编解码上并没有超越VVC的性能，仍然具有很大的挑战。另外对于基于深度学习的端到端视频编解码，很多是相较于传统视频编解码复杂性是更高的，存在一定编解码效率问题。
由此，VCM提出了三种方案，第一种方案如图1所示，是直接使用视频编解码器对视频进行编解码，解码视频直接送入到智能任务网络进行分析，得到任务分析结果，其中视频的架构中并没有限制编解码器，既可以是基于深度学习的端到端编解码网络，也可以是传统编解码器。
第二种方案如图2所示，是将智能任务分析拆成两个部分，第一个部分是对视频提取特征，通常是在边缘设备中存在，另外一个部分是执行对应的机器智能分析任务，通常在云端服务器中。中间部分是将特征进行特征转换后送入到视频编解码器中进行编解码，以及特征逆变换后，最后送入到智能任务的第二部分，得到任务分析结果，同样此处的视频编解码也没有限定。
第三种方案如图3所示，是属于人机混合，是同时可以面向机器和人类视觉，这一部分如同方案二一样将智能任务分成两个部分。将原始视频和通过利用智能任务网络中的第一个部分从视频中提取的特征作为输入，分别是走两条支路，上端的是特征编解码，最终重构特征为后续的智能任务网络的第二部分作为输入，得到任务分析结果。底部分支的视频解码器利用生成的比特流和重构特征从顶部分支到为人类消费重建视频/图像。
然而，对于很多智能任务并不是视频的所有帧都需要用于分析，可以提取关键帧来进行分析同样就可以达到相近的效益，例如目标检测任务，如果关键帧中的物体在接下来的几个非关键帧都具有那么就可以不进行分析。
基于此，本申请实施例中提供了面向机器智能的视频混合编解码方法，也可兼容面向人类视觉的领域，本申请实施例结合端到端图像压缩网络和传统视频编解码系统实现。通过将目标视频(视频序列)分为多个图像组，将图像组分成关键帧和非关键帧，对于包含较多新信息的视频的关键帧，采用较高效的智能方法、独立进行编解码；其它帧仍用帧间方法进行编解码；在进行智能分析之前，只需要从码流中检出关键帧、对关键帧进行解码、实施分析，不再需要再进行复杂的帧间解码，也提高智能分析速度。
下面结合附图和实施例对本申请的技术方案进一步详细阐述。
本申请实施例提供一种解码方法，该方法应用于视频解码设备，即解码器。该方法所实现的功能可以通过视频解码设备中的第一处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该视频解码设备至少包括第一处理器和第一存储器。
图4为本申请实施例提供的一种解码方法的实现流程示意图，如图4所示，该方法包括：
S101、解析码流，获取解码帧的帧类型标识。
S102、若帧类型标识表征解码帧为关键帧，则通过解码网络，对关键帧进行解码，得到解码信息。
S103、利用任务网络，对解码信息进行任务分析，得到任务分析结果。
在本申请实施例中，在面向机器智能的视频混合编解码的场景中，采用端到端编解码网络和传统编解码相结合的方式来共同实现对视频的编解码。
在本申请实施例中，解码器可以先以帧为单位确定采用的解码方式，根据不同的帧类型来决定怎么进行对该帧图像的解码。
在本申请实施例中，解码器解析码流，由于编码时针对帧类型会传输帧类型标识在码流中，因此，解码器可以从码流中解析出当前待解码的解码帧的帧类型标识。
需要说明的是，在本申请实施例中，帧类型可以包括关键帧和非关键帧，这里的关键帧和非关键帧可以是与传统的关键帧不同的类型。
在本申请的一些实施例中，关键帧可以是通过智能任务网络，与对视频序列进行的任务分析相关度或者紧密度最高的视频帧，剩余的视频帧则为非关键帧。
在本申请的一些实施例中，关键帧也可以是与任务分析无关而确定的关键帧，本申请实施例不作限制。
在本申请实施例中，帧类型为关键帧的帧类型标识可以采用I*帧来表示，其他除了I*帧的表示的为帧类型为非关键帧的帧类型标识，且本申请实施例也不限制关键帧的帧类型表示形式。
需要说明的是，在本申请实施例中，在码流中是通过语法元素的值描述帧类型标识的值表征关键帧或非关键帧的。
在本申请实施例中，解码器解析的帧类型标识为关键帧时，该解码器可以通过端到端的解码网络，对是关键帧的当前的解码帧进行解码，得到解码信息。
需要说明的是，解码网络可以为端到端图像压缩解码网络，该解码网络可以实现熵解码以及神经网络卷积层的重建处理，得到解码信息。而在熵解码后是可以得到解码帧对应的解码特征(关键帧特征)的，该解码特征在进行神经网络卷积层处理后，得到了解码重建帧(即关键帧重建帧)。
在本申请实施例中，在进行智能任务处理的时候，由于在采用机器学习或大数据实现任务分析时，也是要提取特征后再对特征分析。因此，在本申请实施例中，解码器可以将中间输出的解码特征直接输入到任务网络，是的该任务网络可以直接对解码特征进行分析，从而实现任务分析，得到任务分析结果，这样解码器可以对关键帧进行部分解码(即解码出解码特征)而不用恢复出解码重建帧就可以开始智能分析，从而减少了任务分析时的工作环节，提高了任务分析的速率和效率。且由于关键帧是基于任务的紧密程度最高的帧，那么使用解码关键帧得到的解码特征来进行任务分 析的话，该任务分析结果的精度将会提高。
在本申请的一些实施例中，解码器还可以将解码得到的解码重建帧输入到任务网络，实现任务分析的过程，得到任务分析结果，本申请实施例不作限制。
在本申请实施例中，智能任务处理可以为目标检测任务，目标分类任务等机器学习处理，本申请实施例不作限制。以目标检测任务为例，若想要从图像中的检测出哪些是行人的场景下，则任务网络为目标检测网络，利用目标检测网络可以将解码重建帧进行检测分析，得到行人检测结果(即任务分析结果)。
需要说明的是，解码网络可以为神经网络形成的，任务网络也是基于机器学习得到的智能网络，例如可以是基于神经网络等形成的检测网络或者分类网络等，或者其他深度学习网络，本申请实施例不作限制。
本申请实施例提出的任务网络和端到端图像压缩编解码网络，同样可以使用其他常见的网络结构来代替。例如，在端到端图像编解码领域，可以使用Lee网络和Duan网络来具体实施。其中，Lee网络采用迁移学习的方法提升网络重建图像的质量；Duan网络则使用高层的语义图增强低级的视觉特征，并且验证了这种方法可以有效的提升图像压缩的码率-精度-失真性能。在这里，Lee网络模型的组成结构如图5A所示，Duan网络模型的组成结构如图5B所示。
相应地，在任务网络领域，可以使用目标识别网络yolo_v3来具体实施，其网络模型的组成结构如图6A和图6B所示；此外，也可以使用目标检测网络ResNet-FPN以及实例分割网络Mask-RCNN等，其中，目标检测网络模型的组成结构如图6C所示，实例分割网络模型的组成结构如图6D所示。
可以理解的是，由于在解码的过程中，只对关键帧采用端到端的解码方式，得到解码信息，该解码信息直接可以使用在进行智能任务的过程中，可以采用关键帧就实现任务分析功能，而无需所有码流解析完成时才进行智能任务的执行。因此，在提高了智能任务处理速度的基础上，提高了关键帧的解码效率。
在本申请的一些实施例中，解码器在解析码流时，还可以获取编码器在编码时的传输的网络参数相关信息的，解码器基于该网络参数相关信息与编码器编码时的编码网络的网络参数保持一致。
需要说明的是，解码器可以基于网络参数相关参数，确定出解码要用的解码网络的。
在本申请的一些实施例中，网络参数相关信息可以包括：网络参数索引信息或网络参数等，解码器可以直接使用网络参数在初始解码网络中，得到解码网络，也可以是根据网络参数索引信息，从预设的网络映射关系中，确定出与网络参数索引信息对应的网络，作为解码网络，本申请实施例不作限制。
在本申请的一些实施例中，若帧类型标识表征解码帧为非关键帧，则对非关键帧进行传统解码，得到非关键重建帧。其中，传统解码可以是帧间预测，也可以是帧内预测等，本申请实施例不作限制。
在本申请的一些实施例中，在传统解码为帧间预测的情况下，若帧类型标识表征解码帧为非关键帧，则获取解码帧对应的参考关键重建帧，基于参考关键重建帧，对非关键帧进行帧间解码，得到非关键重建帧，参考关键重建帧为非关键帧解码前的已解码重建帧。
可以理解的是，解码器针对关键帧和非关键帧根据不同的使用需求，采用不同的解码方式来实现，实现端到端图像解码对关键帧进行解码提高了关键帧的解码效率，但又采用传统解码对非关键帧进行解码，减少了解码的复杂度，兼顾端到端图像解码和传统解码的优点。
在本申请实施例中，解码器解析码流时，还可以获取非关键帧的参考关键帧的帧索引信息；基于帧索引信息，从已解码重建帧中确定参考关键重建帧。
需要说明的是，解码器在基于帧类型标识解码到是非关键帧的解码帧时，采用传统的解码系统的解码方式实现。例如，采用帧间预测，将与该非关键帧对应的已解码的关键帧重建帧作为参考帧，实现非关键帧的解码过程，得到非关键重建帧。
在本申请实施例中，编码器在对视频序列进行编码的时候，可以将视频序列分成多组图像，每组图像中去确定关键帧和非关键帧，这时情况下，解码器解码非关键帧的过程中，需要利用已解码的与待解码的非关键帧在同一组的关键帧来解码。
需要说明的是，非关键帧的参考关键重建帧与编码该非关键帧时参考关键帧对应，是参考关键帧解码重建后的结果。解码器可以从码流中获取参考关键帧的帧索引信息，这样，解码器可以根据帧索引信息，从已解码重建帧中定位到参考关键帧对应的参考关键重建帧。
在本申请实施例中，解码后的重建帧，尤其是关键帧重建帧是可以存在参考帧缓存区的，这样，解码器在解码非关键帧的时候，可以根据帧索引信息，从参考帧缓存区找到对应的参考关键重建帧。
在本申请一些实施例中，解码器采用传统的解码系统对非关键帧进行帧间预测，实现解码。其中，解码系统的框架如图7所示。该解码系统包括：
解码单元121、反变换单元127，与反量化单元122、帧内预测单元123、运动补偿单元124、环路滤波单元125和解码图像缓存单元126单元；输入的视频信号经过编码系统进行编码处理之后，输出该视频信号的码流；该码流输入解码系统12中，首先经过解码单元121，用于得到解码后的变换系数；针对该变换系数通过反变换单元127与反量化单元122进行处理，以便在像素域中产生残差块；帧内预测单元123可用于基于所确定的帧内 预测方向和来自当前帧或图片的先前经解码块的数据而产生当前视频解码块的预测数据；运动补偿单元124是通过剖析运动向量和其他关联语法元素来确定用于视频解码块的预测信息，并使用该预测信息以产生正被解码的视频解码块的预测性块；通过对来自反变换单元127与反量化单元122的残差块与由帧内预测单元123或运动补偿单元124产生的对应预测性块进行求和，而形成解码的视频块；该解码的视频信号通过环路滤波单元125以便去除方块效应伪影，可以改善视频质量；然后将经解码的视频块存储于解码图像缓存单元126中，解码图像缓存单元126存储用于后续帧内预测或运动补偿的参考图像，同时也用于视频信号的输出，得到所恢复的原始视频信号。
本申请实施例中，解码器采用解码系统的帧间预测单元，即运动补偿单元124实现。
可以理解的是，解码器可以采用端到端解码网络对关键帧进行解码，且利用传统的解码手段对非关键帧进行解码，方便对关键帧进行解码后进行智能分析，包括对关键帧进行部分解码而不恢复图像就开始智能分析，减少处理环节、提高得到分析结果的速度，且提高分析精度。
在本申请的一些实施例中，如图8所示，本发明实施例提供了一种编码方法，包括：
S201、对视频序列进行处理，确定关键帧和非关键帧。
S202、若编码帧为关键帧，则通过编码网络，对关键帧进行编码，得到关键帧码流。
S203、若编码帧为非关键帧，则基于参考关键帧对非关键帧进行帧间编码，得到非关键帧码流；参考关键帧为非关键帧编码前已编码关键帧。
编码器对视频序列进行编码的时候，可以对视频序列进行类型划分，确定出其中的关键帧和非关键帧，关键帧可能有多个帧，本申请实施例不作限制。
在本申请实施例中，若编码帧为关键帧，编码器则通过编码网络，对关键帧进行编码，得到关键帧码流。若编码帧为非关键帧，编码器则基于参考关键帧对非关键帧进行帧间编码，得到非关键帧码流；参考关键帧为非关键帧编码前已编码关键帧。关键帧码流和非关键帧码流均为传出到解码器的码流。
在本申请实施例中，编码器在确定了关键帧和非关键帧的时候，将所述关键帧和/或所述非关键帧进行标记，确定帧类型标识，并将所述帧类型标识写入关键帧码流和/或非关键帧码流中。
需要说明的是，编码器可以将关键帧和非关键帧进行标记，帧类型为关键帧的帧类型标识可以采用I*帧来表示，其他除了I*帧的表示的为帧类型为非关键帧的帧类型标识，且本申请实施例也不限制关键帧的帧类型表示形式。其中，在本申请实施例中，在本申请的一些实施例中，在关键帧 码流和/或非关键帧码流中，通过语法元素的值描述帧类型标识的值为关键帧或非关键帧。这里的关键帧和非关键帧可以是与传统的关键帧不同的类型。其中，这里的语法元素是自定义的，与现有的语法元素不一样。
在本申请的一些实施例中，关键帧可以是通过智能任务网络(即任务网络)，与对视频序列进行的任务分析相关度或者紧密度最高的视频帧，剩余的视频帧则为非关键帧。
在本申请的一些实施例中，关键帧也可以是与任务分析无关而确定的关键帧，本申请实施例不作限制。
示例性的，将待编码的视频序列分为多个图像组，每个图像组可以分为关键帧和非关键帧。关键帧的选择可以根据相关获取帧与帧之前具有新信息的帧的一些方法，如场景切换等，来确定关键帧。
在本申请的一些实施例中，编码器可以基于任务分析的特性，将视频序列中与任务最匹配的至少一帧作为关键帧，将除关键帧之外的其他帧作为所述非关键帧。
其中，与任务最匹配的至少一帧包括：
发生任务场景切换的至少一帧；
任务场景中具有代表性的至少一帧。
其中，本申请实施例不限于确定关键帧和非关键帧的其他场景方式。
需要说明的是，编码器在确定了关键帧和非关键帧的时候，将所述关键帧非关键帧进行标记，确定帧类型标识，并将帧类型标识写入关键帧码流中。编码器还可以将非关键帧进行标记，确定帧类型标识，并将帧类型标识写入非关键帧码流中。编码器也可以将关键帧和非关键帧分别进行标记，确定帧类型标识，并将帧类型标识各自写入对应的关键帧码流和非关键帧码流中，本申请实施例不作限制。
编码器在对当前帧进行编码的时候，会先对关键帧进行标记区别，这样在编码器进行待编码的编码帧的编码时，若确定该编码帧为关键帧，则编码器就采用端到端图像压缩编码网络(即编码网络)对关键帧进行编码。若确定编码帧为非关键帧，则基于参考关键帧对非关键帧进行帧间编码，得到非关键帧码流；参考关键帧为非关键帧编码前已编码关键帧。
需要说明的是，关键帧码流包括：特征码流和概率估计码流中的至少一种。编码网络可以为端到端图像压缩编码网络，该编码网络可以实现神经网络卷积层的特征提取，量化以及熵编码处理，得到特征码流，还可以实现神经网络卷积层的特征提取，通过概率估计模型实现概率估计处理，得到概率估计码流。
也就是说，编码器可以通过编码网络，对关键帧进行特征提取、量化和熵编码，得到特征码流；也可以通过编码网络，对关键帧进行特征提取和概率估计，得到概率估计码流，或者，同时进行上述两种编码，本申请实施例不作限制。
需要说明的是，编码网络可以为神经网络形成的，或者其他深度学习网络，本申请实施例不作限制。
在本申请的一些实施例中，编码器可以基于预设码率，确定编码网络的网络参数，从而确定编码网络；将网络参数或与网络参数对应的网络参数索引信息写入码流。例如，在当前的待编码帧的帧PPS码流中加入端到端图像压缩网络参数(或索引信息)。
需要说明的是，可以根据想要的预设码率，确定应该具有的网络参数，进而确定该网络参数对应的网络为编码网络。
在本申请的一些实施例中，具有网络与参数的映射关系，采用网络参数索引信息来表示是哪个网络参数，因此，在传输时，编码器可以将网络参数直接传输给解码器，供解码器在解码时使用，也可以将网络参数索引信息传输至解码器，解码器中存储有网络与参数的映射关系，就可以找到需要的解码网络，本申请实施例不作限制。
示例性的，编码器端基于给定码率(QP)要求，确定端到端压缩编码网络参数(或索引信息)，在码流中标记所使用的端到端压缩网络参数(索引信息)。在码流中标记该使用端到端压缩编码网络进行编码的帧的帧类型表示为I*帧。非关键帧的帧类型表示为传统视频编码器中规定的帧类型表示，如I帧，P帧或B帧等。
在本申请的一些实施例中，编码器还可以将视频序列划分为多组图像帧；从多组图像帧中，分别确定各自的关键帧和非关键帧。
需要说明的是，编码器在对非关键帧进行帧间预测的时候，采用传统的编码系统来实现，并采用非关键帧编码前已编码的关键帧(参考关键帧)作为参考帧来进行帧间预测。
示例性的，参考关键帧可与为每组图像帧中，非关键帧编码前，已编码的关键帧。
在本申请实施例中，编码器是需要将参考关键帧的帧索引信息写入非关键帧码流，传输至解码器的，供解码器在解码该非关键帧时进行帧间预测时使用。
需要说明的是，编码器采用传统的编码系统对非关键帧进行帧间预测，实现编码。其中，编码系统的框架如图9所示。该编码系统包括：
变换单元111、量化单元112、模式选择和编码控制逻辑单元113、帧内预测单元114、帧间预测单元115(包括：运动补偿和运动估计)、反量化单元116、反变换单元117、环路滤波单元118、编码单元119和解码图像缓存单元110；针对输入的原始视频信号，通过编码树块(Coding Tree Unit，CTU)的划分可以得到一个视频重建块，通过模式选择和编码控制逻辑单元113确定编码模式，然后，对经过帧内或帧间预测后得到的残差像素信息，通过变换单元111、量化单元112对该视频重建块进行变换，包括将残差信息从像素域变换到变换域，并对所得的变换系数进行量化，用以 进一步减少比特率；帧内预测单元114用于对该视频重建块进行帧内预测；其中，帧内预测单元114用于确定该视频重建块的最优帧内预测模式(即目标预测模式)；帧间预测单元115用于执行所接收的视频重建块相对于一或多个参考帧中的一或多个块的帧间预测编码，以提供时间预测信息；其中吗，运动估计为产生运动向量的过程，运动向量可以估计该视频重建块的运动，然后，运动补偿基于由运动估计所确定的运动向量执行运动补偿；在确定帧间预测模式之后，帧间预测单元115还用于将所选择的帧间预测数据提供到编码单元119，而且，将所计算确定的运动向量数据也发送到编码单元119；此外，反量化单元116和反变换单元117用于该视频重建块的重构建，在像素域中重构建残差块，该重构建残差块通过环路滤波单元118去除方块效应伪影，然后，将该重构残差块添加到解码图像缓存单元110的帧中的一个预测性块，用以产生经重构建的视频重建块；编码单元119是用于编码各种编码参数及量化后的变换系数。
本申请实施例中，编码器采用编码系统的帧间预测单元115实现。
可以理解的是，编码码器可以采用端到端编码网络对关键帧进行编码，且利用传统的编码手段对非关键帧进行编码，由于采用与传统采用的视频压缩编码器相比，可以利用端到图像压缩网络替代传统视频编码器的关键帧编码方法，提高关键帧的编码效率。但又采用传统编码对非关键帧进行编码，减少了编码的复杂度，兼顾端到端图像编码和传统编码的优点。
下面结合编码和解码的联合场景进行说明。
如图10所示，编码端对视频序列进行分组，确定多个图像组，从每组图像中确定出关键帧和非关键帧，图像组中的关键帧经过端到端压缩编码网络(编码网络)得到关键帧码流；关键帧码流通过端到端图像压缩解码网络进行重建后得到关键帧重建帧。其中，端到端图像压缩解码网络不限定于一个特定的结构，只要能够输入一帧图像能够编解码重构出图像的图像端到端编解码网络都在范围之内。其次，基于关键帧对图像组中的非关键帧进行传统视频压缩编码得到非关键帧码流；最后，非关键帧码流在关键帧重建帧重建后，基于关键帧重建帧通过传统视频压缩解码进行重建后得到非关键帧重建帧。
其中，关键帧的编解码基本框架如图11所示。关键帧经过端到端压缩网络进行编解码，得到关键帧重建帧，以端到端(智能)网络进行编码(神经网络卷积层处理、量化、熵编码，和/或概率估计)的关键帧会在码流(特征码流，码流也可能有概率估计码流)当中进行标记，作为一种新的不同于传统编码I帧标记，标记成I*帧(帧类型标识)。解码端解析得到当前待解码帧的帧类型标识，若该帧为I*帧，则使用端到端压缩解码网络对该帧进行解码(熵解码、神经网络卷积层处理)，得到关键帧重建帧；若该帧的帧类型不是I*帧，在参考端到端压缩解码网络解码出来的关键帧重建帧，使用传统解码器对其进行解码，这与传统的帧间预测参考I帧是不同的，区 别在于解码图像的缓存管理与操作方式、解码图像的编码信息缓存空间(缓存划分、块类型(帧内或帧间)、预测模式、或变换模式等信息)的管理与操作方式、解码图像的编码信息缓存空间相关信息的使用方式等。解码端可以根据码流中的帧类型快速定位关键帧位置，并首先对关键帧码流进行解码得到关键帧重建帧；基于关键帧重建帧作为参考，解码非I*帧，同时得到的关键帧重建帧则可以直接用于智能任务进行推理，得到推理结果(任务分析结果)，无需等待所有码流完成解码，提高了任务处理速度。
在本申请实施例中，关键帧和非关键帧编码过程：
编码端基于给定码率(QP)要求，确定端到端压缩网络参数，在码流中标记所使用的端到端压缩网络参数。在码流中标记该使用端到端压缩网络进行编码的帧的帧类型为I*帧。非关键帧的帧类型为传统视频编码器中规定的帧类型，如I帧，P帧或B帧等。
关键帧和非关键帧解码过程：
解码端解析码流，得到端到端压缩网络参数，选择对应的端到端解码网络进行解码。
解码端还可以根据码流中关键帧与非关键帧采用不同的帧类型标识，可以快速定位关键帧位置，并先对关键帧码流进行解码得到关键帧重建帧；得到的关键帧重建帧则可以直接用于智能任务进行推理，无需等待所有码流完成解码再进行智能任务的推理。非关键帧的解码可以参考关键帧重建帧。
基于图11，如图12所示，解码端获得关键帧码流后，可以对其进行部分解码，获得重建的关键帧的特征(也可以理解为解码网络的中间输出结果)，即关键帧解码器输出为重建的关键帧特征，并直接采用重建的关键帧特征进行智能分析获得，得到推理结果(任务分析结果)，而不再需要解码恢复关键帧图像，智能任务网络也不需要从重建的关键帧图像中提取图像的特征。可以减少处理环节、提高得到分析结果的速度，提高分析精度。
本申请采用与传统采用的视频压缩编码器相比，可以利用端到图像压缩网络替代传统视频编码器的关键帧编码方法，提高关键帧的编码效率，并且，解码端可以解码部分码流后就进行机器视觉推理任务，提高任务处理速度和效率。
基于前述的实施例，本申请实施例提供一种解码器，包括所包括的各单元、以及各单元所包括的各模块，可以通过解码器中的第一处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器、微处理器、数字信号处理器(DSP，Digital Signal Processor)或现场可编程门阵列等。
如图13所示，本申请实施例提供一种解码器1，包括：
解析部分10，被配置解析码流，获取解码帧的帧类型标识；
解码部分11，被配置为若所述帧类型标识表征解码帧为关键帧，则通 过解码网络，对所述关键帧进行解码，得到解码信息；
任务分析部分12，被配置为利用任务网络，对所述解码信息进行任务分析，得到任务分析结果。
在本申请的一些实施例中，所述解码信息包括：解码重建帧或所述解码网络中间输出的解码特征。
在本申请的一些实施例中，所述解码器1还包括：获取部分13；
所述解析部分11，还被配置从所述码流中，获取网络参数相关信息；
所述获取部分13，被配置为基于所述网络参数相关信息，确定所述解码网络。
在本申请的一些实施例中，所述网络参数相关信息包括：网络参数索引信息或网络参数。
在本申请的一些实施例中，所述解码部分11，还被配置为所述解析码流，获取解码帧的帧类型标识之后，若所述帧类型标识表征解码帧为非关键帧，则对所述非关键帧进行传统解码，得到非关键重建帧。
在本申请的一些实施例中，所述解码器1还包括：获取部分13；
所述获取部分13，被配置为所述解析码流，获取解码帧的帧类型标识之后，若所述帧类型标识表征解码帧为非关键帧，则获取所述解码帧对应的参考关键重建帧，基于所述参考关键重建帧，对所述非关键帧进行帧间解码，得到非关键重建帧，所述参考关键重建帧为所述非关键帧解码前的已解码重建帧。
在本申请的一些实施例中，所述解析部分11，还被配置为从所述码流中，获取参考关键重建帧的帧索引信息；
所述获取部分13，还被配置为基于所述帧索引信息，从已解码重建帧中确定所述参考关键重建帧。
在实际应用中，如图14所示，本申请实施例还提供一种解码器，包括：
第一存储器14，用于存储可执行解码指令；
第一处理器15，用于执行所述第一存储器14中存储的可执行解码指令时，实现解码器所述的解码方法。
可以理解的是，由于在解码的过程中，只对关键帧采用端到端的解码方式，得到解码信息，该解码信息直接可以使用在进行智能任务的过程中，可以采用关键帧就实现任务分析功能，而无需所有码流解析完成时才进行智能任务的执行。因此，在提高了智能任务处理速度的基础上，提高了关键帧的解码效率。
基于前述的实施例，本申请实施例提供一种编码器，包括所包括的各单元、以及各单元所包括的各模块，可以通过编码器中的第二处理器来实现；当然也可通过具体的逻辑电路实现。
如图15所示，本申请实施例提供一种编码器2，包括：
确定部分20，被配置为对视频序列进行处理，确定关键帧和非关键帧；
编码部分21，被配置为若编码帧为所述关键帧，则通过编码网络，对所述关键帧进行编码，得到关键帧码流；以及若编码帧为所述非关键帧，则基于参考关键帧对所述非关键帧进行帧间编码，得到非关键帧码流；所述参考关键帧为所述非关键帧编码前已编码关键帧。
在本申请的一些实施例中，所述编码器2还包括：写入部分22；
所述确定部分20，还被配置为对所述关键帧和/或所述非关键帧进行标记，确定帧类型标识；
所述写入部分22，被配置为将所述帧类型标识写入所述关键帧码流和/或所述非关键帧码流。
在本申请的一些实施例中，在所述关键帧码流和/或所述非关键帧码流中，通过语法元素的值描述所述帧类型标识的值为关键帧或非关键帧。
在本申请的一些实施例中，所述确定部分20，还被配置为将所述视频序列划分为多组图像帧；从所述多组图像帧中，分别确定各自的关键帧和非关键帧。
在本申请的一些实施例中，所述关键帧码流包括：特征码流和概率估计码流中的至少一种；
在本申请的一些实施例中，所述编码部分21，还被配置为通过所述编码网络，对所述关键帧进行特征提取、量化和熵编码，得到特征码流；通过所述编码网络，对所述关键帧进行特征提取和概率估计，得到概率估计码流。
在本申请的一些实施例中，所述确定部分20，还被配置为基于预设码率，确定所述编码网络的网络参数，从而确定所述编码网络；
所述写入部分22，还被配置为将所述网络参数或与所述网络参数对应的网络参数索引信息写入码流。
在本申请的一些实施例中，所述写入部分22，还被配置为将所述参考关键帧的帧索引信息写入所述非关键帧码流。
在本申请的一些实施例中，所述确定部分20，还被配置为基于任务分析的特性，将所述视频序列中与任务最匹配的至少一帧作为所述关键帧，将除所述关键帧之外的其他帧作为所述非关键帧。
在本申请的一些实施例中，与任务最匹配的至少一帧包括：
发生任务场景切换的至少一帧；
任务场景中具有代表性的至少一帧。
在实际应用中，如图16所示，本申请实施例还提供一种编码器，包括：
第二存储器23，用于存储可执行编码指令；
第二处理器24，用于执行所述第二存储器23中存储的可执行编码指令时，实现编码器所述的编码方法。
可以理解的是，编码码器可以采用端到端编码网络对关键帧进行编码， 且利用传统的编码手段对非关键帧进行编码，由于采用与传统采用的视频压缩编码器相比，可以利用端到图像压缩网络替代传统视频编码器的关键帧编码方法，提高关键帧的编码效率。但又采用传统编码对非关键帧进行编码，减少了编码的复杂度，兼顾端到端图像编码和传统编码的优点。
相应的，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被第一处理器执行时，实现解码器的解码方法；或者，该计算机程序被第二处理器执行时，实现编码器的编码方法。
在本申请的一些实施例中，计算机可读存储介质，其上存储有可执行解码指令，用于引起第一处理器执行时，实现解码器的解码方法；或者，存储有可执行编码指令，用于引起第二处理器执行时，实现编码器的编码方法。
需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的视频分量预测方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得电子设备(可以是手机、平板电脑、个人计算机、个人数字助理、导航仪、数字电话、视频电话、电视机、传感设备、服务器等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。
这里需要指出的是：以上存储介质和装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请存储介质和装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
以上所述，仅为本申请的实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
工业实用性
在本申请实施例中，由于在编解码的过程中，区分关键帧和非关键帧，并只对关键帧采用端到端的编解码方式，无需所有帧编码完成，或者所有码流解析完成，就可以使得在进行智能任务的过程中，可以采用关键帧就实现任务分析功能，因此，在提高了智能任务处理速度的基础上，提高了关键帧的编解码效率。

Claims (21)

  1. 一种解码方法，包括：
    解析码流，获取解码帧的帧类型标识；
    若所述帧类型标识表征解码帧为关键帧，则通过解码网络，对所述关键帧进行解码，得到解码信息；
    利用任务网络，对所述解码信息进行任务分析，得到任务分析结果。
  2. 根据权利要求1所述的方法，其中，
    所述解码信息包括：解码重建帧或所述解码网络中间输出的解码特征。
  3. 根据权利要求1或2所述的方法，其中，所述方法还包括：
    从所述码流中，获取网络参数相关信息；
    基于所述网络参数相关信息，确定所述解码网络。
  4. 根据权利要求3所述的方法，其中，
    所述网络参数相关信息包括：网络参数索引信息或网络参数。
  5. 根据权利要求1所述的方法，其中，所述解析码流，获取解码帧的帧类型标识之后，所述方法还包括：
    若所述帧类型标识表征解码帧为非关键帧，则获取所述解码帧对应的参考关键重建帧，基于所述参考关键重建帧，对所述非关键帧进行帧间预测，得到非关键重建帧，所述参考关键重建帧为所述非关键帧解码前的已解码重建帧。
  6. 根据权利要求5所述的方法，其中，所述获取所述解码帧对应的参考关键重建帧，包括：
    从所述码流中，获取参考关键帧的帧索引信息；
    基于所述帧索引信息，从已解码重建帧中确定所述参考关键重建帧。
  7. 根据权利要求1所述的方法，其中，所述解析码流，获取解码帧的帧类型标识之后，所述方法还包括：
    若所述帧类型标识表征解码帧为非关键帧，则对所述非关键帧进行传统解码，得到非关键重建帧。
  8. 一种编码方法，包括：
    对视频序列进行处理，确定关键帧和非关键帧；
    若编码帧为所述关键帧，则通过编码网络，对所述关键帧进行编码，得到关键帧码流；
    若编码帧为所述非关键帧，则基于参考关键帧对所述非关键帧进行帧间编码，得到非关键帧码流；所述参考关键帧为所述非关键帧编码前已编码关键帧。
  9. 根据权利要求8所述的方法，其中，所述方法还包括：
    对所述关键帧和/或所述非关键帧进行标记，确定帧类型标识，并将所述帧类型标识写入所述关键帧码流和/或所述非关键帧码流。
  10. 根据权利要求9所述的方法，其中，
    在所述关键帧码流和/或所述非关键帧码流中，通过语法元素的值描述所述帧类型标识的值为关键帧或非关键帧。
  11. 根据权利要求8至10任一项所述的方法，其中，所述对视频序列进行处理，确定关键帧和非关键帧，包括：
    将所述视频序列划分为多组图像帧；
    从所述多组图像帧中，分别确定各自的关键帧和非关键帧。
  12. 根据权利要求8至11任一项所述的方法，其中，所述关键帧码流包括：特征码流和概率估计码流中的至少一种；
    所述通过编码网络，对所述关键帧进行编码，得到关键帧码流，包括以下至少一种：
    通过所述编码网络，对所述关键帧进行特征提取、量化和熵编码，得到特征码流；
    通过所述编码网络，对所述关键帧进行特征提取和概率估计，得到概率估计码流。
  13. 根据权利要求8至12任一项所述的方法，其中，所述方法还包括：
    基于预设码率，确定所述编码网络的网络参数，从而确定所述编码网络；
    将所述网络参数或与所述网络参数对应的网络参数索引信息写入码流。
  14. 根据权利要求8至13任一项所述的方法，其中，所述方法还包括：
    将所述参考关键帧的帧索引信息写入所述非关键帧码流。
  15. 根据权利要求8至14任一项所述的方法，其中，所述对视频序列进行处理，确定关键帧和非关键帧，包括：
    基于任务分析的特性，将所述视频序列中与任务最匹配的至少一帧作为所述关键帧，将除所述关键帧之外的其他帧作为所述非关键帧。
  16. 根据权利要求15所述的方法，其中，
    与任务最匹配的至少一帧包括：
    发生任务场景切换的至少一帧；
    任务场景中具有代表性的至少一帧。
  17. 一种解码器，包括：
    解析部分，被配置解析码流，获取解码帧的帧类型标识；
    解码部分，被配置为若所述帧类型标识表征解码帧为关键帧，则通过解码网络，对所述关键帧进行解码，得到解码信息；
    任务分析部分，被配置为利用任务网络，对所述解码信息进行任务分析，得到任务分析结果。
  18. 一种解码器，包括：
    第一存储器，用于存储可执行解码指令；
    第一处理器，用于执行所述第一存储器中存储的可执行解码指令时， 实现权利要求1至7任一项所述的方法。
  19. 一种编码器，包括：
    确定部分，被配置为对视频序列进行处理，确定关键帧和非关键帧；
    编码部分，被配置为若编码帧为所述关键帧，则通过编码网络，对所述关键帧进行编码，得到关键帧码流；以及若编码帧为所述非关键帧，则基于参考关键帧对所述非关键帧进行帧间编码，得到非关键帧码流；所述参考关键帧为所述非关键帧编码前已编码关键帧。
  20. 一种编码器，包括：
    第二存储器，用于存储可执行编码指令；
    第二处理器，用于执行所述第二存储器中存储的可执行编码指令时，实现权利要求8至16任一项所述的方法。
  21. 一种计算机可读存储介质，存储有可执行解码指令，用于引起第一处理器执行时，实现权利要求1至7任一项所述的方法；或者，存储有可执行编码指令，用于引起第二处理器执行时，实现权利要求8至16任一项所述的方法。
CN202180102917.0A 2021-09-30 2021-09-30 编解码方法、解码器、编码器及计算机可读存储介质 Pending CN118044204A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/122467 WO2023050431A1 (zh) 2021-09-30 2021-09-30 编解码方法、解码器、编码器及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN118044204A true CN118044204A (zh) 2024-05-14

Family

ID=85781220

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180102917.0A Pending CN118044204A (zh) 2021-09-30 2021-09-30 编解码方法、解码器、编码器及计算机可读存储介质

Country Status (4)

Country Link
US (1) US20240236378A1 (zh)
EP (1) EP4412220A1 (zh)
CN (1) CN118044204A (zh)
WO (1) WO2023050431A1 (zh)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7050503B2 (en) * 1999-04-17 2006-05-23 Pts Corporation Segment-based encoding system using residue coding by basis function coefficients
JP5131224B2 (ja) * 2009-02-19 2013-01-30 沖電気工業株式会社 動画像復号装置、方法及びプログラム、動画像符号化装置、方法及びプログラム、並びに、動画像符号化システム
JP5333128B2 (ja) * 2009-09-29 2013-11-06 沖電気工業株式会社 動画像符号化装置及びプログラム、並びに、動画像配信システム
JP5233939B2 (ja) * 2009-09-30 2013-07-10 沖電気工業株式会社 動画像符号化装置及びプログラム、並びに、動画像配信システム
CN107343202B (zh) * 2017-06-01 2019-12-10 西安电子科技大学 基于附加码率的无反馈分布式视频编解码方法
CN107657228B (zh) * 2017-09-25 2020-08-04 中国传媒大学 视频场景相似性分析方法及系统、视频编解码方法及系统
CN109089126B (zh) * 2018-07-09 2021-04-27 武汉斗鱼网络科技有限公司 一种视频分析方法、装置、设备及介质
CN113132735A (zh) * 2019-12-30 2021-07-16 北京大学 一种基于视频帧生成的视频编码方法
CN112203093B (zh) * 2020-10-12 2022-07-01 苏州天必佑科技有限公司 一种基于深度神经网络的信号处理方法

Also Published As

Publication number Publication date
WO2023050431A1 (zh) 2023-04-06
US20240236378A1 (en) 2024-07-11
EP4412220A1 (en) 2024-08-07

Similar Documents

Publication Publication Date Title
JP4937741B2 (ja) 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体
CN101543074B (zh) 去块滤波装置和方法
KR101393824B1 (ko) 저 복잡성 움직임 벡터 도출을 위한 시스템 및 방법
KR101885633B1 (ko) 블록 기반 혼합 해상도의 데이터 프루닝을 사용하는 비디오 인코딩
CN103339938A (zh) 执行视频译码的运动向量预测
EP2382786A1 (en) Multiple-candidate motion estimation with advanced spatial filtering of differential motion vectors
JP2013543298A (ja) 事例ベースのデータ・プルーニングを用いたビデオ符号化
US20100119169A1 (en) Method for processing images and the corresponding electronic device
WO2011099428A1 (ja) 動きベクトル予測符号化方法、動きベクトル予測復号方法、動画像符号化装置、動画像復号装置およびそれらのプログラム
CN112702602B (zh) 一种视频编解码的方法及存储介质
US20210337184A1 (en) Candidate motion vector list construction method and device thereof
JP5004180B2 (ja) 動画像符号化装置および復号装置
US9565404B2 (en) Encoding techniques for banding reduction
CN110740319A (zh) 视频编解码方法、装置、电子设备及存储介质
CN117750034A (zh) 一种可学习视频编码方法、系统、设备及存储介质
CN103581682A (zh) 一种hevc帧内编码的快速模式决策算法及其应用
Yılmaz et al. Multi-scale deformable alignment and content-adaptive inference for flexible-rate bi-directional video compression
CN113422959A (zh) 视频编解码的方法、装置、电子设备及存储介质
CN114786019B (zh) 图像预测方法、编码器、解码器以及存储介质
Liu et al. Learned video compression with residual prediction and feature-aided loop filter
JP5938424B2 (ja) 画像ブロックを再構成および符号化する方法
Abou-Elailah et al. Improved side information generation for distributed video coding
Liu et al. Learned video compression with residual prediction and loop filter
CN115002482B (zh) 使用结构性保持运动估计的端到端视频压缩方法及系统
KR101396632B1 (ko) 비표준 벡터 양자화 코더를 이용한 비디오 표준을 따르는레지듀얼 코딩

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination