CN111263161A - 视频压缩处理方法、装置、存储介质和电子设备 - Google Patents

视频压缩处理方法、装置、存储介质和电子设备 Download PDF

Info

Publication number
CN111263161A
CN111263161A CN202010016421.9A CN202010016421A CN111263161A CN 111263161 A CN111263161 A CN 111263161A CN 202010016421 A CN202010016421 A CN 202010016421A CN 111263161 A CN111263161 A CN 111263161A
Authority
CN
China
Prior art keywords
frame image
current frame
image
feature map
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010016421.9A
Other languages
English (en)
Other versions
CN111263161B (zh
Inventor
刘浩杰
申晗
黄李超
陆明
陈彤
马展
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Horizon Robotics Technology Research and Development Co Ltd
Original Assignee
Beijing Horizon Robotics Technology Research and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Horizon Robotics Technology Research and Development Co Ltd filed Critical Beijing Horizon Robotics Technology Research and Development Co Ltd
Priority to CN202010016421.9A priority Critical patent/CN111263161B/zh
Publication of CN111263161A publication Critical patent/CN111263161A/zh
Application granted granted Critical
Publication of CN111263161B publication Critical patent/CN111263161B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开公开了一种视频压缩处理方法、装置、存储介质和电子设备，其中的视频压缩处理方法包括：确定当前帧图像以及历史帧图像的重建帧；通过第一神经网络模型对当前帧图像与历史帧图像的重建帧进行处理，获得当前帧图像的压缩数据以及当前帧图像的预测帧；根据当前帧图像的预测帧以及当前帧图像，确定当前帧图像对应的残差图像；通过第二神经网络模型对残差图像进行处理，获得残差图像的压缩数据以及当前帧图像对应的重建残差图像；根据当前帧图像的预测帧以及当前帧图像对应的重建残差图像，确定当前帧图像的重建帧。本公开提供的技术方案，能够降低训练优化难度，提高训练优化效率。

Description

视频压缩处理方法、装置、存储介质和电子设备
技术领域
本公开涉及视频处理技术领域，尤其涉及一种视频压缩处理方法、装置、存储介质和电子设备。
背景技术
随着视频数据在分辨率、帧率等方面的不断发展，视频压缩成为了视频传输、视频存储、视频广播等视频服务的基础。传统的视频压缩技术通常是使用高性能视频编码(HighEfficiency Video Coding，以下简称：HEVC)标准、H.264视频压缩编码标准、H.265视频压缩编码标准等提供的视频压缩处理框架。
相关技术中所使用的视频压缩处理框架内部，其中对视频帧图像进行压缩过程中，通常会使用独立的编码器和解码器，其中的编码器用于对视频帧图像进行压缩编码得到压缩数据，而解码器基于上述压缩数据得到预测帧或者重建帧。
发明人在实现本发明的过程中发现：上述相关的视频压缩处理框架由于不能够进行端到端的联合优化，存在无法提高整个视频压缩处理框架的压缩编码性能，进而提升视频压缩效率和准确率的缺陷。
发明内容
为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种视频压缩处理方法、装置、存储介质和电子设备。
根据本公开的一个方面，提供了一种视频压缩处理方法，包括：
确定当前帧图像以及历史帧图像的重建帧，所述当前帧图像与所述历史帧图像之间距离N帧图像，N为正整数；
通过第一神经网络模型对所述当前帧图像与所述历史帧图像的重建帧进行处理，获得所述当前帧图像的压缩数据，以及所述当前帧图像的预测帧；
根据所述当前帧图像的预测帧以及所述当前帧图像，确定所述当前帧图像对应的残差图像；
通过第二神经网络模型对所述残差图像进行处理，获得所述残差图像的压缩数据以及所述当前帧图像对应的重建残差图像；
根据所述当前帧图像的预测帧以及所述当前帧图像对应的重建残差图像，确定当前帧图像的重建帧。
根据本公开的另一方面，提供了一种视频压缩处理装置，包括：
第一确定模块，用于确定当前帧图像以及历史帧图像的重建帧，所述当前帧图像与所述历史帧图像之间距离N帧图像，N为正整数；
第一压缩模块，用于通过第一神经网络模型对所述当前帧图像与所述历史帧图像的重建帧进行处理，获得所述当前帧图像的压缩数据，以及所述当前帧图像的预测帧；
第二确定模块，用于根据所述当前帧图像的预测帧以及所述当前帧图像，确定所述当前帧图像对应的残差图像；
第二压缩模块，用于通过第二神经网络模型对所述残差图像进行处理，获得所述残差图像的压缩数据以及所述当前帧图像对应的重建残差图像；
第三确定模块，用于根据所述当前帧图像的预测帧以及所述当前帧图像对应的重建残差图像，确定当前帧图像的重建帧。
根据本发明的再一个方面，提供了一种计算机可读存储介质，该存储介质存储有计算机程序，该计算机程序用于执行上述的视频压缩处理方法。
根据本发明的又一个方面，提供了一种电子设备，所述电子设备包括：
处理器；
用于存储该处理器可执行指令的存储器；
上述处理器，用于从存储器中读取可执行指令，并执行该指令以实现上述的视频压缩处理方法。
本公开实施例提供的视频压缩处理的技术方案，其中包括第一神经网络模型和第二神经网络模型，其中第一神经网络模型能够对当前帧图像，所述历史帧图像的重建帧进行处理，获得所述当前帧图像的压缩数据，以及所述当前帧图像的预测帧，并进一步可以根据该预测帧和原始的当前帧图像确定残差图像，该残差图像可以用以评价第一神经网络模型的优劣，在第一神经网络训练较佳时，残差图像越小；而第二神经网络模型又可以将残差图像进行处理得到残差图像的压缩数据，以及对应的重建残差图像；其中的重建残差图像可以对第一神经网络得到的预测帧进行补偿以得到重建帧，使得该第二神经网络模型可以对第一神经网络模型的结果起到纠错和补偿的作用。上述由第一神经网络模型和第二神经网络模型构成的视频压缩处理架构是一种基于深度学习的处理架构，能够进行端到端的联合优化，因此能够大大提高整个视频压缩处理框架的压缩编码性能，提高视频压缩效率和准确率。
附图说明
通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1为本公开实施例所适用的视频压缩处理框架的一种框架示意图。
图2是本公开一示例性实施例提供的视频压缩处理方法的流程示意图。
图3是本公开一示例性实施例提供的帧间编码处理方法的流程示意图。
图4是本公开一示例性实施例提供的帧间解码处理方法的流程示意图。
图5是图3和图4所示实施例中的具体步骤示意图。
图6是本公开一示例性实施例提供的第一特征图获取的方式一的流程图
图7是本公开一示例性实施例提供的第一特征图获取的方式二的流程图。
图8是图3和图4所示实施例中空间先验信息获取方式的流程示意图。
图9是图8所示实施例中3D掩模卷积核的示意图。
图10是图3和图4所示实施例中小尺寸先验信息获取方式的流程示意图。
图11是本公开一示例性实施例提供的残差图像编码处理方法的流程示意图。
图12是本公开一示例性实施例提供的残差图像的解码处理方法的流程示意图。
图13为本公开实施例所适用的视频压缩处理框架的另一种框架示意图。
图14是本公开另一示例性实施例提供的视频压缩处理方法的流程示意图。
图15是本公开一示例性实施例提供的基准帧图像编码处理方法的流程示意图。
图16是本公开一示例性实施例提供的基准帧图像的解码处理方法的流程示意图。
图17是图15和图16所示实施例中空间先验信息获取方法的流程示意图。
图18是图15和图16所示实施例中小尺寸先验信息获取方法的流程示意图。
图19是本公开一示例性实施例提供的视频压缩处理装置的结构示意图。
图20是本公开另一示例性实施例提供的视频压缩处理装置的结构示意图。
图21是本公开一示例性实施例提供的电子设备的结构图。
具体实施方式
下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
申请概述
针对相关技术中视频压缩技术所使用的视频压缩处理框架，存在不能够进行端到端的联合优化，无法提高整个视频压缩处理框架的压缩编码性能，进而提升视频压缩效率和准确率的缺陷。本公开实施例提供的技术方案中，在进行视频压缩处理方法中，通过第一神经网络模型进行帧间编解码处理，得到当前帧图像的压缩数据，又能够得到当前帧图像的预测帧，该预测帧可以和原始的当前帧图像确定残差图像；通过第二神经网络模型对残差图像进行编解码，得到残差图像的压缩数据，以及对应的重建残差图像，重建残差图像可以对第一神经网络得到的预测帧进行补偿以得到重建帧，使得该第二神经网络模型可以对第一神经网络模型的结果起到纠错和补偿的作用。其中，上述的第一神经网络模型和第二神经网络模型成的视频压缩处理架构是一种基于深度学习的处理架构，能够进行端到端的联合优化，能够大大提高整个视频压缩处理框架的压缩编码性能，提高视频压缩效率和准确率。
示例性系统
图1为本公开实施例所适用的视频压缩处理框架的框架示意图，如图1所示，该视频压缩框架主要包括第一神经网络模型11和第二神经网络模型12。
通过上述的第一神经网络模型11进行帧间编解码处理，可以基于当前帧图像以及历史帧图像的重建帧生成当前帧图像的压缩数据，以及生成当前帧图像的预测帧。进一步的，可以基于上述当前帧图像的预测帧，原始输入的当前帧图像，还可以获取到当前帧图像对应的残差图像。
通过上述的第二神经网络模型12进行残差编解码处理，可以基于当前帧图像对应的残差图像，获取当前帧图像对应的残差图像的压缩数据，以及当前帧图像对应的重建残差图像。
基于上述的当前帧图像对应的重建残差图像，以及当前帧图像的预测帧，可以获取到当前帧图像的重建帧，该重建帧可以存储到缓存器件中，以作为后续第一神经网络模型11工作时所使用的历史帧图像的重建帧。
本公开实施例通过上述的视频压缩处理框架，能够实现对当前帧图像的压缩编码处理，且能够得到当前帧图像的重建帧，而该重建帧可以运用到后续第一神经网络模型11的帧间编解码处理中，作为历史帧图像的重建帧使用，从而实现对视频流中连续的视频帧图像的压缩处理过程。
其中，本实施例提供的视频压缩处理方法可以应用到视频监控、自动驾驶等技术领域中。
示例性方法
图2是本公开一示例性实施例提供的视频压缩处理方法的流程示意图。本实施例可应用在电子设备上，如图2所示，包括如下步骤：
步骤201，确定当前帧图像以及历史帧图像的重建帧，其中，当前帧图像与历史帧图像之间距离N帧图像，N为正整数。
其中，本实施例中的当前帧图像可以是在视频监控、自动驾驶等技术领域中，由视频采集设备实时采集的视频流中连续的帧图像，本步骤中可以是以实时接收到视频流中帧图像来作为当前帧图像。
其中，本公开中的历史帧图像的重建帧可以基于下述的步骤205得到，并存储于缓存器件中，历史帧图像和当前帧图像之间可以距离N帧图像，N的取值可以实际情况设定，例如N取值为1，或者取值为其他的正整数。另外，也可以通过图14中的步骤1402得到。
步骤202，通过第一神经网络模型对上述当前帧图像以及历史帧图像的重建帧进行处理，获得当前帧图像的压缩数据以及当前帧图像的预测帧。
其中，通过第一神经网络模型得到的压缩数据可以是二进制数据，其可以作为当前帧图像的数据化信息进行存储和传输，当前帧图像的预测帧为帧间预测帧，是利用各帧图像与历史帧图像的时间相关性进行预测得到，且该当前帧图像的预测帧是第一神经网络模型的解码结果。
本步骤中获得的当前帧图像的压缩数据可以进行存储或者传输，作为本方案提供的视频压缩处理过程最终得到的压缩数据；另外，该当前帧图像的预测帧可以用于后续的视频压缩处理步骤，具体参见如下的步骤203和步骤205。
步骤203，根据当前帧图像的预测帧以及当前帧图像，确定当前帧图像对应的残差图像。
其中，本步骤中的可以是利用预测帧与当前帧图像中的相同像素点的像素值的差值，得到残差图像上相应像素点的像素值。由此，差值越小，表示预测真与当前帧图像越相似。
通常对于第一神经网络模型而言，如果其获得的当前帧图像的预测帧，与原始输入的当前帧图像的相似度越高，残差图像中各像素点的像素值越小，此时可以说明第一神经网络模型训练优化的效果越好，但在通常情况下，残差图像仍然会存在。
步骤204、通过第二神经网络模型对残差图像进行处理，获得残差图像的压缩数据以及当前帧图像对应的重建残差图像。
本步骤中的重建残差图像是第二神经网模型模型对输入的残差图像进行处理后的解码结果，其图像大小可以与原始输入的残差图像相同，但是各像素点的像素值，由于经历了编解码的过程，可能会产生差异，从而形成重建损失对于本步骤获得的残差图像的压缩数据可以进行存储或传输，作为本方案提供的视频压缩处理过程最终得到的压缩数据；对于当前帧图像对应的重建残差图像，可以应用于后续的视频压缩处理步骤，具体可以参照步骤205。
步骤205、根据当前帧图像的预测帧以及当前帧图像对应的重建残差图像，确定当前帧图像的重建帧。
本步骤是在上述步骤202和步骤204的基础上，利用重建残差图像对当前帧图像的预测帧进行补偿，以得到当前帧图像的重建帧。本步骤中得到的的当前帧图像的重建帧，是由第一神经网络模型和第二神经网络模型构成的视频压缩处理架构的解码结果，其图像大小可以与原始输入的当前帧图像相同，但是各像素点的像素值，由于经历了编解码的过程，可能会产生差异，从而形成重建损失。
本步骤中获取的当前帧图像的重建帧可以存储于缓存器件中，并且在进行后续帧图像的处理时，可以利用上述重建帧作为历史帧图像的重建帧使用，即在上述的步骤201中可以从缓存器件中获取历史帧图像的重建帧，并进一步的在步骤202中利用该历史帧图像的重建帧进行帧间编解码。
本公开实施例提供的视频压缩处理的技术方案，其中包括第一神经网络模型和第二神经网络模型，其中第一神经网络模型能够对当前帧图像和历史帧图像的重建帧进行处理，获得当前帧图像的压缩数据，以及当前帧图像的预测帧，并进一步可以根据该预测帧和原始的当前帧图像确定残差图像，该残差图像可以用以评价第一神经网络模型的优劣，在第一神经网络训练较佳时，残差图像越小；而第二神经网络模型可以将残差图像进行处理得到残差图像的压缩数据，以及对应的重建残差图像；其中的重建残差图像可以对第一神经网络得到的预测帧进行补偿以得到重建帧，使得该第二神经网络模型可以对第一神经网络模型的结果起到纠错和补偿的作用。上述由第一神经网络模型和第二神经网络模型构成的视频压缩处理架构是一种基于深度学习的处理架构，能够进行端到端的联合优化，因此，能够大大提高整个视频压缩处理框架的压缩编码性能，提高视频压缩效率和准确率。
本公开实施例中，其中通过第一神经网络模型进行处理可以得到当前帧图像的压缩数据以及当前帧图像的预测帧，该第一神经网络模型兼具编码和解码功能，能够进行帧间编码和解码处理，具体的处理过程可以是如下方式实现，即包括如下的编码过程和解码过程。
编码过程：通过第一神经网络模型对当前帧图像，历史帧图像的重建帧进行处编码处理，获得当前帧图像的压缩数据；
解码过程：通过第一神经网络模型对当前帧图像的压缩数据进行解码处理，获得当前帧图像的预测帧。
其中，编码过程中得到的压缩数据可以作为解码过程的输入，由此可见，可以将该第一神经网络模型分解为一个编码器和一个解码器，进而使得对第一神经网络模型进行训练优化的过程，可以看作是一个同时针对编码器和解码器进行联合优化的过程，从而构成一个端到端联合优化的技术方案，具有训练优化效率高的优点，同时通过该联合优化得到的第一神经网络模型的编码和解码准确率也能够得到提升。
在本公开实施例中，通过第一神经网络模型进行帧间编解码处理过程中，可以采用一步法编解码方式，可以是将压缩的光流信息编码到压缩数据中，然后在解码过程中对上述压缩数据进行解码得到二维光流图，最后利用二维光流图对历史帧图像的重建帧进行补偿，得到当前图像的预测帧，该编解码处理方式的具体流程图，可以参照如下的图3、图4和图5。
图3是本公开一示例性实施例提供的帧间编码处理方法的流程示意图，如图3所示，包括如下步骤：
步骤301、对当前帧图像与历史帧图像的重建帧进行融合特征提取，获得当前帧图像对应的第一特征图；
本步骤执行的帧间编码方案，是需要对连续帧进行特征提取，在本实施例是针对当前帧图像，以及历史帧图像的重建帧进行特征提取，以获得第一特征图，第一特征图中每个位置点具有分别从两个帧图像上采集的两个不同特征，因此，该第一特征图中包含有光流信息。本步骤中的融合特征提取可以是利用卷积层进行卷积操作得到，或者是，也可以进行下采样操作，以减少数据量和计算复杂度。
步骤302、确定第一特征图中每个位置点的量化特征值以及第一特征图中每个位置点的概率预测值；
本步骤中，第一方面是针对步骤301中获得的第一特征图进行量化处理，获得每个位置点的量化特征值，可选的，其中的特征值是一个浮点值，而量化特征值是一个整数值，量化特征值的获取可以参照相关技术中提供的方式，本公开实施例不做具体限定。
本步骤中，第二方面是获得每个位置点的概率预测值，对于概率预测值的获取，可以是基于空间先验信息、小尺寸先验信息和时间先验信息中的至少一个来确定第一特征图中每个位置点的概率预测值，具体确定方式在以下实施例中进行详细描述，上述的先验信息都可以作为获取概率预测值的基础，且使用的先验信息越多，则获取到对应的概率预测值的准确性也会更高。
步骤303、基于量化特征值和概率预测值，确定第一特征图中每个位置点的表征值；
本步骤中可以基于量化特征值和概率预测值生成特征图中每个位置点的表征值，该表征值可以是一个二进制的数值，本步骤中根据量化特征值和概率预测值生成表征值的计算过程，可以通过一个算术编码器实现。
步骤304、确定当前帧图像的压缩数据，该压缩数据包括每个位置点的表征值；
具体的，在被本步骤中可以是基于每个位置点的表征值聚合得到当前图帧图像的压缩数据，该压缩数据包括每个位置点的表征值，可选的，上述表征值可以是一个二进制的数值。
另外，如上所述的，其中的第一特征图中包含有光流信息，则本步骤中得到压缩数据中也包含了压缩的光流信息。
以上是对通过第一神经网络模型进行帧间编码处理，生成压缩数据的步骤进行的说明，而同样也可以通过第一神经网络模型对压缩数据进行解码处理，以得到二维光流图，然后基于二维光流图对历史帧图像的重建帧进行补偿以得到当期帧图像的预测帧，具体可以参照如下的图4所示。
图4是本公开一示例性实施例提供的帧间解码处理方法的流程示意图，如图4所示，包括如下步骤：
步骤401、确定第一特征图中每个位置点的概率预测值；
具体的，该概率预测值的确定方式可以参考步骤302，可以是基于空间先验信息、小尺寸先验信息和时间先验信息中的至少一个来确定第一特征图中每个位置点的概率预测值，具体确定方式在以下实施例中进行详细描述，上述的先验信息都可以作为获取概率预测值的基础，且使用的先验信息越多，则获取到对应的概率预测值的准确性也会更高。
步骤402、基于压缩数据中每个位置点的表征值以及每个位置点的概率预测值，确定每个位置点的量化特征值；
本步骤是与上述步骤303的逆处理过程，即本步骤在进行解码过程中的已知条件是压缩数据中每个位置点的表征值，在步骤401中获得每个位置点的概率预测值后，可以基于上述表征值和概率预测值获得每个位置点的量化特征值，其中的具体计算过程可以通过一个算术解码器实现。
步骤403、基于每个位置点的量化特征值，确定第一特征图；
本步骤中基于第一特征图中每个位置点的量化特征值还原生成第一特征图，其可以看作是步骤302中获取量化特征值的逆处理过程，具体可以参考相关技术的方案，本公开实施例中不进行限制，在确定第一特征图时，具体可以是确定第一特征图中每个位置点的特征值。可选的，其中的特征值是一个浮点值，而量化特征值是一个整数值。本步骤中解码得到的第一特征图中每个位置点具有分别从两个帧图像上采集的两个不同特征，该两个不同特征可以表征有光流信息。
步骤404、基于第一特征图，确定二维光流图；
本步骤可以看作上述步骤401的逆处理过程，在步骤401中包括卷积操作时，本步骤可以是进行逆卷积操作；并且若在步骤401中进行了下采样操作，则本步骤中还可以进行上采样操作。如上所述的，其中的第一特征图，包含有光流信息，因此本步骤中进行的逆卷积操作，或者上采样操作后得到的图像为一个二维光流图，该二维光流图中包含有光流信息，该光流信息可以包括当前帧图像和历史帧图像的重建帧中各像素点之间的运动向量。
步骤405、基于上述二维光流图，对历史帧图像的重建帧进行补偿，获得当前帧图像的预测帧。
本步骤中基于二维光流图中的光流信息，可以是利用其包括的当前帧图像和历史帧图像的重建帧中各像素点之间的运动向量，对重建帧中各像素点进行运动向量补偿，以得到当前帧图像的预测帧。
另外，参见上述图3和图4所示的实施例中，通过第一神经网络模型进行帧间编解码的步骤，其中可以将两个时序上连续的帧图像输入到第一神经网络模型中，例如t时刻的帧图像Xt，以及t-1时刻的帧图像Xt-1的重建帧
Figure BDA0002357962010000101
通过对上述的t时刻的帧图像Xt，以及t-1时刻帧图像的重建帧
Figure BDA0002357962010000102
进行融合特征提取，获得第一特征图，该第一特征图中包含有光流信息，在编码过程中可以将第一特征图进行量化处理，得到每个位置点的量化特征值，该量化处理后的第一特征图ξ可以表示为
Figure BDA0002357962010000103
基于上述的量化后的第一特征图ξ中各个位置点的量化特征值，能够得到帧图像Xt的压缩数据，通过第二神经网络模型对压缩数据解码处理后能够得到二维光流图
Figure BDA0002357962010000104
该二维光流图
Figure BDA0002357962010000105
可以进一步的表示为
Figure BDA0002357962010000106
其与量化处理后的第一特征图ξ相关。
利用上述的二维光流图
Figure BDA0002357962010000111
对t-1时刻的重建帧
Figure BDA0002357962010000112
进行补偿，可以得到t时刻帧图像Xt的预测帧
Figure BDA0002357962010000113
其可以表示为：
Figure BDA0002357962010000114
通过上述图3和图4所示的实施例可见，本公开实施例中的第一神经网络模型同时兼具编码功能和解码功能，可以通过帧间编码将光流信息编码进当前帧图像的压缩数据中，通过又通过帧间解码将压缩数据中的光流信息解码得到二维光流图，并可以利用二维光流图对历史帧图像的重建帧进行补偿，得到当前帧图像的预测帧。上述第一神经网络模型采用一步法的编解码方式，将光流信息隐式存储到压缩数据中，使得编解码效率显著提高。
本公开实施例中，为了通过第一神经网络模型实现图3和图4所示的步骤，可以对第一神经网络模型的结构进行设计，以使得第一神经网络模型可以包括相应的执行层来完成相应的步骤，例如可以包括卷积层，并通过卷积层执行步骤301，在一些可选的实施例中，还可以包括下采样层；可以包括量化层和第一概率预测层，可以通过量化层执行步骤302中获取每个位置点的量化特征值的操作，以及通过概率预测层执行步骤302中获取每个位置点的概率预测值的操作；可以包括算术编码层，可以通过算术编码层执行步骤303中获取每个位置点的表征值的操作；可以包括压缩层，可以通过压缩层执行步骤304中确定当前帧图像的压缩数据的操作。上述各个层能够实现编码器的功能。
进一步的，该第一神经网模型还可以包括第二概率预测层，该第二概率预测层用于在解码过程中执行步骤401中获取每个位置点的概率预测值的操作；还可以包括算术解码层，该算术解码层用于执行步骤402中获取每个位置点的量化特征值的操作；还可以包括还原层，用于执行步骤403中确定第一特征图的操作；还可以包括逆卷积层，用于执行步骤404中确定二维光流图的操作，或者，进一步的还可以包括上采样层；还可以包括补偿层，用于执行步骤404中获得当前帧图像的预测帧的操作。
本公开上述实施例中，其中步骤301中对当前帧图像，历史帧图像的重建帧进行融合特征提取，获得当前帧图像对应的第一特征图，可以通过如图6或图7所示的两种方式实现。
图6是本公开一示例性实施例提供的第一特征图获取的方式一的流程图，如图6所示，包括如下的步骤：
步骤601，对上述的当前帧图像以及历史帧图像的重建帧进行级联操作，以获得级联图像；
本步骤中过去的级联图像，其中每个给定的像素点包括两个像素值，分别是当前帧图像的像素值，以及历史帧图像的重建帧的像素值。
步骤602，对级联图像进行融合特征提取，获取第一特征图，第一特征图中每个位置点具有分别从两个帧图像上采集的两个不同特征，因此，该第一特征图中包含有光流信息。
本步骤中的特征提取过程，可以通过对级联图像进行卷积操作，以获取级联图像的第一特征图，并且可选的，为了减少数据量和计算复杂度，提高计算效率，还可以进一步进行下采样处理，以得到下采样后的第一特征图；
可选的，上述利用卷积操作对级联图像进行特征提取，获得的是更注重局部特性的特征图时；本公开实施例中还可以利用非局部注意力模块，直接从级联图像中提取全局的特征信息，再通过级联的卷积层处理获得全局特性的特征图。该全局特性的特征图通过sigmoid激活函数归一化为0到1数值空间作为注意力的掩模(mask)，利用该掩模可以对上述得到的更注重局部特性的特征图进行非局部注意力激活，并以非局部注意力激活后的特征图作为级联图像的第一特征图；
图7是本公开一示例性实施例提供的第一特征图获取的方式二的流程图，如图7所示，包括如下的步骤：
步骤701、对当前帧图像进行特征提取，获得当前帧图像的特征图；
本步骤中获得特征图的步骤，可以是通过卷积操作对当前帧图像进行特征提取，获取对应的特征图，也可以针对上述特征图进一步采取下采样处理，以减少数据量和计算复杂度；或者是，不仅利用卷积层对当前帧图像进行特征提取，获取更注重局部特性的特征图，而且还利用非局部注意力模块，直接从当前帧图像中提取全局的特征信息，再通过级联的卷积层处理后得到全局特性的特征图，该全局特性的特征图通过sigmoid激活函数归一化为0到1数值空间作为注意力的掩模(mask)，利用该掩模可以对上述得到的更注重局部特性的特征图进行非局部注意力激活，并以非局部注意力激活后的特征图作为最终的当前帧图像的特征图。
步骤702、对历史帧图像的重建帧进行特征提取，获得历史帧图像的特征图；
本步骤中获得特征图的步骤，可以是通过卷积操作对历史帧图像的重建帧进行特征提取，获取对应的特征图，也可以针对上述特征图进一步采取下采样处理，以减少数据量和计算复杂度；或者是，不仅利用卷积层对历史帧图像的重建帧进行特征提取，获取更注重局部特性的特征图，而且还利用非局部注意力模块，直接从历史帧图像的重建帧中提取全局的特征信息，再通过级联的卷积层处理后得到全局特性的特征图，该全局特性的特征图通过sigmoid激活函数归一化为0到1数值空间作为注意力的掩模(mask)，利用该掩模可以对上述得到的更注重局部特性的特征图进行非局部注意力激活，并以非局部注意力激活后的特征图作为最终的历史帧图像的重建帧的特征图。
步骤703、对当前帧图像的特征图和历史帧图像的特征图进行融合处理，获得第一特征图；
具体的，本步骤中融合处理得到的第一特征图中，其中每个位置点具有分别从两个帧图像上采集的两个不同特征，使得第一特征图中包含有光流信息。
进一步的，在上述步骤302的编码过程中，以及上述步骤401的解码过程中，都需要确定第一特征图中每个位置点的概率预测值，在确定上述概率预测值的过程中，可以首先确定第一特征图中每个位置点的空间先验信息、第一特征图中每个位置点的时间先验信息和第一特征图中每个位置点的小尺寸先验信息中的至少一个，然后基于上述的空间先验信息、小尺寸先验信息和时间先验信息中的至少一个，确定第一特征图中每个位置点的概率预测值。该确定方式充分考虑了视频帧中每个像素的时间相关性和空间相关性，利用时域或者空间域上的相关信息来进行预测，使得概率预测更加准确。
第一个方面，对于上述确定第一特征图中每个位置点的空间先验信息可以参照图8所示，包括如下的步骤：
步骤801、确定3D掩模卷积核在第一特征图中的中心位置点；
具体的，本步骤中的3D掩模卷积核的大小，可以预先设定，例如大小为M×M×M，M可以为正奇数，例如图9所示，3D掩模卷积核的大小为3×3×3。本步骤中确定的中心位置点，即为待获取概率预测值的位置点。
步骤802、确定中心位置点前的各位置点的量化特征值，并作为中心位置点的空间先验信息；
本步骤是在将每个待获取概率预测值的位置点置于3D掩模卷积核的中心位置点后，然后获取其前的各位置点的量化特征值，即对于大小为M×M×M的卷积核，可以获取F(M×M×M/2)个位置点的量化特征值，其中F(.)是向下取整的函数，对于3×3×3的卷积核，可以获取前12个位置点的量化特征值。
本公开实施例中，由于需要利用中心位置点前各个位置点的量化特征值，作为时间先验信息来预测中心位置点的概率预测值，对于编码过程而言，其中的第一特征图是预先获取的，并且进行量化处理后每个位置点的量化特征值也是确定的，所以对于步骤302中获取每个位置点的概率预测值而言，也可以直接获取到。而对于解码过程而言，其中每个位置点的量化特征值都需要依次解码得到，因此对于步骤401中确定每个位置点的概率预测值，则需要在解码得到前一个位置点的量化特征值后，才能够根据3D掩模卷积核得到当前位置点的概率预测值；当然，在接下来的解码步骤中，可以基于当前位置点的概率预测值，解码得到当前位置点的量化特征值，并可以进一步获得下一个位置点的概率预测值，依次类推，得到整个第一特征图中每个位置点的概率预测值和量化特征值。
第二个方面，对于上述确定第一特征图中每个位置点的小尺寸先验信息可以参照图10所示，包括如下的步骤：
步骤1001、对第一特征图进行小尺寸特征提取，获得第一小尺寸特征图；
本步骤中进行小尺寸特征提取，在具体处理过程中可以是对第一特征图进行下采样操作和第一次卷积操作，提取更小尺寸的特征，以得到第一小尺寸特征图，第一小尺寸特征图相较于第一特征图的尺寸更小，例如第一特征图的大小为64×64，则第二小尺寸特征图的大小可以为8×8；
步骤1002、对第一小尺寸特征图进行还原操作，获得与第一特征图尺寸相等的还原特征图，该还原特征图中的相同位置点的特征值作为小尺寸先验信息；
在步骤1001中得到第一小尺寸特征图后，可以进行还原操作，将其还原为第一特征图尺寸相等的还原特征图，具体的还原操作可以是包括上采样操作和第二次卷积操作，该第二次卷积操作看作是第一次卷积操作的逆卷积操作过程，如上述所述的，该还原特征图的大小仍为64×64。本步骤中最后可以利用还原特征图中相同位置点的特征值作为小尺寸先验信息，并将小尺寸先验信息应用到概率预测值的计算中。可选的，也可以对还原特征图进行量化处理，以得到相同位置点的量化特征值作为小尺寸先验信息。
第三个方面，确定第一特征图中每个位置点的时间先验信息包括：
确定历史帧图像对应的第二特征图中相同位置点的概率预测值，并作为当前帧图像对应的第二特征图中相同位置点的时间先验信息，历史帧图像与当前帧图像距离L帧图像，L为正整数，其中，L的值可以取1、2或3等数值。
本步骤中所使用的时间先验信息是充分考虑了视频在时域上的延续性，每个位置点的概率预测值与之前的若干历史帧图像具有相关性，此时，可以利用历史帧图像对应的第一特征图中相同位置点的概率预测值，能够提高概率预测值的准确性。
在进行第一特征图中各位置点的概率预测值计算时，可以考虑上述三个方面获取的先验信息中的至少一个，具体的，若同时考虑上述三个方面获得的先验信息，在计算第i个位置点的概率预测值时，可以得到高斯分布下的均值
Figure BDA0002357962010000151
和方差
Figure BDA0002357962010000152
计算公式如下：
Figure BDA0002357962010000153
其中
Figure BDA0002357962010000154
表示空间先验信息，即前i-1个位置点的量化特征值；
Figure BDA0002357962010000155
表示小尺寸先验信息；ht-1表示时间先验信息。
根据高斯分布下的概率预测模型，其中对于每个位置点的概率预测值
Figure BDA0002357962010000156
可以通过如下公式得到：
Figure BDA0002357962010000157
其中，ht-1作为时间先验信息，具有时间上的迭代特性，可以通过一个基于递归的卷积网络convLSTM计算，来对时间先验信息进行更新迭代，该convLSTM能够对第一特征图中每个位置点的时间先验信息进行进行更新，具体的，可以参照如下的计算公式：
Figure BDA0002357962010000158
其中
Figure BDA0002357962010000159
表示该位置点的量化特征值，ct-1、ct分别表示convLSTM的记忆机制，能控制ht-1、ht所用的信息，ht-1、ht分别表示上一时刻和当前时刻的帧图像的第一特征图中，相应位置点所对应的时间先验信息。
本公开实施例中，其中通过第二神经网络模型进行处理可以得到残差图像的压缩数据以及残差图像的预测帧，该第二神经网络模型兼具编码和解码功能，能够进行残差图像编码和解码处理，具体的处理过程可以包括如下的编码过程和解码过程。
编码过程：通过第二神经网络模型对残差图像进行编码处理，获得残差图像的压缩数据；
解码过程：通过第二神经网络模型对残差图像的压缩数据进行解码处理，获得当前帧图像对应的重建残差图像。
其中，编码过程中得到的压缩数据可以作为解码过程的输入，由此可见，可以将该第二神经网络模型分解为一个编码器和一个解码器，进而使得对第二神经网络模型进行联合优化的过程，是一个同时针对编码器和解码器进行训练优化的过程，从而构成一个端到端联合优化的技术方案，具有训练优化效率高的优点，同时通过该联合优化得到的第二神经网络模型的编码和解码准确率也能够得到提升。
在本公开实施例中，通过第二神经网络模型进行残差图像的编解码处理过程，其中针对的残差图像可以由当前帧图像，以及利用第一神经网络模型得到的当前图像的预测帧得到，同时对于第二神经网络模型最终得到的当前帧图像的重建残差图像可以应用到后续重建帧的获取步骤中。通过第二神经网络模型进行残差图像的编解码处理方式的具体流程图，可以参照如下的图11和图12。
图11是本公开一示例性实施例提供的残差图像编码处理方法的流程示意图，如图11所示，包括如下步骤：
步骤1101、对残差图像进行特征提取，确定残差图像的第二特征图；
本步骤中获得的第二特征图中每个位置点具有从残差图像采集的特征。具体的特征提取过程，可以是通过卷积操作对残差图像进行特征提取，获取对应的第二特征图，也可以针对卷积操作后得到第二特征图采取下采样处理，以减少数据量和计算复杂度，最终获得下采样后的第二特征图。
或者是，不仅利用卷积层对残差图像进行特征提取，获取更注重局部特性的特征图，而且还利用非局部注意力模块，直接从残差图像中提取全局的特征信息，再通过级联的卷积层处理后得到全局特性的特征图，该全局特性的特征图通过sigmoid激活函数归一化为0到1数值空间作为注意力的掩模(mask)，利用该掩模可以对上述得到的更注重局部特性的特征图进行非局部注意力激活，并以非局部注意力激活后的特征图作为最终的残差图像的第二特征图。
步骤1102、确定第二特征图中每个位置点的量化特征值以及第二特征图中每个位置点的概率预测值；
本步骤中，第一方面是针对步骤1101中获取的第二特征图进行量化处理，可以是根据第二特征图中每个位置点的特征值，获得每个位置点的量化特征值，可选的，其中的特征值是一个浮点值，而量化特征值是一个整数值，量化特征值的获取可以参照相关技术中提供的方式，本公开实施例不做具体限定。
本步骤中，第二方面是获取每个位置点的概率预测值，对于概率预测值的获取，可以是基于空间先验信息和小尺寸先验信息中的至少一个来确定第二特征图中每个位置点的概率预测值，具体确定方式在以下实施例中进行详细描述，上述的先验信息都可以作为获取概率预测值的基础，且使用的先验信息越多，则获取到对应的概率预测值的准确性也会更高。
步骤1103、基于量化特征值和所述概率预测值，确定第二特征图中每个位置点的表征值；
本步骤中基于量化特征值和概率预测值生成第二特征图中每个位置点的表征值，该表征值可以是一个二进制的数值，本步骤中根据量化特征值和概率预测值生成表征值的计算过程，可以通过一个算术编码器实现。
步骤1104、确定当前帧图像对应的残差图像的压缩数据，压缩数据包括第二特征图中每个位置点的表征值。
具体的，在上述步骤1103中获取到第二特征图中每个位置点的表征值后，可以基于每个位置点的表征值聚合得到残差图像的压缩数据，该压缩数据包括每个位置点的表征值，可选的，上述表征值可以是一个二进制的数值。
以上是对通过第二神经网络模型进行残差图像的编码处理，生成压缩数据的步骤进行的说明，而同样也可以通过第二神经网络模型对压缩数据进行解码处理，以得到当前帧图像的重建残差图像，具体可以参照如下的图11所示。
图12是本公开一示例性实施例提供的残差图像的解码处理方法的流程示意图，如图12所示，包括如下步骤：
步骤1201、确定第二特征图中每个位置点的概率预测值；
具体的，该概率预测值的确定方式可以参考步骤1002，可以是基于空间先验信息和小尺寸先验信息中的至少一个来确定第二特征图中每个位置点的概率预测值，具体确定方式在以下实施例中进行详细描述，上述的先验信息都可以作为获取概率预测值的基础，且使用的先验信息越多，则获取到对应的概率预测值的准确性也会更高。
步骤1202、基于压缩数据中每个位置点的表征值以及每个位置点的概率预测值，确定第二特征图中每个位置点的量化特征值；
本步骤是与上述步骤1103的逆处理过程，即本步骤在进行解码过程中的已知条件是压缩数据中每个位置点的表征值，在步骤1201中获得每个位置点的概率预测值后，可以基于上述表征值和概率预测值可以获得每个位置点的量化特征值，其中的具体计算过程可以通过一个算术解码器实现。
步骤1203、基于每个位置点的量化特征值，确定残差图像的第二特征图；
本步骤中基于第二特征图中每个位置点的量化特征值还原生成第二特征图，其可以看作是步骤1102中获取量化特征值的逆处理过程，具体可以参考相关技术的方案，本公开实施例中不进行限制，在确定第二特征图时，具体可以是确定第二特征图中每个位置点的特征值。可选的，其中的特征值是一个浮点值，而量化特征值是一个整数值。
步骤1204、基于残差图像的第二特征图，确定当前帧图像对应的重建残差图像；
本步骤可以看作上述步骤1101的逆处理过程，在步骤1101中包括卷积操作时，本步骤可以是进行逆卷积操作；并且若在步骤1101中进行了下采样操作，则本步骤中还可以进行上采样操作，以获得当前帧图像对应的重建残差图像。
通过上述图11和图12所示的实施例可见，本公开实施例中的第二神经网络模型同时兼具编码功能和解码功能，可以通过对残差图像进行编码获得当前帧图像对应的残差图像的压缩数据，同时又通过对上述压缩数据进行解码处理，获得当前帧图像对应的重建残差图像。该第二神经网络模型具有编码器和解码器两个组成部分，从而可以实现对编码器和解码器同时进行联合优化的目的，能够显著提高训练优化效率，同时通过该联合优化得到的第二神经网络模型的编码和解码准确率也能够得到提升。
本公开实施例中，为了通过第三神经网络模型实现图11和图12所示的步骤，可以对第一神经网络模型的结构进行设计，以使得第一神经网络模型可以包括相应的执行层来完成相应的步骤，例如可以包括卷积层，并通过卷积层执行步骤1101，在一些可选的实施例中，还可以包括下采样层；可以包括量化层和第一概率预测层，可以通过量化层执行步骤1102中获取每个位置点的量化特征值的操作，以及通过概率预测层执行步骤1102中获取每个位置点的概率预测值的操作；可以包括算术编码层，可以通过算术编码层执行步骤1103中获取每个位置点的表征值的操作；可以包括压缩层，可以通过压缩层执行步骤1104中确定当前帧图像的压缩数据的操作。上述各个层能够实现编码器的功能。
进一步的，该第一神经网模型还可以包括第二概率预测层，该概率预测层用于在解码过程中执行步骤1201中获取每个位置点的概率预测值的操作；还可以包括算术解码层，该算术解码层用于执行步骤1202中获取每个位置点的量化特征值的操作；还可以包括还原层，用于执行步骤1203中确定第二特征图的操作；还可以包括逆卷积层，用于执行步骤1204中当前帧图像对应的重建残差图像的操作，或者，进一步的还可以包括上采样层。
可选的，在一些实施例中，如图13所示的，在图1所示的视频压缩编码处理框架，还可以进一步设置第三神经网络模型13，该第三神经网络模型13可以针对基准帧图像进行帧内编解码处理，获取基准帧图像的压缩数据，以及获取基准帧图像的重建帧，该重建帧也可以应用到第一神经网络模型中，作为历史重建帧图像进行帧间编解码处理。通过在本公开实施例的视频压缩处理框架中引入该第三神经网络模型13，能够有效的避免第一神经网络模型在帧间编码过程中的误差传递，提高视频压缩的准确率。
本公开上述实施例提供的视频压缩处理架构，可以通过第一神经网络模型实现帧间编码，并可以基于历史帧图像的重建帧实现对当前帧图像的编码处理，以获得当前帧图像的压缩数据，依次可以实现每一个帧图像的压缩处理过程。
为了避免在帧间编码过程中的误差传递，本公开实施例中，还提供了第三神经网络模型，该第三神经网络模型能够针对基准帧图像实现帧内编解码处理，具体的，可以参见图14所示。
图14是本公开另一示例性实施例提供的视频压缩处理方法的流程示意图，图14所示实施例中为在图2所示实施例的基础上，视频压缩处理方法进一步包括的步骤，其可以在图2所示的步骤201前执行。如图14所示，包括如下的步骤：
步骤1401、确定当前帧图像为基准帧图像；
本步骤的基准帧图像可以是在视频监控、自动驾驶等技术领域中，由视频采集设备实时采集的视频流中连续的帧图像，可以是将第1帧图像设置为基准帧图像；也可以是连续视频帧图像中的其他视频帧图像设置为基准帧图像，例如，根据一些设定条件，每间隔X帧帧图像，X为正整数，选择1帧图像作为基准帧图像；或者是根据视频流中的视频内容的变化情况，例如连续几帧图像比较稳定，帧图像的内容变化不大时，可以确定其中的1帧图像作为基准帧图像，本公开实施例中对此并不进行限定。
步骤1402、通过第三神经网络模型对基准帧图像进行处理，获得基准帧图像的压缩数据以及基准帧图像的重建帧；
本步骤中，通过第三神经网络模型得到的压缩数据可以是二进制数据，其可以作为当前帧图像的数据化信息进行存储和传输；通过第三神经网络模型得到的基准帧图像对应的重建帧，其图像大小可以与原始输入的残差图像相同，但是各像素点的像素值，由于经历了编解码的过程，可能会产生差异，从而形成重建损失。对于本步骤中获得的基准帧图像的压缩数据可以进行存储或传输，作为本方案提供的视频压缩处理过程最终得到的压缩数据；对于获得的重建帧，可以应用到后续视频压缩处理过程中，例如作为第一神经网络模型进行帧间编码时输入的历史帧图像的重建帧使用，具体可以参见图2所示的步骤201，具体的，在将第1帧图像作为基准帧图像，本步骤中可以获得第1帧图像的压缩数据，以及第1帧图像的重建帧，进而该第1帧图像的重建帧可以作为作为利用第一神经网络模型进行帧间编解码的历史帧图像的重建帧。
在一些实施例中，上述对残差图像进行编解码处理的第二神经网络模型，以及对基准帧图像进行编解码处理的第三神经网络模型可以具有相同的模型结构，进而可以省略一个网络模型架构的设计，高效进行视频压缩处理架构的设计。
本公开实施例中，其中通过第三神经网络模型进行处理可以得到基准帧图像的压缩数据以及基准帧图像的预测帧，该第三神经网络模型兼具编码和解码功能，能够进行基准帧图像的编码和解码处理，具体的处理过程可以包括如下的编码过程和解码过程：
编码过程：通过第三神经网络模型对基准帧图像进行编码处理，获得基准帧图像的压缩数据；
解码过程：通过第三神经网络模型对基准帧图像的压缩数据进行解码处理，获得基准帧图像对应的重建帧。
其中，编码过程中得到的压缩数据可以作为解码过程的输入，由此可见，可以将该第三神经网络模型分解为一个编码器和一个解码器，进而使得对第三神经网络模型进行联合优化时，是一个同时针对编码器和解码器进行优化的过程，从而构成一个端到端联合优化的技术方案，具有训练优化效率高的优点，同时通过该联合优化得到的第三神经网络模型的编码和解码准确率也能够得到提升。
在本公开实施例中，通过第三神经网络模型进行基准帧图像的编解码处理过程的具体流程图，可以参照如下的图15和图16。
图15是本公开一示例性实施例提供的基准帧图像编码处理方法的流程示意图，如图15所示，包括如下步骤：
步骤1501、对基准帧图像进行特征提取，确定基准帧图像的第二特征图；
本步骤获得的第二特征图中每个位置点具有从基准帧图像采集的特征。具体的特征提取过程，可以是通过卷积操作对基准帧图像进行特征提取，获取对应的第二特征图，也可以针对卷积操作后得到第二特征图采取下采样处理，以减少数据量和计算复杂度，最终获得下采样后的第二特征图。
或者是，不仅利用卷积操作对基准帧图像进行特征提取，获取更注重局部特性的特征图，而且还利用非局部注意力模块，直接从基准帧图像中提取全局的特征信息，再通过级联的卷积层处理后得到全局特性的特征图，该全局特性的特征图通过sigmoid激活函数归一化为0到1数值空间作为注意力的掩模(mask)，利用该掩模可以对上述得到的更注重局部特性的特征图进行非局部注意力激活，并以非局部注意力激活后的特征图作为最终的基准帧图像的第二特征图。
步骤1502、确定第二特征图中每个位置点的量化特征值，以及第二特征图中每个位置点的概率预测值；
本步骤中，第一方面是针对步骤1501中获取的第二特征图进行量化处理，可以是根据第二特征图中每个位置点的特征值，获得每个位置点的量化特征值，可选的，其中的特征值是一个浮点值，而量化特征值是一个整数值，量化特征值的获取可以参照相关技术中提供的方式，本公开实施例不做具体限定。
本步骤中，第二方面是获取每个位置点的概率预测值，对于概率预测值的获取，可以是基于空间先验信息和小尺寸先验信息中的至少一个来确定第二特征图中每个位置点的概率预测值，具体确定方式在以下实施例中进行详细描述，上述的先验信息都可以作为获取概率预测值的基础，且使用的先验信息越多，则获取到对应的概率预测值的准确性也会更高。
步骤1503、基于量化特征值和所述概率预测值，确定第二特征图中每个位置点的表征值；
本步骤中基于量化特征值和概率预测值生成第二特征图中每个位置点的表征值，该表征值可以是一个二进制的数值，本步骤中根据量化特征值和概率预测值生成表征值的计算过程，可以通过一个算术编码器实现。
步骤1504、确定基准帧图像的压缩数据，压缩数据包括第二特征图中每个位置点的表征值。
具体的，在上述步骤1503中获取到第二特征图中每个位置点的表征值后，可以基于每个位置点的表征值聚合得到基准帧图像的压缩数据，该压缩数据包括每个位置点的表征值，可选的，上述表征值可以是一个二进制的数值。以上是对通过第三神经网络模型进行基准帧图像的编码处理，生成压缩数据的步骤进行的说明，而同样也可以通过第三神经网络模型对压缩数据进行解码处理，以得到基准帧图像的重建帧，可以参照如下的图16所示。
图16是本公开一示例性实施例提供的基准帧图像的解码处理方法的流程示意图，如图16所示，包括如下步骤：
步骤1601、确定第二特征图中每个位置点的概率预测值；
具体的，该概率预测值的确定方式可以参考步骤1502，可以是基于空间先验信息和小尺寸先验信息中的至少一个来确定第二特征图中每个位置点的概率预测值，具体确定方式在以下实施例中进行详细描述，上述的先验信息都可以作为获取概率预测值的基础，且使用的先验信息越多，则获取到对应的概率预测值的准确性也会更高。
步骤1602、基于压缩数据中每个位置点的表征值，以及每个位置点的概率预测值，确定第二特征图中每个位置点的量化特征值；
本步骤是与上述步骤1503的逆处理过程，即本步骤在进行解码过程中的已知条件是压缩数据中每个位置点的表征值，在步骤1601中获得每个位置点的概率预测值后，可以基于上述表征值和概率预测值可以获得每个位置点的量化特征值，其中的具体计算过程可以通过一个算术解码器实现。
步骤1603、基于每个位置点的量化特征值，确定基准帧图像的第二特征图；
本步骤中基于第二特征图中每个位置点的量化特征值还原生成第二特征图，其可以看作是步骤1502中获取量化特征值的逆处理过程，具体可以参考相关技术的方案，本公开实施例中不进行限制，在确定第二特征图时，具体可以是确定第二特征图中每个位置点的特征值。可选的，其中的特征值是一个浮点值，而量化特征值是一个整数值。
步骤1604、基于基准帧图像的第二特征图，确定基准帧图像的重建帧；
本步骤可以看作上述步骤1501的逆处理过程，在步骤1501中包括卷积操作时，本步骤可以是进行逆卷积操作；并且若在步骤1501中进行了下采样操作，则本步骤中还可以进行上采样操作，以获得基准帧图像对应的重建帧。
通过上述图15和图16所示的实施例可见，本公开实施例中的第三神经网络模型同时兼具编码功能和解码功能，可以通过对基准帧图像进行编码，以获得基准帧图像的压缩数据，同时又通过对上述压缩数据进行解码处理，获得基准帧图像对应的重建帧。该第三神经网络模型具有编码器和解码器两个组成部分，从而可以实现对编码器和解码器同时进行联合优化的目的，能够显著提高训练优化效率，同时通过该联合优化得到的第三神经网络模型的编码和解码准确率也能够得到提升。
本公开实施例中，为了通过第三神经网络模型实现图15和图16所示的步骤，可以对第三神经网络模型的结构进行设计，以使得第三神经网络模型可以包括相应的执行层来完成相应的步骤，例如可以包括卷积层，并通过卷积层执行步骤1501，在一些可选的实施例中，还可以包括下采样层；可以包括量化层和第一概率预测层，可以通过量化层执行步骤1502中获取每个位置点的量化特征值的操作，以及通过概率预测层执行步骤1502中获取每个位置点的概率预测值的操作；可以包括算术编码层，可以通过算术编码层执行步骤1503中获取每个位置点的表征值的操作；可以包括压缩层，可以通过压缩层执行步骤1504中确定当前帧图像的压缩数据的操作。上述各个层能够实现编码器的功能。
进一步的，该第一神经网模型还可以包括第二概率预测层，该概率预测层用于在解码过程中执行步骤1601中获取每个位置点的概率预测值的操作；还可以包括算术解码层，该算术解码层用于执行步骤1602中获取每个位置点的量化特征值的操作；还可以包括还原层，用于执行步骤1603中确定第二特征图的操作；还可以包括逆卷积层，用于执行步骤1604中当前帧图像对应的重建帧的操作，或者，进一步的还可以包括上采样层。
如上述图11所示实施例中的步骤1102、图12所示实施例中的步骤1201、图15所示实施例中的步骤1502和图16所示实施例中的步骤1601所示的，其中在编码和解码过程中，均获取了第二特征图中各位置点的概率预测值，在确定上述概率预测值的过程中，可以首先确定第二特征图中每个位置点的空间先验信息和第二特征图中每个位置点的小尺寸先验信息中的至少一个，然后基于上述的空间先验信息和小尺寸先验信息中的至少一个，确定第二特征图中每个位置点的概率预测值。该确定方式充分考虑了视频帧图像中每个像素的空间相关性，利用空间域上的相关信息来进行预测，使得概率预测更加准确。
第一个方面，对于上述确定第二特征图中每个位置点的空间先验信息可以参照图17所示，包括如下的步骤：
步骤1701、确定3D掩模卷积核在第二特征图中的中心位置点；
具体的，本步骤中的3D掩模卷积核的大小，可以预先设定，例如大小为M×M×M，M可以为正奇数，例如图9所示，3D掩模卷积核的大小为3×3×3。本步骤中确定的中心位置点，即为待获取概率预测值的位置点。
步骤1702、确定中心位置点前的各位置点的量化特征值，并作为中心位置点的空间先验信息；
本步骤是在将每个待获取概率预测值的位置点置于3D掩模卷积核的中心位置点后，然后获取其前的各位置点的量化特征值，即对于大小为的卷积核，可以获取M×M×M个位置点的量化特征值，其中F(M×M×M/2)是向下取整的函数，对于3×3×3的卷积核，可以获取前12个位置点的量化特征值。
本公开实施例中，由于需要利用中心位置点前各个位置点的量化特征值，作为时间先验信息来预测中心位置点的概率预测值，对于编码过程而言，其中的第二特征图是预先获取的，并且进行量化处理后每个位置点的量化特征值也是确定的，所以对于步骤1102、步骤1502中获取每个位置点的概率预测值而言，也可以直接获取到。而对于解码过程而言，其中每个位置点的量化特征值都需要依次解码得到，因此对于步骤1201、步骤1601中确定每个位置点的概率预测值，则需要在解码得到前一个位置点的量化特征值后，才能够根据3D掩模卷积核得到当前位置点的概率预测值；当然，在接下来的解码步骤中，可以基于当前位置点的概率预测值，解码得到当前位置点的量化特征值，并可以进一步获得下一个位置点的概率预测值，依次类推，得到整个第二特征图中每个位置点的概率预测值和量化特征值。
第二个方面，对于上述确定第二特征图中每个位置点的小尺寸先验信息可以参照图18所示，包括如下的步骤：
步骤1801、对第二特征图进行小尺寸特征提取，获得第二小尺寸特征图；
本步骤中进行小尺寸特征提取，在具体处理过程中可以是对第二特征图进行下采样操作和第一次卷积操作，提取更小尺寸的特征，以得到第二小尺寸特征图，第二小尺寸特征图相较于第二特征图的尺寸更小，例如第二特征图的大小为64×64，则第二小尺寸特征图的大小可以为8×8；
步骤1802、对第二小尺寸特征图进行还原操作，获得与第二特征图尺寸相等的还原特征图，该还原特征图中的相同位置点的特征值作为小尺寸先验信息；
在步骤1801中得到第二小尺寸特征图后，可以进行还原操作，将其还原为第二特征图尺寸相等的还原特征图，具体的还原操作可以是包括上采样操作和第二次卷积操作，该第二次卷积操作看作是第一次卷积操作的逆卷积操作过程，如上述所述的，该还原特征图的大小仍为64×64。本步骤中最后可以利用还原特征图中相同位置点的特征值作为小尺寸先验信息，并将小尺寸先验信息应用到概率预测值的计算中。可选的，也可以对还原特征图进行量化处理，以得到相同位置点的量化特征值作为小尺寸先验信息。
在进行第二特征图中各位置点的概率预测值计算时，可以考虑上述两个方面获取的先验信息中的至少一个，具体的，若同时考虑上述两个个方面获得的先验信息，在计算概率预测值时，可以得到高斯分布下的均值
Figure BDA0002357962010000261
和方差
Figure BDA0002357962010000262
计算公式，即：
Figure BDA0002357962010000263
其中
Figure BDA0002357962010000264
表示空间先验信息，即前i-1个位置点的量化特征值；
Figure BDA0002357962010000265
表示小尺寸先验信息。
根据高斯分布下的概率预测模型，其中对于每个位置点的概率预测值
Figure BDA0002357962010000266
可以通过如下公式得到：
Figure BDA0002357962010000267
本公开上述实施例中，分别对第一神经网络模型、第二神经网络模型和第三神经网络模型各自的功能进行了介绍，以下提供了一个具体的实施例，对由上述三个神经网络模型组成的视频压缩处理架构的具体处理过程进行描述。
对于一些视频压缩处理场景，例如视频监控场景下，视频采集设备会源源不断的生成视频流，该视频流可以描述为一个视频帧图像组，例如对于视频流X＝{X1，X2，…，Xt}，其中X1，X2，…，Xt表示按照时间顺序依次接收到的视频帧图像。在使用本公开实施例提供过的视频压缩方法时，上述的视频帧图像会依次输入到图1所示的视频压缩处理框架中进行处理，具体可以包括如下处理过程：
首先，对于第1帧图像X1，可以看作是基准帧，其可以利用第三神经网络模型进行帧内编解码处理，以得到第1帧图像的压缩数据，并且利用第三神经网络模型对压缩数据进行解码处理，可以得到第1帧图像的重建帧
Figure BDA0002357962010000268
该重建帧
Figure BDA0002357962010000269
会存储到缓存器件中，利用第三神经网络模型进行帧内编解码处理的具体过程，可以参见上述图3和图4所示实施例；
其次，对于第2帧图像X2，可以输入到第一神经网络模型中进行帧间编解码，此时，除第2帧图像X2外，还可以将第1帧图像的重建帧
Figure BDA00023579620100002610
输入到第一神经网络模型中进行帧间编码，得到第2帧图像X2的压缩数据，并且该第一神经网络模型还可以对上述第2帧图像X2的压缩数据进行解码处理，并最终得到第2帧图像X2的预测帧
Figure BDA00023579620100002611
再次，利用上述的第2帧图像X2的预测帧
Figure BDA0002357962010000271
以及原始输入的第2帧图像X2生成第2帧图像X2的残差图像r2，该残差图像r2在一定程度上可以评价第一神经网络模型的优劣程度，若第一神经网络模型训练的较好，则残差图像会较小，但对于第一神经网络模型训练而言，往往不能训练到其输出的预测帧与原始的帧图像完全一致的情况，会存在一定的残差图像，因此本公开实施例中针对上述残差图像r2，可以利用第二神经网络模型进行残差编码，以得到残差图像r2的压缩数据，同时利用第二神经网络模型对上述残差图像r2的压缩数据进行解码处理，得到与第2帧图像X2对应的重建残差图像
Figure BDA0002357962010000272
最后，利用第二神经网络模型得到的重建残差图像
Figure BDA0002357962010000273
对通过第一神经网络模型得到的第2帧图像X2的预测帧
Figure BDA0002357962010000274
进行补偿，以得到第2帧图像X2的重建帧
Figure BDA0002357962010000275
该第2帧图像的重建帧可以继续存储到缓存器件中，至此，可以完成针对第2帧图像的压缩处理工作。
进一步的，对于后续的帧图像Xi，则可以沿用第2帧图像的处理过程，分别通过第一神经网络模型和第二神经网络模型获取对应的压缩数据，以及重建帧；另外还可以在后续帧图像Xi中选择帧图像作为基准帧图像，并利用第三神经网络模型获取对应的压缩数据及其重建帧，该重建帧也可以第一神经网络模型进行帧间编解码的历史帧图像的重建帧。
针对本公开实施例中图13所提供的视频压缩处理架构，其中在进行训练优化时，针对第一神经网络模型、第二神经网络模型和第三神经网络模型三个神经网络模型，可以按照如下方式进行训练：
首先，先针对第三神经网络模型进行训练优化，以保证第三神经网络模型在对基准帧图像进行重建时，得到的重建帧的准确性，由于该第三神经网络模型兼具编码器和解码器的功能，因此对第三神经网络模型的训练优化可以作为一个端到端的联合优化过程；
其次，在对第三神经网络模型进行训练完成的基础上，对第一神经网络模型进行训练，在对第一神经网络模型进行训练的过程中，可以先利用连续的原始帧图像进行训练，然后再利用历史帧图像的重建帧进行训练优化，这样能够使得第一神经网络模型在训练过程中尽快收敛，以提高对第一神经网络模型进行训练的效率，由于该第一神经网络模型兼具编码器和解码器的功能，因此对第一神经网络模型的训练优化可以作为一个端到端的联合优化过程；
再次，利用训练好的第三神经网络模型、第一神经网络模型，对第二神经网络模型进行训练，该第二神经网络模型兼具编码器和解码器的功能，因此对第二神经网络模型的训练优化可以作为一个端到端的联合优化过程；
最后，对于本公开实施例提供的视频编码压缩架构，整体上采用端到端的方式，对上述三个神经网络模型进行联合优化。
本公开实施例中在对视频压缩处理架构进行训练优化的过程中，采用上述先局部，再整体的训练模式，能够有效避免训练过程中的误差传递，提高训练过程的稳定性。
另外，本公开实施例中，在对上述三个神经网络模型进行训练时，除了考虑重建损失、预测损失外，还可以考虑在编码过程中生成压缩数据时的码率，从重建损失、预测损失和码率三个方面控制训练过程。具体的，在对上述视频压缩处理架构进行训练时，其损失函数可以表示如下：
Figure BDA0002357962010000281
其中，
Figure BDA0002357962010000282
表示第三神经网络模型针对每帧图像Xt进行解码处理得到重建帧
Figure BDA0002357962010000283
所产生的损失，
Figure BDA0002357962010000284
表示第一神经网络模型针对每帧图像Xt进行解码处理得到预测帧
Figure BDA0002357962010000285
所产生的损失，Rs表示第三神经网络模型针对每帧图像Xt进行帧内编码生成压缩数据时的码率，Rt表示第一神经网络模型针对每帧图像Xt进行帧间编码生成压缩数据时的码率；另外，n表示参与训练的视频流所包括的帧图像的数目,λ1和λ2作为设定值，可以根据实际情况进行调整。
由此本公开实施例中，由于对视频压缩处理框架进行训练优化时，考虑重建损失、预测损失和码率三个方面的因素，其中码率主要是考虑各个神经网络模型中编码器等性能，重建损失和预测损失主要是考虑解码器的性能。本公开实施例中提供的基于深度学习的视频压缩处理框架，能够对编码器和解码器进行联合优化，能够同时考虑重建损失和码率两个方面的因素，取得在重建损失、预测损失和码率三个方面的平衡，达到在码率一定的前提下，重建损失和预测损失最小，压缩性能最高；或者是在重建损失和预测损失一定的情况下，码率最小，压缩性能最高。
示例性装置
图19是本公开一示例性实施例提供的视频压缩处理装置的结构示意图。该装置可以应用到电子设备上，如图19所示，该装置包括第一确定模块100，第一压缩模块200，第二确定模块300，第二压缩模块400，第三确定模块500。
其中，第一确定模块100用于确定当前帧图像以及历史帧图像的重建帧，当前帧图像与所述历史帧图像之间距离N帧图像，N为正整数；
第一压缩模块200，用于通过第一神经网络模型对所述当前帧图像与历史帧图像的重建帧进行处理，获得当前帧图像的压缩数据以及当前帧图像的预测帧；
第二确定模块300，用于根据当前帧图像的预测帧以及当前帧图像，确定当前帧图像对应的残差图像；
第二压缩模块400，用于通过第二神经网络模型对残差图像进行处理，获得残差图像的压缩数据以及当前帧图像对应的重建残差图像；
第三确定模块500，用于根据当前帧图像的预测帧以及当前帧图像对应的重建残差图像，确定当前帧图像的重建帧。
本公开实施例提供的视频压缩装置的技术方案，其中包括第一神经网络模型型和第二神经网络模型，其中第一神经网络模型能够对当前帧图像和历史帧图像的重建帧进行处理，获得当前帧图像的压缩数据，以及当前帧图像的预测帧，并进一步可以根据该预测帧和原始的当前帧图像确定残差图像，该残差图像可以用以评价第一神经网络模型的优劣，在第一神经网络训练较佳时，残差图像越小；而第二神经网络模型可以将残差图像进行处理得到残差图像的压缩数据，以及对应的重建残差图像；其中的重建残差图像可以对第一神经网络得到的预测帧进行补偿以得到重建帧，使得该第二神经网络模型可以对第一神经网络模型的结果起到纠错和补偿的作用。上述第一神经网络模型和第二神经网络模型构成的视频压缩处理架构是一种基于深度学习的处理架构，能够进行端到端的联合优化，能够大大提高整个视频压缩处理框架的压缩编码性能，提高视频压缩效率和准确率。
本公开实施例中，其中第一神经网络模型兼具编码和解码功能，能够进行帧间编解码处理，具体的，第一压缩模块200可以包括第一编码单元和第一解码单元。
第一编码单元，用于通过第一神经网络模型对当前帧图像，历史帧图像的重建帧进行处编码处理，获得当前帧图像的压缩数据；
第一解码单元，用于通过第一神经网络模型对当前帧图像的压缩数据进行解码处理，获得所述当前帧图像的预测帧。
其中，第一编码单元得到的压缩数据可以作为解码单元的输入，由此可见，可以将该第一神经网络模型分解为一个编码器和一个解码器，进而使得对第一神经网络模型进行优化时，是一个同时针对编码器和解码器进行联合优化的过程，从而构成一个端到端联合优化的技术方案，具有训练优化效率高的优点，同时通过该联合优化得到的第一神经网络模型的编码和解码准确率也能够得到提升。
可选的，本公开实施例中，其中第一编码单元可以进一步包括：
特征提取子单元，用于对当前帧图像，历史帧图像的重建帧进行融合特征提取，获得当前帧图像对应的第二特征图；
量化和概率预测子单元，用于确定第二特征图中每个位置点的量化特征值以及第二特征图中每个位置点的概率预测值；
表征值确定子单元，用于基于量化特征值和概率预测值，确定第二特征图中每个位置点的表征值；
压缩子单元，用于确定当前帧图像的压缩数据，该压缩数据包括每个位置点的表征值。
相对应的，第一解码单元可以进一步包括：
概率预测值确定子单元，用于确定第二特征图中每个位置点的概率预测值；
量化特征值确定子单元，用于基于压缩数据中每个位置点的表征值，以及每个位置点的概率预测值，确定每个位置点的量化特征值；
特征图确定子单元，用于基于每个位置点的量化特征值，确定第二特征图；
光流图确定子单元，用于基于第二特征图，确定二维光流图；
预测帧获得子单元，用于基于上述二维光流图，对历史帧图像的重建帧进行补偿，获得当前帧图像的预测帧。
且具体的，上述的特征提取子单元可以包括两种实现方式，例如：
第一种实现方式，是对上述的当前帧图像，以及历史帧图像的重建帧进行级联操作，以获得级联图像；然后对级联图像进行融合特征提取，获取第二特征图，第二特征图中每个位置点具有分别从两个帧图像上采集的两个不同特征，即第二特征图中包含有光流信息。
第二种实现方式，首先对当前帧图像进行特征提取，获得当前帧图像的特征图；其次，对历史帧图像的重建帧进行特征提取，获得历史帧图像的特征图；最后，对当前帧图像的特征图和历史帧图像的特征图进行融合处理，获得所述第二特征图。
可选的，上述量化和概率预测子单元，以及概率预测值确定子单元中，均会确定第二特征图中每个位置点的概率预测值，在确定上述概率预测值的过程中，可以首先确定第二特征图中每个位置点的空间先验信息、第二特征图中每个位置点的时间先验信息和第二特征图中每个位置点的小尺寸先验信息中的至少一个，然后基于上述的空间先验信息、小尺寸先验信息和时间先验信息中的至少一个，确定第二特征图中每个位置点的概率预测值。该确定方式充分考虑了视频帧中每个像素的时间相关性和空间相关性，利用时域或者空间域上的相关信息来进行预测，使得概率预测更加准确。
其中，确定第二特征图中每个位置点的空间先验信息的方式，可以是，首先确定3D掩模卷积核在第二特征图中的中心位置点；然后确定中心位置点前的各位置点的量化特征值，并作为中心位置点的空间先验信息。
确定第二特征图中每个位置点的小尺寸先验信息的方式，可以是，首先对第二特征图进行小尺寸特征提取，获得第二小尺寸特征图；然后对第二小尺寸特征图进行还原操作，获得与第二特征图尺寸相等的还原特征图，该还原特征图中的相同位置点的特征值作为小尺寸先验信息。
确定第二特征图中每个位置点的时间先验信息方式，可以是，确定历史帧图像对应的第二特征图中相同位置点的概率预测值，并作为当前帧图像对应的第二特征图中相同位置点的时间先验信息，历史帧图像与当前帧图像距离L帧图像，L为正整数，其中，L的值可以取1、2或3等数值。
本公开上述实施例中，其中的第二压缩模块400兼具编码和解码功能，能够进行残差图像编解码处理，具体的可以包括第二编码单元和第二解码单元。第二编码单元，用于通过第二神经网络模型对残差图像进行编码处理，获得残差图像的压缩数据；
第二解码单元，用于通过第二神经网络模型对残差图像的压缩数据进行解码处理，获得当前帧图像对应的重建残差图像。
其中，第二编码单元得到的压缩数据可以作为第二解码单元的输入，由此可见，可以将该第二神经网络模型分解为一个编码器和一个解码器，进而使得对第二神经网络模型进行优化时，是一个同时针对编码器和解码器进行优化的过程，从而构成一个端到端优化的技术方案，具有训练优化效率高的优点。
本公开实施例中，第二编码单元可以进一步包括：
特征提取子单元，用于对残差图像进行特征提取，确定残差图像的第二特征图；
量化和概率预测子单元，用于确定第二特征图中每个位置点的量化特征值，以及第二特征图中每个位置点的概率预测值；
表征值确定子单元，用于基于量化特征值和所述概率预测值，确定第二特征图中每个位置点的表征值；
压缩子单元，用于确定当前帧图像对应的残差图像的压缩数据，压缩数据包括第二特征图中每个位置点的表征值。
本公开实施例中，第二解码单元可以进一步包括：
概率预测值确定子单元，用于确定第二特征图中每个位置点的概率预测值；
量化特征值确定子单元，用于基于压缩数据中每个位置点的表征值，以及每个位置点的概率预测值，确定第二特征图中每个位置点的量化特征值；
特征图确定子单元，用于基于每个位置点的量化特征值，确定残差图像的第二特征图；
重建子单元，用于基于残差图像的第二特征图，确定当前帧图像对应的重建残差图像。
图20是本公开另一示例性实施例提供的视频压缩处理装置的结构示意图，如图20所示，该视频压缩处理装置除包括图19所示的第一确定模块100，第一压缩模块200，第二确定模块300，第二压缩模块400，第三确定模块500外，还进一步包括第四确定模块600和第三压缩模块700。其中的第四确定模块600用于确定当前帧图像为基准帧图像；第三压缩模块700用于通过第三神经网络模型对基准帧图像进行处理，获得基准帧图像的压缩数据，以及基于基准帧图像的重建帧。
本公开实施例中，通过设置第三压缩模块700，该第三压缩模块700能够进行帧内编码，既得到的基准帧图像的压缩数据，又得到了基准帧图像对应的重建帧。其中的第三压缩模块700兼具编码和解码的功能，对于获得的基准帧图像的压缩数据可以进行存储，作为本方案提供的视频压缩处理过程最终得到的压缩数据；对于获得的重建帧，可以应用到后续视频压缩处理过程中，例如作为第一压缩模块200利用第一神经网络模型进行帧间编码时输入的历史帧图像的重建帧使用。
本公开实施例中，第三压缩模块700兼具编码和解码功能，能够进行基准帧图像的编解码处理，具体的第三压缩模块700可以包括第三编码单元和第三解码单元。
第三编码单元，用于通过第三神经网络模型对基准帧图像进行编码处理，获得基准帧图像的压缩数据；
第三解码单元，用于通过第三神经网络模型对基准帧图像的压缩数据进行解码处理，获得基准帧图像对应的重建帧。
其中，第三编码单元得到的压缩数据可以作为第三解码单元的输入，由此可见，可以将该第三压缩模块700所使用的第三神经网络模型分解为一个编码器和一个解码器，进而使得对第三神经网络模型进行优化时，是一个同时针对编码器和解码器进行优化的过程，从而构成一个端到端优化的技术方案，具有训练优化效率高的优点。
本公开实施例中，第三编码单元可以进一步包括：
特征提取子单元，用于对基准帧图像进行特征提取，确定基准帧图像的第二特征图；
量化和概率预测子单元，用于确定第二特征图中每个位置点的量化特征值以及第二特征图中每个位置点的概率预测值；
表征值确定子单元，用于基于量化特征值和所述概率预测值，确定第二特征图中每个位置点的表征值；
压缩子单元，用于确定基准帧图像的压缩数据，压缩数据包括第二特征图中每个位置点的表征值。
本公开实施例中，第三解码单元可以进一步包括：
概率预测值确定子单元，用于确定第二特征图中每个位置点的概率预测值；
量化特征值确定子单元，用于基于压缩数据中每个位置点的表征值，以及每个位置点的概率预测值，确定第二特征图中每个位置点的量化特征值；
特征图确定子单元，用于基于每个位置点的量化特征值，确定基准帧图像的第二特征图；
重建子单元，用于基于基准帧图像的第二特征图，确定基准帧图像的重建帧。
本公开上述实施例中，其中第二编码单元和第三编码单元中的量化和概率预测子单元，以及第三编码单元和第四编码单元中的概率预测值确定子单元获取了第二特征图中各位置点的概率预测值，具体的可以首先确定第二特征图中每个位置点的空间先验信息和第二特征图中每个位置点的小尺寸先验信息中的至少一个，然后基于上述的空间先验信息和小尺寸先验信息中的至少一个，确定第二特征图中每个位置点的概率预测值。
其中，对于确定第二特征图中每个位置点的空间先验信息，可以是，首先，确定3D掩模卷积核在第二特征图中的中心位置点；其次，确定中心位置点前的各位置点的量化特征值，并作为中心位置点的空间先验信息。
对于确定第二特征图中每个位置点的小尺寸先验信息，可以是，首先，对第二特征图进行小尺寸特征提取，获得第二小尺寸特征图；其次，对第二小尺寸特征图进行还原操作，获得与第二特征图尺寸相等的还原特征图，该还原特征图中的相同位置点的特征值作为小尺寸先验信息。
本公开图19和图20所提供的视频编码压缩处理装置实施例，是与上述方法实施例对应的装置实施例，其中对于各个模块、单元和子单元的功能实现过程，可以参照上述方法实施例中的详细描述。
示例性电子设备
下面，参考图21来描述根据本公开实施例的电子设备。该电子设备可以是第一设备和第二设备中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。
图21图示了根据本公开实施例的电子设备的框图。
如图21所示，电子设备11包括一个或多个处理器111和存储器112。
处理器111可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备11中的其他组件以执行期望的功能。
存储器112可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器111可以运行所述程序指令，以实现上文所述的本公开的各个实施例的视频压缩处理方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中，电子设备11还可以包括：输入装置113和输出装置114，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
例如，在该电子设备是第一设备或第二设备时，该输入装置113可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。在该电子设备是单机设备时，该输入装置113可以是通信网络连接器，用于从第一设备和第二设备接收所采集的输入信号。
此外，该输入设备113还可以包括例如键盘、鼠标等等。
该输出装置114可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出设备114可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图21中仅示出了该电子设备11中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备11还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的视频压缩处理方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的视频压缩处理方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (11)

1.一种视频压缩处理方法，包括：
确定当前帧图像以及历史帧图像的重建帧，所述当前帧图像与所述历史帧图像之间距离N帧图像，N为正整数；
通过第一神经网络模型对所述当前帧图像与所述历史帧图像的重建帧进行处理，获得所述当前帧图像的压缩数据以及所述当前帧图像的预测帧；
根据所述当前帧图像的预测帧以及所述当前帧图像，确定所述当前帧图像对应的残差图像；
通过第二神经网络模型对所述残差图像进行处理，获得所述残差图像的压缩数据以及所述当前帧图像对应的重建残差图像；
根据所述当前帧图像的预测帧以及所述当前帧图像对应的重建残差图像，确定当前帧图像的重建帧。
2.根据权利要求1所述的方法，其中，所述通过第一神经网络模型对所述当前帧图像与所述历史帧图像的重建帧进行处理，获得所述当前帧图像的压缩数据，以及当前帧图像的预测帧，包括；
通过所述第一神经网络模型对所述当前帧图像，所述历史帧图像的重建帧进行处编码处理，获得当前帧图像的压缩数据；
通过所述第一神经网络模型对所述当前帧图像的压缩数据进行解码处理，获得所述当前帧图像的预测帧。
3.根据权利要求2所述的方法，其中，通过所述第一神经网络模型对所述当前帧图像与所述历史帧图像的重建帧进行处编码处理，以得到当前帧图像的压缩数据，包括：
对所述当前帧图像与所述历史帧图像的重建帧进行融合特征提取，获得当前帧图像对应的第一特征图；
确定所述第一特征图中每个位置点的量化特征值，以及所述第一特征图中每个位置点的概率预测值；
基于所述量化特征值和所述概率预测值，确定所述第一特征图中每个位置点的表征值；
确定所述当前帧图像的压缩数据，所述压缩数据包括所述每个位置点的表征值。
4.根据权利要求3所述的方法，其中，通过所述第一神经网络模型对所述当前帧图像的压缩数据进行解码处理，获得所述当前帧图像的预测帧，包括：
确定第一特征图中每个位置点的概率预测值；
基于所述压缩数据中每个位置点的表征值，以及每个位置点的概率预测值，确定每个位置点的量化特征值；
基于所述每个位置点的量化特征值，确定所述第一特征图；
基于所述第一特征图，确定二维光流图；
基于所述二维光流图，对所述历史帧图像的重建帧进行补偿，获得到所述当前帧图像的预测帧。
5.根据权利要求4所述的方法，其中，所述通过第一神经网络模型对所述当前帧图像与所述历史帧图像的重建帧进行融合特征提取，获取第一特征图，包括：
对所述当前帧图像与所述历史帧图像的重建帧进行级联操作，获得级联图像；
对所述级联图像进行融合特征提取，获得第一特征图；或者，
对所述当前帧图像进行特征提取，获得当前帧图像的特征图；
对所述历史帧图像的重建帧进行特征提取，获得历史帧图像的特征图；
对所述当前帧图像的特征图和所述历史帧图像的特征图进行融合处理，获得所述第一特征图。
6.根据权利要求3或4所述的方法，其中，所述确定第一特征图中每个位置点的概率预测值包括：
确定所述第一特征图中每个位置点的空间先验信息、所述第一特征图中每个位置点的小尺寸先验信息和所述第一特征图中每个位置点时间先验信息中的至少一个；
基于所述空间先验信息、所述小尺寸先验信息和所述时间先验信息中的至少一个，确定所述第一特征图中每个位置点的概率预测值。
7.根据权利要求1所述的方法，其中，所述通过第二神经网络模型对所述残差图像进行处理，获得所述残差图像的压缩数据，以及所述当前帧图像对应的重建残差图像，包括：
通过所述第二神经网络模型对所述残差图像进行编码处理，获得所述残差图像的压缩数据；
通过所述第二神经网络模型对所述残差图像的压缩数据进行解码处理，获得所述当前帧图像对应的重建残差图像。
8.根据权利要求7所述的方法，其中，所述通过第二神经网络模型对所述残差图像进行处理，获得所述残差图像的压缩数据，包括：
对所述残差图像进行特征提取，确定所述残差图像的第二特征图；
确定所述第二特征图中每个位置点的量化特征值，以及所述第二特征图中每个位置点的概率预测值；
基于所述量化特征值和所述概率预测值，确定所述第二特征图中每个位置点的表征值；
确定所述当前帧图像对应的残差图像的压缩数据，所述压缩数据包括第二特征图中每个位置点的表征值。
9.一种视频压缩处理装置，包括：
第一确定模块，用于确定当前帧图像以及历史帧图像的重建帧，所述当前帧图像与所述历史帧图像之间距离N帧图像，N为正整数；
第一压缩模块，用于通过第一神经网络模型对所述当前帧图像，所述历史帧图像的重建帧进行处理，获得所述当前帧图像的压缩数据以及所述当前帧图像的预测帧；
第二确定模块，用于根据所述当前帧图像的预测帧以及所述当前帧图像，确定所述当前帧图像对应的残差图像；
第二压缩模块，用于通过第二神经网络模型对所述残差图像进行处理，获得所述残差图像的压缩数据以及所述当前帧图像对应的重建残差图像；
第三确定模块，用于根据所述当前帧图像的预测帧以及所述当前帧图像对应的重建残差图像，确定当前帧图像的重建帧。
10.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-8任一所述的视频压缩处理方法。
11.一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-8任一所述的视频压缩处理方法。
CN202010016421.9A 2020-01-07 2020-01-07 视频压缩处理方法、装置、存储介质和电子设备 Active CN111263161B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010016421.9A CN111263161B (zh) 2020-01-07 2020-01-07 视频压缩处理方法、装置、存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010016421.9A CN111263161B (zh) 2020-01-07 2020-01-07 视频压缩处理方法、装置、存储介质和电子设备

Publications (2)

Publication Number Publication Date
CN111263161A true CN111263161A (zh) 2020-06-09
CN111263161B CN111263161B (zh) 2021-10-26

Family

ID=70950956

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010016421.9A Active CN111263161B (zh) 2020-01-07 2020-01-07 视频压缩处理方法、装置、存储介质和电子设备

Country Status (1)

Country Link
CN (1) CN111263161B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113628290A (zh) * 2021-07-28 2021-11-09 武汉大学 基于3d卷积自编码器的波段自适应高光谱图像压缩方法
CN114374846A (zh) * 2022-01-10 2022-04-19 昭通亮风台信息科技有限公司 视频压缩方法、装置、设备及存储介质
CN114501031A (zh) * 2020-11-13 2022-05-13 华为技术有限公司 一种压缩编码、解压缩方法以及装置
US20220198628A1 (en) * 2020-12-18 2022-06-23 Samsung Electronics Co., Ltd. Image processing apparatus and method of processing multi-frames using the same
WO2022199575A1 (en) * 2021-03-22 2022-09-29 International Business Machines Corporation Cognitive framework for privacy-driven user data sharing
CN115529457A (zh) * 2022-09-05 2022-12-27 清华大学 基于深度学习的视频压缩方法和装置
US11750569B2 (en) 2020-12-09 2023-09-05 International Business Machines Corporation Private cloud user insight privacy
CN116805971A (zh) * 2023-04-11 2023-09-26 腾讯科技（深圳）有限公司 图像编解码方法、装置、设备
WO2023206420A1 (zh) * 2022-04-29 2023-11-02 Oppo广东移动通信有限公司 视频编解码方法、装置、设备、系统及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108256562A (zh) * 2018-01-09 2018-07-06 深圳大学 基于弱监督时空级联神经网络的显著目标检测方法及系统
CN109451308A (zh) * 2018-11-29 2019-03-08 北京市商汤科技开发有限公司 视频压缩处理方法及装置、电子设备及存储介质
CN110210386A (zh) * 2019-05-31 2019-09-06 北京市商汤科技开发有限公司 用于动作迁移的视频生成方法及神经网络训练方法和装置
US20190304067A1 (en) * 2018-03-29 2019-10-03 Pixar Temporal techniques of denoising monte carlo renderings using neural networks

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108256562A (zh) * 2018-01-09 2018-07-06 深圳大学 基于弱监督时空级联神经网络的显著目标检测方法及系统
US20190304067A1 (en) * 2018-03-29 2019-10-03 Pixar Temporal techniques of denoising monte carlo renderings using neural networks
CN109451308A (zh) * 2018-11-29 2019-03-08 北京市商汤科技开发有限公司 视频压缩处理方法及装置、电子设备及存储介质
CN110210386A (zh) * 2019-05-31 2019-09-06 北京市商汤科技开发有限公司 用于动作迁移的视频生成方法及神经网络训练方法和装置

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114501031A (zh) * 2020-11-13 2022-05-13 华为技术有限公司 一种压缩编码、解压缩方法以及装置
WO2022100140A1 (zh) * 2020-11-13 2022-05-19 华为技术有限公司 一种压缩编码、解压缩方法以及装置
EP4231644A4 (en) * 2020-11-13 2024-03-20 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR VIDEO FRAME COMPRESSION AND METHOD AND APPARATUS FOR VIDEO FRAME DECOMPRESSION
US11750569B2 (en) 2020-12-09 2023-09-05 International Business Machines Corporation Private cloud user insight privacy
US20220198628A1 (en) * 2020-12-18 2022-06-23 Samsung Electronics Co., Ltd. Image processing apparatus and method of processing multi-frames using the same
WO2022199575A1 (en) * 2021-03-22 2022-09-29 International Business Machines Corporation Cognitive framework for privacy-driven user data sharing
CN113628290A (zh) * 2021-07-28 2021-11-09 武汉大学 基于3d卷积自编码器的波段自适应高光谱图像压缩方法
CN114374846A (zh) * 2022-01-10 2022-04-19 昭通亮风台信息科技有限公司 视频压缩方法、装置、设备及存储介质
CN114374846B (zh) * 2022-01-10 2024-03-26 昭通亮风台信息科技有限公司 视频压缩方法、装置、设备及存储介质
WO2023206420A1 (zh) * 2022-04-29 2023-11-02 Oppo广东移动通信有限公司 视频编解码方法、装置、设备、系统及存储介质
CN115529457A (zh) * 2022-09-05 2022-12-27 清华大学 基于深度学习的视频压缩方法和装置
CN115529457B (zh) * 2022-09-05 2024-05-14 清华大学 基于深度学习的视频压缩方法和装置
CN116805971A (zh) * 2023-04-11 2023-09-26 腾讯科技（深圳）有限公司 图像编解码方法、装置、设备

Also Published As

Publication number Publication date
CN111263161B (zh) 2021-10-26

Similar Documents

Publication Publication Date Title
CN111263161B (zh) 视频压缩处理方法、装置、存储介质和电子设备
Hu et al. Learning end-to-end lossy image compression: A benchmark
Yang et al. Hierarchical autoregressive modeling for neural video compression
CN115486068A (zh) 用于视频编码中基于深度神经网络的帧间预测的方法和设备
CN111986278A (zh) 图像编码装置、概率模型生成装置和图像压缩系统
CN115239591A (zh) 图像处理方法、装置、电子设备、存储介质及程序产品
WO2023077707A1 (zh) 视频编码方法、模型训练方法、设备和存储介质
CN114501031B (zh) 一种压缩编码、解压缩方法以及装置
TWI826160B (zh) 圖像編解碼方法和裝置
CN117616753A (zh) 使用光流的视频压缩
JP2024525273A (ja) コンテキストベース画像コード化
CN115205117A (zh) 图像重建方法及装置、计算机存储介质、电子设备
CN118020306A (zh) 视频编解码方法、编码器、解码器及存储介质
US20240046527A1 (en) End-to-end optimization of adaptive spatial resampling towards machine vision
CN114449280B (zh) 一种视频编解码方法、装置及设备
CN114140363B (zh) 视频去模糊方法及装置、视频去模糊模型训练方法及装置
WO2024093627A1 (zh) 一种视频压缩方法、视频解码方法和相关装置
US20230229894A1 (en) Method and apparatus for compression and training of neural network
WO2023169501A1 (en) Method, apparatus, and medium for visual data processing
CN114095728B (zh) 一种端到端的视频压缩方法、装置和计算机可读存储介质
US20240073425A1 (en) Image encoding apparatus and image decoding apparatus both based on artificial intelligence, and image encoding method and image decoding method performed by the image encoding apparatus and the image decoding apparatus
WO2023155848A1 (en) Method, apparatus, and medium for data processing
US20220239935A1 (en) Video compression with adaptive iterative intra-prediction
US20240223762A1 (en) A method, an apparatus and a computer program product for video encoding and video decoding
WO2024083248A1 (en) Method, apparatus, and medium for visual data processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant