CN115802031A - 处理方法、处理设备及存储介质 - Google Patents

Abstract

本申请提出了一种处理方法、处理设备及存储介质，处理方法包括：根据至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式，确定或得到待编码的视频帧对应的编码码流。本申请技术方案可以提高视频编码的编码性能。

Description

处理方法、处理设备及存储介质

技术领域

本申请涉及图像处理技术领域，具体涉及一种处理方法、处理设备及存储介质。

背景技术

现有高效率视频编码标准协议（H.266/VVC）提出了一种视频帧的编码技术，以实现在不显著提高计算复杂度的情况下提高编码性能。

在构思及实现本申请过程中，发明人发现至少存在如下问题：在进行视频帧的编码时，协议将每个帧划分为不同的块，然后根据预设的编码处理顺序对这些块进行处理，如用邻居块对当前块进行帧内预测，没有考虑视频信号的非对称性，从而导致视频帧编码的编码性能受到限制。和/或，现有的协议编码或者解码输出的视频帧由一个亮度分量和两个色度分量构成，而这些分量的高分辨率细节、方块效应、振铃效应等也将导致视频帧编码的编码性能受到限制。

前面的叙述在于提供一般的背景信息，并不一定构成现有技术。

发明内容

针对上述技术问题，本申请提供一种处理方法、处理设备及存储介质，旨在解决如何提高视频编码的编码性能的技术问题。

本申请提供一种处理方法，可应用于处理设备（如智能终端或服务器等），包括步骤：

S10： 根据至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式，确定或得到待编码的视频帧对应的编码码流。

可选地，所述帧变换模式和/或多种帧变换模式进行组合后的组合变换模式的获取或者确定方式，包括以下至少一项：

获取或者确定至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式；

基于预设规则获取或者确定至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式；

在待编码的视频帧为特定格式的视频帧时，获取或者确定所述特定格式对应的至少一种帧变换模式和/或组合变换模式；

在待编码的视频帧中的特定类型信号值大于预设信号值时，获取或者确定至少包括非线性变换和/或滤波处理中的至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式；

在待编码的视频帧对应的编码参数小于预设参数值，且待编码的视频帧对应的分辨率大于或等于预设阈值时，获取或者确定至少包括下采样的至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式；

获取或者确定最小率失真的帧变换模式和/或多种帧变换模式进行组合后的组合变换模式。

可选地，所述至少一种帧变换模式包括帧变换模式和/或帧变换模式序列。

可选地，所述帧变换模式序列中每个序列位内的帧变换模式是根据每个序列位对应的预设序列规则进行获取或者确定的。

可选地，所述预设序列规则包括以下至少一项：

获取或者确定最小率失真的帧变换模式；

在待编码的视频帧为特定格式的视频帧时，获取或者确定所述特定格式对应的帧变换模式；

在待编码的视频帧中的特定类型信号大于预设信号值时，获取或者确定帧变换模式的模式类型为非线性变换或滤波处理中的至少一种；

在待编码的视频帧对应的编码参数小于预设参数值，且待编码的视频帧对应的分辨率大于或等于预设阈值时，获取或者确定模式类型为下采样的帧变换模式。

可选地，所述步骤S10，包括步骤：

S11：根据至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式对待编码的视频帧进行处理；

S12：确定或得到经过图像处理后的视频帧对应的编码码流。

可选地，所述步骤S11包括以下至少一项：

根据至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式对待编码的视频帧进行至少一次图像处理；

按照每一次选择的至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式依次对待编码的视频帧进行图像处理。

可选地，所述根据多种帧变换模式进行组合后的组合变换模式对待编码的视频帧进行至少一次图像处理，包括：

确定多种帧变换模式进行组合后的组合变换模式中包含的所有帧变换模式，并根据所述组合变换模式中包含的所有帧变换模式同时对待编码的视频帧进行至少一次图像处理。

可选地，所述步骤S12包括以下至少一项：

对经过图像处理后的视频帧进行编码，确定或得到编码码流；

对经过图像处理后的视频帧、以及至少一种帧变换模式和/或组合变换模式进行编码，确定或得到编码码流；

对经过图像处理后的视频帧和每一次进行图像处理对应的至少一种帧变换模式和/或组合变换模式进行编码，确定或得到编码码流；

对经过图像处理后的视频帧、每一次进行图像处理对应的至少一种帧变换模式和/或组合变换模式、和所述图像处理对应的图像处理顺序进行编码，确定或得到编码码流。

本申请还提供一种处理方法，可应用于处理设备（如智能终端或服务器等），包括步骤：

S20：根据至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式和/或至少一个码流，确定或得到解码视频帧。

可选地，所述至少一种帧变换模式包括帧变换模式和/或帧变换模式序列。可选地，所述方法还包括以下至少一项：

对所述码流进行解码，确定或得到经过图像处理后的视频帧和/或至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式；

对所述码流进行解码，确定或得到经过图像处理后的视频帧、图像处理顺序、以及至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式。

可选地，所述步骤S20包括以下至少一项：

将经过图像处理后的视频帧作为解码视频帧；

根据至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式对经过图像处理后的视频帧进行逆处理，得到解码视频帧；

根据至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式、以及图像处理顺序对经过图像处理后的视频帧进行逆处理，得到解码视频帧。

本申请还提供一种处理装置，包括：

编码模块，用于根据至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式，确定或得到待编码的视频帧对应的编码码流。

本申请还提供一种处理装置，包括：

解码模块，用于根据至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式和/或至少一个码流，确定或得到解码视频帧。

本申请还提供一种处理设备，包括：存储器、处理器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时实现如上任一所述处理方法的步骤。本申请中的处理设备可以是智能终端，也可以是服务器等。

本申请还提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上任一所述处理方法的步骤。

如上所述，本申请的处理方法，可应用于处理设备，通过根据至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式确定或得到待编码的视频帧对应的编码码流。通过上述技术方案，能够根据帧变换模式和/或组合变换模式对待编码的视频帧进行图像处理，从而实现在对视频帧进行编码前，利用视频信号的非对称性进行图像处理，以实现后续在进行编码时获得编码增益，提高了视频编码的编码性能。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为实现本申请各个实施例的一种移动终端的硬件结构示意图；

图2为本申请实施例提供的一种通信网络系统架构图；

图3是根据第一实施例示出的处理方法的流程示意图；

图4是根据第一实施例示出的处理方法中待编码的视频帧示意图；

图5是根据第一实施例示出的处理方法中水平翻转后的视频帧示意图；

图6是根据第一实施例示出的处理方法中的水平翻转示意图；

图7是根据第一实施例示出的处理方法中垂直翻转后的视频帧示意图；

图8是根据第一实施例示出的处理方法中的垂直翻转示意图；

图9是根据第一实施例示出的处理方法中左旋90度后的视频帧示意图；

图10是根据第一实施例示出的处理方法中的左旋90度示意图；

图11是根据第一实施例示出的处理方法中右旋90度后的视频帧示意图；

图12是根据第一实施例示出的处理方法中的右旋90度示意图；

图13是根据第一实施例示出的处理方法中旋转180度后的视频帧示意图；

图14是根据第一实施例示出的处理方法中的旋转180度示意图；

图15是根据第一实施例示出的处理方法中下采样后的视频帧示意图；

图16是根据第一实施例示出的处理方法中的下采样示意图；

图17是根据第一实施例示出的处理方法中基于神经网络的变换示意图；

图18是根据第一实施例示出的处理方法中的编码框架示意图；

图19是根据第一实施例示出的处理方法中的模式选择示意图；

图20是根据第二实施例示出的处理方法的流程示意图；

图21是根据第一实施例示出的处理方法中的多次图像处理示意图；

图22是根据第三实施例示出的处理方法的流程示意图；

图23是本申请实施例提供的一种处理装置示意图；

图24是本申请实施例提供的另一种处理装置示意图。

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素，此外，本申请不同实施例中具有同样命名的部件、特征、要素可能具有相同含义，也可能具有不同含义，其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。

应当理解，尽管在本文可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本文范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语"如果"可以被解释成为“在……时”或“当……时”或“响应于确定”。再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。本申请使用的术语“或”、“和/或”、“包括以下至少一个”等可被解释为包括性的，或意味着任一个或任何组合。例如，“包括以下至少一个：A、B、C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A和B和C”，再如，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A和B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。

应该理解的是，虽然本申请实施例中的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测（陈述的条件或事件）”可以被解释成为“当确定时”或“响应于确定”或“当检测（陈述的条件或事件）时”或“响应于检测（陈述的条件或事件）”。

需要说明的是，在本文中，采用了诸如S10、S20等步骤代号，其目的是为了更清楚简要地表述相应内容，不构成顺序上的实质性限制，本领域技术人员在具体实施时，可能会先执行S20后执行S10等，但这些均应在本申请的保护范围之内。

应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或者“单元”的后缀仅为了有利于本申请的说明，其本身没有特定的意义。因此，“模块”、“部件”或者“单元”可以混合地使用。

本申请中的处理设备可以是智能终端，也可以是服务器等。智能终端可以以各种形式来实施。例如，本申请中描述的智能终端可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理（Personal Digital Assistant，PDA）、便捷式媒体播放器（PortableMedia Player，PMP）、导航装置、可穿戴设备、智能手环、计步器等智能终端，以及诸如数字TV、台式计算机等固定终端。

后续描述中将以移动终端为例进行说明，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本申请的实施方式的构造也能够应用于固定类型的终端。

请参阅图1，其为实现本申请各个实施例的一种移动终端的硬件结构示意图，该移动终端100可以包括： RF（Radio Frequency，射频）单元101、WiFi模块102、音频输出单元103、A/V（音频/视频）输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、处理器110、以及电源111等部件。本领域技术人员可以理解，图1中示出的移动终端结构并不构成对移动终端的限定，移动终端可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图1对移动终端的各个部件进行具体的介绍：

射频单元101可用于收发信息或通话过程中，信号的接收和发送，具体的，将基站的下行信息接收后，给处理器110处理；另外，将上行的数据发送给基站。通常，射频单元101包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元101还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于GSM （Global System of Mobile communication，全球移动通讯系统）、GPRS（General Packet Radio Service，通用分组无线服务）、CDMA2000（CodeDivision Multiple Access 2000，码分多址2000）、WCDMA（WidebandCode DivisionMultiple Access, 宽带码分多址）、TD-SCDMA（Time Division-Synchronous CodeDivision Multiple Access，时分同步码分多址）、FDD-LTE（Frequency DivisionDuplexing- LongTerm Evolution，频分双工长期演进）、TDD-LTE (TimeDivisionDuplexing- Long Term Evolution，分时双工长期演进)和5G等。

WiFi属于短距离无线传输技术，移动终端通过WiFi模块102可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图1示出了WiFi模块102，但是可以理解的是，其并不属于移动终端的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

音频输出单元103可以在移动终端100处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时，将射频单元101或WiFi模块102接收的或者在存储器109中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元103还可以提供与移动终端100执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元103可以包括扬声器、蜂鸣器等等。

A/V输入单元104用于接收音频或视频信号。A/V输入单元104可以包括图形处理器（GraphicsProcessing Unit，GPU）1041和麦克风1042，图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置（如摄像头）获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元106上。经图形处理器1041处理后的图像帧可以存储在存储器109（或其它存储介质）中或者经由射频单元101或WiFi模块102进行发送。麦克风1042可以在电话通话模式、记录模式、语音识别模式等等运行模式中经由麦克风1042接收声音（音频数据），并且能够将这样的声音处理为音频数据。处理后的音频（语音）数据可以在电话通话模式的情况下转换为可经由射频单元101发送到移动通信基站的格式输出。麦克风1042可以实施各种类型的噪声消除(或抑制)算法以消除(或抑制)在接收和发送音频信号的过程中产生的噪声或者干扰。

移动终端100还包括至少一种传感器105，比如光传感器、运动传感器以及其他传感器。可选地，光传感器包括环境光传感器及接近传感器，可选地，环境光传感器可根据环境光线的明暗来调节显示面板1061的亮度，接近传感器可在移动终端100移动到耳边时，关闭显示面板1061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上（一般为三轴）加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用（比如横竖屏切换、相关游戏、磁力计姿态校准）、振动识别相关功能（比如计步器、敲击）等；至于手机还可配置的指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061，可以采用液晶显示器（Liquid Crystal Display，LCD）、有机发光二极管（Organic Light-Emitting Diode,OLED）等形式来配置显示面板1061。

用户输入单元107可用于接收输入的数字或字符信息，以及产生与移动终端的用户设置以及功能控制有关的键信号输入。可选地，用户输入单元107可包括触控面板1071以及其他输入设备1072。触控面板1071，也称为触摸屏，可收集用户在其上或附近的触摸操作（比如用户使用手指、触笔等任何适合的物体或附件在触控面板1071上或在触控面板1071附近的操作），并根据预先设定的程式驱动相应的连接装置。触控面板1071可包括触摸检测装置和触摸控制器两个部分。可选地，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器110，并能接收处理器110发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1071。除了触控面板1071，用户输入单元107还可以包括其他输入设备1072。可选地，其他输入设备1072可以包括但不限于物理键盘、功能键（比如音量控制按键、开关按键等）、轨迹球、鼠标、操作杆等中的一种或多种，具体此处不做限定。

可选地，触控面板1071可覆盖显示面板1061，当触控面板1071检测到在其上或附近的触摸操作后，传送给处理器110以确定触摸事件的类型，随后处理器110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图1中，触控面板1071与显示面板1061是作为两个独立的部件来实现移动终端的输入和输出功能，但是在某些实施例中，可以将触控面板1071与显示面板1061集成而实现移动终端的输入和输出功能，具体此处不做限定。

接口单元108用作至少一个外部装置与移动终端100连接可以通过的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元108可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或者可以用于在移动终端100和外部装置之间传输数据。

存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序区和存储数据区，可选地，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器109可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器110是移动终端的控制中心，利用各种接口和线路连接整个移动终端的各个部分，通过运行或执行存储在存储器109内的软件程序和/或模块，以及调用存储在存储器109内的数据，执行移动终端的各种功能和处理数据，从而对移动终端进行整体监控。处理器110可包括一个或多个处理单元；优选的，处理器110可集成应用处理器和调制解调处理器，可选地，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器110中。

移动终端100还可以包括给各个部件供电的电源111（比如电池），优选的，电源111可以通过电源管理系统与处理器110逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管图1未示出，移动终端100还可以包括蓝牙模块等，在此不再赘述。

为了便于理解本申请实施例，下面对本申请的移动终端所基于的通信网络系统进行描述。

请参阅图2，图2为本申请实施例提供的一种通信网络系统架构图，该通信网络系统为通用移动通信技术的LTE系统，该LTE系统包括依次通讯连接的UE（User Equipment，用户设备）201， E-UTRAN（EvolvedUMTS Terrestrial Radio Access Network，演进式UMTS陆地无线接入网）202，EPC（EvolvedPacket Core，演进式分组核心网）203和运营商的IP业务204。

可选地，UE201可以是上述终端100，此处不再赘述。

E-UTRAN202包括eNodeB2021和其它eNodeB2022等。可选地，eNodeB2021可以通过回程（backhaul）（例如X2接口）与其它eNodeB2022连接，eNodeB2021连接到EPC203，eNodeB2021可以提供UE201到EPC203的接入。

EPC203可以包括MME（Mobility Management Entity，移动性管理实体）2031， HSS（Home Subscriber Server，归属用户服务器）2032，其它MME2033， SGW（Serving GateWay，服务网关）2034， PGW（PDN Gate Way，分组数据网络网关）2035和PCRF（PolicyandCharging Rules Function，政策和资费功能实体）2036等。可选地，MME2031是处理UE201和EPC203之间信令的控制节点，提供承载和连接管理。HSS2032用于提供一些寄存器来管理诸如归属位置寄存器（图中未示）之类的功能，并且保存有一些有关服务特征、数据速率等用户专用的信息。所有用户数据都可以通过SGW2034进行发送，PGW2035可以提供UE201的IP地址分配以及其它功能，PCRF2036是业务数据流和IP承载资源的策略与计费控制策略决策点，它为策略与计费执行功能单元（图中未示）选择及提供可用的策略和计费控制决策。

IP业务204可以包括因特网、内联网、IMS（IP Multimedia Subsystem，IP多媒体子系统）或其它IP业务等。

虽然上述以LTE系统为例进行了介绍，但本领域技术人员应当知晓，本申请不仅仅适用于LTE系统，也可以适用于其他无线通信系统，例如GSM、CDMA2000、WCDMA、TD-SCDMA、5G以及未来新的网络系统（如6G）等，此处不做限定。

基于上述移动终端硬件结构以及通信网络系统，提出本申请各个实施例。

第一实施例

请参照图3，图3为本申请处理方法第一实施例的流程示意图。在本实施例中，本申请处理方法可以应用于处理设备（如智能终端或服务器），包括步骤：

S10： 根据至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式，确定或得到待编码的视频帧对应的编码码流。

在本实施例中，处理设备先确定待进行预测的一帧图像，并获取或确定一帧图像中待预测的第一颜色分量块，以及与第一颜色分量块对应的第二颜色分量信息。可选地，处理设备可以是智能终端，如手机、电脑等，也可以是服务器，还可以是云服务器。

可选地，处理设备可以提前存储各个图像和视频，并可以在各个图像中选择一个待进行预测的图像作为一帧图像。或者在视频的视频序列中抽取一帧图像。或者，处理设备接收用户输入的图像或视频，并在图像或视频中抽取一帧图像进行预测。或者，处理设备接收由其它网络设备发送的图像或视频，并在图像或视频中抽取一帧图像进行预测，此时处理设备预先与所处移动通信系统网络侧中的网络设备建立通信连接，从而，网络设备即可通过该通信连接向该终端设备下发图像或视频，该终端设备即接收得到图像或视频。

可选地，待编码的视频帧可以是一帧图像。并且在对视频帧进行编码之前可以先通过至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式对视频帧进行处理，然后再进行编码，以确定或者得到对应的编码码流。从而实现利用视频信号的非对称性提高编码性能。可选地，在进行编码时，可以在编码模型中引入处理模块，该处理模块支持多种帧变换模式和/或帧变换模式进行组合后的组合变换模式，帧变换模式如几何变换、下采样、其他线性和非线性变换等，并通过处理模块对视频帧进行模式变换，在进行模式变换时可以从所有支持的帧变换模式和/或组合变换模式中选择最小率失真的模式。

可选地，由于模式变换的编码增益来自于视频信号的非对称性。例如，按顺序从左上到右下进行编码，或者从右下到左上进行编码，对视频帧中像素块的这两种编码方式，其参考对象不同，冗余的去除程度也不同，因此，最后的编码效果也不同。因此在本实施例中，会提供更加多样的编码变换方式，更多编码顺序，并从中选择最优的进行候选，以提高编码性能。

可选地，处理设备可以是具有编码功能的编码端。并且可以是通过处理模块对待编码的视频帧进行帧变换，在进行帧变换时，可以从多种帧变换模式和/或组合变换模式中选择最小率失真的一种作为变换模式进行帧变换，并在完成帧变换后，可以对经过帧变换后的视频帧进行编码，得到编码码流，或者是对经过帧变换后的视频帧和变换模式进行编码，得到编码码流。而且在进行帧变换时，可以选择至少一种帧变换模式进行帧变换，也可以选择多种帧变换模式进行组合后形成的组合变换模式，共同对视频帧进行帧变换。而且在选择多种帧变换模式时，可以选择相同的帧变换模式，也可以选择不同的帧变换模式。

可选地，帧变换模式可以包括几何变换、下采样、上采样、线性变换、非线性变换和滤波处理中的至少一种；可选地，所述几何变换包括水平翻转、垂直翻转、180度翻转、左旋90度、右旋90度、旋转预设角度中的至少一种；所述非线性变换包括神经网络变换、高阶变换和神经网络的变形中的至少一种；所述线性变换包括基于线性变换公式进行的图像处理模式。

并且需要说明的是，本实施例中的帧变换模式并不仅仅局限于上述的几何变换、下采样、上采样、线性变换和非线性变换等，在本实施例中仅仅是进行举例说明的。

可选地，滤波处理可以包括SAO（Sample Adaptive Offset，样本自适应补偿）、DeblockingFilter（dbf，去块滤波）、ALF（Adaptive Loop Filter，自适应环路滤波）、基于神经网络的滤波等。并且，dbf用于去除分块编码产生的块边界效应；SAO通过基于样本的像素值和周围块的梯度值进行分类，对于每个类别的像素值加上不同的补偿值，使得重建图像更接近于原始图像；ALF通过维纳滤波器，对重建图像进行增强滤波，使得重建图像更接近于原始图像。可选地，在对待编码的视频帧进行滤波处理时，可以是根据预设的调整滤波系数对待编码的视频帧中的像素点进行滤波调整处理。

可选地，如图4所示，假设在编码图像中存在待编码的视频帧，且图像尺寸为832x480，即W=832，H=480，图像格式可以为YUV=4：2：0的格式。若需要通过至少一种帧变换模式对待编码的视频帧进行变换处理，且帧变换模式是几何变换，且是几何变换中的水平翻转，则对图4中的视频帧进行水平翻转后，得到如图5所示的视频帧。在进行水平翻转时，参照图6，对像素点A、B、C进行水平翻转。并且在进行水平翻转时，若输为宽W=832，高H=480的图像，则其左上、右上、左下、右下坐标分别为(0,0)、(0,831)、(479,0)和(479,831)；在进行水平翻转时，可以对第一行图像进行水平翻转，即H=0，交换所有(0,x)与(0,831-x)图像对，即x=0至x=415。并且对于图像中的所有行都可以进行相同的水平翻转操作。

可选地，若需要通过至少一种帧变换模式对待编码的视频帧进行变换处理，且帧变换模式是几何变换，且是几何变换中的垂直翻转，则对图4中的视频帧进行垂直翻转后，得到如图7所示的视频帧。在进行垂直翻转时，可以参照图8，对像素点A、B、C进行垂直翻转。

可选地，若需要通过至少一种帧变换模式对待编码的视频帧进行变换处理，且帧变换模式是几何变换，且是几何变换中的左旋90度，即左旋转90度，此时可以对图4中的视频帧进行左旋转90度，得到如图9所示的视频帧。在进行左旋90度时，可以参照图10，对像素点A、B、C进行左旋90度的翻转。

可选地，若需要通过至少一种帧变换模式对待编码的视频帧进行变换处理，且帧变换模式是几何变换，且是几何变换中的右旋90度，即右旋转90度，此时可以对图4中的视频帧进行右旋转90度，得到如图11所示的视频帧。在进行右旋90度时，可以参照图12，对像素点A、B、C进行左旋90度的翻转。

可选地，若需要通过至少一种帧变换模式对待编码的视频帧进行变换处理，且帧变换模式是几何变换，且是几何变换中的旋转180度，此时可以对图4中的视频帧进行旋转180度，得到如图13所示的视频帧。在进行旋转180度时，可以参照图14，对像素点A、B、C进行旋转180度的翻转。

可选地，若需要通过至少一种帧变换模式对待编码的视频帧进行变换处理，且帧变换模式是下采样，此时可以对图4中的视频帧进行下采样，如进行1/2下采样，得到图15所示的视频帧，此时视频帧的图像尺寸由832x480变为416x240。在进行下采样时，可以参照图16，对像素点A、B、C进行下采样处理。可选地，上采样与下采样的方式相反。

可选地，若需要通过至少一种帧变换模式对待编码的视频帧进行变换处理，且帧变换模式是非线性变换，如基于神经网络的变换，此时可以参照如图17所示，输入图像到神经网络进行模型训练，输出得到变换图像，可选地，神经网络可以包括卷积层和残差网络ResNet。并且在对图像进行非线性变换时，可以是将待编码的视频帧输入到神经网络中。可选地，三层卷积神经网络(Convolutional Neural Network, CNN)依次对输入图像进行卷积，输出中间图像。该三层卷积层可拥有不同卷积核大小的，也可拥有相同大小的卷积核及其他参数。将中间图像输入到三个残差网络（Residual Neural Network, ResNet），该三个ResNet可以拥有相同或不同的参数。可选地，在拥有不同的参数时，可能拥有更佳的变换效果，即达到更好的编码效果，也即产出的图像更适合编码。将ResNet网络的输出结果，输入进3层卷积层依次对输入图像进行卷积，输出最终的变换图像。该三层卷积层可拥有不同卷积核大小的，也可拥有相同大小的卷积核及其他参数。

可选地，在需要通过至少一种帧变换模式对待编码的视频帧进行变换处理，且帧变换模式是线性变换时，假设原始输入图像为YUV4:4:4的输入信号，即每一像素均由YUV三色按照1:1:1构成，则线性变换的一种方式可以公式化如下：

即对图像按照线性变换公式进行处理，也可以根据上述公式进行逆变换处理，在此不做处理。可选地，YUV可以是指一个亮度分量图像和两个色度分量图像。

可以是经过帧变换后的亮度分量图像和色度分量图像。

、

、

和

可以是常数。

可选地，参照图18，可以将输入视频帧进行分割为块操作，得到多个像素块，并对每个像素块通过帧变换模块进行帧变换处理，再将变换后的视频帧输入至后续的”变换”，”量化”，”帧内预测”，”帧间编码”，”逆量化”，”逆变换”、“环路滤波”等模块，并对量化模块处理后的视频帧进行熵编码，输出比特01011100等。而且会根据环路滤波处理后得到的视频帧与经过帧变换处理后的视频帧进行运动估计，得到运动信息，根据运动信息进行帧间预测。可选地，在编码端，视频帧被输入到”帧处理模块”，该模块执行某种选择规则后，对帧进行几何变换、下采样、线性变换、非线性变换、预滤波处理（滤波处理情况下，可能没有模式信息）中的一种或者多种操作后，输出变换后的帧。变换后的帧将输入进后续的”变换”，”量化”，”帧内预测”，”帧间编码”，”逆量化”，”逆变换”等模块。上述处理结果输入进”帧逆变换”模块，进行逆几何变换、上采样、滤波处理等后输出解码图像。可选地，环路滤波可以视作帧逆变换模块的一部分。可选地，在解码端，读取码流，解析出变换模式信息（滤波情况下，可能没有模式信息）；对视频流进行”逆量化”,”逆变换”,”帧间预测”,”帧内预测”等，解码出视频帧（编码端变换后的）；根据模式信息对上述视频帧进行”帧逆变换”，包括逆几何变换、上采样、滤波处理等后输出解码图像。可选地，环路滤波可以视作帧逆变换模块的一部分。

可选地，多种帧变换模式进行组合后的组合变换模式。

可选地，由于帧变换模式可以包括几何变换、下采样、上采样、线性变换、非线性变换和滤波处理中的至少一种；可选地，所述几何变换包括水平翻转、垂直翻转、180度翻转、左旋90度、右旋90度、旋转预设角度中的至少一种；所述非线性变换包括神经网络变换、高阶变换和神经网络的变形中的至少一种；所述线性变换包括基于线性变换公式进行的图像处理模式。因此，在对多种帧变换模式进行组合后得到的组合变换模式就可以包括几何变换、下采样、上采样、线性变换、非线性变换和滤波处理中的至少两项进行任意组合后的模式。例如，组合变换模式可以是水平翻转、下采样和神经网络变换。还可以是垂直翻转和下采样等。

可选地，帧变换模式和/或多种帧变换模式进行组合后的组合变换模式的获取或者确定方式，包括以下至少一项：

方式一：获取或者确定至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式；

可选地，在对待编码的视频帧进行处理前，可以先确定处理方式。若处理方式是通过至少一种帧变换模式对待编码的视频帧进行图像处理，则可以先获取或者确定至少一种帧变换模式。而且获取或者确定的方式可以是在预设的多个帧变换模式中筛选出需要用到的帧变换模式，如水平翻转、下采样等。并对筛选的帧变换模式进行获取或者确定。

可选地，在对待编码的视频帧进行处理前，可以先确定处理方式。若处理方式是通过一组或多组组合变换模式对待编码的视频帧进行图像处理，则可以先构建一组或多组组合变换模式。并且在构建组合变换模式时，可以先确定待构建的组合变换模式需要包括多少种帧变换模式，并在预设的多个帧变换模式中进行筛选。再按照预设的组合顺序，对筛选得到的多个帧变换模式进行组合，得到组合后的组合变换模式。例如，若待构建的组合变换模式需要包括下采样、水平翻转和线性变换，则可以在预设的多个帧变换模式中筛选出下采样、水平翻转和线性变换这三种帧变换模式，并且在进行组合时，可以随意组合，也可以按照一定的顺序对下采样、水平翻转和线性变换这三种帧变换模式，以得到组合变换模式。

可选地，在对待编码的视频帧进行处理前，可以先确定处理方式。若处理方式是通过至少一种变换模式和多种帧变换模式进行组合后的组合变换模式共同对待编码的视频帧进行图像处理，则可以获取或者确定帧变换模式，以及组合变换模式。在获取或者确定帧变换模式时，可以是在预设的多个帧变换模式进行筛选。在获取或者确定组合变换模式时，可以是先确定待构建的组合变换模式需要包括多少种帧变换模式，并在预设的多个帧变换模式中进行筛选。再按照预设的组合顺序，对筛选得到的多个帧变换模式进行组合，得到组合后的组合变换模式。

方式二：基于预设规则获取或者确定至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式；

方式三：在待编码的视频帧为特定格式的视频帧时，获取或者确定所述特定格式对应的至少一种帧变换模式和/或组合变换模式；

方式四：在待编码的视频帧中的特定类型信号值大于预设信号值时，获取或者确定至少包括非线性变换和/或滤波处理中的至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式；

方式五：在待编码的视频帧对应的编码参数小于预设参数值，且待编码的视频帧对应的分辨率大于或等于预设阈值时，获取或者确定至少包括下采样的至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式；

可选地，预设规则可以是用户基于自身的需求进行设置的任意规则，例如选择图像处理效果最好的帧变换模式等。并且在对待编码的视频帧进行处理前，可以先确定处理方式。若处理方式是通过至少一种帧变换模式对待编码的视频帧进行图像处理，则可以先根据预设规则在预设的多个帧变换模式中获取或者确定至少一种帧变换模式。例如在预设的多个帧变换模式中选择帧变换效果最好的帧变换模式。

可选地，预设规则可以包括以下至少一项：在待编码的视频帧为特定格式的视频帧时，获取或者确定特定格式对应的至少一种帧变换模式和/或组合变换模式。例如，对特定格式的视频帧进行帧变换处理时，若视频帧为高分辨视频帧4K或8K，且是YUV格式的视频帧，则可以对视频帧进行下采样处理。特定格式可以是YUV格式或者RGB格式等。

在待编码的视频帧中的特定类型信号值大于预设信号值时，获取或者确定非线性变换或滤波处理中的至少一种，或者是获取或者确定至少包括线性变换或滤波处理中至少一种的组合变换模式和/或帧变换模式序列。可选地，非线性变换可以包括神经网络变换。特定类型信号可以是数字信号，模拟信号，还可以是亮度信号，色度信号等。预设信号值可以是提前设置的信号阈值。

在待编码的视频帧对应的编码参数小于预设参数值，且待编码的视频帧对应的分辨率大于或等于预设阈值时，获取或者确定模式类型为下采样的帧变换模式，或者是获取或者确定包含有下采样的组合变换模式和/或帧变换模式序列。编码参数可以是码率等。预设参数值可以是提前设置的参数阈值。预设阈值可以是提前设置的分辨率阈值。

例如，若待编码的视频帧需要进行n次的图像处理，即帧变换，在每次帧变换的过程中，可以有k种可供选择的图像处理模式，每一种图像处理模式都可以是简单或复杂的帧变换，包括但不限于水平翻转、垂直翻转、180度翻转、左旋90度、右旋90度、下采样、上采样、线性变换和非线性变换等。并且在本实施例中图像处理模式本身至少包括一种帧变换模式，即可以是一种帧变换模式，也可以是多种帧变换模式进行任意组合后的组合变换模式。例如，如图19所示，若待编码的视频帧F需要进行帧变换T1到帧变换Tn次的图像处理。则在帧变换T1时，模式选择1模块根据输入的视频帧F，以预设规则在模式1、模式2...模式k中选择一个或多个模式进行帧变换，输出得到

，即

。同理，T2...Tn也执行类似的过程。如，将经过帧变换处理后的视频帧

输入至模式选择模块n中，模式选择模块n以预设规则在模式1、模式2...模式k中选择一个或多个模式进行帧变换，输出得到

。

可选地，若需要通过一组或多组由多种帧变换模式进行组合后的组合变换模式对待编码的视频帧进行图像处理时，可以先构建多组组合变换模式，并根据预设规则在提前构建好的多组组合变换模式中选择一组或多组组合变换模式，以对待编码的视频帧进行图像处理。并且在构建组合变换模式时，可以先确定待构建的组合变换模式需要包括多少种帧变换模式，并在预设的多个帧变换模式中进行筛选。再按照预设的组合顺序，对筛选得到的多个帧变换模式进行组合，得到组合后的组合变换模式。或者是直接根据预设规则在预设的多种帧变换模式中选择多种帧变换模式进行组合，得到组合后的组合变换模式。

可选地，若需要通过至少一种帧变换模式和多种帧变换模式进行组合后的组合变换模式对待编码的视频帧进行图像处理时，可以基于预设规则在预设的多个帧变换模式中获取或者确定一种或多种帧变换模式。还可以基于预设规则在提前构建好的多组组合变换模式中选择一组组合变换模式。或者是根据预设规则在预设的多种帧变换模式中选择一部分帧变换模式进行组合，得到组合变换模式。

方式六：获取或者确定最小率失真的帧变换模式和/或多种帧变换模式进行组合后的组合变换模式。

可选地，在对待编码的视频帧进行图像处理前，可以在提前设置的多种帧变换模式中获取或者确定最小率失真的帧变换模式。即通过获取或者确定的帧变换模式对待编码的视频帧进行图像处理时，能达到最小率失真的效果。可选地，在对待编码的视频帧进行图像处理前，还可以是在由多种帧变换模式进行组合后的组合变换模式中获取或者确定最小率失真的组合变换模式。可选地，在对待编码的视频帧进行图像处理前，还可以是在多种帧变换模式和由多种帧变换模式进行组合后的组合变换模式中进行筛选，以得到最小率失真的帧变换模式，和/或，最小率失真的组合变换模式。

可选地，至少一种帧变换模式包括帧变换模式和/或帧变换模式序列。

可选地，所述帧变换模式序列中每个序列位内的帧变换模式是根据每个序列位对应的预设序列规则进行获取或者确定的；

可选地，在构建帧变换模式序列时，可以先确定待构建的帧变换模式序列中包括多少个序列位，并为每个序列位筛选出合适的帧变换模式，以构建得到帧变换模式序列。若帧变换模式序列包括水平翻转、下采样和滤波处理，则帧变换模式序列中包括三个序列位。并且在构建帧变换模式序列时，需要先确定每个序列位对应的预设序列规则，并根据预设序列规则在预设的多个帧变换模式中进行筛选，以得到该序列位对应的帧变换模式。并且每个序列位对应的预设序列规则可以相同也可以不同。

可选地，在对帧变换模式序列中每个序列位进行帧变换模式筛选时，可以同时根据每个序列位对应的预设序列规则在预设的多个帧变换模式中筛选出合适的帧变换模式，也可以异步进行筛选。

可选地，在至少一种帧变换模式包括帧变换模式时，帧变换模式的数量在此不做限制。

可选地，所述预设序列规则包括以下至少一项：

方式一：获取或者确定最小率失真的帧变换模式；

方式二：在待编码的视频帧为特定格式的视频帧时，获取或者确定所述特定格式对应的帧变换模式；

方式三：在待编码的视频帧中的特定类型信号大于预设信号值时，获取或者确定帧变换模式的模式类型为非线性变换或滤波处理中的至少一种；

方式四：在待编码的视频帧对应的编码参数小于预设参数值，且待编码的视频帧对应的分辨率大于或等于预设阈值时，获取或者确定模式类型为下采样的帧变换模式。

可选地，预设序列规则可以不局限于上述的预设序列规则，用户也可以根据实际需求自行进行设置调整。可选地，特定格式可以是YUV格式、RGB格式，或者其他视频帧格式。特定类型信号可以是数字信号、模拟信号、亮度信号、色度信号等类型的信号。预设信号值可以是提前设置的信号阈值。编码参数可以包括码率。预设参数值可以是提前设置的与编码参数类型一致的参数阈值。预设阈值可以是提前设置的分辨率阈值。

例如，若待构建的帧变换模式序列中存在三个序列位，第二个序列位对应的预设序列规则可以是获取或者确定最小率失真的帧变换模式（如水平翻转），第一个序列位和第三个序列位对应的预设序列规则相同，都是在待编码的视频帧对应的编码参数小于预设参数值，且待编码的视频帧对应的分辨率大于或等于预设阈值时，获取或者确定模式类型为下采样的帧变换模式。若此时待编码的视频帧对应的编码参数小于预设参数值，且对应的分辨率也大于预设阈值，此时构建的帧变换模式序列中第一序列位上的帧变换模式为下采样，第二序列位上的帧变换模式为水平翻转，第三个序列位上的帧变换模式为下采样。

在本实施例中，通过根据至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式确定或得到待编码的视频帧对应的编码码流。通过上述技术方案，能够根据帧变换模式和/或组合变换模式对待编码的视频帧进行图像处理，从而实现在对视频帧进行编码前，利用视频信号的非对称性进行图像处理，以实现后续在进行编码时获得编码增益，提高了视频编码的编码性能。

第二实施例

请参照图20，图20为本申请处理方法第一实施例中步骤S10的具体流程示意图。在本实施例中，基于任一上述实施例，处理方法的步骤S10，可以包括步骤：

S11：根据至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式对待编码的视频帧进行处理；

可选地，在对待编码的视频帧进行处理时，需要先确定视频帧需要进行几次处理，且每次处理的过程中需要进行几次帧变换。然后再根据至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式对待编码的视频帧进行一定数量的处理。

可选地，在对待编码的视频帧进行处理时，可以是根据至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式对一个完整的待编码的视频帧进行处理。还可以是先对待编码的视频帧进行分块处理，得到各个图像块，然后根据至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式对各个图像块中的一个或多个图像块进行处理。还可以是在待编码的视频帧包括多个片段时，对待编排的视频帧进行分片处理，得到各个片段，并通过至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式对一个或多个片段进行处理。还可以是先对待编码的视频帧进行分区处理，得到多个分区，然后再通过至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式对一个或多个分区进行处理。还可以是先对待编码的视频帧进行分块处理、分片处理和分区处理中的一种或多种处理后，再通过至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式进行处理。

可选地，步骤S11包括：根据至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式对待编码的视频帧进行至少一次图像处理。

可选地，可以在获取到至少一种帧变换模式之后，可以根据获取的至少一种帧变换模式对待编码的视频帧进行一次图像处理，也可以根据获取的至少一种帧变换模式对待编码的视频帧进行多次图像处理，并且在进行多次图像处理时，每次进行图像处理的帧变换模式可以相同，也可以不同。

可选地，可以在获取到一组或多组由多种帧变换模式进行组合后的组合变换模式之后，就通过组合变换模式对待编码的视频帧进行一次图像处理，或者进行多次图像处理，并且在进行多次图像处理时，每次进行图像处理的组合变换模式可以相同，也可以不同。例如，若需要对待编码的视频帧进行三次图像处理，且第一次图像处理可以是选择的组合变换模式A，第二次图像处理可以是选择的组合变换模式B，第三次图像处理可以是选择的组合变换模式C。可选地，组合变换模式A可以是水平翻转和下采样。组合变换模式B可以是神经网络变换、下采样和线性变换。组合变换模式C可以是下采样和水平翻转等。

可选地，可以在获取到至少一种帧变换模式和多种帧变换模式进行组合后的组合变换模式之后，就可以根据至少一种帧变换模式和组合变换模式共同对待编码的视频帧进行一次或多次图像处理，并且在进行多次图像处理时，每次进行处理时可以选择相同的帧变换模式和/或组合变换模式，也可以选择不同的帧变换模式和/或组合变换模式。可选地，在对视频帧进行图像处理时，可以将视频帧划分为多个像素块，然后对各个像素块进行图像处理，也可以直接对视频帧进行图像处理。

可选地，在待编码的视频帧至少需要根据至少一种帧变换模式进行图像处理时，若至少一种帧变换模式包括帧变换模式，则直接根据帧变换模式对待编码的视频帧进行图像处理。若至少一种帧变换模式包括帧变换模式序列，则根据帧变换模式序列中每个序列位上的帧变换模式依次对待编码的视频帧进行图像处理。

可选地，所述根据多种帧变换模式进行组合后的组合变换模式对待编码的视频帧进行至少一次图像处理，包括：

确定多种帧变换模式进行组合后的组合变换模式中包含的所有帧变换模式，并根据所述组合变换模式中包含的所有帧变换模式同时对待编码的视频帧进行至少一次图像处理。

可选地，在根据组合变换模式对待编码的视频帧进行至少一次图像处理时，可以根据组合变换模式中包含的所有帧变换模式同时对待编码的视频帧进行至少一次图像处理，例如，若组合变换模式包括下采样和水平翻转，则对待编码的视频帧进行图像处理时，会同时进行下采样和水平翻转。也可以根据组合变换模式中包含的所有帧变换模式异步非同时对待编码的视频帧进行至少一次图像处理。

可选地，步骤S11包括：

方式一：根据至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式对待编码的视频帧进行一次图像处理；

可选地，在对待编码的视频帧进行一次图像处理时，可以选择一种帧变换模式对待编码的视频帧进行一次图像处理。也可以选择帧变换模式序列对待编码的视频帧进行一次图像处理。还可以选择一种组合变换模式对待编码的视频帧进行一次图像处理。还可以选择多种组合变换模式对待编码的视频帧进行一次图像处理。还可以是选择至少一种帧变换模式和至少一种组合变换模式对待编码的视频帧进行一次图像处理。

可选地，在对待编码的视频帧进行一次图像处理时，若涉及到多个帧变换模式，或者涉及到多个组合变换模式，或者涉及到至少一个帧变换模式和组合变换模式，可以先设置一个变换顺序，再按照变换顺序选择合适的帧变换模式或组合变换模式对待编码的视频帧进行一次图像处理。

方式二：按照每一次选择的至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式依次对待编码的视频帧进行图像处理。

可选地，在需要对待编码的视频帧进行多次图像处理时，可以确定每一次对待编码的视频帧进行图像处理时所选择的帧变换模式和/或组合变换模式，根据每一次选择的帧变换模式和/或组合变换模式对待编码的视频帧进行图像处理。

可选地，若多次图像处理均是通过帧变换模式序列进行的，则可以按照帧变换模式序列中每个序列位上的帧变换模式依次对待编码的视频帧进行图像处理，如进行帧变换。

可选地，若多次图像处理均是通过帧变换模式进行的，则可以确定进行多次图像处理的图像处理顺序，并根据图像处理顺序依次选择合适的帧变换模式对待编码的视频帧进行图像处理。例如，如图21所示，可以对待编码的视频帧图像进行三次图像处理，并且每一次选择的都不相同。如第一次选择的是1/2下采样，第二次选择的是左旋转90度，第三次选择的是水平翻转。

可选地，若多次图像处理均是通过组合变换模式进行的，则可以确定提前设置好的图像处理顺序，并根据图像处理顺序选择组合变换模式对待编码的视频帧进行图像处理。

可选地，在对待编码的视频帧进行多次图像处理时，若多次图像处理包括通过帧变换模式进行的图像处理和通过组合变换模式进行图像处理，则可以确定提前设置好的图像处理顺序，并根据图像处理顺序选择帧变换模式和/或组合变换模式对待编码的视频帧进行图像处理。例如，若对待编码的视频帧进行三次图像处理，则第一次选择的可以是一种帧变换模式，第二次选择的可以是由多种帧变换模式进行组合后的组合变换模式，第三次选择的可以是一种帧变换模式。可选地，每一次选择的帧变换模式和/或组合变换模式的数量和类型在此不做限制。

可选地，在对待编码的视频帧进行多次图像处理时，也可以是根据帧变换模式、和/或帧变换模式序列、和/或组合变换模式按照图像处理顺序对待编码的视频帧进行图像处理。

S12：确定或得到经过图像处理后的视频帧对应的编码码流。

可选地，在对视频帧进行图像处理后，可以对经过图像处理后的视频帧进行编码，还可以是将图像处理对应的帧变换模式和/或组合变换模式与图像处理后的视频帧一起进行编码，以确定或者得到经过图像处理后的视频帧对应的编码码流。并可以将此编码码流基于预设的协议规则发送至解码端。

可选地，步骤S12包括以下至少一项：

方式一：对经过图像处理后的视频帧进行编码，确定或得到编码码流；

可选地，在获取到经过图像处理后的视频帧后，可以根据提前设置好的协议规则对经过图像处理后的视频帧进行编码，以确定或得到编码码流，并将编码码流发送至解码端，而且在发送解码端时，可以将图像处理对应的帧变换模式和/或组合变换模式和编码码流一起发送至解码端。

方式二：对经过图像处理后的视频帧、以及至少一种帧变换模式和/或组合变换模式进行编码，确定或得到编码码流；

可选地，在获取到经过图像处理后的视频帧后，可以根据提前设置好的协议规则对经过图像处理后的视频帧、以及至少一种帧变换模式（如帧变换模式和/或帧变换模式序列）和/或组合变换模式进行编码，以确定或得到编码码流，并将编码码流发送至解码端。而且在图像处理后的视频帧是经过多次图像处理时，可以选择一部分帧变换模式和/或组合变换模式与编码码流一起进行编码，以确定或得到编码码流。还可以是选择所有的帧变换模式和/或组合变换模式与编码码流一起进行编码，以确定或得到编码码流。并且在选择一部分帧变换模式和/或组合变换模式与编码码流一起进行编码时，可以在对视频帧进行图像处理的所有帧变换模式和/或组合变换模式中选择一部分，以便在后续和编码码流一起进行编码。

方式三：对经过图像处理后的视频帧和每一次进行图像处理对应的至少一种帧变换模式和/或组合变换模式进行编码，确定或得到编码码流；

可选地，在获取到经过图像处理后的视频帧后，可以根据提前设置好的协议规则对经过图像处理后的视频帧和每一次进行图像处理对应的至少一种帧变换模式和/或组合变换模式进行编码，以确定或得到编码码流，并将编码码流发送至解码端。例如，在对视频帧进行图像处理时，可以先对视频帧进行水平翻转，再进行下采样，得到经过图像处理后的视频帧，再将下采样、水平翻转和经过图像处理后的视频帧一起进行编码，以确定或得到编码码流。

方式四：对经过图像处理后的视频帧、每一次进行图像处理对应的至少一种帧变换模式和/或组合变换模式、和所述图像处理对应的图像处理顺序进行编码，确定或得到编码码流。

可选地，在获取到经过图像处理后的视频帧后，若视频帧是经过多次图像处理的，则需要获取每次进行图像处理的至少一种帧变换模式和/或组合变换模式，以及对视频帧进行图像处理的先后顺序，并将其作为图像处理顺序，然后对经过图像处理后的视频帧、每一次进行图像处理对应的至少一种帧变换模式和/或组合变换模式和图像处理顺序进行编码，以确定或得到编码码流，再将编码码流发送至解码端。

在本实施例中，通过根据至少一种帧变换模式和/或组合变换模式对待编码的视频帧进行处理，确定或得到经过图像处理后的视频帧对应的编码码流，从而可以实现根据图像处理利用视频帧的非对称性来提高视频编码的编码性能。

第三实施例

请参照图22，图22为本申请处理方法第三实施例的流程示意图。在本实施例中，本申请处理方法可应用于处理设备（如服务器或智能终端），包括以下步骤：

S20：根据至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式和/或至少一个码流，确定或得到解码视频帧。

可选地，在处理设备为解码端时，若接收到一个码流，比如编码端发送的编码码流之后，就可以对该码流进行处理，以确定或得到解码视频帧，如对码流进行解码，得到解码视频帧。或者对码流进行解码后，再进行帧变换，得到解码视频帧。

可选地，在处理设备接收到至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式，比如编码端发送的至少一种帧变换模式和/或组合变换模式，此时就可以获取至少一种帧变换模式和/或组合变换模式对应的解码视频帧。比如可以在第三方设备中下载与至少一种帧变换模式和/或组合变换模式对应的解码视频帧。或者是根据至少一种帧变换模式和/或组合变换模式对自身存储的码流进行解码，以确定或得到解码视频帧。或者是根据至少一种帧变换模式和/或组合变换模式在已解码的所有视频帧中找到与至少一种帧变换模式和/或组合变换模式对应的解码视频帧。

可选地，在处理设备接收到至少一种帧变换模式和/或组合变换模式和至少一个码流时，可以对码流进行解码，并通过至少一种帧变换模式和/或组合变换模式对解码后的数据进行图像处理，以确定或得到解码视频帧。

可选地，帧变换模式可以包括几何变换、下采样、上采样、线性变换、非线性变换和滤波处理中的至少一种；可选地，所述几何变换包括水平翻转、垂直翻转、180度翻转、左旋90度、右旋90度、旋转预设角度中的至少一种；所述非线性变换包括神经网络变换、高阶变换和神经网络的变形中的至少一种；所述线性变换包括基于线性变换公式进行的图像处理模式。

并且需要说明的是，本实施例中的帧变换模式并不仅仅局限于上述的几何变换、下采样、上采样、线性变换、非线性变换等，在本实施例中仅仅是进行举例说明的。

可选地，由于帧变换模式可以包括几何变换、下采样、上采样、线性变换、非线性变换等中的至少一种；可选地，所述几何变换包括水平翻转、垂直翻转、180度翻转、左旋90度、右旋90度、旋转预设角度中的至少一种；所述非线性变换包括神经网络变换、高阶变换和神经网络的变形中的至少一种；所述线性变换包括基于线性变换公式进行的图像处理模式。因此，在对多种帧变换模式进行组合后得到的组合变换模式就可以包括几何变换、下采样、上采样、线性变换、非线性变换和滤波处理中的至少两项进行任意组合后的模式。例如，组合变换模式可以是水平翻转、下采样和神经网络变换。还可以是垂直翻转和下采样等。

在本实施例中，通过根据至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式和/或至少一个码流确定或得到解码视频帧，从而可以实现通过至少一种帧变换模式和/或组合变换模式提高解码视频帧的性能。

第四实施例

在本实施例中，基于上述第一至第三任一实施例，所述至少一种帧变换模式包括帧变换模式和/或帧变换模式序列。和/或，本申请处理方法还可以包括以下至少一项处理方式：

处理方式一：对所述码流进行解码，确定或得到经过图像处理后的视频帧和/或至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式；

可选地，在获取到码流之后，可以根据协议对码流进行解码，以确定或得到经过图像处理后的视频帧和/或至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式。并且可以是在得到经过图像处理后的视频帧后，就根据帧变换模式、和/或帧变换模式序列、和/或组合变换模式对视频帧进行图像处理，如帧的逆变换，以恢复得到解码视频帧。例如，若在编码端分别经过1/2下采样、左旋转90度和水平翻转的图像处理，得到图像处理后的视频帧，并进行编码发送给解码端，在解码端进行解码发现存在1/2下采样、左旋转90度和水平翻转的帧变换模式，以及图像处理后的视频帧。此时在解码端就可以通过水平翻转、左旋转90度和2倍上采样对经过图像处理后的视频帧进行图像处理，帧恢复，以得到解码视频帧。

处理方式二：对所述码流进行解码，确定或得到经过图像处理后的视频帧、图像处理顺序、以及至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式。

可选地，在获取到码流之后，可以根据协议对码流进行解码，以确定或得到经过图像处理后的视频帧、至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式和图像处理顺序。并且可以是在得到经过图像处理后的视频帧后，确定图像处理顺序对应的逆顺序。例如，若图像处理顺序是ABC，那么图像处理顺序对应的逆顺序则是CBA。此时可以按照图像处理顺序对应的逆顺序、以及帧变换模式、和/或帧变换模式序列、和/或组合变换模式对经过图像处理后的视频帧再次进行图像处理，以确定或得到解码视频帧。或者，直接按照图像处理顺序、以及帧变换模式、和/或帧变换模式序列、和/或组合变换模式对经过图像处理后的视频帧再次进行图像处理，以确定或得到解码视频帧。

在本实施例中，通过对码流进行解码，得到经过图像处理后的视频帧和/或帧变换模式、和/或帧变换模式序列、和/或组合变换模式，或者还可以得到图像处理顺序，从而可以保障解码端能获取到至少一个视频帧。

第五实施例

在本实施例中，基于上述任一实施例，处理方法的步骤S20，可以为以下方式：

方式一：将经过图像处理后的视频帧作为解码视频帧；

可选地，在对码流进行解码得到经过图像处理后的视频帧，并将此视频帧直接作为解码视频帧。

方式二：根据至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式对经过图像处理后的视频帧进行逆处理，得到解码视频帧；

可选地，在对码流进行解码，发现存在至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式、以及经过图像处理后的视频帧时，此时就可以通过帧变换模式、和/或帧变换模式序列、和/或组合变换模式对经过图像处理后的视频帧进行逆处理。例如，若解码后得到下采样，则逆处理可以是通过上采样对经过图像处理后的视频帧进行恢复，以得到解码视频帧。此外，也可以是在解码后得到的至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式中选择一部分模式对经过图像处理后的视频帧进行逆处理，得到解码视频帧。例如，若在编码端是通过水平翻转和下采样对视频帧进行图像处理的，那在解码端对经过图像处理后的视频帧进行恢复时，可以选择水平翻转和下采样中的至少一种进行恢复。也可以直接将解码后得到的经过图像处理后的视频帧作为解码视频帧。

可选地，在通过帧变换模式、和/或帧变换模式序列、和/或组合变换模式对经过图像处理后的视频帧进行逆处理时，可以是通过帧变换模式、和/或帧变换模式序列、和/或组合变换模式对经过图像处理后的视频帧中的一个或多个图像块进行逆处理。还可以是通过帧变换模式、和/或帧变换模式序列、和/或组合变换模式对经过图像处理后的视频帧中的一个或多个分区进行逆处理。还可以是通过帧变换模式、和/或帧变换模式序列、和/或组合变换模式对经过图像处理后的视频帧中的一个或多个片段进行逆处理。还可以是通过帧变换模式、和/或帧变换模式序列、和/或组合变换模式对经过图像处理后的视频帧中的片段和/或分区和/或图像块进行逆处理。

方式三：根据至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式、以及图像处理顺序对经过图像处理后的视频帧进行逆处理，得到解码视频帧。

可选地，在对码流进行解码，发现存在至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式、图像处理顺序，以及经过图像处理后的视频帧时，此时就可以通过帧变换模式、和/或帧变换模式序列、和/或组合变换模式按照图像处理顺序对应的逆顺序对经过图像处理后的视频帧进行逆处理。可选地，逆处理可以是对经过图像处理后的视频帧进行恢复。例如，若图像处理顺序是先左旋90度，再进行下采样。那么对经过图像处理后的视频帧进行逆处理的过程可以是上采样、右旋90度。并将经过逆处理后的视频帧作为解码视频帧。可选地，在通过帧变换模式、和/或帧变换模式序列、 和/或组合变换模式按照图像处理顺序对应的逆顺序对经过图像处理后的视频帧进行逆处理时，同样可以是对经过图像处理后的视频帧中的片段和/或分区和/或图像块进行逆处理。

在本实施例中，通过将经过图像处理后的视频帧作为解码视频帧，或根据帧变换模式、和/或帧变换模式序列、和/或组合变换模式进行逆处理，得到解码视频帧，或根据帧变换模式、和/或帧变换模式序列、和/或组合变换模式、以及图像处理顺序对图像处理后的视频帧进行逆处理，得到解码视频帧，从而保障了获取到的解码视频帧的有效性。

本申请实施例还提供一种处理装置，请参照图23，图23为本申请处理装置的功能模块示意图，可设置于处理设备或者就是处理设备，本申请处理装置包括：

编码模块A10，用于根据至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式，确定或得到待编码的视频帧对应的编码码流。

可选地，所述帧变换模式和/或多种帧变换模式进行组合后的组合变换模式的获取或者确定方式，包括以下至少一项：

获取或者确定至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式；

基于预设规则获取或者确定至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式；

在待编码的视频帧为特定格式的视频帧时，获取或者确定所述特定格式对应的至少一种帧变换模式和/或组合变换模式；

在待编码的视频帧中的特定类型信号值大于预设信号值时，获取或者确定至少包括非线性变换和/或滤波处理中的至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式；

在待编码的视频帧对应的编码参数小于预设参数值，且待编码的视频帧对应的分辨率大于或等于预设阈值时，获取或者确定至少包括下采样的至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式；

获取或者确定最小率失真的帧变换模式和/或多种帧变换模式进行组合后的组合变换模式。

可选地，所述至少一种帧变换模式包括帧变换模式和/或帧变换模式序列。

可选地，所述帧变换模式序列中每个序列位内的帧变换模式是根据每个序列位对应的预设序列规则进行获取或者确定的。

可选地，所述预设序列规则包括以下至少一项：

获取或者确定最小率失真的帧变换模式；

在待编码的视频帧为特定格式的视频帧时，获取或者确定所述特定格式对应的帧变换模式；

在待编码的视频帧中的特定类型信号大于预设信号值时，获取或者确定帧变换模式的模式类型为非线性变换或滤波处理中的至少一种；

在待编码的视频帧对应的编码参数小于预设参数值，且待编码的视频帧对应的分辨率大于或等于预设阈值时，获取或者确定模式类型为下采样的帧变换模式。

可选地，编码模块A10，还用于：

根据至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式对待编码的视频帧进行处理；

确定或得到经过图像处理后的视频帧对应的编码码流。

可选地，编码模块A10，还用于：

根据至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式对待编码的视频帧进行至少一次图像处理。

可选地，所述根据多种帧变换模式进行组合后的组合变换模式对待编码的视频帧进行至少一次图像处理，包括：

确定多种帧变换模式进行组合后的组合变换模式中包含的所有帧变换模式，并根据所述组合变换模式中包含的所有帧变换模式同时对待编码的视频帧进行至少一次图像处理。

可选地，编码模块A10，还用于：

根据至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式对待编码的视频帧进行一次图像处理；或，

按照每一次选择的至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式依次对待编码的视频帧进行图像处理。

可选地，编码模块A10，还用于：

对经过图像处理后的视频帧进行编码，确定或得到编码码流；

对经过图像处理后的视频帧、以及至少一种帧变换模式和/或组合变换模式进行编码，确定或得到编码码流；

对经过图像处理后的视频帧和每一次进行图像处理对应的至少一种帧变换模式和/或组合变换模式进行编码，确定或得到编码码流；

对经过图像处理后的视频帧、每一次进行图像处理对应的至少一种帧变换模式和/或组合变换模式、和所述图像处理对应的图像处理顺序进行编码，确定或得到编码码流。

本申请实施例还提供一种处理装置，参照图24，本申请处理装置包括：

解码模块A20，用于根据至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式和/或至少一个码流，确定或得到解码视频帧。

可选地，所述至少一种帧变换模式包括帧变换模式和/或帧变换模式序列。

可选地，解码模块A20还用于以下至少一项：

对所述码流进行解码，确定或得到经过图像处理后的视频帧和/或至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式；

对所述码流进行解码，确定或得到经过图像处理后的视频帧、图像处理顺序、以及至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式。

可选地，解码模块A20还用于以下至少一项：

将经过图像处理后的视频帧作为解码视频帧；

根据至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式对经过图像处理后的视频帧进行逆处理，得到解码视频帧；

根据至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式、以及图像处理顺序对经过图像处理后的视频帧进行逆处理，得到解码视频帧。

可选地，上述处理装置中各个模块的功能实现，与上述处理方法实施例中各步骤相对应，其功能和实现过程在此处不再一一赘述。

本申请实施例还提供一种处理设备，包括存储器、处理器，存储器上存储有处理程序，处理程序被处理器执行时实现上述任一实施例中的处理方法的步骤。

本申请实施例还提供一种存储介质，存储介质上存储有处理程序，处理程序被处理器执行时实现上述任一实施例中的处理方法的步骤。

在本申请提供的图像处理设备和存储介质的实施例中，可以包含任一上述处理方法实施例的全部技术特征，说明书拓展和解释内容与上述方法的各实施例基本相同，在此不再做赘述。

本申请实施例还提供一种计算机程序产品，计算机程序产品包括计算机程序代码，当计算机程序代码在计算机上运行时，使得计算机执行如上各种可能的实施方式中的方法。

本申请实施例还提供一种芯片，包括存储器和处理器，存储器用于存储计算机程序，处理器用于从存储器中调用并运行计算机程序，使得安装有芯片的设备执行如上各种可能的实施方式中的方法。

可以理解，上述场景仅是作为示例，并不构成对于本申请实施例提供的技术方案的应用场景的限定，本申请的技术方案还可应用于其他场景。例如，本领域普通技术人员可知，随着系统架构的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。

本申请实施例设备中的单元可以根据实际需要进行合并、划分和删减。

在本申请中，对于相同或相似的术语概念、技术方案和/或应用场景描述，一般只在第一次出现时进行详细描述，后面再重复出现时，为了简洁，一般未再重复阐述，在理解本申请技术方案等内容时，对于在后未详细描述的相同或相似的术语概念、技术方案和/或应用场景描述等，可以参考其之前的相关详细描述。

在本申请中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本申请技术方案的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本申请记载的范围。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，被控终端，或者网络设备等)执行本申请每个实施例的方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络，或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线）或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，（例如，软盘、存储盘、磁带）、光介质（例如，DVD），或者半导体介质（例如固态存储盘Solid State Disk (SSD)）等。

以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种处理方法，其特征在于，包括以下步骤：

S10： 根据至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式，确定或得到待编码的视频帧对应的编码码流。

2.如权利要求1所述的方法，其特征在于，所述至少一种帧变换模式包括帧变换模式和/或帧变换模式序列；和/或，所述帧变换模式和/或多种帧变换模式进行组合后的组合变换模式的获取或者确定方式，包括以下至少一项：

获取或者确定至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式；

基于预设规则获取或者确定至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式；

在待编码的视频帧为特定格式的视频帧时，获取或者确定所述特定格式对应的至少一种帧变换模式和/或组合变换模式；

在待编码的视频帧中的特定类型信号值大于预设信号值时，获取或者确定至少包括非线性变换和/或滤波处理中的至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式；

在待编码的视频帧对应的编码参数小于预设参数值，且待编码的视频帧对应的分辨率大于或等于预设阈值时，获取或者确定至少包括下采样的至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式；

获取或者确定最小率失真的帧变换模式和/或多种帧变换模式进行组合后的组合变换模式。

3.如权利要求1或2所述的方法，其特征在于，所述步骤S10，包括步骤：

S11：根据至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式对待编码的视频帧进行处理；

S12：确定或得到经过图像处理后的视频帧对应的编码码流。

4.如权利要求3所述的方法，其特征在于，所述步骤S11包括以下至少一项：

根据至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式对待编码的视频帧进行至少一次图像处理；

按照每一次选择的至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式依次对待编码的视频帧进行图像处理。

5.如权利要求3所述的方法，其特征在于，所述步骤S12包括以下至少一项：

对经过图像处理后的视频帧进行编码，确定或得到编码码流；

对经过图像处理后的视频帧、以及至少一种帧变换模式和/或组合变换模式进行编码，确定或得到编码码流；

对经过图像处理后的视频帧和每一次进行图像处理对应的至少一种帧变换模式和/或组合变换模式进行编码，确定或得到编码码流；

对经过图像处理后的视频帧、每一次进行图像处理对应的至少一种帧变换模式和/或组合变换模式、和所述图像处理对应的图像处理顺序进行编码，确定或得到编码码流。

6.一种处理方法，其特征在于，包括以下步骤：

S20：根据至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式和/或至少一个码流，确定或得到解码视频帧。

7.如权利要求6所述的方法，其特征在于，所述至少一种帧变换模式包括帧变换模式和/或帧变换模式序列；和/或，所述方法还包括以下至少一项：

对所述码流进行解码，确定或得到经过图像处理后的视频帧和/或至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式；

对所述码流进行解码，确定或得到经过图像处理后的视频帧、图像处理顺序、以及至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式。

8.如权利要求6或7所述的方法，其特征在于，所述步骤S20包括以下至少一项：

将经过图像处理后的视频帧作为解码视频帧；

根据至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式对经过图像处理后的视频帧进行逆处理，得到解码视频帧；

根据至少一种帧变换模式和/或多种帧变换模式进行组合后的组合变换模式、以及图像处理顺序对经过图像处理后的视频帧进行逆处理，得到解码视频帧。

9.一种处理设备，其特征在于，包括：存储器、处理器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至8中任一项所述处理方法的步骤。

10.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述处理方法的步骤。

Images