CN115842920A - 图像处理方法、装置、设备、存储介质及程序产品 - Google Patents

Abstract

本申请实施例提供一种图像处理方法、装置、设备、存储介质及程序产品。该方法包括：获取待解码的第一图像片，第一图像片为待解码视频中的第一图像帧中的图像片，第一图像片中包括至少一个图像预测单元；确定第一图像片的片类型，片类型包括I类型、P类型和B类型；在第一图像片为P类型或者B类型时，若第一图像片缺失参考帧，则确定第一图像片的参考帧的缺失类型，缺失类型为部分缺失或者全部缺失；根据第一图像片的参考帧的缺失类型，对第一图像片进行解码处理。提高了对图像片进行解码的可靠性。

Description

图像处理方法、装置、设备、存储介质及程序产品

技术领域

本申请实施例涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、设备、存储介质及程序产品。

背景技术

在视频发送端，可以通过帧内压缩方法和帧间压缩方法进行视频压缩。在视频接收端，可以通过帧内预测方法和帧间预测方法进行视频解压缩。

在帧间预测方法中，需要根据当前帧之前的参考帧对当前帧进行解码(解压缩)。在视频传输过程中，可能会丢失部分图像帧，使得某些图像帧的参考帧丢失。在相关技术中，在某图像帧的参考帧丢失时，通常跳过该图像帧的解码过程。然而，当丢失的图像帧较多时，通过上述方法可能会导致视频播放出现不连续或者卡顿的问题。由上可知，在相关技术中，对图像进行解码的可靠性较低。

发明内容

本申请实施例提供一种图像处理方法、装置、设备、存储介质及程序产品，用以解决对图像进行解码的可靠性较低的问题。

第一方面，本申请实施例提供一种图像处理方法，包括：

获取待解码的第一图像片，所述第一图像片为待解码视频中的第一图像帧中的图像片，所述第一图像片中包括至少一个图像预测单元；

确定所述第一图像片的片类型，所述片类型包括I类型、P类型和B类型；

在所述第一图像片为所述P类型或者所述B类型时，若所述第一图像片缺失参考帧，则确定所述第一图像片的参考帧的缺失类型，所述缺失类型为部分缺失或者全部缺失；

根据所述第一图像片的参考帧的缺失类型，对所述第一图像片进行解码处理。

在一种可能的实施方式中，根据所述第一图像片的参考帧的缺失类型，对所述第一图像片进行解码处理，包括：

若所述第一图像片的参考帧的缺失类型为全部缺失，则在缓存中确定已解码的目标图像帧，并根据所述目标图像帧对所述第一图像片进行解码处理；

若所述第一图像片的参考帧的缺失类型为部分缺失，则分别对所述第一图像片中的各个图像预测单元进行解码处理，以实现对所述第一图像片进行解码处理。

在一种可能的实施方式中，在缓存中确定已解码的目标图像帧，包括：

确定所述第一图像片所属的第一图像帧的第一图像序列号POC；

获取所述缓存中各图像帧的POC；

获取所述缓存中各图像帧的POC与所述第一POC的差值的绝对值；

将所述缓存中与所述第一POC的差值的绝对值最小的图像帧，确定为所述目标图像帧。

在一种可能的实施方式中，根据所述目标图像帧对所述第一图像片进行解码处理，包括：

确定所述第一图像片在所述第一图像帧中的第一位置；

根据所述第一位置，在所述目标图像帧中确定目标图像片；

将所述目标图像片中的内容，确定为所述第一图像片对应的解码结果。

在一种可能的实施方式中，针对所述第一图像片中的任意一个第一图像预测单元；对所述第一图像预测单元进行解码处理，包括：

获取所述第一图像预测单元的单元类型，所述单元类型包括帧内预测类型、单向帧间预测类型和双向帧间预测类型；

根据所述单元类型，对所述第一图像预测单元进行解码处理。

在一种可能的实施方式中，所述单元类型为所述帧内预测类型；根据所述单元类型，对所述第一图像预测单元进行解码处理，包括：

确定所述第一图像预测单元对应的参考图像预测单元；

若所述参考图像预测单元存在正确解码结果，则根据所述正确解码结果对所述第一图像预测单元进行解码处理；

若所述参考图像预测单元不存在正确解码结果，则确定所述第一图像预测单元的解码结果为预设解码结果，所述预设解码结果中各像素值为预设值。

在一种可能的实施方式中，所述单元类型为所述单向帧间预测类型；根据所述单元类型，对所述第一图像预测单元进行解码处理，包括：

若所述第一图像预测单元缺失参考帧，则确定所述第一图像预测单元的解码结果为预设解码结果，所述预设解码结果中各像素值为预设值；

若所述第一图像预测单元未缺失参考帧，则根据所述参考帧对所述第一图像预测结果进行解码处理。

在一种可能的实施方式中，所述单元类型为所述双向帧间预测类型；根据所述单元类型，对所述第一图像预测单元进行解码处理，包括：

若所述第一图像预测单元未缺失两个参考帧，则根据所述两个参考帧对所述第一图像预测单元进行解码处理；

若所述第一图像预测单元缺失第一参考帧、且未缺失第二参考帧，则将所述第二参考帧的权重设置为1，并根据所述第二参考帧对所述第一图像预测单元进行解码处理；

若所述第一图像预测单元缺失两个参考帧，确定所述第一图像预测单元的解码结果为预设解码结果，所述预设解码结果中各像素值为预设值。

在一种可能的实施方式中，所述第一图像片属于第一图像帧；根据所述第一图像片的参考帧的缺失类型，对所述第一图像片进行解码处理之后，还包括：

在获取得到所述第一图像帧中的各图像片的解码结果之后，根据各图像片在所述第一图像帧中的位置，对各图像片的解码结果进行拼接处理，得到解码后的所述第一图像帧；

在所述第一图像帧中确定第二图像预测单元，所述第二图像预测单元的解码结果为预设解码结果；

在所述第一图像帧中确定与所述第二图像预测单元相邻的第三图像预测单元，所述第三图像预测单元的解码结果不是所述预设解码结果；

根据所述第三图像预测单元，对所述第二图像预测单元进行像素填充处理，得到更新后的第一图像帧。

在一种可能的实施方式中，根据各图像片在所述第一图像帧中的位置，对各图像片的解码结果进行拼接处理，得到所述第一图像帧的解码之后，还包括：

将所述第一图像帧标记为错误图像帧，所述错误图像帧不作为其它图像帧的参考图像帧。

第二方面，本申请实施例提供一种图像处理装置，所述装置包括：获取模块、第一确定模块、第二确定模块、解码处理模块，其中，

所述获取模块用于，获取待解码的第一图像片，所述第一图像片为待解码视频中的第一图像帧中的图像片，所述第一图像片中包括至少一个图像预测单元；

所述第一确定模块用于，确定所述第一图像片的片类型，所述片类型包括I类型、P类型和B类型；

所述第二确定模块用于，在所述第一图像片为所述P类型或者所述B类型时，若所述第一图像片缺失参考帧，则确定所述第一图像片的参考帧的缺失类型，所述缺失类型为部分缺失或者全部缺失；

所述解码处理模块用于，根据所述第一图像片的参考帧的缺失类型，对所述第一图像片进行解码处理。

在一种可能的实施方式中，所述解码处理模块具体用于：

若所述第一图像片的参考帧的缺失类型为全部缺失，则在缓存中确定已解码的目标图像帧，并根据所述目标图像帧对所述第一图像片进行解码处理；

若所述第一图像片的参考帧的缺失类型为部分缺失，则分别对所述第一图像片中的各个图像预测单元进行解码处理，以实现对所述第一图像片进行解码处理。

在一种可能的实施方式中，所述解码处理模块具体用于：

确定所述第一图像片所属的第一图像帧的第一图像序列号POC；

获取所述缓存中各图像帧的POC；

获取所述缓存中各图像帧的POC与所述第一POC的差值的绝对值；

将所述缓存中与所述第一POC的差值的绝对值最小的图像帧，确定为所述目标图像帧。

在一种可能的实施方式中，所述解码处理模块具体用于：

确定所述第一图像片在所述第一图像帧中的第一位置；

根据所述第一位置，在所述目标图像帧中确定目标图像片；

将所述目标图像片中的内容，确定为所述第一图像片对应的解码结果。

在一种可能的实施方式中，针对所述第一图像片中的任意一个第一图像预测单元；所述解码处理模块具体用于：

获取所述第一图像预测单元的单元类型，所述单元类型包括帧内预测类型、单向帧间预测类型和双向帧间预测类型；

根据所述单元类型，对所述第一图像预测单元进行解码处理。

在一种可能的实施方式中，所述单元类型为所述帧内预测类型；所述解码处理模块具体用于：

确定所述第一图像预测单元对应的参考图像预测单元；

若所述参考图像预测单元存在正确解码结果，则根据所述正确解码结果对所述第一图像预测单元进行解码处理；

若所述参考图像预测单元不存在正确解码结果，则确定所述第一图像预测单元的解码结果为预设解码结果，所述预设解码结果中各像素值为预设值。

在一种可能的实施方式中，所述单元类型为所述单向帧间预测类型；所述解码处理模块具体用于：

若所述第一图像预测单元缺失参考帧，则确定所述第一图像预测单元的解码结果为预设解码结果，所述预设解码结果中各像素值为预设值；

若所述第一图像预测单元未缺失参考帧，则根据所述参考帧对所述第一图像预测结果进行解码处理。

在一种可能的实施方式中，所述单元类型为所述双向帧间预测类型；所述解码处理模块具体用于：

若所述第一图像预测单元未缺失两个参考帧，则根据所述两个参考帧对所述第一图像预测单元进行解码处理；

若所述第一图像预测单元缺失第一参考帧、且未缺失第二参考帧，则将所述第二参考帧的权重设置为1，并根据所述第二参考帧对所述第一图像预测单元进行解码处理；

若所述第一图像预测单元缺失两个参考帧，确定所述第一图像预测单元的解码结果为预设解码结果，所述预设解码结果中各像素值为预设值。

在一种可能的实施方式中，所述装置还包括拼接模块、第三确定模块、第四确定模块、填充处理模块，其中，

拼接模块用于，在获取得到所述第一图像帧中的各图像片的解码结果之后，根据各图像片在所述第一图像帧中的位置，对各图像片的解码结果进行拼接处理，得到解码后的所述第一图像帧。

第三确定模块用于，在所述第一图像帧中确定第二图像预测单元，所述第二图像预测单元的解码结果为预设解码结果；

第四确定模块用于，在所述第一图像帧中确定与所述第二图像预测单元相邻的第三图像预测单元，所述第三图像预测单元的解码结果不是所述预设解码结果；

填充处理模块用于，根据所述第三图像预测单元，对所述第二图像预测单元进行像素填充处理，得到更新后的第一图像帧。

在一种可能的实施方式中，所述装置还包括第五确定模块，其中：

第五确定模块用于，将所述第一图像帧标记为错误图像帧，所述错误图像帧不作为其它图像帧的参考图像帧。

第三方面，本申请实施例提供一种电子设备，包括：存储器和处理器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行第一方面任一项所述的图像处理方法。

第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当所述计算机执行指令被处理器执行时用于实现第一方面任一项所述的图像处理方法。

第五方面，本申请实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面任一项所示的图像处理方法。

第六方面，本申请实施例提供一种芯片，芯片上存储有计算机程序，计算机程序被芯片执行时，实现如第一方面的方法。

在一种可能的实施方式中，芯片为芯片模组中的芯片。

本申请实施例提供的一种图像处理方法、装置、设备、存储介质及程序产品，在获取待解码的第一图像片后，可以确定第一图像片的片类型，片类型包括I类型、P类型和B类型；在第一图像片为P类型或者B类型时，若第一图像片缺失参考帧，则确定第一图像片的参考帧的缺失类型，缺失类型为部分缺失或者全部缺失；根据第一图像片的参考帧的缺失类型，对第一图像片进行解码处理。根据第一图像片的片类型、以及第一图像片的参考帧缺失情况，对第一图像片进行解码处理，使得对图像片解码的成功率较高，提高了对图像片进行解码的可靠性。

附图说明

图1为本申请实施例提供的应用场景的示意图；

图2为本申请实施例提供的图像帧的结构示意图；

图3为本申请实施例提供的图像处理方法的流程示意图；

图4为本申请实施例提供的另外一种图像处理方法的流程示意图；

图5为本申请示例性实施例提供的另一种图像处理方法的流程示意图；

图6为本申请示例性实施例提供的另一种图像处理方法的流程示意图；

图7为本申请实施例提供的一种图像处理装置的结构示意图；

图8为本申请实施例提供的另外一种图像处理装置的结构示意图；

图9为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

图1为本申请实施例提供的应用场景的示意图。请参见图1，包括视频发送端101和视频接收端102。

视频发送端101在向视频接收端102发送视频之前，先对视频进行压缩处理，视频发送端101可以通过帧内压缩方法或者帧间压缩方法对视频进行压缩处理，得到压缩后的视频，并向视频接收端102发送压缩处理后的视频。视频发送端101在采用帧内压缩方法压缩视频帧中的某图像帧时，需要依据该图像帧中的内容进行图像压缩。视频发送端101在采用帧间压缩方法压缩视频中的某图像帧时，需要依据该图像帧之前的参考图像帧中的内容，对该图像帧进行图像压缩。

在视频接收端102接收到压缩处理后的视频之后，视频接收端102对压缩处理后的视频中的各个图像帧进行解压缩(解码)处理。针对任意一个图像帧，视频接收端102根据该图像帧的压缩方式(编码方式)确定对应的解压缩方式(解码方式)，并按照对应的解码方式对该图像帧进行解码处理。例如，若视频发送端101对图像帧1进行帧内压缩处理，则视频接收端102接收到编码后的图像帧1之后，视频接收端102采用帧内预测方法对编码后的图像帧1进行解码处理。

为了便于理解，下面，结合图2，对视频中的图像帧的结构进行说明。

图2为本申请实施例提供的图像帧的结构示意图。请参见图2，图像帧中包括多个图像片(slice)，每个图像片中包括多个宏块，每个宏块中包括至少一个像素(图中未示出)。在视频发送端对视频中的图像帧进行编码时，分别对图像帧中的每个图像片进行编码，相应的，在视频接收端对某图像帧进行解码时，需要分别对图像帧中的每个图像片进行解码。在视频接收端，对每个图像片进行解码的过程类似，在本申请实施例中，以对任意一个图像片的解码过程为例进行说明。

在相关技术中，在某图像帧的参考帧丢失时，通常跳过该图像帧的解码过程。然而，当丢失的图像帧较多时，通过上述方法可能会导致视频播放出现不连续或者卡顿的问题。由上可知，在相关技术中，对图像进行解码的可靠性较低。

在本申请实施例中，在获取待解码的图像片后，可以确定片类型，片类型包括I类型、P类型和B类型，可以根据片类型以及图像片的参考帧的缺失情况对图像片进行解码处理。在上述过程中，对图像片进行解码的过程参考了图像片的片类型、以及图像片的参考帧缺失情况，使得对图像片解码的成功率较高，提高了对图像片进行解码的可靠性。

下面，通过具体实施例对本申请所示的方法进行说明。需要说明的是，下面几个实施例可以单独存在，也可以互相结合，对于相同或相似的内容，在不同的实施例中不再重复说明。

图3为本申请实施例提供的图像处理方法的流程示意图。请参见图3，该方法可以包括：

S301、获取待解码的第一图像片。

本申请实施例的执行主体可以为电子设备，也可以为设置在电子设备中的图像处理装置。图像处理装置可以通过软件实现，也可以通过软件和硬件的结合实现。

第一图像片为待解码视频中第一图像帧中的图像片。待解码视频为电子设备待播放的视频。第一图像帧为待解码的图像帧。

待解码视频中可以包括多个图像帧。例如，1秒钟的视频，可以有30帧的图像帧。

图像帧中可以包括至少一个图像片。

第一图像片中可以包括至少一个图像预测单元。例如，图像预测单元可以为宏块。

图像预测单元是指对图像片进行解码的基本单元。例如，第一图像片包括100*100个像素，图像预测单元可以包括16*16个像素或8*8个像素。

S302、确定第一图像片的片类型。

片类型可以包括I类型、P类型和B类型。

若图像片中各图像预测单元采用的编码方法均为帧内编码方法，则该图像片的片类型为I类型。

例如，假设第一图像片包括图像预测单元1、图像预测单元2和图像预测单元3，图像预测单元1-3均为帧内编码方法，则第一图像片的片类型为I类型。

若图像片中的各图像预测单元采用的编码方法均为单向帧间编码方法，或者，图像片中部分图像预测单元采用的编码方法为单向帧间编码方法，另一部分图像预测单元采用的编码方法为帧内编码方法，则该图像片的片类型为P类型。

例如，假设第一图像片包括图像预测单元1、图像预测单元2和图像预测单元3，图像预测单元1为帧内编码方法，图像预测单元2和图像预测单元3为单向帧间编码方法，则第一图像片的片类型为P类型。

若图像片中的各图像预测单元采用的编码方法均为双向帧间编码方法，或者，图像片中部分图像预测单元采用的编码方法为双向帧间编码方法，另一部分图像预测单元采用的编码方法包括帧内编码方法和/或单向帧间编码方法，则该图像片的片类型为B类型。

例如，假设第一图像片包括图像预测单元1、图像预测单元2和图像预测单元3，图像预测单元1为帧内编码方法，图像预测单元2为双向帧间编码方法，图像预测单元3为单向帧间编码方法，则第一图像片的片类型为B类型。

S303、在第一图像片为P类型或者B类型时，若第一图像片缺失参考帧，则确定第一图像片的参考帧的缺失类型。

缺失类型可以为部分缺失类型或者全部缺失类型。

若第一图像片的部分图像预测单元存在参考帧，部分图像预测单元的参考帧缺失参考帧，则第一图像片的参考帧的缺失类型为部分缺失类型。

例如，假设第一图像片1的片类型为P类型，共有3个图像预测单元，分别为图像预测单元1、图像预测单元2和图像预测单元3，图像预测单元1为帧内预测，图像预测单元2和图像预测单元3为单向帧内间预测，图像预测单元2缺失参考帧，图像预测单元3存在参考帧，则第一图像片1的参考帧的缺失类型为部分缺失类型。

若第一图像片的所有图像预测单元均缺失参考帧，则第一图像片的参考帧的缺失类型为全部缺失类型。

例如，假设第一图像片2的片类型为P类型，共有3个图像预测单元，分别为图像预测单元1、图像预测单元2和图像预测单元3，图像预测单元1为帧内预测，图像预测单元2和图像预测单元3为单向帧间预测，图像预测单元2和图像预测单元3对应的参考帧缺失，则第一图像片2的参考帧的缺失类型为全部缺失类型。

S304、根据第一图像片的参考帧的缺失类型，对第一图像片进行解码处理。

可以通过如下方式对第一图像片进行解码处理：若第一图像片的参考帧的缺失类型为全部缺失，则在缓存中确定已解码的目标图像帧，并根据目标图像帧对第一图像片进行解码处理；若第一图像片的参考帧的缺失类型为部分缺失，则分别对第一图像片中的各个图像预测单元进行解码处理，以实现对第一图像片进行解码处理。

例如，假设第一图像片的参考帧的缺失类型为全部缺失类型，可以确定已解码的目标图像帧1，则可以根据目标图像帧1对第一图像片1进行解码处理。

例如，假设第一图像片2的参考帧的缺失类型为部分缺失类型，第一图像片2共有3个图像预测单元，分别为图像预测单元1、图像预测单元2和图像预测单元3，图像预测单元1缺失参考帧，图像预测单元2和图像预测单元3的参考帧存在，则可以对该3个图像预测单元进行分别解码处理。

本申请实施例提供的图像处理方法，在获取待解码的第一图像片后，可以确定第一图像片的片类型，片类型包括I类型、P类型和B类型；在第一图像片为P类型或者B类型时，若第一图像片缺失参考帧，则确定第一图像片的参考帧的缺失类型，缺失类型为部分缺失或者全部缺失；根据第一图像片的参考帧的缺失类型，对第一图像片进行解码处理。在上述过程中，根据第一图像片的片类型、以及第一图像片的参考帧缺失情况，对第一图像片进行解码处理，使得对图像片解码的成功率较高，提高了对图像片进行解码的可靠性。

在上述任意一个实施例的基础上，下面，结合图4，对本申请实施例所示的图像处理方法进行进一步详细说明。

图4为本申请实施例提供的图像处理方法的流程示意图。请参见图4，该方法可以包括：

S401、获取待解码的第一图像片。

S402、确定第一图像片的片类型。

S403、在第一图像片为P类型或者B类型时，若第一图像片缺失参考帧，则确定第一图像片的参考帧的缺失类型。

S401-S403的执行过程可以参见S301-S303的执行过程，此处不再进行赘述。

S404、若第一图像片的参考帧的缺失类型为全部缺失，则在缓存中确定已解码的目标图像帧，并根据目标图像帧对第一图像片进行解码处理。

例如，假设第一图像片1的参考帧的缺失类型为全部缺失，已解码的图像帧包括图像帧1、图像帧2和图像帧3，假设图像帧3为目标图像帧，则可以根据图像帧3对第一图像片1进行解码处理。

S405、若第一图像片的参考帧的缺失类型为部分缺失，则分别对第一图像片中的各个图像预测单元进行解码处理，以实现对第一图像片进行解码处理。

例如，假设第一图像片2的参考帧的缺失类型为部分缺失，第一图像片2共有3个图像预测单元，分别为图像预测单元1、图像预测单元2和图像预测单元3，图像预测单元1为帧间编码方式，且不缺少参考帧，图像预测单元2和图像预测单元3为帧间编码方式，且缺失参考帧，则分别对图像预测单元1、图像预测单元2和图像预测单元3进行解码处理。

S406、若第一图像片属于第一图像帧，获取第一图像帧中的各图像片的解码结果。

重复S401-S405的过程，可以得到第一图像帧中的各个图像片的解码结果。

例如，假设第一图像帧包括2个图像片，分别为图像片1和图像片2，可以根据S401-S405的过程对图像片1进行解码处理得到解码结果1，可以根据S401-S405的过程对图像片2进行解码处理得到解码结果2。

S407、根据各图像片在第一图像帧中的位置，对各图像片的解码结果进行拼接处理，得到解码后的第一图像帧。

例如，假设第一图像帧包括2个图像片，分别为图像片1和图像片2，图像片1的解码结果为解码结果1，图像片2的解码结果为解码结果2，图像片1的位置为位置1，图像片2的位置为位置2，则可以根据位置1和位置2将图像片1和图像片2的解码结果进行拼接处理，得到解码后的第一图像帧。

S408、在第一图像帧中确定第二图像预测单元。

其中，第二图像预测单元的解码结果为预设解码结果。

例如，假设第一图像帧包括2个图像片，分别为图像片1和图像片2。假设图像片1中，图像预测单元1的解码结果为预设解码结果，则该图像预测单元1确定为第二图像预测单元。

S409、在第一图像帧中确定与第二图像预测单元相邻的第三图像预测单元。

其中，第三图像预测单元的解码结果不是预设解码结果。

S410、根据第三图像预测单元，对第二图像预测单元进行像素填充处理，得到更新后的第一图像帧。

可以通过以下方式对第二图像预测单元进行像素填充处理：根据第三图像预测单元以及第二图像预测单元，确定第一图像帧的掩膜(mask)；根据掩膜以及第三图像预测单元，对第二图像预测单元进行像素填充处理。

掩膜与图像帧具有相同的像素个数。可以确定图像帧中具有预设解码结果的位置，将掩膜的对应位置上的像素值确定为1，将掩膜中其余位置的像素值确定为0。

例如，假如图像帧为32*32个像素，包括4个16*16个像素的图像预测单元，分别为图像预测单元1、图像预测单元2、图像预测单元3和图像预测单元4，图像预测单元1的位置为位置1、图像预测单元2的位置为位置2、图像预测单元3的位置为位置3和图像预测单元4的位置为位置4。假设图像预测单元1为预设解码结果，图像预测单元2-4为非预设解码结果，则可以确定掩膜为32*32个像素，位置1的像素值为1，位置2-4的像素值为0。

可以根据图像填充算法，对第二图像预测单元进行填充处理。图像填充算法可以包括传统方法与深度学习方法。

图像填充算法可以根据第三图像预测单元，确定第二图像预测单元的填充像素信息。确定填充信息后，图像填充算法可以根据掩膜将填充像素信息在第二图像预测单元中进行填充处理，得到更新后的第一图像帧。

S411、将第一图像帧标记为错误图像帧，错误图像帧不作为其它图像帧的参考图像帧。

可选的，若第一图像帧被标记为错误图像帧后，则该第一图像帧无法作为其它图像帧的参考帧。

例如，假设图像帧1被标记为错误图像帧，且在编码过程中，图像帧1为图像帧2的参考帧，则在对图像帧2进行解码处理时，由于图像帧1被标记为错误图像帧，则无法将图像帧1作为图像帧2的参数帧。

在图4所示的实施例中，可以根据图像片的片类型、以及图像片的参考帧缺失类型，对图像片进行解码处理，并对错误图像帧进行标记，使得对图像片解码的成功率较高，提高了对图像片进行解码的可靠性。并且，还可以进行错误图像帧的标记，以实现不将错误图像帧为作为其它图像帧的参考图像帧，避免了错误的累计。

在图4所示实施例的基础上，下面，结合图5，对上述404步骤进行进一步详细说明。

图5为本申请示例性实施例提供的另一种图像处理方法的流程示意图。请参见图5，该方法可以包括：

S501、确定第一图像片所属的第一图像帧的第一POC。

图像序列号(Picture Order Count，POC)，是指对图像帧进行排序的编号。例如，在视频图像播放的过程中，可以根据图像帧的POC进行视频播放。

S502、获取缓存中各图像帧的POC。

缓存中的图像帧为已经被解码的图像帧。

例如，假设缓存中存在3个已解码的图像帧，分别为图像帧1、图像帧2和图像帧3，则可以获取图像帧1对应的POC1，图像帧2对应的POC2和图像帧3对应的POC3。

例如，获取缓存中各图像帧的POC，可以如表1所示。

表1

图像帧1	POC1
		图像帧2	POC2
图像帧3	POC3
		……	……

S503、获取缓存中各图像帧的POC与第一POC的差值的绝对值。

例如，假设缓存中存在图像帧1的POC1为4，图像帧2的POC2为3，图像帧3的POC3为2，第一POC为5，则可以获得图像帧1与第一POC的差值的绝对值为1，图像帧2与第一POC的差值的绝对值为2，图像帧3与第一POC的差值的绝对值为3。

例如，各图像帧的POC与第一POC的差值的绝对值，可以如表2所示。

表2

图像帧	POC	第一图像帧	差值的绝对值
				图像帧1	POC1	第一POC	X1
图像帧2	POC2	第一POC	X2
				图像帧3	POC3	第一POC	X3
……	……	……	……

S504、将缓存中与第一POC的差值的绝对值最小的图像帧，确定为目标图像帧。

例如，假设图像帧1与第一POC的差值的绝对值为2，图像帧2与第一POC的差值的绝对值为3，图像帧3与第一POC的差值的绝对值为3，则将图像帧1确定为目标图像帧。

S505、确定第一图像片在第一图像帧中的第一位置。

例如，假设第一图像帧包括3个图像片，分别为图像片1、图像片2、和图像片3，图像片1的位置为位置1，图像片2的位置为位置2，图像片3的位置为位置3。假设第一图像片为图像片2，则可以确定第一图像片的第一位置为位置2。

S506、根据第一位置，在目标图像帧中确定目标图像片。

例如，假设第一图像片中包括8*8个像素，第一位置为位置1，则将目标图像帧中位置1上的8*8个像素确定为目标图像片。

S507、将目标图像片中的内容，确定为第一图像片对应的解码结果。

在图5所示的实施例中，若第一图像片的参考帧的缺失类型为全部缺失，确定第一图像片所属的第一图像帧的第一POC，获取缓存中各图像帧的POC，将缓存中与第一POC的差值的绝对值最小的图像帧，确定为目标图像帧。确定第一图像片在第一图像帧中的第一位置，根据第一位置，在目标图像帧中确定目标图像片，将目标图像片中的内容，确定为第一图像片对应的解码结果。在上述过程中，在根据第一图像帧的第一POC确定目标图像帧后，根据第一图像片在第一图像帧中的第一位置，在目标图像帧中确定第一图像片的解码结果，使得对图像片解码的成功率较高，提高了对图像片进行解码的可靠性。

在图4所示实施例的基础上，下面，结合图6，对上述405步骤进行进一步详细说明。

图6为本申请示例性实施例提供的另一种图像处理方法的流程示意图。请参见图6，该方法可以包括：

S601、针对第一图像片中的任意一个第一图像预测单元，获取第一图像预测单元的单元类型。

图像预测单元的单元类型可以包括帧内预测类型、单向帧间预测类型和双向帧间预测类型。

S602、若单元类型为帧内预测类型，确定第一图像预测单元对应的参考图像预测单元。

可以在第一图像预测单元所在的待解码图像帧中确定参考图像预测单元。

例如，假设图像帧1中包括3个图像预测单元，分别为图像预测单元1、图像预测单元2和图像预测单元3。假设图像预测单元1为帧内预测类型，则可以在图像预测单元2和图像预测单元3中确定图像预测单元1的参考图像预测单元。

S603、若参考图像预测单元存在正确解码结果，则根据正确解码结果对第一图像预测单元进行解码处理。

参考图像预测单元为已经进行解码的图像预测单元，参考图像预测单元的解码结果为正确解码结果或者错误结果解码。

例如，假设参考图像预测单元是帧间预测，且该参考图像预测单元的参考帧未缺失，在该种情况下，参考图像预测单元是依据其参考帧解码得到的，因此，可以确定该参考图像预测单元的解码结果为正确解码结果，即，该参考图像预测单元存在正确解码结果。

例如，假设参考图像预测单元是帧间预测，且该参考图像预测单元的参考帧缺失，在该种情况下，由于在编码阶段，参考图像预测单元是依据其参考帧编码得到的，而在解码阶段，参考图像预测单元无法依据其参考帧进行解码，因此，参考图像预测单元的解码结果为错误解码结果，即，该参考图像预测单元不存在正确解码结果。

S604、若参考图像预测单元不存在正确解码结果，则确定第一图像预测单元的解码结果为预设解码结果。

预设结果解码中包括的像素数量与第一图像预测单元中包括的像素数量相同，且预设解码结果中各像素值可以为预设值。例如，假设预设值为0，第一图像预测单元包括8*8个像素，则预设解码结果包括8*8个像素，且各像素值为0。

S605、若单元类型为单向帧间预测类型，若第一图像预测单元缺失参考帧，则确定第一图像预测单元的解码结果为预设解码结果。

S605中的预设解码结果与S604中的预设解码结果类似，此处不再进行赘述。

S606、若第一图像预测单元未缺失参考帧，则根据参考帧对第一图像预测单元进行解码处理。

例如，假设第一图像预测单元未缺失参考帧，则第一图像预测单元1可以根据参考帧，采用单向帧间预测得到第一图像预测单元的解码结果。

S607、若单元类型为双向帧间预测类型，若第一图像预测单元未缺失两个参考帧，则根据两个参考帧对第一图像预测单元进行解码处理。

可以通过如下方式对第一图像预测单元进行解码处理：确定两个参考帧的权重；根据两个参考帧的权重以及参考帧对应位置的像素值，确定第一图像预测单元的解码结果。

例如，假设第一图像预测单元的单元类型为双向帧间预测类型，第一图像预测单元的两个参考帧分别为参考帧1和参考帧2，第一图像预测单元中包括8*8个像素，第一图像预测单元在第一图像帧中的位置为位置1，参考帧1和参考帧2的权重均为0.5，则可以根据参考帧1中位置1上的8*8个像素、以及参考帧2中位置1上的8*8个像素，确定第一图像预测单元的解码结果。

S608、若第一图像预测单元缺失第一参考帧、且未缺失第二参考帧，则将第二参考帧的权重设置为1，并根据第二参考帧对第一图像预测单元进行解码处理。

例如，假设第一图像预测单元2的单元类型为双向帧间预测类型，第一图像预测单元的两个参考帧分别为参考帧1和参考帧2，其中，参考帧1未缺失，参考帧2缺失，第一图像预测单元2中包括8*8个像素，第一图像预测单元在第一图像帧中的位置为位置2，则可以将参考帧1的权重设置为1，参考帧2的权重设置为0，并根据参考帧2中位置1上的8*8个像素，确定第一图像预测单元的解码结果。

S609、若第一图像预测单元缺失两个参考帧，确定第一图像预测单元的解码结果为预设解码结果。

S609中的预设解码结果与S604中的预设解码结果类似，此处不再进行赘述。

本申请实施例提供的图像处理方法，若第一图像片的参考帧的缺失类型为部分缺失，针对第一图像片中的任意一个第一图像预测单元，获取第一图像预测单元的单元类型。若单元类型为帧内预测类型，确定第一图像预测单元对应的参考图像预测单元，根据参考图像预测单元的解码情况对第一图像预测单元进行解码处理。若单元类型为单向帧间预测类型，根据第一图像预测单元的参考帧的缺失情况，确定第一图像预测单元的解码结果。若单元类型为双向帧间预测类型，根据第一图像预测单元缺失参考帧的情况，确定第一图像预测单元的解码结果。在上述过程中，可以根据图像预测单元的单元类型，对图像片进行解码处理，使得对图像片解码的成功率较高，提高了对图像片进行解码的可靠性。

图7为本公开实施例提供的一种图像处理装置10的结构示意图。请参见图7，该图像处理装置可以包括获取模块11、第一确定模块12、第二确定模块13、解码处理模块14，其中，

获取模块11用于，获取待解码的第一图像片，第一图像片为待解码视频中的第一图像帧中的图像片，第一图像片中包括至少一个图像预测单元；

第一确定模块12用于，确定第一图像片的片类型，片类型包括I类型、P类型和B类型；

第二确定模块13用于，在第一图像片为P类型或者B类型时，若第一图像片缺失参考帧，则确定第一图像片的参考帧的缺失类型，缺失类型为部分缺失或者全部缺失；

解码处理模块14用于，根据第一图像片的参考帧的缺失类型，对第一图像片进行解码处理。

本申请实施例提供的图像处理装置可以执行上述方法实施例所示的技术方案，其实现原理以及有益效果类似，此处不再进行赘述。

在一种可能的实施方式中，解码处理模块14具体用于：

若第一图像片的参考帧的缺失类型为全部缺失，则在缓存中确定已解码的目标图像帧，并根据目标图像帧对第一图像片进行解码处理；

若第一图像片的参考帧的缺失类型为部分缺失，则分别对第一图像片中的各个图像预测单元进行解码处理，以实现对第一图像片进行解码处理。

在一种可能的实施方式中，解码处理模块14具体用于：

确定第一图像片所属的第一图像帧的第一图像序列号POC；

获取缓存中各图像帧的POC；

获取缓存中各图像帧的POC与第一POC的差值的绝对值；

将缓存中与第一POC的差值的绝对值最小的图像帧，确定为目标图像帧。

在一种可能的实施方式中，解码处理模块14具体用于：

确定第一图像片在第一图像帧中的第一位置；

根据第一位置，在目标图像帧中确定目标图像片；

将目标图像片中的内容，确定为第一图像片对应的解码结果。

在一种可能的实施方式中，针对第一图像片中的任意一个第一图像预测单元；解码处理模块14具体用于：

获取第一图像预测单元的单元类型，单元类型包括帧内预测类型、单向帧间预测类型和双向帧间预测类型；

根据单元类型，对第一图像预测单元进行解码处理。

在一种可能的实施方式中，单元类型为帧内预测类型；解码处理模块14具体用于：

确定第一图像预测单元对应的参考图像预测单元；

若参考图像预测单元存在正确解码结果，则根据正确解码结果对第一图像预测单元进行解码处理；

若参考图像预测单元不存在正确解码结果，则确定第一图像预测单元的解码结果为预设解码结果，预设解码结果中各像素值为预设值。

在一种可能的实施方式中，单元类型为单向帧间预测类型；解码处理模块14具体用于：

若第一图像预测单元缺失参考帧，则确定第一图像预测单元的解码结果为预设解码结果，预设解码结果中各像素值为预设值；

若第一图像预测单元未缺失参考帧，则根据参考帧对第一图像预测结果进行解码处理。

在一种可能的实施方式中，单元类型为双向帧间预测类型；解码处理模块14具体用于：

若第一图像预测单元未缺失两个参考帧，则根据两个参考帧对第一图像预测单元进行解码处理；

若第一图像预测单元缺失第一参考帧、且未缺失第二参考帧，则将第二参考帧的权重设置为1，并根据第二参考帧对第一图像预测单元进行解码处理；

若第一图像预测单元缺失两个参考帧，确定第一图像预测单元的解码结果为预设解码结果，预设解码结果中各像素值为预设值。

图8为本公开实施例提供的另一种图像处理装置的结构示意图。在图7所示实施例的基础上，请参见图7，图像处理装置10还包括拼接模块15、第三确定模块16、第四确定模块17、填充处理模块18，其中，

拼接模块15具体用于，在获取得到第一图像帧中的各图像片的解码结果之后，根据各图像片在第一图像帧中的位置，对各图像片的解码结果进行拼接处理，得到解码后的第一图像帧。

第三确定模块16具体用于，在第一图像帧中确定第二图像预测单元，第二图像预测单元的解码结果为预设解码结果；

第四确定模块17具体用于，在第一图像帧中确定与第二图像预测单元相邻的第三图像预测单元，第三图像预测单元的解码结果不是预设解码结果；

填充处理模块18具体用于，根据第三图像预测单元，对第二图像预测单元进行像素填充处理，得到更新后的第一图像帧。

在一种可能的实施方式中，装置还包括第五确定模块19，其中：

第五确定模块19具体用于，将第一图像帧标记为错误图像帧，错误图像帧不作为其它图像帧的参考图像帧。

本申请实施例提供的图像处理装置可以执行上述方法实施例所示的技术方案，其实现原理以及有益效果类似，此处不再进行赘述。

本申请实施例提供一种电子设备的结构示意图，请参见图9，该电子设备20可以包括处理器21和存储器22。示例性地，处理器21、存储器22，各部分之间通过总线23相互连接。

存储器22存储计算机执行指令；

处理器21执行存储器22存储的计算机执行指令，使得处理器21执行如上述方法实施例所示的图像处理方法。

电子设备可以为芯片、模组、集成开发环境(integrated developmentenvironment，IDE)等。

图9实施例所示的电子设备20可以执行上述方法实施例所示的技术方案，其实现原理以及有益效果类似，此处不再进行赘述。

相应地，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当计算机执行指令被处理器执行时用于实现上述方法实施例的图像处理方法。

相应地，本申请实施例还可提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时，可实现上述方法实施例所示的图像处理方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (14)

1.一种图像处理方法，其特征在于，包括：

获取待解码的第一图像片，所述第一图像片为待解码视频中的第一图像帧中的图像片，所述第一图像片中包括至少一个图像预测单元；

确定所述第一图像片的片类型，所述片类型包括I类型、P类型和B类型；

在所述第一图像片为所述P类型或者所述B类型时，若所述第一图像片缺失参考帧，则确定所述第一图像片的参考帧的缺失类型，所述缺失类型为部分缺失或者全部缺失；

根据所述第一图像片的参考帧的缺失类型，对所述第一图像片进行解码处理。

2.根据权利要求1所述的方法，其特征在于，根据所述第一图像片的参考帧的缺失类型，对所述第一图像片进行解码处理，包括：

若所述第一图像片的参考帧的缺失类型为全部缺失，则在缓存中确定已解码的目标图像帧，并根据所述目标图像帧对所述第一图像片进行解码处理；

若所述第一图像片的参考帧的缺失类型为部分缺失，则分别对所述第一图像片中的各个图像预测单元进行解码处理，以实现对所述第一图像片进行解码处理。

3.根据权利要求2所述的方法，其特征在于，在缓存中确定已解码的目标图像帧，包括：

确定所述第一图像片所属的第一图像帧的第一图像序列号POC；

获取所述缓存中各图像帧的POC；

获取所述缓存中各图像帧的POC与所述第一POC的差值的绝对值；

将所述缓存中与所述第一POC的差值的绝对值最小的图像帧，确定为所述目标图像帧。

4.根据权利要求2或3所述的方法，其特征在于，根据所述目标图像帧对所述第一图像片进行解码处理，包括：

确定所述第一图像片在所述第一图像帧中的第一位置；

根据所述第一位置，在所述目标图像帧中确定目标图像片；

将所述目标图像片中的内容，确定为所述第一图像片对应的解码结果。

5.根据权利要求2所述的方法，其特征在于，针对所述第一图像片中的任意一个第一图像预测单元；对所述第一图像预测单元进行解码处理，包括：

获取所述第一图像预测单元的单元类型，所述单元类型包括帧内预测类型、单向帧间预测类型和双向帧间预测类型；

根据所述单元类型，对所述第一图像预测单元进行解码处理。

6.根据权利要求5所述的方法，其特征在于，所述单元类型为所述帧内预测类型；根据所述单元类型，对所述第一图像预测单元进行解码处理，包括：

确定所述第一图像预测单元对应的参考图像预测单元；

若所述参考图像预测单元存在正确解码结果，则根据所述正确解码结果对所述第一图像预测单元进行解码处理；

若所述参考图像预测单元不存在正确解码结果，则确定所述第一图像预测单元的解码结果为预设解码结果，所述预设解码结果中各像素值为预设值。

7.根据权利要求5所述的方法，其特征在于，所述单元类型为所述单向帧间预测类型；根据所述单元类型，对所述第一图像预测单元进行解码处理，包括：

若所述第一图像预测单元缺失参考帧，则确定所述第一图像预测单元的解码结果为预设解码结果，所述预设解码结果中各像素值为预设值；

若所述第一图像预测单元未缺失参考帧，则根据所述参考帧对所述第一图像预测结果进行解码处理。

8.根据权利要求5所述的方法，其特征在于，所述单元类型为所述双向帧间预测类型；根据所述单元类型，对所述第一图像预测单元进行解码处理，包括：

若所述第一图像预测单元未缺失两个参考帧，则根据所述两个参考帧对所述第一图像预测单元进行解码处理；

若所述第一图像预测单元缺失第一参考帧、且未缺失第二参考帧，则将所述第二参考帧的权重设置为1，并根据所述第二参考帧对所述第一图像预测单元进行解码处理；

若所述第一图像预测单元缺失两个参考帧，确定所述第一图像预测单元的解码结果为预设解码结果，所述预设解码结果中各像素值为预设值。

9.根据权利要求1-8任一项所述的方法，其特征在于，所述第一图像片属于第一图像帧；根据所述第一图像片的参考帧的缺失类型，对所述第一图像片进行解码处理之后，还包括：

在获取得到所述第一图像帧中的各图像片的解码结果之后，根据各图像片在所述第一图像帧中的位置，对各图像片的解码结果进行拼接处理，得到解码后的所述第一图像帧；

在所述第一图像帧中确定第二图像预测单元，所述第二图像预测单元的解码结果为预设解码结果；

在所述第一图像帧中确定与所述第二图像预测单元相邻的第三图像预测单元，所述第三图像预测单元的解码结果不是所述预设解码结果；

根据所述第三图像预测单元，对所述第二图像预测单元进行像素填充处理，得到更新后的第一图像帧。

10.根据权利要求9所述的方法，其特征在于，根据各图像片在所述第一图像帧中的位置，对各图像片的解码结果进行拼接处理，得到所述第一图像帧的解码之后，还包括：

将所述第一图像帧标记为错误图像帧，所述错误图像帧不作为其它图像帧的参考图像帧。

11.一种图像处理装置，其特征在于，所述装置包括：获取模块、第一确定模块、第二确定模块、解码处理模块，其中，

所述获取模块用于，获取待解码的第一图像片，所述第一图像片为待解码视频中的第一图像帧中的图像片，所述第一图像片中包括至少一个图像预测单元；

所述第一确定模块用于，确定所述第一图像片的片类型，所述片类型包括I类型、P类型和B类型；

所述第二确定模块用于，在所述第一图像片为所述P类型或者所述B类型时，若所述第一图像片缺失参考帧，则确定所述第一图像片的参考帧的缺失类型，所述缺失类型为部分缺失或者全部缺失；

所述解码处理模块用于，根据所述第一图像片的参考帧的缺失类型，对所述第一图像片进行解码处理。

12.一种电子设备，其特征在于，包括：存储器和处理器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行如权利要求1至10任一项所述的图像处理方法。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当所述计算机执行指令被处理器执行时用于实现权利要求1至10任一项所述的图像处理方法。

14.一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现权利要求1至10任一项所述的图像处理方法。

Images