CN114025172A - 视频帧的处理方法、装置和电子系统 - Google Patents

Abstract

本发明提供了一种视频帧的处理方法、装置和电子系统，包括：生成目标编码视频帧的第一信息地址；该第一信息地址中保存的信息用于：指示目标编码视频帧在编码视频帧队列中的排列顺序；将目标编码视频帧以及第一信息地址输入至解码器中，输出目标编码视频帧对应的目标解码视频帧，以及目标解码视频帧对应的第二信息地址；基于第二信息地址与第一信息地址，将目标解码视频帧与目标编码视频帧进行对齐处理。该方式为编码视频帧和解码视频帧设置信息地址，通过该信息地址实现编码视频帧与解码视频帧的对齐，可以保证编码视频帧和解码视频帧具有正确的对应关系，降低图像信息显示的偏移和误差，有利于图像信息与视频帧之间的准确显示。

Description

视频帧的处理方法、装置和电子系统

技术领域

本发明涉及视频解码技术领域，尤其是涉及一种视频帧的处理方法、装置和电子系统。

背景技术

原始视频帧在传输或存储过程中，需要进行压缩编码，得到编码视频帧。编码视频帧在播放时，会形成两路信号，第一路是直接使用编码视频帧进行播放，第二路是对编码视频帧进行解码后，得到原始视频帧，对原始视频帧进行图像分析处理，得到图像信息，例如，特定对象的位置信息或属性识别信息等，然后将这些图像信息叠加至上述第一路使用编码视频帧播放的视频帧上进行显示。在正常解码过程中，解码器每输入一个编码视频帧，就输出一个解码后的原始视频帧，编码视频帧和解码后的原始视频帧具有一一对应的关系；因而第二路输出的图像信息与第一路播放的视频帧能正确匹配；但是，由于编码视频帧的获取渠道多样，难以保证编码视频帧的数据完全正确；当编码视频帧的数据存在异常时，编码视频帧和解码后的原始视频帧的对应关系则会出错，此时基于解码后的原始视频帧得到的图像信息，与第一路使用编码视频帧播放的视频帧会出现不匹配的情况，图像信息会出现较大的偏移或误差。

发明内容

有鉴于此，本发明的目的在于提供一种视频帧的处理方法、装置和电子系统，以保证编码视频帧和解码视频帧具有正确的对应关系，降低图像信息显示的偏移和误差，有利于图像信息与视频帧之间的准确显示。

第一方面，本发明实施例提供了一种视频帧的处理方法，方法包括：生成目标编码视频帧的第一信息地址；其中，第一信息地址中保存的信息用于：指示目标编码视频帧在编码视频帧队列中的排列顺序；将目标编码视频帧以及第一信息地址输入至解码器中，输出目标编码视频帧对应的目标解码视频帧，以及目标解码视频帧对应的第二信息地址；基于第二信息地址与第一信息地址，将目标解码视频帧与目标编码视频帧进行对齐处理。

进一步的，将目标编码视频帧以及第一信息地址输入至解码器中，输出目标编码视频帧对应的目标解码视频帧，以及目标解码视频帧对应的第二信息地址的步骤，包括：通过解码器对目标编码视频帧进行解码处理，得到目标解码视频帧；如果目标解码视频帧包括一帧，将第一信息地址确定为目标解码视频帧对应的第二信息地址；和/或，如果目标解码视频帧包括多帧，将第一信息地址确定为第一个目标解码视频帧对应的第二信息地址；随机生成除第一个目标解码视频帧以外的目标解码视频帧对应的第二信息地址。

进一步的，方法还包括：如果目标解码视频帧的数据不完整，将目标编码视频帧确定为基准编码视频帧；将基准编码视频帧的下一个编码视频帧作为更新的目标编码视频帧，执行生成目标编码视频帧的第一信息地址，将目标编码视频帧以及第一信息地址输入至解码器中的步骤，直至基准编码视频帧对应的目标解码视频帧的数据完整；将基准编码视频帧的第一信息地址确定为目标解码视频帧的第二信息地址。

进一步的，基于第二信息地址与第一信息地址，将目标解码视频帧与目标编码视频帧进行对齐处理的步骤，包括：如果第二信息地址与第一信息地址相同，设置目标解码视频帧与目标编码视频帧具有对齐关系，保存目标解码视频帧与目标编码视频帧。

进一步的，第一信息地址中保存有顺序标识；按照编码视频帧队列中每个编码视频帧的排列顺序，每个编码视频帧对应的顺序标识具有指定的单调关系；单调关系包括单调递增或单调递减；如果第二信息地址与第一信息地址相同，设置目标解码视频帧与目标编码视频帧具有对齐关系，保存目标解码视频帧与目标编码视频帧的步骤，包括：如果第二信息地址与第一信息地址相同，查询第一信息地址中保存的顺序标识；如果第一信息地址中保存的顺序标识，与目标编码视频帧的前一个编码视频帧对应的顺序标识之间的大小关系，满足单调关系，设置目标解码视频帧与目标编码视频帧具有对齐关系；将目标解码视频帧与目标编码视频帧保存至前一个编码视频帧之后。

进一步的，已设置对齐关系的解码视频帧与编码视频帧，按照顺序标识的单调关系的顺序保存在指定队列中；方法还包括：如果第一信息地址中保存的顺序标识，与目标解码视频帧的前一个解码视频帧对齐的编码视频帧的顺序标识之间的大小关系，不满足单调关系，根据第一信息地址中保存的顺序标识确定目标解码视频帧与目标编码视频帧在指定队列中的目标位置；设置目标解码视频帧与目标编码视频帧具有对应关系，将目标解码视频帧与目标编码视频帧保存在指定队列中的目标位置。

进一步的，方法还包括：如果第二信息地址与第一信息地址不同，获取与目标解码视频帧的上一个解码视频帧具有对齐关系的第一编码视频帧，设置目标解码视频帧与第一编码视频帧之间具有对齐关系。

进一步的，每个输入至解码器的编码视频帧对应的第一信息地址保存在指定的存储区域中；方法还包括：如果目标编码视频帧与目标解码视频帧设置有对齐关系，从存储区域中删除目标解码视频帧对应的第一信息地址；如果存储区域中存在保存时长大于目标时长阈值的第一信息地址，删除保存时长大于目标时长阈值的第一信息地址。

第二方面，本发明实施例提供了一种视频帧的处理装置，装置包括：生成模块，用于生成目标编码视频帧的第一信息地址；其中，第一信息地址中保存的信息用于：指示目标编码视频帧在编码视频帧队列中的排列顺序；输出模块，用于将目标编码视频帧以及第一信息地址输入至解码器中，输出目标编码视频帧对应的目标解码视频帧，以及目标解码视频帧对应的第二信息地址；处理模块，用于基于第二信息地址与第一信息地址，将目标解码视频帧与目标编码视频帧进行对齐处理。

第三方面，本发明实施例提供了一种电子系统，电子系统包括：处理设备和存储装置；存储装置上存储有计算机程序，计算机程序在被处理设备运行时执行如第一方面任一项的视频帧的处理方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理设备运行时执行如第一方面任一项的视频帧的处理方法的步骤。

本发明实施例带来了以下有益效果：

本发明提供了一种视频帧的处理方法、装置和电子系统，包括：生成目标编码视频帧的第一信息地址；该第一信息地址中保存的信息用于：指示目标编码视频帧在编码视频帧队列中的排列顺序；将目标编码视频帧以及第一信息地址输入至解码器中，输出目标编码视频帧对应的目标解码视频帧，以及目标解码视频帧对应的第二信息地址；基于第二信息地址与第一信息地址，将目标解码视频帧与目标编码视频帧进行对齐处理。该方式为编码视频帧和解码视频帧设置信息地址，通过该信息地址实现编码视频帧与解码视频帧的对齐，相对于仅通过编码视频帧和解码视频帧的输入输出顺序进行对齐的方式，本实施例可以保证编码视频帧和解码视频帧具有正确的对应关系，降低图像信息显示的偏移和误差，有利于图像信息与视频帧之间的准确显示。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种标准解码流程图；

图2为本发明实施例提供的另一种标准解码流程图；

图3为本发明实施例提供的一种解码前和解码后视频帧的对应关系示意图；

图4为本发明实施例提供的另一种解码前和解码后视频帧的对应关系示意图；

图5为本发明实施例提供的另一种解码前和解码后视频帧的对应关系示意图；

图6为本发明实施例提供的另一种解码前和解码后视频帧的对应关系示意图；

图7为本发明实施例提供的一种电子系统的结构示意图；

图8为本发明实施例提供的一种视频帧的处理方法的示意图；

图9为本发明实施例提供的一种具体的视频帧的处理方法的示意图；

图10为本发明实施例提供的一种视频帧的处理装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

原始视频帧在传输或存储过程中，需要进行压缩编码，得到编码视频帧。编码视频帧在播放时，会形成两路信号，第一路是直接使用编码视频帧进行播放，第二路是对编码视频帧进行解码后，得到原始视频帧，对原始视频帧进行图像分析处理，得到图像信息，例如，特定对象的位置信息或属性识别信息等，然后将这些图像信息叠加至上述第一路使用编码视频帧播放的视频帧上进行显示。参见图1和图2所示的标准解码流程图，在正常解码过程中，首先初始化cuda(compute unified device architecture，统一计算设备架构)和cuvid；其中cuda是一种由nvidia推出的通用并行计算架构，该架构使GPU(GraphicsProcessing Unit，图形处理器)能够解决复杂的计算问题，提供了使用GPU的一系列API；cuvid是一个依赖cuda的专门用于编解码的库，cuvid解码主要通过Parser模块和Decoder模块进行解码运算，Parser模块作用是分析编码格式，分析帧数据；Decoder模块作用是将数据解码成YUV数据。

具体的，在初始化cuda和cuvid后，通过cuvidCreateVideoParser函数创建解析器，通过cuvidParseVideoData函数向解析器输入编码视频帧数据，该数据通常为CUVIDSOURCEDATAPACKET结构(可以简称为“Packet”)，该结构包含以下参数：编码数据地址、编码数据长度、long long类型timestamp(此帧的时间戳)；其中在cuvidParseVideoData函数向解析器输入数据时，会触发pfnSequenceCallback，pfnDecodePicture，和pfnDisplayPicture的事件回调。在首次分析输入的帧数据出现视频格式或视频格式变更时会触发pfnSequenceCallback回调，获取解码能力，根据分析结果创建解码器。然后在数据可以准备解码时触发pfnDecodePicture回调，回调出CUVIDPICPARAMS结构，直接将回调的CUVIDPICPARAMS结构输入至解码器进行解码。最后数据准备好显示时，会触发pfnDisplayPicture回调，回调出CUVIDPARSERDISPINFO结构，此时通过调用cuda函数获取解码后的输出结果，该输出结果包括YUV数据和long long类型的timestamp时间戳(可以简称为“Frame”)。

其中，解码器每输入一个编码视频帧(Packet)，就输出一个解码后的原始视频帧(Frame)，参见图3所示的解码前和解码后视频帧的对应关系示意图，编码视频帧完全正确的情况下，编码视频帧和解码后的原始视频帧具有一一对应的关系；因而第二路输出的图像信息与第一路播放的视频帧能正确匹配；但是，由于编码视频帧的获取渠道多样，难以保证编码视频帧的数据完全正确；当编码视频帧的数据存在异常时，编码视频帧和解码后的原始视频帧的对应关系则会出错，例如图4所示，当Packet1存在异常导致解码失败，相应的Frame1可能会延后输出，导致前四帧的对应关系出错。再如图5所示，Packet数据包的实际编码视频帧大于1帧，多帧数据粘连在一个Packet中，此时的一个Packet中会有实际多帧数据，会导致输出的Frame个数大于Packet的个数。一个Packet1，会输出Frame1.0和Frame1.1两个Frame包，由于多出一帧Frame，此后的Packet与Frame对应关系会完全错一位。再如图6所示，Packet数据包的实际编码视频帧不完整，少于一帧，剩余视频帧数据在下一个Packet中。也就是一帧完整数据被拆成了多个Packet。此时输入多帧Packet只会有一个Frame产生。由于Packet1和Packet2只会产生一个Frame，所以不会有真实的Frame2产生，会将Packet3产生的Frame3当作Frame2。此后Packet与Frame对应关系会完全错一位。

此时基于解码后的原始视频帧得到的图像信息，与第一路使用编码视频帧播放的视频帧会出现不匹配的情况，图像信息会出现较大的偏移或误差。基于此，本发明实施例提供的一种视频帧的处理方法、装置和电子系统，该技术可以应用于具有视频编解码功能的电子设备中。

实施例一：

首先，参照图7来描述用于实现本发明实施例的视频帧的处理方法、装置和电子系统的示例电子系统100。

如图7所示的一种电子系统的结构示意图，电子系统100包括一个或多个处理设备102、一个或多个存储装置104、输入装置106、输出装置108，另外可以包括一个或多个图像采集设备110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图7所示的电子系统100的组件和结构只是示例性的，而非限制性的，根据需要，电子系统也可以具有其他组件和结构。

处理设备102可以是网关，也可以为智能终端，或者是包含中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元的设备，可以对电子系统100中的其它组件的数据进行处理，还可以控制电子系统100中的其它组件以执行期望的功能。

存储装置104可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理设备102可以运行程序指令，以实现下文的本发明实施例中(由处理设备实现)的客户端功能以及/或者其它期望的功能。在计算机可读存储介质中还可以存储各种应用程序和各种数据，例如应用程序使用和/或产生的各种数据等。

输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

输出装置108可以向外部(例如，用户)输出各种信息(例如，图像、视频、数据或声音)，并且可以包括显示器、扬声器等中的一个或多个。

图像采集设备110可以采集预览视频帧或图片数据(如待处理图像或目标视频帧)，并且将采集到的预览视频帧或图像数据存储在存储装置104中以供其它组件使用。

示例性地，用于实现根据本发明实施例的视频帧的处理方法、装置和电子系统的示例电子系统中的各器件可以集成设置，也可以分散设置，诸如将处理设备102、存储装置104、输入装置106和输出装置108集成设置于一体，而将图像采集设备110设置于可以采集到图片的指定位置。当上述电子系统中的各器件集成设置时，该电子系统可以被实现为诸如相机、智能手机、平板电脑、计算机、车载终端、摄像机、监控设备等智能终端。

实施例二：

本发明实施例提供了一种视频帧的处理方法，如图8所示，该方法包括如下步骤：

步骤S802，生成目标编码视频帧的第一信息地址；其中，第一信息地址中保存的信息用于：指示目标编码视频帧在编码视频帧队列中的排列顺序；

上述目标编码视频帧可以是从相机或平台获取到的视频帧，该目标编码视频帧可以包括一帧或多帧编码视频帧，也可以是不完整的编码视频帧。上述目标编码视频帧通常为CUVIDSOURCEDATAPACKET结构的数据包，可以简称为Packet，比如可以是已编码的一段YUV或RGB数据。相关技术中，编码视频帧的数据包中保存有时间戳参数，由于相机或平台提供的时间戳并不能保证是唯一值，且可能会没有规律，不能准确的指示目标编码视频帧在编码视频帧队列中的排列顺序，因此可以生成目标编码视频帧的第一信息地址，该第一信息地址中包括用于指示目标编码视频帧在编码视频帧队列中的排列顺序的信息，比如，自定义的目标编码视频帧的顺序信息和目标编码视频帧的时间戳信息等。

具体的，可以创建一个结构体(struct)，在该结构体中存储第一信息地址中的信息，比如上述自定义的目标编码视频帧的顺序信息和目标编码视频帧的时间戳信息等；可以将存储好信息的结构体地址转换为long long型，确定为上述第一信息地址。

步骤S804，将目标编码视频帧以及第一信息地址输入至解码器中，输出目标编码视频帧对应的目标解码视频帧，以及目标解码视频帧对应的第二信息地址；

上述目标编码视频帧通常是通过编码的方式得到的，比如，通过压缩技术将原始视频压缩成另一种格式，压缩(编码)格式有常见的H264或H265等。具体的，可以利用硬件资源，不使用CPU资源进行解码，比如通过nvidia硬解码的方式，将目标编码视频帧以及对应的第一信息地址输入至解码器中，通过解码器对目标编码视频帧进行解码处理，可以得到目标编码视频帧对应的目标解码视频帧，该目标解码视频帧通常为YUV解码数据；同时得到目标解码视频帧对应的第二信息地址，该第二信息地址中的信息通常与第一信息地址中的信息相同，包括有用于指示与目标解码视频帧相匹配的目标编码视频帧的指示信息，还可以包括目标编码视频帧的时间戳等信息。

实际实现时，由于目标编码视频帧的数据可能存在异常，输入至解码器的目标编码视频帧可以是包括一帧或多帧编码视频帧，也可以是不完整的编码视频帧。所以需要根据目标编码视频帧的实际帧数，输出目标解码视频帧，以及目标解码视频帧对应的第二信息地址；如果输出为一个目标解码视频帧，则说明目标编码视频帧完全正确，则可以直接输出目标解码视频帧对应的第二信息地址；如果输出为多个目标解码视频帧，则说明目标编码视频帧存在异常，目标编码视频帧的数据包的实际编码帧大于1帧，会输得到多个目标解码视频帧，以及对应的第二信息地址；如果输出为不完整的目标解码视频帧时，则说明需要多个目标编码视频帧才可以得到一个完整的目标解码视频帧，以及目标解码视频帧对应的第二信息地址。

步骤S806，基于第二信息地址与第一信息地址，将目标解码视频帧与目标编码视频帧进行对齐处理。

通常一个目标解码视频帧会对应一个匹配的目标编码视频帧，上述对齐处理可以理解为，将目标解码视频帧与目标编码视频帧进行匹配，同时由于目标编码视频帧在编码视频帧队列中具有指定的排列顺序，还需要设置目标解码视频帧与匹配的目标编码视频帧在队列中的位置。实际实现时，解码器输出目标解码视频帧，以及目标解码视频帧对应的第二信息地址后，需要根据第二信息地址与第一信息地址的对应关系，获取与目标解码视频帧相匹配的目标编码视频帧，同时获取目标解码视频帧与匹配的目标编码视频帧在队列中的位置。需要说明的是，如果目标编码视频帧存在异常，比如，一个目标编码视频帧输出了多个目标解码视频帧，此时第二信息地址与第一信息地址的对应关系会发生异常，可以将相邻的目标编码视频帧与目标解码视频帧进行匹配。

本发明实施例提供的一种视频帧的处理方法，生成目标编码视频帧的第一信息地址；该第一信息地址中保存的信息用于：指示目标编码视频帧在编码视频帧队列中的排列顺序；将目标编码视频帧以及第一信息地址输入至解码器中，输出目标编码视频帧对应的目标解码视频帧，以及目标解码视频帧对应的第二信息地址；基于第二信息地址与第一信息地址，将目标解码视频帧与目标编码视频帧进行对齐处理。该方式为编码视频帧和解码视频帧设置信息地址，通过该信息地址实现编码视频帧与解码视频帧的对齐，相对于仅通过编码视频帧和解码视频帧的输入输出顺序进行对齐的方式，本实施例可以保证编码视频帧和解码视频帧具有正确的对应关系，降低图像信息显示的偏移和误差，有利于图像信息与视频帧之间的准确显示。

实施例三：

本实施例提供了另一种视频帧的处理方法，本实施例重点描述将目标编码视频帧以及第一信息地址输入至解码器中，输出目标编码视频帧对应的目标解码视频帧，以及目标解码视频帧对应的第二信息地址的步骤的具体实现方式(通过步骤902和步骤903实现)，该方法包括如下步骤：

步骤901，生成目标编码视频帧的第一信息地址；其中，第一信息地址中保存的信息用于：指示目标编码视频帧在编码视频帧队列中的排列顺序；

步骤902，通过解码器对目标编码视频帧进行解码处理，得到目标解码视频帧；

上述解码处理为编码的逆过程，可以将压缩(编码)格式重新变为原始视频帧，即上述目标解码视频帧，该目标解码视频帧通常是目标编码视频帧解码出的图像，在视频播放过程中，可以利用该图像进行图像分析，比如在播放监控视频时，可以对图像进行人脸分析，得到人脸的位置信息，进行在视频播放的过程中，将分析出的人脸位置信息叠加到视频上，以标注视频中的人脸位置。

步骤903，如果目标解码视频帧包括一帧，将第一信息地址确定为目标解码视频帧对应的第二信息地址；

如果目标解码视频帧包括一帧，则说明目标编码视频帧的数据没有异常，可以直接将第一信息地址确定为目标解码视频帧对应的第二信息地址。

另外，如果目标解码视频帧包括多帧，将第一信息地址确定为第一个目标解码视频帧对应的第二信息地址；随机生成除第一个目标解码视频帧以外的目标解码视频帧对应的第二信息地址。

如果目标解码视频帧包括多帧，则说明目标编码视频帧中的实际编码视频帧也包括多帧，此时一个目标编码视频帧可以输出多个目标解码视频帧，包括第一目标解码视频帧、第二目标解码视频帧、第三目标解码视频帧等。为了使目标解码视频帧与目标编码视频帧匹配，且其他目标解码视频帧与目标编码视频帧的对应关系匹配，可以将第一信息地址确定为第一个目标解码视频帧对应的第二信息地址；除第一个目标解码视频帧以外的目标解码视频帧对应的第二信息地址可以随机生成。

例如上述图5所示，如果目标解码视频帧实际包括多帧，则说明目标编码视频帧(Packet数据包)的实际编码视频帧大于1帧，多帧数据粘连在一个Packet中，此时的一个Packet中会有实际多帧数据，导致Packet1输出的目标解码视频帧Frame包括，Frame1.0和Frame1.1。将第一信息地址确定为第一个目标解码视频帧Frame1.0对应的第二信息地址。

另外，如果目标解码视频帧的数据不完整，将目标编码视频帧确定为基准编码视频帧；将基准编码视频帧的下一个编码视频帧作为更新的目标编码视频帧，执行生成目标编码视频帧的第一信息地址，将目标编码视频帧以及第一信息地址输入至解码器中的步骤，直至基准编码视频帧对应的目标解码视频帧的数据完整；将基准编码视频帧的第一信息地址确定为目标解码视频帧的第二信息地址。

如果目标解码视频帧的数据不完整，则说明目标编码视频帧中实际的编码视频帧不完整，少于一帧，剩余数据在下一个或多个编码视频帧中，也就是说一个完整的编码视频帧被拆成了多个编码视频帧，此时输入多帧编码视频帧才会输出一个完整的目标解码视频帧。因此在实际实现时，如果输入至解码器的目标编码视频帧，输出的目标解码视频帧的数据不完整，则可以将该目标编码视频帧确定为基准编码视频帧；然后将基准编码视频帧(即目标解码视频帧)的下一个编码视频帧作为更新的目标编码视频帧，继续执行生成目标编码视频帧的第一信息地址，将目标编码视频帧以及第一信息地址输入至解码器中的步骤，直至基准编码视频帧对应的目标解码视频帧的数据完整后，将基准编码视频帧的第一信息地址确定为目标解码视频帧的第二信息地址，输出目标解码视频帧以及目标解码视频帧对应的第二信息地址。

步骤904，基于第二信息地址与第一信息地址，将目标解码视频帧与目标编码视频帧进行对齐处理。

上述方式中，根据目标解码视频帧的个数，确定最终输出的目标解码视频帧以及目标解码视频帧对应的第二信息地址。可以保证第二信息地址的唯一性，以使目标解码视频帧能够根据第二信息地址和第一信息地址，获取匹配的目标编码视频帧，将目标解码视频帧与目标编码视频帧对齐；该方式中，可以根据目标解码视频帧的个数确定编码视频帧是否存在异常，同时可以根据目标解码视频帧的个数，以及目标编码视频帧的第一信息地址，确定输出的目标解码视频帧，以及目标解码视频帧对应的第二信息地址，使编码视频帧和解码后的原始视频帧相匹配，进而提高了视频帧解码的准确性。

实施例四：

本实施例提供了另一种视频帧的处理方法，本实施例主要描述基于第二信息地址与第一信息地址，将目标解码视频帧与目标编码视频帧进行对齐处理的步骤的实现方式，其中，一种可能的实施方式：

(1)如果第二信息地址与第一信息地址相同，设置目标解码视频帧与目标编码视频帧具有对齐关系，保存目标解码视频帧与目标编码视频帧。

当目标解码视频帧包括一帧时，通常第二信息地址与第一信息地址相同，可以直接确定目标解码视频帧与目标编码视频帧具有对齐关系，保存目标解码视频帧与目标编码视频帧，并将具有对齐关系的目标解码视频帧与目标编码视频帧进行打包。

当目标解码视频帧包括多帧时，只有第一个目标解码视频帧对应的第二信息地址与第一信息地址相同，此时可以确定第一目标解码视频帧与目标编码视频帧具有对齐关系，保存第一目标解码视频帧与目标编码视频帧。

当目标解码视频帧的数据不完整时，目标解码视频帧的第二信息地址与基准编码视频帧的第一信息地址相同，此时可以确定目标解码视频帧与基准编码视频帧具有对齐关系，保存目标解码视频帧与基准编码视频帧。

上述第一信息地址中保存有顺序标识；按照编码视频帧队列中每个编码视频帧的排列顺序，每个编码视频帧对应的顺序标识具有指定的单调关系；单调关系包括单调递增或单调递减；

上述顺序标识可以是自增或者自减的数值，比如第一信息地址中的顺序标识是从1开始自增的值，用以对应排列顺序为第一的目标编码视频帧，然后依次增加，按照编码视频帧队列中每个编码视频帧的排列顺序，排列顺序为第二的目标编码视频帧的第一信息地址中保存的顺序标识为2，排列顺序为第三的目标编码视频帧的第一信息地址中保存的顺序标识为3。也可以是单调递减的关系。上述顺序标识主要用于指示每个输出的目标解码视频帧和具有对应关系的目标编码视频帧在队列中的排列位置。

在上述基础上，如果第二信息地址与第一信息地址相同，设置目标解码视频帧与目标编码视频帧具有对齐关系，保存目标解码视频帧与目标编码视频帧的步骤，包括：

如果第二信息地址与第一信息地址相同，查询第一信息地址中保存的顺序标识；如果第一信息地址中保存的顺序标识，与目标编码视频帧的前一个编码视频帧对应的顺序标识之间的大小关系，满足单调关系，设置目标解码视频帧与目标编码视频帧具有对齐关系；将目标解码视频帧与目标编码视频帧保存至前一个编码视频帧之后。

确定具有对应关系的目标解码视频帧与目标编码视频帧具有对齐关系后，由于目标解码视频帧的输出顺序可能会存在异常，例如上述图4所示，第一个目标编码视频帧对应的目标解码视频帧，在第四个目标解码视频帧后输出，如果直接将该目标解码视频帧对应的第一个目标编码视频帧设置在当前位置，则排列顺序会发生异常。因此该即使确定了目标解码视频帧相对应的目标编码视频帧，还需要确定目标解码视频帧与目标编码视频帧在队列中的位置。

具体的，查询第一信息地址中保存的顺序标识；如果第一信息地址中保存的顺序标识，与目标编码视频帧的前一个编码视频帧对应的顺序标识之间的大小关系，满足单调关系，比如，如果第一信息地址中保存的顺序标识为“3”，目标编码视频帧的前一个编码视频帧对应的顺序标识为“2”，满足单调递增的关系，可以设置目标解码视频帧与目标编码视频帧具有对齐关系；最后将目标解码视频帧与目标编码视频帧保存至前一个编码视频帧之后。以满足最终得到的目标解码视频帧与目标编码视频帧正确对应，且排列顺序也正确。

进一步的，已设置对齐关系的解码视频帧与编码视频帧，按照顺序标识的单调关系的顺序保存在指定队列中；上述方法还包括：如果第一信息地址中保存的顺序标识，与目标解码视频帧的前一个解码视频帧对齐的编码视频帧的顺序标识之间的大小关系，不满足单调关系，根据第一信息地址中保存的顺序标识确定目标解码视频帧与目标编码视频帧在指定队列中的目标位置；设置目标解码视频帧与目标编码视频帧具有对应关系，将目标解码视频帧与目标编码视频帧保存在指定队列中的目标位置。

比如，如果第一信息地址中保存的顺序标识为“3”，与目标解码视频帧的前一个解码视频帧对齐的编码视频帧的顺序标识“5”之间，不满足单调关系，则可以根据第一信息地址中保存的顺序标识“3”，确定目标解码视频帧与目标编码视频帧在指定队列中的目标位置在顺序标识为“2”的目标解码视频帧之后，且在顺序标识为“4”的目标解码视频帧之前；设置目标解码视频帧与目标编码视频帧具有对应关系，将目标解码视频帧与目标编码视频帧保存在指定队列中的目标位置。

具体的，可以根据解码视频帧队列中每个解码视频帧对应的第一信息地址中保存的顺序标识，获取与目标解码视频帧对应的第一信息地址中保存的顺序标识具有单调关系的顺序标识，将具有单调关系的顺序标识对应的编码视频帧确定为目标解码视频帧与目标编码视频帧的相邻视频帧，进而根据具体的单调关系，确定目标解码视频帧与目标编码视频帧在指定队列中的目标位置在具有单调关系的顺序标识对应的解码视频帧之前或者之后。

另一种可能的实施方式：

(2)如果第二信息地址与第一信息地址不同，获取与目标解码视频帧的上一个解码视频帧具有对齐关系的第一编码视频帧，设置目标解码视频帧与第一编码视频帧之间具有对齐关系。

当目标解码视频帧包括多帧时，只有第一个目标解码视频帧对应的第二信息地址与第一信息地址相同，除第一个目标解码视频帧以外的其他目标解码视频帧对应的第二信息地址由于是随机生成的，因此第二信息地址与第一信息地址不同，为了保证多余的目标解码视频帧不影响下一个编码视频帧与解码视频帧的对应关系，可以将目标解码视频帧的上一个解码视频帧具有对齐关系的第一编码视频帧，设置目标解码视频帧与第一编码视频帧之间具有对齐关系。该种方式在编码视频帧存在异常的情况下，能够准确的确定目标解码视频帧与目标编码视频帧的对应关系和队列顺序。

进一步的，为了方便查询第一信息地址，可以将每个输入至解码器的编码视频帧对应的第一信息地址保存在指定的存储区域中；其中指定的存储区域可以是一种关联容器，比如set容器；也可以是数据库等。

上述方法还包括：如果目标编码视频帧与目标解码视频帧设置有对齐关系，从存储区域中删除目标解码视频帧对应的第一信息地址；如果存储区域中存在保存时长大于目标时长阈值的第一信息地址，删除保存时长大于目标时长阈值的第一信息地址。

在目标编码视频帧与目标解码视频帧确定有对齐关系后，可以将目标解码视频帧对应的第一信息地址从存储区域中删除。另外，当目标解码视频帧不完整时，由于需要将基准编码视频帧的下一个或多个编码视频帧，以及对应的第一信息地址输入至解码器，此时指定的存储区域中会保存有多个编码视频帧以及对应的第一信息地址，且最终确定与目标解码视频帧具有对应关系的为基准编码视频帧，此时只能从存储区域中删除基准解码视频帧对应的第一信息地址，存储区域中会一直存在基准编码视频帧的下一个或多个编码视频帧对应的第一信息地址无法被对应，为了不影响下一个编码视频帧的解码，当存储区域中存在保存时长大于目标时长阈值的第一信息地址，删除保存时长大于目标时长阈值的第一信息地址；其中的目标时长阈值可以根据实际需要进行设置。

上述方式中，针对不同的编码视频帧异常情况，设置了不同的处理方式，当编码视频帧存在丢包等缺失异常时，会使输出的目标解码视频帧的顺序发生异常，可以通过第一信息地址中的顺序标识，确定目标解码视频帧与目标编码视频帧对齐关系，以及在指定队列中的位置。当目标编码视频帧包括多帧时，为了避免除第一个目标解码视频帧以外的目标解码视频帧影响下一个编码视频帧解码等，将第一个目标解码视频帧以外的目标解码视频帧与上一个目标解码视频帧对应的目标编码视频帧对应。当目标编码视频帧不完整时，利用多个目标编码视频帧得到完整的目标解码视频帧，同时为了避免影响下一个编码视频帧解码，及时删除多余的目标编码视频帧以及对应的第一信息地址。该方式中以cuvidParseVideoData函数调用CUVIDSOURCEDATAPACKET结构中的timestamp模拟成第一信息地址的形式作为对齐的唯一标识，针对不同的异常情况均可以使目标解码视频帧与目标编码视频帧相对应，同时在编码视频帧队列中对齐，提高了视频帧解码的准确性，进而提高了视频播放的质量。

实施例五：

本实施例提供了一种具体的视频帧的处理方法，参见图9所示，Packet队列对应上述编码视频帧队列；Packet_n对应上述目标编码视频帧；Packet队列右边的方框的信息对应上述第一信息地址，其中包括有自增id对应上述顺序标识，第一信息地址中的信息都为64位整数数据类型；首先创建MyStruct(对应上述第一信息地址)将该地址替换Packet中的时间戳(timestamp)参数；同时将创建的结构体地址保存至容器中。将Packet_n以及对应的MyStruct中的信息，输入至解码器，得到对应的Frame_n(对应上述目标解码视频帧以及对应的第二信息地址)，从Frame_n获取时间戳将该时间戳转换为结构体的类型，判断Frame_n中获取的结构体中的信息与容器中的结构体信息是否相同，相同则说明Frame_n中获取的结构体有效，设置Frame_n和Packet_n具有对应关系；然后根据容器中结构体中的自增id在已经解码的Packet列队中获取Frame_n和Packet_n在队列中的位置。

本发明实施例提供的视频帧的处理方法，与上述实施例提供的视频帧的处理方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。

实施例六：

对应上述的方法实施例，本发明实施例提供了一种视频帧的处理装置，如图10所示，该装置包括：

生成模块1010，用于生成目标编码视频帧的第一信息地址；其中，第一信息地址中保存的信息用于：指示目标编码视频帧在编码视频帧队列中的排列顺序；

输出模块1020，用于将目标编码视频帧以及第一信息地址输入至解码器中，输出目标编码视频帧对应的目标解码视频帧，以及目标解码视频帧对应的第二信息地址；

处理模块1030，用于基于第二信息地址与第一信息地址，将目标解码视频帧与目标编码视频帧进行对齐处理。

本发明实施例提供的一种视频帧的处理装置，生成目标编码视频帧的第一信息地址；该第一信息地址中保存的信息用于：指示目标编码视频帧在编码视频帧队列中的排列顺序；将目标编码视频帧以及第一信息地址输入至解码器中，输出目标编码视频帧对应的目标解码视频帧，以及目标解码视频帧对应的第二信息地址；基于第二信息地址与第一信息地址，将目标解码视频帧与目标编码视频帧进行对齐处理。该方式为编码视频帧和解码视频帧设置信息地址，通过该信息地址实现编码视频帧与解码视频帧的对齐，相对于仅通过编码视频帧和解码视频帧的输入输出顺序进行对齐的方式，本实施例可以保证编码视频帧和解码视频帧具有正确的对应关系，降低图像信息显示的偏移和误差，有利于图像信息与视频帧之间的准确显示。

进一步的，上述输出模块还用于：通过解码器对目标编码视频帧进行解码处理，得到目标解码视频帧；如果目标解码视频帧包括一帧，将第一信息地址确定为目标解码视频帧对应的第二信息地址。

进一步的，上述输出模块还用于：如果目标解码视频帧包括多帧，将第一信息地址确定为第一个目标解码视频帧对应的第二信息地址；随机生成除第一个目标解码视频帧以外的目标解码视频帧对应的第二信息地址。

进一步的，上述输出模块还用于：如果目标解码视频帧的数据不完整，将目标编码视频帧确定为基准编码视频帧；将基准编码视频帧的下一个编码视频帧作为更新的目标编码视频帧，执行生成目标编码视频帧的第一信息地址，将目标编码视频帧以及第一信息地址输入至解码器中的步骤，直至基准编码视频帧对应的目标解码视频帧的数据完整；将基准编码视频帧的第一信息地址确定为目标解码视频帧的第二信息地址。

进一步的，上述处理模块还用于：如果第二信息地址与第一信息地址相同，设置目标解码视频帧与目标编码视频帧具有对齐关系，保存目标解码视频帧与目标编码视频帧。

进一步的，上述第一信息地址中保存有顺序标识；按照编码视频帧队列中每个编码视频帧的排列顺序，每个编码视频帧对应的顺序标识具有指定的单调关系；单调关系包括单调递增或单调递减；上述处理模块还用于：如果第二信息地址与第一信息地址相同，查询第一信息地址中保存的顺序标识；如果第一信息地址中保存的顺序标识，与目标编码视频帧的前一个编码视频帧对应的顺序标识之间的大小关系，满足单调关系，设置目标解码视频帧与目标编码视频帧具有对齐关系；将目标解码视频帧与目标编码视频帧保存至前一个编码视频帧之后。

进一步的，已设置对齐关系的解码视频帧与编码视频帧，按照顺序标识的单调关系的顺序保存在指定队列中；上述处理模块还用于：如果第一信息地址中保存的顺序标识，与目标解码视频帧的前一个解码视频帧对齐的编码视频帧的顺序标识之间的大小关系，不满足单调关系，根据第一信息地址中保存的顺序标识确定目标解码视频帧与目标编码视频帧在指定队列中的目标位置；设置目标解码视频帧与目标编码视频帧具有对应关系，将目标解码视频帧与目标编码视频帧保存在指定队列中的目标位置。

进一步的，上述处理模块还用于：如果第二信息地址与第一信息地址不同，获取与目标解码视频帧的上一个解码视频帧具有对齐关系的第一编码视频帧，设置目标解码视频帧与第一编码视频帧之间具有对齐关系。

进一步的，上述每个输入至解码器的编码视频帧对应的第一信息地址保存在指定的存储区域中；上述装置还用于：如果目标编码视频帧与目标解码视频帧设置有对齐关系，从存储区域中删除目标解码视频帧对应的第一信息地址；如果存储区域中存在保存时长大于目标时长阈值的第一信息地址，删除保存时长大于目标时长阈值的第一信息地址。

本发明实施例提供的视频帧的处理装置，与上述实施例提供的视频帧的处理方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。

实施例六：

本发明实施例提供了一种电子系统，该电子系统包括：图像采集设备、处理设备和存储装置；图像采集设备，用于获取预览视频帧或图像数据；存储装置上存储有计算机程序，计算机程序在被处理设备运行时执行如上述视频帧的处理方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的电子系统的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理设备运行时执行如上述视频帧的处理方法的步骤。

本发明实施例所提供的视频帧的处理方法、装置和电子系统的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (11)

1.一种视频帧的处理方法，其特征在于，所述方法包括：

生成目标编码视频帧的第一信息地址；其中，所述第一信息地址中保存的信息用于：指示所述目标编码视频帧在编码视频帧队列中的排列顺序；

将所述目标编码视频帧以及所述第一信息地址输入至解码器中，输出所述目标编码视频帧对应的目标解码视频帧，以及所述目标解码视频帧对应的第二信息地址；

基于所述第二信息地址与所述第一信息地址，将所述目标解码视频帧与所述目标编码视频帧进行对齐处理。

2.根据权利要求1所述的方法，其特征在于，将所述目标编码视频帧以及所述第一信息地址输入至解码器中，输出所述目标编码视频帧对应的目标解码视频帧，以及所述目标解码视频帧对应的第二信息地址的步骤，包括：

通过所述解码器对所述目标编码视频帧进行解码处理，得到所述目标解码视频帧；

如果所述目标解码视频帧包括一帧，将所述第一信息地址确定为所述目标解码视频帧对应的第二信息地址；

和/或，

如果所述目标解码视频帧包括多帧，将所述第一信息地址确定为第一个目标解码视频帧对应的第二信息地址；随机生成除所述第一个目标解码视频帧以外的目标解码视频帧对应的第二信息地址。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

如果所述目标解码视频帧的数据不完整，将所述目标编码视频帧确定为基准编码视频帧；

将所述基准编码视频帧的下一个编码视频帧作为更新的目标编码视频帧，执行所述生成目标编码视频帧的第一信息地址，将所述目标编码视频帧以及所述第一信息地址输入至解码器中的步骤，直至所述基准编码视频帧对应的目标解码视频帧的数据完整；

将所述基准编码视频帧的第一信息地址确定为所述目标解码视频帧的第二信息地址。

4.根据权利要求1-3任一项所述的方法，其特征在于，基于所述第二信息地址与所述第一信息地址，将所述目标解码视频帧与所述目标编码视频帧进行对齐处理的步骤，包括：

如果所述第二信息地址与所述第一信息地址相同，设置所述目标解码视频帧与所述目标编码视频帧具有对齐关系，保存所述目标解码视频帧与所述目标编码视频帧。

5.根据权利要求4所述的方法，其特征在于，所述第一信息地址中保存有顺序标识；按照所述编码视频帧队列中每个所述编码视频帧的排列顺序，每个所述编码视频帧对应的顺序标识具有指定的单调关系；所述单调关系包括单调递增或单调递减；

所述如果所述第二信息地址与所述第一信息地址相同，设置所述目标解码视频帧与所述目标编码视频帧具有对齐关系，保存所述目标解码视频帧与所述目标编码视频帧的步骤，包括：

如果所述第二信息地址与所述第一信息地址相同，查询所述第一信息地址中保存的顺序标识；

如果所述第一信息地址中保存的顺序标识，与所述目标编码视频帧的前一个编码视频帧对应的顺序标识之间的大小关系，满足所述单调关系，设置所述目标解码视频帧与所述目标编码视频帧具有对齐关系；

将所述目标解码视频帧与所述目标编码视频帧保存至所述前一个编码视频帧之后。

6.根据权利要求5所述的方法，其特征在于，已设置对齐关系的解码视频帧与编码视频帧，按照所述顺序标识的所述单调关系的顺序保存在指定队列中；所述方法还包括：

如果所述第一信息地址中保存的顺序标识，与所述目标解码视频帧的前一个解码视频帧对齐的编码视频帧的顺序标识之间的大小关系，不满足所述单调关系，根据第一信息地址中保存的顺序标识确定所述目标解码视频帧与所述目标编码视频帧在所述指定队列中的目标位置；

设置所述目标解码视频帧与所述目标编码视频帧具有对应关系，将所述目标解码视频帧与所述目标编码视频帧保存在所述指定队列中的所述目标位置。

7.根据权利要求4所述的方法，其特征在于，所述方法还包括：

如果所述第二信息地址与所述第一信息地址不同，获取与所述目标解码视频帧的上一个解码视频帧具有对齐关系的第一编码视频帧，设置所述目标解码视频帧与所述第一编码视频帧之间具有对齐关系。

8.根据权利要求4所述的方法，其特征在于，每个输入至所述解码器的编码视频帧对应的第一信息地址保存在指定的存储区域中；所述方法还包括：

如果所述目标编码视频帧与所述目标解码视频帧设置有对齐关系，从所述存储区域中删除所述目标解码视频帧对应的第一信息地址；

如果所述存储区域中存在保存时长大于目标时长阈值的第一信息地址，删除所述保存时长大于目标时长阈值的第一信息地址。

9.一种视频帧的处理装置，其特征在于，所述装置包括：

生成模块，用于生成目标编码视频帧的第一信息地址；其中，所述第一信息地址中保存的信息用于：指示所述目标编码视频帧在编码视频帧队列中的排列顺序；

输出模块，用于将所述目标编码视频帧以及所述第一信息地址输入至解码器中，输出所述目标编码视频帧对应的目标解码视频帧，以及所述目标解码视频帧对应的第二信息地址；

处理模块，用于基于所述第二信息地址与所述第一信息地址，将所述目标解码视频帧与所述目标编码视频帧进行对齐处理。

10.一种电子系统，其特征在于，所述电子系统包括：处理设备和存储装置；

所述存储装置上存储有计算机程序，所述计算机程序在被所述处理设备运行时执行如权利要求1至8任一项所述的视频帧的处理方法。

11.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理设备运行时执行如权利要求1至8任一项所述的视频帧的处理方法的步骤。

Images