CN115802054A - 视频对齐方法及装置 - Google Patents

Abstract

本申请公开了一种视频对齐方法及装置，方法包括：获取源视频中的补充增强信息SEI信息；将源视频进行转码处理，并将SEI信息复制写入，得到转码视频；根据源视频及转码视频中的相同SEI信息，将源视频及转码视频进行视频对齐。将源视频的SEI信息复制写入至转码视频中，即得到的转码视频与源视频中的SEI信息为同一SEI信息。根据源视频及转码视频中的相同SEI信息，可以将源视频及转码视频进行视频对齐，且无需对源视频及转码视频的视频画面进行解码，节省资源，视频对齐的处理速度也大幅提升。

Description

视频对齐方法及装置

技术领域

本申请涉及直播技术领域，具体涉及一种视频对齐方法及装置。

背景技术

在直播业务中，为方便用户观看视频，减少视频卡顿等情况，可以对主播的源视频进行转码，得到转码视频，将转码视频推流给用户观看。

对于转码视频，为保障其质量不影响用户的观看效果，需要对其进行质量评估。质量评估时可以如播放源视频和转码视频的相同画面，通过视觉观察画面进行视频质量评估。但由于转码的过程中会引入延时，导致转码视频和源视频的画面不能对齐，因此，需要一种对视频对齐的方法。

发明内容

鉴于上述问题，提出了本申请实施例以便提供一种克服上述问题或者至少部分地解决上述问题的视频对齐方法及装置。

根据本申请实施例的第一方面，提供了一种视频对齐方法，其包括：

获取源视频中的补充增强信息SEI信息；

将源视频进行转码处理，并将SEI信息复制写入，得到转码视频；

根据源视频及转码视频中的相同SEI信息，将源视频及转码视频进行视频对齐。

可选地，获取源视频中的SEI信息进一步包括：

对源视频进行解封装，得到存储压缩编码数据的结构体；

解析结构体，得到源视频的SEI信息。

可选地，在获取源视频中的SEI信息后，方法还包括：

基于结构体的解码时间戳将SEI信息存储至缓存。

可选地，将源视频进行转码处理，并将SEI信息复制写入，得到转码视频进一步包括：

将源视频进行转码处理；

从缓存中根据结构体的解码时间戳获取对应的SEI信息；

将SEI信息复制写入转码处理后的视频，得到转码视频。

可选地，方法还包括：

为源视频中的视频帧增加SEI信息。

可选地，SEI信息采用递增方式设置。

可选地，SEI信息包括SEI序号、显示时间戳和/或标识码。

可选地，根据源视频及转码视频中的相同SEI信息，将源视频及转码视频进行视频对齐进一步包括：

对源视频及转码视频进行解封装，分别获取源视频的SEI信息以及转码视频的SEI信息；

比对源视频的SEI信息和转码视频的SEI信息，确定相同SEI信息对应的源视频的第一视频帧和转码视频的第二视频帧；

将源视频的第一视频帧以及转码视频的第二视频帧同时播放和/或存储，完成源视频及转码视频的视频对齐。

可选地，比对源视频的SEI信息和转码视频的SEI信息，确定相同SEI信息对应的源视频的第一视频帧和转码视频的第二视频帧进一步包括：

比对源视频的SEI序号和转码视频的SEI序号，确定相同SEI序号对应的源视频的第一视频帧和转码视频的第二视频帧；

或者，

比对源视频的显示时间戳和转码视频的显示时间戳，确定相同显示时间戳对应的源视频的第一视频帧和转码视频的第二视频帧；

或者，

比对源视频的标识码和转码视频的标识码，确定相同标识码对应的源视频的第一视频帧和转码视频的第二视频帧。

可选地，源视频的第一视频帧的个数和转码视频的第二视频帧的个数相同。

可选地，第一视频帧的个数为多个；第二视频帧的个数为多个；

将源视频的第一视频帧以及转码视频的第二视频帧同时播放和/或存储，完成源视频及转码视频的视频对齐进一步包括：

将相同SEI信息的源视频的第一视频帧和转码视频的第二视频帧按照视频播放的先后顺序排序，并建立一一对应关系；

将具有对应关系的第一视频帧和第二视频帧同时播放和/或存储，完成源视频及转码视频的视频对齐。

根据本申请实施例的第二方面，提供了一种视频对齐装置，其包括：

获取模块，适于获取源视频中的补充增强信息SEI信息；

复制写入模块，适于将源视频进行转码处理，并将SEI信息复制写入，得到转码视频；

对齐模块，适于根据源视频及转码视频中的相同SEI信息，将源视频及转码视频进行视频对齐。

根据本申请实施例的第三方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述视频对齐方法对应的操作。

根据本申请实施例的第四方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述视频对齐方法对应的操作。

根据本申请的提供的视频对齐方法及装置，将源视频的SEI信息复制写入至转码视频中，即得到的转码视频与源视频中的SEI信息为同一SEI信息。根据源视频及转码视频中的相同SEI信息，可以将源视频及转码视频进行视频对齐，且无需对源视频及转码视频的视频画面进行解码，节省资源，视频对齐的处理速度也大幅提升。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本申请一个实施例的视频对齐方法的流程图；

图2示出了根据本申请另一个实施例的视频对齐方法的流程图；

图3示出了根据本申请一个实施例的视频对齐装置的结构示意图；

图4示出了根据本申请一个实施例的一种计算设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。

首先，对本申请一个或多个实施例涉及的名词术语进行解释。

转码：对音视频进行重新编码；

视频对齐：视频在转码前后播放的内容是相同的；

视频编解码器：能够对数字视频进行压缩或者解压缩的程序或设备；

比特流：描述视频帧属性的数据结构；

ffprobe：从多媒体流中收集信息并以人类和机器可读的方式打印出来；

ffmpeg：可以用来记录、转换数字音视频，并能将其转化为流的开源计算机程序；

SEI(Supplemental Enhancement Information)：补充增强信息，提供给用户向视频码流中加入额外信息的方法；

PTS(Presentation Time Stamp)：显示时间戳，告诉播放器在什么时间播放这一帧的数据。

图1示出了根据本申请一实施例的视频对齐方法的流程图，如图1所示，该方法包括如下步骤：

步骤S101，获取源视频中的补充增强信息SEI信息。

SEI信息即补充增强信息，可以插入到音视频流中，用于传达额外信息。SEI信息包括如payloadType定义SEI信息类型，payloadSize为SEI消息的大小，uuid_iso_iec_11578中从16个字节开始写入内容，内容可以自定义，本实施例中SEI信息用于将视频对齐，内容可以采用如标签等方便比对的数据，根据比对结果来完成视频对齐，具体内容可以根据实施情况设置，此处不做限定。

进一步，SEI信息并非解码过程中的必须选项，可以用于解码过程中的容错、纠错，可以集成在视频比特流中，也就是说，SEI信息在视频生成、视频传输过程中均可以插入，可以随着视频经传输链路一起传输，且无需解码即可获取到SEI信息，减少资源消耗，处理速度较快。基于以上特性，在边缘计算节点对源视频进行转码处理前，即边缘计算节点接收到源视频后，源视频中的SEI信息可以直接快速获取，具体的，如利用ffmpeg对源视频进行解封装，根据获取其中的SEI信息，根据payloadType、payloadSize等确定SEI信息，读取uuid_iso_iec_11578中包含的内容等。

步骤S102，将源视频进行转码处理，并将SEI信息复制写入，得到转码视频。

对源视频进行转码处理需要将源视频先进行解码，再对其重新编码，这一过程可以利用如视频编解码器等进行解码、编码处理等，方便用户拉流观看。考虑到在转码处理过程中，SEI信息会被修改，导致最终得到的转码视频中的SEI信息与源视频中的SEI信息不一致。因此，本实施例先获取到源视频中的SEI信息后，再对源视频进行转码处理，在转码处理后，再将获取到的SEI信息复制写入至转码处理后的视频中，使得最终得到的转码视频中的SEI信息与源视频中的SEI信息保存一致。

步骤S103，根据源视频及转码视频中的相同SEI信息，将源视频及转码视频进行视频对齐。

得到转码视频后，可以对源视频及转码视频中SEI信息进行比对，如对源视频及转码视频进行解封装，获取到源视频的SEI信息以及转码视频的SEI信息。由于SEI信息与视频帧绑定，可以将源视频的SEI信息以及转码视频的SEI信息按照视频帧进行一一比对，确定具有相同SEI信息所在位置的视频帧，即确定源视频和转码视频中具有相同播放内容的视频帧，按照相同的视频帧对源视频及转码视频进行视频对齐，使得源视频及转码视频播放相同内容。

根据本申请提供的视频对齐方法，将源视频的SEI信息复制写入至转码视频中，即得到的转码视频与源视频中的SEI信息为同一SEI信息。根据源视频及转码视频中的相同SEI信息，可以将源视频及转码视频进行视频对齐，且无需对源视频及转码视频的视频画面进行解码，节省资源，视频对齐的处理速度也大幅提升。

图2示出了根据本申请一实施例的视频对齐方法的流程图，如图2所示，该方法包括以下步骤：

步骤S201，为源视频中的视频帧增加SEI信息。

在直播的源视频中可以为其增加SEI信息，增加SEI信息在对源视频进行转码处理前增加，如将主播的源视频上传至服务端时增加，将增加SEI信息后的源视频传输至边缘计算节点再进行转码处理，或者传输至边缘计算节点，在进行转码处理前为其增加SEI信息等，此处不做限定。

增加的SEI信息与源视频中的视频帧对应，对源视频中的视频帧增加SEI信息，具体的，对源视频中每一视频帧增加一一对应的SEI信息。SEI信息采用递增方式设置，uuid_iso_iec_11578中包含的内容可以为SEI序号sei_idx，第1帧中SEI序号sei_idx设置为1，第2帧中SEI序号sei_idx设置为2，第3帧中SEI序号sei_idx设置为3……基于SEI序号可以有效区分各个视频帧，且SEI序号的递增顺序与视频帧的先后顺序相符；或者，uuid_iso_iec_11578中包含的内容可以为PTS(Presentation Time Stamp，显示时间戳)，PTS可以告诉视频播放器具体播放其对应的视频帧的时间，PTS与源视频中视频帧的顺序相关，视频帧在先的PTS的时间早于视频帧在后的PTS的时间，每个视频帧中的PTS根据视频帧的顺序也会呈现递增趋势。PTS具体数值的设置可以如在生成源视频时由编码器生成，如选择一个参考时钟，参考时钟上的时间是线性递增的，编码器依据参考时钟上的时间给每个视频帧打上时间戳，该时间戳即PTS，以上为举例说明，也可以采用其他方式设置，此处不做限定；或者，uuid_iso_iec_11578中包含的内容可以为标识码，如二维码等各种标识码，生成标识码时，可以根据递增的流水号或者序号等，将其转换生成对应的标识码，为每个视频帧设置不同的标识码，使得每个视频帧对应的SEI信息的标识码也呈现递增趋势，与视频帧的顺序相呼应，且可以有效区分各个视频帧。以上SEI信息为举例说明，具体设置可以根据实施情况设置，此处不做展开说明。

SEI信息属于码流范畴，是向视频码流中加入的额外信息，SEI信息采用比特流，增加时使用如ffmpeg从源视频中提取出h.264码流，使用h264_metadata比特流过滤器添加SEI信息等，以上为举例说明，具体增加SEI信息所采用的技术手段此处不做限定。

进一步，在对源视频的视频帧增加SEI信息前，还可以利用ffmpeg检测源视频中是否已经存在SEI信息，若已经存在，则无需重新增加，避免重复设置。如利用ffmpeg对源视频解封装，利用ffprobe可以查看音视频文件的各种信息，如封装格式、音频/视频流信息、数据包信息等，通过查看数据包信息中存储压缩编码数据的结构体avPacket，可以查看源视频中各视频帧是否设置有对应的SEI信息，避免重复设置。

步骤S202，获取源视频中的SEI信息。

将增加SEI信息后的源视频传输给边缘计算节点进行转码处理前，对源视频进行解封装，如利用ffmpeg工具对源视频进行解封装，得到源视频中存储压缩编码数据的结构体avPacket，SEI信息设置在avPacket中。通过解析结构体avPacket，可以得到源视频的SEI信息。

此处，仅对源视频进行解封装，获取其SEI信息，不对其进行解码、重新编码等处理，可以减少对资源的消耗，其处理速度较快。对源视频仅进行解封装，不对其做其它任何处理，不涉及对源视频中具体视频内容的修改，保障源视频还是原来的视频内容。

步骤S203，基于结构体的解码时间戳将SEI信息存储至缓存。

考虑到后续对源视频进行转码处理时，转码处理会将源视频进行解码，重新对其进行编码，这一过程中，导致转后视频中的SEI信息被修改，与源视频的SEI信息不一致，无法直接对视频对齐。因此，需要将获取的源视频的SEI信息先进行存储，方便后续直接复制写入转码视频。如将SEI信息存储至缓存中，在转码处理后可以直接从缓存获取SEI信息进行复制写入。

进一步，SEI信息与视频帧对应，多个视频帧对应多个SEI信息，复制写入时也需要确定具体写入时对应的视频帧。在存储时，可以根据avPacket中的DTS(Decoding TimeStamp，解码时间戳)来存储SEI信息。具体的，DTS用于告诉播放器该在什么时候解码这一视频帧的数据，与视频帧对应。将SEI信息按照DTS来存储，可以方便在对源视频进行转码处理时，根据DTS解码视频帧，并获取DTS对应的SEI信息，方便准确写入。

步骤S204，将源视频进行转码处理，根据结构体的解码时间戳获取SEI信息，并将SEI信息复制写入，得到转码视频。

对源视频进行转码处理，如将源视频进行解码，如按照DTS对应的解码各视频帧，对其进行重新编码，同时，从缓存中根据结构体的解码时间戳DTS获取各视频帧对应的SEI信息，将SEI信息直接复制写入转码处理后的视频，得到转码视频。转码视频中的SEI信息是基于源视频的SEI信息的复制，保证了转码视频中的SEI信息与源视频的SEI信息的一致。

步骤S205，根据源视频及转码视频中的相同SEI信息，将源视频及转码视频进行视频对齐。

在进行视频对齐时，根据源视频和转码视频中所包含的SEI信息，将具有相同SEI信息的各视频帧进行对齐，实现源视频及转码视频的视频对齐。具体的，对源视频及转码视频进行解封装，如利用ffmpeg对源视频及转码视频进行解封装，分别获取到源视频的SEI信息以及转码视频的SEI信息。对源视频的SEI信息和转码视频的SEI信息进行比对，确定相同SEI信息对应的源视频的第一视频帧和转码视频的第二视频帧。如SEI信息为SEI序号，则比对源视频中各视频帧的SEI信息的SEI序号和转码视频中各视频帧的SEI信息的SEI序号，确定具有相同SEI序号的源视频的第一视频帧和转码视频的第二视频帧，如源视频的第1帧中SEI序号为1，转码视频的第1帧中SEI序号也为1，源视频的第一视频帧即源视频的第1帧，转码视频的第二视频帧即转码视频的第1帧；或者，SEI信息为显示时间戳，比对源视频中各视频帧的SEI信息的显示时间戳和转码视频中各视频帧的SEI信息的显示时间戳，当源视频的视频帧中的显示时间戳与转码视频的视频帧中的显示时间戳相同时，确定具有相同显示时间戳的源视频的第一视频帧和转码视频的第二视频帧；或者，比对源视频中各视频帧的SEI信息的标识码和转码视频中各视频帧的SEI信息的标识码，当源视频的视频帧中的标识码与转码视频的视频帧中的标识码相同时，确定具有相同标识码的源视频的第一视频帧和转码视频的第二视频帧。进一步，源视频的第一视频帧的个数和转码视频的第二视频帧的个数相同，如比对后，确定源视频的第一视频帧的个数为20个，转码视频的第二视频帧的个数也是20个。

当第一视频帧和第二视频帧的个数为多个时，对将源视频的第一视频帧以及转码视频的第二视频帧同时播放、或者存储时，可以先将相同SEI信息的源视频的第一视频帧和转码视频的第二视频帧按照视频播放的先后顺序排序，如源视频的第一视频帧包括第1帧、第2帧、第3帧……转码视频的第二视频帧包括第1帧、第2帧、第3帧……，各自按照各自视频播放的先后顺序，如PTS的显示时间戳的先后顺序排序，并对各个第一视频帧和第二视频帧建立一一对应关系，如源视频的第1帧对应转码视频的第1帧、源视频的第2帧对应转码视频的第2帧、源视频的第3帧对应转码视频的第3帧……在播放时，可以将具有对应关系的第一视频帧和第二视频帧同时播放，完成视频对齐，可以视觉观察两个视频帧的画面，进行质量评估等。存储时，按照对应关系，将对应的第一视频帧和第二视频帧进行存储，完成源视频及转码视频的视频对齐。

基于以上处理，如以时长2s的视频为例，仅解封装与解码操作相比，处理速度可以提升50倍左右，cpu的性能占用也从解码的1764.14％降低到3.14％，大大减少对资源消耗，具体实施时，根据设备性能数据也会略有不同。本实施例在视频对齐时，无需解码可以大幅提高处理速度，并且降低解码压力。

根据本申请提供的视频对齐方法，将获取的源视频的SEI信息先存储至缓存，在转码处理时，将源视频的SEI信息复制写入至转码视频中，最终得到的转码视频中的SEI信息与源视频中的SEI信息一致，可以根据源视频及转码视频中的SEI信息进行比对，确定相同SEI信息对应的源视频的第一视频帧和转码视频的第二视频帧，将源视频的第一视频帧以及转码视频的第二视频帧同时播放、存储，完成源视频和转码视频的视频对齐。这一过程中仅对源视频及转码视频进行解封装获取SEI信息进行比对，无需对源视频及转码视频的视频画面进行解码，提升处理速度，也减低对资源占用。

图3示出了本申请一实施例提供的视频对齐装置的结构示意图。如图3所示，该装置包括：

获取模块310，适于获取源视频中的补充增强信息SEI信息；

复制写入模块320，适于将源视频进行转码处理，并将SEI信息复制写入，得到转码视频；

对齐模块330，适于根据源视频及转码视频中的相同SEI信息，将源视频及转码视频进行视频对齐。

可选地，获取模块310进一步适于：

对源视频进行解封装，得到存储压缩编码数据的结构体；

解析结构体，得到源视频的SEI信息。

可选地，装置还包括：

缓存模块340，适于基于结构体的解码时间戳将SEI信息存储至缓存。

可选地，复制写入模块320进一步适于：

将源视频进行转码处理；

从缓存中根据结构体的解码时间戳获取对应的SEI信息；

将SEI信息复制写入转码处理后的视频，得到转码视频。

可选地，装置还包括：

增加模块350，适于为源视频中的视频帧增加SEI信息。

可选地，SEI信息采用递增方式设置。

可选地，SEI信息包括SEI序号、显示时间戳和/或标识码。

可选地，对齐模块330进一步适于：

对源视频及转码视频进行解封装，分别获取源视频的SEI信息以及转码视频的SEI信息；

比对源视频的SEI信息和转码视频的SEI信息，确定相同SEI信息对应的源视频的第一视频帧和转码视频的第二视频帧；

将源视频的第一视频帧以及转码视频的第二视频帧同时播放和/或存储，完成源视频及转码视频的视频对齐。

可选地，对齐模块330进一步适于：

比对源视频的SEI序号和转码视频的SEI序号，确定相同SEI序号对应的源视频的第一视频帧和转码视频的第二视频帧；

或者，

比对源视频的显示时间戳和转码视频的显示时间戳，确定相同显示时间戳对应的源视频的第一视频帧和转码视频的第二视频帧；

或者，

比对源视频的标识码和转码视频的标识码，确定相同标识码对应的源视频的第一视频帧和转码视频的第二视频帧。

可选地，源视频的第一视频帧的个数和转码视频的第二视频帧的个数相同。

可选地，第一视频帧的个数为多个；第二视频帧的个数为多个；

对齐模块330进一步适于：

将相同SEI信息的源视频的第一视频帧和转码视频的第二视频帧按照视频播放的先后顺序排序，并建立一一对应关系；

将具有对应关系的第一视频帧和第二视频帧同时播放和/或存储，完成源视频及转码视频的视频对齐。

以上各模块的描述参照方法实施例中对应的描述，在此不再赘述。

根据本申请提供的视频对齐装置，将源视频的SEI信息复制写入至转码视频中，即得到的转码视频与源视频中的SEI信息为同一SEI信息。根据源视频及转码视频中的相同SEI信息，可以将源视频及转码视频进行视频对齐，且无需对源视频及转码视频的视频画面进行解码，节省资源，视频对齐的处理速度也大幅提升。

本申请还提供了一种非易失性计算机存储介质，计算机存储介质存储有至少一可执行指令，可执行指令可执行上述任意方法实施例中的视频对齐方法。

图4示出了根据本申请一实施例的一种计算设备的结构示意图，本申请的具体实施例并不对计算设备的具体实现做限定。

如图4所示，该计算设备可以包括：处理器(processor)402、通信接口(Communications Interface)404、存储器(memory)406、以及通信总线408。

其中：

处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。

通信接口404，用于与其它设备比如客户端或其它服务器等的网元通信。

处理器402，用于执行程序410，具体可以执行上述视频对齐方法实施例中的相关步骤。

具体地，程序410可以包括程序代码，该程序代码包括计算机操作指令。

处理器402可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本申请的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器406，用于存放程序410。存储器406可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

程序410具体可以用于使得处理器402执行上述任意方法实施例中的视频对齐方法。程序410中各步骤的具体实现可以参见上述视频对齐实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。

在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的较佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。

Claims (14)

1.一种视频对齐方法，其包括：

获取源视频中的补充增强信息SEI信息；

将所述源视频进行转码处理，并将所述SEI信息复制写入，得到转码视频；

根据所述源视频及所述转码视频中的相同SEI信息，将所述源视频及所述转码视频进行视频对齐。

2.根据权利要求1所述的方法，其中，所述获取源视频中的SEI信息进一步包括：

对源视频进行解封装，得到存储压缩编码数据的结构体；

解析所述结构体，得到所述源视频的SEI信息。

3.根据权利要求1所述的方法，其中，在所述获取源视频中的SEI信息后，所述方法还包括：

基于所述结构体的解码时间戳将所述SEI信息存储至缓存。

4.根据权利要求3所述的方法，其中，所述将所述源视频进行转码处理，并将所述SEI信息复制写入，得到转码视频进一步包括：

将所述源视频进行转码处理；

从缓存中根据结构体的解码时间戳获取对应的SEI信息；

将所述SEI信息复制写入转码处理后的视频，得到转码视频。

5.根据权利要求1所述的方法，其中，所述方法还包括：

为所述源视频中的视频帧增加SEI信息。

6.根据权利要求5所述的方法，其中，所述SEI信息采用递增方式设置。

7.根据权利要求5所述的方法，其中，所述SEI信息包括SEI序号、显示时间戳和/或标识码。

8.根据权利要求1-7中任一项所述的方法，其中，所述根据所述源视频及所述转码视频中的相同SEI信息，将所述源视频及所述转码视频进行视频对齐进一步包括：

对所述源视频及所述转码视频进行解封装，分别获取所述源视频的SEI信息以及所述转码视频的SEI信息；

比对所述源视频的SEI信息和所述转码视频的SEI信息，确定相同SEI信息对应的所述源视频的第一视频帧和所述转码视频的第二视频帧；

将所述源视频的所述第一视频帧以及所述转码视频的第二视频帧同时播放和/或存储，完成所述源视频及所述转码视频的视频对齐。

9.根据权利要求8所述的方法，其中，所述比对所述源视频的SEI信息和所述转码视频的SEI信息，确定相同SEI信息对应的所述源视频的第一视频帧和所述转码视频的第二视频帧进一步包括：

比对所述源视频的SEI序号和所述转码视频的SEI序号，确定相同SEI序号对应的所述源视频的第一视频帧和所述转码视频的第二视频帧；

或者，

比对所述源视频的显示时间戳和所述转码视频的显示时间戳，确定相同显示时间戳对应的所述源视频的第一视频帧和所述转码视频的第二视频帧；

或者，

比对所述源视频的标识码和所述转码视频的标识码，确定相同标识码对应的所述源视频的第一视频帧和所述转码视频的第二视频帧。

10.根据权利要求8或9所述的方法，其中，所述源视频的第一视频帧的个数和所述转码视频的第二视频帧的个数相同。

11.根据权利要求8-10中任一项所述的方法，其中，所述第一视频帧的个数为多个；所述第二视频帧的个数为多个；

所述将所述源视频的所述第一视频帧以及所述转码视频的第二视频帧同时播放和/或存储，完成所述源视频及所述转码视频的视频对齐进一步包括：

将相同SEI信息的所述源视频的第一视频帧和所述转码视频的第二视频帧按照视频播放的先后顺序排序，并建立一一对应关系；

将具有对应关系的所述第一视频帧和所述第二视频帧同时播放和/或存储，完成所述源视频及所述转码视频的视频对齐。

12.一种视频对齐装置，其包括：

获取模块，适于获取源视频中的补充增强信息SEI信息；

复制写入模块，适于将所述源视频进行转码处理，并将所述SEI信息复制写入，得到转码视频；

对齐模块，适于根据所述源视频及所述转码视频中的相同SEI信息，将所述源视频及所述转码视频进行视频对齐。

13.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-11中任一项所述的视频对齐方法对应的操作。

14.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-11中任一项所述的视频对齐方法对应的操作。

Images