CN112437240B - 视频帧和时间码绑定方法、视频文件录制方法和编码器 - Google Patents

Abstract

本发明公开了一种视频帧和时间码绑定方法以及相应的视频文件录制方法和编码器，解决了现有技术中因视频源分两路发送视频帧和时间码而容易导致与其连接的编码器视频帧和时间码错位等问题，将视频帧和时间码进行绑定存储，使的编码器所形成的视频文件尽量与现场摄像机所采集的画面一致，降低了后期视频素材的编辑、剪辑等处理难度，提高了处理效率和节目制作效果。

Description

视频帧和时间码绑定方法、视频文件录制方法和编码器

技术领域

本发明涉及视频处理技术领域，尤其涉及一种视频帧和时间码绑定方法以及相应的视频文件录制方法和编码器。

背景技术

为了丰富画面，提高节目的可看性、娱乐性，往往采用多机位拍摄，摄像机或数码相机将所拍摄的画面进行存储，形成供后期编辑使用的节目素材。在节目的后期编辑中，来自同一场景多个机位的素材，需要在不同的视频轨上保持原始的相对时间关系。

如图1所示，以摄像机为例，在节目制作过程中，位于录制现场的摄像机采集拍摄现场的画面，发送至编码器，编码器将经过压缩、编码处理后生成可处理的视频文件发送至监控中心，监控中心根据编码器传输过来的视频文件进行处理，相应的处理操作将被应用于各摄像机所拍摄的现场画面。

时间码（Time Code，TC）是摄像机在记录图像信号的时候，针对每一帧图像记录的时间编码，是一种应用于流的数字信号。该信号为视频中的每个帧都分配一个数字，用以表示小时、分钟、秒钟和帧数。

为了更好地还原在实际拍摄中的场景，需要一定的同步技术，多台摄像机在现场进行视频信号采集时，会同时采集同步发生器所生成的时间码，以尽量保证各机位的时间码能够同步。

然而摄像机向编码器发送数据时，并未对视频帧和时间码进行绑定，而是分两路独立发送。现有技术中，编码器录制MP4、MOV文件只记录音/视频数据，未记录视频帧的时间码信息；亦或是编码器所采集的两路数据出现时间错位而导致其记录的时间码信息不能与视频帧的真实时间保持一一对应关系，进而导致监控中心以时间码索引视频帧时可能会出现漏帧、错帧、录制关键帧记录错误的现象，导致监控中心根据编码器存储的视频信号所形成的编辑、剪辑等操作指令最终对摄像机所拍摄的现场画面无法有效执行。对于多机位拍摄场景，因为视频帧和时间码的绑定错误会进一步增加后期的编辑处理难度，影响处理效果。

发明内容

有鉴于此，为了解决现有技术中因视频帧与时间码未进行有效绑定而影响节目录制效果的问题，本发明提供一种视频帧和时间码绑定方法以及相应的视频文件录制方法和编码器，将视频帧与其对应的时间码绑定存储，便于后期对视频文件的编辑处理。

为了解决上述问题，本发明提供一种视频帧和时间码绑定方法，所述视频帧和所述时间码来源于视频源，该方法包括以下步骤：

将所述视频帧按照采集时间顺序进行存储，得到视频帧队列；将所述时间码按照采集时间顺序进行存储，得到时间码队列；

对于所述视频帧队列中的每一视频帧，根据采集时间对所述视频帧标记第一时间戳，得到所述视频帧队列对应的第一时间戳队列；对于所述时间码队列的每一时间码，根据采集时间对所述时间码标记第二时间戳，得到所述时间码队列对应的第二时间戳队列；

对于所述视频帧队列中的每一视频帧，按照查找规则在所述第二时间戳队列中查找与标记所述视频帧的第一时间戳对应的第二时间戳，将所述视频帧与所查找的第二时间戳所标记的时间码绑定存储。

其中，所述查找规则为：对于所述视频帧队列中的每一视频帧，利用标记所述视频帧的第一时间戳以及所述视频帧队列的帧间隔确定查找区间，在所述第二时间戳队列中，查找位于所述查找区间内的第二时间戳作为与所述第一时间戳对应的第二时间戳。

进一步，所述查找规则还包括：

若所述查找区间内存在两个第二时间戳，则选择与所述第一时间戳时间间距最小的第二时间戳作为与所述第一时间戳对应的第二时间戳。

进一步，所述查找规则还包括：若所述查找区间内不存在第二时间戳，则选择与所述第一时间戳时间间距最小的第二时间戳作为与所述第一时间戳对应的第二时间戳。

其中，所述查找区间以所述第一时间戳为中心，区间长度为所述视频帧队列的帧间隔。

进一步，若所述视频帧队列的帧间隔为可变的，则对于所述视频帧队列中的每一视频帧，所述查找区间的区间长度为所述视频帧与其相邻视频帧的帧间隔。

相应地，本发明还提供一种视频文件录制方法，该方法采用上述视频帧和时间码绑定方法存储所述视频帧和时间码，在录制视频文件时同时写入所述视频帧和与其绑定的时间码。

进一步，存储所述视频帧和时间码的同时存储触发录制标志，通过所述触发录制标志能够确定录制视频文件的起始帧。

相应地，本发明还提供一种编码器，包括信息采集模块、控制模块和存储模块，所述控制模块分别与所述信息采集模块和存储模块电连接；所述信息采集模块与视频源电连接，采集所述视频源发送的视频帧和时间码；所述编码器还包括时钟电路，所述时钟电路为所述控制模块提供时钟信息，所述存储模块中存储有控制程序，所述控制模块能够执行所述控制程序，采用上述任意一项所述的视频帧和时间码绑定方法存储所述视频帧和所述时间码。

所述信息采集模块还采集所述视频源发送的触发录制标志，所述控制模块在存储所述视频帧和时间码的同时存储触发录制标志，并通过所述触发录制标志确定录制视频文件的起始帧。

与现有技术相比，本发明具有以下优势：

本发明中视频帧和时间码的绑定方法，利用时钟信息将所采集到的视频帧和时间码关联到同一时间轴上，建立两者之间的采集时间关系，并根据视频源的传输情况来确定查找规则，为各视频帧查找到其对应的时间码后绑定存储，便于后续对视频帧的处理。通过本发明中的视频文件录制方法所得到的视频文件中视频帧绑定了时间码，便于后期对视频文件的处理。本发明中编码器能够对视频帧和时间码进行精确绑定，便于监控中心根据编码器所传输的画面控制现场的视频源，进一步，在录制MP4、MOV等视频文件时，通过将视频帧和时间码以及触发录制标志进行绑定存储，可以实现与摄像机、数码相机等视频源对视频帧的同步录制，使得监控中心根据编码器录制的视频文件所制定的编辑、剪辑等操作，很容易应用于视频源所拍摄的现场画面，简化了后期素材处理流程，尤其是对于多机位摄像机的节目制作，提高了节目制作效率。

附图说明

图1是现有技术中节目制作场景示意图；

图2是本发明中编码器的模块示意图；

图3是本发明中视频帧和时间码的绑定方法流程图；

图4是本发明中查找规则的一个实施例；

图5是本发明中查找规则的第二个实施例；

图6是本发明中查找规则的第三个实施例。

具体实施方式

下面结合实施例对本发明作更进一步的说明。

在节目制作过程中通常采用摄像机、数码相机采集现场画面，如图1所示，以摄像机为例，位于拍摄现场的摄像机将所采集的现场画面传输至编码器，编码器对采集到的现场画面进行压缩、编码处理后传输至监控中心，经过编码器的处理，监控中心能够即时获取到现场画面，并据此调整各机位的摄像机。监控中心亦可对编码器录制的MP4或MOV文件进行编辑、剪辑等操作，类似操作将最终被应用于摄像机所存储的视频文件。

常见的摄像机、数码相机等视频源，其接口一般为高清多媒体接口（HighDefinition Multimedia Interface，HDMI）或数字分量串行接口(serial digitalinterface，SDI)，所输出的 HDMI信号或SDI信号不仅包含音频、视频等数据信息，还包含其他与数据信息相关信息，例如：HDMI信号的信息帧（INFOFRAME）和SDI信号的辅助数据（ANC），时间码和触发录制标志等辅助信息。

如图2所示，作为一种实施方式，本发明中的编码器包括：信息采集模块、控制模块、存储模块和输出模块，信息采集模块通过输入接口与摄像机、数码相机等视频源进行电连接，采集视频源发送的信息；控制模块分别与信息采集模块、存储模块和输出模块电连接；存储模块中存储有控制程序，控制模块能够执行该控制程序，信息采集模块在控制模块的控制下采集来自视频源的信息，控制模块对该信息进行压缩、编码等处理后，将处理后的信息存储至存储模块中；输出模块与监控中心等设备电连接，根据控制模块的控制输出处理后的信息。

本实施方式中，信息采集模块包括数据信息采集单元和辅助信息采集单元，数据信息采集单元采集包括视频帧的数据信息，辅助信息采集单元采集包括时间码的辅助信息；编码器还包括时钟电路，时钟电路与控制模块电连接，为控制模块提供时钟信息；控制模块根据该时钟信息对信息采集模块所采集到的视频帧、时间码分别标记时间戳，利用所标记的时间戳绑定视频帧和其对应的时间码，并存储至存储模块。

本实施方式中所描述某模块或某单元与另一模块或另一单元电连接是指所连接的模块或单元之间可以发送电信号，电连接方式包括直接连接或间接连接。本实施方式中，输入接口为HDMI接口或SDI接口，上述时钟电路、控制模块、信息采集模块、输出模块、存储模块在具体实现时可以选择现有的集成芯片，如时钟电路可以选择高精度时钟芯片DS3231、M41TC8025、MHY8025等，控制模块可以选择Hi3516等芯片，信息采集模块可以采用ADV7611或FPGA芯片，存储模块包括主存储器（内存）和辅助存储器（外存储器），其中主存储器可以选用DDR3芯片，辅助存储器可以选择非易失随机访问存储器如Winbond闪存系列芯片等，也可以为内置T卡。上述输出模块可以是有线或无线网络模块，也可以是HDMI接口模块或USB接口。即本实施方式中的编码器可以通过有线、无线方式将信息传输到网络，也可通过点对点方式发送到某个外部设备。

为了更加详细地说明上述实施方式中编码器的主要工作流程，如图3所示，本发明中视频帧和时间码的绑定方法，包括以下步骤：

将视频帧按照采集时间顺序进行存储，得到视频帧队列；将时间码按照采集时间顺序进行存储，得到时间码队列；

对于任意视频帧，根据采集时间对该视频帧标记第一时间戳，得到视频帧队列对应的第一时间戳队列；对于任意时间码，根据采集时间对该时间码标记第二时间戳，得到时间码队列对应的第二时间戳队列；

对于任意视频帧，利用标记该视频帧的第一时间戳按照查找规则在第二时间戳队列中查找与该第一时间戳对应的第二时间戳，再根据第二时间戳找到其所标记的时间码；将该视频帧与查找所得的时间码绑定存储。

具体的，如图4所示，控制模块将数据信息采集单元所采集的视频帧按采集时间顺序缓存至视频帧队列V_n中，对于视频帧队列V_n中的每一帧图像均标记第一时间戳，形成第一时间戳队列TS_n；控制模块将辅助信息采集单元所采集的时间码按采集时间顺序缓存至时间码队列TC_n中，对于时间码队列TC_n中的每一时间码均标记第二时间戳，形成第二时间戳队列TS'_n。

数据信息采集单元按顺序采集V₁、V₂ 、V₃...V₆、V₇等视频帧，根据摄像机的帧率任意相邻两视频帧会存在帧间隔，如视频帧V₁与视频帧V₂之间的帧间隔d₁，又如视频帧V₆与视频帧V₇之间的帧间隔d₆，各相邻两帧之间的帧间隔或相同或不同。视频帧间隔与摄像机的帧率有关，摄像机传输至编码器的帧间隔也相对固定，一般情况下，视频帧队列的帧间隔为固定值；若视频帧队列的帧间隔为可变时，则对于每一帧，该帧所对应的帧间隔为该视频帧与其下一相邻视频帧的帧间隔。

相应地，辅助信息采集单元按顺序采集TC₁、TC₂、TC₃...TC₆、TC₇等时间码，根据时间码的产生机理，各时间码之间的间隔与相应视频帧的帧间隔基本一致。以视频帧V₁为例，当数据信息采集单元采集到该视频帧时，控制模块为该视频帧标记第一时间戳TS₁，以此类推，得到第一时间戳TS₂、TS₃...TS₆、TS₇等，最终得到第一时间戳队列TS_n；当辅助信息采集单元采集到时间码TC₁时，控制模块为该时间码标记第二时间戳TS'₁，以此类推，得到第二时间戳TS'₂、TS'₃...TS'₆、TS'₇等，最终得到第二时间戳队列TS'_n。

本发明中通过以下实施例来具体介绍上述查找规则。

实施例1

一般情况下，数据信息采集单元所采集的视频帧与辅助信息单元所采集的相应时间码之间的时间误差范围在一定区间范围内，作为一种实施方式，本实施方式中以标记某一视频帧的第一时间戳为中心，以该帧与其相邻帧的帧间隔为区间长度，确定查找区间，在第二时间戳队列中查找位于该查找区间内的第二时间戳。如图4所示，以视频帧V₆为例，该帧与其相邻视频帧V₇之间的帧间隔为d₆，则查找视频帧V₆对应的时间码TC₆时，以该帧对应的第一时间戳TS₆为中心，以帧间隔d₆为区间长度确定查找区间，则在第二时间戳队列TS'_n中获取位于查找区间[TS₆-1/2d₆，TS₆+1/2d₆]内的第二时间戳TS'₆，进而找到其所标记的时间码TC₆，将视频帧V₆与时间码TC₆绑定存储。

本实施例中，对于每一视频帧，查找区间长度为该视频帧的帧间隔，也可根据数据信息采集单元和辅助信息采集单元所采集的时间误差范围来调整各视频帧所对应的查找区间长度，例如将视频帧V_j所对应的区间长度设置为k_j*d_j，k_j为视频帧V_j所对应的时间校准比率，通过前j-1个视频帧与其对应时间码所采集的时间误差范围来确定，d_j为视频帧V_j与其下一相邻视频帧V_j+1的帧间隔，则本实施例中k_j为1。

简而言之，本实施例中的查找规则为：对于视频帧队列中的每一视频帧，利用标记该视频帧的第一时间戳以及该视频帧队列的帧间隔确定查找区间，在第二时间戳队列中，查找位于该查找区间内的第二时间戳作为与标记该视频帧的第一时间戳所对应的第二时间戳。

实施例2

如图5所示，按照实施例1中的查找规则，根据视频帧V₄所对应的第一时间戳TS₄ 为中心，帧间隔d₄为区间长度，得到的查找区间为[TS₄-1/2d₄，TS₄+1/2d₄]，可以在第二时间戳队列TS'_n中查找到相应的第二时间戳TS'₄，进而查找到与该视频帧对应的时间码TC₄，将视频帧V₄与时间码TC₄绑定存储；然而对于视频帧V₅，在其所对应的查找区间 [TS₅-1/2d₅，TS₅+1/2d₅]内，存在TS'₄ 、TS'₅两个时间戳，这种情况需要二选一。本实施例中，针对这种情况，选择与第一时间戳TS₅最接近的第二时间戳TS'₅，进而确定其对应的时间码TC₅，将视频帧V₅与时间码TC₅绑定存储。

简而言之，本实施例中的查找规则为：对于视频帧队列中的每一视频帧，利用标记该视频帧的第一时间戳以及该视频帧队列的帧间隔确定查找区间，在第二时间戳队列中，查找位于该查找区间内的第二时间戳作为与标记该视频帧的第一时间戳所对应的第二时间戳。

在查找过程中，若该查找区间内存在两个第二时间戳，则选择与标记该视频帧的第一时间戳时间间距最小的第二时间戳作为与标记该视频帧的第一时间戳所对应的第二时间戳。

实施例3

如图6所示，按照实施例1中的查找规则，根据视频帧V₄所标记的第一时间戳TS₄为中心，帧间隔d₄为区间长度，得到的查找区间为[TS₄-1/2d₄，TS₄+1/2d₄]，而在第二时间戳队列TS'_n中相应查找区间内无法查找到第二时间戳TS'₄，即辅助信息单元未在该查找区间内采集到该视频帧所对应的时间码TC₄，这种情况可能是时间码在采集时遗漏，也可能是如图6所示，时延相对较大，落入视频帧V₅所对应的查找区间 [TS₅-1/2d₅，TS₅+1/2d₅]内，则在[TS₅-1/2d₅，TS₅+1/2d₅]内存在TS'₄、TS'₅两个第二时间戳，若按照实施例2中的查找规则，或许会绑定第二时间戳TS'₄，这将可能导致第二时间戳TS'₄被重复绑定，而TS'₅不存在对应的视频帧。

本实施例中，针对图6中视频帧V₄的情况，在第二时间戳队列TS'_n中，选择与第一时间戳TS₄最接近的第二时间戳，以此来确定视频帧V₄所对应的时间码TC₄；针对图6中视频帧V₅的情况，在其所对应的查找区间 [TS₅-1/2d₅，TS₅+1/2d₅]内，存在时间先、后两个第二时间戳TS'₄、TS'₅，首先选择距离第一时间戳TS₅时间间距最小的第二时间戳TS'₄作为视频帧V₅所对应的备选第二时间戳，进而判断该备选第二时间戳TS'₄ 是否已经被绑定存储，若是则选择第二时间戳TS'₅。一般情况下，若查找区间内存在的两个或多个第二时间戳均已被绑定，此时大概率编码器在数据采集过程中发生错误，编码器的控制模块发出报错信息。

简而言之，本实施例中的查找规则为：对于视频帧队列中的每一视频帧，首先利用标记该视频帧的第一时间戳以及该视频帧队列的帧间隔确定查找区间，在第二时间戳队列中，查找位于该查找区间内的第二时间戳作为与标记该视频帧的第一时间戳所对应的第二时间戳；若查找区间内有且仅有一个第二时间戳，则绑定存储该第一时间戳所标记的视频帧和该第二时间戳所标记的时间码，否则不做绑定处理；对于根据上述查找方式无法找到对应第二时间戳的视频帧，则进行如下补充绑定：

若该查找区间内不存在第二时间戳，则选择与标记该视频帧的第一时间戳时间间距最小的第二时间戳作为与标记该视频帧的第一时间戳所对应的第二时间戳；

若该查找区间内存在两个第二时间戳，则选择与标记该视频帧的第一时间戳时间间距最小的第二时间戳作为备选第二时间戳，若该备选第二时间戳所标记的时间码已被绑定，则选择查找区间内的另一个第二时间戳作为与标记该视频帧的第一时间戳所对应的第二时间戳。

当摄像机的录制功能被触发时，摄像机开始对所采集的图像信息进行录制，摄像机等视频源在向编码器所发送的辅助信息还包括触发录制标志，触发录制标志一般与时间码存储在一起，设触发录制标志包括启动、关闭两种状态，当触发录制标志切换为启动状态时，则表明摄像机开始录制，当触发录制标志切换为关闭状态时，则表明摄像机停止录制。

作为另一种实施方式，在按照如图3所示的方法，对任意时间码进行存储时，同步存储该时间码对应的触发录制标志；当视频帧与其对应的时间码绑定存储时，同步绑定存储触发录制标志。对于某一视频帧，若该帧所对应的触发录制标志切换为启动状态时，表明该视频帧为关键帧（录制文件的起始帧），故而，编码器可以在利用视频帧队列录制视频文件时，当某一视频帧为关键帧时，则开始录制，录制过程中对视频帧进行编码，并将视频帧所绑定存储的时间码写入所录制的视频文件，如MP4或MOV文件。

编码器可以将录制的视频文件存储在存储模块中，并通过输出模块发送至网络或其他设备中。由于将视频帧和时间码以及触发录制标志进行绑定存储，编码器可以与摄像机、数码相机等视频源同步录制，监控中心根据编码器所录制的MP4或MOV文件所制定的编辑、剪辑等操作，很容易应用于视频源所拍摄的现场画面，提高了节目素材整理的效率和节目效果。

以上详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换或排列组合，这些等同变换或排列组合均属于本发明的保护范围。

Claims (9)

1.一种视频帧和时间码绑定方法，所述视频帧和所述时间码来自视频源，其特征在于，该方法包括以下步骤：

将所述视频帧按照采集时间顺序进行存储，得到视频帧队列；将所述时间码按照采集时间顺序进行存储，得到时间码队列；

对于所述视频帧队列中的每一视频帧，根据采集时间对所述视频帧标记第一时间戳，得到所述视频帧队列对应的第一时间戳队列；对于所述时间码队列中的每一时间码，根据采集时间对所述时间码标记第二时间戳，得到所述时间码队列对应的第二时间戳队列；

对于所述视频帧队列中的每一视频帧，按照查找规则在所述第二时间戳队列中查找与标记所述视频帧的第一时间戳对应的第二时间戳，将所述视频帧与所查找的第二时间戳所标记的时间码绑定存储；

所述查找规则为：对于所述视频帧队列中的每一视频帧，利用标记所述视频帧的第一时间戳以及所述视频帧队列的帧间隔确定查找区间，在所述第二时间戳队列中，查找位于所述查找区间内的第二时间戳作为与标记所述视频帧的第一时间戳对应的第二时间戳。

2.根据权利要求1所述的视频帧和时间码绑定方法，其特征在于，所述查找规则还包括：若所述查找区间内存在两个第二时间戳，则选择与标记所述视频帧的第一时间戳时间间距最小的第二时间戳作为与所述第一时间戳对应的第二时间戳。

3.根据权利要求1所述的视频帧和时间码绑定方法，其特征在于，所述查找规则还包括：若所述查找区间内不存在第二时间戳，则选择与标记所述视频帧的第一时间戳时间间距最小的第二时间戳作为与所述第一时间戳对应的第二时间戳。

4.根据权利要求1所述的视频帧和时间码绑定方法，其特征在于，所述查找区间以标记所述视频帧的第一时间戳为中心，区间长度为所述视频帧队列的帧间隔。

5.根据权利要求4所述的视频帧和时间码绑定方法，其特征在于，若所述视频帧队列的帧间隔为可变的，则对于所述视频帧队列中的每一视频帧，所述查找区间的区间长度为所述视频帧与其下一相邻视频帧的帧间隔。

6.一种视频文件录制方法，其特征在于，该方法采用权利要求1至5中任意一项所述的视频帧和时间码绑定方法存储所述视频帧和时间码，在录制视频文件时同时写入所述视频帧和与其绑定的时间码。

7.根据权利要求6所述的视频文件录制方法，其特征在于，存储所述视频帧和时间码的同时存储触发录制标志，通过所述触发录制标志能够确定录制视频文件的起始帧。

8.一种编码器，包括信息采集模块、控制模块和存储模块，所述控制模块分别与所述信息采集模块和存储模块电连接；所述信息采集模块与视频源电连接，采集所述视频源发送的视频帧和时间码；其特征在于，所述编码器还包括时钟电路，所述时钟电路为所述控制模块提供时钟信息，所述存储模块中存储有控制程序，所述控制模块能够执行所述控制程序，采用权利要求1至5中任意一项所述的视频帧和时间码绑定方法存储所述视频帧和所述时间码。

9.根据权利要求8所述的编码器，其特征在于，所述信息采集模块还采集所述视频源发送的触发录制标志，所述控制模块在存储所述视频帧和时间码的同时存储触发录制标志，并通过所述触发录制标志确定录制视频文件的起始帧。

Images