CN118317162A - 时延确定方法、装置、设备、可读存储介质和程序产品 - Google Patents

Abstract

本发明公开了一种时延确定方法、装置、设备、可读存储介质和程序产品，涉及视频直播技术领域，所述时延数据确定方法，包括：获取目标时间段内，输入演播室的第一直播流和所述演播室输出的第二直播流；对所述第一直播流和所述第二直播流进行匹配，得到所述第一直播流和所述第二直播流中匹配的视频帧；根据所述匹配的视频帧得到所述演播室的时延数据。本发明方案可以实现在直播业务进行的同时得到演播室场景导致的时延数据。

Description

时延确定方法、装置、设备、可读存储介质和程序产品

技术领域

本发明涉及视频直播技术领域，尤其涉及一种时延确定方法、装置、设备、可读存储介质和程序产品。

背景技术

现有技术中，需要在直播链路的各个环节的编码处理过程中透传补充增强信息(Supplemental Enhancement Information，SEI)，通过SEI分析各个环节的时延数据，但是在现有的演播室场景下，需要由流媒体网关将直播信号转入演播室，演播室对直播信号进行处理后，再将处理后的直播信号转给另一流媒体网关，在演播室对直播信号进行处理时，需要对直播信号做信号处理，比如先由网际互连协议(Internet Protocol，IP)信号转换为数字分量串行接口(Serial Digital Interface，SDI)信号，对SDI信号进行演播处理以及转码处理，再由SDI信号转换为IP信号，在上述每一信号处理过程中都透传SEI，以分析各个处理环节的时延数据，但是在信号转换过程中，容易导致SEI丢失，进而无法获取时延数据，因此，可以在直播信号中以时间戳为内容添加普通可视水印，在输出端提取可视水印的内容，分时当前时刻与可视水印对应的时间戳并做差，即可得到演播室场景导致的时延数据。

但是在直播信号中添加可视水印的方案会直接影响直播画面，无法在直播业务进行的同时得到演播室场景导致的时延数据。

发明内容

本发明实施例提供一种时延确定方法、装置、设备、可读存储介质和程序产品，以解决现有技术中，无法在直播业务进行的同时得到演播室场景导致的时延数据的问题。

本发明实施提供一种时延数据确定方法，包括：

获取目标时间段内，输入演播室的第一直播流和所述演播室输出的第二直播流；

对所述第一直播流和所述第二直播流进行匹配，得到所述第一直播流和所述第二直播流中匹配的视频帧；

根据所述匹配的视频帧得到所述演播室的时延数据。

可选地，对所述第一直播流和所述第二直播流进行匹配，得到所述第一直播流和所述第二直播流中匹配的视频帧，包括：

基于直播流帧率，从所述第一直播流和所述第二直播流中确定第一目标直播流和第二目标直播流；

在所述第一目标直播流中选取N个第一视频帧，N为大于或等于1的整数；

将每一所述第一视频帧与所述第二目标直播流中的视频帧进行匹配，确定所述第二目标直播流中与所述第一视频帧匹配的第二视频帧。

可选地，将每一所述第一视频帧与所述第二目标直播流中的视频帧进行匹配，确定所述第二目标直播流中与所述第一视频帧匹配的第二视频帧，包括：

根据所述第一目标直播流的播放顺序，确定所述N个第一视频帧中的第n个第一视频帧为第一目标视频帧，在N为偶数的情况下，n＝N/2或n＝N/2+1，在N为奇数的情况下，n＝(N+1)/2，n为大于或等于1的整数；

在所述第二目标直播流中，确定与所述第一目标视频帧的画面相似度最高的视频帧作为与所述第一目标视频帧匹配的第二视频帧；

依次将所述N个第一视频帧中所述第n个第一视频帧之外的每一第一视频帧作为所述第一目标视频帧，重复执行在所述第二目标直播流中，确定与所述第一目标视频帧的画面相似度最高的视频帧作为与所述第一目标视频帧匹配的第二视频帧的步骤，直到确定与第N个第一视频帧画面相似度最高的第二视频帧。

可选地，在所述第二目标直播流中，确定与所述第一目标视频帧的画面相似度最高的视频帧作为与所述第一目标视频帧匹配的第二视频帧，包括：

将所述目标时间段划分为N+1个时间范围；

确定第i个时间范围为第一时间范围，1≤i≤N，i为整数，所述第一目标视频帧为所述N个第一视频帧中的第i个第一视频帧；

在视频帧集合中，确定与所述第一目标视频帧的画面相似度最高的第二目标视频帧，其中，所述视频帧集合包括每一子时间范围对应的第二目标直播流中的一个视频帧，所述第一时间范围包括多个子时间范围；

确定第三视频帧与所述第一目标视频帧之间的第一画面相似度，以及，确定第四视频帧与所述第一目标视频帧之间的第二画面相似度，其中，所述第三视频帧是所述第二目标直播流中，与所述第二目标视频帧前相邻的视频帧，所述第四视频帧是所述第二目标直播流中，与所述第二目标视频帧后相邻的视频帧；

在目标子时间范围对应的所述第二目标直播流中的每一视频帧中，确定与所述第一目标视频帧的画面相似度最高的视频帧作为与所述第一目标视频帧匹配的第二视频帧，其中，在所述第一画面相似度大于或等于所述第二画面相似度的情况下，所述目标子时间范围为所述第三视频帧对应的子时间范围，在所述第一画面相似度小于所述第二画面相似度的情况下，所述目标子时间范围为所述第四视频帧对应的子时间范围。

可选地，根据所述匹配的视频帧，得到所述第一直播流经过所述演播室的时延数据，包括：

根据每一所述第一视频帧在所述第一目标直播流对应的视频帧序列中所处的位置、所述第一目标直播流的帧率、与所述第一视频帧匹配的第二视频帧在所述第二目标直播流对应的视频帧序列中所处的位置、所述第二目标直播流的帧率和所述目标时间段的起始时间，得到每一所述第一视频帧对应的时延数据；

根据每一所述第一视频帧对应的时延数据，得到所述演播室的时延数据。

可选地，根据所述匹配的视频帧，得到所述第一直播流经过所述演播室的时延数据，包括：

根据每一所述第一视频帧在所述第一目标直播流对应的视频帧序列中所处的位置、每一所述第一视频帧对应的第一时间戳信息、与所述第一视频帧匹配的第二视频帧在所述第二目标直播流对应的视频帧序列中所处的位置、每一所述第一视频帧对应的第二时间戳信息，得到每一所述第一视频帧对应的时延数据，其中，所述第一目标直播流对应的视频帧序列和所述第二目标直播流对应的视频帧序列是根据视频帧对应的显示时间戳PTS进行排序的；

根据每一所述第一视频帧对应的时延数据，得到所述演播室的时延数据。

本发明实施例还提供一种时延确定装置，包括：

获取模块，用于获取目标时间段内，输入演播室的第一直播流和所述演播室输出的第二直播流；

第一处理模块，用于对所述第一直播流和所述第二直播流进行匹配，得到所述第一直播流和所述第二直播流中匹配的视频帧；

第二处理模块，用于根据所述匹配的视频帧得到所述演播室的时延数据。

本发明实施例还提供一种时延确定设备，包括：收发机、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述处理器，用于读取存储器中的程序实现如上中任一项所述的时延确定方法中的步骤。

本发明实施例还提供一种计算机可读存储介质，用于存储计算机程序，所述计算机程序被处理器执行时实现如上中任一项所述的时延确定方法中的步骤。

本发明实施例还提供一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行时实现如上中任一项所述的时延确定方法中的步骤。

本发明的有益效果是：

本发明方案中，通过获取目标时间段内输入演播室的第一直播流和所述演播室输出的第二直播流，对第一直播流和第二直播流进行匹配，得到匹配的视频帧，根据匹配的视频帧即可得到演播室的时延数据，不影响直播流在演播室的直播，本方案可以实现在直播业务进行的同时得到演播室场景导致的时延数据。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的时延数据确定方法的流程图；

图2是本发明实施例提供的对第一直播流和第二直播流进行匹配，得到第一直播流和第二直播流中匹配的视频帧的流程图；

图3是本发明实施例提供的时延数据确定装置的结构示意图；

图4是本发明实施例提供的设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，图1是本发明实施例提供的时延数据确定方法的流程图，如图1所示，包括以下步骤：

步骤101：获取目标时间段内，输入演播室的第一直播流和所述演播室输出的第二直播流。

其中，所述目标时间段为任意时间段，也可以为距离当前时刻之前的第一个时间段，可选地，所述目标时间段的时长为一分钟。

所述演播室也可以理解为黑盒场景。

需要说明的是，本发明实施例提供的时延数据确定方法应用于服务器，该服务器包括信源输入网关和信源输出网关在本步骤之前，为每一服务器执行网络时间协议(Network Time Protocol，NTP)时间校准。

在本步骤中，信源输入网关对进入演播室以及信源输出网关对从演播室输出的直播流定时于to时刻开始进行同时间定时收录，得到目标时间段内，输入演播室的第一直播流和从演播室输出的第二直播流。

步骤102：对所述第一直播流和所述第二直播流进行匹配，得到所述第一直播流和所述第二直播流中匹配的视频帧。

在本步骤中，针对输入的第一直播流和输出的第二直播流进行图像解析，利用图像分析匹配技术对比输入的第一直播流和输出的第二直播流，得到第一直播流和第二直播流中匹配的视频帧。可选地，利用图像分析匹配技术对第一直播流至少三个视频帧和输出的第二直播流进行匹配，得到匹配的视频帧。

具体地，匹配的视频帧中M组匹配的视频帧，每一组匹配的视频帧中包括第一直播流中的一个视频帧和与该视频帧匹配的第二直播流中的一个视频帧，M为大于或等于1的整数。

步骤103：根据所述匹配的视频帧得到所述演播室的时延数据。

在得到匹配的视频帧之后，在本步骤中，获取每组匹配的视频帧对应的时延数据，之后，取每组匹配的视频帧对应的时延数据的均值作为所述演播室的时延数据，所述演播室的时延数据也可以称为第一直播流经过所述演播室的时延数据。

通过上述步骤，无需在直播流中添加水印数据，不影响直播业务的进行，即可以实现在直播业务进行的同时得到由于演播室场景导致的直播流延迟的时延数据，并且上述步骤无需SEI信息，可以避免SEI信息丢失导致的时延数据无法获取的问题。

需要说明的是，直播流进如演播室之前和输出演播室之后，直播内容仅有小幅度变更(如加入解说嘉宾语音、加入商标(Logo)等)。

在一可选实施例中，对所述第一直播流和所述第二直播流进行匹配，得到所述第一直播流和所述第二直播流中匹配的视频帧，包括：

基于直播流帧率，从所述第一直播流和所述第二直播流中确定第一目标直播流和第二目标直播流，可选地，确定所述第一直播流和所述第二直播流中帧率低的直播流作为第一目标直播流，帧率高的直播流作为第二目标直播流。示例性地，进入演播室的第一直播流的帧率为50fps，从演播室输出的第二直播流的帧率为25fps，则将第二直播流作为第一目标直播流，第一直播流作为第二目标直播流。

在所述第一目标直播流中选取N个第一视频帧，N为大于或等于1的整数，优选地，N为大于或等于3的整数，即在第一目标直播流中选取3个或3个以上的第一视频帧，也就是每组匹配的视频帧包括一个第一视频帧和与该第一视频匹配的第二视频帧。

具体地，在第一目标直播流取N个第一视频帧的方式可以为随机选取，也可以为在第一目标直播流中均匀选取，比如，在目标时间段的时长为1分钟，且N等于3的情况下，取第15秒内的视频帧中的一个视频帧作为第一视频帧，取第30秒内的视频帧中的一个视频帧作为第一视频帧以及第45秒内的视频帧中的一个视频帧作为第一视频帧，在第15秒内的视频帧内、第30秒内的视频帧和第45秒内的视频帧中选取一个视频帧作为第一视频帧的方式可以为选择每秒内的视频帧中的首个视频帧，或者，选择每秒内的视频帧中的居中的视频帧，或者，每秒内的视频帧中的最后一个视频帧。

将每一所述第一视频帧与所述第二目标直播流中的视频帧进行匹配，确定所述第二目标直播流中与所述第一视频帧匹配的第二视频帧，即，针对每一第一视频帧，将所述第一视频帧与所述第二目标直播流中的视频帧进行匹配，确定与所述第一视频帧匹配的第二视频帧。具体地，依次将每一第一视频帧与第二目标直播流中的视频帧进行一一匹配，得到与该第一视频帧匹配的第二视频帧。需要说明的是，在本可选实施例中，可能存在某一个或多个第一视频帧与第二目标直播流中的任意视频帧均匹配不成功的情况，则确定该第一视频帧没有匹配的第二视频帧，即无法组成一组匹配的视频帧。

作为一优选实施方式，将每一所述第一视频帧与所述第二目标直播流中的视频帧进行匹配，确定所述第二目标直播流中与所述第一视频帧匹配的第二视频帧，包括：

根据所述第一目标直播流的播放顺序，确定所述N个第一视频帧中的第n个第一视频帧为第一目标视频帧，在N为偶数的情况下，n＝N/2或n＝N/2+1，在N为奇数的情况下，n＝(N+1)/2，n为大于或等于1的整数。

上述取第一目标视频帧的方式可以理解为，在N为偶数的情况下，比如N等于4或者等于6的情况下，尽量选取N个第一视频帧的居中的视频帧作为第一目标视频帧，即选取4个第一视频帧中的第2个第一视频帧或第3个第一视频帧为第一目标视频帧，选取6个第一视频帧中的第3个第一视频帧或第4个第一视频帧为第一目标视频帧。

在N为奇数的情况下，比如N等于3或者等于5的情况下，选取N个第一视频帧的居中的视频帧作为第一目标视频帧，即选取3个第一视频帧中的第2个第一视频帧作为第一目标视频帧，选取5个第一视频帧中的第3个第一视频帧作为第一目标视频帧。

在所述第二目标直播流中，确定与所述第一目标视频帧的画面相似度最高的视频帧作为与所述第一目标视频帧匹配的第二视频帧，具体地，在本可选实施例中，比较视频帧的画面相似度的比较算法包括但是不限于均值哈希(ahash)算法、差异哈希(dhash)算法、结构相似性(Structural Similarity，SSIM)算法等。

依次将所述N个第一视频帧中所述第n个第一视频帧之外的每一第一视频帧作为所述第一目标视频帧，重复执行在所述第二目标直播流中，确定与所述第一目标视频帧的画面相似度最高的视频帧作为与所述第一目标视频帧匹配的第二视频帧的步骤，直到确定与第N个第一视频帧画面相似度最高的第二视频帧，即在确定与N个第一视频帧中居中或尽量居中的第一视频帧的画面相似度最高的第二视频帧之后，依次选取N个第一视频帧中其他的第一视频帧作为第一目标视频帧，继续执行上述的视频帧的画面相似度的比较算法，计算与每一第一视频帧匹配的第二视频帧。

可选地，可以依次将所述N个第一视频帧中所述第n个第一视频帧之前的每一第一视频帧作为所述第一目标视频帧，即依次将N个第一视频帧中所述第n-1、n-2、、、、、、1个第一视频帧作为第一目标视频帧，之后，在确定一个第一目标视频帧之后，重复执行在所述第二目标直播流中，确定与所述第一目标视频帧的画面相似度最高的视频帧作为与所述第一目标视频帧匹配的第二视频帧的步骤，直到确定与第一个第一视频帧画面相似度最高的第二视频帧，然后，依次将所述N个第一视频帧中所述第n个第一视频帧之后的每一第一视频帧作为所述第一目标视频帧，即依次将N个第一视频帧中所述第n+1、n+2、、、、、、N个第一视频帧作为第一目标视频帧，之后，在确定一个第一目标视频帧之后，重复执行在所述第二目标直播流中，确定与所述第一目标视频帧的画面相似度最高的视频帧作为与所述第一目标视频帧匹配的第二视频帧的步骤，直到确定与最后一个第一视频帧画面相似度最高的第二视频帧。或者，也可以先依次将所述N个第一视频帧中所述第n个第一视频帧之后的每一第一视频帧作为所述第一目标视频帧，在确定一个第一目标视频帧之后，重复执行在所述第二目标直播流中，确定与所述第一目标视频帧的画面相似度最高的视频帧作为与所述第一目标视频帧匹配的第二视频帧的步骤，直到确定与第一个第一视频帧画面相似度最高的第二视频帧，然后，依次将所述N个第一视频帧中所述第n个第一视频帧之前的每一第一视频帧作为所述第一目标视频帧，在确定一个第一目标视频帧之后，重复执行在所述第二目标直播流中，确定与所述第一目标视频帧的画面相似度最高的视频帧作为与所述第一目标视频帧匹配的第二视频帧的步骤，直到确定与最后一个第一视频帧画面相似度最高的第二视频帧。

进一步地，在所述第二目标直播流中，确定与所述第一目标视频帧的画面相似度最高的视频帧作为与所述第一目标视频帧匹配的第二视频帧，包括：

将所述目标时间段划分为N+1个时间范围，可选地，将目标时间段均匀划分为N+1个时间范围，示例性地，目标时间段为一分钟，N等于3，则将目标时间段划分为4个时间范围，每一时间范围的时长为15s，即第一个时间范围为[0s-15s)，第二个时间范围为[15s-30s)，第三个时间范围为[30s-45s)，第四个时间范围为[45s-60s)。

确定第i个时间范围为第一时间范围，1≤i≤N，i为整数，所述第一目标视频帧为所述N个第一视频帧中的第i个第一视频帧，示例性地，N等于3，在第一目标视频帧为N个视频帧中的第一个视频帧的情况下，i等于1，确定第一个时间范围[0s-15s)为第一时间范围，在第一目标视频帧为N个视频帧中的第二个视频帧的情况下，i等于2，确定第一个时间范围[15s-30s)为第一时间范围，在第一目标视频帧为N个视频帧中的第三个视频帧的情况下，i等于3，确定第一个时间范围[30s-45s)为第一时间范围。

在视频帧集合中，确定与所述第一目标视频帧的画面相似度最高的第二目标视频帧，其中，所述视频帧集合包括每一子时间范围对应的第二目标直播流中的一个视频帧，所述第一时间范围包括多个子时间范围，可选地，选取一个子时间范围的时长为1s，即第一时间范围包括15个字时间范围，将第一时间范围对应的第二目标直播流中每一秒对应的全部视频帧中选择一个视频帧形成视频帧集合，比如，将第一时间范围对应的第二目标直播流中每一秒对应的全部视频帧中选择第一个视频帧形成视频帧集合或者将第一时间范围对应的第二目标直播流中每一秒对应的全部视频帧中选择最后一个视频帧形成视频帧集合。比如，以N等于3，i等于2为例，第一时间范围为15s-30s，选取第15、16、17、、、、、、29秒对应的每一秒的全部视频帧中的首个视频帧形成为视频帧集合。在该视频帧集合中确定与所述第一目标视频帧的画面相似度最高的第二目标视频帧P₀。

确定第三视频帧与所述第一目标视频帧之间的第一画面相似度，以及，确定第四视频帧与所述第一目标视频帧之间的第二画面相似度，其中，所述第三视频帧是所述第二目标直播流中，与所述第二目标视频帧前相邻的视频帧，所述第四视频帧是所述第二目标直播流中，与所述第二目标视频帧后相邻的视频帧。具体地，选取第二目标直播流中，选取第二目标视频帧P₀之前，且与第二目标视频帧P₀相邻的第三视频帧(也可以称为第二目标视频帧P₀左一视频帧)，以及，选取第二目标视频帧P₀之后，且与第二目标视频帧P₀相邻的第四视频帧(也可以称为第二目标视频帧P₀右一视频帧)，将第三视频帧和第四视频帧分别与第一目标视频帧比较画面相似度，得到第三视频帧与第一目标视频帧之间的第一画面相似度，以及，第四视频帧与第一目标视频帧之间的第二画面相似度。

在目标子时间范围对应的所述第二目标直播流中的每一视频帧中，确定与所述第一目标视频帧的画面相似度最高的视频帧作为与所述第一目标视频帧匹配的第二视频帧，其中，在所述第一画面相似度大于或等于所述第二画面相似度的情况下，所述目标子时间范围为所述第三视频帧对应的子时间范围，在所述第一画面相似度小于所述第二画面相似度的情况下，所述目标子时间范围为所述第四视频帧对应的子时间范围。具体地，在第一画面相似度大于或等于第二画面相似度的情况下，确定第三视频帧所属的子时间范围为目标子范围，即在第三视频帧所处的1秒的每一视频帧中，确定与第一目标视频帧的画面相似度最高的视频帧作为与第一目标视频帧匹配的第二视频帧。在第一画面相似度小于第二画面相似度的情况下，确定第四视频帧所属的子时间范围为目标子范围，即在第四视频帧所处的1秒的每一视频帧中，确定与第一目标视频帧的画面相似度最高的视频帧作为与第一目标视频帧匹配的第二视频帧。

优选地，在目标子时间范围对应的所述第二目标直播流中的每一视频帧中，确定与所述第一目标视频帧的画面相似度最高的视频帧作为与所述第一目标视频帧匹配的第二视频帧，包括：

在所述目标子时间范围对应的所述第二目标直播流中的每一视频帧中，确定与所述第一目标视频帧的画面相似度最高的第三目标视频帧，在所述第三目标视频帧与所述第一目标视频帧之间的画面相似度大于或等于预设阈值的情况下，将所述第三目标视频帧作为与所述第一目标视频帧匹配的第二视频帧。在所述目标子时间范围对应的所述第二目标直播流的每一视频帧与所述第一目标视频帧的画面相似度均小于所述预设阈值的情况下，确定没有与所述第一目标视频帧匹配的第二视频帧。

可选地，所述预设阈值为90％，具体地，在该目标子范围内对应的第二目标直播流中的每一视频帧中，利用上述的画面相似度的比较算法将第一目标视频帧与每一视频帧进行比较，得到与第一目标视频帧的画面相似度最高的第三目标视频帧，但是若第三目标视频帧与第一目标视频帧的画面相似度小于90％，也就是目标子时间范围对应的第二目标直播流的每一视频帧与第一目标视频帧的画面相似度均小于90％的情况下，则认定失败，即认为没有与＝第一目标视频帧匹配的第二视频帧，在第三目标视频帧与第一目标视频帧的画面相似度大于或等于90％，则认为画面相似度达标，将第三目标视频帧作为与第一目标视频帧匹配的第二视频帧。

更进一步地，在所述第三目标视频帧与所述第一目标视频帧之间的画面相似度大于或等于预设阈值的情况下，将所述第三目标视频帧作为与所述第一目标视频帧匹配的第二视频帧，包括：

获取第五视频帧与第六视频帧之间的第三画面相似度，其中，所述第五视频帧为所述第一目标直播流中，位于所述第一目标视频帧之后且与所述第一目标视频帧之间间隔预设时长的视频帧，所述第六视频帧为所述第二目标直播流中，位于所述第三目标视频帧之后且与所述第三目标视频帧之间间隔预设时长的视频帧，所述预设时长为一个所述子时间范围对应的时长，即所述预设时长为1秒，所述第五视频帧为第一目标直播流中，距离第一目标视频帧之后1秒的视频帧，所述第六视频帧为第二目标直播流中，距离第三目标视频帧之后1秒的视频帧，利用上述的画面相似度的比较算法将第五视频帧与第六视频帧进行比较，得到第五视频帧与第六视频帧之间的第三画面相似度；

在所述第三画面相似度大于所述预设阈值，且所述第三目标视频帧与所述第一目标视频帧之间的画面相似度大于或等于预设阈值的情况下，将所述第三目标视频帧作为与所述第一目标视频帧匹配的第二视频帧。可选地，所述预设阈值为90％，即如果第三目标视频帧与第一目标视频帧的画面相似度大于或等于90％，且第五视频帧与第六视频帧之间的第三画面相似度也大于或等于90％，则认为找到与第一目标视频帧匹配的第二视频帧。

通过本实施例的方法，可以避免直播中重复图像的问题，需要确定靠近的画面(如1秒后的画面)也是匹配的。

下面结合图2，具体说明本发明实施例提供的对第一直播流和第二直播流进行匹配，得到第一直播流和第二直播流中匹配的视频帧的具体流程：

目标时间段为1分钟，从t0开始录制，第一直播流的帧率为50fps，约3000帧画面，第二直播流的帧率为2550fps，约1500帧画面，即将第二直播流作为第一目标直播流V1，将第一直播流作为第二目标直播流V2。

在第一目标直播流中选择三个离散的视频帧作为第一视频帧，分别为第14秒对应的最后一个视频帧(第375帧)、第29秒对应的最后一个视频帧很(第750帧)和第44秒对应的最后一个视频帧很(第1125帧)，将第750帧的第一视频帧(即作为第一目标视频帧)与第二目标直播流V2中的视频帧集合进行比较，该视频帧集合包括第15秒至第29秒中每一秒中选取的一个视频帧，确定第750帧的第一视频帧与视频帧集合中画面相似度最高的第二目标视频帧P₀，将第750帧的第一视频帧与第二目标视频帧P₀左一帧的第三视频帧进行相似度比较，以及，将第750帧的第一视频帧与第二目标视频帧P₀右一帧的第四视频帧进行相似度比较，若第750帧的第一视频帧与第三视频帧的画面相似度大于第750帧的第一视频帧与第四视频帧的画面相似度，则继续将第750帧的第一视频帧与第三视频帧对应的1秒内的每一视频帧进行比较，得到与第750帧的第一视频帧的画面相似度最高的第三目标视频帧，若第750帧的第一视频帧与第三目标视频帧之间的画面相似度大于或等于90％，则认定成功，否则认定失败，在认定成功后，分析第750帧之后1秒的第五视频帧(即第750帧+25帧)与第三目标视频帧之后1秒的第六视频帧(即第三目标视频帧+50帧)进行相似度比较，若相似度超过预设阈值，则认为第三目标视频帧为与第750帧的第一视频帧匹配的第二视频帧。

若认定失败，则按照上述流程与规则，确定与第1125帧的第一视频帧匹配的第二视频帧，以及，则按照上述流程与规则，确定与第375帧的第一视频帧匹配的第二视频帧。

在一可选实施例中，根据所述匹配的视频帧，得到所述第一直播流经过所述演播室的时延数据，包括：

根据每一所述第一视频帧在所述第一目标直播流对应的视频帧序列中所处的位置、所述第一目标直播流的帧率、与所述第一视频帧匹配的第二视频帧在所述第二目标直播流对应的视频帧序列中所处的位置、所述第二目标直播流的帧率和所述目标时间段的起始时间，得到每一所述第一视频帧对应的时延数据。其中，所述第一视频帧在所述第一目标直播流对应的视频帧序列中所处的位置可以理解为第一视频帧是第一目标直播流对应的视频帧序列中第几个视频帧，所述第二视频帧在所述第二目标直播流对应的视频帧序列中所处的位置可以理解为第二视频帧是第二目标直播流对应的视频帧序列中第几个视频帧，直播流对应的视频帧序列是根据直播播放的时间顺序确定的。

具体地，一个第一视频帧对应的时延数据的计算公式如下：

T＝(t0+m/25)-(t0+n/50)秒＝(2m-n)/50秒＝(40m-20n)毫秒

其中，t0为目标时间段的起始时间，m表示与第一视频帧匹配的第二视频帧是第二目标直播流中的第m个视频帧，25表示第二目标直播流的帧率，n表示第一视频帧是第一目标直播流中的第n个视频帧，50表示第一目标直播流的帧率。

根据每一所述第一视频帧对应的时延数据，得到所述演播室的时延数据。

可选地，在得到每一第一视频帧对应的时延数据之后，取每一第一视频帧对应的时延数据的均值为所述演播室的时延数据。

在另一可选实施例中，根据所述匹配的视频帧，得到所述演播室的时延数据，包括：

根据每一所述第一视频帧在所述第一目标直播流对应的视频帧序列中所处的位置、所述第一目标直播流中每一视频帧对应的第一时间戳信息、与所述第一视频帧匹配的第二视频帧在所述第二目标直播流对应的视频帧序列中所处的位置、所述第二目标直播流中每一视频帧对应的第二时间戳信息，得到每一所述第一视频帧对应的时延数据，其中，所述第一目标直播流对应的视频帧序列和所述第二目标直播流对应的视频帧序列是根据视频帧对应的显示时间戳PTS进行排序的；

需要说明的是，若考虑到收录直播流网络稳定性问题，可以在收录内容时在包中记录每一帧对应的时间戳，即包括第一目标直播流中每一视频帧的第一时间戳信息和第二目标直播流中每一视频帧的第二时间戳信息，收录完成后提取收录文件的包信息(通过f'fmpeg命令-show_packets)，将包信息(直播流的信息)按PTS升序排序，即将每一视频帧按照PTS升序排序，即可以确定第一视频帧对应的第一时间戳信息和第二视频帧对应的第二时间戳信息，在第二视频帧为第二目标直播流中的第m个视频帧，第一视频帧是第一目标直播流中的第n个视频帧的情况下，该第一视频帧对应的时延数据为：

T＝v2_sorted_packets[m-1].linksys_ts-v1_sorted_packets[n-1].linksys_ts，单位毫秒；

其中，v2_sorted_packets[m-1].linksys_ts表示第二视频帧对应的第二时间戳信息、v1_sorted_packets[n-1].linksys_ts表示第一视频帧对应的第一时间戳信息。

根据每一所述第一视频帧对应的时延数据，得到所述演播室的时延数据。

可选地，在得到每一第一视频帧对应的时延数据之后，取每一第一视频帧对应的时延数据的均值为所述演播室的时延数据。

本发明实施例提供的时延数据确定方法对流经过演播室前后的直播流进行同步收录在不改变直播内容前提下，利用图像画面识别技术实现测算演播室场景时延数据，分析毫秒级时延。在实现场景直播延时分析能力的同时，可以做到不改变直播内容，不会对直播链路造成额外负担。

如图3所示，本发明实施例还提供一种时延确定装置，包括：

获取模块301，用于获取目标时间段内，输入演播室的第一直播流和所述演播室输出的第二直播流；

第一处理模块302，用于对所述第一直播流和所述第二直播流进行匹配，得到所述第一直播流和所述第二直播流中匹配的视频帧；

第二处理模块303，用于根据所述匹配的视频帧得到所述演播室的时延数据。

可选地，所述第一处理模块302，包括：

第一确定单元，用于基于直播流帧率，从所述第一直播流和所述第二直播流中确定第一目标直播流和第二目标直播流；

第一处理单元，用于在所述第一目标直播流中选取N个第一视频帧，N为大于或等于1的整数；

第二处理单元，用于将每一所述第一视频帧与所述第二目标直播流中的视频帧进行匹配，确定所述第二目标直播流中与所述第一视频帧匹配的第二视频帧。

可选地，所述第二处理单元，具体用于：

根据所述第一目标直播流的播放顺序，确定所述N个第一视频帧中的第n个第一视频帧为第一目标视频帧，在N为偶数的情况下，n＝N/2或n＝N/2+1，在N为奇数的情况下，n＝(N+1)/2，n为大于或等于1的整数；

在所述第二目标直播流中，确定与所述第一目标视频帧的画面相似度最高的视频帧作为与所述第一目标视频帧匹配的第二视频帧；

依次将所述N个第一视频帧中所述第n个第一视频帧之外的每一第一视频帧作为所述第一目标视频帧，重复执行在所述第二目标直播流中，确定与所述第一目标视频帧的画面相似度最高的视频帧作为与所述第一目标视频帧匹配的第二视频帧的步骤，直到确定与第N个第一视频帧画面相似度最高的第二视频帧。

可选地，所述第二处理单元，具体用于：

将所述目标时间段划分为N+1个时间范围；

确定第i个时间范围为第一时间范围，1≤i≤N，i为整数，所述第一目标视频帧为所述N个第一视频帧中的第i个第一视频帧；

在视频帧集合中，确定与所述第一目标视频帧的画面相似度最高的第二目标视频帧，其中，所述视频帧集合包括每一子时间范围对应的第二目标直播流中的一个视频帧，所述第一时间范围包括多个子时间范围；

确定第三视频帧与所述第一目标视频帧之间的第一画面相似度，以及，确定第四视频帧与所述第一目标视频帧之间的第二画面相似度，其中，所述第三视频帧是所述第二目标直播流中，与所述第二目标视频帧前相邻的视频帧，所述第四视频帧是所述第二目标直播流中，与所述第二目标视频帧后相邻的视频帧；

在目标子时间范围对应的所述第二目标直播流中的每一视频帧中，确定与所述第一目标视频帧的画面相似度最高的视频帧作为与所述第一目标视频帧匹配的第二视频帧，其中，在所述第一画面相似度大于或等于所述第二画面相似度的情况下，所述目标子时间范围为所述第三视频帧对应的子时间范围，在所述第一画面相似度小于所述第二画面相似度的情况下，所述目标子时间范围为所述第四视频帧对应的子时间范围。

可选地，所述第二处理模块303，包括：

第三处理单元，用于根据每一所述第一视频帧在所述第一目标直播流对应的视频帧序列中所处的位置、所述第一目标直播流的帧率、与所述第一视频帧匹配的第二视频帧在所述第二目标直播流对应的视频帧序列中所处的位置、所述第二目标直播流的帧率和所述目标时间段的起始时间，得到每一所述第一视频帧对应的时延数据；

第四处理单元，用于根据每一所述第一视频帧对应的时延数据，得到所述演播室的时延数据。

可选地，所述第二处理模块303，包括：

第五处理单元，用于根据每一所述第一视频帧在所述第一目标直播流对应的视频帧序列中所处的位置、所述第一目标直播流中每一视频帧对应的第一时间戳信息、与所述第一视频帧匹配的第二视频帧在所述第二目标直播流对应的视频帧序列中所处的位置、所述第二目标直播流中每一视频帧对应的第二时间戳信息，得到每一所述第一视频帧对应的时延数据，其中，所述第一目标直播流对应的视频帧序列和所述第二目标直播流对应的视频帧序列是根据视频帧对应的显示时间戳PTS进行排序的；

第六处理单元，用于根据每一所述第一视频帧对应的时延数据，得到所述演播室的时延数据。

需要说明的是，本发明实施例提供的时延数据确定装置，是能够执行上述的时延数据确定方法的装置，则上述的时延数据确定方法的所有实施例均适用于该装置，且能够达到相同或者相似的技术效果，其实现原理和技术效果类似，本实施例此处不再赘述。

如图4所示，本发明实施例提供了一种时延确定设备包括：收发机410、存储器420、总线接口、处理器400及存储在所述存储器420上并可在所述处理器400上运行的计算机程序；处理器400，用于读取存储器420中的程序，收发机410，用于在处理器400的控制下接收和发送数据。

所述处理器400，执行下列过程：

获取目标时间段内，输入演播室的第一直播流和所述演播室输出的第二直播流；

对所述第一直播流和所述第二直播流进行匹配，得到所述第一直播流和所述第二直播流中匹配的视频帧；

根据所述匹配的视频帧得到所述演播室的时延数据。

可选地，所述处理器400用于：

基于直播流帧率，从所述第一直播流和所述第二直播流中确定第一目标直播流和第二目标直播流；

在所述第一目标直播流中选取N个第一视频帧，N为大于或等于1的整数；

将每一所述第一视频帧与所述第二目标直播流中的视频帧进行匹配，确定所述第二目标直播流中与所述第一视频帧匹配的第二视频帧。

可选地，所述处理器400具体用于：

根据所述第一目标直播流的播放顺序，确定所述N个第一视频帧中的第n个第一视频帧为第一目标视频帧，在N为偶数的情况下，n＝N/2或n＝N/2+1，在N为奇数的情况下，n＝(N+1)/2，n为大于或等于1的整数；

在所述第二目标直播流中，确定与所述第一目标视频帧的画面相似度最高的视频帧作为与所述第一目标视频帧匹配的第二视频帧；

依次将所述N个第一视频帧中所述第n个第一视频帧之外的每一第一视频帧作为所述第一目标视频帧，重复执行在所述第二目标直播流中，确定与所述第一目标视频帧的画面相似度最高的视频帧作为与所述第一目标视频帧匹配的第二视频帧的步骤，直到确定与第N个第一视频帧画面相似度最高的第二视频帧。

可选地，所述处理器400具体用于：

将所述目标时间段划分为N+1个时间范围；

确定第i个时间范围为第一时间范围，1≤i≤N，i为整数，所述第一目标视频帧为所述N个第一视频帧中的第i个第一视频帧；

在视频帧集合中，确定与所述第一目标视频帧的画面相似度最高的第二目标视频帧，其中，所述视频帧集合包括每一子时间范围对应的第二目标直播流中的一个视频帧，所述第一时间范围包括多个子时间范围；

确定第三视频帧与所述第一目标视频帧之间的第一画面相似度，以及，确定第四视频帧与所述第一目标视频帧之间的第二画面相似度，其中，所述第三视频帧是所述第二目标直播流中，与所述第二目标视频帧前相邻的视频帧，所述第四视频帧是所述第二目标直播流中，与所述第二目标视频帧后相邻的视频帧；

在目标子时间范围对应的所述第二目标直播流中的每一视频帧中，确定与所述第一目标视频帧的画面相似度最高的视频帧作为与所述第一目标视频帧匹配的第二视频帧，其中，在所述第一画面相似度大于或等于所述第二画面相似度的情况下，所述目标子时间范围为所述第三视频帧对应的子时间范围，在所述第一画面相似度小于所述第二画面相似度的情况下，所述目标子时间范围为所述第四视频帧对应的子时间范围。

可选地，所述处理器400具体用于：

根据每一所述第一视频帧在所述第一目标直播流对应的视频帧序列中所处的位置、所述第一目标直播流的帧率、与所述第一视频帧匹配的第二视频帧在所述第二目标直播流对应的视频帧序列中所处的位置、所述第二目标直播流的帧率和所述目标时间段的起始时间，得到每一所述第一视频帧对应的时延数据；

根据每一所述第一视频帧对应的时延数据，得到所述演播室的时延数据。

可选地，所述处理器400具体用于：

根据每一所述第一视频帧在所述第一目标直播流对应的视频帧序列中所处的位置、所述第一目标直播流中每一视频帧对应的第一时间戳信息、与所述第一视频帧匹配的第二视频帧在所述第二目标直播流对应的视频帧序列中所处的位置、所述第二目标直播流中每一视频帧对应的第二时间戳信息，得到每一所述第一视频帧对应的时延数据，其中，所述第一目标直播流对应的视频帧序列和所述第二目标直播流对应的视频帧序列是根据视频帧对应的显示时间戳PTS进行排序的；

根据每一所述第一视频帧对应的时延数据，得到所述演播室的时延数据。

其中，在图4中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器400代表的一个或多个处理器和存储器420代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供用户接口430。收发机410可以是多个元件，即包括发送机和收发机，提供用于在传输介质上与各种其他装置通信的单元。处理器400负责管理总线架构和通常的处理，存储器420可以存储处理器400在执行操作时所使用的数据。

处理器400负责管理总线架构和通常的处理，存储器420可以存储处理器400在执行操作时所使用的数据。

本领域技术人员可以理解，实现上述实施例的全部或者部分步骤可以通过硬件来完成，也可以通过计算机程序来指示相关的硬件来完成，所述计算机程序包括执行上述方法的部分或者全部步骤的指令；且该计算机程序可以存储于一可读存储介质中，存储介质可以是任何形式的存储介质。

另外，本发明具体实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述时延数据确定方法中的步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述收发方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明具体实施例还提供一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行时实现如上述图1所示方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种时延确定方法，其特征在于，包括：

获取目标时间段内，输入演播室的第一直播流和所述演播室输出的第二直播流；

对所述第一直播流和所述第二直播流进行匹配，得到所述第一直播流和所述第二直播流中匹配的视频帧；

根据所述匹配的视频帧得到所述演播室的时延数据。

2.根据权利要求1所述的方法，其特征在于，对所述第一直播流和所述第二直播流进行匹配，得到所述第一直播流和所述第二直播流中匹配的视频帧，包括：

基于直播流帧率，从所述第一直播流和所述第二直播流中确定第一目标直播流和第二目标直播流；

在所述第一目标直播流中选取N个第一视频帧，N为大于或等于1的整数；

将每一所述第一视频帧与所述第二目标直播流中的视频帧进行匹配，确定所述第二目标直播流中与所述第一视频帧匹配的第二视频帧。

3.根据权利要求2所述的方法，其特征在于，将每一所述第一视频帧与所述第二目标直播流中的视频帧进行匹配，确定所述第二目标直播流中与所述第一视频帧匹配的第二视频帧，包括：

根据所述第一目标直播流的播放顺序，确定所述N个第一视频帧中的第n个第一视频帧为第一目标视频帧，在N为偶数的情况下，n＝N/2或n＝N/2+1，在N为奇数的情况下，n＝(N+1)/2，n为大于或等于1的整数；

在所述第二目标直播流中，确定与所述第一目标视频帧的画面相似度最高的视频帧作为与所述第一目标视频帧匹配的第二视频帧；

依次将所述N个第一视频帧中所述第n个第一视频帧之外的每一第一视频帧作为所述第一目标视频帧，重复执行在所述第二目标直播流中，确定与所述第一目标视频帧的画面相似度最高的视频帧作为与所述第一目标视频帧匹配的第二视频帧的步骤，直到确定与第N个第一视频帧画面相似度最高的第二视频帧。

4.根据权利要求3所述的方法，其特征在于，在所述第二目标直播流中，确定与所述第一目标视频帧的画面相似度最高的视频帧作为与所述第一目标视频帧匹配的第二视频帧，包括：

将所述目标时间段划分为N+1个时间范围；

确定第i个时间范围为第一时间范围，1≤i≤N，i为整数，所述第一目标视频帧为所述N个第一视频帧中的第i个第一视频帧；

在视频帧集合中，确定与所述第一目标视频帧的画面相似度最高的第二目标视频帧，其中，所述视频帧集合包括每一子时间范围对应的第二目标直播流中的一个视频帧，所述第一时间范围包括多个子时间范围；

确定第三视频帧与所述第一目标视频帧之间的第一画面相似度，以及，确定第四视频帧与所述第一目标视频帧之间的第二画面相似度，其中，所述第三视频帧是所述第二目标直播流中，与所述第二目标视频帧前相邻的视频帧，所述第四视频帧是所述第二目标直播流中，与所述第二目标视频帧后相邻的视频帧；

在目标子时间范围对应的所述第二目标直播流中的每一视频帧中，确定与所述第一目标视频帧的画面相似度最高的视频帧作为与所述第一目标视频帧匹配的第二视频帧，其中，在所述第一画面相似度大于或等于所述第二画面相似度的情况下，所述目标子时间范围为所述第三视频帧对应的子时间范围，在所述第一画面相似度小于所述第二画面相似度的情况下，所述目标子时间范围为所述第四视频帧对应的子时间范围。

5.根据权利要求2所述的方法，其特征在于，根据所述匹配的视频帧，得到所述演播室的时延数据，包括：

根据每一所述第一视频帧在所述第一目标直播流对应的视频帧序列中所处的位置、所述第一目标直播流的帧率、与所述第一视频帧匹配的第二视频帧在所述第二目标直播流对应的视频帧序列中所处的位置、所述第二目标直播流的帧率和所述目标时间段的起始时间，得到每一所述第一视频帧对应的时延数据；

根据每一所述第一视频帧对应的时延数据，得到所述演播室的时延数据。

6.根据权利要求2所述的方法，其特征在于，根据所述匹配的视频帧，得到所述第一直播流经过所述演播室的时延数据，包括：

根据每一所述第一视频帧在所述第一目标直播流对应的视频帧序列中所处的位置、所述第一目标直播流中每一视频帧对应的第一时间戳信息、与所述第一视频帧匹配的第二视频帧在所述第二目标直播流对应的视频帧序列中所处的位置、所述第二目标直播流中每一视频帧对应的第二时间戳信息，得到每一所述第一视频帧对应的时延数据，其中，所述第一目标直播流对应的视频帧序列和所述第二目标直播流对应的视频帧序列是根据视频帧对应的显示时间戳PTS进行排序的；

根据每一所述第一视频帧对应的时延数据，得到所述演播室的时延数据。

7.一种时延确定装置，其特征在于，包括：

获取模块，用于获取目标时间段内，输入演播室的第一直播流和所述演播室输出的第二直播流；

第一处理模块，用于对所述第一直播流和所述第二直播流进行匹配，得到所述第一直播流和所述第二直播流中匹配的视频帧；

第二处理模块，用于根据所述匹配的视频帧得到所述演播室的时延数据。

8.一种时延确定设备，包括：收发机、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；其特征在于，所述处理器，用于读取存储器中的程序实现如权利要求1至6中任一项所述的时延确定方法中的步骤。

9.一种计算机可读存储介质，用于存储计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的时延确定方法中的步骤。

10.一种计算机程序产品，其特征在于，包括计算机指令，所述计算机指令被处理器执行时实现如权利要求1至6中任一项所述的时延确定方法中的步骤。