CN110475156A - 一种视频延迟值的计算方法及装置 - Google Patents

一种视频延迟值的计算方法及装置 Download PDF

Info

Publication number
CN110475156A
CN110475156A CN201910850738.XA CN201910850738A CN110475156A CN 110475156 A CN110475156 A CN 110475156A CN 201910850738 A CN201910850738 A CN 201910850738A CN 110475156 A CN110475156 A CN 110475156A
Authority
CN
China
Prior art keywords
video
image set
image
broadcasting
slowed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910850738.XA
Other languages
English (en)
Other versions
CN110475156B (zh
Inventor
唐诗
洪旭东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huya Technology Co Ltd
Original Assignee
Guangzhou Huya Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huya Technology Co Ltd filed Critical Guangzhou Huya Technology Co Ltd
Priority to CN201910850738.XA priority Critical patent/CN110475156B/zh
Publication of CN110475156A publication Critical patent/CN110475156A/zh
Application granted granted Critical
Publication of CN110475156B publication Critical patent/CN110475156B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2407—Monitoring of transmitted content, e.g. distribution time, number of downloads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk

Abstract

本申请实施例提供一种视频延迟值的计算方法及装置，涉及视频处理领域，该方法包括：获取主播端输出的播放视频和客户端接收的测试视频；其中，播放视频包括时序信息，测试视频与播放视频实时对应；以预设帧率为依据对播放视频和测试视频进行分帧处理，得到播放图像集和测试图像集；以播放图像集和测试图像集为依据进行延迟计算，得到视频延迟值。实施这种实施方式，能够减少人力资源成本，减少误差，并减少操作时间。

Description

一种视频延迟值的计算方法及装置
技术领域
本申请涉及视频处理技术领域，具体而言，涉及一种视频延迟值的计算方法及装置。
背景技术
在诸如视频直播等实时视频传输系统中，视频延迟可能会影响用户互动，或者影响用户获取关键信息的时机等，从而带来不好的用户体验。由此可知，确认实时视频传输系统中存在的延迟具有重要意义。在实践中发现，目前已有的视频延迟测试方法主要是基于人工观察的方法，该种方法的人力资源成本较高、误差较大、且操作时间较长。
发明内容
本申请实施例的目的在于提供一种视频延迟值的计算方法及装置，能够减少人力资源成本，减少误差，并减少操作时间。
本申请实施例提供了一种视频延迟值的计算方法，所述方法包括：
获取主播端输出的播放视频和客户端接收的测试视频；其中，所述播放视频包括时序信息，所述测试视频与所述播放视频实时对应；
以预设帧率为依据对所述播放视频和所述测试视频进行分帧处理，得到播放图像集和测试图像集；
以所述播放图像集和所述测试图像集为依据进行延迟计算，得到视频延迟值。
在上述实现过程中，该方法可以获取到主播端播放的播放视频和客户端接收到的测试视频，其中，主播端可以为直播场景下的主播端，而客户端是观看主播端画面的一个端口，由此可知，主播端播放的内容可以通过网络传输或者其他的传输方式使得客户端可以接收到主播端输出的播放视频，即主播端输出播放视频，客户端接收主播端输出的播放视频并输出对应的视频，该视频称之为测试视频；同时，上述的播放视频为包括时序信息的视频，即观看该视频可以得知相应的时间信息，由此可知，客户端接收到的测试视频也是包括时序信息的，并且在接收延迟的基础上，同一时刻的两个视频画面上的时序信息存在差异；基于上述的两个视频，该方法可以进行视频延迟值的计算，为了提高视频延迟值的计算精度，该方法在获取两个视频之后按照预设的固定帧率对两个视频进行分帧处理，得到了帧数固定且相同的两个图像集合，该两个图像集合中以帧为依据实时对应；基于对应的两个图像集，该方法在帧中提取图像包括的时序信息并基于所有的时序信息进行视频延迟的计算，最终得到该视频的视频延迟值，该视频延迟值可以是延迟均值。由此可见，实施这种实施方式，能够在直播的测试场景下获取直播视频和观看视频，再进一步通过测试用的视频内容进行进一步的延迟计算，从而能够得到一种避免人力参与的延迟计算方法，进而能够减少人力资源成本，减少人为产生的误差，并且通过系统检测减少传统人工检测的检测时间。
进一步地，所述获取主播端输出的播放视频和客户端接收的测试视频的步骤包括：
在接收到主播端发送的开播完成通知时，获取主播端输出的播放视频和客户端接收的测试视频。
在上述实现过程中，视频延迟值的计算装置可以设置一个检测条件，避免一些异常情况的出现，其中，异常情况包括主播未开播时房间存在观看者即客户端存在测试视频的情况出现，上述情况之所以为异常情况是因为上述情况出现的时候测试视频会出现一端时间的无视频的显示状态，从而影响视频延迟值的计算质量；同时，视频延迟值的计算装置在接收到主播端发送的开播完成通知时，视频延迟值的计算装置可以确定主播端已经开播，即现在可以开始测试，从而可以避免许多异常情况的出现，进而提高视频延迟值的计算精度。
进一步地，所述以预设帧率为依据对所述播放视频和所述测试视频进行分帧处理，得到播放图像集和测试图像集的步骤之后，所述以所述播放图像集和所述测试图像集为依据进行延迟计算，得到视频延迟值的步骤之前，所述方法还包括：
对所述播放图像集进行去重处理得到第一去重图像集，并对所述测试图像集进行去重处理得到第二去重图像集；
将所述第一去重图像集确定为所述播放图像集，并将所述第二去重图像集确定为所述测试图像集。
在上述实现过程中，该方法可以在获取到播放图像集和测试图像集之后进行去重处理，从而避免该方法在之前以预设帧率进行视频分帧而产生的不必要图像，进而保证了时间轴上的图像不会重合；同时，该种方法通过这种图像去重的方式可以去除不必要的图像，从而避免重复计算或者不必要计算，进而保证了视频延迟值的计算精度和视频延迟值的计算效率。
进一步地，所述对所述播放图像集进行去重处理得到第一去重图像集，并对所述测试图像集进行去重处理得到第二去重图像集的步骤包括：
获取所述播放图像集的第一图像哈希值集合和所述测试图像集的第二图像哈希值集合；
以所述第一图像哈希值集合为依据对所述播放图像集进行去重处理，得到第一去重图像集，以所述第二图像哈希值集合为依据对所述测试图像集进行去重处理，得到第二去重图像集。
在上述实现过程中，该方法限定了去重操作是基于播放图像集和测试图像集中每幅图像的图像哈希值的，因此，在图像集中去除相同哈希值的图像可以去除图像集中重复的图像，这就使得图像集中不会存在重复图像，从而避免了重复的延迟值计算；另一方面，使用图像哈希值进行图像去重的过程中还可以限定去重对象的取用范围，举例来说，该方法可以逐次对相邻图像进行去重处理，从而保证相邻的图像中不相同，进而保证图像集在播放时序上的每两帧是不重复的。由此可见，实施这种实施方式，可以提高视频延迟值的计算精度，同时还可以在播放图像集和测试图像集的帧数相同固定的基础上，便于视频延迟值的计算。
进一步地，所述对所述播放图像集进行去重处理得到第一去重图像集，并对所述测试图像集进行去重处理得到第二去重图像集的步骤包括：
以所述播放图像集中相邻图像的结构相似度为依据进行去重处理，得到第一去重图像集，以所述测试图像集中相邻图像的结构相似度为依据进行去重处理，得到第二去重图像集。
在上述实现过程中，该方法还可以限定一种通过相邻图像的结构相似度来进行去重的操作，可见，使用该方法可以通过结构相似度来确定相邻图像是否为相似图像，如果是相似图像则进行删除，避免重复图像的出现。可见，实施这种实施方式，可以避免相似图像的出现，保证时间轴(该时间轴为根据预设帧率分帧得到的图像所处的时间轴)上每种视频上不会出现相同的图像，从而可以提高图像的使用率，避免异常图像的使用，从而提高视频延迟值的计算精度，提高视频延迟的计算效率。
进一步地，所述以所述播放图像集和所述测试图像集为依据进行延迟计算，得到视频延迟值的步骤包括：
对所述播放图像集进行图像识别，得到第一时序信息集，对所述测试图像集进行图像识别，得到第二时序信息集；
以预设的帧排列顺序为依据依次对所述第一时序信息集和所述第二时序信息集两者包括的信息进行计算，得到延迟值集合；
对所述延迟值集合进行均值处理，得到视频延迟值。
在上述实现过程中，该方法可以在获取到播放视频集和测试视频集之后，提取所有的时序信息，该时序信息包括播放图像的时序信息集和测试图像的时序信息集，这两个集合在分帧处理之后具有相同的帧数，因此时间轴基础是相同，基于上述内容，在每个对应帧中提取相应的时序信息进行帧延迟的计算，可以得到大量的帧延迟值，从而构成大量的帧延迟集合，在此基础上，该方法进一步进行均值处理，得到视频延迟的均值。可见，实施这种实施方式可以得到视频延迟值的均值，从而更好的体现出整个视频播放的延迟值。
进一步地，所述以所述播放图像集和所述测试图像集为依据进行延迟计算，得到视频延迟值的步骤之后，所述方法还包括：
以所述视频延迟值和所述播放图像集为依据，获取所述测试图像集中不存在的丢失图像集；其中，所述丢失图像集与所述测试图像集的合集为所述播放图像集。
在上述实现过程中，该方法可以根据视频延迟值和播放图像集进行小范围丢失图像的提取，其中，该丢失图像是指播放视频中存在的图像，而测试图像中没有显示的图像；一般来说，丢失图像可以进行全视频的比对，从而确定出丢失图像，但是该方法可以在视频延迟的区间内进行小范围丢失图像的确定，从而可以更容易的获取到丢失图像集，并且提高丢失图像集的获取效率。
进一步地，所述以所述视频延迟值和所述播放图像集为依据，获取所述测试图像集中不存在的丢失图像集的步骤包括：
以预设的误差延迟值、所述视频延迟值和所述播放图像集为依据，获取所述测试图像集中不存在的丢失图像集。
在上述实现过程中，该方法可以根据视频延迟值和播放图像集进行丢失图像的获取，但是视频延迟值是延迟均值，因此误差延迟值可以提供额外的延迟浮动，从而可以增加一部分丢失图像的获取范围，从而增加丢失图像的获取精度。
进一步地，所述以所述视频延迟值和所述播放图像集为依据，获取所述测试图像集中不存在的丢失图像集步骤之后，所述方法还包括：
以所述丢失图像集的图像帧数和所述播放图像集的图像帧数为依据进行计算，得到视频数据丢失率。
在上述实现过程中，该方法可以根据丢失图像帧数和播放图像集的图像帧数计算得到视频数据丢失率，可见，实施这种实施方式可以避免传统的人力计算，提高计算效率，同时使用该方法还可以提高视频数据丢失率的计算准确程度。
本申请实施例第二方面提供了一种视频延迟值的计算装置，所述视频延迟值的计算装置包括：
获取单元，用于获取主播端输出的播放视频和客户端接收的测试视频；其中，所述播放图像包括时序信息，所述测试视频与所述播放视频实时对应；
分帧单元，用于以预设帧率为依据对所述播放视频和所述测试视频进行分帧处理，得到播放图像集和测试图像集；
计算单元，用于以所述播放图像集和所述测试图像集为依据进行延迟计算，得到视频延迟值。
在上述实现过程中，该视频延迟值的计算装置可以通过获取单元获取到计算的基础数据，即播放视频和测试视频，同时通过分帧单元对播放视频和测试视频进行分帧处理，得到播放图像集和测试图像集，最后通过计算单元对播放图像集和测试图像集的内容进行提取和计算，从而得到最终的视频延迟值。可见，实施这种实施方式，该视频延迟值的计算装置可以通过上述三个单元的协同工作计算得到视频延迟值，从而避免了传统人工计算产生了人力资源成本，同时还能够提高视频延迟值计算的效率和准确程度。
本申请实施例第三方面提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据本申请实施例第一方面中任一项所述的视频延迟值的计算方法。
本申请实施例第四方面提供了一种计算机可读存储介质，其存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行本申请实施例第一方面中任一项所述的视频延迟值的计算方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种视频延迟值的计算方法的流程示意图；
图2为本申请实施例提供的另一种视频延迟值的计算方法的流程示意图；
图3为本申请实施例提供的一种视频延迟值的计算装置的结构示意图；
图4为本申请实施例提供的另一种视频延迟值的计算装置的结构示意图；
图5为本申请实施例提供的一种应用场景举例示意图；
图6为本申请实施例提供的一种视频帧率调整的举例示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
另外，申请实施例提供的一种视频延迟值的计算方法可以应用于任何具有计算能力的电子设备中，以通过该电子设备完成视频延迟值的计算。具体的，该视频延迟值的计算方法可以应用于基于网络的直播场景和传屏场景等场景中，以实现基于具体场景的视频延迟值的监测与计算。至于本申请描述的内容将在后续的多个实施例中进行相应架构、场景与执行主体的描述，因此请参阅后续具体实施例。
实施例1
请参看图1，图1为本申请实施例提供了一种视频延迟值的计算方法的流程示意图。该视频延迟值的计算方法应用于视频延迟值的测试计算场景中，具体的场景可以为直播场景和预设的测试场景，其中，在直播场景中使用该视频延迟值的计算方法时，可以通过插入时序信息视频的形式进行视频延迟值的计算，该种场景下，能够在不影响观众观看的前提下进行视频延迟值的计算；而对于测试场景，则为常规的固定测试场景，虽为直播，但是观众仅为测试者或者测试机器。同时，该方法可以应用于计算机架构当中以实现其视频延迟值的计算功能，对于执行主体的描述可参阅后续实施例。其中，该视频延迟值的计算方法包括：
S101、获取主播端输出的播放视频和客户端接收的测试视频；其中，播放视频包括时序信息，测试视频与播放视频实时对应。
本实施例中，主播端为输出播放视频的装置，具体的，该主播端可以为计算机端、手机端或者云端，对此本实施例中不作任何限定。
本实施例中，客户端为接收播放视频并显示测试视频的端口，具体的，该客户端也可以为计算机端、手机端或者云端，对此本实施例中不作任何限定。
本实施例中，播放视频包括时序信息意为播放视频是能够显示当时播放时间的，举例来说，播放视频为60帧/秒的视频，那么作为一个一分钟的播放视频，该播放视频中存在3600帧，在这3600帧中，每帧上显示对应的时刻，如第一帧为1/60秒，第二帧为2/60秒。
在本实施例中，时序信息即为上述的1/60秒、2/60秒，因此该时序信息可以与播放视频的帧率相对应。
在本实施例中，上述时序信息可以跟预设帧率相对应。
本实施例中，测试视频接收到的也是上述的时序信息，只是该接收的过程中测试视频存在一定的延迟与丢失，因此，时序信息显示时间较后，并且有一定信息消失。
在本实施例中，消失的时序信息可以不参与视频延迟值的计算。
本实施例中，播放视频即可以是一个完整的视频，也可以是一个视频中的部分视频。举例来说，播放视频为完整的视频时，该播放视频可以为一个时钟视频或者秒表视频；播放视频为部分视频时，可以为某操作界面的时钟视频。
本实施例中，测试视频是接收到播放视频，并根据播放视频进行处理播放出来的视频，该播放出来的视频称之为测试视频。其中，测试视频与播放视频之间的差别在于延迟与数据丢失。
本实施例中，时序信息至少包括主播端播放的播放视频的显示内容。在实际情况中，我们可以得知播放视频是至少具有三条时间线的，其中，这三条时间线分别为显示内容的时间线(如显示中的钟表时间)、播放视频的播放时间线以及现实时间线。
请参阅图5，如图5所示，现实时间(即实际时间)线为9：00：00-9：00：30，那么播放视频的播放时间线为0：10-0：40，至于显示内容的时间线则可以为1：20-1：50。同时，播放视频包括的时序信息是播放视频中的，因此，时序信息可以为1：20-1：50。另外，播放视频在客户端显示的时候会存在延迟，因此，客户端显示的内容为1：10-1：40，由图5可知，延迟为10秒。应理解的是，上图是理想中的示意图，在实际情况中，可能会存在客户端显示视频丢帧的情况。
本实施例中，测试视频和播放视频的现实时间(实际时间)线是相同的，从而也能够保证在现实时间(实际时间)线相同的基础上，同一个时间点主播端和客户端分别显示的帧。
S102、以预设帧率为依据对播放视频和测试视频进行分帧处理，得到播放图像集和测试图像集。
本实施例中，预设帧率可以为60帧/秒，也可以为48帧/秒，对此本实施例中不作任何限定。
本实施例中，播放视频和测试视频无论是什么样的帧率，在根据预设帧率进行分帧处理之后，得到固定帧数的视频。
举例来说，预设帧率为60帧/秒时，30帧/秒帧率的1分钟测试视频，最终分帧处理得到的结果是3600帧图像，只不过有1800帧图像是重复的；对于120帧/秒帧率的1分钟测试视频，最终分帧得到的结果也是3600帧图像，只不过丢失了3600帧图像。相应的测试视频与播放视频同理，本实施例中不再多加赘述。
请参阅图6，图6为上述举例的实际场景示意图，其中测试视频的帧率为30帧/秒，预设帧率为60帧/秒，在调整之后测试视频的帧率为60帧/秒，而调整方式可以从图中窥知，对此，本实施例中不再多加赘述。
在本实施例中，根据预设帧率进行分帧处理可以起到统一播放视频和测试视频帧率的作用，同时还能够在低帧率的情况下提高帧数，保证计算基础的统一，另外还能够在高帧率的情况降低帧数，避免过多的计算，提高计算效率。
本实施例中，播放图像集和测试图像集两个图像集具有相同的帧数，即播放图像及和测试图像集的时间轴是相同的，只是在时间轴上每帧图像可能存在不同。
在本实施例中，一般情况下，播放视频和测试视频的帧率皆为预设帧率。
S103、以播放图像集和测试图像集为依据进行延迟计算，得到视频延迟值。
本实施例中，播放图像集和测试图像集皆有大量图像，以预设帧率为60帧/秒，播放时间为1分钟为例，播放图像集和测试图像集皆有3600幅图像，在这7200幅图像中，存在两个时间轴，一个播放时间轴，一个测试时间轴，按照时间的自然流动顺序，播放时间轴上的3600幅图像对应3600帧，测试时间轴上同理。在此基础上，两个时间轴上对应位置的帧的图像进行时序信息的获取，并根据时序信息进行延迟值的计算，该过程的运行时基于两幅图像皆具有时序信息的前提的。举例来说，在出现图像丢失的情况时，测试时间轴上的某一帧图像并不存在，在不存在的情况下，该帧延迟值的计算搁置，不作计算，在后续的均值计算时，该帧数总数应减去不存在图像的帧数量，即视频延迟值等于帧延迟值的和与帧延迟值数量的比值。
在本实施例中，延迟计算的方式还包括统一计算，如获取播放视频时序信息的总和，获取测试视频时序信息的总和，去除不符合计算标准的数据，播放视频时序信息的总和以及测试视频时间的时序信息的差值比上测试视频中的有效帧数，得到视频延迟值。其中不符合计算标准的数据包括测试视频中丢失的数据，即播放视频中存在测试视频中不存在的图像对应的时序数据。取出标准可以依据均值标准，即获取上述不符合计算标准的数据数量，获取播放视频的时序信息的总和以及播放视频的总帧数，并计算播放视频的时序信息的总和以及播放视频的总帧数的比值，再以获取播放视频时序信息的总和减去“不符合计算标准的数据数量”和“播放视频的时序信息的总和以及播放视频的总帧数的比值”的乘积，得到参与计算视频延迟值的“播放视频时序信息的总和”，或称为播放视频有效时序信息的总和。
本实施例中，该方法的执行主体可以为视频延迟值的计算装置，具体的该视频延迟值的计算装置可为计算机、服务器、平板电脑等一系列具有计算能力的电子设备，对此本实施中不作任何限定。
可见，实施图1所描述的视频延迟值的计算方法，能够获取到主播端播放的播放视频和客户端接收到的测试视频，其中，主播端可以为直播场景下的主播端，而客户端是观看主播端画面的一个端口，由此可知，主播端播放的内容可以通过网络传输或者其他的传输方式使得客户端可以接收到主播端输出的播放视频，即主播端输出播放视频，客户端接收主播端输出的播放视频并输出对应的视频，该视频称之为测试视频；同时，上述的播放视频为包括时序信息的视频，即观看该视频可以得知相应的时间信息，由此可知，客户端接收到的测试视频也是包括时序信息的，并且在接收延迟的基础上，同一时刻的两个视频画面上的时序信息存在差异；基于上述的两个视频，该方法可以进行视频延迟值的计算，为了提高视频延迟值的计算精度，该方法在获取两个视频之后按照预设的固定帧率对两个视频进行分帧处理，得到了帧数固定且相同的两个图像集合，该两个图像集合中以帧为依据实时对应；基于对应的两个图像集，该方法在帧中提取图像包括的时序信息并基于所有的时序信息进行视频延迟的计算，最终得到该视频的视频延迟值，该视频延迟值可以是延迟均值。由此可见，实施这种实施方式，能够在直播的测试场景下获取直播视频和观看视频，再进一步通过测试用的视频内容进行进一步的延迟计算，从而能够得到一种避免人力参与的延迟计算方法，进而能够减少人力资源成本，减少人为产生的误差，并且通过系统检测减少传统人工检测的检测时间。
实施例2
请参看图2，图2为本申请实施例提供的另一种视频延迟值的计算方法的流程示意图。图2所描述的视频延迟值的计算方法的流程示意图是根据图1所描述的视频延迟值的计算方法的流程示意图进行改进得到的。相应的，实施例2是与实施例1相关的一种更加具体的实施方式，该实施例中描述的内容也实施例1应用的场景相同，并且可以使视频延迟值被计算地更加准确；其中，需要说明的是，实施例2和实施例1皆为完整的实施例，因此，实施例2与实施例1相关且独立。具体的，该视频延迟值的计算方法包括：
S201、在接收到主播端发送的开播完成通知时，获取主播端输出的播放视频和客户端接收的测试视频；其中，播放视频包括时序信息，测试视频与播放视频实时对应。
本实施例中，主播端为输出播放视频的装置，具体的，该主播端可以为计算机端、手机端或者云端，对此本实施例中不作任何限定。
本实施例中，客户端为接收播放视频并显示测试视频的端口，具体的，该客户端也可以为计算机端、手机端或者云端，对此本实施例中不作任何限定。
本实施例中，该方法可以优先给主播端及客户端发送开播通知，以使主播端开播包括时序信息的播放视频，该时序信息为连续变化的时序信息，其变化可以以帧为基础，即每帧一个时序信息。
在本实施例中，该方法还可以在主播端开播之后，检测客户端端是否进入主播端开播的直播间，如果客户端已经开始观看，则可以获取客户端的测试视频。
在本实施例中，主播端开播之后会发送开播通知，该开播通知可以通知客户端进入观看，也可以同时测试可以开始，还可以触发客户端进入主播端开设的直播间中观看，对于开播通知的作用除上述三种还有其他的左右，对此本实施例中不作任何限定。
本实施例中，主播端输出的播放视频和客户端接收的测试视频是同时获取的，其中，获取手段可以为录制；另外，该方法货到的播放视频和测试视频可以时主播端和客户端分别各自录制的，然后发送到该测试装置或计算装置的，对此本实施例中不作任何限定。
本实施例中，该方法可以优先通过数据库查询视频延时任务后向主播端发送开播通知，以使主播端接收到开播通知进行播放视频的输出和开播完成通知的输出。
在本实施例中，该方法在查询视频延时任务后还可以查询数据丢失测试任务。
本实施例中，播放视频包括时序信息意为播放视频是能够显示当时播放时间的，举例来说，播放视频为60帧/秒的视频，那么作为一个一分钟的播放视频，该播放视频中存在3600帧，在这3600帧中，每帧上显示对应的时刻，如第一帧为1/60秒，第二帧为2/60秒。
在本实施例中，时序信息即为上述的1/60秒、2/60秒，因此该时序信息可以与播放视频的帧率相对应。
在本实施例中，上述时序信息可以跟预设帧率相对应。
本实施例中，测试视频接收到的也是上述的时序信息，只是该接收的过程中测试视频存在一定的延迟与丢失，因此，时序信息显示时间较后，并且有一定信息消失。
在本实施例中，消失的时序信息可以不参与视频延迟值的计算。
本实施例中，播放视频即可以是一个完整的视频，也可以是一个视频中的部分视频。举例来说，播放视频为完整的视频时，该播放视频可以为一个时钟视频或者秒表视频；播放视频为部分视频时，可以为某操作界面的时钟视频。
本实施例中，测试视频是接收到播放视频，并根据播放视频进行处理播放出来的视频，该播放出来的视频称之为测试视频。其中，测试视频与播放视频之间的差别在于延迟与数据丢失。
S202、以预设帧率为依据对播放视频和测试视频进行分帧处理，得到播放图像集和测试图像集。
本实施例中，该方法可以分别将主播端的播放视频和客户端的测试视频，以固定帧率(60帧/秒)分帧为图像集，该过程可以通过ffmpeg(Fast Forward Mpeg)命令来实现，具体命令可以为：ffmpeg-i视频名.mp4-r60％d.jpeg。
本实施例中，预设帧率可以为60帧/秒，也可以为48帧/秒，对此本实施例中不作任何限定。
本实施例中，播放视频和测试视频无论是什么样的帧率，在根据预设帧率进行分帧处理之后，得到固定帧数的视频。
举例来说，预设帧率为60帧/秒时，30帧/秒帧率的1分钟测试视频，最终分帧处理得到的结果是3600帧图像，只不过有1800帧图像是重复的；对于120帧/秒帧率的1分钟测试视频，最终分帧得到的结果也是3600帧图像，只不过丢失了3600帧图像。相应的测试视频与播放视频同理，本实施例中不再多加赘述。
在本实施例中，根据预设帧率进行分帧处理可以起到统一播放视频和测试视频帧率的作用，同时还能够在低帧率的情况下提高帧数，保证计算基础的统一，另外还能够在高帧率的情况降低帧数，避免过多的计算，提高计算效率。
本实施例中，播放图像集和测试图像集两个图像集具有相同的帧数，即播放图像及和测试图像集的时间轴是相同的，只是在时间轴上每帧图像可能存在不同。
在本实施例中，一般情况下，播放视频和测试视频的帧率皆为预设帧率。
S203、对播放图像集进行去重处理得到第一去重图像集，并对测试图像集进行去重处理得到第二去重图像集。
作为一种可选的实施方式，对播放图像集进行去重处理得到第一去重图像集，并对测试图像集进行去重处理得到第二去重图像集的步骤包括：
获取播放图像集的第一图像哈希值集合和测试图像集的第二图像哈希值集合；
以第一图像哈希值集合为依据对播放图像集进行去重处理，得到第一去重图像集，以第二图像哈希值集合为依据对测试图像集进行去重处理，得到第二去重图像集。
实施这种实施方式，可以提高视频延迟值的计算精度，同时还可以在播放图像集和测试图像集的帧数相同固定的基础上，便于视频延迟值的计算。
本实施例中，通过计算图像哈希值(进一步可使用哈希均值)来确定相邻两帧图像的相似性，若相邻两帧图像的哈希值相同，则判定两帧图像为重复图像，保留前一帧图像，剔除后一帧图像。
本实施例中，比较对象优选为相邻两帧图像。
作为一种可选的实施方式，对播放图像集进行去重处理得到第一去重图像集，并对测试图像集进行去重处理得到第二去重图像集的步骤包括：
以播放图像集中相邻图像的结构相似度为依据进行去重处理，得到第一去重图像集，以测试图像集中相邻图像的结构相似度为依据进行去重处理，得到第二去重图像集。
实施这种实施方式，能够通过播放图像集中相邻图像的结构相似度进行去重处理，从而得到没有重复图像的去重图像集。
在上述实施例中，重复图像的产生原因是因为以预设帧率的分帧处理操作，举例来说，原视频是30帧/秒的视频，分帧的基础是60帧/秒，那么一秒内的视频将切割成两倍份，对此，该一秒钟，偶数帧的图像的删除，可以避免重复图像的参与计算，从而避免计算的损耗，进而提高计算的效率。
本实施例中，该方法可以通过相邻两帧图像的结构相似度来确定相邻两帧图像的相似性，若相邻两帧图像的相似度近似100％，则判定两帧图像为重复图像，保留前一帧图像，剔除后一帧图像。
S204、将第一去重图像集确定为播放图像集，并将第二去重图像集确定为测试图像集。
本实施例中，图像集进行替换的过程中，从而保证参与计算的播放图像集和测试图像集和去重后的图像集。
S205、对播放图像集进行图像识别，得到第一时序信息集，对测试图像集进行图像识别，得到第二时序信息集。
本实施例中，因为播放图像集和测试图像集皆基于预设帧率进行了分帧，所以，播放图像集和测试图像集具有相同的帧编号或称为索引值。基于该索引值，播放图像、第一时序信息、测试图像以及第二时序信息皆是基于相应的索引值的，其存储也可以根据上述索引值进行存储。
本实施例中，第一时序信息集和第二时序信息集都是视频中图像显示的时序信息的集合。
本实施例中，上述的视频过程可以通过文字识别的方法(如使用python-Tesseract库来实现图片中文字识别的方法)，来识别播放图像和测试图像中所显示的时序信息(时间数据)。
S206、以预设的帧排列顺序为依据依次对第一时序信息集和第二时序信息集两者包括的信息进行计算，得到延迟值集合。
本实施例中，计算的过程是基于相同索引值的帧间时间计算过程，具体的，索引值为1的两个时序信息进行减法得到索引值为1的时间延迟值。
在本实施例中，索引值存在多少，即存在多少个时间延迟值，从而构成一个延迟值集合，其中该延迟值集合具有帧的延迟值的数量信息。
在本实施例中，对于某些索引值不存在可以计算的图像(即不包括时序信息的图像)时，跳过对应帧的计算过程，同时不记录计算帧的总数量。
S207、对延迟值集合进行均值处理，得到视频延迟值。
本实施例中，视频延迟值可以为延迟值集合的均值。
S208、以视频延迟值和播放图像集为依据，获取测试图像集中不存在的丢失图像集；其中，丢失图像集与测试图像集的合集为播放图像集。
举例来说，播放视频中某一帧的图像的索引值为60，视频延迟值对应的索引值差值为30，那么在测试图像集中索引值为30的位置获取图像，判断测试图像集中索引值为30的图像是否与播放视频中索引值为60的图像相同，如果相同，则认为播放图像集中索引值为60的图像存在。相应的，当上述过程不成立的时候，则认为播放图像集中索引值为60的图像为丢失图像，从而确定出所有丢失图像得到丢失图像集。
作为一种可选的实施方式，以视频延迟值和播放图像集为依据，获取测试图像集中不存在的丢失图像集的步骤可以包括：
以预设的误差延迟值、视频延迟值和播放图像集为依据，获取测试图像集中不存在的丢失图像集。
实施这种实施方式，可以根据视频延迟值和播放图像集进行丢失图像的获取，但是视频延迟值是延迟均值，因此误差延迟值可以提供额外的延迟浮动，从而可以增加一部分丢失图像的获取范围，从而增加丢失图像的获取精度。
本实施例中，误差延迟值可以在上述举例的30索引值的差值的基础上进行范围性扩大，举例来说，该误差延迟值的设立可以将在测试视频的图像寻找范围设定在索引值为27～33的范围中，从而保证播放视频索引值为60的图像在测试视频索引值为27～33的范围中存在即可以认为图像未丢失，如果上述过程不成，再进行丢失图像的确定，从而可以增加丢失图像确定的精度。
S209、以丢失图像集的图像帧数和播放图像集的图像帧数为依据进行计算，得到视频数据丢失率。
本实施例中，视频数据丢失率等于丢失图像集的图像帧数与播放图像集的图像帧数的比值。
在本实施例中，播放图像集的图像帧数与丢失图像集的图像帧数的差值为有效图像帧数，有效图像帧数与播放图像集的图像帧数的比值为视频数据有效率。
可见，实施图2所描述的视频延迟值的计算方法，能够在直播的测试场景下获取直播视频和观看视频，再进一步通过测试用的视频内容进行进一步的延迟计算，从而能够得到一种避免人力参与的延迟计算方法，进而能够减少人力资源成本，减少人为产生的误差，并且通过系统检测减少传统人工检测的检测时间；还能够通过可是开始的条件设置，避免许多异常情况的出现，进而提高视频延迟值的计算精度；还能够通过图像去重的方法去除不必要的图像，从而避免重复计算或者不必要计算，进而保证了视频延迟值的计算精度和视频延迟值的计算效率；还能够通过限定去重方式为哈希值去重来提高视频延迟值的计算精度，同时还可以保证播放图像集和测试图像集的帧数相同固定，便于视频延迟值的计算；还能够通过使用基于相邻图像的结构相似度的去重方法来避免相似图像的出现，保证时间轴(该时间轴为根据预设帧率分帧得到的图像所处的时间轴)上每种视频上不会出现相同的图像，从而可以提高图像的使用率，避免异常图像的使用，从而提高视频延迟值的计算精度，提高视频延迟的计算效率；还能够限定视频延迟值是视频中多个帧的延迟值的均值，从而还能够更好的体现出整个视频播放的延迟值；还能够通过视频延迟值在视频延迟的区间内进行小范围丢失图像的确定，从而可以更容易的获取到丢失图像集，并且提高丢失图像集的获取效率；还能够通过误差延迟值的参与计算，来增加一部分丢失图像的获取范围，从而增加丢失图像的获取精度；还能够计算出视频数据丢失率来避免传统的人力计算，提高计算效率，同时还可以提高视频数据丢失率的计算准确程度。
实施例3
请参看图3，图3为本申请实施例提供的一种视频延迟值的计算装置的结构示意图。其中，该视频延迟值的计算装置包括：
获取单元310，用于获取主播端输出的播放视频和客户端接收的测试视频；其中，播放图像包括时序信息，测试视频与播放视频实时对应；
分帧单元320，用于以预设帧率为依据对播放视频和测试视频进行分帧处理，得到播放图像集和测试图像集；
计算单元330，用于以播放图像集和测试图像集为依据进行延迟计算，得到视频延迟值。
本实施例中，主播端为输出播放视频的装置，具体的，该主播端可以为计算机端、手机端或者云端，对此本实施例中不作任何限定。
本实施例中，客户端为接收播放视频并显示测试视频的端口，具体的，该客户端也可以为计算机端、手机端或者云端，对此本实施例中不作任何限定。
本实施例中，播放视频包括时序信息意为播放视频是能够显示当时播放时间的，举例来说，播放视频为60帧/秒的视频，那么作为一个一分钟的播放视频，该播放视频中存在3600帧，在这3600帧中，每帧上显示对应的时刻，如第一帧为1/60秒，第二帧为2/60秒。
在本实施例中，时序信息即为上述的1/60秒、2/60秒，因此该时序信息可以与播放视频的帧率相对应。
在本实施例中，上述时序信息可以跟预设帧率相对应。
本实施例中，测试视频接收到的也是上述的时序信息，只是该接收的过程中测试视频存在一定的延迟与丢失，因此，时序信息显示时间较后，并且有一定信息消失。
在本实施例中，消失的时序信息可以不参与视频延迟值的计算。
本实施例中，播放视频即可以是一个完整的视频，也可以是一个视频中的部分视频。举例来说，播放视频为完整的视频时，该播放视频可以为一个时钟视频或者秒表视频；播放视频为部分视频时，可以为某操作界面的时钟视频。
本实施例中，测试视频是接收到播放视频，并根据播放视频进行处理播放出来的视频，该播放出来的视频称之为测试视频。其中，测试视频与播放视频之间的差别在于延迟与数据丢失。
本实施例中，预设帧率可以为60帧/秒，也可以为48帧/秒，对此本实施例中不作任何限定。
本实施例中，播放视频和测试视频无论是什么样的帧率，在根据预设帧率进行分帧处理之后，得到固定帧数的视频。
举例来说，预设帧率为60帧/秒时，30帧/秒帧率的1分钟测试视频，最终分帧处理得到的结果是3600帧图像，只不过有1800帧图像是重复的；对于120帧/秒帧率的1分钟测试视频，最终分帧得到的结果也是3600帧图像，只不过丢失了3600帧图像。相应的测试视频与播放视频同理，本实施例中不再多加赘述。
在本实施例中，根据预设帧率进行分帧处理可以起到统一播放视频和测试视频帧率的作用，同时还能够在低帧率的情况下提高帧数，保证计算基础的统一，另外还能够在高帧率的情况降低帧数，避免过多的计算，提高计算效率。
本实施例中，播放图像集和测试图像集两个图像集具有相同的帧数，即播放图像及和测试图像集的时间轴是相同的，只是在时间轴上每帧图像可能存在不同。
在本实施例中，一般情况下，播放视频和测试视频的帧率皆为预设帧率。
本实施例中，播放图像集和测试图像集皆有大量图像，以预设帧率为60帧/秒，播放时间为1分钟为例，播放图像集和测试图像集皆有3600幅图像，在这7200幅图像中，存在两个时间轴，一个播放时间轴，一个测试时间轴，按照时间的自然流动顺序，播放时间轴上的3600幅图像对应3600帧，测试时间轴上同理。在此基础上，两个时间轴上对应位置的帧的图像进行时序信息的获取，并根据时序信息进行延迟值的计算，该过程的运行时基于两幅图像皆具有时序信息的前提的。举例来说，在出现图像丢失的情况时，测试时间轴上的某一帧图像并不存在，在不存在的情况下，该帧延迟值的计算搁置，不作计算，在后续的均值计算时，该帧数总数应减去不存在图像的帧数量，即视频延迟值等于帧延迟值的和与帧延迟值数量的比值。
在本实施例中，延迟计算的方式还包括统一计算，如获取播放视频时序信息的总和，获取测试视频时序信息的总和，去除不符合计算标准的数据，播放视频时序信息的总和以及测试视频时间的时序信息的差值比上测试视频中的有效帧数，得到视频延迟值。其中不符合计算标准的数据包括测试视频中丢失的数据，即播放视频中存在测试视频中不存在的图像对应的时序数据。取出标准可以依据均值标准，即获取上述不符合计算标准的数据数量，获取播放视频的时序信息的总和以及播放视频的总帧数，并计算播放视频的时序信息的总和以及播放视频的总帧数的比值，再以获取播放视频时序信息的总和减去“不符合计算标准的数据数量”和“播放视频的时序信息的总和以及播放视频的总帧数的比值”的乘积，得到参与计算视频延迟值的“播放视频时序信息的总和”，或称为播放视频有效时序信息的总和。
本实施例中，视频延迟值的计算装置可以引用实施例1或实施例2中描述的任一解释说明，对此本实施例中不再多加赘述。
可见，实施图3所描述的视频延迟值的计算装置，能够获取单元310获取到计算的基础数据，即播放视频和测试视频，同时通过分帧单元320对播放视频和测试视频进行分帧处理，得到播放图像集和测试图像集，最后通过计算单元330对播放图像集和测试图像集的内容进行提取和计算，从而得到最终的视频延迟值。可见，实施这种实施方式，该视频延迟值的计算装置可以通过上述三个单元的协同工作计算得到视频延迟值，从而避免了传统人工计算产生了人力资源成本，同时还能够提高视频延迟值计算的效率和准确程度。
实施例4
请参看图4，图4为本申请实施例提供的另一种视频延迟值的计算装置的结构示意图。图4所描述的视频延迟值的计算装置的结构示意图是根据图3所描述的视频延迟值的计算装置的结构示意图进行改进得到的。其中，获取单元310具体用于在接收到主播端发送的开播完成通知时，获取主播端输出的播放视频和客户端接收的测试视频。
作为一种可选的实施方式，该视频延迟值的计算装置还包括去重单元340和确定单元，其中，
去重单元340，用于对播放图像集进行去重处理得到第一去重图像集，并对测试图像集进行去重处理得到第二去重图像集；
确定单元，用于将第一去重图像集确定为播放图像集，并将第二去重图像集确定为测试图像集。
作为一种可选的实施方式，去重单元340可以执行获取播放图像集的第一图像哈希值集合和测试图像集的第二图像哈希值集合；
以第一图像哈希值集合为依据对播放图像集进行去重处理，得到第一去重图像集，以第二图像哈希值集合为依据对测试图像集进行去重处理，得到第二去重图像集的操作。
作为一种可选的实施方式，去重单元340还可以执行以播放图像集中相邻图像的结构相似度为依据进行去重处理，得到第一去重图像集，以测试图像集中相邻图像的结构相似度为依据进行去重处理，得到第二去重图像集的操作。
作为一种可选的实施方式，计算单元330包括：
识别子单元331，用于对播放图像集进行图像识别，得到第一时序信息集，对测试图像集进行图像识别，得到第二时序信息集；
计算子单元332，用于以预设的帧排列顺序为依据依次对第一时序信息集和第二时序信息集两者包括的信息进行计算，得到延迟值集合；
计算子单元332，还用于对延迟值集合进行均值处理，得到视频延迟值。
作为一种可选的实施方式，视频延迟值的计算装置还包括提取单元350，
提取单元350，用于以视频延迟值和播放图像集为依据，获取测试图像集中不存在的丢失图像集；其中，丢失图像集与测试图像集的合集为播放图像集。
作为一种可选的实施方式，提取单元350具体可以用于以预设的误差延迟值、视频延迟值和播放图像集为依据，获取测试图像集中不存在的丢失图像集。
作为一种可选的实施方式，计算单元330还用于以丢失图像集的图像帧数和播放图像集的图像帧数为依据进行计算，得到视频数据丢失率。
本实施例中，视频延迟值的计算装置可以引用实施例1或实施例2中描述的任一解释说明，对此本实施例中不再多加赘述。
可见，实施图4所描述的视频延迟值的计算装置，能够通过多个单元的协同工作，来提高视频延迟值的计算精度与计算效率，同时使用该视频延迟值的计算装置可以避免人力资源成本的浪费，从而起到解决人力资源的作用。
本申请实施例提供了一种电子设备，包括存储器以及处理器，存储器用于存储计算机程序，处理器运行计算机程序以使电子设备执行根据本申请实施例1或实施例2中任一项视频延迟值的计算方法。
本申请实施例提供了一种计算机可读存储介质，其存储有计算机程序指令，计算机程序指令被一处理器读取并运行时，执行本申请实施例1或实施例2中任一项视频延迟值的计算方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (12)

1.一种视频延迟值的计算方法，其特征在于，所述方法包括：
获取主播端输出的播放视频和客户端接收的测试视频；其中，所述播放视频包括时序信息，所述测试视频与所述播放视频实时对应；
以预设帧率为依据对所述播放视频和所述测试视频进行分帧处理，得到播放图像集和测试图像集；
以所述播放图像集和所述测试图像集为依据进行延迟计算，得到视频延迟值。
2.根据权利要求1所述的视频延迟值的计算方法，其特征在于，所述获取主播端输出的播放视频和客户端接收的测试视频的步骤包括：
在接收到主播端发送的开播完成通知时，获取主播端输出的播放视频和客户端接收的测试视频。
3.根据权利要求1所述的视频延迟值的计算方法，其特征在于，所述以预设帧率为依据对所述播放视频和所述测试视频进行分帧处理，得到播放图像集和测试图像集的步骤之后，所述以所述播放图像集和所述测试图像集为依据进行延迟计算，得到视频延迟值的步骤之前，所述方法还包括：
对所述播放图像集进行去重处理得到第一去重图像集，并对所述测试图像集进行去重处理得到第二去重图像集；
将所述第一去重图像集确定为所述播放图像集，并将所述第二去重图像集确定为所述测试图像集。
4.根据权利要求3所述的视频延迟值的计算方法，其特征在于，所述对所述播放图像集进行去重处理得到第一去重图像集，并对所述测试图像集进行去重处理得到第二去重图像集的步骤包括：
获取所述播放图像集的第一图像哈希值集合和所述测试图像集的第二图像哈希值集合；
以所述第一图像哈希值集合为依据对所述播放图像集进行去重处理，得到第一去重图像集，以所述第二图像哈希值集合为依据对所述测试图像集进行去重处理，得到第二去重图像集。
5.根据权利要求3所述的视频延迟值的计算方法，其特征在于，所述对所述播放图像集进行去重处理得到第一去重图像集，并对所述测试图像集进行去重处理得到第二去重图像集的步骤包括：
以所述播放图像集中相邻图像的结构相似度为依据进行去重处理，得到第一去重图像集，以所述测试图像集中相邻图像的结构相似度为依据进行去重处理，得到第二去重图像集。
6.根据权利要求1所述的视频延迟值的计算方法，其特征在于，所述以所述播放图像集和所述测试图像集为依据进行延迟计算，得到视频延迟值的步骤包括：
对所述播放图像集进行图像识别，得到第一时序信息集，对所述测试图像集进行图像识别，得到第二时序信息集；
以预设的帧排列顺序为依据依次对所述第一时序信息集和所述第二时序信息集两者包括的信息进行计算，得到延迟值集合；
对所述延迟值集合进行均值处理，得到视频延迟值。
7.根据权利要求1所述的视频延迟值的计算方法，其特征在于，所述以所述播放图像集和所述测试图像集为依据进行延迟计算，得到视频延迟值的步骤之后，所述方法还包括：
以所述视频延迟值和所述播放图像集为依据，获取所述测试图像集中不存在的丢失图像集；其中，所述丢失图像集与所述测试图像集的合集为所述播放图像集。
8.根据权利要求7所述的视频延迟值的计算方法，其特征在于，所述以所述视频延迟值和所述播放图像集为依据，获取所述测试图像集中不存在的丢失图像集的步骤包括：
以预设的误差延迟值、所述视频延迟值和所述播放图像集为依据，获取所述测试图像集中不存在的丢失图像集。
9.根据权利要求7所述的视频延迟值的计算方法，其特征在于，所述以所述视频延迟值和所述播放图像集为依据，获取所述测试图像集中不存在的丢失图像集步骤之后，所述方法还包括：
以所述丢失图像集的图像帧数和所述播放图像集的图像帧数为依据进行计算，得到视频数据丢失率。
10.一种视频延迟值的计算装置，其特征在于，所述视频延迟值的计算装置包括：
获取单元，用于获取主播端输出的播放视频和客户端接收的测试视频；其中，所述播放图像包括时序信息，所述测试视频与所述播放视频实时对应；
分帧单元，用于以预设帧率为依据对所述播放视频和所述测试视频进行分帧处理，得到播放图像集和测试图像集；
计算单元，用于以所述播放图像集和所述测试图像集为依据进行延迟计算，得到视频延迟值。
11.一种电子设备，其特征在于，所述电子设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据权利要求1至9中任一项所述的视频延迟值的计算方法。
12.一种可读存储介质，其特征在于，所述可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行权利要求1至9任一项所述的视频延迟值的计算方法。
CN201910850738.XA 2019-09-10 2019-09-10 一种视频延迟值的计算方法及装置 Active CN110475156B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910850738.XA CN110475156B (zh) 2019-09-10 2019-09-10 一种视频延迟值的计算方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910850738.XA CN110475156B (zh) 2019-09-10 2019-09-10 一种视频延迟值的计算方法及装置

Publications (2)

Publication Number Publication Date
CN110475156A true CN110475156A (zh) 2019-11-19
CN110475156B CN110475156B (zh) 2022-05-03

Family

ID=68515338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910850738.XA Active CN110475156B (zh) 2019-09-10 2019-09-10 一种视频延迟值的计算方法及装置

Country Status (1)

Country Link
CN (1) CN110475156B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111654690A (zh) * 2020-05-06 2020-09-11 北京百度网讯科技有限公司 直播视频延迟时间的确定方法、装置以及电子设备
CN113676722A (zh) * 2021-07-21 2021-11-19 南京巨鲨显示科技有限公司 一种视频设备图像帧测试方法及延时测量方法
CN114112456A (zh) * 2021-10-25 2022-03-01 新光维医疗科技(苏州)股份有限公司 内窥镜系统成像检测装置及方法
WO2023278320A1 (en) * 2021-06-28 2023-01-05 Gentex Corporation Stale video detection
CN115695851A (zh) * 2022-12-28 2023-02-03 海马云（天津）信息技术有限公司 端到端延时计算方法、装置、存储介质及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130091251A1 (en) * 2011-10-05 2013-04-11 Qualcomm Incorporated Network streaming of media data
CN108174191A (zh) * 2017-12-29 2018-06-15 广州虎牙信息科技有限公司 视频流畅度测试方法、计算机存储介质及终端
CN108989884A (zh) * 2018-08-01 2018-12-11 浙江齐聚科技有限公司 直播视频延迟性能测试方法、装置、设备和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130091251A1 (en) * 2011-10-05 2013-04-11 Qualcomm Incorporated Network streaming of media data
CN108174191A (zh) * 2017-12-29 2018-06-15 广州虎牙信息科技有限公司 视频流畅度测试方法、计算机存储介质及终端
CN108989884A (zh) * 2018-08-01 2018-12-11 浙江齐聚科技有限公司 直播视频延迟性能测试方法、装置、设备和存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111654690A (zh) * 2020-05-06 2020-09-11 北京百度网讯科技有限公司 直播视频延迟时间的确定方法、装置以及电子设备
WO2023278320A1 (en) * 2021-06-28 2023-01-05 Gentex Corporation Stale video detection
US11979551B2 (en) 2021-06-28 2024-05-07 Gentex Corporation Stale video detection
CN113676722A (zh) * 2021-07-21 2021-11-19 南京巨鲨显示科技有限公司 一种视频设备图像帧测试方法及延时测量方法
CN114112456A (zh) * 2021-10-25 2022-03-01 新光维医疗科技(苏州)股份有限公司 内窥镜系统成像检测装置及方法
CN114112456B (zh) * 2021-10-25 2024-04-02 新光维医疗科技(苏州)股份有限公司 内窥镜系统成像检测装置及方法
CN115695851A (zh) * 2022-12-28 2023-02-03 海马云（天津）信息技术有限公司 端到端延时计算方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN110475156B (zh) 2022-05-03

Similar Documents

Publication Publication Date Title
CN110475156A (zh) 一种视频延迟值的计算方法及装置
JP6769943B2 (ja) 録画したビデオを再生するための方法およびシステム
CN104519401B (zh) 视频分割点获得方法及设备
CN110139062B (zh) 一种视频会议记录的创建方法、装置及终端设备
CN104768082B (zh) 一种音视频播放信息处理方法及服务器
CN108010037B (zh) 图像处理方法、装置及存储介质
WO2018017836A1 (en) Live video streaming services with machine-learning based highlight replays
CN105718861B (zh) 一种识别视频流数据类别的方法及装置
CN110691633B (zh) 用于确定响应的反应时间以及使用户界面与正在渲染的内容同步的方法和系统
CN103718166A (zh) 信息处理设备、信息处理方法和计算机程序产品
CN109635673B (zh) 吸烟行为识别方法和装置
CN108495152A (zh) 一种视频直播方法、装置、电子设备及介质
CN106371998A (zh) 移动应用的测试系统及方法
CN104427284B (zh) 处理运动视频的方法和装置
CN109120949B (zh) 视频集合的视频消息推送方法、装置、设备及存储介质
CN103942275B (zh) 一种视频识别方法与设备
CN109451326A (zh) 一种主播信息的展示方法、装置、服务器和存储介质
WO2015184861A1 (zh) 处理音频和图像信息的方法、装置和终端设备
CN110740290A (zh) 监控录像预览方法及装置
CN107483916A (zh) 音视频档案质量检测系统的控制方法
CN114339423A (zh) 短视频生成方法、装置、计算设备及计算机可读存储介质
CN111523920A (zh) 一种信息推送方法、装置及终端设备
CN105847709A (zh) 云导播台以及多路视频拼接方法
CN108881119A (zh) 一种视频浓缩的方法、装置和系统
CN110248207A (zh) 图像现实感展示服务器、展示方法和记录介质及展示系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant