CN112351273B - 一种视频播放质量检测方法及装置 - Google Patents

一种视频播放质量检测方法及装置 Download PDF

Info

Publication number
CN112351273B
CN112351273B CN202011218469.4A CN202011218469A CN112351273B CN 112351273 B CN112351273 B CN 112351273B CN 202011218469 A CN202011218469 A CN 202011218469A CN 112351273 B CN112351273 B CN 112351273B
Authority
CN
China
Prior art keywords
video
sample
frame
sample audio
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011218469.4A
Other languages
English (en)
Other versions
CN112351273A (zh
Inventor
廖钜城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New H3C Big Data Technologies Co Ltd
Original Assignee
New H3C Big Data Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by New H3C Big Data Technologies Co Ltd filed Critical New H3C Big Data Technologies Co Ltd
Priority to CN202011218469.4A priority Critical patent/CN112351273B/zh
Publication of CN112351273A publication Critical patent/CN112351273A/zh
Application granted granted Critical
Publication of CN112351273B publication Critical patent/CN112351273B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4394Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N2017/006Diagnosis, testing or measuring for television systems or their details for television sound

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明公开了一种视频播放质量检测方法及装置,所述方法包括:在虚拟机上播放第一样本视频,其中,虚拟机上播放的视频显示在所述虚拟机对应的客户端上,第一样本视频的每一帧图像均携带与其对应的帧编号,第一样本视频的部分图像中还携带与其帧编号对应的第一样本音频;采集在虚拟机对应的客户端上播放的第二样本视频和第二样本音频,并将所述第二样本视频和第二样本音频分离;根据所述第二样本音频的播放时间信息以及与所述第二样本音频对应的第二样本视频的帧的播放时间信息确定视频播放质量。根据本发明公开的视频播放质量检测方法,可以自动检测音视频的播放质量,降低人力成本,通过数据量化检测结果,大大提高了检测结果的精度和准确度。

Description

一种视频播放质量检测方法及装置
技术领域
本发明涉及虚拟桌面技术领域,特别涉及一种视频播放质量检测方法及装置。
背景技术
VDI(Virtual Desktop Infrastructure,虚拟桌面基础架构)主要依靠服务器上划分出的虚拟机来为用户提供服务,虚拟机运行在数据中心的服务器上,通过VDI技术在客户端向用户呈现虚拟桌面,以供用户通过客户端实现对虚拟机的控制。独立计算环境简单协议(Simple Protocol for Independent Computing Environment,SPICE)是一种应用于VDI的虚拟化传输协议,客户端通过SPICE协议与虚拟机进行连接,并进行数据的交互。客户端与虚拟机之间通过SPICE协议传输视频数据的过程中,可能会由于某种原因造成视频在客户端进行播放时出现卡顿、音画不同步等问题。
现有技术中,检测视频播放过程是否存在问题的方法一般为通过测试人员在客户端人工监测视频的播放过程,并确定视频的播放是否出现卡顿、音画不同步等问题;如果出现,则联系开发人员定位并对进行问题复现。这种检测视频播放质量的方法由于随时都需要测试人员监控,人力成本高,同时,视频在播放过程中的问题程度都需要人为判断,轻微的问题很容易被忽略从而导致漏检,进而造成检测精度低的问题。
发明内容
本公开实施例提供了一种视频播放质量检测方法及装置。为了对披露的实施例的一些方面有一个基本的理解,下面给出了简单的概括。该概括部分不是泛泛评述,也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念,以此作为后面的详细说明的序言。
第一方面,本公开实施例提供了一种视频播放质量检测方法,包括:
在虚拟机上播放第一样本视频,其中,虚拟机上播放的视频显示在虚拟机对应的客户端上,第一样本视频的每一帧图像均携带与其对应的帧编号,第一样本视频的部分图像中还携带与其帧编号对应的第一样本音频;
采集在虚拟机对应的客户端上播放的第二样本视频和第二样本音频,并将第二样本视频和第二样本音频分离;
根据第二样本音频的播放时间信息以及与第二样本音频对应的第二样本视频的帧的播放时间信息确定视频播放质量。
在一个实施例中,在虚拟机上播放第一样本视频之前,还包括:
将待检测视频拆分为逐帧图像;
在每一帧图像的指定位置依序添加该帧图像的帧编号;
按照预设的规则选择若干视频帧作为目标视频帧,并制作与目标视频帧的帧编号对应的第一样本音频;
当开始播放目标视频帧时,添加与其帧编号对应的第一样本音频,得到合成的第一样本视频。
在一个实施例中,制作与目标视频帧的帧编号对应的第一样本音频,包括:
将目标视频帧的帧编号转换为8进制的数字;
制作与8进制的数字对应的第一样本音频。
在一个实施例中,制作与8进制的数字对应的第一样本音频,包括:
用8个基本音符分别表示数字0-7;
根据8进制的数字得到与其对应的音符组合;
将音符组合作为与8进制的数字对应的第一样本音频,其中,每个音符的播放时间设置为固定值。
在一个实施例中,根据第二样本音频的播放时间信息以及与第二样本音频对应的第二样本视频的帧的播放时间信息确定视频播放质量,包括:
将第二样本音频中的音符组合转换为8进制的数字;
根据8进制的数字得到与第二样本音频对应的视频帧;
当第二样本音频的起始播放时间与第二样本音频对应的视频帧的播放时间相等时,确定音画同步;
当第二样本音频的起始播放时间与第二样本音频对应的视频帧的播放时间不相等时,确定音画不同步。
在一个实施例中,还包括:
获取第二样本音频的第一个音符的波峰数据;
根据第一个音符的波峰数据得到第一样本音频中与第一个音符对应的音符的波峰数据;
根据上述两个音符的波峰数据以及第二样本音频的播放时间对第一样本音频进行裁剪,得到与第二样本音频对应的第一样本音频;
根据对应的第一样本音频和第二样本音频计算平均意见值,得到音频质量。
第二方面,本公开实施例提供了一种视频播放质量检测装置,包括:
播放模块,用于在虚拟机上播放第一样本视频,其中,虚拟机上播放的视频显示在虚拟机对应的客户端上,第一样本视频的每一帧图像均携带与其对应的帧编号,第一样本视频的部分图像中还携带与其帧编号对应的第一样本音频;
采集模块,用于采集在虚拟机对应的客户端上播放的第二样本视频和第二样本音频,并将第二样本视频和第二样本音频分离;
检测模块,用于根据第二样本音频的播放时间信息以及与第二样本音频对应的第二样本视频的帧的播放时间信息确定视频播放质量。
在一个实施例中,还包括执行模块,
用于在虚拟机上播放第一样本视频之前将待检测视频拆分为逐帧图像;
用于在每一帧图像的指定位置依序添加该帧图像的帧编号;
用于按照预设的规则选择若干视频帧作为目标视频帧,并制作与目标视频帧的帧编号对应的第一样本音频;
用于当开始播放目标视频帧时,添加与其帧编号对应的第一样本音频,得到合成的第一样本视频。
在一个实施例中,制作与目标视频帧的帧编号对应的第一样本音频,包括:
将目标视频帧的帧编号转换为8进制的数字;
制作与8进制的数字对应的第一样本音频。
在一个实施例中,制作与8进制的数字对应的第一样本音频,包括:
用8个基本音符分别表示数字0-7;
根据8进制的数字得到与其对应的音符组合;
将音符组合作为与8进制的数字对应的第一样本音频,其中,每个音符的播放时间设置为固定值。
本公开实施例提供的技术方案可以包括以下有益效果:
根据本公开实施例提供的视频播放质量检测方法,在视频的每一帧图像中依序添加帧编号,并且在特定的视频帧上插入与其帧编号对应的样本音频,得到特制的样本视频,在虚拟机上播放特制的样本视频,然后在VDI客户端上采集播放的样本视频,并对采集的样本视频进行分析,实现对视频播放质量的检测,本公开实施例中的视频播放质量检测方法,可以自动检测音视频的播放质量,降低人力成本;通过数据量化音频质量、音画不同步时间,客观地对音视频播放质量进行分析,细微的音质损坏和音画不同步都能准确的发现,大大提高了检测结果的精度和准确度;而且不受厂商、不受协议限制,能对各厂商VDI产品进行对比分析。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种视频播放质量检测方法的流程示意图;
图2是根据一示例性实施例示出的一种制作第一样本视频方法的流程示意图;
图3是根据一示例性实施例示出的一种制作第一样本音频方法的流程示意图;
图4是根据一示例性实施例示出的一种制作第一样本音频方法的流程示意图;
图5是根据一示例性实施例示出的一种VDI系统的架构示意图;
图6是根据一示例性实施例示出的一种视频拆分的示意图;
图7是根据一示例性实施例示出的一种采集客户端第二样本视频的示意图;
图8是根据一示例性实施例示出的一种视频播放质量检测装置的结构示意图。
具体实施方式
为了能够更加详尽地了解本公开实施例的特点与技术内容,下面结合附图对本公开实施例的实现进行详细阐述,所附附图仅供参考说明之用,并非用来限定本公开实施例。在以下的技术描述中,为方便解释起见,通过多个细节以提供对所披露实施例的充分理解。然而,在没有这些细节的情况下,一个或一个以上实施例仍然可以实施。在其它情况下,为简化附图,熟知的结构和装置可以简化展示。
下面将结合附图1-附图7,对本申请实施例提供的一种视频播放质量的检测方法进行详细介绍。
图5是根据一示例性实施例提供的一种VDI系统的架构示意图,如图5所示,在数据中心的服务器上将桌面进行虚拟化,即创建虚拟机,客户端通过虚拟化传输协议(如SPICE协议)与虚拟桌面远程连接,在虚拟机上执行的相关业务,就可以在客户端上进行显示,例如,在虚拟机上播放视频就可以在虚拟机对应的客户端上进行显示。在一种可能的实现方式中,客户端设备包括但不限于瘦客户机TC或个人计算机。
具体地,以虚拟化传输协议SPICE协议为例进行说明,SPICE协议包括四个部分,分别为协议、客户端、服务端和虚拟机侧,其中,协议:是客户端侧、服务端侧和虚拟机侧三个部分交互时所遵循的准则。
客户端负责接收并转换虚拟机数据,以及发送用户输入数据到虚拟机,从而使得用户能够与虚拟机进行交互。Spice客户端通过建立不同的通道来处理不同的事件。客户端将每个通道实现为一个单独的线程,客户端通道包括:RedClient(main)、DisplayChannel、CursorChannel、InputsChannel、PlaybackChannel、RecordChannel等。RedClient负责建立主通道,之后主通道通过channel_type创建下述通道:1、DisplayChannel:负责处理图形命令、图片以及视频流显示;2、InputsChannel:负责处理键盘和鼠标输入;3、CursorChannel:负责处理指针设备位置、可见性以及形状的显示;4、PlaybackChannel:负责接收服务端的声音数据,并在客户端播放;5、RecordChannel:负责客户端声音设备声音捕获,并将其传递到虚拟机内。
服务端是集成在Hypervisor内部的一个用户层组件,使得Hypervisor(如QEMU)支持Spice协议。Spice服务端内部对应于客户端,也存在若干个通道。这些通道主要负责向虚拟机的虚拟设备(如键盘鼠标等)传递客户端侧用户的输入,以及接收并显示虚拟机虚拟显卡对应的画面。桌面云为了使得Spice服务端能够相对独立,其借助QEMU提供的各种虚拟设备后端接口来与虚拟机所见的虚拟设备进行交互,如PlaybackInterface等。
虚拟机侧指所有部署在虚拟机内部的必需组件,如QXL驱动、SpiceAgent等。
图1是根据一示例性实施例提供的一种视频播放质量的检测方法的流程示意图,如图1所示,该方法具体包括以下步骤。
S101,在虚拟机上播放第一样本视频,其中,虚拟机上播放的视频显示在虚拟机对应的客户端上,第一样本视频的每一帧图像均携带与其对应的帧编号,第一样本视频的部分图像中还携带与其帧编号对应的第一样本音频。
在一个实施例中,在执行步骤S101之前,上述视频播放质量的检测方法还可以包括:制作第一样本视频。
图2是根据一示例性实施例示出的一种制作第一样本视频方法的流程示意图。如图2所示,制作第一样本视频的步骤包括:
S201将待检测视频拆分为逐帧图像;S202,在每一帧图像的指定位置依序添加该帧图像的帧编号;S203,按照预设的规则选择若干视频帧作为目标视频帧,并制作与目标视频帧的帧编号对应的第一样本音频;S204,当开始播放目标视频帧时,添加与其帧编号对应的第一样本音频,得到合成的第一样本视频。
例如,首先可以采用视频拆分工具将待检测视频拆分为逐帧图像,然后,在每一帧图像的指定位置依序添加帧编号。图6是根据一示例性实施例示出的一种视频拆分的示意图,如图6所示,将任意待检测视频拆分为逐帧图片,在每一帧图片的左上角依序添加帧编号。
然后选择若干视频帧,在其中添加与其帧编号对应的第一样本音频。例如,视频每12秒为一小段,选择每段的第四秒的视频帧作为目标视频帧,当开始播放目标视频帧时,也就是在每段的第四秒开始插入与其帧编号对应的第一样本音频。其中,挑选规则本公开实施例不做具体限制,本领域技术人员可自行设定。
其中,制作与目标视频帧的帧编号对应的第一样本音频的方法如图3所示,包括:
S301,将目标视频帧的帧编号转换为8进制的数字;S302,制作与8进制的数字对应的第一样本音频。
其中,制作与8进制的数字对应的第一样本音频的方法如图4所示,包括S401,用8个基本音符分别表示数字0-7;S402,根据8进制的数字得到与其对应的音符组合;S403,将音符组合作为与8进制的数字对应的第一样本音频,其中,每个音符的播放时间设置为固定值。
在一个示例性场景中,使用python mido库制作do、re、mi、fa、so、la、xi、do+8个音符,上述8个音符分别代表数字0-7,然后将midi文件格式转为wave文件格式,每个音符的播放时间设置为1秒。
选择若干视频帧,在其中添加与其帧编号对应的第一样本音频,以视频帧率25FPS、单声道44100采样率为例,视频每12秒一小段,每段的第4秒开始插入特定音符,第一段的第4秒,帧号4*25=100,100转为8进制为144,前面补0到5位00144,考虑到后面帧号比较大的时候位数会增加,所以补齐5位,与00144对应的音符就是do、do、re、so、so。do、do、re、so、so即为与其帧编号对应的第一样本音频。利用视频合成工具将已添加帧编号的各帧图像和第一样本音频合成为第一样本视频,该第一样本视频的第4、5、6、7、8秒分别播放do、do、re、so、so的第一样本音频,其他位置无声音。
根据该方法,可以制作在虚拟机上播放的第一样本视频,虚拟机在接收到外部输入的第一样本视频时,在本地播放该第一样本视频,由上可知,虚拟机在本地播放第一样本视频时,会将视频播放相关数据发送至客户端,由客户端对相关数据进行解析,然后在客户端本地进行视频还原、显示。
S102,采集在虚拟机对应的客户端上播放的第二样本视频和第二样本音频,并将第二样本视频和第二样本音频分离。
实际应用中,在虚拟机上播放第一样本视频时,虚拟机将第一样本视频的相关数据传输至客户端,那么,就可以通过采集工具在客户端上采集与第一样本视频相关的数据,其中,客户端可以对接收到的第一样本视频相关的数据进行解析处理,并在本地进行视频画面的显示。本申请实施例中,将采集工具采集到的第一视频相关的数据所对应的视频称为第二样本视频。具体地,采集工具在采集到第一样本视频相关的数据后,通过解析得到与第一样本视频对应的第二样本视频,需要说明的是,第二样本视频可以理解为在客户端上播放的与第一样本视频对应的视频,第二样本视频中的第二样本音频可以理解为在客户端上播放的与第一样本视频中的第一样本音频对应的音频。
图7是根据一示例性实施例示出的一种采集客户端第二样本视频的示意图,如图7所示,可以通过HDMI采集盒在VDI客户端上采集第二样本视频以及第二样本视频包含的第二样本音频。
虚拟机在播放第一样本视频时,会将第一样本视频的相关数据发送至其对应的VDI客户端,并在VDI客户端上进行视频画面显示,采集盒与VDI客户端之间通过HDMI线通信连接,那么,采集盒就可以从VDI客户端上采集到第一样本视频相关数据,采集盒与采集用终端通过Type-c转USB线通信连接,那么,采集盒就可以将采集到的第一样本视频相关数据发送至采集用终端,采集用终端解析该第一样本视频相关数据,从而得到第二样本视频。
进一步地,采集用终端在采集到第二样本视频后,可以采用视频拆分工具将第二样本视频拆分为逐帧图像,并将采集到的音频分离,得到第二样本音频。
在一种可能的实现方式中,通过python audio_to_midi库将音频从wave文件格式重新转为midi文件格式,读取音频信息,获取到音符和时间列表。
S103,根据第二样本音频的播放时间信息以及与第二样本音频对应的第二样本视频的帧的播放时间信息确定视频播放质量。
在一个实施例中,根据第二样本音频的播放时间信息以及与第二样本音频对应的第二样本视频的帧的播放时间信息确定视频播放质量,包括:将第二样本音频中的音符组合转换为8进制的数字,根据8进制的数字得到与第二样本音频对应的视频帧;当第二样本音频的起始播放时间与第二样本音频对应的视频帧的播放时间相等时,确定音画同步;当第二样本音频的起始播放时间与第二样本音频对应的视频帧的播放时间不相等时,确定音画不同步。
例如,步骤S102中采集到的音符为do、mi、so、mi、so,对应的8进制为02424,转为10进制为1300,也就是说这段音频对应的是第1300帧图像,从解析逐帧图片可以分析出第1300帧图像出现的时间,当第1300帧图像出现的时间与音符出现的时间相等时,确定音画同步,当第1300帧图像出现的时间与音符出现的时间不相等时,确定音画不同步,第1300帧图像出现的时间减去音频出现的时间即为音画不同步时间。
根据该步骤,可以精确计算出音画是否同步以及不同步的时间差,提高了检测结果的精度和准确度。
进一步地,还可以检测音频的质量。音频质量需要使用wav格式来进行分析,首先读取第二样本音频的wav文件,获取第一个音符的波峰数据,定位到波峰出现的时间,然后找到第一样本音频中相应时间的波峰位置,以两段音频的波峰为基准,将第一样本音频裁剪,最后通过pesq-MOS工具对比2段音频的平均意见值(Mean Opinion Score,MOS),即为音频质量。
例如,第1300帧图像对应第一样本视频的第52秒,采集第二样本音频的第一个音符,第二样本音频的第一个音符对应的是第一样本视频的52秒的音符,通过python wave库,读取第二样本音频数据,找到第一个音符的波峰序列位置,序列位置除以采样率44100即为波峰出现时间。用同样的方法找到第一样本音频的第52秒音符的波峰,以这2个波峰对齐,在第一样本音频前移相同的时间作为起始位置开始裁剪,裁剪和第二样本音频相同的时间,即可与第二样本音频完全对应。最后通过pesq-MOS工具对比2段音频的平均意见值(Mean Opinion Score,MOS),即为音频质量。
根据本公开实施例提供的视频播放质量检测方法,可以自动检测音视频的播放质量,降低人力成本;通过数据量化音频质量、音画不同步时间,客观地对音视频播放质量进行分析,细微的音质损坏和音画不同步都能准确的发现,大大提高了检测结果的精度和准确度;而且不受厂商、不受协议限制,能对各厂商VDI产品进行对比分析。
本公开实施例还提供一种视频播放质量检测装置,该装置用于执行上述实施例的视频播放质量检测方法,如图8所示,该装置包括:
播放模块801,用于在虚拟机上播放第一样本视频,其中,虚拟机上播放的视频显示在虚拟机对应的客户端上,第一样本视频的每一帧图像均携带与其对应的帧编号,第一样本视频的部分图像中还携带与其帧编号对应的第一样本音频;
采集模块802,用于采集在虚拟机对应的客户端上播放的第二样本视频和第二样本音频,并将第二样本视频和第二样本音频分离;
检测模块803,用于根据第二样本音频的播放时间信息以及与第二样本音频对应的第二样本视频的帧的播放时间信息确定视频播放质量。
在一个实施例中,一种视频播放质量检测装置还包括执行模块,用于在虚拟机上播放第一样本视频之前将待检测视频拆分为逐帧图像;在每一帧图像的指定位置依序添加该帧图像的帧编号;按照预设的规则选择若干视频帧作为目标视频帧,并制作与目标视频帧的帧编号对应的第一样本音频;当开始播放目标视频帧时,添加与其帧编号对应的第一样本音频,得到合成的第一样本视频。
在一个实施例中,用于制作与目标视频帧的帧编号对应的第一样本音频,包括:将目标视频帧的帧编号转换为8进制的数字;制作与8进制的数字对应的第一样本音频。
在一个实施例中,制作与8进制的数字对应的第一样本音频,包括:用8个基本音符分别表示数字0-7;根据8进制的数字得到与其对应的音符组合;将音符组合作为与8进制的数字对应的第一样本音频,其中,每个音符的播放时间设置为固定值。
在一个实施例中,检测模块803具体用于将第二样本音频中的音符组合转换为8进制的数字;根据8进制的数字得到与第二样本音频对应的视频帧;当第二样本音频的起始播放时间与第二样本音频对应的视频帧的播放时间相等时,确定音画同步;当第二样本音频的起始播放时间与第二样本音频对应的视频帧的播放时间不相等时,确定音画不同步。
在一个实施例中,一种视频播放质量检测装置还包括音频分析模块,用于获取第二样本音频的第一个音符的波峰数据;根据第一个音符的波峰数据得到第一样本音频中与第一个音符对应的音符的波峰数据;根据上述两个音符的波峰数据以及第二样本音频的播放时间对第一样本音频进行裁剪,得到与第二样本音频对应的第一样本音频;根据对应的第一样本音频和第二样本音频计算平均意见值,得到音频质量。。
需要说明的是,上述实施例提供的视频播放质量检测装置在执行视频播放质量检测方法时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的视频播放质量检测装置与视频播放质量检测方法实施例属于同一构思,其体现实现过程详见方法实施例,这里不再赘述。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种视频播放质量检测方法,其特征在于,包括:
在虚拟机上播放第一样本视频,其中,所述虚拟机上播放的视频显示在所述虚拟机对应的客户端上,所述第一样本视频的每一帧图像均携带与其对应的帧编号,所述第一样本视频的部分图像中还携带与其帧编号对应的第一样本音频;
采集在所述虚拟机对应的客户端上播放的第二样本视频和第二样本音频,并将所述第二样本视频和第二样本音频分离;
根据所述第二样本音频的播放时间信息以及与所述第二样本音频对应的第二样本视频的帧的播放时间信息确定视频播放质量。
2.根据权利要求1所述的方法,其特征在于,在虚拟机上播放第一样本视频之前,还包括:
将待检测视频拆分为逐帧图像;
在每一帧图像的指定位置依序添加该帧图像的帧编号;
按照预设的规则选择若干视频帧作为目标视频帧,并制作与所述目标视频帧的帧编号对应的第一样本音频;
当开始播放所述目标视频帧时,添加与其帧编号对应的第一样本音频,得到合成的所述第一样本视频。
3.根据权利要求2所述的方法,其特征在于,制作与所述目标视频帧的帧编号对应的第一样本音频,包括:
将所述目标视频帧的帧编号转换为8进制的数字;
制作与所述8进制的数字对应的第一样本音频。
4.根据权利要求3所述的方法,其特征在于,制作与所述8进制的数字对应的第一样本音频,包括:
用8个基本音符分别表示数字0-7;
根据所述8进制的数字得到与其对应的音符组合;
将所述音符组合作为与所述8进制的数字对应的第一样本音频,其中,每个音符的播放时间设置为固定值。
5.根据权利要求4所述的方法,其特征在于,根据所述第二样本音频的播放时间信息以及与所述第二样本音频对应的第二样本视频的帧的播放时间信息确定视频播放质量,包括:
将所述第二样本音频中的音符组合转换为8进制的数字;
根据所述8进制的数字得到与所述第二样本音频对应的视频帧;
当所述第二样本音频的起始播放时间与所述第二样本音频对应的视频帧的播放时间相等时,确定音画同步;
当所述第二样本音频的起始播放时间与所述第二样本音频对应的视频帧的播放时间不相等时,确定音画不同步。
6.根据权利要求1所述的方法,其特征在于,还包括:
获取所述第二样本音频的第一个音符的波峰数据;
根据所述第一个音符的波峰数据得到第一样本音频中与所述第一个音符对应的音符的波峰数据;
根据上述两个音符的波峰数据以及第二样本音频的播放时间对第一样本音频进行裁剪,得到与第二样本音频对应的第一样本音频;
根据对应的第一样本音频和第二样本音频计算平均意见值,得到音频质量。
7.一种视频播放质量检测装置,其特征在于,包括:
播放模块,用于在虚拟机上播放第一样本视频,其中,所述虚拟机上播放的视频显示在所述虚拟机对应的客户端上,所述第一样本视频的每一帧图像均携带与其对应的帧编号,所述第一样本视频的部分图像中还携带与其帧编号对应的第一样本音频;
采集模块,用于采集在所述虚拟机对应的客户端上播放的第二样本视频和第二样本音频,并将所述第二样本视频和第二样本音频分离;
检测模块,用于根据所述第二样本音频的播放时间信息以及与所述第二样本音频对应的第二样本视频的帧的播放时间信息确定视频播放质量。
8.根据权利要求7所述的装置,其特征在于,还包括执行模块,
用于在虚拟机上播放第一样本视频之前将待检测视频拆分为逐帧图像;
用于在每一帧图像的指定位置依序添加该帧图像的帧编号;
用于按照预设的规则选择若干视频帧作为目标视频帧,并制作与所述目标视频帧的帧编号对应的第一样本音频;
用于当开始播放所述目标视频帧时,添加与其帧编号对应的第一样本音频,得到合成的所述第一样本视频。
9.根据权利要求8所述的装置,其特征在于,所述制作与所述目标视频帧的帧编号对应的第一样本音频,包括:
将所述目标视频帧的帧编号转换为8进制的数字;
制作与所述8进制的数字对应的第一样本音频。
10.根据权利要求9所述的装置,其特征在于,所述制作与所述8进制的数字对应的第一样本音频,包括:
用8个基本音符分别表示数字0-7;
根据所述8进制的数字得到与其对应的音符组合;
将所述音符组合作为与所述8进制的数字对应的第一样本音频,其中,每个音符的播放时间设置为固定值。
CN202011218469.4A 2020-11-04 2020-11-04 一种视频播放质量检测方法及装置 Active CN112351273B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011218469.4A CN112351273B (zh) 2020-11-04 2020-11-04 一种视频播放质量检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011218469.4A CN112351273B (zh) 2020-11-04 2020-11-04 一种视频播放质量检测方法及装置

Publications (2)

Publication Number Publication Date
CN112351273A CN112351273A (zh) 2021-02-09
CN112351273B true CN112351273B (zh) 2022-03-01

Family

ID=74429170

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011218469.4A Active CN112351273B (zh) 2020-11-04 2020-11-04 一种视频播放质量检测方法及装置

Country Status (1)

Country Link
CN (1) CN112351273B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6642966B1 (en) * 2000-11-06 2003-11-04 Tektronix, Inc. Subliminally embedded keys in video for synchronization
CN1784024A (zh) * 2004-11-30 2006-06-07 乐金电子(沈阳)有限公司 数字电视接收机的声像同步测试方法及其装置
WO2007035183A2 (en) * 2005-04-13 2007-03-29 Pixel Instruments, Corp. Method, system, and program product for measuring audio video synchronization independent of speaker characteristics
WO2007116205A1 (en) * 2006-04-10 2007-10-18 Tektronix International Sales Gmbh Method and apparatus for measuring audio/video sync delay
CN102056026A (zh) * 2009-11-06 2011-05-11 中国移动通信集团设计院有限公司 音视频同步检测方法及其系统、语音检测方法及其系统
CN103117072A (zh) * 2013-01-23 2013-05-22 广东欧珀移动通信有限公司 一种音视频同步测试装置及方法
CN105872699A (zh) * 2016-04-28 2016-08-17 乐视控股(北京)有限公司 视频播放控制方法及装置
CN111669574A (zh) * 2020-06-19 2020-09-15 新华三大数据技术有限公司 一种视频播放质量检测方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120294594A1 (en) * 2011-05-17 2012-11-22 Jer-Min Hsiao Audio-video synchronization method and audio-video synchronization module for performing audio-video synchronization by referring to indication information indicative of motion magnitude of current video frame
CN106375820B (zh) * 2016-08-30 2018-07-06 京东方科技集团股份有限公司 对音频和视频信号进行同步的方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6642966B1 (en) * 2000-11-06 2003-11-04 Tektronix, Inc. Subliminally embedded keys in video for synchronization
CN1784024A (zh) * 2004-11-30 2006-06-07 乐金电子(沈阳)有限公司 数字电视接收机的声像同步测试方法及其装置
WO2007035183A2 (en) * 2005-04-13 2007-03-29 Pixel Instruments, Corp. Method, system, and program product for measuring audio video synchronization independent of speaker characteristics
WO2007116205A1 (en) * 2006-04-10 2007-10-18 Tektronix International Sales Gmbh Method and apparatus for measuring audio/video sync delay
CN102056026A (zh) * 2009-11-06 2011-05-11 中国移动通信集团设计院有限公司 音视频同步检测方法及其系统、语音检测方法及其系统
CN103117072A (zh) * 2013-01-23 2013-05-22 广东欧珀移动通信有限公司 一种音视频同步测试装置及方法
CN105872699A (zh) * 2016-04-28 2016-08-17 乐视控股(北京)有限公司 视频播放控制方法及装置
CN111669574A (zh) * 2020-06-19 2020-09-15 新华三大数据技术有限公司 一种视频播放质量检测方法及装置

Also Published As

Publication number Publication date
CN112351273A (zh) 2021-02-09

Similar Documents

Publication Publication Date Title
US8379735B2 (en) Automatic video glitch detection and audio-video synchronization assessment
US20200322684A1 (en) Video recommendation method and apparatus
EP3285484B1 (en) Image processing apparatus, image generation method, and program
CN111669574A (zh) 一种视频播放质量检测方法及装置
CN109640129B (zh) 视频推荐方法、装置,客户端设备、服务器及存储介质
EP3451679B1 (en) Method for providing media-content related information based on closed caption information, server, and computer-readable storage medium for executing the method
KR20190024801A (ko) 유사 동영상 검색 방법, 장치, 디바이스 및 저장매체
CN109842795B (zh) 音视频同步性能测试方法、装置、电子设备、存储介质
CN104813357A (zh) 用于直播媒体内容匹配的系统和方法
CN111833460B (zh) 增强现实的图像处理方法、装置、电子设备及存储介质
US20190373312A1 (en) Media Content Identification on Mobile Devices
US10708536B2 (en) Signal processing apparatus and method of generating audio signal
CN114697712B (zh) 一种媒体流的下载方法、装置、设备及存储介质
EP2894850B1 (en) Video playback system and method
CN112351273B (zh) 一种视频播放质量检测方法及装置
WO2024146338A1 (zh) 视频生成方法、装置、电子设备及存储介质
CN105451098A (zh) 一种提供多媒体文件的方法与装置
CN109600571B (zh) 多媒体资源传输测试系统和多媒体资源传输测试方法
CN116708892A (zh) 一种音画同步检测方法、装置、设备和存储介质
CN115499677A (zh) 基于直播的音视频同步检测方法及装置
CN115426514A (zh) 跨设备音视频同步方法、装置、设备及介质
JP2023536992A (ja) ターゲットコンテンツの検索方法、装置、電子機器および記憶媒体
CN112764570A (zh) 触摸屏事件处理方法、装置及系统
CN110475144A (zh) 一种基于fpga的 12g-sdi数据流中16声道音频的提取方法
WO2023036275A1 (zh) 视频处理方法、装置、电子设备、介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant