CN112055258B - 加载直播画面的时延测试方法、装置、电子设备及存储介质 - Google Patents
加载直播画面的时延测试方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112055258B CN112055258B CN201910490785.8A CN201910490785A CN112055258B CN 112055258 B CN112055258 B CN 112055258B CN 201910490785 A CN201910490785 A CN 201910490785A CN 112055258 B CN112055258 B CN 112055258B
- Authority
- CN
- China
- Prior art keywords
- video frame
- video
- live broadcast
- determining
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 claims abstract description 46
- 238000010998 test method Methods 0.000 claims abstract 2
- 238000012545 processing Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 abstract description 20
- 230000006870 function Effects 0.000 description 16
- 238000013528 artificial neural network Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241001156002 Anthonomus pomorum Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明涉及网络直播技术领域，公开了一种加载直播画面的时延测试方法、装置及电子设备，所述方法包括：获取针对观众客户端的操作视频，操作视频包括从进入直播间前至加载出直播画面期间内观众客户端展示的内容；从操作视频中确定出包含针对直播间的进入操作的第一视频帧；从操作视频中确定出包含首帧直播画面的第二视频帧；将第二视频帧和第一视频帧之间的时间差确定为加载出首帧直播画面的时延。本发明实施例提供的技术方案，能够量化从进入直播间到加载出首帧直播画面的时延，提高测量结果的准确性。
Description
技术领域
本发明涉及网络直播技术领域，尤其涉及一种加载直播画面的时延测试方法、装置及电子设备。
背景技术
目前，在线直播越来越受到用户的喜爱。在线直播是指利用互联网及流媒体技术进行直播，视频因融合了图像、文字、声音等丰富元素，声形并茂，效果极佳，逐渐成为互联网的主流表达方式。主播客户端可以通过互联网在网站上建立在线直播间，向该直播间中的观众客户端进行在线广播，观众用户可通过观众客户端进入当前在线广播的直播间，观众客户端拉取最新的播放地址，交给播放器进行播放。
直播延时是衡量直播性能的一个重要指标，尤其是从用户点击进入直播间到观众客户端加载出首帧直播画面的延时长或短，是十分影响用户体验的核心问题。目前，从用户点击进入直播间到观众客户端真正加载出首帧画面之间的时延状况，通常由人工进行主观判断，无法准确量化时延秒数。
因此，如何准确、客观地测量各观众客户端从用户点击进入直播间到加载出首帧直播画面的延时，成为现有技术中亟需解决的技术问题。
发明内容
本发明实施例提供一种加载直播画面的时延测试方法、装置、电子设备及存储介质，以提高测量观众客户端加载出首帧直播画面的时延的准确度。
第一方面，本发明一实施例提供了一种加载直播画面的时延测试方法，包括：
获取针对观众客户端的操作视频，所述操作视频包括从进入直播间前至加载出直播画面期间内观众客户端展示的内容；
从所述操作视频中确定出包含针对直播间的进入操作的第一视频帧；
从所述操作视频中确定出包含首帧直播画面的第二视频帧；
将所述第二视频帧和所述第一视频帧之间的时间差确定为加载出首帧直播画面的时延。
可选地，所述从所述操作视频中确定出包含针对直播间的进入操作的第一视频帧，具体包括：
检测所述操作视频的视频帧中是否存在与所述进入操作对应的触摸轨迹，所述触摸轨迹为在运行所述观众客户端的用户设备的触摸屏上显示的、用于指示用户执行的触摸操作的轨迹；
将最后一次出现与所述进入操作对应的触摸轨迹的视频帧确定为第一视频帧。
可选地，所述检测所述操作视频的视频帧中是否存在与所述进入操作对应的触摸轨迹，具体包括：
若所述操作视频的视频帧中存在与预设的特征图形匹配的图形，则确定所述视频帧中存在与所述进入操作对应的触摸轨迹。
可选地，所述从所述操作视频中确定出包含首帧直播画面的第二视频帧，具体包括：
将所述操作视频中首次出现预设目标的视频帧确定为第二视频帧，所述预设目标为持续出现在直播画面中的目标对象；或者，将所述操作视频中加载等待界面消失时刻对应的视频帧确定为第二视频帧。
可选地，所述将所述操作视频中首次出现预设目标的视频帧确定为第二视频帧，具体包括：
基于预先训练的图像识别模型，对所述操作视频中所述第一视频帧之后的视频帧进行图像识别处理，将首次出现所述预设目标的视频帧确定为第二视频帧。
可选地，当所述加载等待界面为封面蒙层时，所述将所述操作视频中加载等待界面消失时刻对应的视频帧确定为第二视频帧，具体包括：
依次计算所述操作视频中所述第一视频帧之后的视频帧的清晰度值；
若当前视频帧的清晰度值与上一帧视频帧的清晰度值之间的差值高于预设差值，或者，所述当前视频帧的清晰度值高于清晰度阈值，则确定所述当前视频帧为所述加载等待界面消失时刻对应的第二视频帧。
第二方面，本发明一实施例提供了一种加载直播画面的时延测试装置，包括：
获取模块，用于获取针对观众客户端的操作视频，所述操作视频包括从进入直播间前至加载出直播画面期间内观众客户端展示的内容；
第一确定模块，用于从所述操作视频中确定出包含针对直播间的进入操作的第一视频帧；
第二确定模块，用于从所述操作视频中确定出包含首帧直播画面的第二视频帧；
时延计算模块，用于将所述第二视频帧和所述第一视频帧之间的时间差确定为加载出首帧直播画面的时延。
可选地，所述第一确定模块具体用于：
检测所述操作视频的视频帧中是否存在与所述进入操作对应的触摸轨迹，所述触摸轨迹为在运行所述观众客户端的用户设备的触摸屏上显示的、用于指示用户执行的触摸操作的轨迹；
将最后一次出现与所述进入操作对应的触摸轨迹的视频帧确定为第一视频帧。
可选地，所述第一确定模块具体用于：
若所述操作视频的视频帧中存在与预设的特征图形匹配的图形，则确定所述视频帧中存在与所述进入操作对应的触摸轨迹。
可选地，所述第二确定模块具体用于：
将所述操作视频中首次出现预设目标的视频帧确定为第二视频帧，所述预设目标为持续出现在直播画面中的目标对象；或者，将所述操作视频中加载等待界面消失时刻对应的视频帧确定为第二视频帧。
可选地，所述第二确定模块具体用于：
基于预先训练的图像识别模型，对所述操作视频中所述第一视频帧之后的视频帧进行图像识别处理，将首次出现所述预设目标的视频帧确定为第二视频帧。
可选地，所述第二确定模块具体用于：
当所述加载等待界面为封面蒙层时，依次计算所述操作视频中所述第一视频帧之后的视频帧的清晰度值；
若当前视频帧的清晰度值与上一帧视频帧的清晰度值之间的差值高于预设差值，或者，所述当前视频帧的清晰度值高于清晰度阈值，则确定所述当前视频帧为所述加载等待界面消失时刻对应的第二视频帧。
第三方面，本发明一实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行计算机程序时实现上述任一种方法的步骤。
第四方面，本发明一实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，该计算机程序指令被处理器执行时实现上述任一种方法的步骤。
本发明实施例提供的技术方案，能够量化从进入直播间到加载出首帧直播画面的时延，减少了人工参与，提高测量结果的准确性；且由于操作视频中录制是观众客户端的展示的内容，因此，基于操作视频能够客观地获取观众客户端直播画面的真实加载情况，避免出现测量结果与用户体验不符的情况，提高测量结果的准确性。此外，上述方法可针对市面上的任何一款直播客户端进行测试，只需要测试人员在观众客户端上执行符合条件的操作并录制对应的操作视频，即可通过图像识别技术自动分析操作视频中的每一帧图像，从而准确获得加载首帧直播画面的时延，方便对市面上的多种直播客户端进行对比分析。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面所介绍的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1A为本发明实施例提供的加载直播画面的时延测试方法的应用场景示意图；
图1B为本发明实施例提供的加载直播画面的时延测试方法的应用场景示意图；
图2为本发明一实施例提供的加载直播画面的时延测试方法的流程示意图；
图3A为本发明一实施例提供的进入操作对应的触摸轨迹的示意图；
图3B为本发明一实施例提供的进入操作对应的触摸轨迹的示意图；
图3C为本发明一实施例提供的进入操作对应的触摸轨迹的示意图；
图3D为本发明一实施例提供的进入操作对应的触摸轨迹的示意图；
图4为本发明一实施例提供的检测包含针对直播间的进入操作的第一视频帧的方法的流程示意图；
图5为本发明一实施例提供的加载直播画面的时延测试方法的流程示意图；
图6为本发明一实施例提供的加载直播画面的时延测试方法的流程示意图；
图7为本发明一实施例提供的加载直播画面的时延测试装置的结构示意图；
图8为本发明一实施例提供的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
为了方便理解，下面对本申请实施例中涉及的名词进行解释：
客户端(Client)或称为用户端，是指与服务器相对应，为客户提供本地服务的程序。除了一些只在本地运行的应用程序之外，一般安装在普通的客户机上，需要与服务端互相配合运行。因特网发展以后，较常用的用户端包括了如万维网使用的网页浏览器，收寄电子邮件时的电子邮件客户端，以及即时通讯的客户端软件等。对于这一类应用程序，需要网络中有相应的服务器和服务程序来提供相应的服务，如数据库服务，电子邮件服务等等，这样在客户机和服务器端，需要建立特定的通信连接，来保证应用程序的正常运行。本申请实施例中，客户端(包括主播客户端或观众客户端)可以包括集合群聊、视频直播、频道K歌、在线游戏、在线影视等功能为一体的富媒体。
直播间，在本申请实施例中就是服务器创建的一种虚拟空间(或虚拟房间)，主播客户端与观众客户端可以进入到该虚拟空间，位于该虚拟空间内的观众客户端可以不仅观看主播客户端的直播内容，还可以和主播客户端进行语音或文字的交互，例如观众客户端可以在当前在线频道中向喜爱的主播客户端发送礼物等。
霍夫变换(Hough Transform)，是一种特征检测(feature extraction)，被广泛应用在图像分析(image analysis)、计算机视觉(computer vision)以及数位影像处理(digital image processing)。霍夫变换是用来辨别找出物件中的特征，例如：线条。他的算法流程大致如下，给定一个物件、要辨别的形状的种类，算法会在参数空间(parameterspace)中执行投票来决定物体的形状，而这是由累加空间(accumulator space)里的局部最大值(local maximum)来决定。
FFmpeg(Fast Forward Mpeg)，是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序，其提供了录制、转换以及流化音视频的完整解决方案。
附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
在具体实践过程中，从观众用户点击进入直播间到观众客户端真正加载出首帧直播画面之间的时延状况，通常由人工进行主观判断，无法准确量化时延秒数，测量误差较大，且需要大量的人工参与，费时费力，效率低下。为解决上述问题，可行的一种实施方式是：在观众客户端中植入log日志系统，通过log日志系统上报的log日志统计用户点击进入直播间的事件触发时刻到观众客户端显示首帧直播画面时刻的差值，将该差值作为加载首帧直播画面的时延。然而，log日志中记录的各种时刻可能与观众用户实际操作体验存在差异，例如，log日志系统检测到观众客户端已经加载出直播间的首帧直播画面，而实际上此刻观众客户端并没有加载出首帧直播画面，这些都会导致统计得到的时延结果与用户体验不符，降低测量准确度。此外，基于log日志系统的方法需要观众客户端的开发公司提供相关接口，但很多开发公司基本不提供相关接口，且即使提供了相关接口也无法验证通过其所提供接口获取到的数据的准确性，因此，该方法无法较好地应用到各类直播客户端，具有很大的局限性。
为此，本申请的发明人考虑到，通过获取观众用户在观众客户端上进行操作的操作视频，来获知观众客户端加载直播视频的真实状况，该操作视频包括从观众用户点击进入直播间(即，观众客户端接收到针对直播间的进入操作)前至观众客户端加载出直播画面期间内观众客户端展示的内容；然后，基于图像识别技术对操作视频进行分析，从该操作视频中确定出包含针对直播间的进入操作的第一视频帧，并从该操作视频中确定出包含首帧直播画面的第二视频帧，即首次加载出直播画面时刻对应的视频帧，将第二视频帧和第一视频帧之间的时间差确定为加载首帧直播画面的时延。基于上述方法，能够量化从进入直播间到加载出首帧直播画面的时延，减少了人工参与，提高测量结果的准确性；且由于操作视频中录制是观众客户端的展示的内容，因此，基于操作视频能够客观地获取观众客户端直播画面的真实加载情况，避免出现测量结果与用户体验不符的情况，提高测量结果的准确性。此外，上述方法可针对市面上的任何一款直播客户端进行测试，只需要测试人员在观众客户端上执行符合条件的操作并录制对应的操作视频，即可通过图像识别技术自动分析操作视频中的每一帧图像，从而准确获得加载首帧直播画面的时延，方便对市面上的多种直播客户端进行对比分析。
在介绍完本申请实施例的设计思想之后，下面对本申请实施例的技术方案能够适用的应用场景做一些简单介绍，需要说明的是，以下介绍的应用场景仅用于说明本申请实施例而非限定。在具体实施时，可以根据实际需要灵活地应用本申请实施例提供的技术方案。
参考图1A，其为本申请实施例提供的加载直播画面的时延测试方法的应用场景示意图。如图1A所示，该应用场景示意图可以包括主播客户端101、服务器102、观众客户端103，其中，服务器102可以认为是提供相应直播服务的后台服务器，服务器102可以是一台服务器、若干台服务器组成的服务器集群或云计算中心，服务器102可以通过互联网与主播客户端101、观众客户端103进行通信连接。测试时，测试人员摆放好待直播的目标对象104，该目标对象104可以是任意一件指定的物品，如花瓶、键盘、包含特定字符或特定图形的指示牌等，然后通过主播客户端101开始对目标对象104进行直播，此时，任一观众用户可通过观众客户端103进入主播客户端101提供的测试直播间内观看到针对目标对象 104的直播。测试人员可预先在测试用的用户设备内安装观众客户端和录屏软件，在主播客户端101开始对目标对象104进行直播后，开启录屏软件，以便对观众客户端103上展示的内容进行录制，测试人员通过观众客户端103进入上述测试直播间，等待观众客户端103 加载出直播画面后结束录屏，存储录屏软件录制的视频作为操作视频。或者，测试人员还可以另外架设一台摄录设备(如智能手机、摄像机等)，该摄录设备对准用户设备的触摸屏，测试人员开启摄录设备，对用户设备中的观众客户端上展示的内容进行录制，测试人员通过观众客户端进入测试直播间，等待观众客户端加载出直播画面后结束录制，存储摄录设备录制的视频作为操作视频。然后，通过分析操作视频确定加载首帧直播画面的时延。
需要说明的是，为了保证测量准确度，整个测试过程中需保证目标对象104持续出现在直播画面中。此外，为了进一步提高测量准确度，可尽量保证目标对象104在直播画面中静止不动。
参考图1B，其为本申请实施例提供的加载直播画面的时延测试方法的应用场景示意图。如图1B所示，该应用场景示意图可以包括服务器112以及多个客户端，其中，服务器112 可以认为是提供相应直播服务的后台服务器，服务器112可以是一台服务器、若干台服务器组成的服务器集群或云计算中心，服务器112可以通过互联网与多个客户端进行通信连接。在多个客户端中，部分客户端可以作为主播客户端111提供在线直播间，而其余客户端可以作为观众客户端113登录进入主播客户端111提供的在线直播间内，主播客户端111向服务器112上传在线直播内容，由服务器112将该在线直播内容发送给登录进入该直播间的观众客户端113，供观众客户端113观看。其中，主播客户端111对接入其直播间的观众客户端113具有控制权和主动权，主播客户端113可以与服务器112进行交互。
在图1B所示的场景下，测试人员可预先在测试用的用户设备内安装观众客户端和装录屏软件。测试时，开启录屏软件，以便对观众客户端上展示的内容进行录制，测试人员通过观众客户端进入任意一个直播间，等待观众客户端加载出直播画面后结束录屏，存储录屏软件录制的视频作为操作视频。或者，测试人员还可以另外架设一台摄录设备(如智能手机、摄像机等)，该摄录设备对准用户设备的触摸屏，测试人员开启摄录设备，对用户设备中的观众客户端上展示的内容进行录制，测试人员通过观众客户端进入任意一个直播间，等待观众客户端加载出直播画面后结束录制，存储摄录设备录制的视频作为操作视频。然后，通过分析操作视频确定加载首帧直播画面的时延。
在图1A、图1B所示的应用场景中，主播客户端和观众客户端可以运行在包括但不限于移动电话、移动电脑、平板电脑、个人数字助理(PersonalDigitalAssistant，PDA)、媒体播放器、智能电视、智能手表、智能眼镜、智能手环等用户设备上。
当然，本申请实施例提供的方法并不限用于图1A、图1B所示的应用场景中，还可以用于其它可能的应用场景，本申请实施例并不进行限制。对于图1A、图1B所示的应用场景的各个设备所能实现的功能将在后续的方法实施例中一并进行描述，在此先不过多赘述。
为进一步说明本申请实施例提供的技术方案，下面结合附图以及具体实施方式对此进行详细的说明。虽然本申请实施例提供了如下述实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本申请实施例提供的执行顺序。
下面结合图1A、图1B所示的应用场景，对本申请实施例提供的技术方案进行说明。
参考图2，本申请实施例提供一种加载直播画面的时延测试方法，包括以下步骤：
S201、获取针对观众客户端的操作视频，该操作视频包括从进入直播间前至加载出直播画面期间内观众客户端展示的内容。
具体实施时，测试人员通过录屏软件或摄录设备录制针对测试用的用户设备上的观众客户端的具体操作过程，测试人员功能通过观众客户端点击进入直播间，等待观众客户端加载出直播画面后结束录制，存储录制的视频作为操作视频。实际应用中，为了降低识别难度，在录制操作视频时，可限制测试人员仅执行一次进入操作，即整个操作视频中仅存在一次针对直播间的进入操作。
S202、从操作视频中确定出包含针对直播间的进入操作的第一视频帧。
具体实施时，可通过FFmpeg对操作视频进行分帧处理，得到连续的多个视频帧，然后，按照视频帧的时间顺序，依次对视频帧进行处理，直到确定出包含进入操作的视频帧，将该包含进行操作的视频帧记为第一视频帧。
本申请实施例中，进入操作是进入观众客户端上展示的直播间的操作。不同的观众客户端可能对应不同的进入操作，例如，进入操作可以是点击操作，长按操作或者向指定方向滑动等操作。
S203、从操作视频中确定出包含首帧直播画面的第二视频帧。
本步骤中，首帧直播画面即观众客户端在进入直播间后首次加载出的直播画面，观众客户端上出现直播画面即表示观众客户端已经完成直播的加载。
S204、将第二视频帧和第一视频帧之间的时间差确定为加载出首帧直播画面的时延。
本步骤中，加载出首帧直播画面的时延T＝t1-t0，其中，t0为第一视频帧在操作视频中对应的时刻，t1为第二视频帧在操作视频中对应的时刻。
本申请实施例的方法，能够量化从进入直播间到加载出首帧直播画面的时延，减少了人工参与，提高测量结果的准确性，且由于操作视频中录制是观众客户端的展示的内容，因此，基于操作视频能够客观地获取观众客户端直播画面的真实加载情况，避免出现测量结果与用户体验不符的情况，提高测量结果的准确性。此外，本申请实施例的方法可针对市面上的任何一款直播客户端进行测试，只需要测试人员在观众客户端上执行符合条件的操作并录制对应的操作视频，即可通过图像识别技术自动分析操作视频中的每一帧图像，从而准确获得加载首帧直播画面的时延，方便对市面上的多种直播客户端进行对比分析。
具体实施时，若测试用的用户设备为安卓设备，测试人员可将用户设备设置为开发者模式，开启show touches(显示触点)功能，或开启point location(指示触摸轨迹)功能，屏幕上会显示轨迹线。当开启用户设备的show touches功能后，用户设备的触摸屏上会显示圆形触点的触摸轨迹，以指示用户在用户设备的触摸屏上进行的触摸操作，圆形触点对应的位置即用户触摸触摸屏的触点位置，如图3A所示，如果用户在用户设备301的触摸屏302上点击一下，触摸屏302的对应位置就会显示一个圆形触点303；如图3C所示，如果用户在用户设备301的触摸屏302上进行滑动操作，滑动过程中手指接触到触摸屏302的位置就会显示一个圆形触点303。当开启用户设备的point location功能后，如图3D所示，用户设备301的触摸屏302上会显示用户手指在触摸屏上滑动的轨迹线304，即可以指示用户在用户设备301的触摸屏302上进行的各类滑动操作对应的触摸轨迹。
具体实施时，若测试用的用户设备不是安卓设备，可预先在用户设备中安装轨迹触摸软件，以显示触摸轨迹。实际应用中，一些录屏软件自身带有显示触摸轨迹的功能，可通过录屏软件显示用户设备触摸屏上的触摸轨迹，触摸轨迹可以是如图3A、图3C所示的圆形触点303，也可以是图3C所示的轨迹线304，具体轨迹根据选择的轨迹触摸软件或录屏软件确定。
基于此，如图4所示，步骤S202的具体包括：
S401、检测操作视频的视频帧中是否存在与进入操作对应的触摸轨迹，触摸轨迹为在运行观众客户端的用户设备的触摸屏上显示的、用于指示用户执行的触摸操作的轨迹。
S402、将最后一次出现与进入操作对应的触摸轨迹的视频帧确定为第一视频帧。
具体实施时，步骤S401具体包括：若操作视频的视频帧中存在与预设的特征图形匹配的图形，则确定视频帧中存在与进入操作对应的触摸轨迹。
具体实施时，可基于特征图形的形状、大小、颜色等至少一种特征信息，确定操作视频的视频帧中是否存在与特征图形匹配的触摸轨迹。例如，若操作视频的视频帧中存在与预设的特征图形的特征信息相符的图形，即当视频帧中的图形的形状与特征图形的形状相同，该图形的大小在预设范围内，且该图形的颜色值在预设颜色范围内，则确定该视频帧中是否存在与特征图形匹配的触摸轨迹。其中，预设范围可根据特征图形的大小确定，预设颜色范围可根据特征图形的颜色值确定。
具体实施时，可通过霍夫变换对操作视频中的视频帧进行逐帧识别，确定视频帧中是否包含与预设的特征图形的形状相同的图形。具体识别过程为现有技术，不再赘述。
本申请实施例中，预设的特征图形可根据观众客户端指定的进入操作以及测试时选择的显示触摸轨迹的方式预先确定。
举例说明，当用户设备开启的是show touches功能，且观众客户端指定的进入操作为点击操作时，进入操作对应的触摸轨迹为如图3A所示的圆形触点303，此时特征图形可以是半径大小在预设半径范围内的圆形。当用户设备开启的是show touches功能，且观众客户端指定的进入操作为长按操作时，进入操作对应的触摸轨迹为如图3B所示的在连续多帧图像中的同一位置出现的圆形触点303，此时特征图形可以是半径大小在预设半径范围内的圆形。当用户设备开启的是show touches功能，且观众客户端指定的进入操作为向指定方向滑动时，则进入操作对应的触摸轨迹为如图3C所示的在连续多帧图像中出现的圆形触点，此时特征图形可以是指定半径的圆形，图3C仅以向右滑动为例，具体实施时还可以向左滑动或向下滑动等，不再赘述。
上述情形下，无论点击操作、长按操作还是向指定方向滑动的操作，当用户的手指离开触摸屏时，表示进入操作执行完毕，观众客户端显示该进入操作所针对的直播间，开始加载直播间的直播画面，因此，可以将用户的手指离开触摸屏的时刻作为进入直播间的时刻。基于此，确定出第一视频帧的方法具体包括：对操作视频中的视频帧进行逐帧识别，确定视频帧中是否包含与特征图形(即圆形触点对应的图形)匹配的图形，当检测到操作视频中的至少一个视频帧中存在半径大小在预设半径范围内的圆形，且该圆形的颜色值在预设颜色范围内，则确定该至少一个视频帧中存在与进入操作对应的触摸轨迹。如果整个操作视频中仅有一个视频帧中存在与特征图形相匹配的图形，则将该视频帧确定为第一视频帧；如果整个操作视频中有多个视频帧中存在与特征图形相匹配的图形，则将这多个视频帧中最后一个视频帧确定为第一视频帧。其中，预设半径范围可根据圆形触点的半径大小确定，以使圆形触点的半径在预设半径范围内，例如，圆形触点的半径为2毫米，则预设半径范围可以1.8毫米至2.2毫米。
举例说明，当用户设备开启的是point location功能，且观众客户端指定的进入操作为向指定方向滑动时，进入操作对应的触摸轨迹为如图3D所示的轨迹线304，此时特征图形可以是预设长度的轨迹线。其中，预设长度可根据进入操作确定，例如，进入操作规定向指定方向滑动超过5毫米的距离表示进入直播间，则预设长度可以5毫米。图3D仅以向右滑动的操作为例，具体实施时，指定方向还可以向左或向下等，不再赘述。上述情形下，确定出第一视频帧的方法具体包括：对操作视频中的视频帧进行逐帧识别，确定视频帧中是否包含预设长度的轨迹线，当检测到操作视频中的至少一个视频帧中存在预设长度的轨迹线，且该轨迹线的颜色值在预设颜色范围内，则确定该视频帧中存在与进入操作对应的触摸轨迹。如果整个操作视频中仅有一个视频帧中存在预设长度的轨迹线，则将该视频帧确定为第一视频帧；如果操作视频中有多个视频帧中存在预设长度的轨迹线，则将这多个视频帧中最后一个视频帧确定为第一视频帧。
本申请实施例中，预设颜色范围可根据用户设备显示的触摸轨迹的颜色值确定。例如，触摸轨迹预设的RGB值为(255，0，0)，即触摸轨迹的颜色值为红色，则预设颜色范围可以是与红色相近的颜色值组成的颜色范围，例如，红色对应的预设颜色范围可以为 245≤R≤255，0≤G≤10，0≤B≤10。具体实施时，当特征图形为半径大小在预设半径范围内的圆形时，可以取圆形中心点的RGB值作为特征图形的颜色值，或者取圆形内多个不同位置处的像素点的RGB值的平均值作为特征图形的颜色值。当特征图形为特征图形可以是预设长度的轨迹线时，可以取轨迹线中心的RGB值作为特征图形的颜色值，或者取轨迹线上不同位置的多个像素点的RGB值的平均值作为特征图形的颜色值。
参考图5，在上述任一实施例的基础上，结合图1A所示的应用场景，本申请实施例提供一种加载直播画面的时延测试方法，包括以下步骤：
S501、获取针对观众客户端的操作视频，该操作视频包括从进入直播间前至加载出直播画面期间内观众客户端展示的内容。
具体实施时，测试人员通过图1A所示的应用场景构建测试直播间，该测试直播间的直播画面中持续出现目标对象。测试人员可预先在测试用的用户设备内安装观众客户端和录屏软件，在主播客户端开始对目标对象进行直播后，开启录屏软件，以便对观众客户端上展示的内容进行录制，测试人员通过观众客户端进入测试直播间，等待观众客户端加载出直播画面后结束录屏，存储录屏软件录制的视频作为操作视频。或者，测试人员还可以另外架设一台摄录设备(如智能手机、摄像机等)，该摄录设备对准用户设备的触摸屏，测试人员开启摄录设备，对用户设备中的观众客户端上展示的内容进行录制，测试人员通过观众客户端进入测试直播间，等待观众客户端加载出测试直播间的直播画面后结束录制，该直播画面中包括预设目标，存储摄录设备录制的视频作为操作视频。
S502、从操作视频中确定出包含首帧直播画面的第二视频帧。
本步骤的具体实施方式可参考步骤S202的具体实施方法，不再赘述。
S503、将操作视频中首次出现预设目标的视频帧确定为第二视频帧。
本申请实施例中，预设目标为持续出现在直播画面中的目标对象，即无论测试人员何时通过观众客户端进入测试直播间，加载出的首帧直播画面中都会出现该预设目标。
具体实施时，预设目标可以是如图1A所示应用场景中预设的目标对象，也可以是指示牌中的特定字符或特定图形。
S504、将第二视频帧和第一视频帧之间的时间差确定为加载首帧直播画面的时延。
进一步地，步骤S503具体包括：基于预先训练的图像识别模型，对所述操作视频中所述第一视频帧之后的视频帧进行图像识别处理，将首次出现所述预设目标的视频帧确定为第二视频帧。
具体实施时，可通过训练神经网络得到图像识别模型，即利用图像样本集对神经网络进行训练，图像样本集包括大量预先标记有标签的图像，每个标签用于标记图像中包含的物品的名称。将图像样本输入神经网络，得到该图像样本对应的预测值，该预测值表征该图像样本对应各种物品的概率，通过损失函数计算图像样本对应的标记和预测值之间的损失值，然后基于损失函数反向传播计算神经网络中每个权重参数的梯度，并基于梯度更新神经网络中的每个权重参数。循环执行上述训练步骤，直到得到符合要求的神经网络，即得到最终的图像识别模型，神经网络的具体训练方法为现有技术，不再赘述。本申请实施例中用于训练的神经网络包括但不限于以下几种类型：残差网络(ResNet)、卷积神经网络(Convolutional Neural Networks，CNN)、循环神经网络(Recurrent Neural Network，RNN)、深度神经网络(Deep Neural Network，DNN)、深度置信网(Deep Belief Nets，DBNs)等。需要说明的是，图1A所示应用场景中预设的目标对象为图像样本集中任一图像对应的物品。
具体实施时，当预设目标为包含特定图形的指示牌时，还可以通过霍夫变换等图形识别技术，对操作视频中第一视频帧之后的视频帧进行识别处理，将首次出现特定图形的视频帧确定为第二视频帧。例如，特定图形可以是三角形、五角星等，还可以结合特定图形的颜色，确定操作视频中的是否出现特定图形。需要说明的是，特定图形的颜色和形状应当与触摸轨迹以及直播间内已有的各种控件的颜色和形状进行区分。
具体实施时，当预设目标为包含特定字符的指示牌时，还可以通过OCR(OpticalCharacter Recognition，光学字符识别)等字符识别技术，对操作视频中第一视频帧之后的视频帧进行识别处理，将首次出现特定字符的视频帧确定为第二视频帧。
本申请实施例的方法，能够量化从进入直播间到加载出首帧直播画面的时延，减少了人工参与，提高测量结果的准确性，且由于操作视频中录制是观众客户端的展示的内容，因此，基于操作视频能够客观地获取观众客户端直播画面的真实加载情况，避免出现测量结果与用户体验不符的情况，提高测量结果的准确性。此外，本申请实施例的方法，可针对市面上的任何一款直播客户端进行测试，只需要测试人员在主播客户端构造符合测试条件的测试直播间，然后通过观众客户端进入测试直播间，并录制进入测试直播间过程中观众客户端上展示的内容，即可通过图像识别技术自动分析操作视频中的每一帧图像，从而准确获得加载首帧直播画面的时延，方便对市面上的多种直播客户端进行对比分析。
参考图6，在上述任一实施例的基础上，结合图1B所示的应用场景，本申请实施例提供一种加载直播画面的时延测试方法，包括以下步骤：
S601、获取针对观众客户端的操作视频，该操作视频包括从进入直播间前至加载出直播画面期间内观众客户端展示的内容。
具体实施时，测试人员可预先在测试用的用户设备内安装观众客户端和装录屏软件。测试时，开启录屏软件，以便对观众客户端上展示的内容进行录制，测试人员通过观众客户端进入任意一个直播间，等待观众客户端加载出直播画面后结束录屏，存储录屏软件录制的视频作为操作视频。或者，测试人员还可以另外架设一台摄录设备(如智能手机、摄像机等)，该摄录设备对准用户设备的触摸屏，测试人员开启摄录设备，对用户设备中的观众客户端上展示的内容进行录制，测试人员通过观众客户端进入任意一个直播间，等待观众客户端加载出直播画面后结束录制，存储摄录设备录制的视频作为操作视频。
S602、从操作视频中确定出包含首帧直播画面的第二视频帧。
本步骤的具体实施方式可参考步骤S202的具体实施方法，不再赘述。
S603、将操作视频中加载等待界面消失时刻对应的视频帧确定为第二视频帧。
实际应用中，加载等待界面消失意味着已经加载出直播视频的首帧直播画面，因此加载等待界面消失时刻即为加载出直播视频的首帧直播画面的时刻。
S604、将第二视频帧和第一视频帧之间的时间差确定为加载首帧直播画面的时延。
作为一种可能的实施方式，当加载等待界面为封面蒙层时，步骤S603具体包括：依次计算操作视频中第一视频帧之后的视频帧的清晰度值，若当前视频帧的清晰度值与上一帧视频帧的清晰度值之间的差值高于预设差值，则确定当前视频帧为加载等待界面消失时刻对应的第二视频帧。
本申请实施中的封面蒙层，即对直播间指定的封面图像进行模糊虚化处理后的图像，在加载出直播画面前的显示直播间对应的封面蒙层。
本申请实施例中，预设差值可根据封面蒙层的清晰度以及直播视频的清晰度，并结合实际经验确定。一般封面蒙层的清晰度较低，而直播视频的清晰度较高，因此，如果当前视频帧的清晰度值与上一帧视频帧的清晰度值之间的差值高于预设差值，则确定封面蒙层已经消失，意味着已经加载出直播视频的首帧直播画面。
作为另一种可能的实施方式，当加载等待界面为封面蒙层时，步骤S603具体包括：依次计算操作视频中第一视频帧之后的视频帧的清晰度值，若当前视频帧的清晰度值高于清晰度阈值，则确定当前视频帧为加载等待界面消失时刻对应的第二视频帧。
本申请实施例中，清晰度阈值可根据封面蒙层的清晰度结合实际经验确定。一般封面蒙层的清晰度较低，清晰度阈值高于封面蒙层的清晰度值。而直播视频的清晰度较高，因此，如果当前视频帧的清晰度值高于清晰度阈值，则确定封面蒙层已经消失，意味着已经加载出直播视频的首帧直播画面。
具体实施是，可采用以下任一算法计算视频帧的清晰度：Brenner梯度函数、Laplacian 梯度函数、方差函数、EAV点锐度算法函数等，不再赘述。
具体实施时，加载等待界面还可能是指定颜色的界面，如全黑色或全蓝色的界面，而直播画面的颜色较为多变，与加载等待界面的颜色不同，因此，可通过视频帧中颜色的变化判断加载等待界面是否消失，即已经加载出直播视频的首帧直播画面。基于此，步骤S603具体包括：依次计算操作视频中第一视频帧之后的视频帧的颜色值，若当前视频帧的颜色值与上一帧视频帧的颜色值之间的差值高于预设颜色差值，则确定当前视频帧为加载等待界面消失时刻对应的第二视频帧。具体地，可以取视频帧中所有像素点的颜色值的平均值作为视频帧的颜色值。
为了避免因直播画面与加载等待界面颜色较为接近，导致识别的第二视频帧不准确的问题，还可以基于视频帧各像素点颜色值的方差等参数判断加载等待界面是否消失。加载等待界面的颜色单一，因此方差较小，而直播画面的颜色较为丰富，因此，方差较大。基于此，步骤S603具体包括：依次计算操作视频中第一视频帧之后的视频帧的颜色值的方差，若视频帧的颜色值的方差高于预设方差，则确定该视频帧为加载等待界面消失时刻对应的第二视频帧。
具体实施时，加载等待界面还可能是包含“加载中”等指定字符的界面。基于此，步骤S603具体包括：依次识别操作视频中第一视频帧之后的视频帧中的文字，若视频帧中不包含加载等待界面中的指定字符，则确定该视频帧为加载等待界面消失时刻对应的第二视频帧。
本申请实施例的方法，能够量化从进入直播间到加载出首帧直播画面的时延，减少了人工参与，提高测量结果的准确性，且由于操作视频中录制是观众客户端的展示的内容，因此，基于操作视频能够客观地获取观众客户端直播画面的真实加载情况，避免出现测量结果与用户体验不符的情况，提高测量结果的准确性。此外，本申请实施例的方法，只需要测试人员通过观众客户端进入任一直播间，并录制进入该任一直播间过程中观众客户端上展示的内容，无需构建测试直播间，简化了获取操作视频的过程，进一步减少了人工操作的步骤。
本申请实施例的方法，可针对市面上的任何一款直播客户端进行测试，只需要测试人员通过观众客户端进入任一直播间，并录制进入该任一直播间过程中观众客户端上展示的内容，即可通过图像识别技术自动分析操作视频中的每一帧图像，从而准确获得加载首帧直播画面的时延，方便对市面上的多种直播客户端进行对比分析。
如图7所示，基于与上述加载直播画面的时延测试方法相同的发明构思，本申请实施例还提供了一种加载直播画面的时延测试装置70，包括：获取模块701、第一确定模块702、第二确定模块703和时延计算模块704。
获取模块701，用于获取针对观众客户端的操作视频，操作视频包括从进入直播间前至加载出直播画面期间内观众客户端展示的内容。
第一确定模块702，用于从操作视频中确定出包含针对直播间的进入操作的第一视频帧。
第二确定模块703，用于从操作视频中确定出包含首帧直播画面的第二视频帧。
时延计算模块704，用于将第二视频帧和第一视频帧之间的时间差确定为加载出首帧直播画面的时延。
可选地，第一确定模块702具体用于：检测操作视频的视频帧中是否存在与进入操作对应的触摸轨迹，触摸轨迹为在运行观众客户端的用户设备的触摸屏上显示的、用于指示用户执行的触摸操作的轨迹；将最后一次出现与进入操作对应的触摸轨迹的视频帧确定为第一视频帧。
可选地，第一确定模块702具体用于：若操作视频的视频帧中存在与预设的特征图形匹配的图形，则确定视频帧中存在与进入操作对应的触摸轨迹。
可选地，第二确定模块具体703用于：将操作视频中首次出现预设目标的视频帧确定为第二视频帧，预设目标为持续出现在直播画面中的目标对象。
进一步地，第二确定模块703具体用于：基于预先训练的图像识别模型，对操作视频中第一视频帧之后的视频帧进行图像识别处理，将首次出现预设目标的视频帧确定为第二视频帧。
可选地，第二确定模块具体703用于：将操作视频中加载等待界面消失时刻对应的视频帧确定为第二视频帧。
进一步地，第二确定模块703具体用于：当加载等待界面为封面蒙层时，依次计算操作视频中第一视频帧之后的视频帧的清晰度值；若当前视频帧的清晰度值与上一帧视频帧的清晰度值之间的差值高于预设差值，或者，当前视频帧的清晰度值高于清晰度阈值，则确定当前视频帧为加载等待界面消失时刻对应的第二视频帧。
本申请实施例提的加载直播画面的时延测试装置与上述加载直播画面的时延测试方法采用了相同的发明构思，能够取得相同的有益效果，在此不再赘述。
基于与上述加载直播画面的时延测试方法相同的发明构思，本申请实施例还提供了一种电子设备，该电子设备具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)、服务器等。如图8所示，该电子设备80可以包括处理器801和存储器802。
处理器801可以是通用处理器，例如中央处理器(CPU)、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器802作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random Access Memory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器802还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
本申请实施例提供了一种计算机可读存储介质，用于储存为上述电子设备所用的计算机程序指令，其包含用于执行上述弹幕处理方法的程序。
上述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、 DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NAND FLASH)、固态硬盘(SSD))等。
以上，以上实施例仅用以对本申请的技术方案进行了详细介绍，但以上实施例的说明只是用于帮助理解本申请实施例的方法，不应理解为对本申请实施例的限制。本技术领域的技术人员可轻易想到的变化或替换，都应涵盖在本申请实施例的保护范围之内。
Claims (10)
1.一种加载直播画面的时延测试方法，其特征在于，包括：
获取针对观众客户端的操作视频，所述操作视频包括从进入直播间前至加载出直播画面期间内观众客户端展示的内容；
从所述操作视频中确定出包含针对直播间的进入操作的第一视频帧，所述进入操作包括点击操作、长按操作或者向指定方向滑动的操作，所述第一视频帧为所述进入操作完成的时刻对应的视频帧；
将所述操作视频中加载等待界面消失时刻对应的视频帧确定为第二视频帧，其中，所述第二视频帧为：在所述加载等待界面为封面蒙层时，通过依次计算所述操作视频中所述第一视频帧之后的视频帧的清晰度值或颜色值，并基于当前视频帧的清晰度值或颜色值确定的，所述封面蒙层为：对直播间指定的封面图像进行模糊虚化处理后的图像；将所述第二视频帧和所述第一视频帧之间的时间差确定为加载出首帧直播画面的时延。
2.根据权利要求1所述的方法，其特征在于，所述从所述操作视频中确定出包含针对直播间的进入操作的第一视频帧，具体包括：
检测所述操作视频的视频帧中是否存在与所述进入操作对应的触摸轨迹，所述触摸轨迹为在运行所述观众客户端的用户设备的触摸屏上显示的、用于指示用户执行的触摸操作的轨迹；
将最后一次出现与所述进入操作对应的触摸轨迹的视频帧确定为第一视频帧。
3.根据权利要求2所述的方法，其特征在于，所述检测所述操作视频的视频帧中是否存在与所述进入操作对应的触摸轨迹，具体包括：
若所述操作视频的视频帧中存在与预设的特征图形匹配的图形，则确定所述视频帧中存在与所述进入操作对应的触摸轨迹。
4.根据权利要求1至3中任一所述的方法，其特征在于，所述方法还包括：
将所述操作视频中首次出现预设目标的视频帧确定为第二视频帧，所述预设目标为持续出现在直播画面中的目标对象。
5.根据权利要求4所述的方法，其特征在于，所述将所述操作视频中首次出现预设目标的视频帧确定为第二视频帧，具体包括：
基于预先训练的图像识别模型，对所述操作视频中所述第一视频帧之后的视频帧进行图像识别处理，将首次出现所述预设目标的视频帧确定为第二视频帧。
6.根据权利要求1所述的方法，其特征在于，所述第二视频帧是通过以下任意一种方式确定的：
若所述当前视频帧的清晰度值与上一帧视频帧的清晰度值之间的差值高于预设差值，则确定所述当前视频帧为所述加载等待界面消失时刻对应的第二视频帧；
若所述当前视频帧的清晰度值高于清晰度阈值，则确定所述当前视频帧为所述加载等待界面消失时刻对应的第二视频帧；
若所述当前视频帧的颜色值与所述上一帧视频的颜色值之间的差值高于预设颜色差值，则确定所述当前视频帧为所述加载等待界面消失时刻对应的第二视频帧；其中，每个视频帧的颜色值为：相应视频帧中所有像素点的颜色值的平均值；
若所述当前视频帧中各像素点颜色值的方差高于预设方差，则确定所述当前视频帧为所述加载等待界面消失时刻对应的第二视频帧。
7.一种加载直播画面的时延测试装置，其特征在于，包括：
获取模块，用于获取针对观众客户端的操作视频，所述操作视频包括从进入直播间前至加载出直播画面期间内观众客户端展示的内容；
第一确定模块，用于从所述操作视频中确定出包含针对直播间的进入操作的第一视频帧，所述进入操作包括点击操作、长按操作或者向指定方向滑动的操作，所述第一视频帧为所述进入操作完成的时刻对应的视频帧；
第二确定模块，用于将所述操作视频中加载等待界面消失时刻对应的视频帧确定为第二视频帧，其中，所述第二视频帧为：在所述加载等待界面为封面蒙层时，通过依次计算所述操作视频中所述第一视频帧之后的视频帧的清晰度值或颜色值，并基于当前视频帧的清晰度值或颜色值确定的，所述封面蒙层为：对直播间指定的封面图像进行模糊虚化处理后的图像；
时延计算模块，用于将所述第二视频帧和所述第一视频帧之间的时间差确定为加载出首帧直播画面的时延。
8.根据权利要求7所述的装置，其特征在于，所述第一确定模块具体用于：
检测所述操作视频的视频帧中是否存在与所述进入操作对应的触摸轨迹，所述触摸轨迹为在运行所述观众客户端的用户设备的触摸屏上显示的、用于指示用户执行的触摸操作的轨迹；
将最后一次出现与所述进入操作对应的触摸轨迹的视频帧确定为第一视频帧。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该计算机程序指令被处理器执行时实现权利要求1至6任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910490785.8A CN112055258B (zh) | 2019-06-06 | 2019-06-06 | 加载直播画面的时延测试方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910490785.8A CN112055258B (zh) | 2019-06-06 | 2019-06-06 | 加载直播画面的时延测试方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112055258A CN112055258A (zh) | 2020-12-08 |
| CN112055258B true CN112055258B (zh) | 2023-01-31 |
Family
ID=73608712
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910490785.8A Active CN112055258B (zh) | 2019-06-06 | 2019-06-06 | 加载直播画面的时延测试方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112055258B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114554237B (zh) * | 2022-02-18 | 2023-12-26 | 北京有竹居网络技术有限公司 | 信息处理方法、装置及设备 |
| CN115484492B (zh) * | 2022-11-11 | 2023-05-30 | 荣耀终端有限公司 | 界面时延的获取方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101349357A (zh) * | 2007-07-19 | 2009-01-21 | 曹康年 | 安全缓冲二用阀 |
| CN106101579A (zh) * | 2016-07-29 | 2016-11-09 | 维沃移动通信有限公司 | 一种视频拼接的方法及移动终端 |
| CN106341695A (zh) * | 2016-08-31 | 2017-01-18 | 腾讯数码（天津）有限公司 | 直播间互动方法、装置及系统 |
| WO2018076982A2 (zh) * | 2016-10-26 | 2018-05-03 | 广州市百果园网络科技有限公司 | 一种音视频同步播放的方法及终端 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4544190B2 (ja) * | 2006-03-31 | 2010-09-15 | ソニー株式会社 | 映像音声処理システム、映像処理装置、音声処理装置、映像音声の出力装置および映像と音声の同期処理方法 |
| CN108882019B (zh) * | 2017-05-09 | 2021-12-10 | 腾讯科技（深圳）有限公司 | 视频播放测试方法、电子设备及系统 |
| CN108111903A (zh) * | 2018-01-17 | 2018-06-01 | 广东欧珀移动通信有限公司 | 录屏文件播放方法、装置及终端 |
| CN108989884A (zh) * | 2018-08-01 | 2018-12-11 | 浙江齐聚科技有限公司 | 直播视频延迟性能测试方法、装置、设备和存储介质 |
-
2019
- 2019-06-06 CN CN201910490785.8A patent/CN112055258B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101349357A (zh) * | 2007-07-19 | 2009-01-21 | 曹康年 | 安全缓冲二用阀 |
| CN106101579A (zh) * | 2016-07-29 | 2016-11-09 | 维沃移动通信有限公司 | 一种视频拼接的方法及移动终端 |
| CN106341695A (zh) * | 2016-08-31 | 2017-01-18 | 腾讯数码（天津）有限公司 | 直播间互动方法、装置及系统 |
| WO2018076982A2 (zh) * | 2016-10-26 | 2018-05-03 | 广州市百果园网络科技有限公司 | 一种音视频同步播放的方法及终端 |
Non-Patent Citations (1)
| Title |
|---|
| P2P流媒体系统中基于多点获取的快速启动机制;莫益军等;《华中科技大学学报(自然科学版)》;20080615(第06期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112055258A (zh) | 2020-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10368123B2 (en) | Information pushing method, terminal and server | |
| JP6735927B2 (ja) | ビデオコンテンツの要約処理 | |
| CN110502665B (zh) | 视频处理方法和装置 | |
| CN108509611B (zh) | 用于推送信息的方法和装置 | |
| CN112380929B (zh) | 一种高光片段的获取方法、装置、电子设备和存储介质 | |
| US10129504B2 (en) | Method and system for measuring quality of video call | |
| CN111615002B (zh) | 视频后台播放控制方法、装置、系统及电子设备 | |
| CN113422988B (zh) | 直播封面生成方法、装置、电子设备及存储介质 | |
| US20170249970A1 (en) | Creating realtime annotations for video | |
| CN109271929B (zh) | 检测方法和装置 | |
| CN109922334A (zh) | 一种视频质量的识别方法及系统 | |
| CN112055258B (zh) | 加载直播画面的时延测试方法、装置、电子设备及存储介质 | |
| CN115079876A (zh) | 交互方法、设备、储存介质及计算机程序产品 | |
| CN115346145A (zh) | 重复视频的识别方法、设备、储存介质及计算机程序产品 | |
| CN113033677A (zh) | 视频分类方法、装置、电子设备和存储介质 | |
| US10445585B1 (en) | Episodic image selection | |
| CN112016001A (zh) | 好友推荐方法、设备及计算机可读介质 | |
| CN117459662B (zh) | 一种视频播放方法、识别方法、装置、设备及存储介质 | |
| CN110276404A (zh) | 模型训练方法、装置及存储介质 | |
| CN112752110A (zh) | 视频呈现方法及装置、计算设备、存储介质 | |
| CN112307260A (zh) | 视频鉴别方法、装置、电子设备及计算机可读存储介质 | |
| Alghamdi et al. | AUVANA: An automated video analysis tool for visual complexity | |
| CN114339402B (zh) | 视频播放完成率预测方法、装置、介质及电子设备 | |
| CN114501132B (zh) | 一种资源处理方法、装置、电子设备及存储介质 | |
| CN111901693B (zh) | 一种广告播放状态调节方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |