CN112511818B - 视频播放质量检测方法、装置 - Google Patents

Abstract

本申请公开了一种视频播放质量检测方法、装置。该方法包括：接收用户上传的录屏视频；调用至少一种质量检测子服务对所述录屏视频进行检测，并输出视频播放质量检测结果，其中，所述质量检测子服务包括首帧检测服务、卡顿检测服务、黑屏检测服务、花屏检测服务及音频视频同步检测服务中的至少一种。本申请可以提前发现播放器在播放视频中存在的各种播放质量问题，进而可以提前修复bug，使得用户后续可以拥有更好的观看体验。

Description

视频播放质量检测方法、装置

技术领域

本申请涉及视频技术领域，尤其涉及一种视频播放质量检测方法、装置。

背景技术

随着科学技术的不断发展，网络视频业务实现了突破性的发展，其已成为各大运营商的基础业务。而随着视频业务的不断普及，人们对视频业务的播放质量要求也在不断的上升。如，人们会要求更高的视频清晰度、更好的视频播放质量。因此，如何保障视频业务的视频播放质量已经成为视频业务技术领域的一大研究热点。

现有的视频播放质量检测方法，一般是通过用户主动发送的视频播放质量反馈信息或故障举报信息来确定出视频播放质量，再对播放器进行及时的故障定位、故障隔离，以此来提升视频业务的业务质量。但是，这种检测方法是让开发人员做后验分析，其不能在播放器出现视频播放质量之前发现问题，导致用户体验较差。

发明内容

有鉴于此，现提供一种视频播放质量检测方法、装置、计算机设备及计算机可读存储介质，以解决播放器不能在出现视频播放质量之前发现视频播放问题，导致用户体验较差的问题。

本申请提供了一种视频播放质量检测方法，包括：

接收用户上传的录屏视频；

调用至少一种质量检测子服务对所述录屏视频进行检测，并输出视频播放质量检测结果，其中，所述质量检测子服务包括首帧检测服务、卡顿检测服务、黑屏检测服务、花屏检测服务或及音频视频同步检测服务中的至少一种。

可选地，视频播放质量检测方法还包括：

获取用户输入的至少一个参数，其中，不同的参数对应于不同的任务队列；

所述调用至少一种质量检测子服务对所述录屏视频进行检测，并输出检测结果包括：

根据所述至少一个参数确定对应的任务队列；

通过所述任务队列调用与所述任务队列相关联的质量检测子服务对所述录屏视频进行检测，并输出视频播放质量检测结果。

可选地，所述录屏视频包含真实视频播放阶段的视频帧和非真实视频播放阶段的视频帧，所述首帧检测服务对所述录屏视频进行检测包括：

采用预先训练好的录屏视频阶段识别模型对所述录屏视频的每一视频帧进行录屏视频阶段识别，并输出录屏视频阶段识别结果；

根据各个视频帧的录屏视频阶段识别结果与各个视频帧对应的时间戳确定所述真实视频播放阶段的视频帧的首帧时间；

所述卡顿检测服务对所述录屏视频进行检测包括：

调用所述录屏视频阶段识别模型识别出所述录屏视频中处于非真实视频播放阶段的视频帧；

将所述非真实视频播放阶段的视频帧从所述录屏视频中删除，得到处于真实视频播放阶段的视频帧；

采用预设的多媒体视频处理工具中的卡顿滤镜对所述处于视频播放阶段的视频帧进行检测，以从中检测出出现卡顿的视频帧及对应的时间戳；

所述黑屏检测服务对所述录屏视频进行检测包括：

采用预先训练好的黑屏识别模型对所述录屏视频的每一视频帧进行黑屏识别，并输出黑屏识别结果；

所述花屏检测服务对所述录屏视频进行检测包括：

采用预先训练好的花屏识别模型对所述录屏视频的每一视频帧进行花屏识别，并输出花屏识别结果；

所述音频视频同步检测服务对所述录屏视频进行检测包括：

采用语音识别模型将所述录屏视频中包含的音频数据转换为文字；

采用预设的文字提取模型从所述音频数据对应的视频帧提取出视频帧中包含的字幕，并将所述字幕与所述文字进行比较，根据比较结果输出音视频同步结果。

可选地，所述将所述字幕与所述文字进行比较，根据比较结果输出音视频同步结果包括：

计算所述文字与所述字幕的相似度；

根据计算得到的相似度值输出音视频同步结果。

可选地，所述视频播放质量检测方法还包括：

从预设的数据库中获取埋点数据，所述埋点数据为播放器在播放与录屏视频相对应的视频时由数据埋点所上报的数据；

根据所述埋点数据生成与录屏视频相对应的视频的首帧时间及/或卡顿时间。

可选地，所述视频播放质量检测方法还包括：

在通过埋点数据生成所述卡顿时间或通过卡顿检测服务检测出卡顿时，则判定视频的播放过程中存在卡顿。

可选地，所述视频播放质量检测方法还包括：

根据所述视频播放质量检测结果生成质量报告。

本申请还提供了一种视频播放质量检测装置，包括：

接收模块，用于接收用户上传的录屏视频；

调用模块，用于调用至少一种质量检测子服务对所述录屏视频进行检测，并输出视频播放质量检测结果，其中，所述质量检测子服务包括首帧检测服务、卡顿检测服务、黑屏检测服务、花屏检测服务及音频视频同步检测服务中的至少一种。

本申请还提供了一种计算机设备，所述计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。

上述技术方案的有益效果：

本申请实施例中，通过接收用户上传的录屏视频；调用至少一种质量检测子服务对所述录屏视频进行检测，并输出视频播放质量检测结果，其中，所述质量检测子服务包括首帧检测服务、卡顿检测服务、黑屏检测服务、花屏检测服务及音频视频同步检测服务中的至少一种。本申请实施例中通过对用户录制好的视频进行检测，从而可以检测出播放器在播放视频时是否出现卡顿，黑屏等质量问题，以及具体在哪出现了问题。由于本实施例属于对播放器进行事前检测，因此，本申请实施例可以提前发现播放器在播放视频中存在的各种播放质量问题，进而可以提前修复bug，使得用户后续可以拥有更好的观看体验。

附图说明

图1为本申请实施例的视频播放质量检测方法的架构示意图；

图2为本申请所述的视频播放质量检测方法的一种实施例的流程图；

图3为本申请所述的视频播放质量检测方法的另一种实施例的流程图；

图4为本申请中首帧检测服务对所述录屏视频进行检测的步骤细化流程示意图；

图5为本申请中卡顿检测服务对所述录屏视频进行检测的步骤细化流程示意图；

图6为本申请中音频视频同步检测服务对所述录屏视频进行检测的步骤细化流程示意图；

图7为本申请中将所述字幕与所述文字进行比较，根据比较结果输出音视频同步结果的步骤细化流程示意图；

图8为本申请所述的视频播放质量检测方法的另一种实施例的流程图；

图9为本申请所述的视频播放质量检测装置的一种实施例的程序模块图；

图10为本申请实施例提供的执行视频播放质量检测方法的计算机设备的硬件结构示意图。

具体实施方式

以下结合附图与具体实施例进一步阐述本申请的优点。

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

在本申请的描述中，需要理解的是，步骤前的数字标号并不标识执行步骤的前后顺序，仅用于方便描述本申请及区别每一步骤，因此不能理解为对本申请的限制。

图1示意性示出了根据本申请实施例的视频播放质量检测方法的环境示意图。在示例性的实施例中，该应用环境的系统可包括用户终端10、服务端，比如计算机设备20。

其中，用户终端10与计算机设备20形成无线或有线连接，且用户终端10中具有播放视频的播放器。用户终端10可以为手机、iPAD，平板电脑等。计算机设备20用于接收用户通过用户终端10上传的录制视频，并对录制视频进行检测，得到视频播放质量检测结果。计算机设备20可以是为机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。

参阅图2，其为本申请一实施例的视频播放质量检测方法的流程示意图。本可以理解，本方法实施例中的流程图不用于对执行步骤的顺序进行限定。下面以计算机设备20为执行主体进行示例性描述，从图中可以看出，本实施例中所提供的视频播放质量检测方法包括：

步骤S20、接收用户上传的录屏视频。

具体地，用户在通过用户终端10中的播放器播放视频时，可以通过录屏软件对视频进行录屏，从而得到所述录屏视频；也可以通过其他用户终端对播放器播放的视频进行录屏，从而得到所述录屏视频。

需要说明的是，所述播放器为用于对所述视频播放质量进行检测的播放器。比如，需要对哔哩哔哩(bilibili)APP进行视频播放质量检测，则可以通过该bilibili APP播放视频，其中，播放的视频可以为任意类型的视频。

步骤S21，调用至少一种质量检测子服务对所述录屏视频进行检测，并输出视频播放质量检测结果，其中，所述质量检测子服务包括首帧检测服务、卡顿检测服务、黑屏检测服务、花屏检测服务及音频视频同步检测服务中的至少一种。

具体地，计算机设备20中预先部署有各种质量检测子服务，当接收到用户上传的录屏视频时，即可以调用这些质量检测子服务对录屏视频进行检测，从而得到播放器播放视频的视频播放质量检测结果。

在本实施例中，计算机设备在调用质量检测子服务时，可以调用所有的质量检测子服务，也可以调用预先默认设定的质量检测子服务，或者可以根据用户的选择决定调用哪些质量子服务来对录屏视频进行检测，在本实施例中不作限定。

其中，所述视频播放质量检测结果用于描述播放器在播放视频的过程中出现哪些播放质量问题，其中，该视频播放质量检测结果可以是一个比较详细的结果，也可以是一个比较模糊的结果，比如，当该视频播放质量检测结果为一个比较详细的结果时，该频播放质量检测结果可以包括以下内容：首帧时间为xxx、在视频播放的第xxx秒出现视频卡顿、在视频播放的第xxx秒出现视频黑屏、在视频播放的第xxx秒出现视频花屏、在视频播放的第xxx秒出现视频音视频不同步等。当该视频播放质量检测结果为一个比较模型的结果时，该频播放质量检测结果可以包括以下内容：在视频播放的过程中出现卡顿、黑屏、花屏、音频视频不同步等情况。

作为示例，所述视频播放质量检测结果为如下格式的数据：

{"首帧时间"：xxx,"卡顿"：xxxx,"黑屏"：xxxx}。

本申请实施例中，通过接收用户上传的录屏视频；调用至少一种质量检测子服务对所述录屏视频进行检测，并输出视频播放质量检测结果，其中，所述质量检测子服务包括首帧检测服务、卡顿检测服务、黑屏检测服务、花屏检测服务及音频视频同步检测服务中的至少一种。本申请实施例中通过对用户录制好的视频进行检测，从而可以检测出播放器在播放视频时是否出现卡顿，黑屏等质量问题，以及具体在哪出现了问题。由于本实施例属于对播放器进行事前检测，因此，本申请实施例可以提前发现播放器在播放视频中存在的各种播放质量问题，进而可以提前修复bug，使得用户后续可以拥有更好的观看体验。

参阅图3，其为本申请另一实施例的视频播放质量检测方法的流程示意图。本可以理解，本方法实施例中的流程图不用于对执行步骤的顺序进行限定。下面仍以计算机设备20为执行主体进行示例性描述，从图中可以看出，本实施例中所提供的视频播放质量检测方法包括：

步骤S30，接收用户上传的录屏视频。

用户在通过用户终端10中的播放器播放视频时，可以通过录屏软件对视频进行录屏，从而得到所述录屏视频；也可以通过其他用户终端对播放器播放的视频进行录屏，从而得到所述录屏视频。

需要说明的是，所述播放器为用于对所述视频播放质量进行检测的播放器。比如，需要对哔哩哔哩(bilibili)APP进行视频播放质量检测，则可以通过该bilibili APP播放视频，其中，播放的视频可以为任意类型的视频。

步骤S31，获取用户输入的至少一个参数，其中，不同的参数对应于不同的任务队列。

具体地，所述参数用于确定用户需要对可能出现的哪些视频播放质量问题进行检测。在本实施例中，用户在将录屏视频上传至计算机设备20时，可以根据用户自身的需求输入不同的参数，比如，用户只想要检测首帧时间，则用户在上传录屏视频时，可以输入检测所述首帧时间所需要输入的参数。又比如，用户只想要检测黑屏，则用户在上传录屏视频时，可以输入检测所述黑屏所需要输入的参数。

可以理解的是，用户所需要输入的参数是预先设定的，比如，设定检测首帧时间需要输入“1”、检测黑屏需要输入“2”。

需要说明的是，用户在输入参数时，可以预先提供一个输入界面以供用户进行参数输入，也可以预先提供多种视频播放质量问题以供用户选择，在用户选择好后将用户选定的视频播放质量问题转换为对应的参数。

步骤S32，根据所述至少一个参数确定对应的任务队列。

具体地，预先配置好不同的参数与不同的任务队列的对应关系，这样，在获取到参数之后，即可以根据获取到的参数确定对应的队列任务。

其中，各个队列任务时独立的，用于分别调用对应的质量检测子服务对所述录屏视频进行检测。

步骤S33，通过所述任务队列调用与所述任务队列相关联的质量检测子服务对所述录屏视频进行检测，并输出视频播放质量检测结果。

具体地，预先配置好不同的队列任务与不同的质量检测子服务的关联关系，这样，在确定好队列任务后，不同的队列任务即可以调用与其关联的质量检测子服务对所述录屏视频进行检测。

比如，队列任务1与首帧检测服务1相关联，队列任务2与卡顿检测服务相关联，队列任务3与黑屏检测服务相关联，队列任务4与花屏检测服务相关联，队列任务5与音频视频同步检测服务相关联。

作为示例，假设根据用户输入的参数确定的队列任务有队列任务2与队列任务5，则在获取到录屏视频后，可以调用卡顿检测服务与音频视频同步检测服务对所述录屏视频检测检测处理。

本实施例中，通过不同的任务队列调用不同的质量检测子服务对所述录屏视频进行检测，从而可以实现并行对录屏视频进行检测，提高检测效率。

在一示例性的实施方式中，在对视频进行录屏时，可以从用户打开播放器时就可以录屏，即最终得到的录屏视频包含有真实视频播放阶段的视频帧和非真实视频播放阶段的视频帧。

作为示例，参照图4，所述首帧检测服务对所述录屏视频进行检测包括：

步骤S40，采用预先训练好的录屏视频阶段识别模型对所述录屏视频的每一视频帧进行视频播放阶段识别，并输出录屏视频阶段识别结果。

具体地，所述录屏视频阶段识别模型为基于深度学习技术的多分类模型。在一实施方式中，可以使用训练样本集中的训练样本数据对inception(一种深度学习网络结构，拟合能力强，目前在迁移学习应用效果很好)网络模型做预训练，得到训练后的初始录屏视频阶段识别模型，之后，对该初始录屏视频阶段识别模型做fine-tuning(是进行迁移学习的一种手段)，得到所述录屏视频阶段识别模型。可以理解的是，也可以采用训练样本数据对其他网络模型进行训练，比如，对CNN(Convolutional Neural Networks，卷积神经网络)或者RNN(recurrent neural network，循环神经网络)网络模型等进行训练，得到所述录屏视频阶段识别模型。

需要说明是，所述训练样本集中包含有若干张处于各个录屏视频阶段阶段的图片，且每一张图片中还可以携带有该图片所属的录屏视频阶段阶段标签。

在本实施例中，录屏视频阶段包括非真实视频播放阶段和真实视频播放阶段，其中，非真实视频播放阶段包括播放器打开阶段，视频加载阶段。

其中，所述播放器打开阶段指的是用户点击播放器来打开播放器的阶段，播放器加载阶段为播放器加载录屏视频的阶段，真实视频播放阶段为播放器真正开始播放视频的阶段。所述录屏视频阶段识别结果包括播放器打开阶段，视频加载阶段或真实视频播放阶段。

本实施例中，录屏视频阶段识别模型在对录屏视频检测识别之前，需要先对所述录屏视频进行分帧处理，以将录屏视频转换为一帧一帧的图片。在一实施方式中，可以基于opencv(一个基于BSD许可(开源)发行的跨平台计算机视觉和机器学习软件库)对录屏视频做分帧处理，之后将得到的每帧图片按照时间顺序依次输入至所述录屏视频阶段识别模型，以通过所述录屏视频阶段识别模型识别出每帧图片属于哪个录屏视频阶段，例如播放器打开阶段，视频加载阶段，真实视频播放阶段等。

步骤S41，根据各个视频帧的录屏视频阶段识别结果与各个视频帧对应的时间戳确定所述真实视频播放阶段的视频帧的首帧时间。

具体地，所述时间戳为录屏视频中用于告诉播放器该在什么时候显示这一帧的数据。

所述首帧时间为识别出的处于真实视频播放阶段的第一帧对应的时间戳值a与识别出的处于播放器打开阶段的第一帧对应的时间戳值b的差值，即首帧时间＝a-b。

作为示例，参照图5，所述卡顿检测服务对所述录屏视频进行检测包括：

步骤S50，调用所述录屏视频阶段识别模型识别出所述录屏视频中处于非真实视频播放阶段的视频帧。

具体地，由于录屏视频中包含有处于非真实视频播放阶段的视频帧，为了排除这些视频帧对卡顿检测的影响，在进行卡顿检测时，可以先调用所述录屏视频阶段识别模型识别出所述录屏视频中处于非真实视频播放阶段的视频帧，即识别出处于播放器打开阶段和视频加载阶段的视频帧。

步骤S51，将所述非真实视频播放阶段的视频帧从所述录屏视频中删除，得到处于真实视频播放阶段的视频帧。

具体地，通过将非真实视频播放阶段的视频帧从所述录屏视频中删除，只留下处于真实视频播放阶段的视频帧，从而可以排除非真实视频播放阶段的视频帧对卡顿检测的影响。

步骤S52，采用预设的多媒体视频处理工具中的卡顿滤镜对所述处于视频播放阶段的视频帧进行检测，以从中检测出出现卡顿的视频帧及对应的时间戳。

具体地，所述多媒体视频处理工具可以为ffmpeg，其是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源视频工具库。该ffmpeg中实现有卡顿滤镜。

其中，卡顿滤镜是一种可以判定视频是否出现卡顿情况的工具，通过该卡顿滤镜可以检测出视频中出现卡顿的视频帧及对应的时间戳。

需要说明是，该多媒体视频处理工具也可以为其他工具库，只要工具库中具有卡顿滤镜即可。

作为示例，所述黑屏检测服务对所述录屏视频进行检测包括：

采用预先训练好的黑屏识别模型对所述录屏视频的每一视频帧进行黑屏识别，并输出黑屏识别结果。

具体地，所述黑屏识别模型为基于深度学习技术的多分类模型。在一实施方式中，可以使用训练样本集中的训练样本数据对inception网络模型做预训练，得到训练后的初始黑屏识别模型，之后，对该初始黑屏识别模型做fine-tuning，得到所述黑屏识别模型。可以理解的是，也可以采用训练样本数据对其他网络模型进行训练，比如，对CNN或者RNN网络模型等进行训练，得到所述黑屏识别模型。

需要说明是，所述训练样本集中包含有若干张黑屏和非黑屏的图片，且每一张图片中还可以携带有该图片所属的类别标签，即是黑屏还是非黑屏。

所述黑屏识别结果包括黑屏或非黑屏。

本实施例中，黑屏识别模型在对录屏视频检测识别之前，需要先对所述录屏视频进行分帧处理，以将录屏视频转换为一帧一帧的图片。在一实施方式中，可以基于opencv对录屏视频做分帧处理，之后将得到的每帧图片按照时间顺序依次输入至所述黑屏识别模型中，以通过所述黑屏识别模型识别出每帧图片属于哪个类别，例如黑屏和非黑屏。

作为示例，所述花屏检测服务对所述录屏视频进行检测包括：

采用预先训练好的花屏识别模型对所述录屏视频的每一视频帧进行花屏识别，并输出花屏识别结果。

具体地，所述花屏识别模型为基于深度学习技术的多分类模型。在一实施方式中，可以使用训练样本集中的训练样本数据对inception网络模型做预训练，得到训练后的初始花屏识别模型，之后，对该初始花屏识别模型做fine-tuning，得到所述花屏识别模型。可以理解的是，也可以采用训练样本数据对其他网络模型进行训练，比如，对CNN或者RNN网络模型等进行训练，得到所述花屏识别模型。

需要说明是，所述训练样本集中包含有若干张花屏和非花屏的图片，且每一张图片中还可以携带有该图片所属的类别标签，即是花屏还是非花屏。其中，为了提高训练样本数据集中的图片的多样性，使得训练得到的花屏识别模型具有更好的识别率，可以基于opencv的各种滤镜算子，模拟生成各种各样的花屏的图片。

所述花屏识别结果包括花屏还是非花屏。

本实施例中，花屏识别模型在对录屏视频检测识别之前，需要先对所述录屏视频进行分帧处理，以将录屏视频转换为一帧一帧的图片。在一实施方式中，可以基于opencv(一个基于BSD许可(开源)发行的跨平台计算机视觉和机器学习软件库)对录屏视频做分帧处理，之后将得到的每帧图片按照时间顺序依次输入至所述花屏识别模型中，以通过所述花屏识别模型识别出每帧图片属于哪个类别，例如花屏和非花屏。

作为示例，参照图6，所述音频视频同步检测服务对所述录屏视频进行检测包括：

步骤S60，采用语音识别模型将所述录屏视频中包含的音频数据转换为文字。

具体地，所述语音识别模块可以为预先基于深度学习技术对模型进行训练得到的，也可以为从第三方调用得到所述语音识别模型。

在一实施方式中，可以通过该语音识别模型对所述录屏视频中某一段时间的音频数据进行语音识别，以将其转换为对应的文字，比如，对处于该录屏视频中的第20秒-25秒的音频数据进行语音识别。

在另一实施方式中，也可以先对所述录屏视频中所有时间段的音频数据按照预设的时间区间(比如，以10秒作为一个时间区间)进行划分，得到多段音频数据，之后对每段音频数据进行依次语音识别，以将其转换为对应的文字。

步骤S61，采用预设的文字提取模型从所述音频数据对应的视频帧提取出视频帧中包含的字幕，并将所述字幕与所述文字进行比较，根据比较结果输出音视频同步结果；

具体地，可以文字提取模型可以使用现有的文字提取模型，也可以预先基于深度学习技术对模型进行训练得到所述文字提取模型，在本实施例中不作限定。

其中，所述音视频同步结果包括音视频同步或音视频不同步。

作为示例，参照图7，将所述字幕与所述文字进行比较，根据比较结果输出音视频同步结果包括：

步骤S70，计算所述文字与所述字幕的相似度。

具体地，可以计算所述文字与所述字幕的欧式距离作为所述文字与所述字幕的相似度值，也可以计算所述文字与所述字幕的余弦距离作为所述文字与所述字幕的相似度值，在本实施例中不作限定。

步骤S71，根据计算得到的相似度值输出音视频同步结果。

具体地，当所述相似度值处于第一预设范围内时，可以输出音视频同步；当所述相似度值处于第二预设范围内时，可以输出音视频不同步。其中，所述第一预设范围与所述第二预设范围为预先设定的，其具体值在本实施例中不作限定。

本申请实施例中，通过各种深度学习模型来对录屏视频进行检测，可以更加准确地检测出各种视频播放质量问题。

在一示例性的实施方式中，为了提高视频播放质量检测的准确率，还可以通过结合其他方式来对视频播放质量进行检测，如图8所示，所述视频播放质量检测方法还包括：

步骤S80，从预设的数据库中获取埋点数据，所述埋点数据为播放器在播放与录屏视频相对应的视频时由数据埋点所上报的数据。

具体地，所述数据库可以为ES库(Elastic Search库)、Oracle数据库等，在本实施例中不作限定。

作为示例，可以预先在播放器中进行数据埋点，通过数据埋点的方式来向计算及设备20上报埋点数据，其中，所述埋点数据可以用于记录视频的首帧时间，也可以用于记录视频出现卡顿的时间，以及出现卡顿的时长等。这样，当播放器在播放与录屏视频相对应的视频时，即会通过设置的数据埋点在检测到与该数据埋点对应的事件发生时，即将记录的数据进行上报并存储至所述数据库中。

作为示例，计算及设备20可以根据埋点的start_time字段从数据库中获取视频的首帧时间(这里的首帧时间指的是视频点开到看到第一帧图片的时间)；可以根据埋点的播放器的对视频的加载次数字段与加载时间字段，从数据库中获取视频的加载次数与加载时间，并根据加载次数和加载时间计算卡顿率；可以根根据埋点的卡顿时间字段从数据库中获取视频的卡顿时间。

步骤S81，根据所述埋点数据生成与录屏视频相对应的视频的首帧时间及/或卡顿时间。

作为示例，可以生成如下格式的首帧时间及/或卡顿时间：

{"首帧时间"：xxx,"卡顿"：xxxx}。

本实施例中，通过根据数据库中获取的埋点数据生成首帧时间及/或卡顿时间，可以作为各种质量检测子服务生成的视频播放质量检测结果的参考数据，方便用户结合两者数据对播放器的视频播放质量进行评估。在一示例性的实施方式中，所述视频播放质量检测方法还包括：

在通过埋点数据生成所述卡顿时间或通过卡顿检测服务检测出卡顿时，则判定视频的播放过程中存在卡顿。

具体地，由于有些卡顿情况无法通过数据埋点的方式检测到，但是可以通过基于深度学习技术构造的卡顿检测服务检测到，因此，为了提高视频播放质量检测的准确性，可以在发现通过埋点的方式和通过卡顿检测服务的方式得到卡顿数据时，即可以判定视频的播放过程中存在卡顿情况。

在一示例性的实施方式中，所述视频播放质量检测方法还包括：

根据所述视频播放质量检测结果生成质量报告。

具体地，为了便于用户直观地了解播放器在播放视频时的视频播放质量情况，可以根据视频播放质量检测结果生成质量报告。

参阅图9所示，是本申请视频播放质量检测装置90一实施例的程序模块图。

本实施例中，所述视频播放质量检测装置90包括一系列的存储于存储器上的计算机程序指令，当该计算机程序指令被处理器执行时，可以实现本申请各实施例的视频播放质量检测功能。在一些实施例中，基于该计算机程序指令各部分所实现的特定的操作，视频播放质量检测装置90可以被划分为一个或多个模块。例如，在图8中，所述视频播放质量检测装置90可以被分割成接收模块91及调用模块92。其中：

接收模块91，用于接收用户上传的录屏视频；

调用模块92，用于调用至少一种质量检测子服务对所述录屏视频进行检测，并输出视频播放质量检测结果，其中，所述质量检测子服务包括首帧检测服务、卡顿检测服务、黑屏检测服务、花屏检测服务及音频视频同步检测服务中的至少一种。

在一示例性的实施方式中，视频播放质量检测装置90还包括获取模块。

所述获取模块，用于获取用户输入的至少一个参数，其中，不同的参数对应于不同的任务队列。

调用模块92，还用于根据所述至少一个参数确定对应的任务队列；及通过所述任务队列调用与所述任务队列相关联的质量检测子服务对所述录屏视频进行检测，并输出视频播放质量检测结果。

在一示例性的实施方式中，所述录屏视频包含播放阶段的视频帧和非播放阶段的视频帧，所述首帧检测服务对所述录屏视频进行检测包括：

采用预先训练好的录屏视频阶段识别模型对所述录屏视频的每一视频帧进行视频播放阶段识别，并输出播放阶段识别结果；

根据各个视频帧的识别结果与各个视频帧对应的时间戳确定所述录屏视频的首帧时间；

所述卡顿检测服务对所述录屏视频进行检测包括：

调用所述录屏视频阶段识别模型识别出所述录屏视频中处于非视频播放阶段的视频帧；

将所述非视频播放阶段的视频帧从所述录屏视频中删除，得到处于视频播放阶段的视频帧；

采用预设的多媒体视频处理工具中的卡顿滤镜对所述处于视频播放阶段的视频帧进行检测，以从中检测出出现卡顿的视频帧及对应的时间戳；

所述黑屏检测服务对所述录屏视频进行检测包括：

采用预先训练好的黑屏识别模型对所述录屏视频的每一视频帧进行黑屏识别，并输出黑屏识别结果；

所述花屏检测服务对所述录屏视频进行检测包括：

采用预先训练好的花屏识别模型对所述录屏视频的每一视频帧进行花屏识别，并输出花屏识别结果；

所述音频视频同步检测服务对所述录屏视频进行检测包括：

采用语音识别模型将所述录屏视频中包含的音频数据转换为文字；

采用预设的文字提取模型从所述音频数据对应的视频帧提取出视频帧中包含的字幕，并将所述字幕与所述文字进行比较，根据比较结果输出音视频同步结果。

在一示例性的实施方式中，所述将所述字幕与所述文字进行比较，根据比较结果输出音视频同步结果包括：

计算所述文字与所述字幕的相似度；

根据计算得到的相似度值输出音视频同步结果。

在一示例性的实施方式中，视频播放质量检测装置90还包括生成模块。

所述获取模块，还用于从预设的数据库中获取埋点数据，所述埋点数据为播放器在播放与录屏视频相对应的视频时由数据埋点所上报的数据。

所述生成模块，用于根据所述埋点数据生成与录屏视频相对应的视频的首帧时间及/或卡顿时间。

在一示例性的实施方式中，视频播放质量检测装置90还包括判定模块。

所述判定模块，用于在通过埋点数据生成所述卡顿时间或通过卡顿检测服务检测出卡顿时，则判定视频的播放过程中存在卡顿。

在一示例性的实施方式中，所述生成模块，还用于根据所述视频播放质量检测结果生成质量报告。

本申请实施例中，通过接收用户上传的录屏视频；调用至少一种质量检测子服务对所述录屏视频进行检测，并输出视频播放质量检测结果，其中，所述质量检测子服务包括首帧检测服务、卡顿检测服务、黑屏检测服务、花屏检测服务及音频视频同步检测服务中的至少一种。本申请实施例中通过对用户录制好的视频进行检测，从而可以检测出播放器在播放视频时是否出现卡顿，黑屏等质量问题，以及具体在哪出现了问题。由于本实施例属于对播放器进行事前检测，因此，本申请实施例可以提前发现播放器在播放视频中存在的各种播放质量问题，进而可以提前修复bug，使得用户后续可以拥有更好的观看体验。

图10示意性示出了根据本申请实施例的适于实现视频播放质量检测方法的计算机设备20的硬件架构示意图。本实施例中，计算机设备20是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。例如，可以是平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图10所示，计算机设备20至少包括但不限于：可通过系统总线相互通信链接存储器120、处理器121、网络接口123。其中：

存储器120至少包括一种类型的计算机可读存储介质，该可读存储介质可以是易失性的，也可以是非易失性的，具体而言，可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器120可以是计算机设备20的内部存储模块，例如该计算机设备20的硬盘或内存。在另一些实施例中，存储器120也可以是计算机设备20的外部存储设备，例如该计算机设备20上配备的插接式硬盘，智能存储卡(Smart Media Card，简称为SMC)，安全数字(Secure Digital，简称为SD)卡，闪存卡(Flash Card)等。当然，存储器120还可以既包括计算机设备20的内部存储模块也包括其外部存储设备。本实施例中，存储器120通常用于存储安装于计算机设备20的操作系统和各类应用软件，例如视频播放质量检测方法的程序代码等。此外，存储器120还可以用于暂时地存储已经输出或者将要输出的各类数据。

处理器121在一些实施例中可以是中央处理器(Central Processing Unit，简称为CPU)、控制器、微控制器、微处理器、或其它数据处理芯片。该处理器121通常用于控制计算机设备20的总体操作，例如执行与计算机设备20进行数据交互或者通信相关的控制和处理等。本实施例中，处理器121用于运行存储器120中存储的程序代码或者处理数据。

网络接口123可包括无线网络接口或有线网络接口，该网络接口123通常用于在计算机设备20与其它计算机设备之间建立通信链接。例如，网络接口123用于通过网络将计算机设备20与外部终端相连，在计算机设备20与外部终端之间的建立数据传输通道和通信链接等。网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(GlobalSystem of Mobile communication，简称为GSM)、宽带码分多址(Wideband Code DivisionMultiple Access，简称为WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。

需要指出的是，图10仅示出了具有部件120～122的计算机设备，但是应理解的是，并不要求实施所有示出的部件，可以替代的实施更多或者更少的部件。

在本实施例中，存储于存储器120中的视频播放质量检测方法可以被分割为一个或者多个程序模块，并由一个或多个处理器(本实施例为处理器121)所执行，以完成本申请。

本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质其上存储有计算机程序，计算机程序被处理器执行时实现实施例中的视频播放质量检测方法的步骤。

本实施例中，计算机可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，计算机可读存储介质可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，计算机可读存储介质也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card，简称为SMC)，安全数字(Secure Digital，简称为SD)卡，闪存卡(Flash Card)等。当然，计算机可读存储介质还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，计算机可读存储介质通常用于存储安装于计算机设备的操作系统和各类应用软件，例如实施例中的视频播放质量检测方法的程序代码等。此外，计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的各类数据。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到至少两个网络单元上。可以根据实际的需要筛选出其中的部分或者全部模块来实现本申请实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种视频播放质量检测方法，其特征在于，包括：

接收用户上传的录屏视频，录屏的视频为采用需要对视频播放质量进行检测的播放器所播放的；

调用至少一种质量检测子服务对所述录屏视频进行检测，并输出视频播放质量检测结果，其中，所述质量检测子服务包括首帧检测服务、卡顿检测服务及其它检测服务，所述其它检测服务包括黑屏检测服务、花屏检测服务及音频视频同步检测服务中的至少一种；

其中，所述录屏视频包含真实视频播放阶段的视频帧和非真实视频播放阶段的视频帧，所述真实视频播放阶段为播放器真正开始播放视频的阶段，所述非真实视频播放阶段包括播放器打开阶段及视频加载阶段，所述首帧检测服务对所述录屏视频进行检测包括：

采用预先训练好的录屏视频阶段识别模型对所述录屏视频的每一视频帧进行录屏视频阶段识别，并输出录屏视频阶段识别结果，所述录屏视频阶段包括非真实视频播放阶段和真实视频播放阶段；

根据各个视频帧的录屏视频阶段识别结果与各个视频帧对应的时间戳确定所述真实视频播放阶段的视频帧的首帧时间；

所述卡顿检测服务对所述录屏视频进行检测包括：

调用所述录屏视频阶段识别模型识别出所述录屏视频中处于非真实视频播放阶段的视频帧；

将所述非真实视频播放阶段的视频帧从所述录屏视频中删除，得到处于真实视频播放阶段的视频帧；

采用预设的多媒体视频处理工具中的卡顿滤镜对所述处于视频播放阶段的视频帧进行检测，以从中检测出出现卡顿的视频帧及对应的时间戳。

2.根据权利要求1所述的视频播放质量检测方法，其特征在于，视频播放质量检测方法还包括：

获取用户输入的至少一个参数，其中，不同的参数对应于不同的任务队列；

所述调用至少一种质量检测子服务对所述录屏视频进行检测，并输出检测结果包括：

根据所述至少一个参数确定对应的任务队列；

通过所述任务队列调用与所述任务队列相关联的质量检测子服务对所述录屏视频进行检测，并输出视频播放质量检测结果。

3.根据权利要求2所述的视频播放质量检测方法，其特征在于，所述黑屏检测服务对所述录屏视频进行检测包括：

采用预先训练好的黑屏识别模型对所述录屏视频的每一视频帧进行黑屏识别，并输出黑屏识别结果；

所述花屏检测服务对所述录屏视频进行检测包括：

采用预先训练好的花屏识别模型对所述录屏视频的每一视频帧进行花屏识别，并输出花屏识别结果；

所述音频视频同步检测服务对所述录屏视频进行检测包括：

采用语音识别模型将所述录屏视频中包含的音频数据转换为文字；

采用预设的文字提取模型从所述音频数据对应的视频帧提取出视频帧中包含的字幕，并将所述字幕与所述文字进行比较，根据比较结果输出音视频同步结果。

4.根据权利要求3所述的视频播放质量检测方法，其特征在于，所述将所述字幕与所述文字进行比较，根据比较结果输出音视频同步结果包括：

计算所述文字与所述字幕的相似度；

根据计算得到的相似度值输出音视频同步结果。

5.根据权利要求1所述的视频播放质量检测方法，其特征在于，所述视频播放质量检测方法还包括：

从预设的数据库中获取埋点数据，所述埋点数据为播放器在播放与录屏视频相对应的视频时由数据埋点所上报的数据；

根据所述埋点数据生成与录屏视频相对应的视频的首帧时间及/或卡顿时间。

6.根据权利要求5所述的视频播放质量检测方法，其特征在于，所述视频播放质量检测方法还包括：

在通过埋点数据生成所述卡顿时间或通过卡顿检测服务检测出卡顿时，则判定视频的播放过程中存在卡顿。

7.根据权利要求1至6任一项所述的视频播放质量检测方法，其特征在于，所述视频播放质量检测方法还包括：

根据所述视频播放质量检测结果生成质量报告。

8.一种视频播放质量检测装置，其特征在于，包括：

接收模块，用于接收用户上传的录屏视频，录屏的视频为采用需要对视频播放质量进行检测的播放器所播放的；

调用模块，用于调用至少一种质量检测子服务对所述录屏视频进行检测，并输出视频播放质量检测结果，其中，所述质量检测子服务包括首帧检测服务、卡顿检测服务及其它检测服务，所述其它检测服务包括黑屏检测服务、花屏检测服务或及频视频同步检测服务中的至少一种；

其中，所述录屏视频包含真实视频播放阶段的视频帧和非真实视频播放阶段的视频帧，所述真实视频播放阶段为播放器真正开始播放视频的阶段，所述非真实视频播放阶段包括播放器打开阶段及视频加载阶段，所述首帧检测服务对所述录屏视频进行检测包括：

采用预先训练好的录屏视频阶段识别模型对所述录屏视频的每一视频帧进行录屏视频阶段识别，并输出录屏视频阶段识别结果，所述录屏视频阶段包括非真实视频播放阶段和真实视频播放阶段；

根据各个视频帧的录屏视频阶段识别结果与各个视频帧对应的时间戳确定所述真实视频播放阶段的视频帧的首帧时间；

所述卡顿检测服务对所述录屏视频进行检测包括：

调用所述录屏视频阶段识别模型识别出所述录屏视频中处于非真实视频播放阶段的视频帧；

将所述非真实视频播放阶段的视频帧从所述录屏视频中删除，得到处于真实视频播放阶段的视频帧；

采用预设的多媒体视频处理工具中的卡顿滤镜对所述处于视频播放阶段的视频帧进行检测，以从中检测出出现卡顿的视频帧及对应的时间戳。

9.一种计算机设备，所述计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的视频播放质量检测方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至7任一项所述的视频播放质量检测方法的步骤。

Images