CN111277894A - 一种自动检测视频播放画面流畅性的方法 - Google Patents
一种自动检测视频播放画面流畅性的方法 Download PDFInfo
- Publication number
- CN111277894A CN111277894A CN202010135897.4A CN202010135897A CN111277894A CN 111277894 A CN111277894 A CN 111277894A CN 202010135897 A CN202010135897 A CN 202010135897A CN 111277894 A CN111277894 A CN 111277894A
- Authority
- CN
- China
- Prior art keywords
- frame rate
- playing
- fluency
- video
- pause
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000000605 extraction Methods 0.000 claims description 27
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 10
- 230000000903 blocking effect Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 3
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本发明提供了一种自动检测视频播放画面流畅性的方法，通过提前获取待测试片源的实时帧率信息，并作为基准帧率进行保存，然后在视频播放过程中采取实时检测视频解码器帧率的方式，提取并获得视频播放过程中的实时播放帧率信息，形成实际播放帧率数据，通过比对基准帧率与实际播放帧率的差异，自动获取到视频播放过程中画面卡顿、跳帧的实际时间点，从而实现视频播放画面流畅性的自动检测、统计与结论的上报。通过使用上述方法，实现了对消费电子产品的视频播放流畅性的自动化检测，提升了检测的准确率，又降低了人力成本。
Description
技术领域
本发明涉及图像检测技术领域，具体涉及一种自动检测视频播放画面流畅性的方法。
背景技术
视频播放功能是消费电子产品的核心功能之一，同时也是人们日常使用频率最高、使用时长最长的功能。
视频播放作为消费电子产品的核心功能与高频率使用的功能，其用户体验的好坏直接关系到消费类电子产品的口碑与市场，因此业内都非常关注视频播放的体验问题，其中关键的播放体验指标是播放的流畅性指标。播放的流畅性主要关注播放过程中有无画面卡顿现象、有无画面跳帧现象等，若出现卡顿、跳帧现象，必然导致视频播放画面整体不流畅，影响观影体验。
现有技术中，检测视频播放过程中是否存在卡顿、跳帧现象，以及卡顿、跳帧的频率，主要是采用人肉眼观看的方式来进行评判和记录，这种方式存在明显的弊端，其一，对于轻微卡顿和跳帧行为，人的肉眼感受不明显，不易觉察，导致判断不准确；其二，为了评判卡顿现象及其频率，需要安排人一直紧盯屏幕画面观看，人力消耗非常大，而且效率相当低下。这些技术问题都有碍于进一步提升视频播放的流畅性。
因此，为了进一步提升电子产品视频播放功能的用户体验，亟需一种能够自动、高精度检测视频播放画面流畅性的方法。
发明内容
鉴于此，为了解决现有检测视频播放画面流畅性方法中存在的效率低、准确性低，人力消耗大的技术问题，本发明提出了一种自动检测视频播放画面流畅性的方法。
本发明通过下述技术方案解决上述问题：一种自动检测视频播放画面流畅性的方法，包括以下步骤：
步骤a，基准帧率数据块生成；对于保存在本地存储介质上视频资源，采用专业的视频媒资分析工具，按帧率提取点获取到本地视频片源的实时帧率信息，并将此帧率信息数据进行保存存档，形成基准帧率数据块，所述帧率提取点的间隔时间由用户自定义；对于来源于网络的在线视频资源，用户基于内容方提供的编码信息和帧率，以及自身分析获取到的内容帧率信息，自定义设定一个片源的帧率区间作为基准帧率数据块；
步骤b，播放流畅性标准制定；用户指定若干个播放流畅性等级，并分别为每个等级设定对应的卡顿和/或跳帧的频率；
步骤c，实际播放帧率实时提取；在视频播放过程中，基于视频解码器，实时提取播放解码的帧率数值，并将帧率数据进行保存，生成实际播放帧率数据块；
步骤d，对比统计并输出结论；对实际播放帧率数据块与基准帧率数据块进行比对，并设定帧率误差区间，超出误差区间的提取点，识别为卡顿或者跳帧的异常点，通过对比，分别统计出卡顿和跳帧的次数，并计算得出卡顿和/或跳帧的频率，根据比对所述步骤b设定的播放流畅性等级，给出播放流畅性结论。
优选地，所述播放流畅性等级设定为三个，分别为流畅、轻微卡顿、卡顿。
优选地，实际播放帧率提取点的起始时间和提取间隔与基准帧率采集时的起始时间和提取间隔保持完全一致。
优选地，所述步骤d中的次数统计和频率计算在播放过程中实时进行。
优选地，所述步骤d中的次数统计和频率计算在播放结束后再进行。
优选地，所述帧率提取点的间隔时间为1秒。
本发明的有益效果是：通过本发明的方法，可以实现对消费电子产品的视频播放流畅性体验进行定量准确的检测，且整个检测过程自动化；一方面提升了画面流畅性检测的准确率，可以进行更细维度的流畅性检测，提升了对播放流畅性的质量把控，另外一方面，通过自动化检测方法，减少了人力资源的占用，降低了人力成本。
附图说明
图1为本发明提供的自动检测视频播放画面流畅性的方法的流程图。
具体实施方式
下面结合实施例对本发明作进一步地详细说明，但本发明的实施方式不限于此。
在本发明的实施例中，示例性地展示了一种自动检测视频播放画面流畅性的方法，通过预览等方式读取待测试片源的实时帧率信息，并作为基准帧率进行保存，然后在视频播放过程中采取实时检测视频解码器帧率的方式，提取并获得视频播放过程中的实时播放帧率信息，形成实际播放帧率数据，通过比对基准帧率与实际播放帧率的差异，自动获取到视频播放过程中画面卡顿、跳帧的实际时间点，并完成播放画面卡顿频率的自动统计，从而实现视频播放画面流畅性的自动检测与结论的上报。其流程图如图1所示。所述方法包括以下步骤：
步骤a，基准帧率数据块生成。根据片源的获取渠道不同，可以分成两种设立基准帧率数据块的方式：其一，对于保存在本地存储介质上视频资源，采用专业的视频媒资分析工具，按帧率提取点获取到本地视频片源的实时帧率信息，并将此帧率信息数据进行保存存档，形成基准帧率数据块；其二，对于来源于网络的在线视频资源，用户基于内容方提供的编码信息和帧率，以及自身分析获取到的内容帧率信息，自定义设定一个片源的帧率区间作为基准帧率数据块。其中，帧率提取点的间隔时间可以由用户自定义，比如1秒提取一个帧率数据值。基准帧率数据块可以是一个帧率数组，也可以是一个帧率区间范围，在实际的运行过程中由用户自行定义和区隔。
步骤b，播放流畅性标准制定。用户指定若干个播放流畅性等级，并分别为每个等级设定对应的卡顿、跳帧频率。示例性地，设定三个播放流畅性等级，分别为流畅、轻微卡顿、卡顿，其对应的卡顿、跳帧频率可以设定为：流畅，频率低于1次/30分钟；轻微卡顿，频率处于1次/30分钟和3次/30分钟之间；卡顿，频率大于3次/30分钟。其中频率可以是合并卡顿次数和跳帧次数后计算的统计数据，也可以是卡顿次数和跳帧次数分别计算的统计数据。
步骤c，实际播放帧率实时提取。在视频播放过程中，基于视频解码器，实时提取播放解码的帧率数值，并将帧率数据进行保存，生成实际播放帧率数据块。其中，实际播放帧率数据块可以为一个帧率数组，具体记录每一个帧率提取点的实际帧率值。同时，可以进一步设定，实际播放帧率提取点的起始时间和提取间隔与基准帧率采集时的起始时间和提取间隔保持完全一致。
步骤d，对比统计并输出结论。对实际播放帧率数据块与基准帧率数据块进行比对，并设定帧率误差区间，超出误差区间的提取点，识别为卡顿或者跳帧的异常点，通过对比，分别统计出卡顿和跳帧的次数，并计算卡顿和/或跳帧出现的频率，根据比对步骤b设定的播放流畅性等级，给出播放流畅性结论。其中，次数统计和频率统计可以在播放过程中实时进行，也可以在播放结束后再进行。进一步地，可以设定帧率提取的起始时间和采用间隔时间保持完全一致。同时，基于实际场景的诉求，可以合并统计卡顿和跳帧的频率数据，也可以分别单独统计卡顿频率和跳帧频率数据。
通过以上步骤，即可完成视频播放流畅性的自动检测和上报。
在另一实施例中，示例性地展示了自动检测本地存储视频资源播放流畅性的方法。
步骤a，基准帧率数据块生成；用户移动硬盘设备中保存有X电影资源一部，用户采用专业的视频媒资分析工具，提取并获得X电影的帧率信息，此帧率信息提取间隔为1秒，电影总时间为90分钟，总共5400个帧率提取点，从开始视频时间0开始计时，按照先后顺序，记录每个提取点的帧率信息，并保存为帧率数组，由此完成基准帧率数据块的生成。
步骤b，播放流畅性标准制定；用户指定三个播放流畅性等级，分别为流畅、轻微卡顿、卡顿，其对应的卡顿、跳帧频率设定为：流畅，频率低于1次/30分钟；轻微卡顿，频率处于1次/30分钟和3次/30分钟之间；卡顿，频率大于3次/30分钟。其中频率是合并卡顿次数和跳帧次数后计算的统计数据。
步骤c，实际播放帧率实时提取；X电影在播放过程中，播放设备后台基于视频解码器的日志输出信息，按照每秒提取一个帧率信息的频率，实时提取播放过程中的解码帧率数值，并将此实际播放帧率信息进行保存，生成实际播放帧率数据块，总共5400个帧率提取点数值。
步骤d，对比统计并输出结论；X电影视频播放结束后，对实际播放帧率数据块与基准帧率数据块进行比对，也就是5400个提取点帧率数据进行比对，并设定帧率误差区间为正负3帧，超出此误差区间则判断为卡顿或跳帧点，通过对比，统计得出本地测试播放的总卡顿、跳帧次数为2次，计算得出卡顿频率0.66次/30分钟，根据比对步骤b设定的播放流畅性等级，得出本次播放的流畅性为流畅。
由此，完成本地视频播放画面流畅性的自动检测全部过程。
在又一实施例中，示例性地展示了自动检测在线视频资源播放流畅性的方法。
步骤a，用户基于在线内容片源的帧率信息，统计得出在线视频平台的内容帧率都介于25到30帧之间，因此设定基准帧率数据块为[25,30]的统计区间。
步骤b，播放流畅性标准制定；用户指定三个播放流畅性等级，分别为流畅、轻微卡顿、卡顿，其对应的卡顿、跳帧频率设定为：流畅，频率低于1次/30分钟；轻微卡顿，频率处于1次/30分钟和3次/30分钟之间；卡顿，频率大于3次/30分钟。其中频率是合并卡顿次数和跳帧次数后计算的统计数据。
步骤c，实际播放帧率实时提取；用户点播X电影，该电影的总时长为90分钟，在电影播放过程中，播放设备后台基于视频解码器的日志输出信息，按照每秒提取一个帧率信息的频率，实时提取播放过程中的解码帧率数值，并将此实际播放帧率信息进行保存，生成实际播放帧率数据块，总共5400个帧率提取点数值。
步骤d，对比统计并输出结论；X电影视频播放结束后，对实际播放帧率数据块与基准帧率数据块进行比对，也就是将5400个提取点帧率数据与[25,30]统计区间进行比对，并设定帧率误差区间为正负1帧，超出此误差区间则判断为卡顿或跳帧点，通过对比，统计得出本地测试播放的总卡顿、跳帧次数为6次，计算得出卡顿频率2次/30分钟，根据比对步骤b设定的播放流畅性等级，得出本次播放的流畅性为轻微卡顿。
由此，完成在线视频播放画面流畅性的自动检测全部过程。
尽管这里参照本发明的解释性实施例对本发明进行了描述，上述实施例仅为本发明较佳的实施方式，本发明的实施方式并不受上述实施例的限制，应该理解，本领域技术人员可以设计出很多其他的修改和实施方式，这些修改和实施方式将落在本申请公开的原则范围和精神之内。
Claims (6)
1.一种自动检测视频播放画面流畅性的方法，包括以下步骤：
步骤a，基准帧率数据块生成；对于保存在本地存储介质上视频资源，采用专业的视频媒资分析工具，按帧率提取点获取到本地视频片源的实时帧率信息，并将此帧率信息数据进行保存存档，形成基准帧率数据块，所述帧率提取点的间隔时间由用户自定义；对于来源于网络的在线视频资源，用户基于内容方提供的编码信息和帧率，以及自身分析获取到的内容帧率信息，自定义设定一个片源的帧率区间作为基准帧率数据块；
步骤b，播放流畅性标准制定；用户指定若干个播放流畅性等级，并分别为每个等级设定对应的卡顿和/或跳帧的频率；
步骤c，实际播放帧率实时提取；在视频播放过程中，基于视频解码器，实时提取播放解码的帧率数值，并将帧率数据进行保存，生成实际播放帧率数据块；
步骤d，对比统计并输出结论；对实际播放帧率数据块与基准帧率数据块进行比对，并设定帧率误差区间，超出误差区间的提取点，识别为卡顿或者跳帧的异常点，通过对比，分别统计出卡顿和跳帧的次数，并计算得出卡顿和/或跳帧的频率，根据比对所述步骤b设定的播放流畅性等级，给出播放流畅性结论。
2.根据权利要求1所述的一种自动检测视频播放画面流畅性的方法，其特征在于，所述播放流畅性等级设定为三个，分别为流畅、轻微卡顿、卡顿。
3.根据权利要求1所述的一种自动检测视频播放画面流畅性的方法，其特征在于，实际播放帧率提取点的起始时间和提取间隔与基准帧率采集时的起始时间和提取间隔保持完全一致。
4.根据权利要求1所述的一种自动检测视频播放画面流畅性的方法，其特征在于，所述步骤d中的次数统计和频率计算在播放过程中实时进行。
5.根据权利要求1所述的一种自动检测视频播放画面流畅性的方法，其特征在于，所述步骤d中的次数统计和频率计算在播放结束后再进行。
6.根据权利要求1所述的一种自动检测视频播放画面流畅性的方法，其特征在于，所述帧率提取点的间隔时间为1秒。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010135897.4A CN111277894B (zh) | 2020-03-02 | 2020-03-02 | 一种自动检测视频播放画面流畅性的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010135897.4A CN111277894B (zh) | 2020-03-02 | 2020-03-02 | 一种自动检测视频播放画面流畅性的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111277894A true CN111277894A (zh) | 2020-06-12 |
| CN111277894B CN111277894B (zh) | 2021-08-27 |
Family
ID=70999280
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010135897.4A Active CN111277894B (zh) | 2020-03-02 | 2020-03-02 | 一种自动检测视频播放画面流畅性的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111277894B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1622395A1 (en) * | 2003-08-22 | 2006-02-01 | Nippon Telegraph and Telephone Corporation | Video quality evaluation device, video quality evaluation method, video quality evaluation program, video matching device, video matching method, and video matching program |
| WO2007129423A1 (ja) * | 2006-05-09 | 2007-11-15 | Nippon Telegraph And Telephone Corporation | 映像品質推定装置、方法、およびプログラム |
| CN106851341A (zh) * | 2015-12-04 | 2017-06-13 | 中国电信股份有限公司 | 用于测量网络视频传送质量的方法和移动终端 |
| CN106911927A (zh) * | 2015-12-23 | 2017-06-30 | 中国移动通信集团公司 | 评估网络视频用户体验质量的方法、装置和dpi设备 |
| CN107846585A (zh) * | 2016-09-18 | 2018-03-27 | 中兴通讯股份有限公司 | 一种视频播放流畅度检测方法和装置 |
| CN108347598A (zh) * | 2018-01-25 | 2018-07-31 | 晶晨半导体(上海)股份有限公司 | 一种音视频卡顿信息自动检测上报系统及方法 |
| US20180367817A1 (en) * | 2015-07-02 | 2018-12-20 | Dialogic Corporation | Reducing visible artifacts during playback of a video file for recorded real-time video communications |
| CN109753423A (zh) * | 2019-01-10 | 2019-05-14 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种评估卡顿程度的方法及装置 |
| CN110545451A (zh) * | 2018-05-29 | 2019-12-06 | 阿里巴巴集团控股有限公司 | 一种流媒体卡顿识别方法、服务器和系统 |
-
2020
- 2020-03-02 CN CN202010135897.4A patent/CN111277894B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1622395A1 (en) * | 2003-08-22 | 2006-02-01 | Nippon Telegraph and Telephone Corporation | Video quality evaluation device, video quality evaluation method, video quality evaluation program, video matching device, video matching method, and video matching program |
| WO2007129423A1 (ja) * | 2006-05-09 | 2007-11-15 | Nippon Telegraph And Telephone Corporation | 映像品質推定装置、方法、およびプログラム |
| US20180367817A1 (en) * | 2015-07-02 | 2018-12-20 | Dialogic Corporation | Reducing visible artifacts during playback of a video file for recorded real-time video communications |
| CN106851341A (zh) * | 2015-12-04 | 2017-06-13 | 中国电信股份有限公司 | 用于测量网络视频传送质量的方法和移动终端 |
| CN106911927A (zh) * | 2015-12-23 | 2017-06-30 | 中国移动通信集团公司 | 评估网络视频用户体验质量的方法、装置和dpi设备 |
| CN107846585A (zh) * | 2016-09-18 | 2018-03-27 | 中兴通讯股份有限公司 | 一种视频播放流畅度检测方法和装置 |
| CN108347598A (zh) * | 2018-01-25 | 2018-07-31 | 晶晨半导体(上海)股份有限公司 | 一种音视频卡顿信息自动检测上报系统及方法 |
| CN110545451A (zh) * | 2018-05-29 | 2019-12-06 | 阿里巴巴集团控股有限公司 | 一种流媒体卡顿识别方法、服务器和系统 |
| CN109753423A (zh) * | 2019-01-10 | 2019-05-14 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种评估卡顿程度的方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| T HAYASHI: "Video quality estimation model based on display size and resolution for audiovisual communication services", 《IEICE TECHNICAL COMMITTEE SUBMISSION SYSTEM CONFERENCE PAPER"S INFORMATION》 * |
| 郭闽年: "ITV用户感知质量检测诊断方法研究与实现", 《中国优秀硕士学位论文全文数据库》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111277894B (zh) | 2021-08-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ghadiyaram et al. | A subjective and objective study of stalling events in mobile streaming videos | |
| CN1161777C (zh) | 信息信号记录装置及重放装置 | |
| Bampis et al. | Study of temporal effects on subjective video quality of experience | |
| US8176523B2 (en) | Human factors based video compression | |
| CN101077014B (zh) | 用于监视来自各种源的音频/视觉内容的方法及装置 | |
| US8243143B2 (en) | Method and apparatus for generation of a video quality parameter | |
| US7214868B2 (en) | Acoustic signal processing apparatus and method, signal recording apparatus and method and program | |
| US7450752B2 (en) | System and method for automatic detection of the end of a video stream | |
| CN109831697B (zh) | 违规处理时长的检测方法及系统 | |
| CN105872760A (zh) | 一种视频播放监测方法及装置 | |
| CN110049373B (zh) | 机顶盒卡顿检测方法、系统及存储介质 | |
| CN102611863B (zh) | 动画记录重放装置 | |
| KR101327298B1 (ko) | 동화상 처리 장치, 섬네일 화상 생성 프로그램을 저장한 매체 및 섬네일 화상 생성 방법 | |
| US20090153735A1 (en) | Signal processor, signal processing method, program, and recording medium | |
| CN111277894B (zh) | 一种自动检测视频播放画面流畅性的方法 | |
| WO2010125757A1 (ja) | 映像音声再生装置、映像音声記録再生装置、映像音声再生方法、および映像音声記録再生方法 | |
| CN100496133C (zh) | 一种测试音视频编解码系统音视频失步的方法 | |
| CN101304478A (zh) | 图像质量调整装置、图像质量调整方法和程序 | |
| TW535442B (en) | Method and system for measuring the synchronous accuracy between video output and audio output of video encoding system | |
| CN116437068A (zh) | 一种唇音同步的测试方法、装置、电子设备和存储介质 | |
| US20220312079A1 (en) | Systems and methods to provide adaptive play settings | |
| KR101721224B1 (ko) | 실시간 영상 및 음성 왜곡 검출 방법 및 장치 | |
| EP3772856A1 (en) | Identification of the intro part of a video content | |
| CN116405622A (zh) | 一种基于数据分析的视频制作方法及处理系统 | |
| KR20230171149A (ko) | 주행 영상 기록 시스템의 성능 평가 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |