CN108347598B - 一种音视频卡顿信息自动检测上报系统及方法 - Google Patents

一种音视频卡顿信息自动检测上报系统及方法 Download PDF

Info

Publication number
CN108347598B
CN108347598B CN201810075052.3A CN201810075052A CN108347598B CN 108347598 B CN108347598 B CN 108347598B CN 201810075052 A CN201810075052 A CN 201810075052A CN 108347598 B CN108347598 B CN 108347598B
Authority
CN
China
Prior art keywords
audio
video
module
playing
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810075052.3A
Other languages
English (en)
Other versions
CN108347598A (zh
Inventor
夏寅力
曹志恒
孙吉伟
王成顺
张治忠
陈文杰
王亚楠
周君亮
王传奇
黄航
林圣阳
许航
吴悌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Amlogic Shanghai Co Ltd
Original Assignee
Amlogic Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Amlogic Shanghai Co Ltd filed Critical Amlogic Shanghai Co Ltd
Priority to CN201810075052.3A priority Critical patent/CN108347598B/zh
Publication of CN108347598A publication Critical patent/CN108347598A/zh
Application granted granted Critical
Publication of CN108347598B publication Critical patent/CN108347598B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/004Diagnosis, testing or measuring for television systems or their details for digital television systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4425Monitoring of client processing errors or hardware failure

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供一种视频卡顿信息自动检测上报系统,包括:定时器模块,用于在显示装置播放音视频数据时进行计时,以获得音视频数据对应的每一帧视频帧的播放时间数据;检测模块,用于对音视频数据进行处理得到理论播放帧率,以及用于接收播放时间数据并根据播放时间数据对音视频数据进行处理得到实际播放帧率,以及用于根据播放时间数据、理论播放帧率及实际播放帧率进行比对分析处理,以得到视频帧中的正确播放帧的播放信息和错误播放帧的卡顿信息。本发明的有益效果:在实际操作过程中方便、简单、快捷,大大的提高了音视频卡顿信息监测上报的效率;且视频帧数的统计精确,100%精准上报卡顿事件,能准确定位到卡顿的发生原因。

Description

一种音视频卡顿信息自动检测上报系统及方法
技术领域
本发明涉及多媒体技术领域,尤其涉及一种音视频卡顿信息自动 检测上报系统及方法。
背景技术
现有技术中,关于音视频卡顿信息的检测方法与检测装置主要集 中在网络数据分析、音视频内容下载分析等方面,而在音视频实时播 放检测方面还没有实现。例如:
采用在播放过程中将播放的音视频下载下来与预先存储的标准文 本信息比对的方法判断是否有卡顿;或
从音视频数据中分离出的视频数据,将预先存储的参考图像的图 像信息封装到视频数据中,得到封装后的视频数据,在指定区域内显 示封装后的视频数据过程中,采集图像数据,并记录图像数据的第一 采集时间,根据图像数据和图像数据的第一采集时间,确定播放的视 频是否卡顿;或
在视频播放器中设置计时器,当所述播放器开始解码视频时,同 时开启所述计时器,实时监控所述视频播放器的播放进度时刻和所述 计时器中的计时时刻,判断所述视频播放器是否发生了卡顿。
现有的关于音视频卡顿信息检测的技术方案主要是采用视频内容 下载分析等方法,每次检测还需要对原始的视频数据进行相应的采集 处理,然后再来播放进行比对,整个的系统在操作上都非常不便,并 且需要建立庞大的数据库来支撑,无法应对复杂多变的网络各方面的 实时数据信息。
在实际应用中,现有的音视频卡顿检测技术,并不能准确的上报 音视频卡顿的现象,例如:网络波动,缓冲数据少,在某些特定情况 下不会出现卡顿;在没有网络波动,缓冲数据足够的时候,视频也有 可能出现卡顿。
发明内容
针对现有技术中存在的问题,本发明涉及一种能够实时、准确进 行检测的音视频卡顿信息自动检测上报系统。
本发明采用如下技术方案:
一种视频卡顿信息自动检测上报系统,所述系统设置于机顶盒终 端,服务器通过网络传输向所述机顶盒终端发送音视频数据,所述机 顶盒终端将所述音视频数据发送到显示装置进行播放;所述视频卡顿 信息自动检测上报系统包括:
定时器模块,所述定时器模块用于在所述显示装置播放所述音视 频数据时进行计时,以获得所述音视频数据对应的每一帧视频帧的播 放时间数据;
检测模块,所述检测模块连接所述定时器模块,用于对所述音视 频数据进行处理得到理论播放帧率,以及用于接收所述播放时间数据 并根据所述播放时间数据对所述音视频数据进行处理得到实际播放 帧率,以及用于根据所述播放时间数据、所述理论播放帧率及所述实 际播放帧率进行比对分析处理,以得到所述视频帧中的正确播放帧的 播放信息和错误播放帧的卡顿信息;
所述卡顿信息包括错误播放镇的播放时间信息、卡顿时间信息以 及卡顿原因信息。
优选的,所述视频卡顿信息自动检测上报系统连接所述服务器、 所述机顶盒终端以及所述显示装置。
优选的,所述机顶盒终端将所述音视频数据发送到显示装置进行 播放前,对所述音视频数据进行转换处理;
所述机顶盒终端包括:
解扰解复用模块,所述解扰解复用模块用于接收所述服务器通过 网络传输的所述音视频数据,并对所述音视频数据的视频格式进行探 测和解析,以获得相应的音视频流;
音视频解码模块,所述音视频解码模块连接所述解扰解复用模块, 用于接收所述音视频流,并对所述音视频流进行音视频解码处理,以 得到解码后的所述音视频流;
播放器模块,所述播放器模块连接所述音视频解码模块,用于接 收解码后的所述音视频流并输出;
数据缓冲模块,所述数据缓冲模块连接所述播放模块,用于接收 解码后的所述音视频流并缓存至缓存池,所述显示模块从所述缓存池 中获取解码后的音视频流并作为转换处理后的所述音视频数据进行 播放,所述数据缓冲模块还用于通过对缓冲池中解码后的音视频流的 数据量和时间量进行处理,以判断所述显示装置是否正确播放所述音 视频数据并获得视频播放状态信息;
视频后处理模块,所述视频后处理模块用于在所述显示装置播放 所述音视频数据后对所述音视频数据进行视频播放后处理;
核心交互模块,所述核心交互模块连接所述播放器模块,用于作 为所述播放器模块底层应用程序编程接口及内核驱动控制接口的封 装,以实现所述播放器模块与底层的交互控制。
优选的,所述视频卡顿信息自动检测上报系统还包括:
自适应调整模块,所述自适应调整模块连接所述定时器模块和所 述检测模块,用于根据所述理论播放帧率、所述播放时间数据以及所 述实际播放帧率对所述实际播放帧率进行自适应计算处理,以得到帧 率调整值,以及用于根据所述帧率调整值对所述实际播放帧率进行调 整,以使所述实际播放帧率与所述理论播放帧率相同。
优选的,所述卡顿原因信息包括:
关联于网络传输波动的第一信息;以及
关联于音视频解码处理错误的第二信息;以及
关联于音视频数据自身的视频源文件错误的第三信息。
一种视频卡顿信息自动检测上报方法,所述方法适用于机顶盒终 端,服务器通过网络传输向所述机顶盒终端发送音视频数据,所述机 顶盒终端将所述音视频数据发送到显示装置进行播放,所述视频卡顿 信息自动检测上报系统设置于所述机顶盒终端,所述视频卡顿信息自 动检测上报方法包括:
步骤S1、采用一定时器模块,所述定时器模块在所述显示装置播 放所述音视频数据时进行计时,以获得所述音视频数据对应的每一帧 视频帧的播放时间数据;
步骤S2、采用一检测模块,所述检测模块连接所述定时器模块, 所述检测模块对所述音视频数据进行处理得到理论播放帧率,以及接 收所述播放时间数据并根据所述播放时间数据对所述音视频数据进 行处理得到实际播放帧率,以及根据所述播放时间数据、所述理论播 放帧率及所述实际播放帧率进行比对分析处理,以得到所述视频帧中 的正确播放帧的播放信息和错误播放帧的卡顿信息;
所述卡顿信息包括错误播放镇的播放时间信息、卡顿时间信息以 及卡顿原因信息。
优选的,所述视频卡顿信息自动检测上报系统连接所述服务器、 所述机顶盒终端以及所述显示装置。
优选的,所述机顶盒终端将所述音视频数据发送到显示装置进行 播放前,对所述音视频数据进行所述转换处理;
所述机顶盒终端接收所述音视频数据并进行所述转换处理后输出 的具体步骤包括:
步骤A1、采用一解扰解复用模块,所述解扰解复用模块接收所述 服务器通过网络传输的所述音视频数据,并对所述音视频数据的视频 格式进行探测和解析,以获得相应的音视频流;
步骤A2、采用一音视频解码模块,所述音视频解码模块连接所述 解扰解复用模块,接收所述音视频流,并对所述音视频流进行音视频 解码处理,以得到解码后的所述音视频流;
步骤A3、采用一播放器模块,所述播放器模块连接所述音视频解 码模块,接收解码后的所述音视频流并输出;
步骤A4、采用一数据缓冲模块,所述数据缓冲模块连接所述播放 模块,接收解码后的所述音视频流并缓存至缓存池,所述显示模块从 所述缓存池中获取解码后的音视频流并作为转换处理后的所述音视 频数据进行播放,所述数据缓冲模块还通过对缓冲池中解码后的音视 频流的数据量和时间量进行处理,以判断所述显示装置是否正确播放 所述音视频数据并获得视频播放状态信息;
步骤A5、采用一视频后处理模块,所述视频后处理模块在所述显 示装置播放所述音视频数据后对所述音视频数据进行视频播放后处 理;
所述步骤A1-A5中,采用一核心交互模块,所述核心交互模块连 接所述播放器模块,作为所述播放器模块底层应用程序编程接口及内 核驱动控制接口的封装,以实现所述播放器模块与底层的交互控制。
优选的,所述步骤S1-S2中,采用一自适应调整模块,所述自适 应调整模块连接所述定时器模块和所述检测模块,根据所述理论播放 帧率、所述播放时间数据以及所述实际播放帧率对所述实际播放帧率 进行自适应计算处理,以得到帧率调整值,以及根据所述帧率调整值 对所述实际播放帧率进行调整,以使所述实际播放帧率与所述理论播 放帧率相同。
优选的,所述卡顿原因信息包括:
关联于网络传输波动的第一信息;以及
关联于音视频解码处理错误的第二信息;以及
关联于音视频数据自身的视频源文件错误的第三信息。
本发明的有益效果:本发明通过实时监控,在音视频播放过程中 进行实时监测,以计算卡顿信息并上报,不需要将原始数据下载,也 不需要建立比对的数据库,在实际操作过程中方便、简单、快捷,大 大的提高了音视频卡顿信息监测上报的效率;且视频帧数的统计精 确,100%精准上报卡顿事件,能准确定位到卡顿的发生原因。
附图说明
图1为本发明的一种优选实施例中,音视频输出传输的示意图;
图2为本发明的一种优选实施例中,视频卡顿信息自动检测上报 系统的功能模块示意图;
图3为本发明的一种优选实施例中,机顶盒终端的功能模块示意 图;
图4为本发明的一种优选实施例中,视频卡顿信息自动检测上报 方法的流程图;
图5为本发明的一种优选实施例中,所述机顶盒终端接收所述音 视频数据并进行所述转换处理后输出的方法流程图。
具体实施方式
需要说明的是,在不冲突的情况下,下述技术方案,技术特征之 间可以相互组合。
下面结合附图对本发明的具体实施方式作进一步的说明:
如图1-2所示,一种视频卡顿信息自动检测上报系统,上述系统 设置于机顶盒终端3,服务器1通过网络传输(图1中的网络传输装 置2用于提供网络传输服务)向上述机顶盒终端3发送音视频数据, 上述机顶盒终端3将上述音视频数据发送到显示装置4进行播放;上 述视频卡顿信息自动检测上报系统包括:
定时器模块5,上述定时器模块5用于在上述显示装置4播放上 述音视频数据时进行计时,以获得上述音视频数据对应的每一帧视频 帧的播放时间数据;
检测模块6,上述检测模块6连接上述定时器模块5,用于对上述 音视频数据进行处理得到理论播放帧率,以及用于接收上述播放时间 数据并根据上述播放时间数据对上述音视频数据进行处理得到实际 播放帧率,以及用于根据上述播放时间数据、上述理论播放帧率及上 述实际播放帧率进行比对分析处理,以得到上述视频帧中的正确播放 帧的播放信息和错误播放帧的卡顿信息;
上述卡顿信息包括错误播放镇的播放时间信息、卡顿时间信息以 及卡顿原因信息。
在本实施例中,在不同的输入输出帧率的基础上(输入帧率为该 音视频数据在显示装置4上播放对应的理论播放帧率,输出帧率为该 音视频数据在显示装置4上播放时的实际播放帧率,实际播放帧率由 检测模块6进行实时监测),能够实时检测视频卡顿的相关信息,并 将错误播放帧的帧数精确到每帧数据和错误帧卡顿时间,从而不会产 生任何误报,让正确播放帧数和错误播放帧数一目了然,可以判断出 具体卡顿出错的原因,是服务器1原因导致,还是解码等原因导致, 还是视频源文件错误导致,从而给及时纠正错误提供相应的数据信 息。
通过定时器模块5和检测模块6实时监控音视频数据播放,以计 算卡顿信息并上报,不需要将原始数据下载,也不需要建立比对的数 据库,在实际操作过程中方便、简单、快捷,大大的提高了音视频卡 顿信息监测上报的效率;且视频帧数的统计精确,100%精准上报卡 顿事件,能准确定位到卡顿的发生原因。
较佳的实施例中,上述视频卡顿信息自动检测上报系统连接上述 服务器1、上述机顶盒终端3以及上述显示装置4。
在本实施例中,显示装置4可以是能够播放音视频数据的本领域 技术人员常用的装置,例如,显示器和电视。服务器1传输的音视频 播放数据经过机顶盒终端3进行转换处理后传输给显示装置4进行播 放,检测人员从显示装置4上可以直观的发现音视频数据播放是的卡 顿状况,而视频卡顿信息自动检测上报系统则是通过实时检测获得卡 顿信息,从而根据卡顿信息处理得到原因。
如图3所示,较佳的实施例中,上述机顶盒终端3将上述音视频 数据发送到显示装置4进行播放前,对上述音视频数据进行转换处 理;
上述机顶盒终端3包括:
解扰解复用模块8(demux模块),上述解扰解复用模块8用于接 收上述服务器1通过网络传输的上述音视频数据,并对上述音视频数 据的视频格式进行探测和解析,以获得相应的音视频流;
音视频解码模块9,上述音视频解码模块9连接上述解扰解复用 模块8,用于接收上述音视频流,并对上述音视频流进行音视频解码 处理,以得到解码后的上述音视频流;
播放器模块10(player模块),上述播放器模块10连接上述音视 频解码模块9,用于接收解码后的上述音视频流并输出;
数据缓冲模块11,上述数据缓冲模块11连接上述播放模块,用 于接收解码后的上述音视频流并缓存至缓存池,上述显示模块从上述 缓存池中获取解码后的音视频流并作为转换处理后的上述音视频数 据进行播放,上述数据缓冲模块11还用于通过对缓冲池中解码后的 音视频流的数据量和时间量进行处理,以判断上述显示装置4是否正 确播放上述音视频数据并获得视频播放状态信息;
视频后处理模块13(video post-processing模块),上述视频后 处理模块13用于在上述显示装置4播放上述音视频数据后对上述音 视频数据进行视频播放后处理;
核心交互模块12(kernel交互模块),上述核心交互模块12连接 上述播放器模块10,用于作为上述播放器模块10底层应用程序编程 接口及内核驱动控制接口的封装,以实现上述播放器模块10与底层 的交互控制。
在本实施例中,demux模块对上层传给player模块的视频进行视 频格式的探测以及解析,获取相应的音视频流(stream buffer);音 频解码模块完成音频解码控制;player模块根据demux模块传输的 音视频流进行播放;数据缓冲模块11具有数据缓冲池,可以通过缓 冲池中的stream buffer数据量和时间量判断数据缓冲量,从而对视 频播放状态进行判断;视频后处理模块13(video post-processing 模块)完成视频播放后处理;kernel交互模块为播放器底层API接口, 内核驱动(driver)控制接口的封装,实现player模块与底层的交互 控制。
统计每秒播放的帧数,包含正确播放帧的帧数和错误播放帧帧数, 存入缓冲池等待处理后拿数据。
如图3所示,较佳的实施例中,上述视频卡顿信息自动检测上报 系统还包括:
自适应调整模块7,上述自适应调整模块7连接上述定时器模块5 和上述检测模块6,用于根据上述理论播放帧率、上述播放时间数据 以及上述实际播放帧率对上述实际播放帧率进行自适应计算处理,以 得到帧率调整值,以及用于根据上述帧率调整值对上述实际播放帧率 进行调整,以使上述实际播放帧率与上述理论播放帧率相同。
在本实施例中,上述视频卡顿信息自动检测上报系统主要工作流 程为打开数据信息统计开关(图中未示出),显示装置4播放上述音 视频数据,视频卡顿信息自动检测上报系统同时会计算播放视频的输 入帧率(理论播放帧率)和电视机的输出帧率(实际播放帧率),并 通过自适应调整模块7做出自适应计算。
音视频数据在显示装置4上播放的过程中,自适应调整模块7实 时地对上述实际播放帧率进行调整,同时,上述视频卡顿信息自动检 测上报系统也实时地在获取上述实际播放帧率并进行与卡顿信息获 取相关的计算。
较佳的实施例中,上述卡顿原因信息包括:
关联于网络传输波动的第一信息;以及
关联于音视频解码处理错误的第二信息;以及
关联于音视频数据自身的视频源文件错误的第三信息。
在本实施例中,一般存在三种情况导致视频卡顿:网络波动造成 的卡顿;视频解码错误造成的卡顿;视频源文件错误造成的卡顿。视 频卡顿信息自动检测上报系统,针对机顶盒终端3产品实时监测卡顿 信息,对错误播放帧导致的卡顿进行分类统计并对导致卡顿的原因进 行判断,从而起到对网络波动及服务器1数据传输不稳定性的实时监 测。
如图4所示,一种视频卡顿信息自动检测上报方法,上述方法适 用于机顶盒终端3,服务器1通过网络传输向上述机顶盒终端3发送 音视频数据,上述机顶盒终端3将上述音视频数据发送到显示装置4 进行播放,上述视频卡顿信息自动检测上报系统设置于上述机顶盒终 端3,上述视频卡顿信息自动检测上报方法包括:
步骤S1、采用一定时器模块5,上述定时器模块5在上述显示装 置4播放上述音视频数据时进行计时,以获得上述音视频数据对应的 每一帧视频帧的播放时间数据;
步骤S2、采用一检测模块6,上述检测模块6连接上述定时器模 块5,上述检测模块6对上述音视频数据进行处理得到理论播放帧率, 以及接收上述播放时间数据并根据上述播放时间数据对上述音视频 数据进行处理得到实际播放帧率,以及根据上述播放时间数据、上述 理论播放帧率及上述实际播放帧率进行比对分析处理,以得到上述视 频帧中的正确播放帧的播放信息和错误播放帧的卡顿信息;
上述卡顿信息包括错误播放镇的播放时间信息、卡顿时间信息以 及卡顿原因信息。
较佳的实施例中,上述视频卡顿信息自动检测上报系统连接上述 服务器1、上述机顶盒终端3以及上述显示装置4。
如图5所示,较佳的实施例中,上述机顶盒终端3将上述音视频 数据发送到显示装置4进行播放前,对上述音视频数据进行上述转换 处理;
上述机顶盒终端3接收上述音视频数据并进行上述转换处理后输 出的具体步骤包括:
步骤A1、采用一解扰解复用模块8,上述解扰解复用模块8接收 上述服务器1通过网络传输的上述音视频数据,并对上述音视频数据 的视频格式进行探测和解析,以获得相应的音视频流;
步骤A2、采用一音视频解码模块9,上述音视频解码模块9连接 上述解扰解复用模块8,接收上述音视频流,并对上述音视频流进行 音视频解码处理,以得到解码后的上述音视频流;
步骤A3、采用一播放器模块10,上述播放器模块10连接上述音 视频解码模块9,接收解码后的上述音视频流并输出;
步骤A4、采用一数据缓冲模块11,上述数据缓冲模块11连接上 述播放模块,接收解码后的上述音视频流并缓存至缓存池,上述显示 模块从上述缓存池中获取解码后的音视频流并作为转换处理后的上 述音视频数据进行播放,上述数据缓冲模块11还通过对缓冲池中解 码后的音视频流的数据量和时间量进行处理,以判断上述显示装置4 是否正确播放上述音视频数据并获得视频播放状态信息;
步骤A5、采用一视频后处理模块13,上述视频后处理模块13在 上述显示装置4播放上述音视频数据后对上述音视频数据进行视频 播放后处理;
上述步骤A1-A5中,采用一核心交互模块12,上述核心交互模块 12连接上述播放器模块10,作为上述播放器模块10底层应用程序 编程接口及内核驱动控制接口的封装,以实现上述播放器模块10与 底层的交互控制。
如图4所示,较佳的实施例中,上述步骤S1-S2中,采用一自适 应调整模块7,上述自适应调整模块7连接上述定时器模块5和上述 检测模块6,根据上述理论播放帧率、上述播放时间数据以及上述实 际播放帧率对上述实际播放帧率进行自适应计算处理,以得到帧率调 整值,以及根据上述帧率调整值对上述实际播放帧率进行调整,以使 上述实际播放帧率与上述理论播放帧率相同。
通过说明和附图,给出了具体实施方式的特定结构的典型实施例, 根据本发明精神,还可作其他的转换。尽管上述发明提出了现有的较 佳实施例,然而,这些内容并不作为局限。
对于本领域的技术人员而言,阅读上述说明后,各种变化和修正 无疑将显而易见。因此,所附的权利要求书应看作是涵盖本发明的真 实意图和范围的全部变化和修正。在权利要求书范围内任何和所有等 价的范围与内容,都应认为仍属本发明的意图和范围内。

Claims (3)

1.一种视频卡顿信息自动检测上报系统,其特征在于,所述系统设置于机顶盒终端,服务器通过网络传输向所述机顶盒终端发送音视频数据,所述机顶盒终端将所述音视频数据发送到显示装置进行播放;所述视频卡顿信息自动检测上报系统包括:
定时器模块,所述定时器模块用于在所述显示装置播放所述音视频数据时进行计时,以获得所述音视频数据对应的每一帧视频帧的播放时间数据;
检测模块,所述检测模块连接所述定时器模块,用于对所述音视频数据进行处理得到理论播放帧率,以及用于接收所述播放时间数据并根据所述播放时间数据对所述音视频数据进行处理得到实际播放帧率,以及用于根据所述播放时间数据、所述理论播放帧率及所述实际播放帧率进行比对分析处理,以得到所述视频帧中的正确播放帧的播放信息和错误播放帧的卡顿信息;
所述卡顿信息包括错误播放帧的播放时间信息、卡顿时间信息以及卡顿原因信息;
所述机顶盒终端将所述音视频数据发送到显示装置进行播放前,对所述音视频数据进行转换处理;
所述机顶盒终端包括:
解扰解复用模块,所述解扰解复用模块用于接收所述服务器通过网络传输的所述音视频数据,并对所述音视频数据的视频格式进行探测和解析,以获得相应的音视频流;
音视频解码模块,所述音视频解码模块连接所述解扰解复用模块,用于接收所述音视频流,并对所述音视频流进行音视频解码处理,以得到解码后的所述音视频流;
播放器模块,所述播放器模块连接所述音视频解码模块,用于接收解码后的所述音视频流并输出;
数据缓冲模块,所述数据缓冲模块连接播放器 模块,用于接收解码后的所述音视频流并缓存至缓存池,显示模块从所述缓存池中获取解码后的音视频流并作为转换处理后的所述音视频数据进行播放,所述数据缓冲模块还用于通过对缓冲池中解码后的音视频流的数据量和时间量进行处理,以判断所述显示装置是否正确播放所述音视频数据并获得视频播放状态信息;
视频后处理模块,所述视频后处理模块用于在所述显示装置播放所述音视频数据后对所述音视频数据进行视频播放后处理;
核心交互模块,所述核心交互模块连接所述播放器模块,用于作为所述播放器模块底层应用程序编程接口及内核驱动控制接口的封装,以实现所述播放器模块与底层的交互控制;
所述视频卡顿信息自动检测上报系统还包括:
自适应调整模块,所述自适应调整模块连接所述定时器模块和所述检测模块,用于根据所述理论播放帧率、所述播放时间数据以及所述实际播放帧率对所述实际播放帧率进行自适应计算处理,以得到帧率调整值,以及用于根据所述帧率调整值对所述实际播放帧率进行调整,以使所述实际播放帧率与所述理论播放帧率相同;
所述卡顿原因信息包括:
关联于网络传输波动的第一信息;以及
关联于音视频解码处理错误的第二信息;以及
关联于音视频数据自身的视频源文件错误的第三信息。
2.根据权利要求1所述的视频卡顿信息自动检测上报系统,其特征在于,所述视频卡顿信息自动检测上报系统连接所述服务器、所述机顶盒终端以及所述显示装置。
3.一种采用如权利要求1所述视频卡顿信息自动检测上报系统的视频卡顿信息自动检测上报方法,其特征在于,所述方法适用于机顶盒终端,服务器通过网络传输向所述机顶盒终端发送音视频数据,所述机顶盒终端将所述音视频数据发送到显示装置进行播放,视频卡顿信息自动检测上报系统设置于所述机顶盒终端,所述视频卡顿信息自动检测上报方法包括:
步骤S1、采用一定时器模块,所述定时器模块在所述显示装置播放所述音视频数据时进行计时,以获得所述音视频数据对应的每一帧视频帧的播放时间数据;
步骤S2、采用一检测模块,所述检测模块连接所述定时器模块,所述检测模块对所述音视频数据进行处理得到理论播放帧率,以及接收所述播放时间数据并根据所述播放时间数据对所述音视频数据进行处理得到实际播放帧率,以及根据所述播放时间数据、所述理论播放帧率及所述实际播放帧率进行比对分析处理,以得到所述视频帧中的正确播放帧的播放信息和错误播放帧的卡顿信息;
所述卡顿信息包括错误播放帧的播放时间信息、卡顿时间信息以及卡顿原因信息;
所述视频卡顿信息自动检测上报系统连接所述服务器、所述机顶盒终端以及所述显示装置;
所述机顶盒终端将所述音视频数据发送到显示装置进行播放前,对所述音视频数据进行转换处理;
所述机顶盒终端接收所述音视频数据并进行所述转换处理后输出的具体步骤包括:
步骤A1、采用一解扰解复用模块,所述解扰解复用模块接收所述服务器通过网络传输的所述音视频数据,并对所述音视频数据的视频格式进行探测和解析,以获得相应的音视频流;
步骤A2、采用一音视频解码模块,所述音视频解码模块连接所述解扰解复用模块,接收所述音视频流,并对所述音视频流进行音视频解码处理,以得到解码后的所述音视频流;
步骤A3、采用一播放器模块,所述播放器模块连接所述音视频解码模块,接收解码后的所述音视频流并输出;
步骤A4、采用一数据缓冲模块,所述数据缓冲模块连接播放器 模块,接收解码后的所述音视频流并缓存至缓存池,显示模块从所述缓存池中获取解码后的音视频流并作为转换处理后的所述音视频数据进行播放,所述数据缓冲模块还通过对缓冲池中解码后的音视频流的数据量和时间量进行处理,以判断所述显示装置是否正确播放所述音视频数据并获得视频播放状态信息;
步骤A5、采用一视频后处理模块,所述视频后处理模块在所述显示装置播放所述音视频数据后对所述音视频数据进行视频播放后处理;
所述步骤A1-A5中,采用一核心交互模块,所述核心交互模块连接所述播放器模块,作为所述播放器模块底层应用程序编程接口及内核驱动控制接口的封装,以实现所述播放器模块与底层的交互控制;
所述步骤S1-S2中,采用一自适应调整模块,所述自适应调整模块连接所述定时器模块和所述检测模块,根据所述理论播放帧率、所述播放时间数据以及所述实际播放帧率对所述实际播放帧率进行自适应计算处理,以得到帧率调整值,以及根据所述帧率调整值对所述实际播放帧率进行调整,以使所述实际播放帧率与所述理论播放帧率相同;
所述卡顿原因信息包括:
关联于网络传输波动的第一信息;以及
关联于音视频解码处理错误的第二信息;以及
关联于音视频数据自身的视频源文件错误的第三信息。
CN201810075052.3A 2018-01-25 2018-01-25 一种音视频卡顿信息自动检测上报系统及方法 Active CN108347598B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810075052.3A CN108347598B (zh) 2018-01-25 2018-01-25 一种音视频卡顿信息自动检测上报系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810075052.3A CN108347598B (zh) 2018-01-25 2018-01-25 一种音视频卡顿信息自动检测上报系统及方法

Publications (2)

Publication Number Publication Date
CN108347598A CN108347598A (zh) 2018-07-31
CN108347598B true CN108347598B (zh) 2021-03-09

Family

ID=62960940

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810075052.3A Active CN108347598B (zh) 2018-01-25 2018-01-25 一种音视频卡顿信息自动检测上报系统及方法

Country Status (1)

Country Link
CN (1) CN108347598B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111083465B (zh) * 2018-10-22 2021-08-31 中国电信股份有限公司 视频卡顿分析方法、装置和系统、用户终端和存储介质
CN111131808B (zh) * 2018-10-30 2021-08-31 中国电信股份有限公司 视频卡顿故障分析方法、装置和机顶盒
CN111182352B (zh) * 2018-11-09 2022-06-14 浙江宇视科技有限公司 一种视频播放的自适应码流控制装置及方法
CN111327964B (zh) * 2018-12-17 2022-11-25 中国移动通信集团北京有限公司 一种定位视频播放卡顿的方法及设备
CN110049373B (zh) * 2019-04-29 2021-04-06 宜通世纪科技股份有限公司 机顶盒卡顿检测方法、系统及存储介质
CN112995702B (zh) * 2019-12-16 2023-09-15 天翼数字生活科技有限公司 基于质量监测探针判断视频卡顿的方法及系统
CN111131903A (zh) * 2019-12-24 2020-05-08 中国电信股份有限公司云南分公司 Iptv高清视频业务用户卡顿监测及实时优化方法
CN111277894B (zh) * 2020-03-02 2021-08-27 四川长虹电器股份有限公司 一种自动检测视频播放画面流畅性的方法
CN112073714A (zh) * 2020-09-09 2020-12-11 福建新大陆软件工程有限公司 视频播放质量自动检测方法、装置、设备及可读存储介质
CN112261429A (zh) * 2020-10-21 2021-01-22 北华大学 无卡顿智能终端直播应用系统、方法、设备及存储介质
CN112423096B (zh) * 2020-11-03 2022-10-04 上海哔哩哔哩科技有限公司 播放优化方法及系统
CN113179397B (zh) * 2020-11-17 2024-07-23 北京路安世纪文化发展有限公司 一种基于5g的电视信号监测方法
CN115484454B (zh) * 2022-09-09 2023-07-04 深圳健路网络科技有限责任公司 一种非root手机获取视频卡顿的检测方法及装置
CN118488269A (zh) * 2023-11-22 2024-08-13 荣耀终端有限公司 一种视频处理方法及电子设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101370097A (zh) * 2008-09-05 2009-02-18 深圳创维数字技术股份有限公司 数字电视机顶盒、电视视频画面截取装置及方法
CN104375912B (zh) * 2014-11-28 2017-09-15 广东欧珀移动通信有限公司 移动终端卡顿的测量方法与装置
CN105761255B (zh) * 2016-02-04 2019-01-25 网易(杭州)网络有限公司 游戏画面卡顿测试方法及装置
CN106095363B (zh) * 2016-06-03 2019-04-26 Oppo广东移动通信有限公司 一种终端卡顿的改善方法、装置以及终端
CN106375755B (zh) * 2016-08-31 2018-12-28 福建省天奕网络科技有限公司 一种视频数据卡顿检测方法及系统
CN106791956B (zh) * 2016-11-25 2020-01-21 百度在线网络技术(北京)有限公司 网络直播卡顿的处理方法及装置
CN106658188A (zh) * 2016-12-20 2017-05-10 天脉聚源(北京)传媒科技有限公司 一种智能监测视频卡顿的方法及装置

Also Published As

Publication number Publication date
CN108347598A (zh) 2018-07-31

Similar Documents

Publication Publication Date Title
CN108347598B (zh) 一种音视频卡顿信息自动检测上报系统及方法
US7707485B2 (en) System and method for dynamic transrating based on content
US8842974B2 (en) Content transmission apparatus, content transmission method, content reproduction apparatus, content reproduction method, program, and content delivery system
CN102263959B (zh) 直播中转方法和系统
EP2244208B1 (en) Methods and apparatus for identifying primary media content in a post-production media content presentation
EP2916557A1 (en) Display apparatus and control method thereof
US20120206318A1 (en) Locating and displaying method upon a specific video region of a computer screen
US20160066055A1 (en) Method and system for automatically adding subtitles to streaming media content
US8949123B2 (en) Display apparatus and voice conversion method thereof
US11778285B2 (en) Computing system with channel-change-based trigger feature
US10116770B2 (en) Image processing apparatus based on open platform and protocol conversion method used for the same
CN111182352A (zh) 一种视频播放的自适应码流控制装置及方法
US9955234B2 (en) Image reception apparatus, parameter setting method, and additional information displaying system including a calibration operation
WO2021105552A8 (en) A method, an apparatus and a computer program product for video encoding and video decoding
CN111400047A (zh) 通过云边协同从监控视频流中进行人脸检测和识别的方法
CN102790904A (zh) 集成多画面数字视频监测方法和系统
CN113141525B (zh) 一种在线视频断流续播方法及系统
US20120294594A1 (en) Audio-video synchronization method and audio-video synchronization module for performing audio-video synchronization by referring to indication information indicative of motion magnitude of current video frame
US10726269B2 (en) Aligning advertisements in video streams
KR101849092B1 (ko) 실시간 영상 서비스의 화면깨짐 검출방법 및 그를 위한 장치
US7561622B2 (en) Video analyzer and video error detector
WO2005057322A2 (en) Methods and apparatus for detecting a television channel change event
US11908340B2 (en) Magnification enhancement of video for visually impaired viewers
CN111182049A (zh) 一种基于文件分析的分布式转码方法
CN115278258A (zh) 一种音视频数据处理方法、装置、终端及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant