CN113660483A - 一种视频播放质量的实时监控方法、装置和计算机设备 - Google Patents

一种视频播放质量的实时监控方法、装置和计算机设备 Download PDF

Info

Publication number
CN113660483A
CN113660483A CN202110897981.4A CN202110897981A CN113660483A CN 113660483 A CN113660483 A CN 113660483A CN 202110897981 A CN202110897981 A CN 202110897981A CN 113660483 A CN113660483 A CN 113660483A
Authority
CN
China
Prior art keywords
playing
video
abnormal
picture
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110897981.4A
Other languages
English (en)
Inventor
陈慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Feixun Digital Technology Co ltd
Original Assignee
Beijing Feixun Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Feixun Digital Technology Co ltd filed Critical Beijing Feixun Digital Technology Co ltd
Priority to CN202110897981.4A priority Critical patent/CN113660483A/zh
Publication of CN113660483A publication Critical patent/CN113660483A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/004Diagnosis, testing or measuring for television systems or their details for digital television systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk

Abstract

本发明实施例公开了一种视频播放质量的实时监控方法、装置和计算机设备。一种视频播放质量的实时监控方法,包括:在使用播放设备播放至少一个监控视频的过程中,通过图像采集设备实时采集目标监控视频的视频播放画面;根据采集得到的每个视频播放画面的单画面图像特征,和/或的多个连续视频播放画面的关联画面特征,对所述目标监控视频进行异常播放检测;生成与异常播放检测结果匹配的异常播放描述信息,并向视频监控方发送所述异常播放描述信息。本实施例的技术方案,通过使用图像采集设备对视频播放画面进行实时监控,达到了提高视频播放质量实时监控的效率与精度的效果。

Description

一种视频播放质量的实时监控方法、装置和计算机设备
技术领域
本发明实施例涉及媒体通信领域,尤其涉及一种视频播放质量的实时监控方法、装置和计算机设备。
背景技术
随着视频媒体通信的不断发展,对视频播放质量的监控也越来越普遍。现有技术中,对视频播放质量的监控主要依靠两种方法:工作人员坐在电脑前实时进行判断的方法以及获取视频流然后依据视频流检测异常视频帧的方法。
发明人在实现本发明的过程中,发现现有技术存在如下缺陷:在长时间的视频质量监控过程中,工作人员很难不间断地集中注意力观察视频情况,获取视频流后对视频流进行检测只能判断视频本身是否存在问题,无法同时判断视频在播放器内的实际播放状态。
发明内容
本发明实施例提供了一种视频播放质量的实时监控方法、装置和计算机设备,以提供一种自动监控视频播放质量,并自动上报视频播放异常的新技术,提高视频播放质量实时监控的效率与精度。
第一方面,本发明实施例提供了一种视频播放质量的实时监控方法,包括:
在使用播放设备播放至少一个监控视频的过程中,通过图像采集设备实时采集目标监控视频的视频播放画面;
根据采集得到的每个视频播放画面的单画面图像特征,和/或的多个连续视频播放画面的关联画面特征,对所述目标监控视频进行异常播放检测;
生成与异常播放检测结果匹配的异常播放描述信息,并向视频监控方发送所述异常播放描述信息。
第二方面,本发明实施例还提供了一种视频播放质量的实时监控装置,包括:
视频播放画面采集模块,用于在使用播放设备播放至少一个监控视频的过程中,通过图像采集设备实时采集目标监控视频的视频播放画面;
异常播放检测模块,用于根据采集得到的每个视频播放画面的单画面图像特征,和/或的多个连续视频播放画面的关联画面特征,对所述目标监控视频进行异常播放检测;
异常播放描述信息发送模块,用于生成与异常播放检测结果匹配的异常播放描述信息,并向视频监控方发送所述异常播放描述信息。
第三方面,本发明实施例还提供了一种计算机设备,所述计算机设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现实施例中任一所述的视频播放质量的实时监控方法。
第四方面,本发明实施例还提供了一种计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现如实施例中任一所述的视频播放质量的实时监控方法。
本实施例的技术方案,通过使用图像采集设备对视频播放画面进行实时监控,根据采集得到的每个视频播放画面的单画面图像特征,和/或的多个连续视频播放画面的关联画面特征,对所述目标监控视频进行异常播放检测;生成与异常播放检测结果匹配的异常播放描述信息,并向视频监控方发送所述异常播放描述信息的技术手段,解决了在长时间的视频质量监控过程中,工作人员很难不间断地集中注意力观察视频的问题,并且解决了获取视频流后对视频流进行检测只能判断视频本身是否存在故障,无法同时判断视频在播放器内的实际播放状态的问题,提供了一种自动监控视频播放质量,并自动上报视频播放异常的新技术,提高了视频播放质量实时监控的效率与精度。
附图说明
图1为本发明实施例一提供的一种视频播放质量的实时监控方法的流程图;
图2是本发明实施例二中的一种视频播放质量的实时监控方法的流程图;
图3是本发明实施例三中的一种视频播放质量的实时监控方法的流程图;
图4是本发明实施例四中的一种视频播放质量的实时监控装置的结构示意图;
图5为本发明实施例五提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明实施例作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明实施例,而非对本发明实施例的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明实施例相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种视频播放质量的实时监控方法的流程图,本实施例可适用于长时间对视频质量进行实时监控,并实时上报视频质量异常的情况,该方法可以由视频播放质量的实时监控装置来执行,具体包括如下步骤:
S110、在使用播放设备播放至少一个监控视频的过程中,通过图像采集设备实时采集目标监控视频的视频播放画面。
在本实施例中,播放设备为用于播放监控视频的设备,该设备可以为与用于采集监控视频的多个监控摄像头分别通信相连的终端或者服务器。
其中,图像采集设备可以是各种类型的摄像头,将摄像头对准监控视频播放设备的屏幕进行图像采集,以采集需要实时监测的正在播放的视频画面。
一般来说,播放设备可以同时分屏播放多个监控视频,不同监控视频由设置在不同监控区域的监控摄像头采集得到的。其中,本发明实施例的方法可以对全部或者部分监控视频进行视频播放质量监控,相应的,该目标监控视频可以为播放设备当前播放的监控视频中的一个、多个或者全部,本实施例对此并不进行限制。
S120、根据采集得到的每个视频播放画面的单画面图像特征,和/或的多个连续视频播放画面的关联画面特征,对所述目标监控视频进行异常播放检测。
视频播放质量的实时监控装置根据摄像头采集到的图像信息来判断视频播放的情况,这里用于判断视频播放质量的图像信息可以是单画面图像特征也可以是多个连续视频播放画面的关联画面特征,也就是说可以基于一帧或多帧视频播放画面来进行分析判断,确定出目标监控视频的播放异常。
具体的,可以根据针对每一个视频播放画面的单画面图像特征,检测出目标监控视频中的黑屏异常、花屏异常或者屏幕撕裂异常等,也可以根据多个连续视频播放画面的关联画面特征,检测出目标监控视频中的串屏异常、卡顿异常或者停止播放异常等。
S130、生成与异常播放检测结果匹配的异常播放描述信息,并向视频监控方发送所述异常播放描述信息。
其中,可以在根据检测根据单画面图像特征或者关联画面特征,确定出检测到某一种类型的播放异常,生成与该播放异常匹配的异常播放描述信息,并向与该目标监控视频匹配的视频监控方相应发送该异常播放描述信息。
可选的,该异常播放描述信息中可以包括:异常类型以及与该异常类型匹配的单个或者多个连续视频播放画面,或者,还可以进一步包括该单个或者多个连续视频播放画面匹配的时间信息等,本实施例对此并不进行限制。
本实施例的技术方案,通过使用图像采集设备对视频播放画面进行实时监控,根据采集得到的每个视频播放画面的单画面图像特征,和/或的多个连续视频播放画面的关联画面特征,对所述目标监控视频进行异常播放检测;生成与异常播放检测结果匹配的异常播放描述信息,并向视频监控方发送所述异常播放描述信息的技术手段,解决了在长时间的视频质量监控过程中,工作人员很难不间断地集中注意力观察视频的问题,并且解决了获取视频流后对视频流进行检测只能判断视频本身是否存在故障,无法同时判断视频在播放器内的实际播放状态的问题,提供了一种自动监控视频播放质量,并自动上报视频播放异常的新技术,提高了视频播放质量实时监控的效率与精度。
在上述各实施例的基础上,在使用播放设备播放至少一个监控视频的过程中,通过图像采集设备实时采集目标监控视频的视频播放画面,可以具体包括:
在使用播放设备分屏播放多个监控视频的过程中,通过图像采集设备实时采集所述播放设备的播放屏幕画面;根据所述目标监控视频在所述播放设备中的屏幕播放区域,在各所述播放屏幕画面中截取得到目标监控视频的视频播放画面。
如前所述,本发明实施例的播放设备可以同时用于播放多个监控视频的视频内容。如果仅需对上述多个监控视频中的一个或者多个目标监控视频进行视频播放质量的实时监控时,可以首先采集播放设备的完整屏幕画面,进而可以根据目标监控视频在该完整屏幕中的播放区域(典型的,屏幕坐标范围),截取得到与每个目标监控时间分别对应的视频播放画面。
当然,本领域技术人员可以理解的是,如果仅需要对全部监控视频中的一路目标监控视频进行视屏质量的监控时,可以通过调整图像采集设备的图像采集参数,使得该图像采集设备仅采集得到该目标监控视频的视频播放画面。
通过上述设置,可以在使用播放设备分屏播放多个监控视频的基础上,通过截取局部屏幕画面的方式,获取一个或者多个所需的目标监控视频进行单独的视频质量分析,提高了本发明实施例的通用性和可扩展性。
在上述各技术方案的基础上,根据采集得到的每个视频播放画面的单画面图像特征,和/或多个连续视频播放画面的关联画面特征,对所述目标监控视频进行异常播放检测,可以具体包括:
将采集得到的每个视频播放画面顺序输入至预先训练的异常播放识别模型中,获取所述异常播放识别模型输出的异常播放检测结果;
其中,所述异常播放识别模型通过使用与各异常类型分别对应的多个训练样本对预设的深度卷积神经网络训练得到;每个训练样本中包括与异常类型对应的单个图像样本或者多个关联图像样本;
所述异常类型包括下述至少一项:黑屏异常、花屏异常、画面撕裂异常、串屏异常、卡顿异常以及停止播放异常。
也就是说,视频播放质量的实时监控装置利用异常播放识别模型来对目标监控视频进行异常播放检测,从而得到异常播放检测结果。
其中,异常播放识别模型采用可以深度卷积神经网络训练得到,在训练过程中使用各种异常类型的训练样本。不同的异常类型所需要的训练样本中可以包括有不同数量的图像样本。例如,黑屏异常的训练可能只需要多个单个图像样本,即黑屏所表现出的画面是全黑状态,而串屏异常的训练则可能需要多个关联的图像样本,因为串屏异常的表现形式比较复杂,串屏发生前与发生后画面切换的情况可能有多种类型。
这样设置的好处在于,使用大量的训练样本对异常播放识别模型进行训练后,可以使异常播放检测的识别率显著提高。
可选的,对于异常播放检测中的待检测的图像(也即,实时采集得到的各视频播放画面),或者异常播放识别模型进行训练所使用的图像,均可以首先使用opencv库中的图像处理函数进行预处理,例如,降噪、二值化等。
在上述各实施例的基础上,生成与异常播放检测结果匹配的异常播放描述信息优选的可以包括:
在异常播放检测结果中,提取异常类型以及与异常类型对应的至少一个异常视频播放画面;根据各所述异常视频播放画面,确定与所述目标监控视频对应的异常播放时间;根据所述异常类型、各所述异常视频播放画面以及所述异常播放时间,生成所述异常播放描述信息。
在实施例中,通过异常播放检测,可以得到异常类型和该异常所对应的异常视频播放画面。进而,可以根据异常视频播放画面得到异常播放时间,即目标监控视频发生播放异常的时间点或者时间段。
最终,生成的异常播放描述信息中可以同时包括该异常的异常类型、异常视频播放画面以及异常播放时间。
这样设置的好处在于,使得异常播放描述信息更加完善,视频监控方得到该异常播放描述信息后可以快速准确地锁定视频发生异常的时间点和原因,从而及时地进行相应的视频播放修复处理。
在上述各实施例的基础上,向视频监控方发送所述异常播放描述信息,可以具体包括:
获取与所述目标监控视频匹配的所述视频监控方的电子邮箱地址;生成与所述异常播放描述信息匹配的电子邮件,并向所述电子邮箱地址发送所述电子邮件。
通过上述设置,可以电子邮件的方式自动上报视频播放异常,在对异常监控方进行及时、有效提示的同时,还便于进行异常播放问题的存档和回溯,防止信息的丢失或者遗漏。
实施例二
图2是本发明实施例二中的一种视频播放质量的实时监控方法的流程图,本实施例是对实施例一的进一步细化,即对实施例一S120进行进一步细化,针对采集到的视频播放画面的单画面图像特征进行分析。如图2所示,一种视频播放质量的实时监控方法可以包括如下步骤:
S210、在使用播放设备播放至少一个监控视频的过程中,通过图像采集设备实时采集目标监控视频的视频播放画面。
S220、判断当前检测的目标视频播放画面中包括的黑色像素点的数量值是否超过像素点数量阈值:若否,执行S230;若是,执行S270。
在实施例中,如果确定当前检测的目标视频播放画面中包括的黑色像素点的数量值超过像素点数量阈值,则确定目标监控视频中出现黑屏异常。黑屏是视频异常中的常见类型,预先设定黑色像素点的数量阈值,例如,当黑色像素点的数量超过全部像素点数量的80%,则判断出现黑屏异常,则执行S270。若确定当前检测的目标视频播放画面中包括的黑色像素点的数量值未超过像素点数量阈值,则直接执行S230。
S230、将当前检测的目标视频播放画面划分为多个检测块,并将各检测块与预设的至少一个花屏图样进行相似度比对,执行S240。
其中,花屏是视频异常中的常见类型,包括不同样式的花屏图样,例如雪花状、随机像素点状等。由于花屏异常可能发生在播放画面中的某一部分中而非整个播放画面内,并且播放画面中的各个部分可能具有不同的花屏图样,因此,将当前检测的目标视频播放画面划分为多个检测块。可以根据情况预设一个或多个花屏图样,将每个检测块分别与各个花屏图样进行相似度比对。
其中,所划分的检测块的尺寸可以根据实际情况,或者实际出现的花屏块的尺寸进行预设,本实施例对此并不进行限制。
S240、判断与花屏图样满足相似度条件的检测块的数量值是否超过检测块数量阈值:若否,执行S250;若是,执行S280。
其中,如果确定与花屏图样满足相似度条件的检测块的数量值超过检测块数量阈值,则确定目标监控视频中出现花屏异常。
预先设定相似度条件,例如,当检测块与花屏图样的相似度超过80%,则认为该检测块为花屏状态。检测块的数量阈值可以是检测块总数的80%。例如,将播放画面划分为10个检测块,当其中花屏状态的检测块数量大于8个时,则判断出现花屏异常,执行S280。若确定与花屏图样满足相似度条件的检测块的数量值未超过检测块数量阈值,则执行S250。
S250、在当前检测的目标视频播放画面中,计算各相邻两行中各匹配像素点间的像素值差异值,并计算得到与各相邻两行对应的像素点差异总值,执行S260。
其中,画面撕裂是视频异常中的常见类型,例如,画面中本应相连续的两排像素点交错开,其视觉效果就是画面中本应相连续的两部分画面断裂。因此,判断是否出现画面撕裂异常需要计算行间像素差异值,并计算各行的像素差异总值。正常的相邻两行像素值的差异不应过大。
S260、判断是否有任一相邻两行的像素值差异总值超过差异值门限阈值:若否,返回执行S220;若是,执行S290。
在本实施例中,可以预先设置差异值门阀阈值,如果画面中某行的像素差异总值超过差异值门阀阈值,则判断出现画面撕裂异常,执行S290。由于视频是连续播放的,因此需要不断的重复上述的监测过程,即若画面中不存在像素差异总值超过差异值门阀阈值的情况,则返回执行S220。S270、确定目标监控视频中出现黑屏异常,执行S2100。
S280、确定目标监控视频中出现花屏异常,执行S2100。
S290、确定目标监控视频中出现画面撕裂异常,执行S2100。
S2100、生成与异常播放检测结果匹配的异常播放描述信息,并向视频监控方发送所述异常播放描述信息,返回执行S220。
需要说明的是,由于视频是连续播放的,因此需要不断的重复上述的监测过程,因此返回执行S220。
本实施例的技术方案,通过对黑色像素点计数、对目标视频播放画面进行划分、以及计算像素值差异值的方法,解决了如何自动化监控单个视频播放画面出现的视频的异常播放问题,达到了精确便捷地检测黑屏异常、花屏异常和画面撕裂异常的效果。
实施例三
图3是本发明实施例三中的一种视频播放质量的实时监控方法的流程图,本实施例是对实施例一的进一步细化,即对实施例一S120进行进一步细化,针对采集到的多个连续视频播放画面的关联画面特征进行分析。如图3所示,一种视频播放质量的实时监控方法可以包括如下步骤:
S310、在使用播放设备播放至少一个监控视频的过程中,通过图像采集设备实时采集目标监控视频的视频播放画面。
S320、获取当前检测的目标视频播放画面以及与第一视频播放画面相邻的前一视频播放画面。
其中,由于本实施例所要检测的异常类型需要对相邻的两个或者多个视频播放画面进行对比,因此在此获取前一视频播放画面。
S330、判断目标视频播放画面与前一视频播放画面之间的图像相似度是否低于第一图像相似度阈值,若否,则执行S340;若是,则执行S370。
串屏是视频异常中的常见类型,即视频之间突然切换,两个不同的视频在短时间内交错。由于视频播放画面的连续两帧之间应该具有较强的相似度,因此,预先设定第一图像相似度阈值,将两个连续视频帧之间的相似度与第一图像相似度进行比较。
如果确定采集的两个连续视频播放画面之间的图像相似度低于第一图像相似度阈值,则确定目标监控视频中出现串屏异常,执行S322。如果确定采集的两个连续视频播放画面之间的图像相似度高于或等于第一图像相似度阈值,则直接执行S322。S340、判断目标视频播放画面与前一视频播放画面之间的图像相似度是否高于第二图像相似度阈值,若是,执行S350;否则,返回执行S320。
其中,停顿是视频异常中的常见类型,即视频画面不连贯,帧与帧之间改变的时间间隔较长,以至于在视觉上被察觉,常由于网络信号不良等原因导致。
在本实施例中,可以预先设定第二图像相似度阈值,第二图像相似度阈值可以远大于第一图像相似度阈值,当采集的多个连续视频播放画面之间的图像相似度高于第二图像相似度阈值时,说明前后的几个图像几乎相同,即产生了视频停顿,执行S350。
若采集的多个连续视频播放画面之间的图像相似度等于或低于第二图像相似度阈值,则说明前后的几个图像有差别,视频保持流畅没有停顿,可以返回执行S320,以获取新的连续视频播放画面进行同样的检测。
S350、持续判断新的目标视频播放画面与匹配的前一视频播放画面之间图像相似度是否高于第二图像相似度阈值,并统计与连续满足第二图像相似度阈值条件的视频播放画面匹配的播放时长,执行S360。
S360、判断所述播放时长是否小于或等于间隔阈值:若是,则执行S380,否则,执行S390。
在本实施例中,如果与连续满足第二图像相似度阈值条件的视频播放画面匹配的播放时长小于或等于间隔时间阈值,则说明视频的停顿时间较短,此时确定目标监控视频中出现卡顿异常。如果视频播放画面匹配的播放时长大于间隔时间阈值,则说明视频的停顿时间较长,此时确定目标监控视频中出现停止播放异常。间隔时间阈值可以根据实际情况预先设定,例如,当视频停顿超过1分钟时,认为视频已经停止播放。
S370、确定目标监控视频中出现串屏异常,执行S3100。
S380、确定目标监控视频中出现卡顿异常,执行S3100。
S390、确定目标监控视频中出现停止播放异常,执行S3100。
S3100、生成与异常播放检测结果匹配的异常播放描述信息,并向视频监控方发送所述异常播放描述信息,返回执行S320。由于视频是连续播放的,因此需要不断的重复上述的监测过程,返回执行S320。
本实施例的技术方案,通过设定图像相似度阈值和间隔时间阈值,解决了如何监控多个连续视频播放画面中的视频播放异常的问题,达到了精确便捷地检测串屏异常、卡顿异常和停止播放异常的效果。
可选的,本发明各实施例中的视频播放质量的实时监控方法可以通过Python编写的软件程序实现。
实施例四
图4是本发明实施例四中的一种视频播放质量的实时监控装置的结构示意图,该装置可以执行上述各实施例中涉及到的一种视频播放质量的实时监控方法。参照图4,该装置包括:
视频播放画面采集模块410,用于在使用播放设备播放至少一个监控视频的过程中,通过图像采集设备实时采集目标监控视频的视频播放画面;
异常播放检测模块420,用于根据采集得到的每个视频播放画面的单画面图像特征,和/或的多个连续视频播放画面的关联画面特征,对所述目标监控视频进行异常播放检测;
异常播放描述信息发送模块430,用于生成与异常播放检测结果匹配的异常播放描述信息,并向视频监控方发送所述异常播放描述信息。
本实施例的技术方案,通过使用图像采集设备对视频播放画面进行实时监控,根据采集得到的每个视频播放画面的单画面图像特征,和/或的多个连续视频播放画面的关联画面特征,对所述目标监控视频进行异常播放检测;生成与异常播放检测结果匹配的异常播放描述信息,并向视频监控方发送所述异常播放描述信息的技术手段,解决了在长时间的视频质量监控过程中,工作人员很难不间断地集中注意力观察视频的问题,并且解决了获取视频流后对视频流进行检测只能判断视频本身是否存在故障,无法同时判断视频在播放器内的实际播放状态的问题,提供了一种自动监控视频播放质量,并自动上报视频播放异常的新技术,提高了视频播放质量实时监控的效率与精度。
在上述各实施例的基础上,视频播放画面采集模块可以包括:
图像采集单元,用于在使用播放设备分屏播放多个监控视频的过程中,通过图像采集设备实时采集所述播放设备的播放屏幕画面;
图像截取单元,用于根据所述目标监控视频在所述播放设备中的屏幕播放区域,在各所述播放屏幕画面中截取得到目标监控视频的视频播放画面。
在上述各实施例的基础上,异常播放检测模块可以包括下述至少一项:
黑屏异常确定单元,用于如果确定当前检测的目标视频播放画面中包括的黑色像素点的数量值超过像素点数量阈值,则确定目标监控视频中出现黑屏异常;
花屏异常确定单元,用于将当前检测的目标视频播放画面划分为多个检测块,并将各检测块与预设的至少一个花屏图样进行相似度比对;如果确定与花屏图样满足相似度条件的检测块的数量值超过检测块数量阈值,则确定目标监控视频中出现花屏异常;以及
画面撕裂异常确定单元,用于在当前检测的目标视频播放画面中,计算各相邻两行中各匹配像素点间的像素值差异值,并计算得到与各相邻两行对应的像素点差异总值;在确定任一相邻两行的像素值差异总值超过差异值门限阈值时,确定目标监控视频中出现画面撕裂异常。
在上述各实施例的基础上,异常播放检测模块可以包括:
串屏异常确定单元,用于如果确定采集的两个连续视频播放画面之间的图像相似度低于第一图像相似度阈值,则确定目标监控视频中出现串屏异常;
卡顿异常确定单元,用于如果确定采集的多个连续第一类视频播放画面之间的图像相似度高于第二图像相似度阈值,且与各第一类视频播放画面匹配的播放时长小于或等于间隔时间阈值,则确定目标监控视频中出现卡顿异常;以及
停止播放异常确定单元,用于如果确定采集的多个连续第二类视频播放画面之间的图像相似度高于第二图像相似度阈值,且与各第二类视频播放画面匹配的播放时长大于间隔时间阈值,则确定目标监控视频中出现停止播放异常。
在上述各实施例的基础上,异常播放检测模块可以具体用于:
使用与各异常类型分别对应的多个训练样本对预设的深度卷积神经网络训练得到异常播放识别模型;
每个训练样本中包括与异常类型对应的单个图像样本或者多个关联图像样本;
所述异常类型包括下述至少一项:黑屏异常、花屏异常、画面撕裂异常、串屏异常、卡顿异常以及停止播放异常。
在上述各实施例的基础上,异常播放描述信息发送模块可以包括:
异常类型画面提取单元,用于在异常播放检测结果中,提取异常类型以及与异常类型对应的至少一个异常视频播放画面;
异常播放时间确定单元,用于根据各所述异常视频播放画面,确定与所述目标监控视频对应的异常播放时间;
异常播放描述信息生成单元,用于根据所述异常类型、各所述异常视频播放画面以及所述异常播放时间,生成所述异常播放描述信息。
在上述各实施例的基础上,异常播放描述信息发送模块可以包括:
电子邮箱地址获取单元,用于获取与所述目标监控视频匹配的所述视频监控方的电子邮箱地址;
电子邮件发送单元,用于生成与所述异常播放描述信息匹配的电子邮件,并向所述电子邮箱地址发送所述电子邮件。
本发明实施例所提供的一种视频播放质量的实时监控装置可执行本发明任意实施例所提供的一种视频播放质量的实时监控方法,具备执行方法相应的功能模块和有益效果。
实施例五
图5为本发明实施例五提供的一种计算机设备的结构示意图,如图5所示,该设备包括处理器510、存储装置520、输入装置530和输出装置540;设备中处理器510的数量可以是一个或多个,图5中以一个处理器510为例;设备中的处理器510、存储装置520、输入装置530和输出装置540可以通过总线或其他方式连接,图5中以通过总线连接为例。
存储装置520作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的一种视频播放质量的实时监控方法对应的程序指令/模块(例如,一种视频播放质量的实时监控装置中的视频播放画面采集模块410、异常播放检测模块420和异常播放描述信息发送模块430)。处理器510通过运行存储在存储装置520中的软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述的一种视频播放质量的实时监控方法。所述方法包括:
在使用播放设备播放至少一个监控视频的过程中,通过图像采集设备实时采集目标监控视频的视频播放画面;
根据采集得到的每个视频播放画面的单画面图像特征,和/或的多个连续视频播放画面的关联画面特征,对所述目标监控视频进行异常播放检测;
生成与异常播放检测结果匹配的异常播放描述信息,并向视频监控方发送所述异常播放描述信息。
存储装置520可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储装置520可以包括高速随机存取存储装置,还可以包括非易失性存储装置,例如至少一个磁盘存储装置件、闪存器件、或其他非易失性固态存储装置件。在一些实例中,存储装置520可进一步包括相对于处理器510远程设置的存储装置,这些远程存储装置可以通过网络连接至设备/终端/服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置530可用于接收输入的数字或字符信息,以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置540可包括显示屏等显示设备。
本实施例的技术方案,通过使用图像采集设备对视频播放画面进行实时监控,根据采集得到的每个视频播放画面的单画面图像特征,和/或的多个连续视频播放画面的关联画面特征,对所述目标监控视频进行异常播放检测;生成与异常播放检测结果匹配的异常播放描述信息,并向视频监控方发送所述异常播放描述信息的技术手段,解决了在长时间的视频质量监控过程中,工作人员很难不间断地集中注意力观察视频的问题,并且解决了获取视频流后对视频流进行检测只能判断视频本身是否存在故障,无法同时判断视频在播放器内的实际播放状态的问题,提供了一种自动监控视频播放质量,并自动上报视频播放异常的新技术,提高了视频播放质量实时监控的效率与精度。
实施例六
本发明实施例六还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种视频播放质量的实时监控方法,该方法包括:
在使用播放设备播放至少一个监控视频的过程中,通过图像采集设备实时采集目标监控视频的视频播放画面;
根据采集得到的每个视频播放画面的单画面图像特征,和/或的多个连续视频播放画面的关联画面特征,对所述目标监控视频进行异常播放检测;
生成与异常播放检测结果匹配的异常播放描述信息,并向视频监控方发送所述异常播放描述信息。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的一种视频播放质量的实时监控方法中的相关操作。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储装置(Read-Only Memory,ROM)、随机存取存储装置(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
本实施例的技术方案,通过使用图像采集设备对视频播放画面进行实时监控,根据采集得到的每个视频播放画面的单画面图像特征,和/或的多个连续视频播放画面的关联画面特征,对所述目标监控视频进行异常播放检测;生成与异常播放检测结果匹配的异常播放描述信息,并向视频监控方发送所述异常播放描述信息的技术手段,解决了在长时间的视频质量监控过程中,工作人员很难不间断地集中注意力观察视频的问题,并且解决了获取视频流后对视频流进行检测只能判断视频本身是否存在故障,无法同时判断视频在播放器内的实际播放状态的问题,提供了一种自动监控视频播放质量,并自动上报视频播放异常的新技术,提高了视频播放质量实时监控的效率与精度。
值得注意的是,上述一种视频播放质量的实时监控装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种视频播放质量的实时监控方法,其特征在于,包括:
在使用播放设备播放至少一个监控视频的过程中,通过图像采集设备实时采集目标监控视频的视频播放画面;
根据采集得到的每个视频播放画面的单画面图像特征,和/或的多个连续视频播放画面的关联画面特征,对所述目标监控视频进行异常播放检测;
生成与异常播放检测结果匹配的异常播放描述信息,并向视频监控方发送所述异常播放描述信息。
2.根据权利要求1所述的方法,其特征在于,在使用播放设备播放至少一个监控视频的过程中,通过图像采集设备实时采集目标监控视频的视频播放画面,包括:
在使用播放设备分屏播放多个监控视频的过程中,通过图像采集设备实时采集所述播放设备的播放屏幕画面;
根据所述目标监控视频在所述播放设备中的屏幕播放区域,在各所述播放屏幕画面中截取得到目标监控视频的视频播放画面。
3.根据权利要求1所述的方法,其特征在于,根据采集得到的每个视频播放画面的单画面图像特征,对所述目标监控视频进行异常播放检测,包括下述至少一项:
如果确定当前检测的目标视频播放画面中包括的黑色像素点的数量值超过像素点数量阈值,则确定目标监控视频中出现黑屏异常;
将当前检测的目标视频播放画面划分为多个检测块,并将各检测块与预设的至少一个花屏图样进行相似度比对;如果确定与花屏图样满足相似度条件的检测块的数量值超过检测块数量阈值,则确定目标监控视频中出现花屏异常;以及
在当前检测的目标视频播放画面中,计算各相邻两行中各匹配像素点间的像素值差异值,并计算得到与各相邻两行对应的像素点差异总值;在确定任一相邻两行的像素值差异总值超过差异值门限阈值时,确定目标监控视频中出现画面撕裂异常。
4.根据权利要求1所述的方法,其特征在于,根据采集得到的多个连续视频播放画面的关联画面特征,对所述目标监控视频进行异常播放检测,包括:
如果确定采集的两个连续视频播放画面之间的图像相似度低于第一图像相似度阈值,则确定目标监控视频中出现串屏异常;
如果确定采集的多个连续第一类视频播放画面之间的图像相似度高于第二图像相似度阈值,且与各第一类视频播放画面匹配的播放时长小于或等于间隔时间阈值,则确定目标监控视频中出现卡顿异常;以及
如果确定采集的多个连续第二类视频播放画面之间的图像相似度高于第二图像相似度阈值,且与各第二类视频播放画面匹配的播放时长大于间隔时间阈值,则确定目标监控视频中出现停止播放异常。
5.根据权利要求1所述的方法,其特征在于,根据采集得到的每个视频播放画面的单画面图像特征,和/或多个连续视频播放画面的关联画面特征,对所述目标监控视频进行异常播放检测,包括:
将采集得到的每个视频播放画面顺序输入至预先训练的异常播放识别模型中,获取所述异常播放识别模型输出的异常播放检测结果;
其中,所述异常播放识别模型通过使用与各异常类型分别对应的多个训练样本对预设的深度卷积神经网络训练得到;每个训练样本中包括与异常类型对应的单个图像样本或者多个关联图像样本;
所述异常类型包括下述至少一项:黑屏异常、花屏异常、画面撕裂异常、串屏异常、卡顿异常以及停止播放异常。
6.根据权利要求1-5任一项所述的方法,其特征在于,生成与异常播放检测结果匹配的异常播放描述信息,包括:
在异常播放检测结果中,提取异常类型以及与异常类型对应的至少一个异常视频播放画面;
根据各所述异常视频播放画面,确定与所述目标监控视频对应的异常播放时间;
根据所述异常类型、各所述异常视频播放画面以及所述异常播放时间,生成所述异常播放描述信息。
7.根据权利要求1-5任一项所述的方法,其特征在于,向视频监控方发送所述异常播放描述信息,包括:
获取与所述目标监控视频匹配的所述视频监控方的电子邮箱地址;
生成与所述异常播放描述信息匹配的电子邮件,并向所述电子邮箱地址发送所述电子邮件。
8.一种视频播放质量的实时监控装置,其特征在于,包括:
视频播放画面采集模块,用于在使用播放设备播放至少一个监控视频的过程中,通过图像采集设备实时采集目标监控视频的视频播放画面;
异常播放检测模块,用于根据采集得到的每个视频播放画面的单画面图像特征,和/或的多个连续视频播放画面的关联画面特征,对所述目标监控视频进行异常播放检测;
异常播放描述信息发送模块,用于生成与异常播放检测结果匹配的异常播放描述信息,并向视频监控方发送所述异常播放描述信息。
9.一种计算机设备,其特征在于,所述计算机设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的视频播放质量的实时监控方法。
10.一种计算机存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一所述的视频播放质量的实时监控方法。
CN202110897981.4A 2021-08-05 2021-08-05 一种视频播放质量的实时监控方法、装置和计算机设备 Pending CN113660483A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110897981.4A CN113660483A (zh) 2021-08-05 2021-08-05 一种视频播放质量的实时监控方法、装置和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110897981.4A CN113660483A (zh) 2021-08-05 2021-08-05 一种视频播放质量的实时监控方法、装置和计算机设备

Publications (1)

Publication Number Publication Date
CN113660483A true CN113660483A (zh) 2021-11-16

Family

ID=78478546

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110897981.4A Pending CN113660483A (zh) 2021-08-05 2021-08-05 一种视频播放质量的实时监控方法、装置和计算机设备

Country Status (1)

Country Link
CN (1) CN113660483A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114095795A (zh) * 2021-11-26 2022-02-25 上海立磐软件科技有限公司 移动终端的视频质量检测方法
CN114143534A (zh) * 2021-11-26 2022-03-04 京东方科技集团股份有限公司 一种展示状态监测方法、装置、电子设备和可读存储介质
CN114640840A (zh) * 2022-03-07 2022-06-17 国网山东省电力公司信息通信公司 一种视频会议画面故障检测方法及系统
CN115379178A (zh) * 2022-10-24 2022-11-22 广东电网有限责任公司中山供电局 一种监控画面异常处理方法、系统、设备和介质
CN116389663A (zh) * 2023-06-06 2023-07-04 深圳市森博睿科技有限公司 一种基于大数据的智慧显示屏远程监控平台
CN116866666A (zh) * 2023-09-05 2023-10-10 天津市北海通信技术有限公司 轨道交通环境下的视频流画面处理方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105657548A (zh) * 2016-01-07 2016-06-08 Tcl通力电子(惠州)有限公司 视频播放设备的故障测试方法及系统
JP2018160722A (ja) * 2017-03-22 2018-10-11 三菱電機株式会社 映像異常停止検出装置、映像記録装置、および、映像異常停止検出方法
CN112055198A (zh) * 2020-09-10 2020-12-08 百度在线网络技术(北京)有限公司 一种视频测试方法、装置、电子设备及存储介质
CN112153373A (zh) * 2020-09-23 2020-12-29 平安国际智慧城市科技股份有限公司 明厨亮灶设备的故障识别方法、装置及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105657548A (zh) * 2016-01-07 2016-06-08 Tcl通力电子(惠州)有限公司 视频播放设备的故障测试方法及系统
JP2018160722A (ja) * 2017-03-22 2018-10-11 三菱電機株式会社 映像異常停止検出装置、映像記録装置、および、映像異常停止検出方法
CN112055198A (zh) * 2020-09-10 2020-12-08 百度在线网络技术(北京)有限公司 一种视频测试方法、装置、电子设备及存储介质
CN112153373A (zh) * 2020-09-23 2020-12-29 平安国际智慧城市科技股份有限公司 明厨亮灶设备的故障识别方法、装置及存储介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114095795A (zh) * 2021-11-26 2022-02-25 上海立磐软件科技有限公司 移动终端的视频质量检测方法
CN114143534A (zh) * 2021-11-26 2022-03-04 京东方科技集团股份有限公司 一种展示状态监测方法、装置、电子设备和可读存储介质
CN114640840A (zh) * 2022-03-07 2022-06-17 国网山东省电力公司信息通信公司 一种视频会议画面故障检测方法及系统
CN115379178A (zh) * 2022-10-24 2022-11-22 广东电网有限责任公司中山供电局 一种监控画面异常处理方法、系统、设备和介质
CN116389663A (zh) * 2023-06-06 2023-07-04 深圳市森博睿科技有限公司 一种基于大数据的智慧显示屏远程监控平台
CN116389663B (zh) * 2023-06-06 2023-08-22 深圳市森博睿科技有限公司 一种基于大数据的智慧显示屏远程监控平台
CN116866666A (zh) * 2023-09-05 2023-10-10 天津市北海通信技术有限公司 轨道交通环境下的视频流画面处理方法及装置
CN116866666B (zh) * 2023-09-05 2023-12-08 天津市北海通信技术有限公司 轨道交通环境下的视频流画面处理方法及装置

Similar Documents

Publication Publication Date Title
CN113660483A (zh) 一种视频播放质量的实时监控方法、装置和计算机设备
CN106056079B (zh) 一种图像采集设备及人脸五官的遮挡检测方法
CN110619620B (zh) 导致表面缺陷的异常定位方法、装置、系统及电子设备
CN103997622B (zh) 无人值守监控摄像头的自动清洗方法
WO2020057159A1 (zh) 一种高校餐厅食品加工违规行为视频分析系统及方法
CN110956606B (zh) 显示屏播放画面异常检测方法、装置及其系统
CN102348128A (zh) 具有摄像机异常检测装置的监视用摄像机系统
CN112312087B (zh) 一种在长时监控视频中快速定位事件发生时刻的方法及其系统
CN110096945B (zh) 基于机器学习的室内监控视频关键帧实时提取方法
CN108174198B (zh) 一种视频图像质量诊断分析检测设备及应用系统
CN113343779B (zh) 环境异常检测方法、装置、计算机设备和存储介质
CN111832492A (zh) 静态交通异常的判别方法、装置、计算机设备及存储介质
CN114758271A (zh) 视频处理方法、装置、计算机设备及存储介质
CN106781167B (zh) 监测物体运动状态的方法及设备
KR102470422B1 (ko) 합성곱 신경망 특징맵 기반 봉제 스티치 불량 자동 검출 방법 및 시스템
CN112565894A (zh) 一种检测直播节目播放质量的方法和系统
JP5710230B2 (ja) 監視システムおよび監視方法
CN114565870A (zh) 一种基于视觉的生产线管控方法及装置、系统、电子设备
CN116167969A (zh) 镜头脏污检测方法、装置、车辆、存储介质及程序产品
CN115002448A (zh) 应用于安防监控的视频图像质量诊断方法及系统
CN111818331B (zh) 弹幕显示流畅性的检测方法、装置、设备和介质
CN114724091A (zh) 一种输电线路导线异物识别方法及装置
CN111553408B (zh) 视频识别软件自动测试的方法
CN110267032B (zh) 一种播出节目黑画面异常状态实时量化评估系统及方法
CN113111847A (zh) 一种工序循环的自动监测方法、装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination