CN109005457B - 黑屏检测方法、装置、计算机设备及存储介质 - Google Patents

黑屏检测方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN109005457B
CN109005457B CN201811095812.3A CN201811095812A CN109005457B CN 109005457 B CN109005457 B CN 109005457B CN 201811095812 A CN201811095812 A CN 201811095812A CN 109005457 B CN109005457 B CN 109005457B
Authority
CN
China
Prior art keywords
picture frames
similarity
video player
black screen
playing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811095812.3A
Other languages
English (en)
Other versions
CN109005457A (zh
Inventor
李兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Beijing Co Ltd
Original Assignee
Tencent Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Beijing Co Ltd filed Critical Tencent Technology Beijing Co Ltd
Priority to CN201811095812.3A priority Critical patent/CN109005457B/zh
Publication of CN109005457A publication Critical patent/CN109005457A/zh
Application granted granted Critical
Publication of CN109005457B publication Critical patent/CN109005457B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4425Monitoring of client processing errors or hardware failure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请是关于一种黑屏检测方法、装置、计算机设备及存储介质。该方法包括:在视频播放器处于播放状态时,按照指定采样频率采集所述视频播放器的播放界面中正在播放的画面帧;获取采集到的至少两个画面帧之间的相似指示信息;当所述相似指示信息指示的至少两个画面帧之间的相似度满足预设条件时,确定所述视频播放器的播放界面发生黑屏,在此过程中,由于比对的至少两个画面帧是从同一播放界面中采集到的画面帧,当两个画面帧都是黑屏画面的图像帧时,这两个画面帧之间可以保证足够的一致性,能够有效避免黑屏的漏检测,从而达到提高黑屏检测的准确性的效果。

Description

黑屏检测方法、装置、计算机设备及存储介质
技术领域
本申请涉及互联网应用技术领域,特别涉及一种黑屏检测方法、装置、计算机设备及存储介质。
背景技术
随着音视频编解码技术的不断发展,视频片源种类也越来越复杂,播放中更容易出现黑屏现象,对检测视频播放过程是否发生黑屏的需求也越来越强烈。
在相关技术中,视频播放过程中的黑屏现象可以通过模版匹配的方式进行检测,具体比如,检测设备可以采集视频播放过程中的画面帧,并将采集到的画面帧与预设的黑屏图片进行模版匹配,以获得采集到的画面帧与黑屏图片之间的相似度,当两者相似度高于预设的相似度阈值时,可以认为采集到的画面帧是全黑的画面帧,当连续多个采集到的画面帧是全黑的画面帧时,即可以认为检测到发生黑屏现象。
然而,由于不同的屏幕的显示效果之间存在差异,全黑的画面帧在不同的屏幕中进行显示时,其显示效果也不尽相同,因此采集到的全黑的画面帧与预设的黑屏图片之间通常存在一定的差异,导致黑屏检测的准确率不高。
发明内容
本申请实施例提供了一种黑屏检测方法、装置、计算机设备及存储介质,可以达到提高黑屏检测的准确率的效果,该技术方案如下:
一方面,提供了一种黑屏检测方法,用于安装有视频播放器的用户终端中,所述方法包括:
在所述视频播放器处于播放状态时,按照指定采样频率采集所述视频播放器的播放界面中正在播放的画面帧,所述指定采样频率的数值小于所述视频播放器的播放帧率的数值;
获取采集到的至少两个画面帧之间的相似指示信息,所述相似指示信息用于指示所述至少两个画面帧之间的相似度;
当所述至少两个画面帧之间的相似度满足预设条件时,确定所述视频播放器的播放界面发生黑屏。
一方面,提供一种黑屏检测装置,用于安装有视频播放器的用户终端中,所述装置包括:
采样模块,用于在所述视频播放器处于播放状态时,按照指定采样频率采集所述视频播放器的播放界面中正在播放的画面帧,所述指定采样频率的数值小于所述视频播放器的播放帧率的数值;
指示信息获取模块,用于获取采集到的至少两个画面帧之间的相似指示信息,所述相似指示信息用于指示所述至少两个画面帧之间的相似度;
黑屏确定模块,用于当所述至少两个画面帧之间的相似度满足预设条件时,确定所述视频播放器的播放界面发生黑屏。
另一方面,提供了一种计算机设备,所述计算机设备包含处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述的黑屏检测方法。
又一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述的黑屏检测方法。
本申请提供的技术方案可以包括以下有益效果:
在视频播放器处于播放状态时,以低于播放帧率的采样频率采集播放界面中的画面帧,当采集到的至少两个画面这之间的相似度满足预设条件时,确定视频播放器的播放界面发生黑屏,在此过程中,由于比对的至少两个画面帧是从同一播放界面中采集到的画面帧,当两个画面帧都是黑屏画面的图像帧时,这两个画面帧之间可以保证足够的一致性,能够有效避免黑屏的漏检测,从而达到提高黑屏检测的准确性的效果。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1是本申请一示例性实施例示出的一种黑屏检测系统的结构示意图;
图2是根据一示例性实施例示出的一种黑屏检测方法的流程示意图;
图3是根据一示例性实施例示出的一种黑屏修复的流程示意图;
图4是根据一示例性实施例示出的一种黑屏检测及修复方法的流程示意图;
图5是图4所示实施例涉及的一种根据汉明距离检测黑屏并进行黑屏修复的流程示意图;
图6是根据一示例性实施例示出的黑屏检测装置的结构方框图;
图7是根据一示例性实施例示出的一种服务器的结构示意图;
图8是根据一示例性实施例示出的计算机设备的结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
图1是本申请一示例性实施例示出的一种黑屏检测系统的结构示意图。该系统包括:若干个用户终端120和服务器140。
用户终端120可以是手机、平板电脑、电子书阅读器、MP3播放器(Moving PictureExperts Group Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(MovingPicture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
用户终端120中安装有视频播放器,该视频播放器可以是视频播放类应用程序(Application,APP)客户端。
用户终端120与服务器140之间通过通信网络相连。可选的,通信网络是有线网络或无线网络。
在本申请实施例中,用户终端120可以采集各自对应的指定类型特征数据,并将采集到的指定类型特征数据上传给服务器140。其中,指定类型特征数据可以是开发人员或者维护人员预先指定的一种或多种类型的数据。
服务器140是一台服务器,或者由若干台服务器,或者是一个虚拟化平台,或者是一个云计算服务中心。
可选的,该系统还可以包括管理设备(图1未示出),该管理设备与服务器140之间通过通信网络相连。可选的,通信网络是有线网络或无线网络。
可选的,上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网、但也可以是任何网络,包括但不限于局域网(Local Area Network,LAN)、城域网(Metropolitan Area Network,MAN)、广域网(Wide Area Network,WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合)。在一些实施例中,使用包括超文本标记语言(Hyper Text Mark-up Language,HTML)、可扩展标记语言(Extensible MarkupLanguage,XML)等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层(Secure Socket Layer,SSL)、传输层安全(Transport Layer Security,TLS)、虚拟专用网络(Virtual Private Network,VPN)、网际协议安全(Internet ProtocolSecurity,IPsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中,还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。
在上述图1所示的系统中,用户终端120中的视频播放器在播放视频时,用户终端120可以自行检测视频播放器的播放界面中是否出现黑屏。其中,用户终端自行检测黑屏的方法可以参考后续实施例。
图2是根据一示例性实施例示出的一种黑屏检测方法的流程图,该黑屏检测方法可以用于安装有视频播放器的用户终端中,比如,该用户终端可以是上述图1所示的用户终端120中。如图2所示,该黑屏检测方法可以包括如下步骤:
步骤21,在视频播放器处于播放状态时,按照指定采样频率采集视频播放器的播放界面中正在播放的画面帧,该指定采样频率的数值小于视频播放器的播放帧率的数值。
步骤22,获取采集到的至少两个画面帧之间的相似指示信息,相似指示信息用于指示至少两个画面帧之间的相似度。
步骤23,当至少两个画面帧之间的相似度满足预设条件时,确定视频播放器的播放界面发生黑屏。
可选的,上述预设条件包括以下条件中的至少一种:
至少两个画面帧中的任意相邻两个画面帧之间的相似度大于第一相似度阈值;
至少两个画面帧中的每相邻两个画面帧之间的相似度大于第二相似度阈值;
以及,该至少两个画面帧中的第i个画面帧与第i+j个画面帧之间的相似度大于第三相似度阈值,i为大于或者等于1的整数,j为大于或者等于2的整数。
其中,上述第一相似度阈值、第二相似度阈值以及第三相似度阈值可以是开发人员或者运营维护人员预先设置的阈值。并且,上述第一相似度阈值、第二相似度阈值以及第三相似度阈值可以是相同的阈值,或者,上述第一相似度阈值、第二相似度阈值以及第三相似度阈值可以是相同的阈值也可以是不同的阈值。
在本申请实施例中,用户终端按照指定的采样频率对视频播放器的播放界面进行图像采集,获得正在播放的画面帧,由于指定采样频率小于视频播放器的播放帧率,因此,通过采集得到相邻两个画面帧在视频播放器播放的视频中是非连续的两个画面帧,而一个视频中非连续的两个画面帧的相似度之间或多或少都会存在一些区别,相似度很高的概率很小。而当视频播放器处于播放状态,且播放界面发生黑屏时,采集获得的连续或者非联系的两个画面帧都是黑屏画面,此时,这两个画面帧的相似度会很高,也就是说,当采集获得的两个画面帧之间的相似度很高(比如达到99%以上)时,这两个画面帧很可能是在视频播放器的播放界面发生黑屏时采集到的,通过上述原理,结合至少两个画面帧之间的相似度,用户终端可以确定视频播放器的播放界面是否发生黑屏。
本申请中涉及两个数值需要动态或者人工设置调整,一个是画面帧的采样频率,另外一个是黑屏问题的判定阀值(即相似度阈值),这两个取值决定了检测黑屏的效率和准确性。
综上所述,本申请实施例所示的方案,在视频播放器处于播放状态时,以低于播放帧率的采样频率采集播放界面中的画面帧,当采集到的至少两个画面这之间的相似度满足预设条件时,确定视频播放器的播放界面发生黑屏,在此过程中,由于比对的至少两个画面帧是从同一播放界面中采集到的画面帧,当两个画面帧是黑屏画面的图像帧时,这两个画面帧之间可以保证足够的一致性,能够有效避免黑屏的漏检测,从而达到提高黑屏检测的准确性的效果。
基于上述图2所示的方案,用户终端检测出视频播放器的播放界面发生黑屏后,还可以报告给服务器,由服务器根据用户终端报告的信息,调整视频播放器的播放策略,以达到黑屏修复的目的。
图3是根据一示例性实施例示出的一种黑屏修复的流程示意图。如图3所示,各个用户终端在视频播放器播放视频时检测黑屏,当检测到发生黑屏时,向服务器发送报告,服务器根据用户终端发送的报告进行问题的定位和分析,并制定新的播放策略,并将新的播放策略下发至用户终端,以调整用户终端中的视频播放器的播放策略,从而实现黑屏问题的在线修复。
上述用户终端自行检测黑屏现象到完成播放策略调整的过程可以参考后续实施例中的描述。
图4是根据一示例性实施例示出的一种黑屏检测及修复方法的流程图,该黑屏检测及修复方法可以用于如上述图1所示的系统中。如图4所示,该黑屏检测及修复方法可以包括如下步骤:
步骤401,用户终端获取视频播放器正在播放的视频的播放时长,根据播放时长确定指定采样频率。
其中,上述指定采样频率小于视频播放器的播放帧率,且视频的播放时长与确定出的指定采样频率成反相关。
指定采样频率的设置关系到后续黑屏检测的准确性,在本申请实施例,用户终端可以根据当前播放的视频的播放时长来确定合适的指定采样频率。
比如,当播放的视频的播放时长较短时,该视频中出现全黑的画面帧的可能性较小,即便出现全黑的画面帧,其持续的时长也很短暂,此时,可以设置一个较高的指定采样频率,比如每0.5s采样一次,以提高采样的覆盖率。
而当播放的视频的播放时长较长时,该视频中出现全黑的画面帧的可能性较高,且出现全黑的画面帧的时长也可能比较长,比如可能达到0.5s以上,此时,可以设置一个较低的指定采样频率,比如,每2s采样一次,以提高采样的准确性。
在一种可能的实现方式中,用户终端中可以预先设置一个采样频率与播放时长的对应表,该对应表中包含各个播放时长区域与采样频率之间的对应关系,用户终端在获取到视频播放器正在播放的视频的播放时长后,确定该播放时长所在的播放时长区间,并查询对应表获得该播放时长所在的区域对应的采样频率,将查询到的采样频率获取为指定采样频率。
比如,表1示出了一种采样频率与播放时长的对应表。
表1
时长区间(min) 采样频率(Hz)
(0,3] 2
(3,60] 1
(60,∞] 0.5
如表1所示,假设用户终端获取到视频播放器当前正在播放的视频的播放时长为10分钟,查询表1确定处于(3,60]的时长区间内,对应采样频率为1Hz,则用户终端确定指定采样频率为1Hz。或者,假设用户终端获取到视频播放器当前正在播放的视频的播放时长为80分钟,查询表1确定处于(60,∞)的时长区间内,对应采样频率为0.5Hz,则用户终端确定指定采样频率为1Hz。需要说明的是,若当前正在播放的视频是直播视频时,用户终端可以默认该直播视频的播放时长为一个较大的数值(比如10000或者无穷大),即对应的采样频率为0.5。
在另一种可能的实现方式中,用户终端获取到视频播放器正在播放的视频的播放时长后,也可以按照预先设置的计算公式计算指定采样频率,其中,该计算公式的输入为播放时长的数值,输出为采样频率的数值。比如,上述公式可以如下:
Figure BDA0001805510770000081
其中,f为采样频率的数值,t为播放时长的数值,k大于0且小于1,f1=k*t1,f2=k*t2
步骤402,在视频播放器处于播放状态时,用户终端按照指定采样频率采集视频播放器的播放界面中正在播放的画面帧。
用户终端在确定出指定采样频率后,当视频播放器正在播放视频时,每隔指定采样频率对应的采样间隔,对视频播放器的播放界面进行一次采样,获得视频播放器的播放界面中的画面帧。
需要说明的是,在本申请实施例中,后续的黑屏检测是通过相邻两个采样获得的画面帧的相似度来实现的,当视频播放器的播放界面暂停播放时,如果继续进行采样,则可能会出现连续采集到多个相同的画面帧的情况,从而导致后续误检测。因此,在本申请实施例中,用户终端需要在视频播放器处于播放状态时才进行采样,当视频播放器的播放界面暂停(包括用户主动暂停或者卡顿)时,用户终端也暂停采样,在检测到视频播放器重新开始播放后,再继续进行采样。
步骤403,用户终端获取采集到的至少两个画面帧之间的相似指示信息,相似指示信息用于指示至少两个画面帧之间的相似度。
可选的,在获取采集到的至少两个画面帧之间的相似指示信息时,用户终端可以对至少两个画面帧分别进行灰度处理,获得至少两个画面帧各自的哈希矩阵值;计算至少两个画面帧各自的哈希矩阵值之间的汉明距离;将至少两个画面帧各自的哈希矩阵值之间的汉明距离作为上述相似指示信息,至少两个画面帧各自的哈希矩阵值之间的汉明距离与至少两个画面帧之间的相似度成反相关。
其中,汉明距离表示两个(相同长度)字符串对应位不同的数量,在信息论中,两个等长字符串之间的汉明距离是两个字符串对应位置的不同字符的个数。
在一种可能的实现方式中,用户终端通过两个画面帧之间的汉明距离来表示两个画面帧之间的相似度。两个画面帧之间的汉明距离越小,说明这两个画面帧越相似,反之,两个画面帧之间的汉明距离越大,说明这两个画面帧差异越大。
除了汉明距离之外,用户终端也可以通过其它类似汉明距离的方式来获取两个画面帧之间的相似度,比如,用户终端可以通过感知哈希算法(Perceptual hashalgorithm),对每个画面帧生成一个指纹(fingerprint)字符串,该指纹字符串对应上述哈希矩阵制,然后比较相邻两个画面帧的指纹,结果越接近,就说明两个画面帧越相似。
上述通过指纹字符串确定两个画面帧是否相似的方案可以如下:
1)缩小画面帧尺寸。
用户终端可以将画面帧缩小到8x8的尺寸,总共64个像素,这一步的作用是去除图片的细节,只保留结构、明暗等基本信息,摒弃不同尺寸、比例带来的图片差异。
2)简化色彩。
用户终端将缩小后的图片,转为64级灰度。也就是说,所有像素点总共只有64种颜色。
3)计算平均值。
用户终端计算所有64个像素的灰度平均值。
4)比较像素的灰度。
用户终端将每个像素的灰度,与平均值进行比较。大于或等于平均值,记为1;小于平均值,记为0。
5)计算哈希值。
用户终端将上一步的比较结果,组合在一起,就构成了一个64位的整数,这就是这个画面帧的指纹,组合的次序并不重要,只要保证两个画面帧都采用同样次序即可。
6)确定相邻画面帧是否相似。
得到至少两个画面帧的指纹后,对于该至少两个画面帧中相邻或非相邻的两个画面帧,用户终端就可以对比这两个画面帧的指纹,确定这两个指纹的64位数中有多少位是不一样的。在理论上,这等同于计算汉明距离。如果不相同的数据位不超过5,说明这两个画面帧很相似;反之,如果大于10,则说明这是两个画面帧差异较大。
可选的,在获取采集到的至少两个画面帧之间的相似指示信息时,用户终端可以通过相同的特征点提取算法分别提取至少两个画面帧的特征点;计算至少两个画面帧的特征点中的相同特征点的比例;将至少两个画面帧的特征点中的相同特征点的比例作为相似指示信息,至少两个画面帧的特征点中的相同特征点的比例与至少两个画面帧之间的相似度成正相关。
在另一种可能的实现方式中,用户终端也可以通过不同画面帧之间的特征点的对比来获得两个画面帧之间的相似度。比如,对于两个画面帧,用户终端分别通过相同的特征点提取算法提取两个画面帧各自的特征点集,每个特征点集中包含指定个数的特征点(比如10000个),用户终端比较两个画面帧各自的特征点集中的特征点,确定其中相同特征点的个数,确定的相同特征点的个数与10000的比例即为相似指示信息。比如,假设其中相同特征点的个数是9000个,则上述相同特征点的比例即为90%。
步骤404,当相似指示信息指示的至少两个画面帧之间的相似度满足预设条件时,用户终端确定视频播放器的播放界面发生黑屏。
由于一个视频中非连续的两个画面帧的相似度很高的概率很小,当采集到的至少两个画面帧之间的各个画面帧之间的相似度很高时,可以认为上述各个画面帧是全黑的画面帧,此时可以确定视频播放器的播放界面发生黑屏。
其中,上述预设条件包括以下条件中的至少一种:
1)至少两个画面帧中的任意相邻两个画面帧之间的相似度大于第一相似度阈值。
在一种可能的实现方式中,当采集到至少两个画面帧中,出现相邻两个画面帧之间的相似度很高,此时,用户终端可以确定该相邻两个画面帧对应的播放时间段内,视频播放器的播放界面发生黑屏。
2)至少两个画面帧中的每相邻两个画面帧之间的相似度大于第二相似度阈值。
在另一种可能的实现方式中,对于采集到的至少两个画面帧,当该至少两个画面帧中每相邻两个画面帧之间的相似度都很高,则用户终端可以确定该至少两个画面帧对应的播放时间段内,视频播放器的播放界面发生黑屏。
3)至少两个画面帧中的第i个画面帧与第i+j个画面帧之间的相似度大于第三相似度阈值,i为大于或者等于1的整数,j为大于或者等于2的整数。
在另一种可能的实现方式中,对于采集到的至少两个画面帧,当该至少两个画面帧中间隔为j的两个画面帧(比如至少两个画面帧中的第5个画面帧和第8个画面帧)之间的相似度很高时,用户终端可以确定在这两个画面帧对应的播放时间段内,视频播放器的播放界面发生黑屏。
具体比如,以相邻两个画面帧之间的相似度来确定是否发生黑屏为例,当上述相似指示信息是汉明距离时,若至少两个画面帧中的相邻两个画面帧之间的汉明距离小于预设的汉明距离阈值,用户终端可以确认视频播放器的播放界面发生黑屏。反之,若至少两个画面帧中的相邻两个画面帧之间的汉明距离不小于预设的汉明距离阈值,用户终端可以确认视频播放器的播放界面未发生黑屏。
或者,以相邻两个画面帧之间的相似度来确定是否发生黑屏为例,当上述相似指示信息是相同特征点的比例时,若至少两个画面帧中的相邻两个画面帧之间的相同特征点的比例大于预设的比例阈值(比如99%),则用户终端可以确认视频播放器的播放界面发生黑屏。反之,若至少两个画面帧中的相邻两个画面帧之间的相同特征点的比例不大于预设的比例阈值,则用户终端可以确认视频播放器的播放界面未发生黑屏。
步骤405,用户终端生成检测日志。
其中,检测日志包含发生黑屏的时间点、视频播放器正在播放的视频的标识、视频播放器正在播放的视频的编码格式、视频播放器的播放分辨率以及视频播放器的播放策略中的至少一种。
其中,上述视频的标识可以是网络中唯一标识该视频的信息,比如,该视频的标识可以是该视频的文件名称、文件地址或者文件编号等等。
上述播放策略可以用于指示视频播放器可以请求或者接收的视频的编码格式,即视频播放器支持播放哪些编码格式的视频。
可选的,为了提高检测准确性,在本申请实施例中,当用户终端根据采集获得n组至少两个画面帧都确定出视频播放器的播放界面发生黑屏时,可以生成上述检测日志,其中,n为大于或者等于2的整数。
步骤406,用户终端向服务器发送黑屏报告,服务器接收该黑屏报告,黑屏报告中包含检测日志以及用户终端的设备信息。
上述设备信息可以是终端的能力信息,比如终端的硬件属性、网络带宽以及计算能力等。
在实际应用中,除了播放界面发生黑屏之外,视频中也可能会存在全黑的视频帧,或者,可能视频中存在一段时间的视频帧不变,因此,通过上述方案,可能会出现用户终端采集到的相邻两个画面帧都是全黑的视频帧或者是相同的视频帧的情况,为了避免这种情况下向服务器误发送黑屏报告,在本申请实施例中,用户终端只有在连续n次检测出视频播放器的播放界面发生黑屏时,才生成检测日志。反之,如果用户终端连续检测出视频播放器的播放界面发生黑屏的次数不足n,则用户终端可以不生成检测日志。
或者,在向服务器发送黑屏报告之前,用户终端可以检测报告条件是否成立,该报告条件包括连续n次确定出视频播放器的播放界面发生黑屏(即根据采集获得n组相邻画面帧都确定出视频播放器的播放界面发生黑屏);当报告条件成立时,执行向服务器发送黑屏报告的步骤。
其中,用户终端也可以在每次检测出视频播放器的播放界面发生黑屏时生成或者更新检测日志,比如更新日志中发生黑屏的时间点,并在连续n次检测出视频播放器的播放界面发生黑屏时,向服务器发送黑屏报告。
由于上述黑屏检测以及报告发送的过程在视频播放器播放视频的过程中执行,为避免影响播放流畅性,在本申请实施例中,可以通过视频播放器之外的子线程启动黑屏检测和报告发送的任务。
本申请实施例所示的方案,还可以通过视频播放器中的开关功能控制是否启动黑屏检测。比如,视频播放器中可以设置一个黑屏检测开关,用户可以通过该黑屏检测开关启动或者关闭黑屏检测功能。当黑屏检测开关处于打开状态时,用户终端可以执行上述黑屏检测的流程,而当黑屏检测开关处于关闭状态时,用户终端不执行上述黑屏检测的流程。
或者,服务器也可以通过渠道或者灰度比例来控制哪些用户终端启动黑屏检测。比如,服务器可以向通过指定渠道(比如某指定的应用市场)下载安装视频播放器的用户终端发送检测指示,用户终端接收到该检测指示后,后续视频播放器播放视频时,可以执行上述黑屏检测的流程。或者,服务器可以按照预定的比例确定所有安装有视频播放器的用户终端中的部分用户终端,并向确定的用户终端发送检测指示,用户终端接收到该检测指示后,后续视频播放器播放视频时,可以执行上述黑屏检测的流程。
步骤407,服务器根据该黑屏报告生成策略调整信息。
在本申请实施例中,服务器可以在报告展示界面中,将各个用户终端发送的黑屏报告展示给开发人员或者维护人员,由开发人员或者维护人员根据展示的黑屏报告进行问题定位和分析,并根据问题定位和分析对播放策略进行调整。比如,服务器可以接收开发人员或者测试人员在策略调整界面中执行的策略调整操作,根据接收到的策略调整操作生成策略调整信息。该策略调整信息可以用于在指示视频播放器在策略调整后支持的编码格式。
步骤408,服务器向用户终端发送该策略调整信息,用户终端接收该策略调整信息。
在本申请实施例中,服务器生成策略调整信息后,可以将策略调整信息分批或者统一下发至安装有视频播放器的各个用户终端,以便用户终端及时修复黑屏问题。
步骤409,用户终端根据策略调整信息调整视频播放器的播放策略。
用户终端接收到服务器下发的策略调整信息后,可以根据策略调整信息调整视频播放器的播放策略。
其中,上述用户终端执行的步骤可以由用户终端的视频播放器来实现,或者,也可以由用户终端中的视频播放器之外的应用程序、插件或者系统来实现。
以上述用户终端执行的步骤由视频播放器实现为例,请参考图5,其示出了本申请实施例涉及的一种根据汉明距离检测黑屏并进行和黑屏修复的流程示意图。如图5所述,上述黑屏检测和修复流程可以如下:
51)视频播放器获取视频流,解码并在播放界面中进行播放。
52)视频播放器播放视频过程中,按照指定采样频率获取到一帧画面帧;
53)视频播放器将获取到的画面帧进行灰度处理,得到hash矩阵值。
54)视频播放器获取相邻两个画面帧的汉明距离。
55)判断汉明距离是否小于阈值,如果小于设定的阀值,可以认为视频播放过程中出现黑屏问题,反之返回步骤52继续采集画面帧。
56)视频播放器在检测日志中打印出现黑屏问题的时间点,播放的片源,片源的编码格式,播放的清晰度以及使用的播放器策略等等信息,并将检测日志和设备信息上报到服务器。
57)服务器收到上报,及时分析定位问题原因,调整播放策略,并下发到用户端,修复黑屏问题,以便视频播放器根据调整后的播放策略播放视频。
综上所述,本申请实施例所示的方案,在视频播放器处于播放状态时,以低于播放帧率的采样频率采集播放界面中的画面帧,当采集到的至少两个画面这之间的相似度满足预设条件时,确定视频播放器的播放界面发生黑屏,在此过程中,由于比对的至少两个画面帧是从同一播放界面中采集到的画面帧,当两个画面帧都是黑屏画面的图像帧时,这两个画面帧之间可以保证足够的一致性,能够有效避免黑屏的漏检测,从而达到提高黑屏检测的准确性的效果。
此外,本申请实施例所示的方案,在采集画面帧之前,根据视频播放器正在播放的视频的播放时长确定指定采样频率,且指定采样频率与视频的播放时长成反相关,从而兼顾了采样的覆盖率和准确性。
本申请上述实施例所示的方案,将黑屏检测集成在视频播放过程中,即用户终端在播放视频流时,按照一定采样频率截取播放的画面帧,通过两个画面帧之间的对比识别来检测是否出现黑屏,一旦发现黑屏问题,实时上报到后台的服务器,由后台的服务器根据上报情况及时分析处理。
从适用平台来看,本申请上述实施例所示的方案可以应用于移动端、TV等任何视频播放场景。
从应用阶段来看,本申请上述实施例所示的方案可以应用于视频播放器的测试阶段和外网应用截断。
其中,在测试阶段,通过本方案可以实现播放检测的全自动化,提升视频播放器的测试效率。具体的,在日常播放器测试方面,比如上线新的播放编码格式片源或者调整播放策略后,通过上述自动化检测方案,可以覆盖更多设备的兼容性,将测试人员从繁琐的人工检测中释放出来。
在外网应用阶段,通过本方案可以实时获取用户播放体验,同时补充测试阶段设备覆盖不足的缺陷。具体的,在现网监控方面,对于设备出现播放黑屏问题只有依靠用户反馈,无法及时发现黑屏的问题,通过上述方案可以实时监控线上设备播放黑屏问题,可以及时调整播放策略,改善用户体验。
此外,在定位播放黑屏问题方面,播放检测集成在视频播放过程中,在发现黑屏问题时,可以在检测日志中打印相关播放信息,并且把日志和设备信息上报到后台的服务器,便于后期定位分析问题。
图6是根据一示例性实施例示出的一种黑屏检测装置的结构方框图。该黑屏检测装置可以用于如图1所示系统所包含的用户终端120中,以执行图2或图4所示实施例提供的方法中,由用户终端执行的全部或者部分步骤。该黑屏检测装置可以包括:
采样模块601,用于在所述视频播放器处于播放状态时,按照指定采样频率采集所述视频播放器的播放界面中正在播放的画面帧,所述指定采样频率的数值小于所述视频播放器的播放帧率的数值;
指示信息获取模块602,用于获取采集到的至少两个画面帧之间的相似指示信息,所述相似指示信息用于指示所述至少两个画面帧之间的相似度;
黑屏确定模块603,用于当所述相似指示信息指示的至少两个画面帧之间相似度满足预设条件时,确定所述视频播放器的播放界面发生黑屏。
可选的,所述预设条件包括以下条件中的至少一种:
所述至少两个画面帧中的任意相邻两个画面帧之间的相似度大于第一相似度阈值;
所述至少两个画面帧中的每相邻两个画面帧之间的相似度大于第二相似度阈值;
以及,所述至少两个画面帧中的第i个画面帧与第i+j个画面帧之间的相似度大于第三相似度阈值,i为大于或者等于1的整数,j为大于或者等于2的整数。
可选的,所述装置还包括:
时长获取模块,用于在所述采样模块按照指定采样频率采集视频播放器的播放界面中正在播放的视频帧之前,获取所述视频播放器正在播放的视频的播放时长;
频率确定模块,用于根据所述播放时长确定所述指定采样频率,所述播放时长与所述指定采样频率成反相关。
可选的,所述指示信息获取模块,具体用于,
对所述至少两个画面帧分别进行灰度处理,获得所述至少两个画面帧各自的哈希矩阵值;
计算所述至少两个画面帧各自的哈希矩阵值之间的汉明距离;
将所述至少两个画面帧各自的哈希矩阵值之间的汉明距离作为所述相似指示信息,所述至少两个画面帧各自的哈希矩阵值之间的汉明距离与所述至少两个画面帧之间的相似度成反相关。
可选的,所述指示信息获取模块,具体用于,
通过相同的特征点提取算法分别提取所述至少两个画面帧的特征点;
计算所述至少两个画面帧的特征点中的相同特征点的比例;
将所述至少两个画面帧的特征点中的相同特征点的比例作为所述相似指示信息,所述至少两个画面帧的特征点中的相同特征点的比例与所述至少两个画面帧之间的相似度成正相关。
可选的,所述装置还包括:
日志生成模块,用于生成检测日志,所述检测日志包含发生黑屏的时间点、所述视频播放器正在播放的视频的标识、所述视频播放器正在播放的视频的编码格式、所述视频播放器的播放分辨率以及所述视频播放器的播放策略中的至少一种;
报告发送模块,用于向服务器发送黑屏报告,所述黑屏报告中包含所述检测日志以及所述用户终端的设备信息。
可选的,所述装置还包括:
信息接收模块,用于接收所述服务器根据所述黑屏报告生成的策略调整信息;
策略调整模块,用于根据所述策略调整信息调整所述视频播放器的播放策略。
可选的,所述方法还包括:
检测模块,用于在所述报告发送模块向服务器发送黑屏报告之前,检测报告条件是否成立,所述报告条件包括连续n次确定出所述视频播放器的播放界面发生黑屏;
所述报告发送模块,具体用于当所述报告条件成立时,执行所述向服务器发送黑屏报告的步骤。
综上所述,本申请实施例所示的装置,在视频播放器处于播放状态时,以低于播放帧率的采样频率采集播放界面中的画面帧,当采集到的至少两个画面这之间的相似度满足预设条件时,确定视频播放器的播放界面发生黑屏,在此过程中,由于比对的至少两个画面帧是从同一播放界面中采集到的画面帧,当两个画面帧都是黑屏画面的图像帧时,这两个画面帧之间可以保证足够的一致性,能够有效避免黑屏的漏检测,从而达到提高黑屏检测的准确性的效果。
此外,本申请实施例所示的装置,在采集画面帧之前,根据视频播放器正在播放的视频的播放时长确定指定采样频率,且指定采样频率与视频的播放时长成反相关,从而兼顾了采样的覆盖率和准确性。
图7是根据一示例性实施例示出的一种服务器的结构示意图。所述服务器可以实现为上述图1所示的实施环境中的服务器120。所述服务器700包括中央处理单元(CPU)701、包括随机存取存储器(RAM)702和只读存储器(ROM)703的系统存储器704,以及连接系统存储器704和中央处理单元701的系统总线705。所述服务器700还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)706,和用于存储操作系统713、应用程序714和其他程序模块715的大容量存储设备707。
所述基本输入/输出系统706包括有用于显示信息的显示器708和用于用户输入信息的诸如鼠标、键盘之类的输入设备709。其中所述显示器708和输入设备709都通过连接到系统总线705的输入输出控制器710连接到中央处理单元701。所述基本输入/输出系统706还可以包括输入输出控制器710以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地,输入输出控制器710还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备707通过连接到系统总线705的大容量存储控制器(未示出)连接到中央处理单元701。所述大容量存储设备707及其相关联的计算机可读介质为服务器700提供非易失性存储。也就是说,所述大容量存储设备707可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。
不失一般性,所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术,CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然,本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器704和大容量存储设备707可以统称为存储器。
服务器700可以通过连接在所述系统总线705上的网络接口单元711连接到互联网或者其它网络设备。
所述存储器还包括一个或者一个以上的程序,所述一个或者一个以上程序存储于存储器中,中央处理器701通过执行该一个或一个以上程序来实现图4所示的方法中,由服务器所执行的步骤。
图8是根据一示例性实施例示出的计算机设备800的结构框图。该计算机设备800可以是终端,比如智能手机、平板电脑、电子书阅读器、智能眼镜、智能手表、MP3播放器(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。计算机设备800还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,计算机设备800包括有:处理器801和存储器802。
处理器801可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器801可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器801也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器801可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器801还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器802可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器802还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器802中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器801所执行以实现本申请中各个方法实施例提供的方法中由用户终端执行的方法。
在一些实施例中,计算机设备800还可选包括有:外围设备接口803和至少一个外围设备。处理器801、存储器802和外围设备接口803之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口803相连。具体地,外围设备包括:射频电路804、触摸显示屏805、图像采集组件806、音频电路807、定位组件808和电源809中的至少一种。
外围设备接口803可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器801和存储器802。在一些实施例中,处理器801、存储器802和外围设备接口803被集成在同一芯片或电路板上;在一些其他实施例中,处理器801、存储器802和外围设备接口803中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路804用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路804通过电磁信号与通信网络以及其他通信设备进行通信。射频电路804将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路804包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路804可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路804还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏805用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏805是触摸显示屏时,显示屏805还具有采集在显示屏805的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器801进行处理。此时,显示屏805还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏805可以为一个,设置计算机设备800的前面板;在另一些实施例中,显示屏805可以为至少两个,分别设置在计算机设备800的不同表面或呈折叠设计;在再一些实施例中,显示屏805可以是柔性显示屏,设置在计算机设备800的弯曲表面上或折叠面上。甚至,显示屏805还可以设置成非矩形的不规则图形,也即异形屏。显示屏805可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-EmittingDiode,有机发光二极管)等材质制备。
图像采集组件806用于采集图像或视频。可选地,图像采集组件806包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,图像采集组件806还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路807可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器801进行处理,或者输入至射频电路804以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在计算机设备800的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器801或射频电路804的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路807还可以包括耳机插孔。
定位组件808用于定位计算机设备800的当前地理位置,以实现导航或LBS(Location Based Service,基于位置的服务)。定位组件808可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
电源809用于为计算机设备800中的各个组件进行供电。电源809可以是交流电、直流电、一次性电池或可充电电池。当电源809包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池,无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中,计算机设备800还包括有一个或多个传感器810。该一个或多个传感器810包括但不限于:加速度传感器811、陀螺仪传感器812、压力传感器813、指纹传感器814、光学传感器815以及接近传感器816。
加速度传感器811可以检测以计算机设备800建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器811可以用于检测重力加速度在三个坐标轴上的分量。处理器801可以根据加速度传感器811采集的重力加速度信号,控制触摸显示屏805以横向视图或纵向视图进行用户界面的显示。加速度传感器811还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器812可以检测计算机设备800的机体方向及转动角度,陀螺仪传感器812可以与加速度传感器811协同采集用户对计算机设备800的3D动作。处理器801根据陀螺仪传感器812采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器813可以设置在计算机设备800的侧边框和/或触摸显示屏805的下层。当压力传感器813设置在计算机设备800的侧边框时,可以检测用户对计算机设备800的握持信号,由处理器801根据压力传感器813采集的握持信号进行左右手识别或快捷操作。当压力传感器813设置在触摸显示屏805的下层时,由处理器801根据用户对触摸显示屏805的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器814用于采集用户的指纹,由处理器801根据指纹传感器814采集到的指纹识别用户的身份,或者,由指纹传感器814根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器801授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器814可以被设置计算机设备800的正面、背面或侧面。当计算机设备800上设置有物理按键或厂商Logo时,指纹传感器814可以与物理按键或厂商Logo集成在一起。
光学传感器815用于采集环境光强度。在一个实施例中,处理器801可以根据光学传感器815采集的环境光强度,控制触摸显示屏805的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏805的显示亮度;当环境光强度较低时,调低触摸显示屏805的显示亮度。在另一个实施例中,处理器801还可以根据光学传感器815采集的环境光强度,动态调整图像采集组件806的拍摄参数。
接近传感器816,也称距离传感器,通常设置在计算机设备800的前面板。接近传感器816用于采集用户与计算机设备800的正面之间的距离。在一个实施例中,当接近传感器816检测到用户与计算机设备800的正面之间的距离逐渐变小时,由处理器801控制触摸显示屏805从亮屏状态切换为息屏状态;当接近传感器816检测到用户与计算机设备800的正面之间的距离逐渐变大时,由处理器801控制触摸显示屏805从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图8中示出的结构并不构成对计算机设备800的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括计算机程序(指令)的存储器,上述程序(指令)可由服务器的处理器执行以完成本申请各个实施例所示的方法中,由用户终端或者服务器执行的步骤。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (13)

1.一种黑屏检测方法,其特征在于,用于安装有视频播放器的用户终端中,所述方法包括:
获取所述视频播放器正在播放的视频的播放时长;
根据所述播放时长,按照预先设置的计算公式计算指定采样频率,所述计算公式的输入为所述播放时长的数值,输出为采样频率的数值,所述播放时长与所述指定采样频率成反相关;
在所述视频播放器处于播放状态时,按照所述指定采样频率采集所述视频播放器的播放界面中正在播放的画面帧,所述指定采样频率的数值小于所述视频播放器的播放帧率的数值;
获取采集到的至少两个画面帧之间的相似指示信息,所述相似指示信息用于指示所述至少两个画面帧之间的相似度;
当所述至少两个画面帧之间的相似度满足预设条件时,确定所述视频播放器的播放界面发生黑屏。
2.根据权利要求1所述的方法,其特征在于,所述预设条件包括以下条件中的至少一种:
所述至少两个画面帧中的任意相邻两个画面帧之间的相似度大于第一相似度阈值;
所述至少两个画面帧中的每相邻两个画面帧之间的相似度大于第二相似度阈值;
以及,所述至少两个画面帧中的第i个画面帧与第i+j个画面帧之间的相似度大于第三相似度阈值,i为大于或者等于1的整数,j为大于或者等于2的整数。
3.根据权利要求1所述的方法,其特征在于,所述获取采集到的至少两个画面帧之间的相似指示信息,包括:
对所述至少两个画面帧分别进行灰度处理,获得所述至少两个画面帧各自的哈希矩阵值;
计算所述至少两个画面帧各自的哈希矩阵值之间的汉明距离;
将所述至少两个画面帧各自的哈希矩阵值之间的汉明距离作为所述相似指示信息,所述至少两个画面帧各自的哈希矩阵值之间的汉明距离与所述至少两个画面帧之间的相似度成反相关。
4.根据权利要求1所述的方法,其特征在于,所述获取采集到的至少两个画面帧之间的相似指示信息,包括:
通过相同的特征点提取算法分别提取所述至少两个画面帧的特征点;
计算所述至少两个画面帧的特征点中的相同特征点的比例;
将所述至少两个画面帧的特征点中的相同特征点的比例作为所述相似指示信息,所述至少两个画面帧的特征点中的相同特征点的比例与所述至少两个画面帧之间的相似度成正相关。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
生成检测日志,所述检测日志包含发生黑屏的时间点、所述视频播放器正在播放的视频的标识、所述视频播放器正在播放的视频的编码格式、所述视频播放器的播放分辨率以及所述视频播放器的播放策略中的至少一种;
向服务器发送黑屏报告,所述黑屏报告中包含所述检测日志以及所述用户终端的设备信息。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
接收所述服务器根据所述黑屏报告生成的策略调整信息;
根据所述策略调整信息调整所述视频播放器的播放策略。
7.根据权利要求5所述的方法,其特征在于,所述方法还包括:
在向服务器发送黑屏报告之前,检测报告条件是否成立,所述报告条件包括连续n次确定出所述视频播放器的播放界面发生黑屏;
所述向服务器发送黑屏报告,包括:
当所述报告条件成立时,执行所述向服务器发送黑屏报告的步骤。
8.一种黑屏检测装置,其特征在于,用于安装有视频播放器的用户终端中,所述装置包括:
时长获取模块,获取所述视频播放器正在播放的视频的播放时长;
频率确定模块,根据所述播放时长,按照预先设置的计算公式计算指定采样频率,所述计算公式的输入为所述播放时长的数值,输出为采样频率的数值,所述播放时长与所述指定采样频率成反相关;
采样模块,用于在所述视频播放器处于播放状态时,按照所述指定采样频率采集所述视频播放器的播放界面中正在播放的画面帧,所述指定采样频率的数值小于所述视频播放器的播放帧率的数值;
指示信息获取模块,用于获取采集到的至少两个画面帧之间的相似指示信息,所述相似指示信息用于指示所述至少两个画面帧之间的相似度;
黑屏确定模块,用于当所述至少两个画面帧之间的相似度满足预设条件时,确定所述视频播放器的播放界面发生黑屏。
9.根据权利要求8所述的装置,其特征在于,所述预设条件包括以下条件中的至少一种:
所述至少两个画面帧中的任意相邻两个画面帧之间的相似度大于第一相似度阈值;
所述至少两个画面帧中的每相邻两个画面帧之间的相似度大于第二相似度阈值;
以及,所述至少两个画面帧中的第i个画面帧与第i+j个画面帧之间的相似度大于第三相似度阈值,i为大于或者等于1的整数,j为大于或者等于2的整数。
10.根据权利要求8所述的装置,其特征在于,所述指示信息获取模块,具体用于,
对所述至少两个画面帧分别进行灰度处理,获得所述至少两个画面帧各自的哈希矩阵值;
计算所述至少两个画面帧各自的哈希矩阵值之间的汉明距离;
将所述至少两个画面帧各自的哈希矩阵值之间的汉明距离作为所述相似指示信息,所述至少两个画面帧各自的哈希矩阵值之间的汉明距离与所述至少两个画面帧之间的相似度成反相关。
11.根据权利要求8所述的装置,其特征在于,所述指示信息获取模块,具体用于,
通过相同的特征点提取算法分别提取所述至少两个画面帧的特征点;
计算所述至少两个画面帧的特征点中的相同特征点的比例;
将所述至少两个画面帧的特征点中的相同特征点的比例作为所述相似指示信息,所述至少两个画面帧的特征点中的相同特征点的比例与所述至少两个画面帧之间的相似度成正相关。
12.一种计算机设备,其特征在于,所述计算机设备包含处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至7任一所述的黑屏检测方法。
13.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至7任一所述的黑屏检测方法。
CN201811095812.3A 2018-09-19 2018-09-19 黑屏检测方法、装置、计算机设备及存储介质 Active CN109005457B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811095812.3A CN109005457B (zh) 2018-09-19 2018-09-19 黑屏检测方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811095812.3A CN109005457B (zh) 2018-09-19 2018-09-19 黑屏检测方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN109005457A CN109005457A (zh) 2018-12-14
CN109005457B true CN109005457B (zh) 2021-04-02

Family

ID=64591765

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811095812.3A Active CN109005457B (zh) 2018-09-19 2018-09-19 黑屏检测方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN109005457B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3916709B1 (en) * 2020-05-26 2023-10-18 Beijing Xiaomi Mobile Software Co., Ltd. Image processing method and device, electronic device, and storage medium

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109726031A (zh) * 2018-12-27 2019-05-07 努比亚技术有限公司 一种冻屏监测方法、移动终端及计算机可读存储介质
CN109939439B (zh) * 2019-03-01 2022-04-05 腾讯科技(深圳)有限公司 虚拟角色的卡住检测方法、模型训练方法、装置及设备
CN110457177B (zh) * 2019-07-24 2024-01-09 Oppo广东移动通信有限公司 开机异常检测方法及装置、电子设备、存储介质
CN112527539B (zh) * 2019-08-28 2023-10-03 腾讯科技(深圳)有限公司 一种界面检测的方法以及相关装置
CN112162888A (zh) * 2020-09-18 2021-01-01 深圳Tcl新技术有限公司 显示器黑屏的原因的确定方法、装置和计算机存储介质
CN112153373A (zh) * 2020-09-23 2020-12-29 平安国际智慧城市科技股份有限公司 明厨亮灶设备的故障识别方法、装置及存储介质
CN112511818B (zh) * 2020-11-24 2022-08-19 上海哔哩哔哩科技有限公司 视频播放质量检测方法、装置
CN113313036B (zh) * 2021-06-01 2024-03-22 北京市博汇科技股份有限公司 一种节目播放状态的检测方法及检测系统
CN114007065B (zh) * 2021-11-02 2023-05-30 深圳市瑞云科技有限公司 一种基于WebRTC实时音视频黑屏检测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103780899A (zh) * 2012-10-25 2014-05-07 华为技术有限公司 一种检测摄像机是否被干扰的方法、装置及视频监控系统
CN104281679A (zh) * 2014-09-30 2015-01-14 东软集团股份有限公司 基于图像特征的商品分类方法及装置
CN104615988A (zh) * 2015-02-04 2015-05-13 四川中科腾信科技有限公司 一种图像识别方法
CN104936032A (zh) * 2015-06-03 2015-09-23 北京百度网讯科技有限公司 网络视频播放方法及装置
CN105516718A (zh) * 2015-12-11 2016-04-20 四川长虹电器股份有限公司 自动检测安卓智能电视黑屏的方法
CN105872760A (zh) * 2015-12-02 2016-08-17 乐视网信息技术(北京)股份有限公司 一种视频播放监测方法及装置
CN107509107A (zh) * 2017-09-20 2017-12-22 广州视源电子科技股份有限公司 视频播放故障的检测方法、装置及设备、可读介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100323678B1 (ko) * 2000-02-28 2002-02-07 구자홍 화면비 변환 장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103780899A (zh) * 2012-10-25 2014-05-07 华为技术有限公司 一种检测摄像机是否被干扰的方法、装置及视频监控系统
CN104281679A (zh) * 2014-09-30 2015-01-14 东软集团股份有限公司 基于图像特征的商品分类方法及装置
CN104615988A (zh) * 2015-02-04 2015-05-13 四川中科腾信科技有限公司 一种图像识别方法
CN104936032A (zh) * 2015-06-03 2015-09-23 北京百度网讯科技有限公司 网络视频播放方法及装置
CN105872760A (zh) * 2015-12-02 2016-08-17 乐视网信息技术(北京)股份有限公司 一种视频播放监测方法及装置
CN105516718A (zh) * 2015-12-11 2016-04-20 四川长虹电器股份有限公司 自动检测安卓智能电视黑屏的方法
CN107509107A (zh) * 2017-09-20 2017-12-22 广州视源电子科技股份有限公司 视频播放故障的检测方法、装置及设备、可读介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3916709B1 (en) * 2020-05-26 2023-10-18 Beijing Xiaomi Mobile Software Co., Ltd. Image processing method and device, electronic device, and storage medium

Also Published As

Publication number Publication date
CN109005457A (zh) 2018-12-14

Similar Documents

Publication Publication Date Title
CN109005457B (zh) 黑屏检测方法、装置、计算机设备及存储介质
CN110881136B (zh) 视频帧率控制方法、装置、计算机设备及存储介质
CN109600678B (zh) 信息展示方法、装置及系统、服务器、终端、存储介质
CN108093268B (zh) 进行直播的方法和装置
CN110992493A (zh) 图像处理方法、装置、电子设备及存储介质
CN111107389B (zh) 确定观看直播时长的方法、装置和系统
CN109522863B (zh) 耳部关键点检测方法、装置及存储介质
CN110769313B (zh) 视频处理方法及装置、存储介质
CN108616776B (zh) 直播分析数据获取方法及装置
CN109360222B (zh) 图像分割方法、装置及存储介质
CN110533585B (zh) 一种图像换脸的方法、装置、系统、设备和存储介质
CN111083526B (zh) 视频转场方法、装置、计算机设备及存储介质
CN108831513B (zh) 录制音频数据的方法、终端、服务器和系统
CN110958465A (zh) 视频流推送方法、装置及存储介质
CN111144365A (zh) 活体检测方法、装置、计算机设备及存储介质
CN110839174A (zh) 图像处理的方法、装置、计算机设备以及存储介质
CN110659542A (zh) 监控方法及装置
CN111083513B (zh) 直播画面处理方法、装置、终端及计算机可读存储介质
CN115880213A (zh) 显示异常检测方法、装置及系统
CN110189348B (zh) 头像处理方法、装置、计算机设备及存储介质
CN111586279B (zh) 确定拍摄状态的方法、装置、设备及存储介质
CN111753606A (zh) 一种智能模型的升级方法及装置
CN111050211B (zh) 视频处理方法、装置及存储介质
CN110134902B (zh) 资料信息生成方法、装置及存储介质
CN108260023B (zh) 进行直播的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant