CN111866583B - 一种视频监控资源的调整方法、装置、介质及电子设备 - Google Patents
一种视频监控资源的调整方法、装置、介质及电子设备 Download PDFInfo
- Publication number
- CN111866583B CN111866583B CN201910335331.3A CN201910335331A CN111866583B CN 111866583 B CN111866583 B CN 111866583B CN 201910335331 A CN201910335331 A CN 201910335331A CN 111866583 B CN111866583 B CN 111866583B
- Authority
- CN
- China
- Prior art keywords
- video
- detected
- quality
- key frame
- playing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000004458 analytical method Methods 0.000 claims abstract description 16
- 238000013441 quality evaluation Methods 0.000 claims description 12
- 238000012935 Averaging Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 230000001965 increasing effect Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000001303 quality assessment method Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明实施例提供了一种视频监控资源的调整方法、装置、介质及电子设备，包括：从播放视频中截取待检测关键帧，并从视频源中获取对应的源关键帧；将源关键帧与对应的待检测关键帧进行结构相似度分析，确定出待检测关键帧的质量得分；根据平均预设时间段内的各待检测关键帧的质量得分，获得播放视频的质量得分；基于播放视频的质量得分，调整用于监控视频播放质量的资源。本发明实施例的技术方案能够对当前用户播放视频进行质量评估，并对当前视频质量快速做出反馈，调节监控时间段，以此来节省开销，灵活进行监控，业务方还可以根据自己需求调节监控强度以及自行调节对于不同质量的反馈操作。
Description
技术领域
本发明涉及基于视频质量诊断技术领域，具体而言，涉及一种视频监控资源的调整方法及一种视频监控资源的调整装置。
背景技术
随着视频数字化的快速发展，以视频为载体的互联网娱乐形式越来越为常见。数字视频数据的呈现往往需要经过采样、压缩、处理、编码、传输和重建等一系列的环节，每一个环节都会造成各种各样的失真，同时在视频播放时受网络状况、设备条件等因素影响也会导致视频的呈现质量良莠不齐，所以在视频播放中卡顿、加载时间久、缓存时间久、直播延时、运动跳跃、模糊、失真等各种各样的质量问题比比皆是，严重影响着用户体验。
目前市场上，明显存在着视频质量监控评估技术缺乏的问题，由于视频体积大、播放时间长、变化快，难以获取其特征等各种各样的问题，视频的监控评估机制一直难以开展，除此之外，视频质量往往会涉及很多方面的因素，如视频的清晰度、色彩、噪声、亮度、网络状态、硬件条件等等，目前的监控技术往往难以囊括各个方面。目前，对于视频质量的监控评估比较常见的在于对摄像头录像质量会有一些相应的监控体系，但日常的移动端视频、短视频、直播等基本没有比较系统的监控体系，只有比较基础的网络中断、卡顿等的检测，若能实现对于客户观看视频质量的智能识别调节及反馈，将大大提高用户使用体验。对于视频质量的监控评估成为了亟待解决的技术问题。
目前对于视频质量的诊断主要可以分为两类：主观质量评估和客观质量评估，其中，
(1)主观质量评估：利用人对视频质量的直观感受作为对象来进行的质量评判和得到(MOS，Mean Opinion Score)分值，具体来说就是让多人在标准规定的测试环境、设备、素材、流程等条件下进行人为观看视频并进行打分，来对视频质量进行评判，该方法被认为是目前来说准确性较高的，但也是弊端较大的，由于采用人工的方式，人力开销大、易产生人力疲劳，难以适用于当前视频量巨大，由于网络、载体不同状态随时变化的情况。
(2)客观质量评估，采用一些数学模型来模拟主观评估的结果，主要包括以下三大算法：
Full Reference算法，该方法是基于原始图像和压缩后图像同一位置的每一个像素比较和运算得到的客观质量评分。
No Reference算法，该方法只利用解码后的视频信号来估计视频中可能存在的质量问题。
Reduced Reference算法，该方法能够对原始视频和解码视频提取一些特征进行比较，从而计算出客观评估分值。在一些无法得到原始视频的应用场景下(如流媒体视频或者视频通信)，可以通过有限带宽传输这些原始视频的特征，再提取相同的接收端解码视频特征，与原始视频的特征比较来预测评估当前视频的质量。
结合上述对当前主流开发方案的总结，主要弊端归结如下：
(1)采用人工巡查：移动端视频爆炸式增长的视频量及更新速度，明显使用人工巡查式不现实的；另外人工巡查的检测内容是十分局限的标准不统一、工作量大、时间成本高；视频的播放质量受客户端的网络状况、硬件条件等的影响是占非常大比例的，人工巡查明显无法涉及到这些方面；
(2)采用现有的视频质量诊断方案：当前主流的视频质量诊断方案都有着性能开销大，无法实时反馈的问题，所以适用性、可用性较低。除此之外每个方案也都有着自己的弊端：Full Reference算法强依赖于对于原始视频的获取，在用户播放视频时还需要获取原始视频同时段的图像来进行判断，其计算时间和资源开销将会非常大，每一个视频的播放都会带来大量的计算，对于资源消耗时非常大的；No Reference算法只利用解码后的视频信号来评估质量，没有原始视频的参考，只能根据当前视频情况进行判断，能难估计到视频的失真量；Reduced Reference算法相对成熟，但算法开销较大，实时性较低。易知，当前常见的视频质量诊断方案都需要对整段视频作为输入进行诊断评估，会随之带来传输、计算、存储等各个方面的巨大开销，运用开销较大，在当前大流量、快更替、终端多的情形下，是不太适合运用到视频质量评估中的。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本发明实施例的目的在于提供一种视频监控资源的调整方法及一种视频监控资源的调整装置，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的视频质量评估效率低、耗费大等一个或者多个问题。
本发明实施例的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。
根据本发明实施例的第一方面，提供一种视频监控资源的调整方法，包括：
从播放视频中截取待检测关键帧，并从视频源中获取对应的源关键帧；
将源关键帧与对应的待检测关键帧进行结构相似度分析，确定出待检测关键帧的质量得分；
根据平均预设时间段内的各待检测关键帧的质量得分，获得播放视频的质量得分；
基于播放视频的质量得分，调整用于监控视频播放质量的资源。
在本发明的一个实施例中，上述从播放视频中截取待检测关键帧，包括：按照预设的截取频率，从播放视频中截取待检测关键帧。
在本发明的一个实施例中，上述从视频源中获取对应的源关键帧，包括：
根据待检测关键帧提取出视频地址以及视频帧数；
根据视频地址在预设的视频数据库中确定出视频源；
根据视频帧数从视频源中确定出对应帧的图像，并确定为源关键帧。
在本发明的一个实施例中，上述将源关键帧与对应的待检测关键帧进行结构相似度分析，确定出待检测关键帧的质量得分，包括:
分别计算出源关键帧和待检测关键帧的亮度数据和对比度数据；
基于亮度数据和对比度数据，计算出源关键帧和待检测关键帧之间的结构相似度指数；
将结构相似度指数确定为待检测关键帧的质量得分。
在本发明的一个实施例中，上述确定出待检测关键帧的质量得分之后，方法还包括：
根据待检测关键帧的质量得分动态调整从播放视频中截取待检测关键帧的截取频率。
在本发明的一个实施例中，上述对预设时间段内的各待检测关键帧的质量得分进行平均，获得播放视频的质量得分，包括：
获取预设时间段内的各待检测关键帧，并设定有效参考时间段长度，其中，预设时间段的时间长度小于播放视频的播放时长；
将当前时间的待检测关键帧的质量得分以及当前之间之前有效参考时间段长度内的各待检测关键帧的质量得分进行平均，将平均后的得分确定为播放视频的质量得分。
在本发明的一个实施例中，上述基于播放视频的质量得分，调整用于监控视频播放质量的资源，包括：
当播放视频的质量得分低于预设的阈值时，提高截取待检测关键帧的截取频率；
当播放视频的质量得分高于预设的阈值时，降低截取待检测关键帧的截取频率。
根据本发明实施例的第二方面，提供一种视频监控资源的调整装置，包括：截取模块、分析模块、平均模块、调整模块；其中，
截取模块，用于从播放视频中截取待检测关键帧，并从视频源中获取对应的源关键帧；
分析模块，用于将源关键帧与对应的待检测关键帧进行结构相似度分析，确定出待检测关键帧的质量得分；
平均模块，用于对预设时间段内的各待检测关键帧的质量得分进行平均，获得播放视频的质量得分；
调整模块，用于基于播放视频的质量得分，调整用于监控视频播放质量的资源。
根据本发明实施例的第三方面，提供了一种计算机可读介质，其上存储有计算机程序，程序被处理器执行时实现如上述实施例中第一方面的视频监控资源的调整方法。
根据本发明实施例的第四方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现如上述实施例中第一方面的视频监控资源的调整方法。
本发明实施例提供的技术方案可以包括以下有益效果：
本发明的一些实施例所提供的技术方案中，从播放视频中截取待检测关键帧，并从视频源中获取对应的源关键帧；将源关键帧与对应的待检测关键帧进行结构相似度分析，确定出待检测关键帧的质量得分；根据平均预设时间段内的各待检测关键帧的质量得分，获得播放视频的质量得分；基于播放视频的质量得分，调整用于监控视频播放质量的资源。本发明实施例的技术方案能够对当前用户播放视频进行质量评估，并对当前视频质量快速做出反馈，调节监控时间段，以此来节省开销，灵活进行监控，另外，业务方可以根据自己需求调节监控强度、自行调节对于不同质量的反馈操作。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示意性示出了根据本发明的一个实施例的视频监控资源的调整方法的流程图；
图2示意性示出了根据本发明的一个实施例的动态截取待检测关键帧的流程图；
图3示意性示出了根据本发明的一个实施例的动态截取待检测关键帧的流程图；
图4示意性示出了根据本发明的一个实施例的获得播放视频的质量得分的流程图；
图5示意性示出了根据本发明的一个实施例的视频监控资源的调整装置的框图；
图6示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
图1示意性示出了根据本发明的一个实施例的视频监控资源的调整方法的流程图。
参照图1所示，根据本发明的一个实施例的视频监控资源的调整方法，包括以下步骤：
步骤S110，从播放视频中截取待检测关键帧，并从视频源中获取对应的源关键帧；
步骤S120，将源关键帧与对应的待检测关键帧进行结构相似度分析，确定出待检测关键帧的质量得分；
步骤S130，根据平均预设时间段内的各待检测关键帧的质量得分，获得播放视频的质量得分；
步骤S140，基于播放视频的质量得分，调整用于监控视频播放质量的资源。
图1所示实施例的技术方案能够对当前用户播放视频进行质量评估，并对当前视频质量快速做出反馈，调节监控时间段，以此来节省开销，灵活进行监控，另外，业务方可以根据自己需求调节监控强度、自行调节对于不同质量的反馈操作。
以下对图1中所示的各个步骤的实现细节进行详细阐述：
在步骤S110中，从播放视频中截取待检测关键帧，并从视频源中获取对应的源关键帧。
在本发明的一个实施例中，利用视频室由图片帧组成的特性，采用视频截帧的方式对播放视频的播放画面进行采集，获得待检测关键帧，并根据待检测关键帧的帧数从视频源中获取对应的源关键帧作为后续步骤质量评估的依据。
在本发明的一个实施例中，基于前述方案，按照预设的截取频率，从播放视频中截取待检测关键帧。
在本发明的一个实施例中，视频质量通常会因为设备、网络、数据传输损耗等各种原因，导致视频质量的损耗，而对待检测关键帧的截取和传输也会对视频传输的性能有较大消耗，因此，本发明的一个实施例提出了动态调整待检测关键帧的截取频率，例如，在用户播放视频的过程中，对视频进行关键帧的动态提取，以获得当前视频的关键帧图像作为当前时刻视频质量的评判依据，采用动态调整视频帧提取的频率来降低消耗，即当视频图像质量较高时，适当放宽截取频率，视频图像质量较差时提高截取频率。
图2示意性示出了根据本发明的一个实施例的动态截取待检测关键帧的流程图，参照图2所示，根据本发明的一个实施例的动态截取待检测关键帧流程，主要包括以下步骤：
(1)用户开始播放视频，取视频第1帧为待检测关键帧，取初始的截取频率n为当前截取频率，并截取当前待检测关键帧后追踪到其视频源该帧的源关键帧，截取的待检测关键帧和源关键帧将作为后面待检测关键帧质量评分依据；(2)根据当前截取频率间隔对应帧数后再次取一个关键帧，同时会根据图像质量评价得分按照分值区域调整截取频率为对应的截取频率，视频较为稳定质量较高，则会适当放宽截取频率，若视频质量较差则适当减小截取频率增大监控强度；(3)若监听到截取频率改变会重置当前截取频率，之后的关键帧截取将会按照新的截取频率n进行截取直到截取频率再次改变。
在本发明的一个实施例中，基于前述方案，根据待检测关键帧提取出视频地址以及视频帧数；根据视频地址在预设的视频数据库中确定出视频源；根据视频帧数从视频源中确定出对应帧的图像，并确定为源关键帧。
在本发明的一个实施例中，上述步骤S110通过对视频进行动态关键帧的提取，将视频降维到视频的关键帧，即每一个关键帧对应的图片，从而大大减少数据的传输量，大大加大对于质量评估的计算速度，同时介于图片质量评估技术的更为成熟降维到图片也大大提高的单帧的计算准确度。
在步骤S120中，将源关键帧与对应的待检测关键帧进行结构相似度分析，确定出待检测关键帧的质量得分。
在本发明的一个实施例中，分别计算出源关键帧和待检测关键帧的亮度数据和对比度数据；基于亮度数据和对比度数据，计算出源关键帧和待检测关键帧之间的结构相似度指数；将结构相似度指数确定为待检测关键帧的质量得分。
在本发明的一个实施例中，在确定出待检测关键帧的质量得分后，根据待检测关键帧的质量得分动态调整从播放视频中截取待检测关键帧的截取频率。
在本发明的一个实施例中，通过结构相似性(SSIM，Structural SimilarityIndex)算法计算待检测关键帧的质量得分，该算法从图像组成的角度将结构信息定义为独立于亮度、对比度的，反映场景中物体结构的属性，并将失真建模为亮度、对比度和结构三个不同因素的组合，其原理是通过计算源关键帧和待检测关集镇的结构相似度指数来评判经过压缩以及降噪之后的当前用户播放视频的图像质量。
图3示意性示出了根据本发明的一个实施例的动态截取待检测关键帧的流程图，参照图3所示，根据本发明的一个实施例的动态截取待检测关键帧流程，包括：分别计算截取到的待检测关键帧和对应的源关键帧的亮度数据和对比度数据，其中，亮度数据采集通过平均灰度来估计，对比度数据通过采用离散信号的标准差来计量，最后根据亮度数据、对比度数据以及结构的对比结果，利用SSIM算法得到待检测关键帧的SSIM指数，将该SSIM指数将作为待检测关键帧的质量得分。
在本发明的一个实施例中，上述步骤S120通过SSIM对待检测关键帧进行质量评估，大大提高了视频质量评估的效率、降低了复杂度，能够做到实时反馈当前视频质量。
在步骤S130中，根据平均预设时间段内的各待检测关键帧的质量得分，获得播放视频的质量得分。
在本发明的一个实施例中，在确定出播放视频中各待检测关键帧的质量得分后，对有效参考范围内的质量得分进行评均后即可确定出播放视频的质量得分，具体的，通过获取预设时间段内的各待检测关键帧，并设定有效参考时间段长度，其中，预设时间段的时间长度小于播放视频的播放时长；将当前时间的待检测关键帧的质量得分以及当前之间之前有效参考时间段长度内的各待检测关键帧的质量得分进行平均，将平均后的得分确定为播放视频的质量得分。
图4示意性示出了根据本发明的一个实施例的获得播放视频的质量得分的流程图，参照图4所示，根据本发明的一个实施例的获得播放视频的质量得分，包括：根据视频帧的图片质量评估来进行动态规划，获取当前时间段内的视频质量，其有效参考时间段长度为n，以当前视频帧及之前n时间段内的平均SSIM得分来作为当前播放视频的质量得分。
步骤S140，基于播放视频的质量得分，调整用于监控视频播放质量的资源。
在本发明的一个实施例中，上述基于播放视频的质量得分，调整用于监控视频播放质量的资源具体包括：当播放视频的质量得分低于预设的阈值时，提高截取待检测关键帧的截取频率；当播放视频的质量得分高于预设的阈值时，降低截取待检测关键帧的截取频率，如此，根据当前视频质量得分进行监控强度的调整，评分低加强监控，即提高截帧频率，评分高减少监控强度，降低截帧频率，以达到向业务方提供可控可供选择的监控频率及反馈机制，通过根据视频质量评估反馈动态调节视频帧截取频率来节省开销，提高效率，能够灵活进行调节和监控，同时不同的业务也可以根据自己业务需求通过调节监控截帧频率的下发调节监控强度。
需要说明的是，上述内容，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。
以下介绍本发明的装置实施例，可以用于执行本发明上述的视频监控资源的调整方法。
图5示意性示出了根据本发明的一个实施例的视频监控资源的调整装置的框图。
参照图5所示，根据本发明的一个实施例的视频监控资源的调整装置500，包括：截取模块501、分析模块502、平均模块503、调整模块504；其中，
截取模块501，用于从播放视频中截取待检测关键帧，并从视频源中获取对应的源关键帧；
分析模块502，用于将源关键帧与对应的待检测关键帧进行结构相似度分析，确定出待检测关键帧的质量得分；
平均模块503，用于根据预设时间段内的各待检测关键帧的质量得分进行平均，获得播放视频的质量得分；
调整模块504，用于基于播放视频的质量得分，调整用于监控视频播放质量的资源。
由于本发明的示例实施例的视频监控资源的调整装置的各个功能模块与上述视频监控资源的调整方法的示例实施例的步骤对应，因此对于本发明装置实施例中未披露的细节，请参照本发明上述的视频监控资源的调整方法的实施例。
下面参考图6，其示出了适于用来实现本发明实施例的电子设备的计算机系统600的结构示意图。图6示出的电子设备的计算机系统600仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统操作所需的各种程序和数据。CPU601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如上述实施例中的屏幕控制实现及展示方法。
例如，上述的电子设备可以实现如图1中所示的：步骤S110，从播放视频中截取待检测关键帧，并从视频源中获取对应的源关键帧；步骤S120，将源关键帧与对应的待检测关键帧进行结构相似度分析，确定出待检测关键帧的质量得分；步骤S130，根据平均预设时间段内的各待检测关键帧的质量得分，获得播放视频的质量得分；步骤S140，基于播放视频的质量得分，调整用于监控视频播放质量的资源。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本发明实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (8)
1.一种视频监控资源的调整方法，其特征在于，包括：
从播放视频中截取待检测关键帧，并从视频源中获取对应的源关键帧；
将所述源关键帧与对应的待检测关键帧进行结构相似度分析，确定出所述待检测关键帧的质量得分；
根据平均预设时间段内的各所述待检测关键帧的质量得分，获得所述播放视频的质量得分；
基于所述播放视频的质量得分，调整用于监控视频播放质量的资源，用于监控视频播放质量的资源包括截取待检测关键帧的截取频率；
其中，所述确定出所述待检测关键帧的质量得分之后，所述方法还包括：
根据待检测关键帧的质量得分动态调整从播放视频中截取待检测关键帧的截取频率；
所述根据平均预设时间段内的各所述待检测关键帧的质量得分，获得所述播放视频的质量得分，包括：
根据视频帧的图片质量评估来进行动态规划，获取预设时间段内的各所述待检测关键帧，并设定有效参考时间段长度，其中，所述预设时间段的时间长度小于所述播放视频的播放时长；
将当前时间的待检测关键帧的质量得分以及所述当前时间之前所述有效参考时间段长度内的各待检测关键帧的质量得分进行平均，将平均后的得分确定为所述播放视频的质量得分。
2.根据权利要求1所述的视频监控资源的调整方法，其特征在于，所述从播放视频中截取待检测关键帧，包括：按照预设的截取频率，从所述播放视频中截取待检测关键帧。
3.根据权利要求1所述的视频监控资源的调整方法，其特征在于，所述从视频源中获取对应的源关键帧，包括：
根据所述待检测关键帧提取出所述视频地址以及视频帧数；
根据所述视频地址在预设的视频数据库中确定出视频源；
根据视频帧数从所述视频源中确定出对应帧的图像，并确定为源关键帧。
4.根据权利要求1所述的视频监控资源的调整方法，其特征在于，所述将所述源关键帧与对应的待检测关键帧进行结构相似度分析，确定出所述待检测关键帧的质量得分，包括:
分别计算出所述源关键帧和待检测关键帧的亮度数据和对比度数据；
基于所述亮度数据和对比度数据，计算出所述源关键帧和所述待检测关键帧之间的结构相似度指数；
将所述结构相似度指数确定为所述待检测关键帧的质量得分。
5.根据权利要求1所述的视频监控资源的调整方法，其特征在于，所述基于所述播放视频的质量得分，调整用于监控视频播放质量的资源，包括：
当所述播放视频的质量得分低于预设的阈值时，提高所述截取待检测关键帧的截取频率；
当所述播放视频的质量得分高于预设的阈值时，降低所述截取待检测关键帧的截取频率。
6.一种视频监控资源的调整装置，其特征在于，包括：截取模块、分析模块、平均模块、调整模块；其中，
截取模块，用于从播放视频中截取待检测关键帧，并从视频源中获取对应的源关键帧；
分析模块，用于将所述源关键帧与对应的待检测关键帧进行结构相似度分析，确定出所述待检测关键帧的质量得分；
平均模块，用于对预设时间段内的各所述待检测关键帧的质量得分进行平均，获得所述播放视频的质量得分；
调整模块，用于基于所述播放视频的质量得分，调整用于监控视频播放质量的资源，用于监控视频播放质量的资源包括截取待检测关键帧的截取频率；
其中，所述调整模块，用于根据待检测关键帧的质量得分动态调整从播放视频中截取待检测关键帧的截取频率；
所述平均模块，用于根据视频帧的图片质量评估来进行动态规划，获取预设时间段内的各所述待检测关键帧，并设定有效参考时间段长度，其中，所述预设时间段的时间长度小于所述播放视频的播放时长；将当前时间的待检测关键帧的质量得分以及所述当前之间之前所述有效参考时间段长度内的各待检测关键帧的质量得分进行平均，将平均后的得分确定为所述播放视频的质量得分。
7.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至5中任一项所述的视频监控资源的调整方法。
8.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至5中任一所述的视频监控资源的调整方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910335331.3A CN111866583B (zh) | 2019-04-24 | 2019-04-24 | 一种视频监控资源的调整方法、装置、介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910335331.3A CN111866583B (zh) | 2019-04-24 | 2019-04-24 | 一种视频监控资源的调整方法、装置、介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111866583A CN111866583A (zh) | 2020-10-30 |
| CN111866583B true CN111866583B (zh) | 2024-04-05 |
Family
ID=72952167
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910335331.3A Active CN111866583B (zh) | 2019-04-24 | 2019-04-24 | 一种视频监控资源的调整方法、装置、介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111866583B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101695141A (zh) * | 2009-10-20 | 2010-04-14 | 浙江大学 | 一种视频质量评估方法和装置 |
| CN101984665A (zh) * | 2010-10-29 | 2011-03-09 | 深圳市同洲电子股份有限公司 | 一种视频传输质量评测的方法与系统 |
| CN102611910A (zh) * | 2011-01-19 | 2012-07-25 | 北京东方文骏软件科技有限责任公司 | 基于关键帧图像质量加权的无参考视频质量客观评价方法 |
| CN102761771A (zh) * | 2012-06-29 | 2012-10-31 | 无锡风格软件有限公司 | 一种基于图像客观质量评估进行视频劣播检测的方法及设备 |
| CN102883179A (zh) * | 2011-07-12 | 2013-01-16 | 中国科学院计算技术研究所 | 一种视频质量客观评价方法 |
| CN104822063A (zh) * | 2015-04-16 | 2015-08-05 | 长沙理工大学 | 一种基于字典学习残差重建的压缩感知视频重建方法 |
| CN107360426A (zh) * | 2017-07-13 | 2017-11-17 | 福州大学 | 一种基于压缩感知的视频序列重构方法 |
| CN107404646A (zh) * | 2016-05-20 | 2017-11-28 | 华为技术有限公司 | 视频质量评估的方法、装置和头端设备 |
| CN108777788A (zh) * | 2018-08-01 | 2018-11-09 | 深圳市捷视飞通科技股份有限公司 | 视频质量测试方法、计算机设备及存储介质 |
-
2019
- 2019-04-24 CN CN201910335331.3A patent/CN111866583B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101695141A (zh) * | 2009-10-20 | 2010-04-14 | 浙江大学 | 一种视频质量评估方法和装置 |
| CN101984665A (zh) * | 2010-10-29 | 2011-03-09 | 深圳市同洲电子股份有限公司 | 一种视频传输质量评测的方法与系统 |
| CN102611910A (zh) * | 2011-01-19 | 2012-07-25 | 北京东方文骏软件科技有限责任公司 | 基于关键帧图像质量加权的无参考视频质量客观评价方法 |
| CN102883179A (zh) * | 2011-07-12 | 2013-01-16 | 中国科学院计算技术研究所 | 一种视频质量客观评价方法 |
| CN102761771A (zh) * | 2012-06-29 | 2012-10-31 | 无锡风格软件有限公司 | 一种基于图像客观质量评估进行视频劣播检测的方法及设备 |
| CN104822063A (zh) * | 2015-04-16 | 2015-08-05 | 长沙理工大学 | 一种基于字典学习残差重建的压缩感知视频重建方法 |
| CN107404646A (zh) * | 2016-05-20 | 2017-11-28 | 华为技术有限公司 | 视频质量评估的方法、装置和头端设备 |
| CN107360426A (zh) * | 2017-07-13 | 2017-11-17 | 福州大学 | 一种基于压缩感知的视频序列重构方法 |
| CN108777788A (zh) * | 2018-08-01 | 2018-11-09 | 深圳市捷视飞通科技股份有限公司 | 视频质量测试方法、计算机设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111866583A (zh) | 2020-10-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114584849B (zh) | 视频质量评估方法、装置、电子设备及计算机存储介质 | |
| US11405695B2 (en) | Training an encrypted video stream network scoring system with non-reference video scores | |
| US10673921B2 (en) | Method and system for automatic user quality-of-experience measurement of streaming video | |
| US9674518B2 (en) | Measuring remote video display with embedded pixels | |
| US10085015B1 (en) | Method and system for measuring visual quality of a video sequence | |
| CN113452944B (zh) | 一种云手机的画面显示方法 | |
| Xue et al. | A study on perception of mobile video with surrounding contextual influences | |
| CN112435244A (zh) | 直播视频的质量评价方法、装置、计算机设备和存储介质 | |
| CN113852860A (zh) | 视频处理方法、装置、系统及存储介质 | |
| CN112767313A (zh) | 视频质量评价方法、装置、及电子设备 | |
| CN112837640A (zh) | 屏幕动态画面测试方法、系统、电子设备及存储介质 | |
| Mozhaeva et al. | Constant subjective quality database: the research and device of generating video sequences of constant quality | |
| Ying et al. | Telepresence video quality assessment | |
| Choi et al. | Video QoE models for the compute continuum | |
| CN111866583B (zh) | 一种视频监控资源的调整方法、装置、介质及电子设备 | |
| US10764578B2 (en) | Bit rate optimization system and method | |
| Zhang et al. | A Subjective Quality Assessment Database for Mobile Video Coding | |
| CN105007526A (zh) | 一种网络诊断方法及装置 | |
| Zhang et al. | A method for evaluating qoe of live streaming services | |
| CN113411644B (zh) | 样本数据的处理方法、装置、服务器及存储介质 | |
| CN113747189B (zh) | 直播信息的显示控制方法、装置、电子设备及计算机介质 | |
| Mozhaeva et al. | NRspttemVQA: Real-Time Video Quality Assessment Based on the User’s Visual Perception | |
| CN115134666B (zh) | 一种直播卡顿检测方法、系统、设备和存储介质 | |
| Zhao et al. | Research on Quality Assessment of Network Video Based Frame Freezing Duration | |
| Sun et al. | Quality-of-Experience Assessment for Ultra-Low Latency Live Streaming Videos |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |