CN115225961B - 一种无参考网络视频质量评价方法和装置 - Google Patents
一种无参考网络视频质量评价方法和装置 Download PDFInfo
- Publication number
- CN115225961B CN115225961B CN202210428037.9A CN202210428037A CN115225961B CN 115225961 B CN115225961 B CN 115225961B CN 202210428037 A CN202210428037 A CN 202210428037A CN 115225961 B CN115225961 B CN 115225961B
- Authority
- CN
- China
- Prior art keywords
- video
- score
- value
- time interval
- standard deviation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000013441 quality evaluation Methods 0.000 title claims description 18
- 238000013139 quantization Methods 0.000 claims abstract description 57
- 238000012549 training Methods 0.000 claims description 24
- 230000005540 biological transmission Effects 0.000 claims description 14
- 238000013178 mathematical model Methods 0.000 claims description 13
- 230000008859 change Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 4
- 229910044991 metal oxide Inorganic materials 0.000 description 4
- 150000004706 metal oxides Chemical class 0.000 description 4
- 238000001303 quality assessment method Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000013210 evaluation model Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000007430 reference method Methods 0.000 description 1
- 238000013077 scoring method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明的实施方式提供了一种无参考网络视频质量评价的方法。该方法包括：获取每一帧视频画面解码后的时间点、量化步长以及分辨率；基于所述时间点获得视频流畅度评分；基于所述量化步长和分辨率获得视频清晰度评分；判断视频画面所处的业务场景信息；结合所述业务场景信息对所述视频流畅度评分和视频清晰度评分分别赋予与之对应的权重值；基于所述视频流畅度评分、所述视频清晰度评分以及相对应的权重值获得视频质量评分。通过直接获取解码后的每一帧视频画面的解码时间和视频量化步长以及分辨率三个参数，就可结合不同的使用场景对视频质量进行评分。此外，本发明的实施方式提供了一种无参考网络视频质量评价的装置。
Description
技术领域
本发明的实施方式涉及视频通信技术领域，更具体地，本发明的实施方式涉及一种无参考网络视频质量评价方法和装置。
背景技术
本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
目前，基于互联网的视频通信技术得到了广泛的应用。对视频质量的要求越来越高，视频质量成为了考量视频会议系统优良的核心指标之一，如何评价视频质量是业界的一大难题。
现有技术中，在专利：CN101742353B，专利名称为无参考视频质量评价方法中公开的技术是基于接收端视频的块效应参数、模糊参数、码率参数，以及运动复杂度参数，通过回归的方式获得评价模型，输出客观MOS值。这种方式实现较为复杂，且码率参数与视频内容、编码格式高度相关，不具有普适性。在专利：CN105721863B，专利名称为视频质量评价方法中公开的技术是一种基于图像结构和人眼视觉特性的全参考图像质量评价方法。然而全参考方法适用于编码器调优，并不适用于网络视频质量评价，因为网络接收端无法获取原始无损视频参考数据。在专利：CN110582008A，专利名称为一种视频质量评价方法及装置中公开的技术是一种基于评价参数训练的方式得到评价模型。这种方式需要大量的数据进行训练学习，理论上可以获得较好的效果。但是需要大量的数据进行模型训练，成本高、耗时久。
因此现有技术中存在如下缺点：
1、与视频编码格式高度相关，不同的编码格式，得到的评分可能存在较大差异，且实现复杂，不便于大规模部署线上实时评分。
2、没有考虑业务场景，不同业务场景对于视频的流畅度、清晰度，需求不一样。
针对现有技术中存在的弊端，本发明设计一个网络视频质量评价方法和装置，获取每一帧视频画面解码后的时间点、量化步长以及分辨率；基于所述时间点获得视频流畅度评分；基于所述量化步长和分辨率获得视频清晰度评分；判断视频画面所处的业务场景信息；结合所述业务场景信息对所述视频流畅度评分和视频清晰度评分分别赋予与之对应的权重值；基于所述视频流畅度评分、所述视频清晰度评分以及相对应的权重值获得视频质量评分。通过直接获取解码后的每一帧视频画面的解码时间和视频量化步长以及分辨率三个参数，就可结合不同的使用场景对视频对视频质量进行评分。
发明内容
本发明的目的在于针对获取的视频画面，提供一种可行的视频质量评价方案。通过获取每一帧视频解码时间点、视频量化步长以及分辨率三个参数，并且结合不同的使用场景，就可以对视频流畅度和清晰度进行评分。具有与主观感受相关度高、实现简单、实时性高、便于大规模部署等优点。处于目前存在的现有方法评价模型复杂，与主观评价相关度不高、与业务需求不一致的问题，因此非常需要一种改进的无参考网络视频质量评价方法，以及巨额上述存在的问题。
在本上下文中，本发明的实施方式期望提供一种文档清晰化处理方法和装置。
在本发明实施方式的第一方面中，提供了一种无参考网络视频质量评价方法，包括：获取每一帧视频画面解码后的时间点、量化步长以及分辨率；基于所述时间点获得视频流畅度评分；基于所述量化步长和分辨率获得视频清晰度评分；判断视频画面所处的业务场景信息；结合所述业务场景信息对所述视频流畅度评分和视频清晰度评分分别赋予与之对应的权重值；基于所述视频流畅度评分、所述视频清晰度评分以及相对应的权重值获得视频质量评分。
在本发明的一个实施例中，所述基于所述时间点获得视频流畅度评分包括：基于所述每一帧视频画面解码后的时间点获得解码后的相邻两帧的视频画面的解码时间间隔；将所述解码时间间隔存入预设长度的队列；获取所述队列中解码时间间隔的平均值和标准差值；基于所述平均值和标准差值获得所述视频流畅度评分。
在本发明的另一个实施例中，所述基于所述每一帧视频画面解码后的时间点获得解码后的相邻两帧的视频画面的解码时间间隔包括：相邻两帧视频画面中的后一帧视频画面解码后的时间点与前一帧视频画面解码后的时间点的差值为所述解码时间间隔。
在本发明的又一个实施例中，所述将所述解码时间间隔存入预设长度的队列包括：预先设置长度为M的队列；将所述解码时间间隔存入所述长度为M的队列；当所述队列存入满时，将所述队列中最先存入的时间间隔删除。
在本发明的再一个实施例中，所述基于所述平均值和标准差值获得所述视频流畅度评分包括：基于所述解码时间间隔的平均值确定平均值评分；基于所述解码时间间隔的标准差值确定标准差值评分；基于所述平均值评分和所述标准差值评分确定所述视频流畅度评分。
在本发明的再一个实施例中，所述基于所述解码时间间隔的平均值确定平均值评分包括：当所述解码时间间隔的平均值低于第一阈值时，所述平均值评分为满分；当所述解码时间间隔的平均值高于第二阈值时，所述平均值评分为零分；当所述解码时间间隔的平均值包括或处于第一阈值和第二阈值之间时，所述平均值评分随着所述解码时间间隔的平均值呈线性变化。
在本发明的再一个实施例中，所述基于所述量化步长和分辨率获得视频清晰度评分包括：当所述量化步长为0且所述分辨率为4K时，所述视频清晰度评分为满分；当所述量化步长为0且所述分辨率为除4K之外时，所述视频清晰度评分依次递减。
在本发明的再一个实施例中，所述当所述量化步长为0且所述分辨率为除4K之外时，所述视频清晰度评分依次递减包括：所述视频清晰度评分依照上一档次分辨率宽高乘积与当前分辨率宽高乘积之比的规则递减。
在本发明的再一个实施例中，所述判断视频画面所处的业务场景信息包括：根据视频画面传输通道的不同判断所述视频画面所处的业务场景信息；所述业务场景信息为摄像头获取画面信息或桌面分享画面信息。
在本发明的再一个实施例中，所述结合所述业务场景信息对所述视频流畅度评分和视频清晰度评分分别赋予与之对应的权重值包括：将所述视频清晰度评分和所述视频流畅度评分输入至预先训练好的数学模型中以得到所述权重值；其中针对不同的业务场景，所述视频清晰度和所述视频流畅度分别对应不同的权重值。
在本发明的再一个实施例中，所述将所述视频清晰度评分和所述视频流畅度评分输入至预先训练好的数学模型中以得到所述权重值包括：针对不同的业务场景对所述视频流畅度评分和所述视频清晰度评分赋予与之对应的不同的初始权重值以得到视频质量训练评分；将所述视频质量训练评分与所述MOS值比较；若所述比较结果满足预设条件则确定所述权重初始值为当前业务场景的权重值；若所述比较结果不满足预设条件则改变所述初始权重值直至所述视频质量训练评分与所述MOS值比较结果满足预设条件。
在本发明的再一个实施例中，所述基于所述视频流畅度评分、所述视频清晰度评分以及相对应的权重值获得视频质量评分包括：所述视频流畅度评分与其权重值的乘积和所述视频清晰度评分与其权重值的乘积之和为所述视频质量评分。
在本发明实施方式的第二方面中，提供了一种无参考网络视频质量评价装置，包括：获取模块，用于获取每一帧视频画面解码后的时间点、量化步长以及分辨率；流畅度评分模块，用于基于所述时间点获得视频流畅度评分；清晰度评分模块，用于基于所述量化步长和分辨率获得视频清晰度评分；判断模块，用于判断视频画面所处的业务场景信息；赋予权重值模块，用于结合所述业务场景信息对所述视频流畅度评分和视频清晰度评分分别赋予与之对应的权重值；视频质量评分模块，用于基于所述视频流畅度评分、所述视频清晰度评分以及相对应的权重值获得视频质量评分。
在本申请的一个实施例中，所述所述流畅度评分模块包括：用于基于所述每一帧视频画面解码后的时间点获得解码后的相邻两帧的视频画面的解码时间间隔的单元；用于将所述解码时间间隔存入预设长度的队列的单元；用于获取所述队列中解码时间间隔的平均值和标准差值的单元；用于基于所述平均值和标准差值获得所述视频流畅度评分的单元。
在本申请的另一个实施例中，所述用于基于所述每一帧视频画面解码后的时间点获得解码后的相邻两帧的视频画面的解码时间间隔的单元包括：用于相邻两帧视频画面中的后一帧视频画面解码后的时间点与前一帧视频画面解码后的时间点的差值为所述解码时间间隔的单元。
在本申请的又一个实施例中，所述用于将所述解码时间间隔存入预设长度的队列的单元包括：用于预先设置长度为M的队列的单元；用于将所述解码时间间隔存入所述长度为M的队列的单元；当所述队列存入满时，用于将所述队列中最先存入的时间间隔删除的单元。
在本申请的再一个实施例中，所述用于基于所述平均值和标准差值获得所述视频流畅度评分的单元包括：用于基于所述解码时间间隔的平均值确定平均值评分的单元；用于基于所述解码时间间隔的标准差值确定标准差值评分的单元；用于基于所述平均值评分和所述标准差值评分确定所述视频流畅度评分的单元。
在本申请的再一个实施例中，所述用于基于所述解码时间间隔的平均值确定平均值评分的单元包括：用于当所述解码时间间隔的平均值低于第一阈值时，所述平均值评分为满分的单元；用于当所述解码时间间隔的平均值高于第二阈值时，所述平均值评分为零分的单元；用于当所述解码时间间隔的平均值包括或处于第一阈值和第二阈值之间时，所述平均值评分随着所述解码时间间隔的平均值呈线性变化的单元。
在本申请的再一个实施例中，所述清晰度评分模块包括：用于当所述量化步长为0且所述分辨率为4K时，所述视频清晰度评分为满分的单元；用于当所述量化步长为0且所述分辨率为除4K之外时，所述视频清晰度评分依次递减的单元。
在本申请的再一个实施例中，所述用于当所述量化步长为0且所述分辨率为除4K之外时，所述视频清晰度评分依次递减的单元包括：用于所述视频清晰度评分依照上一档次分辨率宽高乘积与当前分辨率宽高乘积之比的规则递减的单元。
在本申请的再一个实施例中，所述判断模块包括：用于根据视频画面传输通道的不同判断所述视频画面所处的业务场景信息的单元；所述业务场景信息为摄像头获取画面信息或桌面分享画面信息。
在本申请的再一个实施例中，所述赋予权重值模块包括：用于将所述视频清晰度评分和所述视频流畅度评分输入至预先训练好的数学模型中以得到所述权重值的单元；其中针对不同的业务场景，所述视频清晰度和所述视频流畅度分别对应不同的权重值。
在本申请的再一个实施例中，所述用于将所述视频清晰度评分和所述视频流畅度评分输入至预先训练好的数学模型中以得到所述权重值的单元包括：用于针对不同的业务场景对所述视频流畅度评分和所述视频清晰度评分赋予与之对应的不同的初始权重值以得到视频质量训练评分的单元；用于将所述视频质量训练评分与MOS值比较的单元；若所述比较结果满足预设条件则确定所述权重初始值为当前业务场景的权重值的单元；用于若所述比较结果不满足预设条件则改变所述初始权重值直至所述视频质量训练评分与所述MOS值比较结果满足预设条件的单元。
在本申请的再一个实施例中，所述视频质量评分模块包括：用于所述视频流畅度评分与其权重值的乘积和所述视频清晰度评分与其权重值的乘积之和为所述视频质量评分的单元。
根据本发明实施方式的一种无参考网络视频质量评价方法和装置，仅需要通过直接获取到的视频解码时间点和视频量化步长以及分辨率三个参数，就可以对视频流畅度和清晰度进行评分，并且结合不同的使用场景，赋予给流畅度、清晰度赋予不同的权重，得到最终评分。具有与主观感受相关度高、实现简单、实时性高、便于大规模部署等优点。
附图说明
通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：
图1示意性地示出了根据本发明实施方式的用于实现无参考网络视频质量评价的方法流程图；
图2示意性地示出了根据本发明另一实施例的量化步长与峰值信噪比的关系图；
图3示意性地示出了根据本发明又一实施例的各分辨率下量化步长与峰值信噪比的关系图；
图4示意性地示出了根据本发明再一实施例的不同帧的参数示意图；
图5示意性地示出了不同分辨率下QP与清晰度评分之间的关系图；
图6示意性地示出了根据本发明实施方式的用于实现无参考网络视频质量评价的装置示意图。
在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本申请公开更加透彻和完整，并且能够将本申请公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
根据本发明的实施方式，提出了一种无参考网络视频质量评价方法和装置。
下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。
发明概述
本发明人发现，现有的视频质量评价方法存在以下缺陷：与视频编码格式高度相关，不同的编码格式，得到的评分可能存在较大差异，且实现复杂，不便于大规模部署线上实时评分。没有考虑业务场景，不同业务场景对于视频的流畅度、清晰度，需求不一样。
为了克服现有技术存在的问题，本发明提供了一种无参考网络视频质量评价方法和装置，该方法包括以下步骤：获取每一帧视频画面解码后的时间点、量化步长以及分辨率；基于所述时间点获得视频流畅度评分；基于所述量化步长和分辨率获得视频清晰度评分；判断视频画面所处的业务场景信息；结合所述业务场景信息对所述视频流畅度评分和视频清晰度评分分别赋予与之对应的权重值；基于所述视频流畅度评分、所述视频清晰度评分以及相对应的权重值获得视频质量评分。
在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。
应用场景总览
本发明实施例适用于视频会议、网络直播等实时性要求高的场景，然而，本领域技术人员完全可以理解，本发明实施方式的适用场景不受到该框架任何方面的限制。
示例性方法
下面结合应用场景，参考图1-5来描述根据本发明示例性实施方式的用于实现无参考网络视频质量评价的方法。需要注意的是，上述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。
参考图1，示意性的示出了根据本发明一个实施例的用于实现无参考网络视频质量评价的方法流程图。该方法包括以下步骤：
S100、获取每一帧视频画面解码后的时间点、量化步长以及分辨率。
作为示例，对获取到的视频画面进行解码，从解码后的每一帧视频画面中可以直接获取到该帧解码后的视频画面的解码时间点T(i)、量化步长QP(i)以及分辨率。其中，分辨率可以直接从解码后的视频画面中获得，反应了画面的清晰程度，通常取值90P、180P、360P、720P、1080P、2K、4K，随着数值的增大，清晰度逐渐增高。量化步长QP(i)是可以直接从解码后的视频画面中获得，反应了空间细节压缩情况，其取值范围为0-51，QP(i)越小，证明大部分的细节都会被保留，QP(i)增大，一些细节丢失，码率降低，但图像失真加强和质量下降。本领域中，由于峰值信噪比PSNR峰值信噪比是常用的全参考视频质量评价方法，具有较高的可信度，因此在本领域通常会采用峰值信噪比PSNR来评价视频的质量。但是由于采用峰值信噪比PSNR这个方法不适于网络传输场景，并且实现复杂，需要大量的视频解码参数，不具有普适性，不方便大规模部署使用。然而，由于QP(i)与PSNR有很好的线性关系，因此可用QP(i)来评价视频清晰度。
为了进一步证明QP(i)与PSNR之间的线性关系，如图2所示，以分辨率为1080P为例，通过模拟进而显示出在分辨率为1080P的情况下量化步长QP与峰值信噪比PSNR之间的线性关系图。如图3所示，反应了在不同的分辨率的情况下，量化步长QP与峰值信噪比PSNR之间的关系。可见QP与PSNR之间存在较好的线性关系，一定程度上可以通过QP来反映PSNR，从而反映视频清晰度。在相同PSNR下，不同分辨率对于QP的要求不同，低分辨率要求QP小，高分辨率的QP可以略大。因此，本方法可以通过采用量化步长QP代替峰值信噪比PSNR来反应视频画面的清晰度，由于QP获取较为简单，实现视频质量评价方法较为简单，便于大规模部署线上实时评分。
S110、基于所述时间点获得视频流畅度评分。
作为示例，所述基于所述时间点获得视频流畅度评分包括：基于所述每一帧视频画面解码后的时间点获得解码后的相邻两帧的视频画面的解码时间间隔，将所述解码时间间隔存入预设长度的队列，获取所述队列中解码时间间隔的平均值和标准差值，基于所述平均值和标准差值获得所述视频流畅度评分。更具体地，如图4所示，相邻两帧视频画面中的后一帧视频画面解码后的时间点与前一帧视频画面解码后的时间点的差值为所述解码时间间隔D(i),即D(i+1)＝T(i+1)-T(i)，将得到的各个时间间隔D(i)存入预先设置好长度的队列中，该队列的长度可以设置为M，当所述队列存入满时，将所述队列中最先存入的时间间隔删除，这样可以保证队列中的M个元素为实时最新值，其中队列的时间间隔D(i)的平均值x1和标准差值x2分别由如下公式求得：
进而基于所述解码时间间隔的平均值x1确定平均值评分y1，基于所述解码时间间隔的标准差值x2确定标准差值评分y2。具体地，当所述解码时间间隔的平均值x1低于第一阈值时，所述平均值评分为满分，当所述解码时间间隔的平均值高于第二阈值时，所述平均值评分为零分；当所述解码时间间隔的平均值包括或处于第一阈值和第二阈值之间时，所述平均值评分随着所述解码时间间隔的平均值呈线性变化。例如，为了方便度量高帧率时的差异，以100帧为满分标准，时间间隔D(i)的平均值x1低于10ms时则证明相邻的两帧视频画面之间的之间间隔较小，画面的流畅度较高，因此将时间间隔D(i)的平均值x1低于10ms(第一阈值)时的平均值评分y1设定为100分，时间间隔D(i)的平均值x1达到200ms(5帧)(第二阈值)时，则证明相邻两帧之间的时间间隔较大，视频画面的流畅度较低，因此将时间间隔D(i)的平均值x1达到200ms(5帧)时的平均值评分y1设定为0分。
当所述解码时间间隔的标准差值低于第三阈值时，所述标准差值评分为满分，当所述解码时间间隔的标准差值高于第四阈值时，所述标准差值评分为零分，当所述解码时间间隔的标准差值包括或处于第三阈值和第四阈值之间时，所述标准差值评分随着所述解码时间间隔的标准差值呈线性变化。例如，由于标准差度量帧率的抖动程度，因此当标准差值x2小于0(第三阈值)时，证明帧率的抖动程度较低，因此标准差值评分y2设定为100分，标准差值x2为大于190(第四阈值)时，证明帧率的抖动程度较高，因此标准差值评分y2设定为0分。
具体公式如下：
进一步地，通过上述求得的平均值评分y1和所述标准差值评分y2确定所述视频流畅度评分y，具体公式如下：
y＝0.5y1+0.5y2
这样不是简单的依据时间间隔的平均值和标准差值对视频的流畅度进行评分，而是将时间间隔的平均值取平均值评分，将标准差值取标准差值评分，再综合平均值评分和标准差值评分最终确定流畅度评分，使得确定出的流畅度平很更加的精准。
S120、基于所述量化步长和分辨率获得视频清晰度评分。
作为示例，所述基于所述量化步长和分辨率获得视频清晰度评分包括：当所述量化步长为0且所述分辨率为4K时，所述视频清晰度评分为满分，当所述量化步长为0且所述分辨率为除4K之外时，所述视频清晰度评分依照上一档次分辨率宽高乘积与当前分辨率宽高乘积之比的规则递减。例如，QP为4K分辨率(4096*2160)的评分为100分，2K分辨率(2560*1440)的评分为100-(4096*2160)/(2560*1440)＝100-2＝98分，同理1080P分辨率(1920*1080)的评分为98-(2560*1440)/(1920*1080)＝98-1＝97分，以此类推。
如图5示意性地示出了不同分辨率下QP与清晰度评分之间的关系图，为了取整描述，此处QP最大值取50，取4K分辨率下QP为50时视频得分85分，其他分辨率下QP为50时评分依次递减，递减规则为5倍的宽高乘积之比。例如，同样是QP为50，4K分辨率(4096*2160)的评分为85分，2K分辨率(2560*1440)的评分为85-(4096*2160)/(2560*1440)*5＝85-10＝75分，同理1080P分辨率(1920*1080)的评分为75-(2560*1440)/(1920*1080)＝75-5＝70分，以此类推。可见，当分辨率足够大时，QP值的变化对清晰度的评分影响很小，而当分辨率很小时，QP值的变化对清晰度的评分影响很大。依据上述，不同的分辨率下清晰度评分Z计算公式如下：
其中xqp为4K下的QP值，Z4k为该分辨率下的清晰度评分(百分制)
其中xqp为2K下的QP值，Z2k为该分辨率下的清晰度评分(百分制)
其中xqp为1080P下的QP值，Z1080P为该分辨率下的清晰度评分(百分制)
其中xqp为720P下的QP值，Z720P为该分辨率下的清晰度评分(百分制)
其中xqp为360P下的QP值，Z360P为该分辨率下的清晰度评分(百分制)
其中xqp为180P下的QP值，Z180P为该分辨率下的清晰度评分(百分制)
其中xqp为90P下的QP值，Z90P为该分辨率下的清晰度评分(百分制)
S130、判断视频画面所处的业务场景信息。
作为示例，所述判断视频画面所处的业务场景信息包括：根据视频画面传输通道的不同判断所述视频画面所处的业务场景信息，所述业务场景信息为摄像头获取画面信息或桌面分享画面信息。具体地，由于不同的业务场景下用户对视频质量的需求是不同的，因此结合不同的业务场景来确定用户的视频质量是很有必要的。例如，通过对视频画面传输通道的判断，确定该视频画面是从摄像头这个通道传输的，则证明当前可能正处于视频会议中，此时对人脸画面流畅度要求更高，画面可以稍微模糊，但是不能出现卡顿。而通过对视频画面传输通道的判断，确定该视频画面是从共享桌面这个通道传输的，则证明当前可能正在分享桌面进行PPT讲解，此时画面变化很缓慢，对于画面流畅度要求不高，但是对画面清晰度要求非常高。因此，通过结合不同的业务场景来对视频画面的质量进行评价可以更加契合用户的实际需求，使得对视频画面质量的评价与主观感受相关度高。需要说明的是，此处针对业务场景的判断不局限于通过传输通道的确定，还可以通过对当前视频画面进行内容识别，进而确定该视频画面是处于何种业务场景。
S140、结合所述业务场景信息对所述视频流畅度评分和视频清晰度评分分别赋予与之对应的权重值。
作为示例，所述结合所述业务场景信息对所述视频流畅度评分和视频清晰度评分分别赋予与之对应的权重值包括：将所述视频清晰度评分和所述视频流畅度评分输入至预先训练好的数学模型中以得到所述权重值，其中，针对不同的业务场景，所述视频清晰度和所述视频流畅度分别对应不同的权重值。更具体地，针对不同的业务场景对所述视频流畅度评分和所述视频清晰度评分赋予与之对应的不同的初始权重值以得到视频质量训练评分，将所述视频质量训练评分与所述MOS值比较，若所述比较结果满足预设条件则确定所述权重初始值为当前业务场景的权重值，若所述比较结果不满足预设条件则改变所述初始权重值直至所述视频质量训练评分与所述MOS值比较结果满足预设条件。具体地，在预先设置好的数学模型中，结合业务场景对视频流畅度评分和视频清晰度评分分别设置一个初始的权重值k1和k2，如摄像头采集画面对流畅度要求高，可取k1>k2，而屏幕共享画面，对清晰度要求高，可取k2>k1，将该初始权重值以及事先计算好的视频流畅度评分和视频清晰度评分带入视频质量评分公式中，进而确定出视频质量评分，将该视频质量评分转换为客观MOS值，与主观MOS值对比，如果相关性不高，则调整评分权重系数k1和k2，直致符合主观感受。多次训练调整k1和k2至客观MOS值与主观MOS一致后，将该k1和k2值部署正式使用，需要说明的是，针对不同的业务场景对应着不同的k1和k2。也即，当确定好不同的业务场景下的k1和k2值后，之后针对视频质量评价的过程中均不需要再次训练k1和k2值，而是直接根据判断出的业务场景调用该业务场景下对应的k1和k2值即可。这样通过结合业务场景来确定k1和k2的值可以使得评分结果与主观感受及需求保持一致。
其中，MOS主观质量评级如下：
其中，S为视频质量评分。MOS客观质量评级如上，根据给定的k1和k2值确定出客观视频质量评分，依据客观视频质量评分确定出MOS客观质量评级与MOS主观质量评级是否一致，若一致，则当前给定的k1和k2值则为对应于当前业务场景下的k1和k2值，之后在实际应用中，对应该业务场景时，直接采用该k1和k2计算出实际视频质量分数即可。
S150、基于所述视频流畅度评分、所述视频清晰度评分以及相对应的权重值获得视频质量评分。
作为示例，所述基于所述视频流畅度评分、所述视频清晰度评分以及相对应的权重值获得视频质量评分包括：所述视频流畅度评分与其权重值的乘积和所述视频清晰度评分与其权重值的乘积之和为所述视频质量评分S。具体公式如下：
S＝k1×y+k2×Z
其中，S为视频质量评分，k1为流畅度评分的权重值，k2为清晰度评分的权重值，y为流畅度评分，Z为清晰度评分，k1和k2是经过上述训练模块中训练得到，根据不同的业务场景对应不同的k1和k2。
本发明仅需要视频解码时间点和视频量化步长以及分辨率三个参数，就可以对视频流畅度和清晰度进行评分，并且结合不同的业务场景，通过在给定的数学模型中训练即可给流畅度、清晰度分别赋予不同的权重，得到最终视频质量评分。具有与主观感受相关度高、实现简单、实时性高、便于大规模部署等优点。
示例性装置
在介绍了本发明示例性实施方式的方法之后，接下来，参考图6对本发明示例性实施方式的用于实现文档清晰化处理的装置示意图，该装置包括以下模块：
获取模块500、用于获取每一帧视频画面解码后的时间点、量化步长以及分辨率。
作为示例，对获取到的视频画面进行解码，从解码后的每一帧视频画面中可以直接获取到该帧解码后的视频画面的解码时间点T(i)、量化步长QP(i)以及分辨率。其中，分辨率可以直接从解码后的视频画面中获得，反应了画面的清晰程度，通常取值90P、180P、360P、720P、1080P、2K、4K，随着数值的增大，清晰度逐渐增高。量化步长QP(i)是可以直接从解码后的视频画面中获得，反应了空间细节压缩情况，其取值范围为0-51，QP(i)越小，证明大部分的细节都会被保留，QP(i)增大，一些细节丢失，码率降低，但图像失真加强和质量下降。本领域中，由于峰值信噪比PSNR是常用的全参考视频质量评价方法，具有较高的可信度，因此在本领域通常会采用峰值信噪比PSNR来评价视频的质量。但是由于采用峰值信噪比PSNR这个方法不适于网络传输场景，并且实现复杂，需要大量的视频解码参数，不具有普适性，不方便大规模部署使用。然而，由于QP(i)与PSNR有很好的线性关系，因此可用QP(i)来评价视频清晰度。
为了进一步证明QP(i)与PSNR之间的线性关系，如图2所示，以分辨率为1080P为例，通过模拟进而显示出在分辨率为1080P的情况下QP与PSNR之间的线性关系图。如图3所示，反应了在不同的分辨率的情况下，量化步长QP(i)与峰值信噪比PSNR之间的关系。可见QP与PSNR之间存在较好的线性关系，一定程度上可以通过QP来反映PSNR，从而反映视频清晰度。在相同PSNR下，不同分辨率对于QP的要求不同，低分辨率要求QP，高分辨率的QP可以略大。因此，本方法通过采用量化步长QP来反应视频画面的清晰度，由于QP获取较为简单，实现视频质量评价方法较为简单，便于大规模部署线上实时评分。
流畅度评分模块510、用于基于所述时间点获得视频流畅度评分。
作为示例，所述基于所述时间点获得视频流畅度评分包括：基于所述每一帧视频画面解码后的时间点获得解码后的相邻两帧的视频画面的解码时间间隔，将所述解码时间间隔存入预设长度的队列，获取所述队列中解码时间间隔的平均值和标准差值，基于所述平均值和标准差值获得所述视频流畅度评分。更具体地，如图4所示，相邻两帧视频画面中的后一帧视频画面解码后的时间点与前一帧视频画面解码后的时间点的差值为所述解码时间间隔D(i),即D(i+1)＝T(i+1)-T(i)，将得到的各个时间间隔D(i)存入预先设置好长度的队列中，该队列的长度可以设置为M，当所述队列存入满时，将所述队列中最先存入的时间间隔删除，这样可以保证队列中的M个元素为实时最新值，其中时间间隔D(i)的平均值x1和标准差值x2分别由如下公式求得：
进而基于所述解码时间间隔的平均值x1确定平均值评分y1，基于所述解码时间间隔的标准差值x2确定标准差值评分y2。具体地，当所述解码时间间隔的平均值x1低于第一阈值时，所述平均值评分为满分，当所述解码时间间隔的平均值高于第二阈值时，所述平均值评分为零分；当所述解码时间间隔的平均值包括或处于第一阈值和第二阈值之间时，所述平均值评分随着所述解码时间间隔的平均值呈线性变化。例如，为了方便度量高帧率时的差异，以100帧为满分标准，时间间隔D(i)的平均值x1低于10ms时则证明相邻的两帧视频画面之间的之间间隔较小，画面的流畅度较高，因此将时间间隔D(i)的平均值x1低于10ms(第一阈值)时的平均值评分y1设定为100分，时间间隔D(i)的平均值x1达到200ms(5帧)(第二阈值)时，则证明相邻两帧之间的时间间隔较大，视频画面的流畅度较低，因此将时间间隔D(i)的平均值x1达到200ms(5帧)时的平均值评分y1设定为0分。
当所述解码时间间隔的标准差值低于第三阈值时，所述标准差值评分为满分，当所述解码时间间隔的标准差值高于第四阈值时，所述标准差值评分为零分，当所述解码时间间隔的标准差值包括或处于第三阈值和第四阈值之间时，所述标准差值评分随着所述解码时间间隔的标准差值呈线性变化。例如，由于标准差度量帧率的抖动程度，因此当标准差值x2小于0(第三阈值)时，证明帧率的抖动程度较低，因此标准差值评分y2设定为100分，标准差值x2为大于190(第四阈值)时，证明帧率的抖动程度较高，因此标准差值评分y2设定为0分。
具体公式如下：
进一步地，通过上述求得的平均值评分y1和所述标准差值评分y2确定所述视频流畅度评分y，具体公式如下：
y＝0.5y1+0.5y2；
清晰度评分模块520、用于基于所述量化步长和分辨率获得视频清晰度评分。
作为示例，所述基于所述量化步长和分辨率获得视频清晰度评分包括：当所述量化步长为0且所述分辨率为4K时，所述视频清晰度评分为满分，当所述量化步长为0且所述分辨率为除4K之外时，所述视频清晰度评分依照上一档次分辨率宽高乘积与当前分辨率宽高乘积之比的规则递减。例如，QP为4K分辨率(4096*2160)的评分为100分，2K分辨率(2560*1440)的评分为100-(4096*2160)/(2560*1440)＝100-2＝98分，同理1080P分辨率(1920*1080)的评分为98-(2560*1440)/(1920*1080)＝98-1＝97分，以此类推。
如图5示意性地示出了不同分辨率下QP与清晰度评分之间的关系图，为了取整描述，此处QP最大值取50，取4K分辨率下QP为50时视频得分85分，其他分辨率下QP为50时评分依次递减，递减规则为5倍的宽高乘积之比。例如，同样是QP为50，4K分辨率(4096*2160)的评分为85分，2K分辨率(2560*1440)的评分为85-(4096*2160)/(2560*1440)*5＝85-10＝75分，同理1080P分辨率(1920*1080)的评分为75-(2560*1440)/(1920*1080)＝75-5＝70分，以此类推。可见，当分辨率足够大时，QP值的变化对清晰度的评分影响很小，而当分辨率很小时，QP值的变化对清晰度的评分影响很大。依据上述，不同的分辨率下清晰度评分Z计算公式如下：
其中xqp为4K下的QP值，Z4k为该分辨率下的清晰度评分(百分制)
其中xqp为2K下的QP值，Z2k为该分辨率下的清晰度评分(百分制)
其中xqp为1080P下的QP值，Z1080P为该分辨率下的清晰度评分(百分制)
其中xqp为720P下的QP值，Z720P为该分辨率下的清晰度评分(百分制)
其中xqp为360P下的QP值，Z360P为该分辨率下的清晰度评分(百分制)
其中xqp为180P下的QP值，Z180P为该分辨率下的清晰度评分(百分制)
其中xqp为90P下的QP值，Z90P为该分辨率下的清晰度评分(百分制)
判断模块530、用于判断视频画面所处的业务场景信息。
作为示例，所述判断视频画面所处的业务场景信息包括：根据视频画面传输通道的不同判断所述视频画面所处的业务场景信息，所述业务场景信息为摄像头获取画面信息或桌面分享画面信息。具体地，由于不同的业务场景下用户对视频质量的需求是不同的，因此结合不同的业务场景来确定用户的视频质量是很有必要的。例如，通过对视频画面传输通道的判断，确定该视频画面是从摄像头这个通道传输的，则证明当前可能正处于视频会议中，此时对人脸画面流畅度要求更高，画面可以稍微模糊，但是不能出现卡顿。而通过对视频画面传输通道的判断，确定该视频画面是从共享桌面这个通道传输的，则证明当前可能正在分享桌面进行PPT讲解，此时画面变化很缓慢，对于画面流畅度要求不高，但是对画面清晰度要求非常高。因此，通过结合不同的业务场景来对视频画面的质量进行评价可以更加契合用户的实际需求，使得对视频画面质量的评价与主观感受相关度高。需要说明的是，此处针对业务场景的判断不局限于通过传输通道的确定，还可以通过对当前视频画面进行内容识别，进而确定该视频画面是处于何种业务场景。
赋予权重值模块540、用于结合所述业务场景信息对所述视频流畅度评分和视频清晰度评分分别赋予与之对应的权重值。
作为示例，所述结合所述业务场景信息对所述视频流畅度评分和视频清晰度评分分别赋予与之对应的权重值包括：将所述视频清晰度评分和所述视频流畅度评分输入至预先训练好的数学模型中以得到所述权重值，其中，针对不同的业务场景，所述视频清晰度和所述视频流畅度分别对应不同的权重值。更具体地，针对不同的业务场景对所述视频流畅度评分和所述视频清晰度评分赋予与之对应的不同的初始权重值以得到视频质量训练评分，将所述视频质量训练评分与所述MOS值比较，若所述比较结果满足预设条件则确定所述权重初始值为当前业务场景的权重值，若所述比较结果不满足预设条件则改变所述初始权重值直至所述视频质量训练评分与所述MOS值比较结果满足预设条件。具体地，在预先设置好的数学模型中，结合业务场景对视频流畅度评分和视频清晰度评分分别设置一个初始的权重值k1和k2，如摄像头采集画面对流畅度要求高，可取k1>k2，而屏幕共享画面，对清晰度要求高，可取k2>k1，将该初始权重值以及事先计算好的视频流畅度评分和视频清晰度评分带入视频质量评分公式中，进而确定出视频质量评分，将该视频质量评分转换为客观MOS值，与主观MOS值对比，如果相关性不高，则调整评分权重系数k1和k2，直致符合主观感受。多次训练调整k1和k2至客观MOS值与主观MOS一致后，将该k1和k2值部署正式使用，需要说明的是，针对不同的业务场景对应着不同的k1和k2。也即，当确定好不同的业务场景下的k1和k2值后，之后针对视频质量评价的过程中均不需要再次训练k1和k2值，而是直接根据判断出的业务场景调用该业务场景下对应的k1和k2值即可。这样通过结合业务场景来确定k1和k2的值可以使得评分结果与主观感受及需求保持一致。
其中，MOS主观质量评级如下：
其中，S为视频质量评分。MOS客观质量评级如上，根据给定的k1和k2值确定出客观视频质量评分，依据客观视频质量评分确定出MOS客观质量评级与MOS主观质量评级是否一致，若一致，则当前给定的k1和k2值则为对应于当前业务场景下的k1和k2值，之后在实际应用中，对应该业务场景时，直接采用该k1和k2计算出实际视频质量分数即可。
视频质量评分模块550、用于基于所述视频流畅度评分、所述视频清晰度评分以及相对应的权重值获得视频质量评分。
作为示例，所述基于所述视频流畅度评分、所述视频清晰度评分以及相对应的权重值获得视频质量评分包括：所述视频流畅度评分与其权重值的乘积和所述视频清晰度评分与其权重值的乘积之和为所述视频质量评分S。具体公式如下：
S＝k1×y+k2×Z；
其中，S为视频质量评分，k1为流畅度评分的权重值，k2为清晰度评分的权重值，y为流畅度评分，Z为清晰度评分，k1和k2是经过上述训练模块中训练得到，根据不同的业务场景对应不同的k1和k2。
应当注意，尽管在上文详细描述中提及了一种文档清晰化处理装置的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。
Claims (22)
1.一种无参考网络视频质量评价方法，其特征在于，包括：
获取每一帧视频画面解码后的时间点、量化步长以及分辨率；
基于所述时间点获得视频流畅度评分；
基于所述量化步长和分辨率获得视频清晰度评分：
当所述量化步长为0且所述分辨率为4K时，所述视频清晰度评分为满分；
当所述量化步长为0且所述分辨率为除4K之外时，当前所述视频清晰度评分为上一档所述视频清晰度评分减去上一档分辨率宽高乘积与当前分辨率宽高乘积之比；
当所述量化步长为50且所述分辨率为4K时，所述视频清晰度评分为85分；
当所述量化步长为50且所述分辨率为除4K之外时，当前所述视频清晰度评分为上一档所述视频清晰度评分减去5倍的上一档分辨率宽高乘积与当前分辨率宽高乘积之比；
基于线性关系计算相同所述分辨率下的所述量化步长为0到50之间的其他所述量化步长对应的所述视频清晰度评分；
判断视频画面所处的业务场景信息；
结合所述业务场景信息对所述视频流畅度评分和视频清晰度评分分别赋予与之对应的权重值；
基于所述视频流畅度评分、所述视频清晰度评分以及相对应的权重值获得视频质量评分。
2.根据权利要求1所述的方法，其特征在于，所述基于所述时间点获得视频流畅度评分包括：
基于所述每一帧视频画面解码后的时间点获得解码后的相邻两帧的视频画面的解码时间间隔；
将所述解码时间间隔存入预设长度的队列；
获取所述队列中解码时间间隔的平均值和标准差值；
基于所述平均值和标准差值获得所述视频流畅度评分。
3.根据权利要求2所述的方法，其特征在于，所述基于所述每一帧视频画面解码后的时间点获得解码后的相邻两帧的视频画面的解码时间间隔包括：
相邻两帧视频画面中的后一帧视频画面解码后的时间点与前一帧视频画面解码后的时间点的差值为所述解码时间间隔。
4.根据权利要求2所述的方法，其特征在于，所述将所述解码时间间隔存入预设长度的队列包括：
预先设置长度为M的队列；
将所述解码时间间隔存入所述长度为M的队列；
当所述队列存入满时，将所述队列中最先存入的时间间隔删除。
5.根据权利要求2所述的方法，其特征在于，所述基于所述平均值和标准差值获得所述视频流畅度评分包括：
基于所述解码时间间隔的平均值确定平均值评分；
基于所述解码时间间隔的标准差值确定标准差值评分；
基于所述平均值评分和所述标准差值评分确定所述视频流畅度评分。
6.根据权利要求5所述的方法，其特征在于，所述基于所述解码时间间隔的平均值确定平均值评分包括：
当所述解码时间间隔的平均值低于第一阈值时，所述平均值评分为满分；
当所述解码时间间隔的平均值高于第二阈值时，所述平均值评分为零分；
当所述解码时间间隔的平均值包括或处于第一阈值和第二阈值之间时，所述平均值评分随着所述解码时间间隔的平均值呈线性变化。
7.根据权利要求5所述的方法，其特征在于，所述基于所述解码时间间隔的标准差值确定标准差值评分包括：
当所述解码时间间隔的标准差值低于第三阈值时，所述标准差值评分为满分；
当所述解码时间间隔的标准差值高于第四阈值时，所述标准差值评分为零分；
当所述解码时间间隔的标准差值包括或处于第三阈值和第四阈值之间时，所述标准差值评分随着所述解码时间间隔的标准差值呈线性变化。
8.根据权利要求1所述的方法，其特征在于，所述判断视频画面所处的业务场景信息包括：
根据视频画面传输通道的不同判断所述视频画面所处的业务场景信息；
所述业务场景信息为摄像头获取画面信息或桌面分享画面信息。
9.根据权利要求1所述的方法，其特征在于，所述结合所述业务场景信息对所述视频流畅度评分和视频清晰度评分分别赋予与之对应的权重值包括：
将所述视频清晰度评分和所述视频流畅度评分输入至预先训练好的数学模型中以得到所述权重值；其中
针对不同的业务场景，所述视频清晰度和所述视频流畅度分别对应不同的权重值。
10.根据权利要求9所述的方法，其特征在于，所述将所述视频清晰度评分和所述视频流畅度评分输入至预先训练好的数学模型中以得到所述权重值包括：
针对不同的业务场景对所述视频流畅度评分和所述视频清晰度评分赋予与之对应的不同的初始权重值以得到视频质量训练评分；
将该视频质量评分转换为客观MOS值，与主观MOS值对比;
如果相关性高，则确定所述权重初始值为当前业务场景的权重值；
如果相关性不高，则调整评分权重系数，直致符合主观感受。
11.根据权利要求1所述的方法，其特征在于，所述基于所述视频流畅度评分、所述视频清晰度评分以及相对应的权重值获得视频质量评分包括：
所述视频流畅度评分与其权重值的乘积和所述视频清晰度评分与其权重值的乘积之和为所述视频质量评分。
12.一种无参考网络视频质量评价装置，其特征在于，包括：
获取模块，用于获取每一帧视频画面解码后的时间点、量化步长以及分辨率；
流畅度评分模块，用于基于所述时间点获得视频流畅度评分；
清晰度评分模块，用于基于所述量化步长和分辨率获得视频清晰度评分；
所述清晰度评分模块包括：
用于当所述量化步长为0且所述分辨率为4K时，所述视频清晰度评分为满分的单元；
用于当所述量化步长为0且所述分辨率为除4K之外时，当前所述视频清晰度评分为上一档所述视频清晰度评分减去上一档分辨率宽高乘积与当前分辨率宽高乘积之比的单元；
用于当所述量化步长为50且所述分辨率为4K时，所述视频清晰度评分为85分的单元；
用于当所述量化步长为50且所述分辨率为除4K之外时，当前所述视频清晰度评分为上一档所述视频清晰度评分减去5倍的上一档分辨率宽高乘积与当前分辨率宽高乘积之比的单元；
用于基于线性关系计算相同所述分辨率下的所述量化步长为0到50之间的其他所述量化步长对应的所述视频清晰度评分的单元；判断模块，用于判断视频画面所处的业务场景信息；
赋予权重值模块，用于结合所述业务场景信息对所述视频流畅度评分和视频清晰度评分分别赋予与之对应的权重值；
视频质量评分模块，用于基于所述视频流畅度评分、所述视频清晰度评分以及相对应的权重值获得视频质量评分。
13.根据权利要求12所述的装置，其特征在于，所述流畅度评分模块包括：
用于基于所述每一帧视频画面解码后的时间点获得解码后的相邻两帧的视频画面的解码时间间隔的单元；
用于将所述解码时间间隔存入预设长度的队列的单元；
用于获取所述队列中解码时间间隔的平均值和标准差值的单元；
用于基于所述平均值和标准差值获得所述视频流畅度评分的单元。
14.根据权利要求13所述的装置，其特征在于，所述用于基于所述每一帧视频画面解码后的时间点获得解码后的相邻两帧的视频画面的解码时间间隔的单元包括：
用于相邻两帧视频画面中的后一帧视频画面解码后的时间点与前一帧视频画面解码后的时间点的差值为所述解码时间间隔的单元。
15.根据权利要求13所述的装置，其特征在于，所述用于将所述解码时间间隔存入预设长度的队列的单元包括：
用于预先设置长度为M的队列的单元；
用于将所述解码时间间隔存入所述长度为M的队列的单元；
当所述队列存入满时，用于将所述队列中最先存入的时间间隔删除的单元。
16.根据权利要求13所述的装置，其特征在于，所述用于基于所述平均值和标准差值获得所述视频流畅度评分的单元包括：
用于基于所述解码时间间隔的平均值确定平均值评分的单元；
用于基于所述解码时间间隔的标准差值确定标准差值评分的单元；
用于基于所述平均值评分和所述标准差值评分确定所述视频流畅度评分的单元。
17.根据权利要求16所述的装置，其特征在于，所述用于基于所述解码时间间隔的平均值确定平均值评分的单元包括：
用于当所述解码时间间隔的平均值低于第一阈值时，所述平均值评分为满分的单元；
用于当所述解码时间间隔的平均值高于第二阈值时，所述平均值评分为零分的单元；
用于当所述解码时间间隔的平均值包括或处于第一阈值和第二阈值之间时，所述平均值评分随着所述解码时间间隔的平均值呈线性变化的单元。
18.根据权利要求16所述的装置，其特征在于，所述用于基于所述解码时间间隔的标准差值确定标准差值评分的单元包括：
用于当所述解码时间间隔的标准差值低于第三阈值时，所述标准差值评分为满分的单元；
用于当所述解码时间间隔的标准差值高于第四阈值时，所述标准差值评分为零分的单元；
用于当所述解码时间间隔的标准差值包括或处于第三阈值和第四阈值之间时，所述标准差值评分随着所述解码时间间隔的标准差值呈线性变化的单元。
19.根据权利要求12所述的装置，其特征在于，所述判断模块包括：
用于根据视频画面传输通道的不同判断所述视频画面所处的业务场景信息的单元；
所述业务场景信息为摄像头获取画面信息或桌面分享画面信息。
20.根据权利要求12所述的装置，其特征在于，所述赋予权重值模块包括：
用于将所述视频清晰度评分和所述视频流畅度评分输入至预先训练好的数学模型中以得到所述权重值的单元；其中
针对不同的业务场景，所述视频清晰度和所述视频流畅度分别对应不同的权重值。
21.根据权利要求20所述的装置，其特征在于，所述用于将所述视频清晰度评分和所述视频流畅度评分输入至预先训练好的数学模型中以得到所述权重值的单元包括：
用于针对不同的业务场景对所述视频流畅度评分和所述视频清晰度评分赋予与之对应的不同的初始权重值以得到视频质量训练评分的单元；
将该视频质量评分转换为客观MOS值，与主观MOS值比较的单元;
用于如果相关性高则确定所述权重初始值为当前业务场景的权重值的单元；
用于如果相关性不高则调整评分权重系数直致符合主观感受的单元。
22.根据权利要求12所述的装置，其特征在于，所述视频质量评分模块包括：
用于所述视频流畅度评分与其权重值的乘积和所述视频清晰度评分与其权重值的乘积之和为所述视频质量评分的单元。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210428037.9A CN115225961B (zh) | 2022-04-22 | 2022-04-22 | 一种无参考网络视频质量评价方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210428037.9A CN115225961B (zh) | 2022-04-22 | 2022-04-22 | 一种无参考网络视频质量评价方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115225961A CN115225961A (zh) | 2022-10-21 |
| CN115225961B true CN115225961B (zh) | 2024-01-16 |
Family
ID=83608427
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210428037.9A Active CN115225961B (zh) | 2022-04-22 | 2022-04-22 | 一种无参考网络视频质量评价方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115225961B (zh) |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1359235A (zh) * | 2002-01-29 | 2002-07-17 | 北京工业大学 | 一种结合运动特征的视频质量评价方法 |
| CN101715146A (zh) * | 2008-10-08 | 2010-05-26 | 中国移动通信集团公司 | 压缩视频质量评价方法及评价系统 |
| CN101895752A (zh) * | 2010-07-07 | 2010-11-24 | 清华大学 | 基于图像视觉质量的视频传输方法、系统及装置 |
| CN102056009A (zh) * | 2009-11-05 | 2011-05-11 | 中国移动通信集团公司 | 视频序列的图像质量评估方法及装置 |
| CN103747237A (zh) * | 2013-02-06 | 2014-04-23 | 华为技术有限公司 | 视频编码质量的评估方法及设备 |
| WO2015102237A1 (ko) * | 2013-12-31 | 2015-07-09 | 인하대학교 산학협력단 | 주관적/객관적 동영상 비교를 통해 사용자가 인식하는 화질 저하를 최소화 하는 동영상 트랜스코딩 최적화 방법 |
| CN105100789A (zh) * | 2015-07-22 | 2015-11-25 | 天津科技大学 | 一种视频质量评价方法 |
| CN105592312A (zh) * | 2015-12-18 | 2016-05-18 | 电子科技大学 | 一种基于重构的无参考视频图像质量估计方法 |
| CN106875389A (zh) * | 2017-02-23 | 2017-06-20 | 天津大学 | 基于运动显著性的立体视频质量评价方法 |
| CN107071399A (zh) * | 2017-04-26 | 2017-08-18 | 华为技术有限公司 | 一种加密视频流的质量评估方法及装置 |
| WO2019053436A1 (en) * | 2017-09-14 | 2019-03-21 | The University Of Bristol | SPATIO-TEMPORAL SUB-SAMPLING OF DIGITAL VIDEO SIGNALS |
| CN110505522A (zh) * | 2019-09-16 | 2019-11-26 | 腾讯科技（深圳）有限公司 | 视频数据的处理方法、装置、及电子设备 |
| CN110944200A (zh) * | 2019-12-10 | 2020-03-31 | 南京大学 | 一种评估沉浸式视频转码方案的方法 |
| CN111586413A (zh) * | 2020-06-05 | 2020-08-25 | 广州繁星互娱信息科技有限公司 | 视频调整方法、装置、计算机设备及存储介质 |
| CN112767313A (zh) * | 2020-12-31 | 2021-05-07 | 广州方硅信息技术有限公司 | 视频质量评价方法、装置、及电子设备 |
| CN112866696A (zh) * | 2021-01-15 | 2021-05-28 | 北京锐马视讯科技有限公司 | 4k、8k、16k超高清视频编码优化控制方法和装置 |
| CN114092407A (zh) * | 2021-10-25 | 2022-02-25 | 上海赛连信息科技有限公司 | 一种视频会议共享文档清晰化处理方法和装置 |
| WO2022057789A1 (zh) * | 2020-09-17 | 2022-03-24 | 上海连尚网络科技有限公司 | 视频清晰度识别方法、电子设备及存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2954036B1 (fr) * | 2009-12-11 | 2012-01-13 | Thales Sa | Procede et systeme pour la determination de parametres de codage sur des flux a resolution variable |
| JP5957532B2 (ja) * | 2011-10-11 | 2016-07-27 | テレフオンアクチーボラゲット エルエム エリクソン（パブル） | ビデオシーケンスにおける知覚品質評価のためのシーン変化検出 |
| US20140044197A1 (en) * | 2012-08-10 | 2014-02-13 | Yiting Liao | Method and system for content-aware multimedia streaming |
| US20140269901A1 (en) * | 2013-03-13 | 2014-09-18 | Magnum Semiconductor, Inc. | Method and apparatus for perceptual macroblock quantization parameter decision to improve subjective visual quality of a video signal |
| CN105187835B (zh) * | 2014-05-30 | 2019-02-15 | 阿里巴巴集团控股有限公司 | 基于内容的自适应视频转码方法及装置 |
| US9781420B2 (en) * | 2015-08-12 | 2017-10-03 | Cisco Technology, Inc. | Quality metric for compressed video |
-
2022
- 2022-04-22 CN CN202210428037.9A patent/CN115225961B/zh active Active
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1359235A (zh) * | 2002-01-29 | 2002-07-17 | 北京工业大学 | 一种结合运动特征的视频质量评价方法 |
| CN101715146A (zh) * | 2008-10-08 | 2010-05-26 | 中国移动通信集团公司 | 压缩视频质量评价方法及评价系统 |
| CN102056009A (zh) * | 2009-11-05 | 2011-05-11 | 中国移动通信集团公司 | 视频序列的图像质量评估方法及装置 |
| CN101895752A (zh) * | 2010-07-07 | 2010-11-24 | 清华大学 | 基于图像视觉质量的视频传输方法、系统及装置 |
| CN103747237A (zh) * | 2013-02-06 | 2014-04-23 | 华为技术有限公司 | 视频编码质量的评估方法及设备 |
| WO2015102237A1 (ko) * | 2013-12-31 | 2015-07-09 | 인하대학교 산학협력단 | 주관적/객관적 동영상 비교를 통해 사용자가 인식하는 화질 저하를 최소화 하는 동영상 트랜스코딩 최적화 방법 |
| CN105100789A (zh) * | 2015-07-22 | 2015-11-25 | 天津科技大学 | 一种视频质量评价方法 |
| CN105592312A (zh) * | 2015-12-18 | 2016-05-18 | 电子科技大学 | 一种基于重构的无参考视频图像质量估计方法 |
| CN106875389A (zh) * | 2017-02-23 | 2017-06-20 | 天津大学 | 基于运动显著性的立体视频质量评价方法 |
| CN107071399A (zh) * | 2017-04-26 | 2017-08-18 | 华为技术有限公司 | 一种加密视频流的质量评估方法及装置 |
| WO2019053436A1 (en) * | 2017-09-14 | 2019-03-21 | The University Of Bristol | SPATIO-TEMPORAL SUB-SAMPLING OF DIGITAL VIDEO SIGNALS |
| CN110505522A (zh) * | 2019-09-16 | 2019-11-26 | 腾讯科技（深圳）有限公司 | 视频数据的处理方法、装置、及电子设备 |
| CN110944200A (zh) * | 2019-12-10 | 2020-03-31 | 南京大学 | 一种评估沉浸式视频转码方案的方法 |
| CN111586413A (zh) * | 2020-06-05 | 2020-08-25 | 广州繁星互娱信息科技有限公司 | 视频调整方法、装置、计算机设备及存储介质 |
| WO2022057789A1 (zh) * | 2020-09-17 | 2022-03-24 | 上海连尚网络科技有限公司 | 视频清晰度识别方法、电子设备及存储介质 |
| CN112767313A (zh) * | 2020-12-31 | 2021-05-07 | 广州方硅信息技术有限公司 | 视频质量评价方法、装置、及电子设备 |
| CN112866696A (zh) * | 2021-01-15 | 2021-05-28 | 北京锐马视讯科技有限公司 | 4k、8k、16k超高清视频编码优化控制方法和装置 |
| CN114092407A (zh) * | 2021-10-25 | 2022-02-25 | 上海赛连信息科技有限公司 | 一种视频会议共享文档清晰化处理方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| 不同场景下多指标的VoIP视频质量主观测试方法;王泽东;王晶;李成才;费泽松;;电视技术(Z4);全文 * |
| 面向UHDTV的多分辨率视频显示质量评估研究;赵娜;宋佳润;邹文杰;;液晶与显示(10);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115225961A (zh) | 2022-10-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yang et al. | Perceptual quality assessment of screen content images | |
| Moorthy et al. | Video quality assessment on mobile devices: Subjective, behavioral and objective studies | |
| Ries et al. | Video Quality Estimation for Mobile H. 264/AVC Video Streaming. | |
| JP3025415B2 (ja) | ディジタル圧縮・再生画像の画質評価装置 | |
| Joveluro et al. | Perceptual video quality metric for 3D video quality assessment | |
| US11363298B2 (en) | Video processing apparatus and processing method of video stream | |
| US20140348246A1 (en) | Video Conversion Method and Apparatus | |
| US9049420B1 (en) | Relative quality score for video transcoding | |
| Gao et al. | Vdpve: Vqa dataset for perceptual video enhancement | |
| Mozhaeva et al. | Constant subjective quality database: the research and device of generating video sequences of constant quality | |
| Yasakethu et al. | A compound depth and image quality metric for measuring the effects of packet loss on 3D video | |
| CN113784118A (zh) | 视频质量评估方法及装置、电子设备和存储介质 | |
| Vlaović et al. | Comparison of objective video quality assessment methods on videos with different spatial resolutions | |
| CN109886927B (zh) | 一种基于核稀疏编码的图像质量评估方法 | |
| Chen et al. | A subjective study for the design of multi-resolution ABR video streams with the VP9 codec | |
| CN115225961B (zh) | 一种无参考网络视频质量评价方法和装置 | |
| CN114866763A (zh) | 一种视频质量的评估方法、装置、终端设备和存储介质 | |
| Sun et al. | An efficient quality metric for DIBR-based 3D video | |
| Dumić et al. | Subjective quality assessment of H. 265 versus H. 264 video coding for high-definition video systems | |
| Aggarwal | A review on video quality assessment | |
| Akramullah et al. | Video quality metrics | |
| CN114827583A (zh) | 轻量级实时视频通信中客观视频质量评估的系统和方法 | |
| JP3838516B2 (ja) | 伝送画質監視装置 | |
| WO2023132223A1 (ja) | 画像処理装置、画像処理方法、および記録媒体 | |
| US11778196B2 (en) | Method and circuit system for compressing video signals based on adaptive compression rate |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |