CN115442575B

CN115442575B - 一种基于视频质量评估的视频自适应传输方法及系统

Info

Publication number: CN115442575B
Application number: CN202211388000.4A
Authority: CN
Inventors: 张春梅; 李华; 刘文韬; 罗其锋; 刘磊; 张宝星; 高杨; 毛焱; 王天师; 谭莹莹; 包达志; 魏俊锋; 黄国柱; 熊激川
Original assignee: Zhongshan Power Supply Bureau of Guangdong Power Grid Co Ltd
Current assignee: Zhongshan Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority date: 2022-11-08
Filing date: 2022-11-08
Publication date: 2023-03-24
Anticipated expiration: 2042-11-08
Also published as: CN115442575A

Abstract

本发明涉及电力监控视频处理技术领域，具体公开了一种基于视频质量评估的视频自适应传输方法及系统，所述方法包括接收待传输视频，将待传输视频转换为图像序列；在图像序列中选取节点图像，并确定切分网格；基于所述切分网格确定失真级别；当所述失真级别达到预设的条件时，对节点图像进行图像增强，并记录增强流程。本发明将视频转换为图像序列，根据图像序列的亮度均值选取需要进行增强的图像；计算这些图像的失真程度，根据失真程度确定增强方式，基于原始图像对图像进行增强的同时，记录增强流程；打包视频和对应的增强流程，在保证传输效率的同时，增设了可选式的细节查看功能，极大地提高了视频的适应性。

Description

一种基于视频质量评估的视频自适应传输方法及系统

技术领域

本发明涉及电力监控视频处理技术领域，具体是一种基于视频质量评估的视频自适应传输方法及系统。

背景技术

视频的文件大小越大，细节越丰富，相应的传输压力也就越大，不利于视频传播过程；因此，现有的电力监控视频的传输过程，都会先对图像进行处理，在尽量保证不失真的前提下，降低视频质量，缓解传输压力，利于视频传播过程；通俗地说，现有的视频传输模式包括超清、高清和标清模式。

但是，质量较低的视频，细节内容很少，接收方没有办法获取细节部分，他只能选择获取清晰度更高的视频来观察细节，便捷性很低；有很多情况下，接收方只想要查看部分内容的细节，不需要全部都是高清内容。

这一问题在电力监控技术领域中非常常见，对于电力监控区域，出现问题的概率较低，但一旦出现问题，后果都比较严重，所以电力监控视频的传输时效性需要保证，细节方面也需要保证，这两者存在一定的冲突，细节丰富就意味着视频质量高，传输压力很大，而日常运行过程中，大部分的细节内容又是无效的（正常运行的视频视为无效视频），因此，如何提高低质量视频的细节丰富度是本发明技术方案想要解决的技术问题。

发明内容

本发明的目的在于提供一种基于视频质量评估的视频自适应传输方法及系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于视频质量评估的视频自适应传输方法，所述方法包括：

接收待传输视频，将待传输视频转换为图像序列；

根据预设的亮度公式依次计算各图像的亮度均值；

根据所述亮度均值生成变化曲线，根据所述变化曲线在图像序列中选取节点图像，并确定切分网格；

基于所述切分网格计算节点图像与预设的标准图像之间的均方差矩阵，根据所述均方差矩阵确定失真级别；所述均方差矩阵的行列数与切分网格对应；

当所述失真级别达到预设的条件时，对节点图像进行图像增强，并记录增强流程；

将增强流程插入待传输视频进行传输。

作为本发明进一步的方案：所述根据预设的亮度公式依次计算各图像的亮度均值的步骤包括：

依次读取图像序列中的图像，遍历提取图像中的各个像素点的色值；

将所述色值输入预设的亮度公式，得到各个像素点的亮度；

根据各个像素点的亮度计算该图像的亮度均值；

所述亮度公式为：

；

式中，L（x，y）为点（x，y）的亮度；

、/>

和/>

分别为该点的RGB值。

作为本发明进一步的方案：所述根据所述亮度均值生成变化曲线，根据所述变化曲线在图像序列中选取节点图像，并确定切分网格的步骤包括：

在图像序列中读取各图像的时间信息和亮度均值；

基于所述时间信息拟合亮度均值，生成变化曲线及其变化函数；

计算变化函数的导函数，根据所述导函数标记突变时间点；

基于突变时间点选取预设时间长度的图像，作为节点图像；

根据突变时间点的变化函数值和导函数值确定单元格尺寸，生成切分网格。

作为本发明进一步的方案：所述基于所述切分网格计算节点图像与预设的标准图像之间的均方差矩阵，根据所述均方差矩阵确定失真级别的步骤包括：

根据节点图像的时间信息在预设的标准视频中选取标准图像；

读取切分网格，基于所述切分网格对节点图像和标准图像进行切分，得到子单元；

依次遍历两个图像中的子单元，读取像素点的亮度，输入均方差计算公式，得到各个子单元的均方差；

统计各个子单元的均方差，生成与切分网格对应的均方差矩阵；

根据所述均方差矩阵确定失真单元，根据失真单元的位置及均方差确定节点图像的失真级别；

所述均方差计算公式为：

；

式中，J为均方差，

为节点图像的子单元中各像素点的亮度，/>

为标准图像的子单元中各像素点的亮度；所述节点图像的子单元与标准图像的子单元的位置相同。

作为本发明进一步的方案：所述对节点图像进行图像增强的步骤包括：

读取节点图像中各像素点的亮度，基于亮度对节点图像进行线性增强；

对线性增强后的节点图像进行对比度增强；

将对比度增强后的节点图像输入预设的图像平滑公式，得到最终图像。

作为本发明进一步的方案：所述读取节点图像中各像素点的亮度，基于亮度对节点图像进行线性增强的步骤包括：

；

式中，

；/>

z的取值函数为：

取值函数中，F表示节点图像的累计直方图达到0.1时对应的亮度值；所述累计直方图表示节点图像中各像素点的亮度值小于F的概率。

作为本发明进一步的方案：所述对线性增强后的节点图像进行对比度增强的步骤包括：

；

式中，

；/>

为对比度增强结果；/>

表示线性增强后的图像对原始亮度数据的卷积；所述原始亮度数据为计算各像素点亮度后得到的图像；

式中，P的取值函数为：

取值函数中，

为基于原始亮度数据的全局均方差；

所述图像平滑公式为：

；

取值为1。

本发明技术方案还提供了一种基于视频质量评估的视频自适应传输系统，所述系统包括：

视频转换模块，用于接收待传输视频，将待传输视频转换为图像序列；

均值计算模块，用于根据预设的亮度公式依次计算各图像的亮度均值；

节点图像确定模块，用于根据所述亮度均值生成变化曲线，根据所述变化曲线在图像序列中选取节点图像，并确定切分网格；

失真级别确定模块，用于基于所述切分网格计算节点图像与预设的标准图像之间的均方差矩阵，根据所述均方差矩阵确定失真级别；所述均方差矩阵的行列数与切分网格对应；

增强流程记录模块，用于当所述失真级别达到预设的条件时，对节点图像进行图像增强，并记录增强流程；

数据传输模块，用于将增强流程插入待传输视频进行传输。

作为本发明进一步的方案：所述均值计算模块包括：

色值提取单元，用于依次读取图像序列中的图像，遍历提取图像中的各个像素点的色值；

单点计算单元，用于将所述色值输入预设的亮度公式，得到各个像素点的亮度；

统计计算单元，用于根据各个像素点的亮度计算该图像的亮度均值；

所述亮度公式为：

；

式中，L（x，y）为点（x，y）的亮度；

、/>

和/>

分别为该点的RGB值。

作为本发明进一步的方案：所述节点图像确定模块包括：

数据读取单元，用于在图像序列中读取各图像的时间信息和亮度均值；

数据拟合单元，用于基于所述时间信息拟合亮度均值，生成变化曲线及其变化函数；

变化分析单元，用于计算变化函数的导函数，根据所述导函数标记突变时间点；

图像选取单元，用于基于突变时间点选取预设时间长度的图像，作为节点图像；

网格确定单元，用于根据突变时间点的变化函数值和导函数值确定单元格尺寸，生成切分网格。

与现有技术相比，本发明的有益效果是：本发明将视频转换为图像序列，根据图像序列的亮度均值选取需要进行增强的图像；计算这些图像的失真程度，根据失真程度确定增强方式，基于原始图像对图像进行增强的同时，记录增强流程；打包视频和对应的增强流程，在保证传输效率的同时，增设了可选式的细节查看功能，极大地提高了视频的适应性，非常适合如电力监控领域这类风险概率低且风险后果严重的场合。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。

图1为基于视频质量评估的视频自适应传输方法的流程框图。

图2为基于视频质量评估的视频自适应传输方法的第一子流程框图。

图3为基于视频质量评估的视频自适应传输方法的第二子流程框图。

图4为基于视频质量评估的视频自适应传输方法的第三子流程框图。

图5为基于视频质量评估的视频自适应传输方法的第四子流程框图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例1

图1为基于视频质量评估的视频自适应传输方法的流程框图，本发明实施例中，一种基于视频质量评估的视频自适应传输方法，所述方法包括：

步骤S100：接收待传输视频，将待传输视频转换为图像序列；

将视频转换为图像的过程是视频处理手段的基础手段，实现过程极为常见；

步骤S200：根据预设的亮度公式依次计算各图像的亮度均值；

图像的亮度与灰度类似，都是主观评价标准，图像的客观评价标准是色值，比如RGB参数，将RGB参数转换为亮度就是上述步骤想要实现的功能；可以参考灰度转换过程，区别在于采用的公式不同。

步骤S300：根据所述亮度均值生成变化曲线，根据所述变化曲线在图像序列中选取节点图像，并确定切分网格；

一张图像对应一个亮度均值，对亮度均值进行分析，可以判断相邻图像之间是否发生大的变化，根据变化幅度，确定不同精细度的切分网格；一般情况下，我们认为变化幅度大的图像更加重要。

步骤S400：基于所述切分网格计算节点图像与预设的标准图像之间的均方差矩阵，根据所述均方差矩阵确定失真级别；所述均方差矩阵的行列数与切分网格对应；

基于切分网络计算节点图像与标准图像之间的差距，切分网格越细化，差距计算越准确；这一差距由均方差矩阵反映，均方差矩阵能够同时反映位置和差异两方面的情况。

步骤S500：当所述失真级别达到预设的条件时，对节点图像进行图像增强，并记录增强流程；

如果失真级别达到一定程度，就需要对节点图像进行图像增强，增强后的图像并不向其他端口发送，而是将图像增强过程记录下来，向其他端口发送；

步骤S600：将增强流程插入待传输视频进行传输；

打包待传输视频和部分图像的增强过程，向其他端口发送。

为了便于本领域技术人员更好地理解本发明技术方案，现举例说明上述步骤，如下：

现有的个人用手机拍摄的视频，短短的几分钟，文件大小极大；当接收方发现两分钟的视频有几百MB时，他的下载欲望几乎为零；因此，发送方会对视频进行压缩，通过降低视频质量的方式，将视频压缩至几十甚到十几MB，这一压缩过程中，一定存在细节失真的现象。

接收方在面对失真视频时，非常被动，他无法查询想要观看的细节；而本发明技术方案通过比对降低质量后的视频（小视频）和原视频（大视频），对某些变化幅度较大的图像进行增强，并记录增强流程（增强后的图像大小较大，但流程的文件大小很小），打包降低质量后的视频和增强流程，一并发送至接收方，接收方的用户想要查询细节时，根据增强流程，对某几帧图像进行增强，进而观看细节部分；这种方式在保证传输速度的前提下，尽量的还原了细节，是对视频传输过程的功能扩充。

图2为基于视频质量评估的视频自适应传输方法的第一子流程框图，所述根据预设的亮度公式依次计算各图像的亮度均值的步骤包括：

步骤S201：依次读取图像序列中的图像，遍历提取图像中的各个像素点的色值；

步骤S202：将所述色值输入预设的亮度公式，得到各个像素点的亮度；

步骤S203：根据各个像素点的亮度计算该图像的亮度均值；

所述亮度公式为：

；

式中，L（x，y）为点（x，y）的亮度；

、/>

和/>

分别为该点的RGB值。

图像的亮度均值是一个值，这个值由图像中所有像素点的亮度共同确定；亮度由像素点的色值确定，确定公式参考上述内容；其原理非常简单，就是确定R、G、B值的相关系数后，得到的线性公式。

图3为基于视频质量评估的视频自适应传输方法的第二子流程框图，所述根据所述亮度均值生成变化曲线，根据所述变化曲线在图像序列中选取节点图像，并确定切分网格的步骤包括：

步骤S301：在图像序列中读取各图像的时间信息和亮度均值；

步骤S302：基于所述时间信息拟合亮度均值，生成变化曲线及其变化函数；

步骤S303：计算变化函数的导函数，根据所述导函数标记突变时间点；

步骤S304：基于突变时间点选取预设时间长度的图像，作为节点图像；

步骤S305：根据突变时间点的变化函数值和导函数值确定单元格尺寸，生成切分网格。

当亮度均值计算完成后，图像序列就可以转换为多个坐标点，坐标点的横坐标为时间，纵坐标为亮度均值，通过列表-描点-拟合的方法，可以得到与图像序列对应的变化曲线，变化曲线的导数能够反映各时刻图像的变化幅度，如果变化幅度较大，就说明视频中该图像的场景发生了变化，如果变化幅度不大，就说明该图像中的场景变化很小。

结合上述说明，由导函数可以确定哪些图像更有增强意义（变化幅度较大的图像），以这些图像的时间点为中心，选取一段时间的图像，标记为节点图像；结合节点图像的变化函数值和导函数值确定切分网格；变化函数值反映了节点图像的亮度，导函数值反映了节点图像的变化幅度，由二者的数值共同确定切分网格的颗粒度。

图4为基于视频质量评估的视频自适应传输方法的第三子流程框图，所述基于所述切分网格计算节点图像与预设的标准图像之间的均方差矩阵，根据所述均方差矩阵确定失真级别的步骤包括：

步骤S401：根据节点图像的时间信息在预设的标准视频中选取标准图像；

步骤S402：读取切分网格，基于所述切分网格对节点图像和标准图像进行切分，得到子单元；

步骤S403：依次遍历两个图像中的子单元，读取像素点的亮度，输入均方差计算公式，得到各个子单元的均方差；

步骤S404：统计各个子单元的均方差，生成与切分网格对应的均方差矩阵；

步骤S405：根据所述均方差矩阵确定失真单元，根据失真单元的位置及均方差确定节点图像的失真级别；

所述均方差计算公式为：

；

式中，J为均方差，

为节点图像的子单元中各像素点的亮度，/>

均方差反应的是两个图像之间的差异值，比对的两个图像是节点图像和标准图像，两个图像的时间点相同，对应的切分网格也相同；所述标准图像就是原有的超清图像。

具体的，根据切分网格将图像切分为若干个子单元，依次计算对应两个子单元之间的差异（均方差），然后统计所有子单元之间的差异，得到一个均方差矩阵。

在对均方差矩阵进行解释之前，需要对“失真”这一概念进行说明，失真的影响条件其实有两种，一种是失去的像素内容，另一种是失去的像素内容的位置，对于前者，很好理解，对于后者，需要进一步说明：举例如下：

对于一张图像，假设它与标准图像相比，丢失了20*20的像素内容，如果这20*20的像素内容分散在边界上，那么它的失真程度其实很小，如果这20*20的像素内容在图像正中间的，使得图像缺失了一块，那么它的失真程度就很高；因此，失真内容的位置也需要考虑。

在上述内容中，通过计算不同子单元的均方差，可以得到不同位置的均方差，得到均方差矩阵，同时表达了内容和位置两个参数；因此，由均方差矩阵确定失真级别更加准确，具体的判定规则由设计人员视情况而定。

图5为基于视频质量评估的视频自适应传输方法的第四子流程框图，所述对节点图像进行图像增强的步骤包括：

步骤S501：读取节点图像中各像素点的亮度，基于亮度对节点图像进行线性增强；

步骤S502：对线性增强后的节点图像进行对比度增强；

步骤S503：将对比度增强后的节点图像输入预设的图像平滑公式，得到最终图像。

对节点图像的增强过程主要分三步，首先，是亮度层面的增强，亮度计算过程已经完成，在已经计算出的亮度的基础上进行即可；然后，是对比度层面的增强，调节亮度的过程会影响到对比度，因此，需要将对比度再做调整；最后，需要对节点图像进行统一的平滑处理，这一过程没有前两步重要，因为平滑处理主要是调节观感，接收方想要查询细节时，细节部分的内容相对于观感，更加重要。

作为本发明技术方案的一个优选实施例，所述读取节点图像中各像素点的亮度，基于亮度对节点图像进行线性增强的步骤包括：

；

式中，

；

z的取值函数为：

对节点图像进行线性增强的过程是在亮度计算过程基础上进行的，

某一像素点在线性增强后的亮度，/>

是该像素点在线性增强前（节点图像）中的亮度归一化后的值，由上述亮度公式计算得出的亮度与归一化公式得出；归一化公式就是在亮度的基础上再比上255。

对于z的取值过程需要具体的说明，如下：

取值函数中的F表示亮度图像的累计直方图达到0.1（10%）时的色阶值，累计直方图代表图像组成成分在灰度级（本发明技术方案中的亮度）的累计概率分布情况，每一个概率值代表小于等于此灰度值的概率；

通俗地说，就是亮度图像中像素点的亮度值小于F的概率；当F为255时，小于F的概率是1，随着F的降低，概率逐渐降低，当概率达到0.1时，可以确定一个F值，该值就作为z值的取值条件。

可以想到，如果亮度图像中90%的像素值都大于150（小于150的概率为0.1），则Z=1，如果10%或者更多的像素值都小于50，则Z取值为0，否则其他情况Z则根据L的值线性插值。

其中，所述亮度图像为将节点图像中每个像素点的色值转换为亮度后，生成的图像。

上述取值的原理是，如果Z=0，说明图像中存在大量的偏暗像素，图像有必要变亮一些，如果Z=1，则说明图像已经很亮了，则此时图像无需继续加亮处理。介于两者之间时，我们也做中和处理。

作为本发明技术方案的一个优选实施例，所述对线性增强后的节点图像进行对比度增强的步骤包括：

；

式中，

；/>

为对比度增强结果；/>

式中，P的取值函数为：

取值函数中，

为基于原始亮度数据的全局均方差；

上述过程的原理为对局部进行对比度增强。当当前像素值比周边像素的平均值大时，我们增大当前像素值，而当前像素值比周边像素平均值小时，我们减少它的值。

当前像素值与周边像素的关系通过卷积计算反映，数字图像是一个二维的离散信号，对数字图像做卷积操作其实就是利用卷积核（卷积模板）在图像上滑动，将图像点上的像素灰度值（亮度）与对应的卷积核上的数值相乘，然后将所有相乘后的值相加作为卷积核中间像素对应的图像上像素的灰度值（亮度值），并最终滑动完所有图像的过程。上述过程中的卷积核大小由工作人员确定，确定卷积核后，在亮度图像中滑动，即可得到一个数值，这个数值就代表了中心点与其周围像素点的关系。

对于上述P的取值过程需要具体说明：

P是一个和图像有关的参数，如果原始图像的对比度比较差，P应该是一个较大的值，来提高图像的整体对比度，我们通过求原始亮度图的全局均方差来决定P值的大小。当全局均方差小于3时（说明图像大部分地方基本是同一个颜色了，对比度很差），此时P值取大值，当均方差大于10时，说明原图的对比度还是可以的，减少增强的程度，均方差介于3和10之间则适当线性增强。

对于上述过程的具体说明如下：

当卷积值（

）小于原始值（/>

）时，也就是说中心点的亮度大于周边的亮度，此时/>

必然小于1，由于/>

在前面已经归一化，他是小于或等于1的，此时/>

的值必然大于原始亮度值，也就是亮的更亮（这里的亮不是说全局的亮，而是局部的亮）。如果卷积值大于原始值，说明中心点的亮度比周边的暗，此时/>

大于1，导致/>

处理后的结果值更暗。

所述图像平滑公式为：

；

取值一般为1，这样可以保证图像整体没有色彩偏移，下标j用于表示新的图像，无下标代表原始图像。

实施例2

本发明实施例中，一种基于视频质量评估的视频自适应传输系统，所述系统包括：

数据传输模块，用于将增强流程插入待传输视频进行传输。

所述均值计算模块包括：

所述亮度公式为：

；

式中，L（x，y）为点（x，y）的亮度；

、/>

和/>

分别为该点的RGB值。

所述节点图像确定模块包括：

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。