CN112055131A

CN112055131A - 一种视频处理系统及方法

Info

Publication number: CN112055131A
Application number: CN201910487669.0A
Authority: CN
Inventors: 杨少华
Original assignee: Hangzhou Jiqin Cultural Creativity Co ltd
Current assignee: Hangzhou Jiqin Cultural Creativity Co ltd
Priority date: 2019-06-05
Filing date: 2019-06-05
Publication date: 2020-12-08

Abstract

本发明公开了一种视频处理系统及方法，涉及视频技术领域。所述系统包括：视频采集模块，用于采集原始视频；帧处理模块，用于对原始视频进行帧处理，将原始视频分成单独的每一帧；视频去噪模块，用于每一帧视频进行去噪处理；视频增强模块，用于对去噪处理后的每一视频帧进行增强处理；视频渲染模块，用于对每一增强处理后的视频帧进行渲染处理；视频合成模块，用于对每一渲染处理后的视频帧进行合成处理，生成处理后的视频。处理后的视频具有清晰度高、效果好和具有渲染效果的优点。

Description

一种视频处理系统及方法

技术领域

本发明涉及视频技术领域，特别是涉及一种视频处理系统及方法。

背景技术

帧--就是影像动画中最小单位的单幅影像画面，相当于电影胶片上的每一格镜头。一帧就是一副静止的画面，连续的帧就形成动画，如电视图象等。我们通常说帧数，简单地说，就是在1秒钟时间里传输的图片的帧数，也可以理解为图形处理器每秒钟能够刷新几次，通常用fps表示。每一帧都是静止的图象，快速连续地显示帧便形成了运动的假象。高的帧率可以得到更流畅、更逼真的动画。每秒钟帧数愈多，所显示的动作就会愈流畅。

随着计算机和数字摄像技术的发展，视频数据正越来越深入的影响着人们的生活，随着人们对视频数据的要求越来越高，针对视频数据去噪的处理方法也在不断的发展中。

传统的视频去噪算法，可以包括空域滤波和时域滤波。其中，简单的空域滤波方法，由于其不考虑时域信息，而视频序列帧之间同一位置的噪声存在随机性，因此容易导致滤波后的相邻帧之间的明显的闪烁现象；而对于简单的时域滤波技术，则会由于运动的存在导致匹配失败或误差，出现噪声残留或"鬼影"现象。因此，现有技术中更优选的是时空域滤波技术，相对于其它域的算法，其计算量略高于空域与时域滤波，但效果明显优于空域与时域滤波，因而其可以应用于高清晰度的、实时视频去噪。

视频增强是视频前后处理的一种基本手段，在一般情况下，由于手机终端成本和能耗的限制，在影院或电视中能正常播放的视频，在一些便携式设备如手机播放时会有两个缺点：

1)在黑夜或昏暗场景下的视频，在手机上显示会更暗，以至于在室内外正常或过亮环境下看不清画面；

2)正常光照条件下的视频在影院或电视中细节等能显示的很好，但在手机上显示时，由于屏幕分辨率和颜色分辨率的限制，场景会有些模糊，丢失了部分细节，特别是经过压縮解压后的视频，这种现象会更严重。

发明内容

鉴于此，本发明的目的是提供一种视频处理系统及方法，处理后的视频具有清晰度高、效果好和具有渲染效果的优点。

为了实现上述目的，本发明采用如下技术方案：

一种视频处理系统，所述系统包括：视频采集模块，用于采集原始视频；帧处理模块，用于对原始视频进行帧处理，将原始视频分成单独的每一帧；视频去噪模块，用于每一帧视频进行去噪处理；视频增强模块，用于对去噪处理后的每一视频帧进行增强处理；视频渲染模块，用于对每一增强处理后的视频帧进行渲染处理；视频合成模块，用于对每一渲染处理后的视频帧进行合成处理，生成处理后的视频。

进一步的，所述视频去噪模块包括：噪声估计单元，用于采集信息，进行噪声能量估计，输出噪声程度信息；预处理滤波单元，用于依据所述的噪声程度信息，针对当前帧图像完成预处理滤波；块运动检测单元，用于针对预处理后的帧图像，进行块运动检测；分类单元，用于对所述运动检测的结果进行各个块的属性分类；背景更新单元，用于针对属性为静止的块或者像素，进行背景的更新；所述背景包括参考层和临时层，所述参考层用于存储主参考信息，所述临时层用于存储辅助参考信息；所述参考层的更新需要应用所述临时层中相应的辅助参考信息；后处理滤波单元，用于当目标块或者像素的属性为静止的，且其相应的参考层信息的变化程度符合预设条件时，依据背景参考层所提供的参考信息进行滤波；否则，执行普通滤波。

进一步的，所述视频增强模块包括：亮度增强单元，该亮度增强单元进一步包括非线性曲线拉伸表存储子单元、直方图均衡映射表计算子单元、亮度映射表计算单元和图像亮度增强映射子单元，其中：所述非线性曲线拉伸表存储子单元，用于保存要使用的非线性拉伸曲线映射表；所述直方图均衡映射表计算子单元，用于根据输入的源图像亮度信息计算得到相应的直方图均衡映射表；所述亮度映射表计算子单元，用于对该输入的源帧图像像素点的亮度值集合中的每一亮度值，将该亮度值在非线性拉伸曲线映射表和直方图均衡映射表中的映射值进行加权平均，并用一亮度映射表记录各亮度值与加权平均后的映射值之间的对应关系；图像亮度增强映射子单元，用于根据所述亮度映射表，将输入的源图像中像素点的亮度值更新为该亮度值对应的加权平均后的映射值。

一种视频处理方法，所述方法执行以下步骤：

步骤1：采集原始视频；

步骤2：对原始视频进行帧处理，将原始视频分成单独的每一帧；

步骤3：对每一帧视频进行去噪处理；对去噪处理后的每一视频帧进行增强处理；视频渲染模块，对每一增强处理后的视频帧进行渲染处理；

步骤4：对每一渲染处理后的视频帧进行合成处理，生成处理后的视频。

进一步的，所述步骤2中，对原始视频进行帧处理，将原始视频分成单独的每一帧的方法执行以下步骤：

步骤2.1：计算原始视频的总时间，以秒为单位计数；

步骤2.2：将原始视频按照秒数，分成对应的份数。

进一步的，所述步骤3中，对每一帧视频进行去噪处理；对去噪处理后的每一视频帧进行增强处理；视频渲染模块，对每一增强处理后的视频帧进行渲染处理的方法执行以下步骤：

步骤3.1：进行去噪处理的步骤，具体包括：

采集信息，进行噪声能量估计，输出噪声程度参数；依据噪声程度参数，针对当前帧图像完成预处理滤波；针对预处理后的图像，进行运动检测；对运动检测的结果进行各个块的属性分类，针对属性为静止的块或者像素，进行背景的更新；背景包括参考层和临时层，参考层用于存储主参考信息，临时层用于存储辅助参考信息；参考层的更新需要应用临时层中相应的辅助参考信息；如果目标块或者像素的属性为静止的，并且其相应的参考层信息的变化程度符合预设条件，则依据背景模型参考层所提供的参考信息进行滤波；否则，执行普通滤波。

步骤3.2：进行视频增强的步骤，具体包括：

设置一非线性拉伸曲线映射表；进行视频增强时，对待处理的每一帧图像，根据其亮度信息计算得到该帧图像的直方图均衡映射表，然后对该帧图像像素点的亮度值集合中的每一亮度值，将该亮度值在非线性拉伸曲线映射表和直方图均衡映射表中的映射值进行加权平均，并用一亮度映射表记录各亮度值与加权平均后的映射值之间的对应关系；然后根据所述亮度映射表，将该帧图像像素点的亮度值更新为该亮度值对应的加权平均后的映射值，完成亮度增强。

步骤3.3：进行视频渲染的步骤。

进一步的，对每一渲染处理后的视频帧进行合成处理，生成处理后的视频的方法执行以下步骤：根据步骤2中，计算得到的秒数，按照顺序，将渲染处理后的视频进行合成，组成完整的视频。

与现有技术相比，本发明实现的有益效果：处理后的视频具有清晰度高、效果好和具有渲染效果的优点。

附图说明

以下结合附图和具体实施方式来进一步详细说明本发明：

图1为本发明实施例公开的视频处理系统的系统结构示意图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。

请参阅图1。须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

实施例1

具体的，

实施例2

在上一实施例的基础上，所述视频去噪模块包括：噪声估计单元，用于采集信息，进行噪声能量估计，输出噪声程度信息；预处理滤波单元，用于依据所述的噪声程度信息，针对当前帧图像完成预处理滤波；块运动检测单元，用于针对预处理后的帧图像，进行块运动检测；分类单元，用于对所述运动检测的结果进行各个块的属性分类；背景更新单元，用于针对属性为静止的块或者像素，进行背景的更新；所述背景包括参考层和临时层，所述参考层用于存储主参考信息，所述临时层用于存储辅助参考信息；所述参考层的更新需要应用所述临时层中相应的辅助参考信息；后处理滤波单元，用于当目标块或者像素的属性为静止的，且其相应的参考层信息的变化程度符合预设条件时，依据背景参考层所提供的参考信息进行滤波；否则，执行普通滤波。

实施例3

在上一实施例的基础上，所述视频增强模块包括：亮度增强单元，该亮度增强单元进一步包括非线性曲线拉伸表存储子单元、直方图均衡映射表计算子单元、亮度映射表计算单元和图像亮度增强映射子单元，其中：所述非线性曲线拉伸表存储子单元，用于保存要使用的非线性拉伸曲线映射表；所述直方图均衡映射表计算子单元，用于根据输入的源图像亮度信息计算得到相应的直方图均衡映射表；所述亮度映射表计算子单元，用于对该输入的源帧图像像素点的亮度值集合中的每一亮度值，将该亮度值在非线性拉伸曲线映射表和直方图均衡映射表中的映射值进行加权平均，并用一亮度映射表记录各亮度值与加权平均后的映射值之间的对应关系；图像亮度增强映射子单元，用于根据所述亮度映射表，将输入的源图像中像素点的亮度值更新为该亮度值对应的加权平均后的映射值。

具体的，进行视频增强时，对待处理的每一帧图像，根据其亮度数据计算得到该帧图像的直方图均衡映射表，然后至少对该帧图像像素点的亮度值集合中的每一亮度值，将该亮度值在非线性拉伸曲线映射表和直方图均衡映射表中的映射值进行加权平均，并用一亮度映射表记录各亮度值与加权平均后的映射值之间的对应关系；然后根据所述亮度映射表，将该帧图像像素点的亮度值更新为该亮度值对应的加权平均后的映射值，完成亮度增强。

实施例4

一种视频处理方法，所述方法执行以下步骤：

步骤1：采集原始视频；

实施例5

在上一实施例的基础上，对原始视频进行帧处理，将原始视频分成单独的每一帧的方法执行以下步骤：

步骤2.1：计算原始视频的总时间，以秒为单位计数；

步骤2.2：将原始视频按照秒数，分成对应的份数。

实施例7

在上一实施例的基础上，所述步骤3中，对每一帧视频进行去噪处理；对去噪处理后的每一视频帧进行增强处理；视频渲染模块，对每一增强处理后的视频帧进行渲染处理的方法执行以下步骤：

步骤3.1：进行去噪处理的步骤，具体包括：

步骤3.2：进行视频增强的步骤，具体包括：

步骤3.3：进行视频渲染的步骤。

具体的，采集数据，进行噪声能量估计，输出噪声程度参数；依据所述的噪声程度参数，针对当前帧图像完成预处理滤波；针对预处理后的图像，进行运动检测；对所述运动检测的结果进行各个块的属性分类，并针对属性为静止的块或者像素，进行背景模型的更新；所述背景模型包括一个参考层和至少一个临时层，所述参考层用于存储主参考数据，所述临时层用于存储辅^^考数据；所述参考层的更新需要应用所述临时层中相应的辅助参考数据；如果目标块或者像素的属性为静止的，并且其相应的参考层数据的变化程度符合预定条件，则依据背景模型参考层所提供的参考数据进行滤波；否则，执行普通滤波。

优选的，所述针对属性为静止的块或者像素，可以通过以下步骤完成背景模型的更新：如果当前块或者像素的数据与相应的参考层数据具有相同的时域统计特性，则更新其所属的背景模型中的相关数据；否则，将已有的背景模型中有效参考价值最小的临时层中的相应数据抛弃，将当前块或者像素的数据作为该临时层的数据。

实施例7

在上一实施例的基础上，对每一渲染处理后的视频帧进行合成处理，生成处理后的视频的方法执行以下步骤：根据步骤2中，计算得到的秒数，按照顺序，将渲染处理后的视频进行合成，组成完整的视频。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

需要说明的是，上述实施例提供的系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD～ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims

1.一种视频处理系统，其特征在于，所述系统包括：视频采集模块，用于采集原始视频；帧处理模块，用于对原始视频进行帧处理，将原始视频分成单独的每一帧；视频去噪模块，用于每一帧视频进行去噪处理；视频增强模块，用于对去噪处理后的每一视频帧进行增强处理；视频渲染模块，用于对每一增强处理后的视频帧进行渲染处理；视频合成模块，用于对每一渲染处理后的视频帧进行合成处理，生成处理后的视频。

2.如权利要求1所述的系统，其特征在于，所述视频去噪模块包括：噪声估计单元，用于采集信息，进行噪声能量估计，输出噪声程度信息；预处理滤波单元，用于依据所述的噪声程度信息，针对当前帧图像完成预处理滤波；块运动检测单元，用于针对预处理后的帧图像，进行块运动检测；分类单元，用于对所述运动检测的结果进行各个块的属性分类；背景更新单元，用于针对属性为静止的块或者像素，进行背景的更新；所述背景包括参考层和临时层，所述参考层用于存储主参考信息，所述临时层用于存储辅助参考信息；所述参考层的更新需要应用所述临时层中相应的辅助参考信息；后处理滤波单元，用于当目标块或者像素的属性为静止的，且其相应的参考层信息的变化程度符合预设条件时，依据背景参考层所提供的参考信息进行滤波；否则，执行普通滤波。

3.如权利要求1所述的系统，其特征在于，所述视频增强模块包括：亮度增强单元，该亮度增强单元进一步包括非线性曲线拉伸表存储子单元、直方图均衡映射表计算子单元、亮度映射表计算单元和图像亮度增强映射子单元，其中：所述非线性曲线拉伸表存储子单元，用于保存要使用的非线性拉伸曲线映射表；所述直方图均衡映射表计算子单元，用于根据输入的源图像亮度信息计算得到相应的直方图均衡映射表；所述亮度映射表计算子单元，用于对该输入的源帧图像像素点的亮度值集合中的每一亮度值，将该亮度值在非线性拉伸曲线映射表和直方图均衡映射表中的映射值进行加权平均，并用一亮度映射表记录各亮度值与加权平均后的映射值之间的对应关系；图像亮度增强映射子单元，用于根据所述亮度映射表，将输入的源图像中像素点的亮度值更新为该亮度值对应的加权平均后的映射值。

4.一种基于权利要求1至3之一所述系统的视频处理方法，其特征在于，所述方法执行以下步骤：

步骤1：采集原始视频；

5.如权利要求4所述的方法，其特征在于，所述步骤2中，对原始视频进行帧处理，将原始视频分成单独的每一帧的方法执行以下步骤：

步骤2.1：计算原始视频的总时间，以秒为单位计数；

步骤2.2：将原始视频按照秒数，分成对应的份数。

6.如权利要求5所述的方法，其特征在于，所述步骤3中，对每一帧视频进行去噪处理；对去噪处理后的每一视频帧进行增强处理；视频渲染模块，对每一增强处理后的视频帧进行渲染处理的方法执行以下步骤：

步骤3.1：进行去噪处理的步骤，具体包括：

步骤3.2：进行视频增强的步骤，具体包括：

步骤3.3：进行视频渲染的步骤。

7.如权利要求6所述的方法，其特征在于，所述骤4中，对每一渲染处理后的视频帧进行合成处理，生成处理后的视频的方法执行以下步骤：根据步骤2中，计算得到的秒数，按照顺序，将渲染处理后的视频进行合成，组成完整的视频。