CN106161872A - 视频预处理方法及装置 - Google Patents

Abstract

本发明提供了一种视频预处理方法及装置，其中，该方法包括：获取视频输入源信号；通过现场可编程门阵列FPGA对该视频输入源信号进行检测，得到检测结果；根据该检测结果对视频输入源信号进行编码处理。通过本发明解决了相关技术中A/D芯片输出的视频图像可能存在异常的问题，进而完善了视频预处理的过程。

Description

视频预处理方法及装置

技术领域

本发明涉及通信领域，具体而言，涉及一种视频预处理方法及装置。

背景技术

在视频会议系统中，编码时一般采用由模拟/数字(Analog to Digital，简称为A/D)芯片直接将采集转换后的视频送到视频编码模块，所以一旦A/D芯片输出的图像异常，将直接影响到视频的编码，A/D芯片的输出受其参数配置和硬件电路的影响。而当前A/D参数的配置多依赖于人的主观判断，硬件电路导致芯片输出的异常更是缺少检测手段。

同时视频编码时比较消耗中央处理器(Central Processing Unit，简称为CPU)资源，尤其在视频内容具有较大运动量时更加明显。如果能够提供一个协处理单元来完成对视频中大运动量的检测，将能够节省编码器的资源和提高其性能。

针对相关技术中，A/D芯片输出的视频图像可能存在异常的问题，还未提出有效的解决方案。

发明内容

本发明提供了一种视频预处理方法及装置，以至少解决相关技术中A/D芯片输出的视频图像可能存在异常的问题。

根据本发明的一个方面，提供了一种视频预处理方法，包括：获取视频输入源信号；通过现场可编程门阵列FPGA对所述视频输入源信号进行检测，得到检测结果；根据所述检测结果对所述视频输入源信号进行编码处理。

进一步地，所述检测结果包括以下至少之一：所述视频输入源信号的格式是否异常的判定结果、所述视频输入源信号的图像质量是否异常的判定结果、所述视频输入源信号是否存在大运动量的判定结果。

进一步地，所述视频输入源信号的格式存在异常的判定结果包括以下至少之一：所述视频输入源信号的同步信息的异常、所述视频输入源信号的宽高比例的异常；和/或，所述视频输入源信号的图像质量异常的判定包括：所述视频输入源信号的亮度超出第一预定阈值范围和/或所述视频输入源信号的色度超出第二预定阈值范围。

进一步地，根据所述检测结果对所述视频输入源信号进行编码处理之前包括：在判定所述视频输入源信号的格式为异常的情况下，将异常的所述视频输入源信号调整为正常的视频输入源信号。

进一步地，根据所述检测结果对所述视频输入源信号进行编码处理之前包括：在判定所述视频输入源信号的图像质量为异常的情况下，调整所述视频输入源信号的亮度和/或色度。

进一步地，根据所述检测结果对所述视频输入源信号进行编码处理包括：所述视频输入源信号存在大运动量的判定结果的情况下，根据所述视频输入源信号的运动复杂度和/或运动矢量对所述视频输入源信号进行编码处理。

进一步地，所述视频输入源信号为经过模数A/D转换，并且在编码之前的视频数据。

根据本发明的另一个方面，还提供了一种视频预处理装置，所述装置包括：第一获取模块，用于获取视频输入源信号；第二获取模块，用于通过现场可编程门阵列FPGA对所述视频输入源信号进行检测，得到检测结果；编码模块，用于根据所述检测结果对所述视频输入源信号进行编码处理。

进一步地，所述检测结果包括以下至少之一：所述视频输入源信号的格式是否异常的判定结果、所述视频输入源信号的图像质量是否异常的判定结果、所述视频输入源信号是否存在大运动量的判定结果。

进一步地，所述视频输入源信号的格式存在异常的判定结果包括以下至少之一：所述视频输入源信号的同步信息的异常、所述视频输入源信号的宽高比例的异常；和/或，所述视频输入源信号的图像质量异常的判定包括：所述视频输入源信号的亮度超出第一预定阈值范围和/或所述视频输入源信号的色度超出第二预定阈值范围。

通过本发明，采用获取视频输入源信号；通过现场可编程门阵列FPGA对该视频输入源信号进行检测，得到检测结果；根据该检测结果对视频输入源信号进行编码处理。解决了相关技术中A/D芯片输出的视频图像可能存在异常的问题，进而完善了视频预处理的过程。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的视频预处理方法的流程图；

图2是根据本发明实施例的视频预处理装置的结构框图；

图3是根据本发明实施例提供的预处理模块在视频会议系统前端的接入框图；

图4是根据本发明实施例提供的预处理模块在视频会议系统前端的接入流程图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

在本实施例中提供了一种视频预处理方法，图1是根据本发明实施例的视频预处理方法的流程图，如图1所示，该流程包括如下步骤：

步骤S102，获取视频输入源信号；

步骤S104，通过现场可编程门阵列FPGA对视频输入源信号进行检测，得到检测结果；

步骤S106，根据检测结果对视频输入源信号进行编码处理。

通过上述步骤，对经过模数A/D转换，并且未经过编码的视频输入源信号，利用FPGA技术进行检测，得到检测的结果，根据检测结果指示的信息对视频输入源信号进行后续的编码处理，相比于现有技术中，利用其他的处理器完成视频预处理实时性欠佳、处理不够智能，上述步骤解决了相关技术中A/D芯片输出的视频图像可能存在异常的问题，进而完善了视频预处理的过程。

在上述步骤S104中通过FPGA对视频输入源信号进行检测得到的检查结果可以有很多种，下面对此进行举例说明。在一个可选实施例中，上述检测结果可以为视频输入源信号的格式是否异常的判定结果、视频输入源信号的图像质量是否异常的判定结果、或者视频输入源信号是否存在大运动量的判定结果。

在一个可选实施例中，视频输入源信号的格式存在异常的判定结果可以是视频输入源信号的同步信息的异常或者该视频输入源信号的宽高比例的异常。在另一个可选实施例中，视频输入源信号的图像质量异常的判定可以是视频输入源信号的亮度超出第一预定阈值范围和/或该视频输入源信号的色度超出第二预定阈值范围。

对视频输入源信号进行预处理的目的在于使得编码前的视频信号为正确的信号，在一个可选实施例中，根据检测结果对视频输入源信号进行编码处理之前，在判定该视频输入源信号的格式为异常的情况下，将异常的该视频输入源信号调整为正常的视频输入源信号。在另一个可选实施例中，根据检测结果对该视频输入源信号进行编码处理之前，在判定该视频输入源信号的图像质量为异常的情况下，调整视频输入源信号的亮度和/或色度。从而保证了编码之前视频信号的正确性。

在一个可选实施例中，视频输入源信号存在大运动量的判定结果的情况下，根据视频输入源信号的运动复杂度和/或运动矢量对该视频输入源信号进行编码处理。进而完成根据对该视频输入源信号进行编码处理。

在本实施例中还提供了一种视频预处理装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图2是根据本发明实施例的视频预处理装置的结构框图，如图2所示，该装置包括：第一获取模块22，用于获取视频输入源信号；第二获取模块24，用于通过现场可编程门阵列FPGA对视频输入源信号进行检测，得到检测结果；编码模块26，用于根据检测结果对视频输入源信号进行编码处理。

可选地，上述检测结果包括以下至少之一：视频输入源信号的格式是否异常的判定结果、视频输入源信号的图像质量是否异常的判定结果、视频输入源信号是否存在大运动量的判定结果。

可选地，视频输入源信号的格式存在异常的判定结果包括以下至少之一：视频输入源信号的同步信息的异常、视频输入源信号的宽高比例的异常；和/或，视频输入源信号的图像质量异常的判定包括：视频输入源信号的亮度超出第一预定阈值范围和/或该视频输入源信号的色度超出第二预定阈值范围。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：第一获取模块22、第二获取模块24和编码模块26均位于同一处理器中；或者，第一获取模块22、第二获取模块24和编码模块26分别位于第一处理器、第二处理器和第三处理器中。

针对相关技术中存在的上述问题，下面结合详细的可选实施例进行说明，下述可选实施例结合了上述可选实施例及其可选实施方式。

当前应用现场可编程门阵列(Field Programable Gate Array，简称为FPGA)进行视频图像处理的方案也开始流行起来，但是一般都是单独应用FPGA进行视频的缩放、耦合、合成、矩阵切换或者编解码等，很少将FPGA跟视频采集前端和视频处理后端有效的结合来检测图像内容。

本可选实施例是针对上述背景技术的不足之处，而提出的一种基于FPGA的视频预处理，利用FPGA并行处理的优势，能实时地对A/D转换后的数据进行检测处理。通过FPGA完成视频前期的预处理，同时将预处理结果反馈给相关单元，实现了前端的视频异常动态检测、A/D参数的自适应调整和视频中大运动量的检测。

本可选实施例的主要目的在于提供一种基于FPGA前端视频的预处理机制。为实现以上目的，本可选实施例利用FPGA对前端视频信号作一定的预处理，使整个视频会议系统完成了前端的视频异常的检测、A/D参数的自适应调整和视频的大运动量检测。

上述的预处理单元包括视频数据的异常检测、视频的质量检测和大运动量判定。

上述的视频格式异常检测判定输入视频源的格式是否存在异常，具体的异常包括视频的同步信息的异常，视频的宽高的异常。

上述的视频图像质量检测利用图像处理的相关算法来完成视频中的亮度和色度提取，并能根据实际设定的阈值来判断视频是否存在亮度和色度上的异常；

上述的视频的大运动量判定利用移动侦测算法来判定视频是否存在大运动量。

图3是根据本发明实施例提供的预处理模块在视频会议系统前端的接入框图。如图3所示，整个预处理单元包括视频的格式异常检测模块301，视频的图像质量检测模块302，视频大运动量检测模块303和上报模块304。

上述的视频格式异常检测模块301判定A/D转换后的视频格式是否异常，该模块完成的检测内容包括视频的同步信息是否正确，视频的宽高值是否存在问题。

上述的视频的图像质量检测模块302，分析了视频中亮度和色度分量，并根据实际设定的阈值来判断视频是否存在亮度和色度上的异常；

上述的视频的运动量判定模块303使用了视频的移动侦测算法来完成视频中大运动量的判定；

所示的上报模块304将上述提及的各个模块的检测结果反馈给相关单元。

图4是根据本发明实施例提供的预处理模块在视频会议系统前端的接入流程图，下面结合图4来说明本发明实施例的在视频会议系统前端的具体实施流程：

步骤401：读取A/D转换后的视频信号，获取视频输入源；

步骤402：视频的预处理，通过FPGA对视频进行视频源的格式异常判定、图像质量检测处理、大运动量判定处理；

步骤403:FPGA上报预处理的结果给主控单元；

步骤404：主控单元接收预处理结果；

步骤405：主控对预处理结果是否存在输入视频源的格式异常判定，如果存在该类异常，则执行步骤408调度异常视频处理单元；

步骤406：主控单元判定预处理结果否存在视频的亮度和色度异常，如果是该类型的异常，则执行步骤409，将该异常下的相关参数反馈给A/D参数控制单元，完成对视频的亮度和色度自动调整；

步骤407：主控单元对预处理结果是否存在大运动量的判定，如果是大运动量视频，执行步骤410，同时将检测到的运动复杂度或运动矢量下发给视频的编码单元；

步骤408：调度异常视频处理单元，完成异常视频的相关处理工作；

步骤409：调度A/D参数控制单元，完成视频亮度和色度的自动调整；

步骤410：视频编码单元，实现视频的编码。

综上所述，通过本发明提供的一种基于FPGA前端视频的预处理机制，实时地对视频进行预处理。利用FPGA并行处理数据的优势，解决了其他处理器所能完成的视频预处理的功能，但实时性欠佳的问题。同时，视频经过FPGA的预处理后，所有的预处理结果都被实时反馈到相关单元，使整个系统能智能地完成前端视频异常的处理、A/D参数的自适应调整和视频中大运动量的判定。

在另外一个实施例中，还提供了一种软件，该软件用于执行上述实施例及优选实施方式中描述的技术方案。

在另外一个实施例中，还提供了一种存储介质，该存储介质中存储有上述软件，该存储介质包括但不限于：光盘、软盘、硬盘、可擦写存储器等。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种视频预处理方法，其特征在于，包括：

获取视频输入源信号；

通过现场可编程门阵列FPGA对所述视频输入源信号进行检测，得到检测结果；

根据所述检测结果对所述视频输入源信号进行编码处理。

2.根据权利要求1所述的方法，其特征在于，所述检测结果包括以下至少之一：

所述视频输入源信号的格式是否异常的判定结果、所述视频输入源信号的图像质量是否异常的判定结果、所述视频输入源信号是否存在大运动量的判定结果。

3.根据权利要求2所述的方法，其特征在于，

所述视频输入源信号的格式存在异常的判定结果包括以下至少之一：所述视频输入源信号的同步信息的异常、所述视频输入源信号的宽高比例的异常；和/或，

所述视频输入源信号的图像质量异常的判定包括：所述视频输入源信号的亮度超出第一预定阈值范围和/或所述视频输入源信号的色度超出第二预定阈值范围。

4.根据权利要求2所述的方法，其特征在于，根据所述检测结果对所述视频输入源信号进行编码处理之前包括：

在判定所述视频输入源信号的格式为异常的情况下，将异常的所述视频输入源信号调整为正常的视频输入源信号。

5.根据权利要求2所述的方法，其特征在于，根据所述检测结果对所述视频输入源信号进行编码处理之前包括：

在判定所述视频输入源信号的图像质量为异常的情况下，调整所述视频输入源信号的亮度和/或色度。

6.根据权利要求2所述的方法，其特征在于，根据所述检测结果对所述视频输入源信号进行编码处理包括：

所述视频输入源信号存在大运动量的判定结果的情况下，根据所述视频输入源信号的运动复杂度和/或运动矢量对所述视频输入源信号进行编码处理。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述视频输入源信号为经过模数A/D转换，并且在编码之前的视频数据。

8.一种视频预处理装置，其特征在于，所述装置包括：

第一获取模块，用于获取视频输入源信号；

第二获取模块，用于通过现场可编程门阵列FPGA对所述视频输入源信号进行检测，得到检测结果；

编码模块，用于根据所述检测结果对所述视频输入源信号进行编码处理。

9.根据权利要求8所述的装置，其特征在于，所述检测结果包括以下至少之一：

所述视频输入源信号的格式是否异常的判定结果、所述视频输入源信号的图像质量是否异常的判定结果、所述视频输入源信号是否存在大运动量的判定结果。

10.根据权利要求9所述的装置，其特征在于，

所述视频输入源信号的格式存在异常的判定结果包括以下至少之一：所述视频输入源信号的同步信息的异常、所述视频输入源信号的宽高比例的异常；和/或，

所述视频输入源信号的图像质量异常的判定包括：所述视频输入源信号的亮度超出第一预定阈值范围和/或所述视频输入源信号的色度超出第二预定阈值范围。