CN116506560A - 一种视频图像实时采集系统及采集方法 - Google Patents

Abstract

本发明提出了一种视频图像实时采集系统及采集方法，涉及视频图像采集技术领域，通过视频图像采集模块进行现场视频图像的采集和模数转换，实现模拟视频信号到数字视频信号的转换；通过视频图像处理模块对数字视频信号进行预处理；通过视频图像存储模块存储预处理后的数字视频信号，并进行位宽切换；通过锁相环模块对数字视频信号的行信号和场信号进行时间同步配准；将同步配准后的图像显示在屏幕上。

Description

一种视频图像实时采集系统及采集方法

技术领域

本发明涉及视频图像采集技术领域，具体涉及一种视频图像实时采集系统及采集方法。

背景技术

伴随着社会的日益发展，人们对于实时的视频需要也在日益增多，且不难发现，视频信号处理显得日益重要，正在成为多媒体技术发展的核心方向。同时面临的重要问题就是：为了能够满足现实应用的要求，视频信号处理系统必须能够实时采集、实时显示，并具有足够的存储空间。

前端视频采集效果的好坏直接影响到整个系统的性能指标，这就要求有性能良好的硬件设备与高效的算法，这样才能满足视频采集与显示的实时性。本发明采用DSP和CPLD为核心处理器，提供了一个视频采集与视频显示系统。此系统实时性好、体积小、成本低、功耗低、适应性强，能够实现视频采集、视频传输、视频显示的功能。

目前，对于视频图像预处理一般是采用专用的视频多媒体数字信号处理器等配合SDRAM的方法实现，通过配置DSP的专用高速PPI接口接收视频数据，由PPI内嵌的功能模块自动捕获并跟踪视频数据中的同步信息，检测到行视频图像的起始信号后，启动DMA方式进行视频数据接收，并将分量数据按单帧图像的有效数据分量存储至外部SDRAM中进行缓存，然后再进行压缩处理。这种方法需要采用采用特定的专用高性能处理器，依赖于处理器自身的内嵌功能接口，不利于进行算法移植，灵活性差，处理时延较大。

发明内容

为了解决上述技术问题，本发明提出了一种视频图像实时采集方法，包括如下步骤：

S1、通过视频图像采集模块进行现场视频图像的实时采集，实现模拟视频信号到数字视频信号的转换；

S2、通过视频图像处理模块对数字视频信号进行预处理；

S3、通过视频图像存储模块存储预处理后的数字视频信号，并进行位宽切换；

S4、通过锁相环模块对数字视频信号的行信号和场信号进行时间同步配准；

S5、将同步配准后的数字视频信号转换为视频图像信号，显示在屏幕上。

进一步地，骤S2中，采用中值滤波处理对数字视频信号进行噪声去除，假定一帧数字视频信号的像素值序列为{x_i，i∈n},则经过中值滤波处理后的输出像素值y_i为：

；

式中n为一帧数字视频信号内像素个数，y_i为n个像素的中值。

进一步地，步骤S2中，使用梯度算法进行边缘检测，边缘检测方向包括水平方向，垂直方向，右45°方向和左45°方向，每个像素位置(a,b)上的灰度值为P_ab，分别计算水平方向的梯度值G_a，垂直方向的梯度值G_b，右45°方向的梯度值和左45°方向的梯度值/>：

；

其梯度幅值G大小为：

；

像素位置(a,b)上的梯度方向角度为：

。

其中，a为像素位置(a,b)的水平坐标，b为像素位置(a,b)的垂直坐标。

进一步地，步骤S4中，

通过图像同步对比单元实现对图像解析单元解析的场信号时间段和行信号时间段之间的时间偏差进行确定，将时间偏差与标准时间偏差进行比较，若时间偏差超出标准时间偏差，则由控制单元调整行信号时间段的起始标识符与行信号时间段的起始标识符之间的偏移，使时间偏差在标准时间偏差内。

进一步地，步骤S5中，

驱动模块根据行场信号产生像素点的横纵坐标以及数据有效使能信号，同时将数据有效使能信号输出至端口；

驱动转换模块对数据有效使能信号进行转换，转换为视频图像信号，显示在屏幕上。

本发明还提出了一种视频图像实时采集系统，用于实现视频图像实时采集方法，包括：视频图像采集模块、视频图像处理模块、视频图像存储模块、显示控制模块、以及锁相环模块；

所述视频图像采集模块用于现场视频图像的采集和模数转换，实现模拟视频信号到标准格式数字视频信号间的转换；

所述视频图像处理模块对数字视频信号进行预处理；

所述视频图像存储模块存储预处理后的数字视频信号，并进行位宽切换；

所述锁相环模块对数字视频信号的行信号和场信号进行时间同步配准；

所述显示控制模块将同步配准后的图像显示在屏幕上。

进一步地，所述锁相环模块包括：图像同步对比单元、控制单元和图像解析单元；

通过图像同步对比单元实现对图像解析单元解析的场信号时间段和行信号时间段之间的时间偏差的确定，将时间偏差与标准时间偏差进行比较，若时间偏差超出标准时间偏差，则由所述控制单元调整行信号时间段的起始标识符与行信号时间段的起始标识符之间的偏移，使时间偏差在标准时间偏差内。

进一步地，所述显示控制模块包括驱动模块和驱动转换模块；

驱动模块产生行场信号、像素点的横纵坐标以及数据有效使能信号，同时将内部的数据请求信号输出至端口；

驱动转换模块对视频图像数据进行转换，需要将输入进来的数据格式转换成TMDS格式的数据输出到的图像显示在屏幕上。

进一步地，所述视频图像存储模块包括：存储读写单元、存储器接口单元和调度单元；

所述存储器接口单元包括第一寄存单元和第二寄存单元；所述调度单元根据输入图像数据的行信号控制图像数据的奇数行写入到存储器接口单元的第一寄存单元，偶数行写入到第二寄存单元，存储读写单元根据输入图像数据的行信号交替地从第一寄存单元和第二寄存单元中读取图像数据，当存储写模块向第一寄存单元写入的时候，存储读模块读取第二寄存单元，当存储写模块向第二寄存单元写入的时候时，存储读模块读取第一寄存单元。

相比于现有技术，本发明具有如下有益技术效果：

通过视频图像采集模块进行现场视频图像的采集和模数转换，实现模拟视频信号到数字视频信号的转换；通过视频图像处理模块对数字视频信号进行预处理；通过视频图像存储模块存储预处理后的数字视频信号，并进行位宽切换；通过锁相环模块对数字视频信号的行信号和场信号进行时间同步配准；将同步配准后的图像显示在屏幕上。有效滤除噪声干扰，实现视频图像的预处理，通过性能分析比对，系统具有低成本、低功耗、高速度、灵活性强等特点，且系统实时性高，扩展性强。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的基于FPGA的视频图像实时采集系统整体框图；

图2为本发明的边缘检测方向示意图；

图3为本发明的一种基于FPGA的视频图像实时采集方法流程图。

图4为本发明的3×3窗口像素值示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本发明的具体实施例附图中，为了更好、更清楚的描述系统中的各元件的工作原理，表现所述装置中各部分的连接关系，只是明显区分了各元件之间的相对位置关系，并不能构成对元件或结构内的信号传输方向、连接顺序及各部分结构大小、尺寸、形状的限定。

一种基于FPGA的视频图像实时采集系统分为以下5个模块：视频图像采集模块、视频图像处理模块、视频图像存储模块、显示控制模块、以及锁相环模块。

基于FPGA的视频图像实时采集系统整体框图如图1所示。

视频图像采集模块：主要完成现场视频图像的采集和模数转换，实现模拟视频信号到标准格式数字视频信号间的转换。

视频图像采集模块的主要由CCD摄像机、模数转换芯片和IIC接口配置单元组成。

CCD摄像机用于实时拍摄现场视频图像。

IIC接口配置单元用于进行初始化设置，设置数字视频信号的制式、格式等。

模数转换芯片用于将CCD摄像机模拟视频信号转换为数字视频信号。

视频图像处理模块：用于对数字视频信号数据的预处理，预处理包括色彩空间转换、中值滤波和边缘检测。视频图像处理模块主要由以下3个单元构成视频图像的色彩空间转换单元、中值滤波单元和边缘检测单元组成。

视频图像存储模块：将处理后的数字视频信号数据缓存到视频图像存储模块中，提高系统的实时性。本案中视频图像存储模块主要由三个单元组成：存储读写单元、存储器接口单元和调度单元。

存储读写单元负责与存储器接口单元的地址和命令进行交互，并根据调度单元中的剩余数据量来完成存储读写单元的读写命令和地址的切换；存储器接口单元一方面负责交换用户与存储外设之间的数据，另一方面还负责控制存储读写单元的读写，产生相对应的读写等时序，从而实现对存储读写单元读写操作；调度单元负责对输入和输出数据的位宽进行切换。

存储器接口单元包括第一寄存单元和第二寄存单元。调度单元根据输入图像数据的行信号控制图像数据的奇数行写入到存储器接口单元的第一寄存单元，偶数行写入到第二寄存单元，存储读写单元根据输入图像数据的行信号交替地从第一寄存单元和第二寄存单元中读取图像数据，当存储写模块向第一寄存单元写入的时候，存储读模块读取第二寄存单元，当存储写模块向第二寄存单元写入的时候时，存储读模块读取第一寄存单元。

为保证图像信号的场信号，行信号的时间同步，第一寄存单元和第二寄存单元的宽度都必须为场信号，行信号的宽度之和，深度必须大于输入图像信号中最大分辨率图像的行总像素，存储写模块用输入图像信号的像素时钟进行写操作，存储读模块用高速串行收发器并行数据输入时钟进行读操作，从而完成图像信号时钟域转换。

显示控制模块：根据视频图像的分辨率生成相应的行同步、场信号，以在显示器中正确显示实时釆集和预处理后的图像。

显示控制模块包括驱动模块和驱动转换模块，其中驱动模块负责产生行场信号、像素点的横纵坐标以及数据有效使能信号，同时将内部的数据请求信号输出至端口，方便从控制器中进行数据读取操作，从而达到读取图像数据的目的。

而驱动转换模块则是负责对视频图像数据进行转换，需要将输入进来的数据格式转换成TMDS格式的数据后，才能够进行输出，最后将FPGA开发板的VGA接口与显示器上的接口相互连接后，就可以将采集到的图像显示在屏幕上。

锁相环模块：分别产生不同频率的时钟，用于视频图像采集模块、视频图像存储模块以及显示控制模块的驱动时钟。锁相环模块包括：图像同步对比单元、控制单元和图像解析单元。

如图2所示为本发明的一种基于FPGA的视频图像实时采集方法流程图，包括以下步骤：

S1、通过视频图像采集模块进行现场视频图像的采集和模数转换，实现模拟视频信号到标准格式数字视频信号间的转换。

S2、通过视频图像处理模块对数字视频信号进行预处理。预处理包括色彩空间转换处理、中值滤波处理和边缘检测处理。

色彩空间转换时，视频图像信号釆用ITU-RBT.656格式数据格式进行传输，在最终在VGA显示器中显示需要通过RGB来驱动显示，因此需要在系统中进行色彩空间转换，将4:2:2YCbCr构成的数字视频信号数据转换成RGB格式，以便最终在VGA显示器中显示。其中Cb、Cr分别为蓝色和红色两种色度分量，而Y则表示亮度分量。

中值滤波处理时，利用图像滤波方法对视频图像数据进行噪声去除处理。将数字视频信号中某点邻域内各点排序取序列中的中间值代替该点，该邻域称为窗口，例如3×3窗口，当该窗口按照顺序从左向右、从上到下滑动时，通过中值滤波算法就能实现对图像噪声的处理。

在中值滤波处理中假定一帧数字视频信号的像素值序列为{x_i，i∈n}，则经过中值滤波处理后的输出值y_i为：

（1）；

式中n为窗口内像素个数，即3×3窗口n=9，5×5窗口n=25；y_i为窗口内n个像素的中值；x_i为窗口内每个像素的像素值。

边缘检测处理，使用梯度算法进行边缘检测，边缘检测方向如图3所示包括水平方向，垂直方向，右45°方向和左135°方向，充分利用像素点的方向信息，改善边缘检测的整体效果。

如图4所示，以3×3窗口为例，经由中值滤波处理过后，每个像素位置(a,b)上的灰度值为P_ab，分别计算水平方向的梯度值G_a，垂直方向的梯度值G_b，右45°方向的梯度值和左45°方向的梯度值/>的公式如下式所示：

；

其梯度幅值G大小为：

；

位置(a,b)上的梯度方向角度为：

。

其中，a为像素位置(a,b)的水平坐标，b为像素位置(a,b)的垂直坐标。

而通常为了增加系统运算效率，避免因为根号在运算过程中带来的麻烦，所以梯度幅值的求解经常使用近似值来替代，如式所示。

；

通过梯度幅值G与设置的固定阈值设立的阈值比较，从而输出每个像素的值。设立阈值为50。当像素灰度值G大于100时，输出像素值为0，即为白色，反之输出像素值为255，即为黑色。

S3、通过视频图像存储模块存储预处理后的数字视频信号，并进行位宽切换。

存储读写单元负责与存储器接口单元的地址和命令进行交互，并根据调度单元中的剩余数据量来完成存储读写单元的读写命令和地址的切换；存储器接口单元一方面负责交换用户与存储外设之间的数据，另一方面还负责控制存储读写单元的读写，产生相对应的读写等时序。

在优选实施例中，调度单元负责对输入和输出数据的位宽进行切换，调度单元包括：位宽切换模块、通道模块和下位模块。

当只有一个存储器接口时，不需要该调度单元，存储器接口的输出数据直接传输到位宽切换模块，但当存在多个存储器接口时，该调度单元对多个输出数据按照接口通道进行拼接，并传送至通道模块。

通道模块由数据缓存RAM和状态机组成，状态机根据数据缓存RAM的数据并判断其状态，然后根据拼接结果做出判断，即如果数据缓存RAM中的状态显示拼接未完成，则将拼接完成的数据送至下位模块，同时将状态数据缓存RAM中的内容清空。

在优选实施例中，采用分组加密算法按照接口通道进行拼接，将待加密的数据分为16Byte一组进行分组处理，每组明文写为一个4×4的状态矩阵，根据密钥的大小不同进行10～14轮迭代。每一轮迭代包括字节代换、行移位、列混合、轮密钥加四个步骤，最后一轮不进行列混合操作。输入的初始密钥则经过字循环、字节代换、轮常量异或步骤进行扩展后参与轮密钥加运算。

置换过程为先对该字节求取有限域内的乘法逆g(b)，b代表字节，之后对乘法逆进行可逆的仿射变换 f［g［b］］，如A=b₇b₆b₅b₄b₃b₂b₁，置换后变为：

S(A) = b'₇b'₆b'₅b'₄b'₃b'₂b'₁；

其中，b'_i代表置换后的字节，i=1,2,……7。

；

这里C_i为移位码。

S4、通过锁相环模块对数字视频信号的行信号和场信号进行时间同步配准。

在调度单元中，写入时钟信号频率为视频图像信号频率27MHz，读取时钟信号频率为40MHz。因为开发板提供50MHz时钟信号，因此系统中先加入锁相环模块，以生成40MHz的时钟信号。

通过图像同步对比单元实现对图像解析单元解析的场信号时间段和行信号时间段之间的时间偏差的确定，并自动识别当前图像数据格式结合存储读写单元信息确定的标准时间偏差，若时间偏差超出标准时间偏差，则由控制单元调整行信号时间段的起始标识符与行信号时间段的起始标识符之间的偏移。

S5、将同步配准后的数字视频信号转换为视频图像信号，显示在屏幕上。

驱动模块根据行场信号产生像素点的横纵坐标以及数据有效使能信号，同时将数据有效使能信号输出至端口；

驱动转换模块对数据有效使能信号进行转换，转换为视频图像信号，显示在屏幕上。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如，固态硬盘(solid state disk，SSD))等。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种视频图像实时采集方法，其特征在于，包括如下步骤：

S1、通过视频图像采集模块进行现场视频图像的实时采集，实现模拟视频信号到数字视频信号的转换；

S2、通过视频图像处理模块对数字视频信号进行预处理；

S3、通过视频图像存储模块存储预处理后的数字视频信号，并进行位宽切换；

S4、通过锁相环模块对数字视频信号的行信号和场信号进行时间同步配准；

S5、将同步配准后的数字视频信号转换为视频图像信号，显示在屏幕上。

2.根据权利要求1中所述的视频图像实时采集方法，其特征在于，步骤S2中，采用中值滤波处理对数字视频信号进行噪声去除，假定一帧数字视频信号的像素值序列为{x_i，i∈n},则经过中值滤波处理后的输出像素值y_i为：

；

式中n为一帧数字视频信号内像素个数，y_i为n个像素的中值，Median为中值滤波函数。

3.根据权利要求2中所述的视频图像实时采集方法，其特征在于，步骤S2中，使用梯度算法进行边缘检测，边缘检测方向包括水平方向，垂直方向，右45°方向和左45°方向，每个像素位置(a,b)上的灰度值为P_ab，分别计算水平方向的梯度值G_a，垂直方向的梯度值G_b，右45°方向的梯度值和左45°方向的梯度值/>：

；

其梯度幅值G大小为：

；

像素位置(a,b)上的梯度方向角度为：

；

其中，a为像素位置(a,b)的水平坐标，b为像素位置(a,b)的垂直坐标。

4.根据权利要求1中所述的视频图像实时采集方法，其特征在于，步骤S4中，

通过图像同步对比单元实现对图像解析单元解析的场信号时间段和行信号时间段之间的时间偏差进行确定，将时间偏差与标准时间偏差进行比较，若时间偏差超出标准时间偏差，则由控制单元调整行信号时间段的起始标识符与行信号时间段的起始标识符之间的偏移，使时间偏差在标准时间偏差内。

5.根据权利要求1中所述的视频图像实时采集方法，其特征在于，步骤S5中，

驱动模块根据行场信号产生像素点的横纵坐标以及数据有效使能信号，同时将数据有效使能信号输出至端口；

驱动转换模块对数据有效使能信号进行转换，转换为视频图像信号，显示在屏幕上。

6.一种视频图像实时采集系统，用于实现如权利要求1-5任意一项所述的视频图像实时采集方法，其特征在于，包括：视频图像采集模块、视频图像处理模块、视频图像存储模块、显示控制模块、以及锁相环模块；

所述视频图像采集模块用于现场视频图像的采集和模数转换，实现模拟视频信号到标准格式数字视频信号间的转换；

所述视频图像处理模块对数字视频信号进行预处理；

所述视频图像存储模块存储预处理后的数字视频信号，并进行位宽切换；

所述锁相环模块对数字视频信号的行信号和场信号进行时间同步配准；

所述显示控制模块将同步配准后的图像显示在屏幕上。

7.根据权利要求6中所述的视频图像实时采集系统，其特征在于，所述锁相环模块包括：图像同步对比单元、控制单元和图像解析单元；

通过图像同步对比单元实现对图像解析单元解析的场信号时间段和行信号时间段之间的时间偏差的确定，将时间偏差与标准时间偏差进行比较，若时间偏差超出标准时间偏差，则由所述控制单元调整行信号时间段的起始标识符与行信号时间段的起始标识符之间的偏移，使时间偏差在标准时间偏差内。

8.根据权利要求6中所述的视频图像实时采集系统，其特征在于，所述显示控制模块包括驱动模块和驱动转换模块；

驱动模块根据行场信号产生像素点的横纵坐标以及数据有效使能信号，同时将数据有效使能信号输出至端口；

驱动转换模块对数据有效使能信号进行转换，转换为视频图像信号，显示在屏幕上。

9.根据权利要求6中所述的视频图像实时采集系统，其特征在于，所述视频图像存储模块包括：存储读写单元、存储器接口单元和调度单元；

所述存储器接口单元包括第一寄存单元和第二寄存单元；所述调度单元根据输入图像数据的行信号控制图像数据的奇数行写入到存储器接口单元的第一寄存单元，偶数行写入到第二寄存单元，存储读写单元根据输入图像数据的行信号交替地从第一寄存单元和第二寄存单元中读取图像数据，当存储写模块向第一寄存单元写入的时候，存储读模块读取第二寄存单元，当存储写模块向第二寄存单元写入的时候时，存储读模块读取第一寄存单元。