CN106534839A - 一种高清摄像头视频处理系统及方法 - Google Patents

Abstract

本发明公开了一种高清摄像头视频处理系统，该系统包括：信号接收模块，用于接收高清摄像头发出的高清视频信号；并且从信号中提取出HS信号对；HS数据提取模块，用于接收所述HS信号对并且解析，提取出存储使能信号及所述高清视频信号的像素数据；第一存储模块，用于依据所述存储使能信号对所述像素数据进行存储。按照本发明实现的高清摄像头视频处理系统，能够支持4K及以上分辨率的高清摄像头图像检测或显示，并且对各种视频显示系统有较好的兼容效果，使得高清摄像头的视频数据能够进行简便灵活的检测与显示。

Description

一种高清摄像头视频处理系统及方法

技术领域

本发明属于高清摄像头测试领域，涉及一种高清摄像头视频处理系统及方法。

背景技术

随着摄像头技术的发展，用户已不满足于1080P分辨率的成像效果，越来越多的高清摄像头得到广泛应用，目前摄像头分辨率已到4K、8K等超清的程度。而目前市场上对摄像头的测试系统几乎都是基于1080P及以下分辨率的摄像头测试，没有能同时支持4K分辨率摄像头测试及4K分辨率视频显示的系统。因此需要发明一种既能支持高清摄像头图像测试，又能支持高清视频显示系统，为测试具有4K分辨率的高清摄像头提供帮助，并且还要能与现有的1080P分辨率检测显示系统能够进行兼容配合，是现有的摄像头技术的迫切需求。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于FPGA实现高清摄像头图像测试与视频显示系统。

为实现上述目的，按照本发明的一个方面，提供了高清摄像头视频处理系统，其特征在于，该系统包括：

信号接收模块，用于接收高清摄像头发出的高清视频信号，并根据CSI协议标准从所述高清视频信号中分离出HS差分信号对；

HS数据提取模块，用于对所述HS差分信号对进行解析，提取出存储使能信号及像素数据；

第一存储模块，用于依据所述存储使能信号对所述像素数据进行存储。

进一步地，所述HS差分信号对包括多对HS差分信号，所述HS数据提取模块包括：

多个串并转换子模块，所述多个串并转换子模块与所述多对HS差分信号一一对应，每个所述串并转换子模块用于对对应的HS差分信号对进行串行到并行的处理；

字对齐子模块，用于对所述并行处理后的信号进行数据对齐处理；

有效路数提取模块，用于从数据对齐处理后的数据中提取获得所述存储使能信号及像素数据。

进一步地，所述HS数据提取模块与所述存储模块之间还设置格式转化模块，所述格式转化模块用于接收所述像素数据，并将所述像素数据转化为RGB格式数据。

进一步地，所述存储模块后还设置格式转化模块，所述格式转化模块用于读取所述像素数据，并将所述像素数据转化为RGB格式数据存入所述第一存储模块或存入第二存储模块。

进一步地，该系统还包括上位机模块，用于读取所述RGB格式数据实现图像检测。

进一步地，该系统还包括数据缩放模块及与其相连的视频信号处理模块，所述数据缩放模块用于对所述RGB格式数据按照显示配置的分辨率进行数据缩放处理；所述视频信号处理模块用于对进行数据缩放处理后的数据进行封装用于显示。

进一步地，所述数据缩放模块与所述视频信号处理模块之间还包括第三存储模块，所述第三存储模块用于存储缩放处理后的数据，所述视频信号处理模块从所述第三存储模块中读取所述缩放处理后的数据。

进一步地，所述第三存储模块包括相连的图像帧率调整模块及与其相连的高速缓存模块，所述高速缓存模块存储所述缩放处理后的数据，所述图像帧率调整模块用于对所述高速缓存模块的输出图像刷新帧率进行调整以适应所述视频信号处理模块。

进一步地，所述视频信号处理模块为DP信号处理模块，所述数据封装按照DP协议标准格式进行。

本发明还公开了一种高清摄像头视频处理方法，其特征在于，该方法包括如下步骤：

步骤1，采集所述高清摄像头输出的图像数据，根据CSI协议标准对所述图像数据进行分离，分离出4对HS差分信号；

步骤2，从所述4对HS差分信号中提取有效像素数据及存储使能信号，所述提取过程包括如下子步骤：

步骤2-1，将所述4对HS信号由4路单BIT串行数据转化成4路8BIT并行数据；

步骤2-2，通过搜索同步字符的方式分别对所述4路8BIT并行数据进行字对齐，提取出每路数据的同步字符及有效数据；

步骤2-3，根据同步字符对所述有效数据进一步对齐获得有效路数数据；

步骤2-4，根据CSI协议组包原则从所述步骤2-3中获得的有效路数数据中获得所述存储使能信号及所述像素数据；

步骤3，直接存储所述步骤2-4中获得的像素数据或将其转化成RGB格式后存储。。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，满足4K及以上分辨率视频显示要求，提高摄像头测试效率和测试效果，并且具有较好的灵活性；提出了一种新的针对高清摄像头视频处理的数据解析模块和方法，支持4K及以上分辨率的摄像头图像检测及视频显示，同时还能与常用视频处理等设备兼容；本发明架构简单，硬件实现方便，支持可视化的界面显示，使测试结果更直观、方便，具有容易实现、成本低、实用性高等显著特点。

附图说明

图1是按照本发明实现的实施方式一所涉及的高清摄像头视频处理系统的组成结构示意框图；

图2是按照本发明实现的实施方式二所涉及的高清摄像头视频处理系统的组成结构示意框图；

图3是按照本发明实现的实施方式三所涉及的高清摄像头视频处理系统的组成结构示意框图；

图4是按照本发明实现的实施方式四所涉及的高清摄像头视频处理系统的组成结构示意框图；

图5是按照本发明实现的实施方式五所涉及的高清摄像头视频处理系统的组成结构示意框图；

图6是按照本发明实现的高清摄像头视频处理系统中的HS数据提取模块的组成结构示意框图；

图7是按照本发明实现的高清摄像头视频处理系统中的第三存储模块的组成结构示意框图；

图8是按照本发明实现的清摄像头视频处理方法的流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

实施例一

如图1所示，按照本发明实现的高清摄像头视频处理系统，包括信号接收模块，用于接收高清摄像头发出的高清视频信号；并且从信号中提取出HS信号对；

HS数据提取模块，用于接收HS信号对并且解析，提取出存储使能信号及高清视频信号的像素数据；其中上述的使能信号包括帧同步信号与行同步信号；

第一存储模块，用于依据存储使能信号对像素数据进行存储。

经过上述实施例的处理，能够获得高清视频信号的解析后的数据，并且对其进行存储，方便后续的处理利用。

实施例二

如图2所示，在本实施例二中，所有的结构模块都与实施例一种类似，只在第一存储模块与HS数据提取模块之间增加了格式转换模块，用于将上述数据转换为RGB格式的数据，方便后续的检测处理。

实施例三

如图3所示，在本实施例三中，其中格式转换模块还可设置于第一存储模块之后，能够对数据进行格式转化后存储于第一存储模块中和/或还存在第二存储模块，将格式转换后的数据存储入第二存储模块。

实施例四

如图4所示，在本实施例四中，上述视频处理系统主要是用于实现图像的测试，需要经过格式转换模块的转换后，获得相应的视频数据使得上位机能够对其读取进行检测，由此，数据读取模块从第一存储模块中获得数据进行测试。

实施例五

如图5所示，在本实施例五中，上述视频处理系统能够同时实现视频的显示与上位机图像测试的功能，因此，在上述的组成结构框图中，还包括缩放模块，用于从第一存储模块中读取数据，该缩放数据存储于第三存储模块中，供DP处理模块来进行读取相应的数据，以供DP显示器显示，值得注意的是，在本实施例中，仅说明了DP封装的方式，但是如果替换成HDMI以及MIPI处理模块，则体现高清摄像头捕获的视频与常规的摄像显示设备的兼容性处理，体现本发明系统的灵活性。

进一步的，在上述的实施方式中，如图6所示，展示了核心部件HS数据提取模块的具体结构示意框图，HS数据提取模块包括：多个串并转换子模块，用于与信号接收模块发送的HS信号对一一对应进行串行到并行的处理；字对齐子模块，对并行处理后的信号进行数据对齐处理；有效路数提取模块，从数据对齐处理后的数据中提取获得存储使能信号及像素数据。

如图7所示，第三存储模块包括相连的图像帧率调整模块及与其相连的高速缓存模块，高速缓存模块存储缩放处理后的数据，图像帧率调整模块用于对高速缓存模块的输出图像刷新帧率进行调整以适应视频信号处理模块，尤其是在进行DP信号的处理前提下。

其中，上述视频处理系统的处理方法如图8所示：

步骤1，采集所述高清摄像头输出的图像数据，根据CSI协议标准对所述图像数据进行分离，分离出4对HS信号；

步骤2，从所述步骤1中获得的所述4对HS信号中提取有效像素数据及存储使能信号，所述提取过程包括如下子步骤：

步骤2-1，将所述4对HS信号由4路单BIT串行数据转化成4路8BIT并行数据。

步骤2-2，通过搜索同步字符的方式分别对所述4路8BIT并行数据进行字对齐，提取出每路数据的同步字符及有效数据；

步骤2-3，根据同步字符对所述有效数据进一步对齐获得有效路数数据；

步骤2-4，根据MIPI-CSI协议组包原则从所述步骤2-3中获得的有效路数数据中获得所述存储使能信号及所述像素数据；

步骤3，直接存储所述步骤2-4中获得的像素数据或将其转化成RGB格式后存储。

当然，更具体的，结合整个测试和显示的流程，主要包括如下步骤：

STEP1、IIC模块发送camera需要的启动命令，启动camera，使其正常输出拍摄到的图像数据。

STEP2、CSI信号接收模块接收camera发出的MIPI-CSI信号(高清摄像头的输出采用MIPI-CSI接口，低分辨率的摄像头采用并口)，按照MIPI-CSI协议标准从接收到的MIPI-CSI信号中提取出HS(high speed)信号。

STEP 3、对HS信号进行解析，提取出HS链路中携带的同步包、像素包，恢复出帧同步、行同步信号及像素数据。

STEP 4、若摄像头输出的像素数据是RAW格式，则将RAW格式像素数据转换成RGB格式数据。若摄像头输出的像素数据是RGB格式，则跳过格式转换这一步，直接将RGB格式数据送到存储模块1。

STEP 5、从第一存储模块中提取一帧图像数据经过网口/USB口送到上位机模块，由于只传输一帧数据，数据的吞吐量不大，所以可以采用网口传输也可以采用USB传输，根据需要选择其一即可。

STEP 6、上位机模块对收到的一帧图像进行图像检测，图像检测不限于亮点/坏点测试、解析力测试、白平衡测试等，将检测结果通过上位机界面显示。

STEP 7、从第一存储模块中取出连续的一帧帧数据，并根据上位机配置的分辨率大小进行缩放处理，缩放处理的目的是使显示图像尺寸能根据用户要求调节。

STEP 8、缩放后的数据存入第三存储模块中存储。存储的目的是做数据流平衡，使写入存储模块中的数据流与读出的数据流不冲突。

STEP 9、按照60HZ刷新率从存储模块中读出缩放后的数据，并送到DP处理模块。

STEP 10、DP处理模块将数据进行封装处理，封装成DP协议标准格式数据，再通过DP接口输出。采用dp接口的目的是支持4k及以上分辨率显示，其他接口比如HDMI接口目前最高只支持1080p分辨率显示。

STEP 11、DP接口连接DP显示器，显示摄像头拍摄到的高清视频。

STEP 12、采用FPGA平台对4路数据进行并行处理，每路数据吞吐量支持1.5GBPS，满足4k及以上分辨率摄像头输出数据吞吐量要求，当然，上述的模块设置方式也并不严格限定为一个FPGA平台或多个FPGA平台，甚至可以是DSP等处理系统等。

按照本发明的系统，其工作流程如下：

步骤1，启动摄像头，摄像头接收到启动命令后才能输出拍摄到的数据，因此IIC模块就是完成这一功能：按照IIC协议标准输出camera需要的启动指令及camera需要的参考时钟，启动指令及时钟频率可以从用户手册获取。

步骤2，采集摄像头输出的图像数据，根据CSI协议标准，摄像头输出的CSI信号有4对差分数据线和1对差分时钟线，CSI信号接收模块收到这5对差分数据后，按照协议标准对这些数据进行分离，分离出4对HS(high speed)信号，将HS信号送到HS数据提取模块进行解析。

步骤3，提取有效像素数据及帧同步信号等，该功能由HS数据提取模块分以下几步实现。

步骤3-1)通过4个串并转换模块将并行的4路单BIT串行数据(即上述4对HS信号)转化成4路8BIT并行数据。

步骤3-2)通过搜索同步字符的方式分别对4路数据进行字对齐，提取出每路数据的同步字符及有效数据。由于采用4路数据并行进行搜索，搜索速度与1路数据搜索速度一致。

步骤3-3)根据camera输出的路数提取有效路数数据，比如camera输出4路数据，则对4路数据进行对齐，使4路数据起始点保持一致。若camera输出2路数据，则对2路数据进行对齐，使2路数据起始点保持一致。

步骤3-4)根据MIPI-CSI协议组包原则从对齐的有效路数中提取出帧同步包、行同步包，及像素数据包、进而恢复出帧同步信号、行同步信号、像素数据，最后将帧同步信号、行同步信号、像素数据送入步骤4处理。

步骤4，格式转换模块对收到HS数据提取模块送来的像素数据进行格式转换，若摄像头输出的像素数据是RAW格式，则根据帧同步信号、行同步信号把RAW格式像素数据转换成RGB格式数据，再将转换后的数据送到存储模块1。若摄像头输出的像素数据是RGB格式，则直接将帧同步信号、行同步信号、像素数据送入步骤5处理。

步骤5，存储模块1收到RGB数据后放入DDR中缓存，至少缓存一帧图像数据。

步骤6，数据读取模块从存储模块中读取一帧RGB数据，按照TCP协议/USB2.0协议进行封装，经网口/USB口送到上位机模块。

步骤7，上位机模块接收到摄像头拍摄的一帧RGB图像后，按照用户设定检测指标对图像进行检测，常用的检测项有脏污检测、白平衡检测、色彩还原测试、亮点坏点测试等，所有检测项可以用自开发检测算法进行检测，也可以按行业标准算法进行检测。测试结果通过上位机界面显示。若用户只需进行摄像头图像检测，则实施步骤截止步骤7，若还需测试摄像头输出的视频，则进入步骤8。

步骤8，缩放模块从存储模块中获取一帧帧图像数据，按照用户要求对图像数据进行缩放处理，比如用户定义一比一缩放比例，则4k分辨率图像在4k显示器上全屏显示，720p分辨率的图像占屏幕一部分，若用户定义全屏显示，则低于显示器分辨率的图像会被拉伸处理，高于分辨率的图像会被压缩处理。缩放后的图像数据送入第三存储模块处理。

步骤9，第三存储模块将收到的缩放数据放入DDR中缓存。该模块的主要功能是使输出图像刷新率保持60HZ，因为显示器显示需要60HZ刷新率，对于高清分辨率，若摄像头输出4k分辨率图像时最大帧率是30帧，则需要做倍频处理，再将处理后的数据送往DP处理模块。若摄像头输出图像帧率是60帧，则不需要倍频处理，直接将数据读出送往DP处理模块。

步骤10，DP处理模块收到图像数据后，按照DP协议标准进行数据重组，再按DP模组点屏流程发送数据，所有数据通过DP接口输出。

步骤11，DP显示器通过DP线缆与DP接口相连，通过DP显示器显示4K及以上分辨率视频。

除了步骤7和步骤11，其他步骤实现都可以基于FPGA实现，满足高清分辨率视频显示时需要的传输速度及吞吐量要求。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种高清摄像头视频处理系统，其特征在于，该系统包括：

信号接收模块，用于接收高清摄像头发出的高清视频信号，并根据CSI协议标准从所述高清视频信号中分离出HS差分信号对；

HS数据提取模块，用于对所述HS差分信号对进行解析，提取出存储使能信号及像素数据；

第一存储模块，用于依据所述存储使能信号对所述像素数据进行存储。

2.如权利要求1所述的高清摄像头视频处理系统，其特征在于，所述HS差分信号对包括多对HS差分信号，所述HS数据提取模块包括：

多个串并转换子模块，所述多个串并转换子模块与所述多对HS差分信号一一对应，每个所述串并转换子模块用于对对应的HS差分信号对进行串行到并行的处理；

字对齐子模块，用于对所述并行处理后的信号进行数据对齐处理；

有效路数提取模块，用于从数据对齐处理后的数据中提取获得所述存储使能信号及像素数据。

3.如权利要求1或2所述的高清摄像头视频处理系统，其特征在于，所述HS数据提取模块与所述存储模块之间还设置格式转化模块，所述格式转化模块用于接收所述像素数据，并将所述像素数据转化为RGB格式数据。

4.如权利要求1或2所述的高清摄像头视频处理系统，其特征在于，所述存储模块后还设置格式转化模块，所述格式转化模块用于读取所述像素数据，并将所述像素数据转化为RGB格式数据存入所述第一存储模块或存入第二存储模块。

5.如权利要求3或4所述的高清摄像头视频处理系统，其特征在于，该系统还包括上位机模块，用于读取所述RGB格式数据实现图像检测。

6.如权利要求3或4所述的高清摄像头视频处理系统，其特征在于，该系统还包括数据缩放模块及与其相连的视频信号处理模块，所述数据缩放模块用于对所述RGB格式数据按照显示配置的分辨率进行数据缩放处理；所述视频信号处理模块用于对进行数据缩放处理后的数据进行封装用于显示。

7.如权利要求6所述的高清摄像头视频处理系统，其特征在于，所述数据缩放模块与所述视频信号处理模块之间还包括第三存储模块，所述第三存储模块用于存储缩放处理后的数据，所述视频信号处理模块从所述第三存储模块中读取所述缩放处理后的数据。

8.如权利要求7所述的高清摄像头视频处理系统，其特征在于，所述第三存储模块包括相连的图像帧率调整模块及与其相连的高速缓存模块，所述高速缓存模块存储所述缩放处理后的数据，所述图像帧率调整模块用于对所述高速缓存模块的输出图像刷新帧率进行调整以适应所述视频信号处理模块。

9.如权利要求6-8中任意一项所述的高清摄像头视频处理系统，其特征在于，所述视频信号处理模块为DP信号处理模块，所述数据封装按照DP协议标准格式进行。

10.一种高清摄像头视频处理方法，其特征在于，该方法包括如下步骤：

步骤1，采集所述高清摄像头输出的图像数据，根据CSI协议标准对所述图像数据进行分离，分离出4对HS差分信号；

步骤2，从所述4对HS差分信号中提取有效像素数据及存储使能信号，所述提取过程包括如下子步骤：

步骤2-1，将所述4对HS信号由4路单BIT串行数据转化成4路8BIT并行数据；

步骤2-2，通过搜索同步字符的方式分别对所述4路8BIT并行数据进行字对齐，提取出每路数据的同步字符及有效数据；

步骤2-3，根据同步字符对所述有效数据进一步对齐获得有效路数数据；

步骤2-4，根据CSI协议组包原则从所述步骤2-3中获得的有效路数数据中获得所述存储使能信号及所述像素数据；

步骤3，直接存储所述步骤2-4中获得的像素数据或将其转化成RGB格式后存储。