CN105120235A - 基于usb3.0接口的工业图像采集系统及其图像采集处理方法 - Google Patents

Abstract

本发明提供一种基于USB3.0接口的工业图像采集系统及其图像采集处理方法，包括Camera？link接口、图像采集处理模块、存储模块以及USB3.0接口，所述图像采集处理模块包括依次连接的像素合成模块、图像预处理模块、数据缓存模块、图像后处理模块和USB3.0总线控制模块以及与该USB3.0总线控制模块连接的指令解析模块。本发明基于USB3.0接口实现，全面支持Camera？Link？Base模式下的8bit、10bit、12bit、14bit、16bit和RGB？24bit图像采集，具有传输速度快、便携性好的特点，与PC的兼容性高，且与其他接口的图像采集装置相比，USB3.0采集装置成本更低，体现出优越的性价比。

Description

基于USB3.0接口的工业图像采集系统及其图像采集处理方法

技术领域

本发明涉及机器视觉的工业图像采集技术领域，具体涉及一种基于USB3.0接口的工业图像采集系统及其图像采集处理方法，面向移动、便携式应用领域，全面支持CameralinkBase模式下的8bit、10bit、12bit、14bit、16bit和RGB24bit图像采集，最大像素时钟频率85MHz。

背景技术

随着技术的不断发展，如今机器视觉已经开始被大量应用于工业生产，大大提高了生产效率和可靠性，在工况监视、成品检验和质量控制等领域起到了重要的作用。在一个完整的机器视觉系统中，图像采集的意义非常大，因为通过图像采集后，视频信号就可以转换为计算机使用的数字格式。

工业图像采集卡有多种数字接口类型，其中USB3.0是新一代即插即用型通用串行总线的串行通信规范。它由USB协会(USB-IF)管理，既集成了USB2.0的优势，同时也解决了它的许多局限性问题。在批量(bulk)传输方式中，USB3.0的有效带宽约为400MB/s。这是USB2.0可用带宽的10倍、IEEE-1394b的5倍。对比当今工业相机采集卡领域主要的数字接口，USB3.0接口无论从成本、功耗和速度上都具有非常大的优势。

目前国内尚且比较缺乏便携式的USB3.0接口工业图像采集卡，随着机器视觉行业对于传输速率和图像处理要求的不断提高，传统的图像采集系统已经不能适应这种趋势。

发明内容

本发明提供一种工业图像采集系统，该采集系统基于USB3.0接口实现，具有传输速度快、便携性好的特点，与PC的兼容性高，且与其他接口的图像采集装置相比，USB3.0采集装置成本更低，体现出优越的性价比。

为解决上述技术问题，本发明采用如下技术方案：

一种基于USB3.0接口的工业图像采集系统，包括Cameralink接口、图像采集处理模块、存储模块以及USB3.0接口，所述Cameralink接口与图像采集处理模块通过图像信号接口、控制信号接口以及串口信号接口连接，所述图像采集处理模块和存储模块分别与所述USB3.0接口连接，所述图像采集处理模块包括依次连接的像素合成模块、图像预处理模块、数据缓存模块、图像后处理模块和USB3.0总线控制模块以及与该USB3.0总线控制模块连接的指令解析模块，所述Cameralink接口接收到的图像数据经过像素合成模块转换成像素数字信号，由图像预处理模块进行预处理，通过数据缓存模块进行图像数据缓存控制，再由图像后处理模块进行后处理，所述USB3.0总线控制模块用于将后处理的图像数据和指令解析模块解析完的指令进行传送。

进一步地，所述像素合成模块包括依次连接的图像数据提取单元、图像通道选择单元和像素数据合成单元，分别用于对图像数据进行提取、选择图像通道和像素数据合成。

进一步地，所述图像预处理模块包括依次连接的像素位置排列单元、像素行填充单元和像素方向排列单元，所述像素位置排列单元用于对像素空间相对位置进行排列，所述像素行填充单元对每行进行像素填充，所述像素方向排列单元将像素数据正序、逆序排列后送入数据缓存模块。

进一步地，所述图像后处理模块包括像素行填充剔除单元，用于将填充数据进行剔除操作；与该像素行填充剔除单元连接的BIT转换处理单元，用于将经过剔除操作的数据和解析完的指令根据USB3.0协议规范进行位调整。

进一步地，所述图像采集处理模块还包括帧频统计模块，该帧频统计模块的输入端与所述像素合成模块连接，帧频统计模块的输出端与所述USB3.0总线控制模块的输入端连接，该帧频统计模块用于统计图像数据的帧频信息，并通过USB3.0接口传递到PC。

本发明还提供一种采用上述权利要求所述工业图像采集系统的图像采集处理方法，包括图像数据传输处理与帧频统计以及Cameralink串口数据解析与传输,具体步骤如下：

1)根据图像同步信号，接收Cameralink图像各端口数据，同时响应后端要求重新同步图像数据的请求；

2)根据实际前端数据流格式进行图像通道配置，将收到的图像数据写入到对应的内存中；

3)统计接收到的前端图像帧频信息，并通过USB3.0接口进行上传；

4)根据Cameralink协议将不同端口的数据经过组合，拼接成完整的图像数据；

5）图像数据通过像素合成后，需要进行图像数据预处理和图像数据后处理，图像数据预处理模块和后处理模块，分别与数据缓存模块连接，在数据缓存模块中通过乒乓读写机制保证流水线，图像数据和指令数据经过图像后处理模块向USB3.0总线控制模块发送。

进一步地，步骤3）中，所述帧频统计的帧频信息是一帧图像对应的像素时钟数目，对于线阵相机，根据行同步信号的上升沿统计每行所用的像素时钟数目，并依次叠加统计到行数结束为止；对于面阵相机而言，则直接根据帧同步信号的上升沿和下降沿统计出一帧图像所用的像素时钟数目。

进一步地，步骤5)中，所述图像数据预处理对收到的图像数据进行空间重排，对每个时钟周期内收到的一批图像数据，依次进行像素位置排列、像素行填充和像素方向排列，相关参数根据实际前端数据流格式由图像采集处理模块计算后，在图像预处理模块收取数据之前预先加载。

进一步地，步骤5)中，所述数据缓存模块的乒乓读写机制具体方法为：数据缓存分为读写两个步骤，读步骤是从预处理模块中收取图像并进行存储，写步骤则读取前一帧的图像数据发送至图像后处理模块；当写步骤完成前一帧图像数据发送后，切换读写两个步骤，原先负责收取图像数据的读步骤转向图像后处理模块发送本周期内接收到的数据，原先负责发送数据的写步骤则开始收取数据；如此往复，数据缓存模块始终同时收发数据。

进一步地，步骤5)中，所述图像数据后处理具体包括：行填充数据剔除和BIT转换处理；所述行填充数据剔除的具体参数与前端实际数据流格式以及数据缓存模块的具体写入方向相关联；所述BIT转换处理包括对剔除填充数据后的图像、指令以及帧频信息，依据USB3.0协议规范进行必要的位调整。

由以上技术方案可知，本发明具有如下有益效果：

首先，USB3.0接口会使速度得到极大的提升，速度是USB2.0可用宽带的10倍，是IEEE-1394b的5倍，可完全满足CameralinkBase模式的速度；

其次，其采集装置便携性好，与PC的兼容性高，方便快捷；且与其他接口的图像采集装置相比，USB3.0采集装置成本更低，体现出优越的性价比；

与传统的技术方案相比，本发明提供的基于USB3.0的工业图像采集系统支持CameralinkBase的面扫描和线扫描相机；集成高级tap读写引擎，允许任意方向tap设置；USB3.0独立供电，支持多卡单独使用。

附图说明

图1为本发明的结构原理框图；

图2为本发明中图像采集处理模块的结构示意图。

图中：100、Cameralink接口，101、图像信号接口，102、控制信号接口，103、串口信号接口，200、图像采集处理模块，210、像素合成模块，211、图像数据提取单元，212、图像通道选择单元，213、像素数据合成单元，220、图像预处理模块，221、像素位置排列单元，222、像素行填充单元，223、像素方向排列单元，230、数据缓存模块，240、图像后处理模块，241、像素行填充剔除单元，242、Bit转换处理单元，250、USB3.0总线控制模块，260、指令解析模块，270、帧频统计模块，300、存储模块，400、USB3.0接口。

具体实施方式

下面结合附图对本发明的一种优选实施方式作详细的说明。

如图1所示，所述工业图像采集系统包括Cameralink接口100、图像采集处理模块200、存储模块300以及USB3.0接口400，所述Cameralink接口100与图像采集处理模块200通过图像信号接口101、控制信号接口102以及串口信号接口103连接，所述图像采集处理模块200和存储模块300分别与所述USB3.0接口400连接。

所述图像信号接口的输入端与所述Cameralink接口的输出端连接，图像信号接口的输出端与所述图像采集处理模块的输入端连接；所述控制信号接口的输入端与所述图像采集处理模块的输出端连接，控制信号接口的输出端与Cameralink接口的输入端连接；所述串口信号接口分别与所述Cameralink接口和图像采集处理模块交互式连接。

如图2所示，所述图像采集处理模块200包括依次连接的像素合成模块210、图像预处理模块220、数据缓存模块230、图像后处理模块240和USB3.0总线控制模块250以及与该USB3.0总线控制模块连接的指令解析模块260，所述Cameralink接口接收到的图像数据经过像素合成模块转换成像素数字信号，由图像预处理模块进行预处理，通过数据缓存模块进行图像数据缓存控制，再由图像后处理模块进行后处理，所述USB3.0总线控制模块用于将后处理的图像数据和指令解析模块解析完的指令进行传送。

所述像素合成模块210包括依次连接的图像数据提取单元211、图像通道选择单元212和像素数据合成单元213，分别用于对图像数据进行提取、选择图像通道和像素数据合成。

所述图像预处理模块220包括依次连接的像素位置排列单元221、像素行填充单元222和像素方向排列单元223，所述像素位置排列单元用于对像素空间相对位置进行排列，所述像素行填充单元对每行进行像素填充，所述像素方向排列单元将像素正序、逆序排列后送人数据缓存模块230。

所述图像后处理模块240包括像素行填充剔除单元241，用于将填充数据进行剔除操作；与该像素行填充剔除单元连接的Bit转换处理单元242，用于将经过剔除操作的数据和解析完的指令根据USB3.0协议规范进行位调整。

为了在采集软件中可以清楚的看到当前相机传输图像的速度，所述图像采集处理模块200还要包括帧频统计模块270，该帧频统计模块的输入端与所述图像数据提取单元的输出端连接，帧频统计模块的输出端与所述USB3.0总线控制模块的输入端连接，该帧频统计模块用于统计图像数据的帧频信息，并通过USB3.0接口传递到PC。帧频信息是一帧图像对应的像素时钟数目(32bit),对于线阵相机和面阵相机，统计方法略有差异。对于线阵相机，根据行同步信号的上升沿统计每行所用的像素时钟数目，并依次叠加统计到行数结束为止。对于面阵相机而言，则直接根据帧同步信号的上升沿和下降沿统计出一帧图像所用的像素时钟数目。因此USB3.0总线控制模块还可以将帧频信息进行传送。

本发明提供的基于USB3.0接口的工业图像采集系统实现需要经过以下步骤：Cameralink接口输入的数据流通过图像信号接口的串-并转换芯片转换为28bit并行数据流，并输入到图像采集处理模块进行后续处理；控制信号接口将相机控制信号CC1～CC4从单端信号转换为差分信号（LVDS），并通过Cameralink接口传输给相机；串口信号接口传输相机输出的Cameralink串口信号和从PC段发送至相机的Cameralink串口信号。

图像采集处理模块的功能分为以下两个方面：①上行数据流处理功能：图像数据传输处理与帧频统计以及Cameralink串口数据解析与上传；②下行数据流处理功能：将上位机传递的串口数据通过MDR26接口传递给相机；相机控制信号CC1～CC4信号产生；图像采集系统运行参数与状态控制数据接收与解析。

其中上行数据流的运行步骤即为本发明提供的一种工业图像采集处理方法，具体包括如下步骤：

1)根据图像同步信号，接收Cameralink图像各端口数据，同时响应后端要求重新同步图像数据的请求；

2)根据实际前端数据流格式进行图像通道配置，将收到的图像数据写入到对应的内存中；

3)统计接收到的前端图像帧频信息，并通过USB3.0接口进行上传；

4)根据Cameralink协议将不同端口的数据经过组合，拼接成完整的图像数据；

5）图像数据通过像素合成后，需要进行图像数据预处理和图像数据后处理，图像数据预处理模块和后处理模块，分别与数据缓存模块连接，在数据缓存模块中通过乒乓读写机制保证流水线，图像数据和指令数据经过图像后处理模块向USB3.0总线控制模块发送。

其中数据缓存模块的乒乓读写机制具体方法为：数据缓存分为读写两个步骤，读步骤是从预处理模块中收取图像并进行存储，写步骤则读取前一帧的图像数据发送至图像后处理模块；当写步骤完成前一帧图像数据发送后，切换读写两个步骤，原先负责收取图像数据的读步骤转向图像后处理模块发送本周期内接收到的数据，原先负责发送数据的写步骤则开始收取数据；如此往复，数据缓存模块始终同时收发数据。

步骤3）中，所述帧频统计的帧频信息是一帧图像对应的像素时钟数目，对于线阵相机，根据行同步信号的上升沿统计每行所用的像素时钟数目，并依次叠加统计到行数结束为止；对于面阵相机而言，则直接根据帧同步信号的上升沿和下降沿统计出一帧图像所用的像素时钟数目。

步骤5)中，所述图像数据预处理对收到的图像数据进行空间重排，对每个时钟周期内收到的一批图像数据，依次进行像素位置排列、像素行填充和像素方向排列，相关参数根据实际前端数据流格式由图像采集处理模块计算后，在图像预处理模块收取数据之前预先加载。

步骤5)中，所述图像数据后处理可以看作是图像预处理模块的逆过程，具体包括如下步骤：

行填充数据剔除和BIT转换处理；所述行填充数据剔除的具体参数与前端实际数据流格式以及数据缓存模块的具体写入方向相关联；所述BIT转换处理包括对剔除填充数据后的图像、指令以及帧频信息，依据USB3.0协议规范进行必要的位调整。

基于USB3.0接口的工业图像采集系统采用cypress的Cy3014接口芯片，在确保传输过程中没有任何数据丢包现象的同时，成功地实现了340MB/s的图像数据传输功能。

所述图像采集处理模块的下行数据流的运行步骤如下：

命令协议：下行数据流主要负责上位机传送的命令信息的解析，每条指令长度为128bit，由8bit的命令ID和120bit的命令数据组成；

行数据流处理中产生的相机控制信号CC1～CC4功能设计：在下行数据流中有一类命令参数是用来设计相机CC1～CC4控制信号的。在USB3.0采集卡中，CC1～CC4支持以下功能：全高电平、全低电平、Timer1发生器、Timer2发生器、Timer3发生器、Timer4发生器。其中Timer发生器用于产生相机的控制脉冲，Timer1和Timer2脉冲发生器支持单脉冲配置、双脉冲配置以及相对延迟配置；Timer3、Timer4被设计成两种功能，分别是与Timer1或者Timer2相同、Timer1与Timer2的异或。

经过实际测试，基于USB3.0接口的工业图像采集系统面向支持CameralinkBase模式下的8bit、10bit、12bit、14bit、16bit和RGB24bit，可以稳定运行在340MB/S的速度上。

以上所述实施方式仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明的权利要求书确定的保护范围内。

Claims (10)

1.一种基于USB3.0接口的工业图像采集系统，包括Cameralink接口、图像采集处理模块、存储模块以及USB3.0接口，所述Cameralink接口与图像采集处理模块通过图像信号接口、控制信号接口以及串口信号接口连接，所述图像采集处理模块和存储模块分别与所述USB3.0接口连接，其特征在于，所述图像采集处理模块包括依次连接的像素合成模块、图像预处理模块、数据缓存模块、图像后处理模块和USB3.0总线控制模块以及与该USB3.0总线控制模块连接的指令解析模块，所述Cameralink接口接收到的图像数据经过像素合成模块转换成像素数字信号，由图像预处理模块进行预处理，通过数据缓存模块进行图像数据缓存控制，再由图像后处理模块进行后处理，所述USB3.0总线控制模块用于将后处理的图像数据和指令解析模块解析完的指令进行传送。

2.根据权利要求1所述的工业图像采集系统，其特征在于，所述像素合成模块包括依次连接的图像数据提取单元、图像通道选择单元和像素数据合成单元，分别用于对图像数据进行提取、选择图像通道和像素数据合成。

3.根据权利要求1所述的工业图像采集系统，其特征在于，所述图像预处理模块包括依次连接的像素位置排列单元、像素行填充单元和像素方向排列单元，所述像素位置排列单元用于对像素空间相对位置进行排列，所述像素行填充单元对每行进行像素填充，所述像素方向排列单元将像素数据正序、逆序排列后送入数据缓存模块。

4.根据权利要求1所述的工业图像采集系统，其特征在于，所述图像后处理模块包括像素行填充剔除单元，用于将填充数据进行剔除操作；与该像素行填充剔除单元连接的BIT转换处理单元，用于将经过剔除操作的数据和解析完的指令根据USB3.0协议规范进行位调整。

5.根据权利要求1所述的工业图像采集系统，其特征在于，所述图像采集处理模块还包括帧频统计模块，该帧频统计模块的输入端与所述像素合成模块连接，帧频统计模块的输出端与所述USB3.0总线控制模块的输入端连接，该帧频统计模块用于统计图像数据的帧频信息，并通过USB3.0接口传递到PC。

6.采用权利要求1所述工业图像采集系统的图像采集处理方法，其特征在于，包括图像数据传输处理与帧频统计以及Cameralink串口数据解析与传输,具体步骤如下：

1)根据图像同步信号，接收Cameralink图像各端口数据，同时响应后端要求重新同步图像数据的请求；

2)根据实际前端数据流格式进行图像通道配置，将收到的图像数据写入到对应的内存中；

3)统计接收到的前端图像帧频信息，并通过USB3.0接口进行上传；

4)根据Cameralink协议将不同端口的数据经过组合，拼接成完整的图像数据；

5）图像数据通过像素合成后，需要进行图像数据预处理和图像数据后处理，图像数据预处理模块和后处理模块，分别与数据缓存模块连接，在数据缓存模块中通过乒乓读写机制保证流水线，图像数据和指令数据经过图像后处理模块向USB3.0总线控制模块发送。

7.根据权利要求6所述的图像采集处理方法，其特征在于，步骤3）中，所述帧频统计的帧频信息是一帧图像对应的像素时钟数目，对于线阵相机，根据行同步信号的上升沿统计每行所用的像素时钟数目，并依次叠加统计到行数结束为止；对于面阵相机而言，则直接根据帧同步信号的上升沿和下降沿统计出一帧图像所用的像素时钟数目。

8.根据权利要求6所述的图像采集处理方法，其特征在于，步骤5)中，所述图像数据预处理对收到的图像数据进行空间重排，对每个时钟周期内收到的一批图像数据，依次进行像素位置排列、像素行填充和像素方向排列，相关参数根据实际前端数据流格式由图像采集处理模块计算后，在图像预处理模块收取数据之前预先加载。

9.根据权利要求6所述的图像采集处理方法，其特征在于，步骤5)中，所述数据缓存模块的乒乓读写机制具体方法为：数据缓存分为读写两个步骤，读步骤是从预处理模块中收取图像并进行存储，写步骤则读取前一帧的图像数据发送至图像后处理模块；当写步骤完成前一帧图像数据发送后，切换读写两个步骤，原先负责收取图像数据的读步骤转向图像后处理模块发送本周期内接收到的数据，原先负责发送数据的写步骤则开始收取数据；如此往复，数据缓存模块始终同时收发数据。

10.根据权利要求6所述的图像采集处理方法，其特征在于，步骤5)中，所述图像数据后处理具体包括：行填充数据剔除和BIT转换处理；所述行填充数据剔除的具体参数与前端实际数据流格式以及数据缓存模块的具体写入方向相关联；所述BIT转换处理包括对剔除填充数据后的图像、指令以及帧频信息，依据USB3.0协议规范进行必要的位调整。