CN101778209A - 一种模块化cmos工业相机 - Google Patents

Abstract

本发明提供了一种模块化CMOS工业相机。其适用于检测高速运动目标、易于升级、体积小、功耗低。其硬件部分包括工业镜头、成像传感器模块、逻辑管理模块、数据处理模块；软件部分包括相机服务器软件和PC机网络通信客户端软件；逻辑管理模块通过对成像传感器模块的控制，完成图像采集，并将数据转换成数据处理模块的VP口可以导入的时序格式；数据处理模块接收图像数据并对其进行实时处理，处理结果通过以太网口输出至PC机或者执行机构；其特征在于，所述成像传感器模块采用具有全局曝光能力的CMOS传感器芯片，所述逻辑管理模块采用FPGA芯片，所述数据处理模块采用TMS320DM642DSP芯片。

Description

一种模块化CMOS工业相机

(一)技术领域

本发明涉及一种适用于工业产品检测、智能交通系统和视频监控领域的检测设备，具体涉及一种模块化CMOS工业相机。

(二)背景技术

工业智能相机广泛应用于智能交通、电子警察、安防监控、工业生产及检测、医学显微等领域，是机器视觉系统的核心组件。CMOS由于其与CCD制造工艺不同，与CCD相比较所具有的优势为：集成度高，功耗低，体积小，制造成本低，抗辐射能力强，适合特殊场合应用，灵敏度高，传输速度快，使用电源单一。因此，CMOS图像传感器在工业相机中得到的应用会更加广泛。但是目前国内已有的CMOS相机存在如下不足：在功能上不够完善，不适用于检测高速运动物体；采用PC处理技术，对产品的更新和升级比较困难，不能进行二次开发，并且体积结构庞大，功耗较大。

(三)发明内容

针对上述问题，本发明提供了一种模块化CMOS工业相机，适用于检测高速运动目标；易于产品更新和升级，能够进行二次开发，并且体积小，功耗低。

本发明的技术方案如下：一种模块化CMOS工业相机，该相机硬件部分包括工业镜头、成像传感器模块、逻辑管理模块、数据处理模块和相机外壳；软件部分包括相机服务器软件和PC机网络通信客户端软件；在模块功能设计上，成像传感器模块主要安装了传感器和相应的电源电路，数据和控制线通过40针的扁平线与逻辑管理模块相连；逻辑管理模块对成像传感器模块的寄存器进行配置，控制图像采集的工作流程，并将数据转换成数据处理模块的Video Port接口可以导入的时序格式；数据处理模块接收逻辑管理模块的图像数据，并对其进行实时处理，处理结果通过以太网口输出至PC机或者执行机构；其特征在于，所述成像传感器模块为CMOS成像传感器模块，其采用具有全局曝光能力的CMOS传感器芯片，所述逻辑管理模块为FPGA逻辑管理模块，其采用FPGA芯片，所述数据处理模块为DSP数据处理模块，其采用TMS320DM642DSP芯片；CMOS成像传感器模块通过40针扁平线连接到FPGA逻辑管理模块，FPGA逻辑管理模块将得到的数据转换成DSP数据处理模块的Video Port接口可以导入的时序格式，最终传入DSP数据处理模块的存储器，DSP数据处理模块对得到的图像数据进行处理，处理后的图像结果通过以太网口传输到客户端，与客户端软件进行网络通信，客户端软件传输初始化设置参数和实时显示处理后的图像。

其进一步的特征在于：所述CMOS成像传感器模块、FPGA逻辑管理模块、DSP数据处理模块这三个模块采用独立的电路板设计，各模块通过接插件连接；

FPGA逻辑管理模块处理之后的图像数据是以分离的三通道YUV数据或Bayer RAW格式的图像数据由VP口传入DSP数据处理模块；

所述的DSP数据处理模块(可再扩展)，采用的是TMS320DM642数字信号处理器，外扩了两片4M*32bit的SDRAM，一片4M的Flash，能稳定工作在600MHz的时钟频率，集成了10/100M以太网接口，可配置的图像视频端口，通用I/O接口，主要用于摄像机采集视频流的图像处理和进行网络通信；

所述的图像处理可以对图像数据进行Gamma校正、直方图均衡化、手动/自动白平衡处理，并自带了部分图像处理算法，和嵌入了TI Image Library，满足特殊用户定制，也方便后继开发；

所述的网络通信是指客户端软件通过以太网与作为服务器端的DSP数据处理模块通信，传输设置CMOS成像传感器模块的相应参数和接收处理后的图像数据；

所述设置CMOS成像传感器模块的相应参数的具体参数包括曝光时间、图像大小、采集模式、图像格式、单斜率/多斜率积分模式设置；

所述的图像采集模式包括连续触发、外触发、软件触发。

本发明中，CMOS成像传感器模块中CMOS传感器芯片具有全局曝光能力，因此可以采集高速运动物体的图像，同时CMOS传感器芯片自身具有图像分辨率高、低功耗，性能稳定的优点；

在相机内部体系结构设计上采用了模块化的设计思想，有利于系统资源调度，使整个相机系统的硬件具有可裁减、可升级更新等优点；

由于内置了嵌入式的TMS320DM642DSP处理器，客户可以根据具体应用对相机进行二次开发；

由于采用了嵌入式处理器，通过以太网口与客户端软件的通信，取代了原有的PC机系统，只需单电源供电，功耗低，并且系统结构紧凑。

(四)附图说明

图1为本发明的工业一体化CMOS相机总体结构图；

图2为本发明的内部模块化电路结构图；

图3为本发明FPGA逻辑管理模块方框图；

图4为本发明DSP数据处理模块方框图；

图5为本发明供电模块示意图；

图6为本发明图像处理流程图；

图7为本发明网络通信流程图；

图8为本发明程序总体流程图。

(五)具体实施方式

下面结合具体实施方案，并参照附图，对本发明的细节和原理进一步详细说明。

如图1、图2、图3和图4所示，该模块化智能CMOS相机硬件部分包括工业镜头1、CMOS成像传感器模块2、FPGA逻辑管理模块3、DSP数据处理模块4和相机外壳(图中没有表达)，DSP数据处理模块4包括PHY物理层芯片5，网络隔离变压器6，RJ45接口7，EEPROM芯片8，总容量32M的SDRAM数据存储器10，4M的FLASH程序存储器11，数字IO口12，DSP芯片13，9为电源模块。在模块功能设计上，CMOS成像传感器模块2主要安装了CMOS传感器和相应的电源电路，CMOS成像传感器模块2采用具有全局曝光能力的CMOS传感器芯片，FPGA逻辑管理模块3采用FPGA芯片，DSP数据处理模块采用TMS320DM642DSP芯片，CMOS成像传感器模块通过40针的扁平线与FPGA逻辑管理模块相连；FPGA逻辑管理模块3对CMOS成像传感器模块的寄存器进行配置，控制图像采集的工作流程，并将数据转换成DSP数据处理模块的Video Port接口可以导入的时序格式；最终传入DSP数据处理模块的存储器，DSP数据处理模块接收FPGA逻辑管理模块的图像数据，并对其进行实时处理，处理后的图像结果通过以太网口传输到客户端，与客户端软件进行网络通信，客户端软件传输初始化设置参数和实时显示处理后的图像。

本发明的CMOS成像传感器模块、FPGA逻辑管理模块和DSP数据处理模块在硬件电路的具体实现上采用模块化设计，分成三个电路板，各模块通过接插件连接，具体如图2所示。

本发明的FPGA逻辑管理模块的具体硬件电路实现如图3所示，通过CMOS接口(40针扁平线)设置CMOS传感器中寄存器的参数并接收CMOS模块采集到的图像数据。外接5V的直流电源通过电源模块可以得到3.3V电压作为FPGA逻辑管理模块的IO及整个系统数字电源，得到的1.2V电压作为FPGA逻辑管理模块的内核电源。FPGA逻辑管理模块将时序转换的图像数据通过VP1口传入DSP数据处理模块。FPGA逻辑管理模块通过IIC总线接收DSP数据处理模块传送的配置参数，Reset_L是电压监控芯片产生的复位电平，控制FPGA逻辑管理模块复位。

本发明的DSP数据处理模块具体如图4所示，DSP芯片用的是TI公司的TMS320DM642数字信号处理器，通过IIC总线给FPGA逻辑管理模块配置参数。DM642有16路通用I/O口(GPIO)，与外设相连能够产生CPU中断和EDMA中断，通过与FPGA逻辑管理模块的I/O口连接，实现DSP数据处理模块与FPGA逻辑管理模块之间的数据交换。DSP数据处理模块通过VP1口接收FPGA逻辑管理模块时序转换的图像数据。PCI/HPI端口复用管脚，通过HPI，主机设备可以访问DSP数据处理模块的整个内存空间，以太网媒体接入控制器(EMAC)提供DM642核心处理器与网络之间的高效界面。DM642通过EMIF接口实现与两片SDRAM(4M*32bit)无缝连接，得到SDRAM的存储空间为32M，同时通过EMIF连接一个FLASH存储器(4M)。POWER&RESET通过外接5V直流电源得到3.3V电压作为DM642的I/O及整个系统的数字电源，得到1.4V电压作为DM642的内核电压，然后利用其中的电源监控芯片监控得到的1.4V、3.3V电压，如果电压下降到限值以下，强制产生复位信号。

如图5所示，本发明的供电模块是外接5V直流电源通过电源模块产生1.2V、1.4V和3.3V电压，并将得到的这些电压通过电压监控芯片监控。

图6为本发明的图像处理流程图，由CMOS成像传感器模块2采集到BayerRAW图像后通过双线性插值得到三通道的RGB图像，然后从RGB图像空间转换到YCbCr图像空间，在YCbCr空间对Y分量进行Gamma校正，并做直方图均衡化处理，将处理后的图像转换到RGB格式空间，再进行白平衡处理，最后在客户端显示。

图7为本发明的网络通信流程。DSP数据处理模块作为服务器(server)与PC机作为客户端(client)建立网络通信。服务器端建立socket，绑定端口，开始监听网络，等待客户端请求。客户端建立socket，绑定服务器端口，开始请求连接，DSP数据处理模块与PC机建立连接，客户端发送请求，服务器接到请求并处理，然后发送相应的结果，客户端接收结果并再次发送请求如此循环。

如图8所示，为本发明的软件运行流程图。程序上电运行，硬件、变量的初始化，开始创建多任务，DSP数据处理模块图像处理任务负责接收网络通信发送的图像初始化参数设置，包括曝光时间、图像大小、采集模式、图像格式、单斜率/多斜率积分模式设置，接收成功后这些参数由FPGA逻辑管理模块3配置给CMOS传感器的寄存器，然后根据设置的参数采集图像，接下来DSP数据处理模块对采集到的图像进行处理，处理完的结果通过网络传给客户端显示。网络连接任务作为服务器的DSP数据处理模块端负责与PC机客户端进行通信。

Claims (8)

1.一种模块化CMOS工业相机，该相机硬件部分包括工业镜头、成像传感器模块、逻辑管理模块、数据处理模块和相机外壳；软件部分包括相机服务器软件和PC机网络通信客户端软件；在模块功能设计上，成像传感器模块主要安装了传感器和相应的电源电路，数据和控制线通过40针的扁平线与逻辑管理模块相连；逻辑管理模块对成像传感器模块的寄存器进行配置，控制图像采集的工作流程，并将数据转换成数据处理模块的Video Port接口可以导入的时序格式；数据处理模块接收逻辑管理模块的图像数据，并对其进行实时处理，处理结果通过以太网口输出至PC机或者执行机构；其特征在于，所述成像传感器模块为CMOS成像传感器模块，其采用具有全局曝光能力的CMOS传感器芯片，所述逻辑管理模块为FPGA逻辑管理模块，其采用FPGA芯片，所述数据处理模块为DSP数据处理模块，其采用TMS320DM642DSP芯片；CMOS成像传感器模块通过40针扁平线连接到FPGA逻辑管理模块，FPGA逻辑管理模块将得到的数据转换成DSP数据处理模块的Video Port接口可以导入的时序格式，最终传入DSP数据处理模块的存储器，DSP数据处理模块对得到的图像数据进行处理，处理后的图像结果通过以太网口传输到客户端，与客户端软件进行网络通信，客户端软件传输初始化设置参数和实时显示处理后的图像。

2.根据权利要求1所述的一种模块化CMOS工业相机，其特征在于：所述CMOS成像传感器模块、FPGA逻辑管理模块、DSP数据处理模块这三个模块采用独立的电路板设计，各模块通过接插件连接。

3.根据权利要求2所述的一种模块化CMOS工业相机，其特征在于：所述FPGA逻辑管理模块处理的图像数据是以分离的三通道YUV数据或Bayer RAW格式的图像数据由VP口传入DSP数据处理模块。

4.根据权利要求3所述的一种模块化CMOS工业相机，其特征在于：所述的DSP数据处理模块(可再扩展)，采用的是TMS320DM642数字信号处理器，外扩了两片4M*32bit的SDRAM，一片4M的Flash，能稳定工作在600MHz的时钟频率，集成了10/100M以太网接口，可配置的图像视频端口，通用I/O接口，主要用于摄像机采集视频流的图像处理和进行网络通信。

5.根据权利要求4所述的一种模块化CMOS工业相机，其特征在于：所述的图像处理软件可以对图像数据进行Gamma校正、直方图均衡化、手动/自动白平衡处理，并自带了部分图像处理算法，和嵌入了TI Image Library，满足特殊用户定制，也方便后继开发。

6.根据权利要求5所述的一种模块化CMOS工业相机，其特征在于：所述的网络通信是指客户端软件通过以太网与作为服务器端的DSP数据处理模块通信，传输设置CMOS成像传感器模块的相应参数和接收处理后的图像数据。

7.根据权利要求6所述的一种模块化CMOS工业相机，其特征在于：所述设置CMOS成像传感器模块的相应参数的具体参数包括曝光时间、图像大小、采集模式、图像格式、单斜率/多斜率积分模式设置。

8.根据权利要求7所述的一种模块化CMOS工业相机，其特征在于：所述的图像采集模式包括连续触发、外触发、软件触发。

Images