CN108616706A - 具有图像处理能力的cmos图像传感器系统 - Google Patents

具有图像处理能力的cmos图像传感器系统 Download PDF

Info

Publication number
CN108616706A
CN108616706A CN201611134240.6A CN201611134240A CN108616706A CN 108616706 A CN108616706 A CN 108616706A CN 201611134240 A CN201611134240 A CN 201611134240A CN 108616706 A CN108616706 A CN 108616706A
Authority
CN
China
Prior art keywords
image
image sensor
information
cmos image
cmos
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611134240.6A
Other languages
English (en)
Inventor
张梁燕
李武森
陈文建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201611134240.6A priority Critical patent/CN108616706A/zh
Publication of CN108616706A publication Critical patent/CN108616706A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/713—Transfer or readout registers; Split readout registers or multiple readout registers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种具有图像处理能力的CMOS图像传感器系统，包括CMOS图像传感器、FPGA、同步动态随机存储器和数据传输模块；所述CMOS图像传感器用于采集被测物体的图像信息；所述FPGA用以产生CMOS图像传感器控制信号以及对CMOS图像传感器采集到的图像信息进行处理得到被测物体的尺寸信息；所述同步动态随机存储器用于暂存图像信息和尺寸信息；所述数据传输模块用于传输图像信息和尺寸信息到上位机。本发明具有非接触性、高精度、高效率、稳定性好、体积小、成本相对较低等优点，便于推广使用。

Description

具有图像处理能力的CMOS图像传感器系统
技术领域
本发明涉及一种图像传感器，尤其涉及一种具有图像处理能力的CMOS图像传感器系统。
背景技术
钢铁素有“工业粮食”之称，是造船、桥梁、机械、汽车等行业中不可缺少的原材料，在国民经济中具有重要地位。在钢板的生产过程中，钢板的外形尺寸是非常重要的参数，直接影响决定钢板的成材率。传统的测量方法是采用检测头与钢板直接接触来测量，这种测量方法测量效率低、劳动强度大，而且测量过程会使测量仪器的检测头发生磨损，从而造成测量精度的降低。为提高测量效率和精度，钢板尺寸的自动在线测量系统成为生产线上不可缺少的设备之一。机器视觉技术有着非接触、高效率、高精度、高抗干扰能力等优点，采用机器视觉技术对钢板尺寸进行自动在线测量，进一步提高测量效率和精度。
基于机器视觉的钢板尺寸测量系统现今多以CCD图像传感器为基础，在进行尺寸测量时采用图像处理和硬件设备标定相结合的测量方式。其宽度测量是由两个与钢板前进方向并行排放的摄像机共同完成的，如图1所示。系统中钢板宽度测量值L由三部分组成，先设计出两个传感器CCD1与CCD2的距离L1，然后根据CCD1、CCD2成像测出边缘值的大小L2、L3，就可得出钢板的宽度L＝L1+L2+L3。该系统主要存在的问题有：(1)对平行光源的平行度要求很高；(2)安装精度要求高，如果双CCD间的L1出现误差，对测量的结果将带来极大的影响。因此该测量系统存在精度不够高、稳定性不高等缺陷。
发明内容
本发明的目的在于提供一种具有图像处理能力的CMOS图像传感器系统。
实现本发明目的的技术方案为：
一种具有图像处理能力的CMOS图像传感器系统，包括CMOS图像传感器、FPGA、同步动态随机存储器和数据传输模块；
所述CMOS图像传感器用于采集被测物体的图像信息；
所述FPGA用以产生CMOS图像传感器控制信号以及对CMOS图像传感器采集到的图像信息进行处理得到被测物体的尺寸信息；
所述同步动态随机存储器用于暂存图像信息和尺寸信息；
所述数据传输模块用于传输图像信息和尺寸信息到上位机。
与现有的技术相比，本发明的有益效果为：
(1)本发明采用CMOS图像传感器获取钢板的原始图像信息，通过FPGA实现数字图像的处理从而获取钢板的外形尺寸信息，通过网络接口传输到PC端；该传感器系统具有非接触性、高效率、高精度、体积小、结构简单及成本相对较低等优点，便于推广使用；
(2)对比于CCD图像传感器，CMOS图像传感器具有集成度高、可靠性高、随机读取、功耗低、抗辐射性高和成本低等CCD图像传感器所不具有的独特的优点。
附图说明
图1为双CCD钢板尺寸测量系统示意图。
图2为本发明具有图像处理能力的CMOS图像传感器系统总体框图。
图3为FPGA内部的主要功能模块图。
图4为SPI模块示意图。
图5为LVDS数据接收及图像重建模块示意图。
图6为SDRAM控制器示意图。
图7为图像处理及目标测量模块处理流程示意图。
图8为W7100A作为服务器与外部计算机之间通过TCP协议的网络传输过程示意图。
图9为实施例中系统的成像原理图。
具体实施方式
结合图2，本发明的一种具有图像处理能力的CMOS图像传感器系统，包括CMOS图像传感器、FPGA、同步动态随机存储器和数据传输模块；
所述CMOS图像传感器用于采集被测物体的图像信息；
所述FPGA用以产生CMOS图像传感器控制信号以及对CMOS图像传感器采集到的图像信息进行处理得到被测物体的尺寸信息；
所述同步动态随机存储器用于暂存图像信息和尺寸信息；
所述数据传输模块用于传输图像信息和尺寸信息到上位机。
进一步的，结合图3，所述FPGA包括SPI模块、LVDS数据接收及图像重建模块、SDRAM控制器、图像处理及目标测量模块和格式化及输出模块；
所述SPI模块用于产生CMOS图像传感器的控制信号；
所述LVDS数据接收及图像重建模块用于接收来自CMOS图像传感器的图像信息和同步码，对像素数据进行顺序整理，并根据同步码对图像进行重建，得到重建后的图像；
所述SDRAM控制器用于控制同步动态随机存储器，选择图像信息和尺寸信息的存储区域；
所述图像处理及目标测量模块用于对重建后的图像进行滤波、二值化处理和尺寸信息计算，得到被测物体的尺寸信息；
所述格式化及输出模块用于根据系统协议对图像数据进行格式化，并输出给数据传输模块。
进一步的，根据同步码对图像进行重建的具体过程为：
识别同步码的类别，根据其类别判定像素数据的类别；舍弃其中非有效像素数据，得到重建后的图像。
进一步的，尺寸信息计算的具体过程为：
通过设置计数器，统计目标区域像素个数，像素个数与像素尺寸相乘，通过光学系统放大倍数进行转换，得到被测物体的尺寸信息。
进一步的，所述光学系统放大倍数通过下式计算：
f为CMOS图像传感器的镜头焦距，u为物距。
进一步的，所述数据传输模块采用Wiznet公司的W7100A芯片。
进一步的，CMOS图像传感器采用ON Semiconductor公司的VITA 25K高分辨率CMOS数字图像传感芯片。
下面结合具体实施例对本发明做进一步说明。
实施例
一种具有图像处理能力的CMOS图像传感器系统，如图2所示，包括高分辨率CMOS图像传感器、FPGA、同步动态随机存储器SDRAM和数据传输模块，本发明的数据传输模块采用网络CPU；其中，高分辨率CMOS图像传感器用于采集被测物体的图像信息，FPGA用以产生CMOS图像传感器控制信号以及对CMOS图像传感器采集到的图像进行处理，同步动态随机存储器SDRAM用于暂存图像和数据，网络CPU则负责传输图像和数据到上位机。
CMOS图像传感器采用ON Semiconductor公司的VITA 25K高分辨率CMOS数字图像传感芯片，其分辨率高达5120(H)×5120(V)，像素尺寸小至4.5μm×4.5μm，并将感光核心与外围辅助电路集成在一起，具有高度可编程的控制功能。
FPGA采用Xilinx公司的Spartan-6器件，如图3所示，其主要功能有：(1)作为VITA25K CMOS图像传感器的主控制器，通过SPI模块对其工作模式进行控制并获取其对应的工作状态；(2)接收CMOS所传输过来的LVDS数据，并根据相应的同步码重建图像；(3)SDRAM控制器；(4)对图像进行诸如去噪、二值化等操作，以得到目标像；(5)目标尺寸的测量；(6)果数据的格式化输出以及与网络MCU的通讯。以下对FPGA内部的各个主要功能模块进行阐述说明：
(1)SPI模块：
图4为SPI模块的模块示意图，实现的主要功能是在主时钟的作用下向所给地址的寄存器中写入/读出所要求的数据。需要注意的是VITA 25K CMOS寄存器的地址为9位，数据为16位。图中右端四个信号(sck、ss_n、mosi、miso)为FPGA与CMOS之间的硬件连接信号，addr为CMOS寄存器的地址，data为写入CMOS寄存器的数据，而datarec为从CMOS寄存器中读出的数据，clk_in为主时钟，en为读写选择信号，en为1时写入，en为0时读出，rst为复位信号，rst为0时复位。
(2)LVDS数据接收及图像重建模块：
VITA 25K CMOS所采集的图像数据通过32个LVDS通道输出。如图5所示，在LVDS时钟作用下，FPGA先将数据和同步码缓冲入其内存中，并根据同步码对图像进行重建，所得图像存入内存中。需要注意的是，该模块的输入信号全是LVDS信号，编程时需要调用XILINX的IBUFGDS差分输入原语将其转换为单端信号才能进行下一步的处理。在IBUFDS原语中，输入信号为I，IB(二者相位相反)，输出信号为O。
(3)SDRAM接口：
SDRAM的功能是暂存图像，本发明采用Micron的8位256M SDRAM器件。它包括13根地址线，8根数据线以及2根bank选择线。FPGA通过SDRAM控制器将所采集到的数据暂存到该存储器中，SDRAM的控制器构成如图6所示。其中CLK为系统时钟信号；ADDR为地址信号，其位宽为13，即[12:0]；CMD[2:0]为命令请求，通过设置改变CMD的值可以使SDRAM处在不同的命令状态下，如读、写、自动更新、无操作等；CMDACK为请求命令的确认信号，其为高时有效；DATAIN和DATAOUT分别为输入和输出数据总线(其位宽都为8，即[7:0])；DM为数据屏蔽信号，其为高时有效；SA为地址总线(其位宽为13，即[12:0])，SA[12:0]在ACT命令期间采样以锁存行地址，SA[9:0]在读/写命令期间采样以锁存列地址，SA[10]在PCH命令期间采样以确定所有的bank是否预加电或者bank是否被选择；BA为bank地址(其位宽为2，即[1:0])；CS_N为片选信号，其为低时有效；CKE为时钟使能信号，其为高时有效；RAS_N、CAS_N分别为行地址和列地址选通，其为低时有效；WE_N为写使能，其为低时有效；DQ为数据总线(其位宽为8，即[7:0])；DQM为数据屏蔽信号，其为高时有效。
(4)图像处理及目标测量模块：
图7为图像处理及目标测量模块示意图。经图像传感器获取的图像信息中不可避免的会携带各种各样的噪声，如光照不均匀引起的图像灰度过于集中，经过A/D转换、线路传输等都会产生噪声污染，这些都会对图像的清晰程度产生影响，降低图像质量。此外，为了做到图像信息的实时处理，要对不必要的因素进行过滤，确保不丢失图像信息的同时减小计算量，这些都尤为重要。因此，在对目标图像进行分析、测量尺寸前，必须改善图像质量，对图像做预处理，以突出目标。这个图像预处理过程则包括了图像的灰度化处理以及去噪滤波处理。本系统中的噪声主要是由图像传感器、传输信道等产生的椒盐噪声，对于系统中钢板的外形尺寸测量这一目标的实现则要求保护图像边缘信息，所以本系统选择中值滤波去除相应的噪声。
光学系统把被测钢板的图像信息成像在CMOS图像传感芯片上，由于被测物体与背景在光强上强烈变化，反映在CMOS输出信号中所对应的边界会有急剧的电平变化，那么在完成图像预处理的基础上，对图像进行二值化处理，将目标即被测钢板与背景分离开来。图像的二值化是通过设定阈值把灰度图像变成仅用两个值分别表示图像的目标和背景的二值图像，通常的办法是设定一阈值，取原始图像中灰度级大于阈值的像素群为对象物，而小于阈值的像素群为背景区域。由于经过前面的预处理后钢板尺寸图像目标与背景已经有了比较明显的差别，在本系统中采用最大类间方差法确定阈值。
图像经过预处理和二值化处理后，图像中目标与背景已经完全区分开来。设置一个计数器统计目标对象区域的像素个数，将此值与CMOS像敏单元尺寸相乘，再依据光学系统放大倍数计算出钢板尺寸。
(5)格式化及输出模块：
为了与自动化系统中的其它部分共享数据，需要将测量结果格式化以后输出。数据格式化的方法应遵循系统协议的规定，而数据的输出则通过网络单片机W7100A来实现。
网络接口采用Wiznet公司的W7100A芯片实现。W7100A能够独立运行以太网应用的关键是其内部除51MCU核之外，还有一个TCP/IP核。TCP/IP核内部资源包括公用寄存器、Socket寄存器、TX存储器以及RX存储器。一旦W7100A的初始化过程完成，即可打开到TCP、UDP、IPRAW或MACRAW的SOCKET，开始发送或接收数据。本系统中选W7100A为master，外部计算机为slave。图8为W7100A作为服务器与外部计算机之间通过TCP协议的网络传输过程示意图。
下面结合附图及实施例对本发明进行进一步详细说明。
实施例
本实施例提供一种钢板宽度尺寸的在线实时测量检测，能够高精度、高效率地获取钢板的宽度尺寸信息。
如图9所示，将CMOS图像传感器系统安装在距离钢板上方3m高的地方，物距u＝3m，取镜头焦距f＝30mm，则根据牛顿成像公式：
式中，v为像距；
可得实际放大倍数为：
图中LX为物体尺寸，lx为像尺寸。
故0.6mm的误差成像到图像传感器上为6.06μm，大于VITA 25K CMOS图像传感芯片一个像素的尺寸(4.5μm)，即物面上0.6mm的尺寸在像面上应该能够被区分出来。根据国标对于钢板尺寸允许偏差的规定，若钢板宽度为2m，则误差应在0.6mm之内，所以传感器系统完全能完成2m宽钢板的精确尺寸测量检测。
在可见光环境下，被测钢板经光学系统在VITA 25K CMOS图像传感芯片成像，从而获取被测钢板的图像信息，然后FPGA通过LVDS数据接收及图像重建模块重建获得被测钢板的图像，经图像处理及目标测量模块得到被测钢板的宽度尺寸，经信息格式化及输出模块经网络接口传输到PC端。至此，完成了钢板尺寸的精确测量。

Claims (5)

1.一种具有图像处理能力的CMOS图像传感器系统，其特征在于，包括CMOS图像传感器、FPGA、同步动态随机存储器和数据传输模块；
所述CMOS图像传感器用于采集被测物体的图像信息；
所述FPGA用以产生CMOS图像传感器控制信号以及对CMOS图像传感器采集到的图像信息进行处理得到被测物体的尺寸信息；
所述同步动态随机存储器用于暂存图像信息和尺寸信息；
所述数据传输模块用于传输图像信息和尺寸信息到上位机。
2.根据权利要求1所述的具有图像处理能力的CMOS图像传感器系统，其特征在于，所述FPGA包括SPI模块、LVDS数据接收及图像重建模块、SDRAM控制器、图像处理及目标测量模块和格式化及输出模块；
所述SPI模块用于产生CMOS图像传感器的控制信号；
所述LVDS数据接收及图像重建模块用于接收来自CMOS图像传感器的图像信息和同步码，对像素数据进行顺序整理，并根据同步码对图像进行重建，得到重建后的图像；
所述SDRAM控制器用于控制同步动态随机存储器，选择图像信息和尺寸信息的存储区域；
所述图像处理及目标测量模块用于对重建后的图像进行滤波、二值化处理和尺寸信息计算，得到被测物体的尺寸信息；
所述格式化及输出模块用于根据系统协议对图像数据进行格式化，并输出给数据传输模块。
3.根据权利要求2所述的具有图像处理能力的CMOS图像传感器系统，其特征在于，根据同步码对图像进行重建的具体过程为：
识别同步码的类别，根据其类别判定像素数据的类别；舍弃其中非有效像素数据，得到重建后的图像。
4.根据权利要求2所述的具有图像处理能力的CMOS图像传感器系统，其特征在于，尺寸信息计算的具体过程为：
通过设置计数器，统计目标区域像素个数，像素个数与像素尺寸相乘，通过光学系统放大倍数进行转换，得到被测物体的尺寸信息。
5.根据权利要求4所述的具有图像处理能力的CMOS图像传感器，其特征在于，所述光学系统放大倍数通过下式计算：
式中，f为CMOS图像传感器的镜头焦距。
CN201611134240.6A 2016-12-10 2016-12-10 具有图像处理能力的cmos图像传感器系统 Pending CN108616706A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611134240.6A CN108616706A (zh) 2016-12-10 2016-12-10 具有图像处理能力的cmos图像传感器系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611134240.6A CN108616706A (zh) 2016-12-10 2016-12-10 具有图像处理能力的cmos图像传感器系统

Publications (1)

Publication Number Publication Date
CN108616706A true CN108616706A (zh) 2018-10-02

Family

ID=63657547

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611134240.6A Pending CN108616706A (zh) 2016-12-10 2016-12-10 具有图像处理能力的cmos图像传感器系统

Country Status (1)

Country Link
CN (1) CN108616706A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101860657A (zh) * 2010-05-14 2010-10-13 中国科学院上海技术物理研究所 大视场可见红外双通道相机实时图像采集方法及系统
CN102221937A (zh) * 2010-04-15 2011-10-19 上海天派无线科技有限公司 实时视频图像坐标识别系统及其方法
CN104991878A (zh) * 2015-06-18 2015-10-21 北京亚科鸿禹电子有限公司 一种fpga虚拟io片间互连电路
CN105518555A (zh) * 2014-07-30 2016-04-20 深圳市大疆创新科技有限公司 目标追踪系统及方法
CN105588513A (zh) * 2016-04-11 2016-05-18 上海斐讯数据通信技术有限公司 基于移动终端的物体体积测量方法及系统
US20160209647A1 (en) * 2015-01-19 2016-07-21 Magna Electronics Inc. Vehicle vision system with light field monitor

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102221937A (zh) * 2010-04-15 2011-10-19 上海天派无线科技有限公司 实时视频图像坐标识别系统及其方法
CN101860657A (zh) * 2010-05-14 2010-10-13 中国科学院上海技术物理研究所 大视场可见红外双通道相机实时图像采集方法及系统
CN105518555A (zh) * 2014-07-30 2016-04-20 深圳市大疆创新科技有限公司 目标追踪系统及方法
US20160209647A1 (en) * 2015-01-19 2016-07-21 Magna Electronics Inc. Vehicle vision system with light field monitor
CN104991878A (zh) * 2015-06-18 2015-10-21 北京亚科鸿禹电子有限公司 一种fpga虚拟io片间互连电路
CN105588513A (zh) * 2016-04-11 2016-05-18 上海斐讯数据通信技术有限公司 基于移动终端的物体体积测量方法及系统

Similar Documents

Publication Publication Date Title
CN105959514B (zh) 一种弱目标成像检测装置
CN102901444B (zh) 一种基于mp小波滤波的零件尺寸检测方法及其检测系统
CN102183214A (zh) 一种大口径非球面镜结构光检测方法
CN109974608B (zh) 基于机器视觉技术的零件孔径尺寸测量方法
CN110570412B (zh) 一种零件误差视觉判断系统
Su et al. A cascaded combination method for defect detection of metal gear end-face
CN106162001B (zh) 用于位移传感器的图像处理系统、装置和方法
CN107238727A (zh) 基于动态视觉传感器芯片的光电式转速传感器及探测方法
CN108305547A (zh) 一种测量光栅常数的系统和方法
Xu et al. Stray light elimination method based on recursion multi-scale gray-scale morphology for wide-field surveillance
CN105115431A (zh) 一种新型ccd激光位移传感器纸页厚度计
CN110298870A (zh) 图像的处理方法、处理装置及终端
CN105243677B (zh) 一种保证精度的实时单分子定位方法及系统
CN108616706A (zh) 具有图像处理能力的cmos图像传感器系统
CN104515473A (zh) 一种漆包线直径的在线检测方法
CN109741234A (zh) 一种oct图像处理装置及系统
Geng et al. Machine vision detection method for surface defects of automobile stamping parts
CN109813429B (zh) 一种偏振成像系统逐点标定方法
CN205829835U (zh) 用于位移传感器的图像处理系统
Song et al. Automatic calibration method based on improved camera calibration template
WO2023284320A1 (zh) 用于光热反射显微热成像的三维位移补偿方法及控制装置
CN105069780A (zh) 一种基于SoPC的SAR图像水域检测实现方法
CN205120611U (zh) 一种基于线阵相机的钢板表面缺陷检测系统
CN106871783A (zh) 一种基于fpga的关节臂激光扫描测头激光光条图像采集系统
Chen Design of image recognition system based on FPGA

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181002

RJ01 Rejection of invention patent application after publication