CN100587638C - 针对高实时性图像采集与处理的机器视觉系统 - Google Patents

Abstract

一种针对高实时性图像采集与处理的机器视觉系统，包括：光照模块、带有千兆以太网接口的数字CMOS相机模块、图像采集与处理模块、图像显示模块、运动控制模块、图像无线传输模块，其中：光照模块照射目标图像，带有千兆以太网接口的数字CMOS相机模块采集光照模块照射下的目标图像，得到原始图像数据，通过其千兆网口将数字图像数据快速发送给图像采集与处理模块，经图像采集与处理模块高速处理后的图像数据分两路输出，一路输出到图像显示模块显示，另一路通过图像无线传输模块传送给上位机，经图像采集与处理模块高速处理后产生的控制数据发送给运动控制模块，用于驱动电机。本发明能够更加方便进行图像数据的传输与处理。

Description

针对高实时性图像采集与处理的机器视觉系统

技术领域

本发明涉及的是一种机器视觉技术领域的系统，具体是一种针对高实时性图像采集与处理的机器视觉系统。

背景技术

机器视觉技术是计算机学科的一个重要分支，它综合了光学、机械、电子、计算机软硬件等方面的技术，涉及到计算机、图像处理、模式识别、人工智能、信号处理、光机电一体化等多个领域。自起步发展至今，已经有20多年的历史，其功能以及应用范围随着工业自动化的发展逐渐完善和推广，其中特别是目前的数字图像传感器、CMOS和CCD摄像机、DSP、FPGA、ARM等嵌入式技术、图像处理和模式识别等技术的快速发展，大大地推动了机器视觉的发展。

简而言之，机器视觉就是利用机器代替人眼来做各种测量和判断。在生产线上，人来做此类测量和判断会因疲劳、个人之间的差异等产生误差和错误，但是机器却会不知疲倦地、稳定地进行下去。一般来说，机器视觉系统包括了照明系统、镜头、摄像系统和图像处理系统。对于每一个应用，我们都需要考虑系统的运行速度和图像的处理速度、使用彩色还是黑白摄像机、检测目标的尺寸还是检测目标有无缺陷、视场需要多大、分辨率需要多高、对比度需要多大等。从功能上来看，典型的机器视觉系统可以分为：图像采集部分、图像处理部分和运动控制部分。

经对现有技术的文献检索发现，申请(专利)号：200610066957.1中所述及的图像采集与处理系统包括采用CMOS照相机传感器拍摄目标图像，利用FPGA作为图像处理器的视觉系统。其图像采集与处理速度在某些实时性要求不是很高的场合的确可以完成既定的执行任务，但是当实时性要求一旦提高，该系统的实时处理性能自然不能满足要求，所以有必要研制一套能够胜任高实时性任务要求的高速机器视觉系统。

发明内容

本发明的目的是针对现有技术的不足，提供一种基于数字媒体片上系统的高速机器人嵌入式视觉系统。使其能够更加方便地应用于高速图像采集与处理的工业应用场合，更加游刃有余地进行图像数据的传输与处理。

本发明通过以下技术方案实现，本发明包括：光照模块、带有千兆以太网接口的数字CMOS相机模块、图像采集与处理模块、图像显示模块、图像无线传输模块，运动控制模块、其中：光照模块照射目标图像，以供带有千兆以太网接口的数字CMOS相机模块采集；带有千兆以太网接口的数字CMOS相机模块采集光照模块照射下的目标图像，得到原始图像数据，通过其千兆网口将数字图像数据快速发送给图像采集与处理模块，经图像采集与处理模块高速处理后的图像数据分两路输出，一路输出到图像显示模块显示，另一路通过图像无线传输模块传送给上位机，经图像采集与处理模块高速处理后产生的控制数据发送给运动控制模块，用于驱动电机。

所述的光照模块是影响机器视觉系统输入的重要因素，它直接影响输入数据的质量和应用效果。由于没有通用的机器视觉照明设备，所以针对每个特定的应用实例，要选择相应的照明装置，以达到最佳效果。

所述的带有千兆以太网接口的数字CMOS相机模块是用于高速传输图像数据的关键设备，其图像采样率达到200帧/秒。为后续的图像采集与处理模块提供了海量的图像信息数据予以处理。采用TCP/IP协议与图像采集与处理模块实现高速的实时数据传输。

所述的图像采集与处理模块包括千兆以太网接口图像传输模块、高速采集模块、图像预处理模块、畸变校正模块、区域分割模块、色彩空间变换处理模块、目标搜索模块、模板匹配模块、多帧图像融合模块、高速信息通信模块，其中：

所述千兆以太网接口图像传输模块以接近千兆的速度采集目标图像数据，发送给高速采集模块；

所述高速采集模块采集千兆以太网接口图像传输模块发送来的图像数据并发送给图像预处理模块；

所述图像预处理模块进行图像预处理，得到视觉效果更佳的图像数据，并发送到畸变校正模块；

所述畸变校正模块对图像数据进行畸变校正处理后，发送到区域分割模块、色彩空间变换处理模块、目标搜索模块、模板匹配模块进行图像的模式识别处理；

所述区域分割模块与色彩空间变换处理模块将图像和各像素的RGB分量值转换到HIS空间，在HIS空间完成图像分割和图像识别，并送到目标搜索模块和模板匹配模块；

所述目标搜索模块和模板匹配模块用目标搜索的方法将符合要求的像素即与模板匹配的像素全部找到，完成模式识别的任务，并将结果送到多帧图像融合模块；

所述多帧图像融合模块应用多帧融合处理技术复原运动模糊图像，并将彻底处理好的图象数据及生成的运动控制数据发送给高速信息通信模块；

所述高速信息通信模块将处理好的数据发出，完成实时通信的任务。

所述的图像预处理模块，其预处理包括图像增强、图像平滑、图像锐化，其中：所述图像增强，采用直方图均衡化技术，以映射关系修改原始图像的像素灰度，产生一个比原方图更为平坦的直方图，增强图像效果；所述图像平滑，即图像的去噪声处理，采用邻域平均技术，用邻点灰度的平均值取代该点的灰度；所述图像锐化，即图像边缘增强处理，用微分尖锐化处理技术采用梯度法，使用每个像素位置的梯度值。

以上所述各个模块中的涉及均嵌入在DSP/BIOS实时操作系统的线程中，利用管道和流进行线程间通信，其执行效率很高，能够完全满足系统对于高速，高实时性的要求。

本发明中图像采集与处理模块可以采用现有技术实现，比如由TexasInstruments公司提供的数字媒体片上系统(DMSoc)，型号为：TMS320DM644x。

所述的图像显示模块用于接收经图像采集与处理模块高速处理后的图像数据，主机CPU处于IDLE线程时(即主机空闲时)，用于显示人机界面，是一片数字触摸彩色液晶屏，可以将处理好的图像实时显示。

所述的图像无线传输模块用于接收经图像采集与处理模块高速处理后的图像数据，是外挂于图像采集与处理模块输出设备，通过无线传输方式与上位机实时交换数据。以便于上位机对于图像数据的后续处理及存储。

所述的运动控制模块用于接收经图像采集与处理模块高速处理后产生的控制数据，即利用RS485总线，基于单片机控制的电机驱动模块，根据上述处理后的图像数据决定单片机如何控制各个电机的运动。

与现有技术相比，本发明能够更加方便地应用于高速图像采集与处理的工业应用场合，更加游刃有余地进行图像数据的传输与处理。利用当今世界尖端技术，即数字媒体片上系统，实现了能够完成高速：ARM9——300MHZ的时钟频率；C64x+——600MHZ的时钟频率；高实时性——CPU内核采用抢断式占用线程方式以优先完成实时性要求较高的中断任务——要求任务的机器视觉系统。其内核的高速指令执行速度，再结合高效的——基于RF5构架——嵌入于DSP/BIOS实时操作系统线程中的被优化的程序代码，再加上千兆网口的目标图像采集速度，这一系统完全胜任了作为能够完成高速，高实时性要求任务的这一角色。

附图说明

图1为本发明系统结构框图

具体实施方式

下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，本实施例包括：光照模块、带有千兆以太网接口的数字CMOS相机模块、图像采集与处理模块、图像显示模块、运动控制模块、图像无线传输模块。带有千兆以太网接口的数字CMOS相机模块，在光照模块的照射下获取比较理想的初始图像数据，经图像采集与处理模块后将预处理后的图像一路传图像显示模块显示，另一路经图像无线传输模块发送给上位机处理及保存。经图像采集与处理模块处理后得到的控制数据传运动控制模块进行机构的运动控制。

1.光照模块。光照模块是影响机器视觉系统输入的重要因素，它直接影响输入数据的质量和应用效果。本实施例中经光照模块后得到的图像数据再由数字CMOS相机采集，保证了初始图像数据的质量。

光照模块是影响机器视觉系统输入的重要因素，它直接影响输入数据的质量和应用效果。由于没有通用的机器视觉照明设备，所以针对每个特定的应用实例，要选择相应的照明装置，以达到最佳效果。光源可为可见光和不可见光。常用的几种可见光源是白帜灯、日光灯、水银灯和钠光灯。可见光的缺点是光能不能保持稳定。如何使光能在一定的程度上保持稳定，是实用化过程中急需要解决的问题。另一方面，环境光有可能影响图像的质量，所以可采用加防护屏的方法来减少环境光的影响。照明系统按其照射方法可分为：背向照明、前向照明、结构光和频闪光照明等。其中，背向照明是被测物放在光源和摄像机之间，它的优点是能获得高对比度的图像。前向照明是光源和摄像机位于被测物的同侧，这种方式便于安装。结构光照明是将光栅或线光源等投射到被测物上，根据它们产生的畸变，解调出被测物的三维信息。频闪光照明是将高频率的光脉冲照射到物体上，摄像机拍摄要求与光源同步。

2.带有千兆以太网接口的数字CMOS相机模块。以太网接口的数字CMOS相机其优点是图像采样率高，传输速度大，其巨大的实时数据吞吐量，满足了本实施例的高速实时的要求。

3.图像采集与处理模块。本实施例中，图像采集与处理模块是一款由TexasInstruments公司提供的数字媒体片上系(DMSoc)。型号为：TMS320DM644x。由以下几部分组成：千兆以太网接口图像传输模块，高速采集模块，图像预处理模块，畸变校正模块，区域分割模块，色彩空间变换处理模块，目标搜索模块，模板匹配模块，多帧图像融合模块，高速信息通信模块等。如图1所示。

a).千兆以太网接口图像传输模块，该模块用于接收以太网接口的数字CMOS相机采集来的图像数据，利用该接口能够实现高速实时的数据传输。

b).高速采集模块，该模块是利用TMS320DM644x芯片片上的增强型直接存储器访问方式即(EDMA)，将千兆以太网接口图像传输模块采集来的原始图像数据搬移到TMS320DM644x芯片的内核中进行后续图像处理与模式识别。

c).图像预处理模块，该模块的功能是将初始图像数据进行加工处理，以得到效果更加理想的视觉图像，预处理过程分为以下三个部分：

1).图像增强

图像增强一般采用直方图均衡化技术，以一定的映射关系修改原始图像的像素灰度，产生一个比原方图更为平坦的直方图，对图像有明显增强效果。

2).图像平滑

图像平滑又称为图像的去噪声处理，一般采用邻域平均技术，用邻点灰度的平均值取代该点的灰度，即模板技术。

3).图像锐化

图像锐化又称为图像边缘增强处理，一般用微分尖锐化处理技术采用梯度法，使用每个像素位置的梯度值。

除上述几种预处理技术外，考虑到机器人系统实时性要求较高，环境可变，可对所摄取图像的容量和质量进行调整，包括图像调整和压缩。在满足精度的前提下，可采用“场”方式或“TARGET”采集方式，来减小图像容量，提高采集速度。

d).畸变校正模块。图像畸变和亮度变化广泛存在于应用广角镜头的成像系统中。在大视场光学系统中，采用高斯成像公式会存在非线性误差；由于工艺水平限制，光学系统在加工时可能会带来形变；探测器本身排列就不规则；所有这些都会造成图像畸变，其经典表现为图像中物体扭曲，远近比例不协调等。解决这类失真问题的方法称为几何畸变校正。畸变会随视场增大而迅速增大。虽然并不影响图像清晰度，但是光学系统有畸变却直接影响成像的几何位置精度。由于畸变的存在，物空间的一条直线在像方就变成了一条曲线，造成了像的失真。在视场比较小的光学系统中畸变不显著，但大视场光学系统就必须采取措施来消除畸变带来的影响。畸变的存在不利于图像的辨认、分析和判断。在一些定量分析领域，需要对畸变进行校正，校正精度将直接影响定量分析的精度。成像系统的几何畸变分为两类，即线性几何畸变和非线性几何畸变。线性几何畸变的校正已经得到了比较好的解决，但非线性几何畸变的校正还未能成功解决。

本实施例选择了一种根据畸变的产生原理，可以通过现有的软件方法对图像进行复原，对变形图像进行几何校正，其中包括空间变换和灰度插值两个部分。运用多项式变形技术进行空间变换时，通过选取控制点，运用恰当次数的多项式对图像上的每一点进行空间变换。该模块能够完成这些功能。

e).区域分割模块与色彩空间变换处理模块。在图像识别过程中，其颜色信息是主要的识别依据，色彩模型的选取对正确识别颜色有很大的影响，目前常用的色彩模型有RGB和HIS。RGB模型是线性表示系统，其优点是较简单、直观。但实践结果表明，对同一颜色属性物体，在不同条件(光照、光源种类、亮度、物体反射特性等)下，其测得的RGB颜色分布很分散，3个分量互相关联变化波段很宽，占据空间比例很大，很难确定识别RGB的阈值范围，非常容易把并非指定颜色的物体包括进去，而漏掉应该识别的部分物体。

HSI模型是基于视觉原理的模型，其定义了3个互不相关、容易预测的颜色属性：色度(Hue)、饱和度(Saturation)和明亮度(Illumination)，其中的色度属性能较准确地反映颜色种类，对外界光照条件的变化敏感程度低。对同一颜色属性物体，具有较稳定和较窄的数值变化范围。饱和度S可作为辅助判断条件，亮度I一般不作判断。所以系统采用HIS模型。

RGB空间到HSI空间的变换公式如下：

$H={\cos }^{-1}\frac{1/2p(R-G)+(R-B)]}{\sqrt{{(R-G)}^2+(R-B)(G-B)}},G\≥B$

$S=1-\frac{\min (R,G,B)}{I}$

$I=\frac{(R+G+B)}{3}$

其中：H取值范围为[0°，180°]，当G＜B时，H取值范围大于180°。可令H＝360°-H，将H转化到[180°，360°]，将上述2种情况综合考虑，可得H的范围为[0°，360°]，公式如下：

通过上述公式，将图像和各像素的RGB分量值转换到HIS空间，在HIS空间完成图像分割和图像识别的等工作。

f).目标搜索模块与模板匹配模块。目标搜索方法是基于连续图像相关性的顺序网络和种子填充相结合。所谓顺序网格，就是将搜索区域人为地按一定的准则分割为一定数量、大小相等的正方形小区域，并按一定的顺序在该小区域中扫描目标，搜索出目标物体的大概位置。种子填充是以该点为种子点，以一定的颜色信息为标准向四周扩散，直到将满足要求(即模板匹配)的所有像素点全部找到。

g).多帧图像融合模块，应用多帧融合处理技术复原运动模糊图像。最后将处理好的图像数据及运动控制数据交由高速信息通信模块。

h).高速信息通信模块，该模块与输出外设相连：彩色液晶显示屏，上位机，及RS485总线。将处理好的数据由EDMA送出。

TMS320DM644x是一片内核由ARM926EJ-S硬核与TMS320C64X+DSP硬核组成的双核微处理器。其处理速度高达：ARM9——300MHZ的时钟频率；C64x+——600MHZ的时钟频率。并且它提供给用户丰富的外设接口，可以直接与数字CMOS摄像头(IMAGE INPUT)和数字液晶屏(IMAGE OUTPUT)做接口，可以提供多达2路的视频窗口输出。该处理器提供多种根加载方式(BOOTLOAD MODE)，为用户(USER)烧写程序提供了多种渠道。

所以TMS320DM644x这款芯片完全能够胜任高速机器人嵌入式视觉系统的CPU这一任务，并且可以预见，这一系统的硬件在实现上不会遇到实质性的困难，这主要归功于这款芯片的内核与外设为便携式媒体设备(PDA)的开发提供了充足的考虑。

4.图像显示模块，该模块用于显示人机界面与图像，是一片数字触摸彩色液晶屏。可以将处理好的图像实时显示，并且利用TMS320DM644x的ARM926EJ-S硬核将嵌入于其中的图像处理应用程序和图像无线传输程序及运动控制应用程序等显示与WINCE桌面，以便于系统级的人机界面的管理。

5.运动控制模块，该模块由RS485总线连接电机，根据上述处理后的图像数据决定单片机如何控制各个电机的运动。

6.图像无线传输模块，该模块外挂于TMS320DM644x的输出设备，通过无线传输方式，与上位机实时交换数据。以便于上位机对于图像数据的后续处理及存储。

本发明可以完成高速：ARM9——300MHZ的时钟频率；C64x+——600MHZ的时钟频率；高实时性——CPU内核采用抢断式占用线程方式以优先完成实时性要求较高的中断任务——要求任务的机器视觉系统。其内核的高速指令执行速度，再结合高效的——基于RF5构架——嵌入于DSP/BIOS实时操作系统线程中的被优化的程序代码，再加上千兆网口的目标图像采集速度，这一系统完全胜任了作为能够完成高速，高实时性要求任务的这一角色。

Claims (6)

1.一种针对高实时性图像采集与处理的机器视觉系统，其特征在于，包括：光照模块、带有千兆以太网接口的数字CMOS相机模块、图像采集与处理模块、图像显示模块、运动控制模块、图像无线传输模块，其中：光照模块照射目标图像，以供带有千兆以太网接口的数字CMOS相机模块采集；带有千兆以太网接口的数字CMOS相机模块采集光照模块照射下的目标图像，得到原始图像数据，通过其千兆网口将数字图像数据快速发送给图像采集与处理模块，经图像采集与处理模块高速处理后的图像数据分两路输出，一路输出到图像显示模块显示，另一路通过图像无线传输模块传送给上位机，经图像采集与处理模块高速处理后产生的控制数据发送给运动控制模块，用于驱动电机；

所述的图像采集与处理模块包括千兆以太网接口图像传输模块、高速采集模块、图像预处理模块、畸变校正模块、区域分割模块、色彩空间变换处理模块、目标搜索模块、模板匹配模块、多帧图像融合模块、高速信息通信模块，其中：

所述千兆以太网接口图像传输模块以接近千兆的速度采集目标图像数据，发送给高速采集模块；

所述高速采集模块采集千兆以太网接口图像传输模块发送来的图像数据并发送给图像预处理模块；

所述图像预处理模块进行图像预处理，得到视觉效果更佳的图像数据，并发送到畸变校正模块；

所述畸变校正模块对图像数据进行畸变校正处理后，发送到区域分割模块、色彩空间变换处理模块、目标搜索模块、模板匹配模块进行图像的模式识别处理；

所述区域分割模块与色彩空间变换处理模块将图像和各像素的RGB分量值转换到HIS空间，在HIS空间完成图像分割和图像识别，并送到目标搜索模块和模板匹配模块；

所述目标搜索模块和模板匹配模块用目标搜索的方法将与模板匹配的像素全部找到，完成模式识别的任务，并将结果送到多帧图像融合模块；

所述多帧图像融合模块应用多帧融合处理技术复原运动模糊图像，并将彻底处理好的图像数据及生成的运动控制数据发送给高速信息通信模块；

所述高速信息通信模块将处理好的数据发出，完成实时通信的任务。

2.根据权利要求1所述的针对高实时性图像采集与处理的机器视觉系统，其特征是，所述的带有千兆以太网接口的数字CMOS相机模块，其图像采样率达到200帧/秒，为后续的图像采集与处理模块提供了海量的图像信息数据予以处理，采用TCP/IP协议与图像采集与处理模块实现高速的实时数据传输。

3.根据权利要求1所述的针对高实时性图像采集与处理的机器视觉系统，其特征是，所述的图像预处理模块，其预处理包括图像增强、图像平滑、图像锐化，其中：

所述图像增强，采用直方图均衡化技术，以映射关系修改原始图像的像素灰度，产生一个比原方图更为平坦的直方图，增强图像效果；

所述图像平滑，即图像的去噪声处理，采用邻域平均技术，用邻点灰度的平均值取代该点的灰度；

所述图像锐化，即图像边缘增强处理，用微分尖锐化处理技术采用梯度法，使用每个像素位置的梯度值。

4.根据权利要求1所述的针对高实时性图像采集与处理的机器视觉系统，其特征是，所述的图像显示模块用于显示人机界面与图像，是一片数字触摸彩色液晶屏，将处理好的图像实时显示。

5.根据权利要求1所述的针对高实时性图像采集与处理的机器视觉系统，其特征是，所述的图像无线传输模块是外挂于图像采集与处理模块的输出设备，通过无线传输方式与上位机实时交换数据，以便于上位机对于图像数据的后续处理及存储。

6.根据权利要求1所述的针对高实时性图像采集与处理的机器视觉系统，其特征是，所述的运动控制模块是利用RS485总线，基于单片机控制的电机驱动模块，根据上述处理后的图像数据决定单片机如何控制各个电机的运动。

Images