CN102044063A - 一种基于fpga和dsp的机器视觉系统 - Google Patents
一种基于fpga和dsp的机器视觉系统 Download PDFInfo
- Publication number
- CN102044063A CN102044063A CN 201010603189 CN201010603189A CN102044063A CN 102044063 A CN102044063 A CN 102044063A CN 201010603189 CN201010603189 CN 201010603189 CN 201010603189 A CN201010603189 A CN 201010603189A CN 102044063 A CN102044063 A CN 102044063A
- Authority
- CN
- China
- Prior art keywords
- image
- fpga
- dsp
- module
- digital camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 claims abstract description 35
- 238000000034 method Methods 0.000 claims description 19
- 238000007689 inspection Methods 0.000 claims description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 238000003909 pattern recognition Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 10
- 230000002093 peripheral effect Effects 0.000 claims description 8
- 230000000712 assembly Effects 0.000 claims description 6
- 238000000429 assembly Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- ZVKAMDSUUSMZES-NZQWGLPYSA-N OS II Natural products CC(=O)N[C@H]1[C@H](OC[C@@H](O)[C@@H](O)[C@@H](O)CO)O[C@H](CO)[C@H](O[C@H]2O[C@H](CO)[C@@H](O)[C@H](O)[C@H]2O)[C@@H]1O[C@@H]3O[C@H](CO)[C@@H](O)[C@H](O)[C@H]3O ZVKAMDSUUSMZES-NZQWGLPYSA-N 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 230000005055 memory storage Effects 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000013075 data extraction Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims description 2
- 238000000527 sonication Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 abstract 3
- 238000010586 diagram Methods 0.000 description 6
- 238000005265 energy consumption Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000009897 systematic effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
一种基于FPGA和DSP的机器视觉系统，是以千兆以太网接口作为图像数据输入接口；使用FPGA内部硬件电路实现图像的高速采集与底层预处理；使用DSP软件编程实现系统的逻辑控制以及图像的高层理解与模式识别处理。整个系统包括图像采集模块、图像预处理模块、图像高层处理与模式识别模块以及结果输出模块。图像采集模块通过千兆以太网接口将数字相机的图像数据采集到FPGA中，依次经过由FPGA内部硬件电路资源实现的图像预处理模块中各个计算单元，得到边缘图像以及图像特征信息；DSP通过软件实现高层图像理解与模式识别模块，并将最终的处理结果通过结果输出模块传送给远程上位机或执行设备。
Description
技术领域
本发明涉及嵌入式机器视觉领域，尤其涉及基于FPGA(FieldProgrammable Gate Array，现场可编程门阵列)和DSP(Digital SignalProcessing，数字信号处理器)的嵌入式机器视觉系统。
背景技术
机器视觉技术是计算机学科的一个重要分支，它综合了光学、机械、电子、计算机软硬件等方面的技术，涉及到计算机、图像处理、模式识别、人工智能、信号处理、光机电一体化等多个领域。
目前大多数机器视觉系统都是基于通用计算机的视觉系统。此类系统通常包括摄像头，图像采集卡和用于图像处理的通用计算机(PC、普通工控机、PC-104工控机、笔记本计算机)。视频图像通过图像采集卡转化为数字信号传送给计算机进行处理。用户可根据实际需要在市场上选用不同的图像采集卡和通用计算机，并在计算机中写入有效的图像处理算法。基于计算机的视觉系统具有系统通用性强，配置灵活，实现容易等优点。但是基于通用计算机的视觉系统也有一些不可克服的缺点，如体积大、重量大、系统集成度差、功耗高等。对于一些对体积、重量和功耗要求严格的应用场合，基于通用计算机的视觉系统显然就不能满足要求。随着DSP、FPGA、ARM等嵌入式处理器性能的提高，基于嵌入式处理器的视觉系统得到了很好的发展，如现有的一些视觉系统采用了单一处理器DSP或FPGA作为处理器，这些视觉系统均具有系统集成度高、体积小和功耗低的优点，但由于单一的嵌入式处理处理性能不及通用计算机的处理能力，因此此类系统处理能力较弱，实时性较差，合适用于一些对功耗和体积要求高，处理数据量不大、实时性要求不高的场合。
发明内容
本发明的目的在于提供一种具有系统集成度高、体积小、重量轻、实时性好等优点的基于FPGA和DSP的机器视觉系统。
为达到此目的，本发明基于FPGA和DSP的机器视觉系统的技术方案如下：该系统以千兆以太网口作为图像数据输入接口；使用FPGA内部电路实现图像的高速采集与底层预处理；使用DSP软件编程实现系统的逻辑控制以及对预处理过的图像进行高层理解与模式识别处理，并将最终处理结果通过外设接口输出，整个系统包括图像采集模块、图像预处理模块、图像高层处理与模式识别模块以及结果输出模块；其中：
图像采集模块包括千兆以太网接口、数字相机控制单元、网络数据包解析单元以及数据搬运单元，利用千兆以太网接口连接具有千兆以太网接口的数字相机；数字相机控制单元通过千兆以太网接口对数字相机发送控制命令，使数字相机工作在特定的工作模式并向外传输图像数据；数字相机的图像数据以UDP(User Datagram Protocol，用户数据包协议)数据包的形式向外传输，网络数据包解析单元负责解析数字相机输出的UDP数据包，将图像数据从数据包中提取出来；数据搬运单元负责数据在各个模块间的自主高速搬运；
图像预处理模块包括滤波单元、边缘提取单元及直线段提取单元，从图像采集模块输出的图像数据依次经过滤波单元、边缘提取单元、直线段提取单元，得到预处理过后的边缘图像以及图像中的直线段信息；
图像高层处理与模式识别模块通过DSP软件编程实现，用于处理图像预处理模块输出的边缘图像以及图像特征信息并将处理结果送到结果输出模块；
结果输出模块包括一个百兆以太网接口和一个RS485总线协议的通用异步接收/发送器接口，负责将处理结果传送给远程控制上位机或执行设备。
优选实施例，所述图像采集模块通过在FPGA内部建立可编程片上系统实现，可编程片上系统包含多个组件：一个软核处理器，一个内存控制器，一个10/100/1000M三速以太网介质访问控制器，一个网络数据包解析单元以及用于数据搬运的三个散/聚直接内存访问控制器，在可编程片上系统中，这些组件通过片内可编程总线连接在一起。
优选实施例，所述图像采集模块中的数字相机控制单元是通过对软核处理器编程实现的；在软核处理器上运行μC/OS-II操作系统，使用NicheStack协议栈支持UDP/IP协议，这样系统软件就能通过以太网协议与数字相机进行通信，给数字相机发送用于控制的UDP数据包，实现数字相机的控制。
优选实施例，所述图像采集模块中的网络数据包解析单元使用FPGA硬件电路实现UDP网络数据包的解析；网络数据包解析单元首先对数字相机输出的UDP数据包进行解包，对UDP数据包进行检校和计算并去掉UDP和IP报头，然后根据千兆以太网数字相机的数据协议将图像数据提取出来并送入图像预处理模块进一步处理。
优选实施例，所述图像采集模块中的数据搬运单元使用三个散/聚直接内存访问控制器自主搬运数据，包括两个发送散/聚直接内存访问控制器和一个接收散/聚直接内存访问控制器，其中一个发送散/聚直接内存访问控制器负责将UDP数据包搬运到介质访问控制发送端口，另一个发送散/聚直接内存访问控制器负责将接收到的数据包据搬运到网络数据包解析单元，一个接收散/聚直接内存访问控制器负责将接收到的UDP数据包从介质访问控制接收端口搬运到内存中。
优选实施例，所述图像预处理模块中的滤波单元，采用高斯滤波算法对图像去噪声处理，采用邻域平均的方法，用邻点灰度的平均值取代该点的灰度；所述图像预处理模块中的边缘提取单元，采用Canny提取边缘的算法对滤波后的图像提取边缘，得到边缘图像；所述图像预处理模块中的直线段提取单元采用概率Hough变换算法，对边缘图像进行概率Hough变换，得到图像的直线段特征信息；图像预处理模块中所有计算单元均采用流水线的处理模式，并在FPGA内部使用硬件电路并行实现。
优选实施例，所述图像高层处理与模式识别模块，首先使用DSP的DMA通道，将预处理过的边缘图像数据与特征信息搬运到DSP的片上内存中，然后再利用DSP的软件算法程序对图像进行高层理解处理与模式匹配，并将处理结果送入结果输出模块。
优选实施例，所述结果输出模块的百兆以太网接口通过DSP的集成外设10/100M介质访问控制器实现，用于将图像处理结果通过以太网传输给远程控制上位机；通用异步接收/发送器接口通过在DSP的外部存储器空间扩展一个RS485控制器来实现，负责将系统产生的控制命令直接传输给执行设备。
本发明的有益效果：本发明提供了一种基于DSP和FPGA的机器视觉系统，采用具有高速数据通讯能力的千兆以太网接口作为图像输入接口，使得系统具有采集高速图像的能力；利用FPGA硬件电路实现计算量较大的图像预处理，大大降低图像处理时间，使得系统具有处理高速图像的能力；利用DSP编程的灵活性，将高层的图像理解与模式识别算法由DSP编程实现，使得系统具有处理复杂图像算法的能力；系统使用多个直接内存访问控制器，使得数据在各个模块之间实现自主搬运，减轻了处理器的负担，提高了系统传输数据带宽和系统处理的实时性。本发明提供的视觉系统采用嵌入式处理器，系统具有集成度高、体积小、功耗低等特点。因此本发明提供的基于DSP和FPGA的机器视觉系统，不仅体积小、重量轻、功耗低，而且具有处理速度快，实时性高等优点，非常适合应用于对体积、功耗以及处理能力要求苛刻的机器视觉系统。
附图说明
图1系统模块示意图，
图2图像采集模块示意图，
图3系统软件流程图，
图4系统硬件示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
本发明的基本思路是：目前机器视觉系统大部分是基于通用计算机机实现的，此类系统普遍存在系统集成度差、体积大、重量大、功耗高等缺点，为了解决以上这些缺点，近年来也出现了一些基于嵌入式处理器的机器视觉系统，在一定程度上解决了基于通用计算机视觉系统的缺点。但由于单一的嵌入式处理器的性能较差，基于单一嵌入式处理器的视觉系统的处理能力以及实时性往往不能满足数据量较大、实时性要求较高的应用场合。本发明从计算机视觉图像处理的特点分析出发，将图像处理过程分为底层图像预处理与高层图像理解处理。其中底层处理完成图像预处理和特征检测等任务。而高层处理则完成模式分类和结构分析的任务，依据图像预处理部分所提取的特征，把相应原图归属到已知的一类模式，并对这些模式信息进行简明的描述和说明，产生最后的输出结果。底层图像处理基本上都是逐点操作或逐点邻域操作，对于每一点进行相同且规律的操作，具有操作简单、规则但计算量大的特点，因此很适合利用FPGA中丰富的硬件资源实现并行处理。与底层图像处理算法相比，高层处理操作通常具有顺序搜索和数据独立等特点。另外，由于它从底层处理系统中获得的信息本身不具有统一的格式，其操作缺乏规则性，不适合于在硬件中用并行实现。因此，可利用DSP灵活编程的特点，采用DSP编程实现。本发明采用百万门级FPGA硬件实现底层图像处理，如图像的滤波、边缘检测、直线段特征的提取；采用具有高性能和低功耗特性的DSP编程实现高层的图像理解算法，如特征点分析与匹配，目标搜索等。同时，FPGA和DSP都属于具有低功耗的嵌入式处理器，因此本发明提供的视觉系统不仅具有较高的数据吞吐量以及数据处理能力，而且具有低功耗的特性。
附图1为本发明的模块示意图。图像采集模块1通过千兆以太网接口将数字相机的图像数据采集到FPGA中，依次经过由FPGA内部硬件电路资源实现的高斯滤波、Canny算子提取边缘以及Hough变换图像预处理模块2，得到边缘图像以及图像的直线段特征；DSP的直接内存访问控制器将经过FPGA预处理过的边缘图像以及特征信息搬运到内存中，通过DSP的软件程序实现图像高层理解与模式识别模块3，通过DSP的集成外设接口扩展的结果输出模块4，将最终的处理结果传送给远程上位机或执行设备。
图像采集模块1通过在FPGA内实现一个SOPC(System on aProgrammable Chip，可编程片上系统)系统实现，其组成结构如附图2所示。系统包含多个IP组件，包括一个软核处理器(型号为Nios-II)，一个DDR SDRAM内存控制器，一个10/100/1000M三速以太网介质访问控制器以及用于数据搬运的三个SGDMA(Scatter-Gather DirectMemory Access，散/聚直接内存访问)控制器。在SOPC系统中，这些组件通过片内可编程总线连接在一起。SOPC系统工作原理是：在Nios-II处理器上运行μC/OS-II操作系统，使用NicheStack协议栈支持UDP/IP协议，这样系统软件就可以通过以太网与数字相机进行通讯，发送数字相机控制命令并接收数字相机输出的图像数据。系统软件工作流程如附图3所示：上电后，首先进行系统初始化，包括μC/OS-II操作系统初始化、中断服务的初始化、系统IP和MAC地址的设定以及启动UDP服务器；然后调用数字相机控制程序，控制数字相机的工作模式，设定数字相机传输的图像格式；启动接收图像数据的SGDMA，等待数字相机的图像数据；数字相机将图像数据以UDP数据包的方式发送到SOPC系统，系统接收到数字相机的UDP数据包后，使用SGDMA将接收到的原始UDP数据存入片内双端口RAM；SGDMA完成一次图像UDP数据包接收后发起一个中断，在中断服务程序中，首先重启SGDMA，做好下个数据包接收的准备，然后启动发送SGDMA，将双端口RAM中的原始UDP数据包搬运到用硬件电路实现的网络数据包解析单元。
UDP/IP协议解包包括协议分解和计算校验和等操作，在数据接受过程中，占用大部分的CPU计算时间，是影响接收数据速率的主要因素。由于Nios-II处理器的主频不高，若采用Nios-II软件处理解包操作，势必会影响数据的接收速度。在Nios-II处理器主频为150MHz的情况下，使用软件解包的数据接收速度不高于80Mb/s，远远低于千兆以太网的带宽。鉴于此，本发明在FPGA内部使用硬件电路实现UDP数据包解析功能，网络数据包解析单元分三个步骤解析UDP数据包：
S1：图像数据包的判定。读取接收到数据包的端口号，确认是否为图像数据的UDP数据包，若是，执行S2操作，若不是，直接将该数据包丢弃，返回到S1。
S2：IP头校验和的计算。将计算结果与IP报头中的头部检校和相比较，若相同则执行S3操作，若不相同，则丢弃该数据包，返回到S1。
S3：图像数据格式解析。数字相机在每个UDP数据包的前部会插入该数据包中图像数据的说明，如该包中的图像数据所在的帧号以及在该帧中的位置，图像数据格式解析电路根据这些信息，将UDP包中的数据组合成图像，并发送到图像预处理模块2。
本发明使用硬件解包电路接收图像数据，最高传输速率不低于700Mb/s。
图像预处理模块2包括高斯滤波、Canny算子提取边缘以及Hough变换图像预处理单元。这些预处理计算基本上都是逐点操作或逐点邻域操作，对于每一点进行相同且规律的操作，具有操作简单、规则但计算量大的特点，很适合利用FPGA中丰富的硬件资源实现并行处理。鉴于此，本发明采用FPGA中的硬件电路实现图像预处理操作，使图像处理的整体时间缩短，提高了系统的实时性。
图像高层处理与模式识别模块3通过DSP编程实现。为了减轻DSP的计算负担，提高系统的实时性，首先使用DSP片内集成外设DMA通道，将经过FPGA预处理过的图像数据快速搬运到DSP的片内存储器中，进行后续图像高层处理与模式识别。高层图像处理与模式识别有很多算法，本实施例采用较为常见的目标搜索以及模板匹配算法作为图像的高层处理。目标搜索方法是基于连续图像相关性的顺序网格搜索，将搜索区域人为地按一定的准则分割为一定数量、大小相等的正方形小区域，并按一定的顺序在该小区域中扫描目标，搜索出目标的大概位置。模板匹配是以某一区域的特征点作为原点，以一定的特征作为标准向周围扩散，直到将满足要求(即模板)的所有像素点全部找到。
处理结果4输出模块包括一个百兆以太网接口和一个RS485总线协议的UART接口。百兆网接口通过DSP的集成外设10/100M MAC控制器和一个百兆物理层芯片实现，用于将图像处理结果通过以太网传输给远程控制上位机，数据实际传输速度最高不低于70Mb/s；UART接口通过在DSP的外部存储器空间扩展一个RS485控制器来实现，负责将系统产生的控制命令直接传输给执行设备，如数字相机的云台电机。
本发明的硬件示意图如附图4所示，各硬件的说明以及参数如下：
本发明中的DSP为TI公司的TMS320DM642处理器，该处理器最高时钟频率为720MHz，处理能力不低于4000MIPS，最高可达5760MIPS。具有8个并行处理单元、两级Cache以及多个适合图像处理的外设，包括3个视频接口，1个10M/100M以太网接口，1个32bit HPI接口，64个DMA通道以及64bit的EMIF接口。通过EMIF接口扩展了8Mbyte的Flash，其中4Mbyte用于存储DSP程序，其余的4Mbyte用于存储FPGA的动态配置程序；扩展了4Mx64bit共32Mbyte的SDRAM，用于运行程序和缓存图像；扩展了一个RS232/485控制器，用于UART接口通讯；FPGA也通过EMIF接口映射在DSP的数据空间，便于DSP高速访问。
FPGA选用Altera公司的最新65nm工艺的EP3C40F484，该芯片具有丰富的硬件资源，包括40K逻辑单元(LE)、1.61Mbit片内RAM、126个18X18硬件乘法器以及4个PLL单元等，充分保证了较为复杂的图像处理算法的硬件实现需求。FPGA内部实现的千兆以太网MAC控制器与外接一片千兆以太网物理层芯片组成千兆以太网接口，接收图像数据带宽最高可到700Mb/s，保证了图像数据的高速采集；为了扩展系统的存储空间，在FPGA外部扩展了2片16bit(组成32bit位宽)DDR 266和1片32bit ZBT SRAM的内存模块，用于SOPC程序运行空间以及图像数据缓存空间，其中DDR内存工作在266MHz频率下，FPGA访问DDR内存的数据带宽为8512Mbit/s，ZBT SRAM工作频率为100MHz，FPGA访问ZBT SRAM的数据带宽为3200Mbit/s。FPGA访问片外内存的数据带宽均大于千兆以太网视频的输入带宽，满足实时处理的带宽要求。
本发明采用FPGA硬件实现图像采集与处理过程中计算量较大的操作，使用具有高数据带宽的千兆以太网接口作为图像高速输入接口，使得本发明所提出的视觉系统具有进行实时高速图像采集与处理的能力；再加上使用具有灵活编程能力的DSP作为图像高层理解处理器，配以外扩的多个大容量、高数据带宽的存储器，使得高层图像处理算法的实现成为可能；另外本系统是基于嵌入式处理器的视觉系统，具有集成度高、体积小、功耗低的优点。因此本发明提供的视觉系统是一种体积小、功耗低、处理能力强、实时性高的视觉系统。
Claims (8)
1.一种基于FPGA和DSP的机器视觉系统，其特征在于，该系统以千兆以太网口作为图像数据输入接口；使用FPGA内部电路实现图像的高速采集与底层预处理；使用DSP软件编程实现系统的逻辑控制以及对预处理过的图像进行高层理解与模式识别处理，并将最终处理结果通过外设接口输出，整个系统包括图像采集模块、图像预处理模块、图像高层处理与模式识别模块以及结果输出模块；其中：
图像采集模块包括千兆以太网接口、数字相机控制单元、网络数据包解析单元以及数据搬运单元，利用千兆以太网接口连接具有千兆以太网接口的数字相机；数字相机控制单元通过千兆以太网接口对数字相机发送控制命令，使数字相机工作在特定的工作模式并向外传输图像数据；数字相机的图像数据以UDP数据包的形式向外传输，网络数据包解析单元负责解析数字相机输出的UDP数据包，将图像数据从数据包中提取出来；数据搬运单元负责数据在各个模块间的自主高速搬运；
图像预处理模块包括滤波单元、边缘提取单元及直线段提取单元，从图像采集模块输出的图像数据依次经过滤波单元、边缘提取单元、直线段提取单元，得到预处理过后的边缘图像以及图像中的直线段信息；
图像高层处理与模式识别模块通过DSP软件编程实现，用于处理图像预处理模块输出的边缘图像以及图像特征信息并将处理结果送到结果输出模块；
结果输出模块包括一个百兆以太网接口和一个RS485总线协议的通用异步接收/发送器接口，负责将处理结果传送给远程控制上位机或执行设备。
2.根据权利要求1所述的基于FPGA和DSP的机器视觉系统，其特征在于，所述图像采集模块通过在FPGA内部建立可编程片上系统实现，可编程片上系统包含多个组件：一个软核处理器，一个内存控制器，一个10/100/1000M三速以太网介质访问控制器，一个网络数据包解析单元以及用于数据搬运的三个散/聚直接内存访问控制器，在可编程片上系统中，这些组件通过片内可编程总线连接在一起。
3.根据权利要求1所述的基于FPGA和DSP的机器视觉系统，其特征在于，所述图像采集模块中的数字相机控制单元是通过对软核处理器编程实现的；在软核处理器上运行μC/OS-II操作系统，使用NicheStack协议栈支持UDP/IP协议，这样系统软件就能通过以太网协议与数字相机进行通信，给数字相机发送用于控制的UDP数据包，实现数字相机的控制。
4.根据权利要求3所述的基于FPGA和DSP的机器视觉系统，其特征在于，所述图像采集模块中的网络数据包解析单元使用FPGA硬件电路实现UDP网络数据包的解析；网络数据包解析单元首先对数字相机输出的UDP数据包进行解包，对UDP数据包进行检校和计算并去掉UDP和IP报头，然后根据千兆以太网数字相机的数据协议将图像数据提取出来并送入图像预处理模块进一步处理。
5.根据权利要求1所述的基于FPGA和DSP的机器视觉系统，其特征在于，所述图像采集模块中的数据搬运单元使用三个散/聚直接内存访问控制器自主搬运数据，包括两个发送散/聚直接内存访问控制器和一个接收散/聚直接内存访问控制器，其中一个发送散/聚直接内存访问控制器负责将UDP数据包搬运到介质访问控制发送端口，另一个发送散/聚直接内存访问控制器负责将接收到的数据包据搬运到网络数据包解析单元，一个接收散/聚直接内存访问控制器负责将接收到的UDP数据包从介质访问控制接收端口搬运到内存中。
6.根据权利要求1所述的基于FPGA和DSP的机器视觉系统，其特征在于，所述图像预处理模块中的滤波单元，采用高斯滤波算法对图像去噪声处理，采用邻域平均的方法，用邻点灰度的平均值取代该点的灰度；所述图像预处理模块中的边缘提取单元，采用Canny提取边缘的算法对滤波后的图像提取边缘，得到边缘图像；所述图像预处理模块中的直线段提取单元采用概率Hough变换算法，对边缘图像进行概率Hough变换，得到图像的直线段特征信息；图像预处理模块中所有计算单元均采用流水线的处理模式，并在FPGA内部使用硬件电路并行实现。
7.根据权利要求1所述的基于FPGA和DSP的机器视觉系统，其特征在于，所述图像高层处理与模式识别模块，首先使用DSP的DMA通道，将预处理过的边缘图像数据与特征信息搬运到DSP的片上内存中，然后再利用DSP的软件算法程序对图像进行高层理解处理与模式匹配，并将处理结果送入结果输出模块。
8.根据权利要求1所述的基于FPGA和DSP的机器视觉系统，其特征在于，所述结果输出模块的百兆以太网接口通过DSP的集成外设10/100M介质访问控制器实现，用于将图像处理结果通过以太网传输给远程控制上位机；通用异步接收/发送器接口通过在DSP的外部存储器空间扩展一个RS485控制器来实现，负责将系统产生的控制命令直接传输给执行设备。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2010106031895A CN102044063B (zh) | 2010-12-23 | 2010-12-23 | 一种基于fpga和dsp的机器视觉系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2010106031895A CN102044063B (zh) | 2010-12-23 | 2010-12-23 | 一种基于fpga和dsp的机器视觉系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102044063A true CN102044063A (zh) | 2011-05-04 |
| CN102044063B CN102044063B (zh) | 2012-11-21 |
Family
ID=43910180
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2010106031895A Active CN102044063B (zh) | 2010-12-23 | 2010-12-23 | 一种基于fpga和dsp的机器视觉系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102044063B (zh) |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102438118A (zh) * | 2011-11-30 | 2012-05-02 | 哈尔滨工业大学 | 一种运动目标特征高速视觉捕捉装置 |
| CN102608928A (zh) * | 2012-01-13 | 2012-07-25 | 浙江大学 | 一种基于以太网的嵌入式视觉测控系统及其测控方法 |
| CN102903074A (zh) * | 2012-10-12 | 2013-01-30 | 湖南大学 | 一种基于fpga的图像处理装置 |
| CN103313134A (zh) * | 2012-03-08 | 2013-09-18 | 三星电子株式会社 | 图像处理装置及其处理图像的方法 |
| CN103325116A (zh) * | 2013-06-17 | 2013-09-25 | 中国人民银行印制科学技术研究所 | 一种印品图像检测系统及方法 |
| CN103729960A (zh) * | 2012-10-13 | 2014-04-16 | 成都进界科技有限公司 | 基于fpga的视频监控报警系统 |
| CN103945124A (zh) * | 2014-04-11 | 2014-07-23 | 厦门麦克玛视电子信息技术有限公司 | 一种智能相机的控制方法 |
| CN104572574A (zh) * | 2015-01-12 | 2015-04-29 | 东南大学 | 基于千兆以太网视觉协议的以太网控制器ip核及方法 |
| CN105023262A (zh) * | 2014-04-23 | 2015-11-04 | 苏州瑞森特信息科技有限公司 | 视觉检测控制器 |
| CN106597920A (zh) * | 2016-11-16 | 2017-04-26 | 西安电子科技大学 | 基于nios嵌入式处理器控制hpi接口的控制系统 |
| CN106802713A (zh) * | 2016-11-25 | 2017-06-06 | 上海航空电器有限公司 | 基于视觉的嵌入式手势识别系统装置 |
| CN107123129A (zh) * | 2017-04-28 | 2017-09-01 | 中国工程物理研究院应用电子学研究所 | 一种图像处理装置及方法 |
| CN107197239A (zh) * | 2017-07-06 | 2017-09-22 | 杭州柴滕自动化科技有限公司 | 一种基于以太网光纤多摄图像采集测试装置 |
| CN107205148A (zh) * | 2017-07-06 | 2017-09-26 | 杭州柴滕自动化科技有限公司 | 一种基于云处理的多摄图像采集测试装置 |
| CN110113771A (zh) * | 2019-03-22 | 2019-08-09 | 深圳市飞比电子科技有限公司 | 数据处理方法、装置、网关设备及存储介质 |
| CN110189244A (zh) * | 2019-06-06 | 2019-08-30 | 卡瓦科尔牙科医疗器械（苏州）有限公司 | 用于ct影像设备的加速图像处理系统 |
| CN110648273A (zh) * | 2019-09-27 | 2020-01-03 | 中国科学院长春光学精密机械与物理研究所 | 实时图像处理装置 |
| CN111199510A (zh) * | 2019-12-29 | 2020-05-26 | 武汉华中天勤防务技术有限公司 | 一种适用于无人作战系统的高实时性通用图像处理平台 |
| CN112423147A (zh) * | 2020-11-10 | 2021-02-26 | 常州沃翌智能科技有限公司 | 一种分布式多相机图像采集处理系统 |
| CN114104856A (zh) * | 2021-12-28 | 2022-03-01 | 天津工业大学 | 基于机器视觉的纱线张力非接触实时检测控制系统及方法 |
| CN114584674A (zh) * | 2022-05-06 | 2022-06-03 | 深圳市巨力方视觉技术有限公司 | 一种对相同图像进行处理的视觉集成系统 |
| CN115147840A (zh) * | 2021-03-31 | 2022-10-04 | 广东高云半导体科技股份有限公司 | 进行字符识别的人工智能系统及方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030137590A1 (en) * | 2002-01-18 | 2003-07-24 | Barnes Danny S. | Machine vision system with auxiliary video input |
| CN101276218A (zh) * | 2008-04-29 | 2008-10-01 | 上海交通大学 | 针对高实时性图像采集与处理的机器视觉系统 |
| CN101393010A (zh) * | 2008-08-11 | 2009-03-25 | 张育民 | 嵌入式视觉检测系统 |
| CN101546381A (zh) * | 2009-05-08 | 2009-09-30 | 北京科技大学 | 一种基于dsp和fpga的实时运动目标识别系统 |
| US20090268023A1 (en) * | 2008-04-27 | 2009-10-29 | Wen-Hsiung Hsieh | Surveillance camera device with a light source |
-
2010
- 2010-12-23 CN CN2010106031895A patent/CN102044063B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030137590A1 (en) * | 2002-01-18 | 2003-07-24 | Barnes Danny S. | Machine vision system with auxiliary video input |
| US20090268023A1 (en) * | 2008-04-27 | 2009-10-29 | Wen-Hsiung Hsieh | Surveillance camera device with a light source |
| CN101276218A (zh) * | 2008-04-29 | 2008-10-01 | 上海交通大学 | 针对高实时性图像采集与处理的机器视觉系统 |
| CN101393010A (zh) * | 2008-08-11 | 2009-03-25 | 张育民 | 嵌入式视觉检测系统 |
| CN101546381A (zh) * | 2009-05-08 | 2009-09-30 | 北京科技大学 | 一种基于dsp和fpga的实时运动目标识别系统 |
Non-Patent Citations (2)
| Title |
|---|
| 《仪器仪表学报》 20090630 徐峰 等 基于FPGA和GigE Vision的图像采集系统 第30卷, 第6期 2 * |
| 《计算机工程与应用》 20101221 原魁 等 采用FPGA的机器视觉系统发展现状与趋势 第46卷, 第36期 2 * |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102438118A (zh) * | 2011-11-30 | 2012-05-02 | 哈尔滨工业大学 | 一种运动目标特征高速视觉捕捉装置 |
| CN102608928A (zh) * | 2012-01-13 | 2012-07-25 | 浙江大学 | 一种基于以太网的嵌入式视觉测控系统及其测控方法 |
| CN103313134A (zh) * | 2012-03-08 | 2013-09-18 | 三星电子株式会社 | 图像处理装置及其处理图像的方法 |
| CN103313134B (zh) * | 2012-03-08 | 2018-12-14 | 三星电子株式会社 | 图像处理装置及其处理图像的方法 |
| CN102903074A (zh) * | 2012-10-12 | 2013-01-30 | 湖南大学 | 一种基于fpga的图像处理装置 |
| CN102903074B (zh) * | 2012-10-12 | 2014-09-10 | 湖南大学 | 一种基于fpga的图像处理装置 |
| CN103729960A (zh) * | 2012-10-13 | 2014-04-16 | 成都进界科技有限公司 | 基于fpga的视频监控报警系统 |
| CN103325116B (zh) * | 2013-06-17 | 2016-08-31 | 中国人民银行印制科学技术研究所 | 一种印品图像检测系统及方法 |
| CN103325116A (zh) * | 2013-06-17 | 2013-09-25 | 中国人民银行印制科学技术研究所 | 一种印品图像检测系统及方法 |
| CN103945124B (zh) * | 2014-04-11 | 2017-05-10 | 厦门麦克玛视电子信息技术有限公司 | 一种智能相机的控制方法 |
| CN103945124A (zh) * | 2014-04-11 | 2014-07-23 | 厦门麦克玛视电子信息技术有限公司 | 一种智能相机的控制方法 |
| CN105023262A (zh) * | 2014-04-23 | 2015-11-04 | 苏州瑞森特信息科技有限公司 | 视觉检测控制器 |
| CN104572574B (zh) * | 2015-01-12 | 2018-01-02 | 东南大学 | 基于千兆以太网视觉协议的以太网控制器ip核及方法 |
| CN104572574A (zh) * | 2015-01-12 | 2015-04-29 | 东南大学 | 基于千兆以太网视觉协议的以太网控制器ip核及方法 |
| CN106597920A (zh) * | 2016-11-16 | 2017-04-26 | 西安电子科技大学 | 基于nios嵌入式处理器控制hpi接口的控制系统 |
| CN106802713A (zh) * | 2016-11-25 | 2017-06-06 | 上海航空电器有限公司 | 基于视觉的嵌入式手势识别系统装置 |
| CN107123129A (zh) * | 2017-04-28 | 2017-09-01 | 中国工程物理研究院应用电子学研究所 | 一种图像处理装置及方法 |
| CN107205148A (zh) * | 2017-07-06 | 2017-09-26 | 杭州柴滕自动化科技有限公司 | 一种基于云处理的多摄图像采集测试装置 |
| CN107197239A (zh) * | 2017-07-06 | 2017-09-22 | 杭州柴滕自动化科技有限公司 | 一种基于以太网光纤多摄图像采集测试装置 |
| CN110113771A (zh) * | 2019-03-22 | 2019-08-09 | 深圳市飞比电子科技有限公司 | 数据处理方法、装置、网关设备及存储介质 |
| CN110189244A (zh) * | 2019-06-06 | 2019-08-30 | 卡瓦科尔牙科医疗器械（苏州）有限公司 | 用于ct影像设备的加速图像处理系统 |
| CN110648273A (zh) * | 2019-09-27 | 2020-01-03 | 中国科学院长春光学精密机械与物理研究所 | 实时图像处理装置 |
| CN111199510A (zh) * | 2019-12-29 | 2020-05-26 | 武汉华中天勤防务技术有限公司 | 一种适用于无人作战系统的高实时性通用图像处理平台 |
| CN112423147A (zh) * | 2020-11-10 | 2021-02-26 | 常州沃翌智能科技有限公司 | 一种分布式多相机图像采集处理系统 |
| CN112423147B (zh) * | 2020-11-10 | 2022-12-02 | 常州沃翌智能科技有限公司 | 一种分布式多相机图像采集处理系统 |
| CN115147840A (zh) * | 2021-03-31 | 2022-10-04 | 广东高云半导体科技股份有限公司 | 进行字符识别的人工智能系统及方法 |
| CN115147840B (zh) * | 2021-03-31 | 2024-05-17 | 广东高云半导体科技股份有限公司 | 进行字符识别的人工智能系统及方法 |
| CN114104856A (zh) * | 2021-12-28 | 2022-03-01 | 天津工业大学 | 基于机器视觉的纱线张力非接触实时检测控制系统及方法 |
| CN114584674A (zh) * | 2022-05-06 | 2022-06-03 | 深圳市巨力方视觉技术有限公司 | 一种对相同图像进行处理的视觉集成系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102044063B (zh) | 2012-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102044063B (zh) | 一种基于fpga和dsp的机器视觉系统 | |
| US10721307B2 (en) | Configurable context aware sensors in IoT smart spaces | |
| CN104835162A (zh) | 基于SoC_FPGA的柔性智能机器视觉检测系统 | |
| CN101710256A (zh) | 基于Camera Link接口的高速图像数据采集处理卡 | |
| CN104820418A (zh) | 一种针对机械臂的嵌入式视觉系统及其使用方法 | |
| CN110602176A (zh) | 一种利用边缘计算控制智慧路灯的方法 | |
| CN102904730A (zh) | 根据协议、端口和ip地过滤挑选流量的智能加速网卡 | |
| CN103209169A (zh) | 一种基于fpga的网络流量过滤系统与方法 | |
| CN101895397A (zh) | 一种基于dsp的工业以太网串口服务器及其控制方法 | |
| TW201629701A (zh) | 控制系统及控制方法 | |
| CN212969692U (zh) | 一种嵌入式低功耗边缘ai计算网关 | |
| Jin et al. | A Smart Water Metering System Based on Image Recognition and Narrowband Internet of Things. | |
| CN112216061A (zh) | 一种雨水情监测预警方法及系统 | |
| CN110415403B (zh) | 一种基于边缘计算的智能锁具系统的控制方法 | |
| CN201797528U (zh) | 一种基于dsp的工业以太网串口服务器 | |
| CN204761566U (zh) | 一种基于fpga的图像处理加速系统 | |
| CN103353750B (zh) | 一种基于多总线的微波冶金控制方法 | |
| CN202565911U (zh) | 一种奶牛产奶量自动计量装置 | |
| CN101620723A (zh) | 一种离线式智能图像信息处理方法及系统 | |
| CN202085185U (zh) | 电力载波网关 | |
| CN110647396A (zh) | 端云协同低功耗带宽受限智能应用实现方法 | |
| CN206658260U (zh) | 一种用于视频监控的数据接收装置 | |
| CN203520082U (zh) | 基于lpc单片机的智能冷库状态监测无线网络终端装置 | |
| CN206058360U (zh) | 一种钞票识别模块 | |
| CN203301665U (zh) | 基于无线传感器网络的svg图像传输装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |