CN108372130A - 一种基于fpga图像处理的目标定位分拣系统及其实现方法 - Google Patents

Abstract

本发明公开了一种基于FPGA图像处理的目标定位分拣系统及其实现方法，该系统包括机架、Delta并联机器人、机器人控制装置、工控主机、监视器、透明传送带、以及目标物体；所述视觉图像处理部分包括工业相机、图像采集相机、以及与图像采集相机相连的FPGA开发板；所述机器人控制装置与Delta并联机器人和工控主机连接；所述工控主机与监视器、工业相机、以及FPGA开发板连接；通过图像采集相机对目标物体进行图像数据采集并发送到FPGA开发板，所述FPGA开发板进行模板匹配目标定位算法处理，并将处理结果传输至工控主机，同时Delta并联机器人根据处理结果完成对运动目标物体的拾取、分拣工作。本发明利用FPGA实现目标定位算法，具有节能、快速、灵活、准确性高的特点。

Description

一种基于FPGA图像处理的目标定位分拣系统及其实现方法

技术领域

本发明涉及基于视觉的工业机器人目标定位与分拣技术领域，尤其涉及一种基于FPGA图像处理的目标定位系统及其实现方法。

背景技术

随着机器人技术的不断发展，机器人应用领域也越来越广泛。目前，应用在分拣领域的工业机器人通常都含有一套完整的视觉系统。然而，常常因这些工业机器人视觉系统的图像处理速度过低，而使其无法适应实时性要求较高的场合。通常情况下，分拣机器人的视觉定位系统都是针对这些条件设计的：待分拣物体无移动放置在匀速运动的传送带上或待分拣物体处于静止状态。当传送带打滑或传送带速度突然改变时，待分拣物体会发生无法预测的变速运动，这时，分拣机器人往往不能准确拾取目标物体。这会降低其工作效率，并严重影响工业生产。

目前，在图像处理领域常用的处理器主要包括X86架构的计算机微处理器(CPU)、数字信号处理器(DSP)、图形处理单元(GPU)和现场可编程门阵列(FPGA)器件。随着数字图像技术向高分辨率、高实时性、大数据量方向的不断发展，传统的基于串行处理结构的X86架构CPU、DSP已经无法满足快速、实时图像处理算法的要求。GPU虽具有并行计算、流水线处理数据的能力，但由其昂贵的成本、较高的功耗、出厂完全定制、使用不便等因素逐渐被商家淘汰。FPGA不仅具有并行计算、流水线处理数据的能力，并以其低成本、低功耗、低延时、现场可硬件编程的特性逐渐得到广泛应用。因此，针对图像模板匹配计算量大及其算法具有并行处理的特点，本发明选用FPGA作为目标分拣图像处理的运行平台，满足对工业机器人目标分拣实时性的要求。

发明内容

本发明的目的在于克服现有技术中的缺点与不足，提供一种基于FPGA图像处理的目标定位方法及其分拣系统，基于FPGA视觉图像处理技术实现目标定位，并利用机器人分拣目标，能够达到节能、快速、灵活、准确性高的特点。

为实现以上目的，本发明采取如下技术方案：

一种基于FPGA图像处理的目标定位分拣系统，包括：机器人部分和视觉图像处理部分；所述机器人部分包括机架、Delta并联机器人、机器人控制装置、工控主机、监视器、透明传送带、以及目标物体；所述视觉图像处理部分包括工业相机、图像采集相机、以及与图像采集相机相连的FPGA开发板；所述FPGA开发板为现场可编程门阵列器件；所述机器人控制装置与Delta并联机器人和工控主机连接；所述工控主机与监视器、工业相机、以及FPGA开发板连接；所述透明传送带在机架上做传动运输，其上方放置目标物体；所述工业相机用于提前检测目标物体位置坐标信息，并规划Delta并联机器人分拣轨迹；所述图像采集相机对运动到拍摄位置的目标物体进行图像数据采集并将图像数据发送到FPGA开发板，所述FPGA开发板进行模板匹配目标定位算法处理，并将处理得到的目标位置信息传输至工控主机，同时Delta并联机器人根据目标物体空间物理坐标信息完成对运动目标物体的拾取、分拣工作。

作为优选的技术方案，所述工业相机设置在透明传送带前端的正上方，并垂直向下拍摄；所述图像采集相机设置在透明传送带的中部的正下方，并垂直向上拍摄。

作为优选的技术方案，所述目标物体随透明传送带一起做匀速运动或变速运动。

作为优选的技术方案，所述FPGA开发板包括图像采集单元、SDRAM存储单元、图像缓存单元、模板存储单元、模板缓存单元、算法处理单元、以及坐标输出单元；所述图像采集单元、SDRAM存储单元、图像缓存单元、以及算法处理单元依次连接；所述模板存储单元、模板缓存单元、以及算法处理单元依次连接；所述算法单元与坐标输出单元连接；所述坐标输出单元通过串口UARTRS232与所述工控主机连接。

作为优选的技术方案，所述图像采集单元通过以太网或USB线与所述图像采集相机连接。

作为优选的技术方案，所述SDRAM存储单元为动态随机存储器，用于存储目标物体所在的原始图像数据；所述图像缓存单元为FPGA开发板内资源先进先出存储器，用于从SDRAM存储单元中读出来的图像数据缓存至m×n矩阵大小；所述模板存储单元为FPGA开发板内资源块存储器，用于存储模板像素值；所述模板缓存单元为FPGA开发板内资源移位寄存器，用于将模板图像数据缓存至M×N矩阵大小；所述算法处理单元采用Verilog HDL语言进行模板匹配算法处理。

一种基于FPGA图像处理的目标定位分拣系统的实现方法，包括下述步骤：

S1、系统上电、启动应用程序，判断运动目标物体是否进入检测区，具体是当工业相机能够完全拍摄到运动目标物体时，整个系统工作正常，进入下一步操作；如果系统工作不正常，进行错误分析；

S2、图像采集相机开始采集目标灰度图像数据，并传输至FPGA开发板进行目标定位算法处理，得到目标物体位置坐标；

S3、根据步骤S2获得的运动目标物体的坐标位置和机器人自身编码器反馈的位置，得到目标物体位置和机器人末端执行器位置之间的偏差e(k)，再根据所述的偏差e(k)对机器人末端执行器位置进行调整；

S4、经过步骤S3中对机器人末端执行器位置调整后，再对其位置进行反馈，判断机器人是否能够完成一次抓取动作，若能，进行目标抓取操作，否则返回步骤S3。

作为优选的技术方案，步骤S1中，系统工作不正常时，采用响应错误机制，分析在判断运动物体进入检测区时产生的错误，并根据分析结果判断是否需要结束程序、重新调试。

作为优选的技术方案，所述步骤S2的目标定位算法，包括下述步骤：

S201、开始，FPGA开发板上电、系统初始化；

S202、图像输入，包括模板图像和目标物体所在的原始图像；并采用动态随机存储器存储输入的目标图像，采用FPGA开发板内资源块存储器存储模板图像；

S203、图像缓存，包括模板图像缓存和目标物体所在的原始图像缓存；FPGA开发板内资源移位寄存器缓存从块存储器读出的模板图像到指定的M×N矩阵大小；FPGA开发板内资源先进先出存储器缓存从动态随机存储器读出的目标物体所在的原始图像到指定的m×n矩阵大小；

S204、模板对齐判断：通过观察波形判断模板是否对齐，若模板图像和目标物体所在的原始图像缓存后的矩阵对齐，则进入下一步，否则继续缓存模板图像和目标物体所在的原始图像，直到对齐；待匹配模板从目标物体所在的原图像左上角开始按照从左到右、从上到下的方式依次扫描完成匹配过程；

S205、模板匹配计算：采用分块处理，即将模板图像与目标物体图像行与行之间并行处理，每行数据内部串行处理；在FPGA开发板内采用查找表方法完成对不同形状的目标物体模板匹配计算；

S206、对不同形状的目标物体模板匹配完成后，由并行处理同时得到不同目标位置像素坐标，输出结果；

S207、模板匹配算法结束判断：当外界不需要机器人拾取、分拣操作时，直接将FPGA开发板断电，即算法结束；若不结束，继续输入图像；

S208、算法结束。

作为优选的技术方案，步骤S3中，对目标物体位置和机器人末端执行器位置之间的偏差e(k)大小采用闭环PID控制，调整机器人末端执行器位置使得偏差e(k)在允许范围内；每当调整一次机器人末端执行器位置，机器人响应运动机制。

本发明相对于现有技术具有如下的优点和效果：

(1)本发明采用FPGA作为模板匹配算法处理器，充分利用了FPGA在实现模板匹配算法过程中处理大数据量时发挥的并行性和流水线特性，能够满足工业机器人目标分拣实时性要求。

(2)本发明利用FPGA具有低功耗、低延时、低成本和现场可编程的特点，在整个系统中节约了资源和成本，使用方便灵活。

(3)本发明所设计的分拣系统结构紧凑，算法处理平台能够适用于不同的机器视觉系统，鲁棒性强，具有巨大的工业应用价值。

附图说明

图1是本发明的机器人分拣系统结构示意图；

图2是本发明的视觉系统目标定位数据流向图；

图3是本发明的机器人分拣系统执行流程图；

图4是本发明的模板匹配算法流程图；

图5(a)-图5(b)是本发明的模板匹配算法原理示意图，其中图5(a)是待匹配模板301；图5(b)是待匹配模板301从目标物体302所在的原图像303的扫描过程。

具体实施方式

为了使本发明的目的、技术方案以及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不限于本发明。

实施例1

如图1所示，一种基于FPGA图像处理的目标定位分拣系统，包括：机器人部分和视觉图像处理部分；所述机器人部分包括机架110、Delta并联机器人102、机器人控制装置106、工控主机105、监视器104、透明传送带107、以及目标物体108；所述视觉图像处理部分包括工业相机101、图像采集相机103、以及与图像采集相机相连的FPGA开发板109；所述机器人控制装置106与Delta并联机器人和工控主机连接；所述工控主机105与监视器、工业相机、以及FPGA开发板连接；所述透明传送带107在机架上做传动运输，其上方放置目标物体；所述工业相机用于提前检测目标物体位置坐标信息，并规划Delta并联机器人分拣轨迹；所述图像采集相机对运动到拍摄位置的目标物体进行图像数据采集并将该图像数据发送到FPGA开发板，所述FPGA开发板进行模板匹配目标定位算法处理，并将处理得到的目标位置信息传输至工控主机，同时Delta并联机器人根据目标物体空间物理坐标信息完成对运动目标物体的拾取、分拣工作。

在本实施例1中，所述工业相机设置在透明传送带前端的正上方，并垂直向下拍摄；所述图像采集相机设置在透明传送带的中部的正下方，并垂直向上拍摄；

所述目标物体随透明传送带一起做匀速运动或变速运动。

如图2所示，在本实施例1中所述FPGA开发板包括图像采集单元、SDRAM存储单元、图像缓存单元、模板存储单元、模板缓存单元、算法处理单元、以及坐标输出单元；所述图像采集单元、SDRAM存储单元、图像缓存单元、以及算法处理单元依次连接；所述模板存储单元、模板缓存单元、以及算法处理单元依次连接；所述算法单元与坐标输出单元连接；

所述坐标输出单元通过串口UART RS232与所述工控主机连接；

所述图像采集单元通过以太网或USB线与所述图像采集相机连接；

所述SDRAM存储单元为动态随机存储器，用于存储目标物体所在的原始图像数据；

所述图像缓存单元为FPGA开发板内资源先进先出存储器，用于从SDRAM存储单元中读出来的图像数据缓存至m×n矩阵大小；

所述模板存储单元为FPGA开发板内资源块存储器，用于存储模板像素值；

所述模板缓存单元为FPGA开发板内资源移位寄存器，用于将模板图像数据缓存至M×N矩阵大小；

所述算法处理单元采用Verilog HDL语言进行模板匹配算法处理。

实施例2

一种基于FPGA图像处理的目标定位分拣系统的实现方法，包括下述步骤：

S1、系统上电、启动应用程序，所述应用程序包括FPGA开发板内目标定位算法和工业相机的驱动打开；然后判断运动物体是否进入检测区，具体是当工业相机能够完全拍摄到运动目标物体时，整个系统工作正常，进入下一步操作；如果系统工作不正常，进行错误分析；

S2、图像采集相机开始采集目标灰度图像数据，并传输至FPGA开发板进行目标定位算法处理，得到目标物体的位置坐标；

S3、根据步骤S2获得的运动目标物体的坐标位置和机器人自身编码器反馈的位置，得到目标物体位置和机器人末端执行器位置之间的偏差e(k)，再根据所述的偏差e(k)对机器人末端执行器位置进行调整；

S4、经过步骤S3中对机器人末端执行器位置调整后，再对其位置进行反馈，判断机器人是否能够完成一次抓取动作，若能，进行目标抓取操作，否则返回步骤S3。

如图3所示为发明的目标定位算法，包括下述步骤：

S201、开始，FPGA开发板上电、系统初始化；

S202、图像输入，包括模板图像和目标物体所在的原始图像；并采用动态随机存储器存储输入的目标图像，采用FPGA开发板内资源块存储器存储模板图像；

S203、图像缓存，包括模板图像缓存和目标物体所在的原始图像缓存；FPGA开发板内资源移位寄存器缓存从块存储器读出的模板图像到指定的M×N矩阵大小；FPGA开发板内资源先进先出存储器缓存从动态随机存储器读出的目标物体所在的原始图像到指定的m×n矩阵大小；

S204、模板对齐判断：通过观察波形判断模板是否对齐，若模板图像和目标物体所在的原始图像缓存后的矩阵对齐，则进入下一步，否则继续缓存模板图像和目标物体所在的原始图像，直到对齐；

S205、模板匹配计算：采用分块处理，即将模板图像与目标物体图像行与行之间并行处理，每行数据内部串行处理；在FPGA开发板内采用查找表方法完成对不同形状的目标物体模板匹配计算；

S206、对不同形状的目标物体模板匹配完成后，由并行处理同时得到不同目标位置像素坐标，输出结果；

S207、模板匹配算法结束判断：当外界不需要机器人拾取、分拣操作时，直接将FPGA开发板断电，即算法结束；若不结束，继续输入图像；

S208、算法结束。

在实施例2中，对Delta并联机器人、工业相机、图像采集相机、透明支撑板视觉标定后，将FPGA开发板处理后的目标位置像素坐标转化为空间物理坐标，Delta并联机器人根据目标物体空间物理坐标信息完成对运动目标的拾取、分拣工作。

如图4所示为机器人分拣系统执行流程图，包括下述步骤：

步骤501：系统上电，启动应用程序；

步骤502：判定运动物体是否进入检测区，目的是检测整个系统是否工作正常，如果工作不正常，进入步骤503，否则进入步骤505、509；

步骤503：响应错误机制，分析步骤502出现的错误，如透明传送带不运动、目标物体不能完全出现在工业相机视野范围内等；

步骤504：根据步骤503结果进行判断，是否需要结束程序、重新调试；

步骤505：FPGA开发板上电初始化，主要包括SDRAM存储器上电刷新以及确保FPGA正常工作时系统稳定；

步骤506：图像采集相机103开始采集运动目标灰度图像数据，并将图像数据通过以太网或USB线发送到FPGA进行模板匹配算法处理；

步骤507：FPGA进行模板匹配算法处理，得到目标位置坐标信息；

步骤508：获取步骤507的位置坐标信息；

步骤509：判断目标物体和机器人末端执行器是否在设定的拾取点相遇，如果相遇，进入下一步操作，否则，目标物体继续运行，此次定位属于一个失败的定位；

步骤510：根据步骤508得到的运动目标坐标位置以及机器人自身编码器反馈位置得到目标物体位置和机器人末端执行器位置之间的偏差e(k)；

步骤511：根据步骤510得到的偏差e(k)大小采用闭环PID控制，调整机器人末端执行器位置使得偏差e(k)在允许范围内，所述允许范围是需要做实验观察的，一般认为机器人末端执行器能够较准确的运动到目标物体正上方，即定位到目标物体，就认为偏差是在允许范围内，否则，需要反复修改参数和编程代码；

步骤512：每当调整一次机器人末端执行器位置，机器人响应运动机制；所述运动机制是指机器人根据修改过的参数和代码重新规划运动范围，以便不断缩小偏差直到准确拾取到目标物体为止；

步骤513：当偏差e(k)在允许范围内时，反馈一次机器人末端执行器位置；

步骤514：在步骤513条件下，判断机器人是否能够完成一次抓取动作，若能，进行目标抓取动作，否则返回步骤510；

步骤515：一次抓取动作完成后，回到初始位置；

步骤516：判断是否结束整个抓取任务，若不结束，返回步骤509，否则结束抓取动作；

步骤517：结束系统应用程序。

在本实施例2中，如图5为模板匹配算法原理示意图，待匹配模板301从目标物体302所在的原图像303左上角开始按照从左到右、从上到下的方式依次扫描完成匹配过程。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以权利要求所述为准。

Claims (10)

1.一种基于FPGA图像处理的目标定位分拣系统，其特征在于，包括：机器人部分和视觉图像处理部分；所述机器人部分包括机架(110)、Delta并联机器人(102)、机器人控制装置(106)、工控主机(105)、监视器(104)、透明传送带(107)、以及目标物体(108)；所述视觉图像处理部分包括工业相机(101)、图像采集相机(103)、以及与图像采集相机相连的FPGA开发板(109)；所述FPGA开发板(109)为现场可编程门阵列器件；所述机器人控制装置(106)与Delta并联机器人和工控主机连接；所述工控主机(105)与监视器、工业相机、以及FPGA开发板连接；所述透明传送带(107)在机架上做传动运输，其上方放置目标物体；所述工业相机用于提前检测目标物体位置坐标信息，并规划Delta并联机器人分拣轨迹；所述图像采集相机对运动到拍摄位置的目标物体进行图像数据采集并将该图像数据发送到FPGA开发板，所述FPGA开发板进行模板匹配目标定位算法处理，并将处理得到的目标位置信息传输至工控主机，同时Delta并联机器人根据目标物体空间物理坐标信息完成对运动目标物体的拾取、分拣工作。

2.根据权利要求1所述的基于FPGA图像处理的目标定位分拣系统，其特征在于，所述工业相机设置在透明传送带前端的正上方，并垂直向下拍摄；所述图像采集相机设置在透明传送带的中部的正下方，并垂直向上拍摄。

3.根据权利要求1所述的基于FPGA图像处理的目标定位分拣系统，其特征在于，所述目标物体随透明传送带一起做匀速运动或变速运动。

4.根据权利要求1所述的基于FPGA图像处理的目标定位分拣系统，其特征在于，所述FPGA开发板包括图像采集单元、SDRAM存储单元、图像缓存单元、模板存储单元、模板缓存单元、算法处理单元、以及坐标输出单元；所述图像采集单元、SDRAM存储单元、图像缓存单元、以及算法处理单元依次连接；所述模板存储单元、模板缓存单元、以及算法处理单元依次连接；所述算法单元与坐标输出单元连接；所述坐标输出单元通过串口UART RS232与所述工控主机连接。

5.根据权利要求4所述的基于FPGA图像处理的目标定位分拣系统，其特征在于，所述图像采集单元通过以太网或USB线与所述图像采集相机连接。

6.根据权利要求4所述的基于FPGA图像处理的目标定位分拣系统，其特征在于，所述SDRAM存储单元为动态随机存储器，用于存储目标物体所在的原始图像数据；所述图像缓存单元为FPGA开发板内资源先进先出存储器，用于从SDRAM存储单元中读出来的图像数据缓存至m×n矩阵大小；所述模板存储单元为FPGA开发板内资源块存储器，用于存储模板像素值；所述模板缓存单元为FPGA开发板内资源移位寄存器，用于将模板图像数据缓存至M×N矩阵大小；所述算法处理单元采用Verilog HDL语言进行模板匹配算法处理。

7.一种基于FPGA图像处理的目标定位分拣系统的实现方法，其特征在于，包括下述步骤：

S1、系统上电、启动应用程序，判断运动目标物体是否进入检测区，具体是当工业相机能够完全拍摄到运动目标物体时，整个系统工作正常，进入下一步操作；如果系统工作不正常，进行错误分析；

S2、图像采集相机开始采集目标灰度图像数据，并传输至FPGA开发板进行目标定位算法处理，得到目标物体位置坐标；

S3、根据步骤S2获得的运动目标物体的坐标位置和机器人自身编码器反馈的位置，得到目标物体位置和机器人末端执行器位置之间的偏差e(k)，再根据所述的偏差e(k)对机器人末端执行器位置进行调整；

S4、经过步骤S3中对机器人末端执行器位置调整后，再对其位置进行反馈，判断机器人是否能够完成一次抓取动作，若能，进行目标抓取操作，否则返回步骤S3。

8.根据权利要求7所述的基于FPGA图像处理的目标定位分拣系统的实现方法，其特征在于，步骤S1中，系统工作不正常时，采用响应错误机制，分析在判断运动物体进入检测区时产生的错误，并根据分析结果判断是否需要结束程序、重新调试。

9.根据权利要求7所述的基于FPGA图像处理的目标定位分拣系统的实现方法，其特征在于，所述步骤S2的目标定位算法，包括下述步骤：

S201、开始，FPGA开发板上电、系统初始化；

S202、图像输入，包括模板图像和目标物体所在的原始图像；并采用动态随机存储器存储输入的目标图像，采用FPGA开发板内资源块存储器存储模板图像；

S203、图像缓存，包括模板图像缓存和目标物体所在的原始图像缓存；FPGA开发板内资源移位寄存器缓存从块存储器读出的模板图像到指定的M×N矩阵大小；FPGA开发板内资源先进先出存储器缓存从动态随机存储器读出的目标物体所在的原始图像到指定的m×n矩阵大小；

S204、模板对齐判断：通过观察波形判断模板是否对齐，若模板图像和目标物体所在的原始图像缓存后的矩阵对齐，则进入下一步，否则继续缓存模板图像和目标物体所在的原始图像，直到对齐；待匹配模板从目标物体所在的原图像左上角开始按照从左到右、从上到下的方式依次扫描完成匹配过程；

S205、模板匹配计算：采用分块处理，即将模板图像与目标物体图像行与行之间并行处理，每行数据内部串行处理；在FPGA开发板内采用查找表方法完成对不同形状的目标物体模板匹配计算；

S206、对不同形状的目标物体模板匹配完成后，由并行处理同时得到不同目标位置像素坐标，输出结果；

S207、模板匹配算法结束判断：当外界不需要机器人拾取、分拣操作时，直接将FPGA开发板断电，即算法结束；若不结束，继续输入图像；

S208、算法结束。

10.根据权利要求7所述的基于FPGA图像处理的目标定位分拣系统的实现方法，其特征在于，步骤S3中，对目标物体位置和机器人末端执行器位置之间的偏差e(k)大小采用闭环PID控制，调整机器人末端执行器位置使得偏差e(k)在允许范围内；每当调整一次机器人末端执行器位置，机器人响应运动机制。