CN113426710A - 视觉检测控制系统、分拣系统及方法、瞄准系统及方法 - Google Patents

Abstract

本发明涉及视觉检测控制系统、分拣系统及方法、瞄准系统及方法，视觉检测控制系统包括图像采集单元、数据处理单元及运动控制单元，图像采集单元包括高速相机和光源，数据处理单元包括FPGA，高速相机通讯连接FPGA，FPGA采用并行化处理方式，集成有多种用于通讯的外部接口，高速相机采集的原始图像数据传输至FPGA，FPGA提取图像特征并对物体进行快速识别，然后发出相应的脉冲信号对运动控制单元进行控制。本发明的视觉检测控制系统可实现高速数据采集及数据处理，大大提高系统响应控制速度，可提高工作效率，应用范围广；分拣系统可在物品自由落体过程中实现快速分拣，大大提高分拣效率；瞄准系统可实现自动瞄准及跟踪。

Description

视觉检测控制系统、分拣系统及方法、瞄准系统及方法

技术领域

本发明涉及视觉检测及控制技术领域，特别是一种视觉检测控制系统、分拣系统及方法、瞄准系统及方法。

背景技术

视觉检测系统是以工业相机代替人眼来完成识别、测量、定位等功能，能有效提高工业流水线的检测速度和精度，大大提高产量和质量，降低人工成本，同时可防止因为人眼疲劳而产生的误判，因而被广泛应用。但现有技术中基于视觉检测的控制系统，由于数据采集及数据处理速度慢而导致响应速度慢，无法实现快速响应控制，因而使得装置结构设计及产品功能大大受限，无法完成即时性作业，工作效率低。如应用于物品分拣系统时，由于无法实现快速响应，因而无法实现在物品自由落体过程中快速分拣，需要设计较长的物品滚道来配合系统的响应速度；用于瞄准系统时，即使目标物体出现在相机摄取的图像中，也无法快速响应实现自动瞄准。

发明内容

本发明的主要目的是克服现有技术的缺点，提供一种视觉检测控制系统、分拣系统及方法、瞄准系统及方法，视觉检测控制系统可实现高速数据采集及数据处理，大大提高系统响应控制速度，可提高工作效率，应用范围广；分拣系统可在物品自由落体过程中实现快速分拣，大大提高分拣效率；瞄准系统可实现自动瞄准及跟踪。

本发明采用如下技术方案：

视觉检测控制系统，包括有图像采集单元、数据处理单元及运动控制单元，图像采集单元包括高速相机和光源，数据处理单元包括FPGA，高速相机通讯连接FPGA，FPGA通过输出脉冲信号连接控制运动控制单元，FPGA采用并行化处理方式，并集成有多种用于通讯的外部接口，高速相机采集的原始图像数据传输至FPGA，FPGA用于提取图像特征并基于图像特征对物体进行快速识别，并发出相应的脉冲信号对运动控制单元进行控制。

进一步地，所述视觉检测控制系统还包括有CPU，CPU采用实时操作系统，高速相机通过CPU与FPGA连接，CPU与FPGA之间采用基于PCIe的DMA通信。

进一步地，所述高速相机通过驱动电路通讯连接FPGA。

进一步地，所述运动控制单元包括伺服电机及伺服控制器，FPGA输出脉冲信号至伺服控制器，伺服控制器连接控制伺服电机。

进一步地，所述外部接口包括串口、网口、I/O口、USB接口、HDMI接口中的多种。

分拣系统，包括上述的视觉检测控制系统，还包括有自由落体式分拣通道，分拣通道出口处安装有分拣控制机构，高速相机及光源设置于分拣通道上并位于自动分拣机构上方，分拣通道出口分隔为多个分拣口，每个分拣口分别对应承接设置有分拣筐，所述分拣控制机构包括有用于控制各分拣口打开或关闭的分拣挡板、连接分拣挡板并可带动分拣挡板转动的所述运动控制单元，物品进入分拣通道并沿分拣通道做自由落体运动，高速相机采集分拣通道中的图像数据传输至FPGA，FPGA提取图像特征并基于图像特征对物体进行快速识别，并输出脉冲信号控制运动控制单元带动分拣挡板转动将对应分拣口打开，以实现物品分拣。

一种基于上述的分拣系统的分拣方法，包括以下步骤：

步骤1，FPGA采用LabVIEW图形化编程方式，根据所需识别物品特征进行物品识别算法的初始化设定，并设定物品分拣规则；

步骤2，系统启动后，物品进入分拣通道并沿分拣通道做自由落体运动，高速相机在物品到达高速相机位置前采集分拣通道中的图像数据传输至FPGA；

步骤3，FPGA提取图像特征并通过物品识别算法对物品进行快速识别，并在物品到达分拣口位置前输出脉冲信号控制运动控制单元带动分拣挡板转动将对应分拣口打开，以实现物品分拣。

进一步地，所述物品识别算法包括以下步骤中的一种或多种，且多个步骤通过FPGA以多级流水线方式并行处理：

步骤1.1，颜色识别算法：根据物品标准色对应R、G、B三种颜色的分量值，在色卡上划定阈值范围，基于提取的图像特征对比R、G、B各分量的值进行颜色识别，若在色卡划定的阈值范围内，则判定为与物品颜色相符，否则，判定为与物品颜色不符；

步骤1.2，大小识别算法：根据物品占总图像的像素点个数设定阈值范围，基于提取的图像特征，通过对比符合色卡上划定的颜色阈值范围的像素点个数是否在设定阈值范围，判断大小是否符合物品特征，若在阈值范围内则判定为物品，否则，判定为非物品；

步骤1.3，形状识别算法：基于数学形态学选取可有效表征物品形状的几何特征参量并设定对应的阈值范围，对图像进行二值化，提取图像中的目标轮廓，计算目标轮廓的几何特征参量与设定阈值范围进行对比，符合设定的阈值范围，则判定为与物品形状相符，否则，判定为与物品形状不符。

瞄准系统，包括上述的视觉检测控制系统，还包括射出装置及安装于射出装置上的瞄准具，所述高速相机设置于瞄准具前端，所述运动控制单元连接控制射出装置运动，高速相机采集图像数据传输至FPGA，FPGA提取图像特征并基于图像特征对目标物体进行快速识别，识别到目标物体出现在图像中时，根据目标物体所处位置输出脉冲信号控制运动控制单元带动射出装置运动瞄准目标物体并自动射出。

一种基于上述的瞄准系统的瞄准方法，包括以下步骤：

步骤1，FPGA采用LabVIEW图形化编程方式，根据所需识别目标物体的特征进行目标物体识别算法的初始化设定，目标物体识别算法包括颜色识别、大小识别、形状识别算法中的一种或多种，各特征识别算法通过FPGA以多级流水线方式并行处理；

步骤2，系统启动后，高速相机采集图像数据传输至FPGA；

步骤3，FPGA提取图像特征并通过目标物体识别算法对目标物体进行快速识别，当识别到目标物体出现在图像中时，计算目标物体所处坐标，并根据目标物体所处坐标输出脉冲信号控制运动控制单元带动射出装置运动瞄准目标物体并自动射出。

由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：

第一，本发明的视觉检测控制系统，通过高速相机采集图像数据，并将原始图像数据传输至FPGA，FPGA采用并行化处理方式，提取图像特征并基于图像特征对物体进行快速识别，并通过输出高速脉冲信号对运动控制单元进行控制，可实现高速数据采集及数据处理，大大提高系统响应控制速度，可更好的应用于完成即时性作业，提高工作效率，实现产品结构及产品功能设计不受响应速度限制，应用范围更广；

第二，FPGA集成有多种用于通讯的外部接口，更便于功能拓展及应用；

第三，高速相机通过CPU与FPGA连接，可省略驱动电路，同时，便于通过CPU对FPGA进行参数设定或实时更改，且便于通过CPU外接显示单元；另外，CPU采用实时操作系统，且CPU与FPGA之间采用基于PCIe的DMA通信，可实现高速率的数据传输，提高系统响应速度；

第四，分拣系统采用自由落体式分拣通道，配合可实现快速响应的视觉检测控制系统，可在物品自由落体过程中实现快速分拣，装置占用空间小，且可大大提高分拣效率；

第五，瞄准系统设置用于控制射出装置运动的运动控制单元，配合可快速响应的视觉检测控制系统，可在目标物体出现在高速相机摄取的图像中时，快速计算目标物体所处坐标，并根据目标物体所处坐标快速响应控制射出装置运动瞄准目标物体并自动射出，实现自动跟踪效果。

附图说明

图1是本发明实施例1的视觉检测控制系统的电气原理框图；

图2是本发明实施例2的视觉检测控制系统的电气原理框图；

图3是本发明实施例3的分拣系统的正视结构示意图；

图4是本发明实施例3的分拣通道出口的俯视结构示意图，图中示出了分拣口；

图5是本发明实施例3的分拣挡板的俯视结构示意图；

图6是本发明实施例4的瞄准系统的侧视结构示意图。

图中：1.高速相机，2.光源，3.分拣通道，31.分拣口，4.分拣挡板，5.分拣筐，6.射出装置。

具体实施方式

以下通过具体实施方式对本发明作进一步的描述。

实施例1

参照图1，本发明的视觉检测控制系统，包括有图像采集单元、数据处理单元及运动控制单元。图像采集单元包括高速相机1和光源2，数据处理单元包括FPGA和CPU，运动控制单元包括伺服电机及伺服控制器。高速相机1通过CPU通讯连接FPGA，CPU与FPGA之间采用基于PCIe的DMA通信，可实现高速信号采集，图像传输可达到500FPS。FPGA连接运动控制单元，FPGA输出脉冲信号至伺服控制器，伺服控制器连接控制伺服电机。

高速相机1采用基于CMOS图像传感器的相机。FPGA采用并行化处理方式，并集成有多种用于通讯的外部接口，包括串口、网口、I/O口、USB接口及HDMI接口。CPU采用RT实时操作系统，可对FPGA进行参数设置或实时更改,同时CPU连接HDMI可实现显示功能，另外还可通过CPU实现与控制中心上位机的交互。CPU不处理数据，而将高速相机1采集的原始图像数据传输至FPGA，FPGA用于提取图像特征并基于图像特征对物体进行快速识别，并发出相应的脉冲信号对运动控制单元进行控制。

实施例2

参照图2，本实施例与实施例1的区别在于：本实施中不包括CPU,高速相机1通过驱动电路通讯连接FPGA。驱动电路采用现有技术，在此不再赘述。高速相机1采集的原始图像数据直接传输至FPGA。图像传输可达到2000FPS。

实施例3

参照图3至图5，本发明的一种分拣系统，包括实施例1的视觉检测控制系统，还包括有自由落体式分拣通道3，分拣通道3出口处安装有分拣控制机构4，高速相机1及光源2设置于分拣通道3内并位于自动分拣机构上方，分拣通道3出口分隔为多个分拣口31，每个分拣口31分别对应承接设置有分拣筐5，分拣控制机构包括有用于控制各分拣口31打开或关闭的分拣挡板4、连接分拣挡板4并可带动分拣挡板转动的伺服电机，分拣挡板4为扇形。物品进入分拣通道3并沿分拣通道3做自由落体运动，高速相机1采集分拣通道3中的图像数据传输至FPGA，FPGA提取图像特征并基于图像特征对物体进行快速识别，并输出高速脉冲信号至伺服控制器，伺服控制器控制伺服电机带动分拣挡板4转动将对应分拣口31打开，以实现物品分拣。

本实施例中分拣系统用于不同颜色弹珠的分拣，自由落体式分拣通道3为透明玻璃管，高速相机1及光源2设置于距离自由落体式分拣通道3上端15厘米处，高速相机1距离分拣口40厘米。本实施例的分拣系统用于分拣三种颜色的弹珠，对应设置三个分拣口31及三个分拣筐5，分拣挡板4可关闭其中两分拣口31，保证仅一分拣口31开启。高速相机1每8ms采集一张图像，数据处理单元1ms完成图像特征提取和物体快速识别过程并输出高速脉冲信号。伺服控制器控制伺服电机正反转的转动角度实现对应分拣口31的打开或关闭，优先选择最小转动角度使分拣挡板4到达指定位置。

基于上述的分拣系统的分拣方法，包括以下步骤：

步骤1，FPGA采用LabVIEW图形化编程方式，根据所需识别物品特征进行物品识别算法的初始化设定，并设定物品分拣规则，本实施例中为按颜色分拣弹珠；

物品识别算法包括以下步骤，且多个步骤通过FPGA以多级流水线方式并行处理：

步骤1.1，颜色识别算法：根据弹珠标准色对应R、G、B三种颜色的分量值，在色卡上划定几种颜色弹珠对应的阈值范围，基于提取的图像特征对比R、G、B各分量的值进行颜色识别，若在色卡划定的几种阈值范围内，则判定为与待分拣弹珠的某种颜色相符，否则，判定为不符；

步骤1.2，大小识别算法：根据弹珠占总图像的像素点个数设定阈值范围，基于提取的图像特征，通过对比符合色卡上划定的颜色阈值范围的像素点个数是否在设定阈值范围，判断大小是否符合弹珠特征，以防止噪点产生，若在阈值范围内则判定为弹珠，否则，判定为非弹珠。

步骤2，系统启动后，弹珠进入分拣通道并沿分拣通道做自由落体运动，高速相机1在弹珠到达高速相机1位置前采集分拣通道3中的图像数据传输至FPGA；

步骤3，FPGA提取图像特征并通过物品识别算法对弹珠进行快速识别，若识别到为某种颜色的弹珠，则在弹珠到达分拣口31位置前输出高速脉冲信号控制伺服电机带动分拣挡板4转动将对应分拣口31打开，以实现弹珠按颜色分拣。

实施例4

参照图6，本发明的一种瞄准系统，包括实施例2的视觉检测控制系统，还包括射出装置6、安装于射出装置6上的瞄准具及头戴式显示装置，头戴式显示装置通过HDMI接口与FPGA通讯连接，高速相机1设置于瞄准具前端，若干伺服电机连接控制射出装置6运动以使射出装置6瞄准目标物体，高速相机1采集图像数据传输至FPGA，FPGA提取图像特征并基于图像特征对目标物体进行快速识别，识别到目标物体出现在图像中时，根据目标物体所处位置输出高速脉冲信号至伺服控制器，伺服控制器控制若干伺服电机转动带动射出装置6运动瞄准目标物体并自动射出。射出装置6根据使用场景需要可设置为激光射出装置、彩弹射出装置或练习弹射出装置等。

基于上述的瞄准系统的瞄准方法，包括以下步骤：

步骤1，FPGA采用LabVIEW图形化编程方式，根据所需识别目标物体的特征进行目标物体识别算法的初始化设定；

本实施例中，目标物体识别算法包括颜色识别、大小识别和形状识别算法，各特征识别算法通过FPGA以多级流水线方式并行处理；

步骤1.1，颜色识别算法：根据目标物体标准色对应R、G、B三种颜色的分量值，在色卡上划定阈值范围，基于提取的图像特征对比R、G、B各分量的值进行颜色识别，若在色卡划定的阈值范围内，则判定为与目标物体颜色相符，否则，判定为与目标物体颜色不符；

步骤1.2，大小识别算法：根据目标物体占总图像的像素点个数设定阈值范围，基于提取的图像特征，通过对比符合色卡上划定的颜色阈值范围的像素点个数是否在设定阈值范围，判断大小是否符合目标物体特征，若在阈值范围内则判定为目标物体，否则，判定为非目标物体；

步骤1.3，形状识别算法：基于数学形态学选取可有效表征目标物体形状的几何特征参量并设定对应的阈值范围，对图像进行二值化，提取图像中的目标轮廓，计算目标轮廓的几何特征参量与设定阈值范围进行对比，符合设定的阈值范围，则判定为与目标物体形状相符，否则，判定为与目标物体形状不符；其中几何特征参量根据目标物体的实际形状进行设定，可以为重心与几何中心是否重合，或特定位置取点获得的多条连线之间的长度或位置关系等。

步骤2，系统启动后，高速相机1采集图像数据传输至FPGA；

步骤3，FPGA提取图像特征并通过目标物体识别算法对目标物体进行快速识别，当识别到目标物体出现在图像中时，实时计算目标物体在画面中所处坐标，并根据目标物体所处坐标输出高速脉冲信号控制伺服电机带动射出装置6运动瞄准目标物体并自动射出，实现自动跟踪效果。

上述仅为本发明的四个具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。

Claims (10)

1.视觉检测控制系统，其特征在于,包括有图像采集单元、数据处理单元及运动控制单元，图像采集单元包括高速相机和光源，数据处理单元包括FPGA，高速相机通讯连接FPGA，FPGA通过输出脉冲信号连接控制运动控制单元，FPGA采用并行化处理方式，并集成有多种用于通讯的外部接口，高速相机采集的原始图像数据传输至FPGA，FPGA用于提取图像特征并基于图像特征对物体进行快速识别，并发出相应的脉冲信号对运动控制单元进行控制。

2.如权利要求1所述的视觉检测控制系统，其特征在于,还包括有CPU，CPU采用实时操作系统，高速相机通过CPU与FPGA连接，CPU与FPGA之间采用基于PCIe的DMA通信。

3.如权利要求1所述的视觉检测控制系统，其特征在于,所述高速相机通过驱动电路通讯连接FPGA。

4.如权利要求1所述的视觉检测控制系统，其特征在于,所述运动控制单元包括伺服电机及伺服控制器，FPGA输出脉冲信号至伺服控制器，伺服控制器连接控制伺服电机。

5.如权利要求1所述的视觉检测控制系统，其特征在于,所述外部接口包括串口、网口、I/O口、USB接口、HDMI接口中的多种。

6.分拣系统，其特征在于，包括如权利要求1至5任一所述的视觉检测控制系统，还包括有自由落体式分拣通道，分拣通道出口处安装有分拣控制机构，高速相机及光源设置于分拣通道上并位于自动分拣机构上方，分拣通道出口分隔为多个分拣口，每个分拣口分别对应承接设置有分拣筐，所述分拣控制机构包括有用于控制各分拣口打开或关闭的分拣挡板、连接分拣挡板并可带动分拣挡板转动的所述运动控制单元，物品进入分拣通道并沿分拣通道做自由落体运动，高速相机采集分拣通道中的图像数据传输至FPGA，FPGA提取图像特征并基于图像特征对物体进行快速识别，并输出脉冲信号控制运动控制单元带动分拣挡板转动将对应分拣口打开，以实现物品分拣。

7.一种基于权利要求6所述的分拣系统的分拣方法，其特征在于，包括以下步骤：

步骤1，FPGA采用LabVIEW图形化编程方式，根据所需识别物品特征进行物品识别算法的初始化设定，并设定物品分拣规则；

步骤2，系统启动后，物品进入分拣通道并沿分拣通道做自由落体运动，高速相机在物品到达高速相机位置前采集分拣通道中的图像数据传输至FPGA；

步骤3，FPGA提取图像特征并通过物品识别算法对物品进行快速识别，并在物品到达分拣口位置前输出脉冲信号控制运动控制单元带动分拣挡板转动将对应分拣口打开，以实现物品分拣。

8.如权利要求7所述的分拣方法，其特征在于，所述物品识别算法包括以下步骤中的一种或多种，且多个步骤通过FPGA以多级流水线方式并行处理：

步骤1.1，颜色识别算法：根据物品标准色对应R、G、B三种颜色的分量值，在色卡上划定阈值范围，基于提取的图像特征对比R、G、B各分量的值进行颜色识别，若在色卡划定的阈值范围内，则判定为与物品颜色相符，否则，判定为与物品颜色不符；

步骤1.2，大小识别算法：根据物品占总图像的像素点个数设定阈值范围，基于提取的图像特征，通过对比符合色卡上划定的颜色阈值范围的像素点个数是否在设定阈值范围，判断大小是否符合物品特征，若在阈值范围内则判定为物品，否则，判定为非物品；

步骤1.3，形状识别算法：基于数学形态学选取可有效表征物品形状的几何特征参量并设定对应的阈值范围，对图像进行二值化，提取图像中的目标轮廓，计算目标轮廓的几何特征参量与设定阈值范围进行对比，符合设定的阈值范围，则判定为与物品形状相符，否则，判定为与物品形状不符。

9.瞄准系统，其特征在于：包括如权利要求1至5任一所述的视觉检测控制系统，还包括射出装置及安装于射出装置上的瞄准具，所述高速相机设置于瞄准具前端，所述运动控制单元连接控制射出装置运动，高速相机采集图像数据传输至FPGA，FPGA提取图像特征并基于图像特征对目标物体进行快速识别，识别到目标物体出现在图像中时，根据目标物体所处位置输出脉冲信号控制运动控制单元带动射出装置运动瞄准目标物体并自动射出。

10.一种基于权利要求9所述的瞄准系统的瞄准方法，其特征在于，包括以下步骤：

步骤1，FPGA采用LabVIEW图形化编程方式，根据所需识别目标物体的特征进行目标物体识别算法的初始化设定，目标物体识别算法包括颜色识别、大小识别、形状识别算法中的一种或多种，各特征识别算法通过FPGA以多级流水线方式并行处理；

步骤2，系统启动后，高速相机采集图像数据传输至FPGA；

步骤3，FPGA提取图像特征并通过目标物体识别算法对目标物体进行快速识别，当识别到目标物体出现在图像中时，计算目标物体所处坐标，并根据目标物体所处坐标输出脉冲信号控制运动控制单元带动射出装置运动瞄准目标物体并自动射出。

Images