CN112950549A - 一种基于机器视觉的货架形变检测系统及检测方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉的货架形变检测系统及检测方法，包括货架，以及载货台，所述载货台设置有触发单元和图像采集单元，所述触发单元的信号输入端设置有形变预测系统，所述图像采集单元的输出端设置有服务器，所述服务器的输出端设置有数据采集单元，所述数据采集单元的输出端设置有数据显示单元；触发单元，用于到达货架位置，向图像采集单元发送触发信号；图像采集单元，用于采集货架的图像并传输；服务器，用于接收、存储图像，且进行运算处理，并输出；数据采集单元，用于采集获取到的图像，并传输至数据显示单元。本发明能够凸显整个货架形状并显示货架形变情况，无需在货架设置识别特征，且能够有效识别，精度高。

Description

一种基于机器视觉的货架形变检测系统及检测方法

技术领域

本发明涉及技术领域，特别涉及一种基于机器视觉的货架形变检测系统及检测方法。

背景技术

在立库系统中，立库货架是基于机械图纸由人工进行安装搭建，搭建过程中难免会遇到安装位置偏差的情况，同时立库在长时间使用过程中由于物料偏重，地面沉降等问题会造成货架形态变形的问题，导致堆垛机的货叉在执行入库出库命令时撞到货架或者是托盘，因此亟需一种基于视觉的货架形变检测系统，对货架进行形变检测，并根据声光报警等装置及时反馈客户，以免造成安全事故出现。

现有技术的不足之处在于，现有的货架形变判断方法，通过对货架表面的钻孔、贴标签进行取像判断位置，以及对横向货架和立柱夹角进行检测，来确定货架变形情况。但此方法无法明显反映货架的具体形变情况。每个货架设置的孔位或者标签成本高，且受制设置于货架上的位置。同时对横向货架和立柱夹角的检测精度低。

发明内容

本发明的目的克服现有技术存在的不足，为实现以上目的，采用一种基于机器视觉的货架形变检测系统及检测方法，以解决上述背景技术中提出的问题。

一种基于机器视觉的货架形变检测系统，包括货架，以及载货台，所述载货台设置有触发单元和图像采集单元，所述触发单元的信号输入端设置有形变预测系统，所述图像采集单元的输出端设置有服务器，所述服务器的输出端设置有数据采集单元，所述数据采集单元的输出端设置有数据显示单元；

所述形变预测系统，用于智能选取形变概率最高的货架进行形变检测；

所述触发单元，用于当载货台向待测货架位置移动时，向所述图像采集单元发送图像采集的触发信号；

所述图像采集单元，用于采集所述货架的视觉数据与图像并传输给所述运算执行单元；

所述服务器，用于接收、存储视觉数据与图像，且进行运算处理，并输出所述货架形变量和图像；

所述数据采集单元，用于采集获取到的视觉数据与图像，并传输至数据显示单元。

作为本发明的进一步的方案：所述图像采集单元采用线阵相机。

作为本发明的进一步的方案：所述图像采集单元设置有移动采集模块。

作为本发明的进一步的方案：所述服务器设置有用于视觉数据与图像处理的执行单元。

一种包括如上述任一项所述的一种基于机器视觉的货架形变检测系统的检测方法，包括如下步骤：

采用形变预测系统智能选取待检测货架；

获取货架的视觉数据与图像，并传输至服务器；

利用设置于服务器的执行单元，对所述视觉数据与图像进行图像处理并输出；

通过数据采集单元接收经过图像处理的货架形变量数据与图像，并进行可视化显示。

作为本发明的进一步的方案：所述获取货架的视觉数据与图像，并传输至服务器的具体步骤包括：

首先通过形变预测系统的加权随机采样推荐算法，智能选取形变概率最高的货架区域；

载货台搭载图像采集单元运动到待检测货架前端时，触发单元向图像采集单元发送触发信号；

所述图像采集单元进行图像采集程序，并将采集的视觉数据与图像的信息传输至服务器。

作为本发明的进一步的方案：所述利用设置于服务器的执行单元，对所述视觉数据与图像进行图像处理并输出的具体步骤包括：

获取服务器的视觉数据与图像，进行自动ROI设置，选取特定图像中的货架下边缘区域；

对特货架下边缘区域进行Canny边缘提取程序和过滤干扰项，得到准确边缘；

再使用最小二乘法对获取的准确边缘进行直线拟合操作；

再根据拟合得到的直线的梯度方向与实际边缘的距离差值判断直线度；

同时将货架两端和整体设置于坐标系中，得到货架两端和整体纵方向偏移的平均坐标，判断坐标差值。

作为本发明的进一步的方案：所述通过数据采集单元接收经过图像处理的货架形变量数据与图像，并进行可视化显示的具体步骤包括：

通过数据采集单元接收货架形变量数据与图像；

对该图像进行格式转换和压缩处理，最后通过数据显示单元进行可视化展示。

与现有技术相比，本发明存在以下技术效果：

通过采用上述的技术方案，利用在载货台上设置触发单元和图像采集单元，之间相互配合，当载货台到达待测货架位置时，触发单元发送信号触发图像采集单元采集货架图像，传输至服务器，再通过执行单元进行图像处理。最终得到货架的形变量和转换压缩后的图像。再经过数据采集单元采集显示在图像显示单元上。使用线阵相机配合载货台的移动，可以有效的拍摄出货架的整体情况，并且对于上述货架形变的多种情况可以进行针对性的算法处理，极大的提升算法检测精度与客户视觉的观感。无需对货架本身的结构做出改变，且能够有效的降低货架结构设计方面的成本支出。

附图说明

下面结合附图，对本发明的具体实施方式进行详细描述：

图1为本申请公开的一些实施例的货架形变检测系统的系统示意图；

图2为本申请公开的一些实施例的货架形变检测方法的步骤示意图；

图3为本申请公开的一些实施例的货架形变检测方法的流程框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，本发明实施例中，一种基于机器视觉的货架形变检测系统，包括：

货架，以及载货台，所述载货台设置有触发单元和图像采集单元，所述图像采集单元的输出端设置有服务器，所述服务器的输出端设置有数据采集单元，所述数据采集单元的输出端设置有数据显示单元。

所述触发单元，用于当载货台到达货架位置，向所述图像采集单元发送图像采集的触发信号；

所述图像采集单元，用于采集所述货架的视觉数据与图像并传输给所述运算执行单元，所述图像采集单元采用线阵相机。该线阵相机摄取图像的效果对算法的精度与可设计性有效提升。具体的，系统控制所述载货台加速运动至待测货架端头位置后，载货台开始匀速运动并通过触发单元触发图像采集单元的线阵相机进行货架图像的拍摄。所述载货台在货架长度距离内进行匀速运动，同时线阵相机逐行图像摄取，当载货台离开货架另一端头时停止拍照，并将所摄取的图像数据进行传输。

在实际的货架形变情况当中，会出现货架两端变形下沉、货架一端变形下沉、货架中间凹陷的情况。使用线阵相机能够配合载货台的移动，可以有效的拍摄出货架的整体情况，并且对于上述货架形变的各种情况可以进行针对性的算法处理，极大的提升算法检测精度与客户视觉的观感。

在一些具体的实施例中，所述图像采集单元设置有移动采集模块。所述移动采集模块可采用伺服模块。具体的，可使用线阵相机配合伺服模块进行视觉拍摄功能，将伺服模块与线阵相机和线阵光源集成在一起固定安装在载货台上。拍摄时，不需要经过载货台匀速运动进行取像，而是载货台停止到需要检测货架的位置，通过伺服模块带动线阵相机和线阵光源移动进行取像。

所述服务器，用于接收、存储视觉数据与图像，且进行运算处理，并输出所述货架形变量和图像；所述服务器设置有用于视觉数据与图像处理的执行单元。

所述数据采集单元，用于采集获取到的视觉数据与图像，并传输至数据显示单元。

如图2和图3所示，一种包括如上述任一项所述的一种基于机器视觉的货架形变检测系统的检测方法，包括如下步骤：

S1、采用形变预测系统智能选取货架；

S2、获取货架的视觉数据与图像，并传输至服务器；

首先结合SCARM的货架形变与堆垛机取放操作异常记录，和WMS系统的货位利用率统计，对货位进行权重设置。通过加权随机采样推荐算法，智能选取形变可能性最高的货架区域。加权随机采样推荐算法，用于智能选取形变可能性最高的货架进行视觉检测。

载货台搭载图像采集单元运动到待检测货架前端时，触发单元向图像采集单元发送触发信号。具体的，可通过WCS软件系统控制发出触发信号。

所述图像采集单元进行图像采集程序，并将采集的视觉数据与图像的信息传输至服务器。

S3、利用设置于服务器的执行单元，对所述视觉数据与图像进行图像处理并输出；

获取服务器的视觉数据与图像，进行自动ROI设置，选取特定图像中的货架下边缘区域；

对特货架下边缘区域进行Canny边缘提取程序和过滤干扰项，得到准确边缘；

再使用最小二乘法对获取的准确边缘进行直线拟合操作；

再根据拟合得到的直线的梯度方向与实际边缘的距离差值判断直线度；

同时将货架两端和整体设置于坐标系中，得到货架两端和整体纵方向偏移的平均坐标，判断坐标差值。

S4、通过数据采集单元接收经过图像处理的货架形变量数据与图像，并进行可视化显示。

通过数据采集单元接收货架形变量数据与图像；

对该图像进行格式转换和压缩处理，最后通过数据显示单元进行可视化展示。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于机器视觉的货架形变检测系统，包括货架，以及载货台，其特征在于：

所述载货台设置有触发单元和图像采集单元，所述触发单元的信号输入端设置有形变预测系统，所述图像采集单元的输出端设置有服务器，所述服务器的输出端设置有数据采集单元，所述数据采集单元的输出端设置有数据显示单元；

所述形变预测系统，用于智能选取形变概率最高的货架进行形变检测；

所述触发单元，用于当载货台向待测货架位置移动时，向所述图像采集单元发送图像采集的触发信号；

所述图像采集单元，用于采集所述货架的视觉数据与图像并传输给所述运算执行单元；

所述服务器，用于接收、存储视觉数据与图像，且进行运算处理，并输出所述货架形变量和图像；

所述数据采集单元，用于采集获取到的视觉数据与图像，并传输至数据显示单元。

2.根据权利要求1所述一种基于机器视觉的货架形变检测系统，其特征在于，所述图像采集单元采用线阵相机。

3.根据权利要求2所述一种基于机器视觉的货架形变检测系统，其特征在于，所述图像采集单元设置有移动采集模块。

4.根据权利要求1所述一种基于机器视觉的货架形变检测系统，其特征在于，所述服务器设置有用于视觉数据与图像处理的执行单元。

5.一种包括如权利要求1至4任一项所述的一种基于机器视觉的货架形变检测系统的检测方法，其特征在于，包括如下步骤：

采用形变预测系统智能选取待检测货架；

获取货架的视觉数据与图像，并传输至服务器；

利用设置于服务器的执行单元，对所述视觉数据与图像进行图像处理并输出；

通过数据采集单元接收经过图像处理的货架形变量数据与图像，并进行可视化显示。

6.根据权利要求5所述一种基于机器视觉的货架形变检测系统的检测方法，其特征在于，所述获取货架的视觉数据与图像，并传输至服务器的具体步骤包括：

首先通过形变预测系统的加权随机采样推荐算法，智能选取形变概率最高的货架区域；

载货台搭载图像采集单元运动到待检测货架前端时，触发单元向图像采集单元发送触发信号；

所述图像采集单元进行图像采集程序，并将采集的视觉数据与图像的信息传输至服务器。

7.根据权利要求6所述一种基于机器视觉的货架形变检测系统的检测方法，其特征在于，所述利用设置于服务器的执行单元，对所述视觉数据与图像进行图像处理并输出的具体步骤包括：

获取服务器的视觉数据与图像，进行自动ROI设置，选取特定图像中的货架下边缘区域；

对特货架下边缘区域进行Canny边缘提取程序和过滤干扰项，得到准确边缘；

再使用最小二乘法对获取的准确边缘进行直线拟合操作；

再根据拟合得到的直线的梯度方向与实际边缘的距离差值判断直线度；

同时将货架两端和整体设置于坐标系中，得到货架两端和整体纵方向偏移的平均坐标，判断坐标差值。

8.根据权利要求7所述一种基于机器视觉的货架形变检测系统的检测方法，其特征在于，所述通过数据采集单元接收经过图像处理的货架形变量数据与图像，并进行可视化显示的具体步骤包括：

通过数据采集单元接收货架形变量数据与图像；

对该图像进行格式转换和压缩处理，最后通过数据显示单元进行可视化展示。

Images