CN207976755U - 一种基于机器视觉和plc的钢材仓储控制系统 - Google Patents

Abstract

本实用新型公开了一种基于机器视觉和PLC的钢材仓储控制系统，包括工控机、PLC、驱动器、电机、机械臂、传送装置、传动装置及拍摄装置。其中拍摄装置包含工业相机、工业镜头、光源、光照箱；工控机与PLC均与传动装置相连，动力由电机输入；PLC与工控机电性连接；传动装置与机械臂相连；光照箱安装在传动装置下方；工业相机位于光照箱内，与工控机电性连接；光照箱安装在钢材仓储位置上方；本实用新型基于机器视觉和PLC的钢材仓储控制系统，定位准确可靠，提高了出入库出库的准确性，节省了机械成本及控制成本。

Description

一种基于机器视觉和PLC的钢材仓储控制系统

技术领域

本实用新型属于钢材仓储领域，涉及到一种基于机器视觉和PLC的钢材仓储控制系统。

背景技术

我国是钢铁流通和消费大国，钢铁行业从2002年开始出现需求高速增长的行情，随着钢材销量和价格的增长，众多资本投入到钢材市场中，在钢材生产和销售量飞速增长时期，钢材仓储业务量自然显著增长。仓储是钢材贸易的必需环节，随着我国的钢材总体需求量放缓，市场对钢材仓储企业的仓储技术和管理手段提出更高要求。

在钢材仓储系统中实现智能化，货物出库入库自动化是仓储系统中的一个关键环节。目前国内货物出库入库自动化程度较低，货物入库的过程，均由人为输入货物牌号，难免会出现误输入，导致入库出库过程发生误取货；以及机械手提取货物过程中，传统的定位方法多采用伺服电机控制系统，而内部伺服系统每次取货都需要回原点消除累积误差，降低了取货效率，否则将降低定位精度，定位不精准会导致机械手卡住等现象。一旦出现上述情况，整个仓储系统的执行效率将会大幅下降，带来不必要的经济损失。

实用新型内容

为了解决误取货以及定位不准，本实用新型提出了一种基于机器视觉和PLC的钢材仓储控制系统，实现精准定位。

在本实用新型基于机器视觉和PLC的钢材仓储控制系统中，包括拍摄装置、上位机主控制器、驱动器、电机、机械臂、传送装置、传动装置、下位机主控制器；拍摄装置包含光照箱、工业相机、工业镜头、光源；工业镜头、工业相机、光源均放置在光照箱内部，工业镜头安装在工业相机上，光源安装在所述的工业镜头左右两侧，给拍摄装置提供稳定均匀的光照条件；拍摄装置通过输出接口与所述上位机主控制器电性连接，上位机主控制器与下位机主控制器电性连接，下位机主控制器与驱动器电性连接，驱动器与电机电性连接，光照箱安装在所述传动装置下方，电机与传动装置电性连接，传动装置与机械臂铰链连接。

在本实用新型基于机器视觉和PLC的钢材仓储控制系统中，上位机主控制器通过工控机来实现，对下位机主控制器进行控制。

整个钢材仓储控制系统启动后，操作员可在上位机界面中，输入钢材牌号，然后点击出库或者入库；工控机内的数据库软件将会访问钢材数据库，获取对应钢材牌号的仓库位置；工控机内的通信软件在接收到目标位置后，通过自由口通讯将目标位置信息发送给下位机PLC。

在本实用新型基于机器视觉和PLC的钢材仓储控制系统中，下位机主控制器通过PLC 实现，通过控制驱动器与电机，带动传动装置以及传动装置运转。PLC将驱动电机带动传动装置将传动装置传送到大致目标位置；运动到位后，触发工业相机采集图像，对钢材牌号进行识别校验，校验成功后对钢材取货点进行粗定位；上位机将获取初步位置信息，通过通信接口将信息发送到PLC；粗定位运动到位后，再次触发工业相机采集图像，对钢材取货点进行精定位，使传动装置精准到达钢材取货位置，完成入库、出库任务。

本实用新型的钢材仓储控制系统在实验过程中，保持了长时间正常运行，实现了零误差取货以及高效率高精度定位。

附图说明

此处所说明的附图用来提供对本实用新型的进一步理解，构成本申请的一部分，本实用新型的示意性实施例及其说明用于解释本实用新型，并不构成对本实用新型的不当限定。在附图中：

图1为本实用新型实施例基于机器视觉和PLC的钢材仓储控制系统的各组成部分示意图；

图2为本实用新型实施例基于机器视觉和PLC的钢材仓储控制系统总流程图；

图3为本实用新型实施例基于机器视觉和PLC的钢材仓储控制系统OCR图像处理算法流程图；

图4为本实用新型实施例基于机器视觉和PLC的钢材仓储控制系统Blob分析提取流程图；

图5为本实用新型实施例基于机器视觉和PLC的钢材仓储控制系统摄像机标定方法坐标系转换示意图；

图6为本实用新型实施例基于机器视觉和PLC的钢材仓储控制系统逐步逼近的亚像素图像定位法流程图。

图中标号说明：1-钢材货物，2-光源，3-工业相机，4-工业镜头，5-光照箱，6-机械臂，7-工控机，8-传送带，9-传动装置，10-电机，11-驱动器，12-PLC。

具体实施方式

下面将参考附图1并结合实施例，来详细说明本实用新型。

一种基于机器视觉和PLC的钢材仓储控制系统，包括光源2、工业相机3、工业镜头4、光照箱5、机械臂6、工控机7、传送带8、传动装置9、电机10、驱动器11、PLC12；拍摄装置包含光照箱5、工业相机3、工业镜头4及光源2；工业镜头4、工业相机3及光源 2均放置在光照箱5内部，工业镜头4安装在工业相机3上，光源2安装在工业镜头4左右两侧，给拍摄装置提供稳定均匀的光照条件；拍摄装置通过输出接口与工控机7电性连接，工控机7与PLC12电性连接，PLC12与驱动器11电性连接，驱动器11与电机10电性连接，光照箱5安装在传动装置9下方，电机10与传动装置9电性连接，传动装置9与机械臂6铰链连接，传动装置9由电机10驱动带动机械臂6抓取货物。

本系统还包含装载在工控机内的数据处理模块和通信模块。

在本实施例中PLC运动控制模块包括西门子s7-200smart PLC与步进驱动器、步进电机。S7-200smartPLC通过PTO方式实现位置开环控制，控制步进电机运动到目标位置。

数据处理模块包括工控机内的基于MySql的钢材数据库以及工控机软件。

本发明实施例中通信模块采用了西门子的自由口通信协议。西门子smart200系列PLC 的自由口通信的硬件接口为RS485的9针DB口，端口操作的核心指令XMT和RCV，通信协议参数分别为9600bit/s,8位数据位,无奇偶校验位,1位停止位。自由口通信对于RS485 口上通信，基于串口半双工通信原理，在一条通讯回路上，只能允许一种通讯方式正在工作。因此，首轮XMT发送指令，由定制器0中断触发，后续必须等待RCV指令接收到数据后，才可执行XMT发送指令。

本发明实施例中软件部分包括人机交互界面、机器视觉模块、数据库模块以及通信模块。其中，人机交互界面基于C#开发；机器视觉模块基于C#与halcon联合开发；数据库模块使用的是Mysql数据库；通信模块基于C#开发的与西门子smart200自由口通信。

参见图2，一种基于机器视觉和PLC的钢材仓储控制系统，其工作流程步骤包括：

搭建硬件实验平台，确认电源线以及信号线连接可靠；

根据对外部环境以及定位的精度要求，设置拍摄清晰图像的工业相机参数；

打开计算机和软件，首先点击注册，注册完成后输入相应的用户名和密码，点击登录进入主操作界面，在主操作界面连接相机，设置串口信息即可连接PLC；若需要入库，在货物标识牌号处填写对应牌号以及货架的行与列位置参数，点击入库按钮；

触发PLC运动控制系统驱动电机带动取货装置运转到目标位置，执行到位后，将触发工业相机拍摄钢材货物标识牌，对实时拍摄的钢材货物标识牌图像进行OCR识别图像算法处理，提取对应的牌号字符。

将提取的牌号字符与数据库中的目标牌号字符进行对比校验，校验成功后，取货装置将执行动作；并在软件访问钢材仓储数据库，数据库记录入库货物信息，软件记录放货装置的位置信息；

入库校验成功后，将再次触发工业相机拍摄钢材货物标识牌，对实时拍摄的钢材货物标识牌图像进行摄像机标定，并使用Blob分析获取图像相应的位置参数；

实时拍摄的钢材货物标识牌图像所提取的位置参数通过串口通信传入PLC运动控制系统中，并触发PLC运动控制系统驱动电机运转到目标位置，完成粗定位；

粗定位执行到位后，将再次触发工业相机拍摄钢材货物标识牌，对实时拍摄的钢材货物标识牌图像进行逐步逼近亚像素图像法进行边缘轮廓提取，获取进一步更加精准图像位置参数；

将上一步中实时拍摄的钢材货物标识牌图像所提取的位置参数通过串口通信传入PLC 运动控制系统中，并触发PLC运动控制系统驱动电机运转到目标位置，完成精定位；

若需要出库，在货物标识牌号处填写对应牌号，点击出库按钮，软件将访问钢材仓储数据库，读取数据库中货物位置信息，并与上次放货或取货位置信息计算出目标位置，其他步骤与入库相同。

所述OCR识别图像处理算法是基于HSV颜色控件转换与Blob分析的图像处理方法，流程图见图3，具体OCR识别算法步骤为：

1.对工业相机实时拍摄的钢材货物标识牌图像进行RBG颜色空间图像分解；

2.对RBG颜色空间图像分解后的RGB图像进行空间转换至HSV颜色空间；

3.对HSV颜色空间转换后的钢材货物标识牌图像使用Blob分析提取可识别的标示牌中标识号的图像信息；

4.对经过Blob分析提取处理的标志牌的二值图像进行形状特征和位置特征筛选，获取标示牌中标识号的图像信息；

5.对形状特征和位置特征筛选后的标识号的图像信息进行字符分割，得到多个单字符的图像数组；

6.读取OCR的训练文件生成多层神经网络分类器，对字符分割后得到的多个单字符的图像数组进行机器多层神经网络感知识别并保存在数组中。

其中Blob分析提取方法流程见图4，包含以下步骤：

1.对HSV颜色空间转换后获得的HSV图像，提取其中的S图像进行阈值分割,提取标志牌的二值图像信息；

2.对阈值分割后的标志牌的二值图像信息进行矩形形态学开运算；

3.对经过矩形形态学开运算处理的标志牌的二值图像进行矩形拟合模拟，给形状特征和位置特征筛选提供运算范围；

其中，所述粗定位工作流程中的摄像机标定方法，示意图见图5，将世界坐标系转换到图像像素坐标系，中间经历了相机坐标系与图像物理像素坐标的过渡，实现物理毫米到图像像素的转换，具体步骤为：

在图像像素坐标系中，坐标为(u0，v0)，每个像素在x轴与y轴方向上的物理尺寸为dx，dy，则在图像中任意一个像素在两个坐标系的对应关系如下：

将上式代入齐次坐标系中，矩阵运算形式如下：

在摄像机坐标系：O-XcYcZc，图像坐标系：O1-XY

根据三角形相似原理，有

公式1.3中，f代表摄像机焦距，由于摄像机坐标系为三维坐标系，而图像物理坐标系为二维坐标系，因此，将空间三维空间信息转换到二维空间信息时，将会有Z轴方向信息的损失，在齐次坐标系中，引入一个3×4投影变换矩阵，矩阵运算形式如下：

摄像机坐标系与世界坐标系都属于现实三维空间坐标系，两者的转换是通过旋转矩阵 R和平移矩阵t完成的，在齐次坐标系中，矩阵运算如下：

由上可知，图像像素坐标系与图像物理坐标系的转换，图像物理坐标系与摄像机坐标系的转换以及摄像机与世界坐标系的转换公式，联立所有公式，可得出图像像素坐标系与世界坐标系的转换关系，矩阵运算形式如下：

上述公式完成了从世界坐标系到图像像素坐标系的转换，中间经历了相机坐标系与图像物理像素坐标的过渡，X_w中的w表示世界物理坐标系，单位为毫米，而u，v的单位为像素，即完成了从毫米到像素的转变。通过使用halcon的标定助手，获取相机的内外参数即可获取到图像单位像素对应的实际尺度。完成摄像机标定后，通过Blob分析获取粗定位坐标，触发PLC运动控制系统完成粗定位。

其中，工作流程精定位是基于本实用新型提出的一种逐步逼近的亚像素图像定位法，流程图见图6，具体步骤如下：

完成摄像机标定后，通过Blob分析获取粗定位坐标，触发PLC运动控制系统完成粗定位，并再次触发摄像机实时拍摄；

对实时拍摄的钢材货物标识牌图像使用Blob分析提取法提取图像边缘；

对获得的标识牌图像边缘使用形态学边缘提取，获得提取到标志牌的二值图像的像素级边缘轮廓；

对所获得的标识牌图像边缘使用形态学膨胀，提取出图像的边缘过渡带；

对标识牌图像的过渡边缘带进行剪切，获取可识别的标示牌边缘的图像信息；

对所获得的标识牌图像使用halcon的edges_sub_pix算子，调用Canny算法，使用平滑系数设置在1-3之间，平滑系数偏小时，容易出现假边缘，而平滑系数设置过大时，会出现边缘偏差；双阈值分别设置10,60，60为最大阈值，筛选出绝对真实的边缘，10为最小阈值，用于连接真实边缘的细小边缘；

其中Canny算法步骤为：

1.用二维高斯模板对标志牌边缘过渡带图像进行卷积以消除杂点，去除噪声，降低伪边缘的识别；2.用一阶偏导数的有限差来计算图像的梯度的幅值和方向；3.对梯度幅值进行非极大值抑制，保留局部最大梯度而抑制所有其他梯度值；

4.使用双阈值算法检测和连接边缘。

对所获得的标识牌图像使用halcon的segment_contours_xld算子，使用多边形逼近法分割边缘，提取直线，迭代阈值分别设置为5,2，第一个阈值设置粗分割，第二个阈值设置细分割；

对所获得的标识牌图像使用halcon的union_collnear_contours_xld算子，通过共线联合法，将在一条直线上的多段直线轮廓进行联合；

对所获得的标识牌图像使用halcon的fit_line_contour_xld算子，使用最小二乘法拟合直线；

对所获得的标识牌图像使用halcon的intersection_lines算子，获取边缘轮廓直线的交点，通过轮廓边线交点用对角线法获取轮廓中心点坐标，从而得到钢材货物的精确位置信息；

将钢材货物的精确位置信息传输到PLC控制装置中，触发PLC机械执行装置将钢材货物运转到目标精确位置，执行出库/入库操作。

在不冲突的情况下，本文中上述实施例及实施例中的特征可以相互结合。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于机器视觉和PLC的钢材仓储控制系统，其特征在于：包括拍摄装置、上位机主控制器、驱动器、电机、机械臂、传送装置、传动装置、下位机主控制器；所述拍摄装置包含光照箱、工业相机、工业镜头、光源；所述工业镜头、工业相机、光源均放置在光照箱内部，所述工业镜头安装在工业相机上，所述光源安装在所述的工业镜头左右两侧，给拍摄装置提供稳定均匀的光照条件；所述拍摄装置通过输出接口与所述上位机主控制器电性连接，所述上位机主控制器与下位机主控制器电性连接，所述下位机主控制器与驱动器电性连接，所述驱动器与电机电性连接，所述光照箱安装在所述传动装置下方，所述电机与传动装置电性连接，所述传动装置与机械臂铰链连接，传动装置由电机驱动带动机械臂抓取货物。

2.根据权利要求1所述的基于机器视觉和PLC的钢材仓储控制系统，其特征在于：上位机主控制器通过工控机来实现，对下位机主控制器进行控制。

3.根据权利要求1所述的基于机器视觉和PLC的钢材仓储控制系统，其特征在于：下位机主控制器通过PLC实现，通过控制驱动器与电机，带动传动装置以及传动装置运转。