CN108460552B - 一种基于机器视觉和plc的钢材仓储控制系统 - Google Patents

一种基于机器视觉和plc的钢材仓储控制系统 Download PDF

Info

Publication number
CN108460552B
CN108460552B CN201810079250.7A CN201810079250A CN108460552B CN 108460552 B CN108460552 B CN 108460552B CN 201810079250 A CN201810079250 A CN 201810079250A CN 108460552 B CN108460552 B CN 108460552B
Authority
CN
China
Prior art keywords
module
image
signboard
steel
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810079250.7A
Other languages
English (en)
Other versions
CN108460552A (zh
Inventor
李波
邓中文
徐凯
张萌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences Wuhan
Original Assignee
China University of Geosciences Wuhan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences Wuhan filed Critical China University of Geosciences Wuhan
Priority to CN201810079250.7A priority Critical patent/CN108460552B/zh
Publication of CN108460552A publication Critical patent/CN108460552A/zh
Application granted granted Critical
Publication of CN108460552B publication Critical patent/CN108460552B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/05—Programmable logic controllers, e.g. simulating logic interconnections of signals according to ladder diagrams or function charts
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/36—Indoor scenes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/10—Plc systems
    • G05B2219/15—Plc structure of the system
    • G05B2219/15039—Display of reference, set value, of measured, feedback value
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)
  • Accounting & Taxation (AREA)
  • Automation & Control Theory (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Finance (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Warehouses Or Storage Devices (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于机器视觉和PLC的钢材仓储控制系统，包含可移动的机械执行装置、PLC控制装置、工控机及机器视觉模块；通过九个步骤来实现，分别为系统初始化、工控机主界面操作、钢材货物标志牌号仓库位置获取、PLC控制装置执行、OCR图像识别处理、字符校验、钢材货物位置粗定位、钢材货物位置精定位及钢材货物出库/入库执行；钢材货物粗定位引入了摄像机标定和OCR图像识别法，钢材货物精定位引入了逐步逼近亚像素图像定位法，相比传统的伺服系统定位方式，本发明消除了累计误差，定位准确，节省了机械成本及控制成本。

Description

一种基于机器视觉和PLC的钢材仓储控制系统
技术领域
本发明属于钢材仓储领域，涉及到一种基于机器视觉和PLC的钢材仓储控制系统。
背景技术
我国是钢铁流通和消费大国，钢铁行业从2002年开始出现需求高速增长的行情，随着钢材销量和价格的增长，众多资本投入到钢材市场中，在钢材生产和销售量飞速增长时期，钢材仓储业务量自然显著增长。仓储是钢材贸易的必需环节，随着我国的钢材总体需求量放缓，市场对钢材仓储企业的仓储技术和管理手段提出更高要求。
在钢材仓储系统中实现智能化，货物出库入库自动化是仓储系统中的一个关键环节。目前国内货物出库入库自动化程度较低，货物入库的过程，均由人为输入货物牌号，难免会出现误输入，导致入库出库过程发生误取货；以及机械手提取货物过程中，传统的定位方法多采用伺服电机控制系统，而内部伺服系统每次取货都需要回原点消除累积误差，降低了取货效率，否则将降低定位精度，定位不精准会导致机械手卡住等现象。一旦出现上述情况，整个仓储系统的执行效率将会大幅下降，带来不必要的经济损失。
发明内容
为了解决误取货以及定位不准及效率不高的问题，本发明提出了一种基于机器视觉和 PLC的钢材仓储控制系统，包含：可移动的机械执行装置，包括机械臂，所述机械臂用于抓放钢材货物；
PLC控制装置，用于产生控制指令以控制所述机械执行装置的移动以及所述机械臂进行抓放钢材货物；
工控机，用于控制所述PLC控制装置产生所述控制指令；
机器视觉模块，用于对钢材货物标志牌图像进行采集和识别，包括工业相机；
本发明还包含以下模块：
系统初始化模块，用于获取用户设置的工业相机参数对工业相机进行设置；
工控机主界面操作模块，用于显示工控机主操作界面，获取用户在所述工控机主操作界面上设置的串口信息，并获取用户在工控机主操作界面输入的钢材货物标志牌号信息、出库/入库指令；
钢材货物标志牌号仓库位置获取模块：用于根据预设的钢材货物标志牌牌号字符与仓库位置的一一对应关系，获取对应钢材货物标志牌号的仓库位置；
PLC控制装置执行模块：用于当工控机接收到所述仓库位置信息后，将仓库位置信息发送给PLC，PLC接收工控机发出的仓库位置信息指令，通过PLC控制装置将机械执行装置移动到钢材货物仓库位置；
OCR图像识别处理模块：用于当机械执行装置运动到位，触发工业相机采集图像，对实时拍摄的钢材货物标志牌图像进行OCR图像识别处理，提取相应的牌号字符，与所述对应关系所包含的目标牌号字符进行对比；
字符校验模块：用于判断提取的牌号字符是否与所述对应关系所包含的目标牌号字符一致，如果一致则调用钢材货物位置粗定位模块；
钢材货物位置粗定位模块：用于对实时拍摄的钢材货物标志牌图像使用摄像机标定，完成世界坐标系到图像像素坐标系的转换，再通过Blob分析，进行钢材取货位置粗定位，得到钢材货物标志牌图像的大致位置参数，传输到PLC控制装置，驱动步进电机运转到目标位置；
钢材货物位置精定位模块：用于在钢材货物位置进行粗定位后，触发工业相机拍摄钢材货物标志牌，对钢材货物标志牌使用逐步逼近亚像素图像定位，得到钢材货物标志牌图像的精确位置参数，得到钢材货物的精确位置信息；
钢材货物出库/入库执行模块：用于将钢材货物的精确位置信息传输到PLC控制装置中，触发机械执行装置将钢材货物运转到目标精确位置，执行出库/入库操作。
在本发明的一种基于机器视觉和PLC的钢材仓储控制系统中，OCR图像识别处理模块包含以下子模块：
RBG颜色空间图像分解模块：用于对工业相机实时拍摄的钢材货物标识牌图像进行RBG 颜色空间图像分解；
HSV颜色空间转换模块：用于对RBG颜色空间图像分解模块中所获得的分解后的RGB 图像进行空间转换至HSV颜色空间；
Blob分析提取模块：用于对HSV颜色空间转换模块中获得的钢材货物标识牌图像使用 Blob分析提取标示牌的图像信息；
形状特征和位置特征筛选模块：用于对经过Blob分析提取模块处理的标志牌的二值图像进行形状特征和位置特征筛选，获取标示牌中标识号的图像信息；
字符分割模块：用于对形状特征和位置特征筛选模块中所获取的标识号的图像信息进行字符分割，得到多个单字符的图像数组；
字符识别保存模块：用于读取OCR的训练文件生成多层神经网络分类器，对字符分割模块中获得的多个单字符的图像数组进行机器多层神经网络感知识别并保存在数组中。
在本发明的基于机器视觉和PLC的钢材仓储控制系统中，Blob分析提取模块包含以下子模块：
阈值分割模块：用于对HSV颜色空间转换模块中所获得的HSV图像，提取其中的S图像进行阈值分割，提取标志牌的二值图像信息；
矩形形态学开运算模块：用于对阈值分割模块所获得的标志牌的二值图像信息进行矩形形态学开运算；
矩形拟合模块：用于对矩形形态学开运算模块所获得的标志牌的二值图像进行拟合，形成一个矩形区域，给形状特征和位置特征筛选模块提供运算范围。
在本发明的一种基于机器视觉和PLC的钢材仓储控制系统中，钢材货物位置粗定位模块中摄像机标定包含以下子模块来实现：
世界坐标系获取模块：用于获取实时拍摄的钢材货物标志牌图像的世界坐标系(XW， YW，ZW)；
摄像机坐标系转换模块：用于将世界坐标系获取模块中获得的世界坐标系(XW，YW，ZW)通过矩阵运算
Figure BDA0001560507760000031
转换到摄像机坐标系(XC，YC，ZC)，其中R为旋转矩阵，t为平移矩阵；
图像物理坐标系转换模块：用于将摄像机坐标系转换模块中获得的摄像机坐标系(XC， YC，ZC)，通过三角形近似原理
Figure BDA0001560507760000032
转换到图像物理坐标系(x，y)，其中f代表摄像机焦距；
图像像素坐标系转换模块：用于将在图像物理坐标系转换模块中获得的图像物理坐标系(x，y)转换到图像像素坐标系(u，v)，因每个像素在x轴与y轴方向上的物理尺寸为dx，dy，则在图像中任意一个像素在图像物理坐标系和图像像素坐标系的对应关系为：
Figure BDA0001560507760000033
通过矩阵运算：
Figure BDA0001560507760000034
将图像物理坐标系(x，y) 转换到了图像像素坐标系(u，v)。
在本发明的一种基于机器视觉和PLC的钢材仓储控制系统中，钢材货物位置精定位模块中的逐步逼近亚像素图像定位通过以下子模块实现：
钢材货物标志牌图像信息模块：用于获取钢材货物标志牌图像信息；
Blob分析提取模块：用于对钢材货物标志牌图像信息模块中获得的钢材货物标志牌图像信息使用Blob分析提取标志牌图像边缘；
形态学边缘法提取边缘轮廓模块：用于将Blob分析提取模块中获得的标志牌图像边缘使用形态学边缘法，提取到标志牌的二值图像的像素级边缘轮廓；
形态学膨胀提取边缘过渡带模块：用于对形态学边缘法提取边缘轮廓模块中获得的标志牌的二值标志牌图像的像素级边缘轮廓使用形态学膨胀法，提取出标志牌图像的边缘过渡带；
边缘剪切模块：用于对形态学膨胀提取边缘过渡带模块所获得的标识牌图像的过渡边缘带进行剪切，获取可识别的标示牌边缘的图像信息；
Canny算法模块：用于对边缘剪切模块中获得的可识别的标示牌边缘的图像调用Canny 算法，设置平滑系数和双阈值，筛选出真实有效的标志牌图像边缘；
多边形逼近法模块：预设多边形逼近迭代次数的阈值，用于对Canny算法模块中获得的真实有效的标志牌图像边缘使用多边形逼近法分割边缘，提取边缘直线；
共线联合算法模块：用于对多边形逼近法模块中获得的标志牌图像边缘直线使用共线联合算法，将提取的在同一条直线上的多段直线轮廓进行联合，形成整段图像边缘直线；
最小二乘法直线拟合模块：用于对共线联合算法模块中获得的标志牌图像边缘直线使用最小二乘法进行直线拟合，获取图像轮廓的四条边线；
图像轮廓交点获取模块：用于对最小二乘法直线拟合模块中获得的图像轮廓四条边线，求出四条边线所围成的封闭区域的四个交点；
图像轮廓中心点获取模块：用于对图像轮廓交点获取模块中获得的图像轮廓交点，求出图像轮廓中心点坐标并保存。
本发明的有益效果如下：
1.在取货校验中，字符识别算法的正确率非常高，有效降低了误取率。
2.在取货定位中，传统的定位方法多采用伺服电机控制系统，而内部伺服系统每次取货都需要回原点消除累积误差，降低了取货效率，否则将降低定位精度。而本发明提出的逐步逼近的亚像素图像定位法，提高了取货效率以及定位精度。
本发明的基于机器视觉和PLC的钢材仓储控制系统在实验过程中，保持了长时间正常运行，实现了零误差取货以及高效率高精度定位。
附图说明
下面将结合附图和实施例对本发明作进一步的说明，附图中：
图1为本发明实施例基于机器视觉和PLC的钢材仓储控制系统的各组成部分示意图；
图2为本发明实施例基于机器视觉和PLC的钢材仓储控制系统总流程图；
图3为本发明实施例基于机器视觉和PLC的钢材仓储控制系统OCR图像处理算法流程图；
图4为本发明实施例基于机器视觉和PLC的钢材仓储控制系统Blob分析提取流程图；
图5为本发明实施例基于机器视觉和PLC的钢材仓储控制系统摄像机标定方法坐标系转换示意图；
图6为本发明实施例基于机器视觉和PLC的钢材仓储控制系统逐步逼近的亚像素图像定位法流程图。
图1中标号说明：1-钢材货物，2-光源，3-工业相机，4-工业镜头，5-光照箱，6-机械臂，7-工控机，8-传送带，9-传动装置，10-电机，11-驱动器，12-PLC。
具体实施方式
本发明实施例各组成部分示意图参考图1，提供了一种基于机器视觉和PLC的钢材仓储控制系统，用来对钢材进行精确出库入库，所述基于机器视觉和PLC的钢材仓储控制系统包含可移动的机械执行装置、PLC控制装置、工控机及机器视觉模块。其中可移动的机械执行装置包含机械臂6和传动装置9。PLC控制装置包含电机7、驱动器8及PLC9。机器视觉模块包含光源2、工业相机3、光照箱4以及在工控机7内的数据库软件；PLC控制装置通过电缆与工控机相连；传动装置9与机械臂6相连；光照箱4安装在传动装置9下方；工业相机3位于光照箱4内，通过电缆与工控机7相连；光照箱5安装在货物仓储位置上方；在工控机7内部的数据库软件对货物商标进行校验，并触发精准定位，控制机械臂6进行抓取货物。本系统还包含数据处理模块和通信模块。
在本实施例中PLC运动控制模块包括西门子s7-200smart PLC与步进驱动器、步进电机。S7-200smartPLC通过PTO方式实现位置开环控制，控制步进电机运动到目标位置。
数据处理模块包括工控机内的基于MySql的钢材数据库以及工控机软件。
本发明实施例中通信模块采用了西门子的自由口通信协议。西门子smart200系列PLC 的自由口通信的硬件接口为RS485的9针DB口，端口操作的核心指令XMT和RCV，通信协议参数分别为9600bit/s，8位数据位，无奇偶校验位，1位停止位。自由口通信对于RS485 口上通信，基于串口半双工通信原理，在一条通讯回路上，只能允许一种通讯方式正在工作。因此，首轮XMT发送指令，由定制器0中断触发，后续必须等待RCV指令接收到数据后，才可执行XMT发送指令。
本发明实施例中软件部分包括人机交互界面、机器视觉模块、数据库模块以及通信模块。其中，人机交互界面基于C#开发；机器视觉模块基于C#与halcon联合开发；数据库模块使用的是Mysql数据库；通信模块基于C#开发的与西门子smart200自由口通信。
参见图2，一种基于机器视觉和PLC的钢材仓储控制系统，其工作流程步骤包括：
搭建硬件实验平台，确认电源线以及信号线连接可靠；
根据对外部环境以及定位的精度要求，设置拍摄清晰图像的工业相机参数；
打开计算机和软件，首先点击注册，注册完成后输入相应的用户名和密码，点击登录进入主操作界面，在主操作界面连接相机，设置串口信息即可连接PLC；若需要入库，在货物标识牌号处填写对应牌号以及货架的行与列位置参数，点击入库按钮；
触发PLC运动控制系统驱动电机带动取货装置运转到目标位置，执行到位后，将触发工业相机拍摄钢材货物标识牌，对实时拍摄的钢材货物标识牌图像进行OCR识别图像算法处理，提取对应的牌号字符。
将提取的牌号字符与数据库中的目标牌号字符进行对比校验，校验成功后，取货装置将执行动作；并在软件访问钢材仓储数据库，数据库记录入库货物信息，软件记录放货装置的位置信息；
入库校验成功后，将再次触发工业相机拍摄钢材货物标识牌，对实时拍摄的钢材货物标识牌图像进行摄像机标定，并使用Blob分析获取图像相应的位置参数；
实时拍摄的钢材货物标识牌图像所提取的位置参数通过串口通信传入PLC运动控制系统中，并触发PLC运动控制系统驱动电机运转到目标位置，完成粗定位；
粗定位执行到位后，将再次触发工业相机拍摄钢材货物标识牌，对实时拍摄的钢材货物标识牌图像进行逐步逼近亚像素图像法进行边缘轮廓提取，获取进一步更加精准图像位置参数；
将上一步中实时拍摄的钢材货物标识牌图像所提取的位置参数通过串口通信传入PLC 运动控制系统中，并触发PLC运动控制系统驱动电机运转到目标位置，完成精定位；
若需要出库，在货物标识牌号处填写对应牌号，点击出库按钮，软件将访问钢材仓储数据库，读取数据库中货物位置信息，并与上次放货或取货位置信息计算出目标位置，其他步骤与入库相同。
所述OCR识别图像处理算法是基于HSV颜色控件转换与Blob分析的图像处理方法，流程图见图3，具体OCR识别算法步骤为：
1.对工业相机实时拍摄的钢材货物标识牌图像进行RBG颜色空间图像分解；
2.对RBG颜色空间图像分解后的RGB图像进行空间转换至HSV颜色空间；
3.对HSV颜色空间转换后的钢材货物标识牌图像使用Blob分析提取可识别的标示牌中标识号的图像信息；
4.对经过Blob分析提取处理的标志牌的二值图像进行形状特征和位置特征筛选，获取标示牌中标识号的图像信息；
4.对形状特征和位置特征筛选后的标识号的图像信息进行字符分割，得到多个单字符的图像数组；
5.读取OCR的训练文件生成多层神经网络分类器，对字符分割后得到的多个单字符的图像数组进行机器多层神经网络感知识别并保存在数组中。
其中Blob分析提取方法流程见图4，包含以下步骤：
1.对HSV颜色空间转换后获得的HSV图像，提取其中的S图像进行阈值分割，提取标志牌的二值图像信息；
2.对阈值分割后的标志牌的二值图像信息进行矩形形态学开运算；
3.对经过矩形形态学开运算处理的标志牌的二值图像进行矩形拟合模拟，给形状特征和位置特征筛选提供运算范围；
其中，所述粗定位工作流程中的摄像机标定方法，示意图见图5，将世界坐标系转换到图像像素坐标系，中间经历了相机坐标系与图像物理像素坐标的过渡，实现物理毫米到图像像素的转换，具体步骤为：
在图像像素坐标系中，坐标为(u0，v0)，每个像素在x轴与y轴方向上的物理尺寸为dx，dy，则在图像中任意一个像素在两个坐标系的对应关系如下：
Figure BDA0001560507760000071
将上式代入齐次坐标系中，矩阵运算形式如下：
Figure BDA0001560507760000072
在摄像机坐标系：O-XcYcZc，图像坐标系：O1-XY
根据三角形相似原理，有
Figure BDA0001560507760000073
公式1.3中，f代表摄像机焦距，由于摄像机坐标系为三维坐标系，而图像物理坐标系为二维坐标系，因此，将空间三维空间信息转换到二维空间信息时，将会有Z轴方向信息的损失，在齐次坐标系中，引入一个3×4投影变换矩阵，矩阵运算形式如下：
Figure BDA0001560507760000081
摄像机坐标系与世界坐标系都属于现实三维空间坐标系，两者的转换是通过旋转矩阵 R和平移矩阵t完成的，在齐次坐标系中，矩阵运算如下：
Figure BDA0001560507760000082
由上可知，图像像素坐标系与图像物理坐标系的转换，图像物理坐标系与摄像机坐标系的转换以及摄像机与世界坐标系的转换公式，联立所有公式，可得出图像像素坐标系与世界坐标系的转换关系，矩阵运算形式如下：
Figure BDA0001560507760000083
上述公式完成了从世界坐标系到图像像素坐标系的转换，中间经历了相机坐标系与图像物理像素坐标的过渡，Xw中的w表示世界物理坐标系，单位为毫米，而u，v的单位为像素，即完成了从毫米到像素的转变。通过使用halcon的标定助手，获取相机的内外参数即可获取到图像单位像素对应的实际尺度。完成摄像机标定后，通过Blob分析获取粗定位坐标，触发PLC运动控制系统完成粗定位。
其中，工作流程精定位是基于本发明提出的一种逐步逼近的亚像素图像定位法，流程图见图6，具体步骤如下：
完成摄像机标定后，通过Blob分析获取粗定位坐标，触发PLC运动控制系统完成粗定位，并再次触发摄像机实时拍摄；
对实时拍摄的钢材货物标识牌图像使用Blob分析提取法提取图像边缘；
对获得的标识牌图像边缘使用形态学边缘提取，获得提取到标志牌的二值图像的像素级边缘轮廓；
对所获得的标识牌图像边缘使用形态学膨胀，提取出图像的边缘过渡带；
对标识牌图像的过渡边缘带进行剪切，获取可识别的标示牌边缘的图像信息；
对所获得的标识牌图像使用halcon的edges_sub_pix算子，调用Canny算法，使用平滑系数设置在1-3之间，平滑系数偏小时，容易出现假边缘，而平滑系数设置过大时，会出现边缘偏差；双阈值分别设置10，60，60为最大阈值，筛选出绝对真实的边缘，10为最小阈值，用于连接真实边缘的细小边缘；
其中Canny算法步骤为：
1.用二维高斯模板对标志牌边缘过渡带图像进行卷积以消除杂点，去除噪声，降低伪边缘的识别；2.用一阶偏导数的有限差来计算图像的梯度的幅值和方向；3.对梯度幅值进行非极大值抑制，保留局部最大梯度而抑制所有其他梯度值；
4.使用双阈值算法检测和连接边缘。
对所获得的标识牌图像使用halcon的segment_contours_xld算子，使用多边形逼近法分割边缘，提取直线，迭代阈值分别设置为5，2，第一个阈值设置粗分割，第二个阈值设置细分割；
对所获得的标识牌图像使用halcon的union_collnear_contours_xld算子，通过共线联合法，将在同一条直线上的多段直线轮廓进行联合；
对所获得的标识牌图像使用halcon的fit_line_contour_xld算子，使用最小二乘法拟合直线；
对所获得的标识牌图像使用halcon的intersection_lines算子，获取边缘轮廓直线的交点，通过轮廓边线交点用对角线法获取轮廓中心点坐标，从而得到钢材货物的精确位置信息；
将钢材货物的精确位置信息传输到PLC控制装置中，触发PLC机械执行装置将钢材货物运转到目标精确位置，执行出库/入库操作。
在不冲突的情况下，本文中上述实施例及实施例中的特征可以相互结合。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于机器视觉和PLC的钢材仓储控制系统，包含：
可移动的机械执行装置，包括机械臂，所述机械臂用于抓放钢材货物；
PLC控制装置，用于产生控制指令以控制所述机械执行装置的移动以及所述机械臂进行抓放钢材货物；
工控机，用于控制所述PLC控制装置产生所述控制指令；
机器视觉模块，用于对钢材货物标志牌图像进行采集和识别，包括工业相机；
其特征在于，还包含以下模块：
系统初始化模块，用于获取用户设置的工业相机参数对工业相机进行设置；
工控机主界面操作模块，用于显示工控机主操作界面，获取用户在所述工控机主操作界面上设置的串口信息，并获取用户在工控机主操作界面输入的钢材货物标志牌号信息、出库/入库指令；
钢材货物标志牌号仓库位置获取模块：用于根据预设的钢材货物标志牌牌号字符与仓库位置的一一对应关系，获取对应钢材货物标志牌号的仓库位置；
PLC控制装置执行模块：用于当工控机接收到所述仓库位置信息后，将仓库位置信息发送给PLC，PLC接收工控机发出的仓库位置信息指令，通过PLC控制装置将机械执行装置移动到钢材货物仓库位置；
OCR图像识别处理模块：用于当机械执行装置运动到位，触发工业相机采集图像，对实时拍摄的钢材货物标志牌图像进行OCR图像识别处理，提取相应的牌号字符，与所述对应关系所包含的目标牌号字符进行对比；
字符校验模块：用于判断提取的牌号字符是否与所述对应关系所包含的目标牌号字符一致，如果一致则调用钢材货物位置粗定位模块；
钢材货物位置粗定位模块：用于对实时拍摄的钢材货物标志牌图像使用摄像机标定，完成世界坐标系到图像像素坐标系的转换，再通过Blob分析，进行钢材取货位置粗定位，得到钢材货物标志牌图像的大致位置参数，传输到PLC控制装置，驱动步进电机运转到目标位置；
钢材货物位置精定位模块：用于在钢材货物位置进行粗定位后，触发工业相机拍摄钢材货物标志牌，对钢材货物标志牌使用逐步逼近亚像素图像定位，得到钢材货物标志牌图像的精确位置参数，得到钢材货物的精确位置信息；
钢材货物出库/入库执行模块：用于将钢材货物的精确位置信息传输到PLC控制装置中，触发机械执行装置将钢材货物运转到目标精确位置，执行出库/入库操作。
2.根据权利要求1所述基于机器视觉和PLC的钢材仓储控制系统，其特征在于，OCR图像识别处理模块包含以下子模块：
RBG颜色空间图像分解模块：用于对工业相机实时拍摄的钢材货物标识牌图像进行RBG颜色空间图像分解；
HSV颜色空间转换模块：用于对RBG颜色空间图像分解模块中所获得的分解后的RGB图像进行空间转换至HSV颜色空间；
Blob分析提取模块：用于对HSV颜色空间转换模块中获得的钢材货物标识牌图像使用Blob分析提取标示牌的图像信息；
形状特征和位置特征筛选模块：用于对经过Blob分析提取模块处理的标志牌的二值图像进行形状特征和位置特征筛选，获取标示牌中标识号的图像信息；
字符分割模块：用于对形状特征和位置特征筛选模块中所获取的标识号的图像信息进行字符分割，得到多个单字符的图像数组；
字符识别保存模块：用于读取OCR的训练文件生成多层神经网络分类器，对字符分割模块中获得的多个单字符的图像数组进行机器多层神经网络感知识别并保存在数组中。
3.根据权利要求2所述基于机器视觉和PLC的钢材仓储控制系统，其特征在于，Blob分析提取模块包含以下子模块：
阈值分割模块：用于对HSV颜色空间转换模块中所获得的HSV图像，提取其中的S图像进行阈值分割，提取标志牌的二值图像信息；
矩形形态学开运算模块：用于对阈值分割模块所获得的标志牌的二值图像信息进行矩形形态学开运算；
矩形拟合模块：用于对矩形形态学开运算模块所获得的标志牌的二值图像进行拟合，形成一个矩形区域，给形状特征和位置特征筛选模块提供运算范围。
4.根据权利要求1所述基于机器视觉和PLC的钢材仓储控制系统，其特征在于，钢材货物位置粗定位模块中摄像机标定包含以下子模块来实现：
世界坐标系获取模块：用于获取实时拍摄的钢材货物标志牌图像的世界坐标系(XW，YW，ZW)；
摄像机坐标系转换模块：用于将世界坐标系获取模块中获得的世界坐标系(XW，YW，ZW)通过矩阵运算
Figure FDA0001560507750000021
转换到摄像机坐标系(XC，YC，ZC)，其中R为旋转矩阵，t为平移矩阵；
图像物理坐标系转换模块：用于将摄像机坐标系转换模块中获得的摄像机坐标系(XC，YC，ZC)，通过三角形近似原理
Figure FDA0001560507750000031
转换到图像物理坐标系(x，y)，其中f代表摄像机焦距；
图像像素坐标系转换模块：用于将在图像物理坐标系转换模块中获得的图像物理坐标系(x，y)转换到图像像素坐标系(u，v)，因每个像素在x轴与y轴方向上的物理尺寸为dx，dy，则在图像中任意一个像素在图像物理坐标系和图像像素坐标系的对应关系为：
Figure FDA0001560507750000032
通过矩阵运算：
Figure FDA0001560507750000033
将图像物理坐标系(x，y)转换到了图像像素坐标系(u，v)。
5.根据权利要求1所述基于机器视觉和PLC的钢材仓储控制方法，其特征在于：钢材货物位置精定位模块中的逐步逼近亚像素图像定位通过以下子模块实现：
钢材货物标志牌图像信息模块：用于获取钢材货物标志牌图像信息；
Blob分析提取模块：用于对钢材货物标志牌图像信息模块中获得的钢材货物标志牌图像信息使用Blob分析提取标志牌图像边缘；
形态学边缘法提取边缘轮廓模块：用于将Blob分析提取模块中获得的标志牌图像边缘使用形态学边缘法，提取到标志牌的二值图像的像素级边缘轮廓；
形态学膨胀提取边缘过渡带模块：用于对形态学边缘法提取边缘轮廓模块中获得的标志牌的二值标志牌图像的像素级边缘轮廓使用形态学膨胀法，提取出标志牌图像的边缘过渡带；
边缘剪切模块：用于对形态学膨胀提取边缘过渡带模块所获得的标识牌图像的过渡边缘带进行剪切，获取可识别的标示牌边缘的图像信息；
Canny算法模块：用于对边缘剪切模块中获得的可识别的标示牌边缘的图像调用Canny算法，设置平滑系数和双阈值，筛选出真实有效的标志牌图像边缘；
多边形逼近法模块：预设多边形逼近迭代次数的阈值，用于对Canny算法模块中获得的真实有效的标志牌图像边缘使用多边形逼近法分割边缘，提取边缘直线；
共线联合算法模块：用于对多边形逼近法模块中获得的标志牌图像边缘直线使用共线联合算法，将提取的在同一条直线上的多段直线轮廓进行联合，形成整段图像边缘直线；
最小二乘法直线拟合模块：用于对共线联合算法模块中获得的标志牌图像边缘直线使用最小二乘法进行直线拟合，获取图像轮廓的四条边线；
图像轮廓交点获取模块：用于对最小二乘法直线拟合模块中获得的图像轮廓四条边线，求出四条边线所围成的封闭区域的四个交点；
图像轮廓中心点获取模块：用于对图像轮廓交点获取模块中获得的图像轮廓交点，求出图像轮廓中心点坐标并保存。
CN201810079250.7A 2018-01-26 2018-01-26 一种基于机器视觉和plc的钢材仓储控制系统 Expired - Fee Related CN108460552B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810079250.7A CN108460552B (zh) 2018-01-26 2018-01-26 一种基于机器视觉和plc的钢材仓储控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810079250.7A CN108460552B (zh) 2018-01-26 2018-01-26 一种基于机器视觉和plc的钢材仓储控制系统

Publications (2)

Publication Number Publication Date
CN108460552A CN108460552A (zh) 2018-08-28
CN108460552B true CN108460552B (zh) 2021-07-06

Family

ID=63239117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810079250.7A Expired - Fee Related CN108460552B (zh) 2018-01-26 2018-01-26 一种基于机器视觉和plc的钢材仓储控制系统

Country Status (1)

Country Link
CN (1) CN108460552B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109435730A (zh) * 2018-11-09 2019-03-08 同济大学 一种基于仿蛇形机械臂的自动充电系统及方法
CN109751954A (zh) * 2018-12-18 2019-05-14 涟源钢铁集团有限公司 铁水罐计量定位系统及铁水输运生产线
WO2020222845A1 (en) * 2019-05-02 2020-11-05 Siemens Aktiengesellschaft External module for network connection to programmable logic controller (plc) backplane
CN110991450A (zh) * 2019-12-03 2020-04-10 厦门亿合恒拓信息科技有限公司 电网设备信息的采集方法及计算机可读存储介质
CN111210442B (zh) * 2020-01-02 2023-02-03 广东博智林机器人有限公司 图纸图像定位与校对方法、装置及电子设备
CN112001228A (zh) * 2020-07-08 2020-11-27 上海品览数据科技有限公司 一种基于深度学习的视频监控仓库出入库计数系统及方法
CN115157266B (zh) * 2022-08-04 2025-07-11 南通理工学院 一种基于智能视觉及plc控制的三自由度机器人码垛方法
CN115512453A (zh) * 2022-09-06 2022-12-23 国药控股广东物流有限公司 一种货物验收方法、系统、电子设备及介质
CN116309831A (zh) * 2023-02-17 2023-06-23 杭州长川科技股份有限公司 探针台相机标记物识别方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006297759A (ja) * 2005-04-20 2006-11-02 Nok Corp 不適合品発生防止成形システム
CN201355347Y (zh) * 2009-01-20 2009-12-02 惠州市华阳精机有限公司 一种产品外观检测设备
CN103235998A (zh) * 2013-04-17 2013-08-07 江苏太运集团有限公司 智能物流物联网传感系统
CN204303078U (zh) * 2014-12-18 2015-04-29 蔡异 基于机器视觉辅助的贩卖机货物存储及取拿系统
CN106985145A (zh) * 2017-04-24 2017-07-28 合肥工业大学 一种搬运输送机器人
CN107451788A (zh) * 2017-09-09 2017-12-08 厦门大壮深飞科技有限公司 基于自主导航的无人机物流集中自动投递方法及投递站

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8611919B2 (en) * 2002-05-23 2013-12-17 Wounder Gmbh., Llc System, method, and computer program product for providing location based services and mobile e-commerce

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006297759A (ja) * 2005-04-20 2006-11-02 Nok Corp 不適合品発生防止成形システム
CN201355347Y (zh) * 2009-01-20 2009-12-02 惠州市华阳精机有限公司 一种产品外观检测设备
CN103235998A (zh) * 2013-04-17 2013-08-07 江苏太运集团有限公司 智能物流物联网传感系统
CN204303078U (zh) * 2014-12-18 2015-04-29 蔡异 基于机器视觉辅助的贩卖机货物存储及取拿系统
CN106985145A (zh) * 2017-04-24 2017-07-28 合肥工业大学 一种搬运输送机器人
CN107451788A (zh) * 2017-09-09 2017-12-08 厦门大壮深飞科技有限公司 基于自主导航的无人机物流集中自动投递方法及投递站

Also Published As

Publication number Publication date
CN108460552A (zh) 2018-08-28

Similar Documents

Publication Publication Date Title
CN108460552B (zh) 一种基于机器视觉和plc的钢材仓储控制系统
DE102019130046B4 (de) Robotersytem mit verbessertem Abtastmechanismus
CN106041937B (zh) 一种基于双目立体视觉的机械手抓取控制系统的控制方法
CN108460799A (zh) 一种逐步逼近亚像素图像定位方法和系统
CN112964724B (zh) 一种多目标多区域视觉检测方法及检测系统
CN111160352A (zh) 一种基于图像分割的工件金属表面文字识别方法及系统
CN109816725A (zh) 一种基于深度学习的单目相机物体位姿估计方法及装置
CN108846401A (zh) 商品检测终端、方法、系统以及计算机设备、可读介质
CN118154105B (zh) 一种智能仓库管理系统
CN104992449A (zh) 基于机器视觉的信息识别及表面缺陷在线检测方法
CN112497219B (zh) 一种基于目标检测和机器视觉的柱状工件分类定位方法
CN115330734A (zh) 一种基于三维目标检测和点云缺陷补全的自动化机器人补焊系统
CN113222940B (zh) 一种基于rgb-d图像和cad模型的机器人自动抓取工件方法
CN116228854B (zh) 一种基于深度学习的包裹自动分拣方法
CN116309882B (zh) 一种面向无人叉车应用的托盘检测和定位方法及系统
CN207976755U (zh) 一种基于机器视觉和plc的钢材仓储控制系统
CN106446888A (zh) 摄像模组多标识符识别方法及设备
CN118143917A (zh) 一种用于机器人示教的方法及装置
CN114419451B (zh) 电梯内外识别方法、装置、电子设备及存储介质
CN115393855A (zh) 一种车牌产品质量检测方法、系统及设备
CN115082395B (zh) 一种航空行李自动识别系统及方法
Druskinis et al. A hybrid approach for accurate 6d pose estimation of textureless objects from monocular images
CN114266822B (zh) 基于双目机器人的工件质检方法、装置、机器人及介质
CN117381793A (zh) 一种基于深度学习的物料智能检测视觉系统
CN117372434B (zh) 一种用于pcb板生产用的定位系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210706

CF01 Termination of patent right due to non-payment of annual fee