CN108460799A - 一种逐步逼近亚像素图像定位方法和系统 - Google Patents

Abstract

本发明公开了一种逐步逼近亚像素图像定位方法和系统，包含如下步骤，获取初始图像信息、Blob分析提取形态学边缘法提取边缘轮廓、形态学膨胀提取边缘过渡带、边缘剪切、Canny算法、多边形逼近法、共线联合算法、最小二乘法直线拟合、图像轮廓交点获取及图像轮廓中心点获取。最终获得图像的精确定位。本发明与传统方式相比，具有定位精度高、误差小抗干扰能力强的优点。

Description

一种逐步逼近亚像素图像定位方法和系统

技术领域

本发明属于图像检测定位领域，涉及到一种逐步逼近亚像素图像定位方法和系统。

背景技术

精确的确定数字图像位置，对于图像测量非常的重要。同时，图像的获取过程中受到各种噪声的影响，传统的提取方法的精度有限，且易受参数的影响，必然会引起图像的模糊，因此对图像的定位技术的研究一直是一个热门。关于图像中点与线的定位人们研究并提出了多种定位方法，每种方法都有其特定的应用条件和精度要求。亚像素定位算法的已经比较成熟且分类日趋明确，其大致可以分为以下三类：曲线拟合法、插值法、基于矩的方法。

曲线拟合方法是在对边缘进行初始定位的基础上，选取参加拟合的像素点集合，然后以最小二乘为原则，采用积分的方法，提取满足边缘特征的曲线方程参数从而确定其边缘的精确位置，最小二乘法能够一次计算出边缘图像的直线或曲线部分边界，定位快速，但是这种算法要求已经明确边缘图像中像素点的分布表达式，即哪些像素点最终要拟合成直线或圆。这样同时含有直线和圆的图像的亚像素定位步骤较为复杂。

插值边缘定位方法根据构造空间拟合函数的不同，可分为线性插值方法和曲线插值方法。线性插值主要用于工业现场的在线测量中，根据离散灰度、坐标序列构造线性函数来获取最佳逼近的灰度曲线，这种方法与真实曲线接近程度差，只有在对比度强、信噪比高的情况下才能获得比较好的细分效果；曲线插值主要用于复杂背景下动态目标的跟踪、捕获、定位，是对目标运动轨迹未来走势的预估计技术，或者用于精确度要求比较高的检测场合。总的来说，插值法的计算量小、重复性好，但定位精度较拟合法和基于矩的方法低。

矩保持法的亚像素边缘定位方法，可细分为空间矩、灰度矩、Zernike正交矩。灰度矩边缘检测法具有对灰度平移和缩放的不变性。它利用边缘两边区域可能的分布和统计特性来定位边缘，其准确性比较差。尽管在同等条件下，相比其它矩方法，灰度矩的运算量最小，但是其在抗噪声能力和边缘定位精度方面逊色于其它两种方法。

空间矩边缘定位方法的特点是计算过程相对简单、检测精度高，可以适用于任意尺寸窗口。同时不受图像灰度数据的加性、乘性噪声变化的影响。Zernike正交矩与空间矩的原理一致，但是处理受噪声影响或存在伪影的图片时，空间矩的定位精度要高于Zernike矩。

我国是钢铁流通和消费大国，钢铁行业从2002年开始出现需求高速增长的行情，随着钢材销量和价格的增长，众多资本投入到钢材市场中，在钢材生产和销售量飞速增长时期，钢材仓储业务量自然显著增长。仓储是钢材贸易的必需环节，随着我国的钢材总体需求量放缓，市场对钢材仓储企业的仓储技术和管理手段提出更高要求。

在钢材仓储系统中实现智能化，货物出库入库自动化是仓储系统中的一个关键环节。目前国内货物出库入库自动化程度较低，货物入库的过程，均由人为输入货物牌号，难免会出现误输入，导致入库出库过程发生误取货；以及机械手提取货物过程中，传统的定位方法多采用伺服电机控制系统，而内部伺服系统每次取货都需要回原点消除累积误差，降低了取货效率，否则将降低定位精度，定位不精准会导致机械手卡住等现象。一旦出现上述情况，整个仓储系统的执行效率将会大幅下降，带来不必要的经济损失。

发明内容

为了解决图像定位不准及效率不高的问题，本发明提出了一种逐步逼近亚像素图像定位方法，包含以下步骤：

S1：获取初始图像信息；

S2：将S1获取的所述初始图像信息使用Blob分析提取得到图像边缘；

S3：对S2获得的所述图像边缘使用形态学边缘法进行提取，得到图像的二值图像像素级边缘轮廓；

S4：对S3获得的二值图像像素级边缘轮廓使用形态学膨胀法进行提取，得到图像的边缘过渡带；

S5：对S4获得的所述过渡边缘带进行剪切，得到可识别的图像边缘信息；

S6：预设平滑系数和双阈值，对S5获得的可识别的边缘图像信息调用Canny算法，筛选得到真实有效的图像边缘；

S7：预设多边形逼近迭代次数的阈值，使用多边形逼近法对S6获得的所述真实有效的图像边缘进行分割，提取得到多段边缘直线；

S8：对S7获得的所述多段边缘直线使用共线联合算法，将在同一条直线上的多段直线轮廓进行联合，得到图像边缘直线；

S9：对S8获得的所述图像边缘直线使用最小二乘法进行直线拟合，得到图像轮廓的四条边线；

S10：对S9获得的图像轮廓四条边线，得到四条边线所围成的封闭区域的四个交点；

S11：对S10获得的图像轮廓交点，求出图像轮廓中心点坐标并保存。

在本发明逐步逼近亚像素图像定位方法中，所述步骤S2中的Blob分析提取包含以下步骤：

S21：提取初始图像中的S图像进行阈值分割，获得图像的二值图像信息；

S22：对步骤S21获得的二值图像信息进行矩形形态学开运算；

S23：对矩形形态学开运算处理后的二值图像进行拟合，形成一个矩形区域，得到运算范围。

在本发明逐步逼近亚像素图像定位系统中，包含以下模块：

初始图像信息获取模块：用于获取初始图像信息；

Blob分析提取模块：用于对获取的图像信息使用Blob分析提取图像边缘；

形态学边缘法提取边缘轮廓模块：用于对Blob分析提取模块中获得的图像边缘使用形态学边缘法，提取到图像的二值图像的像素级边缘轮廓；

形态学膨胀提取边缘过渡带模块：用于对形态学边缘法提取边缘轮廓模块中获得的二值标志牌图像的像素级边缘轮廓使用形态学膨胀法，提取出图像的边缘过渡带；

边缘剪切模块：用于对形态学膨胀提取边缘过渡带模块所获得的图像的过渡边缘带进行剪切，获取可识别的图像边缘信息；

Canny算法模块：用于对边缘剪切模块中获得的可识别的图像边缘调用Canny算法，设置平滑系数和双阈值，筛选出真实有效的图像边缘；

多边形逼近法模块：预设多边形逼近迭代次数的阈值，用于对Canny算法模块中获得的真实有效的图像边缘使用多边形逼近法分割边缘，提取多段边缘直线；

共线联合算法模块：用于对多边形逼近法模块中获得的多段图像边缘直线使用共线联合算法，将提取的在同一条直线上的多段直线轮廓进行联合，形成图像边缘直线；

最小二乘法直线拟合模块：用于对共线联合算法模块中获得的图像边缘直线使用最小二乘法进行直线拟合，获取图像轮廓的四条边线；

图像轮廓交点获取模块：用于对最小二乘法直线拟合模块中获得的图像轮廓四条边线，求出四条边线所围成的封闭区域的四个交点；

图像轮廓中心点获取模块：用于对图像轮廓交点获取模块中获得的图像轮廓交点，求出图像轮廓中心点坐标并保存。

在本发明逐步逼近亚像素图像定位系统中，Blob分析提取模块包含以下模块：

阈值分割模块：用于对初始图像信息获取模块中的S图像进行阈值分割，获得图像的二值图像信息；

矩形形态学开运算模块：用于对阈值分割模块中获得的二值图像信息进行矩形形态学开运算；

矩形拟合模块：用于对对矩形形态学开运算模块处理后的二值图像进行拟合，形成一个矩形区域，得到运算范围。

本发明提供了一种逐步逼近亚像素图像定位方法和系统，应用在基于机器视觉和PLC 的钢材仓储控制系统中，具有以下有益效果：算法的正确率非常高，有效降低了误取率。提高了取放货效率以及定位精度，可长时间正常运行，实现了零误差取货以及高效率高精度定位。

附图说明

下面将结合附图和实施例对本发明作进一步的说明，附图中：

图1为本发明实施例钢材仓储控制系统的各组成部分示意图；

图2为本发明实施例钢材仓储控制系统系统总流程图；

图3为本发明实施例钢材仓储控制系统OCR图像处理算法流程图；

图4为本发明实施例钢材仓储控制系统Blob分析提取流程图；

图5为本发明实施例摄像机标定方法坐标系转换示意图；

图6为本发明实施例逐步逼近亚像素图像定位方法流程图。

图1中标号说明：1-钢材货物，2-光源，3-工业相机，4-工业镜头，5-光照箱，6-机械臂，7-工控机，8-传送带，9-传动装置，10-电机，11-驱动器，12-PLC。

具体实施方式

选取基于机器视觉和PLC的钢材仓储控制系统作为本发明方法的实施对象。本实施例对象机器视觉和PLC的钢材仓储控制系统各组成部分示意图参考图1，提供了一种基于机器视觉和PLC的钢材仓储控制系统，用来对钢材进行精确出库入库，所述逐步逼近亚像素图像定位方法和系统包含可移动的机械执行装置、PLC控制装置、工控机及机器视觉模块。其中可移动的机械执行装置包含机械臂6和传动装置9。PLC控制装置包含电机7、驱动器 8及PLC9。机器视觉模块包含光源2、工业相机3、光照箱4以及在工控机7内的数据库软件；PLC控制装置通过电缆与工控机相连；传动装置9与机械臂6相连；光照箱4安装在传动装置9下方；工业相机3位于光照箱4内，通过电缆与工控机7相连；光照箱5安装在货物仓储位置上方；在工控机7内部的数据库软件对货物商标进行校验，并触发精准定位，控制机械臂6进行抓取货物。本系统还包含数据处理模块和通信模块。

在本实施例中PLC运动控制模块包括西门子s7-200smart PLC与步进驱动器、步进电机。S7-200smartPLC通过PTO方式实现位置开环控制，控制步进电机运动到目标位置。

数据处理模块包括工控机内的基于MySql的钢材数据库以及工控机软件。

本发明实施例中通信模块采用了西门子的自由口通信协议。西门子smart200系列PLC 的自由口通信的硬件接口为RS485的9针DB口，端口操作的核心指令XMT和RCV，通信协议参数分别为9600bit/s，8位数据位，无奇偶校验位，1位停止位。自由口通信对于RS485 口上通信，基于串口半双工通信原理，在一条通讯回路上，只能允许一种通讯方式正在工作。因此，首轮XMT发送指令，由定制器0中断触发，后续必须等待RCV指令接收到数据后，才可执行XMT发送指令。

本发明实施例中软件部分包括人机交互界面、机器视觉模块、数据库模块以及通信模块。其中，人机交互界面基于C#开发；机器视觉模块基于C#与halcon联合开发；数据库模块使用的是Mysql数据库；通信模块基于C#开发的与西门子smart200自由口通信。

参见图2，一种逐步逼近亚像素图像定位方法和系统，其工作流程步骤包括：

搭建硬件实验平台，确认电源线以及信号线连接可靠；

根据对外部环境以及定位的精度要求，设置拍摄清晰图像的工业相机参数；

打开计算机和软件，首先点击注册，注册完成后输入相应的用户名和密码，点击登录进入主操作界面，在主操作界面连接相机，设置串口信息即可连接PLC；若需要入库，在货物标识牌号处填写对应牌号以及货架的行与列位置参数，点击入库按钮；

触发PLC运动控制系统驱动电机带动取货装置运转到目标位置，执行到位后，将触发工业相机拍摄钢材货物标识牌，对实时拍摄的钢材货物标识牌图像进行OCR识别图像算法处理，提取对应的牌号字符。

将提取的牌号字符与数据库中的目标牌号字符进行对比校验，校验成功后，取货装置将执行动作；并在软件访问钢材仓储数据库，数据库记录入库货物信息，软件记录放货装置的位置信息；

入库校验成功后，将再次触发工业相机拍摄钢材货物标识牌，对实时拍摄的钢材货物标识牌图像进行摄像机标定，并使用Blob分析获取图像相应的位置参数；

实时拍摄的钢材货物标识牌图像所提取的位置参数通过串口通信传入PLC运动控制系统中，并触发PLC运动控制系统驱动电机运转到目标位置，完成粗定位；

粗定位执行到位后，将再次触发工业相机拍摄钢材货物标识牌，对实时拍摄的钢材货物标识牌图像进行逐步逼近亚像素图像法进行边缘轮廓提取，获取进一步更加精准图像位置参数；

将上一步中实时拍摄的钢材货物标识牌图像所提取的位置参数通过串口通信传入PLC 运动控制系统中，并触发PLC运动控制系统驱动电机运转到目标位置，完成精定位；

若需要出库，在货物标识牌号处填写对应牌号，点击出库按钮，软件将访问钢材仓储数据库，读取数据库中货物位置信息，并与上次放货或取货位置信息计算出目标位置，其他步骤与入库相同。

所述OCR识别图像处理算法是基于HSV颜色控件转换与Blob分析的图像处理方法，流程图见图3，具体OCR识别算法步骤为：

1.对工业相机实时拍摄的钢材货物标识牌图像进行RBG颜色空间图像分解；

2.对RBG颜色空间图像分解后的RGB图像进行空间转换至HSV颜色空间；

3.对HSV颜色空间转换后的钢材货物标识牌图像使用Blob分析提取可识别的标示牌中标识号的图像信息；

4.对经过Blob分析提取处理的标志牌的二值图像进行形状特征和位置特征筛选，获取标示牌中标识号的图像信息；

4.对形状特征和位置特征筛选后的标识号的图像信息进行字符分割，得到多个单字符的图像数组；

5.读取OCR的训练文件生成多层神经网络分类器，对字符分割后得到的多个单字符的图像数组进行机器多层神经网络感知识别并保存在数组中。

其中Blob分析提取方法流程见图4，包含以下步骤：

1.对HSV颜色空间转换后获得的HSV图像，提取其中的S图像进行阈值分割，提取标志牌的二值图像信息；

2.对阈值分割后的标志牌的二值图像信息进行矩形形态学开运算；

3.对经过矩形形态学开运算处理的标志牌的二值图像进行矩形拟合模拟，给形状特征和位置特征筛选提供运算范围；

其中，所述粗定位工作流程中的摄像机标定方法，示意图见图5，将世界坐标系转换到图像像素坐标系，中间经历了相机坐标系与图像物理像素坐标的过渡，实现物理毫米到图像像素的转换，具体步骤为：

在图像像素坐标系中，坐标为(u0，v0)，每个像素在x轴与y轴方向上的物理尺寸为dx，dy，则在图像中任意一个像素在两个坐标系的对应关系如下：

将上式代入齐次坐标系中，矩阵运算形式如下：

在摄像机坐标系：O-XcYcZc，图像坐标系：O1-XY

根据三角形相似原理，有

公式1.3中，f代表摄像机焦距，由于摄像机坐标系为三维坐标系，而图像物理坐标系为二维坐标系，因此，将空间三维空间信息转换到二维空间信息时，将会有Z轴方向信息的损失，在齐次坐标系中，引入一个3×4投影变换矩阵，矩阵运算形式如下：

摄像机坐标系与世界坐标系都属于现实三维空间坐标系，两者的转换是通过旋转矩阵 R和平移矩阵t完成的，在齐次坐标系中，矩阵运算如下：

由上可知，图像像素坐标系与图像物理坐标系的转换，图像物理坐标系与摄像机坐标系的转换以及摄像机与世界坐标系的转换公式，联立所有公式，可得出图像像素坐标系与世界坐标系的转换关系，矩阵运算形式如下：

上述公式完成了从世界坐标系到图像像素坐标系的转换，中间经历了相机坐标系与图像物理像素坐标的过渡，X_w中的w表示世界物理坐标系，单位为毫米，而u，v的单位为像素，即完成了从毫米到像素的转变。通过使用halcon的标定助手，获取相机的内外参数即可获取到图像单位像素对应的实际尺度。完成摄像机标定后，通过Blob分析获取粗定位坐标，触发PLC运动控制系统完成粗定位。

其中，工作流程精定位是基于本发明提出的一种逐步逼近的亚像素图像定位法，流程图见图6，具体步骤如下：

完成摄像机标定后，通过Blob分析获取粗定位坐标，触发PLC运动控制系统完成粗定位，并再次触发摄像机实时拍摄；

对实时拍摄的钢材货物标识牌图像使用Blob分析提取法提取图像边缘；

对获得的标识牌图像边缘使用形态学边缘提取，获得提取到标志牌的二值图像的像素级边缘轮廓；

对所获得的标识牌图像边缘使用形态学膨胀，提取出图像的边缘过渡带；

对标识牌图像的过渡边缘带进行剪切，获取可识别的标示牌边缘的图像信息；

对所获得的标识牌图像使用halcon的edges_sub_pix算子，调用Canny算法，使用平滑系数设置在1-3之间，平滑系数偏小时，容易出现假边缘，而平滑系数设置过大时，会出现边缘偏差；双阈值分别设置10，60，60为最大阈值，筛选出绝对真实的边缘，10为最小阈值，用于连接真实边缘的细小边缘；

其中Canny算法步骤为：

1.用二维高斯模板对标志牌边缘过渡带图像进行卷积以消除杂点，去除噪声，降低伪边缘的识别；2.用一阶偏导数的有限差来计算图像的梯度的幅值和方向；3.对梯度幅值进行非极大值抑制，保留局部最大梯度而抑制所有其他梯度值；

4.使用双阈值算法检测和连接边缘。

对所获得的标识牌图像使用halcon的segment_contours_xld算子，使用多边形逼近法分割边缘，提取直线，迭代阈值分别设置为5，2，第一个阈值设置粗分割，第二个阈值设置细分割；

对所获得的标识牌图像使用halcon的union_collnear_contours_xld算子，通过共线联合法，将在一条直线上的多段直线轮廓进行联合；

对所获得的标识牌图像使用halcon的fit_line_contour_xld算子，使用最小二乘法拟合直线；

对所获得的标识牌图像使用halcon的intersection_lines算子，获取边缘轮廓直线的交点，通过轮廓边线交点用对角线法获取轮廓中心点坐标，从而得到钢材货物的精确位置信息；

将钢材货物的精确位置信息传输到PLC控制装置中，触发PLC机械执行装置将钢材货物运转到目标精确位置，执行出库/入库操作。

在不冲突的情况下，本文中上述实施例及实施例中的特征可以相互结合。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种逐步逼近亚像素图像定位方法，其特征在于，包含以下步骤：

S1：获取初始图像信息；

S2：将S1获取的所述初始图像信息使用Blob分析提取得到图像边缘；

S3：对S2获得的所述图像边缘使用形态学边缘法进行提取，得到图像的二值图像像素级边缘轮廓；

S4：对S3获得的二值图像像素级边缘轮廓使用形态学膨胀法进行提取，得到图像的边缘过渡带；

S5：对S4获得的所述过渡边缘带进行剪切，得到可识别的图像边缘信息；

S6：预设平滑系数和双阈值，对S5获得的可识别的边缘图像信息调用Canny算法，筛选得到真实有效的图像边缘；

S7：预设多边形逼近迭代次数的阈值，使用多边形逼近法对S6获得的所述真实有效的图像边缘进行分割，提取得到多段边缘直线；

S8：对S7获得的所述多段边缘直线使用共线联合算法，将在同一条直线上的多段直线轮廓进行联合，得到图像边缘直线；

S9：对S8获得的所述图像边缘直线使用最小二乘法进行直线拟合，得到图像轮廓的四条边线；

S10：对S9获得的图像轮廓四条边线，得到四条边线所围成的封闭区域的四个交点；

S11：对S10获得的图像轮廓交点，求出图像轮廓中心点坐标并保存。

2.根据权利要求1所述逐步逼近亚像素图像定位方法，其特征在于，所述步骤S2中的Blob分析提取包含以下步骤：

S21：提取初始图像中的S图像进行阈值分割，获得图像的二值图像信息；

S22：对步骤S21获得的二值图像信息进行矩形形态学开运算；

S23：对矩形形态学开运算处理后的二值图像进行拟合，形成一个矩形区域，得到运算范围。

3.一种逐步逼近亚像素图像定位系统，其特征在于：包含以下模块：

初始图像信息获取模块：用于获取初始图像信息；

Blob分析提取模块：用于对获取的图像信息使用Blob分析提取图像边缘；

形态学边缘法提取边缘轮廓模块：用于对Blob分析提取模块中获得的图像边缘使用形态学边缘法，提取到图像的二值图像的像素级边缘轮廓；

形态学膨胀提取边缘过渡带模块：用于对形态学边缘法提取边缘轮廓模块中获得的二值标志牌图像的像素级边缘轮廓使用形态学膨胀法，提取出图像的边缘过渡带；

边缘剪切模块：用于对形态学膨胀提取边缘过渡带模块所获得的图像的过渡边缘带进行剪切，获取可识别的图像边缘信息；

Canny算法模块：用于对边缘剪切模块中获得的可识别的图像边缘调用Canny算法，设置平滑系数和双阈值，筛选出真实有效的图像边缘；

多边形逼近法模块：预设多边形逼近迭代次数的阈值，用于对Canny算法模块中获得的真实有效的图像边缘使用多边形逼近法分割边缘，提取多段边缘直线；

共线联合算法模块：用于对多边形逼近法模块中获得的多段图像边缘直线使用共线联合算法，将提取的在同一条直线上的多段直线轮廓进行联合，形成图像边缘直线；

最小二乘法直线拟合模块：用于对共线联合算法模块中获得的图像边缘直线使用最小二乘法进行直线拟合，获取图像轮廓的四条边线；

图像轮廓交点获取模块：用于对最小二乘法直线拟合模块中获得的图像轮廓四条边线，求出四条边线所围成的封闭区域的四个交点；

图像轮廓中心点获取模块：用于对图像轮廓交点获取模块中获得的图像轮廓交点，求出图像轮廓中心点坐标并保存。

4.根据权利要求3所述逐步逼近亚像素图像定位系统，其特征在于：所述Blob分析提取包含以下模块：

阈值分割模块：用于对初始图像信息获取模块中的S图像进行阈值分割，获得图像的二值图像信息；

矩形形态学开运算模块：用于对阈值分割模块中获得的二值图像信息进行矩形形态学开运算；

矩形拟合模块：用于对对矩形形态学开运算模块处理后的二值图像进行拟合，形成一个矩形区域，得到运算范围。