CN111322963A - 一种基于双目图像处理的零部件动态排列方法 - Google Patents

Abstract

本发明涉及一种基于双目图像处理的零部件动态排列方法，通过双目摄像头捕捉零部件图像，经图像处理算法识别零部件尺寸、编码，根据仓库存储位信息自动判断选择合适的存储位，对零部件动态排列。方法包括图像获取、图像处理、识别算法和动态排列四大部分。图像获取包括摄像头的架设、设计零部件图像获取方式；图像处理包括识别图像中的零部件范围、识别零部件标签范围；识别算法包括计算零部件尺寸、识别标签编码；动态排列包括根据零部件尺寸与各存储位尺寸，选择合适的存储位进行自动码放。本发明达到了基于视觉系统，经过算法运算自动对零部件合理地排列入仓储位的效果，大大减少了在零部件存储过程中的人工成本。

Description

一种基于双目图像处理的零部件动态排列方法

技术领域

本发明涉及了一种基于双目图像处理的零部件动态排列方法，属于智能制造控制领域。

背景技术

双目立体视觉的测量技术是在计算机视觉的基础上发展起来的一项新型非接触测量技术，它具有测量速度快、测量精度高、实时性强的显著优点，已成为国内外解决先进制造业中测量问题的研究热点。在多个领域中，通过这种技术均可以大大提高工作效率、减少人工成本。比如有基于双目视觉原理提取车身空间位置参数，实现汽车风挡玻璃的智能安装；以及有人提出了一种圆筒型热态锻件的立体视觉在线测量方法，可测量锻件的长度和直径；还有在工件测量方面，有一种激光线扫描与双目视觉相结合的零件在线测量方法，但该方法需要往工件表面投射线结构光，系统较为复杂；同时，还有通过一种采用Harris算子提取工件若干特征点，并基于双目视觉原理计算其三维坐标的方法，但该方法测量精度较低。

双目视觉测量系统是由两个成一定角度的摄像机组成，它将同一时刻拍摄的两副图像，经过特征提取和空间匹配得到一系列两两对应的激光条纹的二维像素坐标。将该坐标代入摄像机标定建立的方程中，即可得到包含空间点的方程。传统的求解方法是利用最小二乘法求解未知参数，由于摄像机标定和数字图像处理算法的误差影响，两两对应的二维像素坐标与摄像机光心所定义的直线实际并非相交直线，绝大部分为异面直线。

因此，在逆向工程中，双目视觉测量是根据激光三角法测量原理，利用两个不同方位的摄像机获取被测物体信息，是近几年国内发展较快的机器视觉测量系统。它测量速度快、精度高，对被测物体无损伤，广泛应用于工业复杂曲面的测量。基于此种方法产生的各种相关应用具有很大实际意义。

发明内容

本发明所针对的问题主要是在零部件存储入库过程中，传统方法必须由人工对零部件尺寸、规格型号进行判断，选择合适的存储位，这样的方法一是占用人工成本，另外入库效率、库位选择的准确度均不高。因此提出一种基于双目图像处理的零部件动态排列方法，可以降低人力成本、提高入库效率。

如何解决上述问题，本发明采用的技术方案是：一种基于双目图像处理的零部件动态排列方法，包括如下步骤：

图像处理：对获取到的双目图像进行图像处理，确定零部件位置、零部件标签位置、去除背景颜色、提取零部件轮廓；

识别零部件：通过双目图像提取到的零部件轮廓进行尺寸计算、通过标签进行文字识别；

动态排列：根据库存和仓储位情况，为识别出的零部件动态选择仓储位。

采用两个工业相机，二者连线中点的垂线上放置待测零部件。

所述图像处理具体为接收到待测零部件的两幅图像后，对每幅图像进行如下操作：

读取图像，获取各像素点颜色值，使用HSV颜色空间的H值进行记录；

获取图像中心点像素坐标，以此点为中心向外扩散设定范围，取该范围内像素颜色平均值作为零部件颜色；设定阈值，遍历图像像素点，对在零部件颜色阈值范围内的像素点全部标记为1，不在范围内的全部标记为0；

去除背景外的点：从图像的中心像素点开始加入队列，如队列不空则依次出队列，每出队列1个将这个点标记为2，然后从这点开始上下左右遍历相邻四个点，遇到的标记为1的点全都加入队列，直至遇到0为止；至此标记为2的点均为图像中零部件上的点；

提取轮廓：由图像的上下左右四个方向逐行逐列对像素点遍历，每次遇到的第一个被标记为2的点即为零部件轮廓，轮廓点标记为3；

确定标签范围：被标记为2的点包围的目前标记为0的点即为标签上的点。

所述提取轮廓包括以下步骤：

从图像的左上角开始，向下逐行从左至右读取像素点，每行遇到的第一个被标记为2的点即为零部件轮廓，轮廓点标记为3；

从图像的左上角开始，向右逐列从上至下读取像素点，每列遇到的第一个被标记为2或3的点即为零部件轮廓，轮廓点标记为3；

从图像的右下角开始，向上逐行从右至左读取像素点，每行遇到的第一个被标记为2或3的点即为零部件轮廓，轮廓点标记为3；

从图像的右下角开始，向左逐列从右至左读取像素点，每列遇到的第一个被标记为2或3的点即为零部件轮廓，轮廓点标记为3；

所有标记为3的点即为零部件轮廓。

所述识别零部件包括以下步骤：

首先对对每幅图像进行如下处理：

第一步，根据相机横向视角2α和零部件中心点在像素中的横坐标值x，求出用像素值表示的零部件距摄像机的距离h1＝x/tanα，再分别根据图像中零部件轮廓上的最左侧点横坐标和最右侧点横坐标，与中心点横坐标作差得到l1、l2，l1、l2再与h1分别做商求出零部件上这两点在图像中的视角角度α1、α2，此时利用这两个视角角度的正切值tanα1、tanα2与零部件到相机的实测距离做乘法，得到的结果再相加即为通过这幅图像算出的零部件的宽度a_i；i表示图像序号；

第二步，根据摄像机纵向视角2β和零部件中心点在像素中的纵坐标值y，求出用像素值表示的零部件距摄像机的距离h2＝y/tanβ，再分别根据图像中零部件轮廓上的的最上侧点和最下侧点纵坐标，分别与中心点纵坐标作差得到d1、d2，d1、d2再与h2分别做商求出零部件上这两点在图像中的视角角度β1、β2，此时利用这两个视角角度的正切值tanβ1、tanβ2与零部件到摄像机的实测距离做乘法，得到的结果再相加即为通过这幅图像算出的零部件的高度b _i；i表示图像序号，为1、2；

最终零部件的宽为(a1+a2)/2，高为(b1+b2)/2；

根据标签范围识别文字并存储。

所述动态排列包括以下步骤：

将仓库各存储位信息预先录入数据库，存储位信息包括尺寸、剩余空位个数，并实时更新；

根据零部件宽和高，选择存储位：首先判断各尺寸存储位是否有空位，然后读取有空位的存储位尺寸，把宽和高分别大于零部件宽、零部件高的空存储位作为备选，在备选中选择占用率最高的作为存储位，记录该存储位编号并保存，用于人工或机器人将零部件放入选择的存储位。

本发明的有益效果和优点是：

1、该方法对摆放到指定位置的零部件，自动作出识别，选择合适存储位，减少人工排列的工作量。

2、通过该方法对零部件进行的排列最大限度利用存储空间，提高存储效率。

3、该方法中图像处理部分以及识别算法可用于其他应用场景。

附图说明

图1是本发明的整体示意图。

图2是本发明中图像获取部分流程图。

图3是本发明中图像处理部分的流程图。

图4是本发明中识别算法的流程图。

图5是本发明动态排列部分的流程图。

具体实施方式

下面参照附图对本发明进行详细介绍，进一步清晰地描述本发明的目的、具体技术方案以及优势。

一种基于双目图像处理的零部件动态排列方法，包括以下内容：图像获取，是本方法中双目图像的来源。包括摄像机的架设、标定、确定零部件位置等操作；

图像处理，对获取到的双目图像进行图像处理，确定零部件位置、零部件标签位置、去除背景颜色、提取零部件轮廓；

识别算法，识别零部件尺寸、识别零部件标签编号。通过两幅图提取到的零部件轮廓进行尺寸计算、通过标签基于OCR技术进行文字识别。

动态排列，根据录入系统的库存情况、仓储位情况，结合识别出的零部件尺寸、编码，动态选择最合适的仓储位。

所述摄像机的架设、标定、确定零部件位置等操作包括以下内容：

1)选择摄像机规格型号，要求达到工业级标准，架设相机时两台相机之间连线相对于待测零部件位置保持平行，连线中点正对待测零部件；

2)如选取摄像机已有标定数据，无需再次标定，否则应标定摄像机视角；

3)确定零部件位置即确定待测零部件的摆放位置，方法投入使用后每个待测零部件依次放置在该位置。

所述对获取到的双目图像进行图像处理包括以下步骤：

1)读取两幅待处理图像，获取各像素点数据；

2)确定零部件颜色、确定零部件范围；

3)去除背景干扰；

4)识别零部件标签范围、提取零部件轮廓。

所述识别零部件尺寸、识别零部件标签编号包括如下内容：

1)根据两幅图像中的零部件轮廓计算出零部件的长宽；

2)基于OCR技术，识别出零部件标签上的零部件编号；

所述根据录入系统的库存情况、仓储位情况，结合识别出的零部件尺寸、编码，动态选择最合适的仓储位包括以下步骤：

1)录入存储位信息(存储位尺寸、剩余空位数)；

2)选择合适存储位；

3)零部件入库存储。

本发明包括以下步骤：

1)首先搭建一组图像获取系统，包括双目摄像机设备的选择，确定摄像机位置，摄像机标定，确定待测设备位置等等；

2)利用图像处理算法对获取到的图像进行处理，首先确定待测零部件颜色、位置，处理得到零部件轮廓、标签位置；

3)通过识别算法计算出零部件尺寸、识别出标签编号内容；

4)根据零部件尺寸与存储位尺寸与剩余空位数，将零部件排列入库。

参见图1，这是本发明的整体示意图，分为图像获取、图像处理、识别算法、动态排列四大部分。

图像获取，负责获取本方法中需要使用的双目图像。如图所示，两摄像机水平架设，待测零部件置于两摄像机连接线的垂直平分线上。且要求零部件标签正对于两摄像机连线。

图像处理部分对拍摄的左图和右图均进行处理。

识别算法部分根据处理后的两幅图中零部件的轮廓、摄像机视角、零部件据摄像机距离，计算得出零部件尺寸。根据文字标签，识别出零部件编号，录入系统。

动态排列部分根据实时获取的存储位信息(存储位大小、剩余空位)，对零部件应放入的存储位做出判断，进行入库。

参见图2，是本发明中图像获取部分流程图。首先选取摄像机两个，要求为工业级别相机；查看相机是否有标定数据，如无标定数据，则对相机视角进行标定，标定方法为先固定摄像机位置，在摄像机正前方移动某物体至相机视野的左侧边缘，记录下该点位置，移动至视野右侧边缘，记录下该点位置，根据这两点位置及摄像机位置可计算得到摄像机左右视角范围，上下视角同理；标定后固定两摄像机位置，要求两摄像机均正对待测零部件方向，且两摄像机连线与待测物体正面平行；随后确定待测零部件放置点，在两摄像机连线的垂直平分线上；零部件到位后，两摄像机拍摄照片，上传至系统。

参见图3，是发明中图像处理部分的流程图。接收到待测零部件的两幅图像后，开始调用算法对其进行处理。处理流程如下，读取图像，获取各像素点颜色值，使用HSV颜色空间的H值进行记录；获取图像中心点像素坐标，以此点为中心向外扩散一定范围，取该范围内像素颜色平均值作为零部件颜色；设定阈值，遍历图像像素点，对在零部件颜色阈值范围内的像素点全部标记为1，不在范围内的全部标记为0；去除背景外的点，方法是从图像的中心像素点开始加入队列，如队列不空则依次出队列，每出队列1个将这个点标记为2，然后从这点开始上下左右遍历矩阵，遇到的标记为1的点全都加入队列，直至遇到0为止，至此标记为2的点均为图像中零部件上的点；提取轮廓，由图像的上下左右四个方向逐行逐列对像素点遍历，每次遇到的第一个被标记为2的点即为零部件轮廓，轮廓点标记为3；确定标签范围，被标记为2的点包围的目前标记为0的点即为标签上的点。

其中，提取轮廓包括以下步骤：从图像的左上角开始，向下逐行从左至右读取像素点，每行遇到的第一个被标记为2的点即为零部件轮廓，轮廓点标记为3；从图像的左上角开始，向右逐列从上至下读取像素点，每列遇到的第一个被标记为2或3的点即为零部件轮廓，轮廓点标记为3；从图像的右下角开始，向上逐行从右至左读取像素点，每行遇到的第一个被标记为2或3的点即为零部件轮廓，轮廓点标记为3；从图像的右下角开始，向左逐列从右至左读取像素点，每列遇到的第一个被标记为2或3的点即为零部件轮廓，轮廓点标记为3；所有标记为3的点即为零部件轮廓。

参见图4，是本发明中识别算法的流程图。第一步根据所有被标记为3的轮廓点坐标计算零部件的尺寸大小，需要两幅图像的数据相结合进行运算。下述过程为对单幅图像中数据的处理过程，另一幅图像同理。

第一步，根据摄像机横向视角(摄像机左右视野范围角度，设为2α)和零部件中心点在像素中的横坐标值x，可求出用像素值表示的零部件距摄像机的距离h1＝x/tanα，再分别根据图像中零部件轮廓上的的最左侧点和最右侧点横坐标，与中心点横坐标作差得到l1、l2，l1、l2再与h1做商可分别求出零部件上这两点在图像中的视角角度α1、α2，此时利用这两个视角角度的正切值tanα1、tanα2与零部件到摄像机的实测距离做乘法，得到的结果再相加即为通过这幅图像算出的零部件的宽度a。

第二步，根据摄像机纵向视角(摄像机上下视野范围角度，设为2β)和零部件中心点在像素中的纵坐标值y，可求出用像素值表示的零部件距摄像机的距离h2＝y/tanβ，再分别根据图像中零部件轮廓上的的最上侧点和最下侧点纵坐标，与中心点纵坐标作差得到d1、d2，d1、d2再与h2做商可分别求出零部件上这两点在图像中的视角角度β1、β2，此时利用这两个视角角度的正切值tanβ1、tanβ2与零部件到摄像机的实测距离做乘法，得到的结果再相加即为通过这幅图像算出的零部件的高度b。

两幅图像都使用上述步骤各自求出宽度值a1、a2与高度值b1、b2，最终通过求平均值，得到结果即为最终零部件的宽高尺寸，宽为(a1+a2)/2，高为(b1+b2)/2；之后是根据标签范围识别文字，采用OCR技术对文字字符进行识别，识别后存储该信息。

参见图5，为本发明动态排列的流程图。首先将仓库各存储位信息(尺寸、剩余空位个数)提前录入系统(服务器数据库)，并实时更新。根据计算得出的零部件宽和高，选择合适的存储位，首先判断各尺寸存储位是否有空位，然后读取有空位的存储位尺寸信息，把宽和高大于零部件的作为备选，在备选中选择零部件放入后存储空间占用率最高的作为合适存储位，记录该存储位编号存入系统，之后可由人工或机器人将零部件放入对应位置。

综上所述，本发明的方法主要针对与在传统的零部件排列存储过程中，必须要经过人工的判断、选择之后，才可对零部件进行存放。提出一种基于双目图像处理，通过对零部件尺寸的自动计算以及编码的识别，对零部件进行自动动态排列的方法。这种方法一方面减少了人力成本，并且在存储位的选择上可以更大程度的利用存储空间，适合进一步实际应用。

Claims (6)

1.一种基于双目图像处理的零部件动态排列方法，其特征在于，包括如下步骤：

图像处理：对获取到的双目图像进行图像处理，确定零部件位置、零部件标签位置、去除背景颜色、提取零部件轮廓；

识别零部件：通过双目图像提取到的零部件轮廓进行尺寸计算、通过标签进行文字识别；

动态排列：根据库存和仓储位情况，为识别出的零部件动态选择仓储位。

2.根据权利要求1所述的一种基于双目图像处理的零部件动态排列方法，其特征在于，采用两个工业相机，二者连线中点的垂线上放置待测零部件。

3.根据权利要求1所述的一种基于双目图像处理的零部件动态排列方法，其特征在于，所述图像处理具体为接收到待测零部件的两幅图像后，对每幅图像进行如下操作：

读取图像，获取各像素点颜色值，使用HSV颜色空间的H值进行记录；

获取图像中心点像素坐标，以此点为中心向外扩散设定范围，取该范围内像素颜色平均值作为零部件颜色；设定阈值，遍历图像像素点，对在零部件颜色阈值范围内的像素点全部标记为1，不在范围内的全部标记为0；

去除背景外的点：从图像的中心像素点开始加入队列，如队列不空则依次出队列，每出队列1个将这个点标记为2，然后从这点开始上下左右遍历相邻四个点，遇到的标记为1的点全都加入队列，直至遇到0为止；至此标记为2的点均为图像中零部件上的点；

提取轮廓：由图像的上下左右四个方向逐行逐列对像素点遍历，每次遇到的第一个被标记为2的点即为零部件轮廓，轮廓点标记为3；

确定标签范围：被标记为2的点包围的目前标记为0的点即为标签上的点。

4.根据权利要求3所述的一种基于双目图像处理的零部件动态排列方法，其特征在于，所述提取轮廓包括以下步骤：

从图像的左上角开始，向下逐行从左至右读取像素点，每行遇到的第一个被标记为2的点即为零部件轮廓，轮廓点标记为3；

从图像的左上角开始，向右逐列从上至下读取像素点，每列遇到的第一个被标记为2或3的点即为零部件轮廓，轮廓点标记为3；

从图像的右下角开始，向上逐行从右至左读取像素点，每行遇到的第一个被标记为2或3的点即为零部件轮廓，轮廓点标记为3；

从图像的右下角开始，向左逐列从右至左读取像素点，每列遇到的第一个被标记为2或3的点即为零部件轮廓，轮廓点标记为3；

所有标记为3的点即为零部件轮廓。

5.根据权利要求1所述的一种基于双目图像处理的零部件动态排列方法，其特征在于，所述识别零部件包括以下步骤：

首先对对每幅图像进行如下处理：

第一步，根据相机横向视角2α和零部件中心点在像素中的横坐标值x，求出用像素值表示的零部件距摄像机的距离h1＝x/tanα，再分别根据图像中零部件轮廓上的最左侧点横坐标和最右侧点横坐标，与中心点横坐标作差得到l1、l2，l1、l2再与h1分别做商求出零部件上这两点在图像中的视角角度α1、α2，此时利用这两个视角角度的正切值tanα1、tanα2与零部件到相机的实测距离做乘法，得到的结果再相加即为通过这幅图像算出的零部件的宽度a_i；i表示图像序号；

第二步，根据摄像机纵向视角2β和零部件中心点在像素中的纵坐标值y，求出用像素值表示的零部件距摄像机的距离h2＝y/tanβ，再分别根据图像中零部件轮廓上的的最上侧点和最下侧点纵坐标，分别与中心点纵坐标作差得到d1、d2，d1、d2再与h2分别做商求出零部件上这两点在图像中的视角角度β1、β2，此时利用这两个视角角度的正切值tanβ1、tanβ2与零部件到摄像机的实测距离做乘法，得到的结果再相加即为通过这幅图像算出的零部件的高度b _i；i表示图像序号，为1、2；

最终零部件的宽为(a1+a2)/2，高为(b1+b2)/2；

根据标签范围识别文字并存储。

6.根据权利要求1所述的一种基于双目图像处理的零部件动态排列方法，其特征在于，所述动态排列包括以下步骤：

将仓库各存储位信息预先录入数据库，存储位信息包括尺寸、剩余空位个数，并实时更新；

根据零部件宽和高，选择存储位：首先判断各尺寸存储位是否有空位，然后读取有空位的存储位尺寸，把宽和高分别大于零部件宽、零部件高的空存储位作为备选，在备选中选择占用率最高的作为存储位，记录该存储位编号并保存，用于人工或机器人将零部件放入选择的存储位。

Images