CN110634145B - 基于图像处理的仓库盘点方法 - Google Patents

Abstract

本发明公开了一种基于图像处理的仓库盘点方法，包括以下步骤：（1）、图像采集步骤，采集货物的图像，得到原始图像，货物码列形成多个堆垛；（2）、堆垛轮廓提取步骤，提取出所有堆垛的轮廓；（3）、粘连堆垛分离步骤，将相邻的两堆垛粘连的轮廓进行分离，得到堆垛各自独立的轮廓；（4）、投影修正步骤，对各堆垛的轮廓进行投影修正；（5）、分别对各堆垛中的货物进行分割；（6）、分别对各堆垛中的货物数量进行估算；（7）、将所有堆垛中的货物估算数量求和，得到货物的总估算量。本发明的基于图像处理的仓库盘点方法，采用图像处理技术，只需要采集仓库的全景图像，既可以快速对堆垛大小和货物数量进行估算，省时省力，且估算精度高。

Description

基于图像处理的仓库盘点方法

技术领域

本发明涉及货物估算技术领域，具体地说，是涉及一种基于图像处理的仓库盘点方法。

背景技术

现有的仓库货物件数盘点或者采用全库精细盘点的方式来做，这种方法费时、费力、成本高。需要逐个货架，逐个商品进行盘点。或者是人工经验判断件数，人工经验判断不是很精确，只能有大概几千件，几万件的粗估。基于此，本发明提出了一种自动化、高准确率的大概规模估算盘点方法。

发明内容

本发明为了解决现有仓库货物件数盘点方法费时、费力、成本高的技术问题，提出了一种基于图像处理的仓库盘点方法，可以解决上述问题。

为了解决上述技术问题，本发明采用以下技术方案予以实现：

一种基于图像处理的仓库盘点方法，包括以下步骤：

(1)、图像采集步骤，采集货物的图像，得到原始图像，货物码列形成多个堆垛；

(2)、堆垛轮廓提取步骤，提取出所有堆垛的轮廓；

(3)、粘连堆垛分离步骤，将相邻的两堆垛粘连的轮廓进行分离，得到堆垛各自独立的轮廓；

(4)、投影修正步骤，对各堆垛的轮廓进行投影修正；

(5)、分别对各堆垛中的货物进行分割；

(6)、分别对各堆垛中的货物数量进行估算；

(7)、将所有堆垛中的货物估算数量求和，得到货物的总估算量。

进一步的，步骤(2)中，按照以下步骤提取所有堆垛的轮廓：

(21)、将原始图像进行灰度处理，转换为灰度图；

(22)、确定二值化阈值，将所述灰度图转换为二值图像；

(23)、二值图像中的颜色分界线即为堆垛的轮廓。

进一步的，步骤(3)中，粘连堆垛分离步骤包括以下子步骤：

(31)、对于步骤(2)中所提取出的堆垛轮廓的顶部轮廓线，从左至右或者从右至左进行梯度跟踪，梯度的符合为正值的点是上坡点，梯度的符合为负值的点是下坡点，对梯度的符号从负值变化为正值的点进行标记，作为标记点；

(32)、标记点包括分割点和过分割点，采用邻域差异法去除掉过分割点，剩下的为分割点；

(33)、自所述分割点向下垂直划线，该划线为相邻两堆垛之间的分割轮廓线。

进一步的，步骤(31)中，采用freeman链码跟踪法进行梯度跟踪。

进一步的，步骤(32)中，采用邻域差异法去除掉过分割点的方法为：计算相邻两标记点之间的距离，将该距离与设定阈值比较，若该距离小于设定阈值，则沿着梯度跟踪的方向，位于前方的标记点判断为过分割点，进行去除。

进一步的，步骤(4)中，投影修正步骤包括以下子步骤：

(41)、根据图像采集设备与各堆垛的实际位置关系，建立图像采集设备向堆垛进行投影的投影图，图像采集设备的位置为D，投影图中具有投影远端A、投影近端B、采集图像中心C，测量出图像采集设备的拍摄高度h、投影远端A与采集图像中心C之间的距离l，以及投影远端A、投影近端B之间的距离a，计算得到：

其中，b表示投影远端A与图像采集设备之间的距离，c表示投影近端B与图像采集设备之间的距离；

令p＝(a+b+c)/2,运用海伦公式得到：

公式(2)中，r为三角形ABD内切圆的半径；

堆垛轮廓中间位置的截面为三角形ABD内切圆，堆垛的实际轴粗d为三角形ABD内切圆的直径，由公式(2)得到堆垛的实际轴粗d：

进一步的，步骤(5)中，对原始图像进行色彩通道分离，将色彩通道分离的图像采用ROI执行OTSU算法，实现堆垛中货物的分割，得到货物分割图。

进一步的，步骤(6)中，对各堆垛中的货物数量进行估算方法为：

(61)、找到货物分割图中位于正面的n列货物，其中，n为正整数，确定该n列货物的最左侧的轮廓点为左位点E，和最右侧的轮廓点为右位点F，将堆垛在过三角形ABD内切圆圆心的水平面上投影，左位点E的投影点为左投影点M，右位点F的投影点为右投影点N，左位点E的投影高度为h1，右位点的投影高度为h2,堆垛最左端的轮廓点为左端点G，最右端的轮廓点为右端点H，左端点G与右端点H之间的距离GH为d，O为三角形ABD内切圆圆心，测量出所述n列货物的投影长度，也即左投影点M与右投影点N之间的长度MN，测量出左投影点M与左端点G之间的长度GM、右投影点N与右端点H之间的长度NH，左位点E与右位点F之间所对应的堆垛轮廓弧长为l1，左位点E与左端点G之间所对应的堆垛轮廓弧长为l2，右位点F与右端点H之间所对应的堆垛轮廓弧长为l3，各弧长所对应的弦长为EF,GE,FH，由圆内接直角三角形的性质可得：

h1²＝GM(MN+NH)

h2²＝(GM+MN)NH

由此可得各弦长：

根据圆心角与弦长的对应关系，可得三段弧长比为：

各段弧长所对应的货物列数与其弧长成正比，弧长l1所对应的货物列数已知为n，根据弧长比计算出其他弧长所对应的货物列数，所有货物列数求和得到货物总列数；

清点出其中一列的货物数量，乘以货物总列数，得到该堆垛货物数量。

进一步的，清点出其中一列的货物数量的清点方法为：

(1)、从货物分割图中找到位于中心的货物；

(2)、以中心货物为起点，沿y轴负方向进行三线扫描，直到扫描到下一个货物，并将货物数量计数；重复步骤(2)直至扫描到堆垛轮廓的顶部轮廓点；

(3)、以中心货物为起点，沿y轴正方向进行三线扫描，直到扫描到下一个货物，并将货物数量计数；重复步骤(3)直至扫描到堆垛轮廓的底部轮廓点。

与现有技术相比，本发明的优点和积极效果是：本发明的基于图像处理的仓库盘点方法，采用图像处理技术，只需要采集仓库的全景图像，既可以快速对堆垛大小和货物数量进行估算，省时省力，且估算精度高。

结合附图阅读本发明实施方式的详细描述后，本发明的其他特点和优点将变得更加清楚。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明所提出的基于图像处理的仓库盘点方法的一种实施例流程图；

图2是本发明所提出的基于图像处理的仓库盘点方法的一种实施例投影修正示意图；

图3是本发明所提出的基于图像处理的仓库盘点方法的一种实施例对各堆垛中的货物数量进行估算示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一，本发明提出了一种基于图像处理的仓库盘点方法，如图1所示，包括以下步骤：

S1、图像采集步骤，采集货物的图像，得到原始图像，货物码列形成多个堆垛；

S2、堆垛轮廓提取步骤，提取出所有堆垛的轮廓；

S3、粘连堆垛分离步骤，将相邻的两堆垛粘连的轮廓进行分离，得到堆垛各自独立的轮廓；

S4、投影修正步骤，对各堆垛的轮廓进行投影修正；

S5、分别对各堆垛中的货物进行分割；

S6、分别对各堆垛中的货物数量进行估算；

S7、将所有堆垛中的货物估算数量求和，得到货物的总估算量。

优选步骤S2中，按照以下步骤提取所有堆垛的轮廓：

S21、将原始图像进行灰度处理，转换为灰度图；

S22、确定二值化阈值，将所述灰度图转换为二值图像；

S23、二值图像中的颜色分界线即为堆垛的轮廓。

本发明的基于图像处理的仓库盘点方法，采用图像处理技术，只需要采集仓库的全景图像，既可以快速对堆垛大小和货物数量进行估算，省时省力，且估算精度高。

由于采集图像的透视效应，仓库远端的货物会有显著的收缩，边缘会不清晰，不会呈现明显的直线和矩形特征，本方案的步骤S3中，粘连堆垛分离步骤包括以下子步骤：

S31、对于步骤S2中所提取出的堆垛轮廓的顶部轮廓线，从左至右或者从右至左进行梯度跟踪，梯度的符合为正值的点是上坡点，梯度的符合为负值的点是下坡点，对梯度的符号从负值变化为正值的点进行标记，作为标记点；

轮廓跟踪会产生上坡点和下坡点两类，从堆垛顶部到底部，因为视觉的放射效应，相邻两堆垛之间的分割点为下坡点转为上坡点的临界点，因此只梯度的符号从负值变化为正值的点进行标记。

S32、标记点包括分割点和过分割点，采用邻域差异法去除掉过分割点，剩下的为分割点；

S33、自所述分割点向下垂直划线，该划线为相邻两堆垛之间的分割轮廓线。

由于堆垛的底部整齐码放在地面上，其轮廓线可以近似为直线，因此，在顶部轮廓线上确定了分割点之后，只需自分割点向下垂直划线即可作为相邻两堆垛之间的分割线，切开粘连轮廓。

作为一个优选的实施例，步骤S31中，采用freeman链码跟踪法进行梯度跟踪。梯度计算采用差分法以提高速度。

针对出现的部分过分割现象(把不是边界的错误标记为边界)，需要根据分割点和过分割点之间的邻域差异去除过分割点(一种视觉的参数调整方式)，采用最大似然估计法得到最小二乘意义上的分割点位置；步骤S32中，采用邻域差异法去除掉过分割点的方法为：计算相邻两标记点之间的距离，将该距离与设定阈值比较，若该距离小于设定阈值，则沿着梯度跟踪的方向，位于前方的标记点判断为过分割点，进行去除。

如图2所示，步骤S4中，投影修正步骤包括以下子步骤：

S41、根据图像采集设备与各堆垛的实际位置关系，建立图像采集设备向堆垛进行投影的投影图，图像采集设备的位置为D，投影图中具有投影远端A、投影近端B、采集图像中心C，测量出图像采集设备的拍摄高度h、投影远端A与采集图像中心C之间的距离l，以及投影远端A、投影近端B之间的距离a，计算得到：

其中，b表示投影远端A与图像采集设备之间的距离，c表示投影近端B与图像采集设备之间的距离；

令p＝(a+b+c)/2,运用海伦公式得到：

公式S2)中，r为三角形ABD内切圆的半径；

堆垛轮廓中间位置的截面为三角形ABD内切圆，堆垛的实际轴粗d为三角形ABD内切圆的直径，由公式S2得到堆垛的实际轴粗d：

由上述计算公式可得到堆垛最小外接矩形的长、宽和矩形位置等参数。据此可以比较精准的判断堆垛大小。

步骤S5中，对原始图像进行色彩通道分离，将色彩通道分离的图像采用ROI执行OTSU算法，实现堆垛中货物的分割，得到货物分割图。

具体的，可以从G色彩通道分离、B色彩通道分离、H通道分离、S通道分离、超红色彩特征提取2R-G-B五种方法任选其中一种色彩通道分离方法，也可以分别进行上述五种方法进行分离，保留其中货物轮廓最清晰、分离效果最好的一副图，以货物轮廓作为ROI执行OTSU算法，从而实现货物的分割，突出货物与缝隙间灰度值。

每个堆垛都有能看见的一面，和看不见的一面，考虑到是使用远景照片，可以认为从无限远处拍摄，假定能看的堆垛的面和看不到的面的货品数量均等，只要估算单面的货品数量就可以，本实施例中，先评估单面的货物数量，优先找到最正面的n列(比如三列)货品，以此作为估计的依据，如图3所示，步骤S6中，对各堆垛中的货物数量进行估算方法为：

S61、找到货物分割图中位于正面的n列货物，其中，n为正整数，确定该n列货物的最左侧的轮廓点为左位点E，和最右侧的轮廓点为右位点F，将堆垛在过三角形ABD内切圆圆心的水平面上投影，左位点E的投影点为左投影点M，右位点F的投影点为右投影点N，左位点E的投影高度为h1，右位点的投影高度为h2,堆垛最左端的轮廓点为左端点G，最右端的轮廓点为右端点H，左端点G与右端点H之间的距离GH为d，O为三角形ABD内切圆圆心，测量出所述n列货物的投影长度，也即左投影点M与右投影点N之间的长度MN，测量出左投影点M与左端点G之间的长度GM、右投影点N与右端点H之间的长度NH，左位点E与右位点F之间所对应的堆垛轮廓弧长为l1，左位点E与左端点G之间所对应的堆垛轮廓弧长为l2，右位点F与右端点H之间所对应的堆垛轮廓弧长为l3，各弧长所对应的弦长为EF,GE,FH，由圆内接直角三角形的性质可得：

h1²＝GM(MN+NH)

h2²＝(GM+MN)NH

由此可得各弦长：

根据圆心角与弦长的对应关系，可得三段弧长比为：

各段弧长所对应的货物列数与其弧长成正比，弧长l1所对应的货物列数已知为n，根据弧长比计算出其他弧长所对应的货物列数，所有货物列数求和得到货物总列数；

清点出其中一列的货物数量，乘以货物总列数，得到该堆垛货物数量。

清点出其中一列的货物数量的清点方法为：

S1、从货物分割图中找到位于中心的货物；

S2、以中心货物为起点，沿y轴负方向进行三线扫描，直到扫描到下一个货物，并将货物数量计数；重复步骤S2直至扫描到堆垛轮廓的顶部轮廓点；

S3、以中心货物为起点，沿y轴正方向进行三线扫描，直到扫描到下一个货物，并将货物数量计数；重复步骤S3直至扫描到堆垛轮廓的底部轮廓点。可以选择堆垛中的任一列进行清点

当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims (8)

1.一种基于图像处理的仓库盘点方法，其特征在于，包括以下步骤：

(1)、图像采集步骤，采集货物的图像，得到原始图像，货物码列形成多个堆垛；

(2)、堆垛轮廓提取步骤，提取出所有堆垛的轮廓；

(3)、粘连堆垛分离步骤，将相邻的两堆垛粘连的轮廓进行分离，得到堆垛各自独立的轮廓；

(4)、投影修正步骤，对各堆垛的轮廓进行投影修正；

(5)、分别对各堆垛中的货物进行分割；

(6)、分别对各堆垛中的货物数量进行估算；

(7)、将所有堆垛中的货物估算数量求和，得到货物的总估算量；

步骤(4)中，投影修正步骤包括以下子步骤：

(41)、根据图像采集设备与各堆垛的实际位置关系，建立图像采集设备向堆垛进行投影的投影图，图像采集设备的位置为D，投影图中具有投影远端A、投影近端B、采集图像中心C，测量出图像采集设备的拍摄高度h、投影远端A与采集图像中心C之间的距离l，以及投影远端A、投影近端B之间的距离a，计算得到：

其中，b表示投影远端A与图像采集设备之间的距离，c表示投影近端B与图像采集设备之间的距离；

令p＝(a+b+c)/2,运用海伦公式得到：

公式(2)中，r为三角形ABD内切圆的半径；

堆垛轮廓中间位置的截面为三角形ABD内切圆，堆垛的实际轴粗d为三角形ABD内切圆的直径，由公式(2)得到堆垛的实际轴粗d：

2.根据权利要求1所述的基于图像处理的仓库盘点方法，其特征在于，步骤(2)中，按照以下步骤提取所有堆垛的轮廓：

(21)、将原始图像进行灰度处理，转换为灰度图；

(22)、确定二值化阈值，将所述灰度图转换为二值图像；

(23)、二值图像中的颜色分界线即为堆垛的轮廓。

3.根据权利要求1所述的基于图像处理的仓库盘点方法，其特征在于，步骤(3)中，粘连堆垛分离步骤包括以下子步骤：

(31)、对于步骤(2)中所提取出的堆垛轮廓的顶部轮廓线，从左至右或者从右至左进行梯度跟踪，梯度的符合为正值的点是上坡点，梯度的符合为负值的点是下坡点，对梯度的符号从负值变化为正值的点进行标记，作为标记点；

(32)、标记点包括分割点和过分割点，采用邻域差异法去除掉过分割点，剩下的为分割点；

(33)、自所述分割点向下垂直划线，该划线为相邻两堆垛之间的分割轮廓线。

4.根据权利要求3所述的基于图像处理的仓库盘点方法，其特征在于，步骤(31)中，采用freeman链码跟踪法进行梯度跟踪。

5.根据权利要求3所述的基于图像处理的仓库盘点方法，其特征在于，步骤(32)中，采用邻域差异法去除掉过分割点的方法为：计算相邻两标记点之间的距离，将该距离与设定阈值比较，若该距离小于设定阈值，则沿着梯度跟踪的方向，位于前方的标记点判断为过分割点，进行去除。

6.根据权利要求1所述的基于图像处理的仓库盘点方法，其特征在于，步骤(5)中，对原始图像进行色彩通道分离，将色彩通道分离的图像采用ROI执行OTSU算法，实现堆垛中货物的分割，得到货物分割图。

7.根据权利要求6所述的基于图像处理的仓库盘点方法，其特征在于，步骤(6)中，对各堆垛中的货物数量进行估算方法为：

(61)、找到货物分割图中位于正面的n列货物，其中，n为正整数，确定该n列货物的最左侧的轮廓点为左位点E，和最右侧的轮廓点为右位点F，将堆垛在过三角形ABD内切圆圆心的水平面上投影，左位点E的投影点为左投影点M，右位点F的投影点为右投影点N，左位点E的投影高度为h1，右位点的投影高度为h2,堆垛最左端的轮廓点为左端点G，最右端的轮廓点为右端点H，左端点G与右端点H之间的距离GH为d，O为三角形ABD内切圆圆心，测量出所述n列货物的投影长度，也即左投影点M与右投影点N之间的长度MN，测量出左投影点M与左端点G之间的长度GM、右投影点N与右端点H之间的长度NH，左位点E与右位点F之间所对应的堆垛轮廓弧长为l1，左位点E与左端点G之间所对应的堆垛轮廓弧长为l2，右位点F与右端点H之间所对应的堆垛轮廓弧长为l3，各弧长所对应的弦长为EF,GE,FH，由圆内接直角三角形的性质可得：

h1²＝GM(MN+NH)

h2²＝(GM+MN)NH

由此可得各弦长：

根据圆心角与弦长的对应关系，可得三段弧长比为：

各段弧长所对应的货物列数与其弧长成正比，弧长l1所对应的货物列数已知为n，根据弧长比计算出其他弧长所对应的货物列数，所有货物列数求和得到货物总列数；

清点出其中一列的货物数量，乘以货物总列数，得到该堆垛货物数量。

8.根据权利要求7所述的基于图像处理的仓库盘点方法，其特征在于，清点出其中一列的货物数量的清点方法为：

(1)、从货物分割图中找到位于中心的货物；

(2)、以中心货物为起点，沿y轴负方向进行三线扫描，直到扫描到下一个货物，并将货物数量计数；重复步骤(2)直至扫描到堆垛轮廓的顶部轮廓点；

(3)、以中心货物为起点，沿y轴正方向进行三线扫描，直到扫描到下一个货物，并将货物数量计数；重复步骤(3)直至扫描到堆垛轮廓的底部轮廓点。

Images