CN110443847A - 一种基于摄像头的自动售卖机云台定位检测方法 - Google Patents

Abstract

本发明公开了一种基于摄像头的自动售卖机云台定位检测方法，一、摄像头抓拍；二、图像进行灰度化处理，并进行二值化分割；三、对二值化图像进行轮廓检测；四、判断轮廓是否构成凸四边形，如果否，则剔除该轮廓，如果是，则判断轮廓是否在面积阈值内，如果否则剔除，如果是则设为候选标志区域；五、扫描候选标志区域；六、如果步骤五检测到检测标志数目为4，则判定是否发生畸变；未发生畸变，则四个检测标志位置即为云台在图像中的位置，直接裁剪，转步骤八；否则转步骤七；七、计算透视畸变系数，进行畸变校正，生成裁剪后的云台图像；八、输出云台图像。通过上述方式，本发明能够完成云台自动定位检测，确定云台的位置，完成视频图像的裁剪。

Description

一种基于摄像头的自动售卖机云台定位检测方法

技术领域

本发明涉及自动售卖机云台定位检测领域，特别是涉及一种基于摄像头的自动售卖机云台定位检测方法。

背景技术

配备云台的自动售卖机一般使用红外光栅进行出货检测。红外光栅长度和云台宽度一致，分别置于云台两侧，形成红外线对射。如果货品下落至云台，光栅红外信号被遮挡，则判定下落成功。该方法下，光栅检测范围即云台范围，不需要额外对云台进行定位。但由于红外光栅的感应器之间存在间隔，无法有效检测细长物体、扁平物体和透明货物，也无法一次检测多个货物，因此，光栅检测方法逐渐被摄像头检测方法取代。

摄像头检测是利用摄像头采集视频图像，通过图像分析技术对云台上的货品进行检测、识别。该方法对物体大小、形状均不敏感，且能同时检测多个货品，相比于光栅方法，大大提升了检测的准确率和出货效率。

检测摄像头一般安置在自动售卖机的顶部中央位置，视野覆盖面积较大，可视范围包括云台和云台之外的货道。如不对云台范围进行截取，则云台之外的货品会被误判为已出货品。此外，云台是活动部件，可在不同货层间移动，加之货层高度和层数可以人为进行调整，云台每次停止的高度也存在机械误差，这些原因都将导致云台在视野中的位置是变动的，因此，需要一种方法能够完成云台的自动定位检测，确定云台在视野中的位置，并完成视频图像的裁剪。

发明内容

本发明主要解决的技术问题是提供一种基于摄像头的自动售卖机云台定位检测方法，能够完成云台的自动定位检测，确定云台在视野中的位置，并完成视频图像的裁剪。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于摄像头的自动售卖机云台定位检测方法，包括：在自动售卖机的顶部中央安置摄像头，摄像头具有红外模式；在云台左上角、右上角、左下角、右下角粘贴绘制有回字形贴纸，作为检测标志；

自动售卖机云台定位检测步骤包括：

步骤一、当自动售卖机检测到用户支付完成，云台上升到货物所在层停止，此时，启动摄像头抓拍；

步骤二、将抓拍到的图像进行灰度化处理，生成图像G，并利用自适应阈值进行二值化分割，去除噪声，生成二值化图像M；

步骤三、对二值化图像进行轮廓检测，计算轮廓中相邻顶点之间的距离，设定距离阈值剔除轮廓中的冗余顶点；

步骤四、判断轮廓是否构成凸四边形，如果否，则剔除该轮廓，如果是，则进一步判断轮廓构成面积是否在事先设定的面积阈值内，如果否，则剔除，如果是，则设置该轮廓围成的区域为候选标志区域；

步骤五、从上下和左右两个方向扫描候选标志区域，对黑色连续区域进行计数，并统计每一个黑色连续区域中像素的数目；如果黑色区域的数目为3，且像素数目比值为1:3:1，则判定该区域包含检测标志；否则，剔除该区域；

步骤六、如果步骤五检测到检测标志数目为4，则进一步判定以四个检测标志为顶点构成的矩形是否发生透视畸变；如果未发生透视畸变，则四个检测标志位置即为云台在图像中的位置，直接进行裁剪，得到裁剪后的图像，转步骤八；否则，转步骤七；

步骤七、根据四个检测标志的坐标位置，计算透视畸变系数，进行畸变校正，生成裁剪后的云台图像；

步骤八、输出裁剪后的云台图像。

进一步，所述步骤六中判定以四个检测标志为顶点构成的矩形是否发生透视畸变的方法为假设左上、右上、左下、右下四个检测标志的坐标分别为(x_a，y_a)，(x_b，y_b)，(x_c，y_c)，(x_d，y_d)，如果x_a＝x_c，x_c＝x_d，y_a＝y_b，y_c＝y_d四个条件同时成立，则云台图像不存在透视畸变；否则，存在透视畸变。

进一步，所述步骤七中计算透视畸变系数，进行畸变校正的计算过程为：

根据四个角的检测标志的坐标(x_a,y_a)，(x_b,y_b)，(x_c,y_c)，(x_d,y_d)，求解线性方程，计算透视畸变校正系数，方程为：

其中，校正之后对应的四个点的坐标为(x'_a,y'_a)，(x'_b,y'_b)，(x'_c,y'_c)，(x'_d,y'_d)，α₁-α₈分别为需要求解的畸变校正系数；

对图像G进行校正，得到图像G'，校正公式为：

其中，对G'中每一个像素坐标(x',y')，则将x',y'代入公式(2)、(3)得到原始图像G对应的像素坐标(x,y)，如果x,y为小数，则四舍五入处理为整数；图像G'对应坐标(x',y')的像素值p'(x',y')设为图像G中对应坐标(x,y)的像素值p(x,y)。

进一步，所述回字形贴纸采用红外吸收隐形油墨印刷，自然光线下不可见，红外模式下为黑色回形标志。

本发明的有益效果是：

(1)采用红外吸收油墨印刷回字形定位标志，该标志在可见光下不可见，降低了定位标志被人为破坏的可能性；

(2)不同于传统二维码回形判定方法，该发明首先判断图像中区域轮廓是否构成凸四边形，然后才在此基础上进行回字形判断，这样做可消除掉大部分候选轮廓区域，加快检测速度；

(3)当云台位于售卖机底层时，离摄像头距离较远，难以获得清晰的回形标志图像，因此，在进行回形标志判断时，不采用传统二维码的回形判断方法，如黑白比例是1:1:3:1:1，而是仅判断连续黑色区域像素比例是否为1:3:1，这样可减轻模糊图像的影响；

(4)传统二维码定位标志采用三个大、一个小四个回形标志，三个大回形构成一个正方形的三个顶点，一个小回形位于正方形内部，用于校正；本发明采用四个相同大小的大回形标志，分别位于云台的四个角上，构成一个长方形，匹配云台形状；这样既能够保证云台距离摄像头较远时，回形标志的清晰性，也能够实现标志构成区域的校正。

附图说明

图1是本发明一种基于摄像头的自动售卖机云台定位检测方法中云台上有回字形贴纸粘贴位置示意图。

附图中各部件的标记如下：1、云台；2、回字形贴纸。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

请参阅图1，本发明实施例包括：

机具顶端内侧正中安装摄像头，摄像头支持红外模式，可进行自动变焦、对焦。

云台1上粘贴回字形贴纸2，位置位于云台左上角、左下角、右上角和右下角，四个贴纸构成一个长方形，作为云台的检测靶标，见图1；

贴纸采用红外吸收隐形油墨印刷，自然光线下不可见，红外模式下为黑色回形标志。

本发明的实施可分为以下几个步骤：

S1，用户支付完成后，云台上升到指定层。启动摄像头，检测回形标志。

S2，摄像头采集一帧图像，进行灰度化处理，生成图像G。

S3，对G进行自适应阈值化分割，生成二值化图像M。

其计算方法为：对于图像的每一个像素p(x,y)，将其作为中心，计算31*31大小区块中像素的平均值avg(p)，设定阈值为t＝10，如果p(x,y)>avg(p)–t，则设置p(x,y)的值为255；否则，p(x,y)的值设为0。

S4，对二值化图像M进行轮廓检测，对每一个闭合轮廓，计算闭合轮廓所组成图形的最大弧长，剔除闭合轮廓中间距小于0.1倍弧长的轮廓顶点。

S5，对于剔除后的每一个轮廓，如果轮廓的顶点数目为4，且轮廓构成形状为凸四边形，则进一步计算轮廓所组成图形的面积，如果面积在50-5000之间，则将该轮廓包围区域设为候选回形标志区域。

S6，对每一个候选回形标志区域，按行从左到右依次进行扫描，统计扫描线经过的每一个连续黑色区域中对应像素的数目。如果像素数目比例不是为1:3:1，则排除该区域；否则，按列从上到下依次进行扫描，统计扫描线经过的每一个连续黑色区域中对应的像素的数目。如果像素数目比例不为1:3:1，则排除该区域；否则，该区域设为回形标志区域。

S7，统计步骤S6确定的回形标志区域数目，如果数目为4，则该4个标志为云台4个角的标志，标志对应的左上、右上、左下、右下顶点构成云台区域，转S8；否则，提示云台检测失败。

S8，判断云台图像是否存在透视畸变，如果不存在，则根据标志位置坐标对图像G进行裁剪，生成裁剪图形G'，转步骤S10；否则，转步骤S9。

判断是否畸变的方法是检测四个标志的位置是否构成一个矩形。假设左上、右上、左下、右下四个角标的坐标分别为(x_a,y_a)，(x_b,y_b)，(x_c,y_c)，(x_d,y_d)，如果x_a＝x_c,x_c＝x_d,y_a＝y_b,y_c＝y_d四个条件同时成立，则云台图像不存在透视畸变；否则，存在透视畸变。

S9，计算校正系数，进行畸变校正。具体计算过程为：

(S9.1)根据4个角的定位标志的坐标(x_a,y_a)，(x_b,y_b)，(x_c,y_c)，(x_d,y_d)，求解线性方程，计算透视畸变校正系数。方程为：

其中，校正之后对应的四个点的坐标为(x'_a,y'_a)，(x'_b,y'_b)，(x'_c,y'_c)，(x'_d,y'_d)，α₁-α₈分别为需要求解的畸变校正系数。

(S9.2)对图像G进行校正，得到图像G'。校正公式为：

其中，对G'中每一个像素坐标(x',y')，则将x',y'代入公式(2)、(3)得到原始图像G对应的像素坐标(x,y)，如果x,y为小数，则四舍五入处理为整数。图像G'对应坐标(x',y')的像素值p'(x',y')设为图像G中对应坐标(x,y)的像素值p(x,y)。

S10，输出图像G'，G'即为云台在摄像头视野中经过裁剪和校正所获得的图像，算法结束。

本发明能够完成云台的自动定位检测，确定云台在视野中的位置，并完成视频图像的裁剪。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (4)

1.一种基于摄像头的自动售卖机云台定位检测方法，其特征在于，包括：在自动售卖机的顶部中央安置摄像头，摄像头具有红外模式；在云台左上角、右上角、左下角、右下角粘贴绘制有回字形贴纸，作为检测标志；

自动售卖机云台定位检测步骤包括：

步骤一、当自动售卖机检测到用户支付完成，云台上升到货物所在层停止，此时，启动摄像头抓拍；

步骤二、将抓拍到的图像进行灰度化处理，生成图像G，并利用自适应阈值进行二值化分割，去除噪声，生成二值化图像M；

步骤三、对二值化图像进行轮廓检测，计算轮廓中相邻顶点之间的距离，设定距离阈值剔除轮廓中的冗余顶点；

步骤四、判断轮廓是否构成凸四边形，如果否，则剔除该轮廓，如果是，则进一步判断轮廓构成面积是否在事先设定的面积阈值内，如果否，则剔除，如果是，则设置该轮廓围成的区域为候选标志区域；

步骤五、从上下和左右两个方向扫描候选标志区域，对黑色连续区域进行计数，并统计每一个黑色连续区域中像素的数目；如果黑色区域的数目为3，且像素数目比值为1:3:1，则判定该区域包含检测标志；否则，剔除该区域；

步骤六、如果步骤五检测到检测标志数目为4，则进一步判定以四个检测标志为顶点构成的矩形是否发生透视畸变；如果未发生透视畸变，则四个检测标志位置即为云台在图像中的位置，直接进行裁剪，得到裁剪后的图像，转步骤八；否则，转步骤七；

步骤七、根据四个检测标志的坐标位置，计算透视畸变系数，进行畸变校正，生成裁剪后的云台图像；

步骤八、输出裁剪后的云台图像。

2.根据权利要求1所述的一种基于摄像头的自动售卖机云台定位检测方法，其特征在于：所述步骤六中判定以四个检测标志为顶点构成的矩形是否发生透视畸变的方法为假设左上、右上、左下、右下四个检测标志的坐标分别为(x_a，y_a)，(x_b，y_b)，(x_c，y_c)，(x_d，y_d)，如果x_a＝x_c，x_c＝x_d，y_a＝y_b，y_c＝y_d四个条件同时成立，则云台图像不存在透视畸变；否则，存在透视畸变。

3.根据权利要求2所述的一种基于摄像头的自动售卖机云台定位检测方法，其特征在于：所述步骤七中计算透视畸变系数，进行畸变校正的计算过程为：

根据四个角的检测标志的坐标(x_a,y_a)，(x_b,y_b)，(x_c,y_c)，(x_d,y_d)，求解线性方程，计算透视畸变校正系数，方程为：

其中，校正之后对应的四个点的坐标为(x'_a,y'_a)，(x'_b,y'_b)，(x'_c,y'_c)，(x'_d,y'_d)，α₁-α₈分别为需要求解的畸变校正系数；

对图像G进行校正，得到图像G'，校正公式为：

其中，对G'中每一个像素坐标(x',y')，则将x',y'代入公式(2)、(3)得到原始图像G对应的像素坐标(x,y)，如果x,y为小数，则四舍五入处理为整数；图像G'对应坐标(x',y')的像素值p'(x',y')设为图像G中对应坐标(x,y)的像素值p(x,y)。

4.根据权利要求1所述的一种基于摄像头的自动售卖机云台定位检测方法，其特征在于：所述回字形贴纸采用红外吸收隐形油墨印刷，自然光线下不可见，红外模式下为黑色回形标志。