CN110033452B - 基于图像处理技术的冷柜货架商品统计方法及系统 - Google Patents

Abstract

本发明公开了一种基于图像处理技术的冷柜货架商品统计方法及系统，涉及人工智能领域，包括：终端控制器将第一图像和第二图像拼接成第三图像，云端服务器将第三图像分割为多个第四图像；然后对各第四图像进行分割，计算得到冷柜中各置物隔层中第一排所摆放的第一商品总量；对冷柜中的所有置物隔层对应的第一商品总量求和，得到冷柜中第一排所摆放的第二商品总量并存入数据库。根据圆心旋转不变性拼接图像，能够减小特征点匹配误差，使拼接得到的图像效果更好，将拼接后的图像分层为第四图像，对第四图像细化分割，能够准确分割出各置物隔层中第一排摆放的商品，能够提高统计效率，还能够提高商品统计准确率，有利于提高对冷柜商品的管理质量。

Description

基于图像处理技术的冷柜货架商品统计方法及系统

技术领域

本发明涉及人工智能和数字图像处理技术领域，更具体地，涉及一种基于图像处理技术的冷柜货架商品统计方法及系统。

背景技术

数字图像处理技术是一个跨学科的领域，随着计算机科学技术的不断发展，图像处理与分析逐渐形成了自己的科学体系，新的处理方法层出不穷，虽然发展历史不长，但已经引起了社会各界的广泛关注。

在进行冷柜货架商品统计时，当近距离内摄像头无法拍到整个货架的商品时，扩大拍摄距离虽然可以得到大范围的图像，但图像内的商品可能相对较小，放大后会出现马赛克现象，效果较差，通过硬件设备虽然可以解决这个问题，但广角镜头这样的硬件价格昂贵、操作复杂，而且会造成图像边缘变形，因此，可采用图像拼接和分割技术，进行货架商品统计。

现有技术中，用于图像拼接和分割的方法有很多，但都存在一定的缺陷，例如：基于霍夫圆检测算法的图像拼接技术拼接配准后误差较大；基于旋转平移不变性算法SURF，则因为冷柜商品图像存在反光、相似度较高等问题，在匹配图像特征点时误差较大，导致基于对应特征点的拼接出现较大误差；自适应阈值分割算法、最大类间阈值法、边缘分割算法、区域生长算法RGSA等都不能准确的分割出冷柜货架中的商品，因此，需要研究一种基于图像处理技术的冷柜货架商品统计方法。

发明内容

有鉴于此，本发明提供了一种基于图像处理技术的冷柜货架商品统计方法及系统，根据圆心旋转不变性进行图像拼接，能够减小特征点匹配误差，使拼接得到的图像效果更好，按照冷柜中的置物隔层将拼接后的图像分割为与各置物隔层对应的第四图像，然后对第四图像进行细化分割处理，能够准确的分割出各置物隔层中第一排摆放的商品，不仅可以提高统计效率，而且能够提高商品统计准确率，有利于提高对冷柜商品的管理质量。

为了解决上述技术问题，本申请有如下技术方案：

第一方面，本申请提供一种基于图像处理技术的冷柜货架商品统计方法，其特征在于，包括：

通过冷柜上安装的定位模块自动获取所述冷柜的位置信息，并发送给云端服务器；

所述冷柜的柜门包括靠近所述冷柜内部的第一平面和远离所述冷柜内部的第二平面，在所述第一平面上远离旋转轴的一侧安装与所述第一平面角度为θ的第一摄像头和第二摄像头，所述第一摄像头和第二摄像头包括摄像座，所述摄像座靠近所述第一平面的面为底面，θ指的是所述摄像座的底面与所述第一平面靠近所述冷柜底面一侧的夹角，43.86°≤θ≤56.81°，所述柜门的顶端与所述冷柜底面之间的垂直距离为H，所述第一摄像头与所述冷柜底面之间的垂直距离为1/3*H，所述第二摄像头与所述冷柜底面之间的垂直距离为1/2*H；

当所述柜门打开的角度为β时，通过串口模块触发所述第一摄像头采集一张第一图像，触发所述第二摄像头采集一张第二图像，21.96°≤β≤33.96°；

终端控制器对所述第一图像和第二图像进行拼接，形成第三图像，将所述第三图像传输到所述云端服务器，所述冷柜内部包括多个置物隔层，所述置物隔层中摆放有至少一排商品，靠近所述柜门的排为第一排，所述第三图像包括各所述置物隔层中位于所述第一排的商品图像；

根据圆心旋转不变性，按照所述置物隔层在旋转轴上的像素点区域将所述第三图像进行分割，得到与各所述置物隔层对应的多个第四图像，所述第三图像为多个所述第四图像的组合；

通过分割算法对各所述第四图像进行分割，计算得到冷柜中各所述置物隔层中所述第一排所摆放的第一商品总量，具体为：

对所述第四图像平滑去反光，形成第一灰度图，对所述第一灰度图提取特征点坐标；以所述特征点坐标为圆心，以50个像素点之间的间隔为半径，在一张全黑的空白底图上画圆，得到第二灰度图；对所述第二灰度图的数据进行归一化处理，得到第二灰度图的灰度值，根据所述灰度值在垂直所述旋转轴的平面上的投影，得到投影曲线；将所述投影曲线进行数据翻转和曲线平滑后，进行阈值分割，计算得到冷柜中与各所述第四图像对应的所述置物隔层中所述第一排所摆放的第一商品总量；

对所述冷柜中的所有置物隔层对应的第一商品总量求和，得到所述冷柜中所述第一排所摆放的第二商品总量，将所述第二商品总量存入数据库；

云端服务器对接收到的冷柜位置信息进行核对，具体为：若所述冷柜的位置与所述云端服务器存储的冷柜的位置之间的距离大于预定距离或所述云端服务器超过预定时间没有接收到所述冷柜的位置信息，则进行报警；若所述冷柜的位置与所述云端服务器存储的冷柜的位置之间的距离小于等于预定距离，则通过显示设备展示所述冷柜中的第二商品总量。

可选地，其中：

所述定位模块，具体为：GPS+LBS定位模块。

可选地，其中：

所述将所述第一图像和第二图像进行拼接，具体为：依据圆心旋转不变性，对所述第一图像和第二图像进行仿射变换，所述仿射变换指的是二维坐标(x，y)到二维坐标(u，v)的线性变换，数学表达式为：

对经过所述仿射变换的所述第一图像和第二图像进行裁剪，并对裁剪后的所述第一图像和所述第二图像进行拼接。

可选地，其中：

对所述第一灰度图提取特征点坐标，具体为：使用基于二进制特征描述算法BRISK匹配特征点，并导出特征点坐标。

可选地，其中：

所述进行阈值分割，具体为：曲线平滑后，设定波峰之间的最小间隔为180个像素点，分割阈值为所述波峰中的最高点减去2500。

第二方面，本申请提供一种基于图像处理技术的冷柜货架商品统计系统，其特征在于，包括：

定位模块，用于自动获取冷柜的位置信息，并发送给云端服务器；

第一摄像头，用于采集第一图像；第二摄像头，用于采集第二图像；所述冷柜的柜门包括靠近所述冷柜内部的第一平面和远离所述冷柜内部的第二平面，所述第一摄像头和第二摄像头包括摄像座，安装在所述第一平面上远离旋转轴的一侧，与所述第一平面的角度为θ，所述摄像座靠近所述第一平面的面为底面，θ指的是所述摄像座的底面与所述第一平面靠近所述冷柜底面一侧的夹角，43.86°≤θ≤56.81°，所述柜门的顶端与所述冷柜底面之间的垂直距离为H，所述第一摄像头与所述冷柜底面之间的垂直距离为1/3*H，所述第二摄像头与所述冷柜底面之间的垂直距离为1/2*H；

串口模块，用于当所述柜门打开的角度为β时，触发所述第一摄像头采集一张第一图像，触发所述第二摄像头采集一张第二图像，21.96°≤β≤33.96°；

终端控制器，用于将所述第一图像和第二图像进行拼接，形成第三图像，将所述第三图像传输到所述云端服务器，所述冷柜内部包括多个置物隔层，所述置物隔层中摆放有至少一排商品，靠近所述柜门的排为第一排，所述第三图像包括各所述置物隔层中位于所述第一排的商品图像；

云端服务器，用于根据圆心旋转不变性，按照所述置物隔层在旋转轴上的像素点区域将所述第三图像进行分割，得到与各所述置物隔层对应的多个第四图像，所述第三图像为多个所述第四图像的组合；还用于通过分割算法对各所述第四图像进行分割，计算得到冷柜中各所述置物隔层中所述第一排所摆放的第一商品总量，具体为：对所述第四图像平滑去反光，形成第一灰度图，对所述第一灰度图提取特征点坐标；以所述特征点坐标为圆心，以50个像素点之间的间隔为半径，在一张全黑的空白底图上画圆，得到第二灰度图；对所述第二灰度图的数据进行归一化处理，得到第二灰度图的灰度值，根据所述灰度值在垂直所述旋转轴的平面上的投影，得到投影曲线；将所述投影曲线进行数据翻转和曲线平滑后，进行阈值分割，计算得到冷柜中与各所述第四图像对应的所述置物隔层中所述第一排所摆放的第一商品总量；所述云端服务器还用于对所述冷柜中的所有置物隔层对应的第一商品总量求和，得到所述冷柜中所述第一排所摆放的第二商品总量，将所述第二商品总量存入数据库；所述云端服务器还用于对接收到的冷柜位置信息进行核对，具体为：若所述冷柜的位置与所述云端服务器存储的冷柜的位置之间的距离大于预定距离或所述云端服务器超过预定时间没有接收到所述冷柜的位置信息，则进行报警；若所述冷柜的位置与所述云端服务器存储的冷柜的位置之间的距离小于等于预定距离，则通过显示设备展示所述冷柜中的第二商品总量。

可选地，其中：

所述定位模块，具体为：GPS+LBS定位模块。

可选地，其中：

所述终端控制器进一步用于依据圆心旋转不变性，对所述第一图像和第二图像进行仿射变换，所述仿射变换指的是二维坐标(x，y)到二维坐标(u，v)的线性变换，数学表达式为：

还用于对经过所述仿射变换的所述第一图像和第二图像进行裁剪，并对裁剪后的所述第一图像和所述第二图像进行拼接。

可选地，其中：

对所述第一灰度图提取特征点坐标，具体为：使用基于二进制特征描述算法BRISK匹配特征点，并导出特征点坐标。

可选地，其中：

所述进行阈值分割，具体为：曲线平滑后，设定波峰之间的最小间隔为180个像素点，分割阈值为所述波峰中的最高点减去2500。

与现有技术相比，本发明提供的基于图像处理技术的冷柜货架商品统计方法，至少实现了如下的有益效果：

(1)本申请实施例所提供的基于图像处理技术的冷柜货架商品统计方法及系统，通过安装在不同高度的两个摄像头即可采集到冷柜内的全部商品图像，安装方便，操作简单，且无需使用广角镜头等昂贵的设备，从而有利于节约成本。

(2)本申请实施例所提供的基于图像处理技术的冷柜货架商品统计方法及系统，根据冷柜柜门的圆心旋转不变性，将两个摄像头采集到的第一图像和第二图像拼接形成第三图像，能够减小特征点匹配误差，从而减小基于特征点的拼接误差，提高图像拼接效果，进而有利于提高商品统计的准确率；此外，由于图像拼接过程包含边缘计算，计算量大，因此，通过终端控制器将图像拼接好之后再发送给云端服务器，可以有效减少硬件损耗，而且能够降低传输和运算成本。

(3)本申请实施例所提供的基于图像处理技术的冷柜货架商品统计方法及系统，根据圆心旋转不变性，按照置物隔层在旋转轴上的像素点区域将第三图像分割为第四图像，对与各置物隔层对应的第四图像进行分割处理，能够准确的细化分割出各置物隔层中的第一排所摆放的商品，不仅能够提高统计效率，而且能够提高商品统计的准确率，有利于提高货架商品的管理质量。

当然，实施本发明的任一产品必不特定需要同时达到以上所述的所有技术效果。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。

图1所示为本申请实施例所提供的基于图像处理技术的冷柜货架商品统计方法的一种流程图；

图2所示为本申请实施例所提供的冷柜和摄像头的一种相对位置关系图；

图3所示为本申请实施例所提供的一种冷柜和柜门的结构示意图；

图4所示为本申请实施例所提供的第一摄像头拍摄到的第一图像的一种示意图；

图5所示为本申请实施例所提供的第二摄像头拍摄到的第二图像的一种示意图；

图6所示为本申请实施例所提供的第三图像的一种示意图；

图7所示为本申请实施例所提供的圆心旋转不变性的一种示意图；

图8所示为本申请实施例所提供的第四图像的一种示意图；

图9所示为本申请实施例所提供的计算冷柜中各置物隔层中的第一商品总量的一种流程图；

图10所示为本申请实施例所提供的基于图像处理技术的冷柜货架商品统计系统的一种结构示意图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

现有技术中，在进行冷柜货架商品统计时，当近距离内摄像头无法拍到整个货架的商品时，扩大拍摄距离虽然可以得到大范围的图像，但图像内的商品可能相对较小，放大后会出现马赛克现象，效果较差，通过硬件设备虽然可以解决这个问题，但广角镜头这样的硬件价格昂贵、操作复杂，而且会造成图像边缘变形，因此，可采用图像拼接和分割技术，进行货架商品统计。

现有技术中，用于图像拼接和分割的方法有很多，但都存在一定的缺陷，例如：基于霍夫圆检测算法的图像拼接技术拼接配准后误差较大；基于旋转平移不变性算法SURF，则因为冷柜商品图像存在反光、相似度较高等问题，在匹配图像特征点时误差较大，导致基于对应特征点的拼接出现较大误差；自适应阈值分割算法、最大类间阈值法、边缘分割算法、区域生长算法RGSA等都不能准确的分割出冷柜货架中的商品，因此，需要研究一种基于图像处理技术的冷柜货架商品统计方法。

有鉴于此，本发明提供了一种基于图像处理技术的冷柜货架商品统计方法及系统，根据圆心旋转不变性进行图像拼接，能够减小特征点匹配误差，使拼接得到的图像效果更好，按照冷柜中的置物隔层将拼接后的图像分割为与各置物隔层对应的第四图像，然后对第四图像进行细化分割处理，能够准确的分割出各置物隔层中第一排摆放的商品，不仅可以提高统计效率，而且能够提高商品统计准确率，有利于提高对冷柜商品的管理质量。

以下结合附图和具体实施例进行详细说明。

图1所示为本申请实施例所提供的基于图像处理技术的冷柜货架商品统计方法的一种流程图，图2所示为本申请实施例所提供的冷柜和摄像头的一种相对位置关系图，图3所示为本申请实施例所提供的一种冷柜和柜门的结构示意图，图4所示为本申请实施例所提供的第一摄像头拍摄到的第一图像的一种示意图，图5所示为本申请实施例所提供的第二摄像头拍摄到的第二图像的一种示意图，图6所示为本申请实施例所提供的第三图像的一种示意图，图7所示为本申请实施例所提供的圆心旋转不变性的一种示意图，图8所示为本申请实施例所提供的第四图像的一种示意图，图9所示为本申请实施例所提供的计算冷柜中各置物隔层中的第一商品总量的一种流程图，请结合图1-图9，本申请实施例所提供的基于图像处理技术的冷柜货架商品统计方法，包括：

步骤110：通过冷柜10上安装的定位模块自动获取冷柜10的位置信息，并发送给云端服务器；

步骤120：请参见图2，冷柜的柜门20包括靠近冷柜内部的第一平面21和远离冷柜内部的第二平面22，在第一平面21上远离旋转轴30的一侧安装与第一平面21角度为θ的第一摄像头40和第二摄像头50，第一摄像头40和第二摄像头50包括摄像座，摄像座靠近第一平面21的面为底面54，θ指的是摄像座的底面54与第一平面21靠近冷柜底面一侧的夹角，43.86°≤θ≤56.81°，柜门20的顶端与冷柜底面之间的垂直距离为H，参见图3，第一摄像头40与冷柜底面之间的垂直距离为1/3*H，第二摄像头50与冷柜底面之间的垂直距离为1/2*H；

步骤130：请结合图3至图5，当柜门20打开的角度为β时，通过串口模块触发第一摄像头40采集一张第一图像41，触发第二摄像头50采集一张第二图像51，21.96°≤β≤33.96°；

步骤140：终端控制器对第一图像41和第二图像51进行拼接，形成第三图像52，请参见图6，将第三图像52传输到云端服务器，冷柜10内部包括多个置物隔层11，置物隔层11中摆放有至少一排商品12，靠近柜门20的排为第一排13，第三图像52包括各置物隔层11中位于第一排13的商品12图像；需要说明的是，第一图像41和第二图像51之间有相同的内容，在拼接时相同的内容只需统计一次；

步骤150：请参见图6、图7和图8，根据圆心旋转不变性，按照置物隔层11在旋转轴30上的像素点区域将第三图像52进行分割，得到与各置物隔层11对应的多个第四图像53，第三图像52为多个第四图像53的组合；

步骤160：通过分割算法对各第四图像53进行分割，计算得到冷柜10中各置物隔层11中第一排13所摆放的第一商品12总量，具体为：

对第四图像53平滑去反光，形成第一灰度图，对第一灰度图提取特征点坐标；以特征点坐标为圆心，以50个像素点之间的间隔为半径，在一张全黑的空白底图上画圆，得到第二灰度图；对第二灰度图的数据进行归一化处理，得到第二灰度图的灰度值，根据灰度值在垂直旋转轴30的平面上的投影，得到投影曲线；将投影曲线进行数据翻转和曲线平滑后，进行阈值分割，计算得到冷柜10中与各第四图像53对应的置物隔层11中第一排13所摆放的第一商品总量；

步骤170：对冷柜10中的所有置物隔层11对应的第一商品总量求和，得到冷柜10中第一排13所摆放的第二商品总量，将第二商品总量存入数据库；

步骤180：云端服务器对接收到的冷柜10位置信息进行核对，具体为：若冷柜10的位置与云端服务器存储的冷柜10的位置之间的距离大于预定距离或云端服务器超过预定时间没有接收到冷柜10的位置信息，则进行报警；若接冷柜的位置与云端服务器存储的冷柜的位置之间的距离小于等于预定距离，则通过显示设备展示冷柜10中的第二商品12总量。

具体地，请参见图2和图3，本申请实施例所提供的基于图像处理技术的冷柜货架商品统计方法中，步骤110中定位模块获取到冷柜的定位信息之后发送给云端服务器，通过步骤120，在冷柜的第一平面21上安装两个摄像头，摄像头包括摄像座，摄像座的底面54与第一平面21之间靠近冷柜底面的夹角为θ，θ的理论角度为50.47°，可调节的范围为±6°，因此，θ的取值范围为43.86°≤θ≤56.81°，柜门20的顶端与冷柜底面的之间的距离为H，距离H为冷柜10的实际高度，本申请对此不进行具体限定，第一摄像头40与冷柜10底面之间的垂直距离为1/3*H，第二摄像头50与冷柜底面之间的垂直距离为1/2*H，如此，通过安装在不同高度的两个摄像头就能够将冷柜里的商品全部采集到，操作方便，而且无需使用广角镜头等昂贵的设备，有利于节约成本。

请参见图3-图7，安装好摄像头后，通过步骤130，当柜门20打开的角度为β时，串口模块同时触发第一摄像头40和第二摄像头50分别采集一张第一图像41和第二图像51，其中，β的理论角度为27.96°，能调节的范围为±6°，因此，β的取值范围为21.96°≤β≤33.96°；通过步骤140，终端控制器利用圆心旋转不变性，将第一图像41和第二图像51拼接形成第三图像52，并将第三图像52传输到云端服务器进行处理，由于冷柜10的柜门20是根据旋转轴30旋转的，具有圆心旋转不变性，所以安装在柜门20上的两个摄像头拍摄到的图像也根据旋转轴30具有圆心旋转不变性，因此，根据圆心旋转不变性将第一图像41和第二图像51进行拼接，能够减小特征点匹配误差，从而减小基于特征点的拼接误差，提高图像拼接效果，进而有利于提高商品12统计的准确率；此外，图像拼接过程包含边缘计算，计算量大，因此，通过终端控制器将图像拼接好之后再发送给云端服务器，可以有效减少硬件损耗，而且能够降低传输和运算成本。

请参见图6-图9，云端服务器接收到第三图像52后，通过步骤150，根据圆心旋转不变性，冷柜10每层置物隔层11所在的圆心轴上的像素点位置相对不变，因此可以按照置物隔层11在旋转轴30上的像素点区域将第三图像52进行分割，分割得到的第四图像53与冷柜10的各个置物隔层11一一对应；通过步骤160对各第四图像53进行分割，将第四图像53进行平滑去反光，形成第一灰度图，并对第一灰度图提取特征点，通过平滑去反光可以减小特征点匹配误差，以特征点坐标为圆心，以50个像素点之间的间隔为半径，在一张全黑的空白底图上画圆，得到第二灰度图像，并进行归一化处理得到灰度值，对特征点数据进行叠加处理，可以使特征更加突出，有利于提高准确率，且方便后续运算，归一化处理可以简化计算方式，使数据处理更加快捷方便，根据灰度值在垂直旋转轴30的平面上的投影得到投影曲线，为了方便运算，将投影曲线进行数据翻转，使原来的波谷变为波峰，曲线平滑后进行阈值分割，根据阈值点个数计算得到冷柜10中与各第四图像53对应的各置物隔层11中第一排13所摆放的第一商品总量，第一商品总量为阈值点个数的二分之一，对与置物隔层11一一对应的第四图像53进行分割处理，能够准确的细化分割出各置物隔层11中的第一排13所摆放的商品12，不仅能够提高统计效率，而且能够提高商品12统计的准确率，有利于提高货架商品的管理质量。

计算得到冷柜10中的所有置物隔层11对应的第一商品总量后，通过步骤170，对所有的第一商品总量求和，得到冷柜10中第一排13所摆放的第二商品总量，并将第二商品总量存入数据库，然后通过步骤180对冷柜10的位置信息进行核对，若接收到的冷柜10的位置信息与云端服务器存储的冷柜10的位置信息之间的距离大于预定距离或云端服务器超过预定时间没有接收到冷柜10的位置信息，则进行报警；若接收到的冷柜10的位置信息与云端服务器中存储的冷柜10的位置信息之间的距离小于等于预定距离，则通过显示设备展示冷柜10中的第二商品总量，此处的预定距离和预定时间可以根据实际需要来设定，例如预定距离可以为1km，也可以为2km，预定时间可以为5s，也可以为10s，本申请对此不进行具体限定；显示设备可以为手机、电脑、平板等可以进行显示的设备，云端服务器可以将第二商品总量发送到巡检员手机，方便巡检员对某一区域的冷柜10货架进行管理，也可以将第二商品总量发送到电脑端，通过电脑端展示某一区域的冷柜10货架的第二商品总量。

可选地，定位模块为：GPS+LBS定位模块。具体地，GPS全球定位系统是一个由覆盖全球的24个卫星组成的卫星系统，GPS获取位置要求上空没有遮挡，如果被上空物体遮挡，一般情况下获取不到GPS位置信息；LBS是一种基站定位方式，要实现定位则必须有移动基站，在没有基站的位置上，误差范围较大，因此，本申请中通过GPS定位和LBS定位双结合的方式来解决上述问题，GPS+LBS双定位，可以根据需要，提供准确的方位、水平、位置等信息，且定位非常准确，能够实现冷柜10的准确定位。

可选地，将第一图像41和第二图像51进行拼接，具体为：依据圆心旋转不变性，对第一图像41和第二图像51进行仿射变换，仿射变换指的是二维坐标(x，y)到二维坐标(u，v)的线性变换，数学表达式为：

对经过仿射变换的第一图像41和第二图像51进行裁剪，并对裁剪后的第一图像41和第二图像51进行拼接。具体地，通过仿射变换，可以保持二维图像的平直性和平行性，也就是说，图像经过变换之后，二维图像之间的相对位置保持不变，原来的直线依然是直线，平行线依然是平行线，且直线上点的位置顺序保持不变，将经过仿射变换的第一图像41和第二图像51进行裁剪，裁剪掉第一图像41和第二图像51中不需要的部分，例如第一图像41和第二图像51中重叠的部分，然后进行拼接，通过对图像进行仿射变换，可以减少图像边缘变形，便于进行图像拼接，裁减掉图像中不需要的部分后进行拼接，能够减小特征点匹配误差，从而有利于减小基于特征点的拼接误差，提高拼接精确度，使拼接出来的图像更加准确。

可选地，对第一灰度图提取特征点坐标，具体为：使用基于二进制特征描述算法BRISK匹配特征点，并导出特征点坐标。具体地，基于二进制特征描述的算子有多种，例如：BRIEF、FREAK、ORB以及BRISK等，本申请中采用BRISK算子进行特征点的匹配和提取，BRISK是BRIEF的一种改进，相比于BRIEF具有较好的旋转不变性、尺度不变性以及较好的鲁棒性等，在特征点匹配应用中，速度较快，且在对有较大程度的图像模糊时，具有较好的表现，进行图像配准时，准确率较高，误差较小，从而有利于提高图像分割精确度。

可选地，进行阈值分割，具体为：曲线平滑后，设定波峰之间的最小间隔为180个像素点，分割阈值为波峰中的最高点减去2500。具体地，对冷柜10的各置物隔层11进行阈值分割时，设定相邻两个波峰之间的最小间隔为180个像素点，进行分割的分割阈值为曲线中的最大值减去2500，如此设计，可以使冷柜10货架中的商品12图像分割更加准确，有利于提高商品数量的统计准确率，从而有利于提高货架商品的管理质量。

基于同一发明构思，本发明还提供一种基于图像处理技术的冷柜货架商品统计系统，请参见图10，图10所示为本申请实施例所提供的基于图像处理技术的冷柜货架商品统计系统的一种结构示意图，本申请实施例所提供的基于图像处理技术的冷柜货架商品统计系统包括：

定位模块60，用于自动获取冷柜的位置信息，并发送给云端服务器90；

请参见图2-5，第一摄像头40，用于采集第一图像41；第二摄像头50，用于采集第二图像51；冷柜的柜门20包括靠近所述冷柜内部的第一平面21和远离所述冷柜内部的第二平面22，第一摄像头40和第二摄像头50包括摄像座，摄像座靠近第一平面21的面为底面54，摄像头安装在第一平面21上远离旋转轴30的一侧，与第一平面21的角度为θ，θ指的是摄像座的底面54与第一平面21靠近冷柜底面一侧的夹角，43.86°≤θ≤56.81°，柜门20的顶端与冷柜底面之间的垂直距离为H，请参见图3，第一摄像头40与冷柜底面之间的垂直距离为1/3*H，第二摄像头50与冷柜底面之间的垂直距离为1/2*H；

请参见图3-图5及图10，串口模块70，用于当柜门20打开的角度为β时，触发第一摄像头40采集一张第一图像41，触发第二摄像头50采集一张第二图像51，21.96°≤β≤33.96°；

请参见图4-6和图10，终端控制器80，用于将第一图像41和第二图像51进行拼接，形成第三图像52，将第三图像52传输到云端服务器90，冷柜10内部包括多个置物隔层11，置物隔层11中摆放有至少一排商品12，靠近柜门20的排为第一排13，第三图像52包括各置物隔层11中位于第一排13的商品12图像；需要说明的是，第一图像41和第二图像51之间有相同的内容，在拼接时相同的内容只需统计一次；

请参见图6-8以及图10，云端服务器90，用于根据圆心旋转不变性，按照置物隔层11在旋转轴30上的像素点区域将第三图像52进行分割，得到与各置物隔层11对应的多个第四图像53，第三图像52为多个第四图像53的组合；还用于通过分割算法对各第四图像53进行分割，计算得到冷柜10中各置物隔层11中第一排13所摆放的第一商品12总量，具体为：对第四图像53平滑去反光，形成第一灰度图，对第一灰度图提取特征点坐标；以特征点坐标为圆心，以50个像素点之间的间隔为半径，在一张全黑的空白底图上画圆，得到第二灰度图；对第二灰度图的数据进行归一化处理，得到第二灰度图的灰度值，根据灰度值在垂直旋转轴30的平面上的投影，得到投影曲线；将投影曲线进行数据翻转和曲线平滑后，进行阈值分割，计算得到冷柜10中与各第四图像对应的置物隔层11中第一排13所摆放的第一商品12总量；云端服务器90还用于对冷柜10中的所有置物隔层11对应的第一商品12总量求和，得到冷柜10中第一排13所摆放的第二商品12总量，将第二商品12总量存入数据库；云端服务器90还用于对接收到的冷柜10位置信息进行核对，具体为：若冷柜10的位置与云端服务器90存储的冷柜10的位置之间的距离大于预定距离或云端服务器超过预定时间没有接收到冷柜10的位置信息，则进行报警；若冷柜的位置与云端服务器存储的冷柜的位置之间的距离小于等于预定距离，则通过显示设备展示冷柜10中的第二商品12总量。

具体地，请参见图2-6、图10，本申请实施例所提供的基于图像处理的冷柜10货架商品12统计系统中，通过定位模块60自动获取冷柜10的位置信息，并发送给云端服务器90；通过安装在第一平面21上远离旋转轴30的一侧的两个摄像头采集第一图像41和第二图像51；摄像头包括摄像座，摄像座的底面54与第一平面21之间靠近冷柜10底面的夹角为θ，θ的理论角度为50.47°，可调节的范围为±6°，因此，θ的取值范围为43.86°≤θ≤56.81°，柜门20的顶端与冷柜10底面之间的垂直距离为H，距离H为冷柜10的实际高度，本申请对此不进行具体限定，第一摄像头40与冷柜10底面之间的垂直距离为1/3*H，第二摄像头50与冷柜10底面之间的垂直距离为1/2*H，如此，通过安装在不同高度的两个摄像头就能够将冷柜10里的商品12全部采集到，操作方便，而且无需使用广角镜头等昂贵的设备，有利于节约成本。

请参见图3-图7以及图10，当柜门20打开的角度为β时，通过串口模块70，触发第一摄像头40和第二摄像头50分别采集一张第一图像41和第二图像51，其中，β的理论角度为27.96°，能调节的范围为±6°，因此，β的取值范围为21.96°≤β≤33.96°。终端控制器80接收到第一图像41和第二图像51后，利用圆心旋转不变性，将第一图像41和第二图像51拼接形成第三图像52，并将第三图像52传输到云端服务器90进行处理，由于冷柜10柜门20是根据旋转轴30旋转的，具有圆心旋转不变性，所以安装在柜门20上的两个摄像头拍摄到的第一图像41和第二图像51也具有圆心旋转不变性，因此，根据圆心旋转不变性将第一图像41和第二图像51进行拼接，能够减小特征点匹配误差，从而减小基于特征点的拼接误差，提高图像拼接效果，进而有利于提高商品12统计的准确率；此外，图像拼接过程包含边缘计算，通过终端控制器80将图像拼接好之后再发送给云端服务器90，可以有效减少硬件损耗，而且能够降低传输和运算成本。

请参见图6-图10，云端服务器90接收到第三图像52后，根据圆心旋转不变性，冷柜10每层置物隔层11所在的圆心轴上的像素点位置相对不变，因此可以按照置物隔层11在旋转轴30上的像素点区域将第三图像52进行分割，分割得到的第四图像53与冷柜10的各个置物隔层11一一对应；然后对各第四图像53进行分割，将第四图像53进行平滑去反光，形成第一灰度图，并对第一灰度图提取特征点，通过平滑去反光可以减小特征点匹配误差，以特征点坐标为圆心，以50个像素点之间的间隔为半径，在一张全黑的空白底图上画圆，得到第二灰度图像，并进行归一化处理得到灰度值，对特征点数据进行叠加处理，可以使特征更加突出，有利于提高准确率，且方便后续运算，归一化处理可以简化计算方式，使数据处理更加快捷方便，根据灰度值在垂直旋转轴30的平面上的投影得到投影曲线，为了方便运算，将投影曲线进行数据翻转，使原来的波谷变为波峰，曲线平滑后进行阈值分割，根据阈值点个数计算得到冷柜10中与各第四图像53对应的置物隔层11中第一排13所摆放的第一商品总量，第一商品总量为阈值点个数的二分之一，对与置物隔层11一一对应的第三图像52进行分割处理，能够准确的细化分割出各置物隔层11中的第一排13所排放的商品12，不仅能够提高统计效率，而且能够提高商品的统计准确率，有利于提高货架商品的管理质量。

云端服务器90计算得到冷柜10中的所有置物隔层11对应的第一商品总量后，对所有的第一商品总量求和，得到冷柜10中第一排13所摆放的第二商品总量，并将第二商品总量存入数据库，然后对冷柜10的位置信息进行核对，若接收到的冷柜10的位置信息与云端服务器90存储的冷柜10的位置信息之间的距离大于预定距离或云端服务器90超过预定时间没有接收到冷柜10的位置信息，则进行报警；若接收到的冷柜10的位置信息与云端服务器90中存储的冷柜10的位置信息之间的距离小于等于预定距离，则通过显示设备展示冷柜10中的第二商品总量，此处的预定距离和预定时间可以根据实际需要来设定，例如预定距离可以为1km，也可以为2km，预定时间可以为5s，也可以为10s，本申请对此不进行具体限定；显示设备可以为手机、电脑、平板等可以进行显示的设备，云端服务器90可以将第二商品总量发送到巡检员手机，方便巡检员对某一区域的冷柜10货架进行管理，也可以将第二商品总量发送到电脑端，通过电脑端展示某一区域的冷柜10货架的第二商品总量。

可选地，定位模块60为：GPS+LBS定位模块。具体地，GPS全球定位系统是一个由覆盖全球的24个卫星组成的卫星系统，GPS获取位置要求上空没有遮挡，如果被上空物体遮挡，一般情况下获取不到GPS位置信息；LBS是一种基站定位方式，要实现定位则必须有移动基站，在没有基站的位置上，误差范围较大，因此，本申请中通过GPS定位和LBS定位双结合的方式来解决上述问题，GPS+LBS双定位，可以根据需要，提供准确的方位、水平、位置等信息，且定位非常准确，能够实现冷柜10的准确定位。

可选地，终端控制器80进一步用于依据圆心旋转不变性，对第一图像41和第二图像51进行仿射变换，仿射变换指的是二维坐标(x，y)到二维坐标(u，v)的线性变换，数学表达式为：

还用于对经过仿射变换的第一图像41和第二图像51进行裁剪，并对裁剪后的第一图像41和第二图像51进行拼接。具体地，通过仿射变换，可以保持二维图像的平直性和平行性，也就是说，图像经过变换之后，二维图像之间的相对位置保持不变，原来的直线依然是直线，平行线依然是平行线，且直线上点的位置顺序保持不变，将经过仿射变换的第一图像41和第二图像51进行裁剪，裁剪掉第一图像41和第二图像51中不需要的部分，例如第一图像41和第二图像51中重叠的部分，然后进行拼接，通过对图像进行仿射变换，可以减少图像边缘变形，便于进行图像拼接，裁减掉图像中不需要的部分后进行拼接，能够减小特征点匹配误差，从而有利于减小基于特征点的拼接误差，提高拼接精确度，使拼接出来的图像更加准确。

可选地，对第一灰度图提取特征点坐标，具体为：使用基于二进制特征描述算法BRISK匹配特征点，并导出特征点坐标。具体地，基于二进制特征描述的算子有多种，例如：BRIEF、FREAK、ORB以及BRISK等，本申请中采用BRISK算子进行特征点的匹配和提取，BRISK是BRIEF的一种改进，相比于BRIEF具有较好的旋转不变性、尺度不变性以及较好的鲁棒性等，在特征点匹配应用中，速度较快，且在对有较大程度的图像模糊时，具有较好的表现，进行图像配准时，准确率较高，误差较小，从而有利于提高图像分割精确度。

可选地，进行阈值分割，具体为：曲线平滑后，设定波峰之间的最小间隔为180个像素点，分割阈值为波峰中的最高点减去2500。具体地，对冷柜10的各置物隔层11进行阈值分割时，设定相邻两个波峰之间的最小间隔为180个像素点，进行分割的分割阈值为曲线中的最大值减去2500，如此设计，可以使冷柜10货架中的商品12图像分割更加准确，有利于提高商品12总量统计的准确率，从而有利于提高货架商品12的管理质量。

通过上述实施例可知，本发明提供的基于图像处理技术的冷柜货架商品统计方法及系统，至少实现了如下的有益效果：

(1)本申请实施例所提供的基于图像处理技术的冷柜货架商品统计方法及系统，通过安装在不同高度的两个摄像头即可采集到冷柜内的全部商品图像，安装方便，操作简单，且无需使用广角镜头等昂贵的设备，从而有利于节约成本。

(2)本申请实施例所提供的基于图像处理技术的冷柜货架商品统计方法及系统，根据冷柜柜门的圆心旋转不变性，将两个摄像头采集到的第一图像和第二图像拼接形成第三图像，能够减小特征点匹配误差，从而减小基于特征点的拼接误差，提高图像拼接效果，进而有利于提高商品统计的准确率；此外，由于图像拼接过程包含边缘计算，计算量大，因此，通过终端控制器将图像拼接好之后再发送给云端服务器，可以有效减少硬件损耗，而且能够降低传输和运算成本。

(3)本申请实施例所提供的基于图像处理技术的冷柜货架商品统计方法及系统，根据圆心旋转不变性，按照置物隔层在旋转轴上的像素点区域将第三图像分割为第四图像，对与各置物隔层对应的第四图像进行分割处理，能够准确的细化分割出各置物隔层中的第一排所摆放的商品，不仅能够提高统计效率，而且能够提高商品统计的准确率，有利于提高货架商品的管理质量。

虽然已经通过例子对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上例子仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员应该理解，可在不脱离本发明的范围和精神的情况下，对以上实施例进行修改。本发明的范围由所附权利要求来限定。

Claims (10)

1.一种基于图像处理技术的冷柜货架商品统计方法，其特征在于，包括：

通过冷柜上安装的定位模块自动获取所述冷柜的位置信息，并发送给云端服务器；

所述冷柜的柜门包括靠近所述冷柜内部的第一平面和远离所述冷柜内部的第二平面，在所述第一平面上远离旋转轴的一侧安装与所述第一平面角度为θ的第一摄像头和第二摄像头，所述第一摄像头和第二摄像头包括摄像座，所述摄像座靠近所述第一平面的面为底面，θ指的是所述摄像座的底面与所述第一平面靠近所述冷柜底面一侧的夹角，43.86°≤θ≤56.81°，所述柜门的顶端与所述冷柜底面之间的垂直距离为H，所述第一摄像头与所述冷柜底面之间的垂直距离为1/3*H，所述第二摄像头与所述冷柜底面之间的垂直距离为1/2*H；

当所述柜门打开的角度为β时，通过串口模块触发所述第一摄像头采集一张第一图像，触发所述第二摄像头采集一张第二图像，21.96°≤β≤33.96°；

终端控制器对所述第一图像和第二图像进行拼接，形成第三图像，将所述第三图像传输到所述云端服务器，所述冷柜内部包括多个置物隔层，所述置物隔层中摆放有至少一排商品，靠近所述柜门的排为第一排，所述第三图像包括各所述置物隔层中位于所述第一排的商品图像；

根据圆心旋转不变性，按照所述置物隔层在旋转轴上的像素点区域将所述第三图像进行分割，得到与各所述置物隔层对应的多个第四图像，所述第三图像为多个所述第四图像的组合；

通过分割算法对各所述第四图像进行分割，计算得到冷柜中各所述置物隔层中所述第一排所摆放的第一商品总量，具体为：

对所述第四图像平滑去反光，形成第一灰度图，对所述第一灰度图提取特征点坐标；以所述特征点坐标为圆心，以50个像素点之间的间隔为半径，在一张全黑的空白底图上画圆，得到第二灰度图；对所述第二灰度图的数据进行归一化处理，得到第二灰度图的灰度值，根据所述灰度值在垂直所述旋转轴的平面上的投影，得到投影曲线；将所述投影曲线进行数据翻转和曲线平滑后，进行阈值分割，计算得到冷柜中与各所述第四图像对应的所述置物隔层中所述第一排所摆放的第一商品总量；

对所述冷柜中的所有置物隔层对应的第一商品总量求和，得到所述冷柜中所述第一排所摆放的第二商品总量，将所述第二商品总量存入数据库；

云端服务器对接收到的冷柜位置信息进行核对，具体为：若所述冷柜的位置与所述云端服务器存储的冷柜的位置之间的距离大于预定距离或所述云端服务器超过预定时间没有接收到所述冷柜的位置信息，则进行报警；若所述冷柜的位置与所述云端服务器存储的冷柜的位置之间的距离小于等于预定距离，则通过显示设备展示所述冷柜中的第二商品总量。

2.根据权利要求1所述的基于图像处理技术的冷柜货架商品统计方法，其特征在于，所述定位模块，具体为：GPS+LBS定位模块。

3.根据权利要求1所述的基于图像处理技术的冷柜货架商品统计方法，其特征在于，所述将所述第一图像和第二图像进行拼接，具体为：依据圆心旋转不变性，对所述第一图像和第二图像进行仿射变换，所述仿射变换指的是二维坐标(x，y)到二维坐标(u，v)的线性变换，数学表达式为：

对经过所述仿射变换的所述第一图像和第二图像进行裁剪，并对裁剪后的所述第一图像和所述第二图像进行拼接。

4.根据权利要求1所述的基于图像处理技术的冷柜货架商品统计方法，其特征在于，对所述第一灰度图提取特征点坐标，具体为：使用基于二进制特征描述算法BRISK匹配特征点，并导出特征点坐标。

5.根据权利要求1所述的基于图像处理技术的冷柜货架商品统计方法，其特征在于，所述进行阈值分割，具体为：曲线平滑后，设定波峰之间的最小间隔为180个像素点，分割阈值为所述波峰中的最高点减去2500。

6.一种基于图像处理技术的冷柜货架商品统计系统，其特征在于，包括：

定位模块，用于自动获取冷柜的位置信息，并发送给云端服务器；

第一摄像头，用于采集第一图像；第二摄像头，用于采集第二图像；所述冷柜的柜门包括靠近所述冷柜内部的第一平面和远离所述冷柜内部的第二平面，所述第一摄像头和第二摄像头包括摄像座，安装在所述第一平面上远离旋转轴的一侧，与所述第一平面的角度为θ，所述摄像座靠近所述第一平面的面为底面，θ指的是所述摄像座的底面与所述第一平面靠近所述冷柜底面一侧的夹角，43.86°≤θ≤56.81°，所述柜门的顶端与所述冷柜底面之间的垂直距离为H，所述第一摄像头与所述冷柜底面之间的垂直距离为1/3*H，所述第二摄像头与所述冷柜底面之间的垂直距离为1/2*H；

串口模块，用于当所述柜门打开的角度为β时，触发所述第一摄像头采集一张第一图像，触发所述第二摄像头采集一张第二图像，21.96°≤β≤33.96°；

终端控制器，用于将所述第一图像和第二图像进行拼接，形成第三图像，将所述第三图像传输到所述云端服务器，所述冷柜内部包括多个置物隔层，所述置物隔层中摆放有至少一排商品，靠近所述柜门的排为第一排，所述第三图像包括各所述置物隔层中位于所述第一排的商品图像；

云端服务器，用于根据圆心旋转不变性，按照所述置物隔层在旋转轴上的像素点区域将所述第三图像进行分割，得到与各所述置物隔层对应的多个第四图像，所述第三图像为多个所述第四图像的组合；还用于通过分割算法对各所述第四图像进行分割，计算得到冷柜中各所述置物隔层中所述第一排所摆放的第一商品总量，具体为：对所述第四图像平滑去反光，形成第一灰度图，对所述第一灰度图提取特征点坐标；以所述特征点坐标为圆心，以50个像素点之间的间隔为半径，在一张全黑的空白底图上画圆，得到第二灰度图；对所述第二灰度图的数据进行归一化处理，得到第二灰度图的灰度值，根据所述灰度值在垂直所述旋转轴的平面上的投影，得到投影曲线；将所述投影曲线进行数据翻转和曲线平滑后，进行阈值分割，计算得到冷柜中与各所述第四图像对应的所述置物隔层中所述第一排所摆放的第一商品总量；所述云端服务器还用于对所述冷柜中的所有置物隔层对应的第一商品总量求和，得到所述冷柜中所述第一排所摆放的第二商品总量，将所述第二商品总量存入数据库；所述云端服务器还用于对接收到的冷柜位置信息进行核对，具体为：若所述冷柜的位置与所述云端服务器存储的冷柜的位置之间的距离大于预定距离或所述云端服务器超过预定时间没有接收到所述冷柜的位置信息，则进行报警；若所述冷柜的位置与所述云端服务器存储的冷柜的位置之间的距离小于等于预定距离，则通过显示设备展示所述冷柜中的第二商品总量。

7.根据权利要求6所述的基于图像处理技术的冷柜货架商品统计系统，其特征在于，所述定位模块，具体为：GPS+LBS定位模块。

8.根据权利要求6所述的基于图像处理技术的冷柜货架商品统计系统，其特征在于，所述终端控制器进一步用于依据圆心旋转不变性，对所述第一图像和第二图像进行仿射变换，所述仿射变换指的是二维坐标(x，y)到二维坐标(u，v)的线性变换，数学表达式为：

还用于对经过所述仿射变换的所述第一图像和第二图像进行裁剪，并对裁剪后的所述第一图像和所述第二图像进行拼接。

9.根据权利要求6所述的基于图像处理技术的冷柜货架商品统计系统，其特征在于，对所述第一灰度图提取特征点坐标，具体为：使用基于二进制特征描述算法BRISK匹配特征点，并导出特征点坐标。

10.根据权利要求6所述的基于图像处理技术的冷柜货架商品统计系统，其特征在于，所述进行阈值分割，具体为：曲线平滑后，设定波峰之间的最小间隔为180个像素点，分割阈值为所述波峰中的最高点减去2500。

Images