CN108629659B - 利用视觉测量进行盘点的无人售货系统 - Google Patents

Abstract

本发明提供的利用视觉测量进行盘点的无人售货系统，货架上设有货道，货道上还设有推进机构，推进机构能够推动货道上的商品依次排列、沿着货道移动至货道前端；货道上还沿着标识线；摄像头设置在货道上方；摄像头拍摄至少一整条货道的图片，以生成待处理图片，传送给控制器；控制器对所述待处理图片进行识别，计算待处理图片中的标识线的长度，以得到映射长度，根据所述映射长度对商品进行盘点。该系统利用设置在货道上的标识线和摄像头对商品进行盘点，能够计算货架上每条货道的商品剩余数，从而知晓顾客拿走的商品类型和数量，完成商品支付。顾客不需要在再完成支付后才能拿走商品，该系统顾客操作流程简单、能够帮助顾客实现快速购物。

Description

利用视觉测量进行盘点的无人售货系统

技术领域

本发明属于无人售货技术领域，具体涉及利用视觉测量进行盘点的无人售货系统。

背景技术

现有的无人售货系统大多数出现在无人售货柜、无人售货机或无人超市等无人售货产品中。顾客通过无人售货产品上设置的按钮或软件平台选择预期商品并在完成支付后，选择好的商品被无人售货产品通过机械装置从内部货架上取出，传送或坠落到取货仓中。顾客直接从取货仓中取出商品即可。

但是现有的无人售货产品存在如下几个问题，1.造价过高，传统的无人售货产品需要安装具备传送或其他类似移动商品的电气机械装置，成本较高。2.流程繁琐，效率低下，交互不便，用户通过无人售货产品上的按钮或软件平台选定商品并付款后才能取走商品。

发明内容

针对现有技术中的缺陷，本发明提供利用视觉测量进行盘点的无人售货系统，能够实现自动盘点商品，实现顾客快速购物的功能。

一种利用视觉测量进行盘点的无人售货系统，包括货架、摄像头和控制器；

所述货架上至少设有一条纵向延伸的货道，所述货道上还设有推进机构，推进机构能够推动货道上的商品依次排列、沿着货道移动至货道前端；所述货道上还沿着货道延伸方向设置有标识线；

所述摄像头设置在货道上方；所述摄像头用于拍摄至少一整条货道的图片，以生成待处理图片，传送给控制器；

所述控制器对所述待处理图片进行识别，计算待处理图片中的标识线的长度，以得到映射长度，根据所述映射长度对商品进行盘点。

进一步地，所述推进机构包括位于货道上方沿着货道倾斜设置的底板，所述底板呈后端高度高于前端高度的倾斜状态，所述底板用于放置商品。

进一步地，所述标识线为沿着底板的延伸方向设置的直线。

进一步地，所述标识线设置在底板中间，且能够被放置在底板上的商品遮挡。

进一步地，所述控制器对所述待处理图片进行识别，计算待处理图片中的标识线的长度，以得到映射长度，根据所述映射长度对商品进行盘点具体包括：

控制器中设有映射模型；

控制器对所述待处理图片进行识别，计算待处理图片中的标识线的长度，以得到映射长度d1；

控制器计算商品占用的映射长度d2：d2＝D-d1；其中D为底板上无商品时，摄像头拍摄得到的图片中该底板标识线的映射长度；

控制器利用映射模型计算商品占用的映射长度d2对应的实际长度s2；

控制器根据该货道的商品深度p计算该货道上商品的剩余数量N，完成盘点，其中N＝s2/p。

进一步地，所述映射模型通过以下方法建立：

控制器预设测量间距x；

控制器从标识线前端开始，每间隔一个测量间距设置一个测量点；

控制器读取摄像头对该整个底板进行拍摄得到的图片，定义为测量图片；

控制器对测量图片进行识别，得到测量图片中的标识线上每个测量点到标识线后端的映射长度c_i，计算占用的映射长度c_i ^/，c_i ^/＝D-c_i；i＝1，2，…，j；j为测量点个数；

控制器利用最小二乘法建立一元一次线性方程组：c_i ^/＝k×x×i+b；对一元一次线性方程组进行求解，得到最优参数解k和b。

进一步地，所述控制器对所述待处理图片进行识别，计算待处理图片中的标识线的长度，以得到映射长度d1；所述映射长度d1具体通过以下方式得到：

控制器预设对比模板；

控制器从待处理图片中标识线的后端开始，利用对比模板依次向前匹配待处理图片中标识线；

若对比模板与待处理图片中某点的标识线不匹配时，定义该点为识别点；

控制器计算待处理图片中标识线的后端到识别点的距离，以得到映射长度d1。

进一步地，所述对比模板为矩形图片，对比模板的底色为底板的颜色，对比模板中间纵向设有与所述标识线颜色相同的对比线。

进一步地，所述利用对比模板依次向前匹配待处理图片中标识线通过以下方式实现：

控制器计算对比模板的灰度值；

控制器将待处理图片中整条底板的显示区域按照对比模板的尺寸分割成若干个检测区域；

控制器计算所有检测区域的灰度值

控制器从待处理图片中标识线的后端的检测区域开始，依次向前计算对比模板的灰度值与检测区域的灰度值的差值。

进一步地，所述对比模板与待处理图片中某点的标识线不匹配具体为：

对比模板的灰度值与某点的检测区域的灰度值的差值大于预设的最大色差值时，定义对比模板与待处理图片中该点的标识线不匹配。

由上述技术方案可知，本发明提供的利用视觉测量进行盘点的无人售货系统，利用设置在货道上的标识线和摄像头对商品进行盘点，能够计算货架上每条货道的商品剩余数，从而知晓顾客拿走的商品类型和数量，完成商品支付。顾客不需要在再完成支付后才能拿走商品，该系统顾客操作流程简单、能够帮助顾客实现快速购物。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1为实施例一提供的系统的模块框图。

图2为实施例二提供的货架的结构示意图。

图3为实施例四提供的标识线匹配的示意图。

图4为实施例四提供的标识线匹配的流程图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

实施例一：

参见图1，一种利用视觉测量进行盘点的无人售货系统，包括货架、摄像头和控制器；

所述货架上至少设有一条纵向延伸的货道，所述货道上还设有推进机构，推进机构能够推动货道上的商品依次排列、沿着货道移动至货道前端；所述货道上还沿着货道延伸方向设置有标识线；

具体地，商品放在货道上，一条货道上只放一种商品，商品从货道前端依次向货道后端放置；推进机构用于将商品从后端推到前端。例如顾客从货道上取走商品时，货道上就会出现空隙，位于被取走商品后面的商品就会被推到货道前面，使得商品与商品之间是紧挨的状态。所述标识线用于识别货道上商品占用的深度。商品放在标识线上方，且能够遮盖标识线。

所述摄像头设置在货道上方；所述摄像头用于拍摄至少一整条货道的图片，以生成待处理图片，传送给控制器；

具体地，摄像头可以设置有多个。摄像头至少能拍摄到一整条货道，也可以将摄像头设置在多个货道之间，使得摄像头至少能拍摄到2-3整条货道，摄像头拍摄不全的货道失效。摄像头可以设置在货架上。待处理图片上显示至少一整条货道，货道上的商品，以及货道上的标识线。

所述控制器对所述待处理图片进行识别，计算待处理图片中的标识线的长度，以得到映射长度，根据所述映射长度对商品进行盘点。

具体地，由于放置在货道上的商品能够遮挡货道上的标识线，所以货道上的商品越多，遮挡的标识线越长，摄像头能够拍摄到的标识线越短。反之，货道上的商品越少，遮挡的标识线越短，摄像头能够拍摄到的标识线越长。由此可以看出待处理图片中看到的标识线的长短与商品的数量是具有关联的。通过识别待处理图片中看到的标识线的长度，就能知道货道上商品的数量，如果商品的数量不变，说明顾客并没有拿走商品。商品的数量减小，说明顾客拿走了商品，也能够得到顾客拿走的商品数量。如果商品数量增加，说明有人进行补仓。

该系统利用设置在货道上的标识线和摄像头对商品进行盘点，能够计算货架上每条货道的商品剩余数，从而知晓顾客拿走的商品类型和数量，完成商品支付。顾客不需要在再完成支付后才能拿走商品，该系统顾客操作流程简单、能够帮助顾客实现快速购物。

实施例二：

实施例二提供的方案，在其他实施例的基础上增加了以下内容：

参见图2，所述推进机构包括位于货道上方沿着货道倾斜设置的底板1，所述底板1呈后端高度高于前端高度的倾斜状态，所述底板用于放置商品。

具体地，2为设置在货架上的摄像头。推进机构采用倾斜设置的底板，当货道前面的商品被取出，货道上出现空隙时，该商品后面的商品由于受到万有引力的影响，会向货道前方滑动，使得各商品保持紧挨状态，且通过倾斜的底板实现的推进机构，成本简单。推进机构也可以采用传送带结构实现。

本实施例不对标识线进行限定。具体实施时，所述标识线为沿着底板的延伸方向设置的直线3。

具体地，直线可以为黑色或其他颜色。直线便于计算最后一个商品到货道后端的距离。

本实施例不对标识线的位置进行限定。具体实施时，所述标识线设置在底板中间，且能够被放置在底板上的商品遮挡。

具体地，由于商品一般都是放在货道中间，标识线设置在中间，方便被放置在底板上的商品遮挡。标识线还可以设置在底板的对角线上，这样底板上位置不同，标识线两侧的区域面积、宽度不同。采用该标识线也能够检测到最后一个商品的位置。

本实施例的无人售货系统可以应用在无人售货柜、无人售货机或无人超市中，只要是设置到销售商品的柜子都可以使用该系统实现，该系统除了能够进行无人销售后，也可以应用与仓库中，自动实现对仓库的盘点。

本实施例所提供的系统，为简要描述，实施例部分未提及之处，可参考其他实施例中相应内容理解。本实施例的推进机构成本低，操作简单。

实施例三：

实施例三提供的方案，在其他实施例的基础上增加了以下内容：

所述控制器对所述待处理图片进行识别，计算待处理图片中的标识线的长度，以得到映射长度，根据所述映射长度对商品进行盘点具体包括：

控制器中设有映射模型；

具体地，映射模型主要体现的是映射长度与实际长度的关系。

控制器对所述待处理图片进行识别，计算待处理图片中的标识线的长度，以得到映射长度d1；

控制器计算商品占用的映射长度d2：d2＝D-d1；其中D为底板上无商品时，摄像头拍摄得到的图片中标识线的映射长度；

控制器利用映射模型计算商品占用的映射长度d2对应的实际长度s2；

控制器根据该货道的商品深度p计算该货道上商品的剩余数量N，完成盘点，其中N＝s2/p。

具体地，假设摄像头拍摄货道A得到待处理图片A。控制器计算待处理图片A中标识线的长度，即货道A上最后一件商品与货道A后端的距离，得到映射长度d1A；控制器根据d2A＝DA-d1计算货道A中商品占用的映射长度d2A，即待处理图片A中最前一个商品到最后一个商品的距离。DA为不放置商品时，摄像头拍摄到的货道A的成像长度。控制器利用映射模型计算映射长度d2A对应的实际长度s2A；由于同样的商品，其外包装的尺寸是固定的，深度也是固定的。所以将商品占用的实际长度s2A除以商品的深度，既可以得到货道A中存放的商品的数量。

由于摄像头从内往外摄取图片，图片较远处的像素更加密集，同样像素距离的标识线在远处会比近处表示了更多的现实距离，所以需要建立映射模型来找出不同位置的像素距离和现实距离之间的映射关系。

本实施例不对映射模型的建立方法进行限定。具体实施时，所述映射模型通过以下方法建立：

控制器预设测量间距x；

控制器从标识线前端开始，每间隔一个测量间距设置一个测量点；

控制器读取摄像头对该整个底板进行拍摄得到的图片，定义为测量图片；

控制器对测量图片进行识别，得到测量图片中的标识线上每个测量点到标识线后端的映射长度c_i，计算占用的映射长度c_i ^/，c_i ^/＝D-c_i；i＝1，2，…，j；j为测量点个数；

控制器利用最小二乘法建立一元一次线性方程组：c_i ^/＝k×x×i+b；对一元一次线性方程组进行求解，得到最优参数解k和b。

具体地，假设测量间距为x，例如20mm。分别间隔20mm设置一个测量点，假设测量点的数量为n。这n个测量点的距离货道前端的实际距离分别为x1、x2、…、xn。分别测得n个测量点在摄像头拍摄图片中的映射距离c_i，即摄像头拍摄图片中测量点到货道后端的距离，用整个货道的长度减去测量点的映射距离c_i，得到测量点到货道前端的映射长度y1、y2、…、yn。得到(y1,x1),(y2,x2)…(yn,xn),利用最小二乘法得到一元一次线性方程组的最优参数解k和b，即可得到像素距离与实际距离的映射关系。

本实施例所提供的系统，为简要描述，实施例部分未提及之处，可参考其他实施例中相应内容理解。本实施例的商品盘点方法，计算简单，能够快速地得到货道上商品的数量。同时利用最小二乘法得到映射模型，提高了准确性。

实施例四：

实施例四提供的方案，在其他实施例的基础上增加了以下内容：

参考图3、4，所述控制器对所述待处理图片进行识别，计算待处理图片中的标识线的长度，以得到映射长度d1；所述映射长度d1具体通过以下方式得到：

控制器预设对比模板5；图3中4为商品。

本实施例不对对比模板进行限定。具体实施时，所述对比模板为矩形图片，对比模板的底色为底板的颜色，对比模板中间纵向设有与所述标识线颜色相同的对比线。

具体地，对比模板用于找出待处理图片中最后一个商品的位置，从而更加精准地得到待处理图片中标识线的映射长度。对比模板可以是图片或照片。对比模板标识线在摄像头中的成像颜色与摄像头拍摄到的底板的颜色相同，提高了识别的准确性。如果底板的上表面是白色，标识线是黑色。这对比模板为白底黑线的图片。

控制器从待处理图片中标识线的后端开始，利用对比模板依次向前匹配待处理图片中标识线；

若对比模板与待处理图片中某点的标识线不匹配时，定义该点为识别点；

控制器计算待处理图片中标识线的后端到识别点的距离，以得到映射长度d1。

具体地，通过对比模板识别最后一个商品的分界线，识别结果更加准确。

进一步地，所述利用对比模板依次向前匹配待处理图片中标识线通过以下方式实现：

控制器计算对比模板的灰度值；

具体地，计算整个对比模板的像素均值，以该均值为分界线，对灰度图做二值化，大于均值为1，小于均值为0。

控制器将待处理图片中整条底板的显示区域按照对比模板的尺寸分割成若干个检测区域；

具体地，灰度值能够体现拍摄图片的颜色。如果检测区域与对比模板的灰度值差值较大，说明检测区域与对比模板的颜色区别较大。则认为检测到最后商品的位置。对比模块的宽度由用户自行设定。检测区域可以预先分配好，也可以为通过滑动对比模板形成的窗口，滑动的步长为预设的像素数量。

控制器计算所有检测区域的灰度值；

控制器从待处理图片中标识线的后端的检测区域开始，依次向前计算对比模板的灰度值与检测区域的灰度值的差值；

进一步地，所述对比模板与待处理图片中某点的标识线不匹配具体为：

所述差值大于预设的最大色差值时，定义对比模板与待处理图片中某点的标识线不匹配。

具体地，计算对比模板与检测区域中像素级欧氏距离Ln，读取上一检测区域的欧氏距离Ls，如果(Ln-Ls)/Ls大于最大色差值时，判定识别到货道上最后的商品。其中最大色差值可以是0.5。

本实施例所提供的系统，为简要描述，实施例部分未提及之处，可参考其他实施例中相应内容理解。本实施例的商品盘点方法，根据标识线设置一个对比模板，相当于窗口，从货道后端依次向前移动对比模板进行对比，如果对比模板与测量区域的灰度值相差较大时，认为识别到货道上最后一个商品的位置，从而得到货道上最后一个商品与货道后端的距离，计算简单，降低对计算机的要求，提高了计算速率。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (6)

1.一种利用视觉测量进行盘点的无人售货系统，其特征在于，包括货架、摄像头和控制器；

所述货架上至少设有一条纵向延伸的货道，所述货道上还设有推进机构，推进机构能够推动货道上的商品依次排列、沿着货道移动至货道前端；所述货道上还沿着货道延伸方向设置有标识线；所述推进机构包括位于货道上方沿着货道倾斜设置的底板(1)，所述底板(1)呈后端高度高于前端高度的倾斜状态，所述底板用于放置商品；所述标识线为沿着底板的延伸方向设置的直线(3)；

所述摄像头设置在货道上方；所述摄像头用于拍摄至少一整条货道的图片，以生成待处理图片，传送给控制器；

所述控制器对所述待处理图片进行识别，计算待处理图片中的标识线的长度，以得到映射长度，根据所述映射长度对商品进行盘点；

所述控制器对所述待处理图片进行识别，计算待处理图片中的标识线的长度，以得到映射长度，根据所述映射长度对商品进行盘点具体包括：

控制器中设有映射模型；

控制器对所述待处理图片进行识别，计算待处理图片中的标识线的长度，以得到映射长度d1；

控制器计算商品占用的映射长度d2：d2＝D-d1；其中D为底板上无商品时，摄像头拍摄得到的图片中底板标识线的映射长度；

控制器利用映射模型计算商品占用的映射长度d2对应的实际长度s2；

控制器根据该货道的商品深度p计算该货道上商品的剩余数量N，完成盘点，其中N＝s2/p；

所述映射模型通过以下方法建立：

控制器预设测量间距x；

控制器从标识线前端开始，每间隔一个测量间距设置一个测量点；

控制器读取摄像头对整个底板进行拍摄得到的图片，定义为测量图片；

控制器对测量图片进行识别，得到测量图片中的标识线上每个测量点到标识线后端的映射长度c_i，计算占用的映射长度c_i ^/，c_i ^/＝D-c_i；i＝1，2，…，j；j为测量点个数；

控制器利用最小二乘法建立一元一次线性方程组：c_i ^/＝k×x×i+b；对一元一次线性方程组进行求解，得到最优参数解k和b。

2.根据权利要求1所述利用视觉测量进行盘点的无人售货系统，其特征在于，所述标识线设置在底板中间，且能够被放置在底板上的商品遮挡。

3.根据权利要求1所述利用视觉测量进行盘点的无人售货系统，其特征在于，所述映射长度d1具体通过以下方式得到：

控制器预设对比模板；

控制器从待处理图片中标识线的后端开始，利用对比模板依次向前匹配待处理图片中标识线；

若对比模板与待处理图片中某点的标识线不匹配时，定义该点为识别点；

控制器计算待处理图片中标识线的后端到识别点的距离，以得到映射长度d1。

4.根据权利要求3所述利用视觉测量进行盘点的无人售货系统，其特征在于，所述对比模板为矩形图片，对比模板的底色为底板的颜色，对比模板中间纵向设有与所述标识线颜色相同的对比线。

5.根据权利要求3所述利用视觉测量进行盘点的无人售货系统，其特征在于，所述利用对比模板依次向前匹配待处理图片中标识线通过以下方式实现：

控制器计算对比模板的灰度值；

控制器将待处理图片中整条底板的显示区域按照对比模板的尺寸分割成若干个检测区域；

控制器计算所有检测区域的灰度值；

控制器从待处理图片中标识线的后端的检测区域开始，依次向前计算对比模板的灰度值与检测区域的灰度值的差值。

6.根据权利要求5所述利用视觉测量进行盘点的无人售货系统，其特征在于，所述对比模板与待处理图片中某点的标识线不匹配具体为：

对比模板的灰度值与某点的检测区域的灰度值的差值大于预设的最大色差值时，定义对比模板与待处理图片中该点的标识线不匹配。

Images