CN208781326U - 一种视觉识别商品的自动售卖机 - Google Patents

Abstract

本实用新型公开了一种视觉识别商品的自动售卖机。所述售货机在柜体内每一层置货层顶部中央位置附近设置有一个或多个广角摄像头，在每一层置货层顶部的前、后、左、右四个侧面的一个或多个侧面设置有镜面，并且所述镜面与对应的侧面成一定夹角G；所述摄像头用于在柜门打开以及关闭时获取包括所述镜面成像在内的柜体内图像，对比两次获取的图像识别出本次开门商品的变化情况。本实用新型提供的售货机通过增设镜面来获取被位置不佳或者被遮挡的商品的图像，从而准确地识别售货机内商品的变化情况。在本实用新型中，还可以在所述售卖机柜体内胆底部或者每一置货层层板下面安装重力感应装置，利用重力感应值的变化，辅助校准图像识别的结果。

Description

一种视觉识别商品的自动售卖机

技术领域

本实用新型公开了一种视觉识别商品的自动售卖机，涉及视觉识别商品的自动售卖机领域。该售货机采用图像识别技术来检测售货机内商品的变化情况，通过增设镜面来解决摄像头由于遮挡产生的视线死角导致无法全面获取售货机内所有商品图像信息，从而使得交易数据不准确的难题得到解决。同时，该售货机在柜体内胆底部或者每个置货层层板都设有重力感应装置用以检测售卖机内商品重量变化值，修正图像识别的结果，进一步保证商品变化识别结果的准确性。

背景技术

目前、扫码开门式的智能售货柜因为其造价低，用户体验好，正在迅速推广。对售货柜内商品变化情况进行识别是智能售货柜需要解决的一个关键性问题。目前现有的商品识别技术有RFID技术，重力感应技术和图像识别技术。其中、采用RFID技术所需要人工为商品附加标签，考虑到标签价格及人工费用，很多无人售货场景、尤其是销售低价商品时并不适宜采用RFID标签。重力感应技术因为没有和售卖商品的一一对应关系，所以在很多情况下无法单独使用。图像识别技术是随着人工智能技术发展而新兴起的一个技术，因为其成本低廉，识别准确，正逐步得到大量的应用。如图1所示，在现有的图像识别技术中，一般是在箱体的顶部安装摄像头D，用于拍摄下面放置的商品A，B，C等。由于高度比较高的商品的遮挡，使得位置不佳的商品C无法在摄像头D上成像。将商品用鱼鳞或者梯田式的货品摆放(这一点可以参见属于本申请人的两篇在先申请专利，专利申请号分别为CN201820915127.X以及CN201810311254.3)，可以部分解决此类问题，但是会明显造成商品摆放数量的减少。而且，梯田或者鱼鳞方式摆放商品在某些地方会造成拿货补货的不方便。

实用新型内容

为了克服以上传统采用图像识别技术进行商品变化识别的售货机带来的不足，本实用新型提供了一种带镜面的视觉识别商品的自动售卖机，在该售货机柜体内每一层置货层顶部中央位置附近设置有一个或多个广角摄像头，在每一层置货层顶部的前、后、左、右四个侧面的一个或多个侧面设置有镜面，并且所述镜面与对应的侧面成一定夹角G；所述摄像头用于在柜门打开以及关闭时获取包括所述镜面成像在内的柜体内图像后传给图像处理单元，图像处理单元对比两次获取的图像识别出本次开门商品的变化情况。此外，在售卖机柜体内胆底部或者每一个置货层层板设有重力感应装置用以检测柜门打开和关闭时售卖机内商品的变化情况，将重量的变化情况与图像识别的结果进行匹配，修正图像识别的结果。

进一步地、所述带镜面的视觉识别商品的自动售卖机还包括：柜体控制单元、图像处理单元以及业务处理单元。其中，所述柜体控制单元在检测到售货机的柜门打开或者关闭时，控制摄像头获取所有镜面上的成像以及摄像头直接视线获取的图像后传输到图像处理单元。图像处理单元基于现有的图像识别算法，识别出上述图像中的具体商品以及其位于置货层层板的具体位置；然后综合商品信息以及其位置分析得到售货机内所有商品的数量以及种类，通过对比两次分析结果得出本次开门商品的变化情况。业务处理单元，根据所述商品的变化情况生成销售单据并对用户进行扣费等操作。

进一步地、在所述售卖机柜体内每一置货层层板上设置有位置标识与商品一起成像。图像处理单元根据摄像头获取的图像中的具体商品附近的位置标识识别其位置，然后根据摄像头获取图像中所有商品的种类以及其具体位置去重，将位于同一位置的相同商品算为同一个商品，从而得到售货机内所以商品的种类和数量。

进一步地、在该售货机柜体内每一个置货层层板分别设有重力感应装置、或者在整个售卖机柜体的内胆底部安装一个重力感应装置，用以获取柜门打开时和柜门关闭时售卖机内商品重力变化情况；根据商品的重量变化情况，修正图像识别的结果。综合直视成像与镜面成像的图像识别结果得到的商品的变化情况，乘上每个商品的重量，也可以得到商品变化的总重量。图像推算出的重量变化与重力感应的重量变化进行对比，可以得出是否匹配的结论。当出现不匹配的情况，可以根据图像识别得到的有变化的商品进行排列组合，直到符合重力感应重量变化数值，从而纠正图像识别可能出现的错误。

附图说明

图1为传统无人售卖机摄像头视线被遮挡的示意图；

图2为本实用新型提供带镜面的视觉识别商品的自动售卖机示意图；

图3为本实用新型提供视觉识别商品的自动售卖机采用凸面镜的示意图。

具体实施方式

为了使本实用新型所解决的技术问题、技术方案以及有益效果更加清楚明白，以下结合附图对本实用新型进行进一步详细说明。应该理解，此处所描述的具体实施例仅用以解释本实用新型，并不用于限定本实用新型。

本实用新型提供带镜面的视觉识别商品的自动售卖机如图2所示，在该售卖机柜内每一层置货层顶部的前、后、左、右四个侧面的一个或多个侧面设置有镜面E(平面或者曲面，包括凸面和凹面)，镜面E与箱体侧面的夹角G可以是45度，也可以是其他根据实际需要调整后的角度。在柜内售货机柜体内每一层置货层顶部中央位置附近设置有一个或多个广角摄像头D。从图2中的光线反射路线F可以看出，虽然商品C被商品A与B遮挡，无法直接被广角摄像头D拍摄到，但是商品C在镜面E上形成的图像，可以通过反射被摄像头D拍摄到。该售卖机还包括：柜体控制单元、图像处理单元以及业务处理单元。其中，所述柜体控制单元在检测到售货机的柜门打开或者关闭时，控制摄像头D获取所有镜面上的成像以及从直接视线获取的图像后传输到图像处理单元。传递到摄像头D的图像，可以是静态图像，也可以是视频流的形式图像处理单元根据预设的商品特征对接受到的图像进行分析处理，识别出图像里面的商品种类和数量。通过开门前的识别结果与关门后的识别结果进行对比，就得出本次开门商品的变化情况(包括种类和数量)。

此外，如附图2所示在该售货机柜体内每一个置货层层板分别设有重力感应装置，用以获取柜门打开时和柜门关闭时售卖机内商品重力变化情况；根据商品的重量变化情况，修正图像识别的结果。或者在整个售卖机柜体的内胆底部整体设置一个重力感应装置。综合商品重力变化情况以及图像识别的结果后将确定出的商品种类和数量变化传递给业务处理单元，由业务处理单元生成销售单据并对用户进行扣费等操作。

由于采用多个镜面对售货机内的商品进行成像，摄像头获取的多个图像中往往会出现同一商品在多副图像中重复出现的情况。如图3所示，由于光线的直线传播原理，对于摄像头D和物体B，存在一个死角线LL。B物体在死角线一面背对摄像头的部分B2，无法直接像B1一样直接成像到摄像头D上，但是可以通过死角反射线MM，通过镜面E(这里用了曲面镜示意)，成像到摄像头D中。因此，物体B在摄像头的图像中，会有两个成像结果：直接成像部分B1和本来的死角部分B2成像。为准确计算售卖机内的商品数量与种类，需要对多个图像中的同一物体进行识别。为此，在所述售卖机柜体内的底部设置位置标识与商品一起成像，图像处理单元根据摄像头获取的图像中的具体商品附近的位置标识识别其位置，然后根据摄像头获取图像中所有商品的种类以及其坐标进行去重，将位于同一位置的相同商品算为同一个商品，从而得到售货机内所以商品的种类和数量。

进一步地，所述位置标识具体可以是设置柜体内底板上可视化坐标网格，其中网格线上标识有多个坐标值，图像处理单元通过识别商品附近的网格线上的坐标来识别其具体位置。还可以是不同颜色的网格线、其中任意两条网格线颜色都不同，通过识别商品所处的网格四周的网格线的颜色来确定其具体位置。当然，位置标识还可以是其他能够任意标识具体位置的视觉化呈现。

通过本实用新型提供的视觉识别商品的自动售卖机将使原来由于遮挡无法识别的商品得到正确识别。并且实现简单，只需要在箱体的上部增设镜面就可以解决中心摄像头无法拍摄到的遮挡问题，从四个镜面反射面总能够有至少一个反射面能够看到被遮挡的商品，使用金属抛光镜面的成本低廉。

Claims (7)

1.一种视觉识别商品的自动售卖机,其特征为：该售货机柜体内每一层置货层顶部中央位置附近设置有一个或多个广角摄像头，在每一层置货层顶部的前、后、左、右四个侧面的一个或多个侧面设置有镜面，并且所述镜面与对应的侧面成一定夹角G；所述摄像头用于在柜门打开以及关闭时获取包括所述镜面成像在内的柜体内图像后传给图像处理单元，图像处理单元对比两次获取的图像识别出本次开门商品的变化情况。

2.如权利要求1所述的自动售卖机，其特征在于，所述图像处理单元对比两次获取的图像识别出本次开门商品的变化情况包括：图像处理单元对在柜门打开以及关闭时、根据从各镜面获取的图像以及摄像头的直接视线获取的图像识别出上述图像中的具体商品以及其位于置货层层板的具体位置；然后综合商品信息以及其位置分析得到售货机内所有商品的数量以及种类，通过对比两次分析结果得出本次开门商品的变化情况。

3.如权利要求2所述的自动售卖机，其特征在于，其中综合商品信息以及其位置分析得到售货机内所有商品的数量以及种类，包括：根据摄像头获取图像中所有商品的种类以及其具体位置进行去重，将位于同一位置的相同商品算为同一个商品，从而得到售货机内所以商品的种类和数量。

4.如权利要求2或3所述的自动售卖机，其特征在于，其中识别出上述图像中的具体商品以及其位于置货层层板的具体位置，具体为：在柜体内每一置货层层板上设置有位置标识与商品一起成像，图像处理单元根据摄像头获取的图像中的具体商品附近的位置标识识别其位置。

5.如权利要求3所述的自动售卖机，其特征在于，其中所述的位置标识为设置在置货层层板上可视化坐标网格，其中网格线上标识有多个坐标值，图像处理单元通过识别商品附近的网格线上的坐标来识别其具体位置；或者位置标识为不同颜色的网格线，通过识别商品所处的网格四周的网格线的颜色来确定其具体位置。

6.如权利要求3所述的自动售卖机，其特征在于，在该售货机柜体内每一个置货层层板分别设有重力感应装置、或者在整个售卖机柜体的内胆底部安装一个重力感应装置，用以获取柜门打开时和柜门关闭时售卖机内商品重力变化情况；根据商品的重量变化情况，修正图像识别的结果。

7.如权利要求1-3，6中任一项所述的自动售卖机，其特征在于，其中镜面的形状可是平面、凹面或者凸面。