CN113178035A - 自动售货装置中ai识别出货信息的方法及应用 - Google Patents

Abstract

本发明提供了自动售货装置中AI识别出货信息的方法及应用，涉及智能售货技术领域。所述方法包括步骤：接收货物的购买信息，控制售货装置中的升降横移机构启动以驱动与升降横移机构连接的取物托盘到达前述货物所在货道；通过取物托盘使货道中的货物离开所在货道并接住货物；以及，触发取物托盘上的图像采集装置以获取货物进入取物托盘之前和之后的取物托盘图像数据；比对之前和之后的取物托盘图像数据得到货物入盘信息，所述货物入盘信息包括货物是否入盘成功的信息和入盘的货物信息。本发明能够在出货阶段早期就及时地发现错误的出货操作，降低出货检测过程对用户时间的占用，提高出货可靠性和效率；且识别精度高，产品适用性广。

Description

自动售货装置中AI识别出货信息的方法及应用

技术领域

本发明涉及智能售货技术领域。

背景技术

自助售货机的机柜通常由货架组成，货架可以包括多行多列货道。传统货道的货物出货方式有电动推杆出货、履带出货、弹簧螺旋出货等，通过上述出货装置将货物推出后，货物经自由落体进入取货仓中。考虑到有些货物(比如易碎的玻璃瓶装产品)是不能自由掉落的，又出现了采用升降台接货的形式，此时，货物被从货道推出后进入自动升降台，再由自动升降台运送货物至取货仓，就能避免从高处自由落体方式引发的货物损坏。无论是利用上述哪一类自动售货机时，都有需要对货物出货情况进行检测，以便销售方核对库存、追溯货物购买信息等。

目前，现有自动售货机检测货物掉落和货物被取出时，通常依靠售货柜载物云台两侧的对射光电板来完成。然而，存在如下缺陷：难以检测较小货物、透明货物、细长货物；同时，由于光电对射板容易收到干扰，比如强烈的太阳光，或者出货仓内有未取出的杂物，导致检测结果出现误判。

另一方面，在利用自动售货机购物时，可能出现出货货物与购买订单不符的情况——比如取到的货物与购买的货物不匹配、多出货、少出货、甚至不出货等。由于已经出货的旧商品无法直接在售货机上进行退回和更换，购买用户要么重新购买想要的商品，要么提出售后等待工作人员前来处理，影响正常使用，降低了用户体验。基于上述问题，现有技术也提供了具有回收功能的自动售货机，以中国专利zl201921316116 .0为例，其公开了一种自动售货机货斗：所述货斗内放置输送机构，输送机构两端分别设置入货口和出货口，所述输送机构至少包括正向运动模式和反向运动模式，当所述输送机构处于正向运动模式时，所述输送机构将货物朝向所述出货口运输，当所述输送机构处于反向运动模式时，所述输送机构将货物朝向所述入货口运输。然而，上述技术方案是在货物在落入货斗后再进行货物识别处理和是否回收的判断（此时处于出货阶段末期，货物出货过程已经基本完成，传统的自动售货机中顾客已经可以在货斗中取货了），显然会拉长顾客的购物等待时间，降低了自动售货机的出货效率，也影响了用户体验。

综上所述，如何提供一种识别精度高、产品适用性广且对出货效率影响小的出货检测方法是当前亟待解决的技术问题。

发明内容

本发明的目的在于：克服现有技术的不足，提供了自动售货装置中AI识别出货信息的方法及应用。本发明利用取物托盘使货道中的目标货物离开所在货道并接住货物，并触发取物托盘上的图像采集装置获取货物进入取物托盘之前和之后的取物托盘图像数据，通过比对得到货物入盘信息。如此，能够在出货阶段早期就及时地发现错误的出货操作，降低出货检测过程对用户时间的占用，提高出货可靠性和效率；且图像检测方式识别精度高，产品适用性广，能够适用于各种贩卖产品。

为实现上述目标，本发明提供了如下技术方案：

一种自动售货装置中AI识别出货信息的方法，包括如下步骤：

接收货物的购买信息，控制售货装置中的升降横移机构启动以驱动与升降横移机构连接的取物托盘到达前述货物所在货道；

通过前述取物托盘使前述货道中的货物离开所在货道并接住货物；以及，触发取物托盘上的图像采集装置以获取货物进入取物托盘之前和之后的取物托盘图像数据；

比对前述之前和之后的取物托盘图像数据得到货物入盘信息，所述货物入盘信息包括货物是否入盘成功的信息和入盘的货物信息。

进一步，所述货物入盘信息包括货物入盘标识信息，所述货物入盘标识信息包括入盘成功标识和入盘失败标识；

当货物入盘信息为货物入盘失败时，向购买用户和/或售货装置管理方用户发送故障提醒信息。

进一步，当货物入盘信息为货物入盘成功时，还包括如下步骤：

获取入盘的货物信息，以及用户的购买订单信息；

将入盘的货物信息与购买订单中的购买产品信息进行比对，判断入盘的货物是否匹配购买产品；

判定匹配时，通过升降横移机构驱动取物托盘移动到售货装置的取货口以出货；否则，通过升降横移机构驱动取物托盘移动到售货装置的回收仓以回收不匹配货物。

进一步，所述图像采集装置为对应着接物盘安装的摄像头，摄像头与控制器连接并接收控制器的控制；通过摄像头拍摄货物进入取物托盘之前和之后的取物托盘图像数据。

进一步，所述接物盘的载物面设置为黑色，所述摄像头位于接物盘的固定方位上且摄像头的焦距设置为恒定值，所述摄像头固定对焦在接物盘中央区域；比对前述之前和之后的取物托盘图像数据得到货物入盘信息的步骤如下：

对货物进入取物托盘之前的取物托盘图像数据进行图像截取处理，根据黑色的载物面区域获取接物盘区域坐标；

基于前述接物盘区域坐标对货物进入取物托盘之后的取物托盘图像数据进行图像截取处理以去除接物盘区域之外的无关区域，获得货物进入取物托盘之后的接物盘区域图像；

对前述接物盘区域图像进行边缘轮廓检测，根据检测出的边缘轮廓判断接物盘中是否存在货物；

判定接物盘中存在货物时，触发识别入盘的货物信息。

进一步，识别入盘的货物信息的步骤包括：

根据检测出的边缘轮廓，将接物盘区域图像划分为外围黑色图块区域和中央货物图块区域；

对前述中央货物图块区域进行OCR以识别货物上的文字和/或图形信息，获取前述文字和/或图形信息对应的关键字和/或关键图形标识；

将前述关键字和/或关键图形标识，与预设的产品关键字和/或产品标识进行比对，获取该货物对应的产品名称和/或编号信息；

将前述产品名称和/或编号信息与对应的购买订单信息中的产品名称和/或编号进行比对；

比对一致时，判定出货货物匹配购买产品；否则判定出货货物不匹配购买产品。

进一步，识别入盘的货物信息的步骤包括：

根据检测出的边缘轮廓，将接物盘区域图像划分为外围黑色图块区域和中央货物图块区域，对货物图块区域进行图像截取处理后得到具有货物边缘轮廓的待比对货物图像；

判断前述待比对货物图像是否需要进行角度调整以摆正；

判定需要进行角度调整时，对待比对货物图像进行旋转操作以获得摆正图像，否则直接执行如下步骤；

将前述摆正图像与对应的购买订单中的产品在预设数据库内的标准产品图像进行比对；

比对一致时，判定出货货物匹配购买产品；否则判定出货货物不匹配购买产品。

进一步，售货装置中的货架采用阵列式货道，售货装置的控制器或关联服务器中存储有货道的行列信息以及对应的摆放货物信息；所述升降横移机构对应着前述阵列式货道设置，升降横移机构包括X轴横移轨道、Y轴升降轨道和Z轴横移轨道以及对应的X轴横移驱动结构、Y轴升降驱动结构和Z轴横移驱动结构，X轴横移驱动结构、Y轴升降驱动结构和Z轴横移驱动结构与控制器连接并接收控制器的控制；驱动取物托盘到达前述货物所在货道的步骤包括：

获取前述货物在售货装置中的摆放货道信息，所述摆放货道信息包括摆放货道的行信息和列信息；

根据前述摆放货道的行信息和列信息，通过X轴横移驱动结构和Y轴升降驱动结构驱动取物托盘整体相对货架在X轴方向横向移动和/或Y轴方向竖向移动以使取物托盘到达前述对应的行列位置；

以及，所述货道为斜坡货道，货道口设置有货道待出货区，货道待出货区设置有滚珠、滚轴或滚轮作为阻挡结构以将货物限位在斜坡货道上，货道待出货区的货物被取物托盘取走后，同一货道内后面的货物在重力的作用下滑动道前述滚珠、滚轴或滚轮处；所述货道待出货区设置有开孔，所述取物托盘包括接物盘和对应接物盘设置的顶出机构，所述顶出机构包括顶杆和顶杆驱动结构，顶杆驱动结构与控制器连接并接收控制器的控制；通过前述取物托盘使前述货道中的货物离开所在货道并接住货物的步骤包括：

取物托盘到达前述货道后接物盘位于货道待出货区的前方，通过Z轴横移驱动结构驱动顶出机构相对前述货道在Z轴方向纵向移动以使顶出机构位于货道待出货区的开孔处；

通过顶杆驱动结构驱动顶杆伸出后穿过前述开孔以将货道待出货区上的货物顶高，顶杆将货物顶高的过程中带动滚珠、滚轴或滚轮滚动；

货物被顶高的前端越过滚珠、滚轴或滚轮后，在滚珠、滚轴或滚轮的滚动及货物重力的综合作用下进入前述接物盘中。

进一步，货架上设置有多个宽度不同的斜坡货道，货道的货道待出货区设置有一个或多个开孔，开孔数量与货道宽度关联，多个开孔沿货道宽度方向并排设置；所述顶出机构包括多个沿货道宽度方向并排安装的顶杆，对应每个顶杆设置有顶杆驱动结构；

通过顶杆驱动结构驱动顶杆伸出的步骤包括：

根据前述货道的行列信息，获取该货道的货道待出货区上的开孔数量以及每个开孔的位置信息；

根据前述开孔数量以及每个开孔的位置信息，控制取物托盘上对应数量和对应位置的顶杆伸出后穿过货道待出货区的开孔中。

本发明还提供了一种自动售货装置，包括货架、控制器和取货口，货架上设置有货道；

对应货架还设置有升降横移机构和取物托盘，对应取物托盘设置有图像采集装置，所述升降横移机构、取物托盘和图像采集装置均与控制器连接并接收控制器的控制；

所述控制器包括：

取物托盘控制单元，用于根据货物的购买信息，控制售货装置中的升降横移机构启动以驱动与升降横移机构连接的取物托盘到达前述货物所在货道；以及，控制前述取物托盘使前述货道中的货物离开所在货道并接住货物；

货物入盘识别单元，用于触发取物托盘上的图像采集装置以获取货物进入取物托盘之前和之后的取物托盘图像数据，并比对前述之前和之后的取物托盘图像数据得到货物入盘信息；所述货物入盘信息包括货物是否入盘成功的信息和入盘的货物信息。

本发明由于采用以上技术方案，与现有技术相比，作为举例，具有以下的优点和积极效果：

利用取物托盘使货道中的目标货物离开所在货道并接住货物，并触发取物托盘上的图像采集装置获取货物进入取物托盘之前和之后的取物托盘图像数据，通过比对得到货物入盘信息，可以识别是否有货物入盘以及识别入盘的货物信息。如此，能够在出货阶段早期就及时地发现错误的出货操作，降低出货检测过程对用户时间的占用，提高出货可靠性和效率；且图像检测方式识别精度高，产品适用性广，能够适用于各种贩卖产品。

再一方面，还设置了回收仓，结合取物托盘和升降横移机构，能够自动地对取物托盘中不匹配目标货物的货物进行回收。

再一方面，将托盘设置为单黑色，且托盘相对与摄像头的位置固定，摄像头焦距固定，固定对焦在托盘中央。图像识别时，首先对拍摄的取物托盘图像数据进行截取处理以去除无关图像区域，通过对截取后的接物盘区域图像进行边缘轮廓检测来判断是否入盘货物，降低了图像数据处理量，可显著提高图像识别效率。

再一方面，还能够对有效图像区域进行OCR（Optical Character Recognition，光学字符识别）以获取关键字和/或关键图形标识，然后根据关键字和/或关键图形标识匹配该货物对应的产品名称和/或编号信息，通过将产品名称和/或编号信息与对应的购买订单信息中的产品名称和/或编号进行比对，来判断出货商品和用户购买产品是否一致。

再一方面，还可以将有效图像区域中的货物图像与预设的标准产品照片进行比对，来判断出货商品和用户购买产品是否一致。

附图说明

图1为本发明实施例提供的自动售货装置中识别出货信息的方法的流程图。

图2为本发明实施例提供的具有回收仓的自动售货装置的结构示意图。

图3为本发明实施例提供的取物托盘和升降横移机构的结构示意图。

图4为本发明实施例提供的斜坡货道的结构示意图。

图5为本发明实施例提供的多顶杆取物托盘和升降横移机构的结构示意图。

图6为本发明实施例提供的不等宽度斜坡货道的结构示意图。

图7为本发明实施例提供的多顶杆取物托盘和斜坡货道对接的结构示意图。

图8为本发明实施例提供的自动售货装置控制系统的模块结构图。

附图标记说明：

自动售货装置10，机柜101；

货架100，底座板110，隔板120，货道130，货道待出货区131，开孔140，阻挡结构150；

出货机构200，取物托盘210，接物盘211，顶出机构212，顶杆2121，升降横移机构220，X轴横移轨道221，Y轴升降轨道222，Z轴横移轨道223，AI识别装置230；

控制部300；

取货口400；

回收仓500。

具体实施方式

以下结合附图和具体实施例对本发明公开的自动售货装置中AI识别出货信息的方法及应用作进一步详细说明。应当注意的是，下述实施例中描述的技术特征或者技术特征的组合不应当被认为是孤立的，它们可以被相互组合从而达到更好的技术效果。在下述实施例的附图中，各附图所出现的相同标号代表相同的特征或者部件，可应用于不同实施例中。因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

需说明的是，本说明书所附图中所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定发明可实施的限定条件，任何结构的修饰、比例关系的改变或大小的调整，在不影响发明所能产生的功效及所能达成的目的下，均应落在发明所揭示的技术内容所能涵盖的范围内。

本发明所述的自动售货装置，是指能够自动进行货物贩卖和/或取货的装置，包括但不限于自动售货机、自动售货台、应用于无人商店的自动取货装置、应用于无人药房的自动取药装置等；能够根据用户的购买/取货命令进行自动出货的装置都可以称为本发明的自动售货装置。

本发明所述的购物，包括基于自动售货装置的购物操作以及基于预定在自动售货装置上的取货操作。

实施例

参见图1所示，为本发明提供的一种自动售货装置中AI识别出货信息的方法。所述方法包括如下步骤：

S100，接收货物的购买信息，控制售货装置中的升降横移机构启动以驱动与升降横移机构连接的取物托盘到达前述货物所在货道。

参见图2所示，所述自动售货装置10，以自动售货机为例，可以包括机柜101，机柜101可以包括控制主柜300和出货副柜。所述控制主柜300中安装有控制器，对应所述控制器设置有控制面板。所述控制器可为各种具有控制功能的装置，具体可以采用单片机、可编程逻辑控制器等。所述控制面板用于实现人机交互，能够供用户进行货物查询、货物购买、取货操作等，其可以是具有实体机械按钮的操作面板，也可以是电子触摸操作屏，还可以是二者的结合。

所述出货副柜中安装有货架100，所述货架100可以包括多层货盘，每层货盘上设置有多个货道，形成阵列式货道。所述售货装置的控制器或关联服务器中存储有货道的行列信息以及对应的摆放货物信息。可选的，所述货道的行列信息以及对应的摆放货物信息的映射关系表可以由用户设置好后存储到控制器或关联服务器的数据库中，控制器可以访问前述控制器或关联服务器的数据库以获取映射关系表。

对应货架100还设置有出货机构200和取货口400。所述出货机构200包括取物托盘210和升降横移机构220，取物托盘210安装在升降横移机构220上。所述取物托盘210和升降横移机构220均与控制器连接且接收控制器的控制。

所述取物托盘210用于使货道中的货物离开所在货道并接住货物。所述升降横移机构220对应着前述阵列式货道设置，用于驱动前述取物托盘210进行升降运动和/或横移运动到达前述货物所在货道进行取货，或者驱动前述取物托盘210到达前述取货口400供用户取货。

优选的实施方式中，参见图3所示，所述升降横移机构220包括X轴横移轨道221、Y轴升降轨道222和Z轴横移轨道223以及对应的X轴横移驱动结构、Y轴升降驱动结构和Z轴横移驱动结构，X轴横移驱动结构、Y轴升降驱动结构和Z轴横移驱动结构与控制器连接并接收控制器的控制。此时，控制器接收货物的购买信息后，驱动取物托盘到达前述货物所在货道的步骤可以如下：

S110，获取前述货物在售货装置中的摆放货道信息，所述摆放货道信息包括摆放货道的行信息和列信息。

，根据前述摆放货道的行信息和列信息，通过X轴横移驱动结构和Y轴升降驱动结构驱动取物托盘整体相对货架在X轴方向横向移动和/或Y轴方向竖向移动以使取物托盘到达前述对应的行列位置。

，通过前述取物托盘使前述货道中的货物离开所在货道并接住货物；以及，触发取物托盘上的图像采集装置以获取货物进入取物托盘之前和之后的取物托盘图像数据。

，比对前述之前和之后的取物托盘图像数据得到货物入盘信息，所述货物入盘信息包括货物是否入盘成功的信息和入盘的货物信息。

所述货物入盘信息可以包括货物入盘标识信息，所述货物入盘标识信息包括入盘成功标识和入盘失败标识。

在步骤S300之后，还可以包括如下步骤：S400，获取货物入盘信息，判定为货物入盘失败时，执行步骤S500,否则执行步骤S600。

，向购买用户和/或售货装置管理方用户发送故障提醒信息。

，获取入盘的货物信息，以及用户的购买订单信息；将入盘的货物信息与购买订单中的购买产品信息进行比对，判断入盘的货物是否匹配购买产品；判定匹配时，通过升降横移机构驱动取物托盘移动到售货装置的取货口以出货；否则，通过升降横移机构驱动取物托盘移动到售货装置的回收仓以回收不匹配货物。可选的，当取物托盘将不匹配货物送到回收仓后，控制器向购买用户和/或售货装置管理方用户发送药品回收提醒、启动再次出货和/或退款。

继续参见图2所示，此时，对应货架100还设置有回收仓500，货物不匹配购买产品时，控制器触发货物回收指令，控制升降横移机构220驱动前述取物托盘210到达前述回收仓500。可选的，所述取物托盘的载物面为传输履带，传输履带与控制器连接并接收控制器的控制。当取物托盘中的货物匹配目标货物时，控制器控制升降横移机构带动取物托盘到达取货口上方后，启动传输履带传输货物到履带端头，货物从传输履带上落入取货口中。当取物托盘中的货物不匹配目标货物时，控制器控制升降横移机构带动取物托盘到达回收仓上方后，启动传输履带传输货物到履带端头，货物从传输履带上落入回收仓中。

优选的实施方式中，所述图像采集装置为对应着接物盘安装的摄像头，摄像头与控制器连接并接收控制器的控制。所述接物盘的载物面设置为黑色，所述摄像头位于接物盘的固定方位上且摄像头的焦距设置为恒定值，所述摄像头固定对焦在接物盘中央区域。

此时，步骤S300中比对前述之前和之后的取物托盘图像数据得到货物入盘信息的步骤可以如下：

S310，对货物进入取物托盘之前的取物托盘图像数据进行图像截取处理，根据黑色的载物面区域获取接物盘区域坐标。

所述载物面区域优选为矩形区域。

，基于前述接物盘区域坐标对货物进入取物托盘之后的取物托盘图像数据进行图像截取处理以去除接物盘区域之外的无关区域，获得货物进入取物托盘之后的接物盘区域图像。

通过前述矩形区域对货物进入取物托盘之后的取物托盘图像数据进行截取处理，去除接物盘区域之外的无关区域。

，对前述接物盘区域图像进行边缘轮廓检测，根据检测出的边缘轮廓判断接物盘中是否存在货物。

所述边缘轮廓检测（或称边缘检测）使为了确定图像中货物的边缘轮廓信息（或称边缘信息）。所述边缘是指图像局部变化最显著的部分，是图像局部特性的不连续性，如灰度的突变、纹理结构的图标、颜色的图标等。边缘轮廓检测可以基于已有的边缘检测算法，比如常用的梯度算子、Sobel算子、Canny算子和LOG 滤波器等。

，判定接物盘中存在货物时，触发识别入盘的货物信息。

本实施例的一个实施方式中，基于光学字符识别（OCR）技术来识别入盘的货物信息。具体步骤如下：根据检测出的边缘轮廓，将接物盘区域图像划分为外围黑色图块区域和中央货物图块区域；对前述中央货物图块区域进行OCR以识别货物上的文字和/或图形信息，获取前述文字和/或图形信息对应的关键字和/或关键图形标识；将前述关键字和/或关键图形标识，与预设的产品关键字和/或产品标识进行比对，获取该货物对应的产品名称和/或编号信息；将前述产品名称和/或编号信息与对应的购买订单信息中的产品名称和/或编号进行比对；比对一致时，判定出货货物匹配购买产品；否则判定出货货物不匹配购买产品。

本实施例的另一个实施方式中，基于标准图像比对来识别入盘的货物信息，具体步骤如下：根据检测出的边缘轮廓，将接物盘区域图像划分为外围黑色图块区域和中央货物图块区域，对货物图块区域进行图像截取处理后得到具有货物边缘轮廓的待比对货物图像；判断前述待比对货物图像是否需要进行角度调整以摆正；判定需要进行角度调整时，对待比对货物图像进行旋转操作以获得摆正图像，否则直接执行如下步骤；将前述摆正图像与对应的购买订单中的产品在预设数据库内的标准产品图像进行比对；比对一致时，判定出货货物匹配购买产品；否则判定出货货物不匹配购买产品。

本实施例中，所述货道优选为斜坡货道，货道口设置有货道待出货区，货道待出货区设置有阻挡结构以将货物限位在斜坡货道上。货道待出货区的货物被取物托盘取走后，同一货道内后面的货物在重力的作用下滑动道前述阻挡结构处。

斜坡货道的典型结构参见图4所示。货盘包括底座板110，底座板110上间隔设置有多个隔板120，相邻隔板120之间形成一个货道130。对应每个斜坡货道130设置有货道待出货区131，所述货道待出货区131通常位于斜坡货道的货道口，是货道的第一个货位，货道待出货区131上的货物为此次出货的货物。货道待出货区131的前端还设置有阻挡结构150，阻挡结构150高出货道表面以将斜坡货道上的货物限位在斜坡货道上。当货道待出货区131上的货物出货成功后，同一货道上的在后货物自动滑下，前述在后货物的第一位货物进入货道待出货区131，作为下一次货物的货物。

本实施例中，所述取物托盘210可以采用顶出式取物——即通过顶出机构将货道上的货物顶出使其进入接物盘；也可以采用抓取式取物——即通过抓取机构抓取货物后将其放入接物盘，所述的抓取机构比如可以是机械臂的吸盘或机械夹手。优选的实施方式中，所述取物托盘210采用顶出机构。

具体实施时，所述货道待出货区131设置有开孔140，所述取物托盘210包括接物盘211和对应接物盘设置的顶出机构212，顶出机构212优选的安装在接物盘211的下方。所述接物盘211可以包括载物底板和侧方挡板，所述侧方挡板可以包括后侧挡板、左侧挡板和右侧挡板。所述顶出机构212包括顶杆2121和顶杆驱动结构，顶杆驱动结构与控制器连接并接收控制器的控制。

所述阻挡结构150为转动机构，采用滚珠、滚轴或滚轮，货道待出货区131上的滚珠、滚轴或滚轮将货物限位在斜坡货道上，货道待出货区的货物被取物托盘取走后，同一货道内后面的货物在重力的作用下滑动道前述滚珠、滚轴或滚轮处。

此时，步骤S200中通过前述取物托盘使前述货道中的货物离开所在货道并接住货物的步骤包括：

S210，取物托盘到达前述货道后接物盘位于货道待出货区的前方，通过Z轴横移驱动结构驱动顶出机构相对前述货道在Z轴方向纵向移动以使顶出机构位于货道待出货区的开孔处。

，通过顶杆驱动结构驱动顶杆伸出后穿过前述开孔以将货道待出货区上的货物顶高，顶杆将货物顶高的过程中带动滚珠、滚轴或滚轮滚动。

，货物被顶高的前端越过滚珠、滚轴或滚轮后，在滚珠、滚轴或滚轮的滚动及货物重力的综合作用下进入前述接物盘中。

所述货物重力，包括落在滚珠、滚轴或滚轮上的出货货物的自身重力作用，以及同一货道上的在后货物的重力作用。由于采用滚珠、滚轴或滚轮作为阻拦结构，在顶高货物和利用滚珠、滚轴或滚轮的滚动作用，不仅减小了将货物顶高时的阻力，还便于货物从阻拦结构上滑入接物盘，避免货物在货道口卡住。

所述顶出机构的顶杆驱动结构可以为推拉式电磁铁、伸缩式电机、电动丝杠和/或气缸。可选的，所述顶出机构可以通过插槽、卡扣和/或螺纹连接件可拆卸地安装在取物托盘上。

本实施例的另一实施方式中，考虑到货架上的货道可能是不等宽度货道（即货道的宽度为多种，不同宽度的货道适用于不同尺寸大小的货物），为适应不等宽度货道，还提供了可变宽度的出货机构200，此时，所述出货机构200上的顶出机构包括多个沿货道宽度方向并排安装的顶杆，顶出货物时根据货道宽度调整伸出的顶杆位置和顶杆数量。下面结合图5至图7详细描述该实施方式。

可变宽度的出货机构200，包括取物托盘210和升降横移机构220，所述取物托盘210包括接物盘211和对应接物盘设置的顶出机构212。接物盘211和升降横移机构220的结构和控制方式与前述实施方式相同，在此不再赘述，区别在于顶出机构212的结构和控制方式不同。

参见图5所示，所述顶出机构212包括多个沿货道宽度方向并排安装的顶杆2121，对应每个顶杆2121设置有顶杆驱动结构，所述顶杆驱动结构的控制电路与售货装置的控制器连接。需要出货时，所述顶杆驱动结构能够在控制器的控制下控制一个或多个顶杆2121伸出后穿过对应货道待出货区的一个或多个开孔中，将该货道待出货区上的货物顶高并越过货道待出货区上的阻挡结构，货物越过阻挡结构后进入前述接物盘。

具有不等宽度货道的货盘100的典型结构参见图6所示。所述货盘100包括底座板110，底座板110上间隔设置有多个隔板120，相邻隔板120之间形成一个货道130。每个货道130都是由基本货道组成，货道130的宽度为基本货道宽度的整数倍。作为举例，比如图6中包括两种宽度的货道，分别为1倍宽度货道和2倍宽度货道，其中，1倍宽度货道即基本货道、2倍宽度货道即占用2个基本货道的货道。

每个基本货道都设置有一个货道待出货区131，对应所述货道待出货区131设置有开孔140以与顶出机构的顶杆配合。对于a倍宽度货道（a为大于等于1的整数），该货道占有a个基本货道，对应的货道待出货区的宽度也为基本货道宽度的a倍，对应的，所述货道待出货区131设置有a个开孔140，即开孔数量与货道宽度关联，多个开孔140沿货道宽度方向并排设置。

此时，步骤S220中通过顶杆驱动结构驱动顶杆伸出的步骤包括：

S221，根据前述货道的行列信息，获取该货道的货道待出货区上的开孔数量以及每个开孔的位置信息。

所述货道待出货区上的开孔数量与货道的宽度有关，当货道只占用1个基本货道时，开孔数量为1个；当货物占有a个基本货道时，开孔数量为a个。

具体设置时，用户可以设置货道行列信息（用于标识货道位置）与货道的开孔数量及开孔位置信息的映射关系表并进行存储；控制器在控制出货时，可以基于货道行列信息查询前述映射关系表，以获取对应货道的开孔数量及开孔位置信息。

所述开孔位置信息，包括但不限于所述开孔在货道上的坐标位置信息、开孔大小信息、多个开孔的间距信息。

，根据前述开孔数量以及每个开孔的位置信息，控制取物托盘上对应数量和对应位置的顶杆伸出后穿过货道待出货区的开孔中。

作为举例而非限制，比如，比如当货盘上最左侧的2倍宽度货道出货时，顶出机构控制最左边的2个顶杆伸出；再比如货盘中间的3倍宽度货道出货时，顶出机构控制中间的3个顶杆伸出；再比如货盘最右侧的1倍宽度货道出货时，顶出机构控制最右侧的1个顶杆伸出。

本实施例中，所述开孔140根据顶杆的操作方向，可以设置在货道待出货区131的底面上，此时，顶杆从下方伸出穿过开孔140；也可以设置在货道待出货区131的前部上，此时顶杆从前方伸出穿过开孔140。

参见图7所示，以顶杆从下方穿过开孔为例，此时，开孔为设置在货道待出货区的底面开孔，顶出机构的顶出方向可以与货道底面垂直。此时，所述顶出机构212包括控制顶杆2121上下伸缩的顶杆驱动结构，所述顶杆2121与货道待出货区的底面开孔匹配。

操作时，控制器控制Z轴横移驱动结构驱动顶出机构212在Z轴方向纵向移动时使所述顶杆2121位于货道待出货区的下方。然后，控制器根据货道上的开孔位置和开孔数量，控制顶杆驱动结构驱动对应的两个顶杆2121向上顶，两个顶杆2121穿过前述底面开孔，参见图7所示。货道待出货区上摆放有货物时，两个顶杆2121穿过前述底面开孔后与货物底部接触，两个顶杆2121继续顶高货物，直至货物的底部位于滚珠、滚轴或滚轮上方，即货物越过滚珠、滚轴或滚轮。然后货物在滚珠、滚轴或滚轮的滚动及货物重力的综合作用下进入取物托盘的接物盘中。

本实施例的一个实施方式中，所述顶出机构212的宽度与货道所在货盘的宽度匹配，对应的接物盘211的宽度也与货盘的宽度匹配。此时，所述顶出机构212上的顶杆总数量与货盘上的前述开孔的总数量相同，所述顶杆的设置间距与前述开孔的间距相同。

出货时，控制器获取待出货货物所在货道的行列位置信息后，获取对应的开孔数量和开孔位置信息，然后通过顶杆驱动结构控制取物托盘上对应位置和对应数量的顶杆伸出。

本实施例的另一个实施方式中，所述顶出机构212的宽度与宽度最大货道的宽度匹配，不小于前述宽度最大货道的宽度；对应的接物盘211的宽度也与宽度最大货道的宽度匹配。此时，所述顶出机构上的顶杆总数量与宽度最大货道上的前述开孔的总数量相同，所述顶杆的设置间距与前述开孔的间距相同。

出货时，控制器先判断该货道是否为宽度最大货道，判定为是时，控制取物托盘上的所有顶杆伸出；判定为否时，获取该货道的行列位置信息后，得到对应的开孔数量和开孔位置信息，然后通过顶杆驱动结构控制取物托盘上对应位置和对应数量的顶杆伸出。

可选的，将顶杆的伸出收回动作与摄像头的拍摄进行关联。具体的，在顶杆伸出之前，触发摄像头拍摄接物盘的图像数据作为货物进入取物托盘之前的取物托盘图像数据；在顶杆收回之后，再触发摄像头拍摄接物盘的图像数据作为货物进入取物托盘之后的取物托盘图像数据。考虑到拍摄对光线的需要，所述取物托盘可以设置有照明设备和光线传感器。通过所述光线传感器监测光线，在监测到光线不足时，能够触发照明设备开启以辅助摄像头拍摄。

可选的，所述摄像头至少具有摄像和拍摄这两种工作模式。所述拍摄的图像可以是静态图片也可以是动态图像，在比对时，可以基于静态图片进行比对后识别，也可以基于动态图像进行比对后识别。摄像头在前述两种工作模式下的切换可以依靠控制器完成。

本实施例的另一个实施方式中，所述取货口和回收仓可以关联设置。

具体设置时，对应所述取货口可以设置有传输履带，传输履带的输出端设置有伸缩挡板。所述伸缩挡板可以包括伸出状态和收回状态：伸缩挡板处于伸出状态时能够将货物限位在传输履带上；伸缩挡板处于收回状态时货物能够从传输履带的输出端落下。所述回收仓位于传输履带的输出端的下游。当取物托盘中的货物匹配目标货物时，控制伸缩挡板处于伸出状态，伸缩挡板落下挡住传输履带的输出端。当升降横移机构带动取物托盘到达传输履带的输入端后，取物托盘将货物放入到传输履带上，通过传输履带将货物传输到取货口，伸缩挡板将货物阻挡在取货口供用户取货。当取物托盘中的货物不匹配目标货物时，控制伸缩挡板处于收回状态，伸缩挡板升起传输履带的输出端打开。当升降横移机构带动取物托盘到达传输履带的输入端后，取物托盘将货物放入到传输履带上，通过传输履带将货物传输到回收仓中。

本发明的另一实施例，还提供了一种自动售货装置。

所述自动售货装置包括货架、控制器和取货口，货架上设置有货道。

对应货架还设置有升降横移机构和取物托盘，对应取物托盘设置有图像采集装置，所述升降横移机构、取物托盘和图像采集装置均与控制器连接并接收控制器的控制，参见图8所示。

所述控制器可以包括取物托盘控制单元和货物入盘识别单元。

所述取物托盘控制单元，用于根据货物的购买信息，控制售货装置中的升降横移机构启动以驱动与升降横移机构连接的取物托盘到达前述货物所在货道；以及，控制前述取物托盘使前述货道中的货物离开所在货道并接住货物。

所述货物入盘识别单元，用于触发取物托盘上的图像采集装置以获取货物进入取物托盘之前和之后的取物托盘图像数据，并比对前述之前和之后的取物托盘图像数据得到货物入盘信息；所述货物入盘信息包括货物是否入盘成功的信息和入盘的货物信息。

其它技术特征参见在前实施例，在此不再赘述。

根据需要，所述机柜上可以设有无线通讯装置能够与买家用户终端进行无线通讯从而实现人机交互。所述无线通讯装置与控制器连接，该方式无需在机柜上设置控制面板进行人机交互，买家用户可以直接使用携带的用户终端——比如手机、平板电脑等电子通讯设备连接自动售货装置（可以是直接与自动售货装置通讯连接，也可以是通过相应的服务器或平台与自动售货装置通讯连接），然后可以在所述用户终端上完成选货、加入购物车和支付操作。

在上面的描述中，在本公开内容的目标保护范围内，各组件可以以任意数目选择性地且操作性地进行合并。另外，像“包括”、“囊括”以及“具有”的术语应当默认被解释为包括性的或开放性的，而不是排他性的或封闭性，除非其被明确限定为相反的含义。所有技术、科技或其他方面的术语都符合本领域技术人员所理解的含义，除非其被限定为相反的含义。在词典里找到的公共术语应当在相关技术文档的背景下不被太理想化或太不实际地解释，除非本公开内容明确将其限定成那样。

虽然已出于说明的目的描述了本公开内容的示例方面，但是本领域技术人员应当意识到，上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明的优选实施方式的范围包括另外的实现，其中可以不按所述出现或讨论的顺序来执行功能。本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。

Claims (10)

1.一种自动售货装置中AI识别出货信息的方法，其特征在于包括步骤：

接收货物的购买信息，控制售货装置中的升降横移机构启动以驱动与升降横移机构连接的取物托盘到达前述货物所在货道；

通过前述取物托盘使前述货道中的货物离开所在货道并接住货物；以及，触发取物托盘上的图像采集装置以获取货物进入取物托盘之前和之后的取物托盘图像数据；

比对前述之前和之后的取物托盘图像数据得到货物入盘信息，所述货物入盘信息包括货物是否入盘成功的信息和入盘的货物信息。

2.根据权利要求1所述的方法，其特征在于：所述货物入盘信息包括货物入盘标识信息，所述货物入盘标识信息包括入盘成功标识和入盘失败标识；

当货物入盘信息为货物入盘失败时，向购买用户和/或售货装置管理方用户发送故障提醒信息。

3.根据权利要求1所述的方法，其特征在于：当货物入盘信息为货物入盘成功时，还包括如下步骤：

获取入盘的货物信息，以及用户的购买订单信息；

将入盘的货物信息与购买订单中的购买产品信息进行比对，判断入盘的货物是否匹配购买产品；

判定匹配时，通过升降横移机构驱动取物托盘移动到售货装置的取货口以出货；否则，通过升降横移机构驱动取物托盘移动到售货装置的回收仓以回收不匹配货物。

4.根据权利要求1所述的方法，其特征在于：所述图像采集装置为对应着接物盘安装的摄像头，摄像头与控制器连接并接收控制器的控制；通过摄像头拍摄货物进入取物托盘之前和之后的取物托盘图像数据。

5.根据权利要求4所述的方法，其特征在于：所述接物盘的载物面设置为黑色，所述摄像头位于接物盘的固定方位上且摄像头的焦距设置为恒定值，所述摄像头固定对焦在接物盘中央区域；比对前述之前和之后的取物托盘图像数据得到货物入盘信息的步骤如下：

对货物进入取物托盘之前的取物托盘图像数据进行图像截取处理，根据黑色的载物面区域获取接物盘区域坐标；

基于前述接物盘区域坐标对货物进入取物托盘之后的取物托盘图像数据进行图像截取处理以去除接物盘区域之外的无关区域，获得货物进入取物托盘之后的接物盘区域图像；

对前述接物盘区域图像进行边缘轮廓检测，根据检测出的边缘轮廓判断接物盘中是否存在货物；

判定接物盘中存在货物时，触发识别入盘的货物信息。

6.根据权利要求5所述的方法，其特征在于：识别入盘的货物信息的步骤包括：

根据检测出的边缘轮廓，将接物盘区域图像划分为外围黑色图块区域和中央货物图块区域；

对前述中央货物图块区域进行OCR以识别货物上的文字和/或图形信息，获取前述文字和/或图形信息对应的关键字和/或关键图形标识；

将前述关键字和/或关键图形标识，与预设的产品关键字和/或产品标识进行比对，获取该货物对应的产品名称和/或编号信息；

将前述产品名称和/或编号信息与对应的购买订单信息中的产品名称和/或编号进行比对；

比对一致时，判定出货货物匹配购买产品；否则判定出货货物不匹配购买产品。

7.根据权利要求5所述的方法，其特征在于：识别入盘的货物信息的步骤包括：

根据检测出的边缘轮廓，将接物盘区域图像划分为外围黑色图块区域和中央货物图块区域，对货物图块区域进行图像截取处理后得到具有货物边缘轮廓的待比对货物图像；

判断前述待比对货物图像是否需要进行角度调整以摆正；

判定需要进行角度调整时，对待比对货物图像进行旋转操作以获得摆正图像，否则直接执行如下步骤；

将前述摆正图像与对应的购买订单中的产品在预设数据库内的标准产品图像进行比对；

比对一致时，判定出货货物匹配购买产品；否则判定出货货物不匹配购买产品。

8.根据权利要求1-7中任一项所述的方法，其特征在于：售货装置中的货架采用阵列式货道，售货装置的控制器或关联服务器中存储有货道的行列信息以及对应的摆放货物信息；所述升降横移机构对应着前述阵列式货道设置，升降横移机构包括X轴横移轨道、Y轴升降轨道和Z轴横移轨道以及对应的X轴横移驱动结构、Y轴升降驱动结构和Z轴横移驱动结构，X轴横移驱动结构、Y轴升降驱动结构和Z轴横移驱动结构与控制器连接并接收控制器的控制；驱动取物托盘到达前述货物所在货道的步骤包括：

获取前述货物在售货装置中的摆放货道信息，所述摆放货道信息包括摆放货道的行信息和列信息；

根据前述摆放货道的行信息和列信息，通过X轴横移驱动结构和Y轴升降驱动结构驱动取物托盘整体相对货架在X轴方向横向移动和/或Y轴方向竖向移动以使取物托盘到达前述对应的行列位置；

以及，所述货道为斜坡货道，货道口设置有货道待出货区，货道待出货区设置有滚珠、滚轴或滚轮作为阻挡结构以将货物限位在斜坡货道上，货道待出货区的货物被取物托盘取走后，同一货道内后面的货物在重力的作用下滑动道前述滚珠、滚轴或滚轮处；所述货道待出货区设置有开孔，所述取物托盘包括接物盘和对应接物盘设置的顶出机构，所述顶出机构包括顶杆和顶杆驱动结构，顶杆驱动结构与控制器连接并接收控制器的控制；通过前述取物托盘使前述货道中的货物离开所在货道并接住货物的步骤包括：

取物托盘到达前述货道后接物盘位于货道待出货区的前方，通过Z轴横移驱动结构驱动顶出机构相对前述货道在Z轴方向纵向移动以使顶出机构位于货道待出货区的开孔处；

通过顶杆驱动结构驱动顶杆伸出后穿过前述开孔以将货道待出货区上的货物顶高，顶杆将货物顶高的过程中带动滚珠、滚轴或滚轮滚动；

货物被顶高的前端越过滚珠、滚轴或滚轮后，在滚珠、滚轴或滚轮的滚动及货物重力的综合作用下进入前述接物盘中。

9.根据权利要求8所述的方法，其特征在于：货架上设置有多个宽度不同的斜坡货道，货道的货道待出货区设置有一个或多个开孔，开孔数量与货道宽度关联，多个开孔沿货道宽度方向并排设置；所述顶出机构包括多个沿货道宽度方向并排安装的顶杆，对应每个顶杆设置有顶杆驱动结构；

通过顶杆驱动结构驱动顶杆伸出的步骤包括：

根据前述货道的行列信息，获取该货道的货道待出货区上的开孔数量以及每个开孔的位置信息；

根据前述开孔数量以及每个开孔的位置信息，控制取物托盘上对应数量和对应位置的顶杆伸出后穿过货道待出货区的开孔中。

10.一种自动售货装置，包括货架、控制器和取货口，货架上设置有货道，其特征在于：

对应货架还设置有升降横移机构和取物托盘，对应取物托盘设置有图像采集装置，所述升降横移机构、取物托盘和图像采集装置均与控制器连接并接收控制器的控制；

所述控制器包括：

取物托盘控制单元，用于根据货物的购买信息，控制售货装置中的升降横移机构启动以驱动与升降横移机构连接的取物托盘到达前述货物所在货道；以及，控制前述取物托盘使前述货道中的货物离开所在货道并接住货物；

货物入盘识别单元，用于触发取物托盘上的图像采集装置以获取货物进入取物托盘之前和之后的取物托盘图像数据，并比对前述之前和之后的取物托盘图像数据得到货物入盘信息；所述货物入盘信息包括货物是否入盘成功的信息和入盘的货物信息。

Images