CN108960132B - 一种开放式自动售货机中商品的购买方法及其装置 - Google Patents

Abstract

本发明提供了一种开放式自动售货机中商品的购买方法及其装置，其中所述方法包括：接收基于用户的购物手势接触商品触发第一红外传感器而生成的抓取指令；根据抓取指令，采集用户的购物手势对应抓取动作的购物动作图像；对购物动作图像进行识别，若用户抓取到目标商品，确认目标商品的第一商品信息；若用户抓取的目标商品被放回至自动售货机中，判断目标商品是否被放回至与目标商品对应的摆放区；若是，则接收购物仓关闭生成的购物结束指令，并根据第一商品信息进行结算。本发明为不同的消费者在购物时提供方便，提高了用户体验，避免了现有的自动售货机，只能通过人工进行摆放商品，浪费大量人力成本的问题。

Description

一种开放式自动售货机中商品的购买方法及其装置

技术领域

本发明涉及图像识别技术领域，更具体地说，涉及一种开放式自动售货机中商品的购买方法及其装置。

背景技术

物质流通是人类社会的最基本要素。零售行业或直接面向消费者销售的开放式的相关行业(以下简称为零售行业或零售企业)作为当前物质流通的重要手段，需要雇佣大量的收银人员来实现商品的买卖工作，收银人员对消费者所购物品一件一件进行统计，统计完成后，与消费者共同完成支付。

而自动售货机，则解决了零售行业的人工统计和人工结算的缺陷，是一种面向消费者的无人售货、自动结算的售卖方式。可通过用户的选择，统计出用户所选择的商品的品种种类和总价值，以供用户进行结算，完成支付过程。但在基于开放式的自动售货机中，用户购物过程中，在用户不喜欢等原因需要将获取放回时，需要将商品放回至原有的区域，以便于其他的消费者更方便的根据清晰的摆放位置去选择商品，但是现有的自动售货机，并不能对商品是否放回原位进行判断，在用户反复拿取过程中，导致商品出现位置混乱的情况，给用户的购物带来了不便。

总之，目前现有的开放式的购物环境中，只能通过人工对于消费者由于不需要所返还退回的商品进行摆放，并不能直接自动识别商品位置，耗费大量人力成本，给其他消费者的购物过程造成麻烦，用户体验差。

发明内容

有鉴于此，本发明提供一种开放式自动售货机中商品的购买方法及其装置以解决现有技术的不足。

为解决上述问题，本发明提供一种开放式自动售货机中商品的购买方法，包括：

接收基于用户的购物手势接触商品触发第一红外传感器而生成的抓取指令；

根据所述抓取指令，采集所述用户的购物手势对应抓取动作的购物动作图像；

对所述购物动作图像进行识别，判断所述用户是否抓取到商品；

若所述用户抓取到商品，则将所述商品作为目标商品，并确认所述目标商品的第一商品信息；所述第一商品信息包括购物商品的品种和数量；

若所述用户抓取的所述目标商品被放回至所述自动售货机中，判断所述目标商品是否被放回至与所述目标商品对应的摆放区；

若判定所述目标商品被放回至与所述目标商品对应的摆放区，则接收所述购物仓关闭生成的购物结束指令，并根据所述第一商品信息进行结算。

优选地，所述“对所述购物动作图像进行识别，判断所述用户是否抓取到商品”包括：

对所述购物动作图像进行灰度化，获得灰度图像；

确定所述灰度图像中包括用户的购物手势的待识别区域；

截取包括所述待识别区域的最小截图作为区域截图图像；

对所述区域截图图像进行识别，判断所述用户的手中是否存在商品；

若所述用户手中存在商品，则判定所述用户抓取到商品；

若所述用户手中不存在商品，则判定所述用户未抓取商品。

优选地，所述“通过第一红外传感器接收基于用户的购物手势接触商品触发而生成的购物指令”之前，还包括：

在开启自动售货机的购物仓后，接收用户的购物手势进入所述购物仓触发第二红外传感器所生成的入仓指令；

根据所述入仓指令，采集包括所述用户的空手手势的多角度空手图像，作为多角度对照图像。

优选地，所述“对所述区域截图图像进行识别，判断所述用户的手中是否存在商品”，包括：

对所述多角度对照图像进行识别，获得所述多角度对照图像中的包括所述用户空手手势的空手轮廓；

根据所述空手轮廓，获得所述多角度对照图像对应的空手对照截图；

基于所述空手对照截图，对所述区域截图图像进行识别比对；

若所述区域截图图像具有与所述空手对照截图相区别的区别于所述空手对照截图中的空手手势的区别特征区域，则提取所述区别特征区域；

截取包含有所述区域特征区域的区别物体截图；

提取所述区别物体截图中的区别物体特征；

根据商品特征库，对所述区别物体特征进行比对，判断所述区别物体特征是否与所述商品特征库中的物体特征匹配；

若所述区别物体特征与所述商品特征库中的物体特征匹配；则判定所述区别物体为商品，即判定所述用户的手中存在商品；

若所述区别物体特征与所述商品特征库中的物体特征不匹配；则判定所述区别物体不为商品，即判断所述用户的手中不存在商品。

优选地，所述“若所述用户抓取的所述目标商品被放回至所述自动售货机中，判断所述目标商品是否放回至与所述目标商品对应的摆放区”之前，还包括：

接收根据用户的再次入仓的手势触发第三红外传感器生成的返回商品指令；

根据所述返回商品指令采集所述用户的手势对应的连拍退货图像；

对所述连拍退货图像进行识别，获得所述退货图像中的退货商品图像和退货移动路径，以便于根据所述退货商品图像和所述退货移动路径确认所述用户抓取的退货商品为所述目标商品，并且所述退货移动路径为由开放式自动售货机的购物仓外至购物仓内，即所述用户抓取的所述目标商品被放回至所述自动售货机中。

优选地，所述“若所述用户抓取的所述目标商品被放回至所述自动售货机中，判断所述目标商品是否放回至与所述目标商品对应的摆放区”包括：

若所述用户抓取的所述目标商品被放回至所述自动售货机中，采集所述自动售货机的购物仓内的货品陈列图像；

根据所述退货移动路径和所述退货商品图像，定位出所述货品陈列图像中的目标商品区域；

提取所述目标商品区域中的特征数据；

将所述特征数据与预设特征数据库中的商品特征数据进行比较，以得到所述目标商品对应的第二商品信息；所述第二商品信息包括退货商品的品种和数量；

根据所述货品陈列图像，获得所述目标商品区域相对于所述货品陈列图像的相对坐标；

将所述相对坐标与所述目标商品对应的摆放区的摆放坐标进行比对，判断所述目标商品是否放回至与所述目标商品对应的摆放区。

优选地，所述“若所述用户抓取的所述目标商品被放回至所述自动售货机中，判断所述目标商品是否被放回至与所述目标商品对应的摆放区”之后，还包括：

若判定所述目标商品未被放回至与所述目标商品对应的摆放区，则在所述自动售货机的显示屏显示提示信息，以便于所述用户根据所述提示信息将所述目标商品移动至所述摆放区。

此外，为解决上述问题，本发明还提供一种开放式自动售货机中商品的购买装置，包括：接收模块、采集模块、识别模块、确认模块、判断模块和结算模块；

所述接收模块，用于接收基于用户的购物手势接触商品触发第一红外传感器而生成的抓取指令；

所述采集模块，用于根据所述抓取指令，采集所述用户的购物手势对应抓取动作的购物动作图像；

所述识别模块，用于对所述购物动作图像进行识别，判断所述用户是否抓取到商品；

所述确认模块，用于在所述用户抓取到商品时，则将所述商品作为目标商品，并确认所述目标商品的第一商品信息；所述第一商品信息包括购物商品的品种和数量；

所述判断模块，用于在所述用户抓取的所述目标商品被放回至所述自动售货机中时，判断所述目标商品是否被放回至与所述目标商品对应的摆放区；

所述结算模块，用于在判定所述目标商品被放回至与所述目标商品对应的摆放区时，则返回所述“采集所述用户的购物手势对应动作的购物动作图像”，直至接收到所述购物仓关闭生成的购物结束指令，并根据所述第一商品信息进行结算。

此外，为解决上述问题，本发明还提供一种用户终端，包括存储器以及处理器，所述存储器用于存储基于开放式自动售货机中商品的购买程序，所述处理器运行所述基于开放式自动售货机中商品的购买程序以使所述用户终端执行如上述所述开放式自动售货机中商品的购买方法。

此外，为解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基于开放式自动售货机中商品的购买程序，所述基于开放式自动售货机中商品的购买程序被处理器执行时实现如上述所述开放式自动售货机中商品的购买方法。

本发明提供的一种开放式自动售货机中商品的购买方法及其装置。其中，本发明所提供的方法通过采集用户的购物动作图像，从而确定用户抓取到目标商品，并且在用户将目标商品退货时，判断其是否被放回到摆放区，如果放置正确，可继续进行购物并结算。本发明实现了在开放式的购物环境中，用户对于退回的商品，只有在商品放置于正确位置后，才能进行进一步的购物或结算，从而智能的保持自动售货机内商品按照一定位置摆放，为不同的消费者在购物时提供方便，提高了用户体验，避免了现有的自动售货机，只能通过人工进行摆放商品，浪费大量人力成本的问题。

附图说明

图1为本发明开放式自动售货机中商品的购买方法实施例方案涉及的硬件运行环境的结构示意图；

图2为本发明开放式自动售货机中商品的购买方法第一实施例的流程示意图；

图3为本发明开放式自动售货机中商品的购买方法第二实施例的流程示意图；

图4为本发明开放式自动售货机中商品的购买方法第三实施例的流程示意图；

图5为本发明开放式自动售货机中商品的购买方法第三实施例步骤S340的细化步骤流程示意图；

图6为本发明开放式自动售货机中商品的购买方法第四实施例的流程示意图；

图7为本发明开放式自动售货机中商品的购买方法第五实施例的流程示意图；

图8为本发明开放式自动售货机中商品的购买装置的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面详细描述本发明的实施例，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的终端的硬件运行环境的结构示意图。

本发明实施例终端可以是的设于自动货柜机中的PC，也可以是智能手机、平板电脑、电子书阅读器、MP3播放器、MP4播放器、便携计算机等可移动式终端设备。此外，也可以为自动货柜机本身所带有的计算机硬件装置。

如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏、输入单元比如键盘、遥控器，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

此外，终端包括图像采集设备，具体可以为摄像头，相机等。

此外，终端还包括红外传感设备，用以对用户的购物行为进行判断。

此外，终端还包括重力传感设备，用以对自动售货机中的商品的质量进行实时或定时的监控。

可选地，终端还可以包括RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。此外，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

本领域技术人员可以理解，图1中示出的终端并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、数据接口控制程序、网络连接程序以及基于开放式自动售货机中商品的购买程序。

本发明提供的一种开放式自动售货机中商品的购买方法及其装置。其中，所述方法实现了在开放式的购物环境中，用户对于退回的商品，只有在商品放置于正确位置后，才能进行进一步的购物或结算，从而智能的保持自动售货机内商品按照一定位置摆放，为消费者在购物时提供方便，提高了用户体验。

实施例1：

参照图2，本发明第一实施例提供一种开放式自动售货机中商品的购买方法，包括：

步骤S100，接收基于用户的购物手势接触商品触发第一红外传感器而生成的抓取指令；

上述，第一红外传感器，设于所述自动售货机中的接近于商品位置，用于对于接触商品的用户的动作进行感知和监测，当用户接触到自动售货机中的任何商品时，则触发该第一红外传感器，生成一抓取指令。

第一红外传感器可以为一个，也可以为多个，例如，每列商品设有一个红外传感器，或者每个商品对应一个红外传感器。

上述，购物手势，即为用户将手深入自动售货机的购物仓中，并且通过用户的手部或其他部位触动购物仓中的商品时的手部的动作。例如，抓取的动作，即为购物手势。

上述，本实施例，应用于具有开放式购物环境的自动售货机，例如，自动售货机在用户进行购物时，打开柜门，里面陈列所有商品，用户在购物仓中进行自行拿取商品，最终通过图像识别进行结算。

上述，用户在进行购物时，首先可以通过智能移动终端与自动售货机进行通讯从而打开自动售货机的柜门，或者通过其他方式，例如，扫码、自动售货机对用户进行图像识别确定身份后，打开柜门开始购物等等，本实施例不限于上述购物方式。

步骤S200，根据所述抓取指令，采集所述用户的购物手势对应抓取动作的购物动作图像；

上述，通过自动售货机中的图像采集设备对于用户的购物手势对应的动作的购物动作图像。其中，图像采集设备可以为高清摄像头，并且，摄像头可以为一个，为保证多角度监控无死角，也可以为多个摄像头进行图像采集。

步骤S300，对所述购物动作图像进行识别，判断所述用户是否抓取到商品；

上述，在采集完购物动作图像后，根据该图像对用户是否抓取到商品进行识别。其中，购物动作图像，可以为多帧的连续的静态图片，也可以为动态的视频或动图。如果是视频，则可提取其中关键帧，并按照时间戳进行排序，从而可通过图像识别技术，提取出具有用户抓取到商品的关键帧，从而对该关键帧进行识别，已确定用户的手中是否有商品。

步骤S400，若所述用户抓取到商品，则将所述商品作为目标商品，并确认所述目标商品的第一商品信息；所述第一商品信息包括购物商品的品种和数量；

上述，通过图像识别，确认用户所抓取的目标商品的第一商品信息，包括品种和数量，以便于最终根据该第一商品信息进行进一步的结算。

步骤S500，若所述用户抓取的所述目标商品被放回至所述自动售货机中，判断所述目标商品是否被放回至与所述目标商品对应的摆放区；

步骤S600，若判定所述目标商品被放回至与所述目标商品对应的摆放区，则接收所述购物仓关闭生成的购物结束指令，并根据所述第一商品信息进行结算。

上述，步骤S600，也可以为返回至步骤S100，直至接收到所述购物仓关闭生成的购物结束指令，并根据所述第一商品信息进行结算。

上述，部分用户，在购物时，会出现对所抓取的商品不满意或者拿错的情况，用户会将该商品放回至自动售货机的购物仓中进行退货，部分用户会出现货物放置于错误的位置的情况，如果出现错误放置，则会由于货物摆放混乱影响其他用户的购物，给其他用户造成误导。在本实施例中，通过图像识别技术进行对用户是否将退货的商品放置于原处进行判断。如果放到正确的摆放区，则才能继续进行对其他购物行为的判断直到用户关闭购物仓，进行结算。

本实施例所提供的方法通过采集用户的购物动作图像，从而确定用户抓取到目标商品，并且在用户将目标商品退货时，判断其是否被放回到摆放区，如果放置正确，可继续进行购物并结算。本实施例实现了在开放式的购物环境中，用户对于退回的商品，只有在商品放置于正确位置后，才能进行进一步的购物或结算，从而智能的保持自动售货机内商品按照一定位置摆放，为不同的消费者在购物时提供方便，提高了用户体验，避免了现有的自动售货机，只能通过人工进行摆放商品，浪费大量人力成本的问题。

实施例2：

参照图3，本发明第二实施例提供一种开放式自动售货机中商品的购买方法，基于上述图2所示的第一实施例，所述步骤S300，“对所述购物动作图像进行识别，判断所述用户是否抓取到商品”包括：

步骤S310，对所述购物动作图像进行灰度化，获得灰度图像；

上述，灰度数字图像是每个像素只有一个采样颜色的图像。这类图像通常显示为从最暗黑色到最亮的白色的灰度，尽管理论上这个采样可以任何颜色的不同深浅，甚至可以是不同亮度上的不同颜色。灰度图像与黑白图像不同，在计算机图像领域中黑白图像只有黑白两种颜色，灰度图像在黑色与白色之间还有许多级的颜色深度。

上述，灰度图像，在进行图像识别时，有助于去除颜色像素对于图像识别时造成的噪声干扰，同时提高识别速度和文件交互时的传输速度。

步骤S320，确定所述灰度图像中包括用户的购物手势的待识别区域；

步骤S330，截取包括所述待识别区域的最小截图作为区域截图图像；

步骤S340，对所述区域截图图像进行识别，判断所述用户的手中是否存在商品；

步骤S350，若所述用户手中存在商品，则判定所述用户抓取到商品；

步骤S360，若所述用户手中不存在商品，则判定所述用户未抓取商品。

上述，在S360之后，可返回步骤S700。

上述，在灰度图像中，包括用户的购物手势，可能包括用户的购物手势中的所抓取的商品，还包括例如购物仓内货架、其他商品等等其他背景区域，如果对上述区域进行直接图像识别，则会大大增加运算量，并且具有很高的错误识别率，会降低图像识别的准确度。在本实施例中，通过图像识别，筛选出灰度图像中的用户手势和所抓取商品，作为该灰度图像中的待识别区域，而将其他区域作为噪声，划为待识别区域之外，并且对该待识别区域进行截取，从而得到了包括该待识别区域的最小截图，作为区域截图图像。该最小截图的获取，可以为首先对待识别区域进行二值化，对二值化后的图像进行轮廓获取，根据该轮廓得到包括有待识别区域的最小截图，并进行进一步的对于最小截图的识别，从而判断出该截图中是否包含商品，如果包含，则判定用户抓取到商品。最小截图的获取，对于进一步的图像识别，提高了效率，降低了运算量，减少了图像识别的错误率。

实施例3：

参照图4-5，本发明第三实施例提供一种开放式自动售货机中商品的购买方法，基于上述图3所示的第二实施例，所述步骤S100，“通过第一红外传感器接收基于用户的购物手势接触商品触发而生成的购物指令”之前，还包括：

步骤S700，在开启自动售货机的购物仓后，接收用户的购物手势进入所述购物仓触发第二红外传感器所生成的入仓指令；

上述，在开始购物后，购物仓打开，用户需要进入购物仓进行商品的自行抓取，在用户抓取到商品之前，刚刚通过购物手势进入购物仓时，触发第二红外传感器，从而判定用户当前刚刚开始购物，并且未抓取到商品，此时的购物手势为空手。

步骤S800，根据所述入仓指令，采集包括所述用户的空手手势的多角度空手图像，作为多角度对照图像。

根据该入仓指令，开始对于用户的购物手势即为空手手势进行图像采集，并且为多角度的采集，从而得到多角度空手图像，并且将该多角度空手图像作为对照图像。该对照图像为相对于用户的抓取到商品时的购物手势。

所述步骤S340，“对所述区域截图图像进行识别，判断所述用户的手中是否存在商品”，包括：

步骤S341，对所述多角度对照图像进行识别，获得所述多角度对照图像中的包括所述用户空手手势的空手轮廓；

步骤S342，根据所述空手轮廓，获得所述多角度对照图像对应的空手对照截图；

上述，对多角度对照图像进行识别，定位到图像中的购物手势，从而获取到购物手势所对应的空手轮廓。该空手轮廓，可以通过对于多角度对照图像中的每个像素点进行识别，根据预设像素差异进行筛选，从而获得空手轮廓。进而在根据空手轮廓，得到空手对照截图。

步骤S343，基于所述空手对照截图，对所述区域截图图像进行识别比对；

步骤S344，若所述区域截图图像具有与所述空手对照截图相区别的区别于所述空手对照截图中的空手手势的区别特征区域，则提取所述区别特征区域；

步骤S345，截取包含有所述区域特征区域的区别物体截图；

上述，将空手对照截图作为对照，将区域截图图像作为参比样图，对区域截图图像进行识别，其中，空手对照截图可以为多角度拍摄采集到的多个空手对照截图，从而减少识别的错误率。通过对比识别，可筛选出区别于空手对照截图中的购物手势的区域截图图像中的商品。若区域截图图像中包含有区别特征区域时，则提取区域截图图像中的特征区域。区域截图图像中的区别特征区域，即为区域截图图像中的区别于空手对照截图中的购物手势以外的特征图像，并截取该区别特征区域的区别物体截图。

步骤S346，提取所述区别物体截图中的区别物体特征；

上述，区别物体截图中，包含有不同物体的特征，提取该截图中的区别物体特征用于进一步图像识别。

步骤S347，根据商品特征库，对所述区别物体特征进行比对，判断所述区别物体特征是否与所述商品特征库中的物体特征匹配；

上述，商品特征库，为包含有不同商品的特征的数据库，其作用为用于判断区别物体截图中的区别物体特征，是否为商品特征库中的商品特征。通过比对，判断两者是否匹配。

步骤S348，若所述区别物体特征与所述商品特征库中的物体特征匹配；则判定所述区别物体为商品，即判定所述用户的手中存在商品；

步骤S349，若所述区别物体特征与所述商品特征库中的物体特征不匹配；则判定所述区别物体不为商品，即判断所述用户的手中不存在商品。

上述，如果匹配，则判定区别物体为商品，则用户手中存在抓取到的商品，若否，则用户手中不存在商品。通过与用户的空手手势的多角度对照图像进行比对，从而判断出用户的购物手势中是否存在商品，提高了对于用户手中是否存在商品的图像识别的准确率。

实施例4：

参照图6，本发明第四实施例提供一种开放式自动售货机中商品的购买方法，基于上述图2所示的第一实施例，所述步骤S400，“若所述用户抓取的所述目标商品被放回至所述自动售货机中，判断所述目标商品是否放回至与所述目标商品对应的摆放区”之前，还包括：

步骤S900，接收根据用户的再次入仓的手势触发第三红外传感器生成的返回商品指令；

上述，第三红外传感器，用于对于用户在抓取商品出来后，再次伸手进入购物仓进行退货时的动作的监控。当通过该传感器进行监控时，用户进行退货，持目标商品入仓时，处罚该传感器，生成返回商品指令。

步骤S1000，根据所述返回商品指令采集所述用户的手势对应的连拍退货图像；

上述，通过图像采集设备对于用户的入仓手势进行连拍，得到连拍退货图像。

步骤S1100，对所述连拍退货图像进行识别，获得所述退货图像中的退货商品图像和退货移动路径，以便于根据所述退货商品图像和所述退货移动路径确认所述用户抓取的退货商品为所述目标商品，并且所述退货移动路径为由开放式自动售货机的购物仓外至购物仓内，即所述用户抓取的所述目标商品被放回至所述自动售货机中。

上述，对连拍图像进行识别，获取到连拍图像中的关键帧，并根据时间戳进行排序，从而得到退货移动路径。对关键帧进行图像识别，定位出关键帧中的购物手势所持有的商品图像，作为退货商品图像。进而，可根据退货移动路径确定用户为由开放时自动售货机的购物仓外至购物仓内，并可根据所述退货商品图像的识别结果，确认该退货商品为目标商品，则可判定用户抓取目标商品放回至自动售货机中。

所述步骤S500，“若所述用户抓取的所述目标商品被放回至所述自动售货机中，判断所述目标商品是否放回至与所述目标商品对应的摆放区”包括：

步骤S510，若所述用户抓取的所述目标商品被放回至所述自动售货机中，采集所述自动售货机的购物仓内的货品陈列图像；

上述，货品陈列图像，为通过图像采集设备对于购物仓内的整体场景或部分场景进行图像获取得到的图像，该图像可以为包括货架、商品摆放位置等信息的整体图像。

步骤S520，根据所述退货移动路径和所述退货商品图像，定位出所述货品陈列图像中的目标商品区域；

上述，根据退货移动路径和退货商品图像，与货品陈列图像进行比对，根据路径，定位出在货品陈列图像中，退货商品图像移动并静止的区域，即定位出货品陈列图像中的目标商品区域。

步骤S530，提取所述目标商品区域中的特征数据；

步骤S540，将所述特征数据与预设特征数据库中的商品特征数据进行比较，以得到所述目标商品对应的第二商品信息；所述第二商品信息包括退货商品的品种和数量；

提取出目标商品区域的特征数据，并根据该特征数据，基于预设特征数据库中的商品特征数据进行识别，比较，得到第二商品信息。其中，所述第二商品信息包括退货商品的品种和数量；

步骤S550，根据所述货品陈列图像，获得所述目标商品区域相对于所述货品陈列图像的相对坐标；

步骤S560，将所述相对坐标与所述目标商品对应的摆放区的摆放坐标进行比对，判断所述目标商品是否放回至与所述目标商品对应的摆放区。

上述，在S560之后，还可以包括，对于第一商品信息与第二商品信息进行比较，若两者相同，则判定用户购物手势所抓取的商品已经被完全退货；如果两者不同，则存在品种不同和/或数量不同的情况，如果品种不同，则用户可能存在将其他物品放入购物仓中的情况，通过语音提示并且通知管理员出现异常，并且对当前用户进行图像采集以留存证据；如果是数量不同，则存在两种情况，第一种为，第二商品信息中数量小于等于第一商品信息，则判定当前用户购物手势所抓取的商品出现部分退货的情况，则更新该两者数量差值至第一商品信息中，用于进一步的结算，第二种为，第二商品信息中数量大于第一商品信息，则判定用户将多余的商品放入购物仓内，则通过语音提示并且通知管理员出现异常，并且对当前用户进行图像采集以留存证据。通过对于第一购物信息和第二购物信息的比对，从而得到用户退货时的商品信息的核对结果，通过比对，确认用户退货的情况，例如品种、数量，此外也可加入重量、温度、体积等因素作为对于商品的考量，从而提高用户购物的安全性和商家货品的安全性，减少由于误操作或恶意购买、恶意退货等情况造成的损失。

实施例5：

参照图7，本发明第五实施例提供一种开放式自动售货机中商品的购买方法，基于上述图2所示的第一实施例，所述步骤S500，“若所述用户抓取的所述目标商品被放回至所述自动售货机中，判断所述目标商品是否被放回至与所述目标商品对应的摆放区”之后，还包括：

步骤S1200，若判定所述目标商品未被放回至与所述目标商品对应的摆放区，则在所述自动售货机的显示屏显示提示信息，以便于所述用户根据所述提示信息将所述目标商品移动至所述摆放区。

上述，在判定用户退货的商品未放置于正确位置，即与目标商品对应的摆放区，则通过自动售货机显示屏提示信息，提示用户改位置为错误位置，请放置于正确的位置，进而告知用户正确的位置，以便于所述用户根据所述提示信息将所述目标商品移动至所述摆放区。

此外，参考图8，本发明还提供一种开放式自动售货机中商品的购买装置，包括：接收模块10、采集模块20、识别模块30、确认模块40、判断模块50和结算模块60；

所述接收模块10，用于接收基于用户的购物手势接触商品触发第一红外传感器而生成的抓取指令；

所述采集模块20，用于根据所述抓取指令，采集所述用户的购物手势对应抓取动作的购物动作图像；

所述识别模块30，用于对所述购物动作图像进行识别，判断所述用户是否抓取到商品；

所述确认模块40，用于在所述用户抓取到商品时，则将所述商品作为目标商品，并确认所述目标商品的第一商品信息；所述第一商品信息包括购物商品的品种和数量；

所述判断模块50，用于在所述用户抓取的所述目标商品被放回至所述自动售货机中时，判断所述目标商品是否被放回至与所述目标商品对应的摆放区；

所述结算模块60，用于在判定所述目标商品被放回至与所述目标商品对应的摆放区时，则返回所述“采集所述用户的购物手势对应动作的购物动作图像”，直至接收到所述购物仓关闭生成的购物结束指令，并根据所述第一商品信息进行结算。

此外，本发明还提供一种用户终端，包括存储器以及处理器，所述存储器用于存储基于开放式自动售货机中商品的购买程序，所述处理器运行所述基于开放式自动售货机中商品的购买程序以使所述用户终端执行如上述所述开放式自动售货机中商品的购买方法。

此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基于开放式自动售货机中商品的购买程序，所述基于开放式自动售货机中商品的购买程序被处理器执行时实现如上述所述开放式自动售货机中商品的购买方法。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种开放式自动售货机中商品的购买方法，其特征在于，包括：

接收基于用户的购物手势接触商品触发第一红外传感器而生成的抓取指令；

根据所述抓取指令，采集所述用户的购物手势对应抓取动作的购物动作图像；

对所述购物动作图像进行识别，判断所述用户是否抓取到商品；

若所述用户抓取到商品，则将所述商品作为目标商品，并确认所述目标商品的第一商品信息；所述第一商品信息包括购物商品的品种和数量；

若所述用户抓取的所述目标商品被放回至所述自动售货机中，判断所述目标商品是否被放回至与所述目标商品对应的摆放区；

若判定所述目标商品被放回至与所述目标商品对应的摆放区，则接收购物仓关闭生成的购物结束指令，并根据所述第一商品信息进行结算；

所述若所述用户抓取的所述目标商品被放回至所述自动售货机中，判断所述目标商品是否放回至与所述目标商品对应的摆放区之前，还包括：接收根据用户的再次入仓的手势触发第三红外传感器生成的返回商品指令；根据所述返回商品指令采集所述用户的手势对应的连拍退货图像；对所述连拍退货图像进行识别，获得所述退货图像中的退货商品图像和退货移动路径，以便于根据所述退货商品图像和所述退货移动路径确认所述用户抓取的退货商品为所述目标商品，并且所述退货移动路径为由开放式自动售货机的购物仓外至购物仓内，即所述用户抓取的所述目标商品被放回至所述自动售货机中；

所述若所述用户抓取的所述目标商品被放回至所述自动售货机中，判断所述目标商品是否放回至与所述目标商品对应的摆放区包括：若所述用户抓取的所述目标商品被放回至所述自动售货机中，采集所述自动售货机的购物仓内的货品陈列图像；根据所述退货移动路径和所述退货商品图像，定位出所述货品陈列图像中的目标商品区域；提取所述目标商品区域中的特征数据；将所述特征数据与预设特征数据库中的商品特征数据进行比较，以得到所述目标商品对应的第二商品信息；所述第二商品信息包括退货商品的品种和数量；根据所述货品陈列图像，获得所述目标商品区域相对于所述货品陈列图像的相对坐标；将所述相对坐标与所述目标商品对应的摆放区的摆放坐标进行比对，判断所述目标商品是否放回至与所述目标商品对应的摆放区。

2.如权利要求1所述开放式自动售货机中商品的购买方法，其特征在于，所述“对所述购物动作图像进行识别，判断所述用户是否抓取到商品”包括：

对所述购物动作图像进行灰度化，获得灰度图像；

确定所述灰度图像中包括用户的购物手势的待识别区域；

截取包括所述待识别区域的最小截图作为区域截图图像；

对所述区域截图图像进行识别，判断所述用户的手中是否存在商品；

若所述用户手中存在商品，则判定所述用户抓取到商品；

若所述用户手中不存在商品，则判定所述用户未抓取商品。

3.如权利要求2所述开放式自动售货机中商品的购买方法，其特征在于，所述“接收基于用户的购物手势接触商品触发第一红外传感器而生成的抓取指令”之前，还包括：

在开启自动售货机的购物仓后，接收用户的购物手势进入所述购物仓触发第二红外传感器所生成的入仓指令；

根据所述入仓指令，采集包括所述用户的空手手势的多角度空手图像，作为多角度对照图像。

4.如权利要求3所述开放式自动售货机中商品的购买方法，其特征在于，所述“对所述区域截图图像进行识别，判断所述用户的手中是否存在商品”，包括：

对所述多角度对照图像进行识别，获得所述多角度对照图像中的包括所述用户空手手势的空手轮廓；

根据所述空手轮廓，获得所述多角度对照图像对应的空手对照截图；

基于所述空手对照截图，对所述区域截图图像进行识别比对；

若所述区域截图图像具有与所述空手对照截图相区别的区别于所述空手对照截图中的空手手势的区别特征区域，则提取所述区别特征区域；

截取包含有所述区别特征区域的区别物体截图；

提取所述区别物体截图中的区别物体特征；

根据商品特征库，对所述区别物体特征进行比对，判断所述区别物体特征是否与所述商品特征库中的物体特征匹配；

若所述区别物体特征与所述商品特征库中的物体特征匹配；则判定所述区别物体为商品，即判定所述用户的手中存在商品；

若所述区别物体特征与所述商品特征库中的物体特征不匹配；则判定所述区别物体不为商品，即判断所述用户的手中不存在商品。

5.如权利要求1所述开放式自动售货机中商品的购买方法，其特征在于，所述“若所述用户抓取的所述目标商品被放回至所述自动售货机中，判断所述目标商品是否被放回至与所述目标商品对应的摆放区”之后，还包括：

若判定所述目标商品未被放回至与所述目标商品对应的摆放区，则在所述自动售货机的显示屏显示提示信息，以便于所述用户根据所述提示信息将所述目标商品移动至所述摆放区。

6.一种开放式自动售货机中商品的购买装置，其特征在于，包括：接收模块、采集模块、识别模块、确认模块、判断模块和结算模块；

所述接收模块，用于接收基于用户的购物手势接触商品触发第一红外传感器而生成的抓取指令；

所述采集模块，用于根据所述抓取指令，采集所述用户的购物手势对应抓取动作的购物动作图像；

所述识别模块，用于对所述购物动作图像进行识别，判断所述用户是否抓取到商品；

所述确认模块，用于在所述用户抓取到商品时，则将所述商品作为目标商品，并确认所述目标商品的第一商品信息；所述第一商品信息包括购物商品的品种和数量；

所述判断模块，用于在所述用户抓取的所述目标商品被放回至所述自动售货机中时，判断所述目标商品是否被放回至与所述目标商品对应的摆放区；

所述结算模块，用于在判定所述目标商品被放回至与所述目标商品对应的摆放区时，则返回所述“采集所述用户的购物手势对应动作的购物动作图像”，直至接收到购物仓关闭生成的购物结束指令，并根据所述第一商品信息进行结算；

所述确认模块，还用于在所述若所述用户抓取的所述目标商品被放回至所述自动售货机中，判断所述目标商品是否放回至与所述目标商品对应的摆放区之前，还包括：接收根据用户的再次入仓的手势触发第三红外传感器生成的返回商品指令；根据所述返回商品指令采集所述用户的手势对应的连拍退货图像；对所述连拍退货图像进行识别，获得所述退货图像中的退货商品图像和退货移动路径，以便于根据所述退货商品图像和所述退货移动路径确认所述用户抓取的退货商品为所述目标商品，并且所述退货移动路径为由开放式自动售货机的购物仓外至购物仓内，即所述用户抓取的所述目标商品被放回至所述自动售货机中；

所述判断模块，用于所述若所述用户抓取的所述目标商品被放回至所述自动售货机中，判断所述目标商品是否放回至与所述目标商品对应的摆放区包括：若所述用户抓取的所述目标商品被放回至所述自动售货机中，采集所述自动售货机的购物仓内的货品陈列图像；根据所述退货移动路径和所述退货商品图像，定位出所述货品陈列图像中的目标商品区域；提取所述目标商品区域中的特征数据；将所述特征数据与预设特征数据库中的商品特征数据进行比较，以得到所述目标商品对应的第二商品信息；所述第二商品信息包括退货商品的品种和数量；根据所述货品陈列图像，获得所述目标商品区域相对于所述货品陈列图像的相对坐标；将所述相对坐标与所述目标商品对应的摆放区的摆放坐标进行比对，判断所述目标商品是否放回至与所述目标商品对应的摆放区。

7.一种用户终端，其特征在于，包括存储器以及处理器，所述存储器用于存储基于开放式自动售货机中商品的购买程序，所述处理器运行所述基于开放式自动售货机中商品的购买程序以使所述用户终端执行如权利要求1-5中任一项所述开放式自动售货机中商品的购买方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于开放式自动售货机中商品的购买程序，所述基于开放式自动售货机中商品的购买程序被处理器执行时实现如权利要求1-5中任一项所述开放式自动售货机中商品的购买方法。

Images