CN109002782A - 一种基于自动售货机的商品购买方法、装置和用户终端 - Google Patents

Abstract

本发明提供了一种基于自动售货机的商品购买方法、装置和用户终端，其中所述方法包括：接收购物指令，并且根据购物指令开启自动售货机；实时检测自动售货机内的商品，识别用户抓取的目标商品；若用户抓取的目标商品被放回至自动售货机中，判断目标商品是否放回至与目标商品对应的摆放区；若目标商品未被放回目标区域，则自动售货机通过LED灯进行报错，并且通过语音提示用户将目标商品放回至所述摆放区。本发明实现了在开放式的购物环境中，用户对于退回的商品，未放置于正确位置的商品进行提示其放回摆放区，从而智能的保持自动售货机内商品按照一定位置摆放，为消费者在购物时提供方便，提高了用户体验。

Description

一种基于自动售货机的商品购买方法、装置和用户终端

技术领域

本发明涉及图像识别技术领域，更具体地说，涉及一种基于自动售货机的商品购买方法、装置和用户终端。

背景技术

物质流通是人类社会的最基本要素。零售行业或直接面向消费者销售的开放式的相关行业(以下简称为零售行业或零售企业)作为当前物质流通的重要手段，需要雇佣大量的收银人员来实现商品的买卖工作，收银人员对消费者所购物品一件一件进行统计，统计完成后，与消费者共同完成支付。

而自动售货机，则解决了零售行业的人工统计和人工结算的缺陷，是一种面向消费者的无人售货、自动结算的售卖方式。可通过用户的选择，统计出用户所选择的商品的品种种类和总价值，以供用户进行结算，完成支付过程。但在基于开放式的自动售货机中，用户购物过程中，在用户不喜欢等原因需要将获取放回时，需要将商品放回至原有的区域，以便于其他的消费者更方便的根据清晰的摆放位置去选择商品，但是现有的自动售货机，并不能对商品是否放回原位进行判断，在用户反复拿取过程中，导致商品出现位置混乱的情况，给用户的购物带来了不便。

总之，目前现有的开放式的购物环境中，只能通过人工对于消费者由于不需要所返还退回的商品进行摆放，并不能直接自动识别商品位置，耗费大量人力成本，给其他消费者的购物过程造成麻烦，用户体验差。

发明内容

有鉴于此，本发明提供一种基于自动售货机的商品购买方法、装置和用户终端以解决现有技术的不足。

为解决上述问题，本发明提供一种基于自动售货机的商品购买方法，包括：

接收购物指令，并且根据所述购物指令开启所述自动售货机；

实时检测所述自动售货机内的商品，识别所述用户抓取的目标商品；

若所述用户抓取的所述目标商品被放回至所述自动售货机中，判断所述目标商品是否放回至与所述目标商品对应的摆放区；

若所述目标商品未被放回所述目标区域，则所述自动售货机通过LED灯进行报错，并且通过语音提示所述用户将所述目标商品放回至所述摆放区。

优选地，所述“实时检测所述自动售货机内的商品，识别所述用户抓取的目标商品”包括：

通过第一红外传感器接收用户购物时的开始购物指令；

根据所述开始购物指令，采集所述用户抓取商品之前的空手抓取图像；

在所述用户抓取所述商品时，基于第二红外传感器获取抓取指令，并根据所述抓取指令采集所述用户抓取所述商品的购物连拍图像；

基于所述空手抓取图像，对所述购物连拍图像进行识别，获得所述购物连拍图像中的所述用户抓取的所述商品对应的商品信息，并根据所述商品信息确定所述商品为所述目标商品。

优选地，所述“判断所述目标商品是否放回至与所述目标商品对应的摆放区”包括：

通过所述第一红外传感器，获取所述用户将所述目标商品返还的商品返还指令；

根据所述商品返还指令，采集所述用户返还所述目标商品的退货连拍图像；

对所述退货连拍图像进行识别，获取所述退货连拍图像中的所述目标商品对应的运动轨迹图像；

根据所述运动轨迹图像判断所述目标商品的放置位置是否属于所述摆放区内；

若所述放置位置属于所述摆放区内，则判定所述目标商品被放回至所述摆放区；

若所述放置位置不属于所述摆放区内，则判定所述目标商品未被放回至所述摆放区。

优选地，所述“对所述退货连拍图像进行识别，获取所述退货连拍图像中的所述目标商品对应的运动轨迹图像”包括：

提取所述退货连拍图像中的关键帧；

获取所述关键帧中的所述用户购物的手势区，生成与所述手势区对应的选择框；

基于所述选择框，获取每个所述关键帧对应的包含所述选择框的最小截图；

基于所述空手抓取图像，对每个所述关键帧对应的所述最小截图进行识别，获取每帧中的所述最小截图内的所述用户抓取的商品的图像，以确定所述商品为所述目标商品；

在确定所述商品为所述目标商品后，根据所述最小截图生成所述目标商品对应的所述运动轨迹图像。

优选地，所述“根据所述运动轨迹图像判断所述目标商品的放置位置是否属于所述摆放区内”包括：

根据所述运动轨迹图像，获取所述运动轨迹图像中的所述目标商品在所述自动售货机中的坐标变化信息；

根据所述坐标变化信息确定所述目标商品放置于所述自动售货机中的坐标数据；

根据所述坐标数据确定所述目标商品的所述放置位置；

判断所述放置位置的坐标数据是否处于预设坐标数据范围内；

若所述放置位置的坐标数据处于预设坐标数据范围内，则判定所述目标商品的放置位置属于所述摆放区内；

若所述放置位置的坐标数据不处于预设坐标数据范围内，则判定所述目标商品的放置位置不属于所述摆放区内。

优选地，所述“判断所述目标商品是否放回至与所述目标商品对应的摆放区”之后，还包括：

若所述目标商品被放回所述目标区域，则采集所述目标商品对应的多角度状态图像；

将所述多角度状态图像与商品信息数据库中的所述目标商品对应的预存标准商品图像进行比对；

判断所述目标商品是否出现图像异常状态；

若所述目标商品出现图像异常状态，则判定所述目标商品发生状态变化，所述自动售货机通过LED灯进行商品异常提示，并通过语音提示所述用户进行直接对于所述目标商品的结算；

若所述目标商品不在所述标准商品质量范围内，则判定所述目标商品发生质量变化，所述自动售货机通过LED灯进行商品异常提示，并且通过语音提示所述用户对所述目标商品进行检查。

此外，为解决上述问题，本发明还提供一种基于自动售货机的商品购买装置，包括：接收模块、识别模块、判断模块和报错模块；

所述接收模块，用于接收购物指令，并且根据所述购物指令开启所述自动售货机；

所述识别模块，用于实时检测所述自动售货机内的商品，识别所述用户抓取的目标商品；

所述判断模块，用于在所述用户抓取的所述目标商品被放回至所述自动售货机中时，判断所述目标商品是否放回至与所述目标商品对应的摆放区；

所述报错模块，用于在所述目标商品未被放回所述目标区域时，则所述自动售货机通过LED灯进行报错，并且通过语音提示所述用户将所述目标商品放回至所述摆放区。

此外，为解决上述问题，本发明还提供一种用户终端，包括存储器以及处理器，所述存储器用于存储基于自动售货机的商品购买程序，所述处理器运行所述基于自动售货机的商品购买程序以使所述用户终端执行如上述所述基于自动售货机的商品购买方法。

此外，为解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基于自动售货机的商品购买程序，所述基于自动售货机的商品购买程序被处理器执行时实现如上述所述基于自动售货机的商品购买方法。

本发明提供的一种基于自动售货机的商品购买方法、装置和用户终端。其中，本发明所提供的方法通过实时检测自动售货机内的商品，在用户抓取目标商品并放回时，判断其是否放回至原有的摆放区，如果没有放回摆放区，则通过LED灯和语音提示进行报错。本发明实现了在开放式的购物环境中，用户对于退回的商品，未放置于正确位置的商品进行提示其放回摆放区，从而智能的保持自动售货机内商品按照一定位置摆放，为消费者在购物时提供方便，提高了用户体验，避免了现有的自动售货机汇中，只能通过人工进行摆放商品，浪费大量人力成本的问题。

附图说明

图1为本发明基于自动售货机的商品购买方法实施例方案涉及的硬件运行环境的结构示意图；

图2为本发明基于自动售货机的商品购买方法第一实施例的流程示意图；

图3为本发明基于自动售货机的商品购买方法第二实施例的流程示意图；

图4为本发明基于自动售货机的商品购买方法第三实施例的流程示意图；

图5为本发明基于自动售货机的商品购买方法第四实施例步骤S330的细化步骤流程示意图；

图6为本发明基于自动售货机的商品购买方法第五实施例步骤S340的细化步骤流程示意图；

图7为本发明基于自动售货机的商品购买方法第六实施例的流程示意图；

图8为本发明基于自动售货机的商品购买装置的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面详细描述本发明的实施例，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的终端的硬件运行环境的结构示意图。

本发明实施例终端可以是的设于自动货柜机中的PC，也可以是智能手机、平板电脑、电子书阅读器、MP3播放器、MP4播放器、便携计算机等可移动式终端设备。此外，也可以为自动货柜机本身所带有的计算机硬件装置。

如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏、输入单元比如键盘、遥控器，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

此外，终端包括图像采集设备，具体可以为摄像头，相机等。

此外，终端还包括红外传感设备，用以对用户的购物行为进行判断。

此外，终端还包括重力传感设备，用以对自动售货机中的商品的质量进行实时或定时的监控。

可选地，终端还可以包括RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。此外，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

本领域技术人员可以理解，图1中示出的终端并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、数据接口控制程序、网络连接程序以及基于自动售货机的商品购买程序。

本发明提供的一种基于自动售货机的商品购买方法、装置和用户终端。其中，所述方法实现了在开放式的购物环境中，用户对于退回的商品，未放置于正确位置的商品进行提示其放回摆放区，从而智能的保持自动售货机内商品按照一定位置摆放，为消费者在购物时提供方便，提高了用户体验。

实施例1：

参照图2，本发明第一实施例提供一种基于自动售货机的商品购买方法，包括：

步骤S100，接收购物指令，并且根据所述购物指令开启所述自动售货机；

上述，本实施例所提供的基于自动售货机的商品购买方法，可以适用于开放式的购物环境，例如商场、超市等场所，即无人值守，用户可进行自由拿取货物。在本实施例中，可以为开放式的自动售货机，用户开始购物后，自动售货机的柜门打开，用户进行对内部的货物直接拿取，而自动售货机通过图像采集设备对用户的购物行为、所购物品进行识别和统计，实现对于用户的所购商品的最终结算。

上述，图像采集的设备，可以为摄像机、相机等具有图像拍摄功能的装置。

上述，收购物指令，可以为基于用户的动作或行为所启动的指令，例如，用户通过智能通信设备与自动售货机进行连接，并通过扫码启动购物流程，从而生成购物指令。

上述，在所述“接收购物指令，并且根据所述购物指令开启所述自动售货机”之前，还可以包括：

在用户出现于摄像头视野中后，采集用户面部图像，并提示用户移动至相应图像采集区域；

若所述用户处于所述图像采集区域，则提示用户开始进行姿态认证；

通过显示屏，显示信息提示用户做相应的肢体动作，并采集相应肢体动作所对应的肢体图像；

对所述肢体图像进行测距，以获得所述用户对应的肢体测距数据；

将所述肢体测距数据与用户数据库中的已认证用户信息进行比对；

如果比对通过，则对所述面部图像进行识别，将面部图像的特征信息与已认证用户信息中的预存特征信息进行比对，若比对通过，则判定用户为已认证用户，生成所述购物指令；

若比对不通过，则保存所述用户对应的肢体测距数据和所述面部图像作为已认证用户信息，并生成所述购物指令。

上述，为在购物之前对于用户认证的过程。在本实施例中，为基于图像识别技术的对于用户的认证。图像采集区域，为摄像头视野中，可进行对于用户的全身进行图像识别的区域。例如，在屏幕中显示人型轮廓图像，提示用户将身体在摄像头的视野中移动至人型轮廓图像之中。

在开始进行姿态认证后，通过显示屏，提示用户做相应的肢体动作，当用户做出动作后，即可对当前用户的肢体动作进行图像采集，得到包含有用户肢体动作的图像，并对该图像进行肢体动作定位，进而进行肢体测距数据的获取。

所述肢体测距数据为人体中不同部位的大小和比例，例如，提示用户两臂侧平举，获得到人体身高和两臂的总长度，从而得到身高和两臂总长的比例，作为肢体测距数据。再例如，提示用户抬右腿，测量用户从立档至左腿的长度，作为肢体测距数据。再例如，提示用户双手向上举，获取上端手指至脚部的长度数据，以及腰部的宽度数据，作为肢体测距数据。

用户数据库，为存储有用户的已认证用户信息，已认证用户信息包括预存储的用户的肢体测距的数据，通过将当前测得的肢体测距数据与预存储的用户的测距数据进行比对，从而确定用户的身份。

通过对用户所进行的肢体动作认证，实现了在进行对于用户面部识别之外的肢体测距数据的比对，提高了对于用户认证的准确性，以防止其他用户冒用信息，提高购物的安全性，同时增加用户购物的趣味性，增加用户粘度。

步骤S200，实时检测所述自动售货机内的商品，识别所述用户抓取的目标商品；

上述，自动售货机内，用户进行购物时，需要在自动售货机内部选择商品，通过伸手，去拿取的商品为目标商品。其中，目标商品可以为1个商品，也可以为多个商品。

上述，实时监测自动售货机内的商品，可以通过红外传感器进行检测，也可以通过摄像头进行实时监控，通过图像识别技术进行检测。例如，可以依据相应的红外传感设备所对应的位置，启动有针对性的指令，即在不同的区域设置不同的红外传感设备，对于用户在不同区域进行抓取商品时，触发的不同区域的红外信号，返回相应区域所对应的购物启动指令。例如，开放式的自动售货机存在有上中下3层购物空间，用户在去拿取下层的商品时，触发下层的红外传感设备的红外信号，对应的返回一个与下层空间相对应的购物启动指令。

步骤S300，若所述用户抓取的所述目标商品被放回至所述自动售货机中，判断所述目标商品是否放回至与所述目标商品对应的摆放区；

步骤S400，若所述目标商品未被放回所述目标区域，则所述自动售货机通过LED灯进行报错，并且通过语音提示所述用户将所述目标商品放回至所述摆放区。

上述，在用户拿取商品后，有可能会出现用户拿错商品或者不喜欢该商品的情况，则用户会将商品放回至自动售货机中。如果用户将需要退回的商品放置于其他商品的位置，则会使售货机内的商品摆放出现混乱，不同的货物未按照正确的分类和正确的区域进行摆放，影响其他消费者的购物，为其他消费者进行购物时的选择过程带来不便，所以本实施例中，判断用户所退回的目标商品是否放回至摆放区，具体的可以为通过图像识别技术对商品进行识别，并且对于商品的摆放区进行识别，以判断该商品和该区域是否匹配，从而判断是否归位正确，此外，也可通过固定的装置进行判断，例如重力传感器，当商品放置于其他不正确位置时，该位置的重力传感器获取到质量发生变化，但数据并非正确的数据，则提示用户放置错误。

上述，LED灯为提示用户摆放区域出错的提示灯，可以为通过不同颜色进行发出提示信息的形式，例如，正常状态为绿色灯，在出现摆放位置出错时，则可以为红色的灯，或者为正常状态时为常亮灯，出现摆放位置错误时，则进行频闪，以提示用户。

上述，通过语音提示所述用户将所述目标商品放回至所述摆放区，可以为提示用户摆放位置出现错误，并且可以提示用户该目标商品的位置为XX，等等。

本实施例通过实时检测自动售货机内的商品，在用户抓取目标商品并放回时，判断其是否放回至原有的摆放区，如果没有放回摆放区，则通过LED灯和语音提示进行报错。本实施例实现了在开放式的购物环境中，用户对于退回的商品，未放置于正确位置的商品进行提示其放回摆放区，从而智能的保持自动售货机内商品按照一定位置摆放，为消费者在购物时提供方便，提高了用户体验，避免了现有的自动售货机汇中，只能通过人工进行摆放商品，浪费大量人力成本的问题。

实施例2：

参照图3，本发明第二实施例提供一种基于自动售货机的商品购买方法，基于上述图2所示的第一实施例，所述步骤S200，“实时检测所述自动售货机内的商品，识别所述用户抓取的目标商品”包括：

步骤S210，通过第一红外传感器接收用户购物时的开始购物指令；

上述，红外信号，为本实施例中的红外传感设备(红外传感器)所发出的红外线信号，通过在特定位置设置红外传感设备，布置红外线信号，以便于用户在出现购物手势时，触发相应的红外传感器所发出的红外线信号，并返回一开始购物指令。

上述，不同位置设置有不同的红外传感器，其中，第一红外传感器设置于自动售货机中，检测用户开始购物时的购物手势，即为用户将手渗入自动售货机中时，出发第一红外传感器，生成开始购物指令。

步骤S220，根据所述开始购物指令，采集所述用户抓取商品之前的空手抓取图像；

上述，空手抓取图像，为包含有用户的用户购物手势的图像，其中用户手势中未抓取目标商品，即手中未抓取商品时的图像。

上述，用户购物手势，为用户对目标商品的拿取的动作，该动作可以包括两个过程，即可以为选择抓取或放置过程和货品取回或递出过程，通过这两个过程，实现对于目标商品的拿取。上述过程，可以为用户空手向目标商品移动，抓取货物，并且将目标商品取回。此外，上述过程也可以针对于用户手持商品向目标位置递出，放置于目标位置，并且空手退出的过程。在本实施例中，空手抓取图像为用户购物手势中的未接触到目标商品时的空手图像。

步骤S230，在所述用户抓取所述商品时，基于第二红外传感器获取抓取指令，并根据所述抓取指令采集所述用户抓取所述商品的购物连拍图像；

上述，不同位置设置有不同的红外传感器，其中，第二红外传感器设置于自动售货机中的近目标商品区域，检测用户开始购物时的购物手势，即为用户将手渗入自动售货机中时，出发第一红外传感器，生成开始购物指令。

上述，购物连拍图像，即为在用户购物的过程中，持续不断的追踪用户购物手势，连续拍摄用户购物的手势图像，判断整个过程中用户拿起的商品品种，即通过所连续拍摄得到的图像对用户所购商品的品种进行识别。

上述，连拍图像，可以为图像视频数据，即为视频图像。此外，也可以为可记录购物完整过程的用户购物手势的动态图像。

此外，连拍图像可以设有时间戳，从而根据所述时间戳，对连拍图像进行排序，从而可形成一个显示有商品运动轨迹的图像集合。

步骤S240，基于所述空手抓取图像，对所述购物连拍图像进行识别，获得所述购物连拍图像中的所述用户抓取的所述商品对应的商品信息，并根据所述商品信息确定所述商品为所述目标商品。

将空手抓取图像做为对照图像，并将对照图像与连拍图像进行比对，从而提取出所述连拍图像中的所抓取的商品，并得到其对应的商品信息，例如，商品体积大小、颜色、花纹、文字标识等等。通过图像识别技术，对用户所抓取的目标商品进行识别，从而识别出用户所抓取的目标商品对应的商品信息，例如，商品品种、个数等等，提高了对于用户购物时所拿到的商品判断的准确性。

实施例3：

参照图4，本发明第三实施例提供一种基于自动售货机的商品购买方法，基于上述图3所示的第二实施例，所述步骤S300中，“判断所述目标商品是否放回至与所述目标商品对应的摆放区”包括：

步骤S310，通过所述第一红外传感器，获取所述用户将所述目标商品返还的商品返还指令；

上述，通过第一红外传感器，获取用户的退货手势，从而生成商品返还指令。

步骤S320，根据所述商品返还指令，采集所述用户返还所述目标商品的退货连拍图像；

上述，采集用户退货的连拍图像，即为，用户拿取货物至自动售货机中的货架中之间的连拍图像。

步骤S330，对所述退货连拍图像进行识别，获取所述退货连拍图像中的所述目标商品对应的运动轨迹图像；

上述，在本实施例中，可根据时间戳，获得退货连拍图像中的商品的运动轨迹图像。具体的，可以对退货连拍图像中的商品进行定位，并根据时间戳，将每个退货连拍图像汇中的商品进行连接，从而或得到运动轨迹图像。

步骤S340，根据所述运动轨迹图像判断所述目标商品的放置位置是否属于所述摆放区内；

上述，通过运动轨迹图像，获得目标商品在返还过程中的移动轨迹，根据移动轨迹判断目标商品在归还中所放置的位置。所述摆放区，为目标商品应该放置的正确位置，其他位置为非摆放区。

步骤S350，若所述放置位置属于所述摆放区内，则判定所述目标商品被放回至所述摆放区；

步骤S360，若所述放置位置不属于所述摆放区内，则判定所述目标商品未被放回至所述摆放区。

在本实施例中，通过红外传感器，触发生成商品返还指令，并且通过所采集的用户退换货物的连拍图像，获知用户将所述目标商品退换并放置的位置，并判断该位置是否为正确的摆放区，实现了利用红外传感器和图像识别技术自动判断用户所放置的商品位置，并判断位置是否正确，减少了人工摆放商品的麻烦，对用户摆放到错误位置进行及时纠错，为消费者的购物提供了方便，更加智能化。

实施例4：

参照图5，本发明第四实施例提供一种基于自动售货机的商品购买方法，基于上述图4所示的第三实施例，所述步骤S330，“对所述退货连拍图像进行识别，获取所述退货连拍图像中的所述目标商品对应的运动轨迹图像”包括：

步骤S331，提取所述退货连拍图像中的关键帧；

上述，关键帧为退货连拍图像中的单独的连续的多帧图像。

步骤S332，获取所述关键帧中的所述用户购物的手势区，生成与所述手势区对应的选择框；

手势区为用户的手部区域，定位该手势区，该手势区可以包含有目标商品，生成包含有手势区的选择框。其中，选择框可以为不同形状，例如长方形或正方形，或者包括手势和所抓取目标商品的外轮廓选择框。

步骤S333，基于所述选择框，获取每个所述关键帧对应的包含所述选择框的最小截图；

上述，截取包含选择框的最小截图，即获取到每个关键帧中的包含或不包含目标商品的用户手势最小截图。

步骤S334，基于所述空手抓取图像，对每个所述关键帧对应的所述最小截图进行识别，获取每帧中的所述最小截图内的所述用户抓取的商品的图像，以确定所述商品为所述目标商品；

上述，将空手抓取图像作为对照图像，对每个最小截图进行识别，找出每一个最小截图内的商品图像，以便于根据所述商品的图像，确定其是否为目标商品。

步骤S335，在确定所述商品为所述目标商品后，根据所述最小截图生成所述目标商品对应的所述运动轨迹图像。

如果确定为目标商品，则根据最小截图，并且基于时间戳对说是有的最小截图进行排序，生成基于时间戳的运动轨迹图像。通过运动轨迹图像，可进一步获得目标商品的移动后的位置，可清晰的获得所放置位置，提高进一步对其所放置位置的判断的准确性。

实施例5：

参照图6，本发明第五实施例提供一种基于自动售货机的商品购买方法，基于上述图4所示的第三实施例，所述步骤S340，“根据所述运动轨迹图像判断所述目标商品的放置位置是否属于所述摆放区内”包括：

步骤S341，根据所述运动轨迹图像，获取所述运动轨迹图像中的所述目标商品在所述自动售货机中的坐标变化信息；

上述，通过运动轨迹图像，可获得目标商品的初始位置坐标和中间移动过程的坐标以及最终的所放置位置的坐标，即为坐标变化信息。

步骤S342，根据所述坐标变化信息确定所述目标商品放置于所述自动售货机中的坐标数据；

上述，通过坐标变化信息，获得目标商品移动的位置变化，可追踪至目标商品的最终放置位置，即为坐标数据。

步骤S343，根据所述坐标数据确定所述目标商品的所述放置位置；

步骤S344，判断所述放置位置的坐标数据是否处于预设坐标数据范围内；

步骤S345，若所述放置位置的坐标数据处于预设坐标数据范围内，则判定所述目标商品的放置位置属于所述摆放区内；

步骤S346，若所述放置位置的坐标数据不处于预设坐标数据范围内，则判定所述目标商品的放置位置不属于所述摆放区内。

上述，坐标数据为目标商品在自动售货机中的静止放置的坐标，通过该坐标，可以判断出该坐标所处于的位置范围，通过位置范围获得所述放置位置。在本实施例中，通过移动轨迹，得到坐标数据，进而获知该商品所放置的位置，并通过坐标数据判断目标商品的放置位置是否在摆放区内，实现了通过坐标信息自动判断目标商品是否正确归位，提高了准确度。

实施例6：

参照图7，本发明第五实施例提供一种基于自动售货机的商品购买方法，基于上述图2所示的第一实施例，所述步骤S300，“判断所述目标商品是否放回至与所述目标商品对应的摆放区”之后，还包括：

步骤S500，若所述目标商品被放回所述目标区域，则采集所述目标商品对应的多角度状态图像；

上述，部分商品在用户取出后，可能存在损坏、破损的情况，例如用户自行拆开包装，则在退回后会影响二次销售，给自动售货机的商家造成经济损失。所以，本实施例中，通过对于目标区域的目标商品进行图像识别，从而判断该目标商品是否出现变化，如果出现变化，则提示用户或商家，为商家进行止损。

上述，多角度状态图像，可以通过多角度的摄像头进行采集获取到。

步骤S600，将所述多角度状态图像与商品信息数据库中的所述目标商品对应的预存标准商品图像进行比对；

步骤S700，判断所述目标商品是否出现图像异常状态；

步骤S800，若所述目标商品出现图像异常状态，则判定所述目标商品发生状态变化，所述自动售货机通过LED灯进行商品异常提示，并通过语音提示所述用户进行直接对于所述目标商品的结算。

上述，图像异常状态，即为多角度的目标商品图像发生变化的状态，例如通过多角度状态图像所获取到的多角度的目标商品的图像，与预存标准商品图像进行比对，此间预存保准商品图像，还可保存有相关的状态特征，例如封口部位图像特征、拉锁图像特征、封条图像特征、表面包装特征等等。将上述特征信息对多角度状态图像进行识别，如果对比后，判断为图像异常状态，例如封条打开，则通过LED指示灯进行提示，并通过语音提示用户对该商品进行结算。本实施例，提高了对于商品的判断的全面性，同时避免了商品在发生破损等状态变化时，为商家造成的损失。

此外，参考图8，本发明还提供一种基于自动售货机的商品购买装置，包括：接收模块10、识别模块20、判断模块30和报错模块40；

所述接收模,10，用于接收购物指令，并且根据所述购物指令开启所述自动售货机；

所述识别模块20，用于实时检测所述自动售货机内的商品，识别所述用户抓取的目标商品；

所述判断模块30，用于在所述用户抓取的所述目标商品被放回至所述自动售货机中时，判断所述目标商品是否放回至与所述目标商品对应的摆放区；

所述报错模块40，用于在所述目标商品未被放回所述目标区域时，则所述自动售货机通过LED灯进行报错，并且通过语音提示所述用户将所述目标商品放回至所述摆放区。

此外，本发明还提供一种用户终端，包括存储器以及处理器，所述存储器用于存储基于自动售货机的商品购买程序，所述处理器运行所述基于自动售货机的商品购买程序以使所述用户终端执行如上述所述基于自动售货机的商品购买方法。

此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基于自动售货机的商品购买程序，所述基于自动售货机的商品购买程序被处理器执行时实现如上述所述基于自动售货机的商品购买方法。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种基于自动售货机的商品购买方法，其特征在于，包括：

接收购物指令，并且根据所述购物指令开启所述自动售货机；

实时检测所述自动售货机内的商品，识别所述用户抓取的目标商品；

若所述用户抓取的所述目标商品被放回至所述自动售货机中，判断所述目标商品是否放回至与所述目标商品对应的摆放区；

若所述目标商品未被放回所述目标区域，则所述自动售货机通过LED灯进行报错，并且通过语音提示所述用户将所述目标商品放回至所述摆放区。

2.如权利要求1所述基于自动售货机的商品购买方法，其特征在于，所述“实时检测所述自动售货机内的商品，识别所述用户抓取的目标商品”包括：

通过第一红外传感器接收用户购物时的开始购物指令；

根据所述开始购物指令，采集所述用户抓取商品之前的空手抓取图像；

在所述用户抓取所述商品时，基于第二红外传感器获取抓取指令，并根据所述抓取指令采集所述用户抓取所述商品的购物连拍图像；

基于所述空手抓取图像，对所述购物连拍图像进行识别，获得所述购物连拍图像中的所述用户抓取的所述商品对应的商品信息，并根据所述商品信息确定所述商品为所述目标商品。

3.如权利要求2所述基于自动售货机的商品购买方法，其特征在于，所述“判断所述目标商品是否放回至与所述目标商品对应的摆放区”包括：

通过所述第一红外传感器，获取所述用户将所述目标商品返还的商品返还指令；

根据所述商品返还指令，采集所述用户返还所述目标商品的退货连拍图像；

对所述退货连拍图像进行识别，获取所述退货连拍图像中的所述目标商品对应的运动轨迹图像；

根据所述运动轨迹图像判断所述目标商品的放置位置是否属于所述摆放区内；

若所述放置位置属于所述摆放区内，则判定所述目标商品被放回至所述摆放区；

若所述放置位置不属于所述摆放区内，则判定所述目标商品未被放回至所述摆放区。

4.如权利要求3所述基于自动售货机的商品购买方法，其特征在于，所述“对所述退货连拍图像进行识别，获取所述退货连拍图像中的所述目标商品对应的运动轨迹图像”包括：

提取所述退货连拍图像中的关键帧；

获取所述关键帧中的所述用户购物的手势区，生成与所述手势区对应的选择框；

基于所述选择框，获取每个所述关键帧对应的包含所述选择框的最小截图；

基于所述空手抓取图像，对每个所述关键帧对应的所述最小截图进行识别，获取每帧中的所述最小截图内的所述用户抓取的商品的图像，以确定所述商品为所述目标商品；

在确定所述商品为所述目标商品后，根据所述最小截图生成所述目标商品对应的所述运动轨迹图像。

5.如权利要求3所述基于自动售货机的商品购买方法，其特征在于，所述“根据所述运动轨迹图像判断所述目标商品的放置位置是否属于所述摆放区内”包括：

根据所述运动轨迹图像，获取所述运动轨迹图像中的所述目标商品在所述自动售货机中的坐标变化信息；

根据所述坐标变化信息确定所述目标商品放置于所述自动售货机中的坐标数据；

根据所述坐标数据确定所述目标商品的所述放置位置；

判断所述放置位置的坐标数据是否处于预设坐标数据范围内；

若所述放置位置的坐标数据处于预设坐标数据范围内，则判定所述目标商品的放置位置属于所述摆放区内；

若所述放置位置的坐标数据不处于预设坐标数据范围内，则判定所述目标商品的放置位置不属于所述摆放区内。

6.如权利要求1所述基于自动售货机的商品购买方法，其特征在于，所述“判断所述目标商品是否放回至与所述目标商品对应的摆放区”之后，还包括：

若所述目标商品被放回所述目标区域，则采集所述目标商品对应的多角度状态图像；

将所述多角度状态图像与商品信息数据库中的所述目标商品对应的预存标准商品图像进行比对；

判断所述目标商品是否出现图像异常状态；

若所述目标商品出现图像异常状态，则判定所述目标商品发生状态变化，所述自动售货机通过LED灯进行商品异常提示，并通过语音提示所述用户进行直接对于所述目标商品的结算；

若所述目标商品不在所述标准商品质量范围内，则判定所述目标商品发生质量变化，所述自动售货机通过LED灯进行商品异常提示，并且通过语音提示所述用户对所述目标商品进行检查。

7.一种基于自动售货机的商品购买装置，其特征在于，包括：接收模块、识别模块、判断模块和报错模块；

所述接收模块，用于接收购物指令，并且根据所述购物指令开启所述自动售货机；

所述识别模块，用于实时检测所述自动售货机内的商品，识别所述用户抓取的目标商品；

所述判断模块，用于在所述用户抓取的所述目标商品被放回至所述自动售货机中时，判断所述目标商品是否放回至与所述目标商品对应的摆放区；

所述报错模块，用于在所述目标商品未被放回所述目标区域时，则所述自动售货机通过LED灯进行报错，并且通过语音提示所述用户将所述目标商品放回至所述摆放区。

8.一种用户终端，其特征在于，包括存储器以及处理器，所述存储器用于存储基于自动售货机的商品购买程序，所述处理器运行所述基于自动售货机的商品购买程序以使所述用户终端执行如权利要求1-6中任一项所述基于自动售货机的商品购买方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于自动售货机的商品购买程序，所述基于自动售货机的商品购买程序被处理器执行时实现如权利要求1-6中任一项所述基于自动售货机的商品购买方法。