CN109035629A - 一种基于开放式自动售货机的购物结算方法和装置 - Google Patents

Abstract

本发明提供了一种基于开放式自动售货机的购物结算方法和装置，其中所述方法包括：接收开门传感信号，并采集购物仓内的第一商品陈列图像；对第一商品陈列图像进行识别，确定第一商品信息；在用户购物过程中，采集商品购物图像；接收关门传感信号；对商品购物图像进行识别，确定第二商品信息；根据第二商品信息和第一商品信息的比较结果，确定购物清单，以便于根据购物清单进行结算。本发明实现了在开放式的购物环境中通过利用图像识别技术确认并生成购物清单，为最终生成更加准确的结算清单提供了保障，提高了结算的精确度，降低了人力成本，缩短了结算时间，结算效率高，购物过程简单，提高了用户体验。

Description

一种基于开放式自动售货机的购物结算方法和装置

技术领域

本发明涉及图像识别技术领域，更具体地说，涉及一种基于开放式自动售货机的购物结算方法和装置。

背景技术

物质流通是人类社会的最基本要素。零售行业或直接面向消费者销售的开放式的相关行业(以下简称为零售行业或零售企业)作为当前物质流通的重要手段，需要雇佣大量的收银人员来实现商品的买卖工作，收银人员对消费者所购物品逐件的进行统计，统计完成后，与消费者共同完成支付。

而自动售货柜，则解决了零售行业的人工统计和人工结算的缺陷，是一种面向消费者的无人售货、自动结算的售卖方式。可通过用户的选择，统计出用户所选择的商品的品种种类和总价值，以供用户进行结算，完成支付过程。但目前的自动售货柜只能进行根据用户的选择，自动出货自动结算，并不能在开放的零售购物环境中实现对于用户的购物的行为和所取得的进行准确的识别，从而实现结算。

总之，目前现有的开放式的购物环境中，只能通过人工对于消费者所购得的商品进行逐件的检查、统计和总价计算，耗费大量人力成本，结算时间长效率低，准确度差，而且用户体验差。

发明内容

有鉴于此，本发明提供一种基于开放式自动售货机的购物结算方法和装置以解决现有技术的不足。

为解决上述问题，本发明提供一种基于开放式自动售货机的购物结算方法，包括：

接收基于自动售货机的购物仓的柜门的开启所生成的开门传感信号，并根据所述开门传感信号采集所述购物仓内的第一商品陈列图像；

对所述第一商品陈列图像进行识别，确定所述第一商品陈列图像对应的第一商品信息；

在用户购物过程中，采集所述购物仓内的商品购物图像；

接收基于所述柜门关闭所生成的关门传感信号；

对所述商品购物图像进行识别，确定所述商品购物图像中的第二商品信息；

根据所述第二商品信息和所述第一商品信息的比较结果，确定购物清单，以便于根据所述购物清单进行结算。

优选地，所述“接收基于所述柜门关闭所生成的关门传感信号”之前，还包括：

接收所述自动售货机内的购物区域的红外传感器返回的无人传感信号，并建立所述无人传感信号对应的时间戳；

若在接收到所述无人传感信号的时间戳的时间点起所持续的时间达到预设时间阈值，则判定所述用户已经离开所述购物区域，关闭所述自动售货机的购物仓的柜门。

优选地，所述“在用户购物过程中，采集所述购物仓内的商品购物图像”包括：

在用户购物过程中，接收所述购物仓内的不同商品陈列区所对应的重力传感器返回的重力传感信息；

根据所述重力传感信息，对所述重力传感器对应的所述商品陈列区进行图像采集，得到所述商品购物图像。

优选地，所述“接收基于所述柜门关闭所生成的关门传感信号”之前，还包括：

采集所述用户的购物动作的连拍购物图像；

对所述连拍购物图像进行识别，判断所述用户是否将退货商品进行退货操作；

若是，则根据所述连拍购物图像确定所述用户对于所述退货商品的摆放位置；

若所述摆放位置与所述退货商品对应的预设商品摆放区不一致，则通过语音模块播放位置错误提示，以便于提示所述用户所述退货商品被放置在错误的位置。

优选地，所述“若所述摆放位置与所述退货商品对应的预设商品摆放区不一致，则通过语音模块播放位置错误提示”之后，还包括：

控制所述预设商品摆放区对应的LED指示灯亮灯，以提示所述用户将所述退货商品放置于所述LED指示灯对应的所述预设商品摆放区内。

优选地，所述“根据所述第二商品信息和所述第一商品信息的比较结果，确定购物清单，以便于根据所述购物清单进行结算”之后，还包括：

在所述用户根据所述购物清单进行结算之后，采集所述自动售货机的购物仓内的第二商品陈列图像；

对所述第二商品陈列图像进行识别，确定所述第二商品陈列图像对应的第二商品信息；

若所述第二商品信息中商品品种对应的商品数量小于与所述商品品种对应的预设商品补货阈值，则判定所述商品品种对应的商品需要进行补货；

生成基于所述商品品种对应的商品的补货清单，以便于根据所述补货清单进行补货。

此外，为解决上述问题，本发明还提供一种基于开放式自动售货机的购物结算装置，包括：接收模块、识别模块、采集模块和结算模块；

所述接收模块，用于接收基于自动售货机的购物仓的柜门的开启所生成的开门传感信号，并根据所述开门传感信号采集所述购物仓内的第一商品陈列图像；

所述识别模块，用于对所述第一商品陈列图像进行识别，确定所述第一商品陈列图像对应的第一商品信息；

所述采集模块，用于在用户购物过程中，采集所述购物仓内的商品购物图像；

所述接收模块，还用于接收基于所述柜门关闭所生成的关门传感信号；

所述识别模块，还用于对所述商品购物图像进行识别，确定所述商品购物图像中的第二商品信息；

所述结算模块，用于根据所述第二商品信息和所述第一商品信息的比较结果，确定购物清单，以便于根据所述购物清单进行结算。

此外，为解决上述问题，本发明还提供一种用户终端，包括存储器以及处理器，所述存储器用于存储基于开放式自动售货机的购物结算程序，所述处理器运行所述基于开放式自动售货机的购物结算程序以使所述用户终端执行如上述所述基于开放式自动售货机的购物结算方法。

此外，为解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基于开放式自动售货机的购物结算程序，所述基于开放式自动售货机的购物结算程序被处理器执行时实现如上述所述基于开放式自动售货机的购物结算方法。

本发明提供的一种基于开放式自动售货机的购物结算方法和装置。其中，本发明所提供的方法通过开门传感信号采集购物仓内的陈列图像，以得到第一商品信息，并且在用户购物结束并关闭柜门时，通过图像采集并识别获得第二商品信息，将第一商品信息和第二商品信息进行比较，根据比较结果确定购物清单，以便于根据该清单进行结算。通过本发明所提供的基于开放式自动售货机的购物结算方法，实现了在开放式的购物环境中，通过利用图像识别技术确认用户从购物仓中拿取的商品，并生成购物清单，图像识别技术为最终生成更加准确的结算清单提供了准确的保障，大大提高了结算的精确度，降低了人力成本，缩短了结算时间，结算效率高，购物过程简单，提高了用户体验。

附图说明

图1为本发明基于开放式自动售货机的购物结算方法实施例方案涉及的硬件运行环境的结构示意图；

图2为本发明基于开放式自动售货机的购物结算方法第一实施例的流程示意图；

图3为本发明基于开放式自动售货机的购物结算方法第二实施例的流程示意图；

图4为本发明基于开放式自动售货机的购物结算方法第三实施例的流程示意图；

图5为本发明基于开放式自动售货机的购物结算方法第四实施例的流程示意图；

图6为本发明基于开放式自动售货机的购物结算方法第五实施例的流程示意图；

图7为本发明基于开放式自动售货机的购物结算装置的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面详细描述本发明的实施例，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的终端的硬件运行环境的结构示意图。

本发明实施例终端可以是的设于自动货柜机中的PC，也可以是智能手机、平板电脑、电子书阅读器、MP3播放器、MP4播放器、便携计算机等可移动式终端设备。此外，也可以为自动货柜机本身所带有的计算机硬件装置。

如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏、输入单元比如键盘、遥控器，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。此外，终端还包括图像采集设备1006，具体可以为摄像头，相机等。所述图像采集设备1006通过通信总线1002与所述处理器1001连接。此外，终端还包括重力传感器1007。所述重力传感器通过通信总线1002与所述处理器1001连接。可选地，终端还可以包括RF(Radio Frequency，射频)电路、音频电路、WiFi模块等等。此外，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

本领域技术人员可以理解，图1中示出的终端并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、数据接口控制程序、网络连接程序以及基于开放式自动售货机的购物结算程序。

本发明提供的一种基于开放式自动售货机的购物结算方法和装置。其中，所述方法实现了在开放式的购物环境中，通过利用图像识别技术确认用户从购物仓中拿取的商品，并生成购物清单，图像识别技术为最终生成更加准确的结算清单提供了准确的保障，大大提高了结算的精确度，降低了人力成本，缩短了结算时间，结算效率高，购物过程简单，提高了用户体验。

实施例1：

参照图2，本发明第一实施例提供一种基于开放式自动售货机的购物结算方法，包括：

步骤S10，接收基于自动售货机的购物仓的柜门的开启所生成的开门传感信号，并根据所述开门传感信号采集所述购物仓内的第一商品陈列图像；

上述，本实施例所提供的方法应用于自动售货机，或者具有开放式购物环境的自动售货场景中，例如，在开放式的自动售货机中，打开柜门后，用户可进入其中进行自选商品，关闭柜门后进行结算。

上述，购物仓为自动售货机内部摆放陈列商品的区域，内部可以分为不同的摆放区域，或者陈列层或者陈列格。

上述，第一商品陈列图像，为在进行购物流程之前，通过自动售货机内部的摄像头对购物仓内所陈列的商品进行采集的图像，用于进一步的比对。内部采集的图像，可以为通过摄像头对整体的货柜内的商品进行图像采集，也可以为每一个区域设置一个摄像头，进行对于购物仓内商品的图像采集。

步骤S20，对所述第一商品陈列图像进行识别，确定所述第一商品陈列图像对应的第一商品信息；

上述，通过图像识别，识别出在货品对照图像中的每一个品种对应的商品数量，即得到存货记录。

上述，图像识别，可以为神经网络识别，通过预先训练人工神经网络模型，进而识别出相应的品种，即对应的数量。

上述，第一商品信息中，可以包括但不限于商品品种、商品规格、商品数量等信息。

上述，本实施例中，对于货柜内的陈列商品在用户购物之前，进行图像采集，并对所采集的图像进行识别，以确定所述图像中所包含的商品信息，可确定商品品种和对应的数量，用于进一步的比较的对照数据。

步骤S30，在用户购物过程中，采集所述购物仓内的商品购物图像；

上述，用户购物过程，为用户出发开始启动的购物流程，例如，通过红外传感器出发，或者通过用户操作智能移动终端与自动售货机通过网络连接，实现出发购物过程。在购物过程中，采集购物仓内的图像，作为商品购物图像，可实时通过图像识别，获知用户所抓取到的商品品种和数量。

步骤S40，接收基于所述柜门关闭所生成的关门传感信号；

上述，在本实施例中，自动售货机的柜门设有相应的传感器，例如红外传感器或重力传感器或者加速度传感器等等，通过传感器获取到用户购物结束后关闭柜门所生成的关门传感信号，该信号为对于用户结束拿取商品的指示判定。

此外，也可以为用户通过移动终端或者操作自动售货机，结束购物过程，关闭柜门，或者用户通过语音或图像识别的动作指示，发出结束购物过程的信号，从而自动售货机关闭柜门。

步骤S50，对所述商品购物图像进行识别，确定所述商品购物图像中的第二商品信息；

上述，第二商品信息为通过对于商品购物图像进行识别所获得的数据信息，其中，商品购物图像在用户购物的过程中，可获取一次或者获取多次，并且，也可依据不同区域对不同区域放置的货物进行图像采集。对于购物仓内的商品购物图像的获取，可通过图像识别每一次发生购物信息变化后即进行一次图像采集，获得一商品购物图像，在S50中进行图像识别的商品购物图像，可以为最新的或者最近一次所获取的图像。

上述，第二商品信息中可以包括但不限于，用户在购物后购物仓内的当前的商品品种、商品数量、商品规格等数据信息。

步骤S60，根据所述第二商品信息和所述第一商品信息的比较结果，确定购物清单，以便于根据所述购物清单进行结算。

上述，第二商品信息与第一商品信息进行比较，生成一比较结果，根据该结果可进一步确定购物清单。其中，第二商品信息与第一商品信息进行比较时，可采用第二商品信息与第一商品信息中的相应的商品品种和数量进行比较，以确定其中所减少的商品品种和对应的数量，从而确定出用户所拿取的商品品种和数量，进而生成与该商品品种对应的购物清单，以便于用户根据该清单进行结算。

本实施例所提供的方法通过开门传感信号采集购物仓内的陈列图像，以得到第一商品信息，并且在用户购物结束并关闭柜门时，通过图像采集并识别获得第二商品信息，将第一商品信息和第二商品信息进行比较，根据比较结果确定购物清单，以便于根据该清单进行结算。通过本实施例所提供的基于开放式自动售货机的购物结算方法，实现了在开放式的购物环境中，通过利用图像识别技术确认用户从购物仓中拿取的商品，并生成购物清单，图像识别技术为最终生成更加准确的结算清单提供了准确的保障，大大提高了结算的精确度，降低了人力成本，缩短了结算时间，结算效率高，购物过程简单，提高了用户体验。

实施例2：

参照图3，本发明第二实施例提供一种基于开放式自动售货机的购物结算方法，基于上述图2所示的第一实施例，所述步骤S40，“接收基于所述柜门关闭所生成的关门传感信号”之前，还包括：

步骤S70，接收所述自动售货机内的购物区域的红外传感器返回的无人传感信号，并建立所述无人传感信号对应的时间戳；

上述，购物区域，为自动售货机内的开放式购物环境而言的区域，在开放式的自动售货机内，打开柜门后，会有一个用于用户进行自选商品进行购物的购物区域，进入该购物区域，则判定用户开始购物，离开该购物区域，则判定用户结束购物。

上述，红外传感器，设置于自动售货机内可感知用户是否进入该购物区域的位置，用户离开该购物区域，则生成一关门传感信号。

时间戳(timestamp)，一个能表示一份数据在某个特定时间之前已经存在的、完整的、可验证的数据,通常是一个字符序列，唯一地标识某一刻的时间。使用数字签名技术产生的数据，签名的对象包括了原始文件信息、签名参数、签名时间等信息。广泛的运用在知识产权保护、合同签字、金融帐务、电子报价投标、股票交易等方面。

上述，时间戳，为表征所述无人传感信号的时间点。

步骤S80，若在接收到所述无人传感信号的时间戳的时间点起所持续的时间达到预设时间阈值，则判定所述用户已经离开所述购物区域，关闭所述自动售货机的购物仓的柜门。

上述，系统自动记录生成无人传感信号产生后的时间，即为以时间点起所达到的持续时间。该时间如果达到预设时间阈值，则表示用户离开购物区域的时间达到预设时间阈值，如果达到该阈值，则判定用户已经离开购物区域，并且结束购物过程，则自动关闭购物仓的柜门。

此外，柜门的关闭，也可以通过用户进行手动关闭的方式进行关闭。

在本实施例中，通过在开放式的购物环境中，通过红外传感器获取用于表征用户离开购物区域的无人传感信号，并且记录接收到信号的持续时间，如果该持续时间达到预设时间阈值，则判定该用户离开购物区域并结束购物流程，则自动控制柜门进行关闭，提高了自动售货机的便利性，为开放式的自动售货机提供了柜门自动关闭的功能，从而使自动售货机更加智能化，防止由于用户离开柜门忘记关闭，而导致的无法进一步结算的问题。

实施例3：

参照图4，本发明第三实施例提供一种基于开放式自动售货机的购物结算方法，基于上述图2所示的第一实施例，所述步骤S30，“在用户购物过程中，采集所述购物仓内的商品购物图像”包括：

步骤S31，在用户购物过程中，接收所述购物仓内的不同商品陈列区所对应的重力传感器返回的重力传感信息；

上述，商品陈列区，为商品依据规格、品种进行分类摆放的区域，例如，在购物仓内包括有货柜，每个货柜中设有多个分隔开的单元格，每个单元格中放置一种区别于其他的商品，每个单元格即为一个商品陈列区。

上述，可在每个商品陈列区中设置一个对应的重力传感器，用于感知该商品陈列区的重力感应变化，如果用户抓取该区域的商品，则使质量的变化达到一个阈值，则触发重力传感器生成一重力传感信息。

步骤S32，根据所述重力传感信息，对所述重力传感器对应的所述商品陈列区进行图像采集，得到所述商品购物图像。

上述，在本实施例中，在每个商品陈列区设置有对应的图像采集设备，例如摄像头。每个摄像头对应的采集一商品陈列区的图像。在接收到重力传感信息后，根据该重力传感信息，开启与其对应的商品陈列区的对应的图像采集设备，进行对于该商品陈列区的图像的采集，得到商品购物图像。对于特定的商品陈列区，进行有针对性的图像采集，并且是基于重力传感器的数据变化所触发的图像采集，使对于商品结算更加智能化，提高了商品结算的准确度和精确度，为用户的自助购物提供了方便。

实施例4：

参照图5，本发明第四实施例提供一种基于开放式自动售货机的购物结算方法，基于上述图2所示的第一实施例，所述步骤S40，“接收基于所述柜门关闭所生成的关门传感信号”之前，还包括：

步骤S90，采集所述用户的购物动作的连拍购物图像；

上述，连拍购物图像，可以为连拍的静态图像，也可以为动态的GIF动图或者视频文件。

步骤S100，对所述连拍购物图像进行识别，判断所述用户是否将退货商品进行退货操作；

上述，对连拍图像进行识别，从而根据该识别结果判断用户是否进行退货商品的退货操作。

识别过程可以包括：

S1，提取连拍购物图像的关键帧，并构建每个所述关键帧对应的时间戳；

S2，对所述在时间上连续的关键帧进行阈值分割算法进行分割，得到二值图像；其中包括：

S2-1，将每一帧的所述在时间上连续的关键帧转化为HSV颜色空间，得HSV图像；

S2-2，对所述HSV图像进行直方图分析，得到与所述HSV图像对应的阈值范围；

S2-3，将在H、S、V三个维度的像素值都在所述阈值范围内的像素点设置为1，将在H、S、V三个维度的像素值不都在所述阈值范围内的像素点设置为0，得到所述分割后所述二值图像。

S3，以预先采集的用户未抓取商品的手部图像作为对比种子图，对所述分割后二值图像进行比对，以框出所有所述关键帧中，具有区别于所述对比种子图的目标商品的图像，得到具有所述商品的目标关键帧。

S4，通过预先训练的人工神经网络，对所述目标关键帧进行识别，获取所述目标关键帧中的所包括的商品的品种和数量；

S5，根据所述时间戳，构建所述商品的移动轨迹；并根据所述移动轨迹获得所述商品移动的移动向量；

S6，根据所述移动向量，确定所述商品为退货商品并且移动至自动售货机内；

S7，如果所述商品为退货商品并且移动至自动售货机内，则判定所述用户将退货商品进行退货操作；

S8，如果所述商品不为退货商品并且未移动至自动售货机内，则判定所述用户未将退货商品进行退货操作；

步骤S110，若是，则根据所述连拍购物图像确定所述用户对于所述退货商品的摆放位置；

上述，根据连拍购物图像，确定摆放位置，可根据在购物流程开始前所采集的整体图像，定义每个商品陈列区对应的图像相对坐标，进而通过连拍购物图像确定退货商品的摆放位置，基于图像相对坐标获得该摆放位置的相对坐标。

步骤S120，若所述摆放位置与所述退货商品对应的预设商品摆放区不一致，则通过语音模块播放位置错误提示，以便于提示所述用户所述退货商品被放置在错误的位置。

上述，预设商品摆放区为每个商品对应的正确的归类的摆放位置。

上述，可进一步将摆放位置和预设商品摆放区进行比较，可将两者的坐标范围进行比较，如果坐标相匹配，或者摆放位置的坐标属于预设商品摆放区的坐标范围内。如果不一致，或不在其范围内，则通过语音模块，播放错误提示，提示用户该位置为错误的摆放位置，例如：“您将商品放置在错误的位置，请放到正确的XX位置去，谢谢！”

步骤S130，控制所述预设商品摆放区对应的LED指示灯亮灯，以提示所述用户将所述退货商品放置于所述LED指示灯对应的所述预设商品摆放区内。

上述，每个预设商品摆放区对应设置有一个LED指示灯，在用户进行对于退货商品的放置时，可进行对于正确的预设商品摆放区的LED指示灯的亮灯提示。在本实施例中，在通过语音模块播放错误提示后，可开启正确的商品摆放区对应的LED指示灯，或者改变该指示灯的颜色，或进行频闪提示，以提示用户将所述退货商品放置于所述LED指示灯对应的所述预设商品摆放区内。本实施例，通过图像识别技术，对用户的购物动作的连拍购物图像进行识别，从而判断出用户是否进行退货操作，并通过图像识别，判断出用户退货商品所放置的位置是否正确，是否为原有的预设商品摆放区，如果不是，则通过语音模块进行提示，并且通过与所述预设商品摆放区对应的LED指示灯进行提示，从而提醒用户将退货商品放置于正确的位置，实现了对于商品的摆放的智能化监控，为用户购物提供了方便，防止出现用户乱摆放商品为其他用户购物过程造成影响的情况。

实施例5：

参照图6，本发明第五实施例提供一种基于开放式自动售货机的购物结算方法，基于上述图2所示的第一实施例，所述步骤S60，“根据所述第二商品信息和所述第一商品信息的比较结果，确定购物清单，以便于根据所述购物清单进行结算”之后，还包括：

步骤S140，在所述用户根据所述购物清单进行结算之后，采集所述自动售货机的购物仓内的第二商品陈列图像；

步骤S150，对所述第二商品陈列图像进行识别，确定所述第二商品陈列图像对应的第二商品信息；

上述，在结算结束后，采集第二商品陈列图像，该图像可以为购物仓内的整体图像，也可以为针对于每个购物的单元格的图像。对所述第二商品陈列图像进行识别，可获得图像中所包含的商品的第二商品信息。其中，所述第二商品信息包含有商品的品种和与该品种对应的数量等信息。

步骤S160，若所述第二商品信息中商品品种对应的商品数量小于与所述商品品种对应的预设商品补货阈值，则判定所述商品品种对应的商品需要进行补货；

上述，预设商品补货阈值为每个商品的品种，对应有一个预设商品补货阈值，每个品种的预设商品补货阈值可以不同，也可以相同，当某品种的商品数量小于该商品对应的预设商品补货阈值时，则判定该商品需要进行补货。例如，可乐的预设商品补货阈值为5瓶，自动售货机中为4瓶，此时则判定可乐需要进行补货。

步骤S170，生成基于所述商品品种对应的商品的补货清单，以便于根据所述补货清单进行补货。

上述，补货清单为对于运维人员进行通知进行补货的清单，当需要补货时，产生补货清单，获取运维人员的联系方式，发生补货清单给该管理员。本实施例中，通过图像识别技术，判断商品是否达到预设商品补货阈值，进而如果有需要补货的商品，则生成补货清单，以便于根据该补货清单进行补货，从而为运维人员的补货工作提供了方便，可有针对性的根据补货清单进行补货。

此外，参考图7，本发明还提供一种基于开放式自动售货机的购物结算装置，包括：接收模块10、识别模块20、采集模块30和结算模块40；

所述接收模块10，用于接收基于自动售货机的购物仓的柜门的开启所生成的开门传感信号，并根据所述开门传感信号采集所述购物仓内的第一商品陈列图像；

所述识别模块20，用于对所述第一商品陈列图像进行识别，确定所述第一商品陈列图像对应的第一商品信息；

所述采集模块30，用于在用户购物过程中，采集所述购物仓内的商品购物图像；

所述接收模块10，还用于接收基于所述柜门关闭所生成的关门传感信号；

所述识别模块20，还用于对所述商品购物图像进行识别，确定所述商品购物图像中的第二商品信息；

所述结算模块40，用于根据所述第二商品信息和所述第一商品信息的比较结果，确定购物清单，以便于根据所述购物清单进行结算。

此外，本发明还提供一种用户终端，包括存储器以及处理器，所述存储器用于存储基于开放式自动售货机的购物结算程序，所述处理器运行所述基于开放式自动售货机的购物结算程序以使所述用户终端执行如上述所述基于开放式自动售货机的购物结算方法。

此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基于开放式自动售货机的购物结算程序，所述基于开放式自动售货机的购物结算程序被处理器执行时实现如上述所述基于开放式自动售货机的购物结算方法。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种基于开放式自动售货机的购物结算方法，其特征在于，包括：

接收基于自动售货机的购物仓的柜门的开启所生成的开门传感信号，并根据所述开门传感信号采集所述购物仓内的第一商品陈列图像；

对所述第一商品陈列图像进行识别，确定所述第一商品陈列图像对应的第一商品信息；

在用户购物过程中，采集所述购物仓内的商品购物图像；

接收基于所述柜门关闭所生成的关门传感信号；

对所述商品购物图像进行识别，确定所述商品购物图像中的第二商品信息；

根据所述第二商品信息和所述第一商品信息的比较结果，确定购物清单，以便于根据所述购物清单进行结算。

2.如权利要求1所述基于开放式自动售货机的购物结算方法，其特征在于，所述“接收基于所述柜门关闭所生成的关门传感信号”之前，还包括：

接收所述自动售货机内的购物区域的红外传感器返回的无人传感信号，并建立所述无人传感信号对应的时间戳；

若在接收到所述无人传感信号的时间戳的时间点起所持续的时间达到预设时间阈值，则判定所述用户已经离开所述购物区域，关闭所述自动售货机的购物仓的柜门。

3.如权利要求1所述基于开放式自动售货机的购物结算方法，其特征在于，所述“在用户购物过程中，采集所述购物仓内的商品购物图像”包括：

在用户购物过程中，接收所述购物仓内的不同商品陈列区所对应的重力传感器返回的重力传感信息；

根据所述重力传感信息，对所述重力传感器对应的所述商品陈列区进行图像采集，得到所述商品购物图像。

4.如权利要求1所述基于开放式自动售货机的购物结算方法，其特征在于，所述“接收基于所述柜门关闭所生成的关门传感信号”之前，还包括：

采集所述用户的购物动作的连拍购物图像；

对所述连拍购物图像进行识别，判断所述用户是否将退货商品进行退货操作；

若是，则根据所述连拍购物图像确定所述用户对于所述退货商品的摆放位置；

若所述摆放位置与所述退货商品对应的预设商品摆放区不一致，则通过语音模块播放位置错误提示，以便于提示所述用户所述退货商品被放置在错误的位置。

5.如权利要求4所述基于开放式自动售货机的购物结算方法，其特征在于，所述“若所述摆放位置与所述退货商品对应的预设商品摆放区不一致，则通过语音模块播放位置错误提示”之后，还包括：

控制所述预设商品摆放区对应的LED指示灯亮灯，以提示所述用户将所述退货商品放置于所述LED指示灯对应的所述预设商品摆放区内。

6.如权利要求1所述基于开放式自动售货机的购物结算方法，其特征在于，所述“根据所述第二商品信息和所述第一商品信息的比较结果，确定购物清单，以便于根据所述购物清单进行结算”之后，还包括：

在所述用户根据所述购物清单进行结算之后，采集所述自动售货机的购物仓内的第二商品陈列图像；

对所述第二商品陈列图像进行识别，确定所述第二商品陈列图像对应的第二商品信息；

若所述第二商品信息中商品品种对应的商品数量小于与所述商品品种对应的预设商品补货阈值，则判定所述商品品种对应的商品需要进行补货；

生成基于所述商品品种对应的商品的补货清单，以便于根据所述补货清单进行补货。

7.一种基于开放式自动售货机的购物结算装置，其特征在于，包括：接收模块、识别模块、采集模块和结算模块；

所述接收模块，用于接收基于自动售货机的购物仓的柜门的开启所生成的开门传感信号，并根据所述开门传感信号采集所述购物仓内的第一商品陈列图像；

所述识别模块，用于对所述第一商品陈列图像进行识别，确定所述第一商品陈列图像对应的第一商品信息；

所述采集模块，用于在用户购物过程中，采集所述购物仓内的商品购物图像；

所述接收模块，还用于接收基于所述柜门关闭所生成的关门传感信号；

所述识别模块，还用于对所述商品购物图像进行识别，确定所述商品购物图像中的第二商品信息；

所述结算模块，用于根据所述第二商品信息和所述第一商品信息的比较结果，确定购物清单，以便于根据所述购物清单进行结算。

8.一种用户终端，其特征在于，包括存储器以及处理器，所述存储器用于存储基于开放式自动售货机的购物结算程序，所述处理器运行所述基于开放式自动售货机的购物结算程序以使所述用户终端执行如权利要求1-6中任一项所述基于开放式自动售货机的购物结算方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于开放式自动售货机的购物结算程序，所述基于开放式自动售货机的购物结算程序被处理器执行时实现如权利要求1-6中任一项所述基于开放式自动售货机的购物结算方法。