CN109002780B - 一种购物流程控制方法、装置和用户终端 - Google Patents

Abstract

本发明提供了一种购物流程控制方法、装置和用户终端，其中所述方法包括：接收购物指令开启自动售货机的购物仓；对用户的购物行为动作进行识别，并生成提示信息；接收商品取出信号；对用户抓取的商品进行识别，确认用户所抓取商品的商品信息，生成基于商品信息的购物清单；商品信息包括商品品种和商品数量；接收用户关闭购物仓生成的结算指令，根据购物清单显示结算界面。本发明实现了在开放式购物环境中自动对于用户每一步购物流程实时进行提示，并对用户购买商品进行自动识别和判断，生成购物清单，为用户购物流程提供方便，提高了用户购物的效率，降低了人力成本，缩短了结算时间，结算效率高，购物过程简单，提高了用户体验。

Description

一种购物流程控制方法、装置和用户终端

技术领域

本发明涉及图像识别技术领域，更具体地说，涉及一种购物流程控制方法、装置和用户终端。

背景技术

物质流通是人类社会的最基本要素。零售行业或直接面向消费者销售的开放式的相关行业(以下简称为零售行业或零售企业)作为当前物质流通的重要手段，需要雇佣大量的收银人员来实现商品的买卖工作，收银人员对消费者所购物品一件一件进行统计，统计完成后，与消费者共同完成支付。

而自动售货柜，则解决了零售行业的人工统计和人工结算的缺陷，是一种面向消费者的无人售货、自动结算的售卖方式。可通过用户的选择，统计出用户所选择的商品的品种种类和总价值，以供用户进行结算，完成支付过程。但目前的自动售货柜只能进行根据用户的选择，自动出货自动结算，并不能在开放的零售购物环境中实现对于用户的购物的行为和所取得的进行准确的识别，从而实现结算。

总之，目前现有的开放式的购物环境中，只能通过人工对于消费者所购得的商品进行逐件的检查、统计和总价计算，耗费大量人力成本，结算时间长效率低，准确度差，而且用户体验差。

发明内容

有鉴于此，本发明提供一种购物流程控制方法、装置和用户终端以解决现有技术的不足。

为解决上述问题，本发明提供一种购物流程控制方法，包括：

接收购物指令，并且根据所述购物指令开启自动售货机的购物仓；

接收用户触发第一红外传感器生成的购物动作开始指令；

根据所述购物动作开始指令，对所述用户的购物行为动作进行识别，并根据所识别出的所述购物动作生成提示信息，以便于根据所述提示信息对用户进行提示；

接收所述用户抓取的商品时所述商品对应的商品电子标签触发的商品取出信号；

基于所述商品取出信号，对所述用户抓取的商品进行识别，确认所述用户所抓取商品的商品信息，生成基于所述商品信息的购物清单；所述商品信息包括商品品种和商品数量；

接收所述用户关闭所述购物仓生成的结算指令，根据所述购物清单显示结算界面，以便于所述用户进行结算。

优选地，所述“根据所述购物动作开始指令，对所述用户的购物行为动作进行识别，并根据所识别出的所述购物动作生成提示信息，以便于根据所述提示信息对用户进行提示”包括：

根据所述购物动作开始指令，采集所述用户的购物行为图像；

提取所述购物行为图像中的初始关键帧，对所述初始关键帧进行识别，确认所述初始关键帧中所述用户的上肢轮廓；

利用kinect的骨骼跟踪技术，根据所述上肢轮廓确定所述用户的上肢关节点的三维坐标；

基于所述上肢关节点的三维坐标，对所述用户的购物行为动作进行识别，并根据所识别出的所述购物动作生成提示信息，以便于根据所述提示信息对用户进行提示。

优选地，所述“基于所述上肢关节点的三维坐标，对所述用户的购物行为动作进行识别，并根据所识别出的所述购物行为动作生成提示信息，以便于根据所述提示信息对用户进行提示”，包括：

取所述上肢关节点的三维坐标中的左右肘关节坐标、左右手坐标、左右肩坐标作为关键点；

提取所述购物行为图像中的行为动作关键帧，并为每一个所述行为动作关键帧建立与所述行为动作关键帧对应的时间戳；

对所述行为动作关键帧进行所述关键点的向量描述，构建所述关键点对应的移动向量；

以所述初始关键帧中的所述关键点对应的坐标作为识别起始点，选取所述移动向量作为动作描述的向量行为特征，对所述购物行为图像中的每个所述关键帧进行识别，提取出基于所述时间戳的所述关键帧中的向量行为特征；

将所述向量行为特征转换为二进制的二进制向量行为特征数据，

基于二进制人工神经网络学习，识别出所述二进制向量行为特征数据对应的购物行为动作；

根据所识别出的所述购物行为动作获取与所述购物行为动作对应的提示信息，以便于根据所述提示信息对用户进行提示。

优选地，所述购物行为动作包括空手入柜、抓取商品、取出商品和退回商品。

优选地，所述“基于所述商品取出信号，对所述用户抓取的商品进行识别，确认所述用户所抓取商品的商品信息，生成基于所述商品信息的购物清单”包括：

基于所述商品取出信号，触发图像处理单元实时采集用户抓取商品的连拍图像；

提取所述连拍图像的关键帧；

基于人工神经网络，定位出具有商品的关键帧，并且，对每个所述关键帧中的所述商品进行边缘提取，获得所述关键帧中的商品对应的商品轮廓；

根据所述商品轮廓获得包括所述商品的商品截图；

提取所述商品截图中的商品特征信息，并且将所述商品特征信息在预设商品特征数据库中查找与匹配；

当所述商品特征信息在所述预设商品特征数据库中的图像特征匹配成功率大于或等于预设百分率时，获取所述预设商品特征数据库中与所述商品特征信息对应的商品信息；

生成基于所述商品信息的购物清单。

优选地，所述“接收购物指令，并且根据所述购物指令开启自动售货机的购物仓”之后，还包括：

接收所述用户走进所述购物仓中触发的第二红外传感器生成的进入货仓指令；

根据所述进入货仓指令，通过距离传感器获取所述用户与所述购物仓内的半封闭风淋区域的距离数据；

开启多角度风淋喷头，对所述用户进行风淋净化，并根据所述距离数据调整风淋时的净化风力的大小，直至达到预设风淋时间时停止风淋。

此外，为解决上述问题，本发明还提供一种购物流程控制装置，包括：接收模块、识别模块和结算模块；

所述接收模块，用于接收购物指令，并且根据所述购物指令开启自动售货机的购物仓；

所述接收模块，还用于接收用户触发第一红外传感器生成的购物动作开始指令；

所述识别模块，用于根据所述购物动作开始指令，对所述用户的购物行为动作进行识别，并根据所识别出的所述购物动作生成提示信息，以便于根据所述提示信息对用户进行提示；

所述接收模块，还用于接收所述用户抓取的商品时所述商品对应的商品电子标签触发的商品取出信号；

所述识别模块，还用于基于所述商品取出信号，对所述用户抓取的商品进行识别，确认所述用户所抓取商品的商品信息，生成基于所述商品信息的购物清单；所述商品信息包括商品品种和商品数量；

所述结算模块，用于接收所述用户关闭所述购物仓生成的结算指令，根据所述购物清单显示结算界面，以便于所述用户进行结算。

此外，为解决上述问题，本发明还提供一种用户终端，包括存储器以及处理器，所述存储器用于存储购物流程控制程序，所述处理器运行所述购物流程控制程序以使所述用户终端执行如上述所述购物流程控制方法。

此外，为解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有购物流程控制程序，所述购物流程控制程序被处理器执行时实现如上述所述购物流程控制方法。

本发明提供的一种购物流程控制方法、装置和用户终端。其中，本发明所提供的方法通过对用户的购物动作进行识别，并根据用户的其购物动作进行相应的信息提示，进而对用户所取出的商品进行识别，并生成购物清单，以便于进行结算。通过本发明所提供的购物流程控制方法，实现了在开放式的购物环境中，通过综合利用图像识别技术对于用户的购物过程进行监控，对用户的购物行为进行提示，并且对于拿取的目标商品的品种和数量进行识别，以生成更加准确的购物清单，实现了在开放式购物环境中自动对于用户每一步的购物流程实时进行提示，并对用户购买商品进行自动识别和判断，并生成购物清单，为用户购物流程提供了方便，大大提高了用户购物的效率，降低了人力成本，缩短了结算时间，结算效率高，购物过程简单，提高了用户体验。

附图说明

图1为本发明购物流程控制方法实施例方案涉及的硬件运行环境的结构示意图；

图2为本发明购物流程控制方法第一实施例的流程示意图；

图3为本发明购物流程控制方法第二实施例的流程示意图；

图4为本发明购物流程控制方法第三实施例的流程示意图；

图5为本发明购物流程控制方法第四实施例的流程示意图；

图6为本发明购物流程控制方法第五实施例的流程示意图；

图7为本发明购物流程控制装置的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面详细描述本发明的实施例，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的终端的硬件运行环境的结构示意图。

本发明实施例终端可以是的设于自动货柜机中的PC，也可以是智能手机、平板电脑、电子书阅读器、MP3播放器、MP4播放器、便携计算机等可移动式终端设备。此外，也可以为自动货柜机本身所带有的计算机硬件装置。

如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏、输入单元比如键盘、遥控器，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。此外，终端还包括图像采集设备1006，具体可以为摄像头，相机等。所述图像采集设备1006通过通信总线1002与所述处理器1001连接。此外，终端还包括重力传感器1007。所述重力传感器通过通信总线1002与所述处理器1001连接。可选地，终端还可以包括RF(Radio Frequency，射频)电路、音频电路、WiFi模块等等。此外，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

本领域技术人员可以理解，图1中示出的终端并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、数据接口控制程序、网络连接程序以及购物流程控制程序。

本发明提供的一种购物流程控制方法、装置和用户终端。其中，所述方法实现了在开放式购物环境中自动对于用户每一步的购物流程实时进行提示，并对用户购买商品进行自动识别和判断，并生成购物清单，为用户购物流程提供了方便，大大提高了用户购物的效率，降低了人力成本，缩短了结算时间，结算效率高，购物过程简单，提高了用户体验。

实施例1：

参照图2，本发明第一实施例提供一种购物流程控制方法，包括：

步骤S100，接收购物指令，并且根据所述购物指令开启自动售货机的购物仓；

上述，本实施例所提供的购物流程控制方法，可以适用于开放式的购物环境，例如商场、超市等场所，即无人值守，用户可进行自由拿取货物。在本实施例中，可以为开放式的自动售货机，用户开始购物后，自动售货机的柜门打开，用户进行对内部的货物直接拿取，而自动售货机通过图像采集设备对用户的购物行为、所购物品进行识别和统计，实现对于用户的所购商品的最终结算。

上述，购物指令，可以为通过多种方式生成，可以为通过智能终端的扫码、网络连接、通过用户的输入密码账号登录，通过对于用户的面部识别等等方式。例如，用户通过手机扫码，从而自动售货机根据对于用户身份的认证，生成购物指令。即当前用户开始购物。

上述，自动售货机在生成该购物指令后，根据该购物指令，打开购物舱门，用户可进入舱门对其内部的货架内的商品进行选购。

本方法应用于开放式的购物环境中。例如，开放式的自动售货机，打开自动售货机的舱门后，用户进入购物仓中，对内部的商品进行选择。

步骤S200，接收用户触发第一红外传感器生成的购物动作开始指令；

上述，第一红外传感器，设于所述购物仓内，用于监控用户的购物动作，当用户伸手去抓取商品时，处罚第一红外传感器，判定用户开始购物动作。该传感器，用于判定用户开始购物并且在接触到商品之前。

步骤S300，根据所述购物动作开始指令，对所述用户的购物行为动作进行识别，并根据所识别出的所述购物动作生成提示信息，以便于根据所述提示信息对用户进行提示；

对用户的动作进行识别，从而识别出用户的不同的购物动作或者不同的购物流程，并且，根据用户所处于的不同的购物节点，对用户当前的行为或购物动作进行提示，并且，也可对用下一步需要进行的购物动作进行提示。

例如，对用户进行提示的模块为语音模块，通过语音模块播放相应的提示音，以提示用户的当前状态和下一步的购物流程；用户空手深入购物仓中，播放提示音“请拿取您需要的商品”；当用户抓取到商品后，播放提示音“您拿取的是A”“请问您确认需要拿取X个A商品吗？如果是，请将该商品拿出并继续购物”；当用户将A商品拿出后，播放提示音“您已经将A商品放入您的购物车，请问您继续购物还是进行结算？”当用于对拿回的商品不满意，手持A商品放回至购物仓内，播放提示音“请问您不需要A商品吗？如果是，请放回原位”；当用户将A商品退回并放置在错误的货架位置时，播放提示音“您将A商品放置在了错误的区域，请放到其原有位置谢谢！”当用户将A商品退回并放置于正确的位置时，播放提示音“您放置的位置非常正确，请继续购物或进行结算！”。

通过提示信息对用户的不同的购物动作行为，不同的购物流程进行提示，从而使用户掌握当前进行到哪一流程，下一步的购物流程是什么，是否走错了购物流程等等，使用户清楚的掌握购物流程，提高了购物效率，避免了用户由于不清楚流程在购物时耽误大量时间，为用户的购物提供了方便。

步骤S400，接收所述用户抓取的商品时所述商品对应的商品电子标签触发的商品取出信号；

上述，本实施例中，所使用的对于商品取出信号的生成技术，为射频识别技术。

需要说明的是，射频识别，RFID(Radio Frequency Identification)技术，又称无线射频识别，是一种通信技术，可通过无线电讯号识别特定目标并读写相关数据，而无需识别系统与特定目标之间建立机械或光学接触。

在本实施例中，对每个商品设置有RFID电子标签，在自动售货机的购物仓内的相应位置，设置有RFID电子标签数据的读取器，当用户抓取对应的商品时，商品离开原有区域或原有货架，其RFID电子标签经过读取器时获取到商品移动至该读取器旁时生成的商品取出信号，判定该商品被用户移动。

步骤S500，基于所述商品取出信号，对所述用户抓取的商品进行识别，确认所述用户所抓取商品的商品信息，生成基于所述商品信息的购物清单；所述商品信息包括商品品种和商品数量；

步骤S600，接收所述用户关闭所述购物仓生成的结算指令，根据所述购物清单显示结算界面，以便于所述用户进行结算。

上述，触发生成商品取出信号后，对用户所抓取的商品进行识别，并可进一步获得用户所抓取商品的商品信息，商品信息中可以包括但不限于商品的品种、数量、重量、保质期、生产日期、包装、材质、成分等等。进而，在用户结束购物时，通过关闭购物仓的舱门，生成一结算指令，根据该结算指令，所述用户进行结算。

本实施例所提供的方法通过对用户的购物动作进行识别，并根据用户的其购物动作进行相应的信息提示，进而对用户所取出的商品进行识别，并生成购物清单，以便于进行结算。通过本实施例所提供的购物流程控制方法，实现了在开放式的购物环境中，通过综合利用图像识别技术对于用户的购物过程进行监控，对用户的购物行为进行提示，并且对于拿取的目标商品的品种和数量进行识别，以生成更加准确的购物清单，实现了在开放式购物环境中自动对于用户每一步的购物流程实时进行提示，并对用户购买商品进行自动识别和判断，并生成购物清单，为用户购物流程提供了方便，大大提高了用户购物的效率，降低了人力成本，缩短了结算时间，结算效率高，购物过程简单，提高了用户体验。

实施例2：

参照图3，本发明第二实施例提供一种购物流程控制方法，基于上述图2所示的第一实施例，所述步骤S300，“根据所述购物动作开始指令，对所述用户的购物行为动作进行识别，并根据所识别出的所述购物动作生成提示信息，以便于根据所述提示信息对用户进行提示”包括：

步骤S310，根据所述购物动作开始指令，采集所述用户的购物行为图像；

上述，购物行为图像，可以为多个单帧的静态图片，有一定时间顺序的静态图片，也可以为视频文件，或者动态图片文件。在本实施例中，为动态的视频数据。

步骤S320，提取所述购物行为图像中的初始关键帧，对所述初始关键帧进行识别，确认所述初始关键帧中所述用户的上肢轮廓；

上述，初始关键帧，为对用户进行图像采集时，最初始的一帧图像，将该帧图像作为动作识别的初始对照图片。初始关键帧中，为用户在开始购物后出发购物动作开始指令，并且在抓取到商品之前的时间所采集的初始关键帧图片。

对该初始关键帧进行识别，识别出人体的上肢轮廓。例如，对初始关键帧进行识别，定位出初始关键帧中的人体的上肢中的左右臂的轮廓，即为上肢轮廓。

步骤S330，利用kinect的骨骼跟踪技术，根据所述上肢轮廓确定所述用户的上肢关节点的三维坐标；

上述，需要说明的是，它是一种3D体感摄影机(开发代号“Project Natal”)，同时它导入了即时动态捕捉、影像辨识、麦克风输入、语音辨识、社群互动等功能。

上述，需要说明的是，骨骼追踪技术是Kinect的核心技术，它可以准确标定人体的20个关键点，并能对这20个点的位置进行实时追踪。利用这项技术，可以开发出各种基于体感人机交互的应用。目前，Kinect for Windows SDK中的骨骼API可以提供位于Kinect前方至多两个人的位置信息，包括详细的姿势和骨骼点的三维坐标信息。另外，Kinect forWindows SDK最多可以支持20个骨骼点。数据对象类型以骨骼帧的形式提供，每一帧最多可以保存20个点。

Kinect骨骼数据流会提供人体全身的20个关节点的三维坐标，人处在Kinect有效的数据获取区域中，该关节点对应的坐标也会随着人的运动，时刻改变，不同的动作的坐标数据不同，因此坐标数据可以用来进一步的表征动作。但是这些原生的坐标数据并不能直接用于描述动作模型，必须进行转化为特征。

上述，在kinect的骨骼跟踪技术进行使用时，通过kinect传感器与相对应的计算机连接后，设于自动售货机中的kinect图像采集装置启动，当用户打开舱门，即开始对于用户进行图像采集。

步骤S340，基于所述上肢关节点的三维坐标，对所述用户的购物行为动作进行识别，并根据所识别出的所述购物动作生成提示信息，以便于根据所述提示信息对用户进行提示。

在本实施例中，需要保存和追踪的是，人体上肢中的上肢关节点，通过根据所述上肢轮廓确定所述用户的上肢关节点的三维坐标。因为在购物过程中，需要识别的仅仅为用户的上肢动作，通过人的上肢动作，即可识别出人的所有购物行为。进而根据人的不同的购物行为，进行与之相对应的提示。

本实施例中，通过kinect的骨骼跟踪技术，对用户购物的行为动作进行识别，并且只需跟踪人体上肢的部分关键点坐标，即可识别出人的相应的行动的特征，进而根据该特征识别出人的购物行为，方法简单减少系统运算量，提高运算效率。

实施例3：

参照图4，本发明第三实施例提供一种购物流程控制方法，基于上述图3所示的第二实施例，所述步骤S340，“基于所述上肢关节点的三维坐标，对所述用户的购物行为动作进行识别，并根据所识别出的所述购物行为动作生成提示信息，以便于根据所述提示信息对用户进行提示”，包括：

步骤S341，取所述上肢关节点的三维坐标中的左右肘关节坐标、左右手坐标、左右肩坐标作为关键点；

上述，上肢关节点的三维坐标，可以包括，但不限于左右肘关节坐标、左右手坐标、左右肩坐标、两肩中轴坐标、腕关节坐标，腰部坐标、颈部坐标等等。取其中的左右肘关节坐标、左右手坐标、左右肩坐标作为关键点，是由于其中左右肘关节坐标、左右手坐标、左右肩坐标几个部位的坐标，可基本完整的显示出一个人的移动的细节。

步骤S342，提取所述购物行为图像中的行为动作关键帧，并为每一个所述行为动作关键帧建立与所述行为动作关键帧对应的时间戳；

上述，提取图像中的行为动作关键帧，即为，在所有的购物行为图像中，可表征出用户行为动作的图像帧，并且，设置时间戳。每一帧设有一个时间戳。

步骤S343，对所述行为动作关键帧进行所述关键点的向量描述，构建所述关键点对应的移动向量；

对每个关键帧进行关键点的向量描述，即为，基于时间戳，获取每一帧相对于前一帧的向量，构建出每个关键帧对应的关键点的移动向量。其中，每一帧的关键帧中，可以包括有多个关键点，相对于相邻或相近的关键帧，即可生成一个包含有多个关键点的相对的移动向量。

步骤S344，以所述初始关键帧中的所述关键点对应的坐标作为识别起始点，选取所述移动向量作为动作描述的向量行为特征，对所述购物行为图像中的每个所述关键帧进行识别，提取出基于所述时间戳的所述关键帧中的向量行为特征；

上述，将初始关键帧中的关键点作为初始的标准的识别起点，将后续所采集到的关键帧中的关键点与其进行比对，从而获得一个向量值，即为向量行为特征。

步骤S345，将所述向量行为特征转换为二进制的二进制向量行为特征数据；

步骤S346，基于二进制人工神经网络学习，识别出所述二进制向量行为特征数据对应的购物行为动作；

步骤S347，根据所识别出的所述购物行为动作获取与所述购物行为动作对应的提示信息，以便于根据所述提示信息对用户进行提示。

所述购物行为动作包括空手入柜、抓取商品、取出商品和退回商品。

上述，将向量行为特征转换为二进制向量行为特征数据，由于计算机本身底层语言为二进制，而采集并得到的向量行为特征不为二进制，而进行计算式，如果转换为二进制，则可使计算机处理数据的速度更快，提高运算效率。

在本实施例中，通过二进制人工神经网络学习技术，识别出二进制向量行为特征数据对应的购物行为动作。

实施例4：

参照图5，本发明第四实施例提供一种购物流程控制方法，基于上述图2所示的第一实施例，所述步骤S500，“基于所述商品取出信号，对所述用户抓取的商品进行识别，确认所述用户所抓取商品的商品信息，生成基于所述商品信息的购物清单”包括：

步骤S510，基于所述商品取出信号，触发图像处理单元实时采集用户抓取商品的连拍图像；

上述，图像处理单元为对用户取出商品或放回商品的动作进行监控的单元，包括图像采集设备，对用户抓取商品过程的图像进行采集。其中，所采集到的图像为连拍图像。其中，连拍图像可以为视频数据文件。

步骤S520，提取所述连拍图像的关键帧；

对连拍图像进行转换，从而提取出包含有多个连续的关键帧。

步骤S530，基于人工神经网络，定位出具有商品的关键帧，并且，对每个所述关键帧中的所述商品进行边缘提取，获得所述关键帧中的商品对应的商品轮廓；

上述，边缘提取，指数字图像处理中，对于图片轮廓的一个处理。对于边界处，灰度值变化比较剧烈的地方，就定义为边缘。也就是拐点，拐点是指函数发生凹凸性变化的点。二阶导数为零的地方。并不是一阶导数，因为一阶导数为零，表示是极值点。

边缘定义：图像灰度变化率最大的地方(图像灰度值变化最剧烈的地方)。图像灰度在表面法向变化的不连续造成的边缘。一般认为边缘提取是要保留图像的灰度变化剧烈的区域，这从数学上看，最直观的方法就是微分(对于数字图像来说就是差分)，在信号处理的角度来看，也可以说是用高通滤波器，即保留高频信号。

通过边缘提取，获得商品的轮廓，其所针对的识别单位，可以为每一个像素点，通过对于像素点进行识别，例如进行二值化、灰度化，从而区分出其中的色差，从而提取出轮廓。

步骤S540，根据所述商品轮廓获得包括所述商品的商品截图；

上述，每一个关键帧，都通过商品轮廓获得一个对应的商品截图。在进行进一步截图时，大大减小了对于图像进行识别的运算量，和数据进行传递、传输所占用的系统资源。

步骤S550，提取所述商品截图中的商品特征信息，并且将所述商品特征信息在预设商品特征数据库中查找与匹配；

步骤S560，当所述商品特征信息在所述预设商品特征数据库中的图像特征匹配成功率大于或等于预设百分率时，获取所述预设商品特征数据库中与所述商品特征信息对应的商品信息；

步骤S570，生成基于所述商品信息的购物清单。

上述，每个商品截图中包含有商品对应的商品特征信息，可以包括但不限于，颜色、条码、体积、质地、文字等等特征信息。

上述，预设商品特征数据库，即为预设的包括自动售货机中的每一种商品品种所对应的特征信息。

上述，图像特征匹配成功率，即为预设的成功百分数，例如，该成功率可以为95％，90％等。

通过所获得的截图中的商品特征信息，与预设商品特征数据库中的特征信息进行比对，查找和匹配，找出与预设商品特征数据库中的特征信息匹配成功率达到预设的成功率，则判定比对成功，并根据该数据库中与商品特征信息所匹配上的商品，获得商品信息。进而构建购物清单并进行结算。

实施例5：

参照图6，本发明第五实施例提供一种购物流程控制方法，基于上述图2所示的第一实施例，所述步骤S100，“接收购物指令，并且根据所述购物指令开启自动售货机的购物仓”之后，还包括：

步骤S700，接收所述用户走进所述购物仓中触发的第二红外传感器生成的进入货仓指令；

上述，现有的自动售货机中所售卖的商品，均为保存时间较长的、方便实用的基本生活用品，而对于部分怕污染、怕光、怕病毒、细菌的影响的商品，则无法进行售卖，例如，保质期较短的生鲜物品、散装或小包装的面膜类凝胶类产品、低温或特定温度储存的药品、化学品、培养基、细胞实验用品等物品，如果用户直接进入购物仓，直接拿取上述物品，则由于手中或身上存在有细菌、病毒，会导致所拿取的物品甚至整个购物仓中的物品均发生污染现象，严重影响商品的售卖，无法保证商品陈列环境的无菌化。

在本实施例中，提供一种购物流程控制方法，在自动售货机的购物仓内，设置有风淋喷头，当用户进入购物仓中，购物仓内的多个不同角度的风淋喷头则打开，形成一个半封闭状态的风淋室，对人体的全身实现风淋，进行消毒和杀菌效果。

上述，需要说明的是，风淋室(AIR SHOWER)又称为风淋，洁净风淋室，净化风淋室，风淋房，吹淋房，风淋门，浴尘室、吹淋室，风淋通道，空气吹淋室。风淋室是进入洁净室所必需的通道，可以减少进出洁净室所带来的污染问题。

风淋室是一种通用性较强的局部净化设备，安装于洁净室与非洁净室之间。当人与货物要进入洁净区时需经风淋室吹淋，其吹出的洁净空气可去除人与货物所携带的尘埃，能有效的阻断或减少尘源进入洁净区。风淋室/货淋室的前后两道门为电子互锁，又可起到气闸的作用，阻止未净化的空气进入洁净区域。

上述，第二红外传感器设于自动售货机中，用于监控和感知用户，在开启购物仓的仓门后，进入购物仓时，即可处罚该红外传感器，并生成货仓指令。

步骤S800，根据所述进入货仓指令，通过距离传感器获取所述用户与所述购物仓内的半封闭风淋区域的距离数据；

上述，距离数据为人体距离该半封闭凤林区域的距离。

步骤S900，开启多角度风淋喷头，对所述用户进行风淋净化，并根据所述距离数据调整风淋时的净化风力的大小，直至达到预设风淋时间时停止风淋。

上述，风淋喷头的风力大小，与距离数据可以成正比关系，当人体距离半封闭风淋区域的距离越小，风力越小，反之则风力越大，从而实现对于用户的所占位置的不同，调解风力，以便于达到正常的有效果的消除污染、杀菌、消毒的作用。

此外，可设置预设翻转时间，在用户的身体正面进行风淋达到一预设翻转时间后，通过语音提示用户进行转身，待其转身后，对其后背部位进行风淋，知道达到预设枫林时间时，停止风淋，结束风淋过程，达到去除污染的效果。

此外，参考图7，本发明还提供一种购物流程控制装置，包括：接收模块10、识别模块20和结算模块30；

所述接收模块10，用于接收购物指令，并且根据所述购物指令开启自动售货机的购物仓；

所述接收模块10，还用于接收用户触发第一红外传感器生成的购物动作开始指令；

所述识别模块20，用于根据所述购物动作开始指令，对所述用户的购物行为动作进行识别，并根据所识别出的所述购物动作生成提示信息，以便于根据所述提示信息对用户进行提示；

所述接收模块10，还用于接收所述用户抓取的商品时所述商品对应的商品电子标签触发的商品取出信号；

所述识别模块20，还用于基于所述商品取出信号，对所述用户抓取的商品进行识别，确认所述用户所抓取商品的商品信息，生成基于所述商品信息的购物清单；所述商品信息包括商品品种和商品数量；

所述结算模块30，用于接收所述用户关闭所述购物仓生成的结算指令，根据所述购物清单显示结算界面，以便于所述用户进行结算。

此外，本发明还提供一种用户终端，包括存储器以及处理器，所述存储器用于存储购物流程控制程序，所述处理器运行所述购物流程控制程序以使所述用户终端执行如上述所述购物流程控制方法。

此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有购物流程控制程序，所述购物流程控制程序被处理器执行时实现如上述所述购物流程控制方法。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种购物流程控制方法，其特征在于，包括：

接收购物指令，并且根据所述购物指令开启自动售货机的购物仓；

接收用户触发第一红外传感器生成的购物动作开始指令；

根据所述购物动作开始指令，对所述用户的购物行为动作进行识别，并根据所识别出的所述购物动作生成提示信息，以便于根据所述提示信息对用户进行提示；

接收所述用户抓取的商品时所述商品对应的商品电子标签触发的商品取出信号；

基于所述商品取出信号，对所述用户抓取的商品进行识别，确认所述用户所抓取商品的商品信息，生成基于所述商品信息的购物清单；所述商品信息包括商品品种和商品数量；

接收所述用户关闭所述购物仓生成的结算指令，根据所述购物清单显示结算界面，以便于所述用户进行结算；

所述“根据所述购物动作开始指令，对所述用户的购物行为动作进行识别，并根据所识别出的所述购物动作生成提示信息，以便于根据所述提示信息对用户进行提示”包括：

根据所述购物动作开始指令，采集所述用户的购物行为图像；

提取所述购物行为图像中的初始关键帧，对所述初始关键帧进行识别，确认所述初始关键帧中所述用户的上肢轮廓；

利用kinect的骨骼跟踪技术，根据所述上肢轮廓确定所述用户的上肢关节点的三维坐标；

基于所述上肢关节点的三维坐标，对所述用户的购物行为动作进行识别，并根据所识别出的所述购物动作生成提示信息，以便于根据所述提示信息对用户进行提示；

所述“基于所述上肢关节点的三维坐标，对所述用户的购物行为动作进行识别，并根据所识别出的所述购物行为动作生成提示信息，以便于根据所述提示信息对用户进行提示”，包括：

取所述上肢关节点的三维坐标中的左右肘关节坐标、左右手坐标、左右肩坐标作为关键点；

提取所述购物行为图像中的行为动作关键帧，并为每一个所述行为动作关键帧建立与所述行为动作关键帧对应的时间戳；

对所述行为动作关键帧进行所述关键点的向量描述，构建所述关键点对应的移动向量；

以所述初始关键帧中的所述关键点对应的坐标作为识别起始点，选取所述移动向量作为动作描述的向量行为特征，对所述购物行为图像中的每个所述关键帧进行识别，提取出基于所述时间戳的所述关键帧中的向量行为特征；

将所述向量行为特征转换为二进制的二进制向量行为特征数据；

基于二进制人工神经网络学习，识别出所述二进制向量行为特征数据对应的购物行为动作；

根据所识别出的所述购物行为动作获取与所述购物行为动作对应的提示信息，以便于根据所述提示信息对用户进行提示。

2.如权利要求1所述购物流程控制方法，其特征在于，所述购物行为动作包括空手入柜、抓取商品、取出商品和退回商品。

3.如权利要求1所述购物流程控制方法，其特征在于，所述“基于所述商品取出信号，对所述用户抓取的商品进行识别，确认所述用户所抓取商品的商品信息，生成基于所述商品信息的购物清单”包括：

基于所述商品取出信号，触发图像处理单元实时采集用户抓取商品的连拍图像；

提取所述连拍图像的关键帧；

基于人工神经网络，定位出具有商品的关键帧，并且，对每个所述关键帧中的所述商品进行边缘提取，获得所述关键帧中的商品对应的商品轮廓；

根据所述商品轮廓获得包括所述商品的商品截图；

提取所述商品截图中的商品特征信息，并且将所述商品特征信息在预设商品特征数据库中查找与匹配；

当所述商品特征信息在所述预设商品特征数据库中的图像特征匹配成功率大于或等于预设百分率时，获取所述预设商品特征数据库中与所述商品特征信息对应的商品信息；

生成基于所述商品信息的购物清单。

4.如权利要求1所述购物流程控制方法，其特征在于，所述“接收购物指令，并且根据所述购物指令开启自动售货机的购物仓”之后，还包括：

接收所述用户走进所述购物仓中触发的第二红外传感器生成的进入货仓指令；

根据所述进入货仓指令，通过距离传感器获取所述用户与所述购物仓内的半封闭风淋区域的距离数据；

开启多角度风淋喷头，对所述用户进行风淋净化，并根据所述距离数据调整风淋时的净化风力的大小，直至达到预设风淋时间时停止风淋。

5.一种购物流程控制装置，其特征在于，包括：接收模块、识别模块和结算模块；

所述接收模块，用于接收购物指令，并且根据所述购物指令开启自动售货机的购物仓；

所述接收模块，还用于接收用户触发第一红外传感器生成的购物动作开始指令；

所述识别模块，用于根据所述购物动作开始指令，对所述用户的购物行为动作进行识别，并根据所识别出的所述购物动作生成提示信息，以便于根据所述提示信息对用户进行提示；

所述接收模块，还用于接收所述用户抓取的商品时所述商品对应的商品电子标签触发的商品取出信号；

所述识别模块，还用于基于所述商品取出信号，对所述用户抓取的商品进行识别，确认所述用户所抓取商品的商品信息，生成基于所述商品信息的购物清单；所述商品信息包括商品品种和商品数量；

所述结算模块，用于接收所述用户关闭所述购物仓生成的结算指令，根据所述购物清单显示结算界面，以便于所述用户进行结算；

所述“根据所述购物动作开始指令，对所述用户的购物行为动作进行识别，并根据所识别出的所述购物动作生成提示信息，以便于根据所述提示信息对用户进行提示”包括：

根据所述购物动作开始指令，采集所述用户的购物行为图像；

提取所述购物行为图像中的初始关键帧，对所述初始关键帧进行识别，确认所述初始关键帧中所述用户的上肢轮廓；

利用kinect的骨骼跟踪技术，根据所述上肢轮廓确定所述用户的上肢关节点的三维坐标；

基于所述上肢关节点的三维坐标，对所述用户的购物行为动作进行识别，并根据所识别出的所述购物动作生成提示信息，以便于根据所述提示信息对用户进行提示；

所述“基于所述上肢关节点的三维坐标，对所述用户的购物行为动作进行识别，并根据所识别出的所述购物行为动作生成提示信息，以便于根据所述提示信息对用户进行提示”，包括：

取所述上肢关节点的三维坐标中的左右肘关节坐标、左右手坐标、左右肩坐标作为关键点；

提取所述购物行为图像中的行为动作关键帧，并为每一个所述行为动作关键帧建立与所述行为动作关键帧对应的时间戳；

对所述行为动作关键帧进行所述关键点的向量描述，构建所述关键点对应的移动向量；

以所述初始关键帧中的所述关键点对应的坐标作为识别起始点，选取所述移动向量作为动作描述的向量行为特征，对所述购物行为图像中的每个所述关键帧进行识别，提取出基于所述时间戳的所述关键帧中的向量行为特征；

将所述向量行为特征转换为二进制的二进制向量行为特征数据；

基于二进制人工神经网络学习，识别出所述二进制向量行为特征数据对应的购物行为动作；

根据所识别出的所述购物行为动作获取与所述购物行为动作对应的提示信息，以便于根据所述提示信息对用户进行提示。

6.一种用户终端，其特征在于，包括存储器以及处理器，所述存储器用于存储购物流程控制程序，所述处理器运行所述购物流程控制程序以使所述用户终端执行如权利要求1-4中任一项所述购物流程控制方法。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有购物流程控制程序，所述购物流程控制程序被处理器执行时实现如权利要求1-4中任一项所述购物流程控制方法。

Images