CN109934569B - 结算方法、装置和系统 - Google Patents

Abstract

本发明公开了一种结算方法、装置和系统，属于计算机技术领域。结算方法，其包括验证接收的开锁请求是否由预先注册的顾客发送，若是则发出开锁指令，并将此顾客与商品涉及的拿取或放回动作关联，开锁指令用于打开容纳箱，容纳箱内设置有承载商品的货架；在识别拿取或放回动作及拿取或放回动作所针对的商品后，生成此顾客的购物清单；根据购物清单进行结算。公开了一种结算装置，其包括注册模块、验证关联模块、生成购物清单模块和结算模块。公开了一种结算装置，其包括摄像头、处理器和存储器。公开了一种结算系统，其包括客户端、容纳箱和结算装置。本发明使得售货流程友好，顾客体验好；可以一次交易实现购买多个或多种商品，购买过程便捷。

Description

结算方法、装置和系统

技术领域

本发明属于计算机技术领域，特别涉及一种结算方法、装置和系统。

背景技术

自动售货机(或称自动贩卖机)因无需收银员值守，售货方便，现在在人群比较密集的区域，如车站、商场、医院、学校非常受欢迎。自动售货机的售货流程如下：顾客挑选自己喜欢的一个商品，并触碰与该商品对应的按键，然后投入硬币或纸币或使用移动支付，如支付宝、微信等来完成支付过程，从而拿到该商品。

随着信息技术的发展，顾客越来越感觉自动售货机的售货流程不友好，不能实现“即拿即走”的结算方式，该结算方式下顾客挑选好自己的商品，可以立马离开。而且自动售货机每次只能完成一个商品的交易，当顾客需要购买多个商品时，需多次交易，购买过程不便捷。而且自动售货机的货架上摆放的是样品，非实际的可售卖的商品，且货架上只能摆放一排样品，可见商品的种类非常少，不能满足顾客对商品多样化的需求。

发明内容

为了解决现有技术中存在的自动售货机不能实现“即拿即走”结算方式的问题，本发明一方面提供了一种结算方法，其包括：步骤S1，验证接收的开锁请求是否由预先注册的顾客发送，若是，则发出开锁指令，并将此顾客与商品涉及的拿取或放回动作关联，所述开锁指令用于打开容纳箱，所述容纳箱内设置有承载所述商品的货架；步骤S2，在识别拿取或放回动作及拿取或放回动作所针对的商品后，生成此顾客的购物清单；步骤S3，根据所述购物清单进行结算。

在如上所述的结算方法中，优选地，步骤S2中，识别拿取或放回动作，具体包括：获取此顾客在所述货架前的多帧连贯的手部图像，对多帧连贯的手部图像在时间轴上建立一条手部运动轨迹；当检测到手部的运动轨迹为由预设的虚拟动作分界线外向内移动且手中拿有商品时，则将动作识别为放回动作；当检测到手部的运动轨迹为由所述虚拟动作分界线内向外移动且手中拿有商品时，则将动作识别为拿取动作；其中，所述虚拟动作分界线外为远离所述货架的方向，所述虚拟动作分界线内为靠近所述货架的方向。

在如上所述的结算方法中，优选地，步骤S2中，识别拿取或放回动作所针对的商品，具体包括：S21，对获取的含有商品的多帧手部图像进行目标检测以对应获取多个矩形区域图像，所述矩形区域图像为与包含商品的矩形区域对应的图像，多帧手部图像与多个摄像头一一对应；S22，根据多个矩形区域图像和预先训练的一级分类模型，对应获取多个初级分类结果，预先训练的一级分类模型为基于卷积神经网络的图像识别技术架构且经所述容纳箱内所有商品训练的模型，根据多个初级分类结果和预先训练的一级线性回归模型获取多帧手部图像的一级分类结果；S23，以所述一级分类结果作为第一次分类结果；S24，将所述第一次分类结果作为待识别的商品。

在如上所述的结算方法中，优选地，在步骤S22之后，步骤S24之前，还包括：S25，若一级分类结果为相似商品，则根据多个矩形区域图像和预先训练的二级分类模型，对应获得多个次级分类结果，再根据多个次级分类结果和预先训练的二级线性回归模型获取多帧手部图像的二级分类结果，并以二级分类结果作为第一次分类结果，二级分类模型为预先基于卷积神经网络的图像识别技术架构且经所述容纳箱内相似商品组中商品训练的模型，否则执行步骤S23。

另一方面提供了一种结算装置，其包括：注册模块，用于在注册时接收顾客输入的身份信息及账户信息；验证关联模块，与所述注册模块连接，用于验证接收的开锁请求是否由预先注册的顾客发送，若是，则发出开锁指令，并将此顾客与所述商品涉及的拿取或放回动作关联，所述开锁指令用于打开容纳箱，所述容纳箱内设置有承载商品的货架；生成购物清单模块，与所述验证关联模块连接，用于在识别拿取或放回动作及拿取或放回动作所针对的商品后，生成此顾客的购物清单；和结算模块，与所述生成购物清单模块连接，用于根据所述生成购物清单模块生成的购物清单进行结算。

在如上所述的结算装置中，优选地，所述生成购物清单模块包括：动作识别单元，用于获取此顾客在所述货架前的多帧连贯的手部图像，对多帧连贯的手部图像在时间轴上建立一条手部运动轨迹；当检测到手部的运动轨迹为由预设的虚拟动作分界线外向内移动且手中拿有商品时，则将动作识别为放回动作；当检测到手部的运动轨迹为由所述虚拟动作分界线内向外移动且手中拿有商品时，则将动作识别为拿取动作；其中，所述虚拟动作分界线外为远离所述货架的方向，所述虚拟动作分界线内为靠近所述货架的方向；商品识别单元，用于识别所述拿取或放回动作所针对的商品；和购物清单生成单元，与所述验证关联模块、动作识别单元和商品识别单元连接，用于根据所述验证关联模块关联的此顾客的身份信息、所述动作识别单元识别的拿取或放回动作、所述商品识别单元识别的拿取或放回动作所针对的商品，生成此顾客的购物清单。

在如上所述的结算装置中，优选地，所述商品识别单元包括：目标检测子单元，用于根据所述动作识别单元获取的含有商品的多帧手部图像进行目标检测以对应获取多个矩形区域图像，所述矩形区域图像为与包含商品的矩形区域对应的图像，多帧手部图像与多个摄像头一一对应；第一分类子单元，用于根据多个矩形区域图像和预先训练的一级分类模型，对应获取多个初级分类结果，预先训练的一级分类模型为基于卷积神经网络的图像识别技术架构且经所述容纳箱内所有商品训练的模型，根据多个初级分类结果和预先训练的一级线性回归模型获取多帧手部图像的一级分类结果；确认子单元，用于以所述一级分类结果作为第一次分类结果；和结果认定子单元，用于将所述第一次分类结果作为待识别的商品。

在如上所述的结算装置中，优选地，所述商品识别单元还包括：判断子单元，与所述第一分类子单元和第二分类子单元连接，用于判断一级分类结果是否为相似商品，若是则执行所述第二分类子单元，否则执行所述第一分类子单元；和所述第二分类子单元，用于根据多个矩形区域图像和预先训练的二级分类模型，对应获得多个次级分类结果，再根据多个次级分类结果和预先训练的二级线性回归模型获取多帧手部图像的二级分类结果，并以二级分类结果作为第一次分类结果，二级分类模型为预先基于卷积神经网络的图像识别技术架构且经所述容纳箱内相似商品组中商品训练的模型。

又一方面提供了一种结算装置，其包括：摄像头，设置在容纳箱上，用于获取顾客的手部图像，所述容纳箱内设置有承载商品的货架；处理器；和用于存储处理器可执行的指令的存储器；其中，所述处理器被配置为：验证接收的开锁请求是否由预先注册的顾客发送，若是，则发出开锁指令，并将此顾客与所述商品涉及的拿取或放回动作关联，所述开锁指令用于打开容纳箱，在识别拿取或放回动作及拿取或放回动作所针对的商品后，生成此顾客的购物清单，根据所述购物清单进行结算。

再一方面提供了一种结算系统，其包括：客户端、容纳箱和结算装置；所述客户端，用于注册时接收顾客输入的身份信息并发送给所述结算装置和所述结算装置下发的购物清单；所述容纳箱内设置有用于承载商品的货架，所述容纳箱的门设置有门锁；所述结算装置为上述的结算装置。

本发明实施例通过上述技术方案带来的有益效果如下：

售货流程友好，顾客体验好；可以一次交易实现购买多个或多种商品，购买过程便捷。

附图说明

图1为本发明实施例提供的一种结算方法的流程示意图；

图2为本发明实施例提供的一种基于卷积神经网络的图像识别方法的流程示意图；

图3为本发明实施例提供的另一种基于卷积神经网络的图像识别方法的流程示意图；

图4为本发明实施例提供的一种结算装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

本发明实施例提供的结算方法所涉及的商品通过货架置于容纳箱内，容纳箱可以有单层货架，在该层货架上摆放有单个商品或多排和多列商品；也可以有多层货架，在每层货架上摆放有多排和多列商品，如此便于顾客一次购买多个或多种商品，本实施例对此不进行限定。容纳箱是个独立的箱体，可以摆放于商场、车站、医院、学校等人群密集区域，根据人流流动情况，可以通过搬运容纳箱来随时调整容纳箱在人群密集区域的位置，如此使得成本较低；还可以在建筑内形成一固定空间来作为容纳箱。为了便于顾客能在未打开容纳箱前了解容纳箱内摆放有哪些商品，以便于确认是否有自己待采购的商品，容纳箱的门的材质为透明材质。由于各商品的贮存条件不一样，为了避免低温贮存的商品变质，容纳箱可以为具有冷藏功能的容纳箱，如在容纳箱的下部设置有冷藏室。

本发明实施例提供了一种结算方法，参见图1，该方法包括以下步骤：

步骤S1，验证接收的开锁请求是否由预先注册的顾客发送，若是，则发出开锁指令，并将此顾客与商品涉及的拿取或放回动作关联，开锁指令用于打开容纳箱。

具体地，顾客来到容纳箱前，发现有自己待采购的商品，则可以按照容纳箱上张贴的注册流程或登录容纳箱上预留的网址链接查看注册流程，完成注册。注册时，需安装与该结算方法对应的App(Application，应用软件)，还需采集顾客的身份信息(ID)，该身份信息包括但不限于：顾客的手机号或身份证号、支付账号，支付账号可以为银行账号，也可以为第三方支付账号，如余额宝、微信支付、QQ钱包、京东钱包等，还可以包括姓名、性别、职业。也可以通过微信(WeChat)内与该结算方法对应的小程序(或称微信小程序)完成顾客的注册，还可以通过关注与该结算方法对应的微信公众号完成顾客的注册。然后，顾客通过该App或小程序或公众号扫描容纳箱处的表征容纳箱身份信息的二维码或条形码向结算装置发出开锁请求，结算装置经验证发现该顾客为已注册的顾客，则可以向容纳箱发出开锁指令，该开锁指令直接用于打开容纳箱的门锁，无须顾客手动输入开锁密码；还可以向客户端发送开锁指令，该开锁指令显示用于打开容纳箱的门锁的密码，须顾客手动输入开锁密码才能将门锁打开。并将该顾客与容纳箱内商品的拿取或放回动作关联，也就是说，将此次购物行为确认为属于该顾客的购物行为，换言之，谁触发结算装置发出开锁指令，则将此次购物行为确认为属于谁的购物行为。门锁打开后，顾客在门自动打开后或以向外拉或平推的方式将门打开，然后在容纳箱前挑选商品。若顾客未完成注册，则能验证出顾客为非注册用户，容纳箱的门锁继续关闭，顾客无法实现购物，此时可以提示顾客若需购物需完成注册才可以实现。在其他的实施例中，可以在容纳箱上设置生物识别器，如指纹识别器、人脸识别器，通过生物识别技术实现对顾客ID的认定，顾客在该App上注册时会采集顾客的生物数据，如指纹数据。开锁请求则由生物识别器在接收到顾客的信息后，向结算装置发送，如此使得在已注册的顾客遗忘移动设备时，该顾客仍然可以购买容纳箱内的商品。

步骤S2，在识别拿取或放回动作及拿取或放回动作所针对的商品后，生成此顾客的购物清单。

具体地，在将顾客与商品涉及的拿取或放回动作关联后，从而知道是哪位顾客对商品进行了拿取或放回动作。在识别出拿取或放回动作及拿取或放回动作所针对的商品是什么商品后，即可生成与该顾客对应的购物清单。当顾客对商品施加拿取动作时，该顾客的购物清单上会对应地增加该商品，当顾客对商品施加放回动作时，购物清单上会对应地减去该商品，即购物清单会根据顾客的拿取或放回动作进行实时更新。

关于如何判断对商品的动作是拿取，还是放回的方法可以采用如下：

根据采集到的顾客在货架前的多帧连贯的手部图像在时间轴上建立一条手部运动轨迹，根据手部运动轨迹判断顾客对商品施加的是拿取动作，还是放回动作。例如，在容纳箱的门框上部署摄像头，其拍摄角度为向下，以使拍摄范围覆盖货架前方，利于拍摄到顾客的手部图像。摄像头每秒会拍到多帧图像，如30帧，对摄像头采集的顾客的手部图像逐帧进行检测，对每帧手部图像中手部的位置进行标记并保存下来，一帧一帧重复前述操作，这样在时间轴上会得到一条手部的运动轨迹，不仅会得到每一帧图像中手部的位置，还会根据某一帧手部图像判断手上是否拿有商品以及对商品的类别进行确认。为了确保拍摄到手部图像及对商品识别的准确率，在门框的下部布置摄像头，其拍摄角度为向上。优选各摄像头的数量为多个。

具体地，在手部图像中标记一条虚拟动作分界线，该动作分界线与货架间隔一定距离，如10cm、20cm。当检测到手部的运动轨迹由远离货架的位置穿过动作分界线运动到靠近货架的位置，简单地说，由动作分界线外运动到动作分界线内，且手部拿有商品，则认为手部动作为商品的放回动作；当检测到手部的运动轨迹由靠近货架的位置穿过动作分界线运动到远离货架的位置，简单地说，由动作分界线内运动到动作分界线外，且手部拿有商品，则认为手部动作为商品的拿取动作。

摄像头持续采集视频数据，每秒拍摄获得多帧手部图像，如几十帧，可以每隔一秒取一帧手部图像，截取手部位置，对手中的商品进行分类(或称识别)，可以通过预先训练好的下述分类模型实现。

参见图2，对拿取或放回动作所针对的商品进行识别的方法可以采用如下步骤：

步骤S21，对含有商品的多帧手部图像进行目标检测以对应获取多个矩形区域图像，该矩形区域图像为与包含商品的矩形区域对应的图像，多帧手部图像与多个摄像头一一对应。

具体地，在对手部图像进行目标检测时，会在手部图像上拉出一个包含商品的矩形框(或称矩形区域)，该矩形框所对应的图像是用于对商品进行分类的图像。为了获取多帧手部图像需布置摄像头，其可以布置在容纳箱的门框的上部，此时从正上方向下拍摄；也可以布置在容纳箱的门框的下部，此时从正下方向上拍摄；还可以将多个摄像头的部分布置在门框的上部，另一部分布置在门框的下部，本实施例对此不进行限定。

步骤S22，根据多个矩形区域图像和预先训练的一级分类模型，对应获取多个初级分类结果，预先训练的一级分类模型为基于卷积神经网络的图像识别技术架构且经容纳箱内所有商品训练的模型，根据多个初级分类结果和预先训练的一级线性回归模型获取多帧手部图像的一级分类结果。

具体地，预先采集数据建立数据集，采集数据的过程包括：1)对容纳箱内所有商品从各个角度以及在各个姿态下拍照来获取大量的照片。2)然后对这些照片进行标注：对照片中商品的位置、大小以及类别进行标注。数据集包括的数据是指前述这些照片以及这些照片上进行的标注。一级分类模型为基于卷积神经网络的图像识别技术架构的模型，并使用容纳箱内所有商品的数据对一级分类模型进行了训练，训练时可以通过梯度下降的方式进行。

训练好的一级分类模型对每张矩形区域图像中的商品进行分类，得到初级分类结果，该初级分类结果为一个n维向量，n表示购物场所内商品的总数量，向量中每个元素的含义表示一级分类模型认为待分类的商品属于n个商品中每个商品的概率，向量中哪个元素的值最大，那意味着模型认为待分类的商品为该元素对应的商品。当矩形区域图像为5个时，初级分类结果的数量为5个n维向量。

训练一级分类模型时，一级分类模型输出的初级分类结果作为一级线性回归模型的输入，该初级分类结果对应的手部图像中所包含的商品的正确分类作为一级线性回归模型的输出，以此来训练一级线性回归模型。训练好的一级线性回归模型对多个初级分类结果进行数据融合，得到一个一级分类结果，该一级分类结果表示一级线性回归模型预测图片中商品为容纳箱内商品中哪个类别。

步骤S23，以一级分类结果作为第一次分类结果。

容纳箱内的商品有多种，在该多种商品中会存在一些外观相近及通过视觉易混淆的商品，将这些商品称为相似商品，如黄元帅苹果和黄色的雪花梨。若待分类的单个商品为相似商品时，一级分类模型难以准确地对该商品进行分类，如把黄元帅的苹果与黄色的雪花梨弄混，将黄元帅的苹果分类为黄色的雪花梨，因此参见图3，在步骤S22之后，需要执行下述步骤S25，否则执行步骤S23，即直接将一级分类结果作为第一次分类结果，用于结算。

具体地，步骤25，若一级分类结果为相似商品，则根据多个矩形区域图像和预先训练的二级分类模型，对应获得多个次级分类结果，再根据多个次级分类结果和预先训练的二级线性回归模型获取多帧手部图像的二级分类结果，并以二级分类结果作为第一次分类结果，二级分类模型为预先基于卷积神经网络的图像识别技术架构且经容纳箱内相似商品组中商品训练的模型。

具体地，利用在步骤S22中建立的数据集中的相似商品的数据对二级分类模型进行训练，训练时可以通过梯度下降的方式进行。二级分类模型和一级分类模型的区别在于训练时所使用的数据不同，一级分类模型使用的数据为购物场所内所有商品的数据，二级分类模型使用的数据为容纳箱内相似商品数据。

训练好的二级分类模型对每个矩形区域图像中的商品进行分类，得到次级分类结果，该次级分类结果也为一个m维向量，向量中每个元素的含义表示二级分类模型认为待分类的单个商品属于m个相似商品中每个商品的概率。当矩形区域图像为5个时，次级分类结果的数量为5个m维向量，m小于等于n，且表示容纳箱内相似商品的总数量。

实际中，容纳箱内的相似商品有多组，如一组相似商品中包括黄元帅苹果和黄色的雪花梨，另一组相似商品中包括散装的盐和散装的白糖；再一组相似商品中包括碱面和面粉。可以针对所有组相似商品训练一个二级分类模型，为了进一步提高对商品分类的准确率，针对每组相似商品训练一个二级分类模型，此时，若一级分类结果为相似商品，则调用该一级分类结果对应的二级分类模型。

将训练二级分类模型时，二级分类模型输出的次级分类结果作为二级线性回归模型的输入，该次级分类结果对应的图片中所包含的商品的正确分类作为二级线性回归模型的输出，以此来训练二级线性回归模型。训练好的二级线性回归模型对多个次级分类结果进行数据融合，得到一个二级分类结果，并以其作为第一次分类结果，该二级分类结果表示二级线性回归模型预测图片中商品为容纳箱内商品中哪个类别。

步骤S24，将第一次分类结果作为待识别的商品。

第一次分类结果获取后，再获取与第一次分类结果对应的商品价格，则顾客选取的商品所需支付的费用就确定了

步骤S3，待顾客离开容纳箱后，根据该顾客的购物清单进行结算。

顾客挑选完商品后，关闭容纳箱的门，当确认容纳箱的门关闭后，则判断此顾客为完成购物状态，根据此顾客的购物清单进行结算，如从顾客注册时输入的支付账号中扣除与购物清单对应的费用。

为了方便顾客对所购商品进行核实，还会将识别结果实时发送至客户。如每个商品的识别结果会上传到云端服务器，然后云端服务器将识别结果下发到顾客手机安装的App，该App将识别结果添加到虚拟购物车里，生成购物清单，从而在拿取商品或放回商品后，第一时间告知顾客。需要说明的是，执行步骤S1的模块可布置于服务器侧，即由云端服务器中对应的模块执行此步骤；执行步骤S2的识别拿取或放回动作及拿取或放回动作所针对的商品的模块可布置于容纳箱侧，即由布置于容纳箱内对应的模块执行此步骤，还可布置于服务器侧，即即由云端服务器中对应的模块执行此步骤，本实施例对此不进行限定；执行步骤S2的生成此顾客的购物清单及步骤S3的模块可布置于容纳箱侧，即由布置于容纳箱内对应的模块执行此步骤，还可布置于服务器侧，即由云端服务器执行此步骤，本实施例对此不进行限定。

参见图4，本发明另一实施例提供了一种结算装置，其包括：注册模块401、验证关联模块402、生成购物清单模块403和结算模块404。

注册模块401用于在注册时接收顾客输入的身份信息及账户信息。

验证关联模块402与注册模块401连接，用于验证接收的开锁请求是否由预先注册的顾客发送，若是，则发出开锁指令，并将此顾客与商品涉及的拿取或放回动作关联，开锁指令用于打开容纳箱，容纳箱内设置有承载商品的货架。

生成购物清单模块403与验证关联模块402连接，用于在识别拿取或放回动作及拿取或放回动作所针对的商品后，生成此顾客的购物清单。

结算模块404与生成购物清单模块403连接，用于根据生成购物清单模块403生成的购物清单进行结算。

具体地，生成购物清单模块403包括：动作识别单元、商品识别单元和购物清单生成单元。动作识别单元用于获取此顾客在货架前的多帧连贯的手部图像，对多帧连贯的手部图像在时间轴上建立一条手部运动轨迹；当检测到手部的运动轨迹为由预设的虚拟动作分界线外向内移动且手中拿有商品时，则将动作识别为放回动作；当检测到手部的运动轨迹为由虚拟动作分界线内向外移动且手中拿有商品时，则将动作识别为拿取动作；其中，虚拟动作分界线外为远离货架的方向，虚拟动作分界线内为靠近货架的方向。商品识别单元用于识别拿取或放回动作所针对的商品。购物清单生成单元与验证关联模块、动作识别单元和商品识别单元连接，用于根据验证关联模块关联的此顾客的身份信息、动作识别单元识别的拿取或放回动作、商品识别单元识别的拿取或放回动作所针对的商品，生成此顾客的购物清单。

具体地，商品识别单元包括：目标检测子单元、第一分类子单元、确认子单元和结果认定子单元。目标检测子单元用于根据动作识别单元获取的含有商品的多帧手部图像进行目标检测以对应获取多个矩形区域图像，矩形区域图像为与包含商品的矩形区域对应的图像，多帧手部图像与多个摄像头一一对应。第一分类子单元用于根据多个矩形区域图像和预先训练的一级分类模型，对应获取多个初级分类结果，预先训练的一级分类模型为基于卷积神经网络的图像识别技术架构且经容纳箱内所有商品训练的模型，根据多个初级分类结果和预先训练的一级线性回归模型获取多帧手部图像的一级分类结果。确认子单元用于以一级分类结果作为第一次分类结果。结果认定子单元用于将第一次分类结果作为待识别的商品。

商品识别单元还包括：判断子单元和第二分类子单元。判断子单元与第一分类子单元和第二分类子单元连接，用于判断一级分类结果是否为相似商品，若是则执行第二分类子单元，否则执行第一分类子单元。第二分类子单元用于根据多个矩形区域图像和预先训练的二级分类模型，对应获得多个次级分类结果，再根据多个次级分类结果和预先训练的二级线性回归模型获取多帧手部图像的二级分类结果，并以二级分类结果作为第一次分类结果，二级分类模型为预先基于卷积神经网络的图像识别技术架构且经容纳箱内相似商品组中商品训练的模型。

需要说明的是，关于注册模块401的具体描述可参见上述实施例中步骤S1的相关内容，关于验证关联402的具体描述可参见上述实施例中步骤S1的相关内容，关于生成购物清单模块403的具体描述可参见上述实施例中步骤S2及步骤S21、22、23、24和25的相关内容，关于结算模块404的具体描述可参见上述实施例中步骤S3的相关内容，此处不再一一赘述。

本发明又一实施例提供了一种结算装置，其包括：摄像头、处理器和存储器。摄像头设置在容纳箱上，用于获取顾客的手部图像，述容纳箱内设置有承载商品的货架。存储器用于存储处理器可执行的指令。处理器被配置为：验证接收的开锁请求是否由预先注册的顾客发送，若是，则发出开锁指令，并将此顾客与商品涉及的拿取或放回动作关联，开锁指令用于打开容纳箱，在识别拿取或放回动作及拿取或放回动作所针对的商品后，生成此顾客的购物清单，根据购物清单进行结算。

本发明再一实施例提供了一种结算系统，结算系统包括：客户端、容纳箱和结算装置。客户端用于注册时接收顾客输入的身份信息并发送给结算装置和结算装置下发的购物清单。容纳箱内设置有用于承载商品的货架，容纳箱的门设置有门锁。结算装置为前述的结算装置，其具体内容此处不再一一赘述。应用的流程可以如下：顾客在客户端完成注册，然后手持客户端扫描容纳箱处的表征容纳箱身份信息的二维码或条形码以向结算装置发出开锁请求，结算装置验证通过后，向容纳箱发出开锁指令，容纳箱的门锁打开，接着顾客可以打开容纳箱的门以选择自己待采购的商品，结算装置将购物行为确认为属于该顾客的购物行为，对顾客的拿取或放回动作及拿取或放回动作针对的商品进行识别，待顾客关闭容纳箱的门后，生成购物清单以用于结算。

综上，本发明实施例带来的有益效果如下：

售货流程友好，顾客体验好；可以一次交易实现购买多个或多种商品，购买过程便捷。

由技术常识可知，本发明可以通过其它的不脱离其精神实质或必要特征的实施方案来实现。因此，上述公开的实施方案，就各方面而言，都只是举例说明，并不是仅有的。所有在本发明范围内或在等同于本发明的范围内的改变均被本发明包含。

Claims (8)

1.一种结算方法，其特征在于，所述结算方法包括：

步骤S1，验证接收的开锁请求是否由预先注册的顾客发送，若是，则发出开锁指令，并将此顾客与商品涉及的拿取或放回动作关联，所述开锁指令用于打开容纳箱，所述容纳箱内设置有承载所述商品的货架；

步骤S2，在识别拿取或放回动作及拿取或放回动作所针对的商品后，生成此顾客的购物清单，步骤S2中，识别拿取或放回动作所针对的商品，具体包括：

S21，对获取的含有商品的多帧手部图像进行目标检测以对应获取多个矩形区域图像，所述矩形区域图像为与包含商品的矩形区域对应的图像，多帧手部图像与多个摄像头一一对应；

S22，根据多个矩形区域图像和预先训练的一级分类模型，对应获取多个初级分类结果，预先训练的一级分类模型为基于卷积神经网络的图像识别技术架构且经所述容纳箱内所有商品训练的模型，根据多个初级分类结果和预先训练的一级线性回归模型获取多帧手部图像的一级分类结果；

S23，以所述一级分类结果作为第一次分类结果；

S24，将所述第一次分类结果作为待识别的商品；

步骤S3，根据所述购物清单进行结算。

2.根据权利要求1所述的结算方法，其特征在于，步骤S2中，识别拿取或放回动作，具体包括：

获取此顾客在所述货架前的多帧连贯的手部图像，对多帧连贯的手部图像在时间轴上建立一条手部运动轨迹；

当检测到手部的运动轨迹为由预设的虚拟动作分界线外向内移动且手中拿有商品时，则将动作识别为放回动作；

当检测到手部的运动轨迹为由所述虚拟动作分界线内向外移动且手中拿有商品时，则将动作识别为拿取动作；

其中，所述虚拟动作分界线外为远离所述货架的方向，所述虚拟动作分界线内为靠近所述货架的方向。

3.根据权利要求1所述的结算方法，其特征在于，在步骤S22之后，步骤S24之前，还包括：

S25，若一级分类结果为相似商品，则根据多个矩形区域图像和预先训练的二级分类模型，对应获得多个次级分类结果，再根据多个次级分类结果和预先训练的二级线性回归模型获取多帧手部图像的二级分类结果，并以二级分类结果作为第一次分类结果，二级分类模型为预先基于卷积神经网络的图像识别技术架构且经所述容纳箱内相似商品组中商品训练的模型，否则执行步骤S23。

4.一种结算装置，其特征在于，所述结算装置包括：

注册模块，用于在注册时接收顾客输入的身份信息及账户信息；

验证关联模块，与所述注册模块连接，用于验证接收的开锁请求是否由预先注册的顾客发送，若是，则发出开锁指令，并将此顾客与商品涉及的拿取或放回动作关联，所述开锁指令用于打开容纳箱，所述容纳箱内设置有承载商品的货架；

生成购物清单模块，与所述验证关联模块连接，用于在识别拿取或放回动作及拿取或放回动作所针对的商品后，生成此顾客的购物清单；和

结算模块，与所述生成购物清单模块连接，用于根据所述生成购物清单模块生成的购物清单进行结算；

所述生成购物清单模块包括用于识别所述拿取或放回动作所针对的商品的商品识别单元，所述商品识别单元包括：

目标检测子单元，用于根据所述动作识别单元获取的含有商品的多帧手部图像进行目标检测以对应获取多个矩形区域图像，所述矩形区域图像为与包含商品的矩形区域对应的图像，多帧手部图像与多个摄像头一一对应；

第一分类子单元，用于根据多个矩形区域图像和预先训练的一级分类模型，对应获取多个初级分类结果，预先训练的一级分类模型为基于卷积神经网络的图像识别技术架构且经所述容纳箱内所有商品训练的模型，根据多个初级分类结果和预先训练的一级线性回归模型获取多帧手部图像的一级分类结果；

确认子单元，用于以所述一级分类结果作为第一次分类结果；和

结果认定子单元，用于将所述第一次分类结果作为待识别的商品。

5.根据权利要求4所述的结算装置，其特征在于，所述生成购物清单模块还包括：

动作识别单元，用于获取此顾客在所述货架前的多帧连贯的手部图像，对多帧连贯的手部图像在时间轴上建立一条手部运动轨迹；当检测到手部的运动轨迹为由预设的虚拟动作分界线外向内移动且手中拿有商品时，则将动作识别为放回动作；当检测到手部的运动轨迹为由所述虚拟动作分界线内向外移动且手中拿有商品时，则将动作识别为拿取动作；其中，所述虚拟动作分界线外为远离所述货架的方向，所述虚拟动作分界线内为靠近所述货架的方向；

和

购物清单生成单元，与所述验证关联模块、动作识别单元和商品识别单元连接，用于根据所述验证关联模块关联的此顾客的身份信息、所述动作识别单元识别的拿取或放回动作、所述商品识别单元识别的拿取或放回动作所针对的商品，生成此顾客的购物清单。

6.根据权利要求4所述的结算装置，其特征在于，所述商品识别单元还包括：

判断子单元，与所述第一分类子单元和第二分类子单元连接，用于判断一级分类结果是否为相似商品，若是则执行所述第二分类子单元，否则执行所述第一分类子单元；和

所述第二分类子单元，用于根据多个矩形区域图像和预先训练的二级分类模型，对应获得多个次级分类结果，再根据多个次级分类结果和预先训练的二级线性回归模型获取多帧手部图像的二级分类结果，并以二级分类结果作为第一次分类结果，二级分类模型为预先基于卷积神经网络的图像识别技术架构且经所述容纳箱内相似商品组中商品训练的模型。

7.一种结算装置，其特征在于，所述结算装置包括：

摄像头，设置在容纳箱上，用于获取顾客的手部图像，所述容纳箱内设置有承载商品的货架；

处理器；和

用于存储处理器可执行的指令的存储器；

其中，所述处理器被配置为：

验证接收的开锁请求是否由预先注册的顾客发送，若是，则发出开锁指令，并将此顾客与所述商品涉及的拿取或放回动作关联，所述开锁指令用于打开容纳箱，在识别拿取或放回动作及拿取或放回动作所针对的商品后，生成此顾客的购物清单，根据所述购物清单进行结算；

其中，所述识别拿取或放回动作所针对的商品，具体包括：

对获取的含有商品的多帧手部图像进行目标检测以对应获取多个矩形区域图像，所述矩形区域图像为与包含商品的矩形区域对应的图像，多帧手部图像与多个摄像头一一对应；

根据多个矩形区域图像和预先训练的一级分类模型，对应获取多个初级分类结果，预先训练的一级分类模型为基于卷积神经网络的图像识别技术架构且经所述容纳箱内所有商品训练的模型，根据多个初级分类结果和预先训练的一级线性回归模型获取多帧手部图像的一级分类结果；

以所述一级分类结果作为第一次分类结果；

将所述第一次分类结果作为待识别的商品。

8.一种结算系统，其特征在于，所述结算系统包括：客户端、容纳箱和结算装置；

所述客户端，用于注册时接收顾客输入的身份信息并发送给所述结算装置和所述结算装置下发的购物清单；

所述容纳箱内设置有用于承载商品的货架，所述容纳箱的门设置有门锁；

所述结算装置为权利要求4～7中任一项所述的结算装置。