CN111222870A - 结算方法、装置和系统 - Google Patents

Abstract

本发明公开了一种结算方法、装置和系统，属于视觉识别技术领域。结算方法包括获取购买人的身份信息；识别所述购买人的拿取或放回动作以得到动作识别结果，识别拿取或放回动作所针对的商品以得到商品识别结果；根据所述购买人的身份信息、所述动作识别结果和所述商品识别结果进行结算。一种结算装置包括：获取模块、识别模块和结算模块。另一种结算装置包括：货架、测距传感器、身份验证采集模块、识别图像采集模块、处理器和存储器。结算系统包括：客户端和结算装置。本发明使得售货流程友好，顾客体验好；可以一次交易实现购买多个或多种商品，购买过程便捷。

Description

结算方法、装置和系统

技术领域

本发明属于视觉识别技术领域，特别涉及一种结算方法、装置和系统。

背景技术

自动售货机(或称自动贩卖机)因无需收银员值守，售货方便，现在在人群比较密集的区域，如车站、商场、医院、学校非常受欢迎。自动售货机的售货流程如下：顾客挑选自己喜欢的一个商品，并触碰与该商品对应的按键，然后投入硬币或纸币或使用移动支付，如支付宝、微信等来完成支付过程，从而拿到该商品。

随着信息技术的发展，顾客越来越感觉自动售货机的售货流程不友好，不能实现“即拿即走”的结算方式，该结算方式下顾客挑选好自己的商品，可以立马离开。而且自动售货机每次只能完成一个商品的交易，当顾客需要购买多个商品时，需多次交易，购买过程不便捷。而且自动售货机的货架上摆放的是样品，非实际的可售卖的商品，且货架上只能摆放一排样品，可见商品的种类非常少，不能满足顾客对商品多样化的需求。

发明内容

为了解决现有技术中存在的问题，本发明一方面提供了一种结算方法，其包括：步骤S1，获取购买人的身份信息；步骤S2，识别所述购买人的拿取或放回动作以得到动作识别结果，识别拿取或放回动作所针对的商品以得到商品识别结果；步骤S3，根据所述购买人的身份信息、所述动作识别结果和所述商品识别结果进行结算。

在如上所述的结算方法中，优选地，所述获取购买人的身份信息具体包括：判断目标对象与测距传感器的距离是否符合预设阈值；若判断为符合预设阈值，则将所述目标对象确认为购买人；根据得到的所述购买人的脸部图像获取所述购买人的身份信息。

在如上所述的结算方法中，优选地，步骤S2中，识别所述购买人的拿取或放回动作，具体包括：获取所述购买人在承载所述商品的货架前的多帧连贯的手部图像，对多帧连贯的手部图像在时间轴上建立一条手部运动轨迹；根据所述手部运动轨迹相对所述货架的运动方向识别所述购买人的动作为拿取动作或放回动作。

在如上所述的结算方法中，优选地，步骤S2中，识别拿取或放回动作所针对的商品以得到商品识别结果，具体包括：S21，根据获取的所述购买人在承载所述商品的货架前的多帧手部图像和预先训练的一级分类模型，获取多个初级分类结果，预先训练的一级分类模型为基于卷积神经网络的图像识别技术架构且经所述货架内所有商品训练的模型；S22，根据多个所述初级分类结果和预先训练的一级线性回归模型获取一级分类结果；S23，根据所述一级分类结果得到商品识别结果。

在如上所述的结算方法中，优选地，在步骤S22之后，所述结算方法还包括：S24，判断所述一级分类结果是否为相似商品；S25，若判断为相似商品，则根据多帧所述手部图像和预先训练的二级分类模型，获取多个次级分类结果，再根据多个所述次级分类结果和预先训练的二级线性回归模型获取二级分类结果，根据所述二级分类结果得到商品识别结果，所述二级分类模型为预先基于卷积神经网络的图像识别技术架构且经所述货架上所有相似商品训练的模型；S26，若判断为否，则跳转至步骤S23。

本发明另一方面提供了一种结算装置，其包括：获取模块，用于获取购买人的身份信息；识别模块，用于识别所述购买人的拿取或放回动作以得到动作识别结果，识别拿取或放回动作所针对的商品以得到商品识别结果；结算模块，与所述获取模块和所述识别模块连接，用于根据所述购买人的身份信息、所述动作识别结果和所述商品识别结果进行结算。

在如上所述的结算装置中，优选地，所述获取模块包括：距离判断单元，用于判断目标对象与距离传感器的距离是否符合预设阈值；确认单元，用于在所述距离判断单元的判断结果为符合预设阈值时，将所述目标对象确认为购买人；获取单元，用于根据得到的所述购买人的脸部图像获取所述购买人的身份信息。

在如上所述的结算装置中，优选地，所述识别模块包括：动作识别单元，用于获取所述购买人在承载所述商品的货架前的多帧连贯的手部图像，对多帧连贯的手部图像在时间轴上建立一条手部运动轨迹；根据所述手部运动轨迹相对所述货架的运动方向识别所述购买人的动作为拿取动作或放回动作；商品识别单元，用于根据获取的所述购买人在承载所述商品的货架前的多张手部图像和预先训练的一级分类模型，获取多个初级分类结果，预先训练的一级分类模型为基于卷积神经网络的图像识别技术架构且经所述货架内所有商品训练的模型；根据多个所述初级分类结果和预先训练的一级线性回归模型获取一级分类结果；根据所述一级分类结果得到商品识别结果。

在如上所述的结算装置中，优选地，所述商品识别单元还用于在得到所述一级分类结果后，判断所述一级分类结果是否为相似商品，若判断为是相似商品，则根据多张所述手部图像和预先训练的二级分类模型，获取多个次级分类结果，再根据多个所述次级分类结果和预先训练的二级线性回归模型获取二级分类结果，根据所述二级分类结果得到商品识别结果，所述二级分类模型为预先基于卷积神经网络的图像识别技术架构且经所述货架上所有相似商品训练的模型，若判断为否，则根据所述一级分类结果得到商品识别结果。

本发明又一方面提供了一种结算装置，其包括：货架，用于承载商品；测距传感器，设置于所述货架上，生成目标对象与所述测距传感器的距离信息；身份验证采集模块，设置于所述货架上，采集所述目标图像的脸部图像；识别图像采集模块，设置于所述货架上，采集所述目标对象的手部图像；处理器；和用于存储处理器可执行的指令的存储器；其中，所述处理器被配置为：根据所述距离信息和脸部图像获取购买人的身份信息，根据所述识别图像采集模块发送的手部图像识别所述购买人的拿取或放回动作以得到动作识别结果，识别拿取或放回动作所针对的商品以得到商品识别结果，根据所述购买人的身份信息、所述动作识别结果和所述商品识别结果进行结算。

本发明再一方面提供了一种结算系统，其包括：客户端，用于接收目标对象输入的身份信息并发送给所述结算装置和接收所述结算装置生成的结算清单；结算装置为上述的结算装置。

本发明实施例通过上述技术方案带来的有益效果如下：

售货流程友好，顾客体验好；可以一次交易实现购买多个或多种商品，购买过程便捷。

附图说明

图1为本发明实施例提供的一种结算方法的流程示意图；

图2为本发明实施例提供的一种商品识别方法的流程示意图；

图3为本发明实施例提供的另一种商品识别方法的流程示意图；

图4为本发明实施例提供的一种结算装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

参见图1，本发明实施例提供了一种结算方法，参见图1，该方法包括以下步骤：

步骤S1，获取购买人的身份信息。

具体地，该步骤的实现方式包括：判断目标对象与测距传感器的距离是否符合预设阈值，若判断为符合预设阈值，则将目标对象确认为购买人，然后获取购买人的脸部图像，根据购买人的脸部图像获取购买人的身份信息。此实现方式尤其适用于开放式无人值守购物场景，如企业的办公场所内，即无需对承载商品的货架设置门锁模块，而传统方法中通常设置门锁模块，只有当门锁控制模块处于打开状态时，购买人才能挑选商品。

测距传感器可以为超声波测距传感器、红外线测距传感器和雷达传感器等。设定预设阈值，如65cm、75cm等，具体数值可以根据实际应用情况进行选择，本实施例对此不进行限定。由于测距传感器的位置与承载商品的货架的位置具有相关关系，即通过目标对象与测距传感器的距离来表征目标对象与货架的距离，如测距传感器设置在货架上。当目标对象想购物时，逐渐靠近测距传感器，测距传感器会生成关于目标对象的距离信息，下述的处理器会将该距离信息与预设阈值进行比较，若与预设阈值一致，则将目标对象确认为购买人，并启动下述的身份验证采集模块，从而获取该目标对象(此时可称为购买人)的脸部图像；若大于预设阈值，则继续比较距离信息与预设阈值的大小。然后对购买人的脸部图像进行识别，从而确认购买人的身份信息。在应用前，需采集应用场景内目标对象的脸部图像，可以通过下述的客户端采集。

步骤S2，识别购买人的拿取或放回动作以得到动作识别结果，识别拿取或放回动作所针对的商品以得到商品识别结果。

具体地，在将购买人的身份信息确认后，将拿取或放回动作与该购买人进行关联，从而知道是哪位购买人对商品进行了拿取或放回动作，即哪位购买人想购买商品。在识别出拿取或放回动作及拿取或放回动作所针对的商品是什么商品后，即可生成与该顾客对应的购物清单(或称虚拟购物车)。当顾客对商品施加拿取动作时，该顾客的购物清单上会对应地增加该商品，当顾客对商品施加放回动作时，购物清单上会对应地减去该商品，即购物清单会根据顾客的拿取或放回动作进行实时更新。

该步骤中子步骤：识别购买人的拿取或放回动作以得到动作识别结果的实现方式包括：获取购买人在承载商品的货架前的多帧连贯的手部图像，对多帧连贯的手部图像在时间轴上建立一条手部运动轨迹；根据手部运动轨迹相对货架的运动方向识别购买人的动作为拿取动作或放回动作。

在货架的门框上部署识别图像采集模块，如摄像头，其拍摄角度为向下，以使拍摄范围覆盖货架前方，利于拍摄到顾客的手部图像。摄像头每秒会拍到多帧图像，如30帧，对摄像头采集的购买人的手部图像逐帧进行检测，对每帧手部图像中手部的位置进行标记并保存下来，一帧一帧重复前述操作，这样在时间轴上会得到一条手部的运动轨迹，不仅会得到每一帧图像中手部的位置，还会根据某一帧手部图像判断手上是否拿有商品以及对商品的类别进行确认。为了确保拍摄到手部图像及对商品识别的准确率，在门框的下部布置识别图像采集模块，其拍摄角度为向上。为了提高识别准确率，各识别图像采集模块的数量为多个，如2个。实际应用时，两个识别图像采集模块在货架上可以呈对角设置，此时一个识别图像采集模块的拍摄角度为斜向下，另一个识别图像采集模块的拍摄角度为斜向上。

在手部图像中标记一条虚拟动作分界线，该动作分界线与货架间隔一定距离，如8cm、12cm。当检测到手部的运动轨迹由远离货架的位置穿过动作分界线运动到靠近货架的位置，简单地说，由动作分界线外运动到动作分界线内，且手部拿有商品，则认为手部动作为商品的放回动作；当检测到手部的运动轨迹由靠近货架的位置穿过动作分界线运动到远离货架的位置，简单地说，由动作分界线内运动到动作分界线外，且手部拿有商品，则认为手部动作为商品的拿取动作。

摄像头持续采集视频数据，每秒拍摄获得多帧手部图像，如几十帧，可以每隔一秒取一帧手部图像，截取手部位置，对手中的商品进行分类(或称识别)，可以通过预先训练好的下述分类模型实现。

参见图2，对拿取或放回动作所针对的商品进行识别的方法可以采用如下步骤：

S21，根据获取的购买人在承载商品的货架前的多帧手部图像和预先训练的一级分类模型，获取多个初级分类结果。

具体地，对含有商品的每帧手部图像进行目标检测以在手部图像上拉出与商品对应的目标区域，目标区域对应的图像可称之为目标区域图像。目标区域的形状可以为矩形、圆形。多帧手部图像的获取可以是来自于一个下述的识别图像采集模块，还可以是来自于多个下述的识别图像采集模块，如2 个，本实施例对此不进行限定。

预先训练的一级分类模型为基于卷积神经网络的图像识别技术架构且经货架内所有商品训练的模型。训练好的一级分类模型对每张目标区域图像中的商品进行分类，得到初级分类结果，该初级分类结果为一个n维向量，n 表示货架上商品的总数量，向量中每个元素的含义表示一级分类模型认为待分类的商品属于n个商品中每个商品的概率，向量中哪个元素的值最大，那意味着模型认为待分类的商品为该元素对应的商品。当帧数为5时，初级分类结果的数量为5个n维向量。

训练一级分类模型时，需先采集数据建立数据集，采集数据的过程包括但不限于：1)对货架上所有商品从各个角度以及在各个姿态下拍照来获取大量的照片。2)然后对这些照片进行标注：对照片中商品的位置、大小以及类别进行标注。数据集包括的数据是指前述这些照片以及这些照片上进行的标注。一级分类模型为基于卷积神经网络的图像识别技术架构的模型，并使用货架上所有商品的数据对一级分类模型进行了训练，训练时可以通过梯度下降的方式进行。

S22，根据多个初级分类结果和预先训练的一级线性回归模型获取一级分类结果。

具体地，训练一级分类模型时，一级分类模型输出的初级分类结果作为一级线性回归模型的输入，该初级分类结果对应的手部图像中所包含的商品的正确分类作为一级线性回归模型的输出，以此来训练一级线性回归模型。训练好的一级线性回归模型对多个初级分类结果进行数据融合，得到一个一级分类结果，该一级分类结果表示一级线性回归模型预测图像中商品为货架上所有商品中哪个类别。

S23，根据一级分类结果得到商品识别结果，即将一级分类结果确定为商品识别结果。

货架上的商品有多种，在该多种商品中会存在一些外观相近及通过视觉易混淆的商品，将这些商品称为相似商品。若待分类的单个商品为相似商品时，一级分类模型难以准确地对该商品进行分类，如把相似商品中两个商品弄混，因此参见图3，在步骤S22之后，需要执行下述步骤S24，判断一级分类结果是否为相似商品，若判断为相似商品，则执行步骤S25，否则执行步骤S26，即跳转至步骤S23。

步骤S25，若判断为相似商品，则根据多帧手部图像和预先训练的二级分类模型，获取多个次级分类结果，再根据多个次级分类结果和预先训练的二级线性回归模型获取二级分类结果，根据二级分类结果得到商品识别结果，二级分类模型为预先基于卷积神经网络的图像识别技术架构且经货架上所有相似商品训练的模型。

具体地，利用在步骤S22中建立的数据集中的相似商品的数据对二级分类模型进行训练，训练时可以通过梯度下降的方式进行。二级分类模型和一级分类模型的区别在于训练时所使用的数据不同，一级分类模型使用的数据为购物场所内所有商品的数据，二级分类模型使用的数据为容纳箱内相似商品数据。

训练好的二级分类模型对前述多个目标区域图像中的商品进行分类，得到次级分类结果，该次级分类结果也为一个m维向量，向量中每个元素的含义表示二级分类模型认为待分类的单个商品属于m个相似商品中每个商品的概率。当目标区域图像为5个时，次级分类结果的数量为5个m维向量， m小于等于n，且表示货架上相似商品的总数量。

将训练二级分类模型时，二级分类模型输出的次级分类结果作为二级线性回归模型的输入，该次级分类结果对应的图像中所包含的商品的正确分类作为二级线性回归模型的输出，以此来训练二级线性回归模型。训练好的二级线性回归模型对多个次级分类结果进行数据融合，得到一个二级分类结果，并将其作为商品识别结果，该二级分类结果表示二级线性回归模型预测图像中商品为货架上所有商品中哪个类别。

步骤S3，根据购买人的身份信息、动作识别结果和商品识别结果进行结算。

具体地，得到购买人的身份信息，然后识别了购买人的购物情况，即选择了哪些待购的商品，然后查询与该商品对应的价格，得到购买人所需支付费用，从而生成与该购买人对应的结算清单，根据该结算清单进行结算。结算时可以对购买人通过下述客户端上传至下述结算装置的支付账号进行扣款，支付账号可以为银行账号、第三方账号，如支付宝账号、财付通账号等。

本发明实施例通过获取购买人的身份信息，然后识别购买人的拿取或放回动作以得到动作识别结果，识别拿取或放回动作所针对的商品以得到商品识别结果，再根据购买人的身份信息、动作识别结果和商品识别结果进行结算，从而使得售货流程友好，顾客体验好；可以一次交易实现购买多个或多种商品，购买过程便捷。

参见图4，本发明另一实施例提供了一种结算装置，其包括：获取模块 401、识别模块402和结算模块403。

其中，获取模块401用于获取购买人的身份信息。识别模块402用于识别购买人的拿取或放回动作以得到动作识别结果，识别拿取或放回动作所针对的商品以得到商品识别结果。结算模块403与获取模块和识别模块连接，用于根据购买人的身份信息、动作识别结果和商品识别结果进行结算。

优选地，获取模块包括：距离判断单元，用于判断目标对象与距离传感器的距离是否符合预设阈值；确认单元，用于在距离判断单元的判断结果为符合预设阈值时，将目标对象确认为购买人；获取单元，用于根据得到的购买人的脸部图像获取购买人的身份信息。

优选地，识别模块包括：动作识别单元，用于获取购买人在承载商品的货架前的多帧连贯的手部图像，对多帧连贯的手部图像在时间轴上建立一条手部运动轨迹；根据手部运动轨迹相对货架的运动方向识别购买人的动作为拿取动作或放回动作；商品识别单元，用于根据获取的购买人在承载商品的货架前的多帧手部图像和预先训练的一级分类模型，获取多个初级分类结果，预先训练的一级分类模型为基于卷积神经网络的图像识别技术架构且经货架内所有商品训练的模型；根据多个初级分类结果和预先训练的一级线性回归模型获取一级分类结果；根据一级分类结果得到商品识别结果。

优选地，商品识别单元还用于在得到一级分类结果后，判断一级分类结果是否为相似商品，若判断为是相似商品，则根据多张手部图像和预先训练的二级分类模型，获取多个次级分类结果，再根据多个次级分类结果和预先训练的二级线性回归模型获取二级分类结果，根据二级分类结果得到商品识别结果，二级分类模型为预先基于卷积神经网络的图像识别技术架构且经货架上所有相似商品训练的模型，若判断为否，则根据一级分类结果得到商品识别结果。

需要说明的是，关于获取模块401、识别模块402和结算模块的具体描述可参见上述实施例中步骤S1～S3以及步骤S21～S26相关内容，此处不再一一赘述。

本发明又一实施例提供了一种结算装置，其包括：货架、测距传感器、身份验证采集模块、识别图像采集模块、处理器和存储器。

货架用于承载商品。测距传感器设置于所述货架上，生成目标对象与所述测距传感器的距离信息。身份验证采集模块设置于所述货架上，采集所述目标图像的脸部图像。识别图像采集模块设置于所述货架上，采集所述目标对象的手部图像。处理器。用于存储处理器可执行的指令的存储器。其中，处理器被配置为：根据距离信息和脸部图像获取购买人的身份信息，根据识别图像采集模块发送的手部图像识别购买人的拿取或放回动作以得到动作识别结果，识别拿取或放回动作所针对的商品以得到商品识别结果，根据购买人的身份信息、动作识别结果和商品识别结果进行结算。身份验证采集模块和识别图像采集模块均可以为摄像头。

为了提高识别效率，处理器包括：本地处理器单元和远端处理器单元。本地处理器单元和远端处理器单元均可以配置为前述处理器的执行功能。实际应用时，可以根据本结算装置应用时的信号强度选择本地处理器单元处理，还是远端处理器单元处理，如判断信号强度是否低于预设阈值，若判断为是，则选择本地处理器单元处理，否则选择远端处理器单元处理。

为了及时提醒购买人所选择的商品信息，本结算装置还包括：显示器，用于显示购物清单，购物清单中包括但不限于：商品名称、数量、价格。

为了提高本结算装置的安全性，身份验证采集模块实时获取货架周围环境的图像，在目标对象与距离传感器的距离符合预设阈值时，处理器才对身份验证采集模块获取的图像进行识别。

优选地，货架包括：货架本体和置物架。货架本体用于为商品提供放置空间。置物架安装在货架本体内，用于为商品提供放置位置。优选地，置物架的数量为多个，多个置物架平行安装在货架本体内部，将货架本体由上到下分成多个独立的空间；每个置物架包括：横板和连接于横板端部的立板，横板用于放置商品，立板用于阻挡商品掉落。

为了使货架便于存储、保护商品，并便于展示商品内容，在货架本体的左侧、右侧和后侧围护有冲孔板。通过在货架本体左侧、右侧、后侧围护冲孔板，便于对货架本体内的商品进行防护，防止商品从货架本体掉落。

为了减少结算装置结算时的出错率，货架还包括护栏，护栏安装在货架本体左侧和右侧的冲孔板上，护栏通过滑轮与滑轨连接的方式与冲孔板活动连接，可由冲孔板的左侧壁和右侧壁内拉出。通过安装护栏，能够将购买人和无关行人隔离，并保护购物者购物过程的隐私，还能够实现多个购买人排队购买，从而减少本发明由于误判带来的错误，具有错误率低、便于保护隐私的特点。

本发明再一实施例提供了一种结算系统，其包括：客户端和结算装置。客户端用于接收目标对象输入的身份信息并发送给结算装置和接收结算装置生成的结算清单。结算装置为前述的结算装置。

综上，本发明实施例带来的有益效果如下：

售货流程友好，顾客体验好；可以一次交易实现购买多个或多种商品，购买过程便捷。

由技术常识可知，本发明可以通过其它的不脱离其精神实质或必要特征的实施方案来实现。因此，上述公开的实施方案，就各方面而言，都只是举例说明，并不是仅有的。所有在本发明范围内或在等同于本发明的范围内的改变均被本发明包含。

Claims (11)

1.一种结算方法，其特征在于，所述结算方法包括：

步骤S1，获取购买人的身份信息；

步骤S2，识别所述购买人的拿取或放回动作以得到动作识别结果，识别拿取或放回动作所针对的商品以得到商品识别结果；

步骤S3，根据所述购买人的身份信息、所述动作识别结果和所述商品识别结果进行结算。

2.根据权利要求1所述的结算方法，其特征在于，所述获取购买人的身份信息具体包括：

判断目标对象与测距传感器的距离是否符合预设阈值；

若判断为符合预设阈值，则将所述目标对象确认为购买人；

根据得到的所述购买人的脸部图像获取所述购买人的身份信息。

3.根据权利要求1所述的结算方法，其特征在于，步骤S2中，识别所述购买人的拿取或放回动作，具体包括：

获取所述购买人在承载所述商品的货架前的多帧连贯的手部图像，对多帧连贯的手部图像在时间轴上建立一条手部运动轨迹；

根据所述手部运动轨迹相对所述货架的运动方向识别所述购买人的动作为拿取动作或放回动作。

4.根据权利要求1～3中任一项所述的结算方法，其特征在于，步骤S2中，识别拿取或放回动作所针对的商品以得到商品识别结果，具体包括：

S21，根据获取的所述购买人在承载所述商品的货架前的多帧手部图像和预先训练的一级分类模型，获取多个初级分类结果，预先训练的一级分类模型为基于卷积神经网络的图像识别技术架构且经所述货架内所有商品训练的模型；

S22，根据多个所述初级分类结果和预先训练的一级线性回归模型获取一级分类结果；

S23，根据所述一级分类结果得到商品识别结果。

5.根据权利要求4所述的结算方法，其特征在于，在步骤S22之后，所述结算方法还包括：

S24，判断所述一级分类结果是否为相似商品；

S25，若判断为相似商品，则根据多帧所述手部图像和预先训练的二级分类模型，获取多个次级分类结果，再根据多个所述次级分类结果和预先训练的二级线性回归模型获取二级分类结果，根据所述二级分类结果得到商品识别结果，所述二级分类模型为预先基于卷积神经网络的图像识别技术架构且经所述货架上所有相似商品训练的模型；

S26，若判断为否，则跳转至步骤S23。

6.一种结算装置，其特征在于，所述结算装置包括：

获取模块，用于获取购买人的身份信息；

识别模块，用于识别所述购买人的拿取或放回动作以得到动作识别结果，识别拿取或放回动作所针对的商品以得到商品识别结果；

结算模块，与所述获取模块和所述识别模块连接，用于根据所述购买人的身份信息、所述动作识别结果和所述商品识别结果进行结算。

7.根据权利要求6所述的结算装置，其特征在于，所述获取模块包括：

距离判断单元，用于判断目标对象与距离传感器的距离是否符合预设阈值；

确认单元，用于在所述距离判断单元的判断结果为符合预设阈值时，将所述目标对象确认为购买人；

获取单元，用于根据得到的所述购买人的脸部图像获取所述购买人的身份信息。

8.根据权利要求6所述的结算装置，其特征在于，所述识别模块包括：

动作识别单元，用于获取所述购买人在承载所述商品的货架前的多帧连贯的手部图像，对多帧连贯的手部图像在时间轴上建立一条手部运动轨迹；根据所述手部运动轨迹相对所述货架的运动方向识别所述购买人的动作为拿取动作或放回动作；

商品识别单元，用于根据获取的所述购买人在承载所述商品的货架前的多张手部图像和预先训练的一级分类模型，获取多个初级分类结果，预先训练的一级分类模型为基于卷积神经网络的图像识别技术架构且经所述货架内所有商品训练的模型；根据多个所述初级分类结果和预先训练的一级线性回归模型获取一级分类结果；根据所述一级分类结果得到商品识别结果。

9.根据权利要求8所述的结算装置，其特征在于，所述商品识别单元还用于在得到所述一级分类结果后，判断所述一级分类结果是否为相似商品，若判断为是相似商品，则根据多张所述手部图像和预先训练的二级分类模型，获取多个次级分类结果，再根据多个所述次级分类结果和预先训练的二级线性回归模型获取二级分类结果，根据所述二级分类结果得到商品识别结果，所述二级分类模型为预先基于卷积神经网络的图像识别技术架构且经所述货架上所有相似商品训练的模型，若判断为否，则根据所述一级分类结果得到商品识别结果。

10.一种结算装置，其特征在于，所述结算装置包括：

货架，用于承载商品；

测距传感器，设置于所述货架上，生成目标对象与所述测距传感器的距离信息；

身份验证采集模块，设置于所述货架上，采集所述目标图像的脸部图像；

识别图像采集模块，设置于所述货架上，采集所述目标对象的手部图像；

处理器；和

用于存储处理器可执行的指令的存储器；

其中，所述处理器被配置为：

根据所述距离信息和脸部图像获取购买人的身份信息，根据所述识别图像采集模块发送的手部图像识别所述购买人的拿取或放回动作以得到动作识别结果，识别拿取或放回动作所针对的商品以得到商品识别结果，根据所述购买人的身份信息、所述动作识别结果和所述商品识别结果进行结算。

11.一种结算系统，其特征在于，所述结算系统包括：

客户端，用于接收目标对象输入的身份信息并发送给所述结算装置和接收所述结算装置生成的结算清单；和

结算装置，为权利要求6～9中任一项所述的结算装置。

Images