CN108492157A

CN108492157A - 无人售货系统及无人售货方法

Info

Publication number: CN108492157A
Application number: CN201810079533.1A
Authority: CN
Inventors: 冯立男; 夏鼎; 马捷昱; 李庭涛; 邬文尧; 张玫; 张一玫
Original assignee: Shanghai Yun Hi Intelligent Technology Co Ltd
Current assignee: Shanghai Yun Hi Intelligent Technology Co Ltd
Priority date: 2017-12-18
Filing date: 2018-01-26
Publication date: 2018-09-04
Anticipated expiration: 2038-01-26
Also published as: JP7016187B2; EP3731546A4; KR20200023647A; WO2019144690A1; JP2021507203A; KR102510679B1; AU2022203376A1; KR102378059B1; WO2019144691A1; AU2018405072A1; AU2018405073A1; US20200258069A1; CN108509847A; US11501523B2; JP2022043067A; KR20200051705A; CN108551658A; JP7229580B2; CN108520194A; CN208892110U

Abstract

本发明提供一种无人售货系统及无人售货方法，所述无人售货系统包括封闭空间、用户身份识别系统、货品监控系统、购物用户判断系统、购物信息记录单元以及结算系统；所述无人售货方法包括如下步骤：架板设置步骤、用户身份识别步骤、用户定位步骤、货品感知步骤、购物用户判断步骤、购物信息记录步骤以及结算步骤。本发明的有益效果在于，采用架板重量监测技术实时感知每一架板的重量变化，结合货架前方区域的影像监测技术判断被取走或被放回货品的种类及数量；利用人体实时定位技术判断取走或放回货品的用户身份，从而记录每一用户在无人超市中取走货品的种类及数量，在购物过程完成后为其结算。

Description

无人售货系统及无人售货方法

技术领域

本发明涉及一种零售业管理系统的解决方案，具体地说，涉及一种无人售货系统及一种无人售货方法。

背景技术

传统零售业的购物方式，每一家超市货便利店需要有专门的销售人员和收款人员，人力成本较高。随着电子支付技术、身份识别技术及云计算技术的发展，无人超市项目在技术上具备很高的可行性。在无人超市项目中，急需解决的一个基本问题就是用户选购货品的判断和记录问题，具体地说，服务器需要准确判断每一个用户在无人超市中的每一次购物行为，确定每一个用户从超市中带走或消费的所有货品的种类、数量及单价，以便为用户实现结算。

现有技术中，有人采用RFID技术感知用户选购的货品，这种方式需要在每一个货品上设置RFID标签，在门禁处设置RFID阅读器，当用户走出门禁时就可以记录其消费内容。这一方案的不足之处在于，首先，硬件成本较高，每一RFID标签的价格大约在0.5-1元左右，标签会提升每一种商品的成本，降低超市的竞争力，对于成本为5元的货品来说，加装RFID标签会提升其成本的10-20%；其次，货品感知存在被屏蔽、被去除的可能性，从而出现用户蒙蔽RFID阅读器的现象，导致货品丢失；再次，该方案中只有在超市门禁处才能实现结算，如果有用户在离店前将可食用的货品吃掉，将包装留在超市里，RFID阅读器也无法感知和确定用户的真实消费金额。也就是说，这一方案高度依靠用户的自律性和道德水平，而不是用技术手段加以约束，这样的无人超市在经营过程中的风险较大。

发明内容

本发明的目的在于，提供一种无人售货系统及一种无人售货方法，可有效解决现有技术中存在的货品识别精准度差、误差较大、货品易丢失、经营风险大的技术问题。

为实现上述目的，本发明提供一种无人售货系统，包括封闭空间，其内设有货架，每一货架包括架板，每一架板上放置有货品；用户身份识别系统，用以识别每一用户的身份信息；目标物定位系统，用以获取每一目标物在所述封闭空间的实时位置，所述目标物为用户及其延伸部的全部或局部；货品监控系统，用以实时感知每一货品的取放状态，当任一货品被取走或被放回时，获取被取走或被放回的货品的种类及数量；购物用户判断系统，当任一货品被取走或被放回时，用以根据所述用户的身份信息及所述用户的实时位置判断取走或放回货品的用户身份；购物信息记录单元，根据每一用户的身份信息生成购物数据库，用以记录每一用户取走货品的种类及数量；以及结算系统，用以根据一用户的购物数据库中全部货品的种类及数量结算费用。

为实现上述目的，本发明还提供一种无人售货方法，包括如下步骤：架板设置步骤，在封闭空间内设置货架，每一货架包括架板，每一架板上放置有货品；用户身份识别步骤，用以识别每一用户的身份信息；目标物定位步骤，用以获取每一目标物在所述封闭空间的实时位置，所述目标物为用户及其延伸部的全部或局部；货品监控步骤，用以实时监控每一货品的取放状态，当任一货品被取走或被放回时，获取被取走或被放回的货品的种类及数量；购物用户判断步骤，当任一货品被取走或被放回时，用以根据所述用户的身份信息及所述用户的实时位置判断取走或放回货品的用户身份；购物信息记录步骤，根据每一用户的身份信息生成购物数据库，用以记录每一用户取走货品的种类及数量；以及结算步骤，用以根据一用户的购物数据库中全部货品的种类及数量结算费用。

本发明的有益效果在于，提供一种无人售货系统及一种无人售货方法，应用于无人超市，采用架板重量监测技术实时感知每一架板的重量变化，结合货架前方区域的影像监测技术判断被取走或被放回货品的种类及数量；利用人体实时定位技术判断取走或放回货品的用户身份，从而记录每一用户在无人超市中取走货品的种类及数量，在购物过程完成后为其结算。

本发明中货品无需增加硬件成本，系统感知灵敏，误差极小，可准确判断每一用户每次取走或放回货品的购物行为，可准确记录每一用户在无人超市购买货品的种类及数量，可以有效杜绝偷盗现象。此外，本发明需要的用户操作较少，只需入门前扫码及确认支付即可，进入方便，结算快捷，用户体验良好。相对于传统零售行业，使用本发明的无人超市，运营过程中完全依靠计算机监管，无需人工干预，可以有效降低人力成本。

附图说明

图1为本发明实施例所述的无人超市俯视图；

图2为本发明实施例所述的无人售货系统的结构框图；

图3为本发明实施例所述货架的整体结构示意图；

图4为本发明实施例所述的托盘及架板的结构示意图；

图5为本发明实施例所述用户身份识别系统的结构框图；

图6为本发明实施例所述目标物定位系统的结构框图；

图7为本发明实施例所述影像传感器在封闭空间内的分布图；

图8为本发明实施例所述第一货品感知系统的结构框图；

图9为本发明实施例所述第二货品感知系统的结构框图；

图10为本发明实施例所述第二摄像头与所述货架的位置关系示意图；

图11为本发明实施例所述购物用户判断系统的结构框图；

图12为本发明实施例所述购物数据库系统的结构框图；

图13为本发明实施例所述纠错系统的结构框图；

图14为本发明实施例所述结算系统的结构框图；

图15为本发明实施例中一种无人售货方法的流程图；

图16为本发明实施例中步骤S2）用户身份识别步骤的流程图；

图17为本发明实施例中步骤S22）身份识别步骤的流程图；

图18为本发明实施例中步骤S3）用户定位步骤的流程图；

图19为本发明实施例中步骤S31）三维影像采集步骤的流程图；

图20为本发明实施例中步骤S41）第一货品感知步骤的流程图；

图21为本发明实施例中步骤S413）取放状态判断步骤的流程图;

图22为本发明实施例中步骤S42）第二货品感知步骤的流程图；

图23为本发明实施例中步骤S5）购物用户判断步骤的流程图；

图24为本发明实施例中步骤S6）购物信息记录步骤的流程图；

图25为本发明实施例中步骤S7）结算步骤的流程图；

图26为本发明实施例中步骤S43）第三货品感知步骤的流程图。

图中部件标号如下：

1封闭空间，2货架，3支架，4托盘，5架板，6重量感应装置，7数据处理设备；

100用户身份识别系统，101门禁装置，102身份识别装置；

1021扫码装置，1022身份获取单元，103用户入口，104用户出口；

200目标物定位系统，201三维影像采集装置，202三维影像整合单元，203目标物坐标获取单元；

2011影像传感器，2012深度图像传感器，2013RGB图像传感器，2014三维影像获取单元；

300第一货品感知系统，301货品数据库生成单元，302重量值采集单元，303取放状态判断单元，304货品数据库更新单元；305货品种类推断单元；

3011初始化单元，3012信息录入单元，3013感应值初始化单元；

3031重量差值计算单元，3032重量差值判断单元，3033架板信息记录单元；3034货品种类判断单元，3035货品数量计算单元；

400第二货品感知系统，401样本采集单元，402模型训练单元，403实时图片采集单元，404货品种类获取单元，405第一摄像头，406第二摄像头；407被放货品确认单元；408取走货品确认单元；

4021样本分类单元，4022分组模型训练单元，4023交叉验证单元；

40221特征提取单元，40222候选区域生成单元，40223候选区域映射单元，40224分类器生成单元；40231测试样本输入单元，40232准确率计算单元；

4041组别标识获取单元，4042标识可信度计算单元；

40411第二特征提取单元，40412第二候选区域生成单元，40413第二候选区域映射单元，40414组别获取单元；

500购物用户判断系统，501货品信息存储单元，502架板坐标存储单元，503架板与用户匹配判断单元，504货品与用户匹配判断单元；

600购物数据库系统，601购物数据库生成单元，602购物数据库更新单元；

700纠错系统，701货品错放判断单元；

800结算系统，801总金额计算单元，802支付单元。

具体实施方式

以下参考说明书附图完整介绍本发明的优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，其保护范围并非仅限于文中提到的实施例。

在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的部件以相似数字标号表示。本发明所提到的方向用语，例如，上、下、前、后、左、右、内、外、侧面、顶部、底部、顶端、底端、末端等，仅是附图中的方向，只是用来解释和说明本发明，而不是用来限定本发明的保护范围。

当某些部件被描述为“在”另一部件“上”时，所述部件可以直接置于所述另一部件上；也可以存在一中间部件，所述部件置于所述中间部件上，且所述中间部件置于另一部件上。当一个部件被描述为“安装至”或“连接至”另一部件时，二者可以理解为直接“安装” 或“连接”，或者一个部件通过一中间部件间接 “安装至”或“连接至”另一个部件。

如图1~4所示，本实施例提供一种用于无人超市的无人售货系统，包括一封闭空间1，其内设有多个货架2，每一货架2包括支架3及可拆卸式安装在支架3上的多个托盘4，多个托盘4在不同高度彼此平行或者在同一高度彼此平齐。每一托盘4上设有多个并列设置的架板5，每一架板5上放置有至少一种货品。本实施例架板5上放置的货品需要便于用户取走或放回，因此，以架板5朝向用户的一端作为架板5的前端。

每一架板5与托盘4之间都设置有一个重量感应装置6，优选长方体形状重量传感器，其一端的下表面连接至托盘4，其另一端的上表面连接至架板5。本实施例中，每一架板5皆为一个敞口的盒体，可以被放置有一种或多种货品，所述货品为标准货品，同一种类的货品的外观和重量都相同或近似。放置于同一架板5的同种类货品具有相同的重量值，不同种类货品具有不同的重量值，每一重量值仅对应一类货品。重量感应装置6可以精准的获取架板5及其上表面货品的实时重量感应值，精确感知每个架板5的每一次重量值变化量，包括增加量或减小量。

本实施例还包括数据处理设备7，如服务器或计算机等，数据处理设备7内部设有多个数据处理软件，具有多个功能模块，可以通过数据线连接至多个硬件，以软硬件结合方式实现多种功能。

如图1、图5所示，本实施例还包括用户身份识别系统100，用以识别每一用户的身份信息。用户身份识别系统100包括门禁装置101及身份识别装置102，本实施例所述封闭空间1不是绝对密封空间，而是相对封闭的空间，封闭空间1设有出入口，优选一个用户入口103及一个用户出口104，所有用户由用户入口103进入此封闭空间1，由用户出口104离开此封闭空间1。

如图1、图5所示，封闭空间1的每一出入口处都设置有门禁装置101，优选一自动闸机。身份识别装置102用以获取用户的身份信息，包括连接至数据处理设备7的扫码装置1021以及数据处理设备7内的身份获取单元1022。扫码装置1021设置于用户入口103处的门禁装置101的内部或外部，优选设于自动闸机的外表面，用以扫描身份识别码，优选一二维码；身份获取单元1022为数据处理设备7中的一个功能模块，可以根据所述身份识别码获取用户的身份信息。用户出口104处的门禁装置101无需设置身份识别装置102。

本实施例中，每个用户将与无人超市配套使用的专用应用软件（APP）下载到移动通信终端（手机、平板电脑等）中，在应用软件（APP）中注册账号，关联至支付软件；或者，每个用户将支付软件（如微信/支付宝）下载到移动通信终端中，在支付软件中嵌入与无人超市配套使用的小程序，在支付软件中注册账号，专用应用软件（APP）或支付软件内设有用户注册信息及电子支付信息，包括用户身份信息、银行账号信息、支付密码等。注册完成后，用户身份信息会存储于数据处理设备7的用户数据库中。

移动通信终端中的应用软件（APP）可以生成一二维码，该二维码内存储有用户的身份信息等，当某一用户需要从外部进入封闭空间1时，将应用软件生成的二维码正对扫码装置1021的扫描端，扫码后扫码装置1021对此二维码进行解码处理，将解码结果传送至数据处理设备7，如果二维码是可识别的，且识别出的身份信息与预先存储在用户数据库的身份信息相匹配，确定该用户身份合法，门禁装置101打开允许该用户进入封闭空间1，用户入口103处的门禁装置101设有感应装置，如红外传感器等，当该用户进入封闭空间1之后，门禁装置101感知到有人走过门禁，然后自动关闭。当用户购物结束需要离开封闭空间1时，用户出口104处的门禁装置101感应到有人从封闭空间1内部靠近门禁装置101时，该门禁装置会自动打开，待用户离开封闭空间1后，门禁装置101感知到有人走过门禁，然后自动关闭。

身份获取单元1022根据所述身份识别码获取用户的身份信息后，数据处理设备7可以生成该用户的购物数据库，在用户购物过程中根据用户每一次购物行为获取购物信息更新该购物数据库。由于用户随身携带的移动通信终端通过应用软件（APP）与数据处理设备7进行实时数据交换，用户的购物数据库也可以显示在移动通信终端中的应用软件（APP）中，形成购物车界面，以便用户了解自己的购物记录及后续结算。

如图6、图7所示，本实施例所述目标物定位系统，包括封闭空间1、三维影像采集装置201、三维影像获取单元202及目标物坐标获取单元203，用以获取每一目标物在封闭空间1的实时位置。本实施例所述目标物为用户及其延伸部的全部或局部，所述目标物定位系统即为目标物定位系统200，用以获取用户整体或局部（如头部、手部等）的坐标集。

三维影像采集装置201包括至少一影像传感器2011，用以实时采集至少一帧三维影像。多个影像传感器2011平均分布于封闭空间1顶部，其镜头朝向下方，镜头中轴线可以与水平面垂直也可以有一定的倾角。影像传感器2011的镜头的视野范围覆盖封闭空间1的全部底面。用户在无人超市内行动或购物时，始终处于影像传感器的监视之下，此时影像传感器采集到的三维影像中包括用户影像，所述用户影像是指该用户身体及其延伸部的全部或局部的图片。如果该封闭空间内空无一人，每一时刻下的三维影像都与前一时刻下相同，可以判断该时刻下的三维影像都为背景，不包括任何用户影像。

每一影像传感器2011包括并列设置的深度图像传感器2012及RGB图像传感器2013以及三维影像整合单元2014，深度图像传感器2012连续采集多帧深度图像；RGB图像传感器2013连续采集多帧RGB图像，三维影像整合单元2014将同一影像传感器201同一时刻采集到的一帧深度图像及一帧RGB图像结合为一帧三维影像。

上述两个传感器同步采集（同时采集）且采集频率都是每秒30帧，影像传感器2011每秒可以获取30帧RGB图像及30帧深度图像，三维影像整合单元2014每秒可以连续获得30帧三维影像并传送至数据处理设备7的目标物坐标获取单元202。

目标物坐标获取单元202为数据处理设备7中的一个功能模块，在所述封闭空间内建立三维坐标系，根据连续多帧包括用户影像的三维影像实时获取所述用户在所述三维坐标系下的坐标集或坐标。目标物坐标获取单元202包括坐标系建立单元2021、参数获取单元2022、背景去除单元2023以及目标物坐标计算单元2024。

坐标系建立单元2021在所述封闭空间内建立三维坐标系，优选地，选择封闭空间底面（无人超市的地面）的中心点作为坐标系原点，在水平方向设置X轴、Y轴，在竖直方向设置Z轴。

由于用户身体的全部或部分在三维坐标系下占用较大的空间，因此可以用一个坐标集代表用户的位置，如果考虑到位置精确控制和计算方便，也可以用该坐标集中某一个特定的点的坐标代表用户的位置，例如可以采用该用户坐标集中最高的一个点（Z轴数值最大的点）的坐标来表示用户位置。

参数获取单元2022对连续多帧包括用户影像的三维影像进行处理，获取每一帧三维影像的每一像素点的位置参数和色彩参数；所述位置参数为x、y、z，代表该像素点在所述三维坐标系下的位置坐标；所述色彩参数为r、g、b，分别代表该像素点的三原色强度。当某一用户行进至任一影像传感器的视野内之后，数据处理设备7都可以以每秒30帧的速度获取多帧三维影像，每一帧三维影像中都包括用户影像和背景影像，每一像素点可能是用户的一部分也可以是背景的一部分。

在不同的影像传感器采集到三维影像中，表示用户身体及其延伸部的同样位置的像素点，其色彩参数r、g、b都是相同的。由于不同位置的影像传感器与用户的距离不同，每一影像传感器直接采集的初级位置参数都是用户身体及其延伸部上的一点相对于该影像传感器的位置坐标，因此要进行坐标变换，将不同位置的影像传感器采集的初级位置参数都转换为在所述封闭空间内建立的三维坐标系下的位置参数。

参数获取单元2022包括传感器坐标获取单元20221、相对坐标获取单元20222以及坐标修正单元20223，传感器坐标获取单元20221获取采集该帧三维影像的影像传感器的中心点（即并列设置的深度图像传感器2012及RGB图像传感器2013的镜头中心点连线的中分点）在所述封闭空间内建立的所述三维坐标系下的坐标；相对坐标获取单元20222根据所述影像传感器的中心点为第二原点建立第二三维坐标系，其X轴、Y轴及Z轴的方向与所述三维坐标系相同，从所述三维影像获取每一像素点在所述第二三维坐标系下的坐标；坐标修正单元20223用以根据所述影像传感器中心点在所述三维坐标系下的坐标及所述三维影像中每一像素点在第二三维坐标系下的坐标，计算并修正所述三维影像的每一像素点在所述三维坐标系下的坐标，从而获得用户及其延伸部的每一像素点的位置参数。

在连续采集的M帧三维影像中，每一帧三维影像包括且仅包括一个用户的影像，若分属于不同三维影像、位置参数相同的N个像素点的色彩参数相同时，且N大于0.9*M且小于或等于M，背景去除单元2023判定该N个像素点为背景像素点，从所述M帧三维影像中去除N个所述背景像素点，获得M帧无背景三维影像，即为该用户的影像。在连续获取的三维影像中，如果分属于不同三维影像的、位置参数相同的像素点的色彩参数相同，或者大部分（如90%）相同，即可认定像素点的位置为背景，从而可以将该像素点从相应的三维影像中去除。

在目标物坐标计算单元2024中，若目标物为用户及其延伸部全部，所述M帧无背景三维影像中所有像素点的位置参数的集合即为所述用户及其延伸部的全部的坐标集；在所述坐标集中，参数z最大的像素点的位置参数被定义为用户的坐标。在连续获取的三维影像中，去除背景像素点后，剩下的像素点即可代表该用户整体的行进轨迹。若连续采集的M帧三维影像中，每一帧三维影像包括多个用户的影像，需要先在每一M帧三维影像截取只含一个用户全部或部分的三维影像。

若目标物为用户及其延伸部的局部，可以获取所述用户局部的坐标集，如头部、肩部、肘部、腕部、手部等。深度图像传感器2012及RGB图像传感器2013分别设有一个镜头，深度图像传感器2012的镜头与RGB图像传感器2013的镜头并列设置且彼此相邻，如果将两个镜头的中轴线垂直水平面设置，两个镜头就会俯视封闭空间内的货品及用户。正常情况下，两个镜头可以捕捉到用户头部及肩部的位置坐标集，当用户伸出手时，也可以捕捉到用户臂部、肘部、腕部、手部的位置坐标集。如果将某一时刻下该用户的头部、肩部、肘部、腕部、手部都连成一条折线或曲线，即可将用户的手部与头部位置建立对应关系，也就是说，可以实时获取到某一手部的位置，同时可以判断出该手部属于哪一用户。

进一步地，影像传感器2011的视野范围也可以覆盖出入口外部的部分空间，当用户在出入口外部时，该用户的影像就可以被影像传感器2011获取到。用户使用所述无人售货系统的全部过程，包括出入口处身份识别过程、进入封闭空间1的过程、在封闭空间1内行走或驻留过程、离开封闭空间1过程，全部处于影像传感器2011的监控下，可以实时监控已知身份的某一用户及其身体的一部分在封闭空间1内的实时位置。扫码装置1021读取用户的二维码时，数据处理设备7即可获取其身份信息，影像传感器2011从扫码装置1021读码时开始定位及实时跟踪该用户位置，监控该用户是否与某一货架匹配。当影像传感器2011无法获取该用户的实时三维影像时，可以认定该用户购物结束，从而对其进行结算。

本实施例还包括货品监控系统，用以实时监控每一种货品的取放状态，所述取放状态包括货品静置状态、被取走状态及被放回状态；进一步地，当任一种类货品被取走或被放回时，获取被取走或被放回的货品的种类及数量。

所述货品监控系统包括第一货品感知系统300，其为一种基于重量监测的货品感知系统，如图8所示，其包括货品数据库生成单元301、重量值采集单元302、取放状态判断单元303以及货品数据库更新单元304。上述四个单元为数据处理设备7中的功能模块，与设有重量感应装置6的货架1配合工作，可以监控每一架板5的实时重量感应值，判断是否有货品被取走或被放回。

货品数据库生成单元301用以生成一货品数据库；货品数据库包括每一货品的货品信息及用以放置货品的每一架板的重量感应值，所述货品信息包括货品的种类、单品重量值以及货品对应的架板编号与货架编号，还包括货品的编号货品名、型号、净含量及单价等。

货品数据库生成单元301包括初始化单元3011、信息录入单元3012以及感应值初始化单元3013。初始化单元3011用以对一货品数据库进行初始化处理，在数据处理设备7的存储器中建立货品数据库。信息录入单元3012用以录入每一货品的重量值及货品信息，并将其存储至所述货品数据库，利用键盘或扫码器将无人超市货架上的每一种货品的重量值都录入所述货品数据库。感应值初始化单元3013用以采集每一架板被放置货品后的重量感应值，并将其存储至所述货品数据库。

在无人超市布置过程中，优选地，在每一架板5上摆放种类相同、重量相同的多个货品之后，货品信息被录入至数据处理设备7，并存储于货品数据库中。以某品牌饮料为示例，某一架板上摆放有8瓶某品牌饮料，架板的重量为100克，每瓶饮料重量为200克，在初始化后货品数据库中该架板的感应重量值为1700克，该品牌饮料对应的产品名称（某凉茶）、净含量（195ml）、产地（广东）、单价（5元）、单品重量值（200克）、货架编号（1）、架板编号（1-12）、商品编号（025）等信息也被存储在所述货品数据库内。

重量值采集单元302通过数据线分别连接至每一架板5内的重量感应装置6，用以实时采集每一架板5的实时重量感应值，优选地，采集时间间隔为0.1-0.2秒。所述实时重量感应值为重量传感器的感应数值，在货品被摆放至架板5之前，代表每一架板的重量；在货品被摆放至架板5之后，代表该架板及该架板上货品的总重量值；当有货品被取走或被放回至架板5时，实时重量感应值会发生变化。

为了减小误差，在架板5上正式摆放货品之前，需要先进行校准处理，用多种不同重量的标准砝码计算重量传感器的感应值X与架板上方放置物品的实际重量值Y之间的对应关系。例如，先将架板空置，获取重量感应装置6（重量传感器）的感应值X0，此时架板上货品重量Y0=0克；再用重量值为500克、1000克的标准砝码分别放置在架板上，获取重量感应装置6（重量传感器）的感应值X1、X2，对应的架板上货品重量Y1=500克，Y2=1000克。利用公式Y（货品重量值）= k * X（传感器值）+ b，计算并存储三组参数k、b的数值，选择其中偏差较小的参数组。在后续的实时监控过程中，重量感应装置6（重量传感器）每次实时采集到的传感器值，结合参数k、b的数值，即可以计算出每一架板上既有货品的总重量。

取放状态判断单元303用以判断每一架板的重量感应值是否发生变化，若变小，判定该架板上有货品被取走；若变大，判定有物品被放置于该架板上；若完全不变，说明该架板上的货品完全没有变化，重量值采集单元302重新进行实时采集。取放状态判断单元303包括重量差值计算单元3031、重量差值判断单元3032以及架板信息记录单元3033。

重量差值计算单元3031计算实时采集的每一架板的实时重量感应值与所述货品数据库内存储的同一架板的重量感应值的差值，记录为每一架板的重量差值。例如，前述示例中，若放置前述某品牌饮料的架板重量发生变化，变为1300克或1900克，分别记录重量差值为-400克或200克。

重量差值判断单元3032将至少一架板的重量差值与0对比；当一架板的重量差值小于0时，判定该架板上有货品被取走；当一架板的重量差值大于0时，判定该架板上有物品被放置，此时不能确定该物品是否为用户之前从货架上取走的货品，也可能是用户的随身物品。例如，前述示例中，重量差值为-400克，即可认定有货品被取走；重量差值为200克，即可以认定有物品被放置在货架上。

当一架板的重量差值大于0或小于0时，架板信息记录单元3033记录该架板的架板编号以及该架板的重量差值。例如，若前述示例中的重量差值-400克，已知该架板重量减少，记录该架板的编号（1-12）。若前述示例中的重量差值200克，已知该架板初始状态下的重量感应值为1700克，此时被放置在该架板上的物品必然不是原货架上的商品，因此很可能是原属于其他架板上的商品或者是用户的随身物品，此时可选择地生成一个报警信号，提醒管理人员或用户，必要时，可以将该架板的架板编号显示在某一显示器上，以便管理人员或用户及时处理。

取放状态判断单元303还包括货品种类判断单元3034及货品数量计算单元3035。当一架板的重量差值小于0时，货品种类判断单元3034根据该架板编号及所述货品数据库内存储的该架板对应的货品信息判断被取走货品的种类。例如，已知该架板的编号（1-12），如果每一架板上只放置一种货品，可以判断该货品种类为某凉茶，也可以对应找出其他货品信息，如单品重量值（200克）、净含量（195ml）、产地（广东）、单价（5元）等。如果该架板被放置多种货品，只能根据重量差值初步判断出被取走货品可能的种类及数量。

当一架板的重量差值小于0时，如果每一架板上只放置一种货品，货品数量计算单元3035计算一架板的重量差值的绝对值与所述货品数据库内存储的该架板上单一货品重量值的比值，利用四舍五入法对该比值进行取整处理，获得的整数即为被取走货品的数量。例如，前述示例中的重量差值-400克，其绝对值为400克，与单品重量值（200克）的比值为2，因此该比值即为被取走货品的数量。由于同种类的多个货品之间也可能存在较小的重量差值，直接计算之后的比值不一定为整数，可能为趋近于某个整数，因此需要利用四舍五入法对该比值进行取整处理，从而可以判断出被取走货品的种类及数量。

在理想状态下，用户素质都比较高，每一次放回货品时都能将该货品正确放回至该货品原属货架。或者，在无人超市墙壁上提醒用户，错放货品会导致购物记录出错，支付金额会超过实际消费金额，迫使所有用户在每一次放回货品时都能将该货品正确放回至该货品原属货架。当一架板的重量差值大于0时，货品种类判断单元3034根据该架板编号及该架板对应的货品信息判断被放回货品的种类。货品数量计算单元3035计算该架板的重量差值的绝对值与该架板对应的货品的单品重量值的比值，利用四舍五入法对该比值进行取整处理，获得的整数即为被放回货品的数量。

货品数据库更新单元304用以存储所述实时重量感应值至所述货品数据库，形成新的重量感应值，以更新所述货品数据库中每一架板的重量感应值，以待下次调用和判断。

本实施例所述第一货品感知系统300的有益效果在于，提供一种基于重量监测的货品感知方案，可以实时监测货架上货品的实时重量感应值，实时感知每一架板的重量变化，由货架上所有架板的重量变化推断出有哪一种货品被取走或被放回，还可以判断被取走或被放回货品的种类和数量。

单独使用第一货品感知系统300的不足之处在于，每一用户需要放回某货品时，必须将货品放回其原属位置，一旦出现错放现象，货品监控系统就会出错，无法准确判断被取走或被放回的货品种类及数量，从而导致用户的购物记录与实际购物情况不符，严重影响用户结算。因此，本发明提供了第二货品感知系统400，对被取走或被放回的货品进行二次判断。

如图9所示，所述货品监控系统还包括第二货品感知系统400，其为一种基于影像监测的货品感知系统，其包括样本采集单元401、模型训练单元402、实时图片采集单元403以及货品种类获取单元404，上述四个单元为数据处理设备7中的功能模块，基于影像监测的货品感知系统400可以监控货架前方空间的实时影像，判断被取走或被放回的货品的种类。

基于影像监测的货品感知系统400还包括第一摄像头405及第二摄像头406，第一摄像头405连接至数据处理设备7中的样本采集单元401，用以拍摄每一货品多个角度多个距离的图片。第二摄像头406连接至数据处理设备7中的实时图片采集单元403，用以拍摄一货架前方空间的实时图片。

如图10所示，优选地，第二摄像头406的数量为两个或四个，设置于货架2的外部，每一第二摄像头406朝向货架2的一个角落处。货架2的多个架板5的最前端位于同一平面上，该平面称之为货架平面，第二摄像头406设有镜头，该镜头的视野范围覆盖所述货架前方空间；当货品被从所述货架上被取下或者被放置在货架上时，所述货品被取下过程或被放回过程的影像被所述第二摄像头拍摄到。所述货架前方空间是指货架前方对应货架平面的空间区域，所述货架前方空间一般是指货架前方30~50厘米宽度的区域范围，每一个第二摄像头406的镜头朝向所述货架前方空间的中心区域。

优选地，第二摄像头406的镜头的中轴线与水平面夹角为30-60度；和/或，第二摄像头406的镜头与货架2上端或下端的距离为0.8-1.2米；和/或，第二摄像头406的镜头与货架2一侧边的距离为0.8-1.2米，确保第二摄像头406的视野范围可以完全覆盖货架前方空间，当货品被从货架2上被取下或者被放置在货架2上时，取下过程或放置过程的影像被第二摄像头406拍摄到。

如图9所示，样本采集单元401用以采集至少一组图片样本，每一组图片样本包括一种货品在多角度下的多张样本图片；同一种类货品的一组图片样本被设有相同的组别标识，该组别标识代表该组图片样本对应的货品的种类。优选地，第一摄像头405对货架2上每种货品需要拍摄不同角度不同距离的3000~5000张图片，并传送至数据处理设备7的样本采集单元401。这些图片中，有些是独立拍摄货品的图片，有些是有背景的货品图片，有些是货品被某人拿在手中的图片，有些是多个同类产品叠放在一起的图片。由于本实施例涉及的无人超市中所销售的货品为标准货品，同一种类货品的外观六面图都是相同或相近似的，因此在同一种类货品中只要选择一个或几个产品，对其进行多次拍照处理即可完成该类货品训练样本的采样。

模型训练单元402用以根据多组图片样本中的每一样本图片及每一样本图片的组别标识训练卷积神经网络（CNN）模型，获取货品识别模型。卷积神经网络（ConvolutionalNeural Network，简称CNN）是一种前馈神经网络，对于大型图像处理有出色表现。优选地，本实施例中的卷积神经网络模型是目前运算量最小、响应速度最快的Faster RCNN 网络模型，该模型的最快响应速度只要0.2秒左右，可以在极短的时间准确识别出图片的物品的种类及数量。如果模型训练的样本较少，或者，样本的清晰度比较低，只训练一次获得的分组模型在判断图片中显示的货品的种类时可能误差较大，因此最好能有交叉验证的过程，可以获得更加精确的模型。模型训练单元402包括样本分类单元4021、分组模型训练单元4022以及交叉验证单元4023。

样本分类单元4021将多组所述图片样本随机分成两类，分别为训练样本和测试样本；分组模型训练单元4022将多组训练样本的每一样本图片及其组别标识输入至卷积神经网络模型，经训练后获取分组模型；交叉验证单元4023用以根据多组测试样本的每一图片及每一组测试样本的组别标识对所述分组模型进行验证，计算模型准确率；当所述分组模型的准确率小于预设阈值（如90%）时，返回所述样本分类单元；当所述分组模型的准确率大于或等于所述预设阈值（如90%）时，所述分组模型为货品识别模型。如果模型训练的样本较少，或者，样本的清晰度比较低，只训练一次获得的分组模型，在判断图片中显示的货品的种类时可能误差较大，因此最好能有交叉验证单元。

如果模型训练的样本够多，样本的清晰度比较高，直接训练一次，就可以利用Faster RCNN 网络模型训练出一个分组模型，该分组模型可以有效判断图片中显示的货品的种类。在其他实施例中，模型训练单元402可以只包括分组模型训练单元4022，将样本采集单元401采集的多组图片样本的全部或部分作为训练样本，将每一样本图片及其组别标识输入至卷积神经网络模型，经训练后获取分组模型，所述分组模型即为货品识别模型。

分组模型训练单元4022包括特征提取单元40221、候选区域生成单元40222、候选区域映射单元40223以及分类器生成单元40224。特征提取单元40221将每一训练样本的图片输入卷积神经网络，进行特征提取，获取特征图像（feature map），该特征图像对应训练图片中显示全部或部分货品的区域；候选区域生成单元40222将每一训练样本的图片输入候选区域网络（RPN），生成多个候选区域（region proposals）；候选区域映射单元40223把每一训练样本的图片候选区域映射到卷积神经网络最后一层卷积层的特征图像上；分类器生成单元40224收集多个训练样本的图片特征图像和候选区域，计算出候选区域的特征图像，并送入分类器网络（classfier 网络），生成分类器。在该分类器网络中，将对应同一货品的所有训练样本图片的特征图像与该货品的组别标识形成对应关系，该组别标识即为该组图片样本对应的货品的种类。

交叉验证单元4023包括测试样本输入单元40231，准确率计算单元40232，测试样本输入单元40231将多个测试样本的每一图片输入至所述分组模型，获取多个测试样本的测试组别标识；准确率计算单元40232将多个测试样本的测试组别标识与所述测试样本的组别标识对比，计算相同标识的数量与所述测试样本的数量的比值，该比值即为所述初级数据模型的准确率。优选地，将预设阈值设置为90%，当分组模型的准确率小于90%时，样本分类单元4021将样本重新分组、重新训练；当所述分组模型的准确率大于或等于90%时，可以认为所述分组模型即为货品识别模型。

实时图片采集单元403用以连续采集货架前方空间的至少一实时图片，每一实时图片包括一个或多个货品图片的部分或全部。实时图片采集单元403连接至多个第二摄像头406，设置于所述货架的边缘处，实时拍摄一货架前方区域的图片。当有用户从货架的某一架板上取走货品时，或者，当有用户放置货品或物品至货架的某一架板时，第二摄像头406可以拍摄到货品在货架前的图片，该图片中包括此货品的全部或局部的照片，显示该货品的形状、图案及色彩。优选地，第二摄像头的拍摄速度为每秒30帧，快速获取该货品的多张实时图片，传送至实时图片采集单元403。

在连续获取的多帧图片中，每一帧图片中货品与货架边缘处的距离都是不同的，数据处理设备7可以计算所述距离的变化判断货品与货架距离变化，如果所述距离变大，可以认为货品被从货架上取走，如果所述距离变小，可以认为货品被放置在货架上。

假设用户手持货品在货架前方停留1秒钟，二个第二摄像头406以每秒30帧的速度拍摄图片，可以在1秒钟内获取不同角度的60张实时图片，每一图片的显示内容可以包括用户的手部及货品的局部。如果实时图片中不包含任何货品内容，例如某些货品体型较小，某些图片中只能显示用户的手部，或者，某些图片只显示背景影像，这样的图片可以筛除。本实施例不能适用于尺寸极小的货品，如果货品完全被用户手部包住，就不能识别出货品种类。

第二摄像头406可以为长时间持续运行的设备，也可以在货架板上设置一个红外开关，连接至第二摄像头406，平时为断电状态，当有用户行进至货架附近时，红外开关感应到热量并连通，第二摄像头406通电启动；当用户离开时，红外开关感应到不到热量从而断开，第二摄像头406断电关闭。

货品种类获取单元404用以根据所述实时图片及所述货品识别模型获取所述实时图片中显示的货品的种类及数量。货品种类获取单元404包括组别标识获取单元4041以及标识可信度计算单元4042。

组别标识获取单元4041获取多幅包含某一货品内容的实时图片，将其输入至所述货品识别模型，获取该模型输出的、多个实时图片所对应的多个组别标识，作为可能性结论。组别标识获取单元4041包括第二特征提取单元40411、第二候选区域生成单元40412、第二候选区域映射单元40413以及第二组别获取单元40414。第二特征提取单元40411将一实时图片输入卷积神经网络，进行特征提取，获取特征图像；第二候选区域生成单元40412将所述实时图片输入候选区域网络，生成多个候选区域；第二候选区域映射单元40413把所述实时图片的候选区域映射到卷积神经网络最后一层的特征图像上；组别获取单元40414收集多个图片的特征图像和候选区域，计算出候选区域的特征图像，并送入分类器网络，获取该实时图片所对应的组别标识。每一实时图片输入至所述货品识别模型之后，都可以判断出该图片对应的组别标识，如果两个第二摄像头以30帧/秒的速度采集到60张图片，且每一图片上都有显示某货品，将其输入货品识别模型，就可以获取60个组别标识。

标识可信度计算单元4042计算所述可能性结论中所述可能性结论中每一种组别标识的数量与所述可能性结论中全部组别标识总数的比值，该比值即为每一种组别标识的可信度，可信度最大的组别标识所对应的货品的种类和/或数量即为所述实时图片上显示的货品的种类和/或数量。对比上述的60个组别标识，如果与60个组别标识相应的60个货品种类中，出现货品A的次数为36，出现货品B的次数为18，出现货品C的次数为6，则三者的可信度分别为60%、30%及10%，可以认定所述实时图片上所显示的货品的种类为可信度最高的货品A。如果样本采集单元401采集的图片样本中包括多个同类货品叠放在一起的照片，货品种类获取单元404还可以进一步判断货品的数量。

本实施例所述第二货品感知系统400的有益效果在于，可以实时监测货架前方空间的影像，判断是否有货品被从货架上取走或被放回至货架，利用机器学习中的卷积算法推断出货品的种类及数量的可能性结论，并选择其中可信度最高的结果作为最后结论。

如图11所示，本实施例还包括购物用户判断系统500，其为数据处理设备7中的功能模块，当任一种类货品被取走或被放回时，根据所述用户的身份信息及所述用户的实时位置获取取走或放回货品的用户身份。购物用户判断系统500包括货品信息存储单元501、架板坐标存储单元502、架板与用户匹配判断单元503以及货品与用户匹配判断单元504。

第一货品感知系统300中的货品数据库生成单元301及货品数据库更新单元304生成或更新的货品数据库皆存储于货品信息存储单元501中。

目标物定位系统200在所述封闭空间内建立三维坐标系，由于货架1及架板5的位置确定，因此建立坐标系后即可获取各个货架1及各个架板5的坐标，货架坐标集及架板坐标集存储于架板坐标存储单元502中，设置架板上方的用以放置货品的架板空间的高度，即可获取所述架板空间的坐标集。

目标物坐标获取单元202可以获取每一用户手部的实时坐标集，当一架板5上方的架板空间的坐标集与一用户手部坐标集有交集时，架板与用户匹配判断单元503判定该架板5与该用户匹配，可以认为该用户将手部伸入至该架板5上方的架板空间，用户的行为可能是取走货品或者放回货品。当有货品从一架板上被取走或被放置到一架板上时，且同一时刻下有一用户与该架板匹配，货品与用户匹配判断单元504判定该货品与该用户匹配，该货品在这一时刻被该用户从该架板上取走或放置到该架板上，从而确定该用户的身份。

如图12所示，本实施例还包括购物信息记录单元600，其为数据处理设备7中的功能模块，根据每一用户的身份信息生成至少一购物数据库，用以记录每一用户取走至少一货品的种类及数量。购物信息记录单元600包括购物数据库生成单元601以及购物数据库更新单元602。

当一用户的身份被用户身份识别系统100识别时，购物数据库生成单元601根据所述用户的身份信息在数据处理设备7中生成该用户的购物数据库，初始状态下的购物数据库无任何购物信息。

购物数据库更新单元602根据被取走货品的种类及数量以及取走货品的用户的身份信息生成一组购物信息，并存储至该用户的购物数据库，该购物信息中包括此刻被取走货品的种类及数量，以及该货品的货品信息，如货品名、型号、净含量及单价，等等。用户在封闭空间1内多次取走货品之后，其购物数据库内包括多组购物信息，由于用户随身携带的移动通信终端与数据处理设备7以无线通信方式连接并进行数据交换，因此，购物数据库中的购物信息也可以显示在用户的移动通信终端的APP界面上。

当任一货品与一用户匹配时，如果某一架板5的实时重量感应值减小，说明有货品从该架板上被取走，货品种类判断单元3034根据所述货品数据库内存储的货品信息及重量差值小于0的架板编号判断被取走货品的种类及数量，购物数据库更新单元602根据取货用户的身份、被取走货品的种类及数量生成购物信息，存储至该用户的购物数据库中。

当任一货品与一用户匹配时，如果某一架板5的实时重量感应值增大，说明有货品被放回该架板上，货品种类判断单元3034根据所述货品数据库内存储的货品信息及重量差值大于0的架板编号判断被放回货品的种类及数量。购物数据库更新单元602根据放回货品用户的身份、被取走货品的种类及数量生成归还信息，从该用户的购物数据库中删除与所述归还信息相应的购物信息。

第一货品感知系统300、第二货品感知系统400、购物用户判断系统500以及购物信息记录单元600可以互相配合工作，当有物品被放回货架时，利用重量监测技术和影像监测技术两次判断被放回物品的种类及数量，判断是否出现错放现象，所述错放现象是指被放回货品与被放回货架上原有货品不一致的现象。如果出现错放现象，记录被错放架板的架板编号，当被错放架板上有货品被取走时，进一步判断被取走货品的种类及数量。

如图13所示，本实施例还包括纠错系统700，包括第一货品感知系统300、第二货品感知系统400、购物用户判断系统500以及购物信息记录单元600中的一部分功能模块。

如图8、图13所示，第一货品感知系统300还包括货品种类推断单元305，当出现错放现象时，根据放回货品用户的购物数据库及架板重量差值推断被放回货品可能的种类及数量。如图8、图12所示，第二货品感知系统400还包括被放货品确认单元407以及取走货品确认单元408，当出现错放现象时，被放货品确认单元407确认被错放货品的种类及数量；当被错放架板上有货品被取走时，取走货品确认单元408确认被错放架板上被取走货品的种类及数量。

当取放状态判断单元303判断出一架板的重量差值大于0时，且架板与用户匹配判断单元503判定该架板5与一用户匹配，可以确定有货品被该用户放回至该架板。

当货品被一用户放回至一架板时，货品种类推断单元305判断该用户的购物数据库中至少一种已购货品的重量值总和与该架板的重量差值是否相等。若是，推断出被放回货品的种类及数量的R种可能性结论；若否，推断出放置于该架板上的物品为该用户的随身物品，将该架板的重量差值记录为随身物品的重量值S。由于用户购物数据库中的货品种类和数量都比较少，数据处理设备7很快会计算出被放回货品可能的种类及数量。例如，若该架板的重量差值为200克，且已购货品中有两个100克的货品A及四个50克的货品B，可以初步判断被放回该架板的物品可能是2个货品A，或者1个货品A及2个货品B，或者4个货品B。若该架板的重量差值为50克，但该用户已购货品的重量都在100克以上，可以推断该物品并非货架上原有货品，而是该用户的随身物品，记录其架板编号及其重量值S=50克，将其存储至货品信息存储单元501中的货品数据库。

当货品被一用户放回至一架板时，货品种类获取单元404根据所述货架前方空间的实时图片及一货品识别模型获取被放回货品的种类及数量的T种可能性结论，并记录每种可能性结论的可信度。

被放货品确认单元407对比货品种类获取单元404获取被放回货品的种类及数量的T种可能性结论与货品种类推断单元305推断出的被放回货品的种类及数量的R种可能性结论，若所述T种可能性结论与所述R种可能性结论中有至少一可能性结论相同，一组或多组相同可能性结论中可信度最大的可能性结论所对应的货品的种类及数量即为被放回货品的种类及数量。例如，货品种类推断单元305有三种可能性结论，分别为2个货品A，或者1个货品A及2个货品B，或者4个货品B；同时，货品种类获取单元404有两种可能性结论，分别为2个货品A，或者1个货品A及2个货品Ｃ；两组结果中只有一个可能性结论是相同的，即2个货品A，从而可以确认被放回货品的种类为货品A，其数量为2个。如果对比后有两组以上的可能性结论是相同的，选择其中可信度最大的可能性结论作为最终结论。

纠错系统700还包括货品错放判断单元701，当物品被一用户放回至一架板时，货品错放判断单元701对比所述被放回货品的种类与货品数据库中该架板对应的货品种类，若被放回货品中仅有一种货品，且与该架板对应的货品种类相同，说明用户放回位置正确，无错放现象。若被放回货品中有至少一种货品与该架板对应的货品种类不同，货品错放判断单元701记录该架板为错放架板，记录被错放货品的货品信息及该架板编号，可以将其存储至货品信息存储单元501中的货品数据库。

当货品被从一错放架板取走时，货品种类推断单元305根据该架板编号、该架板对应的货品信息、被错放货品的货品信息以及该架板的重量差值推断被取走货品的种类及数量的U种可能性结论。例如，若该错放架板的重量差值为-100克，且该架板上原有货品C的单品重量为50克，但是被用户误放了其他架板上的2个货品A，其单品重量为100克，那么此时货品种类推断单元305有两种可能性结论，分别为2个货品C或者一个货品A。

当货品被从一错放架板取走时，货品种类获取单元404根据所述货架前方空间的实时图片及一货品识别模型获取被取走货品的种类及数量的V种可能性结论，并记录每种可能性结论的可信度。

取走货品确认单元408对比货品种类获取单元404获取被取走货品的种类及数量的V种可能性结论与货品种类推断单元305推断出的被取走货品的种类及数量的U种可能性结论，若所述V种可能性结论及所述U种可能性结论中有至少一可能性结论相同，相同可能性结论中可信度最大的可能性结论所对应的货品的种类及数量即为被取走货品的种类及数量。

例如，货品种类推断单元305有两种可能性结论，分别为2个货品C或者1个货品A；同时，货品种类获取单元404有三种可能性结论，分别为2个货品B或者1个货品A，或者4个货品D；两组结果中只有一个可能性结论是相同的，即1个货品A，从而可以确认从误放货架上被取走货品的种类为货品A，其数量为1个。如果对比后有两组以上的可能性结论是相同的，在这些可能性结论中选择可信度最大的可能性结论作为最终结论。

每次确定被取走的货品的种类及数量之后，购物数据库更新单元602将生成的购物信息写入取走货品用户的购物数据库；每次确定被放回的货品的种类及数量之后生成相应的归还信息，购物数据库更新单元602从放回货品用户的购物数据库中删除与所述归还信息相应的购物信息，使得购物数据库中的货品的种类及数量与用户购买的货品的种类及数量一致。

如图14所示，本实施例还包括结算系统800，其为数据处理设备7中的功能模块，用以根据所述用户的购物数据库中所有货品的种类及数量结算费用。用户购物过程结束后，可以自行从出入口的门禁装置处离开封闭空间1。当目标物定位系统200的影像传感器2011无法获取该用户的实时三维影像时，可以认定该用户购物结束，结算系统800为该用户结算费用。

结算系统800包括总金额计算单元801及支付单元802。当所述用户离开所述封闭空间时，总金额计算单元801根据所述用户的购物数据库中全部货品的种类及数量计算总金额，由于每一种类货品的单价作为货品信息预存在数据处理设备7中，因此多种货品单价与数量的乘积的总和的金额即为该用户需要支付的总金额。进一步地，在其他实施例中，用户可以享受到货品折扣或使用优惠券、抵用券等，用户需要支付的总金额为多种货品单价与数量的乘积的总和的金额内减去优惠券和/或抵用券金额和/或折扣金额。支付单元802为结算系统800自带的支付软件或第三方支付软件，可以从所述用户的银行账户或电子账户上扣款，扣除的款项金额与该用户需要支付的总金额相同。

基于前文所述的无人售货系统，本实施例还提供一种无人售货方法，如图15所示，包括如下步骤S1）~S7）。

步骤S1）架板设置步骤，在封闭空间内设置货架，每一货架设置多个托盘，每个托盘上设有多个并列设置的架板，每一架板上放置有货品。优选地，所述封闭空间设有两个出入口，一个为用户入口，一个为用户出口；优选地，每一架板上只放置同一种类的货品。

步骤S2）用户身份识别步骤，用以识别每一用户的身份信息。如图16所示，步骤S2）所述用户身份识别步骤包括：步骤S21）门禁设置步骤，在所述封闭空间的出入口设置门禁装置；以及步骤S22）身份识别步骤，用以获取用户的身份信息。如图17所示，步骤S22）身份识别步骤包括：步骤S221）扫码步骤，设置于所述门禁装置内部或外部，用以扫描身份识别码；以及步骤S222）身份获取步骤，用以根据所述身份识别码获取用户的身份信息。

步骤S3）目标物定位步骤，用以获取每一目标物在所述封闭空间的实时位置，所述目标物为用户及其延伸部的全部或局部。如图18所示，步骤S3）用户定位步骤包括：步骤S31）三维影像采集步骤，用以实时采集至少一帧三维影像，所述三维影像中包括至少一用户的全部或部分的图像；步骤S32）用户坐标获取步骤，用以在所述封闭空间内建立三维坐标系，根据所述至少一帧三维影像实时获取所述用户在所述三维坐标系的坐标集或坐标。如图19所示，步骤S31）三维影像采集步骤包括如下步骤：步骤S311）影像传感器设置步骤，在所述封闭空间顶部设置多个影像传感器，所述影像传感器的镜头朝向下方，多个影像传感器的视野范围覆盖所述封闭空间的全部底面。每一影像传感器2011包括并列设置的深度图像传感器2012及RGB图像传感器2013。步骤S312）原始图像采集步骤，用以实时同步采集至少一帧深度图像及至少一帧RGB图像。步骤S313）三维影像整合步骤，将同一影像传感器同一时刻采集到的深度图像及RGB图像结合为一帧三维影像；重复步骤S312）原始图像采集步骤及步骤S313）三维影像整合步骤，连续整合多帧三维影像。

步骤S4）货品监控步骤，用以实时监控每一货品的取放状态，当任一货品被取走或被放回时，获取被取走或被放回的货品的种类及数量。步骤S4）货品监控步骤包括步骤S41）第一货品感知步骤以及步骤S42）第二货品感知步骤。

如图20所示，步骤S41）第一货品感知步骤为基于重量监测的货品感知方法，包括步骤S411）货品数据库生成步骤，用以生成一货品数据库；所述货品数据库包括每一货品的货品信息及用以放置货品的每一架板的重量感应值；所述货品信息包括货品的种类、单品重量值以及货品对应的架板编号；步骤S412）重量值采集步骤，用以实时采集每一架板的实时重量感应值；步骤S413）取放状态判断步骤，用以判断每一架板的重量感应值是否发生变化，若变小，判定该架板上有货品被取走；若变大，判定有物品被放置于该架板上；步骤S414）货品数据库更新步骤，用以存储所述实时重量感应值至所述货品数据库，以更新所述货品数据库中每一架板的重量感应值，返回步骤S412）重量值采集步骤。

如图21所示，步骤S413）取放状态判断步骤包括：步骤S4131）重量差值计算步骤，用以计算实时采集的每一架板的实时重量感应值与所述货品数据库内存储的同一架板的重量感应值的差值，记录为每一架板的重量差值；步骤S4132）重量差值判断步骤，用以将至少一架板的重量差值与0对比；当一架板的重量差值小于0时，判定该架板上有货品被取走；当一架板的重量差值大于0时，判定该架板上有物品被放置；以及步骤S4133）架板信息记录步骤，当一架板的重量差值大于0或小于0时，用以记录该架板的架板编号以及该架板的重量差值。

如图21所示，当同一架板上所有货品种类相同且重量相同时，步骤S413）取放状态判断步骤还包括步骤S4134）货品种类判断步骤，当一架板的重量差值小于0时，用以根据该架板编号及所述货品数据库中存储的该架板对应的货品信息判断被取走货品的种类；以及步骤S4135）货品数量计算步骤，当一架板的重量差值小于0时，用以计算一架板的重量差值的绝对值与所述货品数据库中存储的该架板对应的货品的单品重量值的比值，利用四舍五入法对该比值进行取整处理，获得的整数即为被取走货品的数量。

步骤S42）第二货品感知步骤为基于影像监测的货品感知方法，如图22所示，包括：步骤S421）样本采集步骤，用以拍摄每一货品多个角度多个距离的照片，作为至少一组图片样本，每一组图片样本包括一种货品在多角度下的多张样本图片；同一种类货品的一组图片样本被设有相同的组别标识，该组别标识即为该组图片样本对应的货品的种类；步骤S422）模型训练步骤，用以根据多组图片样本的每一样本图片及每一样本图片的组别标识训练卷积神经网络模型，获取货品识别模型；步骤S423）实时图片采集步骤，用以连续拍摄一货架前方区域的至少一实时图片，每一实时图片包括一货品影像的部分或全部；以及步骤S424）货品种类获取步骤，用以根据所述实时图片及所述货品识别模型获取所述实时图片中显示的货品的种类。步骤S424）执行完毕后，返回步骤S423）实时图片采集步骤，以待下一次有货品被取走或被放回时，及时拍摄到货品图片。

步骤S5）购物用户判断步骤，当任一货品被取走或被放回时，用以根据所述用户的身份信息及所述用户的实时位置获取取走或放回货品的用户身份。如图23所示，步骤S5）购物用户判断步骤包括：步骤S51）货品信息存储步骤，用以存储货品数据库，包括每一货品信息；步骤S52）架板坐标存储步骤，在所述封闭空间内建立三维坐标系，用以存储货架坐标集及架板坐标集，设置架板上方的架板空间的高度，获取所述架板空间的坐标集；步骤S53）架板与用户匹配判断步骤，当一架板上方的架板空间的坐标集与一用户手部坐标集有交集时，判定该架板与该用户匹配；步骤S54）货品与用户匹配判断步骤，当有货品从一架板上被取走或被放置到一架板上时，且同一时刻下有一用户与该架板匹配，判定该货品与该用户匹配。

步骤S6）购物信息记录步骤，根据每一用户的身份信息生成至少一购物数据库，用以记录每一用户取走至少一货品的种类及数量。如图24所示，步骤S6）购物信息记录步骤包括：步骤S61）购物数据库生成步骤，当一用户的身份被识别时，用以根据所述用户的身份信息生成该用户的购物数据库；以及步骤S62）购物数据库更新步骤，当货品被取走时，根据被取走货品的种类及数量以及取走货品的用户的身份信息生成购物信息，且存储至该用户的购物数据库中；当货品被放回时，根据被放回货品的种类及数量以及放回货品的用户的身份信息生成归还信息，从该用户的购物数据库中删除与所述归还信息相应的购物信息。

步骤S7）结算步骤，用以根据一用户的购物数据库中全部货品的种类及数量结算费用。如图25所示，步骤S7）结算步骤包括：步骤S71）总金额计算步骤，当一用户离开所述封闭空间时，用以根据所述用户的购物数据库中全部货品的种类及数量计算需要支付的总金额；以及步骤S72）支付步骤，用以从所述用户的银行账户或电子账户上扣款，扣除的款项金额与所述总金额相同。

进一步地，本发明步骤S4）货品监控步骤还可以包括如下步骤：步骤S43）第三货品感知步骤，其为一种基于步骤S41）与步骤S42）的纠错方法。如图26所示，在上述步骤S4）~步骤S6）的执行过程中，还可以包括如下步骤S431）~S437）。

步骤S431）货品种类第一推断步骤，当货品被一用户放回至一架板时，取放状态判断单元303判断出此刻有货品被放置在架板上，重量差值计算单元3031获取此刻的该架板的重量差值，购物用户判断单元200判断取走或放回货品的用户的身份，查找该用户的购物数据库，货品种类推断单元305判断该用户的购物数据库中至少一种已购货品的重量值总和与该架板的重量差值是否相等，若是，推断出被放回货品的种类及数量的R种可能性结论。

步骤S432）货品种类第一获取步骤，当货品被一用户放回至一架板时，货品种类获取单元404用以根据所述货架前方空间的实时图片及一货品识别模型获取被放回货品的种类及数量的T种可能性结论，并记录每种可能性结论的可信度。步骤S431）与步骤S432）同时发生，且互不干涉。

步骤S433）被放货品确认步骤，被放货品确认单元407对比所述货品种类第一获取步骤获取被放回货品的种类及数量的T种可能性结论与所述货品种类第一推断步骤推断出的被放回货品的种类及数量的R种可能性结论，若二者中有至少一可能性结论相同，相同可能性结论中可信度最大的可能性结论所对应的货品的种类及数量即为被放回货品的种类及数量。

步骤S434）货品错放判断步骤，当物品被一用户放回至一架板时，货品错放判断单元701对比所述被放回货品的种类与该架板对应的货品种类，若被放回货品中有至少一种货品与该架板对应的货品种类不同，判断出现货品错放现象，记录该架板为错放架板，记录被错放货品的货品信息及该架板编号。

步骤S435）货品种类第二推断步骤，当一错放架板的重量差值小于0时，货品种类推断单元305根据该架板编号、该架板对应的货品信息、被错放货品的货品信息以及该架板的重量差值推断被取走货品的种类及数量的U种可能性结论。

步骤S436）货品种类第二获取步骤，当货品被从一错放架板取走时，货品种类获取单元404根据所述货架前方空间的实时图片及一货品识别模型获取被取走货品的种类及数量的V种可能性结论，并记录每种可能性结论的可信度。步骤S435）与步骤S436）同时发生，且互不干涉。

步骤S437）取走货品确认步骤，取走货品确认单元408对比所述货品第二种类获取步骤获取被取走货品的种类及数量的V种可能性结论与所述货品第二种类推断单元推断出的被取走货品的种类及数量的U种可能性结论，若二者中有至少一可能性结论相同，至少一相同可能性结论中可信度最大的可能性结论所对应的货品的种类及数量即为被取走货品的种类及数量。

本发明提供一种无人售货系统及一种无人售货方法，应用于无人超市，采用架板重量监测技术实时感知每一架板的重量变化，结合货架前方区域的影像监测技术判断被取走或被放回货品的种类及数量；利用人体实时定位技术判断取走或放回货品的用户身份，从而记录每一用户在无人超市中取走货品的种类及数量，在购物过程完成后为其结算。

本发明的有益效果在于，本发明中货品无需增加硬件成本，系统感知灵敏，误差极小，可准确判断每一用户每次取走或放回货品的购物行为，可准确记录每一用户在无人超市购买货品的种类及数量，可以有效杜绝偷盗现象。此外，本发明需要的用户操作较少，只需入门前扫码及确认支付即可，进入方便，结算快捷，用户体验良好。相对于传统零售行业，使用本发明的无人超市，运营过程中完全依靠计算机监管，无需人工干预，可以有效降低人力成本。

以上所述仅是本发明的优选实施方式，使本领域的技术人员更清楚地理解如何实践本发明，这些实施方案并不是限制本发明的范围。对于本技术领域的普通技术人员，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种无人售货系统，其特征在于，包括

封闭空间，其内设有货架，每一货架包括架板，每一架板上放置有货品；

用户身份识别系统，用以识别每一用户的身份信息；

目标物定位系统，用以获取每一目标物在所述封闭空间的实时位置，所述目标物为用户及其延伸部的全部或局部；

货品监控系统，用以实时监控每一货品的取放状态，当任一货品被取走或被放回时，获取被取走或被放回的货品的种类及数量；

购物用户判断系统，当任一货品被取走或被放回时，用以根据所述用户的身份信息及所述用户的实时位置判断取走或放回货品的用户身份；

购物信息记录单元，根据每一用户的身份信息生成购物数据库，用以记录每一用户取走货品的种类及数量；以及

结算系统，用以根据一用户的购物数据库中全部货品的种类及数量结算费用。

2.如权利要求1所述的无人售货系统，其特征在于，

所述用户身份识别系统包括

门禁装置，设置于所述封闭空间的出入口；以及

身份识别装置，用以获取用户的身份信息。

3.如权利要求2所述的无人售货系统，其特征在于，所述身份识别装置包括

扫码装置，设置于所述门禁装置内部或外部，用以扫描身份识别码；以及

身份获取单元，用以根据所述身份识别码获取用户的身份信息。

4.如权利要求1所述的无人售货系统，其特征在于，

所述目标物定位系统包括

三维影像采集装置，用以实时采集至少一帧三维影像，所述三维影像中包括至少一目标物的全部或部分的影像；以及

目标物坐标获取单元，用以在所述封闭空间内建立三维坐标系，根据所述三维影像实时获取所述目标物在所述三维坐标系的坐标集或坐标。

5.如权利要求4所述的无人售货系统，其特征在于，

所述三维影像采集装置包括

至少一影像传感器，设于所述封闭空间顶部，所述影像传感器的视野范围覆盖所述封闭空间的全部底面；

其中，每一影像传感器包括

深度图像传感器，用以采集至少一帧深度图像；

RGB图像传感器，用以采集至少一帧RGB图像；以及

三维影像整合单元，用以将同一时刻采集到的一帧深度图像及一帧RGB图像结合为一帧三维影像。

6.如权利要求1所述的无人售货系统，其特征在于，

所述货品监控系统包括第一货品感知系统，其包括

货品数据库生成单元，用以生成一货品数据库；所述货品数据库包括每一货品的货品信息及用以放置货品的每一架板的重量感应值；所述货品信息包括货品的种类、单品重量值以及货品对应的架板编号；以及

重量值采集单元，用以实时采集每一架板的实时重量感应值；

取放状态判断单元，用以判断每一架板的重量感应值是否发生变化，若变小，判定该架板上有货品被取走；若变大，判定有物品被放置于该架板上；以及

货品数据库更新单元，用以存储所述实时重量感应值至所述货品数据库，以更新所述货品数据库中每一架板的重量感应值。

7.如权利要求6所述的无人售货系统，其特征在于，

所述取放状态判断单元包括

重量差值计算单元，用以计算实时采集的每一架板的实时重量感应值与所述货品数据库内存储的同一架板的重量感应值的差值，记录为每一架板的重量差值；

重量差值判断单元，用以将至少一架板的重量差值与0对比；当一架板的重量差值小于0时，判定该架板上有货品被取走；当一架板的重量差值大于0时，判定该架板上有物品被放置；以及

架板信息记录单元，当一架板的重量差值大于0或小于0时，用以记录该架板的架板编号以及该架板的重量差值。

8.如权利要求7所述的无人售货系统，其特征在于，

当同一架板上所有货品种类相同且重量相同时，

所述取放状态判断单元还包括

货品种类判断单元，当一架板的重量差值小于0时，用以根据该架板编号及该架板对应的货品信息判断被取走货品的种类；以及

货品数量计算单元，当一架板的重量差值小于0时，用以计算一架板的重量差值的绝对值与该架板对应的货品的单品重量值的比值，利用四舍五入法对该比值进行取整处理，获得的整数即为被取走货品的数量。

9.如权利要求1所述的无人售货系统，其特征在于，

所述货品监控系统包括第二货品感知系统，其包括

样本采集单元，用以采集多组图片样本，每一组图片样本包括一种货品在多角度下的多张样本图片；同一种类货品的一组图片样本被设有相同的组别标识，该组别标识即为该组图片样本对应的货品的种类；

模型训练单元，用以根据多组图片样本的每一样本图片及每一样本图片的组别标识训练卷积神经网络模型，获取货品识别模型；

实时图片采集单元，用以连续采集至少一实时图片，每一实时图片包括一货品影像的部分或全部；以及

货品种类获取单元，用以根据所述实时图片及所述货品识别模型获取所述实时图片中显示的货品的种类及数量。

10.如权利要求9所述的无人售货系统，其特征在于，

第二货品感知系统还包括：

第一摄像头，连接至所述样本采集单元，用以拍摄每一货品多个角度多个距离的图片；以及

第二摄像头，连接至所述实时图片采集单元，用以拍摄一货架前方区域的实时图片；

其中，所述第二摄像头的视野范围覆盖所述货架前方的空间区域。

11.如权利要求1所述的无人售货系统，其特征在于，

所述购物用户判断系统包括

货品信息存储单元，用以存储货品数据库，包括每一货品信息；

架板坐标存储单元，在所述封闭空间内建立三维坐标系，用以存储货架坐标集及架板坐标集，设置架板上方的架板空间的高度，获取所述架板空间的坐标集；

架板与用户匹配判断单元，当一架板上方的架板空间的坐标集与一用户手部坐标集有交集时，判定该架板与该用户匹配；以及

货品与用户匹配判断单元，当有货品从一架板上被取走或被放置到一架板上时，且同一时刻下有一用户与该架板匹配，判定该货品与该用户匹配。

12.如权利要求1所述的无人售货系统，其特征在于，

所述购物信息记录单元包括

购物数据库生成单元，当一用户的身份被识别时，用以根据所述用户的身份信息生成该用户的购物数据库；以及

购物数据库更新单元，当货品被取走时，根据被取走货品的种类及数量以及取走货品的用户的身份信息生成购物信息，且存储至该用户的购物数据库中；当货品被放回时，根据被放回货品的种类及数量以及放回货品的用户的身份信息生成归还信息，从该用户的购物数据库中删除与所述归还信息相应的购物信息。

13.如权利要求1所述的无人售货系统，其特征在于，所述结算系统包括

总金额计算单元，当一用户离开所述封闭空间时，用以根据该用户的购物数据库中全部货品的种类及数量计算需要支付的总金额；以及

支付单元，用以从所述用户的银行账户或电子账户上扣款，扣除的款项金额与所述总金额相同。

14.一种无人售货方法，其特征在于，包括如下步骤：

架板设置步骤，在封闭空间内设置货架，每一货架包括架板，每一架板上放置有货品；

用户身份识别步骤，用以识别每一用户的身份信息；

目标物定位步骤，用以获取每一目标物在所述封闭空间的实时位置，所述目标物为用户及其延伸部的全部或局部；

货品监控步骤，用以实时监控每一货品的取放状态，当任一货品被取走或被放回时，获取被取走或被放回的货品的种类及数量；

购物用户判断步骤，当任一货品被取走或被放回时，用以根据所述用户的身份信息及所述用户的实时位置判断取走或放回货品的用户身份；

购物信息记录步骤，根据每一用户的身份信息生成购物数据库，用以记录每一用户取走货品的种类及数量；以及

结算步骤，用以根据一用户的购物数据库中全部货品的种类及数量结算费用。

15.如权利要求14所述的无人售货方法，其特征在于，

所述用户身份识别步骤包括

门禁设置步骤，在所述封闭空间的出入口设置门禁装置；以及

身份识别步骤，用以获取用户的身份信息。

16.如权利要求15所述的无人售货方法，其特征在于，所述身份识别步骤包括

扫码步骤，设置于所述门禁装置内部或外部，用以扫描身份识别码；以及

身份获取步骤，用以根据所述身份识别码获取用户的身份信息。

17.如权利要求14所述的无人售货方法，其特征在于，所述目标物定位步骤包括

影像传感器设置步骤，在所述封闭空间顶部设置至少一影像传感器，所述影像传感器的视野范围覆盖所述封闭空间的全部底面；

原始图像采集步骤，用以实时同步采集至少一帧深度图像及至少一帧RGB图像；以及

三维影像整合步骤，用以将同一影像传感器同一时刻采集到的一帧深度图像及一帧RGB图像结合为一帧三维影像。

18.如权利要求17所述的无人售货方法，其特征在于，

所述三维影像采集步骤包括

影像传感器设置步骤，在所述封闭空间顶部设置至少一影像传感器，所述影像传感器的视野范围覆盖所述封闭空间的全部底面；以及

三维影像整合步骤，用以将同一时刻采集到的一帧深度图像及一帧RGB图像结合为一帧三维影像。

19.如权利要求14所述的无人售货方法，其特征在于，

所述货品监控步骤包括第一货品感知步骤，其包括

货品数据库生成步骤，用以生成一货品数据库；所述货品数据库包括每一货品的货品信息及用以放置货品的每一架板的重量感应值；所述货品信息包括货品的种类、单品重量值以及货品对应的架板编号；

重量值采集步骤，用以实时采集每一架板的实时重量感应值；

取放状态判断步骤，用以判断每一架板的重量感应值是否发生变化，若变小，判定该架板上有货品被取走；若变大，判定有物品被放置于该架板上；以及

货品数据库更新步骤，用以存储所述实时重量感应值至所述货品数据库，以更新所述货品数据库中每一架板的重量感应值。

20.如权利要求19所述的无人售货方法，其特征在于，

所述取放状态判断步骤包括

重量差值计算步骤，用以计算实时采集的每一架板的实时重量感应值与所述货品数据库内存储的同一架板的重量感应值的差值，记录为每一架板的重量差值；

重量差值判断步骤，用以将至少一架板的重量差值与0对比；当一架板的重量差值小于0时，判定该架板上有货品被取走；当一架板的重量差值大于0时，判定该架板上有物品被放置；以及

架板信息记录步骤，当一架板的重量差值大于0或小于0时，用以记录该架板的架板编号以及该架板的重量差值。

21.如权利要求20所述的无人售货方法，其特征在于，

当同一架板上所有货品种类相同且重量相同时，

所述取放状态判断步骤还包括

货品种类判断步骤，当一架板的重量差值小于0时，用以根据该架板编号及该架板对应的货品信息判断被取走货品的种类；以及

货品数量计算步骤，当一架板的重量差值小于0时，用以计算一架板的重量差值的绝对值与该架板对应的货品的单品重量值单品的比值，利用四舍五入法对该比值进行取整处理，获得的整数即为被取走货品的数量。

22.如权利要求14所述的无人售货方法，其特征在于，

所述货品监控步骤包括第二货品感知步骤，其包括

样本采集步骤，用以采集多组图片样本，每一组图片样本包括一种货品在多角度下的多张样本图片；同一种类货品的一组图片样本被设有相同的组别标识，该组别标识即为该组图片样本对应的货品的种类；

模型训练步骤，用以根据多组图片样本的每一样本图片及每一样本图片的组别标识训练卷积神经网络模型，获取货品识别模型；

实时图片采集步骤，用以连续采集至少一实时图片，每一实时图片包括一货品影像的部分或全部；以及

货品种类获取步骤，用以根据所述实时图片及所述货品识别模型获取所述实时图片中显示的货品的种类及数量。

23.如权利要求14所述的无人售货方法，其特征在于，

所述购物用户判断步骤包括

货品信息存储步骤，用以存储货品数据库，包括每一货品信息；

架板坐标存储步骤，在所述封闭空间内建立三维坐标系，用以存储货架坐标集及架板坐标集，设置架板上方的架板空间的高度，获取所述架板空间的坐标集；

架板与用户匹配判断步骤，当一架板上方的架板空间的坐标集与一用户手部坐标集有交集时，判定该架板与该用户匹配；

货品与用户匹配判断步骤，当有货品从一架板上被取走或被放置到一架板上时，且同一时刻下有一用户与该架板匹配，判定该货品与该用户匹配。

24.如权利要求14所述的无人售货方法，其特征在于，

所述购物信息记录步骤包括

购物数据库生成步骤，当一用户的身份被识别时，用以根据所述用户的身份信息生成该用户的购物数据库；以及

购物数据库更新步骤，当货品被取走时，根据被取走货品的种类及数量以及取走货品的用户的身份信息生成购物信息，且存储至该用户的购物数据库中；当货品被放回时，根据被放回货品的种类及数量以及放回货品的用户的身份信息生成归还信息，从该用户的购物数据库中删除与所述归还信息相应的购物信息。

25.如权利要求14所述的无人售货方法，其特征在于，

所述结算步骤包括

总金额计算步骤，当一用户离开所述封闭空间时，用以根据所述用户的购物数据库中全部货品的种类及数量计算需要支付的总金额；以及

支付步骤，用以从所述用户的银行账户或电子账户上扣款，扣除的款项金额与所述总金额相同。