CN111145224A - 人体跟踪系统 - Google Patents

Abstract

本发明提供一种人体跟踪系统，该人体跟踪系统，实现对目标物用户在无人超市整个购物过程中不同区域无死角的坐标跟踪定位；所述人体跟踪系统，包括设置于无人超市封闭空间入口处门禁系统闸机的人体标注跟踪装置一、设置在货架前方区域的人体标注跟踪装置二、设置在无人超市封闭空间房顶上的人体标注跟踪装置三、以及设置在封闭空间出口处门禁系统闸机的人体标注跟踪装置四。实现对目标物用户在无人超市整个购物过程中不同区域无死角的坐标跟踪定位，大大避免了无人超市顾客私自夹带商品、造成超市损失的风险。

Description

人体跟踪系统

技术领域

本发明涉及一种在超市零售中使用的人体跟踪系统，具体来说，涉及一种在智能化无人超市中使用的人体跟踪系统。

背景技术

无人超市是相比于传统的有具体管理工作人员的超市而言的。传统超市零售业的购物方式中，每一家超市或便利店需要有专门的销售人员和收款人员，人力成本较高。随着电子支付技术、身份识别技术及商品识别技术极大地发展，在零售行业用无人超市代替传统有具体管理工作人员的超市就有了极大的发展空间，在现有的技术条件下也具备发展的可行性。

无人超市，即无营业员超市，顾客可以在无人超市中自助购物、自助结算。在无人超市项目中，选购商品、结账都是由顾客自助完成的。在无人超市的初步尝试中，由于没有工作人员的监督，同时对进入无人超市的顾客没有准确的身份识别、定位、跟踪装置，存在顾客私自夹带商品、商品未结算就被带出超市等情况。

为解决上述部分问题，现有无人超市系统的技术中，有人采用RFID技术感知用户选购的货品，这种方式需要在每一个货品上设置RFID标签，在门禁处设置RFID阅读器，当用户走出门禁时就可以记录其消费内容。此种方案面临的问题有，第一，由于需要在每个货品上设置RFID标签,硬件成本高，在每件商品上添加RFID标签会提升商品的成本，增加超市运营成本，降低超市的竞争力；第二，通过在商品上添加RFID标签实现对商品的监控，如果有用户故意屏蔽、去除RFID标签，或者RFID标签自身出现故障，那么会出现货品无法识别、无法结算，甚至是货品被顾客私自带走，而系统无法感知监控的情况；第三，如果有用户在离店前将可食用的货品吃掉，将包装留在超市里，RFID阅读器也无法感知和确定用户的真实消费金额。

发明内容

为有效解决现有技术中存在的问题，本发明提供了一种人体跟踪系统，应用于无人超市。

为实现上述目的，本申请提供一种人体跟踪系统，该人体跟踪系统，实现对目标物用户在无人超市整个购物过程中不同区域无死角的坐标跟踪定位；所述人体跟踪系统，包括设置于无人超市封闭空间入口处门禁系统闸机的人体标注跟踪装置一、设置在货架前方区域的人体标注跟踪装置二、设置在无人超市封闭空间房顶上的人体标注跟踪装置三、以及设置在封闭空间出口处门禁系统闸机的人体标注跟踪装置四。

进一步，所述人体标注跟踪装置一至四采用影像装置，用来实时采集影像，所采集的影像中至少包括目标物的全部或者部分的影像；多影像装置同一时刻共享拼接影像，具备目标物用户的影像转换跟踪标记不丢失、不错识。

进一步，所述人体跟踪系统，通过设置于入口处、货架前方区域、封闭空间房顶、出口处的人体标注跟踪装置一至四，在封闭空间内建立平面坐标系，并在坐标系范围内划定电子围栏的区域，对入口，出口，各个货架前一平方米区域进行区域划定，通过实时采集到的影像获取当前目标物在所述封闭区域内坐标系坐标及所处电子围栏区域编号。

进一步，所述人体标注跟踪装置一至四，完成目标物的影像采集后发送给总处理器，总处理器完成目标物影像接收、目标物影像拼接、以及目标物坐标运算，从而实现对目标物人体的跟踪标定。

进一步，初始时，用户通过封闭空间的入口处，打开移动端二维码对准闸机的扫描装置进行扫码时，人体标注跟踪装置一至少采集一帧影像用于人体的跟踪标定。

本申请的有益技术效果在于：本申请提供一种人体跟踪系统，可应用在智能化无人超市控制系统中，采用该跟踪系统的超市售货，在超市内不需要售货员和管理人员，也不需要在商品上设置RIFD标签，大大降低运营成本。从顾客进入超市入口通过闸机开始，通过所述人体跟踪系统，实现对目标物用户在无人超市整个购物过程中不同区域无死角的实时坐标跟踪定位；由于所述人体跟踪系统对进入无人超市的顾客准确的定位、跟踪装置，大大减少了顾客私自夹带商品、商品未结算就被带出超市等情况，有效降低了无人超市中商品丢失率，减少商家运营损失。

附图说明

图1为本申请实施例所述的智能化无人超市控制系统结构示意图；

图2为本申请实施例所述的无人超市中货架整体结构示意图；

图3为本申请实施例所述的无人超市中货架的架板货槽结构示意图；

图4为本申请实施例所述的门禁系统结构示意图；

图5为本申请实施例所述的人脸识别系统结构示意图；

图6为本申请实施例所述的人体跟踪系统结构示意图；

图7为本申请实施例所述的商品监控系统结构示意图；

图8为本申请实施例所述的购物用户匹配商品系统结构示意图。

具体实施方式

附图中的流程图和框图，图示了按照本发明各种实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

以下参考说明书附图完整介绍本发明申请的优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，其保护范围并非仅限于文中提到的实施例。

在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的部件以相似数字标号表示。本发明所提到的方向用语，例如，上、下、前、后、左、右、内、外、侧面、顶部、底部、顶端、底端、末端等，仅是附图中的方向，只是用来解释和说明本发明，而不是用来限定本发明的保护范围。

当某些部件被描述为“在”另一部件“上”时，所述部件可以直接置于所述另一部件上；也可以存在一中间部件，所述部件置于所述中间部件上，且所述中间部件置于另一部件上。当一个部件被描述为“安装至”或“连接至”另一部件时，二者可以理解为直接“安装”或“连接”，或者一个部件通过一中间部件间接“安装至”或“连接至”另一个部件。

作为具体实施例，本申请的人体跟踪系统应用于无人超市，可以单独应用，也可以作为整个智能化无人超市控制系统之中的一部分应用于无人超市。

(一)智能化无人超市控制系统的总体结构

如图1-3所示，本实施例提供一种智能化无人超市控制系统，该无人超市控制系统包括：门禁系统1；人脸识别系统2；人体跟踪系统3；商品监测控制系统，包括商品监控系统4和重量监测系统5；购物用户匹配商品系统6；购物相关数据记录系统7；购物结算系统8；

该控制系统布置在无人超市的封闭空间；在封闭空间内部布置有多组货架，每一组货架上都安置有适量层数的架板，每层架板设置有多组货槽，在每一货槽中放置商品。优选地，每一架板上只放置同一种类的商品。在划定好的封闭空间内货架区域放置货架，在每一货架上放置4-5层架板，每一架板上安装3-5个货槽，每一货槽上都放有商品。

该智能化无人超市控制系统包括商品数据库，商品数据库记录存储每一货架每一货槽商品的所有基本数据信息，包括商品的编号、种类、名称、单品重量值和商品相对应的货架编号、货槽编号。

以及该无人超市控制系统还包括总处理器，优选地，该总处理器是一种数据处理设备如计算机或服务器；该总处理器与该无人超市控制系统的其他部分相连，实现对该无人超市控制系统各部分的控制。

进一步如图4所示，门禁系统1设置在无人超市的封闭区域的入口和出口处，门禁系统1包括有闸机11，以及设置在闸机上的扫码装置12。

(二)人脸识别系统2：

如图5所示，人脸识别系统2包括设置于门禁系统1入口处的人脸采集装置一21，设置于货架前方区域的人脸采集装置二22；设置于门禁系统出口处的人脸采集装置三23；

进一步，设置于门禁系统入口处的人脸采集装置一21，用于在封闭空间的入口对进入入口的顾客进行人脸影像采集；

进一步，人脸识别采集装置一21，设置于入口处闸机11的上部，用户通过扫码装置12扫描二维码触发人脸识别采集装置一21进行至少一帧影像采集，所采集影像包括顾客用户的脸部影像，与人脸采集装置一2连接的总处理器，对该目标物即用户的脸部影像进行人脸特征提取建模；

进一步，设置于货架区域的人脸采集装置二22用于对货架区域的顾客用户人脸影像识别，与人脸采集装置二22连接的总处理器，对该顾客用户人脸识别从而对该顾客用户即目标物坐标修正；

和出口处的人脸采集装置三23用于出口处人脸影像识别，与人脸采集装置三23连接的总处理器，对该顾客用户人脸识别从而对该顾客用户即目标物身份验证，确定用户身份。

(三)人体跟踪系统3：

如图6所示，人体跟踪系统3，包括设置于入口处门禁系统闸机11的人体标注跟踪装置一31、设置在货架前方区域的人体标注跟踪装置二32、设置在封闭空间房顶上的人体标注跟踪装置三33、以及设置在出口处门禁系统闸机11的人体标注跟踪装置一34。

上述人体标注跟踪装置一至四31、32、33、34由影像装置实现，用来实时采集影像，所采集的影像中至少包括目标物的全部或者部分的影像；多影像装置同一时刻共享拼接影像，具备目标物用户的影像转换跟踪标记不丢失、不错识。

人体跟踪系统3，通过设置于入口处、货架前方区域、封闭空间房顶、出口处的人体标注跟踪装置一至四31、32、33、34，在封闭区域内建立平面坐标系，并在坐标系范围内划定电子围栏的区域，对入口，出口，各个货架前一平方米区域进行区域划定，通过实时采集到的影像获取当前目标物在所述封闭区域内坐标系坐标及所处电子围栏区域编号。

人体标注跟踪装置一至四31、32、33、34，完成目标物的影像采集后发送给总处理器，总处理器完成目标物影像接收、目标物影像拼接、以及目标物坐标运算，从而实现对目标物人体的跟踪标定。

初始时，用户通过封闭空间的入口处，打开移动端二维码对准闸机的扫描装置11进行扫码时，人体标注跟踪装置一31至少采集一帧影像用于人体的跟踪标定。

通过设置于入口处、货架前方区域、封闭空间房顶、出口处的人体标注跟踪装置一至四31、32、33、34，实现对目标物用户在无人超市整个购物过程中不同区域无死角的坐标跟踪定位。通过上述对不同区域目标物用户的跟踪定位，大大避免了无人超市顾客私自夹带商品、造成超市损失的风险。

(四)商品监测控制系统

商品监测控制系统，用以实时监测每一货槽的重量值变化，从而实时监测获取被取走或者被放回商品的种类和数量。

商品监测控制系统包括：重量监测系统4和商品监控系统5。

重量监测系统4实现对货槽实时重量值的监测，当任意货槽的商品被取走或放回时，实时获取被取走或者被放回商品的重量值；之后，根据每一货槽上被取走商品的实时重量值与

商品数据库中存储的该货槽相对应的单个商品的重量值，计算倍数关系，从而判断被取走商品的数量。

进一步，作为实现对货槽实时重量值的监测方式，优选地，重量监测系统4采用在每一货架的架板的货槽底部设置重量传感器，用以实时采集每一货槽的重量值。

商品监控系统5，用于实时抓拍货架前用户购买商品时的操作，对视频图像中的用户手中商品进行动态商品识别，同时结合重量监测系统4中提供的货槽重量值变化数据来进一步确认商品种类及数量。

具体地，如图7所示，商品监控系统5包括：在每一货架区域布置影像装置，具体为，影像装置一51安装于封闭区域内的货架顶部的上方，将影像装置一51的摄像头调整为与水平面垂直；影像装置二52安装在货架两边顶角处并且将影像装置二52的摄像头调整为与水平面成四十五度角；通过上述影像装置一51和影像装置二52的设置，使影像装置覆盖货架前方区域。以及，在每一货架每一个货槽上方的中心位置安装影像装置三53，影像装置三53的摄像头覆盖监控每一货槽内放置的所有商品。

通过上述布置在不同位置的影像装置一至三51、52、53，实现在超市不同区域实时监控抓拍货架前用户购买商品时的操作，提高了监控的精细度、准确度，对视频图像中的用户手中商品进行准确地动态商品识别，同时结合重量监测系统4中提供的货槽重量值变化数据来进一步确认商品种类及数量。

(五)购物用户匹配商品系统

购物用户匹配商品系统6，当有任何一件商品被取走和被放回时，用上述人体识别定位跟踪系统得到的用户身份信息和该用户的实时位置，以及商品监测控制系统得到的货架区域的视频图像，来推断取走或者放回商品的用户身份信息和用户手中的商品种类和数量。

如图8所示，购物用户匹配商品系统6包括：

商品相关信息存储单元61，将每层架板每个货槽的商品信息(包括重量值信息)存到对应数据库中，用于重量监测系统的运算查询。

货架货槽坐标存储单元62，在封闭空间内建立坐标系，并划定电子围栏，用电子围栏将每一货架的货槽的区域划定出来，存储货架坐标和货槽坐标。

货槽与用户匹配判断单元63，当某一货槽电子围栏的坐标集与某一用户手部坐标集有交集时，则该货槽与该用户匹配；

商品与用户匹配判断单元64，当有商品从某一货槽上被取走或被放置到该货槽上时，且同一时刻下有一用户与该货槽匹配，判定该商品与该用户匹配。

(六)购物相关数据信息记录系统

购物相关数据信息记录系统7，根据每一位用户身份信息生成与之相对应的购物数据库，以此来记录每一位用户购买商品的数量和种类。

具体地，购物相关数据信息记录系统包括：生成购物车数据库和更新购物车数据库。

生成购物车数据库：当一位用户的身份被识别进入封闭空间内时，根据上述人体识别定位跟踪系统得到用户的身份信息生成此用户的购物车数据库。

更新购物车数据库：当商品被从货槽上取走时，根据上述商品监测控制系统得到的结果，将被取走商品的种类和数量放入取走该商品的用户的购物车数据库中。当商品被放回货槽时，根据上述商品监测控制系统得到的结果，将被放回商品的种类和数量从该商品用户的购物车数据库中拿掉。

(七)购物结算系统

购物结算系统8，依据上述购物相关数据信息记录系统7中记录的每一位购物用户当前购物车中全部商品的种类和数量进行消费金额结算。

购物结算系统，包括金额计算部分和支付部分。

金额计算部分，当用户完成购物进入出口的电子围栏区域准备离开封闭区域的时候，根据上述购物相关数据信息记录系统7中记录的该用户采购的全部商品的种类和数量，计算出应当支付的金额。

支付部分，通过移动端签约的免密支付功能，自动从用户的账户扣取当前购买商品的金额，此处的用户的账户包括但不限于支付宝、微信零钱或者是绑定的银行卡等。

本申请的有益技术效果在于：本申请提供一种人体识别定位跟踪系统，应用在智能化无人超市控制系统中，采用该控制系统的超市售货，在超市内不需要售货员和管理人员，也不需要在商品上设置RIFD标签，大大降低运营成本。从顾客进入超市入口通过闸机开始，通过人脸识别系统和所述人体跟踪系统的相互配合，实现对目标物用户在无人超市整个购物过程中不同区域无死角的实时身份识别、坐标跟踪定位；由于所述人体识别定位跟踪系统对进入无人超市的顾客准确的身份识别、定位、跟踪装置，大大减少了顾客私自夹带商品、商品未结算就被带出超市等情况，有效降低了无人超市中商品丢失率，减少商家运营损失。

已经出于示出和描述的目的给出了本发明的说明书，但是其并不意在是穷举的或者限制于所公开形式的发明。本领域技术人员可以想到很多修改和变体。本领域技术人员应当理解，本发明实施方式中的方法和装置可以以软件、硬件、固件或其组合实现。

因此，实施方式是为了更好地说明本发明的原理、实际应用以及使本领域技术人员中的其他人员能够理解以下内容而选择和描述的，即，在不脱离本发明精神的前提下，做出的所有修改和替换都将落入所附权利要求定义的本发明保护范围内。

Claims (4)

1.一种人体跟踪系统，其特征在于，

该人体跟踪系统，实现对目标物用户在无人超市整个购物过程中不同区域无死角的坐标跟踪定位；

所述人体跟踪系统，包括设置于无人超市封闭空间入口处门禁系统闸机的人体标注跟踪装置一、设置在货架前方区域的人体标注跟踪装置二、设置在封闭空间房顶上的人体标注跟踪装置三、以及设置在封闭空间出口处门禁系统闸机的人体标注跟踪装置四；

所述人体标注跟踪装置一至四采用影像装置，用来实时采集影像，所采集的影像中至少包括目标物的全部或者部分的影像；多影像装置同一时刻共享拼接影像，具备目标物用户的影像转换跟踪标记不丢失、不错识。

2.根据权利要求1所述的人体跟踪系统，其特征在于：

所述人体跟踪系统，通过设置于入口处、货架前方区域、封闭空间房顶、出口处的人体标注跟踪装置一至四，在封闭空间内建立平面坐标系，并在坐标系范围内划定电子围栏的区域，对入口，出口，各个货架前一平方米区域进行区域划定，通过实时采集到的影像获取当前目标物在所述封闭区域内坐标系坐标及所处电子围栏区域编号。

3.根据权利要求1所述的人体跟踪系统，其特征在于：

所述人体标注跟踪装置一至四，完成目标物的影像采集后发送给总处理器，总处理器完成目标物影像接收、目标物影像拼接、以及目标物坐标运算，从而实现对目标物人体的跟踪标定。

4.根据权利要求1所述的人体跟踪系统，其特征在于：

初始时，用户通过封闭空间的入口处，打开移动端二维码对准闸机的扫描装置进行扫码时，人体标注跟踪装置一至少采集一帧影像用于人体的跟踪标定。

Images