CN112801055A - 一种基于薄膜压力传感器阵列的无人超市定位跟踪方法 - Google Patents

一种基于薄膜压力传感器阵列的无人超市定位跟踪方法 Download PDF

Info

Publication number
CN112801055A
CN112801055A CN202110356096.5A CN202110356096A CN112801055A CN 112801055 A CN112801055 A CN 112801055A CN 202110356096 A CN202110356096 A CN 202110356096A CN 112801055 A CN112801055 A CN 112801055A
Authority
CN
China
Prior art keywords
footprint
footprints
marking
unmanned supermarket
pressure sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110356096.5A
Other languages
English (en)
Other versions
CN112801055B (zh
Inventor
钟辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Yunxing Artificial Intelligence Research Institute Co ltd
Original Assignee
Hunan Yunxing Artificial Intelligence Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Yunxing Artificial Intelligence Research Institute Co ltd filed Critical Hunan Yunxing Artificial Intelligence Research Institute Co ltd
Priority to CN202110356096.5A priority Critical patent/CN112801055B/zh
Publication of CN112801055A publication Critical patent/CN112801055A/zh
Application granted granted Critical
Publication of CN112801055B publication Critical patent/CN112801055B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L5/00—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/909—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Abstract

本发明公开了一种基于薄膜压力传感器阵列的无人超市定位跟踪方法，涉及新零售业技术领域，解决了现有方案对顾客身份识别和追踪所采用的技术手段成本较高，且系统复杂，不利于无人超市大范围应用的技术问题；本发明采用薄膜压力传感器阵列采集用户购物过程的脚印信息，这些信息不受光线强弱、货架或其他顾客遮蔽等外界因素的影响，数据传输要求低，后端所需的计算资源小；系统算法简单，实现难度小，可靠性高；通过和基于重量或视觉的货架商品动态识别系统相配合，有效解决无人超市多个顾客情况下“谁拿取了商品”以及“拿取了哪些商品”的问题；本发明提供的定位跟踪方法，在光纤压力毯、红外传感器阵列等其他能检测脚印的硬件上也能实施。

Description

一种基于薄膜压力传感器阵列的无人超市定位跟踪方法
技术领域
本发明属于新零售业技术领域，涉及一种对无人超市中用户位置实时定位跟踪的方法，具体是一种基于薄膜压力传感器阵列的无人超市定位跟踪方法。
背景技术
随着电子支付、分布式计算和智能识别等技术的快速发展，无需专门销售人员和收款人员的各类无人超市相继诞生；实现无人超市的核心技术通常包含顾客身份识别与追踪、货架商品动态识别和终端自主结算三大类，其中顾客身份识别与追踪技术实时获取顾客在无人超市中购物时的位置和身份信息，它和货架商品动态识别技术一起，用于解决“谁拿取了商品”、“拿取了哪些商品”以及“拿取商品的种类和数量”等问题，是实现无人超市成功运行的关键。
目前顾客身份识别与追踪采用的主要技术手段为视觉识别，视觉识别技术首先在超市入口处记录顾客的人脸信息，然后在超市内部捕捉顾客拿起或放下商品的图像，通过将这些图像与人脸信息和商品图像进行比对分析，得到“谁拿取了商品”以及“拿取了哪些商品”等结果，从而实现对顾客身份的识别与追踪。视觉识别方法需要安装大量的摄像头，同时后端图像处理系统需要采用较为先进的视觉识别和跟踪算法，不仅增加了硬件的成本，而且提高了整个系统的成复杂度。
除了视觉识别技术外，RFID技术也被应用在无人超市中。顾客拿取粘贴有RFID标签的商品后，自行利用商品上的RFID标签进行结算，从而将商品与购买商品的顾客的对应关系转移到结算环节，而对顾客在超市内的购买过程可以不用关心。RFID技术避开了对顾客在超市内购物过程的位置追踪，会导致商品被盗、商品吃掉以及商品不结算等情况，同时大量RFID标签需要投入大量的人力和时间，进一步限制了无人超市的大范围应用。
针对以上技术的缺点，亟需提出一种能够对顾客在无人超市购物全过程进行监控并且成本低廉、实现简单的顾客身份识别与跟踪的方法。
发明内容
为了解决上述方案存在的问题，本发明提供了一种基于薄膜压力传感器阵列的无人超市定位跟踪方法，用于解决现有方案对顾客身份识别和追踪所采用的技术手段成本较高，且系统复杂，不利于无人超市大范围应用的技术问题。
本发明的目的可以通过以下技术方案实现：一种基于薄膜压力传感器阵列的无人超市定位跟踪方法，所述无人超市定位跟踪方法具体包括以下步骤：
步骤一：压力扫描；在每个采样时刻，读取薄膜压力传感器阵列中压力传感器的输出信号，并对输出信号进行二值化处理，以获得当前采样时刻整个无人超市活动区域的脚印图，并将脚印图标记为脚印压力图；
步骤二：脚印识别；对当前采样时刻的脚印压力图进行脚印识别，计算脚印中心位置，并记录当前采样时刻无人超市的所有脚印信息；
步骤三：脚印标记；将当前采样时刻的所有脚印信息与前一采样时刻的所有脚印信息进行比对，对不同类型脚印进行区别标记；
步骤四：动态关联；对当前采样时刻的新增脚印，从当前采样时刻之前的消失脚印中找到与新增脚印对应的脚印并标记为目标脚印，并将目标脚印所属的顾客与新增脚印进行关联；
步骤五：脚印归属；将当前采样时刻的每一个脚印分别归属到对应的顾客，即将不同的脚印信息链接到对应顾客的用户脚印链表；
步骤六：脚印删除；查找消失时间超过时间阈值的脚印并标记为验证脚印，并将验证脚印的中心位置与无人超市出口区域位置信息进行比对，删除离开无人超市的脚印。
优选的，步骤二中所述脚印压力图的获取具体包括：
以固定时钟周期读取所有压力传感器的输出信号；
将输出信号与压力阈值进行比较，当输出信号大于压力阈值时，将输出信号对应位置的数据置为1，当输出信号小于等于压力阈值时，则将输出信号对应位置的数据置为0，完成输出信号的二值化处理；
根据二值化结果生成无人超市活动区域的脚印图并标记为脚印压力图。
优选的，所述脚印识别具体包括以下步骤：
步骤Z1：从脚印压力图任选一个取值为1的位置并标记为
Figure 912090DEST_PATH_IMAGE001
；将位置
Figure 408930DEST_PATH_IMAGE001
对应的压力传感器在超市坐标系中的坐标标记为
Figure 59354DEST_PATH_IMAGE002
；
步骤Z2：查找与位置
Figure 232715DEST_PATH_IMAGE001
相邻位置的数值并标记为第一数值；当第一数值为1时，则将第一数值对应的位置标记为
Figure 335801DEST_PATH_IMAGE003
，获取位置
Figure 370753DEST_PATH_IMAGE003
对应的压力传感器坐标并标记为
Figure 141263DEST_PATH_IMAGE004
，继续查找位置
Figure 485525DEST_PATH_IMAGE003
的相邻位置的数值并标记为第二数值，当第二数值存在取值为1的位置时，则继续查找；当第二数值中不存在取值为1的位置时，则返回位置
Figure 75907DEST_PATH_IMAGE001
继续查找；将与位置
Figure 648970DEST_PATH_IMAGE001
相邻的所有取值为1的位置都被找到；记录所有位置
Figure 273987DEST_PATH_IMAGE005
，…，
Figure 792080DEST_PATH_IMAGE006
对应的压力传感器坐标并作为当前采样时刻识别到的脚印，记为
Figure 869758DEST_PATH_IMAGE007
；其中
Figure 246512DEST_PATH_IMAGE008
为以位置
Figure 726035DEST_PATH_IMAGE001
为初始位置查找到的数值为1的位置总数；
步骤Z3：从脚印压力图中剔除脚印区域
Figure 412100DEST_PATH_IMAGE009
对应的所有压力传感器数据，从剩下的脚印压力图中任选一个取值为1的位置并标记为
Figure 773812DEST_PATH_IMAGE010
；重复步骤Z2，找到从
Figure 954257DEST_PATH_IMAGE010
为初始位置对应的当前采样时刻识别到的脚印，记为
Figure 288287DEST_PATH_IMAGE011
；其中
Figure 895985DEST_PATH_IMAGE012
为以位置
Figure 197523DEST_PATH_IMAGE010
为初始位置查找到的数值为1的位置总数；
步骤Z4：重复步骤Z2，直到脚印压力图中的所有脚印
Figure 181659DEST_PATH_IMAGE013
，…，
Figure 370195DEST_PATH_IMAGE014
；其中
Figure 148795DEST_PATH_IMAGE015
为当前采样时刻脚印压力图中的脚印总数；
步骤Z5：计算脚印中心位置
Figure 937629DEST_PATH_IMAGE016
；
步骤Z6：将脚印
Figure 459877DEST_PATH_IMAGE013
，…，
Figure 502919DEST_PATH_IMAGE014
对应的压力传感器坐标和脚印的中心位置存储到当前采样时刻的脚印信息数据结构中。
优选的，所述区别标记具体包括：
将当前采样时刻的脚印标记为
Figure 452421DEST_PATH_IMAGE017
，将前一采样时刻的脚印标记为
Figure 743198DEST_PATH_IMAGE018
；其中
Figure 741241DEST_PATH_IMAGE019
，
Figure 153637DEST_PATH_IMAGE020
为前一采样时刻脚印压力图中的脚印总数；
依次计算脚印
Figure 336357DEST_PATH_IMAGE017
的中心位置与前一采样时刻脚印
Figure 788198DEST_PATH_IMAGE018
的中心位置的距离并标记为
Figure 448986DEST_PATH_IMAGE021
；
当
Figure 732200DEST_PATH_IMAGE022
时，则将前一采样时刻脚印信息数据结构中脚印
Figure 272772DEST_PATH_IMAGE018
对应的顾客归属信息复制给脚印
Figure 8647DEST_PATH_IMAGE017
，并将脚印
Figure 676388DEST_PATH_IMAGE017
的生存时间加1，同时将脚印
Figure 814109DEST_PATH_IMAGE017
和脚印
Figure 525581DEST_PATH_IMAGE018
都标记为已处理；其中
Figure 748752DEST_PATH_IMAGE023
为距离阈值，
Figure 689027DEST_PATH_IMAGE024
，且
Figure 946833DEST_PATH_IMAGE023
通过大量数据模拟获取；
当
Figure 97716DEST_PATH_IMAGE025
时，将脚印信息数据结构中的脚印
Figure 542604DEST_PATH_IMAGE017
的生存时间置1，并将脚印
Figure 286569DEST_PATH_IMAGE017
标记为已处理；
获取前一采样时刻所有未标记脚印，并将未标记脚印的信息从前一采样时刻脚印信息数据结构中复制到当前时刻脚印信息数据结构中，并判断：当未标记脚印的生存时间为正时，则将对应的生存时间改为-1，当未标记脚印的生存时间为零或负值时，则将对应的生存时间减1。
优选的，所述目标脚印与新增脚印进行关联的步骤具体包括：
从当前采样时刻对应的脚印信息数据结构中获取生存时间为1的脚印并标记为
Figure 398881DEST_PATH_IMAGE026
，从当前采样时刻对应的脚印信息数据结构中获取生存时间为负值的脚印并标记为
Figure 452157DEST_PATH_IMAGE027
；计算脚印
Figure 40133DEST_PATH_IMAGE026
与脚印
Figure 587789DEST_PATH_IMAGE027
中心位置之间的距离并标记为
Figure 554608DEST_PATH_IMAGE028
；
当
Figure 44364DEST_PATH_IMAGE029
时，则将脚印
Figure 463844DEST_PATH_IMAGE027
对应的顾客归属信息复制给脚印
Figure 815191DEST_PATH_IMAGE026
，并从脚印信息数据结构中剔除脚印
Figure 636516DEST_PATH_IMAGE027
；其中
Figure 300103DEST_PATH_IMAGE030
为距离阈值，
Figure 206879DEST_PATH_IMAGE031
，且
Figure 96338DEST_PATH_IMAGE030
通过大量数据模拟获取；
对所有脚印
Figure 772170DEST_PATH_IMAGE027
，距离
Figure 603729DEST_PATH_IMAGE028
均满足
Figure 263380DEST_PATH_IMAGE032
时，则将脚印
Figure 956530DEST_PATH_IMAGE026
的中心位置与无人超市入口位置区域进行比对；并为脚印
Figure 486868DEST_PATH_IMAGE026
分配新的顾客归属信息。
优选的，步骤五中所述脚印归属的具体步骤包括：
从当前采样时刻对应的脚印信息数据结构中获取生存时间为正的脚印并标记为
Figure 489328DEST_PATH_IMAGE033
；将脚印
Figure 105117DEST_PATH_IMAGE033
对应的顾客归属信息与用户脚印链表中的顾客归属信息进行比对，当比对成功时，则将脚印
Figure 601958DEST_PATH_IMAGE033
对应的信息链接到用户脚印链表中；当比对失败时，则为脚印
Figure 252382DEST_PATH_IMAGE033
对应的顾客新建用户脚印链表；其中脚印
Figure 160164DEST_PATH_IMAGE033
对应的信息包括脚印中心位置、脚印出现时间和脚印形状。
优选的，步骤六中所述脚印删除的具体步骤包括：
从当前采样时刻对应的脚印信息数据结构中获取生存时间为负的脚印并标记为
Figure 528828DEST_PATH_IMAGE034
；当脚印
Figure 563780DEST_PATH_IMAGE034
的生存时间小于时间阈值时，并且脚印
Figure 334290DEST_PATH_IMAGE034
的中心位置在无人超市出口区域时，则删除脚印
Figure 415903DEST_PATH_IMAGE034
对应的用户脚印链表；其中时间阈值小于0。
优选的，所述脚印中心位置的计算具体包括以下步骤：
获取脚印
Figure 271864DEST_PATH_IMAGE017
对应压力传感器坐标中最大横坐标
Figure 297457DEST_PATH_IMAGE035
、最小横坐标
Figure 656895DEST_PATH_IMAGE036
、最大纵坐标
Figure 922791DEST_PATH_IMAGE037
和最小纵坐标
Figure 468DEST_PATH_IMAGE038
；其中
Figure 892070DEST_PATH_IMAGE039
；
通过公式
Figure 371593DEST_PATH_IMAGE040
获取脚印
Figure 808390DEST_PATH_IMAGE017
的中心位置
Figure 373364DEST_PATH_IMAGE016
。
优选的，所述超市坐标系是以无人超市的中心位置或者角点位置为原点建立的直角坐标系；其中角点位置为无人超市的四个拐角中任意一个拐角的位置。
优选的，所述固定时钟周期根据硬件的数据传输速率、系统的处理能力以及顾客的行走速度确定；所述压力阈值为大于0的实数，且压力阈值通过大量数据模拟获取。
优选的，所述用户脚印链表通过链表数据结构生成；所述用户脚印链表包括顾客在不同时刻的脚印中心位置、脚印出现时间和脚印形状，且用户脚印链表在顾客进入无人超市时创建，在顾客离开无人超市时删除，每个顾客军对应一个用户脚印链表。
优选的，所述脚印中心位置通过脚印信息数据结构提取；所述脚印信息数据结构除了脚印中心位置还包括脚印覆盖的传感器坐标、脚印存在时间和脚印归属顾客；所述脚印信息数据结构在无人超市的工作过程中一直存在；所述脚印信息数据结构是一种数据结构，所述脚印信息数据结构的内容与顾客归属信息一致。
优选的，不同类型脚印包括新增脚印、消失脚印和无变化脚印。
与现有技术相比，本发明的有益效果是：
本发明采用薄膜压力传感器阵列采集用户购物过程的脚印信息，这些信息不受光线强弱、货架或其他顾客遮蔽等外界因素的影响；通过加大压力传感器的密度，能够实现对顾客位置的高精度定位跟踪，并且能够支持多个顾客位置的定位跟踪；系统的硬件设备简单、成本较低，薄膜压力传感器阵列每个节点一次只输出一个数据，数据传输要求低，后端所需的计算资源小；系统算法简单，实现难度小，可靠性高；通过和基于重量或视觉的货架商品动态识别系统相配合，可以有效解决无人超市多个顾客情况下“谁拿取了商品”以及“拿取了哪些商品”的问题；本发明提供的定位跟踪方法，不仅在电阻式薄膜压力传感器阵列上适用，而且在其他诸如光纤压力毯、红外传感器阵列等其他能检测脚印的硬件上也能实施。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的无人超市定位跟踪方法的原理示意图；
图2为本发明实施例二提供的脚印识别流程图；
图3为本发明实施例三提供的脚印标记流程图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例一：
请参阅图1，本发明提供了一种基于薄膜压力传感器阵列的无人超市定位跟踪方法，无人超市定位跟踪方法具体包括以下步骤：
步骤一：压力扫描；在每个采样时刻，读取薄膜压力传感器阵列中压力传感器的输出信号，并对输出信号进行二值化处理，以获得当前采样时刻整个无人超市活动区域的脚印图，并将脚印图标记为脚印压力图；
步骤二：脚印识别；对当前采样时刻的脚印压力图进行脚印识别，计算脚印中心位置，并记录当前采样时刻无人超市的所有脚印信息；
步骤三：脚印标记；将当前采样时刻的所有脚印信息与前一采样时刻的所有脚印信息进行比对，对不同类型脚印进行区别标记；
步骤四：动态关联；对当前采样时刻的新增脚印，从当前采样时刻之前的消失脚印中找到与新增脚印对应的脚印并标记为目标脚印，并将目标脚印所属的顾客与新增脚印进行关联；
步骤五：脚印归属；将当前采样时刻的每一个脚印分别归属到对应的顾客，即将不同的脚印信息链接到对应顾客的用户脚印链表；
步骤六：脚印删除；查找消失时间超过时间阈值的脚印并标记为验证脚印，并将验证脚印的中心位置与无人超市出口区域位置信息进行比对，删除离开无人超市的脚印。
进一步地，步骤二中脚印压力图的获取具体包括：
以固定时钟周期读取所有压力传感器的输出信号；
将输出信号与压力阈值进行比较，当输出信号大于压力阈值时，将输出信号对应位置的数据置为1，当输出信号小于等于压力阈值时，则将输出信号对应位置的数据置为0，完成输出信号的二值化处理；
根据二值化结果生成无人超市活动区域的脚印图并标记为脚印压力图。
进一步地，目标脚印与新增脚印进行关联的步骤具体包括：
从当前采样时刻对应的脚印信息数据结构中获取生存时间为1的脚印并标记为
Figure 803077DEST_PATH_IMAGE026
，从当前采样时刻对应的脚印信息数据结构中获取生存时间为负值的脚印并标记为
Figure 137106DEST_PATH_IMAGE027
；计算脚印
Figure 744805DEST_PATH_IMAGE026
与脚印
Figure 797075DEST_PATH_IMAGE027
中心位置之间的距离并标记为
Figure 312370DEST_PATH_IMAGE028
；
当
Figure 6963DEST_PATH_IMAGE029
时，则将脚印
Figure 785564DEST_PATH_IMAGE027
对应的顾客归属信息复制给脚印
Figure 325129DEST_PATH_IMAGE026
，并从脚印信息数据结构中剔除脚印
Figure 847378DEST_PATH_IMAGE027
；其中
Figure 405267DEST_PATH_IMAGE030
为距离阈值，
Figure 354768DEST_PATH_IMAGE031
，且
Figure 116051DEST_PATH_IMAGE030
通过大量数据模拟获取；
当所有脚印
Figure 441990DEST_PATH_IMAGE027
，距离
Figure 854386DEST_PATH_IMAGE028
均满足
Figure 912471DEST_PATH_IMAGE032
时，则将脚印
Figure 675897DEST_PATH_IMAGE026
的中心位置与无人超市入口位置区域进行比对；并为脚印
Figure 274369DEST_PATH_IMAGE026
分配新的顾客归属信息；即如果对所有消失的脚印
Figure 292003DEST_PATH_IMAGE027
，
Figure 848886DEST_PATH_IMAGE028
都大于
Figure 836958DEST_PATH_IMAGE030
，那么
Figure 504700DEST_PATH_IMAGE026
的中心位置与无人超市入口区域位置进行比对确认，并为
Figure 376841DEST_PATH_IMAGE026
分配新的用户归属信息。
进一步地，步骤五中脚印归属的具体步骤包括：
从当前采样时刻对应的脚印信息数据结构中获取生存时间为正的脚印并标记为
Figure 104626DEST_PATH_IMAGE033
；将脚印
Figure 577064DEST_PATH_IMAGE033
对应的顾客归属信息与用户脚印链表中的顾客归属信息进行比对，当比对成功时，则将脚印
Figure 48497DEST_PATH_IMAGE033
对应的信息链接到用户脚印链表中；当比对失败时，则为脚印
Figure 40724DEST_PATH_IMAGE033
对应的顾客新建用户脚印链表；其中脚印
Figure 673830DEST_PATH_IMAGE033
对应的信息包括脚印中心位置、脚印出现时间和脚印形状。
进一步地，步骤六中脚印删除的具体步骤包括：
从当前采样时刻对应的脚印信息数据结构中获取生存时间为负的脚印并标记为
Figure 367986DEST_PATH_IMAGE034
；当脚印
Figure 377530DEST_PATH_IMAGE034
的生存时间小于时间阈值时，并且脚印
Figure 489843DEST_PATH_IMAGE034
的中心位置在无人超市出口区域时，则删除脚印
Figure 559430DEST_PATH_IMAGE034
对应的用户脚印链表；其中时间阈值小于0。
进一步地，脚印中心位置的计算具体包括以下步骤：
获取脚印
Figure 6460DEST_PATH_IMAGE017
对应压力传感器坐标中最大横坐标
Figure 554116DEST_PATH_IMAGE035
、最小横坐标
Figure 255356DEST_PATH_IMAGE036
、最大纵坐标
Figure 495845DEST_PATH_IMAGE037
和最小纵坐标
Figure 167522DEST_PATH_IMAGE038
；其中
Figure 784448DEST_PATH_IMAGE039
；
通过公式
Figure 340194DEST_PATH_IMAGE040
获取脚印
Figure 17163DEST_PATH_IMAGE017
的中心位置
Figure 907628DEST_PATH_IMAGE016
。
进一步地，超市坐标系是以无人超市的中心位置或者角点位置为原点建立的直角坐标系；其中角点位置为无人超市的四个拐角中任意一个拐角的位置。
进一步地，固定时钟周期根据硬件的数据传输速率、系统的处理能力以及顾客的行走速度确定；压力阈值为大于0的实数，且压力阈值通过大量数据模拟获取。
进一步地，用户脚印链表通过链表数据结构生成；用户脚印链表包括顾客在不同时刻的脚印中心位置、脚印出现时间和脚印形状，且用户脚印链表在顾客进入无人超市时创建，在顾客离开无人超市时删除，每个顾客军对应一个用户脚印链表。
进一步地，脚印中心位置通过脚印信息数据结构提取；脚印信息数据结构除了脚印中心位置还包括脚印覆盖的传感器坐标、脚印存在时间和脚印归属顾客；脚印信息数据结构在无人超市的工作过程中一直存在；脚印信息数据结构是一种数据结构。
实施例二：
请参阅图2，本发明提供了一种基于薄膜压力传感器阵列的无人超市定位跟踪方法，无人超市定位跟踪方法包括脚印识别，脚印识别具体包括以下步骤：
步骤Z1：从脚印压力图任选一个取值为1的位置并标记为
Figure 797086DEST_PATH_IMAGE001
；将位置
Figure 738498DEST_PATH_IMAGE001
对应的压力传感器在超市坐标系中的坐标标记为
Figure 55210DEST_PATH_IMAGE002
；
步骤Z2：查找与位置
Figure 964129DEST_PATH_IMAGE001
相邻位置的数值并标记为第一数值；当第一数值为1时，则将第一数值对应的位置标记为
Figure 391699DEST_PATH_IMAGE003
，获取位置
Figure 187617DEST_PATH_IMAGE003
对应的压力传感器坐标并标记为
Figure 940809DEST_PATH_IMAGE004
，继续查找位置
Figure 71445DEST_PATH_IMAGE003
的相邻位置的数值并标记为第二数值，当第二数值存在取值为1的位置时，则继续查找；当第二数值中不存在取值为1的位置时，则返回位置
Figure 302706DEST_PATH_IMAGE001
继续查找；将与位置
Figure 953130DEST_PATH_IMAGE001
相邻的所有取值为1的位置都被找到；记录所有位置
Figure 877224DEST_PATH_IMAGE005
，…，
Figure 42626DEST_PATH_IMAGE006
对应的压力传感器坐标并作为当前采样时刻识别到的脚印，记为
Figure 533038DEST_PATH_IMAGE007
；其中
Figure 834706DEST_PATH_IMAGE008
为以位置
Figure 929701DEST_PATH_IMAGE001
为初始位置查找到的数值为1的位置总数；
步骤Z3：从脚印压力图中剔除脚印区域
Figure 520082DEST_PATH_IMAGE009
对应的所有压力传感器数据，从剩下的脚印压力图中任选一个取值为1的位置并标记为
Figure 624305DEST_PATH_IMAGE010
；重复步骤Z2，找到从
Figure 967430DEST_PATH_IMAGE010
为初始位置对应的当前采样时刻识别到的脚印，记为
Figure 764485DEST_PATH_IMAGE011
；其中
Figure 311004DEST_PATH_IMAGE012
为以位置
Figure 484496DEST_PATH_IMAGE010
为初始位置查找到的数值为1的位置总数；
步骤Z4：重复步骤Z2，直到脚印压力图中的所有脚印
Figure 682128DEST_PATH_IMAGE013
，…，
Figure 650084DEST_PATH_IMAGE014
；其中
Figure 949478DEST_PATH_IMAGE015
为当前采样时刻脚印压力图中的脚印总数；
步骤Z5：计算脚印中心位置
Figure 395503DEST_PATH_IMAGE016
；
步骤Z6：将脚印
Figure 447642DEST_PATH_IMAGE013
，…，
Figure 586499DEST_PATH_IMAGE014
对应的压力传感器坐标和脚印的中心位置存储到当前采样时刻的脚印信息数据结构中。
实施例三：
请参阅图3，本发明提供了一种基于薄膜压力传感器阵列的无人超市定位跟踪方法，无人超市定位跟踪方法包括脚印标记；将当前采样时刻的所有脚印信息与前一采样时刻的所有脚印信息进行比对，对不同类型脚印进行区别标记；区别标记具体包括：
将当前采样时刻的脚印标记为
Figure 169927DEST_PATH_IMAGE017
，将前一采样时刻的脚印标记为
Figure 357326DEST_PATH_IMAGE018
；其中
Figure 342600DEST_PATH_IMAGE019
，
Figure 853957DEST_PATH_IMAGE020
为前一采样时刻脚印压力图中的脚印总数；
依次计算脚印
Figure 924681DEST_PATH_IMAGE017
的中心位置与前一采样时刻脚印
Figure 915771DEST_PATH_IMAGE018
的中心位置的距离并标记为
Figure 755551DEST_PATH_IMAGE021
；
当
Figure 423162DEST_PATH_IMAGE022
时，则将前一采样时刻脚印信息数据结构中脚印
Figure 715603DEST_PATH_IMAGE018
对应的顾客归属信息复制给脚印
Figure 510384DEST_PATH_IMAGE017
，并将脚印
Figure 204670DEST_PATH_IMAGE017
的生存时间加1，同时将脚印
Figure 43182DEST_PATH_IMAGE017
和脚印
Figure 88498DEST_PATH_IMAGE018
都标记为已处理；其中
Figure 421391DEST_PATH_IMAGE023
为距离阈值，
Figure 970184DEST_PATH_IMAGE024
，且
Figure 245176DEST_PATH_IMAGE023
通过大量数据模拟获取；
当
Figure 512209DEST_PATH_IMAGE025
时，将脚印信息数据结构中的脚印
Figure 383214DEST_PATH_IMAGE017
的生存时间置1，并将脚印
Figure 52092DEST_PATH_IMAGE017
标记为已处理；
获取前一采样时刻所有未标记脚印，并将未标记脚印的信息从前一采样时刻脚印信息数据结构中复制到当前时刻脚印信息数据结构中，并判断：当未标记脚印的生存时间为正时，则将对应的生存时间改为-1，当未标记脚印的生存时间为零或负值时，则将对应的生存时间减1。
上述公式均是去除量纲取其数值计算，公式是由采集大量数据进行软件模拟得到最接近真实情况的一个公式，公式中的预设参数和预设阈值由本领域的技术人员根据实际情况设定或者大量数据模拟获得。
本发明的工作原理：
在每个采样时刻，读取薄膜压力传感器阵列中压力传感器的输出信号，并对输出信号进行二值化处理，以获得当前采样时刻整个无人超市活动区域的脚印图，并将脚印图标记为脚印压力图；对当前采样时刻的脚印压力图进行脚印识别，计算脚印中心位置，并记录当前采样时刻无人超市的所有脚印信息；将当前采样时刻的所有脚印信息与前一采样时刻的所有脚印信息进行比对，对不同类型脚印进行区别标记；对当前采样时刻的新增脚印，从当前采样时刻之前的消失脚印中找到与新增脚印对应的脚印并标记为目标脚印，并将目标脚印所属的顾客与新增脚印进行关联；将当前采样时刻的每一个脚印分别归属到对应的顾客，即将不同的脚印信息链接到对应顾客的用户脚印链表；查找消失时间超过时间阈值的脚印并标记为验证脚印，并将验证脚印的中心位置与无人超市出口区域位置信息进行比对，删除离开无人超市的脚印。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (7)

1.一种基于薄膜压力传感器阵列的无人超市定位跟踪方法，其特征在于，所述无人超市定位跟踪方法具体包括以下步骤：
步骤一：压力扫描；在每个采样时刻，读取薄膜压力传感器阵列中压力传感器的输出信号，并对输出信号进行二值化处理，以获得当前采样时刻整个无人超市活动区域的脚印图，并将脚印图标记为脚印压力图；
步骤二：脚印识别；对当前采样时刻的脚印压力图进行脚印识别，计算脚印中心位置，并记录当前采样时刻无人超市的所有脚印信息；
步骤三：脚印标记；将当前采样时刻的所有脚印信息与前一采样时刻的所有脚印信息进行比对，对不同类型脚印进行区别标记；
步骤四：动态关联；对当前采样时刻的新增脚印，从当前采样时刻之前的消失脚印中找到与新增脚印对应的脚印并标记为目标脚印，并将目标脚印所属的顾客与新增脚印进行关联；
步骤五：脚印归属；将当前采样时刻的每一个脚印分别归属到对应的顾客，即将不同的脚印信息链接到对应顾客的用户脚印链表；
步骤六：脚印删除；查找消失时间超过时间阈值的脚印并标记为验证脚印，并将验证脚印的中心位置与无人超市出口区域位置信息进行比对，删除离开无人超市的脚印。
2.根据权利要求1所述的一种基于薄膜压力传感器阵列的无人超市定位跟踪方法，其特征在于，步骤一中所述脚印压力图的获取具体包括：
以固定时钟周期读取所有压力传感器的输出信号；
将输出信号与压力阈值进行比较，当输出信号大于压力阈值时，将输出信号对应位置的数据置为1，当输出信号小于等于压力阈值时，则将输出信号对应位置的数据置为0，完成输出信号的二值化处理；
根据二值化结果生成无人超市活动区域的脚印图并标记为脚印压力图。
3.根据权利要求1所述的一种基于薄膜压力传感器阵列的无人超市定位跟踪方法，其特征在于，步骤二中所述脚印识别具体包括以下步骤：
步骤Z1：从脚印压力图任选一个取值为1的位置并标记为
Figure 841646DEST_PATH_IMAGE001
；将位置
Figure 254173DEST_PATH_IMAGE001
对应的压力传感器在超市坐标系中的坐标标记为
Figure 282171DEST_PATH_IMAGE002
；
步骤Z2：查找与位置
Figure 401437DEST_PATH_IMAGE001
相邻位置的数值并标记为第一数值；当第一数值为1时，则将第一数值对应的位置标记为
Figure 856689DEST_PATH_IMAGE003
，获取位置
Figure 756512DEST_PATH_IMAGE003
对应的压力传感器坐标并标记为
Figure 509573DEST_PATH_IMAGE004
，继续查找位置
Figure 483346DEST_PATH_IMAGE003
的相邻位置的数值并标记为第二数值，当第二数值存在取值为1的位置时，则继续查找；当第二数值中不存在取值为1的位置时，则返回位置
Figure 109499DEST_PATH_IMAGE001
继续查找；将与位置
Figure 231039DEST_PATH_IMAGE001
相邻的所有取值为1的位置都被找到；记录所有位置
Figure 787791DEST_PATH_IMAGE005
，…，
Figure 943966DEST_PATH_IMAGE006
对应的压力传感器坐标并作为当前采样时刻识别到的脚印，记为
Figure 678704DEST_PATH_IMAGE007
；其中
Figure 287540DEST_PATH_IMAGE008
为以位置
Figure 382403DEST_PATH_IMAGE001
为初始位置查找到的数值为1的位置总数；
步骤Z3：从脚印压力图中剔除脚印区域
Figure 393085DEST_PATH_IMAGE009
对应的所有压力传感器数据，从剩下的脚印压力图中任选一个取值为1的位置并标记为
Figure 298724DEST_PATH_IMAGE010
；重复步骤Z2，找到从
Figure 394856DEST_PATH_IMAGE010
为初始位置对应的当前采样时刻识别到的脚印，记为
Figure 296340DEST_PATH_IMAGE011
；其中
Figure 427107DEST_PATH_IMAGE012
为以位置
Figure 503648DEST_PATH_IMAGE010
为初始位置查找到的数值为1的位置总数；
步骤Z4：重复步骤Z2，直到脚印压力图中的所有脚印
Figure 821497DEST_PATH_IMAGE013
，…，
Figure 523742DEST_PATH_IMAGE014
；其中
Figure 509016DEST_PATH_IMAGE015
为当前采样时刻脚印压力图中的脚印总数；
步骤Z5：计算脚印中心位置
Figure 756457DEST_PATH_IMAGE016
；
步骤Z6：将脚印
Figure 561602DEST_PATH_IMAGE013
，…，
Figure 615009DEST_PATH_IMAGE014
对应的压力传感器坐标和脚印的中心位置存储到当前采样时刻的脚印信息数据结构中。
4.根据权利要求3所述的一种基于薄膜压力传感器阵列的无人超市定位跟踪方法，其特征在于，所述区别标记具体包括：
将当前采样时刻的脚印标记为
Figure 641740DEST_PATH_IMAGE017
，将前一采样时刻的脚印标记为
Figure 122400DEST_PATH_IMAGE018
；其中
Figure 618103DEST_PATH_IMAGE019
，
Figure 209621DEST_PATH_IMAGE020
为前一采样时刻脚印压力图中的脚印总数；
依次计算脚印
Figure 356438DEST_PATH_IMAGE017
的中心位置与前一采样时刻脚印
Figure 7999DEST_PATH_IMAGE021
的中心位置的距离并标记为
Figure 725419DEST_PATH_IMAGE022
；
当
Figure 120629DEST_PATH_IMAGE023
时，则将前一采样时刻脚印信息数据结构中脚印
Figure 935001DEST_PATH_IMAGE021
对应的顾客归属信息复制给脚印
Figure 935625DEST_PATH_IMAGE017
，并将脚印
Figure 202658DEST_PATH_IMAGE017
的生存时间加1，同时将脚印
Figure 542504DEST_PATH_IMAGE017
和脚印
Figure 929492DEST_PATH_IMAGE021
都标记为已处理；
当
Figure 188435DEST_PATH_IMAGE024
时，将脚印信息数据结构中的脚印
Figure 942764DEST_PATH_IMAGE017
的生存时间置1，并将脚印
Figure 883038DEST_PATH_IMAGE017
标记为已处理；
获取前一采样时刻所有未标记脚印，并将未标记脚印的信息从前一采样时刻脚印信息数据结构中复制到当前时刻脚印信息数据结构中，并判断：当未标记脚印的生存时间为正时，则将对应的生存时间改为-1，当未标记脚印的生存时间为零或负值时，则将对应的生存时间减1。
5.根据权利要求1所述的一种基于薄膜压力传感器阵列的无人超市定位跟踪方法，其特征在于，步骤四中所述动态关联的具体实现步骤包括：
从当前采样时刻对应的脚印信息数据结构中获取生存时间为1的脚印并标记为
Figure 593374DEST_PATH_IMAGE025
，从当前采样时刻对应的脚印信息数据结构中获取生存时间为负值的脚印并标记为
Figure 757639DEST_PATH_IMAGE026
；计算脚印
Figure 936948DEST_PATH_IMAGE025
与脚印
Figure 477651DEST_PATH_IMAGE026
中心位置之间的距离并标记为
Figure 42493DEST_PATH_IMAGE027
；
当
Figure 643239DEST_PATH_IMAGE028
时，则将脚印
Figure 44264DEST_PATH_IMAGE026
对应的顾客归属信息复制给脚印
Figure 388658DEST_PATH_IMAGE025
，并从脚印信息数据结构中剔除脚印
Figure 621056DEST_PATH_IMAGE026
；
当所有脚印
Figure 582583DEST_PATH_IMAGE026
，距离
Figure 533222DEST_PATH_IMAGE027
均满足
Figure 353410DEST_PATH_IMAGE029
时，则将脚印
Figure 705894DEST_PATH_IMAGE025
的中心位置与无人超市入口位置区域进行比对；并为脚印
Figure 835393DEST_PATH_IMAGE025
分配新的顾客归属信息。
6.根据权利要求1所述的一种基于薄膜压力传感器阵列的无人超市定位跟踪方法，其特征在于，步骤五中所述脚印归属的具体步骤包括：
从当前采样时刻对应的脚印信息数据结构中获取生存时间为正的脚印并标记为
Figure 273328DEST_PATH_IMAGE030
；将脚印
Figure 897207DEST_PATH_IMAGE030
对应的顾客归属信息与用户脚印链表中的顾客归属信息进行比对，当比对成功时，则将脚印
Figure 104197DEST_PATH_IMAGE030
对应的信息链接到用户脚印链表中；当比对失败时，则为脚印
Figure 217647DEST_PATH_IMAGE030
对应的顾客新建用户脚印链表。
7.根据权利要求1所述的一种基于薄膜压力传感器阵列的无人超市定位跟踪方法，其特征在于，步骤六中所述脚印删除的具体步骤包括：
从当前采样时刻对应的脚印信息数据结构中获取生存时间为负的脚印并标记为
Figure 329828DEST_PATH_IMAGE031
；当脚印
Figure 554136DEST_PATH_IMAGE031
的生存时间小于时间阈值时，并且脚印
Figure 818896DEST_PATH_IMAGE031
的中心位置在无人超市出口区域时，则删除脚印
Figure 837667DEST_PATH_IMAGE031
对应的用户脚印链表。
CN202110356096.5A 2021-04-01 2021-04-01 一种基于薄膜压力传感器阵列的无人超市定位跟踪方法 Active CN112801055B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110356096.5A CN112801055B (zh) 2021-04-01 2021-04-01 一种基于薄膜压力传感器阵列的无人超市定位跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110356096.5A CN112801055B (zh) 2021-04-01 2021-04-01 一种基于薄膜压力传感器阵列的无人超市定位跟踪方法

Publications (2)

Publication Number Publication Date
CN112801055A true CN112801055A (zh) 2021-05-14
CN112801055B CN112801055B (zh) 2021-06-22

Family

ID=75816227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110356096.5A Active CN112801055B (zh) 2021-04-01 2021-04-01 一种基于薄膜压力传感器阵列的无人超市定位跟踪方法

Country Status (1)

Country Link
CN (1) CN112801055B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108332829A (zh) * 2017-12-18 2018-07-27 上海云拿智能科技有限公司 基于重量监测的货品感知系统及货品感知方法
CN109583452A (zh) * 2017-09-29 2019-04-05 大连恒锐科技股份有限公司 一种基于赤足足迹的人身同一认定方法和系统
CN111046720A (zh) * 2018-10-15 2020-04-21 阿里巴巴集团控股有限公司 采用压力签名进行个人识别的方法和系统
CN111964814A (zh) * 2020-07-14 2020-11-20 中国人民公安大学 一种足迹压力采集系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583452A (zh) * 2017-09-29 2019-04-05 大连恒锐科技股份有限公司 一种基于赤足足迹的人身同一认定方法和系统
CN108332829A (zh) * 2017-12-18 2018-07-27 上海云拿智能科技有限公司 基于重量监测的货品感知系统及货品感知方法
US20200202163A1 (en) * 2017-12-18 2020-06-25 Shanghai Cloudpick Smart Technology Co., Ltd. Target positioning system and target positioning method
CN111046720A (zh) * 2018-10-15 2020-04-21 阿里巴巴集团控股有限公司 采用压力签名进行个人识别的方法和系统
CN111964814A (zh) * 2020-07-14 2020-11-20 中国人民公安大学 一种足迹压力采集系统

Also Published As

Publication number Publication date
CN112801055B (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
CN108416403B (zh) 商品与标签的自动关联方法、系统、设备及存储介质
KR102454854B1 (ko) 영상 모니터링에 기반하는 물품 감지 시스템 및 물품 감지 방법
CN109697435B (zh) 人流量监测方法、装置、存储介质及设备
CN108345912A (zh) 一种基于rgbd信息与深度学习的商品快速结算系统
Zhang et al. Toward new retail: A benchmark dataset for smart unmanned vending machines
Tonioni et al. Product recognition in store shelves as a sub-graph isomorphism problem
CN102982332A (zh) 基于云处理方式的零售终端货架影像智能分析系统
WO2020134102A1 (zh) 物品识别方法、装置、售货系统和存储介质
US11875570B1 (en) Updating agent position information
CN111553355B (zh) 基于监控视频的出店经营检测及通知管理店主的方法
CN109977824B (zh) 物品取放识别方法、装置及设备
CN115272446B (zh) 一种堆头占地面积计算的方法和系统
KR102260355B1 (ko) 영상 기반 구매 행동 인식 시스템 및 방법
CN111428743B (zh) 商品识别方法、商品处理方法、装置及电子设备
CN114255377A (zh) 一种智能货柜的差异商品检测分类方法
CN112801055B (zh) 一种基于薄膜压力传感器阵列的无人超市定位跟踪方法
CN112528903A (zh) 人脸图像获取方法、装置、电子设备及介质
CN113743382B (zh) 一种货架陈列检测方法、装置及系统
CN112132868B (zh) 一种支付信息的确定方法、装置及设备
CN110246280A (zh) 人货绑定方法及装置、计算机设备及可读介质
CN115131826A (zh) 物品检测识别方法、网络模型的训练方法和装置
CN109034067B (zh) 商品图像翻拍检测方法、系统、设备及存储介质
CN111753766A (zh) 一种图像处理方法、装置、设备及介质
US20230237558A1 (en) Object recognition systems and methods
CN116612224B (zh) 一种数字映射可视化管理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant