CN112801055B - 一种基于薄膜压力传感器阵列的无人超市定位跟踪方法 - Google Patents

一种基于薄膜压力传感器阵列的无人超市定位跟踪方法 Download PDF

Info

Publication number
CN112801055B
CN112801055B CN202110356096.5A CN202110356096A CN112801055B CN 112801055 B CN112801055 B CN 112801055B CN 202110356096 A CN202110356096 A CN 202110356096A CN 112801055 B CN112801055 B CN 112801055B
Authority
CN
China
Prior art keywords
footprint
footprints
marking
unmanned supermarket
pressure sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110356096.5A
Other languages
English (en)
Other versions
CN112801055A (zh
Inventor
钟辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Yunxing Artificial Intelligence Research Institute Co ltd
Original Assignee
Hunan Yunxing Artificial Intelligence Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Yunxing Artificial Intelligence Research Institute Co ltd filed Critical Hunan Yunxing Artificial Intelligence Research Institute Co ltd
Priority to CN202110356096.5A priority Critical patent/CN112801055B/zh
Publication of CN112801055A publication Critical patent/CN112801055A/zh
Application granted granted Critical
Publication of CN112801055B publication Critical patent/CN112801055B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L5/00—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/909—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Abstract

本发明公开了一种基于薄膜压力传感器阵列的无人超市定位跟踪方法，涉及新零售业技术领域，解决了现有方案对顾客身份识别和追踪所采用的技术手段成本较高，且系统复杂，不利于无人超市大范围应用的技术问题；本发明采用薄膜压力传感器阵列采集用户购物过程的脚印信息，这些信息不受光线强弱、货架或其他顾客遮蔽等外界因素的影响，数据传输要求低，后端所需的计算资源小；系统算法简单，实现难度小，可靠性高；通过和基于重量或视觉的货架商品动态识别系统相配合，有效解决无人超市多个顾客情况下“谁拿取了商品”以及“拿取了哪些商品”的问题；本发明提供的定位跟踪方法，在光纤压力毯、红外传感器阵列等其他能检测脚印的硬件上也能实施。

Description

一种基于薄膜压力传感器阵列的无人超市定位跟踪方法
技术领域
本发明属于新零售业技术领域，涉及一种对无人超市中用户位置实时定位跟踪的方法，具体是一种基于薄膜压力传感器阵列的无人超市定位跟踪方法。
背景技术
随着电子支付、分布式计算和智能识别等技术的快速发展，无需专门销售人员和收款人员的各类无人超市相继诞生；实现无人超市的核心技术通常包含顾客身份识别与追踪、货架商品动态识别和终端自主结算三大类，其中顾客身份识别与追踪技术实时获取顾客在无人超市中购物时的位置和身份信息，它和货架商品动态识别技术一起，用于解决“谁拿取了商品”、“拿取了哪些商品”以及“拿取商品的种类和数量”等问题，是实现无人超市成功运行的关键。
目前顾客身份识别与追踪采用的主要技术手段为视觉识别，视觉识别技术首先在超市入口处记录顾客的人脸信息，然后在超市内部捕捉顾客拿起或放下商品的图像，通过将这些图像与人脸信息和商品图像进行比对分析，得到“谁拿取了商品”以及“拿取了哪些商品”等结果，从而实现对顾客身份的识别与追踪。视觉识别方法需要安装大量的摄像头，同时后端图像处理系统需要采用较为先进的视觉识别和跟踪算法，不仅增加了硬件的成本，而且提高了整个系统的成复杂度。
除了视觉识别技术外，RFID技术也被应用在无人超市中。顾客拿取粘贴有RFID标签的商品后，自行利用商品上的RFID标签进行结算，从而将商品与购买商品的顾客的对应关系转移到结算环节，而对顾客在超市内的购买过程可以不用关心。RFID技术避开了对顾客在超市内购物过程的位置追踪，会导致商品被盗、商品吃掉以及商品不结算等情况，同时大量RFID标签需要投入大量的人力和时间，进一步限制了无人超市的大范围应用。
针对以上技术的缺点，亟需提出一种能够对顾客在无人超市购物全过程进行监控并且成本低廉、实现简单的顾客身份识别与跟踪的方法。
发明内容
为了解决上述方案存在的问题，本发明提供了一种基于薄膜压力传感器阵列的无人超市定位跟踪方法，用于解决现有方案对顾客身份识别和追踪所采用的技术手段成本较高，且系统复杂，不利于无人超市大范围应用的技术问题。
本发明的目的可以通过以下技术方案实现：一种基于薄膜压力传感器阵列的无人超市定位跟踪方法，所述无人超市定位跟踪方法具体包括以下步骤：
步骤一：压力扫描；在每个采样时刻，读取薄膜压力传感器阵列中压力传感器的输出信号，并对输出信号进行二值化处理，以获得当前采样时刻整个无人超市活动区域的脚印图，并将脚印图标记为脚印压力图；
步骤二：脚印识别；对当前采样时刻的脚印压力图进行脚印识别，计算脚印中心位置，并记录当前采样时刻无人超市的所有脚印信息；
步骤三：脚印标记；将当前采样时刻的所有脚印信息与前一采样时刻的所有脚印信息进行比对，对不同类型脚印进行区别标记；
步骤四：动态关联；对当前采样时刻的新增脚印，从当前采样时刻之前的消失脚印中找到与新增脚印对应的脚印并标记为目标脚印，并将目标脚印所属的顾客与新增脚印进行关联；
步骤五：脚印归属；将当前采样时刻的每一个脚印分别归属到对应的顾客，即将不同的脚印信息链接到对应顾客的用户脚印链表；
步骤六：脚印删除；查找消失时间超过时间阈值的脚印并标记为验证脚印，并将验证脚印的中心位置与无人超市出口区域位置信息进行比对，删除离开无人超市的脚印。
优选的，步骤二中所述脚印压力图的获取具体包括：
以固定时钟周期读取所有压力传感器的输出信号；
将输出信号与压力阈值进行比较，当输出信号大于压力阈值时，将输出信号对应位置的数据置为1，当输出信号小于等于压力阈值时，则将输出信号对应位置的数据置为0，完成输出信号的二值化处理；
根据二值化结果生成无人超市活动区域的脚印图并标记为脚印压力图。
优选的，所述脚印识别具体包括以下步骤：
步骤Z1：从脚印压力图任选一个取值为1的位置并标记为
Figure DEST_PATH_IMAGE002
；将位置
Figure DEST_PATH_IMAGE002A
对应的压力传感器在超市坐标系中的坐标标记为
Figure DEST_PATH_IMAGE004
；
步骤Z2：查找与位置
Figure DEST_PATH_IMAGE002AA
相邻位置的数值并标记为第一数值；当第一数值为1时，则将第一数值对应的位置标记为
Figure DEST_PATH_IMAGE006
，获取位置
Figure DEST_PATH_IMAGE006A
对应的压力传感器坐标并标记为
Figure DEST_PATH_IMAGE008
，继续查找位置
Figure DEST_PATH_IMAGE006AA
的相邻位置的数值并标记为第二数值，当第二数值存在取值为1的位置时，则继续查找；当第二数值中不存在取值为1的位置时，则返回位置
Figure DEST_PATH_IMAGE002AAA
继续查找；将与位置
Figure DEST_PATH_IMAGE002AAAA
相邻的所有取值为1的位置都被找到；记录所有位置
Figure DEST_PATH_IMAGE010
，…，
Figure DEST_PATH_IMAGE012
对应的压力传感器坐标并作为当前采样时刻识别到的脚印，记为
Figure DEST_PATH_IMAGE014
；其中
Figure DEST_PATH_IMAGE016
为以位置
Figure DEST_PATH_IMAGE002AAAAA
为初始位置查找到的数值为1的位置总数；
步骤Z3：从脚印压力图中剔除脚印区域F0对应的所有压力传感器数据，从剩下的脚印压力图中任选一个取值为1的位置并标记为
Figure DEST_PATH_IMAGE020
；重复步骤Z2，找到从
Figure DEST_PATH_IMAGE020A
为初始位置对应的当前采样时刻识别到的脚印，记为
Figure DEST_PATH_IMAGE022
；其中
Figure DEST_PATH_IMAGE024
为以位置
Figure DEST_PATH_IMAGE026
为初始位置查找到的数值为1的位置总数；
步骤Z4：重复步骤Z2，直到脚印压力图中的所有脚印
Figure DEST_PATH_IMAGE028
，…，
Figure DEST_PATH_IMAGE030
；其中
Figure DEST_PATH_IMAGE032
为当前采样时刻脚印压力图中的脚印总数；
步骤Z5：计算脚印中心位置
Figure DEST_PATH_IMAGE034
；
步骤Z6：将脚印
Figure DEST_PATH_IMAGE028A
，…，
Figure DEST_PATH_IMAGE030A
对应的压力传感器坐标和脚印的中心位置存储到当前采样时刻的脚印信息数据结构中。
优选的，所述区别标记具体包括：
将当前采样时刻的脚印标记为
Figure DEST_PATH_IMAGE036
，将前一采样时刻的脚印标记为
Figure DEST_PATH_IMAGE038
；其中
Figure DEST_PATH_IMAGE040
，
Figure DEST_PATH_IMAGE042
为前一采样时刻脚印压力图中的脚印总数；
依次计算脚印
Figure DEST_PATH_IMAGE036A
的中心位置与前一采样时刻脚印
Figure DEST_PATH_IMAGE038A
的中心位置的距离并标记为
Figure DEST_PATH_IMAGE044
；
当
Figure DEST_PATH_IMAGE046
时，则将前一采样时刻脚印信息数据结构中脚印
Figure DEST_PATH_IMAGE038AA
对应的顾客归属信息复制给脚印
Figure DEST_PATH_IMAGE036AA
，并将脚印
Figure DEST_PATH_IMAGE036AAA
的生存时间加1，同时将脚印
Figure DEST_PATH_IMAGE036AAAA
和脚印
Figure DEST_PATH_IMAGE038AAA
都标记为已处理；其中
Figure DEST_PATH_IMAGE048
为距离阈值，
Figure DEST_PATH_IMAGE050
，且
Figure DEST_PATH_IMAGE048A
通过大量数据模拟获取；
当
Figure DEST_PATH_IMAGE052
时，将脚印信息数据结构中的脚印
Figure DEST_PATH_IMAGE036AAAAA
的生存时间置1，并将脚印
Figure DEST_PATH_IMAGE036AAAAAA
标记为已处理；
获取前一采样时刻所有未标记脚印，并将未标记脚印的信息从前一采样时刻脚印信息数据结构中复制到当前时刻脚印信息数据结构中，并判断：当未标记脚印的生存时间为正时，则将对应的生存时间改为-1，当未标记脚印的生存时间为零或负值时，则将对应的生存时间减1。
优选的，所述目标脚印与新增脚印进行关联的步骤具体包括：
从当前采样时刻对应的脚印信息数据结构中获取生存时间为1的脚印并标记为
Figure DEST_PATH_IMAGE054
，从当前采样时刻对应的脚印信息数据结构中获取生存时间为负值的脚印并标记为
Figure DEST_PATH_IMAGE056
；计算脚印
Figure DEST_PATH_IMAGE054A
与脚印
Figure DEST_PATH_IMAGE056A
中心位置之间的距离并标记为
Figure DEST_PATH_IMAGE058
；
当
Figure DEST_PATH_IMAGE060
时，则将脚印
Figure DEST_PATH_IMAGE056AA
对应的顾客归属信息复制给脚印
Figure DEST_PATH_IMAGE054AA
，并从脚印信息数据结构中剔除脚印
Figure DEST_PATH_IMAGE056AAA
；其中
Figure DEST_PATH_IMAGE062
为距离阈值，
Figure DEST_PATH_IMAGE064
，且
Figure DEST_PATH_IMAGE062A
通过大量数据模拟获取；
对所有脚印
Figure DEST_PATH_IMAGE056AAAA
，距离
Figure DEST_PATH_IMAGE058A
均满足
Figure DEST_PATH_IMAGE066
时，则将脚印
Figure DEST_PATH_IMAGE054AAA
的中心位置与无人超市入口位置区域进行比对；并为脚印
Figure DEST_PATH_IMAGE054AAAA
分配新的顾客归属信息。
优选的，步骤五中所述脚印归属的具体步骤包括：
从当前采样时刻对应的脚印信息数据结构中获取生存时间为正的脚印并标记为
Figure DEST_PATH_IMAGE068
；将脚印
Figure DEST_PATH_IMAGE068A
对应的顾客归属信息与用户脚印链表中的顾客归属信息进行比对，当比对成功时，则将脚印
Figure DEST_PATH_IMAGE068AA
对应的信息链接到用户脚印链表中；当比对失败时，则为脚印
Figure DEST_PATH_IMAGE068AAA
对应的顾客新建用户脚印链表；其中脚印
Figure DEST_PATH_IMAGE068AAAA
对应的信息包括脚印中心位置、脚印出现时间和脚印形状。
优选的，步骤六中所述脚印删除的具体步骤包括：
从当前采样时刻对应的脚印信息数据结构中获取生存时间为负的脚印并标记为
Figure DEST_PATH_IMAGE070
；当脚印
Figure DEST_PATH_IMAGE070A
的生存时间小于时间阈值时，并且脚印
Figure DEST_PATH_IMAGE070AA
的中心位置在无人超市出口区域时，则删除脚印
Figure DEST_PATH_IMAGE070AAA
对应的用户脚印链表；其中时间阈值小于0。
优选的，所述脚印中心位置的计算具体包括以下步骤：
获取脚印
Figure DEST_PATH_IMAGE036AAAAAAA
对应压力传感器坐标中最大横坐标
Figure DEST_PATH_IMAGE072
、最小横坐标
Figure DEST_PATH_IMAGE074
、最大纵坐标
Figure DEST_PATH_IMAGE076
和最小纵坐标
Figure DEST_PATH_IMAGE078
；其中
Figure DEST_PATH_IMAGE080
；
通过公式
Figure DEST_PATH_IMAGE082
获取脚印
Figure DEST_PATH_IMAGE036AAAAAAAA
的中心位置
Figure DEST_PATH_IMAGE034A
。
优选的，所述超市坐标系是以无人超市的中心位置或者角点位置为原点建立的直角坐标系；其中角点位置为无人超市的四个拐角中任意一个拐角的位置。
优选的，所述固定时钟周期根据硬件的数据传输速率、系统的处理能力以及顾客的行走速度确定；所述压力阈值为大于0的实数，且压力阈值通过大量数据模拟获取。
优选的，所述用户脚印链表通过链表数据结构生成；所述用户脚印链表包括顾客在不同时刻的脚印中心位置、脚印出现时间和脚印形状，且用户脚印链表在顾客进入无人超市时创建，在顾客离开无人超市时删除，每个顾客军对应一个用户脚印链表。
优选的，所述脚印中心位置通过脚印信息数据结构提取；所述脚印信息数据结构除了脚印中心位置还包括脚印覆盖的传感器坐标、脚印存在时间和脚印归属顾客；所述脚印信息数据结构在无人超市的工作过程中一直存在；所述脚印信息数据结构是一种数据结构，所述脚印信息数据结构的内容与顾客归属信息一致。
优选的，不同类型脚印包括新增脚印、消失脚印和无变化脚印。
与现有技术相比，本发明的有益效果是：
本发明采用薄膜压力传感器阵列采集用户购物过程的脚印信息，这些信息不受光线强弱、货架或其他顾客遮蔽等外界因素的影响；通过加大压力传感器的密度，能够实现对顾客位置的高精度定位跟踪，并且能够支持多个顾客位置的定位跟踪；系统的硬件设备简单、成本较低，薄膜压力传感器阵列每个节点一次只输出一个数据，数据传输要求低，后端所需的计算资源小；系统算法简单，实现难度小，可靠性高；通过和基于重量或视觉的货架商品动态识别系统相配合，可以有效解决无人超市多个顾客情况下“谁拿取了商品”以及“拿取了哪些商品”的问题；本发明提供的定位跟踪方法，不仅在电阻式薄膜压力传感器阵列上适用，而且在其他诸如光纤压力毯、红外传感器阵列等其他能检测脚印的硬件上也能实施。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的无人超市定位跟踪方法的原理示意图；
图2为本发明实施例二提供的脚印识别流程图；
图3为本发明实施例三提供的脚印标记流程图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例一：
请参阅图1，本发明提供了一种基于薄膜压力传感器阵列的无人超市定位跟踪方法，无人超市定位跟踪方法具体包括以下步骤：
步骤一：压力扫描；在每个采样时刻，读取薄膜压力传感器阵列中压力传感器的输出信号，并对输出信号进行二值化处理，以获得当前采样时刻整个无人超市活动区域的脚印图，并将脚印图标记为脚印压力图；
步骤二：脚印识别；对当前采样时刻的脚印压力图进行脚印识别，计算脚印中心位置，并记录当前采样时刻无人超市的所有脚印信息；
步骤三：脚印标记；将当前采样时刻的所有脚印信息与前一采样时刻的所有脚印信息进行比对，对不同类型脚印进行区别标记；
步骤四：动态关联；对当前采样时刻的新增脚印，从当前采样时刻之前的消失脚印中找到与新增脚印对应的脚印并标记为目标脚印，并将目标脚印所属的顾客与新增脚印进行关联；
步骤五：脚印归属；将当前采样时刻的每一个脚印分别归属到对应的顾客，即将不同的脚印信息链接到对应顾客的用户脚印链表；
步骤六：脚印删除；查找消失时间超过时间阈值的脚印并标记为验证脚印，并将验证脚印的中心位置与无人超市出口区域位置信息进行比对，删除离开无人超市的脚印。
进一步地，步骤二中脚印压力图的获取具体包括：
以固定时钟周期读取所有压力传感器的输出信号；
将输出信号与压力阈值进行比较，当输出信号大于压力阈值时，将输出信号对应位置的数据置为1，当输出信号小于等于压力阈值时，则将输出信号对应位置的数据置为0，完成输出信号的二值化处理；
根据二值化结果生成无人超市活动区域的脚印图并标记为脚印压力图。
进一步地，目标脚印与新增脚印进行关联的步骤具体包括：
从当前采样时刻对应的脚印信息数据结构中获取生存时间为1的脚印并标记为
Figure DEST_PATH_IMAGE054AAAAA
，从当前采样时刻对应的脚印信息数据结构中获取生存时间为负值的脚印并标记为
Figure DEST_PATH_IMAGE056AAAAA
；计算脚印
Figure DEST_PATH_IMAGE054AAAAAA
与脚印
Figure DEST_PATH_IMAGE056AAAAAA
中心位置之间的距离并标记为
Figure DEST_PATH_IMAGE058AA
；
当
Figure DEST_PATH_IMAGE060A
时，则将脚印
Figure DEST_PATH_IMAGE056AAAAAAA
对应的顾客归属信息复制给脚印
Figure DEST_PATH_IMAGE054AAAAAAA
，并从脚印信息数据结构中剔除脚印
Figure DEST_PATH_IMAGE056AAAAAAAA
；其中
Figure DEST_PATH_IMAGE062AA
为距离阈值，
Figure DEST_PATH_IMAGE064A
，且
Figure DEST_PATH_IMAGE062AAA
通过大量数据模拟获取；
当所有脚印
Figure DEST_PATH_IMAGE056AAAAAAAAA
，距离
Figure DEST_PATH_IMAGE058AAA
均满足
Figure DEST_PATH_IMAGE066A
时，则将脚印
Figure DEST_PATH_IMAGE054AAAAAAAA
的中心位置与无人超市入口位置区域进行比对；并为脚印
Figure DEST_PATH_IMAGE054AAAAAAAAA
分配新的顾客归属信息；即如果对所有消失的脚印
Figure DEST_PATH_IMAGE056AAAAAAAAAA
，
Figure DEST_PATH_IMAGE058AAAA
都大于
Figure DEST_PATH_IMAGE062AAAA
，那么
Figure DEST_PATH_IMAGE054AAAAAAAAAA
的中心位置与无人超市入口区域位置进行比对确认，并为
Figure DEST_PATH_IMAGE054AAAAAAAAAAA
分配新的用户归属信息。
进一步地，步骤五中脚印归属的具体步骤包括：
从当前采样时刻对应的脚印信息数据结构中获取生存时间为正的脚印并标记为
Figure DEST_PATH_IMAGE068AAAAA
；将脚印
Figure DEST_PATH_IMAGE068AAAAAA
对应的顾客归属信息与用户脚印链表中的顾客归属信息进行比对，当比对成功时，则将脚印
Figure DEST_PATH_IMAGE068AAAAAAA
对应的信息链接到用户脚印链表中；当比对失败时，则为脚印
Figure DEST_PATH_IMAGE068AAAAAAAA
对应的顾客新建用户脚印链表；其中脚印
Figure DEST_PATH_IMAGE068AAAAAAAAA
对应的信息包括脚印中心位置、脚印出现时间和脚印形状。
进一步地，步骤六中脚印删除的具体步骤包括：
从当前采样时刻对应的脚印信息数据结构中获取生存时间为负的脚印并标记为
Figure DEST_PATH_IMAGE070AAAA
；当脚印
Figure DEST_PATH_IMAGE070AAAAA
的生存时间小于时间阈值时，并且脚印
Figure DEST_PATH_IMAGE070AAAAAA
的中心位置在无人超市出口区域时，则删除脚印
Figure DEST_PATH_IMAGE070AAAAAAA
对应的用户脚印链表；其中时间阈值小于0。
进一步地，脚印中心位置的计算具体包括以下步骤：
获取脚印
Figure DEST_PATH_IMAGE036AAAAAAAAA
对应压力传感器坐标中最大横坐标
Figure DEST_PATH_IMAGE072A
、最小横坐标
Figure DEST_PATH_IMAGE074A
、最大纵坐标
Figure DEST_PATH_IMAGE076A
和最小纵坐标
Figure DEST_PATH_IMAGE078A
；其中
Figure DEST_PATH_IMAGE080A
；
通过公式
Figure DEST_PATH_IMAGE082A
获取脚印
Figure DEST_PATH_IMAGE036AAAAAAAAAA
的中心位置
Figure DEST_PATH_IMAGE034AA
。
进一步地，超市坐标系是以无人超市的中心位置或者角点位置为原点建立的直角坐标系；其中角点位置为无人超市的四个拐角中任意一个拐角的位置。
进一步地，固定时钟周期根据硬件的数据传输速率、系统的处理能力以及顾客的行走速度确定；压力阈值为大于0的实数，且压力阈值通过大量数据模拟获取。
进一步地，用户脚印链表通过链表数据结构生成；用户脚印链表包括顾客在不同时刻的脚印中心位置、脚印出现时间和脚印形状，且用户脚印链表在顾客进入无人超市时创建，在顾客离开无人超市时删除，每个顾客军对应一个用户脚印链表。
进一步地，脚印中心位置通过脚印信息数据结构提取；脚印信息数据结构除了脚印中心位置还包括脚印覆盖的传感器坐标、脚印存在时间和脚印归属顾客；脚印信息数据结构在无人超市的工作过程中一直存在；脚印信息数据结构是一种数据结构。
实施例二：
请参阅图2，本发明提供了一种基于薄膜压力传感器阵列的无人超市定位跟踪方法，无人超市定位跟踪方法包括脚印识别，脚印识别具体包括以下步骤：
步骤Z1：从脚印压力图任选一个取值为1的位置并标记为
Figure DEST_PATH_IMAGE002AAAAAA
；将位置
Figure DEST_PATH_IMAGE002AAAAAAA
对应的压力传感器在超市坐标系中的坐标标记为
Figure DEST_PATH_IMAGE004A
；
步骤Z2：查找与位置
Figure DEST_PATH_IMAGE002AAAAAAAA
相邻位置的数值并标记为第一数值；当第一数值为1时，则将第一数值对应的位置标记为
Figure DEST_PATH_IMAGE006AAA
，获取位置
Figure DEST_PATH_IMAGE006AAAA
对应的压力传感器坐标并标记为
Figure DEST_PATH_IMAGE008A
，继续查找位置
Figure DEST_PATH_IMAGE006AAAAA
的相邻位置的数值并标记为第二数值，当第二数值存在取值为1的位置时，则继续查找；当第二数值中不存在取值为1的位置时，则返回位置
Figure DEST_PATH_IMAGE002AAAAAAAAA
继续查找；将与位置
Figure DEST_PATH_IMAGE002AAAAAAAAAA
相邻的所有取值为1的位置都被找到；记录所有位置
Figure DEST_PATH_IMAGE010A
，…，
Figure DEST_PATH_IMAGE012A
对应的压力传感器坐标并作为当前采样时刻识别到的脚印，记为
Figure DEST_PATH_IMAGE014A
；其中
Figure DEST_PATH_IMAGE016A
为以位置
Figure DEST_PATH_IMAGE002AAAAAAAAAAA
为初始位置查找到的数值为1的位置总数；
步骤Z3：从脚印压力图中剔除脚印区域F0对应的所有压力传感器数据，从剩下的脚印压力图中任选一个取值为1的位置并标记为
Figure DEST_PATH_IMAGE020AA
；重复步骤Z2，找到从
Figure DEST_PATH_IMAGE020AAA
为初始位置对应的当前采样时刻识别到的脚印，记为
Figure DEST_PATH_IMAGE022A
；其中
Figure DEST_PATH_IMAGE024A
为以位置
Figure DEST_PATH_IMAGE026A
为初始位置查找到的数值为1的位置总数；
步骤Z4：重复步骤Z2，直到脚印压力图中的所有脚印
Figure DEST_PATH_IMAGE028AA
，…，
Figure DEST_PATH_IMAGE030AA
；其中
Figure DEST_PATH_IMAGE032A
为当前采样时刻脚印压力图中的脚印总数；
步骤Z5：计算脚印中心位置
Figure DEST_PATH_IMAGE034AAA
；
步骤Z6：将脚印
Figure DEST_PATH_IMAGE028AAA
，…，
Figure DEST_PATH_IMAGE030AAA
对应的压力传感器坐标和脚印的中心位置存储到当前采样时刻的脚印信息数据结构中。
实施例三：
请参阅图3，本发明提供了一种基于薄膜压力传感器阵列的无人超市定位跟踪方法，无人超市定位跟踪方法包括脚印标记；将当前采样时刻的所有脚印信息与前一采样时刻的所有脚印信息进行比对，对不同类型脚印进行区别标记；区别标记具体包括：
将当前采样时刻的脚印标记为
Figure DEST_PATH_IMAGE036AAAAAAAAAAA
，将前一采样时刻的脚印标记为
Figure DEST_PATH_IMAGE038AAAA
；其中
Figure DEST_PATH_IMAGE040A
，
Figure DEST_PATH_IMAGE042A
为前一采样时刻脚印压力图中的脚印总数；
依次计算脚印
Figure DEST_PATH_IMAGE036AAAAAAAAAAAA
的中心位置与前一采样时刻脚印
Figure DEST_PATH_IMAGE038AAAAA
的中心位置的距离并标记为
Figure DEST_PATH_IMAGE044A
；
当
Figure DEST_PATH_IMAGE046A
时，则将前一采样时刻脚印信息数据结构中脚印
Figure DEST_PATH_IMAGE038AAAAAA
对应的顾客归属信息复制给脚印
Figure DEST_PATH_IMAGE036AAAAAAAAAAAAA
，并将脚印
Figure DEST_PATH_IMAGE036AAAAAAAAAAAAAA
的生存时间加1，同时将脚印
Figure DEST_PATH_IMAGE036AAAAAAAAAAAAAAA
和脚印
Figure DEST_PATH_IMAGE038AAAAAAA
都标记为已处理；其中
Figure DEST_PATH_IMAGE048AA
为距离阈值，
Figure DEST_PATH_IMAGE050A
，且
Figure DEST_PATH_IMAGE048AAA
通过大量数据模拟获取；
当
Figure DEST_PATH_IMAGE052A
时，将脚印信息数据结构中的脚印
Figure DEST_PATH_IMAGE036AAAAAAAAAAAAAAAA
的生存时间置1，并将脚印
Figure DEST_PATH_IMAGE036AAAAAAAAAAAAAAAAA
标记为已处理；
获取前一采样时刻所有未标记脚印，并将未标记脚印的信息从前一采样时刻脚印信息数据结构中复制到当前时刻脚印信息数据结构中，并判断：当未标记脚印的生存时间为正时，则将对应的生存时间改为-1，当未标记脚印的生存时间为零或负值时，则将对应的生存时间减1。
上述公式均是去除量纲取其数值计算，公式是由采集大量数据进行软件模拟得到最接近真实情况的一个公式，公式中的预设参数和预设阈值由本领域的技术人员根据实际情况设定或者大量数据模拟获得。
本发明的工作原理：
在每个采样时刻，读取薄膜压力传感器阵列中压力传感器的输出信号，并对输出信号进行二值化处理，以获得当前采样时刻整个无人超市活动区域的脚印图，并将脚印图标记为脚印压力图；对当前采样时刻的脚印压力图进行脚印识别，计算脚印中心位置，并记录当前采样时刻无人超市的所有脚印信息；将当前采样时刻的所有脚印信息与前一采样时刻的所有脚印信息进行比对，对不同类型脚印进行区别标记；对当前采样时刻的新增脚印，从当前采样时刻之前的消失脚印中找到与新增脚印对应的脚印并标记为目标脚印，并将目标脚印所属的顾客与新增脚印进行关联；将当前采样时刻的每一个脚印分别归属到对应的顾客，即将不同的脚印信息链接到对应顾客的用户脚印链表；查找消失时间超过时间阈值的脚印并标记为验证脚印，并将验证脚印的中心位置与无人超市出口区域位置信息进行比对，删除离开无人超市的脚印。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (7)

1.一种基于薄膜压力传感器阵列的无人超市定位跟踪方法，其特征在于，所述无人超市定位跟踪方法具体包括以下步骤：
步骤一：压力扫描；在每个采样时刻，读取薄膜压力传感器阵列中压力传感器的输出信号，并对输出信号进行二值化处理，以获得当前采样时刻整个无人超市活动区域的脚印图，并将脚印图标记为脚印压力图；
步骤二：脚印识别；对当前采样时刻的脚印压力图进行脚印识别，计算脚印中心位置，并记录当前采样时刻无人超市的所有脚印信息；
步骤三：脚印标记；将当前采样时刻的所有脚印信息与前一采样时刻的所有脚印信息进行比对，对不同类型脚印进行区别标记；
步骤四：动态关联；对当前采样时刻的新增脚印，从当前采样时刻之前的消失脚印中找到与新增脚印对应的脚印并标记为目标脚印，并将目标脚印所属的顾客与新增脚印进行关联；
步骤五：脚印归属；将当前采样时刻的每一个脚印分别归属到对应的顾客，即将不同的脚印信息链接到对应顾客的用户脚印链表；
步骤六：脚印删除；查找消失时间超过时间阈值的脚印并标记为验证脚印，并将验证脚印的中心位置与无人超市出口区域位置信息进行比对，删除离开无人超市的脚印。
2.根据权利要求1所述的一种基于薄膜压力传感器阵列的无人超市定位跟踪方法，其特征在于，步骤一中所述脚印压力图的获取具体包括：
以固定时钟周期读取所有压力传感器的输出信号；
将输出信号与压力阈值进行比较，当输出信号大于压力阈值时，将输出信号对应位置的数据置为1，当输出信号小于等于压力阈值时，则将输出信号对应位置的数据置为0，完成输出信号的二值化处理；
根据二值化结果生成无人超市活动区域的脚印图并标记为脚印压力图。
3.根据权利要求1所述的一种基于薄膜压力传感器阵列的无人超市定位跟踪方法，其特征在于，步骤二中所述脚印识别具体包括以下步骤：
步骤Z1：从脚印压力图任选一个取值为1的位置并标记为
Figure DEST_PATH_IMAGE001
；将位置
Figure 274865DEST_PATH_IMAGE001
对应的压力传感器在超市坐标系中的坐标标记为
Figure 201233DEST_PATH_IMAGE002
；
步骤Z2：查找与位置
Figure 514141DEST_PATH_IMAGE001
相邻位置的数值并标记为第一数值；当第一数值为1时，则将第一数值对应的位置标记为
Figure 133341DEST_PATH_IMAGE003
，获取位置
Figure 665953DEST_PATH_IMAGE003
对应的压力传感器坐标并标记为
Figure 130433DEST_PATH_IMAGE004
，继续查找位置
Figure 64891DEST_PATH_IMAGE003
的相邻位置的数值并标记为第二数值，当第二数值存在取值为1的位置时，则继续查找；当第二数值中不存在取值为1的位置时，则返回位置
Figure 589413DEST_PATH_IMAGE001
继续查找；将与位置
Figure 609321DEST_PATH_IMAGE001
相邻的所有取值为1的位置都被找到；记录所有位置
Figure 877492DEST_PATH_IMAGE005
，…，
Figure 932035DEST_PATH_IMAGE006
对应的压力传感器坐标并作为当前采样时刻识别到的脚印，记为
Figure 627459DEST_PATH_IMAGE007
；其中
Figure 134664DEST_PATH_IMAGE008
为以位置
Figure 442410DEST_PATH_IMAGE001
为初始位置查找到的数值为1的位置总数；
步骤Z3：从脚印压力图中剔除脚印区域F0对应的所有压力传感器数据，从剩下的脚印压力图中任选一个取值为1的位置并标记为
Figure 617040DEST_PATH_IMAGE009
；重复步骤Z2，找到从
Figure 217785DEST_PATH_IMAGE009
为初始位置对应的当前采样时刻识别到的脚印，记为
Figure 477866DEST_PATH_IMAGE010
；其中
Figure 822259DEST_PATH_IMAGE011
为以位置
Figure 585816DEST_PATH_IMAGE012
为初始位置查找到的数值为1的位置总数；
步骤Z4：重复步骤Z2，直到脚印压力图中的所有脚印
Figure 623042DEST_PATH_IMAGE013
，…，
Figure 370418DEST_PATH_IMAGE014
；其中
Figure 784082DEST_PATH_IMAGE015
为当前采样时刻脚印压力图中的脚印总数；
步骤Z5：计算脚印中心位置
Figure 402145DEST_PATH_IMAGE016
；
步骤Z6：将脚印
Figure 610273DEST_PATH_IMAGE013
，…，
Figure 688954DEST_PATH_IMAGE014
对应的压力传感器坐标和脚印的中心位置存储到当前采样时刻的脚印信息数据结构中。
4.根据权利要求3所述的一种基于薄膜压力传感器阵列的无人超市定位跟踪方法，其特征在于，所述区别标记具体包括：
将当前采样时刻的脚印标记为
Figure 375150DEST_PATH_IMAGE017
，将前一采样时刻的脚印标记为
Figure 378879DEST_PATH_IMAGE018
；其中
Figure 757907DEST_PATH_IMAGE019
，
Figure 948717DEST_PATH_IMAGE020
为前一采样时刻脚印压力图中的脚印总数；
依次计算脚印
Figure 704184DEST_PATH_IMAGE017
的中心位置与前一采样时刻脚印
Figure 63883DEST_PATH_IMAGE018
的中心位置的距离并标记为
Figure 613813DEST_PATH_IMAGE021
；
当
Figure 557498DEST_PATH_IMAGE022
时，则将前一采样时刻脚印信息数据结构中脚印
Figure 585497DEST_PATH_IMAGE018
对应的顾客归属信息复制给脚印
Figure 298238DEST_PATH_IMAGE017
，并将脚印
Figure 284649DEST_PATH_IMAGE017
的生存时间加1，同时将脚印
Figure 450051DEST_PATH_IMAGE017
和脚印
Figure 547320DEST_PATH_IMAGE018
都标记为已处理；其中dt1为距离阈值，dt1>0；
当
Figure 848988DEST_PATH_IMAGE023
时，将脚印信息数据结构中的脚印
Figure 6300DEST_PATH_IMAGE017
的生存时间置1，并将脚印
Figure 423113DEST_PATH_IMAGE017
标记为已处理；
获取前一采样时刻所有未标记脚印，并将未标记脚印的信息从前一采样时刻脚印信息数据结构中复制到当前时刻脚印信息数据结构中，并判断：当未标记脚印的生存时间为正时，则将对应的生存时间改为-1，当未标记脚印的生存时间为零或负值时，则将对应的生存时间减1。
5.根据权利要求1所述的一种基于薄膜压力传感器阵列的无人超市定位跟踪方法，其特征在于，步骤四中所述动态关联的具体实现步骤包括：
从当前采样时刻对应的脚印信息数据结构中获取生存时间为1的脚印并标记为
Figure 792914DEST_PATH_IMAGE024
，从当前采样时刻对应的脚印信息数据结构中获取生存时间为负值的脚印并标记为
Figure 480247DEST_PATH_IMAGE025
；计算脚印
Figure 542881DEST_PATH_IMAGE024
与脚印
Figure 682876DEST_PATH_IMAGE025
中心位置之间的距离并标记为
Figure 121947DEST_PATH_IMAGE026
；
当
Figure 398208DEST_PATH_IMAGE027
时，则将脚印
Figure 897322DEST_PATH_IMAGE025
对应的顾客归属信息复制给脚印
Figure 259034DEST_PATH_IMAGE024
，并从脚印信息数据结构中剔除脚印
Figure 236217DEST_PATH_IMAGE025
；其中dt2为距离阈值，dt2>0；
当所有脚印
Figure 632563DEST_PATH_IMAGE025
，距离
Figure 600781DEST_PATH_IMAGE026
均满足
Figure 449789DEST_PATH_IMAGE028
时，则将脚印
Figure 230663DEST_PATH_IMAGE024
的中心位置与无人超市入口位置区域进行比对；并为脚印
Figure 481516DEST_PATH_IMAGE024
分配新的顾客归属信息。
6.根据权利要求1所述的一种基于薄膜压力传感器阵列的无人超市定位跟踪方法，其特征在于，步骤五中所述脚印归属的具体步骤包括：
从当前采样时刻对应的脚印信息数据结构中获取生存时间为正的脚印并标记为
Figure 56853DEST_PATH_IMAGE029
；将脚印
Figure 658736DEST_PATH_IMAGE029
对应的顾客归属信息与用户脚印链表中的顾客归属信息进行比对，当比对成功时，则将脚印
Figure 977722DEST_PATH_IMAGE029
对应的信息链接到用户脚印链表中；当比对失败时，则为脚印
Figure 83081DEST_PATH_IMAGE029
对应的顾客新建用户脚印链表。
7.根据权利要求1所述的一种基于薄膜压力传感器阵列的无人超市定位跟踪方法，其特征在于，步骤六中所述脚印删除的具体步骤包括：
从当前采样时刻对应的脚印信息数据结构中获取生存时间为负的脚印并标记为
Figure 94900DEST_PATH_IMAGE030
；当脚印
Figure 422894DEST_PATH_IMAGE030
的生存时间小于时间阈值时，并且脚印
Figure 545570DEST_PATH_IMAGE030
的中心位置在无人超市出口区域时，则删除脚印
Figure 505436DEST_PATH_IMAGE030
对应的用户脚印链表。
CN202110356096.5A 2021-04-01 2021-04-01 一种基于薄膜压力传感器阵列的无人超市定位跟踪方法 Active CN112801055B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110356096.5A CN112801055B (zh) 2021-04-01 2021-04-01 一种基于薄膜压力传感器阵列的无人超市定位跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110356096.5A CN112801055B (zh) 2021-04-01 2021-04-01 一种基于薄膜压力传感器阵列的无人超市定位跟踪方法

Publications (2)

Publication Number Publication Date
CN112801055A CN112801055A (zh) 2021-05-14
CN112801055B true CN112801055B (zh) 2021-06-22

Family

ID=75816227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110356096.5A Active CN112801055B (zh) 2021-04-01 2021-04-01 一种基于薄膜压力传感器阵列的无人超市定位跟踪方法

Country Status (1)

Country Link
CN (1) CN112801055B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108332829A (zh) * 2017-12-18 2018-07-27 上海云拿智能科技有限公司 基于重量监测的货品感知系统及货品感知方法
CN109583452A (zh) * 2017-09-29 2019-04-05 大连恒锐科技股份有限公司 一种基于赤足足迹的人身同一认定方法和系统
CN111046720A (zh) * 2018-10-15 2020-04-21 阿里巴巴集团控股有限公司 采用压力签名进行个人识别的方法和系统
CN111964814A (zh) * 2020-07-14 2020-11-20 中国人民公安大学 一种足迹压力采集系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583452A (zh) * 2017-09-29 2019-04-05 大连恒锐科技股份有限公司 一种基于赤足足迹的人身同一认定方法和系统
CN108332829A (zh) * 2017-12-18 2018-07-27 上海云拿智能科技有限公司 基于重量监测的货品感知系统及货品感知方法
CN111046720A (zh) * 2018-10-15 2020-04-21 阿里巴巴集团控股有限公司 采用压力签名进行个人识别的方法和系统
CN111964814A (zh) * 2020-07-14 2020-11-20 中国人民公安大学 一种足迹压力采集系统

Also Published As

Publication number Publication date
CN112801055A (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
CN108416403B (zh) 商品与标签的自动关联方法、系统、设备及存储介质
KR102454854B1 (ko) 영상 모니터링에 기반하는 물품 감지 시스템 및 물품 감지 방법
JP7181922B2 (ja) 前景／背景処理を使用した在庫イベントの予測
CN109697435B (zh) 人流量监测方法、装置、存储介质及设备
Santra et al. A comprehensive survey on computer vision based approaches for automatic identification of products in retail store
EP4062321A1 (en) Systems and methods for training data generation for object identification and self-checkout anti-theft
CN108345912A (zh) 一种基于rgbd信息与深度学习的商品快速结算系统
Tonioni et al. Product recognition in store shelves as a sub-graph isomorphism problem
WO2020134102A1 (zh) 物品识别方法、装置、售货系统和存储介质
US11875570B1 (en) Updating agent position information
CN109977824B (zh) 物品取放识别方法、装置及设备
CN110622173A (zh) 贴错标签的产品的检测
CN111553355B (zh) 基于监控视频的出店经营检测及通知管理店主的方法
CN115272446B (zh) 一种堆头占地面积计算的方法和系统
KR102260355B1 (ko) 영상 기반 구매 행동 인식 시스템 및 방법
CN111428743B (zh) 商品识别方法、商品处理方法、装置及电子设备
CN112801055B (zh) 一种基于薄膜压力传感器阵列的无人超市定位跟踪方法
CN112528903A (zh) 人脸图像获取方法、装置、电子设备及介质
CN112132868B (zh) 一种支付信息的确定方法、装置及设备
CN110246280A (zh) 人货绑定方法及装置、计算机设备及可读介质
CN108647601A (zh) 一种基于卷积网络的火灾场景中烟雾的检测方法
CN114840748A (zh) 基于人脸识别的信息推送方法、装置、设备及存储介质
CN113743382A (zh) 一种货架陈列检测方法、装置及系统
CN109034067B (zh) 商品图像翻拍检测方法、系统、设备及存储介质
CN114529847A (zh) 基于深度学习的货架动态商品识别与顾客购物匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant