CN110276305B - 一种动态商品识别方法 - Google Patents

一种动态商品识别方法 Download PDF

Info

Publication number
CN110276305B
CN110276305B CN201910554281.8A CN201910554281A CN110276305B CN 110276305 B CN110276305 B CN 110276305B CN 201910554281 A CN201910554281 A CN 201910554281A CN 110276305 B CN110276305 B CN 110276305B
Authority
CN
China
Prior art keywords
commodity
detection
hand
detection frame
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910554281.8A
Other languages
English (en)
Other versions
CN110276305A (zh
Inventor
李元龙
周敏仪
朱志宾
李圣京
简得辉
杜辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Zhongju Intelligent Technology Co ltd
Original Assignee
Guangzhou Zhongju Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Zhongju Intelligent Technology Co ltd filed Critical Guangzhou Zhongju Intelligent Technology Co ltd
Priority to CN201910554281.8A priority Critical patent/CN110276305B/zh
Publication of CN110276305A publication Critical patent/CN110276305A/zh
Application granted granted Critical
Publication of CN110276305B publication Critical patent/CN110276305B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Marketing (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像识别技术领域，其目的在于提供一种动态商品识别方法。本发明包括以下步骤：S1.采集用户的购买行为视频，同时实时采集货柜内指定区域的实际称重数据；S2.将购买行为视频分解为多帧购买图像，检测购买图像中用户的手图像和商品图像，得到手检测框、商品检测框和与商品检测框对应的商品标签；S3.按时间序列对手检测框和商品检测框进行跟踪，为同一目标不同时刻的检测框赋予相同ID；S4.判断手和商品的进出状态，得到手图像和商品图像的进出时序表；S5.根据货柜内指定区域在每个时刻的实际称重数据，矫正手图像和商品图像的进出时序表，生成购买清单。本发明结合重量和视觉识别商品，可用于复杂环境，抗干扰能力强，同时识别准确率高。

Description

一种动态商品识别方法
技术领域
本发明涉及图像识别技术领域，特别是涉及一种动态商品识别方法。
背景技术
在货柜的场景下，常用的商品识别有RFID无线射频识别技术、静态图像的商品检测、纯粹重量的检测推算等识别方法。以上方法各有各的不足缺陷，其中，采用RFID无线射频识别技术，需要在商品售卖的前期需要大量人力粘贴RFID无线射频标签，人力成本和标签本身的成本都很高，不利于薄利多销的零售货柜，再者，RFID无线射频标签容易受到金属的干扰，不利于实际应用；采用静态图像的商品识别技术，由于一般对货柜的层架结构和商品摆放结构有一定的要求，而识别商品用的摄像头需要安装在货柜内，但又需要层架离摄像头有一定距离，导致货柜空间利用率低，另外货品和货品的摆法堆叠将使镜头图像的商品识别方法失效；而纯粹依靠重量的增加和减少去推算的技术，则限制了可供上架的商品类型，一旦不同类商品的重量相似或成倍相似，则无法推算出准确购买清单。因而，有必要研究一种结合重量和视觉识别的动态商品识别方法。
发明内容
为了解决现有技术存在的上述问题，本发明提供了一种动态商品识别方法。
本发明采用的技术方案是：
一种动态商品识别方法，包括以下步骤：
S1.采集用户的购买行为视频，同时实时采集货柜内指定区域的实际称重数据；
S2.将购买行为视频分解为多帧购买图像，检测购买图像中用户的手图像和商品图像，得到手检测框、商品检测框和与商品检测框对应的商品标签；
S3.按时间序列对手检测框和商品检测框进行跟踪，为同一目标不同时刻的检测框赋予相同ID；
S4.判断手和商品的进出状态，得到手图像和商品图像的进出时序表；
S5.根据货柜内指定区域在每个时刻的实际称重数据，矫正手图像和商品图像的进出时序表，生成购买清单。
优选的，所述步骤S2的具体步骤如下：
S201.将购买行为视频分解为多帧购买图像；
S202.对深度学习算法检测网络进行训练，使用训练好的深度学习算法检测网络检测购买图像中用户的手图像和商品图像；
S203.得到用户的手图像和商品图像在购买图像中的指定图像框中的手检测框、商品检测框和商品标签。
优选的，所述步骤S3中，使用检测框跟踪算法按时间序列对手检测框和商品检测框进行跟踪；所述步骤S3的具体步骤如下：
S301.删除与商品检测框有交集的手检测框：
定义手检测框为：
bndbox_hand＝[h_xmin,h_ymin,h_xmax,h_ymax]，
定义商品检测框为：
bndbox_goods＝[g_xmin,g_ymin,g_xmax,g_ymax]，
在购买图像中，遍历同一购买图像中所有的商品检测框，判断商品检测框与手检测框是否有交集，如果商品检测框与手检测框有交集，则删除手检测框；
S302.定义检测结果；设每个时刻ti的检测结果为：dets[ti],ti＝[t0,t1,...,tn]；
其中每个时刻的所有手检测框为：
dets[ti]['hand'],ti＝[t0,t1,...,tn]，
每个时刻的所有商品检测框为：
dets[ti]['goods'],ti＝[t0,t1,...,tn]；
S303.定义卡尔曼滤波器；
S304.设定已经存在的卡尔曼滤波器的集合，为每一个卡尔曼滤波器设定唯一的ID，初始状态下，卡尔曼滤波器的集合为空集；
S305.对于每个时刻ti，使用卡尔曼滤波器跟踪下一时刻的手检测框和商品检测框的位置，得到手预测框和商品预测框；
其中，每个时刻的所有手预测框为：
preds[ti]['hand'],ti＝[t0,t1,...,tn]，
每个时刻的所有商品预测框为：
preds[ti]['goods'],ti＝[t0,t1,...,tn]；
S306.分别在手预测框寻找与当前的手检测框对应的手预测框，在商品预测框中寻找与当前的商品检测框对应的商品预测框；对于每一个可以找到对应的预测框的检测框，则把该预测框对应的卡尔曼滤波器的ID赋予给该检测框；对于每一个无法找到对应的预测框的检测框，则使用该检测框新建一个卡尔曼滤波器，然后加入到卡尔曼滤波器的集合中，把新的卡尔曼滤波器的ID赋予该检测框；对于已经连续多次无法找到匹配的检测框的卡尔曼滤波器，则从集合中删除该卡尔曼滤波器，重复以上操作，直到遍历所有的时刻，最终为所有同一目标不同时刻的检测框赋予可以在时序上索引的相同ID。
进一步优选的，在步骤S301中，判断商品检测框与手检测框是否有交集的规则如下：
inter＝max(i_xmax-i_xmin+1,0)×max(i_ymax-i_ymin+1,0)，
其中：
i_xmin＝max(h_xmin,g_xmin)，
i_ymin＝max(h_ymin,g_ymin)，
i_xmax＝min(h_xmax,g_xmax)，
i_ymax＝min(h_ymax,g_ymax)；
当inter≤0时，商品检测框与手检测框无交集；当inter＞0时，商品检测框与手检测框有交集。
进一步优选的，在步骤S303中，卡尔曼滤波器的定义参数包括7个状态值和4个观测值，其中，7个状态值分别包括检测框中心坐标(x,y)、面积s、宽y和长x的比值r、长x的变化速率、宽y的变化速率、面积s的变化速率；4个观测值分别包括检测框中心坐标(x,y)、面积s、宽y和长x的比值r；
卡尔曼滤波器所需的矩阵如下：
状态转移矩阵：
Figure GDA0002982399570000051
观测矩阵：
Figure GDA0002982399570000052
观测噪声方差矩阵：
Figure GDA0002982399570000053
状态协方差矩阵：
Figure GDA0002982399570000054
状态转移协方差矩阵：
Figure GDA0002982399570000061
优选的，所述步骤S306采用匈牙利算法实现。
优选的，所述步骤S4的具体步骤如下：S401.在货柜门处设定两条虚拟感应线，两条虚拟感应线将购买图像划分为外界区域、不确定区域和内部区域；
S402.判断同一ID的检测框的中心点与外界区域、不确定区域和内部区域的关系，如果该检测框的中心点位于内部区域，则判定该检测框位于内部区域，并记该检测框为标记I；如果该检测框的中心点位于不确定区域，则判定该检测框位于不确定区域，并记该检测框为标记N；如果该检测框的中心点位于外部区域，则判定该检测框位于外部区域，并记该检测框为标记O；由此对不同ID的手检测框和/或商品检测框编码出由INO组成的检测序列；
S403.对检测序列进行修改，直到检测序列中所有手检测框和商品检测框的标记均是标记I或标记O；
S404.每一个ID的检测框的检测序列中，设定标记I转换为标记O的时刻为手或商品离开货柜内部的时刻，并在手或商品离开货柜内部的时刻生成一则取出商品信息或回收手信息；设定标记O转换为标记I的时刻为手或商品进入货柜内部的时刻，并在手或商品进入货柜内部的时刻生成一则放入商品信息或伸出手信息，最终得到手图像和商品图像的进出时序表。
进一步优选的，在步骤S403中，对检测序列的修改规则如下：
[N***N]表示一个N或者连续多个N，若序列全为N，则删除该检测序列；
对于标记N位于开头且形如[N***N]I的检测序列，将所有的标记N改为标记O；
对于标记N位于开头且形如[N***N]O的检测序列，将所有的标记N改为标记O，第一个标记N改为标记I；
对于标记N位于中间且形如I[N***N]O的检测序列，将所有的标记N改为标记O；
对于标记N位于中间且形如O[N***N]I的检测序列，将所有的标记N改为标记O；
对于标记N位于中间且形如I[N***N]I的检测序列，将所有的标记N改为标记I；
对于标记N位于中间且形如O[N***N]O的检测序列，将所有的标记N改为标记O；
对于标记N位于末尾且形如I[N***N]的检测序列，将所有的标记N改为标记O；
对于标记N位于末尾且形如O[N***N]的检测序列，将所有的标记N改为标记O，最后一个标记N改为标记I。
优选的，在步骤S5中，还根据货柜内指定区域在每个时刻的实际称重数据，判断是否存在不友好购物行为；
所述步骤S5的具体步骤如下：
S501.设定货柜内指定区域在每个时刻的实际称重数据为：
weigth_measure＝[dwm1,dwm2,...,dwmm]；
S502.针对视觉识别错误问题和漏识别问题，穷举产生多个手图像和商品图像的进出时序表，记录每一个手图像和商品图像的进出时序表在不同变化情况下的修改次数；设定手图像和商品图像的进出时序表的数目为L，设定每一个手图像和商品图像的进出时序表在不同变化情况下的预测称重数据为：
Figure GDA0002982399570000081
其中
Figure GDA0002982399570000082
表示第i个手图像和商品图像的进出时序表在时刻t的预测称重数据，casei表示手图像和商品图像在第i个进出时序表中的变化情况，casei的第k次变化值是
Figure GDA0002982399570000083
S503.设定一个重量匹配阈值为：weight_thresh，并设定：若两个预测称重数据的差值小于重量匹配阈值，则重量变化是匹配的；
S504.计算预测称重数据在任一手图像和商品图像的进出时序表中最终时刻和最初时刻的重量变化值
Figure GDA0002982399570000084
和实际称重数据在同一手图像和商品图像的进出时序表中最终时刻和最初时刻的重量变化值dwmm-dwm1，计所有变化情况中的重量匹配值为：
Figure GDA0002982399570000085
若重量匹配值
Figure GDA0002982399570000086
则判定用户存在不友好购物行为，直接根据步骤S4得到的手图像和商品图像的进出时序表生成商品购物清单；
若重量匹配值
Figure GDA0002982399570000087
则对所有满足条件的变化情况进行预测称重数据和实际称重数据的匹配，判定用户不存在不友好购物行为，选择匹配程度match_degree最高且修改次数最少的手图像和商品图像的进出时序表生成商品购物清单；如果商品图像的进出时序表中存在一商品检测框且该商品检测框对应的商品标签不存在于商品购物清单内，则判定用户存在不友好购物行为，针对场景对不友好购物行为进行特殊处理，结束计算。
进一步优选的，步骤S504中，匹配程度match_degree的计算过程如下：
S504a.设定预测称重数据序列为：
Figure GDA0002982399570000091
设定实际称重数据序列为：[dwm1,dwm2,...,dwmm]，
将abs(dwm-dwp)<weight_thresh认为是匹配的，将abs(dwm-dwp)≥weight_thresh认为是不匹配的；
S504b.通过动态规划法求解预测称重数据序列和实际称重数据序列的最长匹配子序列，这个最长匹配子序列的长度即预测称重数据序列和实际称重数据序列的匹配程度match_degree。
本发明的有益效果如下：
1)结合重量和视觉识别实现对商品的动态识别，无需售前的对每一个商品进行粘贴射频标签等人工处理，商家可以快速上架商品，快速补充库存，运营成本低，同时识别过程不会受金属材质商品的影响，可用于复杂环境，抗干扰能力强；
2)可有效分析用户的存取行为，产生购买清单，大大降低商品在柜内的摆放对视觉识别的影响；
3)应用双虚拟感应线的方法，可有效减少检测框在感应线附近的微小变化引起的进出的错误判断，使最终订单的准确率提高；
4)在矫正手图像和商品图像的进出时序表后生成购买清单，实现核算和修正订单，进一步提升识别的准确率；另外本发明应用重量核算技术，可区分出友好和非友好行为，帮助商家规避图像技术本身的识别错误和漏识别问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的一种动态商品识别方法的流程图。
具体实施方式
下面结合附图及具体实施例来对本发明作进一步阐述。在此需要说明的是，对于这些实施例方式的说明虽然是用于帮助理解本发明，但并不构成对本发明的限定。本文公开的特定结构和功能细节仅用于描述本发明的示例实施例。然而，可用很多备选的形式来体现本发明，并且不应当理解为本发明限制在本文阐述的实施例中。
应当理解，尽管本文可能使用术语第一、第二等等来描述各种单元，但是这些单元不应当受到这些术语的限制。这些术语仅用于区分一个单元和另一个单元。例如可以将第一单元称作第二单元,并且类似地可以将第二单元称作第一单元，同时不脱离本发明的示例实施例的范围。
应当理解，对于本文中可能出现的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在A和B三种情况；对于本文中可能出现的术语“/和”，其是描述另一种关联对象关系，表示可以存在两种关系，例如，A/和B，可以表示：单独存在A，单独存在A和B两种情况；另外，对于本文中可能出现的字符“/”，一般表示前后关联对象是一种“或”关系。
应当理解，在本文中若将单元称作与另一个单元“连接”、“相连”或“耦合”时，它可以与另一个单元直相连接或耦合，或中间单元可以存在。相対地，在本文中若将单元称作与另一个单元“直接相连”或“直接耦合”时，表示不存在中间单元。另外，应当以类似方式来解释用于描述单元之间的关系的其他单词(例如，“在……之间”对“直接在……之间”,“相邻”对“直接相邻”等等)。
应当理解，本文使用的术语仅用于描述特定实施例，并不意在限制本发明的示例实施例。若本文所使用的，单数形式“一”、“一个”以及“该”意在包括复数形式，除非上下文明确指示相反意思。还应当理解，若术语“包括”、“包括了”、“包含”和/或“包含了”在本文中被使用时,指定所声明的特征、整数、步骤、操作、单元和/或组件的存在性,并且不排除一个或多个其他特征、数量、步骤、操作、单元、组件和/或他们的组合存在性或增加。
应当理解，还应当注意到在一些备选实施例中，所出现的功能/动作可能与附图出现的顺序不同。例如,取决于所涉及的功能/动作,实际上可以实质上并发地执行,或者有时可以以相反的顺序来执行连续示出的两个图。
应当理解，在下面的描述中提供了特定的细节,以便于对示例实施例的完全理解。然而,本领域普通技术人员应当理解可以在没有这些特定细节的情况下实现示例实施例。例如可以在框图中示出系统，以避免用不必要的细节来使得示例不清楚。在其他实例中，可以不以不必要的细节来示出众所周知的过程、结构和技术，以避免使得示例实施例不清楚。
实施例1：
本实施例提供一种动态商品识别方法，如图1所示，包括以下步骤：
S1.采集用户的购买行为视频，同时实时采集货柜内指定区域的实际称重数据。
具体地，通过架设在货柜上方的摄像头获取用户的购买行为视频，通过货柜内的秤测量的每个时刻的重量值；假设视频共获取了n帧图像，每个时刻是ti＝[t0,t1,...,tn]；假设秤在每次平稳后的测量值减去开门前的测量值为weigth_measure＝[dwm1,dwm2,...,dwmm]，其中m表示秤共进行了m次测量。
S2.将购买行为视频分解为多帧购买图像，检测购买图像中用户的手图像和商品图像，得到手检测框、商品检测框和与商品检测框对应的商品标签，其中商品检测框和预定的商品标签相匹配，例如“怡宝矿泉水”、“王老吉盒装饮料”等商品标签，这是图像识别出来的结果，其与对应的商品检测框相对应。
所述步骤S2的具体步骤如下：
S201.将购买行为视频分解为多帧购买图像；
S202.对深度学习算法检测网络进行训练，使用训练好的深度学习算法检测网络检测购买图像中用户的手图像和商品图像；
在步骤S202中，对深度学习算法进行训练的具体步骤如下：
S2011.使用指定图像框(可以为矩形框)标注购买图像中用户的手的位置和手中的商品的位置；
S2012.用标注好的数据训练深度学习算法检测网络；
S2013.测试深度学习算法检测网络的检测效果，判断检测结果是否达到视觉识别的指定精度，若是，则保存深度学习算法检测网络的数据，训练过程结束，若否，则返回步骤S2012。
应当理解的是，对深度学习算法的训练过程可以在步骤S1之前完成。
S203.得到用户的手图像和商品图像在购买图像中的指定图像框(即步骤S2011中的指定图像框)中的手检测框、商品检测框和商品标签。由此确定具有确定商品标签的商品位置。
S3.按时间序列对手检测框和商品检测框进行跟踪，为同一目标不同时刻的检测框赋予相同ID。
所述步骤S3中，使用检测框跟踪算法按时间序列对手检测框和商品检测框进行跟踪；所述步骤S3的具体步骤如下：
S301.删除与商品检测框有交集的手检测框：
定义手检测框为：
bndbox_hand＝[h_xmin,h_ymin,h_xmax,h_ymax]，
其中，h_xmin表示手检测框中沿x方向在二维图像坐标系的最小值，h_ymin表示手检测框中沿y方向在二维图像坐标系的最小值，h_xmax表示手检测框中沿x方向在二维图像坐标系的最大值，h_ymax表示手检测框中沿y方向在二维图像坐标系的最大值；
定义商品检测框为：
bndbox_goods＝[g_xmin,g_ymin,g_xmax,g_ymax]，
其中，g_xmin表示商品检测框中沿x方向在二维图像坐标系的最小值，g_ymin表示商品检测框中沿y方向在二维图像坐标系的最小值，g_xmax表示商品检测框中沿x方向在二维图像坐标系的最大值，g_ymax表示商品检测框中沿y方向在二维图像坐标系的最大值；
在购买图像中，遍历同一购买图像中所有的商品检测框，判断商品检测框与手检测框是否有交集，如果商品检测框与手检测框有交集，则删除手检测框；
具体地，在步骤S301中，判断商品检测框与手检测框是否有交集的规则如下：
inter＝max(i_xmax-i_xmin+1,0)×max(i_ymax-i_ymin+1,0)，
其中：
i_xmin＝max(h_xmin,g_xmin)，
i_ymin＝max(h_ymin,g_ymin)，
i_xmax＝min(h_xmax,g_xmax)，
i_ymax＝min(h_ymax,g_ymax)；
当inter≤0时，商品检测框与手检测框无交集；当inter＞0时，商品检测框与手检测框有交集。
S302.定义检测结果；设每个时刻ti的检测结果为：dets[ti],ti＝[t0,t1,...,tn]；
其中每个时刻的所有手检测框为：
dets[ti]['hand'],ti＝[t0,t1,...,tn]，
每个时刻的所有商品检测框为：
dets[ti]['goods'],ti＝[t0,t1,...,tn]；
S303.定义卡尔曼滤波器；
优选地，在步骤S303中，卡尔曼滤波器的定义参数包括7个状态值和4个观测值，其中，7个状态值分别包括检测框中心坐标(x,y)、面积s、宽y和长x的比值r、长x的变化速率、宽y的变化速率、面积s的变化速率；4个观测值分别包括检测框中心坐标(x,y)、面积s、宽y和长x的比值r；
卡尔曼滤波器所需的矩阵如下：
状态转移矩阵：
Figure GDA0002982399570000141
观测矩阵：
Figure GDA0002982399570000151
观测噪声方差矩阵：
Figure GDA0002982399570000152
状态协方差矩阵：
Figure GDA0002982399570000153
状态转移协方差矩阵：
Figure GDA0002982399570000154
上述矩阵为卡尔曼滤波器所需的参考矩阵，可以根据实际情况调节符合系统的最优参数。
S304.设定已经存在的卡尔曼滤波器的集合，为每一个卡尔曼滤波器设定唯一的ID，初始状态下，卡尔曼滤波器的集合为空集；
S305.对于每个时刻ti，使用卡尔曼滤波器跟踪下一时刻的手检测框和商品检测框的位置，得到手预测框和商品预测框；
其中，每个时刻的所有手预测框为：
preds[ti]['hand'],ti＝[t0,t1,...,tn]，
每个时刻的所有商品预测框为：
preds[ti]['goods'],ti＝[t0,t1,...,tn]；
S306.求解手检测框与手预测框、及商品检测框与商品预测框之间的指派问题：分别在手预测框寻找与当前的手检测框对应的手预测框，在商品预测框中寻找与当前的商品检测框对应的商品预测框；对于每一个可以找到对应的预测框的检测框，则把该预测框对应的卡尔曼滤波器的ID赋予给该检测框；对于每一个无法找到对应的预测框的检测框，则使用该检测框新建一个卡尔曼滤波器，然后加入到卡尔曼滤波器的集合中，把新的卡尔曼滤波器的ID赋予该检测框；对于已经连续多次无法找到匹配的检测框的卡尔曼滤波器，则从集合中删除该卡尔曼滤波器，重复以上操作，直到遍历所有的时刻，最终为所有同一目标不同时刻的检测框赋予可以在时序上索引的相同ID。
优选设置的，所述步骤S306采用匈牙利算法实现。
具体的，匈牙利算法求解指派问题中的参数矩阵定义为检测框和预测框的相似度，该相似度定义为广义交并比giou。该指派问题的目标是最大化匹配的相似度的总和。
设检测框区域为D和预测框区域P，设包围D和P的最小矩形区域为C，广义交并比giou的计算如下：
Figure GDA0002982399570000171
其中交并比
Figure GDA0002982399570000172
当没有重合的时候，iou的值固定为0。giou与iou相比，它的值域为[-1,1]，在没有重合的时候提供了距离可比性的量化标准，并且保留了iou的数学性质。
设定匹配阈值，例如匹配阈值为-0.3，对于低于该阈值的匹配结果，取消其匹配关系，以避免视觉图像误检测带来的错误匹配。
S4.判断手和商品的进出状态，得到手图像和商品图像的进出时序表；
本实施例中，所述步骤S4的具体步骤如下：在货柜门处设定两条虚拟感应线，然后根据同一个ID的手检测框和/或商品检测框的时序序列和虚拟感应线的位置关系，判断手和商品的进出状态，得到手图像和商品图像的进出时序表。
S401.在货柜门处(即购买图像中的柜门处)设定两条虚拟感应线，两条虚拟感应线将购买图像划分为外界区域、不确定区域和内部区域；
S402.判断同一ID的检测框的中心点与外界区域、不确定区域和内部区域的关系，如果该检测框的中心点位于内部区域，则判定该检测框位于内部区域，并记该检测框为标记I；如果该检测框的中心点位于不确定区域，则判定该检测框位于不确定区域，并记该检测框为标记N；如果该检测框的中心点位于外部区域，则判定该检测框位于外部区域，并记该检测框为标记O；由此对不同ID的手检测框和/或商品检测框编码出由INO组成的检测序列；
S403.对检测序列进行修改，直到检测序列中所有手检测框和商品检测框的标记均是标记I或标记O；
具体地，在步骤S403中，对检测序列的修改规则如下：
[N***N]表示一个N或者连续多个N，若序列全为N，则删除该检测序列；
对于标记N位于开头且形如[N***N]I的检测序列，将所有的标记N改为标记O；
对于标记N位于开头且形如[N***N]O的检测序列，将所有的标记N改为标记O，第一个标记N改为标记I；
对于标记N位于中间且形如I[N***N]O的检测序列，将所有的标记N改为标记O；
对于标记N位于中间且形如O[N***N]I的检测序列，将所有的标记N改为标记O；
对于标记N位于中间且形如I[N***N]I的检测序列，将所有的标记N改为标记I；
对于标记N位于中间且形如O[N***N]O的检测序列，将所有的标记N改为标记O；
对于标记N位于末尾且形如I[N***N]的检测序列，将所有的标记N改为标记O；
对于标记N位于末尾且形如O[N***N]的检测序列，将所有的标记N改为标记O，最后一个标记N改为标记I。
S404.每一个ID的检测框的检测序列中，设定标记I转换为标记O的时刻为手或商品离开货柜内部的时刻，并在手或商品离开货柜内部的时刻生成一则取出商品信息或回收手信息；设定标记O转换为标记I的时刻为手或商品进入货柜内部的时刻，并在手或商品进入货柜内部的时刻生成一则放入商品信息或伸出手信息，最终得到手图像和商品图像的进出时序表。
需要说明的是，双虚拟感应线的方法，可有效减少检测框在感应线附近的微小变化引起的进出的错误判断，使最终订单的准确率得到提高。
S5.根据货柜内指定区域在每个时刻的实际称重数据，矫正手图像和商品图像的进出时序表，生成购买清单。
进一步地，在步骤S5中，还根据货柜内指定区域在每个时刻的实际称重数据，判断是否存在不友好购物行为；
所述步骤S5的具体步骤如下：
S501.设定货柜内指定区域在每个时刻的实际称重数据为：
weigth_measure＝[dwm1,dwm2,...,dwmm]；
其中，dwmm表示在时刻m的实际称重数据；
S502.针对视觉识别错误问题和漏识别问题，穷举产生多个手图像和商品图像的进出时序表，记录每一个手图像和商品图像的进出时序表在不同变化情况下的修改次数；设定手图像和商品图像的进出时序表的数目为L，设定每一个手图像和商品图像的进出时序表在不同变化情况下的预测称重数据为：
Figure GDA0002982399570000191
其中
Figure GDA0002982399570000192
表示第i个手图像和商品图像的进出时序表在时刻t的预测称重数据，casei表示手图像和商品图像在第i个进出时序表中的变化情况，casei的第k次变化值是
Figure GDA0002982399570000193
具体地，视觉识别错误问题，即把进出X修改成进出Y，其中X是识别视觉识别的商品图像对应的商品标签，Y是手或者货柜内所上架的商品图像对应的商品标签；漏识别问题，是由于手和商品遮挡所造成的，即把进出X改为进出X和Y，其中X是识别视觉识别的商品图像对应的商品标签，Y是手或者冰柜内所上架的商品图像对应的商品标签。
S503.设定一个重量匹配阈值为：weight_thresh，并设定：若两个预测称重数据的差值小于重量匹配阈值，则重量变化是匹配的；
S504.计算预测称重数据和实际称重数据的匹配程度，然后判断是否存在不友好购物行为；
计算预测称重数据在任一手图像和商品图像的进出时序表中最终时刻和最初时刻的重量变化值
Figure GDA0002982399570000201
和实际称重数据在同一手图像和商品图像的进出时序表中最终时刻和最初时刻的重量变化值dwmm-dwm1，计所有变化情况中的重量匹配值为：
Figure GDA0002982399570000202
若重量匹配值
Figure GDA0002982399570000203
则判定用户存在不友好购物行为，直接根据步骤S4得到的手图像和商品图像的进出时序表生成商品购物清单；
若重量匹配值
Figure GDA0002982399570000204
则对所有满足条件的变化情况进行预测称重数据和实际称重数据的匹配，判定用户不存在不友好购物行为，选择匹配程度match_degree最高且修改次数最少的手图像和商品图像的进出时序表生成商品购物清单；如果商品图像的进出时序表中存在一商品检测框且该商品检测框对应的商品标签不存在于商品购物清单内，即用户将不属于货柜内指定区域的商品放入该指定区域，则判定用户存在不友好购物行为，针对场景对不友好购物行为进行特殊处理，结束计算。
本实施例的步骤S504中，匹配程度match_degree的计算过程如下：
S504a.设定预测称重数据序列为：
Figure GDA0002982399570000205
设定实际称重数据序列为：[dwm1,dwm2,...,dwmm]，
将abs(dwm-dwp)<weight_thresh认为是匹配的，将abs(dwm-dwp)≥weight_thresh认为是不匹配的；
S504b.通过动态规划法求解预测称重数据序列和实际称重数据序列的最长匹配子序列，这个最长匹配子序列的长度即预测称重数据序列和实际称重数据序列的匹配程度match_degree。
本发明在使用过程中，具有以下有益效果：
1)结合重量和视觉识别实现对商品的动态识别，无需售前的对每一个商品进行粘贴射频标签等人工处理，商家可以快速上架商品，快速补充库存，运营成本低，同时识别过程不会受金属材质商品的影响，可用于复杂环境，抗干扰能力强；
2)可有效分析用户的存取行为，产生购买清单，大大降低商品在柜内的摆放对视觉识别的影响；
3)在步骤S4中，应用双虚拟感应线的方法，可有效减少检测框在感应线附近的微小变化引起的进出的错误判断，使最终订单的准确率提高；
4)在步骤S5中，在矫正手图像和商品图像的进出时序表后生成购买清单，实现核算和修正订单，进一步提升识别的准确率；另外本发明应用重量核算技术，可区分出友好和非友好行为，帮助商家规避图像技术本身的识别错误和漏识别问题。
以上所描述的多个实施例仅仅是示意性的，若涉及到作为分离部件说明的单元，其可以是或者也可以不是物理上分开的；若涉及到作为单元显示的部件，其可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
最后应说明的是，本发明不局限于上述可选的实施方式，任何人在本发明的启示下都可得出其他各种形式的产品。上述具体实施方式不应理解成对本发明的保护范围的限制，本发明的保护范围应当以权利要求书中界定的为准，并且说明书可以用于解释权利要求书。

Claims (9)

1.一种动态商品识别方法，其特征在于：包括以下步骤：
S1.采集用户的购买行为视频，同时实时采集货柜内指定区域的实际称重数据；
S2.将购买行为视频分解为多帧购买图像，检测购买图像中用户的手图像和商品图像，得到手检测框、商品检测框和与商品检测框对应的商品标签；
S3.按时间序列对手检测框和商品检测框进行跟踪，为同一目标不同时刻的检测框赋予相同ID；
S4.判断手和商品的进出状态，得到手图像和商品图像的进出时序表；
S5.根据货柜内指定区域在每个时刻的实际称重数据，矫正手图像和商品图像的进出时序表，生成购买清单；
所述步骤S4的具体步骤如下：
S401.在货柜门处设定两条虚拟感应线，两条虚拟感应线将购买图像划分为外界区域、不确定区域和内部区域；
S402.判断同一ID的检测框的中心点与外界区域、不确定区域和内部区域的关系，如果该检测框的中心点位于内部区域，则判定该检测框位于内部区域，并记该检测框为标记I；如果该检测框的中心点位于不确定区域，则判定该检测框位于不确定区域，并记该检测框为标记N；如果该检测框的中心点位于外部区域，则判定该检测框位于外部区域，并记该检测框为标记O；由此对不同ID的手检测框和/或商品检测框编码出由INO组成的检测序列；
S403.对检测序列进行修改，直到检测序列中所有手检测框和商品检测框的标记均是标记I或标记O；
S404.每一个ID的检测框的检测序列中，设定标记I转换为标记O的时刻为手或商品离开货柜内部的时刻，并在手或商品离开货柜内部的时刻生成一则取出商品信息或回收手信息；设定标记O转换为标记I的时刻为手或商品进入货柜内部的时刻，并在手或商品进入货柜内部的时刻生成一则放入商品信息或伸出手信息，最终得到手图像和商品图像的进出时序表。
2.根据权利要求1所述的一种动态商品识别方法，其特征在于：所述步骤S2的具体步骤如下：
S201.将购买行为视频分解为多帧购买图像；
S202.对深度学习算法检测网络进行训练，使用训练好的深度学习算法检测网络检测购买图像中用户的手图像和商品图像；
S203.得到用户的手图像和商品图像在购买图像中的指定图像框中的手检测框、商品检测框和商品标签。
3.根据权利要求1所述的一种动态商品识别方法，其特征在于：所述步骤S3中，使用检测框跟踪算法按时间序列对手检测框和商品检测框进行跟踪；所述步骤S3的具体步骤如下：
S301.删除与商品检测框有交集的手检测框：
定义手检测框为：
bndbox_hand＝[h_xmin,h_ymin,h_xmax,h_ymax]，
定义商品检测框为：
bndbox_goods＝[g_xmin,g_ymin,g_xmax,g_ymax]，
在购买图像中，遍历同一购买图像中所有的商品检测框，判断商品检测框与手检测框是否有交集，如果商品检测框与手检测框有交集，则删除手检测框；
S302.定义检测结果；设每个时刻ti的检测结果为：dets[ti],ti＝[t0,t1,...,tn]；
其中每个时刻的所有手检测框为：
dets[ti]['hand'],ti＝[t0,t1,...,tn]，
每个时刻的所有商品检测框为：
dets[ti]['goods'],ti＝[t0,t1,...,tn]；
S303.定义卡尔曼滤波器；
S304.设定已经存在的卡尔曼滤波器的集合，为每一个卡尔曼滤波器设定唯一的ID，初始状态下，卡尔曼滤波器的集合为空集；
S305.对于每个时刻ti，使用卡尔曼滤波器跟踪下一时刻的手检测框和商品检测框的位置，得到手预测框和商品预测框；
其中，每个时刻的所有手预测框为：
preds[ti]['hand'],ti＝[t0,t1,...,tn]，
每个时刻的所有商品预测框为：
preds[ti]['goods'],ti＝[t0,t1,...,tn]；
S306.分别在手预测框寻找与当前的手检测框对应的手预测框，在商品预测框中寻找与当前的商品检测框对应的商品预测框；对于每一个可以找到对应的预测框的检测框，则把该预测框对应的卡尔曼滤波器的ID赋予给该检测框；对于每一个无法找到对应的预测框的检测框，则使用该检测框新建一个卡尔曼滤波器，然后加入到卡尔曼滤波器的集合中，把新的卡尔曼滤波器的ID赋予该检测框；对于已经连续多次无法找到匹配的检测框的卡尔曼滤波器，则从集合中删除该卡尔曼滤波器，重复以上操作，直到遍历所有的时刻，最终为所有同一目标不同时刻的检测框赋予可以在时序上索引的相同ID。
4.根据权利要求3所述的一种动态商品识别方法，其特征在于：在步骤S301中，判断商品检测框与手检测框是否有交集的规则如下：
inter＝max(i_xmax-i_xmin+1,0)×max(i_ymax-i_ymin+1,0)，
其中：
i_xmin＝max(h_xmin,g_xmin)，
i_ymin＝max(h_ymin,g_ymin)，
i_xmax＝min(h_xmax,g_xmax)，
i_ymax＝min(h_ymax,g_ymax)；
当inter≤0时，商品检测框与手检测框无交集；当inter＞0时，商品检测框与手检测框有交集。
5.根据权利要求3或4所述的一种动态商品识别方法，其特征在于：在步骤S303中，卡尔曼滤波器的定义参数包括7个状态值和4个观测值，其中，7个状态值分别包括检测框中心坐标(x,y)、面积s、宽y和长x的比值r、长x的变化速率、宽y的变化速率、面积s的变化速率；4个观测值分别包括检测框中心坐标(x,y)、面积s、宽y和长x的比值r；
卡尔曼滤波器所需的矩阵如下：
状态转移矩阵：
Figure FDA0002982399560000041
观测矩阵：
Figure FDA0002982399560000051
观测噪声方差矩阵：
Figure FDA0002982399560000052
状态协方差矩阵：
Figure FDA0002982399560000053
状态转移协方差矩阵：
Figure FDA0002982399560000054
6.根据权利要求3所述的一种动态商品识别方法，其特征在于：所述步骤S306采用匈牙利算法实现。
7.根据权利要求1所述的一种动态商品识别方法，其特征在于：在步骤S403中，对检测序列的修改规则如下：
[N***N]表示一个N或者连续多个N，若序列全为N，则删除该检测序列；
对于标记N位于开头且形如[N***N]I的检测序列，将所有的标记N改为标记O；
对于标记N位于开头且形如[N***N]O的检测序列，将所有的标记N改为标记O，第一个标记N改为标记I；
对于标记N位于中间且形如I[N***N]O的检测序列，将所有的标记N改为标记O；
对于标记N位于中间且形如O[N***N]I的检测序列，将所有的标记N改为标记O；
对于标记N位于中间且形如I[N***N]I的检测序列，将所有的标记N改为标记I；
对于标记N位于中间且形如O[N***N]O的检测序列，将所有的标记N改为标记O；
对于标记N位于末尾且形如I[N***N]的检测序列，将所有的标记N改为标记O；
对于标记N位于末尾且形如O[N***N]的检测序列，将所有的标记N改为标记O，最后一个标记N改为标记I。
8.根据权利要求7所述的一种动态商品识别方法，其特征在于：在步骤S5中，还根据货柜内指定区域在每个时刻的实际称重数据，判断是否存在不友好购物行为；
所述步骤S5的具体步骤如下：
S501.设定货柜内指定区域在每个时刻的实际称重数据为：
weigth_measure＝[dwm1,dwm2,...,dwmm]；
S502.针对视觉识别错误问题和漏识别问题，穷举产生多个手图像和商品图像的进出时序表，记录每一个手图像和商品图像的进出时序表在不同变化情况下的修改次数；设定手图像和商品图像的进出时序表的数目为L，设定每一个手图像和商品图像的进出时序表在不同变化情况下的预测称重数据为：
Figure FDA0002982399560000071
其中
Figure FDA0002982399560000072
表示第i个手图像和商品图像的进出时序表在时刻t的预测称重数据，casei表示手图像和商品图像在第i个进出时序表中的变化情况，casei的第k次变化值是
Figure FDA0002982399560000073
S503.设定一个重量匹配阈值为：weight_thresh，并设定：若两个预测称重数据的差值小于重量匹配阈值，则重量变化是匹配的；
S504.计算预测称重数据在任一手图像和商品图像的进出时序表中最终时刻和最初时刻的重量变化值
Figure FDA0002982399560000074
和实际称重数据在同一手图像和商品图像的进出时序表中最终时刻和最初时刻的重量变化值dwmm-dwm1，计所有变化情况中的重量匹配值为：
Figure FDA0002982399560000075
若重量匹配值
Figure FDA0002982399560000076
则判定用户存在不友好购物行为，直接根据步骤S4得到的手图像和商品图像的进出时序表生成商品购物清单；
若重量匹配值
Figure FDA0002982399560000081
则对所有满足条件的变化情况进行预测称重数据和实际称重数据的匹配，判定用户不存在不友好购物行为，选择匹配程度match_degree最高且修改次数最少的手图像和商品图像的进出时序表生成商品购物清单；如果商品图像的进出时序表中存在一商品检测框且该商品检测框对应的商品标签不存在于商品购物清单内，则判定用户存在不友好购物行为，针对场景对不友好购物行为进行特殊处理，结束计算。
9.根据权利要求8所述的一种动态商品识别方法，其特征在于：步骤S504中，匹配程度match_degree的计算过程如下：
S504a.设定预测称重数据序列为：
Figure FDA0002982399560000082
设定实际称重数据序列为：[dwm1,dwm2,...,dwmm]，
将abs(dwm-dwp)<weight_thresh认为是匹配的，将abs(dwm-dwp)≥weight_thresh认为是不匹配的；
S504b.通过动态规划法求解预测称重数据序列和实际称重数据序列的最长匹配子序列，这个最长匹配子序列的长度即预测称重数据序列和实际称重数据序列的匹配程度match_degree。
CN201910554281.8A 2019-06-25 2019-06-25 一种动态商品识别方法 Active CN110276305B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910554281.8A CN110276305B (zh) 2019-06-25 2019-06-25 一种动态商品识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910554281.8A CN110276305B (zh) 2019-06-25 2019-06-25 一种动态商品识别方法

Publications (2)

Publication Number Publication Date
CN110276305A CN110276305A (zh) 2019-09-24
CN110276305B true CN110276305B (zh) 2021-06-15

Family

ID=67962489

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910554281.8A Active CN110276305B (zh) 2019-06-25 2019-06-25 一种动态商品识别方法

Country Status (1)

Country Link
CN (1) CN110276305B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110781752A (zh) * 2019-09-27 2020-02-11 上海数烨数据科技有限公司 一种动态视觉智能柜多品类场景下的物体识别方法
CN111144871B (zh) * 2019-12-25 2022-10-14 创新奇智(合肥)科技有限公司 一种基于重量讯息修正图像识别结果的方法
CN111553422A (zh) * 2020-04-28 2020-08-18 南京新空间信息科技有限公司 手术器械自动识别回收方法及系统
CN111553321A (zh) * 2020-05-18 2020-08-18 城云科技（中国）有限公司 一种流动商贩目标检测模型、检测方法及其管理方法
CN111723777A (zh) * 2020-07-07 2020-09-29 广州织点智能科技有限公司 商品取放过程判别方法、装置、智能货柜和可读存储介质
CN111739024B (zh) * 2020-08-28 2020-11-24 安翰科技(武汉)股份有限公司 图像识别方法、电子设备及可读存储介质
CN112184767A (zh) * 2020-09-22 2021-01-05 深研人工智能技术(深圳)有限公司 对运动物体进行轨迹跟踪的方法、装置、设备及存储介质
CN113449606B (zh) * 2021-06-04 2022-12-16 南京苏宁软件技术有限公司 一种目标对象识别方法、装置、计算机设备及存储介质
CN114359973A (zh) * 2022-03-04 2022-04-15 广州市玄武无线科技股份有限公司 基于视频的商品状态识别方法、设备及计算机可读介质
CN116052062B (zh) * 2023-03-07 2023-06-16 深圳爱莫科技有限公司 一种鲁棒的烟草陈列图像处理方法和装置
CN116503994B (zh) * 2023-06-29 2023-09-26 深圳市乐科智控科技有限公司 一种商品防盗检测方法、装置、设备及存储介质
CN117575485B (zh) * 2024-01-12 2024-05-03 深圳比特耐特信息技术股份有限公司 一种基于可视化的智慧调度方法、系统及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102737385A (zh) * 2012-04-24 2012-10-17 中山大学 一种基于camshift和卡尔曼滤波的视频目标跟踪方法
CN106781121A (zh) * 2016-12-14 2017-05-31 朱明� 基于视觉分析的超市自助结账智能系统
CN107545299A (zh) * 2017-10-30 2018-01-05 北京正众信源传媒科技有限公司 一种rfid贴附装置及其使用方法
CN108921048A (zh) * 2018-06-14 2018-11-30 深圳码隆科技有限公司 一种购物结算方法、装置和用户终端
CN108921645A (zh) * 2018-06-07 2018-11-30 深圳码隆科技有限公司 一种商品购买判定方法、装置和用户终端
CN109409291A (zh) * 2018-10-26 2019-03-01 虫极科技（北京）有限公司 智能货柜的商品识别方法和系统及购物订单的生成方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9754169B2 (en) * 2011-12-16 2017-09-05 Nec Corporation Information processing system, information processing method, information processing device and control method and control program thereof, and communication terminal and control method and control program thereof
CN109243061B (zh) * 2018-10-31 2024-01-30 深圳市小村机器人智能科技有限公司 智能货柜货品标签结构及识别系统
CN109567433B (zh) * 2018-12-12 2024-01-23 北京戴纳实验科技有限公司 智能货柜

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102737385A (zh) * 2012-04-24 2012-10-17 中山大学 一种基于camshift和卡尔曼滤波的视频目标跟踪方法
CN106781121A (zh) * 2016-12-14 2017-05-31 朱明� 基于视觉分析的超市自助结账智能系统
CN107545299A (zh) * 2017-10-30 2018-01-05 北京正众信源传媒科技有限公司 一种rfid贴附装置及其使用方法
CN108921645A (zh) * 2018-06-07 2018-11-30 深圳码隆科技有限公司 一种商品购买判定方法、装置和用户终端
CN108921048A (zh) * 2018-06-14 2018-11-30 深圳码隆科技有限公司 一种购物结算方法、装置和用户终端
CN109409291A (zh) * 2018-10-26 2019-03-01 虫极科技（北京）有限公司 智能货柜的商品识别方法和系统及购物订单的生成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Commodity and product identification for value chain analysis;Hap Navy and Rouja Johnstone;《CGIAR Research Program on Aquatic 》;20151231;第1-31页 *
计算机视觉技术助力京东无人零售店;陈宇等;《人工智能》;20171231(第6期);第94-100页 *

Also Published As

Publication number Publication date
CN110276305A (zh) 2019-09-24

Similar Documents

Publication Publication Date Title
CN110276305B (zh) 一种动态商品识别方法
CN113269073B (zh) 一种基于yolo v5算法的船舶多目标追踪方法
US20210064909A1 (en) Article management system, information processing apparatus, and control method and control program of information processing apparatus
CN109858552B (zh) 一种用于细粒度分类的目标检测方法及设备
US20220001266A1 (en) Method and apparatus for detecting a dealing sequence, storage medium and electronic device
CN111161320A (zh) 一种目标跟踪方法、目标跟踪装置及计算机可读介质
CN110503095A (zh) 目标检测模型的定位质量评价方法、定位方法及设备
CN109886169B (zh) 应用于无人货柜的物品识别方法、装置、设备及存储介质
CN110414447A (zh) 行人跟踪方法、装置及设备
US20220391796A1 (en) System and Method for Mapping Risks in a Warehouse Environment
CN111723777A (zh) 商品取放过程判别方法、装置、智能货柜和可读存储介质
Nick et al. Camera-assisted localization of passive rfid labels
CN114898249B (zh) 用于购物车内商品数量确认的方法、系统及存储介质
CN112990095B (zh) 商品陈列分析方法、装置、设备及存储介质
CN112907168A (zh) 动态商品识别方法、无人售货柜及其售货方法
KR102260355B1 (ko) 영상 기반 구매 행동 인식 시스템 및 방법
CN102855635A (zh) 确定人体动作周期及识别人体动作的方法和装置
CN115797736A (zh) 目标检测模型的训练和目标检测方法、装置、设备和介质
CN114359973A (zh) 基于视频的商品状态识别方法、设备及计算机可读介质
CN111931740B (zh) 商品销量识别方法及装置、电子设备、存储介质
CN113033286A (zh) 一种货柜内商品的识别方法及装置
Wang et al. Consistent targets provide better supervision in semi-supervised object detection
Palaio et al. Multi-object tracking using an adaptive transition model particle filter with region covariance data association
US5877722A (en) Search method for detection and tracking of targets using multiple angle-only sensors
CN115035129A (zh) 货物的识别方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant