CN112906759A - 一种基于纯视觉的免门禁无人商店结账方法 - Google Patents
一种基于纯视觉的免门禁无人商店结账方法 Download PDFInfo
- Publication number
- CN112906759A CN112906759A CN202110130277.6A CN202110130277A CN112906759A CN 112906759 A CN112906759 A CN 112906759A CN 202110130277 A CN202110130277 A CN 202110130277A CN 112906759 A CN112906759 A CN 112906759A
- Authority
- CN
- China
- Prior art keywords
- commodity
- frames
- customer
- steps
- pictures
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 16
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 9
- 238000012360 testing method Methods 0.000 claims abstract description 9
- 239000003999 initiator Substances 0.000 claims abstract description 8
- 238000012706 support-vector machine Methods 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 238000013145 classification model Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 3
- 230000000977 initiatory effect Effects 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000007547 defect Effects 0.000 abstract description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 239000013598 vector Substances 0.000 description 5
- 230000000694 effects Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 235000019580 granularity Nutrition 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
- G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明是一种基于纯视觉的免门禁无人商店结账方法。本发明涉及人工智能管理技术领域，所述方法具体为：训练动作判别模型，对于一个场景确定顾客拿、取或者放回的动作；搭建卷积神经网络模型，对产品图片进行学习训练，进行预测分类测试图片，检测手中的商品类型；建立商品与顾客的相对关系，选择离商品最近的顾客作为动作的发起者；对顾客进行人重和人脸识别，确定顾客身份并结账。本发明解决现有的购物商店需要大量的人力来进行结账的问题，并且改进现有技术的缺陷，获得选址灵活，能够提高销售效率和增加营业时间，并且所需的财力也大大减少的技术效果。
Description
技术领域
本发明涉及人工智能管理技术领域，是一种基于纯视觉的免门禁无人商店结账方法。
背景技术
目前，一般商店都会有售货员或者收银员，通过售货员或者收银员来结算用户购买的商品。然而，当购买商品的用户数量较多时，往往都需要排队，以至于用需要花费较长的时间结账，此外，还需提供售货员或者收银员的人工成本。
因此，为了解决上述问题，现有技术中出现了无人商店，它选址灵活，能够提高销售效率和增加营业时间。目前而言，无人值守售货盒子一般采用商品粘贴RFID标签作为扫描标识，然而粘贴RFID有几个缺点:(1)使用RFID成本极高，商品粘贴RFID需要人工处理，同时要支RFID标签识别，需要RFID发射器、专用读取机、编码器、RFID天线等设置，加上RFID标签本身也需要成本；(2)不能防伪、易受串读被动读干扰；(3)不能用于金属及带水份外壳。因此，需要提供一种无人商店结账方法解决上述问题。
而且，现有的无人商店系统都需要在入口或者出口处设立门禁，用户在进入或者离开商店的时候需要在门禁处等待一段时间进行人脸识别，人脸识别成功顾客才能进入商店进行购物，门口设立门禁增加了硬件装置需要更多的财力，同时耗费了顾客的时间。
现有的自动结账方法是基于商店设置了单独的结账区域的前提下提出的，无人商店设有结账区域，结账区域设置了第一出口和第二出口。该方法包括：在检测到第一出口的预设区域内存在用户的感应信号时，获取结账区域的第一区域图像；根据第一区域图像，判断结账区域内是否有人；如果没有人，控制第一出口的门开启，并且获取结账区域的第二区域图像；根据第二区域图像，判断结账区域内是否只有一位用户；如果结账区域内只有一位用户，并且检测到结账区域存在商品时，控制第一出口的门关闭，获取用户的面部特征，并且根据面部特征获取用户的账号，以及获取用户选购的商品信息和其对应的价格；根据价格从用户的账号中扣除相应的金额，并且控制第二出口的门开启。
现有的自动结账方法在建立商店的时候需要设置结账区域和两个出口，增加了建立商店的复杂度，需要投入更多的资金。同时，用户在结账出门的时候需要等待系统的用户感应检测和面部识别，耗费了用户的时间而且需要耗费更多的财力购买硬件装置。
同时，这种自动结账方法结合了摄像头、射频读写设备、各种传感器等硬件装置，大大增加了财力和人力消耗。
发明内容
本发明解决现有的购物商店需要大量的人力来进行结账的问题，本发明提供了一种基于纯视觉的免门禁无人商店结账方法，本发明提供了以下技术方案：
一种基于纯视觉的免门禁无人商店结账方法，包括以下步骤：
步骤1：训练动作判别模型，对于一个场景确定顾客拿、取或者放回的动作；
步骤2：搭建卷积神经网络模型，对产品图片进行学习训练，进行预测分类测试图片，检测手中的商品类型；
步骤3：建立商品与顾客的相对关系，选择离商品最近的顾客作为动作的发起者；
步骤4：对顾客进行人重和人脸识别，确定顾客身份并结账。
优选地，所述步骤1具体为：
步骤1.1：训练一个动作判别模型，从摄像头录取的视频中获得连续的RGB视频帧流和光流信息，借助神经网络来提取特征，通过提取的特征来检测动作，对视频的每一帧进行判断，是否存在拿取放回动作，发生这一动作的帧记为关键帧；
步骤1.2：对于一个场景，分别确定拿取或放回的关键帧的时间戳，将时间戳集合起来作为整个场景的时间戳，从这12个视频中都取出这些时间戳临近的帧，前取3帧，后取10帧；
所有的时间戳代表找出的拿取或放回的动作个数，同一个时间戳分别在12个视频中前取3帧，后取10帧检测手中拿的商品。
优选地，对拿取还是放回进行判断，关键帧前面几帧手中有商品，之后几帧手中没有商品即为放回操作；关键帧前面几帧手中没有商品，之后几帧手中有商品即为拿取操作。
优选地，所述步骤2具体为：
使用Tensorflow框架搭建卷积神经网络模型，加载产品图片数据集，共18个子文件夹即18类商品，处理后让模型进行学习训练，预测分类测试集图片；对得到的关键帧和附近的几帧，每一帧都作商品模型的输入，对输出结果取最大概率的作为商品的类型，输入为发生拿取放回动作的视频帧；输出为商品的类型。
优选地，为了提高视频识别的准确率，对传来的视频帧进行处理，具体为：通过openpose识别手，裁剪手部附近的图片；对裁剪得到的图片进行筛选，去掉没手的图片；将图片输入商品分类模型，去掉概率值低于0.3的结果，取结果中概率值最大分类结果的作为最后的结果。
优选地，所述步骤3具体为：
要匹配顾客和商品的ID，首先要确定顾客和商品的定位，采用多个摄像头融合，在视频中识别出人的关键部位，包括头和左右手，并且得到在现实世界的空间坐标，通过计算顾客与商品的3D距离来判断商品是被谁拿走的；
数据集中给了每种商品的3D位置，根据得到的商品类型查询到商品的位置；
多个摄像头使用openpose识别出关键骨骼点2D坐标，利用ReID去掉噪声和图像中识别错误的顾客，多摄像头的顾客进行关联，每个摄像头下同一顾客的二维坐标通过三角测量triangulation的方法得到三维坐标，得到商品和顾客的位置之后，选择离商品最近的顾客作为动作的发起者。
优选地，所述步骤4具体为：通过reid得到操作商品的人在不同摄像头下的图片，对得到的图片都进行人脸识别，利用MTCNN进行人脸框提取，将提取后的人脸框送入facenet中提取出embedding，利用SVM对embedding进行分类，利用MTCNN模型人脸检测，利用faceNet模型人脸识别，将图片输入人脸识别模型，取结果中的众数作为最后的结果，发起付款。
本发明具有以下有益效果：
本发明利用商店内摄像机的视频信息，结合深度学习的方式分析出视频中所需要的关键信息，包括拿取、放回动作的判断、商品的识别、人身份的识别等。其目的在于解决现有的购物商店需要大量的人力来进行结账的问题，并且改进现有技术的缺陷，获得选址灵活，能够提高销售效率和增加营业时间，并且所需的财力也大大减少的技术效果。
现有技术仅使用了计算机视觉的方式来进行自动结账获得顾客的购物清单，商店内部需要安装的硬件装置只有摄像机，根据摄像机拍摄的视频数据可以实时地得到结果。
不需要在入口或者出口处设立单独的门禁系统来识别顾客的身份，商店内部的摄像机可以通过行人重识别和人脸识别结合的方法得到顾客的身份，省区了不必要的步骤和硬件装置，同时节省了顾客的时间。
商店内的商品也不需要额外的人工处理，根据商品分类模型就可以获得商品的类型，减少了添加标签所需的人力、财力。
附图说明
图1为拿取放回流程图；
图2为商品类型识别流程图；
图3为建立商品与人的关系流程图；
图4为识别人的身份流程图。
具体实施方式
以下结合具体实施例，对本发明进行了详细说明。
具体实施例一：
根据图1-图4所示，本发明提供一种基于纯视觉的免门禁无人商店结账方法，包括以下步骤：
一种基于纯视觉的免门禁无人商店结账方法，包括以下步骤：
步骤1：训练动作判别模型，对于一个场景确定顾客拿、取或者放回的动作；
所述步骤1具体为：
步骤1.1：训练一个动作判别模型，从摄像头录取的视频中获得连续的RGB视频帧流和光流信息，借助神经网络来提取特征，通过提取的特征来检测动作，对视频的每一帧进行判断，是否存在拿取放回动作，发生这一动作的帧记为关键帧；
步骤1.2：对于一个场景，分别确定拿取或放回的关键帧的时间戳，将时间戳集合起来作为整个场景的时间戳，从这12个视频中都取出这些时间戳临近的帧，前取3帧，后取10帧；
所有的时间戳代表找出的拿取或放回的动作个数，同一个时间戳分别在12个视频中前取3帧，后取10帧检测手中拿的商品。
对拿取还是放回进行判断，关键帧前面几帧手中有商品，之后几帧手中没有商品即为放回操作；关键帧前面几帧手中没有商品，之后几帧手中有商品即为拿取操作。
步骤2：搭建卷积神经网络模型，对产品图片进行学习训练，进行预测分类测试图片，检测手中的商品类型；
所述步骤2具体为：
使用Tensorflow框架搭建卷积神经网络模型，加载产品图片数据集，共18个子文件夹即18类商品，处理后让模型进行学习训练，预测分类测试集图片；对得到的关键帧和附近的几帧，每一帧都作商品模型的输入，对输出结果取最大概率的作为商品的类型，输入为发生拿取放回动作的视频帧；输出为商品的类型。
为了提高视频识别的准确率，对传来的视频帧进行处理，具体为：通过openpose识别手，裁剪手部附近的图片；对裁剪得到的图片进行筛选，去掉没手的图片；将图片输入商品分类模型，去掉概率值低于0.3的结果，取结果中概率值最大分类结果的作为最后的结果。
步骤3：建立商品与顾客的相对关系，选择离商品最近的顾客作为动作的发起者；
所述步骤3具体为：
要匹配顾客和商品的ID，首先要确定顾客和商品的定位，采用多个摄像头融合，在视频中识别出人的关键部位，包括头和左右手，并且得到在现实世界的空间坐标，通过计算顾客与商品的3D距离来判断商品是被谁拿走的；
数据集中给了每种商品的3D位置，根据得到的商品类型查询到商品的位置；
多个摄像头使用openpose识别出关键骨骼点2D坐标，利用ReID去掉噪声和图像中识别错误的顾客，多摄像头的顾客进行关联，每个摄像头下同一顾客的二维坐标通过三角测量triangulation的方法得到三维坐标，得到商品和顾客的位置之后，选择离商品最近的顾客作为动作的发起者。
步骤4：对顾客进行人重和人脸识别，确定顾客身份并结账。
所述步骤4具体为：通过reid得到操作商品的人在不同摄像头下的图片，对得到的图片都进行人脸识别，利用MTCNN进行人脸框提取，将提取后的人脸框送入facenet中提取出embedding，利用SVM对embedding进行分类，利用MTCNN模型人脸检测，利用faceNet模型人脸识别，将图片输入人脸识别模型，取结果中的众数作为最后的结果，发起付款。
具体实施例二：
拿取放回判断：训练一个动作判别模型，对视频的每一帧进行判断，看是否存在拿取放回动作，发生这一动作的帧记为关键帧。对于一个场景，分别找出其中的拿取或放回的关键帧的时间戳。将这些时间戳集合起来作为整个场景的时间戳，然后从这12个视频中都取出这些时间戳临近的帧，前取3帧，后取10帧。所有的时间戳代表找出的拿取或放回的动作个数，这样能尽量找全。同一个时间戳分别在12个视频中前取3帧，后取10帧是为了能更好的检测手中拿的商品。之后要对拿取还是放回进行判断。关键帧前面几帧手中有商品，之后几帧手中没有商品即为放回操作；关键帧前面几帧手中没有商品，之后几帧手中有商品即为拿取操作。
商品类型识别：相当于是一个分类问题，具体的思路是使用Tensorflow框架搭建卷积神经网络模型，加载产品图片数据集，处理后让模型进行学习训练，最终得以预测分类测试集图片。可分为5个步骤：数据采集、数据预处理、搭建Tensorflow构建卷积神经网络模型、优化器的选择与效果比较、查看模型在测试集上的准确率。对上一部分得到的关键帧和附近的几帧，每一帧都作商品模型的输入，对输出结果取最大概率的作为商品的类型。
建立商品与人的关系：要匹配顾客和商品的ID，首先要确定人和商品的定位。关于商品的定位，根据上一部分得到的商品类型再结合货架的位置(货架初始的位置是已知的)可以得到商品的位置。关于人的定位，使用openpose识别出人的头部，获取头部在图片上的坐标，然后头部的二维坐标作为输入，三维坐标作为输出，训练出一个网络。得到商品和人的位置之后，选择离商品最近的人作为动作的发起者。
识别人的身份：无人商店如果只基于人脸来做，很多时候是拍不到客户的正面，行人重识别这个技术在无人超市的场景下有非常大的应用帮助。所以，这一部分主要分为两个步骤：行人重识别和人脸识别。行人重识别主要思想就是通过区域分割，来获得不同粒度的特征，比如全局和局部特征以及更细粒度的局部特征，通过一个网络的不同分支得到这些特征，每个分支都对不同的分割块进行特征提取。人脸识别的思路是利用MTCNN进行人脸框提取，将提取后的人脸框送入facenet中提取出embedding，利用SVM对embedding进行分类。具体的流程是通过MTCNN人脸检测模型，从照片中提取人脸图像。然后，把人脸图像输入到FaceNet，计算Embedding的特征向量。最后，比较特征向量间的欧式距离，判断是否为同一人，例如当特征距离小于1的时候认为是同一个人，特征距离大于1的时候认为是不同人。
总的来说，基于纯视觉的免门禁无人商店结账方法是通过“商品—识别动作—识别承受动作的商品—商品与用户清单/用户关联”进行运作的。
以上所述仅是一种基于纯视觉的免门禁无人商店结账方法的优选实施方式，一种基于纯视觉的免门禁无人商店结账方法的保护范围并不仅局限于上述实施例，凡属于该思路下的技术方案均属于本发明的保护范围。应当指出，对于本领域的技术人员来说，在不脱离本发明原理前提下的若干改进和变化，这些改进和变化也应视为本发明的保护范围。
Claims (7)
1.一种基于纯视觉的免门禁无人商店结账方法，其特征是：包括以下步骤：
步骤1：训练动作判别模型，对于一个场景确定顾客拿、取或者放回的动作；
步骤2：搭建卷积神经网络模型，对产品图片进行学习训练，进行预测分类测试图片，检测手中的商品类型；
步骤3：建立商品与顾客的相对关系，选择离商品最近的顾客作为动作的发起者；
步骤4：对顾客进行人重和人脸识别，确定顾客身份并结账。
2.根据权利要求1所述的一种基于纯视觉的免门禁无人商店结账方法，其特征是：
所述步骤1具体为：
步骤1.1：训练一个动作判别模型，从摄像头录取的视频中获得连续的RGB视频帧流和光流信息，借助神经网络来提取特征，通过提取的特征来检测动作，对视频的每一帧进行判断，是否存在拿取放回动作，发生这一动作的帧记为关键帧；
步骤1.2：对于一个场景，分别确定拿取或放回的关键帧的时间戳，将时间戳集合起来作为整个场景的时间戳，从这12个视频中都取出这些时间戳临近的帧，前取3帧，后取10帧；
所有的时间戳代表找出的拿取或放回的动作个数，同一个时间戳分别在12个视频中前取3帧，后取10帧检测手中拿的商品。
3.根据权利要求2所述的一种基于纯视觉的免门禁无人商店结账方法，其特征是：对拿取还是放回进行判断，关键帧前面几帧手中有商品，之后几帧手中没有商品即为放回操作；关键帧前面几帧手中没有商品，之后几帧手中有商品即为拿取操作。
4.根据权利要求3所述的一种基于纯视觉的免门禁无人商店结账方法，其特征是：所述步骤2具体为：
使用Tensorflow框架搭建卷积神经网络模型，加载产品图片数据集，共18个子文件夹即18类商品，处理后让模型进行学习训练，预测分类测试集图片；对得到的关键帧和附近的几帧，每一帧都作商品模型的输入，对输出结果取最大概率的作为商品的类型，输入为发生拿取放回动作的视频帧；输出为商品的类型。
5.根据权利要求4所述的一种基于纯视觉的免门禁无人商店结账方法，其特征是：为了提高视频识别的准确率，对传来的视频帧进行处理，具体为：通过openpose识别手，裁剪手部附近的图片；对裁剪得到的图片进行筛选，去掉没手的图片；将图片输入商品分类模型，去掉概率值低于0.3的结果，取结果中概率值最大分类结果的作为最后的结果。
6.根据权利要求5所述的一种基于纯视觉的免门禁无人商店结账方法，其特征是：所述步骤3具体为：
要匹配顾客和商品的ID，首先要确定顾客和商品的定位，采用多个摄像头融合，在视频中识别出人的关键部位，包括头和左右手，并且得到在现实世界的空间坐标，通过计算顾客与商品的3D距离来判断商品是被谁拿走的；
数据集中给了每种商品的3D位置，根据得到的商品类型查询到商品的位置；
多个摄像头使用openpose识别出关键骨骼点2D坐标，利用ReID去掉噪声和图像中识别错误的顾客，多摄像头的顾客进行关联，每个摄像头下同一顾客的二维坐标通过三角测量triangulation的方法得到三维坐标，得到商品和顾客的位置之后，选择离商品最近的顾客作为动作的发起者。
7.根据权利要求6所述的一种基于纯视觉的免门禁无人商店结账方法，其特征是：所述步骤4具体为：通过reid得到操作商品的人在不同摄像头下的图片，对得到的图片都进行人脸识别，利用MTCNN进行人脸框提取，将提取后的人脸框送入facenet中提取出embedding，利用SVM对embedding进行分类，利用MTCNN模型人脸检测，利用faceNet模型人脸识别，将图片输入人脸识别模型，取结果中的众数作为最后的结果，发起付款。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110130277.6A CN112906759A (zh) | 2021-01-29 | 2021-01-29 | 一种基于纯视觉的免门禁无人商店结账方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110130277.6A CN112906759A (zh) | 2021-01-29 | 2021-01-29 | 一种基于纯视觉的免门禁无人商店结账方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112906759A true CN112906759A (zh) | 2021-06-04 |
Family
ID=76121665
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110130277.6A Pending CN112906759A (zh) | 2021-01-29 | 2021-01-29 | 一种基于纯视觉的免门禁无人商店结账方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112906759A (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108960318A (zh) * | 2018-06-28 | 2018-12-07 | 武汉市哈哈便利科技有限公司 | 一种用于无人售货柜的采用双目视觉技术的商品识别算法 |
| CN108960119A (zh) * | 2018-06-28 | 2018-12-07 | 武汉市哈哈便利科技有限公司 | 一种用于无人售货柜的多角度视频融合的商品识别算法 |
| US20180374233A1 (en) * | 2017-06-27 | 2018-12-27 | Qualcomm Incorporated | Using object re-identification in video surveillance |
| CN109409175A (zh) * | 2017-08-16 | 2019-03-01 | 图灵通诺（北京）科技有限公司 | 结算方法、装置和系统 |
| CN109840503A (zh) * | 2019-01-31 | 2019-06-04 | 深兰科技（上海）有限公司 | 一种确定种类信息的方法及装置 |
| CN109902590A (zh) * | 2019-01-30 | 2019-06-18 | 西安理工大学 | 深度多视图特征距离学习的行人重识别方法 |
| CN110009324A (zh) * | 2019-02-01 | 2019-07-12 | 阿里巴巴集团控股有限公司 | 一种线下自助结算方法、装置和系统 |
| EP3531357A1 (de) * | 2018-02-26 | 2019-08-28 | Anker Kassensysteme GmbH | Kassensystem, verfahren zur authentifizierung an einem kassensystem, computerprogramm sowie computerlesbares medium |
| CN110378215A (zh) * | 2019-06-12 | 2019-10-25 | 北京大学 | 基于第一人称视角购物视频的购物分析方法 |
| CN111178860A (zh) * | 2019-12-18 | 2020-05-19 | 广州织点智能科技有限公司 | 无人便利店的结算方法、装置、设备及存储介质 |
| CN111444757A (zh) * | 2019-12-03 | 2020-07-24 | 广州织点智能科技有限公司 | 无人超市的行人重识别方法、装置、设备及存储介质 |
-
2021
- 2021-01-29 CN CN202110130277.6A patent/CN112906759A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180374233A1 (en) * | 2017-06-27 | 2018-12-27 | Qualcomm Incorporated | Using object re-identification in video surveillance |
| CN109409175A (zh) * | 2017-08-16 | 2019-03-01 | 图灵通诺（北京）科技有限公司 | 结算方法、装置和系统 |
| EP3531357A1 (de) * | 2018-02-26 | 2019-08-28 | Anker Kassensysteme GmbH | Kassensystem, verfahren zur authentifizierung an einem kassensystem, computerprogramm sowie computerlesbares medium |
| CN108960318A (zh) * | 2018-06-28 | 2018-12-07 | 武汉市哈哈便利科技有限公司 | 一种用于无人售货柜的采用双目视觉技术的商品识别算法 |
| CN108960119A (zh) * | 2018-06-28 | 2018-12-07 | 武汉市哈哈便利科技有限公司 | 一种用于无人售货柜的多角度视频融合的商品识别算法 |
| CN109902590A (zh) * | 2019-01-30 | 2019-06-18 | 西安理工大学 | 深度多视图特征距离学习的行人重识别方法 |
| CN109840503A (zh) * | 2019-01-31 | 2019-06-04 | 深兰科技（上海）有限公司 | 一种确定种类信息的方法及装置 |
| CN110009324A (zh) * | 2019-02-01 | 2019-07-12 | 阿里巴巴集团控股有限公司 | 一种线下自助结算方法、装置和系统 |
| CN110378215A (zh) * | 2019-06-12 | 2019-10-25 | 北京大学 | 基于第一人称视角购物视频的购物分析方法 |
| CN111444757A (zh) * | 2019-12-03 | 2020-07-24 | 广州织点智能科技有限公司 | 无人超市的行人重识别方法、装置、设备及存储介质 |
| CN111178860A (zh) * | 2019-12-18 | 2020-05-19 | 广州织点智能科技有限公司 | 无人便利店的结算方法、装置、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 李东海: "无人零售环境下数据生成与物体识别算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, 15 January 2021 (2021-01-15), pages 138 - 1800 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111415461B (zh) | 物品识别方法及系统、电子设备 | |
| CN108491799B (zh) | 一种基于图像识别的智能售货柜商品管理方法及系统 | |
| US20210158053A1 (en) | Constructing shopper carts using video surveillance | |
| US9471832B2 (en) | Human activity determination from video | |
| EP2973218B1 (en) | Online learning system for people detection and counting | |
| US20190385173A1 (en) | System and method for assessing customer service times | |
| CN111597999A (zh) | 一种基于视频检测的4s店销售服务管理方法和系统 | |
| US20150310365A1 (en) | System and method for video-based detection of goods received event in a vehicular drive-thru | |
| WO2016190814A1 (en) | Method and system for facial recognition | |
| Albiol Colomer et al. | Who is who at different cameras: people re-identification using depth cameras | |
| Sikandar et al. | ATM crime detection using image processing integrated video surveillance: a systematic review | |
| Liu et al. | Customer behavior classification using surveillance camera for marketing | |
| CN111263224A (zh) | 视频处理方法、装置及电子设备 | |
| CN111222870A (zh) | 结算方法、装置和系统 | |
| AU2017231602A1 (en) | Method and system for visitor tracking at a POS area | |
| EP3629276A1 (en) | Context-aided machine vision item differentiation | |
| CN111260685B (zh) | 视频处理方法、装置及电子设备 | |
| CN112906759A (zh) | 一种基于纯视觉的免门禁无人商店结账方法 | |
| CN114529847A (zh) | 基于深度学习的货架动态商品识别与顾客购物匹配方法 | |
| CN118097519B (zh) | 基于商品轨迹分析的智能购物车购物行为分析方法及系统 | |
| Shrivastav | A Real-Time Crowd Detection and Monitoring System using Machine Learning | |
| Ali et al. | Head plane estimation improves the accuracy of pedestrian tracking in dense crowds | |
| TWM488698U (zh) | 智慧型影像式顧客分析系統 | |
| CN116580509A (zh) | 一种智能超市购物收银结算方法 | |
| CN115482486A (zh) | 一种客流识别方法以及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210604 |
|
| RJ01 | Rejection of invention patent application after publication |