CN116720899A - 商超智能监控管理方法、装置、电子设备及介质 - Google Patents
商超智能监控管理方法、装置、电子设备及介质 Download PDFInfo
- Publication number
- CN116720899A CN116720899A CN202310992969.0A CN202310992969A CN116720899A CN 116720899 A CN116720899 A CN 116720899A CN 202310992969 A CN202310992969 A CN 202310992969A CN 116720899 A CN116720899 A CN 116720899A
- Authority
- CN
- China
- Prior art keywords
- commodity
- customer
- information
- image
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 74
- 238000007726 management method Methods 0.000 title claims abstract description 44
- 230000009471 action Effects 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 33
- 230000006399 behavior Effects 0.000 claims description 98
- 230000002159 abnormal effect Effects 0.000 claims description 40
- 238000000034 method Methods 0.000 claims description 38
- 238000004891 communication Methods 0.000 claims description 10
- 230000005856 abnormality Effects 0.000 claims description 9
- 238000005303 weighing Methods 0.000 claims description 8
- 238000012795 verification Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 125000004122 cyclic group Chemical group 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 description 7
- 239000010410 layer Substances 0.000 description 7
- 244000241257 Cucumis melo Species 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 235000009847 Cucumis melo var cantalupensis Nutrition 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 235000014102 seafood Nutrition 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 235000013372 meat Nutrition 0.000 description 3
- 240000000716 Durio zibethinus Species 0.000 description 2
- 235000006025 Durio zibethinus Nutrition 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 235000012055 fruits and vegetables Nutrition 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012261 overproduction Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 239000002344 surface layer Substances 0.000 description 2
- 108091064702 1 family Proteins 0.000 description 1
- 241000251468 Actinopterygii Species 0.000 description 1
- 244000144730 Amygdalus persica Species 0.000 description 1
- 244000241235 Citrullus lanatus Species 0.000 description 1
- 235000012828 Citrullus lanatus var citroides Nutrition 0.000 description 1
- 235000015510 Cucumis melo subsp melo Nutrition 0.000 description 1
- 244000141359 Malus pumila Species 0.000 description 1
- 235000006040 Prunus persica var persica Nutrition 0.000 description 1
- 240000000111 Saccharum officinarum Species 0.000 description 1
- 235000007201 Saccharum officinarum Nutrition 0.000 description 1
- 235000021016 apples Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000003307 slaughter Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/103—Workflow collaboration or project management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Multimedia (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Human Computer Interaction (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- General Health & Medical Sciences (AREA)
- Entrepreneurship & Innovation (AREA)
- Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Development Economics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了商超智能监控管理方法、装置、电子设备及介质，包括获取商超内的商品区域，获取所述商品区域内的顾客图像和商品图像；根据所述顾客图像提取人体姿态信息，结合预先输入的商超产品摆放信息，根据所述商品图像，判断顾客是否存在商品购买行为；当顾客存在商品购买行为时，提取所述顾客的人脸图像信息，将所述商品购买行为的待购商品添加到商品清单。本发明通过识别商品区域，再识别具备购买行为的顾客，再对具备商品购买行为的顾客进行持续监控，分层次管理，避免所有顾客进行同样数据处理，降低管理难度；同时解决超市散装商品管理难题，尤其是散装商品弃购丢弃、替换标签行为，帮助商超减少损失，提高盘点盘库准确度。
Description
技术领域
本发明涉及商业零售系统领域，具体而言，涉及商超智能监控管理方法、装置、电子设备及介质。
背景技术
近年来，随着经济的发展和人们生活水平的提高，消费需求不断增加，商超作为零售业的重要组成部分，在市场中占据了重要地位。然而，传统的商超管理方式存在一些问题，如商品管理不精确、盗窃现象频发、仓库管理难度较大等。首先，商超面对的首要问题之一是商品管理不精确。传统的商品管理主要依靠人工操作，容易出现人为失误、数据不准确等问题。尤其是在处理散装商品时，管理难度更大。散装商品往往没有统一的标签，容易导致商品弃购丢弃、替换标签等行为的发生，从而给商超带来损失。其次，商超还面临着盗窃问题。传统的安防手段通常只能起到一定的威慑作用，不能实时监控和捕捉盗窃行为。商超产品种类繁多，大型商超产品甚至上万种，很多产品顾客在取走后临时又弃购随意丢弃在其他货架，造成盘点盘库困难。
发明内容
本发明的目的在于提供一种商超智能监控管理方法、装置、电子设备及介质。
为了实现上述目的，本申请实施例提供了如下技术方案：
一方面，本申请实施例提供了商超智能监控管理方法，所述方法包括：
获取商超内的商品区域，获取所述商品区域内的顾客图像和商品图像；
根据所述顾客图像提取人体姿态信息，结合预先输入的商超产品摆放信息，根据所述商品图像，判断顾客是否存在商品购买行为；
当顾客存在商品购买行为时，提取所述顾客的人脸图像信息，将所述商品购买行为的待购商品添加到商品清单；
在结算前，持续获取具备购买行为的顾客的人体姿态信息，结合所述商品清单中的待购商品图像，判断顾客是否存在商品弃购行为；当存在商品弃购行为时，推送第一异常信息到智能监控终端；所述第一异常信息包括弃购商品信息、商品弃购行为的位置信息、人脸图像信息以及顾客的实时位置；
在结算时，获取结算扫码的实际商品图像，通过所述实际商品图像得到实际购物清单，当所述实际购物清单的商品少于商品清单即存在商品缺件行为，推送第二异常信息到智能监控终端；所述第二异常信息包括顾客的最短轨迹、人脸图像信息、缺件商品信息以及顾客的实时位置；所述最短轨迹是从无法获取缺件商品图像到结算前的时间段内顾客的购物足迹的最短拟合路线；
根据智能监控终端预先设定的处理对策通知售货员进行后续处理。
可选地，所述获取商超内的商品区域的方法包括：
获取商超内景图像，将所述商超内景图像转换为灰度图像，根据灰度图像通过二值化操作转换为黑白图像，通过连通组件标记算法将黑白图像分割成区域块；
根据所述区域块和预先输入的商超货架图像，通过SIFT算法提取特征并进行匹配，得到商超货架的边界框坐标信息；
根据所述边界框坐标信息得到商品区域。
可选地，所述判断顾客是否存在商品购买行为方法包括：
根据所述顾客图像通过OpenPose算法提取人体姿态信息，根据多个连续图片帧得到的所述人体姿态信息通过识别模型识别人体关键动作，通过人体关键动作判断顾客是否存在商品购买行为；所述人体关键动作包括取下商品、放回商品；所述识别模型是将历史人体姿态信息通过循环神经网络算法训练得到，所述历史人体姿态信息是通过OpenPose算法提取人体从商超各种类型的货架取下商品、放回商品的多个连续图片帧得到。
可选地，所述将所述商品购买行为的待购商品添加到商品清单的方法包括：
当判断存在商品购买行为但无法识别商品图像时，通过OpenPose算法提取顾客的手部位置坐标，结合预先输入的商超产品摆放信息，将手部位置可取到的多种商超产品作为模糊待购商品；
将模糊待购商品加入商品清单。
可选地，获取所述最短轨迹的方法包括：
将商超货架之间的过道表示为节点，每个过道为一个节点，节点之间的连线表示两个过道之间存在路径；
将顾客走过的节点按照顺序连接起来，形成行走路径；
通过Dijkstra算法计算所述行走路径的最短拟合路线，得到最短轨迹。
可选地，所述方法还包括：
当顾客购买散装商品时，进行以下步骤，包括：
当散装商品进行称重时，记录称重行为的价签信息；所述价签信息包括商品的种类、单价、重量和总价；当散装商品进行称重时，若同类商品分装多袋或者多个进行称重而具有N个数量的价签但结算时该类商品的价签数量少于N则标记为可疑替换行为；
在结算时，根据所述商品图像判断商品种类并与价签信息记录的商品种类匹配，判断是否达到设定的图像相似度阈值；若商品种类匹配未达到图像相似度阈值则可能存在价签替换行为，推送第三异常信息到智能监控终端；若商品种类匹配达到图像相似度阈值，将结算扫描的价签外观进行检测判断是否达到设定的完好度设定阈值；若价签外观未达到设定的完好度设定阈值或者具备所述可疑替换行为，从存储的顾客图像通过OpenPose算法并识别人体关键动作，判断顾客是否存在替换价签行为，若存在替换价签行为则推送第三异常信息到智能监控终端；
所述第三异常信息包括人脸图像信息、价签替换商品信息以及顾客的实时位置；
当智能监控终端接收到第三异常信息时，售货员根据第三异常信息对商品进行二次核实重量。
可选地，所述判断顾客是否存在替换价签行为方法包括：
通过OpenPose算法并识别人体关键动作，当所述人体关键动作在连续的时间序列完成的行为动作包括人体头部和已称重具备价签的第一商品保持一定距离，人体双手均接触已称重具备价签的第一商品且保持设定时间阈值，人体头部和已称重具备价签的第二商品保持一定距离，人体双手均接触已称重具备价签的第二商品且保持设定时间阈值。
第二方面，本实施例提供了商超智能监控管理装置，所述装置包括：
摄像模块，用于获取商超内的商品区域，获取所述商品区域内的顾客图像和商品图像；
行为分析模块，用于根据所述顾客图像提取人体姿态信息，结合预先输入的商超产品摆放信息，根据所述商品图像，判断顾客是否存在商品购买行为；
电子清单模块，用于当顾客存在商品购买行为时，提取所述顾客的人脸图像信息，将所述商品购买行为的待购商品添加到商品清单；
第一异常模块，用于在结算前，持续获取顾客的人体姿态信息，结合所述商品清单中的待购商品图像，判断顾客是否存在商品弃购行为；当存在商品弃购行为时，推送第一异常信息到智能监控终端；所述第一异常信息包括弃购商品信息、商品弃购行为的位置信息、人脸图像信息以及顾客的实时位置；
第二异常模块，用于在结算时，获取结算扫码的实际商品图像，通过所述实际商品图像得到实际购物清单，当所述实际购物清单的商品少于商品清单即存在商品缺件行为，推送第二异常信息到智能监控终端；所述第二异常信息包括顾客的最短轨迹、人脸图像信息、缺件商品信息以及顾客的实时位置；所述最短轨迹是从无法获取缺件商品图像到结算前的时间段内顾客的购物足迹的最短拟合路线；
异常处理模块，用于根据智能监控终端预先设定的处理对策通知售货员进行后续处理。
第三方面，本发明实施例提供了一种电子设备，包括：
存储器，用于存放计算机程序；
处理器，用于在执行存储器上所存放的程序时，实现了上述商超智能监控管理方法的步骤。
第四方面，本发明实施例提供了一种介质，其上存储有计算机程序，该程序被处理器执行时，实现了上述商超智能监控管理方法的步骤。
本发明的有益效果为：
本发明通过识别商品区域，再识别具备购买行为的顾客，再对具备商品购买行为的顾客进行持续监控，分层次进行管理，避免所有顾客进行同样的数据处理，降低管理难度；同时解决现有超市散装商品的管理难题，尤其是解决散装商品弃购丢弃、替换标签等行为，帮助商超减少损失，提高盘点盘库的准确度。
本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明实施例一商超智能监控管理方法的流程图；
图2是本发明实施例二商超智能监控管理装置的框图；
图3是根据实施例三商超智能监控管理电子设备的框图；
图4是根据实施例一商超智能监控系统识别顾客的示意图；
图5是根据实施例一商超智能监控系统识别顾客取下商品时放大手部位置识别商品图像的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号或字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在举例说明之前，本发明实施例的涉及的应用场景是较大型的商超管理系统，该类商超产品繁多，尤其是具备许多称重散装商品如干货区、海鲜区、肉类区、熟食区等。目前存在较多的问题是，购物人群较多，监控识别的对象较多；其次，散装产品称重后，在结算前可能存在随意丢弃，如海鲜初加工宰杀后顾客临时不想购买则可能存在随意丢弃在他处角落造成商超损失；再者，存在购买同类商品，如购买多个西瓜、哈密瓜或者榴莲，这种商品因太大所以称重后其价签多数直接粘贴在其外皮上，可能存在价签替换，把价格低的价签替换在价格高的商品上，造成商超损失；实际在结算时，结算员并不会去二次称重，现实情况是并不会去核实，否则核实的工作量太大。
实施例1：如图1所示，本实施例提供了商超智能监控管理方法，所述方法包括：
S1、获取商超内的商品区域，获取所述商品区域内的顾客图像和商品图像；
S2、根据所述顾客图像提取人体姿态信息，结合预先输入的商超产品摆放信息，根据所述商品图像，判断顾客是否存在商品购买行为；
S3、当顾客存在商品购买行为时，提取所述顾客的人脸图像信息，将所述商品购买行为的待购商品添加到商品清单；
S4、在结算前，持续获取具备购买行为的顾客的人体姿态信息，结合所述商品清单中的待购商品图像，判断顾客是否存在商品弃购行为；当存在商品弃购行为时，推送第一异常信息到智能监控终端；所述第一异常信息包括弃购商品信息、商品弃购行为的位置信息、人脸图像信息以及顾客的实时位置；
本实施例中的摄像头并非是单独一个摄像头，而是通过多个摄像头综合获取顾客的顾客图像和商品图像。
根据所述顾客图像通过OpenPose算法提取人体姿态信息，根据多个连续图片帧得到的所述人体姿态信息通过识别模型识别人体关键动作，通过人体关键动作判断顾客是否存在商品弃购行为；所述人体关键动作包括丢弃商品；所述识别模型是将历史人体姿态信息通过循环神经网络算法训练得到，所述历史人体姿态信息是通过OpenPose算法提取人体丢弃商品的多个连续图片帧得到。丢弃商品的核心动作是，商品离开顾客、顾客的购物篮或顾客的购物车，丢弃后的弃购商品与弃购的顾客是不会存在跟随运动的。
需要说明的是，商品弃购行为指的是，顾客已经有购买商品的意图，且把预包装商品从货架取下或者把散装商品称重，但顾客中途结算成功前临时改变主意，此时本应该把商品归还原位，但是顾客怕麻烦直接将商品直接随意丢在其他货架或其他地方。商超智能监控管理方法监测到商品弃购行为后，会被推送到商超管理人员的智能监控终端，该智能监控终端能提醒最近的售货员去商品弃购位置找到商品，首先需要核实弃购的商品是什么类别，如果是预包装商品则摆放回原货架即可，但是如果是生鲜类的，售货员则根据是可二次销售还是不可二次销售来决定是否找顾客来认领。因为大部分商超为了招揽顾客，常常为顾客提供初加工服务，如果蔬类去皮、肉类绞丁、鲜活类宰切。但如鲜活类的称重商品如海鲜和鱼，一旦宰杀则很难进行二次销售，而部分水果如甘蔗、榴莲一旦去皮后也很难二次销售；但部分水果类似的称重商品如苹果、桃子则可以二次销售。目前大部分商超解决此问题的办法是，这种不可二次销售的商品区域单独设结算台，称重后马上进行结账。但是这种方式也有弊端，首先增加了单个人员的工作负担，售货、商品初加工和结算都需要人员去做，如果结算和售货都由同一个人去完成，则造成了部分鲜食类商品的不卫生；其次，大型商超多个类似区域均需要增加结算功能，如肉类初加工的区域、海鲜初加工区域和果蔬初加工区域均需要单独设结算台，增加商超的用工成本。本发明解决的其中一个问题是，尽快发现顾客的弃购商品行为，一旦发生弃购不可二次销售的商品则马上找到弃购的位置，并根据顾客的实时位置将被弃购的商品告知顾客必须付费或者赔偿。另外除了让不可二次销售的商品需要顾客付费外，其实准确定位被弃购商品的位置信息同时重要，因为鲜活类产品如果被弃购到不容易发现的位置则发生腐败变质，造成资源的浪费。
S5、在结算时，获取结算扫码的实际商品图像，通过所述实际商品图像得到实际购物清单，当所述实际购物清单的商品少于商品清单即存在商品缺件行为，推送第二异常信息到智能监控终端；所述第二异常信息包括顾客的最短轨迹、人脸图像信息、缺件商品信息以及顾客的实时位置；所述最短轨迹是从无法获取缺件商品图像到结算前的时间段内顾客的购物足迹的最短拟合路线；
需要说明的是，商品缺件行为指的是摄像头不能通过图像判定出顾客是否弃购，实际我们在数据采集中发现有时候存在图像采集死角，而且往往顾客弃购并不愿意被售货员看到，所以弃购时找到了偏僻的角落进行弃购，但此时并不能认定顾客一定弃购，而是需要核实。核实最简单的方式就是根据缺件商品的信息，沿顾客逛商超的路线进行寻找，但是这个路线并非实际路线，因为顾客逛商超往往同一个地方逛多次，而智能监控终端再获取顾客逛商超的实际路线后需要进行最短拟合，也就是把所有可能有重复的路线全部都优化到一条最短的路线，这样售货员可以快速去沿着最短路线去检查。同时，当摄像头还可以检测到缺件商品时，这段时间商品肯定还在顾客的手中、货篮或者购物车中，此时不存在商品缺件行为，这段时间的顾客逛商超路线不必去寻找检视；而是在摄像头无法检测到缺件商品时，在此期间缺件商品消失，也就是在此检测盲区内，顾客将商品弃购了。缺件对商超而言，不可二次销售的商品必须找到，从而让顾客必须购买或者赔偿；而可以二次销售的商品则放回原货架即可，便于商超进行盘点库存数量。
S6、根据智能监控终端预先设定的处理对策通知售货员进行后续处理。智能监控终端预先设定的处理对策就是上述商品弃购行为和商品缺件行为中，将相关信息传送给售货员后，售货员对顾客和顾客进行处理的对策，比如将商品重新放回货架，或者不可二次销售的商品找顾客或者顾客进行强制结算或者赔偿。
针对多人购物的问题，如1个家庭进行购物，所有家庭成员将商品取用到同一个人的购物篮或购物车。多个顾客的商品放入其中一人的购物篮或者购物车后，对应的商品移入该人的商品清单内。
可选地，所述获取商超内的商品区域的方法包括：
获取商超内景图像，将所述商超内景图像转换为灰度图像，根据灰度图像通过二值化操作转换为黑白图像，通过连通组件标记算法将黑白图像分割成区域块；灰度图像以简化问题并减少计算量，将灰度图像转换为黑白图像，以便于目标分割。
根据所述区域块和预先输入的商超货架图像，通过SIFT算法提取特征并进行匹配，得到商超货架的边界框坐标信息；
根据所述边界框坐标信息得到商品区域。商超有货架和走道区域，对于有货架所属的商品区域是监控的重点，对还没有购买行为而只是闲逛的顾客，并不需要对他们的图像进行数据处理，从而减少数据处理量和数据处理能耗。
可选地，所述判断顾客是否存在商品购买行为方法包括：
根据所述顾客图像通过OpenPose算法提取人体姿态信息，根据多个连续图片帧得到的所述人体姿态信息通过识别模型识别人体关键动作，通过人体关键动作判断顾客是否存在商品购买行为；所述人体关键动作包括取下商品、放回商品；所述识别模型是将历史人体姿态信息通过循环神经网络算法训练得到，所述历史人体姿态信息是通过OpenPose算法提取人体从商超各种类型的货架取下商品、放回商品的多个连续图片帧得到。
OpenPose算法是一种用于识别和估计人体姿态的深度学习算法。它的原理基于卷积神经网络（CNN）和多阶段的姿态估计框架。包括以下处理步骤：
S21、输入处理：算法将图像作为输入，对图像进行预处理操作，例如调整大小、归一化等。
S22、Convolutional Neural Network（CNN）：OpenPose使用了一个称为Caffe的流行深度学习框架构建的CNN模型。这个CNN模型基于VGGNet，用于提取特征。
S23、卷积和池化层：通过在CNN中应用一系列的卷积层和池化层，OpenPose能够从输入图像中提取特征。
S24、Part Affinity Fields（PAFs）：OpenPose在后续的阶段使用两组PartAffinity Fields。Part Affinity Fields可以看作是连接不同身体部位的向量场。第一组PAFs用于连通相邻身体部位之间的关联，例如头部和脖子之间的关系；第二组PAFs用于连接不同身体部位之间的关系，例如手臂和躯干之间的关系。
S25、Heatmaps：OpenPose还使用Heatmaps来检测单个身体部位的位置。Heatmaps是一组概率图，用于表示每个像素点上是否存在某个身体部位。
S26、可视化和后处理：通过将PAFs和Heatmaps合并，OpenPose能够获得完整的人体姿态信息。最后，算法通过对姿态信息进行可视化，并进行后处理操作，例如非极大值抑制（NMS）来去除冗余姿态。
通过这些步骤，OpenPose能够准确地识别和估计人体姿态，从而实现人体行为分析、动作检测等功能。
可选地，所述将所述商品购买行为的待购商品添加到商品清单的方法包括：
当判断存在商品购买行为但无法识别商品图像时，通过OpenPose算法提取顾客的手部位置坐标，结合预先输入的商超产品摆放信息，将手部位置可取到的多种商超产品作为模糊待购商品；
将模糊待购商品加入商品清单。模糊待购商品是因为当摄像头获取图像存在盲区时，此时很难分辨顾客究竟是取的什么商品，那么只能根据顾客手部的位置区间判断他可能取走的商品，可能有数个可能的商品；那么模糊待购商品加入商品清单后，在结算进行商品缺件行为的比对时，凡是实际结算扫描的商品在这个模糊待购商品中，那么就判断不属于异常。
可选地，获取所述最短轨迹的方法包括：
将商超货架之间的过道表示为节点，每个过道为一个节点，节点之间的连线表示两个过道之间存在路径；
将顾客走过的节点按照顺序连接起来，形成行走路径；
通过Dijkstra算法计算所述行走路径的最短拟合路线，得到最短轨迹。顾客购物经常对反复比对，所以同样的地方可能逛3~4次，那么售货员需要最短的时间去核实商品是否弃购以及弃购位置，那么趁顾客还在结算的时候，快速找到反馈是非常有必要的。
可选地，所述方法还包括：
当顾客购买散装商品时，进行以下步骤，包括：
当散装商品进行称重时，记录称重行为的价签信息；所述价签信息包括商品的种类、单价、重量和总价；当散装商品进行称重时，若同类商品分装多袋或者多个进行称重而具有N个数量的价签但结算时该类商品的价签数量少于N则标记为可疑替换行为；比如购买了2个哈密瓜并称重了，但实际上结算时只有1个哈密瓜，那么有很大的可能性进行价签替换了，因为哈密瓜之间很像较难去比较，曾经捕捉的哈密瓜照片可能和结算时扫描的照片是哈密瓜的不同侧面，所以这种情况是很难分辨的；最好的方式是，只判断商品种类即可，不去关注同种商品的个体差异，因为把每个商品去做全景扫描是完全不可能的，当出现这种情况就需要结合下一步进行判断。
在结算时，根据所述商品图像判断商品种类并与价签信息记录的商品种类匹配，判断是否达到设定的图像相似度阈值；若商品种类匹配未达到图像相似度阈值则可能存在价签替换行为，推送第三异常信息到智能监控终端，此时商品种类不一致则说明肯定是进行替换了，此处的图像相似度阈值设定值只需要满足能识别同类即可，因为同类商品差异化也比较大，主要根据颜色、外形、表面纹理等来综合识别；若商品种类匹配达到图像相似度阈值，将结算扫描的价签外观进行检测判断是否达到设定的完好度设定阈值，价签如果都存在损坏了那么很可能存在被人撕下并贴上的行为，此时结算扫描是可能扫描成功的，因为结算扫描只关注条形码是否完整，而此处的价签外观判断要综合判断价签的完整性包括价签边角、价签颜色；价签分粘贴背面层和显示表面层，价签撕下过程中的粘贴背面层因黏性过大可能部分仍粘贴在原商品上，而显示表面层即使撕下后粘贴在新商品上，那么粘贴背面层缺失或者不完整的价签的颜色会发生变换，如透明度、颜色均匀度，透明度高后则价签会显露商品的外层颜色；若价签外观未达到设定的完好度设定阈值或者具备所述可疑替换行为，从存储的顾客图像通过OpenPose算法并识别人体关键动作，判断顾客是否存在替换价签行为，若存在替换价签行为则推送第三异常信息到智能监控终端；存储的顾客图像是预先捕捉储存，只有需要处理的时候再进行数据处理，减少数据处理量。
所述第三异常信息包括人脸图像信息、价签替换商品信息以及顾客的实时位置；
当智能监控终端接收到第三异常信息时，售货员根据第三异常信息对商品进行二次核实重量。售货员再次核实重量，那么就可以准确判断是否存在价签替换行为了，之前的所有的筛选动作是尽可能降低人工介入，只有再满足明显存在价签替换可能性再人工介入。
可选地，所述判断顾客是否存在替换价签行为方法包括：
通过OpenPose算法并识别人体关键动作，当所述人体关键动作在连续的时间序列完成的行为动作包括人体头部和已称重具备价签的第一商品保持一定距离，人体双手均接触已称重具备价签的第一商品且保持设定时间阈值，人体头部和已称重具备价签的第二商品保持一定距离，人体双手均接触已称重具备价签的第二商品且保持设定时间阈值。完整的价签替换行为，就是撕掉第一商品的价签，再替换到第二商品上，经过发明人的观察筛选，撕掉价签的时候为了防止撕坏，人员都会小心翼翼将商品靠近人脸，一只手拿住商品而另一只手撕价签，撕价签的过程会持续一定时间。
本发明通过识别商品区域，再识别具备购买行为的顾客，再对具备商品购买行为的顾客进行持续监控，分层次进行管理，避免所有顾客进行同样的数据处理，降低管理难度；同时解决现有超市散装商品的管理难题，尤其是解决散装商品弃购丢弃、替换标签等行为，帮助商超减少损失，提高盘点盘库的准确度。
如图4和图5所示，当摄像头持续对有购买行为的顾客进行跟踪，当顾客有购买行为时，标记顾客的编号，并记录顾客的人脸特征，同时生成该顾客的商品清单，如图4客户手里拿着的某洁厕液是从货架另一处取下的，识别模型识别该行为是购买行为后，商品清单增加1项商品：“商品编号A061221，某牌洁厕液，500ML，15.5元，数量1”。当顾客从货架另一商品时，多个摄像头配合拍摄捕捉顾客图像，通过OpenPose算法根据高清的摄像头拍摄图像捕捉顾客手部位置，根据手部取用的商品图像和预先输入的商超产品摆放信息，识别出待购商品；当无法识别时，则启用模糊待购商品功能。
实施例2：如图2所示，本实施例提供了商超智能监控管理装置，所述装置包括：
摄像模块，用于获取商超内的商品区域，获取所述商品区域内的顾客图像和商品图像；
行为分析模块，用于根据所述顾客图像提取人体姿态信息，结合预先输入的商超产品摆放信息，根据所述商品图像，判断顾客是否存在商品购买行为；
电子清单模块，用于当顾客存在商品购买行为时，提取所述顾客的人脸图像信息，将所述商品购买行为的待购商品添加到商品清单；
第一异常模块，用于在结算前，持续获取顾客的人体姿态信息，结合所述商品清单中的待购商品图像，判断顾客是否存在商品弃购行为；当存在商品弃购行为时，推送第一异常信息到智能监控终端；所述第一异常信息包括弃购商品信息、商品弃购行为的位置信息、人脸图像信息以及顾客的实时位置；
第二异常模块，用于在结算时，获取结算扫码的实际商品图像，通过所述实际商品图像得到实际购物清单，当所述实际购物清单的商品少于商品清单即存在商品缺件行为，推送第二异常信息到智能监控终端；所述第二异常信息包括顾客的最短轨迹、人脸图像信息、缺件商品信息以及顾客的实时位置；所述最短轨迹是从无法获取缺件商品图像到结算前的时间段内顾客的购物足迹的最短拟合路线；
异常处理模块，用于根据智能监控终端预先设定的处理对策通知售货员进行后续处理。
需要说明的是，关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
实施例3：相应于上面的方法实施例，本公开实施例还提供了商超智能监控管理电子设备，下文描述的商超智能监控管理电子设备与上文描述的商超智能监控管理方法可相互对应参照。
如图3所示，本实施例提供了商超智能监控管理电子设备300的框图。该电子设备300可以包括：处理器301，存储器302。该电子设备300还可以包括多媒体组件303，输入/输出(I/O)接口304，以及通信组件305中的一者或多者。
其中，处理器301用于控制该电子设备300的整体操作，以完成上述的商超智能监控管理方法中的全部或部分步骤。存储器302用于存储各种类型的数据以支持在该电子设备300的操作，这些数据例如可以包括用于在该电子设备300上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器302可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(简称SRAM)，电可擦除可编程只读存储器(简称EEPROM)，可擦除可编程只读存储器(简称EPROM)，可编程只读存储器(简称PROM)，只读存储器(简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件303可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器302或通过通信组件305发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口304为处理器301和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件305用于该电子设备300与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件305可以包括：Wi-Fi模块，蓝牙模块，NFC模块。
在一示例性实施例中，电子设备300可以被一个或多个应用专用集成电路(简称ASIC)、数字信号处理器(简称DSP)、数字信号处理设备(简称DSPD)、可编程逻辑器件(简称PLD)、现场可编程门阵列(简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的商超智能监控管理方法的步骤。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述商超智能监控管理方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器302，上述程序指令可由电子设备300的处理器301执行以完成上述的商超智能监控管理方法的步骤。
实施例4：相应于上面的方法实施例，本公开实施例还提供了一种可读存储介质，下文描述的一种可读存储介质与上文描述的商超智能监控管理方法可相互对应参照。
一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的商超智能监控管理方法的步骤。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器(ROM)、随机存取存储器(RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.商超智能监控管理方法，其特征在于，所述方法包括：
获取商超内的商品区域，获取所述商品区域内的顾客图像和商品图像；
根据所述顾客图像提取人体姿态信息，结合预先输入的商超产品摆放信息，根据所述商品图像，判断顾客是否存在商品购买行为；
当顾客存在商品购买行为时，提取所述顾客的人脸图像信息，将所述商品购买行为的待购商品添加到商品清单；
在结算前，持续获取具备购买行为的顾客的人体姿态信息，结合所述商品清单中的待购商品图像，判断顾客是否存在商品弃购行为；当存在商品弃购行为时，推送第一异常信息到智能监控终端；所述第一异常信息包括弃购商品信息、商品弃购行为的位置信息、人脸图像信息以及顾客的实时位置；
在结算时，获取结算扫码的实际商品图像，通过所述实际商品图像得到实际购物清单，当所述实际购物清单的商品少于商品清单即存在商品缺件行为，推送第二异常信息到智能监控终端；所述第二异常信息包括顾客的最短轨迹、人脸图像信息、缺件商品信息以及顾客的实时位置；所述最短轨迹是从无法获取缺件商品图像到结算前的时间段内顾客的购物足迹的最短拟合路线；
根据智能监控终端预先设定的处理对策通知售货员进行后续处理。
2.如权利要求1所述的商超智能监控管理方法，其特征在于，所述获取商超内的商品区域的方法包括：
获取商超内景图像，将所述商超内景图像转换为灰度图像，根据灰度图像通过二值化操作转换为黑白图像，通过连通组件标记算法将黑白图像分割成区域块；
根据所述区域块和预先输入的商超货架图像，通过SIFT算法提取特征并进行匹配，得到商超货架的边界框坐标信息；
根据所述边界框坐标信息得到商品区域。
3.如权利要求2所述的商超智能监控管理方法，其特征在于，所述判断顾客是否存在商品购买行为方法包括：
根据所述顾客图像通过OpenPose算法提取人体姿态信息，根据多个连续图片帧得到的所述人体姿态信息通过识别模型识别人体关键动作，通过人体关键动作判断顾客是否存在商品购买行为；所述人体关键动作包括取下商品、放回商品；所述识别模型是将历史人体姿态信息通过循环神经网络算法训练得到，所述历史人体姿态信息是通过OpenPose算法提取人体从商超各种类型的货架取下商品、放回商品的多个连续图片帧得到。
4.如权利要求3所述的商超智能监控管理方法，其特征在于，所述将所述商品购买行为的待购商品添加到商品清单的方法包括：
当判断存在商品购买行为但无法识别商品图像时，通过OpenPose算法提取顾客的手部位置坐标，结合预先输入的商超产品摆放信息，将手部位置可取到的多种商超产品作为模糊待购商品；
将模糊待购商品加入商品清单。
5.如权利要求1所述的商超智能监控管理方法，其特征在于，获取所述最短轨迹的方法包括：
将商超货架之间的过道表示为节点，每个过道为一个节点，节点之间的连线表示两个过道之间存在路径；
将顾客走过的节点按照顺序连接起来，形成行走路径；
通过Dijkstra算法计算所述行走路径的最短拟合路线，得到最短轨迹。
6.如权利要求1所述的商超智能监控管理方法，其特征在于，所述方法还包括：
当顾客购买散装商品时，进行以下步骤，包括：
当散装商品进行称重时，记录称重行为的价签信息；所述价签信息包括商品的种类、单价、重量和总价；当散装商品进行称重时，若同类商品分装多袋或者多个进行称重而具有N个数量的价签但结算时该类商品的价签数量少于N则标记为可疑替换行为；
在结算时，根据所述商品图像判断商品种类并与价签信息记录的商品种类匹配，判断是否达到设定的图像相似度阈值；若商品种类匹配未达到图像相似度阈值则可能存在价签替换行为，推送第三异常信息到智能监控终端；若商品种类匹配达到图像相似度阈值，将结算扫描的价签外观进行检测判断是否达到设定的完好度设定阈值；若价签外观未达到设定的完好度设定阈值或者具备所述可疑替换行为，从存储的顾客图像通过OpenPose算法并识别人体关键动作，判断顾客是否存在替换价签行为，若存在替换价签行为则推送第三异常信息到智能监控终端；
所述第三异常信息包括人脸图像信息、价签替换商品信息以及顾客的实时位置；
当智能监控终端接收到第三异常信息时，售货员根据第三异常信息对商品进行二次核实重量。
7.如权利要求6所述的商超智能监控管理方法，其特征在于，所述判断顾客是否存在替换价签行为方法包括：
通过OpenPose算法并识别人体关键动作，当所述人体关键动作在连续的时间序列完成的行为动作包括人体头部和已称重具备价签的第一商品保持一定距离，人体双手均接触已称重具备价签的第一商品且保持设定时间阈值，人体头部和已称重具备价签的第二商品保持一定距离，人体双手均接触已称重具备价签的第二商品且保持设定时间阈值。
8.商超智能监控管理装置，其特征在于，所述装置包括：
摄像模块，用于获取商超内的商品区域，获取所述商品区域内的顾客图像和商品图像；
行为分析模块，用于根据所述顾客图像提取人体姿态信息，结合预先输入的商超产品摆放信息，根据所述商品图像，判断顾客是否存在商品购买行为；
电子清单模块，用于当顾客存在商品购买行为时，提取所述顾客的人脸图像信息，将所述商品购买行为的待购商品添加到商品清单；
第一异常模块，用于在结算前，持续获取顾客的人体姿态信息，结合所述商品清单中的待购商品图像，判断顾客是否存在商品弃购行为；当存在商品弃购行为时，推送第一异常信息到智能监控终端；所述第一异常信息包括弃购商品信息、商品弃购行为的位置信息、人脸图像信息以及顾客的实时位置；
第二异常模块，用于在结算时，获取结算扫码的实际商品图像，通过所述实际商品图像得到实际购物清单，当所述实际购物清单的商品少于商品清单即存在商品缺件行为，推送第二异常信息到智能监控终端；所述第二异常信息包括顾客的最短轨迹、人脸图像信息、缺件商品信息以及顾客的实时位置；所述最短轨迹是从无法获取缺件商品图像到结算前的时间段内顾客的购物足迹的最短拟合路线；
异常处理模块，用于根据智能监控终端预先设定的处理对策通知售货员进行后续处理。
9.一种电子设备，其特征在于，包括：
存储器，用于存放计算机程序；
处理器，用于在执行存储器上所存放的程序时，实现权利要求1-7任一所述的方法步骤。
10.一种介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时，实现权利要求1-7任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310992969.0A CN116720899B (zh) | 2023-08-09 | 2023-08-09 | 商超智能监控管理方法、装置、电子设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310992969.0A CN116720899B (zh) | 2023-08-09 | 2023-08-09 | 商超智能监控管理方法、装置、电子设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116720899A true CN116720899A (zh) | 2023-09-08 |
| CN116720899B CN116720899B (zh) | 2023-11-03 |
Family
ID=87875553
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310992969.0A Active CN116720899B (zh) | 2023-08-09 | 2023-08-09 | 商超智能监控管理方法、装置、电子设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116720899B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117253194A (zh) * | 2023-11-13 | 2023-12-19 | 网思科技股份有限公司 | 商品损坏检测方法、装置及存储介质 |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001344481A (ja) * | 2000-06-02 | 2001-12-14 | Nec Personal System Ltd | インターネットブティックシステム、その販売方法、及びそのプログラムを記録した記録媒体 |
| JP2005235000A (ja) * | 2004-02-20 | 2005-09-02 | Mitsubishi Electric Information Systems Corp | 商品補充システムおよび商品補充プログラム |
| CN101854384A (zh) * | 2010-04-29 | 2010-10-06 | 浙江大学城市学院 | 一种基于无线传感网的大型超市导购与广告系统及控制方法 |
| CN102004996A (zh) * | 2010-11-15 | 2011-04-06 | 无锡中星微电子有限公司 | 一种商场导购系统和方法 |
| CN104240411A (zh) * | 2014-07-23 | 2014-12-24 | 南京工程学院 | 一种超市散装商品智能购物装置 |
| KR20170109989A (ko) * | 2016-03-22 | 2017-10-10 | 백남웅 | 장보기펜을 이용한 무인계산 활용방안 |
| CN107609943A (zh) * | 2017-09-14 | 2018-01-19 | 山东建筑大学 | 一种超市购物智能引导系统及方法 |
| CN108491799A (zh) * | 2018-03-23 | 2018-09-04 | 海深科技（宁波）有限公司 | 一种基于图像识别的智能售货柜商品管理方法及系统 |
| CN109165992A (zh) * | 2018-07-16 | 2019-01-08 | 北京旷视科技有限公司 | 一种智能导购方法、装置、系统及计算机存储介质 |
| CN109993244A (zh) * | 2019-03-14 | 2019-07-09 | 四川清风徐来科技有限公司 | 一种方便门店快速定位商品所在货架的方法 |
| CN110619411A (zh) * | 2018-06-19 | 2019-12-27 | 航天信息股份有限公司 | 智能购物车室内定位及导航算法引擎 |
| CN112085519A (zh) * | 2020-08-06 | 2020-12-15 | 青岛云裳羽衣物联科技有限公司 | 一种用于服装业的智慧门店系统 |
| CN112270584A (zh) * | 2020-10-27 | 2021-01-26 | 烟台创迹软件有限公司 | 一种商超用商品推荐系统和方法 |
| CN113674037A (zh) * | 2021-10-21 | 2021-11-19 | 西安超嗨网络科技有限公司 | 一种基于购物行为的数据采集和推荐方法 |
| CN115374982A (zh) * | 2021-05-20 | 2022-11-22 | 北京机械设备研究所 | 一种超市智能购物车及购物方法 |
| CN116402501A (zh) * | 2023-04-11 | 2023-07-07 | 北京石油化工学院 | 一种用于智能连锁超市的智能购物设备及其系统 |
-
2023
- 2023-08-09 CN CN202310992969.0A patent/CN116720899B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001344481A (ja) * | 2000-06-02 | 2001-12-14 | Nec Personal System Ltd | インターネットブティックシステム、その販売方法、及びそのプログラムを記録した記録媒体 |
| JP2005235000A (ja) * | 2004-02-20 | 2005-09-02 | Mitsubishi Electric Information Systems Corp | 商品補充システムおよび商品補充プログラム |
| CN101854384A (zh) * | 2010-04-29 | 2010-10-06 | 浙江大学城市学院 | 一种基于无线传感网的大型超市导购与广告系统及控制方法 |
| CN102004996A (zh) * | 2010-11-15 | 2011-04-06 | 无锡中星微电子有限公司 | 一种商场导购系统和方法 |
| CN104240411A (zh) * | 2014-07-23 | 2014-12-24 | 南京工程学院 | 一种超市散装商品智能购物装置 |
| KR20170109989A (ko) * | 2016-03-22 | 2017-10-10 | 백남웅 | 장보기펜을 이용한 무인계산 활용방안 |
| CN107609943A (zh) * | 2017-09-14 | 2018-01-19 | 山东建筑大学 | 一种超市购物智能引导系统及方法 |
| CN108491799A (zh) * | 2018-03-23 | 2018-09-04 | 海深科技（宁波）有限公司 | 一种基于图像识别的智能售货柜商品管理方法及系统 |
| CN110619411A (zh) * | 2018-06-19 | 2019-12-27 | 航天信息股份有限公司 | 智能购物车室内定位及导航算法引擎 |
| CN109165992A (zh) * | 2018-07-16 | 2019-01-08 | 北京旷视科技有限公司 | 一种智能导购方法、装置、系统及计算机存储介质 |
| CN109993244A (zh) * | 2019-03-14 | 2019-07-09 | 四川清风徐来科技有限公司 | 一种方便门店快速定位商品所在货架的方法 |
| CN112085519A (zh) * | 2020-08-06 | 2020-12-15 | 青岛云裳羽衣物联科技有限公司 | 一种用于服装业的智慧门店系统 |
| CN112270584A (zh) * | 2020-10-27 | 2021-01-26 | 烟台创迹软件有限公司 | 一种商超用商品推荐系统和方法 |
| CN115374982A (zh) * | 2021-05-20 | 2022-11-22 | 北京机械设备研究所 | 一种超市智能购物车及购物方法 |
| CN113674037A (zh) * | 2021-10-21 | 2021-11-19 | 西安超嗨网络科技有限公司 | 一种基于购物行为的数据采集和推荐方法 |
| CN116402501A (zh) * | 2023-04-11 | 2023-07-07 | 北京石油化工学院 | 一种用于智能连锁超市的智能购物设备及其系统 |
Non-Patent Citations (3)
| Title |
|---|
| 丁伟利;李勇;高晓阳;朱波;: "一种基于新型标签识别的购物导航系统", 光电工程, no. 01 * |
| 肖生苓;牟娌娜;王维;高晓红;: "基于数据挖掘技术的超市顾客群研究", 资源开发与市场, no. 08 * |
| 郑舟轩等: ""基于多目标跟踪的商场热点图生成方法"", 《电脑知识与技术》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117253194A (zh) * | 2023-11-13 | 2023-12-19 | 网思科技股份有限公司 | 商品损坏检测方法、装置及存储介质 |
| CN117253194B (zh) * | 2023-11-13 | 2024-03-19 | 网思科技股份有限公司 | 商品损坏检测方法、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116720899B (zh) | 2023-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10713493B1 (en) | 4D convolutional neural networks for video recognition | |
| US10410253B2 (en) | Systems and methods for dynamic digital signage based on measured customer behaviors through video analytics | |
| US10013627B1 (en) | Context-based detection and classification of actions | |
| US11887051B1 (en) | Identifying user-item interactions in an automated facility | |
| US11861927B1 (en) | Generating tracklets from digital imagery | |
| US8548203B2 (en) | Sequential event detection from video | |
| US9473747B2 (en) | Whole store scanner | |
| US8146811B2 (en) | Cart inspection for suspicious items | |
| CN116720899B (zh) | 商超智能监控管理方法、装置、电子设备及介质 | |
| US9299229B2 (en) | Detecting primitive events at checkout | |
| CN111263224B (zh) | 视频处理方法、装置及电子设备 | |
| US11798380B2 (en) | Identifying barcode-to-product mismatches using point of sale devices | |
| CN108345912A (zh) | 一种基于rgbd信息与深度学习的商品快速结算系统 | |
| CN111222389B (zh) | 商超货架上商品的分析方法和系统 | |
| US11823459B2 (en) | Monitoring and tracking interactions with inventory in a retail environment | |
| US8612286B2 (en) | Creating a training tool | |
| US20200410572A1 (en) | Self-checkout system, purchased product management method, and purchased product management program | |
| CN113468914B (zh) | 一种商品纯净度的确定方法、装置及设备 | |
| CN112184751A (zh) | 物体识别方法及系统、电子设备 | |
| US11238401B1 (en) | Identifying user-item interactions in an automated facility | |
| Falcão et al. | Faim: Vision and weight sensing fusion framework for autonomous inventory monitoring in convenience stores | |
| CN111260685B (zh) | 视频处理方法、装置及电子设备 | |
| EP3629276A1 (en) | Context-aided machine vision item differentiation | |
| US11302161B1 (en) | Monitoring and tracking checkout activity in a retail environment | |
| US11494729B1 (en) | Identifying user-item interactions in an automated facility |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240812 Address after: Building A1-4, Hanyu Jingu, Jingshi East Road, Jinan Area, China (Shandong) Pilot Free Trade Zone, Jinan City, Shandong Province, 250000. Shop 101, Northeast Corner, 1st Floor, Shandong Railway Investment Building Patentee after: Shandong Youwang Digital Business Technology Co.,Ltd. Country or region after: China Address before: 16th Floor, A4- (3) Office Building, Hanyu Financial and Business Center, No. 7000 Jingshi Road, High tech Zone, Jinan City, Shandong Province, 250000 Patentee before: Shandong Shangsoft Information Technology Co.,Ltd. Country or region before: China |