CN108198052A - 用户选购商品识别方法、装置以及智能货架系统 - Google Patents

用户选购商品识别方法、装置以及智能货架系统 Download PDF

Info

Publication number
CN108198052A
CN108198052A CN201810174871.3A CN201810174871A CN108198052A CN 108198052 A CN108198052 A CN 108198052A CN 201810174871 A CN201810174871 A CN 201810174871A CN 108198052 A CN108198052 A CN 108198052A
Authority
CN
China
Prior art keywords
commodity
user
information
container
lifted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810174871.3A
Other languages
English (en)
Other versions
CN108198052B (zh
Inventor
刘巍
陈宇
刘强
翁志
冯亦军
张钟毓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201810174871.3A priority Critical patent/CN108198052B/zh
Publication of CN108198052A publication Critical patent/CN108198052A/zh
Priority to PCT/CN2019/075074 priority patent/WO2019165891A1/zh
Priority to US16/977,716 priority patent/US11638490B2/en
Priority to JP2020545731A priority patent/JP7311524B2/ja
Application granted granted Critical
Publication of CN108198052B publication Critical patent/CN108198052B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F5/00—Show stands, hangers, or shelves characterised by their constructional features
    • A47F5/0018—Display racks with shelves or receptables
    • A47F5/0025—Display racks with shelves or receptables having separate display containers or trays on shelves or on racks
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F10/00—Furniture or installations specially adapted to particular types of service systems, not otherwise provided for
    • A47F10/02—Furniture or installations specially adapted to particular types of service systems, not otherwise provided for for self-service type systems, e.g. supermarkets
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G19/00—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
    • G01G19/40—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight
    • G01G19/413—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight using electromechanical or electronic computing means
    • G01G19/414—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight using electromechanical or electronic computing means using electronic computing means only
    • G01G19/4144—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight using electromechanical or electronic computing means using electronic computing means only for controlling weight of goods in commercial establishments, e.g. supermarket, P.O.S. systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G19/00—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
    • G01G19/40—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight
    • G01G19/42—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight for counting by weighing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G19/00—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
    • G01G19/52—Weighing apparatus combined with other objects, e.g. furniture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/018—Certifying business or products
    • G06Q30/0185—Product, service or business identity fraud
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0639—Item locations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Economics (AREA)
  • Accounting & Taxation (AREA)
  • Multimedia (AREA)
  • Finance (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Data Mining & Analysis (AREA)
  • Operations Research (AREA)
  • Human Resources & Organizations (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种用户选购商品识别方法、装置以及智能货架系统，其中的方法包括：获取在与货箱相对应的监控区域内采集的第一监控图像，对第一监控图像进行识别，获得识别结果，包括：用户身份信息；当确定商品重量减轻时，获得商品被拿起的时间，并确定被拿起的商品的信息，获得与被拿起的商品相对应的用户身份信息，并将用户身份信息与被拿起的商品的信息进行关联。本发明的方法、装置以及智能货架系统，实现选购商品的自动感知以及商品信息与用户身份的自动绑定；通过以智能货架为载体并能够自动感知顾客选购商品，节省了人工成本；识别快速并准确，提升了购物效率；并且商品与用户的绑定无需任何用户操作，可以提升购物体验。

Description

用户选购商品识别方法、装置以及智能货架系统
技术领域
本发明涉及自动售货技术领域，尤其涉及一种用户选购商品识别方法、装置以及智能货架系统。
背景技术
人工智能技术的发展给零售行业带来了巨大的革新，目前有多家无人店、无人超市等陆续开业。感知选购的商品并将商品与用户进行绑定，是整个购物流程中重要的两个环节。在传统的零售商店中，选购商品的感知和顾客的绑定通过售货员进行肉眼观察，依赖人工完成整个流程。在大型超市中，选购商品的感知可以通过扫条形码来实现，识别出商品种类的同时带出价格等信息，完成商品信息的获取。当前的无人店、无人超市等大多采用射频识别(Radio Frequency Identification)技术，用户选购商品后可以自动完成商品信息的获取以及商品与用户的绑定，提升了用户体验。
但是，现有的对于感知选购的商品并将商品与用户进行绑定的技术方案存在缺陷：传统商店依赖人工，人力成本较高，且由于商品种类和价格靠人来记忆，扩充品类到较大规模比较困难；传统超市扫条形码，商品信息的存取由后台系统完成，但扫条形码的操作需要耗费人工，且效率低，容易在支付通道造成拥堵，整体用户体验差；Rfid解决方案实现了选购商品的自动感知和顾客绑定的自动化，但存在成本高的问题，另外，不同射频对商品介质的稳定性存在影响以及存在用户的恶意屏蔽等问题。
发明内容
本发明的一个或多个实施例提供一种用户选购商品识别方法、装置以及智能货架系统。
根据本公开的一个方面，提供一种用户选购商品识别方法，包括：检测货箱承载的商品重量；获取在与所述货箱相对应的监控区域内采集的第一监控图像，对所述第一监控图像进行识别，获得识别结果；其中，所述识别结果包括：用户身份信息；当确定所述商品重量减轻时，获得商品被拿起的时间，并基于所述商品重量的变化值以及货箱与商品的关联关系确定被拿起的商品的信息；基于所述商品被拿起的时间以及所述识别结果获得与被拿起的商品相对应的用户身份信息，并将所述用户身份信息与所述被拿起的商品的信息进行关联。
可选地，所述基于所述商品被拿起的时间以及所述识别结果获得与被拿起的商品相对应的用户身份信息包括：基于所述商品被拿起的时间确定用户身份识别时段；获取与在所述用户身份识别时段内采集的所述第一监控图像相对应的识别结果，作为目标识别结果；如果所述目标识别结果中的所述用户身份信息不为空值，则将所述目标识别结果中的用户身份信息作为与被拿起的商品相对应的用户身份信息。
可选地，获取所述用户身份信息以及用户特征信息，建立所述用户特征信息与所述用户身份信息之间的身份特征关联关系；获取在购物场所中采集的第二监控图像，基于所述用户特征信息在所述第二监控图像中对所述用户进行定位，获得与所述用户相对应的跟踪轨迹；当确定所述用户特征信息发生变化时，基于新用户特征信息更新所述身份特征关联关系；如果所述目标识别结果中的所述用户身份信息为空值，则根据所述身份识别时段以及所述身份特征关联关系确定与被拿起的商品相对应的用户身份信息。
可选地，所述根据所述身份识别时段以及所述身份特征关联关系确定与被拿起的商品相对应的用户身份信息包括：获取在所述身份识别时段内采集的所述第一监控图像，从所述第一监控图像中提取目标用户的用户特征信息；将所述目标用户的用户特征信息与所述身份特征关联关系中的所述用户特征信息进行匹配；如果匹配成功，则将此身份特征关联关系中的用户身份信息作为与被拿起的商品相对应的用户身份信息。
可选地，所述对所述第一监控图像进行识别、获得识别结果包括：获取所述用户身份信息以及用户人脸图像；从所述用户人脸图像中提取用户人脸特征，建立所述用户人脸特征与所述用户身份信息之间的人脸特征关联关系；从所述第一监控图像中提取人脸特征信息，计算所述人脸特征信息与所述人脸特征关联关系中的所述用户人脸特征的相似度；如果所述相似度大于预设的阈值，则将此人脸特征关联关系中的用户身份信息作为与此第一监控图像相对应的识别结果中的用户身份信息。
可选地，获取货箱的编码信息以及在此货箱上所放置的商品的SKU信息；根据所述编码信息与所述SKU信息建立所述货箱与商品的关联关系。
可选地，所述基于所述商品重量的变化值以及货箱与商品的关联关系确定被拿起的商品的信息包括：确定所述商品重量减轻的货箱的编码信息，基于此编码信息以及所述货箱与商品的关联关系确定被拿起的商品的SKU信息。
可选地，所述基于所述商品重量的变化值以及货箱与商品的关联关系确定被拿起的商品的信息还包括：获取与商品的SKU信息对应的商品单位重量；基于所述商品单位重量以及所述商品重量的减小值确定被拿起的商品的数量信息。
可选地，当确定所述商品重量增加时，获得所述商品重量的增加值；判断所述商品单位重量与所述商品重量的增加值是否匹配，如果否，则进行商品错放提示。
可选地，识别所述第一监控图像中的用户的操作动作以及与所述操作动作对应的目标商品，其中，所述操作动作包括：取出动作、放回动作；获取所述目标商品的SKU信息以及所述目标商品被放回的目标货箱的编码信息；基于所述货箱与商品的关联关系判断所述目标商品的SKU信息与所述目标货箱的编码信息是否匹配；如果否，则进行商品错放提示。
可选地，设置称重装置与所述货箱的编码信息的对应关系，其中，所述称重装置用于检测与其对应的货箱承载的商品重量；当基于所述称重装置发送的重量检测信号确定所述商品重量减轻或增加时，根据所述对应关系确定所述商品重量减轻或增加的货箱的编码信息以及所述商品重量的变化值。
根据本公开的另一方面，提供一种用户选购商品识别装置，包括：重量检测模块，用于检测货箱承载的商品重量；图像识别模块，用于获取在与所述货箱相对应的监控区域内采集的第一监控图像，对所述第一监控图像进行识别，获得识别结果；其中，所述识别结果包括：用户身份信息；商品信息获取模块，用于当确定所述商品重量减轻时，获得商品被拿起的时间，并基于所述商品重量的变化值以及货箱与商品的关联关系确定被拿起的商品的信息；用户身份识别模块，用于基于所述商品被拿起的时间以及所述识别结果获得与被拿起的商品相对应的用户身份信息；用户与商品绑定模块，用于将所述用户身份信息与所述被拿起的商品的信息进行关联。
可选地，所述用户身份识别模块，用于基于所述商品被拿起的时间确定用户身份识别时段；获取与在所述用户身份识别时段内采集的所述第一监控图像相对应的识别结果，作为目标识别结果；如果所述目标识别结果中的所述用户身份信息不为空值，则将所述目标识别结果中的用户身份信息作为与被拿起的商品相对应的用户身份信息。
可选地，用户行为跟踪模块，用于获取所述用户身份信息以及用户特征信息，建立所述用户特征信息与所述用户身份信息之间的身份特征关联关系；获取在购物场所中采集的第二监控图像，基于所述用户特征信息在所述第二监控图像中对所述用户进行定位，获得与所述用户相对应的跟踪轨迹；当确定所述用户特征信息发生变化时，基于新用户特征信息更新所述身份特征关联关系；所述用户身份识别模块，还用于如果所述目标识别结果中的所述用户身份信息为空值，则根据所述身份识别时段以及所述身份特征关联关系确定与被拿起的商品相对应的用户身份信息。
可选地，所述用户身份识别模块，还用于获取在所述身份识别时段内采集的所述第一监控图像，从所述第一监控图像中提取目标用户的用户特征信息；将所述目标用户的用户特征信息与所述身份特征关联关系中的所述用户特征信息进行匹配；如果匹配成功，则将此身份特征关联关系中的用户身份信息作为与被拿起的商品相对应的用户身份信息。
可选地，所述图像识别模块，用于获取所述用户身份信息以及用户人脸图像；从所述用户人脸图像中提取用户人脸特征，建立所述用户人脸特征与所述用户身份信息之间的人脸特征关联关系；从所述第一监控图像中提取人脸特征信息，计算所述人脸特征信息与所述人脸特征关联关系中的所述用户人脸特征的相似度；如果所述相似度大于预设的阈值，则将此人脸特征关联关系中的用户身份信息作为与此第一监控图像相对应的识别结果中的用户身份信息。
可选地，所述商品信息获取模块，用于获取货箱的编码信息以及在此货箱上所放置的商品的SKU信息；根据所述编码信息与所述SKU信息建立所述货箱与商品的关联关系。
可选地，所述商品信息获取模块，用于确定所述商品重量减轻的货箱的编码信息，基于此编码信息以及所述货箱与商品的关联关系确定被拿起的商品的SKU信息。
可选地，所述商品信息获取模块，用于获取与商品的SKU信息对应的商品单位重量；基于所述商品单位重量以及所述商品重量的减小值确定被拿起的商品的数量信息。
可选地，所述商品信息获取模块，用于当确定所述商品重量增加时，获得所述商品重量的增加值；判断所述商品单位重量与所述商品重量的增加值是否匹配，如果否，则进行商品错放提示。
可选地，所述图像识别模块，用于识别所述第一监控图像中的用户的操作动作以及与所述操作动作对应的目标商品，其中，所述操作动作包括：取出动作、放回动作；获取所述目标商品的SKU信息以及所述目标商品被放回的目标货箱的编码信息；基于所述货箱与商品的关联关系判断所述目标商品的SKU信息与所述目标货箱的编码信息是否匹配；如果否，则进行商品错放提示。
可选地，所述重量检测模块，用于设置称重装置与所述货箱的编码信息的对应关系，其中，所述称重装置用于检测与其对应的货箱承载的商品重量；当基于所述称重装置发送的重量检测信号确定所述商品重量减轻或增加时，根据所述对应关系确定所述商品重量减轻或增加的货箱的编码信息以及所述商品重量的变化值。
根据本发明的又一方面，提供一种用户选购商品识别装置，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如上所述的用户选购商品识别方法。
根据本发明的又一方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该指令被一个或多个处理器执行时实现如上所述的方法的步骤。
根据本发明的再一方面，提供一种智能货架系统，包括：如上所述的用户选购商品识别装置。
可选地，包括：货架架体；在所述货架架体上放置至少一个用于承载商品的货箱；称重装置，用于检测所述货箱承载的商品重量；第一摄像装置，用于采集与所述货箱相对应的监控区域内的第一监控图像；所述用户选购商品识别装置，分别与所述称重装置和所述第一摄像装置电连接，用于获取所述第一监控图像以及所述称重装置发送的重量信号。
可选地，包括：层板；所述层板放置在所述货架架体上，所述货箱放置在所述层板上；所述称重装置安装在所述层板上并位于所述货箱的下方，其中，所述称重装置与所述货箱对应设置。
可选地，还包括：第二摄像装置，用于采集购物场所内的第二监控图像；所述用户选购商品识别装置，与所述第二摄像装置电连接，还用于获取所述第二监控图像。
可选地，还包括：提示装置，与所述用户选购商品识别装置电连接，用于接收所述用户选购商品识别装置发送的商品错放提示信息并对用户进行提示。
本公开的用户选购商品识别方法、装置以及智能货架系统，的用户选购商品识别方法、装置以及智能货架系统，检测货箱承载的商品重量，通过对在与货箱相对应的监控区域内采集的监控图像进行图像识别获得用户身份信息，当确定商品重量减轻时，确定被拿起的商品的信息并将用户身份信息与被拿起的商品的信息进行关联；通过结合传感器技术和图像识别技术，实现选购商品的自动感知以及商品信息与用户身份的自动绑定；通过以智能货架为载体并能够自动感知顾客选购商品，节省了人工成本；识别快速并准确，提升了购物效率；并且商品与用户的绑定无需任何用户操作，可以提升购物体验。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为根据本公开的用户选购商品识别方法的一个实施例的流程示意图；
图2为根据本公开的用户选购商品识别方法的一个实施例中的基于图像识别结果确定用户身份信息的流程示意图；
图3为根据本公开的用户选购商品识别方法的一个实施例中的对监控图像进行识别的流程示意图；
图4为根据本公开的用户选购商品识别方法的一个实施例中的基于用户追踪确定用户身份信息的流程示意图；
图5为根据本公开的用户选购商品识别装置的一个实施例的模块示意图；
图6为根据本公开的用户选购商品识别装置的另一个实施例的模块示意图；
图7A至7F为根据本公开的智能货架系统的一个实施例的示意图，其中，图7A为用户选购商品识别装置与其它部件的连接示意图，图7B、7C、7D分别为货架架体与货箱安装后的主视图、侧视图和立体图，图7E为货箱的示意图，图7F为货架架体与层板等的安装示意图。
具体实施方式
下面参照附图对本公开进行更全面的描述，其中说明本公开的示例性实施例。下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
下文中的“第一”、“第二”等仅用于描述上相区别，并没有其它特殊的含义。
图1为根据本公开的用户选购商品识别方法的一个实施例的流程示意图，包括步骤101－104：
步骤101，检测货箱承载的商品重量。
货箱即为用于承载商品的售货箱等，货箱可以为多种。例如，在无人超市中摆放货架，货架上有一个或多个货箱，用于承载商品。货架中设置有一个或多个称重装置，用于测量相对应的货箱中承载的商品重量，一个称重装置可以测量一个或多个货箱承载的商品重量。称重装置可以通过重量传感器获取商品重量。
步骤102，获取在与货箱相对应的监控区域内采集的第一监控图像，对第一监控图像进行识别，获得识别结果。识别结果包括用户身份信息等，用户身份信息可以为用户ID等。
将货箱之前或周边的区域作为与货箱相对应的监控区域，设置摄像机等设备采集在监控区域内的第一监控图像，通过第一监控图像可以获取用户对于此货架的取放商品等动作。对第一监控图像进行图像识别可以采用多种模型，例如可以采用预先训练好的多种神经网络模型等。
步骤103，当确定商品重量减轻时，获得商品被拿起的时间，并基于商品重量的变化值以及货箱与商品的关联关系确定被拿起的商品的信息。
步骤104，基于商品被拿起的时间以及识别结果获得与被拿起的商品相对应的用户身份信息，并将用户身份信息与被拿起的商品的信息进行关联，通过结合传感器技术和图像识别技术，实现选购商品的自动感知以及商品信息与用户身份的自动绑定。
在一个实施例中，基于商品被拿起的时间以及识别结果获得与被拿起的商品相对应的用户身份信息可以有多种。例如，图2为根据本公开的用户选购商品识别方法的一个实施例中的基于图像识别结构确定用户身份信息的流程示意图，包括步骤201－203。
步骤201，基于商品被拿起的时间确定用户身份识别时段。
用户身份识别时段可以为商品被拿起时间的前、后若干秒之间的时间段。例如，当确定商品重量减轻时，获得商品被拿起的时间为10点0分0秒，则用户身份识别时段为9点59分58秒与10点0分02秒之间的时间段。
步骤202，获取与在用户身份识别时段内采集的第一监控图像相对应的识别结果，作为目标识别结果。例如，获取对于在9点59分58秒与10点0分02秒之间的第一监控图像的识别结果，作为目标识别结果。
步骤203，如果目标识别结果中的用户身份信息不为空值，则将目标识别结果中的用户身份信息作为与被拿起的商品相对应的用户身份信息。
如果目标识别结果中的用户身份信息不为空值，则说明基于第一监控图像对于用户身份识别成功，如果目标识别结果中的用户身份信息为空值，则说明基于第一监控图像对于用户身份识别失败。
图3为根据本公开的用户选购商品识别方法的一个实施例中的对监控图像进行识别的流程示意图，包括步骤301－304：
步骤301，获取用户身份信息以及用户人脸图像。
步骤302，从用户人脸图像中提取用户人脸特征，建立用户人脸特征与用户身份信息之间的人脸特征关联关系。
例如，用户在进入无人超市时，在超市门口进行身份验证并采集用户图像。如果身份验证成功，则获取用户身份信息(用户ID等)，从采集的用户图像中提取用户人脸特征，建立用户人脸特征与用户身份信息之间的人脸特征关联关系。
步骤303，从第一监控图像中提取人脸特征信息，计算人脸特征信息与人脸特征关联关系中的用户人脸特征的相似度。
步骤304，如果相似度大于预设的阈值，则将此人脸特征关联关系中的用户身份信息作为与此第一监控图像相对应的识别结果中的用户身份信息。如果相似度小于或等于预设的阈值，则对于用户身份识别失败。
通过摄像装置实时拍摄并实时从摄像装置中获取第一监控图像，每秒获取多张图片并分别调用人脸识别算法进行人脸识别，例如使用SIFT算法等进行人脸识别，将识别结果存入数据库。
预先给每个货箱进行编码，确定货箱中摆放的商品以及商品摆放的位置。获取货箱的编码信息以及在此货箱上所放置的商品的SKU信息，根据编码信息与SKU信息建立货箱与商品的关联关系。
获取第一监控图像后，通过识别线程对第一监控图像进行人脸识别，将第一监控图像采集的时间以及识别结果、摄像头编号等存入数据库中。摄像头编号与货箱的编码信息相关联，根据用户身份识别时段和摄像头编号从数据库中可以获取目标识别结果。
设置称重装置与货箱的编码信息的对应关系，称重装置用于检测与其对应的货箱承载的商品重量。当基于称重装置发送的重量检测信号确定商品重量减轻或增加时，根据对应关系确定商品重量减轻或增加的货箱的编码信息以及商品重量的变化值。
确定商品重量减轻的货箱的编码信息，基于此编码信息以及货箱与商品的关联关系确定被拿起的商品的SKU信息。获取与商品的SKU信息对应的商品单位重量，基于商品单位重量以及商品重量的减小值确定被拿起的商品的数量信息。
可以在初始化时，称重装置记录每个货箱中的重量，当商品被拿起或者放回后计算减少或者增加的重量，获取减少重量信息并将重量除以商品sku的单个重量就能算出拿起或者放回了多少个商品个数。
当确定商品重量增加时，获得商品重量的增加值，判断商品单位重量与商品重量的增加值是否匹配，如果否，则进行商品错放提示。例如，货箱A中放置的商品A的单位重量为100克，当确定货箱A的重量增加了30克，则商品A单位重量与商品重量的增加值不匹配，则进行商品错放提示，可以通过播放提示语音或显示屏显示提示信息。
识别第一监控图像中的用户的操作动作以及与操作动作对应的目标商品，操作动作包括取出动作、放回动作等。对于第一监控图像的识别可以采用预先训练好的神经网络模型，在训练阶段，可以采用标注了商品sku的图像数据以及取出动作、放回动作的图像数据进行训练。行为识别可以使用训练好的神经网络模型通过对用户手势的特征进行提取分析得出。
通过图像识别可以获取目标商品的SKU信息以及目标商品被放回的目标货箱的编码信息。获取目标商品被放回的目标货箱的编码信息可以有多种方法，例如，可以通过图像识别确定目标货箱中原有的商品，进而确定原有商品的sku，基于原有商品的sku获得目标货箱的编码信息。基于货箱与商品的关联关系判断目标商品的SKU信息与目标货箱的编码信息是否匹配，如果否，则进行商品错放提示。
图4为根据本公开的用户选购商品识别方法的一个实施例中的基于用户追踪确定用户身份信息的流程示意图，包括步骤301－303：
步骤401，获取用户身份信息以及用户特征信息，建立用户特征信息与用户身份信息之间的身份特征关联关系。
例如，用户在进入无人超市时，在入口处进行身份验证并采集用户图像。如果身份验证成功，则获取用户身份信息(用户ID等)，并从采集的用户图像中提取用户特征信息，用户特征信息包括：衣着样式、衣着颜色、形体特点等。
步骤402，获取在购物场所中采集的第二监控图像，基于用户特征信息在第二监控图像中对用户进行定位，获得与用户相对应的跟踪轨迹。
步骤403，当确定用户特征信息发生变化时，基于新用户特征信息更新身份特征关联关系。
购物场所包括购物区域以及走廊等区域，采用目标跟踪算法基于用户的衣着样式、衣着颜色、形体特点等在第二监控图像中对用户进行定位，获取用户的跟踪轨迹，即用户的行动轨迹。跟踪算法可以有多种，例如为KCF算法等。如果用户的特征信息发生变换，例如，用户脱下外衣、带上口罩等，则确定用户的新用户特征信息，基于新用户特征信息更新身份特征关联关系。
步骤404，如果目标识别结果中的用户身份信息为空值，则根据身份识别时段以及身份特征关联关系确定与被拿起的商品相对应的用户身份信息。
例如，用户在进入无人超市后带上口罩，基于第一监控图像对用户身份进行识别失败，则目标识别结果中的用户身份信息为空值。当进行用户身份信息与被拿起的商品的信息进行关联时，目标识别结果中的用户身份信息为空值，则获取在身份识别时段内采集的第一监控图像，从第一监控图像中提取目标用户的用户特征信息。将目标用户的用户特征信息与身份特征关联关系中的用户特征信息进行匹配，此时的用户特征信息为实时更新的新用户特征，如果匹配成功，则将此身份特征关联关系中的用户身份信息作为与被拿起的商品相对应的用户身份信息。
在一个实施例中，当用户A进入无人超市时，根据人脸识别技术对用户A进行识别，如果确定用户A为合法用户则验证成功，获取的用户身份信息为用户ID。建立用户A的用户人脸特征与用户身份信息之间的人脸特征关联关系。提取用户A的衣着样式、衣着颜色、形体特征等作为用户特征信息，建立用户特征信息与用户身份信息之间的身份特征关联关系。
使用目标跟踪算法对用户A的用户特征信息(上衣颜色、头尖等特征)进行跟踪分析，实时更新用户A的用户特征信息。用户A来到货箱A前，摄像头获取到第一监控图像后进行人脸识别，识别出用户A后把用户A的用户id和当前时间以及摄像头信息存储到库中。
当用户A拿起货箱A中的商品后，根据称重装置中的重量传感器发送的信号确定重量减轻，根据当前时间往前推3s设定开始时间，往后推2s设定为结束时间，设置用户身份识别时段。查询数据库中存储的、在用户身份识别时段内的数据，获取用户A的用户ID，根据货箱A确定其承载的商品sku,该sku有固定的重量，根据重量减轻值除以固定的重量计算出用户A所拿的商品个数，把用户A的用户ID和商品sku以及用户A所拿的商品个数进行绑定。
如果基于第一监控图像未能识别出用户的身份，根据在用户身份识别时段内采集的第一监控图像以及用户A的新用户特征信息确认出用户A，进而确定用户A的ID，则把用户A的用户ID和商品sku以及用户A所拿的商品个数进行绑定,从而实现即拿即走的售货模式。
在一个实施例中，本公开提供一种用户选购商品识别装置50，包括：重量检测模块51、图像识别模块52、商品信息获取模块53、用户身份识别模块54、用户与商品绑定模块55和用户行为跟踪模块56。
重量检测模块51检测货箱承载的商品重量。图像识别模块52获取在与货箱相对应的监控区域内采集的第一监控图像，对第一监控图像进行识别，获得识别结果，识别结果包括：用户身份信息等。当确定商品重量减轻时，商品信息获取模块53获得商品被拿起的时间，并基于商品重量的变化值以及货箱与商品的关联关系确定被拿起的商品的信息。用户身份识别模块54基于商品被拿起的时间以及识别结果获得与被拿起的商品相对应的用户身份信息。用户与商品绑定模块55将用户身份信息与被拿起的商品的信息进行关联。
在一个实施例中，用户身份识别模块54基于商品被拿起的时间确定用户身份识别时段。用户身份识别模块54获取与在用户身份识别时段内采集的第一监控图像相对应的识别结果，作为目标识别结果。如果目标识别结果中的用户身份信息不为空值，则用户身份识别模块54将目标识别结果中的用户身份信息作为与被拿起的商品相对应的用户身份信息。
用户行为跟踪模块56获取用户身份信息以及用户特征信息，建立用户特征信息与用户身份信息之间的身份特征关联关系。用户行为跟踪模块56获取在购物场所中采集的第二监控图像，基于用户特征信息在第二监控图像中对用户进行定位，获得与用户相对应的跟踪轨迹。当确定用户特征信息发生变化时，用户行为跟踪模块56基于新用户特征信息更新身份特征关联关系。如果目标识别结果中的用户身份信息为空值，则用户身份识别模块54根据身份识别时段以及身份特征关联关系确定与被拿起的商品相对应的用户身份信息。
用户身份识别模块54获取在身份识别时段内采集的第一监控图像，从第一监控图像中提取目标用户的用户特征信息。用户身份识别模块54将目标用户的用户特征信息与身份特征关联关系中的用户特征信息进行匹配。如果匹配成功，则用户身份识别模块54将此身份特征关联关系中的用户身份信息作为与被拿起的商品相对应的用户身份信息。
在一个实施例中，图像识别模块52获取用户身份信息以及用户人脸图像。图像识别模块52从用户人脸图像中提取用户人脸特征，建立用户人脸特征与用户身份信息之间的人脸特征关联关系。图像识别模块52从第一监控图像中提取人脸特征信息，计算人脸特征信息与人脸特征关联关系中的用户人脸特征的相似度。如果相似度大于预设的阈值，则图像识别模块52将此人脸特征关联关系中的用户身份信息作为与此第一监控图像相对应的识别结果中的用户身份信息。
图像识别模块52识别第一监控图像中的用户的操作动作以及与操作动作对应的目标商品，其中，操作动作包括取出动作、放回动作等。图像识别模块52获取目标商品的SKU信息以及目标商品被放回的目标货箱的编码信息。图像识别模块52基于货箱与商品的关联关系判断目标商品的SKU信息与目标货箱的编码信息是否匹配，如果否，则进行商品错放提示。
在一个实施例中，重量检测模块51设置称重装置与货箱的编码信息的对应关系，称重装置用于检测与其对应的货箱承载的商品重量。当基于称重装置发送的重量检测信号确定商品重量减轻或增加时，重量检测模块51根据对应关系确定商品重量减轻或增加的货箱的编码信息以及商品重量的变化值。
商品信息获取模块53获取货箱的编码信息以及在此货箱上所放置的商品的SKU信息。根据编码信息与SKU信息建立货箱与商品的关联关系。商品信息获取模块53确定商品重量减轻的货箱的编码信息，基于此编码信息以及货箱与商品的关联关系确定被拿起的商品的SKU信息。商品信息获取模块53获取与商品的SKU信息对应的商品单位重量，基于商品单位重量以及商品重量的减小值确定被拿起的商品的数量信息。
当确定商品重量增加时，商品信息获取模块53获得商品重量的增加值，判断商品单位重量与商品重量的增加值是否匹配，如果否，则进行商品错放提示。
图6为根据本公开的用户选购商品识别装置的另一个实施例的模块示意图，如图6所示，该装置可包括存储器61、处理器62、通信接口63以及总线64。存储器61用于存储指令，处理器62耦合到存储器61，处理器62被配置为基于存储器61存储的指令执行实现上述的用户选购商品识别方法。
存储器61可以为高速RAM存储器、非易失性存储器(NoN-volatile memory)等，存储器61也可以是存储器阵列。存储器61还可能被分块，并且块可按一定的规则组合成虚拟卷。处理器62可以为中央处理器CPU，或专用集成电路ASIC(Application SpecificIntegrated Circuit)，或者是被配置成实施本发明公开的用户选购商品识别方法的一个或多个集成电路。
在一个实施例中，本公开还提供一种计算机可读存储介质，其中计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如上任一实施例涉及的用户选购商品识别方法。本领域内的技术人员应明白，本公开的实施例可提供为方法、装置、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
在一个实施例中，如图7A至7F所示，本公开提供一种智能货架系统，包括：货架架体751，货架架体751包括货架边框、货架支架等。在货架架体751上放置至少一个用于承载商品的货箱752，货箱752可以为多种形状的售货箱。货箱752的材质可以为塑料等，例如货箱752由亚克力板制成。
称重装置754检测货箱752承载的商品重量。第一摄像装置采集73与货箱752相对应的监控区域内的第一监控图像，第一摄像装置可以摄像头、摄像机等。用户选购商品识别装置71分别与称重装置72和第一摄像装置73电连接，用于获取第一监控图像和称重装置发送的重量信号，通过对第一监控图像进行识别获得用户身份信息，将用户身份信息与货箱中被拿起的商品的信息进行关联。
层板755放置在货架架体751上，货箱752放置在层板755上，称重装置754安装在层板753上并位于货箱的下方，称重装置754与货箱752对应设置。每种商品放在一个货箱752中，与其对应的一个称重装置754获取货箱752承载的商品重量。
称重安装部件755设置在层板753与货箱752之间，并且与层板752固定连接，可以为螺纹连接、卡扣连接等。称重装置754固定安装在称重安装部件755上。称重安装部件755可以为多种结构，例如称重安装部件755呈工字形结构。将称重装置754固定在工字型的称重安装部件755内部，可以通过螺丝固定，称重安装部件755设置在与货箱752相对应的位置。
在一个实施例中，称重装置754包括重量传感器，重量传感器与用户选购商品识别装置71连接。重量传感器可以通过485总线等与用户选购商品识别装置71连接，检测货箱752承载的商品重量，将重量检测信号发送给用户选购商品识别装置71。
第二摄像装置74采集购物场所内的第二监控图像，购物场所包括售货区域、走廊、通道等区域，第二摄像装置74可以为摄像机、摄像头等。用户选购商品识别装置71与第二摄像装置74电连接，基于在第二监控图像中对用户进行定位，获得与用户相对应的跟踪轨迹以及新用户特征信息，基于新用户特征信息确定与被拿起的商品相对应的用户身份信息。
提示装置76与用户选购商品识别装置71电连接，用于接收用户选购商品识别装置71发送的商品错放提示信息并对用户进行提示。提示装置76包括显示器、扬声器等，可以通过声音或文字信息等提示用户放错了商品。
上述实施例中的用户选购商品识别方法、装置以及智能货架系统，检测货箱承载的商品重量，通过对在与货箱相对应的监控区域内采集的监控图像进行图像识别获得用户身份信息，当确定商品重量减轻时，确定被拿起的商品的信息并将用户身份信息与被拿起的商品的信息进行关联；通过结合传感器技术和图像识别技术，实现选购商品的自动感知以及商品信息与用户身份的自动绑定，解决零售商店中选购商品的自动感知以及商品与顾客绑定的问题；通过以智能货架为载体并能够自动感知顾客选购商品，节省人工成本，识别快速并准确，提升了购物效率；并且商品与用户的绑定无需任何用户操作，可以提升购物体验。
可能以许多方式来实现本公开的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和系统。用于方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
本公开的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。

Claims (29)

1.一种用户选购商品识别方法，包括：
检测货箱承载的商品重量；
获取在与所述货箱相对应的监控区域内采集的第一监控图像，对所述第一监控图像进行识别，获得识别结果；其中，所述识别结果包括：用户身份信息；
当确定所述商品重量减轻时，获得商品被拿起的时间，并基于所述商品重量的变化值以及货箱与商品的关联关系确定被拿起的商品的信息；
基于所述商品被拿起的时间以及所述识别结果获得与被拿起的商品相对应的用户身份信息，并将所述用户身份信息与所述被拿起的商品的信息进行关联。
2.如权利要求1所述的方法，其中，所述基于所述商品被拿起的时间以及所述识别结果获得与被拿起的商品相对应的用户身份信息包括：
基于所述商品被拿起的时间确定用户身份识别时段；
获取与在所述用户身份识别时段内采集的所述第一监控图像相对应的识别结果，作为目标识别结果；
如果所述目标识别结果中的所述用户身份信息不为空值，则将所述目标识别结果中的用户身份信息作为与被拿起的商品相对应的用户身份信息。
3.如权利要求2所述的方法，还包括：
获取所述用户身份信息以及用户特征信息，建立所述用户特征信息与所述用户身份信息之间的身份特征关联关系；
获取在购物场所中采集的第二监控图像，基于所述用户特征信息在所述第二监控图像中对所述用户进行定位，获得与所述用户相对应的跟踪轨迹；
当确定所述用户特征信息发生变化时，基于新用户特征信息更新所述身份特征关联关系；
如果所述目标识别结果中的所述用户身份信息为空值，则根据所述身份识别时段以及所述身份特征关联关系确定与被拿起的商品相对应的用户身份信息。
4.如权利要求3所述的方法，其中，所述根据所述身份识别时段以及所述身份特征关联关系确定与被拿起的商品相对应的用户身份信息包括：
获取在所述身份识别时段内采集的所述第一监控图像，从所述第一监控图像中提取目标用户的用户特征信息；
将所述目标用户的用户特征信息与所述身份特征关联关系中的所述用户特征信息进行匹配；
如果匹配成功，则将此身份特征关联关系中的用户身份信息作为与被拿起的商品相对应的用户身份信息。
5.如权利要求1所述的方法，其中，所述对所述第一监控图像进行识别、获得识别结果包括：
获取所述用户身份信息以及用户人脸图像；
从所述用户人脸图像中提取用户人脸特征，建立所述用户人脸特征与所述用户身份信息之间的人脸特征关联关系；
从所述第一监控图像中提取人脸特征信息，计算所述人脸特征信息与所述人脸特征关联关系中的所述用户人脸特征的相似度；
如果所述相似度大于预设的阈值，则将此人脸特征关联关系中的用户身份信息作为与此第一监控图像相对应的识别结果中的用户身份信息。
6.如权利要求1所述的方法，还包括：
获取货箱的编码信息以及在此货箱上所放置的商品的SKU信息；
根据所述编码信息与所述SKU信息建立所述货箱与商品的关联关系。
7.如权利要求6所述的方法，其中，所述基于所述商品重量的变化值以及货箱与商品的关联关系确定被拿起的商品的信息包括：
确定所述商品重量减轻的货箱的编码信息，基于此编码信息以及所述货箱与商品的关联关系确定被拿起的商品的SKU信息。
8.如权利要求6或7所述的方法，其中，所述基于所述商品重量的变化值以及货箱与商品的关联关系确定被拿起的商品的信息还包括：
获取与商品的SKU信息对应的商品单位重量；
基于所述商品单位重量以及所述商品重量的减小值确定被拿起的商品的数量信息。
9.如权利要求8所述的方法，还包括：
当确定所述商品重量增加时，获得所述商品重量的增加值；
判断所述商品单位重量与所述商品重量的增加值是否匹配，如果否，则进行商品错放提示。
10.如权利要求6所述的方法，还包括：
识别所述第一监控图像中的用户的操作动作以及与所述操作动作对应的目标商品，其中，所述操作动作包括：取出动作、放回动作；
获取所述目标商品的SKU信息以及所述目标商品被放回的目标货箱的编码信息；
基于所述货箱与商品的关联关系判断所述目标商品的SKU信息与所述目标货箱的编码信息是否匹配；
如果否，则进行商品错放提示。
11.如权利要求1所述的方法，还包括：
设置称重装置与所述货箱的编码信息的对应关系，其中，所述称重装置用于检测与其对应的货箱承载的商品重量；
当基于所述称重装置发送的重量检测信号确定所述商品重量减轻或增加时，根据所述对应关系确定所述商品重量减轻或增加的货箱的编码信息以及所述商品重量的变化值。
12.一种用户选购商品识别装置，包括：
重量检测模块，用于检测货箱承载的商品重量；
图像识别模块，用于获取在与所述货箱相对应的监控区域内采集的第一监控图像，对所述第一监控图像进行识别，获得识别结果；其中，所述识别结果包括：用户身份信息；
商品信息获取模块，用于当确定所述商品重量减轻时，获得商品被拿起的时间，并基于所述商品重量的变化值以及货箱与商品的关联关系确定被拿起的商品的信息；
用户身份识别模块，用于基于所述商品被拿起的时间以及所述识别结果获得与被拿起的商品相对应的用户身份信息；
用户与商品绑定模块，用于将所述用户身份信息与所述被拿起的商品的信息进行关联。
13.如权利要求12所述的装置，其中，
所述用户身份识别模块，用于基于所述商品被拿起的时间确定用户身份识别时段；获取与在所述用户身份识别时段内采集的所述第一监控图像相对应的识别结果，作为目标识别结果；如果所述目标识别结果中的所述用户身份信息不为空值，则将所述目标识别结果中的用户身份信息作为与被拿起的商品相对应的用户身份信息。
14.如权利要求13所述的装置，还包括：
用户行为跟踪模块，用于获取所述用户身份信息以及用户特征信息，建立所述用户特征信息与所述用户身份信息之间的身份特征关联关系；获取在购物场所中采集的第二监控图像，基于所述用户特征信息在所述第二监控图像中对所述用户进行定位，获得与所述用户相对应的跟踪轨迹；当确定所述用户特征信息发生变化时，基于新用户特征信息更新所述身份特征关联关系；
所述用户身份识别模块，还用于如果所述目标识别结果中的所述用户身份信息为空值，则根据所述身份识别时段以及所述身份特征关联关系确定与被拿起的商品相对应的用户身份信息。
15.如权利要求14所述的装置，其中，
所述用户身份识别模块，还用于获取在所述身份识别时段内采集的所述第一监控图像，从所述第一监控图像中提取目标用户的用户特征信息；将所述目标用户的用户特征信息与所述身份特征关联关系中的所述用户特征信息进行匹配；如果匹配成功，则将此身份特征关联关系中的用户身份信息作为与被拿起的商品相对应的用户身份信息。
16.如权利要求12所述的装置，其中，
所述图像识别模块，用于获取所述用户身份信息以及用户人脸图像；从所述用户人脸图像中提取用户人脸特征，建立所述用户人脸特征与所述用户身份信息之间的人脸特征关联关系；从所述第一监控图像中提取人脸特征信息，计算所述人脸特征信息与所述人脸特征关联关系中的所述用户人脸特征的相似度；如果所述相似度大于预设的阈值，则将此人脸特征关联关系中的用户身份信息作为与此第一监控图像相对应的识别结果中的用户身份信息。
17.如权利要求12所述的装置，其中，
所述商品信息获取模块，用于获取货箱的编码信息以及在此货箱上所放置的商品的SKU信息；根据所述编码信息与所述SKU信息建立所述货箱与商品的关联关系。
18.如权利要求17所述的装置，其中，
所述商品信息获取模块，用于确定所述商品重量减轻的货箱的编码信息，基于此编码信息以及所述货箱与商品的关联关系确定被拿起的商品的SKU信息。
19.如权利要求17所述的装置，其中，
所述商品信息获取模块，用于获取与商品的SKU信息对应的商品单位重量；基于所述商品单位重量以及所述商品重量的减小值确定被拿起的商品的数量信息。
20.如权利要求19所述的装置，其中，
所述商品信息获取模块，用于当确定所述商品重量增加时，获得所述商品重量的增加值；判断所述商品单位重量与所述商品重量的增加值是否匹配，如果否，则进行商品错放提示。
21.如权利要求17所述的装置，其中，
所述图像识别模块，用于识别所述第一监控图像中的用户的操作动作以及与所述操作动作对应的目标商品，其中，所述操作动作包括：取出动作、放回动作；获取所述目标商品的SKU信息以及所述目标商品被放回的目标货箱的编码信息；基于所述货箱与商品的关联关系判断所述目标商品的SKU信息与所述目标货箱的编码信息是否匹配；如果否，则进行商品错放提示。
22.如权利要求12所述的装置，其中，
所述重量检测模块，用于设置称重装置与所述货箱的编码信息的对应关系，其中，所述称重装置用于检测与其对应的货箱承载的商品重量；当基于所述称重装置发送的重量检测信号确定所述商品重量减轻或增加时，根据所述对应关系确定所述商品重量减轻或增加的货箱的编码信息以及所述商品重量的变化值。
23.一种用户选购商品识别装置，包括：
存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1至11中任一项所述的用户选购商品识别方法。
24.一种计算机可读存储介质，其上存储有计算机程序指令，该指令被一个或多个处理器执行时实现权利要求1至11任意一项所述的方法的步骤。
25.一种智能货架系统，包括：
如权利要求23所述的用户选购商品识别装置。
26.如权利要求25所述的智能货架系统，其特征在于，包括：
货架架体；在所述货架架体上放置至少一个用于承载商品的货箱；
称重装置，用于检测所述货箱承载的商品重量；
第一摄像装置，用于采集与所述货箱相对应的监控区域内的第一监控图像；
所述用户选购商品识别装置，分别与所述称重装置和所述第一摄像装置电连接，用于获取所述第一监控图像以及所述称重装置发送的重量信号。
27.如权利要求26所述的智能货架系统，还包括：
层板；所述层板放置在所述货架架体上，所述货箱放置在所述层板上；
所述称重装置安装在所述层板上并位于所述货箱的下方，其中，所述称重装置与所述货箱对应设置。
28.如权利要求26所述智能货架系统，还包括：
第二摄像装置，用于采集购物场所内的第二监控图像；
所述用户选购商品识别装置，与所述第二摄像装置电连接，还用于获取所述第二监控图像。
29.如权利要求26所述的智能货架系统，还包括：
提示装置，与所述用户选购商品识别装置电连接，用于接收所述用户选购商品识别装置发送的商品错放提示信息并对用户进行提示。
CN201810174871.3A 2018-03-02 2018-03-02 用户选购商品识别方法、装置以及智能货架系统 Active CN108198052B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810174871.3A CN108198052B (zh) 2018-03-02 2018-03-02 用户选购商品识别方法、装置以及智能货架系统
PCT/CN2019/075074 WO2019165891A1 (zh) 2018-03-02 2019-02-14 用户选购商品识别方法、装置以及智能货架系统
US16/977,716 US11638490B2 (en) 2018-03-02 2019-02-14 Method and device for identifying product purchased by user and intelligent shelf system
JP2020545731A JP7311524B2 (ja) 2018-03-02 2019-02-14 ユーザによって購入された商品を識別するための方法および装置ならびにインテリジェント棚システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810174871.3A CN108198052B (zh) 2018-03-02 2018-03-02 用户选购商品识别方法、装置以及智能货架系统

Publications (2)

Publication Number Publication Date
CN108198052A true CN108198052A (zh) 2018-06-22
CN108198052B CN108198052B (zh) 2024-07-19

Family

ID=62594775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810174871.3A Active CN108198052B (zh) 2018-03-02 2018-03-02 用户选购商品识别方法、装置以及智能货架系统

Country Status (4)

Country Link
US (1) US11638490B2 (zh)
JP (1) JP7311524B2 (zh)
CN (1) CN108198052B (zh)
WO (1) WO2019165891A1 (zh)

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108647671A (zh) * 2018-06-28 2018-10-12 武汉市哈哈便利科技有限公司 一种光学标识视觉识别方法及基于该方法的无人售货柜
CN108875664A (zh) * 2018-06-27 2018-11-23 北京京东尚科信息技术有限公司 选购商品的识别方法、装置以及售货机
CN108921081A (zh) * 2018-06-27 2018-11-30 百度在线网络技术（北京）有限公司 用户操作的检测方法和装置
CN108985359A (zh) * 2018-06-29 2018-12-11 深圳和而泰数据资源与云技术有限公司 一种商品识别方法、无人售货机及计算机可读存储介质
CN109003390A (zh) * 2018-06-29 2018-12-14 深圳和而泰数据资源与云技术有限公司 一种商品识别方法、无人售货机及计算机可读存储介质
CN109008484A (zh) * 2018-08-08 2018-12-18 颜沿（上海）智能科技有限公司 一种货架试妆系统及方法
CN109034980A (zh) * 2018-08-23 2018-12-18 深圳码隆科技有限公司 一种搭配商品推荐方法、装置和用户终端
CN109029668A (zh) * 2018-09-25 2018-12-18 浙江万维识别技术有限公司 一种物品识别的自动称重系统
CN109118682A (zh) * 2018-08-30 2019-01-01 深圳市有钱科技有限公司 智能计数及结算方法和装置
CN109166007A (zh) * 2018-08-23 2019-01-08 深圳码隆科技有限公司 一种基于自动售货机的商品推荐方法及其装置
CN109190706A (zh) * 2018-09-06 2019-01-11 深圳码隆科技有限公司 无人售货方法、装置及系统
CN109191196A (zh) * 2018-08-23 2019-01-11 深圳码隆科技有限公司 一种基于用户特征的商品推荐方法、装置和用户终端
CN109215216A (zh) * 2018-07-09 2019-01-15 青岛海尔特种电冰柜有限公司 自动售卖异常报警方法和自动售卖装置
CN109215219A (zh) * 2018-09-11 2019-01-15 新锐泰乐（北京）科技有限公司 提高自动售货机盘点速度的方法及系统
CN109243112A (zh) * 2018-08-23 2019-01-18 深圳码隆科技有限公司 一种开放式环境购物控制方法和装置
CN109241877A (zh) * 2018-08-20 2019-01-18 北京旷视科技有限公司 一种轨迹识别系统、方法、装置及其计算机存储介质
CN109255674A (zh) * 2018-08-08 2019-01-22 颜沿（上海）智能科技有限公司 一种试妆数据处理系统及方法
CN109330284A (zh) * 2018-09-21 2019-02-15 京东方科技集团股份有限公司 一种货架系统
CN109447619A (zh) * 2018-09-20 2019-03-08 华侨大学 基于开放环境的无人结算方法、装置、设备和系统
CN109509061A (zh) * 2018-10-31 2019-03-22 广州慧睿思通信息科技有限公司 基于人工智能的购物方法、装置、系统及存储介质
CN110020848A (zh) * 2018-12-14 2019-07-16 拉扎斯网络科技（上海）有限公司 一种无人售卖的方法、智能货架及存储介质
CN110147723A (zh) * 2019-04-11 2019-08-20 苏宁云计算有限公司 一种无人店中顾客异常行为的处理方法及系统
WO2019165891A1 (zh) * 2018-03-02 2019-09-06 北京京东尚科信息技术有限公司 用户选购商品识别方法、装置以及智能货架系统
CN110232567A (zh) * 2018-07-09 2019-09-13 南宁市安普康商贸有限公司 基于购买者位置定位的开放式自助销售方法及系统
CN110443637A (zh) * 2019-07-16 2019-11-12 浙江大华技术股份有限公司 用户购物行为分析方法、装置及存储介质
CN110610149A (zh) * 2019-09-03 2019-12-24 卓尔智联(武汉)研究院有限公司 一种信息处理方法、装置及计算机存储介质
CN110677448A (zh) * 2018-07-03 2020-01-10 百度在线网络技术（北京）有限公司 关联信息推送方法、装置和系统
CN110728551A (zh) * 2019-08-19 2020-01-24 深圳市思派德光学科技有限公司 基于5g通信及视觉识别的租赁方法、装置、终端及存储
CN110926585A (zh) * 2018-09-20 2020-03-27 北京京东尚科信息技术有限公司 用于输出信息的方法和装置
CN111126110A (zh) * 2018-10-31 2020-05-08 杭州海康威视数字技术股份有限公司 一种商品信息识别方法、结算方法、装置及无人零售系统
CN111199410A (zh) * 2018-11-16 2020-05-26 阿里巴巴集团控股有限公司 商品管理方法、装置和智能货架
CN111222870A (zh) * 2019-01-24 2020-06-02 图灵通诺（北京）科技有限公司 结算方法、装置和系统
CN111382650A (zh) * 2018-12-28 2020-07-07 阿里巴巴集团控股有限公司 商品购物处理系统、方法、装置及电子设备
CN111428743A (zh) * 2019-01-09 2020-07-17 阿里巴巴集团控股有限公司 商品识别方法、商品处理方法、装置及电子设备
CN111667650A (zh) * 2019-03-05 2020-09-15 阿里巴巴集团控股有限公司 自助结算方法、装置及系统
CN111783509A (zh) * 2019-08-29 2020-10-16 北京京东尚科信息技术有限公司 自动结算方法、装置、系统和存储介质
CN111860221A (zh) * 2020-06-30 2020-10-30 深圳市九洲电器有限公司 一种货柜管理的方法以及货柜
CN111988579A (zh) * 2020-08-31 2020-11-24 杭州海康威视系统技术有限公司 数据审核方法、系统和电子设备
CN112215068A (zh) * 2020-09-09 2021-01-12 苏宁云计算有限公司 一种店铺内用户行为的监控方法、装置、系统及计算机系统
CN112464697A (zh) * 2019-09-06 2021-03-09 图灵通诺（北京）科技有限公司 基于视觉和重力感应的商品与顾客的匹配方法和装置
CN114821729A (zh) * 2022-05-05 2022-07-29 无锡八英里电子科技有限公司 商品导购方法、装置、云服务器及存储介质
WO2023051775A1 (zh) * 2021-10-01 2023-04-06 南宁市安普康商贸有限公司 无人售卖系统及控制方法、装置和介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108389316B (zh) * 2018-03-02 2021-07-13 北京京东尚科信息技术有限公司 自动售货方法、装置和计算机可读存储介质
CN111242554B (zh) * 2020-01-17 2023-10-17 秒针信息技术有限公司 拣货方式类型确定方法和装置
US20220067642A1 (en) * 2020-08-27 2022-03-03 Walmart Apollo, Llc Systems and methods for auto-replenishment of products using pressure mapping sensors and machine learning
CN112348248A (zh) 2020-11-03 2021-02-09 北京京东乾石科技有限公司 商品布局数据的获取方法、装置、货柜、设备和介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020175112A1 (en) * 2001-02-26 2002-11-28 At&C Co., Ltd. System for sorting commercial articles and method therefor
JP2003030747A (ja) * 2001-07-19 2003-01-31 National Institute Of Advanced Industrial & Technology 自動化ショッピングシステム
CN103606093A (zh) * 2013-10-28 2014-02-26 燕山大学 一种基于人体特征的连锁机构vip客户智能服务系统
US20150012396A1 (en) * 2013-06-26 2015-01-08 Amazon Technologies, Inc. Transitioning items from a materials handling facility
CN106127564A (zh) * 2016-08-18 2016-11-16 上海励识电子科技有限公司 一种物品管理方法、装置及系统
CN107123006A (zh) * 2017-07-12 2017-09-01 杨智勇 一种智能购物系统
CN107301538A (zh) * 2017-07-12 2017-10-27 杨智勇 基于短期休息空间实现商品销售的智能支付方法
CN107330684A (zh) * 2017-07-06 2017-11-07 广州联业商用机器人科技股份有限公司 一种云端智能管控无人商店及其自动结算方法
CN107481000A (zh) * 2017-07-27 2017-12-15 惠州市伊涅科技有限公司 无人超市售货方法
CN107705436A (zh) * 2017-09-21 2018-02-16 帮团成都电子商务有限责任公司 一种称重装置、重量处理方法及自动售货机
CN208141447U (zh) * 2018-03-02 2018-11-23 北京京东尚科信息技术有限公司 智能货架系统

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003187352A (ja) * 2001-12-14 2003-07-04 Nippon Signal Co Ltd:The 特定人物検出システム
JP2005352725A (ja) * 2004-06-10 2005-12-22 Matsushita Electric Ind Co Ltd 物品の移動識別装置
JP2007102517A (ja) * 2005-10-05 2007-04-19 Sony Corp 顔認識装置および方法、係数生成装置および方法、プログラム、並びに記録媒体
JP5010905B2 (ja) * 2006-12-13 2012-08-29 パナソニック株式会社 顔認証装置
JP2010237756A (ja) * 2009-03-30 2010-10-21 Fujifilm Corp 顔認証方法及び顔認証装置
JP5444792B2 (ja) * 2009-03-31 2014-03-19 大日本印刷株式会社 盗難警報システム及び方法
JP2014118259A (ja) * 2012-12-17 2014-06-30 Toshiba Tec Corp 情報処理装置およびプログラム
US10664795B1 (en) * 2013-09-20 2020-05-26 Amazon Technologies, Inc. Weight based item tracking
JP2015102369A (ja) * 2013-11-22 2015-06-04 順一 堀尾 重量報知装置
EP3422309A4 (en) * 2016-02-29 2020-02-26 Signpost Corporation INFORMATION PROCESSING SYSTEM
JP6622124B2 (ja) * 2016-03-17 2019-12-18 株式会社東芝 算出装置及び認識装置
AU2017250110B2 (en) * 2016-04-11 2022-08-04 Package Solutions, Inc. Package room systems and methods
CN107481414A (zh) 2017-08-21 2017-12-15 文彬 一种开放式无人售卖装置的实时导购方法及系统
CN107644330A (zh) * 2017-10-27 2018-01-30 衢州市商天下网络科技有限公司 无人超市系统
JP7289613B2 (ja) * 2018-02-28 2023-06-12 株式会社ヴィンクス 商品管理システム及び商品管理方法
CN108198052B (zh) * 2018-03-02 2024-07-19 北京京东尚科信息技术有限公司 用户选购商品识别方法、装置以及智能货架系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020175112A1 (en) * 2001-02-26 2002-11-28 At&C Co., Ltd. System for sorting commercial articles and method therefor
JP2003030747A (ja) * 2001-07-19 2003-01-31 National Institute Of Advanced Industrial & Technology 自動化ショッピングシステム
US20150012396A1 (en) * 2013-06-26 2015-01-08 Amazon Technologies, Inc. Transitioning items from a materials handling facility
CN103606093A (zh) * 2013-10-28 2014-02-26 燕山大学 一种基于人体特征的连锁机构vip客户智能服务系统
CN106127564A (zh) * 2016-08-18 2016-11-16 上海励识电子科技有限公司 一种物品管理方法、装置及系统
CN107330684A (zh) * 2017-07-06 2017-11-07 广州联业商用机器人科技股份有限公司 一种云端智能管控无人商店及其自动结算方法
CN107123006A (zh) * 2017-07-12 2017-09-01 杨智勇 一种智能购物系统
CN107301538A (zh) * 2017-07-12 2017-10-27 杨智勇 基于短期休息空间实现商品销售的智能支付方法
CN107481000A (zh) * 2017-07-27 2017-12-15 惠州市伊涅科技有限公司 无人超市售货方法
CN107705436A (zh) * 2017-09-21 2018-02-16 帮团成都电子商务有限责任公司 一种称重装置、重量处理方法及自动售货机
CN208141447U (zh) * 2018-03-02 2018-11-23 北京京东尚科信息技术有限公司 智能货架系统

Cited By (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11638490B2 (en) 2018-03-02 2023-05-02 Beijing Jingdong Shangke Information Technology Co., Ltd. Method and device for identifying product purchased by user and intelligent shelf system
WO2019165891A1 (zh) * 2018-03-02 2019-09-06 北京京东尚科信息技术有限公司 用户选购商品识别方法、装置以及智能货架系统
CN108875664A (zh) * 2018-06-27 2018-11-23 北京京东尚科信息技术有限公司 选购商品的识别方法、装置以及售货机
CN108921081A (zh) * 2018-06-27 2018-11-30 百度在线网络技术（北京）有限公司 用户操作的检测方法和装置
CN108921081B (zh) * 2018-06-27 2020-10-09 百度在线网络技术（北京）有限公司 用户操作的检测方法和装置
CN108647671A (zh) * 2018-06-28 2018-10-12 武汉市哈哈便利科技有限公司 一种光学标识视觉识别方法及基于该方法的无人售货柜
CN108647671B (zh) * 2018-06-28 2023-12-22 武汉市哈哈便利科技有限公司 一种光学标识视觉识别方法及基于该方法的无人售货柜
CN108985359A (zh) * 2018-06-29 2018-12-11 深圳和而泰数据资源与云技术有限公司 一种商品识别方法、无人售货机及计算机可读存储介质
CN109003390A (zh) * 2018-06-29 2018-12-14 深圳和而泰数据资源与云技术有限公司 一种商品识别方法、无人售货机及计算机可读存储介质
CN109003390B (zh) * 2018-06-29 2021-08-10 深圳和而泰数据资源与云技术有限公司 一种商品识别方法、无人售货机及计算机可读存储介质
CN110677448A (zh) * 2018-07-03 2020-01-10 百度在线网络技术（北京）有限公司 关联信息推送方法、装置和系统
CN109215216B (zh) * 2018-07-09 2022-10-04 青岛海尔特种电冰柜有限公司 自动售卖异常报警方法和自动售卖装置
CN110232567A (zh) * 2018-07-09 2019-09-13 南宁市安普康商贸有限公司 基于购买者位置定位的开放式自助销售方法及系统
CN109215216A (zh) * 2018-07-09 2019-01-15 青岛海尔特种电冰柜有限公司 自动售卖异常报警方法和自动售卖装置
CN109008484A (zh) * 2018-08-08 2018-12-18 颜沿（上海）智能科技有限公司 一种货架试妆系统及方法
CN109255674A (zh) * 2018-08-08 2019-01-22 颜沿（上海）智能科技有限公司 一种试妆数据处理系统及方法
CN109008484B (zh) * 2018-08-08 2021-06-01 颜沿（上海）智能科技有限公司 一种货架试妆系统及方法
CN109255674B (zh) * 2018-08-08 2022-03-04 颜沿（上海）智能科技有限公司 一种试妆数据处理系统及方法
CN109241877A (zh) * 2018-08-20 2019-01-18 北京旷视科技有限公司 一种轨迹识别系统、方法、装置及其计算机存储介质
CN109241877B (zh) * 2018-08-20 2021-08-10 北京旷视科技有限公司 一种轨迹识别系统、方法、装置及其计算机存储介质
CN109034980B (zh) * 2018-08-23 2021-12-28 深圳码隆科技有限公司 一种搭配商品推荐方法、装置和用户终端
CN109243112A (zh) * 2018-08-23 2019-01-18 深圳码隆科技有限公司 一种开放式环境购物控制方法和装置
CN109034980A (zh) * 2018-08-23 2018-12-18 深圳码隆科技有限公司 一种搭配商品推荐方法、装置和用户终端
CN109166007A (zh) * 2018-08-23 2019-01-08 深圳码隆科技有限公司 一种基于自动售货机的商品推荐方法及其装置
CN109191196A (zh) * 2018-08-23 2019-01-11 深圳码隆科技有限公司 一种基于用户特征的商品推荐方法、装置和用户终端
CN109118682A (zh) * 2018-08-30 2019-01-01 深圳市有钱科技有限公司 智能计数及结算方法和装置
CN109190706A (zh) * 2018-09-06 2019-01-11 深圳码隆科技有限公司 无人售货方法、装置及系统
CN109215219B (zh) * 2018-09-11 2020-06-19 新锐泰乐（北京）科技有限公司 提高自动售货机盘点速度的方法及系统
CN109215219A (zh) * 2018-09-11 2019-01-15 新锐泰乐（北京）科技有限公司 提高自动售货机盘点速度的方法及系统
CN110926585B (zh) * 2018-09-20 2021-12-14 北京京东尚科信息技术有限公司 用于输出信息的方法和装置
CN109447619A (zh) * 2018-09-20 2019-03-08 华侨大学 基于开放环境的无人结算方法、装置、设备和系统
CN110926585A (zh) * 2018-09-20 2020-03-27 北京京东尚科信息技术有限公司 用于输出信息的方法和装置
US11071399B2 (en) 2018-09-21 2021-07-27 Boe Technology Group Co., Ltd. Shelf system
CN109330284A (zh) * 2018-09-21 2019-02-15 京东方科技集团股份有限公司 一种货架系统
CN109029668B (zh) * 2018-09-25 2024-02-20 中能汇(浙江)科技股份有限公司 一种物品识别的自动称重系统
CN109029668A (zh) * 2018-09-25 2018-12-18 浙江万维识别技术有限公司 一种物品识别的自动称重系统
CN111126110A (zh) * 2018-10-31 2020-05-08 杭州海康威视数字技术股份有限公司 一种商品信息识别方法、结算方法、装置及无人零售系统
CN111126110B (zh) * 2018-10-31 2024-01-05 杭州海康威视数字技术股份有限公司 一种商品信息识别方法、结算方法、装置及无人零售系统
CN109509061A (zh) * 2018-10-31 2019-03-22 广州慧睿思通信息科技有限公司 基于人工智能的购物方法、装置、系统及存储介质
CN111199410A (zh) * 2018-11-16 2020-05-26 阿里巴巴集团控股有限公司 商品管理方法、装置和智能货架
CN110020848A (zh) * 2018-12-14 2019-07-16 拉扎斯网络科技（上海）有限公司 一种无人售卖的方法、智能货架及存储介质
CN111382650B (zh) * 2018-12-28 2023-05-02 阿里巴巴集团控股有限公司 商品购物处理系统、方法、装置及电子设备
CN111382650A (zh) * 2018-12-28 2020-07-07 阿里巴巴集团控股有限公司 商品购物处理系统、方法、装置及电子设备
CN111428743B (zh) * 2019-01-09 2023-04-18 阿里巴巴集团控股有限公司 商品识别方法、商品处理方法、装置及电子设备
CN111428743A (zh) * 2019-01-09 2020-07-17 阿里巴巴集团控股有限公司 商品识别方法、商品处理方法、装置及电子设备
CN111222870B (zh) * 2019-01-24 2024-02-27 图灵通诺（北京）科技有限公司 结算方法、装置和系统
CN111222870A (zh) * 2019-01-24 2020-06-02 图灵通诺（北京）科技有限公司 结算方法、装置和系统
CN111667650A (zh) * 2019-03-05 2020-09-15 阿里巴巴集团控股有限公司 自助结算方法、装置及系统
CN110147723B (zh) * 2019-04-11 2022-08-19 苏宁云计算有限公司 一种无人店中顾客异常行为的处理方法及系统
CN110147723A (zh) * 2019-04-11 2019-08-20 苏宁云计算有限公司 一种无人店中顾客异常行为的处理方法及系统
CN110443637A (zh) * 2019-07-16 2019-11-12 浙江大华技术股份有限公司 用户购物行为分析方法、装置及存储介质
CN110728551A (zh) * 2019-08-19 2020-01-24 深圳市思派德光学科技有限公司 基于5g通信及视觉识别的租赁方法、装置、终端及存储
CN111783509A (zh) * 2019-08-29 2020-10-16 北京京东尚科信息技术有限公司 自动结算方法、装置、系统和存储介质
CN110610149A (zh) * 2019-09-03 2019-12-24 卓尔智联(武汉)研究院有限公司 一种信息处理方法、装置及计算机存储介质
CN112464697A (zh) * 2019-09-06 2021-03-09 图灵通诺（北京）科技有限公司 基于视觉和重力感应的商品与顾客的匹配方法和装置
WO2021042730A1 (zh) * 2019-09-06 2021-03-11 图灵通诺（北京）科技有限公司 基于视觉和重力感应的商品与顾客的匹配方法和装置
US11983250B2 (en) 2019-09-06 2024-05-14 Yi Tunnel (Beijing) Technology Co., Ltd. Item-customer matching method and device based on vision and gravity sensing
CN112464697B (zh) * 2019-09-06 2024-05-14 图灵通诺（北京）科技有限公司 基于视觉和重力感应的商品与顾客的匹配方法和装置
CN111860221A (zh) * 2020-06-30 2020-10-30 深圳市九洲电器有限公司 一种货柜管理的方法以及货柜
CN111988579A (zh) * 2020-08-31 2020-11-24 杭州海康威视系统技术有限公司 数据审核方法、系统和电子设备
CN111988579B (zh) * 2020-08-31 2022-05-31 杭州海康威视系统技术有限公司 数据审核方法、系统和电子设备
CN112215068A (zh) * 2020-09-09 2021-01-12 苏宁云计算有限公司 一种店铺内用户行为的监控方法、装置、系统及计算机系统
WO2023051775A1 (zh) * 2021-10-01 2023-04-06 南宁市安普康商贸有限公司 无人售卖系统及控制方法、装置和介质
CN114821729A (zh) * 2022-05-05 2022-07-29 无锡八英里电子科技有限公司 商品导购方法、装置、云服务器及存储介质
CN114821729B (zh) * 2022-05-05 2024-04-05 无锡八英里电子科技有限公司 商品导购方法、装置、云服务器及存储介质

Also Published As

Publication number Publication date
US11638490B2 (en) 2023-05-02
US20210056498A1 (en) 2021-02-25
CN108198052B (zh) 2024-07-19
JP7311524B2 (ja) 2023-07-19
JP2021515333A (ja) 2021-06-17
WO2019165891A1 (zh) 2019-09-06

Similar Documents

Publication Publication Date Title
CN108198052A (zh) 用户选购商品识别方法、装置以及智能货架系统
US11501523B2 (en) Goods sensing system and method for goods sensing based on image monitoring
CN208141447U (zh) 智能货架系统
CN111415461B (zh) 物品识别方法及系统、电子设备
CN111626681B (zh) 一种用于库存管理的图像识别系统
CN108335408B (zh) 用于自动售货机的物品识别方法、装置、系统及存储介质
US10963947B2 (en) Method, a device and a system for checkout
JP7251569B2 (ja) 店舗装置、店舗管理方法、プログラム
CN108051777B (zh) 目标的追踪方法、装置及电子设备
JPWO2019038968A1 (ja) 店舗装置、店舗システム、店舗管理方法、プログラム
CN110648186B (zh) 数据分析方法、装置、设备及计算机可读存储介质
CN111222870B (zh) 结算方法、装置和系统
EP3901841B1 (en) Settlement method, apparatus, and system
CN107928275A (zh) 信息推荐方法、智能镜子及存储介质
SE2050058A1 (en) Customer behavioural system
CN110689389A (zh) 基于计算机视觉的购物清单自动维护方法及装置、存储介质、终端
CN110659955A (zh) 多用户购物管理方法、装置、设备及存储介质
US20200134339A1 (en) Image Processing for Identifying Individuals
CN109697645A (zh) 用于货架的信息生成方法和装置
CN109243092A (zh) 一种宠物寄存方法、装置、服务器及无人售货商店
CN118429707A (zh) 一种商品识别方法、装置和电子设备
CN117218678A (zh) 行为检测方法、装置及电子设备
JP2021076997A (ja) カメラを用いたマーケティングシステム
CN110659957A (zh) 无人便利店购物方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1256574

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant