CN108520194A - 基于影像监测的货品感知系统及货品感知方法 - Google Patents

基于影像监测的货品感知系统及货品感知方法 Download PDF

Info

Publication number
CN108520194A
CN108520194A CN201810078256.2A CN201810078256A CN108520194A CN 108520194 A CN108520194 A CN 108520194A CN 201810078256 A CN201810078256 A CN 201810078256A CN 108520194 A CN108520194 A CN 108520194A
Authority
CN
China
Prior art keywords
kinds
goods
picture
sample
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810078256.2A
Other languages
English (en)
Inventor
李庭涛
冯立男
夏鼎
马捷昱
邬文尧
张玫
张一玫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yun Hi Intelligent Technology Co Ltd
Original Assignee
Shanghai Yun Hi Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Yun Hi Intelligent Technology Co Ltd filed Critical Shanghai Yun Hi Intelligent Technology Co Ltd
Publication of CN108520194A publication Critical patent/CN108520194A/zh
Priority to SG11202003731PA priority Critical patent/SG11202003731PA/en
Priority to KR1020207006089A priority patent/KR102454854B1/ko
Priority to JP2019543905A priority patent/JP7078275B2/ja
Priority to AU2018102235A priority patent/AU2018102235A4/en
Priority to EP18902417.7A priority patent/EP3745296B1/en
Priority to AU2018405072A priority patent/AU2018405072A1/en
Priority to PCT/CN2018/117326 priority patent/WO2019144690A1/zh
Priority to US16/812,032 priority patent/US11501523B2/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0639—Item locations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G19/00—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F5/00—Show stands, hangers, or shelves characterised by their constructional features
    • A47F5/0018—Display racks with shelves or receptables
    • A47F5/0025—Display racks with shelves or receptables having separate display containers or trays on shelves or on racks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G19/00—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
    • G01G19/52—Weighing apparatus combined with other objects, e.g. furniture
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V7/00—Measuring gravitational fields or waves; Gravimetric prospecting or detecting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2379—Updates performed during online database operations; commit processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G06Q10/0875—Itemisation or classification of parts, supplies or services, e.g. bill of materials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/206—Point-of-sale [POS] network systems comprising security or operator identification provisions, e.g. password entry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/38—Individual registration on entry or exit not involving the use of a pass with central registration
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0009—Details of the software in the checkout register, electronic cash register [ECR] or point of sale terminal [POS]
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0018—Constructional details, e.g. of drawer, printing means, input means
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/009—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader the reader being an RFID reader
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/12—Cash registers electronically operated
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/12—Cash registers electronically operated
    • G07G1/14—Systems including one or more distant stations co-operating with a central processing unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/35—Services specially adapted for particular environments, situations or purposes for the management of goods or merchandise
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F10/00—Furniture or installations specially adapted to particular types of service systems, not otherwise provided for
    • A47F10/02—Furniture or installations specially adapted to particular types of service systems, not otherwise provided for for self-service type systems, e.g. supermarkets
    • A47F2010/025—Furniture or installations specially adapted to particular types of service systems, not otherwise provided for for self-service type systems, e.g. supermarkets using stock management systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G19/00—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
    • G01G19/40—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight
    • G01G19/413—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight using electromechanical or electronic computing means
    • G01G19/414—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight using electromechanical or electronic computing means using electronic computing means only
    • G01G19/4144—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight using electromechanical or electronic computing means using electronic computing means only for controlling weight of goods in commercial establishments, e.g. supermarket, P.O.S. systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G19/00—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
    • G01G19/40—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight
    • G01G19/42—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight for counting by weighing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Tourism & Hospitality (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Human Resources & Organizations (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Security & Cryptography (AREA)

Abstract

本发明提供一种基于影像监测的货品感知系统及货品感知方法；所述货品感知系统包括样本采集单元、模型训练单元、实时图片采集单元以及货品种类获取单元；所述货品感知方法包括样本采集步骤、模型训练步骤、实时图片采集步骤以及货品种类获取步骤。本发明的有益效果在于，可以判断货架上货品的取放状态，可以根据货架前方空间的实时图片判断出被取走或被放回的货品的具体种类。

Description

基于影像监测的货品感知系统及货品感知方法
技术领域
本发明涉及一种用于零售业的货品感知技术，具体地说，涉及一种基于影像监测的货品感知系统及感知方法。
背景技术
传统零售业的购物方式，每一家超市货便利店需要有专门的销售人员和收款人员，人力成本较高。随着电子支付技术、身份感知技术及云计算技术的发展，无人超市项目在技术上具备很高的可行性。在无人超市项目中，急需解决的一个基本问题就是用户选购货品的判断和记录问题，具体地说，服务器需要准确判定用户从货架上取走货品的种类、取走货品的数量及单价等，以便自动为用户实现结算。
现有技术中，有人采用RFID技术感知用户选购的货品，这种方式需要在每一个货品上设置RFID标签，在门禁处设置RFID读写器，其不足之处在于，首先，硬件成本较高，每一RFID标签的价格大约在0.5-1元左右，标签会提升每一种货品的成本，降低超市的竞争力，对于成本为5元的货品来说，加装RFID标签会提升其成本的10-20%；其次，货品感知存在被屏蔽、被去除的可能性，从而出现用户蒙蔽RFID阅读器的现象，导致货品丢失；再次，该方案中只有在超市门禁处才能实现结算，如果有用户在离店前将可食用的货品吃掉，将包装留在超市里，RFID阅读器也无法感知和确定用户的真实消费金额。也就是说，这一方案高度依靠市民用户的自律性和道德水平，而不是用技术手段加以约束，这样的无人超市营业过程中的风险较大。
发明内容
本发明的目的在于，提供一种基于影像监测的货品感知技术，可以解决现有技术存在的货品取放状态的感知精准度差、监控误差较大、成本较高、货品容易丢失的技术问题。
为实现上述目的，本发明提供一种基于影像监测的货品感知系统，包括：样本采集单元，用以采集多组图片样本，每一组图片样本包括一种货品在多角度下的多张样本图片；同一种类货品的一组图片样本被设有相同的组别标识，该组别标识即为该组图片样本对应的货品的种类；模型训练单元，用以根据多组图片样本中的每一样本图片及其组别标识训练卷积神经网络模型，获取货品识别模型；实时图片采集单元，用以连续采集货架前方空间的至少一实时图片，每一实时图片包括货品图片的部分或全部；以及货品种类获取单元，用以根据所述实时图片及所述货品识别模型获取所述实时图片中显示的货品的种类及数量。
进一步地，在不同实施例中，所述基于影像监测的货品感知系统，还包括第一摄像头，连接至所述样本采集单元，用以拍摄每一货品多个角度多个距离的图片；第二摄像头，连接至所述实时图片采集单元，用以拍摄一货架前方空间的实时图片；其中，所述第二摄像头的镜头的视野范围覆盖所述货架前方空间。
进一步地，在不同实施例中，所述第二摄像头的数量为两个或四个；所述第二摄像头的镜头朝向所述货架前方的空间区域的中部；所述第二摄像头的镜头的中轴线与水平面夹角为30-60度；和/或，所述第二摄像头的镜头与所述货架上端或下端的距离为0.8-1.2米；和/或，所述第二摄像头的镜头与所述货架一侧边的距离为0.8-1.2米。
进一步地，在不同实施例中，所述模型训练单元包括分组模型训练单元，将多组训练样本的每一样本图片及其组别标识输入至卷积神经网络模型，经训练后获取分组模型；其中，所述训练样本为所述多组图片样本的全部或部分，所述分组模型即为货品识别模型。
进一步地，在不同实施例中，所述模型训练单元包括样本分类单元，用以将多组所述图片样本随机分成两类，分别为训练样本和测试样本；分组模型训练单元，用以将多组训练样本的每一样本图片及其组别标识输入至卷积神经网络模型，经训练后获取分组模型；以及交叉验证单元，用以根据多组测试样本的每一图片及每一组测试样本的组别标识对所述分组模型进行验证，计算模型准确率；当所述分组模型的准确率小于预设阈值时，返回所述样本分类单元；当所述分组模型的准确率大于或等于所述预设阈值时，所述分组模型为货品识别模型。
进一步地，在不同实施例中，所述分组模型训练单元包括特征提取单元，用以将每一训练样本的图片输入卷积神经网络，进行特征提取，获取特征图像；候选区域生成单元，用以将每一训练样本的图片输入候选区域网络，生成多个候选区域；候选区域映射单元，用以把每一训练样本的图片候选区域映射到卷积神经网络最后一层卷积层的特征图像上；分类器生成单元，用以收集多个训练样本的图片特征图像和候选区域，计算出候选区域的特征图像，并送入分类器网络，生成分类器。
进一步地，在不同实施例中，所述交叉验证单元包括：测试样本输入单元，用以将多个测试样本的每一图片输入至所述分组模型，获取多个测试样本的测试组别标识；以及准确率计算单元，用以将多个测试样本的测试组别标识与所述测试样本的组别标识对比，计算相同标识的数量与所述测试样本的数量的比值，该比值即为所述初级数据模型的准确率。
进一步地，在不同实施例中，所述货品种类获取单元还包括组别标识获取单元，用以将多个实时图片输入至所述货品识别模型，获取多个实时图片所对应的多个组别标识，作为可能性结论；以及标识可信度计算单元，用以所述可能性结论中每一种组别标识的数量与所述可能性结论中全部组别标识总数的比值，该比值即为每一种组别标识的可信度，可信度最大的组别标识所对应的货品的种类和/或数量即为所述实时图片上显示的货品的种类和/或数量。
进一步地，在不同实施例中，所述组别标识获取单元包括：第二特征提取单元，用以将一实时图片输入卷积神经网络，进行特征提取，获取特征图像；第二候选区域生成单元，用以将所述实时图片输入候选区域网络，生成多个候选区域；第二候选区域映射单元，用以把所述实时图片的候选区域映射到卷积神经网络最后一层的特征图像上；以及组别获取单元，用以收集多个图片的特征图像和候选区域，计算出候选区域的特征图像，并送入分类器网络，获取该实时图片所对应的组别标识。
为实现上述目的，本发明还提供一种基于影像监测的货品感知方法，包括如下步骤：样本采集步骤，用以采集多组图片样本，每一组图片样本包括一种货品在多角度下的多张样本图片；同一种类货品的一组图片样本被设有相同的组别标识，该组别标识即为该组图片样本对应的货品的种类；模型训练步骤，用以根据多组图片样本中的每一样本图片及其组别标识训练卷积神经网络模型，获取货品识别模型；实时图片采集步骤，用以连续采集所述货架前方空间的至少一实时图片，每一实时图片包括货品图片的一部分或全部；以及货品种类获取步骤，用以根据所述实时图片及所述货品识别模型获取所述实时图片中显示的货品的种类及数量。
进一步地，在不同实施例中，所述模型训练步骤包括如下步骤：分组模型训练步骤，将多组训练样本的每一样本图片及其组别标识输入至卷积神经网络模型，经训练后获取分组模型；其中，所述训练样本为所述多组图片样本的全部或部分，所述分组模型即为货品识别模型。
进一步地，在不同实施例中，所述模型训练步骤包括如下步骤：样本分类步骤，用以将多组所述图片样本随机分成两类，分别为训练样本和测试样本；分组模型训练步骤，用以将多组训练样本的每一样本图片及其组别标识输入至卷积神经网络模型，经训练后获取分组模型；以及交叉验证步骤，用以根据多组测试样本的每一图片及每一组测试样本的组别标识对所述分组模型进行验证，计算模型准确率；当所述分组模型的准确率小于预设阈值时，返回所述样本分类步骤；当所述分组模型的准确率大于或等于所述预设阈值时，所述分组模型为货品识别模型。
进一步地，在不同实施例中，所述分组模型训练步骤包括如下步骤：特征提取步骤，用以将每一训练样本的图片输入卷积神经网络，进行特征提取，获取特征图像；候选区域生成步骤，用以将每一训练样本的图片输入候选区域网络，生成多个候选区域；候选区域映射步骤，用以把每一训练样本的图片候选区域映射到卷积神经网络最后一层卷积层的特征图像上；分类器生成步骤，用以收集多个训练样本的图片特征图像和候选区域，计算出候选区域的特征图像，并送入分类器网络，生成分类器。
进一步地，在不同实施例中，所述交叉验证步骤，包括如下步骤：测试样本输入步骤，用以将多个测试样本的每一图片输入至所述分组模型，获取多个测试样本的测试组别标识；以及准确率计算步骤，用以将多个测试样本的测试组别标识与所述测试样本的组别标识对比，计算相同标识的数量与所述测试样本的数量的比值，该比值即为所述初级数据模型的准确率。
进一步地，在不同实施例中，所述货品种类获取步骤还包括如下步骤：组别标识获取步骤，用以将多个实时图片输入至所述货品识别模型，获取多个实时图片所对应的多个组别标识，作为可能性结论；以及标识可信度计算步骤，用以所述可能性结论中每一种组别标识的数量与所述可能性结论中全部组别标识总数的比值，该比值即为每一种组别标识的可信度，可信度最大的组别标识所对应的货品的种类和/或数量即为所述实时图片上显示的货品的种类和/或数量。
进一步地，在不同实施例中，所述组别标识获取步骤包括如下步骤：第二特征提取步骤，用以将一实时图片输入卷积神经网络，进行特征提取，获取特征图像；第二候选区域生成步骤，用以将所述实时图片输入候选区域网络，生成多个候选区域；第二候选区域映射步骤，用以把所述实时图片的候选区域映射到卷积神经网络最后一层的特征图像上；以及组别获取步骤，用以收集多个图片的特征图像和候选区域，计算出候选区域的特征图像，并送入分类器网络，获取该实时图片所对应的组别标识。
本发明的有益效果在于，提供一种基于影像监测的货品感知系统及货品感知方法，可以判断货架上货品的取放状态，可以根据货架前方空间的实时图片判断出被取走或被放回的货品的具体种类。若结合基于重量监测的货品感知系统，还可以准确判断货品数量，若结合用户身份识别技术和用户定位跟踪技术，还可以准确判断被取走或被放回的货品的用户身份，从而在该用户购物数据库中准确添加或删除购物记录，以便用户购物结束后自动结算。
附图说明
图1为本发明实施例所述的无人超市俯视图；
图2为本发明实施例所述货架的整体结构示意图；
图3为本发明实施例所述用户身份识别系统的结构框图；
图4为本发明实施例所述用户定位系统的结构框图；
图5为本发明实施例所述影像传感器在封闭空间内的分布图；
图6为本发明实施例所述基于影像监测的货品感知系统的结构框图；
图7为本发明实施例所述第二摄像头与货架的位置关系图；
图8为本发明实施例所述购物用户判断系统的结构框图；
图9为本发明实施例所述购物数据库系统的结构框图；
图10为本发明实施例所述结算系统的结构框图。
图11为本发明实施例所述基于影像监测的货品感知方法的流程图；
图12为本发明实施例所述模型训练步骤的流程图；
图13为本发明实施例所述分组模型训练步骤的流程图；
图14为本发明实施例所述交叉验证步骤的流程图；
图15为本发明实施例所述种类判断步骤的流程图；
图16为本发明实施例所述组别标识获取步骤的流程图。
图中各个部件标号如下：
1封闭空间，2货架，3支架，4托盘，5架板，7数据处理设备；
100用户身份识别系统，101门禁装置，102身份识别装置；1021扫码装置，1022身份获取单元，103用户入口，104用户出口；
200目标物定位系统，201三维影像采集装置，202目标物坐标获取单元；
2011影像传感器，2012深度图像传感器，2013 RGB图像传感器，2014三维影像整合单元；
2021坐标系建立单元，2022参数获取单元，2023背景去除单元，2024目标物坐标计算单元；20221传感器坐标获取单元， 20222相对坐标获取单元，20223坐标修正单元；
400基于影像监测的货品感知系统，401样本采集单元，402模型训练单元，403实时图片采集单元，404货品种类获取单元，405第一摄像头，406第二摄像头；407被放货品确认单元；408取走货品确认单元；
4021样本分类单元，4022分组模型训练单元，4023交叉验证单元；
40221特征提取单元，40222候选区域生成单元，40223候选区域映射单元，40224分类器生成单元；40231测试样本输入单元，40232准确率计算单元；
4041组别标识获取单元，4042标识可信度计算单元；
40411第二特征提取单元，40412第二候选区域生成单元，40413第二候选区域映射单元，40414组别获取单元；
500购物用户判断系统，501货品信息存储单元，502架板坐标存储单元，503架板与用户匹配判断单元，504货品与用户匹配判断单元；
600购物数据库系统，601购物数据库生成单元，602购物数据库更新单元；
700结算系统，701总金额计算单元，702支付单元。
具体实施方式
以下参考说明书附图完整介绍本发明的优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，其保护范围并非仅限于文中提到的实施例。
在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的部件以相似数字标号表示。本发明所提到的方向用语，例如，上、下、前、后、左、右、内、外、上表面、下表面、侧面、顶部、底部、前端、后端、末端等，仅是附图中的方向，只是用来解释和说明本发明，而不是用来限定本发明的保护范围。
当某些部件被描述为“在”另一部件“上”时，所述部件可以直接置于所述另一部件上；也可以存在一中间部件，所述部件置于所述中间部件上，且所述中间部件置于另一部件上。当一个部件被描述为“安装至”或“连接至”另一部件时，二者可以理解为直接“安装” 或“连接”，或者一个部件通过一中间部件间接 “安装至”或“连接至”另一个部件。
本实施例涉及一种基于影像监测的货品感知系统，是一种用于无人超市的无人售货系统中的一部分。如图1~2所示，所述无人售货系统包括一封闭空间1，其内设有多个货架2，每一货架2包括支架3及可拆卸式安装在支架3上的多个托盘4，多个托盘4在不同高度彼此平行或者在同一高度彼此平齐。每一托盘4上设有多个并列设置的架板5，每一架板5上放置有至少一种货品。本实施例架板5上放置的货品需要便于用户取走或放回，因此，以架板5朝向用户的一端作为架板5的前端。本实施例中，每一架板5皆为一个敞口的盒体，可以被放置有一种或多种货品，所述货品为标准货品，同一种类的货品的外观和重量都相同或近似。
本实施例还包括数据处理设备7，如服务器或计算机等，数据处理设备7内部设有多个数据处理软件，具有多个功能模块，可以通过数据线连接至多个硬件，以软硬件结合方式实现多种功能。
如图1、图3所示，本实施例还包括用户身份识别系统100，用以识别每一用户的身份信息。用户身份识别系统100包括门禁装置101及身份识别装置102，本实施例所述封闭空间1不是绝对密封空间，而是相对封闭的空间，封闭空间1设有一个或多个出入口，优选一个用户入口103及一个用户出口104，所有用户由用户入口103进入此封闭空间1，由用户出口104离开此封闭空间1。
封闭空间1的每一出入口处都设置有门禁装置101，优选一自动闸机。身份识别装置102用以获取用户的身份信息，包括连接至数据处理设备7的扫码装置1021以及数据处理设备7内的身份获取单元1022。扫码装置1021设置于用户入口103处的门禁装置101的内部或外部，优选设于自动闸机的外表面，用以扫描身份识别码，优选二维码；身份获取单元1022为数据处理设备7中的一个功能模块，可以根据所述身份识别码获取用户的身份信息。用户出口104处的门禁装置101无需设置身份识别装置102。
本实施例中，每个用户将与无人超市配套使用的专用应用软件（APP）下载到移动通信终端（手机、平板电脑等）中，在应用软件（APP）中注册账号，关联至支付软件；或者，每个用户将支付软件（如微信/支付宝）下载到移动通信终端中，在支付软件中嵌入与无人超市配套使用的小程序，在支付软件中注册账号，专用应用软件（APP）或支付软件内设有用户注册信息及电子支付信息，包括用户身份信息、银行账号信息、支付密码等。注册完成后，用户身份信息会存储于数据处理设备7的用户数据库中。
移动通信终端中的应用软件（APP）可以生成一二维码，该二维码内存储有用户的身份信息等，当某一用户需要从外部进入封闭空间1时，将应用软件生成的二维码正对扫码装置1021的扫描端，扫码后扫码装置1021对此二维码进行解码处理，将解码结果传送至数据处理设备7，如果二维码是可识别的，且识别出的身份信息与预先存储在用户数据库的身份信息相匹配，确定该用户身份合法，门禁装置101打开允许该用户进入封闭空间1，用户入口103处的门禁装置101设有感应装置，如红外传感器等，当该用户进入封闭空间1之后，门禁装置101感知到有人走过门禁，然后自动关闭。当用户购物结束需要离开封闭空间1时，用户出口104处的门禁装置101感应到有人从封闭空间1内部靠近门禁装置101时，该门禁装置会自动打开，待用户离开封闭空间1后，门禁装置101感知到有人走过门禁，然后自动关闭。
身份获取单元1022根据所述身份识别码获取用户的身份信息后，数据处理设备7可以生成该用户的购物数据库，在用户购物过程中根据用户每一次购物行为获取购物信息更新该购物数据库。由于用户随身携带的移动通信终端通过应用软件（APP）与数据处理设备7进行实时数据交换，用户的购物数据库也可以显示在移动通信终端中的应用软件（APP）中，形成购物车界面，以便用户了解自己的购物记录及后续结算。
如图4所示，本实施例还包括目标物定位系统200，用以获取每一目标物在封闭空间1的实时位置，所述目标物为用户及其延伸部的全部或局部，用以获取用户整体或局部（如头部、手部等）的坐标集。目标物定位系统200包括连接至数据处理设备7的三维影像采集装置201以及设于数据处理设备7内的目标物坐标获取单元202。
如图5所示，三维影像采集装置201包括至少一影像传感器2011，用以实时采集至少一帧三维影像，影像传感器2011平均分布于封闭空间1顶部，其镜头朝向下方，镜头中轴线可以与水平面垂直也可以有一定的倾角，影像传感器2011的视野范围覆盖封闭空间1的全部底面。用户在无人超市内行动或购物时，始终处于影像传感器的监视之下，此时影像传感器采集到的三维影像中包括用户影像，所述用户影像是指该用户身体及其延伸部的全部或局部。如果该封闭空间内空无一人，每一时刻下的三维影像都与前一时刻下相同，可以判断该时刻下的三维影像都为背景，不包括任何用户影像。
每一影像传感器2011包括并列设置的深度图像传感器2012及RGB图像传感器2013以及三维影像整合单元2014，深度图像传感器2012连续采集多帧深度图像，RGB图像传感器2013连续采集多帧RGB图像，三维影像整合单元2014将同一时刻采集到的一帧深度图像及一帧RGB图像结合为一帧三维影像。
上述两个传感器同步采集（同时采集）且采集频率都是每秒30帧，影像传感器2011每秒可以获取30帧RGB图像及30帧深度图像，三维影像整合单元2014每秒可以连续获得30帧三维影像并传送至数据处理设备7的目标物坐标获取单元202。
目标物坐标获取单元202为数据处理设备7中的一个功能模块，在所述封闭空间内建立三维坐标系，根据连续多帧包括用户影像的三维影像实时获取所述用户在所述三维坐标系下的坐标集或坐标。目标物坐标获取单元202包括坐标系建立单元2021、参数获取单元2022、背景去除单元2023以及目标物坐标计算单元2024。坐标系建立单元2021在所述封闭空间内建立三维坐标系，优选地，选择封闭空间底面（无人超市的地面）的中心点作为坐标系原点，在水平方向设置X轴、Y轴，在竖直方向设置Z轴。
由于用户身体的全部或局部在三维坐标系下占用较大的空间，因此可以用一个坐标集代表用户的位置，如果考虑到位置精确控制和计算方便，也可以用该坐标集中某一个特定的点的坐标代表用户的位置，例如可以采用该用户坐标集中最高的一个点（Z轴数值最大的点）的坐标来表示用户位置。
参数获取单元2022对连续多帧包括用户影像的三维影像进行处理，获取每一帧三维影像的每一像素点的位置参数和色彩参数；所述位置参数为x、y、z，代表该像素点在所述三维坐标系下的位置坐标；所述色彩参数为r、g、b，分别代表该像素点的三原色强度。当某一用户行进至任一影像传感器的视野内之后，数据处理设备7都可以以每秒30帧的速度获取多帧三维影像，每一帧三维影像中都包括用户影像和背景影像，每一像素点可能是用户的一部分也可以是背景的一部分。
在不同的影像传感器采集到三维影像中，表示用户身体及其延伸部的同样位置的像素点，其色彩参数r、g、b都是相同的。由于不同位置的影像传感器与用户的距离不同，每一影像传感器直接采集的初级位置参数都是用户身体及其延伸部上的一点相对于该影像传感器的位置坐标，因此要进行坐标变换，将不同位置的影像传感器采集的初级位置参数都转换为在所述封闭空间内建立的三维坐标系下的位置参数。
参数获取单元2022包括传感器坐标获取单元20221、相对坐标获取单元20222以及坐标修正单元20223，传感器坐标获取单元20221获取采集该帧三维影像的影像传感器的中心点（即并列设置的深度图像传感器2012及RGB图像传感器2013的镜头中心点连线的中分点）在所述封闭空间内建立的所述三维坐标系下的坐标；相对坐标获取单元20222以所述影像传感器的中心点为第二原点建立第二三维坐标系，其X轴、Y轴及Z轴的方向与所述三维坐标系相同，从所述三维影像获取每一像素点在所述第二三维坐标系下的坐标；坐标修正单元20223用以根据所述影像传感器中心点在所述三维坐标系下的坐标及所述三维影像中每一像素点在第二三维坐标系下的坐标，计算并修正所述三维影像的每一像素点在所述三维坐标系下的坐标，从而获得用户及其延伸部的每一像素点的位置参数。
在连续采集的M帧三维影像中，每一帧三维影像包括且仅包括一个用户的影像，若分属于不同三维影像、位置参数相同的N个像素点的色彩参数相同时，且N大于0.9*M且小于或等于M，背景去除单元2023判定该N个像素点为背景像素点，从所述M帧三维影像中去除N个所述背景像素点，获得M帧无背景三维影像，即为该用户的影像。在连续获取的三维影像中，如果分属于不同三维影像的、位置参数相同的像素点的色彩参数相同，或者大部分（如90%）相同，即可认定像素点的位置为背景，从而可以将该像素点从相应的三维影像中去除。
在目标物坐标计算单元2024中，若目标物为用户及其延伸部全部，所述M帧无背景三维影像中所有像素点的位置参数的集合即为所述用户及其延伸部的全部的坐标集；在所述坐标集中，参数z最大的像素点的位置参数被定义为用户的坐标。在连续获取的三维影像中，去除背景像素点后，剩下的像素点即可代表该用户整体的行进轨迹。若连续采集的M帧三维影像中，每一帧三维影像包括多个用户的影像，需要先在每一M帧三维影像截取只含一个用户全部或部分的三维影像。
若目标物为用户及其延伸部的局部，可以获取所述用户局部的坐标集，如头部、肩部、肘部、腕部、手部等。深度图像传感器2012及RGB图像传感器2013分别设有一个镜头，如果将两个镜头的中轴线垂直水平面设置，两个镜头就会俯视封闭空间内的货品及用户。正常情况下，两个镜头可以捕捉到用户头部及肩部的位置坐标集，当用户伸出手时，也可以捕捉到用户臂部、肘部、腕部、手部的位置坐标集。如果将某一时刻下该用户的头部、肩部、肘部、腕部、手部都连成一条折线或曲线，即可将用户的手部与头部位置建立对应关系，也就是说，可以实时获取到某一手部的位置，同时可以判断出该手部属于哪一用户。
进一步地，影像传感器2011的视野范围也可以覆盖出入口外部的部分空间，当用户在出入口外部时，该用户的影像就可以被影像传感器2011获取到。用户使用所述无人售货系统的全部过程，包括出入口处身份识别过程、进入封闭空间1的过程、在封闭空间1内行走或驻留过程、离开封闭空间1过程，全部处于影像传感器2011的监控下，可以实时监控已知身份的某一用户及其身体的一部分在封闭空间1内的实时位置。扫码装置1021读取用户的二维码时，数据处理设备7即可获取其身份信息，影像传感器2011从扫码装置1021读码时开始定位及实时跟踪该用户位置，监控该用户是否与某一货架匹配。当影像传感器2011无法获取该用户的实时三维影像时，可以认定该用户购物结束，从而对其进行结算。
如图6所示，本实施例涉及一种基于影像监测的货品感知系统400，其包括样本采集单元401、模型训练单元402、实时图片采集单元403以及货品种类获取单元404，上述四个单元为数据处理设备7中的功能模块，基于影像监测的货品感知系统400可以监控货架前方空间的实时影像，判断被取走或被放回的货品的种类。
基于影像监测的货品感知系统400还包括第一摄像头405及第二摄像头406，第一摄像头405连接至数据处理设备7中的样本采集单元401，用以拍摄每一货品多个角度多个距离的图片。第二摄像头406连接至数据处理设备7中的实时图片采集单元403，用以拍摄一货架前方空间的实时图片。
如图7所示，优选地，第二摄像头406的数量为两个或四个，设置于货架2的外部，每一第二摄像头406朝向货架2的一个角落处。货架2的多个架板5的最前端位于同一平面上，该平面称之为货架平面，第二摄像头406设有镜头，该镜头的视野范围覆盖所述货架前方空间；当货品被从所述货架上被取下或者被放置在货架上时，所述货品被取下过程或被放回过程的影像被所述第二摄像头拍摄到。所述货架前方空间是指货架前方对应货架平面的空间区域，所述货架前方空间一般是指货架前方30~50厘米宽度的区域范围，每一个第二摄像头406的镜头朝向所述货架前方空间的中心区域。
优选地，第二摄像头406的镜头的中轴线与水平面夹角为30-60度；和/或，第二摄像头406的镜头与货架2上端或下端的距离为0.8-1.2米；和/或，第二摄像头406的镜头与货架2一侧边的距离为0.8-1.2米，确保第二摄像头406的视野范围可以完全覆盖货架前方空间，当货品被从货架2上被取下或者被放置在货架2上时，取下过程或放置过程的影像被第二摄像头406拍摄到。
如图6所示，样本采集单元401用以采集至少一组图片样本，每一组图片样本包括一种货品在多角度下的多张样本图片；同一种类货品的一组图片样本被设有相同的组别标识，该组别标识代表该组图片样本对应的货品的种类。优选地，第一摄像头405对货架2上每种货品需要拍摄不同角度不同距离的3000~5000张图片，并传送至数据处理设备7的样本采集单元401。这些图片中，有些是独立拍摄货品的图片，有些是有背景的货品图片，有些是货品被某人拿在手中的图片，有些是多个同类产品叠放在一起的图片。由于本实施例涉及的无人超市中所销售的货品为标准货品，同一种类货品的外观六面图都是相同或相近似的，因此在同一种类货品中只要选择一个或几个产品，对其进行多次拍照处理即可完成该类货品训练样本的采样。
模型训练单元402用以根据多组图片样本中的每一样本图片及每一样本图片的组别标识训练卷积神经网络（CNN）模型，获取货品识别模型。卷积神经网络（ConvolutionalNeural Network，简称CNN）是一种前馈神经网络，对于大型图像处理有出色表现。优选地，本实施例中的卷积神经网络模型是目前运算量最小、响应速度最快的Faster RCNN 网络模型，该模型的最快响应速度只要0.2秒左右，可以在极短的时间准确识别出图片的物品的种类及数量。如果模型训练的样本较少，或者，样本的清晰度比较低，只训练一次获得的分组模型在判断图片中显示的货品的种类时可能误差较大，因此最好能有交叉验证的过程，可以获得更加精确的模型。模型训练单元402包括样本分类单元4021、分组模型训练单元4022以及交叉验证单元4023。
样本分类单元4021将多组所述图片样本随机分成两类，分别为训练样本和测试样本；分组模型训练单元4022将多组训练样本的每一样本图片及其组别标识输入至卷积神经网络模型，经训练后获取分组模型；交叉验证单元4023用以根据多组测试样本的每一图片及每一组测试样本的组别标识对所述分组模型进行验证，计算模型准确率；当所述分组模型的准确率小于预设阈值（如90%）时，返回所述样本分类单元；当所述分组模型的准确率大于或等于所述预设阈值（如90%）时，所述分组模型为货品识别模型。如果模型训练的样本较少，或者，样本的清晰度比较低，只训练一次获得的分组模型，在判断图片中显示的货品的种类时可能误差较大，因此最好能有交叉验证单元。
如果模型训练的样本够多，样本的清晰度比较高，直接训练一次，就可以利用Faster RCNN 网络模型训练出一个分组模型，该分组模型可以有效判断图片中显示的货品的种类。在其他实施例中，模型训练单元402可以只包括分组模型训练单元4022，将样本采集单元401采集的多组图片样本的全部或部分作为训练样本，将每一样本图片及其组别标识输入至卷积神经网络模型，经训练后获取分组模型，所述分组模型即为货品识别模型。
分组模型训练单元4022包括特征提取单元40221、候选区域生成单元40222、候选区域映射单元40223以及分类器生成单元40224。特征提取单元40221将每一训练样本的图片输入卷积神经网络，进行特征提取，获取特征图像（feature map），该特征图像对应训练图片中显示全部或部分货品的区域；候选区域生成单元40222将每一训练样本的图片输入候选区域网络（RPN），生成多个候选区域（region proposals）；候选区域映射单元40223把每一训练样本的图片候选区域映射到卷积神经网络最后一层卷积层的特征图像上；分类器生成单元40224收集多个训练样本的图片特征图像和候选区域，计算出候选区域的特征图像，并送入分类器网络（classfier 网络），生成分类器。在该分类器网络中，将对应同一货品的所有训练样本图片的特征图像与该货品的组别标识形成对应关系，该组别标识即为该组图片样本对应的货品的种类。
交叉验证单元4023包括测试样本输入单元40231，准确率计算单元40232，测试样本输入单元40231将多个测试样本的每一图片输入至所述分组模型，获取多个测试样本的测试组别标识；准确率计算单元40232将多个测试样本的测试组别标识与所述测试样本的组别标识对比，计算相同标识的数量与所述测试样本的数量的比值，该比值即为所述初级数据模型的准确率。优选地，将预设阈值设置为90%，当分组模型的准确率小于90%时，样本分类单元4021将样本重新分组、重新训练；当所述分组模型的准确率大于或等于90%时，可以认为所述分组模型即为货品识别模型。
实时图片采集单元403用以连续采集货架前方空间的至少一实时图片，每一实时图片包括一个或多个货品图片的部分或全部。实时图片采集单元403连接至多个第二摄像头406，设置于所述货架的边缘处，实时拍摄一货架前方区域的图片。当有用户从货架的某一架板上取走货品时，或者，当有用户放置货品或物品至货架的某一架板时，第二摄像头406可以拍摄到货品在货架前的图片，该图片中包括此货品的全部或局部的照片，显示该货品的形状、图案及色彩。优选地，第二摄像头的拍摄速度为每秒30帧，快速获取该货品的多张实时图片，传送至实时图片采集单元403。
在连续获取的多帧图片中，每一帧图片中货品与货架边缘处的距离都是不同的，数据处理设备7可以计算所述距离的变化判断货品与货架距离变化，如果所述距离变大，可以认为货品被从货架上取走，如果所述距离变小，可以认为货品被放置在货架上。
假设用户手持货品在货架前方停留1秒钟，二个第二摄像头406以每秒30帧的速度拍摄图片，可以在1秒钟内获取不同角度的60张实时图片，每一图片的显示内容可以包括用户的手部及货品的局部。如果实时图片中不包含任何货品内容，例如某些货品体型较小，某些图片中只能显示用户的手部，或者，某些图片只显示背景影像，这样的图片可以筛除。本实施例不能适用于尺寸极小的货品，如果货品完全被用户手部包住，就不能识别出货品种类。
第二摄像头406可以为长时间持续运行的设备，也可以在货架板上设置一个红外开关，连接至第二摄像头406，平时为断电状态，当有用户行进至货架附近时，红外开关感应到热量并连通，第二摄像头406通电启动；当用户离开时，红外开关感应到不到热量从而断开，第二摄像头406断电关闭。
货品种类获取单元404用以根据所述实时图片及所述货品识别模型获取所述实时图片中显示的货品的种类及数量。货品种类获取单元404包括组别标识获取单元4041以及标识可信度计算单元4042。
组别标识获取单元4041获取多幅包含某一货品内容的实时图片，将其输入至所述货品识别模型，获取该模型输出的、多个实时图片所对应的多个组别标识，作为可能性结论。组别标识获取单元4041包括第二特征提取单元40411、第二候选区域生成单元40412、第二候选区域映射单元40413以及第二组别获取单元40414。第二特征提取单元40411将一实时图片输入卷积神经网络，进行特征提取，获取特征图像；第二候选区域生成单元40412将所述实时图片输入候选区域网络，生成多个候选区域；第二候选区域映射单元40413把所述实时图片的候选区域映射到卷积神经网络最后一层的特征图像上；组别获取单元40414收集多个图片的特征图像和候选区域，计算出候选区域的特征图像，并送入分类器网络，获取该实时图片所对应的组别标识。每一实时图片输入至所述货品识别模型之后，都可以判断出该图片对应的组别标识，如果两个第二摄像头以30帧/秒的速度采集到60张图片，且每一图片上都有显示某货品，将其输入货品识别模型，就可以获取60个组别标识。
标识可信度计算单元4042计算所述可能性结论中所述可能性结论中每一种组别标识的数量与所述可能性结论中全部组别标识总数的比值，该比值即为每一种组别标识的可信度，可信度最大的组别标识所对应的货品的种类和/或数量即为所述实时图片上显示的货品的种类和/或数量。对比上述的60个组别标识，如果与60个组别标识相应的60个货品种类中，出现货品A的次数为36，出现货品B的次数为18，出现货品C的次数为6，则三者的可信度分别为60%、30%及10%，可以认定所述实时图片上所显示的货品的种类为可信度最高的货品A。如果样本采集单元401采集的图片样本中包括多个同类货品叠放在一起的照片，货品种类获取单元404还可以进一步判断货品的数量。
基于影像监控的货品感知系统400的有益效果在于，可以实时监测货架前方空间的影像，判断是否有货品被从货架上取走或被放回至货架，利用机器学习中的卷积算法推断出货品的种类及数量的可能性结论，并选择其中可信度最高的结果作为最后结论。
如图8所示，本实施例还包括购物用户判断系统500，其为数据处理设备7中的功能模块，当任一种类货品被取走或被放回时，根据所述用户的身份信息及所述用户的实时位置获取取走或放回货品的用户身份。购物用户判断系统500包括货品信息存储单元501、架板坐标存储单元502、架板与用户匹配判断单元503以及货品与用户匹配判断单元504。
数据处理设备7内设有货品数据库，存储于货品信息存储单元501中，所述货品数据库包括每一货品信息；所述货品信息包括每一货品的货品名、型号、净含量及单价等，还包括放置该货品的货架编号、放置该货品的架板编号及货品编号。
目标物定位系统200在所述封闭空间内建立三维坐标系，由于货架2及架板5的位置确定，因此建立坐标系后即可获取各个货架2及各个架板5的坐标，将货架坐标集及架板坐标集存储于架板坐标存储单元502中，设置架板上方的用以放置货品的架板空间的高度（如30CM），即可获取所述架板空间的坐标集。
用户坐标获取单元202可以获取每一已知身份用户的手部的实时坐标集，当一架板上方的架板空间的坐标集与一用户手部坐标集有交集时，架板与用户匹配判断单元503判定该架板与该用户匹配，可以认为该用户将手部伸入至该架板上方的架板空间。
目标物定位系统200在所述封闭空间内建立三维坐标系，由于货架2及架板5的位置确定，因此建立坐标系后即可获取各个货架2及各个架板5的坐标，将货架坐标集及架板坐标集存储于架板坐标存储单元502中，设置架板上方的用以放置货品的架板空间的高度（如30CM），即可获取所述架板空间的坐标集。
用户坐标获取单元202可以获取每一已知身份用户的手部的实时坐标集，当一架板上方的架板空间的坐标集与一用户手部坐标集有交集时，架板与用户匹配判断单元503判定该架板与该用户匹配，可以认为该用户将手部伸入至该架板上方的架板空间。
基于影像监测的货品感知系统400通过第二摄像头406监控货架前方空间的实时影像，可以根据连续获取的多帧图片中货品与货架的距离变化来判断货品的取放状态，并判断被取走或被放回的货品的种类及数量。所述取放状态包括货品静置状态、被取走状态及被放回状态。
当有货品从一架板上被取走或被放置到一架板上时，且同一时刻下有一用户与该架板匹配，货品与用户匹配判断单元504判定该货品与该用户匹配，该货品在这一时刻被该用户从该架板上取走或放置到该架板上，从而确定取走货品或放回货品的该用户的身份。
如图9所示，本实施例还包括购物信息记录单元600，其为数据处理设备7中的功能模块，根据每一用户的身份信息生成至少一购物数据库，用以记录每一用户取走至少一货品的种类及数量。购物信息记录单元600包括购物数据库生成单元601以及购物数据库更新单元602。
当一用户的身份被用户身份识别系统100识别时，身份获取单元1022获取用户的身份信息，购物数据库生成单元601根据所述用户的身份信息在数据处理设备7中生成该用户的购物数据库，初始状态下的购物数据库无任何购物信息。
购物数据库更新单元602根据被取走货品的种类及数量以及取走货品的用户的身份信息生成一组购物信息，并存储至该用户的购物数据库，该购物信息中包括此刻被取走货品的种类及数量，以及该货品的货品信息，如货品名、型号、净含量及单价，等等。用户在封闭空间1内多次取走货品之后，其购物数据库内包括多组购物信息，由于用户随身携带的移动通信终端与数据处理设备7以无线通信方式连接并进行数据交换，因此，购物数据库中的购物信息也可以显示在用户的移动通信终端的APP界面上，形成用户的电子购物车。
当货品与一用户匹配时，若基于影像监测的货品感知系统400监控到某一物品被放置于该架板上，可以判断出该物品的种类及数量。数据处理设备7在该用户的购物数据库中查询每一购物信息，判断是否有已购货品的种类值与该物品种类相匹配，也即判断是否用户的购物数据库中是否有一个或多个已购货品与被放置到架板上的货物相同。
如果基于影像监测的货品感知系统400还可以判断被放回的货品的种类与该架板上原有货品种类是否一致，如果不一致，可选择地生成一个报警信号，提醒管理人员或用户发生误放现象。如果基于影像监测的货品感知系统400无法判断被放回货品种类，即可确认被放回架板的物品并非该无人超市中的既有货品，有可能是用户自带的物品，如雨伞、手机等，此时可选择地生成一个报警信号，必要时，可以将该架板的架板编号显示在某一显示器上，以便提醒管理人员或用户。
在其他实施例中，所述无人售货系统还可以包括基于重量监测的货品感知系统，在每一架板上只放置一种货品，在架板内设置重量传感器，实时感知每一种架板的重量变化，与本实施例中基于影像监测的货品感知系统配合工作，可以更精准的判断货品取放状态、被取放货品的种类及数量。
如图10所示，本实施例还包括结算系统700，其为数据处理设备7中的功能模块，用以根据所述用户的购物数据库中所有货品的种类及数量结算费用。用户购物过程结束后，可以自行从出入口的门禁装置处离开离开封闭空间1。当用户定位系统200的影像传感器2011无法获取该用户的实时三维影像时，可以认定该用户购物结束，结算系统700为该用户结算费用。
结算系统700包括总金额计算单元701及支付单元702。当所述用户离开所述封闭空间时，总金额计算单元701根据所述用户的购物数据库中全部货品的种类及数量计算总金额，由于每一种类货品的单价作为货品信息预存在数据处理设备7中，因此多种货品单价与数量的乘积的总和的金额即为该用户需要支付的总金额。进一步地，在其他实施例中，用户可以享受到货品折扣或使用优惠券、抵用券等，用户需要支付的总金额为多种货品单价与数量的乘积的总和的金额内减去优惠券和/或抵用券金额和/或折扣金额。支付单元702为结算系统700自带的支付软件或第三方支付软件，可以从所述用户的银行账户或电子账户上扣款，扣除的款项金额与该用户需要支付的总金额相同。
如图11所示，本实施例还提供一种基于影像监测的货品感知方法，也就是前述基于影像监测的货品感知系统400的实现方法，包括如下步骤：步骤S201）样本采集步骤、步骤S202）模型训练步骤、步骤S203）实时图片采集步骤以及步骤S204）货品种类获取步骤。由于本实施例涉及的无人超市中所销售的货品为标准货品，同一种类货品的外观六面图都是相同的，因此在同一种类货品中只要选择一个或几个产品，对其进行多次拍照处理即可完成该类货品训练样本的采样。
步骤S201）样本采集步骤，用以采集多组图片样本，每一组图片样本包括一种货品在多角度下的多张样本图片；对应同一种类货品的一组图片样本被设有相同的组别标识，该组别标识即为该组图片样本对应的货品的种类。在所述样本采集步骤中，以每秒30帧的速度拍摄每一货品多个角度多个距离的图片，优选地，拍摄次数为3000~5000次，过多则成本太高，过少则模型误差较大。每种货品拍摄不同角度不同距离的5000张图片，有些是独立拍摄货品的图片，有些是有背景的货品图片，有些是货品被某人拿在手中的图片，甚至可以是多个同类货品被叠放在一起后的图片。
步骤S202）模型训练步骤，用以根据多组图片样本中的每一样本图片及其组别标识训练卷积神经网络模型，获取货品识别模型。
如果模型训练的样本较少，或者，样本的清晰度比较低，只训练一次获得的分组模型，在判断图片中显示的货品的种类时可能误差较大，因此最好能有交叉验证步骤。如图12所示，步骤S202）模型训练步骤包括步骤S2021）样本分类步骤、步骤S2022）分组模型训练步骤以及步骤S2023）交叉验证步骤。
步骤S2021）样本分类步骤，用以将多组所述图片样本随机分成两类，分别为训练样本和测试样本；在前述的步骤S201）样本采集步骤，以每秒30帧的速度拍摄每一货品拍摄不同角度不同距离的4000张图片。将每一货品对应的4000张图片随机分成两部分，训练样本和测试样本各有2000张左右的图片。
步骤S2022）分组模型训练步骤，用以将多组训练样本的每一样本图片及每一样本图片的组别标识输入至卷积神经网络模型，经训练后获取分组模型。如图13所示，步骤S2022）分组模型训练步骤包括步骤S20221）特征提取步骤、步骤S20222）候选区域生成步骤、步骤S20223）候选区域映射步骤以及步骤S20224）分类器生成步骤。步骤S20221）特征提取步骤，用以将每一训练样本的图片输入卷积神经网络（CNN），进行特征提取，获取特征图像（feature map），对应训练图片中显示全部或部分货品的区域。例如，某一货品的2000张图片，在每一张图片上找出与货品整体或局部相关的特征图像（feature map）。对于彩色图片，每一像素点的RGB三原色分别对应一个二维矩阵，每个矩阵经过3*3或者5*5的卷积核进行卷积运算之后，产生三个新的二维矩阵，也就是特征图像（feature map）。步骤S20222）候选区域生成步骤，用以将每一训练样本的图片输入候选区域网络（RPN），生成多个候选区域（region proposals），优选地，每张图片生成300个候选区域。候选区域网络（RegionProposal Networks，简称RPN）是Faster RCNN模型中的proposal生成网络，由于目标检测的目标尺度可能相差很大，因此我们需要尽可能产生不同尺寸的候选区域regionproposals。步骤S20223）候选区域映射步骤，先将不同尺寸的候选区域转化为同一尺寸的图片，然后把每一训练样本的图片的候选区域（region proposals）映射到卷积神经网络最后一层卷积层的特征图像（feature map）上。步骤S20224）分类器生成步骤用以收集多个训练样本的图片特征图像（feature maps）和候选区域（region proposals），计算出候选区域的特征图像（proposal feature maps），并送入分类器网络（classfier 网络），生成分类器。在该分类器网络中，将对应同一货品的所有训练样本图片的特征图像与该货品的组别标识形成对应关系，该组别标识即为该组图片样本对应的货品的种类。
步骤S2023）交叉验证步骤，用以根据多组测试样本的每一图片及每一组测试样本的组别标识对所述分组模型进行验证，计算模型准确率。如图14所示，步骤S2023）交叉验证步骤包括步骤S20231）测试样本输入步骤以及步骤S20232）准确率计算步骤。步骤S20231）测试样本输入步骤用以将多个测试样本的每一图片输入至所述分组模型，获取多个测试样本的测试组别标识。步骤S20232）准确率计算步骤，用以将多个测试样本的测试组别标识与所述测试样本的组别标识对比，计算相同标识的数量与所述测试样本的数量的比值，该比值即为所述初级数据模型的准确率。当所述分组模型的准确率小于一个预先设置的预设阈值时，返回所述样本分类步骤；当所述分组模型的准确率大于或等于所述预设阈值时，所述分组模型为货品识别模型。优选地，将预设阈值设置为90%，当分组模型的准确率小于90%时，返回所述样本分类步骤，将样本重新分组、重新训练；当所述分组模型的准确率大于或等于90%时，可以认为所述分组模型即为货品识别模型。
如果模型训练的样本够多，样本的清晰度比较高，直接训练一次，就可以利用Faster RCNN 网络模型训练出一个分组模型，该分组模型可以有效判断图片中显示的货品的种类。步骤S202）模型训练步骤包括步骤S2022）分组模型训练步骤即可，将步骤S201）样本采集步骤中采集的多组图片样本的全部或部分作为训练样本，将每一训练图片及其组别标识输入至卷积神经网络模型，经训练后获取分组模型，所述分组模型即为货品识别模型。
步骤S203）实时图片采集步骤，用以连续采集至少一实时图片，每一实时图片包括一货品影像的一部分或全部。步骤S203）实时图片采集步骤包括第二图片采集步骤，以每秒30帧的速度拍摄每一货品多个图片，拍摄次数为10~200次。所述货架的四个角落处分别设置有一个第二摄像头206，每一第二摄像头206的视野范围覆盖所述货架前方的空间区域，每一个第二摄像头206的镜头朝向所述货架平面的中心区域。当用户伸手将某一货品从货架上取下或者将某一货品放置会货架上时，四个第二摄像头206会从不同角度拍到该货品整体或局部图片。假设用户手持货品在货架前方停留1秒钟，四个第二摄像头206以每秒30帧的速度拍摄图片，四个第二摄像头206可以在1秒钟内获取不同角度的120张实时图片，每一图片的显示内容可以包括用户的手部及货品的局部。第二摄像头206可以为长时间通电或启动的设备，也可以在货架板上设置一个红外开关，连接至第二摄像头206，平时为断电状态，当有用户行进至货架附近时，红外开关感应到热量并连通，第二摄像头206通电启动；当用户离开时，红外开关感应到不到热量从而断开，第二摄像头206断电关闭。
步骤S204）货品种类获取步骤，用以根据所述实时图片及所述货品识别模型判断所述实时图片中显示的货品的种类。如图15所示，步骤S204）种类判断步骤还包括步骤S2041）组别标识获取步骤以及步骤S2042）标识可信度计算步骤。步骤S2041）组别标识获取步骤，用以将多个实时图片输入至所述货品识别模型，获取多个实时图片所对应的多个组别标识；步骤S2042）标识可信度计算步骤，计算每一种组别标识的数量与全部组别标识总数的比值，该比值即为每一种组别标识的可信度，可信度最大的组别标识所对应的货品的种类即为所述实时图片上显示的货品的种类。步骤S204）执行完毕后，返回步骤S203）实时图片采集步骤，以待下一次有货品被取走或被放回时，及时拍摄到货品图片。
如图16所示，步骤S2041）组别标识获取步骤包括：步骤S20411）第二特征提取步骤、步骤S20412）第二候选区域生成步骤、步骤S20413）第二候选区域映射步骤以及步骤S20414）组别获取步骤。步骤S20411）第二特征提取步骤用以将一实时图片输入卷积神经网络（CNN），进行特征提取，获取特征图像feature map。步骤S20412）第二候选区域生成步骤用以将所述实时图片输入候选区域网络（RPN），生成多个候选区域（region proposals），每张实时图片生成300个候选区域。步骤S20413）第二候选区域映射步骤用以把所述实时图片的候选区域（region proposals）映射到卷积神经网络最后一层的特征图像（feature map）上。步骤S20414）组别获取步骤用以收集多个图片的特征图像（feature maps）和候选区域（region proposals），计算出候选区域的特征图像（proposal feature maps），并送入分类器网络（classfier 网络），获取该实时图片所对应的组别标识。
步骤S2042）标识可信度计算步骤，用以计算所述可能性结论中所述可能性结论中每一种组别标识的数量与所述可能性结论中全部组别标识总数的比值，该比值即为每一种组别标识的可信度，可信度最大的组别标识所对应的货品的种类和/或数量即为所述实时图片上显示的货品的种类和/或数量。对比上述的60个组别标识，如果与60个组别标识相应的60个货品种类中，出现货品A的次数为36，出现货品B的次数为18，出现货品C的次数为6，则三者的可信度分别为60%、30%及10%，可以认定所述实时图片上所显示的货品的种类为可信度最高的货品A。如果步骤S201）样本采集步骤中采集的图片样本中包括多个同类货品叠放在一起的照片，步骤S204）货品种类获取步骤还可以进一步判断货品的数量。
前文所述的基于影像监测的货品感知系统及货品感知方法，可以根据货架前方空间的实时图片判断出货架上货品的取放状态、被取走或被放回的货品的具体种类，若结合基于重量监测的货品感知系统可以准确判断货品数量，若结合用户身份识别技术和用户定位跟踪技术，还可以准确判断被取走或被放回的货品的用户身份，从而在该用户购物数据库中准确添加或删除购物记录，以便用户购物结束后自动结算。
以上所述仅是本发明的优选实施方式，使本领域的技术人员更清楚地理解如何实践本发明，这些实施方案并不是限制本发明的范围。对于本技术领域的普通技术人员，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (16)

1.一种基于影像监测的货品感知系统，其特征在于，包括
样本采集单元，用以采集多组图片样本，每一组图片样本包括一种货品在多角度下的多张样本图片；同一种类货品的一组图片样本被设有相同的组别标识，该组别标识即为该组图片样本对应的货品的种类；
模型训练单元，用以根据多组图片样本中的每一样本图片及其组别标识训练卷积神经网络模型，获取货品识别模型；
实时图片采集单元，用以连续采集货架前方空间的至少一实时图片，每一实时图片包括货品图片的部分或全部；以及
货品种类获取单元，用以根据所述实时图片及所述货品识别模型获取所述实时图片中显示的货品的种类及数量。
2.如权利要求1所述的基于影像监测的货品感知系统，其特征在于，还包括
第一摄像头，连接至所述样本采集单元，用以拍摄每一货品多个角度多个距离的图片；
第二摄像头，连接至所述实时图片采集单元，用以拍摄一货架前方空间的实时图片；
其中，所述第二摄像头设有镜头，该镜头的视野范围覆盖所述货架前方空间。
3.如权利要求2所述的基于影像监测的货品感知系统，其特征在于，
所述第二摄像头的数量为两个或四个；
所述第二摄像头的镜头朝向所述货架前方的空间区域的中部；
所述第二摄像头的镜头的中轴线与水平面夹角为30-60度；和/或，
所述第二摄像头的镜头与所述货架上端或下端的距离为0.8-1.2米；和/或，
所述第二摄像头的镜头与所述货架一侧边的距离为0.8-1.2米。
4.如权利要求1所述的基于影像监测的货品感知系统，其特征在于，
所述模型训练单元包括
分组模型训练单元，将多组训练样本的每一样本图片及其组别标识输入至卷积神经网络模型，经训练后获取分组模型；
其中，所述训练样本为所述多组图片样本的全部或部分，所述分组模型即为货品识别模型。
5.如权利要求4所述的基于影像监测的货品感知系统，其特征在于，
所述模型训练单元包括
样本分类单元，用以将多组所述图片样本随机分成两类，分别为训练样本和测试样本；
分组模型训练单元，用以将多组训练样本的每一样本图片及其组别标识输入至卷积神经网络模型，经训练后获取分组模型；以及
交叉验证单元，用以根据多组测试样本的每一图片及每一组测试样本的组别标识对所述分组模型进行验证，计算模型准确率；当所述分组模型的准确率小于预设阈值时，返回所述样本分类单元；当所述分组模型的准确率大于或等于所述预设阈值时，所述分组模型为货品识别模型。
6.如权利要求4或5所述的基于影像监测的货品感知系统，其特征在于，
所述分组模型训练单元包括
特征提取单元，用以将每一训练样本的图片输入卷积神经网络，进行特征提取，获取特征图像；
候选区域生成单元，用以将每一训练样本的图片输入候选区域网络，生成多个候选区域；
候选区域映射单元，用以把每一训练样本的图片候选区域映射到卷积神经网络最后一层卷积层的特征图像上；
分类器生成单元，用以收集多个训练样本的图片特征图像和候选区域，计算出候选区域的特征图像，并送入分类器网络，生成分类器。
7.如权利要求6所述的基于影像监测的货品感知系统，其特征在于，
所述交叉验证单元包括：
测试样本输入单元，用以将多个测试样本的每一图片输入至所述分组模型，获取多个测试样本的测试组别标识；以及
准确率计算单元，用以将多个测试样本的测试组别标识与所述测试样本的组别标识对比，计算相同标识的数量与所述测试样本的数量的比值，该比值即为所述初级数据模型的准确率。
8.如权利要求1所述的基于影像监测的货品感知系统，其特征在于，
所述货品种类获取单元还包括
组别标识获取单元，用以将多个实时图片输入至所述货品识别模型，获取多个实时图片所对应的多个组别标识，作为可能性结论；以及
标识可信度计算单元，用以所述可能性结论中每一种组别标识的数量与所述可能性结论中全部组别标识总数的比值，该比值即为每一种组别标识的可信度，可信度最大的组别标识所对应的货品的种类和/或数量即为所述实时图片上显示的货品的种类和/或数量。
9.如权利要求8所述的基于影像监测的货品感知系统，其特征在于，
所述组别标识获取单元包括
第二特征提取单元，用以将一实时图片输入卷积神经网络，进行特征提取，获取特征图像；
第二候选区域生成单元，用以将所述实时图片输入候选区域网络，生成多个候选区域；
第二候选区域映射单元，用以把所述实时图片的候选区域映射到卷积神经网络最后一层的特征图像上；以及
组别获取单元，用以收集多个图片的特征图像和候选区域，计算出候选区域的特征图像，并送入分类器网络，获取该实时图片所对应的组别标识。
10.一种基于影像监测的货品感知方法，其特征在于，包括如下步骤：
样本采集步骤，用以采集多组图片样本，每一组图片样本包括一种货品在多角度下的多张样本图片；同一种类货品的一组图片样本被设有相同的组别标识，该组别标识即为该组图片样本对应的货品的种类；
模型训练步骤，用以根据多组图片样本中的每一样本图片及其组别标识训练卷积神经网络模型，获取货品识别模型；
实时图片采集步骤，用以连续采集所述货架前方空间的至少一实时图片，每一实时图片包括货品图片的一部分或全部；以及
货品种类获取步骤，用以根据所述实时图片及所述货品识别模型获取所述实时图片中显示的货品的种类及数量。
11.如权利要求10所述的基于影像监测的货品感知方法，其特征在于，
所述模型训练步骤包括如下步骤：
分组模型训练步骤，将多组训练样本的每一样本图片及其组别标识输入至卷积神经网络模型，经训练后获取分组模型；
其中，所述训练样本为所述多组图片样本的全部或部分，所述分组模型即为货品识别模型。
12.如权利要求10所述的基于影像监测的货品感知方法，其特征在于，
所述模型训练步骤包括如下步骤：
样本分类步骤，用以将多组所述图片样本随机分成两类，分别为训练样本和测试样本；
分组模型训练步骤，用以将多组训练样本的每一样本图片及其组别标识输入至卷积神经网络模型，经训练后获取分组模型；以及
交叉验证步骤，用以根据多组测试样本的每一图片及每一组测试样本的组别标识对所述分组模型进行验证，计算模型准确率；当所述分组模型的准确率小于预设阈值时，返回所述样本分类步骤；当所述分组模型的准确率大于或等于所述预设阈值时，所述分组模型为货品识别模型。
13.如权利要求11或12所述的基于影像监测的货品感知方法，其特征在于，
所述分组模型训练步骤包括如下步骤：
特征提取步骤，用以将每一训练样本的图片输入卷积神经网络，进行特征提取，获取特征图像；
候选区域生成步骤，用以将每一训练样本的图片输入候选区域网络，生成多个候选区域；
候选区域映射步骤，用以把每一训练样本的图片候选区域映射到卷积神经网络最后一层卷积层的特征图像上；
分类器生成步骤，用以收集多个训练样本的图片特征图像和候选区域，计算出候选区域的特征图像，并送入分类器网络，生成分类器。
14.如权利要求12所述的基于影像监测的货品感知方法，其特征在于，
所述交叉验证步骤，包括如下步骤：
测试样本输入步骤，用以将多个测试样本的每一图片输入至所述分组模型，获取多个测试样本的测试组别标识；以及
准确率计算步骤，用以将多个测试样本的测试组别标识与所述测试样本的组别标识对比，计算相同标识的数量与所述测试样本的数量的比值，该比值即为所述初级数据模型的准确率。
15.如权利要求10所述的基于影像监测的货品感知方法，其特征在于，
所述货品种类获取步骤还包括如下步骤：
组别标识获取步骤，用以将多个实时图片输入至所述货品识别模型，获取多个实时图片所对应的多个组别标识，作为可能性结论；以及
标识可信度计算步骤，用以所述可能性结论中每一种组别标识的数量与所述可能性结论中全部组别标识总数的比值，该比值即为每一种组别标识的可信度，可信度最大的组别标识所对应的货品的种类和/或数量即为所述实时图片上显示的货品的种类和/或数量。
16.如权利要求10所述的基于影像监测的货品感知方法，其特征在于，
所述组别标识获取步骤包括如下步骤：
第二特征提取步骤，用以将一实时图片输入卷积神经网络，进行特征提取，获取特征图像；
第二候选区域生成步骤，用以将所述实时图片输入候选区域网络，生成多个候选区域；
第二候选区域映射步骤，用以把所述实时图片的候选区域映射到卷积神经网络最后一层的特征图像上；以及
组别获取步骤，用以收集多个图片的特征图像和候选区域，计算出候选区域的特征图像，并送入分类器网络，获取该实时图片所对应的组别标识。
CN201810078256.2A 2017-12-18 2018-01-26 基于影像监测的货品感知系统及货品感知方法 Pending CN108520194A (zh)

Priority Applications (8)

Application Number Priority Date Filing Date Title
SG11202003731PA SG11202003731PA (en) 2017-12-18 2018-11-23 Image monitoring-based commodity sensing system and commodity sensing method
KR1020207006089A KR102454854B1 (ko) 2017-12-18 2018-11-23 영상 모니터링에 기반하는 물품 감지 시스템 및 물품 감지 방법
JP2019543905A JP7078275B2 (ja) 2017-12-18 2018-11-23 映像モニタリングに基づく商品検知システムおよび商品検知方法
AU2018102235A AU2018102235A4 (en) 2017-12-18 2018-11-23 Goods sensing system and method for goods sensing based on image monitoring
EP18902417.7A EP3745296B1 (en) 2017-12-18 2018-11-23 Image monitoring-based commodity sensing system and commodity sensing method
AU2018405072A AU2018405072A1 (en) 2017-12-18 2018-11-23 Goods sensing system and method for goods sensing based on image monitoring
PCT/CN2018/117326 WO2019144690A1 (zh) 2017-12-18 2018-11-23 基于影像监测的货品感知系统及货品感知方法
US16/812,032 US11501523B2 (en) 2017-12-18 2020-03-06 Goods sensing system and method for goods sensing based on image monitoring

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201711366390 2017-12-18
CN2017113663904 2017-12-18

Publications (1)

Publication Number Publication Date
CN108520194A true CN108520194A (zh) 2018-09-11

Family

ID=62926467

Family Applications (10)

Application Number Title Priority Date Filing Date
CN201810078254.3A Active CN108492482B (zh) 2017-12-18 2018-01-26 货品监控系统及监控方法
CN201810079518.7A Pending CN108332829A (zh) 2017-12-18 2018-01-26 基于重量监测的货品感知系统及货品感知方法
CN201810079027.2A Active CN108497839B (zh) 2017-12-18 2018-01-26 可感知货品的货架
CN201810079533.1A Active CN108492157B (zh) 2017-12-18 2018-01-26 无人售货系统及无人售货方法
CN201810078256.2A Pending CN108520194A (zh) 2017-12-18 2018-01-26 基于影像监测的货品感知系统及货品感知方法
CN201820141773.5U Active CN208044756U (zh) 2017-12-18 2018-01-26 无人售货系统
CN201810079535.0A Active CN108551658B (zh) 2017-12-18 2018-01-26 目标物定位系统及定位方法
CN201820137793.5U Active CN208892110U (zh) 2017-12-18 2018-01-26 可感知货品的货架
CN201820137221.7U Active CN207783158U (zh) 2017-12-18 2018-01-26 目标物定位系统
CN201810142593.3A Active CN108509847B (zh) 2017-12-18 2018-02-11 货品分类系统及货品分类方法

Family Applications Before (4)

Application Number Title Priority Date Filing Date
CN201810078254.3A Active CN108492482B (zh) 2017-12-18 2018-01-26 货品监控系统及监控方法
CN201810079518.7A Pending CN108332829A (zh) 2017-12-18 2018-01-26 基于重量监测的货品感知系统及货品感知方法
CN201810079027.2A Active CN108497839B (zh) 2017-12-18 2018-01-26 可感知货品的货架
CN201810079533.1A Active CN108492157B (zh) 2017-12-18 2018-01-26 无人售货系统及无人售货方法

Family Applications After (5)

Application Number Title Priority Date Filing Date
CN201820141773.5U Active CN208044756U (zh) 2017-12-18 2018-01-26 无人售货系统
CN201810079535.0A Active CN108551658B (zh) 2017-12-18 2018-01-26 目标物定位系统及定位方法
CN201820137793.5U Active CN208892110U (zh) 2017-12-18 2018-01-26 可感知货品的货架
CN201820137221.7U Active CN207783158U (zh) 2017-12-18 2018-01-26 目标物定位系统
CN201810142593.3A Active CN108509847B (zh) 2017-12-18 2018-02-11 货品分类系统及货品分类方法

Country Status (8)

Country Link
US (3) US20200202163A1 (zh)
EP (3) EP3745100B1 (zh)
JP (4) JP7016187B2 (zh)
KR (3) KR102454854B1 (zh)
CN (10) CN108492482B (zh)
AU (5) AU2018405072A1 (zh)
SG (3) SG11202003732YA (zh)
WO (4) WO2019120040A1 (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109330284A (zh) * 2018-09-21 2019-02-15 京东方科技集团股份有限公司 一种货架系统
CN109341763A (zh) * 2018-10-10 2019-02-15 广东长盈科技股份有限公司 一种基于物联网的运输数据采集系统及方法
CN109840504A (zh) * 2019-02-01 2019-06-04 腾讯科技（深圳）有限公司 物品取放行为识别方法、装置、存储介质及设备
CN109858446A (zh) * 2019-01-31 2019-06-07 深兰科技（上海）有限公司 一种新零售场景下物品注册方法及装置
CN109872448A (zh) * 2019-01-19 2019-06-11 创新奇智(广州)科技有限公司 一种异物检测方法、计算机可读存储介质及检测系统
CN109919040A (zh) * 2019-02-15 2019-06-21 北京清瞳时代科技有限公司 货物的品规信息识别方法及装置
CN109977826A (zh) * 2019-03-15 2019-07-05 百度在线网络技术（北京）有限公司 物体的类别识别方法和装置
WO2019144690A1 (zh) * 2017-12-18 2019-08-01 上海云拿智能科技有限公司 基于影像监测的货品感知系统及货品感知方法
CN110175590A (zh) * 2019-05-31 2019-08-27 北京华捷艾米科技有限公司 一种商品识别方法及装置
CN110197561A (zh) * 2019-06-10 2019-09-03 北京华捷艾米科技有限公司 一种商品识别方法、装置及系统
CN111222389A (zh) * 2019-01-10 2020-06-02 图灵通诺（北京）科技有限公司 商超货架上商品的分析方法和系统
CN111476609A (zh) * 2020-04-10 2020-07-31 广西中烟工业有限责任公司 零售数据获取方法、系统、设备及存储介质
CN111553914A (zh) * 2020-05-08 2020-08-18 深圳前海微众银行股份有限公司 基于视觉的货物检测方法、装置、终端及可读存储介质
CN111753614A (zh) * 2019-11-01 2020-10-09 北京京东尚科信息技术有限公司 一种商品货架的监控方法和装置
CN113821674A (zh) * 2021-11-23 2021-12-21 北京中超伟业信息安全技术股份有限公司 一种基于孪生神经网络的智能货物监管方法及系统
CN114559431A (zh) * 2022-03-02 2022-05-31 上海擎朗智能科技有限公司 一种物品配送方法、装置、机器人及存储介质

Families Citing this family (105)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019152503A1 (en) * 2018-01-30 2019-08-08 PAR Excellence Systems, Inc. Supply storage holder and system
CN108652332A (zh) 2018-04-19 2018-10-16 上海云拿智能科技有限公司 悬挂式货架
WO2020003221A1 (en) * 2018-06-28 2020-01-02 Shekel Scales (2008) Ltd Systems and methods for weighing products on a shelf
CN108921540A (zh) * 2018-07-09 2018-11-30 南宁市安普康商贸有限公司 基于购买者位置定位的开放式自助销售方法及系统
EP3613638A1 (en) 2018-08-10 2020-02-26 Lg Electronics Inc. Vehicle display system for vehicle
CN109448237B (zh) * 2018-08-29 2019-10-11 拉卡拉汇积天下技术服务（北京）有限公司 无人售货装置及其上货方法和控制系统
CN109741533A (zh) * 2018-09-12 2019-05-10 盈奇科技（深圳）有限公司 一种重力感应自动售货机固定结构
CN109461255A (zh) * 2018-09-12 2019-03-12 湖南金码智能设备制造有限公司 一种用于售货机的自适应检测接取商品状态的装置和方法
CN109658596A (zh) * 2018-09-12 2019-04-19 盈奇科技（深圳）有限公司 一种重力感应自动售货机
CN109859377A (zh) * 2018-09-12 2019-06-07 盈奇科技（深圳）有限公司 一种重力感应自动售货机重力感应部分连接结构
CN110895747B (zh) * 2018-09-13 2024-04-02 阿里巴巴集团控股有限公司 商品信息识别、显示、信息关联、结算方法及系统
CN109214484B (zh) * 2018-09-20 2021-07-13 深圳蓝胖子机器智能有限公司 无人便利店控制方法、装置和计算机可读存储介质
CN109512217A (zh) * 2018-09-27 2019-03-26 安徽国药医疗科技有限公司 一种基于智能货架的物品管理系统
CN109409291B (zh) * 2018-10-26 2020-10-30 虫极科技（北京）有限公司 智能货柜的商品识别方法和系统及购物订单的生成方法
CN109685979A (zh) * 2018-11-01 2019-04-26 深圳市友族科技有限公司 一种无人售货柜及无人售货方法
CN109581532A (zh) * 2018-11-12 2019-04-05 百度在线网络技术（北京）有限公司 用于确定被取走或放置的物品的位置的设备、方法及货架
CN109363450B (zh) * 2018-12-03 2024-05-14 深圳市力合鑫源智能技术有限公司 智能货架及货架上被取走或被添加物品位置的识别方法
CN109741519B (zh) * 2018-12-10 2021-01-19 深圳市思拓通信系统有限公司 一种无人超市货架监控系统及其控制方法
CN111325049B (zh) * 2018-12-13 2024-07-19 北京京东乾石科技有限公司 商品识别方法、装置、电子设备及可读介质
CN109598874A (zh) * 2018-12-18 2019-04-09 北京缤歌网络科技有限公司 一种显示控制方法
US11017641B2 (en) * 2018-12-21 2021-05-25 Sbot Technologies Inc. Visual recognition and sensor fusion weight detection system and method
CN109726759B (zh) * 2018-12-28 2021-08-17 北京旷视科技有限公司 无人售货方法、装置、系统、电子设备及计算机可读介质
CN109711360B (zh) * 2018-12-29 2021-03-30 北京沃东天骏信息技术有限公司 售货机风险控制方法、装置和控制系统
CN111222870B (zh) * 2019-01-24 2024-02-27 图灵通诺（北京）科技有限公司 结算方法、装置和系统
CN111523348B (zh) * 2019-02-01 2024-01-05 百度（美国）有限责任公司 信息生成方法和装置、用于人机交互的设备
CN109829348A (zh) * 2019-02-25 2019-05-31 浙江工业大学 基于stm32单片机的食品信息采集系统
CN111507702A (zh) * 2019-03-07 2020-08-07 河源市联腾实业有限公司 无人超市自助购物方法、计算机可读存储介质及系统
CN111666798A (zh) * 2019-03-08 2020-09-15 北京沃东天骏信息技术有限公司 人货绑定方法、装置和电子设备
CN110007755A (zh) * 2019-03-15 2019-07-12 百度在线网络技术（北京）有限公司 基于动作识别的物体事件触发方法、装置及其相关设备
CN109977825B (zh) * 2019-03-15 2021-06-25 百度在线网络技术（北京）有限公司 物品识别方法及装置
CN110009836A (zh) * 2019-03-29 2019-07-12 江西理工大学 基于高光谱摄像技术的深度学习的系统及方法
CN110147723B (zh) * 2019-04-11 2022-08-19 苏宁云计算有限公司 一种无人店中顾客异常行为的处理方法及系统
CN110321797A (zh) * 2019-05-31 2019-10-11 苏宁云计算有限公司 商品识别方法和装置
CN110260796A (zh) * 2019-06-04 2019-09-20 上海追月科技有限公司 货品感知系统、货品感知方法及电子设备
CN110150906A (zh) * 2019-06-04 2019-08-23 上海追月科技有限公司 托盘及货架
CN112115745A (zh) * 2019-06-21 2020-12-22 杭州海康威视数字技术股份有限公司 一种商品漏扫码行为识别方法、装置及系统
CN110298961A (zh) * 2019-06-28 2019-10-01 北京云迹科技有限公司 用于机器人的计费方法及装置
CN110403400B (zh) * 2019-07-16 2020-09-08 合肥美的智能科技有限公司 货柜
US20210027104A1 (en) * 2019-07-25 2021-01-28 Microsoft Technology Licensing, Llc Eyes-off annotated data collection framework for electronic messaging platforms
CN112304410A (zh) * 2019-07-31 2021-02-02 梅特勒-托利多(常州)测量技术有限公司 具有物体识别的称重装置和称重方法
CN110837824B (zh) * 2019-08-09 2022-12-16 达闼科技（北京）有限公司 用于售货装置中的商品识别方法、售货装置及存储介质
CN111783509A (zh) * 2019-08-29 2020-10-16 北京京东尚科信息技术有限公司 自动结算方法、装置、系统和存储介质
JP7368982B2 (ja) * 2019-09-05 2023-10-25 東芝テック株式会社 販売管理システム及び販売管理方法
CN112466035B (zh) * 2019-09-06 2022-08-12 图灵通诺（北京）科技有限公司 基于视觉和重力感应的商品识别方法、装置和系统
CN110717593B (zh) * 2019-10-14 2022-04-19 上海商汤临港智能科技有限公司 神经网络训练、移动信息测量、关键帧检测的方法及装置
CN111783513B (zh) * 2019-11-18 2024-07-19 北京沃东天骏信息技术有限公司 货物补充方法、装置和系统
CN111109947A (zh) * 2019-11-28 2020-05-08 上海追月科技有限公司 货架、货品识别方法及电子设备
CN111025417B (zh) * 2019-12-17 2022-04-29 万翼科技有限公司 建材存放区域异常检测方法及相关产品
CN111127174A (zh) * 2020-01-06 2020-05-08 鄂尔多斯市东驿科技有限公司 智能化无人超市控制系统
CN111142418A (zh) * 2020-01-06 2020-05-12 鄂尔多斯市东驿科技有限公司 商品监测控制系统
CN111145224A (zh) * 2020-01-06 2020-05-12 鄂尔多斯市东驿科技有限公司 人体跟踪系统
CN111145409A (zh) * 2020-01-06 2020-05-12 鄂尔多斯市东驿科技有限公司 人体识别定位跟踪系统
CN111207815A (zh) * 2020-01-16 2020-05-29 首钢京唐钢铁联合有限责任公司 一种汽车衡混装计量系统
CN111243166A (zh) * 2020-01-20 2020-06-05 广东优信无限网络股份有限公司 一种用于餐饮售卖机的提示方法
KR102177852B1 (ko) * 2020-01-31 2020-11-11 임시원 정신건강의학의 병원용 자산 관리를 위한 방법 및 장치
US11694501B2 (en) 2020-02-17 2023-07-04 True Manufacturing Co., Inc. Refrigerated vending system and method
CN111429655A (zh) * 2020-02-28 2020-07-17 上海追月科技有限公司 货品识别方法及货品识别系统、存储介质及电子设备
CN111428621A (zh) * 2020-03-20 2020-07-17 京东方科技集团股份有限公司 货架交互方法、装置和货架
CN111540106A (zh) * 2020-04-14 2020-08-14 合肥工业大学 一种无人超市系统
CN111667639A (zh) * 2020-05-28 2020-09-15 北京每日优鲜电子商务有限公司 图书归还服务的实现方法、装置及智能图书柜
CN111831673B (zh) * 2020-06-10 2024-04-12 上海追月科技有限公司 货品识别系统、货品识别方法及电子设备
CN111680657B (zh) * 2020-06-15 2023-05-05 杭州海康威视数字技术股份有限公司 一种物品取放事件的触发人员确定方法、装置及设备
CN111738184B (zh) * 2020-06-28 2023-09-26 杭州海康威视数字技术股份有限公司 一种商品取放识别方法、装置、系统及设备
CN111672774B (zh) * 2020-07-30 2021-07-06 梅卡曼德（北京）机器人科技有限公司 一种货品分拣系统及分拣方法
CN113808342B (zh) * 2020-08-19 2023-09-01 北京京东乾石科技有限公司 物品支付方法、装置、计算机可读介质及电子设备
CN111731669A (zh) * 2020-08-26 2020-10-02 江苏神彩科技股份有限公司 危险物品智能监管贮存箱及其监管系统
CN112084940A (zh) * 2020-09-08 2020-12-15 南京和瑞供应链管理有限公司 物资盘点管理系统及方法
KR102253385B1 (ko) * 2020-09-14 2021-05-18 주식회사농심 불량 멀티포장제품 검출시스템
CN112101867A (zh) * 2020-09-15 2020-12-18 四川精益达工程检测有限责任公司 一种用于货架上物品的信息生成方法及系统
CN112309031B (zh) * 2020-09-17 2022-06-07 北京京东乾石科技有限公司 无人货柜混放检测方法、装置、设备及可读存储介质
CN112215167B (zh) * 2020-10-14 2022-12-20 上海爱购智能科技有限公司 一种基于图像识别的智能商店控制方法和系统
CN112515428B (zh) * 2020-11-17 2023-11-03 上海追月科技有限公司 一种货架
JP7512878B2 (ja) * 2020-12-18 2024-07-09 トヨタ自動車株式会社 情報処理装置、及び、情報処理方法
JP2022110700A (ja) * 2021-01-19 2022-07-29 東芝テック株式会社 報知装置及び報知方法
CN112419015B (zh) * 2021-01-25 2021-05-25 北京每日优鲜电子商务有限公司 物品信息推送方法、装置、电子设备和计算机可读介质
CN113067847B (zh) * 2021-02-02 2022-07-12 绍兴晨璞网络科技有限公司 一种匹配式超宽带定位系统架构设计方法
CN112985570B (zh) * 2021-02-04 2023-09-29 支付宝(杭州)信息技术有限公司 称重货架的传感器的标定方法和系统
JP7533272B2 (ja) 2021-02-19 2024-08-14 トヨタ自動車株式会社 棚在庫管理システム、棚在庫管理方法、及びプログラム
JP7533273B2 (ja) 2021-02-19 2024-08-14 トヨタ自動車株式会社 棚在庫管理システム、棚在庫管理方法、及びプログラム
CN112801055B (zh) * 2021-04-01 2021-06-22 湖南云星人工智能研究院有限公司 一种基于薄膜压力传感器阵列的无人超市定位跟踪方法
CN113554809A (zh) * 2021-04-22 2021-10-26 浙江星星冷链集成股份有限公司 一种商品信息更新装置及无人售货系统
CN113554808B (zh) * 2021-04-22 2023-09-29 浙江星星冷链集成股份有限公司 一种上货管理装置及无人售货系统
CN113524194B (zh) * 2021-04-28 2023-03-21 重庆理工大学 基于多模特征深度学习的机器人视觉抓取系统的目标抓取方法
CN113229686A (zh) * 2021-05-21 2021-08-10 上海追月科技有限公司 一种货架
CN113407571B (zh) * 2021-06-30 2023-04-07 重庆博尔德医疗科技股份有限公司 一种基于称重原理的计数方法
CN113558441A (zh) * 2021-07-07 2021-10-29 合肥美的智能科技有限公司 无人售货柜
CN113537773A (zh) * 2021-07-15 2021-10-22 深圳医智联科技有限公司 一种针对检验科培养瓶的管理方法及系统
CN113479534A (zh) * 2021-07-31 2021-10-08 深圳市坤同智能仓储科技有限公司 称重货架的模块化层及货架系统
CN113592339A (zh) * 2021-08-09 2021-11-02 四川长虹智能制造技术有限公司 一种货物信息校准系统、方法及电子设备
CN113421376B (zh) * 2021-08-23 2021-12-28 浙江星星冷链集成股份有限公司 一种无人售货系统
CN113869821A (zh) * 2021-09-23 2021-12-31 云南电力试验研究院(集团)有限公司 一种计量物资识别周转方法和系统
KR102417612B1 (ko) * 2021-10-28 2022-07-06 주식회사 케이엔케이 부품 검사 시스템 및 그 제어방법
CN113706227A (zh) * 2021-11-01 2021-11-26 微晟(武汉)技术有限公司 一种货架商品推荐方法及装置
CN114120550A (zh) * 2021-11-03 2022-03-01 青岛博芬智能科技股份有限公司 用于酒柜存取酒品的方法及装置、酒柜
CN114140696A (zh) * 2022-01-27 2022-03-04 深圳市慧为智能科技股份有限公司 商品识别系统优化方法、装置、设备及存储介质
KR102689478B1 (ko) * 2022-01-27 2024-07-26 동의대학교 산학협력단 물체인식센서를 이용한 스마트 보관함
US20230252169A1 (en) * 2022-02-09 2023-08-10 Dell Products L.P. Executing commands on air-gapped computer systems
ES2922762A1 (es) * 2022-05-27 2022-09-20 Ostirion S L U Procedimiento y equipo de localizacion e identificacion optica de instrumentos y aparatos
CN114827551A (zh) * 2022-06-16 2022-07-29 北京益泰牡丹电子工程有限责任公司 智能楼宇监控施工方法
KR102597927B1 (ko) * 2022-08-16 2023-11-30 주식회사 포르망 화장품의 중량 선별 장치
KR102482821B1 (ko) * 2022-09-06 2022-12-29 주식회사 포이엔 무선 네트워크 기반의 실시간 계측 시스템
CN115510501B (zh) * 2022-11-22 2023-02-28 中汽信息科技(天津)有限公司 一种汽车数据防篡改方法和系统
CN116422602A (zh) * 2023-03-17 2023-07-14 广东铭钰科技股份有限公司 一种一体式产品称重标识检测系统及方法
CN118365401A (zh) * 2024-03-07 2024-07-19 连云港沛元智能科技有限公司 一种基于物联网的智能零售解决方法
CN118691856A (zh) * 2024-08-21 2024-09-24 南京亿猫信息技术有限公司 一种用于定位购物车内变化区域的方法、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105518734A (zh) * 2013-09-06 2016-04-20 日本电气株式会社 顾客行为分析系统、顾客行为分析方法、非暂时性计算机可读介质和货架系统
CN105787490A (zh) * 2016-03-24 2016-07-20 南京新与力文化传播有限公司 基于深度学习的商品潮流识别方法及装置
CN106326852A (zh) * 2016-08-18 2017-01-11 无锡天脉聚源传媒科技有限公司 一种基于深度学习的商品识别方法及装置
US20170061258A1 (en) * 2015-08-25 2017-03-02 Nokia Technologies Oy Method, apparatus, and computer program product for precluding image capture of an image presented on a display
CN106934692A (zh) * 2017-03-03 2017-07-07 陈维龙 物品信息处理系统、方法及装置
CN107045641A (zh) * 2017-04-26 2017-08-15 广州图匠数据科技有限公司 一种基于图像识别技术的货架识别方法

Family Cites Families (105)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3384193A (en) * 1965-02-01 1968-05-21 Toledo Scale Corp Control circuitry
JPS6052366B2 (ja) * 1977-12-02 1985-11-19 オムロン株式会社 重量検知ユニツト
JPH1017121A (ja) * 1996-07-02 1998-01-20 Keiyo Syst Kk 自動棚卸し装置
JP4452786B2 (ja) * 1996-09-29 2010-04-21 雅信 鯨田 遠隔商品販売のための装置及び方法
JP3213696B2 (ja) 1996-11-29 2001-10-02 東芝テック株式会社 買上商品登録装置及びこの登録装置を用いた買上商品決済システム
US6711293B1 (en) * 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
JP2002161942A (ja) * 2000-08-10 2002-06-07 Iau:Kk 免震装置、滑り支承また免震構造
KR20010067855A (ko) * 2001-04-03 2001-07-13 장성계 창고형 매장에서의 중량감지에 의한 상품 재고량 파악시스템
JP3837475B2 (ja) 2001-07-19 2006-10-25 独立行政法人産業技術総合研究所 自動化ショッピングシステム
AU2003221887A1 (en) * 2002-04-12 2003-10-27 Tritek Technologies, Inc. Mail sorting processes and systems
US6747560B2 (en) * 2002-06-27 2004-06-08 Ncr Corporation System and method of detecting movement of an item
US7039222B2 (en) * 2003-02-28 2006-05-02 Eastman Kodak Company Method and system for enhancing portrait images that are processed in a batch mode
CN2634950Y (zh) * 2003-06-06 2004-08-25 何永强 货架柱
CN2788670Y (zh) * 2005-03-25 2006-06-21 李瑞铭 强化支撑架结构
US20080109375A1 (en) * 2006-11-08 2008-05-08 Ricci Christopher P Position-enhanced wireless transaction security
US7949568B2 (en) * 2007-08-31 2011-05-24 Accenture Global Services Limited Determination of product display parameters based on image processing
DE202007016804U1 (de) * 2007-12-01 2008-02-28 Golletz Gmbh Vorrichtung zur regalartigen Anordnung von Warenträgern
CN101604312A (zh) * 2007-12-07 2009-12-16 宗刚 信息的检索管理交流的方法和系统
US20090177089A1 (en) * 2008-01-04 2009-07-09 Assaf Govari Three-dimensional image reconstruction using doppler ultrasound
CN101281597B (zh) * 2008-04-25 2011-06-22 北京工业大学 一种产品包装图形标识信息在线实时采集识别装置及方法
KR100988754B1 (ko) * 2008-07-10 2010-10-25 박찬용 자동판매 기능을 갖는 무인 점포 시스템
KR101467509B1 (ko) 2008-07-25 2014-12-01 삼성전자주식회사 이미지 센서 및 이미지 센서 동작 방법
US8165929B2 (en) * 2008-08-04 2012-04-24 Chudy Group, LLC Adaptive pharmaceutical product management methods and system
KR101051355B1 (ko) * 2009-06-09 2011-07-22 (주)이지스 3차원 공간 데이터를 이용한 카메라 영상의 3차원 좌표 획득방법 및 이를 이용한 카메라 연동 제어방법
KR20100136089A (ko) 2009-06-18 2010-12-28 주식회사 비즈모델라인 인덱스 교환을 통한 다중 코드 생성 방식 오티피 출력 방법 및 시스템과 이를 위한 휴대폰 및 기록매체
CN101989333A (zh) * 2009-07-31 2011-03-23 上海杉达学院 仓储控制系统
KR20100003343A (ko) * 2009-12-15 2010-01-08 (주)리테일테크 압력 센서를 이용한 소매 매장의 결품 방지 시스템
US20110174753A1 (en) * 2010-01-18 2011-07-21 Matthew Pinto Stackable transport system
KR101179108B1 (ko) * 2010-04-27 2012-09-07 서울시립대학교 산학협력단 중첩 전방위 영상을 이용하여 객체의 3차원 좌표를 결정하기 위한 시스템 및 그 방법
CN103189855B (zh) * 2010-06-14 2016-10-19 特鲁塔格科技公司 用于使用数据库验证包装中的物品的系统
KR20120051212A (ko) * 2010-11-12 2012-05-22 엘지전자 주식회사 멀티미디어 장치의 사용자 제스쳐 인식 방법 및 그에 따른 멀티미디어 장치
KR101223206B1 (ko) * 2010-11-18 2013-01-17 광주과학기술원 3차원 영상 생성 방법 및 시스템
US20130046635A1 (en) * 2011-08-19 2013-02-21 Bank Of America Corporation Triggering offers based on detected location of a mobile point of sale device
CN102374860B (zh) * 2011-09-23 2014-10-01 奇瑞汽车股份有限公司 三维视觉定位方法及系统
US20150120498A1 (en) * 2012-05-10 2015-04-30 Sca Hygience Products Ab Method for assisting in locating a desired item in a storage location
CN202807610U (zh) * 2012-08-31 2013-03-20 宁波市新光货架有限公司 一种中型仓储货架
CN202820536U (zh) * 2012-10-22 2013-03-27 山东固美思耐金属制品有限公司 无线称重超市货架托板
KR101931819B1 (ko) * 2012-12-31 2018-12-26 (주)지오투정보기술 영상 정보와 항공사진 데이터를 비교하여 대상 객체를 결정하고 카메라 획득정보를 이용하여 대상 객체의 3차원 좌표를 획득하는 수치지도 제작 시스템
MX2015008992A (es) * 2013-01-11 2016-03-17 Tagnetics Inc Sensor que indica fuera de existencia.
US20160048798A1 (en) * 2013-01-11 2016-02-18 Tagnetics, Inc. Inventory sensor
CN103192958B (zh) * 2013-02-04 2015-07-08 中国科学院自动化研究所北仑科学艺术实验中心 船舶姿态显示装置的控制方法
CN104021538B (zh) * 2013-02-28 2017-05-17 株式会社理光 物体定位方法和装置
KR20140136089A (ko) * 2013-05-16 2014-11-28 (주)에스모바일텍 진열 상품 재고 관리 솔루션을 구비한 전자 선반 라벨 시스템
US10984372B2 (en) * 2013-05-24 2021-04-20 Amazon Technologies, Inc. Inventory transitions
US10268983B2 (en) 2013-06-26 2019-04-23 Amazon Technologies, Inc. Detecting item interaction and movement
US10176456B2 (en) 2013-06-26 2019-01-08 Amazon Technologies, Inc. Transitioning items from a materials handling facility
US10290031B2 (en) * 2013-07-24 2019-05-14 Gregorio Reid Method and system for automated retail checkout using context recognition
JP6168917B2 (ja) * 2013-08-26 2017-07-26 株式会社日立システムズ 健康管理システム及び健康管理方法
CN103557841B (zh) * 2013-08-28 2016-08-10 陈天恩 一种提高多相机合成影像摄影测量精度的方法
AU2013101592A4 (en) * 2013-10-25 2014-01-16 Housl Pty Ltd Property Leasing
US9916561B2 (en) * 2013-11-05 2018-03-13 At&T Intellectual Property I, L.P. Methods, devices and computer readable storage devices for tracking inventory
CN103559758B (zh) * 2013-11-06 2015-12-30 上海煦荣信息技术有限公司 一种智能化的售货系统及售货方法
CN203693111U (zh) * 2014-02-28 2014-07-09 苏州工业园区航成工业零件有限公司 一种新型台面式称重货架
CN104240007A (zh) * 2014-07-09 2014-12-24 深圳市茁壮网络股份有限公司 一种基于射频识别的物品管理方法及系统
CN203975446U (zh) * 2014-07-29 2014-12-03 晟通科技集团有限公司 全铝托盘
CN104217231A (zh) * 2014-08-29 2014-12-17 南京大学 一种基于非精确锚节点的rfid定位系统及定位方法
CN104576845A (zh) * 2014-12-16 2015-04-29 深圳市德上光电有限公司 一种图形化的蓝宝石衬底的制造方法
CN105989389A (zh) * 2015-02-11 2016-10-05 北京鼎九信息工程研究院有限公司 一种二维码
EP3259209B1 (en) * 2015-02-18 2020-11-11 Fedex Corporate Services, Inc. Managing logistics information related to a logistics container using a container interface display apparatus
JP6458861B2 (ja) * 2015-03-23 2019-01-30 日本電気株式会社 商品情報管理装置、商品情報管理システム、商品情報管理方法およびプログラム
US10318917B1 (en) * 2015-03-31 2019-06-11 Amazon Technologies, Inc. Multiple sensor data fusion system
KR101807513B1 (ko) * 2015-05-13 2017-12-12 한국전자통신연구원 3차원 공간에서 영상정보를 이용한 사용자 의도 분석장치 및 분석방법
CN204883802U (zh) * 2015-06-24 2015-12-16 中山润涛智科技术有限公司 重量感应器及应用该感应器的物联网自动库存统计系统
US9911290B1 (en) * 2015-07-25 2018-03-06 Gary M. Zalewski Wireless coded communication (WCC) devices for tracking retail interactions with goods and association to user accounts
JP6562077B2 (ja) * 2015-08-20 2019-08-21 日本電気株式会社 展示装置、表示制御装置および展示システム
CN105314315B (zh) * 2015-10-30 2017-12-15 无锡职业技术学院 智能货架测试系统
CN205251049U (zh) * 2015-11-06 2016-05-25 江苏正贸仓储设备制造有限公司 带计量器货架
CN106875203A (zh) * 2015-12-14 2017-06-20 阿里巴巴集团控股有限公司 一种确定商品图片的款式信息的方法及装置
US10592854B2 (en) * 2015-12-18 2020-03-17 Ricoh Co., Ltd. Planogram matching
JP6319669B2 (ja) * 2016-01-20 2018-05-09 パナソニックＩｐマネジメント株式会社 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
CN105719188B (zh) 2016-01-22 2017-12-26 平安科技（深圳）有限公司 基于多张图片一致性实现保险理赔反欺诈的方法及服务器
EP3422309A4 (en) 2016-02-29 2020-02-26 Signpost Corporation INFORMATION PROCESSING SYSTEM
CN105678981A (zh) * 2016-03-26 2016-06-15 陈功平 一种组合式智能预警储物架
WO2017172790A1 (en) 2016-03-29 2017-10-05 Bossa Nova Robotics Ip, Inc. Planogram assisted inventory system and method
JP6736334B2 (ja) * 2016-04-07 2020-08-05 東芝テック株式会社 画像処理装置
CN105910379B (zh) * 2016-05-09 2018-07-27 海信（山东）冰箱有限公司 一种用于冰箱的称重装置及称重抽屉
TWI578272B (zh) * 2016-05-18 2017-04-11 Chunghwa Telecom Co Ltd Shelf detection system and method
CN105901987A (zh) * 2016-06-30 2016-08-31 常州市南飞机械有限公司 可称重的货架
CN106355368A (zh) * 2016-08-29 2017-01-25 苏州倾爱娱乐传媒有限公司 一种卖场货品的智能管理系统
CN106408374A (zh) * 2016-08-30 2017-02-15 佛山市明扬软件科技有限公司 一种安全性高的超市自动收费方法
CN106441537A (zh) * 2016-09-08 2017-02-22 蝶和科技（中国）有限公司 一种称重货架的称重方法以及使用该方法的货架
CN106556341B (zh) * 2016-10-08 2019-12-03 浙江国自机器人技术有限公司 一种基于特征信息图形的货架位姿偏差检测方法和系统
CN106454733A (zh) * 2016-11-03 2017-02-22 安徽百慕文化科技有限公司 一种基于无线传感网络的在线监测系统
CN106781121A (zh) * 2016-12-14 2017-05-31 朱明� 基于视觉分析的超市自助结账智能系统
CN106845962A (zh) * 2016-12-29 2017-06-13 广州途威慧信息科技有限公司 一种自动结算货款系统及方法
CN106910086A (zh) * 2017-01-18 2017-06-30 甄启源 一种超市智能购物系统
CN106875465B (zh) * 2017-01-20 2021-06-11 奥比中光科技集团股份有限公司 基于rgbd图像的三维操控空间的建立方法及设备
CN106845965A (zh) * 2017-02-13 2017-06-13 上海云剑信息技术有限公司 线下超市自助购物的手机结账系统
CN106920152A (zh) * 2017-03-07 2017-07-04 深圳市楼通宝实业有限公司 自助售卖方法及系统
US9805360B1 (en) * 2017-03-17 2017-10-31 Philz Coffee, Inc. Location based device flagging and interface
CN107134053B (zh) * 2017-04-19 2019-08-06 石道松 智能售货门店
CN107093269A (zh) * 2017-06-08 2017-08-25 上海励识电子科技有限公司 一种智能无人售货系统及方法
CN107123006A (zh) * 2017-07-12 2017-09-01 杨智勇 一种智能购物系统
CN107463946B (zh) * 2017-07-12 2020-06-23 浙江大学 一种结合模板匹配与深度学习的商品种类检测方法
CN107341523A (zh) * 2017-07-13 2017-11-10 浙江捷尚视觉科技股份有限公司 基于深度学习的快递单信息识别方法和系统
US10655945B2 (en) * 2017-07-19 2020-05-19 Symbol Technologies, Llc Methods and apparatus to coordinate movement of automated vehicles and freight dimensioning components
CN107480735B (zh) * 2017-07-24 2018-08-14 葛代荣 一种自助验货方法和系统
CN107451776A (zh) * 2017-07-27 2017-12-08 惠州市伊涅科技有限公司 无人超市补货方法
CN107481000A (zh) * 2017-07-27 2017-12-15 惠州市伊涅科技有限公司 无人超市售货方法
CN107451891A (zh) * 2017-07-27 2017-12-08 惠州市伊涅科技有限公司 便利店自动售卖方法
US10445694B2 (en) * 2017-08-07 2019-10-15 Standard Cognition, Corp. Realtime inventory tracking using deep learning
US11023850B2 (en) * 2017-08-07 2021-06-01 Standard Cognition, Corp. Realtime inventory location management using deep learning
CN107481414A (zh) * 2017-08-21 2017-12-15 文彬 一种开放式无人售卖装置的实时导购方法及系统
US20200394599A1 (en) 2017-11-29 2020-12-17 Ntt Docomo, Inc. Shelf-allocation information generating device and shelf-allocation information generating program
CN108492482B (zh) 2017-12-18 2020-11-03 上海云拿智能科技有限公司 货品监控系统及监控方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105518734A (zh) * 2013-09-06 2016-04-20 日本电气株式会社 顾客行为分析系统、顾客行为分析方法、非暂时性计算机可读介质和货架系统
US20170061258A1 (en) * 2015-08-25 2017-03-02 Nokia Technologies Oy Method, apparatus, and computer program product for precluding image capture of an image presented on a display
CN105787490A (zh) * 2016-03-24 2016-07-20 南京新与力文化传播有限公司 基于深度学习的商品潮流识别方法及装置
CN106326852A (zh) * 2016-08-18 2017-01-11 无锡天脉聚源传媒科技有限公司 一种基于深度学习的商品识别方法及装置
CN106934692A (zh) * 2017-03-03 2017-07-07 陈维龙 物品信息处理系统、方法及装置
CN107045641A (zh) * 2017-04-26 2017-08-15 广州图匠数据科技有限公司 一种基于图像识别技术的货架识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘永豪: ""基于深度学习的货架商品检测技术研究"", 《万方数据知识服务平台》 *
朗诗文: ""无人超市竞品分析（1）：淘咖啡 VS Amazon Go"", 《人人都是产品经理》 *
杨小利: "《互联网理财一本通》", 31 October 2017, 中国铁道出版社 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019144690A1 (zh) * 2017-12-18 2019-08-01 上海云拿智能科技有限公司 基于影像监测的货品感知系统及货品感知方法
US11501523B2 (en) 2017-12-18 2022-11-15 Shanghai Cloudpick Smart Technology Co., Ltd. Goods sensing system and method for goods sensing based on image monitoring
US11071399B2 (en) 2018-09-21 2021-07-27 Boe Technology Group Co., Ltd. Shelf system
CN109330284A (zh) * 2018-09-21 2019-02-15 京东方科技集团股份有限公司 一种货架系统
CN109341763A (zh) * 2018-10-10 2019-02-15 广东长盈科技股份有限公司 一种基于物联网的运输数据采集系统及方法
CN111222389B (zh) * 2019-01-10 2023-08-29 图灵通诺（北京）科技有限公司 商超货架上商品的分析方法和系统
CN111222389A (zh) * 2019-01-10 2020-06-02 图灵通诺（北京）科技有限公司 商超货架上商品的分析方法和系统
CN109872448A (zh) * 2019-01-19 2019-06-11 创新奇智(广州)科技有限公司 一种异物检测方法、计算机可读存储介质及检测系统
CN109858446A (zh) * 2019-01-31 2019-06-07 深兰科技（上海）有限公司 一种新零售场景下物品注册方法及装置
CN109840504A (zh) * 2019-02-01 2019-06-04 腾讯科技（深圳）有限公司 物品取放行为识别方法、装置、存储介质及设备
CN109840504B (zh) * 2019-02-01 2022-11-25 腾讯科技（深圳）有限公司 物品取放行为识别方法、装置、存储介质及设备
CN109919040A (zh) * 2019-02-15 2019-06-21 北京清瞳时代科技有限公司 货物的品规信息识别方法及装置
CN109977826B (zh) * 2019-03-15 2021-11-02 百度在线网络技术（北京）有限公司 物体的类别识别方法和装置
CN109977826A (zh) * 2019-03-15 2019-07-05 百度在线网络技术（北京）有限公司 物体的类别识别方法和装置
CN110175590A (zh) * 2019-05-31 2019-08-27 北京华捷艾米科技有限公司 一种商品识别方法及装置
CN110197561A (zh) * 2019-06-10 2019-09-03 北京华捷艾米科技有限公司 一种商品识别方法、装置及系统
CN111753614A (zh) * 2019-11-01 2020-10-09 北京京东尚科信息技术有限公司 一种商品货架的监控方法和装置
CN111476609A (zh) * 2020-04-10 2020-07-31 广西中烟工业有限责任公司 零售数据获取方法、系统、设备及存储介质
CN111553914A (zh) * 2020-05-08 2020-08-18 深圳前海微众银行股份有限公司 基于视觉的货物检测方法、装置、终端及可读存储介质
CN111553914B (zh) * 2020-05-08 2021-11-12 深圳前海微众银行股份有限公司 基于视觉的货物检测方法、装置、终端及可读存储介质
CN113821674A (zh) * 2021-11-23 2021-12-21 北京中超伟业信息安全技术股份有限公司 一种基于孪生神经网络的智能货物监管方法及系统
CN114559431A (zh) * 2022-03-02 2022-05-31 上海擎朗智能科技有限公司 一种物品配送方法、装置、机器人及存储介质
CN114559431B (zh) * 2022-03-02 2024-08-23 上海擎朗智能科技有限公司 一种物品配送方法、装置、机器人及存储介质

Also Published As

Publication number Publication date
AU2018405072A1 (en) 2020-04-30
EP3745296A4 (en) 2021-03-24
EP3745296B1 (en) 2024-08-28
KR102454854B1 (ko) 2022-10-14
KR102510679B1 (ko) 2023-03-16
JP7016187B2 (ja) 2022-02-04
SG11202003731PA (en) 2020-05-28
CN208892110U (zh) 2019-05-24
WO2019120039A1 (zh) 2019-06-27
JP7078275B2 (ja) 2022-05-31
EP3745100B1 (en) 2024-08-28
KR20200023647A (ko) 2020-03-05
CN108509847B (zh) 2021-07-20
AU2018386790A1 (en) 2020-04-23
JP2021507203A (ja) 2021-02-22
JP7229580B2 (ja) 2023-02-28
JP2022043067A (ja) 2022-03-15
CN108492482A (zh) 2018-09-04
CN108332829A (zh) 2018-07-27
KR20200051705A (ko) 2020-05-13
JP2022043070A (ja) 2022-03-15
EP3745100A1 (en) 2020-12-02
CN208044756U (zh) 2018-11-02
CN108492157A (zh) 2018-09-04
US11501523B2 (en) 2022-11-15
CN108497839B (zh) 2021-04-09
CN108509847A (zh) 2018-09-07
US20200258069A1 (en) 2020-08-13
AU2018102235A4 (en) 2022-03-17
CN108492157B (zh) 2023-04-18
KR102378059B1 (ko) 2022-03-25
CN108492482B (zh) 2020-11-03
US20200202137A1 (en) 2020-06-25
CN108551658A (zh) 2018-09-18
EP3745296A1 (en) 2020-12-02
WO2019120040A9 (zh) 2019-12-12
SG11202004369RA (en) 2020-06-29
CN108497839A (zh) 2018-09-07
CN108551658B (zh) 2021-04-09
JP7170355B2 (ja) 2022-11-14
KR20200037833A (ko) 2020-04-09
WO2019144690A1 (zh) 2019-08-01
EP3745100A4 (en) 2021-03-24
EP3731546A4 (en) 2021-02-17
AU2022203376A1 (en) 2022-06-09
AU2018405073A1 (en) 2020-06-18
SG11202003732YA (en) 2020-05-28
EP3731546A1 (en) 2020-10-28
WO2019120040A1 (zh) 2019-06-27
CN207783158U (zh) 2018-08-28
JP2021511554A (ja) 2021-05-06
WO2019144691A1 (zh) 2019-08-01
US20200202163A1 (en) 2020-06-25

Similar Documents

Publication Publication Date Title
CN108520194A (zh) 基于影像监测的货品感知系统及货品感知方法
CN108198052A (zh) 用户选购商品识别方法、装置以及智能货架系统
US12093889B2 (en) Method, a device and a system for checkout
CN111428743A (zh) 商品识别方法、商品处理方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination