CN108492482A - 货品监控系统及监控方法 - Google Patents

货品监控系统及监控方法 Download PDF

Info

Publication number
CN108492482A
CN108492482A CN201810078254.3A CN201810078254A CN108492482A CN 108492482 A CN108492482 A CN 108492482A CN 201810078254 A CN201810078254 A CN 201810078254A CN 108492482 A CN108492482 A CN 108492482A
Authority
CN
China
Prior art keywords
kinds
goods
frame plate
type
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810078254.3A
Other languages
English (en)
Other versions
CN108492482B (zh
Inventor
夏鼎
冯立男
马捷昱
李庭涛
邬文尧
张玫
张一玫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yun Hi Intelligent Technology Co Ltd
Original Assignee
Shanghai Yun Hi Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Yun Hi Intelligent Technology Co Ltd filed Critical Shanghai Yun Hi Intelligent Technology Co Ltd
Publication of CN108492482A publication Critical patent/CN108492482A/zh
Application granted granted Critical
Publication of CN108492482B publication Critical patent/CN108492482B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G19/00—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0639—Item locations
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F5/00—Show stands, hangers, or shelves characterised by their constructional features
    • A47F5/0018—Display racks with shelves or receptables
    • A47F5/0025—Display racks with shelves or receptables having separate display containers or trays on shelves or on racks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G19/00—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
    • G01G19/52—Weighing apparatus combined with other objects, e.g. furniture
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V7/00—Measuring gravitational fields or waves; Gravimetric prospecting or detecting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2379—Updates performed during online database operations; commit processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G06Q10/0875—Itemisation or classification of parts, supplies or services, e.g. bill of materials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/206—Point-of-sale [POS] network systems comprising security or operator identification provisions, e.g. password entry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/38—Individual registration on entry or exit not involving the use of a pass with central registration
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0009—Details of the software in the checkout register, electronic cash register [ECR] or point of sale terminal [POS]
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0018—Constructional details, e.g. of drawer, printing means, input means
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/009—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader the reader being an RFID reader
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/12—Cash registers electronically operated
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/12—Cash registers electronically operated
    • G07G1/14—Systems including one or more distant stations co-operating with a central processing unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/35—Services specially adapted for particular environments, situations or purposes for the management of goods or merchandise
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F10/00—Furniture or installations specially adapted to particular types of service systems, not otherwise provided for
    • A47F10/02—Furniture or installations specially adapted to particular types of service systems, not otherwise provided for for self-service type systems, e.g. supermarkets
    • A47F2010/025—Furniture or installations specially adapted to particular types of service systems, not otherwise provided for for self-service type systems, e.g. supermarkets using stock management systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G19/00—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
    • G01G19/40—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight
    • G01G19/413—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight using electromechanical or electronic computing means
    • G01G19/414—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight using electromechanical or electronic computing means using electronic computing means only
    • G01G19/4144—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight using electromechanical or electronic computing means using electronic computing means only for controlling weight of goods in commercial establishments, e.g. supermarket, P.O.S. systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G19/00—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
    • G01G19/40—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight
    • G01G19/42—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight for counting by weighing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Abstract

本发明提供一种货品监控系统及货品监控方法，所述货品监控系统包括封闭空间，其内设有货架，每一货架包括架板，每一架板上放置有货品，每一架板内设有重量感应装置；所述货品监控系统还包括第一货品感知系统以及第二货品感知系统，所述货品监控方法包括如下步骤：架板设置步骤、第一货品感知步骤以及第二货品感知步骤。本发明用技术手段解决了用户错拿错放的技术问题，即使用户将货品错放在其他架板上，也可以准确有效地记载用户的购物信息，确保结算信息与实际购物情况始终相符。

Description

货品监控系统及监控方法
技术领域
本发明涉及一种零售业管理系统的解决方案，具体地说，涉及一种货品监控系统及监控方法。
背景技术
传统零售业的购物方式，每一家超市货便利店需要有专门的销售人员和收款人员，人力成本较高。随着电子支付技术、身份识别技术及云计算技术的发展，无人超市项目在技术上具备很高的可行性。在无人超市项目中，急需解决的一个基本问题就是用户选购货品的判断和记录问题，具体地说，服务器需要准确判断每一个用户在无人超市中的每一次购物行为，确定每一个用户从超市中带走或消费的所有货品的种类、数量及单价，以便为用户实现结算。
现有技术中，有人采用RFID技术感知用户选购的货品，这种方式需要在每一个货品上设置RFID标签，在门禁处设置RFID阅读器，当用户走出门禁时就可以记录其消费内容。这一方案的不足之处在于，首先，硬件成本较高，每一RFID标签的价格大约在0.5-1元左右，标签会提升每一种商品的成本，降低超市的竞争力，对于成本为5元的货品来说，加装RFID标签会提升其成本的10-20%；其次，货品感知存在被屏蔽、被去除的可能性，从而出现用户蒙蔽RFID阅读器的现象，导致货品丢失；再次，该方案中只有在超市门禁处才能实现结算，如果有用户在离店前将可食用的货品吃掉，将包装留在超市里，RFID阅读器也无法感知和确定用户的真实消费金额。也就是说，这一方案高度依靠用户的自律性和道德水平，而不是用技术手段加以约束，这样的无人超市在经营过程中的风险较大。
发明内容
本发明的目的在于，提供一种货品监控系统及监控方法，可有效解决现有技术中存在的货品识别精准度差、误差较大、货品易丢失、经营风险大的技术问题。
为实现上述目的，本发明提供一种货品监控系统，包括封闭空间，其内设有货架，每一货架包括架板，每一架板上放置有货品，每一架板内设有重量感应装置；第一货品感知系统，用以根据每一架板的重量感应值的实时变化实时感知每一货品的取放状态，实时获取被取走或被放回的货品的种类及数量；以及第二货品感知系统，用以根据所述货架前方空间的影像变化实时感知每一货品的取放状态，实时获取被取走或被放回的货品的种类及数量。
为实现上述目的，本发明还提供一种货品监控方法，包括如下步骤：架板设置步骤，在封闭空间内设置货架，每一货架包括架板，每一架板上放置有货品，每一架板内设有重量感应装置；第一货品感知步骤，用以根据每一架板的重量感应值的实时变化实时感知每一货品的取放状态，实时获取被取走或被放回的货品的种类及数量；以及第二货品感知步骤，用以根据所述货架前方空间的影像变化实时感知每一货品的取放状态，实时获取被取走或被放回的货品的种类及数量。
本发明的有益效果在于，提供一种货品监控系统及监控方法，应用于无人超市，采用架板重量监测技术实时感知每一架板的重量变化，结合货架前方区域的影像监测技术判断被取走或被放回货品的种类及数量；利用人体实时定位技术判断取走或放回货品的用户身份，从而记录每一用户在无人超市中取走货品的种类及数量，在购物过程完成后为其结算。本发明用技术手段解决了用户错拿错放的技术问题，即使用户将货品错放在其他架板上，也可以准确有效地记载用户的购物信息，确保用户结算信息与实际购物情况始终相符。
本发明中货品无需增加硬件成本，系统感知灵敏，误差极小，可准确判断每一用户每次取走或放回货品的购物行为，可准确记录每一用户在无人超市购买货品的种类及数量，可以有效杜绝偷盗现象。此外，本发明需要的用户操作较少，只需入门前扫码及确认支付即可，进入方便，结算快捷，用户体验良好。相对于传统零售行业，使用本发明的无人超市，运营过程中完全依靠计算机监管，无需人工干预，可以有效降低人力成本。
附图说明
图1为本发明实施例所述的无人超市俯视图；
图2为本发明实施例所述的托盘及架板的结构示意图；
图3为本发明实施例所述货架的整体结构示意图；
图4为本发明实施例所述用户身份识别系统的结构框图；
图5为本发明实施例所述目标物定位系统的结构框图；
图6为本发明实施例所述第一货品感知系统的结构框图；
图7为本发明实施例所述第二货品感知系统的结构框图；
图8为本发明实施例所述第二摄像头与所述货架的位置关系示意图；
图9为本发明实施例所述购物用户判断系统的结构框图；
图10为本发明实施例所述购物数据库系统的结构框图；
图11为本发明实施例所述纠错系统的结构框图；
图12为本发明实施例所述结算系统的结构框图；
图13为本发明实施例中一种货品监控方法的流程图；
图14为本发明实施例中第一货品感知步骤的流程图；
图15为本发明实施例中取放状态判断步骤的流程图；
图16为本发明实施例中购物信息记录步骤的流程图；
图17为本发明实施例中第二货品感知步骤的流程图；
图18为本发明实施例中货品种类判断步骤的流程图；
图19为本发明实施例中另一种货品监控方法的流程图。
图中部件标号如下：
1封闭空间，2货架，3支架，4托盘，5架板，6重量感应装置，7数据处理设备；
100用户身份识别系统，101门禁装置，102身份识别装置；
1021扫码装置，1022身份获取单元，103用户入口，104用户出口；
200目标物定位系统，201三维影像采集装置，202目标物坐标获取单元；
300第一货品感知系统，301货品数据库生成单元，302重量值采集单元，303取放状态判断单元，304货品数据库更新单元；305货品种类推断单元；
3011初始化单元，3012信息录入单元，3013感应值初始化单元；
3031重量差值计算单元，3032重量差值判断单元，3033架板信息记录单元；3034货品种类判断单元，3035货品数量计算单元；
400第二货品感知系统，401样本采集单元，402模型训练单元，403实时图片采集单元，404货品种类获取单元，405第一摄像头，406第二摄像头；407被放货品确认单元；408取走货品确认单元；
4021样本分类单元，4022分组模型训练单元，4023交叉验证单元；
40221特征提取单元，40222候选区域生成单元，40223候选区域映射单元，40224分类器生成单元；40231测试样本输入单元，40232准确率计算单元；
4041组别标识获取单元，4042标识可信度计算单元；
40411第二特征提取单元，40412第二候选区域生成单元，40413第二候选区域映射单元，40414组别获取单元；
500购物用户判断系统，501货品信息存储单元，502架板坐标存储单元，503架板与用户匹配判断单元，504货品与用户匹配判断单元；
600购物数据库系统，601购物数据库生成单元，602购物数据库更新单元；
700纠错系统，701货品错放判断单元；
800结算系统，801总金额计算单元，802支付单元。
具体实施方式
以下参考说明书附图完整介绍本发明的优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，其保护范围并非仅限于文中提到的实施例。在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的部件以相似数字标号表示。
当某些部件被描述为“在”另一部件“上”时，所述部件可以直接置于所述另一部件上；也可以存在一中间部件，所述部件置于所述中间部件上，且所述中间部件置于另一部件上。当一个部件被描述为“安装至”或“连接至”另一部件时，二者可以理解为直接“安装” 或“连接”，或者一个部件通过一中间部件间接 “安装至”或“连接至”另一个部件。
如图1~3所示，本实施例提供一种用于无人超市的无人售货系统，包括一封闭空间1，其内设有多个货架2，每一货架2包括支架3及可拆卸式安装在支架3上的多个托盘4，多个托盘4在不同高度彼此平行或者在同一高度彼此平齐。每一托盘4上设有多个并列设置的架板5，每一架板5上放置有至少一种货品。本实施例架板5上放置的货品需要便于用户取走或放回，因此，以架板1朝向用户的一端作为架板1的前端。
每一架板1与托盘2之间都设置有一个重量感应装置6，优选重量传感器，其一端的下表面连接至托盘4，其另一端的上表面连接至架板5，每一个重量感应装置6实时获取其上方的架板5及被放置在架板5上表面的物品的重量值，且及时感知所述重量值的变化。
本实施例还包括数据处理设备7，如服务器或计算机等，数据处理设备7内部设有多个数据处理软件，具有多个功能模块，可以通过数据线连接至多个硬件，以软硬件结合方式实现多种功能。
如图4所示，本实施例还包括用户身份识别系统100，用以识别每一用户的身份信息。本实施例所述封闭空间1设有出入口，优选一个用户入口103，一个用户出口104。如图1、4所示，封闭空间1的每一出入口处都设置有门禁装置101，优选一自动闸机。用户身份识别系统100设有身份识别装置102，包括扫码装置1021以及身份获取单元1022，用以获取用户的身份信息。扫码装置1021设置于用户入口103处的门禁装置101的内部或外部，用以扫描身份识别码，优选一二维码；身份获取单元1022为数据处理设备7中的一个功能模块，可以根据所述身份识别码获取用户的身份信息。用户出口104处的门禁装置101无需设置身份识别装置102。
如图5所示，本实施例还包括目标物定位系统200，用以获取每一目标物在封闭空间1的实时位置，所述目标物为用户及其延伸部的全部或局部，目标物定位系统200包括三维影像采集装置201以及设于数据处理设备7内的目标物坐标获取单元202。目标物定位系统200可以实时获取每一用户的手部坐标集，从而确定取走或放回货品的用户身份。
三维影像采集装置201包括至少一影像传感器，用以实时采集至少一帧三维影像，影像传感器平均分布于封闭空间1顶部，其镜头朝向下方，镜头中轴线可以与水平面垂直也可以有一定的倾角，影像传感器的视野范围覆盖封闭空间1的全部底面，从用户扫码进入封闭空间1开始，从用户入口103处开始跟踪每一用户的实时位置。用户在无人超市内行动或购物时，始终处于影像传感器的监视之下，数据处理设备7利用计算机算法可以实时获取用户整体的实时位置坐标及手部实时位置坐标。
本实施例还包括货品监控系统，用以实时监控每一种货品的取放状态，所述取放状态包括货品静置状态、被取走状态及被放回状态；进一步地，当任一种类货品被取走或被放回时，获取被取走或被放回的货品的种类及数量。
所述货品监控系统包括第一货品感知系统300，其为一种基于重量监测的货品感知系统，如图6所示，其包括货品数据库生成单元301、重量值采集单元302、取放状态判断单元303以及货品数据库更新单元304。上述四个单元为数据处理设备7中的功能模块，可以监控每一架板的实时重量感应值，判断被取走或被放回的货品的种类及数量。
货品数据库生成单元301用以生成一货品数据库；货品数据库包括每一货品的货品信息及用以放置货品的每一架板的重量感应值，所述货品信息包括货品的种类、单品重量值以及货品对应的架板编号与货架编号，还包括货品的编号货品名、型号、净含量及单价等。在无人超市布置过程中，优选地，在每一架板5上摆放种类相同、重量相同的多个货品之后，货品信息被录入至数据处理设备7，并存储于货品数据库中。以某品牌饮料为示例，某一架板上摆放有8瓶某品牌饮料，架板的重量为100克，每瓶饮料重量为200克，在初始化后货品数据库中该架板的感应重量值为1700克，该品牌饮料对应的产品名称（某凉茶）、净含量（195ml）、产地（广东）、单价（5元）、单品重量值（200克）、货架编号（1）、架板编号（1-12）、商品编号（025）等信息也被存储在所述货品数据库内。
重量值采集单元302通过数据线分别连接至每一架板5内的重量感应装置6，用以实时采集每一架板5的实时重量感应值，优选地，采集时间间隔为0.1-0.2秒。所述实时重量感应值为重量传感器的感应值，在货品被摆放至架板5之后，代表该架板及该架板上货品的总重量值；在货品被摆放至架板5之前，每一架板的重量感应值代表该架板的重量。当有货品被取走或被放回至架板5时，实时重量感应值会发生变化。
为了减小误差，在架板5上正式摆放货品之前，需要先进行校准处理，用多种不同重量的标准砝码计算重量传感器的感应值X与架板上方放置物品的实际重量值Y之间的对应关系。例如，先将架板空置，获取重量感应装置6（重量传感器）的感应值X0，此时架板上货品重量Y0=0克；再用重量值为500克、1000克的标准砝码分别放置在架板上，获取重量感应装置6（重量传感器）的感应值X1、X2，对应的架板上货品重量Y1=500克，Y2=1000克。利用公式Y（货品重量值）= k * X（传感器值）+ b，计算并存储三组参数k、b的数值，选择其中偏差较小的参数组。在后续的实时监控过程中，重量感应装置6（重量传感器）每次实时采集到的传感器值，结合参数k、b的数值，即可以计算出每一架板上既有货品的总重量。
取放状态判断单元303用以判断每一架板的重量感应值是否发生变化，若变小，判定该架板上有货品被取走；若变大，判定有物品被放置于该架板上；若完全不变，说明该架板上的货品完全没有变化，重量值采集单元302重新进行实时采集。取放状态判断单元303包括重量差值计算单元3031、重量差值判断单元3032以及架板信息记录单元3033。
重量差值计算单元3031计算实时采集的每一架板的实时重量感应值与所述货品数据库内存储的同一架板的重量感应值的差值，记录为每一架板的重量差值。例如，前述示例中，若放置前述某品牌饮料的架板重量发生变化，变为1300克或1900克，分别记录重量差值为-400克或200克。
重量差值判断单元3032将至少一架板的重量差值与0对比；当一架板的重量差值小于0时，判定该架板上有货品被取走；当一架板的重量差值大于0时，判定该架板上有物品被放置，此时不能确定该物品是否为用户之前从货架上取走的货品，也可能是用户的随身物品。例如，前述示例中，重量差值为-400克，即可认定有货品被取走；重量差值为200克，即可以认定有物品被放置在货架上。
当一架板的重量差值大于0或小于0时，架板信息记录单元3033记录该架板的架板编号以及该架板的重量差值。例如，若前述示例中的重量差值-400克，已知该架板重量减少，记录该架板的编号（1-12）。若前述示例中的重量差值200克，已知该架板初始状态下的重量感应值为1700克，此时被放置在该架板上的物品必然不是原货架上的商品，因此很可能是原属于其他架板上的商品或者是用户自带的物品，如雨伞、手机等，此时可选择地生成一个报警信号，提醒管理人员或用户，必要时，可以将该架板的架板编号显示在某一显示器上，以便管理人员或用户及时处理。
取放状态判断单元303还包括货品种类判断单元3034及货品数量计算单元3035。当一架板的重量差值小于0时，货品种类判断单元3034根据该架板编号及该架板对应的货品信息判断被取走货品的种类。例如，已知该架板的编号（1-12），如果每一架板上只放置一种货品，可以判断该货品种类为某凉茶，也可以对应找出其他货品信息，如单品重量值（200克）、净含量（195ml）、产地（广东）、单价（5元）等。如果该架板被放置多种货品，只能根据重量差值初步判断出被取走货品可能的种类及数量。
当一架板的重量差值小于0时，如果每一架板上只放置一种货品，货品数量计算单元3035计算该架板的重量差值的绝对值与该架板对应的货品的单品重量值的比值，利用四舍五入法对该比值进行取整处理，获得的整数即为被取走货品的数量。例如，前述示例中的重量差值-400克，其绝对值为400克，与单品重量值（200克）的比值为2，因此该比值即为被取走货品的数量。由于同种类的多个货品之间也可能存在较小的重量差值，直接计算之后的比值不一定为整数，可能为趋近于某个整数，因此需要利用四舍五入法对该比值进行取整处理，从而可以判断出被取走货品的种类及数量。如果该架板被放置多种货品，根据重量差值及多种货品的重量值初步判断货品的种类及数量。在理想状态下，如果用户素质较高，每一次放回货品时都能将该货品正确放回至该货品原属货架。当一架板的重量差值大于0时，货品种类判断单元3034根据该架板编号及该架板对应的货品信息判断被放回货品的种类。货品数量计算单元3035计算该架板的重量差值的绝对值与该架板对应的货品的单品重量值的比值，利用四舍五入法对该比值进行取整处理，获得的整数即为被放回货品的数量。
货品数据库更新单元304用以存储所述实时重量感应值至所述货品数据库，形成新的重量感应值，以更新所述货品数据库中每一架板的重量感应值，以待下次调用和判断。
第一货品感知系统300的有益效果在于，提供一种基于重量监测的货品感知方案，可以实时监测货架上货品的实时重量感应值，实时感知每一架板的重量变化，由货架上所有架板的重量变化推断出有哪一种货品被取走或被放回，可以判断被取走或被放回货品的种类和数量。第一货品感知系统300的不足之处在于，对于用户自身素质要求较高，每一用户需要放回某货品时，必须将货品放回其原属位置，一旦出现错放现象，货品监控系统就会出错，无法准确判断被取走或被放回的货品种类及数量，从而导致用户的购物记录与实际购物情况不符，严重影响用户结算。
所述货品监控系统还包括第二货品感知系统400，其为一种基于影像监测的货品感知系统。如图7所示，第二货品感知系统400包括样本采集单元401、模型训练单元402、实时图片采集单元403以及货品种类获取单元404，上述四个单元为数据处理设备7中的功能模块，可以监控货架前方区域的实时影像，判断被取走或被放回的货品的种类及数量。
如图7所示，第二货品感知系统400还包括第一摄像头405及第二摄像头406，第一摄像头405连接至样本采集单元401，用以拍摄每一货品多个角度多个距离的图片。第二摄像头406连接至实时图片采集单元403，用以拍摄一货架前方空间的实时图片。优选地，第二摄像头406的数量为两个或四个，如图9所示，设置于货架1的外部，每一第二摄像头406对应货架1的一个角落处；货架1的多个架板5的前端形成一个货架平面，第二摄像头406的视野范围覆盖货架前方空间，所述货架前方空间是指货架前方对应货架平面的空间区域，所述货架前方的空间区域一般是指货架前方30~50厘米的区域范围，每一个第二摄像头406的镜头朝向所述货架平面的中心区域。
如图8所示，优选地，第二摄像头406的镜头的中轴线与水平面夹角为30-60度；和/或，第二摄像头406的镜头与货架1上端或下端的距离为0.8-1.2米；和/或，第二摄像头406的镜头与货架1一侧边的距离为0.8-1.2米，确保第二摄像头406的视野范围可以完全覆盖货架前方空间，当货品被从货架1上被取下或者被放置在货架1上时，取下过程或放置过程的影像被第二摄像头406拍摄到。
如图7所示，样本采集单元401用以采集至少一组图片样本，每一组图片样本包括一种货品在多角度下的多张样本图片；同一种类货品的一组图片样本被设有相同的组别标识，该组别标识代表该组图片样本对应的货品的种类。优选地，第一摄像头405对货架1上每种货品需要拍摄不同角度不同距离的3000~5000张照片，并传送至数据处理设备7的样本采集单元401。这些照片中，有些是独立拍摄货品的照片，有些是有背景的货品照片，有些是货品被某人拿在手中的照片，有些是多个同类产品叠放在一起的照片。由于本实施例涉及的无人超市中所销售的货品为标准货品，同一种类货品的外观六面图都是相同或相近似的，因此在同一种类货品中只要选择一个或几个产品，对其进行多次拍照处理即可完成该类货品训练样本的采样。模型训练单元402用以根据多组图片样本中的每一样本图片及每一样本图片的组别标识训练卷积神经网络（CNN）模型，获取货品识别模型。卷积神经网络（Convolutional Neural Network，简称CNN）是一种前馈神经网络，对于大型图像处理有出色表现。卷积神经网络包括卷积层（convolutional layer）和池化层（pooling layer）。优选地，本实施例中的卷积神经网络模型是目前运算量最小、响应速度最快的Faster RCNN网络模型，该模型的最快响应速度只要0.2秒左右，可以在极短的时间准确识别出图片的物品的种类。如果模型训练的样本较少，或者，样本的清晰度比较低，只训练一次获得的分组模型，在判断图片中显示的货品的种类时可能误差较大，因此最好能有交叉验证的过程，可以获得更加精确的模型。
模型训练单元402包括样本分类单元4021、分组模型训练单元4022以及交叉验证单元4023。样本分类单元4021将多组所述图片样本随机分成两类，分别为训练样本和测试样本；分组模型训练单元4022将多组训练样本的每一样本图片及其组别标识输入至卷积神经网络模型，经训练后获取分组模型；交叉验证单元4023用以根据多组测试样本的每一图片及每一组测试样本的组别标识对所述分组模型进行验证，计算模型准确率；当所述分组模型的准确率小于预设阈值（如90%）时，返回所述样本分类单元；当所述分组模型的准确率大于或等于所述预设阈值（如90%）时，所述分组模型为货品识别模型。如果模型训练的样本较少，或者，样本的清晰度比较低，只训练一次获得的分组模型，在判断图片中显示的货品的种类时可能误差较大，因此最好能有交叉验证单元。
如果模型训练的样本够多，样本的清晰度比较高，直接训练一次，就可以利用Faster RCNN 网络模型训练出一个分组模型，该分组模型可以有效判断图片中显示的货品的种类。在其他实施例中，模型训练单元402可以只包括分组模型训练单元4022，将样本采集单元401采集的多组图片样本的全部或部分作为训练样本，将每一样本图片及其组别标识输入至卷积神经网络模型，经训练后获取分组模型，所述分组模型即为货品识别模型。
分组模型训练单元4022包括特征提取单元40221、候选区域生成单元40222、候选区域映射单元40223以及分类器生成单元40224。特征提取单元40221将每一训练样本的图片输入卷积神经网络，进行特征提取，获取特征图像（feature map），该特征图像对应训练图片中显示全部或部分货品的区域；候选区域生成单元40222将每一训练样本的图片输入候选区域网络（RPN），生成多个候选区域（region proposals）；候选区域映射单元40223把每一训练样本的图片候选区域映射到卷积神经网络最后一层卷积层的特征图像上；分类器生成单元40224收集多个训练样本的图片特征图像和候选区域，计算出候选区域的特征图像，并送入分类器网络（classfier 网络），生成分类器。在该分类器网络中，将对应同一货品的所有训练样本图片的特征图像与该货品的组别标识形成对应关系，该组别标识即为该组图片样本对应的货品的种类。
交叉验证单元4023包括测试样本输入单元40231，准确率计算单元40232，测试样本输入单元40231将多个测试样本的每一图片输入至所述分组模型，获取多个测试样本的测试组别标识；准确率计算单元40232将多个测试样本的测试组别标识与所述测试样本的组别标识对比，计算相同标识的数量与所述测试样本的数量的比值，该比值即为所述初级数据模型的准确率。优选地，将预设阈值设置为90%，当分组模型的准确率小于90%时，样本分类单元4021将样本重新分组、重新训练；当所述分组模型的准确率大于或等于90%时，可以认为所述分组模型即为货品识别模型。
实时图片采集单元403用以连续采集货架前方空间的至少一实时图片，当有用户从货架的某一架板上取走货品时，或者，当有用户放置货品或物品至货架的某一架板时，第二摄像头406可以拍摄到货品在货架前的图片，该图片中包括此货品的全部或一部分，显示该货品的形状、图案及色彩。优选地，第二摄像头的拍摄速度为每秒30帧，快速获取该货品的多张实时图片，传送至实时图片采集单元403。
在连续获取的多帧图片中，每一帧图片中货品与货架边缘处的距离都是不同的，数据处理设备7可以计算所述距离的变化判断货品与货架距离变化，如果所述距离变大，可以认为货品被从货架上取走，如果所述距离变小，可以认为货品被放置在货架上。
假设用户手持货品在货架前方停留1秒钟，两个第二摄像头406以每秒30帧的速度拍摄照片，两个第二摄像头406可以在1秒钟内获取不同角度的60张实时图片，每一图片的显示内容可以包括用户的手部及货品的局部。第二摄像头406可以为长时间持续运行的设备，也可以在货架板上设置一个感应开关，连接至第二摄像头406，平时为断电状态，当有用户行进至货架附近时，感应开关连通，第二摄像头406通电启动；当用户离开时，第二摄像头406断电关闭。
货品种类获取单元404用以根据所述实时图片及所述货品识别模型获取所述实时图片中显示的货品的种类及数量。货品种类获取单元404包括组别标识获取单元4041以及标识可信度计算单元4042。
组别标识获取单元4041将多个实时图片输入至所述货品识别模型，获取多个实时图片所对应的多个组别标识，作为可能性结论。组别标识获取单元4041包括第二特征提取单元40411、第二候选区域生成单元40412、第二候选区域映射单元40413以及第二组别获取单元40414。第二特征提取单元40411将一实时图片输入卷积神经网络，进行特征提取，获取特征图像；第二候选区域生成单元40412将所述实时图片输入候选区域网络，生成多个候选区域；第二候选区域映射单元40413把所述实时图片的候选区域映射到卷积神经网络最后一层的特征图像上；组别获取单元40414收集多个图片的特征图像和候选区域，计算出候选区域的特征图像，并送入分类器网络，获取该实时图片所对应的组别标识。实时图片采集单元403在某一时段采集到的多张实时图片，在预处理后输入至所述货品识别模型，例如，1秒钟内采集到60张图片，就可以获取60个组别标识。
标识可信度计算单元4042计算所述可能性结论中所述可能性结论中每一种组别标识的数量与所述可能性结论中全部组别标识总数的比值，该比值即为每一种组别标识的可信度，可信度最大的组别标识所对应的货品的种类和/或数量即为所述实时图片上显示的货品的种类和/或数量。对比上述的60个组别标识，如果与60个组别标识相应的60个货品种类中，出现货品A的次数为36，出现货品B的次数为18，出现货品C的次数为6，则三者的可信度分别为60%、30%及10%，可以认定所述实时图片上所显示的货品的种类为可信度最高的货品A。如果样本采集单元401采集的图片样本中包括多个同类货品叠放在一起的照片，货品种类获取单元404还可以进一步判断货品的数量。
第二货品感知系统400可以实时监测货架前方空间的影像，利用机器学习中的卷积算法推断出货品的种类及数量，并选择可信度最高的结果作为最后结论，由于本实施例采用的是目前运算量最小、响应速度最快的Faster RCNN 网络模型，可以在0.2秒内做出判断及反馈，即使出现货品错放的现象也不会影响判断结果。
如图9所示，本实施例还包括购物用户判断系统500，其为数据处理设备7中的功能模块，当任一种类货品被取走或被放回时，根据所述用户的身份信息及所述用户的实时位置获取取走或放回货品的用户身份。购物用户判断系统500包括货品信息存储单元501、架板坐标存储单元502、架板与用户匹配判断单元503以及货品与用户匹配判断单元504。
第一货品感知系统300中的货品数据库生成单元301及货品数据库更新单元304生成或更新的货品数据库皆存储于货品信息存储单元501中。
目标物定位系统200在所述封闭空间内建立三维坐标系，由于货架1及架板5的位置确定，因此建立坐标系后即可获取各个货架1及各个架板5的坐标，货架坐标集及架板坐标集存储于架板坐标存储单元502中，设置架板上方的用以放置货品的架板空间的高度，即可获取所述架板空间的坐标集。
目标物坐标获取单元202可以获取每一用户手部的实时坐标集，当一架板5上方的架板空间的坐标集与一用户手部坐标集有交集时，架板与用户匹配判断单元503判定该架板5与该用户匹配，可以认为该用户将手部伸入至该架板5上方的架板空间，用户的行为可能是取走货品或者放回货品。当有货品从一架板上被取走或被放置到一架板上时，且同一时刻下有一用户与该架板匹配，货品与用户匹配判断单元504判定该货品与该用户匹配，该货品在这一时刻被该用户从该架板上取走或放置到该架板上，从而确定该用户的身份。
如图10所示，本实施例还包括购物信息记录单元600，其为数据处理设备7中的功能模块，根据每一用户的身份信息生成至少一购物数据库，用以记录每一用户取走至少一货品的种类及数量。购物信息记录单元600包括购物数据库生成单元601以及购物数据库更新单元602。
当一用户的身份被用户身份识别系统100识别时，购物数据库生成单元601根据所述用户的身份信息在数据处理设备7中生成该用户的购物数据库，初始状态下的购物数据库无任何购物信息。
购物数据库更新单元602根据被取走货品的种类及数量以及取走货品的用户的身份信息生成一组购物信息，并存储至该用户的购物数据库，该购物信息中包括此刻被取走货品的种类及数量，以及该货品的货品信息，如货品名、型号、净含量及单价，等等。用户在封闭空间1内多次取走货品之后，其购物数据库内包括多组购物信息，由于用户随身携带的移动通信终端与数据处理设备7以无线通信方式连接并进行数据交换，因此，购物数据库中的购物信息也可以显示在用户的移动通信终端的APP界面上。
当任一货品与一用户匹配时，如果某一架板5的实时重量感应值减小，说明有货品从该架板上被取走，货品种类判断单元3034根据所述货品数据库内存储的货品信息及重量差值小于0的架板编号判断被取走货品的种类及数量，购物数据库更新单元602根据取货用户的身份、被取走货品的种类及数量生成购物信息，存储至该用户的购物数据库中。
当任一货品与一用户匹配时，如果某一架板5的实时重量感应值增大，说明有货品被放回该架板上，货品种类判断单元3034根据所述货品数据库内存储的货品信息及重量差值大于0的架板编号判断被放回货品的种类及数量。购物数据库更新单元602根据放回货品用户的身份、被取走货品的种类及数量生成归还信息，从该用户的购物数据库中删除与所述归还信息相应的购物信息。
第一货品感知系统300、第二货品感知系统400、购物用户判断系统500以及购物信息记录单元600可以互相配合工作，当有物品被放回货架时，利用重量监测技术和影像监测技术两次判断被放回物品的种类及数量，判断是否出现错放现象，所述错放现象是指被放回货品与被放回货架上原有货品不一致的现象。如果出现错放现象，记录被错放架板的架板编号，当被错放架板上有货品被取走时，进一步判断被取走货品的种类及数量。
如图11所示，本实施例还包括纠错系统700，包括第一货品感知系统300、第二货品感知系统400、购物用户判断系统500以及购物信息记录单元600中的一部分功能模块。
如图6、图11所示，第一货品感知系统300还包括货品种类推断单元305，当出现错放现象时，根据放回货品用户的购物数据库及架板重量差值推断被放回货品可能的种类及数量。如图7、图11所示，第二货品感知系统400还包括被放货品确认单元407以及取走货品确认单元408，当出现错放现象时，被放货品确认单元407确认被错放货品的种类及数量；当被错放架板上有货品被取走时，取走货品确认单元408确认被错放架板上被取走货品的种类及数量。
当取放状态判断单元303判断出一架板的重量差值大于0时，且架板与用户匹配判断单元503判定该架板5与一用户匹配，可以确定有货品被该用户放回至该架板。
当货品被一用户放回至一架板时，货品种类推断单元305判断该用户的购物数据库中至少一种已购货品的重量值总和与该架板的重量差值是否相等。若是，推断出被放回货品的种类及数量的R种可能性结论；若否，推断出放置于该架板上的物品为该用户的随身物品，将该架板的重量差值记录为随身物品的重量值S。由于用户购物数据库中的货品种类和数量都比较少，数据处理设备7很快会计算出被放回货品可能的种类及数量。例如，若该架板的重量差值为200克，且已购货品中有两个100克的货品A及四个50克的货品B，可以初步判断被放回该架板的物品可能是2个货品A，或者1个货品A及2个货品B，或者4个货品B。若该架板的重量差值为50克，但该用户已购货品的重量都在100克以上，可以推断该物品并非货架上原有货品，而是该用户的随身物品，记录其架板编号及其重量值S=50克，将其存储至货品信息存储单元501中的货品数据库。
当货品被一用户放回至一架板时，货品种类获取单元404根据所述货架前方空间的实时图片及一货品识别模型获取被放回货品的种类及数量的T种可能性结论，并记录每种可能性结论的可信度。
被放货品确认单元407对比货品种类获取单元404获取被放回货品的种类及数量的T种可能性结论与货品种类推断单元305推断出的被放回货品的种类及数量的R种可能性结论，若所述T种可能性结论与所述R种可能性结论中有至少一可能性结论相同，一组或多组相同可能性结论中可信度最大的可能性结论所对应的货品的种类及数量即为被放回货品的种类及数量。例如，货品种类推断单元305有三种可能性结论，分别为2个货品A，或者1个货品A及2个货品B，或者4个货品B；同时，货品种类获取单元404有两种可能性结论，分别为2个货品A，或者1个货品A及2个货品Ｃ；两组结果中只有一个可能性结论是相同的，即2个货品A，从而可以确认被放回货品的种类为货品A，其数量为2个。如果对比后有两组以上的可能性结论是相同的，选择其中可信度最大的可能性结论作为最终结论。
纠错系统700还包括货品错放判断单元701，当物品被一用户放回至一架板时，货品错放判断单元701对比所述被放回货品的种类与货品数据库中该架板对应的货品种类，若被放回货品中仅有一种货品，且与该架板对应的货品种类相同，说明用户放回位置正确，无错放现象。若被放回货品中有至少一种货品与该架板对应的货品种类不同，货品错放判断单元701记录该架板为错放架板，记录被错放货品的货品信息及该架板编号，可以将其存储至货品信息存储单元501中的货品数据库。
当货品被从一错放架板取走时，货品种类推断单元305根据该架板编号、该架板对应的货品信息、被错放货品的货品信息以及该架板的重量差值推断被取走货品的种类及数量的U种可能性结论。例如，若该错放架板的重量差值为-100克，且该架板上原有货品C的单品重量为50克，但是被用户误放了其他架板上的2个货品A，其单品重量为100克，那么此时货品种类推断单元305有两种可能性结论，分别为2个货品C或者一个货品A。
当货品被从一错放架板取走时，货品种类获取单元404根据所述货架前方空间的实时图片及一货品识别模型获取被取走货品的种类及数量的V种可能性结论，并记录每种可能性结论的可信度。
取走货品确认单元408对比货品种类获取单元404获取被取走货品的种类及数量的V种可能性结论与货品种类推断单元305推断出的被取走货品的种类及数量的U种可能性结论，若所述V种可能性结论及所述U种可能性结论中有至少一可能性结论相同，相同可能性结论中可信度最大的可能性结论所对应的货品的种类及数量即为被取走货品的种类及数量。
例如，货品种类推断单元305有两种可能性结论，分别为2个货品C或者1个货品A；同时，货品种类获取单元404有三种可能性结论，分别为2个货品B或者1个货品A，或者4个货品D；两组结果中只有一个可能性结论是相同的，即1个货品A，从而可以确认从误放货架上被取走货品的种类为货品A，其数量为1个。如果对比后有两组以上的可能性结论是相同的，在这些可能性结论中选择可信度最大的可能性结论作为最终结论。
每次确定被取走的货品的种类及数量之后，购物数据库更新单元602将生成的购物信息写入取走货品用户的购物数据库；每次确定被放回的货品的种类及数量之后生成相应的归还信息，购物数据库更新单元602从放回货品用户的购物数据库中删除与所述归还信息相应的购物信息，使得购物数据库中的货品的种类及数量与用户购买的货品的种类及数量一致。
如图12所示，本实施例还包括结算系统800，其为数据处理设备7中的功能模块，用以根据所述用户的购物数据库中所有货品的种类及数量结算费用。用户购物过程结束后，可以自行从出入口的门禁装置处离开封闭空间1。当目标物定位系统200的影像传感器2011无法获取该用户的实时三维影像时，可以认定该用户购物结束，结算系统800为该用户结算费用。
结算系统800包括总金额计算单元801及支付单元802。当所述用户离开所述封闭空间时，总金额计算单元801根据所述用户的购物数据库中全部货品的种类及数量计算总金额，由于每一种类货品的单价作为货品信息预存在数据处理设备7中，因此多种货品单价与数量的乘积的总和的金额即为该用户需要支付的总金额。进一步地，在其他实施例中，用户可以享受到货品折扣或使用优惠券、抵用券等，用户需要支付的总金额为多种货品单价与数量的乘积的总和的金额内减去优惠券和/或抵用券金额和/或折扣金额。支付单元802为结算系统800自带的支付软件或第三方支付软件，可以从所述用户的银行账户或电子账户上扣款，扣除的款项金额与该用户需要支付的总金额相同。
基于前文所述的货品监控系统，本实施例还提供一种货品监控方法，如图13所示，包括如下步骤S1）~S3）。步骤S1）架板设置步骤，在封闭空间内设置货架，每一货架包括架板，每一架板上放置有货品，每一架板内设有重量感应装置，以获取每一架板的重量感应值；步骤S2）第一货品感知步骤，用以根据每一架板的重量感应值的实时变化实时感知每一货品的取放状态，实时获取被取走或被放回的货品的种类及数量；以及步骤S3）第二货品感知步骤，用以根据所述货架前方空间的影像变化实时感知每一货品的取放状态，实时获取被取走或被放回的货品的种类及数量。步骤S1）之后，步骤S2）与步骤S3）同时执行，且互不干涉。
如图14所示，步骤S2）第一货品感知步骤包括如下步骤S201）~ S208）。步骤S201）货品数据库生成步骤，用以生成一货品数据库；所述货品数据库包括每一货品的货品信息及用以放置货品的每一架板的重量感应值，所述货品信息包括货品的种类、单品重量值以及货品对应的架板编号。步骤S202）重量值采集步骤，用以实时采集每一架板的实时重量感应值，所述重量感应值为该架板及该架板上货品的实时重量值。在步骤S202）重量值采集步骤中，采集实时重量感应值的时间间隔为0.1-0.5秒。步骤S203）取放状态判断步骤，用以判断每一架板的重量感应值是否发生变化，若变小，判定该架板上有货品被取走；若变大，判定有物品被放置于该架板上。若完全不变，说明该架板上的货品完全没有变化，返回步骤S202）重量值采集步骤，重新进行实时采集。
如图15所示，步骤S203）取放状态判断步骤包括如下步骤：步骤S2031）重量差值计算步骤，用以计算实时采集的每一架板的实时重量感应值与所述货品数据库内存储的同一架板的重量感应值的差值，记录为每一架板的重量差值。例如，前述示例中，若放置前述某品牌饮料的架板重量发生变化，变为1300克或1900克，分别记录重量差值为-400克或200克。步骤S2032）重量差值判断步骤，用以将至少一架板的重量差值与0对比；当一架板的重量差值小于0时，判定该架板上有货品被取走；当一架板的重量差值大于0时，判定该架板上有物品被放置，此时不能确定该物品是否为用户之前从货架上取走的货品，也可以是用户的随身物品。例如，前述示例中，重量差值为-400克，即可以认定有货品被取走；重量差值为200克，即可以认定有物品被放置在货架上。步骤S2033）信息记录步骤，当每次有架板上的重量感应值发生变化时，该架板的重量差值大于0或小于0，用以记录该架板的架板编号以及该架板的重量差值，例如，若前述示例中的重量差值为-400克，已知该架板重量减少，记录该架板的编号（1-12）。若前述示例中的重量差值为200克，已知该架板初始状态下的重量感应值为1700克，此时被放置在该架板上的物品必然不是原货架上的商品，因此很可能是原属于其他架板上的商品或者是用户自带的物品，如雨伞、手机等，此时可选择地生成一个报警信号，提醒管理人员或用户。
如图15所示，若一架板上有货品被取走，S203）取放状态判断步骤还可以包括：S2034）货品种类判断步骤，当一架板的重量差值小于0时，用以根据该架板编号及该架板对应的货品信息判断被取走货品的种类，例如，已知该架板的编号（1-12），由于每一架板上只放置一种货品，因此可以判断该货品种类为（某凉茶），也可以对应找出其他货品信息，如单一货品重量值（200克）、净含量（195ml）、产地（广东）、价格（5元）等。S2035）货品数量计算步骤，用以计算一架板的重量差值该架板对应的货品的单品重量值的比值，利用四舍五入法对该比值进行取整处理，获得的整数即为被取走货品的数量。例如，前述示例中的重量差值-400克，其绝对值为400克，与单一货品重量值（200克）的比值为2，因此该比值即为被取走货品的数量。由于货品之间可能会存在重量差值，并非所有货品都是绝对标准件，同种类的多个货品之间也存在一定的重量差值，因此，计算之后的比值不一定为整数，因此需要利用四舍五入法对该比值进行取整处理，从而可以判断出被取走货品的种类及数量。
步骤S204）货品数据库更新步骤，用以存储所述实时重量感应值至所述货品数据库，形成新的重量感应值，以更新所述货品数据库中每一架板的重量感应值，返回S202）重量值采集步骤。上述步骤S202）~S203）在每次判断完成后，新的实时重量感应值重新存储至货品数据库，以替换原重量感应值，以待下一次的判断。
如图14所示，步骤S2）第一货品感知步骤还可以包括如下步骤：S205）用户身份识别步骤，用以识别每一用户的身份信息；S206）用户定位步骤，用以获取每一用户在所述封闭空间的实时位置；S207）购物用户判断步骤，当任一货品被取走或被放回时，用以根据用户的身份信息及其实时位置判断取走或放回货品的用户身份；S208）购物信息记录步骤，根据每一用户的身份信息生成购物数据库，用以记录每一用户取走的货品的种类及数量。
如图16所示，S208）购物信息记录步骤包括如下步骤：S2081）购物数据库生成步骤，当一用户的身份被识别时，用以根据所述用户的身份信息生成该用户的购物数据库；以及S2082）购物数据库更新步骤，当货品被取走时，根据被取走货品的种类及数量以及取走货品的用户的身份信息生成购物信息，且存储至该用户的购物数据库中；当货品被放回时，根据被放回货品的种类及数量以及放回货品的用户的身份信息生成归还信息，从该用户的购物数据库中删除与所述归还信息相应的购物信息。在数据处理设备中，每一用户都有一个对应的购物数据库，当一种货品被一用户取走时，该货品的货品信息及被取走的数量作为购物信息被写入该用户的购物数据库中，以便购物结束之后的用户结算。当一种货品被一用户归还时，该货品的货品信息及被归还的数量生成归还信息，从该用户的购物数据库中将与归还信息对应的购物信息删除。
在前述示例中，当用户取走两瓶饮料后，货品数据库中架板（1-12）对应的实时重量值已经被更新为1300克，用户的购物数据库中存储两瓶饮料（某凉茶）的货品信息及数量。如果之后数据采集单元102采集架板（1-12）的实时重量感应值为1500克，架板（1-12）的重量差值为200克，执行S203）取放状态判断步骤，判断有物品被放置在该架板上，执行S204）数据库更新步骤，将货品数据库中架板（1-12）对应的实时重量值更新为1500克。执行S207）购物用户判断步骤，判断放置物品的用户的身份；执行S208）购物信息记录步骤，如果该用户的购物数据库中，只有一种200克的商品，可以判断被放回的物品为用户之前取走的一瓶饮料（某凉茶），将用户的购物数据库中该饮料（某凉茶）的数量由2减少为1。类似地，如果架板（1-12）的重量差值为400克，将用户的购物数据库中该饮料（某凉茶）的数量由1减少为0，或者，将用户的购物数据库中该饮料（某凉茶）的购物记录，如商品信息及数量，全部删除。
如图17所示，步骤S3）第二货品感知步骤具体包括如下步骤：步骤S301）样本采集步骤，用以采集多组图片样本，每一组图片样本包括一种货品在多角度下的多张样本图片；同一种类货品的一组图片样本被设有相同的组别标识，该组别标识即为该组图片样本对应的货品的种类。步骤S302）模型训练步骤，用以根据多组图片样本中的每一样本图片及其组别标识训练卷积神经网络模型，获取货品识别模型。步骤S303）实时图片采集步骤，用以连续采集货架前方空间的至少一实时图片，每一实时图片包括一货品影像的一部分或全部。步骤S304）货品种类获取步骤，用以根据所述实时图片及所述货品识别模型获取所述实时图片中显示的货品的种类。
如图18所示，S304）货品种类判断步骤包括如下步骤：S3041）组别标识获取步骤，用以将多个实时图片输入至所述货品识别模型，获取多个实时图片所对应的多个组别标识；S3042）标识可信度评估步骤，用以计算每一种组别标识的数量与全部组别标识总数的比值，该比值即为每一种组别标识的可信度，可信度最大的组别标识所对应的货品的种类即为所述实时图片上显示的货品的种类。如果样本采集单元401采集的图片样本中包括多个同类货品叠放在一起的照片，货品种类获取单元404还可以进一步判断货品的数量。
如图19所示，基于前文所述的货品监控系统，本实施例还提供另外一种货品监控方法，包括上述步骤S1）~S3），在步骤S2）及步骤S3）执行过程中，还包括如下步骤S4）~S12）。
步骤S4）购物用户判断步骤，购物用户判断单元200判断取走或放回货品的用户的身份。
步骤S5）购物数据库更新步骤，当货品被取走时，购物数据库更新单元602根据被取走货品的种类及数量以及取走货品的用户的身份生成购物信息，且存储至该用户的购物数据库中；当货品被放回时，购物数据库更新单元602根据被放回货品的种类及数量以及放回货品的用户的身份生成归还信息，从该用户的购物数据库中删除与所述归还信息相应的购物信息。
步骤S6）货品种类第一推断步骤，当货品被一用户放回至一架板时，取放状态判断单元303判断出此刻有货品被放置在架板上，重量差值计算单元3031获取此刻的该架板的重量差值，购物用户判断单元200判断取走或放回货品的用户的身份，查找该用户的购物数据库，货品种类推断单元305判断该用户的购物数据库中至少一种已购货品的重量值总和与该架板的重量差值是否相等，若是，推断出被放回货品的种类及数量的R种可能性结论。
步骤S7）货品种类第一获取步骤，当货品被一用户放回至一架板时，货品种类获取单元404用以根据所述货架前方空间的实时图片及一货品识别模型获取被放回货品的种类及数量的T种可能性结论，并记录每种可能性结论的可信度。步骤S7）与步骤S6）同时发生，且互不干涉。
步骤S8）被放货品确认步骤，被放货品确认单元407对比所述货品种类第一获取步骤获取被放回货品的种类及数量的T种可能性结论与所述货品种类第一推断步骤推断出的被放回货品的种类及数量的R种可能性结论，若二者中有至少一可能性结论相同，相同可能性结论中可信度最大的可能性结论所对应的货品的种类及数量即为被放回货品的种类及数量。
步骤S9）货品错放判断步骤，当物品被一用户放回至一架板时，货品错放判断单元701对比所述被放回货品的种类与该架板对应的货品种类，若被放回货品中有至少一种货品与该架板对应的货品种类不同，判断出现货品错放现象，记录该架板为错放架板，记录被错放货品的货品信息及该架板编号。
步骤S10）货品种类第二推断步骤，当一错放架板的重量差值小于0时，货品种类推断单元305根据该架板编号、该架板对应的货品信息、被错放货品的货品信息以及该架板的重量差值推断被取走货品的种类及数量的U种可能性结论。
步骤S11）货品种类第二获取步骤，当货品被从一错放架板取走时，货品种类获取单元404根据所述货架前方空间的实时图片及一货品识别模型获取被取走货品的种类及数量的V种可能性结论，并记录每种可能性结论的可信度。
步骤S12）取走货品确认步骤，取走货品确认单元408对比所述货品第二种类获取步骤获取被取走货品的种类及数量的V种可能性结论与所述货品第二种类推断单元推断出的被取走货品的种类及数量的U种可能性结论，若二者中有至少一可能性结论相同，至少一相同可能性结论中可信度最大的可能性结论所对应的货品的种类及数量即为被取走货品的种类及数量。
本实施例的有益效果在于，提供一种货品监控系统及一种货品监控方法，应用于无人超市，采用架板重量监测技术实时感知每一架板的重量变化，结合货架前方区域的影像监测技术判断被取走或被放回货品的种类及数量；利用人体实时定位技术判断取走或放回货品的用户身份，从而记录每一用户在无人超市中取走货品的种类及数量，在购物过程完成后为其结算。本发明用技术手段解决了用户错拿错放的技术问题，即使用户将货品错放在其他架板上，也可以准确有效地记载用户的购物信息，确保用户结算信息与实际购物情况始终相符。
本发明的有益效果在于，本发明中货品无需增加硬件成本，系统感知灵敏，误差极小，可准确判断每一用户每次取走或放回货品的购物行为，可准确记录每一用户在无人超市购买货品的种类及数量，可以有效杜绝偷盗现象。此外，本发明需要的用户操作较少，只需入门前扫码及确认支付即可，进入方便，结算快捷，用户体验良好。相对于传统零售行业，使用本发明的无人超市，运营过程中完全依靠计算机监管，无需人工干预，可以有效降低人力成本。
以上所述仅是本发明的优选实施方式，使本领域的技术人员更清楚地理解如何实践本发明，这些实施方案并不是限制本发明的范围。对于本技术领域的普通技术人员，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (18)

1.一种货品监控系统，其特征在于，包括
封闭空间，其内设有货架，每一货架包括架板，每一架板上放置有货品，每一架板内设有重量感应装置；
第一货品感知系统，用以根据每一架板的重量感应值的实时变化实时感知每一货品的取放状态，实时获取被取走或被放回的货品的种类及数量；以及
第二货品感知系统，用以根据所述货架前方空间的影像变化实时感知每一货品的取放状态，实时获取被取走或被放回的货品的种类及数量。
2.如权利要求1所述的货品监控系统，其特征在于，
所述第一货品感知系统包括
货品数据库生成单元，用以生成一货品数据库，包括每一货品的货品信息及用以放置货品的每一架板的重量感应值；所述货品信息包括货品的种类、单品重量值以及货品对应的架板编号；
重量值采集单元，用以实时采集每一架板的实时重量感应值；
取放状态判断单元，用以判断每一架板的重量感应值是否发生变化，若变小，判定该架板上有货品被取走；若变大，判定有物品被放置于该架板上；以及
货品数据库更新单元，用以存储所述实时重量感应值至所述货品数据库存储单元，以更新所述货品数据库中该架板的重量感应值。
3.如权利要求2所述的货品监控系统，其特征在于，
所述取放状态判断单元包括
重量差值计算单元，用以计算实时采集的每一架板的实时重量感应值与所述货品数据库内存储的同一架板的重量感应值的差值，记录为每一架板的重量差值；
重量差值判断单元，用以将至少一架板的重量差值与0对比；当一架板的重量差值小于0时，判定该架板上有货品被取走；当一架板的重量差值大于0时，判定该架板上有物品被放置；以及
架板信息记录单元，当一架板的重量差值大于0或小于0时，用以记录该架板的架板编号以及该架板的重量差值。
4.如权利要求3所述的货品监控系统，其特征在于，
当同一架板上所有货品种类相同且重量相同时，
所述第一货品监控系统还包括
货品种类判断单元，当一架板的重量差值小于0时，用以根据该架板编号及该架板对应的货品信息判断被取走货品的种类；以及
货品数量计算单元，当一架板的重量差值小于0时，用以计算一架板的重量差值的绝对值与该架板对应的货品的单品重量值的比值，利用四舍五入法对该比值进行取整处理，获得的整数即为被放回或被取走货品的数量。
5.如权利要求1所述的货品监控系统，其特征在于，
所述第二货品感知系统包括
样本采集单元，用以采集至少一组图片样本，每一组图片样本包括一种货品在多角度下的多张样本图片；同一种类货品的一组图片样本被设有相同的组别标识，所述组别标识为该组图片样本对应的货品的种类；
模型训练单元，用以根据多组图片样本的每一样本图片及每一样本图片的组别标识训练卷积神经网络模型，获取货品识别模型；
实时图片采集单元，用以连续采集所述货架前方空间的至少一实时图片，每一实时图片包括至少一货品影像的部分或全部；以及
货品种类获取单元，用以根据所述实时图片及所述货品识别模型获取所述实时图片中显示的货品的种类及数量。
6.如权利要求5所述的货品监控系统，其特征在于，
所述货品种类获取单元还包括
组别标识获取单元，将多个实时图片输入至所述货品识别模型，获取多个实时图片所对应的多个组别标识，作为可能性结论；以及
标识可信度计算单元，计算所述可能性结论中每一种组别标识的数量与所述可能性结论中全部组别标识总数的比值，该比值即为每一种组别标识的可信度，可信度最大的组别标识所对应的货品的种类和/或数量即为所述实时图片上显示的货品的种类和/或数量。
7.如权利要求1所述的货品监控系统，其特征在于，还包括
购物用户判断系统，用以判断取走或放回货品的用户的身份；以及
购物数据库更新单元，当货品被取走时，根据被取走货品的种类及数量以及取走货品的用户的身份生成购物信息，且存储至该用户的购物数据库中；当货品被放回时，根据被放回货品的种类及数量以及放回货品的用户的身份生成归还信息，从该用户的购物数据库中删除与所述归还信息相应的购物信息。
8.如权利要求7所述的货品监控系统，其特征在于，还包括
货品数据库生成单元，用以生成一货品数据库，包括每一货品的货品信息及用以放置货品的每一架板的重量感应值；所述货品信息包括货品的种类、单品重量值以及货品对应的架板编号；
重量差值计算单元，用以计算实时采集的每一架板的实时重量感应值与所述货品数据库内存储的同一架板的重量感应值的差值，记录为每一架板的重量差值；以及
货品种类推断单元，当货品被一用户放回至一架板时，判断该用户的购物数据库中至少一种已购货品的重量值总和与该架板的重量差值是否相等，若是，推断出被放回货品的种类及数量的R种可能性结论；所述第二货品感知系统包括
货品种类获取单元，当货品被一用户放回至一架板时，用以根据所述货架前方空间的实时图片及一货品识别模型获取被放回货品的种类及数量的T种可能性结论，并记录每种可能性结论的可信度；以及
被放货品确认单元，对比所述货品种类获取单元获取被放回货品的种类及数量的T种可能性结论与所述货品种类推断单元推断出的被放回货品的种类及数量的R种可能性结论，若二者中有至少一可能性结论相同，相同的可能性结论中可信度最大的可能性结论所对应的货品的种类及数量即为被放回货品的种类及数量。
9.如权利要求8所述的货品监控系统，其特征在于，还包括
货品错放判断单元，当物品被一用户放回至一架板时，对比所述被放回货品的种类与该架板对应的货品种类，若被放回货品中有至少一种货品与该架板对应的货品种类不同，记录该架板为错放架板，记录被错放货品的货品信息及该架板编号；
当货品被从一错放架板取走时，所述货品种类推断单元用以根据该架板编号、该架板对应的货品信息、被错放货品的货品信息以及该架板的重量差值推断被取走货品的种类及数量的U种可能性结论；
当货品被从一错放架板取走时，所述货品种类获取单元用以根据所述货架前方空间的实时图片及一货品识别模型获取被取走货品的种类及数量的V种可能性结论，并记录每种可能性结论的可信度； 以及
取走货品确认单元，对比所述货品种类获取单元获取被取走货品的种类及数量的V种可能性结论与所述货品种类推断单元推断出的被取走货品的种类及数量的U种可能性结论，若二者中有至少一可能性结论相同，相同可能性结论中可信度最大的可能性结论所对应的货品的种类及数量即为被取走货品的种类及数量。
10.一种货品监控方法，其特征在于，包括如下步骤：
架板设置步骤，在封闭空间内设置货架，每一货架包括架板，每一架板上放置有货品，每一架板内设有重量感应装置；
第一货品感知步骤，用以根据每一架板的重量感应值的实时变化实时感知每一货品的取放状态，实时获取被取走或被放回的货品的种类及数量；以及
第二货品感知步骤，用以根据所述货架前方空间的影像变化实时感知每一货品的取放状态，实时获取被取走或被放回的货品的种类及数量。
11.如权利要求10所述的货品监控方法，其特征在于，
所述第一货品感知步骤包括如下步骤：
货品数据库生成步骤，用以生成一货品数据库，包括每一货品的货品信息及用以放置货品的每一架板的重量感应值；所述货品信息包括货品的种类、单品重量值，还包括该货品对应的架板编号及货品编号；
重量值采集步骤，用以实时采集每一架板的实时重量感应值；
取放状态判断步骤，用以判断每一架板的重量感应值是否发生变化，若变小，判定该架板上有货品被取走；若变大，判定有物品被放置于该架板上；以及
货品数据库更新步骤，用以存储所述实时重量感应值至所述货品数据库存储单元，以更新所述货品数据库中该架板的重量感应值。
12.如权利要求11所述的货品监控系统，其特征在于，
所述取放状态判断步骤包括如下步骤：
重量差值计算步骤，用以计算实时采集的每一架板的实时重量感应值与所述货品数据库内存储的同一架板的重量感应值的差值，记录为每一架板的重量差值；
重量差值判断步骤，用以将至少一架板的重量差值与0对比；当一架板的重量差值小于0时，判定该架板上有货品被取走；当一架板的重量差值大于0时，判定该架板上有物品被放置；以及
架板信息记录步骤，当一架板的重量差值大于0或小于0时，用以记录该架板的架板编号以及该架板的重量差值。
13.如权利要求12所述的货品监控方法，其特征在于，
当同一架板上所有货品种类相同且重量相同时，
所述货品监控方法还包括如下步骤：
货品货品种类判断步骤，当一架板的重量差值小于0时，用以根据该架板编号及该架板对应的货品信息判断被取走货品的种类；以及
货品数量计算步骤，当一架板的重量差值小于0时，用以计算一架板的重量差值的绝对值与该架板对应的货品的单品重量值的比值，利用四舍五入法对该比值进行取整处理，获得的整数即为被放回或被取走货品的数量。
14.如权利要求10所述的货品监控方法，其特征在于，
所述第二货品感知步骤包括如下步骤：
样本采集步骤，用以采集至少一组图片样本，每一组图片样本包括一种货品在多角度下的多张样本图片；同一种类货品的一组图片样本被设有相同的组别标识，所述别标识为该组图片样本对应的货品的种类；
模型训练步骤，用以根据多组图片样本的每一样本图片及每一样本图片的组别标识训练卷积神经网络模型，获取货品识别模型；
实时图片采集步骤，用以连续采集所述货架前方空间的至少一实时图片，每一实时图片包括至少一货品影像的部分或全部；以及
货品种类获取步骤，用以根据所述实时图片及所述货品识别模型获取所述实时图片中显示的货品的种类及数量。
15.如权利要求14所述的货品监控方法，其特征在于，
所述货品种类获取步骤包括如下步骤：
组别标识获取步骤，将多个实时图片输入至所述货品识别模型，获取多个实时图片所对应的多个组别标识，作为可能性结论；以及
标识可信度计算步骤，计算所述可能性结论中每一种组别标识的数量与所述可能性结论中全部组别标识总数的比值，该比值即为每一种组别标识的可信度，可信度最大的组别标识所对应的货品的种类和/或数量即为所述实时图片上显示的货品的种类和/或数量。
16.如权利要求11所述的货品监控方法，其特征在于，还包括如下步骤：
购物用户判断步骤，用以判断取走或放回货品的用户的身份；以及
购物数据库更新步骤，当货品被取走时，根据被取走货品的种类及数量以及取走货品的用户的身份生成购物信息，且存储至该用户的购物数据库中；当货品被放回时，根据被放回货品的种类及数量以及放回货品的用户的身份生成归还信息，从该用户的购物数据库中删除与所述归还信息相应的购物信息。
17.如权利要求15所述的货品监控方法，其特征在于，还包括如下步骤：
货品数据库生成步骤，用以生成一货品数据库，包括每一货品的货品信息及用以放置货品的每一架板的重量感应值；所述货品信息包括货品的种类、单品重量值以及货品对应的架板编号；
重量差值计算步骤，用以计算实时采集的每一架板的实时重量感应值与所述货品数据库内存储的同一架板的重量感应值的差值，记录为每一架板的重量差值；以及
货品种类第一推断步骤，当货品被一用户放回至一架板时，判断该用户的购物数据库中至少一种已购货品的重量值总和与该架板的重量差值是否相等，若是，推断出被放回货品的种类及数量的R种可能性结论；货品种类第一获取步骤，当货品被一用户放回至一架板时，用以根据所述货架前方空间的实时图片及一货品识别模型获取被放回货品的种类及数量的T种可能性结论，并记录每种可能性结论的可信度；以及
被放货品确认步骤，对比所述货品种类第一获取步骤获取被放回货品的种类及数量的T种可能性结论与所述货品种类第一推断步骤推断出的被放回货品的种类及数量的R种可能性结论，若二者中有至少一可能性结论相同，相同可能性结论中可信度最大的可能性结论所对应的货品的种类及数量即为被放回货品的种类及数量。
18.如权利要求16所述的货品监控方法，其特征在于，还包括
货品错放判断步骤，当物品被一用户放回至一架板时，对比所述被放回货品的种类与该架板对应的货品种类，若被放回货品中有至少一种货品与该架板对应的货品种类不同，记录该架板为错放架板，记录被错放货品的货品信息及该架板编号；
货品种类第二推断步骤，当一错放架板的重量差值小于0时，根据该架板编号、该架板对应的货品信息、被错放货品的货品信息以及该架板的重量差值推断被取走货品的种类及数量的U种可能性结论；
货品种类第二获取步骤，当货品被从一错放架板取走时，根据所述货架前方空间的实时图片及一货品识别模型获取被取走货品的种类及数量的V种可能性结论，并记录每种可能性结论的可信度；
取走货品确认步骤，对比所述货品第二种类获取步骤获取被取走货品的种类及数量的V种可能性结论与所述货品第二种类推断单元推断出的被取走货品的种类及数量的U种可能性结论，若二者中有至少一可能性结论相同，至少一相同可能性结论中可信度最大的可能性结论所对应的货品的种类及数量即为被取走货品的种类及数量。
CN201810078254.3A 2017-12-18 2018-01-26 货品监控系统及监控方法 Active CN108492482B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2017113663904 2017-12-18
CN201711366390 2017-12-18

Publications (2)

Publication Number Publication Date
CN108492482A true CN108492482A (zh) 2018-09-04
CN108492482B CN108492482B (zh) 2020-11-03

Family

ID=62926467

Family Applications (10)

Application Number Title Priority Date Filing Date
CN201810078254.3A Active CN108492482B (zh) 2017-12-18 2018-01-26 货品监控系统及监控方法
CN201810079533.1A Active CN108492157B (zh) 2017-12-18 2018-01-26 无人售货系统及无人售货方法
CN201810078256.2A Pending CN108520194A (zh) 2017-12-18 2018-01-26 基于影像监测的货品感知系统及货品感知方法
CN201820141773.5U Active CN208044756U (zh) 2017-12-18 2018-01-26 无人售货系统
CN201810079027.2A Active CN108497839B (zh) 2017-12-18 2018-01-26 可感知货品的货架
CN201810079518.7A Pending CN108332829A (zh) 2017-12-18 2018-01-26 基于重量监测的货品感知系统及货品感知方法
CN201820137221.7U Active CN207783158U (zh) 2017-12-18 2018-01-26 目标物定位系统
CN201810079535.0A Active CN108551658B (zh) 2017-12-18 2018-01-26 目标物定位系统及定位方法
CN201820137793.5U Active CN208892110U (zh) 2017-12-18 2018-01-26 可感知货品的货架
CN201810142593.3A Active CN108509847B (zh) 2017-12-18 2018-02-11 货品分类系统及货品分类方法

Family Applications After (9)

Application Number Title Priority Date Filing Date
CN201810079533.1A Active CN108492157B (zh) 2017-12-18 2018-01-26 无人售货系统及无人售货方法
CN201810078256.2A Pending CN108520194A (zh) 2017-12-18 2018-01-26 基于影像监测的货品感知系统及货品感知方法
CN201820141773.5U Active CN208044756U (zh) 2017-12-18 2018-01-26 无人售货系统
CN201810079027.2A Active CN108497839B (zh) 2017-12-18 2018-01-26 可感知货品的货架
CN201810079518.7A Pending CN108332829A (zh) 2017-12-18 2018-01-26 基于重量监测的货品感知系统及货品感知方法
CN201820137221.7U Active CN207783158U (zh) 2017-12-18 2018-01-26 目标物定位系统
CN201810079535.0A Active CN108551658B (zh) 2017-12-18 2018-01-26 目标物定位系统及定位方法
CN201820137793.5U Active CN208892110U (zh) 2017-12-18 2018-01-26 可感知货品的货架
CN201810142593.3A Active CN108509847B (zh) 2017-12-18 2018-02-11 货品分类系统及货品分类方法

Country Status (8)

Country Link
US (3) US20200202163A1 (zh)
EP (3) EP3745296A4 (zh)
JP (4) JP7078275B2 (zh)
KR (3) KR102454854B1 (zh)
CN (10) CN108492482B (zh)
AU (5) AU2018102235A4 (zh)
SG (3) SG11202003731PA (zh)
WO (4) WO2019120039A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109512217A (zh) * 2018-09-27 2019-03-26 安徽国药医疗科技有限公司 一种基于智能货架的物品管理系统
CN109977825A (zh) * 2019-03-15 2019-07-05 百度在线网络技术（北京）有限公司 物品识别方法及装置
CN110009836A (zh) * 2019-03-29 2019-07-12 江西理工大学 基于高光谱摄像技术的深度学习的系统及方法
CN110197561A (zh) * 2019-06-10 2019-09-03 北京华捷艾米科技有限公司 一种商品识别方法、装置及系统
CN110717593A (zh) * 2019-10-14 2020-01-21 上海商汤临港智能科技有限公司 神经网络训练、移动信息测量、关键帧检测的方法及装置
CN111831673A (zh) * 2020-06-10 2020-10-27 上海追月科技有限公司 货品识别系统、货品识别方法及电子设备
CN112419015A (zh) * 2021-01-25 2021-02-26 北京每日优鲜电子商务有限公司 物品信息推送方法、装置、电子设备和计算机可读介质

Families Citing this family (102)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108492482B (zh) * 2017-12-18 2020-11-03 上海云拿智能科技有限公司 货品监控系统及监控方法
WO2019152503A1 (en) * 2018-01-30 2019-08-08 PAR Excellence Systems, Inc. Supply storage holder and system
CN108652332A (zh) 2018-04-19 2018-10-16 上海云拿智能科技有限公司 悬挂式货架
WO2020003221A1 (en) * 2018-06-28 2020-01-02 Shekel Scales (2008) Ltd Systems and methods for weighing products on a shelf
CN108921540A (zh) * 2018-07-09 2018-11-30 南宁市安普康商贸有限公司 基于购买者位置定位的开放式自助销售方法及系统
EP3613638A1 (en) 2018-08-10 2020-02-26 Lg Electronics Inc. Vehicle display system for vehicle
CN109448237B (zh) * 2018-08-29 2019-10-11 拉卡拉汇积天下技术服务（北京）有限公司 无人售货装置及其上货方法和控制系统
CN109658596A (zh) * 2018-09-12 2019-04-19 盈奇科技（深圳）有限公司 一种重力感应自动售货机
CN109461255A (zh) * 2018-09-12 2019-03-12 湖南金码智能设备制造有限公司 一种用于售货机的自适应检测接取商品状态的装置和方法
CN109859377A (zh) * 2018-09-12 2019-06-07 盈奇科技（深圳）有限公司 一种重力感应自动售货机重力感应部分连接结构
CN109741533A (zh) * 2018-09-12 2019-05-10 盈奇科技（深圳）有限公司 一种重力感应自动售货机固定结构
CN110895747B (zh) * 2018-09-13 2024-04-02 阿里巴巴集团控股有限公司 商品信息识别、显示、信息关联、结算方法及系统
CN109214484B (zh) * 2018-09-20 2021-07-13 深圳蓝胖子机器智能有限公司 无人便利店控制方法、装置和计算机可读存储介质
CN109330284B (zh) * 2018-09-21 2020-08-11 京东方科技集团股份有限公司 一种货架系统
CN109341763B (zh) * 2018-10-10 2020-02-04 广东长盈科技股份有限公司 一种基于物联网的运输数据采集系统及方法
CN109409291B (zh) * 2018-10-26 2020-10-30 虫极科技（北京）有限公司 智能货柜的商品识别方法和系统及购物订单的生成方法
CN109685979A (zh) * 2018-11-01 2019-04-26 深圳市友族科技有限公司 一种无人售货柜及无人售货方法
CN109581532A (zh) * 2018-11-12 2019-04-05 百度在线网络技术（北京）有限公司 用于确定被取走或放置的物品的位置的设备、方法及货架
CN109363450A (zh) * 2018-12-03 2019-02-22 深圳市力合鑫源智能技术有限公司 智能货架及货架上被取走或被添加物品位置的识别方法
CN109741519B (zh) * 2018-12-10 2021-01-19 深圳市思拓通信系统有限公司 一种无人超市货架监控系统及其控制方法
CN111325049A (zh) * 2018-12-13 2020-06-23 北京京东尚科信息技术有限公司 商品识别方法、装置、电子设备及可读介质
CN109598874A (zh) * 2018-12-18 2019-04-09 北京缤歌网络科技有限公司 一种显示控制方法
US11017641B2 (en) * 2018-12-21 2021-05-25 Sbot Technologies Inc. Visual recognition and sensor fusion weight detection system and method
CN109726759B (zh) * 2018-12-28 2021-08-17 北京旷视科技有限公司 无人售货方法、装置、系统、电子设备及计算机可读介质
CN109711360B (zh) * 2018-12-29 2021-03-30 北京沃东天骏信息技术有限公司 售货机风险控制方法、装置和控制系统
CN111222389B (zh) * 2019-01-10 2023-08-29 图灵通诺（北京）科技有限公司 商超货架上商品的分析方法和系统
CN109872448A (zh) * 2019-01-19 2019-06-11 创新奇智(广州)科技有限公司 一种异物检测方法、计算机可读存储介质及检测系统
CN111222870B (zh) * 2019-01-24 2024-02-27 图灵通诺（北京）科技有限公司 结算方法、装置和系统
CN109858446A (zh) * 2019-01-31 2019-06-07 深兰科技（上海）有限公司 一种新零售场景下物品注册方法及装置
CN109840504B (zh) * 2019-02-01 2022-11-25 腾讯科技（深圳）有限公司 物品取放行为识别方法、装置、存储介质及设备
CN111523348B (zh) * 2019-02-01 2024-01-05 百度（美国）有限责任公司 信息生成方法和装置、用于人机交互的设备
CN109919040B (zh) * 2019-02-15 2022-04-19 北京清瞳时代科技有限公司 货物的品规信息识别方法及装置
CN109829348A (zh) * 2019-02-25 2019-05-31 浙江工业大学 基于stm32单片机的食品信息采集系统
CN111507702A (zh) * 2019-03-07 2020-08-07 河源市联腾实业有限公司 无人超市自助购物方法、计算机可读存储介质及系统
CN109977826B (zh) * 2019-03-15 2021-11-02 百度在线网络技术（北京）有限公司 物体的类别识别方法和装置
CN110007755A (zh) * 2019-03-15 2019-07-12 百度在线网络技术（北京）有限公司 基于动作识别的物体事件触发方法、装置及其相关设备
CN110147723B (zh) * 2019-04-11 2022-08-19 苏宁云计算有限公司 一种无人店中顾客异常行为的处理方法及系统
CN110321797A (zh) * 2019-05-31 2019-10-11 苏宁云计算有限公司 商品识别方法和装置
CN110175590A (zh) * 2019-05-31 2019-08-27 北京华捷艾米科技有限公司 一种商品识别方法及装置
CN110260796A (zh) * 2019-06-04 2019-09-20 上海追月科技有限公司 货品感知系统、货品感知方法及电子设备
CN110150906A (zh) * 2019-06-04 2019-08-23 上海追月科技有限公司 托盘及货架
CN112115745A (zh) * 2019-06-21 2020-12-22 杭州海康威视数字技术股份有限公司 一种商品漏扫码行为识别方法、装置及系统
CN110298961A (zh) * 2019-06-28 2019-10-01 北京云迹科技有限公司 用于机器人的计费方法及装置
CN110403400B (zh) * 2019-07-16 2020-09-08 合肥美的智能科技有限公司 货柜
US20210027104A1 (en) * 2019-07-25 2021-01-28 Microsoft Technology Licensing, Llc Eyes-off annotated data collection framework for electronic messaging platforms
CN110837824B (zh) * 2019-08-09 2022-12-16 达闼科技（北京）有限公司 用于售货装置中的商品识别方法、售货装置及存储介质
CN111783509A (zh) * 2019-08-29 2020-10-16 北京京东尚科信息技术有限公司 自动结算方法、装置、系统和存储介质
JP7368982B2 (ja) 2019-09-05 2023-10-25 東芝テック株式会社 販売管理システム及び販売管理方法
CN112466035B (zh) * 2019-09-06 2022-08-12 图灵通诺（北京）科技有限公司 基于视觉和重力感应的商品识别方法、装置和系统
CN111753614A (zh) * 2019-11-01 2020-10-09 北京京东尚科信息技术有限公司 一种商品货架的监控方法和装置
CN111783513A (zh) * 2019-11-18 2020-10-16 北京沃东天骏信息技术有限公司 货物补充方法、装置和系统
CN111109947A (zh) * 2019-11-28 2020-05-08 上海追月科技有限公司 货架、货品识别方法及电子设备
CN111025417B (zh) * 2019-12-17 2022-04-29 万翼科技有限公司 建材存放区域异常检测方法及相关产品
CN111127174A (zh) * 2020-01-06 2020-05-08 鄂尔多斯市东驿科技有限公司 智能化无人超市控制系统
CN111145409A (zh) * 2020-01-06 2020-05-12 鄂尔多斯市东驿科技有限公司 人体识别定位跟踪系统
CN111207815A (zh) * 2020-01-16 2020-05-29 首钢京唐钢铁联合有限责任公司 一种汽车衡混装计量系统
CN111243166A (zh) * 2020-01-20 2020-06-05 广东优信无限网络股份有限公司 一种用于餐饮售卖机的提示方法
KR102177852B1 (ko) * 2020-01-31 2020-11-11 임시원 정신건강의학의 병원용 자산 관리를 위한 방법 및 장치
US11694501B2 (en) 2020-02-17 2023-07-04 True Manufacturing Co., Inc. Refrigerated vending system and method
CN111429655A (zh) * 2020-02-28 2020-07-17 上海追月科技有限公司 货品识别方法及货品识别系统、存储介质及电子设备
CN111428621A (zh) * 2020-03-20 2020-07-17 京东方科技集团股份有限公司 货架交互方法、装置和货架
CN111476609A (zh) * 2020-04-10 2020-07-31 广西中烟工业有限责任公司 零售数据获取方法、系统、设备及存储介质
CN111540106A (zh) * 2020-04-14 2020-08-14 合肥工业大学 一种无人超市系统
CN111553914B (zh) * 2020-05-08 2021-11-12 深圳前海微众银行股份有限公司 基于视觉的货物检测方法、装置、终端及可读存储介质
CN111667639A (zh) * 2020-05-28 2020-09-15 北京每日优鲜电子商务有限公司 图书归还服务的实现方法、装置及智能图书柜
CN111680657B (zh) * 2020-06-15 2023-05-05 杭州海康威视数字技术股份有限公司 一种物品取放事件的触发人员确定方法、装置及设备
CN111738184B (zh) * 2020-06-28 2023-09-26 杭州海康威视数字技术股份有限公司 一种商品取放识别方法、装置、系统及设备
CN111672774B (zh) * 2020-07-30 2021-07-06 梅卡曼德（北京）机器人科技有限公司 一种货品分拣系统及分拣方法
CN113808342B (zh) * 2020-08-19 2023-09-01 北京京东乾石科技有限公司 物品支付方法、装置、计算机可读介质及电子设备
CN111731669A (zh) * 2020-08-26 2020-10-02 江苏神彩科技股份有限公司 危险物品智能监管贮存箱及其监管系统
CN112084940A (zh) * 2020-09-08 2020-12-15 南京和瑞供应链管理有限公司 物资盘点管理系统及方法
KR102253385B1 (ko) * 2020-09-14 2021-05-18 주식회사농심 불량 멀티포장제품 검출시스템
CN112101867A (zh) * 2020-09-15 2020-12-18 四川精益达工程检测有限责任公司 一种用于货架上物品的信息生成方法及系统
CN112309031B (zh) * 2020-09-17 2022-06-07 北京京东乾石科技有限公司 无人货柜混放检测方法、装置、设备及可读存储介质
CN112215167B (zh) * 2020-10-14 2022-12-20 上海爱购智能科技有限公司 一种基于图像识别的智能商店控制方法和系统
CN112515428B (zh) * 2020-11-17 2023-11-03 上海追月科技有限公司 一种货架
JP2022097195A (ja) * 2020-12-18 2022-06-30 トヨタ自動車株式会社 情報処理装置、及び、情報処理方法
JP2022110700A (ja) * 2021-01-19 2022-07-29 東芝テック株式会社 報知装置及び報知方法
CN113067847B (zh) * 2021-02-02 2022-07-12 绍兴晨璞网络科技有限公司 一种匹配式超宽带定位系统架构设计方法
CN112985570B (zh) * 2021-02-04 2023-09-29 支付宝(杭州)信息技术有限公司 称重货架的传感器的标定方法和系统
CN112801055B (zh) * 2021-04-01 2021-06-22 湖南云星人工智能研究院有限公司 一种基于薄膜压力传感器阵列的无人超市定位跟踪方法
CN113554809A (zh) * 2021-04-22 2021-10-26 浙江星星冷链集成股份有限公司 一种商品信息更新装置及无人售货系统
CN113554808B (zh) * 2021-04-22 2023-09-29 浙江星星冷链集成股份有限公司 一种上货管理装置及无人售货系统
CN113524194B (zh) * 2021-04-28 2023-03-21 重庆理工大学 基于多模特征深度学习的机器人视觉抓取系统的目标抓取方法
CN113229686A (zh) * 2021-05-21 2021-08-10 上海追月科技有限公司 一种货架
CN113407571B (zh) * 2021-06-30 2023-04-07 重庆博尔德医疗科技股份有限公司 一种基于称重原理的计数方法
CN113558441A (zh) * 2021-07-07 2021-10-29 合肥美的智能科技有限公司 无人售货柜
CN113537773A (zh) * 2021-07-15 2021-10-22 深圳医智联科技有限公司 一种针对检验科培养瓶的管理方法及系统
CN113479534A (zh) * 2021-07-31 2021-10-08 深圳市坤同智能仓储科技有限公司 称重货架的模块化层及货架系统
CN113592339A (zh) * 2021-08-09 2021-11-02 四川长虹智能制造技术有限公司 一种货物信息校准系统、方法及电子设备
CN113421376B (zh) * 2021-08-23 2021-12-28 浙江星星冷链集成股份有限公司 一种无人售货系统
CN113869821A (zh) * 2021-09-23 2021-12-31 云南电力试验研究院(集团)有限公司 一种计量物资识别周转方法和系统
KR102417612B1 (ko) * 2021-10-28 2022-07-06 주식회사 케이엔케이 부품 검사 시스템 및 그 제어방법
CN113706227A (zh) * 2021-11-01 2021-11-26 微晟(武汉)技术有限公司 一种货架商品推荐方法及装置
CN113821674B (zh) * 2021-11-23 2022-02-25 北京中超伟业信息安全技术股份有限公司 一种基于孪生神经网络的智能货物监管方法及系统
CN114140696A (zh) * 2022-01-27 2022-03-04 深圳市慧为智能科技股份有限公司 商品识别系统优化方法、装置、设备及存储介质
CN114559431A (zh) * 2022-03-02 2022-05-31 上海擎朗智能科技有限公司 一种物品配送方法、装置、机器人及存储介质
ES2922762A1 (es) * 2022-05-27 2022-09-20 Ostirion S L U Procedimiento y equipo de localizacion e identificacion optica de instrumentos y aparatos
KR102597927B1 (ko) * 2022-08-16 2023-11-30 주식회사 포르망 화장품의 중량 선별 장치
KR102482821B1 (ko) * 2022-09-06 2022-12-29 주식회사 포이엔 무선 네트워크 기반의 실시간 계측 시스템
CN115510501B (zh) * 2022-11-22 2023-02-28 中汽信息科技(天津)有限公司 一种汽车数据防篡改方法和系统
CN116422602A (zh) * 2023-03-17 2023-07-14 广东铭钰科技股份有限公司 一种一体式产品称重标识检测系统及方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080109375A1 (en) * 2006-11-08 2008-05-08 Ricci Christopher P Position-enhanced wireless transaction security
CN203693111U (zh) * 2014-02-28 2014-07-09 苏州工业园区航成工业零件有限公司 一种新型台面式称重货架
CN104021538A (zh) * 2013-02-28 2014-09-03 株式会社理光 物体定位方法和装置
JP2015043119A (ja) * 2013-08-26 2015-03-05 株式会社日立システムズ 健康管理システム及び健康管理方法
CN106408374A (zh) * 2016-08-30 2017-02-15 佛山市明扬软件科技有限公司 一种安全性高的超市自动收费方法
CN106454733A (zh) * 2016-11-03 2017-02-22 安徽百慕文化科技有限公司 一种基于无线传感网络的在线监测系统
CN106845965A (zh) * 2017-02-13 2017-06-13 上海云剑信息技术有限公司 线下超市自助购物的手机结账系统
CN106875203A (zh) * 2015-12-14 2017-06-20 阿里巴巴集团控股有限公司 一种确定商品图片的款式信息的方法及装置
CN106920152A (zh) * 2017-03-07 2017-07-04 深圳市楼通宝实业有限公司 自助售卖方法及系统
CN106934692A (zh) * 2017-03-03 2017-07-07 陈维龙 物品信息处理系统、方法及装置
CN107045641A (zh) * 2017-04-26 2017-08-15 广州图匠数据科技有限公司 一种基于图像识别技术的货架识别方法
CN107123006A (zh) * 2017-07-12 2017-09-01 杨智勇 一种智能购物系统
CN107481000A (zh) * 2017-07-27 2017-12-15 惠州市伊涅科技有限公司 无人超市售货方法
US9916561B2 (en) * 2013-11-05 2018-03-13 At&T Intellectual Property I, L.P. Methods, devices and computer readable storage devices for tracking inventory
CN108332829A (zh) * 2017-12-18 2018-07-27 上海云拿智能科技有限公司 基于重量监测的货品感知系统及货品感知方法

Family Cites Families (96)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3384193A (en) * 1965-02-01 1968-05-21 Toledo Scale Corp Control circuitry
JPS6052366B2 (ja) * 1977-12-02 1985-11-19 オムロン株式会社 重量検知ユニツト
JPH1017121A (ja) * 1996-07-02 1998-01-20 Keiyo Syst Kk 自動棚卸し装置
JP4452786B2 (ja) * 1996-09-29 2010-04-21 雅信 鯨田 遠隔商品販売のための装置及び方法
JP3213696B2 (ja) 1996-11-29 2001-10-02 東芝テック株式会社 買上商品登録装置及びこの登録装置を用いた買上商品決済システム
US6711293B1 (en) * 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
JP2002161942A (ja) * 2000-08-10 2002-06-07 Iau:Kk 免震装置、滑り支承また免震構造
KR20010067855A (ko) * 2001-04-03 2001-07-13 장성계 창고형 매장에서의 중량감지에 의한 상품 재고량 파악시스템
JP3837475B2 (ja) 2001-07-19 2006-10-25 独立行政法人産業技術総合研究所 自動化ショッピングシステム
WO2003086664A2 (en) * 2002-04-12 2003-10-23 Tritek Technologies, Inc. Mail sorting processes and systems
US6747560B2 (en) * 2002-06-27 2004-06-08 Ncr Corporation System and method of detecting movement of an item
US7039222B2 (en) * 2003-02-28 2006-05-02 Eastman Kodak Company Method and system for enhancing portrait images that are processed in a batch mode
CN2634950Y (zh) * 2003-06-06 2004-08-25 何永强 货架柱
CN2788670Y (zh) * 2005-03-25 2006-06-21 李瑞铭 强化支撑架结构
US7949568B2 (en) * 2007-08-31 2011-05-24 Accenture Global Services Limited Determination of product display parameters based on image processing
DE202007016804U1 (de) * 2007-12-01 2008-02-28 Golletz Gmbh Vorrichtung zur regalartigen Anordnung von Warenträgern
CN101604312A (zh) * 2007-12-07 2009-12-16 宗刚 信息的检索管理交流的方法和系统
US20090177089A1 (en) * 2008-01-04 2009-07-09 Assaf Govari Three-dimensional image reconstruction using doppler ultrasound
CN101281597B (zh) * 2008-04-25 2011-06-22 北京工业大学 一种产品包装图形标识信息在线实时采集识别装置及方法
KR100988754B1 (ko) * 2008-07-10 2010-10-25 박찬용 자동판매 기능을 갖는 무인 점포 시스템
KR101467509B1 (ko) 2008-07-25 2014-12-01 삼성전자주식회사 이미지 센서 및 이미지 센서 동작 방법
US8165929B2 (en) * 2008-08-04 2012-04-24 Chudy Group, LLC Adaptive pharmaceutical product management methods and system
KR101051355B1 (ko) * 2009-06-09 2011-07-22 (주)이지스 3차원 공간 데이터를 이용한 카메라 영상의 3차원 좌표 획득방법 및 이를 이용한 카메라 연동 제어방법
KR20100136089A (ko) 2009-06-18 2010-12-28 주식회사 비즈모델라인 인덱스 교환을 통한 다중 코드 생성 방식 오티피 출력 방법 및 시스템과 이를 위한 휴대폰 및 기록매체
CN101989333A (zh) * 2009-07-31 2011-03-23 上海杉达学院 仓储控制系统
KR20100003343A (ko) * 2009-12-15 2010-01-08 (주)리테일테크 압력 센서를 이용한 소매 매장의 결품 방지 시스템
US20110174753A1 (en) * 2010-01-18 2011-07-21 Matthew Pinto Stackable transport system
KR101179108B1 (ko) * 2010-04-27 2012-09-07 서울시립대학교 산학협력단 중첩 전방위 영상을 이용하여 객체의 3차원 좌표를 결정하기 위한 시스템 및 그 방법
EP2580687A4 (en) * 2010-06-14 2014-04-30 Trutag Technologies Inc SYSTEM FOR CHECKING AN ELEMENT IN A PACKAGE WITH A DATABASE
KR20120051212A (ko) * 2010-11-12 2012-05-22 엘지전자 주식회사 멀티미디어 장치의 사용자 제스쳐 인식 방법 및 그에 따른 멀티미디어 장치
KR101223206B1 (ko) * 2010-11-18 2013-01-17 광주과학기술원 3차원 영상 생성 방법 및 시스템
US20130046635A1 (en) * 2011-08-19 2013-02-21 Bank Of America Corporation Triggering offers based on detected location of a mobile point of sale device
CN102374860B (zh) * 2011-09-23 2014-10-01 奇瑞汽车股份有限公司 三维视觉定位方法及系统
BR112014028055A2 (pt) * 2012-05-10 2017-06-27 Sca Hygiene Prod Ab método para auxiliar na localização de um item desejado no local de armazenamento
CN202807610U (zh) * 2012-08-31 2013-03-20 宁波市新光货架有限公司 一种中型仓储货架
CN202820536U (zh) * 2012-10-22 2013-03-27 山东固美思耐金属制品有限公司 无线称重超市货架托板
KR101931819B1 (ko) * 2012-12-31 2018-12-26 (주)지오투정보기술 영상 정보와 항공사진 데이터를 비교하여 대상 객체를 결정하고 카메라 획득정보를 이용하여 대상 객체의 3차원 좌표를 획득하는 수치지도 제작 시스템
US20160048798A1 (en) * 2013-01-11 2016-02-18 Tagnetics, Inc. Inventory sensor
RU2015133464A (ru) * 2013-01-11 2017-02-17 Тагнэтикс, Инк. Датчик отсутствия товаров
CN103192958B (zh) * 2013-02-04 2015-07-08 中国科学院自动化研究所北仑科学艺术实验中心 船舶姿态显示装置的控制方法
KR20140136089A (ko) * 2013-05-16 2014-11-28 (주)에스모바일텍 진열 상품 재고 관리 솔루션을 구비한 전자 선반 라벨 시스템
US10984372B2 (en) * 2013-05-24 2021-04-20 Amazon Technologies, Inc. Inventory transitions
US10176456B2 (en) 2013-06-26 2019-01-08 Amazon Technologies, Inc. Transitioning items from a materials handling facility
US10268983B2 (en) 2013-06-26 2019-04-23 Amazon Technologies, Inc. Detecting item interaction and movement
US10290031B2 (en) * 2013-07-24 2019-05-14 Gregorio Reid Method and system for automated retail checkout using context recognition
CN103557841B (zh) * 2013-08-28 2016-08-10 陈天恩 一种提高多相机合成影像摄影测量精度的方法
CN105518734A (zh) * 2013-09-06 2016-04-20 日本电气株式会社 顾客行为分析系统、顾客行为分析方法、非暂时性计算机可读介质和货架系统
AU2013101592A4 (en) * 2013-10-25 2014-01-16 Housl Pty Ltd Property Leasing
CN103559758B (zh) * 2013-11-06 2015-12-30 上海煦荣信息技术有限公司 一种智能化的售货系统及售货方法
CN104240007A (zh) * 2014-07-09 2014-12-24 深圳市茁壮网络股份有限公司 一种基于射频识别的物品管理方法及系统
CN203975446U (zh) * 2014-07-29 2014-12-03 晟通科技集团有限公司 全铝托盘
CN104217231A (zh) * 2014-08-29 2014-12-17 南京大学 一种基于非精确锚节点的rfid定位系统及定位方法
CN104576845A (zh) * 2014-12-16 2015-04-29 深圳市德上光电有限公司 一种图形化的蓝宝石衬底的制造方法
CN105989389A (zh) * 2015-02-11 2016-10-05 北京鼎九信息工程研究院有限公司 一种二维码
US11017346B2 (en) * 2015-02-18 2021-05-25 FedEx Corporate Services, Inc Methods, apparatus, and systems for generating a content-related notification using a container interface display apparatus
WO2016152765A1 (ja) * 2015-03-23 2016-09-29 日本電気株式会社 商品情報管理装置、商品情報管理システム、商品情報管理方法およびプログラム
US10318917B1 (en) * 2015-03-31 2019-06-11 Amazon Technologies, Inc. Multiple sensor data fusion system
KR101807513B1 (ko) * 2015-05-13 2017-12-12 한국전자통신연구원 3차원 공간에서 영상정보를 이용한 사용자 의도 분석장치 및 분석방법
CN204883802U (zh) * 2015-06-24 2015-12-16 中山润涛智科技术有限公司 重量感应器及应用该感应器的物联网自动库存统计系统
US9911290B1 (en) * 2015-07-25 2018-03-06 Gary M. Zalewski Wireless coded communication (WCC) devices for tracking retail interactions with goods and association to user accounts
JP6562077B2 (ja) * 2015-08-20 2019-08-21 日本電気株式会社 展示装置、表示制御装置および展示システム
US20170061258A1 (en) * 2015-08-25 2017-03-02 Nokia Technologies Oy Method, apparatus, and computer program product for precluding image capture of an image presented on a display
CN105314315B (zh) * 2015-10-30 2017-12-15 无锡职业技术学院 智能货架测试系统
CN205251049U (zh) * 2015-11-06 2016-05-25 江苏正贸仓储设备制造有限公司 带计量器货架
US10592854B2 (en) * 2015-12-18 2020-03-17 Ricoh Co., Ltd. Planogram matching
JP6319669B2 (ja) * 2016-01-20 2018-05-09 パナソニックＩｐマネジメント株式会社 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
CN105719188B (zh) * 2016-01-22 2017-12-26 平安科技（深圳）有限公司 基于多张图片一致性实现保险理赔反欺诈的方法及服务器
CN108780596B (zh) 2016-02-29 2022-01-25 路标株式会社 信息处理系统
CN105787490A (zh) * 2016-03-24 2016-07-20 南京新与力文化传播有限公司 基于深度学习的商品潮流识别方法及装置
CN105678981A (zh) * 2016-03-26 2016-06-15 陈功平 一种组合式智能预警储物架
JP2019513274A (ja) 2016-03-29 2019-05-23 ボサ ノバ ロボティクス アイピー, インク.Bossa Nova Robotics Ip, Inc. 品物の設置、特定および計数のためのシステムおよび方法
JP6736334B2 (ja) * 2016-04-07 2020-08-05 東芝テック株式会社 画像処理装置
CN105910379B (zh) * 2016-05-09 2018-07-27 海信（山东）冰箱有限公司 一种用于冰箱的称重装置及称重抽屉
TWI578272B (zh) * 2016-05-18 2017-04-11 Chunghwa Telecom Co Ltd Shelf detection system and method
CN105901987A (zh) * 2016-06-30 2016-08-31 常州市南飞机械有限公司 可称重的货架
CN106326852A (zh) * 2016-08-18 2017-01-11 无锡天脉聚源传媒科技有限公司 一种基于深度学习的商品识别方法及装置
CN106355368A (zh) * 2016-08-29 2017-01-25 苏州倾爱娱乐传媒有限公司 一种卖场货品的智能管理系统
CN106441537A (zh) * 2016-09-08 2017-02-22 蝶和科技（中国）有限公司 一种称重货架的称重方法以及使用该方法的货架
CN106556341B (zh) * 2016-10-08 2019-12-03 浙江国自机器人技术有限公司 一种基于特征信息图形的货架位姿偏差检测方法和系统
CN106781121A (zh) * 2016-12-14 2017-05-31 朱明� 基于视觉分析的超市自助结账智能系统
CN106845962A (zh) * 2016-12-29 2017-06-13 广州途威慧信息科技有限公司 一种自动结算货款系统及方法
CN106910086A (zh) * 2017-01-18 2017-06-30 甄启源 一种超市智能购物系统
CN106875465B (zh) * 2017-01-20 2021-06-11 奥比中光科技集团股份有限公司 基于rgbd图像的三维操控空间的建立方法及设备
US9805360B1 (en) * 2017-03-17 2017-10-31 Philz Coffee, Inc. Location based device flagging and interface
CN107134053B (zh) * 2017-04-19 2019-08-06 石道松 智能售货门店
CN107093269A (zh) * 2017-06-08 2017-08-25 上海励识电子科技有限公司 一种智能无人售货系统及方法
CN107463946B (zh) * 2017-07-12 2020-06-23 浙江大学 一种结合模板匹配与深度学习的商品种类检测方法
CN107341523A (zh) * 2017-07-13 2017-11-10 浙江捷尚视觉科技股份有限公司 基于深度学习的快递单信息识别方法和系统
US10655945B2 (en) * 2017-07-19 2020-05-19 Symbol Technologies, Llc Methods and apparatus to coordinate movement of automated vehicles and freight dimensioning components
CN107480735B (zh) * 2017-07-24 2018-08-14 葛代荣 一种自助验货方法和系统
CN107451776A (zh) * 2017-07-27 2017-12-08 惠州市伊涅科技有限公司 无人超市补货方法
CN107451891A (zh) * 2017-07-27 2017-12-08 惠州市伊涅科技有限公司 便利店自动售卖方法
US11023850B2 (en) * 2017-08-07 2021-06-01 Standard Cognition, Corp. Realtime inventory location management using deep learning
US10445694B2 (en) * 2017-08-07 2019-10-15 Standard Cognition, Corp. Realtime inventory tracking using deep learning
CN107481414A (zh) * 2017-08-21 2017-12-15 文彬 一种开放式无人售卖装置的实时导购方法及系统
US20200394599A1 (en) 2017-11-29 2020-12-17 Ntt Docomo, Inc. Shelf-allocation information generating device and shelf-allocation information generating program

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080109375A1 (en) * 2006-11-08 2008-05-08 Ricci Christopher P Position-enhanced wireless transaction security
CN104021538A (zh) * 2013-02-28 2014-09-03 株式会社理光 物体定位方法和装置
JP2015043119A (ja) * 2013-08-26 2015-03-05 株式会社日立システムズ 健康管理システム及び健康管理方法
US9916561B2 (en) * 2013-11-05 2018-03-13 At&T Intellectual Property I, L.P. Methods, devices and computer readable storage devices for tracking inventory
CN203693111U (zh) * 2014-02-28 2014-07-09 苏州工业园区航成工业零件有限公司 一种新型台面式称重货架
CN106875203A (zh) * 2015-12-14 2017-06-20 阿里巴巴集团控股有限公司 一种确定商品图片的款式信息的方法及装置
CN106408374A (zh) * 2016-08-30 2017-02-15 佛山市明扬软件科技有限公司 一种安全性高的超市自动收费方法
CN106454733A (zh) * 2016-11-03 2017-02-22 安徽百慕文化科技有限公司 一种基于无线传感网络的在线监测系统
CN106845965A (zh) * 2017-02-13 2017-06-13 上海云剑信息技术有限公司 线下超市自助购物的手机结账系统
CN106934692A (zh) * 2017-03-03 2017-07-07 陈维龙 物品信息处理系统、方法及装置
CN106920152A (zh) * 2017-03-07 2017-07-04 深圳市楼通宝实业有限公司 自助售卖方法及系统
CN107045641A (zh) * 2017-04-26 2017-08-15 广州图匠数据科技有限公司 一种基于图像识别技术的货架识别方法
CN107123006A (zh) * 2017-07-12 2017-09-01 杨智勇 一种智能购物系统
CN107481000A (zh) * 2017-07-27 2017-12-15 惠州市伊涅科技有限公司 无人超市售货方法
CN108332829A (zh) * 2017-12-18 2018-07-27 上海云拿智能科技有限公司 基于重量监测的货品感知系统及货品感知方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
韦康博: "《人工智能 比你想象的更具颠覆性的智能革命》", 30 September 2016, 现代出版社 *
顾鸿铭: "从"Amazon Go"看人工智能时代无人超市实现方案", 《数字通信世界》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109512217A (zh) * 2018-09-27 2019-03-26 安徽国药医疗科技有限公司 一种基于智能货架的物品管理系统
CN109977825A (zh) * 2019-03-15 2019-07-05 百度在线网络技术（北京）有限公司 物品识别方法及装置
CN110009836A (zh) * 2019-03-29 2019-07-12 江西理工大学 基于高光谱摄像技术的深度学习的系统及方法
CN110197561A (zh) * 2019-06-10 2019-09-03 北京华捷艾米科技有限公司 一种商品识别方法、装置及系统
CN110717593A (zh) * 2019-10-14 2020-01-21 上海商汤临港智能科技有限公司 神经网络训练、移动信息测量、关键帧检测的方法及装置
CN110717593B (zh) * 2019-10-14 2022-04-19 上海商汤临港智能科技有限公司 神经网络训练、移动信息测量、关键帧检测的方法及装置
CN111831673A (zh) * 2020-06-10 2020-10-27 上海追月科技有限公司 货品识别系统、货品识别方法及电子设备
CN111831673B (zh) * 2020-06-10 2024-04-12 上海追月科技有限公司 货品识别系统、货品识别方法及电子设备
CN112419015A (zh) * 2021-01-25 2021-02-26 北京每日优鲜电子商务有限公司 物品信息推送方法、装置、电子设备和计算机可读介质

Also Published As

Publication number Publication date
JP7078275B2 (ja) 2022-05-31
CN208044756U (zh) 2018-11-02
SG11202003732YA (en) 2020-05-28
CN108551658B (zh) 2021-04-09
WO2019144691A1 (zh) 2019-08-01
CN108497839A (zh) 2018-09-07
CN108332829A (zh) 2018-07-27
US20200258069A1 (en) 2020-08-13
JP2022043067A (ja) 2022-03-15
AU2018405073A1 (en) 2020-06-18
AU2022203376A1 (en) 2022-06-09
EP3745100A1 (en) 2020-12-02
JP2021511554A (ja) 2021-05-06
KR20200023647A (ko) 2020-03-05
KR102510679B1 (ko) 2023-03-16
SG11202003731PA (en) 2020-05-28
JP7016187B2 (ja) 2022-02-04
US11501523B2 (en) 2022-11-15
AU2018102235A4 (en) 2022-03-17
CN108509847A (zh) 2018-09-07
CN108551658A (zh) 2018-09-18
WO2019144690A1 (zh) 2019-08-01
CN108497839B (zh) 2021-04-09
EP3731546A1 (en) 2020-10-28
CN108520194A (zh) 2018-09-11
WO2019120039A1 (zh) 2019-06-27
WO2019120040A1 (zh) 2019-06-27
EP3731546A4 (en) 2021-02-17
JP7170355B2 (ja) 2022-11-14
KR20200037833A (ko) 2020-04-09
EP3745296A1 (en) 2020-12-02
US20200202137A1 (en) 2020-06-25
JP2021507203A (ja) 2021-02-22
CN108492157B (zh) 2023-04-18
CN208892110U (zh) 2019-05-24
CN108492482B (zh) 2020-11-03
JP2022043070A (ja) 2022-03-15
EP3745100A4 (en) 2021-03-24
CN108492157A (zh) 2018-09-04
CN108509847B (zh) 2021-07-20
JP7229580B2 (ja) 2023-02-28
KR102454854B1 (ko) 2022-10-14
EP3745296A4 (en) 2021-03-24
SG11202004369RA (en) 2020-06-29
US20200202163A1 (en) 2020-06-25
CN207783158U (zh) 2018-08-28
KR20200051705A (ko) 2020-05-13
WO2019120040A9 (zh) 2019-12-12
AU2018405072A1 (en) 2020-04-30
AU2018386790A1 (en) 2020-04-23
KR102378059B1 (ko) 2022-03-25

Similar Documents

Publication Publication Date Title
CN108492482A (zh) 货品监控系统及监控方法
CN111626681B (zh) 一种用于库存管理的图像识别系统
CN109002780B (zh) 一种购物流程控制方法、装置和用户终端
CN110532970A (zh) 人脸2d图像的年龄性别属性分析方法、系统、设备和介质
CN108550229A (zh) 一种人工智能自动收银方法
WO2021147950A1 (zh) 货品识别方法、货品识别系统及电子设备
Yin et al. Computer vision-based quantity detection of goods in vending cabinets
CN109448278A (zh) 一种无人商店自助购物及提货系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant