CN112466068B - 基于计算机视觉技术的智能称重装置与智能称重方法 - Google Patents

基于计算机视觉技术的智能称重装置与智能称重方法 Download PDF

Info

Publication number
CN112466068B
CN112466068B CN202011348099.6A CN202011348099A CN112466068B CN 112466068 B CN112466068 B CN 112466068B CN 202011348099 A CN202011348099 A CN 202011348099A CN 112466068 B CN112466068 B CN 112466068B
Authority
CN
China
Prior art keywords
commodity
information
weight
recognition
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011348099.6A
Other languages
English (en)
Other versions
CN112466068A (zh
Inventor
韦平
李�浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rongxun Weiye Beijing Technology Co ltd
Original Assignee
Rongxun Weiye Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rongxun Weiye Beijing Technology Co ltd filed Critical Rongxun Weiye Beijing Technology Co ltd
Priority to CN202110784719.9A priority Critical patent/CN114550385A/zh
Priority to CN202011348099.6A priority patent/CN112466068B/zh
Publication of CN112466068A publication Critical patent/CN112466068A/zh
Application granted granted Critical
Publication of CN112466068B publication Critical patent/CN112466068B/zh
Priority to EP21896561.4A priority patent/EP4239607A4/en
Priority to PCT/CN2021/122531 priority patent/WO2022111059A1/zh
Priority to US18/254,408 priority patent/US20240020672A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0072—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the weight of the article of which the code is read, for the verification of the registration
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0009—Details of the software in the checkout register, electronic cash register [ECR] or point of sale terminal [POS]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G19/00—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
    • G01G19/40—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight
    • G01G19/413—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight using electromechanical or electronic computing means
    • G01G19/414—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight using electromechanical or electronic computing means using electronic computing means only
    • G01G19/4144—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight using electromechanical or electronic computing means using electronic computing means only for controlling weight of goods in commercial establishments, e.g. supermarket, P.O.S. systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/18—Payment architectures involving self-service terminals [SST], vending machines, kiosks or multimedia terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/387—Payment using discounts or coupons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0207—Discounts or incentives, e.g. coupons or rebates
    • G06Q30/0238—Discounts or incentives, e.g. coupons or rebates at point-of-sale [POS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0018—Constructional details, e.g. of drawer, printing means, input means
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/12—Cash registers electronically operated
    • G07G1/14—Systems including one or more distant stations co-operating with a central processing unit

Abstract

提供基于计算机视觉技术的智能称重装置与方法。装置包含系统配置组件，被配置为设置智能称重装置的软件参数、硬件参数和商户信息；称重平台，被配置为放置要识别和称重的商品，感知重量和重量的变化，并获得商品的商品重量信息；视觉传感器，被配置为采集称重平台上放置的商品的视觉信息；识别器，被配置为基于视觉信息、重量信息和识别模型，进行商品识别，获得商品识别结果；识别反馈器，被配置为结合商品识别结果与商品信息，展示候选商品信息，并接收用户反馈，将用户反馈确认后的商品信息传输到价签打印机或者收银POS系统，并反馈到建模平台；建模平台，被配置为基于采集的视觉信息、重量信息和用户反馈训练识别模型；商品信息同步组件，被配置为更新商品信息。

Description

基于计算机视觉技术的智能称重装置与智能称重方法
技术领域
本公开涉及信息处理技术领域，更具体地涉及一种基于计算机视觉技术的智能称重装置与智能称重方法。
背景技术
在线下商品销售领域，主要的结算方式是通过扫描商品条形码进行商品识别，进而执行商品结算。这种商品识别和结算效率比较低，导致在人流量大的超市、便利店等地的比较长时间的排队。
对于例如水果、蔬菜之类的没有商品条形码的非标准商品，顾客通常需要将挑选好的商品送至特定的称重台进行称重计量，人工选择商品种类并打印、贴附包含种类、单价、价格信息的对应的条形码标签，然后顾客拿着条形码标签才能到收银台排队进行结账。因此，对于没有商品条形码的商品，需要大量的人力来进行结算，导致结算成本升高，并且不可避免地增加消费者的排队时间。
相应地，期望存在一种技术，能够智能地识别和称重没有条形码的商品，并能够根据商品识别结果和称重的结果来便捷地进行商品结算。随着人工智能的发展，尤其是深度学习的应用，使得通过计算机视觉技术智能的识别各式各样的称重商品，提高称重结算效率成为可能。
发明内容
本公开的实施例提供了基于计算机视觉技术的智能称重装置与方法，其能够根据商品识别结果和称重的结果来便捷地进行商品结算，从而提高商品结算的效率、并减少商品结算中所消耗的人力成本。
根据本公开的一个方面，提供一种基于计算机视觉技术的智能称重装置，包括：
系统配置组件，被配置为设置所述智能称重装置的软件参数、硬件参数和商户信息的系统配置；
称重平台，被配置为放置要识别和称重的商品，感知重量和重量的变化，并获得所述商品的商品重量信息；
视觉传感器，被配置为响应于第一触发器采集所述称重平台上放置的商品的视觉信息；
识别器，被配置为响应于第二触发器来基于所述视觉信息、所述重量信息和识别模型，进行商品识别，且响应于第三触发器来终止商品识别以获得商品识别结果；
识别反馈器，被配置为结合所述商品识别结果与商品信息，展示候选商品信息，并接收用户反馈，将所述用户反馈确认后的商品信息传输到价签打印机或者收银POS系统，并反馈到建模平台，其中所述价签打印机被配置为基于所述用户反馈来打印商品称重条码，所述收银POS系统被配置为根据所述用户反馈来生成商品的收银信息；
建模平台，被配置为基于采集的视觉信息、重量信息和使用中的用户反馈的数据训练识别模型；
商品信息同步组件，被配置为更新商品信息，包括更新商品名称、货号、称码、价格、计价方式、示例图等商品信息的一种或者多种。
在一个实施例中，所述系统配置组件被配置为设置包含了称重平台和价签打印机的不同硬件型号选择的硬件参数。
在一个实施例中，所述系统配置组件被配置为设置包含了设置视觉传感器的硬件参数，包含预览分辨率、是否截取主体区域、主体区域截图参数。
在一个实施例中，所述系统配置组件被配置为设置包含了称重平台皮重设置的硬件参数，包括不去皮重、一次性去皮重和连续去皮重三种模式。
在一个实施例中，所述系统配置组件被配置为设置包含了商户选择、门店选择和商品管理的软件参数，其中，商品管理包含了名称、编码、价格、配图的用于浏览和编辑的商品信息。
在一个实施例中，所述第一触发器包括称重平台感知到重量发生变化且重量不为零时，以自动触发视觉传感器采集所述称重平台上放置的商品的视觉信息，所述第二触发器包括称重平台感知到重量发生变化且重量不为零时，以自动触发识别器进行商品识别，且所述第三触发器包括重量信号稳定，以将稳定的重量信号作为商品重量信息，用于计算商品总价且生成商品称重条码。
在一个实施例中，所述视觉传感器被配置为采集所述称重平台上放置的商品的视觉信息，其中所述视觉信息包括图像和视频中的至少一种，该视觉传感器被配置为为新商品建模采集视觉信息；以及为待识别商品采集视觉信息，其中，在为新商品建模采集视觉信息时，所述视觉传感器被配置为进行包含了单张拍照模式、多张连续拍照模式、和视频拍摄模式的拍摄模式，在为待识别商品采集视觉信息时，所述视觉传感器被配置为进行包含了单张拍照模式、多张连续拍照模式、和视频拍摄模式的拍摄模式。
在一个实施例中，所述第二触发器包括所述视觉传感器采集的视觉信号的内容变化，以触发所述识别器进行商品识别，所述第三触发器包括视觉信号的稳定，以终止商品识别。
在一个实施例中，所述视觉传感器位于所述称重平台上方，或者侧面，以能够以高于预定清晰度的清晰度来感知称重平台上的商品视觉信息，当视觉传感器的硬件参数被设置为截取主体区域时，根据主体区域截图参数来截取所采集的视觉信息的主体区域。
在一个实施例中，所述第二触发器包括人工选择。
在一个实施例中，所述识别模型被配置为利用基于深度学习的计算机视觉技术，结合商品重量信息，做条件过滤或者统计回归，来过滤掉重量大于商品最大重量或小于商品最小重量的候选识别结果，所述识别器被配置为利用在智能称重装置的上面的计算单元、临近的边缘计算单元、或者云端计算单元来完成商品识别的识别计算。
在一个实施例中，所述收银POS系统包含传统收银机和自助收银机的POS系统，所述识别反馈器展示候选商品信息时，被配置为采用基于识别置信度的自适应展示策略，其中，当商品识别结果的识别置信度高于预定置信度时，则只展示低于预定数量的具有高于预定置信度的商品识别结果作为候选商品信息，当商品识别结果的识别置信度低于预定置信度时，则增加展示商品识别结果的数量作为候选商品信息。在保障识别召回率的同时，减少了选择的难度。
在一个实施例中，识别反馈器接收用户反馈的交互行为包括点击确认、重新识别、搜索、筛选、修改价格、以及返回系统配置；用户反馈的交互行为包括在预定条件下，自动确认商品识别结果，用户反馈被自动传输到价签打印机或者收银POS系统，并反馈到建模平台，其中所述预定条件包括识别置信度超过自动发布阈值，或者用户反馈时间超过等待阈值。
在一个实施例中，识别反馈器包括搜索组件，被配置为用户使用商品名称首字母或者编码进行搜索，同时展示热搜候选商品。
在一个实施例中，识别反馈器包括筛选组件，被配置为根据商品识别结果，优先展示相同或相关类别的出清商品列表。
在一个实施例中，识别反馈器包括修改价格组件，被配置为接收长按候选商品信息的商品信息展示卡片或者卡片中的商品图标、名称的元素的交互动作，触发弹出价格修改标签，以便用户修改商品单价、总价、或者折扣系数。当选择商品为计件商品时，通过自动弹出窗口反馈商品数量。
在一个实施例中，当确认后的商品信息需要传递到收银POS系统时，确认后的商品信息通过有线或者无线的方式传输到POS系统，或当确认后的商品信息需要传递到价签打印机时，确认后的商品信息通过有线方式传输到价签打印机，或当确认后的商品信息需要反馈到建模平台时，通过有线或者无线网络的方式上传到云端的建模平台。
在一个实施例中，当需要返回系统设置的界面时，通过屏幕从左往右，或者从上往下滑动的方式，返回系统设置的界面。
在一个实施例中，所述建模平台被配置为基于采集的视觉信息、重量信息和使用中的用户反馈的数据，采用基于深度学习的计算机视觉技术来训练识别模型，其中，商品重量信息被应用于设置重量过滤规则，以过滤掉重量大于商品最大重量或小于商品最小重量的商品识别结果，或者被应用于统计商品重量分布模型，以辅助商品识别；使用中的用户反馈的数据被应用于识别模型的持续迭代优化；被训练的识别模型被下发到端、边缘计算、或者云不同的计算平台。
在一个实施例中，所述商品信息同步组件被配置为将更新的商品信息更新到智能称重装置内以支持候选商品信息的展示，其中所述商品信息同步组件，包含windows程序和手机客户端两种形式，通过数据库对接、上传文件、手工编辑的方式完成商品信息的更新，同时支持通过商户内网和外网两种连接方式，更新智能称重装置内的商品信息。
在一个实施例中，所述智能称重装置不包括收银POS系统和价签打印机以作为一个完整的整体，与外部的收银POS系统连接；或所述智能称重装置包括收银POS系统；或所述智能称重装置包括价签打印机。
根据本公开的另一方面，提供一种用于基于计算机视觉技术的智能称重装置的智能称重方法，包括：
利用系统配置组件设置所述智能称重装置的软件参数、硬件参数和商品信息；
利用称重平台放置要识别和称重的商品，感知重量和重量的变化，并获得所述商品的商品重量信息；
利用视觉传感器响应于第一触发器采集所述称重平台上放置的商品的视觉信息；
利用识别器响应于第二触发器来基于所述视觉信息、所述重量信息和识别模型，进行商品识别，且响应于第三触发器来终止商品识别以获得商品识别结果；
利用识别反馈器结合所述商品识别结果与商品信息，展示候选商品信息，并接收用户反馈，将所述用户反馈确认后的商品信息传输到价签打印机或者收银POS系统，并反馈到建模平台，其中所述价签打印机被配置为基于所述用户反馈来打印商品称重条码，所述收银POS系统被配置为根据所述用户反馈来生成商品的收银信息；
利用建模平台基于采集的视觉信息、重量信息和使用中的用户反馈的数据训练识别模型；
利用商品信息同步组件更新商品信息，包括更新商品名称、货号、称码、价格、计价方式、示例图等商品信息的一种或者多种。
在一个实施例中，利用所述系统配置组件设置包含了称重平台和价签打印机的不同硬件型号选择的硬件参数。
在一个实施例中，利用所述系统配置组件设置包含了设置视觉传感器的硬件参数，包含预览分辨率、是否截取主体区域、主体区域截图参数。
在一个实施例中，利用所述系统配置组件设置包含了称重平台皮重设置的硬件参数，包括不去皮重、一次性去皮重和连续去皮重三种模式。
在一个实施例中，利用所述系统配置组件设置包含了商户选择、门店选择和商品管理的软件参数，其中，商品管理包含了名称、编码、价格、配图的用于浏览和编辑的商品信息。
在一个实施例中，所述第一触发器包括称重平台感知到重量发生变化且重量不为零时，以自动触发视觉传感器采集所述称重平台上放置的商品的视觉信息，所述第二触发器包括称重平台感知到重量发生变化且重量不为零时，以自动触发识别器进行商品识别，且所述第三触发器包括重量信号稳定，以将稳定的重量信号作为商品重量信息，用于计算商品总价且生成商品称重条码。
在一个实施例中，利用所述视觉传感器采集所述称重平台上放置的商品的视觉信息，其中所述视觉信息包括图像和视频中的至少一种，该视觉传感器被配置为为新商品建模采集视觉信息；以及为待识别商品采集视觉信息，其中，在为新商品建模采集视觉信息时，利用所述视觉传感器进行包含了单张拍照模式、多张连续拍照模式、和视频拍摄模式的拍摄模式，在为待识别商品采集视觉信息时，利用所述视觉传感器进行包含了单张拍照模式、多张连续拍照模式、和视频拍摄模式的拍摄模式。
在一个实施例中，所述第二触发器包括所述视觉传感器采集的视觉信号的内容变化，以触发所述识别器进行商品识别，所述第三触发器包括视觉信号的稳定，以终止商品识别。
在一个实施例中，所述视觉传感器位于所述称重平台上方，或者侧面，以能够以高于预定清晰度的清晰度来感知称重平台上的商品视觉信息，当视觉传感器的硬件参数被设置为截取主体区域时，根据主体区域截图参数来截取所采集的视觉信息的主体区域。
在一个实施例中，所述第二触发器包括人工选择。
在一个实施例中，利用所述识别模型利用基于深度学习的计算机视觉技术，结合商品重量信息，做条件过滤或者统计回归，来过滤掉重量大于商品最大重量或小于商品最小重量的候选识别结果，所述识别器被配置为利用在智能称重方法的上面的计算单元、临近的边缘计算单元、或者云端计算单元来完成商品识别的识别计算。
在一个实施例中，所述收银POS系统包含传统收银机和自助收银机的POS系统，在利用所述识别反馈器展示候选商品信息时，采用基于识别置信度的自适应展示策略，其中，当商品识别结果的识别置信度高于预定置信度时，则只展示低于预定数量的具有高于预定置信度的商品识别结果作为候选商品信息，当商品识别结果的识别置信度低于预定置信度时，则增加展示商品识别结果的数量作为候选商品信息。
在一个实施例中，利用所述识别反馈器接收用户反馈的交互行为包括点击确认、重新识别、搜索、筛选、修改价格、以及返回系统配置；用户反馈的交互行为包括在预定条件下，自动确认商品识别结果，用户反馈被自动传输到价签打印机或者收银POS系统，并反馈到建模平台，其中所述预定条件包括识别置信度超过自动发布阈值，或者用户反馈时间超过等待阈值。
在一个实施例中，识别反馈器包括搜索组件，利用所述搜索组件使得用户使用商品名称首字母或者编码进行搜索，同时展示热搜候选商品。
在一个实施例中，识别反馈器包括筛选组件，利用所述筛选组件根据商品识别结果，优先展示相同或相关类别的出清商品列表。
在一个实施例中，识别反馈器包括修改价格组件，利用所述修改价格组件接收长按候选商品信息的商品信息展示卡片或者卡片中的商品图标、名称的元素的交互动作，触发弹出价格修改标签，以便用户修改商品单价、总价、或者折扣系数。当选择商品为计件商品时，通过自动弹出窗口反馈商品数量。
在一个实施例中，当确认后的商品信息需要传递到收银POS系统时，确认后的商品信息通过有线或者无线的方式传输到POS系统，或当确认后的商品信息需要传递到价签打印机时，确认后的商品信息通过有线方式传输到价签打印机，或当确认后的商品信息需要反馈到建模平台时，通过有线或者无线网络的方式上传到云端的建模平台。
在一个实施例中，当需要返回系统设置的界面时，通过屏幕从左往右，或者从上往下滑动的方式，返回系统设置的界面。
在一个实施例中，利用所述建模平台被配置为基于采集的视觉信息、重量信息和使用中的用户反馈的数据，采用基于深度学习的计算机视觉技术来训练识别模型，其中，商品重量信息被应用于设置重量过滤规则，以过滤掉重量大于商品最大重量或小于商品最小重量的商品识别结果，或者被应用于统计商品重量分布模型，以辅助商品识别；使用中的用户反馈的数据被应用于识别模型的持续迭代优化；被训练的识别模型被下发到端、边缘计算、或者云不同的计算平台。
在一个实施例中，利用所述商品信息同步组件将更新的商品信息更新到智能称重方法内以支持候选商品信息的展示，其中所述商品信息同步组件，包含windows程序和手机客户端两种形式，通过数据库对接、上传文件、手工编辑的方式完成商品信息的更新，同时支持通过商户内网和外网两种连接方式，更新智能称重方法内的商品信息。
在一个实施例中，所述智能称重装置不包括收银POS系统和价签打印机以作为一个完整的整体，与外部的收银POS系统连接；或所述智能称重装置包括收银POS系统；或所述智能称重装置包括价签打印机。
根据本公开的另一方面，提供一种智能称重方法，包括如下步骤：系统配置，设置软件参数、硬件参数和商品信息的系统配置；传称同步，将包括获取商品名称、货号、称码、价格、计价方式、示例图的商品信息的一种或者多种上传；商品数据库更新，将上传的信息更新到数据库中；信息采集，采集商品的视觉信息和重量信息；结合商品的视觉信息、重量信息训练识别模型；发布识别模型到识别服务中；称重商品放置在称重平台上，称重以获得重量信息；采集商品的视觉信息；利用识别服务中的识别模型识别商品种类；展示候选识别结果商品信息；识别反馈，接收用户反馈信息，将确认结果传输到收银POS系统或者条码打印机，并更新到云端训练平台，支持模型的迭代更新；收银POS系统增加商品信息，或者条码打印机打印价签。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性地图示了根据本公开的一个实施例的智能称重装置的模块图。
图2示意性地图示了根据本公开的一个实施例的智能称重装置外形结构图。
图3示意性地图示了根据本公开的一个实施例的智能称重方法的流程图。
图4示意性地图示了根据本公开的另一个实施例的智能称重方法的流程图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
通常情况下，顾客在超市中挑选了水果或蔬菜(并用包装袋包装)之后，要在指定的称重机器上进行称重，店员会用肉眼识别顾客挑选的水果或蔬菜的种类，并录入对应的商品编号，并由称重机器在称重的同时打印标识该水果或蔬菜的种类、重量、单价和/或总价的条形码，并贴于挑选的水果或蔬菜上(或包装水果或蔬菜的包装袋)上。顾客需要拿着贴有条形码的水果或蔬菜(或包装水果或蔬菜的包装袋)到收银台再进行刷条形码并付款的动作。整个过程非常繁琐和复杂。
本公开的技术可以不需要在人工识别商品、称重并在商品上人工黏贴识别商品和称重重量的条形码和让顾客在收银时扫条形码的情况下，就能够自动识别和称重商品并获得商品结算数据等。如此可以在要对实际商品进行结算时，利用商品的图像、商品的重量和商品识别模型在称重的同时智能地识别商品，并生成商品结算结果，整个过程可以没有专职的称重员人工参与，提高了商品称重和结算的效率、并减少商品称重和结算中所消耗的人力成本。本公开的技术方案可以为各种商品销售场所中的商品销售，包括但不限于商场、超市、菜市场、面包店、各类零售食品店等。
另外，不同商品销售场所中和不同时期销售的同一商品可能存在各自的独特性，比如都是橘子，但是不同商品销售场所中销售的不同品种的橘子或甚至相同品种的橘子在外形、大小、重量等特征方面也可能不同，或者同一商品销售场所中在不同的时期销售的橘子可能在其外形、大小、重量等特征方面也不同。如果利用已有或不变的商品识别模型可能无法准确地有差别地识别这些商品。另外，在有些情况下，也可能已有或不变的商品识别模型是简单、粗略的，比如利用一些普通的橘子照片来训练得到的，这样的商品识别模型，如果直接应用于具体的商品销售场所中，也可能得出错误的商品识别结果。另外，也可能出现已有的商品识别模型中无法识别的一些新的商品，比如新品种的橘子或以前没有售卖过的某种商品，由于在已有的商品识别模型中没有训练过这些商品的图像，因此也可能无法识别出该商品或得出错误的商品识别结果。如果在智能商品识别和称重的产品销售到商品销售场所之后，还要由技术人员经常去现场更新商品识别模型，则可能导致效率低下和繁琐。
接下来要介绍的示例仅是相应的具体例子，而不作为限制本公开的实施例必须为示出和描述的具体的外形、硬件、连接关系、步骤、数值、条件、数据、顺序等等。本领域技术人员可以通过阅读本说明书来运用本公开的构思来构造本说明书中未提到的更多实施例。
图1示意性地图示了根据本公开的一个实施例的智能称重装置的模块图。智能称重装置100包括:系统配置组件101，被配置为设置所述智能称重装置的软件参数、硬件参数和商品信息；称重平台102，被配置为放置要识别和称重的商品，感知重量和重量的变化，并获得所述商品的商品重量信息；视觉传感器103，被配置为响应于第一触发器采集所述称重平台上放置的商品的视觉信息；识别器104，被配置为响应于第二触发器来基于所述视觉信息、所述重量信息和识别模型，进行商品识别，且响应于第三触发器来终止商品识别以获得商品识别结果；识别反馈器105，被配置为结合所述商品识别结果与商品信息，展示候选商品信息，并接收用户反馈，将所述用户反馈确认后的商品信息传输到价签打印机106或者收银POS系统107，并反馈到建模平台108，其中所述价签打印机106被配置为基于所述用户反馈来打印商品称重条码，所述收银POS系统107被配置为根据所述用户反馈来生成商品的收银信息；建模平台108，被配置为基于采集的视觉信息、重量信息和使用中的用户反馈的数据训练识别模型；商品信息同步组件109，被配置为更新商品信息，包括更新商品名称、货号、称码、价格、计价方式、示例图等商品信息的一种或者多种自助收银机的POS系统。
而在本公开的实施例的技术方案中，可以在没有初始地训练图像和建立商品识别模型或只建立了简单的商品识别模型的情况下，通过实际采集的商品的图像、和对商品的确认作为用户反馈来在实际运行过程中逐渐建立和完善商品识别模型，称重使用即学习的过程，简化了机器学习的流程。提供用户反馈来确认商品识别模型的识别结果是否准确并反馈给商品识别模型以进一步优化该模型，使用过程非常简单、顾客和商品销售场所的体验更好。在具体的使用过程中，在完成实际商品的商品识别之后，也可以将针对实际商品采集的商品图像和对商品的确认作为训练图像，并进一步利用该训练图像执行学习，从而强化商品识别模型的学习，以提高商品识别的准确性，节省了单独学习训练图像并建立商品识别模型的时间和成本。商品销售场所购买了搭载该技术的产品之后可以直接在使用该产品称重和收银的同时来训练和完善符合商品销售场所自身特点的商品识别模型。另外，还可以加入称重的重量结果来进一步优化商品识别模型本身或优化商品识别模型识别结果。
在一个实施例中，所述系统配置组件被配置为设置包含了称重平台和价签打印机的不同硬件型号选择的硬件参数。
在一个实施例中，所述系统配置组件被配置为设置包含了设置视觉传感器的硬件参数，包含预览分辨率、是否截取主体区域、主体区域截图参数。预览分辨率表示预览摄像头图像的分辨率。
如果截取主体区域，则例如裁剪掉所述商品的图像中主体外的区域。
主体区域截图参数可以用来截取所采集的图像的主体区域，例如利用主体区域截图参数定义要截取的主体区域的坐标等。在一些实施例中，例如，可以通过裁剪掉所述商品的图像中所述称重平台外的区域，可以减少称重平台外的例如手、塑料袋等干扰导致识别或训练的图像产生误差。或者，可以通过识别所述商品的图像中的商品前景和周围的背景，并裁剪掉所述商品的图像中所述商品周围的背景，使得可以过滤掉商品周围(并非只是称重平台外)的例如手、塑料袋等干扰导致识别或训练的图像产生误差。当然，装有塑料袋或其他包装的商品的图像也可以作为整体用来识别或训练。
在一个实施例中，所述系统配置组件被配置为设置包含了称重平台皮重设置的硬件参数，包括不去皮重、一次性去皮重和连续去皮重三种模式。不去皮重表示当前称重都不需要去掉配置皮重(商品的皮的重量)。一次性去皮重，是当前称重需要去掉配置皮重。连续去皮重，即针对被配置的商品，后续的每一次称重都自动去掉配置皮重。
在一个实施例中，所述系统配置组件被配置为设置包含了商户选择、门店选择和商品管理的软件参数，其中，商品管理包含了名称、编码、价格、配图的用于浏览和编辑的商品信息。
在一个实施例中，所述第一触发器包括称重平台感知到重量发生变化且重量不为零时，以自动触发视觉传感器采集所述称重平台上放置的商品的视觉信息，所述第二触发器包括称重平台感知到重量发生变化且重量不为零时，以自动触发识别器进行商品识别，且所述第三触发器包括重量信号稳定，以将稳定的重量信号作为商品重量信息，用于计算商品总价且生成商品称重条码。例如当称重平台获得的重量发生变化、且重量不为零时，例如有东西放到称重平台上时，视觉传感器才开始采集商品的视觉信息，识别器才开始进行商品识别，这样可以避免视觉传感器采集到不需要称重的东西的干扰的图像、比如晃动过去的手等，也可以节省视觉传感器和识别器的电力。
在一个实施例中，所述视觉传感器被配置为采集所述称重平台上放置的商品的视觉信息，其中所述视觉信息包括图像和视频中的至少一种，该视觉传感器被配置为为新商品建模采集视觉信息；以及为待识别商品采集视觉信息。其中，在为新商品建模采集视觉信息时，所述视觉传感器被配置为进行包含了单张拍照模式、多张连续拍照模式、和视频拍摄模式的拍摄模式，在为待识别商品采集视觉信息时，所述视觉传感器被配置为进行包含了单张拍照模式、多张连续拍照模式、和视频拍摄模式的拍摄模式。
在一个实施例中，所述第二触发器包括所述采集的视觉信号的内容变化，以触发所述识别器进行商品识别，所述第三触发器包括视觉信号的稳定，以终止商品识别。如此，根据视觉传感器采集的视觉信号的内容变化，识别器才开始进行商品识别，这样也可以避免干扰且节省识别器的电力。
在一个实施例中，所述视觉传感器位于所述称重平台上方，或者侧面，以能够以高于预定清晰度的清晰度来感知称重平台上的商品视觉信息，当视觉传感器的硬件参数被设置为截取主体区域时，根据主体区域截图参数来截取所采集的视觉信息的主体区域。
在一个实施例中，所述第二触发器包括人工选择。即，人工开始识别器的商品识别。
在一个实施例中，所述识别模型被配置为利用基于深度学习的计算机视觉技术，结合商品重量信息，做条件过滤或者统计回归，来过滤掉重量大于商品最大重量或小于商品最小重量的候选识别结果，所述识别器被配置为利用在智能称重装置的上面的计算单元、临近的边缘计算单元、或者云端计算单元来完成商品识别的识别计算。
比如某些特定的商品，形状和花纹差不多的西瓜，普通的大西瓜和小的麒麟瓜是两种不同的品种，如果商品识别模型的识别结果是普通的大西瓜和小的麒麟瓜两种结果，但是称重平台获得的重量明显小于普通的大西瓜的最小重量，则可以过滤掉商品识别结果中的大西瓜，剩下小的麒麟瓜的识别结果，或者如果商品识别模型的识别结果是普通的大西瓜，则将商品识别结果从普通的大西瓜改变为小的麒麟瓜，如此可以更准确地区分通常大小不同的两种西瓜品种。过滤或改变后的商品识别结果单独或与当前采集的该商品的图像(和称重平台获得的重量)一起也可以输入回到商品识别模型中，进一步训练或更新该商品识别模型，以便下一次商品识别的时候能够更准确地识别。
在一个实施例中，所述收银POS系统包含传统收银机和自助收银机的POS系统，所述识别反馈器展示候选商品信息时，被配置为采用基于识别置信度的自适应展示策略，其中，当商品识别结果的识别置信度高于预定置信度时，则只展示低于预定数量的(例如，少量的)具有高于预定置信度的商品识别结果作为候选商品信息，当商品识别结果的识别置信度低于预定置信度时，则增加展示商品识别结果的数量作为候选商品信息。在保障识别召回率的同时，减少了选择的难度。
在一个实施例中，识别反馈器接收用户反馈的交互行为包括点击确认、重新识别、搜索、筛选、修改价格、以及返回系统配置；用户反馈的交互行为包括在预定条件下，自动确认商品识别结果，用户反馈被自动传输到价签打印机或者收银POS系统，并反馈到建模平台，其中所述预定条件包括识别置信度超过自动发布阈值，或者用户反馈时间超过等待阈值。
在此，例如识别反馈器显示了商品识别模型识别的候选商品识别结果，此时可能由于该商品识别模型还未建立完善，或者是简单训练得到的，可能会识别出较多的商品识别结果，或者不准确的商品识别结果，例如，识别出普通有籽西瓜、无籽西瓜等，此时收银员或顾客可以在识别反馈器通过交互行为选择实际的商品种类，以确认商品。该识别反馈器可以是触摸显示屏，包括电阻式、电容感应式、红外线式以及表面声波式等，也可以是其他智能人机交互器，例如语音识别接口，还可以包括当今正在开发或以后出现的人机交互器。如果此时的商品识别结果中没有实际的商品种类，则收银员或顾客也可以通过搜索数据库来确认商品。收银员或顾客也可以用识别反馈器来修改商品价格，返回系统配置等等。
在一个实施例中，识别反馈器包括搜索组件，被配置为用户使用商品名称首字母或者编码进行搜索，同时展示热搜候选商品。
在一个实施例中，识别反馈器包括筛选组件，被配置为根据商品识别结果，优先展示相同或相关类别的出清商品列表。出清商品列表即打折等方式促销商品列表。
在一个实施例中，识别反馈器包括修改价格组件，被配置为接收长按候选商品信息的商品信息展示卡片或者卡片中的商品图标、名称的元素的交互动作，触发弹出价格修改标签，以便用户修改商品单价、总价、或者折扣系数。当选择商品为计件商品时，通过自动弹出窗口反馈商品数量。如此，可以通过简单的交互动作容易地改变商品的单价、总价、或者折扣系数、数量等。
在一个实施例中，当确认后的商品信息需要传递到收银POS系统时，确认后的商品信息通过有线或者无线的方式传输到POS系统，或当确认后的商品信息需要传递到价签打印机时，确认后的商品信息通过有线方式传输到价签打印机，或当确认后的商品信息需要反馈到建模平台时，通过有线或者无线网络的方式上传到云端的建模平台。
在一个实施例中，当需要返回系统设置的界面时，通过屏幕从左往右，或者从上往下滑动的方式，返回系统设置的界面。如此，可以通过简单的交互动作来返回系统设置的界面。
在一个实施例中，所述建模平台被配置为基于采集的视觉信息、重量信息和使用中的用户反馈的数据，采用基于深度学习的计算机视觉技术来训练识别模型，其中，商品重量信息被应用于设置重量过滤规则，以过滤掉重量大于商品最大重量或小于商品最小重量的商品识别结果，或者被应用于统计商品重量分布模型，以辅助商品识别；使用中的用户反馈的数据被应用于识别模型的持续迭代优化；被训练的识别模型被下发到端、边缘计算、或者云不同的计算平台。
在一个实施例中，所述商品信息同步组件被配置为将更新的商品信息更新到智能称重装置内以支持候选商品信息的展示，其中所述商品信息同步组件，包含windows程序和手机客户端两种形式，通过数据库对接、上传文件、手工编辑的方式完成商品信息的更新，同时支持通过商户内网和外网两种连接方式，更新智能称重装置内的商品信息。
在一个实施例中，所述智能称重装置不包括收银POS系统和价签打印机以作为一个完整的整体，与外部的收银POS系统连接。如此可以作为视觉称重插件，与商家的收银POS系统即插即用。或所述智能称重装置包括收银POS系统，以便作为一个整体的视觉称重收款一体机使用。或所述智能称重装置包括价签打印机，以便打印价签，供顾客称重后拿着价签去收银POS机处扫描价签以便付款。
本智能称重装置中的识别反馈器可以是触摸显示屏，或者本智能称重装置中也可以不包括触摸显示屏，而是作为插件与具有触摸显示屏或其他用户接口的其他设备相连接。
本方案首次建立了完整的识别模型迭代闭环，保障了识别模型在使用中的持续迭代和优化，实现了称重商品高效准确的识别；首次将智能称重与收银台结合，实现了高效的银称合一解决方案。
图2示意性的图示了根据本公开的一个实施例的智能称重装置外形结构图。该智能称重装置200可以包括：底盘205；称重平台201，与底盘205相连接，用于对放置在其上的商品206(例如苹果)进行称重；支撑杆204，与底盘205相连接；视觉传感器202，设置在所述称重平台201上或所述称重平台201之外、或设置在与所述称重平台201的底盘205相连的支撑杆204上，例如如图2所示，设置在支撑杆204的上部上，其采集范围覆盖所述称重平台201或其周围区域的至少一部分，例如如图2所示，覆盖称重平台201的俯视平面。
智能商品识别和称重结构200还可以包括：人机交互器203，其被设置与所述支撑杆204可移除地相连接，且可相对于所述支撑杆调整位置，以便于使用该智能商品识别和称重结构200的用户查看该人机交互器203上显示的内容并操作该人机交互器203。
图2中所示的底盘205、称重平台201、支撑杆204、人机交互器203的位置、形状和大小仅是示例，并非限制，是可以根据实际情况而改变的。例如底盘205的尺寸可以大于称重平台201，以达到获得更好的重心，保持整个结构的稳定，支撑杆204可以不是L型，而是垂直杆，图像采集组件202的位置可以不位于支撑杆204的顶上，而是支撑杆204的直角处，而且人机交互器203也可以不是位于支撑杆204的一边，而是其中心位于支撑杆204上使得人机交互器203居中。这些结构之间的连接方式也可以采用现有的连接方式，可以是固定连接，也可以是可移除或可旋转地连接。
在该底盘205或支撑杆204的内部或外部或与之相连接的部位还可以设置与称重平台、图像采集组件202、人机交互器203一起实现智能商品识别和称重功能和方法的芯片或集成电路或功能模块。
上述的各个组成器件是示意性的，根据需要可以删除部分器件，或者增加其它器件。例如，可以增加麦克风、语音识别装置和扬声器，被配置为在与用户进行语音交互，以执行各种控制。增加价签打印机，支持打印价签。增加USB连接线、串口数据线、网线等各种连接线，支持数据的传输。
图3示意性地图示了根据本公开的一个实施例的智能称重方法300的流程图。
智能称重方法300包括：步骤301，利用系统配置组件设置所述智能称重装置的软件参数、硬件参数和商品信息；步骤302，利用称重平台放置要识别和称重的商品，感知重量和重量的变化，并获得所述商品的商品重量信息；步骤303，利用视觉传感器响应于第一触发器采集所述称重平台上放置的商品的视觉信息；步骤304，利用识别器响应于第二触发器来基于所述视觉信息、所述重量信息和识别模型，进行商品识别，且响应于第三触发器来终止商品识别以获得商品识别结果；步骤305，利用识别反馈器结合所述商品识别结果与商品信息，展示候选商品信息，并接收用户反馈，将所述用户反馈确认后的商品信息传输到价签打印机或者收银POS系统，并反馈到建模平台，其中所述价签打印机被配置为基于所述用户反馈来打印商品称重条码，所述收银POS系统被配置为根据所述用户反馈来生成商品的收银信息；步骤306，利用建模平台基于采集的视觉信息、重量信息和使用中的用户反馈的数据训练识别模型；步骤307，利用商品信息同步组件更新商品信息，包括更新商品名称、货号、称码、价格、计价方式、示例图等商品信息的一种或者多种。
在一个实施例中，利用所述系统配置组件设置包含了称重平台和价签打印机的不同硬件型号选择的硬件参数。
在一个实施例中，利用所述系统配置组件设置包含了设置视觉传感器的硬件参数，包含预览分辨率、是否截取主体区域、主体区域截图参数。
在一个实施例中，利用所述系统配置组件设置包含了称重平台皮重设置的硬件参数，包括不去皮重、一次性去皮重和连续去皮重三种模式。
在一个实施例中，利用所述系统配置组件设置包含了商户选择、门店选择和商品管理的软件参数，其中，商品管理包含了名称、编码、价格、配图的用于浏览和编辑的商品信息。
在一个实施例中，所述第一触发器包括称重平台感知到重量发生变化且重量不为零时，以自动触发视觉传感器采集所述称重平台上放置的商品的视觉信息，所述第二触发器包括称重平台感知到重量发生变化且重量不为零时，以自动触发识别器进行商品识别，且所述第三触发器包括重量信号稳定，以将稳定的重量信号作为商品重量信息，用于计算商品总价且生成商品称重条码。
在一个实施例中，利用所述视觉传感器采集所述称重平台上放置的商品的视觉信息，其中所述视觉信息包括图像和视频中的至少一种，该视觉传感器被配置为为新商品建模采集视觉信息；以及为待识别商品采集视觉信息，其中，在为新商品建模采集视觉信息时，利用所述视觉传感器进行包含了单张拍照模式、多张连续拍照模式、和视频拍摄模式的拍摄模式，在为待识别商品采集视觉信息时，利用所述视觉传感器进行包含了单张拍照模式、多张连续拍照模式、和视频拍摄模式的拍摄模式。
在一个实施例中，所述第二触发器包括所述视觉传感器采集的视觉信号的内容变化，以触发所述识别器进行商品识别，所述第三触发器包括视觉信号的稳定，以终止商品识别。
在一个实施例中，所述视觉传感器位于所述称重平台上方，或者侧面，以能够以高于预定清晰度的清晰度来感知称重平台上的商品视觉信息，当视觉传感器的硬件参数被设置为截取主体区域时，根据主体区域截图参数来截取所采集的视觉信息的主体区域。
在一个实施例中，所述第二触发器包括人工选择。
在一个实施例中，利用所述识别模型利用基于深度学习的计算机视觉技术，结合商品重量信息，做条件过滤或者统计回归，来过滤掉重量大于商品最大重量或小于商品最小重量的候选识别结果，所述识别器被配置为利用在智能称重方法的上面的计算单元、临近的边缘计算单元、或者云端计算单元来完成商品识别的识别计算。
在一个实施例中，所述收银POS系统包含传统收银机和自助收银机的POS系统，在利用所述识别反馈器展示候选商品信息时，采用基于识别置信度的自适应展示策略，其中，当商品识别结果的识别置信度高于预定置信度时，则只展示低于预定数量的具有高于预定置信度的商品识别结果作为候选商品信息，当商品识别结果的识别置信度低于预定置信度时，则增加展示商品识别结果的数量作为候选商品信息。
在一个实施例中，利用所述识别反馈器接收用户反馈的交互行为包括点击确认、重新识别、搜索、筛选、修改价格、以及返回系统配置；用户反馈的交互行为包括在预定条件下，自动确认商品识别结果，用户反馈被自动传输到价签打印机或者收银POS系统，并反馈到建模平台，其中所述预定条件包括识别置信度超过自动发布阈值，或者用户反馈时间超过等待阈值。
在一个实施例中，识别反馈器包括搜索组件，利用所述搜索组件使得用户使用商品名称首字母或者编码进行搜索，同时展示热搜候选商品。
在一个实施例中，识别反馈器包括筛选组件，利用所述筛选组件根据商品识别结果，优先展示相同或相关类别的出清商品列表。
在一个实施例中，识别反馈器包括修改价格组件，利用所述修改价格组件接收长按候选商品信息的商品信息展示卡片或者卡片中的商品图标、名称的元素的交互动作，触发弹出价格修改标签，以便用户修改商品单价、总价、或者折扣系数。当选择商品为计件商品时，通过自动弹出窗口反馈商品数量。
在一个实施例中，当确认后的商品信息需要传递到收银POS系统时，确认后的商品信息通过有线或者无线的方式传输到POS系统，或当确认后的商品信息需要传递到价签打印机时，确认后的商品信息通过有线方式传输到价签打印机，或当确认后的商品信息需要反馈到建模平台时，通过有线或者无线网络的方式上传到云端的建模平台。
在一个实施例中，当需要返回系统设置的界面时，通过屏幕从左往右，或者从上往下滑动的方式，返回系统设置的界面。
在一个实施例中，利用所述建模平台被配置为基于采集的视觉信息、重量信息和使用中的用户反馈的数据，采用基于深度学习的计算机视觉技术来训练识别模型，其中，商品重量信息被应用于设置重量过滤规则，以过滤掉重量大于商品最大重量或小于商品最小重量的商品识别结果，或者被应用于统计商品重量分布模型，以辅助商品识别；使用中的用户反馈的数据被应用于识别模型的持续迭代优化；被训练的识别模型被下发到端、边缘计算、或者云不同的计算平台。
在一个实施例中，利用所述商品信息同步组件将更新的商品信息更新到智能称重方法内以支持候选商品信息的展示，其中所述商品信息同步组件，包含windows程序和手机客户端两种形式，通过数据库对接、上传文件、手工编辑的方式完成商品信息的更新，同时支持通过商户内网和外网两种连接方式，更新智能称重方法内的商品信息。
在一个实施例中，所述智能称重装置不包括收银POS系统和价签打印机以作为一个完整的整体，与外部的收银POS系统连接；或所述智能称重装置包括收银POS系统；或所述智能称重装置包括价签打印机。
本方案首次建立了完整的识别模型迭代闭环，保障了识别模型在使用中的持续迭代和优化，实现了称重商品高效准确的识别；首次将智能称重与收银台结合，实现了高效的银称合一解决方案。
图4示意性地图示了根据本公开的另一个实施例的智能称重方法400流程图。如图所示，智能称重方法400包括如下步骤：S401，系统配置，设置软硬件参数和商户信息；S402，传称同步，将商品信息包括获取商品名称、货号、称码、价格、计价方式、示例图等商品信息的一种或者多种上传；S403，商品数据库更新，将S402上传的信息更新到数据库中；S404，信息采集，采集商品的视觉信息和重量信息；S405，结合商品的视觉信息、重量信息训练识别模型；S406，发布识别模型到识别服务中；S407，称重商品放置在称重平台上，称重以获得重量信息；S408，采集商品的视觉信息；S409，利用识别服务中的识别模型识别商品种类；S410，展示候选识别结果商品信息；S411，识别反馈，接收用户反馈信息，将确认结果传输到POS系统或者条码打印机，并更新到云端训练平台，支持模型的迭代更新。S412，收银POS系统增加商品信息，或者条码打印机打印价签。
在一个实施例中，S401系统配置，包含了硬件参数设置，软件参数设置和商户信息设置。硬件参数设置包含了称重平台、价签打印机不同硬件型号选择。硬件参数设置也包含了视觉传感器设置，包含预览分辨率、是否截取主体区域、主体区域截图参数等。硬件参数设置还包含了称重平台皮重设置，包括不去皮重、一次性去皮重和连续去皮重三种模式。软件参数设置包含了商户选择、门店选择和商品管理。其中，商品管理又包含了商品信息如名称、编码、价格、配图等的浏览和编辑。
在一个实施例中，S402传称同步，包含windows程序和手机客户端两种形式，通过数据库对接、上传文件、手工编辑各种方式完成商品信息变更。同时支持通过商户内网和外网两种连接方式，更新智能称重装置内的商品信息。同步的信息包括商品名称、货号、称码、价格、计价方式、示例图等商品信息的一种或者多种。
在一个实施例中，S403，商品数据库更新，商品数据库可以部署在商户内网，通过商户内网更新智能称重装置内的商品信息。
在一个实施例中，S403，商品数据库更新，商品数据库可以部署在云端，通过外网更新智能称重装置内的商品信息。
在一个实施例中，S404，信息采集通过单张拍照模式采集商品图像；在一个实施例中，S404，信息采集通过单张拍照模式，采集商品图像；在一个实施例中，S404，信息采集通过多张连续拍照模式，采集商品图像；在一个实施例中，S404，信息采集通过视频拍摄模式采集商品图像。在一个实施例中，S404，信息采集，基于系统配置截取视觉信息主体区域。在一个实施例中，S404，信息采集，同时采集商品重量信息。
在一个实施例中，S405，基于商品的视觉信息，通过基于深度学习的计算机视觉技术学习商品识别模型。商品视觉信息可以来自于采集数据，也可以来自于回流数据，或者来自于它们的组合。在一个实施例中，商品重量信息被应用于建立条件过滤模型，过滤掉重量大于商品最大重量或小于商品最小重量的候选识别结果。
在一个实施例中，S406，发布模型到智能称重装置端上面的计算单元，利用终端计算单元完成识别计算；在一个实施例中，S406，发布模型到边缘计算单元，利用临近商户的边缘计算单元完成识别计算；在一个实施例中，S406，发布模型到云端服务器，利用云端服务器完成识别计算。
在一个实施例中，S407称重，感知重量变化，并获得商品重量。重量信号变化作为识别触发器，在重量发生变化且重量不为零时，自动触发视觉传感器采集视觉信号，识别器进行商品识别。重量信号稳定作为识别结束的判断条件之一，稳定的重量信号作为商品重量，用于计算商品总价，生成商品条码信息。
在一个实施例中，S408商品视觉信息采集，在重量发生变化时开始采集商品图像，并将商品图像与重量传入S409商品识别。S409基于商品图像和重量，通过视觉模型和重量模型预测商品类别。在商品重量和图像稳定的时候，识别停止，产出候选商品列表及其置信度。
在一个实施例中，S410商品展示，采用一种基于识别置信度的自适应展示策略，当识别结果置信度高时，则只展示少量高置信度结果，当识别结果置信度低时，则增加展示数量。在保障识别召回率的同时，减少了选择的难度。
在一个实施例中，S411识别反馈，用户对识别结果的交互行为包括点击确认、重新识别、搜索、筛选、修改价格、以及返回系统配置。其中，搜索组件被配置为用户可以使用商品名称首字母或者编码进行搜索，同时展示热搜候选商品，提高用户搜索效率。筛选组件被被配置为会根据商品识别结果，优先展示相似类别的出清商品列表，提高用户筛选效率。修改价格组件被配置为长按商品信息展示卡片或者卡片中的商品图标、名称等元素，触发弹出价格修改标签，可以修改商品单价、总价、或者折扣系数。当商品为计件商品时，通过自动弹出窗口反馈商品数量。当需要返回系统设置时，通过屏幕从左往右，或者从上往下滑动的方式，返回系统设置的界面。
在一个实施例中，S411识别反馈，识别结果可以自动确认，识别置信度超过自动发布阈值，或者用户反馈时间超过等待阈值时，相应结果自动传输到价签打印机或者POS系统，并反馈到建模平台。
在一个实施例中，S411识别反馈，当商品信息需要传递到POS系统时，确认后的商品信息通过有线的方式传输到POS系统。
在一个实施例中，S411识别反馈，当商品信息需要传递到POS系统时，确认后的商品信息通过软件通信的方式传输到POS系统。
在一个实施例中，S411识别反馈，当商品信息需要传递到价签打印机时，确认后的商品信息通过有线方式传输到价签打印机。
在一个实施例中，S411识别反馈，当用户反馈信息需要上传到建模平台时，通过无线网络的方式上传到云端平台。在一个实施例中，S411识别反馈，当用户反馈信息需要上传到建模平台时，通过有线网络的方式上传到云端平台。
在一个实施例中，S401，POS系统增加商品信息，支持进一步的收银动作；在一个实施例中，S412，条码打印机打印价签，支持用户通过扫码方式录入POS系统。
本方案首次建立了完整的识别模型迭代闭环，保障了识别模型在使用中的持续迭代和优化，实现了称重商品高效准确的识别；首次将智能称重与收银台结合，实现了高效的银称合一解决方案。
当然，上述的具体实施例仅是例子而非限制，且本领域技术人员可以根据本公开的构思从上述分开描述的各个实施例中合并和组合一些步骤和装置来实现本公开的效果，这种合并和组合而成的实施例也被包括在本公开中，在此不一一描述这种合并和组合。
注意，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本公开中涉及的系统、方法、装置的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些系统、方法、装置。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
本公开中的步骤流程图以及以上方法描述仅作为例示性的例子并且不意图要求或暗示必须按照给出的顺序进行各个实施例的步骤。如本领域技术人员将认识到的，可以按任意顺序进行以上实施例中的步骤的顺序。诸如“其后”、“然后”、“接下来”等等的词语不意图限制步骤的顺序；这些词语仅被配置为引导读者通读这些方法的描述。此外，例如使用冠词“一个”、“一”或者“该”对于单数的要素的任何引用不被解释为将该要素限制为单数。
另外，本文中的各个实施例中的步骤和装置并非仅限定于某个实施例中实行，事实上，可以根据本公开的概念来结合本文中的各个实施例中相关的部分步骤和部分装置以构思新的实施例，而这些新的实施例也包括在本公开的范围内。

Claims (9)

1.一种基于计算机视觉技术的智能称重装置，包括：
系统配置组件，被配置为设置所述智能称重装置的软件参数、硬件参数和商户信息的系统配置；
称重平台，被配置为放置要识别和称重的商品，感知重量和重量的变化，并获得所述商品的商品重量信息；
视觉传感器，被配置为响应于第一触发器采集所述称重平台上放置的商品的视觉信息；
识别器，被配置为响应于第二触发器来基于所述视觉信息、所述重量信息和识别模型，进行商品识别，且响应于第三触发器来终止商品识别以获得商品识别结果；其中所述第一触发器包括称重平台感知到重量发生变化且重量不为零时，以自动触发视觉传感器采集所述称重平台上放置的商品的视觉信息，所述第二触发器包括称重平台感知到重量发生变化且重量不为零时，以自动触发识别器进行商品识别，且所述第三触发器包括重量信号稳定，以将稳定的重量信号作为商品重量信息，用于计算商品总价且生成商品称重条码；所述识别模型被配置为利用基于深度学习的计算机视觉技术，结合商品重量信息，做条件过滤或者统计回归，来过滤掉重量大于商品最大重量或小于商品最小重量的候选识别结果，所述识别器被配置为利用在智能称重装置的上面的计算单元、临近的边缘计算单元、或者云端计算单元来完成商品识别的识别计算；
识别反馈器，被配置为结合所述商品识别结果与商品信息，展示候选商品信息，并接收用户反馈，将所述用户反馈确认后的商品信息传输到价签打印机或者收银POS系统，并反馈到建模平台，其中所述价签打印机被配置为基于所述用户反馈来打印商品称重条码，所述收银POS系统被配置为根据所述用户反馈来生成商品的收银信息；所述识别反馈器展示候选商品信息时，被配置为采用基于识别置信度的自适应展示策略，其中，当商品识别结果的识别置信度高于预定置信度时，则只展示低于预定数量的具有高于预定置信度的商品识别结果作为候选商品信息，当商品识别结果的识别置信度低于预定置信度时，则增加展示商品识别结果的数量作为候选商品信息；所述识别反馈器接收用户反馈的交互行为包括点击确认、重新识别、搜索、筛选、修改价格、以及返回系统配置；用户反馈的交互行为包括在预定条件下，自动确认商品识别结果，用户反馈被自动传输到价签打印机或者收银POS系统，并反馈到建模平台，其中所述预定条件包括识别置信度超过自动发布阈值，或者用户反馈时间超过等待阈值；
建模平台，被配置为基于采集的视觉信息、重量信息和使用中的用户反馈的数据训练识别模型；所述建模平台被配置为基于采集的视觉信息、重量信息和使用中的用户反馈的数据，采用基于深度学习的计算机视觉技术来训练识别模型，其中，商品重量信息被应用于设置重量过滤规则，以过滤掉重量大于商品最大重量或小于商品最小重量的商品识别结果，或者被应用于统计商品重量分布模型，以辅助商品识别；使用中的用户反馈的数据被应用于识别模型的持续迭代优化；训练的识别模型被下发到端、边缘计算、或者云计算平台；
商品信息同步组件，被配置为更新商品信息，包括更新商品名称、货号、称码、价格、计价方式、示例图商品信息的一种或者多种；所述商品信息同步组件被配置为将更新的商品信息更新到智能称重装置内以支持候选商品信息的展示，其中所述商品信息同步组件，包含windows程序和手机客户端两种形式，通过数据库对接、上传文件、手工编辑的方式完成商品信息的更新，同时支持通过商户内网和外网两种连接方式，更新智能称重装置内的商品信息。
2.根据权利要求1所述的智能称重装置，其中所述系统配置组件被配置为设置包含了称重平台和价签打印机的不同硬件型号选择的硬件参数，
其中所述系统配置组件被配置为设置包含了设置视觉传感器的硬件参数，包含预览分辨率、是否截取主体区域、主体区域截图参数，
其中所述系统配置组件被配置为设置包含了称重平台皮重设置的硬件参数，包括不去皮重、一次性去皮重和连续去皮重三种模式，
其中所述系统配置组件被配置为设置包含了商户选择、门店选择和商品管理的软件参数，其中，商品管理包含了名称、编码、价格、配图的用于浏览和编辑的商品信息。
3.根据权利要求1所述的智能称重装置，其中所述视觉传感器被配置为采集所述称重平台上放置的商品的视觉信息，其中所述视觉信息包括图像和视频中的至少一种，该视觉传感器被配置为为新商品建模采集视觉信息；以及为待识别商品采集视觉信息，其中，在为新商品建模采集视觉信息时，所述视觉传感器被配置为进行包含了单张拍照模式、多张连续拍照模式、和视频拍摄模式的拍摄模式，在为待识别商品采集视觉信息时，所述视觉传感器被配置为进行包含了单张拍照模式、多张连续拍照模式、和视频拍摄模式的拍摄模式，
其中所述视觉传感器位于所述称重平台上方，或者侧面，以能够以高于预定清晰度的清晰度来感知称重平台上的商品视觉信息，当视觉传感器的硬件参数被设置为截取主体区域时，根据主体区域截图参数来截取所采集的视觉信息的主体区域。
4.根据权利要求1所述的智能称重装置，其中所述第二触发器包括所述视觉传感器采集的视觉信号的内容变化，以触发所述识别器进行商品识别，所述第三触发器包括视觉信号的稳定，以终止商品识别，
其中所述第二触发器包括人工选择。
5.根据权利要求1所述的智能称重装置，其中收银机的POS系统包含传统收银机和自助收银机的POS系统。
6.根据权利要求1所述的智能称重装置，
其中识别反馈器包括搜索组件，被配置为用户使用商品名称首字母或者编码进行搜索，同时展示热搜候选商品，
其中识别反馈器包括筛选组件，被配置为根据商品识别结果，优先展示相同或相关类别的出清商品列表，
其中识别反馈器包括修改价格组件，被配置为接收长按候选商品信息的商品信息展示卡片或者卡片中的商品图标、名称的元素的交互动作，触发弹出价格修改标签，以便用户修改商品单价、总价、或者折扣系数；当选择商品为计件商品时，通过自动弹出窗口反馈商品数量。
7.根据权利要求6所述的智能称重装置，其中，当确认后的商品信息需要传递到收银POS系统时，确认后的商品信息通过有线或者无线的方式传输到POS系统，或当确认后的商品信息需要传递到价签打印机时，确认后的商品信息通过有线方式传输到价签打印机，或当确认后的商品信息需要反馈到建模平台时，通过有线或者无线网络的方式上传到云端的建模平台，
其中，当需要返回系统设置的界面时，通过屏幕从左往右，或者从上往下滑动的方式，返回系统设置的界面，
其中，所述智能称重装置不包括收银POS系统以作为一个完整的整体，与外部的收银POS系统连接；或所述智能称重装置包括收银POS系统；或所述智能称重装置包括价签打印机。
8.一种用于基于计算机视觉技术的智能称重装置的智能称重方法，包括：
利用系统配置组件设置所述智能称重装置的软件参数、硬件参数和商品信息；
利用称重平台放置要识别和称重的商品，感知重量和重量的变化，并获得所述商品的商品重量信息；
利用视觉传感器响应于第一触发器采集所述称重平台上放置的商品的视觉信息；
利用识别器响应于第二触发器来基于所述视觉信息、所述重量信息和识别模型，进行商品识别，且响应于第三触发器来终止商品识别以获得商品识别结果；其中所述第一触发器包括称重平台感知到重量发生变化且重量不为零时，以自动触发视觉传感器采集所述称重平台上放置的商品的视觉信息，所述第二触发器包括称重平台感知到重量发生变化且重量不为零时，以自动触发识别器进行商品识别，且所述第三触发器包括重量信号稳定，以将稳定的重量信号作为商品重量信息，用于计算商品总价且生成商品称重条码；所述识别模型被配置为利用基于深度学习的计算机视觉技术，结合商品重量信息，做条件过滤或者统计回归，来过滤掉重量大于商品最大重量或小于商品最小重量的候选识别结果，所述识别器被配置为利用在智能称重装置的上面的计算单元、临近的边缘计算单元、或者云端计算单元来完成商品识别的识别计算；
利用识别反馈器结合所述商品识别结果与商品信息，展示候选商品信息，并接收用户反馈，将所述用户反馈确认后的商品信息传输到价签打印机或者收银POS系统，并反馈到建模平台，其中所述价签打印机被配置为基于所述用户反馈来打印商品称重条码，所述收银POS系统被配置为根据所述用户反馈来生成商品的收银信息；所述识别反馈器展示候选商品信息时，被配置为采用基于识别置信度的自适应展示策略，其中，当商品识别结果的识别置信度高于预定置信度时，则只展示低于预定数量的具有高于预定置信度的商品识别结果作为候选商品信息，当商品识别结果的识别置信度低于预定置信度时，则增加展示商品识别结果的数量作为候选商品信息；所述识别反馈器接收用户反馈的交互行为包括点击确认、重新识别、搜索、筛选、修改价格、以及返回系统配置；用户反馈的交互行为包括在预定条件下，自动确认商品识别结果，用户反馈被自动传输到价签打印机或者收银POS系统，并反馈到建模平台，其中所述预定条件包括识别置信度超过自动发布阈值，或者用户反馈时间超过等待阈值；
利用建模平台基于采集的视觉信息、重量信息和使用中的用户反馈的数据训练识别模型；所述建模平台被配置为基于采集的视觉信息、重量信息和使用中的用户反馈的数据，采用基于深度学习的计算机视觉技术来训练识别模型，其中，商品重量信息被应用于设置重量过滤规则，以过滤掉重量大于商品最大重量或小于商品最小重量的商品识别结果，或者被应用于统计商品重量分布模型，以辅助商品识别；使用中的用户反馈的数据被应用于识别模型的持续迭代优化；训练的识别模型被下发到端、边缘计算、或者云计算平台；
利用商品信息同步组件更新商品信息，包括更新商品名称、货号、称码、价格、计价方式、示例图商品信息的一种或者多种；所述商品信息同步组件被配置为将更新的商品信息更新到智能称重装置内以支持候选商品信息的展示，其中所述商品信息同步组件，包含windows程序和手机客户端两种形式，通过数据库对接、上传文件、手工编辑的方式完成商品信息的更新，同时支持通过商户内网和外网两种连接方式，更新智能称重装置内的商品信息。
9.一种智能称重方法，包括如下步骤：
系统配置，设置软件参数、硬件参数和商品信息的系统配置；
传称同步，包含windows程序和手机客户端两种形式，通过数据库对接、上传文件、手工编辑方式完成商品信息变更；同时支持通过商户内网和外网两种连接方式，更新智能称重装置内的商品信息；将包括获取商品名称、货号、称码、价格、计价方式、示例图的商品信息的一种或者多种上传；
商品数据库更新，将上传的信息更新到数据库中；
信息采集，采集商品的视觉信息和重量信息；
结合商品的视觉信息、重量信息训练识别模型；
发布识别模型到识别服务中；
称重商品放置在称重平台上，称重以获得重量信息；称重平台感知到重量发生变化且重量不为零时，以自动触发视觉传感器采集所述称重平台上放置的商品的视觉信息；
采集商品的视觉信息；
利用识别服务中的识别模型识别商品种类；利用基于深度学习的计算机视觉技术，结合商品重量信息，做条件过滤或者统计回归，来过滤掉重量大于商品最大重量或小于商品最小重量的候选识别结果，利用在智能称重装置的上面的计算单元、临近的边缘计算单元、或者云端计算单元来完成商品识别的识别计算；
展示候选识别结果商品信息；展示候选商品信息时，采用基于识别置信度的自适应展示策略，其中，当商品识别结果的识别置信度高于预定置信度时，则只展示低于预定数量的具有高于预定置信度的商品识别结果作为候选商品信息，当商品识别结果的识别置信度低于预定置信度时，则增加展示商品识别结果的数量作为候选商品信息；
识别反馈，接收用户反馈信息，将确认结果传输到收银POS系统或者条码打印机，并更新到云端训练平台，支持模型的迭代更新；用户反馈的交互行为包括点击确认、重新识别、搜索、筛选、修改价格、以及返回系统配置；用户反馈的交互行为包括在预定条件下，自动确认商品识别结果，用户反馈被自动传输到价签打印机或者收银POS系统，并反馈到建模平台，其中所述预定条件包括识别置信度超过自动发布阈值，或者用户反馈时间超过等待阈值；基于采集的视觉信息、重量信息和使用中的用户反馈的数据，采用基于深度学习的计算机视觉技术来训练识别模型，使用中的用户反馈的数据被应用于识别模型的持续迭代优化；训练的识别模型被下发到端、边缘计算、或者云计算平台；
收银POS系统增加商品信息，或者条码打印机打印价签。
CN202011348099.6A 2020-11-26 2020-11-26 基于计算机视觉技术的智能称重装置与智能称重方法 Active CN112466068B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202110784719.9A CN114550385A (zh) 2020-11-26 2020-11-26 基于计算机视觉技术的智能称重装置与智能称重方法
CN202011348099.6A CN112466068B (zh) 2020-11-26 2020-11-26 基于计算机视觉技术的智能称重装置与智能称重方法
EP21896561.4A EP4239607A4 (en) 2020-11-26 2021-10-07 INTELLIGENT WEIGHING DEVICE BASED ON COMPUTER VISION TECHNOLOGY AND INTELLIGENT WEIGHING PROCESS
PCT/CN2021/122531 WO2022111059A1 (zh) 2020-11-26 2021-10-07 基于计算机视觉技术的智能称重装置与智能称重方法
US18/254,408 US20240020672A1 (en) 2020-11-26 2021-10-07 Intelligent weighing apparatus based on computer vision technology, and intelligent weighing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011348099.6A CN112466068B (zh) 2020-11-26 2020-11-26 基于计算机视觉技术的智能称重装置与智能称重方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110784719.9A Division CN114550385A (zh) 2020-11-26 2020-11-26 基于计算机视觉技术的智能称重装置与智能称重方法

Publications (2)

Publication Number Publication Date
CN112466068A CN112466068A (zh) 2021-03-09
CN112466068B true CN112466068B (zh) 2021-07-09

Family

ID=74808506

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110784719.9A Pending CN114550385A (zh) 2020-11-26 2020-11-26 基于计算机视觉技术的智能称重装置与智能称重方法
CN202011348099.6A Active CN112466068B (zh) 2020-11-26 2020-11-26 基于计算机视觉技术的智能称重装置与智能称重方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110784719.9A Pending CN114550385A (zh) 2020-11-26 2020-11-26 基于计算机视觉技术的智能称重装置与智能称重方法

Country Status (4)

Country Link
US (1) US20240020672A1 (zh)
EP (1) EP4239607A4 (zh)
CN (2) CN114550385A (zh)
WO (1) WO2022111059A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114550385A (zh) * 2020-11-26 2022-05-27 融讯伟业（北京）科技有限公司 基于计算机视觉技术的智能称重装置与智能称重方法
CN113624314B (zh) * 2021-07-06 2023-03-07 盒马(中国)有限公司 称重处理方法、装置及称重设备
CN113485993A (zh) * 2021-07-13 2021-10-08 浙江网商银行股份有限公司 数据识别方法以及装置
CN113269935B (zh) * 2021-07-16 2021-11-30 融讯伟业（北京）科技有限公司 一种基于无屏称重装置的视觉称重方法及称重系统
CN113903127A (zh) * 2021-09-30 2022-01-07 厦门顶尖电子有限公司 带多秤台的人工智能识别秤管理系统
CN114333183A (zh) * 2022-01-17 2022-04-12 上海岩伸信息科技有限公司 水产品识别检测智能销售系统一体机
CN114543962A (zh) * 2022-02-22 2022-05-27 深圳进化动力数码科技有限公司 一种智能识别非标商品的称重设备及其识别方法
CN115048355B (zh) * 2022-06-13 2023-06-06 烟台创迹软件有限公司 一种识别模型的更新方法、装置、设备及介质
CN117172666A (zh) * 2022-07-18 2023-12-05 融讯伟业（北京）科技有限公司 一种基于视觉识别的商品盘点方法及装置
CN116403339B (zh) * 2023-06-08 2023-08-11 美恒通智能电子(广州)股份有限公司 一种基于rfid标签识别的打印机智能管理系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017156140A (ja) * 2016-02-29 2017-09-07 東芝テック株式会社 計量システム
CN107679850A (zh) * 2017-09-15 2018-02-09 苏衍杰 一种商品结算方法、装置及系统
CN108303170A (zh) * 2018-02-01 2018-07-20 京东方科技集团股份有限公司 智能电子称的称重方法和智能电子称
CN108537994A (zh) * 2018-03-12 2018-09-14 深兰科技（上海）有限公司 基于视觉识别及重量感应技术的智能商品结算系统及方法
CN109118200A (zh) * 2018-07-26 2019-01-01 上海凯景信息技术有限公司 一种基于图像识别的商品识别与收银系统
CN110363185A (zh) * 2019-08-09 2019-10-22 融讯伟业（北京）科技有限公司 智能商品识别设备和方法、电子设备以及智能结算台
CN111814614A (zh) * 2020-06-28 2020-10-23 袁精侠 智能识物电子秤称重方法及系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5799593B2 (ja) * 2011-06-07 2015-10-28 株式会社寺岡精工 商品検索装置、商品情報処理装置及びラベル発行装置
JP6141208B2 (ja) * 2014-01-08 2017-06-07 東芝テック株式会社 情報処理装置及びプログラム
JP6193136B2 (ja) * 2014-01-21 2017-09-06 東芝テック株式会社 画像情報処理装置及びプログラム
US10282722B2 (en) * 2015-05-04 2019-05-07 Yi Sun Huang Machine learning system, method, and program product for point of sale systems
US9911290B1 (en) * 2015-07-25 2018-03-06 Gary M. Zalewski Wireless coded communication (WCC) devices for tracking retail interactions with goods and association to user accounts
CN108269369A (zh) * 2017-09-27 2018-07-10 中山市宾哥网络科技有限公司 结算箱及其结算方法
US20190236360A1 (en) * 2018-01-30 2019-08-01 Mashgin Inc. Feedback loop for image-based recognition
CN108550229A (zh) * 2018-04-08 2018-09-18 珠海博明视觉科技有限公司 一种人工智能自动收银方法
US20190333039A1 (en) * 2018-04-27 2019-10-31 Grabango Co. Produce and bulk good management within an automated shopping environment
JP2019200533A (ja) * 2018-05-15 2019-11-21 パナソニックＩｐマネジメント株式会社 計数装置、会計システム、学習装置、及び、制御方法
CN109147170A (zh) * 2018-07-26 2019-01-04 上海凯景信息技术有限公司 一种基于图像识别的无人售货柜
KR101960900B1 (ko) * 2018-10-12 2019-03-21 주식회사 에스피씨네트웍스 제품 식별 방법
CN111222870B (zh) * 2019-01-24 2024-02-27 图灵通诺（北京）科技有限公司 结算方法、装置和系统
CN111554057A (zh) * 2019-02-12 2020-08-18 株式会社石田 计量机
CN110987140A (zh) * 2019-11-28 2020-04-10 浙江由由科技有限公司 一种商品称重辅助设备及称重设备
CN110956459A (zh) * 2019-11-28 2020-04-03 浙江由由科技有限公司 一种商品处理方法及系统
CN114550385A (zh) * 2020-11-26 2022-05-27 融讯伟业（北京）科技有限公司 基于计算机视觉技术的智能称重装置与智能称重方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017156140A (ja) * 2016-02-29 2017-09-07 東芝テック株式会社 計量システム
CN107679850A (zh) * 2017-09-15 2018-02-09 苏衍杰 一种商品结算方法、装置及系统
CN108303170A (zh) * 2018-02-01 2018-07-20 京东方科技集团股份有限公司 智能电子称的称重方法和智能电子称
CN108537994A (zh) * 2018-03-12 2018-09-14 深兰科技（上海）有限公司 基于视觉识别及重量感应技术的智能商品结算系统及方法
CN109118200A (zh) * 2018-07-26 2019-01-01 上海凯景信息技术有限公司 一种基于图像识别的商品识别与收银系统
CN110363185A (zh) * 2019-08-09 2019-10-22 融讯伟业（北京）科技有限公司 智能商品识别设备和方法、电子设备以及智能结算台
CN111814614A (zh) * 2020-06-28 2020-10-23 袁精侠 智能识物电子秤称重方法及系统

Also Published As

Publication number Publication date
WO2022111059A1 (zh) 2022-06-02
CN112466068A (zh) 2021-03-09
EP4239607A1 (en) 2023-09-06
EP4239607A4 (en) 2024-03-06
CN114550385A (zh) 2022-05-27
US20240020672A1 (en) 2024-01-18

Similar Documents

Publication Publication Date Title
CN112466068B (zh) 基于计算机视觉技术的智能称重装置与智能称重方法
CN212675641U (zh) 基于计算机视觉技术的智能称重装置
JP6709320B2 (ja) 畳み込みニューラルネットワーク画像認識技術による会計方法及び会計設備
CN107103503B (zh) 一种订单信息确定方法和装置
CN107808469B (zh) 自助超市系统
JP2022043070A (ja) 無人販売システム
CN107767590A (zh) 物品自动识别商用条码电子秤及物品自动识别方法
CN109214806A (zh) 自助结算方法、装置以及存储介质
CN108230086A (zh) 一种商品售卖调整的系统、方法及存储介质
WO2017056429A1 (ja) 情報処理装置、情報処理方法、およびプログラムが格納された記録媒体
US10948338B2 (en) Digital product label generation using modular scale device
WO2017056436A1 (ja) 情報処理装置、情報処理方法、およびプログラムが格納された記録媒体
CN111080493B (zh) 一种菜品信息识别方法、装置及菜品自助结算系统
CN107293049A (zh) 一种商品自助销售方法及其装置
US20190066454A1 (en) Shopping assistance system
CN108960132B (zh) 一种开放式自动售货机中商品的购买方法及其装置
CN110782314B (zh) 一种基于边缘计算技术的新型散货零售平台
CN209216227U (zh) 智能结算台
CN110942293A (zh) 物品信息的处理方法、设备、存储介质及系统
CN110836717A (zh) 一种面向金融服务的果蔬智能识别和计价系统
CN110909698A (zh) 电子秤识别结果输出方法、系统、装置以及可读存储介质
CN113888254A (zh) 货架商品管理方法和电子设备
CN110119915A (zh) 对象入库处理方法、装置和系统
CN102298811A (zh) 一种手持终端
CN111222388B (zh) 基于视觉识别的结算方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220425

Address after: 1610, 16th floor, 101-2-16th floor, building 21, Rongda Road, Chaoyang District, Beijing 100012

Patentee after: Zhongguancun Technology Leasing Co.,Ltd.

Address before: 100086 no.2908, block a, No.2 Zhongguancun South Street, Haidian District, Beijing

Patentee before: RONGXUN WEIYE (BEIJING) TECHNOLOGY CO.,LTD.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220630

Address after: 100086 no.2908, block a, No.2 Zhongguancun South Street, Haidian District, Beijing

Patentee after: RONGXUN WEIYE (BEIJING) TECHNOLOGY CO.,LTD.

Address before: 1610, 16th floor, 101-2-16th floor, building 21, Rongda Road, Chaoyang District, Beijing 100012

Patentee before: Zhongguancun Technology Leasing Co.,Ltd.

TR01 Transfer of patent right