CN110197561A - 一种商品识别方法、装置及系统 - Google Patents

一种商品识别方法、装置及系统 Download PDF

Info

Publication number
CN110197561A
CN110197561A CN201910497432.0A CN201910497432A CN110197561A CN 110197561 A CN110197561 A CN 110197561A CN 201910497432 A CN201910497432 A CN 201910497432A CN 110197561 A CN110197561 A CN 110197561A
Authority
CN
China
Prior art keywords
commodity
commodities
grouping
weight
goods
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910497432.0A
Other languages
English (en)
Inventor
王洋
李骊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing HJIMI Technology Co Ltd
Original Assignee
Beijing HJIMI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing HJIMI Technology Co Ltd filed Critical Beijing HJIMI Technology Co Ltd
Priority to CN201910497432.0A priority Critical patent/CN110197561A/zh
Publication of CN110197561A publication Critical patent/CN110197561A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G19/00—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
    • G01G19/52—Weighing apparatus combined with other objects, e.g. furniture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures

Landscapes

  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种商品识别方法、装置及系统，具体为，实时监测每个货槽的重量变化，当某货槽重量发生变化时，从该货槽对应的重量检测装置中获取重量变化值。然后，获取该货槽对应的商品信息，即发生重量变化之前该货槽所承载的商品类别、数量以及每种商品的单个重量。再根据该货槽的商品信息以及重量变化值确定出导致该重量变化值的第一商品组合，从而获取导致货槽的重量发生变化的商品种类以及数量。即，本申请实施例提供的商品识别方法基于货槽重量的变化来确定，避免现有技术中RFID标签被遮挡导致识别精度低、丢货风险大的问题，降低商品成本，提高识别准确率。

Description

一种商品识别方法、装置及系统
技术领域
本申请涉及自动识别技术领域，具体涉及一种商品识别方法、装置及系统。
背景技术
随着电子支付技术、身份感知技术以及云计算计算的不断发展，无人零售在技术实现上具备很高的可行性。在无人零售项目中，急需解决的问题是如何准确判断用户从货架上取走商品的类别、数量以及商品的价格，以便实现自动为用户结算。
无人零售项目在最初阶段主要采用基于RFID标签的技术方案来解决上述问题。然而，基于RFID标签技术的方案存在以下几个问题，一是RFID标签造价成本较高，提升商品的成本；二是需要在大批量的商品上粘贴RFID标签且不容许粘贴出错，耗费大量人力；三是肯能会出现被遮挡、被去除的可能，导致RFID阅读器无法感知物品，导致丢货风险较大等问题。
发明内容
有鉴于此，本申请实施例提供一种商品识别方法、装置及系统，以解决商品关键信息被遮挡而引起识别精准度低、丢货风险较大的问题。
为解决上述问题，本申请实施例提供的技术方案如下：
在本申请实施例第一方面，提供了一种商品识别方法，所述商品位于货槽，所述货槽配置有对应的重量检测装置，所述方法包括：
针对任一所述货槽，从所述货槽对应的所述重量检测装置获取重量变化值；
获取所述货槽对应的商品信息；所述商品信息包括所述货槽所承载的商品类别、数量以及每种商品的单个重量；
根据所述重量变化值以及所述商品信息，确定所述重量变化值对应的第一商品组合；所述第一商品组合包括商品类别以及每种商品的数量。
在一种可能的实现方式中，当所述重量变化值对应的第一商品组合的数量大于1时，所述方法还包括：
获取至少一帧所述货槽的图像；所述图像为所述货槽的重量发生变化后的图像；所述图像包括所述货槽当前所承载的商品；
针对任一帧所述图像，将所述图像输入预先训练的商品识别模型，获取识别结果；所述识别结果中包括商品类别以及数量；
针对任一所述识别结果，根据所述商品信息以及所述识别结果，确定所述重量变化值对应的第二商品组合；所述第二商品组合包括商品类别以及每种商品的数量；
根据所述第一商品组合以及所述第二商品组合，确定所述重量变化值对应的最终商品组合。
在一种可能的实现方式中，当获取所述识别结果之后，根据所述商品信息以及所述识别结果确定所述重量变化值对应的第二商品组合之前，所述方法还包括：
根据所述商品信息判断所述识别结果是否可用；
如果是，则根据所述商品信息以及所述识别结果确定所述重量变化值对应的第二商品组合。
在一种可能的实现方式中，所述根据所述第一商品组合和所述第二商品组合，确定所述重量变化对应的最终商品组合，包括：
将每个所述第一商品组合与每个所述第二商品组合进行匹配，将匹配的所述第一商品组合与所述第二商品组合作为候选对；
针对任一所述候选对，根据所述候选对中所述第一商品组合对应的误差以及所述第二商品组合对应的分类置信度，确定所述候选对的可信度；
将所述可信度满足预设条件的所述候选对中的第一商品组合或第二商品组合确定为所述重量变化值对应的最终商品组合。
在一种可能的实现方式中，所述第一商品组合对应的误差的获取包括：
根据所述第一商品组合中的商品类别以及每种商品的数量，确定第一重量值；
根据所述重量变化值以及所述第一重量值，确定所述第一商品组合对应的误差。
在一种可能的实现方式中，所述识别结果中还包括每件商品的类别概率，所述第二商品组合对应的分类置信度的获取包括：
将所述识别结果中的各个所述商品的类别概率相加，将和值作为所述第二商品组合对应的分类置信度。
在一种可能的实现方式中，所述根据所述第一商品组合和所述第二商品组合，确定所述重量变化对应的最终商品组合，包括：
将各个所述第一商品组合进行合并，得到第一商品组合集合；
将所述第二商品组合中各个所述商品的类别概率分别与1相加，将和值除以2，获得每个所述商品的参照值；
将每个所述商品的参照值确定为所述第一商品组合集合中对应的各个所述商品的置信值；
根据所述第一商品组合集合中各个所述商品的置信值确定每个第一商品组合的可信度；
将满足预设条件的可信度对应的第一商品组合确定为最终商品组合。
在一种可能的实现方式中，所述方法还包括：
根据所述第一商品组合或所述最终商品组合，更新用户购物清单和/或所述货槽的所述商品信息。
在一种可能的实现方式中，所述商品识别模型的训练包括：
获取原始图像，所述原始图像至少包括一件商品；
获取所述原始图像中各个所述商品的位置信息以及各个所述商品的分类标签；
根据所述原始图像、所述原始图像中各个所述商品的位置信息以及各个所述商品的分类标签对初始深度学习模型进行训练，生成商品识别模型。
在一种可能的实现方式中，所述方法还包括：
根据所述重量变化值确定用户行为类别；所述用户行为类别包括拿取行为和放回行为；
当所述重量变化值小于零时，所述用户行为类别为拿取行为；
当所述重量变化值大于零时，所述用户行为类别为放回行为。
在本申请实施例第二方面，提供了一种商品识别装置，所述货品位于货槽，所述货槽配置有对应的重量检测装置，所述装置包括：
第一获取单元，用于针对任一所述货槽，从所述货槽对应的所述重量检测装置获取重量变化值；
第二获取单元，用于获取所述货槽对应的商品信息；所述商品信息包括所述货槽所承载的商品类别、数量以及每种商品的单个重量；
第一确定单元，用于根据所述重量变化值以及所述商品信息，确定所述重量变化值对应的第一商品组合；所述第一商品组合包括商品类别以及每种商品的数量。
在一种可能的实现方式中，当所述重量变化值对应的第一商品组合的数量大于1时，所述装置还包括：
第三获取单元，用于获取至少一帧所述货槽的图像；所述图像为所述货槽的重量发生变化后的图像；所述图像包括所述货槽当前所承载的商品；
第四获取单元，用于针对任一帧所述图像，将所述图像输入预先训练的商品识别模型，获取识别结果；所述识别结果中包括商品类别以及数量；
第二确定单元，用于针对任一所述识别结果，根据所述商品信息以及所述识别结果，确定所述重量变化值对应的第二商品组合；所述第二商品组合包括商品类别以及每种商品的数量；
第三确定单元，用于根据所述第一商品组合以及所述第二商品组合，确定所述重量变化值对应的最终商品组合。
在一种可能的实现方式中，所述装置还包括：
判断单元，用于在执行所述第二确定单元之前，根据所述商品信息判断所述识别结果是否可用；
所述第二确定单元，具体用于在所述判断单元的判断结果为所述识别结果可用时，根据所述商品信息以及所述识别结果确定所述重量变化值对应的第二商品组合。
在一种可能的实现方式中，所述第三确定单元，包括：
匹配子单元，用于将每个所述第一商品组合与每个所述第二商品组合进行匹配，将匹配的所述第一商品组合与所述第二商品组合作为候选对；
第一确定子单元，用于针对任一所述候选对，根据所述候选对中所述第一商品组合对应的误差以及所述第二商品组合对应的分类置信度，确定所述候选对的可信度；
第二确定子单元，用于将所述可信度满足预设条件的所述候选对中的第一商品组合或第二商品组合确定为所述重量变化值对应的最终商品组合。
在一种可能的实现方式中，所述第一商品组合对应的误差的获取包括：
根据所述第一商品组合中的商品类别以及每种商品的数量，确定第一重量值；
根据所述重量变化值以及所述第一重量值，确定所述第一商品组合对应的误差。
在一种可能的实现方式中，所述识别结果中还包括每件商品的类别概率，所述第二商品组合对应的分类置信度的获取包括：
将所述识别结果中的各个所述商品的类别概率相加，将和值作为所述第二商品组合对应的分类置信度。
在一种可能的实现方式中，所述第三确定单元，包括：
获取子单元，用于将各个所述第一商品组合进行合并，得到第一商品组合集合；
计算子单元，用于将所述第二商品组合中各个所述商品的类别概率分别与1相加，将和值除以2，获得每个所述商品的参照值；
第三确定子单元，用于将每个所述商品的参照值确定为所述第一商品组合集合中对应的各个所述商品的置信值；
第四确定子单元，用于根据所述第一商品组合集合中各个所述商品的置信值确定每个第一商品组合的可信度；
第五确定子单元，用于将满足预设条件的可信度对应的第一商品组合确定为最终商品组合。
在一种可能的实现方式中，所述装置还包括：
更新单元，用于根据所述第一商品组合或所述最终商品组合，更新用户购物清单和/或所述货槽的所述商品信息。
在一种可能的实现方式中，所述商品识别模型的训练包括：
获取原始图像，所述原始图像至少包括一件商品；
获取所述原始图像中各个所述商品的位置信息以及各个所述商品的分类标签；
根据所述原始图像、所述原始图像中各个所述商品的位置信息以及各个所述商品的分类标签对初始深度学习模型进行训练，生成商品识别模型。
在一种可能的实现方式中，所述装置还包括：
第四确定单元，用于根据所述重量变化值确定用户行为类别；所述用户行为类别包括拿取行为和放回行为；
当所述重量变化值小于零时，所述用户行为类别为拿取行为；
当所述重量变化值大于零时，所述用户行为类别为放回行为。
在本申请实施例第三方面，提供了一种商品识别系统，所述系统包括：商品识别装置和重量检测装置；
所述重量检测装置，用于检测货槽中商品的重量变化；
所述商品识别装置，用于执行第一方面所述的商品识别方法。
由此可见，本申请实施例具有如下有益效果：
本申请实施例商品识别系统实时监测每个货槽的重量变化，当某货槽重量发生变化时，从该货槽对应的重量检测装置中获取重量变化值。然后，获取该货槽对应的商品信息，即发生重量变化之前该货槽所承载的商品类别、数量以及每种商品的单个重量。再根据该货槽的商品信息以及重量变化值确定出导致该重量变化值的第一商品组合，从而获取导致货槽的重量发生变化的商品种类以及数量。即，本申请实施例提供的商品识别方法基于货槽重量的变化来确定，避免现有技术中RFID标签被遮挡导致识别精度低、丢货风险大的问题，降低商品成本，提高识别准确率。
附图说明
图1为本申请实施例提供的一种应用场景示例图；
图2为本申请实施例提供的一种商品识别方法的流程图；
图3为本身实施例提供的另一种商品识别方法的流程图；
图4为本申请实施例提供的一种确定最终商品组合方法的流程图；
图5为本申请实施例提供的另一种确定最终商品组合方法的流程图；
图6为本申请实施例提供的一种商品识别装置结构图；
图7为本申请实施例提供的一种商品识别系统结构图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请实施例作进一步详细的说明。
发明人在对传统的商品识别方法研究中发现，传统的商品识别主要基于RFID标签，具体为在每个商品设置RFID标签，在门禁前方设置一定结算区域并安装RFID读写器。顾客进入购物区后，先在货架上随意选购商品并放置在购物篮中，当选购结束后进入结算区域，此时RFID读写器读取购物篮中所有商品上的RFID标签信息，获取顾客的详细购物清单发送至后台结算系统，结算系统根据清单生成具体购物账单至顾客手机，当账单支付完成后门禁打开让顾客出店。然而，粘贴RFID标签成本较高，且容易被屏蔽和去除，增加货品丢失的风险，导致在结算时，无法准确识别用户拿取的商品。
基于此，本申请实施例提供了一种商品识别方法，具体为，在承载商品的货槽下安装重量检测装置，当有用户从货槽拿取或放回商品时，从货槽对应的重量检测装置获取重量变化值。并获取该货槽对应的商品信息，即发生重量变化之前该货槽所承载的商品类别、数量以及每种商品的单个重量。然后，根据重量变化值以及商品信息，确定导致该重量变化值的第一商品组合，即确定被拿取或放回的商品种类以及每种商品的数量。即，本申请实施例基于货槽的前后重量差值以及重量变化之前货槽所包括的商品种类、数量以及单个重量确定重量变化所对应的商品类别以及数量，无需获取商品的RFID标签，提高识别精准度，降低丢货风险。
为便于理解本申请实施例提供的方案，参见图1所示的一种应用场景示例图，本实施例提供的方法可以应用于封闭的空间，该空间内设置有若干个货架，每个货架分若干层，每层包括若干个货槽，每个货槽下方可以安装有一个重力感应器，以感应该货槽重量的变化。同时，每个货槽可以对应一个摄像头，或者每相邻两个货槽对应一个摄像头。
在利用本实施例提供的方法之前需要进行初始化操作，对货架、货架中的每个货槽、每个货槽对应的重力传感器以及摄像头分别进行编号，以及初始化当前时刻每个货槽所包括的商品类别、数量以及每种商品的单体重量。其中，货槽编号与重力传感器编号可以相同。
在实际应用时，对于第一次在无人零售商店购物的用户，可以通过下载相应的客户端进行人脸注册以及支付设置。后续进店购物时，可以直接刷脸进店，商店的监测装置通过人脸识别获取该用户的相关信息，同时对于该用户的运动轨迹进行跟踪，利用轨迹信息及相关技术判断用户行为并获取用户拿放商品的种类和数量，生成该用户的购物清单。当走入结算区时，根据购物清单生成账单以供用户结算。
其中，获取用户拿取或放回商品的种类及数量即可以通过本实施例提供的商品识别方法实现。
参见图2，该图为本申请实施例提供的一种商品识别方法的流程图，所述商品位于货槽，所述货槽配置有对应的重量检测装置，如图2所示，该方法包括：
S201：针对任一货槽，从货槽对应的所述重量检测装置获取重量变化值。
本实施例中，商品识别系统可以实时监测各个货槽的重量变化，当监测到货槽的重量发生变化时，从该货槽对应的重量检测装置获取重量变化值。
其中，货槽的重量发生变化可以包括货槽内的商品被拿取导致重量发生变化，或者商品被放入货槽内导致重量发生变化。在实际应用时，可以根据重量变化值确定用户行为类别，该用户行为类别可以包括拿取行为和放回行为。当重量变化值为货槽重量发生变化后的重量减去货槽重量发生变化前的重量差时，可以根据重量变化值的符号确定具体的用户行为类别。当重量变化值小于零时，表明货槽当前重量小于上一时刻重量，有商品被拿取，则用户行为类别为拿取行为。当重量变化值大于零时，表明货槽当前重量大于上一时刻重量，有商品被放回，则用户行为类别为放回行为。
S202：获取货槽对应的商品信息；商品信息包括货槽所承载的商品类别、数量以及每种商品的单个重量。
本实施例中，当确定某货槽的重量变化值后，获取该货槽所对应的商品信息，该商品信息包括所承载的商品类别、数量以及每种商品的单个重量，且该商品信息为该货槽在重量发生变化之前所对应的商品详细信息。例如，该货槽包括3个商品A和2个商品B，其中商品A的单体重量为a，商品B的单体重量为b。
在实际应用时，商品识别系统在获取重量变化值时，同时获取发送该重量变化值的重量检测装置的标识，即编号。由于货槽与重量检测装置一一对应，即重量检测装置的标识为货槽的标识，即商品识别系统可以根据货槽的标识获取该货槽所对应的商品信息。
S203：根据重量变化值以及商品信息，确定重量变化值对应的第一商品组合。
本实施例中，当获取该货槽的重量变化值以及商品信息后，根据重量变化值以及商品信息，确定该重量变化值对应的第一商品组合，该第一商品组合包括商品类别以及每种商品的数量。即确定用户拿取或放回的商品类别以及数量。
在具体实现时，由于已知该货槽中每种商品的数量以及每种商品单体重量，以及重量变化值，则可以通过建立多元一次方程进行求解，获得该重量变化值对应的第一商品组合。在实际应用时，可以通过公式(1)获得：
|dw|＝mi*wA+ni*wB+ki*wC+...+hi*wX+|errori| (1)
其中，dw为重量变化值，wA为商品A的单个重量，wB为商品B的单个重量，wC为商品C的单个重量，wX为商品X的单个重量。mi为第i个第一商品组合中商品A的个数，ni为第i个第一商品组合中商品B的个数，ki为第i个商品组合中商品C的个数，hi为第i个第一商品组合中商品X的个数，errori表示第i个第一商品组合所对应的误差值。
通过上述描述可知，dw可以为正值，也可以为负值。同理，errori也可以为正值或负值。当确定出的第一商品组合中各个商品的重量大于重量变化值时，errori小于零；当确定出的第一商品组合中的各个商品的重量小于重量变化值时，errori大于零。在利用公式(1)确定第一商品组合时，利用dw和error的绝对值进行计算。
可以理解的是，在利用公式(1)获得第一商品组合时，第一商品组合中每种商品的数量不大于货槽所对应的商品信息中的每种商品的数量。例如，货槽所对应的商品信息中包括2个商品A、2个商品B和1个商品C，其中，商品A的单体重量为500g，商品B的单体重量为490g，商品C的单体重量为470。假设，重量变化值为990g，则通过公式(1)获得第一商品组合为1个商品A和1个商品B，error为0；对于第一商品组合为1个商品B和1个商品C，对应的error为30g；对于第一商品组合为1个商品A和1个商品C，对应的error为20g；对于第一商品组合为2个商品A时，对应的error为-10g。
在实际应用时，当确定出重量变化值对应的第一商品组合后，如果仅存在一个第一商品组合时，可以根据第一商品组合更新用户购物清单和/或货槽的商品信息。即，如果为拿取行为时，在用户的购物清单中添加拿取商品的种类以及数量，更改货槽对应的商品信息。如果为放回行为时，从购物清单中删除放回的商品种类以及数量，以及更改货槽对应的商品信息。
通过本申请实施例商品识别系统实时监测每个货槽的重量变化，当某货槽重量发生变化时，从该货槽对应的重量检测装置中获取重量变化值。然后，获取该货槽对应的商品信息，即发生重量变化之前该货槽所承载的商品类别、数量以及每种商品的单个重量。再根据该货槽的商品信息以及重量变化值确定出导致该重量变化值的第一商品组合，从而获取导致货槽的重量发生变化的商品种类以及数量。即，本申请实施例提供的商品识别方法基于货槽重量的变化来确定，避免现有技术中RFID标签被遮挡导致识别精度低、丢货风险大的问题，降低商品成本，提高识别准确率。
可以理解的是，在根据重量变化值以及商品信息确定该重量变化值对应的第一商品组合时，可能会存在确定出多组第一商品组合，即存在多种求解结果。为保证可以准确识别出用户拿取或放回的商品种类和数量，将进一步结合图像识别方法进行确认，为便于理解，下面将结合附图对基于重力和视觉的商品识别方法进行说明。
参见图3，该图为本申请实施例提供的另一种商品识别方法的流程图，如图3所示，该方法可以包括：
S301：获取至少一帧货槽的图像。
本实施例中，当商品识别系统确定出多个第一商品组合，可以从该货槽对应的摄像装置获取至少一帧货槽的图像。该图像为货槽的重量发生变化后的图像，且图像包括货槽当前所承载的商品。
在具体实现时，商品识别系统已获知发生重量变化值的货槽编号，则可以根据货槽的标识确定该货槽对应的摄像装置，从该摄像装置获取至少一帧图像。即如果货槽与摄像装置一一对应，则货槽编号与摄像装置编号相同，则商品识别系统通过摄像装置编号触发该摄像装置编号对应的摄像装置拍摄重量发生变化后的货槽的图像。如果每相邻两个货槽对应一个摄像装置，则可以根据货槽编号获取其对应的摄像装置的编号，然后在根据摄像装置编号触发对应的摄像装置拍摄重量发生变化后的货槽的图像。例如，第k个货槽的重量发生变化，则第k个货槽对应的拍摄装置的编号为[k/2]([]表示向下取整)，进而触发第[k/2]个摄像装置抓取重量发生变化后的第k个货槽的图像。
需要说明的是，当通过基于重量变化确定出多个第一商品组合时，为减少后续计算量，可以先从多个第一商品组合中筛选出较为准确的第一商品组合，具体为，将误差值大于预设阈值的第一商品组合剔除，利用剩下的第一商品组合进行后续计算。
S302：针对任一帧图像，将图像输入预先训练的商品识别模型，获取识别结果，该识别结果中包括商品类别以及数量。
本实施例中，当获取货槽在发生重量变化后的图像后，针对每一帧图像，将图像输入预先训练的商品识别模型中，从而获取每帧图像对应的识别结果。其中，识别结果可以包括商品种类、数量以及商品类别概率。
可以理解的是，商品识别模型在根据输入图像进行商品识别时，其输出的识别结果为图像中某一物体为商品A或商品B的概率，即类别概率，该类别概率为物体对应的概率最大的类别概率。例如，商品识别模型识别出物体1为商品A的概率为0.7，为商品B的概率为0.3，则类别概率为0.7。当图像中包括多个物体时，商品识别模型可以根据针对每个物体输出该物体的类别概率，从而可以从识别结果中获取商品种类、数量以及类别概率。例如，则识别结果为物体1为商品A的概率为0.91、物体2为商品B的概率为0.85、物体3为商品C的概率为0.86、物体4为商品A的概率为0.89，从而可以获得该图像可能包括2个商品A、1个商品B和1个商品C。
需要说明的是，其中关于商品识别模型的训练过程将在后续实施例进行说明。
S303：针对任一识别结果，根据商品信息以及识别结果，确定重量变化值对应的第二商品组合，该第二商品组合包括商品类别以及每种商品的数量。
本实施例中，当针对每一帧图像获取该帧图像对应的识别结果后，根据商品信息以及识别结果，确定重量变化值对应的第二商品组合，该第二商品组合包括商品类别以及每种商品的数量。
可以理解的是，商品信息为货槽在发生重量变化前所承载的商品种类以及每种商品数量，而识别结果所包括的商品种类以及商品数量是该货槽发生重量变化后所承载的商品种类以及商品数量，二者相结合可以获得导致货槽发生重量变化的被拿取或放回的商品种类以及数量，即第二商品组合。需要说明的是，当获取多帧图像时，针对每一帧图像均对应一个第二商品组合。
在具体实现时，为保证商品识别模型所输出的识别结果的合理性，在根据商品信息以及识别结果确定第二商品组合之前，还可以对每个识别结果的合理性进行判断，以剔除不合理的识别结果。具体为，根据商品信息判断识别结果是否可用，如果可用，则根据商品信息以及识别结果确定重量变化值对应的第二商品组合。即，确定识别结果中的商品类别以及数量是否超出商品信息中所包括的商品类别以及数量，如果是，则判断该识别结果不合理，剔除该识别结果；否则，确定该识别结果合理。例如，商品信息中包括3个A和3个B，拿取1个A后识别结果为2个A和3个B，则该识别结果合理；如果识别结果为1个A和4个B，则该识别结果不合理剔除。
针对每帧图像的识别结果，均可以通过上述方法进行合理性判断，从而获取所有合理的识别结果，进而根据商品信息以及每个合理的识别结果，确定第二商品组合。
另外，为进一步确保识别结果的合理性，还可以在上述合理性判断的基础上，将第一商品组合也作为先验知识来确定识别结果的合理性，从而进一步确定识别结果的合理性。
S304：根据第一商品组合以及第二商品组合，确定重量变化值对应的最终商品组合。
本实施例中，当通过图像识别获取导致重量变化的第二商品组合后，根据第一商品组合以及第二商品组合，确定重量变化值对应的最终商品组合，即确定用户具体拿取或放回的商品种类以及数量。其中，关于根据第一商品组合和第二商品组合确定最终商品组合的具体实现将在后续实施例进行说明。
在本申请实施例一种可能的实现，当确定出准确的最终商品组合后，可以根据最终商品组合，更新用户购物清单和/或货槽的商品信息。即，如果为拿取行为时，在用户的购物清单中添加拿取商品的种类以及数量，更改货槽对应的商品信息。如果为放回行为时，从购物清单中删除放回的商品种类以及数量，更改货槽对应的商品信息。
通过上述描述可知，本实施将重力和图像识别相结合，即根据第一商品组合和第二商品组合共同确定最终商品组合，以准确确定用户拿取或放回商品种类以及数量，从而有效提高商品识别精度。
在具体实现过程中，本实例提供了两种根据第一商品组合和第二商品组合确定最终商品组合的实现方式，下面将结合附图对该实现方式进行说明。
参见图4，该图为本申请实施例提供的一种确定最终商品组合方法的流程图，如图4所示，该方法可以包括：
S401：将每个第一商品组合与每个第二商品组合进行匹配，将匹配的第一商品组合与第二商品组合作为候选对。
本实施例中，针对获取的多个第一商品组合中的每个第一商品组合，以及多个第二商品组合中的每个第一商品组合进行匹配，将匹配的第一商品组合和第二商品组合作为候选对。即将第一商品组合中的商品种类以及数量与第二商品组合中商品种类以及每种商品的数量进行匹配，如果两个商品组合中的商品列表一致，则表明二者匹配，将该两个商品组合确定为候选对。
可以理解的是，针对每个第一商品组合和每个第二商品组合均进行上述匹配，从而可以获取多个候选对。
S402：针对任一候选对，根据候选对中第一商品组合对应的误差以及第二商品组合对应的分类置信度，确定候选对的可信度。
本实施例中，针对每一个候选对，根据该候选对中第一商品组合对应的误差以及第二商品组合对应的分类置信度，确定该候选对的可信度。
在具体实现时，可以通过公式(2)计算获得候选对的可信度：
P＝C-error (2)
其中，P为候选对的可信度，C为第二商品组合的分类置信度，error为第二商品组合的误差。分类置信度p越大，则表示该结果的可信度越高，而误差error越小则表示第一商品组合的误差越小，当C越大，error越小时P取值越大，该候选对越准确。
在实际应用时，还可以分别为第一商品组合和第二商品组合分配权重，利用加权后的第一商品组合的误差以及加权后的第二商品组合的分类置信度确定候选对的可信度。
其中，第一商品组合对应的误差可以根据第一商品组合中的商品类别、每种商品的数量，以及商品的单体重量获得，具体为，根据第一商品组合中的商品类别以及每种商品的数量，确定第一重量值；根据重量变化值以及第一重量值确定第一商品组合对应的误差。即，根据第一商品组合中的商品类别以及每种商品的数量，确定第一商品组合对应的第一重量值。再根据实际重量变化值以及第一重量值确定二者之间的误差，将该误差确定为第一商品组合的误差。
例如，第一商品组合中包括1个商品A和1个商品B，其中，商品A的单体重量为490g，商品B的单体重量为480。重量变化值为975，则第一商品组合对应的误差为5。
其中，第二商品组合对应的分类置信度可以根据识别结果所包括的每件商品的类别概率确定，具体为，将所述识别结果中的各个商品的类别概率相加，将和值作为第二商品组合对应的分类置信度。即一帧图像所对应的识别结果中各个物体所对应的类别概率之和作为第二商品组合对应的分类置信度。例如，识别结果为物体1为商品A的类别概率为0.936、物体2为商品B的类别概率为0.976，物体3为商品B的概率为0.897，则该第二商品分组合的类置信度C＝0.936+0.976+0.897＝2.809。
S403：将可信度满足预设条件的候选对中的第一商品组合或第二商品组合确定为重量变化值对应的最终商品组合。
本实施例中，当确定出每个候选对的可信度后，将可信度满足预设条件的候选对中的第一商品组合或第二商品组合确定为重量变化值对应的最终商品组合。其中，预设条件可以根据实际情况进行设置，例如，将可信度最大的候选对中的第一商品组合或第二商品组合确定为重量变化值对应的最终商品组合。
由于候选对中第一商品组合和第二商品组合匹配，因此，当候选对的可信度满足预设条件时，可以将第一商品组合或第二商品组合作为最终商品组合，即用户拿取或放回的商品类别以及数量。
通过上述可知，可以根据基于重量获取的第一商品组合的误差以及基于图像识别的第二商品组合的分类置信度确定每个候选对的可信度，进而将可信度满足预设条件的候选对中的第一商品组合或第二商品组合确定为最终商品组合。
参见图5，该图为本申请实施例提供的另一种确定最终商品组合方法的流程图，如图5所示，该方法可以包括：
S501：将各个第一商品组合进行合并，得到第一商品组合集合。
本实施例中，当通过重量变化确定出多种第一商品组合后，将各个第一商品组合进行合并，得到第一商品组合集合。该第一商品组合集合中各个所有第一商品组合中各个商品类别。例如，第1个第一商品组合为{A、B、C}、第2个第一商品组合为{A、B、D}，则第一商品组合集合为{A、B、C、D}。
S502：将第二商品组合中各个商品的类别概率分别与1相加，将和值除以2，获得每个商品的参照值。
本实施例中，根据第二商品组合中各个商品的类别概率计算各个商品的参照值，具体为，将每个商品的类别概率与1相加，再除以2得到该商品的参照值。例如，第二商品组合中各个商品的类别概率分别为classA＝0.9，classB＝0.84，classC＝0.7，则商品A的参照值为(1+0.9)/2＝0.95，商品B的参照值(1+0.84)/2＝0.92，商品C的参照值(1+0.7)/2＝0.85。
在具体实现时，当某一商品出现在第一商品组合集合中，而未出现在第二商品组合中时，将该商品的类别概率初始为0，再与1相加，将其和值除以2得到该商品的参照值。例如，第二商品组合中未包括商品D，则商品D的参照值为(1+0)/2＝0.5。
另外，当存在多个第二商品组合时，针对同一商品，将多个第二商品组合中对应最高的类别概率为该商品的类别概率，以利用该类别概率计算该商品的参照值。例如，第1个第二商品组合中商品A的类别概率为0.7，第2个第二商品组合中商品A的类别概率为0.8，第3个第二商品组合中商品A的类别概率为0.9，则在计算商品A的参照值时，利用类别概率0.9进行计算。
S503：将每个商品的参照值确定为第一商品组合集合中对应的各个商品的置信值。
本实施例中，当确定出每个商品的参照值后，将商品的参照值确定为第一商品组合集合中对应的各个商品的置信值。
在实际应用时，当获得第一商品组合集合后，可以先对第一商品组合集合中各个商品的置信值进行初始化，将每个商品的置信值初始为0。当通过S502确定出每个商品的参照值后，利用该参照值对第一商品组合集合中各个商品的置信值进行更新，从而获得每个商品的置信值。例如，初始化的第一商品组合集合中{CA＝0、CB＝0、CC＝0、CD＝0}，在更新后，第一商品组合集合中{CA＝0.95、CB＝0.92、CC＝0.85、CD＝0.5}。
S504：根据第一商品组合集合中各个商品的置信值确定每个第一商品组合的可信度。
本实施例中，当确定出第一商品组合集合中各个商品的置信值后，根据各个商品的置信值确定每个第一商品组合的可信度。
在具体实现时，可以将第一商品组合中所包括的各个商品对应的置信值相加作为该第一商品组合的可信度，例如，第1个第一商品组合的可信度，P1＝0.95+0.92+0.85；第2个第一商品组合可信度P2＝0.95+0.92+0.5。第也可以将第一商品组合中所包括的各个商品对应的置信值相乘作为第一商品组合的可信度，例如，第1个第一商品组合的可信度，P1＝0.95*0.92*0.85；第2个第一商品组合可信度P2＝0.95*0.92*0.5。
需要说明的是，在实际应用时，可以根据实际应用情况选择不同的计算方式，本实施例在此不做限定。
S505：将满足预设条件的可信度对应的第一商品组合确定为最终商品组合。
本实施例中，当确定出每个第一商品组合对应的可信度后，将可信度满足预设条件的的第一商品组合确定为重量变化值对应的最终商品组合。其中，预设条件可以根据实际情况进行设置，例如，将可信度最大的第一商品组合确定为重量变化值对应的最终商品组合。
在本申请实施例一种可能的实现方式中，提供了一种商品识别模型的训练过程，具体可以包括以下步骤：
1)获取原始图像，所述原始图像至少包括一件商品。
本实施例中，可以获取原始图像，将其作为训练图像。其中，每张原始图像包括至少一件商品。在具体实现时，可以获取大量的原始图像，以通过大量的原始图像可以包括所有需识别的商品。
2)获取原始图像中各个商品的位置信息以及各个商品的分类标签。
本实施例中，当获取原始图像后，可以将提取原始图像中各个商品的位置信息以及各个商品的分类标签。其中，各个商品的位置信息是指该商品在图像中的位置信息，该位置信息可以通过矩形方框体现。在具体实现时，该位置信息可以通过(x,y,w,h)标识，其中，x和y标识该矩形方框左上角顶点坐标，w标识矩形方框的宽、h标识矩形方框的高。
3)根据原始图像、原始图像中各个商品的位置信息以及各个商品的分类标签对初始深度学习模型进行训练，生成商品识别模型。
本实施例中，将获取的原始图像、原始图像中各个商品的位置信息以及各个商品的分类标签作为训练数据，利用训练数据对初始深度学习模型进行训练，以生成商品识别模型。其中，初始深度学习模型可以为Yolov3-tiny模型，由于Yolov3-tiny模型运行速率快，可以提供图像识别的效率，不仅可以见过识别率，还可以具有较强的实时性，以便可以对当前货槽的图像进行快速识别。
在实际应用时，当获取货槽当前图像时，将该图像输入商品识别模型，该商品识别模型可以识别图像中每件商品的类别，并输出每件商品的位置信息，从而可以根据商品的位置信息获取每类商品的数量。如表1所示：
表1商品识别结果
通过表1可知，该图像包括2件商品A、1件商品B和1件商品C，其中第一位置处的商品为商品A的类别概率为0.95，第二位置处的商品为商品A的概率为0.90，第三位置处的商品为商品B的概率为0.89，第四位置处的商品为商品C的概率为0.88。
基于上述方法实施例，本申请提供了一种商品识别装置，参见图6，该图为本申请实施例提供的一种商品识别装置的结构图，如图6所示，该装置可以包括：
第一获取单元601，用于针对任一所述货槽，从所述货槽对应的所述重量检测装置获取重量变化值；
第二获取单元602，用于获取所述货槽对应的商品信息；所述商品信息包括所述货槽所承载的商品类别、数量以及每种商品的单个重量；
第一确定单元603，用于根据所述重量变化值以及所述商品信息，确定所述重量变化值对应的第一商品组合；所述第一商品组合包括商品类别以及每种商品的数量。
在一种可能的实现方式中，当所述重量变化值对应的第一商品组合的数量大于1时，所述装置还包括：
第三获取单元，用于获取至少一帧所述货槽的图像；所述图像为所述货槽的重量发生变化后的图像；所述图像包括所述货槽当前所承载的商品；
第四获取单元，用于针对任一帧所述图像，将所述图像输入预先训练的商品识别模型，获取识别结果；所述识别结果中包括商品类别以及数量；
第二确定单元，用于针对任一所述识别结果，根据所述商品信息以及所述识别结果，确定所述重量变化值对应的第二商品组合；所述第二商品组合包括商品类别以及每种商品的数量；
第三确定单元，用于根据所述第一商品组合以及所述第二商品组合，确定所述重量变化值对应的最终商品组合。
在一种可能的实现方式中，所述装置还包括：
判断单元，用于在执行所述第二确定单元之前，根据所述商品信息判断所述识别结果是否可用；
所述第二确定单元，具体用于在所述判断单元的判断结果为所述识别结果可用时，根据所述商品信息以及所述识别结果确定所述重量变化值对应的第二商品组合。
在一种可能的实现方式中，所述第三确定单元，包括：
匹配子单元，用于将每个所述第一商品组合与每个所述第二商品组合进行匹配，将匹配的所述第一商品组合与所述第二商品组合作为候选对；
第一确定子单元，用于针对任一所述候选对，根据所述候选对中所述第一商品组合对应的误差以及所述第二商品组合对应的分类置信度，确定所述候选对的可信度；
第二确定子单元，用于将所述可信度满足预设条件的所述候选对中的第一商品组合或第二商品组合确定为所述重量变化值对应的最终商品组合。
在一种可能的实现方式中，所述第一商品组合对应的误差的获取包括：
根据所述第一商品组合中的商品类别以及每种商品的数量，确定第一重量值；
根据所述重量变化值以及所述第一重量值，确定所述第一商品组合对应的误差。
在一种可能的实现方式中，所述识别结果中还包括每件商品的类别概率，所述第二商品组合对应的分类置信度的获取包括：
将所述识别结果中的各个所述商品的类别概率相加，将和值作为所述第二商品组合对应的分类置信度。
在一种可能的实现方式中，所述第三确定单元，包括：
获取子单元，用于将各个所述第一商品组合进行合并，得到第一商品组合集合；
计算子单元，用于将所述第二商品组合中各个所述商品的类别概率分别与1相加，将和值除以2，获得每个所述商品的参照值；
第三确定子单元，用于将每个所述商品的参照值确定为所述第一商品组合集合中对应的各个所述商品的置信值；
第四确定子单元，用于根据所述第一商品组合集合中各个所述商品的置信值确定每个第一商品组合的可信度；
第五确定子单元，用于将满足预设条件的可信度对应的第一商品组合确定为最终商品组合。
在一种可能的实现方式中，所述装置还包括：
更新单元，用于根据所述第一商品组合或所述最终商品组合，更新用户购物清单和/或所述货槽的所述商品信息。
在一种可能的实现方式中，所述商品识别模型的训练包括：
获取原始图像，所述原始图像至少包括一件商品；
获取所述原始图像中各个所述商品的位置信息以及各个所述商品的分类标签；
根据所述原始图像、所述原始图像中各个所述商品的位置信息以及各个所述商品的分类标签对初始深度学习模型进行训练，生成商品识别模型。
在一种可能的实现方式中，所述装置还包括：
第四确定单元，用于根据所述重量变化值确定用户行为类别；所述用户行为类别包括拿取行为和放回行为；
当所述重量变化值小于零时，所述用户行为类别为拿取行为；
当所述重量变化值大于零时，所述用户行为类别为放回行为。
需要说明的是，本实施例中各个单元的实现可以参见上述方法实施例，本实施例在此不再赘述。
参见图7，该图为本申请实施例提供的一种商品识别系统，如图7所示，该系统可以包括：重量检测装置701和商品识别装置702；
所述重量检测装置701，用于检测货槽中商品的重量变化；
所述商品识别装置702，用于执行所述的商品识别方法；
在一种可能的实现方式中，所述商品识别系统还可以包括：摄像头703，用于拍摄货槽的图像。
需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统或装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (12)

1.一种商品识别方法，其特征在于，所述商品位于货槽，所述货槽配置有对应的重量检测装置，所述方法包括：
针对任一所述货槽，从所述货槽对应的所述重量检测装置获取重量变化值；
获取所述货槽对应的商品信息；所述商品信息包括所述货槽所承载的商品类别、数量以及每种商品的单个重量；
根据所述重量变化值以及所述商品信息，确定所述重量变化值对应的第一商品组合；所述第一商品组合包括商品类别以及每种商品的数量。
2.根据权利要求1所述的方法，其特征在于，当所述重量变化值对应的第一商品组合的数量大于1时，所述方法还包括：
获取至少一帧所述货槽的图像；所述图像为所述货槽的重量发生变化后的图像；所述图像包括所述货槽当前所承载的商品；
针对任一帧所述图像，将所述图像输入预先训练的商品识别模型，获取识别结果；所述识别结果中包括商品类别以及数量；
针对任一所述识别结果，根据所述商品信息以及所述识别结果，确定所述重量变化值对应的第二商品组合；所述第二商品组合包括商品类别以及每种商品的数量；
根据所述第一商品组合以及所述第二商品组合，确定所述重量变化值对应的最终商品组合。
3.根据权利要求2所述的方法，其特征在于，当获取所述识别结果之后，根据所述商品信息以及所述识别结果确定所述重量变化值对应的第二商品组合之前，所述方法还包括：
根据所述商品信息判断所述识别结果是否可用；
如果是，则根据所述商品信息以及所述识别结果确定所述重量变化值对应的第二商品组合。
4.根据权利要求2或3所述的方法，其特征在于，所述根据所述第一商品组合和所述第二商品组合，确定所述重量变化对应的最终商品组合，包括：
将每个所述第一商品组合与每个所述第二商品组合进行匹配，将匹配的所述第一商品组合与所述第二商品组合作为候选对；
针对任一所述候选对，根据所述候选对中所述第一商品组合对应的误差以及所述第二商品组合对应的分类置信度，确定所述候选对的可信度；
将所述可信度满足预设条件的所述候选对中的第一商品组合或第二商品组合确定为所述重量变化值对应的最终商品组合。
5.根据权利要求4所述的方法，其特征在于，所述第一商品组合对应的误差的获取包括：
根据所述第一商品组合中的商品类别以及每种商品的数量，确定第一重量值；
根据所述重量变化值以及所述第一重量值，确定所述第一商品组合对应的误差。
6.根据权利要求4所述的方法，其特征在于，所述识别结果中还包括每件商品的类别概率，所述第二商品组合对应的分类置信度的获取包括：
将所述识别结果中的各个所述商品的类别概率相加，将和值作为所述第二商品组合对应的分类置信度。
7.根据权利要求2或3所述的方法，其特征在于，所述根据所述第一商品组合和所述第二商品组合，确定所述重量变化对应的最终商品组合，包括：
将各个所述第一商品组合进行合并，得到第一商品组合集合；
将所述第二商品组合中各个所述商品的类别概率分别与1相加，将和值除以2，获得每个所述商品的参照值；
将每个所述商品的参照值确定为所述第一商品组合集合中对应的各个所述商品的置信值；
根据所述第一商品组合集合中各个所述商品的置信值确定每个第一商品组合的可信度；
将满足预设条件的可信度对应的第一商品组合确定为最终商品组合。
8.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
根据所述第一商品组合或所述最终商品组合，更新用户购物清单和/或所述货槽的所述商品信息。
9.根据权利要求2所述的方法，其特征在于，所述商品识别模型的训练包括：
获取原始图像，所述原始图像至少包括一件商品；
获取所述原始图像中各个所述商品的位置信息以及各个所述商品的分类标签；
根据所述原始图像、所述原始图像中各个所述商品的位置信息以及各个所述商品的分类标签对初始深度学习模型进行训练，生成商品识别模型。
10.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述重量变化值确定用户行为类别；所述用户行为类别包括拿取行为和放回行为；
当所述重量变化值小于零时，所述用户行为类别为拿取行为；
当所述重量变化值大于零时，所述用户行为类别为放回行为。
11.一种商品识别装置，其特征在于，所述货品位于货槽，所述货槽配置有对应的重量检测装置，所述装置包括：
第一获取单元，用于针对任一所述货槽，从所述货槽对应的所述重量检测装置获取重量变化值；
第二获取单元，用于获取所述货槽对应的商品信息；所述商品信息包括所述货槽所承载的商品类别、数量以及每种商品的单个重量；
第一确定单元，用于根据所述重量变化值以及所述商品信息，确定所述重量变化值对应的第一商品组合；所述第一商品组合包括商品类别以及每种商品的数量。
12.一种商品识别系统，其特征在于，所述系统包括：商品识别装置和重量检测装置；
所述重量检测装置，用于检测货槽中商品的重量变化；
所述商品识别装置，用于执行权利要求1-10所述的商品识别方法。
CN201910497432.0A 2019-06-10 2019-06-10 一种商品识别方法、装置及系统 Pending CN110197561A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910497432.0A CN110197561A (zh) 2019-06-10 2019-06-10 一种商品识别方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910497432.0A CN110197561A (zh) 2019-06-10 2019-06-10 一种商品识别方法、装置及系统

Publications (1)

Publication Number Publication Date
CN110197561A true CN110197561A (zh) 2019-09-03

Family

ID=67754297

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910497432.0A Pending CN110197561A (zh) 2019-06-10 2019-06-10 一种商品识别方法、装置及系统

Country Status (1)

Country Link
CN (1) CN110197561A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111080900A (zh) * 2019-12-23 2020-04-28 合肥美的智能科技有限公司 货柜、货品的处理方法及装置、电子设备、可读存储介质
CN111144871A (zh) * 2019-12-25 2020-05-12 创新奇智(合肥)科技有限公司 一种基于重量讯息修正图像识别结果的方法
CN111178265A (zh) * 2019-12-30 2020-05-19 北京每日优鲜电子商务有限公司 商品识别方法及装置
CN111738184A (zh) * 2020-06-28 2020-10-02 杭州海康威视数字技术股份有限公司 一种商品取放识别方法、装置、系统及设备
CN112419015A (zh) * 2021-01-25 2021-02-26 北京每日优鲜电子商务有限公司 物品信息推送方法、装置、电子设备和计算机可读介质
CN112464697A (zh) * 2019-09-06 2021-03-09 图灵通诺（北京）科技有限公司 基于视觉和重力感应的商品与顾客的匹配方法和装置
CN113554809A (zh) * 2021-04-22 2021-10-26 浙江星星冷链集成股份有限公司 一种商品信息更新装置及无人售货系统
CN114612827A (zh) * 2022-03-11 2022-06-10 四川云从天府人工智能科技有限公司 商品识别方法、装置及存储介质
CN116422602A (zh) * 2023-03-17 2023-07-14 广东铭钰科技股份有限公司 一种一体式产品称重标识检测系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108205853A (zh) * 2018-02-01 2018-06-26 云南大学 开放式无人智能售货装置及无人售货方法
CN108416908A (zh) * 2018-04-17 2018-08-17 诚悦（大连）科技有限公司 一种用于自动售货机的称重图像识别装置
CN108492482A (zh) * 2017-12-18 2018-09-04 上海云拿智能科技有限公司 货品监控系统及监控方法
CN108764313A (zh) * 2018-05-17 2018-11-06 西安电子科技大学 基于深度学习的超市商品识别方法
CN108875664A (zh) * 2018-06-27 2018-11-23 北京京东尚科信息技术有限公司 选购商品的识别方法、装置以及售货机
EP3450934A1 (en) * 2017-09-01 2019-03-06 Toshiba Tec Kabushiki Kaisha Weighing apparatus

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3450934A1 (en) * 2017-09-01 2019-03-06 Toshiba Tec Kabushiki Kaisha Weighing apparatus
CN108492482A (zh) * 2017-12-18 2018-09-04 上海云拿智能科技有限公司 货品监控系统及监控方法
CN108520194A (zh) * 2017-12-18 2018-09-11 上海云拿智能科技有限公司 基于影像监测的货品感知系统及货品感知方法
CN108205853A (zh) * 2018-02-01 2018-06-26 云南大学 开放式无人智能售货装置及无人售货方法
CN108416908A (zh) * 2018-04-17 2018-08-17 诚悦（大连）科技有限公司 一种用于自动售货机的称重图像识别装置
CN108764313A (zh) * 2018-05-17 2018-11-06 西安电子科技大学 基于深度学习的超市商品识别方法
CN108875664A (zh) * 2018-06-27 2018-11-23 北京京东尚科信息技术有限公司 选购商品的识别方法、装置以及售货机

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112464697A (zh) * 2019-09-06 2021-03-09 图灵通诺（北京）科技有限公司 基于视觉和重力感应的商品与顾客的匹配方法和装置
CN112464697B (zh) * 2019-09-06 2024-05-14 图灵通诺（北京）科技有限公司 基于视觉和重力感应的商品与顾客的匹配方法和装置
CN111080900A (zh) * 2019-12-23 2020-04-28 合肥美的智能科技有限公司 货柜、货品的处理方法及装置、电子设备、可读存储介质
CN111080900B (zh) * 2019-12-23 2022-04-29 合肥美的智能科技有限公司 货柜、货品的处理方法及装置、电子设备、可读存储介质
CN111144871A (zh) * 2019-12-25 2020-05-12 创新奇智(合肥)科技有限公司 一种基于重量讯息修正图像识别结果的方法
CN111178265A (zh) * 2019-12-30 2020-05-19 北京每日优鲜电子商务有限公司 商品识别方法及装置
CN111738184A (zh) * 2020-06-28 2020-10-02 杭州海康威视数字技术股份有限公司 一种商品取放识别方法、装置、系统及设备
CN111738184B (zh) * 2020-06-28 2023-09-26 杭州海康威视数字技术股份有限公司 一种商品取放识别方法、装置、系统及设备
CN112419015A (zh) * 2021-01-25 2021-02-26 北京每日优鲜电子商务有限公司 物品信息推送方法、装置、电子设备和计算机可读介质
CN113554809A (zh) * 2021-04-22 2021-10-26 浙江星星冷链集成股份有限公司 一种商品信息更新装置及无人售货系统
CN114612827A (zh) * 2022-03-11 2022-06-10 四川云从天府人工智能科技有限公司 商品识别方法、装置及存储介质
CN116422602A (zh) * 2023-03-17 2023-07-14 广东铭钰科技股份有限公司 一种一体式产品称重标识检测系统及方法

Similar Documents

Publication Publication Date Title
CN110197561A (zh) 一种商品识别方法、装置及系统
CN108492482B (zh) 货品监控系统及监控方法
CN108335408B (zh) 用于自动售货机的物品识别方法、装置、系统及存储介质
CN108389315B (zh) 物品识别方法和装置以及计算机可读存储介质
CN108875664A (zh) 选购商品的识别方法、装置以及售货机
CN110175590A (zh) 一种商品识别方法及装置
CN109886169B (zh) 应用于无人货柜的物品识别方法、装置、设备及存储介质
CN108491799A (zh) 一种基于图像识别的智能售货柜商品管理方法及系统
CN108537135A (zh) 对象识别及对象识别网络的训练方法和装置、电子设备
CN108389316A (zh) 自动售货方法、装置和计算机可读存储介质
CN108780596A (zh) 信息处理系统
CN108898109A (zh) 物品关注度的确定方法、装置和系统
CN108345912A (zh) 一种基于rgbd信息与深度学习的商品快速结算系统
CN111061890A (zh) 一种标注信息验证的方法、类别确定的方法及装置
CN106453437A (zh) 一种设备识别码获取方法及装置
CN112464697A (zh) 基于视觉和重力感应的商品与顾客的匹配方法和装置
CN109977824A (zh) 物品取放识别方法、装置及设备
CN107368820A (zh) 一种精细化手势识别方法、装置及设备
CN110163042A (zh) 图像识别方法及装置
CN109190706A (zh) 无人售货方法、装置及系统
CN110837824B (zh) 用于售货装置中的商品识别方法、售货装置及存储介质
CN111723777A (zh) 商品取放过程判别方法、装置、智能货柜和可读存储介质
CN109191133A (zh) 支付渠道的选择方法及终端设备
CN109766962A (zh) 一种商品识别方法、存储介质及商品识别系统
CN112232334B (zh) 一种智能售货商品识别检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190903