CN212675641U - 基于计算机视觉技术的智能称重装置 - Google Patents

Abstract

提供基于计算机视觉技术的智能称重装置。装置包含系统配置组件，被配置为设置智能称重装置的软件参数、硬件参数和商户信息；称重平台，被配置为放置要识别和称重的商品，感知重量和重量的变化，并获得商品的商品重量信息；视觉传感器，被配置为采集称重平台上放置的商品的视觉信息；识别器，被配置为基于视觉信息、重量信息和识别模型，进行商品识别，获得商品识别结果；识别反馈器，被配置为结合商品识别结果与商品信息，展示候选商品信息，并接收用户反馈，将用户反馈确认后的商品信息传输到价签打印机或者收银POS系统，并反馈到建模平台；建模平台，被配置为基于采集的视觉信息、重量信息和用户反馈训练识别模型；商品信息同步组件，被配置为更新商品信息。

Description

基于计算机视觉技术的智能称重装置

技术领域

本公开涉及信息处理技术领域，更具体地涉及一种基于计算机视觉技术的智能称重装置。

背景技术

在线下商品销售领域，主要的结算方式是通过扫描商品条形码进行商品识别，进而执行商品结算。这种商品识别和结算效率比较低，导致在人流量大的超市、便利店等地的比较长时间的排队。

对于例如水果、蔬菜之类的没有商品条形码的非标准商品，顾客通常需要将挑选好的商品送至特定的称重台进行称重计量，人工选择商品种类并打印、贴附包含种类、单价、价格信息的对应的条形码标签，然后顾客拿着条形码标签才能到收银台排队进行结账。因此，对于没有商品条形码的商品，需要大量的人力来进行结算，导致结算成本升高，并且不可避免地增加消费者的排队时间。

相应地，期望存在一种技术，能够智能地识别和称重没有条形码的商品，并能够根据商品识别结果和称重的结果来便捷地进行商品结算。随着人工智能的发展，尤其是深度学习的应用，使得通过计算机视觉技术智能的识别各式各样的称重商品，提高称重结算效率成为可能。

实用新型内容

本公开的实施例提供了基于计算机视觉技术的智能称重装置，其能够根据商品识别结果和称重的结果来便捷地进行商品结算，从而提高商品结算的效率、并减少商品结算中所消耗的人力成本。

根据本公开的一个方面，提供一种基于计算机视觉技术的智能称重装置，包括：

系统配置组件，被配置为设置所述智能称重装置的软件参数、硬件参数和商户信息的系统配置；

称重平台，被配置为放置要识别和称重的商品，感知重量和重量的变化，并获得所述商品的商品重量信息；

视觉传感器，被配置为响应于第一触发器采集所述称重平台上放置的商品的视觉信息；

识别器，被配置为响应于第二触发器来基于所述视觉信息、所述重量信息和识别模型，进行商品识别，且响应于第三触发器来终止商品识别以获得商品识别结果；

识别反馈器，被配置为结合所述商品识别结果与商品信息，展示候选商品信息，并接收用户反馈，将所述用户反馈确认后的商品信息传输到价签打印机或者收银POS系统，并反馈到建模平台，其中所述价签打印机被配置为基于所述用户反馈来打印商品称重条码，所述收银POS系统被配置为根据所述用户反馈来生成商品的收银信息；

建模平台，被配置为基于采集的视觉信息、重量信息和使用中的用户反馈的数据训练识别模型；

商品信息同步组件，被配置为更新商品信息，包括更新商品名称、货号、称码、价格、计价方式、示例图等商品信息的一种或者多种。

在一个实施例中，所述系统配置组件被配置为设置包含了称重平台和价签打印机的不同硬件型号选择的硬件参数。

在一个实施例中，所述系统配置组件被配置为设置包含了设置视觉传感器的硬件参数，包含预览分辨率、是否截取主体区域、主体区域截图参数。

在一个实施例中，所述系统配置组件被配置为设置包含了称重平台皮重设置的硬件参数，包括不去皮重、一次性去皮重和连续去皮重三种模式。

在一个实施例中，所述系统配置组件被配置为设置包含了商户选择、门店选择和商品管理的软件参数，其中，商品管理包含了名称、编码、价格、配图的用于浏览和编辑的商品信息。

在一个实施例中，所述第一触发器包括称重平台感知到重量发生变化且重量不为零时，以自动触发视觉传感器采集所述称重平台上放置的商品的视觉信息，所述第二触发器包括称重平台感知到重量发生变化且重量不为零时，以自动触发识别器进行商品识别，且所述第三触发器包括重量信号稳定，以将稳定的重量信号作为商品重量信息，用于计算商品总价且生成商品称重条码。

在一个实施例中，所述视觉传感器被配置为采集所述称重平台上放置的商品的视觉信息，其中所述视觉信息包括图像和视频中的至少一种，该视觉传感器被配置为为新商品建模采集视觉信息；以及为待识别商品采集视觉信息，其中，在为新商品建模采集视觉信息时，所述视觉传感器被配置为进行包含了单张拍照模式、多张连续拍照模式、和视频拍摄模式的拍摄模式，在为待识别商品采集视觉信息时，所述视觉传感器被配置为进行包含了单张拍照模式、多张连续拍照模式、和视频拍摄模式的拍摄模式。

在一个实施例中，所述第二触发器包括所述视觉传感器采集的视觉信号的内容变化，以触发所述识别器进行商品识别，所述第三触发器包括视觉信号的稳定，以终止商品识别。

在一个实施例中，所述视觉传感器位于所述称重平台上方，或者侧面，以能够以高于预定清晰度的清晰度来感知称重平台上的商品视觉信息，当视觉传感器的硬件参数被设置为截取主体区域时，根据主体区域截图参数来截取所采集的视觉信息的主体区域。

在一个实施例中，所述第二触发器包括人工选择。

在一个实施例中，所述识别模型被配置为利用基于深度学习的计算机视觉技术，结合商品重量信息，做条件过滤或者统计回归，来过滤掉重量大于商品最大重量或小于商品最小重量的候选识别结果，所述识别器被配置为利用在智能称重装置的上面的计算单元、临近的边缘计算单元、或者云端计算单元来完成商品识别的识别计算。

在一个实施例中，所述收银POS系统包含传统收银机和自助收银机的POS系统，所述识别反馈器展示候选商品信息时，被配置为采用基于识别置信度的自适应展示策略，其中，当商品识别结果的识别置信度高于预定置信度时，则只展示低于预定数量的具有高于预定置信度的商品识别结果作为候选商品信息，当商品识别结果的识别置信度低于预定置信度时，则增加展示商品识别结果的数量作为候选商品信息。在保障识别召回率的同时，减少了选择的难度。

在一个实施例中，识别反馈器接收用户反馈的交互行为包括点击确认、重新识别、搜索、筛选、修改价格、以及返回系统配置；用户反馈的交互行为包括在预定条件下，自动确认商品识别结果，用户反馈被自动传输到价签打印机或者收银POS系统，并反馈到建模平台，其中所述预定条件包括识别置信度超过自动发布阈值，或者用户反馈时间超过等待阈值。

在一个实施例中，识别反馈器包括搜索组件，被配置为用户使用商品名称首字母或者编码进行搜索，同时展示热搜候选商品。

在一个实施例中，识别反馈器包括筛选组件，被配置为根据商品识别结果，优先展示相同或相关类别的出清商品列表。

在一个实施例中，识别反馈器包括修改价格组件，被配置为接收长按候选商品信息的商品信息展示卡片或者卡片中的商品图标、名称的元素的交互动作，触发弹出价格修改标签，以便用户修改商品单价、总价、或者折扣系数。当选择商品为计件商品时，通过自动弹出窗口反馈商品数量。

在一个实施例中，当确认后的商品信息需要传递到收银POS系统时，确认后的商品信息通过有线或者无线的方式传输到POS系统，或当确认后的商品信息需要传递到价签打印机时，确认后的商品信息通过有线方式传输到价签打印机，或当确认后的商品信息需要反馈到建模平台时，通过有线或者无线网络的方式上传到云端的建模平台。

在一个实施例中，当需要返回系统设置的界面时，通过屏幕从左往右，或者从上往下滑动的方式，返回系统设置的界面。

在一个实施例中，所述建模平台被配置为基于采集的视觉信息、重量信息和使用中的用户反馈的数据，采用基于深度学习的计算机视觉技术来训练识别模型，其中，商品重量信息被应用于设置重量过滤规则，以过滤掉重量大于商品最大重量或小于商品最小重量的商品识别结果，或者被应用于统计商品重量分布模型，以辅助商品识别；使用中的用户反馈的数据被应用于识别模型的持续迭代优化；被训练的识别模型被下发到端、边缘计算、或者云不同的计算平台。

在一个实施例中，所述商品信息同步组件被配置为将更新的商品信息更新到智能称重装置内以支持候选商品信息的展示，其中所述商品信息同步组件，包含windows程序和手机客户端两种形式，通过数据库对接、上传文件、手工编辑的方式完成商品信息的更新，同时支持通过商户内网和外网两种连接方式，更新智能称重装置内的商品信息。

在一个实施例中，所述智能称重装置不包括收银POS系统和价签打印机以作为一个完整的整体，与外部的收银POS系统连接；或所述智能称重装置包括收银POS系统；或所述智能称重装置包括价签打印机。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示意性地图示了根据本公开的一个实施例的智能称重装置的模块图。

图2示意性地图示了根据本公开的一个实施例的智能称重装置外形结构图。

具体实施方式

下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

通常情况下，顾客在超市中挑选了水果或蔬菜(并用包装袋包装)之后，要在指定的称重机器上进行称重，店员会用肉眼识别顾客挑选的水果或蔬菜的种类，并录入对应的商品编号，并由称重机器在称重的同时打印标识该水果或蔬菜的种类、重量、单价和/或总价的条形码，并贴于挑选的水果或蔬菜上(或包装水果或蔬菜的包装袋)上。顾客需要拿着贴有条形码的水果或蔬菜(或包装水果或蔬菜的包装袋)到收银台再进行刷条形码并付款的动作。整个过程非常繁琐和复杂。

本公开的技术可以不需要在人工识别商品、称重并在商品上人工黏贴识别商品和称重重量的条形码和让顾客在收银时扫条形码的情况下，就能够自动识别和称重商品并获得商品结算数据等。如此可以在要对实际商品进行结算时，利用商品的图像、商品的重量和商品识别模型在称重的同时智能地识别商品，并生成商品结算结果，整个过程可以没有专职的称重员人工参与，提高了商品称重和结算的效率、并减少商品称重和结算中所消耗的人力成本。本公开的技术方案可以为各种商品销售场所中的商品销售，包括但不限于商场、超市、菜市场、面包店、各类零售食品店等。

另外，不同商品销售场所中和不同时期销售的同一商品可能存在各自的独特性，比如都是橘子，但是不同商品销售场所中销售的不同品种的橘子或甚至相同品种的橘子在外形、大小、重量等特征方面也可能不同，或者同一商品销售场所中在不同的时期销售的橘子可能在其外形、大小、重量等特征方面也不同。如果利用已有或不变的商品识别模型可能无法准确地有差别地识别这些商品。另外，在有些情况下，也可能已有或不变的商品识别模型是简单、粗略的，比如利用一些普通的橘子照片来训练得到的，这样的商品识别模型，如果直接应用于具体的商品销售场所中，也可能得出错误的商品识别结果。另外，也可能出现已有的商品识别模型中无法识别的一些新的商品，比如新品种的橘子或以前没有售卖过的某种商品，由于在已有的商品识别模型中没有训练过这些商品的图像，因此也可能无法识别出该商品或得出错误的商品识别结果。如果在智能商品识别和称重的产品销售到商品销售场所之后，还要由技术人员经常去现场更新商品识别模型，则可能导致效率低下和繁琐。

接下来要介绍的示例仅是相应的具体例子，而不作为限制本公开的实施例必须为示出和描述的具体的外形、硬件、连接关系、数值、条件、数据、顺序等等。本领域技术人员可以通过阅读本说明书来运用本公开的构思来构造本说明书中未提到的更多实施例。

图1示意性地图示了根据本公开的一个实施例的智能称重装置的模块图。智能称重装置100包括:系统配置组件101，被配置为设置所述智能称重装置的软件参数、硬件参数和商品信息；称重平台102，被配置为放置要识别和称重的商品，感知重量和重量的变化，并获得所述商品的商品重量信息；视觉传感器103，被配置为响应于第一触发器采集所述称重平台上放置的商品的视觉信息；识别器104，被配置为响应于第二触发器来基于所述视觉信息、所述重量信息和识别模型，进行商品识别，且响应于第三触发器来终止商品识别以获得商品识别结果；识别反馈器105，被配置为结合所述商品识别结果与商品信息，展示候选商品信息，并接收用户反馈，将所述用户反馈确认后的商品信息传输到价签打印机106或者收银POS系统107，并反馈到建模平台108，其中所述价签打印机106被配置为基于所述用户反馈来打印商品称重条码，所述收银POS系统107被配置为根据所述用户反馈来生成商品的收银信息；建模平台108，被配置为基于采集的视觉信息、重量信息和使用中的用户反馈的数据训练识别模型；商品信息同步组件109，被配置为更新商品信息，包括更新商品名称、货号、称码、价格、计价方式、示例图等商品信息的一种或者多种自助收银机的POS系统。

而在本公开的实施例的技术方案中，可以在没有初始地训练图像和建立商品识别模型或只建立了简单的商品识别模型的情况下，通过实际采集的商品的图像、和对商品的确认作为用户反馈来在实际运行过程中逐渐建立和完善商品识别模型，称重使用即学习的过程，简化了机器学习的流程。提供用户反馈来确认商品识别模型的识别结果是否准确并反馈给商品识别模型以进一步优化该模型，使用过程非常简单、顾客和商品销售场所的体验更好。在具体的使用过程中，在完成实际商品的商品识别之后，也可以将针对实际商品采集的商品图像和对商品的确认作为训练图像，并进一步利用该训练图像执行学习，从而强化商品识别模型的学习，以提高商品识别的准确性，节省了单独学习训练图像并建立商品识别模型的时间和成本。商品销售场所购买了搭载该技术的产品之后可以直接在使用该产品称重和收银的同时来训练和完善符合商品销售场所自身特点的商品识别模型。另外，还可以加入称重的重量结果来进一步优化商品识别模型本身或优化商品识别模型识别结果。

在一个实施例中，所述系统配置组件被配置为设置包含了称重平台和价签打印机的不同硬件型号选择的硬件参数。

在一个实施例中，所述系统配置组件被配置为设置包含了设置视觉传感器的硬件参数，包含预览分辨率、是否截取主体区域、主体区域截图参数。预览分辨率表示预览摄像头图像的分辨率。

如果截取主体区域，则例如裁剪掉所述商品的图像中主体外的区域。

主体区域截图参数可以用来截取所采集的图像的主体区域，例如利用主体区域截图参数定义要截取的主体区域的坐标等。在一些实施例中，例如，可以通过裁剪掉所述商品的图像中所述称重平台外的区域，可以减少称重平台外的例如手、塑料袋等干扰导致识别或训练的图像产生误差。或者，可以通过识别所述商品的图像中的商品前景和周围的背景，并裁剪掉所述商品的图像中所述商品周围的背景，使得可以过滤掉商品周围(并非只是称重平台外)的例如手、塑料袋等干扰导致识别或训练的图像产生误差。当然，装有塑料袋或其他包装的商品的图像也可以作为整体用来识别或训练。

在一个实施例中，所述系统配置组件被配置为设置包含了称重平台皮重设置的硬件参数，包括不去皮重、一次性去皮重和连续去皮重三种模式。不去皮重表示当前称重都不需要去掉配置皮重(商品的皮的重量)。一次性去皮重，是当前称重需要去掉配置皮重。连续去皮重，即针对被配置的商品，后续的每一次称重都自动去掉配置皮重。

在一个实施例中，所述系统配置组件被配置为设置包含了商户选择、门店选择和商品管理的软件参数，其中，商品管理包含了名称、编码、价格、配图的用于浏览和编辑的商品信息。

在一个实施例中，所述第一触发器包括称重平台感知到重量发生变化且重量不为零时，以自动触发视觉传感器采集所述称重平台上放置的商品的视觉信息，所述第二触发器包括称重平台感知到重量发生变化且重量不为零时，以自动触发识别器进行商品识别，且所述第三触发器包括重量信号稳定，以将稳定的重量信号作为商品重量信息，用于计算商品总价且生成商品称重条码。例如当称重平台获得的重量发生变化、且重量不为零时，例如有东西放到称重平台上时，视觉传感器才开始采集商品的视觉信息，识别器才开始进行商品识别，这样可以避免视觉传感器采集到不需要称重的东西的干扰的图像、比如晃动过去的手等，也可以节省视觉传感器和识别器的电力。

在一个实施例中，所述视觉传感器被配置为采集所述称重平台上放置的商品的视觉信息，其中所述视觉信息包括图像和视频中的至少一种，该视觉传感器被配置为为新商品建模采集视觉信息；以及为待识别商品采集视觉信息。其中，在为新商品建模采集视觉信息时，所述视觉传感器被配置为进行包含了单张拍照模式、多张连续拍照模式、和视频拍摄模式的拍摄模式，在为待识别商品采集视觉信息时，所述视觉传感器被配置为进行包含了单张拍照模式、多张连续拍照模式、和视频拍摄模式的拍摄模式。

在一个实施例中，所述第二触发器包括所述采集的视觉信号的内容变化，以触发所述识别器进行商品识别，所述第三触发器包括视觉信号的稳定，以终止商品识别。如此，根据视觉传感器采集的视觉信号的内容变化，识别器才开始进行商品识别，这样也可以避免干扰且节省识别器的电力。

在一个实施例中，所述视觉传感器位于所述称重平台上方，或者侧面，以能够以高于预定清晰度的清晰度来感知称重平台上的商品视觉信息，当视觉传感器的硬件参数被设置为截取主体区域时，根据主体区域截图参数来截取所采集的视觉信息的主体区域。

在一个实施例中，所述第二触发器包括人工选择。即，人工开始识别器的商品识别。

在一个实施例中，所述识别模型被配置为利用基于深度学习的计算机视觉技术，结合商品重量信息，做条件过滤或者统计回归，来过滤掉重量大于商品最大重量或小于商品最小重量的候选识别结果，所述识别器被配置为利用在智能称重装置的上面的计算单元、临近的边缘计算单元、或者云端计算单元来完成商品识别的识别计算。

比如某些特定的商品，形状和花纹差不多的西瓜，普通的大西瓜和小的麒麟瓜是两种不同的品种，如果商品识别模型的识别结果是普通的大西瓜和小的麒麟瓜两种结果，但是称重平台获得的重量明显小于普通的大西瓜的最小重量，则可以过滤掉商品识别结果中的大西瓜，剩下小的麒麟瓜的识别结果，或者如果商品识别模型的识别结果是普通的大西瓜，则将商品识别结果从普通的大西瓜改变为小的麒麟瓜，如此可以更准确地区分通常大小不同的两种西瓜品种。过滤或改变后的商品识别结果单独或与当前采集的该商品的图像(和称重平台获得的重量)一起也可以输入回到商品识别模型中，进一步训练或更新该商品识别模型，以便下一次商品识别的时候能够更准确地识别。

在一个实施例中，所述收银POS系统包含传统收银机和自助收银机的POS系统，所述识别反馈器展示候选商品信息时，被配置为采用基于识别置信度的自适应展示策略，其中，当商品识别结果的识别置信度高于预定置信度时，则只展示低于预定数量的(例如，少量的)具有高于预定置信度的商品识别结果作为候选商品信息，当商品识别结果的识别置信度低于预定置信度时，则增加展示商品识别结果的数量作为候选商品信息。在保障识别召回率的同时，减少了选择的难度。

在一个实施例中，识别反馈器接收用户反馈的交互行为包括点击确认、重新识别、搜索、筛选、修改价格、以及返回系统配置；用户反馈的交互行为包括在预定条件下，自动确认商品识别结果，用户反馈被自动传输到价签打印机或者收银POS系统，并反馈到建模平台，其中所述预定条件包括识别置信度超过自动发布阈值，或者用户反馈时间超过等待阈值。

在此，例如识别反馈器显示了商品识别模型识别的候选商品识别结果，此时可能由于该商品识别模型还未建立完善，或者是简单训练得到的，可能会识别出较多的商品识别结果，或者不准确的商品识别结果，例如，识别出普通有籽西瓜、无籽西瓜等，此时收银员或顾客可以在识别反馈器通过交互行为选择实际的商品种类，以确认商品。该识别反馈器可以是触摸显示屏，包括电阻式、电容感应式、红外线式以及表面声波式等，也可以是其他智能人机交互器，例如语音识别接口，还可以包括当今正在开发或以后出现的人机交互器。如果此时的商品识别结果中没有实际的商品种类，则收银员或顾客也可以通过搜索数据库来确认商品。收银员或顾客也可以用识别反馈器来修改商品价格，返回系统配置等等。

在一个实施例中，识别反馈器包括搜索组件，被配置为用户使用商品名称首字母或者编码进行搜索，同时展示热搜候选商品。

在一个实施例中，识别反馈器包括筛选组件，被配置为根据商品识别结果，优先展示相同或相关类别的出清商品列表。出清商品列表即打折等方式促销商品列表。

在一个实施例中，识别反馈器包括修改价格组件，被配置为接收长按候选商品信息的商品信息展示卡片或者卡片中的商品图标、名称的元素的交互动作，触发弹出价格修改标签，以便用户修改商品单价、总价、或者折扣系数。当选择商品为计件商品时，通过自动弹出窗口反馈商品数量。如此，可以通过简单的交互动作容易地改变商品的单价、总价、或者折扣系数、数量等。

在一个实施例中，当确认后的商品信息需要传递到收银POS系统时，确认后的商品信息通过有线或者无线的方式传输到POS系统，或当确认后的商品信息需要传递到价签打印机时，确认后的商品信息通过有线方式传输到价签打印机，或当确认后的商品信息需要反馈到建模平台时，通过有线或者无线网络的方式上传到云端的建模平台。

在一个实施例中，当需要返回系统设置的界面时，通过屏幕从左往右，或者从上往下滑动的方式，返回系统设置的界面。如此，可以通过简单的交互动作来返回系统设置的界面。

在一个实施例中，所述建模平台被配置为基于采集的视觉信息、重量信息和使用中的用户反馈的数据，采用基于深度学习的计算机视觉技术来训练识别模型，其中，商品重量信息被应用于设置重量过滤规则，以过滤掉重量大于商品最大重量或小于商品最小重量的商品识别结果，或者被应用于统计商品重量分布模型，以辅助商品识别；使用中的用户反馈的数据被应用于识别模型的持续迭代优化；被训练的识别模型被下发到端、边缘计算、或者云不同的计算平台。

在一个实施例中，所述商品信息同步组件被配置为将更新的商品信息更新到智能称重装置内以支持候选商品信息的展示，其中所述商品信息同步组件，包含windows程序和手机客户端两种形式，通过数据库对接、上传文件、手工编辑的方式完成商品信息的更新，同时支持通过商户内网和外网两种连接方式，更新智能称重装置内的商品信息。

在一个实施例中，所述智能称重装置不包括收银POS系统和价签打印机以作为一个完整的整体，与外部的收银POS系统连接。如此可以作为视觉称重插件，与商家的收银POS系统即插即用。或所述智能称重装置包括收银POS系统，以便作为一个整体的视觉称重收款一体机使用。或所述智能称重装置包括价签打印机，以便打印价签，供顾客称重后拿着价签去收银POS机处扫描价签以便付款。

本智能称重装置中的识别反馈器可以是触摸显示屏，或者本智能称重装置中也可以不包括触摸显示屏，而是作为插件与具有触摸显示屏或其他用户接口的其他设备相连接。

本方案首次建立了完整的识别模型迭代闭环，保障了识别模型在使用中的持续迭代和优化，实现了称重商品高效准确的识别；首次将智能称重与收银台结合，实现了高效的银称合一解决方案。

图2示意性的图示了根据本公开的一个实施例的智能称重装置外形结构图。该智能称重装置200可以包括：底盘205；称重平台201，与底盘205相连接，用于对放置在其上的商品206(例如苹果)进行称重；支撑杆204，与底盘205相连接；视觉传感器202，设置在所述称重平台201上或所述称重平台201之外、或设置在与所述称重平台201的底盘205相连的支撑杆204上，例如如图2所示，设置在支撑杆204的上部上，其采集范围覆盖所述称重平台201或其周围区域的至少一部分，例如如图2所示，覆盖称重平台201的俯视平面。

智能商品识别和称重结构200还可以包括：人机交互器203，其被设置与所述支撑杆204可移除地相连接，且可相对于所述支撑杆调整位置，以便于使用该智能商品识别和称重结构200的用户查看该人机交互器203上显示的内容并操作该人机交互器203。

图2中所示的底盘205、称重平台201、支撑杆204、人机交互器203的位置、形状和大小仅是示例，并非限制，是可以根据实际情况而改变的。例如底盘205的尺寸可以大于称重平台201，以达到获得更好的重心，保持整个结构的稳定，支撑杆204可以不是L型，而是垂直杆，图像采集组件202的位置可以不位于支撑杆204的顶上，而是支撑杆204的直角处，而且人机交互器203也可以不是位于支撑杆204的一边，而是其中心位于支撑杆204上使得人机交互器203居中。这些结构之间的连接方式也可以采用现有的连接方式，可以是固定连接，也可以是可移除或可旋转地连接。

在该底盘205或支撑杆204的内部或外部或与之相连接的部位还可以设置与称重平台、图像采集组件202、人机交互器203一起实现智能商品识别和称重功能的芯片或集成电路或功能模块。

上述的各个组成器件是示意性的，根据需要可以删除部分器件，或者增加其它器件。例如，可以增加麦克风、语音识别装置和扬声器，被配置为在与用户进行语音交互，以执行各种控制。增加价签打印机，支持打印价签。增加USB连接线、串口数据线、网线等各种连接线，支持数据的传输。

本方案首次建立了完整的识别模型迭代闭环，保障了识别模型在使用中的持续迭代和优化，实现了称重商品高效准确的识别；首次将智能称重与收银台结合，实现了高效的银称合一解决方案。

当然，上述的具体实施例仅是例子而非限制，且本领域技术人员可以根据本公开的构思从上述分开描述的各个实施例中合并和组合一些装置来实现本公开的效果，这种合并和组合而成的实施例也被包括在本公开中，在此不一一描述这种合并和组合。

注意，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本公开中涉及的系统、装置的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些系统、装置。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

另外，本文中的各个实施例中的装置并非仅限定于某个实施例中实行，事实上，可以根据本公开的概念来结合本文中的各个实施例中相关的部分装置以构思新的实施例，而这些新的实施例也包括在本公开的范围内。

Claims (8)

1.一种基于计算机视觉技术的智能称重装置，其特征在于，包括：

称重平台，被配置为放置要识别和称重的商品，感知重量和重量的变化，并获得所述商品的商品重量信息；

视觉传感器，被配置为采集所述称重平台上放置的商品的视觉信息；

识别器，被配置为响基于所述视觉信息、所述重量信息和识别模型，进行商品识别，且终止商品识别以获得商品识别结果；

识别反馈器，被配置为结合所述商品识别结果与商品信息，展示候选商品信息，并接收用户反馈，将所述用户反馈确认后的商品信息传输到价签打印机或者收银POS系统，并反馈到建模平台，其中所述价签打印机被配置为基于所述用户反馈来打印商品称重条码，所述收银POS系统被配置为根据所述用户反馈来生成商品的收银信息；

建模平台，被配置为基于采集的视觉信息、重量信息和使用中的用户反馈的数据训练识别模型。

2.根据权利要求1所述的智能称重装置，其特征在于，还包括：系统配置组件，被配置为设置所述智能称重装置的软件参数、硬件参数和商户信息的系统配置；

其中所述系统配置组件被配置为设置包含了称重平台和价签打印机的不同硬件型号选择的硬件参数，

其中所述系统配置组件被配置为设置包含了设置视觉传感器的硬件参数，包含预览分辨率、是否截取主体区域、主体区域截图参数，

其中所述系统配置组件被配置为设置包含了称重平台皮重设置的硬件参数，包括不去皮重、一次性去皮重和连续去皮重三种模式，

其中所述系统配置组件被配置为设置包含了商户选择、门店选择和商品管理的软件参数，其中，商品管理包含了名称、编码、价格、配图的用于浏览和编辑的商品信息，

其中，所述视觉传感器被配置为响应于第一触发器采集所述称重平台上放置的商品的视觉信息；识别器被配置为响应于第二触发器来基于所述视觉信息、所述重量信息和识别模型，进行商品识别，且响应于第三触发器来终止商品识别以获得商品识别结果，

其中所述第一触发器包括称重平台感知到重量发生变化且重量不为零时，以自动触发视觉传感器采集所述称重平台上放置的商品的视觉信息，所述第二触发器包括称重平台感知到重量发生变化且重量不为零时，以自动触发识别器进行商品识别，且所述第三触发器包括重量信号稳定，以将稳定的重量信号作为商品重量信息，用于计算商品总价且生成商品称重条码，

其中，所述智能称重装置还包括：商品信息同步组件，被配置为更新商品信息，包括更新商品名称、货号、称码、价格、计价方式、示例图等商品信息的一种或者多种。

3.根据权利要求1所述的智能称重装置，其特征在于，其中所述视觉传感器被配置为采集所述称重平台上放置的商品的视觉信息，其中所述视觉信息包括图像和视频中的至少一种，该视觉传感器被配置为为新商品建模采集视觉信息；以及为待识别商品采集视觉信息，其中，在为新商品建模采集视觉信息时，所述视觉传感器被配置为进行包含了单张拍照模式、多张连续拍照模式、和视频拍摄模式的拍摄模式，在为待识别商品采集视觉信息时，所述视觉传感器被配置为进行包含了单张拍照模式、多张连续拍照模式、和视频拍摄模式的拍摄模式，

其中所述视觉传感器位于所述称重平台上方，或者侧面，以能够以高于预定清晰度的清晰度来感知称重平台上的商品视觉信息，当视觉传感器的硬件参数被设置为截取主体区域时，根据主体区域截图参数来截取所采集的视觉信息的主体区域。

4.根据权利要求1所述的智能称重装置，其特征在于，其中，识别器被配置为响应于第二触发器来基于所述视觉信息、所述重量信息和识别模型，进行商品识别，且响应于第三触发器来终止商品识别以获得商品识别结果，

其中所述第二触发器包括所述视觉传感器采集的视觉信号的内容变化，以触发所述识别器进行商品识别，所述第三触发器包括视觉信号的稳定，以终止商品识别，

其中所述第二触发器包括人工选择。

5.根据权利要求1所述的智能称重装置，其特征在于，其中所述识别模型被配置为利用基于深度学习的计算机视觉技术，结合商品重量信息，做条件过滤或者统计回归，来过滤掉重量大于商品最大重量或小于商品最小重量的候选识别结果，所述识别器被配置为利用在智能称重装置的上面的计算单元、临近的边缘计算单元、或者云端计算单元来完成商品识别的识别计算。

6.根据权利要求1所述的智能称重装置，其特征在于，其中收银机的POS系统包含传统收银机和自助收银机的POS系统，所述识别反馈器展示候选商品信息时，被配置为采用基于识别置信度的自适应展示策略，其中，当商品识别结果的识别置信度高于预定置信度时，则只展示低于预定数量的具有高于预定置信度的商品识别结果作为候选商品信息，当商品识别结果的识别置信度低于预定置信度时，则增加展示商品识别结果的数量作为候选商品信息。

7.根据权利要求1所述的智能称重装置，其特征在于，其中识别反馈器接收用户反馈的交互行为包括点击确认、重新识别、搜索、筛选、修改价格、以及返回系统配置；用户反馈的交互行为包括在预定条件下，自动确认商品识别结果，用户反馈被自动传输到价签打印机或者收银POS系统，并反馈到建模平台，其中所述预定条件包括识别置信度超过自动发布阈值，或者用户反馈时间超过等待阈值，

其中识别反馈器包括搜索组件，被配置为用户使用商品名称首字母或者编码进行搜索，同时展示热搜候选商品，

其中识别反馈器包括筛选组件，被配置为根据商品识别结果，优先展示相同或相关类别的出清商品列表，

其中识别反馈器包括修改价格组件，被配置为接收长按候选商品信息的商品信息展示卡片或者卡片中的商品图标、名称的元素的交互动作，触发弹出价格修改标签，以便用户修改商品单价、总价、或者折扣系数，当选择商品为计件商品时，通过自动弹出窗口反馈商品数量。

8.根据权利要求7所述的智能称重装置，其特征在于，其中，当确认后的商品信息需要传递到收银POS系统时，确认后的商品信息通过有线或者无线的方式传输到POS系统，或当确认后的商品信息需要传递到价签打印机时，确认后的商品信息通过有线方式传输到价签打印机，或当确认后的商品信息需要反馈到建模平台时，通过有线或者无线网络的方式上传到云端的建模平台，

其中，当需要返回系统设置的界面时，通过屏幕从左往右，或者从上往下滑动的方式，返回系统设置的界面，

其中，所述建模平台被配置为基于采集的视觉信息、重量信息和使用中的用户反馈的数据，采用基于深度学习的计算机视觉技术来训练识别模型，其中，商品重量信息被应用于设置重量过滤规则，以过滤掉重量大于商品最大重量或小于商品最小重量的商品识别结果，或者被应用于统计商品重量分布模型，以辅助商品识别；使用中的用户反馈的数据被应用于识别模型的持续迭代优化；训练的识别模型被下发到端、边缘计算、或者云不同的计算平台，

其中，所述商品信息同步组件被配置为将更新的商品信息更新到智能称重装置内以支持候选商品信息的展示，其中所述商品信息同步组件，包含windows程序和手机客户端两种形式，通过数据库对接、上传文件、手工编辑的方式完成商品信息的更新，同时支持通过商户内网和外网两种连接方式，更新智能称重装置内的商品信息，

其中，所述智能称重装置不包括收银POS系统以作为一个完整的整体，与外部的收银POS系统连接；或所述智能称重装置包括收银POS系统；或所述智能称重装置包括价签打印机。

Images