CN113269935A - 一种基于无屏称重装置的视觉称重方法及称重系统 - Google Patents

Abstract

本发明涉及一种基于无屏称重装置的视觉称重方法及称重系统，包括：接收无屏称重装置发送的商品重量信息；判断所述商品重量信息是否满足预设条件；满足所述预设条件，控制无屏称重装置获取商品图像信息；接收所述商品图像信息；对所述商品图像信息进行识别，获得识别后的商品信息；根据所述商品重量信息和所述商品信息，生成包含商品金额信息的电子码；输出所述电子码；称重系统包括重量传感设备和图像采集设备的无屏称重装置以及包括商品识别模块的处理器；本发明利用了原有的称重系统，通过优化的商品识别模块，实现非标准商品的智能称重，节约成本、便捷快速。

Description

一种基于无屏称重装置的视觉称重方法及称重系统

技术领域

本发明属于信息处理的技术领域，更具体的涉及一种基于无屏称重装置的视觉称重方法及称重系统。

背景技术

目前超市的收银设备普遍只能解决有条形码的商品识别和结算，不能对生鲜、杂粮等非标准称重商品的结算。即使是存在一些带称重的收款机，其也需要人工按照分类搜索到商品信息后才能进行称重商品的结算，这种商品识别和结算的效率比较低。

为了解决上述问题，现有的改进方案是在原有收银设备的基础上额外增加一个具有屏幕和计算单元的屏幕显示设备，并根据额外增加的屏幕显示设备完成商品信息的分类和待结算的金额计算。

ZL202011348099.6公开了基于计算机视觉技术的智能称重装置与智能称重方法，通过配置识别器及识别反馈器能够智能地识别和称重没有条形码的商品，并能够根据商品识别结果和称重的结果来便捷地进行商品结算，从而提高商品结算的效率，减少了商品结算中消耗的人力成本。

但是，采用这种方式每套结算收银系统需要额外增加单独的带计算单元屏幕用于交互，单独的计算芯片用于商品推理识别，以至于大幅增加了单台设备的成本。同时，在识别器进行识别、候选和交互过程中，操作步骤较为繁琐，需要兼顾多个显示设备中界面的信息，对使用人员的熟练程度要求较高。

因此，基于原有称重系统，不增加具有屏幕和计算单元的屏显设备基础上如何降低非标准商品智能称重的成本、实现便捷快速的智能称重是目前本领域亟需解决的问题。

发明内容

针对上述现有技术中存在的缺陷，本发明的目的在于提供一种基于无屏称重装置的视觉称重方法及称重系统，可以在称重系统不额外增加屏幕和商品识别设备的前提下，实现生鲜类商品的智能称重，从而降低非标准商品智能称重的成本、实现便捷快速的智能称重。

为达到以上目的，本发明采取的技术方案为：

第一方面，本发明提供一种基于无屏称重装置的视觉称重方法，其特征在于，包括：

接收无屏称重装置发送的商品重量信息；

判断所述商品重量信息是否满足预设条件；

满足所述预设条件，控制无屏称重装置获取商品图像信息；

接收所述商品图像信息；

对所述商品图像信息进行识别，获得识别后的商品信息；

根据所述商品重量信息和所述商品信息，生成包含商品金额信息的电子码；

输出所述电子码。

进一步的，所述预设条件为接收到的所述无屏称重装置的所述商品重量信息数值大于设定阈值。

进一步的，对所述商品图像信息进行识别，获得识别后的商品信息包括：

对所述接收的商品图像信息通过推理计算进行处理；

将所述推理计算的结果进行显示；

根据所述显示的结果选定所述商品信息。

进一步的，所述推理计算包括图像识别模型预测、特征库检索及相似度评价；

将所述图像识别模型预测及所述特征库检索分别设置不同的置信度权重，获得概率结果的评分数值，按照所述评分数值大小排序的所述概率结果及所述相似度评价的同组结果显示为所述推理计算的结果。

进一步的，所述推理计算的具体步骤包括：

通过所述图像识别模型预测和所述特征库检索分别得到各自对应的多个概率结果；

根据所述图像识别模型预测和所述特征库检索各自的所述置信度权重计算得到每个所述概率结果的评分数值；

所述相似度评价识别出与所述评分数值最大的所述概率结果的所述同组结果；

按照所述评分数值大小排序的所述概率结果及所述相似度评价的同组结果显示为所述推理计算的结果。

进一步的，所述图像识别模型通过以下步骤的裁剪训练生成，具体包括：

选择符合所述商品图像信息识别的原始识别模型；

跟踪所述原始识别模型的运算过程；

分析所述运算过程中的各个计算单元对运算结果的贡献度；

将贡献度小于预定阈值的各个所述计算单元进行排序；

按照所述贡献度从小到大的排序，依次删除其对应的所述计算单元，比较每次删除所述计算单元后的所述原始识别模型与删除前的所述原始识别模型，若所述运算结果相同，则按照删除顺序继续删除剩余所述计算单元，若所述运算结果不同，则恢复当前删除的所述计算单元，并按照删除顺序继续删除剩余所述计算单元；

将训练完成后的所述原始识别模型作为最终的所述图像识别模型。

进一步的，所述特征库检索具体包括：

对接收的所述商品图像信息进行图像处理，提取特征向量；

根据所述特征向量在所述特征库中进行查询匹配；

获得多个概率结果；

筛选出匹配度高于预定匹配度的所述概率结果。

进一步的，所述筛选出匹配度高于预定匹配度的所述概率结果还包括：

若所述筛选出概率结果较低，则保存所述进行查询匹配的特征向量为新增特征向量，将所述新增特征向量注册到所述特征库的向量表，所述特征库进行数据更新时直接与所述新增特征向量进行匹配存储。

进一步的，所述推理计算还包括过滤过程，所述按照所述评分数值大小排序的所述概率结果及所述相似度评价的同组结果显示为所述推理计算的结果之前，将不符合销售条件的过滤排除。

第二方面，本发明还提供一种实现上述称重方法的基于无屏称重装置的视觉称重系统，其特征在于，包括：

无屏称重装置，所述无屏称重装置包括重量传感设备和图像采集设备；

处理器，所述处理器包括商品识别模块，所述商品识别模块包括重量传感子模块、图像采集子模块、推理计算子模块、商品管理子模块；

所述重量传感子模块感知所述重量传感设备传输的所述商品重量信息，判断是否满足所述预设条件；

所述图像采集子模块在所述重量传感子模块发送满足所述预设条件的信息后控制所述采集端采集所述商品图像信息，并接收所述商品图像信息；

所述推理计算子模块对所述商品图像信息进行识别，获得识别后的商品信息；

所述商品管理子模块根据所述商品重量信息和所述商品信息，生成包含商品金额信息的电子码；输出所述电子码。

与现有技术相比，本发明给出了一种基于无屏的视觉称重方法及称重系统，基于原有的称重、支付结算系统，通过接入实施称重方法的模块或者插件，优化了非标准商品的识别、处理过程，在有限的内存空间、硬件配置及运行系统等条件下，无需额外增加的屏幕显示、计算识别设备，实现了非标准商品的智能称重，满足多场景、不同的需求类型，既节约成本，又便捷快速。

附图说明

通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：

图1是本发明实施例的一种基于无屏称重装置的视觉称重方法的流程图；

图2是本发明实施例的识别商品类别的流程图；

图3是本发明实施例的推理计算的流程图；

图4是本发明实施例的特征库检索的流程图；

图5是本发明实施例的一种基于无屏称重装置的视觉称重系统的示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者装置中还存在另外的相同要素。

下面结合附图详细说明本发明的可选实施例。

实施例一

参见图1所示，本实施例提供一种基于无屏称重装置的视觉称重方法，包括：

接收无屏称重装置发送的商品重量信息；

判断商品重量信息是否满足预设条件；

满足预设条件，控制无屏称重装置获取商品图像信息；

其中，无屏称重装置实时采集商品图像信息，在商品重量信息满足预设条件时，无屏称重装置获取当前时刻的商品图像信息；

接收商品图像信息；

对商品图像信息进行识别，获得识别后的商品信息；

根据商品重量信息和商品信息，生成包含商品金额信息的电子码；

输出电子码。

在原有服务器（例如称重、结算等系统）上进行基于无屏称重装置的视觉称重方法，该称重方法主要针对非标的商品，例如水果、蔬菜、肉蛋、散装休食、杂粮、水产及糕点类，这些商品本身没有条形码，需要根据各自的重量、单价等完成后续的支付结算。

通过该称重方法接收到商品重量信息，控制获取并识别商品图像信息，得到商品信息。商品信息可以包括商品名称、编码、类别、单价、保质期、生产日期以及产地等。之后根据商品重量信息和商品信息，生成包含商品金额信息的电子码。电子码主要是以一串数字或者字符的形式展示，当然也可以是二维码、条形码等其他形式，后续对电子码进行解析可以呈现出电子码中包含的商品金额信息、商品名称、单价、重量、总价等信息。

输出的电子码可以传送到结算系统，也可以传送到其他文本文件、软件、系统或其他设备，在此不做特别限定，最终蕴含信息的电子码可以进行后续的传递、显示或者支付结算等。

后续电子码传输是通过模拟键盘点击的方式或通过驱动来模拟真实键盘输入的方式。例如，通过模拟键盘点击，将电子码传入收款软件。同时，根据不同的收款机性能，每次输入字符可以设置间隔时间。通常在输入编码完成后，自动键入回车确认。

在原有服务器上实现基于无屏称重装置的视觉称重方法时，为适应原来的系统，定制化编译动态链接库，实现与原系统兼容接入，保障电子码的传输及整个的智能称重方法可以兼容windows64，windows32等不同版本的操作系统。

实施例二

本实施例在实施例一的基础上，还可以包括以下内容：

参见图2所示，本实施的在接收到商品图像信息后，

对商品图像信息进行识别，获得识别后的商品信息包括：

对接收的商品图像信息通过推理计算进行处理；

将推理计算的结果进行显示；

根据显示的结果选定商品信息；

无屏称重装置实时采集商品图像信息，在商品重量信息满足预设条件时，无屏称重装置获取当前时刻的商品图像信息。因而，接收商品图像信息为不间断的，接收的频率可以设置为不少于10次/秒；将推理计算的结果进行显示具体为对接收的同一商品不同时刻的每一商品图像信息逐一进行推理计算，逐一显示每一商品图像信息的通过推理计算进行处理后的初始结果，并判断初始结果与前一次初始结果是否存在差异，若是，则替换为初始结果进行显示，若否，则维持前一次初始结果，根据实时显示的初始结果确定最终的推理计算的结果；判断初始结果与前一次初始结果是否存在差异根据设定的差异值进行判断。

在实际应用中，为了提高推理计算结果的全面性和准确性，设定接收商品图像信息的频次，在进行初始结果显示的同时继续对后续接收的商品图像信息推理计算，如果后续的推理计算的初始结果与之前显示的不一致，且这种不一致大于设定的差异值，则将后续的初始结果进行推送展示，根据实时显示的初始结果确定最终推理计算的结果。

在一个应用场景中，本实施例设定初始结果变更的差异值为30%，即当前后两次推理计算后的初始结果相差30%及以上时，则后一次的初始结果进行推送显示。假设根据第一次接收的商品图像信息推理计算的初始结果显示为A、B、C、D，当其对第二次接收到的商品图像信息进行推理计算后，假设其初始结果显示为A、B、C、E，则不会将A、B、C、D替换为A、B、C、E。当然，初始结果变更的差异值也可以设定为10%，那么上一次例子中，则会将A、B、C、D替换为A、B、C、E。差异值的设定可以根据具体应用场景、硬件条件及推理计算精准度的需求等各方面的因素来确定，随因素的变化，相应的差异值也可以进行适当的调整、变化。

对于一次样品称重的过程来说，从最开始接收到商品图像信息开始，既进行推理计算，后续对不同时刻的每一接收到的图像信息都进行推理计算，推理计算得到的初始结果会进行显示以及更新显示。此时，根据实时显示的初始结果确定最终的推理计算的结果可以通过以下几种方式：（1）人工干预，在不断的推理计算得到初始结果，不同初始结果进行前后差异判断、更新时，人工可以直接认定该初始结果显示即为最终推理计算的结果，通过对结果的确定，完成根据显示结果选定商品信息的步骤；（2）设定时间阈值，当某次的初始结果维持超过设定的时间阈值，比如0.1s或者其他的时间等，则当前显示的初始结果为最终的推理计算的结果，完成推理计算的过程；（3）与接收无屏称重装置发送的商品重量信息建立关联，当重量信息稳定时，显示当前的初始结果为终的推理计算的结果，完成推理计算的过程。

对于以上的第三种方式，需要进一步说明的是，重量信息稳定的判断与控制获取商品图像信息的预设条件不同，满足预设条件才会启动商品图像信息的获取，而重量信息的稳定则是获取商品图像终止的节点。重量信息的不稳定可能是由于无屏称重装置本身重量传感器的灵敏度，也可能是人为放置商品时的时间间隔等因素造成的。

根据显示的结果选定商品信息，可以人工进行对显示界面中的结果进行选定，继而生成包括商品名称、单价、重量、总价等信息的电子码，也可以根据推荐显示的排序进行自动推送生成。选定的过程根据应用场景和适用要求的不同进行选择，在此不做特别的限定。

从获取商品图像信息开始即采用该推理计算进行识别，同时设定显示的条件，既能保证商品图像识别时显示的全面性和识别结果的准确性，又能达到高效、快速便捷的目的。

实施例三

本实施例在上述实施例的基础上，还可以包括以下内容：

本实施例通过推理计算进行处理采用包括图像识别模型预测、特征库检索及相似度评价进行综合判断；

进行的综合判断是将图像识别模型预测及特征库检索分别设置不同的置信度权重，获得概率结果的评分数值，按照评分数值大小排序的概率结果及相似度评价的同组结果显示推理计算的结果。

参见图3所示，为了便于本领域技术人员理解本实施例中的推理计算，对其进行示例性描述。推理计算的具体步骤包括：

通过图像识别模型预测和特征库检索分别得到各自对应的多个概率结果；

根据图像识别模型预测和特征库检索各自的置信度权重计算得到每个概率结果的评分数值；

相似度评价识别出与评分数值最大的概率结果的同组结果；

按照评分数值大小排序的概率结果及相似度评价的同组结果显示推理计算的结果。

具体的，对商品图像信息进行推理计算，首先用云端训练而成的模型P（图像识别模型）进行预测，再次用存有售卖商品数据记录的特征向量库Q（特征库）进行检索，最后通过同类型商品R的相似（相似度评价）进行融合，三个推理结果综合评估的结果进行展示。在一个应用场景中，图像识别模型（简称P模型）预测接收到的商品图像信息的概率结果为商品A、B、C，同时给出了A、B、C可能的概率值；在特征向量库Q（简称Q特征库）对接收到的商品图像信息自动进行检索认为概率结果为商品B、D、E，同时给出了B、D、E可能的概率值；下一步，根据P模型和Q特征库各自的置信度权重进行计算，置信度权重可以根据选用不同类型的模型和特征向量库的精确程度来设定，对以上这几种概率结果进行加权的评分后，相似度评价（简称R评价）再将与评分数值最大的概率结果的同组结果识别出来。假定加权后评分数值的大小排序为A、B、C、D、E，A为加权后评分数值最大的概率结果，R就识别出A的同组结果为F、G，则最终会按照A、F、G、C、D、E作为初始结果进行显示。当然，也可以设定一次所能显示初始结果的数量，可以只显示A、F、G或者A、F、G、C等等。

R评价通过历史相似度查找与其相似的一组商品。例如，R评价进行查找时所采用的相似依据为预先输入的内容或为历史推理计算同一组商品时具有相同相似度的商品。其中，预先输入即为提前将同组的结果进行关联，历史推理计算同一组商品则是将之前的推理计算结果进行实时的保存，对相似度评价的同组商品关联进行实时更新。

采用图像识别模型预测、特征库检索及相似度评价的综合结果，能从不同的识别、推理角度进行预测，确保最终预测推送初始结果的精准度。同时，将三者进行融合，实现推理显示结果的协同作用，还能在有限的内存、运行系统的硬件条件下，兼顾速度和效率。

实施例四

本实施例在上述实施例的基础上，还可以包括以下内容：

在一个应用场景中，本实施例中的图像识别模型通过以下步骤的裁剪训练生成，具体包括：

选择符合所述商品图像信息识别的原始识别模型；

跟踪原始识别模型的运算过程；

分析运算过程中的各个计算单元对运算结果的贡献度；

将贡献度小于预定阈值的各个计算单元进行排序；

按照贡献度从小到大的排序，依次删除其对应的计算单元，比较每次删除计算单元后的原始识别模型与删除前的原始识别模型，若运算结果相同，则按照删除顺序继续删除剩余计算单元，若运算结果不同，则恢复当前删除的计算单元，并按照删除顺序继续删除剩余计算单元；

将训练完成后的原始识别模型作为最终的图像识别模型。

本实施例为了便于本领域技术人员理解上述裁剪训练的方法，通过以下内容对其进行示例性说明。在一个应用场景中，根据场景和智能称重的要求，选择符合商品图像信息识别的原始识别模型，原始识别模型可以是多种结构的网络模型。例如，CNN（Convolutional Neural Networks，卷积神经网络），RNN（Recurrent Neural Networks，循环神经网络）等等，当然，也可以是根据实际需要进行搭建的模型，在此不做特别的限定。

原始识别模型在运算过程中具有n个计算单元，将贡献度小于20%的计算单元进行排序，本实施例在通过分析运算过程中的各个计算单元对运算结果的贡献度时，示例性的，假设原始识别模型具有9个计算单元（标记为计算单元1、计算单元2、...、计算单元9），对其分别进行分析得到的贡献度小于20%的计算单元包括计算单元1（贡献度为11%）、计算单元3（贡献度为10%）、计算单元4（贡献度为18%）、计算单元8（贡献度为5%），并对其进行贡献度排序：计算单元8、计算单元3、计算单元1、计算单元4；按照贡献度排序依次删除该4个计算单元时，包括以下步骤：

第一步，删除计算单元8，比较得到删除计算单元8后的原始识别模型与删除前的原始图像识别模型的运算结果相同，进行下一步；

第二步，删除计算单元3，比较得到删除计算单元3后的原始识别模型（与最开始的原始识别模型相比删除了计算单元3和计算单元8）与删除前的原始识别模型（与最开始的原始识别模型相比，删除了计算单元8）的运算结果不同，则恢复该计算单元3，进行下一步；

第三步，删除计算单元1，比较得到删除计算单元1后的原始识别模型（与最开始的原始识别模型相比删除了计算单元1和计算单元8，不包括已经恢复的计算单元3）与删除前的原始识别模型（与最开始的原始识别模型相比，删除了计算单元8）的运算结果不同，则恢复计算单元1，进行下一步；

第四步，删除计算单元4，比较得到删除计算单元4后的图像识别模型（与最开始的原始识别模型相比删除了计算单元4和计算单元8，不包括已经恢复的计算单元1和计算单元3）与删除前原始识别模型（与最开始的原始识别模型相比，删除了计算单元8）的运算结果相同，进行下一步；

第五步，将删除计算单元4和计算单元8后的原始识别模型作为最终的图像识别模型进行输入并用于推理计算。

在此，对模型的裁剪方向不做具体的规定，贡献度的设置指标可以根据裁剪方向的不同及对于具体应用场景适用的不同进行设置。同样的，贡献度的预定阈值也不做强制的规定。

总之，通过对图像识别模型进行裁剪训练能减少模型的冗余，有效的降低模型的复杂度，使得图像识别在不降低准确度的情况下能在低配置的硬件系统中快速高效的运行。本实施例为了减少图像识别模型的计算量，降低内存消耗，提升推理速度，可以在采用图像识别模型进行预测计算时，将其算术类型由浮点型转换为整型。

通过该图像识别模型进行开发的识别模块、插件或者应用软件所占用的服务器硬件的数据内存不大，所消耗的存储空间有限，能广泛适用于各个场景，如包括繁杂商品种类的应用场景、收银结算硬件配套较低的使用场景等。也就是，对原来的整套结算系统和设备只进行简单的模块接入，无需改造，就可以实现非标准商品称重结算的智能化、精准化、快速化，提升称重及结算效率和消费者的购物体验。

实施例五

本实施例在上述实施例的基础上，还可以包括以下内容：

参见图4所示，在一个应用场景中，本实施例中的特征库检索具体可以包括：

对接收的商品图像信息进行图像处理，提取特征向量；

根据特征向量在特征库中进行查询匹配；

获得多个概率结果；

筛选出匹配度高于预定匹配度的概率结果。

为了便于本领域技术人员理解上述特征库检索的内容，本实施例通过以下内容对其进行示例性说明。

特征库是通过提取库存样本商品的图像信息中的特征向量训练并建立的。在特征库进行检索时，首先提取接收到的商品图像信息的特征向量，此时提取的特征一般都是高维的矢量数据，所以基于矢量数据在训练建立的商品特征特征库进行查询匹配的检索。根据各个矢量数据检索后的情况，综合判断，得出特征库中录入存在的与检索的商品图像信息的匹配的概率结果。假设之前预定的匹配度的概率数值为30%，那么高于结果匹配度概率数值30%的则被筛选出来，作为概率结果进行之前实施例中提及的置信度权重计算及综合评估。

其中，筛选出匹配度高于预定匹配度的概率结果还包括：

若筛选出的概率结果较低，则保存进行查询匹配的特征向量为新增特征向量，将新增特征向量注册到检索库的向量表，特征库进行数据更新时直接与新增特征向量进行匹配存储。

考虑到特征向量检索误差及精准度等因素，设置了合理的预定匹配度后，可能出现筛选出匹配度高于预定匹配度的概率结果较低的情况。尤其是对于新增的商品，可能还未及时将特征向量录入特征库，并进行相应的检索识别训练，因而存在根据匹配度筛选出的结果较低（高于预定匹配度的概率结果较少且准确的不高）的情况。此时，可以保存进行查询匹配过程中的特征向量为新增特征向量，将新增特征向量注册到检索库的向量表。

根据之前实施例中的方法识别出商品信息后，再对特征库进行更新，直接将新增特征向量与该商品信息进行匹配存储。这样的方式避免了网络传输和云上服务器的学习过程，做到搜索一次即可识别出新商品信息。

当然，智能称重也可以单独列出一个新增商品的名录及榜单等，根据新增商品名录及榜单来校对商品图像识别后推送显示的结果，或者根据新增商品名录和榜单的情况直接进行人工的选定，然后再对特征库进行更新，直接将新增特征向量与该商品信息进行匹配存储。

为了确保识别快速显示，所有本地磁盘存储的特征库信息进行高速缓存，并设计了缓存淘汰和更新的机制。有商品信息变化的时候，进行缓存淘汰。每次系统运行及结果显示之前进行缓存重新加载。

实施例六

本实施例在上述实施例的基础上，还可以包括以下内容：

本实施例中在进行视觉称重时需要不间断的接收无屏称重装置发送的商品重量信息，可以设定每秒钟接收次数不少于10次。在实际应用中，往往会出现对无屏称重装置的误触碰情况，该情况下也会接收到重量信息的变化，而在该情况下无屏称重装置所识别的重量信息并不是本实施例所需要接收的商品重量信息。如果在此情况下也控制无屏称重装置获取商品图像信息，那么获取的图像与商品无关，后续也进行图像识别，则必然会加重图像识别模块等运行的压力，增大服务器内存的消耗，影响整体的推理识别速度。因此，本实施例为了避免在误触碰情况下控制无屏称重装置获取商品图像信息，对其设置了对应的预设条件来触发商品图像信息的获取。

预设条件为接收到的无屏称重装置的商品重量信息数值大于设定阈值，当然也可以同时设定所接收到的商品重量信息数值的次数不少于设定次数。

在一个应用场景中，本实施例中接收到的无屏称重装置的商品重量信息数值大于10g，控制无屏称重装置获取该商品重量信息下的商品图像信息，也可以同时设定所接收到的商品重量信息数值的次数为5次时。具体的例子为，每秒钟接收多次无屏称重装置的商品重量信息，如果某一次的重量信息数值大于10g，同时后续的重量信息数值大于10g的次数超过5次，无论后续的重量信息数值是否与之前的数值一致，则都为满足预设条件。

当然，商品重量信息设定的阈值及商品重量信息数值相同的次数可以根据不同的需求及应用场景进行设定、改变，在此不做强制的限定。

实施例七

本实施例在上述实施例的基础上，还可以包括以下内容：

推理计算还包括过滤过程，按照评分数值大小排序的概率结果及相似度评价的同组结果显示为推理的计算结果之前，将不符合销售条件的过滤排除。

具体的应用场景中，可以设定近半年的无销售记录的过滤排除，按照评分数值大小排序的概率结果及相似度评价的同组结果显示为推理计算的结果之前自动与设定时间内的销售记录数据进行比对，若无，则将该概率结果和同组结果过滤排除，不作为推理计算的结果显示；若有，则将该概率结果和同组结果保留，作为推理计算的结果进行后续的显示。

例如，上述实施例三中根据推理计算后若最终要显示的初始结果为：A，F，G，B，C；那么在显示初始结果之前进行过滤的过程，将A，F，G，B，C自动与销售记录进行比对，若F、C近半年无销售记录，则将两者过滤排除，最终显示的初始结果为A，F，B。

同样的，也可以将状态为不可售卖的过滤排除。

实施例八

本实施例在上述实施例的基础上，还可以包括以下内容：

参见图5所示，本实施例还提供一种实现上述视觉承重方法的基于无屏称重装置的视觉称重系统，其可以包括：

无屏称重装置，无屏称重装置包括重量传感设备和图像采集设备；

此装置硬件没有屏幕、CPU等其他额外的装置，图像采集装置可以是摄像头等。

处理器，处理器包括商品识别模块，商品识别模块包括重量传感子模块、图像采集子模块、推理计算子模块、商品管理子模块；

处理器利用原有的其他通用计算设备，无需改造，只进行简单的模块或者插接的接入，就可以实现非标准商品称重结算的智能化、精准化、快速化。

重量传感子模块感知重量传感设备传输的商品重量信息，判断是否满足预设条件；

图像采集子模块在重量传感子模块发送满足预设条件的信息后控制采集端采集商品图像信息，并接收商品图像信息；

推理计算子模块对商品图像信息进行识别，获得识别后的商品信息；

商品管理子模块根据商品重量信息和商品信息，生成包含商品金额信息的电子码；输出电子码。

以上介绍了本发明的较佳实施方式，旨在使得本发明的精神更加清楚和便于理解，并不是为了限制本发明，凡在本发明的精神和原则之内，所做的修改、替换、改进，均应包含在本发明所附的权利要求概括的保护范围之内。

Claims (10)

1.一种基于无屏称重装置的视觉称重方法，其特征在于，包括：

接收无屏称重装置发送的商品重量信息；

判断所述商品重量信息是否满足预设条件；

满足所述预设条件，控制无屏称重装置获取商品图像信息；

接收所述商品图像信息；

对所述商品图像信息进行识别，获得识别后的商品信息；

根据所述商品重量信息和所述商品信息，生成包含商品金额信息的电子码；

输出所述电子码。

2.如权利要求1所述的方法，其特征在于，所述预设条件为接收到的所述无屏称重装置的所述商品重量信息数值大于设定阈值。

3.如权利要求1所述的方法，其特征在于，对所述商品图像信息进行识别，获得识别后的商品信息包括：

对所述接收的商品图像信息通过推理计算进行处理；

将所述推理计算的结果进行显示；

根据所述显示的结果选定所述商品信息。

4.如权利要求3所述的方法，其特征在于，所述推理计算包括图像识别模型预测、特征库检索及相似度评价；

将所述图像识别模型预测及所述特征库检索分别设置不同的置信度权重，获得概率结果的评分数值，按照所述评分数值大小排序的所述概率结果及所述相似度评价的同组结果显示为所述推理计算的结果。

5.如权利要求4所述的方法，其特征在于，所述推理计算的具体步骤包括：

通过所述图像识别模型预测和所述特征库检索分别得到各自对应的多个概率结果；

根据所述图像识别模型预测和所述特征库检索各自的所述置信度权重计算得到每个所述概率结果的评分数值；

所述相似度评价识别出与所述评分数值最大的所述概率结果的所述同组结果；

按照所述评分数值大小排序的所述概率结果及所述相似度评价的同组结果显示为所述推理计算的结果。

6.如权利要求4所述的方法，其特征在于，所述图像识别模型通过以下步骤的裁剪训练生成，具体包括：

选择符合所述商品图像信息识别的原始识别模型；

跟踪所述原始识别模型的运算过程；

分析所述运算过程中的各个计算单元对运算结果的贡献度；

将贡献度小于预定阈值的各个所述计算单元进行排序；

按照所述贡献度从小到大的排序，依次删除其对应的所述计算单元，比较每次删除所述计算单元后的所述原始识别模型与删除前的所述原始识别模型，若所述运算结果相同，则按照删除顺序继续删除剩余所述计算单元，若所述运算结果不同，则恢复当前删除的所述计算单元，并按照删除顺序继续删除剩余所述计算单元；

将训练完成后的所述原始识别模型作为最终的所述图像识别模型。

7.如权利要求4所述的方法，其特征在于，所述特征库检索具体包括：

对接收的所述商品图像信息进行图像处理，提取特征向量；

根据所述特征向量在所述特征库中进行查询匹配；

获得多个概率结果；

筛选出匹配度高于预定匹配度的所述概率结果。

8.如权利要求7所述的方法，其特征在于，所述筛选出匹配度高于预定匹配度的所述概率结果还包括：

若所述筛选出匹配度高于预定匹配度的所述概率结果较低，则保存所述进行查询匹配的特征向量为新增特征向量，将所述新增特征向量注册到所述特征库的向量表，所述特征库进行数据更新时直接与所述新增特征向量进行匹配存储。

9.如权利要求4所述的方法，其特征在于，所述推理计算还包括过滤过程，所述按照所述评分数值大小排序的所述概率结果及所述相似度评价的同组结果显示为所述推理计算的结果之前，将不符合销售条件的过滤排除。

10.一种实现如权利要求1-9任一所述方法的基于无屏称重装置的视觉称重系统，其特征在于，包括：

无屏称重装置，所述无屏称重装置包括重量传感设备和图像采集设备；

处理器，所述处理器包括商品识别模块，所述商品识别模块包括重量传感子模块、图像采集子模块、推理计算子模块、商品管理子模块；

所述重量传感子模块感知所述重量传感设备传输的所述商品重量信息，判断是否满足所述预设条件；

所述图像采集子模块在所述重量传感子模块发送满足所述预设条件的信息后控制所述图像采集设备采集所述商品图像信息，并接收所述商品图像信息；

所述推理计算子模块对所述商品图像信息进行识别，获得识别后的商品信息；

所述商品管理子模块根据所述商品重量信息和所述商品信息，生成包含商品金额信息的电子码；输出所述电子码。

Images