CN113902940A - 基于神经网络的多类物品视觉识别方法及计量设备 - Google Patents

Abstract

本申请是关于一种基于神经网络的多类物品视觉识别方法。该方法包括：获取N个物品图像集，提取各个物品类型对应的品类特征；将品类特征输入至构建的第一神经网络进行训练，得到粗识别神经网络；构建N个第二神经网络，分别将各个物品图像集配对输入至各个第二神经网络中进行训练处理，得到N个精识别神经网络；获取待识别物品的待识别图像，通过粗识别神经网络对待识别图像进行粗识别，确定待识别物品的目标物品类型；根据目标物品类型确定精识别神经网络；通过当前精识别神经网络对待识别图像进行精识别，确定待识别物品的单品信息。本申请提供的方案，能够基于神经网络对多种物品类型的单品进行识别，提高识别精度，提升识别效率。

Description

基于神经网络的多类物品视觉识别方法及计量设备

技术领域

本申请涉及人工智能技术领域，尤其涉及基于神经网络的多类物品视觉识别方法及计量设备。

背景技术

在现今的商超场景中，越来越多的智能计量设备出现在售卖结算环节，便于购买者进行结算，但是，多数的智能计量设备只能针对一种的物品类型进行识别，导致需要多台设备进行布局来满足各种物品类型的识别需求，增加设备成本，少数的智能计量设备能够对于多种物品类型进行识别，但是识别精度不高，往往导致识别时间过长，识别结果多次错误等情况，反而耽误了购买者的结算进程，造成购买者的不满。

在现有技术中，公开号为CN110647941A（基于卷积神经网络的蔬菜识别方法及设备）的专利中，通过获取海量的蔬菜图像数据，搭建并训练一个卷积神经网络，使得该神经网络能够自动地完成识别蔬菜的任务，在售卖蔬菜时，用户将蔬菜放置到使用安卓系统的电子秤设备上，通过摄像头拍摄到蔬菜图像后传入训练好的卷积神经网络，得到蔬菜的类别，通过电子秤得到蔬菜的质量，从而直接计算出蔬菜的价格。

上述现有技术存在以下缺点：

该方案仅能识别蔬菜这一种类型的物品，无法进行多种物品类型的识别，因此，需要研发一种能够基于神经网络对多种物品类型的单品进行高精度视觉识别的方法，以提高识别精度以及识别效率，降低识别错误率。

发明内容

为克服相关技术中存在的问题，本申请提供一种基于神经网络的多类物品视觉识别方法，该基于神经网络的多类物品视觉识别方法，能够基于神经网络对多种物品类型的单品进行识别，提高识别精度，提升识别效率，扩展可持续学习升级空间。

本申请第一方面提供一种基于神经网络的多类物品视觉识别方法，包括：

获取N个物品类型对应的N个物品图像集，分别根据各个物品类型的物品图像集提取各个物品类型对应的品类特征，品类特征包括形状特征以及色彩特征；N为大于1的整数；

构建第一神经网络，将品类特征输入至第一神经网络进行训练，得到粗识别神经网络；

构建N个第二神经网络，分别将各个物品图像集配对输入至各个第二神经网络中进行训练处理，得到N个精识别神经网络，并标记各个精识别神经网络对应用于识别的物品类型；

获取待识别物品的待识别图像，通过粗识别神经网络对待识别图像进行粗识别，确定待识别物品的目标物品类型；

根据目标物品类型确定对应当前物品类型的精识别神经网络；

通过当前精识别神经网络对待识别图像进行精识别，确定待识别物品的单品信息。

在一种实施方式中，获取N个物品类型对应的N个物品图像集，包括：

获取N个物品类型对应的N个初始图像集，对N个初始图像集中的初始图像进行筛选处理，得到N个物品图像集；

筛选处理包括：将N个初始图像集中初始图像的背景颜色数量多于预设颜色数量的图像剔除；将N个初始图像集中初始图像的曝光度大于预设曝光度的图像剔除；将N个初始图像集中初始图像的焦点位于图像主体以外位置的图像剔除。

在一种实施方式中，各个物品图像集中包含了M种单品对应的M个单品图像集，M为大于1的整数；

分别将各个物品图像集配对输入至各个第二神经网络中进行训练处理，包括：

分别将各个物品图像集配对输入至各个第二神经网络中进行训练处理，其中，训练处理包括：

将物品图像集中的M个单品图像集按预设比率分为训练集与测试集，通过深度学习算法将训练集输入第二神经网络中进行训练，得到待测神经网络；将测试集输入待测神经网络，得到待测神经网络的准确率；若准确率高于预设准确率，则输出待测神经网络为精识别神经网络。

在一种实施方式中，将训练集输入第二神经网络中进行训练之前，包括：

将训练集以及测试集中的图像进行预处理，并将训练集以及测试集中的图像信息格式转换为xml格式；

在第二神经网络的算法框架中添加对xml格式的图像信息进行处理的算法，算法包括减均值、除方差、规格化统一、左右上下翻转以及角度翻转。

在一种实施方式中，得到待测神经网络的准确率之后，还包括：

若准确率低于预设准确率，则对第二神经网络的预设参数进行调整，将训练集输入调整后的第二神经网络中进行训练，直至调整后的准确率高于预设准确率为止。

在一种实施方式中，确定待识别物品的单品信息，包括：

确定待识别物品的单品信息，单品信息包括商品编号、单价信息以及卡路里信息；

单价信息以及卡路里信息为基于商品编号在商品信息映射表中确定得到的；商品信息映射表为预存的映射模型数据库。

在一种实施方式中，确定待识别物品的单品信息之后，包括：

获取待识别物品的物品重量；

根据物品重量以及单价信息确定待识别物品的总价格；

根据物品重量以及卡路里信息确定待测物品的总卡路里；

将总价格以及总卡路里进行显示以及标签打印。

在一种实施方式中，确定待识别物品的目标物品类型，包括：

若待识别物品的物品类型为N个物品类型的其中一个，则确定待识别物品的目标物品类型；

若待识别物品的物品类型为N个物品类型以外的物品类型，则判断待识别图像的分辨率是否达到预设分辨率水平；

若达到预设分辨率水平，则通过粗识别神经网络的自训练新增待识别物品的物品类型，并通过精识别神经网络的自训练新增待识别物品的单品信息；

若未达到预设分辨率水平，则获取物品类型新增信息以及单品新增信息，根据物品类型新增信息新增待识别物品的物品类型以及根据单品新增信息新增待识别物品的单品信息。

本申请第二方面提供一种电子设备，包括：

处理器；以及

存储器，其上存储有可执行代码，当可执行代码被处理器执行时，使处理器执行如上的方法。

本申请第三方面提供一种计量设备，其特征在于，包括上述第二方面提供的电子设备，还包括：

拍摄模块，用于获取待识别物品的待识别图像；

称重模块，用于获取待识别物品的物品重量；

显示模块，用于显示待识别物品的总价格与总卡路里；

打印模块，用于打印待识别物品的总价格与总卡路里的标签。

本申请提供的技术方案可以包括以下有益效果：

通过获取N个物品类型对应的N个物品图像集，提取各个物品类型对应的品类特征，将该品类特征输入至构建好的第一神经网络中进行训练，得到用于识别物品类型的粗识别神经网络，通过将N个物品图像集配对输入至构建好的N个第二神经网络中进行训练，得到N个精识别神经网络，使得每个精识别神经网络能够对应一种物品类型，从而使得每个精识别神经网络能够针对单一物品类型中的单品进行精识别，同时，对每个精识别神经网络对应识别的物品类型进行标记，使得在粗识别神经网络完成物品类型的识别之后能够通过标记快速衔接到对应的精识别神经网络中，提高识别速度以及识别精度。在获取待识别物品的待识别图像后，通过粗识别神经网络对待识别图像进行识别确定待识别物品的目标物品类型，根据目标物品类型确定对应的精识别神经网络在该目标物品类型中的众多单品中识别待识别物品的单品信息，提高了待识别物品的识别精度以及识别效率，降低识别错误率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

通过结合附图对本申请示例性实施方式进行更详细的描述，本申请的上述以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。

图1是本申请实施例示出的基于神经网络的多类物品视觉识别方法实施例一的流程示意图；

图2是本申请实施例示出的基于神经网络的多类物品视觉识别方法实施例二的流程示意图；

图3是本申请实施例示出的基于神经网络的多类物品视觉识别方法实施例三的流程示意图；

图4是本申请实施例示出的电子设备的结构示意图；

图5是本申请实施例示出的计量设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本申请的优选实施方式。虽然附图中显示了本申请的优选实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

实施例一

在现今的商超场景中，越来越多的智能计量设备出现在售卖结算环节，便于购买者进行结算，但是，多数的智能计量设备只能针对一种的物品类型进行识别，导致需要多台设备进行布局来满足各种物品类型的识别需求，增加设备成本，少数的智能计量设备能够对于多种物品类型进行识别，但是识别精度不高，往往导致识别时间过长，识别结果多次错误等情况，反而耽误了购买者的结算进程，造成购买者的不满。

针对上述问题，本申请实施例提供一种基于神经网络的多类物品视觉识别方法，能够提高识别精度以及识别效率，降低识别错误率。

以下结合附图详细描述本申请实施例的技术方案。

图1是本申请实施例示出的基于神经网络的多类物品视觉识别方法实施例一的流程示意图。

请参阅图1，本申请实施例示出的基于神经网络的多类物品视觉识别方法实施例一，包括：

101、获取N个物品类型对应的N个物品图像集；

根据实际应用情况设定N种物品类型，示例性的，可以是蔬菜类、瓜果类、海鲜类以及禽类等等，在实际应用中，物品类型分类得越精细越好，对N的取值不作唯一限定，N为大于1的整数即可。

根据设定的N种物品类型，针对于每种的物品类型获取对应的物品图像集，物品图像集的数量与物品类型的数量一致，同为N，每个物品图像集中包含了多个单品的图像，示例性的，蔬菜类的物品图像集包括但不限于有生菜图像、菜心图像以及菠菜图像等等，每种单品的图像数量可以是一个，也可以多个，每种单品的图像数量越多越好，图像质量越精细越好。

102、分别根据各个物品类型的物品图像集提取各个物品类型对应的品类特征；

在本申请实施例中，品类特征包括但不限于形状特征以及色彩特征，还可以是纹理特征等等，在实际应用中，每种物品类型提取至少一种对应的品类特征，示例性的，禽类具有独特的翅膀结构的形状特征。提取的方式是多样的，示例性的，可以采用SIFT特征提取算法或者HOG特征提取算法，需根据实际应用情况进行确定，此处不作唯一限定。

103、构建第一神经网络，将品类特征输入至第一神经网络进行训练；

在本申请实施例中，第一神经网络可以是三维卷积神经网络，也可以是其他适合用于进行物品类型识别的神经网络，需根据实际应用情况进行设定，此处不作唯一限定。

将品类特征输入至第一神经网络进行训练，训练后得到粗识别神经网络，在本申请实施例中，粗识别神经网络用于物品类型的识别。

104、构建N个第二神经网络，分别将各个物品图像集配对输入至各个第二神经网络中进行训练处理；

在本申请实施例中，会将物品图像集与第二神经网络进行两两配对，各种物品图像集对应的物品类型对应构建不同类型的第二神经网络，以提高神经网络对于该物品类型中的单品的识别适配度，示例性的，用于蔬菜类识别的第二神经网络可以设定为基于FASTER—RCNN目标检测算法的卷积神经网络，在实际应用中，各种物品类型对应的第二神经网络的设定是多样的，需根据实际应用情况进行设定适配，此处不作唯一限定。

分别将各个物品图像集按配对结果输入至对应的第二神经网络中进行训练处理，在训练处理完成后得到N个精识别神经网络，并根据上述配对结果标记各个精识别神经网络对应用于识别的物品类型。

105、获取待识别物品的待识别图像；

本申请实施例中，采用拍摄模块来获取待识别物品的待识别图像，拍摄模块示例性的可以是摄像头，在实际应用中，获取待识别物品的待识别图像的方式是多样的，示例性的还可以通过图像传输的方式来进行获取，需根据实际应用情况对待识别图像的获取方式进行设定，此处不作唯一限定。

106、通过粗识别神经网络对待识别图像进行粗识别；

将获取得到的待识别图像传输至粗识别神经网络中，通过粗识别神经网络对待识别图像进行粗识别，在本申请实施例中，粗识别是确定待识别物品的目标物品类型。

107、通过当前精识别神经网络对待识别图像进行精识别。

根据目标物品类型找到与其对应一致的标记，该标记所指向的精识别神经网络即为对应当前物品类型的精识别神经网络。

通过当前精识别神经网络在目标物品类型的众多单品中，确定待识别物品的单品信息。

从上述实施例一可以看出以下有益效果：

通过获取N个物品类型对应的N个物品图像集，提取各个物品类型对应的品类特征，将该品类特征输入至构建好的第一神经网络中进行训练，得到用于识别物品类型的粗识别神经网络，通过将N个物品图像集配对输入至构建好的N个第二神经网络中进行训练，得到N个精识别神经网络，使得每个精识别神经网络能够对应一种物品类型，从而使得每个精识别神经网络能够针对单一物品类型中的单品进行精识别，同时，对每个精识别神经网络对应识别的物品类型进行标记，使得在粗识别神经网络完成物品类型的识别之后能够通过标记快速衔接到对应的精识别神经网络中，提高识别速度以及识别精度。在获取待识别物品的待识别图像后，通过粗识别神经网络对待识别图像进行识别确定待识别物品的目标物品类型，根据目标物品类型确定对应的精识别神经网络在该目标物品类型中的众多单品中识别待识别物品的单品信息，提高了待识别物品的识别精度以及识别效率，降低识别错误率。

实施例二

为了便于理解，以下提供了基于神经网络的多类物品视觉识别方法的一个实施例来进行说明，在实际应用中，会通过将N个物品图像集中的各个物品图像集分别配对输入至各个第二神经网络中进行训练处理，使得每个物品图像集所对应的物品类型能够与由第二神经网络训练之后得到的精识别神经网络一一对应，每种物品类型都能有针对性的精识别神经网络来进行识别，从而达到对多类物品实现高精度识别的效果，降低识别出错率。

请参阅图2，本申请实施例示出的基于神经网络的多类物品视觉识别方法实施例二，包括：

201、获取N个物品类型对应的N个物品图像集；

获取N个物品类型对应的N个初始图像集，每个初始图像集中包含了大量的单品图像，有的单品图像可能背景比较杂乱，主体不突出，可能会对后续的识别产生障碍；或许有的单品图像在拍摄时没有控制好曝光度，导致该单品图像中的主体过曝，同样会对后续的识别造成影响；又或许有的单品图像中的焦点位置不处于单品的主体上，导致单品的主体成像模糊，也会提升后续识别的出错率。因此，针对包括上述不可用类型在内的单品图像，会在筛选出来之后进行剔除，具体为：将背景颜色数量多于预设颜色数量的图像剔除；将曝光度大于预设曝光度的图像剔除；将焦点位于图像主体以外位置的图像剔除，对N个初始图像集处理完毕之后最终得到N个物品图像集。

202、分别将各个物品图像集配对输入至各个第二神经网络中进行训练处理；

在本申请实施例中，各个物品图像集中包含了M种单品对应的M个单品图像集，M为大于1的整数，一种单品对应一个单品图像集，单品图像集里包含了该单品的各种形态的图像。

将物品图像集中的M个单品图像集按预设比率分为训练集与测试集，预设比率可以为训练集：测试集=9:1，在实际应用中，预设比率的设定可以是多样的，可根据实际应用情况进行设定，此处不作唯一限定。

将训练集以及测试集中的图像进行预处理，预处理包括但不限于图像增强处理，并将训练集以及测试集中的图像信息格式转换为xml格式，由于每一种格式的文件都需要对应一种解析器去对文件进行传输或者保存数据，从而导致开发进度的减缓，而且在过程之中可能会导致错误的发生，因此把数据的常用格式统一转化成xml格式来进行处理，提高处理效率以及降低出错率。xml格式具有的优点包括但不限于：xml文档的内容和结构完全分离；xml作为纯文本文件格式，在不同操作系统上的不同系统之间通信，互操作性强；xml格式具有规范统一标准语法，具有跨平台跨系统的特性；xml格式支持多种编码，方便多语言系统对数据的处理；可根据xml的基本语法来进一步限定使用范围和文档格式。

在第二神经网络的算法框架中添加对xml格式的图像信息进行处理的算法，算法包括但不限于减均值、除方差、规格化统一、左右上下翻转以及角度翻转，通过上述算法对xml格式的图像信息进行处理。

通过深度学习算法将训练集输入第二神经网络中进行训练，得到待测神经网络。在本申请实施例中，在第二神经网络的训练中，基于每种单品的特征和深度学习识别算法，采取不同的目标检测算法和构建不同的卷积神经网络来进行训练，因此第二神经网络会有N个，而且每个第二神经网络的目标检测算法以及卷积神经网络的类型都可能会不一样，取决于所用于识别的物品类型，以提高神经网络对于该物品类型中的单品的识别适配度。

将测试集输入待测神经网络，得到待测神经网络的准确率，在本申请实施例中，准确率可以通过计算待测神经网络对其中一种物品类型中的不同单品进行识别的成功率来获得，在实际应用中，得到待测神经网络的准确率的计算方法是多样的，需根据实际应用情况进行计算方法的选择，此处不作唯一限定。

203、将准确率与预设准确率进行对比，根据对比结果判断准确率是否达标。

若准确率高于预设准确率，则判断准确率达标，输出待测神经网络为精识别神经网络，将其部署于运行设备中，在本申请实施例中，运行设备可以为RK3399，其中，RK3399的底层系统为安卓系统，所得到的粗识别神经网络以及精识别神经网络使用TensorflowAndroid API植入安卓系统中。

若准确率低于预设准确率，则判断准确率不达标，对第二神经网络的预设参数进行调整，将训练集输入调整后的第二神经网络中进行训练，直至调整后的准确率高于预设准确率为止。

从上述实施例二可以看出以下有益效果：

在获取得到的N个初始图像集中将不可用类型的单品图像进行剔除，避免对后续的识别判断造成影响，将剔除完成后得到的N个物品图像集中的各个物品图像集分别配对输入至各个第二神经网络中进行训练处理，使得每个物品图像集所对应的物品类型能够与由第二神经网络训练之后得到的精识别神经网络一一对应，而且会针对各种物品类型每种物品构建不同类型的第二神经网络来提高识别适配度，使得每种物品类型都能有针对性的精识别神经网络来进行识别，从而达到对多类物品实现高精度识别的效果，降低识别出错率。对训练后得到的待测神经网络进行准确率的把控，达标的待测神经网络才能作为精识别神经网络来输出并部署在运行设备上，保证了识别精准度；通过内置部署的神经网络进行识别，在运行设备的执行过程中无需联网，提升了运行设备的效率与执行速度。

实施例三

为了便于理解，以下提供了基于神经网络的多类物品视觉识别方法的一个实施例来进行说明，在实际应用中，购买者只需要把待识别物品放置到指定的识别区域之中，即可对待识别物品完成识别，并输出结算的总价格以及待识别物品的卡路里，无需购买者进行其他操作。

请参阅图3，本申请实施例示出的基于神经网络的多类物品视觉识别方法实施例三，包括：

301、获取待识别物品的待识别图像，通过粗识别神经网络对待识别图像进行粗识别；

将待识别物品放置到指定的识别区域之中，若有多种待识别物品，则需要依次放置，每次放置一种待识别物品，通过拍摄模块获取待识别物品的待识别图像，通过粗识别神经网络对待识别图像进行粗识别，在粗识别的过程中，若识别结果判断待识别物品的物品类型为设定的N个物品类型的其中一个，则确定待识别物品的目标物品类型；若识别结果判断待识别物品的物品类型为设定的N个物品类型以外的物品类型，则判断待识别图像的分辨率是否达到预设分辨率水平。

若待识别图像的分辨率达到预设分辨率水平，说明待识别图像不属于不可用类型的单品图像，则将待识别图像输入粗识别神经网络中，通过粗识别神经网络的自训练新增待识别物品的物品类型，并将待识别图像输入精识别神经网络中，通过精识别神经网络的自训练新增待识别物品的单品信息，在本申请实施例中的粗识别神经网络以及精识别神经网络均具有对后续开发预留的可自训练升级的空间以及升级接口，以满足物品类型以及单品信息的更新需求，提供稳定的可持续发展空间。

若未达到预设分辨率水平，说明待识别图像属于不可用类型的单品图像，则获取物品类型新增信息以及单品新增信息，根据物品类型新增信息新增待识别物品的物品类型以及根据单品新增信息新增待识别物品的单品信息，在本申请实施例中，物品类型新增信息以及单品新增信息的获取方式可以是通过管理员的手动输入，也可以通过管理员通过其他终端来进行远程输入，需根据实际应用情况来设定获取方式，此处不作唯一限定。

302、根据目标物品类型确定对应当前物品类型的精识别神经网络，通过当前精识别神经网络对待识别图像进行精识别；

将目标物品类型匹配精识别神经网络的标记，从而确定对应当前物品类型的精识别神经网络，通过当前精识别神经网络对待识别图像进行精识别，确定待识别物品的单品信息，单品信息包括商品编号。

在本申请实施例中，在运行设备中会预先存储有商品信息映射表，该商品信息映射表是一种映射模型数据库，里面存储有各种单品的单品信息，单品信息除了包括上述的商品编号，还包括了与商品编号对应的单价信息以及卡路里信息等，因此可以根据商品编号在商品信息映射表中确定待识别物品的单价信息以及卡路里信息。

示例性的，假设当前待识别物品为苹果，其商品编号为001，其中，商品编号001对应的单价信息是2元/500g，卡路里信息为260cal/500g，以上针对单品信息的描述仅为示例性的，不作为实际应用中的具体的单品信息设定的唯一限定。

303、将总价格以及总卡路里进行显示以及标签打印。

在确定待识别物品的单品信息之后，通过称重模块获取待识别物品的物品重量，在本申请实施例中，称重模块可以是电子秤，不作唯一限定。

根据获取的物品重量以及单价信息计算待识别物品的总价格，根据物品重量以及卡路里信息确定待测物品的总卡路里，通过显示模块将总价格以及总卡路里信息进行显示，在本申请实施例中，显示模块可以是液晶显示屏，不作唯一限定；通过打印模块将总价格以及总卡路里信息打印在标签上，标签可以采用具有粘贴胶的标签，方便购买者将标签粘贴在商品上或者商品的包装袋上，打印模块可以是标签打印机，以上对于标签打印以及打印模块的描述仅为示例性的，不作唯一限定。

从上述实施例三可以看出以下有益效果：

本方案在实际操作过程中，购买者仅需要把待识别物品放置到指定的识别区域之中即可，无需执行其他的操作即可获取得到待识别物品的总价格以及总卡路里，能够让购买者清晰地了解购买的商品的信息，降低购买者的操作成本，提高购买者的便利性以及结算的效率。

与前述应用功能实现方法实施例相对应，本申请还提供了一种用于执行基于神经网络的多类物品视觉识别方法的电子设备和包括该电子设备的计量设备，及相应的实施例。

实施例四

图4是本申请实施例示出的电子设备的结构示意图。

参见图4，电子设备1000包括存储器1010和处理器1020。

处理器1020可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器1010可以包括各种类型的存储单元，例如系统内存、只读存储器（ROM），和永久存储装置。其中，ROM可以存储处理器1020或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置（例如磁或光盘、闪存）作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备（例如软盘、光驱）。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器1010可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片（DRAM，SRAM，SDRAM，闪存，可编程只读存储器），磁盘和/或光盘也可以采用。在一些实施方式中，存储器1010可以包括可读和/或写的可移除的存储设备，例如激光唱片（CD）、只读数字多功能光盘（例如DVD-ROM，双层DVD-ROM）、只读蓝光光盘、超密度光盘、闪存卡（例如SD卡、min SD卡、Micro-SD卡等等）、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。

存储器1010上存储有可执行代码，当可执行代码被处理器1020处理时，可以使处理器1020执行上文述及的方法中的部分或全部。

实施例五

图5是本申请实施例示出的计量设备的结构示意图。

请参阅图5，本申请实施例示出的计量设备包括：如上述实施例四所述的电子设备，以及包括：

拍摄模块，用于获取待识别物品的待识别图像；

称重模块，用于获取待识别物品的物品重量；

显示模块，用于显示待识别物品的总价格与总卡路里；

打印模块，用于打印待识别物品的总价格与总卡路里的标签。

关于上述实施例中的计量设备，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不再做详细阐述说明。

上文中已经参考附图详细描述了本申请的方案。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。本领域技术人员也应该知悉，说明书中所涉及的动作和模块并不一定是本申请所必须的。另外，可以理解，本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减， 本申请实施例装置中的模块可以根据实际需要进行合并、划分和删减。

此外，根据本申请的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。

或者，本申请还可以实施为一种非暂时性机器可读存储介质（或计算机可读存储介质、或机器可读存储介质），其上存储有可执行代码（或计算机程序、或计算机指令代码），当所述可执行代码（或计算机程序、或计算机指令代码）被电子设备（或电子设备、服务器等）的处理器执行时，使所述处理器执行根据本申请的上述方法的各个步骤的部分或全部。

本领域技术人员还将明白的是，结合这里的申请所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。

附图中的流程图和框图显示了根据本申请的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种基于神经网络的多类物品视觉识别方法，其特征在于，包括：

获取N个物品类型对应的N个物品图像集，分别根据各个物品类型的物品图像集提取各个物品类型对应的品类特征，所述品类特征包括形状特征以及色彩特征；所述N为大于1的整数；

构建第一神经网络，将所述品类特征输入至所述第一神经网络进行训练，得到粗识别神经网络；

构建N个第二神经网络，分别将各个物品图像集配对输入至各个第二神经网络中进行训练处理，得到N个精识别神经网络，并标记各个精识别神经网络对应用于识别的物品类型；

获取待识别物品的待识别图像，通过所述粗识别神经网络对所述待识别图像进行粗识别，确定所述待识别物品的目标物品类型；

根据所述目标物品类型确定对应当前物品类型的精识别神经网络；

通过当前精识别神经网络对所述待识别图像进行精识别，确定所述待识别物品的单品信息。

2.根据权利要求1所述的基于神经网络的多类物品视觉识别方法，其特征在于，

所述获取N个物品类型对应的N个物品图像集，包括：

获取N个物品类型对应的N个初始图像集，对所述N个初始图像集中的初始图像进行筛选处理，得到所述N个物品图像集；

所述筛选处理包括：将所述N个初始图像集中所述初始图像的背景颜色数量多于预设颜色数量的图像剔除；将所述N个初始图像集中所述初始图像的曝光度大于预设曝光度的图像剔除；将所述N个初始图像集中所述初始图像的焦点位于图像主体以外位置的图像剔除。

3.根据权利要求1所述的基于神经网络的多类物品视觉识别方法，其特征在于，

各个物品图像集中包含了M种单品对应的M个单品图像集，所述M为大于1的整数；

所述分别将各个物品图像集配对输入至各个第二神经网络中进行训练处理，包括：

分别将各个物品图像集配对输入至各个第二神经网络中进行训练处理，其中，所述训练处理包括：

将所述物品图像集中的所述M个单品图像集按预设比率分为训练集与测试集，通过深度学习算法将所述训练集输入所述第二神经网络中进行训练，得到待测神经网络；将所述测试集输入所述待测神经网络，得到所述待测神经网络的准确率；若所述准确率高于预设准确率，则输出所述待测神经网络为所述精识别神经网络。

4.根据权利要求3所述的基于神经网络的多类物品视觉识别方法，其特征在于，

所述将所述训练集输入所述第二神经网络中进行训练之前，包括：

将所述训练集以及所述测试集中的图像进行预处理，并将所述训练集以及所述测试集中的图像信息格式转换为xml格式；

在所述第二神经网络的算法框架中添加对所述xml格式的图像信息进行处理的算法，所述算法包括减均值、除方差、规格化统一、左右上下翻转以及角度翻转。

5.根据权利要求3所述的基于神经网络的多类物品视觉识别方法，其特征在于，

所述得到所述待测神经网络的准确率之后，还包括：

若所述准确率低于所述预设准确率，则对所述第二神经网络的预设参数进行调整，将所述训练集输入调整后的第二神经网络中进行训练，直至调整后的准确率高于所述预设准确率为止。

6.根据权利要求1所述的基于神经网络的多类物品视觉识别方法，其特征在于，

所述确定所述待识别物品的单品信息，包括：

确定所述待识别物品的单品信息，所述单品信息包括商品编号、单价信息以及卡路里信息；

所述单价信息以及所述卡路里信息为基于所述商品编号在商品信息映射表中确定得到的；所述商品信息映射表为预存的映射模型数据库。

7.根据权利要求6所述的基于神经网络的多类物品视觉识别方法，其特征在于，

所述确定所述待识别物品的单品信息之后，包括：

获取所述待识别物品的物品重量；

根据所述物品重量以及所述单价信息确定所述待识别物品的总价格；

根据所述物品重量以及所述卡路里信息确定所述待测物品的总卡路里；

将所述总价格以及所述总卡路里进行显示以及标签打印。

8.根据权利要求1所述的基于神经网络的多类物品视觉识别方法，其特征在于，

所述确定所述待识别物品的目标物品类型，包括：

若所述待识别物品的物品类型为所述N个物品类型的其中一个，则确定所述待识别物品的目标物品类型；

若所述待识别物品的物品类型为所述N个物品类型以外的物品类型，则判断所述待识别图像的分辨率是否达到预设分辨率水平；

若达到所述预设分辨率水平，则通过所述粗识别神经网络的自训练新增所述待识别物品的物品类型，并通过所述精识别神经网络的自训练新增所述待识别物品的单品信息；

若未达到所述预设分辨率水平，则获取物品类型新增信息以及单品新增信息，根据所述物品类型新增信息新增所述待识别物品的物品类型以及根据所述单品新增信息新增所述待识别物品的单品信息。

9.一种电子设备，其特征在于，包括：

处理器；以及

存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1-8中任一项所述的方法。

10.一种计量设备，其特征在于，包括：如权利要求9所述的电子设备，还包括：

拍摄模块，用于获取待识别物品的待识别图像；

称重模块，用于获取所述待识别物品的物品重量；

显示模块，用于显示所述待识别物品的总价格与总卡路里；

打印模块，用于打印所述待识别物品的总价格与总卡路里的标签。

Images