CN114543960A - 一种基于图像识别的智能秤、系统及称重方法 - Google Patents

Abstract

本发明提供一种基于图像识别的智能秤、系统及称重方法，其中，智能秤包括秤本体，秤本体包括称重台、摄像头和显示器；称重台上布设有压力传感器，摄像头设置于称重台上方，用于采集称重物品的物品图像；秤本体内部设置有中央处理器，中央处理器用于将物品图像分割成多个区域，提取各个区域的颜色特征和纹理特征；对所提取的颜色特征和纹理特征分别进行特征模糊化处理，并压缩上传至云端进行特征比对，获取基于特征比对结果确定的与称重物品相匹配的物品种类；根据压力传感器采集的重量和所述物品种类，确定所述称重物品的价格，并通过显示器进行显示，通过该方式，可以提高称重物品的识别速度和识别准确率，从而有利于提高称重物品的结算效率。

Description

一种基于图像识别的智能秤、系统及称重方法

技术领域

本发明属于设备及其自动化技术领域，尤其涉及一种基于图像识别的智能秤、系统及称重方法。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

现有电子秤通常只具备称重以及计价功能，国内对于智能秤的研究大多数注重于提升精度，而对于利用图像识别技术、压力传感技术、大数据等现代科学技术的能够进行果蔬识别、自动称重的智能电子秤的研究并不常见。

除此之外，台式电子秤在农贸市场和商场超市的使用虽然已经相当普遍，但是随着零售业的发展，超市中的商品的种类也日趋繁多，此时仅依靠传统的电子秤称重并由人工记录维护效率较低，而且出错的几率也难以精确控制，既耗费人力又影响顾客的体验度。在互联网、大数据、人工智能铺天盖地的时代，亟需一种能够连接互联网并能够通过图像识别自动传输数据的新型智能电子秤，以减轻工作人员的从业压力、减少商场用户的排队时间。

发明内容

为解决上述问题，本发明的第一个方面提供一种基于图像识别的智能秤，能够快速准确地识别出物品种类，并结合重量确定价格，从而提高称重物品的结算效率。

为了实现上述目的，本发明主要包括以下几个方面：

第一方面，本发明实施例提供一种基于图像识别的智能秤，包括秤本体，所述秤本体包括称重台、摄像头和显示器；所述称重台上布设有压力传感器，所述摄像头设置于称重台上方，用于采集称重物品的物品图像；

所述秤本体内部设置有中央处理器，所述中央处理器用于将所述物品图像分割成多个区域，提取各个区域的颜色特征和纹理特征；对所提取的颜色特征和纹理特征分别进行特征模糊化处理，并压缩上传至云端进行特征比对，获取基于特征比对结果确定的与所述称重物品相匹配的物品种类；根据压力传感器采集的重量和所述物品种类，确定所述称重物品的价格，并通过显示器进行显示。

作为一可选实施例，所述秤本体还包括人体红外感应器，所述人体红外感应器位于显示器的下方，用于在识别到人体靠近时，触发显示屏显示放置物品的提示信息。

作为一可选实施例，所述中央处理器还用于在未获取到与所述称重物品相匹配的物品种类时，提示工作人员按照预设要求放置称重物品，分别获取所述称重物品的至少三个不同面的物品图像，以及所述称重物品的物品种类，并上传至云端。

作为一可选实施例，所述秤本体上设置有可伸缩机械臂，所述可伸缩机械臂包括舵机和伸缩杆；所述中央处理器还用于根据所述物品图像确定称重物品的扎口位置，通过控制舵机将伸缩杆旋转至所述扎口位置进行扎口。

作为一可选实施例，所述秤本体还包括语音识别麦克风，用于对称重物品的物品种类、重量和价格进行语音播报。

作为一可选实施例，所述秤本体还包括小票自动打印张贴机，用于根据所述中央处理器确定的称重物品的相关信息打印小票，并贴在称重物品上。

作为一可选实施例，所述称重台上设置有按钮盒，所述按钮盒内布设多个功能按钮，通过功能按钮控制智能秤完成相应的动作；所述功能按钮至少包括扎口按钮、贴小票按钮、摄像头开关按钮和语音识别麦克风开关按钮中的一个或多个。

作为一可选实施例，所述秤本体还包括太阳能供电板和锂电池组，所述太阳能供电板所产生的电能可存入到锂电池组中。

第二方面，本发明实施例提供一种智能秤系统，包括相互通信连接的管理后台和如第一方面以及第一方面中任一可选实施例所述的智能秤，所述管理后台用于根据智能秤上传的称重物品的交易信息，确定物品的交易情况；所述交易信息包括物品种类、重量、价格、交易时间。

第三方面，本发明实施例提供一种智能秤的称重方法，用于如第一方面以及第一方面中任一可选实施例所述的智能秤，包括：

获取摄像头采集的物品图像；

将所述物品图像分割成多个区域，提取各个区域的颜色特征和纹理特征；

对所提取的颜色特征和纹理特征分别进行特征模糊化处理，并压缩上传至云端进行特征比对，获取基于特征比对结果确定的与所述称重物品相匹配的物品种类；

根据压力传感器采集的称重信息和所述物品种类，确定所述称重物品的价格。

本发明的有益效果是：

1、通过将物品图像分割成多个区域，提取各个区域的颜色特征和纹理特征，并对所提取的特征进行特征模糊化处理，并压缩上传到云端进行特征比对，确定物品种类，在算力相同的情况下有着比传统方法更快的识别速度以及更高的准确率。

2、通过可伸缩机械臂、语音识别麦克风、小票自动打印张贴机和按钮盒，实现将已识别称重物品进行自动封装并且将价格条形码进行自动化粘贴，便于用户快速及时地对物品进行称重、打包和结账。基于互联网背景和图像识别功能，运用图像识别技术、压力传感技术、大数据技术等现代科学技术，结合客户端操作等，对电子秤进行更新换代，研发设计一款集果蔬称重、自动打包及账单汇总为一体的自动化、程序化、便捷化的智能秤。

3、对智能秤不同使用场景进行了个性化定制，若在室内超市等场所采用外接交流电供电，并内置了大容量锂电池在断电后仍可以在一定时间内继续工作；若在农贸市场等室外场景下则通过太阳能供电板为智能秤供电。

4、管理后台结合相应的管理程序对销售数据进行统计分析，辅助商家对销售情况进行进一步调整。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1是本发明实施例所提供的智能秤的侧视图；

图2是本发明实施例所提供的智能秤的主视图；

图3是本发明实施例所提供的一种智能秤的称重方法流程图；

图4是本发明实施例的一种计算机设备的示意图。

附图标记：1-称重台；2-摄像头；3-显示器；4-承载架；5-人体红外感应器；6-可伸缩机械臂；61-舵机；62-伸缩杆；7-语音识别麦克风；8-小票自动打印张贴机；9-按钮盒；91-扎口按钮；92-贴小票按钮；93-摄像头开关按钮；94-语音识别麦克风开关按钮；10-太阳能供电板；11-锂电池组。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一

请参阅图1和图2，图1是本发明实施例所提供的智能秤的侧视图，图2是本发明实施例所提供的智能秤的主视图，如图中所示，基于图像识别的智能秤包括秤本体，所述秤本体包括称重台1、摄像头2和显示器3；所述称重台1上布设有压力传感器，所述摄像头2设置于称重台1上方，用于采集称重物品的物品图像；

所述秤本体内部设置有中央处理器，所述中央处理器用于将所述物品图像分割成多个区域，提取各个区域的颜色特征和纹理特征；对所提取的颜色特征和纹理特征分别进行特征模糊化处理，并压缩上传至云端进行特征比对，获取基于特征比对结果确定的与所述称重物品相匹配的物品种类；根据压力传感器采集的重量和所述物品种类，确定所述称重物品的价格，并通过显示器进行显示。

其中，摄像头2和显示器3通过承载架4设置于称重台1的上方，承载架4具有耐腐蚀外壳，显示器3可以为触摸智能显示屏，智能秤通过触摸智能显示屏与用户进行信息交互。

在具体实施中，首先由摄像头采集物品图像，然后将采集到的物品图像传递给中央处理器，中央处理器会对物品图像进行图像分割处理，分割处理后提取图像各个区域的颜色特征和纹理特征，将颜色特征与纹理特征综合处理，这样得到的数据特征效果要远远优于单独提取图像的颜色特征或纹理特征时的效果。

在图像特征提取后，对所采集物品图像与被检索图像进行相似度比较，为了提高检索效率与准确度，没有采用传统的逐个区域依次对比方法，而是对所提取的颜色特征和纹理特征分别进行特征模糊化处理，并压缩上传至云端进行特征比对，进而获取基于特征比对结果确定的与所述称重物品相匹配的物品种类，在算力相同的情况下该方式有着比传统方法更快的识别速度以及更高的准确率。

这里，云端将预先存储的图像样本的特征信息与提取采集的物品图像的特征信息进行对比，当物品图像的特征信息与图像样本的特征信息匹配度达到预设值时，匹配成功，以此实现对不同物品的精准区分。

其中，为了提高对物品图像识别的效率和准确度，本申请分别对图像识别过程中的图像特征提取和图像特征匹配这两个重要步骤进行了改进：

(1)图像特征提取：图像特征提取是图像识别技术的根基，图像特征提取的准确性和特征的代表度直接决定了图像识别结果的准确度。

a、对于图像的颜色特征，首先将图像从RGB空间映射到HSV空间，并对各个参量值进行量化处理：将色调量化处理为16级，将饱和度量化为4级，将亮度量化为4级。将三个量化值相组合即可得到每幅图像所对应的256维颜色特征向量：

V_c ⁽ⁱ⁾＝[v_c ⁽ⁱ⁾ ₁,v_c ⁽ⁱ⁾ ₂,…,v_c ⁽ⁱ⁾ ₂₅₆]；

若采用初始的256维颜色特征向量进行图像颜色特征匹配，识别效果较差且计算量也偏大，基于此，本申请在图像特征提取过程中引入模糊化处理可以进一步提高特征向量的代表性，因此将图像颜色特征向量模糊化为：

具体的图像颜色特征模糊化方法为：

其中，mean(V_c ⁽ⁱ⁾)代表特征向量V_c ⁽ⁱ⁾中所有元素的平均值，max(V_c ⁽ⁱ⁾)代表特征向量V_c ⁽ⁱ⁾中所有元素的最大值。

b、对于图像的纹理特征，利用的是灰度共生矩阵的方法，主要统计了灰度共生矩阵的小梯度优势、大梯度优势、灰度分布的不均匀性、梯度分布的不均匀性、能量、灰度平均、梯度平均、灰度均方差、梯度均方差、相关性、灰度熵、梯度熵、混合熵、惯性和逆差矩总共15个特性，通过求解计算图像对应的这15个特性的值，构成图像的15维的纹理特征向量：

V_t ⁽ⁱ⁾＝[v_t ⁽ⁱ⁾ ₁,v_t ⁽ⁱ⁾ ₂,…,v_t ⁽ⁱ⁾ ₁₅]；

若采用初始的15维纹理特征向量进行图像颜色特征匹配，识别效果较差且计算量也偏大，基于此，本申请在图像特征提取过程中引入模糊化处理可以进一步提高特征向量的代表性，因此将图像纹理特征向量模糊化为：

具体的图像纹理特征模糊化方法为：

其中，mean(V_t ⁽ⁱ⁾)代表特征向量V_t ⁽ⁱ⁾中所有元素的平均值，max(V_t ⁽ⁱ⁾)代表特征向量V_t ⁽ⁱ⁾中所有元素的最大值。

假设提取得到的图像颜色特征向量用

表示，纹理特征向量用

表示，则对应图像的特征向量

就可以表示为

(2)图像特征匹配：图像特征匹配是基于内容的图像检索系统的一个重要工作，图像特征匹配主要依赖于两个图像特征向量之间的相似度。为了进一步提高图像检索系统的性能，首先，通过实验对比4种常用的相似性度量方法——基于欧氏距离的相似性度量方法、基于曼哈顿距离的相似性度量方法、基于余弦距离的相似性度量方法和基于最大最小值的相似性度量方法，并根据实验结果在4种常用的相似性度量方法中找出最恰当的相似性度量方法——基于最大最小值的相似性度量方法；其次，通过基于最大最小值的相似性度量方法计算给定查询对象与所有被检索图像之间的相似度，经过穷举的方法，得到了一个最小、最高效的k值，从而找到给定查询图像的k幅近邻图像，并计算给定查询图像与其k幅近邻图像之间的相似度，利用计算出的k个相似度构成查询图像所对应的新的k维模糊特征向量，实现对特征向量的精确识别。

作为一可选实施例，所述秤本体还包括人体红外感应器5，所述人体红外感应器5位于显示器3的下方，用于在识别到人体靠近时，触发显示屏3显示放置物品的提示信息。

在具体实施中，当用户靠近智能秤时，位于触摸智能显示屏下部的人体红外感应器将识别到有人靠近，此时触发显示屏显示放置物品的提示信息，放置物品的提示信息包括将物品放置在包装袋中、将包装袋开口向上等用于提示用户放置物品的提示信息，以便于后续的扎口处理。除此之外，当检测当有人靠近智能秤时，显示屏会同时显示商场或者其他场所的促销信息，从而便于用户了解更多商品信息，提高用户满意度。

作为一可选实施例，所述中央处理器还用于在未获取到与所述称重物品相匹配的物品种类时，提示工作人员按照预设要求放置称重物品，分别获取所述称重物品的至少三个不同面的物品图像，以及所述称重物品的物品种类，并上传至云端。

在具体实施中，用户将正确包装的商品放置在称重台上后，摄像头会对放置在智能秤上的称重物品进行拍照，用于后续进行图像识别，识别出称重物品的种类，由于智能秤主要用于无人商场、大型菜市场等场所，所识别种类有限且可控，因此，中央处理器还可以进行数据采集及图像学习，例如商场引进新品种已存在数据集没有此类商品，此时只需工作人员将新品类商品放置在称重台上并将智能秤设置到学习模式分别拍摄正面、反面、侧面等至少三个不同面的物品图像，就可导入新的物品种类及时更新数据集。

作为一可选实施例，所述秤本体上设置有可伸缩机械臂6，所述可伸缩机械臂6包括舵机61和伸缩杆62；所述中央处理器还用于根据所述物品图像确定称重物品的扎口位置，通过控制舵机将伸缩杆旋转至所述扎口位置进行扎口。

在具体实施中，在进行图像采集和图像处理后，如果可以识别出物品种类，中央处理器根据摄像头采集的物品图像确定扎口位置，根据扎口位置通过舵机将用于扎口的可伸缩机械臂旋转到合适位置，同时驱动伸缩杆将可伸缩机械臂运动到扎口进行扎口，成功扎口后，舵机带动可伸缩机械臂回归到初始位置。

作为一可选实施例，所述秤本体还包括语音识别麦克风7，用于对称重物品的物品种类、重量和价格进行语音播报。

在具体实施中，压力传感器采集的称重物品的重量显示在显示器上，同时通过语音识别麦克风将物品的种类、重量、每公斤单价、实际价格等信息进行语音播报，方便视力障碍人群及时了解物品的称重信息。

此外，当人体红外感应器识别到有人靠近时，显示器显示放置物品的提示信息，除此之外语音识别麦克风也可以同时进行语音播报，辅助提醒用户正确使用智能秤，确保智能秤的正常工作。

作为一可选实施例，所述秤本体还包括小票自动打印张贴机8，用于根据所述中央处理器确定的称重物品的相关信息打印小票，并贴在称重物品上。

作为一可选实施例，所述称重台1上设置有按钮盒9，所述按钮盒9内布设多个功能按钮，通过功能按钮控制智能秤完成相应的动作；所述功能按钮至少包括扎口按钮91、贴小票按钮92、摄像头开关按钮93和语音识别麦克风开关按钮94中的一个或多个。

在具体实施中，当显示屏显示物品信息，用户确认物品信息正确后通过按下位于按钮盒内的贴小票按钮，小票自动打印张贴机自动将带有物品信息及收银时需要的条形码的小票张贴到包装袋上，完成商品的最终封装。

作为一可选实施例，所述秤本体还包括太阳能供电板10和锂电池组11，所述太阳能供电板10所产生的电能可存入到锂电池组11中。

在具体实施中，太阳能供电板与锂电池组构成智能秤的供电系统，针对智能秤的不同使用场景进行了个性化定制，若在超市、商场等室内公众场所内时采用外接交流电供电，并内置了大容量锂电池组在断电后仍可以在一定时间内继续工作；若在农贸市场等室外场景在无法连接外接交流电的情况下将在智能秤顶部安装太阳能发电板，并同样设置锂电池组，太阳能供电板所产生的电能可存入锂电池组中，在恶劣天气无法发电的情况下也可在一定的时间内继续工作，有效避免了特殊情况下智能秤由于储能不足所带来的无法正常工作的状况，同时在智能秤的电量低于预设值时，提醒商家及时充电或者更换锂电池组。

本申请提供一种基于图像识别的智能秤，利用图像识别技术实现称重物品的自动化识别，并且通过可伸缩机械臂、语音识别麦克风、小票自动打印张贴机和按钮盒，实现将已识别称重物品进行自动封装、以及将价格条形码进行自动化粘贴，便于用户快速及时地对物品进行称重、打包和结账，减少商场顾客的排队时间，提高称重物品的结算效率。同时中央处理器通过将物品图像分割成多个区域，提取各个区域的颜色特征和纹理特征，并对所提取的特征进行特征模糊化处理，并压缩上传到云端进行特征比对，确定物品种类，在算力相同的情况下有着比传统方法更快的识别速度以及更高的准确率。

实施例二

本发明实施例提供一种智能秤系统，包括相互通信连接的管理后台和上述的智能秤，所述管理后台用于根据智能秤上传的称重物品的交易信息，确定物品的交易情况；所述交易信息包括物品种类、重量、价格、交易时间。

这样，智能秤将称重物品的交易信息实时上传至管理后台，管理后台通过相应的管理程序实现销售数据以及市场均价的统计分析，辅助商家对销售情况进行进一步调整。

实施例三

请参阅图3，图3是本发明实施例所提供的一种智能秤的称重方法流程图，如图3中所示，所述智能秤的称重方法，用于上述的基于图像识别的智能秤，具体包括以下步骤：

S301：获取摄像头采集的物品图像；

S302：将所述物品图像分割成多个区域，提取各个区域的颜色特征和纹理特征；

S303：对所提取的颜色特征和纹理特征分别进行特征模糊化处理，并压缩上传至云端进行特征比对，获取基于特征比对结果确定的与所述称重物品相匹配的物品种类；

S304：根据压力传感器采集的称重信息和所述物品种类，确定所述称重物品的价格。

实施例四

请参阅图4，图4是本发明实施例的一种计算机设备的示意图。如图4中所示，所述计算机设备400包括处理器410、存储器420和总线430。

所述存储器420存储有所述处理器410可执行的机器可读指令，当计算机设备400运行时，所述处理器410与所述存储器420之间通过总线430通信，所述机器可读指令被所述处理器410执行时，可以执行如上述图3所示方法实施例中的智能秤的称重方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。

实施例五

基于同一申请构思，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述方法实施例中所述的智能秤的称重方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于图像识别的智能秤，包括秤本体，其特征在于，所述秤本体包括称重台、摄像头和显示器；所述称重台上布设有压力传感器，所述摄像头设置于称重台上方，用于采集称重物品的物品图像；

所述秤本体内部设置有中央处理器，所述中央处理器用于将所述物品图像分割成多个区域，提取各个区域的颜色特征和纹理特征；对所提取的颜色特征和纹理特征分别进行特征模糊化处理，并压缩上传至云端进行特征比对，获取基于特征比对结果确定的与所述称重物品相匹配的物品种类；根据压力传感器采集的重量和所述物品种类，确定所述称重物品的价格，并通过显示器进行显示。

2.根据权利要求1所述的智能秤，其特征在于，所述秤本体还包括人体红外感应器，所述人体红外感应器位于显示器的下方，用于在识别到人体靠近时，触发显示屏显示放置物品的提示信息。

3.根据权利要求1所述的智能秤，其特征在于，所述中央处理器还用于在未获取到与所述称重物品相匹配的物品种类时，提示工作人员按照预设要求放置称重物品，分别获取所述称重物品的至少三个不同面的物品图像，以及所述称重物品的物品种类，并上传至云端。

4.根据权利要求1所述的智能秤，其特征在于，所述秤本体上设置有可伸缩机械臂，所述可伸缩机械臂包括舵机和伸缩杆；所述中央处理器还用于根据所述物品图像确定称重物品的扎口位置，通过控制舵机将伸缩杆旋转至所述扎口位置进行扎口。

5.根据权利要求1所述的智能秤，其特征在于，所述秤本体还包括语音识别麦克风，用于对称重物品的物品种类、重量和价格进行语音播报。

6.根据权利要求1所述的智能秤，其特征在于，所述秤本体还包括小票自动打印张贴机，用于根据所述中央处理器确定的称重物品的相关信息打印小票，并贴在称重物品上。

7.根据权利要求1所述的智能秤，其特征在于，所述称重台上设置有按钮盒，所述按钮盒内布设多个功能按钮，通过功能按钮控制智能秤完成相应的动作；所述功能按钮至少包括扎口按钮、贴小票按钮、摄像头开关按钮和语音识别麦克风开关按钮中的一个或多个。

8.根据权利要求1所述的智能秤，其特征在于，所述秤本体还包括太阳能供电板和锂电池组，所述太阳能供电板所产生的电能可存入到锂电池组中。

9.一种智能秤系统，其特征在于，包括相互通信连接的管理后台和如权利要求1-8任一项所述的智能秤，所述管理后台用于根据智能秤上传的称重物品的交易信息，确定物品的交易情况；所述交易信息包括物品种类、重量、价格、交易时间。

10.一种智能秤的称重方法，用于如权利要求1-8任一项所述的智能秤，其特征在于，包括：

获取摄像头采集的物品图像；

将所述物品图像分割成多个区域，提取各个区域的颜色特征和纹理特征；

对所提取的颜色特征和纹理特征分别进行特征模糊化处理，并压缩上传至云端进行特征比对，获取基于特征比对结果确定的与所述称重物品相匹配的物品种类；

根据压力传感器采集的称重信息和所述物品种类，确定所述称重物品的价格。

Images