CN104792398A

CN104792398A - 一种基于水果蔬菜的识别的一体秤

Info

Publication number: CN104792398A
Application number: CN201510004587.8A
Authority: CN
Inventors: 王燕清; 石朝侠; 庄路路
Original assignee: Harbin University of Science and Technology
Current assignee: Harbin University of Science and Technology
Priority date: 2015-01-06
Filing date: 2015-01-06
Publication date: 2015-07-22

Abstract

本发明涉及一种基于水果蔬菜识别的一体秤，通过称台上的摄像头采集的图片，进行数据分析，通过算法模块辨识出果蔬的种类；通过RFID读写器读出果蔬上的标签的产品信息，与摄像头的数据进行信息互补；通过称重传感器获取物品的重量信息，再与内部单价相乘，打印输出顾客的采购信息和物品信息溯源，分析传感器传回的数据判断,然后做出相应的信息输出；本一体秤的研发也可以为顾客远程在线观看过秤和称重过程，对整个操作可以远程在线实时访问。并且经过大量的数据积累和分析，可以在手机客户端做更多的应用扩展。本发明是将视频处理和射频处理技术相结合的一体化识别秤，能够节约人力、物力，从而产生巨大的经济效益和社会效益。

Description

一种基于水果蔬菜的识别的一体秤

技术领域：

本发明涉及一种基于水果蔬菜的识别的一体秤，通过称台上的摄像头采集的图片，进行数据分析，通过算法模块辨识出果蔬的种类；通过RFID读写器读出果蔬上的标签的产品信息，与摄像头的数据进行信息互补；通过称重传感器获取物品的重量信息，再与内部单价相乘，打印输出顾客的采购信息和物品信息溯源，分析传感器传回的数据判断,然后做出相应的信息输出；尤其，现在开的网店很多，重量和品质信息无法保证，本一体秤的研发可以为顾客远程在线观看过秤和称重过程，对整个操作可以远程在线实时访问。并且经过大量的数据积累和分析，可以在手机客户端做更多的应用扩展。

背景技术：

近年来，随着计算机技术与数字图像处理技术的迅猛发展，计算机视觉在农业领域得到了广泛的应用。目前，超市和农贸市场的果蔬的售卖流程是顾客挑选好产品，然后工作人员放在电子称上手动称重，这样的操作方式带来了各种不便。因水果和蔬菜的品种很多，每种水果和蔬菜的价格有差异，一般使用符号来标记每种产品的价格，比如数字20141021f0001，代表苹果，每千克4元，这样就需要工作人员记住和查找大量的信息去操作电子称。顾客在购买好果蔬时，需要等待超市里面的工作人员把购买好的产品放到电子称上称出产品的价格。大多数工作人员为了不出错，把大量的标记记在纸上，每当需要称出果蔬的价格时，工作人员需要查看记录在纸上的标记。此工作方式的效率较慢，需要排队等待过秤，有时工作人员不在的情况下，会导致顾客放弃采购欲望。为了解决超市和农贸市场的农产品的价格需要靠人记忆的问题，实现农产品的智能化识别和提取相关信息，本发明提出了基于水果和蔬菜的识别方法的一种新型的智能化电子称。这种智能化电子称由显示器，主机，RFID读写器，打印机，摄像头，称重台等主要部件组成。这种智能化电子称不再需要超市和农贸市场的工作人员进行操作，完全自动化给出顾客购买的果蔬的价格，实现电子称的智能化管理。同时，还可利用RFID读写器根据产品上的标签的技术进行对果蔬溯源。从而，可以让顾客可以对整个果蔬全信息的溯源了然于胸，真正感受到采购过程的优质体验。通过摄像机对放在称重平台上的产品进行抓拍，让主机对获取到的信息进行处理，内部算法模块利用模板匹配的算法，对获取到的图像信息进行计算，确定消费者购买的是什么样的果蔬产品。主机匹配到了产品的信息，按照设计好的程序（每种产品对应相应的单价），根据电子称称出的总重量计算出产品的总价格。并把相关的信息显示在显示器上，比如产品的种类，总重，单价，产地等信息。然后在通过打印机打印出条形码，顾客把条形码贴在购买的产品上，即可去收银台付钱。本发明是将视频处理和射频处理技术相结合的一体化识别秤，能够节约人力、物力，从而产生巨大的经济效益和社会效益。

发明内容：

本发明的目的是提供一种基于水果蔬菜的识别的一体秤。

上述的目的通过以下的技术方案实现：

1. 一种基于水果蔬菜的识别的一体秤，其组成包括：智能化电子称由显示器，主机，RFID读写器，打印机，摄像头，称重台等主要部件组成，所述的微控制器为基于16位CPU处理芯片扩展板。显示器，RFID读写器，打印机，摄像头分别与16位CPU处理芯片扩展板连接。其功效是：这种智能化电子称不再需要超市和农贸市场的工作人员进行操作，完全自动化给出顾客购买的果蔬的价格，实现电子称的智能化管理。同时，还可利用RFID读写器根据产品上的标签进行对果蔬溯源。通过摄像机对放在称重平台上的产品进行抓拍，让主机对获取到的信息进行处理，内部算法模块利用模板匹配的算法，对获取到的图像信息进行计算，确定消费者购买的是什么样的果蔬产品。主机匹配到了产品的信息，按照设计好的程序（每种产品对应相应的单价），根据电子称称出的总重量计算出产品的总价格。并把相关的信息显示在显示器上，比如产品的种类，总重，单价，产地等信息。然后在通过打印机打印出条形码，顾客把条形码贴在购买的产品上，即可去收银台付钱。本发明是将视频处理和射频处理技术相结合的一体化识别秤，能够节约人力、物力，从而产生巨大的经济效益和社会效益。

基于NCC模板匹配算法的原理

为了能够在图像的识别，配准等具体问题中针对不同的条件提出了许多匹配算法。对于灰度图像的空域模板匹配算法可分为基于灰度值的方法，基于特征点匹配的方法。基于特征点的匹配包括特征提取和特征匹配两大环节。特征点匹配算法如SIFT算法。传统的SIFT图像特征匹配算法因其特征描述算子维度过高而造成的计算量大，实时性差。特征匹配的算法处理的复杂的图像时，往往难尽人意，但此类方法具有尺度不变性。NCC是一种经典的基于灰度值的模板匹配算法，具有很高的准确性，适应性，抗噪声性好，它的原理是根据图像的灰度值在源图像S中寻找定位给定目标图像T（即模板图像）的技术。通过计算相关函数来找到它在源图像中的坐标位置。如图2所示，设模板为T(m,n)，其大小M*M;搜索图像为S(m,n),其大小为N*N,且N>>M。将模板T叠放在搜素图S上平移，模板覆盖下的区域成为子图Si,j,(i,j)为区域左上角点在图像S中的坐标，称为参考点，通过比较T和Si,j的相似度完成匹配。

搜索图和模板的相似性是通过函数来度量的，则NCC匹配算法可定义为：

（1）

其中公式(1)所示，这里的 为模板T(N*N)的均值， 为搜索图像S(M*M)在当前窗口(i,j)下的均值。

算法的特点是抗噪声非常好，它的这样优点十分明显，但该算法也受到其自身缺点的影响：对局部光照敏感，且匹配速度很慢，时间复杂度高，分子、分母都存在大量的卷积运算，计算耗费大量的时间，根本无法满足实时性要求和快速性。

基于改进NCC模板匹配的果蔬识别算法

图像匹配是图像处理的经典的问题，在医学，数字图像处理上有着举足轻重的应用，因而有很多模板匹配的算法，但是这些算法自身有很多的局限性，比如对噪声敏感，对光照敏感和匹配速度慢等缺点。

是一个经典的模板匹配算法，其有许多模板匹配算法无法超越的优点，但是其计算量大，影响了其匹配的速度。为了能够达到匹配的精度和实时性，对其进行了改进。采用科学有效的方法对其改进：差分求和与多值模板匹配。对于公式（1）的分子存在着大量的卷积运算，差分求和可以实现快速的卷积运算，从而减少了算法的计算的复杂程度，提高了运算的速度。设两个大小为N的一维数组m(x)和n(x)，x=1,2,3,…,k,根据查分定理，两个数组的乘积等于一个数组的差分和另一个数组的累进求和后的乘积，即：

(2)

其中：

(3)

(4)

(5)

(6)

将以上的公式运用到公式（1）。本文把模板内的所有的点保存到一维数组m（x）中，在子图所对应的点保存到n（x）。根据差分定理，M（x）是对m（x）的差分数组，M(x)=m(x)-m(x+1)，并且根据公式（4）对子图进行累积求和得到N（x）。因为图像中灰度值变化不大，这样就产生了大量的0，1.乘法可以忽略不计，大大的提高了匹配速度。为了进一步提高匹配速度，将模板T(m,n)进行划分，划分为大小为r _b *r _h 的不相交，不重叠的小矩形块，每个小矩形块称谓r。用含有n个r的矩形块表示模板T。令每个r块的平均灰度为gi，根据g组成一个集合{g _i ，1,2,3，，，k}，并将集合聚类成k类，则构成k值模板，T _k 。将搜索图也按照k值模板的划分方式，划分为rb*rh的不相交的，不重叠的矩形r。模板Tk在搜索图S上逐块平移，为了在加快速度可以采用隔行，隔列的方法，搜索窗口所覆盖的子图为S _i,j ，i，j为子图在搜索图s上的坐标。具体步骤如下：

（1）设置一个常数为最大相似度量m _R =0.9；

（2）将模板T _k 中的第一块T ₁ 首先与搜索图S中逐块比较，根据公式(1)计算相似度R ₁ ，如果相似度R大于m _R ，则记录当前的位置，执行下一步。否则，失败，跳出程序，匹配失败。

（3）将模板T _k 中的第二块T ₂ 与搜索图S中逐块比较，计算出相似度R ₂ ，如果相似度大于m _R ，则记录当前位置，执行下一步，否则，失败，跳出程序，匹配失败。

按照以上的方法，依次执行，直到把模板T _k 中的所有块都匹配成功，则在找到搜索图S中找到目标。

实验结果及分析

实验采用的实验环境：内存2GB，显卡512MB，操作系统为win7，仿真的平台为vs2012+opencv4.8和QTCREATOR+CMAKE。

本文采取的图片通过IPone5手机拍摄获得，在光照，噪声，旋转变换下对改进的NCC模板匹配算法进行测试。

传统的模板匹配有很多，有的对光照敏感，有的对噪声敏感，各有各的优缺点，传统的NCC模板匹配算法对局部光照敏感，对噪声都有一定的抵抗力。它的匹配率很高，算法也比较重要。但是NCC算法的时间复杂度太大，导致了匹配的时间很长，不适合需要快速匹配的场景。若在超市里购买水果的人很多，这就要求算法能够及时的识别顾客所购买的水果和蔬菜等。所以需要解决NCC算法时间复杂度的问题，本文提出的改进的NCC可以很好地解决了这些问题。改进的NCC不但对光照和噪声都具有一定的抵抗力，而且采用了两种方法对其进行改进，提高了算法的匹配速度，使得其对复杂场景更加的适应，具有较好的实时性和准确性。

传统的sift算法图像共检测出51个特征点，维数为128维。传统的sift算法对光照，噪声和旋转具有很好的适应性。Sift算法具有尺度空间不变性，但是sift算法的维数较高，使得计算量增大，造成了算法的时间复杂度增大，使得匹配时间变大。

针对含有噪声的情况下，各个算法对图像的匹配性能如下：

表1：三种算法的准确率和算法耗时对比

算法的名称	准确率	耗时/s
			索引表匹配	61.31%	0.1023
Sift特征匹配	93.45%	2.839
			改进NCC模板匹配	94.34%	0.2012

通过对以上算法的分析，索引表匹配的算法在噪声存在的情况下，准确性较低，耗时较少。如果参考值得选取过大，对噪声会有一定的免疫力，但算法的计算量随着增加，实时性降低，匹配的效果不理想。Sift特征匹配算法具有很多的优点，其对光照，旋转，噪声都有很好的适应性，是一个比较不错的算法，但是其特征点描述算子具有128维，影响了匹配的速度，降低了实时性。改进的NCC模板匹配算法，对噪声和光照都具有免疫性，通过对其的改进减少了算法的时间的计算量，减少了算法的匹配的时间，其具有一定的实时性，大大的提高了算法对复杂环境的适应性。其匹配的准确率符合需求；其精度，速度和抗噪性都能够满足应用的要求。

本发明的有益效果：

(1)信息可追溯：因食品安全引发的变革，使客户更多的关注于物品的品质，通过本一体秤，实现了信息的可追溯性。

利用率高：电子设备代替人工作业，大大提高工作效率，节约人工成本。

安全性高：智能设备作业，信息可存储可溯源，也可以应用到网上购物体验中，让顾客真正做到买得放心。

附图说明：

附图1是基于水果蔬菜一体化识别秤的结构图。

图2 改进的NCC模板匹配算法的实验匹配结果。通过实验可以证明，利用改进的NCC模板匹配，可以对水果和蔬菜很快和准确的找到目标。图2所示：图像（a）是香蕉的模板图像，存在模板库中，图像（b）是通过摄像头拍摄到的图像输入到计算机中，通过和模板库中香蕉的模板进行匹配，然后输出匹配的结果图像。同理，图像（c）是猕猴桃的模板图像，图像（d）是通过电子称上的摄像头拍摄的图像，然后输入到计算机中，通过和模板库中的猕猴桃模板进行匹配，然后输出匹配后的猕猴桃图像。

具体实施方式：

1. 一种基于水果蔬菜识别的一体秤，其组成包括：智能化电子称由显示器，主机，RFID读写器，打印机，摄像头，称重台等主要部件组成。

根据权利要求1所述的一种基于水果蔬菜识别的一体秤，其特征是：所述的微控制器为基于16位CPU处理芯片扩展板。

根据权利要求1或2所述的一种基于水果蔬菜识别的一体秤，其特征是：所述的，显示器，RFID读写器，打印机，摄像头分别与16位CPU处理芯片扩展板连接。

根据权利要求1或2、3所述的一种基于水果蔬菜识别的一体秤，其功效是：这种智能化电子称不再需要超市和农贸市场的工作人员进行操作，完全自动化给出顾客购买的果蔬的价格，实现电子称的智能化管理。同时，还可利用RFID读写器根据产品上的标签进行对果蔬溯源。通过摄像机对放在称重平台上的产品进行抓拍，让主机对获取到的信息进行处理，内部算法模块利用模板匹配的算法，对获取到的图像信息进行计算，确定消费者购买的是什么样的果蔬产品。主机匹配到了产品的信息，按照设计好的程序（每种产品对应相应的单价），根据电子称称出的总重量计算出产品的总价格。并把相关的信息显示在显示器上，比如产品的种类，总重，单价，产地等信息。然后在通过打印机打印出条形码，顾客把条形码贴在购买的产品上，即可去收银台付钱。本发明是将视频处理和射频处理技术相结合的一体化识别秤，能够节约人力、物力，从而产生巨大的经济效益和社会效益。

针对传统的NCC图像模板匹配算法因其自身计算量大，实时性差的问题，提出了一种采用差分求和与多值模板匹配的改进NCC模板匹配算法。通过改进的NCC算法对测试样本进行识别，实现了超市和农贸市场的特定环境下的果蔬识别。结果实验表明：在果蔬任意摆放，不同光照，噪声等复杂环境下，改进的NCC算法对果蔬的识别率具有90%以上，具有实时性和鲁棒性。因此利用改进的NCC算法对果蔬售卖可实现农产品的智能化识别，减轻了工作人员的工作量，提高了效率

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于水果蔬菜识别的一体秤及其方法，其组成包括：智能化电子称由显示器，主机，RFID读写器，打印机，摄像头，称重台等主要部件组成。

2.根据权利要求1所述的一种基于水果蔬菜识别的一体秤，其特征是：所述的微控制器为基于16位CPU处理芯片扩展板。

3.根据权利要求1或2所述的一种基于水果蔬菜识别的一体秤，其特征是：所述的，显示器，RFID读写器，打印机，摄像头分别与16位CPU处理芯片扩展板连接。

4.根据权利要求1或2、3所述的一种基于水果蔬菜识别的一体秤，其功效是：这种智能化电子称不再需要超市和农贸市场的工作人员进行操作，完全自动化给出顾客购买的果蔬的价格，实现电子称的智能化管理；同时，还可利用RFID读写器根据产品上的标签进行对果蔬溯源；通过摄像机对放在称重平台上的产品进行抓拍，让主机对获取到的信息进行处理，内部算法模块利用模板匹配的算法，对获取到的图像信息进行计算，确定消费者购买的是什么样的果蔬产品；主机匹配到了产品的信息，按照设计好的程序（每种产品对应相应的单价），根据电子称称出的总重量计算出产品的总价格；并把相关的信息显示在显示器上，比如产品的种类，总重，单价，产地等信息；然后在通过打印机打印出条形码，顾客把条形码贴在购买的产品上，即可去收银台付钱；本发明是将视频处理和射频处理技术相结合的一体化识别秤，能够节约人力、物力，从而产生巨大的经济效益和社会效益。

5.针对传统的NCC图像模板匹配算法因其自身计算量大，实时性差的问题，提出了一种采用差分求和与多值模板匹配的改进NCC模板匹配算法；通过改进的NCC算法对测试样本进行识别，实现了超市和农贸市场的特定环境下的果蔬识别；结果实验表明：在果蔬任意摆放，不同光照，噪声等复杂环境下，改进的NCC算法对果蔬的识别率具有90%以上，具有实时性和鲁棒性；因此利用改进的NCC算法对果蔬售卖可实现农产品的智能化识别，减轻了工作人员的工作量，提高了效率；以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。