CN103093208B - 一种果蔬识别的方法及系统 - Google Patents

Abstract

本发明公开了一种果蔬识别的方法及系统，其中，该方法包括：对终端采集到的果蔬图像进行预处理；从预处理后的果蔬图像中提取特征数据并与数据库中果蔬图像对应的特征数据进行差异度检测，获得差异度评分；选择差异度评分最低的若干果蔬图像作为识别结果输出至所述终端。通过采用本发明公开的方法可方便快捷的进行果蔬的识别，提高了工作效率，节约了成本。

Description

一种果蔬识别的方法及系统

技术领域

本发明涉及计算机图像识别技术领域，尤其涉及一种果蔬识别的方法及系统。

背景技术

图像识别技术的研究目标是对观测到的图像中的物体类别并做出有意义的判断。即利用现代信息处理与计算技术来模拟和完成人类的认识和理解过程。

图像识别的方法很多，可概括为三种：统计（或决策理论）法，结构（或句法）方法和神经网络法。统计法以数学上的决策理论为基础，根据这种理论建立统计学识别模型。结构识别是对统计识别方法的补充，统计方法用数值来描述图像的特征，结构哦方法则是用符号来描述图像特征的。神经网络方法是指用神经网络的算法对图像进行识别的方法，神经网络系统是由大量简单的处理单元（神经元）广泛地互相连接而形成的复杂网络系统，它反映了人脑功能的许多基本特性，是人脑神经网络系统的简化，抽象和模拟。

图像识别技术在果蔬识别的应用上有着很好的前景。我国是一个水果和蔬菜生产大国，水果和蔬菜的总产量均居世界之首，近些年来我国的果蔬商品化处理发展比较迅速，特别是计算机视觉技术在果蔬识别分类和品质检测领域中应用越来越广泛。但由于果蔬的种类频多，而且不同的果蔬其形状、颜色和纹理等特征千差万别，如何用较少的特征量来表示果蔬的特征，能否用统一的方法来对不同果蔬进行识别分类，是目前研究的重要课题之一。

当前图像识别所面临者许多问题：首先，完成一幅图像的识别要经过许多不同的处理过程，识别步骤较为繁琐；另外，现在的各种图像识别算法都有一定的局限性，且计算量较大，难以实时应用。

发明内容

本发明的目的是提供一种果蔬识别的方法及系统，可方便快捷的进行果蔬的识别，提高了工作效率，节约了成本。

一种果蔬识别的方法，该方法包括：

对终端采集到的果蔬图像进行预处理；

从预处理后的果蔬图像中提取特征数据并与数据库中果蔬图像对应的特征数据进行差异度检测，获得差异度评分；

选择差异度评分最低的若干果蔬图像作为识别结果输出至所述终端。

一种果蔬识别的系统，该系统包括：

预处理模块，用于对终端采集到的果蔬图像进行预处理；

差异度评分计算模块，用于从预处理后的果蔬图像中提取特征数据并与数据库中果蔬图像对应的特征数据进行差异度检测，获得差异度评分；

识别结果输出模块，用于选择差异度评分最低的若干果蔬图像作为识别结果输出至所述终端。

由上述本发明提供的技术方案可以看出，通过终端对需要识别的果蔬进行拍摄，并利用蔬菜本身的特征进行识别并返回，可以非常方便快捷地得出果蔬的种类，提高了工作效率，节约了成本。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例一提供的一种果蔬识别的方法的流程图；

图2为本发明实施例二提供的又一种果蔬识别的方法的流程图；

图3为本发明实施例三提供的一种果蔬识别的系统的示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

实施例一

图1为本发明实施例一提供的一种果蔬识别的方法的流程图，主要包括如下步骤：

步骤101、对终端采集到的果蔬图像进行预处理。

终端（例如，手机）采集到的果蔬图像后，通过网络发送至服务器端进行识别，或在终端上加载识别所需的数据库后直接在终端进行识别。

由于终端种类繁多，且用户的拍摄角度、距离等因素的影响，若直接对该图像进行识别，则存在较大的误差。因此，服务器端收到图像后需要进行标准化预处理，例如，提取边缘闭合的果蔬图形，并将该图形进行校正及尺寸统一化。

步骤102、从预处理后的果蔬图像中提取特征数据并与数据库中果蔬图像对应的特征数据进行差异度检测，获得差异度评分。

对终端采集到的果蔬图像进行标准化预处理后，可方便的提取各种特征数据，例如，果蔬图形的边缘、直方图、长宽比与颜色均值等。数据库中的果蔬图像均为标准化预处理后的图像，可使用同样的方法提取上述特征数据；

将终端采集到的果蔬图像与数据库中的果蔬图像的特征数据一对一的进行差异度检测，例如，分别进行果蔬图形的边缘、直方图、长宽比与颜色均值的差异度检测，则可获得四个差异度分数，将这四个分数相加则获得最终的差异度评分。

另外，可以通过人工的方式对数据库中的果蔬图像进行标准化预处理，以减少机器的系统误差。并且，可对每一种类的果蔬设置多张标准图像（例如，5张），并分别与终端采集到的果蔬图像进行差异度检测，以减少检测结果的偶然性。

步骤103、选择差异度评分最低的若干果蔬图像作为识别结果输出至所述终端。

图像差异度的评分可表示图像的相似程度，差异度评分越高，则说明相似度越低；反之说明两张图像相似度越高。

步骤102中介绍了数据库中每一种类的果蔬可以设置多张标准图像，因此，差异度评分最低的若干果蔬图像可能对应于同一种类的果蔬。

此时，为了提高识别的准确率，当查找到差异度评分最低的果蔬图像后，则对该果蔬种类对应的其他果蔬图像的差异度评分进行标记，以确保下次搜索能找出不同种类的果蔬图像。

当查找到若干不同结果后（例如，3种），输出至终端。

本发明实施例通过终端对需要识别的果蔬进行拍摄，并利用蔬菜本身的特征进行识别并返回，可以非常方便快捷地得出果蔬的种类，提高了工作效率，节约了成本。需要说明的是，本实施例的技术方案可应用于超市或菜市场进行果蔬识别，也可应用于果蔬识别分类和品质检测。

实施例二

为了便于理解本发明，现结合附图2对本发明做进一步介绍，如图2所示，主要包括如下步骤：

步骤201、接收终端采集到的果蔬图像。

终端可以是手机或带有网络功能的相机等，以便随时随地进行拍摄，方便了用户的使用；并且识别的过程及所需要的数据存放在服务器端，可减少终端计算量及存储空间。

步骤202、预处理所述果蔬图像。

由于终端种类繁多，且用户的拍摄角度、距离等因素的影响，若直接对该图像进行识别，则存在较大的误差。因此，服务器端收到图像后需要进行标准化预处理。

首先，通过边缘检测算子canny算子找出所述果蔬图像的边缘，再进行膨胀处理（例如，使用cvDilate函数），获得使边缘闭合的图形。闭合的图形可能存在多个，可以通过设定图形面积的阈值来进行过滤处理（例如，过滤面积小于300像素的图形），来获得边缘闭合的果蔬图形。

然后对果蔬图像中的果蔬图形的方位进行校正，例如，通过旋转的方式对果蔬图形进行校正；

最后，将校正后的果蔬图像的尺寸统一化（例如，长宽均设为200像素）。

步骤203、调用数据库果蔬图像。

数据库中包含多种蔬菜及水果，每种蔬菜与水果均有多张图像（例如，5张）；且每一张图像均通过人工的方式对数据库中的果蔬图像进行标准化预处理（预处理的方式与步骤202的方式类似），以减少机器的系统误差。

为便于读取图像，可将图像的命名格式设为“果蔬(i).jpg”，每一种类的果蔬对应不同的i值，通过改变i的值，再调用图像读取函数cvLoadImage则可方便的读取库中的图像。

步骤204、对预处理后的果蔬图像及数据库中的果蔬图像进行差异度检测。

本实施例的差异度检测是基于图像的特征数据进行的。示例性的，所提取的特征数据主要包括果蔬图形的边缘、直方图、长宽比与颜色均值。

由前述可知，数据库中果蔬图像命名格式设为“果蔬(i).jpg，通过改变i的值，则可方便的调用数据库中的图像用于进行差异度的检测。

具体的：检测时，分别计算每一特征数据的差异度分数，再将得到的四组特征数据的差异度分数相加，获得最终的差异度评分；数据库中每一果蔬种类的差异度评分均存放在对应的数组allveg[i]中，直到读完库中所有图片为止。其中，每一allveg[i]中可以存在多组差异度评分（例如，每一种类果蔬的包含5张图像时，则对应的数组中存在5组差异度评分）。

下面，对每一特征数据的差异度检测所使用的公式及方法做举例说明。

1）终端采集到的果蔬图形的边缘与数据库中第i张图像果蔬图形边缘的形状差异通过下述公式进行检测：

cannyre[i]=cvMatchShapes(cannyre,cannyi,3)；

其中，cvMatchShapes为边缘匹配函数，cannyre为终端采集到的果蔬图形的边缘，cannyi为数据库中第i张图像果蔬图形的边缘。

2）计算两者直方图差异度时，可以先通过cvSetImageROI（基于给定的矩形设置图像的感兴趣区域）函数找出感兴趣的矩形区域，再计算两者的直方图差异度：

histre[i]=cvCompareHist(histi,hist,CV_COMP_BHATTACHARYYA)；

其中，cvCompareHist为直方图对比函数，histi为数据库中第i张图像果蔬图形所提取出的直方图，hist为终端采集到的果蔬图形所提取出的直方图，CV_COMP_BHATTACHARYYA为比较两个直方图巴氏距离的参数。

3）当通过所述cvSetlmageROI函数找出感兴趣的矩形区域后，可以直接将该矩形的长宽比作为对应果蔬图形的长宽比；再通过下述公式进行长宽比差异度的计算：

changkuanre[i]=fabs(changkuan[i]-changkuanep)；

其中，fabs为绝对值函数，changkuan[i]为数据库中第i张图像果蔬图形的长宽比，changkuanep为终端采集到的果蔬图形的长宽比。

4）分别计算终端采集到的果蔬图形与数据库第i张图像果蔬图形的颜色均值，再通过下述公式计算两者的差异度：

bgrcolor[i]=sqrt(double((b-bi)²+(g-gi)²+(r-ri)²))/255；

其中，sqrt为计算平方根函数，r、g、b为终端采集到的果蔬图形中的红色、绿色、蓝色的均值，ri、gi、bi为数据库中第i张图像果蔬图形中的红色、绿色、蓝色的均值。

5）将步骤1-4所计算的结果相加，获得终端采集到的果蔬图形与数据库第i张图像果蔬图形的差异度评分：

allveg[i]=cannyre[i]+histre[i]+changkuanre[i]+bgrcolor[i]。

步骤205、选择差异度评分最低的若干果蔬图像作为识别结果输出至所述终端。

图像差异度的评分可表示图像的相似程度，差异度评分越高，则说明相似度越低；反之说明两张图像相似度越高。

在选择差异度评分最低的结果时，可以直接搜索allveg数组中的最小值，并通过allveg数组对应i的数值确定果蔬种类。由于本实施例需要返回的若干种（例如，3种）果蔬图像为不同的种类，因此在找出一种结果后就对这种果蔬的所有图像对应的allveg值进行标记，标记过的值跳过下次搜索，以确保下次搜索能找出不同的结果，当找出若干种结果后便将蔬菜名称输出到手机终端进行显示。

本发明实施例通过终端对需要识别的果蔬进行拍摄，并利用蔬菜本身的特征进行识别并返回，可以非常方便快捷地得出果蔬的种类，提高了工作效率，节约了成本。需要说明的是，本实施例的技术方案可应用于超市或菜市场进行果蔬识别，也可应用于果蔬识别分类和品质检测。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。

实施例三

图3为本发明实施例三提供的一种果蔬识别的系统的示意图，该系统主要包括：

预处理模块31，用于对终端采集到的果蔬图像进行预处理；

差异度评分计算模块32，用于从预处理后的果蔬图像中提取特征数据并与数据库中果蔬图像对应的特征数据进行差异度检测，获得差异度评分；

识别结果输出模块33，用于选择差异度评分最低的若干果蔬图像作为识别结果输出至所述终端。

所述预处理模块31包括：

闭合图形获取模块311，用于通过边缘检测算子canny算子找出所述果蔬图像的边缘，并进行膨胀处理，获得N个边缘闭合图形；

果蔬图形获取模块312，用于通过设定闭合图形面积的阈值对所述N个闭合图形进行过滤，获得边缘闭合的果蔬图形；

图形尺寸转换模块313，用于对果蔬图像中所述边缘闭合的果蔬图形的方位进行校正，并将校正后果蔬图像的尺寸转换为预设大小。

所述差异度评分计算模块32包括：

特征数据提取模块321，用于从预处理后的果蔬图像中提取果蔬图形的边缘、直方图、长宽比与颜色均值作为该果蔬图像的特征数据。

所述差异度评分计算32模块还包括：

差异度分数获取模块322，用于分别计算终端采集到的果蔬图像与数据库中果蔬图像中果蔬图形的边缘、直方图、长宽比与颜色均值的差异度，获得四个差异度分数；

差异度评分获取模块323，用于将所述四个差异度分数相加，得到终端采集到的果蔬图像与数据库中果蔬图像的差异度评分。

需要说明的是，上述装置中包含的各个处理单元所实现的功能的具体实现方式在前面的各个实施例中已经有详细描述，故在这里不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (6)

1.一种果蔬识别的方法，其特征在于，该方法包括：

对终端采集到的果蔬图像进行预处理；

从预处理后的果蔬图像中提取特征数据并与数据库中果蔬图像对应的特征数据进行差异度检测，获得差异度评分；

选择差异度评分最低的若干果蔬图像作为识别结果输出至所述终端；

其中，获得所述差异度评分的步骤包括：

分别计算终端采集到的果蔬图像与数据库中果蔬图像中果蔬图形的边缘、直方图、长宽比与颜色均值的差异度，获得四个差异度分数；

将所述四个差异度分数相加，得到终端采集到的果蔬图像与数据库中果蔬图像的差异度评分；具体如下：

终端采集到的果蔬图形的边缘与数据库中第i张图像果蔬图形边缘的形状差异通过下述公式进行检测：

cannyre[i]＝cvMatchShapes(cannyre,cannyi,3)；

其中，cvMatchShapes为边缘匹配函数，cannyre为终端采集到的果蔬图形的边缘，cannyi为数据库中第i张图像果蔬图形的边缘；

计算两者直方图差异度时，先通过cvSetImageROI函数找出感兴趣的矩形区域，再计算两者的直方图差异度：

histre[i]＝cvCompareHist(histi,hist,CV_COMP_BHATTACHARYYA)；

其中，cvCompareHist为直方图对比函数，histi为数据库中第i张图像果蔬图形所提取出的直方图，hist为终端采集到的果蔬图形所提取出的直方图，CV_COMP_BHATTACHARYYA为比较两个直方图巴氏距离的参数；

当通过所述cvSetImageROI函数找出感兴趣的矩形区域后，直接将该矩形的长宽比作为对应果蔬图形的长宽比；再通过下述公式进行长宽比差异度的计算：

changkuanre[i]＝fabs(changkuan[i]-changkuanep)；

其中，fabs为绝对值函数，changkuan[i]为数据库中第i张图像果蔬图形的长宽比，changkuanep为终端采集到的果蔬图形的长宽比；

分别计算终端采集到的果蔬图形与数据库第i张图像果蔬图形的颜色均值，再通过下述公式计算两者的差异度：

bgrcolor[i]＝sqrt(double((b-bi)²+(g-gi)²+(r-ri)²))/255；

其中，sqrt为计算平方根函数，r、g、b为终端采集到的果蔬图形中的红色、绿色、蓝色的均值，ri、gi、bi为数据库中第i张图像果蔬图形中的红色、绿色、蓝色的均值；

将上述计算的结果相加，获得终端采集到的果蔬图形与数据库第i张图像果蔬图形的差异度评分：

allveg[i]＝cannyre[i]+histre[i]+changkuanre[i]+bgrcolor[i]。

2.根据权利要求1所述的方法，其特征在于，所述对终端采集到的果蔬图像进行预处理的步骤包括：

通过边缘检测算子canny算子找出所述果蔬图像的边缘，再进行膨胀处理，获得N个边缘闭合图形；

通过设定闭合图形面积的阈值对所述N个闭合图形进行过滤，获得边缘闭合的果蔬图形；

对果蔬图像中所述边缘闭合的果蔬图形的方位进行校正，并将校正后果蔬图像的尺寸转换为预设大小。

3.根据权利要求2所述的方法，其特征在于，所述从预处理后的果蔬图像中提取特征数据包括：

从预处理后的果蔬图像中提取果蔬图形的边缘、直方图、长宽比与颜色均值作为该果蔬图像的特征数据。

4.一种果蔬识别的系统，其特征在于，该系统包括：

预处理模块，用于对终端采集到的果蔬图像进行预处理；

差异度评分计算模块，用于从预处理后的果蔬图像中提取特征数据并与数据库中果蔬图像对应的特征数据进行差异度检测，获得差异度评分；

识别结果输出模块，用于选择差异度评分最低的若干果蔬图像作为识别结果输出至所述终端；

其中，所述差异度评分计算模块包括：

差异度分数获取模块，用于分别计算终端采集到的果蔬图像与数据库中果蔬图像中果蔬图形的边缘、直方图、长宽比与颜色均值的差异度，获得四个差异度分数；具体如下：

终端采集到的果蔬图形的边缘与数据库中第i张图像果蔬图形边缘的形状差异通过下述公式进行检测：

cannyre[i]＝cvMatchShapes(cannyre,cannyi,3)；

其中，cvMatchShapes为边缘匹配函数，cannyre为终端采集到的果蔬图形的边缘，cannyi为数据库中第i张图像果蔬图形的边缘；

计算两者直方图差异度时，先通过cvSetImageROI函数找出感兴趣的矩形区域，再计算两者的直方图差异度：

histre[i]＝cvCompareHist(histi,hist,CV_COMP_BHATTACHARYYA)；

其中，cvCompareHist为直方图对比函数，histi为数据库中第i张图像果蔬图形所提取出的直方图，hist为终端采集到的果蔬图形所提取出的直方图，CV_COMP_BHATTACHARYYA为比较两个直方图巴氏距离的参数；

当通过所述cvSetImageROI函数找出感兴趣的矩形区域后，直接将该矩形的长宽比作为对应果蔬图形的长宽比；再通过下述公式进行长宽比差异度的计算：

changkuanre[i]＝fabs(changkuan[i]-changkuanep)；

其中，fabs为绝对值函数，changkuan[i]为数据库中第i张图像果蔬图形的长宽比，changkuanep为终端采集到的果蔬图形的长宽比；

分别计算终端采集到的果蔬图形与数据库第i张图像果蔬图形的颜色均值，再通过下述公式计算两者的差异度：

bgrcolor[i]＝sqrt(double((b-bi)²+(g-gi)²+(r-ri)²))/255；

其中，sqrt为计算平方根函数，r、g、b为终端采集到的果蔬图形中的红色、绿色、蓝色的均值，ri、gi、bi为数据库中第i张图像果蔬图形中的红色、绿色、蓝色的均值；

差异度评分获取模块，用于将所述四个差异度分数相加，得到终端采集到的果蔬图像与数据库中果蔬图像的差异度评分，表示为：

allveg[i]＝cannyre[i]+histre[i]+changkuanre[i]+bgrcolor[i]。

5.根据权利要求4所述的系统，其特征在于，所述预处理模块包括：

闭合图形获取模块，用于通过边缘检测算子canny算子找出所述果蔬图像的边缘，并进行膨胀处理，获得N个边缘闭合图形；

果蔬图形获取模块，用于通过设定闭合图形面积的阈值对所述N个闭合图形进行过滤，获得边缘闭合的果蔬图形；

图形尺寸转换模块，用于对果蔬图像中所述边缘闭合的果蔬图形的方位进行校正，并将校正后果蔬图像的尺寸转换为预设大小。

6.根据权利要求5所述的系统，其特征在于，所述差异度评分计算模块包括：

特征数据提取模块，用于从预处理后的果蔬图像中提取果蔬图形的边缘、直方图、长宽比与颜色均值作为该果蔬图像的特征数据。