CN101788497A

CN101788497A - 一种基于图像识别技术的嵌入式豆类分类系统

Info

Publication number: CN101788497A
Application number: CN200910251723A
Authority: CN
Inventors: 程俊; 张丰; 王峰
Original assignee: Shenzhen Institute of Advanced Technology of CAS
Current assignee: Shenzhen Institute of Advanced Technology of CAS
Priority date: 2009-12-30
Filing date: 2009-12-30
Publication date: 2010-07-28
Anticipated expiration: 2029-12-30
Also published as: CN101788497B

Abstract

本发明涉及基于图像模式识别技术的固体颗粒自动分类技术，属于图像处理技术领域，特指一种嵌入式的豆类分类系统，可对豆类的组成进行逐级分析，并分割颜色较为接近的豆类混合情况，适用于多种常见的豆类，其嵌入式设计使得整个分类系统可以集合在一个有限的狭小区域内，可满足豆浆机等豆类加工装置对体积的严格限制，从而使得在同一装置内实现多种豆类的加工过程的高度自动化成为可能。

Description

一种基于图像识别技术的嵌入式豆类分类系统

技术领域

本发明涉及一种基于图像识别技术的嵌入式豆类分类系统，可应用于豆类分类、加工的各种场合，属于图像处理技术领域。

背景技术

豆类种类繁多，主要有蚕豆、黄豆、绿豆、黑豆、赤豆、豌豆等。它们具有丰富的营养价值和药用价值，富含蛋白质、脂肪、碳水化合物，还含有A、B、D、E多种维生素以及钙、磷、铁等矿物质。随着人们生活水平的提高和对绿色产品的推崇，各种豆类制品，包括豆腐、豆浆、豆花、豆奶等受到了广大消费者的普遍欢迎。

由于不同的豆类在硬度、受热性、尺度大小等物理特性上有所区别，加工成豆制品时，它们的加工过程有的相对容易，有的则比较困难。若采用统一的加工工艺，容易出现加工过度或加工不够，加工过度会造成营养损失、增加加工时间、而且耗电量多；加工不够会影响豆制品口感和人体吸收，甚至于引起胃肠疾病。为确保加工出的豆制品营养丰富、口感香泽，不同品种的豆类或混合豆类在对磨浆水温、磨浆时间、煮浆时间、凝结压力、凝结时间等参数的调控上会有所区别。因此，有必要为不同的加工对象分别设定一个最优加工工艺。

加工豆制品前，预先识别当前的豆类品种，然后从配方数据库中选择最优工艺流程配方，可实现加工过程的高度自动化。该过程中，加工豆类的分类识别是关键。当前比较流行的方法是频谱分析法，但这类设备体积庞大、价格高昂，不能很好的满足商业化生产。近年来，图像识别技术的相对成熟和计算机技术的高速发展，为该问题提供了新的解决方案。

在现有技术中，专用于豆类分类的图像系统目前还没有，申请号为200710146050.0的专利文件公开了一种基于数字图像处理技术的便携式谷类分析仪，文件描述了一种基于PC控制的谷类质量检测系统，系统用于谷物真伪鉴别和质量检测，偏重于机械结构，没有涉及到具体的图像识别算法；而申请号分别为200810112084.2以及200810111705.5的两篇专利文件公开均用于对大米的识别，先采集图像，然后利用自适应阈值分割法将图像二值化，最后分别统计亮暗特征区域的面积和尺度，其中虽然涉及了算法，但没有学习功能和自调节功能，只能用于缺陷检测，不能用于分类，且采用工业PC或笔记本完成控制，体积庞大、价格高昂。

发明内容

本发明的目的是开发一种低成本、小体积的分类识别系统，能够对豆类进行分类，且具备学习功能和自调节功能，使得例如豆浆机、彩色豆腐加工机、豆花加工机等多种豆类加工设备的“一键操作”成为可能。

为了解决上述问题，本发明公开了一种基于图像识别技术的嵌入式豆类分类系统。采用的技术方案如下：

一种嵌入式豆类分类系统，包括DSP图象处理器、图象采集设备、LED光源、A/D转换单元、数据存储单元，其特征在于，该系统进行豆类分类的实现过程如下：

1)采用图象采集设备采集待分类豆类的样本图像信号；

2)经A/D转换为数字图像信号后由数据传输接口输送到数据存储单元；

3)DSP图像处理器读取数据存储单元上面的图像内容，经有关预处理后进行级联分类；

4)训练标准模板，获取图像的统计信息。用预处理图像与提取的统计信息做比较，结合精确分类算法来最终确定当前加工对象种类。

优选地，所述分类算法是基于U-V二维直方图与分水岭分割相结合的图像分割算法，用于分割颜色较为接近的豆类混合情况。

优选地，所述标准模板图像训练是用支持向量机对样本的标准模板进行训练。

优选地，在采集样本图像信号的过程中，当多种原料混合时，需要搅拌原料后再次采集图像信号，采集到预先设定的图象数量后，将所有图像按照行列对接的方式拼接成一张大图，作为待识别图像。

优选地，在进行级联分类之前，还对待识别图象进行阈值分割，以排除豆类物缝隙阴影区域的干扰。

本发明还公开了一种固体颗粒分类方法，可用于包括豆类在内的任何固体颗粒的分类，该方法的实现步骤如下：

1)采集待分类固体颗粒的样本图像信号；

2)图像处理器读取图像信号，经预处理后进行级联分类；

3)将预处理后的图像与标准模板图像训练后的统计信息做比较，以确定当前固体颗粒的种类。

优选地，所述分类算法是基于U-V二维直方图与分水岭分割相结合的图像分割算法，用于分割颜色较为接近的固体颗粒混合情况。

优选地，在进行级联分类之前，还对待识别图象进行阈值分割，以排除固体颗粒缝隙阴影区域的干扰。

本发明的优点是，提供了一种自动化程度高、低成本、小体积的豆类分类系统，同时为所有固体颗粒提供了一种科学的分类方法。

附图说明

图1：本发明的系统结构框图；

图2：(a)去除阴影前的图像示意图；(b)去除阴影后的图像示意图；

图3：蚕豆和大米混合时U-V二维直方图；

图4：分水岭模型图；

图5：分水岭分割效果图；(a)蚕豆黑豆混合；(b)二维直方图分割；(c)分割出的黑豆；(d)分割出的蚕豆；(e)黄豆红豆混合；(f)二维直方图分割；(g)分割出的红豆；(h)分割出的黄豆

图6：豆类识别流程图；

符号说明

1相机

2密封外壳

3镜头

4环形LED光源

5样品杯体

6分类样品

7模数转换单元

8数据存储单元

9DSP图像处理器

10分水岭

11盆地

12谷底

具体实施方式

本嵌入式图像分类系统基于DSP构建，系统结构框图如图1所示，其包括DSP图象处理器、图象采集设备、A/D转换单元、数据存储单元、环形LED光源等。其具体实现过程如下：

1)打开LED光源，在暗室环境下采用图象采集设备例如相机采集待分类豆类样本的模拟图像信号；

2)模拟图像信号经A/D转换为数字图像信号后由数据传输接口例如USB输送到数据存储单元；

本发明主要解决4个方面的问题，分别是图像采集、豆类初分类、豆类精确分类以及识别与训练。其具体实施方案和实施例如下：

1)图像采集

视觉系统采集到的图像仅能反应物体表面的信息，而原料在豆浆机中的分布具有随机性。当多种原料混合时，采集到的图像中可能不会同时存在所有原料，这时需要搅拌原料后再次采集图像。采集到预先设定的图像数量后，将采集到的所有图像按照行列对接的方式拼接为一张大图，作为待识别图像。

2)豆类初步分类

豆类种类繁多，在此仅以黄豆、绿豆、红豆、黑豆、蚕豆、大米以及它们的两两混合豆类作为分类对象。

在机器视觉识别豆类的过程中，豆类表面的颜色是一个重要特征。颜色特征是一种全局特征，描述了图像或图像区域所对应的景物的表面性质。其优点是不受图像旋转和平移变化的影响，进一步借助归一化还可不受图像尺度变化的影响。

本发明设计了一种级联分类器，分类器中的“级联”是指最终的分类器是有几个简单分类器级联组成。在图像检测中，被检窗口依次通过每一级分类器，这样，在前面几层的检测中，用不同豆类之间比较明显的特征来进行初步分类。

豆类物缝隙区域低亮度的阴影不利于豆类的识别，在初步分类前需要排除这些区域的干扰。取定阈值，对待识别图像进行阈值分割，分割示意图如图2所示。

A)大米与含有黑豆的样品识别

统计样本图像阴影区域占空比、灰度图像的当前方差，然后与标准图像阴影面积、SVM训练方差做比较进行一次初分类。

1)单种大米样品分类：单种的大米缝隙区域面积小于1％，图像方差训练值小于20，相对于其它的可能情况，均明显偏小，设置合适的阈值，可以正确区分出大米。

2)含有黑豆样品分成两大类：由于黑豆与阴影灰度值相近，在阈值分割时黑豆区域也会被分割掉，含有黑豆的样品阴影面积明显大于不含黑豆的阴影面积。SVM训练得到黑豆、红豆与黑豆混合、绿豆与黑豆混合的灰度图像方差均小于60，黄豆与黑豆混合、蚕豆与黑豆混合、大米与黑豆混合的灰度图像方差均大于60。据此可将含有黑豆的样品分为两大类：1.黑豆、红豆与黑豆混合、绿豆与黑豆混合；2.黄豆与黑豆混合、蚕豆与黑豆混合、大米与黑豆混合。

表1.样本图像阴影区域面积比例与灰度图像的方差

B)黑豆、黑豆与红豆混合、黑豆与绿豆混合识别

将三种样品图像的R通道分量与G通道分量分别相减得到R-G图像，G通道分量与B通道分量分别相减G-B图像。训练得到：红豆的R通道分量比绿豆和黑豆图像的R通道分量高，绿豆图像的G通道分量比红豆和黑豆图像的G通道分量高，因此R通道分量减去G通道分量后红豆区域值较高，而G通道分量减去B通道分量后绿豆区域值较高。

统计R-G与G-B图像的均值与方差，分别设置阈值10和阈值20，进行样本二次分类：

1)黑豆与红豆混合分类：如果R-G图像均值和方差均大于设置阈值10，并且G-B图像均值和方差均小于设置阈值20，可以认为样品中含有红豆。

2)黑豆与绿豆混合分类：如果R-G图像均值和方差均小于阈值10，并且G-B图像均值和方差均大于阈值20，可以认为样品中含有绿豆。

3)单种黑豆样品分类：除开上述两种情况后，样品仅含有黑豆。

表2.R-G与G-B图像的均信与方差

C)黑豆与蚕豆、黑豆与黄豆混合、黑豆与大米混合识别

分割出蚕豆、黄豆和大米区域后，将图像的R通道分量与B通道分量分别相减得到R-B图像。统计R通道分量与B通道分量相减后图像的均值与方差。训练得到：大米近似白色，其R通道与B通道分量接近，因此R通道分量与B通道分量相减后值最小，黄豆R通道分量与B通道分量差异最大。分别设置小阈值15和大阈值50进行样本三次分类：

1)黑豆与大米混合分类：如果R-B图像均值小于阈值15，认为是黑豆与大米混合；

2)黑豆与蚕豆的混合分类：如果R-B图像均值大于阈值15且小于阈值50，认为是黑豆与蚕豆的混合；

3)黑豆与黄豆的混合分类：如果R-B图像均值大于阈值50，认为是黑豆与黄豆混合。

表3.R-B图像的均信与方差

D)红豆、绿豆、黄豆以及红豆与绿豆混合样品识别

经以上三次分类后，大米和含有黑豆的样品已被识别。将剩余的样品图像的R通道分量与G通道分量相减，R通道分量与B通道分量相减，G通道分量与B通道分量相减，统计R-G、R-B、G-B图像的均值与方差，然后进行四次分类：

1)单种的绿豆或黄豆样品分类：绿豆和黄豆图像的G-B图像均值均比其它剩余图像大；但绿豆图像G分量较黄豆图像的高，因此绿豆图像的R-G图像均值要小于黄豆图像的R-G图像均值。分别设置2个阈值，可分割出绿豆和黄豆。

2)绿豆与红豆混合、红豆样品识别：红豆、红豆与绿豆混合图像的R-G图像均值比其它可能情况图像均值大。如果R-G图像均值大于阈值30，并且方差大于阈值20，则认为样品中可能为红豆或者红豆与绿豆的混合。

红豆和绿豆以不同比例混合，R-G、R-B、G-B图像均值和方差变化较大，因此从这些参数无法区分是否含有绿豆。为分割出绿豆，对红豆、红豆与绿豆混合时G-B图像进行阈值分割。统计分割出的绿豆区域所占面积的比例，如果绿豆面积所占比例超过1％，则认为是绿豆与红豆的混合，否则为红豆。

表4.剩余的样品灰度图、R-G、R-B、G-B图像的均值与方差

表5.红豆、红豆与绿豆混合时绿豆区域所占面积的比例

样品绿豆面积比例(％)

红豆 0.03

红豆与绿豆混合 12.88

3)豆类精确分类

采用分水岭算法结合二维直方图分割分类的方法来精确分类豆类。传统的阈值分割方法直接利用一维灰度直方图进行图像分割，适用于图像内容不复杂、灰度分布较集中的情况。不同种类的豆类混合，以及光源和相机等条件的制约，给图像分割与识别带来很大困难。

经过初步分类后，11种样品已被识别，剩余10种样品之间特征已不明显，比如两种豆类颜色较为接近，仅用一维直方图阈值化方法难以分割不同豆类的组合。二维直方图在一维直方图灰度信息的基础上，引入局部空间的信息，抗噪声能力有所增强。本发明采用分水岭算法分割YUV颜色空间的U V二维直方图，并将分割后的二维直方图反向投影到原图进行分割。

基本原理如下：

(1)颜色空间的选择

在进行彩色图像的表示时有很多颜色空间可供选择，其中RGB颜色空间是最常用的，然而它有明显的缺点：容易受光照环境的影响。对于同一景色，不同的光照环境图像的RGB值往往差别很大，而且表示颜色的R、G、B值改变相同的色差，所引起的颜色变化程度对于人眼来说是不一样的。因此选择一个合适的颜色空间对于图像分割具有十分重要的意义。

YUV是一种基本色彩空间，Y表示明亮度，也就是灰阶值；而U和V表示的则是色度，作用是描述影像色彩及饱和度，用于指定像素的颜色。采用YUV色彩空间的优点是它的亮度信号Y同色度信号U和V是分离的。如果只有Y信号分量而没有U和V分量，那么这样表示的图像就是黑白灰度图像。在光线发生明显变化后，Y值对应像素点的分布通常随着光照条件而发生明显的变化；而U和V值对应像素点的分布则变化很小。这表明光线的变化对Y值的影响很大，对U和V值的影响则相对很小。

(2)二维直方图

二维直方图由图像的两种属性构成，转换到YUV颜色空间后，选用色度信号U、V组成的二维直方图。它的坐标值(U，V)分别表示色度信号U与色度信号V，而坐标处(U，V)处的数值表示图像中取这两个参数的像素的数目。蚕豆和大米混合时的U-V二维直方图如图3所示。

(3)分水岭算法分割

采用分水岭算法分割U-V二维直方图，即将二维图中亮像素区域分割开，然后将分割后的二维直方图通过直方图反向投影以分割不同种类豆类的图像，便于后续识别分割出的豆类的种类。

分水岭(Watershed)算法本身是一种基于数学形态学的图像分割算法，这里将其用于处理U-V二维直方图。分水岭算法的基本思想是把灰度图像看作地质表面，灰度值对应表面的海拔高低，那么图像中的像素点，按照其地形特征可以归为三类(如图4)。

1)谷底(Minima)：属于局部极小区域内的像素点。将一滴水珠放置在该点处，水珠将会停留在原处。

2)分水岭(Watershed)：属于局部峰值的像素点。将一滴水珠放放置在该点处，水珠将会等概率地流入一个以上不同的谷底。

3)盆地(Catchment Basins)：不属于上述两类区域的像素点。将一滴水珠放放置在该点处，水珠将会流入一个特定的谷底。

因此，图像分割问题可以归结为求分水岭的问题。水从谷底开始不断向上漫溢，当不同盆地中的水面升高到将要汇合到一起时，就产生出一道分水岭。水面不断上涨，只有高出水面的部分可以看到，直到淹没所有分水岭。

按照Vinvent等提出递归算法，模拟淹没的分水岭算法可以按以下步骤实现。设灰度图像I中的像素集合为DI，定义DI中灰度值小于某一阈值h的像素集合：

T_h(I)＝{p|p∈D_I，I(p)≤h} (1)

又设x，y为图像I中的两个像素，定义x，y之间的距离dI(x，y)为：

d_I(x，y)＝inf{l(P)，P∈D_I} (2)

其中P为x，y两点间的任意路径，l(P)为路径P的长度。

定义盆地I ZI(B)：

{IZ}_{I} (B) = \underset{i &Element; [1, k]}{Y} {iz}_{I} (B_{i}) - - - (3)

其中：

根据上述定义，分水岭由盆地集合Xh按照以下递归步骤得到：

X_{h_{\min}} = T_{h_{\min}} (I)

分水岭对应于递归完成后DI中不属于任何一个盆地的序列点的集合，即：

这个递归过程可以模拟水面逐渐淹没盆地的过程，根据水面淹没分水岭的先后顺序，可以得到图像分割的结果。图5为分割效果图。其中：(a)蚕豆黑豆混合；(b)二维直方图分割；(c)分割出的黑豆；(d)分割出的蚕豆；(e)黄豆红豆混合；(f)二维直方图分割；(g)分割出的红豆；(h)分割出的黄豆。

(4)识别与训练

在识别时HSV颜色空间的H、S特征要优于YUV颜色空间的U、V特征，分类更加准确。将分割后的子图(此时图像中仅包含单种豆类)转到HSV颜色空间，提取H、S分量的均值和方差作为特征向量，采用支持向量机(Support Vector Machine，SVM)进行分类。

整个识别流程图如图6所示。

本嵌入式豆类分类系统使得豆浆机、豆花机、豆腐加工机等设备的一体化和智能化成为可能，能自动识别当前加工的原料中含有那些种类的豆类，并且根据识别的结果，从工艺库中自动选择最优的加工工艺配方，而无需人为操作，进而起到简化操作流程，提高自动化的程度的作用。

在本发明中，所提出的“基于U-V二维直方图与分水岭分割相结合的图像分割算法”应用在进行豆类分类的图像分割领域。本领域技术人员应该理解，该算法的应用并不局限于此，还可推广到其他固体颗粒分类基于颜色的图像分割领域。

在本发明中，检测对象列举了黄豆、绿豆、红豆、黑豆、蚕豆、大米以及它们的两两混合豆类、谷物，本领域技术人员应该理解，该分类系统尤其是分类方法的适用对象的种类并不局限于此，理论上，其可以扩展到任何固体颗粒的分类，只需重新对SVM分类器进行相应分类即可。

上面以举例方式对本发明进行了说明，但本发明不限于上述具体实施例，凡基于本发明所做的任何改动或变型均属于本发明要求保护的范围。

Claims

1.一种嵌入式豆类分类系统，包括DSP图象处理器、图象采集设备、LED光源、A/D转换单元、数据存储单元，其特征在于，该系统进行豆类分类的实现过程如下：

1)采用图象采集设备采集待分类豆类的样本图像信号；

2.根据权利要求1所述的豆类分类系统，其特征在于，所述分类算法是基于U-V二维直方图与分水岭分割相结合的图像分割算法，用于分割颜色较为接近的豆类混合情况。

3.根据权利要求1所述的豆类分类系统，其特征在于，所述标准模板图像训练是用支持向量机(SVM)对样本的标准模板进行训练。

4.根据权利要求1所述的豆类分类系统，其特征在于，在采集样本图像信号的过程中，当多种原料混合时，需要搅拌原料后再次采集图像信号，采集到预先设定的图象数量后，将所有图像按照行列对接的方式拼接成一张大图，作为待识别图像。

5.根据权利要求1所述的豆类分类系统，其特征在于，在进行级联分类之前，还对待识别图象进行阈值分割，以排除豆类物缝隙阴影区域的干扰。

6.一种固体颗粒分类方法，其特征在于，该方法的实现步骤如下：

1)采集待分类固体颗粒的样本图像信号；

2)图像处理器读取图像信号，经预处理后进行级联分类；

7.根据权利要求6所述的固体颗粒分类方法，其特征在于，所述分类算法是基于U-V二维直方图与分水岭分割相结合的图像分割算法，用于分割颜色较为接近的固体颗粒混合情况。

8.根据权利要求6所述的固体颗粒分类方法，其特征在于，所述标准模板图像训练是用支持向量机对样本的标准模板进行训练。

9.根据权利要求6所述的固体颗粒分类方法，其特征在于，在采集样本图像信号的过程中，当多种原料混合时，需要搅拌原料后再次采集图像信号，采集到预先设定的图象数量后，将所有图像按照行列对接的方式拼接成一张大图，作为待识别图像。

10.根据权利要求6所述的固体颗粒分类方法，其特征在于，在进行级联分类之前，还对待识别图象进行阈值分割，以排除固体颗粒缝隙阴影区域的干扰。