CN103914708A

CN103914708A - 基于机器视觉的食品品种检测方法及系统

Info

Publication number: CN103914708A
Application number: CN201410038701.4A
Authority: CN
Inventors: 冯平; 程涛; 徐刚; 孙高磊; 王燕燕
Original assignee: Individual
Current assignee: Individual
Priority date: 2014-01-26
Filing date: 2014-01-26
Publication date: 2014-07-09
Anticipated expiration: 2034-01-26
Also published as: CN103914708B

Abstract

本发明公开了一种基于机器视觉的食品品种检测方法及系统，所述方法包括以下步骤：S1，通过CCD图像采集模块采集被测食品图像信息；S2，对被测食品图像信息进行预处理；S3，提取被测食品的图像特征；S4，将提取的被测食品图像特征与数据库中存储的标准图像特征进行对比，确定被测食品品种。本发明能够快速、准确地检测出食品的品种，特别是没有外包装的食品，还能减少人力资源成本。

Description

基于机器视觉的食品品种检测方法及系统

技术领域

本发明涉及一种基于机器视觉的食品品种检测方法及系统，属于食品检测技术领域。

背景技术

随着生活水平的不断提高，生活节奏越来越快，外卖食品也越来越受到顾客的广泛欢迎。购买食品时，通过扫码器扫描食品外包装上的条形码或二维码，来获得食品品种等信息。而对于面包、寿司之类的食品，在顾客选购时，往往没有外包装包裹，因而没有贴条形码或二维码的位置；在付款时，很难得知该食品的品种，只能通过人为辨别外观来判断食品品种，从而确定价格。由于食品种类繁多，或者售货员的失误，容易导致对食品品种的错误判断，影响购买效率，甚至会对顾客或销售者的利益造成损害。

发明内容

本发明的目的在于，提供一种基于机器视觉的食品品种检测方法及系统，能够快速、准确地检测出没有外包装的食品的品种。

为解决上述技术问题，本发明采用如下的技术方案：

一种基于机器视觉的食品品种检测方法，包括以下步骤：

S1，通过CCD图像采集模块采集被测食品图像信息；

S2，对被测食品图像信息进行预处理；

S3，提取被测食品的图像特征；

S4，将提取的被测食品图像特征与数据库中存储的标准图像特征进行对比，确定被测食品品种。

前述的基于机器视觉的食品品种检测方法中，步骤S2包括：

S21，进行形态学运算(如选择膨胀、腐蚀、开闭运算)，通过一定形态结构元素度量和提取图像中对应形状来简化图像数据，除去不相干元素，保持被测食品图像的基本形状与特征；

S22，选择线性锐化滤波运算对被测食品图像进行去噪，删除来自外部和内部干扰的噪音点；

S23，对图像独立的像素点进行处理，使每个灰度对象对应一个灰度级，并通过改变原始数据灰度范围使被测食品图像实现白平衡校正。

前述的基于机器视觉的食品品种检测方法中，步骤S3包括：

S31，根据被测食品图像与背景的差异，采用最大类间方差法对图像进行阈值分割，提取被测食品图像轮廓，获取被测食品的尺寸信息；

S32，提取被测食品RGB各层灰度直方图，统计提取的被测食品轮廓图像的RGB各层中每一个灰度级像素比例，即轮廓图像中各级灰度出现的频率；

S33，将RGB图像转换为HSV图像，

H = \{\begin{matrix} \arccos \frac{(R - G) + (R - B)}{2 \sqrt{{(R - G)}^{2} + (R - B) (G - B)}} (B \leq G) \\ 2 π - \arccos \frac{(R - G) + (R - B)}{2 \sqrt{{(R - G)}^{2} + (R - B) (G - B)}} (B > G) \end{matrix},

S = \frac{\max (R, G, B) - \min (R, G, B)}{\max (R, G, B)},

V = \frac{\max (R, G, B)}{255},

式中，R、G、B分别表示RGB图像各层灰度值；

提取被测食品HSV图像的色相、饱和度和亮度信息，量化这些参数信息，并计算量化参数的比例。

前述的基于机器视觉的食品品种检测方法中，步骤S33中的量化色相、饱和度和亮度参数具体为：

(1)将色相划分为红(对应下式的0)、橙(对应下式的1)、黄(对应下式的2)、绿(对应下式的3)、青(对应下式的4)、蓝(对应下式的5)、紫(对应下式的6)、品红(对应下式的7)8个等级，具体为：

H_{i} = \{\begin{matrix} 0 (0 \leq H < \frac{\max (H)}{8}) \\ 1 (\frac{\max (H)}{8} \leq H < \frac{\max (H)}{4}) \\ 2 (\frac{\max (H)}{4} \leq H < \frac{3 \max (H)}{8}) \\ 3 (\frac{3 \max (H)}{8} \leq H < \frac{\max (H)}{2}) \\ 4 (\frac{\max (H)}{2} \leq H < \frac{5 \max (H)}{8}) \\ 5 (\frac{5 \max (H)}{8} \leq H < \frac{3 \max (H)}{4}) \\ 6 (\frac{3 \max (H)}{4} \leq H < \frac{7 \max (H)}{8}) \\ 7 (\frac{7 \max (H)}{8} \leq H \leq \max (H)) \end{matrix};

(2)将饱和度划分为欠饱和(对应下式的0)、中饱和(对应下式的1)、饱和(对应下式的2)、较高饱和(对应下式的3)4个等级，具体为：

S_{i} = \{\begin{matrix} 0 (0 \leq S < \frac{\max (S)}{4}) \\ 1 (\frac{\max (S)}{4} \leq S < \frac{\max (S)}{2}) \\ 2 (\frac{\max (S)}{2} \leq S < \frac{3 \max (S)}{4}) \\ 3 (\frac{3 \max (S)}{4} \leq S \leq \max (S)) \end{matrix};

(3)将亮度划分为黑色(对应下式的0)、深灰色(对应下式的1)、浅灰色(对应下式的2)、白色(对应下式的3)4个等级，具体为：

V_{i} = \{\begin{matrix} 0 (0 \leq V < \frac{\max (V)}{4}) \\ 1 (\frac{\max (V)}{4} \leq V < \frac{\max (V)}{2}) \\ 2 (\frac{\max (V)}{2} \leq V < \frac{3 \max (V)}{4}) \\ 3 (\frac{3 \max (V)}{4} \leq V \leq \max (V)) \end{matrix} .

前述的基于机器视觉的食品品种检测方法中，步骤S4包括：

S41，将被测食品图像灰度直方图与数据库中的标准图像灰度直方图进行比较，计算灰度直方图差值h，式中，p_i是被测图像灰度值i的概率，q_i是数据库标准图像灰度值i的概率，L为灰度级总数，并对灰度直方图差值进行排序，差值越小，其优先级越高；

S42，将被测食品图像特征的各色相值与数据库中的标准图像色相值进行比较，计算色相差值R，式中，r_i是测试图像色相值i的概率，s_i是数据库标准图像色相值i的概率，S为色相值级数，并对色相差值进行排序，差值越小，其优先级越高；

S43，比较最小灰度直方图差值对应的索引值与最小HSV图像色相差值对应的索引值是否相同；若相同则该标准图像为被测食品图像所对应的标准图像，输出该标准图像在数据库中的索引并结束比较；若不相同则继续比较；

S44，按照优先级顺序，比较下一个优先级的被测食品图像灰度直方图差值对应的索引值与HSV图像色相差值对应的索引值是否相同；

若相同，则该标准图像为被测食品图像所对应的标准图像，输出该标准图像在数据库中的索引并结束比较；

若不相同，则比较两个索引值对应的HSV图像特征差值大小，较小值对应的索引为被测食品的标准图像，输出该较小值对应的索引并结束比较；

若不能找出被测食品图像灰度直方图差值对应的索引值和HSV图像色相差值对应的索引值或者任意一个对应的索引值，则提高被测食品图像灰度直方图差值或HSV图像色相差值的比较范围大小，重复步骤S44，直至结束比较。

实现前述方法的基于机器视觉的食品品种检测系统，包括：

CCD图像采集模块，用于采集被测食品图像信息；

图像预处理模块，用于对采集的被测食品图像信息进行预处理；

图像特征提取模块，用于提取被测食品的图像特征；

标准图像特征数据库，用于存储食品的标准图像特征信息；

及图像特征比较模块，用于将提取的被测食品的图像特征与数据库中存储的标准图像特征进行对比，确定食品品种。

前述的基于机器视觉的食品品种检测系统中，图像预处理模块包括：

形态学运算模块，用于进行形态学运算，通过一定形态结构元素度量和提取图像中对应形状来简化图像数据，除去不相干元素，保持被测食品图像的基本形状与特征；

滤波去噪模块，用于选择线性锐化滤波运算对被测食品图像进行去噪，删除来自外部和内部干扰的噪音点；

及白平衡校正模块，用于对图像独立的像素点进行处理，使每个灰度对象对应一个灰度级，并通过改变原始数据灰度范围使被测食品图像实现白平衡校正。

前述的基于机器视觉的食品品种检测系统中，图像特征提取模块包括：

图像轮廓提取模块，用于根据被测食品图像与背景的差异，采用最大类间方差法对图像进行阈值分割，提取被测食品图像轮廓，获取被测食品的尺寸信息；

灰度直方图提取模块，用于提取被测食品RGB各层灰度直方图，统计提取的被测食品轮廓图像的RGB各层中每一个灰度级像素比例，即轮廓图像中各级灰度出现的频率；

及HSV图像特征比例提取模块，用于提取被测食品HSV图像的色相、饱和度和亮度信息，量化这些参数信息，并计算量化参数的比例。

前述的基于机器视觉的食品品种检测系统中，图像特征比较模块包括：

灰度直方图比较模块，用于将被测食品图像灰度直方图与数据库中的标准图像灰度直方图进行比较，并对灰度直方图差值进行排序，差值越小，其优先级越高；

HSV图像色相比较模块，用于将被测食品图像各色相值与数据库中的标准图像色相值进行比较，并对色相差值进行排序，差值越小，其优先级越高；

索引值比较模块，用于按照优先级顺序，依次比较灰度直方图差值对应的索引值与HSV图像色相差值对应的索引值是否相同；

索引输出模块，用于输出该标准图像在数据库中的索引并结束比较。

前述的基于机器视觉的食品品种检测系统中，图像特征比较模块还包括：

差值比较模块，用于当被测食品图像灰度直方图差值对应的索引值与HSV图像色相差值对应的索引值不相同时，比较两个索引值对应的HSV图像特征差值大小，较小值对应的索引为被测食品的标准图像，转到索引输出模输出该标准图像在数据库中的索引；

比较范围重置模块，用于当不能找出被测食品图像灰度直方图差值对应的索引值和HSV图像特征差值对应的索引值或者任意一个对应的索引值时，就提高被测食品图像灰度直方图差值或HSV图像色相差值的比较范围大小，转到索引值比较模块继续比较。

与现有技术相比，本发明将具有高效、高精、准确、省力等优点的基于机器视觉的非接触检测技术应用在食品品种检测领域中，不需要用肉眼逐个观察食品品种，只需要通过该CCD摄像装置拍照采集食品图像信息，能准确提取、量化食品轮廓，将食品图像与背景区分出，排除不相干因素的干扰，并将图像RGB直方图信息、HSV色相信息同时引入图像识别，大大提高了对比识别准确度；再将通过图像预处理、图像识别分析得到食品的图像特征参数与数据库中的标准参数进行比较，使得比较过程稳定可靠、识别效率高、识别结果准确，尤其在数据库庞大且比较次数较多时效果更明显，最终确定食品种类，从而计算出食品价格。因此，本发明能够快速、准确地检测出食品的品种，特别是没有外包装的食品，还能减少人力资源成本。

附图说明

图1是本发明实施例的工作流程图；

图2是本发明实施例的对采集图像进行预处理及提取图像特征的工作流程图；

图3是本发明实施例的图像特征对比的工作流程图；

图4是本发明实施例的硬件结构示意图。

下面结合附图和具体实施方式对本发明作进一步的说明。

具体实施方式

本发明实施例：一种基于机器视觉的食品品种检测方法，如图1所示，包括以下步骤：

S1，通过CCD图像采集模块采集被测食品图像信息；

S2，对被测食品图像信息进行预处理；

S3，提取被测食品的图像特征；

如图2所示，步骤S2包括：

如图2所示，步骤S3包括：

S33，将RGB图像转换为HSV图像，

H = \{\begin{matrix} \arccos \frac{(R - G) + (R - B)}{2 \sqrt{{(R - G)}^{2} + (R - B) (G - B)}} (B \leq G) \\ 2 π - \arccos \frac{(R - G) + (R - B)}{2 \sqrt{{(R - G)}^{2} + (R - B) (G - B)}} (B > G) \end{matrix},

S = \frac{\max (R, G, B) - \min (R, G, B)}{\max (R, G, B)},

V = \frac{\max (R, G, B)}{255},

式中，R、G、B分别表示RGB图像各层灰度值；

步骤S33中的量化色相、饱和度和亮度参数具体为：

H_{i} = \{\begin{matrix} 0 (0 \leq H < \frac{\max (H)}{8}) \\ 1 (\frac{\max (H)}{8} \leq H < \frac{\max (H)}{4}) \\ 2 (\frac{\max (H)}{4} \leq H < \frac{3 \max (H)}{8}) \\ 3 (\frac{3 \max (H)}{8} \leq H < \frac{\max (H)}{2}) \\ 4 (\frac{\max (H)}{2} \leq H < \frac{5 \max (H)}{8}) \\ 5 (\frac{5 \max (H)}{8} \leq H < \frac{3 \max (H)}{4}) \\ 6 (\frac{3 \max (H)}{4} \leq H < \frac{7 \max (H)}{8}) \\ 7 (\frac{7 \max (H)}{8} \leq H \leq \max (H)) \end{matrix};

S_{i} = \{\begin{matrix} 0 (0 \leq S < \frac{\max (S)}{4}) \\ 1 (\frac{\max (S)}{4} \leq S < \frac{\max (S)}{2}) \\ 2 (\frac{\max (S)}{2} \leq S < \frac{3 \max (S)}{4}) \\ 3 (\frac{3 \max (S)}{4} \leq S \leq \max (S)) \end{matrix};

V_{i} = \{\begin{matrix} 0 (0 \leq V < \frac{\max (V)}{4}) \\ 1 (\frac{\max (V)}{4} \leq V < \frac{\max (V)}{2}) \\ 2 (\frac{\max (V)}{2} \leq V < \frac{3 \max (V)}{4}) \\ 3 (\frac{3 \max (V)}{4} \leq V \leq \max (V)) \end{matrix} .

如图3所示，步骤S4包括：

S44，按照优先级顺序，比较下一个优先级的被测食品图像灰度直方图差值对应的索引值与HSV图像色相差值对应的索引值是否相同，包括以下三种情况：

(1)若相同，则该标准图像为被测食品图像所对应的标准图像，输出该标准图像在数据库中的索引并结束比较；

(2)若相同，则该标准图像为被测食品图像所对应的标准图像，输出该标准图像在数据库中若不相同，则比较两个索引值对应的HSV图像特征差值大小，较小值对应的索引为被测食品的标准图像，输出该较小值对应的索引并结束比较；

(3)包括以下三种情况：

①若不能找出被测食品图像灰度直方图差值对应的索引值，则提高被测食品图像灰度直方图差值的比较范围大小，重复步骤S44，直至结束比较；

②若不能找出HSV图像色相差值对应的索引值，则提高HSV图像色相差值的比较范围大小，重复步骤S44，直至结束比较。

③若被测食品图像灰度直方图差值对应的索引值和HSV图像色相差值对应的索引值均不能被找到，则提高被测食品图像灰度直方图差值或者HSV图像色相差值的比较范围大小，重复步骤S44，直至结束比较。

实现前述方法的基于机器视觉的食品品种检测系统，包括：

CCD图像采集模块，用于采集被测食品图像信息；

图像特征提取模块，用于提取被测食品的图像特征；

标准图像特征数据库，用于存储食品的标准图像特征信息；

图像预处理模块包括：

图像特征提取模块包括：

图像特征比较模块包括：

索引输出模块，用于输出该标准图像在数据库中的索引并结束比较；

差值比较模块，用于当被测食品图像灰度直方图差值对应的索引值与HSV图像色相差值对应的索引值不相同时，比较两个索引值对应的HSV图像特征差值大小，较小值对应的索引为被测食品的标准图像，转到索引输出模块输出该标准图像在数据库中的索引；

工作原理：如图4所示，将被测食品置于检测平台上，电脑控制CCD摄像装置采集被测食品图像，CCD摄像装置可以是带有CCD镜头的相机；采集图像时，根据图像清晰度，电脑控制光源控制器调节需要的光源亮度，CCD摄像装置将采集到的图像传入电脑的图像预处理模块进行图像预处理，再传入图像特征提取模块提取图像特征信息，图像特征比较模块将提取的图像特征信息与数据库中的标准图像特征对比，确定该被测食品的种类。

Claims

1.一种基于机器视觉的食品品种检测方法，其特征在于，包括以下步骤：

S1，通过CCD图像采集模块采集被测食品图像信息；

S2，对被测食品图像信息进行预处理；

S3，提取被测食品的图像特征；

2.根据权利要求1所述的基于机器视觉的食品品种检测方法，其特征在于，步骤S2包括：

S21，进行形态学运算，通过一定形态结构元素度量和提取图像中对应形状来简化图像数据，除去不相干元素，保持被测食品图像的基本形状与特征；

3.根据权利要求1所述的基于机器视觉的食品品种检测方法，其特征在于，步骤S3包括：

S33，将RGB图像转换为HSV图像，

式中，R、G、B分别表示RGB图像各层灰度值；

4.根据权利要求3所述的基于机器视觉的食品品种检测方法，其特征在于，步骤S33中的量化色相、饱和度和亮度参数具体为：

（1）将色相划分为红、橙、黄、绿、青、蓝、紫、品红8个等级，具体为：

（2）将饱和度划分为欠饱和、中饱和、饱和、较高饱和4个等级，具体为：

（3）将亮度划分为黑色、深灰色、浅灰色、白色4个等级，具体为：

。

5.根据权利要求1或4所述的基于机器视觉的食品品种检测方法，其特征在于，步骤S4包括：

6.实现权利要求1～5任意一项所述方法的基于机器视觉的食品品种检测系统，其特征在于，包括：

CCD图像采集模块（1），用于采集被测食品图像信息；

图像预处理模块（2），用于对采集的被测食品图像信息进行预处理；

图像特征提取模块（3），用于提取被测食品的图像特征；

标准图像特征数据库（4），用于存储食品的标准图像特征信息；

及图像特征比较模块（5），用于将提取的被测食品的图像特征与数据库中存储的标准图像特征进行对比，确定食品品种。

7.根据权利要求6所述的基于机器视觉的食品品种检测系统，其特征在于，图像预处理模块（2）包括：

形态学运算模块（6），用于进行形态学运算，通过一定形态结构元素度量和提取图像中对应形状来简化图像数据，除去不相干元素，保持被测食品图像的基本形状与特征；

滤波去噪模块（7），用于选择线性锐化滤波运算对被测食品图像进行去噪，删除来自外部和内部干扰的噪音点；

及白平衡校正模块（8），用于对图像独立的像素点进行处理，使每个灰度对象对应一个灰度级，并通过改变原始数据灰度范围使被测食品图像实现白平衡校正。

8.根据权利要求6所述的基于机器视觉的食品品种检测系统，其特征在于，图像特征提取模块（3）包括：

图像轮廓提取模块（9），用于根据被测食品图像与背景的差异，采用最大类间方差法对图像进行阈值分割，提取被测食品图像轮廓，获取被测食品的尺寸信息；

灰度直方图提取模块（10），用于提取被测食品RGB各层灰度直方图，统计提取的被测食品轮廓图像的RGB各层中每一个灰度级像素比例，即轮廓图像中各级灰度出现的频率；

及HSV图像特征比例提取模块（11），用于提取被测食品HSV图像的色相、饱和度和亮度信息，量化这些参数信息，并计算量化参数的比例。

9.根据权利要求6所述的基于机器视觉的食品品种检测系统，其特征在于，图像特征比较模块（5）包括：

灰度直方图比较模块（12），用于将被测食品图像灰度直方图与数据库中的标准图像灰度直方图进行比较，并对灰度直方图差值进行排序，差值越小，其优先级越高；

HSV图像色相比较模块（13），用于将被测食品图像各色相值与数据库中的标准图像色相值进行比较，并对色相差值进行排序，差值越小，其优先级越高；

索引值比较模块（14），用于按照优先级顺序，依次比较灰度直方图差值对应的索引值与HSV图像色相差值对应的索引值是否相同；

索引输出模块（15），用于输出该标准图像在数据库中的索引并结束比较。

10.根据权利要求9所述的基于机器视觉的食品品种检测系统，其特征在于，图像特征比较模块（5）还包括：

差值比较模块（16），用于当被测食品图像灰度直方图差值对应的索引值与HSV图像色相差值对应的索引值不相同时，比较两个索引值对应的HSV图像特征差值大小，较小值对应的索引为被测食品的标准图像，转到索引输出模块（15）输出该标准图像在数据库中的索引；

比较范围重置模块（17），用于当不能找出被测食品图像灰度直方图差值对应的索引值和HSV图像特征差值对应的索引值或者任意一个对应的索引值时，就提高HSV图像特征值比较范围，转到索引值比较模块（14）继续比较。