CN101561402B - 基于机器视觉的猪肉外观品质实时检测分级方法与装置 - Google Patents

Abstract

本发明公开了一种基于机器视觉的猪肉外观品质实时检测分级方法与装置。包括猪肉图像获取硬件部分和分级软件部分，其中图像获取硬件部分由相机、镜头、偏振镜、光源、计算机等组成。采集猪肉图像；利用分级软件进行实时图像处理和特征提取；得到反映猪肉外观品质的特征信息；再利用预测模型对肉品质进行评价，对眼肌肉完成颜色、大理石纹和嫩度以及综合品质的等级评定，对五花肉完成肌肉颜色、肥瘦性以及综合品质的等级评定。利用本发明能使我国猪肉品质检测具备客观性、准确性和高效性。

Description

基于机器视觉的猪肉外观品质实时检测分级方法与装置

技术领域

本发明涉及一种基于机器视觉的实时检测分级方法与装置，特别是一种基于机器视觉的猪肉外观品质实时检测分级方法与装置。

背景技术

肉是人们常见的食物之一，据统计，2000-2006年我国猪肉类总产量呈逐步上升趋势，从2000年的4031万吨增加到2006年的5197万吨，平均每年增长5.8％，占畜肉总产量的60％以上。由此可以看出猪肉在国内市场的占有率非常大，人们对猪肉的需求量越来越大。

虽然我国是肉品生产大国，但不是肉品产业大国，近年来肉品的出口量呈逐年减少的趋势。导致这种现象产生的主要原因是我国的肉品在市场上混等混级比较严重，没有像其它发达国家一样实现按质论价。畜肉等级标准在指导肉品生产和价格方面起到了重要的作用。目前我国对牛胴体制定了等级标准，对牛肉从质量级和产量级两个方面进行分级，其中牛胴体质量等级是以人工观察经宰杀、冷却后牛胴体第12～13胸肋骨间眼肌切面处的大理石纹等级、肌肉颜色、脂肪颜色和牛的脊椎骨突末端软骨骨质化程度作为判定依据。在猪肉质量等级评定方面，东北农业大学的陈润生教授制作了猪肉颜色与大理石纹评分标准图。该图采用国际通用的五级分制作为评分标准。

目前对于肉品外观质量检测与分级主要是由经过培训的评级员通过肉眼观察和比照等级标准图谱来进行分级。由于评级员在分级时需要在低温环境下长时间进行标准图谱与实际样品之间的比对工作，使分级员容易产生视觉疲劳，从而对分级结果产生影响，同时人工分级的结果无可避免的带有主观因素，而且还需要对分级的结果进行修正，因而这种主观、低效、准确度不大的分级方式越来越不适应当今市场的需要，而新兴发展起来的机器视觉技术以其快速、无损、客观、高效、准确的特点逐渐取代了评级员的工作。

国内开展机器视觉技术检测畜肉质量研究主要是针对牛肉，例如孙永海、赵锡维、鲜于建川等于2004年发表在《农业机械学报》第35卷第1期的《基于计算机视觉的冷却牛肉新鲜度评价方法》，任发政、郑丽敏、王桂芹、廖树华、朱虹等于2002年发表在《肉类研究》第一期中的应用MATLAB图像处理技术评判牛肉大理石花纹，陈坤杰 姬长英于2007年发表在《农业机械学报》第38卷第5期的《基于图像运算的牛肉大理石花纹分割方法》，屠康、王富昶于2004年发表在《粮油加工与食品机械》第10期的《计算机视觉在牛肉大理石花纹分级中的应用研究》，赵杰文、邹小波、刘木华、黄星奕于2004年申报的专利《牛肉胴体质量的计算机视觉检测分级方法及装置》。上述文献和专利里面介绍的图像处理算法和检测装置都是专门针对牛肉的品质评定，但由于猪肉和牛肉在颜色、纹理等方面都存在较大差异，主要表现在新鲜猪肌肉呈淡红色且不同部位肉颜色差异较大，且猪肉纹理较牛肉细腻，同时猪肉露天放置时易出现渗水现象等导致对猪肉品质评定相对于来牛肉来说困难些，因此前期学者针对牛肉检测分级提出的各种图像处理算法及搭建的装置不再适应于猪肉研究。

发明内容

鉴于上述现有技术存在的不足，本发明的目的在于提供一种基于机器视觉的猪肉外观品质实时检测分级方法与装置。采集猪肉图像，进行图像处理、根据现有分级标准提取表征猪肉外观品质指标的特征信息，建立基于图像特征信息的各单项检测指标定量分级模型，然后根据各单项指标进行加权运算得到猪肉综合品质等级。

本发明采用的技术方案如下：

一、一种基于机器视觉的猪肉外观品质实时检测分级方法：

采集猪肉图像，进行实时图像处理、特征提取，然后利用分级软件对猪肉的外观品质进行检测与分级，其具体步骤如下：

1)建立猪肉外观品质分级软件系统：

首先根据我国农业行业制定的猪肉外观品质分级标准以及消费者实际购买时对品质指标的要求，确定检测指标，建立猪肉外观品质评价体系；接着对猪肉各外观品质指标进行感官评分；对评分后的猪肉采集猪肉图像，对图像进行处理，提取出待检测的各特征指标；再利用提取的图像特征指标与相应的感官评定分值建立各自的定量分级模型；最后根据各单测指标在综合品质中的权重建立猪肉综合品质定量分级模型；

2)进行实时检测：

实时检测时，采集猪肉图像后进行图像处理、特征提取，然后利用单一品质分级模型对单个指标进行预测得到其对应的等级，最后根据综合等级定量模型得到猪肉综合等级。

所述的猪肉包括眼肌肉和五花肉的外观品质检测与分级，针对眼肌肉提取的图像特征指标包括肌肉颜色、大理石纹和纹理，针对五花肉提取的图像特征指标包括肌肉颜色、肌肉脂肪面积比和肌肉脂肪均匀性。

所述的提取的图像特征指标，当针对的是眼肌肉时，其具体操作步骤包括：去除噪声和背景分割、脂肪和肌肉组织分割、背最长肌区域提取、肌肉颜色、大理石纹和嫩度图像特征提取；当针对的是五花肉时，其具体操作步骤包括：去除噪声、背景分割、脂肪与肌肉区域分割与标记、计算肌肉颜色、肌肉脂肪面积比率、肌肉脂肪面积均匀性图像特征信息。

所述的根据国家农业行业标准确定的检测指标适用于眼肌肉，包括肌肉颜色、大理石纹和嫩度；根据消费者实际购买时对品质指标的要求确定的指标适用于五花肉；包括肌肉颜色、肥瘦比、肥瘦均匀性。

二、一种基于机器视觉的猪肉外观品质实时检测分级装置：

包括箱体支架、四根光源支架、四个光源、计算机、相机挂接横梁、相机、光学镜头、偏振镜、箱体外壁、载物台；四根光源支架安装在四周箱体支架上，四根光源支架能在四周箱体支架上调节到同一高度并固定，四个光源分别固定在各自的光源支架上，相机挂接横梁安装在箱体支架上方，相机固定在相机挂接横梁的中心，偏振镜旋在光学镜光学镜头，载物台置于箱体底面正中心位置，整个箱体通过箱体壁板形成密封室，相机与计算机通过USB线连接。

本发明的有益效果是：

对眼肌肉可以快速有效地完成肌肉颜色、大理石纹和嫩度等单品质指标及综合品质的检测与分级；对于五花肉完成肌肉颜色、肥瘦比、肥瘦均匀性等单指标及综合品质的检测与分级。利用本发明能使我国猪肉品质检测具备客观性、准确性和高效性，并可以适用于超市、地方或出入口食品检验部门对猪肉品质进行评定，规范猪肉市场，从而真正实现按质论价。

附图说明

图1本发明的装置结构示意图。

图2本发明的软件总体结构框图。

图3眼肌肉图像处理过程流程图。

图4眼肌肉在处理工程中的变化图。

图5背最长肌区域提取过程流程图。

图6背最长肌提取过程中的变化图。

图7五花肉图像处理过程流程图。

图8五花肉在处理过程中的变化图。

图中：1.箱体支架；2.光源支架；3.光源；4.计算机；5.相机挂接横梁；6.相机；7.光学镜头；8.偏振镜；9.箱体外壁；10.载物台。

具体实施方式

下面结合附图和实施方式对本发明作进一步说明。

本发明由图像获取硬件部分和外观品质评定软件部分组成。

如图1所示，本发明包括箱体支架1、四根光源支架2、四个光源(冷阴极管)3、计算机4、相机挂接横梁5、相机(工业数字相机)6、光学镜头7、偏振镜8、箱体外壁9、载物台10；四根光源支架2安装在四周箱体支架1上，四根光源支架2能在四周箱体支架1上调节到同一高度并固定，四支光源3分别固定在各自的光源支架2上，相机挂接横梁5安装在箱体支架1上方，相机6固定在相机挂接横梁5的中心，偏振镜8旋在光学镜光学镜头7，载物台10置于箱体底面正中心位置，整个箱体通过箱体壁板9形成密封室，相机6与计算机4通过USB线连接。

分级软件部分包括图像输入设备控制模块、图像处理模块、图像特征提取模块、猪肉等级输出模块等四大模块。

所述的调节高度使其距离载物台的距离为箱体底面宽度的2/3倍，其计算原理与方法如下：根据布儒斯特原理：在非金属的界面上，当反射光线与折射光线成直角时，反射光线将是线偏振光，此时的入射角就称为布儒斯特角，在本实施例中：光线是从空气(介质1，可以看成真空，折射率n1＝1)射入水分(介质2，其折射率n2＝1.33)，则布儒斯特角θ的正切值tanθ＝n2/n1＝1.33，从而光源入射角θ≈53°，为此，将四只冷阴极管固定在距离光照箱体底面宽度2/3处，从而通过偏振镜可以滤除猪肉表面的水分成像，从而有效的降低因为水分反光现象给后续特征提取工作带来的偏差。

如图2所示，猪肉外观品质评定软件部分包括图像输入设备控制模块、图像处理模块、图像特征提取模块、猪肉等级输出模块等四大模块，其中图像输入设备控制模块的功能为实时采集猪肉图像，图像处理模块的功能为图像预处理和分割，图像特征提取模块的功能为提取肉色、大理石纹和纹理特征，猪肉等级输出模块的功能为肉色、大理石纹和纹理等级及综合等级输出。

用上述硬件部分对购买的眼肌肉和五花肉进行图像采集和各种处理，建立猪肉外观品质评定系统。

所述的对猪眼肌肉图像处理过程的流程图如图3所示，具体处理过程如下：

(1)首先利用最大方差自适应阈值法将黑色背景从猪肉眼肌图像中去掉，接着采用中值滤波法进行去噪，如图4(a)中原始采集到的猪肉眼肌图像到如图4(b)中去除背景后的猪肉眼肌图像的处理；

(2)利用核模糊C均值聚类(KFCM)在RGB和HSV颜色空间中分割肌肉和脂肪组织，如图4(b)中去除背景后的图像到经KFCM分割后的图像4(c)的处理；

(3)用改进的分水岭算法将背最长肌从眼肌图像中提取出来，如图4中经KFCM分割后的猪肉图像图4(c)到提取出的背最长肌区域图像图4(d)；然后利用背最长肌图像提取出反映猪肉嫩度信息的图像纹理特征；

(4)利用图4(c)和图4(d)进行数学运算提取出肌肉组织和脂肪组织，如图4中从背最长肌肉中提取出的肌肉图像图4(e)和大理石纹图像图4(f)；

所述的用改进分水岭算法提取背最长肌区域的方法，包括以下步骤：

(1)对经过KFCM分割后的图像进行空洞填充，如从图6(a)到图6(b)的处理；

(2)利用改进分水岭算法消除周围肌肉组织与背最长肌之间的连接，如从经过空洞填充操作后的图6(b)到经改进极限腐蚀后的图6(c)和继续进行条件膨胀之后的图6(d)；

(3)提取出背最长区域，通过搜索经条件膨胀后的图6(d)中各个连通区域的面积，找出最大面积的区域即为背最长肌在图像中所在的位置，如图6(e)，接着对原始猪肉图像图6(a)和图6(e)进行与操作即得到背最长肌区域图像图4(d)。

所述的对五花肉图像处理流程如图7所示，具体处理过程如下：

(1)采用利用最大方差自适应阈值法去除背景，接着中值滤波法去噪。如图8中原始采集到的五花肉图像图8(a)到去除背景和中值滤波后的图像图8(b)；

(2)利用KFCM分割肌肉和脂肪组织，如图8中预处理后的图像图8(b)到图8(c)；

(3)进行形态学开运算消除脂肪和肌肉区域之间的细小连接部分，如图8中经KFCM得到的图8(c)到图8(d)；

(4)对图像中的肌肉和脂肪区域进行区域标记，如图8中消除细小连接部分后得到的图8(d)到图8(e)，图中浅色表示脂肪区域，深色表示肌肉区域；

所述的建立猪肉外观品质评定系统，是这样建立起来的：

(1)经过上述图像处理后，对眼肌肉提取出反映肌肉颜色特征信息的特征(包括R、G、B、H、S、I的平均值和标准偏差)、反映大理石纹特征信息的特征(包括大尺寸大理石纹、中等尺寸大理石纹和小尺寸大理石纹以及所有大理石纹的个数、面积占眼肌总面积的比率)、反映嫩度信息的特征(包括利用灰度共生矩阵提取出的能量、熵、相关性、对比度、倒数差分矩和最大概率等5个纹理特征；利用行程长度法提取出的长行程加重、短行程加重、灰度级的均匀性、行程长度的均匀性、行程百分比等5个纹理特征；利用灰度差分统计法计算得到的对比度、角二阶矩、熵、平均值、逆差矩等5个纹理特征)；对五花肉提取出肌肉颜色特征信息的特征(包括R、G、B、H、S、I的平均值和标准偏差)、肌肉脂肪面积比、反映肥瘦均匀性特征信息的的特征：所有脂肪、肌肉小区域面积方差；

(2)利用主成分回归分析法分别选取眼肌肉颜色、大理石纹、纹理特征的主成分分量以及五花肉肌肉颜色、肌肉脂肪面积比、肥瘦均匀性的主成分分量，然后将PCA选择出的主成分分量分别作为神经网络、支持向量机、多元线性回归分析的输入，分别建立眼肌肉色、大理石纹和嫩度与感官评分之间的关系模型，五花肉肌肉颜色、肌肉脂肪面积比、肥瘦均匀性与五花肉评级之间的关系模型，并比较三种方法建立的模型，选出最优模型作为各单指标的预测模型，再分别对各自单指标进行加权运算得到眼肌肉和五花肉的综合等级评定模型，进而完成猪肉外观品质评定系统的建立。

利用上面介绍的方法在VC++6.0开发平台上实现猪肉外观品质分级软件的编制，可以快速有效地完成猪肉图像的实时采集、处理、特征提取和模式识别。将本装置用于超市或检验检疫部门检测时，将眼肌肉或五花肉放置于箱体底面的载物台上，然后利用分级软件即可得到各单指标的等级，然后将各单指标输入到综合模型中去进行加权运算即可得到综合等级。对眼肌肉可实现肉色、大理石纹和嫩度以及综合品质的等级评定；对五花肉可实现肉色和综合品质的等级评定。

Claims (2)

1.一种基于机器视觉的猪肉外观品质实时检测分级方法，采集猪肉图像，进行实时图像处理、特征提取，然后利用分级软件对猪肉的外观品质进行检测与分级，其具体步骤如下：

1)建立猪肉外观品质分级软件系统：

首先根据我国农业行业制定的猪肉外观品质分级标准以及消费者实际购买时对品质指标的要求，确定检测指标，建立猪肉外观品质评价体系；接着对猪肉各外观品质指标进行感官评分；对评分后的猪肉采集猪肉图像，对图像进行处理，提取出待检测的各特征指标；再利用提取的图像特征指标与相应的感官评定分值建立各自的定量分级模型；最后根据各单测指标在综合品质中的权重建立猪肉综合品质定量分级模型；

2)进行实时检测：

实时检测时，采集猪肉图像后进行图像处理、特征提取，然后利用单一品质分级模型对单个指标进行预测得到其对应的等级，最后根据综合等级定量模型得到猪肉综合等级；其特征在于：

所述的猪肉包括眼肌肉和五花肉的外观品质检测与分级，针对眼肌肉提取的图像特征指标包括肌肉颜色、大理石纹和纹理，针对五花肉提取的图像特征指标包括肌肉颜色、肌肉脂肪面积比和肌肉脂肪均匀性；

所述的提取的图像特征指标，当针对的是眼肌肉时，其具体操作步骤包括：去除噪声和背景分割、脂肪和肌肉组织分割、背最长肌区域提取、肌肉颜色、大理石纹和嫩度图像特征提取；当针对的是五花肉时，其具体操作步骤包括：去除噪声、背景分割、脂肪与肌肉区域分割与标记、计算肌肉颜色、肌肉脂肪面积比率、肌肉脂肪面积均匀性图像特征信息；

所述的根据国家农业行业标准确定的检测指标适用于眼肌肉，包括肌肉颜色、大理石纹和嫩度；根据消费者实际购买时对品质指标的要求确定的指标适用于五花肉；包括肌肉颜色、肥瘦比、肥瘦均匀性。

2.一种实施权利要求1所述方法的一种基于机器视觉的猪肉外观品质实时检测分级装置，其特征在于：包括箱体支架(1)、四根光源支架(2)、四个光源(3)、计算机(4)、相机挂接横梁(5)、相机(6)、光学镜头(7)、偏振镜(8)、箱体外壁(9)、载物台(10)；四根光源支架(2)安装在四周箱体支架(1)上，四根光源支架(2)能在四周箱体支架(1)上调节到同一高度并固定，四个光源(3)分别固定在各自的光源支架(2)上，相机挂接横梁(5)安装在箱体支架(1)上方，相机(6)固定在相机挂接横梁(5)的中心，偏振镜(8)旋在光学镜头(7)，载物台(10)置于箱体底面正中心位置，整个箱体通过箱体外壁(9)形成密封室，相机(6)与计算机(4)通过USB线连接。

Images