CN103177435A - 一种基于机器视觉的苹果表面无冗余信息图像处理方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉的苹果表面无冗余信息图像处理方法。以苹果的花萼-果梗轴线为轴，每旋转20°采集1幅苹果图像，依次记为图像a1~a18；对相邻两幅苹果图像a1~a16进行拼接图像拼接，得到b1~b8，对a17和a18分别提取最优匹配点的左侧图像和右侧图像，得到b9和b10；对图像b1~b8进行两两拼接，获取图像c1~c4；对图像c1~c4进行两两拼接，获取图像d1和d2；对图像d1和d2进行拼接，获取图像e，然后将e和图像b9进行两两拼接获取图像f；最后又将图像b10和图像f进行两两拼接，获取目标图像g。本发明获取图像质量高，有效地获取了苹果表面无冗余信息图像，提高水果分级的精度。

Description

一种基于机器视觉的苹果表面无冗余信息图像处理方法

技术领域

本发明涉及信息图像处理方法，尤其是涉及一种基于机器视觉的苹果表面无冗余信息图像处理方法

背景技术

我国是个水果生产大国，苹果在水果产量中占有很大的比例，实现苹果的自动分级对提高苹果的出口质量有着重要的意义。而随着自动化程度的不断提高，对苹果分级精度的要求势必越来越高。

在基于机器视觉的苹果品质检测方法中，为了获取苹果的表面图像，采用的方式有：

（1）将苹果放置在果杯上。在生产线上安装多个相机，并在生产线的两边安装反射镜，将苹果放置在果杯上，果杯随着生产线运动，机器视觉系统获取苹果多个表面图像（李庆中，汪懋华.基于机器视觉的苹果自动分级系统硬件开发.农业机械学报，2000，31（2）：56-59）。

（2）令苹果在生产线上滚动。苹果在生产线上翻转，利用单个或多个相机采集多个工位上的图像，如Yang Tao等人的美国专利“Methold and apparatusfor sorting objects by color（通过颜色对物品进行分级的方法和装置）申请号：5339963”采用一个摄像头对输送链上的物品进行检测和分级。浙江大学的应义斌等人在专利水果品质实时检测和分级机器人系统（申请号：02136377.3）、利用移位寄存器控制的水果实时分级控制系统（申请号：02266031.3）水果分选机专利（申请号：201120140461.0）、基于机器视觉的水果分级机器（申请号：02295073.7）等中描述了采用单个摄像头获取多次采集水果表面图像的分级系统。赵杰文等设计的基于三个摄像系统在线水果品质检测分级的装置与方法（申请号：200410065216.2）。

（3）利用机械手或真空吸盘抓取水果。Blasco等人利用真空杯吸附水果后在摄像机前对水果进行旋转，在旋转的过程中对每个水果采集4幅图像，以便尽可能检测水果的整体表面（Blasco J,Aleixos N,MoltóE.Machine visionsystem for automatic quality grading of fruit[J].Biosystems Engineering,2003,85(4):415–423.）。日本的Kondon等人采用机械手抓取水果，对每个水果对象采集5幅图像用于后续的品质检测（Kondo,N.Automation on fruit and vegetablegrading system and food traceability[J].Trends in Food Science&Technology,2010,21:145–152）。

由于对同一个水果多次采集图像，如何保证最终用于水果品质判断的图像中无冗余信息是保证水果品质分析精度的基础。

发明内容

本发明的目的在于提供了一种苹果表面无冗余信息图像处理方法。

本发明解决其技术问题所采用的技术方案是：

以苹果的花萼-果梗轴线为轴，每旋转20°采集1幅苹果侧面图像，依次记为图像a1～a18。

对图像a1～a16作如下处理：

1)苹果图像特定区域设置

记相机采集到的图像大小为H×W，设置特定区域的方法为：以图像a1中心为区域中心，取宽度为H₀，长度为W的区域，取值为：H₀=400,W=1024。

2)特定区域内的图像特征点提取

以图像a1为例，提取特征点的步骤如下：

（1）建立在不同尺度σ空间内的图像，定义图像a1为S(x,y)，采用式（1）确定可变尺度的2维高斯函数G(x,y,σ)，采用式（2）确定不同尺度σ空间的图像为L(x,y,σ)。

$G(x,y,\mathrm{\σ})=\frac{1}{{2\mathrm{\π\σ}}^2}{e}^{\frac{x^2+y^2}{2{\mathrm{\σ}}^2}}---\left(1\right)$

L(x，y，σ)=G（x，y，σ)*S(x，y)   (2)

（2）采用式（3）对不同尺度σ空间的图像L(x,y,σ)进行连续平滑和采样，求得相邻尺度的高斯差分图像D。

D(x，y，σ)=L(x，y，kσ)-L(x，y，σ)   (3)

（3）提取高斯差分图像D上的峰值点作为特征点的候选点。每一个采样点要和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点。特征点的候选点集为采样点的局部极值点集（灰度值极大值或极小值）。

（4）去除极值点集中的不稳定点。不稳定点主要包括两类：一类是对图像噪声敏感的低对比度的极值点，根据Taylor二次级数在采样点处的尺度空间函数约束条件进行删除；另一类是边缘处的候选特征点，利用Hessian矩阵的轨迹和行列式去除边缘点。

（5）确定特征点的方向：记固定尺寸σ的高斯平滑图像为L(x，y)，采用式（4）和式（5）计算像素梯度值m(x,y)和方向θ(x,y)。利用特征点的梯度方向信息建立角度直方图，峰值即为局部梯度的主方向。

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}---\left(4\right)$

$\mathrm{\θ}(x,y)={\tan }^{-1}\left(\frac{(L(x,y+1)-L(x,y-1))}{(L(x+1,y)-L(x-1,y))}\right)---\left(5\right)$

（6）确定特征点的描述符：以特征点为中心点采集16 16个像素窗口，分为4 4的子块，每个子块可以得到8个方向的梯度大小信息和梯度方向直方图，用128维向量描述该特征点。

3)两幅图像的特征点匹配

对图像a1和图像a2分别提取特征点。采用k维搜索树（kd树）的数据结构完成搜索匹配。搜索的内容是以a1的特征点为基准，搜索与a1图像中的特征点最邻近的a2图像中的特征点。

4)两幅图像的最优拼接

为对相差20°的苹果图像a1和a2拼接后的效果图。

对于图像a1，保留特征点位置左边部分图像；对于图像a2，保留特征点位置的右边部分图像，图像的拼接过程只进行水平方向的移动，在两幅图像的接缝线上，苹果图像的上部分和下部分会存在一定的错位，选择能使得两幅图像接缝的上下处的错位最小的匹配特征点作为最后的拼接特征点。

拼接特征点的判断方法如下：

记图像a1的特征点为(x,y)，记图像a2中对应的匹配的特征点为(x′,y′)。获取图像a1特征点(x,y)同一纵坐标的苹果图像最上方的点(x1,y)和苹果图像最下方的点(x2,y)；图像a2特征点(x′,y′)同一纵坐标的苹果图像最上方的点(x1′,y′)和苹果图像最下方的点(x2′,y′)，采用式（6）计算欧式距离和d

$d=\sqrt{{(x_1^{\′}-x_1)}^2+{(y^{\′}-y)}^2}+\sqrt{{(x_2^{\′}-x_2)}^2+{(y^{\′}-y)}^2}---\left(6\right)$

选取使得d为最小的匹配特征点作为拼接特征点。

5)苹果表面无冗余图像获取

对图像a1～a16分别进行两两拼接，过程同图像a1和图像a2的拼接过程，为上述过程1）～4)，获取对应的图像b1～b8。

对a17和a18分别提取最优匹配点的左侧图像和右侧图像，去除重复区域部分，保留非重复区域部分，记为b9和b10。

对获得的图像b1～b8进行两两拼接，获取图像c1～c4；对图像c1～c4进行两两拼接，获取图像d1和d2；对图像d1和d2进行拼接，获取图像e，然后将e和图像b9进行两两拼接获取图像f；最后又将图像b10和图像f进行两两拼接，获取目标图像g。

本发明具有的有益的效果是：

本发明操作简便，获取图像质量高，可以有效获取苹果表面无冗余信息图像，为苹果的自动分级提供精确的原始图像，有益于提高苹果分级的精确度。

附图说明

图1是本发明的两幅苹果图像的最优匹配效果图。

图2是本发明的18幅苹果图像的处理流程。

图3是本发明的无冗余信息的苹果表面图。

具体实施方式

下面结合附图和实施例，对本发明作进一步的说明。以下实施例用于说明本发明，但不用来限制本发明的范围。

本发明所述的水果图像获取装置与高云等人的实用新型专利“一种水果图像获取装置”（申请号：201020211540.1）中的水果图像获取装置类似。将苹果放置在水果托盘上，使得苹果的花萼/果梗轴线和水平面基本垂直。以苹果的花萼/果梗为轴，旋转苹果，每旋转20°采集1幅侧面图像，记为a1，再次采集图像a2，如此重复，共采集18幅图像，分别记为图像a1～a18。

基于机器视觉的苹果表面无冗余信息图像的图像处理流程包括：苹果图像特定区域设置，特定区域内的图像特征点提取、特征点匹配、苹果图像两两最优拼接、苹果表面无冗余图像获取。

对图像a1～a16作如下处理：

1)苹果图像特定区域设置

记相机采集到的图像大小为H×W，设置特定区域的方法为：以图像a1中心为区域中心，取宽度为H₀，长度为W的区域，取值为：H₀=400,W=1024。

2)特定区域内的图像特征点提取

以图像a1为例，提取特征点的步骤如下：

（1）建立在不同尺度σ空间内的图像，定义图像a1为S(x,y)，采用式（1）确定可变尺度的2维高斯函数G(x,y,σ)，采用式（2）确定不同尺度σ空间的图像为L(x,y,σ)。

$G(x,y,\mathrm{\σ})=\frac{1}{{2\mathrm{\π\σ}}^2}{e}^{\frac{x^2+y^2}{2{\mathrm{\σ}}^2}}---\left(1\right)$

L(x，y，σ)＝G(x，y，σ)*S(x，y)   (2)

（2）采用式（3）对不同尺度σ空间的图像L(x,y,σ)进行连续平滑和采样，求得相邻尺度的高斯差分图像D。

D(x，y，σ)-L(x，y，kσ)-L(x，y，σ)   (3)

（3）提取高斯差分图像D上的峰值点作为特征点的候选点。每一个采样点要和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点。特征点的候选点集为采样点的局部极值点集（灰度值极大值或极小值）。

（4）去除极值点集中的不稳定点。不稳定点主要包括两类：一类是对图像噪声敏感的低对比度的极值点，根据Taylor二次级数在采样点处的尺度空间函数约束条件进行删除；另一类是边缘处的候选特征点，利用Hessian矩阵的轨迹和行列式去除边缘点。

（5）确定特征点的方向：记固定尺寸σ的高斯平滑图像为L(x，y)，分别采用式（4）和式（5）计算像素梯度值m(x,y)和方向θ(x,y)。利用特征点的梯度方向信息建立角度直方图，峰值即为局部梯度的主方向。

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}---\left(4\right)$

$\mathrm{\θ}(x,y)={\tan }^{-1}\left(\frac{(L(x,y+1)-L(x,y-1))}{(L(x+1,y)-L(x-1,y))}\right)---\left(5\right)$

（6）确定特征点的描述符：以特征点为中心点采集16 16个像素窗口，分为4 4的子块，每个子块可以得到8个方向的梯度大小信息和梯度方向直方图，用128维向量描述该特征点。

3)两幅图像的特征点匹配

对图像a1和图像a2分别提取特征点。采用k维搜索树（kd树）的数据结构完成搜索匹配。搜索的内容是以a1的特征点为基准，搜索与a1图像中的特征点最邻近的a2图像中的特征点。

4)两幅图像的最优拼接

如图1所示，为对相差20°的苹果图像a1和a2拼接后的效果图。

对于图像a1，保留特征点位置左边部分图像；对于图像a2，保留特征点位置的右边部分图像，图像的拼接过程只进行水平方向的移动，在两幅图像的接缝线上，苹果图像的上部分和下部分会存在一定的错位，选择能使得两幅图像接缝的上下处的错位最小的匹配特征点作为最后的拼接特征点。

拼接特征点的判断方法如下：

记图像a1的特征点为(x,y)，记图像a2中对应的匹配的特征点为(x′,y′)。获取图像a1特征点(x,y)同一纵坐标的苹果图像最上方的点(x1,y)和苹果图像最下方的点(x2,y)；图像a2特征点(x′,y′)同一纵坐标的苹果图像最上方的点(x1′,y′)和苹果图像最下方的点(x2′,y′)，采用式（6）计算欧式距离和d

$d=\sqrt{{(x_1^{\′}-x_1)}^2+{(y^{\′}-y)}^2}+\sqrt{{(x_2^{\′}-x_2)}^2+{(y^{\′}-y)}^2}---\left(6\right)$

选取使得d为最小的匹配特征点作为拼接特征点。

5)苹果表面无冗余图像获取

如图2所示，为对18幅图像a1～a18的拼接过程。

对图像a1～a16分别进行两两拼接，过程同图像a1和图像a2的拼接过程，为上述过程1）～4)，获取对应的图像b1～b8。

对a17和a18分别提取最优匹配点的左侧图像和右侧图像，去除重复区域部分，保留非重复区域部分，记为b9和b10。

对获得的图像b1～b8进行两两拼接，获取图像c1～c4；对图像c1～c4进行两两拼接，获取图像d1和d2；对图像d1和d2进行拼接，获取图像e，然后将e和图像b9进行两两拼接获取图像f；最后又将图像b10和图像f进行两两拼接，获取目标图像g。

如图3所示，为对18幅苹果图像a1～a18拼接后的苹果表面图像。

Claims (1)

1.一种基于机器视觉的苹果表面无冗余信息图像处理方法，其特征在于：以苹果的花萼-果梗轴线为轴，每旋转20°采集1幅苹果侧面图像，分别记为图像a1～a18；对图像a1～a16作如下处理：

1）苹果图像特定区域设置

记相机采集到的图像大小为H×W，设置特定区域的方法为：以图像a1中心为区域中心，取宽度为H₀，长度为W的区域，取值为：H₀=400,W=1024；

2）特定区域内的图像特征点提取

以图像a1为例，提取特征点的步骤如下：

（1）建立在不同尺度σ空间内的图像，定义图像a1为S(x,y)，采用式（1）确定可变尺度的2维高斯函数G(x,y,σ)，采用式（2）确定不同尺度σ空间的图像为L(x,y,σ)；

$G(x,y,\mathrm{\σ})=\frac{1}{{2\mathrm{\π\σ}}^2}{e}^{\frac{x^2+y^2}{2{\mathrm{\σ}}^2}}---\left(1\right)$

L(x，y，σ)=G(x，y，σ)*S(x，y)   (2)

（2）采用式（3）对不同尺度σ空间的图像L(x,y,σ)进行连续平滑和采样，求得相邻尺度的高斯差分图像D；

D(x，y，σ)=L(x，y，kσ)-L(x，y，σ)   (3)

；

（3）提取高斯差分图像D上的峰值点作为特征点的候选点，每一个采样点要和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点，特征点的候选点集为采样点的局部极值点集；

（4）去除极值点集中的不稳定点，不稳定点主要包括两类：一类是对图像噪声敏感的低对比度的极值点，根据Taylor二次级数在采样点处的尺度空间函数约束条件进行删除；另一类是边缘处的候选特征点，利用Hessian矩阵的轨迹和行列式去除边缘点；

（5）确定特征点的方向：记固定尺寸σ的高斯平滑图像为L(x，y)，采用式（4）和式（5）计算像素梯度值m(x,y)和方向θ(x,y)，利用特征点的梯度方向信息建立角度直方图，峰值即为局部梯度的主方向；

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}---\left(4\right)$

$\mathrm{\θ}(x,y)={\tan }^{-1}\left(\frac{(L(x,y+1)-L(x,y-1))}{(L(x+1,y)-L(x-1,y))}\right)---\left(5\right)$

（6）确定特征点的描述符：以特征点为中心点采集16 16个像素窗口，分为4 4的子块，每个子块可以得到8个方向的梯度大小信息和梯度方向直方图，用128维向量描述该特征点；

3）两幅图像的特征点匹配

对图像a1和图像a2分别提取特征点。采用k维搜索树（kd树）的数据结构完成搜索匹配，搜索的内容是以a1的特征点为基准，搜索与a1图像中的特征点最邻近的a2图像中的特征点；

4）两幅图像的最优拼接

为对相差20°的苹果图像a1和a2拼接后的效果图；

对于图像a1，保留特征点位置左边部分图像；对于图像a2，保留特征点位置的右边部分图像，图像的拼接过程只进行水平方向的移动，在两幅图像的接缝线上，苹果图像的上部分和下部分会存在一定的错位，选择能使得两幅图像接缝的上下处的错位最小的匹配特征点作为最后的拼接特征点；

拼接特征点的判断方法如下：

记图像a1的特征点为(x,y)，记图像a2中对应的匹配的特征点为(x′,y′)。获取图像a1特征点(x,y)同一纵坐标的苹果图像最上方的点(x₁,y)和苹果图像最下方的点(x₂,y)；图像a2特征点(x′,y′)同一纵坐标的苹果图像最上方的点(x₁′,y′)和苹果图像最下方的点(x₂′,y′)，采用式（6）计算欧式距离和d；

$d=\sqrt{{(x_1^{\′}-x_1)}^2+{(y^{\′}-y)}^2}+\sqrt{{(x_2^{\′}-x_2)}^2+{(y^{\′}-y)}^2}---\left(6\right)$

选取使得d为最小的匹配特征点作为拼接特征点；

5）苹果表面无冗余图像获取

对图像a1～a16分别进行两两拼接，过程同图像a1和图像a2的拼接过程，为上述过程1）～4)，获取对应的图像b1～b8；

对a17和a18分别提取最优匹配点的左侧图像和右侧图像，去除重复区域部分，保留非重复区域部分，记为b9和b10；

对获得的图像b1～b8进行两两拼接，获取图像c1～c4；对图像c1～c4进行两两拼接，获取图像d1和d2；对图像d1和d2进行拼接，获取图像e，然后将e和图像b9进行两两拼接获取图像f；最后又将图像b10和图像f进行两两拼接，获取目标图像g。

Images