CN103177434B - 利用苹果果梗图像计算苹果旋转角度的方法 - Google Patents

Abstract

本发明公开了一种利用苹果果梗图像计算苹果旋转角度的方法。包括如下步骤：苹果目标提取、果梗侧图像的特征点提取、两幅果梗图像特征点匹配、特征点旋转角度计算、旋转角度坏点剔除和苹果旋转角度计算。本发明利用苹果果梗作为苹果旋转角度计算的依据，检测速度快，准确度高。

Description

利用苹果果梗图像计算苹果旋转角度的方法

技术领域

本发明涉及信息图像处理方法，，尤其是涉及一种利用苹果果梗图像计算苹果旋转角度的方法。

背景技术

对水果进行商品化处理是水果采收后再加工再增值的过程。水果产后处理包括水果上线、清晰、涂蜡、干燥和分级等环节，水果的分级是水果产后处理的核心过程。

苹果作为重要的水果之一，目前对苹果的分级研究发展迅速。

浙江大学蒋焕煜等（蒋焕煜,应义斌,王剑平,等.水果品质智能化实时检测生产线的研究（1）[J].农业工程学报,2002,18(6):158-160.）提出了一种由水果翻转系统、计算机识别系统和分级系统组成，用于实时检测水果品质的智能化实时检测分级生产线。在该生产线上，水果可以绕水平轴自由转动，保证水果的整个表面被检测系统所获取，通过水果的图像信息判断水果的等级，通过执行机构实现水果的分级。李庆中（2000年，2002年）（李庆忠,汪懋华.基于计算机视觉的苹果自动分级系统硬件开发[J].农业机械学报,2000,31(2):56-59.LiQ.Z.,WangM.H.,GuW.K.Computervisionbasedsystemforapplesurfacedetectdetection[J].ComputerandElectronicsinAgriculture,2002,36:215-223.）等开发了一套3个CCD相机的机器视觉系统用于苹果在线检测。在该系统中，水果的正上方安装有一个双CCD摄像机：一个为彩色CCD，采集水果的彩色图像信息；另一个为黑白CCD，用于采集近红外波段的图像信息。在水果的下方也安装有黑白CCD相机，用于采集水果下表面的图像信息。为了尽可能多地获取水果的全表面信息，在水果的两侧分别安装一面平面镜，则处于水果正上方的相机可以同时获取水果的3幅图像，因此该系统可以获取水果的多表面信息。

江苏大学的赵杰文等（2006年）（赵杰文,刘文彬,邹小波.基于三摄像系统的苹果缺陷快速判别[J].江苏大学学报（自然科学版）,2006,27(4):287-290.）和赵小波等（2010年）（ZouX.B.,ZhaoJ.W,LiY.M,etal.In-linedetectionofappledefectsusingthreecolorcamerassystem[J].ComputersandElectronicsinAgriculture,2010,70(1):129-134.）搭建了3摄像机成像系统。该系统包括3个摄像机，每个摄像机系统都是独立的，有3台电脑和每个摄像机相连。系统工作时，同时触发3个摄像机采集图像，保证苹果在同一时刻各个侧面被抓拍到。对于每个相机，可以拍摄到3个完整苹果表面图像。因此，对于一个苹果，可以采集9幅图像，从而保证苹果表面图像信息不会出现遗漏。

由于对同一个水果多次采集图像，保证用于水果品质判断的图像中无冗余信息是保证水果品质分析精度的基础，而快速有效地去除冗余信息成为提高图像处理速度的关键之一。

发明内容

本发明的目的在于提供了一种利用苹果果梗图像计算苹果旋转角度的方法，提高苹果图像拼接的速度。

本发明解决其技术问题所采用的技术方案是：

苹果果梗图像获取装置包括相机1、滚轮2和苹果3。苹果的花萼/果梗轴线与滚轮2轴线平行。滚轮2旋转时，带动苹果3转动，通过相机1分别获取相差一定的角度两幅苹果果梗图像I₁〔x，y〕和I₂〔x，y〕。

基于苹果果梗图像的苹果旋转角度获取方法的算法流程包括：苹果目标提取、果梗图像的特征点提取、两幅果梗图像的特征点匹配、特征点旋转角度计算、旋转角度坏点剔除、苹果旋转角度计算。

各步骤中具体算法描述如下：

1)苹果目标提取

对苹果果梗图像I₁(x,y)和I₂(x,y)进行目标提取，即去除背景图像，提取苹果图像，用最大类间方差法进行分割，提取苹果目标图像，记为I_{ob_1}(x,y)和I_{ob_2}(x,y)

2)果梗侧图像的特征点提取

对图像I_{ob_1}(x,y)特征点的步骤如下：

①建立在不同尺度σ空间内的图像，定义图像I_{ob_1}(x,y)为S(x,y)，按式（1）定义G(x,y,σ)为可变尺度的2维高斯函数，按式（2）定义L(x,y,σ)为不同尺度σ空间的图像，有：

$G(x,y,\mathrm{\σ})=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}{e}^{\frac{x^2+y^2}{2{\mathrm{\σ}}^2}}---\left(1\right)$

$L(x,y,\mathrm{\σ})=G(x,y,\mathrm{\σ})*S(x,y)---\left(2\right);$

②对不同尺度σ空间的图像L(x,y,σ)按式（3）进行连续平滑和采样，记D为相邻尺度的高斯差分图像。

$D(x,y,\mathrm{\σ})=L(x,y,\mathrm{k\σ})-L(x,y,\mathrm{\σ})---\left(3\right);$

③提取高斯差分图像D上的峰值点作为特征点的候选点。每一个采样点与其同尺度的8个相邻点以及上下相邻尺度对应的9×2个点共26个点比较，将局部极值点集（灰度值极大值或极小值）作为特征点候选点集；

④去除极值点集中的不稳定点。利用Taylor二次级数在采样点处的尺度空间函数约束条件剔除对图像噪声敏感的低对比度的极值点；利用Hessian矩阵的轨迹和行列式去除边缘处的候选特征点；

⑤确定特征点的方向。记固定尺寸σ的高斯平滑图像为L(x,y,k₀σ)，利用特征点的梯度方向信息建立角度直方图，峰值即为局部梯度的主方向，分别按式（4）和式（5）计算像素梯度值m(x,y)和方向θ(x,y)；

$\begin{array}{c}m(x,y)\\ =\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}\end{array}---\left(4\right)$

$\mathrm{\θ}(x,y)={\tan }^{-1}\left(\frac{(L(x,y+1)-L(x,y-1))}{(L(x+1,y)-L(x-1,y))}\right)---\left(5\right);$

⑥建立特征点的描述符：以特征点为中心点采集16×16个像素窗口，将像素窗口分为4×4的子块，则每个子块可得到8个方向的梯度大小信息和梯度方向直方图，用128维向量描述该特征点。记提取的特征点为N₁(x_n,y_n)（n为正整数）；

对图像I_{ob_2}(x,y)重复步骤①～⑥，得到其特征点N₂(x_n,y_n)（n为正整数）；

3)两幅果梗图像特征点匹配

采用k维搜索树（kd树）进行特征点的搜索匹配。以苹果果梗图像I₁(x,y)中的特征点N₁(x_n,y_n)（n为正整数）为基准点，搜索与图像I₁(x,y)中的特征点最邻近的图像I₂(x,y)中的特征点。记图像I₁(x,y)和图像I₂(x,y)中对应匹配点坐标为(x_m,y_m)和(x_m’,y_m’)；

4)获取圆的中心坐标采用Canny算子提取苹果图像的边界，对苹果图像的边界点采用最小二乘圆进行拟合，得到图像I_{ob_1}(x,y)和图像I_{ob_2}(x,y)的圆心点坐标，分别为(x₀,y₀)和(x₀’,y₀′)；

5)特征点旋转角度计算

特征点的旋转角度θ_m计算公式为：

${\mathrm{\θ}}_m=\frac{180}{\mathrm{\π}}\×(\mathrm{ar}\tan \frac{{y_m}^{\′}-{y_0}^{\′}}{{x_m}^{\′}{-x_0}^{\′}}-\mathrm{ar}\tan \frac{y_m-y_0}{x_m-x_0})---\left(6\right);$

6)旋转角度坏点剔除

以特征点的旋转角度θ_m为对象，记为：

$\mathrm{\θ}=\left\{{\mathrm{\θ}}_i\right|{\mathrm{\θ}}_i\∈{\mathrm{\θ}}_m,i=\mathrm{1,2},\·\·\·,m\}---\left(7\right)$

将对象分为3个类W_j(j=1,2,3)，这3个类的聚类中心分别为：z₁,z₂,z₃，对应的特征点数量为M_j(j=1,2,3)；

聚类过程如下：

①从对象中任意选择3个对象作为初始聚类中心；

②用式（8）计算两个对象间的欧式距离：

$d({\mathrm{\θ}}_i,{\mathrm{\θ}}_j)=\sqrt{{({\mathrm{\θ}}_i-{\mathrm{\θ}}_j)}^T({\mathrm{\θ}}_i-{\mathrm{\θ}}_j)}---\left(8\right)$

将当前对象归类到d(θ_i,θ_j)取得最小值时聚类中心θ_j所在的类；

③用式（9）分别计算3个类的聚类中心：

$Z_j=\frac{1}{M_j}\underset{x\∈w_j}{\mathrm{\Σ}}x---\left(9\right)$

④用式（10）计算J值：

$J=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\underset{j=1}{\overset{M_j}{\mathrm{\Σ}}}d({\mathrm{\θ}}_j,z_i)---\left(10\right)$

⑤循环步骤②～④，直到J值不再发生变化；

7)苹果旋转角度计算

取对象数量最多的类的聚类中心为苹果旋转角度。

本发明具有的有益的效果是：

利用苹果果梗作为苹果旋转角度计算的依据，检测速度快，准确度高。

附图说明

图1是本发明的装置结构示意图。

图2是本发明的算法流程图。

图3是苹果果梗图像的圆形拟合结果图。

附图中标号：1、相机，2、苹果，3、滚轮，

具体实施方式

下面结合附图和实施例，对本发明作进一步的说明。

如图1所示，苹果果梗图像获取装置包括相机1、滚轮3和苹果2。苹果的花萼/果梗轴线与滚轮2轴线平行。滚轮2旋转时，带动苹果3转动，通过相机1分别获取相差一定的角度两幅苹果果梗图像I₁〔x，y〕和I₂〔x，y〕。

如图2所示，基于苹果果梗图像的苹果旋转角度获取方法的算法流程包括：苹果目标提取、果梗侧图像的特征点提取、两幅果梗图像特征点匹配、特征点旋转角度计算、旋转角度坏点剔除和苹果旋转角度计算。

各步骤中具体算法描述如下：

1)苹果目标提取。

对苹果果梗图像I₁(x,y)和I₂(x,y)进行目标提取，即去除背景图像，提取苹果图像。用最大类间方差法进行分割，提取苹果目标图像，记为I_{ob_1}(x,y)和I_{ob_2}(x,y)。

2)果梗图像的特征点提取

对图像I_{ob_1}(x,y)特征点的步骤如下：

①建立在不同尺度σ空间内的图像。定义图像I_{ob_1}(x,y)为S(x,y)，，按式（1）定义G(x,y,σ)为可变尺度的2维高斯函数，按式（2）定义L(x,y,σ)为不同尺度σ空间的图像，有：

$G(x,y,\mathrm{\σ})=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}{e}^{\frac{x^2+y^2}{2{\mathrm{\σ}}^2}}---\left(1\right)$

$L(x,y,\mathrm{\σ})=G(x,y,\mathrm{\σ})*S(x,y)---\left(2\right)$

②对不同尺度σ空间的图像L(x,y,σ)按式（3）进行连续平滑和采样，记D为相邻尺度的高斯差分图像。

$D(x,y,\mathrm{\σ})=L(x,y,\mathrm{k\σ})-L(x,y,\mathrm{\σ})---\left(3\right)$

③提取高斯差分图像D上的峰值点作为特征点的候选点。每一个采样点与其同尺度的8个相邻点以及上下相邻尺度对应的9×2个点共26个点比较，将局部极值点集（灰度值极大值或极小值）作为特征点候选点集。

④去除极值点集中的不稳定点。利用Taylor二次级数在采样点处的尺度空间函数约束条件剔除对图像噪声敏感的低对比度的极值点；利用Hessian矩阵的轨迹和行列式去除边缘处的候选特征点。

⑤确定特征点的方向。记固定尺寸σ的高斯平滑图像为L(x,y,k₀σ)，利用特征点的梯度方向信息建立角度直方图，峰值即为局部梯度的主方向，分别按式（4）和式（5）计算像素梯度值m(x,y)和方向θ(x,y)；。

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}---\left(4\right)$

$\mathrm{\θ}(x,y)={\tan }^{-1}\left(\frac{(L(x,y+1)-L(x,y-1))}{(L(x+1,y)-L(x-1,y))}\right)---\left(5\right)$

⑥建立特征点的描述符：以特征点为中心点采集16×16个像素窗口，将像素窗口分为4×4的子块，则每个子块可得到8个方向的梯度大小信息和梯度方向直方图，用128维向量描述该特征点。记提取的特征点为N₁(x_n,y_n)（n为正整数）；

对图像I_{ob_2}(x,y)重复步骤①～⑥，得到其特征点N₂(x_n,y_n)（n为正整数）。

3)两幅果梗图像特征点匹配

采用k维搜索树（kd树）进行特征点的搜索匹配。以苹果果梗图像I₁(x,y)中的特征点N₁(x_n,y_n)（n为正整数）为基准点，搜索与图像I₁(x,y)中的特征点最邻近的图像I₂(x,y)中的特征点。记图像I₁(x,y)和图像I₂(x,y)中对应匹配点坐标为(x_m,y_m)和(x_m’,y_m’)。

4)获取圆的中心坐标。

采用Canny算子提取苹果图像的边界，对苹果图像的边界点采用最小二乘圆进行拟合，得到如图3所示的图像，记图像I_{ob_1}(x,y)和图像I_{ob_2}(x,y)的圆心点坐标分别为(x₀,y₀)和(x₀’,y₀’)。

5)特征点旋转角度计算

特征点的旋转角度θ_m计算公式为：

${\mathrm{\θ}}_m=\frac{180}{\mathrm{\π}}\×(\mathrm{ar}\tan \frac{{y_m}^{\′}-{y_0}^{\′}}{{x_m}^{\′}{-x_0}^{\′}}-\mathrm{ar}\tan \frac{y_m-y_0}{x_m-x_0})---\left(6\right)$

旋转角度坏点剔除

以特征点的旋转角度θ_m为对象，记为：

$\mathrm{\θ}=\left\{{\mathrm{\θ}}_i\right|{\mathrm{\θ}}_i\∈{\mathrm{\θ}}_m,i=\mathrm{1,2},\·\·\·,m\}---\left(7\right)$

将对象分为3个类W_j(j=1,2,3)，这3个类的聚类中心分别为：z₁,z₂,z₃，对应的特征点数量为M_j(j=1,2,3)

聚类过程如下：

①从对象中任意选择3个对象作为初始聚类中心；

②用式（8）计算两个对象间的欧式距离：

$d({\mathrm{\θ}}_i,{\mathrm{\θ}}_j)=\sqrt{{({\mathrm{\θ}}_i-{\mathrm{\θ}}_j)}^T({\mathrm{\θ}}_i-{\mathrm{\θ}}_j)}---\left(8\right)$

将当前对象归类到d(θ_i,θ_j)取得最小值时聚类中心θ_j所在的类；

③用式（9）分别计算3个类的聚类中心：

$Z_j=\frac{1}{M_j}\underset{x\∈w_j}{\mathrm{\Σ}}x---\left(9\right)$

④用式（10）计算J值：

$J=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\underset{j=1}{\overset{M_j}{\mathrm{\Σ}}}d({\mathrm{\θ}}_j,z_i)---\left(10\right)$

⑤循环步骤②～④，直到J值不再发生变化。

6)苹果旋转角度计算

取对象数量最多的类的聚类中心为苹果旋转角度。

如附表所示，基于苹果果梗图像的苹果旋转角度获取的方法测试结果。

以蛇果为测试样本，取n=10，采集36幅图像，分别记为I₁、I₂…、I₃₆。

旋转角度相差10°的图像对为：I₁和I₂、I₂和I₃、…、I₃₅和I₃₆共35对；旋转角度相差20°的图像对为：I₁和I₃、I₂和I₄、…、I₃₄和、I₃₆共34对；旋转角度相差30°的图像对为：I₁和I₄、I₂和I₅、…、I₃₃和I₃₆共33对。以此类推，获取旋转角度差为10°、20°、…、350°的图像对。

对相差不同的旋转角度的图像对进行算法测试。测试值和实际值的最大相对误差为2%，最小的相对误差仅为0.17%，相对误差的均值在0.74%。

附表

Claims (1)

1.一种利用苹果果梗图像计算苹果旋转角度的方法，其特征在于，包括如下步骤：

1)苹果目标提取

对苹果果梗图像I₁(x，y)和I₂(x，y)进行目标提取，即去除背景图像，提取苹果图像，用最大类间方差法进行分割，提取苹果目标图像，记为I_{ob_1}(x，y)和I_{ob_2}(x，y)

2)果梗侧图像的特征点提取

对图像I_{ob_1}(x，y)提取特征点的步骤如下：

①建立在不同尺度σ空间内的图像，定义图像I_{ob_1}(x，y)为S(x，y)，按式(1)定义G(x，y，σ)为可变尺度的2维高斯函数，按式(2)定义L(x，y，σ)为不同尺度σ空间的图像，有：

$G(x,y,\mathrm{\σ})=\frac{1}{2{\mathrm{\π\σ}}^2}{e}^{\frac{x^2+y^2}{2{\mathrm{\σ}}^2}}---\left(1\right)$

L(x，y，σ)＝G(x，y，σ)*S(x，y)(2)；

②对不同尺度σ空间的图像L(x，y，σ)按式(3)进行连续平滑和采样，记D为相邻尺度的高斯差分图像；

D(x，y，σ)＝L(x，y，kσ)-L(x，y，σ)(3)；

其中k为常数；

③提取高斯差分图像D上的峰值点作为特征点的候选点；每一个采样点与其同尺度的8个相邻点以及上下相邻尺度对应的9×2个点共26个点比较，将局部极值点集，即灰度值极大值或极小值作为特征点候选点集；

④去除极值点集中的不稳定点；利用Taylor二次级数在采样点处的尺度空间函数约束条件剔除对图像噪声敏感的低对比度的极值点；利用Hessian矩阵的轨迹和行列式去除边缘处的候选特征点；

⑤确定特征点的方向；记固定尺寸σ的高斯平滑图像为L(x，y，k₀σ)，利用特征点的梯度方向信息建立角度直方图，峰值即为局部梯度的主方向，分别按式(4)和式(5)计算像素梯度值m(x，y)和方向θ(x，y)；

$m(x,y)=\sqrt{{(L(x+1,y,k_0\mathrm{\σ})-L(x-1,y,k_0\mathrm{\σ}))}^2+{(L(x,y+1,k_0\mathrm{\σ})-L(x,y-1,k_0\mathrm{\σ}))}^2}---\left(4\right)$

$\mathrm{\θ}(x,y)={\tan }^{-1}\frac{L(x,y+1,k_0\mathrm{\σ})-L(x,y-1,k_0\mathrm{\σ})}{L(x+1,y,k_0\mathrm{\σ})-L(x-1,y,k_0\mathrm{\σ})}---\left(5\right);$

其中k₀为常数；

⑥建立特征点的描述符：以特征点为中心点采集16×16个像素窗口，将像素窗口分为4×4的子块，则每个子块可得到8个方向的梯度大小信息和梯度方向直方图，用128维向量描述该特征点；记提取的特征点为N₁(x_n，y_n)，n为正整数；

对图像I_{ob_2}(x，y)重复步骤①～⑥，得到其特征点N₂(x_n，y_n)，n为正整数；

3)两幅果梗图像特征点匹配

采用kd树进行特征点的搜索匹配；以苹果果梗图像I₁(x，y)中的特征点N₁(x_n，y_n)为基准点，n为正整数，搜索与图像I₁(x，y)中的特征点最邻近的图像I₂(x，y)中的特征点；记图像I₁(x，y)和图像I₂(x，y)中对应匹配点坐标为(x_m，y_m)和(x_m′，y_m′)；

4)获取圆的中心坐标

采用Canny算子提取苹果图像的边界，对苹果图像的边界点采用最小二乘圆进行拟合，得到图像I_{ob_1}(x，y)和图像I_{ob_2}(x，y)的圆心点坐标，分别为(x₀，y₀)和(x₀′，y₀′)；

5)特征点旋转角度计算

特征点的旋转角度θ_m计算公式为：

${\mathrm{\θ}}_m=\frac{180}{\mathrm{\π}}\×({\tan }^{-1}\frac{{y_m}^{\′}-{y_0}^{\′}}{{x_m}^{\′}-{x_0}^{\′}}-{\tan }^{-1}\frac{y_m-y_0}{x_m-x_0})---\left(6\right)$

6)旋转角度坏点剔除

以特征点的旋转角度θ_m为对象，记为：

θ＝{θ_i|θ_i∈θ_m，i＝1，2，…，m}(7)

将对象分为3个类W_j，j＝1，2，3，这3个类的聚类中心分别为：z₁，z₂，z₃，对应的特征点数量为M_j，j＝1，2，3；

聚类过程如下：

①从对象中任意选择3个对象作为初始聚类中心；

②用式(8)计算两个对象间的欧式距离：

$d({\mathrm{\θ}}_i,{\mathrm{\θ}}_j)=\sqrt{{({\mathrm{\θ}}_i-{\mathrm{\θ}}_j)}^T({\mathrm{\θ}}_i-{\mathrm{\θ}}_j)}---\left(8\right)$

将当前对象归类到d(θ_i，θ_j)取得最小值时聚类中心θ_j所在的类；

③用式(9)分别计算3个类的聚类中心：

$z_j=\frac{1}{M_j}\underset{x\∈w_j}{\mathrm{\Σ}}x---\left(9\right)$

④用式(10)计算J值：

$J=\underset{i=1}{\overset{k}{\Σ}}\underset{j=1}{\overset{M_j}{\Σ}}d({\mathrm{\θ}}_j,z_i)---\left(10\right)$

式中k＝3；

⑤循环步骤②～④，直到J值不再发生变化；

7)苹果旋转角度计算

取对象数量最多的类的聚类中心为苹果旋转角度。