CN106228612A - 利用定轴旋转轮廓图重建马铃薯三维表面的方法和装置 - Google Patents

Abstract

本发明公开了一种利用定轴旋转轮廓图重建马铃薯三维表面的方法和装置。通过相机采集马铃薯样本的侧面图像，通过图像处理获取马铃薯样本三维骨架数据，由马铃薯样本三维骨架数据进一步处理形成马铃薯样本模型表面的曲面，从而完成三维表面的重建；装置包括环形光源、相机、旋转台控制器和电动旋转台，马铃薯样本安装在电动旋转台的输出轴上，电动旋转台与旋转台控制器连接，相机朝向正下方拍摄马铃薯样本的侧面图像，旋转台控制器和相机均通过电缆与计算机相连接，马铃薯样本和相机之间安装有环形光源。本发明采用马铃薯绕固定轴旋转时采集的多幅轮廓图来重建其三维表面，可提高马铃薯形状检测的准确度，且检测设备简洁。

Description

利用定轴旋转轮廓图重建马铃薯三维表面的方法和装置

技术领域

本发明涉及一种重建三维表面的方法和装置，尤其是涉及了一种利用定轴旋转轮廓图重建马铃薯三维表面的方法和装置。

背景技术

薯形是《中国农业标准马铃薯等级规格(NY/T1066-2006)》的分级标准所规定的分级指标之一。为了采用机器视觉技术进行马铃薯的薯形检测，国内外学者进行了大量的研究。

傅里叶描述子方法：Tao Y等(Tao Y.,Morrow C L Heinemann P H,eta1.Fourier-based separation technique for shape grading of potatoes usingmachine vision[J].Transactions of the ASAE，1 995，38(3):949-957)提出了利用傅里叶描述子来检测及对马铃薯分类的机器视觉方法。从归一化后的边界和傅里叶变换中提取并压缩形状信息，前十个傅里叶系数包含了马铃薯形状的大部分信息。基于马铃薯形状分类的谐波转换定义出分类器S，实验结果显示对120个马铃薯样本的准确率达到89％。PaulH.Heinemann等(Paul H.Heinemann,Niranjan P.Pathare,Charles T.Morrow.Anautomated inspection station for machine-vision grading of potatoes[J].Machine Vision and Applications,(1996)9:14-19)采用了近红外传感器采集图像的傅里叶描述子来对马铃薯形状分类。对静态马铃薯形状分类准确率达到96-98％。

几何参数方法：郑冠南等(郑冠楠，张俊雄，谭豫之，李伟.基于机器视觉的马铃薯自动化检测分级方法研究[J].中国科技在线)采用二维图像的离心率对马铃薯形状分级，用半径差法检测畸形马铃薯。对50个马铃薯的形状分级实验结果显示，精确度为88％。周竹等(周竹,黄懿,李小昱等.基于机器视觉的马铃薯自动分级方法[J].农业工程学报,2012,28(7):178-183)设计了双平面镜可以同时获取三面图像的机器视觉系统，通过计算三个马铃薯的最长径外接矩形的高宽比的最小值，把马铃薯分为类圆，椭圆，长形三种薯形。对480个实验样本的结果显示，准确率为91％。

傅里叶描述子与几何参数结合方法:Gamal M.ElMasry等(Gamal M.ElMasry,SheriefRadwan.In-line inspection of the shape of potatoes by computer-integrated machine vision[J].2012)根据周长、形心、面积、惯性矩、长径和短径等几何特征，结合傅里叶描述子，再通过逐步线性回归，得到圆形度和四个傅里叶几何描述子来区分规则和不规则马铃薯。对228个实验静态样本分级结果准确率为96.5％。崔建丽(崔建丽.基于机器视觉的马铃薯薯形检测技术研究[D].呼和浩特：内蒙古农业大学,2012)采用边界点矩特征的傅里叶方法检测薯形，首先在马铃薯图像的边缘提取出边界点，并计算出边界点矩特征值，再通过傅里叶变换得到傅里叶描述子，运用欧式距离分类法把马铃薯分类圆形、椭圆形及畸形三类，试验设定100幅图片的训练样本，检测得准确率为92.5％、93.75％和100％。吴佳(吴佳.基于高光谱成像技术的马铃薯薯形检测与算法研究[D].银川：宁夏大学,2014)采用高光谱图像的小波相对矩和极半径的傅里叶描述子作为马铃薯的形状分级依据。通过相对矩计算出马铃薯类中心，在算出马铃薯和类中心的欧式距离。实验结果对40个马铃薯的分级准确率为畸形薯90％，优质薯85％。

Zernike等不变矩描述形状方法：郝敏等(郝敏，麻硕士，郝小冬.基于Zernike矩的马铃薯薯形检测[J].农业工程学报,2010,2(2):347-350)设计了一套形状特征参数检测方法，把Zernike作为特征参数。首先归一化得到的图像，使得图片具有平移和尺度不变性，再计算得到Zernike特征参数并输入支持向量机。SVM的核心是选择或者构造核函数，作者采用了试凑的方法，最终选择高斯径向基核函数和Sigmoid核函数混合构建核函数。实验结果，对畸形和良好的分类正确率分别为100％和93％。孔彦龙等(孔彦龙，高晓阳.基于机器视觉的马铃薯质量和形状分选方法[J].农业工程学报,2012,17(9):143-148)采用了6个不变矩组合的方法来表示形状特征。再通过单隐层BP网络把马铃薯分为圆形，椭圆形，畸形三个级别，实验结果显示，准确率为96％。

上述方法都通过二维图像的信息来判断形状，而马铃薯的外形特征复杂，用平面的二维图像难以准确地反映其外形特征。

发明内容

为了解决二维图像方法检测马铃薯形状和计算表面积随着相机视角的变化，结果差异性过大的问题，本发明的目的在于提出了一种利用定轴旋转轮廓图重建马铃薯三维表面的方法和装置。

本发明解决其技术问题所采用的技术方案是：

一、一种利用定轴旋转轮廓图重建马铃薯三维表面的方法：

1)通过相机采集马铃薯样本的侧面图像；

2)通过图像处理获取马铃薯样本三维骨架数据；

3)由马铃薯样本三维骨架数据进一步处理形成马铃薯样本模型表面的曲面，从而完成三维表面的重建。

所述侧面图像包括绕马铃薯纵径长轴旋转一周范围内均匀间隔采样的多张外侧面图像。

所述侧面图像为从垂直于马铃薯纵径长轴方向拍摄的图像。

所述步骤2)具体为：

2.1)采用Canny边缘检测算子分别对N张马铃薯侧面图像进行边缘检测处理，检测得到每张图像中的马铃薯轮廓，获得N张马铃薯样本的轮廓图；

2.2)针对每张轮廓图将其中所有轮廓点的坐标形成一个二维数组T，轮廓点的坐标作为二维数组T的元素，从而获得N张轮廓图对应的N张二维数组T；

2.3)对于每张轮廓图，计算其轮廓最小外接矩形，取最小外接矩形的任一短边的两端点，利用该两端点坐标旋转图像中的马铃薯轮廓，使得马铃薯纵径长轴和图像的垂直方向相平行，然后以此更新二维数组T中轮廓点的坐标数据；

2.4)将各个二维数组T转化为三维数组D，以三维数组D作为马铃薯样本三维骨架数据。

所述步骤2.3)中是利用该两端点坐标采用以下公式计算获得旋转角度的余弦，进而旋转图像中的马铃薯轮廓：

$m_x=\frac{y_L-y_R}{\sqrt{{(x_L-x_R)}^2+{(y_L-y_R)}^2}}$

$m_y=\frac{x_L-x_R}{\sqrt{{(x_L-x_R)}^2+{(y_L-y_R)}^2}}$

式中，m_x、m_y分别表示马铃薯转动轴相对于X轴、Y轴的方向余弦，(x_L，y_L)和(x_R，y_R)是马铃薯轮廓最小外接矩形的短边的两端点，x_L、y_L是其中一端点的横纵坐标，x_R、y_R是另一端点的横纵坐标。

所述步骤2.4)具体为：对于采集的第一张马铃薯侧面图像，其对应的二维数组T中每个轮廓点坐标采用以下公式处理，将平面坐标转化为三维坐标，获得三维数组D中的各个三维数据；

$\left\{\begin{array}{c}{x}_0^{\′}=x_0\\ y_0^{\′}=y_0\\ z_0^{\′}=0\end{array}\right.$

式中，(x₀，y₀)为第一张马铃薯侧面图像对应的二维数组T，x₀、y₀分别表示第一张马铃薯侧面图像中轮廓点的横纵坐标，(x′₀，y′₀，z′₀)为第一张马铃薯侧面图像对应的三维数组D，x′₀、y′₀、z′₀为第一张马铃薯侧面图中轮廓点的三维坐标；

对于采集的第二张及以后的马铃薯侧面图像，其对应的二维数组T中每个轮廓点坐标采用以下公式处理，将平面坐标转化为三维坐标，获得三维数组D中的各个三维数据；

$\left\{\begin{array}{c}{x}_n^{\′}=x_n\[m_x^2(1-\cos na)+\cos na\]+y_n{m}_x{m}_y(1-\cos na)+x_n\\ y_n^{\′}=x_n{m}_x{m}_y(1-\cos na)+y_n\[m_y^2(1-\cos na)+\cos na\]+y_n\\ z_n^{\′}=x_n{m}_y\sin na+y_n{m}_x\sin na\end{array}\right.---\left(2\right)$

式中，n表示马铃薯侧面图像采集的序数，为大于1的自然数，(x_n，y_n)为第n张马铃薯侧面图像对应的二维数组T，(x′_n，y′_n，z′_n)为第n张马铃薯侧面图像对应的三维数组D，a表示均匀间隔采样过程中马铃薯每次转动的角度，m_x、m_y分别表示马铃薯转动轴相对于X轴、Y轴的方向余弦。

马铃薯转动轴相对于X轴、Y轴的方向余弦m_x、m_y分别采用以下公式计算：

$m_x=\frac{y_L-y_R}{\sqrt{{(x_L-x_R)}^2+{(y_L-y_R)}^2}}$

$m_y=\frac{x_L-x_R}{\sqrt{{(x_L-x_R)}^2+{(y_L-y_R)}^2}}$

式中，(x_L，y_L)和(x_R，y_R)是马铃薯轮廓最小外接矩形的短边的两端点，x_L、y_L是其中一端点的横纵坐标，x_R、y_R是另一端点的横纵坐标。

所述步骤3)具体为：

3.1)将所有三维数组D合并后对应的马铃薯轮廓点通过马铃薯长轴所在的平面任意均分为两组，判断每组的轮廓点点数是否小于1000：

若每组的轮廓点点数小于1000，则直接进行步骤3.3)；

若每组的轮廓点点数不小于1000，则将每组的所有轮廓点再通过马铃薯长轴所在的平面均分为两组；

3.2)将再均分后的每组采用与步骤3.1)相同方式进行判断和处理，直到各组轮廓点的点数均小于1000为止；

3.3)把上述步骤分后获得的所有三维数组D均采用最小二乘法拟合，生成各自的拟合曲面，再融合获得马铃薯三维表面f_n。

二、一种利用定轴旋转轮廓图重建马铃薯三维表面的装置：

包括环形光源、相机、旋转台控制器、计算机和电动旋转台，马铃薯样本安装在电动旋转台的输出轴上，电动旋转台与旋转台控制器连接，相机朝向正下方拍摄马铃薯样本的侧面图像，旋转台控制器和相机均通过电缆与计算机相连接，马铃薯样本和相机之间安装有环形光源。

所述的马铃薯样本长轴与电动旋转台输出轴同轴地安装，使得马铃薯样本与电动旋转台同步转动。

所述的环形光源位于马铃薯样本的上方和相机的下方，环形光源和相机同轴心。

所述的旋转台控制器与计算机通过RS232通讯线相连接。

本发明的有益效果是：

本发明可提高马铃薯形状检测的准确度，且检测设备简洁。

本发明用简洁、价格低廉的设备检测马铃薯形状，能保证准确度。

附图说明

图1是本发明装置的结构图；

图2是本发明实施例采集的18幅马铃薯样本侧面图像；

图3是本发明实施例获得的18幅马铃薯轮廓图像；

图4是本发明实施例获得的马铃薯样本的三维骨架图；

图5是本发明实施例获得的马铃薯样本的三维表面图。

图中：1、环形光源，2、相机，3、旋转台控制器，4、计算机，5、电动旋转台，6、马铃薯样本。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

如图1所示，本发明实施采用的装置包括环形光源1、相机2、旋转台控制器3、计算机4和电动旋转台5，马铃薯样本6安装在电动旋转台5的输出轴上，电动旋转台5与旋转台控制器3连接，相机2朝向正下方拍摄马铃薯样本6的侧面图像，旋转台控制器3和相机2均通过电缆与计算机4相连接，马铃薯样本6和相机2之间安装有环形光源1，环形光源1位于马铃薯样本6的上方和相机2的下方，环形光源1和相机2同轴心。马铃薯样本6的长轴与电动旋转台5输出轴同轴地安装，使得马铃薯样本6与电动旋转台5同步转动。

本发明的实施例及其实施过程如下：

1、将马铃薯样本6沿纵径方向安装在电动旋转台5的输出轴上；

2、计算机4通过相机2拍摄马铃薯样本6的第1张马铃薯侧面图像；

3、计算机4通过RS232通讯线控制旋转台控制器3，使电动旋转台5旋转一定角度a，计算机4通过相机2拍摄马铃薯样本6的下一张侧面图像；

4、重复步骤直到获得如图2所示的N张马铃薯侧面图像，N＝360/a，在本例中，角度a取20°，N＝18；

5、通过图像处理获取马铃薯样本三维骨架数据：

1)采用Canny边缘检测算子分别对N张马铃薯侧面图像进行边缘检测处理，检测得到每张图像中的马铃薯轮廓，获得N张马铃薯样本的轮廓图，如图3所示；

2)针对每张轮廓图将其中所有轮廓点的坐标形成一个二维数组T，轮廓点的坐标作为二维数组T的元素，从而获得N张轮廓图对应的N张二维数组T；

3)对于每张轮廓图，计算其轮廓最小外接矩形，取最小外接矩形的任一短边的两端点，利用该两端点坐标旋转图像中的马铃薯轮廓，使得马铃薯纵径长轴和图像的垂直方向相平行，然后以此更新二维数组T中轮廓点的坐标数据；

4)将各个二维数组T转化为三维数组D，以三维数组D作为马铃薯样本三维骨架数据，如图4所示。

6、由马铃薯样本三维骨架数据进一步处理形成马铃薯样本模型表面的曲面，从而完成三维表面的重建：

1)将所有三维数组D合并后对应的马铃薯轮廓点通过马铃薯长轴所在的平面任意均分为两组，判断每组的轮廓点点数是否小于1000：

若每组的轮廓点点数小于1000，则直接进行最小二乘法拟合；

若每组的轮廓点点数不小于1000，则将每组的所有轮廓点再通过马铃薯长轴所在的平面均分为两组；

2)将再均分后的每组采用与上述步骤相同方式进行判断和处理，直到各组轮廓点的点数均小于1000为止；

3)把上述步骤分后获得的所有三维数组D均采用最小二乘法拟合，生成各自的拟合曲面，再进行融合，获得马铃薯三维表面f_n，最终结果如图5所示。

Claims (10)

1.一种利用定轴旋转轮廓图重建马铃薯三维表面的方法，其特征在于：

1)通过相机采集马铃薯样本的侧面图像；

2)通过图像处理获取马铃薯样本三维骨架数据；

3)由马铃薯样本三维骨架数据进一步处理形成马铃薯样本模型表面的曲面，从而完成三维表面的重建。

2.根据权利要求1所述的一种利用定轴旋转轮廓图重建马铃薯三维表面的方法，其特征在于：所述侧面图像包括绕马铃薯纵径长轴旋转一周范围内均匀间隔采样的多张外侧面图像。

3.根据权利要求1所述的一种利用定轴旋转轮廓图重建马铃薯三维表面的方法，其特征在于：所述侧面图像为从垂直于马铃薯纵径长轴方向拍摄的图像。

4.根据权利要求1所述的一种利用定轴旋转轮廓图重建马铃薯三维表面的方法，其特征在于：所述步骤2)具体为：

2.1)采用Canny边缘检测算子分别对N张马铃薯侧面图像进行边缘检测处理，检测得到每张图像中的马铃薯轮廓，获得N张马铃薯样本的轮廓图；

2.2)针对每张轮廓图将其中所有轮廓点的坐标形成一个二维数组T，轮廓点的坐标作为二维数组T的元素，从而获得N张轮廓图对应的N张二维数组T；

2.3)对于每张轮廓图，计算其轮廓最小外接矩形，取最小外接矩形的任一短边的两端点，利用该两端点坐标旋转图像中的马铃薯轮廓，使得马铃薯纵径长轴和图像的垂直方向相平行，然后以此更新二维数组T中轮廓点的坐标数据；

2.4)将各个二维数组T转化为三维数组D，以三维数组D作为马铃薯样本三维骨架数据。

5.根据权利要求1所述的一种利用定轴旋转轮廓图重建马铃薯三维表面的方法，其特征在于：所述步骤2.3)中是利用该两端点坐标采用以下公式计算获得旋转角度的余弦，进而旋转图像中的马铃薯轮廓：

$m_x=\frac{y_L-y_R}{\sqrt{{(x_L-x_R)}^2+{(y_L-y_R)}^2}}$

$m_y=\frac{x_L-x_R}{\sqrt{{(x_L-x_R)}^2+{(y_L-y_R)}^2}}$

式中，m_x、m_y分别表示马铃薯转动轴相对于X轴、Y轴的方向余弦，(x_L，y_L)和(x_R，y_R)是马铃薯轮廓最小外接矩形的短边的两端点，x_L、y_L是其中一端点的横纵坐标，x_R、y_R是另一端点的横纵坐标。

6.根据权利要求1所述的一种利用定轴旋转轮廓图重建马铃薯三维表面的方法，其特征在于：所述步骤2.4)具体为：

对于采集的第一张马铃薯侧面图像，其对应的二维数组T中每个轮廓点坐标采用以下公式处理，将平面坐标转化为三维坐标，获得三维数组D中的各个三维数据；

$\left\{\begin{array}{c}{x}_0^{\′}=x_0\\ y_0^{\′}=y_0\\ z_0^{\′}=0\end{array}\right.$

式中，(x₀，y₀)为第一张马铃薯侧面图像对应的二维数组T，x₀、y₀分别表示第一张马铃薯侧面图像中轮廓点的横纵坐标，(x′₀，y′₀，z′₀)为第一张马铃薯侧面图像对应的三维数组D，x′₀、y′₀、z′₀为第一张马铃薯侧面图中轮廓点的三维坐标；

对于采集的第二张及以后的马铃薯侧面图像，其对应的二维数组T中每个轮廓点坐标采用以下公式处理，将平面坐标转化为三维坐标，获得三维数组D中的各个三维数据；

$\left\{\begin{array}{c}{x}_n^{\′}=x_n\[m_x^2\left(1-\cos na\right)+\cos na\]+y_n{m}_x{m}_y\left(1-\cos na\right)+x_n\\ y_n^{\′}=x_n{m}_x{m}_y\left(1-\cos na\right)+y_n\[m_y^2\left(1-\cos na\right)+\cos na\]+y_n\\ z_n^{\′}=x_n{m}_y\sin na+y_n{m}_x\sin na\end{array}\right.---\left(2\right)$

式中，n表示马铃薯侧面图像采集的序数，为大于1的自然数，(x_n，y_n)为第n张马铃薯侧面图像对应的二维数组T，(x′_n，y′_n，Z′_n)为第n张马铃薯侧面图像对应的三维数组D，a表示均匀间隔采样过程中马铃薯每次转动的角度，m_x、m_y分别表示马铃薯转动轴相对于X轴、Y轴的方向余弦。

7.根据权利要求1所述的一种利用定轴旋转轮廓图重建马铃薯三维表面的方法，其特征在于：所述步骤3)具体为：

3.1)将所有三维数组D合并后对应的马铃薯轮廓点通过马铃薯长轴所在的平面任意均分为两组，判断每组的轮廓点点数是否小于1000：

若每组的轮廓点点数小于1000，则直接进行步骤3.3)；

若每组的轮廓点点数不小于1000，则将每组的所有轮廓点再通过马铃薯长轴所在的平面均分为两组；

3.2)将再均分后的每组采用与步骤3.1)相同方式进行判断和处理，直到各组轮廓点的点数均小于1000为止；

3.3)把上述步骤分后获得的所有三维数组D均采用最小二乘法拟合，生成各自的拟合曲面，融合获得马铃薯三维表面f_n。

8.用于实施权利要求1～7任一所述方法的一种利用定轴旋转轮廓图重建马铃薯三维表面的装置，其特征在于：包括环形光源(1)、相机(2)、旋转台控制器(3)、计算机(4)和电动旋转台(5)，马铃薯样本(6)安装在电动旋转台(5)的输出轴上，电动旋转台(5)与旋转台控制器(3)连接，相机(2)朝向正下方拍摄马铃薯样本(6)的侧面图像，旋转台控制器(3)和相机(2)均通过电缆与计算机(4)相连接，马铃薯样本(6)和相机(2)之间安装有环形光源(1)。

9.根据权利要求8所述的一种利用定轴旋转轮廓图重建马铃薯三维表面的装置，其特征在于：所述的马铃薯样本(6)长轴与电动旋转台(5)输出轴同轴地安装，使得马铃薯样本(6)与电动旋转台(5)同步转动。

10.根据权利要求8所述的一种利用定轴旋转轮廓图重建马铃薯三维表面的装置，其特征在于：所述的环形光源(1)位于马铃薯样本(6)的上方和相机(2)的下方，环形光源(1)和相机(2)同轴心。