CN108053485B - 一种基于轮廓图像的马铃薯三维建模方法 - Google Patents

Abstract

本发明公开了一种基于轮廓图像的马铃薯三维建模方法。首先拍摄旋转角度相隔90°的两幅马铃薯图像，利用图像处理方法分别对两幅图像中的马铃薯对象进行轮廓提取和角点检测；将所有角点作为候选点，通过筛选后得到特征点。然后将特征点标定并输入建模软件，用于生成马铃薯外形骨架；最后创建并拾取闭合曲面，对其进行实体化，可得到马铃薯三维几何模型。本发明避免了椭球形农业物料常用三维建模方法精度低、成本高、速度慢等缺点，可快速准确地获取马铃薯三维几何模型，为其在有限元软件中的进一步分析奠定基础。

Description

一种基于轮廓图像的马铃薯三维建模方法

技术领域

本发明涉及一种马铃薯图像处理方法，尤其是涉及了一种基于轮廓图像的马铃薯三维建模方法。

背景技术

在利用有限元分析(Finite element analysis，FEA)解决农业工程问题时，农业物料几何结构能否准确描述是影响FEA分析结果很重要的一个因素，尤其是对于如马铃薯的形状不规则、结构不均一的物料。为简化计算，一些研究学者将不规则物料形状近似为规则的矩形、椭圆形、圆柱形或球形以便于分析。但是这样的简化会造成模拟结果不准确。有学者利用核磁共振成像技术结合图像处理的方法用来建模(Sandrom,G.,P.Emmanuel andS.Vivianao.Geometry modelling of food materials from magnetic resonanceimaging[J].Journal of Food Engineering,(2008),88(4):561-567.)，这种方法对具有复杂外形和各向异性组分的材料建模精度较高，但是操作复杂且成本较高。激光扫描技术(Ahmadi E.Viscoelastic finite element analysis of the dynamic behavior ofapple under impact loading with regard to its different layers[J].Computers&Electronics in Agriculture,2016,121(C):1-11.Celik,H.K.Determination of bruisesusceptibility of pears(Ankara variety)to impact load by means of FEM-basedexplicit dynamics simulation[J].Postharvest Biology&Technology,(2017),128:83-97.)也可用于建立物料模型，这种方法精度较高，但同样具有成本高且耗时长的缺点。有学者(Dintwa E,Zeebroeck MV,Ramon H,Tijskens E.Finite element analysis of thedynamic collision of apple fruit[J].Postharvest Biology&Technology,2008,49(2):260-276.)为建立苹果的几何模型，直接测量水果三层组织(果皮、果肉和果核)的尺寸得到苹果模型的草图。相似地，Li等(2013)(Li,Z.,P.Li,H.Yang and J.Liu.Internalmechanical damage prediction in tomato compression using multiscale finiteelement models[J].Journal of Food Engineering,(2013),116(3):639-647.)和顾丽霞等(2012)(顾丽霞，王春光，刘海超等.基于PeoE 5.0的不规则马铃薯建模仿真研究[J].农机化研究，(2012)，12:32-39.)将样品剖开放置在纸面上，手绘外形轮廓，并通过观察轮廓曲线变化趋势选择特征点。后来，在此基础上，Li等(2016)(Li Z,Wang Y.A multiscalefinite element model for mechanical response of tomato fruits[J].PostharvestBiology&Technology,2016,121:19-26.)利用数码相机和图像处理技术进行了改进。但对于特征点的获取没有描述。

发明内容

为了解决背景技术中存在的问题，本发明的目的在于提供一种基于轮廓图像的马铃薯三维建模方法，避免了常用三维建模方法精度低、成本高、速度慢等缺点，可快速准确地获取马铃薯三维几何模型，方便进一步分析。。

本发明解决其技术问题所采用的技术方案是：

首先拍摄旋转角度相隔90°的两幅马铃薯图像，利用图像处理方法分别对两幅图像中的马铃薯对象进行轮廓提取和角点检测。将所有角点作为候选点，通过筛选后得到特征点。然后将特征点标定并输入建模软件，用于生成马铃薯外形骨架。最后创建并拾取闭合曲面，对其进行实体化，可得到马铃薯三维几何模型。

1)拍摄同一马铃薯以长轴为轴线旋转下旋转角度间隔90°的两幅图像，并以图像的左上角点作为原点、以图像的纵方向为x轴、以图像横方向为y轴建立初始坐标系；

具体实施将马铃薯水平放置在台面上，通过相机俯视拍摄第一幅马铃薯图像，然后将马铃薯以长轴为轴线沿任意角度方向旋转90°，通过相机俯视拍摄第二幅马铃薯图像，即使得通过相机拍摄两幅图像时的相机成像面相互垂直。

2)对两幅图像均采用相同方式处理获得图像中马铃薯对象上的特征点组，同时获得特征点的实际物理坐标；

3)根据特征点组沿x轴方向的坐标值的数量在建模软件中创建同等数目且相平行的多个水平基准面，多个水平基准面的高度位置和各特征点组沿x轴方向的各个坐标值相吻合；

模型工具软件中也建立与平移坐标系相同的模型坐标系，水平基准面平行于第一方向，垂直于第二方向(即x轴方向)，第一方向沿模型的水平方向，第二方向沿模型的竖直方向；

具体实施中在Solidworks中创建水平基准面以及后续的特征曲线和曲面。

4)在各个水平基准面上输入特征点组的四个特征点的实际物理坐标，采用非均匀有理B样条曲线的方式对每个特征点组的四个特征点进行连接形成第一方向特征曲线，每条第一方向特征曲线对应一个特征点组；

5)以已建立好的第一方向特征曲线为基准，采用非均匀有理B样条曲线的方式将沿同一垂直于水平基准面方向上的各个特征点进行连接形成第二方向特征曲线，构成马铃薯三维模型的外形骨架，由于两幅图像的每个特征点组具有四个特征点使得具有四个这样的特征点，共计具有四条第二方向特征曲线；

6)采用软件的边界曲面工具选取所有第一方向特征曲线和第二方向特征曲线创建闭合曲面，最后针对闭合曲面进行实体化操作得到马铃薯的三维实体模型。

所述步骤2)具体为：

2.1)针对两幅图像均采用采用Matlab软件中minboundrect函数获取两幅图像中马铃薯对象的最小外接矩，将最小外接矩进行旋转使得最小外接矩的长边与x轴平行；

2.2)对马铃薯图像进行平滑处理后再采用canny算子处理获得带有轮廓曲线的轮廓图像；轮廓曲线主要由一系列的轮廓点构成。

2.3)对两幅轮廓图像的每条轮廓曲线采用角点检测算法检测出轮廓曲线上局部曲率最大的点，将其作为轮廓图像的候选点组成候选点集合；

角点检测算法来源于文献He AX,Yung NHC.Corner detector based on globaland local curvature properties[J].Optical Engineering,2008,47(47):057008.

2.4)针对两幅图像，均以相同的特殊筛选方式从候选点集合中选择获得特征点，组成各自的特征点集合；

2.5)建立平移坐标系：以轮廓曲线最上面的轮廓点和最下面的轮廓点分别作为上顶点和下顶点，以上顶点作为平移坐标系的原点，以图像的纵方向为x轴，以图像横方向为y轴；

将下顶点和所有特征点在初始坐标系下的坐标变换到平移坐标系下的坐标，获得平移坐标系下的上下顶点和所有特征点的图像坐标；

2.6)根据相机的像素尺寸计算得到马铃薯的轮廓曲线的上下顶点和所有特征点的实际物理坐标。

所述步骤2.4)具体为：

2.4.1)将第i个候选点表示为P_i(x_i,y_i)，i＝1,2,3…n，n为候选点个数；

2.4.2)针对每个集合，分别以每一个候选点作为初始点P₀(x₀,y₀)，遍历除自身以外的其他候选点，判断其他每个候选点与初始点的相对距离，若同时满足条件|x₀-x_i|<20pixels和|y₀-y_i|<100pixels，则认为候选点与初始点距离太近，删除此候选点；

2.4.3)两幅图像的筛选结果分别组成两个初步候选点集合A₁和A₂；

2.4.4)上下平移两幅图像中其中一幅图像的轮廓曲线，使两幅图像的轮廓曲线中最上面的上顶点的x坐标值相同，并按平移量获得变换后的初步候选点集合，将变换后的初步候选点集合和另一保持不变的初步候选点集合合并为同一集合，然后按照步骤2.4.2)相同方式进行再次筛选，得到中间集合B；

2.4.5)以中间集合B中所有候选点的x轴坐标值在轮廓图像中分别作各自的直线X＝x_j，j＝1,2,3…，求取各直线与两条轮廓曲线的交点坐标，将两幅图像的交点坐标分别组成初步特征点集合C₁和C₂；每条直线与两条轮廓曲线相交各有两个交点，共计四个交点，以这四个交点作为特征点组；

2.4.6)针对初步特征点集合C₁和C₂按照步骤2.4.2)相同方式进行再次筛选，得到特征点集合C₁’和C₂’，特征点集合中包括有多组特征点组。

本发明具有的有益的效果是：

本发明基于图像处理方法快速准确地获取马铃薯三维几何模型，避免了常用三维建模方法精度低、成本高、速度慢等缺点。

附图说明

图1是本发明的拍摄马铃薯样本旋转间隔90°的两幅图像。

图2是本发明得到的马铃薯轮廓曲线图。

图3是本发明得到的马铃薯候选点图。

图4是本发明得到的马铃薯特征点图。

图5是本发明得到的马铃薯外形骨架图。

图6是本发明得到的马铃薯三维模型图。

图7是本发明得到的马铃薯模型体积与实测体积对比图。

具体实施方式

下面结合附图和实施例对本发明做进一步说明。

本发明的实施例如下：

在本实施例中，本发明的图像处理方法采用Matlab软件编程实现，从特征点输入到模型实体化在Solidworks中实现。

1)将马铃薯水平放置在台面上，通过相机俯视拍摄第一幅马铃薯图像(如图1a)，然后将马铃薯以长轴为轴线沿任意方向旋转90°，通过相机俯视拍摄第二幅马铃薯图像(如图1b)，并以图像的左上角点作为原点、以图像的纵方向为x轴、以图像横方向为y轴建立初始坐标系(图1中显示的坐标系是为了区分两幅图像)；

2)对两幅图像均采用相同方式处理获得图像中马铃薯对象上的特征点组，同时获得特征点的实际物理坐标：

2.1)针对两幅图像均采用Matlab软件中minboundrect函数获取两幅图像中马铃薯对象的最小外接矩，将最小外接矩进行旋转使得最小外接矩的长边与x轴平行；

2.2)对马铃薯图像进行平滑处理后再采用canny算子处理获得带有轮廓曲线的轮廓图像(如图2a和2b)(图2中显示的坐标系是为了区分两幅图像)；

2.3)对两幅轮廓图像的每条轮廓曲线采用角点检测算法检测出轮廓曲线上局部曲率最大的点，将其作为轮廓图像的候选点组成候选点集合(如图3a和3b)(图3中显示的坐标系是为了区分两幅图像)；

2.4)针对两幅图像，均以下述相同的特殊筛选方式从候选点集合中选择获得特征点，组成各自的特征点集合(如图4a和4b)(图4中显示的坐标系是为了区分两幅图像)：

2.4.1)将第i个候选点表示为P_i(x_i,y_i)(i＝1,2,3…n,n为候选点个数)；

2.4.2)针对每个集合，分别以每一个候选点作为初始点P₀(x₀,y₀)，遍历除自身以外的其他候选点，判断其他每个候选点与初始点的相对距离，若同时满足条件|x₀-x_i|<20pixels和|y₀-y_i|<100pixels，则认为候选点与初始点距离太近，删除此候选点；

2.4.3)两幅图像的筛选结果分别组成两个初步候选点集合A₁和A₂；

2.4.4)上下平移两幅图像中其中一幅图像的轮廓曲线，使两幅图像的轮廓曲线中上顶点的x坐标值相同，并按平移量获得变换后的初步候选点集合，将变换后的初步候选点集合和另一保持不变的初步候选点集合合并为同一集合，然后按照步骤2.4.2)相同方式进行再次筛选，得到中间集合B；

2.4.5)以中间集合B中所有候选点的x轴坐标值在轮廓图像中分别作各自的直线X＝x_j(j＝1,2,3…)，求取各直线与两条轮廓曲线的交点坐标，将两幅图像的交点坐标分别组成初步特征点集合C₁和C₂。每条直线与两条轮廓曲线相交各有两个交点，共计四个交点，以这四个交点作为特征点组；

2.4.6)针对初步特征点集合C₁和C₂按照步骤2.4.2)相同方式进行再次筛选，得到特征点集合C₁’和C₂’，特征点集合中包括有多组特征点组。

2.5)建立平移坐标系：以轮廓曲线最上面的轮廓点和最下面的轮廓点分别作为上顶点和下顶点，以上顶点作为平移坐标系的原点，以图像的纵方向为x轴，以图像横方向为y轴；

将下顶点和所有特征点在初始坐标系下的坐标变换到平移坐标系下的坐标，获得平移坐标系下的上下顶点和所有特征点的图像坐标；

2.6)根据图像获取装置中相机的像素尺寸计算得到马铃薯的轮廓曲线的上下顶点和所有特征点的实际物理坐标。

3)根据所有特征点沿x轴方向的坐标值的数量在Solidworks中创建同等数目且相平行的多个水平基准面，多个水平基准面的高度位置和所有特征点沿x轴方向的各个坐标值相吻合；

4)在各个水平基准面上输入特征点组的四个特征点的实际物理坐标，采用非均匀有理B样条曲线的方式对每个特征点组的四个特征点进行连接形成第一方向特征曲线，每条第一方向特征曲线对应一个特征点组；

5)以已建立好的第一方向特征曲线为基准，采用非均匀有理B样条曲线的方式将沿同一垂直于水平基准面方向上的各个特征点坐标进行连接形成第二方向特征曲线，最终构成马铃薯外形骨架图(如图5)；

6)采用Solidworks的边界曲面工具选取所有第一方向特征曲线和第二方向特征曲线创建闭合曲面，最后针对闭合曲面进行实体化操作得到马铃薯的三维实体模型(如图6)。

为检验建模效果，以样本体积为检测指标，随机选取大小不一形状各异的马铃薯样本25个，对比建模体积与利用排水法得到的实测体积，结果如图7所示。分别统计实测值和建模值的均值和标准差，并对两组数据进行相关性分析，结果如表1所示。

表1 建模体积对比结果

从表1可以发现，实测体积与建模体积在0.01水平上显著相关，相关系数为r＝0.968，说明建模方法能较好的反应样本体积。

为提高建模精度，需引入补偿系数f：

V_mea＝f·V_mod (1)

其中，V_mea表示实测体积，V_mod表示建模体积，f为补偿系数。f的计算方式如式(2)所示：

通过对25组数据计算，得到建模体积与实测体积间的关系：

V_mea＝1.147V_mod (3)

补偿系数f＝1.147可用于有限元分析中的质量缩放，以更好地逼近真实马铃薯质量。引入补偿系数后，建模体积与实测体积平均相对误差为3.63％。因此可见本发明方法建立的马铃薯三维模型具有一定的准确性，具有其突出显著的技术效果。

Claims (3)

1.一种基于轮廓图像的马铃薯三维建模方法，其特征在于：

1)拍摄同一马铃薯以长轴为轴线旋转下旋转角度间隔90°的两幅图像；

2)对两幅图像均采用相同方式处理获得图像中马铃薯对象上的特征点组，同时获得特征点的实际物理坐标；

所述步骤2)具体为：

2.1)针对两幅图像均采用采用Matlab软件中minboundrect函数获取两幅图像中马铃薯对象的最小外接矩，将最小外接矩进行旋转使得最小外接矩的长边与x轴平行；

2.2)对马铃薯图像进行平滑处理后再采用canny算子处理获得带有轮廓曲线的轮廓图像；

2.3)对两幅轮廓图像的每条轮廓曲线采用角点检测算法检测出轮廓曲线上局部曲率最大的点，将其作为轮廓图像的候选点组成候选点集合；

2.4)针对两幅图像，均以相同的特殊筛选方式从候选点集合中选择获得特征点，组成各自的特征点集合；

所述2.4)具体为：

2.4.1)将第i个候选点表示为P_i(x_i,y_i)，i＝1,2,3…n，n为候选点个数；

2.4.2)针对每个集合，分别以每一个候选点作为初始点P₀(x₀,y₀)，遍历除自身以外的其他候选点，判断其他每个候选点与初始点的相对距离，若同时满足条件|x₀-x_i|<20pixels和|y₀-y_i|<100pixels，则认为候选点与初始点距离太近，删除此候选点；

2.4.3)两幅图像的筛选结果分别组成两个初步候选点集合A₁和A₂；

2.4.4)上下平移两幅图像中其中一幅图像的轮廓曲线，使两幅图像的轮廓曲线中最上面的上顶点的x坐标值相同，并按平移量获得变换后的初步候选点集合，将变换后的初步候选点集合和另一保持不变的初步候选点集合合并为同一集合，然后按照步骤2.4.2)相同方式进行再次筛选，得到中间集合B；

2.4.5)以中间集合B中所有候选点的x轴坐标值在轮廓图像中分别作各自的直线X＝x_j，j＝1,2,3…，求取各直线与两条轮廓曲线的交点坐标，将两幅图像的交点坐标分别组成初步特征点集合C₁和C₂；每条直线与两条轮廓曲线相交各有两个交点，共计四个交点，以这四个交点作为特征点组；

2.4.6)针对初步特征点集合C₁和C₂按照步骤2.4.2)相同方式进行再次筛选，得到特征点集合C₁’和C₂’，特征点集合中包括有多组特征点组；

2.5)建立平移坐标系：以轮廓曲线最上面的轮廓点和最下面的轮廓点分别作为上顶点和下顶点，以上顶点作为平移坐标系的原点，以图像的纵方向为x轴，以图像横方向为y轴；

将下顶点和所有特征点在初始坐标系下的坐标变换到平移坐标系下的坐标，获得平移坐标系下的上下顶点和所有特征点的图像坐标；

2.6)根据相机的像素尺寸计算得到马铃薯的轮廓曲线的上下顶点和所有特征点的实际物理坐标；

3)创建水平基准面；

4)在各个水平基准面上输入特征点组的四个特征点的实际物理坐标，对每个特征点组的四个特征点进行连接形成第一方向特征曲线，每条第一方向特征曲线对应一个特征点组；

5)以已建立好的第一方向特征曲线为基准，将沿同一垂直于水平基准面方向上的各个特征点进行连接形成第二方向特征曲线，构成马铃薯三维模型的外形骨架；

6)选取所有第一方向特征曲线和第二方向特征曲线创建闭合曲面，最后针对闭合曲面进行实体化操作得到马铃薯的三维实体模型。

2.根据权利要求1所述的一种基于轮廓图像的马铃薯三维建模方法，其特征在于：所述步骤1)中，以图像的左上角点作为原点、以图像的纵方向为x轴、以图像横方向为y轴建立初始坐标系。

3.根据权利要求1所述的一种基于轮廓图像的马铃薯三维建模方法，其特征在于：所述步骤3)具体为：根据特征点组沿x轴方向的坐标值的数量在建模软件中创建同等数目且相平行的多个水平基准面，多个水平基准面的高度位置和各特征点组沿x轴方向的各个坐标值相吻合。

Images