CN102982524B - 玉米果穗有序图像的拼接方法 - Google Patents

Abstract

本发明提供一种玉米果穗有序图像的拼接方法，包括以下步骤：S1、获取多张含有玉米果穗的有序彩色图像，通过图像预处理建立玉米果穗的轮廓，得到玉米果穗图像；S2、利用轴向畸变校正法，将所述玉米果穗图像校正到基准高度；S3、计算每个玉米果穗图像上对应的分裂点集；S4、对经过轴向畸变校正后的玉米果穗图像进行分割，确定位于所述分裂点集的玉米籽粒图像及所述分裂点集内部的玉米籽粒图像；S5、将所述位于分裂点集的玉米籽粒图像及分裂点集内部的玉米籽粒图像进行拼接，得到包含玉米果穗所有籽粒的全景图像；本发明可以防止拼接边缘存在感兴趣目标畸变的问题，其鲁棒性强，拼接出的玉米籽粒全景图可用于准确计算考种指标。

Description

玉米果穗有序图像的拼接方法

技术领域

本发明涉及计算机图像处理技术领域，特别涉及一种玉米果穗有序图像的拼接方法。

背景技术

玉米果穗图像分割，是进行自动化考种的核心问题之一，基于计算机图像处理技术进行自动化考种，其效率高、稳定性强，有利于大规模大范围的应用实施，可以降低人力成本，促进考种工作的标准化；目前，玉米果穗图像的考种方法主要还是基于单张图像获取的信息进行统计分析得到，可是单张图像中包含的果穗信息并不完整，利用这种不完整信息得到的统计数据虽能反映果穗的概况，却难以准确反映果穗的个体特征；另外，使用单张图像计算得到的穗行数、粒数、秃尖等重要指标的计算结果误差较大，一般需要建立经验模型进行进一步推导，而且对于同一果穗不同角度拍摄的图像来说，计算和分析的结果也不稳定。

为了满足精确考种的需要，利用有序拍摄的多张玉米果穗图像，通过图像信息融合得到整个果穗的表面特征，可以为精确考种提供理想数据。目前，基于多张图像的信息融合技术已有大量应用，但一般用于大规模场景的图像融合，融合图像的结果主要为了满足视觉效果需要，在图像拼接的边缘往往通过平滑技术进行模糊处理，使得在边界细节特征上表达不精准；另外，当前有序图像拼接一般都是基于像素级别的拼接，对输入图像的要求较高，并且在拼接边界上也难以达到像素级别的准确匹配，一旦拼接边界存在明显错位，则基于拼接图像的图像分割质量难以保证，即使通过平滑计算对拼接边界进行融合处理，也会导致边界上感兴趣目标的颜色和形状发生畸变。对于玉米果穗图像这种图像分辨率不高、局部纹理细节特征差异明显、拼接精度要求较高的应用来说，常规的图像拼接方法难以满足要求。

因此，现有技术中基于多张玉米果穗图像进行考种，存在的最大困难是图像拼接，而目前还没有满足精准考种需求的玉米果穗有序图像拼接方法。

发明内容

本发明提供一种玉米果穗有序图像的拼接方法，以克服现有技术中在拼接边缘存在感兴趣目标畸变的问题，使得拼接后的玉米果穗全景图可以精准的反应玉米籽粒的信息。

为实现以上目的，本发明通过以下技术方案予以实现：

一种玉米果穗有序图像的拼接方法，包括以下步骤：

S1、获取多张含有玉米果穗的有序彩色图像，通过图像预处理建立玉米果穗的轮廓，得到玉米果穗图像；

S2、利用轴向畸变校正法，将所述玉米果穗图像校正到基准高度；

S3、根据轴向畸变校正后的玉米果穗图像，计算每个玉米果穗图像上对应的分裂点集；

S4、对经过轴向畸变校正后的玉米果穗图像进行分割，确定位于所述分裂点集的玉米籽粒图像及所述分裂点集内部的玉米籽粒图像；

S5、将所述位于分裂点集的玉米籽粒图像及分裂点集内部的玉米籽粒图像进行拼接，得到包含玉米果穗所有籽粒的全景图像。

优选的，所述步骤S1进一步包括：

S11、获取多张含有玉米果穗的有序彩色图像并将其转化成灰度图像，确定背景阀值；

S12、利用所述背景阀值对所述灰度图像进行二值化，根据形态学运算对所述二值化图像建立玉米果穗的轮廓；

S13、利用所述二值化图像建立的玉米果穗轮廓，得到玉米果穗图像；所述玉米果穗图像为仅包含玉米果穗的有序彩色图像、灰度图像及二值化图像。

优选的，所述多张含有玉米果穗的有序彩色图像是通过围绕玉米果穗中心轴、按顺时针或逆时针方向拍摄得到，该相机位置与所述玉米果穗中心轴的距离不变，且任意两张相邻图像的拍摄夹角相同。

优选的，所述步骤S2进一步包括：

S21、计算每张玉米果穗图像的OBB包围盒，以所述OBB包围盒的长轴所在方向作为Z轴，以其短轴所在方向作为X轴并建立坐标系，该坐标系的原点为所述OBB包围盒短轴的中心点；其中，所述Z轴为玉米果穗的中心轴所在的方向；

S22、旋转所述玉米果穗图像，使Z轴垂直于水平方向；

S23、计算所述每张玉米果穗图像中各玉米果穗轮廓高度的平均值，得到基准高度，将旋转后的每个玉米果穗图像缩放到该基准高度，得到轴向畸变校正后的玉米果穗图像；所述轴向畸变校正后的玉米果穗图像包括畸变校正后的仅包含玉米果穗的有序彩色图像、灰度图像及二值化图像。

优选的，所述步骤S3进一步包括：

S31、基于所述轴向畸变校正后的仅包含玉米果穗的有序二值化图像，提取每张图像中的玉米果穗轮廓，将每个玉米果穗轮廓分裂为左中右三组点集；

S32、根据所述三组点集，计算每个玉米果穗图像上对应的分裂点集。

优选的，所述步骤S31进一步包括：

S311、基于所述轴向畸变校正后的仅包含玉米果穗的有序二值化图像，提取每张图像中的玉米果穗轮廓；

S312、从所有轮廓像素点中找到其在Z轴坐标方向上的极值点；

S313、从所有位于极值点范围内的Z轴上像素点中检索出其在X轴方向上距离最大的两个像素点，分别将该两像素点作为每个玉米果穗轮廓的左右轮廓点，从而得到每个玉米果穗轮廓的左右轮廓点集；

S314、根据所述每个玉米果穗轮廓的各左右轮廓点，计算出左右轮廓点连线的中点，将该中点作为每个玉米果穗轮廓的中心点，从而得到每个玉米果穗轮廓的中心点集。

优选的，所述步骤S32进一步包括：

S321、以每个玉米果穗轮廓的中心点为中心，以其对应的左右轮廓点之间的连线作为直径，建立每个玉米果穗的横剖面；

S322、计算任意两张相邻玉米果穗图像的拍摄夹角，在所述果穗横剖面上，以所述玉米果穗轮廓的中心点为顶点，垂直于其左右轮廓点连线的直线为角平分线，形成所述拍摄夹角并与该横剖面交于两点；

S323、计算该两交点到所述左右轮廓点连线的投影，该两投影点为所述玉米果穗轮廓的中心点对应的左右分裂点，从而得到每个玉米果穗图像上对应的分裂点集。

优选的，所述步骤S4进一步包括：

S41、对所述轴向畸变校正后的仅包含玉米果穗的有序彩色图像及灰度图像进行分割，得到玉米籽粒图像；

S42、基于所述玉米籽粒图像，将每张玉米籽粒图像中的左分裂点集作为种子点，得到左分裂点集的玉米籽粒图像；

S42、将每张玉米籽粒图像中的右分裂点集作为种子点，得到右分裂点集的玉米籽粒图像；

S43、将所述左右分裂点集作为约束，得到位于所述左右分裂点内部的玉米籽粒图像，从而得到所述分裂点集的玉米籽粒图像及所述分裂点集内部的玉米籽粒图像。

优选的，所述步骤S5进一步包括：

S51、建立一张空白的全景图像，将第一张位于所述左右分裂点内部的玉米籽粒图像复制到该空白的全景图像中；

S52、按图像获取次序，将剩余的位于所述左右分裂点内部的玉米籽粒图像依次复制到所述步骤S51的全景图像中；在所述全景图像中添加所述分裂点集的玉米籽粒图像，得到包含玉米果穗所有籽粒的全景图像。

优选的，所述多张含有玉米果穗的有序彩色图像至少为三张。

本发明通过提供一种玉米果穗有序图像的拼接方法，其使用轴向畸变校正方法重建所有输入图像中果穗轮廓，为其后图像拼接提供标准化输入数据；利用果穗轮廓分裂-分裂边界确定-籽粒分割-籽粒拼接方法，从多组图像中准确提取出玉米籽粒畸变最小的图像分裂点集，拼接出包含了果穗所有籽粒信息的全景图，为玉米果穗考种的精确计算提供了理想数据，防止了拼接边缘存在感兴趣目标畸变的问题；本发明鲁棒性强，拼接出的玉米籽粒全景图可以准确计算玉米果穗的穗粒数等重要考种指标。

附图说明

图1为本发明一实施例的流程图；

图2为本发明一实施例中经过轴向畸变校正后的玉米果穗图像；

图3为本发明一实施例中获取每个玉米果穗的左右分裂点的示意图；

图4为本发明一实施例中左右分裂点边界上的玉米籽粒图像；

图5为本发明一实施例中包含玉米果穗所有籽粒的全景图像。

具体实施方式

下面对于本发明所提出的一种玉米果穗有序图像的拼接方法，结合附图和实施例详细说明。

本发明提供一种玉米果穗有序图像的拼接方法，如图1所示，包括以下步骤：

S1、获取多张含有玉米果穗的有序彩色图像，通过图像预处理建立玉米果穗的轮廓，得到玉米果穗图像；在该实施例中，为N张含有玉米果穗的有序彩色图像SC；

S2、利用轴向畸变校正法，将所述玉米果穗图像校正到基准高度；

S3、根据轴向畸变校正后的玉米果穗图像，计算每个玉米果穗图像上对应的分裂点集；

S4、对经过轴向畸变校正后的玉米果穗图像进行分割，确定位于所述分裂点集的玉米籽粒图像及所述分裂点集内部的玉米籽粒图像；

S5、将所述位于分裂点集的玉米籽粒图像及分裂点集内部的玉米籽粒图像进行拼接，得到包含玉米果穗所有籽粒的全景图像。

优选的，所述步骤S1进一步包括：

S11、获取多张含有玉米果穗的有序彩色图像SC并将其转化成灰度图像SH，确定背景阀值；所述背景阀值是指玉米果穗与背景之间的优化阀值，其可以通过OSTU方法来计算，为简化计算，也可以通过经验人工设定。

S12、利用所述背景阀值对所述灰度图像SH进行二值化，根据形态学运算对所述二值化图像SB建立玉米果穗的轮廓；

S13、利用所述二值化图像SB建立的玉米果穗轮廓，得到玉米果穗图像；所述玉米果穗图像为仅包含玉米果穗的有序彩色图像、灰度图像及二值化图像。

优选的，所述多张含有玉米果穗的有序彩色图像是通过围绕玉米果穗中心轴、按顺时针或逆时针方向拍摄得到，相机位置与所述玉米果穗中心轴的距离不变，且任意两张相邻图像的拍摄夹角相同，由此可计算出该拍摄夹角α为2π/N。

所述形态学运算是指对所述二值化图像SB，使用膨胀操作填充果穗中孔洞，使用腐蚀操作删除孤岛和恢复果穗的轮廓,保证最后图像中每个果穗区域具有唯一的轮廓，即果穗轮廓内部完全填充为默认标记值（255）。

优选的，所述步骤S2进一步包括：

S21、计算每张玉米果穗图像的OBB包围盒，以所述OBB包围盒的长轴所在方向作为Z轴，以其短轴所在方向作为X轴并建立坐标系，该坐标系的原点为所述OBB包围盒短轴的中心点；其中，所述Z轴为玉米果穗的中心轴所在的方向；

S22、旋转所述玉米果穗图像，使Z轴垂直于水平方向；

S23、计算所述每张玉米果穗图像中各玉米果穗轮廓高度的平均值，得到基准高度，将旋转后的每个玉米果穗图像缩放到该基准高度，得到轴向畸变校正后的玉米果穗图像；如图2所示,所述轴向畸变校正后的玉米果穗图像包括畸变校正后的仅包含玉米果穗的有序彩色图像SC1、灰度图像SH1及二值化图像SB1；

优选的，所述步骤S3进一步包括：

S31、基于所述轴向畸变校正后的仅包含玉米果穗的有序二值化图像SB1，提取每张图像中的玉米果穗轮廓，将每个玉米果穗轮廓分裂为左中右三组点集；

S32、根据所述三组点集，计算每个玉米果穗图像上对应的分裂点集。

优选的，所述步骤S31进一步包括：

S311、基于所述轴向畸变校正后的仅包含玉米果穗的有序二值化图像SB1，提取每张图像中的玉米果穗轮廓；

S312、从所有轮廓像素点中找到其在Z轴坐标方向上的极值点，记作Zmin和Zmax；

S313、从所有位于极值点范围内的Z轴上像素点中检索出其在X轴方向上距离最大的两个像素点，分别将该两像素点作为每个玉米果穗轮廓的左轮廓点Pl及右轮廓点Pr，从而得到每个玉米果穗轮廓的左右轮廓点集；

S314、根据所述每个玉米果穗轮廓的各左右轮廓点，计算出左右轮廓点连线的中点，将该中点作为每个玉米果穗轮廓的中心点Pc，从而得到每个玉米果穗轮廓的中心点集。

优选的，如图3所示，所述步骤S32进一步包括：

S321、以每个玉米果穗轮廓的中心点Pc为中心，以其对应的左右轮廓点之间的连线作为直径，建立每个玉米果穗的横剖面；

S322、计算任意两张相邻玉米果穗图像的拍摄夹角α为2π/N，在所述果穗横剖面上，以所述玉米果穗轮廓的中心点为顶点，垂直于其左右轮廓点连线的直线为角平分线，形成所述拍摄夹角并与该横剖面交于两点；

S323、计算该两交点到所述左右轮廓点连线的投影，该两投影点为所述玉米果穗轮廓的中心点对应的左分裂点Sl和右左分裂点Sr，从而得到每个玉米果穗图像上对应的分裂点集。

所述每个玉米果穗图像上对应的分裂点集是将感兴趣的图像区域从所述玉米果穗图像中分割出来的像素点集合，Y为每个玉米果穗的横剖面的法线方向。

优选的，如图4所示，所述步骤S4进一步包括：

S41、对所述轴向畸变校正后的仅包含玉米果穗的有序彩色图像SC1及灰度图像SH1进行分割，得到玉米籽粒图像；

S42、基于所述玉米籽粒图像，将每张玉米籽粒图像中的左分裂点集作为种子点，得到左分裂点集的玉米籽粒图像ZNL；

S42、将每张玉米籽粒图像中的右分裂点集作为种子点，得到右分裂点集的玉米籽粒图像ZNR；

S43、将所述左右分裂点集作为约束，得到位于所述左右分裂点内部的玉米籽粒图像，从而得到所述分裂点集的玉米籽粒图像及所述分裂点集内部的玉米籽粒图像ZNM。

优选的，如图5所示，所述步骤S5进一步包括：

S51、建立一张空白的全景图像，将第一张位于所述左右分裂点内部的玉米籽粒图像ZNM复制到该空白的全景图像中；

S52、按图像获取次序，将剩余的位于所述左右分裂点内部的玉米籽粒图像ZNL及ZNR依次复制到所述步骤S51的全景图像中；在所述全景图像中添加所述分裂点集的玉米籽粒图像，得到包含玉米果穗所有籽粒的全景图像。

优选的，为了防止玉米籽粒图像拼接过程中在Z轴上存在相对平移畸变，所述步骤S52进一步包括：

S521、计算下一张图像的左分裂点集中的每个节点移动到当前图像的右分裂点集中对应节点的位移向量，以此将下一张图像上位于左右分裂点内部的玉米籽粒复制到全景图上；

S522、基于所述位移向量，将每张图像上左（右）分裂点集经过的玉米籽粒复制到所述全景图上。

优选的，所述多张含有玉米果穗的有序彩色图像至少为三张。

本发明通过提供一种玉米果穗有序图像的拼接方法，其使用轴向畸变校正方法重建所有输入图像中果穗轮廓，为其后图像拼接提供标准化输入数据；利用果穗轮廓分裂-分裂边界确定-籽粒分割-籽粒拼接方法，从多组图像中准确提取出玉米籽粒畸变最小的图像分裂点集，拼接出包含了果穗所有籽粒信息的全景图，为玉米果穗考种的精确计算提供了理想数据，防止了拼接边缘存在感兴趣目标畸变的问题；本发明鲁棒性强，拼接出的玉米籽粒全景图可以准确计算玉米果穗的穗粒数等重要考种指标。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (6)

1.一种玉米果穗有序图像的拼接方法，其特征在于，包括以下步骤：

S1、利用相机获取多张含有玉米果穗的有序彩色图像，通过图像预处理建立玉米果穗的轮廓，得到玉米果穗图像；

S2、利用轴向畸变校正法，将所述玉米果穗图像校正到基准高度；

S3、根据轴向畸变校正后的玉米果穗图像，计算每个玉米果穗图像上对应的分裂点集；

S4、对经过轴向畸变校正后的玉米果穗图像进行分割，确定位于所述分裂点集的玉米籽粒图像及所述分裂点集内部的玉米籽粒图像；

S5、将所述位于分裂点集的玉米籽粒图像及分裂点集内部的玉米籽粒图像进行拼接，得到包含玉米果穗所有籽粒的全景图像；

其中，所述步骤S3进一步包括：

S31、基于所述轴向畸变校正后的仅包含玉米果穗的有序二值化图像，提取每张图像中的玉米果穗轮廓，将每个玉米果穗轮廓分裂为左中右三组点集；

S32、根据所述三组点集，计算每个玉米果穗图像上对应的分裂点集；

其中，所述步骤S31进一步包括：

S311、基于所述轴向畸变校正后的仅包含玉米果穗的有序二值化图像，提取每张图像中的玉米果穗轮廓；

S312、从所有轮廓像素点中找到其在Z轴坐标方向上的极值点；

S313、从所有位于极值点范围内的Z轴上像素点中检索出其在X轴方向上距离最大的两个像素点，分别将该两像素点作为每个玉米果穗轮廓的左右轮廓点，从而得到每个玉米果穗轮廓的左右轮廓点集；

S314、根据所述每个玉米果穗轮廓的各左右轮廓点，计算出左右轮廓点连线的中点，将该中点作为每个玉米果穗轮廓的中心点，从而得到每个玉米果穗轮廓的中心点集；

其中，所述步骤S32进一步包括：

S321、以每个玉米果穗轮廓的中心点为中心，以其对应的左右轮廓点之间的连线作为直径，建立每个玉米果穗的横剖面；

S322、计算任意两张相邻玉米果穗图像的拍摄夹角，在所述果穗横剖面上，以所述玉米果穗轮廓的中心点为顶点，垂直于其左右轮廓点连线的直线为角平分线，形成所述拍摄夹角并与该横剖面交于两点；

S323、计算该两交点到所述左右轮廓点连线的投影，其中，该两交点到所述左右轮廓点连线的投影形成了两个投影点，该两投影点为所述玉米果穗轮廓的中心点对应的左右分裂点，从而得到每个玉米果穗图像上对应的分裂点集；

其中，所述步骤S4进一步包括：

S41、对所述轴向畸变校正后的仅包含玉米果穗的有序彩色图像及灰度图像进行分割，得到玉米籽粒图像；

S42、基于所述玉米籽粒图像，将每张玉米籽粒图像中的左分裂点集作为种子点，得到左分裂点集的玉米籽粒图像；

S43、将每张玉米籽粒图像中的右分裂点集作为种子点，得到右分裂点集的玉米籽粒图像；

S44、将所述左右分裂点集作为约束，得到位于所述左右分裂点内部的玉米籽粒图像，从而得到所述分裂点集的玉米籽粒图像及所述分裂点集内部的玉米籽粒图像。

2.如权利要求1所述的方法，其特征在于，所述步骤S1进一步包括：

S11、获取多张含有玉米果穗的有序彩色图像并将其转化成灰度图像，确定背景阀值；

S12、利用所述背景阀值对所述灰度图像进行二值化，根据形态学运算对所述二值化图像建立玉米果穗的轮廓；

S13、利用所述二值化图像建立的玉米果穗轮廓，得到玉米果穗图像；所述玉米果穗图像为仅包含玉米果穗的有序彩色图像、灰度图像及二值化图像。

3.如权利要求2所述的方法，其特征在于，所述多张含有玉米果穗的有序彩色图像是相机通过围绕玉米果穗中心轴、按顺时针或逆时针方向拍摄得到，该相机位置与所述玉米果穗中心轴的距离不变，且任意两张相邻图像的拍摄夹角相同。

4.如权利要求3所述的方法，其特征在于，所述步骤S2进一步包括：

S21、计算每张玉米果穗图像的OBB包围盒，以所述OBB包围盒的长轴所在方向作为Z轴，以其短轴所在方向作为X轴并建立坐标系，该坐标系的原点为所述OBB包围盒短轴的中心点；其中，所述Z轴为玉米果穗的中心轴所在的方向；

S22、旋转所述玉米果穗图像，使Z轴垂直于水平方向；

S23、计算所述每张玉米果穗图像中各玉米果穗轮廓高度的平均值，得到基准高度，将旋转后的每个玉米果穗图像缩放到该基准高度，得到轴向畸变校正后的玉米果穗图像；所述轴向畸变校正后的玉米果穗图像包括畸变校正后的仅包含玉米果穗的有序彩色图像、灰度图像及二值化图像。

5.如权利要求1所述的方法，其特征在于，所述步骤S5进一步包括：

S51、建立一张空白的全景图像，将第一张位于所述左右分裂点内部的玉米籽粒图像复制到该空白的全景图像中；

S52、按图像获取次序，将剩余的位于所述左右分裂点内部的玉米籽粒图像依次复制到所述步骤S51的全景图像中；在所述全景图像中添加所述分裂点集的玉米籽粒图像，得到包含玉米果穗所有籽粒的全景图像。

6.如权利要求1-5任一项所述的方法，其特征在于，所述多张含有玉米果穗的有序彩色图像至少为三张。