CN108120715B - 一种基于机器视觉的玉米籽粒破碎率在线检测方法及装置 - Google Patents

Abstract

本发明涉及一种基于机器视觉的玉米籽粒破碎率在线检测方法及装置。方法包括：箱体结构获得单层化分布的玉米籽粒；工业CCD相机采集玉米籽粒图像并使用锐化、去噪、边缘检测获得玉米籽粒边缘轮廓特征；使用阈值分割和二值化处理对破碎玉米籽粒和完整玉米籽粒进行分离；通过模糊聚类方法分析图像，提取破碎玉米籽粒特征；并与标准破碎玉米籽粒模板进行模板匹配，获得破碎玉米籽粒个数、计算破碎率，并显示在车载终端。装置包括：检测箱体单元、图像采集单元、图像处理单元、数据传输单元、车载控制及显示单元，各个单元相互配合实现玉米籽粒破碎率实时在线检测。本发明装置便于安装、维护，易于在机车粮箱中安装，同时具有检测速度快、稳定性强、精度较高的优点。

Description

一种基于机器视觉的玉米籽粒破碎率在线检测方法及装置

技术领域

本发明涉及检测技术领域,具体的说是一种基于机器视觉的玉米籽粒破碎率在线检测方法及装置。

背景技术

为了提高我国玉米联合收获机的收获质量，降低机械脱粒及其它因素造成的玉米籽粒破碎，提升对玉米籽粒破碎率在线监控能力，及时动态的对联合收获机械进行监测，确保玉米籽粒破碎率低于某一阈值，从而保证玉米籽粒的收获质量。

较低的玉米籽粒破碎率，不仅降低了玉米籽粒收获时，因籽粒太小而造成的浪费，还有利于后期玉米籽粒仓储及玉米育种，因为破碎的玉米籽粒，在破碎部位易于吸收水分，在仓储中有利于细菌的繁殖，从而导致粮仓中大量的玉米籽粒发生霉变。

我国农机目前的智能检测技术水平相对有限，针对玉米籽粒破碎率在线检测的相关装置较少，相关研究学者关于破碎玉米籽粒检测，主要集中于离线的育种检测，并且育种检测中的破碎情况，主要针对于单个或少量的玉米籽粒进行研究分析，不能满足对较多破碎玉米籽粒的情况进行监测。

发明内容

针对玉米籽粒破碎率在线检测较难的问题，本发明的目的在于提出一种基于机器视觉的玉米籽粒破碎率在线检测方法及装置，并且该装置具有检测速度快、稳定性强、灵活性好，精度较高的特点，同时本发明弥补了我国玉米籽粒破碎率在线检测装置中存在的不足，对我国农机智能检测技术的发展具有推动作用，为我国加快实现农机领域的智能化，具有积极意义。

本发明为实现上述目的所采用的技术方案是：一种基于机器视觉的玉米籽粒破碎率在线检测方法及装置。

一种基于机器视觉的玉米籽粒破碎率在线检测方法，包括以下步骤：

步骤1：将玉米籽粒卸入到检测箱体单元的分流模块的上层引流料斗中，玉米籽粒经过上层引流料斗的入料口后，一部分玉米籽粒经下层分流料斗的入料口落在筛板层上，另一部分玉米籽粒经下层分流料斗的斜面分流至收割机粮箱中；筛板层对落在其上的玉米籽粒，实现二次分流及减小单位时间内到达封闭空间模块内的玉米籽粒数量；

步骤2：车载计算控制及显示单元分别输出控制信号给封闭空间模块的顶层转板、底层转板的电机，初始状态时顶层转板处于竖直状态以便玉米籽粒通过，底层转板处于水平状态以便承载玉米籽粒，到达预设时间后，电机带动顶层转板旋转至水平状态，形成封闭空间；

步骤3：车载控制及显示单元输出控制信号给图像采集单元，工业CCD相机实时采集底层转板上的玉米籽粒原始图像并输出给图像处理单元；

步骤4：图像处理单元对接收的玉米籽粒原始图像进行处理提取玉米籽粒原始图像的边缘轮廓、提取破碎玉米籽粒轮廓特征并通过数据传输单元发送给车载计算控制及显示单元；

步骤5：车载计算控制及显示单元将将破碎玉米籽粒轮廓特征与破碎玉米籽粒模板进行匹配，识别破碎玉米籽粒；从而计算出破碎玉米籽粒的个数、玉米籽粒破碎率并显示在屏幕上；

步骤6：车载计算控制及显示单元输出控制信号给封闭空间模块的底层转板的电机，控制底层转板处于竖直状态以便玉米籽粒卸出封闭空间模块,进入到收割机粮箱中，完成一次玉米籽粒破碎率在线检测，重新返回步骤1实现实时在线检测。

所述步骤4具体包括以下步骤：

对接收的玉米籽粒原始图像进行锐化、灰度转换、边缘检测、去噪处理，提取玉米籽粒原始图像的边缘轮廓；

对玉米籽粒原始图像的边缘轮廓采用阈值分割和二值化处理，分离破碎玉米籽粒和完整玉米籽粒；再采用模糊聚类方法提取破碎玉米籽粒轮廓特征。

所述锐化为通过高通滤波器，锐化采集到的玉米籽粒原始图像的平面彩色图像；

所述灰度转换为对平面彩色图像采用加权平均法进行灰度转换，获取灰度图像；

所述边缘检测为采用sobel边缘检测算法，获取籽粒轮廓边缘；

所述去噪为采用均值滤波对边缘检测后的灰度图像进行去噪处理。

所述模糊聚类方法结合形态学处理方法对分离后的破碎玉米籽粒图像中的孔洞进行填充、并去除孤立点，获取破碎玉米籽粒轮廓特征。

所述破碎玉米籽粒特征模板获取的具体步骤包括：

S1：比较按照步骤S1.1、步骤S1.2的顺序获得的破碎玉米籽粒轮廓特征、按照步骤S1.2、步骤S1.1的顺序获得的破碎玉米籽粒轮廓特征，获取破碎玉米籽粒轮廓特征；

S1.1：在蓝色通道中采用K-means聚类分析方法区分呈白色的破碎玉米籽粒和呈黄色的完整玉米籽粒，提取破碎玉米籽粒轮廓特征；

S1.2：依次采用均值滤波去噪、背景差分法去除阴影、星型骨架法分析破碎籽粒面积、周长和籽粒对称性，提取破碎玉米籽粒轮廓；

S2：对多个破碎玉米籽粒图像按照步骤S1进行处理，获取破碎玉米籽粒特征模板。

一种基于机器视觉的玉米籽粒破碎率在线检测装置，包括：

检测箱体单元，包括箱体以及从上至下依次安装的分流模块、筛板层、封闭空间模块；用于对接收的玉米籽粒进行分流过滤、提供图像采集所需的封闭空间；

图像采集单元，包括工业CCD相机、光源，均安装在封闭空间模块内；工业CCD相机连接图像处理单元；用于采集封闭空间模块内的玉米籽粒原始图像并输出给图像处理单元；

图像处理单元，为DSP芯片，连接数据传输单元；用于对玉米籽粒原始图像进行处理提取玉米籽粒原始图像的边缘轮廓、提取破碎玉米籽粒轮廓特征，并输出给数据传输单元；

数据传输单元，为STM32F4嵌入式开发板，采用CAN总线连接车载计算控制及显示单元，进行发送和接收存储数据；

车载计算控制及显示单元，分别连接检测箱体单元的封闭空间模块、图像处理单元。用于驱动和控制上述各单元工作，以及将破碎玉米籽粒轮廓特征与破碎玉米籽粒特征模板进行匹配，识别破碎玉米籽粒；从而计算出破碎玉米籽粒的个数、玉米籽粒破碎率，实现玉米籽粒破碎率实时在线检测。

所述分流模块，位于检测箱体单元的顶部，包括：上层引流料斗、下层分流料斗，该上层引流料斗与下层分流料斗通过连接件相连，上层引流料斗的底部开有入料口，下层分流料斗的顶部开有入料口，所述上层引流料斗的入料口的开口大于下层分流料斗的入料口的开口；以便一部分玉米籽粒经下层分流料斗的入料口落在筛板层上，另一部分玉米籽粒经下层分流料斗的斜面分流至收割机粮箱。

所述筛板层，位于分流模块下方。用于通过对落在筛板层的玉米籽粒过筛，实现分流及减小单位时间内到达封闭空间模块内的玉米籽粒数量；

所述封闭空间模块，包括顶层转板、底层转板以及控制上述两个转板旋转的电机；顶层转板与底层转板安装在检测箱体单元内；车载计算控制及显示单元连接顶层转板、底层转板的电机；所述顶层转板、底层转板在电机的控制下能够实现竖直状态和水平状态的转换，旋转至竖直状态使玉米籽粒通过和释放，以及旋转至水平状态承载玉米籽粒。当顶层转板在电机的控制下处于竖直状态、底层转板在电机的控制下处于水平状态时，玉米籽粒通过顶层转板并落在处于水平状态的底层转板上；当底层转板在电机的控制下处于竖直状态时，玉米籽粒卸出封闭空间模块进入到收割机粮箱中，完成一次玉米籽粒破碎率在线检测；

所述底层转板的上表面为凹槽结构，其朝上表面上规则排列有若干个防止玉米籽粒堆叠的凹点。便于实现籽粒单层化。

本发明具有以下有益效果及优点：

1、本发明采用机器视觉技术及图像处理技术，对破碎玉米籽粒进行识别和模板匹配，具有较快的检测速度，在保证实时检测的同时，也能够保证较高的精度。

2、本发明采用最直观的视觉检测方法，能够实现玉米籽粒的在线检测，同时在线检测时具有较好的鲁棒性和稳定性，并且工业相机成本相对低廉，满足经济性需求。

3、本发明装置结构简单，空间体积小，便于安装，内部具有筛板层，用于减弱玉米籽粒对下部图像采集装置的冲击，具有缓冲的作用，并且在装置内部有顶层转板和底层转板，通过对步进电机转动控制，使两板之间能够形成相对封闭的空间，便于图像的采集，在采集图像一定时间后，两板由电机带动旋转，释放掉已采集的实验样品，允许下一批次样品进入，实现玉米籽粒的动态监测。

4、本发明具有易护、易实施，检测速度快、稳定性强、精度较高的优点。

附图说明

图1是本发明基于机器视觉的玉米籽粒破碎率在线检测方法流程图；

图2为本发明的检测装置中的图像采集和处理模块的原理示意图；

图3为本发明的检测装置分流模块图；

图4为本发明的检测装置箱体装配图；

图5为本发明基于机器视觉的玉米籽粒破碎率在线检测装置模块示意图。

图1中，11采样装置，获得单层化分布的玉米籽粒，12CCD工业相机采集玉米籽粒二维彩色图像，13玉米籽粒轮廓特征提取，14完整籽粒与破碎籽粒进行分离，15破碎籽粒特征提取，16模板匹配，获得破碎籽粒个数，17计算破碎率，在显示终端输出结果；

图3中，31为上层引流料斗，32为下层分流料斗；33为上层引流料斗的入料口；34为下层分流料斗的入料口；35为连接件；

图4中，41为筛板层，42为顶层转板，43为底层转板，44为工业CCD相机，45为光源；

图5中，51分流模块，52图像采集模块，53封闭空间模块，54单层化模块，55光源模块，56图像处理模块，57数据传输模块，将处理后的图像数据进行实时传输；58运算处理和显示终端模块。

具体实施方式

为使本发明要解决的技术问题，技术方案和优点更加清楚，下面将结合相关附图进行详细描述。

本发明针对我国玉米联合收获机械在玉米籽粒破碎率检测上存在的不足，提出一种基于机器视觉的玉米籽粒破碎率在线检测方法及检测装置，结合机器视觉技术、图像处理技术、模式识别技术、CAN总线技术等相关技术用来区分完整的玉米籽粒和破碎的玉米籽粒，并实现相关数据的动态传输。本发明一种基于机器视觉的玉米籽粒破碎率在线检测装置安装在收割机粮箱中。

如图1所示，本发明基于机器视觉的玉米籽粒破碎率在线检测方法包括如下步骤：

步骤11，通过所设计的检测装置，获得单层化分布的玉米籽粒。

步骤12，通过工业CCD相机对检测装置中的玉米籽粒进行图像采集，获得玉米籽粒的平面彩色图像。

步骤13，玉米籽粒的轮廓特征提取，主要针对步骤12所采集的彩色图像进行灰度化、锐化、去噪、边缘检测等图像处理，获得玉米籽粒的边缘轮廓特征。

步骤14，对步骤13处理后的图像进行阈值分割和二值化等处理，用于分离完整的玉米籽粒和破碎的玉米籽粒。

步骤15，对步骤14分离的完整玉米籽粒和破碎的玉米籽粒进行特征提取。

步骤16，对步骤15提取的破碎玉米籽粒与标准玉米籽粒模板，进行模板匹配，从而获得破碎的玉米籽粒个数。

步骤17，在车载计算机上对步骤16所获取的信息进行数据处理，计算出玉米籽粒破碎率，并在车载终端显示。

本发明的上述方法通过工业CCD相机对装置内的玉米籽粒进行图像采集，获得玉米籽粒平面彩色图像；从该彩色图像中，进行图像处理，模板匹配等操操作，从而获得破碎的玉米籽粒个数，并通过车载计算机计算出玉米籽粒破碎率。通过机器视觉技术可以在动态的情况下，进行完整玉米籽粒和破碎玉米籽粒的区分，这样增加了检测技术的灵活性，同时机器视觉技术日臻完善，所以采集后的结果具有较好的鲁棒性和稳定性。

如图2所示，为本发明的检测装置中的图像采集和处理模块的原理示意图，具体实现时，要搭建与检测装置相关的硬件平台，如工业CCD相机安装，车载终端的固定(包括安装软件的DSP板卡以及显示屏)，车载计算机的安装等。

下面具体说明本发明基于机器视觉的玉米籽粒破碎率在线检测方法的实施方案。

如图3所示，分流模块，位于检测箱体单元的顶部，用于分流；包括上层引流料斗31、下层分流料斗32，该31与32通过连接件35相连，31的底部开有入料口33，32的顶部开有入料口34，所述入料口33的开口大于入料口34，31与32形状相同，均为漏斗状，32倒置设置。上层引流料斗31主要用途在于从卸粮口处引流玉米籽粒，保证检测结果更加真实，以便从更大范围内，获取玉米籽粒的实验样本。由于上层引流装置引入了较大范围的玉米籽粒实验样品，玉米籽粒的数量较多，很容易对内部的籽粒检测设备造成冲击，所以采用下层分流料斗32，过滤掉一部分的玉米籽粒，该部分分流玉米籽粒经过下层分流料斗落入至收割机粮箱中；该模块的作用是，保证后期图像采集时，可以获得较为清晰的图像。

如图4所示，是整个玉米籽粒破碎率在线检测装置的箱体装配图，41为筛板层，目的是减弱玉米籽粒对内部设备的冲击，起到一定的缓冲作用，同时有利于玉米籽粒的单层化。筛板孔较大，可以保证采集到的玉米籽粒都可以落入到43部位，43是底层转板，42为顶层转板，设计两个转板层的目的在于，获得一个相对封闭的图像采集空间，顶层转板42与底层转板43分别转动安装，底层转板的上表面为凹槽结构，即底层转板上表面的边缘设有凸起。

箱体具体工作流程如下：

第一，43底层转板处于水平状态，42顶层转板处于竖直状态，玉米籽粒通过41的筛板层后落入到43底层转板。

第二，一定时间后，在步进电机的带动下，42的顶层转板开始旋转90°，从竖直状态变为水平状态，目的在于42顶层转板和43底层转板之间形成一个相对封闭的检测空间，43底层转板上，排列有规律的凹点，使玉米籽粒与底层转板之间的接触面不在是一个平面，每个玉米籽粒在空间中倾斜一定的角度，同时利用收割机在在工作时,产生的机械振动，可以防止玉米籽粒出现堆叠情况，便于玉米籽粒实现单层化，从而有利于图像采集设备对进行图像采集和后期特征提取。

第三，采集一定时间的样本后，步进电机再次进入工作状态，将42顶层转板和43底层转板同时旋转，使两层转板均从水平状态变为竖直状态，释放掉已采集的实验样品，一段时间后，43底层转板恢复初始状态，即从竖直状态变为水平状态，重复第一、二、三步骤，实现玉米籽粒实验样品的动态采集。

44为工业CCD相机，其固定在装置内部一侧，主要采集42顶层转板和43底层转板形成相对封闭空间后的玉米籽粒的平面彩色图像，在使用工业CCD相机之前需要对CCD进行标定，获得标定矩阵和相关参数，从而提高图像的采集精度和后续图像处理效果。

45为光源模块，其在箱体侧面贴有一定数目的LED点光源，其目的是为了进行亮度补偿，以便获得清晰的采集图像。

如图5所示，为本发明基于机器视觉的玉米籽粒破碎率在线检测装置模块框图，包括：分流模块、图像采集模块、封闭空间模块、单层化模块、光源模块、图像处理模块及运算处理和显示终端模块，其中51分流模块，如上所述是为了减弱玉米籽粒流对实验图像采集装置的冲击；52图像采集模块，是为了获取玉米籽粒的图像信息；53封闭空间模块，是为了形成相对封闭的检测空间，并实现对玉米籽粒的动态检测；54单层化模块，该模块的主要功能，对检测装置内部的玉米籽粒进行单层化处理，防止玉米籽粒在装置内部出现堆叠现象，有利于对破碎玉米籽粒进行特征提取。55光源模块，是为了补偿在形成相对封闭空间后所造成的亮度缺失；56图像处理模块，是对所采集的图像进行处理，用以将完整的玉米籽粒与破碎的玉米籽粒进行分离；57数据传输模块，将处理后的图像数据进行实时传输；58运算处理和显示终端模块，主要用于计算相关数据，获得玉米籽粒破碎率情况，并将结果显示到车载显示终端。

本发明提供的基于机器视觉玉米籽粒破碎率在线检测装置，主要利用图像处理技术，模式识别技术、机器视觉技术、CAN总线技术，对玉米籽粒收割时出现的破碎情况进行动态监测。由于所采用上述的技术，使该装置具有快速、高精度、稳定、全自动测量等几大优势，利用该装置可以对玉米籽粒破碎率情况进行在线实时动态监测，以便于提高玉米籽粒的收获质量，并且该装置的经济成本低廉，满足农机装备经济性的需求，同时该装置可以有力的推动，我国农机智能化检测技术水平的提升。

本发明基于机器视觉的玉米籽粒破碎率在线检测方法及装置，由于相关技术和理论方法，已经日臻完善，所以可以在实际生产中应用。本发明装置，在结构上设计简单，空间体积小，适合安装在玉米籽粒联合收获机械的粮箱中，并且易于维护，便于安装。同时，本发明装置，也弥补了我国农机智能检测装置上的不足，对于我国的智能检测技术的水平进一步的提升，具有积极作用。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰应视为本发明的保护范围。

Claims (7)

1.一种基于机器视觉的玉米籽粒破碎率在线检测方法，其特征在于，包括以下步骤：

步骤1：将玉米籽粒卸入到检测箱体单元的分流模块的上层引流料斗中，玉米籽粒经过上层引流料斗的入料口后，一部分玉米籽粒经下层分流料斗的入料口落在筛板层上，另一部分玉米籽粒经下层分流料斗的斜面分流至收割机粮箱中；筛板层对落在其上的玉米籽粒，实现二次分流及减小单位时间内到达封闭空间模块内的玉米籽粒数量；

步骤2：车载计算控制及显示单元分别输出控制信号给封闭空间模块的顶层转板、底层转板的电机，初始状态时顶层转板处于竖直状态以便玉米籽粒通过，底层转板处于水平状态以便承载玉米籽粒，到达预设时间后，电机带动顶层转板旋转至水平状态，形成封闭空间；

步骤3：车载控制及显示单元输出控制信号给图像采集单元，工业CCD相机实时采集底层转板上的玉米籽粒原始图像并输出给图像处理单元；

步骤4：图像处理单元对接收的玉米籽粒原始图像进行处理提取玉米籽粒原始图像的边缘轮廓、提取破碎玉米籽粒轮廓特征并通过数据传输单元发送给车载计算控制及显示单元；

步骤5：车载计算控制及显示单元将将破碎玉米籽粒轮廓特征与破碎玉米籽粒模板进行匹配，识别破碎玉米籽粒；从而计算出破碎玉米籽粒的个数、玉米籽粒破碎率并显示在屏幕上；所述破碎玉米籽粒特征模板获取的具体步骤包括：

S1：按照步骤S1.1、步骤S1.2的顺序获得的破碎玉米籽粒轮廓特征；

S1.1：在蓝色通道中采用K-means聚类分析方法区分呈白色的破碎玉米籽粒和呈黄色的完整玉米籽粒，提取破碎玉米籽粒轮廓特征；

S1.2：依次采用均值滤波去噪、背景差分法去除阴影、星型骨架法分析破碎籽粒面积、周长和籽粒对称性，提取破碎玉米籽粒轮廓；

S2：对多个破碎玉米籽粒图像按照步骤S1进行处理，获取破碎玉米籽粒特征模板；

步骤6：车载计算控制及显示单元输出控制信号给封闭空间模块的底层转板的电机，控制底层转板处于竖直状态以便玉米籽粒卸出封闭空间模块,进入到收割机粮箱中，完成一次玉米籽粒破碎率在线检测，重新返回步骤1实现实时在线检测。

2.根据权利要求1所述的一种基于机器视觉的玉米籽粒破碎率在线检测方法，其特征在于，所述步骤4具体包括以下步骤：

对接收的玉米籽粒原始图像进行锐化、灰度转换、边缘检测、去噪处理，提取玉米籽粒原始图像的边缘轮廓；

对玉米籽粒原始图像的边缘轮廓采用阈值分割和二值化处理，分离破碎玉米籽粒和完整玉米籽粒；再采用模糊聚类方法提取破碎玉米籽粒轮廓特征。

3.根据权利要求2所述的一种基于机器视觉的玉米籽粒破碎率在线检测方法，其特征在于，

所述锐化为通过高通滤波器，锐化采集到的玉米籽粒原始图像的平面彩色图像；

所述灰度转换为对平面彩色图像采用加权平均法进行灰度转换，获取灰度图像；

所述边缘检测为采用sobel边缘检测算法，获取籽粒轮廓边缘；

所述去噪为采用均值滤波对边缘检测后的灰度图像进行去噪处理。

4.根据权利要求2所述的一种基于机器视觉的玉米籽粒破碎率在线检测方法，其特征在于，所述模糊聚类方法结合形态学处理方法对分离后的破碎玉米籽粒图像中的孔洞进行填充、并去除孤立点，获取破碎玉米籽粒轮廓特征。

5.一种基于机器视觉的玉米籽粒破碎率在线检测装置，其特征在于，包括：

检测箱体单元，包括箱体以及从上至下依次安装的分流模块、筛板层、封闭空间模块；所述分流模块，位于检测箱体单元的顶部，包括：上层引流料斗、下层分流料斗，该上层引流料斗与下层分流料斗通过连接件相连，上层引流料斗的底部开有入料口，下层分流料斗的顶部开有入料口，所述上层引流料斗的入料口的开口大于下层分流料斗的入料口的开口；以便一部分玉米籽粒经下层分流料斗的入料口落在筛板层上，另一部分玉米籽粒经下层分流料斗的斜面分流至收割机粮箱；所述封闭空间模块，包括顶层转板、底层转板以及控制上述两个转板旋转的电机；顶层转板与底层转板安装在检测箱体单元内；车载计算控制及显示单元连接顶层转板、底层转板的电机；所述顶层转板、底层转板在电机的控制下能够实现竖直状态和水平状态的转换，旋转至竖直状态使玉米籽粒通过和释放，以及旋转至水平状态承载玉米籽粒；

图像采集单元，包括工业CCD相机、光源，均安装在封闭空间模块内；工业CCD相机连接图像处理单元；

图像处理单元，为DSP芯片，连接数据传输单元；

数据传输单元，为嵌入式开发板，采用CAN总线连接车载计算控制及显示单元进行通信；

车载计算控制及显示单元，分别连接检测箱体单元的封闭空间模块、图像处理单元。

6.根据权利要求5所述的一种基于机器视觉的玉米籽粒破碎率在线检测装置，其特征在于，所述筛板层，位于分流模块下方。

7.根据权利要求6所述的一种基于机器视觉的玉米籽粒破碎率在线检测装置，其特征在于，所述底层转板的上表面为凹槽结构，其朝上表面上规则排列有若干个防止玉米籽粒堆叠的凹点。