CN110216082A - 荧光标记种子动态识别方法和系统 - Google Patents

Abstract

本发明提供一种荧光标记种子的动态识别方法和系统，将摄像头设置在种子队列上方，在摄像头的镜头下安装红色滤光片，连续多次高速拍摄；对每张拍摄图片进行预处理，得到预处理图片；对预处理图片进行边缘检测，提取荧光种子轮廓，根据轮廓的形状进行拟合，得到轮廓拟合信息，对轮廓拟合信息进行特征检测，筛选后得到正常拟合轮廓信息；基于正常拟合轮廓信息，采用标定定位对预处理图片中的种子进行中心定位后，得到单个种子的多帧图片；对多帧图片进行信息融合，获得单个种子多帧的综合判断信息以及定位信息，识别出被荧光标记的种子。通过在传送装置上基于多次成像定位与信息融合，针对荧光水稻种子进行分选，简单高效，荧光种子识别精度高。

Description

荧光标记种子动态识别方法和系统

技术领域

本发明涉及农业考种制种领域，具体地，涉及一种荧光标记种子动态识别方法和系统，尤其是涉及一种在传送装置上基于多次成像定位与信息融合的荧光标记水稻种子动态识别办法。

背景技术

2011年袁隆平院士领衔启动了第三代杂交水稻技术的研究与利用，第三代生产的水稻种子分为被红色荧光蛋白标记的工程保持系种子和无荧光的工程不育系种子，其中含荧光的工程保持系用于繁殖，不含荧光的工程不育系用于制种。水稻作为我国主粮之一，其种植和商业应用受到转基因作物种植管制条例的严格管制，因此技术的应用前提在于必须将含转基因成分的荧光种子和无荧光种子彻底分开。

当前分选手段包括手工分选和采用机械化设备进行分选，但前者无论规模效率都难以满足要求，后者针对荧光种子的分选准确率不足，因此需要新的识别方法对荧光种子进行分选。

与本申请相关的现有技术是专利文献CN103558192B，公开了一种检测含红色荧光蛋白植物种子的光学系统，包括有散热器1，发光套件3，灯具外壳9和分选仓10。发光套件3位于分选仓10上方部位，由一组共三颗LED灯组成，每颗LED灯珠前加装有 550nm滤波片6，滤出光波为545-555nm，再通过聚光透镜5聚光，使形成的光斑均匀。散热器1紧贴发光组件，维持发光套件3正常工作条件。分选仓10由观测窗口12 和操作室11组成，观测窗口12被红色滤色片覆盖。利用合适的光源结合滤波片，获得一定波长的光线，激发农作物种子中含有的特定红色蛋白发出红色荧光，再通过红色滤色片过滤背景光线，分拣出含有特定红色蛋白的植物种子。

基于此，有必要针对荧光水稻种子的分选问题，设计一种简单高效且具有高精度荧光种子识别办法。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种荧光标记种子的动态识别方法和系统。

根据本发明提供的一种荧光标记种子的动态识别方法，包括：

图像采集步骤：将摄像头设置在种子队列上方，在摄像头的镜头下安装红色滤光片，连续多次高速拍摄，得到多张拍摄图片；

图像预处理步骤：对每张拍摄图片进行预处理，得到预处理图片，所述预处理包括图像增强、二值化转化、消除噪声中的任一项或任多项；

轮廓提取步骤：对预处理图片进行边缘检测，提取荧光种子轮廓，根据轮廓的形状进行拟合，得到轮廓拟合信息，对轮廓拟合信息进行特征检测，筛选后得到正常拟合轮廓信息；

种子定位步骤：基于正常拟合轮廓信息，采用标定定位对预处理图片中的种子进行中心定位后，得到单个种子的多帧图片；

信息融合步骤：对多帧图片进行信息融合，获得单个种子多帧的综合判断信息以及定位信息，识别出被荧光标记的种子。

优选地，在提取荧光种子轮廓之前，还包括图像标定步骤，使用标记灯进行图像标定，标记灯在同一直线上等间距设置形成标记灯列，且标记灯列与种子队列平行，在拍摄图片中做出经过标记灯垂直于种子队列的直线，将拍摄图片划分等间距的多个区域；

测定荧光种子与非荧光种子的分离点到每个区域两端的距离，通过所述距离标定种子中心的定位点。

优选地，所述种子队列是由单粒种子连续且有间隔地在传送装置上移动形成，采用荧光光源对荧光种子的红色荧光进行激发。

优选地，所述图像增强是对拍摄图片进行灰度化处理，得到灰度化处理后的图像灰度值，以便进行灰度阈值分割，提高荧光标记种子与非荧光标记种子的区分度。

优选地，所述二值化转化是对图像增强后得到的图像灰度值进行遍历，将图像灰度值与自适应阈值进行比较，根据图像灰度值与自适应阈值的大小进行二值化。

优选地，所述消除噪声是分别采用腐蚀膨胀算法、高斯滤波消除拍摄图片中的噪声。

优选地，所述信息融合是对多帧图片中的任意一张进行判断，若识别出包含荧光种子，则所述多帧图片即被认定为荧光种子图片，根据分离点与多帧图片中种子中心的定位点之间的多个位置信息进行荧光种子与非荧光种子的分离。

优选地，所述种子队列是设在匀速移动的传送装置上，连续多次高速拍摄是多次在多个角度上对同一颗种子进行图片拍摄，种子在形成的相邻帧图片中移动的距离固定。

根据本发明提供的一种荧光标记种子的动态识别系统，包括：

图像采集模块：将摄像头设置在种子队列上方，在摄像头的镜头下安装红色滤光片，连续多次高速拍摄，得到多张拍摄图片；

图像预处理模块：对每张拍摄图片进行预处理，得到预处理图片，所述预处理包括图像增强、二值化转化、消除噪声中的任一项或任多项；

轮廓提取模块：对预处理图片进行边缘检测，提取荧光种子轮廓，根据轮廓的形状进行拟合，得到轮廓拟合信息，对轮廓拟合信息进行特征检测，筛选后得到正常拟合轮廓信息；

种子定位模块：基于正常拟合轮廓信息，采用标定定位对预处理图片中的种子进行中心定位后，得到单个种子的多帧图片；

信息融合模块：对多帧图片进行信息融合，获得单个种子多帧的综合判断信息以及定位信息，识别出被荧光标记的种子。

优选地，所述的荧光标记种子的动态识别系统，还包括图像标定模块，使用标记灯进行图像标定，标记灯在同一直线上等间距设置形成标记灯列，且标记灯列与种子队列平行，在拍摄图片中做出经过标记灯垂直于种子队列的直线，将拍摄图片划分等间距的多个区域；

测定荧光种子与非荧光种子的分离点到每个区域两端的距离，通过所述距离标定种子中心的定位点。

与现有技术相比，本发明具有如下的有益效果：

本发明通过在传送装置上基于多次成像定位与信息融合，针对荧光水稻种子进行分选，简单高效，且荧光种子识别精度高。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明的方法流程示意图；

图2为本发明实施后的拍摄图片中种子的识别效果图。

图3为本发明中标记灯的标定效果图；

图4为本发明中种子队列划分等间距区域的效果图；

图5为本发明中荧光种子中心与两端的标记灯中心点的相对图像距离效果图；

图6为荧光种子中心向两端标记灯中心点的相对图像距离示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

根据本发明提供的一种荧光标记种子的动态识别方法，包括：

图像采集步骤：将摄像头设置在种子队列上方，在摄像头的镜头下安装红色滤光片，连续多次高速拍摄，得到多张拍摄图片；

图像预处理步骤：对每张拍摄图片进行预处理，得到预处理图片，所述预处理包括图像增强、二值化转化、消除噪声中的任一项或任多项；

轮廓提取步骤：对预处理图片进行边缘检测，提取荧光种子轮廓，根据轮廓的形状进行拟合，得到轮廓拟合信息，对轮廓拟合信息进行特征检测，筛选后得到正常拟合轮廓信息；

种子定位步骤：基于正常拟合轮廓信息，采用标定定位对预处理图片中的种子进行中心定位后，得到单个种子的多帧图片；

信息融合步骤：对多帧图片进行信息融合，获得单个种子多帧的综合判断信息以及定位信息，识别出被荧光标记的种子。

具体地，在提取荧光种子轮廓之前，还包括图像标定步骤，使用标记灯进行图像标定，标记灯在同一直线上等间距设置形成标记灯列，且标记灯列与种子队列平行，在拍摄图片中做出经过标记灯垂直于种子队列的直线，将拍摄图片划分等间距的多个区域；

测定荧光种子与非荧光种子的分离点到每个区域两端的距离，通过所述距离标定种子中心的定位点。

具体地，所述种子队列是由单粒种子连续且有间隔地在传送装置上移动形成，采用荧光光源对荧光种子的红色荧光进行激发。

具体地，所述图像增强是对拍摄图片进行灰度化处理，得到灰度化处理后的图像灰度值，以便进行灰度阈值分割，提高荧光标记种子与非荧光标记种子的区分度。

具体地，所述二值化转化是对图像增强后得到的图像灰度值进行遍历，将图像灰度值与自适应阈值进行比较，根据图像灰度值与自适应阈值的大小进行二值化。

具体地，所述消除噪声是分别采用腐蚀膨胀算法、高斯滤波消除拍摄图片中的噪声。

具体地，所述信息融合是对多帧图片中的任意一张进行判断，若识别出包含荧光种子，则所述多帧图片即被认定为荧光种子图片，根据分离点与多帧图片中种子中心的定位点之间的多个位置信息进行荧光种子与非荧光种子的分离。

具体地，所述种子队列是设在匀速移动的传送装置上，连续多次高速拍摄是多次在多个角度上对同一颗种子进行图片拍摄，种子在形成的相邻帧图片中移动的距离固定。

根据本发明提供的一种荧光标记种子的动态识别系统，包括：

图像采集模块：将摄像头设置在种子队列上方，在摄像头的镜头下安装红色滤光片，连续多次高速拍摄，得到多张拍摄图片；

图像预处理模块：对每张拍摄图片进行预处理，得到预处理图片，所述预处理包括图像增强、二值化转化、消除噪声中的任一项或任多项；

轮廓提取模块：对预处理图片进行边缘检测，提取荧光种子轮廓，根据轮廓的形状进行拟合，得到轮廓拟合信息，对轮廓拟合信息进行特征检测，筛选后得到正常拟合轮廓信息；

种子定位模块：基于正常拟合轮廓信息，采用标定定位对预处理图片中的种子进行中心定位后，得到单个种子的多帧图片；

信息融合模块：对多帧图片进行信息融合，获得单个种子多帧的综合判断信息以及定位信息，识别出被荧光标记的种子。

具体地，所述的荧光标记种子的动态识别系统，还包括图像标定模块，使用标记灯进行图像标定，标记灯在同一直线上等间距设置形成标记灯列，且标记灯列与种子队列平行，在拍摄图片中做出经过标记灯垂直于种子队列的直线，将拍摄图片划分等间距的多个区域；

测定荧光种子与非荧光种子的分离点到每个区域两端的距离，通过所述距离标定种子中心的定位点。

本发明提供的荧光标记种子的动态识别系统，可以通过荧光标记种子的动态识别方法的步骤流程实现。本领域技术人员可以将荧光标记种子的动态识别方法理解为所述荧光标记种子的动态识别系统的优选例。

本发明是针对第三代杂交水稻技术生产中的红色荧光蛋白标记种子与无荧光种子的分离问题，由传送装置连续有间隔匀速传输种子队列，并有光源激发红色荧光的场景，将相机固定在种子队列正上方，保持高度固定，并在镜头下方安装红色滤光片。

操作相机对移动中的种子队列进行连续多次拍摄，通过处理器对每张拍摄图片进行图像增强，二值化转化和消除噪声三项预处理。对处理后图片基于Canny算子检测每粒荧光种子边缘，并分别提取轮廓，对提取出的轮廓进行椭圆拟合，根据拟合结果去除异常轮廓信息，对正常轮廓数据进行计算轮廓中心和定位。根据外侧安装标记灯的位置划分图像区域，根据种子中心在区域中位置计算种子到分离点的图像距离，随后根据线性关系计算种子到分离点的真实距离，由此实现对种子的定位。运用信息融合算法提升荧光种子的识别与定位准确率，由于单粒种子能获得多帧多角度的综合判断信息以及定位信息，若满足其中一帧判断为荧光种子，则该种子将被识别为荧光种子，其定位也将利用多次定位信息进行综合定位。通过处理器精确识别获得种子队列中的荧光种子情况，并能发送所有荧光种子的位置信息交由后续设备对荧光和无荧光种子进行分离。

如图1所示，具体实施中，本发明包括如下步骤：

S10，针对种子队列匀速移动的场景，将摄像头固定在种子队列郑尚法指定位置，在相机镜头下安装红色滤光片。

所述种子队列的具体场景设置为，利用机械结构保证种子呈一条直线，以单粒形式连续且有间隔地随着传送装置匀速移动，由此形成种子队列，队列种子之间应存在一定间隔或只有极少数相邻；种子队列中荧光和无荧光种子混杂排布，采用荧光光源对荧光种子的红色荧光进行激发。本实施例中荧光光源的特征要求为，光源能完整且尽量均匀地照射相机拍摄的区域，光源发出光的波长要尽量接近荧光种子的最佳激发波长，同时光源波长要远离种子发出的荧光波长，这样的光源能在避免干扰的情况下最大化提升荧光种子的识别效果。

S20，在种子队列随传送装置移动时，操作相机对种子队列进行连续高速拍摄，通过处理器对每一张拍摄的图片都进行图像预处理。在本实施例中要求每粒种子在移动过程中至少被相机拍摄五次以上，即同一颗种子应出现在最少连续五帧图片内，在算法具体应用时，可进一步提高种子的被拍摄次数以提高识别准确率。

预处理中首先进行图像增强，图像增强核心在于调整相机的拍摄参数，具体包括调整 BGR通道的模拟增益，调整相机的曝光时间、gamma值和对比度，调整参数要求能使得低亮度部分(如无荧光种子及弱荧光种子不发光的部分)增益较小，较亮部分(激发胚乳产生红色荧光的部分)的增益极大，由此准确区分弱荧光和无荧光种子。

本实施例中图像增强的参数可在相机拍摄前就预先调整好，运行中不再变更，而若在拍摄过程中出现需要调整参数提升图像增强效果的情况，则同样可以在拍摄过程中调整参数，但调整过程中可能会降低荧光种子识别率。

对所有图片进行灰度化处理，采用自适应阈值的方法计算阈值准备进行灰度阈值分割。二值化即利用灰度阈值分割算法，通过遍历图像中每个像素的灰度值，将灰度值与自适应的阈值进行比较，根据灰度值高于阈值与否进行二值化。本实施例中阈值直接由自适应阈值算法给出，在实际应用时，图像中各个部分的阈值同样可以由人工或其余算法进行调整。

利用腐蚀膨胀算法处理图像噪声，腐蚀处理可以将椒盐噪声消除，但同时种子所在的目标区域也减少了一层像素；经膨胀处理之后，目标就能恢复了原来的大小。本实施例中除采用腐蚀膨胀算法外还采取了高斯滤波来消除相机成像噪声，该滤波或其他滤波手段的采用与否取决于相机的拍摄质量。

S30，对预处理完的图片进行轮廓的提取，拟合和检测。

本实施例中在进行轮廓处理前还进行了图像的标定工作，实施例中基于后续步骤中使用的标记灯进行了图像标定，其基本原理为提取标记灯的轮廓，根据灯原本为圆形进行圆拟合获得标定灯圆心坐标，已知标记灯安装在同一直线上且等间距，则可由标定灯圆心数据对图像进行标定，标定效果如图4。

本实施例中标记灯安装在标定板上，标定板可控制灯间距和保证标记灯为圆形。上述图像的标定工作主要用于保证后续定位精度；实际上根据采用相机的不同，在相机拍摄图像存在较大畸变的场合，还可用上述或其余的标定方法对相机拍摄图像进行畸变矫正来减小误差。

对标定后图像进行提取轮廓处理，本实施例主要采用Canny边缘检测的方法，边缘是图像区域中中灰度值变化剧烈的区域，根据检测出的边缘进行像素标记即可获得种子的大致轮廓。物体的轮廓被检测出来后，根据获得的轮廓对荧光所在区域进行边界提取拟合。进行边界提取拟合的基本思路时基于椭圆形拟合，由于种子能发出荧光的部分为胚乳，而胚乳占种子的绝大部分，可基于此将种子和胚乳都视为椭圆形；而部分种子荧光较弱，弱荧光区域较小且不规则，不能拟合出一个椭圆，因此针对这些弱荧光种子，采取最小外接矩形的方法进行拟合，利用最小外接矩形来确定椭圆位置，这样即可在保证精度条件下拟合种子轮廓。

拟合种子椭圆轮廓后对轮廓进行检测，根据特征椭圆的已知像素长款大小和长宽比，若轮廓信息超过误差允许范围即认定为环境干扰而进行排除。

S40，对排除后获得的正常的种子轮廓信息，通过轮廓计算其中心位置。

上述步骤中以提取了标记灯的圆心，现在经过圆心在图像中做垂直于种子队列的多条直线，由直线在图像中划分出等间距的多个区域，如图5所示。事先测定分离点(即机械分离荧光和无荧光种子的地点)到每个区域两端的真实距离，根据标记灯中心坐标序列与荧光种子的中心坐标，确定荧光种子位于哪一区域，将区域两端的标记灯中心坐标连线。

由于标记灯列与种子队列严格平行，从荧光种子中心向标该段连线做投影，根据拉格朗日线性插值得到投影中心相对于两端标记灯中心点的相对图像距离，如图6所示。根据局部图像距离与真实距离的线性关系，得到种子中心到分离点的真实距离，由此实现荧光种子的定位。

S50，采用信息融合的方法获得单个种子多帧的综合判断信息以及定位信息。

为了保证荧光种子的识别精度采取“或”运算，即满足对任意一粒种子，若其中一帧图片将其判断为荧光种子，则该种子就被认定为荧光种子。对认定的荧光种子，每一帧图片都包含其位置信息，因此处理器将向后续分离装置不断发送更新荧光种子的位置信息，最终识别效果如图2、图3所示。分离装置则根据以上信息对荧光和无荧光种子进行分离，本实施例中，采用机械分离荧光种子的办法，由机械结构根据不断更新荧光种子的位置信息计算该种子到达分离点的时间，随后按照时间将该荧光种子分离出种子队列，即分离后队列中只剩下无荧光种子。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种荧光标记种子的动态识别方法，其特征在于，包括：

图像采集步骤：将摄像头设置在种子队列上方，在摄像头的镜头下安装红色滤光片，连续多次高速拍摄，得到多张拍摄图片；

图像预处理步骤：对每张拍摄图片进行预处理，得到预处理图片，所述预处理包括图像增强、二值化转化、消除噪声中的任一项或任多项；

轮廓提取步骤：对预处理图片进行边缘检测，提取荧光种子轮廓，根据轮廓的形状进行拟合，得到轮廓拟合信息，对轮廓拟合信息进行特征检测，筛选后得到正常拟合轮廓信息；

种子定位步骤：基于正常拟合轮廓信息，采用标定定位对预处理图片中的种子进行中心定位后，得到单个种子的多帧图片；

信息融合步骤：对多帧图片进行信息融合，获得单个种子多帧的综合判断信息以及定位信息，识别出被荧光标记的种子。

2.根据权利要求1所述的荧光标记种子的动态识别方法，其特征在于，在提取荧光种子轮廓之前，还包括图像标定步骤，使用标记灯进行图像标定，标记灯在同一直线上等间距设置形成标记灯列，且标记灯列与种子队列平行，在拍摄图片中做出经过标记灯垂直于种子队列的直线，将拍摄图片划分等间距的多个区域；

测定荧光种子与非荧光种子的分离点到每个区域两端的距离，通过所述距离标定种子中心的定位点。

3.根据权利要求1所述的荧光标记种子的动态识别方法，其特征在于，所述种子队列是由单粒种子连续且有间隔地在传送装置上移动形成，采用荧光光源对荧光种子的红色荧光进行激发。

4.根据权利要求1所述的荧光标记种子的动态识别方法，其特征在于，所述图像增强是对拍摄图片进行灰度化处理，得到灰度化处理后的图像灰度值，以便进行灰度阈值分割，提高荧光标记种子与非荧光标记种子的区分度。

5.根据权利要求1所述的荧光标记种子的动态识别方法，其特征在于，所述二值化转化是对图像增强后得到的图像灰度值进行遍历，将图像灰度值与自适应阈值进行比较，根据图像灰度值与自适应阈值的大小进行二值化。

6.根据权利要求1所述的荧光标记种子的动态识别方法，其特征在于，所述消除噪声是分别采用腐蚀膨胀算法、高斯滤波消除拍摄图片中的噪声。

7.根据权利要求2所述的荧光标记种子的动态识别方法，其特征在于，所述信息融合是对多帧图片中的任意一张进行判断，若识别出包含荧光种子，则所述多帧图片即被认定为荧光种子图片，根据分离点与多帧图片中种子中心的定位点之间的多个位置信息进行荧光种子与非荧光种子的分离。

8.根据权利要求1所述的荧光标记种子的动态识别方法，其特征在于，所述种子队列是设在匀速移动的传送装置上，连续多次高速拍摄是多次在多个角度上对同一颗种子进行图片拍摄，种子在形成的相邻帧图片中移动的距离固定。

9.一种荧光标记种子的动态识别系统，其特征在于，包括：

图像采集模块：将摄像头设置在种子队列上方，在摄像头的镜头下安装红色滤光片，连续多次高速拍摄，得到多张拍摄图片；

图像预处理模块：对每张拍摄图片进行预处理，得到预处理图片，所述预处理包括图像增强、二值化转化、消除噪声中的任一项或任多项；

轮廓提取模块：对预处理图片进行边缘检测，提取荧光种子轮廓，根据轮廓的形状进行拟合，得到轮廓拟合信息，对轮廓拟合信息进行特征检测，筛选后得到正常拟合轮廓信息；

种子定位模块：基于正常拟合轮廓信息，采用标定定位对预处理图片中的种子进行中心定位后，得到单个种子的多帧图片；

信息融合模块：对多帧图片进行信息融合，获得单个种子多帧的综合判断信息以及定位信息，识别出被荧光标记的种子。

10.根据权利要求9所述的荧光标记种子的动态识别系统，其特征在于，还包括图像标定模块，使用标记灯进行图像标定，标记灯在同一直线上等间距设置形成标记灯列，且标记灯列与种子队列平行，在拍摄图片中做出经过标记灯垂直于种子队列的直线，将拍摄图片划分等间距的多个区域；

测定荧光种子与非荧光种子的分离点到每个区域两端的距离，通过所述距离标定种子中心的定位点。