CN115100447A - 基于热红外图像配准融合的水稻结实率测量装置及方法 - Google Patents

基于热红外图像配准融合的水稻结实率测量装置及方法 Download PDF

Info

Publication number
CN115100447A
CN115100447A CN202210842727.9A CN202210842727A CN115100447A CN 115100447 A CN115100447 A CN 115100447A CN 202210842727 A CN202210842727 A CN 202210842727A CN 115100447 A CN115100447 A CN 115100447A
Authority
CN
China
Prior art keywords
image
thermal infrared
sample
rgb
rice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210842727.9A
Other languages
English (en)
Other versions
CN115100447B (zh
Inventor
刘飞
周军
陆祥宇
杨睿
陈梦媛
焦杰
孔汶汶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202210842727.9A priority Critical patent/CN115100447B/zh
Publication of CN115100447A publication Critical patent/CN115100447A/zh
Application granted granted Critical
Publication of CN115100447B publication Critical patent/CN115100447B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Investigating Or Analyzing Materials Using Thermal Means (AREA)

Abstract

本发明涉及一种基于热红外图像配准融合的水稻结实率测量装置及方法，属于数字化考种领域。所述装置中，加热料箱将待测水稻籽粒样本加热至预设温度后下落至黑色传送带上；平铺刷将叠层的待测水稻籽粒样本平铺展开，保证籽粒单层分布；当黑色传送带将待测水稻籽粒样本传送至暗箱下方时，由LED光源提供照明，由热红外相机和RGB相机分别采集待测水稻籽粒样本的热红外图像和RGB图像并发送至处理器；由处理器对热红外图像和RGB图像进行处理，计算得到待测水稻籽粒样本的结实率。采用本发明装置及方法，无需人工目视分辨计数即可测量得到水稻结实率，排除了人为因素影响，能够提高水稻结实率测量的效率、精度和自动化程度，具有广泛的应用前景。

Description

基于热红外图像配准融合的水稻结实率测量装置及方法
技术领域
本发明涉及数字化考种技术领域，特别是涉及一种基于热红外图像配准融合的水稻结实率测量装置及方法。
背景技术
水稻是世界最重要的粮食作物之一，无论是传统的杂交育种还是基于基因改良技术的转基因育种，育种学家均以培育优质高产水稻为首要目标。其中水稻结实率是表征水稻品种优劣的重要表型参数。传统研究中通过称为考种的水稻谷粒性状参数的测量过程，来测量、统计数量庞大的水稻谷粒的结实率来评价品种优劣，这个过程耗时长、劳动强度大。当前有助于提高水平品种选育速度的植物表型测量技术一直是热门研究方面，它能提高作物表型测量分析效率。
在农学中定义结实率为水稻籽粒中实粒占实粒和瘪粒总和的百分比；其中实粒为灌浆程度大于1/3的谷粒，瘪粒为灌浆程度小于1/3的谷粒。传统区分实粒数和总粒数的方法主要包括水漂法和风选法，此外还有扬谷法等等。在农业研究领域中，用的较多的是水漂法和风选法，其中以水漂法准确性较高。水漂法的具体操作方法为准备一装好水的容器，将待测谷粒倒入水中，搅拌4分钟再静置1分钟，对沉下去和未沉下的谷粒进行人工计数计算结实率。也可采用种子风选机等风选装置对待测谷粒进行风选来区分饱粒和空瘪粒。传统测量方法主要依靠人工分辨水稻籽粒饱满程度而进行分辨，但人工目视法存在效率低、测量精度不稳定、操作人员主观性强、耗时耗力等缺点。随着育种技术的快速发展，一天需处理成百上千种新育种材料。因此需要一种自动化程度高、精度高、多参数的数字化考种技术，以突破传统谷粒表型测量方法所带来的瓶颈。
发明内容
本发明的目的是提供一种基于热红外图像配准融合的水稻结实率测量装置及方法，以提高水稻结实率测量的效率、精度和自动化程度。
为实现上述目的，本发明提供了如下方案：
一种基于热红外图像配准融合的水稻结实率测量装置，包括：机架、黑色传送带、平铺刷、加热料箱、LED光源、热红外相机、RGB相机、暗箱、处理器；
所述黑色传送带安装在所述机架上；所述加热料箱位于所述黑色传送带起始端上方，用于将待测水稻籽粒样本加热至预设温度后下落至所述黑色传送带上；所述平铺刷位于所述黑色传送带上方且位于所述加热料箱下方，用于将叠层的待测水稻籽粒样本平铺展开，保证籽粒单层分布；所述暗箱位于所述黑色传送带后端上方；所述LED光源、所述热红外相机以及所述RGB相机均位于所述暗箱内，且分别与所述处理器连接；当所述黑色传送带将待测水稻籽粒样本传送至所述暗箱下方时，由所述LED光源提供照明，由所述热红外相机和所述RGB相机分别采集待测水稻籽粒样本的热红外图像和RGB图像并发送至所述处理器；由所述处理器对所述热红外图像和所述RGB图像进行处理，计算得到待测水稻籽粒样本的结实率。
可选地，所述加热料箱包括：电磁阀开关、底盘、进料盘、电机以及喂料口；
所述进料盘位于所述底盘上；所述进料盘与所述电机连接，由所述电机带动所述进料盘做旋转运动；所述进料盘上设有多个样本加热口，多个样本加热口均匀分布在所述进料盘端面上；所述样本加热口内置加热装置；所述喂料口位于所述进料盘上方的样本进料工位处；所述电磁阀开关位于所述底盘下方的样本出料工位处；当所述进料盘上的样本加热口旋转至样本进料工位处时，待测水稻籽粒样本通过所述喂料口进入对应的样本加热口中进行加热；当所述进料盘上的样本加热口旋转至样本出料工位处时，打开所述电磁阀开关使待测水稻籽粒样本落至所述黑色传送带上。
可选地，所述样本加热口呈通孔状，由圆锥形通孔和圆柱形通孔连接组成；所述圆锥形通孔的最大端朝向所述喂料口；所述圆锥形通孔的最小端与所述圆柱形通孔连接；所述圆柱形通孔的内壁中内置所述加热装置。
可选地，所述装置还包括：样本集料箱；所述样本集料箱位于所述黑色传送带末端下方；当所述黑色传送带将待测水稻籽粒样本传送至所述样本集料箱处时，待测水稻籽粒样本落入所述样本集料箱中进行收集。
一种基于热红外图像配准融合的水稻结实率测量方法，所述方法基于所述的基于热红外图像配准融合的水稻结实率测量装置，所述方法包括：
获取待测水稻籽粒样本的热红外图像和RGB图像；
根据所述RGB图像获得待测水稻籽粒样本的籽粒总数；
使用GrabCut算法提取所述RGB图像中的籽粒，得到RGB籽粒提取图；
以所述热红外图像为基准图对所述RGB籽粒提取图进行配准融合，得到所述热红外图像对应的RGB配准图；
根据所述RGB配准图提取出所述热红外图像中的籽粒，得到热红外籽粒提取图；
根据所述热红外籽粒提取图获得待测水稻籽粒样本中的实粒个数；
计算所述实粒个数与所述籽粒总数的比值作为所述待测水稻籽粒样本的结实率。
可选地，所述根据所述RGB图像获得待测水稻籽粒样本的籽粒总数，具体包括：
对所述RGB图像进行灰度化处理、开运算和腐蚀运算，去除籽粒粘连现象，得到预处理后的RGB图像；
根据所述预处理后的RGB图像的最佳分割阈值进行阈值分割，完成二值化处理，得到二值化处理后的RGB图像；
计算所述二值化处理后的RGB图像中的连通域数个数作为待测水稻籽粒样本的籽粒总数。
可选地，所述以所述热红外图像为基准图对所述RGB籽粒提取图进行配准融合，得到所述热红外图像对应的RGB配准图，具体包括：
使用SIFT算法分别提取所述RGB籽粒提取图和所述热红外图像中的特征点，并对同名特征点进行匹配，以所述热红外图像为基准图对所述RGB籽粒提取图进行配准融合，得到所述热红外图像对应的RGB配准图。
可选地，所述根据所述RGB配准图提取出所述热红外图像中的籽粒，得到热红外籽粒提取图，具体包括：
将所述热红外图像中与所述RGB配准图中的零值像素点对应的像素点的灰度值置为0，提取出热红外图像中的籽粒，得到热红外籽粒提取图。
可选地，所述根据所述热红外籽粒提取图获得待测水稻籽粒样本中的实粒个数，具体包括：
标记所述热红外籽粒提取图中的所有连通域，并计算各个连通域中的像素平均值；
统计所述像素平均值小于籽粒分割阈值的连通域个数作为待测水稻籽粒样本中的实粒个数。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供了一种基于热红外图像配准融合的水稻结实率测量装置及方法，所述装置包括：机架、黑色传送带、平铺刷、加热料箱、LED光源、热红外相机、RGB相机、暗箱、处理器；所述黑色传送带安装在所述机架上；所述加热料箱位于所述黑色传送带起始端上方，用于将待测水稻籽粒样本加热至预设温度后下落至所述黑色传送带上；所述平铺刷位于所述黑色传送带上方且位于所述加热料箱下方，用于将叠层的待测水稻籽粒样本平铺展开，保证籽粒单层分布；所述暗箱位于所述黑色传送带后端上方；所述LED光源、所述热红外相机以及所述RGB相机均位于所述暗箱内，且分别与所述处理器连接；当所述黑色传送带将待测水稻籽粒样本传送至所述暗箱下方时，由所述LED光源提供照明，由所述热红外相机和所述RGB相机分别采集待测水稻籽粒样本的热红外图像和RGB图像并发送至所述处理器；由所述处理器对所述热红外图像和所述RGB图像进行处理，计算得到待测水稻籽粒样本的结实率。采用本发明水稻结实率测量装置及方法，无需人工目视分辨计数即可测量得到水稻结实率，排除了人为因素影响，能够提高水稻结实率测量的效率、精度和自动化程度，具有广泛的应用前景。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种基于热红外图像配准融合的水稻结实率测量装置的结构示意图；
图2为本发明水稻结实率测量装置中加热料箱的部分结构示意图；
图3为本发明水稻结实率测量装置中样本进料工位和样本出料工位示意图；
图4为本发明一种基于热红外图像配准融合的水稻结实率测量方法的原理示意图；
图5为本发明一种基于热红外图像配准融合的水稻结实率测量方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于热红外图像配准融合的水稻结实率测量装置及方法，以提高水稻结实率测量的效率、精度和自动化程度。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明一种基于热红外图像配准融合的水稻结实率测量装置的结构示意图。参见图1，所述基于热红外图像配准融合的水稻结实率测量装置，包括：机架1、黑色传送带2、平铺刷3、加热料箱、LED光源10、热红外相机11、RGB相机12、暗箱13、处理器14以及样本集料箱15。所述加热料箱具体包括：电磁阀开关4、底盘5、进料盘7、电机8以及喂料口9。所述进料盘7上设有多个样本加热口6。
图1可视为本发明水稻结实率测量装置的侧视图。如图1所示，所述黑色传送带2安装在所述机架1上。本发明选用黑色传送带2是考虑到RGB图像中籽粒与黑色背景反差较为明显，因此选用黑色的传送带2作为图像采集的黑色背景板。所述加热料箱位于所述黑色传送带2起始端上方，用于将待测水稻籽粒样本加热至预设温度后下落至所述黑色传送带2上。图1中黑色传送带2为逆时针转动，因此图1中黑色传送带2右端为其起始端。所述平铺刷3位于所述黑色传送带2上方且位于所述加热料箱下方，用于将叠层的待测水稻籽粒样本平铺展开，保证籽粒单层分布。所述暗箱13位于所述黑色传送带2后端上方。所述LED光源10、所述热红外相机11以及所述RGB相机12均位于所述暗箱13内，且LED光源10、热红外相机11以及RGB相机12分别与所述处理器14连接。本发明在图像采集区设置暗箱13，能够保证图像采集不受外界光线影响。当所述黑色传送带2将待测水稻籽粒样本传送至所述暗箱13下方时，由所述LED光源10提供照明，由所述热红外相机11和所述RGB相机12分别采集待测水稻籽粒样本的热红外图像和RGB图像并发送至所述处理器14；由所述处理器14对所述热红外图像和所述RGB图像进行处理，计算得到待测水稻籽粒样本的结实率。
图2为本发明水稻结实率测量装置中加热料箱的部分结构示意图；图3为本发明水稻结实率测量装置中样本进料工位和样本出料工位示意图。参见图1-3，所述加热料箱中，所述进料盘7位于所述底盘5上；所述进料盘7与所述电机8连接，通过所述电机8带动所述进料盘7做旋转运动，可以为顺时针旋转或逆时针旋转。所述进料盘7上设有多个样本加热口6，多个样本加热口6均匀分布在所述进料盘7端面上；所述样本加热口6内置加热装置。所述喂料口9位于所述进料盘7上方的样本进料工位17处；所述电磁阀开关4位于所述底盘5下方的样本出料工位16处。当所述进料盘7上的样本加热口6旋转至样本进料工位17处时，待测水稻籽粒样本通过所述喂料口9进入对应的样本加热口6中进行加热；当所述进料盘7上的样本加热口6旋转至样本出料工位16处时，打开所述电磁阀开关4使待测水稻籽粒样本落至所述黑色传送带2上。
如图1和图2所示，所述样本加热口6呈通孔状，由圆锥形通孔和圆柱形通孔连接组成；所述圆锥形通孔的最大端朝向所述喂料口9；所述圆锥形通孔的最小端与所述圆柱形通孔连接；所述圆柱形通孔的内壁中内置所述加热装置；所述加热装置可以为热电偶、电热丝等。
如图1所示，所述样本集料箱15位于所述黑色传送带2末端下方；当所述黑色传送带2将待测水稻籽粒样本传送至所述样本集料箱15处时，待测水稻籽粒样本落入所述样本集料箱15中进行收集。样本集料箱15位于黑色传送带2末端，用于收集图像采集后的样本以进行回收利用。
下面提供本发明水稻结实率测量装置的一个具体实施例。
在该实施例中，水稻结实率测量装置由机架1、黑色传送带2、平铺刷3、电磁阀开关4、底盘5、样本加热口6、进料盘7、电机8、喂料口9、LED光源10、热红外相机11、RGB相机12、暗箱13、计算机14以及样本集料箱15组成。
其中，待分析测量的水稻籽粒样本从喂料口9进入水稻结实率测量装置，进料盘7由电机8带动顺时针旋转。进料盘7上设有6个样本加热口6，均匀分布在进料盘7端面上，每个样本加热口6呈通孔状，是由圆锥孔和圆柱孔组成，圆锥孔最大端朝外，圆柱孔内壁中内置加热丝。以进料盘7中心为原点，进料盘7由中心的电机8驱动顺时针旋转；180°位置为样本进料工位17，240°位置为样本出料工位16。
进料盘7下部有固定不动的底盘5，底盘5在样本出料工位16处开孔，孔外端安装电磁阀开关4，控制籽粒通行，底盘5其他位置完整封闭。当进料盘7上的样本加热口6旋转至样本进料工位17时，代表该样本加热口6与喂料口9对准，待测水稻籽粒样本通过喂料口9进入进料盘7上的对应样本加热口6，进料盘7内置加热装置，存储籽粒样本的同时将籽粒加热至预设温度T。
开始测量时打开黑色传送带2，电磁阀开关4同时启动，进料盘7顺时针旋转，进料盘7上的某个样本加热口6旋转到样本出料工位16时，水稻籽粒样本通过打开的电磁阀开关4落到黑色传送带2上。黑色传送带2上方的平铺刷3将叠层的籽粒平铺展开，保证籽粒单层分布。
进料盘7以固定角速度顺时针旋转，经时间t后样本籽粒随着样本加热口6也旋转到样本出料工位16，籽粒样本通过打开的电磁阀开关4落到黑色传送带2上；以此种方式完成多个样本连续快速测量。
待测水稻籽粒样本进入图像采集区域的暗箱13后，由光源10提供照明，计算机13间隔固定时间t发送控制信号至热红外相机11和RGB相机12，两个相机同时采集籽粒样本热红外图像和RGB图像，并将图像数据传输至计算机14处进行存储、处理，籽粒样本落入样本集料箱15中进行回收利用。
本发明水稻结实率测量装置运用RGB相机12和热红外相机11采集经加热至固定温度T的水稻样本籽粒的两种图像，基于图像处理方法和图像配准融合方法构建水稻籽粒结实率测量方法，从而实现结实率的自动化、高精度快速测量。在该水稻结实率测量方法中，使用SIFT算法分别提取经分割的RGB籽粒提取图和原始热红外图像中的特征点，并对同名特征点进行匹配，以原始热红外图像为基准图对RGB籽粒提取图进行配准融合；利用RGB图像辅助完成热红外图像阈值分割，计算瘪粒连通域数为NE和实粒连通域数为NF；计算单次图像中结实率RSRi＝NF/NA，最终计算多个待测水稻籽粒样本采集的多个图像的结实率RSRi的平均值作为最终样本结实率RSR。
图4为本发明一种基于热红外图像配准融合的水稻结实率测量方法的原理示意图。参见图4，本发明水稻结实率测量方法的基本原理是：将待分析测量的水稻籽粒样本在内置加热装置的加热料箱中加热至固定温度T(例如36摄氏度)；开始测量时水稻籽粒样本从加热料箱中放置到黑色背景板(即黑色传送带2)上平铺展开，保证籽粒单层分布；籽粒进入图像采集区域的暗箱13后，由LED光源10提供照明，由热红外相机11和RGB相机12，两个相机同时采集籽粒样本热红外图像和RGB图像，并将图像数据传输至处理器14处进行存储、处理，籽粒样本落入样本集料箱15；其中RGB图像中籽粒与黑色背景反差较为明显，对RGB图像进行灰度化处理、开运算和腐蚀运算，去除籽粒粘连现象，寻找图像的最佳分割阈值进行阈值分割，并完成二值化处理，通过计算连通域数个数来计算图像中籽粒总数NA；使用SIFT算法分别提取经分割的RGB籽粒提取图和原始热红外图像中的特征点，并对同名特征点进行匹配，以原始热红外图像为基准图对RGB籽粒提取图进行配准融合；将热红外图像所对应的RGB配准图(即二值化后，背景区域像素值为0，籽粒区域像素值为255的图像)中的零值像素点的像素灰度值置为0，即将热红外图像中背景像素点值置为零，提取出热红外图像中的籽粒；利用水稻实粒和瘪粒间在时间t内均有T1以上的温度差，温度低的水稻瘪粒像素点值高，温度高的水稻实粒像素点值低的原理，计算得出热红外灰度图像中两种籽粒的分割阈值threshold_value；从上面经配准处理而分割出所有谷粒的热红外图像中标记出所有连通域，并计算连通域中像素的平均值，将平均值大于threshold_value的连通域填充为红色，代表瘪粒，记瘪粒连通域数为NE，将平均值小于threshold_value的连通域填充为绿色，代表实粒，记实粒连通域数为NF；计算单次图像中结实率RSRi＝NF/NA，计算本样本3次的结实率RSRi平均值作为最终样本结实率RSR。
图5为本发明一种基于热红外图像配准融合的水稻结实率测量方法的流程图。基于以上原理，本发明提供一种基于热红外图像配准融合的水稻结实率测量方法，所述方法由处理器14执行。参见图5，所述方法包括：
步骤501：获取待测水稻籽粒样本的热红外图像和RGB图像。
本发明方法中，一个待测水稻籽粒样本通常为一株水稻稻穗上的所有籽粒。将待测水稻籽粒样本在内置加热装置的加热料箱内加热至预设温度T，预设温度T通常为36摄氏度。开始测量时水稻籽粒样本从加热料箱中落入到黑色背景板(即黑色传送带2)上平铺展开，保证籽粒单层分布。籽粒进入图像采集区域的暗箱13后，由LED光源10提供照明，由热红外相机11和RGB相机12这两个相机同时采集籽粒样本热红外图像和RGB图像，并将图像数据传输至处理器14进行存储、处理，籽粒样本落入样本集料箱15中进行收集。
处理器14中存储的水稻结实率测量方法运用RGB相机和热红外相机采集的经加热至固定温度T的水稻样本籽粒的两种图像，利用图像处理方法和图像配准融合方法进行水稻籽粒结实率测量。
步骤502：根据所述RGB图像获得待测水稻籽粒样本的籽粒总数。
RGB图像中籽粒与黑色背景反差较为明显，因此可以对所述RGB图像进行灰度化处理、开运算和腐蚀运算，去除籽粒粘连现象，得到预处理后的RGB图像。对所述预处理后的RGB图像寻找其最佳分割阈值进行阈值分割，完成二值化处理，得到二值化处理后的RGB图像。计算所述二值化处理后的RGB图像中的连通域数个数作为待测水稻籽粒样本的籽粒总数NA。
步骤503：使用GrabCut算法提取所述RGB图像中的籽粒，得到RGB籽粒提取图。
本发明使用GrabCut算法提取RGB图像中的籽粒，由于RGB图像中籽粒与背景的颜色反差较为明显，通常经算法迭代5次左右即可获得较理想的分割效果，即得到RGB籽粒提取图，该RGB籽粒提取图的背景像素值为0。
步骤504：以所述热红外图像为基准图对所述RGB籽粒提取图进行配准融合，得到所述热红外图像对应的RGB配准图。
本发明使用SIFT算法分别提取所述RGB籽粒提取图和所述热红外图像中的特征点，并对同名特征点进行匹配，以所述热红外图像为基准图对所述RGB籽粒提取图进行配准融合，得到所述热红外图像对应的RGB配准图。所述RGB配准图的背景区域像素值为0，籽粒区域像素值为255。
步骤505：根据所述RGB配准图提取出所述热红外图像中的籽粒，得到热红外籽粒提取图。
将所述热红外图像中与所述RGB配准图中的零值像素点对应的像素点的灰度值置为0，即将热红外图像中背景像素点值置为零，从而提取出热红外图像中的籽粒，得到热红外籽粒提取图。
步骤506：根据所述热红外籽粒提取图获得待测水稻籽粒样本中的实粒个数。
由于水稻实粒和瘪粒经过样本加热口6加热后，在时间t内均有T1以上的温度差，实粒散热慢、温度下降慢，故实粒高温，对应的热红外图像像素值低；瘪粒散热快、温度下降快，故瘪粒低温，对应的热红外图像像素值高。因此可以基于这一现象计算得出热红外籽粒提取图中两种籽粒的分割阈值threshold_value。在实际应用中，可以通过直方图统计，计算出两种籽粒像素值的最佳分割阈值作为籽粒分割阈值threshold_value。
上述所述步骤505得到的热红外籽粒提取图经过了配准处理并分割出了图像中所有谷粒，因此可以标记所述热红外籽粒提取图中的所有连通域，并计算各个连通域中的像素平均值。将像素平均值大于threshold_value的连通域填充为红色，代表瘪粒，记瘪粒连通域个数为NE，NE即为待测水稻籽粒样本中的瘪粒个数；将像素平均值小于threshold_value的连通域填充为绿色，代表实粒，记实粒连通域数为NF，NF即为待测水稻籽粒样本中的实粒个数。
步骤507：计算所述实粒个数与所述籽粒总数的比值作为所述待测水稻籽粒样本的结实率。
计算单次测量得到的结实率RSRi＝NF/NA，RSRi为待测水稻籽粒样本第i次测量得到的结实率。在实际操作中，通常将单个待测水稻籽粒样本多次测量得到的结实率RSRi的平均值作为该样本最终的水稻籽粒结实率RSR。
下面提供本发明水稻结实率测量方法的一个具体实施例。
在该实施例中，将待分析测量的水稻籽粒样本在内置加热装置的加热料箱加热至固定温度T＝36摄氏度。开始测量时水稻籽粒样本从加热料箱中放置到黑色背景板上平铺展开，保证籽粒单层分布。籽粒进入图像采集区域的暗箱13后，由LED光源10提供照明，由FLIRTau2热红外相机11和索尼α600RGB相机12这两个相机同时采集籽粒样本热红外图像和RGB图像，并将图像数据传输至处理器14进行存储、处理，籽粒样本落入样本集料箱15。
RGB图像中籽粒与黑色背景反差较为明显，对RGB图像进行灰度化处理、开运算和腐蚀运算，去除籽粒粘连现象，寻找图像的最佳分割阈值进行阈值分割，并完成二值化处理，通过计算连通域个数计算图像中籽粒总数NA。使用SIFT算法分别提取经分割的RGB籽粒提取图和原始热红外图像中的特征点，并对同名特征点进行匹配，以原始热红外图像为基准图对RGB籽粒提取图进行配准融合。将热红外图像中与RGB配准图中的零值像素点相对应的的像素灰度值置为0，即将热红外图像中背景像素点值置为零，提取出热红外图像中的籽粒。利用水稻实粒和瘪粒间在时间t＝60s内均有T1＝1.7℃以上的温度差，温度低的水稻瘪粒像素点值高，温度高的水稻实粒像素点值低的现象，计算得出热红外灰度图像(即热红外籽粒提取图)中两种籽粒的分割阈值threshold_value。
将上述经配准处理而分割出所有谷粒的热红外籽粒提取图标记出所有连通域，并计算各个连通域中像素的平均值，将平均值大于threshold_value的连通域填充为红色，代表瘪粒，记瘪粒连通域数为NE，将平均值小于threshold_value的连通域填充为绿色，代表实粒，记实粒连通域数为NF；验证NE与NF的和值是否为NA，若否需要重新进行NE与NF的求解步骤，若是则计算单次测量的结实率RSRi＝NF/NA，将每个样本重复3次测量得到的结实率RSRi的平均值作为该样本最终的结实率RSR。经验证本发明方法准确率可达92％。
传统区分实粒数和总粒数的方法主要包括水漂法和风选法，此外还有扬谷法等等。传统测量方法主要依靠人工分辨水稻籽粒饱满程度而进行分辨，但人工目视法存在效率低、测量精度不稳定、操作人员主观性强、耗时耗力等缺点。而本发明水稻结实率测量装置及方法能快速采集水稻籽粒图像数据，分析、计算速度快，时间短，无需人工目视分辨计数，是一种自动化程度高、精度高、多参数的数字化考种技术，具有劳动强度和作业成本低、自动化程度高、精度高、速度快的优势。
传统的人工目视法主观性强，主要依靠操作人员的专业知识来进行水稻籽粒结实率测量，操作人员的专业知识和经验高低不同导致测量精度高低不一，难以保持稳定度和可信度。本发明提供的水稻结实率测量装置及方法成熟稳定，能够充分利用的水稻籽粒图像数据，利用RGB图像和热红外图像的分割、配准、融合，可适用于不同地区、不同品种的稻籽粒结实率测量，测量过程固定化、流程化，排除人为影响，具有适应性强、精准度高、工作稳定的优势。并且采用本发明水稻结实率测量装置及方法进行结实率测量的准确率可达92％，具有广泛的应用前景。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的控制方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种基于热红外图像配准融合的水稻结实率测量装置，其特征在于，包括：机架、黑色传送带、平铺刷、加热料箱、LED光源、热红外相机、RGB相机、暗箱、处理器；
所述黑色传送带安装在所述机架上；所述加热料箱位于所述黑色传送带起始端上方，用于将待测水稻籽粒样本加热至预设温度后下落至所述黑色传送带上；所述平铺刷位于所述黑色传送带上方且位于所述加热料箱下方，用于将叠层的待测水稻籽粒样本平铺展开，保证籽粒单层分布；所述暗箱位于所述黑色传送带后端上方；所述LED光源、所述热红外相机以及所述RGB相机均位于所述暗箱内，且分别与所述处理器连接；当所述黑色传送带将待测水稻籽粒样本传送至所述暗箱下方时，由所述LED光源提供照明，由所述热红外相机和所述RGB相机分别采集待测水稻籽粒样本的热红外图像和RGB图像并发送至所述处理器；由所述处理器对所述热红外图像和所述RGB图像进行处理，计算得到待测水稻籽粒样本的结实率。
2.根据权利要求1所述的装置，其特征在于，所述加热料箱包括：电磁阀开关、底盘、进料盘、电机以及喂料口；
所述进料盘位于所述底盘上；所述进料盘与所述电机连接，由所述电机带动所述进料盘做旋转运动；所述进料盘上设有多个样本加热口，多个样本加热口均匀分布在所述进料盘端面上；所述样本加热口内置加热装置；所述喂料口位于所述进料盘上方的样本进料工位处；所述电磁阀开关位于所述底盘下方的样本出料工位处；当所述进料盘上的样本加热口旋转至样本进料工位处时，待测水稻籽粒样本通过所述喂料口进入对应的样本加热口中进行加热；当所述进料盘上的样本加热口旋转至样本出料工位处时，打开所述电磁阀开关使待测水稻籽粒样本落至所述黑色传送带上。
3.根据权利要求2所述的装置，其特征在于，所述样本加热口呈通孔状，由圆锥形通孔和圆柱形通孔连接组成；所述圆锥形通孔的最大端朝向所述喂料口；所述圆锥形通孔的最小端与所述圆柱形通孔连接；所述圆柱形通孔的内壁中内置所述加热装置。
4.根据权利要求1所述的装置，其特征在于，所述装置还包括：样本集料箱；所述样本集料箱位于所述黑色传送带末端下方；当所述黑色传送带将待测水稻籽粒样本传送至所述样本集料箱处时，待测水稻籽粒样本落入所述样本集料箱中进行收集。
5.一种基于热红外图像配准融合的水稻结实率测量方法，其特征在于，所述方法基于权利要求1-4中任一项所述的基于热红外图像配准融合的水稻结实率测量装置，其特征在于，所述方法包括：
获取待测水稻籽粒样本的热红外图像和RGB图像；
根据所述RGB图像获得待测水稻籽粒样本的籽粒总数；
使用GrabCut算法提取所述RGB图像中的籽粒，得到RGB籽粒提取图；
以所述热红外图像为基准图对所述RGB籽粒提取图进行配准融合，得到所述热红外图像对应的RGB配准图；
根据所述RGB配准图提取出所述热红外图像中的籽粒，得到热红外籽粒提取图；
根据所述热红外籽粒提取图获得待测水稻籽粒样本中的实粒个数；
计算所述实粒个数与所述籽粒总数的比值作为所述待测水稻籽粒样本的结实率。
6.根据权利要求5所述的方法，其特征在于，所述根据所述RGB图像获得待测水稻籽粒样本的籽粒总数，具体包括：
对所述RGB图像进行灰度化处理、开运算和腐蚀运算，去除籽粒粘连现象，得到预处理后的RGB图像；
根据所述预处理后的RGB图像的最佳分割阈值进行阈值分割，完成二值化处理，得到二值化处理后的RGB图像；
计算所述二值化处理后的RGB图像中的连通域数个数作为待测水稻籽粒样本的籽粒总数。
7.根据权利要求5所述的方法，其特征在于，所述以所述热红外图像为基准图对所述RGB籽粒提取图进行配准融合，得到所述热红外图像对应的RGB配准图，具体包括：
使用SIFT算法分别提取所述RGB籽粒提取图和所述热红外图像中的特征点，并对同名特征点进行匹配，以所述热红外图像为基准图对所述RGB籽粒提取图进行配准融合，得到所述热红外图像对应的RGB配准图。
8.根据权利要求5所述的方法，其特征在于，所述根据所述RGB配准图提取出所述热红外图像中的籽粒，得到热红外籽粒提取图，具体包括：
将所述热红外图像中与所述RGB配准图中的零值像素点对应的像素点的灰度值置为0，提取出热红外图像中的籽粒，得到热红外籽粒提取图。
9.根据权利要求5所述的方法，其特征在于，所述根据所述热红外籽粒提取图获得待测水稻籽粒样本中的实粒个数，具体包括：
标记所述热红外籽粒提取图中的所有连通域，并计算各个连通域中的像素平均值；
统计所述像素平均值小于籽粒分割阈值的连通域个数作为待测水稻籽粒样本中的实粒个数。
CN202210842727.9A 2022-07-18 2022-07-18 基于热红外图像配准融合的水稻结实率测量装置及方法 Active CN115100447B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210842727.9A CN115100447B (zh) 2022-07-18 2022-07-18 基于热红外图像配准融合的水稻结实率测量装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210842727.9A CN115100447B (zh) 2022-07-18 2022-07-18 基于热红外图像配准融合的水稻结实率测量装置及方法

Publications (2)

Publication Number Publication Date
CN115100447A true CN115100447A (zh) 2022-09-23
CN115100447B CN115100447B (zh) 2024-05-17

Family

ID=83298607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210842727.9A Active CN115100447B (zh) 2022-07-18 2022-07-18 基于热红外图像配准融合的水稻结实率测量装置及方法

Country Status (1)

Country Link
CN (1) CN115100447B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109738442A (zh) * 2019-01-05 2019-05-10 华中农业大学 一种基于大视野x射线可见光配准成像的水稻稻穗性状全自动提取系统
CN109765195A (zh) * 2018-12-01 2019-05-17 华中农业大学 一种基于Led-红光透射成像的水稻稻穗性状智能分析系统
CN111815014A (zh) * 2020-05-18 2020-10-23 浙江大学 一种基于无人机低空遥感信息的作物产量预测方法及系统
CN112229836A (zh) * 2020-09-15 2021-01-15 华南农业大学 水稻实粒与空粒检测装置及检测方法
CN112903600A (zh) * 2021-01-15 2021-06-04 南京农业大学 一种基于固定翼无人机多光谱影像的水稻氮肥推荐方法
CN216911125U (zh) * 2022-01-27 2022-07-08 合肥美亚光电技术股份有限公司 茶叶色选机及具有其的茶叶除杂生产线

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109765195A (zh) * 2018-12-01 2019-05-17 华中农业大学 一种基于Led-红光透射成像的水稻稻穗性状智能分析系统
CN109738442A (zh) * 2019-01-05 2019-05-10 华中农业大学 一种基于大视野x射线可见光配准成像的水稻稻穗性状全自动提取系统
CN111815014A (zh) * 2020-05-18 2020-10-23 浙江大学 一种基于无人机低空遥感信息的作物产量预测方法及系统
US20210358106A1 (en) * 2020-05-18 2021-11-18 Zhejiang University Crop yield prediction method and system based on low-altitude remote sensing information from unmanned aerial vehicle
CN112229836A (zh) * 2020-09-15 2021-01-15 华南农业大学 水稻实粒与空粒检测装置及检测方法
CN112903600A (zh) * 2021-01-15 2021-06-04 南京农业大学 一种基于固定翼无人机多光谱影像的水稻氮肥推荐方法
CN216911125U (zh) * 2022-01-27 2022-07-08 合肥美亚光电技术股份有限公司 茶叶色选机及具有其的茶叶除杂生产线

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JUN ZHOU 等: "Developing thermal infrared de-ghost and multi-level nested conglutinated segmentation algorithm for detection of rice seed setting rate", 《COMPUTERS AND ELECTRONICS IN AGRICULTURE》, 1 April 2023 (2023-04-01) *
TAO LIU等: "Estimates of rice lodging using indices derived from UAV visible and thermal infrared images", 《AGRICULTURAL AND FOREST METEOROLOGY》, 15 April 2018 (2018-04-15) *
焦雁翔;唐玉琴;黄成志;黄仁军;: "Matlab图像处理在水稻谷粒计数中的应用", 南方农业, no. 04, 5 February 2018 (2018-02-05) *
黄成龙;杨万能;吴迪;段凌凤;: "基于X-ray透射成像的稻穗米粒粒型及谷粒饱满度测量", 中国农业科技导报, no. 08, 15 August 2018 (2018-08-15) *

Also Published As

Publication number Publication date
CN115100447B (zh) 2024-05-17

Similar Documents

Publication Publication Date Title
CN101905215B (zh) 数字化水稻考种机
US7218775B2 (en) Method and apparatus for identifying and quantifying characteristics of seeds and other small objects
US9933405B2 (en) Immature ear photometry in maize
US8935881B2 (en) Method and device for evaluating germination properties of plant seeds
Lunadei et al. Automatic identification of defects on eggshell through a multispectral vision system
CN110479635B (zh) 基于神经网络自动分拣烟叶的方法及装置
CN109425715A (zh) 一种全自动无人值守粮食化验系统
US10712325B2 (en) Method and apparatus for measuring inflorescence, seed and/or seed yield phenotype
CN116542920A (zh) 基于施肥溶液和土壤ec值来评估植物施肥量的评估方法
CN109934297B (zh) 一种基于深度学习卷积神经网络的水稻考种方法
CN106023235B (zh) 一种农作物有效籽粒个数测量的方法
CN115100447B (zh) 基于热红外图像配准融合的水稻结实率测量装置及方法
CN110575973B (zh) 一种农作物种子品质检测与筛选系统
CN110882948B (zh) 一种柚子品质分类方法与装置
Wang et al. Research on the evaluation method of eggshell dark spots based on machine vision
CN110609011A (zh) 单籽粒玉米种子淀粉含量近红外高光谱检测方法及系统
Wu et al. Fine phenotyping of pod and seed traits in Arachis germplasm accessions using digital image analysis
CN117611927B (zh) 一种稻谷互混率检测方法及装置
Shahin et al. Instrumental colour and size grading of pulse grains
CN115855937A (zh) 一种基于深度相机自动检测玉米早期发芽率的装置及方法
Lingmin et al. A Vision Method for Rapeseed Amount Measuring
CN114679928A (zh) 一种确定紫苏种子活力检测指标的方法
Shaker et al. Paddy/Rice Singulation for Determination of Husking Efficiency and Damage Using Machine Vision
Tong et al. Machine Vision and Mechanism Combination Techniques for Seedlings Quality Evaluation Based on Leaf Area
AU2002328213A1 (en) Method for identifying and quantifying characteristics of seeds and other small objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant