CN116109809A - 一种显微多光谱成像的食用菌菌种表型参数采集装置及方法 - Google Patents
一种显微多光谱成像的食用菌菌种表型参数采集装置及方法 Download PDFInfo
- Publication number
- CN116109809A CN116109809A CN202310049358.2A CN202310049358A CN116109809A CN 116109809 A CN116109809 A CN 116109809A CN 202310049358 A CN202310049358 A CN 202310049358A CN 116109809 A CN116109809 A CN 116109809A
- Authority
- CN
- China
- Prior art keywords
- microscopic
- image
- edible fungus
- multispectral
- light source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 241000233866 Fungi Species 0.000 title claims abstract description 81
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000000701 chemical imaging Methods 0.000 title claims abstract description 18
- 238000003384 imaging method Methods 0.000 claims abstract description 15
- 230000003595 spectral effect Effects 0.000 claims abstract description 13
- 238000009826 distribution Methods 0.000 claims abstract description 12
- 238000011161 development Methods 0.000 claims description 26
- 230000009194 climbing Effects 0.000 claims description 19
- 238000011156 evaluation Methods 0.000 claims description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 7
- 230000001133 acceleration Effects 0.000 claims description 6
- 238000012706 support-vector machine Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000005192 partition Methods 0.000 claims description 3
- 238000009434 installation Methods 0.000 claims description 2
- 238000009395 breeding Methods 0.000 abstract description 8
- 230000001488 breeding effect Effects 0.000 abstract description 8
- 230000008569 process Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 10
- 230000015572 biosynthetic process Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 9
- 238000003786 synthesis reaction Methods 0.000 description 9
- 238000001228 spectrum Methods 0.000 description 6
- 230000015556 catabolic process Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000006731 degradation reaction Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000012854 evaluation process Methods 0.000 description 2
- 238000012067 mathematical method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P60/00—Technologies relating to agriculture, livestock or agroalimentary industries
- Y02P60/14—Measures for saving energy, e.g. in green houses
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明提出一种显微多光谱成像的食用菌菌种表型参数采集装置及方法，实现食用菌自动化智能化育种。步骤是①拍摄多张单波长二维图像合成三维的显微多光谱图像，判断出显微多光谱图像的空白像素点比例，优化采集区域的选择；②搜索最佳成像位置实现自动对焦；③分别拼接显微多光谱图像的图像层和数据层并融合二者，实现大区域显微多光谱图像拼接重构；④提取大区域显微多光谱图像特征，基于孢子结构、菌丝结构分布和平均光谱反射率曲线，实现不同质量等级菌种的自主分类。本发明具有不同质量等级菌种自主分类的功能，同时兼顾了低成本、高效率和自动化的优点。
Description
技术领域
本发明涉及食用菌育种领域，提出一种显微多光谱成像的食用菌菌种表型参数采集装置及方法，具有优化采集区域选择、采集装置自动对焦、三维的大区域显微多光谱图像拼接重构，并结合深度学习实现不同质量等级菌种自主分类，达到低成本、高精化、自动化的食用菌育种目标。
背景技术
食用菌菌种表型参数采集装置及方法能够智能、高效、准确地采集，是食用菌菌种表型领域不断发展、持续进步的关键技术因素和重要研究内容。实现大区域显微多光谱成像，不仅保证高精细度的大视场，还可以获得丰富表型参数解决变质菌种群体不占优势时，有效表型特征不容易被采集的难题。
食用菌菌种退化是众多食用菌育种中共同存在的严重问题，实际生产中，一些优良的食用菌品种往往用不了几代就出现菌种退化现象，一旦使用退化菌种进行栽培，往往导致出菇晚、产量低、品质差，给食用菌生产者带来重大的经济损失。因此，不同菌种质量等级的准确鉴别是关乎栽培是否成功的关键环节。
为解决上述问题，本发明提出一种显微多光谱成像的食用菌菌种表型参数采集装置及方法，涉及食用菌育种领域，实现食用菌自动化智能化育种。在显微多光谱成像的食用菌菌种表型参数采集装置中，箱体内的上层设置有单色面阵CCD相机，通过显微镜模块采集电动XYZ移动平台上放置的食用菌菌种样本，在不同波长的采集环境中拍摄一系列单波长二维图像并在计算机中合成三维的显微多光谱图像，按照采集方法步骤可实现优化采集区域选择、采集装置自动对焦、三维的大区域多光谱图像拼接重构和不同质量等级菌种自主分类，完成低成本、高效准确、自动智能的食用菌育种目标。
发明内容
发明目的：为了克服现有技术中存在的不足，本发明提供一种显微多光谱成像的食用菌菌种表型参数采集装置及方法，
技术方案：为实现上述目的，本发明采用的技术方案为：
本申请的第一个目的是，提供一种显微多光谱成像的食用菌菌种表型参数采集装置，该装置包括箱体，所述箱体分为上层和下层，由隔板从中间分开；
所述箱体下层为暗室，暗室各个面均作不透光涂黑处理，避免外界光源干扰；所述暗室的底部设置有电动XYZ移动平台，用于放置食用菌菌种样本；所述暗室的后侧和两侧面分别在水平方向设置有条型LED光源，所述条型LED光源朝向食用菌菌种样本，用于提供不同波长的光波；所述暗室的顶部设有显微镜模块，位于所述显微镜模块下面的物镜镜头朝向食用菌菌种样本；
所述箱体的上层顶部设置有单色面阵CCD相机，其相机镜头朝向所述显微镜模块；当条型LED光源提供不同光波时，所述单色面阵CCD相机通过显微镜模块依次拍摄多张食用菌菌种样本的单波长二维显微图像。
本申请中，单色面阵CCD相机能够获得140万像素高分辨率显微多光谱图像；电动XYZ移动平台为高精度三轴移动平台，最大负载为3kg，食用菌菌种样本在三维空间的移动精度为0.1um，满足不同食用菌菌种微观表型参数的采集需求。
具体地，在本发明的一种实施方式中，所述单色面阵CCD相机设置在箱体的上层的顶部。
具体地，在本发明的一种实施方式中，所述单波长二维图像用于采集所述食用菌菌种样本的微观表型参数，所述微观表型参数包括孢子结构、菌丝结构分布的微观表型参数。
更具体地，在本发明的一种实施方式中，所述微观表型参数具体的包括孢子大小、菌丝粗细、菌丝密度，即为孢子结构大小、菌丝结构粗细、菌丝密度大小的微观表型参数。
具体地，在本发明的一种实施方式中，所述显微镜模块可拆卸，便于更换不同倍数物镜。
更具体地，在本发明的一种实施方式中，所述显微镜模块可拆卸具体包括，在所述暗室的顶部设有导轨和滑块，显微镜模块固定在所述滑块上，由滑块带动沿所述导轨滑动进行安装。
具体地，在本发明的一种实施方式中，所述条型LED光源倾斜45°朝向所述食用菌菌种样本；所述条型LED光源的光源波长为460nm～1050nm。
更具体地，在本发明的一种实施方式中，根据不同食用菌菌种微观表型参数的感兴趣特征波段，条形LED光源可提供不同的波长选择，分别为460nm、520nm、550nm、650nm、690nm、710nm、730nm、750nm、900nm、960nm、990nm和1050nm。
具体地，在本发明的一种实施方式中，还包括位于箱体外的计算机，所述计算机与所述单色面阵CCD相机信号连接，所述单色面阵CCD相机拍摄多张单波长二维显微图像后输出至计算机合成一张显微多光谱图像。
具体地，在本发明的一种实施方式中，所述箱体内设置有开发板，所述开发板的输入端与箱体外的计算机信号连接，所述开发板的输出端分别与箱体内的电动XYZ移动平台、条型LED光源信号连接，所述计算机输出控制信号至移动平台、条型LED光源，调整移动平台的位置及条型LED光源的光源波长。
具体地，在本发明的一种实施方式中，所述开发板包括Arduino、Jetson Nano、Jetson TX2等其中任意一种。关于开发板与计算机的连接，其中开发板采用市售的现有产品均可，在本申请中不受限制，其信号连接方式也是通用技术，在本申请中不再赘述。
本申请的第二个目的是，提供一种显微多光谱成像的食用菌菌种表型参数采集方法，使用如以上任一所示的装置，此申请仅以该装置的其中一种可能的应用方法作为示例说明，具体不对本发明的保护范围构成限制，该方法包括以下步骤：
S1、拍摄多张单波长二维图像合成三维的显微多光谱图像，判断出显微多光谱图像的空白像素点比例，优化采集区域的选择；
S2、搜索最佳成像位置实现自动对焦；
S3、分别拼接显微多光谱图像的图像层和数据层并融合二者，实现大区域显微多光谱图像拼接重构；
S4、提取大区域显微多光谱图像特征，基于孢子结构、菌丝结构分布和平均光谱反射率曲线，实现不同质量等级菌种的自主分类。
具体地，在本发明的一种实施方式中，步骤S1中，拍摄前，针对孢子结构、菌丝结构分布的微观表型参数采集要求，暗室的后侧和两侧面分别安装条型LED光源，设置不同波长LED光源顺序点亮的采集环境，并依次拍摄多张单波长二维图像合成三维的多光谱图像。LED光源在开发板的信号控制下，不同波长的采集环境自动可调，提供丰富的采集环境。其中针对孢子结构、菌丝结构分布的微观表型参数采集要求设置不同波长LED光源顺序点亮的采集环境，波长的选择由食用菌菌种感兴趣的特征波段决定；
具体地，在本发明的一种实施方式中，步骤S1中，所述判断空白像素点比例包括，采用空白图像评价方法，迭代比较出最优空白显微图像，并判断出有组织显微图像的空白像素点比例。
更具体地，在本发明的一种实施方式中，所述判断空白像素点比例的具体方法包括，根据图像亮度的评价方法对多副空白显微图像进行迭代比较，获得最优计算空白区域的显微图像，采集同一波长下的有组织显微图像，计算此两幅显微图像的比值图像均值并作为阈值，判断出有组织显微图像的空白像素点比例，优化采集区域地选择。
进一步地，比值图像计算公式为
Ir＝I1,n/Ib,n (1)
其中，Ir为比值图像，I1,n为采集的灰度图像，Ib,n为空白的灰度图像。
具体地，在本发明的一种实施方式中，步骤S2中，采用八领域灰度梯度累加图像清晰度评判方法以及爬山搜索配合二次曲线拟合的峰值搜索方法进行最佳成像位置自动对焦。
更具体地，在本发明的一种实施方式中，所述最佳成像位置自动对焦的方法包括：在粗对焦中采用初始自定位方法及爬山搜索方法，基于食用菌菌种样本的位置信息实现局部最优成像位置搜索；其次，在精对焦中采用固定点数的二次曲线模拟，搜索过程中将焦平面模拟成二次曲线最大值精确计算出最佳成像位置。采集装置通过搭载开发板获取电动XYZ移动平台位置信息，并每次将获取的显微图像传输到计算机，采用改进的图像清晰度评价方法，八领域灰度梯度累加图像清晰度评价方法，高效地评价图像清晰度。
进一步地，粗对焦过程中，采用一种基于初始状态的爬山搜索方法，开发板获取电动XYZ移动平台上食用菌菌种样本的位置信息，基于位置信息为初始状态为爬山搜索提供一个较好的初始方向和搜索步长；电动XYZ移动平台在Z轴方向上使用爬山搜索方法，遇到更优聚焦值时，记下坐标并继续爬坡，否则判定已过坡峰位置，反方向以较小步长爬坡一次，反复来回确定坡峰位置。
更进一步地，更优聚焦值判定公式为：
ΔF≥α|ΔG| (2)
其中，ΔF为图像清晰度相对变化值，ΔG为图像的灰度相对变化值，α为缩放因子，用来调整两者关系。
进一步地，精对焦过程中，根据固定点数的二次曲线模拟方法，电动XYZ移动平台在Z轴上以固定步长移动，并记录出一组图像清晰度评价值及其坐标位置，使用二次曲线来拟合这组数据，求出最大清晰度评价值的坐标位置即为最佳成像位置。
更进一步地，二次曲线公式为：
y＝ax2+bx+c (3)
其中
为曲线的最大值处，即为最佳成像位置，x为坐标位置，y为图像清晰度评价值。
进一步地，在图像清晰度评价过程中，针对食用菌菌种样本具有一定厚度且菌丝边缘较细的特点，使用八领域灰度梯度累加图像清晰度评价方法，增大边缘像素点对整体清晰度的贡献值，突出聚焦图像峰值。
更进一步地，八邻域灰度梯度累加图像清晰评价方法的整体表达式为：
F(D)＝∑x,y∈DTmax(x,y)*[Tmax(x,y)-Tmin(x,y)] (4)
其中，Tmax(x,y)为最大梯度；Tmin(x,y)为最小梯度；F(D)为清晰度。
梯度计算公式为：
T＝|I(x,y)-I(x-1,y-1)| (5)
其中，I(x,y)为灰度值。
具体地，在本发明的一种实施方式中，步骤S3中，根据线性的图像合成策略，电动XYZ移动平台在开发板控制下按S形路径步进，每个位置采集一系列单波长显微图像并传输到计算机进行三维的显微多光谱图像合成，再简洁地拼接显微多光谱图像层，如图4所示。
更具体地，在本发明的一种实施方式中，步骤S3中，采用加速稳健特征函数图像特征提取方法以及K最邻近方法配合随机抽样一致性算法实现大区域显微多光谱图像的图像层拼接。
更具体地，采用加速稳健特征函数图像特征提取方法，针对大区域显微多光谱图像层拼接过程中，两幅显微多光谱图像具有一定的重叠部分与相同的背景光源影响，引入K最邻近方法配合随机抽样一致性算法，对两副显微多光谱图像进行图像层拼接，如图5。
更具体地，在本发明的一种实施方式中，所述实现大区域显微多光谱图像的图像层拼接的方法包括：图像合成策略采用线性的合成方法，电动XYZ移动平台在XY平面按S形移动路径步进，每个位置采集一系列单波长显微图像并传输到计算机进行三维的显微多光谱图像合成，再简洁地拼接显微多光谱图像层。图像匹配算法采用加速稳健特征函数引入K最邻近方法配合随机抽样一致性算法，在一种高鲁棒性的局部特征点检测与表述方法下进行特征点对的生成与筛选，实现高质量大区域显微多光谱图像层拼接。
具体地，在本发明的一种实施方式中，步骤S3中，采用加权和法实现大区域显微多光谱图像的数据层拼接。
更具体地，在本发明的一种实施方式中，所述实现大区域显微多光谱图像的数据层拼接的方法包括：显微多光谱数据层拼接过程中，将已完成图像层拼接的大区域显微图像放置到坐标系中，采用加权和法精确地计算各个波长中光谱数据拼接值，实现大区域显微多光谱数据层拼接。
更具体地，加权和法的计算公式为：
其中，v为拼接后的光谱数据值，Q1和Q2分别为待拼接的光谱数据值，R1和R2分别为v与Q1和Q2之间的距离。
具体地，在本发明的一种实施方式中，步骤S3中，采用BIL储存方法融合二维图像层和一维数据层，实现三维的大区域显微多光谱图像拼接重构。
更具体地，在本发明的一种实施方式中，所述实现三维的大区域显微多光谱图像拼接重构的方法包括：将已拼接好的各个波长光谱数据按照BIL储存方法写入dat二进制文件中，得到与大区域显微图像相匹配的显微多光谱数据，将大区域显微多光谱的二维图像和一维数据融合，实现三维的大区域显微多光谱图像拼接重构，如图6。
具体地，在本发明的一种实施方式中，步骤S4中，通过卷积神经网络的深度残差网络提取大区域显微多光谱图像特征，基于孢子结构、菌丝结构分布和平均光谱反射率曲线，采用支持向量机实现不同质量等级菌种的自主分类，分类标准为孢子结构大小、菌丝粗细、菌丝密度及平均光谱反射率曲线高低。。
具体地，通过卷积神经网络的深度残差网络提取大区域显微多光谱图像特征，基于孢子结构、菌丝结构分布和平均光谱反射率曲线，采用支持向量机实现不同质量等级菌种的自主分类。
具体地，深度残差网络采用特征向量的数学方法对矩阵进行特征提取，具体公式为：
hk＝f(wk*x+bk) (7)
其中，偏差bk和权值wk为共享参数，hk为卷积计算后生成的特征映射。
具体地，采集装置采用分级控制方法提高运动精度，首先，计算机对开发板输出控制程序，其次，开发板对电动XYZ移动平台、条形LED光源输出控制信号，再次，电动XYZ移动平台的伺服驱动器接收开发板的控制信号，并对步进电机传输运动指令，最后，编码器对步进电机运动状态进行转化反馈到伺服驱动器实现闭环运动控制，如图7。
有益效果：本发明提供的一种显微多光谱成像的食用菌菌种表型参数采集装置及方法，至少具有以下优势：
(1)成本便宜和适用广泛
本发明采用单色面阵CCD相机通过显微镜模块采集食用菌菌种样本的微观表型，针对孢子结构、菌丝结构分布的微观表型参数采集要求，条型LED光源可提供不同波长的采集环境，降低了食用菌菌种表型平台的制造费用，适用不同品种的食用菌育种工作；
(2)大区域图像拼接重构
本发明根据线性图像合成策略，采用加速稳健特征函数以及K最邻近方法配合随机抽样一致性算法进行大区域显微多光谱图像的图像层拼接；采用加权和法进行大区域显微多光谱图像的数据层拼接；最后采用BIL储存方法融合二维图像层和一维数据层，实现三维的大区域显微多光谱图像拼接重构；解决变质菌种群体不占优势时，有效微观表型特征容易不被采集的问题；
(3)自动化和智能化
本发明采用移动精度为0.1um的电动XYZ移动平台，采用八领域灰度梯度累加图像清晰度评判方法以及爬山搜索配合二次曲线拟合的峰值搜索方法进行最佳成像位置自动对焦；在企业大生产中有利于提高工作效率和减少工人培训成本；通过深度学习实现不同质量等级的食用菌菌种自主分类，避免因为退化的食用菌菌种给生产者带来重大的经济损失。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1显微多光谱成像的食用菌菌种表型参数采集装置结构视图。
图2显微多光谱成像的食用菌菌种表型参数采集装置工作视图。
图3显微多光谱成像的食用菌菌种表型参数采集功能流程图。
图4电动XYZ移动平台S形步进路径。
图5大区域显微多光谱图像的图像层拼接过程。
图6大区域显微多光谱图像的数据层拼接过程。
图7显微多光谱成像的食用菌菌种表型参数采集装置分级控制流程图。
附图中，各附图标记所代表的装置部件如下：
0.食用菌菌种样品、1.单色面阵CCD相机、2.显微镜模块、3.LED光源、4.移动平台、5.暗室、6.箱体、7.导轨、8.滑块、9.显微镜模块物镜镜头、10.开发板。
具体实施方式
下面结合附图和实施例对本发明作更进一步的说明。根据下述实施例，可以更好的理解本发明。然而，本领域的技术人员容易理解，实施例所描述的具体的物料配比、工艺条件及其结果仅用于说明本发明，而不应当也不会限制权利要求书中所详细描述的本发明。
本发明为了解决其技术问题所采用的技术方案，提供了一种显微多光谱成像的食用菌菌种表型参数采集装置及方法。其具体实施方案为：
一、装置
如图1、图2所示，本装置包括工作对象——食用菌菌种样品0；
采用的装置有1.单色面阵CCD相机、2.显微镜模块、3.LED光源、4.电动XYZ移动平台、5.暗室、6.箱体、7.导轨、8.滑块、9.物镜镜头、10.开发板。
其位置和连接关系是：
箱体6分为上层和下层，由隔板从中间分开；在箱体6内的下层设置为暗室5，暗室各个面均作不透光涂黑处理，避免外界光源干扰；暗室5后侧和两侧面分别水平安装条型LED光源3，倾斜45度朝向食用菌菌种样本0，用于发射不同波长的光波。暗室5的底部设置有电动XYZ移动平台4，用于放置食用菌菌种样本0。暗室5的顶部设有显微镜模块2，位于所述显微镜模块2下部的物镜镜头9朝向食用菌菌种样本0。
其中，显微镜模块2可拆卸，拆卸时，可拍摄非显微多光谱图像；具体包括，在所述暗室5的顶部设有导轨7和滑块8，显微镜模块2固定在所述滑块8上，由滑块8带动沿所述导轨7滑动进行安装。XYZ移动平台4带动食用菌菌种样本0线性步进，通过导轨7和滑块8安装上显微镜模块2，可拍摄大区域显微多光谱图像。
在箱体6内的上层设置有单色面阵CCD相机1，其相机镜头朝向所述显微镜模块2。当条型LED光源3发射光波时，所述单色面阵CCD相机1通过显微镜模块2拍摄电动XYZ移动平台4上放置的所述食用菌菌种样本0的单波长二维图像，采集食用菌菌种样本0微观表型，在不同波长的采集环境中拍摄一系列单波长二维图像并在计算机9中合成三维的显微多光谱图像。
在箱体6外的计算机9与单色面阵CCD相机1连接并接收采集图像，同时与箱体1内的开发板10连接并输出控制程序；
箱体6内的开发板10对电动XYZ移动平台4、LED光源3输出控制信号，实现对食用菌菌种表型参数采集装置的控制。
上述的各功能部件均为通用件。
其工作机理是：打开计算机、单色面阵CCD相机1和开发板10，接通条形LED光源3并使其光照条件适当；在箱体6内的顶部设置有单色面阵CCD相机1，通过显微镜模块2采集电动XYZ移动平台4上放置的食用菌菌种样本0的微观表型，在不同波长的采集环境中拍摄一系列单波长二维图像并在计算机9中合成三维的显微多光谱图像。
二、方法
如图3所示，本方法包括如下步骤：
步骤1：食用菌菌种表型参数采集装置开机初始化
具体地，食用菌菌种表型参数采集装置进行开机前检查，安装上显微镜模块2，将食用菌菌种样品0放入电动XYZ移动平台4的工位上，关上暗箱5箱门，使采集环境不会受外界干扰，保证数据精度。启动开机按钮，食用菌菌种表型参数采集装置所有设备接通电源，采集系统自动进行初始化。
具体地，设置计算机上的采集参数，主要由计算机终端和数据采集控制软件等组成。软件在window环境下运行，采用Delphi编程。仪器工作流程显示在界面上，可实现人机对话，操作人员设定好参数后就可以实现自动化采集，具体参数包括：在计算机中自行设置采集图像的储存路径、通过电动XYZ移动平台4采集工作区域的坐标值、通过开发板10控制及采集不同波长LED光源的点亮次序等，最后通过开发板把数据反馈到计算机。计算机可以实时显示采集图像、工作坐标点、点亮LED光源波长等数据，最后实现优化采集区域选择、采集装置自动对焦、三维的大区域显微多光谱图像拼接重构和不同质量等级菌种自主分类的功能。终端至少可以实现以下功能：
①根据基本功能的要求，采用按键、编辑框等界面元素，分为封面、主界面、子界面，功能子界面分为实时样品采集图像、采集图像的工作坐标值、实时点亮LED光源波长值等等。
②实现实验系统流程动态显示：用组态工具绘制出每一实验步骤的流程，通过动画的方式显示采集的动作过程：在流程图上显示必要的图像、坐标值、波长值等。
③实时采集到的菌种样品的图像、坐标值等数据，采用单步文件更新存盘，供用户提取使用：数据保存备份，有意外停机恢复和续存功能，保证系统软件在实际的实验环境中能长时间可靠工作。
步骤2：食用菌菌种表型参数采集装置优化采集区域地选择
具体地，选择工作原点程序，电动XYZ移动平台移动至采集区域的工作原点，采集一张显微图像，通过判断该显微图像的空白像素点比例优化采集区域地选择。
具体地，采用图像亮度的评价方法对多副空白显微图像进行迭代比较，获得最优计算空白区域的显微图像，采集同一波长下的有组织显微图像，计算此两幅显微图像的比值图像均值并作为阈值，判断出有组织显微图像的空白像素点比例，优化采集区域地选择。
具体地，比值图像计算公式为：
Ir＝I1,n/Ib,n (1)
其中，Ir为比值图像，I1,n为采集的灰度图像，Ib,n为空白的灰度图像。
步骤3：食用菌菌种表型参数采集装置实现自主对焦
具体地，选择自动对焦程序，电动XYZ移动平台4使用爬山搜索方法和二次曲线拟合寻找最佳成像位置，结合基于八领域灰度梯度累加的图像清晰度评判方法，实现最佳位置成像。
具体地，粗对焦过程中，采用一种基于初始状态的爬山搜索方法，开发板获取电动XYZ移动平台上食用菌菌种样本的位置信息，基于位置信息为初始状态为爬山搜索提供一个较好的初始方向和搜索步长；电动XYZ移动平台在Z轴方向上使用爬山搜索方法，遇到更优聚焦值时，记下坐标并继续爬坡，否则判定已过坡峰位置，反方向以较小步长爬坡一次，反复来回确定坡峰位置。
具体地，更优聚焦值判定公式为：
ΔF≥α|ΔG| (2)
其中，ΔF为图像清晰度相对变化值，ΔG为图像的灰度相对变化值，α为缩放因子，用来调整两者关系。
具体地，精对焦过程中，根据固定点数的二次曲线模拟方法，电动XYZ移动平台在Z轴上以固定步长移动，并记录出一组图像清晰度评价值及其坐标位置，使用二次曲线来拟合这组数据，求出最大清晰度评价值的坐标位置即为最佳成像位置。
具体地，二次曲线公式为：
y＝ax2+bx+c (3)
其中，
为曲线的最大值处，即为最佳成像位置，x为坐标位置，y为图像清晰度评价值。
具体地，在图像清晰度评价过程中，针对食用菌菌种样本具有一定厚度且菌丝边缘较细的特点，使用八领域灰度梯度累加图像清晰度评价方法，增大边缘像素点对整体清晰度的贡献值，突出聚焦图像峰值。
具体地，八邻域灰度梯度累加图像清晰评价方法的整体表达式为：
F(D)＝∑x,y∈DTmax(x,y)*[Tmax(x,y)-Tmin(x,y)] (4)
其中，Tmax(x,y)为最大梯度；Tmin(x,y)为最小梯度；F(D)为清晰度。
具体地，梯度计算公式为：
T＝|I(x,y)-I(x-1,y-1)| (5)
其中，I(x,y)为灰度值。
步骤4：食用菌菌种表型参数采集装置实现大区域显微多光谱图像拼接重构
具体地，选择图像采集程序，根据线性的图像合成策略，在采集环境中，电动XYZ移动平台按S形移动路径步进，每个位置采集一系列单波长显微图像并传输到计算机进行三维的显微多光谱图像合成。采用加速稳健特征函数作为图像特征提取方法以及K最邻近方法配合随机抽样一致性算法配对特征点实现大区域显微多光谱图像层拼接；采用加权和法进行大区域显微多光谱图像的数据层拼接；最后采用BIL储存方法融合二维图像层和一维数据层，实现三维的大区域显微多光谱图像拼接重构。
具体地，根据线性的图像合成策略，电动XYZ移动平台在开发板控制下按S形路径步进，每个位置采集一系列单波长显微图像并传输到计算机进行三维的显微多光谱图像合成，再简洁地拼接显微多光谱图像层，如图4。
具体地，采用加速稳健特征函数图像特征提取方法，针对大区域显微多光谱图像层拼接过程中，两幅显微多光谱图像具有一定的重叠部分与相同的背景光源影响，引入K最邻近方法配合随机抽样一致性算法，对两副显微多光谱图像进行图像层拼接，如图5。
具体地，显微多光谱数据层拼接过程中，将已完成图像层拼接的大区域显微图像放置到坐标系中，根据像素临近距离采用加权和法精确地计算各个波长中光谱数据拼接值，实现大区域显微多光谱数据层拼接。
具体地，加权和法的计算公式为：
其中，v为拼接后的光谱数据值，Q1和Q2分别为待拼接的光谱数据值，R1和R2分别为v与Q1和Q2之间的距离。
具体地，将已拼接好的各个波长光谱数据按照BIL储存方法写入dat二进制文件中，得到与大区域显微图像层相匹配的多光谱数据，将大区域显微多光谱的二维图像和一维数据融合，实现三维的大区域显微多光谱图像拼接重构，如图6。
步骤5：食用菌菌种表型参数采集装置实现不同质量等级菌种自主分类
具体地，选择自主分类程序，基于卷积神经网络的深度残差网络提取大区域显微多光谱图像特征，基于孢子结构、菌丝结构分布和平均光谱反射率曲线，采用支持向量机实现不同质量等级菌种的自主分类。
具体地，深度残差网络采用特征向量的数学方法对矩阵进行特征提取，具体公式为：
hk＝f(wk*x+bk) (7)
其中，偏差bk和权值wk为共享参数，hk为卷积计算后生成的特征映射。
步骤6：食用菌菌种表型参数采集装置工作结束
具体地，采集装置停止动作，根据设置路径存储采集数据，此时所有硬件仍在工作位置。选择复位程序后，所有硬件自动恢复至初始位置，即电动XYZ移动平台移动至坐标原点。
三、试验结果
经过实验分析，深度残差网络能从大区域显微多光谱图像中提取出食用菌菌种微观表型参数特征，包括孢子结构大小、菌丝结构粗细、菌丝密度，本研究中提出将大区域显微多光谱图像的孢子结构、菌丝结构、菌丝密度及平均光谱反射率曲线输入到已训练好的支持向量机分类检测模型中。
最后，在已训练好的支持向量机分类检测模型中，根据大区域显微多光谱图像提取的孢子结构大小、菌丝结构粗细、菌丝密度大小及平均光谱反射率曲线高低对食用菌菌种质量等级进行自主分类。具体的分类标准可以根据需要自行设定，在本申请中不作限制。
本申请中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例作各种修改或补充或采用类似的方式代替，但并不会偏离本发明的精神或者超越所附权力要求书所定义的范围。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种显微多光谱成像的食用菌菌种表型参数采集装置，其特征在于，该装置包括箱体(6)，所述箱体(6)分为上层和下层，由隔板从中间分开；
所述箱体(6)下层为暗室(5)，暗室各个面均作不透光涂黑处理，避免外界光源干扰；所述暗室(5)的底部设置有电动XYZ移动平台(4)，用于放置食用菌菌种样本(0)；所述暗室(5)的后侧和两侧面分别在水平方向设置有条型LED光源(3)，所述条型LED光源(3)朝向食用菌菌种样本(0)，用于提供不同波长的光波；所述暗室(5)的顶部设有显微镜模块(2)，位于所述显微镜模块(2)下面的物镜镜头(9)朝向食用菌菌种样本(0)；
所述箱体(6)的上层设置有单色面阵CCD相机(1)，其相机镜头朝向所述显微镜模块(2)；当条型LED光源(3)提供不同光波时，所述单色面阵CCD相机(1)通过显微镜模块(2)依次拍摄多张食用菌菌种样本(0)的单波长二维显微图像。
2.根据权利要求1所述的装置，其特征在于，所述单波长二维显微图像用于采集所述食用菌菌种样本(0)的微观表型参数，所述微观表型参数包括孢子结构、菌丝结构分布的微观表型参数，具体的包括孢子大小、菌丝粗细、菌丝密度大小。
3.根据权利要求1所述的装置，其特征在于，所述显微镜模块(2)可拆卸，便于更换不同倍数物镜，具体包括，在所述暗室(5)的顶部设有导轨(7)和滑块(8)，显微镜模块(2)固定在所述滑块(8)上，由滑块(8)带动沿所述导轨(7)滑动进行安装。
4.根据权利要求1所述的装置，其特征在于，所述条型LED光源(3)倾斜45°朝向所述食用菌菌种样本(0)；所述条型LED光源(3)的光源波长为460nm～1050nm。
5.根据权利要求1所述的装置，其特征在于，还包括位于箱体(6)外的计算机，所述计算机与所述单色面阵CCD相机(1)信号连接，所述单色面阵CCD相机(1)拍摄多张单波长二维显微图像后输出至计算机合成一张显微多光谱图像；
所述箱体(6)内设置有开发板(10)，所述开发板(10)的输入端与箱体(6)外的计算机信号连接，所述开发板(10)的输出端分别与箱体(6)内的电动XYZ移动平台(4)、条型LED光源(3)信号连接，所述计算机输出控制信号至移动平台(4)、条型LED光源(3)，调整移动平台(4)的位置及条型LED光源(3)的光源波长。
6.一种显微多光谱成像的食用菌菌种表型参数采集方法，其特征在于，使用如权利要求1-5任一所示的装置，具体方法包括以下步骤：
S1、拍摄多张单波长二维图像合成三维的显微多光谱图像，判断出显微多光谱图像的空白像素点比例，优化采集区域的选择；
S2、搜索最佳成像位置实现自动对焦；
S3、分别拼接显微多光谱图像的图像层和数据层并融合二者，实现大区域显微多光谱图像拼接重构；
S4、提取大区域显微多光谱图像特征，基于孢子结构、菌丝结构分布和平均光谱反射率曲线，实现不同质量等级菌种的自主分类。
7.根据权利要求6所述的方法，其特征在于，步骤S1中，拍摄前，针对孢子结构、菌丝结构分布的微观表型参数采集要求，设置不同波长LED光源顺序点亮的采集环境，波长的选择由食用菌菌种感兴趣的特征波段决定；
所述判断空白像素点比例包括，采用空白图像评价方法，迭代比较出最优空白显微图像，并判断出有组织显微图像的空白像素点比例。
8.根据权利要求6所述的方法，其特征在于，步骤S2中，采用八领域灰度梯度累加图像清晰度评判方法以及爬山搜索配合二次曲线拟合的峰值搜索方法进行最佳成像位置自动对焦。
9.根据权利要求6所述的方法，其特征在于，步骤S3中，采用加速稳健特征函数图像特征提取方法以及K最邻近方法配合随机抽样一致性算法实现大区域显微多光谱图像的图像层拼接；
采用加权和法实现大区域显微多光谱图像的数据层拼接；
采用BIL储存方法融合二维图像层和一维数据层，实现三维的大区域显微多光谱图像拼接重构。
10.根据权利要求6所述的方法，其特征在于，步骤S4中，通过深度残差网络提取大区域显微多光谱图像特征，基于孢子结构、菌丝结构分布和平均光谱反射率曲线，采用支持向量机实现不同质量等级菌种的自主分类，分类标准为孢子结构大小，菌丝粗细、菌丝密度及平均光谱反射率曲线高低。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310049358.2A CN116109809A (zh) | 2023-02-01 | 2023-02-01 | 一种显微多光谱成像的食用菌菌种表型参数采集装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310049358.2A CN116109809A (zh) | 2023-02-01 | 2023-02-01 | 一种显微多光谱成像的食用菌菌种表型参数采集装置及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116109809A true CN116109809A (zh) | 2023-05-12 |
Family
ID=86261081
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310049358.2A Pending CN116109809A (zh) | 2023-02-01 | 2023-02-01 | 一种显微多光谱成像的食用菌菌种表型参数采集装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116109809A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116681633A (zh) * | 2023-06-06 | 2023-09-01 | 国网上海市电力公司 | 一种多波段成像及融合方法 |
| CN116908178A (zh) * | 2023-09-13 | 2023-10-20 | 吉林农业大学 | 一种菌丝表型获取装置及方法 |
-
2023
- 2023-02-01 CN CN202310049358.2A patent/CN116109809A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116681633A (zh) * | 2023-06-06 | 2023-09-01 | 国网上海市电力公司 | 一种多波段成像及融合方法 |
| CN116681633B (zh) * | 2023-06-06 | 2024-04-12 | 国网上海市电力公司 | 一种多波段成像及融合方法 |
| CN116908178A (zh) * | 2023-09-13 | 2023-10-20 | 吉林农业大学 | 一种菌丝表型获取装置及方法 |
| CN116908178B (zh) * | 2023-09-13 | 2024-03-08 | 吉林农业大学 | 一种菌丝表型获取装置及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116109809A (zh) | 一种显微多光谱成像的食用菌菌种表型参数采集装置及方法 | |
| JP6981533B2 (ja) | 細胞画像解析装置、細胞画像解析システム、学習データの生成方法、学習モデルの生成方法、学習データの生成プログラム、および、学習データの製造方法 | |
| Barnard et al. | A comparison of computational color constancy algorithms. ii. experiments with image data | |
| US8350905B2 (en) | Microscope system, image generating method, and program for practicing the same | |
| CN111523545B (zh) | 一种结合深度信息的物品查找方法 | |
| CN112927264B (zh) | 一种无人机跟踪拍摄系统及其rgbd跟踪方法 | |
| CN111626224B (zh) | 基于近红外光谱和ssa优化的elm的煤矸石快速识别方法 | |
| CN108603998A (zh) | 多光谱轨迹的数字成像的自动聚焦方法和系统 | |
| CN115060367B (zh) | 基于显微高光谱成像平台的全玻片数据立方体采集方法 | |
| CN112613438A (zh) | 一种便携式柑橘在线测产仪 | |
| Bayraktar et al. | Fast re-OBJ: Real-time object re-identification in rigid scenes | |
| CN116703919A (zh) | 一种基于最优传输距离损失模型的表面杂质检测方法 | |
| CN116596982A (zh) | 一种基于短波高光谱相机的垃圾热值预测系统及方法 | |
| CN116740413A (zh) | 一种基于改进YOLOv5的深海生物目标检测方法 | |
| CN220041126U (zh) | 一种显微多光谱成像的食用菌菌种表型参数采集装置 | |
| CN118038489A (zh) | 视觉算法测试过程及数据的优化方法 | |
| KR20220066168A (ko) | 측정 대상 물질의 스펙트럼 정보를 추출하는 방법 | |
| CN114521664B (zh) | 一种基于多模态图像数据和深度神经网络的自动烟叶分级系统及装置 | |
| Bastidas-Alva et al. | Recognition and classification system for trinitario cocoa fruits according to their ripening stage based on the Yolo v5 algorithm | |
| CN115830318A (zh) | 基于改进Mask-RCNN网络的重叠烟丝图像分割方法及装置 | |
| CN117036721A (zh) | 空间站显微镜的调焦方法、装置、设备、介质和程序产品 | |
| CN113222069B (zh) | 一种基于多任务生成对抗网络的灰度图像着色方法 | |
| CN116413282A (zh) | 一种基于高光谱的桥梁箱梁病害检测装置及检测方法 | |
| CN106023120A (zh) | 基于耦合近邻索引的人脸画像合成方法 | |
| CN113627392B (zh) | 一种基于Spark平台的油菜渍害高光谱图像检测方法及其图像采集装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |