CN113390870B - 一种基于机器视觉技术的植物叶片叶绿素含量估测方法 - Google Patents

一种基于机器视觉技术的植物叶片叶绿素含量估测方法 Download PDF

Info

Publication number
CN113390870B
CN113390870B CN202110572686.1A CN202110572686A CN113390870B CN 113390870 B CN113390870 B CN 113390870B CN 202110572686 A CN202110572686 A CN 202110572686A CN 113390870 B CN113390870 B CN 113390870B
Authority
CN
China
Prior art keywords
image
photographing
plant leaf
color
ball
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110572686.1A
Other languages
English (en)
Other versions
CN113390870A (zh
Inventor
李修华
奚金阳
卢显杰
张云皓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi University
Original Assignee
Guangxi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi University filed Critical Guangxi University
Priority to CN202110572686.1A priority Critical patent/CN113390870B/zh
Publication of CN113390870A publication Critical patent/CN113390870A/zh
Application granted granted Critical
Publication of CN113390870B publication Critical patent/CN113390870B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N2021/8466—Investigation of vegetal material, e.g. leaves, plants, fruits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P60/00—Technologies relating to agriculture, livestock or agroalimentary industries
    • Y02P60/14—Measures for saving energy, e.g. in green houses

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

本发明提供了一种基于机器视觉技术的植物叶片叶绿素含量估测方法，其包括拍照球制备、手机色差标定、被测植物叶片图像获取、植物叶片图像阈值分割、植物叶片ROI主体区域提取、植物叶片图像色差校正、植物叶片图像提取RGB值、植物叶片叶绿素含量估测等多个步骤。本发明采用自研制的拍照球作为拍照辅助装置，拍摄的植物叶片图像摒除了周围环境光线变化导致的色差问题，可以获得更高的估测精度，而且拍照球结构简单、便携且成本低；更重要的是，采用拍照球并进行色差校正的方法可以较好地消除不同手机(不同的图像采集传感器)对相同对象的图像特征差异，使得不同手机可以共用同一个叶绿素估测模型，因此本方法的普适性更强。

Description

一种基于机器视觉技术的植物叶片叶绿素含量估测方法
技术领域
本发明涉及一种叶绿素含量估测方法，具体是一种基于机器视觉技术的植物叶片叶绿素含量估测方法，属于图像数据处理和农业检测相结合的技术领域。
背景技术
叶绿素是植物光合作用必要的物质，植物叶片的叶绿素含量能够反映植物的生理状况，因此叶绿素含量的检测备受关注。目前植物叶片叶绿素主要检测方法主要有分光光度法、叶绿素仪和基于机器视觉技术的方法三大类，其中分光光度法能精确测量植物叶片叶绿素含量，但操作流程繁琐，耗时长且破坏叶片；叶绿素仪能快速测量植物叶片叶绿素含量，但其测量面积小，需重复多次测量；基于机器视觉的方法主要依靠数码相机或手机作为便携式的可见光成像传感器，通过获取植物叶片的彩色图像并提取相应的颜色特征来反演估测叶片的叶绿素含量。
目前国内外许多科研人员对基于机器视觉的叶绿素含量估测方法展开了研究。如：王克如等研究员通过在自然光源条件下提取棉花叶片颜色特征值并建立叶绿素估测模型，估测精度高于SPAD估测精度。孙志伟等研究员通过在自然光源下使用手机获取烤烟叶片图像，提取RGB值并建立叶绿素估测模型，结果显示R/(G+B)可作为叶绿素含量估测的最佳指标。Adamsen等研究员利用数码相机在自然光照下垂直拍摄小麦的冠层图像，经过裁剪后获取R、G、B值，结果显示G/R和SPAD值显著相关。王娟等研究员在自然光照条件下利用数码相机获得叶片图像并通过灰板校正所得图像，建立叶绿素估测模型，结果显示DGCI、R-B参数与叶绿素显著相关。Riccardi等研究员利用数码相机在自然光条件下获取藜麦和苋菜的叶片图像并建立模型，结果显示(R-B)/(R+B)与叶绿素显著相关。Gupta等研究员在暗室中使用环形LED光源获取马铃薯叶片图像，并与获取的SPAD值建模，结果表明基于数字图像提取的RGB值可以快速及时的估测叶绿素含量。程立真等研究员利用数码相机在全黑暗背景下用2*50W卤素灯做主动光源获取苹果叶片图像，并分别建立线性与SVM叶绿素估测模型，结果显示SVM模型优于线性模型。苗腾等研究员利用相机在自设计装置下采集绿萝叶片数据，发现叶片颜色值与SPAD值呈指数关系。Nicola等研究员利用手机拍摄藻类无损得到RGB值，结果显示数字图像技术可快速估测叶绿素含量。
以上研究中拍摄多使用自然光源获取图像，未考虑不同光照条件、叶片角度等对成像及后续的RGB估测模型的影响。也有部分研究在暗箱环境下提供主动光源来获取图像以期消除环境因素的影响，这种方法不仅体积大、携带不便，并且由于只采用单一数码相机作为图像采集设备，建立的模型只适用于该设备，更换设备引起的图像色差会造成模型精度降低甚至失效，需要进行复杂的重新标定，使得整套系统普适性较差。总之，由于彩色图像所呈现的颜色特征容易受拍摄光线、叶片角度等因素的影响，且不同拍摄设备获取得到的图像也存在色差，导致目前基于机器视觉技术的叶片叶绿素估测方法的精度较低且普适性较差，因此局限性较大，难以普及推广。
发明内容
本发明的目的是提供一种精度更高、普适性更强(适用于多种图像传感器，尤其是智能手机)的基于机器视觉技术的植物叶片叶绿素含量估测方法，以解决现有技术的上述不足。
本发明所采用的具体技术方案如下
一种基于机器视觉技术的植物叶片叶绿素含量估测方法，包括以下步骤：
步骤1：拍照球制备
为了消除复杂多变的背景光的影响，本发明通过制备拍照球作为辅助拍照装置。所述拍照球由上部的空心壳体和下部的底座组成；空心壳体为大半个球形或蛋形壳体，空心壳体的顶面中央设有拍照口，底面为敞口，空心壳体内壁在拍照口的外围装有一圈白色环形LED光源，空心壳体的内壁表面采用能使光照形成漫反射的磨砂表面；底座为一个圆台座，底座的上端面为黑色背景板，底座上端的一侧与空心壳体下部的一侧通过铰链连接，使空心壳体与底座组成一个可沿铰链旋转开合的拍照球。
步骤2：手机色差标定
手机色差标定的目的是尽可能减低不同手机对相同对象的图像特征差异，使不同手机可以共用同一个叶绿素估测模型；每个手机只需在使用本方法检测叶绿素之前进行1次色差标定即可，标定生成色差转换矩阵可保留至存储单元，无限次重复调用；具体操作为：
(2.1)、通过一个24色参考色卡作为色差校正媒体，该参考色卡中各色块的RGB值为已知，将该参考色卡的第i色块的RGB标准值记为R0i,G0i,B0i(1≤i≤24)；将拍照球张开，把该参考色卡平放于底座的黑色背景板上，合上拍照球，打开环形LED光源为拍照球内部提供主动光源，用任一手机从拍照球上方的拍照口对参考色卡进行拍摄，得到其RGB图像XR。
(2.2)、通过图像处理程序调用OpenCV库中的cv2.selectROI()函数截取图像XR的色块ROI，遍历ROI，即得图像XR各色块的RGB均值，分别记为Ri,Gi,Bi。
(2.3)、对各色块的RGB均值通过式(1)所示的多项式组合得到多项式变量V＝[v1,v2,v3,…,vj]，j为多项式的项数。
(2.4)、采用式(2)所示的多项式回归方程对色块进行颜色回归，求出色差校正参数矩阵A。
将24个色块的多项式变量转为矩阵则有：
X＝AT·V (2)
式中的X是维数为3*24的色标标准矩阵：
A是维数为j*3的转换矩阵：
V是维数为j*24的多项式回归矩阵：
根据最小二乘法优化可得：
A＝(V·VT)-1·(V·XT) (3)
步骤3：被测植物叶片图像获取
将拍照球张开，取被测植物叶片正面朝上平放于底座的黑色背景板上，合上拍照球，使植物叶片主体夹持在拍照球这一封闭空间中，打开环形LED光源为拍照球内部提供主动光源，用经过色差标定的任一手机的摄像头从拍照球的拍照口对植物叶片进行拍摄，由此得到植物叶片图像。
步骤4：植物叶片图像阈值分割
通过最大类方差法(OTSU)获取植物叶片图像的最佳阈值，颜色特征参数选择EGI，利用cv2.minMaxLoc()函数求取最大值与最小值，计算直方图，转换为u8类型后进行OTSU二值化，利用cv2.threshold()函数阈值分割，再将分割后的图像使用cv2.merge()函数合成，即为背景分割后的植物叶片图像。
步骤5：植物叶片ROI主体区域提取
对分割后的叶片图像采用最大内接矩形作为叶片的ROI主体区域，再通过腐蚀膨胀去除噪声。
步骤6：植物叶片图像色差校正
将步骤5得到的植物叶片图像作为原始图像Xos，将该图像的各RGB像素值代入到多项式组合得到的变量矩阵V中，得到原始图像中像素点的RGB值构造的多项式回归矩阵VOS，然后通过色差校正参数矩阵A对该图像应用式(4)进行校正，即可计算得到标准条件下该图像的RGB图像Xcs。
XCS＝AT·VOS (4)
步骤7：植物叶片图像提取RGB值
通过图像处理程序对两幅图像遍历提取RGB均值。
步骤8：植物叶片叶绿素含量估测
(8.1)、建立模型：此步骤旨在为用户提供针对某一种特定作物的叶绿素含量预测模型，相当于传感器的出厂标定，针对某一特定作物只执行1次；具体的方法为：将植物叶片图像的RGB通过不同方式组合变化得到不同颜色特征参数，通过分析各图像颜色特征参数与植物叶片叶绿素含量的相关性，选择相关性最高的颜色特征参数建立植物叶片叶绿素的一元线性数学模型。
(8.2)、根据步骤8.1中的数学模型，即可由步骤7所获得的植物叶片图像的相应颜色特征参数反演推算植物叶片叶绿素含量。
与传统基于机器视觉技术的叶片叶绿素估测方法相比，本发明的基于机器视觉技术的植物叶片叶绿素含量估测方法具有以下优点：
(1)、传统基于机器视觉技术的叶片叶绿素估测方法在获取照片时易受周围环境影响，导致拍摄图片具有色差，影响估测精度。而本发明采用自研制的拍照球作为拍照辅助装置，摒除了周围环境光线变化导致的色差问题，因此可以获得更高的估测精度，而且本发明的拍照球结构简单、便携且成本低、易大规模推广。
(2)、传统基于机器视觉技术的叶片叶绿素估测方法建立的模型只适用于特定的图像采集设备，更换图像采集设备引起的图像色差会造成模型精度降低甚至失效，需要进行复杂的重新标定，使得整套系统普适性较差。而本发明采用拍照球并进行色差校正的方法可以较好地消除不同手机(不同的图像采集传感器)对相同对象的图像特征差异，不同手机拍摄的图像经过校正后提取的特征参数近似相同，使建立的叶绿素估测模型能够适应于不同的手机，因此本方法的普适性更强，能够大规模推广。
附图说明
图1为植物叶片图像获取时的示意图。
图2为拍照球打开时的示意图。
图3为拍照球的电路示意图。
图4为24色参考色卡的示意图。
图5为24色参考色卡各色块的RGB值。
图6为三种手机校正前后图片。
图7为三种手机校正前后R-B对比。
图1和图2中：1-手机，2-拍照球，2.1-空心壳体，2.2-底座，2.3-拍照口，2.4-白色环形LED光源，2.5-黑色背景板，2.6-铰链，3-植物叶片。
具体实施方式
下面结合相关实验及附图对本发明做进一步说明。
本发明以甘蔗叶片作为实验例，从60株不同生长期不同种类的生长状况良好的甘蔗植株上随机采集了1片健康叶片作为1个样本，并分别使用3款不同型号的手机(iPhone8p、iqoo竞速版、小米8)作为图像获取工具进行实验结果的对比。三种手机参数如表1所示。
表1三种手机基本参数及摄像头参数
本发明基于机器视觉技术的植物叶片叶绿素含量估测方法，包括以下步骤：
步骤1：拍照球制备
为了消除复杂多变的背景光的影响，本发明通过制备拍照球作为辅助拍照装置。所述拍照球由上部的空心壳体2.1和下部的底座2.2组成；空心壳体2.1为大半个球形或蛋形壳体，空心壳体2.1的顶面中央设有拍照口2.3，底面为敞口，空心壳体2.1内壁在拍照口2.3的外围装有一圈白色环形LED光源2.4，空心壳体2.1的内壁表面采用能使光照形成漫反射的磨砂表面；底座2.2为一个圆台座，底座2.2的上端面为黑色背景板2.5，底座2.2上端的一侧与空心壳体2.1下部的一侧通过铰链2.6连接，使空心壳体2.1与底座2.2组成一个可沿铰链旋转开合的拍照球，如图1和图2所示。
所述底座2.2外侧的圆周面上设有电源插孔和控制开关，底座内设有LED驱动模块，由外部电源或内置电池依次经控制开关、LED驱动模块和连接线路来对空心壳体内的环形LED灯2.4进行供电。所述环形LED光源采用由多个串联的白色LED灯珠组成的灯带，其工作电压为3-5V，拍照球的电路示意图如图3所示。
步骤2：手机色差标定
手机色差标定的目的是通过色差校正来尽可能减低不同手机对相同对象的图像特征差异，使不同手机可以共用同一个叶绿素估测模型；每个手机只需在使用本方法检测叶绿素之前进行1次色差标定即可，标定生成色差转换矩阵可保留至存储单元，无限次重复调用；具体操作为：
(2.1)、通过一个如图4所示的24色参考色卡作为色差校正媒体，该参考色卡中各色块的RGB值为已知，如图5所示，将该参考色卡的第i色块的RGB标准值记为R0i,G0i,B0i(1≤i≤24)；将拍照球张开，把该参考色卡平放于底座的黑色背景板上，合上拍照球，打开环形LED光源为拍照球内部提供主动光源，用任一手机从拍照球上方的拍照口对参考色卡进行拍摄，得到其RGB图像XR。
(2.2)、通过图像处理程序调用OpenCV库中的cv2.selectROI()函数截取图像XR的色块ROI，遍历ROI，即得图像XR各色块的RGB均值，分别记为Ri,Gi,Bi。
(2.3)、对各色块的RGB均值通过式(1)所示的多项式组合得到多项式变量V＝[v1,v2,v3,…,vj]，j为多项式的项数。
本发明选取四项式、七项式、十项式、十六项式、十九项式5种方法以对比不同方法的校正效果，因此j取值可为4，7，10，16，19，其多项式变量分别为：
本发明中参考色卡的色块共24个，各项式校正后24色块平均色差如表2所示。
表2不同项式校正后24色块平均色差
注：因为计算机读存图片像素的颜色值为整型变量，在涉及矩阵运算时若依旧采取整型计算，
则误差较大，故将整型改为浮点型计算。
由表2可知随着项数增加，校正后的色块误差会越来越小，但从十项式起提升渐小，而校正程序运行时间会随项数增大而增长，故本发明综合考虑选择十项式组合对24个色块进行颜色校正，即V＝[1,R,G,B,RG,RB,GB,R2,B2,G2]，式(1)中i＝24，j＝10。
(2.4)、采用式(2)所示的多项式回归方程对色块进行颜色回归，求出色差校正参数矩阵A。
将24个色块的多项式变量转为矩阵则有：
X＝AT·V (2)
式中的X是维数为3*24的色标标准矩阵：
A是维数为j*3的转换矩阵：
V是维数为j*24的多项式回归矩阵：
根据最小二乘法优化可得：
A＝(V·VT)-1·(V·XT) (3)
步骤3：被测植物叶片图像获取
将拍照球张开，取被测植物叶片正面朝上平放于底座的黑色背景板上，合上拍照球，使植物叶片主体夹持在拍照球这一封闭空间中，打开环形LED光源为拍照球内部提供主动光源，用经过色差标定的任一手机的摄像头从拍照球的拍照口对植物叶片进行拍摄，由此得到植物叶片图像。
步骤4：植物叶片图像阈值分割
通过最大类方差法(OTSU)获取植物叶片图像的最佳阈值，颜色特征参数选择EGI，利用cv2.minMaxLoc()函数求取最大值与最小值，计算直方图，转换为u8类型后进行OTSU二值化，利用cv2.threshold()函数阈值分割，再将分割后的图像使用cv2.merge()函数合成，即为背景分割后的植物叶片图像。
步骤5：植物叶片ROI主体区域提取
对分割后的叶片图像采用最大内接矩形作为叶片的ROI主体区域，再通过腐蚀膨胀去除噪声。
步骤6：植物叶片图像色差校正
将步骤5得到的植物叶片图像作为原始图像Xos，将该图像的各RGB像素值代入到相应多项式组合得到的变量矩阵V中，得到原始图像中像素点的RGB值构造的多项式回归矩阵VOS，然后通过色差校正参数矩阵A对该图像应用式(4)进行校正，即可计算得到标准条件下该图像的RGB图像Xcs。
XCS＝AT·VOS (4)
VOS为原始图像中像素点的RGB值构造的多项式回归矩阵，记一张图片的像素点个数为m，则VOS的维数为10*m，XCS即为图片中所有像素点的RGB值构造的矩阵，维数为3*m。
本次实验的甘蔗叶片图像色差校正结果如图6和图7所示。不同手机拍摄的同一叶片图像得到的RGB值存在显著差异，由图6三种手机校正前后照片可以看出，校正前三种手机拍摄图片颜色各异，校正后图片叶片颜色趋向于同一值。以本次实验60个样本中的R-B参数为例，从图7可得知三种手机拍摄叶片所得R-B值差异明显，iqoo与mi8拍摄图片所得R-B值远大于iPhone8p的R-B值。而在校正后三种手机同一样本的R-B值近似。由此说明，校正得到了良好的效果。
步骤7：植物叶片图像提取RGB值
通过图像处理程序对两幅图像遍历提取RGB均值。
步骤8：植物叶片叶绿素含量估测
(8.1)、建立模型：此步骤旨在为用户提供针对某一种特定作物的叶绿素含量预测模型，相当于传感器的出厂标定，针对某一特定作物只执行1次；具体的方法为：将植物叶片图像的RGB通过不同方式组合变化得到不同颜色特征参数，通过分析各图像颜色特征参数与植物叶片叶绿素含量的相关性，选择相关性最高的颜色特征参数建立植物叶片叶绿素的一元线性数学模型。
不同植物叶片的图像颜色特征参数与植物叶片叶绿素含量的相关性需要单独进行分析，以实验例中的甘蔗叶片为例，通过下述分析比对实验数据我们发现，针对甘蔗叶片，其叶片图像的颜色特征参数R-B与甘蔗叶片叶绿素含量的相关性最高，故选择甘蔗叶片图像的颜色特征参数R-B作为自变量，建立甘蔗叶片叶绿素的一元线性数学模型。
(8.2)、根据步骤8.1中的数学模型，即可由步骤7所获得的植物叶片图像的相应颜色特征参数反演推算植物叶片叶绿素含量。
具体验证实验如下：
从实验样本中随机挑选40片甘蔗叶片作为样本建立模型，剩余20片叶片用于误差检测。误差检测采用分光光度计法(型号为UV-2600)测量叶绿素a(Chl.a),叶绿素b(Chl.b)和叶绿素a+b(Chl.a+b)含量(mg·g-1)作为标准。
选择不同生长期获取的甘蔗叶片图像提取RGB值，并将其组合成多种颜色特征参数，计算参数与叶绿素a、b含量及叶绿素总量的相关性，表3中显示与叶绿素含量达到显著相关的颜色特征参数，相似参数仅列出相关系数最大者，未达到显著相关者没有列出。
表3色差校正前后各手机获取的叶片颜色特征参数与叶绿素含量的相关性
注：*和**分别表示显著性水平为0.05和0.01。
从表3中的数据分析可知，对于不同手机，其颜色特征参数与叶绿素含量的相关性也不同。对于iPhone8p表现最好的参数为R-B、(R-B)/(R+B)、(R-B)/(R+G+B)、B/R，小米8表现最好的参数为(G+B-R)/2G、(R-B)/(R+G+B)、R-B、B/R，oppo iqoo表现最好的参数为R-B、G-B、(G+B-R)/2G、(R-B)/(R+G+B)，可以看出R-B、B/R、(R-B)/(R+B)、(R-B)/(R+G+B)对于三种手机的相关性表现优异，尤其以R-B表现最佳，因此可将R-B作为模型的颜色特征参数。
从表3可以看到，校正后三种手机R-B与叶绿素a和叶绿素a+b的相关系数较校正前均有提高；R-B与叶绿素b的相关性均有小幅降低；R-B与叶绿素在校正前后都呈极显著线性相关，且决定系数都为Chl.a>Chl.a+b>Chl.b；高性能手机iPhone8p拍摄图像的R-B与叶绿素的决定系数在校正前后都大于iqoo与mi8，说明高性能手机成像质量大于普通手机，手机性能显著影响模型的精确性。
我们研究发现，校正后三种手机分别建立的回归方程斜率与截距近似，故将三种手机校正前后的R-B与对应的叶绿素作为训练样本，即n＝40*3，建立通用一元线性预测模型并分别用3种手机(n＝60)、iphone8p(n＝20)、iqoo(n＝20)、mi8(n＝20)进行精度检验，相关数据见表4。模型的精度使用均方根误差(RMSE)、相对误差(RE％)和决定系数(R2)进行检验，R2越接近1，RMSE、RE越小2组数据之间偏差越小，预测模型的拟合度越高，预测精度越高。
表4色差校正前后通用模型的建模结果
检验结果表明，校正后R-B预测的叶片叶绿素与实际值达到极显著线性相关。预测精度表现依旧为Chl.a>Chl.a+b>Chl.b；高性能手机iphone8p的决定系数大于iqoo与mi8，而RE和RMSE小于iqoo与mi8，这一结论对Chl.a+b、Chl.a、Chl.b都成立，表明手机摄像头性能显著影响模型的精确性；三种手机经色差校正后较校正前的预测效果有大幅提升，对于Chl.a+b、Chl.a、Chl.b的Rv2分别为0.7597、0.7692、0.695，RMSE分别为0.2616、0.1691、0.1255，相对误差分别为13.07％、11.98％、16.76％。综上所述，校正后R-B可以作为快速预测叶片叶绿素含量的参数。
由表4可知，经过色差校正后模型对于Chl.a+b的Rv2从0.2153提升到0.7597，通过色差校正模块可大大降低不同图像采集传感器之间存在的色差，可以实现不同手机采集的图像共用同一个叶绿素估测模型，大大简化了实时检测叶绿素含量的步骤，降低了检测成本，提高了便利性，增强了整套系统的可行性。
由上述实验可见：
植物叶片叶绿素含量在不同生育期与颜色特征参数存在显著线性相关。使用24色参考色卡作为校正标准，对不同手机拍摄图像进行校正，甘蔗植物叶片叶绿素含量Chl.a+b与三种手机校正前后R-B均达到极显著相关，相关系数分别为-0.924、-0.909、-0.907；-0.919、-0.900、-0.903。使用24色参考色卡校正后的参数能够提高R-B预测模型的精度，实现不同手机采集图像共用同一个叶绿素估测模型，校正后R-B可以作为不同手机快速估测不同生育期植物叶片叶绿素含量的最佳参数。

Claims (3)

1.一种基于机器视觉技术的植物叶片叶绿素含量估测方法，其特征在于包括以下步骤：
步骤1：拍照球制备
为了消除复杂多变的背景光的影响，通过制备拍照球作为辅助拍照装置；所述拍照球由上部的空心壳体和下部的底座组成；空心壳体为大半个球形或蛋形壳体，空心壳体的顶面中央设有拍照口，底面为敞口，空心壳体内壁在拍照口的外围装有一圈白色环形LED光源，空心壳体的内壁表面采用能使光照形成漫反射的磨砂表面；底座为一个圆台座，底座的上端面为黑色背景板，底座上端的一侧与空心壳体下部的一侧通过铰链连接，使空心壳体与底座组成一个可沿铰链旋转开合的拍照球；
步骤2：手机色差标定
手机色差标定的目的是尽可能减低不同手机对相同对象的图像特征差异，使不同手机可以共用同一个叶绿素估测模型；每个手机只需在使用本方法检测叶绿素之前进行1次色差标定即可，标定生成色差转换矩阵保留至存储单元，无限次重复调用；具体操作为：
(2.1)、通过一个24色参考色卡作为色差校正媒体，该参考色卡中各色块的RGB值为已知，将该参考色卡的第i色块的RGB标准值记为R0i,G0i,B0i，其中1≤i≤24；将拍照球张开，把该参考色卡平放于底座的黑色背景板上，合上拍照球，打开环形LED光源为拍照球内部提供主动光源，用任一手机从拍照球上方的拍照口对参考色卡进行拍摄，得到其RGB图像XR；
(2.2)、通过图像处理程序调用OpenCV库中的cv2.selectROI()函数截取图像XR的色块ROI，遍历ROI，即得图像XR各色块的RGB均值，分别记为Ri,Gi,Bi；
(2.3)、对各色块的RGB均值通过式(1)所示的多项式组合得到多项式变量V＝[v1,v2,v3,…,vj]，j为多项式的项数；
在本步骤中，取十项式组合对24个色块进行颜色校正，即V＝[1,R,G,B,RG,RB,GB,R2,B2,G2]，式(1)中i＝24，j＝10；
(2.4)、采用式(2)所示的多项式回归方程对色块进行颜色回归，求出色差校正参数矩阵A；
将24个色块的多项式变量转为矩阵则有：
X＝AT · V (2)
式中的X是维数为3*24的色标标准矩阵：
A是维数为j*3的转换矩阵：
V是维数为j*24的多项式回归矩阵：
根据最小二乘法优化可得：
A＝(V · VT)-1 · (V · XT) (3)
步骤3：被测植物叶片图像获取
将拍照球张开，取被测植物叶片正面朝上平放于底座的黑色背景板上，合上拍照球，使植物叶片主体夹持在拍照球这一封闭空间中，打开环形LED光源为拍照球内部提供主动光源，用经过色差标定的任一手机的摄像头从拍照球的拍照口对植物叶片进行拍摄，由此得到植物叶片图像；
步骤4：植物叶片图像阈值分割
通过OTSU算法获取植物叶片图像的最佳阈值，颜色特征参数选择EGI，利用cv2.minMaxLoc()函数求取最大值与最小值，计算直方图，转换为u8类型后进行OTSU二值化，利用cv2.threshold()函数阈值分割，再将分割后的图像使用cv2.merge()函数合成，即为背景分割后的植物叶片图像；
步骤5：植物叶片ROI主体区域提取
对分割后的叶片图像采用最大内接矩形作为叶片的ROI主体区域，再通过腐蚀膨胀去除噪声；
步骤6：植物叶片图像色差校正
将步骤5得到的植物叶片图像作为原始图像Xos，将该图像的各RGB像素值代入到多项式组合得到的变量矩阵V中，得到原始图像中像素点的RGB值构造的多项式回归矩阵VOS，然后通过色差校正参数矩阵A对该图像应用式(4)进行校正，即可计算得到标准条件下该图像的RGB图像Xcs；
XCS＝AT · VOS (4)
步骤7：植物叶片图像提取RGB值
通过图像处理程序对两幅图像遍历提取RGB均值；
步骤8：植物叶片叶绿素含量估测
(8.1)、建立模型：此步骤旨在为用户提供针对某一种特定作物的叶绿素含量预测模型，相当于传感器的出厂标定，针对某一特定作物只执行1次；具体的方法为：将植物叶片图像的RGB通过不同方式组合变化得到不同颜色特征参数，通过分析各图像颜色特征参数与植物叶片叶绿素含量的相关性，选择相关性最高的颜色特征参数建立植物叶片叶绿素的一元线性数学模型；
(8.2)、根据步骤8.1中的数学模型，即可由步骤7所获得的植物叶片图像的相应颜色特征参数反演推算植物叶片叶绿素含量。
2.根据权利要求1所述的基于机器视觉技术的植物叶片叶绿素含量估测方法，其特征在于：
在所述步骤1中，所述底座外侧的圆周面上设有电源插孔和控制开关，底座内设有LED驱动模块，由外部电源或内置电池依次经控制开关、LED驱动模块和连接线路来对空心壳体内的环形LED光源进行供电。
3.根据权利要求1所述的基于机器视觉技术的植物叶片叶绿素含量估测方法，其特征在于：
在所述步骤(8.1)中，当所述植物叶片为甘蔗叶片时，其叶片图像的颜色特征参数R-B与甘蔗叶片叶绿素含量的相关性最高，选择甘蔗叶片图像的颜色特征参数R-B作为自变量，建立甘蔗叶片叶绿素的一元线性数学模型。
CN202110572686.1A 2021-05-25 2021-05-25 一种基于机器视觉技术的植物叶片叶绿素含量估测方法 Active CN113390870B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110572686.1A CN113390870B (zh) 2021-05-25 2021-05-25 一种基于机器视觉技术的植物叶片叶绿素含量估测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110572686.1A CN113390870B (zh) 2021-05-25 2021-05-25 一种基于机器视觉技术的植物叶片叶绿素含量估测方法

Publications (2)

Publication Number Publication Date
CN113390870A CN113390870A (zh) 2021-09-14
CN113390870B true CN113390870B (zh) 2023-08-01

Family

ID=77619047

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110572686.1A Active CN113390870B (zh) 2021-05-25 2021-05-25 一种基于机器视觉技术的植物叶片叶绿素含量估测方法

Country Status (1)

Country Link
CN (1) CN113390870B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7671985B1 (en) * 2006-03-13 2010-03-02 Milan Milosevic Device for small spot analysis using fiber optic interfaced spectrometers
CN202330966U (zh) * 2011-10-31 2012-07-11 傅凌进 一种无影漫射光照的影像采集装置
DE102012109135A1 (de) * 2012-09-27 2014-03-27 Osram Opto Semiconductors Gmbh Vorrichtung und Verfahren zum Ermitteln mindestens einer vorbestimmten Eigenschaft eines elektromagnetische Strahlung emittierenden Bauelements
CN105466953A (zh) * 2015-12-28 2016-04-06 天津大学 基于识别钢球表面反射图案完整性的钢球表面缺陷检测法
CN105574516A (zh) * 2016-01-20 2016-05-11 浙江大学城市学院 可见光图像中基于logistic回归的观赏凤梨叶绿素检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104132897B (zh) * 2014-08-16 2018-11-06 西北农林科技大学 一种基于手持设备的植物叶片含氮量测量方法和装置
CN106769944B (zh) * 2017-01-14 2019-09-03 西北农林科技大学 基于图像的双波长植物叶片叶绿素含量检测方法和装置
CN107454266A (zh) * 2017-08-28 2017-12-08 江苏农林职业技术学院 基于智能手机的作物营养诊断装置与诊断方法
CN111896489B (zh) * 2020-08-05 2023-06-30 曲阜师范大学 一种基于交叉偏振的六通道多光谱测量系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7671985B1 (en) * 2006-03-13 2010-03-02 Milan Milosevic Device for small spot analysis using fiber optic interfaced spectrometers
CN202330966U (zh) * 2011-10-31 2012-07-11 傅凌进 一种无影漫射光照的影像采集装置
DE102012109135A1 (de) * 2012-09-27 2014-03-27 Osram Opto Semiconductors Gmbh Vorrichtung und Verfahren zum Ermitteln mindestens einer vorbestimmten Eigenschaft eines elektromagnetische Strahlung emittierenden Bauelements
CN105466953A (zh) * 2015-12-28 2016-04-06 天津大学 基于识别钢球表面反射图案完整性的钢球表面缺陷检测法
CN105574516A (zh) * 2016-01-20 2016-05-11 浙江大学城市学院 可见光图像中基于logistic回归的观赏凤梨叶绿素检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A novel method for the estimation of soybean chlorophyll content using a smartphone and image analysis;J.P.G.Rigon 等;Photosynthetica;第54卷;第559-566页 *
基于机器视觉技术的作物冠层养分测量仪的研发;骆一凡;中国优秀硕士学位论文全文数据库(第09期);第1-20页 *
智能手机RGB图像检测植物叶片叶绿素含量的通用方法;李修华 等;农业工程学报;第37卷(第22期);第145-151页 *
激光触发火花隙的实验研究;孟绍贤 等;激光(第04期);第46-47页 *

Also Published As

Publication number Publication date
CN113390870A (zh) 2021-09-14

Similar Documents

Publication Publication Date Title
JP5496509B2 (ja) 色分類および皮膚色検出のための画像処理のためのシステム、方法、および装置
CN109191520B (zh) 一种基于色彩标定的植物叶面积测量方法及系统
RU2009140389A (ru) Устройство и способы экспертизы, оценки и классификации драгоценных камней
Nixon et al. Accurate device-independent colorimetric measurements using smartphones
EP2147345A1 (en) Method and system for optimizing an image for improved analysis of material and illumination image features
CN105651713A (zh) 一种基于计算机图像分析的青菜叶片叶绿素定量检测方法
CN101933321A (zh) 用于估测场景光源的图像传感器装置及方法
US9270866B2 (en) Apparatus and method for automated self-training of white balance by electronic cameras
WO2022247840A1 (zh) 光源光谱和多光谱反射率图像获取方法、装置及电子设备
CN110487737A (zh) 用于智能手机光谱检测的图像信息提取与计算方法及系统
Aytekin et al. A data set for camera-independent color constancy
CN107833223B (zh) 一种基于光谱信息的水果高光谱图像分割方法
CN112967176A (zh) 一种利用Image J和Photoshop对植物盖度分析的方法
CN111418537A (zh) 一种虾苗计数装置及方法
WO2023005870A1 (zh) 一种图像处理方法及相关设备
CN113933305B (zh) 基于智能手机的薄皮水果糖度无损测量方法及系统
CN113390870B (zh) 一种基于机器视觉技术的植物叶片叶绿素含量估测方法
CN107454266A (zh) 基于智能手机的作物营养诊断装置与诊断方法
CN112098415B (zh) 一种杨梅品质无损检测方法
CN113297977A (zh) 活体检测方法、装置及电子设备
CN116879233A (zh) 一种基于智能手机的多光谱成像装置及校准检测方法
CN112461762B (zh) 基于hsv模型的溶液浊度检测方法、介质、图像处理系统
CN109819150B (zh) 一种多通道图像采集装置以及采集多通道图像的方法
CN111443087A (zh) 叶绿素检测装置及方法
CN113340816A (zh) 光源光谱和多光谱反射率图像获取方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant