CN111551530B - 一种作物群体冠层叶绿素荧光三维分布信息获取方法与装置 - Google Patents

一种作物群体冠层叶绿素荧光三维分布信息获取方法与装置 Download PDF

Info

Publication number
CN111551530B
CN111551530B CN202010328726.3A CN202010328726A CN111551530B CN 111551530 B CN111551530 B CN 111551530B CN 202010328726 A CN202010328726 A CN 202010328726A CN 111551530 B CN111551530 B CN 111551530B
Authority
CN
China
Prior art keywords
chlorophyll fluorescence
fluorescence
camera
canopy
crop
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010328726.3A
Other languages
English (en)
Other versions
CN111551530A (zh
Inventor
王纪章
顾容榕
张运
袁俊杰
李萍萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN202010328726.3A priority Critical patent/CN111551530B/zh
Publication of CN111551530A publication Critical patent/CN111551530A/zh
Priority to US17/419,317 priority patent/US11327021B1/en
Priority to PCT/CN2021/072032 priority patent/WO2021212932A1/zh
Application granted granted Critical
Publication of CN111551530B publication Critical patent/CN111551530B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6486—Measuring fluorescence of biological material, e.g. DNA, RNA, cells
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

本发明提供了一种作物群体冠层叶绿素荧光三维分布信息获取方法与装置，包括Cropobserver群体光合叶绿素荧光测量装置、3D相机和计算机系统，3D相机与计算机系统连接，计算机系统中运行Visual studio 2017和MATLAB 2018，Visual studio 2017调用点云库和计算机视觉库，实现待测作物叶绿素荧光信息三维可视化。本发明解决了获取二维叶绿素荧光信息分布的不全面问题，实现作物冠层叶绿素荧光分布整体3D可视化分布，为整株作物冠层叶绿素荧光三维可视化分布信息获取与研究提供重要技术支撑。

Description

一种作物群体冠层叶绿素荧光三维分布信息获取方法与装置
技术领域
本发明属于叶绿素荧光信息获取技术领域，特别涉及一种作物群体冠层叶绿素荧光三维分布信息获取方法与装置。
背景技术
叶绿素荧光分析技术具有快速、无损伤测量的特点，是植物生长状况的新型研究技术，被广泛应用于植物生理信息研究领域。叶绿素荧光监测目前只能获得叶绿素荧光图像，迫切需要实现叶绿素荧光分布特性在叶片上的三维表征及整株冠层的三维表征。针对的待测植物体是单个叶片或多个叶片，并且所获取的图像是二维的，仅从叶片的角度对植物体的健康状态进行鉴别，无法实现整株作物的叶绿素荧光信息三维分布。
为了获取作物的三维叶绿素荧光，中国专利(CN106546568A)公开了一种获取植物三维叶绿素荧光图像信息的方法及装置，通过采集待测植物不同角度的叶绿素荧光图像和灰度图像信息；通过三维重构方法对待测植物叶绿素荧光图像和灰度图像重构，利用三维灰度图像纠正三维荧光图像，得到最终的三维叶绿素荧光图像。但是这种方法需要不同角度获取植株的叶绿素荧光图像，无法实现对作物群体的叶绿素荧光三维分布特性。而CropObserver作为一种新型的作物群体冠层叶绿素荧光探测装置，可以对作物群体冠层的叶绿素荧光进行实时探测，但是其所获取的是二维图像，无法定位到具体的冠层位置的叶绿素荧光分布情况。
发明内容
针对现有技术中存在不足，本发明提供了一种作物群体冠层叶绿素荧光三维分布信息获取方法与装置，解决作物群体冠层叶绿素荧光分布无法实现群体冠层三维可视化分布的问题，为整株作物群体冠层叶绿素荧光三维可视化分布信息获取与研究提供重要技术支撑。
本发明是通过以下技术手段实现上述技术目的的。
一种作物群体冠层叶绿素荧光三维分布信息获取方法，具体为：
3D相机分别获取抬高前、后背景板上荧光诱导激光发射器发出的激光点的深度图像与映射后的彩色图像，并对其进行标定，获取相机内参矩阵；
由所述彩色图像中边缘点的像素坐标及深度图像中边缘点的深度值，结合相机内参矩阵，获取所述激光点的空间坐标；根据激光点的空间坐标得到空间直线方程，由此求解出荧光诱导激光发射器的光圈中心点相对于相机的空间坐标O2(a，b，c)；
采集待测作物群体冠层叶绿素荧光信息，将有效叶绿素荧光信号的点序列号坐标(g′，h′)对应彩色图像的像素坐标及深度图像的深度信息(u″′，v″′，d″′)；将(u″′，v″′，d″′)对应表征到以深度传感器光圈中心为空间坐标原点的空间坐标(x′，y′，z′)，待测作物叶绿素荧光信息信号序列对应表征到以荧光诱导激光发射器的光圈中心为空间坐标原点下的空间坐标(x′+a，y′+b，z′+c)；
待测作物群体冠层叶绿素荧光信息三维可视化：对Text4-Text6中数据，利用生成点云的pointcloud函数，分别生成以深度传感器光圈中心为原点的带有空间坐标、叶绿素荧光信息的点云pointcloud-Yield-Kinect、pointcloud-PAR-Kinect、pointcloud-rETR-Kinect；将Text7-Text9中数据，利用生成点云的pointcloud函数，分别生成以荧光诱导激光发射器的光圈中心点为原点的带有空间坐标、叶绿素荧光信息的点云pointcloud-Yield-CropObserver、pointcloud-PAR-CropObserver、pointcloud-rETR-CropObserver；其中所述Text4包含数据x′、y′、z′、
Figure BDA0002464181300000021
0、0，所述Text5包含数据x′、y′、z′、0、PAR/10、0，所述Text6包含数据x′、y′、z′、0、0、rETR，所述Text7包含数据x′+a、y′+b、z′+c、
Figure BDA0002464181300000022
0、0，所述Text8包含数据x′+a、y′+b、z′+c、0、PAR/10、0，所述Text9包含数据x′+a、y′+b、z′+c、0、0、rETR；
Figure BDA0002464181300000023
为叶片暗适应下最大光化学效率，
Figure BDA0002464181300000024
为叶片光适应下实际光化学效率，PAR为叶片表面光强相对量，rETR为叶片相对电子传递速率；
将带有空间坐标、叶绿素荧光信息的点云通过pcshowpair()函数表征到分割出的绿色作物点云，形成叶绿素荧光信息在群体植株上的三维可视化分布。
进一步，所述激光点的空间坐标表示为M(x，y，z)，且：
Figure BDA0002464181300000025
其中u、v、d为激光点在图像中的像素坐标，s为深度值与实际应用的比例，fx和fy表示相机在x、y两个轴上的焦距，(u0，v0)为相机光圈中心的像素坐标。
进一步，所述
Figure BDA0002464181300000026
PAR/10、rETR的取值范围在0-255之间。
进一步，所述映射后的彩色图像边缘点像素坐标(uA1，vA1)、(uB1，vB1)、(uC1，vC1)、(uD1，vD1)对应打点序列号(g，h)分别为(1，1)、(e，1)、(e，f)、(1，f)，打点序列号(g，h)对应的相机捕获的深度图像像素坐标记为点(u″，v″)，其中u″＝(g-1)Δx+uD1，v″＝(h-1)Δy+vD1；其中e为群体光合叶绿素荧光测量装置行方向的打点个数、f为列方向的打点个数。
更进一步，所述u″′＝(g′-1)Δx+uD1，v″′＝(h′-1)Δy+vD1，Δx为荧光诱导激光发射器在行方向上相邻打点间的像素距离，Δy为荧光诱导激光发射器在列方向上相邻打点间的像素距离。
更进一步，所述
Figure BDA0002464181300000031
px、py分别为群体光合叶绿素荧光测量装置在行方向、列方向打点的首尾距离对应的像素距。
更进一步，所述
Figure BDA0002464181300000032
更进一步，所述
Figure BDA0002464181300000033
进一步，还包括待测作物不同生长序列进行冠层叶绿素荧光三维分布信息获取。
一种作物群体冠层叶绿素荧光三维分布信息获取装置，包括群体光合叶绿素荧光测量装置、3D相机和计算机系统，3D相机与计算机系统连接，计算机系统中运行Visualstudio 2017和MATLAB 2018，Visual studio 2017调用点云库和计算机视觉库，实现待测作物叶绿素荧光信息三维可视化。
与现有技术相比，本发明具有如下有益效果：
(1)本发明结合CropObserver群体叶绿素荧光探测装置的作物群体叶绿素荧光二维信息与3D相机的立体成像技术，通过建立3D相机与叶绿素荧光探头光圈中心的相对空间坐标关系，以实现作物群体叶绿素荧光探测的二维叶绿素荧光信息在作物空间上的分布。解决了从单个叶片或多个叶片测量叶绿素荧光信息分布的局限性问题，从作物冠层出发，实现群体作物冠层叶绿素荧光信息的三维分布表征。
(2)本发明利用生成点云的pointcloud函数，生成以深度传感器光圈中心为原点的带有空间坐标、叶绿素荧光信息的点云，还生成以荧光诱导激光发射器光圈中心点为原点的带有空间坐标、叶绿素荧光信息的点云，解决了获取二维叶绿素荧光信息分布的不全面问题，实现作物冠层叶绿素荧光分布整体3D可视化分布。
(3)本发明获取作物不同生长序列的叶绿素荧光信息，解决了由于遮挡而导致作物底部信息缺漏的问题。
附图说明
图1为本发明作物群体冠层叶绿素荧光三维分布信息获取装置示意图。
图2为本发明作物群体冠层叶绿素荧光三维分布信息获取方法流程图。
图3为本发明CropObserver与3D相机位置标定取点示意图，图3(a)为CropObserver与3D相机位置标定取点过程图，图3(b)为CropObserver与3D相机位置标定取点结果图。
图4为本发明中3D相机模型结构示意图。
图中：1-冠层叶绿素荧光探测装置、1-1-荧光诱导激光发射器、1-2-LI-COR光量子传感器、1-3-叶绿素荧光传感器、1-4-HDMI端口、1-5-24V电源输入端口、1-6-USB3.0端口、1-7-电压转换器、1-8-铁索、2-3D相机、3-三角架、4-计算机系统、5-显示器、6-移动存储装置、7-待测作物、8-黑色背景板、9-可移动支架、10-万向轮、11-长桌。
具体实施方式
下面结合附图以及具体实施例对本发明作进一步的说明，但本发明的保护范围并不限于此。
如图1所示，一种作物群体冠层叶绿素荧光三维分布信息获取装置，包括冠层叶绿素荧光探测装置1、3D相机2、三角架3、计算机系统4、显示器5、移动存储装置6、待测作物7、黑板背景板8、可移动支架9、万向轮10和长桌11。其中，冠层叶绿素荧光探测装置1的箱体通过四根铁索1-8悬挂在可移动支架9下方，可移动支架9能够移动至待测作物7正上方；待测作物7放置在黑色背景板8上；3D相机2位于待测作物7的斜上方，安装在三角架3上，且与计算机系统4连接。冠层叶绿素荧光探测装置1包括：设置在顶部、用于测量光强的LI-COR光量子传感器1-2，设置在底部、采集待测作物反射叶绿素荧光数据的叶绿素荧光传感器1-3，设置在底部、通过短脉冲激光激发待测作物7叶绿素荧光的荧光诱导激光发射器1-1、HDMI端口1-4、24V电源输入端口1-5、USB3.0端口1-6以及电压转换器1-7，24V电源输入端口1-5通过电压转换器1-7与市电连接，HDMI端口1-4连接显示器5，用于显示显示荧光参数监测界面以及荧光信息获取方式设置界面；冠层叶绿素荧光探测装置1工作时，荧光诱导激光发射器1-1向待测作物7发射短脉冲激光，LI-COR光量子传感器1-2测量待测作物7周围环境的光强，叶绿素荧光传感器1-3采集待测作物7反射叶绿素荧光数据，冠层叶绿素荧光探测装置1将获取的待测作物7周围环境光强和叶绿素荧光数据保存，通过USB3.0端口1-6连接移动存储装置6，将保存的数据拷贝至计算机系统4。其中，可移动支架9下方装有含固定拨片的万向轮10进行移动、固定；电压转换器1-7、计算机系统4、显示器5、移动存储装置6均放置于长桌11上。
本实例中，所述待测作物7选取黄瓜，所述冠层叶绿素荧光探测装置1为荷兰Phenotrait公司生产的Cropobserver群体光合叶绿素荧光测量装置，所述3D相机2采用微软的Kinect V2深度相机，所述计算机系统4采用Windows10系统；3D相机2信息采集控制功能在Visual studio 2017中实现彩色图像和深度图像的获取，3D相机2标定功能在MATLAB2018中进行基于张正友标定原理的棋盘格标定工具包中完成，3D相机2点云获取功能和叶绿素荧光信息表征可视化功能在Visual studio 2017中调用了点云库(Point cloudlibrary，PCL)、计算机视觉库(Open Source Computer Vision Library，OpenCV)完成；Visual studio 2017和MATLAB2018是运行在计算机系统4中的软件。
如图2所示，一种作物群体冠层叶绿素荧光三维分布信息获取方法，具体包括以下步骤：
步骤一，设置Cropobserver群体光合叶绿素荧光测量装置。
可移动支架9带着Cropobserver群体光合叶绿素荧光测量装置移至待测作物7处，初始化测量装置后，依次按下装置设置界面的“Centre”按钮、“Test Meas”按钮，使得荧光诱导激光发射器1-1发射出的激光点指向待测作物7中心，设置测量范围，使得荧光诱导激光发射器1-1打点范围包围待测作物7，如图3所示，荧光诱导激光发射器1-1打出边缘四点激光点，由于荧光诱导激光发射器扫描全角度在行方向为34°、在列方向为40°，设置横轴扫描角度比例为m1，设置纵轴扫描角度比例为m2，使边缘四点能够包围待测作物7。设置荧光诱导激光发射器1-1打点阵列个数，设置Cropobserver群体光合叶绿素荧光测量装置行方向的打点个数为e、列方向的打点个数为f；点击“Start scan”，Cropobserver群体光合叶绿素荧光测量装置开始工作。
步骤二，3D相机2的图像获取与标定。
本实例中，3D相机2的彩色传感器分辨率为1920×1080，深度传感器分辨率为512×424。在计算机系统4中运行Visual studio 2017，调用计算机视觉库(Open SourceComputer Vision Library，OpenCV)以及相机SDK，分别获取深度帧到数组Depth FrameDate、彩色帧到数组Color Space Point，并分别保存为深度图像和彩色图像；使用基于双线性内插法原理的Map Depth Frame To ColorSpace()函数，通过深度帧信息计算深度图像和彩色图像的映射关系，进行深度图像像素坐标向彩色图像的映射，使得深度图像中各像素点的坐标映射到彩色图像中的坐标，得到的512*424大小的数组，数组元素为深度图像对应的彩色图像中的坐标，并含有彩色信息，将数组保存为映射后的彩色图像。
获取棋盘格标定板不同位置映射后的彩色图像，将多幅映射后的彩色图像输入到MATLAB 2018中张氏标定工具包，输入棋盘格的角点距离，删选有效标定图片，留取标定图误差小于0.2像素的棋盘格图像n幅，n＞20，进行标定，然后导出相机内参矩阵(IntrinsicMatrix)为：
Figure BDA0002464181300000051
式中，fx＝f﹡sx，fy＝f﹡sy，f是相机的焦距(单位是mm)，[sx，sy]代表在(x，y)方向上每毫米的像素量，fx和fy表示相机在x、y两个轴上的焦距(单位为像素pixel)，[cx，cy]是相机的光圈中心。
步骤三，Cropobserver群体光合叶绿素荧光测量装置与相机2捕获标定点信息。
如图3(a)、(b)所示，荧光诱导激光发射器1-1打出边缘四点激光点，背景板8上显示边缘四点红色激光点A1、B1、C1、D1，相机2依次捕获激光点A1、B1、C1、D1的深度图像与映射后的彩色图像；背景板8抬高h米，背景板8显示边缘红色激光点A2、B2、C2、D2，相机2依次捕获激光点A2、B2、C2、D2的深度图像与映射后的彩色图像。按照步骤二的相机2标定方法，在背景板8抬高前和抬高后分别对相机2进行标定，获得内参矩阵Intrinsic Matrix-a和IntrinsicMatrix-b。
步骤四，提取标定边缘点世界坐标。
相机2的模型结构如图4所示。图中，O0-uv为深度图像像素坐标平面，原点O0在深度图像成像平面左上角，单位为像素(pixel)；O1-xy为图像坐标系，原点O1在深度图像成像平面中心，单位为mm，O1在像素坐标平面的坐标为(u0，v0)；Oc-XcYcZc为相机2的坐标系，原点Oc为相机深度传感器光圈中心所在位置；OcO1之间的距离为焦距f，由于相机2拍摄到深度图像像素大小为512×424，所以相机2在x、y两个轴上的焦距不同，记为fx和fy；在本实例中，相机坐标系和世界坐标系的坐标原点重合，Ow-XwYwZw为相机2的世界坐标系，与相机坐标系Oc-XcYcZc重合。点m为深度图像中任意一点，在像素坐标平面的坐标为(u，v)，将点m对应到相机坐标系中的三维坐标M(xc，yc，zc)，zc表示相机坐标的主轴值，即目标到相机的距离。点m对应到世界坐标系中的三维坐标M(xw，yw，zw)。由于处理过程是对单幅深度图像分别处理，所以世界坐标原点与相机原点重合，所以记点M的坐标为M(x，y，z)。根据图4的几何关系，空间点M(x，y，z)和它在图像中的像素坐标m(u，v，d)(d指深度图像中的深度数据)的对应关系为：
Figure BDA0002464181300000061
上式中，(u0，v0)为相机光圈中心的像素坐标；s是scaling factor，即深度值与实际应用的比例，s通常设置为1000。
反之推算公式(2)，可以写成已知某点m(u，v，d)，推导对应空间坐标点M(x，y，z)：
Figure BDA0002464181300000071
在Matlab 2018中导入步骤三获取边缘四点红色激光点A1、B1、C1、D1以及A2、B2、C2、D2的深度图像与映射后的彩色图像，对彩色图像采用超红灰度化因子2R-G-B(R、G、B为红、绿、蓝三个颜色通道分量)，将彩色图像灰度化，获取边缘激光点的红色特征，得到清晰的边缘点，提取边缘点像素坐标为(uA1，vA1)、(uB1，vB1)…(uD2，vD2)，将(uA1，vA1)、(uB1，vB1)…(uD2，vD2)对应到深度图像中，获得深度dA1、dB1…dD2，结合步骤三中内参矩阵Intrinsic Matrix-a和Intrinsic Matrix-b，获取A1、B1、C1、D1、A2、B2、C2、D2的空间坐标点：(xA1，yA1，zA1)、(xB1，yB1，zB1)…(xD2，yD2，zD2)。
步骤五，荧光诱导激光发射器光圈中心点O2相对于相机2的空间位置标定。
根据步骤四获取的A1、B1、C1、D1、A2、B2、C2、D2的空间坐标点坐标，进而列出经过点A1A2、B1B2、C1C2、D1D2的空间直线方程，分别记为直线l1、l2、l3、l4。设所在直线方程如下：
Figure BDA0002464181300000072
上述直线方程式中，N1、N2、N3、N4为常数，将点A1、B1、C1、D1分别代入所在直线l1、l2、l3、l4中，可以求出常数N1、N2、N3、N4，继而求解出四条直线方程l1、l2、l3、l4。
由于荧光诱导激光发射器光圈中心点O2发射出点A1、B1、C1、D1、A2、B2、C2、D2，故直线l1、l2、l3、l4均经过点O2，设荧光诱导激光发射器光圈中心点相对于相机的空间坐标为O2(a，b，c)，含有三个未知量a、b、c，代入上述直线方程中任意三条即可求解出荧光诱导激光发射器光圈中心点相对于相机的空间坐标O2(a，b，c)。
步骤六，Cropobserver群体光合叶绿素荧光测量装置采集待测作物叶绿素荧光信息。
设置Cropobserver x轴方向的打点个数为e＝50、y轴方向的打点个数为f＝50，荧光诱导激光发射器1-1打点边界为A1、B1、C1、D1，形成50×50的打点阵列，阵列的序列号记为(g，h)(1≤g≤50，1≤h≤50)，相邻点之间在行方向上的距离相等，记为常数n1，相邻点之间在列方向上的距离相等，记为常数n2，
Figure BDA0002464181300000073
的值与行方向和列方向的扫描角度比例
Figure BDA0002464181300000074
相等。点击“Start scan”，开始测量，荧光诱导激光发射器1-1打点顺序为：A1点开始打点，打点序列记为(1，1)，往D1点方向继续等间距打49个点，间距为n1，D1点打点序列记为(1，50)；接着往A1点下方距离n2的地方打点，该点序列为(2，1)，接着往D1点下方距离n2的方向依次打49个点，往D1点下方距离n2的点的序列记为(2，50)；接着往A1点下方距离2n2的地方打点，该点序列为(3，1)，接着往D1点下方距离2n2的方向按照间距为n1依次打49个点，距离D1点下方2n2的点的序列记为(3，50)……按照上述规律依次打点，B1点的打点序列记为(50，1)，最后达到C1点，C1点的打点序列记为(50，50)。其中，测量点的位置每5秒连续变化一次，叶绿素荧光传感器1-3采集待测作物7反射叶绿素荧光的位置及该位置的荧光数据并存储。
Cropobserver群体光合叶绿素荧光测量装置主要测量参数有：(1)光化学效率：各个叶片暗适应下最大光化学效率
Figure BDA0002464181300000081
各个叶片光适应下实际光化学效率
Figure BDA0002464181300000082
(2)PAR：叶片表面光强相对量；(3)rETR：叶片相对电子传递速率。Fv＝Fm-F0，其中，Fm是在暗适应条件下测量的叶绿素荧光最大值，F0是在暗适应条件下测量的叶绿素荧光参数初始值；Fq′＝Fm′-Ft，Fm′是光适应下最大荧光，即在光适应状态下全部PSII反应中心都关闭时的荧光强度，Ft为植物接受光照一段时间t后的实时荧光；相对电子传递速率rETR＝0.425×(Fq′/Fm′)×PAR。在Cropobserver群体光合叶绿素荧光测量装置工作时，计算机系统4通过相机2拍摄待测作物7的深度图像和映射后的彩色图像，其中包含像素及深度信息的深度图像表示为(u′，v′，d′)，包含红r′、绿g′、蓝b′三颜色通道的彩色图像表示为(u′，v′，r′，g′，b′)。
步骤七，待测作物的深度图像和映射后的彩色图像转为点云显示。
在Visual studio 2017中调用点云库(Point cloud library，PCL)和计算机视觉库(Open Source Computer Vision Library，OpenCV)，通过遍历步骤六中获取的(u′，v′，d′)，按照公式(3)，将作物深度图像转换为空间坐标点(X，Y，Z)，保存在矩阵名为XYZ的三列中，分别命名为X、Y、Z。对步骤六中获取的(r′，g′，b′)红、绿、蓝三个颜色通道分量分割，形成r、g、b三个通道分量，分别保存在矩阵名为RGB的三列中，分别命名为R、G、B。将矩阵分量X、Y、Z、R、G、B利用生成点云的pointcloud函数生成点云图。
步骤八，待测作物分割。
步骤七中的点云图除了待测作物外，还包含有背景点云信息。使用超绿灰度化运算(2R-G-B)处理步骤十中的点云图，突出绿色作物点云部分，调用OpenCV中的二值化阈值分割算子THRESH_OTSU进行阈值分割，分割出绿色作物点云。
步骤九，有效叶绿素荧光信号的点序列号坐标对应深度图像及映射后的彩色图像的像素坐标。
步骤四中的边缘点像素坐标(uA1，vA1)、(uB1，vB1)、(uC1，vC1)、(uD1，vD1)，对应步骤六中Cropobserver群体光合叶绿素荧光测量装置打点序列号(g，h)分别为(1，1)、(e，1)、(e，f)、(1，f)，Cropobserver群体光合叶绿素荧光测量装置在行方向、列方向打点的首尾距离对应的像素距离px、py分别为：
Figure BDA0002464181300000091
和
Figure BDA0002464181300000092
打点序列号(g，h)在像素坐标平面上均匀地分布；荧光诱导激光发射器在行方向上相邻打点间的像素距离记为Δx，在列方向上相邻打点间的像素距离记为Δy，当荧光诱导激光发射器打点阵列设为e×f时，
Figure BDA0002464181300000093
打点序列号(g，h)对应的相机捕获的深度图像像素坐标记为点(u″，v″)，其中u″＝(g-1)Δx+uD1，v″＝(h-1)Δy+vD1。找出Cropobserver群体光合叶绿素荧光测量装置一个周期内被记录下来的具有叶绿素荧光信号的点序列号，将此序列号坐标信息及叶绿素荧光信息以g′、h′、
Figure BDA0002464181300000094
PAR、rETR的顺序为一行依次保存在Text1中。(g′，h′)对应的深度图像为(u″′，v″′，d″′)，u″′＝(g′-1)Δx+uD1，v″′＝(h′-1)Δy+vD1；将深度图像像素坐标、深度信息及叶绿素荧光信息以u″′、v″′、d″′、
Figure BDA0002464181300000095
PAR、rETR的顺序为一行依次保存在Text2中。
步骤十，待测作物叶绿素荧光信息信号序列对应表征到以深度传感器光圈中心为空间坐标原点的空间坐标。
按照公式(3)中坐标转换方法，将Text2文档的前三列像素及深度坐标(u″′，v″′，d″′)转换为以深度传感器光圈中心为空间坐标原点下的空间坐标(x′，y′，z′)，结合Text2文档的后三列，按照x′、y′、z′、
Figure BDA0002464181300000096
PAR、rETR的顺序为一行依次保存在Text3中。
步骤十一，待测作物叶绿素荧光信息信号序列对应表征到以荧光诱导激光发射器光圈中心为空间坐标原点下的空间坐标。
根据步骤十中以深度传感器光圈中心为空间坐标原点下的空间坐标(x′，y′，z′)，步骤五中已经得出荧光诱导激光发射器光圈中心相对于相机的空间坐标为O2(a，b，c)，故有效叶绿素荧光信号以荧光诱导激光发射器光圈中心点为空间原点的空间坐标为(x′+a，y′+b，z′+c)。
步骤十二，待测作物叶绿素荧光信息三维可视化。
将Text3中的后三列数据转换为
Figure BDA0002464181300000101
PAR/10、rETR，使其取值范围在0到255之间，即将这三列叶绿素荧光信息数据在红、绿、蓝颜色通道数值范围内。按照x′、y′、z′、
Figure BDA0002464181300000102
0、0的顺序为一行依次保存在Text4中；按照x′、y′、z′、0、PAR/10、0的顺序为一行依次保存在保存到Text5中；按照x′、y′、z′、0、0、rETR的顺序为一行依次保存在保存到Text6中；按照将x′+a、y′+b、z′+c、
Figure BDA0002464181300000103
0、0的顺序为一行依次保存在Text7中；按照将x′+a、y′+b、z′+c、0、PAR/10、0的顺序为一行依次保存在Text8中；按照将x′+a、y′+b、z′+c、0、0、rETR的顺序为一行依次保存在Text9中。在Visual studio 2017调用了PCL库和OpenCV库，对Text4-Text6中数据，利用生成点云的pointcloud函数，分别生成以深度传感器光圈中心为原点的带有空间坐标、叶绿素荧光信息的点云pointcloud-Yield-Kinect、pointcloud-PAR-Kinect、pointcloud-rETR-Kinect；将Text7-Text9中数据，利用生成点云的pointcloud函数，分别生成以荧光诱导激光发射器光圈中心点为原点的带有空间坐标、叶绿素荧光信息的点云pointcloud-Yield-CropObserver、pointcloud-PAR-CropObserver、pointcloud-rETR-CropObserver。
将带有空间坐标、叶绿素荧光信息的点云通过pcshowpair()函数表征到步骤八分割出的绿色作物点云，形成绿素荧光信息在植株上的三维可视化分布。
步骤十三，在待测作物不同生长序列进行作物群体冠层叶绿素荧光三维点云分布信息获取，本实例中，将黄瓜作物分为发芽期、幼苗期、初花期和结果期，按照步骤一至十二获取待测作物群体冠层叶绿素荧光的三维点云分布信息。
所述实施例为本发明的优选的实施方式，但本发明并不限于上述实施方式，在不背离本发明的实质内容的情况下，本领域技术人员能够做出的任何显而易见的改进、替换或变型均属于本发明的保护范围。

Claims (7)

1.一种作物群体冠层叶绿素荧光三维分布信息获取方法，其特征在于：
3D相机分别获取抬高前、后背景板上荧光诱导激光发射器发出的激光点的深度图像与映射后的彩色图像，并对其进行标定，获取相机内参矩阵；
由所述彩色图像中边缘点的像素坐标及深度图像中边缘点的深度值，结合相机内参矩阵，获取所述激光点的空间坐标；根据激光点的空间坐标得到空间直线方程，由此求解出荧光诱导激光发射器的光圈中心点相对于相机的空间坐标O2(a，b，c)；
采集待测作物群体冠层叶绿素荧光信息，将有效叶绿素荧光信号的点序列号坐标(g′，h′)对应彩色图像的像素坐标及深度图像的深度信息(u″′，v″′，d″′)；将(u″′，v″′，d″′)对应表征到以3D相机的深度传感器光圈中心为空间坐标原点的空间坐标(x′，y′，z′)，待测作物叶绿素荧光信息信号序列对应表征到以荧光诱导激光发射器的光圈中心为空间坐标原点下的空间坐标(x′+a，y′+b，z′+c)；
所述映射后的彩色图像边缘点像素坐标(uA1，vA1)、(uB1，vB1)、(uC1，vC1)、(uD1，vD1)对应打点序列号(g，h)分别为(1，1)、(e，1)、(e，f)、(1，f)，打点序列号(g，h)对应的相机捕获的深度图像像素坐标记为点(u″，v″)，其中u″＝(g-1)Δx+uD1，v″＝(h-1)Δy+vD1；其中e为群体光合叶绿素荧光测量装置行方向的打点个数、f为列方向的打点个数，Δx为荧光诱导激光发射器在行方向上相邻打点间的像素距离，Δy为荧光诱导激光发射器在列方向上相邻打点间的像素距离；所述u″′＝(g′-1)Δx+uD1，v″′＝(h′-1)Δy+vD1；所述
Figure FDA0003555843080000011
px、py分别为群体光合叶绿素荧光测量装置在行方向、列方向打点的首尾距离对应的像素距；
待测作物群体冠层叶绿素荧光信息三维可视化：对Text4-Text6中数据，利用生成点云的pointcloud函数，分别生成以深度传感器光圈中心为原点的带有空间坐标、叶绿素荧光信息的点云pointcloud-Yield-Kinect、pointcloud-PAR-Kinect、pointcloud-rETR-Kinect；将Text7-Text9中数据，利用生成点云的pointcloud函数，分别生成以荧光诱导激光发射器的光圈中心点为原点的带有空间坐标、叶绿素荧光信息的点云pointcloud-Yield-CropObserver、pointcloud-PAR-CropObserver、pointcloud-rETR-CropObserver；其中所述Text4包含数据x′、y′、z′、
Figure FDA0003555843080000012
0、0，所述Text5包含数据x′、y′、z′、0、PAR/10、0，所述Text6包含数据x′、y′、z′、0、0、rETR，所述Text7包含数据x′+a、y′+b、z′+c、
Figure FDA0003555843080000013
0、0，所述Text8包含数据x′+a、y′+b、z′+c、0、PAR/10、0，所述Text9包含数据x′+a、y′+b、z′+c、0、0、rETR；
Figure FDA0003555843080000021
为叶片暗适应下最大光化学效率，
Figure FDA0003555843080000022
为叶片光适应下实际光化学效率，PAR为叶片表面光强相对量，rETR为叶片相对电子传递速率；
将带有空间坐标、叶绿素荧光信息的点云通过pcshowpair()函数表征到分割出的绿色作物点云，形成叶绿素荧光信息在群体植株上的三维可视化分布；
所述绿色作物点云是 通过以下方式分割出的：使用超绿灰度化运算(2R-G-B)处理pointcloud函数生成的点云图，突出绿色作物点云部分，调用OpenCV中的二值化阈值分割算子THRESH_OTSU进行阈值分割。
2.根据权利要求1所述的作物群体冠层叶绿素荧光三维分布信息获取方法，其特征在于：所述激光点的空间坐标表示为M(x，y，z)，且：
Figure FDA0003555843080000023
其中u、v、d为激光点在图像中的像素坐标，s为深度值与实际应用的比例，fx和fy表示相机在x、y两个轴上的焦距，(u0，v0)为相机光圈中心的像素坐标。
3.根据权利要求1所述的作物群体冠层叶绿素荧光三维分布信息获取方法，其特征在于：所述
Figure FDA0003555843080000024
PAR/10、rETR的取值范围在0-255之间。
4.根据权利要求1所述的作物群体冠层叶绿素荧光三维分布信息获取方法，其特征在于：所述
Figure FDA0003555843080000025
5.根据权利要求1所述的作物群体冠层叶绿素荧光三维分布信息获取方法，其特征在于：所述
Figure FDA0003555843080000026
6.根据权利要求1所述的作物群体冠层叶绿素荧光三维分布信息获取方法，其特征在于：还包括待测作物不同生长序列进行冠层叶绿素荧光三维分布信息获取。
7.一种实施 根据权利要求1-6任一项所述的作物群体冠层叶绿素荧光三维分布信息获取方法的装置，其特征在于：包括群体光合叶绿素荧光测量装置、3D相机和计算机系统，3D相机与计算机系统连接，计算机系统中运行Visual studio 2017和MATLAB 2018，Visualstudio 2017调用点云库和计算机视觉库，实现待测作物叶绿素荧光信息三维可视化。
CN202010328726.3A 2020-04-23 2020-04-23 一种作物群体冠层叶绿素荧光三维分布信息获取方法与装置 Active CN111551530B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010328726.3A CN111551530B (zh) 2020-04-23 2020-04-23 一种作物群体冠层叶绿素荧光三维分布信息获取方法与装置
US17/419,317 US11327021B1 (en) 2020-04-23 2021-01-15 Method and device for crop canopy chlorophyll fluorescence three-dimensional distribution information acquisition
PCT/CN2021/072032 WO2021212932A1 (zh) 2020-04-23 2021-01-15 一种作物群体冠层叶绿素荧光三维分布信息获取方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010328726.3A CN111551530B (zh) 2020-04-23 2020-04-23 一种作物群体冠层叶绿素荧光三维分布信息获取方法与装置

Publications (2)

Publication Number Publication Date
CN111551530A CN111551530A (zh) 2020-08-18
CN111551530B true CN111551530B (zh) 2022-07-22

Family

ID=72000121

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010328726.3A Active CN111551530B (zh) 2020-04-23 2020-04-23 一种作物群体冠层叶绿素荧光三维分布信息获取方法与装置

Country Status (2)

Country Link
CN (1) CN111551530B (zh)
WO (1) WO2021212932A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109406500A (zh) * 2018-09-30 2019-03-01 江苏大学 一种基于嗅觉可视化阵列的腊肠快速分级方法
CN111551530B (zh) * 2020-04-23 2022-07-22 江苏大学 一种作物群体冠层叶绿素荧光三维分布信息获取方法与装置
US11327021B1 (en) 2020-04-23 2022-05-10 Jiangsu University Method and device for crop canopy chlorophyll fluorescence three-dimensional distribution information acquisition
GB2602853B (en) * 2021-01-15 2023-02-15 Univ Jiangsu Method and device for crop canopy chlorophyll fluorescence three-dimensional distribution information acquisition
CN112903642B (zh) * 2021-01-20 2022-06-10 井冈山大学 一种定量分析植物叶片光合异质性的方法
CN113487636B (zh) * 2021-07-01 2023-05-02 广西大学 基于激光雷达的宽垄作物株高及行间距自动提取方法
CN114646625B (zh) * 2022-04-22 2023-01-17 江苏大学 一种基于植株全三维信息的水分状况诊断方法及装置
CN116912432A (zh) * 2023-09-14 2023-10-20 安徽农业大学 一种高通量植物表型成像方法及成像系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102914501B (zh) * 2012-07-26 2015-01-14 南京大学 一种利用激光点云计算三维森林冠层消光系数的方法
US9921161B1 (en) * 2015-01-08 2018-03-20 Daniel Feldkhun Structured light active localization microscopy
CN105572091B (zh) * 2016-01-21 2018-10-02 浙江大学 一种叶绿素荧光探测装置以及探测方法
CN106546568B (zh) * 2016-10-31 2019-04-16 浙江大学 一种获取植物三维叶绿素荧光图像信息的方法及装置
CN106643546B (zh) * 2016-10-31 2019-04-12 南京林业大学 基于移动二维激光扫描的单木三维绿量测量方法
WO2018200261A1 (en) * 2017-04-25 2018-11-01 Li-Cor, Inc. Top-down and rotational side view biopsy specimen imager and methods
CN109115776B (zh) * 2018-08-27 2020-07-31 江苏大学 一种基于颜色和深度信息的穴盘苗长势无损监测方法和装置
CN109584293A (zh) * 2018-11-14 2019-04-05 南京农业大学 一种基于rgb-d视觉技术的温室作物三维形态全景测量系统
CN210090309U (zh) * 2019-06-12 2020-02-18 东北师范大学 激光诱导叶绿素荧光的多角度激发探测装置
CN110389369A (zh) * 2019-07-30 2019-10-29 南京林业大学 基于rtk-gps和移动二维激光扫描的冠层点云获取方法
CN110554017A (zh) * 2019-09-30 2019-12-10 福建农林大学 一种植物叶绿素荧光参数的校正方法和装置
CN111551530B (zh) * 2020-04-23 2022-07-22 江苏大学 一种作物群体冠层叶绿素荧光三维分布信息获取方法与装置

Also Published As

Publication number Publication date
CN111551530A (zh) 2020-08-18
WO2021212932A1 (zh) 2021-10-28

Similar Documents

Publication Publication Date Title
CN111551530B (zh) 一种作物群体冠层叶绿素荧光三维分布信息获取方法与装置
CN112669393B (zh) 一种激光雷达与相机联合标定方法
CN109816680B (zh) 一种农作物株高的高通量计算方法
JP4883517B2 (ja) 三次元計測装置および三次元計測方法並びに三次元計測プログラム
US8265376B2 (en) Method and system for providing a digital model of an object
CN109920007B (zh) 基于多光谱光度立体与激光扫描的三维成像装置及方法
JP2017163593A (ja) 画像キャプチャ装置のための色較正方法
RU99126413A (ru) Способ обработки изображений
CN110942506B (zh) 一种物体表面纹理重建方法、终端设备及系统
KR20160147980A (ko) 3d 스캔이 수행 중인 물체에 관한 색상 정보를 수집하기 위한 시스템, 방법, 장치 및 컴퓨터 판독가능 저장 매체
CN109819245B (zh) 基于aoi平台的色度亮度数据的在线测量方法及装置
CN109461183A (zh) 一种空间坐标点与点云位置点三维对比的方法
CN114283203A (zh) 一种多相机系统的标定方法及系统
US11327021B1 (en) Method and device for crop canopy chlorophyll fluorescence three-dimensional distribution information acquisition
WO2018168757A1 (ja) 画像処理装置、システム、画像処理方法、物品の製造方法、プログラム
US20040141213A1 (en) System for capturing graphical images using hyperspectral illumination
CN115602093A (zh) 基于白色画面进行Demura补偿的方法、系统和设备
CN109358008B (zh) 一种纺织品色彩管理的快速颜色自动测量方法
CN108267426B (zh) 基于多光谱成像的绘画颜料识别系统及方法
CN108010071B (zh) 一种利用3d深度测量的亮度分布测量系统及方法
JP2672509B2 (ja) カメラモデルの自動キャリブレーション方法およびその装置
CN112308776B (zh) 解决遮挡与错误映射的影像序列与点云数据融合的方法
CN108917722A (zh) 植被覆盖度计算方法及装置
CN113237896A (zh) 一种基于光源扫描的家具板材动态监测系统及方法
CN109087341B (zh) 一种近距离高光谱相机与测距传感器的融合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant