CN114898072B - 一种基于3d温度特征的作物水分胁迫检测方法 - Google Patents
一种基于3d温度特征的作物水分胁迫检测方法 Download PDFInfo
- Publication number
- CN114898072B CN114898072B CN202210669330.4A CN202210669330A CN114898072B CN 114898072 B CN114898072 B CN 114898072B CN 202210669330 A CN202210669330 A CN 202210669330A CN 114898072 B CN114898072 B CN 114898072B
- Authority
- CN
- China
- Prior art keywords
- camera
- visible light
- thermal infrared
- binocular
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 208000005156 Dehydration Diseases 0.000 title claims abstract description 32
- 238000001514 detection method Methods 0.000 title claims abstract description 21
- 239000011159 matrix material Substances 0.000 claims abstract description 42
- 230000008859 change Effects 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 13
- 238000003384 imaging method Methods 0.000 claims description 14
- 238000013519 translation Methods 0.000 claims description 10
- 230000005068 transpiration Effects 0.000 claims description 10
- 230000000694 effects Effects 0.000 claims description 7
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 230000007812 deficiency Effects 0.000 claims description 3
- 230000008030 elimination Effects 0.000 claims description 3
- 238000003379 elimination reaction Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 abstract description 5
- 230000004927 fusion Effects 0.000 abstract description 3
- 230000009466 transformation Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 3
- VGGSQFUCUMXWEO-UHFFFAOYSA-N Ethene Chemical compound C=C VGGSQFUCUMXWEO-UHFFFAOYSA-N 0.000 description 2
- 239000005977 Ethylene Substances 0.000 description 2
- 239000002390 adhesive tape Substances 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 229910052736 halogen Inorganic materials 0.000 description 2
- 150000002367 halogens Chemical class 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 229920000297 Rayon Polymers 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 229930002875 chlorophyll Natural products 0.000 description 1
- 235000019804 chlorophyll Nutrition 0.000 description 1
- ATNHDLDRLWWWCB-AENOIHSZSA-M chlorophyll a Chemical compound C1([C@@H](C(=O)OC)C(=O)C2=C3C)=C2N2C3=CC(C(CC)=C3C)=[N+]4C3=CC3=C(C=C)C(C)=C5N3[Mg-2]42[N+]2=C1[C@@H](CCC(=O)OC\C=C(/C)CCC[C@H](C)CCC[C@H](C)CCCC(C)C)[C@H](C)C2=C5 ATNHDLDRLWWWCB-AENOIHSZSA-M 0.000 description 1
- 238000012272 crop production Methods 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000006260 foam Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000004745 nonwoven fabric Substances 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000001766 physiological effect Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 229920000728 polyester Polymers 0.000 description 1
- 229920006327 polystyrene foam Polymers 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Abstract
本发明属于作物水分胁迫检测领域，特别是涉及一种基于3D温度特征的作物水分胁迫检测方法。本发明利用热红外相机获取作物的温度图像和温度矩阵，利用双目可见光相机获取作物的左、右可见光图像，进行双目立体视觉匹配并计算出可见光双目三维点云；通过摄影测量的方法将热红外图像与双目可见光相机左摄像头拍摄的可见光图像进行精配准；然后将经过单应变换的热红外相机的温度信息与双目可见光相机的三维点云进行信息融合，生成作物的3D温度特征；并通过基于区域生长的Meanshift聚类分割算法分割出叶片；最后利用作物不同空间分布的叶片在时序上的温度变化差异确定作物水分胁迫指数检测的最优位置。
Description
技术领域
本发明属于作物水分胁迫检测领域，特别是涉及一种基于3D温度特征的作物水分胁迫检测方法。
背景技术
气候变化和水资源短缺极大地威胁着全球粮食安全，并限制了作物生产，因此，需要对整个生长季节的水分状况进行有效监测，以便有效地最大限度地提高作物的产量和质量。植物对水分亏缺的直接反应是关闭叶片气孔，导致冠层温度升高。作物表面温度的检测对于及时评估水分胁迫具有重要意义。近年来，热红外相机广泛应用于作物的水分胁迫检测，尽管热图像包含作物和背景信息，但由于散射分布和微小的温差，识别作物和提取其表面温度很困难。因此，一些研究人员将热图像与其他图像(如颜色和光谱图像)相结合来识别作物冠层。然而，由于缺乏精确的图像配准方法，将热彩色成像系统应用于作物冠层温度提取的有效性受到了限制。并且，目前大多数研究都集中在作物二维温度特性的测量上，例如，中国发明专利申请“一种农田表面温度监测数据精量甄别方法及系统”(CN113748867A)只对作物冠层多点温度或整个冠层温度获取，没能从作物温度的空间分布差异性考虑，即对作物水分胁迫状态在何位置检测方面的研究很少；中国发明专利申请“基于冠层温度的作物水分胁迫诊断方法及系统”(CN110020793A)没能从作物在时序上的生理活动变化考虑，具体的对作物水分胁迫状态在何时检测方面的研究很少；此外，水分胁迫条件下作物的温度特性与冠层结构有关，获取作物的三维信息，这有助于将温度、叶片形状和作物冠层结构结合起来，作为综合分析的输入。
发明内容
针对以上技术问题，本发明的目的是提供一种基于3D温度特征的作物水分胁迫检测方法，利用摄影测量的技术将可见光图像与热红外图像精配准，利用作物不同空间分布的叶片在时序上的温度变化差异确定作物水分胁迫指数在何位置检测。
为了实现上述目的，本发明提供了如下技术方案：
一种基于3D温度特征的作物水分胁迫检测方法，包括如下步骤：
S1、热红外相机、双目可见光相机立体标定；
热红外相机和双目可见光相机同时分别拍摄多张不同摆放位置的棋盘格图像，并将棋盘格图像分为双目可见光相机左、右摄像头标定组和双目可见光相机左摄像头与热红外相机标定组，标定获得热红外相机和双目可见光相机的标定参数；所述标定参数包括双目可见光相机左摄像头的内部参数矩阵、双目可见光相机右摄像头的内部参数矩阵、热红外相机的内部参数矩阵、双目可见光相机左摄像头与双目可见光相机右摄像头之间的外部参数、热红外相机与双目可见光相机左摄像头之间的外部参数、双目可见光相机左摄像头的畸变参数、双目可见光相机右摄像头的畸变参数以及热红外相机的畸变参数；其中，
S2、热红外图像和可见光图像的粗配准；
S2.1、通过热红外相机和双目可见光相机垂直于地面对作物进行图像采集，连续获取多组同一株作物一天中不同时间段的包含湿参考面的左、右可见光图像和热红外图像；
S2.2、对每组左、右可见光图像和热红外图像进行处理，根据步骤S1获得的标定参数分别对左、右可见光图像进行立体校正、消除畸变和行对准，获得校正后的左、右可见光图像；
S2.3、采用SURF算法分别检测各组校正后的左、右可见光图像的特征点；运用三角测量原理计算出左、右可见光图像之间相对应的特征点对的世界坐标，并通过公式1将特征点对的世界坐标反投影到热红外图像上；
式中，S为非零尺度因子，即由特征点对计算的世界坐标的z分量；Coordinatesthermal为热红外图像上反投影点的齐次坐标；K为步骤S1获得的热红外相机的内部参数矩阵；R为步骤S1获得的热红外相机相对于双目可见光相机左摄像头的三维旋转矩阵；T为步骤S1获得的热红外相机相对于双目可见光相机左摄像头的平移向量；Coordinatesworld是特征点对计算的世界坐标的齐次坐标；
S2.4、使用RANSAC算法计算出左可见光图像的特征点与热红外图像上的反投影点之间的单应性矩阵，完成所有组的热红外图像与左可见光图像粗配准；
S3、热红外图像和可见光图像的精配准；
S3.1、使用RANSAC算法计算左可见光图像中的特征点与热红外图像中经过偏差补偿的反投影点之间单应性矩阵，对热红外图像与左可见光图像进行重新配准；
其中，Δx，Δy为热红外图像中的反投影点坐标与热红外图像中真实对应点的坐标(x0 thermal，y0 thermal)之间的位置偏差，初始值为(0，0)；
S3.2、按一定步长增加位置偏差值，并重复步骤S3.1，直至结构相似性指数SSIM的值达到最高，获得最优单应性矩阵，完成所有组的热红外图像与可见光图像精配准；所述结构相似性指数SSIM通过公式2计算获得；
式中，x、y分别为热红外图像和左可见光图像；ux、uy分别表示图像x，y的均值；分别表示图像x，y的方差；σxy表示图像x，y之间的协方差；c1、c2为常数；
S4、双目三维重建生成点云并与温度数据融合；
S4.1、根据步骤S2.2中同组的校正后的左、右可见光图像，利用立体匹配算法生成视差图；然后，利用相似三角形原理结合双目可见光相机左可见光图像的RGB颜色值，通过公式3获得作物冠层的原始三维点云数据；
式中，Z，X，Y为点云三维坐标；D为视差图的深度值；B为双目可见光相机的基线，单位为mm，f为双目可见光相机左摄像头的焦距，单位为像素；d是视差图的视差值；(u，v)是左可见光图像的像素坐标；(u0，v0)是双目相机左摄像头图像平面的主点像素坐标；
S4.2、通过公式4将步骤S4.1获得作物冠层的原始三维点云数据与同组的热红外图像中的温度数据进行融合，使作物冠层的三维点云数据既包含RGB颜色信息又包含温度信息；
Crgb＝HCir 公式4
式中，Crgb为双目可见光相机左摄像头的像平面坐标；H为步骤S3获得的双目可见光相机左可见光图像与热红外图像之间的最优单应性矩阵；Cir为热红外相机的像平面坐标；
S5、确定作物水分胁迫指数的最优检测位置；
S5.1、通过统计滤波滤除步骤S4获得的融合后的作物冠层的三维点云数据的离群点，然后采用基于HSV色彩空间的颜色模型分割出绿色冠层点云；通过MeanShift算法在绿色冠层点云中寻找各冠层叶片质心，而后以质心为初始点进行区域生长，聚类分割得到每个冠层叶片点云并标记；
S5.2、以拍摄时间为横坐标，每个叶片的平均温度为纵坐标，绘制同一植株的每个冠层叶片的时间——温度变化曲线；同时，绘制同组数据中所获得的湿参考面的时间——温度变化曲线；找出与湿参考面的时间——温度变化曲线最为相近的N个冠层叶片作为最能代表整株作物水分亏缺状况的叶片，通过公式6计算这N个冠层叶片的平均温度，并将其作为作物冠层平均温度；
其中，Tcanopy_ave为最能代表冠层蒸腾作用的N个冠层叶片的平均温度，单位为℃；N为叶片个数；Ti为第i个叶片的平均温度，单位为℃；
S6、计算作物水分胁迫指数CWSI值；
通过公式7作物水分胁迫指数：
式中，Tcrop为步骤S5获得的作物冠层平均温度，单位为℃；Tdry为干参考面温度，单位为℃；Twet为湿参考面温度，单位为℃。
所述步骤S1中，
所述双目可见光相机左摄像头的内部参数矩阵包括左摄像头焦距和左摄像头成像原点坐标；
所述双目可见光相机右摄像头的内部参数矩阵包括右摄像头焦距和右摄像头成像原点坐标；
所述热红外相机的内部参数矩阵包括热红外相机焦距和热红外相机成像原点坐标；
所述双目可见光相机左摄像头与双目可见光相机右摄像头之间的外部参数包括双目可见光相机右摄像头相对于双目可见光相机左摄像头的三维旋转矩阵和平移向量，代表了双目可见光相机的右摄像头与左摄像头之间的转换关系；
所述热红外相机与双目可见光相机左摄像头之间的外部参数包括热红外相机相对于双目可见光相机左摄像头的三维旋转矩阵和平移向量，代表了热红外相机与双目可见光相机左摄像头之间的转换关系；
所述双目可见光相机左摄像头的畸变参数、双目可见光相机右摄像头的畸变参数以及热红外相机的畸变参数均包括径向畸变参数和切向畸变参数，径向畸变参数用于修正双目可见光相机摄像头由于光学透镜的特性使得成像存在的径向畸变，切向畸变参数用于修正由于装配方面的误差使得传感器与光学镜头之间非完全平行造成的切向畸变。
所述步骤S2中，以30分钟为时间间隔，在11:00-15:00时间段内获取9组同一株作物的包含湿参考面的左、右可见光图像和热红外图像。
所述步骤S5.2中，N大于等于总冠层叶片数的1/3。
与现有技术相比，本发明的有益效果在于：
本发明利用热红外相机获取作物的温度图像和温度矩阵，利用双目可见光相机获取作物的左、右可见光图像，进行双目立体视觉匹配并计算出可见光双目三维点云；通过摄影测量的方法将热红外图像与双目可见光相机左摄像头拍摄的可见光图像进行精配准；然后将经过单应变换的热红外相机的温度信息与双目可见光相机的三维点云进行信息融合，生成作物的3D温度特征；并通过基于区域生长的Meanshift聚类分割算法分割出叶片；最后利用作物不同空间分布的叶片在时序上的温度变化差异确定作物水分胁迫指数检测的最优位置。
附图说明
图1为基于3D温度特征的作物水分胁迫检测方法流程图；
图2a为双目可见光相机拍摄的棋盘格图像；
图2b为热红外相机拍摄的棋盘格图像；
图3为双目可见光相机和热红外相机标定流程图；
图4为图像粗配准工作流程框图；
图5为图像精配准工作流程框图；
图6为作物3D温度特征获取过程框图；
图7a～7d为双目可见光相机左可见光图像与热红外图像粗配准过程示意图；
图8a～8b为双目可见光相机左可见光图像与热红外图像精配准过程示意图；
图9a～9b为基于HSV色彩空间的颜色模型分割出的冠层区域点云；
图10为采用基于区域生长的Meanshift聚类算法分割出的叶片点云示意图。
具体实施方式
下面结合附图和实施例对本发明进行进一步说明。
如图1所示，一种基于3D温度特征的作物水分胁迫检测方法，包括如下步骤：
S1、热红外相机、双目可见光相机立体标定；
热红外相机和双目可见光相机同时分别拍摄多张不同摆放位置的棋盘格图像，并将棋盘格图像分为双目可见光相机左、右摄像头标定组和双目可见光相机左摄像头与热红外相机标定组，标定获得热红外相机和双目可见光相机的标定参数；所述标定参数包括双目可见光相机左摄像头的内部参数矩阵、双目可见光相机右摄像头的内部参数矩阵、热红外相机的内部参数矩阵、双目可见光相机左摄像头与双目可见光相机右摄像头之间的外部参数、热红外相机与双目可见光相机左摄像头之间的外部参数、双目可见光相机左摄像头的畸变参数、双目可见光相机右摄像头的畸变参数以及热红外相机的畸变参数；其中，
所述双目可见光相机左摄像头的内部参数矩阵包括左摄像头焦距和左摄像头成像原点坐标；
所述双目可见光相机右摄像头的内部参数矩阵包括右摄像头焦距和右摄像头成像原点坐标；
所述热红外相机的内部参数矩阵包括热红外相机焦距和热红外相机成像原点坐标；
所述双目可见光相机左摄像头与双目可见光相机右摄像头之间的外部参数包括双目可见光相机右摄像头相对于双目可见光相机左摄像头的三维旋转矩阵和平移向量，代表了双目可见光相机的右摄像头与左摄像头之间的转换关系；
所述热红外相机与双目可见光相机左摄像头之间的外部参数包括热红外相机相对于双目可见光相机左摄像头的三维旋转矩阵和平移向量，代表了热红外相机与双目可见光相机左摄像头之间的转换关系。
所述双目可见光相机左摄像头的畸变参数、双目可见光相机右摄像头的畸变参数以及热红外相机的畸变参数均包括径向畸变参数和切向畸变参数，径向畸变参数用于修正双目可见光相机摄像头由于光学透镜的特性使得成像存在的径向畸变，切向畸变参数用于修正由于装配方面的误差使得传感器与光学镜头之间非完全平行造成的切向畸变。
立体标定需要用到一个棋盘格和卤素灯。棋盘格的黑色方块用黑色的乙烯胶带覆盖着，由于它对红外辐射吸收更高，因此通过卤素灯照射，其温度上升更快，使得棋盘格在热红外图像中成像效果更好。使用热红外相机和双目可见光相机同时拍摄不同摆放位置的棋盘格照片，如图2a和图2b所示，共拍摄20-30组图像以提供冗余标定。使用MATLAB R2018a软件中的Stereo Camera Calibrator工具箱对相机进行双目标定，如图3所示。
S2、热红外图像和可见光图像的粗配准；
如图4所示，基于摄影测量原理的图像配准算法首先需要计算出双目可见光图像中的特征点对所对应的世界坐标，并计算出世界坐标在热红外图像上的反投影点的坐标；然后计算出左可见光图像中的特征点和热红外图像中的反投影点之间的最优单应变换。
S2.1、通过热红外相机和双目可见光相机垂直于地面对作物进行图像采集，连续获取多组同一株作物一天中不同时间段的包含湿参考面的左、右可见光图像和热红外图像；
本发明实施例以30分钟为时间间隔，在11:00-15:00时间段内获取9组同一株作物的包含湿参考面的左、右可见光图像和热红外图像。
S2.2、对每组左、右可见光图像和热红外图像进行处理，根据步骤S1获得的标定参数分别对左、右可见光图像进行立体校正、消除畸变和行对准，获得校正后的左、右可见光图像，如图7a所示；
S2.3、采用SURF算法分别检测各组校正后的左、右可见光图像的特征点，如图7b所示；运用三角测量原理计算出左、右可见光图像之间相对应的特征点对的世界坐标，并通过公式1将特征点对的世界坐标反投影到热红外图像上，如图7c所示；
式中，S为非零尺度因子，即由特征点对计算的世界坐标的z分量；Coordinatesthermal为热红外图像上反投影点的齐次坐标；K为步骤S1获得的热红外相机的内部参数矩阵；R为步骤S1获得的热红外相机相对于双目可见光相机左摄像头的三维旋转矩阵；T为步骤S1获得的热红外相机相对于双目可见光相机左摄像头的平移向量；Coordinatesworld是特征点对计算的世界坐标的齐次坐标；
S2.4、使用RANSAC算法计算出左可见光图像的特征点与热红外图像上的反投影点之间的单应性矩阵，完成所有组的热红外图像与左可见光图像粗配准，如图7d所示。
S3、热红外图像和可见光图像的精配准；
使用单应变换对两幅图像进行配准时，假设目标场景接近平面。然而，作物的表面结构非常复杂，深度变化很大。因此，当需要更高的配准精度时，如图5所示，需要在全局粗配准后采取进一步的措施。
S3.1、使用RANSAC算法计算左可见光图像中的特征点与热红外图像中经过偏差补偿的反投影点之间单应性矩阵，对热红外图像与左可见光图像进行重新配准；
其中，Δx，Δy为热红外图像中的反投影点坐标与热红外图像中真实对应点的坐标(x0 thermal，y0 thermal)之间的位置偏差，初始值为(0，0)；如图8a所示，左可见光图像与热红外图像存在偏差。
S3.2、按一定步长增加位置偏差值，并重复步骤S3.1，直至结构相似性指数SSIM的值达到最高，获得最优单应性矩阵，完成所有组的热红外图像与可见光图像精配准，配准效果如图8b所示；所述结构相似性指数SSIM通过公式2计算获得；
式中，x、y分别为热红外图像和左可见光图像；ux、uy分别表示图像x，y的均值；分别表示图像x，y的方差；σxy表示图像x，y之间的协方差；c1、c2为常数。
S4、双目三维重建生成点云并与温度数据融合。
如图6所示，生成作物的3D温度特征，需要将热红外图像的温度信息与双目可见光图像生成的三维点云数据进行信息融合。
S4.1、根据步骤S2.2中同组的校正后的左、右可见光图像，利用立体匹配算法生成视差图；然后，利用相似三角形原理结合双目可见光相机左可见光图像的RGB颜色值，通过公式3获得作物冠层的原始三维点云数据；
式中，Z，X，Y为点云三维坐标；D为视差图的深度值；B为双目可见光相机的基线(即左、右摄像头之间的距离)，单位为mm，f为双目可见光相机左摄像头的焦距，单位为像素；d是视差图的视差值；(u，v)是左可见光图像的像素坐标；(u0，v0)是双目相机左摄像头图像平面的主点像素坐标。
S4.2、通过公式4将步骤S4.1获得作物冠层的原始三维点云数据与同组的热红外图像中的温度数据进行融合，使作物冠层的三维点云数据既包含RGB颜色信息又包含温度信息；
Crgb＝HCir 公式4
式中，Crgb为双目可见光相机左摄像头的像平面坐标；H为步骤S3获得的双目可见光相机左可见光图像与热红外图像之间的最优单应性矩阵；Cir为热红外相机的像平面坐标；
S5、确定作物水分胁迫指数的最优检测位置；
S5.1、通过统计滤波滤除步骤S4获得的融合后的作物冠层的三维点云数据的离群点，然后采用基于HSV色彩空间的颜色模型分割出绿色冠层点云(如图9a所示为冠层的颜色点云，如图9b所示为冠层的温度点云)；通过MeanShift算法在绿色冠层点云中寻找各冠层叶片质心，而后以质心为初始点进行区域生长，聚类分割得到每个冠层叶片点云并标记，如图10所示；
叶片是植物进行蒸腾作用等生理过程的主要载体，是和外界环境进行物质交换的重要器官，能够准确定量的描述叶片对作物生长检测和精准管理具有重要意义。区域生长算法思想为通过判断点云法线之间的夹角和曲率是否满足阈值决定近邻点与当前点是否为一类，若法线夹角和曲率均小于阈值则作为种子点继续循环迭代，若仅满足法线夹角阈值则只归类，邻域内不再有种子点时，分类完成，并从原始点云中去除，重新选择初始种子点开始归类。MeanShift聚类算法即均值漂移算法，是通过点云密度梯度上升追踪样本点附近密度中心，从而根据密度中心进行归类的算法。
S5.2、以拍摄时间为横坐标，每个叶片的平均温度为纵坐标，绘制同一植株的每个冠层叶片的时间——温度变化曲线；同时，绘制同组数据中所获得的湿参考面的时间——温度变化曲线；找出与湿参考面的时间——温度变化曲线最为相近的N个冠层叶片作为最能代表整株作物水分亏缺状况的叶片，通过公式6计算这N个冠层叶片的平均温度，并将其作为作物冠层平均温度；
其中，Tcanopy_ave为最能代表冠层蒸腾作用的N个冠层叶片的平均温度，单位为℃；N为叶片个数；Ti为第i个叶片的平均温度，单位为℃。
优选地，N大于等于总冠层叶片数的1/3。
已知对植株温度起直接作用的是植株蒸腾，在相同外界环境条件下，作物不同叶位的叶片由于叶绿素含量和叶片功能期长短差异造成了蒸腾作用强度也不同。蒸腾作用强的叶片带走较多热量，叶片温度较低且变化平缓和湿参考面的温度变化趋势相近；相反蒸腾作用弱的叶片温度较高且变化较快。
S6、计算作物水分胁迫指数CWSI值；
通过公式7作物水分胁迫指数：
式中，Tcrop为步骤S5获得的作物冠层平均温度，单位为℃；Tdry为干参考面温度，单位为℃；Twet为湿参考面温度，单位为℃。
所述湿参考面的制作方法为：将一个2cm厚的聚苯乙烯泡沫板漂浮在尺寸为15cm×10cm×15cm的装有水的塑料容器中，使其覆盖大部分水面；泡沫板表面包裹一层0.5mm厚的吸水性无纺布和粘胶混合布，外层覆盖有2mm厚的聚酯无纺吸水布，它的作用是吸收水分保持表面湿润，模拟作物完全蒸腾作用下的叶片表面温度即Twet。Tdry模拟作物气孔完全关闭不进行蒸腾作用时的温度，其采用空气温度加5℃的方法计算。
Claims (4)
1.一种基于3D温度特征的作物水分胁迫检测方法，其特征在于，包括如下步骤：
S1、热红外相机、双目可见光相机立体标定；
热红外相机和双目可见光相机同时分别拍摄多张不同摆放位置的棋盘格图像，并将棋盘格图像分为双目可见光相机左、右摄像头标定组和双目可见光相机左摄像头与热红外相机标定组，标定获得热红外相机和双目可见光相机的标定参数；所述标定参数包括双目可见光相机左摄像头的内部参数矩阵、双目可见光相机右摄像头的内部参数矩阵、热红外相机的内部参数矩阵、双目可见光相机左摄像头与双目可见光相机右摄像头之间的外部参数、热红外相机与双目可见光相机左摄像头之间的外部参数、双目可见光相机左摄像头的畸变参数、双目可见光相机右摄像头的畸变参数以及热红外相机的畸变参数；其中，
S2、热红外图像和可见光图像的粗配准；
S2.1、通过热红外相机和双目可见光相机垂直于地面对作物进行图像采集，连续获取多组同一株作物一天中不同时间段的包含湿参考面的左、右可见光图像和热红外图像；
S2.2、对每组左、右可见光图像和热红外图像进行处理，根据步骤S1获得的标定参数分别对左、右可见光图像进行立体校正、消除畸变和行对准，获得校正后的左、右可见光图像；
S2.3、采用SURF算法分别检测各组校正后的左、右可见光图像的特征点；运用三角测量原理计算出左、右可见光图像之间相对应的特征点对的世界坐标，并通过公式1将特征点对的世界坐标反投影到热红外图像上；
式中，S为非零尺度因子，即由特征点对计算的世界坐标的z分量；Coordinatesthermal为热红外图像上反投影点的齐次坐标；K为步骤S1获得的热红外相机的内部参数矩阵；R为步骤S1获得的热红外相机相对于双目可见光相机左摄像头的三维旋转矩阵；T为步骤S1获得的热红外相机相对于双目可见光相机左摄像头的平移向量；Coordinatesworld是特征点对计算的世界坐标的齐次坐标；
S2.4、使用RANSAC算法计算出左可见光图像的特征点与热红外图像上的反投影点之间的单应性矩阵，完成所有组的热红外图像与左可见光图像粗配准；
S3、热红外图像和可见光图像的精配准；
S3.1、使用RANSAC算法计算左可见光图像中的特征点与热红外图像中经过偏差补偿的反投影点之间单应性矩阵，对热红外图像与左可见光图像进行重新配准；
其中，Δx，Δy为热红外图像中的反投影点坐标与热红外图像中真实对应点的坐标(x0 thermal，y0 thermal)之间的位置偏差，初始值为(0，0)；
S3.2、按一定步长增加位置偏差值，并重复步骤S3.1，直至结构相似性指数SSIM的值达到最高，获得最优单应性矩阵，完成所有组的热红外图像与可见光图像精配准；所述结构相似性指数SSIM通过公式2计算获得；
式中，x、y分别为热红外图像和左可见光图像；ux、uy分别表示图像x，y的均值；分别表示图像x，y的方差；σxy表示图像x，y之间的协方差；c1、c2为常数；
S4、双目三维重建生成点云并与温度数据融合；
S4.1、根据步骤S2.2中同组的校正后的左、右可见光图像，利用立体匹配算法生成视差图；然后，利用相似三角形原理结合双目可见光相机左可见光图像的RGB颜色值，通过公式3获得作物冠层的原始三维点云数据；
式中，Z，X，Y为点云三维坐标；D为视差图的深度值；B为双目可见光相机的基线，单位为mm，f为双目可见光相机左摄像头的焦距，单位为像素；d是视差图的视差值；(u，v)是左可见光图像的像素坐标；(u0，v0)是双目相机左摄像头图像平面的主点像素坐标；
S4.2、通过公式4将步骤S4.1获得作物冠层的原始三维点云数据与同组的热红外图像中的温度数据进行融合，使作物冠层的三维点云数据既包含RGB颜色信息又包含温度信息；
Crgb＝HCir 公式4
式中，Crgb为双目可见光相机左摄像头的像平面坐标；H为步骤S3获得的双目可见光相机左可见光图像与热红外图像之间的最优单应性矩阵；Cir为热红外相机的像平面坐标；
S5、确定作物水分胁迫指数的最优检测位置；
S5.1、通过统计滤波滤除步骤S4获得的融合后的作物冠层的三维点云数据的离群点，然后采用基于HSV色彩空间的颜色模型分割出绿色冠层点云；通过MeanShift算法在绿色冠层点云中寻找各冠层叶片质心，而后以质心为初始点进行区域生长，聚类分割得到每个冠层叶片点云并标记；
S5.2、以拍摄时间为横坐标，每个叶片的平均温度为纵坐标，绘制同一植株的每个冠层叶片的时间——温度变化曲线；同时，绘制同组数据中所获得的湿参考面的时间——温度变化曲线；找出与湿参考面的时间——温度变化曲线最为相近的N个冠层叶片作为最能代表整株作物水分亏缺状况的叶片，通过公式6计算这N个冠层叶片的平均温度，并将其作为作物冠层平均温度；
其中，Tcanopy_ave为最能代表冠层蒸腾作用的N个冠层叶片的平均温度，单位为℃；N为叶片个数；Ti为第i个叶片的平均温度，单位为℃；
S6、计算作物水分胁迫指数CWSI值；
通过公式7作物水分胁迫指数：
式中，Tcrop为步骤S5获得的作物冠层平均温度，单位为℃；Tdry为干参考面温度，单位为℃；Twet为湿参考面温度，单位为℃。
2.根据权利要求1所述的基于3D温度特征的作物水分胁迫检测方法，其特征在于，所述步骤S1中，
所述双目可见光相机左摄像头的内部参数矩阵包括左摄像头焦距和左摄像头成像原点坐标；
所述双目可见光相机右摄像头的内部参数矩阵包括右摄像头焦距和右摄像头成像原点坐标；
所述热红外相机的内部参数矩阵包括热红外相机焦距和热红外相机成像原点坐标；
所述双目可见光相机左摄像头与双目可见光相机右摄像头之间的外部参数包括双目可见光相机右摄像头相对于双目可见光相机左摄像头的三维旋转矩阵和平移向量，代表了双目可见光相机的右摄像头与左摄像头之间的转换关系；
所述热红外相机与双目可见光相机左摄像头之间的外部参数包括热红外相机相对于双目可见光相机左摄像头的三维旋转矩阵和平移向量，代表了热红外相机与双目可见光相机左摄像头之间的转换关系；
所述双目可见光相机左摄像头的畸变参数、双目可见光相机右摄像头的畸变参数以及热红外相机的畸变参数均包括径向畸变参数和切向畸变参数，径向畸变参数用于修正双目可见光相机摄像头由于光学透镜的特性使得成像存在的径向畸变，切向畸变参数用于修正由于装配方面的误差使得传感器与光学镜头之间非完全平行造成的切向畸变。
3.根据权利要求1所述的基于3D温度特征的作物水分胁迫检测方法，其特征在于，所述步骤S2中，以30分钟为时间间隔，在11:00-15:00时间段内获取9组同一株作物的包含湿参考面的左、右可见光图像和热红外图像。
4.根据权利要求1所述的基于3D温度特征的作物水分胁迫检测方法，其特征在于，所述步骤S5.2中，N大于等于总冠层叶片数的1/3。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210669330.4A CN114898072B (zh) | 2022-06-14 | 一种基于3d温度特征的作物水分胁迫检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210669330.4A CN114898072B (zh) | 2022-06-14 | 一种基于3d温度特征的作物水分胁迫检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114898072A CN114898072A (zh) | 2022-08-12 |
| CN114898072B true CN114898072B (zh) | 2024-05-31 |
Family
ID=
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103955920A (zh) * | 2014-04-14 | 2014-07-30 | 桂林电子科技大学 | 基于三维点云分割的双目视觉障碍物检测方法 |
| CN108010085A (zh) * | 2017-11-30 | 2018-05-08 | 西南科技大学 | 基于双目可见光相机与热红外相机的目标识别方法 |
| CN111078811A (zh) * | 2019-11-30 | 2020-04-28 | 内蒙古蒙草生命共同体大数据有限公司 | 一种净初级生产力预警方法 |
| CN112102211A (zh) * | 2020-11-18 | 2020-12-18 | 南京农业大学 | 一种基于温度和图像的作物胁迫预警系统及预警方法 |
| CN112686859A (zh) * | 2020-12-30 | 2021-04-20 | 中国农业大学 | 基于热红外和rgb-d相机的作物cwsi的检测方法 |
| CN113409450A (zh) * | 2021-07-09 | 2021-09-17 | 浙江大学 | 一种包含rgbdt信息的鸡只三维重建方法 |
| US11327021B1 (en) * | 2020-04-23 | 2022-05-10 | Jiangsu University | Method and device for crop canopy chlorophyll fluorescence three-dimensional distribution information acquisition |
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103955920A (zh) * | 2014-04-14 | 2014-07-30 | 桂林电子科技大学 | 基于三维点云分割的双目视觉障碍物检测方法 |
| CN108010085A (zh) * | 2017-11-30 | 2018-05-08 | 西南科技大学 | 基于双目可见光相机与热红外相机的目标识别方法 |
| CN111078811A (zh) * | 2019-11-30 | 2020-04-28 | 内蒙古蒙草生命共同体大数据有限公司 | 一种净初级生产力预警方法 |
| US11327021B1 (en) * | 2020-04-23 | 2022-05-10 | Jiangsu University | Method and device for crop canopy chlorophyll fluorescence three-dimensional distribution information acquisition |
| CN112102211A (zh) * | 2020-11-18 | 2020-12-18 | 南京农业大学 | 一种基于温度和图像的作物胁迫预警系统及预警方法 |
| CN112686859A (zh) * | 2020-12-30 | 2021-04-20 | 中国农业大学 | 基于热红外和rgb-d相机的作物cwsi的检测方法 |
| CN113409450A (zh) * | 2021-07-09 | 2021-09-17 | 浙江大学 | 一种包含rgbdt信息的鸡只三维重建方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Guo et al. | Crop 3D—a LiDAR based platform for 3D high-throughput crop phenotyping | |
| Webster et al. | Three-dimensional thermal characterization of forest canopies using UAV photogrammetry | |
| CN103971353B (zh) | 采用激光辅助大型锻件测量图像数据的拼接方法 | |
| AU2010255803B2 (en) | Device and method for recording a plant | |
| Lati et al. | Estimating plant growth parameters using an energy minimization-based stereovision model | |
| CN106548462B (zh) | 基于薄板样条插值的非线性sar图像几何校正方法 | |
| CN111289441B (zh) | 多光谱下的大田作物含水量确定方法、系统及设备 | |
| CN111553245A (zh) | 基于机器学习算法和多源遥感数据融合的植被分类方法 | |
| CN107560592B (zh) | 一种用于光电跟踪仪联动目标的精确测距方法 | |
| CN109580512A (zh) | 一种基于光谱和纹理特征的小麦氮素营养监测方法 | |
| CN109341668B (zh) | 基于折射投影模型和光束追踪法的多相机测量方法 | |
| CN108680509A (zh) | 一种滨海盐渍区土壤盐分含量估算方法 | |
| Lati et al. | Plant growth parameter estimation from sparse 3D reconstruction based on highly-textured feature points | |
| CN110988909A (zh) | 基于tls进行高寒脆弱区沙地植被的植被盖度测定方法 | |
| CN108195736A (zh) | 一种三维激光点云提取植被冠层间隙率的方法 | |
| CN111179335A (zh) | 一种基于双目视觉的立木测定方法 | |
| CN115375842A (zh) | 一种植株三维重建方法、终端及存储介质 | |
| Badura et al. | A novel approach for deriving LAI of salt marsh vegetation using structure from motion and multiangular spectra | |
| CN110610438B (zh) | 一种农作物冠层叶柄夹角计算方法及系统 | |
| Liu et al. | Fast reconstruction method of three-dimension model based on dual RGB-D cameras for peanut plant | |
| CN114898072B (zh) | 一种基于3d温度特征的作物水分胁迫检测方法 | |
| JP6044052B2 (ja) | 魚眼画像データ作成プログラム及びｌａｉ算出プログラム | |
| Dong et al. | Drone-based three-dimensional photogrammetry and concave hull by slices algorithm for apple tree volume mapping | |
| CN116883480A (zh) | 基于双目影像与地基雷达融合点云的玉米株高检测方法 | |
| CN110956668A (zh) | 一种基于聚焦测度的聚焦堆栈成像系统预置位标定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |