CN112686859B - 基于热红外和rgb-d相机的作物cwsi的检测方法 - Google Patents
基于热红外和rgb-d相机的作物cwsi的检测方法 Download PDFInfo
- Publication number
- CN112686859B CN112686859B CN202011598864.XA CN202011598864A CN112686859B CN 112686859 B CN112686859 B CN 112686859B CN 202011598864 A CN202011598864 A CN 202011598864A CN 112686859 B CN112686859 B CN 112686859B
- Authority
- CN
- China
- Prior art keywords
- image
- crop
- point cloud
- dimensional
- thermal infrared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 31
- 239000011159 matrix material Substances 0.000 claims abstract description 20
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 11
- 230000000007 visual effect Effects 0.000 claims abstract description 8
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 230000011218 segmentation Effects 0.000 claims description 17
- 239000004745 nonwoven fabric Substances 0.000 claims description 16
- 229920006327 polystyrene foam Polymers 0.000 claims description 13
- 230000005068 transpiration Effects 0.000 claims description 13
- 239000004033 plastic Substances 0.000 claims description 11
- 208000005156 Dehydration Diseases 0.000 claims description 10
- 244000061456 Solanum tuberosum Species 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 10
- 235000002595 Solanum tuberosum Nutrition 0.000 claims description 8
- 239000004744 fabric Substances 0.000 claims description 8
- 229920000728 polyester Polymers 0.000 claims description 8
- 229920000297 Rayon Polymers 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 6
- 238000001704 evaporation Methods 0.000 claims description 3
- 230000008020 evaporation Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 239000000463 material Substances 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 235000002566 Capsicum Nutrition 0.000 claims description 2
- 235000007688 Lycopersicon esculentum Nutrition 0.000 claims description 2
- 240000003768 Solanum lycopersicum Species 0.000 claims description 2
- 244000061458 Solanum melongena Species 0.000 claims description 2
- 235000002597 Solanum melongena Nutrition 0.000 claims description 2
- 235000012015 potatoes Nutrition 0.000 claims description 2
- 244000241838 Lycium barbarum Species 0.000 claims 1
- 235000015459 Lycium barbarum Nutrition 0.000 claims 1
- 235000015468 Lycium chinense Nutrition 0.000 claims 1
- 241000758706 Piperaceae Species 0.000 claims 1
- 239000002250 absorbent Substances 0.000 claims 1
- 244000038559 crop plants Species 0.000 claims 1
- 239000000203 mixture Substances 0.000 claims 1
- 238000000605 extraction Methods 0.000 abstract description 2
- 230000002262 irrigation Effects 0.000 abstract description 2
- 238000003973 irrigation Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 5
- 241000208292 Solanaceae Species 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000002689 soil Substances 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 235000017784 Mespilus germanica Nutrition 0.000 description 1
- 244000182216 Mimusops elengi Species 0.000 description 1
- 235000000560 Mimusops elengi Nutrition 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 235000007837 Vangueria infausta Nutrition 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Image Processing (AREA)
Abstract
本发明涉及一种基于热红外相机和RGB‑D相机的作物CWSI的检测方法，包括如下步骤：1、通过热红外相机和RGB‑D相机垂直于地面拍摄，同时获取同一株作物的包含湿参考面的热红外图像以及左右视角的两张可见光图像；2、根据RGB‑D相机左右视角拍摄的两张可见光图像，利用相机自带的SDK生成相应的原始点云深度图像；3、点云数据预处理；4、点云数据聚类分割；5、点云三维映射到二维；6、二维图像与热红外图像配准；7、索引冠层温度矩阵，提取作物冠层的温度；8、计算CWSI的值。本发明能够解决田间复杂环境干扰下作物冠层温度的提取问题，计算的CWSI对于田间作物水分灌溉具有指导意义。
Description
技术领域
本发明属于作物水分胁迫检测领域，尤其涉及一种基于热红外相机和RGB-D相机的作物CWSI(Crop Water Stress Index，作物水分胁迫指数)的检测方法。
背景技术
CWSI(Crop Water Stress Index，作物水分胁迫指数)的检测需要用到作物冠层温度。热红外图像可以提供温度信息，但是由于热红外图像的低分辨率原因，可以使用可见光图像进行辅助，因此需要对热红外图像和可见光图像进行配准。热红外与可见光图像的配准，多采用快速鲁棒特征点检测(Speed Up Robust Feature,SURF)等基于特征的匹配方法，对两幅图像重叠部分进行特征匹配。但是热红外图像和可见光图像由于传感器不同，成像差异很大。并且检测场景在大田，由于大田中的环境复杂，土壤和土地中的杂草等都会成为热红外图像和可见光图像配准过程中的干扰因素。
发明内容
针对上述技术问题，本发明的目的是提供一种基于热红外相机和RGB-D相机的作物CWSI的检测方法，充分融合获取的RGB图像、深度图像和热红外图像对作物冠层温度进行提取，并计算作物水分胁迫指数。
为了实现上述目的，本发明提供了如下技术方案：
一种基于热红外相机和RGB-D相机的作物CWSI的检测方法，包括如下步骤：
Step1、通过热红外相机和RGB-D相机垂直于地面拍摄，同时获取同一株作物的包含湿参考面的热红外图像以及左右视角的两张可见光图像；
所述湿参考面为放置在作物旁的用于模拟作物叶片的气孔完全打开处于全蒸腾作用下状态的装置；
Step2、根据RGB-D相机左右视角拍摄的两张可见光图像，利用相机自带的SDK生成相应的原始点云深度图像；所述深度图像中点云数据包含三维坐标信息和颜色信息；
Step3、点云数据预处理；
对原始点云深度图像采用动态阈值分割，排除明显不属于绿叶的背景信息，获得预处理后的点云数据；
Step4、点云数据聚类分割；
Step4.1、将预处理后的点云数据的三维坐标存放在一个N×3的矩阵中，N为点云数据的个数，每一行即为每一个点云数据的三维坐标(x,y,z)，行号作为索引号；
Step4.2、按索引号由小到大的顺序选取一个未被标记的点，并作为中心点，绘制一个三维球体作为遍历窗口区域，将遍历窗口区域内的未被标记的点标记为与该中心点相同类别，并将其索引号排入遍历队列；在该遍历队列中，按索引号由小到大的顺序选取一个已被标记点作为下一个中心点，绘制三维球体作为遍历窗口区域，将遍历窗口区域内的未被标记的点标记为与中心点相同类别，并将其索引号排入该遍历队列中，以此类推，直到该遍历队列中最后一个中心点已无法搜集到未标记的新点加入，意味着一次聚类分割的完成，将该遍历队列中的所有点的序号集合，作为一类；
Step4.3、在剩余未被标记的点中，按索引号由小到大的顺序选取下一个未被标记的点，重复Step4.2的操作，完成第二次分类，以此类推，直到矩阵中所有点云数据均被遍历分类；获得聚类分割后的点云数据；
Step5、点云三维映射到二维；
Step5.1、通过公式1将聚类分割后的点云数据中的各点云的三维坐标P(x1,y1,z1)转换为二维坐标U(u,v)，获得图像矩阵；
式中，u为投射后图像的横坐标，v为投射后图像的纵坐标，u0为光轴中心在图像中的投影，也就是图像中心的横坐标；v0为图像中心的纵坐标；u’为虚拟成像的横坐标，v’为虚拟成像的纵坐标；α为点云坐标映射到图像坐标的放大倍数；z为虚拟成像的竖坐标，x1为P点的横坐标，y1为P点的纵坐标，z1为P点的竖坐标；
Step5.2、将Step5.1获得的各点云的二维坐标的坐标值取整；然后，将点云的颜色信息构成的颜色矩阵直接赋值到Step5.1获得的图像矩阵中对应的位置；
Step5.3、将Step5.2赋值后的图像进行中值滤波，输出一张作物冠层区域的二维图像；
Step6、二维图像与热红外图像配准；
提取Step5获得的二维图像中作物冠层区域的坐标，与Step1获取的热红外图像进行配准，获得配准后的融合图像；
Step7、索引冠层温度矩阵，提取作物冠层的温度；
根据Step6获得的配准后的融合图像的作物冠层区域的坐标，索引到相应的冠层温度，获得作物冠层三维温度；
Step8、计算CWSI的值；
根据Step7获得的作物冠层三维温度分布图和公式获得作物水分胁迫指数CWSI的值；
式中，Twet为模拟作物叶片的气孔完全打开处于全蒸腾作用下的湿参考面温度，单位为℃；Tdry为模拟作物气孔完全关闭不进行蒸腾作用时候的干参考面温度，单位为℃；TdrTair+5℃，Tair为空气/环境温度，单位为℃；Tcrop为作物冠层温度，单位为℃。
Step1中，湿参考面装置包括塑料盒、聚苯乙烯泡沫板、吸水性无纺布和粘胶混合布、聚酯无纺布；塑料盒中装有水，聚苯乙烯泡沫板覆盖在塑料盒的水面上，在聚苯乙烯泡沫板上面包裹一层吸水性无纺布和粘胶混合布，之后再包裹一层聚酯无纺布，这种情况下，聚苯乙烯泡沫板上的材料会吸收水分，有效减少蒸发，使其保持较低温度，模拟作物叶片的气孔完全打开处于全蒸腾作用下的温度，即湿参考面温度Twet，单位为℃。
塑料盒的尺寸为40cm×30cm×12cm；吸水性无纺布和粘胶混合布的厚度为0.5cm；聚酯无纺布的厚度为2cm。
Step4.2中，所述三维球体的半径为0.01m。
Step6中，热红外图像与二维图像的配准方法为：
将Step5获得的作物冠层区域的二维图像作为参考图像y，Step1获取的热红外图像作为浮动图像x，其坐标系为r(x)，以冠层图像为映射坐标系f(y)，根据坐标变换，将浮动图像x中的点变换到参考图像y坐标系中，对变换后的非整数坐标上的点进行灰度差值，通过公式2计算参考图像与浮动图像的互信息；
式中，S(x,y)表示参考图像x与浮动图像y两者之间的互信息测度值，P(x,y)代表图像x与图像y之间的联合概率密度，P(x)函数表示参考图像x的边缘概率密度，P(y)函数表示浮动图像y的边缘概率密度；
改变空间变换参数的值，确定使S(x,y)达到最小值时对应的空间变换参数。
所述方法适用于茄科作物的作物水分胁迫指数的检测。
所述茄科作物包括马铃薯、番茄、辣椒、茄、枸杞。
与现有技术相比，本发明的有益效果在于：
本发明能够解决田间复杂环境干扰下作物冠层温度的提取问题，最后计算的CWSI对于田间作物水分灌溉具有指导意义。
附图说明
图1是本发明的基于热红外相机和RGB-D相机的作物CWSI的检测方法的流程示意图；
图2是湿参考面分别在热红外图像(左)与可见光图像(右)中的成像示意图；
图3是预处理后的点云数据示意图；
图4是RGB-D相机采集软件界面示意图；
图5是基于区域生长的Meanshift算法示意图；
图6是点云数据的三维坐标表；
图7a～图7c是聚类分割过程示意图；
图8是聚类分割后的实施例马铃薯点云数据图像；
图9是点云三维到二维的映射具体流程图；
图10是基于互信息的多模态配准算法流程图；
图11是热红外与可见光图像配准结果；
图12是热红外和深度图像配准结果示意图；
图13是获取的马铃薯冠层温度分布图。
具体实施方式
下面结合附图和实施例对本发明进行进一步说明。
如图1所示，本发明的基于热红外相机和RGB-D相机的作物CWSI的检测方法，包括如下步骤：
Step1、通过热红外相机和RGB-D相机垂直于地面拍摄，同时获取同一株作物的包含湿参考面的热红外图像以及左右视角的两张可见光图像。
如图2所示，箭头所指分别为湿参考面在热红外图像与可见光图像中的成像，左边为黑色部分，右边为白色部分；所述湿参考面为放置在作物旁的用于模拟作物叶片的气孔完全打开处于全蒸腾作用下状态的装置，该装置包括塑料盒、聚苯乙烯泡沫板、吸水性无纺布和粘胶混合布、聚酯无纺布；40cm×30cm×12cm的塑料盒中装有水，聚苯乙烯泡沫板覆盖在塑料盒的水面上，在聚苯乙烯泡沫板上面包裹一层0.5cm厚的吸水性无纺布和粘胶混合布，之后再包裹一层2cm厚的聚酯无纺布，这种情况下，聚苯乙烯泡沫板上的材料会吸收水分，有效减少蒸发，使其保持较低温度，模拟作物叶片的气孔完全打开处于全蒸腾作用下的温度，即湿参考面温度Twet，计算作物水分胁迫指数CWSI的公式其中，模拟作物气孔完全关闭不进行蒸腾作用时候的干参考面温度Tdry＝Tair+5℃，其中，Tair为空气(环境)温度，Tcrop为作物冠层温度，单位为℃。
Step2、根据RGB-D相机左右视角拍摄的两张可见光图像，利用相机自带的SDK生成相应的原始点云深度图像。对于RGB-D相机，首先需要对其进行标定，然后进行点云数据的采集。所述深度图像中点云数据包含三维坐标信息和颜色信息。
Step3、点云数据预处理。
深度图像中点云数据通常十分密集，如果直接使用不仅会浪费大量的计算机资源，也使得计算时间延长，数据精简的目的就在于在不明显减少模型信息的前提下，用尽量少的点来表示，为后续的点云处理节约空间和时间。
本实施例对象为马铃薯植株，对原始点云深度图像采用动态阈值分割，排除明显不属于绿叶的背景信息。颜色划分的基本思路是利用图像中G通道与R通道，B通道的最大差值大于某一个值时候，认定为绿色，提取该部分的点云数据，获得预处理后的点云数据，如图3所示。
如图4所示，RGB-D相机采集界面示意图，其中，左上为左或右视角拍摄的可见光图像，左下为合成的原始点云深度图像，右侧为生成的预处理后的点云数据图。以马铃薯为对象，深度图像中颜色越浅代表距离越近；颜色越深代表距离越远。
Step4、点云数据聚类分割
Meanshift(均值漂移算法)算法无需事先选定种子，也无需事先确定分类数目，有较好的鲁棒性；常用于图像处理中的区域生长算法，是根据实现定义的准则将像素或者子区域聚合成更大区域的过程。本实施例中的马铃薯叶片数量和位置均为未知参数，因此本发明提出基于区域生长的Meanshift聚类算法。
区域生长是一个图像处理中分割算法的思想，将具有相似性质的像素点合并到一起，在每个区域指定种子点作为生长起点，然后将种子点周围邻域的像素点与种子点进行比较，对有相似性质的像素点合并以后继续向外生长，直到没有满足条件的像素被包括为止。
如图5所示，对Step3获得的预处理后的点云数据图进行基于区域生长的Meanshift聚类分割，包括如下步骤：
Step4.1、将预处理后的点云数据的三维坐标存放在一个N×3的矩阵中，N为点云数据的个数，每一行即为每一个点云数据的三维坐标(x,y,z)，行号作为索引号，如图6所示；
Step4.2、初始状态下，所有点云数据均处于未标记状态；如图7a所示，按索引号由小到大的顺序选取一个未被标记的点，并作为中心点，绘制一个三维球体作为遍历窗口区域(图7a中以二维表示)，将遍历窗口区域内的未被标记的点标记为与该中心点相同类别，并将其索引号排入遍历队列；在该遍历队列中，按索引号由小到大的顺序选取一个已被标记点作为下一个中心点，绘制三维球体作为遍历窗口区域，将遍历窗口区域内的未被标记的点标记为与中心点相同类别，并将其索引号排入该遍历队列中，以此类推，直到该遍历队列中最后一个中心点已无法搜集到未标记的新点加入，意味着一次聚类分割的完成，将该遍历队列中的所有点的序号集合，作为一类。如图7b和图7c中箭头所指数字为当前遍历的中心点。所述三维球体的半径为0.01m。
Step4.3、在剩余未被标记的点中，按索引号由小到大的顺序选取下一个未被标记的点，重复Step4.2的操作，完成第二次分类，以此类推，直到矩阵中所有点云数据均被遍历分类；获得聚类分割后的点云数据。如图8所示，实施例马铃薯聚类分割后的点云数据图像。
Step5、点云三维映射到二维
如图9所示，具体过程如下：
由于点云数据与二维图像数据结构具有差异，不能直接进行红外图像与三维点云数据配准，因此需要将点云投射在二维平面上构建三维与二维的对应关系，因为拍摄时为垂直于地面拍摄，映射过程可理解为三维空间中摄像机拍摄图像的过程。三维投射成二维图像的过程可以理解为虚拟空间中的拍摄过程，利用虚拟空间中的虚拟内参矩阵可将点云投射到图像中。
Step5.1、通过公式1将聚类分割后的点云数据中的各点云的三维坐标P(x1,y1,z1)转换为二维坐标U(u,v)，获得图像矩阵；
式中，u为投射后图像的横坐标，v为投射后图像的纵坐标，u0为光轴中心在图像中的投影，也就是图像中心的横坐标；v0为图像中心的纵坐标；u’为虚拟成像的横坐标，v’为虚拟成像的纵坐标；α为点云坐标映射到图像坐标的放大倍数；z为虚拟成像的竖坐标，x1为P点的横坐标，y1为P点的纵坐标，z1为P点的竖坐标。其中，三维坐标的单位为米，二维坐标的单位为像素。
Step5.2、将Step5.1获得的各点云的二维坐标的坐标值取整；然后，将点云的颜色信息构成的颜色矩阵直接赋值到Step5.1获得的图像矩阵中对应的位置；
Step5.3、将Step5.2赋值后的图像进行中值滤波，输出一张作物冠层区域的二维图像。
Step6、二维图像与热红外图像配准；
提取Step5获得的二维图像中作物冠层区域的坐标，与Step1获取的热红外图像进行配准，获得配准后的融合图像。此时的配准是在热红外与可见光图像配准的基础上完成的。
因为传统的图像配准方法如SURF等基于特征的配准，在复杂的大田环境中经常出现误匹配到土壤等情况。本发明中将常用于医学中的基于互信息的多模态配准方法应用于田间马铃薯图像中。
如图10所示，热红外图像与二维图像的配准方法为：
将Step5获得的作物冠层区域的二维图像作为参考图像y，Step1获取的热红外图像作为浮动图像x，其坐标系为r(x)，以冠层图像为映射坐标系f(y)，确定图像间的空间变换参数。
根据坐标变换，将浮动图像x中的点变换到参考图像y坐标系中，对变换后的非整数坐标上的点进行灰度差值，通过公式2计算参考图像与浮动图像的互信息。
式中，S(x,y)表示参考图像x与浮动图像y两者之间的互信息测度值，P(x,y)代表图像x与图像y之间的联合概率密度，P(x)函数表示参考图像x的边缘概率密度，P(y)函数表示浮动图像y的边缘概率密度。
该方法计算的互信息测度值应该为一个负值，因此两幅图像相关性最大时，该值是一个较小的值。
改变空间变换参数的值，确定使S(x,y)达到最小值时对应的空间变换参数。
如图11所示，其中(a)是原始采集的热红外与可见光图像组，(b)是传统采用surf特征方法进行图像配准的结果，(c)是基于互信息的图像配准方法进行图像配准的结果。可以看出本发明基于互信息进行图像配准相对于传统采用surf特征方法进行图像配准，可以实现很好的配准效果，其中热红外中的湿参考面由于温度较低，在配准后图像中有清晰的显示。如图12所示，实施例马铃薯的热红外图像与二维图像配准结果。
Step7、索引冠层温度矩阵，提取作物冠层的温度。
根据Step6获得的配准后的融合图像的作物冠层区域的坐标，索引到相应的冠层温度，获得作物冠层三维温度，如图13所示的马铃薯植株冠层三维温度分布图。
Step8、计算CWSI的值。
根据Step7获得的作物冠层三维温度分布图和公式获得作物水分胁迫指数CWSI的值。
式中，Twet为模拟作物叶片的气孔完全打开处于全蒸腾作用下的湿参考面温度，Tdry为模拟作物气孔完全关闭不进行蒸腾作用时候的干参考面温度，Tdry＝Tair+5℃，Tair为空气(环境)温度，Tcrop为作物冠层温度，以上单位都是℃。
Claims (7)
1.一种基于热红外相机和RGB-D相机的作物CWSI的检测方法，其特征在于，所述方法包括如下步骤：
Step1、通过热红外相机和RGB-D相机垂直于地面拍摄，同时获取同一株作物的包含湿参考面的热红外图像以及左右视角的两张可见光图像；
所述湿参考面为放置在作物旁的用于模拟作物叶片的气孔完全打开处于全蒸腾作用下状态的装置；
Step2、根据RGB-D相机左右视角拍摄的两张可见光图像，利用相机自带的SDK生成相应的原始点云深度图像；所述深度图像中点云数据包含三维坐标信息和颜色信息；
Step3、点云数据预处理；
对原始点云深度图像采用动态阈值分割，排除明显不属于绿叶的背景信息，获得预处理后的点云数据；
Step4、点云数据聚类分割；
Step4.1、将预处理后的点云数据的三维坐标存放在一个N×3的矩阵中，N为点云数据的个数，每一行即为每一个点云数据的三维坐标(x,y,z)，行号作为索引号；
Step4.2、按索引号由小到大的顺序选取一个未被标记的点，并作为中心点，绘制一个三维球体作为遍历窗口区域，将遍历窗口区域内的未被标记的点标记为与该中心点相同类别，并将其索引号排入遍历队列；在该遍历队列中，按索引号由小到大的顺序选取一个已被标记点作为下一个中心点，绘制三维球体作为遍历窗口区域，将遍历窗口区域内的未被标记的点标记为与中心点相同类别，并将其索引号排入该遍历队列中，以此类推，直到该遍历队列中最后一个中心点已无法搜集到未标记的新点加入，意味着一次聚类分割的完成，将该遍历队列中的所有点的序号集合，作为一类；
Step4.3、在剩余未被标记的点中，按索引号由小到大的顺序选取下一个未被标记的点，重复Step4.2的操作，完成第二次分类，以此类推，直到矩阵中所有点云数据均被遍历分类；获得聚类分割后的点云数据；
Step5、点云三维映射到二维；
Step5.1、通过公式1将聚类分割后的点云数据中的各点云的三维坐标P(x1,y1,z1)转换为二维坐标U(u,v)，获得图像矩阵；
式中，u为投射后图像的横坐标，v为投射后图像的纵坐标，u0为光轴中心在图像中的投影，也就是图像中心的横坐标；v0为图像中心的纵坐标；u’为虚拟成像的横坐标，v’为虚拟成像的纵坐标；α为点云坐标映射到图像坐标的放大倍数；z为虚拟成像的竖坐标，x1为P点的横坐标，y1为P点的纵坐标，z1为P点的竖坐标；
Step5.2、将Step5.1获得的各点云的二维坐标的坐标值取整；然后，将点云的颜色信息构成的颜色矩阵直接赋值到Step5.1获得的图像矩阵中对应的位置；
Step5.3、将Step5.2赋值后的图像进行中值滤波，输出一张作物冠层区域的二维图像；
Step6、二维图像与热红外图像配准；
提取Step5获得的二维图像中作物冠层区域的坐标，与Step1获取的热红外图像进行配准，获得配准后的融合图像；
Step7、索引冠层温度矩阵，提取作物冠层的温度；
根据Step6获得的配准后的融合图像的作物冠层区域的坐标，索引到相应的冠层温度，获得作物冠层三维温度；
Step8、计算CWSI的值；
根据Step7获得的作物冠层三维温度分布图和公式获得作物水分胁迫指数CWSI的值；
式中，Twet为模拟作物叶片的气孔完全打开处于全蒸腾作用下的湿参考面温度，单位为℃；Tdry为模拟作物气孔完全关闭不进行蒸腾作用时候的干参考面温度，单位为℃；Tdry＝Tair+5℃，Tair为空气/环境温度，单位为℃；Tcrop为作物冠层温度，单位为℃。
2.根据权利要求1所述的方法，其特征在于，Step1中，湿参考面装置包括塑料盒、聚苯乙烯泡沫板、吸水性无纺布和粘胶混合布、聚酯无纺布；塑料盒中装有水，聚苯乙烯泡沫板覆盖在塑料盒的水面上，在聚苯乙烯泡沫板上面包裹一层吸水性无纺布和粘胶混合布，之后再包裹一层聚酯无纺布，这种情况下，聚苯乙烯泡沫板上的材料会吸收水分，有效减少蒸发，使其保持较低温度，模拟作物叶片的气孔完全打开处于全蒸腾作用下的温度，即湿参考面温度Twet，单位为℃。
3.根据权利要求2所述的方法，其特征在于，塑料盒的尺寸为40cm×30cm×12cm；吸水性无纺布和粘胶混合布的厚度为0.5cm；聚酯无纺布的厚度为2cm。
4.根据权利要求1所述的方法，其特征在于，Step4.2中，所述三维球体的半径为0.01m。
5.根据权利要求1所述的方法，其特征在于，Step6中，热红外图像与二维图像的配准方法为：
将Step5获得的作物冠层区域的二维图像作为参考图像y，Step1获取的热红外图像作为浮动图像x，其坐标系为r(x)，以冠层图像为映射坐标系f(y)，根据坐标变换，将浮动图像x中的点变换到参考图像y坐标系中，对变换后的非整数坐标上的点进行灰度差值，通过公式2计算参考图像与浮动图像的互信息；
式中，S(x,y)表示参考图像x与浮动图像y两者之间的互信息测度值，P(x,y)代表图像x与图像y之间的联合概率密度，P(x)函数表示参考图像x的边缘概率密度，P(y)函数表示浮动图像y的边缘概率密度；
改变空间变换参数的值，确定使S(x,y)达到最小值时对应的空间变换参数。
6.根据权利要求1-5中任一项所述的方法，其特征在于，所述方法适用于茄科作物的作物水分胁迫指数的检测。
7.根据权利要求6所述的方法，其特征在于，所述茄科作物包括马铃薯、番茄、辣椒、茄、枸杞。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011598864.XA CN112686859B (zh) | 2020-12-30 | 2020-12-30 | 基于热红外和rgb-d相机的作物cwsi的检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011598864.XA CN112686859B (zh) | 2020-12-30 | 2020-12-30 | 基于热红外和rgb-d相机的作物cwsi的检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112686859A CN112686859A (zh) | 2021-04-20 |
| CN112686859B true CN112686859B (zh) | 2024-03-15 |
Family
ID=75454261
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011598864.XA Active CN112686859B (zh) | 2020-12-30 | 2020-12-30 | 基于热红外和rgb-d相机的作物cwsi的检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112686859B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113639643B (zh) * | 2021-06-24 | 2023-12-22 | 河南农业大学 | 基于rgb-d深度相机的作物苗期高度检测方法 |
| CN113643231B (zh) * | 2021-06-24 | 2024-04-09 | 河南农业大学 | 一种基于深度图像的作物出苗质量检测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018025842A1 (ja) * | 2016-08-04 | 2018-02-08 | 株式会社Ｈｉｅｌｅｒｏ | 点群データ変換システム、その方法、及びプログラム |
| CN108387262A (zh) * | 2018-01-03 | 2018-08-10 | 江苏大学 | 一种基于悬挂式滑轨平台的温室信息自动监测方法 |
| CN109269645A (zh) * | 2018-09-06 | 2019-01-25 | 西北农林科技大学 | 一种基于无人机可见光和热红外遥感的大田玉米冠层温度提取方法 |
| WO2019100647A1 (zh) * | 2017-11-21 | 2019-05-31 | 江南大学 | 一种基于rgb-d相机的物体对称轴检测方法 |
-
2020
- 2020-12-30 CN CN202011598864.XA patent/CN112686859B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018025842A1 (ja) * | 2016-08-04 | 2018-02-08 | 株式会社Ｈｉｅｌｅｒｏ | 点群データ変換システム、その方法、及びプログラム |
| WO2019100647A1 (zh) * | 2017-11-21 | 2019-05-31 | 江南大学 | 一种基于rgb-d相机的物体对称轴检测方法 |
| CN108387262A (zh) * | 2018-01-03 | 2018-08-10 | 江苏大学 | 一种基于悬挂式滑轨平台的温室信息自动监测方法 |
| WO2019134453A1 (zh) * | 2018-01-03 | 2019-07-11 | 江苏大学 | 一种基于悬挂式滑轨平台的温室信息自动监测方法 |
| CN109269645A (zh) * | 2018-09-06 | 2019-01-25 | 西北农林科技大学 | 一种基于无人机可见光和热红外遥感的大田玉米冠层温度提取方法 |
Non-Patent Citations (1)
| Title |
|---|
| 大田农业节水物联网技术应用现状与发展趋势;田宏武;郑文刚;李寒;;农业工程学报(第21期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112686859A (zh) | 2021-04-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109146948B (zh) | 基于视觉的作物长势表型参数量化与产量相关性分析方法 | |
| Wang et al. | Image segmentation of overlapping leaves based on Chan–Vese model and Sobel operator | |
| CN109872397B (zh) | 一种基于多目立体视觉的飞机零件的三维重建方法 | |
| CN106570903B (zh) | 一种基于rgb-d摄像头的视觉识别与定位方法 | |
| Lati et al. | Estimating plant growth parameters using an energy minimization-based stereovision model | |
| CN112686859B (zh) | 基于热红外和rgb-d相机的作物cwsi的检测方法 | |
| CN108007438A (zh) | 无人机航空摄影遥感湿地植物生物量的估测方法 | |
| CN106485655A (zh) | 一种基于四旋翼飞行器航拍地图生成系统及方法 | |
| CN110728671B (zh) | 基于视觉的无纹理场景的稠密重建方法 | |
| CN107953329A (zh) | 物体识别和姿态估计方法、装置及机械臂抓取系统 | |
| CN106651900A (zh) | 一种基于轮廓分割的高架原位草莓三维建模方法 | |
| Santos et al. | 3D plant modeling: localization, mapping and segmentation for plant phenotyping using a single hand-held camera | |
| CN108182706B (zh) | 一种焚烧物的监控方法及系统 | |
| CN104331686B (zh) | 一种土壤地表秸秆覆盖率人工辅助识别系统 | |
| Zhang et al. | 3D monitoring for plant growth parameters in field with a single camera by multi-view approach | |
| CN112200854B (zh) | 一种基于视频图像的叶类蔬菜三维表型测量方法 | |
| Lou et al. | Accurate multi-view stereo 3D reconstruction for cost-effective plant phenotyping | |
| CN110533774B (zh) | 一种基于智能手机的三维模型重建方法 | |
| CN115375842A (zh) | 一种植株三维重建方法、终端及存储介质 | |
| CN111060006A (zh) | 一种基于三维模型的视点规划方法 | |
| CN113902812A (zh) | 一种基于多标定板的激光雷达与相机外参自动标定方法 | |
| Peng et al. | Binocular-vision-based structure from motion for 3-D reconstruction of plants | |
| CN110610438B (zh) | 一种农作物冠层叶柄夹角计算方法及系统 | |
| Yin et al. | Individual tree parameters estimation for chinese fir (cunninghamia lanceolate (lamb.) hook) plantations of south china using UAV Oblique Photography: Possibilities and Challenges | |
| CN108596032A (zh) | 一种视频中打架行为检测方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |