CN113947729A - 基于竞争网络的植株点云数据深度图像处理方法及系统 - Google Patents

基于竞争网络的植株点云数据深度图像处理方法及系统 Download PDF

Info

Publication number
CN113947729A
CN113947729A CN202111340543.4A CN202111340543A CN113947729A CN 113947729 A CN113947729 A CN 113947729A CN 202111340543 A CN202111340543 A CN 202111340543A CN 113947729 A CN113947729 A CN 113947729A
Authority
CN
China
Prior art keywords
point cloud
cloud data
image
plant
depth image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111340543.4A
Other languages
English (en)
Inventor
陈盛德
赵英杰
兰玉彬
王乐乐
常坤
陈乐君
刘圣博
关润洪
廖玲君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Agricultural University
Original Assignee
South China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Agricultural University filed Critical South China Agricultural University
Priority to CN202111340543.4A priority Critical patent/CN113947729A/zh
Publication of CN113947729A publication Critical patent/CN113947729A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于竞争网络的植株点云数据深度图像处理方法及系统，方法包括：获取同步时间戳的田间植株的点云数据和二维图像；将点云数据作为距离信息，投影为灰度图像，并将灰度图像与二维图像进行匹配，得到深度图像；分别对点云数据和与之对应的深度图像进行分类和标注，组成多组成对数据样本；构建竞争网络模型，利用多组成对数据样本对竞争网络模型进行训练；利用训练好的竞争网络模型对待实施作业的田间植株点云数据的深度图像进行特征识别，确定植株需要作业的关键部位。本发明利用竞争网络模型对点云数据的深度图像进行识别，能够较好地识别植株的特征点，提高无人机的作业精度。

Description

基于竞争网络的植株点云数据深度图像处理方法及系统
技术领域
本发明涉及农田图像处理技术领域，更具体的说是涉及一种基于竞争网络的植株点云数据深度图像处理方法及系统。
背景技术
在人工智能领域，激光雷达是重要的环境探测和感知设备之一。考虑到未来我国的农业管理的信息化程度的不断提高，激光雷达在农业遥感中的应用会越来越多。从工作原理来看，激光雷达可以按照预设的角度快速地发射和接收反射回来的激光脉冲束，以激光点云的方式来感知田间植株信息，并对一定范围内的植株进行点云处理和重构，构建植株的三维形态结构。由于光的直线传播和速度固定两个特征，所形成的三维图像能够为无人机农事作业提供更精准的信息，在此基础上无人机可以更加智能更加高效的进行作业。
但是，在农田环境中，激光雷达的应用也存在一定的问题。其中包括： (1)激光点云的数据量非常大，在大范围的场景处理过程中效率较低，耗时太长；(2)单个激光束在遇到具备一定反射系数的障碍物时会及时反射回来，在遇到反射系数低的物体可能由于穿透和吸收而形成点云空洞；(3)受预定的激光雷达张角和感知区域的影响，激光雷达对周围环境扫描所形成的点云形态不一；(4)不同的激光雷达所能够获取的点云数据稀疏程度不同，在实际应用中往往会受建设成本的约束而不得不使用高数据稀疏度的设备。
针对激光雷达点云数据在农田植株检测过程中存在的不足，可以将其处理成深度图像，在保持其高感知精度的前提下，降低计算复杂度、简化处理过程、提高处理效率。因此，如何由植株的点云数据生成最优的深度图像，以最大程度的保留其感知精度，在农田植株和感知领域具有非常重要的作用。
发明内容
有鉴于此，本发明提供了一种基于竞争网络的植株点云数据深度图像处理方法，通过将点云数据转换成深度图像，并利用竞争网络模型对深度图像进行识别，能够较好地识别植株的特征点，从而有效地提高无人机作业时的精度。
为了实现上述目的，本发明采用如下技术方案：
一种基于竞争网络的植株点云数据深度图像处理方法，包括以下步骤：
S1、利用无人机搭载激光雷达和相机获取田间植株的同步时间戳的点云数据和二维图像；
S2、将点云数据作为距离信息，投影为灰度图像，并将灰度图像与二维图像进行匹配，得到深度图像；
S3、分别对点云数据和与之对应的深度图像进行分类和标注，并将分类后、且一一对应的点云数据和深度图像组成多组成对数据样本；
S4、构建竞争网络模型，利用多组成对数据样本对所述竞争网络模型进行训练；
S5、利用训练好的所述竞争网络模型对待实施作业的田间植株点云数据的深度图像进行特征识别，确定植株需要作业的关键部位。
可选的，在上述一种基于竞争网络的植株点云数据深度图像处理方法中， S1包括：
S11、分别提取所述相机获取的二维图像信息和所述激光雷达获取的点云，根据数据上携带的时间戳对图像数据和点云进行时间同步处理；
S12、对时间同步后的二维图像信息进行处理，得到无人机的飞行速度及飞行方向信息。
S13、对点云时间同步后，得到最终的田间植株的点云数据。
可选的，在上述一种基于竞争网络的植株点云数据深度图像处理方法中， S12中无人机的飞行方向的确定过程为：
定义激光雷达开始检测的时刻为时间戳a，分别提取相机在时间戳a之前和之后的两帧图像；
定义两帧图像的采集时刻分别为时间戳b和时间戳c，被测植株在时间戳 b和时间戳c对应图像上的位置分别为A和B，将A、B两点连线作为无人机的飞行方向。
可选的，在上述一种基于竞争网络的植株点云数据深度图像处理方法中， S2包括：
S21、以激光雷达的布设点为坐标原点，以无人机飞行夹角方向的正方向为X轴，以平行于地面且垂直于无人机飞行方向作为Y轴；在Y轴上距离坐标原点Mmax距离处做一个垂直于y轴的平面，作为投影平面，令各点云数据沿y轴向所述投影平面投影，获取点云数据中各点到所述投影平面的距离M (i，j)；
S22、根据点云数据中各点到所述投影平面的距离，计算投影后所得到的所有点的像素灰度值G；其中，距离越远的点在投影后得到的投影灰度越深，反之，则灰度越浅，生成点云数据的灰度图像；点云数据的灰度图像中各像素点的灰度值为G(i，j)，其表达式如下：
G(i，j)＝255*M(i，j)/max(M(i，j))；
其中，点云数据的灰度图像的像素灰度范围为[0,255]，黑色为0，白色为255；
S23、将所述灰度图像与所述二维图像进行匹配，得到点云数据的深度图像。
可选的，在上述一种基于竞争网络的植株点云数据深度图像处理方法中， S23中，所述灰度图像和所述二维图像匹配的过程中，还包括：分别利用高度传感器和速度传感器获取无人机的飞行高度信息和飞行速度信息，将所述高度信息和所述速度信息作为标定信息，并对所述二维图像和所述灰度图像进行配准。
可选的，在上述一种基于竞争网络的植株点云数据深度图像处理方法中，S3中根据田间信息的关键部位信息对点云数据和与之对应的深度图像进行分类和标注；所述关键部位至少包括：土壤和不同作物。
可选的，在上述一种基于竞争网络的植株点云数据深度图像处理方法中， S4中，所述竞争网络模型包括生成器和判别器；所述生成器内置一个二维卷积神经网络，所述判别器内置一个三维卷积神经网络；对所述竞争网络模型的训练过程包括：
S41、利用点云数据的深度图像对所述二维卷积神经网络进行训练；利用原始的点云数据对所述三维卷积神经网络进行训练；
S42、对比所述二维卷积神经网络和所述三维卷积神经网络输出结果之间的差别，调整目标函数LcGAN达到最优，得到最终的竞争网络模型；其中，所述目标函数的表达式为：
LcGAN(G,D)＝Eu,y∈data(u,y)[logD(u,y)]+Eu∈data(u),z[log(1-D(u,G(u,z))]；
其中，G，D分别表示生成器和判别器，data表示训练数据集，(u，y) 表示其中的一组成对数据样本，u表示原始点云数据，y表示点云数据的深度图像；判别器D(u，y)表示在观测点云数据u条件下，D判断深度图像y为真实图像的概率；生成器G(u，z)表示学习点云数据u的条件下生成的深度图像； (1-D(u，G(u,z)))表示D判断G(u，z)生成深度图像的概率；E是判别器在整个训练数据集上的总体判别期望均值。
可选的，在上述一种基于竞争网络的植株点云数据深度图像处理方法中， S5包括：
S51、将待实施作业的田间植株的点云数据处理为与之对应的深度图像，并输入至训练好的所述竞争网络模型；
S52、对待实施作业植株的点云数据的深度图像的表面法线进行预估计，通过平面分割算法将地面与植株进行分割；
S53、通过欧几里得聚类算法对不同植株进行分割，得到多个植株对应的查询点；
S54、采用最小二乘平面拟合估计，对从查询点的最近邻点创建协方差矩阵的特征向量和特征值进行分析；对于每个查询点pi,按如下公式组成协方差矩阵C；
Figure BDA0003351733400000041
其中，k为查询点pi点附近的邻近点数目，
Figure BDA0003351733400000042
为3D质心最近的邻近点，λj是第j个协方差矩阵的特征值，
Figure BDA0003351733400000043
是第j个协方差矩阵的特征向量。
经由上述的技术方案可知，与现有技术相比，本发明先将激光雷达采集的植株点云数据处理为与之对应的深度图像，并将原始点云数据和点云数据的深度图像作为一对数据样本，对竞争网络进行训练，随着网络不停地进行迭代，最终感知机会优化成一个可以使用的竞争网络模型，实现基于深度学习的植株特征检测和识别功能。本发明能够实现对农田信息的准确获取，能够充分利用激光雷达的高精度检测能力，实现对于农田的作物信息包括作物种类、作物面积、土壤的精确识别，并能对作业部位进行精准识别，有效提升无人机作业水平和作业效率。
本发明还提供一种基于竞争网络的植株点云数据深度图像处理系统，包括：
图像获取模块，用于获取待实施作业的田间植株的同步时间戳的点云数据和二维图像；
深度图像生成模块，用于将所述点云数据作为距离信息，投影为灰度图像，并将灰度图像与二维图像进行匹配，得到深度图像；以及
植株特征识别模块，用于采用预先训练好的竞争网络模型对待实施作业的田间植株点云数据的深度图像进行特征识别，确定植株需要作业的关键部位；所述竞争网络模型预先通过带标注的不同类别的点云数据和与之对应的深度图像形成的多组成对数据样本训练而成。
可选的，在上述一种基于竞争网络的植株点云数据深度图像处理系统中，所述竞争网络模型包括生成器和判别器；所述生成器内置一个二维卷积神经网络，所述判别器内置一个三维卷积神经网络；所述二维卷积神经网络通过带标注的点云数据的深度图像训练而成；所述三维卷积神经网络通过带标注的原始点云数据训练而成。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明提供的基于竞争网络的植株点云数据深度图像处理方法的流程图；
图2为本发明提供的基于竞争网络的植株点云数据深度图像处理系统的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例公开了一种基于竞争网络的植株点云数据深度图像处理方法，包括以下步骤：
S1、利用无人机搭载激光雷达和相机获取同步时间戳的田间植株的点云数据和二维图像；
S2、将点云数据作为距离信息，投影为灰度图像，并将灰度图像与二维图像进行匹配，得到深度图像；
S3、分别对点云数据和与之对应的深度图像进行分类和标注，并将分类后、且一一对应的点云数据和深度图像组成多组成对数据样本；
S4、构建竞争网络模型，利用多组成对数据样本对竞争网络模型进行训练；
S5、利用训练好的竞争网络模型对待实施作业的田间植株点云数据的深度图像进行特征识别，确定植株需要作业的关键部位。
本发明实施例中，无人机搭载的激光雷达获取点云数据，点云数据作为距离信息，投影生成灰度图作为相机二维图像的距离信息，将二维图像与灰度图进行匹配生成的深度图像为具有距离信息与图像信息的点云数据的深度图像。而后，对激光雷达的点云数据和深度图像分别进行聚类分割、分类并标注，将标注后的点云数据与深度图像一一对应形成训练样本，对竞争网络模型进行训练，最终通过竞争网络模型进行特征识别，确定作业的关键部位。
下面对上述步骤做进一步的描述。
S1、利用无人机搭载激光雷达和相机获取同步时间戳的田间植株的点云数据和二维图像。具体包括：
S11、无人机飞到作业区域，分别提取相机获取的图像信息和激光雷达获取的点云数据，根据数据上携带的时间戳对图像数据和点云数据进行时间同步处理；
S12，对时间同步后的图像信息进行处理，得到无人机的飞行高度、速度及飞行方向信息。
其中，无人机的飞行方向的确定过程为：
定义激光雷达开始检测的时刻为时间戳a，分别提取相机在时间戳a之前和之后的两帧图像；
定义两帧图像的采集时刻分别为时间戳b和时间戳c，被测植株在时间戳 b和时间戳c对应图像上的位置分别为A和B，将A、B两点连线作为无人机的飞行方向。
同时，无人机速度信息可以通过时间戳b和时间戳c对应的图像A和图像B获得，也可以通过额外安装速度传感器得到。
二维图像和灰度图像匹配过程需要有无人机的高度信息以及速度信息才能进行配准，因此高度与速度信息为二者进行标定提供参考信息。
S13，对点云时间同步后，得到最终的田间植株的点云数据。
点云数据中的每个3D点P＝[x,y,z]，其中X-Y-Z轴对应于激光雷达的前左上，深度D是测量点与激光雷达传感器的距离。
Figure BDA0003351733400000071
φ的激光偏转角是X轴和激光之间的角度：
Figure BDA0003351733400000072
I指强度：
I(P)＝R/D(p)2。
其中，R是对象反射率。
S2、将点云数据作为距离信息，投影为灰度图像，并将灰度图像与二维图像进行匹配，得到深度图像。具体包括：
S21、以激光雷达的布设点为坐标原点，以无人机飞行夹角方向的正方向为X轴，以平行于地面且垂直于无人机飞行方向作为Y轴；在Y轴上距离坐标原点Mmax距离处做一个垂直于y轴的平面，作为投影平面，令各点云数据沿y轴向投影平面投影，获取点云数据中各点到投影平面的距离M(i，j)；
S22、根据点云数据中各点到投影平面的距离，计算投影后所得到的所有点的像素灰度值G；其中，距离越远的点在投影后得到的投影灰度越深，反之，则灰度越浅，生成点云数据的灰度图像；点云数据的灰度图像中各像素点的灰度值为G(i，j)，其表达式如下：
G(i，j)＝255*M(i，j)/max(M(i，j))；
其中，点云数据的灰度图像的像素灰度范围为[0,255]，黑色为0，白色为255；
S23、将所述灰度图像与所述二维图像进行匹配，得到点云数据的深度图像。该步骤中，分别利用高度传感器和速度传感器获取无人机的飞行高度信息和飞行速度信息，将高度信息和速度信息作为标定信息，并对二维图像和灰度图像进行配准。
S3、分别对点云数据和与之对应的深度图像进行分类和标注，并将分类后、且一一对应的点云数据和深度图像组成多组成对数据样本，多组成对数据样本形成训练数据集，将训练数据集分为两部分，一部分用于训练模型，一部分用于验证模型。针对田间点云数据的深度图像，人工提取田间信息的关键部位特征，包括作物，土壤等几个类别的深度图像。
S4、构建竞争网络模型，利用多组成对数据样本对竞争网络模型进行训练。
竞争网络模型包括生成器和判别器；生成器内置一个二维卷积神经网络，判别器内置一个三维卷积神经网络；对竞争网络模型的训练过程包括：
S41、利用点云数据的深度图像对二维卷积神经网络进行训练；利用原始的点云数据对三维卷积神经网络进行训练；
S42、对比二维卷积神经网络和三维卷积神经网络输出结果之间的差别，调整目标函数LcGAN达到最优，得到最终的竞争网络模型；其中，目标函数的表达式为：
LcGAN(G,D)＝Eu,y∈data(u,y)[logD(u,y)]+Eu∈data(u),z[log(1-D(u,G(u,z))]；
其中，G，D分别表示生成器和判别器，data表示训练数据集，(u，y) 表示其中的一组成对数据样本，u表示原始点云数据，y表示点云数据的深度图像；判别器D(u，y)表示在观测点云数据u条件下，D判断深度图像y为真实图像的概率；生成器G(u，z)表示学习点云数据u的条件下生成的深度图像； (1-D(u，G(u,z)))表示D判断G(u，z)生成深度图像的概率；E是判别器在整个训练数据集上的总体判别期望均值。
S5、利用训练好的竞争网络模型对待实施作业的田间植株点云数据的深度图像进行特征识别，确定植株需要作业的关键部位。具体包括：
S51、无人机飞至作业区域，采集田间植株的点云数据和图像数据；将待实施作业的田间植株的点云数据处理为与之对应的深度图像，并输入至训练好的竞争网络模型；
S52、对待实施作业植株的点云数据的深度图像的表面法线进行预估计，通过平面分割算法将地面与植株进行分割；
S53、通过欧几里得聚类算法对不同植株进行分割，得到多个植株对应的查询点；
S54、采用最小二乘平面拟合估计，对从查询点的最近邻点创建协方差矩阵的特征向量和特征值进行分析；对于每个查询点pi,按如下公式组成协方差矩阵C；
Figure BDA0003351733400000091
其中，k为查询点pi点附近的邻近点数目，
Figure BDA0003351733400000092
为3D质心最近的邻近点，λj是第j个协方差矩阵的特征值，
Figure BDA0003351733400000093
是第j个协方差矩阵的特征向量。
如图2所示，本发明实施例还提供一种基于竞争网络的植株点云数据深度图像处理系统，其特征在于，包括：
图像获取模块，用于获取待实施作业的田间植株的同步时间戳的点云数据和二维图像；
深度图像生成模块，用于将点云数据作为距离信息，投影为灰度图像，并将灰度图像与二维图像进行匹配，得到深度图像；以及
植株特征识别模块，用于采用预先训练好的竞争网络模型对待实施作业的田间植株点云数据的深度图像进行特征识别，确定植株需要作业的关键部位；竞争网络模型预先通过带标注的不同类别的点云数据和与之对应的深度图像形成的多组成对数据样本训练而成。
在一个实施例中，竞争网络模型包括生成器和判别器；生成器内置一个二维卷积神经网络，判别器内置一个三维卷积神经网络；二维卷积神经网络通过带标注的点云数据的深度图像训练而成；三维卷积神经网络通过带标注的原始点云数据训练而成。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于竞争网络的植株点云数据深度图像处理方法，其特征在于，包括以下步骤：
S1、利用无人机搭载激光雷达和相机获取田间植株的同步时间戳的点云数据和二维图像；
S2、将点云数据作为距离信息，投影为灰度图像，并将灰度图像与二维图像进行匹配，得到深度图像；
S3、分别对点云数据和与之对应的深度图像进行分类和标注，并将分类后、且一一对应的点云数据和深度图像组成多组成对数据样本；
S4、构建竞争网络模型，利用多组成对数据样本对所述竞争网络模型进行训练；
S5、利用训练好的所述竞争网络模型对待实施作业的田间植株点云数据的深度图像进行特征识别，确定植株需要作业的关键部位。
2.根据权利要求1所述的一种基于竞争网络的植株点云数据深度图像处理方法，其特征在于，S1包括：
S11、分别提取所述相机获取的二维图像和所述激光雷达获取的点云，根据数据上携带的时间戳对图像数据和点云进行时间同步处理；
S12、对时间同步后的二维图像信息进行处理，得到无人机的飞行速度及飞行方向信息；
S13、对点云时间同步后，得到最终的田间植株的点云数据。
3.根据权利要求2所述的一种基于竞争网络的植株点云数据深度图像处理方法，其特征在于，S12中无人机的飞行方向的确定过程为：
定义激光雷达开始检测的时刻为时间戳a，分别提取相机在时间戳a之前和之后的两帧图像；
定义两帧图像的采集时刻分别为时间戳b和时间戳c，被测植株在时间戳b和时间戳c对应图像上的位置分别为A和B，将A、B两点连线作为无人机的飞行方向。
4.根据权利要求1所述的一种基于竞争网络的植株点云数据深度图像处理方法，其特征在于，S2包括：
S21、以激光雷达的布设点为坐标原点，以无人机飞行夹角方向的正方向为X轴，以平行于地面且垂直于无人机飞行方向作为Y轴；在Y轴上距离坐标原点Mmax距离处做一个垂直于y轴的平面，作为投影平面，令各点云数据沿y轴向所述投影平面投影，获取点云数据中各点到所述投影平面的距离M(i，j)；
S22、根据点云数据中各点到所述投影平面的距离，计算投影后所得到的所有点的像素灰度值G；其中，距离越远的点在投影后得到的投影灰度越深，反之，则灰度越浅，生成点云数据的灰度图像；点云数据的灰度图像中各像素点的灰度值为G(i，j)，其表达式如下：
G(i，j)＝255*M(i，j)/max(M(i，j))；
其中，点云数据的灰度图像的像素灰度范围为[0,255]，黑色为0，白色为255；
S23、将所述灰度图像与所述二维图像进行匹配，得到点云数据的深度图像。
5.根据权利要求4所述的一种基于竞争网络的植株点云数据深度图像处理方法，其特征在于，S23中，所述灰度图像和所述二维图像匹配的过程中，还包括：
分别利用高度传感器和速度传感器获取无人机的飞行高度信息和飞行速度信息，将所述高度信息和所述速度信息作为标定信息，并对所述二维图像和所述灰度图像进行配准。
6.根据权利要求1所述的一种基于竞争网络的植株点云数据深度图像处理方法，其特征在于，S3中根据田间信息的关键部位信息对点云数据和与之对应的深度图像进行分类和标注；所述关键部位至少包括：土壤和不同作物。
7.根据权利要求1所述的一种基于竞争网络的植株点云数据深度图像处理方法，其特征在于，S4中，所述竞争网络模型包括生成器和判别器；所述生成器内置一个二维卷积神经网络，所述判别器内置一个三维卷积神经网络；对所述竞争网络模型的训练过程包括：
S41、利用点云数据的深度图像对所述二维卷积神经网络进行训练；利用原始的点云数据对所述三维卷积神经网络进行训练；
S42、对比所述二维卷积神经网络和所述三维卷积神经网络输出结果之间的差别，调整目标函数LcGAN达到最优，得到最终的竞争网络模型；其中，所述目标函数的表达式为：
LcGAN(G,D)＝Eu,y∈data(u,y)[logD(u,y)]+Eu∈data(u),z[log(1-D(u,G(u,z))]；
其中，G，D分别表示生成器和判别器，data表示训练数据集，(u，y)表示其中的一组成对数据样本，u表示原始点云数据，y表示点云数据的深度图像；判别器D(u，y)表示在观测点云数据u条件下，D判断深度图像y为真实图像的概率；生成器G(u，z)表示学习点云数据u的条件下生成的深度图像；(1-D(u，G(u,z)))表示D判断G(u，z)生成深度图像的概率；E是判别器在整个训练数据集上的总体判别期望均值。
8.根据权利要求1所述的一种基于竞争网络的植株点云数据深度图像处理方法，其特征在于，S5包括：
S51、将待实施作业的田间植株的点云数据处理为与之对应的深度图像，并输入至训练好的所述竞争网络模型；
S52、对待实施作业植株的点云数据的深度图像的表面法线进行预估计，通过平面分割算法将地面与植株进行分割；
S53、通过欧几里得聚类算法对不同植株进行分割，得到多个植株对应的查询点；
S54、采用最小二乘平面拟合估计，对从查询点的最近邻点创建协方差矩阵的特征向量和特征值进行分析；对于每个查询点pi,按如下公式组成协方差矩阵C；
Figure FDA0003351733390000031
其中，k为查询点pi点附近的邻近点数目，
Figure FDA0003351733390000032
为3D质心最近的邻近点，λj是第j个协方差矩阵的特征值，
Figure FDA0003351733390000033
是第j个协方差矩阵的特征向量。
9.一种基于竞争网络的植株点云数据深度图像处理系统，其特征在于，包括：
图像获取模块，用于获取待实施作业的田间植株的同步时间戳的点云数据和二维图像；
深度图像生成模块，用于将所述点云数据作为距离信息，投影为灰度图像，并将灰度图像与二维图像进行匹配，得到深度图像；以及
植株特征识别模块，用于采用预先训练好的竞争网络模型对待实施作业的田间植株点云数据的深度图像进行特征识别，确定植株需要作业的关键部位；所述竞争网络模型预先通过带标注的不同类别的点云数据和与之对应的深度图像形成的多组成对数据样本训练而成。
10.根据权利要求8所述的一种基于竞争网络的植株点云数据深度图像处理系统，其特征在于，所述竞争网络模型包括生成器和判别器；所述生成器内置一个二维卷积神经网络，所述判别器内置一个三维卷积神经网络；所述二维卷积神经网络通过带标注的点云数据的深度图像训练而成；所述三维卷积神经网络通过带标注的原始点云数据训练而成。
CN202111340543.4A 2021-11-12 2021-11-12 基于竞争网络的植株点云数据深度图像处理方法及系统 Pending CN113947729A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111340543.4A CN113947729A (zh) 2021-11-12 2021-11-12 基于竞争网络的植株点云数据深度图像处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111340543.4A CN113947729A (zh) 2021-11-12 2021-11-12 基于竞争网络的植株点云数据深度图像处理方法及系统

Publications (1)

Publication Number Publication Date
CN113947729A true CN113947729A (zh) 2022-01-18

Family

ID=79338035

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111340543.4A Pending CN113947729A (zh) 2021-11-12 2021-11-12 基于竞争网络的植株点云数据深度图像处理方法及系统

Country Status (1)

Country Link
CN (1) CN113947729A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107123161A (zh) * 2017-06-14 2017-09-01 西南交通大学 一种基于narf和fpfh的接触网零全网三维重建方法
CN107862293A (zh) * 2017-09-14 2018-03-30 北京航空航天大学 基于对抗生成网络的雷达生成彩色语义图像系统及方法
CN109544456A (zh) * 2018-11-26 2019-03-29 湖南科技大学 基于二维图像和三维点云数据融合的全景环境感知方法
CN109670411A (zh) * 2018-11-30 2019-04-23 武汉理工大学 基于生成对抗网络的内河船舶点云数据深度图像处理方法和系统
CN110288594A (zh) * 2019-07-02 2019-09-27 河北农业大学 一种植物冠层结构性状分析方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107123161A (zh) * 2017-06-14 2017-09-01 西南交通大学 一种基于narf和fpfh的接触网零全网三维重建方法
CN107862293A (zh) * 2017-09-14 2018-03-30 北京航空航天大学 基于对抗生成网络的雷达生成彩色语义图像系统及方法
CN109544456A (zh) * 2018-11-26 2019-03-29 湖南科技大学 基于二维图像和三维点云数据融合的全景环境感知方法
CN109670411A (zh) * 2018-11-30 2019-04-23 武汉理工大学 基于生成对抗网络的内河船舶点云数据深度图像处理方法和系统
CN110288594A (zh) * 2019-07-02 2019-09-27 河北农业大学 一种植物冠层结构性状分析方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邹遇等: "基于3 维点云深度信息和质心距相结合的机器人抓取控制方法", 《高技术通讯》, vol. 30, no. 5, 31 May 2020 (2020-05-31), pages 508 *

Similar Documents

Publication Publication Date Title
CN109670411B (zh) 基于生成对抗网络的船舶点云深度图像处理方法和系统
CN105678689B (zh) 高精地图数据配准关系确定方法及装置
CN110221311B (zh) 基于tls和uav自动化提取高郁闭林分树高的方法
Vandapel et al. Natural terrain classification using 3-d ladar data
CN111709981A (zh) 特征线融合的激光点云与模拟图像的配准方法
Pyysalo et al. Reconstructing tree crowns from laser scanner data for feature extraction
CN107560592B (zh) 一种用于光电跟踪仪联动目标的精确测距方法
CN111045000A (zh) 监测系统和方法
CN105547244B (zh) 一种结合立体像对的激光高度计高程控制点生成方法
CN115943439A (zh) 一种基于雷视融合的多目标车辆检测及重识别方法
CN111781608A (zh) 一种基于fmcw激光雷达的运动目标检测方法及系统
CN113050074B (zh) 无人驾驶环境感知中相机与激光雷达标定系统及标定方法
CN111359913A (zh) 一种通过激光雷达分选矿石的方法
CN114140539A (zh) 一种室内物体的位置获取方法和装置
CN117409339A (zh) 一种用于空地协同的无人机作物状态视觉识别方法
Lalonde et al. Automatic three-dimensional point cloud processing for forest inventory
CN106709432B (zh) 基于双目立体视觉的人头检测计数方法
CN113496163B (zh) 障碍物识别方法和装置
Sun et al. Automatic targetless calibration for LiDAR and camera based on instance segmentation
CN113947729A (zh) 基于竞争网络的植株点云数据深度图像处理方法及系统
CN113379738A (zh) 一种基于图像的疫木检测与定位方法及系统
CN115830474A (zh) 一种识别野生藏药独一味及其分布并计算其产量的方法与系统
CN113792645A (zh) 一种融合图像和激光雷达的ai眼球
Wen et al. Night-Time Measurement and Skeleton Recognition Using Unmanned Aerial Vehicles Equipped with LiDAR Sensors Based on Deep Learning Algorithms
Zhang et al. Research on binocular real-time ranging method in window area

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination