CN113128405B - 一种结合语义分割与点云处理的植物识别与模型构建方法 - Google Patents

一种结合语义分割与点云处理的植物识别与模型构建方法 Download PDF

Info

Publication number
CN113128405B
CN113128405B CN202110425191.6A CN202110425191A CN113128405B CN 113128405 B CN113128405 B CN 113128405B CN 202110425191 A CN202110425191 A CN 202110425191A CN 113128405 B CN113128405 B CN 113128405B
Authority
CN
China
Prior art keywords
plant
point cloud
image
model
semantic segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110425191.6A
Other languages
English (en)
Other versions
CN113128405A (zh
Inventor
龚光红
王丹
戚咏劼
李妮
李莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202110425191.6A priority Critical patent/CN113128405B/zh
Publication of CN113128405A publication Critical patent/CN113128405A/zh
Application granted granted Critical
Publication of CN113128405B publication Critical patent/CN113128405B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种结合语义分割与点云处理的植物识别与模型构建方法，包括：1、根据倾斜摄影所得地景图像生成正射影像；2、训练深度学习网络，由神经网络对正射影像进行语义分割识别植物区域；3、生成图像对应的点云，通过坐标系转换实现点云数据与正射影像的坐标对应；4、分割点云数据，获取植物区域点云；5、结合倾斜摄影图像、点云数据，通过k‑means点云聚类、目标检测等方法进一步识别植物种类；6、建立植物模型库；7、对植物区域点云进行处理，确定其包含的植物种类、位置、尺寸等参数，导入植物模型对点云进行替换；8、将植物模型转换为所需格式。本发明能够实现植物种类的高效、准确识别以及具有真实感的三维植物场景构建。

Description

一种结合语义分割与点云处理的植物识别与模型构建方法
技术领域
本发明涉及图像处理与三维场景自动构建技术领域，尤其涉及一种结合语义分割与点云处理的植物识别与模型构建方法。
背景技术
大范围地景图像所包含植物的种类识别与三维模型构建一直是虚拟现实的重要研究内容之一，通过对倾斜摄影所采集的地景图像进行相机标定、特征提取、立体匹配、稀疏重建、稠密重建等步骤，即可从二维影像中恢复出场景的三维点云数据，应用于后续的模型重建，从而服务于虚拟现实、环境仿真等领域。要实现植物区域的景物识别和场景构建，首先需要识别出地景图像中所包含的植物类型，然后对其点云数据进行处理，以生成具有真实感的植物模型。
语义分割是指给定一张图片，计算机可以将图片中所包含的物体实例的种类及其位置描述出来，从而实现对于物体的分类和分割。近年来，随着深度学习技术的发展，图像的语义分割广泛地应用于场景理解和多目标间相互关系的推断。将语义分割技术应用于高分辨率地景图像，可以对图像中所包含的植物进行快速识别和分类，克服传统图像识别方法对于高分辨率、大数据量图像识别速度慢、准确率低的弊端，从而服务于后续的植物场景构建。但是语义分割对于植物的识别效果很大程度上依赖于深度学习网络训练所使用的数据集标注效果，而由于倾斜摄影图像为无人机携带相机在空中拍摄获得，其独特的拍摄视角使得人为标注实现细致的植物分类很难实现，仍需结合图像以及点云的其他特征实现语义分割后植物种类的进一步识别。
现有的三维实景建模软件例如ContextCaptureCenter、Altizure等，均可以实现从简单照片生成高分辨率三维实景模型，但是由于倾斜摄影图像独特的拍摄视角和空间结构，以及建模软件本身存在的不足，在最终生成的场景模型中，植物区域模型存在着大量的失真、变形、缺失等问题，影响到场景三维重建的整体效果。要提高重建得到的三维场景模型的真实感，植物区域的三维重建问题亟待解决。
因此，如何实现植物景物快速、准确的识别和具有真实感的模型构建，是本领域研究的重点。
发明内容
本发明的目的在于克服现有技术的不足，提供一种结合语义分割与点云处理的植物识别与模型构建方法，用以解决单纯的语义分割无法精确识别倾斜摄影图像所包含的植物种类以及现有的建模软件对植物场景构建中存在的失真、变形、扭曲等问题，实现植物种类的高效、准确识别以及具有真实感的三维植物场景构建。
本发明的技术方案如下：
一种结合语义分割与点云处理的植物识别与模型构建方法，包括如下步骤：
第一步：生成倾斜摄影所拍摄的地景图像对应的正射影像，后续从正射投影角度对倾斜摄影所覆盖的地景区域进行处理；
第二步：使用倾斜摄影数据集对深度学习网络进行训练，由训练完成的神经网络对正射影像进行语义分割，识别植物区域；
第三步：通过对倾斜摄影图像进行相机标定、特征匹配等步骤，生成图像所对应的点云数据，通过坐标系转换实现点云数据与正射影像的坐标对应；
第四步：根据正射影像的语义分割结果对点云数据进行分割，提取植物区域所对应的点云；
第五步：结合倾斜摄影图像、点云数据，通过k-means点云聚类、目标检测等方法进一步识别不同种类的植物；
第六步：建立植物模型库，涵盖自然场景中所需的主要树木种类；
第七步：根据分类结果对植物区域的点云数据进行处理，确定不同植物的类型、中心点、高度、半径等参数，导入植物模型对原始的残缺、变形植物点云进行替换，生成具有真实感的植物数据模型；
第八步：将构建好的植物模型转换为所需格式。
优选地，第一步具体为：通过无人机携带倾斜摄影相机，通过多角度空中拍摄实现对于地景多视角信息的采集；通过相机位置标定、特征提取、匹配等步骤，将采集的倾斜摄影图像转化为正射影像。
优选地，第二步具体为：
(1)标注倾斜摄影数据集，应用于无人机携带多角度相机采集的低空地景影像的语义分割；
挑选覆盖不同区域的地景航拍图，通过对其进行数据提取、标注、批量纠正标注顺序、批量更改图像像素及尺寸等处理，形成倾斜摄影数据集，数据集包括原始倾斜摄影图像和标签图像；
(2)选择合适的神经网络，使用自制数据集对网络进行训练；
(3)根据训练结果调整网络结构与参数，使之更加适合地景图像的语义分割；
(4)使用训练完成的深度学习网络模型对地景正射影像进行语义分割，识别植物区域。
优选地，第(1)步中标注倾斜摄影数据集的流程如下：
1)使用labelme对航拍图数据集进行标注，按照背景、建筑、植被、道路、水域、车辆6类地物对地景图片进行标注，并将生成的json文件转化为标签图像，获得与原图相对应的标签数据；
2)统一标签顺序，实现标注图像的一致：
通过编程对标注所生成的json文件进行批量操作，对其中地物的标签进行遍历，判断其含有的地物类型是否与给定标签顺序一致，并按照设定顺序修改乱序地物的标签值，然后将json文件转化为标注图像，对标签文件进行批量处理，可以重新生成包含正确标签顺序的json文件和标注图像；
3)批量修改图像大小、并按照顺序重命名，并批量修改标签图像素值、大小、重命名。
优选地，第(2)步中选择合适的神经网络，使用自制数据集对网络进行训练具体如下：
在服务器上搭建基于pytorch的deeplab-v3+神经网络，对数据集中的照片进行训练和测试；
网络的搭建主要包括基本架构、编程语言包、数据集和一些相应的可视化辅助模块；根据航拍图的拍摄角度、空间结构特点选择合适的backbone，配置好环境变量和相应模块。
优选地，第(3)步中根据训练结果调整网络结构与参数使之更加适合地景图像的语义分割具体如下：
训练中采用测试集衡量训练结果，每训练一次对测试集的均交并比(mIoU)和频权交并比(fwIoU)进行计算，用于衡量训练效果，根据训练过程的损失和均交并比、频权交并比的变化调整参数和网络的结构，选定DRN作为分割网络的backbone。
优选地，第(4)步中使用训练完成的深度学习网络模型对地景正射影像进行语义分割具体如下：
使用训练完成的语义分割网络对待处理的地景图像进行语义分割，以识别图像中所包含的地物种类及位置，语义分割是为了识别植物的区域及坐标。
优选地，第三步具体为：
通过对倾斜摄影图像进行相机标定、特征匹配、立体匹配、稀疏重建、稠密重建等步骤，生成图像所对应的稠密点云数据；然后通过计算旋转矩阵，对点云数据进行坐标系变换，使之与正射影像实现正射投影方向的坐标对应。
优选地，所述点云包含三维坐标信息(XYZ)、RGB色彩信息、激光反射强度等不同信息；且所述点云分为稀疏点云和稠密点云。
优选地，第四步具体为：
首先对正射影像的语义分割结果图像进行二值化处理，仅保留识别出的植物区域；然后对正射影像所对应的点云数据进行降采样；按照正射影像二值化后的语义分割识别结果，结合正射影像与点云数据的坐标对应关系，对降采样的点云数据进行分割处理，提取出植物区域点云。
优选地，第五步具体为：
(1)结合地表高程数字模型，基于K-means算法，对植物区域点云进行聚类；
(2)根据相机参数以及位姿对识别点进行坐标变换，将k-means聚类后得到的点云簇映射到倾斜摄影图像中的像素点，根据像素点所在位置裁剪出倾斜摄影图像中的植物原始图像；
(3)训练植物种类目标检测神经网络模型，使用其对裁剪出的原始植物图像进行目标检测。
优选地，第(1)步中结合地表高程数字模型，基于K-means算法对植物区域点云进行聚类具体为：
首先结合地表数字高程模型对植物区域进行预分类；通过对场景所对应的正射影像进行语义分割以识别地表区域，按照图像语义分割结果将地表区域点云分割出来，并将其对应的高程数据转换为数字高程模型，即可得到该场景的地表高度信息；
读取植物区域点云对应的地表数字高程模型高度值，将植物区域点云高度与之作差，得到植物的真实高度，通过设置合理阈值将低于阈值的点云划分为草地；
将滤除草地部分的植物点云的三维坐标作为样本点的特征属性，点云间的三维空间距离作为样本点间距离，基于k-means算法得到植物点云簇。
优选地，基于k-means算法得到植物点云簇具体为：
基于K-means算法对滤除草地部分的其余植物点云进行聚类，k-means即k均值聚类算法，首先随机选取k个对象作为初始的聚类中心，然后通过计算每个对象与各个种子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心；样本分配完毕后，聚类中心会根据聚类中现有的对象被重新计算；不断重复这个过程，直到没有聚类中心再发生变化。
优选地，第(2)步中根据相机参数以及位姿对识别点进行坐标变换，将分割得到的点云簇映射到倾斜摄影图像中的像素点具体为：
对植物点云进行分簇后，已知倾斜摄影相机旋转矩阵R和相机坐标(tx,ty,tz)，植物点云簇中一识别点关于相机参考坐标系的变换可用矩阵的复合运算表示如下：
Figure BDA0003029162270000041
经上述坐标变换，识别点的坐标转换为以相机光心为原点的相机参考坐标系中的坐标；然后引入相机物理成像平面作为投影面，对相机视线上识别点的透视投影进行捕获，由相似三角形性质得到如下坐标变换矩阵：
Figure BDA0003029162270000042
经过以上透视投影，识别点的坐标转换为图像坐标系中的坐标；经过比例放缩，将识别点在图像坐标系中的坐标经线性变换转换为倾斜摄影图像的像素坐标系坐标，其具体规则如下：
Figure BDA0003029162270000043
式中，dx、dv分别是每个像素在图像平面方向上的物理尺寸；u0、v0是图像坐标系原点在像素坐标系中的坐标；采用计算机视觉库OpenCV，对于完成k-means聚类的植物点云簇，选取其外廓点作为识别点，按照如上变换方式实现从点云数据到原始倾斜摄影图像的变换，获取该植物簇对应的原始图像；依据识别点在倾斜摄影图像中的像素坐标编程实现对倾斜摄影图像的裁剪，最终实现植物图像的提取。
优选地，第(3)步中使用植物图像识别网络模型，对植物图像进行目标检测具体为：
首先对裁剪得到的植物实例图像进行滤波去噪等预处理，提取颜色、轮廓、纹理等特征并以特征向量的形式存储；利用提取出的部分特征向量对人工神经网络分类器进行训练，得到植物图像识别网络模型；使用该网络模型对植物图像进行目标检测。
优选地，第六步具体为：
根据自然场景中所包含的不同种类的植物，首先将植物分为草丛、灌木、树木三大类，分别建立其对应的植物模型；草丛模型为一类，灌木和树木主要包括刺柏、桦树、枫树、橡树、松树、云杉、克里米亚松树、樱桃树、柏树、椴树、樱花树等。
优选地，第七步具体为：
将植物区域点云经k-means算法得到聚类中心的(x,y)坐标作为该簇植物的中心坐标，对其高度、半径等尺度信息进行计算；
高度以中心坐标对应的z值为基准；首先对点云进行过滤，滤除漂浮的杂点，然后再进行高度解算；将整体场景点云的最高值与最低值做差，作为绝对高度的参考值，则每一簇植物点云对应的模型高度由下式决定，其中，H为定义的高度参考值，z为中心坐标在z轴上的取值；
Figure BDA0003029162270000051
半径由第五步中k-means算法解出的聚类半径乘以半径参考值确定，如聚类半径超过设置的树木宽度阈值，则通过判断、分割连通域，将一簇植物聚类分割为多簇，以保证其半径位于设置的阈值之下；
获取高度与半径后，由植物种类、中心坐标、高度、半径作为检索条件，从植物数据库中调取与之相符的植物模型，根据高度、半径调整植物尺寸，按照植物中心坐标移入场景中，并将原始点云中变形、破损的点云进行移除，对该场景中识别出的所有植物区域进行处理，即可获得模型替换后，大小、形态各异，具有真实感的植物场景模型。
优选地，第八步具体为：
获得具有真实感的植物三维场景模型后，根据所需的三维场景需要，可以将模型转化为obj、osgb、fbx、las等通用数据格式。
与现有技术相比，本发明的一种结合语义分割与点云处理的植物识别与模型构建方法，能够解决单纯的语义分割无法精确识别倾斜摄影图像所包含的植物种类以及现有的建模软件对植物场景构建中存在的失真、变形、扭曲等问题，实现植物种类的高效、准确识别以及具有真实感的三维植物场景构建。
本发明的一种结合语义分割与点云处理的植物识别与模型构建方法的优势在于以下几点：
1.本发明将图像语义分割引入植物景物识别与其三维场景的构建，加快了场景中植物区域的识别速度与效率，通过自制倾斜摄影数据集，训练出适用于低空航拍地景图像的语义分割网络。经测试，网络的均交并比达到85.13％，可以快速、准确地定位到植物区域，克服了大区域、高精度图像植物区域识别速度慢、精度低的困难。
2.本发明结合点云特征信息对语义分割后的植物区域进一步识别，实现了对于植物种类及其位置的精确识别与定位，结合点云信息进行处理改善了传统植物景物识别方法中仅依赖图像而造成的特征信息提取不全的问题，获取的植物识别信息包含植物的种类、中心坐标、高度、半径等，更加全面，有利于后续更加具有真实感的模型重建。
3.本发明通过构建植物模型库，对原始倾斜摄影图像生成的植物点云区域进行模型替换，生成包含种类丰富、大小、形态各异的具有真实感的植物区域三维场景，改变了现有的三维建模软件构建的植物场景存在大量残缺、破损和变形的问题。
附图说明
图1为本发明提供的一种结合语义分割与点云处理的植物识别与模型构建方法流程图；
图2为本发明实施例1中所使用的原始倾斜摄影图像；
图3为本发明实施例1中由倾斜摄影图像生成的正射影像；
图4为本发明实施例1中对原始倾斜摄影图像进行处理，形成语义分割数据集的流程图；
图5(a)为本发明实施例1中正射影像的语义分割结果；
图5(b)为本发明实施例1中对正射影像语义分割结果进行二值化后的输出结果；
图6(a)是本发明实施例1中倾斜摄影图像生成的点云；
图6(b)是本发明实施例1中点云生成的数字高程模型；
图7是本发明实施例1中分割出的植物点云；
图8(a)是本发明实施例1中植物区域点云进行k-means聚类后的俯视效果图；
图8(b)是本发明实施例1中植物区域点云进行k-means聚类后的分簇效果图；
图9是本发明实施例1中根据相机参数以及位姿对点云中的识别点进行坐标变换，将聚类得到的点云簇映射到原始倾斜摄影图像中的植物区域影像；
图10是提取出的植物区域影像种类识别结果；
图11是本发明实施例1中构建的植物模型库；
图12是本发明实施例1中构建的植物区域三维场景模型。
具体实施方式
下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整的描述，显然，所描述的实施方式仅仅是作为例示，并非用于限制本发明。
本发明提出一种结合语义分割与点云处理的植物识别与模型构建方法，如图1所示，包括如下步骤：
第一步：生成倾斜摄影所拍摄的地景图像对应的正射影像，后续从正射投影角度对倾斜摄影所覆盖的地景区域进行处理；
第二步：使用倾斜摄影数据集对深度学习网络进行训练，由训练完成的神经网络对正射影像进行语义分割，识别植物区域；
第三步：通过对倾斜摄影图像进行相机标定、特征匹配等步骤，生成图像所对应的点云数据，通过坐标系转换实现点云数据与正射影像的坐标对应；
第四步：根据正射影像的语义分割结果对点云数据进行分割，提取植物区域所对应的点云；
第五步：结合倾斜摄影图像、点云数据，通过k-means点云聚类、目标检测等方法进一步识别不同种类的植物；
第六步：建立植物模型库，涵盖自然场景中所需的主要树木种类；
第七步：根据分类结果对植物区域的点云数据进行处理，确定不同植物的类型、中心点、高度、半径等参数，导入植物模型对原始的残缺、变形植物点云进行替换，生成具有真实感的植物数据模型；
第八步：将构建好的植物模型转换为所需格式。
下面通过一个具体的实施例对本发明提供的上述结合语义分割与点云处理的植物识别与模型构建方法的具体实施进行详细说明。
实施例1：
第一步：生成倾斜摄影所拍摄的地景图像对应的正射影像，后续从正射投影角度对倾斜摄影所覆盖的地景区域进行处理。
无人机携带倾斜摄影相机所拍摄的地景图像如图2所示，通过多角度相机空中拍摄实现对于地景多视角信息的采集。首先通过相机位置标定、特征提取、匹配等步骤，将采集的倾斜摄影图像转化为正射影像，正射影像是具有正射投影性质的遥感图像，其可以纠正原始图像中因为传感器状态变化以及地表本身等因素造成的畸变和失真，生成的正射影像效果如图3所示。
第二步：使用倾斜摄影数据集对深度学习网络进行训练；由训练完成的神经网络对正射影像进行语义分割，识别植物区域，具体通过以下方式来实现：
(1)标注倾斜摄影数据集，应用于无人机携带多角度相机采集的低空地景影像的语义分割；
由于大多数开源语义分割数据集视图并非俯拍，拍摄角度的不同使得常用的数据集无法对航空倾斜摄影图像的语义分割网络达到很好的训练效果。挑选覆盖不同区域的1946张地景航拍图，通过对其进行数据提取、标注、批量纠正标注顺序、批量更改图像像素及尺寸等处理，形成包括背景、建筑、植被、道路、水域、车辆6类地物的倾斜摄影数据集，数据集包括1946张倾斜摄影图像和1946张标签图像，对后续的网络训练起到重要的参考作用。
标注数据集的流程如图4所示，首先使用labelme对航拍图数据集进行标注。labelme是一个可以手动对图像进行标注的图形界面，由python语言编写，可对地景图像进行点、线段、圆形以及多边形的标注，以应用于图像分割、目标检测等任务。按照背景、建筑、植被、道路、水域、车辆6类地物对地景图片进行标注，并将生成的json文件转化为标签图像，即可获得与原图相对应的标签数据。
由于部分图片中不是完整地含有所有类别的地物，例如，有的航拍图中不含水域，仅包含其他五种地物，而受到labelme软件本身的限制，其进行标注的颜色是按照标注顺序给定的，如此就会产生标注图像中同一类别的地物出现不同的标签颜色的问题。乱序的地物标注会对后续的训练造成干扰，因此需要使用编程统一调整标签顺序，实现标注图像的一致。通过编程对标注所生成的json文件进行批量操作，对图像中地物的标签进行遍历，判断其含有的地物类型是否与标签顺序一致，并按照设定顺序修改乱序地物的标签值，然后将json文件转化为标注图像，对1946份标签文件进行批量处理，可以重新生成包含正确标签顺序的json文件和标注图像。
航拍图数据集的标注顺序统一后，将航拍图与标注图片的尺寸统一修改为512*512，并按照顺序重命名，减小计算量，方便后续训练；同时，将标注图片的不同类别地物像素修改为0-5，提高后续神经网络的训练速度。完成上述对于低空航拍图的预处理流程后，即可使用该倾斜摄影数据集进行后续语义分割模型的训练。
(2)选择合适的神经网络，使用自制数据集对网络进行训练；
具体地，本发明实施例1采用deeplab-v3+网络，deeplab-v3+是基于深度卷积神经网络进行改进的语义分割算法网络，具有较强的实用价值，主要包括输入层、卷积层、输出层等结构。Deeplab-v3+对图像的处理包括编码和解码两个过程，首先，通过ResNet网络提取输入图像的特征，然后使用ASPP模块在多比率、多有效视野上提取输入航拍图的特征信息，并通过池化操作编码多尺度上下文信息，从而提取更加全面的特征信息。经ASPP模块处理后，将其输出的高层图像特征信息与底层特征进行串联，对串联后信息进行卷积，最后进行上采样，逐步恢复空间信息，以更加精细地分割地物边界。
在服务器上搭建基于pytorch的deeplab-v3+神经网络，主要包括网络的基本架构、用到的编程语言包、使用的数据集和一些相应的可视化辅助模块。根据航拍图的拍摄角度、空间结构特点选择合适的backbone，配置好环境变量和相应模块。训练采用4个GPU并行，执行100次epoch，初始学习率lr＝0.007，batch size设置为2，对数据集中1848张照片进行训练，98张照片进行测试。
(3)根据训练结果调整网络结构与参数，使之更加适合地景图像的语义分割；
训练中采用测试集衡量训练结果，每训练一次对测试集的均交并比(mIoU)和频权交并比(fwIoU)进行计算，用于衡量训练效果，根据训练过程的损失和均交并比、频权交并比的变化调整参数和网络的结构，最终选定DRN作为分割网络的backbone，选用4GPU执行训练，epoch为150，batch_size为4，初始学习率lr＝0.007，对deeplab-v3+网络进行训练，可以同时达到较高的精度和速度。
(4)使用训练完成的深度学习网络模型对地景正射影像进行语义分割。
使用训练完成的语义分割网络对待处理的地景图像进行语义分割，以识别图像中所包含的地物种类及位置，具体到本实例中，语义分割的目的是为了识别植物的区域及坐标，后续对正射影像及点云进行处理时只需对语义分割识别出的植物区域进行操作，加快处理速度和准确度，对正射影像进行语义分割的效果如图5(a)所示。
第三步：通过对倾斜摄影图像进行相机标定、特征匹配等步骤，生成图像所对应的点云数据，通过坐标系转换实现点云数据与正射影像的坐标对应。
点云是包含不同地物表面特性的密集的点集合，按照不同的采集原理，点云可以包含三维坐标信息(XYZ)、RGB色彩信息、激光反射强度等不同信息；根据点的采集方式及其包含点的密集程度，点云包括稀疏点云和稠密点云，二者均是由二维的倾斜摄影图像实现三维模型重建等逆向工程的基础信息。通过对倾斜摄影图像进行相机标定、特征匹配、立体匹配、稀疏重建、稠密重建等步骤，可以生成图像所对应的稠密点云数据。生成稠密点云后，通过计算旋转矩阵，对点云数据进行坐标系变换，使之与正射影像实现正射投影方向的坐标对应，以方便后续处理。与图3中正射影像对应的点云数据如图6(a)所示。
第四步：根据正射影像的语义分割结果对点云数据进行分割，提取植物区域所对应的点云。
首先对正射影像的语义分割结果图像进行二值化处理，仅保留识别出的植物区域，处理后的效果如图5(b)所示；然后对正射影像所对应的点云数据进行降采样，以提高后续点云的处理速度；按照正射影像二值化后的语义分割识别结果对降采样的点云进行分割处理，提取出植物区域点云，提取效果如图7所示，后续对植物区域点云进行单独处理，提高处理效率。
第五步：结合倾斜摄影图像、点云数据，通过k-means点云聚类、目标检测等方法进一步识别不同种类的植物，具体实施方式如下：
(1)结合地表高程数字模型，基于K-means算法，对植物区域点云进行聚类；
首先结合地表数字高程模型对植物区域进行预分类。数字高程模型简称为DEM，是通过地形的高程数据对地表地形的数字化模拟表达，即通过一组有序数值阵列形式表示地面高程的一种实体地面模型。通过对实例1场景所对应的正射影像进行语义分割，可以识别地表区域，按照图像语义分割结果将地表区域点云分割出来，并将其对应的高程数据转换为数字高程模型，即可得到该场景的地表高度信息，此数据作为后续植物绝对高度的参考，生成的数字高程模型如图6(b)所示。
读取植物区域点云对应的地表数字高程模型高度值，将植物区域点云高度与之作差，得到植物的真实高度，通过设置合理阈值将低于阈值的点云划分为草地；然后基于K-means算法对滤除草地部分的其余植物点云进行聚类，k-means即k均值聚类算法，首先随机选取k个对象作为初始的聚类中心，然后通过计算每个对象与各个种子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心。样本分配完毕后，聚类中心会根据聚类中现有的对象被重新计算。不断重复这个过程，直到没有聚类中心再发生变化。通过k-means聚类将连接在一起的植物点云分簇，以便于后续对其进行种类识别与模型替换。具体地，将植物点云的三维坐标作为样本点的特征属性，点云间的三维空间距离作为样本点间距离，最终得到植物点云簇。基于k-means算法的植物点云聚类效果如图8(a)(b)所示。
(2)根据相机参数以及位姿对识别点进行坐标变换，将分割得到的点云簇映射到倾斜摄影图像中的像素点；
对植物点云进行分簇后，已知倾斜摄影相机旋转矩阵R和相机坐标(tx,ty,tz)，植物点云簇中一识别点关于相机参考坐标系的变换可用矩阵的复合运算表示如下：
Figure BDA0003029162270000101
经上述坐标变换，识别点的坐标转换为以相机光心为原点的相机参考坐标系中的坐标；然后引入相机物理成像平面作为投影面，对相机视线上识别点的透视投影进行捕获，由相似三角形性质得到如下坐标变换矩阵：
Figure BDA0003029162270000102
经过以上透视投影，识别点的坐标转换为图像坐标系中的坐标；经过比例放缩，将识别点在图像坐标系中的坐标经线性变换转换为倾斜摄影图像的像素坐标系坐标，其具体规则如下：
Figure BDA0003029162270000103
式中，dx、dv分别是每个像素在图像平面方向上的物理尺寸；u0、v0是图像坐标系原点在像素坐标系中的坐标；采用计算机视觉库OpenCV，对于完成k-means聚类的植物点云簇，选取其外廓点作为识别点，按照如上变换方式实现从点云数据到原始倾斜摄影图像的变换，获取该植物簇对应的原始图像。如此可以改变正射影像及点云中植物特征点缺失导致的种类识别困难的问题，通过原始倾斜摄影图像多角度的特征信息，进一步提高植物种类识别的准确度。依据识别点在倾斜摄影图像中的像素坐标编程实现对倾斜摄影图像的裁剪，最终实现植物图像的提取。裁剪得到的植物实例图像如图9所示。
(3)使用植物图像识别网络模型，对植物图像进行目标检测。
首先对裁剪得到的植物实例图像进行滤波去噪等预处理，提取颜色、轮廓、纹理等特征并以特征向量的形式存储；利用提取出的部分特征向量对人工神经网络分类器进行训练，得到植物图像识别网络模型。使用该网络模型对植物图像进行目标检测，识别结果如图10所示。
第六步：建立植物模型库，涵盖自然场景中所需的主要树木种类。
具体地，根据自然场景中所包含的不同种类的植物，首先将植物分为草丛、灌木、树木三大类，分别建立其对应的植物模型。草丛模型为一类，灌木和树木主要包括刺柏、桦树、枫树、橡树、松树、云杉、克里米亚松树、樱桃树、柏树、椴树、樱花树等，这些模型以fbx的形式进行存储，根据形态具有不同的纹理与面片，植物模型库中包含的部分植物模型示例如图11所示。
第七步：根据分类结果对植物区域的点云数据进行处理，确定不同植物的类型、中心点、高度、半径等参数，导入植物模型对原始的残缺、变形植物点云进行替换，生成具有真实感的植物数据模型。
具体地，对于实例1中的场景，第五步已经对场景中所包含的植物种类进行了进一步的识别，将植物区域点云经k-means算法得到聚类中心的(x,y)坐标作为该簇植物的中心坐标，对其高度、半径等尺度信息进行计算。
高度以中心坐标对应的z值为基准。为了防止一些漂浮的杂质点对高度测量的影响，首先对点云进行过滤，滤除漂浮的杂点，然后再进行高度解算；将整体场景点云的最高值与最低值做差，作为绝对高度的参考值，则每一簇植物点云对应的模型高度由下式决定，其中，H为定义的高度参考值，z为中心坐标在Z轴上的取值。
Figure BDA0003029162270000111
半径由第五步中k-means算法解出的聚类半径乘以半径参考值确定，如聚类半径超过设置的树木宽度阈值，则通过判断、分割连通域，将一簇植物聚类分割为多簇，以保证其半径位于设置的阈值之下，防止因前述步骤中k-means聚类结果粗糙而造成一簇植物体积过大，与真实情况不符的情况。
获取高度与半径后，由植物种类、中心坐标、高度、半径作为检索条件，从植物数据库中调取与之相符的植物模型，根据高度、半径调整植物尺寸，按照植物中心坐标移入场景中，并将原始点云中变形、破损的点云进行移除，对该场景中识别出的所有植物区域进行处理，即可获得模型替换后，大小、形态各异，具有真实感的植物场景模型，图12是示例1场景所对应的植物场景模型。
第八步：将构建好的植物模型转换为所需格式。
获得具有真实感的植物三维场景模型后，根据所需的三维场景需要，可以将模型转化为obj、osgb、fbx、las等通用数据格式。
以上所述之实施例仅为本发明的较佳实施例，并非对本发明做任何形式上的限制。任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，利用上述揭示的技术内容对本发明技术方案作出更多可能的变动和润饰，或修改均为本发明的等效实施例。故凡未脱离本发明技术方案的内容，依据本发明之思路所作的等同等效变化，均应涵盖于本发明的保护范围。

Claims (8)

1.一种结合语义分割与点云处理的植物识别与模型构建方法，其特征在于，包括如下步骤：
第一步：生成倾斜摄影所拍摄的地景图像对应的正射影像，后续从正射投影角度对倾斜摄影所覆盖的地景区域进行处理；
第二步：使用倾斜摄影数据集对深度学习网络进行训练，由训练完成的神经网络对正射影像进行语义分割，识别植物区域；
第三步：通过对倾斜摄影图像进行相机标定和特征匹配步骤，生成图像所对应的点云数据，通过坐标系转换实现点云数据与正射影像的坐标对应；
第四步：根据正射影像的语义分割结果对点云数据进行分割，提取植物区域所对应的点云；
第五步：结合倾斜摄影图像、点云数据，通过k-means点云聚类和目标检测进一步识别不同种类的植物；
第六步：建立植物模型库，涵盖自然场景中所需的主要树木种类；
第七步：根据分类结果对植物区域的点云数据进行处理，确定不同植物的类型、中心点、高度和半径，导入植物模型对原始的残缺、变形植物点云进行替换，生成具有真实感的植物数据模型；
第八步：将构建好的植物模型转换为所需格式；
第五步具体为：
(1)结合地表高程数字模型，基于K-means算法，对植物区域点云进行聚类；
(2)根据相机参数以及位姿对识别点进行坐标变换，将K-means聚类后得到的点云簇映射到倾斜摄影图像中的像素点，根据像素点所在位置裁剪出倾斜摄影图像中的植物原始图像；
(3)训练植物种类目标检测神经网络模型，使用其对裁剪出的原始植物图像进行目标检测；
第(1)步中结合地表高程数字模型，基于K-means算法对植物区域点云进行聚类具体为：
首先结合地表数字高程模型对植物区域进行预分类；通过对场景所对应的正射影像进行语义分割以识别地表区域，按照图像语义分割结果将地表区域点云分割出来，并将其对应的高程数据转换为数字高程模型，得到该场景的地表高度信息；
读取植物区域点云对应的地表数字高程模型高度值，将植物区域点云高度与之作差，得到植物的真实高度，通过设置合理阈值将低于阈值的点云划分为草地；
将滤除草地的植物点云的三维坐标作为样本点的特征属性，点云间的三维空间距离作为样本点间距离，基于K-means算法得到植物点云簇；
基于K-means算法得到植物点云簇具体为：
基于K-means算法对滤除草地部分的其余植物点云进行聚类，K-means即k均值聚类算法，首先随机选取k个对象作为初始的聚类中心，然后通过计算每个对象与各个种子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心；样本分配完毕后，聚类中心会根据聚类中现有的对象被重新计算；不断重复这个过程，直到没有聚类中心再发生变化；
第(2)步中根据相机参数以及位姿对识别点进行坐标变换，将分割得到的点云簇映射到倾斜摄影图像中的像素点具体为：
对植物点云进行分簇后，已知倾斜摄影相机旋转矩阵R和相机坐标(tx,ty,tz)，植物点云簇中一识别点关于相机参考坐标系的变换用矩阵的复合运算表示如下：
Figure FDA0003822211000000021
经上述坐标变换，识别点的坐标转换为以相机光心为原点的相机参考坐标系中的坐标；然后引入相机物理成像平面作为投影面，对相机视线上识别点的透视投影进行捕获，由相似三角形性质得到如下坐标变换矩阵：
Figure FDA0003822211000000022
经过以上透视投影，识别点的坐标转换为图像坐标系中的坐标；经过比例放缩，将识别点在图像坐标系中的坐标经线性变换转换为倾斜摄影图像的像素坐标系坐标，其具体规则如下：
Figure FDA0003822211000000023
式中，dx、dv分别是每个像素在图像平面方向上的物理尺寸；u0、v0是图像坐标系原点在像素坐标系中的坐标；采用计算机视觉库OpenCV，对于完成k-means聚类的植物点云簇，选取其外廓点作为识别点，按照如上变换方式实现从点云数据到原始倾斜摄影图像的变换，获取该植物簇对应的原始图像；依据识别点在倾斜摄影图像中的像素坐标编程实现对倾斜摄影图像的裁剪，最终实现植物图像的提取；
第(3)步中使用植物图像识别网络模型，对植物图像进行目标检测具体为：
首先对裁剪得到的植物实例图像进行滤波去噪，提取颜色、轮廓和纹理并以特征向量的形式存储；利用提取出的部分特征向量对人工神经网络分类器进行训练，得到植物图像识别网络模型；使用该网络模型对植物图像进行目标检测。
2.根据权利要求1所述的一种结合语义分割与点云处理的植物识别与模型构建方法，其特征在于，第一步具体为：通过无人机携带倾斜摄影相机，通过多角度空中拍摄实现对于地景多视角信息的采集；通过相机位置标定、特征提取和匹配，将采集的倾斜摄影图像转化为正射影像。
3.根据权利要求1所述的一种结合语义分割与点云处理的植物识别与模型构建方法，其特征在于，第二步具体为：
(1)标注倾斜摄影数据集，应用于无人机携带多角度相机采集的低空地景影像的语义分割；
挑选覆盖不同区域的地景航拍图，通过对其进行数据提取、标注、批量纠正标注顺序、批量更改图像像素及尺寸，形成倾斜摄影数据集，数据集包括原始倾斜摄影图像和标签图像；
(2)选择合适的神经网络，使用自制数据集对网络进行训练；
(3)根据训练结果调整网络结构与参数，使之更加适合地景图像的语义分割；
(4)使用训练完成的深度学习网络模型对地景正射影像进行语义分割；
第(1)步中标注倾斜摄影数据集的流程如下：
1)使用labelme对航拍图数据集进行标注，按照背景、建筑、植被、道路、水域、车辆6类地物对地景图像进行标注，并将生成的json文件转化为标签图像，获得与原图相对应的标签数据；
2)统一标签顺序，实现标注图像的一致：
通过编程对标注所生成的json文件进行批量操作，对图像中地物的标签进行遍历，判断其含有的地物类型是否与给定标签顺序一致，并按照设定顺序修改乱序地物的标签值，然后将json文件转化为标注图像，对标签文件进行批量处理，重新生成包含正确标签顺序的json文件和标注图像；
3)批量修改图像大小、并按照顺序重命名，并批量修改标签图像素值、大小、重命名；
第(2)步中选择合适的神经网络，使用自制数据集对网络进行训练具体如下：
在服务器上搭建基于pytorch的deeplab-v3+神经网络，对数据集中的照片进行训练和测试；
网络的搭建主要包括基本架构、编程语言包、数据集和一些相应的可视化辅助模块；根据航拍图的拍摄角度、空间结构特点选择合适的backbone，配置好环境变量和相应模块；
第(3)步中根据训练结果调整网络结构与参数使之更加适合地景图像的语义分割具体如下：
训练中采用测试集衡量训练结果，每训练一次对测试集的均交并比(mIoU)和频权交并比(fwIoU)进行计算，用于衡量训练效果，根据训练过程的损失和均交并比、频权交并比的变化调整参数和网络的结构，最终选定DRN作为分割网络的backbone；
第(4)步中使用训练完成的深度学习网络模型对地景正射影像进行语义分割具体如下：
使用训练完成的语义分割网络对待处理的地景图像进行语义分割，以识别图像中所包含的地物种类及位置，语义分割是为了识别植物的区域及坐标。
4.根据权利要求1所述的一种结合语义分割与点云处理的植物识别与模型构建方法，其特征在于，第三步具体为：
通过对倾斜摄影图像进行相机标定、特征匹配、立体匹配、稀疏重建和稠密重建，生成图像所对应的稠密点云数据；通过计算旋转矩阵，对点云数据进行坐标系变换，使之与正射影像实现正射投影方向的坐标对应；
所述点云包含三维坐标信息(XYZ)、RGB色彩信息和激光反射强度信息；且所述点云分为稀疏点云和稠密点云。
5.根据权利要求1所述的一种结合语义分割与点云处理的植物识别与模型构建方法，其特征在于，第四步具体为：
首先对正射影像的语义分割结果图像进行二值化处理，仅保留识别出的植物区域；然后对正射影像所对应的点云数据进行降采样；按照正射影像二值化后的语义分割识别结果对降采样的点云进行分割处理，提取出植物区域点云。
6.根据权利要求1-5任一项所述的一种结合语义分割与点云处理的植物识别与模型构建方法，其特征在于，第六步具体为
根据自然场景中所包含的不同种类的植物，首先将植物分为草丛、灌木、树木三大类，分别建立其对应的植物模型；草丛模型为一类，灌木和树木主要包括刺柏、桦树、枫树、橡树、松树、云杉、克里米亚松树、樱桃树、柏树、椴树和樱花树。
7.根据权利要求1-5任一项所述的一种结合语义分割与点云处理的植物识别与模型构建方法，其特征在于，第七步具体为：
将植物区域点云经k-means算法得到聚类中心的(x,y)坐标作为该簇植物的中心坐标，对其高度和半径信息进行计算；
高度以中心坐标对应的z值为基准；首先对点云进行过滤，滤除漂浮的杂点，然后再进行高度解算；将整体场景点云的最高值与最低值做差，作为绝对高度的参考值，则每一簇植物点云对应的模型高度由下式决定，其中，H为定义的高度参考值，z为中心坐标在Z轴上的取值；
Figure FDA0003822211000000041
半径由第五步中k-means算法解出的聚类半径乘以半径参考值确定，如聚类半径超过设置的树木宽度阈值，则通过判断、分割连通域，将一簇植物聚类分割为多簇，以保证其半径位于设置的阈值之下；
获取高度与半径后，由植物种类、中心坐标、高度、半径作为检索条件，从植物数据库中调取与之相符的植物模型，根据高度、半径调整植物尺寸，按照植物中心坐标移入场景中，并将原始点云中变形、破损的点云进行移除，对该场景中识别出的所有植物区域进行处理，即获得模型替换后，大小、形态各异，具有真实感的植物场景模型。
8.根据权利要求1-5任一项所述的一种结合语义分割与点云处理的植物识别与模型构建方法，其特征在于，第八步具体为：
获得具有真实感的植物三维场景模型后，根据所需的三维场景需要，将模型转化为obj、osgb、fbx或las数据格式。
CN202110425191.6A 2021-04-20 2021-04-20 一种结合语义分割与点云处理的植物识别与模型构建方法 Active CN113128405B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110425191.6A CN113128405B (zh) 2021-04-20 2021-04-20 一种结合语义分割与点云处理的植物识别与模型构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110425191.6A CN113128405B (zh) 2021-04-20 2021-04-20 一种结合语义分割与点云处理的植物识别与模型构建方法

Publications (2)

Publication Number Publication Date
CN113128405A CN113128405A (zh) 2021-07-16
CN113128405B true CN113128405B (zh) 2022-11-22

Family

ID=76778358

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110425191.6A Active CN113128405B (zh) 2021-04-20 2021-04-20 一种结合语义分割与点云处理的植物识别与模型构建方法

Country Status (1)

Country Link
CN (1) CN113128405B (zh)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113486973A (zh) * 2021-07-20 2021-10-08 清华大学深圳国际研究生院 一种图像内容识别方法及应用
CN113689567B (zh) * 2021-07-23 2022-05-27 深圳市顺欣同创科技有限公司 在云端单体化倾斜摄影模型中建筑的方法
CN113553949B (zh) * 2021-07-23 2024-07-02 湖南铭生安全科技有限责任公司 一种基于摄影测量数据的尾矿库语义分割方法
CN113706689B (zh) * 2021-08-04 2022-12-09 西安交通大学 一种基于Hololens深度数据的装配指导方法及系统
CN113674233B (zh) * 2021-08-13 2022-05-20 沭阳东川木业有限公司 基于人工智能的木材优选锯视觉检测方法
CN113781431B (zh) * 2021-09-10 2023-09-29 福州大学 基于城市点云数据的绿视率计算方法
CN113808103A (zh) * 2021-09-16 2021-12-17 广州大学 基于图像处理的路面坑洼自动检测方法、设备和存储介质
CN113920262B (zh) * 2021-10-15 2022-04-12 中国矿业大学(北京) 一种增强边缘取样与改进Unet模型的矿区FVC计算方法及系统
CN114120129B (zh) * 2021-11-30 2024-05-17 哈尔滨工业大学 基于无人机图像和深度学习的滑坡滑移面的三维识别方法
CN114359894B (zh) * 2022-01-13 2024-04-30 浙大城市学院 一种佛教造像文物三维模型识别归类方法
CN114463579A (zh) * 2022-01-13 2022-05-10 中铁第四勘察设计院集团有限公司 点云分类方法、装置、电子设备及存储介质
CN114140586B (zh) * 2022-01-29 2022-05-17 苏州工业园区测绘地理信息有限公司 面向室内空间的三维建模方法、装置和存储介质
CN114387417B (zh) * 2022-03-25 2022-05-27 北京飞渡科技有限公司 一种三维建筑建模方法、装置及三维建筑群建模方法
CN114766333A (zh) * 2022-05-09 2022-07-22 邢台市农业科学研究院 一种果树种植物联网调控系统
CN114638956B (zh) * 2022-05-23 2022-08-05 南京航空航天大学 一种基于体素化与三视图的飞机整机点云语义分割方法
CN114998496A (zh) * 2022-05-27 2022-09-02 北京航空航天大学 一种基于场景航拍图及稀疏点云的正射影像快速生成方法
CN115239951B (zh) * 2022-06-08 2023-09-15 广东领慧数字空间科技有限公司 一种基于点云数据处理的墙面分割识别方法及系统
CN115033967B (zh) * 2022-06-27 2024-09-24 北京航空航天大学 一种基于点云数据的建筑物模板实例化建模方法
CN114879217B (zh) * 2022-07-12 2022-10-21 中国工程物理研究院应用电子学研究所 一种目标位姿的判断方法及系统
CN115564661B (zh) * 2022-07-18 2023-10-10 武汉大势智慧科技有限公司 建筑物玻璃区域立面自动修复方法及系统
CN115049938B (zh) * 2022-08-16 2022-11-29 广州地铁设计研究院股份有限公司 一种点云图像处理方法及系统
CN115115797B (zh) * 2022-08-25 2022-11-25 清华大学 大场景稀疏光场语义驱动智能重建方法、系统与装置
CN115115806B (zh) * 2022-08-30 2022-11-22 北京飞渡科技有限公司 一种基于单基元解析的屋顶参数化重构方法及系统
CN115620278B (zh) * 2022-11-15 2023-03-10 广州奇志信息科技有限公司 一种识别和测量物料的方法
CN115937461B (zh) * 2022-11-16 2023-09-05 泰瑞数创科技(北京)股份有限公司 多源融合模型构建及纹理生成方法、装置、介质及设备
CN115797310A (zh) * 2022-12-13 2023-03-14 无锡海纳智能科技有限公司 一种光伏电站组串倾角的确定方法及电子设备
CN115861546B (zh) * 2022-12-23 2023-08-08 四川农业大学 一种基于神经体渲染的作物几何感知与三维表型重建方法
CN115661378B (zh) * 2022-12-28 2023-03-21 北京道仪数慧科技有限公司 建筑模型重建方法及系统
CN116645321B (zh) * 2023-04-04 2024-03-08 北京大学深圳研究生院 植被叶倾角演算统计方法、装置、电子设备及存储介质
CN116596996B (zh) * 2023-05-26 2024-01-30 河北农业大学 一种用于苹果果实空间位姿信息的获取方法及系统
CN116824078A (zh) * 2023-06-27 2023-09-29 重庆数字城市科技有限公司 一种基于三维模型的市政设施部件展示方法和平台
CN116912696A (zh) * 2023-07-27 2023-10-20 广州双木林业有限公司 基于树木模型的树林检测方法、系统、设备及存储介质
CN116740288B (zh) * 2023-08-14 2023-10-20 北京数慧时空信息技术有限公司 一种融合激光雷达、倾斜摄影的三维重建方法
CN117036963B (zh) * 2023-10-08 2024-01-26 中国农业大学 一种针对典型草原地表植物量的检测估算方法
CN117372868B (zh) * 2023-10-20 2024-10-08 四川成润智慧科技有限公司 一种智慧社区绿化物种的监测和维护管理方法
CN117333400B (zh) * 2023-11-06 2024-04-30 华中农业大学 一种根盒培养作物根系图像断根修复及表型提取方法
CN117635839B (zh) * 2023-12-05 2024-07-02 四川省农业科学院科技保障中心 一种农作物的信息采集与三维图像呈现方法、装置及系统
CN117611805B (zh) * 2023-12-20 2024-07-19 济南大学 一种规则三维语义点云的3d异常区域提取方法及装置
CN117730655B (zh) * 2024-02-20 2024-05-14 云南省农业科学院质量标准与检测技术研究所 水稻种子活力定量分析方法、装置、设备及存储介质
CN118279329B (zh) * 2024-06-03 2024-09-24 海纳云物联科技有限公司 三维模型单体化和语义化分割方法、装置、设备和介质
CN118485937B (zh) * 2024-07-16 2024-09-13 青岛云世纪信息科技有限公司 无人机正射影像变化区域自动识别方法及系统、电子设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108198145B (zh) * 2017-12-29 2020-08-28 百度在线网络技术（北京）有限公司 用于点云数据修复的方法和装置
CN110264572B (zh) * 2019-06-21 2021-07-30 哈尔滨工业大学 一种融合几何特性与力学特性的地形建模方法及系统
CN112241661B (zh) * 2019-07-17 2024-08-23 临沂大学 一种结合机载LiDAR点云数据和航空影像的城市地物精细化分类方法
CN112307992A (zh) * 2020-11-04 2021-02-02 北京大学深圳研究生院 一种基于无人机可见光遥感的红树植物自动识别方法

Also Published As

Publication number Publication date
CN113128405A (zh) 2021-07-16

Similar Documents

Publication Publication Date Title
CN113128405B (zh) 一种结合语义分割与点云处理的植物识别与模型构建方法
CN109146889B (zh) 一种基于高分辨率遥感图像的农田边界提取方法
CN107516077B (zh) 基于激光点云和影像数据融合的交通标牌信息提取方法
CN111898688B (zh) 一种基于三维深度学习的机载LiDAR数据树种分类方法
CN104778721B (zh) 一种双目图像中显著性目标的距离测量方法
CN107451982B (zh) 一种基于无人机影像的高郁闭度林分树冠面积获取方法
CN112396128B (zh) 一种铁路外部环境风险源样本自动标注方法
CN114612488A (zh) 建筑物单体化信息提取方法、计算机装置及存储介质
CN107918776A (zh) 一种基于机器视觉的用地规划方法、系统及电子设备
CN112712589A (zh) 一种基于激光雷达和深度学习的植株3d建模的方法和系统
CN111027538A (zh) 一种基于实例分割模型的集装箱检测方法
Hu et al. Research on a single-tree point cloud segmentation method based on UAV tilt photography and deep learning algorithm
CN115661404A (zh) 一种多细粒度树木实景参数化建模方法
CN116279592A (zh) 一种用于无人物流车的可行驶区域划分方法
CN111754618A (zh) 一种面向对象的实景三维模型多层次解译方法及系统
CN116452852A (zh) 一种高精度矢量地图的自动生成方法
CN116311218A (zh) 基于自注意力特征融合的带噪植株点云语义分割方法及系统
CN114241160B (zh) 基于深度学习的单视角叶片三维重建方法
CN114494586B (zh) 晶格投影的深度学习网络阔叶树枝叶分离与骨架重建方法
CN108022245A (zh) 基于面线基元关联模型的光伏面板模板自动生成方法
CN113033386B (zh) 一种基于高分辨率遥感影像的输电线路通道隐患识别方法及系统
CN113822914A (zh) 倾斜摄影测量模型单体化方法、计算机装置及产品、介质
CN116704497B (zh) 一种基于三维点云的油菜表型参数提取方法及系统
CN116721345A (zh) 一种马尾松苗木的形态指标无损测量方法
CN116994029A (zh) 一种用于多源数据的融合分类方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant