CN116778098A - 一种基于深度学习的植物病虫害数据集构建方法 - Google Patents
一种基于深度学习的植物病虫害数据集构建方法 Download PDFInfo
- Publication number
- CN116778098A CN116778098A CN202310718184.4A CN202310718184A CN116778098A CN 116778098 A CN116778098 A CN 116778098A CN 202310718184 A CN202310718184 A CN 202310718184A CN 116778098 A CN116778098 A CN 116778098A
- Authority
- CN
- China
- Prior art keywords
- model
- plant
- map
- dimensional
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010276 construction Methods 0.000 title claims abstract description 23
- 201000010099 disease Diseases 0.000 title claims abstract description 22
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 22
- 241000607479 Yersinia pestis Species 0.000 title claims abstract description 20
- 238000013135 deep learning Methods 0.000 title claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 48
- 238000013507 mapping Methods 0.000 claims abstract description 34
- 238000001514 detection method Methods 0.000 claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 15
- 230000008635 plant growth Effects 0.000 claims abstract description 11
- 230000000694 effects Effects 0.000 claims abstract description 8
- 238000013461 design Methods 0.000 claims abstract description 6
- 238000004088 simulation Methods 0.000 claims abstract description 4
- 241000196324 Embryophyta Species 0.000 claims description 86
- 239000000463 material Substances 0.000 claims description 11
- 238000009877 rendering Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 230000000295 complement effect Effects 0.000 claims description 5
- 239000003086 colorant Substances 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 4
- 230000015556 catabolic process Effects 0.000 claims description 3
- 238000013500 data storage Methods 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 claims description 3
- 239000011521 glass Substances 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 9
- 241000238631 Hexapoda Species 0.000 abstract description 4
- 230000006870 function Effects 0.000 abstract description 3
- 238000011161 development Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008485 antagonism Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 241001078983 Tetradium ruticarpum Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度学习的植物病虫害数据集构建方法，主要解决现有方法所得训练样本的质量较差与环境的结合性不强的问题。该方法包括以下步骤：S1，获取几何模型建模数据；S2，生成目标区域中待检测植物生长环境的几何模型；S3，构建植物三维模型并通过贴图覆盖得到真实的植物模型；S4，创建模型库并导入模型资源，优化模型存储和调度策略；S5，构建三维虚拟训练平台，保存迭代效果最好的模型参数；S6，得到植物病虫害数据集仿真模型。通过上述设计，本发明基于实景三维建模技术和生成式对抗网络所构建的植物病虫害数据集对检测网络进行训练，不仅能降低训练周期，而且通过数据集自动处理功能能够大量节省网络训练的时间成本和人力成本。
Description
技术领域
本发明属于三维建模与深度学习技术领域，具体地说，是涉及一种基于深度学习的植物病虫害数据集构建方法。
背景技术
随着城市现代化的发展，“城市规划与管理”、“城市美化”、“城市旅游开发”对城市绿化的需求越来越迫切，规模也越来越庞大。城市绿化植物的管理对城市美化和城市经济价值的影响日益增大。目前，城市绿化植物管理中很重要的一部分是植物的检测。传统的检测方法是人工检测，需要从业人员具备较高的专业知识，并且费时费力、效率低下。深度学习的发展使得植物的自动检测成为可能，特别是卷积神经网络的发展，使用图像检测实现端对端的自动检测为植物状态检测带来了巨大的便利。
图像检测在植物状态检测领域内的深度学习方法通常为监督学习方法，是一种从大量数据中抽取目标特征并通过数据拟合建立起目标特征与检测类型之间的非线性关系。因此城市绿化植物的检测需要提供大量的植物数据，并且需要保证数据具有一定的实时性。因为检测环境与时间的偏差过大，会导致检测精度的显著较低，影响使用。
现有对绿化植物状态检测网络的训练通常是采用长时拍摄图片并通过人为标注的方式获得训练数据。该方法在面对背景复杂且图像采集困难的环境下很难获得检测精度较高的检测模型。并且针对不同的检测性状需要独立采集，对于样本较少的检测性状需要人为干预培育和单独拍摄，所得训练样本的质量较差与环境的结合性不强。
发明内容
本发明的目的在于提供一种基于深度学习的植物病虫害数据集构建方法，主要解决现有方法所得训练样本的质量较差与环境的结合性不强的问题。
为实现上述目的，本发明采用的技术方案如下：
一种基于深度学习的植物病虫害数据集构建方法，包括以下步骤：
S1，获取目标区域中待检测植物生长环境的几何模型建模数据；
S2，生成目标区域中待检测植物生长环境的几何模型；
S3，构建植物三维模型并通过贴图覆盖得到真实的植物模型；
S4，创建模型库并导入模型资源，优化模型存储和调度策略；
S5，构建三维虚拟训练平台，并对三维虚拟训练平台进行模型训练，保存迭代效果最好的模型参数；
S6，将保存的模型参数导入真实的植物模型，得到植物病虫害数据集仿真模型。
进一步地，在所述步骤S1中，使用航空倾斜摄影拍摄获取待建模区域的多视角倾斜航空影像，具体包括以下步骤：
S11，展开目标区域三维实景地图，记录周围建筑物高度，寻找最高高度作为无人机高程；
S12，记录建筑物各顶点坐标，设定无人机绕建筑飞行，以正视角航空摄影的图像作为选取依据，选取视野盲区最小的航向作为主航线，记录主航线；
S13，设置纵向航向重叠率为80％，设置旁向重叠率为80％的航线作为副航线，设置相机云台俯仰角度为-60°；
S14，无人机沿设定航线进行航拍，得到具有现场位置信息的图片文件。
进一步地，步骤S2具体包括以下步骤：
S21，将步骤S14中得到的图片文件导入三维实景建模软件中，进行照片位置信息读取；
S22，通过空中三角测量运算，对外方位元素缺失的位置信息进行补足，整合位置信息后生成图片位置和姿态的数据用来进行三维模型重建；
S23，根据S22中所获得的数据生成粗略的三维几何模型，针对各建筑物，将具有建筑物细节纹理映射到三维几何模型上；
S24，判断建筑物和对应的几何模型是否具有不清晰的纹理细节和映射错误，标记模糊的纹理部分和映射错误的部分；
S25，对标记的部位进行补拍，将取得的图片信息文件重新载入模型读取文件中进行模型的重构建。
进一步地，步骤S3具体包括以下步骤：
S31，通过人工建模辅以三维扫描的方式构建植物骨架模型，并对所获得的原始叶片模型进行调整；
S32，使用透明玻璃板将植物叶片压平后利用高精度相机捕获叶片表面纹理细节，并获取原始叶片贴图；
S33，将获取到的原始叶片贴图作为训练集训练生成式对抗网络，使用训练后的生成式对抗网络生成新的叶片贴图，记为扩充后的贴图；
S34，将原始贴图处理为透明底图，赋予模型基本的贴图材质，并通过采集到的纹理信息生成高度图，定义和渲染表面额外的大型凸起，随后用色深不同的线条纹理对原始贴图表面进行渲染，生成具有凹凸纹理和不同反光质感错觉效果的法线图；
S35，将扩充后的贴图和处理后的高度图和法线图载入Cinema4D中，生成原始的颜色、反射、凹凸、法线材质属性，并对局部进行物理渲染；
S36，对扩充后的贴图进行裁剪，并记录贴图在叶片所处部位的位置信息；
S37，加载植物骨架模型、颜色、反射材质属性，使用具有位置信息的植物贴图，随机展平在植物骨架模型上，生成具有生物异变性的植物模型。
进一步地，步骤S4具体包括以下步骤：
S41，对步骤S37生成的植物模型进行切块，对切块后的模型进行编号，按坐标和编号进行索引存储；
S42，采用分布式并行计算的方式加载模型，防止模型运算时运存崩溃。
进一步地，在所述步骤S5中，所述三维虚拟训练平台为基于UE虚幻引擎搭建的训练平台，该训练平台包括植物模型数据库、环境模型数据库、事件调度和发生器、检测数据处理、图像标注和训练模型；其中，对三维虚拟训练平台进行模型训练的步骤如下：
S51，将模型数据从模型数据库中导出，并划定植物生成区和背景环境区域；
S52，构建事件调度和发生逻辑蓝图，构建基于C++的可视化脚本控制植物生成数量、植物生成区域以及背景环境参数和图片数据尺寸的环境参数；
S53，设计UI界面，包括测试数据生成与效果显示，图片数据保存和循环次数控制、循环间隔控制，以及环境参数显示和调节界面设计；
S54，检测数据处理和模型训练：加载训练网络，并将三维虚拟训练平台所生成的图片数据处理成模型要求的输入格式；
S55，对数据进行预处理操作，将三维虚拟训练平台生成的图像作为源数据导入图像标注和训练模型，在图像数据的生成阶段使用视口投影矩阵和图像变换矩阵，根据模型的实际坐标和相机坐标的变换生成目标样本的最小外接矩形坐标，并保存该坐标，通过该坐标生成标注数据。
与现有技术相比，本发明具有以下有益效果：
(1)本发明采用三维建模技术构建虚拟模型数据来代替传统的真实数据对网络进行训练，快速发展的实景三维建模技术使得三维模型具有较高的真实感和丰富的细节纹理信息。并且经过优化后的实景建模方法，可以高效的构建出符合实际检测环境的训练数据集，显著降低数据中的背景偏差所带来的影响。基于实景三维建模技术和生成式对抗网络所构建的植物病虫害数据集对检测网络进行训练，不仅能降低训练周期，而且通过数据集自动处理功能能够大量节省网络训练的时间成本和人力成本。
(2)本发明在实景三维建模技术中所使用的倾斜摄影技术和实景贴图模型构建技术是平台构建的两大核心技术。航空倾斜摄影能够保证所构建的三维模型具有全局性，并且大大降低了模型的构建时间。使用实景贴图能够实现对局部细节的重现，最大程度的拟合真实数据。针对航空摄影测量中的近地数据丢失，实景贴图模型构建恰恰能较好的补足近地端丢失的影像数据。为了能较好的补足植物样本中的生物异变性，在植物模型构建端使用了生成式对抗网络扩充采集到的植物贴图。随后通过扩充后的贴图和植物三维模型生成实景植物模型。该数据集构建方法工作量小，成本低且周期短，可广泛应用于城市绿化植物状态检测中。
附图说明
图1是本发明的流程示意图。
图2是本发明提供的针对植物生长环境的实景三维模型构建的流程示意图。
图3是本发明重构的植物生长环境的实景三维模型与真实环境的对比图。
图4是本发明提供的空中三角测量运算中的中心投影构象关系示意图。
图5是本发明提供的植物模型构建流程图。
图6是本发明提供的使用生成式对抗网络扩充后的病害植物叶片贴图。
图7是本发明提供的模型加载和平台界面UI的示意图。
图8是本发明提供的平台生成的训练图片数据以及网络检测结果示意图。
具体实施方式
下面结合附图说明和实施例对本发明作进一步说明，本发明的方式包括但不仅限于以下实施例。
实施例
如图1所示，本发明公开的一种基于深度学习的植物病虫害数据集构建方法，包括以下步骤：
S1，获取目标区域中待检测植物生长环境的几何模型建模数据；使用航空倾斜摄影拍摄获取待建模区域的多视角倾斜航空影像，以无人机携带的五拼相机为例，以飞行平台为基准，对竖直向下、前视、后视、左视以及右视五个方位的视角进行拍摄。具体包括以下步骤：
S11，展开目标区域三维实景地图，记录周围建筑物高度，寻找最高高度作为无人机高程；
S12，记录建筑物各顶点坐标，设定无人机绕建筑飞行，以正视角航空摄影的图像作为选取依据，选取视野盲区最小的航向作为主航线，记录主航线；
S13，设置纵向航向重叠率为80％，设置旁向重叠率为80％的航线作为副航线，设置相机云台俯仰角度为-60°；
S14，无人机沿设定航线进行航拍，得到具有现场位置信息的图片文件。
S2，生成目标区域中待检测植物生长环境的几何模型；具体包括以下步骤：
S21，将步骤S14中得到的图片文件导入三维实景建模软件中，进行照片位置信息读取；
S22，通过空中三角测量运算，对外方位元素缺失的位置信息进行补足，整合位置信息后生成图片位置和姿态的数据用来进行三维模型重建；
S23，根据S22中所获得的数据生成粗略的三维几何模型，针对各建筑物，将具有建筑物细节纹理映射到三维几何模型上；
S24，判断建筑物和对应的几何模型是否具有不清晰的纹理细节和映射错误，标记模糊的纹理部分和映射错误的部分；
S25，对标记的部位进行补拍，将取得的图片信息文件重新载入模型读取文件中进行模型的重构建。参考图2，针对植物生长环境的实景三维模型构建的流程示意图，对整个环境模型的构建做出了详细的描述。补充的是，在实际运用中需要通过空中三角测量补算对模型的位置姿态参数进行补足。参考图3，利用本发明重构的植物生长环境的实景三维模型与真实环境的对比图。参考图4中的像点位置与地面点位置，图中的两个平行的坐标系分别是地面摄影测量坐标和像空间辅助坐标，当测量影像的像点a、摄像中心点S、地面点A处于同一直线时，可以推得共线方程(1.1):
(x,y)为像点a以像主点(x0，y0)为原点在像平面的坐标；(XA，YA，ZA)，(XS，YS，ZS)分别为地面点A和摄像中心点S在物方空间中的坐标。f为像片主距；(ai，bi，ci)为影像外方位的角元素的9个方向的余弦。以上即为像片主距为f的共线方程，基于中心投影的共线方程作为平差的数学模型，以像点坐标为观测值，根据相邻像片公共交汇点坐标相等、控制点的加密坐标与地面坐标相等的条件，求解出每张像片的外方位元素和加密点的坐标，通过这些坐标对模型的位置姿态参数进行补足。
S3，构建植物三维模型并通过贴图覆盖得到真实的植物模型；具体包括以下步骤：
S31，通过人工建模辅以三维扫描的方式构建植物骨架模型，并对所获得的原始叶片模型进行调整；
S32，使用透明玻璃板将植物叶片压平后利用高精度相机捕获叶片表面纹理细节，并获取原始叶片贴图；
S33，将获取到的原始叶片贴图作为训练集训练生成式对抗网络，使用训练后的生成式对抗网络生成新的叶片贴图，记为扩充后的贴图；
S34，将原始贴图处理为透明底图，赋予模型基本的贴图材质，并通过采集到的纹理信息生成高度图，定义和渲染表面额外的大型凸起，随后用色深不同的线条纹理对原始贴图表面进行渲染，生成具有凹凸纹理和不同反光质感错觉效果的法线图；
S35，将扩充后的贴图和处理后的高度图和法线图载入Cinema4D中，生成原始的颜色、反射、凹凸、法线材质属性，并对局部进行物理渲染；
S36，对扩充后的贴图进行裁剪，并记录贴图在叶片所处部位的位置信息；
S37，加载植物骨架模型、颜色、反射材质属性，使用具有位置信息的植物贴图，随机展平在植物骨架模型上，生成具有生物异变性的植物模型。
参考图5，以典型的城市绿化植物大吴风草为例，图中展示了大吴风草叶模型完整的构建流程。首先构建植物骨架模型，然后捕捉叶片的原始贴图后进行裁剪。贴图构建的过程总共分为3个部分，首先需要通过贴图压片拍摄采集，然后将采集的原始贴图处理后导入生成式对抗网络进行训练，使用训练后的网络扩充叶片贴图。参考图6，通过生成式对抗网络所生成的植物叶片贴图。图6(a)为原始贴图，图6(b)、图6(c)、图6(d)为网络生成的病害植物贴图。从图中可见，使用生成式对抗网络能够很好的将叶片病状这一特征赋予生成的叶片贴图，很好的弥补了病害植物样本所需要的生物异变性。
使用PhotoShop软件基于扩充后的叶片贴图捕捉叶片表面纹路和凸起生成高度图，对高度图进行色深不同的渲染，生成具有虚拟凹凸纹理的高度图以及法线图。随后使用Cinema4D进行叶片模型构建,叶片模型包括叶片轮廓和叶片脉络需要使用贴图采集的高度图、法线图等纹理信息。并通过所获取的原始贴图、高度图、法线图对叶片材质的颜色、凹凸、反射、法线等进行创建，并根据所生成叶片材质和扩充后的贴图，使用UV贴图工具展平贴图至叶片模型上，最后生成完整模型。
S4，为了解决单个模型内存占用量过大的问题，对模型进行切块，对切块后的模型进行编号，按坐标和编号进行索引存储。对于保存下的模型数据，为了降低运存负载，选择分布式计算框架Mapreduce对模型进行计算重载。具体包括以下步骤：
S41，对步骤S37生成的植物模型进行切块，对切块后的模型进行编号，按坐标和编号进行索引存储；
S42，采用分布式并行计算的方式加载模型，防止模型运算时运存崩溃。
S5，构建三维虚拟训练平台，并对三维虚拟训练平台进行模型训练，保存迭代效果最好的模型参数；所述三维虚拟训练平台为基于UE虚幻引擎搭建的训练平台，该训练平台包括植物模型数据库、环境模型数据库、事件调度和发生器、检测数据处理、图像标注和训练模型；其中，对三维虚拟训练平台进行模型训练的步骤如下：
S51，将模型数据从模型数据库中导出，并划定植物生成区和背景环境区域；
S52，构建事件调度和发生逻辑蓝图，构建基于C++的可视化脚本控制植物生成数量、植物生成区域以及背景环境参数和图片数据尺寸的环境参数；
S53，设计UI界面，包括测试数据生成与效果显示，图片数据保存和循环次数控制、循环间隔控制，以及环境参数显示和调节界面设计；
S54，检测数据处理和模型训练：加载训练网络，并将三维虚拟训练平台所生成的图片数据处理成模型要求的输入格式；
S55，对数据进行预处理操作，将三维虚拟训练平台生成的图像作为源数据导入图像标注和训练模型，在图像数据的生成阶段使用视口投影矩阵和图像变换矩阵，根据模型的实际坐标和相机坐标的变换生成目标样本的最小外接矩形坐标，并保存该坐标，通过该坐标生成标注数据。
参考图7，图7展示了基于C++蓝图编程以及UMG设计器所设计的界面UI。图7中主窗口的朝向即是虚拟空间中的视口朝向，视口方向可以任意变动。虚拟空间中的植物培养面板也就是植物生成区，可以通过右上角的控制器控制生成植物的数量。图7中分别生成了一定数量的正常大吴风草和叶片发黄的大吴风草。然后通过视口，循环拍摄虚拟图片作为训练数据。
参考图8，保存下来的训练数据也无法直接满足训练需求。需要生成标签数据文件。在平台中基于虚拟空间的成像环境，在图片数据生成时记录下目标植物在模型空间中的最小外接矩形的坐标，根据平移、旋转和缩放矩阵计算世界空间下的坐标，如公式(1.2)：
PW＝MTMRMSPM(0.2)
公式中MT、MR和MS分别表示对模型空间下的坐标PM进行平移、旋转和缩放，得到物体在世界空间下的坐标PW。随后根据世界空间到像平面的投影矩阵计算出标签框的坐标值，投影矩阵如公式(1.3)：
公式(1.3)中，RTT-1描述的是从世界坐标系到相机坐标系的映射过程，P’为此时在相机空间下的坐标。Mproject表示从相机空间映射到二维平面的矩阵，PS是所得的二维平面的坐标。计算出的坐标值在平台中以标签和坐标值对应存取，存取格式为XML。如图8右上角，存取标签矩形左上点和右下点的坐标。随后根据所选择网络，将XML标签转换成相应的格式，如本例所使用的YOLOv5网络所使用的YOLO格式。图8下半部分表示了训练网络在真实图片中的检测效果。
S6，将保存的模型参数导入真实的植物模型，得到植物病虫害数据集仿真模型。
通过上述设计，本发明基于实景三维建模技术和生成式对抗网络所构建的植物病虫害数据集对检测网络进行训练，不仅能降低训练周期，而且通过数据集自动处理功能能够大量节省网络训练的时间成本和人力成本。因此，与现有技术相比，本发明具有突出的实质性特点和显著的进步。
上述实施例仅为本发明的优选实施方式之一，不应当用于限制本发明的保护范围，但凡在本发明的主体设计思想和精神上作出的毫无实质意义的改动或润色，其所解决的技术问题仍然与本发明一致的，均应当包含在本发明的保护范围之内。
Claims (6)
1.一种基于深度学习的植物病虫害数据集构建方法，其特征在于，包括以下步骤：
S1，获取目标区域中待检测植物生长环境的几何模型建模数据；
S2，生成目标区域中待检测植物生长环境的几何模型；
S3，构建植物三维模型并通过贴图覆盖得到真实的植物模型；
S4，创建模型库并导入模型资源，优化模型存储和调度策略；
S5，构建三维虚拟训练平台，并对三维虚拟训练平台进行模型训练，保存迭代效果最好的模型参数；
S6，将保存的模型参数导入真实的植物模型，得到植物病虫害数据集仿真模型。
2.根据权利要求1所述的一种基于深度学习的植物病虫害数据集构建方法，其特征在于，在所述步骤S1中，使用航空倾斜摄影拍摄获取待建模区域的多视角倾斜航空影像，具体包括以下步骤：
S11，展开目标区域三维实景地图，记录周围建筑物高度，寻找最高高度作为无人机高程；
S12，记录建筑物各顶点坐标，设定无人机绕建筑飞行，以正视角航空摄影的图像作为选取依据，选取视野盲区最小的航向作为主航线，记录主航线；
S13，设置纵向航向重叠率为80％，设置旁向重叠率为80％的航线作为副航线，设置相机云台俯仰角度为-60°；
S14，无人机沿设定航线进行航拍，得到具有现场位置信息的图片文件。
3.根据权利要求2所述的一种基于深度学习的植物病虫害数据集构建方法，其特征在于，步骤S2具体包括以下步骤：
S21，将步骤S14中得到的图片文件导入三维实景建模软件中，进行照片位置信息读取；
S22，通过空中三角测量运算，对外方位元素缺失的位置信息进行补足，整合位置信息后生成图片位置和姿态的数据用来进行三维模型重建；
S23，根据S22中所获得的数据生成粗略的三维几何模型，针对各建筑物，将具有建筑物细节纹理映射到三维几何模型上；
S24，判断建筑物和对应的几何模型是否具有不清晰的纹理细节和映射错误，标记模糊的纹理部分和映射错误的部分；
S25，对标记的部位进行补拍，将取得的图片信息文件重新载入模型读取文件中进行模型的重构建。
4.根据权利要求3所述的一种基于深度学习的植物病虫害数据集构建方法，其特征在于，步骤S3具体包括以下步骤：
S31，通过人工建模辅以三维扫描的方式构建植物骨架模型，并对所获得的原始叶片模型进行调整；
S32，使用透明玻璃板将植物叶片压平后利用高精度相机捕获叶片表面纹理细节，并获取原始叶片贴图；
S33，将获取到的原始叶片贴图作为训练集训练生成式对抗网络，使用训练后的生成式对抗网络生成新的叶片贴图，记为扩充后的贴图；
S34，将原始贴图处理为透明底图，赋予模型基本的贴图材质，并通过采集到的纹理信息生成高度图，定义和渲染表面额外的大型凸起，随后用色深不同的线条纹理对原始贴图表面进行渲染，生成具有凹凸纹理和不同反光质感错觉效果的法线图；
S35，将扩充后的贴图和处理后的高度图和法线图载入Cinema4D中，生成原始的颜色、反射、凹凸、法线材质属性，并对局部进行物理渲染；
S36，对扩充后的贴图进行裁剪，并记录贴图在叶片所处部位的位置信息；
S37，加载植物骨架模型、颜色、反射材质属性，使用具有位置信息的植物贴图，随机展平在植物骨架模型上，生成具有生物异变性的植物模型。
5.根据权利要求4所述的一种基于深度学习的植物病虫害数据集构建方法，其特征在于，步骤S4具体包括以下步骤：
S41，对步骤S37生成的植物模型进行切块，对切块后的模型进行编号，按坐标和编号进行索引存储；
S42，采用分布式并行计算的方式加载模型，防止模型运算时运存崩溃。
6.根据权利要求5所述的一种基于深度学习的植物病虫害数据集构建方法，其特征在于，在所述步骤S5中，所述三维虚拟训练平台为基于UE虚幻引擎搭建的训练平台，该训练平台包括植物模型数据库、环境模型数据库、事件调度和发生器、检测数据处理、图像标注和训练模型；其中，对三维虚拟训练平台进行模型训练的步骤如下：
S51，将模型数据从模型数据库中导出，并划定植物生成区和背景环境区域；
S52，构建事件调度和发生逻辑蓝图，构建基于C++的可视化脚本控制植物生成数量、植物生成区域以及背景环境参数和图片数据尺寸的环境参数；
S53，设计UI界面，包括测试数据生成与效果显示，图片数据保存和循环次数控制、循环间隔控制，以及环境参数显示和调节界面设计；
S54，检测数据处理和模型训练：加载训练网络，并将三维虚拟训练平台所生成的图片数据处理成模型要求的输入格式；
S55，对数据进行预处理操作，将三维虚拟训练平台生成的图像作为源数据导入图像标注和训练模型，在图像数据的生成阶段使用视口投影矩阵和图像变换矩阵，根据模型的实际坐标和相机坐标的变换生成目标样本的最小外接矩形坐标，并保存该坐标，通过该坐标生成标注数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310718184.4A CN116778098A (zh) | 2023-06-16 | 2023-06-16 | 一种基于深度学习的植物病虫害数据集构建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310718184.4A CN116778098A (zh) | 2023-06-16 | 2023-06-16 | 一种基于深度学习的植物病虫害数据集构建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116778098A true CN116778098A (zh) | 2023-09-19 |
Family
ID=87994163
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310718184.4A Pending CN116778098A (zh) | 2023-06-16 | 2023-06-16 | 一种基于深度学习的植物病虫害数据集构建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116778098A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117875088A (zh) * | 2024-03-11 | 2024-04-12 | 北京数易科技有限公司 | 一种受限环境下的特种部队训练模拟方法、系统及介质 |
-
2023
- 2023-06-16 CN CN202310718184.4A patent/CN116778098A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117875088A (zh) * | 2024-03-11 | 2024-04-12 | 北京数易科技有限公司 | 一种受限环境下的特种部队训练模拟方法、系统及介质 |
| CN117875088B (zh) * | 2024-03-11 | 2024-05-28 | 北京数易科技有限公司 | 一种受限环境下的特种部队训练模拟方法、系统及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10297074B2 (en) | Three-dimensional modeling from optical capture | |
| CN112052503B (zh) | 一种基于人工智能的商业街区建筑体块生成的方法 | |
| US20190026400A1 (en) | Three-dimensional modeling from point cloud data migration | |
| CN104330074B (zh) | 一种智能测绘平台及其实现方法 | |
| CN103884321B (zh) | 一种遥感影像成图工艺 | |
| CN105205853A (zh) | 一种用于全景视图管理的3d图像拼接合成方法 | |
| CN114332385A (zh) | 一种基于三维虚拟地理场景的单目相机目标检测与空间定位方法 | |
| BRPI0715010A2 (pt) | sistema e mÉtodo de modelaÇço geoespacial | |
| CN110362895B (zh) | 一种基于bim+gis技术的征地拆迁应用管理系统 | |
| Pardo-García et al. | Measurement of visual parameters of landscape using projections of photographs in GIS | |
| CN116778098A (zh) | 一种基于深度学习的植物病虫害数据集构建方法 | |
| CN115937461B (zh) | 多源融合模型构建及纹理生成方法、装置、介质及设备 | |
| CN106780586A (zh) | 一种基于地面激光点云的太阳能潜力评估方法 | |
| CN110189395B (zh) | 一种基于人视角倾斜摄影实现景观立面动态分析与定量设计的方法 | |
| Guo et al. | Application of UAV tilt photogrammetry in 3D modeling of ancient buildings | |
| CN116129064A (zh) | 电子地图生成方法、装置、设备及存储介质 | |
| Maravelakis et al. | Automatic building identification and features extraction from aerial images: Application on the historic 1866 square of Chania Greece | |
| Dursun et al. | 3D city modelling of Istanbul historic peninsula by combination of aerial images and terrestrial laser scanning data | |
| Teng et al. | Extraction and Analysis of Spatial Feature Data of Traditional Villages Based on the Unmanned Aerial Vehicle (UAV) Image | |
| Gu et al. | Surveying and mapping of large-scale 3D digital topographic map based on oblique photography technology | |
| Xing et al. | The Application of Augmented Reality Technology in Urban Greening Plant Growth State Detection | |
| US11823364B1 (en) | Machine learning for artificial parcel data generation | |
| Bulatov et al. | Assessing Geo-Typical Techniques for Modeling Buildings using Thermal Simulations | |
| Pulcrano et al. | Multi-sensor data acquisition and integration processes for the study and documentation of the church of Santa Maria degli Angeli in Pizzofalcone in Naples | |
| Pinte et al. | Orthoimages of the outer walls and towers of the château de Chambord |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |