CN116109755B - 一种基于CycleGAN算法生成不同场景建筑物纹理的方法 - Google Patents
一种基于CycleGAN算法生成不同场景建筑物纹理的方法 Download PDFInfo
- Publication number
- CN116109755B CN116109755B CN202310008389.3A CN202310008389A CN116109755B CN 116109755 B CN116109755 B CN 116109755B CN 202310008389 A CN202310008389 A CN 202310008389A CN 116109755 B CN116109755 B CN 116109755B
- Authority
- CN
- China
- Prior art keywords
- texture
- textures
- training
- data
- scenes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000013507 mapping Methods 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims description 80
- 238000006243 chemical reaction Methods 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 13
- 238000012795 verification Methods 0.000 claims description 10
- 230000000694 effects Effects 0.000 claims description 7
- 102100037410 Gigaxonin Human genes 0.000 claims description 6
- 101001025761 Homo sapiens Gigaxonin Proteins 0.000 claims description 6
- 238000004088 simulation Methods 0.000 claims description 5
- 230000007704 transition Effects 0.000 claims description 3
- 230000003203 everyday effect Effects 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 abstract description 6
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- WYTGDNHDOZPMIW-RCBQFDQVSA-N alstonine Natural products C1=CC2=C3C=CC=CC3=NC2=C2N1C[C@H]1[C@H](C)OC=C(C(=O)OC)[C@H]1C2 WYTGDNHDOZPMIW-RCBQFDQVSA-N 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Graphics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于CycleGAN算法生成不同场景建筑物纹理的方法，包括以下步骤：步骤1，现有建筑物模型数据处理；步骤2，对纹理进行不同场景的学习；步骤3，处理各个纹理定位数据；步骤4，将纹理进行自动映射；通过CycleGAN算法进行数据的加工，获取到风格一致的纹理数据；通过对纹理进行转换、合并等处理，形成统一分辨率的纹理数据；根据限定的UV定位进行自动纹理替换，方便数据生产与更新；本发明采用CycleGAN算法进行不同场景和季节的纹理生成，为其他专题数据纹理更新提出一种可行性方案。
Description
技术领域
本发明涉及计算机技术技术领域，及具体一种涉及基于CycleGAN算法生成不同场景建筑物纹理的方法。
背景技术
在不同场景或季节制作建筑物模型纹理，现今常用的方法有人工在不同的时间对不同建筑物进行现场拍照、利用各类型的飞机、无人机或者地面扫描系统进行纹理采集，然后通过人工操作将采集到的纹理进行映射，形成不同场景下对应结构化数据的外观纹理，从而达到数据更新的目的。
现有技术中存在以下问题：通过人工进行数据采集、后处理、纹理更新等，需要投入的成本较大；通过对影像进行实地采集加工处理存在受拍摄时间影响，不利于同一时间大规模采集数据，容易导致数据存在时间差，整体效果不好；由于建筑物每一个面不是统一大小，造成纹理分辨率不一致，影响数据效果；一旦拍摄结束，基于拍摄的数据进行数据后续处理建模，再次发现因纹理色彩整体不美观或不符合客户期望时，需要再次进行拍摄及重构后续三维模型，时间和成本均不可控。
同时，目前很多基于倾斜摄影航拍数据生产的OSGB倾斜数据在对应的软件生产结束后才能发现部分瓦块或者部分区域存在颜色较暗，面积过大；即使大面积的对航片重新匀光匀色后，重新生产的倾斜数据有时也会产生瓦块间明暗变化，无法达到整体色彩快速变化。
另一方面，如果想要获得更多的场景的切换可能，这就需要大量训练样，尤其采用GAN算法时，需要真实场景图作为判别器的判别依据。因此仍然需要考虑大量的预备场景纹理。这对短时内就想获得足够量的数据是困难的。
本发明要基于CycleGAN算法结合建筑物UV纹理定位对建筑物在不同场景的纹理进行生产，主要解决模型数据在更新过程中生产成本高，工艺流程复杂，人工工作量大的问题，能够很方便的在不同场景中得到应用。
然而CycleGAN虽然能够进行场景切换，但是其有个缺点就是如果损失函数构造不当，尤其是身份项(Identity)或者说“庇护项”不存在时，输入训练好的生成器之后输出端可能是一个与原图纹理完全不一致的但风格或场景是对的影像。因此如何克服，甚至如何利用这个缺点成为额外获得的一种训练资源成为亟待考虑的问题。
发明内容
本发明主要是在现有纹理基础上，通过对纹理学习进行风格数据的制作，生产出不同场景或季节的纹理数据，根据原始的UV定位进行全自动的纹理替换，从而实现纹理数据替换的全自动化处理；通过对现有的建筑物纹理数据进行自动的处理，将成果二次利用到数据更新中，减少数据采集周期和模型再次因纹理重新生产处理的工作量，在保证精度的同时提升数据生产的便利和效率。
鉴于此本发明考虑如下两个方面：第一，考虑如何保持“同时场景”下纹理的拼接；第二，利用损失函数Loss缺乏身份项时输出影像作为判别集。
由此具体提出了以下技术方案：
一种基于CycleGAN算法生成不同场景建筑物纹理的方法，包括以下步骤：
步骤1，现有建筑物模型数据处理：
纹理进行统一合并，纹理进行数据分辨率转换，纹理UV定位的获取，选择出需要调整颜色的模型，并利用python编译的工具批量挑选出对应的文件，并合并纹理；
步骤2，对纹理进行不同场景的学习：
不同场景的数据集制作，根据不同场景进行训练、输出不同风格的纹理数据；
步骤3，处理各个纹理定位数据：
将纹理进行拆分，还原纹理原始分辨率，输出原始大小图像；
步骤4，将纹理进行自动映射：
根据模型与纹理的对应关系进行纹理的映射。
其中，在不损失数据规则的前提下，将提取的纹理进行降采样。
其中，利用Python编译将需要调整颜色的文件对应的文件中的UV贴图文件批量提取出来获取。
其中：步骤1，现有建筑物模型数据的获取与处理：
将预先采集到的航拍影像数据进行倾斜影像构建，并将所有网格内的纹理进行统一合并，纹理进行数据分辨率转换，纹理UV定位的获取，利用python编译的工具批量挑选出需要调整颜色的模型进行调色和效果模拟，模拟出不同的天气、节假日、春、夏、秋、冬季节情景，并合重新合并入纹理原位，形成每个月份的多场景下的多个纹理Vs，s＝1,2,3,4,5,6,7,8,9,10分别表示晴、多云、雨、雪、节假日、阴、春、夏、秋、冬；
可选地，在进行上述步骤1的数据处理之前，可以先设置多架搭载高清图像采集装置的无人机，在每一个月份中预选取的1-5天内相同天气情况下，在每一天同一时刻开始对划分网格的地理区域，以预设路线和固定高度，以及统一的飞行姿态以及飞行速度进行每天逐批网格的的低空航拍；
可以理解的是，由于1-5天内相同天气情况，且每天同一时刻开始，因此每一批网格拍摄开始到结束时时间缩短，可以近似认为所有网格的拍摄的影像状态是接近同一时刻采集的状态。如果无人机架数足够多，则可能一天内的固定短时段内就能完成拍摄，更能接近同一时刻采集的状态。能够灵活根据拍摄成本的承担能力而选择架数。
优选地，对于同一网格内，设置多架无人机以该网格的对称轴为分界，在分界两边对称路线同时飞行进行航拍。
更优选地，对于同一网格进行多次航拍。
容易理解的是，对称路线的飞行能够比一架无人机拍摄更能缩短时间，能够反映分界两端地理区域影像的状态更接近同一时刻的状态。
步骤2，对纹理进行不同场景的学习：
不同场景的数据集制作，根据不同场景进行训练、构建不同风格的纹理转换模型；
步骤3，处理各个纹理定位数据：
将待转换的纹理进行拆分与分辨率转换，输入步骤2构建的纹理转换模型中，输出转换场景的纹理，并还原纹理原始分辨率，输出原始大小图像；
步骤4，将纹理进行自动映射：
根据倾斜模型与纹理的对应关系进行纹理的映射，完成倾斜模型的场景转换。
其中，步骤2中在不损失数据规则的前提下，将提取的纹理进行降采样。
其中，利用Python编译将需要调整颜色的文件对应的文件中的UV贴图文件批量提取出来获取。
其中步骤2具体包括如下步骤：
S1对每一个月份的不同场景下重新合并的多个纹理进行网格细分，形成数据集k为自然数表示细分网格编号，k＞499，t为多次拍摄的次数序号，t＝1,2,3，因此一种场景具有12kt个纹理可供训练，最少的仅存在12000个样本数量还是不够，因此图和在不增加数据采集工作量前提下实现样本扩增。于是有下面步骤：
S2构建晴、多云、雨、雪、节假日、阴、春、夏、秋、冬十个场景下组CycleGAN模型，对于每一组s'-s"转换，包括生成器Gs'-s"，判断器Ds'-s"，循环生成器Fs"-s'，循环判断器Hs"-s'；一方面，将s'场景t'次拍摄形成的纹理/>分为4-2:1训练集和验证集，训练集加和随机噪声输入Gs'-s"，输出赝图Y(s'-s")k，利用/>在D'"
s-s中计算概率，判断真伪；以及将s"场景t"次拍摄形成的纹理分为4-2:1训练集和验证集，训练集加和随机噪声输入Fs"-s'，输出赝图Y(s"-s')k，利用/>在Hs"-s'中计算概率，判断真伪，分别计算损失函数以及
，其中Es'和Es"为随机梯度函数，总损失函数L＝LGAN1+LGAN2+λ(LCycle1+LCycle2)，λ为调整参数，用以控制GAN和Cycle项的相对重要性；依次保持Gs'-s"和Fs"-s'参数不变，训练判别器Ds'-s"和Hs"-s'，以使得L最大完成训练，以及保持Ds'-s"和Hs"-s'参数不变，训练生成器Gs'-s"和Fs"-s'，以使得L最小完成训练；
S3将纹理集所有纹理一一输入步骤S2中训练好的G′s′-s"中，输出赝图集FY′(s'-s")k，以及将纹理集/>所有纹理一一输入步骤S2中训练好的Fs'"-s'中，输出赝图集FY′(s"-s')k，将纹理集/>分为4-2:1训练集和验证集，训练集加和随机噪声输入同一个训练前的Gs'-s"，输出赝图Y′(s'-s")k，利用纹理集/>在同一个训练前的Ds'-s"中计算概率，判断真伪；将纹理集/>分为4-2:1训练集和验证集，训练集加和随机噪声输入同一个训练前的Fs"-s'，输出赝图Y′(s"-s')k，利用/>在同一个训练前的Hs"-s'中计算概率，判断真伪；计算总损失函数依次保持Gs'-s"和Fs"-s'参数不变，训练判别器Ds'-s"和Hs"-s'，以使得LT最大完成训练，分别获得最终的判别器Df和Hf，以及保持Ds'-s"和Hs"-s'参数不变，训练生成器Gs'-s"和Fs"-s'，以使得LT最小完成训练，分别获得最终的生成器Gf和Ff；
S4更换另一组场景，进行步骤S2-S3，直至所有组场景完成，形成纹理转换模型系/>其中s'≠s"；s',s"∈s。
由上述步骤S2和S3可知，当损失函数中未引入身份项Lidentity，虽然可能获得的是另一幅不同内容但是场景却符合的赝图，但在S2中训练完毕时可以认为场景已经十分能够转换得准确，但是内容有可能偏差。本发明正是利用了内容的偏差而作为扩充训练集的方法，从而不需要额外航拍图像采集而获得了场景准确的更多幅不同内容的训练集，使得后续加入身份项的训练中更为准确地还原原图的另一场景下的模样。
优选地，步骤S3中还能够再次输入步骤S4的模型系中，获得更多最终生成器输出的赝图，从而继续进行步骤S3-S4进行二次模型系的构建，以此类推能够构建N次模型系，N≥2。
步骤3中的所述拆分包括将待转换的纹理进行如步骤S1的网格细分。
可见本申请的纹理转换时网格化分块进行的，这是纹理转换模型系构建训练量的需求也是减少计算量快速合并纹理的一个方法。
本发明提供的方法可解决航拍后生产的OSGB三维模型单个tile块或个别tile块的颜色问题，及整体数据处理后，纹理无法快速批量替换的问题，可对整体模型环境颜色进行改变，如秋天地物昏黄，变为绿色，以及天气进行效果模拟，形成不同场景训练集，又转而利用CycleGAN损失函数身份项的确实缺点，获得了大量扩充的训练集。从而减少重新航拍，重新生产，重新需要大量人力进行修改的目的。
本发明采用较少的数据进行学习，通过CycleGAN算法进行数据的加工，获取到风格一致的纹理数据；通过对纹理进行转换、合并等处理，形成统一分辨率的纹理数据；根据限定的UV定位进行自动纹理替换，方便数据生产与更新；采用CycleGAN算法进行不同场景和季节的纹理生成，为其他专题数据纹理更新提出一种可行性方案；采用全自动化对数据进行更新，有效的缩短纹理数据的更新与迭代，能够很快响应实时数据的可视化效果；采用全自动化的纹理数据更新，更有利于降低操作要求，便于数据维护与更新；利用CycleGAN算法的损失函数身份项确实而获得扩增的训练集，加快了训练的效率。
附图说明
结合附图，并通过参考下面的详细描述，将会更容易地对本发明有更完整的理解并且更容易地理解其伴随的优点和特征，其中：
图1示出了本发明实施例的方法流程图；
图2示出了本发明实施例的网格化无人机航拍路径示意图；
图3示出了发明实施例中基于CycleGAN算法对纹理进行不同场景的学习的具体流程图；
图4示出了本发明实施例中A1区域中16网格划分下，该区域部分转换后的场景倾斜模型；
图5示出了本发明实施例中A1区域中纹理网格化后，经转换模型系从晴天转换为阴天场景的倾斜模型对比图。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步说明。
以下实施例仅为清楚说明本发明而举例，并非对本发明实施方式的限定。
在实际操作中，可在下述说明的基础上根据需求做出变化和变动，但由本发明精神所引出的显而易见的变化或变动仍处于本发明的保护范围之中。
图1显示一种基于CycleGAN算法生成不同场景建筑物纹理的方法，步骤1，现有建筑物模型数据的获取与处理：与预先采集的多场景下的建筑物模型数据进行纹理进行统一合并，纹理进行数据分辨率转换，纹理UV定位的获取，利用python编译的工具批量挑选出需要调整颜色的模型进行调色和效果模拟，模拟出不同的天气、节假日、春、夏、秋、冬季节情景，并合重新合并入纹理原位，形成每个月份的多场景下的多个纹理。
步骤2，对纹理进行不同场景的学习：
不同场景的数据集制作，根据不同场景进行训练、构建不同风格的纹理转换模型；
步骤3，处理各个纹理定位数据：
将待转换的纹理进行拆分，输入步骤2构建的纹理转换模型中，输出转换场景的纹理，并还原纹理原始分辨率，输出原始大小图像；
步骤4，将纹理进行自动映射：
根据倾斜模型与纹理的对应关系进行纹理的映射，完成倾斜模型的场景转换。
在一些可选实施例中，在上述步骤1之前，还需要先采集多场景下的建筑物模型数据，例如进行区域网格化无人机航拍，并构建倾斜影像。如图2所示，在进行数据采集时，一城市地理区域被分割成A1-A4四个矩形区域作为一批次网格，在对称轴分界两侧，对于每个区域都分配了两架搭载高清图像采集装置的无人机，按照如图A1中所示相对于分界对称的蛇形飞行路线，在离地119m高度，以匀速飞行。在每个月1-5日早10:00开始飞行航拍。在实际应用中，对于多场景下的建筑物模型数据可以仅采集一次以进行不同场景的纹理学习，并构建纹理转换模型，当后续再次制作建筑物纹理模型时，可以需要再次拍照即可自动根据预先构建的模型进行纹理映射，实现有效的缩短纹理数据的更新与迭代，能够很快响应实时数据的可视化效果。
将上述采集到的航拍影像数据进行倾斜影像构建，并将所有网格A1-A4内的纹理进行统一合并，纹理进行数据分辨率转换，纹理UV定位的获取，利用python编译的工具批量挑选出需要调整颜色的模型进行调色和效果模拟，模拟出不同的天气、节假日、春、夏、秋、冬季节情景，并合重新合并入纹理原位，形成每个月份的多场景下的多个纹理Vs，s＝1,2,3,4,5,6,7,8,9,10分别表示晴、多云、雨、雪、节假日、阴、春、夏、秋、冬。
步骤2，对纹理进行不同场景的学习：包括如下步骤：
如图3所示，S2构建阴、晴、多云、雨、雪、节假日六个场景下组CycleGAN模型，对于每一组s'-s"转换，以1-6为例，包括生成器G1-6，判断器D1-6，循环生成器F6-1，循环判断器H6-1；一方面，将1场景t'＝1,2,3次拍摄形成的纹理/>分为3:1训练集和验证集，训练集输入G1-6，输出赝图Y(1-6)k，利用/>在D1-6中计算概率，判断真伪；以及将6场景t"＝1,2,3次拍摄形成的纹理/>分为3:1训练集和验证集，训练集输入F6-1，输出赝图Y(6-1)k，利用/>在H6-1中计算概率，判断真伪，分别计算损失函数以及其中E1和E6为随机梯度函数，其计算各自针对所有的t'、k和t"、k，总损失函数L＝LGAN1+LGAN2+λ(LCycle1+LCycle2)，λ为调整参数；依次保持G1-6和F6-1参数不变，训练判别器D1-6和H6-1，以使得L最大完成训练，以及保持D1-6和H6-1参数不变训练生成器G1-6和F6-1，以使得L最小完成训练；
S3将纹理集所有纹理一一输入步骤S2中训练好的G′1-6中，输出赝图集FY′(1-6)k，以及将纹理集/>所有纹理一一输入步骤S2中训练好的F′6-1中，输出赝图集FY′(6-1)k，将纹理集/>分为3:1训练集和验证集，训练集输入同一个训练前的G1-6，输出赝图Y′('1-6)k，利用纹理集/>在同一个训练前的D1-6中计算概率，判断真伪；将纹理集分为3:1训练集和验证集，训练集输入同一个训练前的F6-1，输出赝图Y′(6-1)k，利用/>在同一个训练前的H6-1中计算概率，判断真伪；计算总损失函数依次保持G1-6和F6-1参数不变，训练判别器D1-6和H6-1，以使得LT最大完成训练，分别获得最终的判别器Df和Hf，以及保持D1-6和H6-1参数不变训练生成器G1-6和F6-1，以使得LT最小完成训练，分别获得最终的判别器Df和Hf，分别获得最终的生成器Gf和Ff；
S4更换另一组场景，进行步骤S2-S3，直至所有组场景完成，形成纹理转换模型系/>
步骤3，处理各个纹理定位数据：
将待转换的纹理进行拆分与分辨率转换，输入步骤2构建的纹理转换模型中，输出转换场景的纹理，并还原纹理原始分辨率，输出原始大小图像；
步骤4，将纹理进行自动映射：
根据倾斜模型与纹理的对应关系进行纹理的映射，完成倾斜模型的场景转换。图4显示了A1区域中16网格划分下，该区域部分转换后的场景倾斜模型。在白色竖线右侧半部进行阴天场景转换可以看到建筑物光暗下来。
图5左侧显示了晴天倾斜模型，右侧显示了经过本实施例纹理网格化后，经转换模型系的转换后为阴天场景的状态。
以上根据具体实施方式对本发明做出了详细的说明，本领域技术人员懂得，该说明是示例性的，本发明并不仅限于该具体实施方式之中，其可以做出各种各样的修饰与变更，只要不脱离本发明宗旨和精神，这些修饰和变更均应落入本发明的范畴之内，本发明的保护范围由所附权利要求书限定。
Claims (5)
1.一种基于CycleGAN算法生成不同场景建筑物纹理的方法，包括以下步骤：
步骤1，现有建筑物模型数据处理：
将预先采集到的航拍影像数据进行倾斜影像构建，并将所有网格内的纹理进行统一合并，纹理进行数据分辨率转换，纹理UV定位的获取，利用python编译的工具批量选择出需要调整颜色的模型进行调色和效果模拟，模拟出不同的天气、节假日、春、夏、秋、冬季节情景，并合重新合并入纹理原位，形成每个月份的多场景下的多个纹理Vs，s＝1,2,3,4,5,6,7,8,9,10分别表示晴、多云、雨、雪、节假日、阴、春、夏、秋、冬；
步骤2，对纹理进行不同场景的学习：
不同场景的数据集制作，根据不同场景进行训练、输出不同风格的纹理数据，构建不同风格的纹理转换模型；
步骤3，处理各个纹理定位数据：
将待转换的纹理进行拆分与分辨率转换，输入步骤2构建的纹理转换模型中，输出转换场景的纹理，还原纹理原始分辨率，输出原始大小图像；
步骤4，将纹理进行自动映射：
根据倾斜模型与纹理的对应关系进行纹理的映射，完成倾斜模型的场景转换；
在所述步骤1之前还包括：设置多架搭载高清图像采集装置的无人机，在每一个月份中预选取的1-5天内相同天气情况下，在每一天同一时刻开始对划分网格的地理区域，以预设路线和固定高度，以及统一的飞行姿态以及飞行速度进行每天逐批网格的低空航拍；
其中，对于同一网格内，设置多架无人机以该网格的对称轴为分界，在分界两边对称路线同时飞行进行航拍；
步骤2具体包括如下步骤：
S1对每一个月份的不同场景下重新合并的多个纹理进行网格细分，形成数据集k为自然数表示细分网格编号，k＞499，t为多次拍摄的次数序号，t＝1,2,3；
S2构建晴、多云、雨、雪、节假日、阴、春、夏、秋、冬十个场景下组CycleGAN模型，对于每一组s'-s"转换，包括生成器Gs'-s"，判断器Ds'-s"，循环生成器Fs"-s'，循环判断器Hs"-s'；一方面，将s'场景t'次拍摄形成的纹理/>分为4-2:1训练集和验证集，训练集加和随机噪声输入Gs'-s"，输出赝图Y(s'-s")k，利用/>在D'"中计算概率，判断真伪；以及将s"场景t"次拍摄形成的纹理
s-s
分为4-2:1训练集和验证集，训练集加和随机噪声输入Fs"-s'，输出赝图Y(s"-s')k，利用在Hs"-s'中计算概率，判断真伪，分别计算损失函数
以及
，其中Es'和Es"为随机梯度函数，总损失函数L＝LGAN1+LGAN2+λ(LCycle1+LCycle2)，λ为调整参数，用以控制GAN和Cycle项的相对重要性；依次保持Gs'-s"和Fs"-s'参数不变，训练判别器Ds'-s"和Hs"-s'，以使得L最大完成训练，以及保持Ds'-s"和Hs"-s'参数不变，训练生成器Gs'-s"和Fs"-s'，以使得L最小完成训练；
S3将纹理集所有纹理一一输入步骤S2中训练好的Gs”-s"中，输出赝图集FY('s'-s")k，以及将纹理集/>所有纹理一一输入步骤S2中训练好的Fs'"-s'中，输出赝图集FY('s"-s')k，将纹理集/>分为4-2:1训练集和验证集，训练集加和随机噪声输入同一个训练前的Gs'-s"，输出赝图Y('s'-s")k，利用纹理集/>在同一个训练前的Ds'-s"中计算概率，判断真伪；将纹理集/>分为4-2:1训练集和验证集，训练集加和随机噪声输入同一个训练前的Fs"-s'，输出赝图Y('s"-s')k，利用/>在同一个训练前的Hs"-s'中计算概率，判断真伪；计算总损失函数
依次保持Gs'-s"和Fs"-s'参数不变，训练判别器Ds'-s"和Hs"-s'，以使得LT最大完成训练，分别获得最终的判别器Df和Hf，以及保持Ds'-s"和Hs"-s'参数不变，训练生成器Gs'-s"和Fs"-s'，以使得LT最小完成训练，分别获得最终的生成器Gf和Ff；
S4更换另一组场景，进行步骤S2-S3，直至所有组场景完成，形成纹理转换模型系其中s'≠s"；s',s"∈s
步骤S3中还能够再次输入步骤S4的模型系中，获得更多最终生成器输出的赝图，从而继续进行步骤S3-S4进行二次模型系的构建，以此类推能够构建N次模型系，N≥2。
2.根据权利要求1所述的方法，其特征在于，在不损失数据规则的前提下，将提取的纹理进行降采样。
3.根据权利要求1所述的方法，其特征在于，利用Python编译将需要调整颜色的文件对应的文件中的UV贴图文件批量提取出来获取。
4.根据权利要求1所述的方法，其特征在于，对于同一网格进行多次航拍。
5.根据权利要求1所述的方法，其特征在于，步骤3中的所述拆分包括将待转换的纹理进行如步骤S1的网格细分。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310008389.3A CN116109755B (zh) | 2023-01-04 | 2023-01-04 | 一种基于CycleGAN算法生成不同场景建筑物纹理的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310008389.3A CN116109755B (zh) | 2023-01-04 | 2023-01-04 | 一种基于CycleGAN算法生成不同场景建筑物纹理的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116109755A CN116109755A (zh) | 2023-05-12 |
| CN116109755B true CN116109755B (zh) | 2023-11-28 |
Family
ID=86260933
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310008389.3A Active CN116109755B (zh) | 2023-01-04 | 2023-01-04 | 一种基于CycleGAN算法生成不同场景建筑物纹理的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116109755B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109949399A (zh) * | 2019-03-15 | 2019-06-28 | 西安因诺航空科技有限公司 | 一种基于无人机航拍图像的场景三维重建方法 |
| CN110379004A (zh) * | 2019-07-22 | 2019-10-25 | 泰瑞数创科技(北京)有限公司 | 一种对倾斜摄影成果进行地物分类及单体化提取的方法 |
| CN113192200A (zh) * | 2021-04-26 | 2021-07-30 | 泰瑞数创科技(北京)有限公司 | 一种基于空三并行计算算法的城市实景三维模型的构建方法 |
| CN114004842A (zh) * | 2021-09-25 | 2022-02-01 | 桂林理工大学 | “分形视距”纹理压缩与彩色多边形纹理集成的三维模型可视化方法 |
| CN114077891A (zh) * | 2020-08-07 | 2022-02-22 | 北京达佳互联信息技术有限公司 | 风格转换模型的训练方法及虚拟建筑检测模型的训练方法 |
| CN114117614A (zh) * | 2021-12-01 | 2022-03-01 | 武汉大势智慧科技有限公司 | 一种建筑物立面纹理自动生成方法和系统 |
| CN114841992A (zh) * | 2022-05-31 | 2022-08-02 | 厦门大学嘉庚学院 | 基于循环生成对抗网络和结构相似性的缺陷检测方法 |
| CN115393548A (zh) * | 2022-08-24 | 2022-11-25 | 中国测绘科学研究院 | 一种适用于三维重建的网格纹理化简算法 |
| CN115546422A (zh) * | 2022-09-14 | 2022-12-30 | 灵码影境智能信息技术(苏州)有限公司 | 一种建筑物的三维模型构建方法、系统和电子设备 |
-
2023
- 2023-01-04 CN CN202310008389.3A patent/CN116109755B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109949399A (zh) * | 2019-03-15 | 2019-06-28 | 西安因诺航空科技有限公司 | 一种基于无人机航拍图像的场景三维重建方法 |
| CN110379004A (zh) * | 2019-07-22 | 2019-10-25 | 泰瑞数创科技(北京)有限公司 | 一种对倾斜摄影成果进行地物分类及单体化提取的方法 |
| CN114077891A (zh) * | 2020-08-07 | 2022-02-22 | 北京达佳互联信息技术有限公司 | 风格转换模型的训练方法及虚拟建筑检测模型的训练方法 |
| CN113192200A (zh) * | 2021-04-26 | 2021-07-30 | 泰瑞数创科技(北京)有限公司 | 一种基于空三并行计算算法的城市实景三维模型的构建方法 |
| CN114004842A (zh) * | 2021-09-25 | 2022-02-01 | 桂林理工大学 | “分形视距”纹理压缩与彩色多边形纹理集成的三维模型可视化方法 |
| CN114117614A (zh) * | 2021-12-01 | 2022-03-01 | 武汉大势智慧科技有限公司 | 一种建筑物立面纹理自动生成方法和系统 |
| CN114841992A (zh) * | 2022-05-31 | 2022-08-02 | 厦门大学嘉庚学院 | 基于循环生成对抗网络和结构相似性的缺陷检测方法 |
| CN115393548A (zh) * | 2022-08-24 | 2022-11-25 | 中国测绘科学研究院 | 一种适用于三维重建的网格纹理化简算法 |
| CN115546422A (zh) * | 2022-09-14 | 2022-12-30 | 灵码影境智能信息技术(苏州)有限公司 | 一种建筑物的三维模型构建方法、系统和电子设备 |
Non-Patent Citations (9)
| Title |
|---|
| 3D场景中航片纹理库构建的核心问题研究;刘艳;武广臣;;测绘工程(04);全文 * |
| Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks;Jun-Yan Zhu;2017 IEEE International Conference on Computer Vision;正文3-5节 * |
| 一种三维建筑物模型自动纹理映射方法;吴斌;孙显;王宏琦;付琨;;遥感信息(02);全文 * |
| 三维虚拟校园的场景规划与实现;杨芳萍;王鹏飞;;甘肃科技纵横(09);全文 * |
| 基于VRML-PHP的博览园虚拟系统设计与实现;何东健;王美丽;郑来安;;西北农林科技大学学报(自然科学版)(08);全文 * |
| 基于马尔可夫随机场的无缝纹理映射;王淼;耿国华;史重阳;余凡;;计算机工程(07);全文 * |
| 平行图像:图像生成的一个新型理论框架;王坤峰;鲁越;王雨桐;熊子威;王飞跃;;模式识别与人工智能(07);全文 * |
| 联网飞行模拟器的视景数据库设计研究;董鸿鹏;金雷;王春财;;指挥控制与仿真(03);全文 * |
| 高层复杂建筑物遥感图像立面轮廓重构方法;黄坤;莫畏;;计算机仿真(09);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116109755A (zh) | 2023-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110827213B (zh) | 一种基于生成式对抗网络的超分辨率图像修复方法 | |
| CN108510573B (zh) | 一种基于深度学习的多视点人脸三维模型重建的方法 | |
| CN112288875B (zh) | 一种面向无人机矿山巡检场景的快速三维重建方法 | |
| CN108038906B (zh) | 一种基于图像的三维四边形网格模型重建方法 | |
| CN109255831A (zh) | 基于多任务学习的单视图人脸三维重建及纹理生成的方法 | |
| CN103400368B (zh) | 基于图论和超像素的并行快速sar图像分割方法 | |
| CN110379004B (zh) | 一种对倾斜摄影成果进行地物分类及单体化提取的方法 | |
| CN112233129B (zh) | 基于深度学习的并行多尺度注意力机制语义分割方法及装置 | |
| CN110909623B (zh) | 三维目标检测方法及三维目标检测器 | |
| CN109658347A (zh) | 一种同时生成多种图片风格的数据增强方法 | |
| CN113537561A (zh) | 一种基于地基云图的超短期太阳辐射预测方法和系统 | |
| CN110378047A (zh) | 一种基于计算机视觉的大跨度桥梁拓扑感知三维重建方法 | |
| CN114359503A (zh) | 一种基于无人机倾斜摄影建模方法 | |
| CN110390724B (zh) | 一种带有实例分割的slam方法 | |
| CN116109755B (zh) | 一种基于CycleGAN算法生成不同场景建筑物纹理的方法 | |
| CN113160136A (zh) | 一种基于改进Mask R-CNN的木材缺陷识别和分割方法 | |
| CN112396042A (zh) | 实时更新的目标检测方法及系统、计算机可读存储介质 | |
| CN116012709B (zh) | 一种高分辨率遥感影像建筑物提取方法及系统 | |
| CN114611667B (zh) | 一种基于小规模参数矩阵计算特征图边界的重构方法 | |
| Saba et al. | The optimazation of multi resolution segmentation of remotely sensed data using genetic alghorithm | |
| CN110111416B (zh) | 基于HoloLens眼镜的矿井内部模型采集建立方法 | |
| CN112163549B (zh) | 一种基于自动机器学习的遥感影像场景分类方法 | |
| CN110796181B (zh) | 基于纹理的文物病害高精度自动提取方法 | |
| CN113192204A (zh) | 单幅倾斜遥感图像中建筑物的三维重建方法 | |
| Motayyeb et al. | Enhancing contrast of images to improve geometric accuracy of a UAV photogrammetry project |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |