CN117152370B - 基于aigc的3d地形模型生成方法、系统、设备及存储介质 - Google Patents

基于aigc的3d地形模型生成方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN117152370B
CN117152370B CN202311412690.7A CN202311412690A CN117152370B CN 117152370 B CN117152370 B CN 117152370B CN 202311412690 A CN202311412690 A CN 202311412690A CN 117152370 B CN117152370 B CN 117152370B
Authority
CN
China
Prior art keywords
topographic
terrain
resolution
model
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311412690.7A
Other languages
English (en)
Other versions
CN117152370A (zh
Inventor
李兵
刘一立
陈先军
李原
宋曦文
李薪宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carbon Silk Road Culture Communication Chengdu Co ltd
Original Assignee
Carbon Silk Road Culture Communication Chengdu Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carbon Silk Road Culture Communication Chengdu Co ltd filed Critical Carbon Silk Road Culture Communication Chengdu Co ltd
Priority to CN202311412690.7A priority Critical patent/CN117152370B/zh
Publication of CN117152370A publication Critical patent/CN117152370A/zh
Application granted granted Critical
Publication of CN117152370B publication Critical patent/CN117152370B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Remote Sensing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于AIGC的3D地形模型生成方法、系统、设备及存储介质，通过生成式人工智能方法，采用相应的生成对抗网络来根据地形描述文本生成对应的低分辨率2D地形图，再根据低分辨率2D地形图生成高分辨率2D地形图，然后基于高分辨率2D地形图中各像素点的图像坐标和灰度值将高分辨率2D地形图转换为对应的3D地形模型，可以实现高效率的3D地形模型生成。本发明可以有效提升相应生成对抗网络的整体训练和生成效率，对计算硬件的算力要求不高，普适性较好。本发明将地形描述文本的单词特征向量引入二阶GAN模型的2D地形图生成，实现在分辨率提升中对图像细节的保持。

Description

基于AIGC的3D地形模型生成方法、系统、设备及存储介质
技术领域
本发明属于人工智能技术领域，具体涉及基于AIGC的3D地形模型生成方法、系统、设备及存储介质。
背景技术
在建构虚拟场景时，3D地形模型的生成是一项较为繁琐的工作，如果能通过相应的AIGC技术（即生成式人工智能，指基于生成对抗网络、大型预训练模型等人工智能的技术方法，通过已有数据的学习和识别，以适当的泛化能力生成相关内容的技术）实现只需要输入文本即可自动化生成对应3D地形模型的话，无疑会大大提升工作效率。而通过AIGC技术实现文本生成3D地形模型，现有的一般思路是直接收集3D地形模型与对应的文本形成匹配对来训练AIGC的机器学习大模型，然后基于AIGC模型直接用输入文本生成3D地形模型，但是这种方式的训练数据获取过程复杂，模型训练过程冗余，所需中间数据较为庞杂，效率很难提升，且对模型运行平台的硬件算力要求较高，普适性较差。
发明内容
本发明的目的是提供基于AIGC的3D地形模型生成方法、系统、设备及存储介质，用以解决现有技术中存在的上述问题。
为了实现上述目的，本发明采用以下技术方案：
第一方面，提供基于AIGC的3D地形模型生成方法，包括：
获取地形描述文本；
将地形描述文本输入预置的文本编码器进行文本特征提取，得到地形描述文本对应的单词特征向量和句子特征向量；
将句子特征向量输入预置的第一GAN网络中进行图像生成，得到对应的低分辨率2D地形图；
将低分辨率2D地形图和单词特征向量匹配输入预置的第二GAN网络中进行图像生成，得到对应的高分辨率2D地形图，并将高分辨率2D地形图作为目标2D地形图；
确定目标2D地形图中各像素点的图像坐标和灰度值；
根据各像素点的图像坐标和灰度值将目标2D地形图转换为对应的3D地形模型，使得目标2D地形图中各像素点的图像坐标与3D地形模型中各点位的平面坐标对应，且目标2D地形图中各像素点的灰度值为3D地形模型中对应点位的地形高度值。
在一个可能的设计中，所述文本编码器采用双向长短期记忆网络经地形文本训练集训练得到，所述地形文本训练集包含若干地形描述文本样本，在将地形描述文本输入预置的文本编码器进行文本特征提取前，所述方法还包括：
构建双向长短期记忆网络；
获取地形文本训练集，所述地形文本训练集包含若干地形描述文本样本；
利用地形文本训练集对双向长短期记忆网络进行训练，得到文本编码器。
在一个可能的设计中，在将句子特征向量输入预置的第一GAN网络中进行图像生成前，所述方法还包括：
构建二阶GAN网络模型，所述二阶GAN网络模型包含第一GAN网络和第二GAN网络；
利用若干文本图像训练对对二阶GAN网络模型进行训练，得到训练后的第一GAN网络和第二GAN网络，所述文本图像训练对包含相互匹配的地形描述文本样本和低分辨率2D地形图样本，所述低分辨率2D地形图样本由对应的3D地形模型样本转换得到。
在一个可能的设计中，所述利用若干文本图像训练对对二阶GAN网络模型进行训练，包括：
将各文本图像训练对中的地形描述文本样本输入预置的文本编码器进行文本特征提取，得到地形描述文本样本对应的单词特征向量和句子特征向量；
将各地形描述文本样本对应的句子特征向量以及对应的低分辨率2D地形图样本输入二阶GAN网络模型中的第一GAN网络，由第一GAN网络根据地形描述文本样本对应的句子特征向量生成对应的训练2D地形图，并将训练2D地形图与对应的低分辨率2D地形图样本进行判别比对，直至比对判定达到设定的收敛目标，完成对第一GAN网络的训练。
在一个可能的设计中，所述利用若干文本图像训练对对二阶GAN网络模型进行训练，包括：
采用预置的图像编码神经网络对低分辨率2D地形图样本进行图像特征向量提取，得到图像特征向量；
计算地形描述文本样本对应的单词特征向量与对应低分辨率2D地形图样本的图像特征向量的匹配相似矩阵，确定对应的匹配权重；
根据匹配权重将各地形描述文本样本对应的单词特征向量与对应低分辨率2D地形图样本的图像特征向量输入第二GAN网络中，由第二GAN网络生成低分辨率2D地形图样本所对应的高分辨率2D地形图样本，完成对第二GAN网络的训练。
在一个可能的设计中，由3D地形模型样本转换得到低分辨率2D地形图样本，包括：
对3D地形模型样本中各点位的地形高度值按照灰阶进行离散化处理，得到对应的高分辨率2D地形图样本，使得高分辨率2D地形图样本中各像素点的灰度值为3D地形模型样本中对应点位的地形高度值；
将高分辨率2D地形图样本缩放为对应的低分辨率2D地形图样本。
在一个可能的设计中，在根据各像素点的图像坐标和灰度值将目标2D地形图转换为对应的3D地形模型后，所述方法还包括：
获取与3D地形模型相匹配的模型配置参数，所述模型配置参数包括纹理配置参数和颜色配置参数；
利用模型配置参数对3D地形模型进行叠加渲染，得到渲染后的3D地形模型。
第二方面，提供基于AIGC的3D地形模型生成系统，包括获取单元、提取单元、第一生成单元、第二生成单元、确定单元和转换单元，其中：
获取单元，用于获取地形描述文本；
提取单元，用于将地形描述文本输入预置的文本编码器进行文本特征提取，得到地形描述文本对应的单词特征向量和句子特征向量；
第一生成单元，用于将句子特征向量输入预置的第一GAN网络中进行图像生成，得到对应的低分辨率2D地形图；
第二生成单元，用于将低分辨率2D地形图和单词特征向量匹配输入预置的第二GAN网络中进行图像生成，得到对应的高分辨率2D地形图，并将高分辨率2D地形图作为目标2D地形图；
确定单元，用于确定目标2D地形图中各像素点的图像坐标和灰度值；
转换单元，用于根据各像素点的图像坐标和灰度值将目标2D地形图转换为对应的3D地形模型，使得目标2D地形图中各像素点的图像坐标与3D地形模型中各点位的平面坐标对应，且目标2D地形图中各像素点的灰度值为3D地形模型中对应点位的地形高度值。
第三方面，提供基于AIGC的3D地形模型生成设备，包括：
存储器，用于存储指令；
处理器，用于读取所述存储器中存储的指令，并根据指令执行上述第一方面中任意一种所述的方法。
第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行第一方面中任意一种所述的方法。同时，还提供一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行第一方面中任意一种所述的方法。
有益效果：本发明通过生成式人工智能方法，采用相应的生成对抗网络来根据地形描述文本生成对应的低分辨率2D地形图，再根据低分辨率2D地形图生成高分辨率2D地形图，然后基于高分辨率2D地形图中各像素点的图像坐标和灰度值将高分辨率2D地形图转换为对应的3D地形模型，可以实现高效率的3D地形模型生成。本发明并不直接从文本生成3D地形模型，而是先生成2D地形图，再转换得到3D地形模型，可以有效提升相应生成对抗网络的整体训练和生成效率，对计算硬件的算力要求不高，普适性较好。本发明将地形描述文本的单词特征向量引入二阶GAN模型的2D地形图生成，实现在分辨率提升中对图像细节的保持。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1中方法的步骤示意图；
图2为本发明实施例1中二阶GAN网络模型的作用示意图；
图3为本发明实施例2中系统的构成示意图；
图4为本发明实施例3中设备的构成示意图。
具体实施方式
在此需要说明的是，对于这些实施例方式的说明用于帮助理解本发明，但并不构成对本发明的限定。本文公开的特定结构和功能细节仅用于描述本发明的示例实施例。然而，可用很多备选的形式来体现本发明，并且不应当理解为本发明限制在本文阐述的实施例中。
应当理解，除非另有明确的规定和限定，术语“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在实施例中的具体含义。
在下面的描述中提供了特定的细节，以便于对示例实施例的完全理解。然而，本领域普通技术人员应当理解可以在没有这些特定细节的情况下实现示例实施例。例如可以在框图中示出系统，以避免用不必要的细节来使得示例不清楚。在其他实施例中，可以不以非必要的细节来示出众所周知的过程、结构和技术，以避免使得实施例不清楚。
实施例1：
本实施例提供基于AIGC的3D地形模型生成方法，可应用于相应的3D地形模型生成终端，如图1所示，方法包括以下步骤：
S1.获取地形描述文本。
具体实施时，先要获取相应的地形描述文本，地形描述文本一般为各种形容词和地形名称所构成的句子，示例性地，如：一个中间高四周低的山脉。
S2.将地形描述文本输入预置的文本编码器进行文本特征提取，得到地形描述文本对应的单词特征向量和句子特征向量。
具体实施时，所述文本编码器采用双向长短期记忆网络经地形文本训练集训练得到，所述地形文本训练集包含若干地形描述文本样本，在将地形描述文本输入预置的文本编码器进行文本特征提取前，需要先构建双向长短期记忆网络，然后获取地形文本训练集，所述地形文本训练集包含若干地形描述文本样本，再利用地形文本训练集对双向长短期记忆网络进行训练，得到文本编码器。在得到文本编码器后，将地形描述文本输入预置的文本编码器进行文本特征提取，得到地形描述文本对应的单词特征向量和句子特征向量。在文本编码器中有2个独立的长短期记忆网络（LSTM网络），输入的文本分别以正序和逆序方式输入至2个LSTM 网络进行特征提取，文本编码器将2个输出向量（即提取后的特征向量）进行拼接后形成的单词特征向量作为的最终特征表达，所有的单词特征矩阵用E表示，E中每一列为第i个单词的特征向量Ei。同时，文本编码器将双向LSTM的最后隐藏状态串联为全局的句子特征向量。
S3.将句子特征向量输入预置的第一GAN网络中进行图像生成，得到对应的低分辨率2D地形图。
具体实施时，在将句子特征向量输入预置的第一GAN网络（生成对抗网络）中进行图像生成前，需要先构建二阶GAN网络模型，所述二阶GAN网络模型包含第一GAN网络和第二GAN网络（超分辨GAN网络）；然后利用若干文本图像训练对对二阶GAN网络模型进行训练，得到训练后的第一GAN网络和第二GAN网络（超分辨GAN网络），所述文本图像训练对包含相互匹配的地形描述文本样本和低分辨率2D地形图样本PL，所述低分辨率2D地形图样本由对应的3D地形模型样本转换得到。
由3D地形模型样本转换得到低分辨率2D地形图样本的过程包括：获取3D地形模型样本，确定3D地形模型样本最高点位的地形高度值和最低点位的地形高度值，将两者的差值均匀分布在灰度图最大表征的灰阶值GSV中，即对3D地形模型样本中各点位的地形高度值按照灰阶进行离散化处理，得到对应的1024×1024高分辨率2D地形图样本PH，使得高分辨率2D地形图样本PH中各像素点的灰度值为3D地形模型样本中对应点位的地形高度值，再将高分辨率2D地形图样本PH缩放为对应的256×256低分辨率2D地形图样本PL。
利用若干文本图像训练对对二阶GAN网络模型进行训练的过程包括：
将各文本图像训练对中的地形描述文本样本输入预置的文本编码器进行文本特征提取，得到地形描述文本样本对应的单词特征向量和句子特征向量；
将各地形描述文本样本对应的句子特征向量以及对应的低分辨率2D地形图样本输入二阶GAN网络模型中的第一GAN网络，第一GAN网络通过一个全连接层学习句子特征向量，将其重塑为一个多位的张量，再经过多个上采样的反卷积网络层，生成256×256的低分辨率的训练2D地形图，并利用判别器网络层将低分辨率的训练2D地形图与对应的低分辨率2D地形图样本PL进行判别比对，直至比对判定达到设定的收敛目标，完成对第一GAN网络的训练；
只通过一个GAN网络生成的地形图分辨率较低，无法呈现较为细腻的地形特征，因此，需采用预置的图像编码神经网络对低分辨率2D地形图样本PL进行图像特征向量提取，得到图像特征向量；
再计算地形描述文本样本对应的单词特征向量与对应低分辨率2D地形图样本PL的图像特征向量的匹配相似矩阵，确定对应的匹配权重；
然后根据匹配权重将各地形描述文本样本对应的单词特征向量与对应低分辨率2D地形图样本PL的图像特征向量输入第二GAN网络（超分辨GAN网络）中，由第二GAN网络（超分辨GAN网络）生成低分辨率2D地形图样本PL所对应的1024×1024高分辨率2D地形图样本PH，完成对第二GAN网络（超分辨GAN网络）的训练。
最终训练得到如图2所示的二阶GAN网络模型后，将地形描述文本的句子特征向量输入第一GAN网络中进行图像生成，得到对应的256×256低分辨率2D地形图。
S4.将低分辨率2D地形图和单词特征向量匹配输入预置的第二GAN网络中进行图像生成，得到对应的高分辨率2D地形图，并将高分辨率2D地形图作为目标2D地形图。
具体实施时，将256×256低分辨率2D地形图和地形描述文本的单词特征向量匹配输入第二GAN网络（超分辨GAN网络）中进行图像生成，得到对应的高分辨率2D地形图，将高分辨率2D地形图作为目标2D地形图。
S5.确定目标2D地形图中各像素点的图像坐标和灰度值。
具体实施时，根据目标2D地形图确定图中各像素点的图像坐标和灰度值。
S6.根据各像素点的图像坐标和灰度值将目标2D地形图转换为对应的3D地形模型，使得目标2D地形图中各像素点的图像坐标与3D地形模型中各点位的平面坐标对应，且目标2D地形图中各像素点的灰度值为3D地形模型中对应点位的地形高度值。
具体实施时，根据各像素点的图像坐标和灰度值将目标2D地形图转换为对应的3D地形模型，使得目标2D地形图中各像素点的图像坐标与3D地形模型中各点位的平面坐标对应，且目标2D地形图中各像素点的灰度值为3D地形模型中对应点位的地形高度值。
同时，为提升展示效果，可将3D地形模型渲染为带有颜色纹理的地形模型，渲染过程包括：获取与3D地形模型相匹配的模型配置参数，所述模型配置参数包括纹理配置参数和颜色配置参数；然后利用模型配置参数对3D地形模型进行叠加渲染，得到渲染后的3D地形模型。模型配置参数的获取可通过现有的文本生成图片再转换为对应模型的生成式人工智能方法生成一个相匹配的模型配置参数，再将其与3D地形模型叠加渲染即可。
本实施例方法并不直接从文本生成3D地形模型，而是先生成2D地形图，再转换得到3D地形模型，可以有效提升相应生成对抗网络的整体训练和生成效率，对计算硬件的算力要求不高，普适性较好。且本实施例方法将地形描述文本的单词特征向量引入二阶GAN模型的2D地形图生成，实现在分辨率提升中对图像细节的保持。
实施例2：
本实施例提供基于AIGC的3D地形模型生成系统，如图3所示，包括获取单元、提取单元、第一生成单元、第二生成单元、确定单元和转换单元，其中：
获取单元，用于获取地形描述文本；
提取单元，用于将地形描述文本输入预置的文本编码器进行文本特征提取，得到地形描述文本对应的单词特征向量和句子特征向量；
第一生成单元，用于将句子特征向量输入预置的第一GAN网络中进行图像生成，得到对应的低分辨率2D地形图；
第二生成单元，用于将低分辨率2D地形图和单词特征向量匹配输入预置的第二GAN网络中进行图像生成，得到对应的高分辨率2D地形图，并将高分辨率2D地形图作为目标2D地形图；
确定单元，用于确定目标2D地形图中各像素点的图像坐标和灰度值；
转换单元，用于根据各像素点的图像坐标和灰度值将目标2D地形图转换为对应的3D地形模型，使得目标2D地形图中各像素点的图像坐标与3D地形模型中各点位的平面坐标对应，且目标2D地形图中各像素点的灰度值为3D地形模型中对应点位的地形高度值。
实施例3：
本实施例提供基于AIGC的3D地形模型生成设备，如图4所示，在硬件层面，包括：
数据接口，用于建立处理器与外部数据端的数据对接，以从外部数据端获取地形描述文本后，将地形描述文本传输至处理器；
存储器，用于存储指令；
处理器，用于读取所述存储器中存储的指令，并根据指令执行实施例1中基于AIGC的3D地形模型生成方法。
可选地，该计算机设备还包括内部总线。处理器与存储器和显示器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构）总线、PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(Extended Industry Standard Architecture，扩展工业标准结构）总线等。所述总线可以分为地址总线、数据总线、控制总线等。
所述存储器可以但不限于包括随机存取存储器（Random Access Memory，RAM）、只读存储器（Read Only Memory，ROM）、闪存（Flash Memory）、先进先出存储器（First InputFirst Output，FIFO）和/或先进后出存储器（First In Last Out，FILO）等。所述处理器可以是通用处理器，包括中央处理器（Central Processing Unit，CPU）、网络处理器（NetworkProcessor，NP）等；还可以是数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field－Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
实施例4：
本实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行实施例1中基于AIGC的3D地形模型生成方法。其中，所述计算机可读存储介质是指存储数据的载体，可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒（Memory Stick）等，所述计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程系统。
本实施例还提供一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行实施例1中基于AIGC的3D地形模型生成方法。其中，所述计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程系统。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.基于AIGC的3D地形模型生成方法，其特征在于，包括：
获取地形描述文本；
将地形描述文本输入预置的文本编码器进行文本特征提取，得到地形描述文本对应的单词特征向量和句子特征向量；
构建二阶GAN网络模型，所述二阶GAN网络模型包含第一GAN网络和第二GAN网络，并利用若干文本图像训练对对二阶GAN网络模型进行训练，得到训练后的第一GAN网络和第二GAN网络，所述文本图像训练对包含相互匹配的地形描述文本样本和低分辨率2D地形图样本，所述低分辨率2D地形图样本由对应的3D地形模型样本转换得到；
将句子特征向量输入预置的第一GAN网络中进行图像生成，得到对应的低分辨率2D地形图；
将低分辨率2D地形图和单词特征向量匹配输入预置的第二GAN网络中进行图像生成，得到对应的高分辨率2D地形图，并将高分辨率2D地形图作为目标2D地形图；
确定目标2D地形图中各像素点的图像坐标和灰度值；
根据各像素点的图像坐标和灰度值将目标2D地形图转换为对应的3D地形模型，使得目标2D地形图中各像素点的图像坐标与3D地形模型中各点位的平面坐标对应，且目标2D地形图中各像素点的灰度值为3D地形模型中对应点位的地形高度值。
2.根据权利要求1所述的基于AIGC的3D地形模型生成方法，其特征在于，所述文本编码器采用双向长短期记忆网络经地形文本训练集训练得到，所述地形文本训练集包含若干地形描述文本样本，在将地形描述文本输入预置的文本编码器进行文本特征提取前，所述方法还包括：
构建双向长短期记忆网络；
获取地形文本训练集，所述地形文本训练集包含若干地形描述文本样本；
利用地形文本训练集对双向长短期记忆网络进行训练，得到文本编码器。
3.根据权利要求1所述的基于AIGC的3D地形模型生成方法，其特征在于，所述利用若干文本图像训练对对二阶GAN网络模型进行训练，包括：
将各文本图像训练对中的地形描述文本样本输入预置的文本编码器进行文本特征提取，得到地形描述文本样本对应的单词特征向量和句子特征向量；
将各地形描述文本样本对应的句子特征向量以及对应的低分辨率2D地形图样本输入二阶GAN网络模型中的第一GAN网络，由第一GAN网络根据地形描述文本样本对应的句子特征向量生成对应的训练2D地形图，并将训练2D地形图与对应的低分辨率2D地形图样本进行判别比对，直至比对判定达到设定的收敛目标，完成对第一GAN网络的训练。
4.根据权利要求3所述的基于AIGC的3D地形模型生成方法，其特征在于，所述利用若干文本图像训练对对二阶GAN网络模型进行训练，包括：
采用预置的图像编码神经网络对低分辨率2D地形图样本进行图像特征向量提取，得到图像特征向量；
计算地形描述文本样本对应的单词特征向量与对应低分辨率2D地形图样本的图像特征向量的匹配相似矩阵，确定对应的匹配权重；
根据匹配权重将各地形描述文本样本对应的单词特征向量与对应低分辨率2D地形图样本的图像特征向量输入第二GAN网络中，由第二GAN网络生成低分辨率2D地形图样本所对应的高分辨率2D地形图样本，完成对第二GAN网络的训练。
5.根据权利要求1所述的基于AIGC的3D地形模型生成方法，其特征在于，由3D地形模型样本转换得到低分辨率2D地形图样本，包括：
对3D地形模型样本中各点位的地形高度值按照灰阶进行离散化处理，得到对应的高分辨率2D地形图样本，使得高分辨率2D地形图样本中各像素点的灰度值为3D地形模型样本中对应点位的地形高度值；
将高分辨率2D地形图样本缩放为对应的低分辨率2D地形图样本。
6.根据权利要求1所述的基于AIGC的3D地形模型生成方法，其特征在于，在根据各像素点的图像坐标和灰度值将目标2D地形图转换为对应的3D地形模型后，所述方法还包括：
获取与3D地形模型相匹配的模型配置参数，所述模型配置参数包括纹理配置参数和颜色配置参数；
利用模型配置参数对3D地形模型进行叠加渲染，得到渲染后的3D地形模型。
7.基于AIGC的3D地形模型生成系统，其特征在于，包括获取单元、提取单元、第一生成单元、第二生成单元、确定单元和转换单元，其中：
获取单元，用于获取地形描述文本，以及构建二阶GAN网络模型，所述二阶GAN网络模型包含第一GAN网络和第二GAN网络，并利用若干文本图像训练对对二阶GAN网络模型进行训练，得到训练后的第一GAN网络和第二GAN网络，所述文本图像训练对包含相互匹配的地形描述文本样本和低分辨率2D地形图样本，所述低分辨率2D地形图样本由对应的3D地形模型样本转换得到；
提取单元，用于将地形描述文本输入预置的文本编码器进行文本特征提取，得到地形描述文本对应的单词特征向量和句子特征向量；
第一生成单元，用于将句子特征向量输入预置的第一GAN网络中进行图像生成，得到对应的低分辨率2D地形图；
第二生成单元，用于将低分辨率2D地形图和单词特征向量匹配输入预置的第二GAN网络中进行图像生成，得到对应的高分辨率2D地形图，并将高分辨率2D地形图作为目标2D地形图；
确定单元，用于确定目标2D地形图中各像素点的图像坐标和灰度值；
转换单元，用于根据各像素点的图像坐标和灰度值将目标2D地形图转换为对应的3D地形模型，使得目标2D地形图中各像素点的图像坐标与3D地形模型中各点位的平面坐标对应，且目标2D地形图中各像素点的灰度值为3D地形模型中对应点位的地形高度值。
8.基于AIGC的3D地形模型生成设备，其特征在于，包括：
存储器，用于存储指令；
处理器，用于读取所述存储器中存储的指令，并根据指令执行权利要求1-6任意一项所述的3D地形模型生成方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行权利要求1-6任意一项所述的3D地形模型生成方法。
CN202311412690.7A 2023-10-30 2023-10-30 基于aigc的3d地形模型生成方法、系统、设备及存储介质 Active CN117152370B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311412690.7A CN117152370B (zh) 2023-10-30 2023-10-30 基于aigc的3d地形模型生成方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311412690.7A CN117152370B (zh) 2023-10-30 2023-10-30 基于aigc的3d地形模型生成方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN117152370A CN117152370A (zh) 2023-12-01
CN117152370B true CN117152370B (zh) 2024-02-02

Family

ID=88903027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311412690.7A Active CN117152370B (zh) 2023-10-30 2023-10-30 基于aigc的3d地形模型生成方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117152370B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260740A (zh) * 2020-01-16 2020-06-09 华南理工大学 一种基于生成对抗网络的文本到图像生成方法
CN116309913A (zh) * 2023-03-16 2023-06-23 沈阳工业大学 一种基于生成对抗网络asg-gan文本描述生成图像方法
CN116824103A (zh) * 2023-04-12 2023-09-29 碳丝路文化传播(成都)有限公司 一种数字人换装模型融合方法、系统及存储介质
CN116932803A (zh) * 2023-09-13 2023-10-24 浪潮(北京)电子信息产业有限公司 基于多模态预训练模型的数据集生成方法、训练方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10922793B2 (en) * 2018-05-16 2021-02-16 Nvidia Corporation Guided hallucination for missing image content using a neural network
KR20230049969A (ko) * 2021-10-07 2023-04-14 삼성전자주식회사 글로벌 측위 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260740A (zh) * 2020-01-16 2020-06-09 华南理工大学 一种基于生成对抗网络的文本到图像生成方法
CN116309913A (zh) * 2023-03-16 2023-06-23 沈阳工业大学 一种基于生成对抗网络asg-gan文本描述生成图像方法
CN116824103A (zh) * 2023-04-12 2023-09-29 碳丝路文化传播(成都)有限公司 一种数字人换装模型融合方法、系统及存储介质
CN116932803A (zh) * 2023-09-13 2023-10-24 浪潮(北京)电子信息产业有限公司 基于多模态预训练模型的数据集生成方法、训练方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
生成式对抗网络及其计算机视觉应用研究综述;曹仰杰;贾丽丽;陈永霞;林楠;李学相;;中国图象图形学报(第10期);5-21 *
采用IKONOS卫星影像进行立体测图技术的应用研究;李兵;朱继东;陈艳;;地理信息世界(第06期);65-69 *

Also Published As

Publication number Publication date
CN117152370A (zh) 2023-12-01

Similar Documents

Publication Publication Date Title
CN110276316B (zh) 一种基于深度学习的人体关键点检测方法
CN113240580B (zh) 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法
CN111524135B (zh) 基于图像增强的输电线路细小金具缺陷检测方法及系统
CN111369440B (zh) 模型训练、图像超分辨处理方法、装置、终端及存储介质
CN110163801B (zh) 一种图像超分辨和着色方法、系统及电子设备
CN112396645B (zh) 一种基于卷积残差学习的单目图像深度估计方法和系统
CN110033054B (zh) 基于协同笔画优化的个性化手写体迁移方法和系统
US20200279166A1 (en) Information processing device
CN109447897B (zh) 一种真实场景图像合成方法及系统
CN111985414B (zh) 一种关节点位置确定方法及装置
CN112036260A (zh) 一种自然环境下多尺度子块聚合的表情识别方法及系统
CN112258626A (zh) 基于图像级联生成稠密点云的三维模型生成方法及系统
US20230153965A1 (en) Image processing method and related device
CN112329808A (zh) 一种Deeplab语义分割算法的优化方法及系统
US11481919B2 (en) Information processing device
CN115187456A (zh) 基于图像强化处理的文本识别方法、装置、设备及介质
CN114529793A (zh) 一种基于门控循环特征融合的深度图像修复系统及方法
CN117152370B (zh) 基于aigc的3d地形模型生成方法、系统、设备及存储介质
CN111414988A (zh) 基于多尺度特征自适应融合网络的遥感影像超分辨率方法
CN116342385A (zh) 文本图像超分辨率网络的训练方法、装置以及存储介质
CN115082371A (zh) 图像融合方法、装置、移动终端设备及可读存储介质
CN114937153A (zh) 弱纹理环境下基于神经网络的视觉特征处理系统及方法
CN114648757A (zh) 三维目标的检测方法及装置
CN113327226A (zh) 目标检测方法、装置、电子设备及存储介质
CN112785494A (zh) 一种三维模型构建方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant