CN117593470B - 一种基于ai模型的街景重构方法及系统 - Google Patents

一种基于ai模型的街景重构方法及系统 Download PDF

Info

Publication number
CN117593470B
CN117593470B CN202410069413.9A CN202410069413A CN117593470B CN 117593470 B CN117593470 B CN 117593470B CN 202410069413 A CN202410069413 A CN 202410069413A CN 117593470 B CN117593470 B CN 117593470B
Authority
CN
China
Prior art keywords
image
target
street view
model
image target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410069413.9A
Other languages
English (en)
Other versions
CN117593470A (zh
Inventor
颜佳
申思
周芯宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Aochuang Engine Data Service Co ltd
Shenzhen Aoya Design Inc
Original Assignee
Shenzhen Aochuang Engine Data Service Co ltd
Shenzhen Aoya Design Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Aochuang Engine Data Service Co ltd, Shenzhen Aoya Design Inc filed Critical Shenzhen Aochuang Engine Data Service Co ltd
Priority to CN202410069413.9A priority Critical patent/CN117593470B/zh
Publication of CN117593470A publication Critical patent/CN117593470A/zh
Application granted granted Critical
Publication of CN117593470B publication Critical patent/CN117593470B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于AI模型的街景重构方法及系统，通过对目标区域的待重构街景图像进行图像风格迁移处理，并对得到的待重构风格迁移街景图像进行目标识别，输出动态图像目标和静态图像目标；并基于图像目标三维构建模型构建动态图像目标三维模型和静态图像目标三维模型；获取静态图像目标和动态图像目标的第一图像位置和第二图像位置，得到动态图像目标的预测图像目标路径，对预测图像目标路径中的动态图像目标移动位置和第一图像位置进行组合，得到并基于多组图像目标位置数据，分别对各个目标三维模型进行融合处理，得到三维动态街景模型；与现有技术相比，本发明能提高对目标区域街景的重构效率，同时提高对重构的三维街景模型的真实性。

Description

一种基于AI模型的街景重构方法及系统
技术领域
本发明涉及图像识别处理的技术领域，特别是涉及一种基于AI模型的街景重构方法及系统。
背景技术
传统的街景重构方式，通常仅对采集的图像数据进行特征提取，基于提取到的特征进行三维建模处理，且在建模过程中，忽略了对真实环境的还原，导致重构的街景结果显得缺乏真实感。
且传统的街景重构方式，普遍是基于单个模型对所述图像中的所有图像目标进行重构处理，在图像目标数据量大的情况下，由于需要处理的数据量较大，会导致街景重构效率低下。
发明内容
本发明要解决的技术问题是：提供一种基于AI模型的街景重构方法及系统，提高对目标区域街景的重构效率，同时提高对重构的三维街景模型的真实性。
为了解决上述技术问题，本发明提供了一种基于AI模型的街景重构方法，包括：
采集目标区域的天气信息，以及所述目标区域在不同视角中的待重构街景图像，基于所述天气信息对应的天气信息类型街景图像，对所述待重构街景图像进行图像风格迁移处理，得到待重构风格迁移街景图像；
将所述待重构风格迁移街景图像输入到预训练的目标识别模型中，以使所述目标识别模型对所述待重构风格迁移街景图像进行目标识别，输出所述待重构风格迁移街景图像的动态图像目标和静态图像目标；
将所述动态图像目标输入到预训练的动态图像目标三维构建模型中，以使所述动态图像目标三维构建模型输出动态图像目标三维模型，并将所述静态图像目标输入到预训练的静态图像目标三维构建模型中，以使所述静态图像目标三维构建模型输出静态图像目标三维模型；
获取所述静态图像目标在所述待重构风格迁移街景图像中的第一图像位置，并获取所述动态图像目标在所述待重构风格迁移街景图像中的第二图像位置，基于所述第一图像位置和所述第二图像位置，对所述动态图像目标进行目标行为预测处理，得到预测图像目标路径，并基于所述预测图像目标路径，依次确定多个动态图像目标移动位置；
分别将每个动态图像目标移动位置和所述第一图像位置进行组合，得到多组图像目标位置数据，根据每组图像目标位置数据，对所述动态图像目标三维模型和所述静态图像目标三维模型进行融合处理，得到每组图像目标位置数据对应的三维街景模型；
基于所述多个动态图像目标移动位置，依次整合所有三维街景模型，生成三维动态街景模型。
在一种可能的实现方式中，基于所述天气信息对应的天气信息类型街景图像，对所述待重构街景图像进行图像风格迁移处理，得到待重构风格迁移街景图像，具体包括：
所述天气信息包括晴天、雨天和阴天；
当所述天气信息为晴天时，从历史天气信息类型街景图像数据库中选取晴天街景图像，基于所述晴天街景图像对所述待重构街景图像进行图像风格迁移处理，得到待重构晴天街景图像；
当所述天气信息为雨天时，从历史天气信息类型街景图像数据库中选取雨天街景图像，基于所述雨天街景图像对所述待重构街景图像进行图像风格迁移处理，得到待重构雨天街景图像；
当所述天气信息为阴天时，从历史天气信息类型街景图像数据库中选取阴天街景图像，基于所述阴天街景图像对所述待重构街景图像进行图像风格迁移处理，得到待重构阴天街景图像。
在一种可能的实现方式中，对所述待重构街景图像进行图像风格迁移处理，得到待重构风格迁移街景图像，具体包括：
将所述待重构街景图像输入到预训练的卷积神经网络模型中，以使所述卷积神经网络模型对所述待重构街景图像进行图像风格迁移处理，输出待重构风格迁移街景图像；
其中，所述卷积神经网络的训练过程，包括：
获取各个天气信息类型对应的样本天气信息类型街景图像，并对所述样本天气信息类型街景图像进行标注处理；
构建卷积神经网络模型，并对所述卷积神经网络模型的模型参数进行初始化设置，得到初始化模型参数；
将所述样本天气信息类型街景图像输入到所述卷积神经网络模型中，以使所述卷积神经网络模型输出样本风格迁移街景图像；
计算所述样本天气信息类型街景图像和所述样本风格迁移街景图像之间的风格损失值和内容损失值，并对所述风格损失值和所述内容损失值进行加权融合处理，得到综合损失值；
基于所述综合损失值，通过反向传播算法计算梯度值，并基于所述梯度值对所述初始化模型参数进行迭代更新处理，直至模型收敛，确定最优卷积神经网络模型。
在一种可能的实现方式中，基于所述第一图像位置和所述第二图像位置，对所述动态图像目标进行目标行为预测处理，得到预测图像目标路径，具体包括：
获取所述静态图像目标的第一现实坐标，基于所述第一现实坐标和所述第一图像位置，确定现实坐标和图像坐标的坐标转换关系；
基于所述坐标转换关系，对所述第二图像位置进行坐标转换处理，得到所述动态图像目标的第二现实坐标；
基于所述静态图像目标三维模型的第一尺寸和所述第一现实坐标，确定所述静态图像目标在所述现实坐标的所有第一坐标点；
基于所述动态图像目标三维模型的第二尺寸和所述第二现实坐标，确定所述动态图像目标在所述现实坐标的所有第二坐标点；
获取所述目标区域在所述现实坐标的所有区域坐标点，基于所述所有第一坐标点，对所述所有区域坐标点进行标记处理，得到区域标记坐标点；
基于所述区域标记坐标点和所述所有第二坐标点，对所述动态图像目标进行目标行为预测处理，得到预测图像目标路径。
在一种可能的实现方式中，基于所述区域标记坐标点和所述所有第二坐标点，对所述动态图像目标进行目标行为预测处理，得到预测图像目标路径，具体包括：
设置多个预设方向，基于所述多个预设方向，分别对所述所有第二坐标点进行移位处理，得到所述所有第二坐标点在每个预设方向的所有移位坐标点；
分别判断所述所有移位坐标点是否在所述所有区域坐标点内，若是，则判断所述所有移位坐标点是否存在所述区域标记坐标点，若是，则停止移位，否则，记录当前预设方向的移位坐标点，并将所述所有移位坐标点更新为所述所有第二坐标点，重复对所述所有第二坐标点进行移位处理，直至无法进行移位处理，得到每个预设方向上的所有移位坐标点；
基于所述每个预设方向上的所有移位坐标点，得到多个方向预测图像目标路径，并基于所述多个方向预测图像目标路径，确定预测图像目标路径。
在一种可能的实现方式中，基于所述每个预设方向上的所有移位坐标点，得到多个方向预测图像目标路径，并基于所述多个方向预测图像目标路径，确定预测图像目标路径，具体包括：
基于所述每个预设方向上的所有移位坐标点，得到每个预测方向上的方向预测图像目标路径；
并基于所述所有移位坐标点，计算每个方向预测图像目标路径的路径长度，选取路径长度最长值对应的方向预测图像目标路径作为所述预测图像目标路径。
在一种可能的实现方式中，将所述动态图像目标输入到预训练的动态图像目标三维构建模型中，以使所述动态图像目标三维构建模型输出动态图像目标三维模型，具体包括：
获取所述动态图像目标对应的动态区域图像，对所述动态区域图像进行图像预处理，得到动态区域处理图像；
基于对抗网络，生成动态图像目标三维构建模型，其中，所述动态图像目标三维构建模型包括第一模型生成器和第一模型判别器；
将所述动态区域处理图像输入到所述第一模型生成器中，以使所述第一模型生成器将所述动态区域处理图像转换为动态图像目标三维模型，并将所述动态图像目标三维模型输入到所述第一模型判别器中，以使所述第一模型判别器判别所述动态图像目标三维模型是否真实，若是，则输出所述动态图像目标三维模型。
本发明还提供了一种基于AI模型的街景重构系统，包括：图像风格迁移模块、图像目标识别模块、模型三维构建模块、目标行为预测模块、三维街景模型生成模块和动态三维街景模型生成模块；
其中，所述图像风格迁移模块，用于采集目标区域的天气信息，以及所述目标区域在不同视角中的待重构街景图像，基于所述天气信息对应的天气信息类型街景图像，对所述待重构街景图像进行图像风格迁移处理，得到待重构风格迁移街景图像；
所述图像目标识别模块，用于将所述待重构风格迁移街景图像输入到预训练的目标识别模型中，以使所述目标识别模型对所述待重构风格迁移街景图像进行目标识别，输出所述待重构风格迁移街景图像的动态图像目标和静态图像目标；
所述模型三维构建模块，用于将所述动态图像目标输入到预训练的动态图像目标三维构建模型中，以使所述动态图像目标三维构建模型输出动态图像目标三维模型，并将所述静态图像目标输入到预训练的静态图像目标三维构建模型中，以使所述静态图像目标三维构建模型输出静态图像目标三维模型；
所述目标行为预测模块，用于获取所述静态图像目标在所述待重构风格迁移街景图像中的第一图像位置，并获取所述动态图像目标在所述待重构风格迁移街景图像中的第二图像位置，基于所述第一图像位置和所述第二图像位置，对所述动态图像目标进行目标行为预测处理，得到预测图像目标路径，并基于所述预测图像目标路径，依次确定多个动态图像目标移动位置；
所述三维街景模型生成模块，用于分别将每个动态图像目标移动位置和所述第一图像位置进行组合，得到多组图像目标位置数据，根据每组图像目标位置数据，对所述动态图像目标三维模型和所述静态图像目标三维模型进行融合处理，得到每组图像目标位置数据对应的三维街景模型；
所述动态三维街景模型生成模块，用于基于所述多个动态图像目标移动位置，依次整合所有三维街景模型，生成三维动态街景模型。
在一种可能的实现方式中，所述图像风格迁移模块，用于基于所述天气信息对应的天气信息类型街景图像，对所述待重构街景图像进行图像风格迁移处理，得到待重构风格迁移街景图像，具体包括：
所述天气信息包括晴天、雨天和阴天；
当所述天气信息为晴天时，从历史天气信息类型街景图像数据库中选取晴天街景图像，基于所述晴天街景图像对所述待重构街景图像进行图像风格迁移处理，得到待重构晴天街景图像；
当所述天气信息为雨天时，从历史天气信息类型街景图像数据库中选取雨天街景图像，基于所述雨天街景图像对所述待重构街景图像进行图像风格迁移处理，得到待重构雨天街景图像；
当所述天气信息为阴天时，从历史天气信息类型街景图像数据库中选取阴天街景图像，基于所述阴天街景图像对所述待重构街景图像进行图像风格迁移处理，得到待重构阴天街景图像。
在一种可能的实现方式中，所述图像风格迁移模块，用于对所述待重构街景图像进行图像风格迁移处理，得到待重构风格迁移街景图像，具体包括：
将所述待重构街景图像输入到预训练的卷积神经网络模型中，以使所述卷积神经网络模型对所述待重构街景图像进行图像风格迁移处理，输出待重构风格迁移街景图像；
其中，所述卷积神经网络的训练过程，包括：
获取各个天气信息类型对应的样本天气信息类型街景图像，并对所述样本天气信息类型街景图像进行标注处理；
构建卷积神经网络模型，并对所述卷积神经网络模型的模型参数进行初始化设置，得到初始化模型参数；
将所述样本天气信息类型街景图像输入到所述卷积神经网络模型中，以使所述卷积神经网络模型输出样本风格迁移街景图像；
计算所述样本天气信息类型街景图像和所述样本风格迁移街景图像之间的风格损失值和内容损失值，并对所述风格损失值和所述内容损失值进行加权融合处理，得到综合损失值；
基于所述综合损失值，通过反向传播算法计算梯度值，并基于所述梯度值对所述初始化模型参数进行迭代更新处理，直至模型收敛，确定最优卷积神经网络模型。
在一种可能的实现方式中，所述目标行为预测模块，用于基于所述第一图像位置和所述第二图像位置，对所述动态图像目标进行目标行为预测处理，得到预测图像目标路径，具体包括：
获取所述静态图像目标的第一现实坐标，基于所述第一现实坐标和所述第一图像位置，确定现实坐标和图像坐标的坐标转换关系；
基于所述坐标转换关系，对所述第二图像位置进行坐标转换处理，得到所述动态图像目标的第二现实坐标；
基于所述静态图像目标三维模型的第一尺寸和所述第一现实坐标，确定所述静态图像目标在所述现实坐标的所有第一坐标点；
基于所述动态图像目标三维模型的第二尺寸和所述第二现实坐标，确定所述动态图像目标在所述现实坐标的所有第二坐标点；
获取所述目标区域在所述现实坐标的所有区域坐标点，基于所述所有第一坐标点，对所述所有区域坐标点进行标记处理，得到区域标记坐标点；
基于所述区域标记坐标点和所述所有第二坐标点，对所述动态图像目标进行目标行为预测处理，得到预测图像目标路径。
在一种可能的实现方式中，所述目标行为预测模块，用于基于所述区域标记坐标点和所述所有第二坐标点，对所述动态图像目标进行目标行为预测处理，得到预测图像目标路径，具体包括：
设置多个预设方向，基于所述多个预设方向，分别对所述所有第二坐标点进行移位处理，得到所述所有第二坐标点在每个预设方向的所有移位坐标点；
分别判断所述所有移位坐标点是否在所述所有区域坐标点内，若是，则判断所述所有移位坐标点是否存在所述区域标记坐标点，若是，则停止移位，否则，记录当前预设方向的移位坐标点，并将所述所有移位坐标点更新为所述所有第二坐标点，重复对所述所有第二坐标点进行移位处理，直至无法进行移位处理，得到每个预设方向上的所有移位坐标点；
基于所述每个预设方向上的所有移位坐标点，得到多个方向预测图像目标路径，并基于所述多个方向预测图像目标路径，确定预测图像目标路径。
在一种可能的实现方式中，所述目标行为预测模块，用于基于所述每个预设方向上的所有移位坐标点，得到多个方向预测图像目标路径，并基于所述多个方向预测图像目标路径，确定预测图像目标路径，具体包括：
基于所述每个预设方向上的所有移位坐标点，得到每个预测方向上的方向预测图像目标路径；
并基于所述所有移位坐标点，计算每个方向预测图像目标路径的路径长度，选取路径长度最长值对应的方向预测图像目标路径作为所述预测图像目标路径。
在一种可能的实现方式中，所述模型三维构建模块，用于将所述动态图像目标输入到预训练的动态图像目标三维构建模型中，以使所述动态图像目标三维构建模型输出动态图像目标三维模型，具体包括：
获取所述动态图像目标对应的动态区域图像，对所述动态区域图像进行图像预处理，得到动态区域处理图像；
基于对抗网络，生成动态图像目标三维构建模型，其中，所述动态图像目标三维构建模型包括第一模型生成器和第一模型判别器；
将所述动态区域处理图像输入到所述第一模型生成器中，以使所述第一模型生成器将所述动态区域处理图像转换为动态图像目标三维模型，并将所述动态图像目标三维模型输入到所述第一模型判别器中，以使所述第一模型判别器判别所述动态图像目标三维模型是否真实，若是，则输出所述动态图像目标三维模型。
本发明还提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述任意一项所述的基于AI模型的街景重构方法。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述任意一项所述的基于AI模型的街景重构方法。
本发明实施例一种基于AI模型的街景重构方法及系统，与现有技术相比，具有如下有益效果：
通过采集目标区域的天气信息，将天气信息融合到待重构街景图像中，以使在生成的三维街景模型更加真实、具有良好的可视化效果；且在进行街景重构前，先对待重构风格迁移街景图像进行目标识别，进而确定待重构风格迁移街景图像中的动态图像目标和静态图像目标，并针对不同的图像目标三维构建模型对不同的图像目标进行图像目标三维模型构建处理，在图像目标数据量大的情况下，能提高图像目标三维模型的构建速度；同时对于识别到的动态图像目标进行目标行为预测处理，得到预测得到的图像目标路径，基于图像目标路径，确定多个动态图像目标移动位置，并通过整合动态图像目标三维模型和静态图像目标三维模型，生成三维动态街景模型，以使在生成的场景中，动态图像目标的移动更加自然流畅，场景更加逼真，进一步地提高重构的三维街景模型的真实性。
附图说明
图1是本发明提供的一种基于AI模型的街景重构方法的一种实施例的流程示意图；
图2是本发明提供的一种基于AI模型的街景重构系统的一种实施例的结构示意图；
图3是本发明提供的一种终端设备的结构示意图。
具体实施方式
下面将结合本发明中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1，参见图1，图1是本发明提供的一种基于AI模型的街景重构方法的一种实施例的流程示意图，如图1所示，该方法包括步骤101-步骤106，具体如下：
步骤101：采集目标区域的天气信息，以及所述目标区域在不同视角中的待重构街景图像，基于所述天气信息对应的天气信息类型街景图像，对所述待重构街景图像进行图像风格迁移处理，得到待重构风格迁移街景图像。
一实施例中，现有的街景重构技术中，普遍关注对目标区域中各个目标的重构，往往忽略了目标区域中的外在因素，如天气、光线等是街景场景中不可忽视的一部分。如果只重构目标区域中的目标，而不考虑这些外在因素，会导致重构的街景结果显得不真实；因此，本实施例中，通过将目标区域的天气信息加入街景重构中，可以为用户提供更加真实的场景体验。例如，在下雨天的街景中，可以通过添加雨滴、水迹等特效，让用户感受到雨水打在地面上的声音和水汽弥漫的氛围；在晴朗的天气中，则可以加入阳光折射和阴影效果，增强场景的逼真度。
一实施例中，获取气象服务提供商提供的API接口，基于所述API接口获取所述目标区域的天气信息；其中，所述天气信息包括晴天、雨天和阴天中的任意一个。
一实施例中，基于双目摄像机采集所述目标区域在不同视角中的待重构街景图像，得到多视角待重构街景图像。
一实施例中，基于所述天气信息对应的天气信息类型街景图像，对所述待重构街景图像进行图像风格迁移处理，得到待重构风格迁移街景图像。
具体的，设置历史天气信息类型街景图像数据库，用于存储各种天气信息对应的街景图像，包括但不限于晴天街景图像、雨天街景图像和阴天街景图像。
具体的，当所述天气信息为晴天时，从历史天气信息类型街景图像数据库中选取晴天街景图像，基于所述晴天街景图像对所述待重构街景图像进行图像风格迁移处理，得到待重构晴天街景图像。
具体的，当所述天气信息为雨天时，从历史天气信息类型街景图像数据库中选取雨天街景图像，基于所述雨天街景图像对所述待重构街景图像进行图像风格迁移处理，得到待重构雨天街景图像。
具体的，当所述天气信息为阴天时，从历史天气信息类型街景图像数据库中选取阴天街景图像，基于所述阴天街景图像对所述待重构街景图像进行图像风格迁移处理，得到待重构阴天街景图像。
一实施例中，对所述待重构街景图像进行图像风格迁移处理，得到待重构风格迁移街景图像时，通过将所述待重构街景图像输入到预训练的卷积神经网络模型中，以使所述卷积神经网络模型对所述待重构街景图像进行图像风格迁移处理，输出待重构风格迁移街景图像。
一实施例中，所述卷积神经网络的训练过程，包括：获取各个天气信息类型对应的样本天气信息类型街景图像，并对所述样本天气信息类型街景图像进行标注处理；构建卷积神经网络模型，并对所述卷积神经网络模型的模型参数进行初始化设置，得到初始化模型参数；将所述样本天气信息类型街景图像输入到所述卷积神经网络模型中，以使所述卷积神经网络模型输出样本风格迁移街景图像；计算所述样本天气信息类型街景图像和所述样本风格迁移街景图像之间的风格损失值和内容损失值，并对所述风格损失值和所述内容损失值进行加权融合处理，得到综合损失值；基于所述综合损失值，通过反向传播算法计算梯度值，并基于所述梯度值对所述初始化模型参数进行迭代更新处理，直至模型收敛，确定最优卷积神经网络模型。
具体的，获取样本晴天街景图像、样本阴天街景图像以及样本雨天街景图像，并分别对样本晴天街景图像、样本阴天街景图像和样本雨天街景图像进行标注处理，得到每个样本天气类型街景图像对应的天气标签。
具体的，选取VGG网络，构建卷积神经网络模型，对模型参数进行随机初始化时，使用TensorFlow或keras中的模型初始化器来随机初始化模型参数；通常使用高斯分布或均匀分布来初始化权重参数，使用常数来初始化偏置参数。
具体的，将样本天气信息类型街景图像和样本风格迁移街景图像经过卷积神经网络模型，分别得到不同层的样本天气信息类型街景图像特征图和样本风格迁移街景图像特征图，分别记为和/>，其中,i,j表示特征图的位置,/>表示层数。
具体的，计算样本天气信息类型街景图像特征图的第一Gram矩阵；并计算样本风格迁移街景图像特征图的第二Gram矩阵。
其中，所述第一Gram矩阵的计算公式如下所示：
;
式中，为样本天气信息类型街景图像在第/>层的特征图展开后得到的第一Gram矩阵，k为表示特征图中的通道数，/>分别表示样本天气信息类型街景图在第/>层的特征图中的某个位置/>的值，/>分别表示样本天气信息类型街景图在第/>层的特征图中的某个位置/>的值。
所述第二Gram矩阵的计算公式如下所示：
;
式中，为样本风格迁移街景图像在第/>层的特征图展开后得到的第二Gram矩阵，k为表示特征图中的通道数, />分别表示样本风格迁移街景图像在第/>层的特征图中的某个位置/>的值，/>分别表示样本风格迁移街景图像在第/>层的特征图中的某个位置/>的值。
具体的，计算第一Gram矩阵和第二Gram矩阵之间的均方误差值，并将所述均方误差值作为当前特征层对应的风格损失值；其中，所述风格损失值的计算公式如所示：
；
式中，表示该层特征图的通道数，/>表示该层特征图的尺寸大小。
具体的，将各个特征层对应的风格损失值进行加权求和作为总的风格损失值；
；
式中，表示各个特征层对应的权重值。
具体的，将样本天气信息类型街景图像和样本风格迁移街景图像转换RGB图像，得到样本天气信息类型街景RGB图像和样本风格迁移街景RGB图像，计算样本天气信息类型街景RGB图像和样本风格迁移街景RGB图像在同一像素点之间的像素差异值，对所有像素差异值进行累加处理，得到累加像素差异值，并对所述累加像素差异值进行均值化处理，得到内容损失值。
具体的，设置风格损失权重值和内容损失权重值，基于所述风格损失权重值和所述内容损失权重值对所述风格损失值和所述内容损失值进行加权融合处理，得到综合损失值。
具体的，使用反向传播算法计算梯度值；通过将综合损失值反向传播到模型的每个参数，可以计算每个参数对综合损失值的贡献度，利用梯度下降或其他优化算法，更新模型的参数；根据计算得到的梯度值和学习率，可以对模型参数进行更新，以减小综合损失值；重复上述步骤，直至达到收敛条件。通常，可以设置迭代次数或其他停止条件来判断模型是否收敛。
步骤102：将所述待重构风格迁移街景图像输入到预训练的目标识别模型中，以使所述目标识别模型对所述待重构风格迁移街景图像进行目标识别，输出所述待重构风格迁移街景图像的动态图像目标和静态图像目标。
一实施例中，基于YOLOV5网络，构建目标识别模型。
一实施例中，所述目标识别模型的训练过程，包括获取多个样本图像，对所述多个样本图像进行图像预处理，得到多个预处理样本图像；分别对所述多个处理样本图像进行图像目标位置标注和图像目标类别标注，得到每个预处理样本图像对应的图像目标标注位置和图像目标标注类别，并基于所述图像目标标注位置，获取所述多个预处理样本图像对应的感兴趣样本区域；基于所述多个预处理样本图像，以及每个预处理样本图像对应的所述图像目标标注位置、所述图像目标标注类别和所述感兴趣样本区域，生成训练数据集；以所述训练数据集中的每个预处理样本图像作为模型输入，并以预处理无人机巡检样本图像中的所述图像目标标注位置、所述图像目标标注类别和所述感兴趣样本区域作为模型输出，对所述目标识别模型进行模型训练，输出预训练后的目标识别模型。
一实施例中，设置的图像目标标注类别，包括动态图像目标标注类别和静态图像目标标注类别，其中，所述动态图像目标标注类别包括但不限于车辆和行人，所述静态图像目标标注类别包括但不限于建筑物和路灯。
步骤103：将所述动态图像目标输入到预训练的动态图像目标三维构建模型中，以使所述动态图像目标三维构建模型输出动态图像目标三维模型，并将所述静态图像目标输入到预训练的静态图像目标三维构建模型中，以使所述静态图像目标三维构建模型输出静态图像目标三维模型。
一实施例中，获取所述动态图像目标对应的动态区域图像，对所述动态区域图像进行图像预处理，得到动态区域处理图像。
具体的，对所述动态区域图像进行图像预处理包括但不限于去噪、增强对比度、尺度变换等；具体预处理方法可以根据实际场景和需求进行选择和设计。
一实施例中，基于对抗网络，生成动态图像目标三维构建模型，其中，所述动态图像目标三维构建模型包括第一模型生成器和第一模型判别器。
一实施例中，将所述动态区域处理图像输入到所述第一模型生成器中，以使所述第一模型生成器将所述动态区域处理图像转换为动态图像目标三维模型。
具体的，将所述动态区域处理图像输入到所述第一模型生成器中，以使所述第一模型生成器基于改进的遗传算法对所述动态区域处理图像进行双目匹配处理，得到每个动态区域处理图像对应的第一图像深度信息，并基于所述第一图像深度信息，构建每个动态区域处理图像对应的动态图像目标三维模型。
具体的，从多视角待重构街景图像中提取出所述动态区域处理图像的左动态区域处理图像和右动态区域处理图像，并对左动态区域处理图像和右动态区域处理图像进行特征提取，得到左动态区域处理图像对应的第一动态目标多尺度特征和所述右动态区域处理图像对应的第二动态目标多尺度特征；对所述第一动态目标多尺度特征和所述第二动态目标多尺度特征进行特征点匹配，得到多个第一特征点匹配对，计算所述多个第一特征点匹配对之间的像素间距；基于双目视差算法，对所述第一动态目标多尺度特征和所述第二动态目标多尺度特征中的每个第一特征点进行视差计算，得到每个第一特征点对应的第一视差，并基于所述第一视差，生成每个第一特征点对应的第一视差图；将对述第一视差图进行深度转换处理，得到第一深度图，并基于所述第一深度图，得到每个动态区域处理图像对应的第一图像深度数据。
一实施例中，将所述动态图像目标三维模型输入到所述第一模型判别器中，以使所述第一模型判别器判别所述动态图像目标三维模型是否真实，若是，则输出所述动态图像目标三维模型。
一实施例中，获取所述静态图像目标对应的静态区域图像，对所述静态区域图像进行图像预处理，得到静态区域处理图像。
具体的，对所述静态区域图像进行图像预处理包括但不限于去噪、增强对比度、尺度变换等；具体预处理方法可以根据实际场景和需求进行选择和设计。
一实施例中，基于对抗网络，生成静态图像目标三维构建模型，其中，所述静态图像目标三维构建模型包括第二模型生成器和第二模型判别器。
一实施例中，将所述静态区域处理图像输入到所述第二模型生成器中，以使所述第二模型生成器将所述静态区域处理图像转换为静态图像目标三维模型。
具体的，将所述静态区域处理图像输入到所述第二模型生成器中，以使所述第二模型生成器基于改进的遗传算法对所述静态区域处理图像进行双目匹配处理，得到每个静态区域处理图像对应的第二图像深度信息，并基于所述第二图像深度信息，构建每个静态区域处理图像对应的动态图像目标三维模型。
具体的，从多视角待重构街景图像中提取出所述静态区域处理图像的左静态区域处理图像和右静态区域处理图像，并对左静态区域处理图像和右静态区域处理图像进行特征提取，得到左静态区域处理图像对应的第一静态目标多尺度特征和所述右静态区域处理图像对应的第二静态目标多尺度特征；对所述第一静态目标多尺度特征和所述第二静态目标多尺度特征进行特征点匹配，得到多个第二特征点匹配对，计算所述多个第二特征点匹配对之间的像素间距；基于双目视差算法，对所述第一静态目标多尺度特征和所述第二静态目标多尺度特征中的每个第二特征点进行视差计算，得到每个第二特征点对应的第二视差，并基于所述第二视差，生成每个第二特征点对应的第二视差图；将对述第二视差图进行深度转换处理，得到第二深度图，并基于所述第二深度图，得到每个静态区域处理图像对应的第二图像深度数据。
一实施例中，将所述静态图像目标三维模型输入到所述第二模型判别器中，以使所述第二模型判别器判别所述静态图像目标三维模型是否真实，若是，则输出所述静态图像目标三维模型。
步骤104：获取所述静态图像目标在所述待重构风格迁移街景图像中的第一图像位置，并获取所述动态图像目标在所述待重构风格迁移街景图像中的第二图像位置，基于所述第一图像位置和所述第二图像位置，对所述动态图像目标进行目标行为预测处理，得到预测图像目标路径，并基于所述预测图像目标路径，依次确定多个动态图像目标移动位置。
一实施例中，获取所述静态图像目标的第一现实坐标，基于所述第一现实坐标和所述第一图像位置，确定现实坐标和图像坐标的坐标转换关系；基于所述坐标转换关系，对所述第二图像位置进行坐标转换处理，得到所述动态图像目标的第二现实坐标。
由于静态图像目标的位置是固定不变的，通过获取静态图像目标的第一现实坐标和第一图像坐标，通过进行坐标转换，可以将静态图像目标和动态图像目标都映射到现实坐标系中；这样，我们可以直观地比较两个时刻的目标在现实世界中的位置和移动情况，进而分析目标的运动轨迹和行为模式的变化。
一实施例中，基于所述静态图像目标三维模型的第一尺寸和所述第一现实坐标，确定所述静态图像目标在所述现实坐标的所有第一坐标点；基于所述动态图像目标三维模型的第二尺寸和所述第二现实坐标，确定所述动态图像目标在所述现实坐标的所有第二坐标点。
具体的，获取所述静态图像目标的第一尺寸，基于所述第一尺寸，确定所述第一现实坐标的第一多方向偏移量，其中，所述第一多方向偏移量包括第一上偏移量、第一下偏移量、第一左偏移量和第一右偏移量；获取所述静态图像目标的第一现实尺寸，计算所述第一现实尺寸和所述第一尺寸的第一尺寸比例，基于所述第一尺寸比例，分别对所述第一多方向偏移量进行比例计算处理，确定第二多方向偏移量，其中，所述第二多方向偏移量包括第二上偏移量、第二下偏移量、第二左偏移量和第二右偏移量，并基于所述第二多方向偏移量，确定所述静态图像目标在所述现实坐标的所有第一坐标点。
具体的，获取所述动态图像目标的第二尺寸，基于所述第二尺寸，确定所述第一现实坐标的第三多方向偏移量，其中，所述第三多方向偏移量包括第三上偏移量、第三下偏移量、第三左偏移量和第三右偏移量，基于所述第一尺寸比例，分别对所述第三多方向偏移量进行比例计算处理，确定第四多方向偏移量，其中，所述第四多方向偏移量包括第四上偏移量、第四下偏移量、第四左偏移量和第四右偏移量，并基于所述第四多方向偏移量，确定所述动态图像目标在所述现实坐标的所有第二坐标点。
一实施例中，获取所述目标区域在所述现实坐标的所有区域坐标点，基于所述所有第一坐标点，对所述所有区域坐标点进行标记处理，得到区域标记坐标点。
具体的，基于所述第一坐标点，将所述所有区域坐标点中与所述第一坐标点相对应的坐标点进行标记处理时，在标记处理时，可以采用标记颜色或符号等形式，以使在所有区域坐标点中标记出所有静态图像目标，并将标记了所述静态图像目标对应的第一坐标点的所有区域坐标点作为区域标记坐标点。
一实施例中，基于所述区域标记坐标点和所述所有第二坐标点，对所述动态图像目标进行目标行为预测处理，得到预测图像目标路径。
具体的，设置多个预设方向，基于所述多个预设方向，分别对所述所有第二坐标点进行移位处理，得到所述所有第二坐标点在每个预设方向的所有移位坐标点。
其中，设置的所述多个预设方向为上方向、下方向、左方向和右方向，在每个预设方向，控制所述所有第二坐标点按预设步长进行移位处理，以得到所述所有第二坐标点在每个预设方向的所有移位坐标点，其中，所述预设步长为1。
具体的，分别判断所述所有移位坐标点是否在所述所有区域坐标点内，若是，则判断所述所有移位坐标点是否存在所述区域标记坐标点，若是，则停止移位，否则，记录当前预设方向的移位坐标点，并将所述所有移位坐标点更新为所述所有第二坐标点，重复对所述所有第二坐标点进行移位处理，直至无法进行移位处理，得到每个预设方向上的所有移位坐标点。
由于在区域标记坐标点中，已对静态图像目标对应的所有第一坐标点进行标记处理，因为，在确定所有移位坐标点处于所有区域坐标点内，且所述所有移位坐标点中不存在与所述区域标记坐标点中已标记的所述第一坐标点相重合时，确定动态图像目标当前的移位动作有效，记录当前的移位方向，以及移位步长，并对本次移位进行移位次数记录；若确定所有移位坐标点不处于所有区域坐标点内，或所述所有移位坐标点中存在与所述区域标记坐标点中已标记的所述第一坐标点相重合时，则认为静态图像目标与动态图像目标相重合，或动态图像目标不存在与目标区域中，确定动态图像目标当前的移位动作无效，不记录当前移位数据。
具体的，基于所述每个预设方向上的所有移位坐标点，得到多个方向预测图像目标路径，并基于所述多个方向预测图像目标路径，确定预测图像目标路径。
基于所述每个预设方向上的所有移位坐标点，得到每个预测方向上的方向预测图像目标路径；并基于所述所有移位坐标点，计算每个方向预测图像目标路径的路径长度，选取路径长度最长值对应的方向预测图像目标路径作为所述预测图像目标路径。
优选的，通过在确定动态图像目标当前的移位动作有效时，基于记录当前动态图像的移位方向，以及移位步长，并对本次移位进行移位次数记录，得到在每个预设方向上的所有移位坐标点，并基于所述移位次数，对每个预设方向上的所有移位点进行整合处理，得到多个方向预测图像目标路径。
优选的，基于所述多个方向预测图像目标路径，确定预测图像目标路径时，还可基于随机选取的方式，从所述多个方向预测图像目标路径中随机选取出预测图像目标路径。
一实施例中，并基于所述预测图像目标路径，依次确定多个动态图像目标移动位置时，基于坐标转换关系，将所述预测图像目标路径上的多个移位坐标点进行坐标转换处理，得到动态图像移动位置。
步骤105：分别将每个动态图像目标移动位置和所述第一图像位置进行组合，得到多组图像目标位置数据，根据每组图像目标位置数据，对所述动态图像目标三维模型和所述静态图像目标三维模型进行融合处理，得到每组图像目标位置数据对应的三维街景模型。
一实施例中，通过将每个动态图像目标移动位置和所述第一图像位置进行组合，可以得到动态图像目标在执行预测行为时，不同时刻的动态图像目标与静态图像目标之间的位置关系。
一实施例中，基于所述每组图像目标位置数据，确定动态图像目标三维模型的第一当前位置和静态图像目标三维模型的第二当前位置，以将动态图像目标三维模型按第一当前位置进行放置，将静态图像目标三维模型按第二当前位置进行放置，得到每组图像目标位置数据对应的三维街景模型，基于多组图像目标位置数据，对应得到多个三维街景模型。
步骤106：基于所述多个动态图像目标移动位置，依次整合所有三维街景模型，生成三维动态街景模型。
一实施例中，获取每个动态图像目标移动位置对应的移位次数，基于移位次数，依次整合多个三维街景模型，生成三维动态街景模型，并对所述三维动态街景模型进行动态展示。
优选的，在进行三维动态街景模型展示时，以及移位次数，逐帧展示所有三维街景模型。
动态感能够使重构的三维动态街景模型更加真实，仿佛让用户置身于实际场景中；通过在三维街景模型中展示预测的动态图像目标的运动轨迹和行为，对于街景的真实性具有重要影响。
实施例2，参见图2，图2是本发明提供的一种基于AI模型的街景重构系统的一种实施例的结构示意图，如图2所示，该系统包括图像风格迁移模块201、图像目标识别模块202、模型三维构建模块203、目标行为预测模块204、三维街景模型生成模块205和动态三维街景模型生成模块206，具体如下：
所述图像风格迁移模块201，用于采集目标区域的天气信息，以及所述目标区域在不同视角中的待重构街景图像，基于所述天气信息对应的天气信息类型街景图像，对所述待重构街景图像进行图像风格迁移处理，得到待重构风格迁移街景图像。
所述图像目标识别模块202，用于将所述待重构风格迁移街景图像输入到预训练的目标识别模型中，以使所述目标识别模型对所述待重构风格迁移街景图像进行目标识别，输出所述待重构风格迁移街景图像的动态图像目标和静态图像目标。
所述模型三维构建模块203，用于将所述动态图像目标输入到预训练的动态图像目标三维构建模型中，以使所述动态图像目标三维构建模型输出动态图像目标三维模型，并将所述静态图像目标输入到预训练的静态图像目标三维构建模型中，以使所述静态图像目标三维构建模型输出静态图像目标三维模型。
所述目标行为预测模块204，用于获取所述静态图像目标在所述待重构风格迁移街景图像中的第一图像位置，并获取所述动态图像目标在所述待重构风格迁移街景图像中的第二图像位置，基于所述第一图像位置和所述第二图像位置，对所述动态图像目标进行目标行为预测处理，得到预测图像目标路径，并基于所述预测图像目标路径，依次确定多个动态图像目标移动位置。
所述三维街景模型生成模块205，用于分别将每个动态图像目标移动位置和所述第一图像位置进行组合，得到多组图像目标位置数据，根据每组图像目标位置数据，对所述动态图像目标三维模型和所述静态图像目标三维模型进行融合处理，得到每组图像目标位置数据对应的三维街景模型。
所述动态三维街景模型生成模块206，用于基于所述多个动态图像目标移动位置，依次整合所有三维街景模型，生成三维动态街景模型。
一实施例中，所述图像风格迁移模块201，用于基于所述天气信息对应的天气信息类型街景图像，对所述待重构街景图像进行图像风格迁移处理，得到待重构风格迁移街景图像，具体包括：所述天气信息包括晴天、雨天和阴天；当所述天气信息为晴天时，从历史天气信息类型街景图像数据库中选取晴天街景图像，基于所述晴天街景图像对所述待重构街景图像进行图像风格迁移处理，得到待重构晴天街景图像；当所述天气信息为雨天时，从历史天气信息类型街景图像数据库中选取雨天街景图像，基于所述雨天街景图像对所述待重构街景图像进行图像风格迁移处理，得到待重构雨天街景图像；当所述天气信息为阴天时，从历史天气信息类型街景图像数据库中选取阴天街景图像，基于所述阴天街景图像对所述待重构街景图像进行图像风格迁移处理，得到待重构阴天街景图像。
一实施例中，所述图像风格迁移模块201，用于对所述待重构街景图像进行图像风格迁移处理，得到待重构风格迁移街景图像，具体包括：将所述待重构街景图像输入到预训练的卷积神经网络模型中，以使所述卷积神经网络模型对所述待重构街景图像进行图像风格迁移处理，输出待重构风格迁移街景图像；其中，所述卷积神经网络的训练过程，包括：获取各个天气信息类型对应的样本天气信息类型街景图像，并对所述样本天气信息类型街景图像进行标注处理；构建卷积神经网络模型，并对所述卷积神经网络模型的模型参数进行初始化设置，得到初始化模型参数；将所述样本天气信息类型街景图像输入到所述卷积神经网络模型中，以使所述卷积神经网络模型输出样本风格迁移街景图像；计算所述样本天气信息类型街景图像和所述样本风格迁移街景图像之间的风格损失值和内容损失值，并对所述风格损失值和所述内容损失值进行加权融合处理，得到综合损失值；基于所述综合损失值，通过反向传播算法计算梯度值，并基于所述梯度值对所述初始化模型参数进行迭代更新处理，直至模型收敛，确定最优卷积神经网络模型。
一实施例中，所述目标行为预测模块204，用于基于所述第一图像位置和所述第二图像位置，对所述动态图像目标进行目标行为预测处理，得到预测图像目标路径，具体包括：获取所述静态图像目标的第一现实坐标，基于所述第一现实坐标和所述第一图像位置，确定现实坐标和图像坐标的坐标转换关系；基于所述坐标转换关系，对所述第二图像位置进行坐标转换处理，得到所述动态图像目标的第二现实坐标；基于所述静态图像目标三维模型的第一尺寸和所述第一现实坐标，确定所述静态图像目标在所述现实坐标的所有第一坐标点；基于所述动态图像目标三维模型的第二尺寸和所述第二现实坐标，确定所述动态图像目标在所述现实坐标的所有第二坐标点；获取所述目标区域在所述现实坐标的所有区域坐标点，基于所述所有第一坐标点，对所述所有区域坐标点进行标记处理，得到区域标记坐标点；基于所述区域标记坐标点和所述所有第二坐标点，对所述动态图像目标进行目标行为预测处理，得到预测图像目标路径。
一实施例中，所述目标行为预测模块204，用于基于所述区域标记坐标点和所述所有第二坐标点，对所述动态图像目标进行目标行为预测处理，得到预测图像目标路径，具体包括：设置多个预设方向，基于所述多个预设方向，分别对所述所有第二坐标点进行移位处理，得到所述所有第二坐标点在每个预设方向的所有移位坐标点；分别判断所述所有移位坐标点是否在所述所有区域坐标点内，若是，则判断所述所有移位坐标点是否存在所述区域标记坐标点，若是，则停止移位，否则，记录当前预设方向的移位坐标点，并将所述所有移位坐标点更新为所述所有第二坐标点，重复对所述所有第二坐标点进行移位处理，直至无法进行移位处理，得到每个预设方向上的所有移位坐标点；基于所述每个预设方向上的所有移位坐标点，得到多个方向预测图像目标路径，并基于所述多个方向预测图像目标路径，确定预测图像目标路径。
一实施例中，所述目标行为预测模块204，用于基于所述每个预设方向上的所有移位坐标点，得到多个方向预测图像目标路径，并基于所述多个方向预测图像目标路径，确定预测图像目标路径，具体包括：基于所述每个预设方向上的所有移位坐标点，得到每个预测方向上的方向预测图像目标路径；并基于所述所有移位坐标点，计算每个方向预测图像目标路径的路径长度，选取路径长度最长值对应的方向预测图像目标路径作为所述预测图像目标路径。
一实施例中，所述模型三维构建模块203，用于将所述动态图像目标输入到预训练的动态图像目标三维构建模型中，以使所述动态图像目标三维构建模型输出动态图像目标三维模型，具体包括：获取所述动态图像目标对应的动态区域图像，对所述动态区域图像进行图像预处理，得到动态区域处理图像；基于对抗网络，生成动态图像目标三维构建模型，其中，所述动态图像目标三维构建模型包括第一模型生成器和第一模型判别器；将所述动态区域处理图像输入到所述第一模型生成器中，以使所述第一模型生成器将所述动态区域处理图像转换为动态图像目标三维模型，并将所述动态图像目标三维模型输入到所述第一模型判别器中，以使所述第一模型判别器判别所述动态图像目标三维模型是否真实，若是，则输出所述动态图像目标三维模型。
所属领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的系统的具体工作过程，可以参考前述方法实施例2中的对应过程，在此不在赘述。
需要说明的是，上述基于AI模型的街景重构系统的实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
在上述的基于AI模型的街景重构方法的实施例的基础上，本发明另一实施例提供了一种基于AI模型的街景重构终端设备，图3为一种终端设备的结构示意图。如图3所示，该实施例的终端设备3包括：至少一个处理器301（图3中仅示出一个）处理器、存储器302以及存储在存储器302中并可在至少一个处理器301上运行的计算机程序303，处理器301执行计算机程序303时实现上述任意方法实施例中的步骤。
终端设备3可以是智能手机、笔记本电脑、平板电脑和桌上型计算机等计算设备。该终端设备可包括但不仅限于处理器301、存储器302。本领域技术人员可以理解，图3仅仅是终端设备3的举例，并不构成对终端设备3的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
所称处理器301可以是中央处理单元(Central Processing Unit，CPU)，该处理器301还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路 (Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器302在一些实施例中可以是终端设备3的内部存储单元，例如终端设备3的硬盘或内存。存储器302在另一些实施例中也可以是终端设备3的外部存储设备，例如终端设备3上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（SecureDigital, SD）卡，闪存卡（Flash Card）等。进一步地，存储器302还可以既包括终端设备3的内部存储单元也包括外部存储设备。存储器302用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如计算机程序的程序代码等。存储器302还可以用于暂时地存储已经输出或者将要输出的数据。
另外，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述任意方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现上述各个方法实施例中的步骤。
在本申请所提供的几个实施例中，可以理解的是，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意的是，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。
功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台终端设备执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
综上，本发明提供的一种基于AI模型的街景重构方法及系统，通过对目标区域的待重构街景图像进行图像风格迁移处理，并对得到的待重构风格迁移街景图像进行目标识别，输出动态图像目标和静态图像目标；并基于图像目标三维构建模型构建动态图像目标三维模型和静态图像目标三维模型；获取静态图像目标和动态图像目标的第一图像位置和第二图像位置，得到动态图像目标的预测图像目标路径，对预测图像目标路径中的动态图像目标移动位置和第一图像位置进行组合，得到并基于多组图像目标位置数据，分别对各个目标三维模型进行融合处理，得到三维动态街景模型；与现有技术相比，本发明能提高对目标区域街景的重构效率，同时提高对重构的三维街景模型的真实性。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本发明的保护范围。

Claims (10)

1.一种基于AI模型的街景重构方法，其特征在于，包括：
采集目标区域的天气信息，以及所述目标区域在不同视角中的待重构街景图像，基于所述天气信息对应的天气信息类型街景图像，对所述待重构街景图像进行图像风格迁移处理，得到待重构风格迁移街景图像；
将所述待重构风格迁移街景图像输入到预训练的目标识别模型中，以使所述目标识别模型对所述待重构风格迁移街景图像进行目标识别，输出所述待重构风格迁移街景图像的动态图像目标和静态图像目标；
将所述动态图像目标输入到预训练的动态图像目标三维构建模型中，以使所述动态图像目标三维构建模型输出动态图像目标三维模型，并将所述静态图像目标输入到预训练的静态图像目标三维构建模型中，以使所述静态图像目标三维构建模型输出静态图像目标三维模型；
获取所述静态图像目标在所述待重构风格迁移街景图像中的第一图像位置，并获取所述动态图像目标在所述待重构风格迁移街景图像中的第二图像位置，基于所述第一图像位置和所述第二图像位置，对所述动态图像目标进行目标行为预测处理，得到预测图像目标路径，并基于所述预测图像目标路径，依次确定多个动态图像目标移动位置；
分别将每个动态图像目标移动位置和所述第一图像位置进行组合，得到多组图像目标位置数据，根据每组图像目标位置数据，对所述动态图像目标三维模型和所述静态图像目标三维模型进行融合处理，得到每组图像目标位置数据对应的三维街景模型；
基于所述多个动态图像目标移动位置，依次整合所有三维街景模型，生成三维动态街景模型。
2.如权利要求1所述的一种基于AI模型的街景重构方法，其特征在于，基于所述天气信息对应的天气信息类型街景图像，对所述待重构街景图像进行图像风格迁移处理，得到待重构风格迁移街景图像，具体包括：
所述天气信息包括晴天、雨天和阴天；
当所述天气信息为晴天时，从历史天气信息类型街景图像数据库中选取晴天街景图像，基于所述晴天街景图像对所述待重构街景图像进行图像风格迁移处理，得到待重构晴天街景图像；
当所述天气信息为雨天时，从历史天气信息类型街景图像数据库中选取雨天街景图像，基于所述雨天街景图像对所述待重构街景图像进行图像风格迁移处理，得到待重构雨天街景图像；
当所述天气信息为阴天时，从历史天气信息类型街景图像数据库中选取阴天街景图像，基于所述阴天街景图像对所述待重构街景图像进行图像风格迁移处理，得到待重构阴天街景图像。
3.如权利要求1所述的一种基于AI模型的街景重构方法，其特征在于，对所述待重构街景图像进行图像风格迁移处理，得到待重构风格迁移街景图像，具体包括：
将所述待重构街景图像输入到预训练的卷积神经网络模型中，以使所述卷积神经网络模型对所述待重构街景图像进行图像风格迁移处理，输出待重构风格迁移街景图像；
其中，所述卷积神经网络的训练过程，包括：
获取各个天气信息类型对应的样本天气信息类型街景图像，并对所述样本天气信息类型街景图像进行标注处理；
构建卷积神经网络模型，并对所述卷积神经网络模型的模型参数进行初始化设置，得到初始化模型参数；
将所述样本天气信息类型街景图像输入到所述卷积神经网络模型中，以使所述卷积神经网络模型输出样本风格迁移街景图像；
计算所述样本天气信息类型街景图像和所述样本风格迁移街景图像之间的风格损失值和内容损失值，并对所述风格损失值和所述内容损失值进行加权融合处理，得到综合损失值；
基于所述综合损失值，通过反向传播算法计算梯度值，并基于所述梯度值对所述初始化模型参数进行迭代更新处理，直至模型收敛，确定最优卷积神经网络模型。
4.如权利要求1所述的一种基于AI模型的街景重构方法，其特征在于，基于所述第一图像位置和所述第二图像位置，对所述动态图像目标进行目标行为预测处理，得到预测图像目标路径，具体包括：
获取所述静态图像目标的第一现实坐标，基于所述第一现实坐标和所述第一图像位置，确定现实坐标和图像坐标的坐标转换关系；
基于所述坐标转换关系，对所述第二图像位置进行坐标转换处理，得到所述动态图像目标的第二现实坐标；
基于所述静态图像目标三维模型的第一尺寸和所述第一现实坐标，确定所述静态图像目标在所述现实坐标的所有第一坐标点；
基于所述动态图像目标三维模型的第二尺寸和所述第二现实坐标，确定所述动态图像目标在所述现实坐标的所有第二坐标点；
获取所述目标区域在所述现实坐标的所有区域坐标点，基于所述所有第一坐标点，对所述所有区域坐标点进行标记处理，得到区域标记坐标点；
基于所述区域标记坐标点和所述所有第二坐标点，对所述动态图像目标进行目标行为预测处理，得到预测图像目标路径。
5.如权利要求4所述的一种基于AI模型的街景重构方法，其特征在于，基于所述区域标记坐标点和所述所有第二坐标点，对所述动态图像目标进行目标行为预测处理，得到预测图像目标路径，具体包括：
设置多个预设方向，基于所述多个预设方向，分别对所述所有第二坐标点进行移位处理，得到所述所有第二坐标点在每个预设方向的所有移位坐标点；
分别判断所述所有移位坐标点是否在所述所有区域坐标点内，若是，则判断所述所有移位坐标点是否存在所述区域标记坐标点，若是，则停止移位，否则，记录当前预设方向的移位坐标点，并将所述所有移位坐标点更新为所述所有第二坐标点，重复对所述所有第二坐标点进行移位处理，直至无法进行移位处理，得到每个预设方向上的所有移位坐标点；
基于所述每个预设方向上的所有移位坐标点，得到多个方向预测图像目标路径，并基于所述多个方向预测图像目标路径，确定预测图像目标路径。
6.如权利要求5所述的一种基于AI模型的街景重构方法，其特征在于，基于所述每个预设方向上的所有移位坐标点，得到多个方向预测图像目标路径，并基于所述多个方向预测图像目标路径，确定预测图像目标路径，具体包括：
基于所述每个预设方向上的所有移位坐标点，得到每个预测方向上的方向预测图像目标路径；
并基于所述所有移位坐标点，计算每个方向预测图像目标路径的路径长度，选取路径长度最长值对应的方向预测图像目标路径作为所述预测图像目标路径。
7.如权利要求1所述的一种基于AI模型的街景重构方法，其特征在于，将所述动态图像目标输入到预训练的动态图像目标三维构建模型中，以使所述动态图像目标三维构建模型输出动态图像目标三维模型，具体包括：
获取所述动态图像目标对应的动态区域图像，对所述动态区域图像进行图像预处理，得到动态区域处理图像；
基于对抗网络，生成动态图像目标三维构建模型，其中，所述动态图像目标三维构建模型包括第一模型生成器和第一模型判别器；
将所述动态区域处理图像输入到所述第一模型生成器中，以使所述第一模型生成器将所述动态区域处理图像转换为动态图像目标三维模型，并将所述动态图像目标三维模型输入到所述第一模型判别器中，以使所述第一模型判别器判别所述动态图像目标三维模型是否真实，若是，则输出所述动态图像目标三维模型。
8.一种基于AI模型的街景重构系统，其特征在于，包括：图像风格迁移模块、图像目标识别模块、模型三维构建模块、目标行为预测模块、三维街景模型生成模块和动态三维街景模型生成模块；
其中，所述图像风格迁移模块，用于采集目标区域的天气信息，以及所述目标区域在不同视角中的待重构街景图像，基于所述天气信息对应的天气信息类型街景图像，对所述待重构街景图像进行图像风格迁移处理，得到待重构风格迁移街景图像；
所述图像目标识别模块，用于将所述待重构风格迁移街景图像输入到预训练的目标识别模型中，以使所述目标识别模型对所述待重构风格迁移街景图像进行目标识别，输出所述待重构风格迁移街景图像的动态图像目标和静态图像目标；
所述模型三维构建模块，用于将所述动态图像目标输入到预训练的动态图像目标三维构建模型中，以使所述动态图像目标三维构建模型输出动态图像目标三维模型，并将所述静态图像目标输入到预训练的静态图像目标三维构建模型中，以使所述静态图像目标三维构建模型输出静态图像目标三维模型；
所述目标行为预测模块，用于获取所述静态图像目标在所述待重构风格迁移街景图像中的第一图像位置，并获取所述动态图像目标在所述待重构风格迁移街景图像中的第二图像位置，基于所述第一图像位置和所述第二图像位置，对所述动态图像目标进行目标行为预测处理，得到预测图像目标路径，并基于所述预测图像目标路径，依次确定多个动态图像目标移动位置；
所述三维街景模型生成模块，用于分别将每个动态图像目标移动位置和所述第一图像位置进行组合，得到多组图像目标位置数据，根据每组图像目标位置数据，对所述动态图像目标三维模型和所述静态图像目标三维模型进行融合处理，得到每组图像目标位置数据对应的三维街景模型；
所述动态三维街景模型生成模块，用于基于所述多个动态图像目标移动位置，依次整合所有三维街景模型，生成三维动态街景模型。
9.一种终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任意一项所述的基于AI模型的街景重构方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至7中任意一项所述的基于AI模型的街景重构方法。
CN202410069413.9A 2024-01-18 2024-01-18 一种基于ai模型的街景重构方法及系统 Active CN117593470B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410069413.9A CN117593470B (zh) 2024-01-18 2024-01-18 一种基于ai模型的街景重构方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410069413.9A CN117593470B (zh) 2024-01-18 2024-01-18 一种基于ai模型的街景重构方法及系统

Publications (2)

Publication Number Publication Date
CN117593470A CN117593470A (zh) 2024-02-23
CN117593470B true CN117593470B (zh) 2024-04-02

Family

ID=89922268

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410069413.9A Active CN117593470B (zh) 2024-01-18 2024-01-18 一种基于ai模型的街景重构方法及系统

Country Status (1)

Country Link
CN (1) CN117593470B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942843A (zh) * 2014-04-23 2014-07-23 河海大学常州校区 一种基于视频的航道船舶三维模型动态呈现方法
CN113191944A (zh) * 2021-05-31 2021-07-30 大连民族大学 一种多通道图像内容特征融合风格迁移方法及系统
CN113781650A (zh) * 2021-09-10 2021-12-10 南京邮电大学 一种基于数据融合的动态物体可视化三维重建方法及系统
CN115249221A (zh) * 2022-09-23 2022-10-28 阿里巴巴（中国）有限公司 图像处理方法、装置和云设备
CN116416383A (zh) * 2023-04-04 2023-07-11 深圳心玑医疗机器人有限公司 动态模型建立方法、模拟操作方法、装置、设备和介质
WO2024007182A1 (zh) * 2022-07-06 2024-01-11 北京原创力科技有限公司 静态NeRF模型与动态NeRF模型融合的视频渲染方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107958482B (zh) * 2016-10-17 2021-06-18 杭州海康威视数字技术股份有限公司 一种三维场景模型构建方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942843A (zh) * 2014-04-23 2014-07-23 河海大学常州校区 一种基于视频的航道船舶三维模型动态呈现方法
CN113191944A (zh) * 2021-05-31 2021-07-30 大连民族大学 一种多通道图像内容特征融合风格迁移方法及系统
CN113781650A (zh) * 2021-09-10 2021-12-10 南京邮电大学 一种基于数据融合的动态物体可视化三维重建方法及系统
WO2024007182A1 (zh) * 2022-07-06 2024-01-11 北京原创力科技有限公司 静态NeRF模型与动态NeRF模型融合的视频渲染方法及系统
CN115249221A (zh) * 2022-09-23 2022-10-28 阿里巴巴（中国）有限公司 图像处理方法、装置和云设备
CN116416383A (zh) * 2023-04-04 2023-07-11 深圳心玑医疗机器人有限公司 动态模型建立方法、模拟操作方法、装置、设备和介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Style Transfer of Urban Road Images Using Generative Adversarial Networks With Structural Details;Yaochen Li 等;IEEE MultiMedia;20200622;第27卷(第3期);第54-65页 *

Also Published As

Publication number Publication date
CN117593470A (zh) 2024-02-23

Similar Documents

Publication Publication Date Title
CN113298818B (zh) 基于注意力机制与多尺度特征的遥感图像建筑物分割方法
CN113780296B (zh) 基于多尺度信息融合的遥感图像语义分割方法及系统
CN111259906B (zh) 含多级通道注意力的条件生成对抗遥感图像目标分割方法
CN113378756B (zh) 一种三维人体语义分割方法、终端设备及存储介质
CN109859562A (zh) 数据生成方法、装置、服务器及存储介质
CN112669448B (zh) 基于三维重建技术的虚拟数据集开发方法、系统及存储介质
CN114943876A (zh) 一种多级语义融合的云和云影检测方法、设备及存储介质
CN114758337A (zh) 一种语义实例重建方法、装置、设备及介质
CN114037640A (zh) 图像生成方法及装置
CN112001293A (zh) 结合多尺度信息和编解码网络的遥感影像地物分类方法
Liu et al. A new multi-channel deep convolutional neural network for semantic segmentation of remote sensing image
CN113298817A (zh) 一种准确率高的遥感图像语义分割方法
CN116645592A (zh) 一种基于图像处理的裂缝检测方法和存储介质
CN115272599A (zh) 一种面向城市信息模型的三维语义地图构建方法
CN104463962A (zh) 基于gps信息视频的三维场景重建方法
CN114373073A (zh) 一种用于道路场景语义分割的方法及系统
CN116543165B (zh) 一种基于双通道复合深度网络的遥感图像果树分割方法
CN116051699B (zh) 动捕数据的处理方法、装置、设备及存储介质
CN113704276A (zh) 地图更新方法、装置、电子设备及计算机可读存储介质
CN116258756B (zh) 一种自监督单目深度估计方法及系统
CN117422851A (zh) 虚拟换衣方法及其装置、电子设备
CN117593470B (zh) 一种基于ai模型的街景重构方法及系统
Feng et al. Improved deep fully convolutional network with superpixel-based conditional random fields for building extraction
CN113628349B (zh) 基于场景内容自适应的ar导航方法、设备及可读存储介质
CN113569600A (zh) 物体重识别的方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant