CN118012977A - 一种基于ai与gis融合的二三维多模态数据处理方法 - Google Patents

Abstract

本发明公开了一种基于AI与GIS融合的二三维多模态数据处理方法，涉及数据处理的技术领域，结合了AI和GIS的优势，进一步提高了对地表遥感影像的处理效率，卷积神经网络用于地物识别，从而加速了数据的处理过程；利用GIS技术建立地理数据库，实现了来自不同来源和不同格式的二维地理数据和三维空间数据的整合，这有助于提高数据的可访问性和整体管理效率；通过采用多传感器捕捉的多模态数据，综合考虑不同数据维度，进一步增强了对地理信息的全面理解；引入了数据平衡评估指数Phzs，通过综合多维度等因素，更全面地评估了地理数据的平衡性。通过预先设置评估阈值W，根据数据平衡评估指数Phzs的不同等级采取相应的策略。

Description

一种基于AI与GIS融合的二三维多模态数据处理方法

技术领域

本发明涉及数据处理的技术领域，具体为一种基于AI与GIS融合的二三维多模态数据处理方法。

背景技术

地理信息系统GIS和人工智能AI在各自领域内取得了显著的成就，其中对于AI与GIS的融合将开辟了新的领域，其中AI的能力用于处理复杂的地理数据，提高地物识别的准确性，而GIS则为数据的整合、分析和可视化提供了丰富的工具和平台，这种融合在城市规划、环境监测以及资源管理等领域具有潜在的重要应用价值，为地理信息领域注入了更高效与智能的处理手段。

然而，在当前的地理信息处理中，尤其是在多模态数据处理方面，仍然存在一些挑战和不足。其中，数据平衡问题在处理多源与多模态数据时变得尤为突出，这体现在不同类别样本数量不平衡和数据标注误差引起的问题，以及频率分布的不均匀等方面，目前尚缺乏一个完善的标准或方法来维持多模态数据的平衡，容易导致模型训练的偏颇和泛化能力的下降。

发明内容

（一）解决的技术问题

针对现有技术的不足，本发明提供了一种基于AI与GIS融合的二三维多模态数据处理方法，解决了上述背景技术中的问题。

（二）技术方案

为实现以上目的，本发明通过以下技术方案予以实现：一种基于AI与GIS融合的二三维多模态数据处理方法，包括以下步骤：

S1、多维度数据：利用若干组传感器捕捉与记录地表遥感影像，并对所述地表遥感影像进行划分，分别划分为二维地理数据信息和三维空间数据信息；

S2、数据预处理：利用AI技术中卷积神经网络，对所述地表遥感影像进行地物识别，通过卷积神经网络中的卷积层自动提取所述地表遥感影像中的特征数据，并通过图像增强技术，对特征提取后的所述地表遥感影像进行色彩增强和对比度调整；

S3、数据整合：建立地理数据库，结合GIS技术，整合来自不同来源与不同格式的所述二维地理数据信息和所述三维空间数据信息，并将所述二维地理数据信息和所述三维空间数据信息均传输至所述地理数据库内；

S4、数据分析；将所述地理数据库内相关数据信息进行分类，并统计相关类别数据信息，其中包括类别样本数量Lysz_n和总体样本数量Zysz，通过将所述类别样本数量Lysz_n和总体样本数量Zysz相关联，以获取相关频率Xgpl和类别样本比例Lybl，并在深度学习模型准备训练所述地理数据库时，将其进行数据标注，并实时记录相关标注状态数据信息，并经过综合分析，获取数据标注误差系数Bwxs，通过将所述相关频率Xgpl、所述数据标注误差系数Bwxs和所述类别样本比例Lybl相关联，并经过无量纲处理后，获取数据平衡评估指数Phzs，所述数据平衡评估指数Phzs通过以下公式获取：

；

式中，、和分别表示为数据标注误差系数Bwxs、类别样本比例Lybl和相关 频率Xgpl的预设比例系数，其中，0.21≤≤0.42，0.10≤≤0.36，0.05≤≤0.22，且 0.40≤++≤1.0，Q表示为第一修正常数；

S5、阈值设置：预先设置评估阈值W，并将所述数据平衡评估指数Phzs与所述评估阈值W进行对比分析，以获取平衡等级，根据平衡等级采取相应的策略。

优选的，通过若干组传感器和设备对地表进行监测与录制；并通过无人机设备在高空中巡游，以获取地表遥感影像；

所述二维地理数据信息包括所述地表遥感影像中可见光、红外线以及雷达波段的图像，以及无人机设备拍摄的高分辨率图像，以获取地表的地理信息，其中包括土地覆盖、植被分布、河流走向、地理特征、道路、河流以及行政边界数据信息；

所述三维空间数据信息包括通过激光雷达采集与记录三维坐标点数据，并利用航拍影像和激光扫描数据，获取地表高程信息，构建城市中建筑物的三维模型，对三维坐标点数据和地物提取。

优选的，利用AI技术中卷积神经网络，收集并整理所述地表遥感影像，包括有标注的样本，每个样本都有对应的地物类别标签，并对所述地表遥感影像进行预处理，包括图像的归一化、裁剪和缩放操作；在利用卷积神经网络对所述地理数据库进行地物识别的过程中，由已标注的地表遥感影像和相应的地物类别标签组成的训练集，并对所述训练集进行增强；设计卷积神经网络结构，包括卷积层、池化层和全连接层，以适应地物识别的任务；通过所述训练集进行模型训练，在训练过程中，网络通过反向传播算法更新权重；

采用地物标签作为监督信号，使模型学会从图像中提取与地物类别相关的特征，利用训练好的模型对未标注的地表遥感影像进行地物识别，通过模型的前向传播，获取每个像素点的类别分布。

优选的，利用GIS技术，通过若干组传感器获取二维地理数据信息和三维空间数据信息，对来自不同传感器的数据信息进行格式标准化；利用GIS技术构建空间索引，并进行数据信息整合，将所述二维地理数据信息和所述三维空间数据信息融合成地理数据库，在所述地理数据库中建立拓扑关系，确定地理要素之间的空间关系，其中包括连接、邻接和包含；利用GIS技术通过创建图表对所述地理数据库进行可视化展示。

优选的，通过将类别A样本数量与类别B样本数量进行比较分析，以获 取类别样本比例Lybl，所述类别样本比例Lybl通过以下公式获取：

；

本公式意义在于：对所述地理数据库中各个类别的样本数量进行比较，以获取各个类别的样本数量之间的比例关系，以分析各个类别的样本数量之间的平衡状态。

优选的，所述相关频率Xgpl通过以下公式获取：

；

本公式意义在于：所述相关频率Xgpl提供了对每个类别在所述地理数据库中定量占比，其中，Lysz_n表示为类别样本数量，Zysz表示为总体样本数量。

优选的，依据所述相关标注状态数据信息，并经过无量纲处理后，获取数据标注误差系数Bwxs，所述数据标注误差系数Bwxs通过以下公式获取：

；

式中，Bzsc表示为标注时长，Wbcs表示为误标次数，Blsz表示为标签类别数值，w₁、w₂和w₃分别表示为标注时长Bzsc、误标次数Wbcs和标签类别数值Blsz的预设比例系数，其中，0.12≤w₁≤0.37，0.03≤w₂≤0.30，0.05≤w₃≤0.33，且0.30≤w₁+w₂+w₃≤1.0，C表示为第二修正常数。

优选的，所述评估阈值W包括第一阈值W1和第二阈值W2，且所述第一阈值W1＞所述第二阈值W2，并通过将所述第一阈值W1和所述第二阈值W2分别与所述平衡评估指数Phzs进行对比分析，获取平衡等级，具体平衡等级内容如下：

若所述平衡评估指数Phzs≤所述第二阈值W2，则生成第一等级通知；

若所述第二阈值W2＜所述平衡评估指数Phzs≤所述第一阈值W1，则生成第二等级通知；

若所述第一阈值W1＜所述平衡评估指数Phzs，则生成第三等级通知。

优选的，根据所述第一等级通知、所述第二等级通知和所述第三等级通知，采取相应的策略，具体策略内容如下：

当生成所述第一等级通知，则表示为系统处于平衡状态，无需采取进一步的调整措施，定期监测系统性能；

当生成所述第二等级通知，则表示为系统处于平衡状态，但此时将重新训练模型；同时根据当前数据分布和特征，定期更新地理数据库，包括道路和建筑信息；

当生成所述第三等级通知，则表示为系统处于不平衡状态，此时将重新训练模型、更新地理数据库以及全面审查数据质量，检查并清理地理数据中的错误、缺失或不一致的信息；同时新设计模型架构。

（三）有益效果

本发明提供了一种基于AI与GIS融合的二三维多模态数据处理方法，具备以下有益效果：

（1）结合了AI和GIS的优势，进一步提高了对地表遥感影像的处理效率，卷积神经网络用于地物识别，能够自动提取特征数据，从而加速了数据的处理过程；利用GIS技术建立地理数据库，实现了来自不同来源和不同格式的二维地理数据和三维空间数据的整合，这有助于提高数据的可访问性和整体管理效率；通过采用多传感器捕捉的多模态数据，综合考虑不同数据维度，进一步增强了对地理信息的全面理解，适用于更广泛的应用场景；引入了数据平衡评估指数Phzs，通过综合多维度等因素，更全面地评估了地理数据的平衡性，这有助于提高模型的泛化能力和准确性。通过预先设置评估阈值W，根据数据平衡评估指数Phzs的不同等级采取相应的策略，使系统更加灵活适应不同数据状况，进一步提高了系统的智能化程度。总之，该方法基于人工智能和地理信息系统的双重技术结合，分析出在地理二三维多模态中存在的数据不平衡的问题，进一步提高了对不同类别样本以及数据标注时的误差问题，从而使得模型训练时的泛化能力和精确性。

（2）通过实时记录相关标注状态数据信息，进一步实现了对数据标注过程的监控和管理，有助于及时发现和纠正标注误差，提高数据的质量；综合分析了相关频率Xgpl、数据标注误差系数Bwxs和类别样本比例Lybl，通过无量纲处理得到数据平衡评估指数Phzs，这种综合考虑方法更全面地反映了数据平衡的状况。

附图说明

图1为本发明一种基于AI与GIS融合的二三维多模态数据处理方法框图流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

请参阅图1，本发明提供一种基于AI与GIS融合的二三维多模态数据处理方法，包括以下步骤：

S1、多维度数据：利用若干组传感器捕捉与记录地表遥感影像，并对所述地表遥感影像进行划分，分别划分为二维地理数据信息和三维空间数据信息；

S2、数据预处理：利用AI技术中卷积神经网络，对所述地表遥感影像进行地物识别，通过卷积神经网络中的卷积层自动提取所述地表遥感影像中的特征数据，并通过图像增强技术，对特征提取后的所述地表遥感影像进行色彩增强和对比度调整；

S3、数据整合：建立地理数据库，结合GIS技术，整合来自不同来源与不同格式的所述二维地理数据信息和所述三维空间数据信息，并将所述二维地理数据信息和所述三维空间数据信息均传输至所述地理数据库内；

S4、数据分析；将所述地理数据库内相关数据信息进行分类，并统计相关类别数据信息，其中包括类别样本数量Lysz_n和总体样本数量Zysz，通过将所述类别样本数量Lysz_n和总体样本数量Zysz相关联，以获取相关频率Xgpl和类别样本比例Lybl，并在深度学习模型准备训练所述地理数据库时，将其进行数据标注，并实时记录相关标注状态数据信息，并经过综合分析，获取数据标注误差系数Bwxs，通过将所述相关频率Xgpl、所述数据标注误差系数Bwxs和所述类别样本比例Lybl相关联，并经过无量纲处理后，获取数据平衡评估指数Phzs，所述数据平衡评估指数Phzs通过以下公式获取：

；

式中，、和分别表示为数据标注误差系数Bwxs、类别样本比例Lybl和相关 频率Xgpl的预设比例系数，其中，0.21≤≤0.42，0.10≤≤0.36，0.05≤≤0.22，且 0.40≤++≤1.0，Q表示为第一修正常数；

S5、阈值设置：预先设置评估阈值W，并将所述数据平衡评估指数Phzs与所述评估阈值W进行对比分析，以获取平衡等级，根据平衡等级采取相应的策略。

本实施例中，通过利用AI技术中的卷积神经网络进行地物识别，该方法能够高效处理复杂的地理数据，进一步提高地物识别的准确性，这有助于更有效地理解地表遥感影像中的特征，为后续的数据分析提供更可靠的基础；通过结合GIS技术，不仅可以整合来自不同来源与不同格式的二维地理数据和三维空间数据，而且能够将其传输至地理数据库内，这有助于建立一个全面的地理信息系统，为城市规划、环境监测和资源管理等领域提供丰富的数据支持。该方法引入了数据平衡评估指数Phzs，综合考虑了类别样本数量Lysz_n、数据标注误差和频率分布等因素，通过设定评估阈值W，系统能够实时监测数据平衡状态，并根据不同的平衡等级采取相应的策略，从而提高模型的泛化能力和鲁棒性；在数据预处理阶段，使用图像增强技术对提取的地物识别特征进行色彩增强和对比度调整，这有助于进一步优化地理数据，提高可视化效果，使得模型训练更加鲁棒；通过实时记录相关标注状态数据信息，该方法使得数据标注过程更为迅速和可追踪，这为模型的训练和改进提供了实时的反馈机制，有助于更好地维持数据的质量。

实施例2

请参照图1，具体的：通过若干组传感器和设备对地表进行监测与录制；并通过无人机设备在高空中巡游，以获取地表遥感影像；

所述二维地理数据信息包括所述地表遥感影像中可见光、红外线以及雷达波段的图像，以及无人机设备拍摄的高分辨率图像，以获取地表的地理信息，其中包括土地覆盖、植被分布、河流走向、地理特征、道路、河流以及行政边界数据信息；

所述三维空间数据信息包括通过激光雷达采集与记录三维坐标点数据，通常用于地形建模和地貌分析。并利用航拍影像和激光扫描数据，获取地表高程信息，构建城市中建筑物的三维模型，对三维坐标点数据和地物提取。

利用AI技术中卷积神经网络，收集并整理所述地表遥感影像，包括有标注的样本，每个样本都有对应的地物类别标签，并对所述地表遥感影像进行预处理，包括图像的归一化、裁剪和缩放操作，以便适应网络的输入要求。在利用卷积神经网络对所述地理数据库进行地物识别的过程中，由已标注的地表遥感影像和相应的地物类别标签组成的训练集，并对所述训练集进行增强，如旋转、翻转、变换等，增加模型的鲁棒性；设计卷积神经网络结构，包括卷积层、池化层和全连接层，以适应地物识别的任务；通过所述训练集进行模型训练，在训练过程中，网络通过反向传播算法更新权重，以最小化损失函数；

采用地物标签作为监督信号，使模型学会从图像中提取与地物类别相关的特征，利用训练好的模型对未标注的地表遥感影像进行地物识别，通过模型的前向传播，获取每个像素点的类别分布，在训练好的模型中，卷积层的特征图可以被视为对输入图像的高级表达。这些特征图包含了图像的语义信息，可以选择其中的某些卷积层输出作为特征，或者进行全局平均池化等操作，提取每个类别的特征向量。

本实施例中，通过多组传感器和无人机设备，该方法能够全面监测地表，获取包括可见光、红外线以及雷达波段等多模态数据，这种综合利用不同波段的数据，以及高分辨率图像，为地理信息的获取提供了更丰富的维度，有助于更全面地描述地表的特征和变化，包括可见光、红外线和雷达波段的图像，以及高分辨率图像，使得地理数据库中包含了丰富的信息，这为城市规划、环境监测和资源管理等领域提供了详细的地理数据支持。通过激光雷达采集的三维坐标点数据，结合航拍影像和激光扫描数据，获取地表高程信息，构建城市中建筑物的三维模型，这为地形建模和地貌分析提供了高精度的数据，为城市规划和建设提供更精准的信息；利用卷积神经网络进行地物识别，通过有标注的样本训练模型，实现对地表遥感影像的自动化处理；训练集的增强操作提高了模型的鲁棒性，使其在不同场景和条件下更具泛化能力；卷积神经网络中的特征图包含了地物的高级表达，通过选择适当的卷积层输出或进行全局平均池化等操作，可以提取每个类别的特征向量，这有助于更深入地理解地物的语义信息，为后续的地理数据分析提供更有深度的特征；利用训练好的模型对未标注的地表遥感影像进行实时地物识别，通过监督学习使模型能够学习提取与地物类别相关的特征，这为实时的地理数据处理和监测提供了便捷手段。总之，该方法在地理信息处理中实现了多模态数据的高效综合利用，通过AI技术提高了地物识别的准确性和自动化程度，为各个领域的地理信息应用提供了更丰富与全面的数据支持。

实施例3

请参照图1，具体的：利用GIS技术，通过若干组传感器获取二维地理数据信息和三维空间数据信息，对来自不同传感器的数据信息进行格式标准化，确保它们能够在同一平台上进行处理；利用GIS技术构建空间索引，以提高数据检索和查询的效率；空间索引可以加速对地理数据的空间关系查询，如邻近查询、包含查询等；并进行数据信息整合，将所述二维地理数据信息和所述三维空间数据信息融合成地理数据库，在所述地理数据库中建立拓扑关系，确定地理要素之间的空间关系，其中包括连接、邻接和包含，这有助于更准确地表示地理现象和支持空间分析；利用GIS技术通过创建图表对所述地理数据库进行可视化展示，以便更好地展示和传达地理信息。

本实施例中，通过利用GIS技术，将来自不同传感器的二维地理数据信息和三维空间数据信息进行格式标准化，这确保了各种传感器数据在同一平台上可以进行一致性处理，减少了数据处理时的不一致性和误差，提高了数据的可比性；利用GIS技术构建空间索引，以加速数据检索和查询的效率，空间索引能够有效管理大规模地理数据，加速空间关系查询，如邻近查询、包含查询等，这有助于提高对地理数据的快速检索和查询能力，优化数据分析和应用的效率；在地理数据库中整合二维地理数据信息和三维空间数据信息，并建立拓扑关系，确定地理要素之间的空间关系，包括连接、邻接和包含，这提供了更准确的地理现象表示，有助于支持更复杂的空间分析和地理信息应用，为用户提供更全面的地理数据支持；利用GIS技术通过创建图表对地理数据库进行可视化展示，这样的可视化展示不仅有助于更好地理解地理数据，而且提高了数据的传达效果；用户可以直观地观察地理现象、趋势和关系，从而更好地制定决策和规划。通过建立拓扑关系和使用空间索引，GIS技术提供了更强大的空间分析工具，这包括对地理要素的测量、分析和模拟，有助于深入研究地理空间数据，为城市规划、环境监测和资源管理等领域的决策提供更科学的支持。总之，该方法基于GIS技术的数据处理流程不仅提高了数据整合和标准化的效率，而且通过空间索引和拓扑关系的应用，增强了对地理数据的分析和展示能力，为地理信息领域的应用提供了更全面的解决方案。

实施例4

请参照图1，具体的：通过将类别A样本数量与类别B样本数量进行比 较分析，以获取类别样本比例Lybl，所述类别样本比例Lybl通过以下公式获取：

；

本公式意义在于：对所述地理数据库中各个类别的样本数量进行比较，以获取各个类别的样本数量之间的比例关系，以分析各个类别的样本数量之间的平衡状态。

本实施例中，通过比较类别A样本数量与类别B样本数量，计算类别样 本比例Lybl，这一步骤有助于评估不同类别之间的样本平衡性，同时可以了解地理数据库 中各个类别的样本数量分布情况，从而更全面地评估数据的平衡状态。样本数量比例Lybl 的分析有助于监控地理数据库中各个类别的数据质量，不同类别样本数量的差异可能指示 着数据收集过程中的偏差或缺陷，及时发现和纠正这些问题有助于提高地理数据库的数据 质量和可信度。数据样本的平衡性对于机器学习模型的预测准确性至关重要。通过类别样 本比例Lybl的计算，可以优化模型的训练数据，确保模型在各个类别上都能够充分学习，从 而提升模型对各类别的预测准确性，了解各个类别的样本比例有助于决策制定。总之，通过 类别样本比例Lybl的比较和分析，该方法能够更全面地评估和处理地理数据库中不同类别 样本数量的平衡性，为后续的数据处理和模型训练提供了有效的指导和优化手段。

实施例5

请参照图1，具体的：所述相关频率Xgpl通过以下公式获取：

；

本公式意义在于：所述相关频率Xgpl提供了对每个类别在所述地理数据库中定量占比，其中，Lysz_n表示为类别样本数量，Zysz表示为总体样本数量。

本实施例中，通过计算相关频率Xgpl，可以了解每个类别在地理数据库中的相对分布比例，这有助于深入理解不同地理现象或类别在整个数据集中的相对重要性，为后续分析和应用提供重要参考；相关频率Xgpl的计算可以用于评估不同类别之间的样本分布平衡性，如果相关频率Xgpl相差较大，可能表明某些类别的样本数量相对较少，需要采取措施来处理不平衡的数据分布，以提高模型的性能和鲁棒性。相关频率Xgpl提供了在训练机器学习模型时调整类别权重的依据，通过了解每个类别的占比，可以在模型训练过程中调整损失函数中各类别的权重，使模型更加关注样本较少的类别，提高模型在不同类别上的表现。相关频率Xgpl的计算有助于决策制定和规划。在某些应用场景中，不同类别的占比可能影响到决策的重要性，例如，在环境监测中，某些类别的占比可能对于资源分配和风险评估有重要影响；相关频率Xgpl的监控也有助于对数据进行标注和质量控制，如果相关频率Xgpl变化较大，可能提示数据收集中的问题，需要进一步审查和纠正，以确保数据的准确性和可靠性。

实施例6

请参照图1，具体的：依据所述相关标注状态数据信息，并经过无量纲处理后，获取数据标注误差系数Bwxs，所述数据标注误差系数Bwxs通过以下公式获取：

；

式中，Bzsc表示为标注时长，Wbcs表示为误标次数，Blsz表示为标签类别数值，w₁、w₂和w₃分别表示为标注时长Bzsc、误标次数Wbcs和标签类别数值Blsz的预设比例系数，其中，0.12≤w₁≤0.37，0.03≤w₂≤0.30，0.05≤w₃≤0.33，且0.30≤w₁+w₂+w₃≤1.0，C表示为第二修正常数。

本实施例中，通过计算数据标注误差系数Bwxs，可以对地理数据库中的标注质量进行定量评估。通过多种参数，综合考量有助于了解标注的准确性和一致性，为后续数据分析和模型训练提供可靠的标注基础；通过无量纲处理，对各项指标进行了统一的处理，确保了各项指标在计算标注误差系数时的平等地位，这一处理有助于减少不同指标之间的尺度影响，使得标注误差系数更具一致性和可比性。总之，通过计算数据标注误差系数Bwxs，可以全面评估标注的质量和准确性，为地理数据库中的标注数据提供科学的质量控制手段，进而提高后续应用和分析的可靠性。

实施例7

请参照图1，具体的：所述评估阈值W包括第一阈值W1和第二阈值W2，且所述第一阈值W1＞所述第二阈值W2，并通过将所述第一阈值W1和所述第二阈值W2分别与所述平衡评估指数Phzs进行对比分析，获取平衡等级，具体平衡等级内容如下：

若所述平衡评估指数Phzs≤所述第二阈值W2，则生成第一等级通知；

若所述第二阈值W2＜所述平衡评估指数Phzs≤所述第一阈值W1，则生成第二等级通知；

若所述第一阈值W1＜所述平衡评估指数Phzs，则生成第三等级通知。

根据所述第一等级通知、所述第二等级通知和所述第三等级通知，采取相应的策略，具体策略内容如下：

当生成所述第一等级通知，则表示为系统处于平衡状态，无需采取进一步的调整措施，定期监测系统性能，确保系统运行平稳；

当生成所述第二等级通知，则表示为系统处于平衡状态，但此时将重新训练模型，使用更多、更新的数据重新训练模型，以提高地物识别的准确性；同时根据当前数据分布和特征，定期更新地理数据库，确保地理数据库中的信息与实际情况保持一致，包括道路和建筑信息；

当生成所述第三等级通知，则表示为系统处于不平衡状态，此时将重新训练模型、更新地理数据库以及全面审查数据质量，检查并清理地理数据中的错误、缺失或不一致的信息；同时新设计模型架构。

本实施例中，通过设定第一阈值W1和第二阈值W2，实现对平衡评估指数Phzs的监控，进一步有效地评估系统的平衡状态，这有助于实时了解系统运行状况，及时发现可能存在的问题；生成不同等级的通知，进一步有助于直观地了解系统平衡状态的偏差程度；第一等级通知表示系统平稳，第二等级通知表示略有偏差，第三等级通知表示明显偏离理想状态，这种等级划分为用户提供了清晰的反馈，指导后续的优化工作；针对不同等级的通知，提供了相应的策略建议，这有助于制定具体的调整和优化计划，以满足系统的实际需求。根据通知的不同等级，采取相应的策略，包括定期监测、轻微调整或优化，以及更严重的调整和重大系统更新。总之，该方法不仅实现了对系统平衡状态的实时监控和评估，还为系统运维人员提供了有针对性的策略建议，以确保系统在不同平衡状态下保持良好的性能和适应性。

示例：一个某某地理研究中心，该地理研究中心引入了一种基于AI与GIS融合的二三维多模态数据处理方法，以下是某某地理研究中心的示例：

数据采集：类别A样本数量为34；类别B样本数量为54；类别样本数量 Lysz_n为12；总体样本数量Zysz为248；标注时长Bzsc为16.2；误标次数Wbcs为11；标签类别 数值Blsz为14；

预设比例系数：w₁为0.16；w₂为0.15；w₃为0.20；第二修正常数C为0.2；

预设比例系数：为0.30；为0.11；为0.21；第一修正常数Q为0.92；

通过以上数据，可以进行以下计算：

类别样本比例=0.63；

相关频率=5%；

数据标注误差系数=14；

数据平衡评估指数=9；

若第一阈值W1为15，第二阈值W2为10，则平衡评估指数Phzs≤第二阈值W2，则生成第一等级通知，当生成所述第一等级通知，则表示为系统处于平衡状态，无需采取进一步的调整措施，定期监测系统性能。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (9)

1.一种基于AI与GIS融合的二三维多模态数据处理方法，其特征在于：包括以下步骤：

S1、多维度数据：利用若干组传感器捕捉与记录地表遥感影像，并对所述地表遥感影像进行划分，分别划分为二维地理数据信息和三维空间数据信息；

S2、数据预处理：利用AI技术中卷积神经网络，对所述地表遥感影像进行地物识别，通过卷积神经网络中的卷积层自动提取所述地表遥感影像中的特征数据，并通过图像增强技术，对特征提取后的所述地表遥感影像进行色彩增强和对比度调整；

S3、数据整合：建立地理数据库，结合GIS技术，整合来自不同来源与不同格式的所述二维地理数据信息和所述三维空间数据信息，并将所述二维地理数据信息和所述三维空间数据信息均传输至所述地理数据库内；

S4、数据分析；将所述地理数据库内相关数据信息进行分类，并统计相关类别数据信息，其中包括类别样本数量Lysz_n和总体样本数量Zysz，通过将所述类别样本数量Lysz_n和总体样本数量Zysz相关联，以获取相关频率Xgpl和类别样本比例Lybl，并在深度学习模型准备训练所述地理数据库时，将其进行数据标注，并实时记录相关标注状态数据信息，并经过综合分析，获取数据标注误差系数Bwxs，通过将所述相关频率Xgpl、所述数据标注误差系数Bwxs和所述类别样本比例Lybl相关联，并经过无量纲处理后，获取数据平衡评估指数Phzs，所述数据平衡评估指数Phzs通过以下公式获取：

；

式中，、/>和/>分别表示为数据标注误差系数Bwxs、类别样本比例Lybl和相关频率Xgpl的预设比例系数，其中，0.21≤/>≤0.42，0.10≤/>≤0.36，0.05≤/>≤0.22，且0.40≤/>+/>+/>≤1.0，Q表示为第一修正常数；

S5、阈值设置：预先设置评估阈值W，并将所述数据平衡评估指数Phzs与所述评估阈值W进行对比分析，以获取平衡等级，根据平衡等级采取相应的策略。

2.根据权利要求1所述的一种基于AI与GIS融合的二三维多模态数据处理方法，其特征在于：通过若干组传感器和设备对地表进行监测与录制；并通过无人机设备在高空中巡游，以获取地表遥感影像；

所述二维地理数据信息包括所述地表遥感影像中可见光、红外线以及雷达波段的图像，以及无人机设备拍摄的高分辨率图像，以获取地表的地理信息，其中包括土地覆盖、植被分布、河流走向、地理特征、道路、河流以及行政边界数据信息；

所述三维空间数据信息包括通过激光雷达采集与记录三维坐标点数据，并利用航拍影像和激光扫描数据，获取地表高程信息，构建城市中建筑物的三维模型，对三维坐标点数据和地物提取。

3.根据权利要求2所述的一种基于AI与GIS融合的二三维多模态数据处理方法，其特征在于：利用AI技术中卷积神经网络，收集并整理所述地表遥感影像，包括有标注的样本，每个样本都有对应的地物类别标签，并对所述地表遥感影像进行预处理，包括图像的归一化、裁剪和缩放操作；在利用卷积神经网络对所述地理数据库进行地物识别的过程中，由已标注的地表遥感影像和相应的地物类别标签组成的训练集，并对所述训练集进行增强；设计卷积神经网络结构，包括卷积层、池化层和全连接层，以适应地物识别的任务；通过所述训练集进行模型训练，在训练过程中，网络通过反向传播算法更新权重；

采用地物标签作为监督信号，使模型学会从图像中提取与地物类别相关的特征，利用训练好的模型对未标注的地表遥感影像进行地物识别，通过模型的前向传播，获取每个像素点的类别分布。

4.根据权利要求3所述的一种基于AI与GIS融合的二三维多模态数据处理方法，其特征在于：利用GIS技术，通过若干组传感器获取二维地理数据信息和三维空间数据信息，对来自不同传感器的数据信息进行格式标准化；利用GIS技术构建空间索引，并进行数据信息整合，将所述二维地理数据信息和所述三维空间数据信息融合成地理数据库，在所述地理数据库中建立拓扑关系，确定地理要素之间的空间关系，其中包括连接、邻接和包含；利用GIS技术通过创建图表对所述地理数据库进行可视化展示。

5.根据权利要求4所述的一种基于AI与GIS融合的二三维多模态数据处理方法，其特征在于：通过将类别A样本数量与类别B样本数量/>进行比较分析，以获取类别样本比例Lybl，所述类别样本比例Lybl通过以下公式获取：

；

本公式意义在于：对所述地理数据库中各个类别的样本数量进行比较，以获取各个类别的样本数量之间的比例关系，以分析各个类别的样本数量之间的平衡状态。

6.根据权利要求5所述的一种基于AI与GIS融合的二三维多模态数据处理方法，其特征在于：所述相关频率Xgpl通过以下公式获取：

；

本公式意义在于：所述相关频率Xgpl提供了对每个类别在所述地理数据库中定量占比，其中，Lysz_n表示为类别样本数量，Zysz表示为总体样本数量。

7.根据权利要求6所述的一种基于AI与GIS融合的二三维多模态数据处理方法，其特征在于：依据所述相关标注状态数据信息，并经过无量纲处理后，获取数据标注误差系数Bwxs，所述数据标注误差系数Bwxs通过以下公式获取：

；

式中，Bzsc表示为标注时长，Wbcs表示为误标次数，Blsz表示为标签类别数值，w₁、w₂和w₃分别表示为标注时长Bzsc、误标次数Wbcs和标签类别数值Blsz的预设比例系数，C表示为第二修正常数。

8.根据权利要求7所述的一种基于AI与GIS融合的二三维多模态数据处理方法，其特征在于：所述评估阈值W包括第一阈值W1和第二阈值W2，且所述第一阈值W1＞所述第二阈值W2，并通过将所述第一阈值W1和所述第二阈值W2分别与所述平衡评估指数Phzs进行对比分析，获取平衡等级，具体平衡等级内容如下：

若所述平衡评估指数Phzs≤所述第二阈值W2，则生成第一等级通知；

若所述第二阈值W2＜所述平衡评估指数Phzs≤所述第一阈值W1，则生成第二等级通知；

若所述第一阈值W1＜所述平衡评估指数Phzs，则生成第三等级通知。

9.根据权利要求8所述的一种基于AI与GIS融合的二三维多模态数据处理方法，其特征在于：根据所述第一等级通知、所述第二等级通知和所述第三等级通知，采取相应的策略，具体策略内容如下：

当生成所述第一等级通知，则表示为系统处于平衡状态，无需采取进一步的调整措施，定期监测系统性能；

当生成所述第二等级通知，则表示为系统处于平衡状态，但此时将重新训练模型；同时根据当前数据分布和特征，定期更新地理数据库，包括道路和建筑信息；

当生成所述第三等级通知，则表示为系统处于不平衡状态，此时将重新训练模型、更新地理数据库以及全面审查数据质量，检查并清理地理数据中的错误、缺失或不一致的信息；同时新设计模型架构。