CN117319290A - 基于时空大数据实时地理通信方法 - Google Patents

Abstract

本发明公开了基于时空大数据实时地理通信方法，属于通信技术领域，该通信方法具体步骤如下：(1)获取时空数据并进行预处理；(2)通过分布式数据库存储处理后的时空数据；(3)实时地分析时空数据并进行数据挖掘；(4)根据实时数据和用户需求动态调整通信路径；(5)确定通信路径后进行实时地理通信；(6)采集实时通信数据并进行通信调整；本发明能够找到更好的通信路径，可以自动适应不断变化的网络条件和用户需求，显著提高大规模的通信路径搜索效率，且具有较好的解释性，能够提供高准确性的预测和决策，具有较强的鲁棒性，有利于识别关键性能指标，能够同时处理多个相关任务，从而更全面地监控和调整通信网络。

Description

基于时空大数据实时地理通信方法

技术领域

本发明涉及通信技术领域，尤其涉及基于时空大数据实时地理通信方法。

背景技术

在当今数字化时代，通信已经成为我们社会生活中不可或缺的一部分。从智能手机到物联网设备，通信网络贯穿了我们的日常生活，连接了人与人、人与设备、设备与设备。然而，随着通信技术的不断演进和数据流量的快速增长，传统的通信系统面临着一系列新的挑战，如网络拥塞、服务质量下降和能源效率问题。同时，通信系统的性能和效率在很大程度上取决于时空因素。用户的地理位置、通信设备的位置、网络拓扑和信道条件都对通信的质量和效率产生影响。了解和利用时空信息成为了优化通信系统的关键；因此，发明出基于时空大数据实时地理通信方法变得尤为重要。

现有的基于时空大数据实时地理通信方法无法自动适应不断变化的网络条件和用户需求，大规模的通信路径搜索效率低下；此外，现有的基于时空大数据实时地理通信方法不能提供高准确性的预测和决策，且无法同时处理多个相关任务；为此，我们提出基于时空大数据实时地理通信方法。

发明内容

本发明的目的是为了解决现有技术中存在的缺陷，而提出的基于时空大数据实时地理通信方法。

为了实现上述目的，本发明采用了如下技术方案：

基于时空大数据实时地理通信方法，该通信方法具体步骤如下：

(1)获取时空数据并进行预处理；

(2)通过分布式数据库存储处理后的时空数据；

(3)实时分析时空数据并进行数据挖掘；

(4)根据实时数据和用户需求动态调整通信路径；

(5)确定通信路径后进行实时地理通信；

(6)采集实时通信数据并进行通信调整。

作为本发明的进一步方案，步骤(1)中所述时空数据预处理具体步骤如下：

步骤一：对接收到的时空数据进行解析，并将其转换成可处理的数字格式，再通过高斯滤波去除数据中的噪声并平滑数据，之后计算时空数据的标准偏差，之后依据计算出的标准偏差分别对异常数据进行检测并筛除；

步骤二：检测是否存在重复的数据记录，若存在重复数据，则将其删除，检测各组数据中存在的缺失值，并标记各缺失值在对应数据中的所在位置，对各组数据中存在的缺失值进行统计和可视化分析以获取缺失值的分布情况和影响范围，并通过KNN算法找到的相应的K组数据点的平均值或中位数来替代异常值或缺失值；

步骤三：收集各组时空数据的坐标信息，根据原始坐标系统和目标坐标系统的不同，选择相关坐标转换工具或库，并使用所选的工具，将原始坐标信息转换为目标坐标信息，并检查坐标值的一致性和合理性，同时将数据按照一致的数据模式和单位进行格式化。

作为本发明的进一步方案，步骤(2)中所述分布式数据库数据存储具体步骤如下：

步骤1：按照预设的时间区间对各组处理数据进行分割，以获形成多组数据块，之后通过哈希算法生成各组数据块的标识，收集各组节点信息；

步骤2：获取数据块划分规则以及节点负载情况，并通过负载均衡算法选择合适的节点来存储每组数据块，数据块存储完成后，根据系统的要求和可用资源进行配置复制规定数量的数据块到多组节点上；

步骤3：当节点存储的数据发生变化时，通过数据同步算法将数据更新从一个节点传播到其他节点，之后自动检测节点运行情况，并对故障节点进行数据迁移或修复。

作为本发明的进一步方案，步骤(3)中所述数据挖掘具体步骤如下：

步骤Ⅰ：使用地图工具将时空数据以地图形式进行可视化处理并绘制时空数据的时间序列图，依据生成的地图以及时间序列图获取数据的分布和空间关系，以及数据随时间的变化信息；

步骤Ⅱ：通过关联规则挖掘算法寻找数据中的相关性，并使用时间序列分析方法识别时空数据中的趋势和季节性变化，再通过空间统计工具检测空间数据中的空间相关性和集聚现象，然后使用异常检测算法识别时空数据中的异常情况；

步骤Ⅲ：对各组分析数据进行预处理后，将其分为训练集以及测试集，之后通过线性回归构建趋势预测模型，再通过训练集进行模型训练，每个训练周期迭代一次，在每个迭代中，将一组批次的数据输入模型，通过交叉熵损失函数计算此次趋势预测模型输出结果损失值，若损失值不满足预设要求，通过反向传播算法来更新权重和参数；

步骤Ⅳ：使用测试集来评估最终训练好的模型的性能，再将训练好的模型部署到相关平台中，将最新分析数据输入趋势预测模型中以获取输出一组或多组未来的时空趋势或事件的概率分布，并将其进行以文字或图表的形式反馈给工作人员。

作为本发明的进一步方案，步骤Ⅲ中所述线性回归具体计算公式如下：

Y＝a+bX

(1)

式中，Y代表预测值；X代表时间或事件；a代表趋势的初始值或起始点；b表示X对Y的影响程度。

作为本发明的进一步方案，步骤(4)中所述通信路径动态调整具体步骤如下：

步骤①：收集实时的通信数据，并使用监控工具来实时监测通信网络的性能和用户需求以获取实时数据，收集用户需求和优先级，并将用户需求转化为通信路径调整的具体要求和目标；

步骤②：根据实时数据和用户需求，对当前的通信路径进行评估，初始化一组包含多组通信路径的种群，并随机生成初始通信路径，通过适应度函数评估每组通信路径基于实时数据和用户需求的满足程度；

步骤③：随机从种群中选择两组个体，再分别从个体中选取某一段路径，然后进行交换得到新的两组新的个体，随机选择一组个体，并随机选择个体中的两段路径进行交换以生成一组新的个体，路径优化完成后，从路径终点开始遍历每个节点，若某节点可以与起点无障碍相连，则将两点之间的冗余节点删除并重新计算路径的适应度函数；

步骤④：在实际网络中验证优化路径的可行性和性能，并将最佳通信路径配置到通信设备中以确保实时数据的流量沿着所选路径传输，持续监控通信网络的性能和用户满足度，收集实时数据以进行反馈，基于实时数据和反馈来动态调整通信路径。

作为本发明的进一步方案，步骤②中所述适应度函数具体计算公式如下：

F(x)＝w1*Delay(x)+w2*Bandwidth(x)

(2)

式中，F(x)通信路径x的适应度；Delay(x)代表路径延迟；Bandwidth(x)代表路径带宽；w1以及w2代表权重。

作为本发明的进一步方案，步骤(6)中所述通信调整具体步骤如下：

第一步：从数据库中收集历史通信数据，之后将历史通信数据分成不同的健康状态类别，并依据分类结果对各组历史通信数据进行标注，对历史通信数据进行标准化处理后，将各组数据整合归纳成样本数据集，之后按照预设阈值将样本数据集划分为两组特征子集；

第二步：随机选择一组特征子集，重复进行特征选择和数据集分割，直至决策树的深度达到预定值，将叶子节点的标签确定为该节点中样本数量最多的类别，之后通过递归分裂和叶子节点标签确定，构建出一个完整的决策树，将生成的多组决策树组成随机森林模型，并对该模型进行训练优化；

第三步：收集并处理最新的通信网络性能数据以及时空数据，并将处理后的数据输入该随机森林模型中，从随机森林模型的根节点开始，根据参数信息的特征条件逐步遍历树的分支，直到达到叶子节点，并将该叶子节点的标签作为预测结果并输出，之后依据预测结果、实时数据、时空数据和用户需求调整通信参数。

相比于现有技术，本发明的有益效果在于：

1、该基于时空大数据实时地理通信方法根据实时数据和用户需求，对当前的通信路径进行评估，初始化一组包含多组通信路径的种群，并随机生成初始通信路径，通过适应度函数评估每组通信路径基于实时数据和用户需求的满足程度，随机从种群中选择两组个体，再分别从个体中选取某一段路径，然后进行交换得到新的两组新的个体，随机选择一组个体，并随机选择个体中的两段路径进行交换以生成一组新的个体，路径优化完成后，从路径终点开始遍历每个节点，若某节点可以与起点无障碍相连，则将两点之间的冗余节点删除并重新计算路径的适应度函数，在实际网络中验证优化路径的可行性和性能，并将最佳通信路径配置到通信设备中以确保实时数据的流量沿着所选路径传输，持续监控通信网络的性能和用户满足度，收集实时数据以进行反馈，基于实时数据和反馈来动态调整通信路径，能够找到更好的通信路径，可以自动适应不断变化的网络条件和用户需求，显著提高大规模的通信路径搜索效率，且具有较好的解释性。

2、该基于时空大数据实时地理通信方法通过从数据库中收集历史通信数据，之后将历史通信数据分成不同的健康状态类别并标注，对历史通信数据预处理后按照预设阈值将样本数据集划分为两组特征子集，随机选择一组特征子集，重复进行特征选择和数据集分割，直至决策树的深度达到预定值，将叶子节点的标签确定为该节点中样本数量最多的类别，之后通过递归分裂和叶子节点标签确定，构建出一个完整的决策树，将生成的多组决策树组成随机森林模型，收集并处理最新的通信网络性能数据以及时空数据并输入该随机森林模型中，从随机森林模型的根节点开始，根据参数信息的特征条件逐步遍历树的分支，直到达到叶子节点，并将该叶子节点的标签作为预测结果并输出，之后依据预测结果、实时数据、时空数据和用户需求调整通信参数，能够提供高准确性的预测和决策，具有较强的鲁棒性，有利于识别关键性能指标，能够同时处理多个相关任务，从而更全面地监控和调整通信网络。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

图1为本发明提出的基于时空大数据实时地理通信方法的流程框图。

具体实施方式

实施例1

参照图1，基于时空大数据实时地理通信方法，该通信方法具体步骤如下：

获取时空数据并进行预处理。

具体的，对接收到的时空数据进行解析，并将其转换成可处理的数字格式，再通过高斯滤波去除数据中的噪声并平滑数据，之后计算时空数据的标准偏差，之后依据计算出的标准偏差分别对异常数据进行检测并筛除，检测是否存在重复的数据记录，若存在重复数据，则将其删除，检测各组数据中存在的缺失值，并标记各缺失值在对应数据中的所在位置，对各组数据中存在的缺失值进行统计和可视化分析以获取缺失值的分布情况和影响范围，并通过KNN算法找到的相应的K组数据点的平均值或中位数来替代异常值或缺失值，收集各组时空数据的坐标信息，根据原始坐标系统和目标坐标系统的不同，选择相关坐标转换工具或库，并使用所选的工具，将原始坐标信息转换为目标坐标信息，并检查坐标值的一致性和合理性，同时将数据按照一致的数据模式和单位进行格式化。

通过分布式数据库存储处理后的时空数据。

具体的，按照预设的时间区间对各组处理数据进行分割，以获形成多组数据块，之后通过哈希算法生成各组数据块的标识，收集各组节点信息，获取数据块划分规则以及节点负载情况，并通过负载均衡算法选择合适的节点来存储每组数据块，数据块存储完成后，根据系统的要求和可用资源进行配置复制规定数量的数据块到多组节点上，当节点存储的数据发生变化时，通过数据同步算法将数据更新从一个节点传播到其他节点，之后自动检测节点运行情况，并对故障节点进行数据迁移或修复。

实时分析时空数据并进行数据挖掘。

具体的，使用地图工具将时空数据以地图形式进行可视化处理并绘制时空数据的时间序列图，依据生成的地图以及时间序列图获取数据的分布和空间关系，以及数据随时间的变化信息，通过关联规则挖掘算法寻找数据中的相关性，并使用时间序列分析方法识别时空数据中的趋势和季节性变化，再通过空间统计工具检测空间数据中的空间相关性和集聚现象，然后使用异常检测算法识别时空数据中的异常情况，对各组分析数据进行预处理后，将其分为训练集以及测试集，之后通过线性回归构建趋势预测模型，再通过训练集进行模型训练，每个训练周期迭代一次，在每个迭代中，将一组批次的数据输入模型，通过交叉熵损失函数计算此次趋势预测模型输出结果损失值，若损失值不满足预设要求，通过反向传播算法来更新权重和参数，使用测试集来评估最终训练好的模型的性能，再将训练好的模型部署到相关平台中，将最新分析数据输入趋势预测模型中以获取输出一组或多组未来的时空趋势或事件的概率分布，并将其进行以文字或图表的形式反馈给工作人员。

需要进一步说明的是，线性回归具体计算公式如下：

Y＝a+bX

(1)

式中，Y代表预测值；X代表时间或事件；a代表趋势的初始值或起始点；b表示X对Y的影响程度。

实施例2

参照图1，基于时空大数据实时地理通信方法，该通信方法具体步骤如下：

根据实时数据和用户需求动态调整通信路径。

具体的，收集实时的通信数据，并使用监控工具来实时监测通信网络的性能和用户需求以获取实时数据，收集用户需求和优先级，并将用户需求转化为通信路径调整的具体要求和目标，根据实时数据和用户需求，对当前的通信路径进行评估，初始化一组包含多组通信路径的种群，并随机生成初始通信路径，通过适应度函数评估每组通信路径基于实时数据和用户需求的满足程度，随机从种群中选择两组个体，再分别从个体中选取某一段路径，然后进行交换得到新的两组新的个体，随机选择一组个体，并随机选择个体中的两段路径进行交换以生成一组新的个体，路径优化完成后，从路径终点开始遍历每个节点，若某节点可以与起点无障碍相连，则将两点之间的冗余节点删除并重新计算路径的适应度函数，在实际网络中验证优化路径的可行性和性能，并将最佳通信路径配置到通信设备中以确保实时数据的流量沿着所选路径传输，持续监控通信网络的性能和用户满足度，收集实时数据以进行反馈，基于实时数据和反馈来动态调整通信路径。

本实施例中，适应度函数具体计算公式如下：

F(x)＝w1*Delay(x)+w2*Bandwidth(x)

(2)

式中，F(x)通信路径x的适应度；Delay(x)代表路径延迟；Bandwidth(x)代表路径带宽；w1以及w2代表权重。

确定通信路径后进行实时地理通信。

采集实时通信数据并进行通信调整。

具体的，从数据库中收集历史通信数据，之后将历史通信数据分成不同的健康状态类别，并依据分类结果对各组历史通信数据进行标注，对历史通信数据进行标准化处理后，将各组数据整合归纳成样本数据集，之后按照预设阈值将样本数据集划分为两组特征子集，随机选择一组特征子集，重复进行特征选择和数据集分割，直至决策树的深度达到预定值，将叶子节点的标签确定为该节点中样本数量最多的类别，之后通过递归分裂和叶子节点标签确定，构建出一个完整的决策树，将生成的多组决策树组成随机森林模型，并对该模型进行训练优化，收集并处理最新的通信网络性能数据以及时空数据，并将处理后的数据输入该随机森林模型中，从随机森林模型的根节点开始，根据参数信息的特征条件逐步遍历树的分支，直到达到叶子节点，并将该叶子节点的标签作为预测结果并输出，之后依据预测结果、实时数据、时空数据和用户需求调整通信参数。

Claims (8)

1.基于时空大数据实时地理通信方法，其特征在于，该通信方法具体步骤如下：

(1)获取时空数据并进行预处理；

(2)通过分布式数据库存储处理后的时空数据；

(3)实时分析时空数据并进行数据挖掘；

(4)根据实时数据和用户需求动态调整通信路径；

(5)确定通信路径后进行实时地理通信；

(6)采集实时通信数据并进行通信调整。

2.根据权利要求1所述的基于时空大数据实时地理通信方法，其特征在于，步骤(1)中所述时空数据预处理具体步骤如下：

步骤一：对接收到的时空数据进行解析，并将其转换成可处理的数字格式，再通过高斯滤波去除数据中的噪声并平滑数据，之后计算时空数据的标准偏差，之后依据计算出的标准偏差分别对异常数据进行检测并筛除；

步骤二：检测是否存在重复的数据记录，若存在重复数据，则将其删除，检测各组数据中存在的缺失值，并标记各缺失值在对应数据中的所在位置，对各组数据中存在的缺失值进行统计和可视化分析以获取缺失值的分布情况和影响范围，并通过KNN算法找到的相应的K组数据点的平均值或中位数来替代异常值或缺失值；

步骤三：收集各组时空数据的坐标信息，根据原始坐标系统和目标坐标系统的不同，选择相关坐标转换工具或库，并使用所选的工具，将原始坐标信息转换为目标坐标信息，并检查坐标值的一致性和合理性，同时将数据按照一致的数据模式和单位进行格式化。

3.根据权利要求2所述的基于时空大数据实时地理通信方法，其特征在于，步骤(2)中所述分布式数据库数据存储具体步骤如下：

步骤1：按照预设的时间区间对各组处理数据进行分割，以获形成多组数据块，之后通过哈希算法生成各组数据块的标识，收集各组节点信息；

步骤2：获取数据块划分规则以及节点负载情况，并通过负载均衡算法选择合适的节点来存储每组数据块，数据块存储完成后，根据系统的要求和可用资源进行配置复制规定数量的数据块到多组节点上；

步骤3：当节点存储的数据发生变化时，通过数据同步算法将数据更新从一个节点传播到其他节点，之后自动检测节点运行情况，并对故障节点进行数据迁移或修复。

4.根据权利要求3所述的基于时空大数据实时地理通信方法，其特征在于，步骤(3)中所述数据挖掘具体步骤如下：

步骤Ⅰ：使用地图工具将时空数据以地图形式进行可视化处理并绘制时空数据的时间序列图，依据生成的地图以及时间序列图获取数据的分布和空间关系，以及数据随时间的变化信息；

步骤Ⅱ：通过关联规则挖掘算法寻找数据中的相关性，并使用时间序列分析方法识别时空数据中的趋势和季节性变化，再通过空间统计工具检测空间数据中的空间相关性和集聚现象，然后使用异常检测算法识别时空数据中的异常情况；

步骤Ⅲ：对各组分析数据进行预处理后，将其分为训练集以及测试集，之后通过线性回归构建趋势预测模型，再通过训练集进行模型训练，每个训练周期迭代一次，在每个迭代中，将一组批次的数据输入模型，通过交叉熵损失函数计算此次趋势预测模型输出结果损失值，若损失值不满足预设要求，通过反向传播算法来更新权重和参数；

步骤Ⅳ：使用测试集来评估最终训练好的模型的性能，再将训练好的模型部署到相关平台中，将最新分析数据输入趋势预测模型中以获取输出一组或多组未来的时空趋势或事件的概率分布，并将其进行以文字或图表的形式反馈给工作人员。

5.根据权利要求4所述的基于时空大数据实时地理通信方法，其特征在于，步骤Ⅲ中所述线性回归具体计算公式如下：

Y＝a+bX

(1)

式中，Y代表预测值；X代表时间或事件；a代表趋势的初始值或起始点；b表示X对Y的影响程度。

6.根据权利要求4所述的基于时空大数据实时地理通信方法，其特征在于，步骤(4)中所述通信路径动态调整具体步骤如下：

步骤①：收集实时的通信数据，并使用监控工具来实时监测通信网络的性能和用户需求以获取实时数据，收集用户需求和优先级，并将用户需求转化为通信路径调整的具体要求和目标；

步骤②：根据实时数据和用户需求，对当前的通信路径进行评估，初始化一组包含多组通信路径的种群，并随机生成初始通信路径，通过适应度函数评估每组通信路径基于实时数据和用户需求的满足程度；

步骤③：随机从种群中选择两组个体，再分别从个体中选取某一段路径，然后进行交换得到新的两组新的个体，随机选择一组个体，并随机选择个体中的两段路径进行交换以生成一组新的个体，路径优化完成后，从路径终点开始遍历每个节点，若某节点可以与起点无障碍相连，则将两点之间的冗余节点删除并重新计算路径的适应度函数；

步骤④：在实际网络中验证优化路径的可行性和性能，并将最佳通信路径配置到通信设备中以确保实时数据的流量沿着所选路径传输，持续监控通信网络的性能和用户满足度，收集实时数据以进行反馈，基于实时数据和反馈来动态调整通信路径。

7.根据权利要求6所述的基于时空大数据实时地理通信方法，其特征在于，步骤②中所述适应度函数具体计算公式如下：

F(x)＝w1*Delay(x)+w2*Bandwidth(x)

(2)

式中，F(x)通信路径x的适应度；Delay(x)代表路径延迟；Bandwidth(x)代表路径带宽；w1以及w2代表权重。

8.根据权利要求6所述的基于时空大数据实时地理通信方法，其特征在于，步骤(6)中所述通信调整具体步骤如下：

第一步：从数据库中收集历史通信数据，之后将历史通信数据分成不同的健康状态类别，并依据分类结果对各组历史通信数据进行标注，对历史通信数据进行标准化处理后，将各组数据整合归纳成样本数据集，之后按照预设阈值将样本数据集划分为两组特征子集；

第二步：随机选择一组特征子集，重复进行特征选择和数据集分割，直至决策树的深度达到预定值，将叶子节点的标签确定为该节点中样本数量最多的类别，之后通过递归分裂和叶子节点标签确定，构建出一个完整的决策树，将生成的多组决策树组成随机森林模型，并对该模型进行训练优化；

第三步：收集并处理最新的通信网络性能数据以及时空数据，并将处理后的数据输入该随机森林模型中，从随机森林模型的根节点开始，根据参数信息的特征条件逐步遍历树的分支，直到达到叶子节点，并将该叶子节点的标签作为预测结果并输出，之后依据预测结果、实时数据、时空数据和用户需求调整通信参数。