CN118158115A - 一种通信大数据处理方法 - Google Patents
一种通信大数据处理方法 Download PDFInfo
- Publication number
- CN118158115A CN118158115A CN202410322493.4A CN202410322493A CN118158115A CN 118158115 A CN118158115 A CN 118158115A CN 202410322493 A CN202410322493 A CN 202410322493A CN 118158115 A CN118158115 A CN 118158115A
- Authority
- CN
- China
- Prior art keywords
- value
- data
- processed
- predicted
- prediction model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004891 communication Methods 0.000 title claims abstract description 29
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 38
- 238000000034 method Methods 0.000 claims abstract description 34
- 230000015654 memory Effects 0.000 claims abstract description 15
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000011156 evaluation Methods 0.000 claims description 29
- 238000012549 training Methods 0.000 claims description 25
- 238000012795 verification Methods 0.000 claims description 23
- 238000003780 insertion Methods 0.000 claims description 15
- 230000037431 insertion Effects 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000001502 supplementing effect Effects 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 abstract description 8
- 238000005457 optimization Methods 0.000 abstract description 3
- 238000012544 monitoring process Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000003860 storage Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 230000010485 coping Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- CLOMYZFHNHFSIQ-UHFFFAOYSA-N clonixin Chemical compound CC1=C(Cl)C=CC=C1NC1=NC=CC=C1C(O)=O CLOMYZFHNHFSIQ-UHFFFAOYSA-N 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种通信大数据处理方法，涉及通信数据处理技术领域。该通信大数据处理方法，包括以下步骤：获取待处理设备关于历史网络流量和资源需求的待处理数据并对待处理数据进行预处理，所述待处理数据包括宽带利用率、CPU利用率以及内存利用率；基于训练好的预测模型对待处理数据进行处理，预测待处理设备的预测值，并基于预测值对待处理设备未来的网络流量和资源需求进行调整，所述预测值用于表示待处理设备未来的网络流量和资源需求，通过综合考虑实际值与预测值之间的偏差、动态调整机制以及模型性能的多个方面，实现了对预测模型的全面管理和优化，为解决网络流量和资源需求预测问题提供了一种实用、灵活、自适应的解决方案。
Description
技术领域
本发明涉及通信数据处理技术领域，具体为一种通信大数据处理方法。
背景技术
对于“大数据”研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产；麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征；大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”；从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术；随着云时代的来临，大数据也吸引了越来越多的关注。分析师团队认为，大数据通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。
公开号为CN107332869A的中国专利申请公开了一种通信大数据处理方法，用于双向快速地接收、处理、转发数据，特别适合于多个终端、一个通信服务器、多个监控中心这样的三层结构。在实现中，读取数据库信息记录在内存中，以查询内存代替查询数据库，并且，在内存中记录信息时采用了HASH散列技术，极大地提高了查询速度。在原有通信服务器的基础上不增加任何硬件设备，仅通过软件实现方法的更新，就能大大提升处理性能，简化了系统结构、节省了系统成本。
但是现有技术不便通过监测历史网络流量和设备资源利用率，预测未来的网络流量和资源需求的问题。
发明内容
针对现有技术的不足，本发明提供了一种通信大数据处理方法，解决了现有技术不便通过监测历史网络流量和设备资源利用率，预测未来的网络流量和资源需求的问题。
为实现以上目的，本发明通过以下技术方案予以实现：一种通信大数据处理方法，包括以下步骤：获取待处理设备关于历史网络流量和资源需求的待处理数据并对待处理数据进行预处理，所述待处理数据包括宽带利用率、CPU利用率以及内存利用率；基于训练好的预测模型对待处理数据进行处理，预测待处理设备的预测值，并基于预测值对待处理设备未来的网络流量和资源需求进行调整，所述预测值用于表示待处理设备未来的网络流量和资源需求；获取待处理设备关于网络流量和资源需求的实际值，并将实际值与预测值进行对比，基于对比结果确定是否需要对预测模型进行重新训练和验证。
进一步地，对待处理数据进行预处理包括处理缺失值，具体过程如下：获取缺失值对应的时间戳，确定缺失值对应的时间戳前的若干个时间点的前序数据以及缺失值对应的时间戳后的若干个时间点的后序数据；对前序数据和后序数据进行处理获得插入值，将插入值与缺失值对应的时间戳对应，并将插入值补入。
进一步地，计算插入值的公式如下：式中，Xc为插入值，i＝1,2,3,...,n为前序数据的个数，xi为前序数据中的第i个数据，j＝1,2,3,...,m为前序数据的个数，xj为后序数据中的第j个数据。
进一步地，预测模型的训练过程如下：将预处理后的待处理数据划分为训练组和验证组；分别对训练组和验证组进行特征处理；将经过特征处理后的训练组数据输入预测模型；根据指定的时间步长对预测模型进行训练。
进一步地，基于训练组中的数据对预测模型进行训练之后，使用验证组中的数据对经过训练后的预测模型进行验证，过程如下：将验证组中的数据输入经过训练后的预测模型中，获取待验证预测值；将待验证预测值与验证组中的真实值进行对比，对训练后的预测模型进行评估，获得评估值；将评估值与设定的评估阈值进行对比，判断预测模型的性能，若评估值低于设定的评估阈值，则对预测模型重新训练。
进一步地，所述预测模型基于长短时记忆网络建立，所述预测模型包括输入层、LSTM层和输出层。
进一步地，评估值的计算公式如下：式中，Λy为评估值，a＝1,2,3,...,A为待验证预测值的个数，RJa为第a个待验证预测值，RYa为与RJa对应的验证组中第a个真实值，ΔR为设定的预测模型误差允许值，σ为误差调整因子。
进一步地，获取待处理设备关于网络流量和资源需求的实际值，并将实际值与预测值进行对比，基于对比结果确定是否需要对预测模型进行调整的过程如下：按照设定的周期获取待处理设备关于网络流量和资源需求的实际值，并获取与每个实际值对应的预测模型预测得到的预测值；判断每个实际值与对应的预测值之间的偏差值，若偏差值大于设定的第一偏差阈值，则重置指数加一，若重置指数等于设定的重置阈值，则使用获取的待处理设备关于网络流量和资源需求的实际值对预测模型进行重新训练和验证，所述重置指数用于表示预测模型的预测值错误次数。
进一步地，在判断每个实际值与对应的预测值之间的偏差值的过程中，若偏差值连续大于设定的偏差阈值达到的设定的连续次数，计算连续次数内的偏差值总和，若偏差值总和大于或等于第二偏差阈值，则使用获取的待处理设备关于网络流量和资源需求的实际值对预测模型进行重新训练和验证。
进一步地，偏差值总和的计算公式如下：式中，Γ为偏差值总和，b＝1,2,3,...,B为连续次数，YUb为连续大于设定的偏差阈值中的第b个预测值，SHIb为与YUb对应的第b个实际值，e为自然常数。
本发明具有以下有益效果：
(1)、该通信大数据处理方法，通过综合考虑实际值与预测值之间的偏差、动态调整机制以及模型性能的多个方面，实现了对预测模型的全面管理和优化，为解决网络流量和资源需求预测问题提供了一种实用、灵活、自适应的解决方案。
(2)、该通信大数据处理方法，引入了连续偏差判断和偏差值总和计算的机制，使系统更具有自适应性，能够更稳定地判断预测模型是否需要调整，有助于防止模型对短期内噪声过度敏感，提高了系统的稳定性，通过偏差值总和的计算公式，对连续次数内的偏差情况进行综合考虑，使得对预测模型的调整更全面、准确，有助于减小误差累积，并降低了突发噪声的影响。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
图1为本发明通信大数据处理方法流程图。
图2为本发明通信大数据处理方法处理缺失值流程图。
图3为本发明通信大数据处理方法预测模型的训练过程流程图。
图4为本发明通信大数据处理方法确定是否需要对预测模型进行调整的流程图。
具体实施方式
本申请实施例通过通信大数据处理方法，解决了现有技术不便通过监测历史网络流量和设备资源利用率，预测未来的网络流量和资源需求的问题。
本申请实施例中的问题，总体思路如下：
首先，获取待处理设备的历史网络流量和资源利用率数据，这包括但不限于宽带利用率、CPU利用率和内存利用率等信息。获取的数据需要进行预处理，确保数据的质量和一致性。利用机器学习或其他预测建模技术，建立一个能够从历史数据中学习并预测未来网络流量和资源需求的模型，使用训练好的模型对待处理数据进行处理，得到预测值，即待处理设备未来的网络流量和资源需求。根据这些预测值，可以实施资源调整策略，以确保未来网络需求得到满足，涉及动态分配带宽、调整CPU和内存分配等措施。
在未来的一段时间内，监测实际网络流量和资源需求的情况。获取实际值并与预测值进行对比，评估模型的准确性和性能，根据对比结果，可以做出决策，判断是否需要调整预测模型。如果发现预测值与实际值存在较大偏差，则需要重新训练模型以提高准确性。反馈机制将这些经验纳入模型改进的循环中。
通过这个总体构思，能够更好地理解和适应网络流量和资源利用的变化，从而提前做出调整，优化系统性能，提高网络效率，这使得网络资源管理更加智能和自适应，适用于不断变化的通信环境。
请参阅图1，本发明实施例提供一种技术方案：一种通信大数据处理方法，包括以下步骤：获取待处理设备关于历史网络流量和资源需求的待处理数据并对待处理数据进行预处理，所述待处理数据包括宽带利用率、CPU利用率以及内存利用率；基于训练好的预测模型对待处理数据进行处理，预测待处理设备的预测值，并基于预测值对待处理设备未来的网络流量和资源需求进行调整，所述预测值用于表示待处理设备未来的网络流量和资源需求；获取待处理设备关于网络流量和资源需求的实际值，并将实际值与预测值进行对比，基于对比结果确定是否需要对预测模型进行重新训练和验证。
具体地，如图2所示，对待处理数据进行预处理包括处理缺失值，具体过程如下：获取缺失值对应的时间戳，确定缺失值对应的时间戳前的若干个时间点的前序数据以及缺失值对应的时间戳后的若干个时间点的后序数据；对前序数据和后序数据进行处理获得插入值，将插入值与缺失值对应的时间戳对应，并将插入值补入。
计算插入值的公式如下：式中，Xc为插入值，i＝1,2,3,...,n为前序数据的个数，xi为前序数据中的第i个数据，j＝1,2,3,...,m为前序数据的个数，xj为后序数据中的第j个数据。
本实施方案中，处理缺失值的方法有助于提高数据的完整性。在网络流量和资源需求的预测建模中，确保数据的完整性是非常关键的，因为缺失值可能导致对未来网络状态的不准确预测。
基于前序和后序数据的插值计算公式，该公式考虑了前序和后序数据的权重，使得插入值更具有合理性。这种插值方法在填充缺失值时能够更好地反映数据的趋势和变化，更好地保留了时间维度上的信息，有助于在时间上进行合理的数据插值。
计算逻辑分为以下步骤：计算前序数据平方和的平均值后计算后序数据平方和的平均值，将前两步得到的平均值相加，对上述结果取平方根，得到插入值，目的是通过考虑前序和后序数据的平方和的平均值，结合了这两个时间段内数据的变化趋势，从而生成一个插入值，用于填充缺失值。插入值的计算通过平均化前后数据的平方和，有助于综合考虑数据的整体变化情况。
具体地，如图3所示，预测模型的训练过程如下：将预处理后的待处理数据划分为训练组和验证组；分别对训练组和验证组进行特征处理；将经过特征处理后的训练组数据输入预测模型；根据指定的时间步长对预测模型进行训练。
基于训练组中的数据对预测模型进行训练之后，使用验证组中的数据对经过训练后的预测模型进行验证，过程如下：将验证组中的数据输入经过训练后的预测模型中，获取待验证预测值；将待验证预测值与验证组中的真实值进行对比，对训练后的预测模型进行评估，获得评估值；将评估值与设定的评估阈值进行对比，判断预测模型的性能，若评估值低于设定的评估阈值，则对预测模型重新训练。
所述预测模型基于长短时记忆网络建立，所述预测模型包括输入层、LSTM层和输出层。
本实施方案中，将待处理数据划分为训练组和验证组，以及对这两组数据进行特征处理，有助于建立一个具有泛化能力的预测模型，使用基于长短时记忆网络的预测模型能够更好地捕捉时间序列数据中的长期依赖关系。LSTM模型对于处理时间序列数据，尤其是具有长期记忆依赖的数据，具有很好的建模能力，有助于提高预测模型的准确性。
指定时间步长对预测模型进行训练，有助于模型更好地理解时间序列数据中的模式和趋势，，可以提高模型对未来时间点的预测性能，通过使用验证组中的数据对训练后的模型进行验证，然后通过对比预测值与真实值进行评估，可以有效地检测模型的性能，设定评估阈值并进行判断，可以自动化地确定是否需要重新训练模型，从而保证模型的鲁棒性和持续性，通过设定评估阈值并实施实时性能监控，能够及时发现模型性能下降或不足的情况，从而采取相应的措施，如重新训练模型，以保持预测模型的准确性和有效性。
总体而言，这部分的好处在于提供了一个完整的训练和验证流程，结合LSTM模型的使用，使得预测模型能够更好地适应时间序列数据，并通过实时性能监控机制来保持模型的高性能和鲁棒性。这对于解决基于历史网络流量和资源需求的未来预测问题，尤其是在通信系统中，具有实际应用的价值。
评估值的计算公式如下：式中，Λy为评估值，a＝1,2,3,...,A为待验证预测值的个数，RJa为第a个待验证预测值，RYa为与RJa对应的验证组中第a个真实值，ΔR为设定的预测模型误差允许值，σ为误差调整因子。
本实施方案中，公式中的Λy综合考虑了所有待验证预测值与其对应真实值之间的误差，这种综合误差评估有助于更全面地了解模型的整体性能，而不仅仅是单一预测值的准确性。误差调整因子，有助于在评估中考虑误差的调整，从而更合理地衡量模型的性能，误差调整因子为认为设定，用于调整误差，使得评估值对于模型性能的敏感性可以通过调整σ进行调整。
ΔR作为设定的预测模型误差允许值，表示了在评估中对于误差的容忍程度，使得评估值具有一定的灵活性，可以根据具体应用场景调整误差允许值，以满足不同的性能要求。
对每个待验证预测值和其对应的真实值计算平方差，将所有平方差相加，对上述结果取平方根，这个评估值的计算逻辑基于平方差的累积，并通过误差调整因子、待验证预测值个数、以及设定的预测模型误差允许值进行综合考虑，以量化评估预测模型的性能。
总体而言，这部分的好处在于提供了一个综合而灵活的评估方法，考虑了多个方面的因素，使得评估值更具有可解释性和实际应用性，有助于实时监控预测模型的性能，及时发现模型的不足，并在必要时重新训练模型，以确保模型的鲁棒性和准确性。
具体地，如图4所示，获取待处理设备关于网络流量和资源需求的实际值，并将实际值与预测值进行对比，基于对比结果确定是否需要对预测模型进行调整的过程如下：按照设定的周期获取待处理设备关于网络流量和资源需求的实际值，并获取与每个实际值对应的预测模型预测得到的预测值；判断每个实际值与对应的预测值之间的偏差值，若偏差值大于设定的第一偏差阈值，则重置指数加一，若重置指数等于设定的重置阈值，则使用获取的待处理设备关于网络流量和资源需求的实际值对预测模型进行重新训练和验证，所述重置指数用于表示预测模型的预测值错误次数。
本实施方案中，按照设定的周期获取待处理设备关于网络流量和资源需求的实际值，形成实际值的时间序列，对于每个实际值，使用预测模型进行预测，得到对应的预测值。
计算每个实际值与对应的预测值之间的偏差值。若偏差值大于设定的第一偏差阈值，则触发进一步的动态调整。当偏差超过设定的阈值时，重置指数加一。若重置指数等于设定的重置阈值，则使用获取的实际值对预测模型进行重新训练和验证，以适应当前的网络流量和资源需求特征。
这部分构思的目标是通过实时获取实际值、对比预测值和实际值的偏差，以及通过设定的阈值和重置机制，使得预测模型能够及时地适应不断变化的网络环境，提高准确性和稳定性。整体而言，通过自动化和动态调整的方式，增强了系统对实际情况的敏感性和应对能力，有助于优化网络流量和资源需求的预测模型。
具体地，在判断每个实际值与对应的预测值之间的偏差值的过程中，若偏差值连续大于设定的偏差阈值达到的设定的连续次数，计算连续次数内的偏差值总和，若偏差值总和大于或等于第二偏差阈值，则使用获取的待处理设备关于网络流量和资源需求的实际值对预测模型进行重新训练和验证。
偏差值总和的计算公式如下：式中，Γ为偏差值总和，b＝1,2,3,...,B为连续次数，YUb为连续大于设定的偏差阈值中的第b个预测值，SHIb为与YUb对应的第b个实际值，e为自然常数。
本实施方案中，按照设定的周期获取待处理设备关于网络流量和资源需求的实际值，形成实际值的时间序列，对于每个实际值，使用预测模型进行预测，得到对应的预测值，判断每个实际值与对应的预测值之间的偏差值。若偏差值连续大于设定的偏差阈值达到设定的连续次数，执行下一步。
计算连续次数内的偏差值总和，使用偏差值总和的计算公式，若偏差值总和大于或等于设定的第二偏差阈值，执行下一步，使用获取的待处理设备关于网络流量和资源需求的实际值对预测模型进行重新训练和验证，以适应当前的网络流量和资源需求特征。
构思的目标是通过实时获取实际值、对比预测值和实际值的偏差，以及通过设定的阈值和重置机制，使得预测模型能够及时地适应不断变化的网络环境，提高准确性和稳定性。整体而言，这个构思通过自动化和动态调整的方式，增强了系统对实际情况的敏感性和应对能力，有助于优化网络流量和资源需求的预测模型。
综上，本申请至少具有以下效果：
通过周期性获取实际值、连续偏差判断机制以及偏差值总和的计算，该方法实现了对预测模型的实时性能监控，并能够动态调整模型以适应网络流量和资源需求的变化，从而提高了系统的实时性和灵活性。
引入了连续偏差判断和偏差值总和计算的机制，使系统更具有自适应性，能够更稳定地判断预测模型是否需要调整，有助于防止模型对短期内噪声过度敏感，提高了系统的稳定性。
通过偏差值总和的计算公式，对连续次数内的偏差情况进行综合考虑，使得对预测模型的调整更全面、准确，有助于减小误差累积，并降低了突发噪声的影响。
通过定期重新训练和验证预测模型，以及根据实际值对模型进行调整，该方法有助于提高模型的鲁棒性和性能，，模型能够更好地适应复杂的网络环境和资源需求变化。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的系统、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种通信大数据处理方法，其特征在于，包括以下步骤：
获取待处理设备关于历史网络流量和资源需求的待处理数据并对待处理数据进行预处理，所述待处理数据包括宽带利用率、CPU利用率以及内存利用率；
基于训练好的预测模型对待处理数据进行处理，预测待处理设备的预测值，并基于预测值对待处理设备未来的网络流量和资源需求进行调整，所述预测值用于表示待处理设备未来的网络流量和资源需求；
获取待处理设备关于网络流量和资源需求的实际值，并将实际值与预测值进行对比，基于对比结果确定是否需要对预测模型进行重新训练和验证。
2.根据权利要求1所述的一种通信大数据处理方法，其特征在于，对待处理数据进行预处理包括处理缺失值，具体过程如下：
获取缺失值对应的时间戳，确定缺失值对应的时间戳前的若干个时间点的前序数据以及缺失值对应的时间戳后的若干个时间点的后序数据；
对前序数据和后序数据进行处理获得插入值，将插入值与缺失值对应的时间戳对应，并将插入值补入。
3.根据权利要求2所述的一种通信大数据处理方法，其特征在于，计算插入值的公式如下：
式中，Xc为插入值，i＝1,2,3,...,n为前序数据的个数，xi为前序数据中的第i个数据，j＝1,2,3,...,m为前序数据的个数，xj为后序数据中的第j个数据。
4.根据权利要求3所述的一种通信大数据处理方法，其特征在于，预测模型的训练过程如下：
将预处理后的待处理数据划分为训练组和验证组；
分别对训练组和验证组进行特征处理；
将经过特征处理后的训练组数据输入预测模型；
根据指定的时间步长对预测模型进行训练。
5.根据权利要求4所述的一种通信大数据处理方法，其特征在于，基于训练组中的数据对预测模型进行训练之后，使用验证组中的数据对经过训练后的预测模型进行验证，过程如下：
将验证组中的数据输入经过训练后的预测模型中，获取待验证预测值；
将待验证预测值与验证组中的真实值进行对比，对训练后的预测模型进行评估，获得评估值；
将评估值与设定的评估阈值进行对比，判断预测模型的性能，若评估值低于设定的评估阈值，则对预测模型重新训练。
6.根据权利要求5所述的一种通信大数据处理方法，其特征在于，所述预测模型基于长短时记忆网络建立，所述预测模型包括输入层、LSTM层和输出层。
7.根据权利要求6所述的一种通信大数据处理方法，其特征在于，评估值的计算公式如下：
式中，Λy为评估值，a＝1,2,3,...,A为待验证预测值的个数，RJa为第a个待验证预测值，RYa为与RJa对应的验证组中第a个真实值，ΔR为设定的预测模型误差允许值，σ为误差调整因子。
8.根据权利要求7所述的一种通信大数据处理方法，其特征在于，获取待处理设备关于网络流量和资源需求的实际值，并将实际值与预测值进行对比，基于对比结果确定是否需要对预测模型进行调整的过程如下：
按照设定的周期获取待处理设备关于网络流量和资源需求的实际值，并获取与每个实际值对应的预测模型预测得到的预测值；
判断每个实际值与对应的预测值之间的偏差值，若偏差值大于设定的第一偏差阈值，则重置指数加一，若重置指数等于设定的重置阈值，则使用获取的待处理设备关于网络流量和资源需求的实际值对预测模型进行重新训练和验证，所述重置指数用于表示预测模型的预测值错误次数。
9.根据权利要求8所述的一种通信大数据处理方法，其特征在于，在判断每个实际值与对应的预测值之间的偏差值的过程中，若偏差值连续大于设定的偏差阈值达到的设定的连续次数，计算连续次数内的偏差值总和，若偏差值总和大于或等于第二偏差阈值，则使用获取的待处理设备关于网络流量和资源需求的实际值对预测模型进行重新训练和验证。
10.根据权利要求9所述的一种通信大数据处理方法，其特征在于，偏差值总和的计算公式如下：
式中，Γ为偏差值总和，b＝1,2,3,...,B为连续次数，YUb为连续大于设定的偏差阈值中的第b个预测值，SHIb为与YUb对应的第b个实际值，e为自然常数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410322493.4A CN118158115A (zh) | 2024-03-20 | 2024-03-20 | 一种通信大数据处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410322493.4A CN118158115A (zh) | 2024-03-20 | 2024-03-20 | 一种通信大数据处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118158115A true CN118158115A (zh) | 2024-06-07 |
Family
ID=91294449
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410322493.4A Pending CN118158115A (zh) | 2024-03-20 | 2024-03-20 | 一种通信大数据处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118158115A (zh) |
-
2024
- 2024-03-20 CN CN202410322493.4A patent/CN118158115A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11650968B2 (en) | Systems and methods for predictive early stopping in neural network training | |
| CN113037877B (zh) | 云边端架构下时空数据及资源调度的优化方法 | |
| CN112363896A (zh) | 日志异常检测系统 | |
| CN112365070B (zh) | 一种电力负荷预测方法、装置、设备及可读存储介质 | |
| CN116596095B (zh) | 基于机器学习的碳排放量预测模型的训练方法及装置 | |
| CN113867295A (zh) | 一种基于数字孪生的制造车间agv动态调度方法、系统、设备及存储介质 | |
| CN114666224A (zh) | 业务资源容量动态分配方法、装置、设备及存储介质 | |
| CN115146764A (zh) | 一种预测模型的训练方法、装置、电子设备及存储介质 | |
| KR20220115357A (ko) | 어텐션 메커니즘 기반의 미래 수요 예측 데이터 생성방법 및 장치 | |
| CN113139570A (zh) | 一种基于最优混合估值的大坝安全监测数据补全方法 | |
| CN113568759B (zh) | 一种基于云计算的大数据处理方法及其系统 | |
| CN117519951B (zh) | 基于消息中台的实时数据处理方法及系统 | |
| CN107590747A (zh) | 基于综合能源大数据分析的电网资产周转率计算方法 | |
| CN111984514A (zh) | 基于Prophet-bLSTM-DTW的日志异常检测方法 | |
| CN116523640A (zh) | 一种基于调度反馈算法的金融信息管理系统 | |
| CN118158115A (zh) | 一种通信大数据处理方法 | |
| Kirschenmann et al. | Decision dependent stochastic processes | |
| CN113779116B (zh) | 对象排序方法、相关设备及介质 | |
| CN111783487A (zh) | 一种读卡器设备的故障预警方法及装置 | |
| CN117610970B (zh) | 一种数据迁移工作的智能评估方法及系统 | |
| CN118071212B (zh) | 基于模型的物流效率指标智能分析及优化方法及系统 | |
| CN117075684B (zh) | 一种Chiplet芯片的自适应时钟网格化校准方法 | |
| CN117492982A (zh) | 一种面向云计算的工单大数据智能处理方法 | |
| CN118277093A (zh) | 一种面向算力网络的负载预测方法 | |
| CN117215777A (zh) | 算力调度方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination |