CN117793764A - 5g专网软探针拨测数据完整性校验和补全方法及系统 - Google Patents
5g专网软探针拨测数据完整性校验和补全方法及系统 Download PDFInfo
- Publication number
- CN117793764A CN117793764A CN202311827817.1A CN202311827817A CN117793764A CN 117793764 A CN117793764 A CN 117793764A CN 202311827817 A CN202311827817 A CN 202311827817A CN 117793764 A CN117793764 A CN 117793764A
- Authority
- CN
- China
- Prior art keywords
- dial testing
- data
- dial
- abnormal
- terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 405
- 238000000034 method Methods 0.000 title claims abstract description 51
- 239000000523 sample Substances 0.000 title claims abstract description 43
- 230000002159 abnormal effect Effects 0.000 claims abstract description 156
- 230000005856 abnormality Effects 0.000 claims abstract description 24
- 230000000295 complement effect Effects 0.000 claims abstract description 10
- 238000012217 deletion Methods 0.000 claims description 31
- 230000037430 deletion Effects 0.000 claims description 31
- 238000012549 training Methods 0.000 claims description 20
- 238000001514 detection method Methods 0.000 claims description 16
- 230000001413 cellular effect Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012546 transfer Methods 0.000 claims description 2
- 238000013523 data management Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 9
- 238000005259 measurement Methods 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请公开了一种5G专网软探针拨测数据完整性校验和补全方法、系统、设备及介质，引入了数据治理的思想，对于大量的5G专网拨测数据，利用拨测终端的参数信息和状态信息，进行数据缺失的归因和序列分布异常的归因，将归因为拨测终端异常导致的非连续性缺失和连续性缺失的数据缺失分别进行补全和利用自编码器进行重建；将归因为拨测终端更换的序列分布异常，利用自编码器进行重建。本申请提供的5G专网软探针拨测数据完整性校验和补全方法作为数据利用的前置步骤，进行拨测数据校验和补全，大大提升了拨测数据的质量。
Description
技术领域
本申请涉及深度学习模型压缩技术领域，尤其涉及一种5G专网软探针拨测数据完整性校验和补全方法、系统、设备及介质。
背景技术
5G专网网络运行质量，是5G专网垂直行业客户健康有效运行的基础。5G专网网络质量监控，一般基于5G专网网管性能数据和5G专网DPI业务性能等网络侧数据开展监控分析，定位5G专网网络故障点。仅依赖5G网络侧数据，无法满足在网络问题快速定位的高保障场景的需求。通过在5G垂直行业客户园区部署软探针拨测设备，模拟拨测垂直行业客户业务，是建设端到端5G专网网络质量监控的关键一环。软探针拨测设备，因5G垂直行业客户园区场景实际情况复杂，往往会存在换卡、下电、流量超限等情况，导致拨测数据的缺失。
软探针拨测数据，上报异常或上报中断，需要依赖于部署在同一园区的其它拨测终端数据，进行5G专网质量的监控运行。当前每个5G垂直行业客户园区，部署软探针数量有限，如出现软探针拨测终端数据缺失值多、分布异常等数据质量低下的问题，5G专网质量监控将无法准确开展。现有技术对软探针数据缺失和异常，多基于拨测终端整体剔除，部分缺失时段和异常走势，也不做回填修正处理，直接从5G专网监控数据中剔除。
发明内容
本申请提供了一种5G专网软探针拨测数据完整性校验和补全方法、系统。计算机设备及介质，以解决对软探针拨测数据缺失和异常，多基于拨测终端整体剔除，无法获取高质量的拨测数据的技术问题，实现提升拨测数据的质量，使得基于提升后的拨测数据的分析结果具有更高的科学性和可信度。
为解决上述技术问题，第一方面，本申请提供了一种5G专网软探针拨测数据完整性校验和补全方法，所述方法包括：
获取拨测终端上报的拨测数据，所述拨测数据包括拨测终端的参数信息、拨测终端的状态信息、蜂窝状态信息、蜂窝小区信息和测速指令信息，各类所述拨测数据均包括拨测终端标识和时间，所述状态信息包括：内存使用率、CPU使用率，拨测终端在线状态；
根据所述状态信息确定存在异常的拨测终端及对应的拨测终端异常时点；
根据所述拨测终端异常时点生成拨测终端异常时间窗口；
基于所述拨测终端标识和所述时间，判断所述拨测数据是否落在所述拨测终端异常时间窗口内，若是，则确定所述拨测数据是否缺失以及缺失的时点和类型，所述类型包括：非连续性缺失和连续性缺失；
根据所述类型，对所述拨测数据缺失的时点进行拨测数据补全；
获取与所述拨测数据对应的上一周期同期历史拨测数据，基于所述上一周期同期历史拨测数据，对补全后的拨测数据进行时序分布异常检测；根据所述拨测终端的状态信息，对检测结果为存在时序分布异常的拨测数据进行归因判断，若归因判断结果为因拨测终端引起的时序分布异常，则对所述存在时序分布异常的拨测数据进行重建。
优选的，所述根据所述状态信息确定存在异常的拨测终端及对应的拨测终端异常时点，包括：
根据所述拨测终端在线状态，判断所述拨测终端是否处于关机离线状态，若是，则确定所述拨测终端为存在异常的拨测终端，将对应的时点作为拨测终端异常时点；
若否，则根据状态信息，判断所述拨测终端是否满足内存使用率超过第一阈值同时CPU使用率超过第二阈值，若是，则确定所述拨测终端为存在异常的拨测终端，将对应的时点作为拨测终端异常时点。
优选的，所述根据所述拨测终端异常时点生成拨测终端异常时间窗口，包括：
将第一个拨测终端异常时点作为开始时点，最后一个拨测终端异常时点后第一预定时间所对应的时点作为结束时点，以生成拨测终端异常时间窗口。
优选的，所述根据所述类型，对所述拨测数据缺失的时点进行拨测数据补全，包括：
若所述缺失类型为非连续性缺失，则计算离所述拨测数据缺失的时点最近两周同一周天、同一时点的拨测数据的均值，并采用所述均值进行拨测数据补全；
若所述缺失类型为连续性缺失，则采用训练完成的自编码器进行拨测数据补全。
优选的，所述采用训练完成的自编码器进行拨测数据补全，包括：
构建自编码器，所述自编码器包括编码器和解码器；
获取历史拨测数据，基于3西格玛原则选取训练数据；
将所述训练数据输入所述自编码器，通过计算误差对所述自编码器的参数进行调整，得到训练完成的自编码器；
将连续性缺失的时间片段输入所述训练完成的自编码器，得到输出序列，采用所述输出序列补全所述连续性缺失的时间片段对应的拨测数据。
优选的，所述基于所述上一周期同期历史拨测数据，对补全后的拨测数据进行时序分布异常检测，包括：
计算所述补全后的拨测数据和所述上一周期同期历史拨测数据的偏离值，若所述偏离值大于第三阈值，则将对应的拨测数据记为时序分布异常点；
计算所述时序分布异常点的数量，若所述数量大于第四阈值，则所述补全后的拨测数据存在时序分布异常。
优选的，所述根据所述拨测终端的状态信息，对检测结果为存在时序分布异常的拨测数据进行归因判断，包括：
对检测结果为存在时序分布异常的拨测数据，以异常点对应的时点前第二预定时间所对应的时点为开始，异常点对应的时点为结束，以生成归因时间窗口；
根据所述拨测终端的状态信息，判断在所述归因时间窗口内是否存在拨测设备开机上线的情况，若是，则归因判断结果为因拨测终端引起的时序分布异常；若否，则归因判断结果为非因拨测终端引起的时序分布异常。
第二方面，本申请还提供了一种5G专网软探针拨测数据完整性校验和补全系统，所述系统包括：
数据获取单元、异常终端和时点确定单元、拨测终端异常时间窗口生成单元、缺失判断单元、缺失补全单元和时序分布异常重建单元；
所述数据获取单元，用于获取拨测终端上报的拨测数据，所述拨测数据包括拨测终端的参数信息、拨测终端的状态信息、蜂窝状态信息、蜂窝小区信息和测速指令信息，各类所述拨测数据均包括拨测终端标识和时间，所述状态信息包括：内存使用率、CPU使用率，拨测终端在线状态；
所述异常终端和时点确定单元，用于根据所述状态信息确定存在异常的拨测终端及对应的拨测终端异常时点；
所述拨测终端异常时间窗口生成单元，用于根据所述拨测终端异常时点生成拨测终端异常时间窗口；
所述缺失判断单元，用于基于所述拨测终端标识和所述时间，判断所述拨测数据是否落在所述拨测终端异常时间窗口内，若是，则确定所述拨测数据是否缺失以及缺失的时点和类型，所述类型包括：非连续性缺失和连续性缺失；
所述缺失补全单元，用于根据所述类型，对所述拨测数据缺失的时点进行拨测数据补全；
所述时序分布异常重建单元，用于获取与所述拨测数据对应的上一周期同期历史拨测数据，基于所述上一周期同期历史拨测数据，对补全后的拨测数据进行时序分布异常检测；根据所述拨测终端的状态信息，对检测结果为存在时序分布异常的拨测数据进行归因判断，若归因判断结果为因拨测终端引起的时序分布异常，则对所述存在时序分布异常的拨测数据进行重建。
第三方面，本申请还提供一种计算机设备，所述计算机设备包括存储器、处理器和收发器，它们之间通过总线连接；存储器用于存储一组计算机程序指令和数据，并将存储的数据传输给处理器，处理器执行存储器存储的程序指令，以执行上述所述的方法。
第四方面，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序被运行时，实现上述所述的方法。
本申请提供5G专网软探针拨测数据完整性校验和补全方法、系统、设备及介质，针对软探针拨测数据缺失和异常，多基于拨测终端整体剔除，无法获取高质量的拨测数据的技术问题。本申请提供的5G专网软探针拨测数据完整性校验和补全方法，引入了数据治理的思想，对于大量的5G专网拨测数据，利用拨测终端的参数信息和状态信息，进行数据缺失的归因和序列分布异常归因，将归因为拨测终端异常导致的非连续性缺失和连续性缺失的数据缺失分别进行补全和利用自编码器进行重建；将归因为拨测终端更换的序列分布异常，利用自编码器进行重建。本申请提供的5G专网软探针拨测数据完整性校验和补全方法作为数据利用的前置步骤，进行拨测数据校验和补全，大大提升了拨测数据的质量。
附图说明
图1是本申请一个优选实施例所提供的一种5G专网软探针拨测数据完整性校验和补全方法步骤示意图；
图2是本申请一个优选实施例所提供的异常拨测终端和时点确认的方法步骤示意图；
图3是本申请一个优选实施例所提供的缺失拨测数据补全的方法步骤示意图；
图4是本申请一个优选实施例所提供的连续性缺失拨测数据补全方法步骤示意图；
图5是本申请一个优选实施例所提供的拨测数据时序分布异常判断方法步骤示意图；
图6是本申请一个优选实施例所提供的时序分布异常的拨测数据归因判断方法步骤示意图；
图7是本申请一个优选实施例所提供的一种5G专网软探针拨测数据完整性校验和补全系统示意图；
图8是本申请一个优选实施例所提供的一种计算机设备示意图。
具体实施方式
下面结合附图具体阐明本申请的实施方式，实施例的给出仅仅是为了说明目的，并不能理解为对本申请的限定，包括附图仅供参考和说明使用，不构成对本申请专利保护范围的限制。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为解决对软探针拨测数据缺失和异常，多基于拨测终端整体剔除，无法获取高质量的拨测数据的技术问题的技术问题，本申请实施例提供了一种面向微小型无人机平台的深度学习模型压缩方法，实现提升拨测数据的质量，使得基于提升后的拨测数据的分析结果具有更高的科学性和可信度。
请参阅图1，在本申请的实施例中，提供了一种5G专网软探针拨测数据完整性校验和补全方法，所述方法包括：
S1、获取拨测终端上报的拨测数据，所述拨测数据包括拨测终端的参数信息、拨测终端的状态信息、蜂窝状态信息、蜂窝小区信息和测速指令信息，各类所述拨测数据均包括拨测终端标识和时间，所述状态信息包括：内存使用率、CPU使用率，拨测终端在线状态。
S2、根据所述状态信息确定存在异常的拨测终端及对应的拨测终端异常时点。
S3、根据所述拨测终端异常时点生成拨测终端异常时间窗口。
S4、基于所述拨测终端标识和所述时间，判断所述拨测数据是否落在所述拨测终端异常时间窗口内，若是，则确定所述拨测数据是否缺失以及缺失的时点和类型，所述类型包括：非连续性缺失和连续性缺失。
S5、根据所述类型，对所述拨测数据缺失的时点进行拨测数据补全。
S6、获取与所述拨测数据对应的上一周期同期历史拨测数据，基于所述上一周期同期历史拨测数据，对补全后的拨测数据进行时序分布异常检测；根据所述拨测终端的状态信息，对检测结果为存在时序分布异常的拨测数据进行归因判断，若归因判断结果为因拨测终端引起的时序分布异常，则对所述存在时序分布异常的拨测数据进行重建。
5G专网拨测检测，主要通过多个拨测终端上报的拨测数据，以检测网络状态以及对故障的识别和诊断。拨测数据包括拨测终端的参数信息、拨测终端的状态信息、蜂窝状态信息、蜂窝小区信息和测速指令信息，上述各类所述拨测数据中均包括拨测终端标识。如表1为拨测终端的参数信息，表2为拨测终端的状态信息，表3为蜂窝状态信息，表4为蜂窝小区信息，表5为测速指令信息。
表1拨测终端的参数信息
表2拨测终端的状态信息
表3蜂窝状态信息
表4蜂窝小区信息
表5测速指令信息
从以上各类拨测数据的示例中，均包括拨测终端标识和时间，在本申请中，以拨测终端标识作为拨测数据归属的识别。
上述各类别的数据，均为时间序列的形式，指标的异常往往会有以下两种类型：数据缺失和数据分布异常。
从表2的拨测终端的状态数据中可知，其包括内存使用率、CPU使用率，拨测终端在线状态等信息，可根据内存使用率、CPU使用率，拨测终端在线状态确定存在异常的拨测终端及对应的拨测终端异常时点，在本申请中，如图2所示，包括以下内容：
S101、根据所述拨测终端在线状态，判断所述拨测终端是否处于关机离线状态，若是，则确定所述拨测终端为存在异常的拨测终端，将对应的时点作为拨测终端异常时点。
S102、若否，则根据参数信息，判断所述拨测终端是否满足内存使用率超过第一阈值同时CPU使用率超过第二阈值，若是，则确定所述拨测终端为存在异常的拨测终端，将对应的时点作为拨测终端异常时点。
当拨测终端自身存在异常，例如设备关机离线、CPU使用率、FLASH使用率持续过高的时候，会导致拨测数据无法上报。在本申请中，当以下两个条件的其中一个被满足，则认为该时点存在拨测终端异常：
1)设备处于关机离线状态；
2)内存使用率(flashUsage)超过99％同时CPU使用率(CpuUsage)超过80％。
拨测终端异常时，对应的时点为拨测终端异常时点，以第一个拨测终端异常时点为开始时点，以该时点后的第一预定时间所对应的时点为结束时点，生成一个第一预定时长的时间窗口。在本申请中，第一预定时间为5分钟，如果在5分钟内有多个拨测终端异常时点，则进行合并，以第一个拨测终端异常时点为开始时点，最后一个拨测终端异常时点加上5分钟作为结束时点，生成时间窗口。
对于蜂窝状态信息、蜂窝小区信息及测速指令信息中的所有拨测数据，通过拨测终端标识和时间，判断当前时间点或时间段是否落在拨测终端异常时间窗口内，若否，则表明该时间点或时间段存在的拨测数据异常不是因拨测终端异常造成的，不需要进行补全。若是，则表明该时间点或时间段可能存在因拨测终端异常造成的拨测数据缺失，需要对缺失的拨测数据进行补全。
进一步的，需要确定拨测数据是否缺失以及缺失的时点和类型，在本申请中，将缺失的类型划分为非连续性缺失和连续性缺失。非连续性缺失为缺失的时点零星分布，连续性缺失为连续出现的缺失，例如连续多个小时、多天的数据缺失。在本申请中，所述根据所述类型，对所述拨测数据缺失的时点进行拨测数据补全，如图3所示，包括以下步骤：
S401、若所述缺失类型为非连续性缺失，则计算离所述拨测数据缺失的时点最近两周同一周天、同一时点的拨测数据的均值，并采用所述均值进行拨测数据补全。
S402、若所述缺失类型为连续性缺失，则采用训练完成的自编码器进行拨测数据补全。
对于非连续性缺失，取缺失值时点最近2周同一周天、同一时点的拨测数据，计算均值后对缺失值进行填充。
对于连续性缺失，则需构建自编码器，并对自编码器训练后，采用自编码器对缺失的时间片的拨测数据进行重建，在本申请中，如图4所示，所述采用训练完成的自编码器进行拨测数据补全，包括以下步骤：
4021、构建自编码器，所述自编码器模型包括编码器和解码器。
4022、获取历史拨测数据，基于3西格玛原则选取训练数据；
4023、将所述训练数据输入所述自编码器，通过计算误差对所述自编码器的参数进行调整，得到训练完成的自编码器；
4024、将连续性缺失的时间片段输入所述训练完成的自编码器，得到输出序列，采用所述输出序列补全所述连续性缺失的时间片段对应的拨测数据。
在本申请中，获取过去30天的整个序列[x1,x2,...,xn]，因拨测数据均为分钟粒度的数据，故n＝30*24*60。
计算整个序列的均值和标准差，基于3-sigma原则，剔除超过序列均值3个标准差的值后形成序列seq，将序列seq输入自编码器进行训练。
自编码器的训练过程为通过计算误差关于各参数的梯度，对参数进行调整，使得重建的序列seq’与原始输入序列seq尽可能相似。对于连续性缺失的时间片段，将输入训练完成的自编码器进行推理，得到输出序列，输出序列对连续性缺失的时间片段对应的拨测数据进行补全。
当完成拨测数据的补全之后，需要对时序分布异常的数据进行处理。时序分布异常为数据较其上一个周期(前一天、前一周)的数据分布有较大的差异，例如出现陡降后持续保持一个较低的水平等。导致时序分布异常的主要原因包括网络状态异常和拨测终端异常。因此，需要对时序分布异常归因后，对于确定是由拨测终端异常引起的时序分布异常数据，通过历史数据建模后进行重建。
获取与拨测数据对应的上一周期同期历史拨测数据，基于拨测数据与上一周期同期历史拨测数据的对比，进行时序分布异常数据的重建，在本申请中，如图5所示，包括以下步骤：
S501、计算所述补全后的拨测数据和所述上一周期同期历史拨测数据的偏离值，若所述偏离值大于第三阈值，则将对应的拨测数据记为时序分布异常点。
S502、计算所述时序分布异常点的数量，若所述数量大于第四阈值，则所述补全后的拨测数据存在时序分布异常。
在本申请中，第三阈值取值为20％，第四阈值取值为5，即补全后的拨测数据和上一周期同期历史拨测数据的偏离值大于20％，则记为时序分布异常点，若时序分布异常点超过5个，则表明补全后的拨测数据存在时序分布异常。
在拨测终端上线之后，会调用一次接口，上报拨测终端自身的状态信息。因此，出现拨测设备换卡或新的设备上线，能通过拨测终端状态信息获取得到，则通过是否存在拨测设备换卡或新的设备上线对存在时序分布异常的拨测数据进行归因判断，在本申请中，如图6所示，包括以下步骤：
S503、对检测结果为存在时序分布异常的拨测数据，以异常点对应的时点前第二预定时间所对应的时点为开始，异常点对应的时点为结束，以生成归因时间窗口。
S504、根据所述拨测终端的状态信息，判断在所述归因时间窗口内是否存在拨测设备开机上线的情况，若是，则归因判断结果为因拨测终端引起的时序分布异常；若否，则归因判断结果为非因拨测终端引起的时序分布异常。
对于存在时序分布异常的拨测数据，以异常点对应的时点前第二预定时间所对应的时点为开始，异常点对应的时点为结束，以生成归因时间窗口。接下来，匹配拨测终端信息，检测在归因窗口时间内是否存在拨测设备开机上线的情况，若是，则表明该时序分布异常为因拨测终端引起的时序分布异常，若否，则表明不是拨测终端引起的时序分布异常。对于因拨测终端引起的时序分布异常，则需要通过自编码器进行重建。
在本申请提供的5G专网软探针拨测数据完整性校验和补全方法中，引入了数据治理的思想，对于大量的5G专网拨测数据，利用拨测终端的参数信息和状态信息，进行数据缺失的归因和序列分布异常归因，将归因为拨测终端异常导致的非连续性缺失和连续性缺失的数据缺失分别进行补全和利用自编码器进行重建；将归因为拨测终端更换的序列分布异常，利用自编码器进行重建。本申请提供的5G专网软探针拨测数据完整性校验和补全方法作为数据利用的前置步骤，进行拨测数据校验和补全，大大提升了拨测数据的质量。
相应地，如图7所示，根据5G专网软探针拨测数据完整性校验和补全方法，本发明实施例还提供一种5G专网软探针拨测数据完整性校验和补全系统，所述系统包括：数据获取单元1、异常终端和时点确定单元2、拨测终端异常时间窗口生成单元3、缺失判断单元4、缺失补全单元5和时序分布异常重建单元6；
所述数据获取单元1，用于获取拨测终端上报的拨测数据，所述拨测数据包括拨测终端的参数信息、拨测终端的状态信息、蜂窝状态信息、蜂窝小区信息和测速指令信息，各类所述拨测数据均包括拨测终端标识和时间，所述状态信息包括：内存使用率、CPU使用率，拨测终端在线状态。
所述异常终端和时点确定单元2，用于根据所述状态信息确定存在异常的拨测终端及对应的拨测终端异常时点。
所述拨测终端异常时间窗口生成单元3，用于根据所述拨测终端异常时点生成拨测终端异常时间窗口。
所述缺失判断单元4，用于基于所述拨测终端标识和所述时间，判断所述拨测数据是否落在所述拨测终端异常时间窗口内，若是，则确定所述拨测数据是否缺失以及缺失的时点和类型，所述类型包括：非连续性缺失和连续性缺失。
所述缺失补全单元5，用于根据所述类型，对所述拨测数据缺失的时点进行拨测数据补全。
所述时序分布异常重建单元6，用于获取与所述拨测数据对应的上一周期同期历史拨测数据，基于所述上一周期同期历史拨测数据，对补全后的拨测数据进行时序分布异常检测；根据所述拨测终端的状态信息，对检测结果为存在时序分布异常的拨测数据进行归因判断，若归因判断结果为因拨测终端引起的时序分布异常，则对所述存在时序分布异常的拨测数据进行重建。
关于一种5G专网软探针拨测数据完整性校验和补全系统的具体限定可以参见上述对于一种5G专网软探针拨测数据完整性校验和补全方法的限定，此处不再赘述。本领域普通技术人员可以意识到，结合本申请所公开的实施例描述的各个模块和步骤，能够以硬件、软件或者两者结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
如图8所示，本发明实施例提供的一种计算机设备，包括存储器、处理器和收发器，它们之间通过总线连接；存储器用于存储一组计算机程序指令和数据，并将存储的数据传输给处理器，处理器执行存储器存储的程序指令，以执行上述5G专网软探针拨测数据完整性校验和补全方法的步骤。
其中，存储器可以包括易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者；处理器可以是中央处理器、微处理器、特定应用集成电路、可编程逻辑器件或其组合。通过示例性但不是限制性说明，上述可编程逻辑器件可以是复杂可编程逻辑器件、现场可编程逻辑门阵列、通用阵列逻辑或其任意组合。
另外，存储器可以是物理上独立的单元，也可以与处理器集成在一起。
本领域普通技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有相同的部件布置。
在一个实施例中，提供了一种计算机可读存储介质，所述存储介质用于存储一个或多个计算机程序，所述一个或多个计算机程序包括程序代码，当所述计算机程序在计算机上运行时，所述程序代码用于执行上述5G专网软探针拨测数据完整性校验和补全方法的步骤。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如SSD)等。
本领域技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。
本实施例中提供的一种5G专网软探针拨测数据完整性校验和补全方法、系统、计算机设备及存储介质，针对软探针拨测数据缺失和异常，多基于拨测终端整体剔除，无法获取高质量的拨测数据的技术问题。本申请提供的5G专网软探针拨测数据完整性校验和补全方法，引入了数据治理的思想，对于大量的5G专网拨测数据，利用拨测终端的参数信息和状态信息，进行数据缺失的归因和序列分布异常归因，将归因为拨测终端异常导致的非连续性缺失和连续性缺失的数据缺失分别进行补全和利用自编码器进行重建；将归因为拨测终端更换的序列分布异常，利用自编码器进行重建。本申请提供的5G专网软探针拨测数据完整性校验和补全方法作为数据利用的前置步骤，进行拨测数据校验和补全，大大提升了拨测数据的质量。
以上所述实施例仅表达了本申请的几种优选实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本申请的保护范围。因此，本申请专利的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种5G专网软探针拨测数据完整性校验和补全方法，其特征在于，所述方法包括：
获取拨测终端上报的拨测数据，所述拨测数据包括拨测终端的参数信息、拨测终端的状态信息、蜂窝状态信息、蜂窝小区信息和测速指令信息，各类所述拨测数据均包括拨测终端标识和时间，所述状态信息包括：内存使用率、CPU使用率，拨测终端在线状态；
根据所述状态信息确定存在异常的拨测终端及对应的拨测终端异常时点；
根据所述拨测终端异常时点生成拨测终端异常时间窗口；
基于所述拨测终端标识和所述时间，判断所述拨测数据是否落在所述拨测终端异常时间窗口内，若是，则确定所述拨测数据是否缺失以及缺失的时点和类型，所述类型包括：非连续性缺失和连续性缺失；
根据所述类型，对所述拨测数据缺失的时点进行拨测数据补全；
获取与所述拨测数据对应的上一周期同期历史拨测数据，基于所述上一周期同期历史拨测数据，对补全后的拨测数据进行时序分布异常检测；根据所述拨测终端的状态信息，对检测结果为存在时序分布异常的拨测数据进行归因判断，若归因判断结果为因拨测终端引起的时序分布异常，则对所述存在时序分布异常的拨测数据进行重建。
2.如权利要求1所述的5G专网软探针拨测数据完整性校验和补全方法，其特征在于，所述根据所述状态信息确定存在异常的拨测终端及对应的拨测终端异常时点，包括：
根据所述拨测终端在线状态，判断所述拨测终端是否处于关机离线状态，若是，则确定所述拨测终端为存在异常的拨测终端，将对应的时点作为拨测终端异常时点；
若否，则根据状态信息，判断所述拨测终端是否满足内存使用率超过第一阈值同时CPU使用率超过第二阈值，若是，则确定所述拨测终端为存在异常的拨测终端，将对应的时点作为拨测终端异常时点。
3.如权利要求2所述的5G专网软探针拨测数据完整性校验和补全方法，其特征在于，所述根据所述拨测终端异常时点生成拨测终端异常时间窗口，包括：
将第一个拨测终端异常时点作为开始时点，最后一个拨测终端异常时点后第一预定时间所对应的时点作为结束时点，以生成拨测终端异常时间窗口。
4.如权利要求3所述的5G专网软探针拨测数据完整性校验和补全方法，其特征在于，所述根据所述类型，对所述拨测数据缺失的时点进行拨测数据补全，包括：
若所述缺失类型为非连续性缺失，则计算离所述拨测数据缺失的时点最近两周同一周天、同一时点的拨测数据的均值，并采用所述均值进行拨测数据补全；
若所述缺失类型为连续性缺失，则采用训练完成的自编码器进行拨测数据补全。
5.如权利要求4所述的5G专网软探针拨测数据完整性校验和补全方法，其特征在于，所述采用训练完成的自编码器进行拨测数据补全，包括：
构建自编码器，所述自编码器包括编码器和解码器；
获取历史拨测数据，基于3西格玛原则选取训练数据；
将所述训练数据输入所述自编码器，通过计算误差对所述自编码器的参数进行调整，得到训练完成的自编码器；
将连续性缺失的时间片段输入所述训练完成的自编码器，得到输出序列，采用所述输出序列补全所述连续性缺失的时间片段对应的拨测数据。
6.如权利要求4所述的5G专网软探针拨测数据完整性校验和补全方法，其特征在于，所述基于所述上一周期同期历史拨测数据，对补全后的拨测数据进行时序分布异常检测，包括：
计算所述补全后的拨测数据和所述上一周期同期历史拨测数据的偏离值，若所述偏离值大于第三阈值，则将对应的拨测数据记为时序分布异常点；
计算所述时序分布异常点的数量，若所述数量大于第四阈值，则所述补全后的拨测数据存在时序分布异常。
7.如权利要求4所述的5G专网软探针拨测数据完整性校验和补全方法，其特征在于，所述根据所述拨测终端的状态信息，对检测结果为存在时序分布异常的拨测数据进行归因判断，包括：
对检测结果为存在时序分布异常的拨测数据，以异常点对应的时点前第二预定时间所对应的时点为开始，异常点对应的时点为结束，以生成归因时间窗口；
根据所述拨测终端的状态信息，判断在所述归因时间窗口内是否存在拨测设备开机上线的情况，若是，则归因判断结果为因拨测终端引起的时序分布异常；若否，则归因判断结果为非因拨测终端引起的时序分布异常。
8.一种5G专网软探针拨测数据完整性校验和补全系统，其特征在于，所述系统包括：数据获取单元、异常终端和时点确定单元、拨测终端异常时间窗口生成单元、缺失判断单元、缺失补全单元和时序分布异常重建单元；
所述数据获取单元，用于获取拨测终端上报的拨测数据，所述拨测数据包括拨测终端的参数信息、拨测终端的状态信息、蜂窝状态信息、蜂窝小区信息和测速指令信息，各类所述拨测数据均包括拨测终端标识和时间，所述状态信息包括：内存使用率、CPU使用率，拨测终端在线状态；
所述异常终端和时点确定单元，用于根据所述状态信息确定存在异常的拨测终端及对应的拨测终端异常时点；
所述拨测终端异常时间窗口生成单元，用于根据所述拨测终端异常时点生成拨测终端异常时间窗口；
所述缺失判断单元，用于基于所述拨测终端标识和所述时间，判断所述拨测数据是否落在所述拨测终端异常时间窗口内，若是，则确定所述拨测数据是否缺失以及缺失的时点和类型，所述类型包括：非连续性缺失和连续性缺失；
所述缺失补全单元，用于根据所述类型，对所述拨测数据缺失的时点进行拨测数据补全；
所述时序分布异常重建单元，用于获取与所述拨测数据对应的上一周期同期历史拨测数据，基于所述上一周期同期历史拨测数据，对补全后的拨测数据进行时序分布异常检测；根据所述拨测终端的状态信息，对检测结果为存在时序分布异常的拨测数据进行归因判断，若归因判断结果为因拨测终端引起的时序分布异常，则对所述存在时序分布异常的拨测数据进行重建。
9.一种计算机设备，其特征在于：所述计算机设备包括存储器、处理器和收发器，它们之间通过总线连接；存储器用于存储一组计算机程序指令和数据，并将存储的数据传输给处理器，处理器执行存储器存储的程序指令，以执行如权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质中存储有计算机程序，当所述计算机程序被运行时，实现如权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311827817.1A CN117793764B (zh) | 2023-12-27 | 2023-12-27 | 5g专网软探针拨测数据完整性校验和补全方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311827817.1A CN117793764B (zh) | 2023-12-27 | 2023-12-27 | 5g专网软探针拨测数据完整性校验和补全方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117793764A true CN117793764A (zh) | 2024-03-29 |
| CN117793764B CN117793764B (zh) | 2024-07-16 |
Family
ID=90401540
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311827817.1A Active CN117793764B (zh) | 2023-12-27 | 2023-12-27 | 5g专网软探针拨测数据完整性校验和补全方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117793764B (zh) |
Citations (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102081679A (zh) * | 2011-01-24 | 2011-06-01 | 深圳市共济科技有限公司 | 一种计算机性能数据的采集方法及采集装置 |
| CN104753735A (zh) * | 2013-12-31 | 2015-07-01 | 中国移动通信集团上海有限公司 | 一种拨测系统及方法 |
| CN108377201A (zh) * | 2018-02-09 | 2018-08-07 | 腾讯科技（深圳）有限公司 | 网络异常感知方法、装置、设备及计算机可读存储介质 |
| CN109120461A (zh) * | 2018-09-29 | 2019-01-01 | 广州源典科技有限公司 | 一种业务性能端到端监控方法、系统及装置 |
| CN110309136A (zh) * | 2019-07-10 | 2019-10-08 | 山东大学 | 一种数据库异常事件缺失数据填充方法及系统 |
| CN110401965A (zh) * | 2018-04-24 | 2019-11-01 | 中国移动通信集团广东有限公司 | VoLTE语音质量拨测分析方法及系统 |
| EP3640946A1 (en) * | 2018-10-15 | 2020-04-22 | Sartorius Stedim Data Analytics AB | Multivariate approach for biological cell selection |
| CN111092891A (zh) * | 2019-12-20 | 2020-05-01 | 杭州安恒信息技术股份有限公司 | 一种网络中异常点的检测方法、检测系统及相关装置 |
| CN111338878A (zh) * | 2020-02-21 | 2020-06-26 | 平安科技（深圳）有限公司 | 异常检测方法、装置、终端设备及存储介质 |
| CN111581189A (zh) * | 2020-03-27 | 2020-08-25 | 浙江大学 | 一种空气质量检测数据缺失的补全方法及补全装置 |
| CN111879215A (zh) * | 2020-08-03 | 2020-11-03 | 四川航天长征装备制造有限公司 | 高精度内锥面锥度快速检测工装及检测方法 |
| CN113114529A (zh) * | 2021-03-25 | 2021-07-13 | 清华大学 | 基于条件变分自动编码器的kpi异常检测方法和装置 |
| CN114386521A (zh) * | 2022-01-14 | 2022-04-22 | 湖南师范大学 | 时间序列数据的异常检测方法、系统、设备和存储介质 |
| CN114978945A (zh) * | 2022-05-13 | 2022-08-30 | 北京有竹居网络技术有限公司 | 网络拨测方法、装置、系统、电子设备及存储介质 |
| CN114996625A (zh) * | 2022-04-26 | 2022-09-02 | 西南石油大学 | 一种基于贝叶斯优化及自编码器的测井数据补全方法 |
| WO2023024844A1 (zh) * | 2021-08-23 | 2023-03-02 | 华为技术有限公司 | 模型训练方法、装置及系统 |
| CN115997250A (zh) * | 2020-09-18 | 2023-04-21 | 艾米有限公司 | 用于变分自动编码的音频表示 |
| CN116070076A (zh) * | 2022-12-21 | 2023-05-05 | 浙江大学 | 一种高精度高鲁棒性的雷达缺失信号补全系统 |
| CN116611013A (zh) * | 2023-04-14 | 2023-08-18 | 西安电子科技大学青岛计算技术研究院 | 针对工业时序数据的异常检测以及根因分析方法及系统 |
| CN116993537A (zh) * | 2023-08-03 | 2023-11-03 | 浙江工商大学 | 一种基于串行gru自编码器的电力负荷异常检测方法及系统 |
| CN117034180A (zh) * | 2023-10-10 | 2023-11-10 | 国网湖北省电力有限公司武汉供电公司 | 电力通信设备数据异常检测方法、系统及存储介质 |
| CN117074961A (zh) * | 2023-08-21 | 2023-11-17 | 广东恒翼能科技股份有限公司 | 一种变分自编码器动力电池异常检测方法、系统、装置及存储介质 |
| CN117155821A (zh) * | 2023-09-27 | 2023-12-01 | 浪潮云信息技术股份公司 | 一种云环境下基于标靶拨测的应用可用性监测方法 |
| CN117235157A (zh) * | 2023-08-28 | 2023-12-15 | 南京欣网互联网络科技有限公司 | 一种用户体验指标数据采集分析的方法 |
-
2023
- 2023-12-27 CN CN202311827817.1A patent/CN117793764B/zh active Active
Patent Citations (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102081679A (zh) * | 2011-01-24 | 2011-06-01 | 深圳市共济科技有限公司 | 一种计算机性能数据的采集方法及采集装置 |
| CN104753735A (zh) * | 2013-12-31 | 2015-07-01 | 中国移动通信集团上海有限公司 | 一种拨测系统及方法 |
| CN108377201A (zh) * | 2018-02-09 | 2018-08-07 | 腾讯科技（深圳）有限公司 | 网络异常感知方法、装置、设备及计算机可读存储介质 |
| CN110401965A (zh) * | 2018-04-24 | 2019-11-01 | 中国移动通信集团广东有限公司 | VoLTE语音质量拨测分析方法及系统 |
| CN109120461A (zh) * | 2018-09-29 | 2019-01-01 | 广州源典科技有限公司 | 一种业务性能端到端监控方法、系统及装置 |
| EP3640946A1 (en) * | 2018-10-15 | 2020-04-22 | Sartorius Stedim Data Analytics AB | Multivariate approach for biological cell selection |
| CN110309136A (zh) * | 2019-07-10 | 2019-10-08 | 山东大学 | 一种数据库异常事件缺失数据填充方法及系统 |
| CN111092891A (zh) * | 2019-12-20 | 2020-05-01 | 杭州安恒信息技术股份有限公司 | 一种网络中异常点的检测方法、检测系统及相关装置 |
| CN111338878A (zh) * | 2020-02-21 | 2020-06-26 | 平安科技（深圳）有限公司 | 异常检测方法、装置、终端设备及存储介质 |
| CN111581189A (zh) * | 2020-03-27 | 2020-08-25 | 浙江大学 | 一种空气质量检测数据缺失的补全方法及补全装置 |
| CN111879215A (zh) * | 2020-08-03 | 2020-11-03 | 四川航天长征装备制造有限公司 | 高精度内锥面锥度快速检测工装及检测方法 |
| CN115997250A (zh) * | 2020-09-18 | 2023-04-21 | 艾米有限公司 | 用于变分自动编码的音频表示 |
| CN113114529A (zh) * | 2021-03-25 | 2021-07-13 | 清华大学 | 基于条件变分自动编码器的kpi异常检测方法和装置 |
| WO2023024844A1 (zh) * | 2021-08-23 | 2023-03-02 | 华为技术有限公司 | 模型训练方法、装置及系统 |
| CN114386521A (zh) * | 2022-01-14 | 2022-04-22 | 湖南师范大学 | 时间序列数据的异常检测方法、系统、设备和存储介质 |
| CN114996625A (zh) * | 2022-04-26 | 2022-09-02 | 西南石油大学 | 一种基于贝叶斯优化及自编码器的测井数据补全方法 |
| CN114978945A (zh) * | 2022-05-13 | 2022-08-30 | 北京有竹居网络技术有限公司 | 网络拨测方法、装置、系统、电子设备及存储介质 |
| CN116070076A (zh) * | 2022-12-21 | 2023-05-05 | 浙江大学 | 一种高精度高鲁棒性的雷达缺失信号补全系统 |
| CN116611013A (zh) * | 2023-04-14 | 2023-08-18 | 西安电子科技大学青岛计算技术研究院 | 针对工业时序数据的异常检测以及根因分析方法及系统 |
| CN116993537A (zh) * | 2023-08-03 | 2023-11-03 | 浙江工商大学 | 一种基于串行gru自编码器的电力负荷异常检测方法及系统 |
| CN117074961A (zh) * | 2023-08-21 | 2023-11-17 | 广东恒翼能科技股份有限公司 | 一种变分自编码器动力电池异常检测方法、系统、装置及存储介质 |
| CN117235157A (zh) * | 2023-08-28 | 2023-12-15 | 南京欣网互联网络科技有限公司 | 一种用户体验指标数据采集分析的方法 |
| CN117155821A (zh) * | 2023-09-27 | 2023-12-01 | 浪潮云信息技术股份公司 | 一种云环境下基于标靶拨测的应用可用性监测方法 |
| CN117034180A (zh) * | 2023-10-10 | 2023-11-10 | 国网湖北省电力有限公司武汉供电公司 | 电力通信设备数据异常检测方法、系统及存储介质 |
Non-Patent Citations (5)
| Title |
|---|
| JERZY W.GRZYMALA-BUSSES: "A Comparison of Several Approaches to Missing Attribute Values in Data Mining", 《SPRINGER》, 31 December 2001 (2001-12-31) * |
| 孙佳杰: "城市综合管廊时序数据异常检测模型研究与应用", 《中国优秀硕士学位论文全文数据库》, 15 February 2023 (2023-02-15) * |
| 花青: "基于多维滑窗的异常数据检测方法", 《计算机应用》, 10 November 2015 (2015-11-10) * |
| 钟鼎: "一种面向互联网质量监控的拨测系统", 《信息通信》, 15 March 2014 (2014-03-15) * |
| 陈鸿键: "基于改进遗传算法的HD地图数据生产调度研究", 《中国优秀硕士学位论文全文数据库》, 1 July 2022 (2022-07-01) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117793764B (zh) | 2024-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2016200485A1 (en) | Outage prevention in an electric power distribution grid using smart meter messaging | |
| CN112416643A (zh) | 无监督异常检测方法与装置 | |
| CN117034194B (zh) | 基于人工智能的核电仪表设备运维管理系统、方法及设备 | |
| CN116167749B (zh) | 一种基于深度学习的永磁同步电机故障诊断方法 | |
| CN113723861A (zh) | 异常用电行为检测方法、装置、计算机设备和存储介质 | |
| EP4095537A2 (en) | Neural network for estimating battery health | |
| CN109525036B (zh) | 一种通信设备的市电供应状态的监控方法、装置和系统 | |
| CN117793764B (zh) | 5g专网软探针拨测数据完整性校验和补全方法及系统 | |
| CN112345972B (zh) | 基于停电事件的配电网线变关系异常诊断方法、装置及系统 | |
| CN117708735A (zh) | 一种基于多点校核的量测数据拟合方法、介质及系统 | |
| CN116708514B (zh) | 一种基于物联网的电能表数据采集方法及系统 | |
| CN112184072A (zh) | 机房设备管理方法及装置 | |
| CN116843314A (zh) | 监控终端运维管理方法、系统、设备及存储介质 | |
| CN113341366B (zh) | 一种用户电表状态监测方法、装置设备和存储介质 | |
| CN114938339B (zh) | 一种数据处理方法和相关装置 | |
| CN113540526B (zh) | 一种基于历史数据分析的燃料电池故障诊断方法及系统 | |
| CN109375145A (zh) | 基于三相三线表计设备的失压故障监测方法和装置 | |
| CN114021744A (zh) | 设备的剩余使用寿命的确定方法、装置和电子设备 | |
| CN114386510A (zh) | 一种电力系统量测错误辨识方法及系统 | |
| CN112284486A (zh) | 液位仪异常数据监控方法、装置、计算机设备及存储介质 | |
| CN114021302A (zh) | 输电线路的寿命评估方法、装置、系统及存储介质 | |
| Krasich | Modeling of SW reliability in early design with planning and measurement of its reliability growth | |
| CN116112344B (zh) | 一种机房故障网络设备检测方法、设备及介质 | |
| CN117522220A (zh) | 一种基于仪表日志的仪表管理方法及系统 | |
| CN111880506B (zh) | 计算机辅助地处理自动化设施中的状态消息的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |