CN113344257B - 一种国土空间云平台中图层分析响应时间的预测方法 - Google Patents

一种国土空间云平台中图层分析响应时间的预测方法 Download PDF

Info

Publication number
CN113344257B
CN113344257B CN202110559841.6A CN202110559841A CN113344257B CN 113344257 B CN113344257 B CN 113344257B CN 202110559841 A CN202110559841 A CN 202110559841A CN 113344257 B CN113344257 B CN 113344257B
Authority
CN
China
Prior art keywords
response time
layer analysis
layer
data
box
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110559841.6A
Other languages
English (en)
Other versions
CN113344257A (zh
Inventor
李锐
李江
蔡晶
吴华意
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Information Center Of Hubei Natural Resources Department
Wuhan University WHU
Original Assignee
Information Center Of Hubei Natural Resources Department
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Information Center Of Hubei Natural Resources Department, Wuhan University WHU filed Critical Information Center Of Hubei Natural Resources Department
Priority to CN202110559841.6A priority Critical patent/CN113344257B/zh
Publication of CN113344257A publication Critical patent/CN113344257A/zh
Application granted granted Critical
Publication of CN113344257B publication Critical patent/CN113344257B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Primary Health Care (AREA)
  • Educational Administration (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种国土空间云平台中图层分析响应时间的预测方法，该方法结合国土空间信息服务云平台中多尺度关联的图层分析处理特点及其响应时间的长期平稳与局部突发时序特征，准确检测出导致图层分析处理超时的异常数据和时间局部变化异常的图层分析响应时间数据，进一步基于图层分析响应时间平稳特征和非平稳特征，提取图层分析响应时间的线性表达和非线性表达，构造多元时间特征矩阵，实现国土空间信息服务云平台中图层分析响应时间的准确预测。本发明可在规模化并行服务环境下对国土空间信息的图层分析响应时间准确预测，为国土空间信息服务云平台的计算资源部署和服务优化提供决策参考。

Description

一种国土空间云平台中图层分析响应时间的预测方法
技术领域
本发明涉及地理空间信息领域，尤其涉及一种国土空间信息服务云平台中图层分析响应时间的混合预测方法。
背景技术
国土空间信息服务云平台是遥感影像、土地利用现状、基本农田、土地利用总体规划、矿产资源以及基础地理等多源信息的集合服务平台，为国土资源的计划、审批、供应、补充、开发、执法等业务提供空间信息分析服务。
信息分析处理响应时间预测是Web服务Qos(Quality of Service)中的一个重要评价指标。国土空间信息服务云平台服务是Web应用服务的一种类型，其图层分析响应时间具有非线性、短期多变的特点。在云平台Web应用服务部署前提供合适的计算资源部署方案和服务优化策略具有重要意义。
现有的Web应用服务Qos预测模型和方法可以分为以下几类：
(1)基于协同过滤的Web Qos预测方法
基于协同过滤的Web Qos预测方法的核心思想是根据不同用户或不同服务的相似度去预测其他用户或服务的Qos。其主要特点是模型简单且计算速度快，但只能预测同时期单一的具体服务，不具有较强的泛化能力。Song Y.提出通过计算用户偏好和服务用户的相似度，预测相似用户的服务质量，重点研究了利用Top-K算法缩小相似用户组范围。但此方法依赖于大量的同时间段非待测的用户服务质量数据[1]。Keshavarzi A.等人提出用时序聚类算法进行联盟云平台下Qos的模式识别，重点研究基于可变长染色体的遗传算法提升聚类的速度，未考虑业务应用[2]。
(2)基于时间序列的Web Qos预测方法
基于时间序列的Web Qos预测方法的核心思想是利用时间序列历史数据和当前时刻值的关系预测未来某时刻Web服务Qos。其主要特点是预测结果时效性较强、精度较高但需要稳定的时间序列数据。Atluri V V,Mohanty H.提出利用贝叶斯网络预测Web服务等待时间，利用隐马尔可夫模型预测网络延时，但只简单将Web平台服务状态划分为是否交通阻塞两种状态，并以此作为隐层数据，未考虑其他影响因素[3]。
总结以上模型和方法可知，现有Web应用服务Qos预测模型和方法主要是基于理想状态下，研究Web服务响应时间，很少考虑Web服务平台本身的业务特征或实际应用特点。较少有学者针对国土空间信息服务云平台服务质量优化展开研究。其次，也较少考虑Web服务云平台响应时间数据中异常数据的清洗。
背景技术引用文献：
[1]Song Y.Collaborative prediction of web service quality based onuser preferences and services[J].Plos one,2020,15(12):e0242089.
[2]Keshavarzi A,Haghighat A T,Bohlouli M.Clustering of large scaleQoS time series data in federated clouds using improved variable ChromosomeLength Genetic Algorithm(CQGA)[J].Expert Systems with Applications,2021,164:113840.
[3]Atluri V V,Mohanty H.Web service response time prediction usinghmm and bayesian network[M]//Intelligent Computing,Communication andDevices.Springer,New Delhi,2015:327-335.
发明内容
面向国土空间信息服务云平台，针对其图层分析响应时间数据的异常检测和响应时间预测问题，提出了一种国土空间信息服务云平台中图层分析响应时间的混合预测方法，实现了对图层分析响应时间的准确预测，从而为国土空间信息服务云平台中计算资源部署和服务资源优化提供决策参考。
本发明所提供面向国土空间信息服务云平台图层分析响应时间的混合预测方法，主要是以湖北省国土空间信息服务云平台日志数据为研究数据。其方法包括异常检测和时序预测两个模块。异常检测主要是结合国土空间信息服务云平台业务特点，包括对图层分析操作、图层面积、图层地块数等数据进行异常值清洗，其次，结合图层分析响应时间的时序特征过滤其局部波峰值和波谷值。为提高图层分析响应时间预测的精确度，将图层分析响应时间数据分解为近似系数和细节系数，并从中提取图层分析响应时间的线性分量和非线性分量。首先对图层分析响应时间的线性分量进行预测，然后利用图层分析响应时间的历史数据、线性分量预测值和非线性分量数据构造多元时间特征矩阵，利用XGBoost非线性模型混合预测图层分析响应时间Box-Cox变换值，并利用Box-Cox逆变换还原图层分析响应时间的预测值。本发明内容具体包含以下步骤：
步骤一，对国土空间信息服务云平台中图层分析日志数据和空间分析日志数据，采用业务号内关联方法，匹配图层分析数据和空间分析结果数据；
步骤二，对图层分析响应时间、图层面积采用Box-Cox变换，使其数据分布呈类正态分布；
步骤三，基于图层分析数据和空间分析结果数据，利用一分类模型清洗图层分析数据中的异常值；
步骤四，利用Savitzky-Golay算法平滑图层分析响应时间Box-Cox变换数据，过滤其局部波峰值、波谷值，即从时序角度，清洗局部异常数据；
步骤五，统计并计算步骤四平滑后的图层分析响应时间Box-Cox变换数据在某一时间粒度下的统计值，并利用小波分解将图层分析响应时间Box-Cox变换值分解为近似系数和细节系数，并从中提取线性分量和非线性分量；其中近似系数表征图层分析响应时间的短期扰动特征，细节系数表征图层分析响应时间的长期稳定特征；
步骤六，基于步骤五图层分析响应时间Box-Cox变换统计值的细节系数，检验其P值是否小于某一阈值，若小于某一阈值表示数据具有稳定性，即原假设数据具有齐次均值、方差成立；若不满足，则表示步骤三至五处理效果不理想，即图层分析响应时间数据中存在异常值或Box-Cox变换参数不合适，通过调整一分类模型和Savitzky-Golay算法的参数，或者通过调整Box-Cox变换参数，获得较好的异常处理效果；
步骤七，利用ARIMA模型拟合图层分析响应时间Box-Cox变换统计值数据并预测下一时刻Box-Cox变换统计值，并利用图层分析响应时间Box-Cox变换统计值的历史数据、下一时刻图层分析响应时间Box-Cox变换统计值线性分量预测值和非线性分量历史数据构造多元时间特征矩阵，作为XGBoost模型的输入，从而得到下一时刻图层分析响应时间Box-Cox变换统计值的预测值；
步骤八，利用Box-Cox逆变换还原下一时刻响应时间统计值的预测值，即可参考此预测值评估下一时刻国土空间信息服务云平台图层分析的响应时间情况。
进一步的，步骤二中Box-Cox变换的计算公式如下
Figure GDA0003548653660000031
式(1)中，λ为Box-Cox变换参数。
进一步的，步骤三中进一步包括；
步骤3.1，从图层分析日志数据中提取图层操作类型、空间分析专题特征、图层地块特征、图层分析响应时间Box-Cox变换数据、图层面积Box-Cox变换数据和时间特征；
步骤3.2，划分训练集和测试集，并对样本数据标记正负样本，其中，负样本表示可能出现图层分析响应超时的样本数据；正样本表示图层分析响应时间正常的样本数据；
图层分析业务状态有三种：Info、Error、Fatal；若图层分析业务状态为异常(Fatal)，则将同一报件同一专题的其他子图层操作标记为负样本，同时，将该图层分析时序上的下一个图层操作也标记为负样本；Info表示图层分析状态正常，Error表示图层分析有错误信息输出，但整个图层分析程序未崩溃，因此，将图层分析业务状态为Info和Error的标记为正样本；
步骤3.3，将正样本数据作为一分类模型的输入，训练正样本的模型边界；
步骤3.4，利用训练好的一分类模型清洗基于图层分析业务状态为异常的响应时间Box-Cox变换值。
进一步的，步骤3.1中图层操作类型采用One-hot编码，分别表征不同图层操作，包括入库、分析；空间分析专题特征采用分箱计数思想，此处是计算空间分析专题访问且有正常返回值的概率；图层地块特征指同一个业务号对应的地块数目；时间特征是从月、日、时角度分别计算某月某日某时用户进行图层分析且有正常返回值的概率和某月某日某时用户进行图层分析的概率。
进一步的，步骤七ARIMA模型的数学表达式为，
Figure GDA0003548653660000041
式(2)中，φi是前p个时刻yt-1,yt-2,..,yt-p的自回归模型系数，θi是前q个时刻随机扰动et-1,et-2...et-q的滑动平均模型系数。
进一步的，步骤七中多元时间特征矩阵可表示为，
Figure GDA0003548653660000042
式(4)中，N(t-1),...,N(t-p)表示每小时图层分析平均响应时间Box-Cox变换值的非线性分量历史数据，y(t-1),...,y(t-q)表示每小时图层分析平均响应时间Box-Cox变换值历史数据，
Figure GDA0003548653660000043
为当前t时刻图层分析每小时平均响应时间Box-Cox变换值的线性分量预测值，其中，p和q的取值因预测步长而异。
进一步的，步骤八中Box-Cox逆变换的计算公式如下，
Figure GDA0003548653660000044
式(5)中，λ为Box-Cox变换参数。
与现有技术相比，本发明的有益效果在于，针对国土空间信息服务云平台，提供了一种图层分析响应时间的混合预测方法，提高图层分析响应时间的预测精度。异常检测模型有效地结合了国土空间信息服务云平台业务特征，包括提取图层分析操作类型、图层面积、图层地块数，其次，结合时序特征清洗了响应时间数据局部的波峰值和波谷值，使挖掘规模化并行服务环境下国土空间信息服务云平台图层分析响应时间数据的潜在规律成为可能。时序预测模型提高了图层分析响应时间的预测精度，能有效地为国土空间信息服务云平台的计算资源部署和信息服务资源优化提供决策参考。
附图说明
图1为本发明的流程图。
具体实施方式
下面结合具体实施例湖北省国土空间信息服务云平台日志数据，进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。
本发明提供一种国土空间信息服务云平台中图层分析响应时间的混合预测方法，其实施例流程图如图1所示，所述方法包括以下步骤：
步骤一，对国土空间信息服务云平台中图层分析日志数据和空间分析日志数据，采用业务号内关联方法，匹配图层分析数据和空间分析结果数据。
步骤二，对图层分析响应时间、图层面积采用Box-Cox变换，使其数据分布呈类正态分布。
步骤三，基于图层分析数据和空间分析结果数据，利用一分类模型(One classsvm)清洗图层分析数据中的异常值。
优选地，从图层分析日志数据中提取图层操作特征、空间分析专题特征、图层地块特征、图层分析响应时间Box-Cox变换数据、图层面积Box-Cox变换数据和时间特征，作为一分类模型的输入。
步骤四，利用Savitzky-Golay算法平滑图层分析响应时间Box-Cox变换数据，过滤其局部波峰值、波谷值。即从时序角度，清洗局部异常数据。
步骤五，统计并计算步骤四平滑后的图层分析响应时间Box-Cox变换数据在某一时间粒度下的统计值(如：每小时平均值、最大值)，并利用小波分解将图层分析响应时间Box-Cox变换统计值分解为近似系数和细节系数，并从中提取线性分量和非线性分量。近似系数表征图层分析响应时间的短期扰动特征，细节系数表征图层分析响应时间的长期稳定特征。
步骤六，基于步骤五图层分析响应时间Box-Cox变换统计值的细节系数，检验其P值是否小于0.05。若小于0.05表示数据具有稳定性，即原假设数据具有齐次均值、方差成立；若不满足，则表示步骤三至五处理效果不理想，即图层分析响应时间数据中存在异常值或Box-Cox变换参数不合适。通过调整一分类模型和Savitzky-Golay算法的参数，获得较好的异常处理效果，即重复步骤三和步骤四；通过调整Box-Cox变换参数，增强数据的正态性。
步骤七，利用ARIMA模型拟合图层分析响应时间Box-Cox变换统计值数据并预测下一时刻Box-Cox变换统计值，并将图层分析响应时间Box-Cox变换统计值的历史数据、下一时刻图层分析响应时间Box-Cox变换统计值线性分量预测值和非线性分量历史数据作为XGBoost模型的输入，从而得到下一时刻图层分析响应时间Box-Cox变换统计值的预测值。
步骤八，利用Box-Cox逆变换还原下一时刻响应时间统计值的预测值，即可参考此预测值评估下一时刻(如：时间粒度为小时，即下一小时)国土空间信息服务云平台图层分析的响应时间情况。
下面以一个具体的例子说明本发明方法的具体实现过程：
步骤一，对于2019年4月4日至2020年7月9日湖北省国土空间信息服务云平台图层分析日志数据和空间分析日志数据，采用业务号内关联方法，匹配图层分析数据和空间分析结果数据。
步骤二，对图层分析响应时间、图层面积采用Box-Cox变换，使其数据类正态分布。Box-Cox变换的计算公式如下
Figure GDA0003548653660000061
式(1)中，λ为Box-Cox变换参数。
步骤三，提取图层操作类型、空间分析专题特征、图层地块特征、图层分析响应时间Box-Cox变换数据、图层面积Box-Cox变换数据和时间特征。其中，图层操作类型采用One-hot编码，分别表征不同图层操作(如入库、分析等)；空间分析专题特征采用分箱计数思想，此处是计算空间分析专题访问且有正常返回值的概率；同理，时间特征是从月、日、时角度分别计算某月某日某时用户进行图层分析且有正常返回值的概率和某月某日某时用户进行图层分析的概率。图层地块特征指同一个业务号对应的地块数目。
步骤四，划分训练集和测试集，并对样本数据标记正负样本。其中，负样本表示可能出现图层分析响应超时的样本数据；正样本表示图层分析响应时间正常的样本数据。
本实施例中图层分析业务状态有三种：Info、Error、Fatal。若图层分析业务状态为异常(Fatal)，则将同一报件同一专题的其他子图层操作标记为负样本。同时，将该图层分析时序上的下一个图层操作也标记为负样本。Info表示图层分析状态正常，Error表示图层分析有错误信息输出，但整个图层分析程序未崩溃，因此，将图层分析业务状态为Info和Error的标记为正样本。
步骤五，将正样本数据作为一分类模型(One class svm)的输入，训练正样本的模型边界。
训练模型时候，将标记为正样本的图层操作特征、空间分析专题特征、图层地块特征、图层分析响应时间Box-Cox变换数据、图层面积Box-Cox变换数据和时间特征作为模型的输入；判断图层分析响应时间的异常与否时，将图层分析数据按照训练集特征构造方法构造待测样本数据，完成对待测样本的正负判断，正表示图层分析响应时间正常，负表示图层分析响应时间异常，即完成图层分析响应时间的异常检测。
步骤六，经步骤五一分类模型清洗基于图层分析业务状态为异常的响应时间Box-Cox变换值后，利用Savitzky-Golay算法平滑图层分析响应时间Box-Cox变换值，过滤其局部波峰值、波谷值，即时序上异常的图层分析响应时间Box-Cox变换值。
步骤七，统计并计算步骤六平滑后图层分析的每小时平均响应时间Box-Cox变换值在某一时间粒度下的统计值(如：每小时平均值、最大值)，并利用小波分解将数据分解成近似系数和细节系数，从中提取线性分量和非线性分量。每小时图层分析平均响应时间Box-Cox变换值的线性分量数据分布尽可能收拢，数据在某一定的数值区间内波动；非线性分量的数据分布尽可能对称，数据波动幅度趋向于对称。
本实例中，小波分解选用了“db2”多贝西小波，并分别将图层分析的近似系数和细节系数置零，重建等长的图层分析时序数据。
步骤八，基于步骤七图层分析响应时间Box-Cox变换统计值的细节系数，检验其P值是否小于0.05。若小于0.05表示数据具有稳定性，即原假设数据具有齐次均值、方差成立；若不满足，则表示步骤五至七处理效果不理想，即图层分析响应时间数据中存在异常值或Box-Cox变换参数不合适，通过调整一分类模型和Savitzky-Golay算法的参数，获得较好的异常处理效果。
步骤九，利用整合移动平均自回归模型(ARIMA)预测未来一小时(或未来三个小时、未来五个小时不同步长)的图层分析平均响应时间预测值。ARIMA模型的数学表达式为
Figure GDA0003548653660000081
式(2)中，φi是前p时刻yt-1,yt-2,..,yt-p的自回归模型系数，θi是前q时刻随机扰动et-1,et-2...et-q的滑动平均模型系数。
本实施例中，ARIMA模型中，p＝2,q＝2可使贝叶斯信息准则(BIC)值最小。贝叶斯准则越小，表示模型复杂性与模型对数集表征能力达到最佳平衡状态。
贝叶斯信息准则计算公式如下
Figure GDA0003548653660000082
式(3)中，k为模型参数个数，n为样本数量，L为模型似然函数。
步骤十，用图层分析每小时平均响应时间Box-Cox变换值历史数据、图层分析响应时间的线性分量预测值和非线性分量历史数据构造多元时间特征矩阵，并作为XGBoost(Extreme Gradient Boosting)模型的输入，输出每小时图层分析平均响应时间Box-Cox变换的预测值。
多元时间特征矩阵可表示为
Figure GDA0003548653660000083
式(4)中，N(t-1),...,N(t-p)表示每小时图层分析平均响应时间Box-Cox变换值的非线性分量历史数据，y(t-1),...,y(t-q)表示每小时图层分析平均响应时间Box-Cox变换值历史数据，
Figure GDA0003548653660000084
为当前t时刻图层分析每小时平均响应时间Box-Cox变换值的线性分量预测值。其中，p和q的取值因预测步长而异。
本实施例中，当预测步长为1，即单步预测时，p＝2,q＝3，表示图层分析响应时间的线性分量取t-2、t-1时刻值，非线性分量取t-3至t-1时刻值。
步骤十一，利用Box-Cox逆变换计算未来一小时(或未来三个小时不同步长)的图层分析平均响应时间预测值。Box-Cox逆变换的计算公式如下
Figure GDA0003548653660000085
式(5)中，λ为Box-Cox变换参数。
以上对本发明所提供的一种国土空间信息服务云平台中图层分析响应时间的混合预测方法进行了详细介绍。本文中应用了湖北省国土空间信息服务云平台图层分析日志数据和空间分析日志数据对本发明的原理及实施方式进行阐述，以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明的前提下，还可以对本发明进行若干次改进和修饰。这些改进的修饰也落入本发明权利要求的保护范围中。

Claims (6)

1.一种国土空间云平台中图层分析响应时间的预测方法，其特征在于，包括如下步骤：
步骤一，对国土空间信息服务云平台中图层分析日志数据和空间分析日志数据，采用业务号内关联方法，匹配图层分析数据和空间分析结果数据；
步骤二，对图层分析响应时间、图层面积采用Box-Cox变换，使其数据分布呈类正态分布；
步骤三，基于图层分析数据和空间分析结果数据，利用一分类模型清洗图层分析数据中的异常值；
图层分析数据和空间分析结果数据包括图层操作类型、空间分析专题特征、图层地块特征、图层分析响应时间Box-Cox变换数据、图层面积Box-Cox变换数据和时间特征；
图层操作类型采用One-hot编码，分别表征不同图层操作，包括入库、分析；空间分析专题特征采用分箱计数思想，此处是计算空间分析专题访问且有正常返回值的概率；图层地块特征指同一个业务号对应的地块数目；时间特征是从月、日、时角度分别计算某月某日某时用户进行图层分析且有正常返回值的概率和某月某日某时用户进行图层分析的概率；
步骤四，利用Savitzky-Golay算法平滑图层分析响应时间Box-Cox变换数据，过滤其局部波峰值、波谷值，即从时序角度，清洗局部异常数据；
步骤五，统计并计算步骤四平滑后的图层分析响应时间Box-Cox变换数据在某一时间粒度下的统计值，并利用小波分解将图层分析响应时间Box-Cox变换值分解为近似系数和细节系数，并从中提取线性分量和非线性分量；其中近似系数表征图层分析响应时间的短期扰动特征，细节系数表征图层分析响应时间的长期稳定特征；
步骤六，基于步骤五图层分析响应时间Box-Cox变换统计值的细节系数，检验其P值是否小于某一阈值，若小于某一阈值表示数据具有稳定性，即原假设数据具有齐次均值、方差成立；若不满足，则表示步骤三至五处理效果不理想，即图层分析响应时间数据中存在异常值或Box-Cox变换参数不合适，通过调整一分类模型和Savitzky-Golay算法的参数，或者通过调整Box-Cox变换参数，获得较好的异常处理效果；
步骤七，利用ARIMA模型拟合图层分析响应时间Box-Cox变换统计值数据并预测下一时刻Box-Cox变换统计值，并利用图层分析响应时间Box-Cox变换统计值的历史数据、下一时刻图层分析响应时间Box-Cox变换统计值线性分量预测值和非线性分量历史数据构造多元时间特征矩阵，作为XGBoost模型的输入，从而得到下一时刻图层分析响应时间Box-Cox变换统计值的预测值；
步骤八，利用Box-Cox逆变换还原下一时刻响应时间统计值的预测值，即可参考此预测值评估下一时刻国土空间信息服务云平台图层分析的响应时间情况。
2.如权利要求1所述的一种国土空间云平台中图层分析响应时间的预测方法，其特征在于：步骤二中Box-Cox变换的计算公式如下，
Figure FDA0003580598760000021
式(1)中，λ为Box-Cox变换参数。
3.如权利要求1所述的一种国土空间云平台中图层分析响应时间的预测方法，其特征在于：步骤三中进一步包括；
步骤3.1，划分训练集和测试集，并对样本数据标记正负样本，其中，负样本表示图层分析响应超时的样本数据；正样本表示图层分析响应时间正常的样本数据；
图层分析业务状态有三种：Info、Error、Fatal；若图层分析业务状态为异常Fatal，则将同一报件同一专题的其他子图层操作标记为负样本，同时，将该图层分析时序上的下一个图层操作也标记为负样本；Info表示图层分析状态正常，Error表示图层分析有错误信息输出，但整个图层分析程序未崩溃，因此，将图层分析业务状态为Info和Error的标记为正样本；
步骤3.2，将正样本数据作为一分类模型的输入，训练正样本的模型边界；
步骤3.3，利用训练好的一分类模型清洗基于图层分析业务状态为异常的响应时间Box-Cox变换值。
4.如权利要求1所述的一种国土空间云平台中图层分析响应时间的预测方法，其特征在于：步骤七中ARIMA模型的数学表达式为，
Figure FDA0003580598760000022
式(2)中，φi是前p个时刻yt-1,yt-2,..,yt-p的自回归模型系数，θi是前q个时刻随机扰动et-1,et-2...et-q的滑动平均模型系数。
5.如权利要求1所述的一种国土空间云平台中图层分析响应时间的预测方法，其特征在于：步骤七中多元时间特征矩阵可表示为，
Figure FDA0003580598760000023
式(4)中，N(t-1),...,N(t-p)表示每小时图层分析平均响应时间Box-Cox变换值的非线性分量历史数据，y(t-1),...,y(t-q)表示每小时图层分析平均响应时间Box-Cox变换值历史数据，
Figure FDA0003580598760000031
为当前t时刻图层分析每小时平均响应时间Box-Cox变换值的线性分量预测值，其中，p和q的取值因预测步长而异。
6.如权利要求1所述的一种国土空间云平台中图层分析响应时间的预测方法，其特征在于：步骤八中Box-Cox逆变换的计算公式如下，
Figure FDA0003580598760000032
式(5)中，λ为Box-Cox变换参数。
CN202110559841.6A 2021-05-21 2021-05-21 一种国土空间云平台中图层分析响应时间的预测方法 Active CN113344257B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110559841.6A CN113344257B (zh) 2021-05-21 2021-05-21 一种国土空间云平台中图层分析响应时间的预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110559841.6A CN113344257B (zh) 2021-05-21 2021-05-21 一种国土空间云平台中图层分析响应时间的预测方法

Publications (2)

Publication Number Publication Date
CN113344257A CN113344257A (zh) 2021-09-03
CN113344257B true CN113344257B (zh) 2022-06-03

Family

ID=77470761

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110559841.6A Active CN113344257B (zh) 2021-05-21 2021-05-21 一种国土空间云平台中图层分析响应时间的预测方法

Country Status (1)

Country Link
CN (1) CN113344257B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116379793B (zh) * 2023-06-02 2023-08-15 青岛智控菲特软件科技有限公司 一种矿热炉短网调控数据处理方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030200134A1 (en) * 2002-03-29 2003-10-23 Leonard Michael James System and method for large-scale automatic forecasting
CN104270281B (zh) * 2014-09-03 2017-09-19 河海大学 一种Web Service QoS组合预测方法
US11586706B2 (en) * 2019-09-16 2023-02-21 Oracle International Corporation Time-series analysis for forecasting computational workloads
CN112131212A (zh) * 2020-09-29 2020-12-25 合肥城市云数据中心股份有限公司 基于集成学习技术面向混合云场景的时序数据异常预测方法

Also Published As

Publication number Publication date
CN113344257A (zh) 2021-09-03

Similar Documents

Publication Publication Date Title
Yin et al. Deep learning on traffic prediction: Methods, analysis, and future directions
Zhang et al. A novel Encoder-Decoder model based on read-first LSTM for air pollutant prediction
CN111008726B (zh) 一种电力负荷预测中类图片转换方法
CN111310789A (zh) 基于核密度估计的风电功率区间预测方法及其实现系统
CN105069122A (zh) 一种基于用户行为的个性化推荐方法及其推荐装置
CN112363896A (zh) 日志异常检测系统
CN111882157A (zh) 一种基于深度时空神经网络的需求预测方法、系统及计算机可读存储介质
CN113157800A (zh) 实时发现空中动态目标识别方法
CN112529638B (zh) 基于用户分类和深度学习的服务需求动态预测方法及系统
CN114066073A (zh) 电网负荷预测方法
CN113344257B (zh) 一种国土空间云平台中图层分析响应时间的预测方法
CN116108984A (zh) 基于流量-poi因果关系推理的城市流量预测方法
CN108053646B (zh) 基于时间敏感特征的交通特征获取方法、预测方法及系统
CN117436653A (zh) 一种网约车出行需求的预测模型构建方法和预测方法
CN111984514A (zh) 基于Prophet-bLSTM-DTW的日志异常检测方法
CN115759291B (zh) 一种基于集成学习的空间非线性回归方法及系统
Zhao et al. Urban traffic flow forecasting based on memory time-series network
CN116662860A (zh) 一种基于能源大数据的用户画像与分类方法
Gai et al. Research on water quality spatiotemporal forecasting model based on ST-BIGRU-SVR neural network
Medykovskyi et al. Spectrum neural network filtration technology for improving the forecast accuracy of dynamic processes in economics
CN114331019A (zh) 一种基于致险因素的城市交通安全风险实时评估方法及装置
CN114723147A (zh) 基于改进的小波变换与神经网络的新能源功率预测方法
Li et al. Long-term Prediction of Traffic Volume Based on Clustering Weighted Markov Chainsy
Jing et al. A multi-dimensional city data embedding model for improving predictive analytics and urban operations
CN111435463B (zh) 数据处理方法及相关设备、系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant