CN114244873B - 一种基于分布式任务调度的gfs气象数据分发、传输方法 - Google Patents

一种基于分布式任务调度的gfs气象数据分发、传输方法 Download PDF

Info

Publication number
CN114244873B
CN114244873B CN202210183194.8A CN202210183194A CN114244873B CN 114244873 B CN114244873 B CN 114244873B CN 202210183194 A CN202210183194 A CN 202210183194A CN 114244873 B CN114244873 B CN 114244873B
Authority
CN
China
Prior art keywords
meteorological
air temperature
monitoring point
gfs
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210183194.8A
Other languages
English (en)
Other versions
CN114244873A (zh
Inventor
唐署光
伍柳源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Qianbailian Technology Co ltd
Original Assignee
Shenzhen Qianbailian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Qianbailian Technology Co ltd filed Critical Shenzhen Qianbailian Technology Co ltd
Priority to CN202210183194.8A priority Critical patent/CN114244873B/zh
Publication of CN114244873A publication Critical patent/CN114244873A/zh
Application granted granted Critical
Publication of CN114244873B publication Critical patent/CN114244873B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01W—METEOROLOGY
    • G01W1/00—Meteorology
    • G01W1/02—Instruments for indicating weather conditions by measuring two or more variables, e.g. humidity, pressure, temperature, cloud cover or wind speed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y20/00—Information sensed or collected by the things
    • G16Y20/10—Information sensed or collected by the things relating to the environment, e.g. temperature; relating to location

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Databases & Information Systems (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Medical Informatics (AREA)
  • General Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Probability & Statistics with Applications (AREA)
  • Toxicology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Educational Administration (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Game Theory and Decision Science (AREA)
  • Primary Health Care (AREA)
  • Operations Research (AREA)

Abstract

本发明公开了一种基于分布式任务调度的GFS气象数据分发、传输方法，该方法包括以下步骤：在若干个气象监测点设置监测终端；通过图像收集模块对气象监测点的外界图像进行收集；通过数据分发模块将GFS气象数据分发传输至客户；收集GFS气象数据中气象监测点的气温数值与气温测量模块测得气象监测点的气温数值之间的误差值，并通过误差值进行气温误差预测；将GFS气象数据、外界图像及气温误差预测值进行结合得到气象发送数据；通过数据分发模块将气象发送数据分发传输至客户；通过服务反馈模块接受客户的气象数据反馈信息。本发明能够向客户传输直观的气象数据外景，且能够提供精确的气象预测服务。

Description

一种基于分布式任务调度的GFS气象数据分发、传输方法
技术领域
本发明涉及气象数据处理技术领域，具体来说，涉及一种基于分布式任务调度的GFS气象数据分发、传输方法。
背景技术
分布式架构中一个服务部署多个冗余实例来运行业务，在这种分布式系统环境下运行任务调度为分布式任务调度，即将单体结构分为若干服务，服务之间通过网络交互来完成用户的业务处理。
电力行业、交通行业等对气象数据的需求较高。气象数据的分发及传输是气象服务的重要任务。现有技术中的气象数据处理方法，例如专利号201210495573.7，公开了一种气象数据快速处理流程化的方法，其包括对不同文件结构的源数据通过序列化的方法导入计算机系统等，达到提高其自动化水平，实现海量卫星观测气象数据的快速流程化处理。
但是，以上专利在使用时存在以下问题：在对气象数据进行分发传输时，缺少对气象数据的相关地点的外部景象进行获取并分发，不利于向客户直观的展示不同气象条件下不同的外景。同时现有的气象数据缺少误差值预测，因此不利于对客户进行更加精确的气象预测服务。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中的问题，本发明提出一种基于分布式任务调度的GFS气象数据分发、传输方法，以克服现有相关技术所存在的上述技术问题。
为此，本发明采用的具体技术方案如下：
一种基于分布式任务调度的GFS气象数据分发、传输方法，该方法包括以下步骤：
S1、在若干个气象监测点设置监测终端，监测终端内设置有若干个气温测量模块、数据分发模块、图像收集模块及服务反馈模块；
S2、通过图像收集模块对气象监测点的外界图像进行收集；
S3、获取GFS气象数据，并通过数据分发模块将GFS气象数据分发传输至客户；
S4、收集GFS气象数据中气象监测点的气温数值与气温测量模块测得气象监测点的气温数值之间的误差值，并通过误差值进行气温误差预测；
S5、将GFS气象数据、外界图像及气温误差预测值进行结合得到气象发送数据；
S6、通过数据分发模块将气象发送数据分发传输至客户；
S7、通过服务反馈模块接受客户的气象数据反馈信息。
进一步的，所述监测终端内还包含存储模块，所述存储模块内存储的气象要素包括温度、湿度、气压及降水量。
进一步的，所述S2中通过图像收集模块对气象监测点的外界图像进行收集还包括以下步骤：
每天获取气象监测点的外景图像，并对外景图像进行向量化处理，得到外景图像的特征向量组；
建立若干个图像分类文件夹，并根据外景图像的特征向量组对所有外景图像进行分类；
根据分类结果将各个外景图像存入不同类别的图像分类文件夹。
进一步的，所述每天获取气象监测点的外景图像，并对外景图像进行向量化处理，得到外景图像的特征向量组还包括以下步骤：
特征提取网络获取外景图像的特征向量，全连接层根据外景图像的特征向量的特征维度与外景图像的类别数目建立参数矩阵，并对参数矩阵进行初始化处理，得到与不同外景图像的特征向量一一对应的类别向量；
计算外景图像的特征向量与类别向量之间的第一欧式距离，并计算不同外景图像的类别向量之间的第二欧式距离；
根据第一欧式距离及第二欧式距离计算外界图像的样本损失，并根据外界图像的样本损失计算外界图像的特征向量和类别向量的梯度，根据梯度更新特征提取网络的参数和全连接层的参数矩阵；
根据更新后的特征提取网络及全连接层对外景图像进行向量化处理。
进一步的，所述根据第一欧式距离及第二欧式距离计算外界图像的样本损失为：
L=La+λLb，La为softmax损失，Lb为余弦中心损失，λ为权重。
进一步的，所述S4中收集GFS气象数据与气温测量模块测得气象监测点的气温数值之间的误差值，并通过误差值进行气温误差预测还包括以下步骤：
计算得到每天GFS气象数据中气象监测点的气温数值与气温测量模块测得气象监测点的气温数值之间的误差值，并存储；
每个气象监测点根据自身存储的气象监测点误差值建立训练预测模型，并利用训练预测模型按各个气象监测点每天的误差值进行各自训练；
每个气象监测点依据自身的训练结果对各自的训练预测模型的参数进行更新，并存储更新的差值；
通过中心服务端将各个更新差值进行参数聚合，并得到聚合更新参数，且将聚合更新参数发送至各个气象监测点；
各个气象监测点通过聚合更新参数对训练预测模型进行更新，并通过训练预测模型预测GFS气象数据中气象监测点的气温数值与气温测量模块测得气象监测点的气温数值之间的气温误差预测值。
进一步的，所述训练预测模型包括神经网络预测模型。
进一步的，所述每个气象监测点依据自身的训练结果对各自的训练预测模型的参数进行更新，并存储更新的差值时，每隔24小时将更新的差值发送至中心服务端。
进一步的，所述S7中通过服务反馈模块接受客户的气象数据反馈信息还包括以下步骤：
预设服务反馈内容包括标题及内容；
预设标题的左右边界包含换行符；
提取两个换行符之间的内容，并对该内容进行解析并转化为Python Dataframe格式；
将格式转化后的内容输入情感分析模块的Transformer模型中，并利用Transformer模型输出该内容的最大概率的预测标签；
其中，Transformer模型的定义如下：
Figure 479138DEST_PATH_IMAGE001
；其中，Q表示query，对应需要被表达的序列，K和V表示key和value，对应用来表达Q的序列，softmax是激活函数，将多个神经元的输出映射到（0，1）区间内，KT表示K的向量的转置，T为转置符号，dk为K的向量维度。
进一步的，所述提取两个换行符之间的内容，并对该内容进行解析并转化为Python Dataframe格式时，对内容中的异常格式进行空值删除和时间格式转换处理。
本发明的有益效果为：本发明通过处传输分发基于分布式任务调度的GFS气象数据，且将传输至客户的气象数据中包含当前气象监测点的外界图像，从而可以为客户展示不同气象条件下当地相应的直观外景，有利于客户对天气进行直观的感受和了解，且能够自动的将图像进行分类，可以直观的展示一年相同气象条件下的日期与天数，为后续的气象研究提供数据。通过在传输至客户的气象数据中包含气温误差预测，从而可以更加精确的为客户提供气象预测服务。同时接受客户的气象数据反馈信息，并能够高效的识别出反馈内容的正面、负面信息，有利于相关人员及时发现客户的需求，改善气象数据的分发传输服务。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种基于分布式任务调度的GFS气象数据分发、传输方法的流程图。
具体实施方式
为进一步说明各实施例，本发明提供有附图，这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理，配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点，图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。
根据本发明的实施例，提供了一种基于分布式任务调度的GFS（全球预报系统）气象数据分发、传输方法。
现结合附图和具体实施方式对本发明进一步说明，如图1所示，根据本发明实施例的基于分布式任务调度的GFS气象数据分发、传输方法，该方法包括以下步骤：
S1、在若干个气象监测点设置监测终端，监测终端内设置有若干个气温测量模块、数据分发模块、图像收集模块及服务反馈模块；
所述监测终端内还包含存储模块，所述存储模块内存储的气象要素包括温度、湿度、气压及降水量。
S2、通过图像收集模块对气象监测点的外界图像进行收集；
其中，所述S2中通过图像收集模块对气象监测点的外界图像进行收集还包括以下步骤：
每天获取气象监测点的外景图像，并对外景图像进行向量化处理，得到外景图像的特征向量组；
建立若干个图像分类文件夹，并根据外景图像的特征向量组对所有外景图像进行分类；
根据分类结果将各个外景图像存入不同类别的图像分类文件夹。
所述每天获取气象监测点的外景图像，并对外景图像进行向量化处理，得到外景图像的特征向量组还包括以下步骤：
图像分类模型中包含特征提取网及全连接层，特征提取网络获取外景图像的特征向量，全连接层根据外景图像的特征向量的特征维度与外景图像的类别数目建立参数矩阵，并对参数矩阵进行初始化处理，得到与不同外景图像的特征向量一一对应的类别向量；
计算外景图像的特征向量与类别向量之间的第一欧式距离，并计算不同外景图像的类别向量之间的第二欧式距离；
根据第一欧式距离及第二欧式距离计算外界图像的样本损失，并根据外界图像的样本损失计算外界图像的特征向量和类别向量的梯度，根据梯度更新特征提取网络的参数和全连接层的参数矩阵；
根据更新后的特征提取网络及全连接层对外景图像进行向量化处理。
所述根据第一欧式距离及第二欧式距离计算外界图像的样本损失为：
L=La+λLb，La为softmax损失，Lb为余弦中心损失，λ为权重。
S3、获取GFS气象数据，并通过数据分发模块将GFS气象数据分发传输至客户；
S4、收集GFS气象数据中气象监测点的气温数值与气温测量模块测得气象监测点的气温数值之间的误差值，并通过误差值进行气温误差预测；
其中，所述S4中收集GFS气象数据与气温测量模块测得气象监测点的气温数值之间的误差值，并通过误差值进行气温误差预测还包括以下步骤：
计算得到每天GFS气象数据中气象监测点的气温数值与气温测量模块测得气象监测点的气温数值之间的误差值，并存储；
每个气象监测点根据自身存储的气象监测点误差值建立训练预测模型，并利用训练预测模型按各个气象监测点每天的误差值进行各自训练；
每个气象监测点依据自身的训练结果对各自的训练预测模型的参数进行更新，并存储更新的差值；
通过中心服务端将各个更新差值进行参数聚合，并得到聚合更新参数，且将聚合更新参数发送至各个气象监测点；
各个气象监测点通过聚合更新参数对训练预测模型进行更新，并通过训练预测模型预测GFS气象数据中气象监测点的气温数值与气温测量模块测得气象监测点的气温数值之间的气温误差预测值。气温测量模块测得气象监测点的气温数值大于GFS气象数据中气象监测点的气温数值，则气温误差预测值为正，否则为负。
所述训练预测模型包括神经网络预测模型。
所述每个气象监测点依据自身的训练结果对各自的训练预测模型的参数进行更新，并存储更新的差值时，每隔24小时将更新的差值发送至中心服务端。
S5、将GFS气象数据、外界图像及气温误差预测值进行结合得到气象发送数据；
S6、通过数据分发模块将气象发送数据分发传输至客户；
S7、通过服务反馈模块接受客户的气象数据反馈信息；
其中，所述S7中通过服务反馈模块接受客户的气象数据反馈信息还包括以下步骤：
预设服务反馈内容包括标题及内容；
预设标题的左右边界包含换行符；
提取两个换行符之间的内容，并对该内容进行解析并转化为Python Dataframe格式；
将格式转化后的内容输入情感分析模块的Transformer模型（一种神经语言程序学经典模型）中，并利用Transformer模型输出该内容的最大概率的预测标签；
其中，Transformer模型的定义如下：
Figure 949302DEST_PATH_IMAGE001
；其中，Q表示query，对应需要被表达的序列，K和V表示key和value，对应用来表达Q的序列，该式中softmax是激活函数，将多个神经元的输出映射到（0，1）区间内，KT表示K的向量的转置，T为转置符号，dk为K的向量维度。
所述提取两个换行符之间的内容，并对该内容进行解析并转化为PythonDataframe格式时，对内容中的异常格式进行空值删除和时间格式转换处理。
综上所述，本发明通过处传输分发基于分布式任务调度的GFS气象数据，且将传输至客户的气象数据中包含当前气象监测点的外界图像，从而可以为客户展示不同气象条件下当地相应的直观外景，有利于客户对天气进行直观的感受和了解，且能够自动的将图像进行分类，可以直观的展示一年相同气象条件下的日期与天数，为后续的气象研究提供数据。通过在传输至客户的气象数据中包含气温误差预测，从而可以更加精确的为客户提供气象预测服务。同时接受客户的气象数据反馈信息，并能够高效的识别出反馈内容的正面、负面信息，有利于相关人员及时发现客户的需求，改善气象数据的分发传输服务。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于分布式任务调度的GFS气象数据分发、传输方法，其特征在于，该方法包括以下步骤：
S1、在若干个气象监测点设置监测终端，监测终端内设置有若干个气温测量模块、数据分发模块、图像收集模块及服务反馈模块；
S2、通过图像收集模块对气象监测点的外界图像进行收集；
S3、获取GFS气象数据，并通过数据分发模块将GFS气象数据分发传输至客户；
S4、收集GFS气象数据中气象监测点的气温数值与气温测量模块测得气象监测点的气温数值之间的误差值，并通过误差值进行气温误差预测；
计算得到每天GFS气象数据中气象监测点的气温数值与气温测量模块测得气象监测点的气温数值之间的误差值，并存储；
每个气象监测点根据自身存储的气象监测点误差值建立训练预测模型，并利用训练预测模型按各个气象监测点每天的误差值进行各自训练；
每个气象监测点依据自身的训练结果对各自的训练预测模型的参数进行更新，并存储更新的差值；
通过中心服务端将各个更新差值进行参数聚合，并得到聚合更新参数，且将聚合更新参数发送至各个气象监测点；
各个气象监测点通过聚合更新参数对训练预测模型进行更新，并通过训练预测模型预测GFS气象数据中气象监测点的气温数值与气温测量模块测得气象监测点的气温数值之间的气温误差预测值；气温测量模块测得气象监测点的气温数值大于GFS气象数据中气象监测点的气温数值，则气温误差预测值为正，否则为负；
S5、将GFS气象数据、外界图像及气温误差预测值进行结合得到气象发送数据；
S6、通过数据分发模块将气象发送数据分发传输至客户；
S7、通过服务反馈模块接受客户的气象数据反馈信息。
2.根据权利要求1所述的一种基于分布式任务调度的GFS气象数据分发、传输方法，其特征在于，所述监测终端内还包含存储模块，所述存储模块内存储的气象要素包括温度、湿度、气压及降水量。
3.根据权利要求1所述的一种基于分布式任务调度的GFS气象数据分发、传输方法，其特征在于，所述S2中通过图像收集模块对气象监测点的外界图像进行收集还包括以下步骤：
每天获取气象监测点的外景图像，并对外景图像进行向量化处理，得到外景图像的特征向量组；
建立若干个图像分类文件夹，并根据外景图像的特征向量组对所有外景图像进行分类；
根据分类结果将各个外景图像存入不同类别的图像分类文件夹。
4.根据权利要求3所述的一种基于分布式任务调度的GFS气象数据分发、传输方法，其特征在于，所述每天获取气象监测点的外景图像，并对外景图像进行向量化处理，得到外景图像的特征向量组还包括以下步骤：
特征提取网络获取外景图像的特征向量，全连接层根据外景图像的特征向量的特征维度与外景图像的类别数目建立参数矩阵，并对参数矩阵进行初始化处理，得到与不同外景图像的特征向量一一对应的类别向量；
计算外景图像的特征向量与类别向量之间的第一欧式距离，并计算不同外景图像的类别向量之间的第二欧式距离；
根据第一欧式距离及第二欧式距离计算外界图像的样本损失，并根据外界图像的样本损失计算外界图像的特征向量和类别向量的梯度，根据梯度更新特征提取网络的参数和全连接层的参数矩阵；
根据更新后的特征提取网络及全连接层对外景图像进行向量化处理。
5.根据权利要求4所述的一种基于分布式任务调度的GFS气象数据分发、传输方法，其特征在于，所述根据第一欧式距离及第二欧式距离计算外界图像的样本损失为：
L=La+λLb，La为softmax损失，Lb为余弦中心损失，λ为权重。
6.根据权利要求1所述的一种基于分布式任务调度的GFS气象数据分发、传输方法，其特征在于，所述S4中收集GFS气象数据与气温测量模块测得气象监测点的气温数值之间的误差值，并通过误差值进行气温误差预测还包括以下步骤：
计算得到每天GFS气象数据中气象监测点的气温数值与气温测量模块测得气象监测点的气温数值之间的误差值，并存储；
每个气象监测点根据自身存储的气象监测点误差值建立训练预测模型，并利用训练预测模型按各个气象监测点每天的误差值进行各自训练；
每个气象监测点依据自身的训练结果对各自的训练预测模型的参数进行更新，并存储更新的差值；
通过中心服务端将各个更新差值进行参数聚合，并得到聚合更新参数，且将聚合更新参数发送至各个气象监测点；
各个气象监测点通过聚合更新参数对训练预测模型进行更新，并通过训练预测模型预测GFS气象数据中气象监测点的气温数值与气温测量模块测得气象监测点的气温数值之间的气温误差预测值。
7.根据权利要求6所述的一种基于分布式任务调度的GFS气象数据分发、传输方法，其特征在于，所述训练预测模型包括神经网络预测模型。
8.根据权利要求7所述的一种基于分布式任务调度的GFS气象数据分发、传输方法，其特征在于，所述每个气象监测点依据自身的训练结果对各自的训练预测模型的参数进行更新，并存储更新的差值时，每隔24小时将更新的差值发送至中心服务端。
9.根据权利要求1所述的一种基于分布式任务调度的GFS气象数据分发、传输方法，其特征在于，所述S7中通过服务反馈模块接受客户的气象数据反馈信息还包括以下步骤：
预设服务反馈内容包括标题及内容；
预设标题的左右边界包含换行符；
提取两个换行符之间的内容，并对该内容进行解析并转化为Python Dataframe格式；
将格式转化后的内容输入情感分析模块的Transformer模型中，并利用Transformer模型输出该内容的最大概率的预测标签；
其中，Transformer模型的定义如下：
Figure 431157DEST_PATH_IMAGE001
；其中，Q表示query，对应需要被表达的序列，K和V表示key和value，对应用来表达Q的序列，softmax是激活函数，将多个神经元的输出映射到（0，1）区间内，KT表示K的向量的转置，T为转置符号，dk为K的向量维度。
10.根据权利要求9所述的一种基于分布式任务调度的GFS气象数据分发、传输方法，其特征在于，所述提取两个换行符之间的内容，并对该内容进行解析并转化为PythonDataframe格式时，对内容中的异常格式进行空值删除和时间格式转换处理。
CN202210183194.8A 2022-02-28 2022-02-28 一种基于分布式任务调度的gfs气象数据分发、传输方法 Active CN114244873B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210183194.8A CN114244873B (zh) 2022-02-28 2022-02-28 一种基于分布式任务调度的gfs气象数据分发、传输方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210183194.8A CN114244873B (zh) 2022-02-28 2022-02-28 一种基于分布式任务调度的gfs气象数据分发、传输方法

Publications (2)

Publication Number Publication Date
CN114244873A CN114244873A (zh) 2022-03-25
CN114244873B true CN114244873B (zh) 2022-05-13

Family

ID=80748311

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210183194.8A Active CN114244873B (zh) 2022-02-28 2022-02-28 一种基于分布式任务调度的gfs气象数据分发、传输方法

Country Status (1)

Country Link
CN (1) CN114244873B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110197218A (zh) * 2019-05-24 2019-09-03 绍兴达道生涯教育信息咨询有限公司 基于多源卷积神经网络的雷雨大风等级预测分类方法
CN111639787A (zh) * 2020-04-28 2020-09-08 北京工商大学 一种基于图卷积网络的时空数据预测方法
CN112629591A (zh) * 2020-12-28 2021-04-09 中国电力科学研究院有限公司 一种环境气象观测装置、污秽等级的确定系统及方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9285504B2 (en) * 2008-11-13 2016-03-15 Saint Louis University Apparatus and method for providing environmental predictive indicators to emergency response managers
US9274250B2 (en) * 2008-11-13 2016-03-01 Saint Louis University Apparatus and method for providing environmental predictive indicators to emergency response managers
US9310517B2 (en) * 2011-11-07 2016-04-12 The United States Of America As Represented By The Secretary Of The Army Method and system for determining accuracy of a weather prediction model
CN103616734B (zh) * 2013-12-11 2015-11-18 山东大学 大范围同步实时气象数据测量及风速风向预测系统与方法
CN106523281A (zh) * 2016-12-13 2017-03-22 云南能投海装新能源设备有限公司 一种高海拔风力发电机组高效节能的气候控制系统
CN107071365A (zh) * 2017-05-08 2017-08-18 北京德火新媒体技术有限公司 一种气象数据虚拟服务系统及方法
US10795056B2 (en) * 2017-06-23 2020-10-06 Tianjin Kantian Technology Co., Ltd. Local weather forecast
CN107748933B (zh) * 2017-10-23 2020-07-14 成都信息工程大学 气象要素报文数据误差修正方法、雾、日出、云海、雾凇预测方法
CN109743019B (zh) * 2018-12-21 2023-09-19 中国计量大学 基于气象因素的热斑温度预测及热斑定位的系统和方法
CN113419298B (zh) * 2021-08-24 2021-10-29 中国水利水电科学研究院 一种多参数水文气象数据采集装置
CN113850420A (zh) * 2021-09-13 2021-12-28 江苏海洋大学 一种基于改进的遗传算法优化bp神经网络的气象数据预测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110197218A (zh) * 2019-05-24 2019-09-03 绍兴达道生涯教育信息咨询有限公司 基于多源卷积神经网络的雷雨大风等级预测分类方法
CN111639787A (zh) * 2020-04-28 2020-09-08 北京工商大学 一种基于图卷积网络的时空数据预测方法
CN112629591A (zh) * 2020-12-28 2021-04-09 中国电力科学研究院有限公司 一种环境气象观测装置、污秽等级的确定系统及方法

Also Published As

Publication number Publication date
CN114244873A (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
CN114362367B (zh) 面向云边协同的输电线路监测系统和方法、识别系统和方法
CN111178456A (zh) 异常指标检测方法、装置、计算机设备和存储介质
CN111177095A (zh) 日志分析方法、装置、计算机设备及存储介质
CN114328198A (zh) 一种系统故障检测方法、装置、设备及介质
CN111160401A (zh) 一种基于均值漂移和XGBoost的异常用电判别方法
CN111582356B (zh) 一种目标信息统一表示及关联方法
CN115641097A (zh) 基于云平台的非标准机械加工协同制造管理方法及系统
CN115062732B (zh) 基于大数据用户标签信息的资源共享合作推荐方法及系统
CN112560997B (zh) 故障识别模型训练方法、故障识别方法及相关装置
CN113704389A (zh) 一种数据评估方法、装置、计算机设备及存储介质
CN105471647A (zh) 一种电力通信网故障定位方法
CN114936214A (zh) 数据实时更新方法、装置、设备及存储介质
CN114936808A (zh) 一种面向变电站故障检测的云边协同任务管理系统及方法
CN114244873B (zh) 一种基于分布式任务调度的gfs气象数据分发、传输方法
CN115603446A (zh) 基于卷积神经网络和云边协同作用的配电台区运行监测系统
CN113313289B (zh) 一种基于多数据源的电网气象预警系统
CN117914677A (zh) 网络指标数据告警方法和装置、设备、存储介质
Liu et al. Anomaly Recognition, Diagnosis and Prediction of Massive Data Flow Based on Time-GAN and DBSCAN for Power Dispatching Automation System
Sharma et al. Forecasting weather‐related power outages using weighted logistic regression
CN115994239A (zh) 一种基于原型对比学习的半监督遥感图像检索方法及系统
CN115937355A (zh) 电力物联网负荷预测指纹图像构造方法、系统及介质
CN115907228A (zh) 一种基于pso-lssvm的短期电力负荷预测分析方法
Rzayeva et al. Enhancing LAN Failure Predictions with Decision Trees and SVMs: Methodology and Implementation
CN111538914B (zh) 地址信息的处理方法和装置
CN117729060B (zh) 一种预警信息群发决策方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant