CN110555378A - 基于直播视频的天气预测方法、系统及天气预测装置 - Google Patents

基于直播视频的天气预测方法、系统及天气预测装置 Download PDF

Info

Publication number
CN110555378A
CN110555378A CN201910691335.5A CN201910691335A CN110555378A CN 110555378 A CN110555378 A CN 110555378A CN 201910691335 A CN201910691335 A CN 201910691335A CN 110555378 A CN110555378 A CN 110555378A
Authority
CN
China
Prior art keywords
weather
live
video
area
live video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910691335.5A
Other languages
English (en)
Other versions
CN110555378B (zh
Inventor
赵璐
莫东松
张进
钟宜峰
张健
马晓琳
马丹
王科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MIGU Culture Technology Co Ltd
Original Assignee
MIGU Culture Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MIGU Culture Technology Co Ltd filed Critical MIGU Culture Technology Co Ltd
Priority to CN201910691335.5A priority Critical patent/CN110555378B/zh
Publication of CN110555378A publication Critical patent/CN110555378A/zh
Application granted granted Critical
Publication of CN110555378B publication Critical patent/CN110555378B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Educational Administration (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Primary Health Care (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例涉及气象预测技术领域，公开了一种直播视频的天气预测方法，包括：获取多个直播视频，并依据直播视频得到预测视频帧；定位直播视频的地理位置，并依据地理位置将多个直播视频划分到不同的区域；根据预测视频帧预测各区域的天气状况。本发明实施方式中提供了一种基于直播视频的天气预测方法、系统及天气识别装置，实现了小区域的天气预测，提高小区域天气识别的准确度。

Description

基于直播视频的天气预测方法、系统及天气预测装置
技术领域
本发明实施例涉及气象预测技术领域，特别涉及一种基于直播视频的天气预测方法、系统及天气预测装置。
背景技术
目前，在预测天气状况时，可以利用气象卫星、地面气象站等来监测天气数据，并根据监测的天气数据计算和预测未来短期内的天气状况。一般的，利用气象卫星、地面气象站监测的天气数据为较大范围(如市、区、县等)的宏观天气数据，而对于这个较大范围内的更小区域(如街区等)的天气状况不作细分。
然而，发明人发现现有技术中至少存在如下问题：由于在天气变化较复杂的季节(如夏季)，一个较大范围内的各个小区域之间的天气状况也存在较大差异，而上述方法无法准确地获取小区域的天气状况。
发明内容
本发明实施方式的目的在于提供一种基于直播视频的天气预测方法、系统及天气预测装置，实现了小区域的天气预测，提高小区域天气识别的准确度。
为解决上述技术问题，本发明的实施方式提供了一种直播视频的天气预测方法，包括：获取多个直播视频，并依据直播视频得到预测视频帧；定位直播视频的地理位置，并依据地理位置将多个直播视频划分到不同的区域；根据预测视频帧预测各区域的天气状况。
本发明的实施方式还提供了一种天气预测装置，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述基于直播视频的天气预测方法。
本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述基于直播视频的天气预测方法。
本发明的实施方式还提供了一种基于直播视频的天气预测系统，包括：多个移动前置装置、以及上述的天气预测装置，多个移动前置装置连接天气预测装置；每个移动前端装置用于获取直播视频，并将直播视频以及移动前端装置的当前地理位置发送至天气预测装置。
本发明实施方式相对于现有技术而言提供了一种直播视频的天气预测方法，包括：获取多个直播视频，并依据直播视频得到预测视频帧；定位直播视频的地理位置，并依据地理位置将多个直播视频划分到不同的区域；根据预测视频帧预测各区域的天气状况。由于直播视频内容丰富、信息量大，往往包含当前用户所处环境的特征，因此可利用直播用户分布范围广泛，且直播视频中具备特有的气象特征来对直播视频所在区域的天气进行预测。通过获取多个直播视频，并依据直播视频得到预测视频帧，定位直播视频的地理位置，并依据地理位置将多个直播视频划分到不同的区域，根据不同区域内直播视频的预设视频帧来预测各区域的天气状况，相比于利用气象卫星、气象站等预测天气状的方法来说，实现了对小区域的天气预测，提高小区域天气识别的准确度。
另外，根据预测视频帧预测各区域的天气状况，具体包括：将预测视频帧依照时间顺序输入预先训练好的天气识别模型得到直播视频不同时间的天气类型；依据每个区域内直播视频不同时间的天气类型，确定每个区域内不同时间的天气类型；依照时间顺序将各个区域内所述直播视频同一时间的天气类型，输入预先训练好的天气预测模型得到各区域的天气状况。
另外，天气识别模型包括：依次连接的八层三维卷积核以及全连接神经网络；且第五层三维卷积核的输出进行上采样后作为第二层三维卷积核的输入，第四层三维卷积核的输出进行上采样后作为第三层三维卷积核的输入，第六层三维卷积核的输出插入到视频帧中作为后两层三维卷积核以及全连接神经网络的输入；将预测视频帧依照时间顺序输入预先训练好的天气识别模型得到直播视频不同时间的天气类型，具体包括：将预测视频帧依照时间顺序输入前六层三维卷积核，得到预测视频帧中的天气特征的位置；将预测视频帧及预测视频帧中的天气特征的位置，输入后两层三维卷积核以及全连接神经网络，得到直播视频不同时间的天气类型。
另外，天气识别模型通过以下步骤进行训练：获取包含天气特征的训练视频帧、训练视频帧中天气特征的真实位置及天气类别标签；将训练视频帧、真实位置和天气类别标签输入天气识别模型中，得到训练视频帧的天气特征的预测位置以及预测天气类别；根据预测位置及预测天气类别计算天气识别模型的损失函数值；根据天气识别模型的损失函数值调整天气识别模型的参数，以使天气识别模型的损失函数值满足第一预设条件。
另外，天气识别模型的损失函数L为：
其中，k表示第k帧图像，q表示权重，w代表网络的权重系数，l为范数，ε为常数，m表示图像的宽度，n表示图像的高度，xij k表示第k帧图像中宽度为i、高度为j的像素点的概率值，Xk∈{xij k|0≤i≤m,0≤j≤n|}为第k帧图像的天气特征的真实位置，yij k表示第k帧图像中宽度为i、高度为j的像素点的概率值，Yk∈{yij k∈{0,1}|0≤i≤m,0≤j≤n}为第K帧图像的天气类别标签，s表示同时输入所述天气预测模型的图像数目，Ok∈{Os k|0≤s≤5|}为第k帧图像的天气特征预测位置，为第k帧图像的预测天气类别。
另外，天气预测模型包括：依次连接的两层卷积核、一层下采样神经网络以及基于全卷积操作的长短时记忆神经网络CLSTM；依照时间顺序将各个区域内直播视频同一时间的天气类型，输入预先训练好的天气预测模型得到各区域的天气状况，具体包括：依照时间顺序将各个区域内直播视频同一时间的天气类型输入天气预测模型；并依照时间顺序将当前天气类型及前一刻的识别结果同时输入CLSTM得到各区域的天气状况。
另外，天气预测模型通过以下步骤进行训练：获取各区域天气类型的训练数据；将训练数据输入天气预测模型，预测各区域的天气状况；依据当前训练结果以及下一刻的训练数据计算天气预测模型的损失函数值；根据天气预测模型的损失函数值调整天气预测模型的参数，使得天气预测模型的损失函数值满足第二预设条件。
另外，天气预测模型的损失函数L为：其中，Mt+1为t+1时刻的训练数据，Ht为t时刻的训练数据输入天气预测模型的天气状况，w为网络的权重，l为范数，ε为常数。
另外，依据每个区域内直播视频不同时间的天气类型，确定每个区域内不同时间的天气类型，具体为：统计每个区域内各个时间天气类型相同的直播视频的数目；将每个区域内对应直播视频的数目最多的天气类型作为区域的天气类型。
另外，在根据预测视频帧预测各区域的天气状况之后，还包括：将预测得到的每个区域的天气状况发送给区域内的所有移动终端。
另外，每个移动前端装置具体用于识别直播视频的环境类别，获取识别结果为室外的直播视频，并将识别结果为室外的直播视频发送至天气预测装置。该方案中将识别结果为室外的直播视频发送至天气预测装置，使得天气预测装置获取的直播视频均为室外，根据这些室外的直播视频进行预测，进一步提高天气预测结果的准确性。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是根据本发明第一实施方式的基于直播视频的天气预测方法的流程示意图；
图2是根据本发明第一实施方式的天气识别模型的示意图；
图3是根据本发明第一实施方式的天气预测模型的示意图；
图4是根据本发明第二实施方式的天气预测装置的结构示意图；
图5是根据本发明第三实施方式的基于直播视频的天气预测系统结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
在气象预测领域中常常利用气象卫星、气象站等预测天气状况，但由于在天气变化较复杂的季节(如夏季)，一个较大范围内的各个小区域之间的天气状况也存在较大差异，而利用气象卫星、气象站等预测天气状况往往无法准确地获取小区域的天气状况，因此无法准确、及时地向用户提示小区域的天气状况。
针对于此，本发明的第一实施方式涉及一种基于直播视频的天气预测方法，本实施方式的核心在于，提供了一种基于直播视频的天气预测方法，包括：获取多个直播视频，并依据直播视频得到预测视频帧；定位直播视频的地理位置，并依据地理位置将多个直播视频划分到不同的区域；根据预测视频帧预测各区域的天气状况。由于直播视频内容丰富、信息量大，往往包含当前用户所处环境的特征，因此可利用直播用户分布范围广泛，且直播视频中具备特有的气象特征来对直播视频所在区域的天气进行预测。通过获取多个直播视频，并依据直播视频得到预测视频帧，定位直播视频的地理位置，并依据地理位置将多个直播视频划分到不同的区域，根据不同区域内直播视频的预设视频帧来预测各区域的天气状况，相比于利用气象卫星、气象站等预测天气状的方法来说，实现了对小区域的天气预测，提高小区域天气识别的准确度。
下面对本实施方式的基于直播视频的天气预测方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。
本实施方式中的基于直播视频的天气预测方法的流程示意图如图1所示：
步骤101：获取多个直播视频，并依据直播视频得到预测视频帧。
具体地说，随着4G技术发展以及5G时代的到来，直播逐渐成为大众倾向的社交方式，由于用户上传的直播视频内容丰富、信息量大，往往包含当前用户所处环境的特征，如室内、室外、天气等特征。因此可利用直播用户分布范围广泛，且直播视频中具备特有的气象特征来对直播视频所在区域的天气进行预测。本实施方式中获取多个直播用户的直播视频，并识别直播视频的视频流中的场景(场景分为室内、室外还是其他)，并保留识别结果为室外的直播视频的视频流。依据直播视频的视频流的时间连续性，间隔预设时间抽取视频帧，并抽取得到的视频帧作为预测视频帧。例如：针对25帧/秒的视频，可以每隔5帧抽取1帧图像，凑齐5帧作为1秒内的预测视频帧。
步骤102：定位直播视频的地理位置，并依据地理位置将多个直播视频划分到不同的区域。
具体地说，在获取多个直播用户的直播视频时，同时获取播放该直播视频的终端所处的地理位置(例如GPS位置信息)，并依据播放该直播视频的终端所在的地理位置将多个直播视频划分到不同的区域。例如：识别终端所处的GPS位置信息在经纬度曲线中的位置，并根据终端的分布密度按经纬度曲线将终端进行区域划分，终端的分布密度越小，可将区域划分较大；终端的分布密度越大，可将区域划分越小。
步骤103：将预测视频帧依照时间顺序输入预先训练好的天气识别模型得到直播视频不同时间的天气类型。
具体地说，由于视频帧中一般包含带有气象特征的元素，例如墨镜、遮阳帽、天空、路面等，通过分割出视频帧中带有气象特征的元素，从而能够识别出视频帧中天气类型，其中天气类型至少包括：阴、雾霾、晴、雨雪、其他，其中“其他”为无法判别的天气类型。本实施方式中将步骤101中得到的预测视频帧按照时间顺序输入预先训练好的天气识别模型中，从而识别该不同时间的预测视频帧的天气类型。
本实施方式中的天气识别模型如图2所示，天气识别模型包括：依次连接的八层三维卷积核以及全连接神经网络；且第五层三维卷积核的输出进行上采样后作为第二层三维卷积核的输入，第四层三维卷积核的输出进行上采样后作为第三层三维卷积核的输入，第六层三维卷积核的输出插入到视频帧中作为后两层三维卷积核以及全连接神经网络的输入。将预测视频帧依照时间顺序输入预先训练好的天气识别模型得到直播视频不同时间的天气类型，具体包括：将预测视频帧依照时间顺序输入前六层三维卷积核，得到预测视频帧中的天气特征的位置；将预测视频帧及预测视频帧中的天气特征的位置，输入后两层三维卷积核以及全连接神经网络，得到直播视频不同时间的天气类型。
具体地说，天气识别模型的输入为N*(m*n*3)即输入为N张大小为(m*n)的RGB图像，其中，m是图像的宽度，n是图像的高度，3是RGB的图像通道，N是视频图像的帧数。本实施方式中天气识别模型采用一共6层3维卷积核对预测视频帧中的气象特征的位置进行识别，并且第五层三维卷积核的输出进行上采样后作为第二层三维卷积核的输入，第四层三维卷积核的输出进行上采样后作为第三层三维卷积核的输入，将浅层网络和深层网络的视频上采样的结果进行融合，从而得到预测视频帧中的气象特征的分割结果output1，该分割结果为一图像，且该图像中每个像素点上具有一概率值，该概率值代表该像素点对应原预测视频帧位置图像属于气象特征元素的概率。然后将该分割结果与原预测视频帧进行串联，在串联的时候，将第i帧的输出结果插入到原预测视频帧的第i帧后，然后输入到最后2层下采样3维卷积核以及最后一层全连接神经网络得到分类结果的输出output2，该分类结果的输出是一个多维向量，该多个维度的值之和为1，且每个维度的值代表属于某类天气类型的概率。多维向量的维度与预设的天气类型数目有关，本实施方式中预设的天气类型为阴、雾霾、晴、雨雪、其他，因此，本实施方式中的分类结果的输出为五维向量。
天气识别模型通过以下步骤进行训练：获取包含天气特征的训练视频帧、训练视频帧中天气特征的真实位置及天气类别标签；将训练视频帧、真实位置和天气类别标签输入天气识别模型中，得到训练视频帧的天气特征的预测位置以及预测天气类别；根据预测位置及预测天气类别计算天气识别模型的损失函数值；根据天气识别模型的损失函数值调整天气识别模型的参数，以使天气识别模型的损失函数值满足第一预设条件。
具体地说，第一步：采用随机初始化方法初始化该天气识别模型网络的权重，包括3维卷积核及全连接神经网络，设置该天气识别模型网络训练参数，包括学习率lr、损失函数的权重q、优化算法、迭代最大次数、学习率衰减参数等。第二步：获取包含天气特征的训练视频帧、训练视频帧中天气特征的真实位置及天气类别标签，其中，训练视频帧的尺寸为N*(m*n*3)，训练视频帧中天气特征的真实位置对应的真值标签为N*(m*n)，天气类别标签可根据需求进行设置，这里为阴、雾霾、晴、雨雪、其他(无法判别天气的情况)，一共5类。第三步：将训练视频帧分批输入到该天气识别模型中，将输入的训练视频帧与分割结果output1进行串联，即把分割结果output1的第i帧结果插入到原训练视频帧的第i帧后，得到尺寸为N*(m*n*4)的视频数据输入到最后2层下采样3维卷积核以及最后一层全连接神经网络中得到分类结果的输出output2，根据天气识别模型的output1和output2，计算联合损失函数L，依据反向传播算法，得到各层的残差；根据计算得到的残差，采用反向传播算法，更新天气识别模型中的权重值，从而使得天气识别模型的损失函数值满足第一预设条件，此时模型训练结束。其中，第一预设条件根据实际情况自行设置。
天气识别模型的损失函数L为：
其中，k表示第k帧图像，q表示权重，w代表网络的权重系数，l为范数，ε为常数，m表示图像的宽度，n表示图像的高度，xij k表示第k帧图像中宽度为i、高度为j的像素点的概率值，Xk∈{xij k|0≤i≤m,0≤j≤n|}为第k帧图像的天气特征的真实位置，yij k表示第k帧图像中宽度为i、高度为j的像素点的概率值，Yk∈{yij k∈{0,1}|0≤i≤m,0≤j≤n}为第K帧图像的天气类别标签，s表示同时输入天气预测模型的图像数目，Ok∈{Os k|0≤s≤5|}为第k帧图像的天气特征预测位置，为第k帧图像的预测天气类别。其中，0<q<1。
需要说明的是，上述损失函数中加入w的l范数的惩罚项，可用于防止过拟合。该损失函数联合了视频分割和分类的结果，由于分割结果和分类结果共用了前6级网络三维卷积核，分割的残差和分类的残差同时作用于前6级三维卷积核的权重系数，因此，分割和分类的结果是相互关联的、且相互影响，分割出来的相关区域越准确，分类识别时则会更容易捕捉到对应区域的结果，识别出的气象类型就越准确。因此，该混合损失函数能够提高天气识别模型的识别准确率。
步骤104：依据每个区域内直播视频不同时间的天气类型，确定每个区域内不同时间的天气类型。
本实施方式中依据每个区域内直播视频不同时间的天气类型，确定每个区域内不同时间的天气类型，具体为：统计每个区域内各个时间天气类型相同的直播视频的数目；将每个区域内对应直播视频的数目最多的天气类型作为该区域的天气类型。
具体地说，在对预测视频帧进行预测后，得到直播视频不同时间的天气类型之后，将各个分区内数据进行归总、过滤无效和异常识别，识别出该区域内的天气类型。其中无效数据被分到“其他”类别，由于划分的区域足够小，因此可将由于识别算法误判导致的个别不同于周围天气类型的数据不做考虑，统计每个区域内各个时间天气类型相同的直播视频的数目，并将每个区域内对应直播视频的数目最多的天气类型作为该区域的天气类型。
步骤105：依照时间顺序将各个区域内直播视频同一时间的天气类型，输入预先训练好的天气预测模型得到各区域的天气状况。
本实施方式中天气预测模型如图3所示，包括：依次连接的两层卷积核、一层下采样神经网络以及基于全卷积操作的长短时记忆神经网络CLSTM；依照时间顺序将各个区域内直播视频同一时间的天气类型，输入预先训练好的天气预测模型得到各区域的天气状况，具体包括：依照时间顺序将每个区域内直播视频同一时间的天气类型输入天气预测模型；并依照时间顺序将当前天气类型及前一刻的识别结果同时输入CLSTM得到各区域的天气状况。
具体地说，如图3所示，依照时间顺序将不同区域的天气状况按照所在的位置组成一个二维矩阵，作为天气预测模型的输入。二维矩阵中的数据包含0～4，其中0～4分别代表天气类型，例如：0代表“其他”、1代表“阴”、2代表“雾霾”、3代表“晴”、4代表“雨雪”(图3中的数字仅为举例说明，并不构成对本实施方式的限制)。由于当前区域的天气状况与过去的天气状况相关，同时也与周围相邻区域的天气状况相关，因此区域的位置对预测存在直接影响。由于传统的LSTM(长短期记忆网络)仅针对一维向量操作，缺乏位置信息，从而难以捕捉到局部区域天气状况相互影响的关系，因此，本实施方式中没有采用传统的LSTM长短期记忆网络，而是采用依次连接的两层卷积核、一层下采样神经网络以及基于全卷积操作的长短时记忆神经网络CLSTM。本实施方式中将各个区域内直播视频t时刻的天气状况Mt输入天气预测模型，预测得到得到各区域未来t时刻的天气状况Ht。
天气预测模型通过以下步骤进行训练：获取各区域天气类型的训练数据；将训练数据输入天气预测模型，预测各区域的天气状况；依据当前训练结果以及下一刻的训练数据计算天气预测模型的损失函数值；根据天气预测模型的损失函数值调整天气预测模型的参数，使得天气预测模型的损失函数值满足第二预设条件。
具体地说，第一步：利用随机初始化方法初始天气预测模型的权重，将训练数据输入天气预测模型，初始化时间t＝0；第二步；设置天气预测模型的网络训练参数，包括学习率lr、损失函数函数的权重、优化算法、迭代最大次数、学习率衰减参数等；第三步：将训练数据输入到天气预测模型中，计算损失函数得到残差，根据反向传播算法更新神经网络中的权重值，令t＝t+1，重复进行训练，以使气预测模型的损失函数值满足第二预设条件，此时模型训练结束。其中，第二预设条件根据实际情况自行设置。
天气预测模型的损失函数L为：其中，Mt+1为t+1时刻的训练数据，Ht为t时刻的训练数据输入天气预测模型的天气状况，w为网络的权重，l为范数，ε为常数。
步骤106：将预测得到的每个区域的天气状况发送给区域内的所有移动终端。
具体地说，在预测得到每个区域的天气状况数据之后，获取该区域内所有移动终端的设备ID，并将预测的天气状况数据发送至对应区域内的移动终端，从而实现小区域内的天气预警。
与现有技术相比，本发明实施方式中提供了一种基于直播视频的天气预测方法，包括：由于直播视频内容丰富、信息量大，往往包含当前用户所处环境的特征，因此可利用直播用户分布范围广泛，且直播视频中具备特有的气象特征来对直播视频所在区域的天气进行预测。通过获取多个直播视频，并依据直播视频得到预测视频帧，定位直播视频的地理位置，并依据地理位置将多个直播视频划分到不同的区域，根据不同区域内直播视频的预设视频帧来预测各区域的天气状况，相比于利用气象卫星、气象站等预测天气状的方法来说，实现了对小区域的天气预测，提高小区域天气识别的准确度。
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
本发明第二实施方式涉及一种天气预测装置，如图4所示，包括至少一个处理器201；以及，与至少一个处理器201通信连接的存储器202；其中，存储器202存储有可被至少一个处理器201执行的指令，指令被至少一个处理器201执行，以使至少一个处理器201能够执行第一实施方式的基于直播视频的天气预测方法。
其中，存储器202和处理器201采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器201和存储器202的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器201处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器201。
处理器201负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器202可以被用于存储处理器201在执行操作时所使用的数据。
本发明第三实施方式涉及一种基于直播视频的天气预测系统，如图5所示，包括：多个移动前置装置1、以及如上述第二实施方式的天气预测装置2，多个移动前置装置1连接天气预测装置2；每个移动前端装置1用于获取直播视频，并将直播视频以及移动前端装置1的当前地理位置发送至天气预测装置2。
每个移动前端装置1具体用于识别直播视频的环境类别，获取识别结果为室外的直播视频，并将识别结果为室外的直播视频发送至天气预测装置2。该方案中将识别结果为室外的直播视频发送至天气预测装置2，使得天气预测装置2获取的直播视频均为室外，根据这些室外的直播视频进行预测，进一步提高了天气预测结果的准确性。
具体地说，多个移动前置装置1可无线连接天气预测装置2，每个移动前置装置1具体包括：环境识别装置11和前置消息收发装置12，天气预测装置2具体包括：气象识别装置21、收发处理装置22、气象预测装置23以及预警判断装置24。
环境识别装置11通过直播用户的视频输入，判断用户所处的环境场景，分为室内和室外两种，并将识别结果为室外的直播视频发送至气象识别装置21。气象识别装置21将用户当前气象特征分为5类(阴、雾霾、晴、雨雪、其他)，并将识别结果发送至前置消息收发装置12。前置消息收发装置12同时监听天气预测装置以及云服务端的信号，当监听到气象识别装置21识别的类别为室外时，获取移动前置装置1的GPS位置信息，并发送收发处理装置22。收发处理装置22在接收到移动前置装置1的GPS位置信息之后，按经纬度划分区域，且将区域划分的足够小，将各个区域内直播视频对应的天气状况数据进行归总，识别出各区域内的天气状况发送给气象预测装置23。气象预测装置23接收各区域内的天气状况，并预测各区域的天气状况，之后将所有区域的当前天气状况和预测天气状况发送给预警判断装置24。预警判断装置24对比当前天气状况和预测天气状况，当某个区域内存在预先设定的报警情况时，将该区域当前天气状况、预测天气状况和报警信息发送给收发处理装置22。收发处理装置22在接收到报警信息后，获取该区域内所有移动前置装置1的设备ID，将该当前天气状况、预测天气状况和报警信息发送至该区域内所有的移动前置装置1。
值得说明的是，本实施方式中的移动前置装置1可为移动终端，天气预测装置2可为云服务器。
本发明的第四实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述第一实施方式中的基于直播视频的天气预测方法。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (14)

1.一种基于直播视频的天气预测方法，其特征在于，包括：
获取多个直播视频，并依据所述直播视频得到预测视频帧；
定位所述直播视频的地理位置，并依据所述地理位置将所述多个直播视频划分到不同的区域；
根据所述预测视频帧预测各区域的天气状况。
2.根据权利要求1所述的基于直播视频的天气预测方法，其特征在于，所述根据所述预测视频帧预测各区域的天气状况，具体包括：
将所述预测视频帧依照时间顺序输入预先训练好的天气识别模型得到所述直播视频不同时间的天气类型；
依据每个区域内所述直播视频不同时间的天气类型，确定每个区域内不同时间的天气类型；
依照时间顺序将各个区域内所述直播视频同一时间的天气类型，输入预先训练好的天气预测模型得到各区域的天气状况。
3.根据权利要求2所述的基于直播视频的天气预测方法，其特征在于，所述天气识别模型包括：依次连接的八层三维卷积核以及全连接神经网络；且第五层三维卷积核的输出进行上采样后作为第二层三维卷积核的输入，第四层三维卷积核的输出进行上采样后作为第三层三维卷积核的输入，第六层三维卷积核的输出插入到视频帧中作为后两层所述三维卷积核以及所述全连接神经网络的输入；
所述将所述预测视频帧依照时间顺序输入预先训练好的天气识别模型得到所述直播视频不同时间的天气类型，具体包括：
将所述预测视频帧依照时间顺序输入前六层所述三维卷积核，得到所述预测视频帧中的天气特征的位置；
将所述预测视频帧及所述预测视频帧中的天气特征的位置，输入后两层所述三维卷积核以及所述全连接神经网络，得到所述直播视频不同时间的天气类型。
4.根据权利要求3所述的基于直播视频的天气预测方法，其特征在于，所述天气识别模型通过以下步骤进行训练：
获取包含所述天气特征的训练视频帧、所述训练视频帧中天气特征的真实位置及天气类别标签；
将所述训练视频帧、所述真实位置和所述天气类别标签输入所述天气识别模型中，得到所述训练视频帧的天气特征的预测位置以及预测天气类别；
根据所述预测位置及所述预测天气类别计算所述天气识别模型的损失函数值；
根据所述天气识别模型的损失函数值调整所述天气识别模型的参数，以使所述天气识别模型的损失函数值满足第一预设条件。
5.根据权利要求4所述的基于直播视频的天气预测方法，其特征在于，所述天气识别模型的损失函数L为：
其中，k表示第k帧图像，q表示权重，w代表网络的权重系数，l为范数，ε为常数，m表示图像的宽度，n表示图像的高度，xij k表示第k帧图像中宽度为i、高度为j的像素点的概率值，Xk∈{xij k|0≤i≤m,0≤j≤n|}为第k帧图像的天气特征的真实位置，yij k表示第k帧图像中宽度为i、高度为j的像素点的概率值，Yk∈{yij k∈{0,1}|0≤i≤m,0≤j≤n}为第K帧图像的天气类别标签，s表示同时输入所述天气预测模型的图像数目，Ok∈{Os k|0≤s≤5|}为第k帧图像的天气特征预测位置，为第k帧图像的预测天气类别。
6.根据权利要求2所述的基于直播视频的天气预测方法，其特征在于，所述天气预测模型包括：依次连接的两层卷积核、一层下采样神经网络以及基于全卷积操作的长短时记忆神经网络CLSTM；
所述依照时间顺序将各个区域内所述直播视频同一时间的天气类型，输入预先训练好的天气预测模型得到各区域的天气状况，具体包括：
依照时间顺序将各个区域内所述直播视频同一时间的天气类型输入所述天气预测模型；
并依照时间顺序将所述当前天气类型及前一刻的识别结果同时输入所述CLSTM得到各区域的天气状况。
7.根据权利要求6所述的基于直播视频的天气预测方法，其特征在于，所述天气预测模型通过以下步骤进行训练：
获取各区域天气类型的训练数据；
将所述训练数据输入所述天气预测模型，预测所述各区域的天气状况；
依据所述当前训练结果以及下一刻的训练数据计算所述天气预测模型的损失函数值；
根据所述天气预测模型的损失函数值调整所述天气预测模型的参数，使得所述天气预测模型的损失函数值满足第二预设条件。
8.根据权利要求7所述的基于直播视频的天气预测方法，其特征在于，所述天气预测模型的损失函数L为：
其中，Mt+1为t+1时刻的训练数据，Ht为t时刻的训练数据输入所述天气预测模型的天气状况，w为网络的权重，l为范数，ε为常数。
9.根据权利要求2所述的基于直播视频的天气预测方法，其特征在于，所述依据每个区域内所述直播视频不同时间的天气类型，确定每个区域内不同时间的天气类型，具体为：
统计每个区域内各个时间天气类型相同的直播视频的数目；
将每个区域内对应所述直播视频的数目最多的天气类型作为所述区域的天气类型。
10.根据权利要求1所述的基于直播视频的天气预测方法，其特征在于，在所述根据所述预测视频帧预测各区域的天气状况之后，还包括：将预测得到的每个区域的所述天气状况发送给所述区域内的所有移动终端。
11.一种天气预测装置，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至10中任一所述的基于直播视频的天气预测方法。
12.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时实现上述如权利要求1至10中任一所述的基于直播视频的天气预测方法。
13.一种基于直播视频的天气预测系统，其特征在于，包括：多个移动前置装置、以及如权利要求11所示的天气预测装置，所述多个移动前置装置连接所述天气预测装置；
每个所述移动前端装置用于获取直播视频，并将所述直播视频以及所述移动前端装置的当前地理位置发送至所述天气预测装置。
14.根据权利要求13所述的基于直播视频的天气预测系统，其特征在于，每个所述移动前端装置具体用于识别直播视频的环境类别，获取识别结果为室外的直播视频，并将所述识别结果为室外的直播视频发送至所述天气预测装置。
CN201910691335.5A 2019-07-29 2019-07-29 基于直播视频的天气预测方法、系统及天气预测装置 Active CN110555378B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910691335.5A CN110555378B (zh) 2019-07-29 2019-07-29 基于直播视频的天气预测方法、系统及天气预测装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910691335.5A CN110555378B (zh) 2019-07-29 2019-07-29 基于直播视频的天气预测方法、系统及天气预测装置

Publications (2)

Publication Number Publication Date
CN110555378A true CN110555378A (zh) 2019-12-10
CN110555378B CN110555378B (zh) 2023-01-17

Family

ID=68736857

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910691335.5A Active CN110555378B (zh) 2019-07-29 2019-07-29 基于直播视频的天气预测方法、系统及天气预测装置

Country Status (1)

Country Link
CN (1) CN110555378B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325239A (zh) * 2020-01-21 2020-06-23 上海眼控科技股份有限公司 一种基于图像的天气识别的方法及设备
CN112672209A (zh) * 2020-12-14 2021-04-16 北京达佳互联信息技术有限公司 视频编辑方法和视频编辑装置
CN114157878A (zh) * 2021-11-23 2022-03-08 北京华风创新网络技术有限公司 一种天气视频数据处理系统
CN115439727A (zh) * 2022-11-08 2022-12-06 杭州觅睿科技股份有限公司 一种天气预报方法、系统、装置及可读存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2006202473A1 (en) * 2000-07-24 2006-07-13 Weatherbank, Inc. Interactive weather advisory system
CN105022742A (zh) * 2014-04-24 2015-11-04 深圳市赛格导航科技股份有限公司 一种基于位置及天气的数据管理方法及数据管理系统
CN105094682A (zh) * 2015-08-27 2015-11-25 广东欧珀移动通信有限公司 一种天气信息提示的方法及装置
CN108897073A (zh) * 2018-06-20 2018-11-27 西安电子科技大学 基于北斗信号及地面无线信号的天气预测方法
CN108924253A (zh) * 2018-08-02 2018-11-30 成都秦川物联网科技股份有限公司 基于车联网的天气预告方法及车联网系统
CN109447373A (zh) * 2018-11-16 2019-03-08 上海海事大学 基于python平台的LSTM神经网络来预测雾霾方法
CN109615147A (zh) * 2018-12-27 2019-04-12 浙江大学 一种未来72小时大气污染预报预警方法
CN109902885A (zh) * 2019-04-09 2019-06-18 中国人民解放军国防科技大学 基于深度学习混合cnn-lstm模型的台风预测方法
CN109991685A (zh) * 2019-04-03 2019-07-09 北京市天元网络技术股份有限公司 一种基于多lstm模型融合的降水量预测方法以及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2006202473A1 (en) * 2000-07-24 2006-07-13 Weatherbank, Inc. Interactive weather advisory system
CN105022742A (zh) * 2014-04-24 2015-11-04 深圳市赛格导航科技股份有限公司 一种基于位置及天气的数据管理方法及数据管理系统
CN105094682A (zh) * 2015-08-27 2015-11-25 广东欧珀移动通信有限公司 一种天气信息提示的方法及装置
CN108897073A (zh) * 2018-06-20 2018-11-27 西安电子科技大学 基于北斗信号及地面无线信号的天气预测方法
CN108924253A (zh) * 2018-08-02 2018-11-30 成都秦川物联网科技股份有限公司 基于车联网的天气预告方法及车联网系统
CN109447373A (zh) * 2018-11-16 2019-03-08 上海海事大学 基于python平台的LSTM神经网络来预测雾霾方法
CN109615147A (zh) * 2018-12-27 2019-04-12 浙江大学 一种未来72小时大气污染预报预警方法
CN109991685A (zh) * 2019-04-03 2019-07-09 北京市天元网络技术股份有限公司 一种基于多lstm模型融合的降水量预测方法以及装置
CN109902885A (zh) * 2019-04-09 2019-06-18 中国人民解放军国防科技大学 基于深度学习混合cnn-lstm模型的台风预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIANGYUN QING等: ""Hourly day-ahead solar irradiance prediction using weather forecasts by LSTM"", 《ENERGY》 *
倪铮等: ""一种基于CNN和RNN深度神经网络的天气预测模型——以北京地区雷暴的6小时临近预报为例"", 《数值计算与计算机应用》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325239A (zh) * 2020-01-21 2020-06-23 上海眼控科技股份有限公司 一种基于图像的天气识别的方法及设备
CN112672209A (zh) * 2020-12-14 2021-04-16 北京达佳互联信息技术有限公司 视频编辑方法和视频编辑装置
CN114157878A (zh) * 2021-11-23 2022-03-08 北京华风创新网络技术有限公司 一种天气视频数据处理系统
CN114157878B (zh) * 2021-11-23 2024-01-26 北京华风创新网络技术有限公司 一种天气视频数据处理系统
CN115439727A (zh) * 2022-11-08 2022-12-06 杭州觅睿科技股份有限公司 一种天气预报方法、系统、装置及可读存储介质

Also Published As

Publication number Publication date
CN110555378B (zh) 2023-01-17

Similar Documents

Publication Publication Date Title
CN110555378B (zh) 基于直播视频的天气预测方法、系统及天气预测装置
CN109389043B (zh) 一种无人机航拍图片的人群密度估计方法
CN112257609B (zh) 一种基于自适应关键点热图的车辆检测方法及装置
CN108574929A (zh) 用于自主驾驶系统中的车载环境中的联网场景再现和增强的方法和设备
WO2008002396A2 (en) Classifying image regions based on picture location
CN110796580B (zh) 智能交通系统管理方法及相关产品
CN112632311A (zh) 一种基于深度学习的云层变化趋势预测方法
CN105120237A (zh) 基于4g技术的无线图像监控方法
CN116258817B (zh) 一种基于多视图三维重建的自动驾驶数字孪生场景构建方法和系统
CN113343858B (zh) 路网地理位置识别方法、装置、电子设备及存储介质
CN106384359A (zh) 运动目标跟踪方法和电视
EP3800443B1 (en) Database construction method, positioning method and relevant device therefor
CN114067142A (zh) 一种实现场景结构预测、目标检测和车道级定位的方法
CN112907972A (zh) 基于无人机的道路车流量检测方法、系统及计算机可读存储介质
CN116226435B (zh) 基于跨模态检索的遥感图像与ais信息的关联匹配方法
CN112288702A (zh) 一种基于车联网的道路图像检测方法
CN112132207A (zh) 基于多分支特征映射目标检测神经网络构建方法
Yang et al. Improving crowd density estimation by fusing aerial images and radio signals
CN115240168A (zh) 感知结果获取方法、装置、计算机设备、存储介质
CN114639084A (zh) 一种基于ssd改进算法的路侧端车辆感知方法
CN113936019A (zh) 一种基于卷积神经网络技术的大田作物产量估算方法
CN111328099A (zh) 移动网络信号测试方法、设备、存储介质及信号测试系统
CN112669346A (zh) 一种路面突发状况确定方法及装置
CN205942690U (zh) 一种基于卷积神经网络的图像地理定位系统
CN114580279B (zh) 一种基于lstm的低轨卫星通信自适应编码方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant