CN117270081A - 气象预测的生成方法及装置、设备、存储介质 - Google Patents

Abstract

本申请实施例公开了一种气象预测的生成方法及装置、设备、存储介质，包括：获取图像、音频和气象数据，图像包括在当前采集时间段采集目标地点的视频中的部分图像，音频包括在当前采集时间段采集目标地点的音频，气象数据为在当前采集时间段的目标地点对应的气象数据，分别对图像、音频和气象数据进行特征提取处理，获取与图像对应的图像特征向量、与音频对应的音频特征向量和与气象数据对应的气象特征向量，根据图像特征向量、音频特征向量和气象特征向量，生成气象预测。能够利用不同数据源的信息，提高气象预测的准确性和可靠性，提供更准确、全面和气象预测结果，提升气象预测的鲁棒性。

Description

气象预测的生成方法及装置、设备、存储介质

技术领域

本申请实施例涉及气象监控技术，涉及但不限于一种气象预测的生成方法及装置、设备、存储介质。

背景技术

城市气象检测是为保障城市的交通运输、生态环境等方面的安全和稳定，在传统的气象检测领域中，可以获取气象数据，对气象数据进行分析，从而实现对气象进行预测，随着视频监控的快速发展和广泛应用，也可以通过对气象图像进行处理，将视频图像识别信息的方法应用在气象预测上，也可以通过对气象天气对应的音频进行处理，对处理后的音频进行分析，将音频分析的方法应用在气象预测上，但是，传统的气象检测信息无法完整覆盖城市局部区域，视频图像检测受环境光线，夜间影响较大，音频分析检测识别受外加环境噪声干扰较大，各自检测识别方法都存在着不同的短板和弊端。

因此，如何提高气象预测的准确性和可靠性，提供更准确、全面和气象预测结果，提升气象预测的鲁棒性，是一个亟待解决的问题。

发明内容

有鉴于此，本申请实施例提供的气象预测的生成方法及装置、设备、存储介质，能够提高气象预测的准确性和可靠性，提供更准确、全面和气象预测结果，提升气象预测的鲁棒性。本申请实施例提供的气象预测的生成方法及装置、设备、存储介质是这样实现的：

本申请实施例提供的气象预测的生成方法，包括：

获取图像、音频和气象数据，所述图像包括在当前采集时间段采集目标地点的视频中的部分图像，所述音频包括在所述当前采集时间段采集所述目标地点的音频，所述气象数据为在所述当前采集时间段的所述目标地点对应的气象数据；

分别对所述图像、所述音频和所述气象数据进行特征提取处理，获取与所述图像对应的图像特征向量、与所述音频对应的音频特征向量和与所述气象数据对应的气象特征向量；

根据所述图像特征向量、所述音频特征向量和所述气象特征向量，生成气象预测。

在一些实施例中，所述对所述图像进行特征提取处理，获取与所述图像对应的图像特征向量，包括：

对所述图像进行图像去噪、图像增强和图像几何校正处理，得到处理后的图像；

对所述处理后的图像进行特征提取处理，得到所述图像对应的图像特征，所述图像特征包括与不同天气对应的特征，所述图像特征包括雨线、雨雾模糊程度、闪电、雪花、冰雹、太阳光圈、树木弯曲程度、参考物飘动方向；

对所述图像特征进行向量化处理，得到所述图像特征向量。

在一些实施例中，所述对所述音频进行特征提取处理，获取与所述音频对应的音频特征向量，包括：

对所述音频进行去除噪声、增强信号处理，得到处理后的音频；

对所述处理后的音频进行特征提取处理，得到所述音频对应的音频特征，所述音频特征包括与不同天气对应的特征，所述音频特征包括雨滴密度、雾气浓度、闪电声音、雪花落地声、冰雹撞击声、霜冻结构声；

对所述音频特征进行向量化处理，得到所述音频特征向量。

在一些实施例中，所述对所述气象数据进行特征提取处理，获取与所述气象数据对应的气象特征向量，包括：

对所述气象数据进行特征提取处理，得到所述气象数据对应的气象特征，所述气象数据包括与不同天气对应的特征，所述气象特征包括降雨、降雪、气压、湿度、风速风向、日照、闪电；

对所述音频特征进行向量化处理，得到所述气象特征向量。

在一些实施例中，所述图像特征是通过提取所述处理后的图像的颜色直方图、纹理特征、以及边缘特征得到的，所述音频特征向量是通过提取所述处理后的音频的时域上的声纹特征得到的，所述气象特征是通过提取气象数据中各个气象特征得到的，所述分别对所述图像、所述音频和所述气象数据进行特征提取处理，获取与所述图像对应的图像特征向量、与所述音频对应的音频特征向量和与所述气象数据对应的气象特征向量，包括：

分别计算所述图像特征、所述音频特征和所述气象特征的目标统计信息或目标特征描述子；

根据所述图像特征对应的所述目标统计信息或所述目标特征描述子，对所述图像特征进行向量化处理，得到所述图像特征向量，根据所述音频特征对应的所述目标统计信息或所述目标特征描述子，对所述音频特征进行向量化处理，得到所述音频特征向量，据所述气象特征对应的所述目标统计信息或所述目标特征描述子，对所述气象特征进行向量化处理，得到所述气象特征向量。

在一些实施例中，所述根据所述图像特征向量、所述音频特征向量和所述气象特征向量，生成气象预测，包括：

对所述图像特征向量、所述音频特征向量和所述气象特征向量进行分组编码、向量融合以及解码处理后，生成气象预测。

在一些实施例中，所述对所述图像特征向量、所述音频特征向量和所述气象特征向量进行分组编码、向量融合以及解码处理后，生成气象预测，包括：

将所述图像特征向量、所述音频特征向量和所述气象特征向量输入到气象预测模型，通过所述气象预测模型生成所述气象预测，所述气象预测模型是根据不同天气下的样本图像特征向量、样本音频特征向量以及样本气象特征向量训练得到的。

在一些实施例中，所述气象预测模型为基于注意力机制的多模态模型。

本申请实施例提供的气象预测的生成装置，包括：

获取模块，用于获取图像、音频和气象数据，所述图像包括在当前采集时间段采集目标地点的视频中的部分图像，所述音频包括在所述当前采集时间段采集所述目标地点的音频，所述气象数据为在所述当前采集时间段的所述目标地点对应的气象数据；

处理模块，用于分别对所述图像、所述音频和所述气象数据进行特征提取处理，获取与所述图像对应的图像特征向量、与所述音频对应的音频特征向量和与所述气象数据对应的气象特征向量；

生成模块，用于根据所述图像特征向量、所述音频特征向量和所述气象特征向量，生成气象预测。

本申请实施例提供的计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本申请实施例所述的方法。

本申请实施例提供的计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本申请实施例提供的所述的方法。

本申请实施例所提供的气象预测的生成方法、装置、计算机设备和计算机可读存储介质，通过获取图像、音频和气象数据，图像包括在当前采集时间段采集目标地点的视频中的部分图像，音频包括在当前采集时间段采集目标地点的音频，气象数据为在当前采集时间段的目标地点对应的气象数据，分别对图像、音频和气象数据进行特征提取处理，获取与图像对应的图像特征向量、与音频对应的音频特征向量和与气象数据对应的气象特征向量，根据图像特征向量、音频特征向量和气象特征向量，生成气象预测。能够利用不同数据源的信息，提高气象预测的准确性和可靠性，提供更准确、全面和气象预测结果，提升了气象预测的鲁棒性。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。

图1是本申请实施例公开的一种气象预测的生成方法的应用场景图；

图2是本申请实施例公开的一种气象预测的生成方法的流程示意图；

图3是本申请实施例公开的一种气象预测的生成方法的总体流程图；

图4是本申请实施例公开的一种气象预测的生成装置的结构示意图；

图5是本申请实施例公开的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的具体技术方案做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

需要指出，本申请实施例所涉及的术语“第一\第二\第三”用以区别类似或不同的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。

有鉴于此，本申请实施例提供一种气象预测的生成方法，该方法应用于智能电子设备。图1为一个实施例中通过的气象预测的生成方法的应用场景图。如图1所示，用户可携带、佩戴或使用电子设备10，该电子设备10可包括但不限于手机、可穿戴设备(如智能手表、智能手环、智能眼镜等)、平板电脑，笔记本电脑、车载终端、PC(Personal Computer，个人计算机)等。该方法所实现的功能可以通过电子设备中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该电子设备至少包括处理器和存储介质。

图2为本申请实施例提供的气象预测的生成方法的实现流程示意图。如图2所示，该方法可以包括以下步骤201至步骤203：

步骤201，获取图像、音频和气象数据，图像包括在当前采集时间段采集目标地点的视频中的部分图像，音频包括在当前采集时间段采集目标地点的音频，气象数据为在当前采集时间段的目标地点对应的气象数据。

在本申请实施例中，收集目标地点的视频图像、音频和气象数据。可选的，在采集视频时，可以使用摄像头、监控摄像头等设备进行采集；在采集音频时，可以使用麦克风、音频记录设备等进行采集；在采集气象数据时，可以利用天气预报网站、气象科研机构或气象站获取本地气象数据。

进一步的，根据轮训策略对视频进行推流，并进行质量筛选，剔除干扰、噪点等影响特征工程的图像。通过并与需要预测的气象的音频进行对比，通过频谱特征滤除普通城市噪音获取音频，将获取音频转化为电信号。

步骤202，分别对图像、音频和气象数据进行特征提取处理，获取与图像对应的图像特征向量、与音频对应的音频特征向量和与气象数据对应的气象特征向量。

在本申请实施例中，对收集到的视频图像、音频和气象数据进行特征提取处理，可选的，在图像特征提取中，可以使用卷积神经网络模型对图像进行分类、目标检测等，并获取图像特征向量。在音频特征提取中，可以使用梅尔频率倒谱系数(Mel-FrequencyCepstral Coefficients,MFCCs)等方法将音频信号转换成可表示它们的特征向量。在气象特征提取中，可以根据所收集到的气象数据，提取出温度、湿度、风速、天气状况等信息并转换为特征向量。

作为一种示例，对图像进行特征提取处理，获取与图像对应的图像特征向量，包括：对图像进行图像去噪、图像增强和图像几何校正处理，得到处理后的图像。可选的，在图像处理中，可以使用均值滤波、高斯滤波、双边滤波等算法进行去噪处理。其中，双边滤波算法可以保留图像的边缘信息，能够有效抑制噪声。进一步的，可以使用直方图均衡化、自适应直方图均衡化、对比度拉伸等算法进行图像增强处理。其中，对比度拉伸算法可以通过调整图像像素值的范围，提高图像的对比度，使得图像更加清晰。进一步的，可以使用仿射变换、透视变换等几何变换算法进行几何校正处理。其中，透视变换算法可以根据图像的投影角度和姿态，调整图像的透视效果，使得图像更加真实。

进一步的，对处理后的图像进行特征提取处理，得到图像对应的图像特征，图像特征包括与不同天气对应的特征，图像特征包括雨线、雨雾模糊程度、闪电、雪花、冰雹、太阳光圈、树木弯曲程度、参考物飘动方向。可选的，可以通过分析图像中的颜色、亮度、纹理等特征，提取与天气相关的特征。例如，在雨天的情况下，可以通过检测图像中的水珠、雨滴、雨线等元素，提取与雨天相关的特征，如雨线的长度、密度、弯曲程度等。进一步的，可以通过检测图像中的建筑物、树木、汽车等元素，提取与环境相关的特征。例如，在风暴天气的情况下，可以通过分析图像中的树木、旗帜等元素，提取与风向、风速相关的特征。

进一步的，对图像特征进行向量化处理，得到图像特征向量。可选的，将提取到的各个特征值转换为数值型数据，并进行归一化处理。可以使用Z-score标准化方法对特征值进行归一化处理，以保证各个特征值具有统一的尺度。进一步的，可以将各个特征值组合成一个向量，形成图像特征向量。可选的，可以对提取到的多维特征进行降维处理，得到维度较少的图像特征向量。

作为一种示例，对音频进行特征提取处理，获取与音频对应的音频特征向量，包括：对音频进行去除噪声、增强信号处理，得到处理后的音频。可选的，采用数字信号处理的方法，如使用滑动窗口进行均值滤波或中值滤波，以减小背景噪声对音频的影响。进一步的，应用音频增益调整技术，根据音频信号的能量来调整音频的整体音量；也可以使用动态范围压缩技术，使音频的动态范围更加平衡；另外，使用均衡器可以调节音频不同频段的音量，以改善音频的听感。

进一步的，对处理后的音频进行特征提取处理，得到音频对应的音频特征，音频特征包括与不同天气对应的特征，音频特征包括雨滴密度、雾气浓度、闪电声音、雪花落地声、冰雹撞击声、霜冻结构声。可选的，通过计算音频信号的高频成分的能量或功率，并结合时间上的变化分析，来估计雨滴的密度。使用快速傅里叶变换将音频信号转换为频谱图，然后通过统计高频区域的能量或功率来估计雨滴密度。可选的，利用音频信号在传播过程中的衰减特性，通过分析音频信号随距离的衰减规律，来估计雾气浓度。根据声学衰减模型，将音频信号的强度与距离建立关系，并通过反推来确定雾气浓度。可选的，通过分析音频中的高频爆裂声或尖锐声，并结合时间上的闪电事件检测算法，来判断闪电声音的存在。使用高通滤波器提取高频成分，然后应用峰值检测或频谱分析等方法来检测闪电声音。可选的，通过分析音频中细微响动或震动的特征，并结合时间上的事件相关性，来判断雪花落地声的特征。使用振动传感器记录音频信号，然后应用事件检测算法来检测雪花落地声。可选的，通过分析音频中的冲击声或撞击声，并结合时间上的冰雹事件检测算法，来判断冰雹撞击声的存在。使用麦克风记录音频信号，然后应用峰值检测或时域分析等方法来检测冰雹撞击声。可选的，可以通过分析音频中的脆响或颤动声，并结合时间上的低温事件检测算法，来判断霜冻结构声的特征。使用麦克风记录音频信号，然后应用频谱分析或振动分析等方法来检测霜冻结构声。

可选的，对每个音频特征，都进行特征向量分析，提取出其中的信息，如音高、音强、音色等，对分析后的音频进行进一步的处理，如降噪、压缩等。

进一步的，针对每个音频特征，将其数值进行标准化处理，使其具有相似的尺度。可以使用最小-最大归一化或Z-score标准化等方法。可选的，将经过标准化处理的各个音频特征值按顺序组合成一个向量，形成音频特征向量。可选的，将雨滴密度、雾气浓度、闪电声音等特征的数值按照一定的顺序排列，形成一个多维向量表示音频特征。

作为一种示例，对气象数据进行特征提取处理，获取与气象数据对应的气象特征向量，包括：对气象数据进行特征提取处理，得到气象数据对应的气象特征，气象数据包括与不同天气对应的特征，气象特征包括降雨、降雪、气压、湿度、风速风向、日照、闪电。可选的，从气象数据中提取降雨量的数值，例如每小时降雨量或每日降雨量等。可选的，通过气象数据中的温度和湿度等参数，结合降水形式的判断，来推测是否有降雪现象。可以使用标志位或二元变量表示降雪与否，或者使用数值表示降雪的强度。可选的，从气象数据中获取气压的数值，例如大气压强的绝对数值或相对数值，单位可以是帕斯卡(Pa)或百帕(hPa)。可选的，从气象数据中提取相对湿度或绝对湿度的数值，例如以百分比表示的相对湿度或以克每立方米表示的绝对湿度。可选的，从气象数据中获取风向和风速的数值，例如风向可以用角度表示(0°代表正北，90°代表正东，以此类推)，风速可以用米每秒(m/s)表示。可选的，从气象数据中获取日照时数的数值，例如每日或每月的累积日照时数。可选的，从气象数据中获取闪电的频率、强度和位置等信息，例如每小时、每日或每月的闪电次数。

进一步的，对音频特征进行向量化处理，得到气象特征向量。可选的，将上述提取得到的气象特征值按顺序组合成一个向量。例如，以降雨、降雪、气压、湿度、风速风向、日照、闪电的顺序排列，形成一个多维向量。进一步的，对气象特征向量进行标准化处理，确保各个特征具有相似的尺度。例如，可以使用最小-最大归一化方法将每个特征的值缩放到0到1的范围内，或使用Z-score标准化方法将每个特征的值转换为均值为0、标准差为1的分布。

作为一种示例，图像特征是通过提取处理后的图像的颜色直方图、纹理特征、以及边缘特征得到的，音频特征向量是通过提取处理后的音频的时域上的声纹特征得到的，气象特征是通过提取气象数据中各个气象特征得到的，分别对图像、音频和气象数据进行特征提取处理，获取与图像对应的图像特征向量、与音频对应的音频特征向量和与气象数据对应的气象特征向量，包括：分别计算图像特征、音频特征和气象特征的目标统计信息或目标特征描述子。可选的，将图像转换为HSV(色相、饱和度、明度)颜色空间，将每个通道划分为多个离散的区间，统计每个区间内的像素数目，得到颜色直方图。进一步的使用纹理特征提取算法(如LBP、GLCM等)，计算图像中每个局部区域的纹理信息，得到纹理特征。进一步的，使用边缘检测算法(如Canny、Sobel等)，检测图像中的边缘信息，得到边缘特征。进一步的，对处理后的音频信号进行分帧处理，然后通过短时傅里叶变换(STFT)将每个帧转换到频域，提取频谱信息。接着，计算每个频谱帧的能量、过零率、频谱平均值等时域特征，得到时域声纹特征向量。上述音频特征的提取的实施方式还可以是基于频域的特征提取、基于倒谱的特征提取、基于线性预测编码(Linear Prediction Coding,LPC)的特征提取或于梅尔频率倒谱系数(Mel-Frequency Cepstral Coefficients,MFCC)的特征提取等，本申请对音频特征的提取不做限制。对气象数据进行预处理，包括数据清洗和归一化处理。然后提取各个气象特征，如温度、湿度、风速、气压等参数，得到气象特征向量。

对图像特征进行统计分析，如计算均值、方差、最大值、最小值等统计信息，或使用主成分分析(PCA)得到目标特征描述子。

对音频特征进行统计分析，如计算均值、方差、最大值、最小值等统计信息，或使用MFCC(梅尔频率倒谱系数)等方法得到目标特征描述子。

对气象特征进行统计分析，如计算均值、方差、最大值、最小值等统计信息，或提取特定的目标特征描述子，如气温变化趋势、湿度变化幅度等。

进一步的，根据图像特征对应的目标统计信息或目标特征描述子，对图像特征进行向量化处理，得到图像特征向量，根据音频特征对应的目标统计信息或目标特征描述子，对音频特征进行向量化处理，得到音频特征向量，据气象特征对应的目标统计信息或目标特征描述子，对气象特征进行向量化处理，得到气象特征向量。可选的，将图像特征的目标统计信息或目标特征描述子转化为数值向量，可以使用独热编码、归一化等方式。类似地，将音频特征和气象特征的目标统计信息或目标特征描述子也进行向量化处理。

步骤203，根据图像特征向量、音频特征向量和气象特征向量，生成气象预测。

在本申请实施例中，将得到的图像特征向量、音频特征向量和气象特征向量进行组合：可选的，可以使用多层感知器(Multilayer Perceptron,MLP)等方法在特征空间中学习联合特征映射，或使用卡方检验、皮尔逊相关系数等方法筛选有用的特征。可选的，还可以使用回归分析、时间序列预测等方法将不同类型的特征进行组合。进一步的，基于组合后的特征向量，使用预先训练好的模型或算法进行气象预测生成。可以使用支持向量回归(Support Vector Regression,SVR)、随机森林(Random Forest)、深度神经网络(DeepNeural Networks,DNN)等机器学习模型进行气象预测。进一步的，还可以使用自回归移动平均模型(Autoregressive Integrated Moving Average,ARIMA)等时间序列预测模型进行气象预测。本申请中不做限制。

作为一种示例，根据图像特征向量、音频特征向量和气象特征向量，生成气象预测，包括：对图像特征向量、音频特征向量和气象特征向量进行分组编码、向量融合以及解码处理后，生成气象预测。可选的，使用图像处理技术(例如卷积神经网络)提取出图像的特征向量。对提取得到的特征向量进行归一化处理，确保特征向量数值范围在一定的范围内。将归一化后的特征向量转化为二进制表示，例如使用哈希编码或独热编码。

使用音频处理技术(例如短时傅里叶变换、语音识别模型等)提取出音频的特征向量。对提取得到的特征向量进行归一化处理，确保特征向量数值范围在一定的范围内。将归一化后的特征向量转化为二进制表示，例如使用哈希编码或独热编码。

收集气象数据，包括温度、湿度、气压等。对收集到的气象数据进行预处理，例如去除异常值、填充缺失值等。将预处理后的气象数据转化为二进制表示，例如使用哈希编码或独热编码。

进一步的，对编码后的图像特征向量、音频特征向量和气象特征向量进行向量融合，获取融合后的多模态特征向量。可选的，获取编码后的图像特征向量、音频特征向量和气象特征向量。可选的，对编码后的图像特征向量、音频特征向量和气象特征向量进行向量融合，将编码后的特征向量按照一定的规则进行连接，形成一个更长的特征向量。进一步的，可以使用加权融合的方法，给每个特征向量赋予不同的权重，然后将它们相加得到融合后的多模态特征向量。

进一步的，对多模态特征向量进行解码，生成气象预测。可选的，根据编码的方式，对多模态特征向量进行解码，将二进制码重新转化为图像特征向量、音频特征向量和气象特征向量。进一步的，将解码后的图像特征向量、音频特征向量和气象特征向量输入到气象预测模型中，进行气象预测。

可选的，气象预测模型可以是基于机器学习的模型，如神经网络、支持向量机等，也可以是基于统计方法的模型，如回归分析、时间序列分析等。

作为一种示例，对图像特征向量、音频特征向量和气象特征向量进行分组编码、向量融合以及解码处理后，生成气象预测，包括：将图像特征向量、音频特征向量和气象特征向量输入到气象预测模型，通过气象预测模型生成气象预测，气象预测模型是根据不同天气下的样本图像特征向量、样本音频特征向量以及样本气象特征向量训练得到的。可选的，针对输入数据中的图像、音频和气象信息，需要将其转换成特征向量的形式。对于图像和音频数据，可以采用卷积神经网络、循环神经网络等深度学习模型进行特征提取，得到对应的图像特征向量和音频特征向量。对于气象数据，可以采用常用的特征提取方法，例如出现频率最高的风向、风速、温度等指标，来生成气象特征向量。然后，需要对这些特征向量进行编码处理，例如使用哈希统计、主成分分析等技术来降维或压缩特征纬度，以便更好地表示和存储这些数据。

将编码后的图像特征向量、音频特征向量和气象特征向量进行向量拼接或加权求和，从而形成一个综合的特征表示。具体而言，通常采用的是简单的向量拼接方法，并将三个特征向量直接拼接成一个维度更高的特征向量，以便进一步处理和使用。

将融合后的特征向量输入到气象预测模型中进行训练和预测。通常，可以采用监督学习方法，如分类或回归等算法。具体而言，可以使用深度学习算法例如卷积神经网络来构建气象预测模型。在训练过程中，需要用来自不同天气状况下的样本数据来对模型进行训练，例如晴天、阴天、雨天等天气状态，以及对应的图像、音频和气象特征向量。通过训练生成的气象预测模型，可以对输入的融合特征向量进行预测，并得到气象预测结果。

将预测结果进行解码和处理，以便用户能够理解和使用。例如，如果输出的预测结果包括未来三天的天气情况，则需要将这些结果转换成易于理解的格式，例如温度曲线、降雨概率柱状图等。

进一步的，气象预测模型可以为基于注意力机制的多模态模型。

本申请通过获取当前采集时间段的图像和音频数据，可以获得目标地点的视觉和声音信息。这些图像和音频可以来自实时监测设备、摄像头、无人机等来源。根据这些图像和音频，进行特征提取处理，将其转化为对应的图像特征向量和音频特征向量。同时，也获取与目标地点对应的气象数据，包括温度、湿度、风速等信息。同样地，对气象数据进行特征提取处理，生成气象特征向量。最后，综合考虑图像特征向量、音频特征向量和气象特征向量，通过数据分析、机器学习或其他模型方法，生成气象预测。结合多源数据和多个特征向量进行气象预测，可以提高预测的精度和可信度。此外，该方法还可以应用于不同的场景，如天气预报、灾害预警等，为相关决策提供更准确的依据。

下面将说明本申请实施例在一个实际的应用场景中的示例性应用。

图3为本申请实施例提供的气象预测的生成方法的总体流程。如图3所示，该方法包括如下步骤301至步骤306：

步骤301，获取图像、音频和气象数据，其中图像可以是通过城市中的摄像头获取到的图像，音频可以是摄像头中内置的麦克风进行采集，气象数据可以通过当地气象站进行获取。

步骤302，对图像、音频和气象数据进行向量化，获取到图像、音频和气象数据的向量化表示，图像、音频和气象数据的向量化表示组成多模态特征向量化。

步骤303，对多模态特征向量化进行分组编码，获取到多模态特征向量化可被计算机直接识别的表示。

步骤304，对多模态特征向量化进行融合，获取融合后的多模态特征向量。

步骤305，对多模态特征向量化进行解码，获取解码后的多模态特征向量。

步骤306，根据解码后的多模态特征向量生成气象预测。

应该理解的是，虽然上述各流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述各流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

基于前述的实施例，本申请实施例提供一种气象预测的生成装置，该装置包括所包括的各模块，以及各模块所包括的各单元，可以通过处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等。

图4为本申请实施例提供的气象预测的生成装置的结构示意图，如图4所示，所述装置400包括获取模块401、处理模块402和生成模块403，其中：

获取模块401，用于获取图像、音频和气象数据，图像包括在当前采集时间段采集目标地点的视频中的部分图像，音频包括在当前采集时间段采集目标地点的音频，气象数据为在当前采集时间段的目标地点对应的气象数据；

处理模块402，用于分别对图像、音频和气象数据进行特征提取处理，获取与图像对应的图像特征向量、与音频对应的音频特征向量和与气象数据对应的气象特征向量；

生成模块403，用于根据图像特征向量、音频特征向量和气象特征向量，生成气象预测。

在一些实施例中，处理模块402，还用于对图像进行图像去噪、图像增强和图像几何校正处理，得到处理后的图像；

进一步的，处理模块402，还用于对处理后的图像进行特征提取处理，得到图像对应的图像特征，图像特征包括与不同天气对应的特征，图像特征包括雨线、雨雾模糊程度、太阳光圈、树木弯曲程度、参考物飘动方向；

进一步的，处理模块402，还用于对图像特征进行向量化处理，得到图像特征向量。

在一些实施例中，处理模块402，还用于对音频进行去除噪声、增强信号处理，得到处理后的音频；

进一步的，处理模块402，还用于对处理后的音频进行特征提取处理，得到音频对应的音频特征，音频特征包括与不同天气对应的特征，音频特征包括雨滴密度、雾气浓度、闪电声音、雪花落地声、冰雹撞击声、霜冻结构声；

进一步的，处理模块402，还用于对音频特征进行向量化处理，得到音频特征向量。

在一些实施例中，处理模块402，还用于对气象数据进行特征提取处理，得到气象数据对应的气象特征，气象数据包括与不同天气对应的特征，气象特征包括降雨、降雪、气压、湿度、风速风向、日照、闪电；

进一步的，处理模块402，还用于对音频特征进行向量化处理，得到气象特征向量。

在一些实施例中，处理模块402，还用于分别计算图像特征、音频特征和气象特征的目标统计信息或目标特征描述子；

进一步的，处理模块402，还用于根据图像特征对应的目标统计信息或目标特征描述子，对图像特征进行向量化处理，得到图像特征向量，根据音频特征对应的目标统计信息或目标特征描述子，对音频特征进行向量化处理，得到音频特征向量，据气象特征对应的目标统计信息或目标特征描述子，对气象特征进行向量化处理，得到气象特征向量。

在一些实施例中，生成模块403，还用于对图像特征向量、音频特征向量和气象特征向量进行编码，获取编码后的图像特征向量、音频特征向量和气象特征向量；

进一步的，生成模块403，还用于对编码后的图像特征向量、音频特征向量和气象特征向量进行向量融合，获取融合后的多模态特征向量；

进一步的，生成模块403，还用于对多模态特征向量进行解码，生成气象预测。

在一些实施例中，获取模块401，还用于获取历史图像的图像特征向量、历史音频的音频特征向量和历史气象数据的气象特征向量；

进一步的，生成模块403，还用于对历史图像的图像特征向量、历史音频的音频特征向量和历史气象数据的气象特征向量进行编码，获取编码后的历史图像特征向量、历史声音特征向量和历史数据特征向量；

进一步的，生成模块403，还用于对历史图像特征向量、历史音频特征向量和历史气象特征向量进行向量融合，获取融合后的多模态特征向量，向量融合的机制为注意力机制；

进一步的，生成模块403，还用于对多模态特征向量进行解码，生成气象预测模型，气象预测模型为Transformer模型。

在一些实施例中，生成模块403，还用于将图像特征向量存储在图像特征存储库、将音频特征向量存储在音频特征存储库和将气象特征向量存储在气象特征存储库；

进一步的，生成模块403，还用于根据图像特征存储库、音频特征存储库和气象特征存储库建立融合映射关系。

以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

需要说明的是，本申请实施例中图4所示的气象预测的生成装置对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。也可以采用软件和硬件结合的形式实现。

需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得电子设备执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。

本申请实施例提供一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述方法。

本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中提供的方法中的步骤。

本申请实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述方法实施例提供的方法中的步骤。

本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，本申请提供的气象预测的生成装置可以实现为一种计算机程序的形式，计算机程序可在如图5所示的计算机设备上运行。计算机设备的存储器中可存储组成上述装置的各个程序模块。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的方法中的步骤。

这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请存储介质、存储介质和设备实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”或“一些实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”或“在一些实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如对象A和/或对象B，可以表示：单独存在对象A，同时存在对象A和对象B，单独存在对象B这三种情况。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者设备中还存在另外的相同要素。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个模块或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或模块的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的模块可以是、或也可以不是物理上分开的，作为模块显示的部件可以是、或也可以不是物理模块；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部模块来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能模块可以全部集成在一个处理单元中，也可以是各模块分别单独作为一个单元，也可以两个或两个以上模块集成在一个单元中；上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得电子设备执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。

本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。

本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。

以上所述，仅为本申请的实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (11)

1.一种气象预测的生成方法，其特征在于，所述方法包括：

获取图像、音频和气象数据，所述图像包括在当前采集时间段采集目标地点的视频中的部分图像，所述音频包括在所述当前采集时间段采集所述目标地点的音频，所述气象数据为在所述当前采集时间段的所述目标地点对应的气象数据；

分别对所述图像、所述音频和所述气象数据进行特征提取处理，获取与所述图像对应的图像特征向量、与所述音频对应的音频特征向量和与所述气象数据对应的气象特征向量；

根据所述图像特征向量、所述音频特征向量和所述气象特征向量，生成气象预测。

2.根据权利要求1所述的方法，其特征在于，所述对所述图像进行特征提取处理，获取与所述图像对应的图像特征向量，包括：

对所述图像进行图像去噪、图像增强和图像几何校正处理，得到处理后的图像；

对所述处理后的图像进行特征提取处理，得到所述图像对应的图像特征，所述图像特征包括与不同天气对应的特征，所述图像特征包括雨线、雨雾模糊程度、闪电、雪花、冰雹、太阳光圈、树木弯曲程度、参考物飘动方向；

对所述图像特征进行向量化处理，得到所述图像特征向量。

3.根据权利要求1所述的方法，其特征在于，所述对所述音频进行特征提取处理，获取与所述音频对应的音频特征向量，包括：

对所述音频进行去除噪声、增强信号处理，得到处理后的音频；

对所述处理后的音频进行特征提取处理，得到所述音频对应的音频特征，所述音频特征包括与不同天气对应的特征，所述音频特征包括雨滴密度、雾气浓度、闪电声音、雪花落地声、冰雹撞击声、霜冻结构声；

对所述音频特征进行向量化处理，得到所述音频特征向量。

4.根据权利要求1所述的方法，其特征在于，所述对所述气象数据进行特征提取处理，获取与所述气象数据对应的气象特征向量，包括：

对所述气象数据进行特征提取处理，得到所述气象数据对应的气象特征，所述气象数据包括与不同天气对应的特征，所述气象特征包括降雨、降雪、气压、湿度、风速风向、日照、闪电；

对所述音频特征进行向量化处理，得到所述气象特征向量。

5.根据权利要求2-4任一所述的方法，其特征在于，所述图像特征是通过提取所述处理后的图像的颜色直方图、纹理特征、以及边缘特征得到的，所述音频特征向量是通过提取所述处理后的音频的时域上的声纹特征得到的，所述气象特征是通过提取气象数据中各个气象特征得到的，所述分别对所述图像、所述音频和所述气象数据进行特征提取处理，获取与所述图像对应的图像特征向量、与所述音频对应的音频特征向量和与所述气象数据对应的气象特征向量，包括：

分别计算所述图像特征、所述音频特征和所述气象特征的目标统计信息或目标特征描述子；

根据所述图像特征对应的所述目标统计信息或所述目标特征描述子，对所述图像特征进行向量化处理，得到所述图像特征向量，根据所述音频特征对应的所述目标统计信息或所述目标特征描述子，对所述音频特征进行向量化处理，得到所述音频特征向量，据所述气象特征对应的所述目标统计信息或所述目标特征描述子，对所述气象特征进行向量化处理，得到所述气象特征向量。

6.根据权利要求5所述的方法，其特征在于，所述根据所述图像特征向量、所述音频特征向量和所述气象特征向量，生成气象预测，包括：

对所述图像特征向量、所述音频特征向量和所述气象特征向量进行分组编码、向量融合以及解码处理后，生成气象预测。

7.根据权利要求6所述的方法，其特征在于，所述对所述图像特征向量、所述音频特征向量和所述气象特征向量进行分组编码、向量融合以及解码处理后，生成气象预测，包括：

将所述图像特征向量、所述音频特征向量和所述气象特征向量输入到气象预测模型，通过所述气象预测模型生成所述气象预测，所述气象预测模型是根据不同天气下的样本图像特征向量、样本音频特征向量以及样本气象特征向量训练得到的。

8.根据权利要求7所述的方法，其特征在于，所述气象预测模型为基于注意力机制的多模态模型。

9.一种气象预测的生成装置，其特征在于，包括：

获取模块，用于获取图像、音频和气象数据，所述图像包括在当前采集时间段采集目标地点的视频中的部分图像，所述音频包括在所述当前采集时间段采集所述目标地点的音频，所述气象数据为在所述当前采集时间段的所述目标地点对应的气象数据；

处理模块，用于分别对所述图像、所述音频和所述气象数据进行特征提取处理，获取与所述图像对应的图像特征向量、与所述音频对应的音频特征向量和与所述气象数据对应的气象特征向量；

生成模块，用于根据所述图像特征向量、所述音频特征向量和所述气象特征向量，生成气象预测。

10.一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至8任一项所述方法的步骤。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至8任一项所述的方法。