CN113642741B - 模型、数据生成方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开提供了模型生成方法、数据生成方法、装置、电子设备及存储介质，涉及深度学习和计算机视觉领域。实现方案为：获取基础模型，所述基础模型用于根据第一输入数据，输出第一输出数据；所述第一输入数据对应的数据单位为第一数据单位，所述第一输出数据对应的数据单位为第二数据单位；调用N次所述基础模型，得到N个第一输出数据，N为不小于2的整数；基于第一真值和所述N个第一输出数据，训练所述基础模型，得到训练后的基础模型；基于所述训练后的基础模型，生成目标模型。本公开实施例能够提高模型使用和部署的灵活性。

Description

模型、数据生成方法、装置、电子设备及存储介质

技术领域

本公开涉及计算机技术领域，尤其涉及深度学习和计算机视觉领域，具体涉及一种模型生成方法、数据生成方法、装置、电子设备及存储介质。

背景技术

随着计算机技术的发展，计算机学科的分支也越来越多，人们生活的各方各面都享受到了来自计算机技术改进所带来的利益。计算机技术与其它技术领域的交叉范围也快速扩大。

机器学习模型、深度学习模型就是计算机学科与生物学等其它学科交叉的产物，这些模型能够利用计算能力和已知数据，对未来的某些数据进行预测。在利用模型进行预测时，一般需要输入实际检测的数据，模型根据输入数据和模型参数，经过一系列计算，得到输出数据。

发明内容

本公开提供了一种模型生成方法、数据生成方法、装置、电子设备及存储介质。

根据本公开的一方面，提供了一种模型生成方法，包括：

获取基础模型，基础模型用于根据第一输入数据，输出第一输出数据；第一输入数据对应的数据单位为第一数据单位，第一输出数据对应的数据单位为第二数据单位；

调用N次基础模型，得到N个第一输出数据，N为不小于2的整数；

基于第一真值和N个第一输出数据，训练基础模型，得到训练后的基础模型；

基于训练后的基础模型，生成目标模型。

根据本公开的另一方面，提供了一种数据生成方法，其中，包括：

将目标输入数据输入目标模型，得到目标输出数据，其中，目标模型为本公开任意一项实施例所提供的目标模型。

根据本公开的另一方面，提供了一种模型生成装置，包括：

获取模块，用于获取基础模型，基础模型用于根据第一输入数据，输出第一输出数据；第一输入数据对应的数据单位为第一数据单位，第一输出数据对应的数据单位为第二数据单位；

调试模块，用于调用N次基础模型，得到N个第一输出数据，N为不小于2的整数；

训练模块，用于基于第一真值和N个第一输出数据，训练基础模型，得到训练后的基础模型；

目标模型获取模块，用于基于训练后的基础模型，得到目标模型。

根据本公开的另一方面，提供了一种数据生成装置，其中，包括：

输入模块，用于将第四输入数据输入目标模型，得到目标输出数据，其中，目标模型为本公开任意一项实施例所训练得到的目标模型。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与该至少一个处理器通信连接的存储器；其中，

该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开任一实施例中的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行本公开任一实施例中的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本公开任一实施例中的方法。

根据本公开的技术，能够将输出数据的数据单位调大或调小，进而改变模型预测精度，提高模型使用和部署的灵活性。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开一实施例的模型生成方法示意图；

图2是根据本公开另一实施例的模型生成方法示意图；

图3是根据本公开又一实施例的模型生成方法示意图；

图4是根据本公开一实施例的数据生成方法示意图；

图5是根据本公开一示例的模型生成方法示意图；

图6是根据本公开一示例的模型训练框架示意图；

图7是根据本公开一实施例的模型生成装置示意图；

图8是根据本公开另一实施例的模型生成装置示意图；

图9是根据本公开又一实施例的模型生成装置示意图；

图10是根据本公开又一实施例的模型生成装置示意图；

图11是根据本公开又一实施例的模型生成装置示意图；

图12是根据本公开又一实施例的模型生成装置示意图；

图13是根据本公开又一实施例的模型生成装置示意图；

图14是根据本公开又一实施例的模型生成装置示意图；

图15是根据本公开又一实施例的模型生成装置示意图；

图16是根据本公开又一实施例的数据生成装置示意图；

图17是用来实现本公开实施例的模型生成方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

本公开实施例首先提供一种模型生成方法，如图1所示，包括：

步骤S11：获取基础模型，基础模型用于根据第一输入数据，输出第一输出数据；第一输入数据对应的数据单位为第一数据单位，第一输出数据对应的数据单位为第二数据单位；

步骤S12：调用N次基础模型，得到N个第一输出数据，N为不小于2的整数；

步骤S13：基于第一真值和N个第一输出数据，训练基础模型，得到训练后的基础模型；

步骤S14：基于训练后的基础模型，生成目标模型。

本实施例中，基础模型可以是一种具有完整的预测功能的模型，能够根据一定的输入数据，输出相应的输出数据。预测功能可以是模型根据已知的输入数据生成输出数据，采用输出数据预测某个未知数据的功能。

基础模型可以是已经完成一定训练的模型，比如，步骤S11中所采用的基础模型，可以为使用样本数据和第一输出数据，对待训练的基础模型进行训练或优化后得到的基础模型。

第一数据单位，可以是采集步长，即可以是原始采集数据对应的采集单位，该原始采集数据用于计算第一输入数据。比如，若是按照一定时间段进行原始采集数据采集的，则第一数据单位可以是第一时间段。若是按照一定面积进行原始采集数据采集的，则第一数据单位可以是第一面积。具体例如，输入数据可以是根据10分钟内累计采集的原始数据计算得到的，或者可以是根据1平方米内累计采集到原始数据计算得到的，或者是每隔十分钟采集一次的原始数据计算得到的，或者是每隔2米采集一次的原始数据计算得到的等。

第二数据单位，可以是预测步长，即输出数据的输出单位。比如，若是按照一定时间段进行预测，则第二数据单位可以是第二时间段。若是按照一定面积进行预测的，则第一输出单位可以是第二面积。具体例如，输出数据可以是对未来一天进行预测的数据，或者可以是对未来一个星期进行预测的数据，或者是对1千米进行预测的预测数据等。

进一步的，假设一个污染指标目标模型，能够根据污染物附近5米范围内的第一污染指标参数，预测出污染物附近1千米范围内的第二污染指标参数。则在本实施例中，第一输入数据为第一污染指标参数，第一输入数据的数据单位即第一数据单位为5米，第一输出数据为第二污染指标参数，第一输出数据的数据单位即第二数据单位为1千米。

进一步的，假设一个车流量目标模型，能够根据1天内采集的车流量预测参数，预测出未来一个星期内的车流量。则在本实施例中，第一输入数据为车流量预测参数，第一输出数据为车流量。第一输入数据的数据单位即第一数据单位为1天，第一输出数据的数据单位即第二数据单位为1个星期。

进一步的，假设一个河流数据目标模型，根据每隔3米采集到的原始数据计算得到的第一中间数据，预测1千米范围内的目标数据，则第一输入数据为第一中间数据，第一输出数据为目标数据。第一输入数据的数据单位即第一数据单位为3米，第一输出数据的数据单位即第二数据单位为1千米。

本实施例中，第一数据单位与第二数据单位，可以是不同大小的单位或范围，存在包含或被包含的关系，或者存在交叉关系。比如，第一数据单位为第一时间段，第二采集单位为第二时间段。第一数据单位为第一长度，第二采集单位为第二长度。再如，第一数据单位为第一海拔范围，第二采集单位为第二海拔范围等。

在其它实施例中，第一数据单位与第二数据单位也可以是大小相同的单位或范围。比如，车流量预测模型可以根据2天内的天气状况预测2天内的车流量，则第一数据单位为2天，第二数据单位也为2天。

在一种实现方式中，N可以为根据第一数据单位和第二数据单位计算获得的整数。

第一真值可以是与第二数据单位对应的真值。在一种具体实现方式中，第一真值可以是训练基础模型时采用的真值。

调用N次基础模型，可以是每次调用基础模型时，均输入不同的第一输入数据，比如在第二数据单位的时间内的不同时间点采集到的第一输入数据。N次基础模型调用时，输入基础模型的输入数据，可以是第二数据单位内采集到的原始采集数据计算获得；比如：第一数据单位和第二数据单位均是时间单位，N次调用基础模型时的输入数据，最早为X时刻采集，最晚为Y时刻采集，且Y-X＜第二数据单位，则可以对X-X+第二数据单位时间段内的数据进行预测。若第一数据单位和第二数据单位为长度单位、面积单位等其它单位，则可采用类似的方式确定预测数据对应的范围。

在另外一种实现方式中，调用N次基础模型时，每次调用基础模型对应输入的第一输入数据可以是相同的数据，即基于同样的原始采集数据获得的第一输入数据。

本实施例中，基于训练后的基础模型，生成目标模型，可以是采用与基础模型同样框架的模型作为目标模型，将训练后的基础模型的内部参数迁入目标模型中。

本实施例中，能够调用N次基础模型，根据N次调用的输出数据以及实际采集到的真值数据，对基础模型进行优化，N的具体数值可以根据对基础模型的第一输出数据的第二数据单位的调整需要进行取值，从而能够调整基础模型的输出数据的数据单位。

在一种实施方式中，调用N次基础模型，得到N个第一输出数据，包括：

利用模型调用框架调用N次基础模型，得到N个第一输出数据。

本实施例中，采用模型调用框架对基础模型进行调用，利用模型调用框架和基础模型生成新的模型，从而能够采用模型训练方式对调试模型进行训练，同时也使得基础模型得到训练。

在一种实施方式中，基于第一真值和N个第一输出数据，训练基础模型，包括：

利用基础模型和模型调用框架，生成待训练的调试模型；

基于N个第一输出数据，获取待训练的调试模型的第二输出数据；

根据第二输出数据与第一真值之间的差异，训练待训练的调试模型，以使得基础模型同时得到训练，得到训练后的基础模型。

本实施例中，根据基础模型和模型调用框架，生成待训练的调试模型，可以是将基础模型配置于或嵌入模型调用框架之中，得到调试模型。

在可能的实现方式中，模型调用框架的作用相当于在基础模型输入层前、输出层后添加处理层。根据模型调用框架在基础模型输入层前、输出层后添加数据处理层，所得到的模型就可以是调试模型。

模型调用框架可以用于调用N次基础模型，根据N次调用基础模型获得的第一输出数据，得到待训练的调试模型的第二输出数据，则模型调用框架可以在调试模型的数据处理过程中，可以根据第一输入数据，获得基础模型的第一输出数据；模型调用框架可以反复调用N次基础模型，获得N个第一输出数据，将N次调用生成的第一输出数据进行累加，根据累加之和获得第二输出数据。

根据第二输出数据与第一真值之间的差异，训练待训练的调试模型，可以包括根据第二输出数据与第一真值之间的差异，对调试模型的模型调用框架和对应调用的基础模型进行优化，实现调试模型的训练。

根据第二输出数据与第一真值之间的差异，训练待训练的调试模型，还可以是根据第二输出数据与第一真值之间的差异，对调试模型的模型调用框架所调用的基础模型进行优化，实现调试模型的训练。

本实施中，根据训练后的调试模型的模型调用框架所调用的基础模型，获得目标模型，可以包括根据训练后的调试模型对应的基础模型，获得目标模型。还可以包括根据训练后的调试模型对应的模型调用框架，获得目标模型。

目标模型的输入数据和输出数据的数据单位之间的差异，可以与基础模型不同。比如，目标模型的输入数据的数据单位和输出数据的数据单位之间的差异，可以小于或大于基础模型的输入数据的数据单位和输出数据的数据单位之间的差异。

本实施例中，基础模型和调试模型可以是用于对任意类型的数据进行预测的模型，比如，可以是纯数字数据、图像数据、文档数据、音频数据等。可以是任意领域的目标模型，比如交通运输领域、大数据领域、人工智能领域等。

本实施例中，利用调试模型，调用N次基础模型，根据N次调用时基础模型的输出数据，获得调试模型的输出数据，根据调试模型的输出数据和对应的真值对调试模型进行训练，从而能够在采集数据的单位和真值数据的单位固定的情况下，对基础模型的预测单位进行调整，改变基础模型的采集单位和预测单位之间的相对差异，进而使得基础模型的输入数据和输出数据的单位设置更加灵活，以提高基础模型的部署和使用的灵活程度。

在一种实施方式中，获取基础模型，包括：

将第一输入数据，输入初始基础模型，得到第一输出数据；

根据第一输出数据与第二真值之间的差异，对初始基础模型进行训练，得到基础模型。

本实施例中，第二真值，可以是与第二数据单位对应的真值。比如，第一输入数据根据分钟级别的时间间隔所采集得到的原始采集数据获得，第一输出数据为小时级别的预测数据。则第二真值也为小时级别的实际真值数据。

在一种实施方式中，第二真值与第一真值对应的数据单位相同。

本实施例中，获取基础模型，还可以是直接获取已完成根据第二真值进行训练的基础模型。

本实施例中，基础模型为经过预先训练的基础模型，从而基础模型能够输出较为准确的预测数据，使得后续采用调试模型进行训练的过程也更为准确。

在一种实施方式中，基于N个第一输出数据，获取待训练的调试模型的第二输出数据，包括：

将N次调用基础模型获得的第一输出数据累加之和，作为第二输出数据。

本实施例中，N次调用基础模型获得的N个第一输出数据，可以是根据相同的第一输入数据获得的第一输出数据，或不同的第一输入数据获得的第一输出数据。

在N为大于等于2的整数的情况下，基础模型的N次调用的第一输出数据之和与第一真值参与模型损失值的计算，根据损失值优化调用基础模型的调试模型，从而在完成调试模型的训练的同时也能够对基础模型进行调整，缩小基础模型输出的预测结果的预测单位，使得预测范围得到调整。

在一种实施方式中，基于N个第一输出数据，获取待训练的调试模型的第二输出数据，包括：

将N次调用基础模型获得的第一输出数据累加之和，与N的商，作为第二输出数据。

本实施例中，假设第二数据单位包括N个第一数据单位。比如，第二数据单位为10分钟，即在第10、20、30、40、50、60……分钟进行原始采集数据的采集，根据在这些时间点采集到的原始采集数据分别计算第一输入数据。第二数据单位为1小时，即基础模型能够根据第10、20……分钟采集到的原始采集数据对应获得的第一输入数据进行预测，获得从第10分钟起至第1小时10分钟之内的时间段的第一输出数据作为预测数据(也可以是从第0分钟起至第1小时之内的时间段的预测数据)。

在一些实施方式中，可以将1小时内多次采集的原始采集数据进行平均计算，获得相应的第一输入数据。比如，可以将1小时内，以10分钟的时间间隔获得的雷达回波反射图像进行像素平均，得到平均值图像，根据平均值图像，获得第一输入数据。

本实施例中，将第1次至第N次调用基础模型所获得的第一输出数据进行累加，将累加之和与N的商作为调试模型的输出数据，将调试模型的输出数据与第二数据单位对应的真值进行对比，以计算损失值。最终根据损失值训练调试模型，从而，获得的调试模型对应的基础模型的输入数据和输出数据的单位大致相等。即，基础模型的第一数据单位等于第二数据单位，进而获得的基础模型能够根据第二数据单位内任意第一数据单位的时间点采集到的原始采集数据对应的第一输入数据，输出第二数据单位内的第一输出数据。

比如，第一数据单位为高度范围H，第二数据单位为高度范围L(2米等)，基础模型能够根据H范围内采集到的原始采集数据获得的第一输入数据，输出L范围内的第一输出数据作为预测值。则根据本实施例训练获得的基础模型，能够根据0+H、0+2H等高度范围采集到的原始采集数据获得的第一输入数据，分别获得L范围内的预测数据(假设L大于2H)。

在一种实施方式中，基于训练后的基础模型，生成目标模型，包括：

将训练后的基础模型，作为目标模型。

本实施例中，能够将调试模型所调用的基础模型，直接作为目标模型，从而，能用便捷迅速的方式，获得目标模型。

在一种实施方式中，基于训练后的基础模型，生成目标模型，包括：

将训练后的基础模型进行输入数据调整训练，使输入数据调整训练后的基础模型能够根据第三输入数据输出第一输出数据；第三输入数据为用于获取第一输入数据的原始采集数据；

将输入数据调整训练后的基础模型作为目标模型。

本实施例中，将训练后的调试模型的模型调试框架所调用的基础模型进行输入数据调整训练，可以是在基础模型的基础上，增加一层待调整的数据处理层，新增的数据处理层能够起到将原始采集数据换算为第一输入数据的作用。新增的待调整层，可以是参数固定的数据处理层，也可以是能够随着训练过程进行参数优化的神经网络层。

本实施例中，可采用一定的微调方式，对于基础模型架构相同的待调试目标模型进行微调，使得微调后的目标模型能够根据原始采集数据直接输出预测数据，从而减少原始采集数据的计算或预处理操作。

在一种实施方式中，N＝第二数据单位/第一数据单位。

本实施例中，在第二数据单位正好为第一数据单位的N倍的情况下，N可以为二者之商。

在计算N时，应当将第二数据单位和第一数据单位换算至同样的计量级别，比如，若第二数据单位为米，第一数据单位为厘米，则将第二数据单位换算为100厘米，再计算第二数据单位和第一数据单位的商。

在第二数据单位无法整除第一数据单位的情况下，N可以为二者之商的取整后的数值。

在第二数据单位无法整除第一数据单位的情况下，也可以根据能够整除第一数据单位和第二数据单位的最小单位确定N的数值。比如可以设置N为该最小单位与第一数据单位的商，设置真值对应的单位为该最小单位。

本实施例中，将N设置为第二数据单位和第一数据单位之商，从而能够将预测单位调试至于采集单位一致。

在一种实施方式中，第一数据单位包括第一时间段、第二数据单位包括第二时间段、第一输入数据包括降水量图像、第一输出数据包括降水量图像，如图2所示，模型生成方法还包括：

步骤S21：获得第一时间段内的雷达回波反射率图像；

步骤S22：根据雷达回波反射率图像，计算降水强度图像；

步骤S23：根据降水强度图像和第二时间段，获得第一时间段的降水量图像，作为第一输入数据。

本实施例中，基础模型可以用于根据第一时间段的降水量，预测第二时间段的降水量。

第一时间段内采集到的雷达回波反射率图像可以是前述实施例中提到的原始采集数据。

在另一种实施例中，可以根据雷达回波反射率图像，计算第一时间段内或第二时间段内的降水强度图像，将降水强度图像作为第一输出数据。

本实施例中，雷达回波反射率图像可以是一定地域范围内的多个采集点的雷达回波反射率数据的图像。比如，一个城市范围内的多个采集点的雷达回波反射率数据的图像，在城市范围内的图像区域中，每个采集点均有表示雷达回波反射率大小的元素或图标。

降水强度图像可以是一定地域范围内的多个采集点的降水强度数据的图像。降水强度数据可以是单位时间内降水强度的预测数值。

根据降水强度图像和第二时间段，获得第一时间段的降水量图像，可以是将降水强度与第二时间段的乘积，作为降水量，根据一定范围内的多个检测点的降水量，获得该范围内的降水量图像。

雷达估测降水技术是致力于寻找一种将雷达回波反射率场反演为降水场的技术。它的目标是反演后的降水场和真实降水场之间的误差尽可能的小。一般情况下，雷达回波反射率数据采集的时间间隔为分钟级别(比如10分钟)，而预测降水量的时间级别为小时级别(比如1小时)，降水预测的时间分辨率较低。本实施例中，将模型生成方法应用于雷达估测降水技术领域中，从而能够调整目标模型，使得雷达回波反射率的采集时间段与降水量的预测时间段一致，改变预测降水量时的时间分辨率。

本实施例中，基础模型可以用于根据分钟级别的雷达回波反射率图像预测未来小时级别的时间内的降水量的图像。

在一种实施方式中，获得第一时间段内的雷达回波反射率图像，还包括：

对第一时间段内采集的原始雷达回波反射率图像进行图像切分，得到多个子图像；

将多个子图像按照有效数据点比例进行筛选，以得到有效子图像；

将有效子图像作为第一时间段内的雷达回波反射率图像。

本实施例中，原始雷达回波反射率图像可以是未经尺寸调整处理的、直接由图像采集装置采集到的雷达回波反射率图像。

本实施例中，对第一时间段内采集到的原始雷达回波反射率进行图像切分，可获得原始雷达回波反射率图像的多个子图像，即原始采集到的雷达回波反射率图像范围内的多个子范围的图像。

原始雷达回波反射率图像可以是一定地域范围内的多个采集点的雷达回波反射率数据的图像。比如，一个城市范围内的多个采集点的雷达回波反射率数据的图像，在城市范围内的图像区域中，每个采集点均有表示雷达回波反射率大小的元素或图标。

原始雷达回波反射率图像进行图像切分后的子图像，可以包括原始范围的子范围内，至少一个了采集点的雷达回波反射率数据。

本实施例中，有效数据点可以是非缺测点。有效数据点比例，可以是子图像中的有效数据点与子图像中的总数据点的比例。

本实施例中，通过对原始雷达回波反射率图像进行切分，生成多个子图像，从而能够缩小模型一次性处理数据的数量，提高处理速度和精度。

在一种实施方式中，基于N个第一输出数据，获取待训练的调试模型的第二输出数据，包括：

根据第一输入数据以及原始雷达回波反射图像中的图像特征，获取与原始雷达回波反射率图像相同尺寸的输出数据图像；

根据原始雷达回波反射率图像相同尺寸的输出数据图像，获取第二输出数据。

本实施例中，模型调用框架可以是输入数据、输出数据均为图像，且输入数据的图像大小与输出数据的图像大小一致的框架，比如U-Net(U形网络)。

通过模型调用框架将子图像还原为原始大小的图像，从而最终获得的输出数据中，不会丢失原始图像范围中的区域。

在一种实施方式中，如图3所示，模型生成方法还包括：

步骤S31：筛选第一输入数据中符合预设条件的数据，作为目标第一输入数据；基础模型用于根据目标第一输入数据，输出第一输出数据。

本实施例中，可以通过筛选训练集中的目标第一输入数据，对基础模型进行增强训练。增强训练所采用的目标第一输入数据可以是满足一定阈值条件的训练数据。比如，针对根据雷达回波反射率预测降水量的基础模型，增强训练数据可以是降水强度达到一定阈值的数据。

在其它实施例中，目标第一输入数据可以是在原始采集的训练数据集中，分布较少的训练数据。

本实施例中，能够调整训练数据的分布，获得优化增强的目标模型，从而，得到的目标模型具有更全面的预测功能，不仅针对一般情况具有准确的预测性，针对少数情况、突发情况等也能够具有更为准确的预测功能。当应用于雷达回波反演降水强度的时候，能够提高模型针对短时强降水的预测能力。

本公开实施例还提供一种数据生成方法，如图4所示，包括：

步骤S41：将目标输入数据输入目标模型，得到目标输出数据，其中，目标模型为本公开任意一项实施例所生成的目标模型。

本公开实施例中，数据生成方法可以是训练或优化后的任意目标模型根据输入数据生成输出数据的方法。

本公开一示例中，模型生成方法应用于根据雷达回波反射率预测降水量。具体包括如图5所示的步骤：

步骤S51：数据预处理。

将采集到的雷达回波反射率图像进行图像分割处理，将原始采集的雷达回波反射率图像分割成多个子图，子图大小可以根据计算资源和计算能力适当增大或缩小。比如，计算资源少时子图小，分割时尽量将回波多的位置覆盖。分割所获得的多个子图总面积覆盖原始采集的雷达回波反射率图像面积，不同子图之间可以有重叠，从而增加样本量，节约计算资源而且能让模型更容易收敛。

进一步进行筛选子图，删除有效数据点(即，非缺测点)数少于总数据点数10％(该比例可以依照图像大小进行调整)的子图，其余可为有效子图。

筛选子图之后，可取剩余有效子图组成总样本，其中一部分子图作为基础模型训练集，另一部分子图可以作为基础模型测试集。比如，可将子图中80％个样本作为基础模型的训练集，20％个样本做基础模型的测试集。

本示例中，雷达回波反射率的原始采集的图像可以包括但不限于雷达组合反射率图，雷达混合反射率图、雷达垂直液态水含量图等不同种类的雷达反射率图。同时获得多种图像的情况下，可将多种图像汇聚在一起，同时得到一个集合数据，根据集合数据获得雷达回波反射率图像。

步骤S52：基础模型的输入输出设计。

目前普遍能获取的原始采集雷达回波反射率图像的时间间隔为10分钟，同时，能够获取到的降水量真值的时间间隔为1小时。因此，采用原始采集的雷达回波反射率图像进行降水量预测的基础模型，根据原始采集的雷达回波反射率图像和降水量真值进行训练，基础模型的输出为T时刻记录的过去1小时降水量，基础模型的输入为T-1时刻到T时刻之间的雷达回波反射率反演的降水。

其中，T-1时刻到T时刻之间的雷达回波反射率反演的降水的计算方法如下：获取1小时之内原始采集的雷达回波反射率图像，对原始采集的雷达回波反射率图像进行像素值平均计算，获得雷达回波反射率平均图像，利用Z-I关系将步骤S51中处理好的雷达回波反射率换算为小时降水量，Z-I关系可以是利用Z＝aI^b指数关系进行雷达估测降水计算，Z为降水量，I为雷达回波反射率。对于Z-I关系中的系数a、b，取经验系数即可。

步骤S53：确定输入输出图像尺寸不变的深度学习架构，作为模型调用架构。

本示例中，可以选用基于U-NET架构的编码-解码结构，先由RESNET34(残差网络34)架构提取输入图像特征，在还原时，根据图像特征，利用上采样方法重建原始大小的图像，从而保持图像的结构完整性，极大地减少失真。

在其它示例中，也可选其他架构来提取图像特征，比如，可采用普通卷积网络提取图像特征。

步骤S54：迁移学习。

可使用步骤S52中基础模型使用的训练集进行迁移学习过程中的训练，也可对步骤S52中使用的训练集进行重采样，将样本量相对多的进行减少，样本量相对较少的进行增加。

可不再对数据做Z-I关系换算，直接输入雷达回波反射率图像，输出数据不变。可通过对基础模型进行EPOCH的微调，当一个完整的数据集通过神经网络一次并且返回了一次，这个过程称为一次EPOCH，通过一次EPOCH可实现输入数据类型的变化，使得模型从输入输出数据均为降水量的模型变成输入数据为雷达回波反射率图像、输出数据为降水量的模型。

在迁移学习过程中，考虑到原始采集的雷达回波反射率图像的采集时间间隔，可调用6次基础模型，在模型调用框架的最后一层进行6个结果累加，将累加值作为小时降水量，与小时降水量真值一起计算LOSS(损失)。

在其它示例中，如果要建立输入任意分钟级雷达数据得到未来一小时降水量的模型，则模型调用框架内部最后一层进行6个结果平均，平均值为小时降水量，与小时降水量真值一起计算LOSS。

在其它示例中，调用基础模型的次数为60(真值获取的时间间隔)与雷达原始数据的采集时间间隔的比值，即，如果雷达原始数据的采集时间间隔为10分钟，则调用6次基础模型，如果雷达数据的时间间隔为5分钟，则调用12次基础模型。

在其它示例中，可能存在雷达时间间隔不是严格的等间隔的情况，那么调用基础模型的次数变为60分钟内雷达图片的个数，最后一层的输出为与雷达图片间隔时间相关的加权平均值。

步骤S55：针对短时强降水微调。

可以在微调时，从基础模型训练集中选取小时降水量平均值大于某一降水量阈值范围的图像作为微调训练集。其中降水量阈值根据要解决的问题确定，譬如若关心强降水量的准确性，需要增加强降水图片的数据量，则这一阈值设为1，即表示1mm/h。

选取完图像以后，通过图像旋转、翻转等方法做数据增强(图像切分成小块，小图中的降水量的平均值大于阈值的数量，则图像保留否则删掉)，增加短时强降水样本，如果强降水样本依然不足，可以进一步筛选更高降水量阈值范围的图像进行数据增加。

在数据增强的过程中可删除重复的图像，微调过程中可以不改变测试集。利用微调蓄念训练集对步骤S54中得到的模型进行微调，同样的该模型内部实际上调用了6次基础模型，然后在最后一层进行6个结果累加，累加值为小时降水量，与小时降水量真值一起计算LOSS，得到最优模型。

在其它实施例中，如果要建立输入任意分钟级雷达数据得到未来一小时降水量的模型，则模型内部最后一层进行6个结果平均，平均值为小时降水量，与小时降水量真值一起计算LOSS，得到最优模型。

步骤S56：模型推理。

保留步骤S55或步骤S54中最优模型中基础模型的权重作为推理模型的权重，从而得到输入任意分钟级雷达回波反射率、输出相对应的分钟级降水量的目标模型；或者得到输入任意分钟级雷达数据得到未来一小时降水量的目标模型。

本公开另一种示例中，基础模型的训练框架如图6所示。获取第二数据单位(一个小时)内的多张原始采集的雷达回波反射率图像，原始采集的雷达回波反射率图像可根据第一数据单位(十分钟)为间隔进行获取，针对多张图像，进行像素平均值的计算，获得一张输入数据图像。模型调用框架61多次调用基础模型，通过模型调用框架61的编码器(RESNET34)和基础模型编码器(trans conv，反卷积)，获得输出数据，即第二数据单位内的降冷水量，将降水量预测值与降水量真值进行比较和计算，获得损失值(loss)，根据损失值对模型调用框架61和被调用的基础模型构成的调试模型进行优化。获得优化后的模型，能够根据任意时间级别(分钟级别)的原始采集的雷达反射率图像数据(包括组合反射率CR、垂直液态水含量VIL、混合反射率HBR等)输出对应时间级别(分钟级别)的降水量预测数据。

本公开实施例还提供一种模型生成装置，如图7所示，包括：

获取模块71，用于获取基础模型，基础模型用于根据第一输入数据，输出第一输出数据；第一输入数据对应的数据单位为第一数据单位，第一输出数据对应的数据单位为第二数据单位；

调试模块72，用于调用N次基础模型，得到N个第一输出数据，N为不小于2的整数，N为不小于2的整数；

调试模型训练模块73，用于基于第一真值和N个第一输出数据，训练基础模型，得到训练后的基础模型；

目标模型获取模块74，用于基于训练后的调试模型，生成目标模型。

在一种实施方式中，如图8所示，训练模块包括：

第一输出数据单元81，用于利用模型调用框架调用N次基础模型，得到N个第一输出数据。

在一种实施方式中，如图9所示，训练模块包括：

调试模型单元91，用于根据基础模型和模型调用框架，生成待训练的调试模型；

第二输出数据单元92，用于基于N个第一输出数据，得到待训练的调试模型的第二输出数据；

数据处理单元93，用于根据第二输出数据与第一真值之间的差异，训练待训练的调试模型，使得基础模型同时得到训练，以得到训练后的基础模型。

在一种实施方式中，如图10所示，获取模块包括：

第一输入数据单元101，用于将第一输入数据，输入初始基础模型，得到第一输出数据；

基础模型训练单元102，用于根据第一输出数据与第二真值之间的差异，对初始基础模型进行训练，得到基础模型。

在一种实施方式中，第二输出数据单元还用于：

将N个第一输出结果累加之和，作为第二输出数据。

在一种实施方式中，第二输出数据单元还用于：

将N个第一输出数据累加之和，与N的商，作为第二输出数据。

在一种实施方式中，如图11所示，目标模型获取模块包括：

第一单元111，用于将训练后的基础模型，作为目标模型。

在一种实施方式中，如图12所示，目标模型获取模块包括：

第二单元121，用于将训练后的调试模型中的基础模型进行输入数据调整训练，使输入数据调整训练后的调试模型能够根据第三输入数据输出第一输出数据；第三输入数据为用于获取第一输入数据的原始采集数据；

第三单元122，用于将输入数据调整训练后的基础模型作为目标模型。

在一种实施方式中，N＝第二数据单位/第一数据单位。

在一种实施方式中，第一数据单位包括第一时间段、第二数据单位为第二时间段、第一输入数据包括降水量图像、第一输出数据包括降水量图像；如图13所示，模型生成装置还包括：

图像获取模块131，用于获取第一时间段内的雷达回波反射率图像；

强降水图像模块132，用于根据雷达回波反射率图像，计算降水强度图像；

第一输入数据模块133，用于根据降水强度图像和第二时间段，获取第一时间段的降水量图像，作为第一输入数据。

在一种实施方式中，如图14所示，图像获取模块包括：

切分单元141，用于对第一时间段内采集的原始雷达回波反射率图像进行图像切分，得到多个子图像；

有效子图像单元142，用于将多个子图像按照有效数据点比例进行筛选，以得到有效子图像；

反射率图像单元143，用于将有效子图像作为第一时间段内的雷达回波反射率图像。

在一种实施方式中，调试模块还用于，

根据N个第一输入数据以及原始雷达回波反射图像中的图像特征，获取与原始达回波反射率图像相同尺寸的输出数据图像；

根据原始雷达回波反射率图像相同尺寸的输出数据图像，获取第二输出数据。

在一种实施方式中，如图15所示，模型生成装置还包括：

增强数据模块151，用于筛选第一输入数据中符合预设条件的数据，作为目标第一输入数据；基础模型用于根据目标第一输入数据，输出第一输出数据。

本公开实施例还提供一种数据生成装置，如图16所示，包括：

输入模块161，用于将目标输入数据输入目标模型，得到目标输出数据，目标模型为本公开任意一项实施例所提供的目标模型。

本公开实施例能够应用于计算机技术领域，尤其能够应用于深度学习和计算机视觉领域。

本公开实施例各装置中的各单元、模块或子模块的功能可以参见上述方法实施例中的对应描述，在此不再赘述。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图17示出了可以用来实施本公开的实施例的示例电子设备170的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或要求的本公开的实现。

如图17所示，电子设备170包括计算单元171，其可以根据存储在只读存储器(ROM)172中的计算机程序或者从存储单元178加载到随机访问存储器(RAM)173中的计算机程序来执行各种适当的动作和处理。在RAM 173中，还可存储电子设备170操作所需的各种程序和数据。计算单元171、ROM 172以及RAM 173通过总线174彼此相连。输入输出(I/O)接口175也连接至总线174。

电子设备170中的多个部件连接至I/O接口175，包括：输入单元176，例如键盘、鼠标等；输出单元177，例如各种类型的显示器、扬声器等；存储单元178，例如磁盘、光盘等；以及通信单元179，例如网卡、调制解调器、无线通信收发机等。通信单元179允许电子设备170通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元171可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元171的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元171执行上文所描述的各个方法和处理，例如模型生成方法。例如，在一些实施例中，模型生成方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元178。在一些实施例中，计算机程序的部分或者全部可以经由ROM 172和/或通信单元179而被载入和/或安装到电子设备170上。当计算机程序加载到RAM 173并由计算单元171执行时，可以执行上文描述的模型生成方法的一个或多个步骤。备选地，在其他实施例中，计算单元171可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行模型生成方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (18)

1.一种模型生成方法，包括：

获取基础模型，所述基础模型用于根据第一输入数据，输出第一输出数据；所述第一输入数据对应的数据单位为第一数据单位，所述第一输出数据对应的数据单位为第二数据单位；

调用N次所述基础模型，得到N个第一输出数据，N为不小于2的整数；

基于第一真值和所述N个第一输出数据，训练所述基础模型，得到训练后的基础模型；

基于所述训练后的基础模型，生成目标模型；

其中，所述调用N次所述基础模型，得到N个第一输出数据，包括：利用模型调用框架调用N次基础模型，得到所述N个第一输出数据；

其中，基于第一真值和所述N个第一输出数据，训练所述基础模型，包括：

根据所述基础模型和所述模型调用框架，生成待训练的调试模型；

基于所述N个第一输出数据，获取所述待训练的调试模型的第二输出数据；

根据所述第二输出数据与第一真值之间的差异，训练所述待训练的调试模型，以使得所述基础模型同时得到训练，得到所述训练后的基础模型；

其中，在所述第一数据单位包括第一时间段、所述第二数据单位包括第二时间段、所述第一输入数据包括降水量图像、所述第一输出数据包括降水量图像的情况下，所述方法还包括：

获取所述第一时间段内的雷达回波反射率图像；

根据所述雷达回波反射率图像，计算降水强度图像；

根据所述降水强度图像和所述第二时间段，获取第一时间段的降水量图像，作为所述第一输入数据。

2.根据权利要求1所述的方法，其中，所述获取基础模型，包括：

将所述第一输入数据，输入初始基础模型，得到所述第一输出数据；

根据所述第一输出数据与第二真值之间的差异，对所述初始基础模型进行训练，得到所述基础模型。

3.根据权利要求2所述的方法，其中，所述基于所述N个第一输出数据，获取所述待训练的调试模型的第二输出数据，包括：

将所述N个第一输出数据累加之和，作为所述第二输出数据。

4.根据权利要求2所述的方法，其中，所述基于所述N个第一输出数据，获取所述待训练的调试模型的第二输出数据，包括：

计算所述N个第一输出数据累加之和；

将所述N个第一输出数据累加之和与N的商，作为所述第二输出数据。

5.根据权利要求1-4中任意一项所述的方法，其中，所述基于训练后的基础模型，生成目标模型，包括：

将所述训练后的基础模型，作为目标模型。

6.根据权利要求1-4中任意一项所述的方法，其中，所述基于训练后的基础模型，生成目标模型，包括：

将所述训练后的基础模型进行输入数据调整训练，使输入数据调整训练后的基础模型能够根据第三输入数据输出所述第一输出数据；所述第三输入数据为用于获取第一输入数据的原始采集数据；

将输入数据调整训练后的基础模型作为目标模型。

7.根据权利要求1-4中任意一项所述的方法，其中，N=第二数据单位/第一数据单位。

8.根据权利要求1所述的方法，其中，所述获取所述第一时间段内的雷达回波反射率图像，包括：

对所述第一时间段内采集的原始雷达回波反射率图像进行图像切分，得到多个子图像；

将所述多个子图像按照有效数据点比例进行筛选，以得到有效子图像；

将所述有效子图像作为所述第一时间段内的雷达回波反射率图像。

9.根据权利要求8所述的方法，其中，所述基于所述N个第一输出数据，获取所述待训练的调试模型的第二输出数据，包括：

根据所述N个第一输入数据以及原始雷达回波反射图像中的图像特征，获取与所述原始雷达回波反射率图像相同尺寸的输出数据图像；

根据所述原始雷达回波反射率图像相同尺寸的输出数据图像，获取第二输出数据。

10.根据权利要求1-4中任意一项所述的方法，其中，还包括：

筛选所述第一输入数据中符合预设条件的数据，作为目标第一输入数据；所述基础模型用于根据所述目标第一输入数据，输出所述第一输出数据。

11.一种数据生成方法，其中，包括：

将目标输入数据输入目标模型，得到目标输出数据，其中，所述目标模型为权利要求1-10中任意一项所述的模型生成方法生成的目标模型。

12.一种模型生成装置，包括：

获取模块，用于获取基础模型，所述基础模型用于根据第一输入数据，输出第一输出数据；所述第一输入数据对应的数据单位为第一数据单位，所述第一输出数据对应的数据单位为第二数据单位；

调试模块，用于调用N次所述基础模型，得到N个第一输出数据， N为不小于2的整数；

训练模块，用于基于第一真值和所述N个第一输出数据，训练所述基础模型，得到训练后的基础模型；

目标模型获取模块，用于基于训练后的基础模型，得到目标模型；其中，所述训练模块包括：

第一输出数据单元，用于利用模型调用框架调用N次基础模型，得到所述N个第一输出数据；

其中，所述训练模块包括：

调试模型单元，用于根据所述基础模型和所述模型调用框架，生成待训练的调试模型；

第二输出数据单元，用于基于所述N个第一输出数据，获取所述待训练的调试模型的第二输出数据；

数据处理单元，用于根据所述第二输出数据与第一真值之间的差异，训练所述待训练的调试模型，以使得所述基础模型同时得到训练，得到所述训练后的基础模型；

其中，在所述第一数据单位包括第一时间段、所述第二数据单位包括第二时间段、所述第一输入数据包括降水量图像、所述第一输出数据包括降水量图像的情况下，所述模型生成装置还包括：

图像获取模块，用于获取所述第一时间段内的雷达回波反射率图像；

强降水图像模块，用于根据所述雷达回波反射率图像，计算降水强度图像；

第一输入数据模块，用于根据所述降水强度图像和所述第二时间段，获取第一时间段的降水量图像，作为所述第一输入数据。

13.根据权利要求12所述的装置，其中，所述获取模块包括：

第一输入数据单元，用于将所述第一输入数据，输入初始基础模型，得到所述第一输出数据；

基础模型训练单元，用于根据所述第一输出数据与第二真值之间的差异，对所述初始基础模型进行训练，得到所述基础模型。

14.根据权利要求12所述的装置，其中，所述第二输出数据单元还用于：

将所述N个第一输出数据累加之和，作为所述第二输出数据。

15.根据权利要求12所述的装置，其中，所述第二输出数据单元还用于：

计算所述N个第一输出数据累加之和；

将所述N个第一输出数据累加之和与N的商，作为所述第二输出数据。

16.一种数据生成装置，其中，包括：

输入模块，用于将目标输入数据输入目标模型，得到目标输出数据，其中，所述目标模型为权利要求12-15中任意一项所述的模型生成装置生成的目标模型。

17. 一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-11中任一项所述的方法。

18.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使计算机执行权利要求1-11中任一项所述的方法。