CN113011597A - 一种回归任务的深度学习方法和装置 - Google Patents

Abstract

本发明公开了一种回归任务的深度学习方法和装置，方法包括：使用固定间隔划分回归任务的预测目标以获得分类数值和回归数值；以分类数值为期望生成概率分布；基于回归数值和固定间隔确定偏置比例；以概率分布作为分类标签、偏置比例作为回归标签，使用深度学习来训练回归任务，获得分类输出和回归输出；确定分类输出和回归输出各自的损失函数，并基于损失函数和预先确定的损失权重确定总损失函数以评价深度学习的精度。本发明能够提升回归任务深度学习方法的鲁棒性并兼容具有可容忍误差的场景。

Description

一种回归任务的深度学习方法和装置

技术领域

本发明涉及深度学习领域，更具体地，特别是指一种回归任务的深度学习方法和装置。

背景技术

随着数据、算力、算法三种要素在人工智能领域的飞速发展，深度学习技术在多种应用领域得到应用。深度学习技术在具体应用过程中，根据不同数据类型衍生多种深度学习任务类型。例如，根据数据标签有无标注可以分为有监督学习任务与无监督学习任务；根据数据标签类型是否为分类值或连续值可以将任务划分为分类任务与回归任务。其中回归任务属于有监督学习任务中的一种任务类型，主要是指其标签为连续变量，通过对连续变量预测与拟合，可完成具体的回归任务目标。

回归任务的标签预处理方式主要是归一化，即将标签通过最大最小归一化方式将标签取值范围变换到[0,1]范围内。回归任务的评价指标关注预测值与真实值的差别，常用的评价方式包括均方误差和绝对值误差。均方误差主要是指将每个样本真实值与预测值进行差值并计算差值的平方，然后针对所有样本计算结果求其平均结果，该损失函数常被应用于线性回归等场景；绝对值误差主要是指将每个样本真实值与预测值进行差值并计算差值的绝对值，然后针对所有样本计算结果求其平均结果。

现有回归任务中的深度学习模型建模存在以下缺点：第一对存在离群标签的样本，现有算法对于离群标签处理能力较差，鲁棒性较低；第二主要关注预测值与真实值的差别，差值越小则表明算法精度越高。在某些回归任务场景中，预测值与真实值的差别可以存在一定的可容忍误差，目前现有算法对于该场景适用性较差。

针对现有技术中回归任务深度学习方法的鲁棒性小、可容忍误差兼容性低的问题，目前尚无有效的解决方案。

发明内容

有鉴于此，本发明实施例的目的在于提出一种回归任务的深度学习方法和装置，能够提升回归任务深度学习方法的鲁棒性并兼容具有可容忍误差的场景。

基于上述目的，本发明实施例的第一方面提供了一种回归任务的深度学习方法，包括执行以下步骤：

使用固定间隔划分回归任务的预测目标以获得分类数值和回归数值；

以分类数值为期望生成概率分布；

基于回归数值和固定间隔确定偏置比例；

以概率分布作为分类标签、偏置比例作为回归标签，使用深度学习来训练回归任务，获得分类输出和回归输出；

确定分类输出和回归输出各自的损失函数，并基于损失函数和预先确定的损失权重确定总损失函数以评价深度学习的精度。

在一些实施方式中，使用固定间隔划分回归任务的预测目标以获得分类数值和回归数值包括：使用固定间隔除预测目标，将所得的商作为分类数值，将所得的余数作为回归数值。

在一些实施方式中，以分类数值为期望生成概率分布包括：以分类数值为期望构建高斯分布，并使用高斯分布将分类数值表达为概率分布；基于回归数值和固定间隔确定偏置比例包括：以回归数值和固定间隔之比作为偏置比例。

在一些实施方式中，确定分类输出和回归输出各自的损失函数包括：使用softmax函数处理分类输出以通过交叉熵确定分类输出损失函数；和使用sigmoid激活函数处理回归输出以通过均方误差损失函数确定回归输出损失函数。

在一些实施方式中，基于损失函数和预先确定的损失权重确定总损失函数包括：基于回归输出损失函数和损失权重之积与分类输出损失函数的和确定总损失函数。

本发明实施例的第二方面提供了一种回归任务的深度学习装置包括：

处理器；和

存储器，存储有处理器可运行的程序代码，程序代码在被运行时执行以下步骤：

使用固定间隔划分回归任务的预测目标以获得分类数值和回归数值；

以分类数值为期望生成概率分布；

基于回归数值和固定间隔确定偏置比例；

以概率分布作为分类标签、偏置比例作为回归标签，使用深度学习来训练回归任务，获得分类输出和回归输出；

确定分类输出和回归输出各自的损失函数，并基于损失函数和预先确定的损失权重确定总损失函数以评价深度学习的精度。

在一些实施方式中，使用固定间隔划分回归任务的预测目标以获得分类数值和回归数值包括：使用固定间隔除预测目标，将所得的商作为分类数值，将所得的余数作为回归数值。

在一些实施方式中，以分类数值为期望生成概率分布包括：以分类数值为期望构建高斯分布，并使用高斯分布将分类数值表达为概率分布；基于回归数值和固定间隔确定偏置比例包括：以回归数值和固定间隔之比作为偏置比例。

在一些实施方式中，确定分类输出和回归输出各自的损失函数包括：使用softmax函数处理分类输出以通过交叉熵确定分类输出损失函数；和使用sigmoid激活函数处理回归输出以通过均方误差损失函数确定回归输出损失函数。

在一些实施方式中，基于预先确定的损失权重确定总损失函数包括：基于回归输出损失函数和损失权重之积与分类输出损失函数的和确定总损失函数。

本发明具有以下有益技术效果：本发明实施例提供的回归任务的深度学习方法和装置，通过使用固定间隔划分回归任务的预测目标以获得分类数值和回归数值；以分类数值为期望生成概率分布；基于回归数值和固定间隔确定偏置比例；以概率分布作为分类标签、偏置比例作为回归标签，使用深度学习来训练回归任务，获得分类输出和回归输出；确定分类输出和回归输出各自的损失函数，并基于损失函数和预先确定的损失权重确定总损失函数以评价深度学习的精度的技术方案，能够提升回归任务深度学习方法的鲁棒性并兼容具有可容忍误差的场景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的回归任务的深度学习方法的流程示意图；

图2为本发明提供的回归任务的深度学习方法的预测目标拆分示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。

需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。

基于上述目的，本发明实施例的第一个方面，提出了一种提升回归任务深度学习方法的鲁棒性并兼容具有可容忍误差的场景的回归任务的深度学习方法的一个实施例。图1示出的是本发明提供的回归任务的深度学习方法的流程示意图。

所述的回归任务的深度学习方法，如图1所示，包括执行以下步骤：

步骤S101，使用固定间隔划分回归任务的预测目标以获得分类数值和回归数值；

步骤S103，以分类数值为期望生成概率分布；

步骤S105，基于回归数值和固定间隔确定偏置比例；

步骤S107，以概率分布作为分类标签、偏置比例作为回归标签，使用深度学习来训练回归任务，获得分类输出和回归输出；

步骤S109，确定分类输出和回归输出各自的损失函数，并基于损失函数和预先确定的损失权重确定总损失函数以评价深度学习的精度。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等。所述计算机程序的实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。

在一些实施方式中，使用固定间隔划分回归任务的预测目标以获得分类数值和回归数值包括：使用固定间隔去除预测目标，将所得的商作为分类数值，将所得的余数作为回归数值。

在一些实施方式中，以分类数值为期望生成概率分布包括：以分类数值为期望构建高斯分布，并使用高斯分布将分类数值表达为概率分布；基于回归数值和固定间隔确定偏置比例包括：以回归数值和固定间隔之比作为偏置比例。

在一些实施方式中，确定分类输出和回归输出各自的损失函数包括：使用softmax函数处理分类输出以通过交叉熵确定分类输出损失函数；和使用sigmoid激活函数处理回归输出以通过均方误差损失函数确定回归输出损失函数。

在一些实施方式中，基于预先确定的损失权重确定总损失函数包括：基于回归输出损失函数和损失权重之积与分类输出损失函数的和确定总损失函数。

本发明在实施中具体划分为三个模块：分类输出模块、回归输出模块、损失函数模块。分类输出模块主要用于预测目标中的局部定位，回归输出模块主要基于局部定位基础上进行精准拟合，损失函数模块主要实现局部定位功能与精准拟合功能的调节目标。

分类输出模块的主要功能是实现全局预测范围内的局部定位。对于回归任务，令其预测目标为y，其取值为连续值，以固定间隔为m将y进行划分，即采用如下方式：

p,q＝y％m

上式中，％为取余运算。将预测目标y转换为两部分p，q后，再基于p及q进行处理与转换。其中对于p，构建以p为期望的高斯分布，通过构建该目标分布将目标值p以概率形式进行表示。

回归输出模块的主要功能是在分类输出模块的局部定位基础上，通过精准拟合实现最终模型的预测输出。对于余数q，对其进行如下转换：

f＝q/m

上式中，f表示取余部分与固定间隔m的比值，即偏置比例。

综上所述，预测目标y可以用图2所示的方式表示为如下形式：

y＝f*m+p*m

由于模型输出转换为了分类输出与回归输出两部分，对于分类输出部分，输出层后使用softmax进行模型输出，损失函数采用交叉熵。对于回归输出部分，采用sigmoid激活函数，损失函数采用均方误差损失函数。损失函数具体可用如下形式进行表示：

loss＝loss_cls+α*loss_reg

上式中loss_c1s表示分类输出模块的损失函数，loss_reg表示回归输出模块的损失函数，α表示损失函数间的权重系数，用于调节两类损失函数间的权重关系。

通过上述三个模块，将连续目标变量转换为概率分布及偏置比例两部分，一方面通过概率分布降低离群点样本对于损失函数优化的影响，另一方面通过加入损失权重系数，可以在局部定位与精准拟合目标直接实现功能调节，从而适应更多回归任务场景。下面根据具体实施例进一步阐述本发明的具体实施方式。

在地震领域的具体实施例中，地震资料的初至拾取是指确定地震道上纯噪声信号和混合信号(噪声与地震叠加信号)之间的分界时刻，因此初至拾取正确与否在很大程度上影响后续处理的精度。在地表复杂及信噪比较低的情况下，目前仍然无法取得满意的拾取结果。同时人工的初至拾取工作繁重、校对困难，因此探寻可靠的自动拾取技术变得尤为重要。

地震波源数据格式为SEG-Y数据格式，它是地震数据的最为普遍的格式之一。SEG-Y数据中包含地震波中详尽信息，对于初至拾取场景需从中提取有效信息，本方案从SEG-Y数据中提取炮号、道号、检波点X坐标、检波点Y坐标及单道数据对应振幅，以二维数组进行存储，存储形式如下表所示，从而完成数据的初步提取。

除上表的数据信息，关于地震资料的一些常用特性也进行了记录，如道长为n，地震波采样周期为t，初至时间用T表示。因此，单道地震波所对应的初至时间范围为n*t。由于初至时间通常都在单道数据的局部，为了减小算法计算复杂度，同时为了提升拾取精度，采用如下数据拆分形式：对所有数据固定采样点个数，固定每道截取前500个采样点。在进行深度学习模型训练及测试之前，需将原始数据进行进一步预处理工作。

首先执行样本数据放缩：使用绝对值最大归一化将地震波振幅进行归一化，归一化后其范围为[-1,1]。

然后执行样本标签转换。在原始数据中，初至时间以某固定时间t为周期形式存在，将标签数据进行二次转换。对于初至时间为T的地震波，且地震波的采样周期为t，转换方式如下：

p,q＝T％t

上式中，％为取余运算。将初至时间T转换为两部分p，q后，再基于p及q进行处理与转换。对于p，构建以p为高斯分布期望，δ为标准差的高斯分布，该分布的长度与地震波的道长相同；对于q，对其进行转换：

f＝q/t

f表示取余部分与采样周期的比值，即偏置比例。

综上所述，初至时间T转变为两部分，

T＝f*t+p*t

由此，初至时间预测问题被转换为了分类问题(以p为高斯分布期望，δ为标准差的高斯分布)及回归问题(f表示取余部分与采样周期的比值，即偏置比例)。

经过上述处理后，所存储的数据形式如下表所示：

取相邻n道地震波构建为一个样本，通过滑动窗口进行多个样本构建，每个样本标签为多道地震波标签结果。其输出包括两个部分，分类部分(高斯分布)及回归部分(偏置比例)。此任务为多输出任务，其损失函数转变为为交叉熵与均方误差损失的和。

从上述实施例可以看出，本发明实施例提供的回归任务的深度学习方法，通过使用固定间隔划分回归任务的预测目标以获得分类数值和回归数值；以分类数值为期望生成概率分布；基于回归数值和固定间隔确定偏置比例；以概率分布作为分类标签、偏置比例作为回归标签，使用深度学习来训练回归任务，获得分类输出和回归输出；确定分类输出和回归输出各自的损失函数，并基于损失函数和预先确定的损失权重确定总损失函数以评价深度学习的精度的技术方案，能够提升回归任务深度学习方法的鲁棒性并兼容具有可容忍误差的场景。

需要特别指出的是，上述回归任务的深度学习方法的各个实施例中的各个步骤均可以相互交叉、替换、增加、删减，因此，这些合理的排列组合变换之于回归任务的深度学习方法也应当属于本发明的保护范围，并且不应将本发明的保护范围局限在所述实施例之上。

基于上述目的，本发明实施例的第二个方面，提出了一种提升回归任务深度学习方法的鲁棒性并兼容具有可容忍误差的场景的回归任务的深度学习装置的一个实施例。装置包括：

处理器；和

存储器，存储有处理器可运行的程序代码，程序代码在被运行时执行以下步骤：

使用固定间隔划分回归任务的预测目标以获得分类数值和回归数值；

以分类数值为期望生成概率分布；

基于回归数值和固定间隔确定偏置比例；

以概率分布作为分类标签、偏置比例作为回归标签，使用深度学习来训练回归任务，获得分类输出和回归输出；

确定分类输出和回归输出各自的损失函数，并基于损失函数和预先确定的损失权重确定总损失函数以评价深度学习的精度。

在一些实施方式中，使用固定间隔划分回归任务的预测目标以获得分类数值和回归数值包括：使用固定间隔去除预测目标，将所得的商作为分类数值，将所得的余数作为回归数值。

在一些实施方式中，以分类数值为期望生成概率分布包括：以分类数值为期望构建高斯分布，并使用高斯分布将分类数值表达为概率分布；基于回归数值和固定间隔确定偏置比例包括：以回归数值和固定间隔之比作为偏置比例。

在一些实施方式中，确定分类输出和回归输出各自的损失函数包括：使用softmax函数处理分类输出以通过交叉熵确定分类输出损失函数；和使用sigmoid激活函数处理回归输出以通过均方误差损失函数确定回归输出损失函数。

在一些实施方式中，基于预先确定的损失权重确定总损失函数包括：基于回归输出损失函数和损失权重之积与分类输出损失函数的和确定总损失函数。

从上述实施例可以看出，本发明实施例提供的回归任务的深度学习装置，通过使用固定间隔划分回归任务的预测目标以获得分类数值和回归数值；以分类数值为期望生成概率分布；基于回归数值和固定间隔确定偏置比例；以概率分布作为分类标签、偏置比例作为回归标签，使用深度学习来训练回归任务，获得分类输出和回归输出；确定分类输出和回归输出各自的损失函数，并基于损失函数和预先确定的损失权重确定总损失函数以评价深度学习的精度的技术方案，能够提升回归任务深度学习方法的鲁棒性并兼容具有可容忍误差的场景。

需要特别指出的是，上述服务器的实施例采用了所述回归任务的深度学习方法的实施例来具体说明各模块的工作过程，本领域技术人员能够很容易想到，将这些模块应用到所述回归任务的深度学习方法的其他实施例中。当然，由于所述回归任务的深度学习方法实施例中的各个步骤均可以相互交叉、替换、增加、删减，因此，这些合理的排列组合变换之于所述服务器也应当属于本发明的保护范围，并且不应将本发明的保护范围局限在所述实施例之上。

以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上所述的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。

Claims (10)

1.一种回归任务的深度学习方法，其特征在于，包括执行以下步骤：

使用固定间隔划分回归任务的预测目标以获得分类数值和回归数值；

以所述分类数值为期望生成概率分布；

基于所述回归数值和所述固定间隔确定偏置比例；

以所述概率分布作为分类标签、所述偏置比例作为回归标签，使用深度学习来训练回归任务，获得分类输出和回归输出；

确定所述分类输出和所述回归输出各自的损失函数，并基于所述损失函数和预先确定的损失权重确定总损失函数以评价深度学习的精度。

2.根据权利要求1所述的方法，其特征在于，使用固定间隔划分回归任务的预测目标以获得分类数值和回归数值包括：

使用所述固定间隔除所述预测目标，将所得的商作为所述分类数值，将所得的余数作为所述回归数值。

3.根据权利要求1所述的方法，其特征在于，以所述分类数值为期望生成概率分布包括：以所述分类数值为期望构建高斯分布，并使用所述高斯分布将所述分类数值表达为所述概率分布；

基于所述回归数值和所述固定间隔确定偏置比例包括：以所述回归数值和所述固定间隔之比作为所述偏置比例。

4.根据权利要求1所述的方法，其特征在于，确定所述分类输出和所述回归输出各自的损失函数包括：

使用softmax函数处理所述分类输出以通过交叉熵确定分类输出损失函数；和

使用sigmoid激活函数处理所述回归输出以通过均方误差损失函数确定回归输出损失函数。

5.根据权利要求4所述的方法，其特征在于，基于所述损失函数和预先确定的损失权重确定总损失函数包括：

基于所述回归输出损失函数和损失权重之积与所述分类输出损失函数的和确定所述总损失函数。

6.一种回归任务的深度学习装置，其特征在于，包括：

处理器；和

存储器，存储有所述处理器可运行的程序代码，所述程序代码在被运行时执行以下步骤：

使用固定间隔划分回归任务的预测目标以获得分类数值和回归数值；

以所述分类数值为期望生成概率分布；

基于所述回归数值和所述固定间隔确定偏置比例；

以所述概率分布作为分类标签、所述偏置比例作为回归标签，使用深度学习来训练回归任务，获得分类输出和回归输出；

确定所述分类输出和所述回归输出各自的损失函数，并基于所述损失函数和预先确定的损失权重确定总损失函数以评价深度学习的精度。

7.根据权利要求6所述的装置，其特征在于，使用固定间隔划分回归任务的预测目标以获得分类数值和回归数值包括：

使用所述固定间隔除所述预测目标，将所得的商作为所述分类数值，将所得的余数作为所述回归数值。

8.根据权利要求6所述的装置，其特征在于，以所述分类数值为期望生成概率分布包括：以所述分类数值为期望构建高斯分布，并使用所述高斯分布将所述分类数值表达为所述概率分布；

基于所述回归数值和所述固定间隔确定偏置比例包括：以所述回归数值和所述固定间隔之比作为所述偏置比例。

9.根据权利要求6所述的装置，其特征在于，确定所述分类输出和所述回归输出各自的损失函数包括：

使用softmax函数处理所述分类输出以通过交叉熵确定分类输出损失函数；和

使用sigmoid激活函数处理所述回归输出以通过均方误差损失函数确定回归输出损失函数。

10.根据权利要求9所述的装置，其特征在于，基于预先确定的损失权重确定总损失函数包括：

基于所述回归输出损失函数和损失权重之积与所述分类输出损失函数的和确定所述总损失函数。

Images