CN109903075B - 基于dnn的回归分布模型及其训练方法、电子设备 - Google Patents

基于dnn的回归分布模型及其训练方法、电子设备 Download PDF

Info

Publication number
CN109903075B
CN109903075B CN201910041056.4A CN201910041056A CN109903075B CN 109903075 B CN109903075 B CN 109903075B CN 201910041056 A CN201910041056 A CN 201910041056A CN 109903075 B CN109903075 B CN 109903075B
Authority
CN
China
Prior art keywords
model
regression
value
training
dnn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910041056.4A
Other languages
English (en)
Other versions
CN109903075A (zh
Inventor
张发恩
刘俊龙
周鹏程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ainnovation Hefei Technology Co ltd
Original Assignee
Ainnovation Hefei Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ainnovation Hefei Technology Co ltd filed Critical Ainnovation Hefei Technology Co ltd
Priority to CN201910041056.4A priority Critical patent/CN109903075B/zh
Publication of CN109903075A publication Critical patent/CN109903075A/zh
Application granted granted Critical
Publication of CN109903075B publication Critical patent/CN109903075B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种基于DNN的回归分布模型训练方法,其用于训练获得回归分布模型W(x,a)=b,x为特征值,其包括n个子特征,n≥1,a和b其中一者为分位点,另一者为对应分位点的回归值;所述方法将分位点或回归值以变量作为DNN的输入参数进行了模型训练,可训练获得预测任意分位点的回归值之第一模型F(x,q)=y和/或预测任意回归值的分位点之第二模型Q(x,y)=q。本发明所提供的基于DNN的回归分布模型训练方法训练所获得的模型及电子设备均具有预测便利,节约了计算资源,预测效率高等优点。

Description

基于DNN的回归分布模型及其训练方法、电子设备
【技术领域】
本发明涉及深度学习领域,尤其涉及一种基于DNN的回归分布模型及其训练方法、电子设备。
【背景技术】
回归分布预测中通常会使用到回归分布模型,回归分布模型是深度学习领域非常常见的一种模型,其广泛地被商场、银行等场所应用,如,商场通过回归分布模型预测客流量,银行通过回归分布模型预测客户的产品购买概率。然而,现有的回归分布模型需要单独建立多个模型,分别预测多个固定分位点,或者一个模型,输出多个固定分位点,其预测效率低,远不能满足当下回归分布预测的需求。
【发明内容】
为克服现有技术中的问题,本发明提供一种基于DNN的回归分布模型及其训练方法、电子设备。
本发明提供了一种解决上述技术问题的技术方案:一种基于DNN的回归分布模型训练方法,其用于训练获得回归分布模型W(x,a)=b,x为特征值,其包括n个子特征,n≥1,a和b其中一者为分位点,另一者为对应分位点的回归值;基于DNN的回归分布模型训练方法包括:步骤S1:提供k个用于训练回归分布模型W(x,a)=b的训练样本,k≥1;每一训练样本具有已知的特征值和回归值;步骤S2:构建DNN;DNN包括输入层、隐藏层及输出层;输入层包括对应特征值之输入的神经元,输入层及隐藏层的至少一层中包括对应a的随机采样值之输入的神经元,输出层为单个神经元,其对应b的取值;及步骤S3:将所述样本输入至DNN中,利用前向传播算法及反向传播算法训练获得回归分布模型W(x,a)=b。
优选地,所述a为分位点,所述b为回归值,令分位点为q,a=q,回归值为y,b=y,在步骤S3中训练获得的模型为预测任意分位点的回归值之模型F(x,q)=y,在步骤S3中,反向传播算法中,损失函数为:
Figure BDA0001947548450000021
xi为训练样本中的某一特征值,q为(0,1)区间内的随机采样值;yi为训练样本中的所述某一特征值对应的回归值。
优选地,所述b为分位点,所述a为回归值,令分位点为q,b=q,回归值为y,a=y,在步骤S3中训练获得的模型为预测任意回归值的分位点之模型Q(x,y)=q,在步骤S3中,在反向传播算法中,损失函数为:
Figure BDA0001947548450000022
xi为训练样本中的某一特征值,y为经验回归值区间内的随机采样值;yi为训练样本中的所述某一特征值对应的分位点。
优选地,所述a为分位点,所述b为回归值,令a=q,b=y,在步骤S3包括:步骤S31:训练获得的第一模型,第一模型为预测任意分位点的回归值之模型F(x,q)=y;步骤S32:训练获得的第二模型,第二模型为预测任意回归值的分位点之模型Q(x,y)=q;及步骤S33:第一模型与第二模型之间组成对偶学习以优化第一模型和/或第二模型。
优选地,所述对偶学习包括步骤:步骤S331:设置对偶损失函数;及步骤S332:至少通过所述对偶损失函数进行反向传播以训练所述第一模型和/或第二模型。
优选地,所述对偶损失函数包括第一对偶损失函数:
LDF=|Q(xi,F(xi,q))-q|p,其中,xi为训练样本中的某一特征值;p为指数。
优选地,所述对偶损失函数包括第二对偶损失函数:
LDQ=|F(xi,Q(xi,y))-y|p,其中,xi为训练样本中的某一特征值;p为指数。
优选地,所述a为分位点时,在步骤S2中,对应a的随机采样值为(0,1)区间内的随机采样值;
所述a为回归值时,在步骤S2中,对应a的随机采样值为经验回归值区间内的随机采样值。
本发明还提供一种基于DNN的回归分布模型,所述基于DNN的回归分布模型采用如上所述的基于DNN的回归分布模型训练方法训练获得。
本发明还提供一种电子设备,包括存储器和处理器,其特征在于:所述存储器中存储有计算机程序,所述计算机程序被设置为运行时执行如上所述的基于DNN的回归分布模型训练方法;所述处理器被设置为通过所述计算机程序执行如上所述的基于DNN的回归分布模型训练方法。
与现有技术相比,本发明所提供的基于DNN的回归分布模型训练方法中,由于将分位点或回归值以变量作为DNN的输入参数进行了模型训练,因此,可训练获得预测任意分位点的回归值之第一模型F(x,q)=y和/或预测任意回归值的分位点之第二模型Q(x,y)=q。提供了预测的便利性。无需针对不同分位点设置不同的模型,节约了计算资源,提高了预测效率。
第一模型训练中采用了损失函数LD,第二模型训练中采用了损失函数LQ,其训练效果最佳。
第一模型和第二模型互为反函数,两者通过对偶学习,相互监督训练以提升模型的训练效率,获得较好的模型训练效果。进一步,LDF及LDQ的设置使得第一模型和/或第二模型所获得的模型鲁棒性优异。
本发明所提供的基于DNN的回归分布模型及电子设备同样具有如上优点。
【附图说明】
图1是本发明第一实施例基于DNN的回归分布模型训练方法的示意流程图。
图2是本发明第一实施例基于DNN的回归分布模型训练方法中的神经网络示意图。
图3是本发明第一实施例基于DNN的回归分布模型训练方法中步骤S3的细节流程示意图。
图4是本发明第一实施例基于DNN的回归分布模型训练方法中步骤S33的细节流程示意图。
图5是本发明第三实施例电子设备的模块示意图。
【具体实施方式】
为了使本发明的目的,技术方案及优点更加清楚明白,以下结合附图及实施实例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
请参阅图1,本发明第一实施例提供一种基于DNN(Deep Neural Networks,深度神经网络,以下简称DNN)的回归分布模型训练方法1,其用于训练获得回归分布模型W(x,a)=b,x为特征对应的特征值,特征包括n个子特征,n≥1,a和b其中一者为分位点,另一者为对应分位点的回归值。
特征可以包括一个或多个子特征,子特征对应回归分布预测中的某些条件,例如,天气,温度及时间,学历,年龄等。子特征值为子特征对应的值,如子特征天气可包括子特征值晴天、阴天及雨天等。
当a为分位点,b为回归值,令分位点为q,a=q,回归值为y,b=y,通过本发明所提供的基于DNN的回归分布模型训练方法可训练获得可预测任意分位点之回归值的第一模型F(x,q)=y。当a为回归值,b为分位点,a=y,b=q,通过本发明所提供的基于DNN的回归分布模型训练方法可训练获得可预测任意回归值之分位点的第二模型Q(x,y)=q。通过本发明所提供的基于DNN的回归分布模型训练方法1训练获得的回归分布模型可以是商场预测客流量的模型,银行预测客户购买理财产品之概率的模型。
在一些应用场景中,第一模型F(x,q)=y为预测商场客流量的回归分布模型。特征x包括3个子特征:天气、温度及时间。商场管理人员通过第一模型输入对应的子特征值及分位点即可以获得预测的客流量。以向量表示第一模型输入信息,如商场管理人员输入(晴天,20℃,上午,30%),假定第一模型输出的回归值为200,即通过第一模型预测出了在条件为晴天,温度为20℃时,商场人流量低于200的概率为30%。通过第一模型,商场管理人员可以预测任意分位点的回归值,即任意条件及分位点下对应的客流量。
在一些应用场景中,第二模型Q(x,y)=q为预测商场客流量对应的分位点的回归分布模型。特征x包括3个子特征:天气、温度及时间。商场管理人员通过第二模型输入对应的子特征值及客流量即可以预测获得客流量对应的分位点。以向量表示第二模型输入信息,如商场管理人员输入(晴天,20℃,上午,200),假定第一模型输出的回归值为30%,即通过第二模型预测出了在条件为晴天,温度为20℃时,商场人流量低于200的概率为30%。通过第二模型,商场管理人员可以预测任意回归值对应的分位点,即任意条件及客流量下对应的分位点。
基于DNN的回归分布模型训练方法1包括:
步骤S1:提供k个用于训练回归分布模型W(x,a)=b的训练样本,k≥1;每一训练样本具有已知的特征值和回归值;
步骤S2:构建全连接DNN;全连接DNN包括输入层、隐藏层及输出层;输入层包括(n+1)个神经元,其中n个神经元对应特征值的输入,剩余的1个神经元对应a的随机采样值的输入;每一隐藏层包括对应a的随机采样值之输入的神经元;输出层为单个神经元,其对应b的取值;及
步骤S3:将所述样本输入至全连接DNN中,利用前向传播算法及反向传播算法训练获得回归分布模型W(x,a)=b。
在步骤S1中,所述训练样本数量优选为多个。其可以通过以往的经验数据获得。例如,商场可以以往年的实际天气、温度、时间及对应的客流量数据作为训练样本。作为一种实施例,训练样本中具有已知的特征值和分位点,及与分位点对应的回归值。
在步骤S2中,a为分位点时,在步骤S2中,对应a的随机采样值为(0,1)区间内的随机采样值;a为回归值时,在步骤S2中,对应a的随机采样值为经验回归值区间内的随机采样值。如根据商场往年数据可知客流量在100-500之间,则100-500为经验回归值。输入层和各隐藏层之间的随机采样独立进行。
请参阅图2,以通过本发明所提供的基于DNN的回归分布模型训练方法1训练获得可预测任意分位点之回归值的第一模型F(x,q)=y为例来进行说明。图2中的全连接DNN10仅为示例性说明,具体的DNN10的层数及神经元个数等不做限制。图2中以输入层11为4个神经元,隐藏层12为3层且每层神经元个数为5个,输出层13的神经元为单个为例来进行说明。第一模型的子特征个数为3个,输入层11从上到下第一至第三个神经元分别对应为3个子特征值的输入,第四个神经元对应为分位点q的随机采样值的输入;由于分位点的取值区间为(0,1),因此,q为(0,1)区间的随机采样值。隐藏层12最后一个神经元对应为分位点q的随机采样值的输入。可以理解,用于输入分位点q的随机采样值之神经元的位置不做限定,其可以是输入层11中的任意一个神经元和隐藏层12中的任意一个神经元。输入层11和隐藏层12之间通过权重计算最后获得输出层13之神经元输出的回归值。
如若以通过本发明所提供的基于DNN的回归分布模型训练方法1训练获得可预测任意分位点之回归值的第二模型Q(x,y)=q为例来进行说明。同理于第一模型F(x,q)=y的分析,输入层11和隐藏层12用于输入分位点q的随机采样值之神经元替换为输入经验回归值区间内的随机采样值。
在步骤S3中,将所述训练样本输入至全连接DNN中,利用前向传播算法及反向传播算法训练获得回归分布模型W(x,a)=b。
作为一种实施例,在步骤S3中训练获得的模型为预测任意分位点的回归值之模型F(x,q)=y时,反向传播算法中,损失函数为:
Figure BDA0001947548450000081
为训xi练样本中的某一特征值,q为(0,1)区间内的随机采样值;yi为训练样本中的所述某一特征值对应的回归值。
作为一种实施例,在步骤S3中训练获得的模型为预测任意分位点的回归值之模型Q(x,y)=q时,反向传播算法中,损失函数为:
Figure BDA0001947548450000082
xi为训练样本中的某一特征值,y为经验回归值区间内的随机采样值;yi为训练样本中的所述某一特征值对应的分位点。
可以理解,本发明中可以通过基于DNN的回归分布模型训练方法1训练获得预测任意分位点的回归值之第一模型F(x,q)=y,或者训练获得预测任意分位点的回归值之第二模型Q(x,y)=q。优选地,可以训练获得预测任意分位点的回归值之第一模型F(x,q)=y及预测任意分位点的回归值之第二模型Q(x,y)=q,同时训练出第一模型和第二模型时,步骤S3包括:
步骤S31:训练获得的第一模型,第一模型为预测任意分位点的回归值之模型F(x,q)=y;
步骤S32:训练获得的第二模型,第二模型为预测任意回归值的分位点之模型Q(x,y)=q;及
步骤S33:第一模型与第二模型之间组成对偶学习以优化第一模型和/或第二模型。
由于第一模型和第二模型实际上互为反函数,优选地,第一模型和第二模型之间进行对偶学习以优化第一模型和/或第二模型。在步骤S33中,可以以现有的任意对偶学习方式进行以优化第一模型和/或第二模型。优选地,对偶学习通过设置损失函数进行反向传播实现。作为一种实施例,步骤S33具体包括:
步骤S331:设置对偶损失函数;
步骤S332:至少通过所述对偶损失函数进行反向传播以训练所述第一模型和/或第二模型。
作为一种实施例,对偶损失函数包括第一对偶损失函数:
LDF=|Q(xi,F(xi,q))-q|p
其中,xi为训练样本中的某一特征值;p为指数,通常p取值为1。
作为一种实施例,所述对偶损失函数包括第二对偶损失函数:
LDQ=|F(xi,Q(xi,y))-y|p
其中,xi为训练样本中的某一特征值;p为指数,通常p取值为1。
优选地,第一对偶损失函数和第一对偶损失函数协同损失函数LF和LQ对第一模型和第二模型进行训练以获得收敛的第一模型和第二模型。
具体的,对偶学习过程大致如下:将训练样本输入对应第一模型的全连接DNN中时,对分位点进行随机采样获得一随机采样值,该随机采样值连同所述训练样本输入到对应第一模型的全连接DNN中,通过前向传播计算获得预测回归值,将该预测回归值输入第二模型中获得预测分位点,通过损失函数LDF计算预测分位点和所述随机采样值之间的误差;同理,通过损失函数LDQ计算分第一模型输出的预测回归值和回归值之随机采样值之间的误差;通过LF计算预测回归值与训练样本中已知回归值的误差,通过LQ计算预测分位点与第一模型中分位点的随机采样值之间的误差,通过上述的误差进行反向传播以更新全连接DNN的权重以获得优化的第一模型和/或第二模型。
作为一种选择,步骤S31、步骤S32及步骤S33之间顺序不做限定,第一模型和第二模型的训练过程可以先后顺序进行,也可以同时训练。步骤S33可省略。
第一实施例提供的基于DNN的回归分布模型训练方法1可以有如下变形:
步骤S2为:构建DNN;DNN包括输入层、隐藏层及输出层;输入层包括对应特征值之输入的神经元,输入层及隐藏层的至少一层中包括对应a的随机采样值之输入的神经元,输出层为单个神经元,其对应b的取值。
可以理解,在变形中,构建的DNN可以是非全连接DNN。
可以理解,输入层11和隐藏层12仅需要至少一层设置用于对应a的随机采样值之输入的神经元即可。即,作为一种实施方式,仅在输入层11设置一对应a的随机采样值之输入的神经元,而隐藏层12不设置对应a的随机采样值之输入的神经元。作为另一种实施方式,仅在隐藏层12设置对应a的随机采样值之输入的神经元,而输入层11不设置对应a的随机采样值之输入的神经元。作为又一种实施方式,在输入层11和一层或多层隐藏层12设置对应a的随机采样值之输入的神经元。隐藏层12部分层未设置对应a的随机采样值之输入的神经元。作为又一种实施方式,输入层11未设置对应a的随机采样值之输入的神经元,隐藏层12的部分层设置对应a的随机采样值之输入的神经元,隐藏层12的部分层未设置对应a的随机采样值之输入的神经元。
本发明第二实施例提供一种基于DNN的回归分布模型,所述基于DNN的回归分布模型采用第一实施例所述的基于DNN的回归分布模型训练方法1训练获得。所述回归分布模型可以是第一实施例所述的第一模型和/第二模型。
本发明第三实施例提供一种电子设备50,包括存储器52和处理器51,所述存储器52中存储有计算机程序,所述计算机程序被设置为运行时执行第一实施例中所述的基于DNN的回归分布模型训练方法1。所述处理器51被设置为通过所述计算机程序执行第一实施例所述的基于DNN的回归分布模型训练方法1。
电子设备50可以是具有显示屏并且支持视频播放的各种电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group AudioLayer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts GroupAudio Layer IV,动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
与现有技术相比,本发明所提供的基于DNN的回归分布模型训练方法中,由于将分位点或回归值以变量作为DNN的输入参数进行了模型训练,因此,可训练获得预测任意分位点的回归值之第一模型F(x,q)=y和/或预测任意回归值的分位点之第二模型Q(x,y)=q。提供了预测的便利性。无需针对不同分位点设置不同的模型,节约了计算资源,提高了预测效率。
第一模型训练中采用了损失函数LD,第二模型训练中采用了损失函数LQ,其训练效果最佳。
第一模型和第二模型互为反函数,两者通过对偶学习,相互监督训练以提升模型的训练效率,获得较好的模型训练效果。进一步,LDF及LDQ的设置使得第一模型和/或第二模型所获得的模型鲁棒性优异。
本发明所提供的基于DNN的回归分布模型及电子设备同样具有如上优点。
根据本发明公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明公开的实施例包括一种计算机程序产品,其包括承载在计算机存储介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分从网络上被下载和安装,和/或从可拆卸介质被安装。在该计算机程序被处理器执行时,执行本申请的方法中限定的上述功能。需要说明的是,本申请所述的计算机存储器可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和模块图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的原则之内所作的任何修改,等同替换和改进等均应包含本发明的保护范围之内。

Claims (9)

1.一种基于DNN的回归分布模型训练方法,其用于训练获得回归分布模型W(x,a)=b,所述回归分布模型用于商场预测客流量、银行预测客户购买理财产品之概率的模型,x为特征值,其包括n个子特征,n≥1,a和b其中一者为分位点,另一者为对应分位点的回归值;其特征在于:基于DNN的回归分布模型训练方法包括:
步骤S1:提供k个用于训练回归分布模型W(x,a)=b的训练样本,k≥1;每一训练样本具有已知的特征值和回归值,所述训练样本通过以往的经验数据获得,所述特征值对应为特征对应的值,所述特征包括天气、温度、时间、学历以及年龄;
步骤S2:构建DNN;DNN包括输入层、隐藏层及输出层;输入层包括对应特征值之输入的神经元,输入层及隐藏层的至少一层中包括对应a的随机采样值之输入的神经元,输出层为单个神经元,其对应b的取值;及
步骤S3:将所述样本输入至DNN中,利用前向传播算法及反向传播算法训练获得回归分布模型W(x,a)=b;
所述a为分位点,所述b为回归值,令a=q,b=y,在步骤S3包括:
步骤S31:训练获得的第一模型,第一模型为预测任意分位点的回归值之模型F(x,q)=y;
步骤S32:训练获得的第二模型,第二模型为预测任意回归值的分位点之模型Q(x,y)=q;及
步骤S33:第一模型与第二模型之间组成对偶学习以优化第一模型和/或第二模型。
2.如权利要求1所述的基于DNN的回归分布模型训练方法,其特征在于:所述a为分位点,所述b为回归值,令分位点为q,a=q,回归值为y,b=y,在步骤S3中训练获得的模型为预测任意分位点的回归值之模型F(x,q)=y,在步骤S3中,反向传播算法中,损失函数为:
Figure FDA0002963925780000021
xi为训练样本中的某一特征值,q为(0,1)区间内的随机采样值;yi为训练样本中的所述某一特征值对应的回归值。
3.如权利要求1所述的基于DNN的回归分布模型训练方法,其特征在于:所述b为分位点,所述a为回归值,令分位点为q,b=q,回归值为y,a=y,在步骤S3中训练获得的模型为预测任意回归值的分位点之模型Q(x,y)=q,在步骤S3中,在反向传播算法中,损失函数为:
Figure FDA0002963925780000022
xi为训练样本中的某一特征值,y为经验回归值区间内的随机采样值;
yi为训练样本中的所述某一特征值对应的分位点。
4.如权利要求1所述的基于DNN的回归分布模型训练方法,其特征在于:所述对偶学习包括步骤:
步骤S331:设置对偶损失函数;及
步骤S332:至少通过所述对偶损失函数进行反向传播以训练所述第一模型和/或第二模型。
5.如权利要求4所述的基于DNN的回归分布模型训练方法,其特征在于:所述对偶损失函数包括第一对偶损失函数:
LDF=|Q(xi,F(xi,q))-q|p
其中,xi为训练样本中的某一特征值;p为指数。
6.如权利要求4或5所述的基于DNN的回归分布模型训练方法,其特征在于:所述对偶损失函数包括第二对偶损失函数:
LDQ=|F(xi,Q(xi,y))-y|p
其中,xi为训练样本中的某一特征值;p为指数。
7.如权利要求1所述的基于DNN的回归分布模型训练方法,其特征在于:所述a为分位点时,在步骤S2中,对应a的随机采样值为(0,1)区间内的随机采样值;所述a为回归值时,在步骤S2中,对应a的随机采样值为经验回归值区间内的随机采样值。
8.一种基于DNN的回归分布模型,其特征在于:所述基于DNN的回归分布模型采用如权利要求1-7任一项所述的基于DNN的回归分布模型训练方法训练获得。
9.一种电子设备,包括存储器和处理器,其特征在于:所述存储器中存储有计算机程序,所述计算机程序被设置为运行时执行权利要求1至7任一项中所述的基于DNN的回归分布模型训练方法;所述处理器被设置为通过所述计算机程序执行权利要求1至7任一项中所述的基于DNN的回归分布模型训练方法。
CN201910041056.4A 2019-01-16 2019-01-16 基于dnn的回归分布模型及其训练方法、电子设备 Active CN109903075B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910041056.4A CN109903075B (zh) 2019-01-16 2019-01-16 基于dnn的回归分布模型及其训练方法、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910041056.4A CN109903075B (zh) 2019-01-16 2019-01-16 基于dnn的回归分布模型及其训练方法、电子设备

Publications (2)

Publication Number Publication Date
CN109903075A CN109903075A (zh) 2019-06-18
CN109903075B true CN109903075B (zh) 2021-05-04

Family

ID=66943833

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910041056.4A Active CN109903075B (zh) 2019-01-16 2019-01-16 基于dnn的回归分布模型及其训练方法、电子设备

Country Status (1)

Country Link
CN (1) CN109903075B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705756B (zh) * 2019-09-07 2023-05-12 创新奇智(重庆)科技有限公司 一种基于输入凸神经网络的电力能耗优化控制方法
CN111444731B (zh) * 2020-06-15 2020-11-03 深圳市友杰智新科技有限公司 模型训练方法、装置和计算机设备
US20220147816A1 (en) * 2020-11-10 2022-05-12 International Business Machines Corporation Divide-and-conquer framework for quantile regression

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982373A (zh) * 2012-12-31 2013-03-20 山东大学 一种混合svm回归算法的oin神经网络训练方法
CN106971310A (zh) * 2017-03-16 2017-07-21 国家电网公司 一种客户投诉数量预测方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10204620B2 (en) * 2016-09-07 2019-02-12 International Business Machines Corporation Adjusting a deep neural network acoustic model

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982373A (zh) * 2012-12-31 2013-03-20 山东大学 一种混合svm回归算法的oin神经网络训练方法
CN106971310A (zh) * 2017-03-16 2017-07-21 国家电网公司 一种客户投诉数量预测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的消费者行为分析及应用研究;丁一楠;《中国优秀硕士学位论文全文数据库经济与管理科学辑》;20180715;全文 *

Also Published As

Publication number Publication date
CN109903075A (zh) 2019-06-18

Similar Documents

Publication Publication Date Title
KR102308002B1 (ko) 정보 생성 방법 및 장치
CN109903075B (zh) 基于dnn的回归分布模型及其训练方法、电子设备
CN111340221A (zh) 神经网络结构的采样方法和装置
US11790183B2 (en) Systems and methods for generating dynamic conversational responses based on historical and dynamically updated information
CN111104599B (zh) 用于输出信息的方法和装置
CN112650841A (zh) 信息处理方法、装置和电子设备
US20200184341A1 (en) Program, information processing method, and information processing apparatus
CN114417174B (zh) 内容推荐方法、装置、设备及计算机存储介质
CN113837794A (zh) 基于时空图卷积网络的连锁零售门店销售预测方法
CN112634158A (zh) 人脸图像恢复方法、装置、计算机设备及存储介质
CN115456266A (zh) 行程规划方法、装置、设备及存储介质
CN110782016A (zh) 用于优化神经网络架构搜索的方法和装置
JP7288062B2 (ja) 情報を出力するための方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム
CN113723712B (zh) 风电功率预测方法、系统、设备及介质
CN111709784B (zh) 用于生成用户留存时间的方法、装置、设备和介质
CN114118435A (zh) 基于迁移学习的时序模型训练方法和用于时序预测的方法
CN113609397A (zh) 用于推送信息的方法和装置
CN110633596A (zh) 预测车辆方向角的方法和装置
CN115169321B (zh) 物流内容文本核对方法、装置、电子设备和计算机介质
CN115661238B (zh) 可行驶区域生成方法、装置、电子设备和计算机可读介质
CN116402321B (zh) 物品需求量确定方法及装置、电子设备和存储介质
CN117150122A (zh) 终端推荐模型的联邦训练方法、装置和存储介质
CN115953654A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN117171562A (zh) 意向预测模型的训练方法、装置、电子设备和存储介质
CN118350944A (zh) 产品推荐方法、装置、电子设备、介质和计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant