CN113902098A - 多类型数据并行学习方法、装置、计算机设备及介质 - Google Patents

多类型数据并行学习方法、装置、计算机设备及介质 Download PDF

Info

Publication number
CN113902098A
CN113902098A CN202111158005.3A CN202111158005A CN113902098A CN 113902098 A CN113902098 A CN 113902098A CN 202111158005 A CN202111158005 A CN 202111158005A CN 113902098 A CN113902098 A CN 113902098A
Authority
CN
China
Prior art keywords
target
metadata
neural network
data
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111158005.3A
Other languages
English (en)
Inventor
金利杰
亢保星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yuntianyi Guangzhou Intelligent Technology Co ltd
Original Assignee
Yuntianyi Guangzhou Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yuntianyi Guangzhou Intelligent Technology Co ltd filed Critical Yuntianyi Guangzhou Intelligent Technology Co ltd
Priority to CN202111158005.3A priority Critical patent/CN113902098A/zh
Publication of CN113902098A publication Critical patent/CN113902098A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本公开涉及多类型数据并行学习技术领域,提供了多类型数据并行学习方法、装置、计算机设备及介质。该方法包括:拼接模块,被配置为将至少两个目标子神经网络的中间向量进行拼接,生成目标向量;训练模块,被配置为将目标向量作为输入,对初始神经网络进行训练,得到目标神经网络;计算模块,被配置为将目标数据集导入目标神经网络进行计算,得到目标预测值。本公开实施例通过上述步骤,可以大大提高对多类型交叉数据的处理速度和精准度。

Description

多类型数据并行学习方法、装置、计算机设备及介质
技术领域
本公开涉及多类型数据并行学习技术领域,尤其涉及多类型数据并行学习方法、装置、计算机设备及介质。
背景技术
随着科技的飞速发展,多类型数据并行学习技术领域(尤其在机器学习领域)的相关技术获得了重大进步。但在处理多类型交叉数据时,由于数据有多个维度和多个统计频率的特征,对多类型交叉数据处理效率极低。
发明内容
有鉴于此,本公开实施例提供了多类型数据并行学习方法、装置、计算机设备及介质,以解决现有技术中由于数据有多个维度和多个统计频率的特征,导致对多类型交叉数据处理效率极低的问题。
本公开实施例的第一方面,提供了一种多类型数据并行学习方法,包括:拼接模块,被配置为将至少两个目标子神经网络的中间向量进行拼接,生成目标向量;训练模块,被配置为将目标向量作为输入,对初始神经网络进行训练,得到目标神经网络;计算模块,被配置为将目标数据集导入目标神经网络进行计算,得到目标预测值。
本公开实施例的第二方面,提供了一种多类型数据并行学习装置,包括:拼接模块,被配置为将第一目标神经网络的第一目标向量和第二目标神经网络的第二目标向量拼接成目标向量;训练模块,被配置为将目标向量作为输入,对初始神经网络进行训练,得到目标神经网络;计算模块,被配置为将目标数据集导入目标神经网络进行计算,得到目标预测值。
本公开实施例的方面,提供了一种计算机设备,包括存储器、处理器以及存储在存储器中并且可以在处理器上运行的计算机程序,该处理器执行计算机程序时实现上述方法的步骤。
本公开实施例的第四方面,提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现上述方法的步骤。
本公开实施例与现有技术相比存在的有益效果至少包括:通过将至少两个目标子神经网络的中间向量进行拼接,生成目标向量;将目标向量作为输入,对初始神经网络进行训练,得到目标神经网络;将目标数据集导入目标神经网络进行计算,得到目标预测值,可以大大提高对多类型交叉数据的处理速度和精准度。
附图说明
为了更清楚地说明本公开实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本公开实施例的场景示意图;
图2是本公开实施例提供的一种多类型数据并行学习方法的流程图一;
图3是本公开实施例提供的另一种多类型数据并行学习方法的流程图二;
图4是本公开实施例提供的一种多类型数据并行学习装置的框图;
图5是本公开实施例提供的计算机设备的示意图;
图6是本公开实施例提供的两个目标子神经网络和一个目标神经网络的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本公开实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本公开。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本公开的描述。
下面将参考附图并结合实施例来详细说明本公开。
图1是本公开实施例的应用场景的场景示意图。该应用场景可以包括终端设备1、服务器2以及网络3。
终端设备1可以是硬件,也可以是软件。当终端设备1为硬件时,其可以是具有显示屏且支持与服务器2通信的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等;当终端设备1为软件时,其可以安装在上述的电子设备中。终端设备1可以实现为多个软件或软件模块,也可以实现为单个软件或软件模块,本公开实施例对此不作限制。进一步地,终端设备1上可以安装有各种应用,例如数据处理应用、即时通信工具、社交平台软件、搜索类应用、购物类应用等。
服务器2可以是提供各种服务的服务器,例如,对与其建立通信连接的终端设备发送的请求进行接收的后台服务器,该后台服务器可以对终端设备发送的请求进行接收和分析等处理,并生成处理结果。服务器2可以是一台服务器,也可以是由若干台服务器组成的服务器集群,或者还可以是一个云计算服务中心,本公开实施例对此不作限制。
需要说明的是,服务器2可以是硬件,也可以是软件。当服务器2为硬件时,其可以是为终端设备1提供各种服务的各种电子设备。当服务器2为软件时,其可以实现为终端设备1提供各种服务的多个软件或软件模块,也可以实现为终端设备1提供各种服务的单个软件或软件模块,本公开实施例对此不作限制。
网络5可以是采用同轴电缆、双绞线和光纤连接的有线网络,也可以是无需布线就能实现各种通信设备互联的无线网络,例如,蓝牙(Bluetooth)、近场通信(Near FieldCommunication,NFC)、红外(Infrared)等,本公开实施例对此不作限制。
用户可以通过终端设备经由网络3与服务器2建立通信连接,以接收或发送信息等。首先,服务器2可以通过将至少两个目标子神经网络的中间向量进行拼接,生成目标向量。其次,服务器2可以将目标向量作为输入,对初始神经网络进行训练,得到目标神经网络。服务器2可以将目标数据集导入目标神经网络进行计算,得到目标预测值,可以大大提高对多类型交叉数据的处理速度和精准度。
需要说明的是,终端设备1服务器2以及网络3的具体类型、数量和组合可以根据应用场景的实际需求进行调整,本公开实施例对此不作限制。
图2是本公开实施例提供的一种多类型数据并行学习方法的流程图。图2的多类型数据并行学习方法可以由图1的终端设备或服务器2执行。如图2所示,该多类型数据并行学习方法包括:
S201,将至少两个目标子神经网络的中间向量进行拼接,生成目标向量。
神经网络也称作连接(Connection Model),它可以指由大量的、简单的处理单元(称为神经元)广泛地互相连接而形成的复杂网络系统,它反映了人脑功能的许多基本特征,是一个高度复杂的非线性动力学习系统。神经网络具有大规模并行、分布式存储和处理、自组织、自适应和自学能力,特别适合处理需要同时考虑许多因素和条件的、不精确和模糊的信息处理问题。
至少两个目标子神经网络可以指至少两个训练好的神经网络。其中,至少两个目标子神经网络中的每个目标子神经结构可以包括输入层、隐藏层和输出层,隐藏层的数量还可以为2层、3层或更多,根据需要进行设置。
在一个实施例中,请参照图6,第一目标子神经网络610包括第一输入层611,第一隐藏层612,第二隐藏层613(对应中间向量),第一输出层614。第二子目标神经网络620包括第二输入层621,隐藏层622,第四隐藏层623(对应中间向量),第二输出层624。目标神经网络630包括输入层631(对应目标向量),第五隐藏层632,输出层633。
目标向量可以指将至少两个目标子神经网络中每个中间向量拼接生成的向量。作为示例,设有两个目标子神经网络,第一个中间向量可以为包括5个维度的向量,第二个中间向量可以为包括5个维度的向量,则目标向量可以为包括10(即5+5)个维度的向量。另外,目标向量还可以将至少两个目标子神经网络中每个中间向量按照一定的加权系数来进行拼接,或者可以将至少两个目标子神经网络中每个中间向量进行去重拼接。其中,去重拼接可以指将至少两个目标子神经网络中每个中间向量中维度相同的特征,只保留一个进行拼接的方式。根据需要选择对第一目标向量和第二目标向量拼接的具体方式,在此不做具体限制。
S202,将目标向量作为输入,对初始神经网络进行训练,得到目标神经网络。
将目标向量作为输入,对初始神经网络进行训练,使得初始神经网络可以将该至少两个目标子神经网络的训练结果融合,并进行后续训练,得到目标神经网络。
请参照图6,目标神经网络630可以为3层,包括输入层631(对应目标向量),第五隐藏层632,输出层633。
其中,该初始神经网络正向传播的步骤如下所示:
Figure 700518DEST_PATH_IMAGE001
其中
Figure 676564DEST_PATH_IMAGE002
是当前层的权重参数;
Figure 482846DEST_PATH_IMAGE003
是第L-1层的输入,也就是上一层的输出;
Figure 126317DEST_PATH_IMAGE004
是第L层的偏置;
Figure 320538DEST_PATH_IMAGE005
是当前层的输出;
Figure 49460DEST_PATH_IMAGE006
是激活函数,也就是非线性变换层。神经网络的每一层包括线性层和非线性层。
根据链式法则:
Figure 393853DEST_PATH_IMAGE007
其中
Figure 891831DEST_PATH_IMAGE008
为第L层的误差,
Figure 584849DEST_PATH_IMAGE009
Figure 801067DEST_PATH_IMAGE010
的导数等于
Figure 542627DEST_PATH_IMAGE011
Figure 895111DEST_PATH_IMAGE012
的导数乘以
Figure 103238DEST_PATH_IMAGE013
Figure 541173DEST_PATH_IMAGE011
的导数乘以
Figure 899473DEST_PATH_IMAGE014
Figure 372043DEST_PATH_IMAGE015
的导数。
Figure 406864DEST_PATH_IMAGE016
损失
Figure 332094DEST_PATH_IMAGE017
Figure 494085DEST_PATH_IMAGE018
的导数等于
Figure 821161DEST_PATH_IMAGE019
,其中
Figure 964567DEST_PATH_IMAGE020
是第L层的输出。
Figure 377094DEST_PATH_IMAGE021
其中
Figure 405092DEST_PATH_IMAGE022
表示对激活函数求导。
Figure 586675DEST_PATH_IMAGE023
其中
Figure 228878DEST_PATH_IMAGE024
Figure 128701DEST_PATH_IMAGE002
的导数等于
Figure 632494DEST_PATH_IMAGE025
,即上一层的输出。
所以:
Figure 668584DEST_PATH_IMAGE026
对偏置求导数也是同样的步骤:
Figure 481688DEST_PATH_IMAGE027
S203,将目标数据集导入目标神经网络进行计算,得到目标预测值。
目标数据集可以指用于预测结果的实际采集的数据组成的集合。该目标数据集可以包括该目标向量的全部类型数据。将该目标数据集导入训练好的目标神经网络进行计算,可以得到目标预测值。
根据本公开实施例提供的技术方案,通过将至少两个目标子神经网络的中间向量进行拼接,生成目标向量;将目标向量作为输入,对初始神经网络进行训练,得到目标神经网络;将目标数据集导入目标神经网络进行计算,得到目标预测值,可以大大提高对多类型交叉数据的处理速度和精准度。
在一些实施例中,将至少两个目标子神经网络的中间向量进行拼接,生成目标向量之前,还包括:获取至少两个测试子集,其中,至少两个测试子集中的每个测试子集,对应至少两个初始子神经网络中的其中一个初始子神经网络;步骤一:将至少两个测试子集中的其中一个测试子集,对与其对应的子神经网络进行训练,得到目标子神经网络;重复执行步骤一,直至至少两个初始子神经网络中的每个初始子神经网络被训练,得到至少两个目标子神经网络。
至少两个初始神经网络中的每个初始神经网络,可以指与至少两个目标神经网络中每个目标神经网络结构相同,但权重系统不同的训练前的神经网络。至少两个测试子集中的每个测试子集,可以指用于对该至少两个初始神经网络中其中一个初始神经网络进行训练的数据集。
在一些实施例中,获取至少两个测试子集,其中,至少两个测试子集中的每个测试子集,对应至少两个初始子神经网络中的其中一个初始子神经网络之前,还包括:获取至少两个原始集,其中,至少两个原始集中的每个原始集包括至少一种特征数据,每种特征数据包括至少一个元数据;基于预设的处理策略对至少两个原始集中的每个元数据进行处理,生成处理后的元数据,得到处理后的至少两个原始集;将处理后的至少两个原始集确定为至少两个测试子集。
至少两个原始集中的每个原始集可以指由多种特征数据构成的集合。特征数据可以指由元数据构成的数据集合。作为示例,特征数据可以包括“空气湿度数据”、“人均GPD数据”等。元数据可以指各类数据的基本数据单位。作为示例,空气温度的元数据可以为“23.5°”,降水量的元数据可以为“15㎜”。由于数据来源有多种,每种数据的计量单位、数据长度、数据格式不一定都相同,因此需要基于预设的处理策略将多个来源的属于进行处理,使得各个来源的数据进入同一数据指标中。该预设的处理策略可以将不同来源的数据通过计算式映射至一定的范围,例如[0,1],[-1,1]等,根据需要进行设置,在此不做具体限制。
在一些实施例中,预设的处理策略包括:
基于归一数学式对至少两个原始集中的每个元数据进行归一处理,其中,归一数学式为:
Figure 868807DEST_PATH_IMAGE028
其中,
Figure 910712DEST_PATH_IMAGE029
指经过归一化后得到的数据,
Figure 66887DEST_PATH_IMAGE030
指元数据,
Figure 68470DEST_PATH_IMAGE031
为元数据的均值,
Figure 677306DEST_PATH_IMAGE006
为元数据的标准差。
基于预设同频策略对至少两个原始集中每个原始集中的元数据进行同频处理。
归一处理可以指将有量纲的表达式,经过变换,化为无量纲的表达式,成为标量。量纲可以指指物理量的基本属性,如长度、时间、质量、速度、加速度、力、动能、角度、两个长度之比、两个时间之比、两个力之比、两个能量之比等。
作为示例,归一处理的前后数据对照,可以参考下表,
归一前数据 归一后数据
1306332 -0.255625448
328536 -0.269744679
656880 -0.265003439
66960 -0.273521798
82516 -0.273297171
145200 -0.272392024
70943 -0.273464284
144600 -0.272400688
158386 -0.27220162
36720 -0.273958459
90514 -0.273181682
45310 -0.273834421
490482 -0.267406202
2124867 -0.243805922
53474 -0.273716534
213120 -0.271411269
37620 -0.273945463
232434 -0.271132377
同频处理可以指将目标测试子集中的所有数据按照同一尺度进行处理。由于同一数据集作为输入值时,需要保证各个特征数据的数量是相同的。另外,不同数据需要是相互对应的,比如在时间尺度上的对应。作为示例,一测试子集可以包括空气湿度数据和降水量数据,其中空气湿度数据的统计频率为“1次/天”,共有100个数据;降水量数据的统计频率为“1次/2天”,共有50个数据。为了使二者的数据相互对应,可以删除空气湿度数据的部分数据,使得空气湿度数据与降水量数据既在时间上对应,也有相同的数量。
在一些实施例中,同频处理可以指将低频元数据集中的元数据进行数据插补,生成与高频元数据集中的元数据频率相同的元数据集;或者,同频处理可以指将高频元数据集中的部分元数据进行删除,生成与低频元数据集中的元数据频率相同的元数据集。
对低频元数据集中的元数据进行数据插补时,可以在两个元数据之间插入多个元数据,使得该两个元数据及之间的元数据呈等差排列。也可以在两个元数据之间插入满足预设数据指标的为多个随机数值的元数据。或者可以为其他插补方法,根据需要进行设置,在此不做具体限制。
对高频元数据集中的部分元数据进行删除时,可以保护与低频数据中各项数据在同一尺度对应的元数据,将其余部分的数据进行删除。
在一些实施例中,基于预设同频策略对至少两个原始集中每个原始集中的元数据进行同频处理,包括:步骤一:从至少两个原始集中筛选出一个原始集作为目标原始集;步骤二:从目标原始集中筛选出一种特征数据作为目标特征数据;步骤三:基于目标特征数据,将目标测试子集中各种特征数据的元数据做同频处理;重复执行步骤一至步骤三,直至至少两个原始集中每个原始集中的元数据完成同频处理。
其中,筛选目标特征数据时,为了保证数据真实,一般将统计频率最低的数据作为目标特征数据。
在一些实施例中,目标神经网络的损失函数为:
Figure 788482DEST_PATH_IMAGE032
其中,
Figure 799163DEST_PATH_IMAGE033
指损失值,
Figure 954070DEST_PATH_IMAGE034
指权重向量,
Figure 50202DEST_PATH_IMAGE035
指预测值,
Figure 433910DEST_PATH_IMAGE036
指真实值。
在一些实施例中,目标神经网络的权重更新函数为:
Figure 564677DEST_PATH_IMAGE037
其中,
Figure 890485DEST_PATH_IMAGE038
指更新后的权重向量,
Figure 473913DEST_PATH_IMAGE039
指更新前的权重向量,
Figure 723629DEST_PATH_IMAGE040
指学习率,
Figure 646585DEST_PATH_IMAGE041
指损失值的偏导,
Figure 956344DEST_PATH_IMAGE042
指权重向量的偏导。
需要指出的是,至少两个目标子神经网络和目标神经网络的激活函数、损失函数和权重更新函数可以相同,也可以不同,根据需要进行设置,在此不作具体限制。
上述所有可选技术方案,可以采用任意结合形成本申请的可选实施例,在此不再一一赘述。
图3是本公开实施例提供的多类型数据并行学习方法的流程图。图3的多类型数据并行学习方法可以由图1服务器2执行。如图3所示,该多类型数据并行学习方法包括:
S301,获取环境数据原始集和经济数据原始集,其中,环境数据原始集包括空气湿度数据、降水量数据、森林覆盖率数据和地形数据。经济数据原始集包括人均gdp数据、汽车保有量数据、环境治理投入数据、废水排放量数据和污染空气排放量数据。每种上述数据都包含至少一个元数据。
S302,将环境原始集和经济原始集中的元数据进行归一化处理,得到归一处理后的环境原始集和经济原始集。
S303,将归一处理后的环境原始集中统计频率最低的地形数据作为目标特征数据,对归一处理后的环境原始集中的各个特征数据进行同频处理,得到环境子集。
S304,将归一处理后的经济原始集中统计频率最低的人均GDP数据作为目标特征数据,对归一处理后的经济原始集中的各个特征数据进行同频处理,得到经济子集。
S305,基于环境子集对初始环境神经网络进行训练,得到目标环境神经网络。
S306,基于经济子集对初始经济神经网络进行训练,得到目标经济神经网络。
S307,将目标环境神经网络的中间向量和目标环境神经网络的中间向量进行拼接,生成目标向量。
S308,将目标向量作为输入,对初始发展指数神经网络进行训练,得到目标发展指数神经网络。
S309,将目标地区的环境数据集和经济数据集导入目标发展指数神经网络进行计算,得到目标发展指数预测值。
需要指出的是,本公开还可以应用于其他领域,如无人车的多种探测数据等。
下述为本公开装置实施例,可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节,请参照本公开方法实施例。
图4是本公开实施例提供的多类型数据并行学习装置的示意图。如图4所示,该多类型数据并行学习装置包括:
拼接模块401,被配置为将至少两个目标子神经网络的中间向量进行拼接,生成目标向量。
训练模块402,被配置为将目标向量作为输入,对初始神经网络进行训练,得到目标神经网络。
计算模块403,被配置为将目标数据集导入目标神经网络进行计算,得到目标预测值。
根据本公开实施例提供的技术方案,通过将至少两个目标子神经网络的中间向量进行拼接,生成目标向量;将目标向量作为输入,对初始神经网络进行训练,得到目标神经网络;将目标数据集导入目标神经网络进行计算,得到目标预测值,可以大大提高对多类型交叉数据的处理速度和精准度。
在一些实施例中,多类型数据并行学习装置的拼接模块之前,还包括:获取模块,被配置为获取至少两个测试子集,其中,至少两个测试子集中的每个测试子集,对应至少两个初始子神经网络中的其中一个初始子神经网络。第二训练模块,被配置为将至少两个测试子集中的其中一个测试子集,对与其对应的子神经网络进行训练,得到目标子神经网络。循环模块,被配置为重复执行第二训练模块,直至至少两个初始子神经网络中的每个初始子神经网络被训练,得到至少两个目标子神经网络。
在一些实施例中,获取至少两个测试子集之前,还包括:获取至少两个原始集,其中,至少两个原始集中的每个原始集包括至少一种特征数据,每种特征数据包括至少一个元数据;基于预设的处理策略对至少两个原始集中的每个元数据进行处理,生成处理后的元数据,得到处理后的至少两个原始集;将处理后的至少两个原始集确定为至少两个测试子集。
在一些实施例中,预设的处理策略包括:基于归一数学式对至少两个原始集中的每个元数据进行归一处理,其中,归一数学式为:
Figure 27068DEST_PATH_IMAGE028
其中,
Figure 267425DEST_PATH_IMAGE043
指经过归一化后得到的数据,
Figure 107205DEST_PATH_IMAGE044
指元数据,
Figure 525548DEST_PATH_IMAGE045
为元数据的均值,
Figure 817989DEST_PATH_IMAGE046
为元数据的标准差。基于预设同频策略对所述至少两个原始集中每个原始集中的元数据进行同频处理。
在一些实施例中,基于预设同频策略对所述至少两个原始集中每个原始集中的元数据进行同频处理,包括:步骤一:从所述至少两个原始集中筛选出一个原始集作为目标原始集;步骤二:从所述目标原始集中筛选出一种特征数据作为目标特征数据;步骤三:基于所述目标特征数据,将所述目标测试子集中各种特征数据的元数据做同频处理;重复执行步骤一至步骤三,直至所述至少两个原始集中每个原始集中的元数据完成同频处理。
在一些实施例中,目标神经网络的目标值范围为人为设置。
根据不同的预测需求,目标神经网络的预测范围需要进行相对应地设置,该目标值范围可以为认为设定,也可以为神经网络学习生成。作为示例,该目标值范围可以为“0至1”、“-1至1”、“0至100”、“0%至100%”或其他情况等,根据情况进行设置,在此不做具体限制。
在一些实施例中,目标神经网络的损失函数为:
Figure 675087DEST_PATH_IMAGE032
其中,
Figure 556324DEST_PATH_IMAGE033
指损失值,
Figure 207885DEST_PATH_IMAGE034
指权重向量,
Figure 190885DEST_PATH_IMAGE035
指预测值,
Figure 586094DEST_PATH_IMAGE036
指真实值。
在一些实施例中,目标神经网络的权重更新函数为:
Figure 134887DEST_PATH_IMAGE037
其中,
Figure 409880DEST_PATH_IMAGE038
指更新后的权重向量,
Figure 676913DEST_PATH_IMAGE039
指更新前的权重向量,
Figure 610234DEST_PATH_IMAGE040
指学习率,
Figure 216796DEST_PATH_IMAGE041
指损失值的偏导,
Figure 475739DEST_PATH_IMAGE042
指权重向量的偏导。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本公开实施例的实施过程构成任何限定。
图5是本公开实施例提供的计算机设备500的示意图。如图5所示,该实施例的计算机设备500包括:处理器501、存储器502以及存储在该存储器502中并且可以在处理器501上运行的计算机程序503。处理器501执行计算机程序503时实现上述各个方法实施例中的步骤。或者,处理器501执行计算机程序503时实现上述各装置实施例中各模块/单元的功能。
示例性地,计算机程序503可以被分割成一个或多个模块/单元,一个或多个模块/单元被存储在存储器502中,并由处理器501执行,以完成本公开。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述计算机程序503在计算机设备500中的执行过程。
计算机设备500可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算机设备。计算机设备500可以包括但不仅限于处理器501和存储器502。本领域技术人员可以理解,图5仅仅是计算机设备500的示例,并不构成对计算机设备500的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如,计算机设备还可以包括输入输出设备、网络接入设备、总线等。
处理器501可以是中央处理单元(Central Processing Unit,CPU),也可以是其它通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器502可以是计算机设备500的内部存储单元,例如,计算机设备500的硬盘或内存。存储器502也可以是计算机设备500的外部存储设备,例如,计算机设备500上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器502还可以既包括计算机设备500的内部存储单元也包括外部存储设备。存储器502用于存储计算机程序以及计算机设备所需的其它程序和数据。存储器502还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本公开的范围。
在本公开所提供的实施例中,应该理解到,所揭露的装置/计算机设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/计算机设备实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本公开实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,计算机程序可以存储在计算机可读存储介质中,该计算机程序在被处理器执行时,可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是,计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如,在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
以上实施例仅用以说明本公开的技术方案,而非对其限制;尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围,均应包含在本公开的保护范围之内。

Claims (10)

1.一种多类型数据并行学习方法,其特征在于,包括:
将至少两个目标子神经网络的中间向量进行拼接,生成目标向量;
将所述目标向量作为输入,对初始神经网络进行训练,得到目标神经网络;
将目标数据集导入所述目标神经网络进行计算,得到目标预测值。
2.根据权利要求1所述的方法,其特征在于,所述将至少两个目标子神经网络的中间向量进行拼接,生成目标向量之前,还包括:
获取至少两个测试子集,其中,所述至少两个测试子集中的每个测试子集,对应至少两个初始子神经网络中的其中一个初始子神经网络;
基于所述至少两个测试子集中的每个测试子集,对与其对应的初始子神经网络进行训练,得到对应的目标子神经网络。
3.根据权利要求2所述的方法,其特征在于,所述获取至少两个测试子集之前,还包括:
获取至少两个原始集,其中,所述至少两个原始集中的每个原始集包括至少一种特征数据,每种所述特征数据包括至少一个元数据;
基于预设的处理策略对所述至少两个原始集中的每个元数据进行处理,生成处理后的元数据,得到处理后的至少两个原始集;
将所述处理后的至少两个原始集确定为所述至少2个测试子集。
4.根据权利要求3所述的方法,其特征在于,所述预设的处理策略包括:
基于归一数学式对所述至少两个原始集中的每个元数据进行归一处理,其中,所述归一数学式为:
Figure 675839DEST_PATH_IMAGE001
其中,
Figure 592979DEST_PATH_IMAGE002
指经过归一化后得到的数据,
Figure 372716DEST_PATH_IMAGE003
指元数据,
Figure 954876DEST_PATH_IMAGE004
为元数据的均值,
Figure 769248DEST_PATH_IMAGE005
为元数据的标准差;
基于预设同频策略对所述至少两个原始集中每个原始集中的元数据进行同频处理。
5.根据权利要求4所述的方法,其特征在于,所述基于预设同频策略对所述至少两个原始集中每个原始集中的元数据进行同频处理,包括:
步骤一:从所述至少两个原始集中筛选出一个原始集作为目标原始集;
步骤二:从所述目标原始集中筛选出一种特征数据作为目标特征数据;
步骤三:基于所述目标特征数据,将所述目标测试子集中各种特征数据的元数据做同频处理;
重复执行步骤一至步骤三,直至所述至少两个原始集中每个原始集中的元数据完成同频处理。
6.根据权利要求1至5任一所述的方法,其特征在于,所述目标神经网络的损失函数为:
Figure 529394DEST_PATH_IMAGE006
其中,
Figure 796427DEST_PATH_IMAGE007
指损失值,
Figure 995327DEST_PATH_IMAGE008
指权重向量,
Figure 851157DEST_PATH_IMAGE009
指预测值,
Figure 844521DEST_PATH_IMAGE010
指真实值。
7.根据权利要求1至5任一所述的方法,其特征在于,所述目标神经网络的权重更新函数为:
Figure 598850DEST_PATH_IMAGE011
其中,
Figure 273545DEST_PATH_IMAGE012
指更新后的权重向量,
Figure 796930DEST_PATH_IMAGE013
指更新前的权重向量,
Figure 413725DEST_PATH_IMAGE014
指学习率,
Figure 655351DEST_PATH_IMAGE015
指损失值的偏导,
Figure 868157DEST_PATH_IMAGE016
指权重向量的偏导。
8.一种多类型数据并行学习装置,其特征在于,包括:
拼接模块,被配置为将至少两个目标子神经网络的中间向量进行拼接,生成目标向量;
训练模块,被配置为将所述目标向量作为输入,对初始神经网络进行训练,得到目标神经网络;
计算模块,被配置为将目标数据集导入所述目标神经网络进行计算,得到目标预测值。
9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并且可以在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
CN202111158005.3A 2021-09-30 2021-09-30 多类型数据并行学习方法、装置、计算机设备及介质 Pending CN113902098A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111158005.3A CN113902098A (zh) 2021-09-30 2021-09-30 多类型数据并行学习方法、装置、计算机设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111158005.3A CN113902098A (zh) 2021-09-30 2021-09-30 多类型数据并行学习方法、装置、计算机设备及介质

Publications (1)

Publication Number Publication Date
CN113902098A true CN113902098A (zh) 2022-01-07

Family

ID=79189474

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111158005.3A Pending CN113902098A (zh) 2021-09-30 2021-09-30 多类型数据并行学习方法、装置、计算机设备及介质

Country Status (1)

Country Link
CN (1) CN113902098A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109871976A (zh) * 2018-12-20 2019-06-11 浙江工业大学 一种基于聚类及神经网络的含分布式电源配电网电能质量预测方法
CN109978411A (zh) * 2019-04-10 2019-07-05 交通运输部科学研究院 一种交通运输发展指数构建模型
CN110751287A (zh) * 2018-07-23 2020-02-04 第四范式(北京)技术有限公司 神经网络模型的训练方法及系统以及预测方法及系统
US20200134398A1 (en) * 2018-10-29 2020-04-30 Sri International Determining intent from multimodal content embedded in a common geometric space
CN112364923A (zh) * 2020-11-13 2021-02-12 北京明略昭辉科技有限公司 样本数据的处理方法及装置、系统、存储介质、电子设备
CN112526606A (zh) * 2021-02-08 2021-03-19 南京云创大数据科技股份有限公司 一种基于异构多分类模型的震源类型预测方法和系统
CN113176532A (zh) * 2021-04-27 2021-07-27 西北大学 基于波束空间的阵列误差和阵元失效的dnn鲁棒性doa估计方法、装置及存储介质
KR20210094445A (ko) * 2020-01-19 2021-07-29 베이징 시아오미 파인콘 일렉트로닉스 컴퍼니 리미티드 정보 처리 방법, 장치 및 저장 매체
CN113259288A (zh) * 2021-05-05 2021-08-13 青岛科技大学 基于特征融合与轻量化混合神经网络的水声通信调制方式识别方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110751287A (zh) * 2018-07-23 2020-02-04 第四范式(北京)技术有限公司 神经网络模型的训练方法及系统以及预测方法及系统
US20200134398A1 (en) * 2018-10-29 2020-04-30 Sri International Determining intent from multimodal content embedded in a common geometric space
CN109871976A (zh) * 2018-12-20 2019-06-11 浙江工业大学 一种基于聚类及神经网络的含分布式电源配电网电能质量预测方法
CN109978411A (zh) * 2019-04-10 2019-07-05 交通运输部科学研究院 一种交通运输发展指数构建模型
KR20210094445A (ko) * 2020-01-19 2021-07-29 베이징 시아오미 파인콘 일렉트로닉스 컴퍼니 리미티드 정보 처리 방법, 장치 및 저장 매체
CN112364923A (zh) * 2020-11-13 2021-02-12 北京明略昭辉科技有限公司 样本数据的处理方法及装置、系统、存储介质、电子设备
CN112526606A (zh) * 2021-02-08 2021-03-19 南京云创大数据科技股份有限公司 一种基于异构多分类模型的震源类型预测方法和系统
CN113176532A (zh) * 2021-04-27 2021-07-27 西北大学 基于波束空间的阵列误差和阵元失效的dnn鲁棒性doa估计方法、装置及存储介质
CN113259288A (zh) * 2021-05-05 2021-08-13 青岛科技大学 基于特征融合与轻量化混合神经网络的水声通信调制方式识别方法

Similar Documents

Publication Publication Date Title
CN108197652B (zh) 用于生成信息的方法和装置
CN110852882B (zh) 用于区块链网络的分组共识方法、装置、设备和介质
CN112307331A (zh) 一种基于区块链高校毕业生智能招聘信息推送方法、系统及终端设备
CN114780965A (zh) 一种漏洞修复优先级评估方法与系统
CN113537370A (zh) 一种基于云计算的财务数据处理方法及系统
CN111461440B (zh) 链路预测方法、系统及终端设备
CN114970357A (zh) 节能效果评价方法、系统、装置及存储介质
CN109117352B (zh) 服务器性能预测方法和装置
CN112766402A (zh) 算法选择方法、装置和电子设备
JP2022534160A (ja) 情報を出力するための方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム
CN114700957B (zh) 模型低算力需求的机器人控制方法及装置
CN113902098A (zh) 多类型数据并行学习方法、装置、计算机设备及介质
CN113408970B (zh) 用户信息生成方法、装置、电子设备和计算机可读介质
CN115048430A (zh) 数据核验方法、系统、装置及存储介质
CN114140642A (zh) 一种建档方法、装置、电子设备及计算机可读存储介质
CN113704236A (zh) 政务系统数据质量评估方法、装置、终端及存储介质
CN112668832A (zh) 基于指标管理体系的风险量化评估方法、装置以及电子设备
CN114417717B (zh) 印刷电路板的仿真方法及装置
CN111126465B (zh) 节点分类方法、装置、终端设备及计算机可读存储介质
CN116894163B (zh) 基于信息安全的充放电设施负荷预测信息生成方法和装置
CN115660071A (zh) 模型剪枝方法及装置
CN113034123B (zh) 异常资源转移识别方法、装置、电子设备及可读存储介质
CN113392138A (zh) 一种隐私数据的统计分析方法、装置、服务器和存储介质
CN114065999A (zh) 老龄化程度的预测方法、装置、终端及存储介质
CN113689085A (zh) 一种多指标要素的特征属性信息处理方法以及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination