CN111667013A - 信息补充方法、装置、电子设备及计算机可读存储介质 - Google Patents
信息补充方法、装置、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN111667013A CN111667013A CN202010526769.2A CN202010526769A CN111667013A CN 111667013 A CN111667013 A CN 111667013A CN 202010526769 A CN202010526769 A CN 202010526769A CN 111667013 A CN111667013 A CN 111667013A
- Authority
- CN
- China
- Prior art keywords
- predicted value
- feature
- features
- network model
- selection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001502 supplementing effect Effects 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000009467 reduction Effects 0.000 claims abstract description 50
- 230000004927 fusion Effects 0.000 claims abstract description 29
- 238000012216 screening Methods 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims abstract description 15
- 238000011156 evaluation Methods 0.000 claims description 43
- 238000004590 computer program Methods 0.000 claims description 9
- 239000013589 supplement Substances 0.000 claims description 8
- 230000001131 transforming effect Effects 0.000 claims description 2
- 230000000153 supplemental effect Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 6
- 238000007418 data mining Methods 0.000 abstract description 2
- 238000000605 extraction Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000010187 selection method Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000009469 supplementation Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011985 exploratory data analysis Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种信息补充方法、装置、电子设备及计算机可读存储介质,属于数据挖掘领域。该方法先确定出目标降维方式;根据目标降维方式对数据所包括的特征进行筛选,得到选中特征及落选特征;用落选特征训练根据任务场景所确定的基础网络模型,得到第一网络模型,并获取第一网络模型针对落选特征输出的第一预测值;将第一预测值所表征的信息补充到选中特征内,得到融合特征。针对上述融合特征而言,既对原始数据进行降维处理,降低了原始数据的数据量,又将由于降维操作导致的信息缺失的众多特征作为新的一维特征加入到选中特征中,因此,最后得到的融合特征既可以防止数据量太大,又可以减少降维特的信息丢失。
Description
技术领域
本申请属于数据挖掘领域,具体涉及一种信息补充方法、装置、电子设备及计算机可读存储介质。
背景技术
针对不同的任务场景,未被处理的数据往往包含许多冗余的特征。若不对数据进行处理,直接将未被处理的数据用于后续任务场景,庞大的数据量会增加后续任务场景的复杂度,不利用数据的后续应用,因此,一般会根据具体的任务场景对数据进行降维处理后,再基于降维后的数据进行后续任务。
然而,不可避免地,降维操作会导致数据出现信息缺失,又会对后续的任务带来不好的影响。
发明内容
有鉴于此,本申请的目的在于提供一种信息补充方法、装置、电子设备及计算机可读存储介质,在对数据进行降维的同时,尽可能少地减少数据的信息缺失。
本申请的实施例是这样实现的:
第一方面,本申请实施例提供一种信息补充方法,所述方法包括:根据数据所适用的任务场景,确定出对所述数据的特征进行降维的目标降维方式;根据所述目标降维方式对所述数据所包括的特征进行筛选,得到选中特征及落选特征;基于所述落选特征对根据所述任务场景所确定的基础网络模型进行训练,得到第一网络模型,并获取所述第一网络模型针对所述落选特征输出的第一预测值,所述第一预测值用于表征所述落选特征所包含的信息;将所述第一预测值所表征的信息补充到所述选中特征内,得到融合特征。针对上述融合特征而言,既对原始数据进行降维处理,降低了原始数据的数据量,又将由于降维操作导致的信息缺失的众多特征所包括的与任务场景相关的信息作为新的一维特征加入到选中特征中,因此,最后得到的融合特征既可以防止数据量太大导致的复杂度,又可以尽可能地减少由于特征降维所导致的信息丢失,避免对后续任务带来不好的影响。
结合第一方面实施例,在一种可能的实施方式中,所述将所述第一预测值所表征的信息补充到所述选中特征内,得到融合特征,包括:将所述第一预测值转变成与所述选中特征同一数量级的新特征;将所述新特征加入到所述选中特征内,得到所述融合特征。
结合第一方面实施例,在一种可能的实施方式中,所述将所述第一预测值所表征的信息补充到所述选中特征内,得到融合特征,包括:基于所述选中特征对所述基础网络模型进行训练,得到第二网络模型,并获取所述第二网络模型针对所述选中特征输出的第二预测值,所述第二预测值用于表征所述选中特征所包含的信息;获取所述第一网络模型的第一评价指标及所述第二网络模型的第二评价指标;根据所述第一评价指标及所述第二评价指标对所述第一预测值及所述第二预测值进行加权求和,得到所述融合特征。
结合第一方面实施例,在一种可能的实施方式中,所述根据所述第一评价指标及所述第二评价指标对所述第一预测值及所述第二预测值进行加权求和,得到所述融合特征,包括:根据公式M=H1×Y1/(H1+H2)+H2×Y2/(H1+H2),得到所述融合特征;其中,M为所述融合特征,Y1为所述第一预测值,Y2为所述第二预测值,H1为所述第一评价指标,H2为所述第二评价指标。
结合第一方面实施例,在一种可能的实施方式中,所述基于所述落选特征对根据所述任务场景所确定的基础网络模型进行训练,得到第一网络模型,并获取所述第一网络模型针对所述落选特征输出的第一预测值,包括:基于所述落选特征分别对多个所述基础网络模型进行训练,得到多个预测值;将所述多个预测值进行加权求和,得到所述第一预测值。
第二方面,本申请实施例提供一种信息补充装置,所述装置包括:确定模块、筛选模块、输出模块以及补充模块。确定模块,用于根据数据所适用的任务场景,确定出对所述数据的特征进行降维的目标降维方式;筛选模块,用于根据所述目标降维方式对所述数据所包括的特征进行筛选,得到选中特征及落选特征;输出模块,用于基于所述落选特征对根据所述任务场景所确定的基础网络模型进行训练,得到第一网络模型,并获取所述第一网络模型针对所述落选特征输出的第一预测值,所述第一预测值用于表征所述落选特征所包含的信息;补充模块,用于将所述第一预测值所表征的信息补充到所述选中特征内,得到融合特征。
结合第二方面实施例,在一种可能的实施方式中,所述补充模块,用于将所述第一预测值转变成与所述选中特征同一数量级的新特征;将所述新特征加入到所述选中特征内,得到所述融合特征。
结合第二方面实施例,在一种可能的实施方式中,输出模块,还用于基于所述选中特征对所述基础网络模型进行训练,得到第二网络模型,并获取所述第二网络模型针对所述选中特征输出的第二预测值,所述第二预测值用于表征所述选中特征所包含的信息;所述补充模块,用于获取所述第一网络模型的第一评价指标及所述第二网络模型的第二评价指标;根据所述第一评价指标及所述第二评价指标对所述第一预测值及所述第二预测值进行加权求和,得到所述融合特征。
结合第二方面实施例,在一种可能的实施方式中,所述补充模块,用于根据公式M=H1×Y1/(H1+H2)+H2×Y2/(H1+H2),得到所述融合特征;其中,M为所述融合特征,Y1为所述第一预测值,Y2为所述第二预测值,H1为所述第一评价指标,H2为所述第二评价指标。
结合第二方面实施例,在一种可能的实施方式中,所述输出模块,用于基于所述落选特征分别对多个所述基础网络模型进行训练,得到多个预测值;将所述多个预测值进行加权求和,得到所述第一预测值。
第三方面,本申请实施例还提供一种电子设备,包括:存储器和处理器,所述存储器和所述处理器连接;所述存储器用于存储程序;所述处理器调用存储于所述存储器中的程序,以执行上述第一方面实施例和/或结合第一方面实施例的任一种可能的实施方式提供的方法。
第四方面,本申请实施例还提供一种非易失性计算机可读取存储介质(以下简称计算机可读存储介质),其上存储有计算机程序,所述计算机程序被计算机运行时执行上述第一方面实施例和/或结合第一方面实施例的任一种可能的实施方式提供的方法。
本申请的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请实施例而了解。本申请的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。通过附图所示,本申请的上述及其它目的、特征和优势将更加清晰。在全部附图中相同的附图标记指示相同的部分。并未刻意按实际尺寸等比例缩放绘制附图,重点在于示出本申请的主旨。
图1示出了本申请实施例提供的一种信息补充方法的流程图。
图2示出了本申请实施例提供的一种信息补充装置的结构框图。
图3示出了本申请实施例提供的一种电子设备的结构示意图。
标号:100-电子设备;110-处理器;120-存储器;400-信息补充装置;410-确定模块;420-筛选模块;430-输出模块;440-补充模块。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中诸如“第一”、“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
再者,本申请中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
此外,针对现有技术中出现的对数据降维后所导致的信息缺失的缺陷是申请人在经过实践并仔细研究后得出的结果,因此,上述缺陷的发现过程以及在下文中本申请实施例针对上述缺陷所提出的解决方案,都应该是申请人在本申请过程中对本申请做出的贡献。
为了解决上述问题,本申请实施例提供一种信息补充方法、装置、电子设备及计算机可读存储介质,使得在对数据进行降维的同时,尽可能少地减少数据的信息缺失。
该技术可采用相应的软件、硬件以及软硬结合的方式实现。以下对本申请实施例进行详细介绍。
下面将针对本申请所提供的信息补充方法进行介绍。
请参阅图1,本申请实施例提供一种应用于电子设备的信息补充方法。该方法可以应用于电子设备本身,也可以应用于安装在电子设备内的应用程序(Application,APP),还可以应用于某个小程序,该小程序内嵌在安装于电子设备内的某一公众平台。
下面将结合图1对其所包含的步骤进行说明。
步骤S110:根据数据所适用的任务场景,确定出对所述数据的特征进行降维的目标降维方式。
其中,任务场景可以包括对数据进行分类、对数据进行回归等。
在数据处理领域,可以用于进行数据降维的方式也包括多种,例如包括特征选择法、特征提取法等。
其中,针对特征选择法,可以包括基于显著性检验的特征选择、基于互信息的特征选择等;针对特征提取法,可以包括基于主成分分析的特征提取、基于线性判别分析的特征提取,基于奇异值分解的特征提取等。
针对不同的任务场景,可以为数据确定出适合任务场景的目标降维方式,例如针对分类任务,可以基于特征提取法进行降维,也可以基于特征选择法进行降维,还可以同时结合特征选择法以及特征提取法进行降维。
步骤S120:根据所述目标降维方式对所述数据所包括的特征进行筛选,得到选中特征及落选特征。
可选的,在进行数据降维操作时,可以先对数据进行探索性分析,例如根据数据所包括的离散特征与连续特征的数据取值及数据分布情况,尽可能多地得到与数据对应的多种特征。
在得到与数据对应的多种特征后,再结合上述确定的目标降维方式对数据所包括的多种特征进行筛选,从而将多种特征分为选中特征以及落选特征。
其中,在进行筛选时,可以将多种特征输入预先建立的特征模型,基于目标降维方式设置阈值,然后通过阈值将上述多种特征分为选中特征以及落选特征。其中,选中特征表征与任务场景相关程度较大的特征,落选特征表征与任务场景相关程度较小的特征。
步骤S130:基于所述落选特征对根据所述任务场景所确定的基础网络模型进行训练,得到第一网络模型,并获取所述第一网络模型针对所述落选特征输出的第一预测值。
在一种可选的实施方式中,可以基于落选特征对根据任务场景所确定的基础网络模型进行训练。当基础网络模型被训练至收敛后,得到第一网络模型。
在得到第一网络模型后,可以基于现有的网络模型性能测试方法(例如AUC评价法)对第一网络模型的性能进行测试,得到第一评价指标。
此外,可以将落选特征输入第一网络模型内,得到落选特征对应于第一网络模型的输出值,即第一预测值。第一预测值用于表征落选特征所包含的信息。
在另一种可选的实施方式中,可以基于落选特征对多个根据任务场景所确定的基础网络模型进行训练,从而得到多个对应的预测值以及多个对应的评价指标,然后将多个预测值根据多个对应的评价指标进行加权求和,得到的值即为第一预测值。
例如基于落选特征对三个基础网络模型A、B、C进行训练,分别得到多个对应的预测值A1、B1以及C1,同时分别得到多个对应的评价指标A2、B2以及C2。根据公式A1×A2/(A2+B2+C2)+B1×B2/(A2+B2+C2)+C1×C2/(A2+B2+C2)得到第一预测值。
步骤S140:将所述第一预测值所表征的信息补充到所述选中特征内,得到融合特征。
针对落选特征而言,其所包含的与任务场景相关的信息较少,因此,落选特征在上述降维过程被剔除。然而,由于落选特征依旧包含少量与任务场景相关的信息,因此,可以按照上述模型输出预测值的方式对落选特征进行处理,以减少落选特征的数据量,然后将减少数据量后的落选特征所包括的与任务场景相关的信息补充到选中特征内,起到信息补充的作用。
作为一种可选的实施方式,可以在得到第一预测值的基础上,将第一预测值乘以一个系数,使得第一预测值转变成与选中特征同一数量级的新特征,然后将新特征加入到选中特征内,得到融合特征。
作为另一种可选的实施方式,可以通过与上述基于落选特征得到第一网络模型、第一预测值以及第一评价指标的方式类似的方式,基于选中特征对基础网络模型进行训练,得到第二网络模型,进而得到对应的第二预测值以及对应的第二评价指标。然后根据第一评价指标及第二评价指标对第一预测值及第二预测值进行加权求和,得到融合特征。具体地,可以根据公式M=H1×Y1/(H1+H2)+H2×Y2/(H1+H2),得到融合特征。其中,M为融合特征,Y1为第一预测值,Y2为第二预测值,H1为第一评价指标,H2为第二评价指标。
在得到融合特征后,可以根据融合特征来进行后续任务场景。针对上述融合特征而言,既对原始数据进行降维处理,降低了原始数据的数据量,又将由于降维操作导致的信息缺失的众多特征所包括的与任务场景相关的信息作为新的一维特征加入到选中特征中,因此,最后得到的融合特征既可以防止数据量太大导致的复杂度,又可以尽可能地减少特征降维所导致的信息丢失,避免对后续任务带来不好的影响。
本申请实施例所提供的一种信息补充方法,该方法包括:根据数据所适用的任务场景,确定出对数据的特征进行降维的目标降维方式;根据目标降维方式对数据所包括的特征进行筛选,得到选中特征及落选特征;用落选特征训练根据任务场景所确定的基础网络模型,得到第一网络模型,并获取第一网络模型针对落选特征输出的第一预测值;将第一预测值所表征的信息补充到选中特征内,得到融合特征。针对上述融合特征而言,既对原始数据进行降维处理,降低了原始数据的数据量,又将由于降维操作导致的信息缺失的众多特征所包括的与任务场景相关的信息作为新的一维特征加入到选中特征中,因此,最后得到的融合特征既可以防止数据量太大导致的复杂度,又可以尽可能地减少特征降维所导致的信息丢失,避免对后续任务带来不好的影响。
如图2所示,本申请实施例还提供一种信息补充装置400,信息补充装置400可以包括:确定模块410、筛选模块420、输出模块430以及补充模块440。
确定模块410,用于根据数据所适用的任务场景,确定出对所述数据的特征进行降维的目标降维方式;
筛选模块420,用于根据所述目标降维方式对所述数据所包括的特征进行筛选,得到选中特征及落选特征;
输出模块430,用于基于所述落选特征对根据所述任务场景所确定的基础网络模型进行训练,得到第一网络模型,并获取所述第一网络模型针对所述落选特征输出的第一预测值,所述第一预测值用于表征所述落选特征所包含的信息;
补充模块440,用于将所述第一预测值所表征的信息补充到所述选中特征内,得到融合特征。
在一种可能的实施方式中,所述补充模块440,用于将所述第一预测值转变成与所述选中特征同一数量级的新特征;将所述新特征加入到所述选中特征内,得到所述融合特征。
在一种可能的实施方式中,输出模块430,还用于用所述选中特征训练所述基础网络模型,得到第二网络模型,并获取所述第二网络模型针对所述选中特征输出的第二预测值,所述第二预测值用于表征所述选中特征所包含的信息;所述补充模块440,用于获取所述第一网络模型的第一评价指标及所述第二网络模型的第二评价指标;根据所述第一评价指标及所述第二评价指标对所述第一预测值及所述第二预测值进行加权求和,得到所述融合特征。
在一种可能的实施方式中,所述补充模块440,用于根据公式M=H1×Y1/(H1+H2)+H2×Y2/(H1+H2),得到所述融合特征;其中,M为所述融合特征,Y1为所述第一预测值,Y2为所述第二预测值,H1为所述第一评价指标,H2为所述第二评价指标。
在一种可能的实施方式中,所述输出模块430,用于基于所述落选特征分别对多个所述基础网络模型进行训练,得到多个预测值;将所述多个预测值进行加权求和,得到所述第一预测值。
本申请实施例所提供的信息补充装置400,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
此外,本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被计算机运行时,执行如上述的信息补充方法所包含的步骤。
此外,请参看图3,本发明实施例还提供一种用于实现本申请实施例的信息补充方法、装置的电子设备100。
可选的,电子设备100,可以是,但不限于个人电脑(Personal computer,PC)、智能手机、平板电脑、移动上网设备(Mobile Internet Device,MID)、个人数字助理、服务器等设备。其中,服务器可以是,但不限于网络服务器、数据库服务器、云端服务器等。
其中,电子设备100可以包括:处理器110、存储器120。
应当注意,图3所示的电子设备100的组件和结构只是示例性的,而非限制性的,根据需要,电子设备100也可以具有其他组件和结构。
处理器110、存储器120以及其他可能出现于电子设备100的组件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,处理器110、存储器120以及其他可能出现的组件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
存储器120用于存储程序,例如存储有前文出现的信息补充方法对应的程序或者前文出现的信息补充装置。可选的,当存储器120内存储有信息补充装置时,信息补充装置包括至少一个可以以软件或固件(firmware)的形式存储于存储器120中的软件功能模块。
可选的,信息补充装置所包括软件功能模块也可以固化在电子设备100的操作系统(operating system,OS)中。
处理器110用于执行存储器120中存储的可执行模块,例如信息补充装置包括的软件功能模块或计算机程序。当处理器110在接收到执行指令后,可以执行计算机程序,例如执行根据数据所适用的任务场景,确定出对所述数据的特征进行降维的目标降维方式;根据所述目标降维方式对所述数据所包括的特征进行筛选,得到选中特征及落选特征;基于所述落选特征对根据所述任务场景所确定的基础网络模型进行训练,得到第一网络模型,并获取所述第一网络模型针对所述落选特征输出的第一预测值,所述第一预测值用于表征所述落选特征所包含的信息;补充模块,用于将所述第一预测值所表征的信息补充到所述选中特征内,得到融合特征;将所述第一预测值所表征的信息补充到所述选中特征内,得到融合特征。
当然,本申请任一实施例所揭示的方法都可以应用于处理器110中,或者由处理器110实现。
综上所述,本发明实施例提出的信息补充方法、装置、电子设备及计算机可读存储介质,该方法根据数据所适用的任务场景,确定出对数据的特征进行降维的目标降维方式;根据目标降维方式对数据所包括的特征进行筛选,得到选中特征及落选特征;用落选特征训练根据任务场景所确定的基础网络模型,得到第一网络模型,并获取第一网络模型针对落选特征输出的第一预测值;将第一预测值所表征的信息补充到选中特征内,得到融合特征。针对上述融合特征而言,既对原始数据进行降维处理,降低了原始数据的数据量,又将由于降维操作导致的信息缺失的众多特征所包括的与任务场景相关的信息作为新的一维特征加入到选中特征中,因此,最后得到的融合特征既可以防止数据量太大导致的复杂度,又可以可能少地减少降维特的信息丢失,避免对后续任务带来不好的影响。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,笔记本电脑,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。
Claims (10)
1.一种信息补充方法,其特征在于,所述方法包括:
根据数据所适用的任务场景,确定出对所述数据的特征进行降维的目标降维方式;
根据所述目标降维方式对所述数据所包括的特征进行筛选,得到选中特征及落选特征;
基于所述落选特征对根据所述任务场景所确定的基础网络模型进行训练,得到第一网络模型,并获取所述第一网络模型针对所述落选特征输出的第一预测值,所述第一预测值用于表征所述落选特征所包含的信息;
将所述第一预测值所表征的信息补充到所述选中特征内,得到融合特征。
2.根据权利要求1所述的方法,其特征在于,所述将所述第一预测值所表征的信息补充到所述选中特征内,得到融合特征,包括:
将所述第一预测值转变成与所述选中特征同一数量级的新特征;
将所述新特征加入到所述选中特征内,得到所述融合特征。
3.根据权利要求1所述的方法,其特征在于,所述将所述第一预测值所表征的信息补充到所述选中特征内,得到融合特征,包括:
基于所述选中特征对所述基础网络模型进行训练,得到第二网络模型,并获取所述第二网络模型针对所述选中特征输出的第二预测值,所述第二预测值用于表征所述选中特征所包含的信息;
获取所述第一网络模型的第一评价指标及所述第二网络模型的第二评价指标;
根据所述第一评价指标及所述第二评价指标对所述第一预测值及所述第二预测值进行加权求和,得到所述融合特征。
4.根据权利要求3所述的方法,其特征在于,所述根据所述第一评价指标及所述第二评价指标对所述第一预测值及所述第二预测值进行加权求和,得到所述融合特征,包括:
根据公式M=H1×Y1/(H1+H2)+H2×Y2/(H1+H2),得到所述融合特征;
其中,M为所述融合特征,Y1为所述第一预测值,Y2为所述第二预测值,H1为所述第一评价指标,H2为所述第二评价指标。
5.根据权利要求1所述的方法,其特征在于,所述基于所述落选特征对根据所述任务场景所确定的基础网络模型进行训练,得到第一网络模型,并获取所述第一网络模型针对所述落选特征输出的第一预测值,包括:
基于所述落选特征分别对多个所述基础网络模型进行训练,得到多个预测值;
将所述多个预测值进行加权求和,得到所述第一预测值。
6.一种信息补充装置,其特征在于,所述装置包括:
确定模块,用于根据数据所适用的任务场景,确定出对所述数据的特征进行降维的目标降维方式;
筛选模块,用于根据所述目标降维方式对所述数据所包括的特征进行筛选,得到选中特征及落选特征;
输出模块,用于基于所述落选特征对根据所述任务场景所确定的基础网络模型进行训练,得到第一网络模型,并获取所述第一网络模型针对所述落选特征输出的第一预测值,所述第一预测值用于表征所述落选特征所包含的信息;
补充模块,用于将所述第一预测值所表征的信息补充到所述选中特征内,得到融合特征。
7.根据权利要求6所述的装置,其特征在于,所述补充模块,用于将所述第一预测值转变成与所述选中特征同一数量级的新特征;将所述新特征加入到所述选中特征内,得到所述融合特征。
8.根据权利要求6所述的装置,其特征在于,
所述输出模块,还用于基于所述选中特征对所述基础网络模型进行训练,得到第二网络模型,并获取所述第二网络模型针对所述选中特征输出的第二预测值,所述第二预测值用于表征所述选中特征所包含的信息;
所述补充模块,用于获取所述第一网络模型的第一评价指标及所述第二网络模型的第二评价指标;根据所述第一评价指标及所述第二评价指标对所述第一预测值及所述第二预测值进行加权求和,得到所述融合特征。
9.一种电子设备,其特征在于,包括:存储器和处理器,所述存储器和所述处理器连接;
所述存储器用于存储程序;
所述处理器调用存储于所述存储器中的程序,以执行如权利要求1-5中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述计算机程序被计算机运行时执行如权利要求1-5中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010526769.2A CN111667013A (zh) | 2020-06-10 | 2020-06-10 | 信息补充方法、装置、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010526769.2A CN111667013A (zh) | 2020-06-10 | 2020-06-10 | 信息补充方法、装置、电子设备及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111667013A true CN111667013A (zh) | 2020-09-15 |
Family
ID=72386782
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010526769.2A Pending CN111667013A (zh) | 2020-06-10 | 2020-06-10 | 信息补充方法、装置、电子设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111667013A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115482422A (zh) * | 2022-09-20 | 2022-12-16 | 北京百度网讯科技有限公司 | 深度学习模型的训练方法、图像处理方法和装置 |
-
2020
- 2020-06-10 CN CN202010526769.2A patent/CN111667013A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115482422A (zh) * | 2022-09-20 | 2022-12-16 | 北京百度网讯科技有限公司 | 深度学习模型的训练方法、图像处理方法和装置 |
CN115482422B (zh) * | 2022-09-20 | 2023-10-17 | 北京百度网讯科技有限公司 | 深度学习模型的训练方法、图像处理方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107690657B (zh) | 根据影像发现商户 | |
CN106980573B (zh) | 一种构建测试用例请求对象的方法、装置及系统 | |
CN106164959B (zh) | 行为事件测量系统和相关方法 | |
CN111324774B (zh) | 一种视频去重方法和装置 | |
CN109448100B (zh) | 三维模型格式转换方法、系统、计算机设备及存储介质 | |
CN109214421B (zh) | 一种模型训练方法、装置、及计算机设备 | |
US10380164B2 (en) | System and method for using on-image gestures and multimedia content elements as search queries | |
Lytvyn et al. | System development for video stream data analyzing | |
CN111144215A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN109934142B (zh) | 用于生成视频的特征向量的方法和装置 | |
CN108090203A (zh) | 视频分类方法、装置、存储介质及电子设备 | |
CN114116973A (zh) | 多文档的文本查重方法、电子设备及存储介质 | |
CN113255719A (zh) | 目标检测方法、装置、电子设备及计算机可读存储介质 | |
CN111435367A (zh) | 知识图谱的构建方法、系统、设备及存储介质 | |
CN111667013A (zh) | 信息补充方法、装置、电子设备及计算机可读存储介质 | |
CN111680799A (zh) | 用于处理模型参数的方法和装置 | |
CN111741329B (zh) | 一种视频处理方法、装置、设备及存储介质 | |
KR102455316B1 (ko) | 복수의 정보원에서 얻는 정보 및 도구를 통일화하는 방법 및 이를 응용한 컴퓨터 프로그램 제품과 장치 | |
CN116956117A (zh) | 一种标签识别的方法、装置、设备、存储介质及程序产品 | |
US11062616B2 (en) | Interactive learning experience | |
US11164088B2 (en) | Interactive feedback and assessment experience | |
CN111737371B (zh) | 可动态预测的数据流量检测分类方法及装置 | |
CN110414845B (zh) | 针对目标交易的风险评估方法及装置 | |
CN112394809A (zh) | 一种实现增强现实的方法、装置及通信设备 | |
CN109901990B (zh) | 一种业务系统的测试方法、装置及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200915 |
|
RJ01 | Rejection of invention patent application after publication |