CN115600091B - 基于多模态特征融合的分类模型推荐方法和装置 - Google Patents
基于多模态特征融合的分类模型推荐方法和装置 Download PDFInfo
- Publication number
- CN115600091B CN115600091B CN202211616864.7A CN202211616864A CN115600091B CN 115600091 B CN115600091 B CN 115600091B CN 202211616864 A CN202211616864 A CN 202211616864A CN 115600091 B CN115600091 B CN 115600091B
- Authority
- CN
- China
- Prior art keywords
- classification
- mode
- model
- current
- modal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种基于多模态特征融合的分类模型推荐方法和装置，其中方法包括：构建任一模态对应的单模态分类模型以及两个或两个以上模态构成的模态组合对应的组合模态分类模型；获取当前分类场景对应的训练样本及其分类标签，并对各个模态对应的单模态分类模型和各个模态组合对应的组合模态分类模型进行性能测试，得到各个单模态分类模型和各个组合模态分类模型的性能指标值；基于各个单模态分类模型和各个组合模态分类模型的性能指标值，筛选出多个候选分类模型，并基于多个候选分类模型进行模型推荐。本发明能够选择出融合效果更佳的特征融合方式，得以为用户推荐适用于用户个性化场景的多模态特征融合方式。
Description
技术领域
本发明涉及目标分类技术领域，尤其涉及一种基于多模态特征融合的分类模型推荐方法和装置。
背景技术
为了提升分类准确性，在诸多分类场景中均会采集与该场景下待分类目标的多模态特征进行分类，通过融合多模态下的特征，可以丰富与待分类目标密切相关的信息，从而提升待分类目标的分类精度。以农业病虫害检测为例，可以通过图像处理模型采集农作物图像的图像特征，还可以通过检测仪器采集农作物的细菌、真菌等检测特征，另外还可以从数据库等处收集该农作物的物种信息、种植环境信息等，从而结合上述各种模态下的不同特征进行病虫害分类。又例如在医学影像分类场景下，同样可以通过图像处理模型采集待分类目标（例如人群或人体组织等）的医学影像的图像特征，还可以通过检测仪器采集包括外周血中的CAC（循环异常细胞）数量、DNA甲基化数据、呼气检测数据等检测特征，另外还可以从电子病历等处收集待分类目标的临床信息等，从而结合上述各种模态下的不同特征进行分类。
然而，不同模态特征对于待分类目标的关注点各有不同，在进行分类时各个模态下的特征的区分性存在差异，且各个模态下的特征的区分性与实际应用场景存在密切关联。因此，如何充分融合多模态下的特征以借助不同模态下的特征进行综合判断，并避免多模态特征中的冗余以及其所引发的模型构建中的过拟合问题，从而为用户推荐适用于用户个性化场景的多模态特征融合方式，成为了一个亟待解决的问题。
发明内容
本发明提供一种基于多模态特征融合的分类模型推荐方法和装置，用以解决现有技术中难以充分融合多模态下的特征并避免多模态特征中的冗余以及其所引发的模型构建中的过拟合问题的缺陷。
本发明提供一种基于多模态特征融合的分类模型推荐方法，包括：
检索当前分类场景对应多个模态下的特征的特征名称；
基于当前分类场景对应任一模态下的特征的特征名称，构建所述任一模态对应的单模态分类模型；
基于当前分类场景对应两个或两个以上模态下的特征的特征名称，构建所述两个或两个以上模态构成的模态组合对应的组合模态分类模型；
获取当前分类场景对应的训练样本及其分类标签，并对各个模态对应的单模态分类模型和各个模态组合对应的组合模态分类模型进行性能测试，得到各个单模态分类模型和各个组合模态分类模型的性能指标值；
基于各个单模态分类模型和各个组合模态分类模型的性能指标值，筛选出多个候选分类模型，并基于所述多个候选分类模型进行模型推荐。
根据本发明提供的一种基于多模态特征融合的分类模型推荐方法，所述基于各个单模态分类模型和各个组合模态分类模型的性能指标值，筛选出多个候选分类模型，具体包括：
若任一模态组合对应的组合模态分类模型的性能指标值优于所述任一模态组合包含的各个模态对应的单模态分类模型的性能指标值，则将所述任一模态组合对应的组合模态分类模型置于模态模型空间中；
确定所述模态模型空间中组合模态分类模型的性能指标值的最小值；
若任一模态对应的单模态分类模型的性能指标值优于所述最小值，则将所述任一模态对应的单模态分类模型置于所述模态模型空间中；所述模态模型空间中的组合模态分类模型和单模态分类模型均为所述候选分类模型。
根据本发明提供的一种基于多模态特征融合的分类模型推荐方法，所述两个或两个以上模态构成的模态组合是基于如下步骤确定的：
初始化粒子群的群体规模、每个粒子的位置向量和速度向量；其中，每个粒子的位置向量的维度为模态的总数，所述位置向量的任一维的值表征对应模态是否被选择；
基于粒子群算法对所述每个粒子的位置向量进行优化，直至得到满足预设条件的全局最优向量；其中，所述全局最优向量为所有粒子在优化过程中得到的最佳的位置向量；
基于所述全局最优向量中各维的值，确定被选择的模态，并对所述被选择的模态中的两个或两个以上模态进行组合，得到多个模态组合。
根据本发明提供的一种基于多模态特征融合的分类模型推荐方法，所述基于粒子群算法对所述每个粒子的位置向量进行优化，直至得到满足预设条件的全局最优向量，具体包括：
优化步骤：基于适应度函数和每个粒子当前的位置向量，计算每个粒子当前的适应度值；基于每个粒子当前的适应度值和位置向量，确定每个粒子当前的个体最优向量以及当前的全局最优向量；基于每个粒子当前的个体最优向量以及当前的全局最优向量对每个粒子当前的速度向量进行更新，并基于每个粒子更新后的速度向量对相应粒子当前的位置向量进行更新；
迭代步骤：重复所述优化步骤直至当前的全局最优向量满足预设条件；
其中，所述适应度函数是基于权重超参数、基于当前粒子被选择的模态下的特征构建的机器学习模型的准确率、当前粒子被选择的模态数量以及模态总数确定的；所述权重超参数用于调整所述机器学习模型的准确率和所述被选择的模态数量在计算适应度值时的重要程度。
根据本发明提供的一种基于多模态特征融合的分类模型推荐方法，所述两个或两个以上模态构成的模态组合是基于如下步骤确定的：
对当前分类场景对应多个模态下的特征进行相关性分析，得到当前分类场景对应多个模态下的特征之间的相关度；
基于当前分类场景对应多个模态下的特征之间的相关度，对所述多个模态中的两个或两个以上模态进行组合，得到多个模态组合；其中，任一模态组合中包含的模态下的特征之间的相关度低于预设值。
根据本发明提供的一种基于多模态特征融合的分类模型推荐方法，所述对当前分类场景对应多个模态下的特征进行相关性分析，得到当前分类场景对应多个模态下的特征之间的相关度，具体包括：
对当前分类场景对应多个模态下的特征进行聚类分析，得到当前分类场景对应多个模态下的特征之间的第一相关度；
基于方差膨胀系数确定当前分类场景对应多个模态下的特征之间的多重共线性，得到当前分类场景对应多个模态下的特征之间的第二相关度；
确定当前分类场景对应多个模态下的特征之间的相关系数；
基于当前分类场景对应多个模态下的特征之间的第一相关度、第二相关度和相关系数中的至少一种，确定当前分类场景对应多个模态下的特征之间的相关度。
根据本发明提供的一种基于多模态特征融合的分类模型推荐方法，所述基于所述多个候选分类模型进行模型推荐，具体包括：
去除所述多个候选分类模型中分类开销高于预设阈值的分类模型，得到多个待推荐分类模型，并确定各个待推荐分类模型的性能指标值和分类开销；
对所述多个待推荐分类模型进行组合，得到若干个模型组合，并确定各个模型组合的性能指标值和分类开销；
基于预设的性能权重和开销权重，结合各个待推荐分类模型以及各个模型组合的性能指标值和分类开销，确定各个待推荐分类模型以及各个模型组合的推荐分值；
基于各个待推荐分类模型以及各个模型组合的推荐分值进行模型推荐。
本发明还提供一种基于多模态特征融合的分类模型推荐装置，包括：
特征检索单元，用于检索当前分类场景对应多个模态下的特征的特征名称；
单模态模型构建单元，用于基于当前分类场景对应任一模态下的特征的特征名称，构建所述任一模态对应的单模态分类模型；
组合模态模型构建单元，用于基于当前分类场景对应两个或两个以上模态下的特征的特征名称，构建所述两个或两个以上模态构成的模态组合对应的组合模态分类模型；
模型测试单元，用于获取当前分类场景对应的训练样本及其分类标签，并对各个模态对应的单模态分类模型和各个模态组合对应的组合模态分类模型进行性能测试，得到各个单模态分类模型和各个组合模态分类模型的性能指标值；
模型推荐单元，用于基于各个单模态分类模型和各个组合模态分类模型的性能指标值，筛选出多个候选分类模型，并基于所述多个候选分类模型进行模型推荐。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于多模态特征融合的分类模型推荐方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于多模态特征融合的分类模型推荐方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于多模态特征融合的分类模型推荐方法。
本发明提供的基于多模态特征融合的分类模型推荐方法和装置，通过基于当前分类场景对应任一模态下的特征名称，构建该模态对应的单模态分类模型，并基于当前分类场景对应两个或两个以上模态下的特征名称，构建上述两个或两个以上模态构成的模态组合对应的组合模态分类模型，然后基于从存储器中获取的当前分类场景对应的训练样本及其分类标签，对各个模态对应的单模态分类模型和各个模态组合对应的组合模态分类模型进行性能测试，并基于各个单模态分类模型和各个组合模态分类模型的性能指标值，筛选出性能指标值较优的多个候选分类模型，从而进行模型推荐，实现了多模态特征的多样融合，并能够从中选择出融合效果更佳的特征融合方式，得以为用户推荐适用于用户个性化场景的多模态特征融合方式。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于多模态特征融合的分类模型推荐方法的流程示意图；
图2是本发明提供的候选分类模型筛选方法的流程示意图；
图3是本发明提供的模态组合方法的流程示意图之一；
图4是本发明提供的模态组合方法的流程示意图之二；
图5是本发明提供的模型推荐方法的流程示意图；
图6是本发明提供的基于多模态特征融合的分类模型推荐装置的结构示意图；
图7是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明提供的基于多模态特征融合的分类模型推荐方法的流程示意图，如图1所示，该方法包括：
步骤110，检索当前分类场景对应多个模态下的特征的特征名称。
具体地，当前分类场景指示了该场景下需要进行分类的对象（例如农作物病虫害分类场景下，分类对象为某类农作物，工业零件异常分类场景下，分类对象为工业零件，医学影像分类场景下，分类对象为某类人体组织的医学影像等），其可以由用户经由人机交互接口进行指定。不同分类场景对应的多模态特征不同，因此可以预先构建各种分类场景与其对应的多个模态下的特征的特征名称之间的映射关系，并将该映射关系存储于数据库中，以在需要获取某一分类场景在多个模态下的特征的特征名称时，可以直接从数据库中获取该分类场景对应的多个模态下的特征的特征名称。此处，可以将分类场景的场景名称与其对应的多个模态下的特征的特征名称一同存储于数据库中，使得可以将分类场景的场景名称作为检索词检索到其对应的多个模态的特征的特征名称。
需要说明的是，本发明实施例中提出的多个模态下的特征是指来自于不同特征提取方法得到的特征，多个模态下的特征对应的特征数据在存储器中的表现形式均为文本类型（但文本格式不同，可能是字符串格式、数值格式、向量格式或其他格式）。其中，多个模态下的特征可以包括图像特征、检测特征和先验文本特征等多种特征。图像特征可以是利用图像处理算法或深度学习模型从图像中提取得到的特征，例如从肺部影像中获取的肺部组织的密度类型、直径或体积等，检测特征可以是利用检测仪器或检测试剂进行检测后得到的特征，例如外周血中的CAC（循环异常细胞）数量、DNA甲基化数据、呼气检测数据等，而先验文本特征可以是从数据库中获取的与分类场景相关的先验特征，例如病历中记载的患者信息、检查检验报告中记载的检查检验信息等。
步骤120，基于当前分类场景对应任一模态下的特征的特征名称，构建所述任一模态对应的单模态分类模型。
具体地，根据当前分类场景对应任一模态下的特征名称，可以确定能够接收和处理该特征名称对应的特征数据的输入层以及相应的分类器（例如逻辑回归、支持向量机、朴素贝叶斯、高斯混合模型、随机森林、XGBoost等传统分类器或神经网络模型），从而将上述输入层和分类器进行组合，得到该模态对应的单模态分类模型。可见，单模态分类模型的输入为该模态下特征的特征数据，而各个模态下的特征的表现形式均为文本类型，因此单模态分类模型可以认为是一种文本分类模型。
步骤130，基于当前分类场景对应两个或两个以上模态下的特征的特征名称，构建所述两个或两个以上模态构成的模态组合对应的组合模态分类模型。
具体地，与单模态分类模型类似，可以根据当前分类场景对应两个或两个以上模态下的特征名称，确定能够接收和处理各个特征名称对应的特征数据的一个或多个输入层以及相应的分类器，该分类器可以融合上述两个或两个以上模态下的特征名称对应的特征数据并进行分类。将上述输入层和分类器进行组合，可以得到上述两个或两个以上模态构成的模态组合对应的组合模态分类模型。需要说明的是，若模态组合中任一模态下的特征有多种，则可以选取该模态下对于分类性能贡献最大、重要性（可以根据多层感知机或者随机森林确定得到）最高的特征用于构建组合模态分类模型。组合模态分类模型的输入为该模态组合中包含的多个模态下特征的特征数据，而各个模态下的特征的表现形式均为文本类型，因此组合模态分类模型也可以认为是一种文本分类模型。
步骤140，获取当前分类场景对应的训练样本及其分类标签，并对各个模态对应的单模态分类模型和各个模态组合对应的组合模态分类模型进行性能测试，得到各个单模态分类模型和各个组合模态分类模型的性能指标值。
具体地，根据当前分类场景的场景名称，可以从存储器中获取该分类场景对应的训练样本及其分类标签。其中，任一训练样本中包含多个模态下的特征对应的特征数据，其可以以结构化文本（例如xml文本）的形式存储。对于获取的训练样本，还可以对单个特征的特征数据进行描述性统计分析，以了解不同特征的集中趋势、离散程度、偏度和峰度，并据此确定各个模态所采集的特征数据的质量是否满足要求，从而筛除质量不满足要求的特征数据。
基于当前分类场景对应的部分训练样本及其分类标签，可以利用模型训练算法对各个模态对应的单模态分类模型和各个模态组合对应的组合模态分类模型分别进行训练，得到性能稳定的单模态分类模型和组合模态分类模型。随后，基于当前分类场景对应的剩余训练样本及其分类标签，利用测试算法对各个单模态分类模型和各个组合模态分类模型分别进行性能测试，得到各个单模态分类模型和各个组合模态分类模型的性能指标值。性能测试时，对于单模态分类模型或组合模态分类模型，可以将训练样本中对应该模态或该模态组合中包含的各模态的特征的特征数据输入至该模型中，并对比模型的输出结果与该训练样本的分类标签，得到相应的测试结果，再基于各个训练样本的测试结果评估该模型的性能指标值。接着，可以将各个单模态分类模型和各个组合模态分类模型的模型参数及其性能指标值进行存储。其中在进行模型训练时，可以将用于模型训练的所有训练样本划分为训练集和验证集，以供进行模型训练和模型验证，以减少一定程度上的过拟合，得到可靠稳定的模型。
步骤150，基于各个单模态分类模型和各个组合模态分类模型的性能指标值，筛选出多个候选分类模型，并基于所述多个候选分类模型进行模型推荐。
具体地，基于各个模态对应的单模态分类模型和各个模态组合对应的组合模态分类模型的性能指标值，可以筛选出性能指标值较优的单模态分类模型或组合模态分类模型作为候选分类模型，并基于筛选出的多个候选分类模型进行模型推荐。此处，可以获取各个候选分类模型用于分类的一个或多个模态下的特征名称，并基于上述一个或多个模态下的特征名称生成对应候选分类模型的描述文本，并将该候选分类模型的描述文本以及该候选分类模型的模型参数的存储地址推送给用户，实现模型推荐。
本发明实施例提供的方法，通过基于当前分类场景对应任一模态下的特征名称，构建该模态对应的单模态分类模型，并基于当前分类场景对应两个或两个以上模态下的特征名称，构建上述两个或两个以上模态构成的模态组合对应的组合模态分类模型，然后基于从存储器中获取的当前分类场景对应的训练样本及其分类标签，对各个模态对应的单模态分类模型和各个模态组合对应的组合模态分类模型进行性能测试，并基于各个单模态分类模型和各个组合模态分类模型的性能指标值，筛选出性能指标值较优的多个候选分类模型，从而进行模型推荐，实现了多模态特征的多样融合，并能够从中选择出融合效果更佳的特征融合方式，得以为用户推荐适用于用户个性化场景的多模态特征融合方式。
基于上述实施例，如图2所示，所述基于各个单模态分类模型和各个组合模态分类模型的性能指标值，筛选出多个候选分类模型，具体包括：
步骤210，若任一模态组合对应的组合模态分类模型的性能指标值优于所述任一模态组合包含的各个模态对应的单模态分类模型的性能指标值，则将所述任一模态组合对应的组合模态分类模型置于模态模型空间中；
步骤220，确定所述模态模型空间中组合模态分类模型的性能指标值的最小值；
步骤230，若任一模态对应的单模态分类模型的性能指标值优于所述最小值，则将所述任一模态对应的单模态分类模型置于所述模态模型空间中；所述模态模型空间中的组合模态分类模型和单模态分类模型均为所述候选分类模型。
具体地，在筛选候选分类模型时，可以首先筛选出性能指标较优的组合模态分类模型。其中，可以比较任一模态组合对应的组合模态分类模型的性能指标值以及该模态组合中包含的各个模态对应的单模态分类模型的性能指标值。若该模态组合对应的组合模态分类模型的性能指标值优于该模态组合包含的各个模态对应的单模态分类模型的性能指标值，表明该组合模态分类模型中融合的多个模态下的特征之间可以优势互补从而提升了当前分类场景下的分类性能，故可以将模态组合对应的组合模态分类模型置于模态模型空间中。
对比完所有模态组合对应的组合模态分类模型后，接下来可以确定当前模态模型空间中所有组合模态分类模型的性能指标值中的最小值。随后，比对各个模态对应的单模态分类模型的性能指标值与上述最小值。若任一模态对应的单模态分类模型的性能指标值优于该最小值，则可以将该模态对应的单模态分类模型也置于该模态模型空间中。对比完所有模态对应的单模态分类模型后，模态模型空间中包含的所有组合模态分类模型和单模态分类模型均可以作为候选分类模型，以供进行后续推荐。
需要说明的是，在对单模态分类模型和组合模态分类模型进行性能测试时，可以分别根据灵敏度、特异性、AUC这三种性能指标确定各个模型对应上述三种性能指标的性能指标值。在构建模态模型空间时，可以分别构建上述三种性能指标对应的模态模型空间。在构建任一种性能指标对应的模态模型空间时，用于比较的模型的性能指标值为该性能指标对应的性能指标值。以灵敏度这一性能指标为例，在构建灵敏度对应的模态模型空间时，将会比较各个模态组合对应的组合模态分类模型的灵敏度值（即灵敏度对应的性能指标值）以及该模态组合中包含的各个模态对应的单模态分类模型的灵敏度值，还需比较各个模态对应的单模态分类模型的灵敏度值与灵敏度对应的模态模型空间中所有组合模态分类模型的最小灵敏度值。构建完三个性能指标对应的模态模型空间后，可以根据用户对于模型性能的需求选取其中一种性能指标对应的模态模型空间，并依据其中的候选分类模型进行推荐，以提供更贴合用户需求的推荐方案。
基于上述任一实施例，如图3所示，所述两个或两个以上模态构成的模态组合是基于如下步骤确定的：
步骤310，初始化粒子群的群体规模、每个粒子的位置向量和速度向量；其中，每个粒子的位置向量的维度为模态的总数，所述位置向量的任一维的值表征对应模态是否被选择；
步骤320，基于粒子群算法对所述每个粒子的位置向量进行优化，直至得到满足预设条件的全局最优向量；其中，所述全局最优向量为所有粒子在优化过程中得到的最佳的位置向量；
步骤330，基于所述全局最优向量中各维的值，确定被选择的模态，并对所述被选择的模态中的两个或两个以上模态进行组合，得到多个模态组合。
具体地，对于模态较多的场景（如大于5种以上），可以采用先采用启发式搜索算法选择合理的模态用于进行后续模态组合，例如，可以采用粒子群算法进行模态选择。具体地，可以将模态选择看作选择一个合适的0/1串，其中，串的长度是模态总数n，0是不被选择的模态，而1是被选择的模态。具体而言，可以首先初始化粒子群的群体规模、每个粒子的位置向量和速度向量。其中，任一粒子的位置向量的维度为模态总数n，可以记为(x1, x2,x3, ..., xn)，任一维的值xi={0, 1}代表第i个模态是否被选择，为1则代表被选择，为0则代表未被选择；任一粒子的速度向量的维度也为模态总数n，可以记为(v1, v2, v3, ...,vn)，任一维的值vi为xi=1的概率。初始化时，位置向量和速度向量可以均置为零向量。
随后，基于粒子群算法对每个粒子的位置向量进行迭代优化，直至得到满足预设条件的全局最优向量；其中，全局最优向量为所有粒子在优化过程中得到的最佳的位置向量，即适应度值最低的位置向量。基于该全局最优向量中各维的值，可以确定被选择的模态，并对上述被选择的模态中的两个或两个以上模态进行组合，得到多个模态组合。
基于上述任一实施例，所述基于粒子群算法对所述每个粒子的位置向量进行优化，直至得到满足预设条件的全局最优向量，具体包括：
优化步骤：基于适应度函数和每个粒子当前的位置向量，计算每个粒子当前的适应度值；基于每个粒子当前的适应度值和位置向量，确定每个粒子当前的个体最优向量以及当前的全局最优向量；基于每个粒子当前的个体最优向量以及当前的全局最优向量对每个粒子当前的速度向量进行更新，并基于每个粒子更新后的速度向量对相应粒子当前的位置向量进行更新；
迭代步骤：重复所述优化步骤直至当前的全局最优向量满足预设条件；
其中，所述适应度函数是基于权重超参数、基于当前粒子被选择的模态下的特征构建的机器学习模型的准确率、当前粒子被选择的模态数量以及模态总数确定的；所述权重超参数用于调整所述机器学习模型的准确率和所述被选择的模态数量在计算适应度值时的重要程度。
具体地，可以设定迭代次数，迭代执行上述优化步骤，迭代结束后，当前的全局最优向量即为满足预设条件的全局最优向量，也可以迭代执行上述优化步骤，直至全局最优向量的适应度值低于预设值，当前的全局最优向量也为满足预设条件的全局最优向量，本发明实施例对此不作具体限定。
在每一轮执行优化步骤时，可以基于适应度函数和每个粒子当前的位置向量，计算每个粒子当前的适应度值。其中，适应度函数是基于权重超参数α、基于当前粒子被选择的模态下的特征构建的机器学习模型（例如逻辑回归、支持向量机、朴素贝叶斯、高斯混合模型、随机森林、XGBoost等传统分类器或神经网络模型）的准确率P、当前粒子被选择的模态数量nf以及模态总数n确定的；权重超参数α用于调整机器学习模型的准确率P和被选择的模态数量nf在计算适应度值时的重要程度。适应度函数f(x)具体可以采用如下公式：
f(x) = α(1－P) + (1－α)(1－nf/n)
其中，在计算任一粒子当前的适应度值时，可以基于该粒子当前的位置向量确定被选择的模态（即值为1为模态），然后基于被选择的模态下的特征的特征数据构建一个机器学习模型，并基于训练样本及其分类标签测试得到该机器学习模型分类的准确率P，同时还能统计得到当前粒子被选择的模态数量nf （即位置向量中值为1的数量）。通过套用上述适应度函数，可以计算得到每个粒子当前的适应度值。
随后，基于每个粒子当前的适应度值和位置向量，确定每个粒子当前的个体最优向量以及当前的全局最优向量。其中，对于任一粒子，若该粒子当前的适应度值小于该粒子在此轮优化之前的个体最优向量的适应度值，则可以更新该粒子当前的个体最优向量为该粒子当前的位置向量，否则该粒子当前的个体最优向量仍为此轮优化之前的个体最优向量。随后，基于所有粒子当前的个体最优向量，可以选取适应度值最低的个体最优向量作为整个粒子群当前的全局最优向量。得到所有粒子当前的个体最优向量以及整个粒子群当前的全局最优向量后，可以基于每个粒子当前的个体最优向量以及当前的全局最优向量对每个粒子当前的速度向量进行更新，并基于每个粒子更新后的速度向量对相应粒子当前的位置向量进行更新。
其中，对于任一粒子，可以基于该粒子当前的位置向量与该粒子当前的个体最优向量之间的差异以及当前的位置向量与全局最优向量之间的差异，对该粒子当前的速度向量进行更新。例如，对于任一粒子当前的速度向量中的第i维vi（即第i个模态对应的速度），可以基于如下公式对vi进行更新：
vi_new = vi + φ(pi－xi) + φ(qi－xi)
其中，vi_new为vi更新后的值，φ为vi对应的随机数函数，pi为该粒子当前的个体最优向量中的第i维，xi为该粒子当前的位置向量中的第i维，qi为当前的全局最优向量中的第i维。
基于该粒子更新后的速度向量对该粒子的位置向量进行更新。其中，对于该粒子当前的位置向量中的第i维xi，可以基于如下公式对xi进行更新：
其中，xi_new为xi更新后的值。
基于上述任一实施例，如图4所示，所述两个或两个以上模态构成的模态组合是基于如下步骤确定的：
步骤410，对当前分类场景对应多个模态下的特征进行相关性分析，得到当前分类场景对应多个模态下的特征之间的相关度；
步骤420，基于当前分类场景对应多个模态下的特征之间的相关度，对所述多个模态中的两个或两个以上模态进行组合，得到多个模态组合；其中，任一模态组合中包含的模态下的特征之间的相关度低于预设值。
具体地，在进行模态组合时，为了避免多个模态下的特征在融合时引入过多冗余信息从而引发模型训练过程中的过拟合问题，可以对当前分类场景对应多个模态下的特征进行相关性分析，得到当前分类场景对应多个模态下的特征之间的相关度。此处，可以通过计算多个模态下的特征之间的皮尔森（pearson）相关系数、斯皮尔曼（spearman）相关系数或肯德尔（kendall）相关系数实现相关性分析，从而得到当前分类场景对应多个模态下的特征之间的相关度。
随后，基于当前分类场景对应多个模态下的特征之间的相关度，对多个模态中的两个或两个以上模态进行组合，得到多个模态组合。其中，在组合模态时，任一模态组合中包含的模态下的特征之间的相关度低于预设值。即，若任意两个模态下的特征之间相关度大于等于预设值，表明这两个模态下的特征之间相关性较强、其具备的语义信息较为相似，因此这两个模态将不会被组合到一起，以避免引入过多冗余信息。
基于上述任一实施例，所述对当前分类场景对应多个模态下的特征进行相关性分析，得到当前分类场景对应多个模态下的特征之间的相关度，具体包括：
对当前分类场景对应多个模态下的特征进行聚类分析，得到当前分类场景对应多个模态下的特征之间的第一相关度；
基于方差膨胀系数确定当前分类场景对应多个模态下的特征之间的多重共线性，得到当前分类场景对应多个模态下的特征之间的第二相关度；
确定当前分类场景对应多个模态下的特征之间的相关系数；
基于当前分类场景对应多个模态下的特征之间的第一相关度、第二相关度和相关系数中的至少一种，确定当前分类场景对应多个模态下的特征之间的相关度。
具体地，为了更好更准确地评估多个模态下的特征之间的相关度，可以采用多种相关度评估方式进行评估。具体而言，可以利用聚类算法，例如K-means，对当前分类场景对应多个模态下的特征的特征数据（可以从训练样本中获得）进行聚类分析，从而得到当前分类场景对应多个模态下的特征之间的第一相关度。此外，还可以基于方差膨胀系数确定当前分类场景对应多个模态下的特征的特征数据之间的多重共线性，从而得到当前分类场景对应多个模态下的特征之间的第二相关度。另外，还能通过计算多个模态下的特征的特征数据之间的皮尔森（pearson）相关系数、斯皮尔曼（spearman）相关系数或肯德尔（kendall）相关系数的方式是，确定当前分类场景对应多个模态下的特征之间的相关系数。基于当前分类场景对应多个模态下的特征之间的第一相关度、第二相关度和相关系数中的至少一种，综合评估当前分类场景对应多个模态下的特征之间的相关度。
基于上述任一实施例，如图5所示，所述基于所述多个候选分类模型进行模型推荐，具体包括：
步骤510，去除所述多个候选分类模型中分类开销高于预设阈值的分类模型，得到多个待推荐分类模型，并确定各个待推荐分类模型的性能指标值和分类开销；
步骤520，对所述多个待推荐分类模型进行组合，得到若干个模型组合，并确定各个模型组合的性能指标值和分类开销；
步骤530，基于预设的性能权重和开销权重，结合各个待推荐分类模型以及各个模型组合的性能指标值和分类开销，确定各个待推荐分类模型以及各个模型组合的推荐分值；
步骤540，基于各个待推荐分类模型以及各个模型组合的推荐分值进行模型推荐。
具体地，可以根据各个候选分类模型中使用的特征确定各个候选分类模型的分类开销（例如时间开销），其中候选分类模型的分类开销可以是其中使用的特征的分类开销的总和。然后去除多个候选分类模型中分类开销高于预设阈值的分类模型，得到多个待推荐分类模型，并确定各个待推荐分类模型的性能指标值和分类开销。随后，对上述多个待推荐分类模型再次进行组合，得到若干个由两个或多个待推荐分类模型构成的模型组合，并基于其中包含的待推荐分类模型的性能指标值和分类开销确定对应模型组合的性能指标值和分类开销。
基于用户根据自身需求预设的性能权重和开销权重，结合各个待推荐分类模型以及各个模型组合的性能指标值和分类开销，确定各个待推荐分类模型以及各个模型组合的推荐分值。其中，性能权重和开销权重之和为1。例如，可以采用如下公式计算待推荐分类模型或模型组合的推荐分值：
g(x) = β(1－A) + (1－β)(1－m/M)
其中，β为性能权重，1－β为开销权重，A为待推荐分类模型或模型组合的性能指标值，m为待推荐分类模型或模型组合的分类开销，M为用户预设的最大分类开销。
在进行模型推荐时，可以按照推荐分值由低到高对各个待推荐分类模型和模型组合进行排序，并将排序靠前的待推荐分类模型和/或模型组合推荐给用户。
下面对本发明提供的基于多模态特征融合的分类模型推荐装置进行描述，下文描述的基于多模态特征融合的分类模型推荐装置与上文描述的基于多模态特征融合的分类模型推荐方法可相互对应参照。
基于上述任一实施例，图6是本发明提供的基于多模态特征融合的分类模型推荐装置的结构示意图，如图6所示，该装置包括：特征检索单元610、单模态模型构建单元620、组合模态模型构建单元630、模型测试单元640和模型推荐单元650。
其中，特征检索单元610用于检索当前分类场景对应多个模态下的特征的特征名称；
单模态模型构建单元620用于基于当前分类场景对应任一模态下的特征的特征名称，构建所述任一模态对应的单模态分类模型；
组合模态模型构建单元630用于基于当前分类场景对应两个或两个以上模态下的特征的特征名称，构建所述两个或两个以上模态构成的模态组合对应的组合模态分类模型；
模型测试单元640用于获取当前分类场景对应的训练样本及其分类标签，并对各个模态对应的单模态分类模型和各个模态组合对应的组合模态分类模型进行性能测试，得到各个单模态分类模型和各个组合模态分类模型的性能指标值；
模型推荐单元650用于基于各个单模态分类模型和各个组合模态分类模型的性能指标值，筛选出多个候选分类模型，并基于所述多个候选分类模型进行模型推荐。
本发明实施例提供的装置，通过基于当前分类场景对应任一模态下的特征名称，构建该模态对应的单模态分类模型，并基于当前分类场景对应两个或两个以上模态下的特征名称，构建上述两个或两个以上模态构成的模态组合对应的组合模态分类模型，然后基于从存储器中获取的当前分类场景对应的训练样本及其分类标签，对各个模态对应的单模态分类模型和各个模态组合对应的组合模态分类模型进行性能测试，并基于各个单模态分类模型和各个组合模态分类模型的性能指标值，筛选出性能指标值较优的多个候选分类模型，从而进行模型推荐，实现了多模态特征的多样融合，并能够从中选择出融合效果更佳的特征融合方式，得以为用户推荐适用于用户个性化场景的多模态特征融合方式。
基于上述任一实施例，所述基于各个单模态分类模型和各个组合模态分类模型的性能指标值，筛选出多个候选分类模型，具体包括：
若任一模态组合对应的组合模态分类模型的性能指标值优于所述任一模态组合包含的各个模态对应的单模态分类模型的性能指标值，则将所述任一模态组合对应的组合模态分类模型置于模态模型空间中；
确定所述模态模型空间中组合模态分类模型的性能指标值的最小值；
若任一模态对应的单模态分类模型的性能指标值优于所述最小值，则将所述任一模态对应的单模态分类模型置于所述模态模型空间中；所述模态模型空间中的组合模态分类模型和单模态分类模型均为所述候选分类模型。
基于上述任一实施例，所述两个或两个以上模态构成的模态组合是基于如下步骤确定的：
初始化粒子群的群体规模、每个粒子的位置向量和速度向量；其中，每个粒子的位置向量的维度为模态的总数，所述位置向量的任一维的值表征对应模态是否被选择；
基于粒子群算法对所述每个粒子的位置向量进行优化，直至得到满足预设条件的全局最优向量；其中，所述全局最优向量为所有粒子在优化过程中得到的最佳的位置向量；
基于所述全局最优向量中各维的值，确定被选择的模态，并对所述被选择的模态中的两个或两个以上模态进行组合，得到多个模态组合。
基于上述任一实施例，所述基于粒子群算法对所述每个粒子的位置向量进行优化，直至得到满足预设条件的全局最优向量，具体包括：
优化步骤：基于适应度函数和每个粒子当前的位置向量，计算每个粒子当前的适应度值；基于每个粒子当前的适应度值和位置向量，确定每个粒子当前的个体最优向量以及当前的全局最优向量；基于每个粒子当前的个体最优向量以及当前的全局最优向量对每个粒子当前的速度向量进行更新，并基于每个粒子更新后的速度向量对相应粒子当前的位置向量进行更新；
迭代步骤：重复所述优化步骤直至当前的全局最优向量满足预设条件；
其中，所述适应度函数是基于权重超参数、基于当前粒子被选择的模态下的特征构建的机器学习模型的准确率、当前粒子被选择的模态数量以及模态总数确定的；所述权重超参数用于调整所述机器学习模型的准确率和所述被选择的模态数量在计算适应度值时的重要程度。
基于上述任一实施例，所述两个或两个以上模态构成的模态组合是基于如下步骤确定的：
对当前分类场景对应多个模态下的特征进行相关性分析，得到当前分类场景对应多个模态下的特征之间的相关度；
基于当前分类场景对应多个模态下的特征之间的相关度，对所述多个模态中的两个或两个以上模态进行组合，得到多个模态组合；其中，任一模态组合中包含的模态下的特征之间的相关度低于预设值。
基于上述任一实施例，所述对当前分类场景对应多个模态下的特征进行相关性分析，得到当前分类场景对应多个模态下的特征之间的相关度，具体包括：
对当前分类场景对应多个模态下的特征进行聚类分析，得到当前分类场景对应多个模态下的特征之间的第一相关度；
基于方差膨胀系数确定当前分类场景对应多个模态下的特征之间的多重共线性，得到当前分类场景对应多个模态下的特征之间的第二相关度；
确定当前分类场景对应多个模态下的特征之间的相关系数；
基于当前分类场景对应多个模态下的特征之间的第一相关度、第二相关度和相关系数中的至少一种，确定当前分类场景对应多个模态下的特征之间的相关度。
基于上述任一实施例，所述基于所述多个候选分类模型进行模型推荐，具体包括：
去除所述多个候选分类模型中分类开销高于预设阈值的分类模型，得到多个待推荐分类模型，并确定各个待推荐分类模型的性能指标值和分类开销；
对所述多个待推荐分类模型进行组合，得到若干个模型组合，并确定各个模型组合的性能指标值和分类开销；
基于预设的性能权重和开销权重，结合各个待推荐分类模型以及各个模型组合的性能指标值和分类开销，确定各个待推荐分类模型以及各个模型组合的推荐分值；
基于各个待推荐分类模型以及各个模型组合的推荐分值进行模型推荐。
图7是本发明提供的电子设备的结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、存储器(memory)720、通信接口(Communications Interface)730和通信总线740，其中，处理器710，存储器720，通信接口730通过通信总线740完成相互间的通信。处理器710可以调用存储器720中的逻辑指令，以执行基于多模态特征融合的分类模型推荐方法，该方法包括：检索当前分类场景对应多个模态下的特征的特征名称；基于当前分类场景对应任一模态下的特征的特征名称，构建所述任一模态对应的单模态分类模型；基于当前分类场景对应两个或两个以上模态下的特征的特征名称，构建所述两个或两个以上模态构成的模态组合对应的组合模态分类模型；获取当前分类场景对应的训练样本及其分类标签，并对各个模态对应的单模态分类模型和各个模态组合对应的组合模态分类模型进行性能测试，得到各个单模态分类模型和各个组合模态分类模型的性能指标值；基于各个单模态分类模型和各个组合模态分类模型的性能指标值，筛选出多个候选分类模型，并基于所述多个候选分类模型进行模型推荐。
此外，上述的存储器720中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的基于多模态特征融合的分类模型推荐方法，该方法包括：检索当前分类场景对应多个模态下的特征的特征名称；基于当前分类场景对应任一模态下的特征的特征名称，构建所述任一模态对应的单模态分类模型；基于当前分类场景对应两个或两个以上模态下的特征的特征名称，构建所述两个或两个以上模态构成的模态组合对应的组合模态分类模型；获取当前分类场景对应的训练样本及其分类标签，并对各个模态对应的单模态分类模型和各个模态组合对应的组合模态分类模型进行性能测试，得到各个单模态分类模型和各个组合模态分类模型的性能指标值；基于各个单模态分类模型和各个组合模态分类模型的性能指标值，筛选出多个候选分类模型，并基于所述多个候选分类模型进行模型推荐。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的基于多模态特征融合的分类模型推荐方法，该方法包括：检索当前分类场景对应多个模态下的特征的特征名称；基于当前分类场景对应任一模态下的特征的特征名称，构建所述任一模态对应的单模态分类模型；基于当前分类场景对应两个或两个以上模态下的特征的特征名称，构建所述两个或两个以上模态构成的模态组合对应的组合模态分类模型；获取当前分类场景对应的训练样本及其分类标签，并对各个模态对应的单模态分类模型和各个模态组合对应的组合模态分类模型进行性能测试，得到各个单模态分类模型和各个组合模态分类模型的性能指标值；基于各个单模态分类模型和各个组合模态分类模型的性能指标值，筛选出多个候选分类模型，并基于所述多个候选分类模型进行模型推荐。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种基于多模态特征融合的分类模型推荐方法，其特征在于，包括：
检索当前分类场景对应多个模态下的特征的特征名称；
基于当前分类场景对应任一模态下的特征的特征名称，构建所述任一模态对应的单模态分类模型；
基于当前分类场景对应两个或两个以上模态下的特征的特征名称，构建所述两个或两个以上模态构成的模态组合对应的组合模态分类模型；
获取当前分类场景对应的训练样本及其分类标签，并对各个模态对应的单模态分类模型和各个模态组合对应的组合模态分类模型进行性能测试，得到各个单模态分类模型和各个组合模态分类模型的性能指标值；
基于各个单模态分类模型和各个组合模态分类模型的性能指标值，筛选出多个候选分类模型，并基于所述多个候选分类模型进行模型推荐；
所述两个或两个以上模态构成的模态组合是基于如下步骤确定的：
初始化粒子群的群体规模、每个粒子的位置向量和速度向量；其中，每个粒子的位置向量的维度为模态的总数，所述位置向量的任一维的值表征对应模态是否被选择；基于粒子群算法对所述每个粒子的位置向量进行优化，直至得到满足预设条件的全局最优向量；其中，所述全局最优向量为所有粒子在优化过程中得到的最佳的位置向量；基于所述全局最优向量中各维的值，确定被选择的模态，并对所述被选择的模态中的两个或两个以上模态进行组合，得到多个模态组合；
或，对当前分类场景对应多个模态下的特征进行相关性分析，得到当前分类场景对应多个模态下的特征之间的相关度；基于当前分类场景对应多个模态下的特征之间的相关度，对所述多个模态中的两个或两个以上模态进行组合，得到多个模态组合；其中，任一模态组合中包含的模态下的特征之间的相关度低于预设值。
2.根据权利要求1所述的基于多模态特征融合的分类模型推荐方法，其特征在于，所述基于各个单模态分类模型和各个组合模态分类模型的性能指标值，筛选出多个候选分类模型，具体包括：
若任一模态组合对应的组合模态分类模型的性能指标值优于所述任一模态组合包含的各个模态对应的单模态分类模型的性能指标值，则将所述任一模态组合对应的组合模态分类模型置于模态模型空间中；
确定所述模态模型空间中组合模态分类模型的性能指标值的最小值；
若任一模态对应的单模态分类模型的性能指标值优于所述最小值，则将所述任一模态对应的单模态分类模型置于所述模态模型空间中；所述模态模型空间中的组合模态分类模型和单模态分类模型均为所述候选分类模型。
3.根据权利要求1所述的基于多模态特征融合的分类模型推荐方法，其特征在于，所述基于粒子群算法对所述每个粒子的位置向量进行优化，直至得到满足预设条件的全局最优向量，具体包括：
优化步骤：基于适应度函数和每个粒子当前的位置向量，计算每个粒子当前的适应度值；基于每个粒子当前的适应度值和位置向量，确定每个粒子当前的个体最优向量以及当前的全局最优向量；基于每个粒子当前的个体最优向量以及当前的全局最优向量对每个粒子当前的速度向量进行更新，并基于每个粒子更新后的速度向量对相应粒子当前的位置向量进行更新；
迭代步骤：重复所述优化步骤直至当前的全局最优向量满足预设条件；
其中，所述适应度函数是基于权重超参数、基于当前粒子被选择的模态下的特征构建的机器学习模型的准确率、当前粒子被选择的模态数量以及模态总数确定的；所述权重超参数用于调整所述机器学习模型的准确率和所述被选择的模态数量在计算适应度值时的重要程度。
4.根据权利要求1所述的基于多模态特征融合的分类模型推荐方法，其特征在于，所述对当前分类场景对应多个模态下的特征进行相关性分析，得到当前分类场景对应多个模态下的特征之间的相关度，具体包括：
对当前分类场景对应多个模态下的特征进行聚类分析，得到当前分类场景对应多个模态下的特征之间的第一相关度；
基于方差膨胀系数确定当前分类场景对应多个模态下的特征之间的多重共线性，得到当前分类场景对应多个模态下的特征之间的第二相关度；
确定当前分类场景对应多个模态下的特征之间的相关系数；
基于当前分类场景对应多个模态下的特征之间的第一相关度、第二相关度和相关系数中的至少一种，确定当前分类场景对应多个模态下的特征之间的相关度。
5.根据权利要求1至4任一项所述的基于多模态特征融合的分类模型推荐方法，其特征在于，所述基于所述多个候选分类模型进行模型推荐，具体包括：
去除所述多个候选分类模型中分类开销高于预设阈值的分类模型，得到多个待推荐分类模型，并确定各个待推荐分类模型的性能指标值和分类开销；
对所述多个待推荐分类模型进行组合，得到若干个模型组合，并确定各个模型组合的性能指标值和分类开销；
基于预设的性能权重和开销权重，结合各个待推荐分类模型以及各个模型组合的性能指标值和分类开销，确定各个待推荐分类模型以及各个模型组合的推荐分值；
基于各个待推荐分类模型以及各个模型组合的推荐分值进行模型推荐。
6.一种基于多模态特征融合的分类模型推荐装置，其特征在于，包括：
特征检索单元，用于检索当前分类场景对应多个模态下的特征的特征名称；
单模态模型构建单元，用于基于当前分类场景对应任一模态下的特征的特征名称，构建所述任一模态对应的单模态分类模型；
组合模态模型构建单元，用于基于当前分类场景对应两个或两个以上模态下的特征的特征名称，构建所述两个或两个以上模态构成的模态组合对应的组合模态分类模型；
模型测试单元，用于获取当前分类场景对应的训练样本及其分类标签，并对各个模态对应的单模态分类模型和各个模态组合对应的组合模态分类模型进行性能测试，得到各个单模态分类模型和各个组合模态分类模型的性能指标值；
模型推荐单元，用于基于各个单模态分类模型和各个组合模态分类模型的性能指标值，筛选出多个候选分类模型，并基于所述多个候选分类模型进行模型推荐；
所述两个或两个以上模态构成的模态组合是基于如下步骤确定的：
初始化粒子群的群体规模、每个粒子的位置向量和速度向量；其中，每个粒子的位置向量的维度为模态的总数，所述位置向量的任一维的值表征对应模态是否被选择；基于粒子群算法对所述每个粒子的位置向量进行优化，直至得到满足预设条件的全局最优向量；其中，所述全局最优向量为所有粒子在优化过程中得到的最佳的位置向量；基于所述全局最优向量中各维的值，确定被选择的模态，并对所述被选择的模态中的两个或两个以上模态进行组合，得到多个模态组合；
或，对当前分类场景对应多个模态下的特征进行相关性分析，得到当前分类场景对应多个模态下的特征之间的相关度；基于当前分类场景对应多个模态下的特征之间的相关度，对所述多个模态中的两个或两个以上模态进行组合，得到多个模态组合；其中，任一模态组合中包含的模态下的特征之间的相关度低于预设值。
7.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述基于多模态特征融合的分类模型推荐方法。
8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述基于多模态特征融合的分类模型推荐方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211616864.7A CN115600091B (zh) | 2022-12-16 | 2022-12-16 | 基于多模态特征融合的分类模型推荐方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211616864.7A CN115600091B (zh) | 2022-12-16 | 2022-12-16 | 基于多模态特征融合的分类模型推荐方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115600091A CN115600091A (zh) | 2023-01-13 |
| CN115600091B true CN115600091B (zh) | 2023-03-10 |
Family
ID=84854099
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211616864.7A Active CN115600091B (zh) | 2022-12-16 | 2022-12-16 | 基于多模态特征融合的分类模型推荐方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115600091B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108664999A (zh) * | 2018-05-03 | 2018-10-16 | 北京图森未来科技有限公司 | 一种分类模型的训练方法及其装置、计算机服务器 |
| CN113762321A (zh) * | 2021-04-13 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 多模态分类模型生成方法和装置 |
| CN115269984A (zh) * | 2022-07-28 | 2022-11-01 | 清华大学深圳国际研究生院 | 一种专业情报推荐方法和系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10282462B2 (en) * | 2016-10-31 | 2019-05-07 | Walmart Apollo, Llc | Systems, method, and non-transitory computer-readable storage media for multi-modal product classification |
| CN115617955B (zh) * | 2022-12-14 | 2023-03-21 | 数据堂（北京）科技股份有限公司 | 分级预测模型训练方法、标点符号恢复方法及装置 |
-
2022
- 2022-12-16 CN CN202211616864.7A patent/CN115600091B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108664999A (zh) * | 2018-05-03 | 2018-10-16 | 北京图森未来科技有限公司 | 一种分类模型的训练方法及其装置、计算机服务器 |
| CN113762321A (zh) * | 2021-04-13 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 多模态分类模型生成方法和装置 |
| CN115269984A (zh) * | 2022-07-28 | 2022-11-01 | 清华大学深圳国际研究生院 | 一种专业情报推荐方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115600091A (zh) | 2023-01-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103548041B (zh) | 用于确定主观层级聚类中的每个特征的权重的信息处理装置、方法和程序 | |
| Fang et al. | From captions to visual concepts and back | |
| CN110109835B (zh) | 一种基于深度神经网络的软件缺陷定位方法 | |
| CN109036577B (zh) | 糖尿病并发症分析方法及装置 | |
| EP3567605A1 (en) | Structured report data from a medical text report | |
| CN111402979B (zh) | 病情描述与诊断一致性检测方法及装置 | |
| CN111967495B (zh) | 一种分类识别模型构建方法 | |
| WO2018176035A1 (en) | Method and system of building hospital-scale chest x-ray database for entity extraction and weakly-supervised classification and localization of common thorax diseases | |
| CN110770850B (zh) | 在实体之间学习和应用背景相似性 | |
| CN111831905B (zh) | 基于团队科研影响力及可持续性建模的推荐方法和装置 | |
| CN109935337B (zh) | 一种基于相似性度量的病案查找方法及系统 | |
| CN111553127A (zh) | 一种多标记的文本类数据特征选择方法及装置 | |
| KR102265573B1 (ko) | 인공지능 기반 입시 수학 학습 커리큘럼 재구성 방법 및 시스템 | |
| CN111091907A (zh) | 基于相似病例库的健康医疗知识检索方法和系统 | |
| CN114610865A (zh) | 召回文本推荐方法、装置、设备及存储介质 | |
| CN116805533A (zh) | 一种基于数据收集与模拟的脑出血手术风险预测系统 | |
| CN111581969A (zh) | 医疗术语向量表示方法、装置、存储介质及电子设备 | |
| CN113764034B (zh) | 基因组序列中潜在bgc的预测方法、装置、设备及介质 | |
| CN111477329A (zh) | 一种基于图文结合评估心理状态的方法 | |
| CN115114445A (zh) | 细胞知识图谱构建方法、装置、计算设备及存储介质 | |
| CN111048145B (zh) | 蛋白质预测模型的生成方法、装置、设备和存储介质 | |
| CN115600091B (zh) | 基于多模态特征融合的分类模型推荐方法和装置 | |
| CN112331332A (zh) | 一种基于多粒度特征融合的疾病预测方法及系统 | |
| CN117195027A (zh) | 基于成员选择的簇加权聚类集成方法 | |
| CN117038074A (zh) | 基于大数据的用户管理方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |