CN112183752B - 一种基于自动示例选择的端到端多示例学习方法 - Google Patents

一种基于自动示例选择的端到端多示例学习方法 Download PDF

Info

Publication number
CN112183752B
CN112183752B CN202011380710.3A CN202011380710A CN112183752B CN 112183752 B CN112183752 B CN 112183752B CN 202011380710 A CN202011380710 A CN 202011380710A CN 112183752 B CN112183752 B CN 112183752B
Authority
CN
China
Prior art keywords
instance
network
examples
deep
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011380710.3A
Other languages
English (en)
Other versions
CN112183752A (zh
Inventor
詹德川
王魏
李新春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Zhigu Artificial Intelligence Research Institute Co ltd
Nanjing University
Original Assignee
Nanjing Zhigu Artificial Intelligence Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Zhigu Artificial Intelligence Research Institute Co ltd filed Critical Nanjing Zhigu Artificial Intelligence Research Institute Co ltd
Priority to CN202011380710.3A priority Critical patent/CN112183752B/zh
Publication of CN112183752A publication Critical patent/CN112183752A/zh
Application granted granted Critical
Publication of CN112183752B publication Critical patent/CN112183752B/zh
Priority to PCT/CN2021/094142 priority patent/WO2022116479A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于自动示例选择的端到端多示例学习方法，包括以下具体步骤：（一）、对多示例数据进行采集，并将数据分成若干个多示例数据包，多示例数据包包括若干个示例，且多示例数据包设置为由若干个示例组合成的一组示例集合，多示例数据包上具有标签，示例设置为一个多维向量；（二）、搭建深度多示例网络，深度多示例网络包括示例处理层、示例选择层和分类层；（三）、每个多示例数据包通过深度多示例网络进行处理，通过前向或反向传播进行训练，训练包括深度多示例网络训练和深度多示例网络测试，相比现有技术，本发明可以通过示例选择层自动地选择重要的示例，一方面使得整个深度网络的优化过程可以端到端地进行训练。

Description

一种基于自动示例选择的端到端多示例学习方法
技术领域
本发明涉及使用深度网络处理多示例数据的机器学习技术领域，具体涉及一种基于自动示例选择的端到端多示例学习方法。
背景技术
传统机器学习技术经常假设样本和标签是一一对应的，比如：在文档分类任务中，一篇文档对应一个具体类别；在图像识别任务中，每张图片对应一个标签；在风机故障检测任务中，一个风机的一段时间内的采样信号具有同一个标签。然而，在实际任务中，文档包含很多句子，句子中又有很多短语，不同的句子可能描述的事物涉及了多个方面，只有某些核心句子所描述的事物才决定了该文档所属于的类别；每张图像可以包含多个物体，只有主要的物体才会被标注；风机的故障模式只会在某段时域或者频域范围内才出现。
将一篇文档、一张图像、一段时序信号看做一组示例的集合，即多示例包，同时将文档中的多个句子、图像中的多个图像块、时序信号多个时域或者频域范围当做示例，使用多示例学习技术可以有效解决标记粒度的问题。多示例学习假设，多示例包中有一些重要示例决定了该示例包的类别，因此如何去自动选择出重要示例则是非常关键的技术。
如何在深度网络中端到端地选择重要示例是一项难以实现的技术，主要是因为“示例选择”的过程是不可计算导数的，而深度网络的训练则主要是通过梯度传播进行优化的。因此，本发明赋予深度多示例网络“自动选择示例”的能力，使得整个优化过程可以端到端地进行。
发明内容
为解决现有技术的不足，本发明的目的在于提供一种既可以处理一组示例对应单个标签的场景，还可以在深度网络中有效实现示例的自动选择的基于自动示例选择的端到端多示例学习方法。
为了实现上述目标，本发明采用如下的技术方案：
一种基于自动示例选择的端到端多示例学习方法，包括以下具体步骤：（一）、对多示例数据进行采集，并将数据分成若干个多示例数据包，所述多示例数据包包括若干个示例，且多示例数据包设置为由若干个示例组合成的一组示例集合，所述多示例数据包上具有标签，所述示例设置为一个多维向量；（二）、搭建深度多示例网络，所述深度多示例网络包括示例处理层、示例选择层和分类层；（三）、每个多示例数据包通过深度多示例网络进行处理，通过前向或反向传播进行训练，所述训练包括深度多示例网络训练和深度多示例网络测试。
优选地，前述步骤（一）中，多示例数据采集包括以下具体步骤：
100、确定示例和多示例数据包在具体任务中指代的目标；
101、将任务中具体数据构造为多示例数据包；
102、为多示例数据包赋予标签；
103、将数据组织成多组“（多示例数据包，标签）”的形式。
再优选地，前述步骤（二）中，深度多示例网络搭建包括以下具体步骤：
200、搭建示例处理层模块；
201、搭建示例选择层模块；
202、搭建多示例数据包分类层模块。
更优选地，前述步骤（三）中，深度多示例网络训练包括以下具体步骤：
300、准备一组“（多示例数据包，标签）”当做训练数据；
301、通过示例处理层吃力多示例数据包中的每一个示例；
302、通过示例选择层从处理后的所有示例里面选择若干示例；
303、对选择得到的若干示例进行聚合；
304、通过多示例数据包分类层对聚合得到的结果进行分类；
305、根据分类损失函数计算损失值；
306、通过梯度优化方法优化网络中所有参数；
307、重复300-306，直到网络收敛。
进一步优选地，前述步骤（三）中，深度多示例网络测试包括以下具体步骤：
400、将要测试的数据组织成“（多示例数据包，标签）”；
401、通过示例处理层处理多示例数据包中的每一个示例；
402、通过示例选择层从处理后的所有示例里面选择若干示例；
403、对选择得到的若干示例进行聚合；
404、通过多示例数据包分类层对聚合得到的结果进行分类；
405、输出预测结果。
本发明的有益之处在于：本发明可以通过示例选择层自动地选择重要的示例，一方面使得整个深度网络的优化过程可以端到端地进行训练，另一方面可以辅助挖掘一个多示例包中重要的示例，增强模型的可解释性；本发明适用于一组示例对应单一标签的多示例数据场景，并且使用深度学习技术进行训练和预测。
附图说明
图1为本发明实施例的多示例数据采集流程图；
图2为本发明实施例的多示例深度网络搭建流程图；
图3为本发明实施例的多示例深度网络训练流程图；
图4为本发明实施例的多示例深度网络预测流程图。
具体实施方式
以下结合附图和具体实施例对本发明作具体的介绍。
一种基于自动示例选择的端到端多示例学习方法，包括以下具体步骤：（一）、对多示例数据进行采集，并将数据分成若干个多示例数据包，所述多示例数据包包括若干个示例，且多示例数据包设置为由若干个示例组合成的一组示例集合，所述多示例数据包上具有标签，所述示例设置为一个多维向量；（二）、搭建深度多示例网络，所述深度多示例网络包括示例处理层、示例选择层和分类层；（三）、每个多示例数据包通过深度多示例网络进行处理，通过前向或反向传播进行训练，所述训练包括深度多示例网络训练和深度多示例网络测试。
结合图1，多示例数据采集包括以下具体步骤依次为：确定示例和多示例包在风机故障诊断任务中具体指代的含义（步骤100），示例指的是风机故障信号在某频域段范围内的信号值；每个示例表示成一个长度为D的向量，频域范围可以划分为K个频段，收集的风机故障信号可以组织成K个D维向量的集合，即多示例包，记作{V1,V2,…, VK}（步骤101）；如果采集的风机信号来自于有故障风机，标签记为1，否则记为0（步骤102）；将所有收集的数据表示为（{V1,V2,…, VK}，y）的形式，y为0或者1（步骤103）。
结合图2，深度多示例网络搭建包括具体步骤依次为：搭建示例处理层模块（步骤201）：示例处理层可以建模为一个全连接网络，记作hi=F(Vi, W_ins)，Vi可以是任意一个示例，维度为D，W_ins是示例处理层的参数，最后输出的表示是hi，维度为d；搭建示例选择层模块（步骤202）：主要包括打分模块，对每个示例进行打分si=S(hi, W_sel)，其中si为示例hi对应的分数，W_sei为相关参数；搭建多示例包分类层模块（步骤203）：具体包括g=C(h_agg, W_clf)，其中h_agg是对选择示例聚合的结果，W_clf为分类参数，g是最终预测的概率分布，表示该示例包有故障的概率。
结合图3，深度多示例网络训练包括具体步骤依次为：采样训练数据（{V1,V2,…,VK}，y）（步骤300）；示例处理层处理每一个示例数据，hi=F(Vi, W_ins),i=1, 2, … , K（步骤301）；根据示例选择层选择重要示例（步骤302），首先对示例进行打分，si=S(hi, W_sel)，然后经过ui = Softmax(log(si + gi) / lambda), gi ~ Gumbel(0, 1)分布，然后选择Top-jK个最大的ui，其下标依次为j1, j2, …, jK；对选择的示例进行聚合（步骤303），比如取平均h_agg =(Vj1 + Vj2 + … + VjK) / jK作为聚合的示例包表示；通过分类层进行分类g=C(h_agg, W_clf)（步骤304）；计算损失函数（步骤305），比如通过交叉熵损失计算；通过梯度反向传播优化所有参数（步骤306），优化的参数包括W_ins, W_sel, W_clf；最后迭代步骤300-306直到模型收敛（步骤307）。
结合图4，深度多示例网络测试包括具体步骤依次为：将收集到的时序信号表示为（多示例包，）的形式（步骤400）；通过示例处理层、示例选择层、聚合操作和最终分类层进行预测（步骤401，402，403，404）；输出故障分类结果（405）。
本发明的有益之处在于：本发明可以通过示例选择层自动地选择重要的示例，一方面使得整个深度网络的优化过程可以端到端地进行训练，另一方面可以辅助挖掘一个多示例包中重要的示例，增强模型的可解释性；本发明适用于一组示例对应单一标签的多示例数据场景，并且使用深度学习技术进行训练和预测。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (4)

1.一种基于自动示例选择的端到端多示例学习方法，其特征在于，包括以下具体步骤：(一)、对多示例数据进行采集，并将数据分成若干个多示例数据包，所述多示例数据包包括若干个示例，且多示例数据包设置为由若干个示例组合成的一组示例集合，所述多示例数据包上具有标签，所述示例设置为一个多维向量；(二)、搭建深度多示例网络，所述深度多示例网络包括示例处理层、示例选择层和分类层；(三)、每个多示例数据包通过深度多示例网络进行处理，通过前向或反向传播进行训练，所述训练包括深度多示例网络训练和深度多示例网络测试，所述深度多示例网络训练包括以下具体步骤：
300、准备一组“多示例数据包，标签”当做训练数据；
301、通过示例处理层处理多示例数据包中的每一个示例；
302、通过示例选择层从处理后的所有示例里面选择若干示例；
303、对选择得到的若干示例进行聚合；
304、通过多示例数据包分类层对聚合得到的结果进行分类；
305、根据分类损失函数计算损失值；
306、通过梯度优化方法优化网络中所有参数；
307、重复300-306，直到网络收敛。
2.根据权利要求1所述的一种基于自动示例选择的端到端多示例学习方法，其特征在于，所述步骤(一)中，多示例数据采集包括以下具体步骤：
100、确定示例和多示例数据包在具体任务中指代的目标；
101、将任务中具体数据构造为多示例数据包；
102、为多示例数据包赋予标签；
103、将数据组织成多组“多示例数据包，标签”的形式。
3.根据权利要求1所述的一种基于自动示例选择的端到端多示例学习方法，其特征在于，所述步骤(二)中，深度多示例网络搭建包括以下具体步骤：
200、搭建示例处理层模块；
201、搭建示例选择层模块；
202、搭建多示例数据包分类层模块。
4.根据权利要求1所述的一种基于自动示例选择的端到端多示例学习方法，其特征在于，所述步骤(三)中，深度多示例网络测试包括以下具体步骤：
400、将要测试的数据组织成“多示例数据包，标签”；
401、通过示例处理层处理多示例数据包中的每一个示例；
402、通过示例选择层从处理后的所有示例里面选择若干示例；
403、对选择得到的若干示例进行聚合；
404、通过多示例数据包分类层对聚合得到的结果进行分类；
405、输出预测结果。
CN202011380710.3A 2020-12-01 2020-12-01 一种基于自动示例选择的端到端多示例学习方法 Active CN112183752B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011380710.3A CN112183752B (zh) 2020-12-01 2020-12-01 一种基于自动示例选择的端到端多示例学习方法
PCT/CN2021/094142 WO2022116479A1 (zh) 2020-12-01 2021-05-17 一种基于自动示例选择的端到端多示例学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011380710.3A CN112183752B (zh) 2020-12-01 2020-12-01 一种基于自动示例选择的端到端多示例学习方法

Publications (2)

Publication Number Publication Date
CN112183752A CN112183752A (zh) 2021-01-05
CN112183752B true CN112183752B (zh) 2021-02-19

Family

ID=73918354

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011380710.3A Active CN112183752B (zh) 2020-12-01 2020-12-01 一种基于自动示例选择的端到端多示例学习方法

Country Status (2)

Country Link
CN (1) CN112183752B (zh)
WO (1) WO2022116479A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183752B (zh) * 2020-12-01 2021-02-19 南京智谷人工智能研究院有限公司 一种基于自动示例选择的端到端多示例学习方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105046284A (zh) * 2015-08-31 2015-11-11 鲁东大学 一种基于特征选择的多示例多标签学习方法及系统
CN106127247A (zh) * 2016-06-21 2016-11-16 广东工业大学 基于多任务多示例支持向量机的图像分类方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106980826A (zh) * 2017-03-16 2017-07-25 天津大学 一种基于神经网络的动作识别方法
CN108764192B (zh) * 2018-06-04 2021-05-18 华中师范大学 一种面向平安城市视频监控应用的多示例多标签学习方法
CN109614979B (zh) * 2018-10-11 2023-05-02 北京大学 一种基于选择与生成的数据增广方法及图像分类方法
CA3061717A1 (en) * 2018-11-16 2020-05-16 Royal Bank Of Canada System and method for a convolutional neural network for multi-label classification with partial annotations
CN110111399B (zh) * 2019-04-24 2023-06-30 上海理工大学 一种基于视觉注意力的图像文本生成方法
CN111950602B (zh) * 2020-07-21 2024-05-14 江苏大学 一种基于随机梯度下降和多示例多标签学习的图像标引方法
CN112183752B (zh) * 2020-12-01 2021-02-19 南京智谷人工智能研究院有限公司 一种基于自动示例选择的端到端多示例学习方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105046284A (zh) * 2015-08-31 2015-11-11 鲁东大学 一种基于特征选择的多示例多标签学习方法及系统
CN106127247A (zh) * 2016-06-21 2016-11-16 广东工业大学 基于多任务多示例支持向量机的图像分类方法
CN106127247B (zh) * 2016-06-21 2019-07-09 广东工业大学 基于多任务多示例支持向量机的图像分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A Multiple Instance Learning Framework for Identifying Key Sentences and Detecting Events;Wang Wei等;《25th ACM International Conference on Information and Knowledge Management (CIKM)》;20161028;第509页第2段-第516页倒数第2段 *

Also Published As

Publication number Publication date
WO2022116479A1 (zh) 2022-06-09
CN112183752A (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
US11238310B2 (en) Training data acquisition method and device, server and storage medium
CN111368690B (zh) 基于深度学习的海浪影响下视频图像船只检测方法及系统
CN102385592B (zh) 图像概念的检测方法和装置
CN104881458A (zh) 一种网页主题的标注方法和装置
CN103745454A (zh) 一种基于排序学习的图像处理算法或系统的评价方法
CN103473308B (zh) 基于最大间隔张量学习的高维多媒体数据分类方法
CN112613428B (zh) 基于平衡损失的Resnet-3D卷积牛视频目标检测方法
CN111932639B (zh) 一种基于卷积神经网络的不均衡缺陷样本的检测方法
CN106227836B (zh) 基于图像与文字的无监督联合视觉概念学习系统及方法
CN113407644A (zh) 一种基于深度学习算法的企业行业二级行业多标签分类器
CN110751191A (zh) 一种图像的分类方法及系统
CN112183752B (zh) 一种基于自动示例选择的端到端多示例学习方法
CN109657711A (zh) 一种图像分类方法、装置、设备及可读存储介质
CN112308148A (zh) 缺陷类别识别、孪生神经网络训练方法、装置及存储介质
CN104573701B (zh) 一种玉米雄穗性状的自动检测方法
CN112528058B (zh) 基于图像属性主动学习的细粒度图像分类方法
CN109086737B (zh) 基于卷积神经网络的航运货物监控视频识别方法及系统
CN112836067B (zh) 基于知识图谱的智能搜索方法
CN108846364A (zh) 一种基于fpga的视频特征检测方法和系统
CN117516937A (zh) 基于多模态特征融合增强的滚动轴承未知故障检测方法
CN101515329B (zh) 基于多种特征的图像匹配方法
Pereira et al. Assessing active learning strategies to improve the quality control of the soybean seed vigor
CN114283323A (zh) 一种基于图像深度学习的海上目标识别系统
CN109800798A (zh) 一种模型训练方法、装置及设备
Chen et al. An Active Learning Model Production Method for Electric Power Inspection Image Multi-target Detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221201

Address after: 210023 163 Xianlin Road, Qixia District, Nanjing, Jiangsu

Patentee after: NANJING University

Patentee after: Nanjing Zhigu Artificial Intelligence Research Institute Co.,Ltd.

Address before: 210000 building C4, Hongfeng Science Park, Nanjing Economic and Technological Development Zone, Jiangsu Province

Patentee before: Nanjing Zhigu Artificial Intelligence Research Institute Co.,Ltd.