CN113826116A - 用于多类分类的对抗性多二元神经网络 - Google Patents
用于多类分类的对抗性多二元神经网络 Download PDFInfo
- Publication number
- CN113826116A CN113826116A CN201980096336.3A CN201980096336A CN113826116A CN 113826116 A CN113826116 A CN 113826116A CN 201980096336 A CN201980096336 A CN 201980096336A CN 113826116 A CN113826116 A CN 113826116A
- Authority
- CN
- China
- Prior art keywords
- class
- binary
- classifier
- classes
- objects
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003042 antagnostic effect Effects 0.000 title description 16
- 238000013528 artificial neural network Methods 0.000 title description 11
- 230000015654 memory Effects 0.000 claims abstract description 21
- 238000000034 method Methods 0.000 claims description 43
- 238000012549 training Methods 0.000 claims description 21
- 230000008485 antagonism Effects 0.000 claims description 8
- 238000007670 refining Methods 0.000 claims 2
- 230000006403 short-term memory Effects 0.000 claims 1
- 238000004891 communication Methods 0.000 description 16
- 239000013598 vector Substances 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000005457 optimization Methods 0.000 description 6
- 238000012552 review Methods 0.000 description 5
- 238000005192 partition Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 229910002056 binary alloy Inorganic materials 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- -1 for example Substances 0.000 description 1
- 239000005400 gorilla glass Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013518 transcription Methods 0.000 description 1
- 230000035897 transcription Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/355—Class or cluster creation or modification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请的实施例提供了一种多类分类系统，该系统包括至少一个非暂时性存储器，其上存储有指令，当所述指令由所述至少一个处理器执行时，使所述系统执行操作。所述操作包括应用多类分类器将对象集分类为多个类别，并将至少两个二元分类器应用于所述对象集，其中，所述至少两个二元分类器从所述多类分类器中分解出，每个二元分类器将所述对象分类为选自所述多个类别中的一个或以上类别组成的第一组和由所述多个类别中的一个或以上剩余类别组成的第二组。所述操作还包括使用多类分类器和所述至少两个二元分类器对所述对象集进行联合分类。
Description
技术领域
本申请涉及用于对对象集进行分类的人工智能(AI)系统和方法，更具体地，涉及使用对抗性多二元神经网络进行多类分类的人工智能系统和方法。
背景技术
文本分类技术在许多应用中越来越流行。例如，运输服务平台可以基于用户和定制服务之间的通信使用文本分类系统来检测安全问题。
文本分类可以使用自然语言处理(NLP)方法来进行，其中，将标签分配给给定文本对象，例如词、句子或段落。NLP在情感分类和主题标记等领域有着广泛的应用。传统的文本分类方法设计手工专家特征集，然后使用合适的机器学习分类器对文本对象进行分类。目前的方法主要集中在深度学习上，使用卷积神经网络(CNN)和循环神经网络(RNN)等模型来自动学习文本表示，并将文本表示学习和分类集成到一个统一的框架中，以获取更准确的分类结果。
多类分类将对象分类为多个类别(例如，分配多个标签)，面临着额外的挑战，例如，区分每个类别特有的特征和多个类别共享的特征。后者往往会误导多类分类器产生不准确的分类结果。现有方法缺乏足够的措施来消除与此类共享特征相关的不利影响。
本申请的实施例通过提供改进的人工智能系统和方法，使用对抗性多二元神经网络来进行多类分类，解决了上述问题。
发明内容
在一方面，本申请的实施例提供了一种多类分类系统。所述系统包括至少一个处理器和至少一个非暂时性存储器，所述非暂时性存储器上存储有指令，当所述指令由所述至少一个处理器执行时，使系统执行操作。所述操作包括应用多类分类器将对象集分类为多个类别，并将至少两个二元分类器应用于所述对象集。其中，所述至少两个二元分类器从所述多类分类器中分解出，每个二元分类器将所述对象集分类为由选自所述多个类别中的一个或以上类组成的第一组和由所述多个类别中的一个或以上剩余类别组成的第二组。所述操作还包括使用所述多类分类器和所述至少两个二元分类器对所述对象集进行联合分类。
在另一方面，本申请的实施例还提供了一种多类分类方法。所述方法包括应用多类分类器将对象集分类为多个类别，并将至少两个二元分类器应用于所述对象集，其中，所述至少两个二元分类器从所述多类分类器分解出，每个二元分类器对所述对象进行分类为自所述多个类别中选择的一个或以上类别组成的第一组和由所述从多个类别中的一个或以上剩余类别组成的第二组。所述方法还包括使用所述多类分类器和所述至少两个二元分类器对所述对象集进行联合分类。
在另一方面，本申请的实施例还提供了一种非暂时性计算机可读介质，其上存储有指令，当所述指令由至少一个处理器执行时，使所述处理器执行用于对对象集进行分类的方法。所述方法包括应用多类分类器将所述对象集分类为多个类别，并将至少两个二元分类器应用到所述对象集。其中，所述至少两个二元分类器从所述多类分类器中分解出，每个二元分类器将所述对象集分类为由选自所述多个类别中的一个或以上类别组成的第一组和由所述多个类别中的一个或以上剩余类别组成的第二组。所述方法还包括使用所述多类分类器和所述至少两个二元分类器对对象集进行联合分类。
应当理解的是，前面的一般描述和下面的详细描述仅是示例性和说明性的，并不构成对本发明的限定。
附图说明
图1是根据本申请一些实施例所示的用于对对象集进行分类的示例性系统的示意图；
图2是根据本申请一些实施例所示的用于对对象集进行分类的对抗性多二元神经网络模型的示意图；
图3是根据本申请一些实施例使用多二元神经网络对对象集进行分类的示例性方法的流程图。
具体实施方式
现将详细参考示例性实施例，其示例如附图所示。在可能的情况下，在整个附图中将使用相同的附图标记来指代相同或相似的部件。
图1是根据本申请一些实施例所示的用于对对象集进行分类的示例性系统100的示意图。在一些实施例中，该对象集可以是文本对象，例如句子、词等。例如，系统100可以用于对评论和/或评语(例如，电影评语、在线论坛交流、记录的客户服务对话)进行分类。与本申请一致，系统100可以从数据库或储存库110(例如，存储记录的客户服务对话的数据库、包含在线聊天记录的文本储存库等)接收文本对象103。在一些实施例中，文本对象103也可以从诸如终端设备120的终端设备收集。例如，终端设备120可以是移动电话、台式计算机、膝上型计算机、掌上电脑(PDA)、机器人、信息亭等。终端设备120可以包括被配置为接收由用户130提供的文本对象103的用户交互界面。在一些实施例中，终端设备120可以包括物理或虚拟键盘，供用户130输入文本对象103。终端设备120可以附加地或替代地包括供用户130手写文本对象103的触摸屏。因此，终端设备120可以将用户评论和/或评语记录为文本对象103。如果输入是手写体，则终端设备120可以自动识别手写体并将其转换为文本信息。在一些实施例中，终端设备120可以包括麦克风，用于记录由用户130提供的音频输入。终端设备120可以自动将记录的音频数据转录成文本。在一些实施例中，系统100可以接收终端设备120捕获的原始格式的文本对象103，并且系统100可以执行从原始格式到文本格式的转换，例如手写体识别和/或音频转录。
在一些实施例中，如图1所示，系统100可以包括通信接口102、至少一个处理器，例如处理器104、诸如内存106的至少一个内存以及诸如存储器108的至少一个存储器。在一些实施例中，系统100可以在单个设备中具有不同的模块，例如，集成电路(IC)芯片(例如，实现为专用集成电路(ASIC)或现场可编程门阵列(FPGA))，或具有专用功能的独立设备。在一些实施例中，系统100的一个或以上组件可以位于云计算环境中或者可以位于单个位置(例如，移动设备内部)或分布式位置。系统100的组件可以在集成设备中或分布在不同位置，而通过网络(未示出)相互通信。与本申请一致，系统100可以被配置为使用对抗性多二元神经网络自动将文本对象103分类为多个类别，该对抗性多二元神经网络使用多类分类器和多个二元分类器进行联合分类。
通信接口102可以通过通信电缆、无线局域网(WLAN)、广域网(WAN)、诸如无线电波的无线网络、蜂窝网络和/或本地或短距离无线网络(例如，蓝牙TM)，或其他通信方法，向终端设备120等组件发送数据和从终端设备120等组件接收数据。在一些实施例中，通信接口102可以包括集成服务数字网络(ISDN)卡、电缆调制解调器、卫星调制解调器或提供数据通信连接的调制解调器。在另一个实施例中，通信接口102可以包括局域网(LAN)卡以向兼容LAN提供数据通信连接。通过通信接口102也可以实现无线链路。在这样的实现中，通信接口102可以发送和接收携带代表各种类型信息的数字数据流的电信号、电磁信号或光信号。
与一些实施例一致，通信接口102可以从数据库110和/或终端设备120接收如文本对象103之类的数据。文本对象103可以以文本格式或以终端设备120所获取的诸如音频或手写体格式的其他格式接收。文本对象103可以包括描述主题(例如，电影评语、产品评论、问题/答案或与服务相关联的沟通)和/或用户体验的一个或多个句子。例如，用户130可以将她的感觉描述为“我看这部电影很开心，必看！”通信接口102还可将接收到的数据提供给内存106和/或存储器108以供存储或提供给处理器104以供处理。
处理器104可以包括任何适当类型的通用或专用微处理器、数字信号处理器或微控制器。处理器104可以被配置为专用于对文本对象103进行分类的独立处理器模块。或者，处理器104可以被配置为用于执行与分类无关的其他功能的共享处理器模块。
如图1所示，处理器104可以包括多个模块，例如，多类分类单元140、多二元分类单元142、分类器优化单元144、分类单元146等。这些模块(以及任何相应的子模块或子单元)可以是为与其他组件一起使用而设计处理器104中的硬件单元(例如，集成电路的部分)，也可以是处理器104通过执行至少部分程序而实现的软件单元。该程序可以存储在计算机可读介质上，并且当由处理器104执行时，它可以执行一个或以上功能。尽管图1所示的单元140-146都在一个处理器104内，但是可以设想的是，这些单元可以分布在距离彼此近或远的多个处理器中。
在一些实施例中，单元140-146执行计算机程序以应用对抗性多二元神经网络来自动分类文本对象103。例如，图2是根据本申请一些实施例所示的用于对对象(例如，文本对象103)集进行分类的对抗性多二元神经网络模型200的示意图。在一些实施例中，对抗性多二元神经网络模型200可以包括若干层，例如编码器层210、注意力层220和分类器层230。图2将连同单元140-146一起描述。
在一些实施例中，当文本对象103包含诸如词、句子等多个单元时，可以根据这些单元(例如，不同的句子)来划分文本对象103。例如，如图2所示，如果文本具有n个句子，则文本(例如，文本对象103)可以被分为句子S1,S2...Sn。Si是第i个句子的句子向量。在一些实施例中，如果给定文本是包含多个词的句子，假设文本具有n个词，则该句子可以被划分为S1,S2...Sn个词。在本实施例中，Si是第i个词的词向量。多类分类单元140可以应用多类分类器来将文本对象103分类为多个类别。例如，多类分类单元140可以用标签向量y＝{y1,y2...ym}来表示多个类别，其中，m是类别的数量。例如，y1可以是表示电影的第一个评级(例如，一颗星)的标签，y2可以是表示电影的第二个评级(例如，两颗星)的标签等。
在一些实施例中，可以使用多个二元分类器来提高分类结果的分类准确度。例如，多二元分类单元142可以包括从多类分类单元140提供的多类分类器分解出的多个二元分类器。这样，可以将多类分类任务分解为k个二元子任务。例如，可以使用一对多(OVR)策略来分解多类分类器。在第j个二元分类器中，可以通过乘以向量yj＝{y1 j,y2 j...ym j}将多个类别{y1,y2...ym}分成两个(二元)类别，仅当yi被包含在子任务j划分中，yi j＝1，否则yi j＝0。例如，示例性划分可以表示为类别1：{y1,y2...yp}和类别2：{yp+1,yp+2.....ym}。在另一个示例中，类别1可以是{y1}，类别2可以是{y2...ym}。
在一些实施例中，多二元分类单元142可以包括编码器以从输入文本中学习特定的上下文信息。如图2所示，编码器层210可以被配置为从S1,S2...Sn中学习特定的上下文信息。例如，多二元分类单元142可以通过向每个二元分类任务分配单独的双向长短期记忆模型(Bi-LSTM)并学习每个二元任务的特定的上下文信息来确定词/句子表示。在一些实施例中，可以使用双向学习模型来生成词/句子表示。双向长短期记忆模型是一种循环神经网络(RNN)，可以按顺序处理数据，并始终保持其隐藏状态。不同于包含单个词/句子的意义和特征的词/句子向量，词/句子表示还提供词/句子的上下文信息，即词所在的整个句子的信息或句子所在的整个段落的信息。
在一些实施例中，Bi-LSTM模型可以包括为让数据在两个不同的方向上流动设计的两组LSTM单元。例如，一组LSTM单元按照v1、v2、v3、v4、v5和v6的顺序处理词/句子向量，以便数据沿“向前”方向流动。另一组LSTM单元按照v6、v5、v4、v3、v2和v1的顺序处理这些词/句子向量，以便数据沿“向后”方向流动。在每组LSTM单元内，多个LSTM单元依次相互连接。在一些实施例中，两组LSTM单元在内部串联以提供额外的数据流。通过使用双向模型，多二元分类单元142可以获取包含词/句子的丰富“双向”(向前和向后)的上下文信息的词/句子表示。
在一些实施例中，多二元分类单元142还可以使用k个私人注意力层Atts,j来捕获特定类别的词/句子表示sj，并且可以使用共享注意力层Attv,，以获取用于所有子任务的类别不可知的词/句子表示vj。类别不可知表示可以包含所有类别共享的特征，因此在多类分类过程中不应依赖这些特征。这些共享特征可能误导多类分类单元140生成不准确的分类结果。通过捕获和考虑类别不可知信息，可以加强多类分类的过程。
如图2所示，注意力层220可以包括k个私人注意力层Atts,j和一个共享注意力层Attv。
在一些实施例中，类别不可知表示vj和类别特定表示sj可以计算为：
其中，
是分配给Si的子任务。
分类器优化单元144可以使用多个二元分类器(例如，由单元142实现)的分类结果来优化多类分类器(例如，由单元140实现)。在一些实施例中，可以应用对抗性训练来学习类别不可知表示vj。在一些实施例中，可以将学习到的类别不可知表示与从每个二元分类器生成的类别特定表示一起馈入多类分类器以优化多类分类的过程。在一些实施例中，分类器优化单元144可以定义如图2所示的任务鉴别器D。任务鉴别器D可用于通过计算多类分类的共享表示和对抗性损失来得到子任务的类型标签。这可以防止特定类别表示蔓延到由共享表示创建的共享空间。在一些实施例中，任务鉴别器D和对抗性损失Ladv可以计算为：
D(sj)＝softmax(Wdsj+bd),j∈{1,k} (4)
其中Wds j和bd是在模型训练中可以训练的参数，di j是表示任务类型标签的参数。在一些实施例中，子任务鉴别器D可用于校正任务类型的分类。
在一些实施例中，分类器优化单元144可以串联来自类别不可知表示vj和类别特定表示sj的特征。例如，分类器优化单元144可以将最大池方法应用于类别不可知表示vj和类别特定表示sj，而主任务ht的分类特征由每个子任务的私人特征和所有子任务的共享特征串联而成：
pj＝softmax(Wjhi+bj)，j∈{1，k} (6)
pt＝softmax(Wtht+bt) (7)
分类器优化单元144还可以基于最小化最终损失L来联合优化多类分类器和多个二元分类器。在一些实施例中，可以使用正确标签的负对数似然来表示分类损失Lcls。例如，多二元分类损失
和多类分类损失
可以计算为:
其中，M(如图2所示)是数据集的大小。在一些实施例中，最终损失L可以计算为：
其中，α和β是超参数。
在一些实施例中，在采用对抗性训练的情况下，最终损失L可以计算为:
其中γ也是超参数。
可以使用训练数据集来联合训练多类分类器(例如，由单元140实现)和多个二元分类器(例如，由单元142实现)。例如，联合训练可以最小化等式(10)所示的总损失L(例如，如果不采用对抗性训练)或等式(11)所示的总损失L(例如，如果采用对抗性训练)。
分类单元146可以使用训练后的模型来对系统100接收的数据(例如，文本对象103)进行分类。例如，分类单元146可以基于联合训练的多类分类器和多个二元分类器对一条评语(例如，电影评论)进行分类。
尽管上述实施例使用如图2所示的对抗性训练来训练模型200，在一些实施例中，模型200也可以在没有对抗性训练的情况下实现。即可以在不生成任务鉴别器D的情况下优化类别不可知表示vj和类别特定表示sj。例如，在不采用对抗性训练的实施例中，可以仅基于最小化如等式(10)所示的多二元分类损失
和多类分类损失
对多类分类器和多个二元分类器进行优化。
内存106和存储器108可以包括任何适当类型的提供用于存储处理器104可能需要操作的任何类型的信息的大容量存储设备。内存106和存储器108可以是易失性或非易失性、磁性的、基于半导体的、基于磁带的、光学的、可移动的、不可移动的或其他类型的存储设备或包括但不限于ROM、闪存、动态RAM和静态RAM的有形(即非暂时性的)计算机可读介质。内存106和/或存储器108可以被配置为存储可以由处理器104执行以执行本文公开的功能的一个或以上计算机程序。例如，内存106和/或存储器108可以被配置为存储程序，该程序可以由处理器104执行以使用对抗性多二元神经网络学习模型200生成分类结果105。
内存106和/或存储器108可以进一步配置为存储处理器104所使用的信息和数据。例如，存储器106和/或存储装置108可以配置为存储各种类型的数据(例如，与已知分类关联的实体)。例如，实体可能包括“电影很好”、“电影很棒”、“值得一看”、“太棒了”、“非常令人印象深刻”等。
在一些实施例中，内存106和/或存储器108还可以存储诸如句子/词向量、句子/词表示、注意力等的中间数据。存储器106和/或存储器108可以另外存储各种包括各自模型参数的学习模型，例如，词嵌入模型、Bi-LSTM模型、跨度表示模型和可用于文本分类的softmax模型。各种类型的数据可能会被永久存储、定期删除或在数据处理后立即删除。
分类结果105可以存储在内存106/存储器108中，和/或可以通过显示器150提供给用户130。显示器150可以包括如液晶显示器(LCD)、发光二极管显示器(LED)、等离子显示器或任何其他类型的显示器，并且显示器150可以提供显示在在显示器上用于用户输入和数据描述图形用户界面(GUI)。显示器可以包括多种不同类型的材料，例如，塑料或玻璃，并且可以通过触摸感应接收来自用户的输入。例如，显示器可以包括诸如大猩猩玻璃TM基本上刚性的触敏材料或诸如柔性玻璃TM基本上柔性的触敏材料。在一些实施例中，显示器150可以是系统100的一部分。
图3是根据本申请一些实施例使用多二元神经网络对对象集进行分类的示例性方法300的流程图。应当理解的是，方法300可以由系统100并且特别是处理器104或图1中未示出的独立处理器来实现。方法300可以包括如下所述的步骤S302-S308。应当理解的是，一些步骤可以是可选的，以执行本申请这里所公开的。此外，一些步骤可以被同时执行，或者以不同于图3所示的顺序执行。
在步骤S302中，系统100可以接收对象集，例如，文本对象103。系统100可以从数据库或储存库接收文本对象103。在一些实施例中，文本对象103也可以作为文本或以终端设备120获取的原始格式(例如，音频格式或手写体格式)提供。如果作为音频接收，则终端设备120可以被转录成文本。如果以手写体接收，文本对象103可被自动识别并转换成文本。文本对象103可以包括描述主题(例如，电影评语、产品评论、问题/答案或与服务相关联的沟通)和/或用户体验的一个或以上句子。例如，用户130可以将她对电影的感受描述为“这部电影我看得很开心。另外，男主角很帅。我强烈建议大家去电影院观看。”
在一些实施例中，当文本对象103包含多个单元时，例如词、句子等，可以根据这些单元(例如，不同的句子)来划分文本对象103子。例如，上面的示例性描述可以分为三个句子：“这部电影我看得很开心”、“另外，男主角很帅”和“我强烈建议大家去电影院观看”。在一些实施例中，如果给定的文本是包含多个词的句子，如果文本有n个词，则该句子可以分为S1,S2...Sn个词。
在步骤S304中，系统100可以应用多类分类器来将文本130分类为多个类别。在一些实施例中，系统100可以用标签向量y＝{y1,y2...ym}来表示多个类别，其中，m是类别的数量。例如，y1可以是表示电影的第一个评级(例如，一颗星)的标签，y2可以是表示电影的第二个评级(例如，两颗星)的标签等。
在步骤S306中，系统100可以应用从多类分类器y＝{y1,y2...ym}分解出的多个二元分类器来提高分类结果的分类准确度。例如，多二元分类单元142可以包括从多类分类单元140提供的多类分类器分解出的多个二元分类器。这样，多类分类任务可以分为k个二元子任务。例如，可以使用一对多(OVR)策略来分解多类分类器。在第j个二元分类器中，可以通过乘以向量yj＝{y1 j,y2 j...ym j},yi j＝1将多个类别y＝{y1,y2...ym}分成两个(二元)类别，仅当yi被包含在子任务j划分中，yi j＝1，否则yi j＝0。例如，示例性划分可以表示为类别1:{y1,y2...yp}和类别2:{yp+1,yp+2...ym}。在另一个示例中，类别1可以是{y1}，类别2可以是{y2...ym}。
在一些实施例中，系统还可以包括编码器以从输入文本中学习特定的上下文信息。编码器层210可以被配置为从S1、S2...Sn中学习特定的上下文信息。例如，系统100可以为每个二元任务分配单独的双向长短期记忆模型(Bi-LSTM)并学习每个二元任务的特定的上下文信息。
在一些实施例中，多二元系统还可以使用k个私人注意力层Atts,j来捕获特定类别的句子表示sj，并且可以使用共享注意力层Attv来获取用于所有子任务的类别不可知表示vj。在一些实施例中，注意力层220可以包括k个私人注意力层Atts,j和一个共享注意力层Attv。例如，类别不可知表示vj和类别特定表示sj可以计算为：
其中，hi j是分配给Si的子任务。
在步骤S308中，系统100可以使用多类分类器和多个二元分类器对对象集进行联合分类。在一些实施例中，系统100可以联合训练多类分类器和多个二元分类器，并且系统100可以使用多个二元分类器的分类结果来优化多类分类器。在一些实施例中，可以应用对抗性训练来学习类别不可知表示vj。例如，可以将学习到的类别不可知表示与从二元分类器生成的特定类别的表示一起输入多类分类器以优化多类分类的过程。在一些实施例中，系统100可以定义任务鉴别器D以通过计算多类分类的共享表示和对抗性损失来得到子任务的类型标签。这可以防止特定类别的表示蔓延到由共享表示创建的共享空间。在一些实施例中，任务鉴别器D和对抗性损失Ladv可以计算为：
D(sj)＝softmax(Wdsj+bd)，j∈{1，k} (4)
其中，Wdsj和bd是在模型训练过程中可以训练的参数，di j是表示任务类型标签的参数。在一些实施例中，由于共享注意力层可能生成误导多类分类的表示，子任务鉴别器D可用于校正任务类型的类别。
在一些实施例中，系统100可以串联来自类别不可知表示vj和类别特定表示sj的特征。例如，系统100可以将最大池方法应用于与类别不可知表示vj和类别特定表示sj，而主任务ht的分类特征是由每个子任务的私人特征和所有子任务的共享特征串联而成：
pj＝softmax(Wjhi+bj)，j∈{1，k} (6)
pt＝softmax(Wtht+bt) (7)
在一些实施例中，系统100还可以基于最小化最终损失L来联合优化多类分类器和多个二元分类器。例如，可以使用正确标签的负对数似然来表示分类损失Lcls。多二元分类损失
和多分类损失
可以计算为：
其中，M是数据集的大小。在一些实施例中，最终损失L可以计算为：
其中，α和β是超参数。
在一些实施例中，在采用对抗性训练的情况下，最终损失L可以计算为：
其中，γ也是超参数。
可以使用训练数据集联合训练多类分类器和多个二元分类器。例如，联合训练可以最小化等式(10)所示的总损失L(例如，如果不采用对抗性训练)或等式(11)所示的总损失L(例如，如果采用对抗性训练)。
系统100还可以使用训练后的模型来对系统100接收的数据(例如，文本对象103)进行分类。例如，分类单元146可以基于联合训练的多类分类器和多个二元分类器对评语(例如，电影评论)进行分类。
由于考虑了更丰富的特征表示，例如，所有二元分类器之间共享的共享表示，因此本文公开的系统和/或方法可以提高分类准确度。
本申请的另一方面涉及一种非暂时性计算机可读介质，其上存储有指令，当所述指令由至少一个处理器执行时，使所述处理器执行上述方法。计算机可读介质可以包括易失性或非易失性、磁性、半导体、磁带、光学、可移动、不可移动或其他类型的计算机可读介质或计算机可读存储设备。例如，如所公开的，计算机可读介质可以是其上存储有计算机指令的存储设备或存储器模块。在一些实施例中，计算机可读介质可以是其上存储有计算机指令的磁盘或闪存驱动器。
对于本领域技术人员来说，显而易见的是，可以对所公开的系统和相关方法进行各种修改和变化。考虑到所公开的系统和相关方法的说明和实践，其他实施例对于本领域技术人员来说将是显而易见的。
说明书和示例旨在仅被视为示例性的，真实范围由权利要求及其等同物指示。
Claims (20)
1.一种多类分类系统，其特征在于，包括：
至少一个处理器；以及
至少一个非暂时性存储器，其上存储有指令，当所述指令由所述至少一个处理器执行时，使所述系统执行以下操作：
应用多类分类器将对象集分类为多个类别；
将至少两个二元分类器应用于所述对象集，其中，所述至少两个二元分类器从所述多类分类器中分解出，每个二元分类器将所述对象集分类为由选自所述多个类别中的一个或以上类别组成的第一组和由所述多个类别中的一个或以上剩余类别组成的第二组；以及
使用所述多类分类器和所述至少两个二元分类器对所述对象集进行联合分类。
2.如权利要求1所述的系统，其特征在于，所述操作包括：
通过最小化联合损失来联合训练所述多类分类器和所述至少两个二元分类器，所述联合损失包括对应于所述多类分类器的多类分类损失和对应于选自所述至少两个二元分类器中的一个或以上二元分类器的一个或以上二元分类损失。
3.如权利要求1所述的系统，其特征在于，所述操作包括：
由对应于至少一个二元分类器的编码器接收所述对象集；以及
由所述编码器从所述对象集中生成上下文信息。
4.如权利要求3所述的系统，其特征在于，所述编码器包括双向长短期记忆模型(Bi-LSTM)。
5.如权利要求3所述的系统，其特征在于，所述操作还包括：
基于所述上下文信息，通过对应于所述至少一个二元分类器的私人注意力层确定类别特定信息；以及
基于所述上下文信息，通过共享注意力层确定类别不可知信息。
6.如权利要求5所述的系统，其特征在于，所述类别不可知信息包括由多个类别共享的共享特征。
7.如权利要求5所述的系统，其特征在于，所述操作包括：
由鉴别器通过最小化对抗性损失来细化所述类别不可知信息。
8.如权利要求7所述的系统，其特征在于，所述操作包括：
通过最小化联合损失来联合训练所述多类分类器和所述至少两个二元分类器，所述联合损失包括：
对应于所述多类分类器的多类分类损失；
对应于选自所述至少两个二元分类器的一个或以上二元分类器的一个或以上二元分类损失；以及
所述对抗性损失。
9.如权利要求5所述的系统，其特征在于，所述操作包括：
通过串联所述类别特定信息和所述类别不可知信息来生成所述至少一个二元分类器的分类特征。
10.如权利要求5所述的系统，其特征在于，所述操作包括：
通过串联对应于多个二元分类器的类别特定信息和所述类别不可知信息来生成所述多类分类器的分类特征。
11.一种多类分类方法，包括：
应用多类分类器将对象集分类为多个类别；
将至少两个二元分类器应用于所述对象集，其中，所述至少两个二元分类器从所述多类分类器分解出，每个二元分类器将所述对象集合分类为由选自所述多个类别中选择的一个或以上类别组成的第一组和由所述多个类别中的一个或以上剩余类别组成的第二组；以及
使用所述多类分类器和所述至少两个二元分类器对所述对象集进行联合分类。
12.如权利要求11所述的方法，其特征在于，包括:
通过最小化联合损失来联合训练所述多类分类器和所述至少两个二元分类器，所述联合损失包括对应于所述多类分类器的多类分类损失和对应于选自所述至少两个二元分类器中的一个或以上二元分类器的一个或以上二元分类损失。
13.如权利要求11所述的方法，其特征在于，包括：
由对应于至少一个二元分类器的编码器接收所述对象集；以及
由所述编码器从所述对象集中生成上下文信息。
14.如权利要求13所述的方法，其特征在于，还包括：
基于所述上下文信息，通过对应于所述至少一个二元分类器的私人注意力层确定类别特定信息；以及
基于所述上下文信息，通过共享注意层确定类别不可知信息。
15.如权利要求14所述的方法，其特征在于，所述类别不可知信息包括由多个类别共享的共享特征。
16.如权利要求14所述的方法，其特征在于，还包括：
由鉴别器通过最小化对抗性损失来细化所述类别不可知信息。
17.如权利要求16所述的方法，其特征在于，还包括：
通过最小化联合损失来联合训练所述多类分类器和所述至少两个二元分类器，所述联合损失包括：
对应于所述多类分类器的多类分类损失；
对应于选自所述至少两个二元分类器的一个或以上二元分类器的一个或以上二元分类损失；以及
所述对抗性损失。
18.如权利要求14所述的方法，其特征在于，还包括：
通过串联所述类别特定信息和所述类别不可知信息来生成所述至少一个二元分类器的分类特征。
19.如权利要求14所述的方法，其特征在于，还包括：
通过串联对应于多个二元分类器的类别特定信息和所述类别不可知信息来生成所述多类分类器的分类特征。
20.一种非暂时性计算机可读介质，其上存储有指令，当所述指令由至少一个处理器执行时，使所述处理器执行用于对对象集进行分类的方法，所述方法包括：
应用多类分类器将所述对象集分类为多个类别；
将至少两个二元分类器应用于对象集，其中，所述至少两个二元分类器从所述多类分类器中分解出，每个二元分类器将所述对象集分类为由选自所述从多个类别中的一个或以上类别组成的第一组和由所述多个类别中的一个或以上剩余类别组成的第二组；以及
使用所述多类分类器和所述至少两个二元分类器对所述对象集进行联合分类。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2019/087032 WO2020227968A1 (en) | 2019-05-15 | 2019-05-15 | Adversarial multi-binary neural network for multi-class classification |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113826116A true CN113826116A (zh) | 2021-12-21 |
Family
ID=73289962
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980096336.3A Pending CN113826116A (zh) | 2019-05-15 | 2019-05-15 | 用于多类分类的对抗性多二元神经网络 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11983492B2 (zh) |
| CN (1) | CN113826116A (zh) |
| WO (1) | WO2020227968A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210303793A1 (en) * | 2020-03-25 | 2021-09-30 | At&T Intellectual Property I, L.P. | Root cause classification |
| US20220198316A1 (en) * | 2020-12-17 | 2022-06-23 | Exceed AI Ltd, Tel-Aviv | Systems and Methods for Automatic Extraction of Classification Training Data |
| US20230098137A1 (en) * | 2021-09-30 | 2023-03-30 | C/o Uniphore Technologies Inc. | Method and apparatus for redacting sensitive information from audio |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070162924A1 (en) * | 2006-01-06 | 2007-07-12 | Regunathan Radhakrishnan | Task specific audio classification for identifying video highlights |
| US20110302111A1 (en) * | 2010-06-03 | 2011-12-08 | Xerox Corporation | Multi-label classification using a learned combination of base classifiers |
| WO2016178243A1 (en) * | 2015-05-05 | 2016-11-10 | Bhavin Manharlal Shah | Multi class classifier from single class dataset |
| CN109471938A (zh) * | 2018-10-11 | 2019-03-15 | 平安科技（深圳）有限公司 | 一种文本分类方法及终端 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9135569B2 (en) * | 2013-02-01 | 2015-09-15 | Telenav, Inc. | Navigation system with anomaly detection mechanism and method of operation thereof |
| CN105549885A (zh) * | 2015-12-10 | 2016-05-04 | 重庆邮电大学 | 滑屏操控中用户情绪的识别方法和装置 |
| CA3009758A1 (en) * | 2015-12-29 | 2017-07-06 | Mz Ip Holdings, Llc | Systems and methods for suggesting emoji |
| US10853737B2 (en) * | 2016-02-22 | 2020-12-01 | The Trustees Of Princeton University | Machine-learning classifier based on comparators for direct inference on analog sensor data |
| WO2019118472A1 (en) * | 2017-12-11 | 2019-06-20 | Walmart Apollo, Llc | System and method for the detection and visualization of reported etics cases within an organization |
| EP3537348A1 (en) * | 2018-03-06 | 2019-09-11 | Dura Operating, LLC | Heterogeneous convolutional neural network for multi-problem solving |
| US11568863B1 (en) * | 2018-03-23 | 2023-01-31 | Amazon Technologies, Inc. | Skill shortlister for natural language processing |
| CN109547546B (zh) * | 2018-11-12 | 2020-06-05 | 网宿科技股份有限公司 | 一种请求任务的调度方法及调度中心服务器 |
| CN109657473B (zh) * | 2018-11-12 | 2020-09-18 | 华中科技大学 | 一种基于深度特征的细粒度漏洞检测方法 |
| US20200167690A1 (en) * | 2018-11-28 | 2020-05-28 | Adobe Inc. | Multi-task Equidistant Embedding |
| US11610098B2 (en) * | 2018-12-27 | 2023-03-21 | Paypal, Inc. | Data augmentation in transaction classification using a neural network |
| US11520881B2 (en) * | 2019-01-23 | 2022-12-06 | General Electric Company | Framework for cyber-physical system protection of electric vehicle charging stations and power grid |
-
2019
- 2019-05-15 WO PCT/CN2019/087032 patent/WO2020227968A1/en active Application Filing
- 2019-05-15 CN CN201980096336.3A patent/CN113826116A/zh active Pending
-
2020
- 2020-09-08 US US17/014,256 patent/US11983492B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070162924A1 (en) * | 2006-01-06 | 2007-07-12 | Regunathan Radhakrishnan | Task specific audio classification for identifying video highlights |
| US20110302111A1 (en) * | 2010-06-03 | 2011-12-08 | Xerox Corporation | Multi-label classification using a learned combination of base classifiers |
| WO2016178243A1 (en) * | 2015-05-05 | 2016-11-10 | Bhavin Manharlal Shah | Multi class classifier from single class dataset |
| CN109471938A (zh) * | 2018-10-11 | 2019-03-15 | 平安科技（深圳）有限公司 | 一种文本分类方法及终端 |
Non-Patent Citations (1)
| Title |
|---|
| PENGFEI LIU 等: "Adversarial Multi-task Learning for Text Classification", 《ARXIV》, vol. 2017, 19 April 2017 (2017-04-19), pages 1 - 5 * |
Also Published As
| Publication number | Publication date |
|---|---|
| US20200401844A1 (en) | 2020-12-24 |
| US11983492B2 (en) | 2024-05-14 |
| WO2020227968A1 (en) | 2020-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Poria et al. | Context-dependent sentiment analysis in user-generated videos | |
| CN107729309B (zh) | 一种基于深度学习的中文语义分析的方法及装置 | |
| CN113255755B (zh) | 一种基于异质融合网络的多模态情感分类方法 | |
| US11537875B2 (en) | Detecting and reducing bias in machine learning models | |
| Saha et al. | BERT-caps: A transformer-based capsule network for tweet act classification | |
| CN110852368A (zh) | 全局与局部特征嵌入及图文融合的情感分析方法与系统 | |
| US11983492B2 (en) | Adversarial multi-binary neural network for multi-class classification | |
| CN106506327B (zh) | 一种垃圾邮件识别方法及装置 | |
| Qureshi et al. | Sentiment analysis of reviews in natural language: Roman Urdu as a case study | |
| US10937428B2 (en) | Pose-invariant visual speech recognition using a single view input | |
| CN113360660B (zh) | 文本类别识别方法、装置、电子设备和存储介质 | |
| CN112131345B (zh) | 文本质量的识别方法、装置、设备及存储介质 | |
| CN112989822A (zh) | 识别对话中句子类别的方法、装置、电子设备和存储介质 | |
| CN117172978B (zh) | 学习路径信息生成方法、装置、电子设备和介质 | |
| CN110598869A (zh) | 基于序列模型的分类方法、装置、电子设备 | |
| CN112559749A (zh) | 在线教育师生智能匹配方法、装置及存储介质 | |
| US11561964B2 (en) | Intelligent reading support | |
| CN114443846A (zh) | 一种基于多层级文本异构图的分类方法、装置及电子设备 | |
| CN113627194A (zh) | 信息抽取方法及装置、通信消息分类方法及装置 | |
| WO2021147084A1 (en) | Systems and methods for emotion recognition in user-generated video(ugv) | |
| CN111309903A (zh) | 一种数据处理方法、装置、存储介质和电子设备 | |
| Areeb et al. | AI art critic: Artistic classification of poster images using neural networks | |
| Nimmalapudi et al. | Machine Learning and IoT-Based Messaging Device for Blind, Deaf, and Dumb People | |
| Thanarattananakin et al. | Spam detection using word embedding-based LSTM | |
| CN113312445A (zh) | 数据处理方法、模型构建方法、分类方法及计算设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |