CN112948584B - 短文本分类方法、装置、设备以及存储介质 - Google Patents
短文本分类方法、装置、设备以及存储介质 Download PDFInfo
- Publication number
- CN112948584B CN112948584B CN202110236672.2A CN202110236672A CN112948584B CN 112948584 B CN112948584 B CN 112948584B CN 202110236672 A CN202110236672 A CN 202110236672A CN 112948584 B CN112948584 B CN 112948584B
- Authority
- CN
- China
- Prior art keywords
- short text
- vector
- target
- isomorphic
- embedded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 239000013598 vector Substances 0.000 claims abstract description 147
- 238000010586 diagram Methods 0.000 claims description 31
- 238000003058 natural language processing Methods 0.000 abstract description 2
- 238000004590 computer program Methods 0.000 description 12
- 239000011159 matrix material Substances 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/253—Grammatical analysis; Style critique
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了短文本分类方法、装置、设备以及存储介质,涉及自然语言处理领域。具体实现方案为:获取目标短文本以及预设的语料库;确定目标短文本以及语料库中的至少一种类型的特征信息;基于各类型的特征信息,确定各类型的特征信息对应的第一嵌入向量;基于各第一嵌入向量,确定目标短文本的第二嵌入向量;根据第二嵌入向量对目标短文本进行分类。本实现方式能够利用短文本中不同语义组成成分的信息来进行融合,从而能够得到短文本的语义和语法信息,实现对短文本的分类。
Description
技术领域
本申请涉及计算机技术领域,具体涉及自然语言处理领域,尤其涉及短文本分类方法、装置、设备以及存储介质。
背景技术
短文本分类(Short Text Classification)任务是指给定一段短文本,从给定的一个标签集合中选取最适合描述这段文本内容的一个标签。当今社会的互联网媒体中充斥着各种不同类型的文本如微博、新闻等,这使得对这些短文本进行信息的提取变得十分关键。
由于短文本的每段文本里的词数量非常少,传统的时序模型在处理短文本时往往达不到较好的效果。同时,由于文本产生的速度远远大于人工对其进行分类的速度,在标签十分有限的情况下对这些短文本进行分类也成为十分紧迫的需求。
发明内容
提供了一种短文本分类方法、装置、设备以及存储介质。
根据第一方面,提供了一种短文本分类方法,包括:获取目标短文本以及预设的语料库;确定目标短文本以及语料库中的至少一种类型的特征信息;基于各类型的特征信息,确定各类型的特征信息对应的第一嵌入向量;基于各第一嵌入向量,确定目标短文本的第二嵌入向量;根据第二嵌入向量对目标短文本进行分类。
根据第二方面,提供了一种短文本分类装置,包括:短文本获取单元,被配置成获取目标短文本以及预设的语料库;特征信息确定单元,被配置成确定目标短文本以及语料库中的至少一种类型的特征信息;第一向量确定单元,被配置成基于各类型的特征信息,确定各类型的特征信息对应的第一嵌入向量;第二向量确定单元,被配置成基于各第一嵌入向量,确定目标短文本的第二嵌入向量;短文本分类单元,被配置成根据第二嵌入向量对目标短文本进行分类。
根据第三方面,提供了一种用于执行短文本分类方法的电子设备,包括:至少一个处理器;以及与上述至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,上述指令被至少一个处理器执行,以使至少一个处理器能够执行如第一方面所描述的方法。
根据第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,上述计算机指令用于使计算机执行如第一方面所描述的方法。
根据第五方面,一种计算机程序产品,包括计算机程序,上述计算机程序在被处理器执行时实现如第一方面所描述的方法。
根据本申请的技术,能够利用短文本中不同语义组成成分的信息来进行融合,从而能够得到短文本的语义和语法信息,实现对短文本的分类。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1是本申请的一个实施例可以应用于其中的示例性系统架构图;
图2是根据本申请的短文本分类方法的一个实施例的流程图;
图3是根据本申请的短文本分类方法的一个应用场景的示意图;
图4是根据本申请的短文本分类方法的另一个实施例的流程图;
图5是根据本申请的短文本分类装置的一个实施例的结构示意图;
图6是用来实现本申请实施例的短文本分类方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的短文本分类方法或短文本分类装置的实施例的示例性系统架构100。
如图1所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如即时通信类应用、浏览器类应用等。
终端设备101、102、103可以是硬件,也可以是软件。当终端设备101、102、103为硬件时,可以是各种电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、车载电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时,可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务),也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器,例如对终端设备101、102、103提供推送信息的后台服务器。后台服务器可以对短文本进行分类,并根据分类结果确定推送信息推送给终端设备101、102、103。
需要说明的是,服务器105可以是硬件,也可以是软件。当服务器105为硬件时,可以实现成多个服务器组成的分布式服务器集群,也可以实现成单个服务器。当服务器105为软件时,可以实现成多个软件或软件模块(例如用来提供分布式服务),也可以实现成单个软件或软件模块。在此不做具体限定。
需要说明的是,本申请实施例所提供的短文本分类方法一般由服务器105执行。相应地,短文本分类装置一般设置于服务器105中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
继续参考图2,示出了根据本申请的短文本分类方法的一个实施例的流程200。本实施例的短文本分类方法,包括以下步骤:
步骤201,获取目标短文本以及预设的语料库。
本实施例中,短文本分类方法的执行主体(例如图1所示的服务器105)可以通过多种方式获取目标短文本以及预设的语料库。目标短文本中包括的字数可以少于预设数量。目标短文本可以是论坛/BBS、留言及回复、咨询、建议以及意见反馈、手机短信/网络小纸条、即时两条记录如MSN、QQ和POPO等中的短文本。预设的语料库中可以包括多个短文本,其可以相当于外部语言知识。
步骤202,确定目标短文本以及语料库中的至少一种类型的特征信息。
执行主体可以提取目标短文本以及语料库中至少一种类型的特征信息。上述特征信息可以包括实体、词语、词性、话题、概念等等。具体的,执行主体可以分别对目标短文本以及语料库进行实体识别,得到其中包括的实体。可以对目标短文本以及语料库进行分词,得到词语。可以对目标短文本以及语料库进行词性识别,得到词性。
步骤203,基于各类型的特征信息,确定各类型的特征信息对应的第一嵌入向量。
执行主体在确定目标文本以及语料库中的各类型的特征信息后,可以确定各类型的特征信息对应的第一嵌入向量。具体的,执行主体可以结合至少一个第一嵌入向量确定模型,确定目标文本中各类型的特征信息对应的第一嵌入向量。上述第一嵌入向量确定模型可以是各种用于确定嵌入向量的模型,例如可以是语言模型、图卷积神经网络等等。或者,执行主体可以利用各种特征提取模型,确定各类型的特征信息对应的第一嵌入向量。
在一些具体的应用中,执行主体可以直接将上述特征信息输入各第一嵌入向量确定模型,得到各类型的特征信息对应的第一嵌入向量。或者,执行主体可以构建各类型的特征信息的同构图,同构图中的各节点即为得到的特征信息。然后,执行主体可以将上述同构图输入少一个第一嵌入向量确定模型,从而确定各同构图中节点的第一嵌入向量。由于语料库中包括目标短文本中各特征信息的知识,这样,得到的第一嵌入向量中可以包括学习上述知识,使得第一嵌入向量包括的信息更全面。
步骤204,基于各第一嵌入向量,确定目标短文本的第二嵌入向量。
执行主体在得到各类型的特征信息的第一嵌入向量后,可以对各第一嵌入向量进行处理,得到目标短文本的第二嵌入向量。具体的,执行主体可以将目标文本中的各特征信息对应的第一嵌入向量进行加权,得到目标文本的第二嵌入向量。或者,执行主体可以将单种类型的特征信息的第一嵌入向量进行加权,然后将得到的向量根据类型对应的权重相加,最终得到目标短文本的第二嵌入向量。
步骤205,根据第二嵌入向量对目标短文本进行分类。
执行主体在得到第二嵌入向量后,可以将第二嵌入向量输入预先设置的分类器中,得到目标短文本的分类结果。上述分类器可以是现有的多种分类器,例如全连接层、聚类算法对应的模型等等。
继续参见图3,其示出了根据本申请的短文本分类方法的一个应用场景的示意图。在图3的应用场景中,服务器301获取用户通过终端302在搜索类应用中输入的搜索语句,并将上述搜索语句作为目标短文本,还获取了语料库。经过步骤202~205的处理,对上述搜索语句进行分类,得到的分类结果用于表示用户的意图。根据上述意图,将较匹配的搜索结果发送给用户。
本申请的上述实施例提供的短文本分类方法,能够利用短文本中不同语义组成成分的信息来进行融合,从而能够得到短文本的语义和语法信息,实现对短文本的分类。
继续参见图4,其示出了根据本申请的短文本分类方法的另一个实施例的流程400。如图4所示,本实施例的方法可以包括以下步骤:
步骤401,获取目标短文本以及预设的语料库。
步骤402,确定目标短文本以及语料库中的至少一种类型的特征信息。
步骤403,根据各类型的特征信息以及与各类型的特征信息对应的第一嵌入向量确定模型,确定各类型的特征信息对应的第一嵌入向量。
本实施例中,每种类型的特征信息都对应有第一嵌入向量模型。例如,特征信息包括词语、实体和词性。相应的,各第一嵌入向量模型分别与各类型的特征信息对应。第一嵌入向量模型可以为图卷积神经网络。执行主体可以将各类型的特征信息输入对应的第一嵌入向量确定模型中,得到各类型的特征信息对应的第一嵌入向量。
在本实施例的一些可选的实现方式中,上述步骤403具体可以通过以下步骤来实现:构建与各类型的特征信息对应的同构图;对于每个同构图,根据该同构图以及与构建该同构图的特征信息对应的第一嵌入向量确定模型,确定该同构图中各节点对应的第一嵌入向量。
本实现方式中,执行主体可以根据各类型的特征信息,构建同构图。具体的,对于每种类型的特征信息,执行主体可以根据该特征信息在目标短文本和语料库中的归属关系,构建同构图。举例来说,特征信息为实体,则根据上述实体在目标短文本和语料库中的归属关系,构建同构图。
执行主体在得到各同构图后,对于每个同构图,可以将同构图输入对应的图卷积神经网络中,得到同构图中各节点对应的第一嵌入向量。在一些具体的应用中,上述图卷积神经网络可以为少层图卷积网络。
在本实施例的一些可选的实现方式中,各图卷积神经网络中的邻接矩阵以及输入特征向量与特征信息的类型相对应。具体的,词性对应的图卷积神经网络中的邻接矩阵可以通过PMI(point-wise mutual information)算法计算得到,输入特征向量可以为one-hot向量。词语对应的图卷积神经网络中的邻接矩阵可以通过PMI(point-wise mutualinformation)算法计算得到,输入特征向量可以为one-hot向量。实体对应的图卷积神经网络中的邻接矩阵可以通过计算实体与其它实体之间的相似度计算得到,输入向量可以通过TransE(Translating Embedding)算法计算得到。
同构图中每个节点都有自己的特征,我们设这些节点的特征组成一个N×D维的矩阵X,然后各个节点之间的关系也会形成一个N×N维的矩阵A,也称为邻接矩阵(adjacencymatrix)。矩阵X和矩阵A作为图卷积神经网络的输入。
步骤404,融合各第一嵌入向量,得到目标短文本的目标特征向量;根据目标特征向量以及预先训练的第二嵌入向量确定模型,确定目标短文本的第二嵌入向量。
本实施例中,执行主体在得到各第一嵌入向量后,可以融合各第一嵌入向量,得到目标短文本的目标特征向量。具体的,执行主体可以将各第一嵌入向量加权,得到目标短文本的目标特征向量。然后,执行主体可以将目标特征向量输入预先训练的第二嵌入向量确定模型,确定目标短文本的第二嵌入向量。上述第二嵌入向量确定模型可以与第一嵌入向量确定模型相同,也可以不同。在一些具体的应用中,上述第二嵌入向量确定模型可以为动态图卷积神经网络。
在本实施例的一些可选的实现方式中,上述步骤404具体可以通过图4中未示出的以下步骤来实现:根据目标短文本以及语料库,确定文本图;根据各同构图中的各节点与文本图中各节点的对应关系,融合各第一嵌入向量。
本实现方式中,执行实体可以将目标短文本以及语料库,确定文本图。具体的,执行主体可以根据目标短文本以及语料库中目标短文本中的知识,确定语料库中与目标短文本关联的至少一个短文本。然后根据各短文本以及关联关系,确定文本之间的图,称为文本图。然后,执行主体可以根据各同构图中的各节点与文本图中的各节点之间的对应关系,融合各第一嵌入向量。具体的,执行主体可以根据各第一嵌入向量以及预先设计好的邻接矩阵,来得到文本图中各节点对应的初步嵌入向量。然后,将各第一嵌入向量进行拼接,然后输入全连接层,得到目标短文本的目标特征向量。这样,能够最大程度保证语义的完整性。
同构图可以称为低层次图,文本图可以称为高层次图。本实施例中,首先通过构建各类型特征信息的低层次图,然后,将低层次图中各节点的嵌入向量传输到高层次图中的各节点中。可以理解的是,如果将特征信息与文本直接构建在同一张图,可能导致特征信息的向量与文本的向量空间不同的问题。同时,也可以防止在引入新的特征信息时可能出现的改变整个图结构的情况。本实施例的方法,可以通过低层次图与高层次图之间的联系进行信息的传播,能够更好地融合不同类型的特征信息来进行目标短文本的嵌入向量的学习。
具体的,执行主体可以将目标特征向量进行文本图内部的传播学习,即将目标特征向量与邻接矩阵进行相乘。这里的邻接矩阵是通过不同低层次图中各节点的第一嵌入向量整合得到的。
步骤405,根据第二嵌入向量对所述目标短文本进行分类。
本申请的上述实施例提供的短文本分类方法,可以将不同类型的特征信息分隔开,并对每种特征信息构建一张同构图,形成了底层的三种独立的同构图。这样的设计可以避免同构图中的节点与短文本直接连接是产生的嵌入向量空间不同的问题,也防止了在引入新的特征信息时改变整张图的情况。同时,本实施例将图卷积神经网络学习到的同构图中各节点的嵌入向量通过低层次图与高层次图之间的联系来进行信息的传播,能够更好地融合不同类型的特征信息,从而进行短文本嵌入向量的学习,进而能够提升短文本分类的准确性。
进一步参考图5,作为对上述各图所示方法的实现,本申请提供了一种短文本分类装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图5所示,本实施例的用于输出信息装置500包括:短文本获取单元501、特征信息确定单元502、第一向量确定单元503、第二向量确定单元504和短文本分类单元505。
短文本获取单元501,被配置成获取目标短文本以及预设的语料库。
特征信息确定单元502,被配置成确定目标短文本以及语料库中的至少一种类型的特征信息。
第一向量确定单元503,被配置成基于各类型的特征信息,确定各类型的特征信息对应的第一嵌入向量。
第二向量确定单元504,被配置成基于各第一嵌入向量,确定目标短文本的第二嵌入向量。
短文本分类单元505,被配置成根据第二嵌入向量对目标短文本进行分类。
在本实施例的一些可选的实现方式中,第一向量确定单元503可以进一步被配置成:根据各类型的特征信息以及与各类型的特征信息对应的第一嵌入向量确定模型,确定各类型的特征信息对应的第一嵌入向量。
在本实施例的一些可选的实现方式中,第二向量确定单元504可以进一步被配置成:融合各第一嵌入向量,得到目标短文本的目标特征向量;根据目标特征向量以及预先训练的第二嵌入向量确定模型,确定目标短文本的第二嵌入向量。
在本实施例的一些可选的实现方式中,第一向量确定单元503可以进一步被配置成:构建与各类型的特征信息对应的同构图;对于每个同构图,根据该同构图以及与构建该同构图的特征信息对应的第一嵌入向量确定模型,确定该同构图中各节点对应的第一嵌入向量。
在本实施例的一些可选的实现方式中,第二向量确定单元504可以进一步被配置成:根据目标短文本以及语料库,确定文本图;确定各同构图中的各节点与文本图中各节点的对应关系;根据对应关系,融合各第一嵌入向量,得到目标特征向量。
应当理解,短文本分类装置500中记载的单元501至单元505分别与参考图2中描述的方法中的各个步骤相对应。由此,上文针对短文本分类方法描述的操作和特征同样适用于装置500及其中包含的单元,在此不再赘述。
根据本申请的实施例,本申请还提供了还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图6示出了根据本申请实施例的执行短文本分类方法的电子设备600的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图6所示,设备600包括处理器601,其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储器608加载到随机访问存储器(RAM)603中的计算机程序,来执行各种适当的动作和处理。在RAM603中,还可存储设备600操作所需的各种程序和数据。处理器601、ROM602以及RAM 603通过总线604彼此相连。I/O接口(输入/输出接口)605也连接至总线604。
设备600中的多个部件连接至I/O接口605,包括:输入单元606,例如键盘、鼠标等;输出单元607,例如各种类型的显示器、扬声器等;存储器608,例如磁盘、光盘等;以及通信单元609,例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器601可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器601执行上文所描述的各个方法和处理,例如短文本分类方法。例如,在一些实施例中,短文本分类方法可被实现为计算机软件程序,其被有形地包含于机器可读存储介质,例如存储器608。在一些实施例中,计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到电子设备600上。当计算机程序加载到RAM 603并由处理器601执行时,可以执行上文描述的短文本分类方法的一个或多个步骤。备选地,在其他实施例中,处理器601可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行短文本分类方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。上述程序代码可以封装成计算机程序产品。这些程序代码或计算机程序产品可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器601执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本申请的上下文中,机器可读存储介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读存储介质可以是机器可读信号存储介质或机器可读存储介质。机器可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学存储设备、磁存储设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务(“Virtual Private Server”,或简称“VPS”)中,存在的管理难度大,业务扩展性弱的缺陷。服务器可以是分布式系统的服务器,也可以是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请的保护范围之内。
Claims (8)
1.一种短文本分类方法,包括:
获取目标短文本以及预设的语料库;
确定所述目标短文本以及所述语料库中的至少一种类型的特征信息;
构建与各类型的特征信息对应的同构图,对于各个所述同构图,确定所述同构图中各节点对应的第一嵌入向量;
根据所述目标短文本以及所述语料库确定文本图,确定各所述同构图中的各节点与文本图中各节点的对应关系,根据所述对应关系,融合各个所述第一嵌入向量,得到目标特征向量,根据所述目标特征向量,确定所述目标短文本的第二嵌入向量;
根据所述第二嵌入向量对所述目标短文本进行分类。
2.根据权利要求1所述的方法,其中,所述融合各个所述第一嵌入向量,得到所述目标特征向量,根据所述目标特征向量,确定所述目标短文本的第二嵌入向量,包括:
融合各第一嵌入向量,得到所述目标短文本的目标特征向量;
根据所述目标特征向量以及预先训练的第二嵌入向量确定模型,确定所述目标短文本的第二嵌入向量。
3.根据权利要求1所述的方法,其中,所述确定所述同构图中各节点对应的第一嵌入向量,包括:
构建与各类型的特征信息对应的同构图;
对于每个同构图,根据该同构图以及与构建该同构图的特征信息对应的第一嵌入向量确定模型,确定该同构图中各节点对应的第一嵌入向量。
4.一种短文本分类装置,包括:
短文本获取单元,被配置成获取目标短文本以及预设的语料库;
特征信息确定单元,被配置成确定所述目标短文本以及所述语料库中的至少一种类型的特征信息;
第一向量确定单元,被配置成构建与各类型的特征信息对应的同构图,对于各个所述同构图,确定该同构图中各节点对应的第一嵌入向量;
第二向量确定单元,被配置成根据所述目标短文本以及所述语料库确定文本图,确定各所述同构图中的各节点与文本图中各节点的对应关系,根据所述对应关系,融合各个所述第一嵌入向量,得到目标特征向量,根据所述目标特征向量,确定所述目标短文本的第二嵌入向量;
短文本分类单元,被配置成根据所述第二嵌入向量对所述目标短文本进行分类。
5.根据权利要求4所述的装置,其中,所述第二向量确定单元进一步被配置成:
融合各第一嵌入向量,得到所述目标短文本的目标特征向量;
根据所述目标特征向量以及预先训练的第二嵌入向量确定模型,确定所述目标短文本的第二嵌入向量。
6.根据权利要求4所述的装置,其中,所述第一向量确定单元进一步被配置成:
构建与各类型的特征信息对应的同构图;
对于每个同构图,根据该同构图以及与构建该同构图的特征信息对应的第一嵌入向量确定模型,确定该同构图中各节点对应的第一嵌入向量。
7.一种用于执行短文本分类方法的电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-3中任一项所述的方法。
8.一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行权利要求1-3中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110236672.2A CN112948584B (zh) | 2021-03-03 | 2021-03-03 | 短文本分类方法、装置、设备以及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110236672.2A CN112948584B (zh) | 2021-03-03 | 2021-03-03 | 短文本分类方法、装置、设备以及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112948584A CN112948584A (zh) | 2021-06-11 |
CN112948584B true CN112948584B (zh) | 2023-06-23 |
Family
ID=76247463
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110236672.2A Active CN112948584B (zh) | 2021-03-03 | 2021-03-03 | 短文本分类方法、装置、设备以及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112948584B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113656587B (zh) * | 2021-08-25 | 2023-08-04 | 北京百度网讯科技有限公司 | 文本分类方法、装置、电子设备及存储介质 |
CN113987173A (zh) * | 2021-10-22 | 2022-01-28 | 北京明略软件系统有限公司 | 短文本分类方法、系统、电子设备及介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9715495B1 (en) * | 2016-12-15 | 2017-07-25 | Quid, Inc. | Topic-influenced document relationship graphs |
WO2018188240A1 (zh) * | 2017-04-10 | 2018-10-18 | 北京大学深圳研究生院 | 一种基于深度语义空间的跨媒体检索方法 |
CN111598710A (zh) * | 2020-05-11 | 2020-08-28 | 北京邮电大学 | 社交网络事件的检测方法和装置 |
CN111739517A (zh) * | 2020-07-01 | 2020-10-02 | 腾讯科技(深圳)有限公司 | 语音识别方法、装置、计算机设备及介质 |
CN111767728A (zh) * | 2020-06-29 | 2020-10-13 | 北京百度网讯科技有限公司 | 短文本分类方法、装置、设备以及存储介质 |
CN112349269A (zh) * | 2020-12-11 | 2021-02-09 | 平安科技(深圳)有限公司 | 语音合成方法、装置、设备及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10937416B2 (en) * | 2019-02-01 | 2021-03-02 | International Business Machines Corporation | Cross-domain multi-task learning for text classification |
-
2021
- 2021-03-03 CN CN202110236672.2A patent/CN112948584B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9715495B1 (en) * | 2016-12-15 | 2017-07-25 | Quid, Inc. | Topic-influenced document relationship graphs |
WO2018188240A1 (zh) * | 2017-04-10 | 2018-10-18 | 北京大学深圳研究生院 | 一种基于深度语义空间的跨媒体检索方法 |
CN111598710A (zh) * | 2020-05-11 | 2020-08-28 | 北京邮电大学 | 社交网络事件的检测方法和装置 |
CN111767728A (zh) * | 2020-06-29 | 2020-10-13 | 北京百度网讯科技有限公司 | 短文本分类方法、装置、设备以及存储介质 |
CN111739517A (zh) * | 2020-07-01 | 2020-10-02 | 腾讯科技(深圳)有限公司 | 语音识别方法、装置、计算机设备及介质 |
CN112349269A (zh) * | 2020-12-11 | 2021-02-09 | 平安科技(深圳)有限公司 | 语音合成方法、装置、设备及存储介质 |
Non-Patent Citations (3)
Title |
---|
Document and Word Representations Generated by Graph Convolutional Network and BERT for Short Text Classification;Zhihao Ye等;ECAI 2020;全文 * |
Heterogeneous Graph Attention Networks for Semi-supervised Short Text Classification;Hu L 等;Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing;全文 * |
基于加权频繁子图挖掘的图模型在文本分类中的应用;王海荣;科学技术与工程;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112948584A (zh) | 2021-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112966522B (zh) | 一种图像分类方法、装置、电子设备及存储介质 | |
WO2022142014A1 (zh) | 基于多模态信息融合的文本分类方法、及其相关设备 | |
CN112926306B (zh) | 文本纠错方法、装置、设备以及存储介质 | |
CN112948584B (zh) | 短文本分类方法、装置、设备以及存储介质 | |
CN117114063A (zh) | 用于训练生成式大语言模型和用于处理图像任务的方法 | |
CN114429633B (zh) | 文本识别方法、模型的训练方法、装置、电子设备及介质 | |
CN110222333A (zh) | 一种语音交互方法、装置以及相关设备 | |
CN114037059A (zh) | 预训练模型、模型的生成方法、数据处理方法及装置 | |
CN112906368B (zh) | 行业文本增量方法、相关装置及计算机程序产品 | |
CN114970540A (zh) | 训练文本审核模型的方法和装置 | |
CN113468857B (zh) | 风格转换模型的训练方法、装置、电子设备以及存储介质 | |
CN117992569A (zh) | 基于生成式大模型生成文档的方法、装置、设备及介质 | |
CN115730237B (zh) | 垃圾邮件检测方法、装置、计算机设备及存储介质 | |
CN115130470B (zh) | 一种文本关键词的生成方法、装置、设备及介质 | |
CN113204616B (zh) | 文本抽取模型的训练与文本抽取的方法、装置 | |
CN115952258A (zh) | 政务标签库的生成方法、政务文本的标签确定方法和装置 | |
CN116187301A (zh) | 模型生成、实体识别方法、装置、电子设备及存储介质 | |
CN115481255A (zh) | 一种多标签文本分类方法、装置、电子设备及存储介质 | |
CN112214600B (zh) | 一种聊天文本特征分类方法、装置及存储介质 | |
CN114880520A (zh) | 视频标题生成方法、装置、电子设备和介质 | |
CN113806541A (zh) | 情感分类的方法和情感分类模型的训练方法、装置 | |
CN113886543A (zh) | 生成意图识别模型的方法、装置、介质及程序产品 | |
KR102098461B1 (ko) | 퍼지 범주 표현을 이용한 확률 레이블 부착 알고리즘을 사용한 분류 방법 | |
CN112559727A (zh) | 用于输出信息的方法、装置、设备、存储介质和程序 | |
CN114547448B (zh) | 数据处理、模型训练方法、装置、设备、存储介质及程序 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |