CN116956941B - 一种文本识别方法、装置、设备及介质 - Google Patents

一种文本识别方法、装置、设备及介质 Download PDF

Info

Publication number
CN116956941B
CN116956941B CN202311222538.2A CN202311222538A CN116956941B CN 116956941 B CN116956941 B CN 116956941B CN 202311222538 A CN202311222538 A CN 202311222538A CN 116956941 B CN116956941 B CN 116956941B
Authority
CN
China
Prior art keywords
text
negative
semantic
intention
character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311222538.2A
Other languages
English (en)
Other versions
CN116956941A (zh
Inventor
韩嘉琪
袁刚
林炳怀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202311222538.2A priority Critical patent/CN116956941B/zh
Publication of CN116956941A publication Critical patent/CN116956941A/zh
Application granted granted Critical
Publication of CN116956941B publication Critical patent/CN116956941B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0499Feedforward networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Machine Translation (AREA)

Abstract

本申请实施例提供了一种文本识别方法、装置、设备及介质;其中的方法包括:获取待识别的文本;对文本进行意图语义识别,得到文本的文本意图,并从文本中获取与文本意图相关的N个第一字段;对文本进行否定语义识别,从文本中识别出具有否定语义的第二字段及第二字段对应的否定范围;从N个第一字段中确定属于否定范围的目标字段,并基于第二字段和目标字段更新文本意图,得到文本的目标意图。本申请实施例可应用于地图领域、交通领域、自动驾驶领域、车载场景、云技术、人工智能、智慧交通和辅助驾驶等各种场景,提升意图识别的准确性。

Description

一种文本识别方法、装置、设备及介质
技术领域
本申请涉及计算机技术领域,尤其涉及人工智能领域,具体涉及一种文本识别方法、装置、设备及介质。
背景技术
自然语言理解(Natural Language Understanding,NLU)是所有支持机器理解文本内容的方法模型或任务的总称。意图识别是自然语言理解中的一项技术,用于确定用户与计算机进行对话时的意图或目的。
目前,现有技术通过对用户输入的自然语言进行自然语言理解,以识别该自然语言想要表达的意图。例如,使用基于Transformer的双向编码(Bidirectional EncoderRepresentation from Transformers,BERT)的意图槽位联合识别模型来进行自然语言的语义分析,以识别该自然语义所表达的意图。然而,传统意图槽位识别的识别粒度较大,往往不能有效区分自然语言所表达的肯定意图和否定意图,降低意图识别的准确性。
发明内容
本申请实施例提供一种文本识别方法、装置、设备及介质,能够增强对用户输入的自然语言的否定语义的理解,提升意图识别的准确性。
一方面,本申请实施例提供了一种文本识别方法,该方法包括:
获取待识别的文本;
对文本进行意图语义识别,得到文本的文本意图,并从文本中获取与文本意图相关的N个第一字段;N为大于或等于1的整数;
对文本进行否定语义识别,从文本中识别出具有否定语义的第二字段及第二字段对应的否定范围;
从N个第一字段中确定属于否定范围的目标字段,并基于第二字段和目标字段更新文本意图,得到文本的目标意图。
另一方面,本申请实施例提供了一种文本识别装置,该装置包括:
获取单元,用于获取待识别的文本;
处理单元,用于对文本进行意图语义识别,得到文本的文本意图,并从文本中获取与文本意图相关的N个第一字段;N为大于或等于1的整数;
处理单元,还用于对文本进行否定语义识别,从文本中识别出具有否定语义的第二字段及第二字段对应的否定范围;
处理单元,还用于从N个第一字段中确定属于否定范围的目标字段,并基于第二字段和目标字段更新文本意图,得到文本的目标意图。
在一种实现方式中,处理单元,用于对文本进行意图语义识别,得到文本的文本意图时,具体用于:
获取文本对应的文本语义表示;文本语义表示中包括文本对应的分类语义表示,分类语义表示用于表征文本的综合语义信息;
采用文本语义表示中的分类语义表示对文本进行意图语义识别,得到文本的文本意图。
在一种实现方式中,文本中包括一个或多个字符;文本对应的文本语义表示中还包括一个或多个字符中每个字符的字符语义表示,任一字符的字符语义表示用于表征任一字符的字符语义信息;处理单元,用于从文本中获取与文本意图相关的N个第一字段时,具体用于:
获取文本意图对应的M个候选槽位;M个候选槽位是预先设置的;M为整数且M≥N;
采用每个字符的字符语义表示,从一个或多个字符中识别出与M个候选槽位中的N个候选槽位相匹配的字符串;字符串由至少一个字符组成;
将与N个候选槽位中的每个候选槽位相匹配的字符串,作为相应候选槽位的槽位值;
其中,与文本意图相关的N个第一字段为N个候选槽位的N个槽位值。
在一种实现方式中,文本中包括一个或多个字符;处理单元,用于对文本进行否定语义识别,从文本中识别出具有否定语义的第二字段及第二字段对应的否定范围时,具体用于:
获取文本对应的文本语义表示;文本语义表示中包括一个或多个字符中每个字符的字符语义表示,任一字符的字符语义表示用于表征任一字符的字符语义信息;
按照文本语义表示中的每个字符的字符语义表示,从文本中识别出具有否定语义的第二字段;以及,
按照文本语义表示中的每个字符的字符语义表示,对文本所包含的各字符进行依存关系分析,得到文本中与第二字段对应的否定范围;否定范围包括文本中的一个或多个字符串,字符串由至少一个字符组成。
在一种实现方式中,处理单元,用于获取文本对应的文本语义表示时,具体用于:
为文本填充标识符,得到填充后的文本序列;填充后的文本序列中包括:分类标识符和文本所包括的一个或多个字符;
对文本序列进行特征向量表示,得到文本序列的向量表示;
基于向量表示对文本序列进行语义提取处理,得到文本对应的文本语义表示;文本语义表示中包括:分类标识符对应的分类语义表示,和一个或多个字符中每个字符对应的字符语义表示。
在一种实现方式中,否定范围包括与第二字段对应的一个或多个否定槽位值;处理单元,用于从N个第一字段中确定属于否定范围的目标字段,并基于第二字段和目标字段更新文本意图,得到文本的目标意图时,具体用于:
从N个第一字段中确定出与否定范围内的否定槽位值相同的目标字段,并将目标字段变更为否定槽位的否定槽位值;
基于具有否定语义的第二字段,变更后的否定槽位值和N个第一字段中除目标字段外的其他字段,对文本意图进行更新,得到文本的目标意图;
其中,目标意图所表达的意图语义和文本意图所表达的意图语义不同。
在一种实现方式中,处理单元,还用于:
对文本的文本意图进行否定意图判别处理;
若文本的文本意图所表达的意图语义为非否定语义,则触发执行从N个第一字段中确定属于否定范围的目标字段,并基于第二字段和目标字段更新文本意图,得到文本的目标意图的步骤;
按照文本的目标意图为用户提供服务。
在一种实现方式中,处理单元,还用于:
若文本的文本意图所表达的意图语义为否定语义,则将文本的文本意图作为文本的目标意图。
在一种实现方式中,文本识别方法通过否定语义联合模型执行;否定语义联合模型中至少包括:共参语义提取模块、意图分类模块、槽位填充模块及否定语义预测模块;
共参语义提取模块用于获取文本对应的文本语义表示;
意图分类模块用于对文本进行意图语义识别,得到文本的文本意图;
槽位填充模块用于从文本中获取与文本意图相关的N个第一字段;
否定语义预测模块用于对文本进行否定语义识别,从文本中识别出具有否定语义的第二字段及第二字段对应的否定范围。
在一种实现方式中,否定语义联合模型的训练过程,包括:
获取训练数据和训练数据对应的双重标签;训练数据对应的双重标签包括意图分类标签,槽位值标签和否定标签;否定标签中包括训练数据中具有否定语义的第二字段和第二字段对应的否定范围;
利用否定语义联合模型对训练数据进行联合预测处理,得到训练数据的预测结果;
按照减小预测结果和训练数据的双重标签的差异的方向,对否定语义联合模型进行模型优化,得到优化好的否定语义联合模型。
在一种实现方式中,预测结果包括:意图分类预测结果、槽位值预测结果及否定预测结果;处理单元,用于利用否定语义联合模型对训练数据进行联合预测处理,得到训练数据的预测结果时,具体用于:
利用否定语义联合模型中的意图分类模块,基于文本语义表示对训练数据进行语义预测处理,得到训练数据的意图分类预测结果;以及,
利用否定语义联合模型中的槽位填充模块,基于文本语义表示对训练数据进行槽位值预测处理,得到训练数据中与意图分类预测结果相关的槽位值预测结果;以及,
利用否定语义联合模型中的否定语义预测模块,基于文本语义表示对训练数据进行否定语义预测,得到训练数据的否定预测结果,否定预测结果中包括:否定预测字段及否定预测字段对应的否定预测范围。
在一种实现方式中,处理单元,用于按照减小预测结果和训练数据的双重标签的差异的方向,对否定语义联合模型进行模型优化时,具体用于:
基于训练数据的意图分类预测结果和训练数据的意图分类标签,得到训练数据的意图分类损失函数;以及,
基于训练数据的槽位值预测结果和训练数据的槽位值标签,得到所述训练数据的槽位值填充损失函数;以及,
基于训练数据的否定预测结果和训练数据的否定标签,得到所述训练数据的否定损失函数;
对所述意图分类损失函数,所述槽位值填充损失函数和否定损失函数进行加权处理,得到目标损失函数;
按照减小目标损失函数的方向,对否定语义联合模型进行模型优化。
另一方面,本申请实施例提供了一种计算机设备,该计算机设备包括:
处理器,用于加载并执行计算机程序;
计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,该计算机程序被处理器执行时,实现上述文本识别方法。
另一方面,本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,该计算机程序适于由处理器加载并执行上述文本识别方法。
另一方面,本申请实施例提供了一种计算机程序产品,该计算机程序产品包括计算机程序,该计算机程序被处理器执行时,实现上述文本识别方法。
本申请实施例中,在获取到待识别的文本后,一方面,可以对该文本进行意图语义识别,以得到该文本的文本意图;以及,从文本中获取与该文本意图相关的N个第一字段,N为大于或等于1的整数。也就是说,支持对该文本进行意图槽位识别,以识别出该文本所表达的文本意图和执行该文本意图所需的N个第一字段,该第一字段是文本中的一个词(即一个字符)。另一方面,支持对文本进行否定语义识别,从文本中识别出具有否定语义的第二字段和第二字段对应的否定范围;此处的第二字段是具有否定语义的否定词(如“不”,“没有”和“莫”等词),第二字段对应的否定范围可以是指在文本中该第二字段所对应的否定对象,即否定词所否定的否定对象。基于上述两方面的分析和识别后,可以从N个第一字段中确定出属于否定范围的目标字段,并基于第二字段和目标字段更新识别出的文本意图,从而得到文本的目标意图。由此可见,本申请实施例在意图槽位识别中引入否定语义的否定识别,通过这种意图槽位识别和否定识别的联合识别方式,提升对含有否定语义的文本输入文本的否定解析效果,正确理解用户想要表达的意图;简而言之,通过这种更细粒度的否定识别和意图槽位识别的结合,提升自然语言理解中否定语义的识别效果,给予意图槽位识别更细粒度的识别能力,提升自然语言理解领域的智能化程度,优化用户体验并提高满意度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一个示例性实施例提供的一种文本识别系统的架构示意图;
图2是本申请一个示例性实施例提供的一种文本识别方法的流程示意图;
图3是本申请一个示例性实施例提供的一种针对文本的预处理、语义提取、意图槽位识别和否定识别的示意图;
图4是本申请一个示例性实施例提供的一种否定语义联合模型的结构示意图;
图5是本申请一个示例性实施例提供的一种向量表示模块进行特征向量表示的示意图;
图6是本申请一个示例性实施例提供的一种针对否定语义联合模型的模型训练过程;
图7a是本申请一个示例性实施例提供的一种意图分类模块的结构示意图;
图7b是本申请一个示例性实施例提供的一种槽位填充模块和否定语义预测模块的结构示意图;
图8是本申请一个示例性实施例提供的另一种文本识别方法的流程示意图;
图9是本申请一个示例性实施例提供的一种文本识别装置的结构示意图;
图10是本申请一个示例性实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
下面先对本申请实施例涉及的技术术语和概念进行简单介绍,其中:
(1)人工智能(Artificial Intelligence,AI)。
人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
进一步的,本申请实施例主要涉及人工智能技术中的机器学习(MachineLearning,ML)和自然语言理解(Natural Language Understanding,NLU)等技术。其中:机器学习是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习及式教学习等技术。自然语言理解俗称人工对话,是利用电子计算机模拟人的语言交际过程,使计算机能理解和运用人类社会的自然语言(如汉语或英语等等),实现人类和计算机之间的自然语言通信;以代替人的部分脑力劳动,包括查询资料、解答问题、摘录文献、汇编资料及一切有关自然语言信息的加工处理。
(2)意图识别(Intent Recognition)。
意图识别亦称为意图分类,旨在利用上述提及的人工智能领域下的机器学习和自然语言理解等技术,将用户输入的自然语言形式的文本与给定的意图分类联系起来,以识别出用户的意图,从而为用户提供更好地智能问答能力。简而言之,意图识别,顾名思义就是通过对用户输入的自然语言(如中文或英文等)进行语义分析(或称为语义识别),以判断用户的真实意图的过程。例如,在智能问答场景中,获取到用户输入的自然语言形式的文本“我想要听歌手A的歌曲”时,可以对该文本进行语义识别,以识别到该文本所表达的真实意图,从而基于该真实意图为用户提供相应的服务(如为用户播放A的歌曲)。
在实际应用中,针对用户输入的文本执行意图识别的过程大致可以包括意图分类和槽位填充。其中:①意图分类主要是对用户输入的文本所表达意图进行意图分类,以确定该意图所属的类别。②对于计算机设备而言,其在获取到文本所表达意图所属的意图分类后,需要获取该意图分类对应的一个或多个意图槽位(或称为属性),并从文本中确定出意图分类对应的槽位的槽位值(或称为属性值);这样,计算机设备才能够将槽位值填充至相应的槽位中,以便于计算机设备基于槽位值执行用户的真实意图。举例来说,假设用户输入的文本为“订一张关于A主演的B电影票”,那么对该文本进行语义分析后可以将该文本所表达的意图归类为意图分类<订电影票>;进一步的,意图分类<订电影票>对应的意图槽位可以包括但是不限于:<演员>,<电影名>和<影院>等;其中,意图槽位<演员>和<电影名>的槽位值均可以从文本中识别到,如意图槽位<演员>的槽位值为<演员>:<A>,意图槽位<电影名>的槽位值为<电影名>:。而意图槽位<影院>的槽位值不能从文本中识别得到,那么可以通过计算机设备向用户进行问询,以便于根据用户新输入的文本“C影院”进一步确定意图槽位<影院>:<C>。值得注意的是,每个意图分类和意图分类对应的槽位均是预先设置好的,在意图识别过程中只需调用预先设置好的意图分类进行意图识别以及调用相应意图分类下的槽位进行槽位填充即可。
经实践发现,传统意图识别技术在否定意图的识别中的效果较差;也就是说,文本所表达的意图具有否定语义时该意图往往是否定意图,而传统意图识别技术对文本所表达的否定意图往往难以识别,导致意图识别的准确性降低。为提升自然语言理解中否定语义的识别效果,本申请实施例提出了一种文本识别方案,该文本识别方案能够增强自然语言理解中的否定语义的识别效果;该方案具体是通过将否定语义识别与意图识别(即前述提及的意图分类和槽位填充)结合,使得能够更好地识别到文本中的否定语义。其中,本申请实施例涉及的否定语义识别(或称为否定识别)可以包括两部分:一部分是文本中具有否定语义的否定词的识别,否定词可以包括但是不限于:不、没有、无和除了等表示否定语义的字或词语。另一部分是文本中的否定范围的识别,该否定范围与否定词是对应的,否定范围即表达否定词在文本中所否定的区间;特别地,在槽位抽取背景下,否定范围可以特化为否定槽位,即否定范围为否定槽位。
具体实现中,本申请实施例提供的文本识别方案的大致流程可以包括:在获取到用户输入的待识别的文本后,可以对该文本进行意图语义识别(或称为意图分类识别),得到文本的文本意图,该文本意图具体是文本所表达的意图所属的意图分类;以及,从文本中获取与该文本意图相关的N个第一字段,N为大于或等于1的整数,此处的第一字段即为文本意图对应的槽位的槽位值。同时,还支持对文本进行否定语义识别,从文本中识别出具有否定语义的第二字段(即否定词)和该第二字段对应的否定范围(如否定槽位)。最后,从意图识别所得到的N个第一字段中确定属于否定范围的目标字段,并基于第二字段和目标字段更新文本意图,得到文本的目标意图。这样,计算机设备可以基于该文本的目标意图为用户提供有效的服务。
举例来说,假设用户输入的文本为“我要听歌手A的B歌曲,不要现场版的”,此用户输入进行意图槽位抽取后的结果为:意图分类为<播放音乐>,该意图分类<播放音乐>对应的意图槽位可以包括但是不限于:<歌手>、<歌曲>和<版本>;那么基于这些意图槽位从文本中抽取的槽位值包括:意图槽位<歌手>的槽位值为<歌手>:<歌手A>,意图槽位<歌曲>的槽位值为<歌曲>:<B歌曲>,意图槽位<版本>的槽位值为<现场版>。进一步的,很容易理解的是,用户输入的文本所表达意图是过滤掉现场版的歌曲,那么引入本申请实施例对该文本进行否定语义识别可以识别到否定词<不要>和该否定词<不要>所对应的否定范围为<版本>:<现场版>;则可以确定槽位填充识别到的意图槽位<版本>的槽位值为<现场版>应该被划定为否定,可以用如下格式来表示该否定范围<版本:neg>:<现场版>。应当理解的是,上述例子中的意图槽位的意图槽位值表示均为示例性的,如识别到的槽位值<歌手>:<歌手A>还可以为<歌手>:<A>,再如识别到的否定词<不要>还可以为<不>。
由此可见,本申请实施例在意图槽位识别中引入否定语义的否定识别,通过增加对用户输入的文本的否定语义的解析,能够提升意图分类和槽位填充联合的意图识别方案对含有否定语义的文本的否定解析效果,从而正确理解用户想要表达的具体否定含义。也就是说,本申请实施例能够给予意图槽位识别更细粒度的识别能力(依赖于否定词和否定范围的识别),提升自然语言理解领域的智能化程度,优化用户体验并提高满意度。
本申请实施例提供的文本识别方案可以应用于任意需要意图识别的应用场景,可以包括但是不限于:智能对话场景以及搜索场景等等。其中:
①智能对话场景可以是指利用语音或文字等方式实现人与计算机设备进行对话的场景;包括但是不限于:在智能交通、智能车载(如车载智能助手)和智能机器人(如实体的机器人,或者社交会话应用中的机器人等)等领域下的对话场景。例如,酒店(或商场等其他场景)的智能机器人和人类进行对话的对话场景;再如,在车载应用程序和人类进行对话的对话场景;等等。值得注意的是,智能对话场景中,人与计算机设备(如具有对话功能的智能机器人)之间的对话可以一次对话或多次对话,本申请实施例对此不作限定。
②搜索场景可以是指用户输入搜索文本,由计算机设备对该搜索文本进行语义识别,以根据针对该搜索文本的语义识别结果为用户反馈搜索结果的过程;包括但是不限于:商品交易领域、广告搜索领域和视频搜索等各类搜索领域。以视频搜索领域为例,用户可能输入含有否定语义的搜索文本(如搜索不是由A主演的电影),此时采用本申请实施例提供的文本识别方案能够准确识别出该搜索文本的否定意图,从而从视频数据库(如用于存储视频的数据库)中过滤掉由演员A主演的电影并推送给用户。
综上所述,本申请实施例提供的这种联合意图槽位识别和否定识别的文本识别方案,能够加强对文本中的否定语义的识别效果,在一定程度上有效提升业务覆盖度(如扩展适用场景),提升用户满意度。
应当理解的是,上述给出的几种应用场景仅为示例,并不会对本申请实施例提供的文本识别方案所适用的应用场景产生限定,特在此说明。
进一步的,本申请实施例提供的文本识别方案可以由计算机设备来执行,该计算机设备可以包括终端或者服务器,计算机设备还可以包括终端和服务器。为便于理解本申请实施例提供的文本识别方案,下面结合图1所示的文本识别系统对本申请实施例涉及的应用场景进行介绍;如图1所示,该文本识别系统中包含终端101和服务器102;其中:
1)终端101可以包括用户所使用的终端设备。当然,根据文本识别方案所应用的应用场景和领域的不同,提供本申请实施例提供的文本识别方案的终端有所不同。终端设备可以包括但不限于:智能手机(如部署安卓(Android)系统的智能手机,或部署互联网操作系统(Internetworking Operating System,IOS)的智能手机)、平板电脑、便携式个人计算机、移动互联网设备(Mobile Internet Devices,MID)、车载设备、头戴设备和智能家居等终端设备,本申请实施例并不对终端设备的类型进行限定,在此说明。
例如:在智能机器人场景下,终端设备可以为智能机器人;也就是说,此实现方式下,可以将本申请实施例提供的文本识别方案部署于该智能机器人;当用户与该智能机器人对话时,由该智能机器人对用户输入的文本进行意图识别和否定语义识别,以正确识别用户的意图后,根据用户意图为用户提供服务(如酒店中的智能机器人提供引路或取餐等服务)。再如:在智能车载场景下,部署有本申请实施例提供的文本识别方案的应用程序为车载应用程序;该车载应用程序的类型可以包括但是不限于:音乐、视频或游戏等。
其中,应用程序可是指为完成某项或多项特定工作的计算机程序;按照不同维度(如应用程序的运行方式、功能等)对应用程序进行归类,可得到同一应用程序在不同维度下的类型。例如:按照应用程序的运行方式分类,应用程序可包括但不限于:安装在终端中的客户端、无需下载安装即可使用的小程序(作为客户端的子程序)、通过浏览器打开的全球广域网(World Wide Web,Web)应用程序等等。再如:按照应用程序的功能类型分类,应用程序可包括但不限于:即时通信(Instant Messaging,IM)应用程序、内容交互应用程序、音频应用程序或者视频应用程序等等。其中,即时通信应用程序是指基于互联网的即时交流消息和社交交互的应用程序,即时通信应用程序可以包括但不限于:包含通信功能的社交应用程序、包含社交交互功能的地图应用程序、游戏应用程序等等。内容交互应用程序是指能够实现内容交互的应用程序,例如可以是分享平台、个人空间和新闻等应用程序。音频应用程序是指基于互联网实现音频功能的应用程序,音频应用程序可以包括但是不限于:具备音乐播放和编辑能力的音乐类应用程序,具备电台播放能力的电台类应用程序或者具备直播能力的直播类应用程序等等。视频应用程序是指能够播放画面的应用程序,视频应用程序可以包括但是不限于:具备短视频(视频长度往往较短,如几秒或几分钟等)的应用程序,具备长视频(如类似电影或电视剧这种播放时常较长的视频)的应用程序等等。
当然,本申请实施例提供的文本识别方案可以如上述描述的,直接部署于设备(如智能机器人)或者部署于应用程序外,还可以插件的形式部署于设备或应用程序中。本申请实施例对部署文本识别方案的载体不作限定。
2)服务器102可以是终端对应的服务器,用于与终端进行数据交互以实现为终端提供计算和应用服务支持。具体地,该服务器是与终端中部署的应用程序所对应的后台服务器,用于与终端交互以为应用程序提供计算和应用服务器。其中,服务器102可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
其中,终端101和服务器102之间可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。此外,本申请实施例对终端和服务器的数量不作限定;在图1中以终端101和服务器102的数量均为单个仅为示例,在实际应用中可以包括分布式分布的多个服务器,特在此说明。
下面结合图1所示的文本识别系统对应用场景下的文本识别方案的大致流程进行介绍。具体实现中,首先,如果用户想要终端(具体是终端中部署的应用程序,如音乐类型的应用程序)执行某种意图,那么用户可以向终端输入相应的文本。然后,终端获取到待识别的文本后,可以将该文本传输至服务器。服务器在接收到该文本后,一方面可以对该文本进行意图语义识别,得到文本的文本意图,并从文本中获取于该文本意图相关的N个第一字段。另一方面,可以对该文本进行否定语义识别,从文本中识别出具有否定语义的第二字段及第二字段对应的否定范围。然后,服务器可以从N个第一字段中确定属于否定范围的目标字段,并基于第二字段和目标字段更新文本意图,得到文本的目标意图。值得注意的是,如果对文本进行意图语义识别,得到的文本意图本身就表达了否定意图(或者具有否定语义的第二字段不会对文本意图所表达的意图语义产生改变),即对文本进行意图语义识别直接识别到该文本的否定语义,那么无需再使用否定语义识别所识别到的第二字段和/或第二字段对应的否定范围对文本意图进行识别;甚至,无需再对文本进行否定语义识别,在一定程度上可以节省识别所消耗的资源,且提高识别速度和效率。最后,服务器响应于识别到的文本的目标意图为用户提供服务;例如,用户的目标意图为搜索歌曲,则服务器可以将搜索到的歌曲发送至终端,由该终端播放歌曲以执行或实现用户的目标意图。
基于上述描述的文本识别方案和系统架构,还需说明如下几点:
①本申请实施例上述提及的图1所示系统是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定。本领域普通技术人员可知,随着系统架构的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。例如,上述是以本申请实施例的执行主体“计算机设备”包括终端和服务器为例,即由终端和服务器共同执行本申请实施例提供的文本识别方案为例,对文本识别方案的一种应用场景进行介绍的;应当理解的是,在实际应用中,计算机设备还可以为终端或者服务器,也就是说,支持由终端或者服务器单独执行本申请实施例提供的文本识别方案。
②本申请实施例支持采用否定语义联合模型来实现上述描述的文本识别方案。具体地,训练好的否定语义联合模型可以部署于计算机设备中;这样,在计算机设备需要对待识别的文本进行文本识别(如意图分类、槽位填充和否定识别)时,可以直接调用该否定语义联合模型来执行文本识别方案,不仅确保文本识别的快速性,而且通过模型方式可以有效确保文本识别的准确性。其中,如果用于执行本申请实施例提供的文本识别方案的计算机设备为终端,训练好的否定语义联合模型部署于该终端中。如果用于执行本申请实施例提供的文本识别方案的计算机设备为服务器,那么训练好的否定语义联合模型部署于该服务器中;此情况下,由用户所使用的终端将待识别的文本传输至服务器进行文本识别处理,并由服务器向终端推送识别结果,以为用户提供相应的服务。
由此可见,本申请实施例这种将意图槽位识别和否定语义识别结合起来,构建否定语义联合模型,增强模型针对文本中的否定语义的识别效果的文本识别方案,可以得到否定语义更加细粒度的识别结果。
③本申请实施例中相关数据收集处理应该严格根据相关法律法规的要求,获取个人信息需得到个人主体的知情或同意(或具备信息获取的合法性基础),并在法律法规及个人信息主体的授权范围内,开展后续数据使用及处理行为。例如,本申请实施例运用到具体产品或技术中时,如获取用户的文本时,需要获得用户的许可或者同意,且相关数据的收集、使用和处理(如对象发布的弹幕的收集和发布等)需要遵守相关地区的相关法律法规和标准。
基于上述描述的文本识别方案,本申请实施例提出更为详细的文本识别方法,下面将结合附图对本申请实施例提出的文本识别方法进行详细介绍。
图2示出了本申请一个示例性实施例提供的一种文本识别方法的流程示意图;该文本识别方法可以由前述提及系统中的计算机设备来执行,如计算机设备为终端和/或服务器;该文本识别方法可包括但不限于步骤S201-S204:
S201:获取待识别的文本。
待识别的文本是由用户产生且携带用户意图的文本内容。具体地,待识别的文本的获取方式可以包括但是不限于:①用户直接输入;例如,计算机设备配置有显示屏幕,这样用户可以通过该计算机设备的实体键盘(如外接的键盘)或虚拟键盘直接在显示屏幕中输入文本。②对用户输出的语音进行转换得到;例如,用户可以发出语音信号,这样计算机设备可以通过麦克风采集用户所处物理环境中的语音信号,并对该语音信号进行文本转换,以得到用户输出的语音对应的文本。
其中,待识别的文本中包括一个或多个字符。字符可包括以下至少一种:中文字符(即汉字)、英文字符(即字母)、数字和标点符号(如逗号“,”、句号“。”、方括号“【】”)。本申请实施例对实际意图识别过程中,获取到的待识别文本所包含的字符的类型和数量不作限定。
S202:对文本进行意图语义识别,得到文本的文本意图,并从文本中获取与文本意图相关的N个第一字段。
S203:对文本进行否定语义识别,从文本中识别出具有否定语义的第二字段及第二字段对应的否定范围。
步骤S202-S203中,在获取到待识别的文本后,需要先对该文本进行语义分析,以提取到该文本对应的文本语义表示;该文本语义表示用于从整体和局部的维度表征该文本的语义信息。这样,可以基于语义分析所得到的文本语义表示对文本进行意图语义识别、槽位填充和否定语义识别等处理,以得到文本真实的目标意图。
具体实现中,对文本进行语义分析,以得到文本对应的文本语义表示的具体实现过程可以包括但是不限于:首先,可以为文本填充特殊的标识符,得到填充后的文本序列;该填充后的文本序列中包括:分类标识符(如[CLS]),文本所包括的每个字符和分割标识符(如表示为[SEP])。其中,分类标识符[CLS]和分割标识符[SEP]是两个特殊的标识符;[CLS]是classification的缩写,在文本分类任务中往往被添加至句子或文本的开头,且[CLS]对应的输出用于表征文本的综合语义信息;[SEP]是separator的缩写,在文本分类任务中往往被添加至句子或文本的末尾(或结尾),且[SEP]起到分割不同的句子或文本。举例来说,假设待识别的文本为“我想要听歌手A的B歌曲,不要现场版”,那么为该文本填充特殊的标识符后,该文本对应的文本序列可以表示为:[CLS]我想要听歌手A的B歌曲,不要现场版[SEP]。
然后,对文本对应的文本序列进行特征向量表示,得到文本序列的向量表示。该特征向量表示的过程主要是将文本序列从文字形式转换为向量形式;具体是采用向量形式来表征文本序列中的每个字符的语义信息。其中,一个字可以看作一个词,一个词对应一个词向量(embedding);也就是说,通过词向量技术可以将词转换为稠密向量,以通过该稠密向量来表征相应词的含义。其中,对于含义相同或相近的两个词,那么该两个词对应的两个词向量也相近,此处的词向量相近可以表现为词向量之间的距离相近。
最后,基于文本序列的向量表示对文本序列进行语义提取处理,以得到文本对应的文本语义表示。基于前述描述的特征向量表示得到文本序列中的每个词的向量表示,且该向量表示可以用于表征相应词的含义后,自然可以基于每个词的向量表示提取到文本对应的文本语义表示。详细地,文本对应的文本语义表示中包括:分类标识符[CLS]对应的分类语义表示,每个字符对应的字符语义表示和分割标识符[SEP]对应的分割语义表示;考虑到分割标识符[SEP]是用于分割不同的句子的,因此对于单个句子而言,该分割标识符[SEP]对应的分割语义标识不会参与后续的意图识别、槽位填充和否定识别,特在此说明。
基于上述内容提取到文本对应的文本语义表示后,可以基于该文本语义表示对文本进行意图语义识别,得到文本的文本意图,并从文本中获取与文本意图相关的N个第一字段;以及,对文本进行否定语义识别,从文本中识别出具有否定语义的第二字段及第二字段对应的否定范围。下面对基于文本对应的文本语义表示实现意图语义识别和从文本中获取与文本意图相关的N个第一字段的过程,以及,基于文本对应的文本语义表示对文本进行否定语义识别的过程,分别进行介绍。
(1)基于文本对应的文本语义表示实现意图语义识别,和从文本中获取与文本意图相关的N个第一字段的过程,可以包括但是不限于:
一方面,获取文本对应的文本语义表示;具体是获取该文本语义表示所包括文本对应的分类语义表示,即前述提及的分类标识符[CLS]对应的分类语义表示;该分类语义表示用于表征文本的综合语义信息,也就是说该分类语义表示用于从整个句子或文本的维度来表征该句子或文本的整体语义。然后,采用该文本语义表示中的分类语义表示,对文本进行意图语义识别,得到文本的文本意图。应当理解的是,在分类语义表示能够表征文本的综合语义信息的前提下,按照该分类语义表示所表征的语义信息可以对该文本进行意图分类;具体是获取预先设置的多个意图分类,并基于分类语义表示计算文本归属于多个意图分类中的每个意图分类的概率,任一意图分类对应的概率的取值大小用于表征文本所表达意图所属的意图分类与该任一意图分类相同的程度;这样,可以选取概率的取值最大的意图分类作为该文本所表达意图所属的意图分类,从而为该文本确定文本意图,该文本意图即为该意图分类。
另一方面,在基于上述内容确定文本的文本意图后,可以获取该文本意图对应的M个候选槽位;该M个候选槽位是执行该文本意图所需要的属性,且该M个候选槽位是预先设置的,M为整数且M≥N。然后,采用文本所包含的一个或多个字符中的每个字符的字符语义表示,从一个或多个字符中识别出M个候选槽位中的N个候选槽位相匹配的字符串(具体是通过文本的上下文实现从一个或多个字符中识别出与候选槽位相匹配的字符串的),该字符串是由至少一个字符组成的。值得注意的是,N的取值是与文本所包含的字符相关的,如M为4,但从文本所包含的一个或多个字符中只能识别出4个候选槽位中的3个候选槽位,那么N=3;剩下不能从文本中识别出来的候选槽位,可以通过智能问答的方式再从用户处获取。最后,将与文本中识别出的N个候选槽位中的每个候选槽位相匹配的字符串,作为相应候选槽位的槽位值;在本申请实施例中,与文本意图相关的N个第一字段为N个候选槽位的N个槽位值。
(2)基于文本对应的文本语义表示对文本进行否定语义识别的过程可以包括但是不限于:获取文本对应的文本语义表示,正如前述所描述的,该文本语义表示中包括文本所包含的一个或多个字符中每个字符的字符语义表示,且任一字符的字符语义表示用于表征该任一字符的字符语义信息。这样,可以按照文本语义表示中的每个字符的字符语义表示,对文本进行否定语义识别,得到否定识别结果。其中,否定语义识别可以包括否定词识别和否定范围的识别,具体是按照文本语义表示中的每个字符的字符语义表示从文本中识别出具有否定语义的第二字段(即否定词,如字符“不”或字符串“没有”等),以及,按照文本语义表示中的每个字符的字符语义表示,对文本所包含的各字符进行依存关系分析,得到文本中与第二字段对应的否定范围,该否定范围包括文本中的一个或多个字符串,字符串是由至少一个字符组成的;也就是说,基于文本中每个字符的字符语义表示,从文本中确定第二字段所否定的区间,从而明确否定词的否定对象。由此可见,否定识别结果中可以包括具有否定语义的第二字段和该第二字段对应的否定范围。
为便于理解上述描述的文本识别过程,下面结合附图3给出文本识别的示例性过程。如图3所示,假设待识别的文本为“我想要听歌手A的B歌曲,不要现场版”,该文本对应的文本序列可以表示为:[CLS] 我想要听歌手A的B歌曲,不要现场版 [SEP]。那么对该文本序列进行向量表示和语义提取处理后,可以得到该文本对应的文本语义表示,该文本语义表示至少包括:分类标识符[CLS]对应的分类语义表示,每个字符对应的字符语义表示以及分割标识符[SEP]对应的分割语义表示。进一步的,基于该分类标识符[CLS]对应的分类语义表示可以识别出文本的文本意图为<播放音乐>,该文本意图<播放音乐>对应的候选槽位可以包括但是不限于:<歌手>,<歌曲>和<版本>。这样,可以基于文本中每个字符的字符语义表示,从文本中识别出这些候选槽位的槽位值,如候选槽位<歌手>的槽位值为<歌手>:<歌手A>、候选槽位<歌曲>的槽位值为<歌曲>:<B歌曲>以及候选槽位<版本>的槽位值为<版本>:<现场版>;则可以确定与文本意图相关的第一字段的数量N=3,分别为:<歌手>:<歌手A>、<歌曲>:<B歌曲>以及<版本>:<现场版>。同理,可以基于文本中的每个字符的字符语义表示,从文本中识别出具有否定语义的第二字段<不要>,且文本中该第二字段所否定的区间(即否定范围)为<现场版>。
由此可见,基于文本对应的文本语义表示,不仅可以从文本中精准识别出文本意图和第一字段,而且还从文本中识别出具有否定语义的第二字段和该第二字段对应的否定范围;通过这种联合识别的方式,可以在一次文本识别过程中快速实现否定语义识别和意图识别,不仅确保文本识别的连贯性,而且能够提高文本识别中的否定语义识别效果。
S204:从N个第一字段中确定属于否定范围的目标字段,并基于第二字段和目标字段更新文本意图,得到文本的目标意图。
基于前述步骤从文本中识别到否定识别结果后,可以根据该否定识别结果对文本意图和N个第一字段进行修改,以得到文本的真实的目标意图。具体实现中,若文本的文本意图所表达的意图语义为非否定语义(如肯定语义,或者意图还可以细化的语义),且否定识别结果中包括具有否定语义的第二字段和该第二字段对应的否定范围的情况下,可以执行步骤S204(即从N个第一字段中确定与否定范围相同的目标字段,并基于第二字段和目标字段更新文本意图,得到文本的目标意图的步骤),以识别到文本的目标意图。
其中,否定范围是指否定词(也可以看作一个否定槽位)在文本中所否定的对象,该否定范围包括与第二字段(即否定词)对应的一个或多个否定槽位值;如果第二字段的数量为多个,那么每个第二字段均对应一个否定范围,一个否定范围内只包括相应第二字段对应的一个或多个否定槽位值。这样,可以从意图分类识别到的N个第一字段中确定出与否定范围内的否定槽位值相同的目标字段;即目标字段是文本中既属于N个第一字段,又属于否定范围的字段。然后,将目标字段变更为否定槽位的否定槽位值,并基于具有否定语义的第二字段,否定槽位值和N个第一字段中除目标字段外的其他字段,对文本意图进行更新,得到文本的目标意图;此时,该目标意图所表达的意图语义和文本意图所表达的意图语义不同。此情况下,计算机设备可以按照文本的目标意图为用户提供服务。
综上所述,本申请实施例在意图槽位识别(即前述提及的意图分类和槽位填充识别)中引入否定语义的否定识别,通过这种意图槽位识别和否定识别的联合识别方式,提升对含有否定语义的文本输入文本的否定解析效果,正确理解用户想要表达的意图。简而言之,通过这种更细粒度的否定识别和意图槽位识别的结合,提升自然语言理解中否定语义的识别效果,给予意图槽位识别更细粒度的识别能力,提升自然语言理解领域的智能化程度,优化用户体验并提高满意度。
正如前述所描述的,本申请实施例提供的文本识别方法可以是由模型实现的;下面结合图4对本申请实施例提供的否定语义联合模型的结构和原理进行简单介绍。如图4所示,否定语义联合模型中至少包括:共参语义提取模块、意图分类模块、槽位填充模块及否定语义预测模块。其中:共参语义提取模块用于获取文本对应的文本语义表示。意图分类模块用于对文本进行意图语义识别,得到文本的文本意图。槽位填充模块用于从文本中获取与文本意图相关的N个第一字段。否定语义预测模块用于对文本进行否定语义识别,从文本中识别出具有否定语义的第二字段及第二字段对应的否定范围。
应当理解的是,图4所示的模型结构仅为示例;在实际应用中,否定语义联合模型所包括的模块的数量和类型可以发生适应性变化。其中:
可选的,否定语义联合模型所包括的共参语义提取模块具体可以包括:向量表示模块(Embedding)和语义提取模块(BERT)。其中:①向量表示模块用于对待识别的文本对应的文本序列进行特征向量表示,得到文本序列中每个词(或字符)的词向量(及前述提及的向量表示)。向量表示模块对文本序列进行特征向量表示的示例性过程可以参见图5;如图5所示,向量表示模块会对文本序列中的每个字符(或词)进行特征向量表示,得到每个字符的向量表示。其中,任一字符的向量表示可以是由该任一字符的段向量、位置向量和词向量组合得到组合向量。任一字符的段向量可以用于表示这个该任一字符在输入的文本序列中的段落信息,如图5所示的同一段落中的每个字符的段向量示例性表示为EA;任一字符的位置向量可以用于表征该任一字符在输入的文本序列中的位置信息,如图5所示的分类标识符在文本序列中的位置向量示例性表示为E0;任一字符的词向量用于表征该任一字符本身的语义信息,如图5所示的分类标识符的词向量可以示例性表示为ECLS;将任一字符的段向量、位置向量和词向量进行相加运算,即可以生成该任一字符的包含位置信息的向量表示(如图5所示的分类标识符的组合向量可以示例性表示为EC0)。
②语义提取模块用于基于向量表示模块输出的每个词的词向量进行语义提取,得到文本对应的文本语义表示,该文本语义表示中至少包括:分类标识符[CLS]的分类语义标识和文本所包含的每个字符的字符语义表示。值得注意的是,本申请实施例对语义提取模块的具体模块类型不作限定;在本申请实施例中以语义提取模块为BERT(BidirectionalEncoder Representations from Transformers)为例,该BERT是基于Transformers(一种基于注意力机制的神经网络模型)的双向编码器,也是一种预训练模型。该BERT强调不再采用传统的单向语言模型或者把两个单向语言模型进行浅层拼接的方法进行预训练,而是采用新的掩码语言模型(Masked Language Model,MLM),以致能生成深度的双向语言表征。
可选的,否定语义联合模型中还可以包括联合模块,该联合模块可以用于从N个第一字段中确定与否定范围相同的目标字段,并基于第二字段和目标字段更新文本意图,得到文本的目标意图。此实现方式下,否定语义联合模型可以直接预测得到文本最终的目标意图,无需用户在拿到文本的文本意图、第一字段、第二字段及第二字段对应的否定范围后,再做后续的意图调整等操作,确保文本识别的连贯性,也实现文本识别的完整性和智能性,提高文本识别的识别效率。
基于上述对否定语义联合模型的结构的简单介绍,下面对针对否定语义联合模型的训练过程进行介绍。该训练过程的流程示意图可以参见图6,包括但是不限于步骤s11-s13;其中:
s11:获取用于对否定语义联合模型进行模型训练的训练数据和训练数据对应的双重标签(或称为双重标注数据)。其中,此处的训练数据可以是样本文本(或称为样本句子),训练数据对应的双重标签可以包括意图槽位标签和否定标签。其中,意图槽位标签可以包括:意图分类标签和槽位值标签;否定标签中包括:训练数据中具有否定语义的第二字段(即否定词)和第二字段对应的否定范围。
需要说明的是:训练数据对应的双重标签可以是人工标注的,且在标注训练数据对应的标签时,意图槽位标签和否定标签在标注时互不影响;也就是说,同一训练数据的意图槽位标签的标注过程和否定标签的标注过程是相互独立且互不影响的。例如,一个具有否定语义的训练数据在进行意图分类标注时,一方面,其意图分类可以被标注为否定意图;假设训练数据“我不想打开车窗”在进行意图分类标签的标注时,是从该训练数据整体语义的维度进行标注的,并不会刻意改变该训练数据所表达意图的否定含义。这种遵循训练数据原本想要表达的意图进行标注的方式,能够让否定语义联合模型在进行意图分类时尽可能学习到文本的真实的意图,提高意图识别的准确性。另一方面,对该训练数据进行否定标注时,其否定标签中可以包括该训练数据的否定词和该否定词对应的否定范围;也就是说,本申请实施例对训练数据进行否定标注时,是将否定词和该否定词对应的否定范围一并进行标注的。这种将否定词和该否定词所否定的否定区间进行一并标注的方式,能够让模型尽可能学习到文本中的否定词和该否定词对应的否定范围,确保模型进行否定语义识别的准确性。
s12:利用否定语义联合模型对训练数据进行联合预测处理,得到训练数据的预测结果。
具体地,利用否定语义联合模型中的共参语义提取模块提取训练数据对应的文本语义表示;该文本语义表示中包括分类标识符对应的分类语义表示和训练数据中各字符的字符语义表示。然后,利用否定语义联合模型中的意图分类模块,基于文本语义表示中的分类语义表示对训练数据进行语义预测处理,得到训练数据的意图分类预测结果。以及,利用否定语义联合模型中的槽位填充模块,基于文本语义表示中的每个字符的字符语义表示对训练数据进行槽位值预测处理,得到训练数据中与意图分类预测结果相关的槽位值预测结果。以及,利用否定语义联合模型中的否定语义预测模块,基于文本语义表示中的每个字符的字符语义表示对训练数据进行否定语义预测,得到训练数据的否定预测结果,该否定预测结果中包括否定预测字段及该否定预测字段对应的否定预测范围。
s13:按照减小预测结果和训练数据的双重标签的差异的方向,对否定语义联合模型进行模型优化,得到优化好的否定语义联合模型。本申请实施例对否定语义联合模型进行模型训练时,会同时将意图槽位标签及否定标签纳入到学习过程中。因此,针对否定语义联合模型的损失函数可以由三部分组成,分别是:意图识别损失函数(或称为意图分类损失函数)、槽位填充损失函数(或称为槽位值填充损失函数)、否定词和否定范围损失函数(或称为否定损失函数)。此外,否定语义联合模型中的不同模块(如意图分类模块、槽位填充模块及否定语义预测模块)使用交叉熵损失函数进行梯度传导与优化;下面对使用交叉熵损失函数实现模型优化的过程进行介绍。
具体实现中,基于训练数据的意图分类预测结果和训练数据的意图分类标签,得到训练数据的意图分类损失函数。其中,意图分类损失函数的计算公式可以表示为:
(1)
其中,表示意图分类识别的损失值。K表示真实的意图分类的种类数量,如K=3,表示共有3种意图分类。/>表示训练数据所表达意图所属的意图分类为K个意图分类中第i个意图分类时的第i个意图分类标签(为真实标签)。/>表示意图分类模块输出的意图属于第i个意图分类的意图分类预测结果。
其中,意图分类模块可以是由一个多层感知机(Multilayer Perceptron,MLP)和一个分类(softmax)模块组合而成的(如图7a所示),那么此处的意图分类预测结果为意图分类模块中的分类模块输出的意图概率分布。其中,多层感知机MLP是一种前馈人工神经网络模型,支持通过多层非线性变换对输入数据进行高级别的抽象和分类;分类模块softmax支持将多分类的结果以概率形式展现,具体是将多个神经元的输出映射到(0,1)区间内,可以看成概率来理解,从而实现多分类。例如,训练数据经过共参语义提取模块(具体是语义提取模块,如BERT)提取到分类标识符[CLS]对应的分类语义表示(如表示为HI)后,可以采用意图分类模块中的多层感知机MLP对该分类语义表示进行非线性变换,再将多层感知机MLP的输出结果输入至分类模块softmax中,预测该训练数据的意图概率分布。其中,训练数据的意图概率分布中包括:训练数据所表达意图属于K个意图分类中的每个意图分类的概率,某个意图分类对应的概率值越大,表示训练数据所表达意图属于该意图分类的可能性越大;在模型预测过程中,就可以选取概率值最大的意图分类为训练数据预测的文本意图。
以及,基于训练数据的槽位值预测结果(或称为槽位概率分布)和训练数据的槽位值标签,得到训练数据的槽位值填充损失函数。其中,槽位值填充损失函数的计算公式可以如下:
(2)
其中,表示槽位填充的损失值。K表示真实的槽位分类的种类数量,如K=3,表示意图分类对应的槽位种类有3种。/>表示训练数据中的第j个槽位为K个槽位分类中的第i个槽位的槽位值标签(为真实标签)。/>表示训练数据中的第j个槽位的预测槽位值。
其中,槽位填充模块的模块结构示意图如图7b所示,与意图分类模块不同的是,该槽位填充模块的输入信息为训练数据的全部字符的字符语义表示。
以及,基于训练数据的否定预测结果(具体是否定预测字段及该否定预测字段对应的否定预测范围)和训练数据的否定标签,得到训练数据的否定损失函数。其中,否定损失函数的计算公式可以如下:
(3)
其中,表示否定识别的损失值。K表示真实的否定分类数。/>表示训练数据中的第j个字符的第i个真实否定标签。/>表示第j个字符的预测字段及预测字段对应的否定预测范围。
其中,否定语义预测模块的模块结构示意图与槽位填充模块的模块结构是相同的,可以参见图7b,在此不作赘述。
然后,对上述预测得到的意图分类损失函数,槽位值填充损失函数和否定损失函数进行加权处理,得到目标损失函数。由各模块的损失函数进行权重组合所得到的目标损失函数可以表示为:
(4)
其中,和/>是超参数。在机器学习的上下文中超参数是在开始学习过程之前设置值的参数。
最后,按照减小目标损失函数的方向,对否定语义联合模型进行模型优化。在多轮模型训练中,若检测到某轮模型训练所得的目标损失函数符合训练结束条件,则将该轮模型训练的否定语义联合模型作为优化好的否定语义联合模型。其中,目标损失函数符合训练结束条件可以包括但是不限于:该目标损失函数的函数值小于函数阈值(如0.2),或者,相邻几轮所得到的目标损失函数的函数值之间的差值趋近于0,等等。
基于上述步骤训练得到优化好的否定语义联合模型后,可以采用优化好的否定语义联合模型对待识别的文本进行文本识别。下面结合图8对利用优化好的否定语义联合模型实现文本识别方法的具体实施过程进行介绍。
图8示出了本申请一个示例性实施例提供的另一种文本识别方法的流程示意图;该文本识别方法可以由前述提及的系统中的计算机设备来执行,计算机设备中部署有训练好的否定语义联合模型,如计算机设备为终端和/或服务器;该文本识别方法可包括但不限于步骤S801-S807:
S801:获取待识别的文本。
S802:对文本进行意图语义识别,得到文本的文本意图,并从文本中获取与文本意图相关的N个第一字段。
S803:对文本进行否定语义识别,从文本中识别出具有否定语义的第二字段及第二字段对应的否定范围。
需要说明的是,步骤S801-S803所示的具体实施过程,可以参见前述图2所示实施例中步骤S201-S203所示的具体实施过程的相关描述,在此不作赘述。此外,步骤S802和步骤S803的执行先后顺序不作限定。
由前述描述可知,本申请实施例设计了一种否定语义联合模型来实现意图槽位识别和否定识别的联合识别,因此上述步骤S801-S803所示的具体实施过程具体是计算机设备调用优化好的否定语义联合模型实现的。下面结合优化好的否定语义联合模型对意图槽位识别和否定识别的联合识别过程进行简单介绍:
具体实现中,首先,获取到用户输入的待识别的文本后,对该待识别的文本进行预处理,此预处理具体是为该文本添加特殊的标识符(如前述提及的分类标识符[CLS]和分割标识符[SEP]),得到文本对应的文本序列。然后,将预处理所得到的文本序列输入至优化好的否定语义联合模型;这样,否定语义联合模型中的向量表示模块(Embedding)可以将文本序列中的文字转换为向量,即对文本序列中的各字符进行特征向量表示,得到文本序列的向量表示,该向量表示中包括文本序列中的每个字符的向量表示(具体细节可以参见图5所示)。以文本对应的文本序列为Q为例,那么使用否定语义联合模型中的向量表示模块(Embedding)后得到的向量表示E可以表示为:
(5)
接着,使用否定语义联合模型中的语义提取模块(BERT)对文本序列中每个字符的向量表示进行语义提取处理,得到文本对应的文本语义表示。其中,文本语义表示中包括的分类标识符[CLS]位置对应输出为整句语义表示,即分类标识符[CLS]对应的分类语义表示用于表征文本的综合语义信息;文本语义表示中还包括文本中的每个字符的字符语义表示,各字符的字符语义表示用于表征相应字符的语义信息。示例性地,文本序列的向量表示经过语义提取模块(BERT)后的一系列向量表示(为隐状态向量)可以表示为:
(6)
其中,为文本序列中的分类标识符[CLS]的向量表示(在本申请实施例中可以称为分类语义表示)。/>为文本序列中除分类标识符[CLS]外的其他字符的向量表示(在本申请实施例中称为字符的字符语义表示);n为字符的数量,即文本的句子长度;S代表向量表示。
进一步的,将文本序列的向量表示分别输入至否定语义联合模型中的不同模块,以实现对文本的意图分类、槽位填充和否定识别。具体地:
①将文本序列的向量表示中的分类标识符[CLS]的分类语义表示输入至否定语义联合模型中的意图分类模块进行意图分类,输出文本属于不同意图分类的概率。其中,文本的意图概率分布可以表示为:
(7)
其中,为意图分类模块中的多层感知机,/>为意图分类模块中的分类模块;/>为文本所表达意图的概率分布。这样,可以从意图的概率分布中选择概率值最大的意图分类作为文本所表达意图所属的意图分类,即该意图分类为文本的文本意图。
②将文本序列的向量表示中的每个字符的字符语义表示输入至否定语义联合模型中的槽位填充模块进行槽位填充处理,输出文本序列中的每个字符的槽位概率分布。具体地,基于前述步骤①筛选出文本的意图分类(即意图概率分布中的概率值最大的意图分类)后,进一步可以确定该意图分类所对应的槽位填充模块,该槽位填充模块专门用于识别文本中与文本的意图分类对应的一个或多个候选槽位相匹配的字符串。其中,上述提及的每个字符的槽位概率分布中包括相应字符落入意图分类对应的各候选槽位的概率;确定任一字符的槽位概率分布中概率值最大的候选槽位作为该任一字符的槽位,并根据文本中各字符的上下文关系和各字符的槽位,确定候选槽位的槽位值(由一个或多个字符组成的字符串)。其中,文本序列中的第i个字符的槽位概率分布可以表示为:
(8)
其中,为文本序列所包括的n个字符中的第i个字符的槽位概率分布。
示例性地,假设文本为“我想听周某的X歌,不要现场版”,采用优化好的否定语义联合模型对该文本进行意图分类得到的意图分类为<播放音乐>,则确定该意图分类对应的候选槽位可以包括<歌手>、<歌曲>和<版本>。进一步的,使用否定语义联合模型中的槽位填充模块为文本中的各字符进行预测后,可以根据每个字符的槽位概率分布对文本中各字符进行预测类别的标注。例如:字符“我”的预测类别<O>,表示该字符“我”不属于候选槽位的槽位值;字符“想”的预测类别<O>,表示该字符“想”不属于候选槽位的槽位值;字符“听”的预测类别<O>,表示该字符“听”不属于候选槽位的槽位值;字符“周”的预测类别<B-歌手>,表示该字符“周”属于候选槽位<歌手>的部分槽位值,而字符“某”的预测类别<I-歌手>,表示该字符“某”属于候选槽位<歌手>的部分槽位值,这样基于字符“周”和字符“某”得到候选槽位<歌手>的完整槽位值<周某>;文本中后续的字符的预测类别的表示原理与上述类似,在此不赘述。
③将文本序列的向量表示中的每个字符的字符语义表示输入至否定语义联合模型中的否定语义预测模块进行否定语义识别,输出文本序列中的每个字符的否定概率分布。具体地,基于前述步骤①筛选出文本的意图分类(即意图概率分布中的概率值最大的意图分类)后,进一步可以确定该意图分类所对应的否定语义预测模块,该否定语义预测模块专门用于识别文本中具有否定语义的第二字段和该第二字段对应的否定范围。其中,上述提及的每个字符的否定概率分布中包括相应字符具有否定语义的概率或属于否定范围的概率。其中,文本序列中的第i个字符的否定概率分布可以表示为:
(9)
其中,为文本序列所包括的n个字符中的第i个字符的否定概率分布。
示例性地,假设文本为“我想听周某的A歌,不要现场版”,使用否定语义联合模型中的否定语义预测模块为文本中的各字符进行预测后,可以根据每个字符的否定概率分布对文本中各字符进行预测类别的标注。例如:字符“不”的预测类别为<B-否定词>,字符“要”的预测类别为<I-否定词>,这样字符“不要”作为具有否定语义的第二字段<不要>。同理,字符“现”的预测类型为<B-否定范围>,字符“场版”的预测类别为<I-否定范围>,这样字符<现场版>作为具有否定语义的第二字段对应的否定范围。
S804:对文本的文本意图进行否定意图判别处理。
S805:若文本的文本意图所表达的意图语义为非否定语义,则从N个第一字段中确定属于否定范围的目标字段,并基于第二字段和目标字段更新文本意图,得到文本的目标意图。
S806:若文本的文本意图所表达的意图语义为否定语义,则将文本的文本意图作为本的目标意图。
步骤S804-S806中,值得注意的是,根据否定识别结果所包含的内容的不同或者文本意图所表达意图语义不同,联合否定识别结果,文本意图和N个第一字段以得到文本的目标意图的过程有所不同。对于某些文本意图而言,否定识别结果中含有否定词会使得文本意图所表达的意图语义发生改变,则需要进行文本意图的调整;而有些文本意图所表达的意图语义并不会因为否定识别结果中含有的否定词发生改变,此时可以根据文本意图的意图语义配置进行启发式调整。
由此可见,本申请实施例提供一种开放式的意图语义识别,即不限定识别的文本意图一定是非否定语义的意图,可能直接出具有否定语义的否定意图。通过对文本的否定语义的解析,增强意图分类和槽位填充的细粒度理解能力,在确保传统意图分类和槽位填充识别的准确性的基础上,增强对否定语义的理解,从而有效提升文本识别的识别效果。
具体实现中,若文本的文本意图所表达的意图语义为非否定语义,且否定识别结果中包括具有否定语义的第二字段,表示需要对文本意图进行调整,则在确定否定识别结果中包含否定词对应的否定范围,即预测文本中含有否定范围,且否定范围包含槽位填充过着中识别到的一个或多个第一字段时,可以从N个第一字段中确定属于否定范围的目标字段,并基于第二字段和目标字段更新文本意图,得到文本的目标意图的步骤。其中,步骤S805中的识别到文本的文本意图所表达的意图语义为非否定语义后,从N个第一字段中确定属于否定范围的目标字段,并基于第二字段和目标字段更新文本意图,得到文本的目标意图的具体实施过程,可以参见前述图2所示实施例中步骤S204所示的具体实施过程的相关描述,在此不作赘述。反之,若识别到文本的文本意图所表达的意图语义为否定语义,即直接识别到该文本为否定句,则无需采用否定识别结果(如否定词和否定范围)对文本意图和N个第一字段进行调整,而是直接将文本的文本意图作为文本的目标意图。
值得注意的是,对文本的文本意图的否定意图判别处理的过程,可以是在对文本进行意图语义识别后就执行,那么在判别该文本的文本意图所表达的意图语义为否定语义,即文本为否定句时,表明依据该意图语义识别就已经识别出文本的否定语义,则无需再执行后续的否定语义识别。这在一定程度上可以避免针对文本的否定语义的重复识别,从而达到节省计算资源,减小计算开销的目的。
举例来说,假设待识别的文本分别为文本1“我想要听歌手A的B歌曲,不要现场版”和文本2“我想关闭车窗”。分别对文本1和文本2执行前述提及的文本识别过程,即意图分类、槽位填充和否定识别后,文本1和文本2的意图调整过程分别包括:
(1)针对文本1:文本1的文本意图为<播放音乐>,且第一字段为<歌手>:<歌手A>、<歌曲>:<B歌曲>和<版本>:<现场版>,且第二字段为<不要>,否定范围为<版本>:<现场版>。对该文本1的文本意图进行否定意图判别处理,得到该文本意图所表达的意图语义为非否定语义,或者该意图语义还可以更加细化,则从3个第一字段中确定出属于否定范围的目标字段<版本>:<现场版>,为便于区分,目标字段可以表示为<版本:neg>:<现场版>。进一步的,可以基于第二字段,目标字段和3个第一字段中除目标字段外的其他字段,对文本意图<播放音乐>进行更新,得到文本的目标意图,该目标意图可以示例性地表述为:播放歌手A的非现场版的B歌曲。那么计算机设备会从数据库中过滤掉现场版的B歌曲,以为用户推送非现场版的B歌曲进行播放。
(2)针对文本2:文本2的文本意图为<关闭车窗>,表明该文本的文本意图所表达的意图语义为否定语义,即直接识别除该文本为否定句;此情况下,可以将文本意图<关闭车窗>作为文本的目标意图,而无需执行否定语义识别,或者无需采用否定语义识别对文本意图进行调整,计算机设备就可以根据该文本意图执行关闭车窗的操作。
S807:按照文本的目标意图为用户提供服务。
基于前述步骤得到文本的目标意图后,计算机设备可以按照该目标意图为用户提供相应的服务。可选的,如果计算机设备为服务器,那么服务器可以将反馈消息返回至用户侧的终端,由该终端响应于反馈消息为用户提供相应的服务。可选的如果计算机设备为终端,那么终端可以直接为用户提供相应的服务,当然终端在为用户提供服务的过程中可能需要与服务器进行交互,以获取待推送给用户的数据。例如,文本的目标意图为搜索某首歌曲,且优化好的否定语义联合模型部署于服务器中,那么服务器响应于该文本的目标意图后,可以从数据库中拉取符合该目标意图的歌曲,并将歌曲的资源发送至终端;使得终端可以基于歌曲的资源为该用户播放该歌曲。
综上所述,本申请实施例通过采用双重标注的大量训练数据对该否定语义联合模型进行训练,这种遵循训练数据原本想要表达的意图进行标注的方式,能够让否定语义联合模型在进行意图分类时尽可能学习到文本的真实的意图,提高意图识别的准确性。此外,否定语义联合模型不仅能够学习到文本更为真实的文本意图,而且能够学习到文本中的否定词和否定范围;这样,可以按照否定词和否定范围是否会对文本意图产生改变的原则,判别是否需要对文本意图进行微调,实现对文本的文本意图的矫正,以得到文本真实可信的目标意图
上述详细阐述了本申请实施例的方法,为了便于更好地实施本申请实施例的上述方案,相应地,下面提供了本申请实施例的装置。
图9示出了本申请一个示例性实施例提供的一种文本识别装置的结构示意图;该文本识别装置可以用于执行图2或图8所示的方法实施例中的部分或全部步骤。请参见图9,该文本识别装置包括如下单元:
获取单元901,用于获取待识别的文本;
处理单元902,用于对文本进行意图语义识别,得到文本的文本意图,并从文本中获取与文本意图相关的N个第一字段;N为大于或等于1的整数;
处理单元902,还用于对文本进行否定语义识别,从文本中识别出具有否定语义的第二字段及第二字段对应的否定范围;
处理单元902,还用于从N个第一字段中确定属于否定范围的目标字段,并基于第二字段和目标字段更新文本意图,得到文本的目标意图。
在一种实现方式中,处理单元902,用于对文本进行意图语义识别,得到文本的文本意图时,具体用于:
获取文本对应的文本语义表示;文本语义表示中包括文本对应的分类语义表示,分类语义表示用于表征文本的综合语义信息;
采用文本语义表示中的分类语义表示对文本进行意图语义识别,得到文本的文本意图。
在一种实现方式中,文本中包括一个或多个字符;文本对应的文本语义表示中还包括一个或多个字符中每个字符的字符语义表示,任一字符的字符语义表示用于表征任一字符的字符语义信息;处理单元902,用于从文本中获取与文本意图相关的N个第一字段时,具体用于:
获取文本意图对应的M个候选槽位;M个候选槽位是预先设置的;M为整数且M≥N;
采用每个字符的字符语义表示,从一个或多个字符中识别出与M个候选槽位中的N个候选槽位相匹配的字符串;字符串由至少一个字符组成;
将与N个候选槽位中的每个候选槽位相匹配的字符,作为相应候选槽位的槽位值;
其中,与文本意图相关的N个第一字段为N个候选槽位的N个槽位值。
在一种实现方式中,文本中包括一个或多个字符;处理单元902,用于对文本进行否定语义识别,从文本中识别出具有否定语义的第二字段及第二字段对应的否定范围时,具体用于:
获取文本对应的文本语义表示;文本语义表示中包括一个或多个字符中每个字符的字符语义表示,任一字符的字符语义表示用于表征任一字符的字符语义信息;
按照文本语义表示中的每个字符的字符语义表示,从文本中识别出具有否定语义的第二字段;以及,
按照文本语义表示中的每个字符的字符语义表示,对文本所包含的各字符进行依存关系分析,得到文本中与第二字段对应的否定范围;否定范围包括文本中的一个或多个字符。
在一种实现方式中,处理单元902,用于获取文本对应的文本语义表示时,具体用于:
为文本填充标识符,得到填充后的文本序列;填充后的文本序列中包括:分类标识符和文本所包括的一个或多个字符;
对文本序列进行特征向量表示,得到文本序列的向量表示;
基于向量表示对文本序列进行语义提取处理,得到文本对应的文本语义表示;文本语义表示中包括:分类标识符对应的分类语义表示,和一个或多个字符中每个字符对应的字符语义表示。
在一种实现方式中,否定范围包括与第二字段对应的一个或多个否定槽位值;处理单元902,用于从N个第一字段中确定属于否定范围的目标字段,并基于第二字段和目标字段更新文本意图,得到文本的目标意图时,具体用于:
从N个第一字段中确定出与否定范围内的否定槽位值相同的目标字段,并将目标字段变更为否定槽位的否定槽位值;
基于具有否定语义的第二字段,变更后的否定槽位值和N个第一字段中除目标字段外的其他字段,对文本意图进行更新,得到文本的目标意图;
其中,目标意图所表达的意图语义和文本意图所表达的意图语义不同。
在一种实现方式中,处理单元902,还用于:
对文本的文本意图进行否定意图判别处理;
若文本的文本意图所表达的意图语义为非否定语义,则触发执行从N个第一字段中确定属于否定范围的目标字段,并基于第二字段和目标字段更新文本意图,得到文本的目标意图的步骤;
按照文本的目标意图为用户提供服务。
在一种实现方式中,处理单元902,还用于:
若文本的文本意图所表达的意图语义为否定语义,则将文本的文本意图作为文本的目标意图。
在一种实现方式中,文本识别方法通过否定语义联合模型执行;否定语义联合模型中至少包括:共参语义提取模块、意图分类模块、槽位填充模块及否定语义预测模块;
共参语义提取模块用于获取文本对应的文本语义表示;
意图分类模块用于对文本进行意图语义识别,得到文本的文本意图;
槽位填充模块用于从文本中获取与文本意图相关的N个第一字段;
否定语义预测模块用于对文本进行否定语义识别,从文本中识别出具有否定语义的第二字段及第二字段对应的否定范围。
在一种实现方式中,否定语义联合模型的训练过程,包括:
获取训练数据和训练数据对应的双重标签;训练数据对应的双重标签包括意图分类标签,槽位值标签和否定标签;否定标签中包括训练数据中具有否定语义的第二字段和第二字段对应的否定范围;
利用否定语义联合模型对训练数据进行联合预测处理,得到训练数据的预测结果;
按照减小预测结果和训练数据的双重标签的差异的方向,对否定语义联合模型进行模型优化,得到优化好的否定语义联合模型。
在一种实现方式中,预测结果包括:意图分类预测结果、槽位值预测结果及否定预测结果;处理单元902,用于利用否定语义联合模型对训练数据进行联合预测处理,得到训练数据的预测结果时,具体用于:
利用否定语义联合模型中的意图分类模块,基于文本语义表示对训练数据进行语义预测处理,得到训练数据的意图分类预测结果;以及,
利用否定语义联合模型中的槽位填充模块,基于文本语义表示对训练数据进行槽位值预测处理,得到训练数据中与意图分类预测结果相关的槽位值预测结果;以及,
利用否定语义联合模型中的否定语义预测模块,基于文本语义表示对训练数据进行否定语义预测,得到训练数据的否定预测结果,否定预测结果中包括:否定预测字段及否定预测字段对应的否定预测范围。
在一种实现方式中,处理单元902,用于按照减小预测结果和训练数据的双重标签的差异的方向,对否定语义联合模型进行模型优化时,具体用于:
基于训练数据的意图分类预测结果和训练数据的意图分类标签,得到训练数据的意图分类损失函数;以及,
基于训练数据的槽位值预测结果和训练数据的槽位值标签,得到所述训练数据的槽位值填充损失函数;以及,
基于训练数据的否定预测结果和训练数据的否定标签,得到所述训练数据的否定损失函数;
对所述意图分类损失函数,所述槽位值填充损失函数和否定损失函数进行加权处理,得到目标损失函数;
按照减小目标损失函数的方向,对否定语义联合模型进行模型优化。
根据本申请的一个实施例,图9所示的文本识别装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成,这可以实现同样的操作,而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的,在实际应用中,一个单元的功能也可以由多个单元来实现,或者多个单元的功能由一个单元实现。在本申请的其它实施例中,该文本识别装置也可以包括其它单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可以由多个单元协作实现。根据本申请的另一个实施例,可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2及图8所示的相应方法所涉及的各步骤的计算机程序(包括程序代码),来构造如图9中所示的身份识别装置,以及来实现本申请实施例的文本识别方法。计算机程序可以记载于例如计算机可读记录介质上,并通过计算机可读记录介质装载于上述计算设备中,并在其中运行。
本申请实施例中,在获取到待识别的文本后,一方面,可以对该文本进行意图语义识别,以得到该文本的文本意图;以及,从文本中获取与该文本意图相关的N个第一字段,N为大于或等于1的整数。另一方面,支持对文本进行否定语义识别,从文本中识别出具有否定语义的第二字段和第二字段对应的否定范围。基于上述两方面的分析和识别后,可以从N个第一字段中确定出属于否定范围的目标字段,并基于第二字段和目标字段更新识别出的文本意图,从而得到文本的目标意图。由此可见,本申请实施例在意图槽位识别中引入否定语义的否定识别,通过这种意图槽位识别和否定识别的联合识别方式,提升对含有否定语义的文本输入文本的否定解析效果,正确理解用户想要表达的意图;简而言之,通过这种更细粒度的否定识别和意图槽位识别的结合,提升自然语言理解中否定语义的识别效果,给予意图槽位识别更细粒度的识别能力,提升自然语言理解领域的智能化程度,优化用户体验并提高满意度。
图10示出了本申请一个示例性实施例提供的一种计算机设备的结构示意图。请参见图10,该计算机设备包括处理器1001、通信接口1002以及计算机可读存储介质1003。其中,处理器1001、通信接口1002以及计算机可读存储介质1003可通过总线或者其它方式连接。其中,通信接口1002用于接收和发送数据。计算机可读存储介质1003可以存储在计算机设备的存储器中,计算机可读存储介质1003用于存储计算机程序,计算机程序包括程序指令,处理器1001用于执行计算机可读存储介质1003存储的程序指令。处理器1001(或称CPU(Central Processing Unit,中央处理器))是计算机设备的计算核心以及控制核心,其适于实现一条或多条指令,具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能。
本申请实施例还提供了一种计算机可读存储介质(Memory),计算机可读存储介质是计算机设备中的记忆设备,用于存放程序和数据。可以理解的是,此处的计算机可读存储介质既可以包括计算机设备中的内置存储介质,当然也可以包括计算机设备所支持的扩展存储介质。计算机可读存储介质提供存储空间,该存储空间存储了计算机设备的处理系统。并且,在该存储空间中还存放了适于被处理器1001加载并执行的一条或多条的指令,这些指令可以是一个或多个的计算机程序(包括程序代码)。需要说明的是,此处的计算机可读存储介质可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器;可选的,还可以是至少一个位于远离前述处理器的计算机可读存储介质。
在一个实施例中,该计算机可读存储介质中存储有一条或多条指令;由处理器1001加载并执行计算机可读存储介质中存放的一条或多条指令,以实现上述文本识别方法实施例中的相应步骤;具体实现中,计算机可读存储介质中的一条或多条指令由处理器1001加载并执行如下步骤:
获取待识别的文本;
对文本进行意图语义识别,得到文本的文本意图,并从文本中获取与文本意图相关的N个第一字段;N为大于或等于1的整数;
对文本进行否定语义识别,从文本中识别出具有否定语义的第二字段及第二字段对应的否定范围;
从N个第一字段中确定属于否定范围的目标字段,并基于第二字段和目标字段更新文本意图,得到文本的目标意图。
在一种实现方式中,计算机可读存储介质中的一条或多条指令由处理器1001加载并在执行对文本进行意图语义识别,得到文本的文本意图时,具体执行如下步骤:
获取文本对应的文本语义表示;文本语义表示中包括文本对应的分类语义表示,分类语义表示用于表征文本的综合语义信息;
采用文本语义表示中的分类语义表示对文本进行意图语义识别,得到文本的文本意图。
在一种实现方式中,文本中包括一个或多个字符;文本对应的文本语义表示中还包括一个或多个字符中每个字符的字符语义表示,任一字符的字符语义表示用于表征任一字符的字符语义信息;计算机可读存储介质中的一条或多条指令由处理器1001加载并在执行从文本中获取与文本意图相关的N个第一字段时,具体执行如下步骤:
获取文本意图对应的M个候选槽位;M个候选槽位是预先设置的;M为整数且M≥N;
采用每个字符的字符语义表示,从一个或多个字符中识别出与M个候选槽位中的N个候选槽位相匹配的字符串;字符串由至少一个字符组成;
将与N个候选槽位中的每个候选槽位相匹配的字符串,作为相应候选槽位的槽位值;
其中,与文本意图相关的N个第一字段为N个候选槽位的N个槽位值。
在一种实现方式中,文本中包括一个或多个字符;计算机可读存储介质中的一条或多条指令由处理器1001加载并在执行对文本进行否定语义识别,从文本中识别出具有否定语义的第二字段及第二字段对应的否定范围时,具体执行如下步骤:
获取文本对应的文本语义表示;文本语义表示中包括一个或多个字符中每个字符的字符语义表示,任一字符的字符语义表示用于表征任一字符的字符语义信息;
按照文本语义表示中的每个字符的字符语义表示,从文本中识别出具有否定语义的第二字段;以及,
按照文本语义表示中的每个字符的字符语义表示,对文本所包含的各字符进行依存关系分析,得到文本中与第二字段对应的否定范围;否定范围包括文本中的一个或多个字符串,字符串由至少一个字符组成。
在一种实现方式中,计算机可读存储介质中的一条或多条指令由处理器1001加载并在执行获取文本对应的文本语义表示时,具体执行如下步骤:
为文本填充标识符,得到填充后的文本序列;填充后的文本序列中包括:分类标识符和文本所包括的一个或多个字符;
对文本序列进行特征向量表示,得到文本序列的向量表示;
基于向量表示对文本序列进行语义提取处理,得到文本对应的文本语义表示;文本语义表示中包括:分类标识符对应的分类语义表示,和一个或多个字符中每个字符对应的字符语义表示。
在一种实现方式中,否定范围包括与第二字段对应的一个或多个否定槽位值;计算机可读存储介质中的一条或多条指令由处理器1001加载并在执行从N个第一字段中确定属于否定范围的目标字段,并基于第二字段和目标字段更新文本意图,得到文本的目标意图时,具体执行如下步骤:
从N个第一字段中确定出与否定范围内的否定槽位值相同的目标字段,并将目标字段变更为否定槽位的否定槽位值;
基于具有否定语义的第二字段,变更后的否定槽位值和N个第一字段中除目标字段外的其他字段,对文本意图进行更新,得到文本的目标意图;
其中,目标意图所表达的意图语义和文本意图所表达的意图语义不同。
在一种实现方式中,计算机可读存储介质中的一条或多条指令由处理器1001加载并还执行如下步骤:
对文本的文本意图进行否定意图判别处理;
若文本的文本意图所表达的意图语义为非否定语义,则触发执行从N个第一字段中确定属于否定范围的目标字段,并基于第二字段和目标字段更新文本意图,得到文本的目标意图的步骤;
按照文本的目标意图为用户提供服务。
在一种实现方式中,计算机可读存储介质中的一条或多条指令由处理器1001加载并还执行如下步骤:
若文本的文本意图所表达的意图语义为否定语义,则将文本的文本意图作为文本的目标意图。
在一种实现方式中,文本识别方法通过否定语义联合模型执行;否定语义联合模型中至少包括:共参语义提取模块、意图分类模块、槽位填充模块及否定语义预测模块;
共参语义提取模块用于获取文本对应的文本语义表示;
意图分类模块用于对文本进行意图语义识别,得到文本的文本意图;
槽位填充模块用于从文本中获取与文本意图相关的N个第一字段;
否定语义预测模块用于对文本进行否定语义识别,从文本中识别出具有否定语义的第二字段及第二字段对应的否定范围。
在一种实现方式中,否定语义联合模型的训练过程,包括:
获取训练数据和训练数据对应的双重标签;训练数据对应的双重标签包括意图分类标签,槽位值标签和否定标签;否定标签中包括训练数据中具有否定语义的第二字段和第二字段对应的否定范围;
利用否定语义联合模型对训练数据进行联合预测处理,得到训练数据的预测结果;
按照减小预测结果和训练数据的双重标签的差异的方向,对否定语义联合模型进行模型优化,得到优化好的否定语义联合模型。
在一种实现方式中,预测结果包括:意图分类预测结果、槽位值预测结果及否定预测结果;计算机可读存储介质中的一条或多条指令由处理器1001加载并在执行利用否定语义联合模型对训练数据进行联合预测处理,得到训练数据的预测结果时,具体执行如下步骤:
利用否定语义联合模型中的意图分类模块,基于文本语义表示对训练数据进行语义预测处理,得到训练数据的意图分类预测结果;以及,
利用否定语义联合模型中的槽位填充模块,基于文本语义表示对训练数据进行槽位值预测处理,得到训练数据中与意图分类预测结果相关的槽位值预测结果;以及,
利用否定语义联合模型中的否定语义预测模块,基于文本语义表示对训练数据进行否定语义预测,得到训练数据的否定预测结果,否定预测结果中包括:否定预测字段及否定预测字段对应的否定预测范围。
在一种实现方式中,计算机可读存储介质中的一条或多条指令由处理器1001加载并在执行按照减小预测结果和训练数据的双重标签的差异的方向,对否定语义联合模型进行模型优化时,具体执行如下步骤:
基于训练数据的意图分类预测结果和训练数据的意图分类标签,得到训练数据的意图分类损失函数;以及,
基于训练数据的槽位值预测结果和训练数据的槽位值标签,得到所述训练数据的槽位值填充损失函数;以及,
基于训练数据的否定预测结果和训练数据的否定标签,得到所述训练数据的否定损失函数;
对所述意图分类损失函数,所述槽位值填充损失函数和否定损失函数进行加权处理,得到目标损失函数;
按照减小目标损失函数的方向,对否定语义联合模型进行模型优化。
基于同一发明构思,本申请实施例中提供的计算机设备解决问题的原理与有益效果与本申请方法实施例中文本识别方法解决问题的原理和有益效果相似,可以参见方法的实施的原理和有益效果,为简洁描述,在这里不再赘述。
本申请实施例还提供一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述文本识别方法。
本领域普通技术对象可以意识到,结合本申请中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术对象可以对每个特定的应用,使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程设备。计算机指令可以存储在计算机可读存储介质中,或者通过计算机可读存储介质进行传输。计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如,同轴电缆、光纤、数字线(DSL))或无线(例如,红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据处理设备。可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如,固态硬盘(Solid State Disk,SSD))等。
以上描述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术对象在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (14)

1.一种文本识别方法,其特征在于,所述方法通过否定语义联合模型执行,所述否定语义联合模型的训练数据对应有双重标签,所述双重标签包括:意图槽位标签和否定标签,所述意图槽位标签的标注过程和所述否定标签的标注过程相互独立且互不影响;所述否定标签是通过将否定词和否定词对应的否定范围一并进行标注得到的;所述方法包括:
获取待识别的文本;
对所述文本进行意图语义识别,得到所述文本的文本意图,并从所述文本中获取与所述文本意图相关的N个第一字段;N为大于或等于1的整数;以及,
对所述文本进行否定语义识别,从所述文本中识别出具有否定语义的第二字段及所述第二字段对应的否定范围;
对所述文本的文本意图进行否定意图判别处理;
若所述文本的文本意图所表达的意图语义为非否定语义,则从所述N个第一字段中确定属于所述否定范围的目标字段,并基于所述第二字段和所述目标字段更新所述文本意图,得到所述文本的目标意图;或者,
若所述文本的文本意图所表达的意图语义为否定语义,则将所述文本的文本意图作为所述文本的目标意图。
2.如权利要求1所述的方法,其特征在于,所述对所述文本进行意图语义识别,得到所述文本的文本意图,包括:
获取所述文本对应的文本语义表示;所述文本语义表示中包括所述文本对应的分类语义表示,所述分类语义表示用于表征所述文本的综合语义信息;
采用所述文本语义表示中的分类语义表示对所述文本进行意图语义识别,得到所述文本的文本意图。
3.如权利要求2所述的方法,其特征在于,所述文本中包括一个或多个字符;所述文本对应的文本语义表示中还包括所述一个或多个字符中每个字符的字符语义表示,任一字符的字符语义表示用于表征所述任一字符的字符语义信息;所述从所述文本中获取与所述文本意图相关的N个第一字段,包括:
获取所述文本意图对应的M个候选槽位;所述M个候选槽位是预先设置的;M为整数且M≥N;
采用所述每个字符的字符语义表示,从所述一个或多个字符中识别出与所述M个候选槽位中的N个候选槽位相匹配的字符串;字符串由至少一个字符组成;
将与所述N个候选槽位中的每个候选槽位相匹配的字符串,作为相应候选槽位的槽位值;
其中,与所述文本意图相关的N个第一字段为所述N个候选槽位的N个槽位值。
4.如权利要求1所述的方法,其特征在于,所述文本中包括一个或多个字符;所述对所述文本进行否定语义识别,从所述文本中识别出具有否定语义的第二字段及所述第二字段对应的否定范围,包括:
获取所述文本对应的文本语义表示;所述文本语义表示中包括所述一个或多个字符中每个字符的字符语义表示,任一字符的字符语义表示用于表征所述任一字符的字符语义信息;
按照所述文本语义表示中的每个字符的字符语义表示,从所述文本中识别出具有否定语义的第二字段;以及,
按照所述文本语义表示中的每个字符的字符语义表示,对所述文本所包含的各字符进行依存关系分析,得到所述文本中与所述第二字段对应的否定范围;所述否定范围包括所述文本中的一个或多个字符串,字符串由至少一个字符组成。
5.如权利要求2或4所述的方法,其特征在于,所述获取所述文本对应的文本语义表示,包括:
为所述文本填充标识符,得到填充后的文本序列;填充后的所述文本序列中包括:分类标识符和所述文本所包括的一个或多个字符;
对所述文本序列进行特征向量表示,得到所述文本序列的向量表示;
基于所述向量表示对所述文本序列进行语义提取处理,得到所述文本对应的文本语义表示;所述文本语义表示中包括:所述分类标识符对应的分类语义表示,和所述一个或多个字符中每个字符对应的字符语义表示。
6.如权利要求1所述的方法,其特征在于,所述否定范围包括与所述第二字段对应的一个或多个否定槽位值;所述从所述N个第一字段中确定属于所述否定范围的目标字段,并基于所述第二字段和所述目标字段更新所述文本意图,得到所述文本的目标意图,包括:
从所述N个第一字段中确定出与所述否定范围内的否定槽位值相同的目标字段,并将所述目标字段变更为否定槽位的否定槽位值;
基于具有否定语义的所述第二字段,变更后的否定槽位值和所述N个第一字段中除所述目标字段外的其他字段,对所述文本意图进行更新,得到所述文本的目标意图;
其中,所述目标意图所表达的意图语义和所述文本意图所表达的意图语义不同。
7.如权利要求1所述的方法,其特征在于,所述方法还包括:
按照所述文本的目标意图为用户提供服务。
8.如权利要求1所述的方法,其特征在于,所述否定语义联合模型中至少包括:共参语义提取模块、意图分类模块、槽位填充模块及否定语义预测模块;
所述共参语义提取模块用于获取所述文本对应的文本语义表示;
所述意图分类模块用于对所述文本进行意图语义识别,得到所述文本的文本意图;
所述槽位填充模块用于从所述文本中获取与所述文本意图相关的N个第一字段;
所述否定语义预测模块用于对所述文本进行否定语义识别,从所述文本中识别出具有否定语义的第二字段及所述第二字段对应的否定范围。
9.如权利要求8所述的方法,其特征在于,所述否定语义联合模型的训练过程,包括:
获取训练数据和所述训练数据对应的双重标签;所述训练数据对应的双重标签包括意图槽位标签和否定标签;所述否定标签中包括所述训练数据中具有否定语义的第二字段和所述第二字段对应的否定范围;所述意图槽位标签包括:意图分类标签和槽位值标签;
利用所述否定语义联合模型对所述训练数据进行联合预测处理,得到所述训练数据的预测结果;
按照减小所述预测结果和所述训练数据的双重标签的差异的方向,对所述否定语义联合模型进行模型优化,得到优化好的否定语义联合模型。
10.如权利要求9所述的方法,其特征在于,所述预测结果包括:意图分类预测结果、槽位值预测结果及否定预测结果;所述利用所述否定语义联合模型对所述训练数据进行联合预测处理,得到所述训练数据的预测结果,包括:
利用所述否定语义联合模型中的意图分类模块,基于所述文本语义表示对所述训练数据进行语义预测处理,得到所述训练数据的意图分类预测结果;以及,
利用所述否定语义联合模型中的槽位填充模块,基于所述文本语义表示对所述训练数据进行槽位值预测处理,得到所述训练数据中与所述意图分类预测结果相关的槽位值预测结果;以及,
利用所述否定语义联合模型中的否定语义预测模块,基于所述文本语义表示对所述训练数据进行否定语义预测,得到所述训练数据的否定预测结果,所述否定预测结果中包括:否定预测字段及所述否定预测字段对应的否定预测范围。
11.如权利要求10所述的方法,其特征在于,所述按照减小所述预测结果和所述训练数据的双重标签的差异的方向,对所述否定语义联合模型进行模型优化,包括:
基于所述训练数据的意图分类预测结果和所述训练数据的意图分类标签,得到所述训练数据的意图分类损失函数;以及,
基于所述训练数据的槽位值预测结果和所述训练数据的槽位值标签,得到所述训练数据的槽位值填充损失函数;以及,
基于所述训练数据的否定预测结果和所述训练数据的否定标签,得到所述训练数据的否定损失函数;
对所述意图分类损失函数,所述槽位值填充损失函数和所述否定损失函数进行加权处理,得到目标损失函数;
按照减小所述目标损失函数的方向,对所述否定语义联合模型进行模型优化。
12.一种文本识别装置,其特征在于,所述装置搭载于否定语义联合模型,所述否定语义联合模型的训练数据对应有双重标签,所述双重标签包括:意图槽位标签和否定标签,所述意图槽位标签的标注过程和所述否定标签的标注过程相互独立且互不影响;所述否定标签是通过将否定词和否定词对应的否定范围一并进行标注得到的;所述装置包括:
获取单元,用于获取待识别的文本;
处理单元,用于对所述文本进行意图语义识别,得到所述文本的文本意图,并从所述文本中获取与所述文本意图相关的N个第一字段;N为大于或等于1的整数;
所述处理单元,还用于对所述文本进行否定语义识别,从所述文本中识别出具有否定语义的第二字段及所述第二字段对应的否定范围;
所述处理单元,还用于对所述文本的文本意图进行否定意图判别处理;
所述处理单元,还用于若所述文本的文本意图所表达的意图语义为非否定语义,则从所述N个第一字段中确定属于所述否定范围的目标字段,并基于所述第二字段和所述目标字段更新所述文本意图,得到所述文本的目标意图;或者,
所述处理单元,还用于若所述文本的文本意图所表达的意图语义为否定语义,则将所述文本的文本意图作为所述文本的目标意图。
13.一种计算机设备,其特征在于,包括:
处理器,适于执行计算机程序;
计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序被所述处理器执行时,实现如权利要求1-11任一项所述的文本识别方法。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序适于被处理器加载并执行如权利要求1-11任一项所述的文本识别方法。
CN202311222538.2A 2023-09-21 2023-09-21 一种文本识别方法、装置、设备及介质 Active CN116956941B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311222538.2A CN116956941B (zh) 2023-09-21 2023-09-21 一种文本识别方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311222538.2A CN116956941B (zh) 2023-09-21 2023-09-21 一种文本识别方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN116956941A CN116956941A (zh) 2023-10-27
CN116956941B true CN116956941B (zh) 2024-01-09

Family

ID=88458793

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311222538.2A Active CN116956941B (zh) 2023-09-21 2023-09-21 一种文本识别方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN116956941B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107315737A (zh) * 2017-07-04 2017-11-03 北京奇艺世纪科技有限公司 一种语义逻辑处理方法及系统
CN110795547A (zh) * 2019-10-18 2020-02-14 腾讯科技(深圳)有限公司 文本识别方法和相关产品
CN111178077A (zh) * 2019-12-26 2020-05-19 深圳市优必选科技股份有限公司 一种语料生成方法、语料生成装置及智能设备
CN115238066A (zh) * 2021-04-23 2022-10-25 北京三快在线科技有限公司 用户意图识别方法、装置、对话系统、设备以及存储介质
CN115269774A (zh) * 2022-06-30 2022-11-01 青岛海尔科技有限公司 文本意图的识别方法和装置、存储介质和电子装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111324727B (zh) * 2020-02-19 2023-08-01 百度在线网络技术(北京)有限公司 用户意图识别方法、装置、设备和可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107315737A (zh) * 2017-07-04 2017-11-03 北京奇艺世纪科技有限公司 一种语义逻辑处理方法及系统
CN110795547A (zh) * 2019-10-18 2020-02-14 腾讯科技(深圳)有限公司 文本识别方法和相关产品
CN111178077A (zh) * 2019-12-26 2020-05-19 深圳市优必选科技股份有限公司 一种语料生成方法、语料生成装置及智能设备
CN115238066A (zh) * 2021-04-23 2022-10-25 北京三快在线科技有限公司 用户意图识别方法、装置、对话系统、设备以及存储介质
CN115269774A (zh) * 2022-06-30 2022-11-01 青岛海尔科技有限公司 文本意图的识别方法和装置、存储介质和电子装置

Also Published As

Publication number Publication date
CN116956941A (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
CN112685565B (zh) 基于多模态信息融合的文本分类方法、及其相关设备
CN112164391B (zh) 语句处理方法、装置、电子设备及存储介质
CN111462735A (zh) 语音检测方法、装置、电子设备及存储介质
CN107526809B (zh) 基于人工智能推送音乐的方法和装置
CN113705299A (zh) 一种视频识别的方法、装置及存储介质
US20180276201A1 (en) Electronic apparatus, controlling method of thereof and non-transitory computer readable recording medium
CN114969316B (zh) 一种文本数据处理方法、装置、设备以及介质
US10915756B2 (en) Method and apparatus for determining (raw) video materials for news
CN112015928A (zh) 多媒体资源的信息提取方法、装置、电子设备及存储介质
CN112052333A (zh) 文本分类方法及装置、存储介质和电子设备
CN113011126B (zh) 文本处理方法、装置、电子设备及计算机可读存储介质
CN116861258A (zh) 模型处理方法、装置、设备及存储介质
CN116956941B (zh) 一种文本识别方法、装置、设备及介质
CN117009503A (zh) 文本分类方法及装置
CN116010545A (zh) 一种数据处理方法、装置及设备
KR102446305B1 (ko) 하이라이팅 기능이 포함된 감정 분석 서비스를 위한 방법 및 장치
CN114330296A (zh) 新词发现方法、装置、设备以及存储介质
CN114547435A (zh) 内容质量的识别方法、装置、设备及可读存储介质
CN113569091A (zh) 视频数据的处理方法、装置
CN112632962B (zh) 人机交互系统中实现自然语言理解方法和装置
CN116913278B (zh) 语音处理方法、装置、设备和存储介质
CN117077656B (zh) 论证关系挖掘方法、装置、介质及电子设备
CN113571063B (zh) 语音信号的识别方法、装置、电子设备及存储介质
CN116610804B (zh) 一种提升小样本类别识别的文本召回方法和系统
CN116150428B (zh) 视频标签获取方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant