CN116467404A - 一种语义处理方法、装置、电子设备、存储介质 - Google Patents

一种语义处理方法、装置、电子设备、存储介质 Download PDF

Info

Publication number
CN116467404A
CN116467404A CN202210031195.0A CN202210031195A CN116467404A CN 116467404 A CN116467404 A CN 116467404A CN 202210031195 A CN202210031195 A CN 202210031195A CN 116467404 A CN116467404 A CN 116467404A
Authority
CN
China
Prior art keywords
semantic
classification
text
processing
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210031195.0A
Other languages
English (en)
Inventor
许建明
田发景
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pateo Connect Nanjing Co Ltd
Original Assignee
Pateo Connect Nanjing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pateo Connect Nanjing Co Ltd filed Critical Pateo Connect Nanjing Co Ltd
Priority to CN202210031195.0A priority Critical patent/CN116467404A/zh
Publication of CN116467404A publication Critical patent/CN116467404A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3343Query execution using phonetics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3344Query execution using natural language analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Acoustics & Sound (AREA)
  • Machine Translation (AREA)

Abstract

本发明实施例提供了一种语义处理方法、装置、电子设备、存储介质。其中,该方法包括:在对目标语音进行识别处理的过程中,获取已识别的文本,根据所述已识别的文本,确定对应的语义预分类,在对所述目标语音的识别处理完成前,启动所述语义预分类对应的语义处理,使得在将语音识别为文本的同时,对文本进行语义预分类,从而在识别出部分文本时即可以确定语义预分类,实现提前启动语义预分类对应的语义处理,从而避免处理速度较慢的问题,提升语义处理返回结果的及时性。

Description

一种语义处理方法、装置、电子设备、存储介质
技术领域
本发明涉及语言处理技术领域,特别是涉及一种语义处理方法、一种语义处理装置、一种电子设备、一种可读存储介质。
背景技术
自然语言处理(NLP,Natural Language Processing)是使用自然语言同计算机进行通讯的技术,因为处理自然语言的关键是要让计算机“理解”自然语言,所以自然语言处理又叫做自然语言理解(NLU,Natural Language Understanding)。自然语言理解(NLU,Natural Language Understanding)是所有支持机器理解文本内容的方法模型或任务的总称。NLU在文本信息处理处理系统中扮演着非常重要的角色,是推荐、问答、搜索等系统的必备模块。
当前的NLU或NLP技术中,用户在输入语音的过程中,语音会被先识别为文字,在识别完成之后,才能确定所属的垂类,再进入对应垂类的下一步语义处理。这个处理过程的步骤链条较长,每一步都需要较长时间,因此,针对语音进行的语义处理存在处理速度较慢,造成语义处理返回结果不及时的问题。
发明内容
本发明实施例的目的在于提供一种语义处理方法、装置、电子设备、存储介质,从而解决针对语音进行的语义处理存在处理速度较慢,造成语义处理返回结果不及时的问题。
为了解决上述问题,在本发明实施的第一方面,首先提供了一种语义处理方法,包括:
在对目标语音进行识别处理的过程中,获取已识别的文本;
根据所述已识别的文本,确定对应的语义预分类;
在对所述目标语音的识别处理完成前,启动所述语义预分类对应的语义处理。
可选地,所述根据所述已识别的文本,确定对应的语义预分类包括:
将所述已识别的文本输入语义预分类模型;其中,所述语义预分类模型通过各种长度的文本样本,以及对应标记的样本分类信息训练得到;
根据所述已识别的文本,由所述语义预分类模型生成对应的语义预分类。
可选地,所述根据所述已识别的文本,由所述语义预分类模型生成对应的语义预分类包括:
根据所述已识别的文本,由所述语义预分类模型生成对应的至少一种语义预分类以及语义预分类对应的置信度。
可选地,所述样本分类信息包括语义分类和对应的重要性数据,在所述将所述已识别的文本输入语义预分类模型之前,所述方法还包括:
根据历史文本,按照从开始到结束字数逐个递增的方式,提取得到所述各种长度的文本样本;其中,各个长度的文本样本包括所述历史文本中最开始的文字;
根据所述历史文本和对应的语义分类,确定对应的所述各种长度的文本样本的语义分类;
针对各个历史文本中相同的文本样本,对相同的语义分类的出现次数进行累加,得到所述各种长度的文本样本的各种语义分类的出现次数;
根据所述各种长度的文本样本的各种语义分类的出现次数,以及各种语义分类对应设置的语义分类权重,计算所述各种长度的文本样本的各种语义分类的重要性数据;其中,有效的语义分类对应设置的语义分类权重为正数,无效的语义分类对应设置的语义分类权重为负数;
根据所述各种长度的文本样本,以及对应标记的样本分类信息,训练得到所述语义预分类模型。
可选地,所述样本分类信息包括所述各种长度的文本样本对应的有效语义次数和无效语义次数,在所述根据所述各种长度的文本样本,以及对应标记的样本分类信息,训练得到所述语义预分类模型之前,所述方法还包括:
针对所述各种长度的文本样本,分别将有效的语义分类的出现次数进行相加,得到所述有效语义次数,分别将无效的语义分类的出现次数进行相加,得到所述无效语义次数;
所述根据所述已识别的文本,由所述语义预分类模型生成对应的语义预分类还包括:
根据所述已识别的文本,由所述语义预分类模型生成所述已识别的文本为有效的语义分类的概率和无效的语义分类的概率。
可选地,所述在对所述目标语音的识别处理完成前,启动所述语义预分类对应的语义处理包括:
当所述语义预分类对应的置信度超过第一预设阈值,则对所述语义预分类对应的语义处理进行启动,并对所述已识别的文本进行数据预处理。
可选地,在所述在对所述目标语音的识别处理完成前,启动所述语义预分类对应的语义处理之后,所述方法还包括:
当所述语义预分类对应的置信度超过第二预设阈值,且所述语义预分类模型仅生成了一种语义预分类,则开始所述语义预分类对应的语义处理;
或者,当所述语义预分类对应的置信度超过第三预设阈值,则开始所述语义预分类对应的语义处理;
其中,所述第一预设阈值低于所述第二预设阈值,所述第二预设阈值低于所述第三预设阈值。
在本发明实施的第二方面,提供了一种语义处理装置,包括:
文本获取模块,用于在对目标语音进行识别处理的过程中,获取已识别的文本;
预分类确定模块,用于根据所述已识别的文本,确定对应的语义预分类;
语义处理启动模块,用于在对所述目标语音的识别处理完成前,启动所述语义预分类对应的语义处理。
可选地,所述预分类确定模块包括:
模型输入子模块,用于将所述已识别的文本输入语义预分类模型;其中,所述语义预分类模型通过各种长度的文本样本,以及对应标记的样本分类信息训练得到;
预分类生成子模块,用于根据所述已识别的文本,由所述语义预分类模型生成对应的语义预分类。
可选地,所述预分类生成子模块包括:
置信度生成子模块,用于根据所述已识别的文本,由所述语义预分类模型生成对应的至少一种语义预分类以及语义预分类对应的置信度。
可选地,所述样本分类信息包括语义分类和对应的重要性数据,所述装置还包括:
样本提取模块,用于在所述将所述已识别的文本输入语义预分类模型之前,根据历史文本,按照从开始到结束字数逐个递增的方式,提取得到所述各种长度的文本样本;其中,各个长度的文本样本包括所述历史文本中最开始的文字;
语义分类确定模块,用于根据所述历史文本和对应的语义分类,确定对应的所述各种长度的文本样本的语义分类;
出现次数累加模块,用于针对各个历史文本中相同的文本样本,对相同的语义分类的出现次数进行累加,得到所述各种长度的文本样本的各种语义分类的出现次数;
重要性数据计算模块,用于根据所述各种长度的文本样本的各种语义分类的出现次数,以及各种语义分类对应设置的语义分类权重,计算所述各种长度的文本样本的各种语义分类的重要性数据;其中,有效的语义分类对应设置的语义分类权重为正数,无效的语义分类对应设置的语义分类权重为负数;
模型训练模块,用于根据所述各种长度的文本样本,以及对应标记的样本分类信息,训练得到所述语义预分类模型。
可选地,所述样本分类信息包括所述各种长度的文本样本对应的有效语义次数和无效语义次数,所述装置还包括:
次数相加模块,用于在所述根据所述各种长度的文本样本,以及对应标记的样本分类信息,训练得到所述语义预分类模型之前,针对所述各种长度的文本样本,分别将有效的语义分类的出现次数进行相加,得到所述有效语义次数,分别将无效的语义分类的出现次数进行相加,得到所述无效语义次数;
所述预分类生成子模块还包括:
概率生成单元,用于根据所述已识别的文本,由所述语义预分类模型生成所述已识别的文本为有效的语义分类的概率和无效的语义分类的概率。
可选地,所述语义处理启动模块包括:
启动子模块,用于当所述语义预分类对应的置信度超过第一预设阈值,则对所述语义预分类对应的语义处理进行启动,并对所述已识别的文本进行数据预处理。
可选地,所述装置还包括:
语义处理开始模块,用于在所述在对所述目标语音的识别处理完成前,启动所述语义预分类对应的语义处理之后,当所述语义预分类对应的置信度超过第二预设阈值,且所述语义预分类模型仅生成了一种语义预分类,则开始所述语义预分类对应的语义处理;
或者,语义处理开始模块,用于当所述语义预分类对应的置信度超过第三预设阈值,则开始所述语义预分类对应的语义处理;
其中,所述第一预设阈值低于所述第二预设阈值,所述第二预设阈值低于所述第三预设阈值。
在本发明实施的第三方面,提供了一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现如上任一所述的方法步骤。
在本发明实施的第四方面,提供了一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如上任一所述的方法。
本发明实施例提供一种语义处理方法、装置、电子设备及存储介质,通过在对目标语音进行识别处理的过程中,获取已识别的文本,根据所述已识别的文本,确定对应的语义预分类,在对所述目标语音的识别处理完成前,启动所述语义预分类对应的语义处理,使得在将语音识别为文本的同时,对文本进行语义预分类,从而在识别出部分文本时即可以确定语义预分类,实现提前启动语义预分类对应的语义处理,从而避免处理速度较慢的问题,提升语义处理返回结果的及时性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1示出了本发明的一种语义处理方法实施例的步骤流程图;
图2示出了本发明的一种语义处理方法实施例的步骤流程图;
图3示出了语义预分类模型的训练的示意图;
图4示出了对目标语音进行语义处理的示意图;
图5示出了本发明的一种语义处理装置实施例的结构框图;
图6示出了本发明一实施例的一种电子设备的示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
参照图1,示出了本发明实施例的一种语义处理方法的步骤流程图,具体可以包括如下步骤:
步骤101,在对目标语音进行识别处理的过程中,获取已识别的文本。
在本发明实施例中,目标语音是待进行语义处理的语音,例如,语音智能终端上,用户正在输入的语音,或者其他任意适用的语音,本发明实施例对此不做限制。语义处理是指与语义相关的处理,例如,针对目标语音进行问答、推荐、搜索等,需要在理解语义的基础上进行的处理,具体可以包括任意适用的语义处理,本发明实施例对此不做限制。
在本发明实施例中,在语义处理之前,需要先对目标语音进行识别,将目标语音转换成对应的文本。将目标语音转换成对应的文本是逐字进行的,在目标语音未完全转换成文本时,可以先获取到已识别的文本。
在一种具体实现中,每识别出一个字,进行一次获取。或者在另一种具体实现中,每识别出预设个数的字,进行一次获取。或者在有一种具体实现中,在已识别的文本达到设定字数阈值后,开始第一次获取,之后每识别出预设个数的字,进行一次获取。具体可以包括任意适用的实现方式,本发明实施例对此不做限制。
步骤102,根据所述已识别的文本,确定对应的语义预分类。
在本发明实施例中,根据文本的语义进行分类,可以得到文本的语义分类。由于已识别的文本不是目标语音对应的完整文本,因此,将根据已识别的文本确定的分类,记为语义预分类。
在本发明实施例中,每次获取到已识别的文本,就根据该次获取到的已识别的文本,确定对应的语义预分类。随着已识别的文本中的字数增加,已识别的文本在目标语音对应的完整文本中的占比增加,已识别的文本与完整文本的语义也就越接近,因此,语义预分类与完整文本的语义分类相同的可能性将越大。
在本发明实施例中,根据已识别的文本,确定对应的语义预分类的实现方式包括多种。例如,将已识别的文本输入现有的对文本分类的模型,对已识别的文本进行分类,得到语义预分类。又例如,将已识别的文本输入语义预分类模型;其中,语义预分类模型通过各种长度的文本样本,以及对应标记的样本分类信息训练得到;根据已识别的文本,由语义预分类模型生成对应的语义预分类。具体可以包括任意适用的实现方式,本发明实施例对此不做限制。
步骤103,在对所述目标语音的识别处理完成前,启动所述语义预分类对应的语义处理。
在本发明实施例中,语义处理是指根据文本的语义进行的处理,例如,问答、搜索、推荐、控制等,或者其他任意适用的处理,本发明实施例对此不做限制。由于文本的语义多种多样,为了更加准确且支持更多类型的处理,语义处理需要分为多种分类。不同分类的语义处理是由不同的模型或者模块实现的。在确定语义预分类后,确定语义预分类对应的语义处理的模型或者模块。在对目标语音的识别处理完成前,预先启动语义处理的模型或者模块。
例如,语义预分类为导航,则预先启动导航对应的模型,以待目标语音完成识别后,将目标语音的完整文本输入到导航对应的模型中。又例如,语义预分类为音乐,则预先启动音乐对应的模型,以待目标语音完成识别后,将目标语音的完整文本输入到音乐对应的模型中。
依据本发明实施例,通过在对目标语音进行识别处理的过程中,获取已识别的文本,根据所述已识别的文本,确定对应的语义预分类,在对所述目标语音的识别处理完成前,启动所述语义预分类对应的语义处理,使得在将语音识别为文本的同时,对文本进行语义预分类,从而在识别出部分文本时即可以确定语义预分类,实现提前启动语义预分类对应的语义处理,从而避免处理速度较慢的问题,提升语义处理返回结果的及时性。
参照图2,示出了本发明实施例的一种语义处理方法的步骤流程图,具体可以包括如下步骤:
步骤201,在对目标语音进行识别处理的过程中,获取已识别的文本。
在本发明实施例中,此步骤的具体实现方式可以参见前述实施例中的描述,此处不另赘述。
步骤202,将所述已识别的文本输入语义预分类模型;其中,所述语义预分类模型通过各种长度的文本样本,以及对应标记的样本分类信息训练得到。
在本发明实施例中,已识别的文本对应的语义预分类可以采用机器学习的方式,学习各种长度的文本样本和对应标记的样本分类信息之间的相关关系,得到一个可以预测语义预分类的语义预分类模型。为了训练语义预分类模型,需要准备样本数据以及对应的标签数据,即各种长度的文本样本,以及对应标记样本分类信息。例如,将一个完整的文本,按照从开始到结束字数逐个递增的方式,提取得到各种长度的文本样本,将完整的文本对应标记的分类作为各种长度的文本样本的样本分类信息。
在本发明实施例中,语义预分类模型可以采用贝叶斯分类,K-means(k-均值聚类算法)等,或者其他任意适用的模型结构,本发明实施例对此不做限制。
在本发明实施例中,每次获取到已识别的文本,就将已识别的文本输入训练得到的语义预分类模型。
在本发明的一种可选实施例中,样本分类信息包括语义分类和对应的重要性数据,在将所述已识别的文本输入语义预分类模型之前,还可以包括:根据历史文本,按照从开始到结束字数逐个递增的方式,提取得到所述各种长度的文本样本;其中,各个长度的文本样本包括所述历史文本中最开始的文字;根据所述历史文本和对应的语义分类,确定对应的所述各种长度的文本样本的语义分类;针对各个历史文本中相同的文本样本,对相同的语义分类的出现次数进行累加,得到所述各种长度的文本样本的各种语义分类的出现次数;根据所述各种长度的文本样本的各种语义分类的出现次数,以及各种语义分类对应设置的语义分类权重,计算所述各种长度的文本样本的各种语义分类的重要性数据;其中,有效的语义分类对应设置的语义分类权重为正数,无效的语义分类对应设置的语义分类权重为负数;根据所述各种长度的文本样本,以及对应标记的样本分类信息,训练得到所述语义预分类模型。
历史文本是采集的大量历史数据,对历史文本进行标记,得到对应的语义分类。将历史文本按照从开始到结束字数逐个递增的方式,提取得到从短到长的各种长度的文本样本。各个长度的文本样本包括历史文本中最开始的文字。例如,历史文本的第一个字作为一个文本样本,历史文本的前两个字作为一个文本样本,历史文本的前三个字作为一个文本样本,以此类推,直至整个历史文本作为一个文本样本。
针对一个历史文本,提取得到的各个长度的文本样本的语义分类都标记为该历史文本的语义分类。然后将各个历史文本中提取的文本样本放在一起进行比较,得到相同的文本样本。由于相同的文本样本来自于不同的历史文本,不同的历史文本的语义分类可能相同,也可能不同,因此来自不同的历史文本的相同的文本样本的语义分类可能相同,也可能不同。针对各个历史文本中相同的文本样本,对相同的语义分类的出现次数进行累加。对于所有的历史文本提取的文本样本,都进行这样的统计,得到各种长度的文本样本的各种语义分类的出现次数。例如,历史文本a的语义分类为音乐,历史文本b的语义分类为导航,历史文本c的语义分类为音乐,历史文本d的语义分类为闲聊,历史文本a、历史文本b、历史文本c、历史文本d都提取到了相同的文本样本“我想”,那么文本样本“我想”的语义分类“音乐”的出现次数为2,语义分类“导航”的出现次数为1,语义分类“闲聊”的出现次数为1。
语义分类可以分为有效和无效,对于有效的语义分类,本发明实施例提供了语义分类对应的语义处理,对于无效的语义分类,本发明实施例未提供语义分类对应的语义处理。针对各种语义分类,设置对应的语义分类权重,设置的规则包括:有效的语义分类对应设置的语义分类权重为正数,无效的语义分类对应设置的语义分类权重为负数。例如,音乐分类的语义分类权重为1,闲聊分类的语义分类权重为-2。
将一个文本样本的一个语义分类的出现次数和该语义分类对应设置的语义分类权重相乘,计算得到的数据,记为该文本样本的该语义分类的重要性数据。对于各个文本样本的各个语义分类都进行这样的计算,得到各种长度的文本样本的各种语义分类的重要性数据。
样本分类信息包括语义分类和对应的重要性数据。然后根据各种长度的文本样本,以及对应标记的样本分类信息,训练得到语义预分类模型。例如,利用贝叶斯分类、K-means算法等方式,对各种长度的文本样本,以及对应标记的语义分类和重要性数据进行计算,从而可以得到各种长度的文本对于各种语义分类的概率。在已识别的文本输入训练后的语义预分类模型后,语义预分类模型可以得到已识别的文本对于各种语义分类的概率,然后输出已识别的文本的各种语义分类及其概率。
例如,如图3所示的语义预分类模型的训练的示意图。历史文本及分类标注包括:“导航到XX大学”对应的语义分类“导航”,“我想听XXX的歌”对应的语义分类“音乐”,“打开天窗”对应的语义分类“天窗控制”,“今天天气不错”对应的语义分类“闲聊”等等。语义分类汇总,对各种语义分类标注语义分类权重,“音乐”的语义分类权重为1,“导航”的语义分类权重为2,“闲聊”的语义分类权重为-2,“车窗控制”的语义分类权重为1.5。对历史文本及语义分类进行统计,先对历史文本进行文本拆字,拆字原则按照最左原则,将长度为N的历史文本拆成长度为1~N的N个样本文本。然后计算所有历史文本中,各个样本文本对应的各种语义分类的出现次数。将一个文本样本的一个语义分类的出现次数和该语义分类对应设置的语义分类权重相乘,计算得到的一个文本样本的一个语义分类的重要性数据。将各种长度的文本样本,以及对应标记的语义分类和重要性数据输入语义预分类模型,经过训练,生成语义预分类模型。
步骤203,根据所述已识别的文本,由所述语义预分类模型生成对应的语义预分类。
在本发明实施例中,针对本次获取的已识别的文本,获取语义预分类模型的输出,进而将语义预分类模型的输出作为已识别的文本的语义预分类。
在本发明的一种可选实施例中,根据所述已识别的文本,由所述语义预分类模型生成对应的语义预分类的一种具体实现方式中,可以包括:根据所述已识别的文本,由所述语义预分类模型生成对应的至少一种语义预分类以及语义预分类对应的置信度。
语义预分类模型可以根据已识别的文本,生成对应的至少一种语义预分类,以及各个语义预分类对应的置信度。例如,上述根据文本样本,以及语义分类和对应的重要性数据训练的语义预分类模型,输出的语义预分类和对应的概率,该概率就可以作为置信度。
在本发明的一种可选实施例中,样本分类信息包括所述各种长度的文本样本对应的有效语义次数和无效语义次数,在根据所述各种长度的文本样本,以及对应标记的样本分类信息,训练得到所述语义预分类模型之前,还可以包括:针对所述各种长度的文本样本,分别将有效的语义分类的出现次数进行相加,得到所述有效语义次数,分别将无效的语义分类的出现次数进行相加,得到所述无效语义次数;相应的,根据所述已识别的文本,由所述语义预分类模型生成对应的语义预分类的一种具体实现方式中,还包括:根据所述已识别的文本,由所述语义预分类模型生成所述已识别的文本为有效的语义分类的概率和无效的语义分类的概率。
针对一个文本样本,将有效的各种语义分类的出现次数进行相加,得到该文本样本的有效语义次数。针对各个文本样本,采用同样的方式,得到各个文本样本的有效语义次数。针对一个文本样本,将无效的各种语义分类的出现次数进行相加,得到该文本样本的无效语义次数。针对各个文本样本,采用同样的方式,得到各个文本样本的无效语义次数。
例如,针对一个文本样本,语义分类“音乐”的出现次数为2,语义分类“导航”的出现次数为2,两者都是有效的语义分类,因此,出现次数进行相加,得到该文本样本的有效语义次数为4。
由于训练语义预分类模型的样本分类信息中,还包括所述各种长度的文本样本对应的有效语义次数和无效语义次数,语义预分类模型还可以另外设计一个二分类的输出,输出已识别的文本为有效的语义分类的概率和无效的语义分类的概率。例如,采用贝叶斯分类算法计算已识别的文本为有效的语义分类的概率和无效的语义分类的概率。对于一个已识别的文本,如果有效的语义分类的概率大于无效的语义分类的概率,则表明该已识别的文本存在有效的语义分类。
步骤204,在对所述目标语音的识别处理完成前,启动所述语义预分类对应的语义处理。
在本发明实施例中,此步骤的具体实现方式可以参见前述实施例中的描述,此处不另赘述。
在本发明的一种可选实施例中,在对所述目标语音的识别处理完成前,启动所述语义预分类对应的语义处理的一种具体实现中,可以包括:当所述语义预分类对应的置信度超过第一预设阈值,则对所述语义预分类对应的语义处理进行启动,并对所述已识别的文本进行数据预处理。
语义预分类模型输出已识别的文本的至少一种语义预分类,以及对应的置信度。当一种或多种语义预分类对应的置信度超过第一预设阈值,则将该一种或多种语义预分类对应的语义处理进行启动。同时根据语义处理的需要,对已识别的文本进行数据预处理,例如,数据清理、去除标点、分词等。其中,第一预设阈值可以根据实际需要进行设置,本发明实施例对此不做限制。
通过在对目标语音的识别处理完成前,预先启动语义处理,以及对已识别的文本进行数据预处理,从而将语义处理的启动提前,待目标语音全部识别完成后,无需等候,直接进入语义处理,从而避免处理速度较慢的问题,提升语义处理返回结果的及时性。
在本发明的一种可选实施例中,在所述在对所述目标语音的识别处理完成前,启动所述语义预分类对应的语义处理之后,还可以包括:当所述语义预分类对应的置信度超过第二预设阈值,且所述语义预分类模型仅生成了一种语义预分类,则开始所述语义预分类对应的语义处理;或者,当所述语义预分类对应的置信度超过第三预设阈值,则开始所述语义预分类对应的语义处理;其中,所述第一预设阈值低于所述第二预设阈值,所述第二预设阈值低于所述第三预设阈值。
在根据第一预设阈值,启动语义预分类对应的语义处理的基础上,再设置第二预设阈值和第三预设阈值,第一预设阈值低于第二预设阈值,第二预设阈值低于第三预设阈值。
当语义预分类对应的置信度超过第二预设阈值,且语义预分类模型仅生成了一种语义预分类,那么意味着语义预分类模型生成的语义预分类是可信的。在该语义预分类对应的语义处理完成启动后,直接开始该语义预分类对应的语义处理。
当语义预分类对应的置信度超过第二预设阈值,语义预分类模型生成了多种语义预分类,则继续获取已识别的文本,由语义预分类模型生成对应的语义预分类和置信度,直至某个语义预分类对应的置信度超过第三预设阈值,则开始该语义预分类对应的语义处理。
在对目标语音的识别处理完成前,在语义预分类的置信度足够高后,直接开启语义处理,加快了进入语义处理的进度,从而避免处理速度较慢的问题,提升语义处理返回结果的及时性。
例如,如图4所示的对目标语音进行语义处理的示意图。终端设备发起目标语音的识别,识别服务对目标语音进行语音识别,得到部分识别结果,即已识别的文本。将部分识别结果进行分发,发送给终端设备以供显示部分识别结果,同时将已识别的文本发送给语义预分类模型。当识别服务对目标语音的识别结束,则将全部识别结果发送给终端设备以供显示全部识别结果。由语义预分类模型输出已识别的文本的语义预分类。当语义预分类对应的置信度超过第一预设阈值,则对语义预分类对应的语义处理进行启动,并对已识别的文本进行数据预处理。当语义预分类对应的置信度超过第二预设阈值,且语义预分类模型仅生成了一种语义预分类,则确认该语义预分类以及对应的语义处理,开始语义处理。但若此时,语义预分类模型生成了多种语义预分类,则等语义预分类对应的置信度超过第三预设阈值,则确认该语义预分类以及对应的语义处理,开始语义处理。将语义处理的结果返回给终端设备。
依据本发明实施例,通过在对目标语音进行识别处理的过程中,获取已识别的文本,将所述已识别的文本输入语义预分类模型;其中,所述语义预分类模型通过各种长度的文本样本,以及对应标记的样本分类信息训练得到,根据所述已识别的文本,由所述语义预分类模型生成对应的语义预分类,在对所述目标语音的识别处理完成前,启动所述语义预分类对应的语义处理,使得在将语音识别为文本的同时,对文本进行语义预分类,从而在识别出部分文本时即可以确定语义预分类,实现提前启动语义预分类对应的语义处理,从而避免处理速度较慢的问题,提升语义处理返回结果的及时性。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
参照图5,示出了本发明实施例的一种语义处理装置的结构框图,具体可以包括如下步骤:
文本获取模块301,用于在对目标语音进行识别处理的过程中,获取已识别的文本;
预分类确定模块302,用于根据所述已识别的文本,确定对应的语义预分类;
语义处理启动模块303,用于在对所述目标语音的识别处理完成前,启动所述语义预分类对应的语义处理。
在本发明的一种可选实施例中,所述预分类确定模块包括:
模型输入子模块,用于将所述已识别的文本输入语义预分类模型;其中,所述语义预分类模型通过各种长度的文本样本,以及对应标记的样本分类信息训练得到;
预分类生成子模块,用于根据所述已识别的文本,由所述语义预分类模型生成对应的语义预分类。
在本发明的一种可选实施例中,所述预分类生成子模块包括:
置信度生成子模块,用于根据所述已识别的文本,由所述语义预分类模型生成对应的至少一种语义预分类以及语义预分类对应的置信度。
在本发明的一种可选实施例中,所述样本分类信息包括语义分类和对应的重要性数据,所述装置还包括:
样本提取模块,用于在所述将所述已识别的文本输入语义预分类模型之前,根据历史文本,按照从开始到结束字数逐个递增的方式,提取得到所述各种长度的文本样本;其中,各个长度的文本样本包括所述历史文本中最开始的文字;
语义分类确定模块,用于根据所述历史文本和对应的语义分类,确定对应的所述各种长度的文本样本的语义分类;
出现次数累加模块,用于针对各个历史文本中相同的文本样本,对相同的语义分类的出现次数进行累加,得到所述各种长度的文本样本的各种语义分类的出现次数;
重要性数据计算模块,用于根据所述各种长度的文本样本的各种语义分类的出现次数,以及各种语义分类对应设置的语义分类权重,计算所述各种长度的文本样本的各种语义分类的重要性数据;其中,有效的语义分类对应设置的语义分类权重为正数,无效的语义分类对应设置的语义分类权重为负数;
模型训练模块,用于根据所述各种长度的文本样本,以及对应标记的样本分类信息,训练得到所述语义预分类模型。
在本发明的一种可选实施例中,所述样本分类信息包括所述各种长度的文本样本对应的有效语义次数和无效语义次数,所述装置还包括:
次数相加模块,用于在所述根据所述各种长度的文本样本,以及对应标记的样本分类信息,训练得到所述语义预分类模型之前,针对所述各种长度的文本样本,分别将有效的语义分类的出现次数进行相加,得到所述有效语义次数,分别将无效的语义分类的出现次数进行相加,得到所述无效语义次数;
所述预分类生成子模块还包括:
概率生成单元,用于根据所述已识别的文本,由所述语义预分类模型生成所述已识别的文本为有效的语义分类的概率和无效的语义分类的概率。
在本发明的一种可选实施例中,所述语义处理启动模块包括:
启动子模块,用于当所述语义预分类对应的置信度超过第一预设阈值,则对所述语义预分类对应的语义处理进行启动,并对所述已识别的文本进行数据预处理。
在本发明的一种可选实施例中,所述装置还包括:
语义处理开始模块,用于在所述在对所述目标语音的识别处理完成前,启动所述语义预分类对应的语义处理之后,当所述语义预分类对应的置信度超过第二预设阈值,且所述语义预分类模型仅生成了一种语义预分类,则开始所述语义预分类对应的语义处理;
或者,语义处理开始模块,用于当所述语义预分类对应的置信度超过第三预设阈值,则开始所述语义预分类对应的语义处理;
其中,所述第一预设阈值低于所述第二预设阈值,所述第二预设阈值低于所述第三预设阈值。
依据本发明实施例,通过在对目标语音进行识别处理的过程中,获取已识别的文本,根据所述已识别的文本,确定对应的语义预分类,在对所述目标语音的识别处理完成前,启动所述语义预分类对应的语义处理,使得在将语音识别为文本的同时,对文本进行语义预分类,从而在识别出部分文本时即可以确定语义预分类,实现提前启动语义预分类对应的语义处理,从而避免处理速度较慢的问题,提升语义处理返回结果的及时性。
本发明实施例还提供了一种电子设备,如图6所示,包括处理器901、通信接口902、存储器903和通信总线904,其中,处理器901,通信接口902,存储器903通过通信总线904完成相互间的通信,
存储器903,用于存放计算机程序;
处理器901,用于执行存储器903上所存放的程序时,实现如前述任一方法实施例中描述的步骤。
上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,简称RAM),也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的语义处理方法。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的语义处理方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (16)

1.一种语义处理方法,其特征在于,包括:
在对目标语音进行识别处理的过程中,获取已识别的文本;
根据所述已识别的文本,确定对应的语义预分类;
在对所述目标语音的识别处理完成前,启动所述语义预分类对应的语义处理。
2.根据权利要求1所述的方法,其特征在于,所述根据所述已识别的文本,确定对应的语义预分类包括:
将所述已识别的文本输入语义预分类模型;其中,所述语义预分类模型通过各种长度的文本样本,以及对应标记的样本分类信息训练得到;
根据所述已识别的文本,由所述语义预分类模型生成对应的语义预分类。
3.根据权利要求2所述的方法,其特征在于,所述根据所述已识别的文本,由所述语义预分类模型生成对应的语义预分类包括:
根据所述已识别的文本,由所述语义预分类模型生成对应的至少一种语义预分类以及语义预分类对应的置信度。
4.根据权利要求3所述的方法,其特征在于,所述样本分类信息包括语义分类和对应的重要性数据,在所述将所述已识别的文本输入语义预分类模型之前,所述方法还包括:
根据历史文本,按照从开始到结束字数逐个递增的方式,提取得到所述各种长度的文本样本;其中,各个长度的文本样本包括所述历史文本中最开始的文字;
根据所述历史文本和对应的语义分类,确定对应的所述各种长度的文本样本的语义分类;
针对各个历史文本中相同的文本样本,对相同的语义分类的出现次数进行累加,得到所述各种长度的文本样本的各种语义分类的出现次数;
根据所述各种长度的文本样本的各种语义分类的出现次数,以及各种语义分类对应设置的语义分类权重,计算所述各种长度的文本样本的各种语义分类的重要性数据;其中,有效的语义分类对应设置的语义分类权重为正数,无效的语义分类对应设置的语义分类权重为负数;
根据所述各种长度的文本样本,以及对应标记的样本分类信息,训练得到所述语义预分类模型。
5.根据权利要求4所述的方法,其特征在于,所述样本分类信息包括所述各种长度的文本样本对应的有效语义次数和无效语义次数,在所述根据所述各种长度的文本样本,以及对应标记的样本分类信息,训练得到所述语义预分类模型之前,所述方法还包括:
针对所述各种长度的文本样本,分别将有效的语义分类的出现次数进行相加,得到所述有效语义次数,分别将无效的语义分类的出现次数进行相加,得到所述无效语义次数;
所述根据所述已识别的文本,由所述语义预分类模型生成对应的语义预分类还包括:
根据所述已识别的文本,由所述语义预分类模型生成所述已识别的文本为有效的语义分类的概率和无效的语义分类的概率。
6.根据权利要求3所述的方法,其特征在于,所述在对所述目标语音的识别处理完成前,启动所述语义预分类对应的语义处理包括:
当所述语义预分类对应的置信度超过第一预设阈值,则对所述语义预分类对应的语义处理进行启动,并对所述已识别的文本进行数据预处理。
7.根据权利要求6所述的方法,其特征在于,在所述在对所述目标语音的识别处理完成前,启动所述语义预分类对应的语义处理之后,所述方法还包括:
当所述语义预分类对应的置信度超过第二预设阈值,且所述语义预分类模型仅生成了一种语义预分类,则开始所述语义预分类对应的语义处理;
或者,当所述语义预分类对应的置信度超过第三预设阈值,则开始所述语义预分类对应的语义处理;
其中,所述第一预设阈值低于所述第二预设阈值,所述第二预设阈值低于所述第三预设阈值。
8.一种语义处理装置,其特征在于,包括:
文本获取模块,用于在对目标语音进行识别处理的过程中,获取已识别的文本;
预分类确定模块,用于根据所述已识别的文本,确定对应的语义预分类;
语义处理启动模块,用于在对所述目标语音的识别处理完成前,启动所述语义预分类对应的语义处理。
9.根据权利要求8所述的装置,其特征在于,所述预分类确定模块包括:
模型输入子模块,用于将所述已识别的文本输入语义预分类模型;其中,所述语义预分类模型通过各种长度的文本样本,以及对应标记的样本分类信息训练得到;
预分类生成子模块,用于根据所述已识别的文本,由所述语义预分类模型生成对应的语义预分类。
10.根据权利要求9所述的装置,其特征在于,所述预分类生成子模块包括:
置信度生成子模块,用于根据所述已识别的文本,由所述语义预分类模型生成对应的至少一种语义预分类以及语义预分类对应的置信度。
11.根据权利要求10所述的装置,其特征在于,所述样本分类信息包括语义分类和对应的重要性数据,所述装置还包括:
样本提取模块,用于在所述将所述已识别的文本输入语义预分类模型之前,根据历史文本,按照从开始到结束字数逐个递增的方式,提取得到所述各种长度的文本样本;其中,各个长度的文本样本包括所述历史文本中最开始的文字;
语义分类确定模块,用于根据所述历史文本和对应的语义分类,确定对应的所述各种长度的文本样本的语义分类;
出现次数累加模块,用于针对各个历史文本中相同的文本样本,对相同的语义分类的出现次数进行累加,得到所述各种长度的文本样本的各种语义分类的出现次数;
重要性数据计算模块,用于根据所述各种长度的文本样本的各种语义分类的出现次数,以及各种语义分类对应设置的语义分类权重,计算所述各种长度的文本样本的各种语义分类的重要性数据;其中,有效的语义分类对应设置的语义分类权重为正数,无效的语义分类对应设置的语义分类权重为负数;
模型训练模块,用于根据所述各种长度的文本样本,以及对应标记的样本分类信息,训练得到所述语义预分类模型。
12.根据权利要求11所述的装置,其特征在于,所述样本分类信息包括所述各种长度的文本样本对应的有效语义次数和无效语义次数,所述装置还包括:
次数相加模块,用于在所述根据所述各种长度的文本样本,以及对应标记的样本分类信息,训练得到所述语义预分类模型之前,针对所述各种长度的文本样本,分别将有效的语义分类的出现次数进行相加,得到所述有效语义次数,分别将无效的语义分类的出现次数进行相加,得到所述无效语义次数;
所述预分类生成子模块还包括:
概率生成单元,用于根据所述已识别的文本,由所述语义预分类模型生成所述已识别的文本为有效的语义分类的概率和无效的语义分类的概率。
13.根据权利要求10所述的装置,其特征在于,所述语义处理启动模块包括:
启动子模块,用于当所述语义预分类对应的置信度超过第一预设阈值,则对所述语义预分类对应的语义处理进行启动,并对所述已识别的文本进行数据预处理。
14.根据权利要求13所述的装置,其特征在于,所述装置还包括:
语义处理开始模块,用于在所述在对所述目标语音的识别处理完成前,启动所述语义预分类对应的语义处理之后,当所述语义预分类对应的置信度超过第二预设阈值,且所述语义预分类模型仅生成了一种语义预分类,则开始所述语义预分类对应的语义处理;
或者,语义处理开始模块,用于当所述语义预分类对应的置信度超过第三预设阈值,则开始所述语义预分类对应的语义处理;
其中,所述第一预设阈值低于所述第二预设阈值,所述第二预设阈值低于所述第三预设阈值。
15.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-7任一所述的方法步骤。
16.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一所述的方法。
CN202210031195.0A 2022-01-12 2022-01-12 一种语义处理方法、装置、电子设备、存储介质 Pending CN116467404A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210031195.0A CN116467404A (zh) 2022-01-12 2022-01-12 一种语义处理方法、装置、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210031195.0A CN116467404A (zh) 2022-01-12 2022-01-12 一种语义处理方法、装置、电子设备、存储介质

Publications (1)

Publication Number Publication Date
CN116467404A true CN116467404A (zh) 2023-07-21

Family

ID=87175847

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210031195.0A Pending CN116467404A (zh) 2022-01-12 2022-01-12 一种语义处理方法、装置、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN116467404A (zh)

Similar Documents

Publication Publication Date Title
CN108509619B (zh) 一种语音交互方法及设备
CN108874776B (zh) 一种垃圾文本的识别方法及装置
CN108304372B (zh) 实体提取方法和装置、计算机设备和存储介质
CN110727779A (zh) 基于多模型融合的问答方法及系统
CN110019742B (zh) 用于处理信息的方法和装置
CN107341143B (zh) 一种句子连贯性判断方法及装置和电子设备
CN111967264B (zh) 一种命名实体识别方法
CN110298041B (zh) 垃圾文本过滤方法、装置、电子设备及存储介质
CN113326702B (zh) 语义识别方法、装置、电子设备及存储介质
CN112149386A (zh) 一种事件抽取方法、存储介质及服务器
CN112926308B (zh) 匹配正文的方法、装置、设备、存储介质以及程序产品
CN109062891B (zh) 媒体处理方法、装置、终端和介质
CN114218945A (zh) 实体识别方法、装置、服务器及存储介质
CN112668333A (zh) 命名实体的识别方法和设备、以及计算机可读存储介质
EP3635575A1 (en) Sibling search queries
CN111737990A (zh) 一种词槽填充方法、装置、设备及存储介质
CN116306679A (zh) 一种基于语义可配置的多模态智能客服对话的方法和系统
CN113204956B (zh) 多模型训练方法、摘要分段方法、文本分段方法及装置
CN111428011B (zh) 词语的推荐方法、装置、设备及存储介质
CN110750626B (zh) 一种基于场景的任务驱动的多轮对话方法及系统
CN112560425A (zh) 模板生成方法、装置、电子设备及存储介质
CN112447173A (zh) 语音交互方法、装置及计算机存储介质
CN113011162B (zh) 一种指代消解方法、装置、电子设备及介质
CN107656627B (zh) 信息输入方法和装置
CN113255319B (zh) 模型训练方法、文本分段方法、摘要抽取方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination