CN115602159A - 资源名权重确定方法、语音信息处理方法以及装置 - Google Patents
资源名权重确定方法、语音信息处理方法以及装置 Download PDFInfo
- Publication number
- CN115602159A CN115602159A CN202211199895.7A CN202211199895A CN115602159A CN 115602159 A CN115602159 A CN 115602159A CN 202211199895 A CN202211199895 A CN 202211199895A CN 115602159 A CN115602159 A CN 115602159A
- Authority
- CN
- China
- Prior art keywords
- weight
- resource name
- resource
- corpus
- documents
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 102
- 230000010365 information processing Effects 0.000 title claims description 27
- 238000003672 processing method Methods 0.000 title description 20
- 230000008859 change Effects 0.000 claims abstract description 22
- 238000004364 calculation method Methods 0.000 claims abstract description 16
- 230000003247 decreasing effect Effects 0.000 claims abstract description 13
- 238000005070 sampling Methods 0.000 claims description 36
- 230000006870 function Effects 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 15
- 230000011218 segmentation Effects 0.000 claims description 7
- 230000009193 crawling Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 5
- 241000282836 Camelus dromedarius Species 0.000 description 4
- 206010027145 Melanocytic naevus Diseases 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 208000007256 Nevus Diseases 0.000 description 3
- 229910052956 cinnabar Inorganic materials 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000013179 statistical model Methods 0.000 description 2
- 241000238558 Eucarida Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1822—Parsing for meaning understanding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3343—Query execution using phonetics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
Abstract
本申请提供了一种资源名权重确定方法、语音信息处理方法以及装置,权重确定方法包括获取需要进行权重计算的资源名,确定资源名在预先建立的语料库中的重要度,将重要度输入到预先建立的权重公式,输出资源名权重,其中权重公式为单调递减函数,权重公式的变化率随重要度的增大而变小。该资源名权重确定方法,根据资源名在语料库的重要度来确定其权重,能快速且准确计算出各资源名的权重;构建语音助手的规则引擎时充分考虑资源名的权重,可以使规则引擎不容易受到资源名语义信息丰富性的干扰,从而避免规则引擎的错配,从而进一步保证语音助手执行正确的技能。
Description
技术领域
本申请涉及数据处理技术领域,具体涉及一种资源名权重确定方法、语音信息处理方法以及装置。
背景技术
随着语音识别技术的发展,越来越多的智能设备(例如智能手机、智能耳机)等安装有语音助手。语音助手可以与智能设备的用户进行语音交互,以识别出用户的意图,从而帮助用户解决一些实际的问题或代替用户对智能设备进行操作。例如,用户可以通过语音助手发出“打开地图或音乐”的命令,智能设备可以识别出用户需要打开地图或播放音乐的意图后,就可以触发智能设备中地图或音乐播放程序启动。
语音助手的应用场景非常广泛,例如启动智能设备中应用程序、搜索问题答案等。为了使其适用不同的应用场景,其需要具备不同的技能。目前,通常会使用规则引擎的方式来构建语音助手的不同技能,常用的规则引擎的方式为:某技能通用句式+部分关键词+实体对象。而实体对象通常是互联网上各种资源名(如音乐、小说、书名等)。由于资源名存在非常宽泛的自由度,容易影响规则引擎中的“通用句式”和/或“部分关键词”,甚至是影响到其他实体对象。比如:演员,即是职业或角色,也是歌名;别,是一首歌,同样也是关键词。
基于此,在构建语音助手的规则引擎时容易受到资源名语义信息丰富性的干扰,会导致规则引擎的错配,从而最终导致语音助手执行错误的技能。
发明内容
有鉴于此,本申请实施例中提供了一种资源名权重确定方法、语音信息处理方法以及装置,以克服现有技术构建语音助手的规则引擎时容易受到资源名语义信息丰富性的干扰,会导致规则引擎的错配,从而最终导致语音助手执行错误的技能的问题。
第一方面,本申请实施例提供了一种资源名权重确定方法,该方法包括:
获取需要进行权重计算的资源名;
确定所述资源名在预先建立的语料库中的重要度;
将所述重要度输入至预先建立的权重公式,以输出所述资源名的权重;
其中,权重公式为单调递减函数,所述权重公式的变化率随所述重要度的增大而变小。
第二方面,本申请实施例提供了一种语音信息处理方法,该方法包括:
在语音启动后,接收语音信息;
当识别出语音信息中包含有资源名时,获取所述资源名的权重;其中所述资源名的权重采用上述第一方面所述的方法来计算;
当所述资源名的权重大于或等于第二预设阈值时,执行第一预设操作;
当所述资源名的权重小于第二预设阈值时,执行第二预设操作。
第三方面,本申请实施例提供了一种资源名权重确定装置,该装置包括:
资源名获取模块,用于获取需要进行权重计算的资源名;
重要度确定模块,用于确定所述资源名在预先建立的语料库中的重要度;
权重输出模块,用于将所述重要度输入至预先建立的权重公式,以输出所述资源名的权重;
其中,权重公式为单调递减函数,所述权重公式的变化率随所述重要度的增大而变小。
第四方面,本申请实施例提供了一种语音信息处理装置,该装置包括:
语音信息接收模块,用于在语音助手启动后,接收语音信息;
权重获取模块,用于当识别出语音信息中包含有资源名时,获取所述资源名的权重;其中所述资源名的权重采用上述第一方面所述的方法来计算;
第一执行模块,用于当所述资源名的权重大于或等于第二预设阈值时,执行第一预设操作;
第二执行模块,用于当所述资源名的权重小于第二预设阈值时,执行第二预设操作。
第五方面,本申请实施例提供了一种终端设备,包括:存储器;一个或多个处理器,与所述存储器耦接;一个或多个应用程序,其中,一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行,一个或多个应用程序配置用于执行上述第一方面提供的资源名权重确定方法,和/或上述第二方面提供的语音信息处理方法。
第六方面,本申请实施例提供了一种计算机可读取存储介质,计算机可读取存储介质中存储有程序代码,程序代码可被处理器调用执行上述第一方面提供的资源名权重确定方法,和/或上述第二方面提供的语音信息处理方法。
本申请实施例提供的资源名权重确定方法、装置、终端设备和计算机可读存储介质,首先获取需要进行权重计算的资源名,然后确定资源名在预先建立的语料库中的重要度,再将重要度输入到预先建立的权重公式,输出资源名权重,其中权重公式为单调递减函数,权重公式的变化率随重要度的增大而变小。
其中,资源名的重要度可以表示资源名在预先建立的语料库中的重要程度。当资源名在语料库中重要度越高,说明该资源名在语料库中出现的次数、频率等越高或使用的场景越多样,进而说明该资源名是一个常用词或通用词,其包含的语义信息也就越丰富多样(即一个资源名存在多种含义),当其在语音信息/文本信息中被匹配上时,更容易对语音助手执行具体任务产生干扰,因此对常用词或通用词的资源名的赋予更小权重;而当资源名在语料库中重要度越低时,说明该资源名在语料库中出现的次数、频率等越低,或其使用的场景越单一,进而说明该资源名是一个特定词,其包含的语音信息也就越单一且固定,当其在语音信息/文本信息中被匹配上时,更不容易对语音助手执行具体任务产生干扰,那么对特定词的资源名赋予更大的权重。
权重公式是一种权重映射函数,其具有单调递减,以及当资源名的重要度较小时其变化率较大,当资源名的重要度较大时其变化率较小的特性;采用该公式可以根据资源名的重要度准确且有效地计算出资源名的权重。
该资源名权重确定方法,根据资源名在语料库的重要度来确定其权重,能快速且准确计算出各资源名的权重;构建语音助手的规则引擎时充分考虑资源名的权重,可以使规则引擎不容易受到资源名语义信息丰富性的干扰,从而避免规则引擎的错配,从而进一步保证语音助手执行正确的技能。
本申请实施例提供的语音信息处理方法、装置、终端设备和计算机可读存储介质,由于采用了本申请实施例提供的资源名权重确定方法,使得计算出来的资源名的权重非常的准确,然后根据不同的权重来构建不同规则引擎从而来执行不同的操作。该语音信息处理方法在使用语音助手执行不同技能时避免其引擎规则受资源名语义信息丰富性的干扰,从而避免规则引擎的错配以及保证语音助手执行正确的技能。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的资源名权重确定方法和/或语音信息处理方法的应用场景示意图;
图2为本申请一个实施例提供的资源名权重确定方法的流程示意图;
图3为本申请一个实施例提供的语音信息处理方法的流程示意图;
图4为本申请一个实施例中提供的资源名权重确定装置的结构示意图;
图5为本申请一个实施例中提供的语音信息处理装置的结构示意图;
图6为本申请一个实施例中提供的终端设备的结构示意图;
图7为本申请一个实施例中提供的计算机可读存储介质的结构示意图。
具体实施方式
下面将对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
为了更详细说明本申请,下面结合附图对本申请提供的一种资源名权重确定方法、装置、终端设备和计算机可读存储介质,进行具体地描述。
请参考图1,图1示出了本申请实施例提供的资源名权重确定方法的应用场景的示意图,该应用场景包括本申请实施例提供的终端设备100,终端设备100可以是具有显示屏的各种电子设备(如102、104、106和108的结构图),包括但不限于智能手机、计算机设备、智能耳机以及智能手表等,其中计算机设备可以是台式计算机、便携式计算机、膝上型计算机、平板电脑等设备中的至少一种。终端设备可以安装并运行有语音助手相关应用程序,例如Siri、Bixby、Google Assistant、Amazon Alex等;语音助手其实就是一个智能应用,终端设备的用户可以通过与语音助手的智能对话与即时问答的智能交互,以此来帮助用户解答一些相关问题或代替用户对终端设备进行操作。例如,在一种使用场景中,用户可以通过终端设备的语音助手发出“打开导航”的命名,终端设备识别出用户的意图后就打开地图,规划相关路线并开始导航。在另一种使用场景中,终端设备的语音助手在检测到用户输入“播放歌曲演员”时,终端设备就会启动音乐播放器并播放演员这首歌曲。
另外,语音助手的应用场景非常广泛,例如启动智能设备中应用程序、搜索问题答案等。为了使其适用不同的应用场景,其需要具备不同的技能。目前,通常会使用规则引擎的方式来构建语音助手的不同技能,常用的规则引擎的方式为:某技能通用句式+部分关键词+实体对象。而实体对象通常是互联网上各种资源名(如音乐、小说、书名等)。由于资源名存在非常宽泛的自由度,容易影响规则引擎中的“通用句式”和/或“部分关键词”,甚至是影响到其他实体对象。比如:演员,即是职业或角色,也是歌名;别,是一首歌,同样也是关键词。在这种情况下,语音助手就存在无法准确识别用户真实意图,从而导致响应错误,造成用户体验不加。例如在一种使用场景中,用户想搜索“演员”这一职业的相关信息,通过语音助手发出“请搜索演员”这一命名,由于演员这一资源名具有多个语义(即资源名语义信息的丰富性),终端设备识别出的用户意图可能是“搜索演员这一职业”或“搜索演员这首歌”;如果终端设备识别出的用户意图是“搜索演员这首歌”,然后就播放了演员这首歌曲,那么此时就出现了响应错误。
为了解决这一问题,在本申请实施例中提出了一种资源名权重确定方法,考虑资源名在语料库中的重要性来对其赋予不同的权重,以便在构建语音助手的使用规则引擎时,减少资源名语义信息丰富性的干扰,从而提高语音助手执行技能的准确性。
此外,终端设备100可以维护有至少一种数据库,用于存储预先建立的语料库、权重公式以及预先配置的资源名库等。终端设备100可以泛指多个终端设备中的一个,本实施例仅以终端设备100来举例说明。本领域技术人员可以知晓,上述终端设备的数量可以更多或更少。比如上述终端设备可以仅为几个,或者上述终端设备为几十个或几百个,或者更多数量,本申请实施例对终端设备的数量和类型不加以限定。终端设备100可以用来执行本申请实施例中提供的一种资源名权重确定方法,和/或本申请实施例中提供的一种语音信息处理方法。
在一种可选的实施方式中,该应用场景包括本申请实施例提供的终端设备100之外,还可以包括服务器,其中服务器与终端设备之间设置有网络。网络用于在终端设备和服务器之间提供通信链路的介质。网络可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
应该理解,终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。比如服务器可以是多个服务器组成的服务器集群等。其中,终端设备通过网络与服务器交互,以接收或发送消息等。服务器可以是提供各种服务的服务器。其中服务器可以用来执行本申请实施例中提供的一种资源名权重确定方法,和/或一种语音信息处理方法的步骤。此外,终端设备在执行本申请实施例中提供的一种资源名权重确定方法时,和/或语音信息处理方法时,可以将一部分步骤在终端设备执行,一部分步骤在服务器执行,在这里不进行限定。
基于此,本申请实施例中提供了一种资源名权重确定方法。请参阅图2,图2示出了本申请实施例提供的一种资源名权重确定方法的流程示意图,以该方法应用于图1中的终端设备为例进行说明,包括以下步骤:
步骤S110,获取需要进行权重计算的资源名。
其中,资源名是指实体对象的名称,包括但不限于歌曲名、小说名、书名等。
步骤S120,确定资源名在预先建立的语料库中的重要度。
具体地,语料库可以包括多篇文档。其中文档所属的领域可以是多样化的,包括但不限于体育类、政治类、经济类、文化类、娱乐类、科技类、文学类等。文档的类型和格式也可以是多种多样的,以及文档中所使用的语言(例如中文、英文、法文等)、字体(例如简体、繁体、宋体、楷体等)等也可以是多种多样的。
进一步地,语料库通常是预先建立的,其中包括的文档数量可以是不固定的,用户或语料库的维护人员等可以根据实际的使用场景对语料库进行调整。
资源名在语料库中的重要度可以表示某一个资源名在语料库中的重要程度,通常与该资源名在语料库中出现的次数、频率、以及使用的场景多样性有关。可以理解的是,当一个资源名在语料库中出现的次数、频率等越高,或其使用的场景越多样,说明该资源名越可能是一个常用词或通用词,那么其包含的语义信息也就越丰富多样,例如一个资源名存在多种含义。当资源名在语料库中重要度越低时,说明该资源名可能在语料库中出现的次数、频率等越低,或其使用的场景越单一,进而说明该资源名很可能是一个特定词,其包含的语义信息较为单一且固定。那么,对于作为常用词的资源名和作为特定词的资源名,在对两者进行权重计算时需要考虑其特有的属性或特点,以便于输出更准确的权重,使得语音助手在执行不同技能时可以准确地参考各个资源名的权重,来避免其受资源名语义信息丰富性的干扰。
可选地,语言助手在实际使用中可能会检测到用户可能发出一些语音信息,并且该语音信息中涉及到了资源名;在有的情况下,该语音信息中的资源名是为了控制语言助手执行相关任务操作(例如播放歌曲,搜索网页信息);而在有的情况下,该语音信息中涉及到的资源名仅是用户与朋友等聊天涉及到话题,此时并不需要语音助手执行操作,但因为资源名存在可能对任务执行产生干扰;亦或者是该语音信息中涉及的资源名是个常用词,其含义多样,不同含义对应的操作不同,此时也会对任务执行操作产生干扰。基于此,对于作为常用词的资源名分配较小的权重,而作为特定词的资源名分配较大权重,后续语音助手在执行任务时若匹配到权重较大的资源名,那么此时可以直接执行该权重较大的资源名对应的任务操作;若匹配到权重较小的资源名,那么就需要其他的一些操作(例如增加一些特定句式以及关键词)等来综合判断,从而来确定最终任务操作。
步骤S130,将重要度输入至预先建立的权重公式,以输出资源名的权重。
其中,权重公式为单调递减函数,权重公式的变化率随重要度的增大而变小。
具体来说,权重公式是一种权重映射函数。该权重映射函数是一种单调递减函数,在资源名的重要度较小时变化率较大,随着资源名的重要度增加变化率逐渐降低。其值域为(0,y],其中y为正数。为了计算的方便y可以取1,那么权重公式的值域为(0,1],那么根据该权重公式计算出的资源名的权重取值也为(0,1]。
可选地,权重公式可以是反双曲线函数。在资源名的重要度较小时,其变化率差异较大,对应计算出的权重就越大;当资源名的重要度较大时,其变化率差异逐步变小,对应计算出的权重就越小。反双曲线函数通常情况下会使资源名的权重收敛在1之下。
为了便于理解本方案,给出一个详细的实施例。假设有两个资源名分别为:“达拉崩吧”和“某人”,预先配置的语料库A和预先建立的权重公式f(x),经过计算“达拉崩吧”在语料库A中的重要度为m,而“某人”在A中的重要度为n;由于“达拉崩吧”在语料库A中的重要度要小于“某人”在语料库A中的重要度,那么m小于n;然后分别将m和n代入权重公式f(x),计算出的“达拉崩吧”的权重为s,“某人”的权重为t,其中s和t的取值都可以是0~1,且s大于t;例如s可以是1;t可以是0.36。
需要说明的是,一个资源名在语料库中的重要度并不是固定不变的,其会随语料库中文档的更新(增加或减少)发生变化;或者在语料库不变时,随着语言的不断发展,资源名使用的场景也会随之增加或减少,从而导致其在语料库的重要度也会随之变化。为了使资源名的权重更加准确,可以定时更新语料库中的文档,以及资源名在语料库的重要度,以便在资源名重要度发生改变时,及时更新其权重。
本申请实施例提供的资源名权重确定方法,首先获取需要进行权重计算的资源名,然后确定资源名在预先建立的语料库中的重要度,再将重要度输入到预先建立的权重公式,输出资源名权重,其中权重公式为单调递减函数,权重公式的变化率随重要度的增大而变小。
其中,资源名的重要度可以表示资源名在预先建立的语料库中的重要程度。当资源名在语料库中重要度越高,说明该资源名在语料库中出现的次数、频率等越高或使用的场景越多样,进而说明该资源名是一个常用词或通用词,其包含的语义信息也就越丰富多样(即一个资源名存在多种含义),当其在语音信息/文本信息中被匹配上时,更容易对语音助手执行具体任务产生干扰,因此对常用词或通用词的资源名的赋予更小权重;而当资源名在语料库中重要度越低时,说明该资源名在语料库中出现的次数、频率等越低,或其使用的场景越单一,进而说明该资源名是一个特定词,其包含的语义信息也就越单一且固定,当其在语音信息/文本信息中被匹配上时,更不容易对语音助手执行具体任务产生干扰,那么对特定词的资源名赋予更大的权重。
权重公式是一种权重映射函数,其具有单调递减,以及当资源名的重要度较小时其变化率较大,当资源名的重要度较大时其变化率较小的特性;采用该公式可以根据资源名的重要度准确且有效地计算出资源名的权重。
该资源名权重确定方法,根据资源名在语料库的重要度来确定其权重,能快速且准确计算出各资源名的权重;使得构建语音助手的规则引擎(其中规则引擎是语音助手执行不同技能时的指令)时充分考虑资源名的权重,可以使规则引擎不容易受到资源名语义信息丰富性的干扰,从而避免规则引擎的错配,从而进一步保证语音助手执行正确的技能。
进一步地,给出了几种计算资源名在语料库中重要度的实施方式,详细描述如下:
第一种实施方式:
在一个实施例中,重要度包括词频;在执行步骤S120,确定资源名在预先建立的语料库中的重要度,包括:
S1:统计资源名在语料库的每篇文档中出现的次数。
S2:根据每篇文档中出现的次数计算出资源名在语料库中出现的总次数,以得到资源名在语料库中的词频。
具体来说,词频是一种用于情报检索与文本挖掘的常用加权技术,用以评估一个词对于一个文件或者一个语料库中的一个领域文件集的重复程度。词的重要性随着它在文件中出现的次数成正比增加。因此,在本实施例中资源名在语料库中的重要度可以是通过该资源名在语料库中出现的词频来确定。
语料库中通常包含很多篇文档,首先可以计算出资源名在每一篇文档中出现的次数,然后将资源名在每一篇文档中出现的次数进行求和,从而得到资源名在语料库中出现的总次数,总次数记为资源名在语料库中的词频。在在本实施例中,直接将资源名在语料库中出现的总次数记为词频,可以大大减少了计算量,并且能快速准确地计算出词频,以便快速确定资源名在语料库中的重要度。
第二种实施方式:
在一个实施例中,重要度包括词频逆文档频率值;在执行步骤S120,确定资源名在预先建立的语料库中的重要度,包括:
S3,统计资源名在语料库的每篇文档中出现的次数、文档总数量以及包含资源名的文档数量。
S4,根据每篇文档中出现的次数计算出资源名在语料库中出现的总次数,以得到资源名在语料库中的词频。
S5,对词频进行标注化处理,得到标准词频。
S6,根据包含资源名的文档数量和文档总数量,计算逆文档频率。
S7,根据标准词频和逆文档频率计算资源名在预先建立的语料库中的词频逆文档频率值。
具体地,TF-IDF(term frequency-inverse document frequency)是一种用于信息检索与数据挖掘的常用加权技术,其中TF(Term Frequency)是词频,IDF(InverseDocument Frequency)是逆文本频率指数。TF-IDF是一种统计方法,用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加,但同时会随着它在语料库中出现的频率成反比下降。其主要思想是如果某个单词在一篇文章中出现的频率TF高,并且在其他文档中很少出现,则认为该单词或者短语具有很好的类别区分能力,适合用来分类。
在本实施例中,可以采用资源名的词频逆文档频率值来表示该资源名在语料库中的重要度。其中,资源名的词频逆文档频率值可以采用TF-IDF来计算。在计算资源名的词频逆文档频率值时主要分成两大部分:计算资源名的词频(即TF)以及计算资源名的逆文档频率指数(IDF)。资源名的词频主要是计算资源名在语料库中出现的总次数,具体过程与步骤S1~S2相同,在此不再赘述。在计算出词频后,通常会被其进行标准化或归一化处理(一般是词频除以文章总词数),以防止它偏向长的文件,其中标准化或归一化处理后的词频可以计算标准词频。而资源名的逆文档频率主要是总文档数目除以包含该资源名的文档的数目,再将得到的商取对数得到。在计算出词频和逆文档频率后,就可以计算资源名在预先建立的语料库中的词频逆文档频率值。
采用上述的方法计算出的资源名在语料库中的重要度更加准确。
接下来,给出了一种构建语料库的实施方式,具体描述如下:
在一个实施例中,语料库通过以下方式建立:爬取多个文档,对各文档按领域进行分类;采用分层抽样方法从每一类别的文档中提取相应数量的文档,以形成语料库。
具体而言,首先从互联网上爬取多个文档。为了提供爬取的文档中文章语言的规范性和准确性,可以从新闻网站上爬取新闻文稿文档,其中新闻文稿文档所涉及的领域应该是多样的,例如体育类、经济类、娱乐类、政治类、文化类等。
在爬取文档后,可以按照文档所属领域对其进行分类。为了保证建立的语料库的准确性,应尽量保证在各个领域都要足够数量的文档。在对文档分类完成后,从每一类别的文档中提取相应数量的文档,从而形成语料库。其中在从每一类别文档中提取的文档数量可以相同,也可以不同,具体可以根据实际使用场景或环境进行调整。
需要说明的是,语料库中文档数量越多,计算出的资源名的重要度就越准确,但是文档数量多计算量就会显著增加;因此,在实际使用过程中,可以选择合适数量的文档形成语料库。
采用上述的方式形成的语料库更加的准确,不会出现部分领域文档过多或过少,从而使得确定的资源名在语料库中的重要度出现比较大的偏差,最终导致计算出的权重不准确。
进一步地,还给出了一种从不同类别文档中提取文档的实施方式,具体描述如下:
在一个实施例中,从每一类别的文档中提取相应数量的文档,以形成语料库,包括:
对每一类别的文档的对应设置抽样数量、最大抽样限值和最小抽样限值;按照抽样数量从每一类别的文档中随机抽取相应数量的文档,以形成语料库;或:从每一类别的文档中随机抽取小于或等于最大抽样限值数量的文档,以形成语料库;或:从每一类别的文档中随机抽取大于或等于最小抽样限值数量的文档,以形成语料库。
具体来说,每一类别中都包含有若干数量的文档,需要从每一类别中都抽取一部分文档来构建语料库。由于每个类别中包含的文档数量通常不相同以及资源名出现在不同类别的文档中的概率不同(例如资源名可能出现在娱乐类文档中的概率更高,来出现在政治类文档中的概率更低),因此在对每一类别的文档进行抽样提取时,需要综合考虑这些因素,从每一种类别文档中提取合适数据的文档。在本实施例中,可以对每一类别文档设置抽样数量、最大抽样限值和最小抽样限值;在从每一类别文档中进行抽样时,可以按照抽样数量进行抽样;也可以按照最大抽样限值或最小抽样限值进行抽样。
需要说明的是,对于每一类别文档设置的抽样数量、最大抽样限值和最小抽样限值可以是相同,也可以不相同;具体可以根据实际使用场景或使用环境进行设置或调整。其中,最大抽样限值是指能从某一类别文档中抽取的最大文档数量;最小抽样限值是指能从某一类别文档中抽取的最小文档数量。
采用上述的方式可以使抽样方式更加灵活多样,并且使得形成的语料库具备更加优良的性质。
接下来,还给出了一种调整资源名的权重的实施方式,详细描述如下:
在一个实施例中,将重要度输入至预先建立的权重公式,以输出资源名的权重,包括:将重要度输入至预先建立的权重公式,输出资源名的初始权重;根据资源名的词性来对初始权重进行调整,以得到资源名的权重。
具体地,经研究发现不同词性的资源名在语料库中出现的概率差异较大。例如当资源名为名词(如人名、热门歌曲等)时,在语料库中出现的概率相对较高,而当资源名时形容词、动词或副词时,其在语料库中出现的概率相对较低。为了使计算出来的资源名的权重更加的准确,可以根据资源名的词性来对通过权重公式计算出来的资源名的权重进行调整。
在一个实施例中,根据资源名的词性来对初始权重进行调整,以得到资源名的权重,包括:当资源名为名词,且初始权重小于或等于第一预设阈值时,将初始权重调整至预设最大值,以得到资源名的权重;
当资源名为非名词时,或,当资源名为名词且初始权重大于第一预设阈值时,将初始权重记为资源名的权重。
具体来说,先采取权重公式来计算出资源名的初始权重;然后确定资源名的词性以及判断初始权重是否小于或等于第一预设阈值;当资源名的词性为名词时,并且初始权重小于或等于第一预设阈值时,将初始权重调整至预设最大值,从而得到资源名的权重。由于常用词中名词居多,针对名词词性的资源名,其计算出的初始权重一般较小;但名词词性的资源名往往也存在很多专有名词(例如网络热词、特定歌曲名、现象级专属词汇等),这些专有名词在语音助手执行技能时应当被确认为可触发具体技能所对应的关键词keyword。
由于作为专有名词应当被赋予更高的权重以在语音助手执行技能时能被命中匹配,故需要对其初始权重进一步修正。因此,当具备名词词性的资源名计算出来的初始权重小于或等于第一预设阈值(例如0.85)时,将其初始权重调整至预设最大值,例如可以将其初始权重调整为1,以便在语音助手执行歌曲搜索等技能时,作为专有名词的资源名可以被完全命中匹配上用于执行对应的操作,例如参考该调整后的权重则可以直接针对该资源名执行搜索功能。当资源名的词性非名词,例如副词、动词、形容词、连词等;或者资源名的词性为名词,并且资源名的初始权重大于第一预设阈值时,不对资源名的初始权重进行调整,直接将初始权重记为资源名的权重。
需要说明的,第一预设阈值、预设最大值都是预先设置的值,其取值都是正数;具体值用户可以根据实际需要进行设置。
为了便于理解本方案,给出一个详细的实施例。假设有资源名“白月光与朱砂痣”和“勇敢”,采用权重公式分别计算出来的资源名“白月光与朱砂痣”和“勇敢”的初始权重为h和k,资源名“白月光与朱砂痣”的词性为名词,而资源名“勇敢”的词性为形容词;其中第一预设阈值为0.85;而预设最大值为1。如果h=0.7,那么此时h调整为1,从而得到资源名“白月光与朱砂痣”的权重为1;如果h=0.9,那么此时就不需要调整h,资源名“白月光与朱砂痣”的权重为0.9。而k无论是大于小于或等于0.85,都不需要调整,那么资源名“勇敢”的权重为k。
采用上述的方式可以根据资源名的实际情况对其权重进行调整,使其权重更加精确。
进一步地,给出了一种确定资源名词性的实施方式,具体描述如下:
在一个实施例中,根据资源名的词性来对初始权重进行调整之前,还包括:
对资源名进行分词处理,得到各词语;判定各词语的词性,并计算每种词性的占比;选择大于预设比例,且取值最大的占比对应的词性为资源名的词性。
具体而言,词语是词和短语的合称,包括词(含单词、合成词)和词组(又称短语),是组成语句文章的最小组词结构形式单元。而资源名可能比较长,由多个词语组成,并且多个词语的词性可能并不相同,此时就比较难以确定资源名的词性。基于此,可以对资源名进行分词处理,从而得到各词语。然后分别来判断各词语的词性,并计算各词性在资源名下的占比。当某个词性的占比大于预设比例,且该占比为取值最大的占比时,将该占比的词性确定为资源名的词性。另外,在对资源名进行分词时可以采用N-gram神经网络模型、统计学模型、传统分词技术等。
需要说明的,预设比例是预先设置的值,其取值都是正数;具体值用户可以根据实际需要进行设置。
为了便于理解,给出一个详细的实施例。假设需要确定资源名“小明是好孩子”的词性,此时很难直接判断该资源名的词性,其中预设比例为0.45。那么先对该资源名进行分词处理,得到如下词语:“小明”、“是”、“好”、“孩子”,其中“小明”和“孩子”都是名词;“好”是形容词,“是”是动词。那么名词的占比为1/2,形容词的占比为1/4,动词的占比为1/4。由于名词的占比为1/2大于预设比例(0.45),且该占比在该资源名中占比最大,此时就确定资源名“小明是好孩子”的词性为名词。
采用上述的方法可以快速且准确地判断出资源名的词性。
接下来,给出了几种权重公式的具体表达式,详细说明如下:
在一个实施例中,权重公式包括第一权重公式或第二权重公式;其中,第一权重公式的表达式为:
Weight=1-((x/para)/(1+(x/para))
第二权重公式的表达式为:
Weight=1-(e-x/par-ex/para)/(e-x/par+ex/para)
其中,Weight表示资源名的权重,x表示资源名在预先建立的语料库中的重要度,para表示超参数,e表示自然常数。
具体地,第一权重公式、第二权重公式都可以用来计算资源名的权重。但是第一权重公式的区分度和变化率较大,计算出来的权重差异度也更大;而第二权重公式的区分度和变化率较小,整体更加平滑,计算出来的权重差异度会更小。
此外,超参数para在单一权重公式的计算过程中是固定值,但长期来看,超参数para并不是一个固定值,其会在语料库更新后进行调整。即超参数可以是根据语料库的量级进行动态调整,通常可以是选择语料库抽样量级所对应的经验值。例如,当前语料库从100数量级扩增至10000,则para也会对应调大。
需要说明的是,针对同一个资源名,采用第一权重公式和第二权重公式计算出来的权重是不相等的,甚至差异可能比较大;那么对于一个资源名而言,究竟是选择哪一个权重公式计算其权重,具体可以根据该资源名使用的实际场景来选择。例如在第一种场景中,需要资源名的权重大些,就可以选择第一权重公式来计算其权重;在第二种场景中,需要资源名的权重小些,就可以选择第二权重公式来计算其权重。
针对同一批的多个资源名来说,可以分别选择不同的权重公式来计算各自的权重。
采用上述的方法可以更加灵活且准确地计算出每个资源的权重。
应当理解,在计算资源名的权重时采用的权重不限于本实施例中提到的第一权重公式或第二权重公式,根据本发明的技术启示,本领域技术人员还可以采用其他权重公式来计算资源名的权重,只要该权重公式具有单调递减,当资源名的重要度较小时其变化率较大,当资源名的重要度较大时其变化率较小的特性即可。
在一种实施例中,执行步骤S120,确定资源名在预先建立的语料库中的重要度之前,还包括:确定资源名存在于预先配置的资源名库中。
具体来说,预先配置的资源名库是预先构建的,并且是存储有若干数量的资源名的数据库。其中,资源名库中存储的资源名通常是一些使用频率非常高的词语。
可选地,资源名库可以歌曲库、故事库等,对于歌曲库,资源名就可以理解为各种歌名,对于故事库,资源名就可以理解为各种故事的名称。
在本实施例中,在确定资源名在预先建立的语料库中的重要度之前,可以先确定资源名是否存在于预先配置的资源名库中;如果资源名不存在于预先配置的资源名库中,说明该资源名不是一个使用频率比较高的词语,或者说其是一个在常用的语境中不会被用到的词汇(即被使用的概率很低),那么为了减少计算量,可以不用计算其权重。
另外,当资源名不在预先配置的资源名库中时,可以进一步判断该资源名是否是一个使用频率很高的词汇,具体可以计算资源名在预先建立的语料库中出现的次数;如果其出现的次数大于预设次数,说明该资源名出现频率较高,被使用到概率很高,那么此时可以将该资源名存储于资源名库中,从而来更新资源名库。
进一步地,资源名库可以定时更新,及时删除或增加一些资源名。例如当可以通过监测音乐、故事会网站,当音乐或故事增加时,及时将更加的音乐名、故事名称更新到资源名库中。
效果实施例:
采用本申请实施例中提供的资源名权重确定方法来计算资源名的权重,其计算结果如下表所示:
资源名 | 资源名的权重 |
我知道你都知道 | 1.0 |
等我回家 | 0.9803921568627450 |
别 | 0.001760284461969080 |
摩天大楼 | 0.7407407407407410 |
有没有 | 0.041186161449752800 |
达拉崩吧 | 1.0 |
婚礼的祝福 | 0.9900990099009900 |
骆驼 | 0.3472222222222220 |
背过手 | 0.9900990099009900 |
几个你 | 0.9900990099009900 |
独角戏 | 0.8333333333333330 |
来日方长 | 0.9433962264150940 |
渡 | 0.03946329913180750 |
等不到的你 | 0.970873786497767 |
某人 | 0.36496350364963500 |
闪耀 | 0.3134796238244510 |
他的爱 | 0.625 |
不服 | 0.15243902439024400 |
吵架歌 | 1.0 |
分手季节 | 1.0 |
少年战 | 0.9900990099009900 |
从上表中可以看出,常用词的资源名的权重比较小,例如“别”、“有没有”、“渡”以及“某人”这些都是非常常用的词语,因此其权重都比较小;而特定词的资源名的权重比较大,尤其是固定搭配词语、专有名词等,其对应的权重值可以达到最大值,例如“我知道你都知道”、“达拉崩吧”、“吵架歌”以及“分手季节”的权重都为1。对不同资源名赋予不同的权重,以便在语音助手执行任务操作(例如歌曲搜索)时,当资源名被匹配上,参考该资源名的权重可以减少通用资源名(即作为常用词的资源名)的干扰,从而使得语音助手可以执行正确操作。
基于本申请实施例提供的资源名权重确定方法,本申请实施例中提供了一种语音信息处理方法。请参阅图3,图3示出了本申请实施例提供的一种语音信息处理方法的流程示意图,以该方法应用于图1中的终端设备为例进行说明,包括以下步骤:
步骤S210,在语音助手启动后,接收语音信息。
其中,语音助手可以是一个独立运行在终端设备中的应用程序,也可以是配置在某一应用程序中的组件。在用户使用过程中,用户可以通过触控终端设备是上的物理案件来触发语音助手启动,或者是通过触控终端设备所显示的虚拟按键来触发语音助手启动;还可以是通过语音命令(例如请启动语音助手等)来触发语音助手启动。还可以是将语音助手设置成开机自启动模式,当终端设备开机时,语音助手会自动启动。
当语音助手启动后,可以开始接收语音信息。
步骤S220,当识别出语音信息中包含有资源名时,获取资源名的权重。
其中资源名的权重采用资源名权重确定方法实施例中提供的方法来计算。
具体来说,在接收到语音信息后,可以对语音信息进行识别。可以理解的是对语音信息进行识别时可以采用多种方法,例如可以采用第三方语音识别系统来识别语音;也可以是采用终端设备自带的语音识别工具来进行语音信息识别;还可以是采用预先建立的模型(例如神经网络模型、统计模型、规则模型等)来对语音信息进行识别。
其中,语音信息识别过程可以是将语音信息转化成文本信息的过程。当识别出语音信息中包含有资源名时,可获取该资源名的权重。资源名的权重是采用资源名权重确定方法实施例中提供的方法来计算的,其中权重计算过程可以是在终端设备上进行的,即通过在线实时计算;也可以是在第三方计算平台(例如服务器)上进行的,即终端设备当识别出语音信息中包含资源名时,将资源名发送至第三方计算平台,第三方计算平台可以根据该资源名采用本实施例提供的资源名确定方法直接计算出该资源名的权重,也可以是从预先存储资源名的权重的数据库中直接索引其权重,然后将计算出的或者搜索出的资源名的权重再发送给终端设备。
步骤S230,当资源名的权重大于或等于第二预设阈值时,执行第一预设操作。
步骤S240,当资源名的权重小于第二预设阈值时,执行第二预设操作。
其中,第二预设阈值是预先设置的一个值,具体可以根据实际的需要设备;通常情况下第二预设阈值为小于1的正数;第一预设操作和第二预设操作通常是指语音助手对应的不同操作,例如播放音乐,开启导航,搜索页面信息等。
当资源名的权重大于或等于第二预设阈值时,说明该资源名的权重较大,那么该资源名通常是个特定词,其使用的场景比较固定单一,可以基于该资源名使用的场景设置第一预设操作。当资源名的权重小于第二预设阈值时,说明该资源名的权重较小,那么该资源名是个通用词或常用词,其使用的场景比较多样,那么此时可以基于该资源名的使用的场景、用户使用习惯、喜好等综合考虑,设置第二预设操作。
为了便于理解,给出一个详细的实施例。假设第一预设操作为播放资源名相关歌曲,第二预设操作为搜索资源名相关页面信息;资源名“分手季节”的权重为1,资源名“骆驼”的权重为0.34,第二预设阈值为0.9。由于资源名“分手季节”的权重为1,该值大于0.9,那么当识别出语音信息中包含有资源名,此时执行播放分手季节这首歌;而资源名“骆驼”的权重为0.34,该值小于0.9,此时执行搜索骆驼这一信息。
本申请实施例提供的语音信息处理方法由于采用了本申请实施例提供的资源名权重确定方法,使得计算出来的资源名的权重非常的准确,然后根据不同的权重来构建不同规则引擎从而来执行不同的操作。该语音信息处理方法在使用语音助手执行不同技能时避免其引擎规则受资源名语义信息丰富性的干扰,从而避免规则引擎的错配以及保证语音助手执行正确的技能。
应该理解的是,虽然图2以及图3的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且图2以及图3中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
上述本申请公开的实施例中详细描述了一种资源名权重确定方法,对于本申请公开的上述方法可采用多种形式的设备实现,因此本申请还公开了对应上述方法的资源名权重确定装置,下面给出具体的实施例进行详细说明。
请参阅图4,为本申请实施例公开的一种资源名权重确定装置,主要包括:
资源名获取模块410,用于获取需要进行权重计算的资源名。
重要度确定模块420,用于确定所述资源名在预先建立的语料库中的重要度。
权重输出模块430,用于将所述重要度输入至预先建立的权重公式,以输出所述资源名的权重,其中,权重公式单调递减函数,权重公式的变化率随重要度的增大而变小。
在一个实施例中,重要度包括词频,重要度确定模块420,用于统计资源名在语料库的每篇文档中出现的次数;根据每篇文档中出现的次数计算出资源名在语料库中出现的总次数,以得到资源名在语料库中的词频。
在一个实施例中,重要度包括词频逆文档频率值,重要度确定模块420,用于统计资源名在语料库的每篇文档中出现的次数、文档总数量以及包含资源名的文档数量;根据每篇文档中出现的次数计算出资源名在语料库中出现的总次数,以得到资源名在语料库中的词频;对词频进行标注化处理,得到标准词频;根据包含资源名的文档数量和文档总数量,计算逆文档频率;根据标准词频和逆文档频率计算资源名在预先建立的语料库中的词频逆文档频率值。
在一个实施例中,装置还包括:语料库构建模块,用于爬取多个文档,对各文档按领域进行分类;采用分层抽样方法从每一类别的文档中提取相应数量的文档,以形成语料库。
在一个实施例中,语料库构建模块,用于对每一类别的文档的对应设置抽样数量、最大抽样限值和最小抽样限值;按照抽样数量从每一类别的文档中随机抽取相应数量的文档,以形成语料库;或:从每一类别的文档中随机抽取小于或等于最大抽样限值数量的文档,以形成语料库;或:从每一类别的文档中随机抽取大于或等于最小抽样限值数量的文档,以形成语料库。
在一个实施例中,权重输出模块430,用于将重要度输入至预先建立的权重公式,输出资源名的初始权重;根据资源名的词性来对初始权重进行调整,以得到资源名的权重。
在一个实施例中,权重输出模块430,用于当资源名为名词,且初始权重小于或等于第一预设阈值时,将初始权重调整至预设最大值,以得到资源名的权重;当资源名为非名词时,或,当资源名为名词且初始权重大于第一预设阈值时,将初始权重记为资源名的权重。
在一个实施例中,权重公式包括第一权重公式或第二权重公式;
其中,第一权重公式的表达式为:
Weight=1-((x/para)/(1+(x/para))
第二权重公式的表达式为:
Weight=1-(e-x/para-ex/para)/(e-x/par+ex/par)
其中,Weight表示资源名的权重,x表示资源名在预先建立的语料库中的重要度,para表示超参数,e表示自然常数。
关于资源名权重确定装置的具体限定可以参见上文中对于方法的限定,在此不再赘述。上述装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于终端设备中的处理器中,也可以以软件形式存储于终端设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,装置还包括:资源名词性确定模块,用于对资源名进行分词处理,得到各词语;判定各词语的词性,并计算每种词性的占比;选择大于预设比例,且取值最大的占比对应的词性为资源名的词性。
上述本申请公开的实施例中详细描述了一种语音信息处理方法,对于本申请公开的上述方法可采用多种形式的设备实现,因此本申请还公开了对应上述方法的语音信息处理装置,下面给出具体的实施例进行详细说明。
请参阅图5,为本申请实施例公开的一种语音信息处理装置,主要包括:
语音信息接收模块510,用于在语音启动后,接收语音信息;
权重获取模块520,用于当识别出语音信息中包含有资源名时,获取资源名的权重;其中资源名的权重采用资源名权重确定方法实施例中提供的方法来计算;
第一执行模块530,用于当资源名的权重大于或等于第二预设阈值时,执行第一预设操作;
第二执行模块540,用于当资源名的权重小于第二预设阈值时,执行第二预设操作。
关于语音信息处理装置的具体限定可以参见上文中对于方法的限定,在此不再赘述。上述装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于终端设备中的处理器中,也可以以软件形式存储于终端设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
请参考图6,图6其示出了本申请实施例提供的一种终端设备的结构框图。该终端设备60可以是计算机设备。本申请中的终端设备60可以包括一个或多个如下部件:处理器62、存储器64以及一个或多个应用程序,其中一个或多个应用程序可以被存储在存储器64中并被配置为由一个或多个处理器62执行,一个或多个应用程序配置用于执行上述应用于资源名权重确定方法实施例中所描述的方法,也可以配置用于执行上述应用于语音信息处理方法实施例中所描述的方法。
处理器62可以包括一个或者多个处理核。处理器62利用各种接口和线路连接整个终端设备60内的各个部分,通过运行或执行存储在存储器64内的指令、程序、代码集或指令集,以及调用存储在存储器64内的数据,执行终端设备60的各种功能和处理数据。可选地,处理器62可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable Logic Array,PLA)中的至少一种硬件形式来实现。处理器62可集成中央处理器(Central ProcessingUnit,CPU)、图形处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器62中,单独通过一块通信芯片进行实现。
存储器64可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器64可用于存储指令、程序、代码、代码集或指令集。存储器64可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端设备60在使用中所创建的数据等。
本领域技术人员可以理解,图6中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的终端设备的限定,具体的终端设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
综上,本申请实施例提供的终端设备用于实现前述方法实施例中相应的资源名权重确定方法,以及语音信息处理方法,并具有相应的方法实施例的有益效果,在此不再赘述。
请参阅图7,其示出了本申请实施例提供的一种计算机可读取存储介质的结构框图。该计算机可读取存储介质70中存储有程序代码,程序代码可被处理器调用执行上述资源名权重确定方法实施例中所描述的方法,程序代码也可以被处理器调用执行上述语音信息处理方法实施例中所描述的方法。
计算机可读取存储介质70可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地,计算机可读取存储介质70包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读取存储介质70具有执行上述方法中的任何方法步骤的程序代码72的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码72可以例如以适当形式进行压缩。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (13)
1.一种资源名权重确定方法,其特征在于,所述方法包括:
获取需要进行权重计算的资源名;
确定所述资源名在预先建立的语料库中的重要度;
将所述重要度输入至预先建立的权重公式,以输出所述资源名的权重;
其中,权重公式为单调递减函数,所述权重公式的变化率随所述重要度的增大而变小。
2.根据权利要求1所述的方法,其特征在于,所述重要度包括词频,所述确定所述资源名在预先建立的语料库中的重要度,包括:
统计所述资源名在所述语料库的每篇文档中出现的次数;
根据每篇文档中出现的次数计算出所述资源名在所述语料库中出现的总次数,以得到所述资源名在所述语料库中的词频。
3.根据权利要求1所述的方法,其特征在于,所述重要度包括词频逆文档频率值,所述确定所述资源名在预先建立的语料库中的重要度,包括:
统计所述资源名在所述语料库的每篇文档中出现的次数、文档总数量以及包含所述资源名的文档数量;
根据每篇文档中出现的次数计算出所述资源名在所述语料库中出现的总次数,以得到所述资源名在所述语料库中的词频;
对所述词频进行标注化处理,得到标准词频;
根据包含所述资源名的文档数量和所述文档总数量,计算逆文档频率;
根据所述标准词频和所述逆文档频率计算所述资源名在预先建立的语料库中的词频逆文档频率值。
4.根据权利要求1所述的方法,其特征在于,所述语料库通过以下方式建立:
爬取多个文档,对各所述文档按领域进行分类;
采用分层抽样方法从每一类别的文档中提取相应数量的文档,以形成所述语料库。
5.根据权利要求4所述的方法,其特征在于,所述从每一类别的文档中提取相应数量的文档,以形成所述语料库,包括:
对每一类别的文档的对应设置抽样数量、最大抽样限值和最小抽样限值;
按照所述抽样数量从每一类别的文档中随机抽取相应数量的文档,以形成所述语料库;
或:
从每一类别的文档中随机抽取小于或等于所述最大抽样限值数量的文档,以形成所述语料库;
或:
从每一类别的文档中随机抽取大于或等于所述最小抽样限值数量的文档,以形成所述语料库。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述将所述重要度输入至预先建立的权重公式,以输出所述资源名的权重,包括:
将所述重要度输入至预先建立的权重公式,输出所述资源名的初始权重;
根据所述资源名的词性来对所述初始权重进行调整,以得到所述资源名的权重。
7.根据权利要求6所述的方法,其特征在于,根据所述资源名的词性来对所述初始权重进行调整,以得到所述资源名的权重,包括:
当资源名为名词,且初始权重小于或等于第一预设阈值时,将初始权重调整至预设最大值,以得到资源名的权重;
当资源名为非名词时,或,当资源名为名词且初始权重大于第一预设阈值时,将初始权重记为资源名的权重。
8.根据权利要求6所述的方法,其特征在于,所述根据所述资源名的词性来对所述初始权重进行调整之前,还包括:
对所述资源名进行分词处理,得到各词语;
判定各所述词语的词性,并计算每种词性的占比;
选择大于预设比例,且取值最大的所述占比对应的词性为所述资源名的词性。
9.一种语音信息处理方法,其特征在于,所述方法包括:
在语音助手启动后,接收语音信息;
当识别出语音信息中包含有资源名时,获取所述资源名的权重;其中所述资源名的权重采用权利要求1-8任一项所述的方法来计算;
当所述资源名的权重大于或等于第二预设阈值时,执行第一预设操作;
当所述资源名的权重小于第二预设阈值时,执行第二预设操作。
10.一种资源名权重确定装置,其特征在于,所述装置包括:
资源名获取模块,用于获取需要进行权重计算的资源名;
重要度确定模块,用于确定所述资源名在预先建立的语料库中的重要度;
权重输出模块,用于将所述重要度输入至预先建立的权重公式,以输出所述资源名的权重;
其中,权重公式为单调递减函数,所述权重公式的变化率随所述重要度的增大而变小。
11.一种语音信息处理装置,其特征在于,包括:
语音信息接收模块,用于在语音助手启动后,接收语音信息;
权重获取模块,用于当识别出语音信息中包含有资源名时,获取所述资源名的权重;其中所述资源名的权重采用权利要求1-8任一项所述的方法来计算;
第一执行模块,用于当所述资源名的权重大于或等于第二预设阈值时,执行第一预设操作;
第二执行模块,用于当所述资源名的权重小于第二预设阈值时,执行第二预设操作。
12.一种终端设备,其特征在于,包括:
存储器;一个或多个处理器,与所述存储器耦接;一个或多个应用程序,其中,一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行,一个或多个应用程序配置用于执行如权利要求1-9任一项所述的方法。
13.一种计算机可读存储介质,其特征在于,所述计算机可读取存储介质中存储有程序代码,所述程序代码可被处理器调用执行如权利要求1-9任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211199895.7A CN115602159A (zh) | 2022-09-29 | 2022-09-29 | 资源名权重确定方法、语音信息处理方法以及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211199895.7A CN115602159A (zh) | 2022-09-29 | 2022-09-29 | 资源名权重确定方法、语音信息处理方法以及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115602159A true CN115602159A (zh) | 2023-01-13 |
Family
ID=84845898
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211199895.7A Pending CN115602159A (zh) | 2022-09-29 | 2022-09-29 | 资源名权重确定方法、语音信息处理方法以及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115602159A (zh) |
-
2022
- 2022-09-29 CN CN202211199895.7A patent/CN115602159A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107832286B (zh) | 智能交互方法、设备及存储介质 | |
CN108647205B (zh) | 细粒度情感分析模型构建方法、设备及可读存储介质 | |
US11017178B2 (en) | Methods, devices, and systems for constructing intelligent knowledge base | |
CN109196496B (zh) | 未知词预测器和内容整合的翻译器 | |
CN107609101B (zh) | 智能交互方法、设备及存储介质 | |
CN107818781B (zh) | 智能交互方法、设备及存储介质 | |
WO2020147428A1 (zh) | 交互内容生成方法、装置、计算机设备及存储介质 | |
CN109918676B (zh) | 一种检测意图正则表达式的方法及装置、终端设备 | |
US11729120B2 (en) | Generating responses in automated chatting | |
EP3183728A1 (en) | Orphaned utterance detection system and method | |
CN109710732B (zh) | 信息查询方法、装置、存储介质和电子设备 | |
CN107885717B (zh) | 一种关键词提取方法及装置 | |
CN105550217B (zh) | 场景音乐搜索方法及场景音乐搜索装置 | |
CN112686051A (zh) | 语义识别模型训练方法、识别方法、电子设备、存储介质 | |
CN108153875B (zh) | 语料处理方法、装置、智能音箱和存储介质 | |
CN114706945A (zh) | 意图识别方法、装置、电子设备及存储介质 | |
CN111813993A (zh) | 视频内容的拓展方法、装置、终端设备及存储介质 | |
CN111444321B (zh) | 问答方法、装置、电子设备和存储介质 | |
CN109190116B (zh) | 语义解析方法、系统、电子设备及存储介质 | |
CN117932022A (zh) | 一种智能问答方法、装置、电子设备及存储介质 | |
CN111460177A (zh) | 影视类表情搜索方法、装置、存储介质、计算机设备 | |
KR102534086B1 (ko) | 복수의 멀티미디어 컨텐츠들을 참조하여 사용자 단말기와 통신하는 네트워크 서버 및 방법 | |
Sakkos et al. | Anima: Adaptive personalized software keyboard | |
CN115602159A (zh) | 资源名权重确定方法、语音信息处理方法以及装置 | |
WO2021098876A1 (zh) | 一种基于知识图谱的问答方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |