CN116386627A - 显示设备及热词识别方法 - Google Patents
显示设备及热词识别方法 Download PDFInfo
- Publication number
- CN116386627A CN116386627A CN202310289032.7A CN202310289032A CN116386627A CN 116386627 A CN116386627 A CN 116386627A CN 202310289032 A CN202310289032 A CN 202310289032A CN 116386627 A CN116386627 A CN 116386627A
- Authority
- CN
- China
- Prior art keywords
- hot
- word
- hotword
- weight
- hot word
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000010586 diagram Methods 0.000 claims abstract description 30
- 238000004891 communication Methods 0.000 claims abstract description 11
- 230000004044 response Effects 0.000 claims abstract description 9
- 238000012360 testing method Methods 0.000 claims description 43
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000002238 attenuated effect Effects 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 6
- 230000032683 aging Effects 0.000 claims description 3
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 5
- 238000012545 processing Methods 0.000 description 14
- 230000003993 interaction Effects 0.000 description 13
- 238000012795 verification Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 6
- 238000003786 synthesis reaction Methods 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 235000019633 pungent taste Nutrition 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005352 clarification Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000002715 modification method Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000013077 scoring method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请提供了一种显示设备及热词识别方法，显示设备包括：显示器；控制器，与所述显示器通信连接，被配置为：接收用户输入的语音指令；获取所述语音指令对应的候选序列，所述候选序列包含多个单字和所述单字的概率；根据设置有自定义权重的语音识别路径图计算所述候选序列的概率；根据所述候选序列的概率和所述单字的概率确定所述语音指令对应的语义文本；根据所述语义文本生成响应结果；根据所述响应结果进行响应。本申请提高了语音识别中的热词识别效果。
Description
技术领域
本申请涉及语音识别技术领域，尤其涉及一种显示设备及热词识别方法。
背景技术
语音识别是人机交互的首要入口，其承担着将用户输入的语音指令转化为文本的重要任务，是实现语义理解、多轮对话、信息推荐等功能的基础，语音识别的准确性是影响人机交互体验的重要因素。在人机交互时，用户输入的一些语音指令包含了影视剧名称、演员名等热词，准确识别这些热词，能提高识别语音指令的准确性。相关技术中，通过预先构建的热词表，可识别语音指令中包含在热词表中的热词。然而，该技术方案中，热词需要人工手动添加到热词表，热词的实时性较差，影响语音识别效果。
发明内容
为解决上述技术问题，本申请提供了一种显示设备及热词识别方法。
第一方面，本申请提供了一种显示设备，所述显示设备包括：
显示器；
控制器，与所述显示器通信连接，被配置为：
接收用户输入的语音指令；
获取所述语音指令对应的候选序列，所述候选序列包含多个单字和所述单字的概率；
根据设置有自定义权重的语音识别路径图计算所述候选序列的概率；
根据所述候选序列的概率和所述单字的概率确定所述语音指令对应的语义文本；
根据所述语义文本生成响应结果；
根据所述响应结果进行响应。
在一些实施例中，所述根据设置有自定义权重的语音识别路径图计算所述候选序列的概率，包括：
查询热词表对应的路径图，得到每个候选序列的权重和；
将所述权重和进行归一化处理，得到候选序列的概率。
在一些实施例中，所述根据所述候选序列的概率和所述单字的概率确定所述语音指令对应的语义文本，包括：
根据所述候选序列的概率和所述单字的概率进行基于注意力的重打分，得到所述候选序列的预测概率；
根据所述预测概率最高的候选序列生成所述语音指令对应的语义文本。
在一些实施例中，在接收所述语音指令之前，所述控制器还被配置为：
获取用于生成测试文本的源数据；
根据所述源数据构建问句模板；
获取热词表中的热词匹配的问句模板，根据所述热词和问句模板生成用于测试所述热词的识别成功率的测试文本。
在一些实施例中，在接收所述语音指令之前，所述控制器还被配置为：
计算热词表中每个热词的文本包含准确率；
计算所述热词的文本相等准确率；
根据所述文本包含准确率和文本相等准确率计算所述热词的识别成功率；
将所述识别成功率低于成功率阈值的热词从热词表中删除。
在一些实施例中，在接收所述语音指令之前，所述控制器还被配置为：
根据热词的文本包含准确率，将热词表中的热词设置第一类别标识或设置第二类别标识；
将所述第一类热词的权重按第一比例增加，将所述第二类热词的权重按第二比例减小；
重新计算所述热词的文本包含准确率，根据计算结果更新所述热词的类别标识；
重新调整所述热词的权重，其中，将调整比例进行衰减；
根据预设比例的热词的文本包含准确率达到准确率阈值时，结束权重修正。
在一些实施例中，所述热词的权重维度包括：热词标签类别、热词长度、热词热度、热词时效、识别成功率、热词触发度、热词困惑度、热词tf-idf值、热词分词个数。
在一些实施例中，在接收所述语音指令之前，所述控制器还被配置为：
获取热词表，其中，所述热词表中的热词设置有权重；
根据所述热词的权重计算所述热词中每个单字的权重；
根据所述热词以及单字的权重构建语音识别的路径图。
第二方面，本申请提供了一种热词识别方法，该方法包括：
获取热词表，其中，所述热词表中的热词设置有权重；
根据所述热词的权重计算所述热词中每个单字的权重；
根据所述热词以及单字的权重构建语音识别的路径图；
根据所述路径图计算输入音频的候选序列的概率，其中，所述候选序列包括多个单字；
根据所述候选序列中的单字概率和所述候选序列的概率，将其中一个所述候选序列确定为所述输入音频对应的文本。
在一些实施例中，所述根据所述热词的权重计算所述热词中每个单字的权重，包括：
对于所述热词表中的每个单字，获取包含所述单字的热词的权重；
计算包含所述单字的热词的权重平均值，得到所述单字的权重。
本申请实施例提供的显示设备及热词识别方法的有益效果包括：
本申请实施例通过将热词表中的权重进行自定义，基于设置有自定义的权重进行热词增强，有效解决统一固定权重无法灵活处理部分热词识别的问题，提高热词识别准确率，有利于提高后续语义理解的准确性，提升语音交互效果。
附图说明
为了更清楚地说明本申请实施例或相关技术中的实施方式，下面将对实施例或相关技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1中示例性示出了根据一些实施例的语音识别装置的系统架构示意图；
图2中示例性示出了根据一些实施例的智能设备200的硬件配置框图；
图3中示例性示出了根据一些实施例的智能设备200的硬件配置框图；
图4中示例性示出了根据一些实施例的智能电视200-1的逻辑架构示意图；
图5中示例性示出了根据一些实施例的热词识别校验系统的结构示意图；
图6中示例性示出了根据一些实施例的测试文本的生成方法的流程示意图；
图7中示例性示出了根据一些实施例的热词识别成功率的计算方法的流程示意图；
图8中示例性示出了根据一些实施例的热词权重的修正算法的流程示意图；
图9中示例性示出了根据一些实施例的热词识别方法的流程示意图；
图10中示例性示出了根据一些实施例的语音识别的路径图；
图11中示例性示出了根据一些实施例的语音识别系统的架构示意图。
具体实施方式
为使本申请的目的和实施方式更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。
需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。
本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。
图1示出了可以应用本申请的语音识别方法和语音识别装置的示例性系统架构。如图1所示，其中，10为服务器，200为终端设备，示例性包括(智能电视200a,移动设备200b,智能音箱200c)。
本申请中服务器10与终端设备200通过多种通信方式进行数据通信。可允许终端设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器10可以向终端设备20提供各种内容和互动。示例性的，终端设备200与服务器10可以通过发送和接收信息，以及接收软件程序更新。
服务器10可以是提供各种服务的服务器，例如对终端设备200采集的音频数据提供支持的后台服务器。后台服务器可以对接收到的音频等数据进行分析等处理，并将处理结果(例如端点信息)反馈给终端设备。服务器10可以是一个服务器集群，也可以是多个服务器集群，可以包括一类或多类服务器。
终端设备200可以是硬件，也可以是软件。当终端设备200为硬件时，可以是具有声音采集功能的各种电子设备，包括但不限于智能音箱、智能手机、电视、平板电脑、电子书阅读器、智能手表、播放器、计算机、AI设备、机器人、智能车辆等等。当终端设备200、201、202为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供声音采集服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
在一些实施例中，本申请实施例所提供的热词识别方法可以通过服务器10执行。
图2示出了根据示例性实施例中智能设备200的硬件配置框图。如图2所示智能设备200包括通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口280中的至少一种。控制器包括中央处理器，音频处理器，RAM，ROM，用于输入/输出的第一接口至第n接口。
通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如：通信器可以包括Wifi模块，蓝牙模块，有线以太网模块等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。智能设备200可以通过通信器220服务器10建立控制信号和数据信号的发送和接收。
用户接口，可用于接收外部的控制信号。
检测器230用于采集外部环境或与外部交互的信号。例如，检测器230包括光接收器，用于采集环境光线强度的传感器；或者，检测器230包括图像采集器，如摄像头，可以用于采集外部环境场景、用户的属性或用户交互手势，再或者，检测器230包括声音采集器，如麦克风等，用于接收外部声音。
声音采集器可以是麦克风，也称“话筒”，“传声器”，可以用于接收用户的声音，将声音信号转换为电信号。智能设备200可以设置至少一个麦克风。在另一些实施例中，智能设备200可以设置两个麦克风，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，智能设备200还可以设置三个，四个或更多麦克风，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。
此外，麦克风可以是内置在智能设备200上，或者麦克风通过有线或者无线的方式与智能设备200相连接。当然，本申请实施例对麦克风在智能设备200上的位置不作限定。或者，智能设备200可以不包括麦克风，即上述麦克风并未设置于智能设备200中。智能设备200可以通过接口(如USB接口130)外接麦克风(也可以称为话筒)。该外接的话筒可以通过外部固定件(如带夹子的摄像头支架)固定在智能设备200上。
控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250控制智能设备200的整体操作。
示例性的，控制器包括中央处理器(Central Processing Unit，CPU)，音频处理器，RAM Random Access Memory，RAM)，ROM(Read-Only Memory,ROM)，用于输入/输出的第一接口至第n接口，通信总线(Bus)等中的至少一种。
在一些示例中，智能设备的操作系统为Android系统为例，如图3所示，智能电视200-1从逻辑上可以分为应用程序(Applications)层(简称“应用层”)21，内核层22和硬件层23。
其中，如图3所示，硬件层可包括图2所示的控制器250、通信器220、检测器230等。应用层21包括一个或多个应用。应用可以为系统应用，也可以为第三方应用。如，应用层21包括语音识别应用，语音识别应用可以提供语音交互界面和服务，用于实现智能电视200-1与服务器10的连接。
内核层22作为硬件层和应用层21之间的软件中间件，用于管理和控制硬件与软件资源。
在一些示例中，内核层22包括检测器驱动，检测器驱动用于将检测器230采集的语音数据发送至语音识别应用。示例性的，智能设备200中的语音识别应用启动，智能设备200与服务器10建立了通信连接的情况下，检测器驱动用于将检测器230采集的用户输入的语音数据发送至语音识别应用。之后，语音识别应用将包含该语音数据的查询信息发送至服务器中的意图识别模块202。意图识别模块202用于将智能设备200发送的语音数据输入至意图识别模型。
为清楚说明本申请的实施例，下面结合图4对本申请实施例提供的一种语音识别网络架构进行描述。
参见图4，图4为本申请实施例提供的一种语音交互网络架构示意图。图4中，智能设备用于接收输入的信息以及输出对该信息的处理结果。语音识别模块部署有语音识别服务，用于将音频识别为文本；语义理解模块部署有语义理解服务，用于对文本进行语义解析；业务管理模块部署有业务指令管理服务，用于提供业务指令；语言生成模块部署有语言生成服务(NLG)，用于将指示智能设备执行的指令转化为文本语言；语音合成模块部署有语音合成(TTS)服务，用于将指令对应的文本语言处理后发送至扬声器进行播报。在一个实施例中，图4所示架构中可存在部署有不同业务服务的多个实体服务设备，也可以一个或多个实体服务设备中集合一项或多项功能服务。
一些实施例中，下面对基于图4所示架构处理输入智能设备的信息的过程进行举例描述，以输入智能设备的信息为通过语音输入的查询语句为例：
[语音识别]
智能设备可在接收到通过语音输入的查询语句后，智能设备可对查询语句的音频进行降噪处理和特征提取，这里的去噪处理可包括去除回声和环境噪声等步骤。
[语义理解]
利用声学模型和语言模型，对识别出的候选文本和相关联的上下文信息进行自然语言理解，将文本解析为结构化的、机器可读的信息，业务领域、意图、词槽等信息以表达语义等。得到可执行意图确定意图置信度得分，语义理解模块基于所确定的意图置信度得分选择一个或者多个候选可执行意图。
[业务管理]
语义理解模块根据对查询语句的文本的语义解析结果，向相应的业务管理模块下发查询指令以获取业务服务给出的查询结果，以及执行“完成”用户最终请求所需的动作，并将查询结果对应的设备执行指令进行反馈。
[语言生成]
自然语言生成(NLG)被配置为将信息或者指令生成语言文本。具体可分为闲聊型、任务型、知识问答型和推荐型。其中，闲聊型对话中的NLG就是根据上下文进行意图识别、情感分析等，然后生成开放性回复；任务型对话中需根据学习到的策略来生成对话回复，一般回复包括澄清需求、引导用户、询问、确认、对话结束语等；知识问答型对话中根据问句类型识别与分类、信息检索或文本匹配而生成用户需要的知识(知识、实体、片段等)；推荐型对话系统中根据用户的爱好来进行兴趣匹配以及候选推荐内容排序，然后生成给用户推荐的内容。
[语音合成]
语音合被配置为呈现给用户的语音输出。语音合成处理模块基于数字助理提供的文本来合成语音输出。例如，所生成的对话响应是文本串的形式。语音合成模块将文本串转换成可听语音输出。
需要说明的是，图4所示架构只是一种示例，并非对本申请保护范围的限定。本申请实施例中，也可采用其他架构来实现类似功能，例如：上述过程全部或部分可以由智能终端来完成，在此不做赘述。
在一些实施例中，为了准确识别语音指令中的热词，本申请构建了热词表，并构建了热词识别校验系统，用于对热词表中的热词进行识别校验，将识别成功率较低的热词剔除，以保障热词识别效果；本申请还构建了热词权重生成系统，为热词表中的热词设置权重，从而在语音识别时，可基于权重进行热词增强，提高热词识别效率。
参见图5，为本申请实施例提供的一种热词识别校验系统的结构示意图，如图5所示，本申请实施例提供的热词识别校验系统包括依次连接的语言生成模块、语言合成模块、音频加噪模块、语音识别模块和识别判断模块。
在一些实施例中，语言生成模块，用于生成包含热词的测试文本。测试文本的生成方法可参见图6，包括如下步骤：
步骤S101：获取用于生成测试文本的源数据。
在一些实施例中，源数据可为语音指令对应的文本，以及该文本对应的标签词对序列。在语音交互的过程中，显示设备将语音指令进行语音识别，得到用户query(问句)，将用户问句发送给服务器，服务器从该用户问句中识别出标签词对序列，并生成本次语音交互的线上日志，其中，线上日志包括该用户问句以及标签词对序列，标签词对序列包含了用户问句中的实体词与实体词的标签。
示例性的，一用户问句为：我想看演员A的电视剧B。该用户问句的标签词对序列为：[演员A:actor,电视剧B:videoName]，其中，演员A和电视剧B为用户问句中的实体词，actor为演员A的标签，videoName为电视剧B的标签。
语言生成模块通过拉取大量线上日志请求，可从线上日志请求中提取出用户问句以及标签词对序列。
步骤S102：根据源数据构建问句模板。
在一些实施例中，为丰富测试文本，可根据源数据构建多个问句模板，问句模板用于生成新的用户问句。问句模板的构建方法可包括：将用户问句中的实体词替换为实体词对应的标签。
示例性的，对于用户问句：我想看演员A的电视剧B，根据其中的实体词“演员A”的标签为actor，生成如下问句模板：我想看actor的电视剧B；根据其中的实体词“电视剧B”的标签为videoName，生成如下问句模板：我想看演员A的videoname。
对于用户问句：播放电视剧C的第五集，根据其中的实体词“电视剧C”的标签为videoName，生成如下问句模板：播放videoName的第五集。
其中，“我想看演员A的videoname”、“播放videoName的第五集”均与标签videoName相匹配。
步骤S103：获取热词表中的热词匹配的问句模板，根据热词和问句模板生成用于测试热词的识别准确率的测试文本。
在一些实施例中，热词表中的每个热词均设置有标签，根据热词的标签可为每个热词匹匹配问句版本，在匹配到问句模板后，可将热词与问句模板组合成测试文本。
示例性的，热词表中的热词“电视剧D”的标签为videoName，根据videoName可匹配到如下问句模板：我想看演员A的videoname、播放videoname的第五集。将问句模板中的标签替换为热词，生成如下测试文本：我想看演员A的电视剧D、播放电视剧D的第五集。
需要说明的是，在生成测试文本时，可不需要判断测试文本的知识准确性，语义结构正确即可，例如，不需要判断演员A是否出演过电视剧C，只要“我想看演员A的电视剧C”的语义结构正确即可。
在一些实施例中，语言生成模块，用于将测试文本转换为测试音频。语言生成模块可调用多说话人tts api服务，针对语言生成模块产生的每一个测试文本，生成多个不同说话人的音频，得到多条测试音频。
在一些实施例中，音频加噪模块，用于将测试音频进行预处理，生成更多的测试音频。音频加噪模块可使用kaldi工具对测试音频进行处理，如调节测试音频的语速、音量、噪音，其中，调节测试音频的噪音可包括将测试音频加入噪音。通过上述预处理，可基于一条测试音频生成多条不同的音频。
在一些实施例中，语音识别模块，用于调用不包含热词增强的语音识别服务对测试音频进行语音识别，生成识别文本。
在一些实施例中，识别判断模块，用于检验测试音频在常规语音识别场景下的热词识别效果。
语音识别模块在生成识别文本后，识别判断模块可计算热词表中每个热词的识别成功率。识别成功率的计算步骤可参见图7，包括如下步骤：
步骤S201：计算热词表中每个热词的文本包含准确率。
在一些实施例中，对于一个热词，文本包含准确率是指包含该热词的识别文本的数量与包含该热词的测试音频的数量的比值。文本包含准确率可用于判断一个热词在测试文本中被识别出来的准确程度，其计算公式为：
其中，c_accn为文本包含准确率，n为基于该热词生成的测试音频的数量，c为语音识别结果中包含该热词的识别文本的数量。
示例性的，热词“电视剧D”对应的测试音频的数量为10条，对这10条测试音频进行语音识别后，得到的10条识别文本中有7条包含了热词“电视剧D”，有3条不包含该热词，则热词“电视剧D”的文本包含准确率为70％。
步骤S202：计算热词的文本相等准确率。
在一些实施例中，对于一个热词，文本相等准确率是指包含该热词的识别文本与包含该热词的测试文本完全相同的数量与包含该热词的测试文本的数量的比值。文本相等准确率可用于判断包含一个热词的测试文本能否被完整地准确识别，其计算公式为：
其中，e_acc为文本相等准确率，e为语音识别结果包含该热词的识别文本与该识别文本对应的测试文本完全相同的数量。
示例性的，热词“电视剧D”对应的测试音频的数量为10条，对这10条测试音频进行语音识别后，得到的10条识别文本中有6条与相应的测试文本完全相同，有1条包含该热词，但是识别文本与测试文本存在不同的文本，有3条不包含该热词，则热词“电视剧D”的文本相等准确率为60％。
步骤S203：根据文本包含准确率和文本相等准确率计算热词的识别成功率。
在一些实施例中，对于一个热词，可基于文本包含准确率和文本相等准确率综合判断识别成功率，其计算公式为：
acc＝α×c_acc+(1-α)×e_acc
其中，acc为识别成功率，α为超参数，可设置为大于0.8且小于1的一个数值。
通过图7所示的方法得到热词表中每个热词的识别成功率后，可将识别成功率低于成功率阈值的热词从热词表中删除，以保障热词表具有较高的整体识别成功率。
在一些实施例中，可通过热词权重生成系统，为热词表中的热词设置权重，从而在语音识别时，可基于权重进行热词增强，提高热词识别效率。
在一些实施例中，可采用机器学习方法CART树回归算法来拟合热词权重。训练数据可采用libsvm格式，如：“电视剧D#1:3,2:0.6,2:0.6，…，12:0.8#0.6”，为热词构造多维特征以计算热词的权重，特征包括：热词标签类别、热词长度、热词热度、热词时效、识别成功率、热词触发度、热词困惑度、热词tf-idf值、热词分词个数。
在一些实施例中，热词标签类别可包括影视类、汽车类、人脸识别类、计数类、热量计算类、植物类、动物类等类别，不同类别的标签可设置不同的权重，例如，影视类热词和汽车类热词是语音交互中涉及较多的热词，可将影视类标签和汽车类标签设置相对较高的权重，将其他类别的标签设置相对较低的权重。可采用one-hot编码格式设置热词标签类别，热词标签类别的特征维度为标签类别数。
在一些实施例中，单字数越多的热词通常越难完全识别。可设置热词长度的特征维度为1，按照最大热词长度10，将热词表中每个热词的单字数进行归一化处理，得到热词长度，对于单字数超过10的热词，将其热词长度设置为1。
在一些实施例中，热词热度可根据热搜数据或者相关网站的评分、热度数据等得到。可设置热词热度的特征维度为2，包括评分和热度评分和热度需归一化处理。
在一些实施例中，热词越新，则越需要关注这些热词。对热词出现天数按照3/10/30进行离散化，特征维度为4。示例：小于3天的特征向量为1,0,0,0，大于30天的特征向量为0,0,0,1。
在一些实施例中，识别成功率可为热词识别校验系统输出的热词的识别成功率，特征维度为1。
在一些实施例中，热词触发度可根据近7天、15天、30天、60天、180天及历史全部热词触发的频率设置，特征维度为6，该特征更关注于已有热词的权重更新。
在一些实施例中，热词困惑度越大，则热词的语义越不连贯，识别难度越大，越需要增强识别，基于预训练模型输出ppl，并按照5/10/20进行离散化，可得到热词困惑度，其特征维度为4。
在一些实施例中，热词tf-idf值为热词分词后的tf-idf平均值、tf-idf和，热词tf-idf值的特征维度为2。
在一些实施例中，热词分词个数可通过jieba将热词进行分词，再按照最大个数5进行归一化处理得到，热词分词个数的特征维度为1。
在一些实施例中，对于热词表中的每个热词，根据上述热词特征设置好热词的特征向量后，对该特征向量进行机器学习训练，得到热词权重。
在一些实施例中，为提高热词识别的准确性，还可对热词权重进行修正，以提高基于热词的权重进行热词识别的准确率，修正方法包括：将热词识别校验系统中使用的语音识别模块将替换成加载有最新的热词表的语音识别模块，对测试音频重新进行语音识别，根据识别结果修正热词权重，其中，该最新的热词表中的热词设置有权重，修正算法可参见图8，包括如下步骤：
步骤S301：根据热词的文本包含准确率，将热词表中的热词设置第一类别标识或设置第二类别标识。
在一些实施例中，基于热词识别校验系统的热词识别结果，将文本包含准确率小于准确率阈值的热词设置第一类别标识，将文本包含准确率大于或等于预设准确率的热词设置第二类别标识，其中，准确率阈值可根据实际需求设置，示例性地，准确率阈值可设置为98％。
步骤S302：将第一类热词的权重按第一比例增加，将第二类热词的权重按第二比例减小。
在一些实施例中，第一比例和第二比例可相同，如可均设置为5％。
在一些实施例中，第一比例和第二比例可不相同，如第一比例可大于第二比例，也可小于第二比例。
步骤S303：重新计算热词的文本包含准确率，根据计算结果更新热词的类别标识。
在一些实施例中，在将热词的权重调整后，可重新计算热词的文本包含准确率，并根据计算结果判断热词的文本包含准确率是否小于准确率阈值，更新热词的类别标识。例如，在权重调整后，一个热词的文本包含准确率由95％更新为98％，则将该热词的类别标识从第二类标识更新为第一类标识。
步骤S304：重新调整热词权重，其中，将调整比例进行衰减。
在一些实施例中，为进一步提高热词识别成功率，可继续调整热词的权重，为防止调整幅度过大导致热词识别成功率降低，可将调整比例进行衰减。
在一些实施例中，可将第一比例和第二比例按照相同的比率进行衰减，例如，可将第一比例和第二比例按照0.5的比率进行衰减。
在一些实施例中，也可将第一比例和第二比例按照不同的比率进行衰减，其中，第一比例的衰减比率可大于第二比例的衰减比率，第一比例的衰减比率也可小于第二比例的衰减比率。
步骤S305：根据预设比例的热词的文本包含准确率达到准确率阈值时，结束权重修正。
在一些实施例中，在预设比例的热词的文本包含准确率达到准确率阈值时，表示热词表的识别结果已经满足识别准确性需求，可结束权重修正，其中，预设比例可根据实际需求设置，示例性地，预设比例可设置为98％。
基于上述实施例中的热词识别校验系统和热词权重生成系统为热词表中的热词设置权重和更新权重后，可基于热词的权重对语音交互过程中的用户的语音指令进行热词增强识别，提高语音识别准确性。参见图9，该热词识别方法可包括如下步骤：
步骤S401：获取热词表，其中，热词表中的热词设置有权重。
在一些实施例中，可通过上述热词识别校验系统、热词权重生成系统对原始热词表进行处理，得到每个热词均设置有权重的热词表。
步骤S402：根据热词的权重计算热词中每个单字的权重。
在一些实施例中，在获取到设置有权重的热词表后，可根据热词的权重计算热词中每个单字的权重，计算公式如下：
上式中，ci为热词表中第i个单字的权重，vk为热词wk的权重，
为包含字ci的热词集合，/>
表示集合/>
的大小，即集合/>
中的热词数量。
示例性的，一热词表为：{海信:3,海王星:2}，表示该热词表包含两个热词：海信和海王星，其中，海信的权重为3，海王星的权重为2，则根据单字的权重计算公式，可得到如下字权重表{海:2.5,信:3,王:2,星:2}，该字权重表表示“海”的字权重为2.5，“信”的字权重为3，“王”的字权重为2，“星”的字权重为2。
步骤S403：根据热词以及单字的权重构建语音识别的路径图。
在一些实施例中，在得到热词表中单字的权重后，可构建语音识别的路径图，如WFST(weighted finaite-state transducer，加权有限状态转换器)路径图，构建方法包括：获取起始单字为相同汉字的全部热词；对于获取到的其中一个热词，若该热词包含两个单字，设置一个零节点和第一节点，零节点为起始节点和结束节点，零节点到第一节点的路由路径的权重为热词的第一个单字的权重，第一节点到零节点的回退路径的权重为热词的第一个单字的权重的相反数，第一节点到零节点的路由路径的权重为热词的第二个单字的权重；若该热词包含三个单字，设置一个零节点、第一节点和第二节点，零节点为起始节点和结束节点，零节点到第一节点的路径权重为热词的第一个单字的权重，第一节点到第二节点的路由路径的权重为热词的第二个单字的权重，第二节点到零节点的回退路径的权重为热词的第一个单字与第二个单字的权重和的相反数，第二节点到零节点的路由路径的权重为热词的第三个单字的权重；以此类推，直到路径图包含同一个起始单字的同步热词。
示例性的，还是以热词表为{海信:3,海王星:2}为例，构建的路径图可参见图10，图10中，0表示零节点，1表示第一节点，2表示第二节点，eps表示回退路径的权重。
步骤S404：根据路径图计算输入音频的候选序列的概率，其中，候选序列包括多个单字。
在一些实施例中，对于一条输入音频，如用户的一条语音指令，在进行语音识别时，会输出多个候选序列，部分候选序列中可能包含了热词，通过查询热词表对应的路径图，可得到每个候选序列的权重和，将该权重和进行归一化处理，可得到候选序列的概率。
示例性地，对于一条输入音频，其中一个候选序列为{海:0.8,信:0.6}，另一个候选序列为{海:0.8,王:0.5}，还有一个候选序列为{海:0.8,洋:0.4}，其中，热词表为{海信:3,海王星:2}，可见，“海洋”不属于热词表中的热词。通过查询路径图，可输出{海:0.8,信:0.6}对应的权重和为：2.5+3＝5.5，{海:0.8,王:0.5}对应的权重和为：2.5+2＝4.5，{海:0.8,洋:0.4}对应的权重和为：2.5-2.5＝0。将上述权重和归一化至0～1范围内，可分别得到{海:0.8,信:0.6}的概率为：5.5/(5.5+4.5)＝0.55，{海:0.8,王:0.5}的概率为4.5/(5.5+4.5)＝0.45，{海:0.8,洋:0.4}的概率为0/(5.5+4.5)＝0。
步骤S405：根据候选序列中的单字概率和候选序列的概率，将其中一个候选序列确定为输入音频对应的文本。
在一些实施例中，可综合候选序列中的单字概率和候选序列的概率，得到最终的候选序列的预测概率，将预测概率最大的候选序列确定为输入音频对应的文本，即语义文本，实现了候选序列中热词的准确识别。在得到语义文本后，可对语义文本进行语义理解，得到语义理解结果，通过业务管理模块获取语义理解结果对应的响应结果，显示设备根据响应结果进行响应，实现与用户的语音交互。
其中，综合候选序列中的单字概率和候选序列的概率的方法可为基于注意力的重打分方法，也可为其他方法，如取平均值法或加权计算法等方法。
需要说明的是，图6至图9所示的方法，可由显示设备的控制器执行，也可由服务器执行，或者由显示设备和服务器分别执行部分步骤，本申请实施例对此不做具体限定。
基于图9所示的热词识别方法，本申请实施例还示出了一种语音识别系统，该语音识别系统的架构可参见图11，包括依次连接的特征抽取器、共享编码器、CTC解码器、热词增强模块、重打分模块和文本处理及输出模块。
在一些实施例中，特征抽取器用于抽取输入音频的特征，得到特征向量，其中，输入音频可为用户的语音指令。
在一些实施例中，共享编码器用于将特征抽取器输出的特征向量进行编码，得到编码结果。
在一些实施例中，CTC解码器用于将共享编码器的编码结果进行解码，得到解码结果，该解码结果包括上述候选序列，候选序列包括了将输入音频进行特征抽取、编码、解码处理后依次得到的单字以及单字概率。
在一些实施例中，热词增强模块用于查询WFST路径图，得到每个候选序列的概率。
在一些实施例中，重打分模块用于根据候选序列的概率和候选序列中单字的概率进行重打分，得到每个候选序列的预测概率。
在一些实施例中，文本处理及输出模块用于筛选出预测概率最高的候选序列，将候选序列中的单字进行文本组合，得到输入音频的输出文本。
由上述实施例可见，本申请实施例通过将热词表中的权重进行自定义，基于设置有自定义的权重进行热词增强，有效解决统一固定权重无法灵活处理部分热词识别的问题，提高热词识别准确率；本申请实施例构建了一套热词识别校验系统，提高了语音识别系统对于新增热词的识别能力；本申请实施例构建了一套自动化的热词权重生成系统，提前添加热词，解决无法提前感知并处理热词的难题。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。
Claims (10)
1.一种显示设备，其特征在于，包括：
显示器；
控制器，与所述显示器通信连接，被配置为：
接收用户输入的语音指令；
获取所述语音指令对应的候选序列，所述候选序列包含多个单字和所述单字的概率；
根据设置有自定义权重的语音识别路径图计算所述候选序列的概率；
根据所述候选序列的概率和所述单字的概率确定所述语音指令对应的语义文本；
根据所述语义文本生成响应结果；
根据所述响应结果进行响应。
2.根据权利要求1所述的显示设备，其特征在于，所述根据设置有自定义权重的语音识别路径图计算所述候选序列的概率，包括：
查询热词表对应的路径图，得到每个候选序列的权重和；
将所述权重和进行归一化处理，得到候选序列的概率。
3.根据权利要求1所述的显示设备，其特征在于，所述根据所述候选序列的概率和所述单字的概率确定所述语音指令对应的语义文本，包括：
根据所述候选序列的概率和所述单字的概率进行基于注意力的重打分，得到所述候选序列的预测概率；
根据所述预测概率最高的候选序列生成所述语音指令对应的语义文本。
4.根据权利要求1所述的显示设备，其特征在于，在接收所述语音指令之前，所述控制器还被配置为：
获取用于生成测试文本的源数据；
根据所述源数据构建问句模板；
获取热词表中的热词匹配的问句模板，根据所述热词和问句模板生成用于测试所述热词的识别成功率的测试文本。
5.根据权利要求1所述的显示设备，其特征在于，在接收所述语音指令之前，所述控制器还被配置为：
计算热词表中每个热词的文本包含准确率；
计算所述热词的文本相等准确率；
根据所述文本包含准确率和文本相等准确率计算所述热词的识别成功率；
将所述识别成功率低于成功率阈值的热词从热词表中删除。
6.根据权利要求1所述的显示设备，其特征在于，在接收所述语音指令之前，所述控制器还被配置为：
根据热词的文本包含准确率，将热词表中的热词设置第一类别标识或设置第二类别标识；
将所述第一类热词的权重按第一比例增加，将所述第二类热词的权重按第二比例减小；
重新计算所述热词的文本包含准确率，根据计算结果更新所述热词的类别标识；
重新调整所述热词的权重，其中，将调整比例进行衰减；
根据预设比例的热词的文本包含准确率达到准确率阈值时，结束权重修正。
7.根据权利要求6所述的显示设备，其特征在于，所述热词的权重维度包括：热词标签类别、热词长度、热词热度、热词时效、识别成功率、热词触发度、热词困惑度、热词tf-idf值、热词分词个数。
8.根据权利要求6所述的显示设备，其特征在于，在接收所述语音指令之前，所述控制器还被配置为：
获取热词表，其中，所述热词表中的热词设置有权重；
根据所述热词的权重计算所述热词中每个单字的权重；
根据所述热词以及单字的权重构建语音识别的路径图。
9.一种热词识别方法，其特征在于，包括：
获取热词表，其中，所述热词表中的热词设置有权重；
根据所述热词的权重计算所述热词中每个单字的权重；
根据所述热词以及单字的权重构建语音识别的路径图；
根据所述路径图计算输入音频的候选序列的概率，其中，所述候选序列包括多个单字；
根据所述候选序列中的单字概率和所述候选序列的概率，将其中一个所述候选序列确定为所述输入音频对应的文本。
10.根据权利要求9所述的热词识别方法，其特征在于，所述根据所述热词的权重计算所述热词中每个单字的权重，包括：
对于所述热词表中的每个单字，获取包含所述单字的热词的权重；
计算包含所述单字的热词的权重平均值，得到所述单字的权重。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310289032.7A CN116386627A (zh) | 2023-03-22 | 2023-03-22 | 显示设备及热词识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310289032.7A CN116386627A (zh) | 2023-03-22 | 2023-03-22 | 显示设备及热词识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116386627A true CN116386627A (zh) | 2023-07-04 |
Family
ID=86966767
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310289032.7A Pending CN116386627A (zh) | 2023-03-22 | 2023-03-22 | 显示设备及热词识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116386627A (zh) |
-
2023
- 2023-03-22 CN CN202310289032.7A patent/CN116386627A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11854570B2 (en) | Electronic device providing response to voice input, and method and computer readable medium thereof | |
| US11676575B2 (en) | On-device learning in a hybrid speech processing system | |
| JP7242520B2 (ja) | 視覚支援スピーチ処理 | |
| WO2019101083A1 (zh) | 一种语音数据处理方法、语音交互设备及存储介质 | |
| KR101683944B1 (ko) | 음성번역 시스템, 제어장치, 및 제어방법 | |
| EP2389672B1 (en) | Method, apparatus and computer program product for providing compound models for speech recognition adaptation | |
| US11687526B1 (en) | Identifying user content | |
| CN111261151B (zh) | 一种语音处理方法、装置、电子设备及存储介质 | |
| CN108882101B (zh) | 一种智能音箱的播放控制方法、装置、设备及存储介质 | |
| CN110992955A (zh) | 一种智能设备的语音操作方法、装置、设备及存储介质 | |
| CN107808007A (zh) | 信息处理方法和装置 | |
| US11532301B1 (en) | Natural language processing | |
| CN110517686A (zh) | 智能音箱端语音开通应用的方法及系统 | |
| WO2023272616A1 (zh) | 一种文本理解方法、系统、终端设备和存储介质 | |
| CN114925163B (zh) | 一种智能设备及意图识别的模型训练方法 | |
| CN114207711A (zh) | 用于识别用户的语音的系统和方法 | |
| KR20190115405A (ko) | 검색 방법 및 이 방법을 적용하는 전자 장치 | |
| CN117809641A (zh) | 一种终端设备及基于查询文本改写的语音交互方法 | |
| CN111933135A (zh) | 终端控制方法、装置、智能终端及计算机可读存储介质 | |
| CN115273840A (zh) | 语音交互设备和语音交互方法 | |
| CN114064943A (zh) | 会议管理方法、装置、存储介质及电子设备 | |
| CN112420043A (zh) | 基于语音的智能唤醒方法、装置、电子设备及存储介质 | |
| WO2023093280A1 (zh) | 语音控制方法、装置、电子设备及存储介质 | |
| CN112700770A (zh) | 语音控制方法、音箱设备、计算设备和存储介质 | |
| CN114999496A (zh) | 音频传输方法、控制设备及终端设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |