CN111192586A - 语音识别方法及装置、电子设备、存储介质 - Google Patents
语音识别方法及装置、电子设备、存储介质 Download PDFInfo
- Publication number
- CN111192586A CN111192586A CN202010017429.7A CN202010017429A CN111192586A CN 111192586 A CN111192586 A CN 111192586A CN 202010017429 A CN202010017429 A CN 202010017429A CN 111192586 A CN111192586 A CN 111192586A
- Authority
- CN
- China
- Prior art keywords
- text
- data
- initial
- text data
- segment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000013507 mapping Methods 0.000 claims description 34
- 238000003058 natural language processing Methods 0.000 abstract description 23
- 238000005516 engineering process Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000008267 milk Substances 0.000 description 1
- 210000004080 milk Anatomy 0.000 description 1
- 235000013336 milk Nutrition 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1822—Parsing for meaning understanding
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Machine Translation (AREA)
Abstract
本公开是关于一种语音识别方法及装置、电子设备、存储介质。一种语音识别方法，包括：对待识别的语音数据进行识别，得到第一文本数据；将所述第一文本数据输入到预设的语言模型，由所述语言模型确定所述第一文本数据中置信度小于置信度阈值的初始文本段；基于所述初始文本段校正所述第一文本数据得到所述语音数据对应的目标文本数据，所述目标文本数据的置信度超过预设的置信度阈值。本实施例中通过对第一文本数据中的置信度较小的初始文本段进行校正，可以提升文本数据的置信度得到目标文本数据，从而提升自然语言处理NLP中意图理解的准确度，避免割裂语音识别与意图理解。
Description
技术领域
本公开涉及语音识别技术领域，尤其涉及一种语音识别方法及装置、电子设备、存储介质。
背景技术
目前，语音识别技术在电子设备上的应用越来越广泛。其中语音识别技术通过利用声学和语言学的方法，事先训练好声学模型，由于声学模型对语音数据进行语音识别。在实际产品中，语音识别技术会分成两个阶段，即语音识别(ASR)与自然语言处理(NLP)；其中语音识别将音频数据识别成文本数据，并将文本数据作为自然语音处理的输入数据。NLP过程中，根据设定的词库进行词槽提取，最终达到识别出音频数据的效果。
然而，实际应用中，可能会出现如下场景：例如用户说“购买东西”，ASR结果为“girl买东西”，而NLP的词库只有“购买东西”；又如用户在说“goodmorning”，ASR结果为“古的毛宁”，而NLP的词库只有“good morning”，等等。即，ASR识别出的文本数据，可能在NLP过程中因词库内未包括相应的词语，导致提取词槽失败。换言之，ASP结果的置信度低导致NLP无法正确理解语音意图而造成理解割裂的问题。
发明内容
本公开提供一种语音识别方法及装置、电子设备、存储介质，以解决相关技术的不足。
根据本公开实施例的第一方面，提供一种语音识别方法，包括：
对待识别的语音数据进行识别，得到第一文本数据；
将所述第一文本数据输入到预设的语言模型，由所述语言模型确定所述第一文本数据中置信度小于置信度阈值的初始文本段；
基于所述初始文本段校正所述第一文本数据得到所述语音数据对应的目标文本数据，所述目标文本数据的置信度超过预设的置信度阈值。
可选地，基于所述初始文本段校正所述第一文本数据得到所述语音数据对应的目标文本数据，包括：
将所述第一文本数据输入到预设的语言模型，由所述语言模型确定所述第一文本数据中置信度小于置信度阈值的初始文本段；
将所述初始文本段转换成音标，得到音标数据；其中，所述初始文本段中的中文文本转换成汉语拼音，所述初始文本段中的非中文文本转换成国际音标；
基于所述音标数据查询预设的词库，得到所述初始音频数据对应的至少一个目标候选文本段；
依次将所述至少一个目标候选文本段替代所述第一文本数据中的初始文本段，得到第二文本数据；
依次将各第二文本数据输入到所述语言模型，得到各第二文本数据的置信度，置信度最高的第二文本数据即是目标文本数据。
可选地，基于所述音标数据查询预设的词库，得到所述初始音频数据对应的至少一个目标候选文本段，包括：
基于所述音标数据查询预设的词库，得到多个初始候选文本段；
获取各初始候选文本段与所述初始文本段的相似度；
获取所述相似度超过相似度阈值的初始候选文本段，得到至少一个目标候选文本段。
可选地，所述相似度采用至少以下一种获取：最长公共子序列、时间序列相似度。
可选地，将所述初始文本段转换成音标，得到音标数据，包括：
获取预设的汉语拼音与国际音标映射表；
基于所述映射表，依次将所述初始文本段内各词语转换成汉语拼音和/或国际音标，得到音标数据。
可选地，所述映射表内包含不同方言对应的汉语拼音与国际音标的映射关系。
根据本公开实施例的第二方面，提供一种语音识别装置，包括：
第一文本获取模块，用于对待识别的语音数据进行识别，得到第一文本数据；
置信度获取模块，用于将所述第一文本数据输入到预设的语言模型，由所述语言模型确定所述第一文本数据中置信度小于置信度阈值的初始文本段；
目标文本获取模块，用于基于所述初始文本段校正所述第一文本数据得到所述语音数据对应的目标文本数据，所述目标文本数据的置信度超过预设的置信度阈值。
可选地，所述目标文本获取模块包括：
初始段获取单元，用于将所述第一文本数据输入到预设的语言模型，由所述语言模型确定所述第一文本数据中置信度小于置信度阈值的初始文本段；
音标数据获取单元，用于将所述初始文本段转换成音标，得到音标数据；其中，所述初始文本段中的中文文本转换成汉语拼音，所述初始文本段中的非中文文本转换成国际音标；
目标段获取单元，用于基于所述音标数据查询预设的词库，得到所述初始音频数据对应的至少一个目标候选文本段；
第二文本获取单元，用于依次将所述至少一个目标候选文本段替代所述第一文本数据中的初始文本段，得到第二文本数据；
目标文本获取单元，用于依次将各第二文本数据输入到所述语言模型，得到各第二文本数据的置信度，置信度最高的第二文本数据即是目标文本数据。
可选地，所述目标段获取单元包括：
初始候选获取子单元，用于基于所述音标数据查询预设的词库，得到多个初始候选文本段；
相似度获取子单元，用于获取各初始候选文本段与所述初始文本段的相似度；
目标候选获取子单元，用于获取所述相似度超过相似度阈值的初始候选文本段，得到至少一个目标候选文本段。
可选地，所述相似度采用至少以下一种获取：最长公共子序列、时间序列相似度。
可选地，所述音标数据获取单元包括：
映射表获取子单元，用于获取预设的汉语拼音与国际音标映射表；
音标获取子单元，用于基于所述映射表，依次将所述初始文本段内各词语转换成汉语拼音和/或国际音标，得到音标数据。
可选地，所述映射表内包含不同方言对应的汉语拼音与国际音标的映射关系。
根据本公开实施例的第三方面，提供一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器被配置为执行所述存储器中的可执行指令以实现如上述任一项所述方法的步骤。
根据本公开实施例的第四方面，提供一种可读存储介质，其上存储有可执行指令，该可执行指令被处理器执行时实现如上述任一项所述方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果：
由上述实施例可知，本公开实施例中通过对待识别的语音数据进行识别，可以得到第一文本数据；然后将第一文本数据输入到预设的语言模型，由语言模型确定第一文本数据中置信度小于置信度阈值的初始文本段；之后，基于初始文本段校正第一文本数据得到所述语音数据对应的目标文本数据，所述目标文本数据的置信度超过预设的置信度阈值。这样，本实施例中通过对第一文本数据中的置信度较小的初始文本段进行校正，可以提升文本数据的置信度得到目标文本数据，从而提升自然语言处理NLP中意图理解的准确度，避免割裂语音识别与意图理解。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种语音识别方法的流程图。
图2是根据一示例性实施例示出的获取目标文本数据的流程图。
图3是根据一示例性实施例示出的获取音标数据的流程图。
图4是根据一示例性实施例示出的获取目标候选文本段的流程图。
图5～图8是根据一示例性实施例示出的一种语音识别装置的框图。
图9是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性所描述的实施例并不代表与本公开相一致的所有实施例。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置例子。
目前，语音识别技术在电子设备上的应用越来越广泛。其中语音识别技术通过利用声学和语言学的方法，事先训练好声学模型，由于声学模型对语音数据进行语音识别。在实际产品中，语音识别技术会分成两个阶段，即语音识别(ASR)与自然语言处理(NLP)；其中语音识别将音频数据识别成文本数据，并将文本数据作为自然语音处理的输入数据。NLP过程中，根据设定的词库进行词槽提取，最终达到识别出音频数据的效果。
然而，实际应用中，可能会出现如下场景：例如用户说“购买东西”，ASR结果为“girl买东西”，而NLP的词库只有“购买东西”；又如用户在说“good morning”，ASR结果为“古的毛宁”，而NLP的词库只有“good morning”，等等。也就是说，ASR识别出的文本数据，可能在NLP过程中因词库内未包括相应的词语，导致提取词槽失败，使NLP无法正确理解语音数据的意图而造成NLP理解割裂的问题。
为解决上述技术问题，本公开实施例提供了一种语音识别方法，可以应用到例如智能音箱、语音助手等场景，图1是根据一示例性实施例示出的一种语音识别方法的流程图。为方便描述，后续以电子设备为执行主体描述各实施例。需要说明的是，上述语音识别方法可以适用于包含中文与非中文的语音交互场景，为简化描述，后续各实施例中的非中文采用英语进行描述，并不形成限定。
参见图1，一种语音识别方法，包括步骤101～步骤103，其中：
在步骤101中，对待识别的语音数据进行识别，得到第一文本数据。
在一实施例中，电子设备内可以预先设置一语音识别模型，将待识别的语音数据输入到该语音识别模型，即可以得到文本数据，后续称之为第一文本数据以示区别。语音识别模型识别语音数据的过程可以包括：将待识别的语音数据中首尾端的静音去除，以降低静音部分对后续步骤造成干扰。对语音数据进行分帧、加窗，提取特征点。然后，利用声学模型对特征点进行解码可以得到第一文本数据。需要说明的是，上述内容仅简要描述了语音识别的过程，具体内容可以参考相关技术。
在另一实施例中，电子设备还可以与外部语音设备进行通信连接，然后将获取的的语音数据发送给外部语音设备，该外部语音设备可以对待识别的语音数据进行语音识别，并将第一文本数据发送给电子设备，这样电子设备可以获取语音数据对应的第一文本数据。
在步骤102中，将所述第一文本数据输入到预设的语言模型，由所述语言模型确定所述第一文本数据中置信度小于置信度阈值的初始文本段。
本实施例中，可以预设一语言模型，该语言模型可以为神经网络语言模型、统计语言模型等，在能够获取到第一文本数据的置信度以及第一文本数据中各文本段的置信度的情况下，相应语言模型落入本公开的保护范围。
需要说明的是，置信度可以是第一文本数据中每个句子出现的概率，即第一文本数据中每个句子符合语言表达习惯的概率；也可以是每个句子与标准语句之间的相似度。在置信度能够表征各文本数据特点的情况下，相应方案落入本公开的保护范围。
本实施例中，电子设备在获取到第一文本数据后，可以将其输入到语言模型。这样，语言模型可以获取第一文本数据中各文本段的置信度和第一文本数据的置信度，或者语言模型可以获取第一文本数据中的置信度以及引起第一文本数据置信度降低的文本段。电子设备可以获取置信度小于置信度阈值的文本段作为校正对象，后续称之为初始文本段以示区别。
以语言模型采用统计语言模型为例，该统计语言模型可以获取出第一文本数据中每个句子出现的可能性(即置信度)，结合预设的置信度阈值(例如95％)，则若低于该置信度阈值，则可以默认第一文本数据中各文本段均需要校正。
当然，技术人员还可以采用其他语言模型，由该语言模型确定出第一文本数据中每个句子出现的可能性，甚至每个句子中文本段出现的可能性，从而可以直接获得到引起置信度偏低的文本段。例如，用户说“购买东西”，ASR结果即第一文本数据为“girl买东西”，语言模型输出“girl买东西”的置信度为0.8，文本段“girl买”的置信度为0.6，文本段“买东西”的置信度为1.0，则引起第一文本数据置信降低的文本段“girl买”
在步骤103中，基于所述初始文本段校正所述第一文本数据得到所述语音数据对应的目标文本数据，所述目标文本数据的置信度超过预设的置信度阈值。
本实施例中，电子设备在获取到初始文本段后，会基于该初始文本段对第一文本数据进行校正，参见图2，包括步骤201～步骤204：
首先，参见图2，电子设备可以将初始文本段转换成音标，得到音标数据；其中，所述初始文本段中的中文文本转换成汉语拼音，所述初始文本段中的英文文本转换成国际音标(对应图2中步骤201)。
在一示例中，对于步骤201，电子设备可以通过以下方式获取音标数据。参见图3，电子设备可以获取预设的汉语拼音与国际音标映射表(对应图3中步骤301)。需要说明的是，考虑到英文的国际音标和汉语拼音各自的特点，本实施例中作如下处理：第一，因汉语拼音中无英语中长音或短音音标，故忽略国际音标中的长音符号。第二，因汉语拼音中没有重音符号，帮忽略国际音标中的重音。这样，可以得到如表1所示的汉语拼音与国际音标映射表。
表1汉语拼音与国际音标映射表
需要说明的是，上述映射表仅用于示意国际音标和汉语拼音之间的对应关系，考虑到国际音标和汉语拼音的不同应用场景，还可以做适当调整，例如，映射表内还可以包含不同方言对应的汉语拼音与国际音标的映射关系。例如，考虑到中文范围较广，各地方用户的中文发音会存在区别，例如部分地区无法正确的发音“n”和“l”，从而使正确的“牛奶”被识别成错误的“刘来”，因此可以建立“n”和“l”的对应关系。又如，考虑到国际音标
与汉语拼音“x”相似度并不高，因此可以将映射表中国际音标
与汉语拼音“x”相似度降低到0.8。再如，英语单词
很多人会发音成汉语的“血”(四声)“xue”，此场景下，可以将
和/ve/建立对应关系，扩充到映射表中。这样，通过上述方式，可以使汉语拼音与国际音标建立关系，达到优化映射表的效果，这样有利于提升获取的文本数据的置信度，进而有利于提升后续的语音意图理解的准确率。
这样，电子设备可以基于上述映射表，依次将初始文本段内各词语转换成汉语拼音和/或国际音标，得到音标数据(对应图3中步骤302)。例如，初始文本段为“goodmorning”时，其采用国际音标表示的音标数据为
又如，初始文本段为“古德毛宁”时，其采用汉语拼音表示的音标数据为“gu de mao ning”。
然后，继续参见图2，电子设备可以基于音标数据查询预设的词库，得到初始音频数据对应的至少一个目标候选文本段(对应图2中步骤202)。
在一示例中，对于步骤202，可以通过以下方式获得目标候选文本段。参见图4，电子设备可以基于音标数据查询预设的词库，得到多个初始候选文本段(对应图4中步骤401)。然后，电子设备可以获取各初始候选文本段与初始文本段的相似度(对应图4中步骤402)。其中，相似度可以采用以下至少一种方式获取：最长公共子序列、时间序列相似度。之后，电子设备可以获取相似度超过相似度阈值的初始候选文本段，得到至少一个目标候选文本段(对应图4中步骤403)。其中相似度阈值可以根据具体场景进行设置，如0.8，在此不作限定。
在另一示例中，对于步骤202，可以通过以下方式获得目标候选文本段。电子设备可以基于音标数据查询预设的词库，在查询时，电子设备可以将音标数据转化为汉语拼音和/或国际音标，从而查询出对应的中文文本段和/或英文文本段。例如，电子设备可以根据汉语拼音对比表1中的汉语拼音辅音和元音部分与国际音标的映射关系，将音标数据转换成中文文本发音和英文文本发音，再从词库中查询中对应的中英文候选文本段。以初始文本段为“girl买”为例，根据girl的国际音标中的辅音元音分别与汉语拼音对应辅音元音之间的相似度，确定girl对应的汉语拼音可以包括：“购”“哥儿”，对应的目标候选文本段可以包括：“购买”“哥儿买”，也可以根据“买”的汉语拼音对应辅音元音与对应的国际音标之间的相似度，确定“买”对应的国际音标可以包括：“mai”，对应的目标候选文本段可以包括：“girl mai”。
实际应用中，考虑到不同地域的用户发音具有各自特点，即与标准发音不同。此情况下，在查询过程中，电子设备可以根据汉语拼音与国际音标的相似度查询到汉语拼音对应的国际音标，或者国际音标对应的汉语拼音。在指定长度的音标数据中包含一定比例的辅音和元音时，即可在词库中进行匹配，获得目标候选文本段。这样，本实施例可以丰富得到候选文本段的数据，有利于提高准确度。
之后，继续参见图2，电子设备可以依次将至少一个目标候选文本段替代第一文本数据中的初始文本段，得到第二文本数据(对应图2中步骤203)。例如，选取其中一个目标候选文本直接取代初始文本段，如目标候选文本段为“购买”、“哥儿买”，初始文本段为“girl买”，第一文本数据为“girl买东西”，替代后的第二文本数据可以为“购买东西”或者“哥儿买东西”。
最后，继续参见图2，电子设备可以依次将各第二文本数据输入到上述语言模型，得到各第二文本数据的置信度，置信度最高的第二文本数据即是目标文本数据(对应图2中步骤204)。第一文本数据“girl买东西”的置信度0.8，第二文本数据“购买东西”的置信度为0.95，第二文本数据“哥儿买东西”的置信度0.9，则确定置信度最高的第二文本数据“购买东西”作为目标文本数据。
这样，本实施例中通过对第一文本数据进行校正，使目标文本数据的置信度较第一文本数据有提升。
至此，本公开实施例中通过对待识别的语音数据进行识别，可以得到第一文本数据；然后将第一文本数据输入到预设的语言模型，由语言模型确定第一文本数据中置信度小于置信度阈值的初始文本段；之后，基于初始文本段校正第一文本数据得到所述语音数据对应的目标文本数据，所述目标文本数据的置信度超过预设的置信度阈值。这样，本实施例中通过对第一文本数据中的置信度较小的初始文本段进行校正，可以提升文本数据的置信度得到目标文本数据，从而提升自然语言处理NLP中意图理解的准确度，避免割裂语音识别与意图理解。
图5是根据一示例性实施例示出的一种语音识别装置框图。参见图5，一种语音识别装置，包括：
第一文本获取模块501，用于对待识别的语音数据进行识别，得到第一文本数据；
置信度获取模块502，用于将所述第一文本数据输入到预设的语言模型，由所述语言模型确定所述第一文本数据中置信度小于置信度阈值的初始文本段；
目标文本获取模块503，用于基于所述初始文本段校正所述第一文本数据得到所述语音数据对应的目标文本数据，所述目标文本数据的置信度超过预设的置信度阈值。
在一实施例中，参见图6，所述目标文本获取模块503包括：
音标数据获取单元601，用于将所述初始文本段转换成音标，得到音标数据；其中，所述初始文本段中的中文文本转换成汉语拼音，所述初始文本段中的非中文文本转换成国际音标；
目标段获取单元602，用于基于所述音标数据查询预设的词库，得到所述初始音频数据对应的至少一个目标候选文本段；
第二文本获取单元603，用于依次将所述至少一个目标候选文本段替代所述第一文本数据中的初始文本段，得到第二文本数据；
目标文本获取单元604，用于依次将各第二文本数据输入到所述语言模型，得到各第二文本数据的置信度，置信度最高的第二文本数据即是目标文本数据。
在一实施例中，参见图7，所述目标段获取单元602包括：
初始候选获取子单元701，用于基于所述音标数据查询预设的词库，得到多个初始候选文本段；
相似度获取子单元702，用于获取各初始候选文本段与所述初始文本段的相似度；
目标候选获取子单元703，用于获取所述相似度超过相似度阈值的初始候选文本段，得到至少一个目标候选文本段。
在一实施例中，所述相似度采用至少以下一种获取：最长公共子序列、时间序列相似度。
在一实施例中，参见图8，所述音标数据获取单元601包括：
映射表获取子单元801，用于获取预设的汉语拼音与国际音标映射表；
音标获取子单元802，用于基于所述映射表，依次将所述初始文本段内各词语转换成汉语拼音和/或国际音标，得到音标数据。
在一实施例中，所述映射表内包含不同方言对应的汉语拼音与国际音标的映射关系。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
至此，本公开实施例中通过对待识别的语音数据进行识别，可以得到第一文本数据；然后将第一文本数据输入到预设的语言模型，由语言模型确定第一文本数据中置信度小于置信度阈值的初始文本段；之后，基于初始文本段校正第一文本数据得到所述语音数据对应的目标文本数据，所述目标文本数据的置信度超过预设的置信度阈值。这样，本实施例中通过对第一文本数据中的置信度较小的初始文本段进行校正，可以提升文本数据的置信度得到目标文本数据，从而提升自然语言处理NLP中意图理解的准确度，避免割裂语音识别与意图理解。
图9是根据一示例性实施例示出的一种电子设备的框图。例如，电子设备900可以是智能手机，计算机，数字广播终端，平板设备，医疗设备，健身设备，个人数字助理等。
参照图9，电子设备900可以包括以下一个或多个组件：处理组件902，存储器904，电源组件906，多媒体组件908，音频组件910，输入/输出(I/O)的接口912，传感器组件914，通信组件916，以及图像采集组件918。
处理组件902通常电子设备900的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件902可以包括一个或多个处理器920来执行指令。此外，处理组件902可以包括一个或多个模块，便于处理组件902和其他组件之间的交互。例如，处理组件902可以包括多媒体模块，以方便多媒体组件908和处理组件902之间的交互。
存储器904被配置为存储各种类型的数据以支持在电子设备900的操作。这些数据的示例包括用于在电子设备900上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器904可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件906为电子设备900的各种组件提供电力。电源组件906可以包括电源管理系统，一个或多个电源，及其他与为电子设备900生成、管理和分配电力相关联的组件。
多媒体组件908包括在所述电子设备900和目标对象之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示屏(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自目标对象的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
音频组件910被配置为输出和/或输入音频信号。例如，音频组件910包括一个麦克风(MIC)，当电子设备900处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器904或经由通信组件916发送。在一些实施例中，音频组件910还包括一个扬声器，用于输出音频信号。
I/O接口912为处理组件902和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。
传感器组件914包括一个或多个传感器，用于为电子设备900提供各个方面的状态评估。例如，传感器组件914可以检测到电子设备900的打开/关闭状态，组件的相对定位，例如所述组件为电子设备900的显示屏和小键盘，传感器组件914还可以检测电子设备900或一个组件的位置改变，目标对象与电子设备900接触的存在或不存在，电子设备900方位或加速/减速和电子设备900的温度变化。
通信组件916被配置为便于电子设备900和其他设备之间有线或无线方式的通信。电子设备900可以接入基于通信标准的无线网络，如WiFi，2G，3G，4G，5G或它们的组合。在一个示例性实施例中，通信组件916经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件916还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备900可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现。
在示例性实施例中，还提供了一种包括指令的非临时性可读存储介质，例如包括指令的存储器904，上述指令可由电子设备900的处理器920执行。例如，所述非临时性可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本公开旨在涵盖任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (14)
1.一种语音识别方法，其特征在于，所述方法包括：
对待识别的语音数据进行识别，得到第一文本数据；
将所述第一文本数据输入到预设的语言模型，由所述语言模型确定所述第一文本数据中置信度小于置信度阈值的初始文本段；
基于所述初始文本段校正所述第一文本数据得到所述语音数据对应的目标文本数据，所述目标文本数据的置信度超过预设的置信度阈值。
2.根据权利要求1所述的语音识别方法，其特征在于，基于所述初始文本段校正所述第一文本数据得到所述语音数据对应的目标文本数据，包括：
将所述初始文本段转换成音标，得到音标数据；其中，所述初始文本段中的中文文本转换成汉语拼音，所述初始文本段中的非中文文本转换成国际音标；
基于所述音标数据查询预设的词库，得到所述初始音频数据对应的至少一个目标候选文本段；
依次将所述至少一个目标候选文本段替代所述第一文本数据中的初始文本段，得到第二文本数据；
依次将各第二文本数据输入到所述语言模型，得到各第二文本数据的置信度，置信度最高的第二文本数据即是目标文本数据。
3.根据权利要求2所述的语音识别方法，其特征在于，基于所述音标数据查询预设的词库，得到所述初始音频数据对应的至少一个目标候选文本段，包括：
基于所述音标数据查询预设的词库，得到多个初始候选文本段；
获取各初始候选文本段与所述初始文本段的相似度；
获取所述相似度超过相似度阈值的初始候选文本段，得到至少一个目标候选文本段。
4.根据权利要求3所述的语音识别方法，其特征在于，所述相似度采用至少以下一种获取：最长公共子序列、时间序列相似度。
5.根据权利要求2所述的语音识别方法，其特征在于，将所述初始文本段转换成音标，得到音标数据，包括：
获取预设的汉语拼音与国际音标映射表；
基于所述映射表，依次将所述初始文本段内各词语转换成汉语拼音和/或国际音标，得到音标数据。
6.根据权利要求5所述的语音识别方法，其特征在于，所述映射表内包含不同方言对应的汉语拼音与国际音标的映射关系。
7.一种语音识别装置，其特征在于，所述装置包括：
第一文本获取模块，用于对待识别的语音数据进行识别，得到第一文本数据；
置信度获取模块，用于将所述第一文本数据输入到预设的语言模型，由所述语言模型确定所述第一文本数据中置信度小于置信度阈值的初始文本段；
目标文本获取模块，用于基于所述初始文本段校正所述第一文本数据得到所述语音数据对应的目标文本数据，所述目标文本数据的置信度超过预设的置信度阈值。
8.根据权利要求7所述的语音识别装置，其特征在于，所述目标文本获取模块包括：
音标数据获取单元，用于将所述初始文本段转换成音标，得到音标数据；其中，所述初始文本段中的中文文本转换成汉语拼音，所述初始文本段中的非中文文本转换成国际音标；
目标段获取单元，用于基于所述音标数据查询预设的词库，得到所述初始音频数据对应的至少一个目标候选文本段；
第二文本获取单元，用于依次将所述至少一个目标候选文本段替代所述第一文本数据中的初始文本段，得到第二文本数据；
目标文本获取单元，用于依次将各第二文本数据输入到所述语言模型，得到各第二文本数据的置信度，置信度最高的第二文本数据即是目标文本数据。
9.根据权利要求8所述的语音识别装置，其特征在于，所述目标段获取单元包括：
初始候选获取子单元，用于基于所述音标数据查询预设的词库，得到多个初始候选文本段；
相似度获取子单元，用于获取各初始候选文本段与所述初始文本段的相似度；
目标候选获取子单元，用于获取所述相似度超过相似度阈值的初始候选文本段，得到至少一个目标候选文本段。
10.根据权利要求8所述的语音识别装置，其特征在于，所述相似度采用至少以下一种获取：最长公共子序列、时间序列相似度。
11.根据权利要求8所述的语音识别装置，其特征在于，所述音标数据获取单元包括：
映射表获取子单元，用于获取预设的汉语拼音与国际音标映射表；
音标获取子单元，用于基于所述映射表，依次将所述初始文本段内各词语转换成汉语拼音和/或国际音标，得到音标数据。
12.根据权利要求11所述的语音识别装置，其特征在于，所述映射表内包含不同方言对应的汉语拼音与国际音标的映射关系。
13.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器被配置为执行所述存储器中的可执行指令以实现权利要求1～6任一项所述方法的步骤。
14.一种可读存储介质，其上存储有可执行指令，其特征在于，该可执行指令被处理器执行时实现权利要求1～6任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010017429.7A CN111192586B (zh) | 2020-01-08 | 2020-01-08 | 语音识别方法及装置、电子设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010017429.7A CN111192586B (zh) | 2020-01-08 | 2020-01-08 | 语音识别方法及装置、电子设备、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111192586A true CN111192586A (zh) | 2020-05-22 |
| CN111192586B CN111192586B (zh) | 2023-07-04 |
Family
ID=70710628
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010017429.7A Active CN111192586B (zh) | 2020-01-08 | 2020-01-08 | 语音识别方法及装置、电子设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111192586B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112199623A (zh) * | 2020-09-29 | 2021-01-08 | 上海博泰悦臻电子设备制造有限公司 | 脚本执行方法、装置、电子设备及存储介质 |
| CN113470631A (zh) * | 2021-06-28 | 2021-10-01 | 北京小米移动软件有限公司 | 语音信号处理方法及装置、电子设备及存储介质 |
| EP4109443A3 (en) * | 2021-11-15 | 2023-04-12 | Beijing Baidu Netcom Science Technology Co., Ltd. | Method for correcting text, method for generating text correction model, device and medium |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1979638A (zh) * | 2005-12-02 | 2007-06-13 | 中国科学院自动化研究所 | 一种语音识别结果纠错方法 |
| JP2010055044A (ja) * | 2008-04-22 | 2010-03-11 | Ntt Docomo Inc | 音声認識結果訂正装置および音声認識結果訂正方法、ならびに音声認識結果訂正システム |
| CN106297797A (zh) * | 2016-07-26 | 2017-01-04 | 百度在线网络技术（北京）有限公司 | 语音识别结果纠错方法和装置 |
| CN106847288A (zh) * | 2017-02-17 | 2017-06-13 | 上海创米科技有限公司 | 语音识别文本的纠错方法与装置 |
| CN107301866A (zh) * | 2017-06-23 | 2017-10-27 | 北京百度网讯科技有限公司 | 信息输入方法 |
| CN107451121A (zh) * | 2017-08-03 | 2017-12-08 | 京东方科技集团股份有限公司 | 一种语音识别方法及其装置 |
| CN107678561A (zh) * | 2017-09-29 | 2018-02-09 | 百度在线网络技术（北京）有限公司 | 基于人工智能的语音输入纠错方法及装置 |
| CN108091328A (zh) * | 2017-11-20 | 2018-05-29 | 北京百度网讯科技有限公司 | 基于人工智能的语音识别纠错方法、装置及可读介质 |
| CN109062891A (zh) * | 2018-07-09 | 2018-12-21 | 重庆邂智科技有限公司 | 媒体处理方法、装置、终端和介质 |
| CN109710929A (zh) * | 2018-12-18 | 2019-05-03 | 金蝶软件（中国）有限公司 | 一种语音识别文本的校正方法、装置、计算机设备和存储介质 |
| CN110164435A (zh) * | 2019-04-26 | 2019-08-23 | 平安科技（深圳）有限公司 | 语音识别方法、装置、设备及计算机可读存储介质 |
| CN110428822A (zh) * | 2019-08-05 | 2019-11-08 | 重庆电子工程职业学院 | 一种语音识别纠错方法及人机对话系统 |
| CN110473523A (zh) * | 2019-08-30 | 2019-11-19 | 北京大米科技有限公司 | 一种语音识别方法、装置、存储介质及终端 |
-
2020
- 2020-01-08 CN CN202010017429.7A patent/CN111192586B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1979638A (zh) * | 2005-12-02 | 2007-06-13 | 中国科学院自动化研究所 | 一种语音识别结果纠错方法 |
| JP2010055044A (ja) * | 2008-04-22 | 2010-03-11 | Ntt Docomo Inc | 音声認識結果訂正装置および音声認識結果訂正方法、ならびに音声認識結果訂正システム |
| WO2018018867A1 (zh) * | 2016-07-26 | 2018-02-01 | 百度在线网络技术（北京）有限公司 | 语音识别结果纠错方法和装置 |
| CN106297797A (zh) * | 2016-07-26 | 2017-01-04 | 百度在线网络技术（北京）有限公司 | 语音识别结果纠错方法和装置 |
| CN106847288A (zh) * | 2017-02-17 | 2017-06-13 | 上海创米科技有限公司 | 语音识别文本的纠错方法与装置 |
| CN107301866A (zh) * | 2017-06-23 | 2017-10-27 | 北京百度网讯科技有限公司 | 信息输入方法 |
| CN107451121A (zh) * | 2017-08-03 | 2017-12-08 | 京东方科技集团股份有限公司 | 一种语音识别方法及其装置 |
| CN107678561A (zh) * | 2017-09-29 | 2018-02-09 | 百度在线网络技术（北京）有限公司 | 基于人工智能的语音输入纠错方法及装置 |
| CN108091328A (zh) * | 2017-11-20 | 2018-05-29 | 北京百度网讯科技有限公司 | 基于人工智能的语音识别纠错方法、装置及可读介质 |
| CN109062891A (zh) * | 2018-07-09 | 2018-12-21 | 重庆邂智科技有限公司 | 媒体处理方法、装置、终端和介质 |
| CN109710929A (zh) * | 2018-12-18 | 2019-05-03 | 金蝶软件（中国）有限公司 | 一种语音识别文本的校正方法、装置、计算机设备和存储介质 |
| CN110164435A (zh) * | 2019-04-26 | 2019-08-23 | 平安科技（深圳）有限公司 | 语音识别方法、装置、设备及计算机可读存储介质 |
| CN110428822A (zh) * | 2019-08-05 | 2019-11-08 | 重庆电子工程职业学院 | 一种语音识别纠错方法及人机对话系统 |
| CN110473523A (zh) * | 2019-08-30 | 2019-11-19 | 北京大米科技有限公司 | 一种语音识别方法、装置、存储介质及终端 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112199623A (zh) * | 2020-09-29 | 2021-01-08 | 上海博泰悦臻电子设备制造有限公司 | 脚本执行方法、装置、电子设备及存储介质 |
| CN112199623B (zh) * | 2020-09-29 | 2024-02-27 | 博泰车联网科技(上海)股份有限公司 | 脚本执行方法、装置、电子设备及存储介质 |
| CN113470631A (zh) * | 2021-06-28 | 2021-10-01 | 北京小米移动软件有限公司 | 语音信号处理方法及装置、电子设备及存储介质 |
| EP4109443A3 (en) * | 2021-11-15 | 2023-04-12 | Beijing Baidu Netcom Science Technology Co., Ltd. | Method for correcting text, method for generating text correction model, device and medium |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111192586B (zh) | 2023-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107632980B (zh) | 语音翻译方法和装置、用于语音翻译的装置 | |
| US8423351B2 (en) | Speech correction for typed input | |
| EP3896598A1 (en) | Method deciding whether to reject audio for processing and corresponding device and storage medium | |
| US20160078020A1 (en) | Speech translation apparatus and method | |
| US11043213B2 (en) | System and method for detection and correction of incorrectly pronounced words | |
| CN111192586B (zh) | 语音识别方法及装置、电子设备、存储介质 | |
| CN110494841B (zh) | 语境语言翻译 | |
| WO2018076450A1 (zh) | 一种输入方法和装置、一种用于输入的装置 | |
| CN110910903B (zh) | 语音情绪识别方法、装置、设备及计算机可读存储介质 | |
| CN107274903B (zh) | 文本处理方法和装置、用于文本处理的装置 | |
| CN107291704B (zh) | 处理方法和装置、用于处理的装置 | |
| CN107564526B (zh) | 处理方法、装置和机器可读介质 | |
| US10395645B2 (en) | Method, apparatus, and computer-readable recording medium for improving at least one semantic unit set | |
| CN108628819B (zh) | 处理方法和装置、用于处理的装置 | |
| CN111369978B (zh) | 一种数据处理方法、装置和用于数据处理的装置 | |
| CN112735396A (zh) | 语音识别纠错方法、装置及存储介质 | |
| CN107424612B (zh) | 处理方法、装置和机器可读介质 | |
| US20180089176A1 (en) | Method of translating speech signal and electronic device employing the same | |
| US8527270B2 (en) | Method and apparatus for conducting an interactive dialogue | |
| CN111435595A (zh) | 文本规整方法及装置 | |
| CN112133295B (zh) | 语音识别方法、装置及存储介质 | |
| CN115104151A (zh) | 一种离线语音识别方法和装置、电子设备和可读存储介质 | |
| CN111640452B (zh) | 一种数据处理方法、装置和用于数据处理的装置 | |
| CN109979435B (zh) | 数据处理方法和装置、用于数据处理的装置 | |
| CN116127966A (zh) | 文本处理方法、语言模型训练方法及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 100085 unit C, building C, lin66, Zhufang Road, Qinghe, Haidian District, Beijing Applicant after: Beijing Xiaomi pinecone Electronic Co.,Ltd. Address before: 100085 unit C, building C, lin66, Zhufang Road, Qinghe, Haidian District, Beijing Applicant before: BEIJING PINECONE ELECTRONICS Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |