CN106448675B - 识别文本修正方法及系统 - Google Patents
识别文本修正方法及系统 Download PDFInfo
- Publication number
- CN106448675B CN106448675B CN201610921381.6A CN201610921381A CN106448675B CN 106448675 B CN106448675 B CN 106448675B CN 201610921381 A CN201610921381 A CN 201610921381A CN 106448675 B CN106448675 B CN 106448675B
- Authority
- CN
- China
- Prior art keywords
- text
- recognition
- corrected
- voice data
- language model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000003111 delayed effect Effects 0.000 claims abstract description 32
- 238000012937 correction Methods 0.000 claims description 32
- 238000000605 extraction Methods 0.000 claims description 15
- 238000005457 optimization Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 3
- 238000012986 modification Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/232—Orthographic correction, e.g. spell checking or vowelisation
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种识别文本修正方法及系统，该方法包括：实时接收用户语音数据；对所述语音数据进行语音识别，得到初始识别文本；对所述语音数据进行延时播放，并显示延时后的语音数据对应的初始识别文本，以使用户根据延时后的语音数据对所述初始识别文本进行修正，并将来不及修正的错误识别文本标记为待修正识别文本；根据修正后识别文本及其对应的语音数据对待修正识别文本进行修正。利用本发明，可以减少用户修正识别文本的工作量，提高识别文本修正的准确度及效率。
Description
技术领域
本发明涉及自然语言处理领域，具体涉及一种识别文本修正方法及系统。
背景技术
目前在企事业单位、政府部门及教育行业，每年有数以万计场次的会议、采访或演讲等，在人民法院与检察院每年有大量的庭审和审讯，这些场景都需要由秘书、记者、书记员或检察官进行会议纪要的整理和现场情况的记录。随着语音识别技术的不断发展，语音识别的准确度早已达到实用水平，越来越多的会议等语音数据使用语音识别技术将现场语音数据转成文本数据，并在识别文本的基础上整理相应的会议纪要或现场情况的记录。这些场景在将语音数据转成文本时，需要较高的识别准确度，甚至不允许出现任何错误，如将重要会议的语音数据转成文本后形成会议纪要，目前，现有的语音识别技术还不能达到。因此，需要用户对识别文本进行修正，以保证识别文本的准确性。
现有的对识别文本进行修正的方法在对语音数据进行实时语音识别时，将语音识别得到的识别文本直接发给用户，用户在该识别文本上直接修正；当所有语音数据识别结束后，用户再重新检查是否有未修正的识别文本，如果有，则修正所述未修正的识别文本。所述方法在用户接收到识别文本时，用户听到的语音数据为当前识别文本对应语音数据后面的语音数据，即用户在进行识别文本修正时，接收到的识别文本与听到的语音数据不一致，因为即使是实时语音识别，也要在获取到用户语音数据后，进行端点检测，以端点检测为单元输出识别文本，从而使得到的识别文本存在一定的延时。因此，用户只能依靠对之前语音数据内容的记忆对识别文本进行修正，同时用户听到的语音数据与识别文本不对应，也对用户修正识别文本造成了干扰，不仅增加了用户修改的难度，也降低了识别文本修正的准确度。此外，当所有语音数据识别结束后，由于经常存在用户没来及修正的识别文本，需要对识别文本进行重新检查，修正没来得及修正的识别文本，以保证识别文本的准确度，然而在实时语音识别时，用户已经对识别文本进行了部分修正，从而导致语音数据与识别文本的不对应，这样用户在对识别文本进行检查时，需要重新听语音数据对识别文本进行检查，对未修正的错误识别文本进行修正，大大降低了识别文本修正的效率。
发明内容
本发明实施例提供一种识别文本修正方法及系统，以减少用户修正识别文本的工作量，提高识别文本修正的准确度及效率。
为此，本发明提供如下技术方案：
一种识别文本修正方法，包括：
实时接收用户语音数据；
对所述语音数据进行语音识别，得到初始识别文本；
对所述语音数据进行延时播放，并显示延时后的语音数据对应的初始识别文本，以使用户根据延时后的语音数据对所述初始识别文本进行修正，并将来不及修正的错误识别文本标记为待修正识别文本；
根据修正后识别文本及其对应的语音数据对待修正识别文本进行修正。
优选地，所述将来不及修正的错误识别文本标记为待修正识别文本包括：
将来不及修正的错误识别文本标记为设定颜色、或设定字体、或高亮色；或者
在来不及修正的错误识别文本处插入提示标记；或者
在来不及修正的错误识别文本下方添加下划线或波纹线。
优选地，所述根据修正后识别文本及其对应的语音数据对待修正识别文本进行修正包括：
根据修正后识别文本对原语言模型进行优化，得到优化后的语言模型；
确定待修正识别文本所在句子对应的语音数据；
使用优化后的语言模型对待修正识别文本所在句子对应的语音数据进行二次语音识别，得到识别结果；
将所述识别结果替代所述待修正识别文本所在句子。
优选地，所述根据修正后识别文本对语言模型进行优化，得到优化后的语言模型包括：
提取修正后识别文本中的关键词，得到关键词列表；
根据所述关键词列表搜索语料库，得到与所述关键词相关的文本语料；
利用修正后识别文本及所述文本语料对原语言模型进行优化，得到优化后的语言模型。
优选地，所述提取修正后识别文本中的关键词，得到关键词列表包括：
根据修正后识别文本的语义提取关键词，并将提取得到的关键词添加到关键词列表；和/或
通过动态规划方法将修正后识别文本与修正前识别文本进行对齐，然后找到修正后的词，将修正后的词作为关键词添加到关键词列表。
优选地，所述利用修正后识别文本及所述文本语料对原语言模型进行优化，得到优化后的语言模型包括：
利用修正后识别文本及所述文本语料训练得到新的语言模型；
将所述新的语言模型与所述原语言模型进行融合，得到优化后的语言模型。
优选地，所述确定待修正识别文本所在句子对应的语音数据包括：
根据所述初始识别文本定位待修正识别文本所在句子对应的语音数据；或者
将修正后识别文本与所述语音数据进行对齐后，定位待修正识别文本所在句子对应的语音数据。
优选地，所述方法还包括：
将所述识别结果展现给用户；
在感知到用户点击所述识别结果的操作后，播放所述识别结果对应的语音数据，以使用户对所述识别结果进行修正。
优选地，所述播放所述识别结果对应的语音数据包括：
根据设定的播放速度播放所述识别结果对应的语音数据。
优选地，所述方法还包括：
由用户设定所述播放速度；
根据所述识别结果的置信度设定所述播放速度。
一种识别文本修正系统，包括：
语音接收模块，用于实时接收用户语音数据；
语音识别模块，用于对所述语音数据进行语音识别，得到初始识别文本；
播放模块，用于对所述语音数据进行延时播放；
显示模块，用于在所述播放模块对所述语音数据进行延时播放的同时，显示延时后的语音数据对应的初始识别文本，以使用户根据延时后的语音数据对所述初始识别文本进行修正，并将来不及修正的错误识别文本标记为待修正识别文本；
修正模块，用于根据修正后识别文本及其对应的语音数据对待修正识别文本进行修正。
优选地，所述修正模块包括：
语言模型优化模块，用于根据修正后识别文本对原语言模型进行优化，得到优化后的语言模型；
定位模块，用于确定待修正识别文本所在句子对应的语音数据；
二次识别模块，用于使用优化后的语言模型对待修正识别文本所在句子对应的语音数据进行二次语音识别，得到识别结果；
替代处理模块，用于将所述识别结果替代所述待修正识别文本所在句子。
优选地，所述语言模型优化模块包括：
关键词提取单元，用于提取修正后识别文本中的关键词，得到关键词列表；
语料获取单元，用于根据所述关键词列表搜索语料库，得到与所述关键词相关的文本语料；
优化单元，用于利用修正后识别文本及所述文本语料对原语言模型进行优化，得到优化后的语言模型。
优选地，所述关键词提取单元，具体用于根据修正后识别文本的语义提取关键词，并将提取得到的关键词添加到关键词列表；和/或通过动态规划方法将修正后识别文本与修正前识别文本进行对齐，然后找到修正后的词，将修正后的词作为关键词添加到关键词列表。
优选地，所述优化单元包括：
模型训练子单元，用于利用修正后识别文本及所述文本语料训练得到新的语言模型；
融合子单元，用于将所述新的语言模型与所述原语言模型进行融合，得到优化后的语言模型。
优选地，所述定位模块，具体用于根据所述初始识别文本定位待修正识别文本所在句子对应的语音数据；或者将修正后识别文本与所述语音数据进行对齐后，定位待修正识别文本所在句子对应的语音数据。
优选地，所述显示模块，还用于将所述二次识别模块得到的所述识别结果展现给用户；
相应地，所述播放模块，还用于在感知到用户点击所述识别结果的操作后，播放所述识别结果对应的语音数据，以使用户对所述识别结果进行修正。
优选地，所述播放模块根据设定的播放速度播放所述识别结果对应的语音数据。
本发明实施例提供的识别文本修正方法及系统，对语音识别得到的初始识别文本分两个阶段进行修正，即实时阶段和离线阶段。在实时阶段对初始识别文本进行修正时，通过将语音数据延时播放的方式保证用户听到的语音数据与显示的初始识别文本的一致性，大大提高了用户修正识别文本的准确度；在离线阶段，通过自动定位待修正识别文本所在句子对应的语音数据，对待修正识别文本进行自动修正，从而可以在保证识别文本准确度的同时，大大减少用户修正识别文本的工作量，提高用户修正识别文本的效率。
进一步地，还可将自动修正后的文本展现给用户，以使用户对其中的错误文本做进一步的修正。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1是本发明实施例识别文本修正方法的流程图；
图2是本发明实施例中获取优化后的语言模型的流程图；
图3是本发明实施例识别文本修正系统的一种结构示意图；
图4是本发明实施例中修正模块的一种具体结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明实施例的方案，下面结合附图和实施方式对本发明实施例作进一步的详细说明。
本发明实施例提供的识别文本修正方法及系统，用于对语音数据识别为文本后，对识别错误的文本进行修正，所述修正主要分两个阶段，即实时阶段和离线阶段；所述实时阶段即对语音数据进行语音识别时，用户根据识别文本直接修正识别错误的文本；所述离线阶段主要针对用户在实时阶段来不及修正的识别文本，根据实时阶段修正后的识别文本及其对应的语音数据对待修正识别文本进行自动修正。进一步地，还可以将自动修正后的错误识别文本交由用户来修正。
如图1所示，是本发明实施例识别文本修正方法的流程图，包括以下步骤：
步骤101，实时接收用户语音数据。
所述用户语音数据可以为会议、采访、演讲、庭审等应用场景的现场录音。
步骤102，对所述语音数据进行语音识别，得到初始识别文本。
所述语音识别可以采用现有的一些语音识别方法及系统，得到所述初始识别文本。
步骤103，对所述语音数据进行延时播放，并显示延时后的语音数据对应的初始识别文本，以使用户根据延时后的语音数据对所述初始识别文本进行修正，并将来不及修正的错误识别文本标记为待修正识别文本。
对接收的语音数据进行延时播放，是指将实时接收的语音数据进行延时播放给用户，用户听到语音数据与现场实时播放的语音数据不同步，如将接收的语音数据延时10s后，再播放给用户，从而使延时后的语音数据得到对应的初始识别文本。这样，将延时后的语音数据及对应的初始识别文本同时展示给用户，保证用户在修正初始识别文本时，听到的语音数据与待修正的初始识别文本同步。
用户在对所述初始识别文本进行修正时，由于听到的语音数据与识别文本同步，从而避免了现有技术中用户在听实时语音数据时，对之前播放的语音数据的识别文本进行修正的情况。
在用户对所述初始文本进行修正时，可能还会遗留有来不及修正的错误识别文本，对于这些来不及修正的错误识别文本，可以由用户对其进行标记，比如，将来不及修正的错误识别文本标记为设定颜色、或设定字体、或高亮色等；或者在来不及修正的错误识别文本处插入提示标记(比如设置特定的快捷键，在未修正的错误识别文本处插入未修正标记)；或者在来不及修正的错误识别文本下方添加下划线或波纹线等，以将其区别于已修正识别文本。
步骤104，根据修正后识别文本及其对应的语音数据对待修正识别文本进行修正。
具体地，对待修正识别文本进行修正时，可以先根据修正后识别文本对原语言模型进行优化，得到优化后的语言模型，所述原语言模型是指对接收的用户语音数据进行语音识别得到初始识别文本这一识别过程中所使用的语言模型；然后再根据初始识别文本确定待修正识别文本所在句子对应的语音数据，利用优化后的语言模型对该语音数据进行二次语音识别，得到该语音数据更准确的识别结果；最后，将所述识别结果替代所述待修正识别文本所在句子。由于利用了优化后的语言模型对待修正识别文本所在句子对应的语音数据进行语音识别，因此相对于用原语言模型得到的待修正识别文本所在句子对应的初始识别文本，其具有更高的准确度。
需要说明的是，上面所述的二次语音识别是相对于对接收的用户语音数据直接进行语音识别，得到初始识别文本这一过程而言的，这两次语音识别过程不同的是，采用的语言模型不同，而且第二次语音识别只针对接收的用户语音数据中的一部分，即用户对初始识别文本中来不及修正的错误识别文本所在句子对应的语音数据。
由此可见，本发明实施例的识别文本修正方法，通过对接收的用户语音数据进行语音识别得到的初始识别文本进行两个阶段的修正，即实时阶段的用户人工修正、以及离线阶段的自动修正，有效地提高了识别文本修正的效率，降低了人工修正的工作量。而且，在人工修正阶段，通过将语音数据延时播放的方式保证用户听到的语音数据与显示的初始识别文本的一致性，大大提高了用户修正识别文本的准确度。
如图2所示，是本发明实施例中获取优化后的语言模型的流程图，包括以下步骤：
步骤201，提取修正后识别文本中的关键词，得到关键词列表。
在实际应用中，修正后识别文本中的关键词的提取可以根据修正后识别文本的语义和/或修正结果提取，也就是说，可以使用其中任意一种提取方法提取，将提取得到的关键词添加到关键词列表，也可以同时使用两种提取方法提取，即将两种不同方法提取得到的关键词的并集作为最终的关键词列表。当然也可以采用其它方法提取关键词，对此本发明实施例不做限定。
下面针对上述两种提取方法分别进行详细说明。
(1)基于修正后识别文本的语义提取关键词
具体提取时，先分别提取出识别文本中的高频词集合和有重要语义的词集合，再提取两个词集合的交集中包含的词作为关键词。
所述高频词提取时，可以通过计算识别文本中每个词的TF_IDF(Term Frequency–Inverse Document Frequency，词频-逆向文件频率)值，对所述TF_IDF值进行排序，选择TF_IDF值较高的多个词作为高频词集合，所述TF_IDF值的计算方法与现有技术相同，在此不再详述。
所述有重要语义的词提取时，可通过计算识别文本中每个词的TextRank得分，所述TextRank得分描述每个词在识别文本中的重要度，从语义的角度考虑识别文本中各词之间的语义关系。具体计算时，可以通过构建词图的方法，将修正后识别文本中每个词作为词图中的每个节点，计算识别文本中每两个词之间的相似度，将相似度大于阈值的两个词之间使用一条边连接，所述相似度为边的权重，通过计算每个节点的链入边数，计算每个节点的重要度，将所述节点的重要度作为每个词的重要度，即TextRank得分。根据所述TextRank得分对每个词进行排序，选择所述TextRank得分排序靠前的多个词作为有重要语义词集合。所述TextRank值的计算方法与现有技术相同，在此不再详述。
在得到高频词集合和有重要语义词集合后，取所述高频词集合和有重要语义词集合的交集包含的词作为关键词列表。
(2)基于初始识别文本的修正结果提取关键词
具体地，可以直接将被用户修正后的词作为关键词，具体提取时，可以通过动态规划方法将修正前后的识别文本进行对齐后，找到被修改的识别文本及修改前的识别文本，将修后的识别文本中的词直接作为关键词，加入关键词列表中。
步骤202，根据所述关键词列表搜索语料库，得到与所述关键词相关的文本语料。
所述语料库可以通过离线方法预先构建，语料库中包含多个领域的文本数据，具体包含哪些领域的文本数据可以根据应用需求确定，直接根据所述关键词列表进行搜索，可以得到相应文本语料。
当然也可以预先构建多个语料库，每个语料库仅包含一个领域的文本数据，在搜索语料库时，可以根据语音数据所属的领域直接搜索对应领域的语料库，得到相应文本语料。
当然，也可以从搜索得到的文本语料中选择与所述关键词相关性较高的文本语料。所述相关性较高的文本语料指从搜索得到的文本语料中挑选出排序靠前的多条文本语料，即TopN条文本语料，N的取值可以根据应用需求确定。
步骤203，利用修正后识别文本及所述文本语料对原语言模型进行优化，得到优化后的语言模型。
具体地，可以直接使用修正后识别文本及搜索得到的文本语料训练新的语言模型，将所述新的语言模型与原语言模型进行融合后，得到优化后的语言模型。具体的融合方法本发明实施例不做限定，比如可以使用插值的方法将新的语言模型与原语言模型进行插值后得到优化后的语言模型，当然也可以采用其它融合方式，同样可以使得到的优化后的语言模型更适应于接收的用户语音数据，从而在后续利用该优化后的语言模型重新对待修正识别文本所在句子对应的语音数据进行再次识别时，能够得到比用原语言模型对其进行识别更准确的识别结果。
在确定待修正识别文本所在句子对应的语音数据时，可以根据初始识别文本定位待修正识别文本所在句子对应的语音数据，也可以通过对齐方式，即将修正后识别文本与所述语音数据进行对齐后，定位待修正识别文本所在句子对应的语音数据，下面对这两种定位方式进行详细说明。
(1)根据初始识别文本定位待修正识别文本所在句子对应的语音数据
具体地，可以通过倒排索引的方法先确定待修正识别文本在初始识别文本中的位置。
所述索引库构建时，以词作为索引，索引项中包含每个词在初始识别文本中的位置，如每个词为初始识别文本中第多少个词等。索引库的具体构建方法与现有技术相同，在此不再详述。
在利用索引库进行搜索时，先使用待修正识别文本中每个词搜索每个索引项，进行精确匹配，得到每个词的多个候选索引项；再使用待修正识别文本中每个词的上下文词对所述候选索引项进行筛选，筛选时，使用每个词的上下文词分别与每个候选索引项对应的词的上下文词进行模糊匹配，选择相似度最高的候选索引项作为待修正识别文本中每个词的索引项，根据所述索引项可以直接确定待修正识别文本中每个词在初始识别文本中的位置，进而确定待修正识别文本所在句子。由于初始识别文本未经过用户修正，与语音数据是完全对齐的，从而得到待修正识别文本所在句子对应的语音数据。
(2)直接将修正后识别文本与语音数据进行对齐后，定位待修正识别文本所在句子对应的语音数据
所述修正后识别文本是指用户对初始识别文本进行部分修正后的识别文本，具体对齐时，可以直接使用动态规划方法对所述修正后识别文本与语音数据进行强制对齐，具体过程与现有技术相同，在此不再详述，从而找到待修正识别文本所在句子对应的语音数据。
前面提到，在利用优化后的语言模型重新对待修正识别文本所在句子对应的语音数据进行再次识别，得到新的识别结果后，可以将该识别结果替代初始识别文本中所述待修正识别文本所在的句子，这样即可得到最终的识别文本，即人工修正加自动修正后的文本。
需要说明的是，在本发明方法另一实施例中，还可以将该新的识别结果展现给用户，以使用户对该识别结果中的错误文本进行修正。比如，在感知到用户点击所述识别结果的操作后，播放所述识别结果对应的语音数据，以使用户对所述识别结果进行修正。另外，需要说明的是，在展现所述识别结果时，可以单独展现该识别结果，也可以将该识别结果替代所述待修正识别文本所在句子后的整个识别文本，即将该识别结果放入整个识别文本中展现给用户，当然，在整个识别文本展示中，为了便于用户的修改操作，可以将其中的所述识别结果进行特殊标记，比如使用不同于其它识别文本的字体或颜色显示等，这样，用户可以根据该特殊标记很容易找到这些识别结果，以决定是否对其进行修正。
另外，为了进一步方便用户对所述识别结果的修正，在播放所述识别结果对应的语音数据时，可以由用户来控制语音数据的播放速度，比如可以由用户根据自己的修改速度预先设定自动播放速度，如设定为正常播放速度的0.8倍、1倍、、1.2倍、1.5倍等，如果用户设定的速度低于正常播放速度，可以在播放完当前识别结果对应的语音数据后，暂停播放下一段语音数据，直到用户修改当前识别结果完成后，再继续播放下一段语音数据。
当然，如果用户未设定语音数据的播放速度，系统也可以根据识别结果的置信度自动调节相应语音数据的播放速度，如果识别结果的置信度较高，说明识别结果的错误较少，播放速度可以略微提高一些；如果识别结果的置信度较低，说明识别结果的错误可能较多，对相应的语音数据的播放速度可以自动调低。所述识别结果的置信度可以在对语音数据进行语音识别时，基于词后验概率的方法得到，对此不再详细说明。
经过上述对二次识别结果的再次人工修正，进一步保证了修正后文本的正确率。
本发明实施例提供的识别文本修正方法，对语音识别得到的初始识别文本分两个阶段进行修正，即实时阶段和离线阶段。在实时阶段对初始识别文本进行修正时，通过将语音数据延时播放的方式保证用户听到的语音数据与显示的初始识别文本的一致性，大大提高了用户修正识别文本的准确度；在离线阶段，通过自动定位待修正识别文本所在句子对应的语音数据，对待修正识别文本进行自动修正，从而可以在保证识别文本准确度的同时，大大减少用户修正识别文本的工作量，提高用户修正识别文本的效率。进一步地，还可将自动修正后的文本展现给用户，以使用户对其中的错误文本做进一步的修正。
相应地，本发明实施例还提供一种识别文本修正系统，如图3所示，是该系统的一种结构示意图。
在该实施例中，所述系统包括：
语音接收模块301，用于实时接收用户语音数据；
语音识别模块302，用于对所述语音数据进行语音识别，得到初始识别文本；
延时模块303，用于对所述语音数据进行延时；
播放模块304，用于对所述延时模块延时后的语音数据进行播放；
显示模块305，用于在所述播放模块对所述语音数据进行延时播放的同时，显示延时后的语音数据对应的初始识别文本，以使用户根据延时后的语音数据对所述初始识别文本进行修正，并将来不及修正的错误识别文本标记为待修正识别文本；
修正模块306，用于根据修正后识别文本及其对应的语音数据对待修正识别文本进行修正。
上述修正模块306具体可以根据修正后识别文本对原语言模型进行优化，得到优化后的语言模型，然后利用优化后的语言模型对待修正识别文本所在句子对应的语音数据进行二次语音识别，得到识别结果，并将所述识别结果替代所述待修正识别文本所在句子，从而得到在用户修正后的基础上系统对用户来不及修正的错误识别文本自动修正后的识别文本。
所述修正模块306的一种具体结构如图4所示，包括以下各模块：
语言模型优化模块361，用于根据修正后识别文本对原语言模型进行优化，得到优化后的语言模型；
定位模块362，用于确定待修正识别文本所在句子对应的语音数据；
二次识别模块363，用于使用优化后的语言模型对待修正识别文本所在句子对应的语音数据进行二次语音识别，得到识别结果；
替代处理模块364，用于将所述识别结果替代所述待修正识别文本所在句子。
上述语言模型优化模块361可以包括以下各单元：
关键词提取单元，用于提取修正后识别文本中的关键词，得到关键词列表；
语料获取单元，用于根据所述关键词列表搜索语料库，得到与所述关键词相关的文本语料；
优化单元，用于利用修正后识别文本及所述文本语料对原语言模型进行优化，得到优化后的语言模型。
其中，所述关键词提取单元具体可以根据修正后识别文本的语义提取关键词，并将提取得到的关键词添加到关键词列表；和/或通过动态规划方法将修正后识别文本与修正前识别文本进行对齐，然后找到修正后的词，将修正后的词作为关键词添加到关键词列表。这两种不同提取方式在前面已有详细说明，在此不再赘述。
其中，所述优化单元可以直接使用修正后识别文本及搜索得到的文本语料训练新的语言模型，将所述新的语言模型与原语言模型进行融合后，得到优化后的语言模型，比如由模型训练子单元利用修正后识别文本及所述文本语料训练得到新的语言模型，由融合子单元将所述新的语言模型与所述原语言模型进行融合，得到优化后的语言模型。其中，语言模型的训练方式及融合方式本发明实施例不做限定。不论采用哪种训练及融合方式，由于新的语言模型是直接使用修正后识别文本及搜索得到的文本语料训练得到的，因此优化后的语言模型可以更好地适应于修正后的识别文本，提高识别文本的准确度。
上述定位模块362具体可以根据所述初始识别文本定位待修正识别文本所在句子对应的语音数据；或者将修正后识别文本与所述语音数据进行对齐后，定位待修正识别文本所在句子对应的语音数据。这两种不同的定位方式在前面已有详细说明，在此不再赘述。
需要说明的是，在本发明系统另一实施例中，显示模块305还可以将所述二次识别模块363得到的新的识别结果展现给用户，以使用户对该识别结果中的错误文本进行修正。比如，所述播放模块304在感知到用户点击所述识别结果的操作后，播放所述识别结果对应的语音数据，以使用户对所述识别结果进行修正。
需要说明的是，所述显示模块305在展现所述识别结果时，可以单独展现该识别结果，也可以将该识别结果替代所述待修正识别文本所在句子后的整个识别文本，即将该识别结果放入整个识别文本中展现给用户，当然，在整个识别文本展示中，为了便于用户的修改操作，可以将其中的所述识别结果进行特殊标记，比如使用不同于其它识别文本的字体或颜色显示等，这样，用户可以该特殊标记很容易找到这些识别结果，以决定是否对其进行修正。
另外，需要说明的是，所述播放模块304在播放所述识别结果对应的语音数据时，还可以根据设定的播放速度进行播放。所述设定的播放速度可以由用户根据需要来设定，比如所述系统向用户提供相应的设定接口，由用户输入设定的播放速度，或者所述系统向用户提供速度选项，比如，快、中、慢等，由用户根据需要选择。所述设定的播放速度也可以由系统根据所述识别结果的置信度自动调节，所述识别结果的置信度可以在对语音数据进行语音识别时，基于词后验概率的方法得到，对此不再详细说明。
经过上述对二次识别结果的再次人工修正，进一步保证了修正后文本的正确率。
本发明实施例提供的识别文本修正系统，对语音识别得到的初始识别文本分两个阶段进行修正，即实时阶段和离线阶段。在实时阶段对初始识别文本进行修正时，通过将语音数据延时播放的方式保证用户听到的语音数据与显示的初始识别文本的一致性，大大提高了用户修正识别文本的准确度；在离线阶段对，通过自动定位待修正识别文本所在句子对应的语音数据，对待修正识别文本进行自动修正，从而可以在保证识别文本准确度的同时，大大减少用户修正识别文本的工作量，提高用户修正识别文本的效率。进一步地，还可将自动修正后的文本展现给用户，以使用户对其中的错误文本做进一步的修正。
本发明实施例提供的识别文本修正方法及系统，可以用于会议语音数据、采访语音数据、演讲语音数据等需要尽快得到识别文本的情况，对实时语音识别得到的识别文本进行修正，以快速、高效地保证得到的识别文本准确性更高。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上对本发明实施例进行了详细介绍，本文中应用了具体实施方式对本发明进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及系统；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (18)
1.一种识别文本修正方法，其特征在于，包括：
实时接收用户语音数据；
对所述语音数据进行实时语音识别，得到初始识别文本；
在实时修正阶段，对所述语音数据进行延时播放，并显示延时后的语音数据对应的初始识别文本，以使用户根据延时后的语音数据对所述初始识别文本进行修正，并将来不及修正的错误识别文本标记为待修正识别文本；
根据修正后识别文本及其对应的语音数据对待修正识别文本进行修正。
2.根据权利要求1所述的方法，其特征在于，所述将来不及修正的错误识别文本标记为待修正识别文本包括：
将来不及修正的错误识别文本标记为设定颜色、或设定字体、或高亮色；或者
在来不及修正的错误识别文本处插入提示标记；或者
在来不及修正的错误识别文本下方添加下划线或波纹线。
3.根据权利要求1所述的方法，其特征在于，所述根据修正后识别文本及其对应的语音数据对待修正识别文本进行修正包括：
根据修正后识别文本对原语言模型进行优化，得到优化后的语言模型；
确定待修正识别文本所在句子对应的语音数据；
使用优化后的语言模型对待修正识别文本所在句子对应的语音数据进行二次语音识别，得到识别结果；
将所述识别结果替代所述待修正识别文本所在句子。
4.根据权利要求3所述的方法，其特征在于，所述根据修正后识别文本对语言模型进行优化，得到优化后的语言模型包括：
提取修正后识别文本中的关键词，得到关键词列表；
根据所述关键词列表搜索语料库，得到与所述关键词相关的文本语料；
利用修正后识别文本及所述文本语料对原语言模型进行优化，得到优化后的语言模型。
5.根据权利要求4所述的方法，其特征在于，所述提取修正后识别文本中的关键词，得到关键词列表包括：
根据修正后识别文本的语义提取关键词，并将提取得到的关键词添加到关键词列表；和/或
通过动态规划方法将修正后识别文本与修正前识别文本进行对齐，然后找到修正后的词，将修正后的词作为关键词添加到关键词列表。
6.根据权利要求4所述的方法，其特征在于，所述利用修正后识别文本及所述文本语料对原语言模型进行优化，得到优化后的语言模型包括：
利用修正后识别文本及所述文本语料训练得到新的语言模型；
将所述新的语言模型与所述原语言模型进行融合，得到优化后的语言模型。
7.根据权利要求3所述的方法，其特征在于，所述确定待修正识别文本所在句子对应的语音数据包括：
根据所述初始识别文本定位待修正识别文本所在句子对应的语音数据；或者
将修正后识别文本与所述语音数据进行对齐后，定位待修正识别文本所在句子对应的语音数据。
8.根据权利要求3-7任一项所述的方法，其特征在于，所述方法还包括：
将所述识别结果展现给用户；
在感知到用户点击所述识别结果的操作后，播放所述识别结果对应的语音数据，以使用户对所述识别结果进行修正。
9.根据权利要求8所述的方法，其特征在于，所述播放所述识别结果对应的语音数据包括：
根据设定的播放速度播放所述识别结果对应的语音数据。
10.根据权利要求9所述的方法，其特征在于，所述方法还包括：
由用户设定所述播放速度；
根据所述识别结果的置信度设定所述播放速度。
11.一种识别文本修正系统，其特征在于，包括：
语音接收模块，用于实时接收用户语音数据；
语音识别模块，用于对所述语音数据进行实时语音识别，得到初始识别文本；
播放模块，用于在实时修正阶段，对所述语音数据进行延时播放；
显示模块，用于在所述播放模块对所述语音数据进行延时播放的同时，显示延时后的语音数据对应的初始识别文本，以使用户根据延时后的语音数据对所述初始识别文本进行修正，并将来不及修正的错误识别文本标记为待修正识别文本；
修正模块，用于根据修正后识别文本及其对应的语音数据对待修正识别文本进行修正。
12.根据权利要求11所述的系统，其特征在于，所述修正模块包括：
语言模型优化模块，用于根据修正后识别文本对原语言模型进行优化，得到优化后的语言模型；
定位模块，用于确定待修正识别文本所在句子对应的语音数据；
二次识别模块，用于使用优化后的语言模型对待修正识别文本所在句子对应的语音数据进行二次语音识别，得到识别结果；
替代处理模块，用于将所述识别结果替代所述待修正识别文本所在句子。
13.根据权利要求12所述的系统，其特征在于，所述语言模型优化模块包括：
关键词提取单元，用于提取修正后识别文本中的关键词，得到关键词列表；
语料获取单元，用于根据所述关键词列表搜索语料库，得到与所述关键词相关的文本语料；
优化单元，用于利用修正后识别文本及所述文本语料对原语言模型进行优化，得到优化后的语言模型。
14.根据权利要求13所述的系统，其特征在于，
所述关键词提取单元，具体用于根据修正后识别文本的语义提取关键词，并将提取得到的关键词添加到关键词列表；和/或通过动态规划方法将修正后识别文本与修正前识别文本进行对齐，然后找到修正后的词，将修正后的词作为关键词添加到关键词列表。
15.根据权利要求13所述的系统，其特征在于，所述优化单元包括：
模型训练子单元，用于利用修正后识别文本及所述文本语料训练得到新的语言模型；
融合子单元，用于将所述新的语言模型与所述原语言模型进行融合，得到优化后的语言模型。
16.根据权利要求12所述的系统，其特征在于，
所述定位模块，具体用于根据所述初始识别文本定位待修正识别文本所在句子对应的语音数据；或者将修正后识别文本与所述语音数据进行对齐后，定位待修正识别文本所在句子对应的语音数据。
17.根据权利要求12-16任一项所述的系统，其特征在于，
所述显示模块，还用于将所述二次识别模块得到的所述识别结果展现给用户；
所述播放模块，还用于在感知到用户点击所述识别结果的操作后，播放所述识别结果对应的语音数据，以使用户对所述识别结果进行修正。
18.根据权利要求17所述的系统，其特征在于，所述播放模块根据设定的播放速度播放所述识别结果对应的语音数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610921381.6A CN106448675B (zh) | 2016-10-21 | 2016-10-21 | 识别文本修正方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610921381.6A CN106448675B (zh) | 2016-10-21 | 2016-10-21 | 识别文本修正方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106448675A CN106448675A (zh) | 2017-02-22 |
| CN106448675B true CN106448675B (zh) | 2020-05-01 |
Family
ID=58177029
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610921381.6A Active CN106448675B (zh) | 2016-10-21 | 2016-10-21 | 识别文本修正方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106448675B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11810558B2 (en) | 2021-05-26 | 2023-11-07 | International Business Machines Corporation | Explaining anomalous phonetic translations |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201921336A (zh) | 2017-06-15 | 2019-06-01 | 大陸商北京嘀嘀無限科技發展有限公司 | 用於語音辨識的系統和方法 |
| CN109101475B (zh) * | 2017-06-20 | 2021-07-27 | 北京嘀嘀无限科技发展有限公司 | 出行语音识别方法、系统和计算机设备 |
| CN107342086A (zh) * | 2017-06-16 | 2017-11-10 | 北京云知声信息技术有限公司 | 语音处理方法及装置 |
| CN107480146A (zh) * | 2017-08-07 | 2017-12-15 | 中译语通科技（青岛）有限公司 | 一种识别语种语音的会议纪要快速翻译方法 |
| CN107705790B (zh) * | 2017-09-22 | 2020-01-21 | 维沃移动通信有限公司 | 一种信息处理方法和电子设备 |
| CN109559752B (zh) * | 2017-09-27 | 2022-04-26 | 北京国双科技有限公司 | 语音识别方法和装置 |
| CN109559753B (zh) * | 2017-09-27 | 2022-04-12 | 北京国双科技有限公司 | 语音识别方法和装置 |
| CN107945802A (zh) * | 2017-10-23 | 2018-04-20 | 北京云知声信息技术有限公司 | 语音识别结果处理方法及装置 |
| CN108022583A (zh) * | 2017-11-17 | 2018-05-11 | 平安科技（深圳）有限公司 | 会议纪要生成方法、应用服务器及计算机可读存储介质 |
| CN109949828B (zh) * | 2017-12-20 | 2022-05-24 | 苏州君林智能科技有限公司 | 一种文字校验方法及装置 |
| CN108234915A (zh) * | 2018-02-01 | 2018-06-29 | 天津天地伟业信息系统集成有限公司 | 一种实现审讯过程中自动完成笔录的方法 |
| CN108733649B (zh) * | 2018-04-25 | 2022-05-06 | 北京华夏电通科技股份有限公司 | 一种语音识别文本插入笔录文档的方法、装置及系统 |
| CN108647190B (zh) * | 2018-04-25 | 2022-04-29 | 北京华夏电通科技股份有限公司 | 一种语音识别文本插入笔录文档的方法、装置及系统 |
| CN108682420B (zh) * | 2018-05-14 | 2023-07-07 | 平安科技（深圳）有限公司 | 一种音视频通话方言识别方法及终端设备 |
| CN108962228B (zh) * | 2018-07-16 | 2022-03-15 | 北京百度网讯科技有限公司 | 模型训练方法和装置 |
| CN109036424A (zh) * | 2018-08-30 | 2018-12-18 | 出门问问信息科技有限公司 | 语音识别方法、装置、电子设备及计算机可读存储介质 |
| CN113168836B (zh) * | 2018-09-27 | 2024-04-23 | 株式会社OPTiM | 计算机系统、语音识别方法以及程序产品 |
| CN109410920B (zh) * | 2018-10-15 | 2020-08-18 | 百度在线网络技术（北京）有限公司 | 用于获取信息的方法及装置 |
| CN111209733B (zh) * | 2018-11-22 | 2023-04-18 | 阿里巴巴集团控股有限公司 | 文本记录处理方法及装置 |
| CN111435596B (zh) * | 2019-01-14 | 2024-01-30 | 珠海格力电器股份有限公司 | 调整目标设备运行状态方法、装置、存储介质及电子装置 |
| CN110083645A (zh) | 2019-05-06 | 2019-08-02 | 浙江核新同花顺网络信息股份有限公司 | 一种报告生成的系统和方法 |
| CN110473522B (zh) * | 2019-08-23 | 2021-11-09 | 百可录(北京)科技有限公司 | 一种精确分析短语音片段的方法 |
| CN110765836B (zh) * | 2019-08-28 | 2022-04-29 | 云知声智能科技股份有限公司 | 一种基于自然语言理解的文本定位方法和系统 |
| CN112328738A (zh) * | 2020-10-10 | 2021-02-05 | 中国农业银行股份有限公司河北省分行 | 语音检索方法、终端设备及可读存储介质 |
| CN112908337B (zh) * | 2021-01-31 | 2023-05-26 | 云知声智能科技股份有限公司 | 语音识别文本的展示方法、装置、设备和存储介质 |
| CN112992154A (zh) * | 2021-05-08 | 2021-06-18 | 北京远鉴信息技术有限公司 | 一种基于增强型声纹库的语音身份确定方法及系统 |
| CN114842871A (zh) * | 2022-03-25 | 2022-08-02 | 青岛海尔科技有限公司 | 语音数据的处理方法和装置、存储介质及电子装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1460245A (zh) * | 2001-03-29 | 2003-12-03 | 皇家菲利浦电子有限公司 | 编辑期间使音频光标与文本光标同步 |
| CN1460246A (zh) * | 2001-03-29 | 2003-12-03 | 皇家菲利浦电子有限公司 | 在同步回放的过程中文本编辑所识别的语音 |
| JP2006330170A (ja) * | 2005-05-24 | 2006-12-07 | Nhk Engineering Services Inc | 記録文書作成支援システム |
| JP2012128188A (ja) * | 2010-12-15 | 2012-07-05 | Nippon Hoso Kyokai <Nhk> | テキスト修正装置およびプログラム |
| CN103366741A (zh) * | 2012-03-31 | 2013-10-23 | 盛乐信息技术（上海）有限公司 | 语音输入纠错方法及系统 |
| CN104464736A (zh) * | 2014-12-15 | 2015-03-25 | 北京百度网讯科技有限公司 | 语音识别文本的纠错方法和装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7412387B2 (en) * | 2005-01-18 | 2008-08-12 | International Business Machines Corporation | Automatic improvement of spoken language |
-
2016
- 2016-10-21 CN CN201610921381.6A patent/CN106448675B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1460245A (zh) * | 2001-03-29 | 2003-12-03 | 皇家菲利浦电子有限公司 | 编辑期间使音频光标与文本光标同步 |
| CN1460246A (zh) * | 2001-03-29 | 2003-12-03 | 皇家菲利浦电子有限公司 | 在同步回放的过程中文本编辑所识别的语音 |
| JP2006330170A (ja) * | 2005-05-24 | 2006-12-07 | Nhk Engineering Services Inc | 記録文書作成支援システム |
| JP2012128188A (ja) * | 2010-12-15 | 2012-07-05 | Nippon Hoso Kyokai <Nhk> | テキスト修正装置およびプログラム |
| CN103366741A (zh) * | 2012-03-31 | 2013-10-23 | 盛乐信息技术（上海）有限公司 | 语音输入纠错方法及系统 |
| CN104464736A (zh) * | 2014-12-15 | 2015-03-25 | 北京百度网讯科技有限公司 | 语音识别文本的纠错方法和装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11810558B2 (en) | 2021-05-26 | 2023-11-07 | International Business Machines Corporation | Explaining anomalous phonetic translations |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106448675A (zh) | 2017-02-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106448675B (zh) | 识别文本修正方法及系统 | |
| CN106534548B (zh) | 语音纠错方法和装置 | |
| CN106326303B (zh) | 一种口语语义解析系统及方法 | |
| CN106503255B (zh) | 基于描述文本自动生成文章的方法及系统 | |
| CN106537370B (zh) | 在存在来源和翻译错误的情况下对命名实体鲁棒标记的方法和系统 | |
| CN109582972B (zh) | 一种基于自然语言识别的光学字符识别纠错方法 | |
| CN106610930B (zh) | 外语写作自动纠错方法及系统 | |
| US9342499B2 (en) | Round-trip translation for automated grammatical error correction | |
| CN109800414B (zh) | 语病修正推荐方法及系统 | |
| WO2017181834A1 (zh) | 一种智能问答方法及装置 | |
| KR101691327B1 (ko) | 답안 채점을 위한 자연 언어 처리 방법, 그를 위한 컴퓨터 프로그램과 기록매체 | |
| US20130246048A1 (en) | Text proofreading apparatus and text proofreading method | |
| CN105956053B (zh) | 一种基于网络信息的搜索方法及装置 | |
| JP2011002656A (ja) | 音声認識結果修正候補検出装置、音声書き起こし支援装置、方法及びプログラム | |
| CN111737968A (zh) | 一种作文自动批改及评分的方法及终端 | |
| CN110941720B (zh) | 一种基于知识库的特定人员信息纠错方法 | |
| CN109614623B (zh) | 一种基于句法分析的作文处理方法及系统 | |
| CN108108344B (zh) | 一种联合识别和连接命名实体的方法及装置 | |
| CN112861521B (zh) | 语音识别结果纠错方法、电子设备及存储介质 | |
| CN109408806A (zh) | 一种基于英文语法规则的事件提取方法 | |
| CN110674396A (zh) | 文本信息处理方法、装置、电子设备及可读存储介质 | |
| CN113626573B (zh) | 一种销售会话异议及应对提取方法及系统 | |
| JP2018033048A (ja) | メタデータ生成システム | |
| CN111881297A (zh) | 语音识别文本的校正方法及装置 | |
| CN112447172B (zh) | 一种语音识别文本的质量提升方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |