CN109949797A - 一种训练语料的生成方法、装置、设备及存储介质 - Google Patents

一种训练语料的生成方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN109949797A
CN109949797A CN201910179796.4A CN201910179796A CN109949797A CN 109949797 A CN109949797 A CN 109949797A CN 201910179796 A CN201910179796 A CN 201910179796A CN 109949797 A CN109949797 A CN 109949797A
Authority
CN
China
Prior art keywords
user
corpus
log
recognition result
speech recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910179796.4A
Other languages
English (en)
Other versions
CN109949797B (zh
Inventor
丁世强
黄际洲
蒋忠伟
马文韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201910179796.4A priority Critical patent/CN109949797B/zh
Publication of CN109949797A publication Critical patent/CN109949797A/zh
Priority to KR1020200014487A priority patent/KR102345156B1/ko
Priority to US16/810,070 priority patent/US11348571B2/en
Priority to EP20161452.6A priority patent/EP3709295B1/en
Priority to JP2020041151A priority patent/JP6936888B2/ja
Application granted granted Critical
Publication of CN109949797B publication Critical patent/CN109949797B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G10L2015/0635—Training updating or merging of old and new templates; Mean values; Weighting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/221—Announcement of recognition results
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Machine Translation (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明公开了一种训练语料的生成方法、装置、设备及存储介质。其中，该方法包括：在与目标应用程序关联的用户行为日志中，挖掘多条待标注的语料数据，语料数据中包括：包含用户语音以及对应语音识别结果的第一行为日志，以及与第一行为日志时间关联，且属于同一用户的第二行为日志；根据各待标注的语料数据中，第一行为日志与第二行为日志之间的关联关系，将各语料数据中的用户语音以及对应的语音识别结果判定为正反馈语料或者负反馈语料。本发明实施例可以基于用户行为，自动地、有针对性地挖掘语音识别的正反馈语料和负反馈语料提供给后续的语音识别模型训练，有效提升语音识别的效果，可以大大缩短语音识别模型的迭代周期，节省大量的资源。

Description

一种训练语料的生成方法、装置、设备及存储介质
技术领域
本发明实施例涉及数据处理技术，尤其涉及一种训练语料的生成方法、装置、设备及存储介质。
背景技术
目前地图类应用程序的语音识别模型的优化主要需要以下三步：随机抽取几万小时的音频及其对应场景信息；花费巨额金钱和时间进行人工标注，产出训练语料；基于新的训练语料重新训练语音识别模型，并且调优。
发明人在实现本发明的过程中，发现由于现有技术中，语音识别的训练语料主要来源于人工标注的随机音频，导致两个主要问题：由于是人工标注，导致语音识别模型迭代周期过长，并且资源耗费比较严重；由于是随机抽取的音频，导致有大量的无效标注(增加识别错误的语料比增加识别正确的语料更加有价值)。
发明内容
本发明实施例提供一种训练语料的生成方法、装置、设备及存储介质，以实现基于用户行为，自动地、有针对性地挖掘语音识别的训练语料。
第一方面，本发明实施例提供了一种训练语料的生成方法，包括：
在与目标应用程序关联的用户行为日志中，挖掘多条待标注的语料数据，语料数据中包括：包含用户语音以及对应语音识别结果的第一行为日志，以及与第一行为日志时间关联，且属于同一用户的第二行为日志；
根据各待标注的语料数据中，第一行为日志与第二行为日志之间的关联关系，将各语料数据中的用户语音以及对应的语音识别结果判定为正反馈语料或者负反馈语料。
第二方面，本发明实施例还提供了一种训练语料的生成装置，包括：
语料数据挖掘模块，用于在与目标应用程序关联的用户行为日志中，挖掘多条待标注的语料数据，所述语料数据中包括：包含用户语音以及对应语音识别结果的第一行为日志，以及与所述第一行为日志时间关联，且属于同一用户的第二行为日志；
语料判定模块，用于根据各所述待标注的语料数据中，第一行为日志与第二行为日志之间的关联关系，将各所述语料数据中的用户语音以及对应的语音识别结果判定为正反馈语料或者负反馈语料。
第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序所述处理器执行所述程序时实现如本发明实施例所述的训练语料的生成方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明实施例所述的训练语料的生成方法。
本发明实施例的技术方案，通过在与目标应用程序关联的用户行为日志中，挖掘多条待标注的语料数据，语料数据中包括：包含用户语音以及对应语音识别结果的第一行为日志，以及与第一行为日志时间关联，且属于同一用户的第二行为日志，然后根据各待标注的语料数据中，第一行为日志与第二行为日志之间的关联关系，将各语料数据中的用户语音以及对应的语音识别结果判定为正反馈语料或者负反馈语料，解决了现有技术中，语音识别的训练语料主要来源于人工标注的随机音频，导致语音识别模型迭代周期过长，资源耗费比较严重，有大量的无效标注的问题，可以基于用户行为，自动地、有针对性地挖掘语音识别的正反馈语料和负反馈语料，提供给后续的语音识别模型训练，有效提升语音识别的效果，可以大大缩短语音识别模型的迭代周期，节省大量的资源。
附图说明
图1为本发明实施例一提供的一种训练语料的生成方法的流程图；
图2a为本发明实施例二提供的一种训练语料的生成方法的流程图；
图2b为本发明实施例二提供的一种位置检索场景下的用户语音输入页面的示意图；
图2c为本发明实施例二提供的一种位置检索场景下的与位置检索服务匹配的检索结果页面的示意图；
图2d为本发明实施例二提供的一种路线检索场景下的用户语音输入页面的示意图；
图2e为本发明实施例二提供的一种与路线检索服务匹配的检索结果页面的示意图；
图2f为本发明实施例二提供的一种路线导航场景下的用户语音输入页面的示意图；
图2g为本发明实施例二提供的一种路线导航场景下的导航页的示意图；
图2h为本发明实施例二提供的一种路线导航场景下的导航至目的地的页面的示意图；
图3a为本发明实施例三提供的一种训练语料的生成方法的流程图；
图3b为本发明实施例三提供的一种检索场景下的用户语音输入页面的示意图；
图3c为本发明实施例三提供的一种检索场景下的修正语音输入页面的示意图；
图3d为本发明实施例三提供的一种检索场景下的修正文本输入页面的示意图；
图4a为本发明实施例四提供的一种训练语料的生成方法的流程图；
图4b为本发明实施例四提供的一种正反馈语料挖掘方法的总体流程图；
图4c为本发明实施例四提供的一种现有模型识别正确的音频和文本的挖掘方法的流程图；
图4d为本发明实施例四提供的一种现有模型识别正确的音频和文本的挖掘方法的核心逻辑的流程图；
图4e为本发明实施例四提供的一种负反馈语料挖掘方法的总体流程图；
图4f为本发明实施例四提供的一种现有模型识别错误的音频和文本以及潜在正确文本的挖掘方法的流程图；
图4g为本发明实施例四提供的一种现有模型识别错误的音频和文本以及潜在正确文本的挖掘方法的核心逻辑的流程图；
图5为本发明实施例五提供的一种训练语料的生成装置的结构示意图；
图6为本发明实施例六提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
为了便于理解，将本发明实施例的主要发明构思进行简述。首先，发明人针对现有技术中的第一个主要问题：由于是人工标注，导致语音识别模型迭代周期过长，并且资源耗费比较严重，考虑是否可以自动地通过用户行为，从现有模型识别音频及其文本挖掘训练语料，不需要人工标注，直接用于训练。
然后发明人针对现有技术中的第二个主要问题：由于是随机抽取的音频，导致有大量的无效标注(增加识别错误的语料比增加识别正确的语料更加有价值)，考虑是否可以有针对性地挖掘语音识别的训练语料，将训练语料的挖掘工作分为两项具体工作：挖掘识别正确的语料和挖掘识别错误的语料，即正反馈语料挖掘和负反馈语料挖掘。
基于上述思考，发明人创造性的提出，将训练语料的挖掘工作分为两项具体工作：正反馈语料挖掘和负反馈语料挖掘。正反馈语料挖掘包括：通过用户行为，将现有语音识别模型识别正确的音频及其文本挖掘出来，不需要人工标注，直接用于语音识别模型训练。负反馈语料挖掘包括：通过用户行为，将现有语音识别模型识别错误的音频挖掘出来，进行人工标注，产出训练语料。这样做的好处是，一是语音识别模型的迭代周期大大缩短，并且节省大量的资源；二是更加有针对性的抽取音频进行人工标注，使后续的语音识别模型迭代更加有效果。由此，实现基于用户的历史行为，来自动地有针对性地挖掘语音识别的训练语料，提供给后续的语音识别模型训练，进而更加有效的提升语音识别的效果。
实施例一
图1为本发明实施例一提供的一种训练语料的生成方法的流程图，本实施例可适用于生成语音识别的训练语料的情况，该方法可以由本发明实施例提供的训练语料的生成装置来执行，该装置可采用软件和/或硬件的方式实现，并一般可集成在训练语料的生成设备中。训练语料的生成设备包括但不限定于计算机等。如图1所示，本实施例的方法具体包括：
步骤101、在与目标应用程序关联的用户行为日志中，挖掘多条待标注的语料数据，语料数据中包括：包含用户语音以及对应语音识别结果的第一行为日志，以及与第一行为日志时间关联，且属于同一用户的第二行为日志。
其中，用户行为日志是用户每次使用目标应用程序产生的行为数据(例如，访问，浏览，使用语音，搜索，点击等)。只要用户使用目标应用程序，就会生成与目标应用程序关联的用户行为日志，用于对用户行为进行记录。
用户在目标应用程序中使用语音功能后，会生成对应的第一行为日志。第一行为日志用于对使用语音的用户行为进行记录，包含用户语音以及对应语音识别结果。
将第一行为日志与目标应用程序的其他用户行为日志按照用户和时间进行串联，获取与第一行为日志时间关联，且属于同一用户的用户行为日志，确定为第二行为日志。例如，获取用户行为日志时间位于第一行为日志时间之后，与第一行为日志时间的时间间隔小于预设时间阈值，且属于同一用户的用户行为日志，确定为第二行为日志。
步骤102、根据各待标注的语料数据中，第一行为日志与第二行为日志之间的关联关系，将各语料数据中的用户语音以及对应的语音识别结果判定为正反馈语料或者负反馈语料。
其中，将训练语料的挖掘工作分为两项具体工作：正反馈语料挖掘和负反馈语料挖掘。正反馈语料是识别正确的语料。负反馈语料是识别错误的语料。
用户使用语音功能后，有可预期的后续行为，则可以认为该次语音识别正确。由此，正反馈语料挖掘可以包括：根据第一行为日志的日志类型，获取与第一行为日志对应的用户预期行为。在确定用户预期行为与第二行为日志相匹配时，将语料数据中的用户语音以及对应的语音识别结果判定为正反馈语料。
在一个具体实例中，目标应用程序为地图类应用程序。如果确定第一行为日志的日志类型为使用与用户语音对应的语音识别结果作为目的地发起位置检索服务，则确定用户预期行为为用户在与位置检索服务匹配的检索结果页面中选择发起与目的地匹配的路线检索服务的选项。在确定用户预期行为与第二行为日志相匹配时，即确定第二行为日志记录的用户行为是用户在与位置检索服务匹配的检索结果页面中选择发起与目的地匹配的路线检索服务的选项时，将语料数据中的用户语音以及对应的语音识别结果判定为正反馈语料。在另一个具体实例中，目标应用程序为地图类应用程序。如果确定第一行为日志的日志类型为将与用户语音对应的语音识别结果作为目的地发起路线检索服务，则确定用户预期行为为用户在与路线检索服务匹配的路线检索页面中选择导航至目的地的选项。在确定用户预期行为与第二行为日志相匹配时，即确定第二行为日志记录的用户行为是用户在与路线检索服务匹配的路线检索页面中选择导航至目的地的选项时，将语料数据中的用户语音以及对应的语音识别结果判定为正反馈语料。
在另一个具体实例中，目标应用程序为地图类应用程序。如果确定第一行为日志的日志类型为将与用户语音对应的语音识别结果作为目的地发起路线导航服务，则确定用户预期行为为用户成功抵达目的地。在确定用户预期行为与第二行为日志相匹配时，即确定第二行为日志记录的用户行为是用户成功抵达目的地时，将语料数据中的用户语音以及对应的语音识别结果判定为正反馈语料。
用户使用语音功能之后，短时间内有修正行为，则可以认为首次语音识别的文本是错误的。修正行为具体包含两种：使用语音功能重新输入修正和手动输入修正。由此，负反馈语料挖掘可以包括：如果确定第二行为日志对应的用户行为为设定时间段内对第一行为日志的修正行为，则将语料数据中的用户语音以及对应的语音识别结果判定为负反馈语料。
在一个具体实例中，如果确定第二行为日志对应的用户行为为重新输入修正语音，且与修正语音对应的修正识别结果与语音识别结果满足语义关联条件，则确定第二行为日志对应的用户行为为修正行为，将语料数据中的用户语音以及对应的语音识别结果判定为负反馈语料。或者如果确定第二行为日志对应的用户行为为输入修正文本，且修正文本与语音识别结果满足语义关联条件，则确定第二行为日志对应的用户行为为修正行为，将语料数据中的用户语音以及对应的语音识别结果判定为负反馈语料。
本发明实施例提供了一种训练语料的生成方法，通过在与目标应用程序关联的用户行为日志中，挖掘多条待标注的语料数据，语料数据中包括：包含用户语音以及对应语音识别结果的第一行为日志，以及与第一行为日志时间关联，且属于同一用户的第二行为日志，然后根据各待标注的语料数据中，第一行为日志与第二行为日志之间的关联关系，将各语料数据中的用户语音以及对应的语音识别结果判定为正反馈语料或者负反馈语料，解决了现有技术中，语音识别的训练语料主要来源于人工标注的随机音频，导致语音识别模型迭代周期过长，资源耗费比较严重，有大量的无效标注的问题，可以基于用户行为，自动地、有针对性地挖掘语音识别的正反馈语料和负反馈语料，提供给后续的语音识别模型训练，有效提升语音识别的效果，可以大大缩短语音识别模型的迭代周期，节省大量的资源。
实施例二
图2a为本发明实施例二提供的一种训练语料的生成方法的流程图。本实施例可以与上述一个或者多个实施例中各个可选方案结合，在本实施例中，根据各待标注的语料数据中，第一行为日志与第二行为日志之间的关联关系，将各语料数据中的用户语音以及对应的语音识别结果判定为正反馈语料或者负反馈语料，可以包括：根据第一行为日志的日志类型，获取与第一行为日志对应的用户预期行为；在确定用户预期行为与第二行为日志相匹配时，将语料数据中的用户语音以及对应的语音识别结果判定为正反馈语料。
相应的，如图2a所示，本实施例的方法包括：
步骤201、在与目标应用程序关联的用户行为日志中，挖掘多条待标注的语料数据，语料数据中包括：包含用户语音以及对应语音识别结果的第一行为日志，以及与第一行为日志时间关联，且属于同一用户的第二行为日志。
步骤202、根据第一行为日志的日志类型，获取与第一行为日志对应的用户预期行为。
其中，用户使用语音功能后，有可预期的后续行为，则可以认为该次语音识别正确。目标应用程序可以包括：地图类应用程序。
根据第一行为日志的日志类型，获取与第一行为日志对应的用户预期行为，可以包括：如果确定第一行为日志的日志类型为使用与用户语音对应的语音识别结果作为目的地发起位置检索服务，则确定用户预期行为为用户在与位置检索服务匹配的检索结果页面中选择发起与目的地匹配的路线检索服务的选项。
例如，用户输入“公园悦府”的用户语音(如图2b)，语音识别得到语音识别结果：“公园悦府”的文本(语音动态标签21实时显示语音识别结果)，并且发起位置检索需求，进入与位置检索服务匹配的检索结果页面(如图2c)。用户预期行为为用户在检索结果页面中点击“到这去”22(如图2c)。根据第一行为日志的日志类型，获取与第一行为日志对应的用户预期行为，可以包括：如果确定第一行为日志的日志类型为将与用户语音对应的语音识别结果作为目的地发起路线检索服务，则确定用户预期行为为用户在与路线检索服务匹配的路线检索页面中选择导航至目的地的选项。
例如，用户输入“去公园悦府”的用户语音(如图2d)，语音识别得到语音识别结果：“到公园悦府”的文本(语音动态标签23实时显示语音识别结果)，并且发起路线检索需求，进入与路线检索服务匹配的检索结果页面(如图2e)。用户预期行为为用户在检索结果页面中点击“开始导航”24(如图2e)。
根据第一行为日志的日志类型，获取与第一行为日志对应的用户预期行为，可以包括：如果确定第一行为日志的日志类型为将与用户语音对应的语音识别结果作为目的地发起路线导航服务，则确定用户预期行为为用户成功抵达目的地。
例如，用户输入“导航去西二旗”的用户语音(如图2f)，语音识别得到语音识别结果：“导航去西二旗”的文本(语音动态标签25实时显示语音识别结果)，发起路线导航需求并且进入导航页(如图2g)。用户预期行为为用户成功抵达目的地(如图2h)。
步骤203、在确定用户预期行为与第二行为日志相匹配时，将语料数据中的用户语音以及对应的语音识别结果判定为正反馈语料。
在一个具体实例中，在确定用户预期行为与第二行为日志相匹配时，即确定第二行为日志记录的用户行为是用户在与位置检索服务匹配的检索结果页面中选择发起与目的地匹配的路线检索服务的选项时，将语料数据中的用户语音以及对应的语音识别结果判定为正反馈语料。
例如，用户输入“公园悦府”的用户语音(如图2b)，语音识别得到语音识别结果：“公园悦府”的文本(语音动态标签21实时显示语音识别结果)，并且发起路线检索需求，进入与位置检索服务匹配的检索结果页面(如图2c)。用户预期行为为用户在检索结果页面中点击“到这去”22(如图2c)。若第二行为日志记录的用户行为是用户点击“到这去”22(如图2c)，发起路线检索服务，进入与路线检索服务匹配的检索结果页面(如图2e)，则认为这条用户语音的语音识别结果是正确的，那么“公园悦府”这条用户语音以及语音识别结果就会作为一条正反馈语料。
在另一个具体实例中，在确定用户预期行为与第二行为日志相匹配时，即确定第二行为日志记录的用户行为是用户在与路线检索服务匹配的路线检索页面中选择导航至目的地的选项时，将语料数据中的用户语音以及对应的语音识别结果判定为正反馈语料。
例如，用户输入“去公园悦府”的用户语音(如图2d)，语音识别得到语音识别结果：“去公园悦府”的文本(语音动态标签23实时显示语音识别结果)，并且发起路线检索需求，进入与路线检索服务匹配的检索结果页面(如图2e)。用户预期行为为用户在检索结果页面中点击“开始导航”24(如图2e)。若第二行为日志记录的用户行为是用户在检索结果页面中点击“开始导航”24(如图2e)，则认为这条用户语音的语音识别结果是正确的，那么“到公园悦府”这条用户语音以及语音识别结果就会作为一条正反馈语料。在另一个具体实例中，在确定用户预期行为与第二行为日志相匹配时，即确定第二行为日志记录的用户行为是用户成功抵达目的地时，将语料数据中的用户语音以及对应的语音识别结果判定为正反馈语料。
例如，用户输入“导航去西二旗”的用户语音(如图2f)，语音识别得到语音识别结果：“导航去西二旗”的文本(语音动态标签25实时显示语音识别结果)，发起路线导航需求并且进入导航页(如图2g)。用户预期行为为用户成功抵达目的地(如图2h)。若第二行为日志记录的用户行为是用户最终走完该行程(如图2h)，则认为这条用户语音的语音识别结果是正确的，那么“导航去西二旗”这条用户语音以及语音识别结果就会作为一条正反馈语料。
本发明实施例提供了一种训练语料的生成方法，通过根据第一行为日志的日志类型，获取与第一行为日志对应的用户预期行为，并在确定用户预期行为与第二行为日志相匹配时，将语料数据中的用户语音以及对应的语音识别结果判定为正反馈语料，可以在正反馈语料的挖掘中，自动化地生成正反馈语料，不需要人工标注，大大提升模型迭代效率。
实施例三
图3a为本发明实施例三提供的一种训练语料的生成方法的流程图。本实施例可以与上述一个或者多个实施例中各个可选方案结合，在本实施例中，根据各待标注的语料数据中，第一行为日志与第二行为日志之间的关联关系，将各语料数据中的用户语音以及对应的语音识别结果判定为正反馈语料或者负反馈语料，可以包括：如果确定第二行为日志对应的用户行为为设定时间段内对第一行为日志的修正行为，则将语料数据中的用户语音以及对应的语音识别结果判定为负反馈语料。
以及，在将语料数据中的用户语音以及对应的语音识别结果判定为负反馈语料之后，可以还包括：将修正识别结果或者修正文本作为潜在正确结果加入至负反馈语料中；将负反馈语料发送至人工标注模型，以使人工标注模型针对潜在正确结果标注与用户语音对应的正确识别结果；使用人工标注模型反馈的标注结果，更新负反馈语料。
相应的，如图3a所示，本实施例的方法包括：
步骤301、在与目标应用程序关联的用户行为日志中，挖掘多条待标注的语料数据，语料数据中包括：包含用户语音以及对应语音识别结果的第一行为日志，以及与第一行为日志时间关联，且属于同一用户的第二行为日志。
步骤302、如果确定第二行为日志对应的用户行为为设定时间段内对第一行为日志的修正行为，则将语料数据中的用户语音以及对应的语音识别结果判定为负反馈语料。
其中，用户使用语音功能之后，短时间内有修正行为，则可以认为首次语音识别的文本是错误的。修正行为具体包含两种：使用语音功能重新输入修正和手动输入修正。
确定第二行为日志对应的用户行为为设定时间段内对第一行为日志的修正行为，可以包括：如果确定第二行为日志对应的用户行为为重新输入修正语音，且与修正语音对应的修正识别结果与语音识别结果满足语义关联条件，则确定第二行为日志对应的用户行为为修正行为。
语义关联条件可以包括：修正识别结果或者修正文本与语音识别结果不同，且修正识别结果或者修正文本与语音识别结果满足预设的语义相似度条件。具体的，预设的语义相似度条件可以为修正识别结果或者修正文本与语音识别结果的语义相似度大于等于预设相似度阈值。
例如，用户说了“菊园”的用户语音A，语音识别得到语音识别结果：错误文本W“居然”(语音动态标签31实时显示语音识别结果)并且发起路线检索需求(如图3b)。这时用户使用语音功能重新再次说“菊园”的修正语音B，语音识别得到与修正语音对应的修正识别结果：新的文本R“菊园”(如图3c，语音动态标签31实时显示语音识别结果)。得到与修正语音对应的修正识别结果：一个新的文本R。当文本W和文本R不同，且文本W和文本R满足预设的语义相似度条件，即文本W和文本R字面不同并且语义层面非常近似的时候，则认为用户语音A的语音识别结果是错误的，那么用户语音A、文本W、文本R就会作为一条负反馈语料。
确定第二行为日志对应的用户行为为设定时间段内对所述第一行为日志的修正行为，可以包括：如果确定第二行为日志对应的用户行为为输入修正文本，且修正文本与语音识别结果满足语义关联条件，则确定第二行为日志对应的用户行为为修正行为。
例如，用户说了“菊园”的用户语音A，语音识别得到语音识别结果：错误文本W“居然”(语音动态标签31实时显示语音识别结果)并且发起路线检索需求(如图3b)。这时用户手动输入修正文本“菊园”(如图3d，文本输入标签32实时显示用户手动输入文本)。得到修正文本：一个新的文本R。当文本W和文本R不同，且文本W和文本R满足预设的语义相似度条件，即文本W和文本R字面不同并且语义层面非常近似的时候，则认为用户语音A的语音识别结果是错误的，那么用户语音A、文本W、文本R就会作为一条负反馈语料。
步骤303、将修正识别结果或者修正文本作为潜在正确结果加入至负反馈语料中。
其中，修正识别结果或者修正文本可能为与用户语音对应的潜在的正确文本。将修正识别结果、用户语音以及对应的语音识别结果加入至负反馈语料中。或者将修正文本、用户语音以及对应的语音识别结果加入至负反馈语料中。
步骤304、将负反馈语料发送至人工标注模型，以使人工标注模型针对潜在正确结果标注与用户语音对应的正确识别结果。
其中，人工标注模型用于参考潜在正确结果，对负反馈语料进行人工标注。人工标注模型针对潜在正确结果标注与用户语音对应的正确识别结果。例如，针对潜在正确结果“菊园”，标注与用户语音对应的正确识别结果为“菊园”。
步骤305、使用人工标注模型反馈的标注结果，更新负反馈语料。
其中，使用人工标注模型反馈的标注结果，将包括修正识别结果、用户语音以及对应的语音识别结果的负反馈语料更新为：用户语音、对应的语音识别结果以及与用户语音对应的正确识别结果。或者将包括修正文本、用户语音以及对应的语音识别结果的负反馈语料更新为：用户语音、对应的语音识别结果以及与用户语音对应的正确识别结果。
本发明实施例提供了一种训练语料的生成方法，通过在确定第二行为日志对应的用户行为为设定时间段内对第一行为日志的修正行为时，则将语料数据中的用户语音以及对应的语音识别结果判定为负反馈语料，以及将修正识别结果或者修正文本作为潜在正确结果加入至负反馈语料中，并将负反馈语料发送至人工标注模型，以使人工标注模型针对潜在正确结果标注与用户语音对应的正确识别结果，使用人工标注模型反馈的标注结果，更新负反馈语料，可以在负反馈语料的挖掘中，有针对性的生成训练语料，收集现有语音识别模型识别错误的用户语音，对语音识别模型重新进行定向教育，使语音识别模型识别效果提升更有效率，可以更加有针对性的抽取音频进行人工标注，使后续的语音识别模型迭代更加有效果。
实施例四
图4a为本发明实施例四提供的一种训练语料的生成方法的流程图。本实施例可以与上述一个或者多个实施例中各个可选方案结合，在本实施例中，在将各语料数据中的用户语音以及对应的语音识别结果判定为正反馈语料或者负反馈语料之后，可以还包括：根据正反馈训练语料以及负反馈训练语料，构造训练语料集，并将训练语料集发送至训练语料验收平台；接收训练语料验收平台反馈的与训练语料集对应的准确率指标值；如果确定准确率指标值满足预设的准确率门限，则使用训练语料集对目标应用程序的语音识别模型进行优化训练。
在接收训练语料验收平台反馈的与训练语料集对应的准确率指标值之后，可以还包括：如果确定准确率指标值不满足预设的准确率门限，则重新根据与目标应用程序关联的用户行为日志，挖掘多条新的待标注的语料数据，并在新的待标注的语料数据中判定出新的正反馈语料或者负反馈语料。
相应的，如图4a所示，本实施例的方法包括：
步骤401、在与目标应用程序关联的用户行为日志中，挖掘多条待标注的语料数据，语料数据中包括：包含用户语音以及对应语音识别结果的第一行为日志，以及与第一行为日志时间关联，且属于同一用户的第二行为日志。
步骤402、根据各待标注的语料数据中，第一行为日志与第二行为日志之间的关联关系，将各语料数据中的用户语音以及对应的语音识别结果判定为正反馈语料或者负反馈语料。
步骤403、根据正反馈训练语料以及负反馈训练语料，构造训练语料集，并将训练语料集发送至训练语料验收平台。
其中，训练语料验收平台用于对训练语料集中的正反馈训练语料以及负反馈训练语料进行验收。
步骤404、接收训练语料验收平台反馈的与训练语料集对应的准确率指标值。
其中，训练语料验收平台判断训练语料集中的每一个训练语料是否准确，计算与训练语料集对应的准确率指标值。准确率指标值可以是判断为准确的训练语料的数量与训练语料集中的训练语料的总数量。
例如，训练语料集中的训练语料的总数量为1000条。判断为准确的训练语料的数量为900条。准确率指标值为0.9。
步骤405、判断准确率指标值是否满足预设的准确率门限：若是，执行步骤406；否则执行步骤407。
其中，预设的准确率门限可以根据需求设置。例如，预设的准确率门限可以为0.8。
步骤406、使用训练语料集对目标应用程序的语音识别模型进行优化训练。
其中，如果确定准确率指标值满足预设的准确率门限，则直接使用训练语料集对目标应用程序的语音识别模型进行优化训练。
步骤407、重新根据与目标应用程序关联的用户行为日志，挖掘多条新的待标注的语料数据，并在新的待标注的语料数据中判定出新的正反馈语料或者负反馈语料。
其中，如果确定准确率指标值不满足预设的准确率门限，则重新根据与目标应用程序关联的用户行为日志，挖掘正反馈语料和负反馈语料。如果重新挖掘的正反馈语料和负反馈语料的准确率指标值仍不满足预设的准确率门限，则继续重新根据与目标应用程序关联的用户行为日志，挖掘正反馈语料和负反馈语料，循环反复，直至挖掘出准确率指标值满足预设的准确率门限的正反馈语料和负反馈语料。
正反馈语料挖掘方法的总体流程图如图4b所示，包括：
步骤411、日志串联。
其中，将使用语音的用户行为日志与地图的其他用户行为日志按照用户和时间进行串联。
步骤412、挖掘识别正确的音频和文本。
其中，挖掘现有模型识别正确的音频和文本。
步骤413、训练语料验收。
其中步骤412(最核心的过程)中，现有模型识别正确的音频和文本的挖掘方法的流程图如图4c所示(位置检索场景图左，路线检索场景图中，路线导航场景图右)。
位置检索场景下的现有模型识别正确的音频和文本的挖掘方法，包括：
步骤421、使用语音发起位置检索。
步骤422、是否选择发起与目的地匹配的路线检索服务的选项：若是，则执行步骤423；若否，则跳过步骤423执行后续步骤。
步骤423、保留作为正反馈语料。
路线检索场景下的现有模型识别正确的音频和文本的挖掘方法，包括：
步骤481、使用语音发起路线检索。
步骤482、是否选择导航至目的地的选项：若是，则执行步骤483；若否，则跳过步骤483执行后续步骤。
步骤483、保留作为正反馈语料。
路线导航场景下的现有模型识别正确的音频和文本的挖掘方法，包括：
步骤431、使用语音发起导航。
步骤432、用户是否成功抵达目的地：若是，则执行步骤433；若否，则跳过步骤433执行后续步骤。
步骤433、保留作为正反馈语料。
现有模型识别正确的音频和文本的挖掘方法的核心逻辑进一步抽象如图4d所示，包括：
步骤441、使用语音发起第一次行为。
步骤442、是否有可预期后续行为：若是，则执行步骤443；若否，则跳过步骤443执行后续步骤。
步骤443、保留作为正反馈语料。
负反馈语料挖掘方法的总体流程图如图4e所示，包括：
步骤451、日志串联。
步骤452、挖掘识别错误的音频及相关信息。
步骤453、参考潜在正确文本进行人工标注。
步骤454、训练语料验收。
其中步骤452(最核心的过程)中，现有模型识别错误的音频和文本以及潜在正确文本的挖掘方法的流程图如图4f所示(以检索场景为例)，包括：
步骤461、使用语音检索。
步骤462、短时间内是否再次检索：若是，则执行步骤463；若否，则跳过步骤463和步骤464执行后续步骤。
步骤463、检索词是否不同但相似：若是，则执行步骤464；若否，则跳过步骤464执行后续步骤。
步骤464、保留作为负反馈语料。
现有模型识别错误的音频和文本以及潜在正确文本的挖掘方法的核心逻辑进一步抽象如图4g所示，包括：
步骤471、使用语音发起第一次行为。
步骤472、短时间内是否有修正：若是，则执行步骤473；若否，则跳过步骤473执行后续步骤。
步骤473、保留作为负反馈语料。
本发明实施例提供了一种训练语料的生成方法，通过根据正反馈训练语料以及负反馈训练语料，构造训练语料集，并将训练语料集发送至训练语料验收平台，然后接收训练语料验收平台反馈的与训练语料集对应的准确率指标值，根据准确率指标值是否满足预设的准确率门限，确定是使用训练语料集对目标应用程序的语音识别模型进行优化训练，还是重新根据与目标应用程序关联的用户行为日志，挖掘正反馈语料和负反馈语料，可以对生成的训练语料进行验收，从而为语音识别模型提供准确的训练语料，进而更加有效的提升语音识别的效果。
实施例五
图5为本发明实施例五提供的一种训练语料的生成装置的结构示意图，如图5所示，所述装置包括：语料数据挖掘模块501和语料判定模块502。
其中，语料数据挖掘模块501，用于在与目标应用程序关联的用户行为日志中，挖掘多条待标注的语料数据，语料数据中包括：包含用户语音以及对应语音识别结果的第一行为日志，以及与第一行为日志时间关联，且属于同一用户的第二行为日志；语料判定模块502，用于根据各待标注的语料数据中，第一行为日志与第二行为日志之间的关联关系，将各语料数据中的用户语音以及对应的语音识别结果判定为正反馈语料或者负反馈语料。
本发明实施例提供了一种训练语料的生成装置，通过在与目标应用程序关联的用户行为日志中，挖掘多条待标注的语料数据，语料数据中包括：包含用户语音以及对应语音识别结果的第一行为日志，以及与第一行为日志时间关联，且属于同一用户的第二行为日志，然后根据各待标注的语料数据中，第一行为日志与第二行为日志之间的关联关系，将各语料数据中的用户语音以及对应的语音识别结果判定为正反馈语料或者负反馈语料，解决了现有技术中，语音识别的训练语料主要来源于人工标注的随机音频，导致语音识别模型迭代周期过长，资源耗费比较严重，有大量的无效标注的问题，可以基于用户行为，自动地、有针对性地挖掘语音识别的正反馈语料和负反馈语料，提供给后续的语音识别模型训练，有效提升语音识别的效果，可以大大缩短语音识别模型的迭代周期，节省大量的资源。
在上述各实施例的基础上，语料判定模块502可以包括：预期行为获取单元，用于根据第一行为日志的日志类型，获取与第一行为日志对应的用户预期行为；第一判定单元，用于在确定用户预期行为与第二行为日志相匹配时，将语料数据中的用户语音以及对应的语音识别结果判定为正反馈语料。
在上述各实施例的基础上，语料判定模块502可以包括：第二判定单元，用于如果确定第二行为日志对应的用户行为为设定时间段内对第一行为日志的修正行为，则将语料数据中的用户语音以及对应的语音识别结果判定为负反馈语料。
在上述各实施例的基础上，目标应用程序可以包括：地图类应用程序。
在上述各实施例的基础上，预期行为获取单元可以包括：第一确定子单元，用于如果确定第一行为日志的日志类型为使用与用户语音对应的语音识别结果作为目的地发起位置检索服务，则确定用户预期行为为用户在与位置检索服务匹配的检索结果页面中选择发起与目的地匹配的路线检索服务的选项。
在上述各实施例的基础上，预期行为获取单元可以包括：第二确定子单元，用于如果确定第一行为日志的日志类型为将与用户语音对应的语音识别结果作为目的地发起路线检索服务，则确定用户预期行为为用户在与路线检索服务匹配的路线检索页面中选择导航至目的地的选项。
在上述各实施例的基础上，预期行为获取单元可以包括：第三确定子单元，用于如果确定第一行为日志的日志类型为将与用户语音对应的语音识别结果作为目的地发起路线导航服务，则确定用户预期行为为用户成功抵达目的地。
在上述各实施例的基础上，第二判定单元可以包括：第三确定子单元，用于如果确定第二行为日志对应的用户行为为重新输入修正语音，且与修正语音对应的修正识别结果与语音识别结果满足语义关联条件，则确定第二行为日志对应的用户行为为修正行为；和/或第四确定子单元，用于如果确定第二行为日志对应的用户行为为输入修正文本，且修正文本与语音识别结果满足语义关联条件，则确定第二行为日志对应的用户行为为修正行为。
在上述各实施例的基础上，语义关联条件可以包括：修正识别结果或者修正文本与语音识别结果不同，且修正识别结果或者修正文本与语音识别结果满足预设的语义相似度条件。
在上述各实施例的基础上，第二判定单元可以还包括：结果加入子单元，用于将修正识别结果或者修正文本作为潜在正确结果加入至负反馈语料中；结果标注子单元，用于将负反馈语料发送至人工标注模型，以使人工标注模型针对潜在正确结果标注与用户语音对应的正确识别结果；语料更新子单元，用于使用人工标注模型反馈的标注结果，更新负反馈语料。
在上述各实施例的基础上，可以还包括：语料集发送模块，用于根据正反馈训练语料以及负反馈训练语料，构造训练语料集，并将训练语料集发送至训练语料验收平台；指标值接收模块，用于接收训练语料验收平台反馈的与训练语料集对应的准确率指标值；语料集使用模块，用于如果确定准确率指标值满足预设的准确率门限，则使用训练语料集对目标应用程序的语音识别模型进行优化训练。
在上述各实施例的基础上，可以还包括：语料重新生成模块，用于如果确定准确率指标值不满足预设的准确率门限，则重新根据与目标应用程序关联的用户行为日志，挖掘多条新的待标注的语料数据，并在新的待标注的语料数据中判定出新的正反馈语料或者负反馈语料。
上述训练语料的生成装置可执行本发明任意实施例所提供的训练语料的生成方法，具备执行训练语料的生成方法相应的功能模块和有益效果。
实施例六
图6为本发明实施例六提供的一种计算机设备的结构示意图。图6示出了适于用来实现本发明实施方式的示例性计算机设备612的框图。图6显示的计算机设备612仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，计算机设备612以通用计算设备的形式表现。计算机设备612的组件可以包括但不限于：一个或者多个处理器或者处理单元616，系统存储器628，连接不同系统组件(包括系统存储器628和处理单元616)的总线618。
总线618表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备612典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备612访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器628可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)630和/或高速缓存存储器632。计算机设备612可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统634可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线618相连。系统存储器628可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块642的程序/实用工具640，可以存储在例如存储器628中，这样的程序模块642包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块642通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备612也可以与一个或多个外部设备614(例如键盘、指向设备、显示器624等)通信，还可与一个或者多个使得用户能与该计算机设备612交互的设备通信，和/或与使得该计算机设备612能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口622进行。并且，计算机设备612还可以通过网络适配器620与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器620通过总线618与计算机设备612的其它模块通信。应当明白，尽管图6中未示出，可以结合计算机设备612使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元616通过运行存储在系统存储器628中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的训练语料的生成方法。也即，在与目标应用程序关联的用户行为日志中，挖掘多条待标注的语料数据，语料数据中包括：包含用户语音以及对应语音识别结果的第一行为日志，以及与第一行为日志时间关联，且属于同一用户的第二行为日志；根据各待标注的语料数据中，第一行为日志与第二行为日志之间的关联关系，将各语料数据中的用户语音以及对应的语音识别结果判定为正反馈语料或者负反馈语料。
实施例七
本发明实施例七提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请所有发明实施例提供的训练语料的生成方法。也即，在与目标应用程序关联的用户行为日志中，挖掘多条待标注的语料数据，语料数据中包括：包含用户语音以及对应语音识别结果的第一行为日志，以及与第一行为日志时间关联，且属于同一用户的第二行为日志；根据各待标注的语料数据中，第一行为日志与第二行为日志之间的关联关系，将各语料数据中的用户语音以及对应的语音识别结果判定为正反馈语料或者负反馈语料。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (15)

1.一种训练语料的生成方法，其特征在于，包括：
在与目标应用程序关联的用户行为日志中，挖掘多条待标注的语料数据，所述语料数据中包括：包含用户语音以及对应语音识别结果的第一行为日志，以及与所述第一行为日志时间关联，且属于同一用户的第二行为日志；
根据各所述待标注的语料数据中，第一行为日志与第二行为日志之间的关联关系，将各所述语料数据中的用户语音以及对应的语音识别结果判定为正反馈语料或者负反馈语料。
2.根据权利要求1所述的方法，其特征在于，根据各所述待标注的语料数据中，第一行为日志与第二行为日志之间的关联关系，将各所述语料数据中的用户语音以及对应的语音识别结果判定为正反馈语料或者负反馈语料，包括：
根据第一行为日志的日志类型，获取与所述第一行为日志对应的用户预期行为；
在确定所述用户预期行为与所述第二行为日志相匹配时，将所述语料数据中的所述用户语音以及对应的语音识别结果判定为正反馈语料。
3.根据权利要求1所述的方法，其特征在于，根据各所述待标注的语料数据中，第一行为日志与第二行为日志之间的关联关系，将各所述语料数据中的用户语音以及对应的语音识别结果判定为正反馈语料或者负反馈语料，包括：
如果确定第二行为日志对应的用户行为为设定时间段内对所述第一行为日志的修正行为，则将所述语料数据中的所述用户语音以及对应的语音识别结果判定为负反馈语料。
4.根据权利要求1所述的方法，其特征在于，所述目标应用程序包括：地图类应用程序。
5.根据权利要求2所述的方法，其特征在于，根据第一行为日志的日志类型，获取与所述第一行为日志对应的用户预期行为，包括：
如果确定所述第一行为日志的日志类型为使用与所述用户语音对应的语音识别结果作为目的地发起位置检索服务，则确定所述用户预期行为为用户在与所述位置检索服务匹配的检索结果页面中选择发起与所述目的地匹配的路线检索服务的选项。
6.根据权利要求2所述的方法，其特征在于，根据第一行为日志的日志类型，获取与所述第一行为日志对应的用户预期行为，包括：
如果确定所述第一行为日志的日志类型为将与所述用户语音对应的语音识别结果作为目的地发起路线检索服务，则确定所述用户预期行为为用户在与所述路线检索服务匹配的路线检索页面中选择导航至所述目的地的选项。
7.根据权利要求2所述的方法，其特征在于，根据第一行为日志的日志类型，获取与所述第一行为日志对应的用户预期行为，包括：
如果确定所述第一行为日志的日志类型为将与所述用户语音对应的语音识别结果作为目的地发起路线导航服务，则确定所述用户预期行为为用户成功抵达所述目的地。
8.根据权利要求3所述的方法，其特征在于，确定第二行为日志对应的用户行为为设定时间段内对所述第一行为日志的修正行为，包括：
如果确定所述第二行为日志对应的用户行为为重新输入修正语音，且与所述修正语音对应的修正识别结果与所述语音识别结果满足语义关联条件，则确定所述第二行为日志对应的用户行为为修正行为；和/或
如果确定所述第二行为日志对应的用户行为为输入修正文本，且所述修正文本与所述语音识别结果满足语义关联条件，则确定所述第二行为日志对应的用户行为为修正行为。
9.根据权利要求8所述的方法，其特征在于，所述语义关联条件包括：所述修正识别结果或者所述修正文本与所述语音识别结果不同，且所述修正识别结果或者所述修正文本与所述语音识别结果满足预设的语义相似度条件。
10.根据权利要求3所述的方法，其特征在于，在将所述语料数据中的所述用户语音以及对应的语音识别结果判定为负反馈语料之后，还包括：
将修正识别结果或者修正文本作为潜在正确结果加入至所述负反馈语料中；
将所述负反馈语料发送至人工标注模型，以使所述人工标注模型针对所述潜在正确结果标注与所述用户语音对应的正确识别结果；
使用所述人工标注模型反馈的标注结果，更新所述负反馈语料。
11.根据权利要求1所述的方法，其特征在于，在将各所述语料数据中的用户语音以及对应的语音识别结果判定为正反馈语料或者负反馈语料之后，还包括：
根据所述正反馈训练语料以及所述负反馈训练语料，构造训练语料集，并将所述训练语料集发送至训练语料验收平台；
接收所述训练语料验收平台反馈的与所述训练语料集对应的准确率指标值；
如果确定所述准确率指标值满足预设的准确率门限，则使用所述训练语料集对所述目标应用程序的语音识别模型进行优化训练。
12.根据权利要求11所述的方法，其特征在于，在接收所述训练语料验收平台反馈的与所述训练语料集对应的准确率指标值之后，还包括：
如果确定所述准确率指标值不满足预设的准确率门限，则重新根据与目标应用程序关联的用户行为日志，挖掘多条新的待标注的语料数据，并在新的待标注的语料数据中判定出新的正反馈语料或者负反馈语料。
13.一种训练语料的生成装置，其特征在于，包括：
语料数据挖掘模块，用于在与目标应用程序关联的用户行为日志中，挖掘多条待标注的语料数据，所述语料数据中包括：包含用户语音以及对应语音识别结果的第一行为日志，以及与所述第一行为日志时间关联，且属于同一用户的第二行为日志；
语料判定模块，用于根据各所述待标注的语料数据中，第一行为日志与第二行为日志之间的关联关系，将各所述语料数据中的用户语音以及对应的语音识别结果判定为正反馈语料或者负反馈语料。
14.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-12中任一所述的训练语料的生成方法。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-12中任一所述的训练语料的生成方法。
CN201910179796.4A 2019-03-11 2019-03-11 一种训练语料的生成方法、装置、设备及存储介质 Active CN109949797B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201910179796.4A CN109949797B (zh) 2019-03-11 2019-03-11 一种训练语料的生成方法、装置、设备及存储介质
KR1020200014487A KR102345156B1 (ko) 2019-03-11 2020-02-06 트레이닝 말뭉치를 생성하는 방법, 장치, 기기 및 저장 매체
US16/810,070 US11348571B2 (en) 2019-03-11 2020-03-05 Methods, computing devices, and storage media for generating training corpus
EP20161452.6A EP3709295B1 (en) 2019-03-11 2020-03-06 Methods, apparatuses, and storage media for generating training corpus
JP2020041151A JP6936888B2 (ja) 2019-03-11 2020-03-10 トレーニングコーパスの生成方法、装置、機器及び記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910179796.4A CN109949797B (zh) 2019-03-11 2019-03-11 一种训练语料的生成方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN109949797A true CN109949797A (zh) 2019-06-28
CN109949797B CN109949797B (zh) 2021-11-12

Family

ID=67008690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910179796.4A Active CN109949797B (zh) 2019-03-11 2019-03-11 一种训练语料的生成方法、装置、设备及存储介质

Country Status (5)

Country Link
US (1) US11348571B2 (zh)
EP (1) EP3709295B1 (zh)
JP (1) JP6936888B2 (zh)
KR (1) KR102345156B1 (zh)
CN (1) CN109949797B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111091812A (zh) * 2019-11-26 2020-05-01 苏州思必驰信息科技有限公司 小语种语料的生成方法及系统
CN111312219A (zh) * 2020-01-16 2020-06-19 上海携程国际旅行社有限公司 电话录音标注方法、系统、存储介质和电子设备
CN111916088A (zh) * 2020-08-12 2020-11-10 腾讯科技（深圳）有限公司 一种语音语料的生成方法、设备及计算机可读存储介质
CN111914114A (zh) * 2020-07-31 2020-11-10 海信视像科技股份有限公司 一种badcase挖掘方法及电子设备
CN112002326A (zh) * 2020-10-28 2020-11-27 深圳市一恒科电子科技有限公司 一种交互方法及机器人设备
CN112614479A (zh) * 2020-11-26 2021-04-06 北京百度网讯科技有限公司 训练数据的处理方法、装置及电子设备
CN112700763A (zh) * 2020-12-26 2021-04-23 科大讯飞股份有限公司 语音标注质量评价方法、装置、设备及存储介质
CN112905232A (zh) * 2021-02-05 2021-06-04 中国海洋大学 一种基于语法分析树的程序代码平行语料挖掘方法及系统
CN113539245A (zh) * 2021-07-05 2021-10-22 思必驰科技股份有限公司 语言模型自动训练方法及系统
CN114974221A (zh) * 2022-04-29 2022-08-30 中移互联网有限公司 语音识别模型训练方法及装置、计算机可读存储介质
US11842726B2 (en) 2021-02-26 2023-12-12 Beijing Baidu Netcom Science And Technology Co., Ltd. Method, apparatus, electronic device and storage medium for speech recognition

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11043208B1 (en) * 2020-02-20 2021-06-22 Clinc, Inc. Systems and methods for mixed setting training for slot filling machine learning tasks in a machine learning task-oriented dialogue system
CN112417116B (zh) * 2020-11-18 2022-03-15 四川长虹电器股份有限公司 一种基于少样本语料的问句理解模型训练方法和系统
US11676593B2 (en) * 2020-12-01 2023-06-13 International Business Machines Corporation Training an artificial intelligence of a voice response system based on non_verbal feedback
US11816432B2 (en) * 2021-02-09 2023-11-14 Capital One Services, Llc Systems and methods for increasing accuracy in categorizing characters in text string
CN113327591B (zh) * 2021-06-16 2023-01-17 北京有竹居网络技术有限公司 一种语音处理方法及装置
CN115687935A (zh) * 2023-01-05 2023-02-03 粤港澳大湾区数字经济研究院(福田) 语音识别的后处理方法、装置、设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0954848A1 (en) * 1997-01-30 1999-11-10 Dragon Systems Inc. Speech recognition using multiple recognizors
US20080235018A1 (en) * 2004-01-20 2008-09-25 Koninklikke Philips Electronic,N.V. Method and System for Determing the Topic of a Conversation and Locating and Presenting Related Content
WO2013170344A1 (en) * 2012-05-15 2013-11-21 Whyz Technologies Limited Method and system relating to sentiment analysis of electronic content
CN103871402A (zh) * 2012-12-11 2014-06-18 北京百度网讯科技有限公司 语言模型训练系统、语音识别系统及相应方法
WO2014117548A1 (en) * 2013-02-01 2014-08-07 Tencent Technology (Shenzhen) Company Limited Method and device for acoustic language model training
US20160267903A1 (en) * 2014-09-25 2016-09-15 Google Inc. Acoustic model training corpus selection
CN106992001A (zh) * 2017-03-29 2017-07-28 百度在线网络技术（北京）有限公司 语音指令的处理方法、装置和系统
CN109192194A (zh) * 2018-08-22 2019-01-11 北京百度网讯科技有限公司 语音数据标注方法、装置、计算机设备及存储介质
CN109308895A (zh) * 2018-12-04 2019-02-05 百度在线网络技术（北京）有限公司 声学模型训练方法、装置、设备及计算机可读介质

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6374221B1 (en) 1999-06-22 2002-04-16 Lucent Technologies Inc. Automatic retraining of a speech recognizer while using reliable transcripts
JP3726125B2 (ja) 2001-08-15 2005-12-14 独立行政法人情報通信研究機構 テキストコーパスの誤り検出方法及び装置
US7203644B2 (en) * 2001-12-31 2007-04-10 Intel Corporation Automating tuning of speech recognition systems
US7383170B2 (en) * 2003-10-10 2008-06-03 At&T Knowledge Ventures, L.P. System and method for analyzing automatic speech recognition performance data
JP4784056B2 (ja) 2004-08-18 2011-09-28 パナソニック電工株式会社 音声認識機能付制御装置
US7412387B2 (en) * 2005-01-18 2008-08-12 International Business Machines Corporation Automatic improvement of spoken language
US9620117B1 (en) * 2006-06-27 2017-04-11 At&T Intellectual Property Ii, L.P. Learning from interactions for a spoken dialog system
TWI321313B (en) * 2007-03-03 2010-03-01 Ind Tech Res Inst Apparatus and method to reduce recognization errors through context relations among dialogue turns
US20080243504A1 (en) * 2007-03-30 2008-10-02 Verizon Data Services, Inc. System and method of speech recognition training based on confirmed speaker utterances
JP5336805B2 (ja) 2008-09-26 2013-11-06 株式会社東芝 音声翻訳装置、方法、およびプログラム
US9601111B2 (en) * 2012-11-13 2017-03-21 GM Global Technology Operations LLC Methods and systems for adapting speech systems
US9679558B2 (en) * 2014-05-15 2017-06-13 Microsoft Technology Licensing, Llc Language modeling for conversational understanding domains using semantic web resources
KR102225404B1 (ko) * 2014-05-23 2021-03-09 삼성전자주식회사 디바이스 정보를 이용하는 음성인식 방법 및 장치
US9792281B2 (en) * 2015-06-15 2017-10-17 Microsoft Technology Licensing, Llc Contextual language generation by leveraging language understanding
JP6548994B2 (ja) * 2015-09-04 2019-07-24 株式会社東芝 操作装置、訂正方法およびプログラム
CN107657048B (zh) 2017-09-21 2020-12-04 麒麟合盛网络技术股份有限公司 用户识别方法及装置
US10453454B2 (en) * 2017-10-26 2019-10-22 Hitachi, Ltd. Dialog system with self-learning natural language understanding
JP6654611B2 (ja) 2017-12-05 2020-02-26 株式会社日立製作所 成長型対話装置
CN108153875B (zh) 2017-12-26 2022-03-11 北京金山安全软件有限公司 语料处理方法、装置、智能音箱和存储介质
CN110489517B (zh) 2018-05-09 2023-10-31 鼎捷软件股份有限公司 虚拟助理的自动学习方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0954848A1 (en) * 1997-01-30 1999-11-10 Dragon Systems Inc. Speech recognition using multiple recognizors
US20080235018A1 (en) * 2004-01-20 2008-09-25 Koninklikke Philips Electronic,N.V. Method and System for Determing the Topic of a Conversation and Locating and Presenting Related Content
WO2013170344A1 (en) * 2012-05-15 2013-11-21 Whyz Technologies Limited Method and system relating to sentiment analysis of electronic content
CN103871402A (zh) * 2012-12-11 2014-06-18 北京百度网讯科技有限公司 语言模型训练系统、语音识别系统及相应方法
WO2014117548A1 (en) * 2013-02-01 2014-08-07 Tencent Technology (Shenzhen) Company Limited Method and device for acoustic language model training
US20160267903A1 (en) * 2014-09-25 2016-09-15 Google Inc. Acoustic model training corpus selection
CN106992001A (zh) * 2017-03-29 2017-07-28 百度在线网络技术（北京）有限公司 语音指令的处理方法、装置和系统
CN109192194A (zh) * 2018-08-22 2019-01-11 北京百度网讯科技有限公司 语音数据标注方法、装置、计算机设备及存储介质
CN109308895A (zh) * 2018-12-04 2019-02-05 百度在线网络技术（北京）有限公司 声学模型训练方法、装置、设备及计算机可读介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TONY R. MARTINEZ ET AL: "Improving Speech Recognition Learning through Lazy Training", 《BYU SCHOLARSARCHIVE》 *
陈伟: "语音识别声学建模中的主动学习研究", 《中国博士学位论文全文数据库信息科技辑》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111091812B (zh) * 2019-11-26 2022-05-17 思必驰科技股份有限公司 小语种语料的生成方法及系统
CN111091812A (zh) * 2019-11-26 2020-05-01 苏州思必驰信息科技有限公司 小语种语料的生成方法及系统
CN111312219A (zh) * 2020-01-16 2020-06-19 上海携程国际旅行社有限公司 电话录音标注方法、系统、存储介质和电子设备
CN111312219B (zh) * 2020-01-16 2023-11-28 上海携程国际旅行社有限公司 电话录音标注方法、系统、存储介质和电子设备
CN111914114A (zh) * 2020-07-31 2020-11-10 海信视像科技股份有限公司 一种badcase挖掘方法及电子设备
CN111916088A (zh) * 2020-08-12 2020-11-10 腾讯科技（深圳）有限公司 一种语音语料的生成方法、设备及计算机可读存储介质
CN112002326A (zh) * 2020-10-28 2020-11-27 深圳市一恒科电子科技有限公司 一种交互方法及机器人设备
CN112614479A (zh) * 2020-11-26 2021-04-06 北京百度网讯科技有限公司 训练数据的处理方法、装置及电子设备
CN112700763A (zh) * 2020-12-26 2021-04-23 科大讯飞股份有限公司 语音标注质量评价方法、装置、设备及存储介质
CN112700763B (zh) * 2020-12-26 2024-04-16 中国科学技术大学 语音标注质量评价方法、装置、设备及存储介质
CN112905232A (zh) * 2021-02-05 2021-06-04 中国海洋大学 一种基于语法分析树的程序代码平行语料挖掘方法及系统
CN112905232B (zh) * 2021-02-05 2023-11-28 中国海洋大学 一种基于语法分析树的程序代码平行语料挖掘方法及系统
US11842726B2 (en) 2021-02-26 2023-12-12 Beijing Baidu Netcom Science And Technology Co., Ltd. Method, apparatus, electronic device and storage medium for speech recognition
CN113539245A (zh) * 2021-07-05 2021-10-22 思必驰科技股份有限公司 语言模型自动训练方法及系统
CN113539245B (zh) * 2021-07-05 2024-03-15 思必驰科技股份有限公司 语言模型自动训练方法及系统
CN114974221A (zh) * 2022-04-29 2022-08-30 中移互联网有限公司 语音识别模型训练方法及装置、计算机可读存储介质
CN114974221B (zh) * 2022-04-29 2024-01-19 中移互联网有限公司 语音识别模型训练方法及装置、计算机可读存储介质

Also Published As

Publication number Publication date
KR102345156B1 (ko) 2021-12-29
US11348571B2 (en) 2022-05-31
JP2020149053A (ja) 2020-09-17
KR20200108775A (ko) 2020-09-21
US20200294489A1 (en) 2020-09-17
EP3709295B1 (en) 2022-11-30
JP6936888B2 (ja) 2021-09-22
EP3709295A1 (en) 2020-09-16
CN109949797B (zh) 2021-11-12

Similar Documents

Publication Publication Date Title
CN109949797A (zh) 一种训练语料的生成方法、装置、设备及存储介质
CN108170792B (zh) 基于人工智能的问答引导方法、装置和计算机设备
CN111309915B (zh) 联合学习的自然语言训练方法、系统、设备及存储介质
CN108985358B (zh) 情绪识别方法、装置、设备及存储介质
CN105869642A (zh) 一种语音文本的纠错方法及装置
CN108897867A (zh) 用于知识问答的数据处理方法、装置、服务器和介质
US20100185670A1 (en) Mining transliterations for out-of-vocabulary query terms
US10289963B2 (en) Unified text analytics annotator development life cycle combining rule-based and machine learning based techniques
CN103430232A (zh) 利用设备停靠情境的语音识别
CN106959977A (zh) 文字输入中的候选集合计算方法及装置、文字纠错方法及装置
CN109683907A (zh) 代码补全方法、装置、设备及存储介质
CN107066558A (zh) 基于人工智能的引导项推荐方法及装置、设备与可读介质
CN108052499A (zh) 基于人工智能的文本纠错方法、装置及计算机可读介质
CN110276023A (zh) Poi变迁事件发现方法、装置、计算设备和介质
CN111143556B (zh) 软件功能点自动计数方法、装置、介质及电子设备
CN102147758A (zh) 一种待测设备自动编译及配置方法、装置、系统
CN107221328A (zh) 修改源的定位方法及装置、计算机设备及可读介质
CN110377750B (zh) 评论生成及评论生成模型训练方法、装置及存储介质
CN109214417A (zh) 用户意图的挖掘方法及装置、计算机设备及可读介质
CN108932218A (zh) 一种实例扩展方法、装置、设备和介质
CN110032645A (zh) 文本情感识别方法、系统、设备以及介质
EP4364044A1 (en) Automated troubleshooter
CN110362688A (zh) 试题标注方法、装置、设备及计算机可读存储介质
US11675978B2 (en) Entity recognition based on multi-task learning and self-consistent verification
US20220237063A1 (en) Root cause pattern recognition based model training

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant