CN114078475A - 语音识别和更新方法、装置、设备和存储介质 - Google Patents

语音识别和更新方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN114078475A
CN114078475A CN202111313790.5A CN202111313790A CN114078475A CN 114078475 A CN114078475 A CN 114078475A CN 202111313790 A CN202111313790 A CN 202111313790A CN 114078475 A CN114078475 A CN 114078475A
Authority
CN
China
Prior art keywords
text
language model
voice signal
updated
test
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111313790.5A
Other languages
English (en)
Other versions
CN114078475B (zh
Inventor
王常刚
蒋正翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202111313790.5A priority Critical patent/CN114078475B/zh
Publication of CN114078475A publication Critical patent/CN114078475A/zh
Application granted granted Critical
Publication of CN114078475B publication Critical patent/CN114078475B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/183Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/06Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063Training
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Machine Translation (AREA)

Abstract

本公开提供了一种语音识别和更新方法、装置、设备和存储介质,涉及计算机技术领域,具体涉及语音识别、深度学习等人工智能领域。语音识别方法包括:将语音信号输入声学模型进行处理,以输出所述语音信号的第一发音单元;将所述第一发音单元输入语言模型进行处理,以输出所述语音信号的第一识别文本;若所述第一识别文本为错误文本,将所述第一发音单元和所述语音信号的正确文本作为所述语言模型的训练样本,所述训练样本用以更新所述语言模型。本公开可以提高语音识别纠错的速度。

Description

语音识别和更新方法、装置、设备和存储介质
技术领域
本公开涉及计算机技术领域,具体涉及语音识别、深度学习等人工智能领域,尤其涉及一种语音识别和更新方法、装置、设备和存储介质。
背景技术
自动语音识别(Automatic Speech Recognition,ASR)是一种将语音信号转换为文本的技术。随着人工智能技术的发展,智能家居设备普遍基于用户的语音信号进行处理。
语音识别时,可以基于声学模型和语言模型进行处理。
发明内容
本公开提供了一种语音识别和更新方法、装置、设备和存储介质。
根据本公开的一方面,提供了一种语音识别方法,包括:将语音信号输入声学模型进行处理,以输出所述语音信号的第一发音单元;将所述第一发音单元输入语言模型进行处理,以输出所述语音信号的第一识别文本;若所述第一识别文本为错误文本,将所述第一发音单元和所述语音信号的正确文本作为所述语言模型的训练样本,所述训练样本用以更新所述语言模型。
根据本公开的另一方面,提供了一种更新方法,包括:基于训练样本,获取更新后的语言模型,所述训练样本包括语音信号的发音单元以及正确文本,所述语音信号为语音识别错误的语音信号;对所述更新后的语言模型进行测试处理,以获取测试输出文本;基于所述测试输出文本,确定更新后的信息,所述更新后的信息包括:所述更新后的语言模型。
根据本公开的另一方面,提供了一种语音识别装置,包括:第一处理模块,用于将语音信号输入声学模型进行处理,以输出所述语音信号的第一发音单元;第二处理模块,用于将所述第一发音单元输入语言模型进行处理,以输出所述语音信号的第一识别文本;确定模块,用于若所述第一识别文本为错误文本,将所述第一发音单元和所述语音信号的正确文本作为所述语言模型的训练样本,所述训练样本用以更新所述语言模型。
根据本公开的另一方面,提供了一种更新装置,包括:训练模块,用于基于训练样本,获取更新后的语言模型,所述训练样本包括语音信号的发音单元以及正确文本,所述语音信号为语音识别错误的语音信号;测试模块,用于对所述更新后的语言模型进行测试处理,以获取测试输出文本;确定模块,用于基于所述测试输出文本,确定更新后的信息,所述更新后的信息包括:所述更新后的语言模型。
根据本公开的另一方面,提供了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上述任一方面的任一项所述的方法。
根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据上述任一方面的任一项所述的方法。
根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据上述任一方面的任一项所述的方法。
根据本公开的技术方案,可以提高语音识别纠错的速度。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是根据本公开第一实施例的示意图;
图2是根据本公开第二实施例的示意图;
图3是根据本公开第三实施例的示意图;
图4是根据本公开第四实施例的示意图;
图5是根据本公开第五实施例的示意图;
图6是根据本公开第六实施例的示意图;
图7是根据本公开第七实施例的示意图;
图8是根据本公开第八实施例的示意图;
图9是用来实现本公开实施例的语音识别方法或更新方法的电子设备的示意图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
相关技术中,若语音识别错误,一般是重新联合训练声学模型和语言模型。
然而,声学模型的收敛速度较慢,因此,若采用联合训练声学模型和语言模型的方式,受限于声学模型的训练速度,整体的声学模型和语言模型的更新速度就会很慢,一般需要1~2周的时间,致使整体的纠正语音识别错误的速度很慢。
图1是根据本公开第一实施例的示意图,本实施例提供一种语音识别方法,所述方法包括:
101、将语音信号输入声学模型进行处理,以输出所述语音信号的第一发音单元。
102、将所述第一发音单元输入语言模型进行处理,以输出所述语音信号的第一识别文本。
103、若所述第一识别文本为错误文本,将所述第一发音单元和所述语音信号的正确文本作为所述语言模型的训练样本,所述训练样本用以更新所述语言模型。
本实施例的执行主体可以为语音识别装置,该装置的具体形式不限定,可以为硬件、软件,或者软硬结合。该装置可以位于电子设备内,电子设备可以为用户终端或者服务端,服务端可以为本地服务器或者云端等,用户终端可以包括移动设备(如手机、平板电脑)、可穿戴式设备(如智能手表、智能手环)、智能家居设备(如智能电视、智能音箱)等。
本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
本公开实施例中,若识别文本为错误文本,即语音识别错误时,触发语言模型的更新,而不是声学模型和语言模型的联合更新,可以提高模型更新速度,进而提高语音识别纠错的速度。
以智能音箱与云端交互,且在云端进行语音识别为例。如图2所示,用户可以向智能音箱201发出语音信号,智能音箱201通过其上设置的麦克风等音频采集装置,可以采集到语音信号,之后,智能音箱201可以将采集的语音信号发送给云端202。云端202接收到智能音箱201发送语音信号后,可以采用语音识别模块对语音信号进行语音识别,语音识别模块的输入为语音信号,输出为语音信号对应的识别文本。云端202获取识别文本后,可以将识别文本反馈给智能音箱。
语音识别可以基于声学模型和语言模型的方式,也可以为端到端的语音识别模型。本公开实施例中,以语音识别基于声学模型和语言模型的方式为例。
以基于声学模型和语言模型进行语音识别为例,如图3所示,语音识别的大致流程可以包括:将语音信号作为声学模型301的输入,基于声学模型301对语音信号进行处理,声学模型301的输出为语音信号的发音单元;将发音单元作为语言模型302的输入,基于语言模型302对发音单元进行处理,语言模型302的输出为语音信号的识别文本,从而完成语音识别。其中,为了区分,图3中的识别文本用第一识别文本表示。
语音信号又可以称为语音、音频、音频信号等。
其中,发音单元是声学模型建模的基本单元,可以为音素、音节等。以中文为例,发音单元可以为声韵母,比如,“我”的语音对应的发音单元为WO。
语音识别时,文本可以以文本单元为粒度,依次输出,以中文为例,文本单元比如为汉字,比如,WO对应的文本单元可以为“我”。
基于声学模型和语言模型,可以获取识别文本。
语音识别后,可能存在语音识别错误,比如,用户需求的WO的正确文本为“我”,云端的语音识别模块获取的第一识别文本可能为“窝”,此时,第一识别文本为错误文本。
具体地,可以基于用户的操作判定是否识别错误。一般来讲,语音识别错误后,用户会进行补救操作,比如,经过语音识别后,用户说“不对,我说的是...”,或者,用户重复了一遍之前的语音信号,或者,用户结束语音识别过程等。若检测到类似操作,可以认为识别文本为错误文本。
为了纠错,一般会对语音识别所涉及的模型进行更新。比如,参见图2,云端还可以包括更新模块,以更新语音识别模块所采用的模型。
本公开实施例中,为了提高更新速度,只更新语言模型,而不更新声学模型,与区分于相关技术中的联合更新声学模型和语言模型。
更新语言模型可以通过重新训练语言模型的方式。
其中,语言模型的输入和输出分别为发音单元和文本,因此,在重新训练语言模型时,可以将发音单元和正确文本作为一组训练样本,通过收集的多组训练样本,可以训练得到语言模型。
如图3所示,声学模型的输出为发音单元,因此,发音单元可以基于声学模型的输出直接获取。
语音信号的正确文本,可以基于用户操作或者主动搜索等方式获取。
具体地,比如,对应发音单元“WO”,第一识别文本为“窝”,假设用户需求的正确文本为“我”,即,此时的识别文本并不是用户所需要的,用户可能继续说“不对,我说的是我们的我”。此时,第一识别文本“窝”是错误文本,由于用户修正了文本,因此可以基于用户修正获取正确文本“我”,此时即为基于用户操作获取正确文本。之后,发音单元“WO”和正确文本“我”作为一组训练样本,用于语言模型的更新。
又比如,对应发音单元“JI”“MEI”,第一识别文本为“极美”,假设用户需求的正确文本为“集美(意思是姐妹)”,即,此时的识别文本并不是用户所需要的,用户可能说“不对”但并未给出正确文本的信息,或者用户发现不对放弃语音识别过程。此时,云端可以确认(基于用户反馈的不对或者用户的结束操作)第一识别文本“极美”是不对的,云端可以主动获取正确文本。一般来讲,用户所需的正确文本可能是新的网络词汇,比如,上述的“集美”,此时,云端可以主动搜索新的网络热点词汇,将新的热点词汇,比如“集美”作为正确文本。
获取发音单元和正确文本后,可以将其作为训练样本,以更新语言模型。关于语言模型的更新过程可以参见后续实施例。
一些实施例中,所述方法还包括:
若再次接收到所述语音信号,将所述语音信号输入,所述声学模型进行处理,以输出所述语音信号的第二发音单元;
基于所述第二发音单元和更新后的语言模型,获取所述语音信号的第二识别文本。
即,语音识别时,声学模型是保持不变的,依然采用之前的声学模型,但语言模型采用更新后的语言模型。
可以理解的是,“声学模型是保持不变的”是指特定时期的不变,声学模型也可以存在更新流程,比如,每隔2周进行一次“声学模型和语言模型的联合更新”,每隔1天进行一次“语言模型”的更新,因此,在未达到声学模型的更新周期时,可以对语言模型进行单独更新,而不需要等到两者的联合更新周期。
为了区分,上述的声学模型的输出分别称为第一发音单元和第二发音单元,然而,由于声学模型是特定时期内保持不变的,因此,在声学模型保持不变的时期内,由于采用相同的声学模型对同一个语音信号进行处理,因此,第一发音单元和第二发音单元的内容是一致的。
通过基于更新后的语言模型进行处理,可以提高识别文本的准确度。并且,保持声学模型不变而更新语言模型,可以提高语音识别纠错速度。
一些实施例中,所述基于所述第二发音单元和更新后的语言模型,获取所述语音信号的第二识别文本,包括:
将所述第二发音单元输入所述更新后的语言模型进行处理,以获取所述更新后的语言模型输出的所述第二识别文本。或者,
一些实施例中,更新所述语言模型时还确定文本间的映射关系,所述基于所述第二发音单元和更新后的语言模型,获取所述语音信号的第二识别文本,包括:
将所述第二发音单元输入所述更新后的语言模型进行处理,以获取所述更新后的语言模型的输出文本;
基于所述文本间的映射关系,将所述输出文本映射为所述第二识别文本。
即,可以将更新后的语言模型的输出文本作为第二识别文本,或者,获取更新后的语言模型的输出文本,将该输出文本映射为其他文本,将该其他文本作为第二识别文本。
其中,将输出文本作为第二识别文本,或者,将其他文本作为第二识别文本,可以基于语言模型的更新流程确定。
具体地,若语言模型的更新流程中,最终得到的更新后的信息为更新后的语言模型,则在语音识别时是基于更新后的语言模型进行的,此时,第二识别文本为更新后的语言模型的输出文本。或者,
若语言模型的更新流程中,最终得到的更新后的信息包括:更新后的语言模型,以及,文本间的映射关系,则在语音识别时是基于更新后的语言模型以及该映射关系进行的,此时,第二识别文本为上述的其他文本。
其中,经过语言模型的更新,可以提高语言模型的效果,但是,在一些情况下,依然不能将其识别为正确文本。此时,可以通过映射关系进行强制转换。
比如,参见图4,在对发音单元进行处理时,不仅需要更新后的语言模型,还需要文本间的映射关系(可简称为映射关系)。
具体如,对应发音单元“WO”,更新后的语言模型依然将其识别为“窝”,而正确文本应该是“我”,则在更新流程中可以建立:“窝”与“我”的映射关系,并将其应用在语音识别过程中。因此,在语音识别过程中,虽然更新后的语言模型的输出文本为“窝”,但是,由于建立了“窝”与“我”的映射关系,因此,最终的语音识别结果,即第二识别文本为“我”。
通过将更新后的语言模型的输出文本作为第二识别文本,可以提高识别文本的准确度。
通过基于文本间的映射关系确定第二识别文本,可以实现文本的强制转换,进一步提高识别文本的准确度。
上述对语音识别过程进行了说明,下面说明语言模型的更新过程。
可以理解的是,语音识别过程为线上过程,或称为在线过程,即,可以实时响应用户的语音信号。语言模型的更新过程为线下过程,或称为离线过程,该过程可以按照预设周期进行更新,预设周期比如为每天。即,云端可以收集当天的大量用户的发音单元以及正确文本,进行语言模型的训练。
图5是根据本公开第五实施例的示意图。如图5所示,本实施例提供一种更新方法,包括:
501、基于训练样本,获取更新后的语言模型,所述训练样本包括语音信号的发音单元以及正确文本,所述语音信号为语音识别错误的语音信号。
其中,发音单元和正确文本的获取过程可以参见上述实施例的说明。
502、对所述更新后的语言模型进行测试处理,以获取测试输出文本。
503、基于所述测试输出文本,确定更新后的信息,所述更新后的信息包括:所述更新后的语言模型。
一些实施例中,所述测试处理的输入为测试语音信号,所述基于所述测试输出文本,确定更新后的信息,包括:
若所述测试输出文本是所述测试语音信号的正确文本,将所述更新后的语言模型作为所述更新后的信息;或者,
若所述测试输出文本不是所述测试语音信号的正确文本,建立所述测试输出文本与所述测试语音信号的正确文本之间的文本映射关系,将所述更新后的语言模型和所述文本映射关系作为所述更新后的信息。
其中,采用训练样本,可以重新训练一个语言模型,该语言模型可以称为更新后的语言模型。
获取更新后的语言模型后,可以与之前的声学模型作为语音识别模型,将测试语音信号输入到语音识别模型中,即,声学模型对测试语音信号进行处理,得到测试发音单元,语言模型对测试发音单元进行处理,得到测试输出文本。
另外,还可以获取测试语音信号对应的正确文本,假设称为测试正确文本,若测试输出文本与测试正确文本一致,则可以将更新后的语言模型作为更新后的信息,用于线上过程。若测试输出文本与测试正确文本不一致,则可以建立文本映射关系,将更新后的语言模型和文本映射关系作为更新后的信息,用于线上过程。
比如,测试语音信号为“我”的语音,测试正确文本是“我”,更新后的语言模型依然将其识别为“窝”,而正确文本应该是“我”,则在更新流程中可以建立:“窝”与“我”的映射关系。
具体地,参见图6,获取发音单元和正确文本后,可以采用文本处理模块对正确文本进行文本处理。采用语言模型训练模块对处理后的文本和发音单元作为语言模型的训练样本,训练语言模型,得到更新后的语言模型。采用测试模块对更新后的语言模型进行测试,若通过测试,则确定更新后的信息为更新后的语言模型;若没有通过测试,采用强制转换模块建立文本映射关系,将更新后的语言模型和文本映射关系作为更新后的信息。之后,采用上线模块将更新后的信息应用到语音识别过程。
其中,文本处理时,可以根据已有字典对正确文本进行分词,同时增加识别错误的分词对应的正确分词的频次,以保证后续语言模型训练后,相应资源的识别概率增大。
比如,为了简化说明,上述示例中以字(我)或词(集美)进行说明,然而,实际应用中,文本一般是一个句子,包括多个分词,比如,“我去打羽毛球”。此时,可以对正确文本先进行分词,具体的分词方式可以采用已有或将来出现的分词方式。经过分词,可以获得文本中的各个分词,如“我”、“去”、“打”、“羽毛球”,假设其中的“我”是识别错误的分词,正确分词应该是“我”,因此,在构建训练样本时,可以加大“我”的频次。加大频次,比如,采用更多包含“我”的句子,而不是错误的“窝”的句子作为训练样本。
训练时,可以将发音单元作为语言模型的输入,获取语言模型的输出文本,基于正确文本和输出文本可以确定损失函数,通过损失函数调整语言模型的参数,直至损失函数收敛或达到预设次数,完成训练,将完成训练的语言模型作为更新后的语言模型。
其中,损失函数可以基于输出文本和正确文本各自对应的概率确定,比如,输出文本的概率称为输出概率,正确文本的概率称为先验概率,损失函数可以是输出概率与先验概率的函数。具体函数形式可以依据实际需求选择,比如,L2、交叉熵等。
进一步地,为了有效纠正识别错误,可以刻意提高识别错误的文本对应的正确文本的先验概率,通过这样先验的方式,可以保证在识别时,语言模型对应正确文本的输出概率变大,即使声学模型得分较低,依然有很大可能输出正确的识别文本。比如,对应同一个发音单元“WO”,人为设置“我”的先验概率较大,比如为0.8,而设置“窝”的先验概率较小,比如为0.1。
经过上述处理,训练样本中的文本是加大正确分词的频次后的文本,正确文本的先验概率远大于错误文本的先验概率,因此,通过对训练样本的上述处理,可以刻意增加正确文本的相关先验信息,从而可以使得更新后的语言模型输出正确文本的概率增大。
获取更新后的语言模型后,可以将保持不变的声学模型和更新后的语言模型作为待测试的语音识别模型。将测试语音信号输入到语音识别模型中,输出为测试输出文本。为了提高测试准确度,可以模拟语音识别的线上环境,比如,采用一般的智能音箱具有的系统参数等构建一个测试环境,测试人员可以对着该测试环境发出测试语音信号,通过该测试环境输出的文本可以称为测试输出文本。
由于测试时,用户是获知测试语音信号的正确文本(可称为测试正确文本)的,因此,可以比对测试正确文本和测试输出文本,若两者一致,则通过测试,否则未通过测试。
强制转换是指测试输出文本与测试正确文本之间的映射关系。
本公开实施例中,通过语音识别错误后,训练语言模型,相对于联合训练声学模型和语言模型,可以提高模型更新速度,进而提高语音识别纠错速度。进一步地,通过将更新后的语言模型作为更新后的信息,可以提高识别文本的准确度。通过将更新后的语言模型和文本映射关系作为更新后的信息,可以实现文本强制转换,进一步提高识别文本的准确度。
图7是根据本公开第七实施例的示意图,本实施例提供一种语音识别装置。如图7所示,该装置700包括:第一处理模块701、第二处理模块702和确定模块703。
第一处理模块701用于将语音信号输入声学模型进行处理,以输出所述语音信号的第一发音单元;第二处理模块702用于将所述第一发音单元输入语言模型进行处理,以输出所述语音信号的第一识别文本;确定模块703用于若所述第一识别文本为错误文本,将所述第一发音单元和所述语音信号的正确文本作为所述语言模型的训练样本,所述训练样本用以更新所述语言模型。
一些实施例中,所述装置700还包括:第三处理模块,用于若再次接收到所述语音信号,将所述语音信号输入所述声学模型进行处理,以输出所述语音信号的第二发音单元;获取模块,用于基于所述第二发音单元和更新后的语言模型,获取所述语音信号的第二识别文本。
一些实施例中,所述获取模块具体用于:将所述第二发音单元输入所述更新后的语言模型进行处理,以获取所述更新后的语言模型的输出的所述第二识别文本。
一些实施例中,更新所述语言模型时还确定文本间的映射关系,所述获取模块具体用于:将所述第二发音单元输入所述更新后的语言模型进行处理,以获取所述更新后的语言模型的输出文本;基于所述文本间的映射关系,将所述输出文本映射为所述第二识别文本。
本公开实施例中,若识别文本为错误文本,即语音识别错误时,触发语言模型的更新,而不是声学模型和语言模型的联合更新,可以提高模型更新速度,进而提高语音识别纠错的速度。
图8是根据本公开第八实施例的示意图,本实施例提供一种更新装置。如图8所示,该装置800包括:训练模块801、测试模块802和确定模块803。
训练模块801用于基于训练样本,获取更新后的语言模型,所述训练样本包括语音信号的发音单元以及正确文本,所述语音信号为语音识别错误的语音信号;测试模块802用于对所述更新后的语言模型进行测试处理,以获取测试输出文本;确定模块803用于基于所述测试输出文本,确定更新后的信息,所述更新后的信息包括:所述更新后的语言模型。
一些实施例中,所述测试处理的输入为测试语音信号,所述确定模块具体用于:若所述测试输出文本是所述测试语音信号的正确文本,将所述更新后的语言模型作为所述更新后的信息;或者,若所述测试输出文本不是所述测试语音信号的正确文本,建立所述测试输出文本与所述测试语音信号的正确文本之间的文本映射关系,将所述更新后的语言模型和所述文本映射关系作为所述更新后的信息。
本公开实施例中,通过语音识别错误后,训练语言模型,相对于联合训练声学模型和语言模型,可以提高模型更新速度,进而提高语音识别纠错速度。进一步地,通过将更新后的语言模型作为更新后的信息,可以提高识别文本的准确度。通过将更新后的语言模型和文本映射关系作为更新后的信息,可以实现文本强制转换,进一步提高识别文本的准确度。
本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
可以理解的是,本公开实施例中,不同实施例中的相同或相似内容可以相互参考。
可以理解的是,本公开实施例中的“第一”、“第二”等只是用于区分,不表示重要程度高低、时序先后等。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图9所示,电子设备900包括计算单元901,其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序,来执行各种适当的动作和处理。在RAM 903中,还可存储电子设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
电子设备900中的多个部件连接至I/O接口905,包括:输入单元906,例如键盘、鼠标等;输出单元907,例如各种类型的显示器、扬声器等;存储单元908,例如磁盘、光盘等;以及通信单元909,例如网卡、调制解调器、无线通信收发机等。通信单元909允许电子设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理,例如语音识别方法或更新方法。例如,在一些实施例中,语音识别方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元908。在一些实施例中,计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到电子设备900上。当计算机程序加载到RAM 903并由计算单元901执行时,可以执行上文描述的语音识别方法或更新方法的一个或多个步骤。备选地,在其他实施例中,计算单元901可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行语音识别方法或更新方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务("Virtual Private Server",或简称"VPS")中,存在的管理难度大,业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。

Claims (15)

1.一种语音识别方法,包括:
将语音信号输入声学模型进行处理,以输出所述语音信号的第一发音单元;
将所述第一发音单元输入语言模型进行处理,以输出所述语音信号的第一识别文本;
若所述第一识别文本为错误文本,将所述第一发音单元和所述语音信号的正确文本作为所述语言模型的训练样本,所述训练样本用以更新所述语言模型。
2.根据权利要求1所述的方法,还包括:
若再次接收到所述语音信号,将所述输入所述声学模型进行处理,以输出所述语音信号的第二发音单元;
基于所述第二发音单元和更新后的语言模型,获取所述语音信号的第二识别文本。
3.根据权利要求2所述的方法,其中,所述基于所述第二发音单元和更新后的语言模型,获取所述语音信号的第二识别文本,包括:
将所述第二发音单元输入所述更新后的语言模型进行处理,以获取所述更新后的语言模型输出的所述第二识别文本。
4.根据权利要求2所述的方法,其中,更新所述语言模型时还确定文本间的映射关系,所述基于所述第二发音单元和更新后的语言模型,获取所述语音信号的第二识别文本,包括:
将所述第二发音单元输入所述更新后的语言模型进行处理,以获取所述更新后的语言模型的输出文本;
基于所述文本间的映射关系,将所述输出文本映射为所述第二识别文本。
5.一种更新方法,包括:
基于训练样本,获取更新后的语言模型,所述训练样本包括语音信号的发音单元以及正确文本,所述语音信号为语音识别错误的语音信号;
对所述更新后的语言模型进行测试处理,以获取测试输出文本;
基于所述测试输出文本,确定更新后的信息,所述更新后的信息包括:所述更新后的语言模型。
6.根据权利要求5所述的方法,其中,所述测试处理的输入为测试语音信号,所述基于所述测试输出文本,确定更新后的信息,包括:
若所述测试输出文本是所述测试语音信号的正确文本,将所述更新后的语言模型作为所述更新后的信息;或者,
若所述测试输出文本不是所述测试语音信号的正确文本,建立所述测试输出文本与所述测试语音信号的正确文本之间的文本映射关系,将所述更新后的语言模型和所述文本映射关系作为所述更新后的信息。
7.一种语音识别装置,包括:
第一处理模块,用于将语音信号输入声学模型进行处理,以输出所述语音信号的第一发音单元;
第二处理模块,用于将所述第一发音单元输入语言模型进行处理,以输出所述语音信号的第一识别文本;
确定模块,用于若所述第一识别文本为错误文本,将所述第一发音单元和所述语音信号的正确文本作为所述语言模型的训练样本,所述训练样本用以更新所述语言模型。
8.根据权利要求7所述的装置,还包括:
第三处理模块,用于若再次接收到所述语音信号,将所述语音信号输入所述声学模型进行处理,以输出所述语音信号的第二发音单元;
获取模块,用于基于所述第二发音单元和更新后的语言模型,获取所述语音信号的第二识别文本。
9.根据权利要求8所述的装置,其中,所述获取模块具体用于:
将所述第二发音单元输入所述更新后的语言模型进行处理,以获取所述更新后的语言模型输出的所述第二识别文本。
10.根据权利要求8所述的装置,其中,更新所述语言模型时还确定文本间的映射关系,所述获取模块具体用于:
将所述第二发音单元输入所述更新后的语言模型进行处理,以获取所述更新后的语言模型的输出文本;
基于所述文本间的映射关系,将所述输出文本映射为所述第二识别文本。
11.一种更新装置,包括:
训练模块,用于基于训练样本,获取更新后的语言模型,所述训练样本包括语音信号的发音单元以及正确文本,所述语音信号为语音识别错误的语音信号;
测试模块,用于对所述更新后的语言模型进行测试处理,以获取测试输出文本;
确定模块,用于基于所述测试输出文本,确定更新后的信息,所述更新后的信息包括:所述更新后的语言模型。
12.根据权利要求11所述的装置,其中,所述测试处理的输入为测试语音信号,所述确定模块具体用于:
若所述测试输出文本是所述测试语音信号的正确文本,将所述更新后的语言模型作为所述更新后的信息;或者,
若所述测试输出文本不是所述测试语音信号的正确文本,建立所述测试输出文本与所述测试语音信号的正确文本之间的文本映射关系,将所述更新后的语言模型和所述文本映射关系作为所述更新后的信息。
13.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法。
15.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的方法。
CN202111313790.5A 2021-11-08 2021-11-08 语音识别和更新方法、装置、设备和存储介质 Active CN114078475B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111313790.5A CN114078475B (zh) 2021-11-08 2021-11-08 语音识别和更新方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111313790.5A CN114078475B (zh) 2021-11-08 2021-11-08 语音识别和更新方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN114078475A true CN114078475A (zh) 2022-02-22
CN114078475B CN114078475B (zh) 2023-07-25

Family

ID=80283618

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111313790.5A Active CN114078475B (zh) 2021-11-08 2021-11-08 语音识别和更新方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN114078475B (zh)

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002091477A (ja) * 2000-09-14 2002-03-27 Mitsubishi Electric Corp 音声認識システム、音声認識装置、音響モデル管理サーバ、言語モデル管理サーバ、音声認識方法及び音声認識プログラムを記録したコンピュータ読み取り可能な記録媒体
US20100063819A1 (en) * 2006-05-31 2010-03-11 Nec Corporation Language model learning system, language model learning method, and language model learning program
JP2012053403A (ja) * 2010-09-03 2012-03-15 Nippon Hoso Kyokai <Nhk> 言語モデル処理装置および音声認識装置、ならびにプログラム
CN108510976A (zh) * 2017-02-24 2018-09-07 芋头科技(杭州)有限公司 一种多语言混合语音识别方法
US20180286386A1 (en) * 2017-03-28 2018-10-04 International Business Machines Corporation Deep language and acoustic modeling convergence and cross training
US10152298B1 (en) * 2015-06-29 2018-12-11 Amazon Technologies, Inc. Confidence estimation based on frequency
CN109101475A (zh) * 2017-06-20 2018-12-28 北京嘀嘀无限科技发展有限公司 出行语音识别方法、系统和计算机设备
CN110473531A (zh) * 2019-09-05 2019-11-19 腾讯科技(深圳)有限公司 语音识别方法、装置、电子设备、系统及存储介质
US20200005774A1 (en) * 2019-07-30 2020-01-02 Lg Electronics Inc. Speech recognition method and speech recognition device
CN110689878A (zh) * 2019-10-11 2020-01-14 浙江百应科技有限公司 一种基于XLNet的智能语音对话意图识别方法
CN111063337A (zh) * 2019-12-31 2020-04-24 苏州思必驰信息科技有限公司 可快速更新语言模型的大规模语音识别方法及系统
CN111179917A (zh) * 2020-01-17 2020-05-19 厦门快商通科技股份有限公司 语音识别模型训练方法、系统、移动终端及存储介质
CN111933113A (zh) * 2020-09-29 2020-11-13 北京捷通华声科技股份有限公司 一种语音识别的方法、装置、设备及介质
CN112669851A (zh) * 2021-03-17 2021-04-16 北京远鉴信息技术有限公司 一种语音识别方法、装置、电子设备及可读存储介质
CN112885335A (zh) * 2021-01-22 2021-06-01 北京读我科技有限公司 语音识别方法及相关装置
CN112927695A (zh) * 2021-03-23 2021-06-08 上海仙塔智能科技有限公司 语音识别方法、装置、设备及存储介质
CN112966712A (zh) * 2021-02-01 2021-06-15 北京三快在线科技有限公司 语言模型训练方法、装置、电子设备和计算机可读介质
CN113053367A (zh) * 2021-04-16 2021-06-29 北京百度网讯科技有限公司 语音识别方法、语音识别的模型训练方法以及装置
CN113343671A (zh) * 2021-06-07 2021-09-03 佳都科技集团股份有限公司 一种语音识别后的语句纠错方法、装置、设备及存储介质
CN113591456A (zh) * 2021-07-23 2021-11-02 北京小米移动软件有限公司 文本纠错方法及装置、电子设备及存储介质

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002091477A (ja) * 2000-09-14 2002-03-27 Mitsubishi Electric Corp 音声認識システム、音声認識装置、音響モデル管理サーバ、言語モデル管理サーバ、音声認識方法及び音声認識プログラムを記録したコンピュータ読み取り可能な記録媒体
US20100063819A1 (en) * 2006-05-31 2010-03-11 Nec Corporation Language model learning system, language model learning method, and language model learning program
JP2012053403A (ja) * 2010-09-03 2012-03-15 Nippon Hoso Kyokai <Nhk> 言語モデル処理装置および音声認識装置、ならびにプログラム
US10152298B1 (en) * 2015-06-29 2018-12-11 Amazon Technologies, Inc. Confidence estimation based on frequency
CN108510976A (zh) * 2017-02-24 2018-09-07 芋头科技(杭州)有限公司 一种多语言混合语音识别方法
US20180286386A1 (en) * 2017-03-28 2018-10-04 International Business Machines Corporation Deep language and acoustic modeling convergence and cross training
CN109101475A (zh) * 2017-06-20 2018-12-28 北京嘀嘀无限科技发展有限公司 出行语音识别方法、系统和计算机设备
US20200005774A1 (en) * 2019-07-30 2020-01-02 Lg Electronics Inc. Speech recognition method and speech recognition device
CN110473531A (zh) * 2019-09-05 2019-11-19 腾讯科技(深圳)有限公司 语音识别方法、装置、电子设备、系统及存储介质
CN110689878A (zh) * 2019-10-11 2020-01-14 浙江百应科技有限公司 一种基于XLNet的智能语音对话意图识别方法
CN111063337A (zh) * 2019-12-31 2020-04-24 苏州思必驰信息科技有限公司 可快速更新语言模型的大规模语音识别方法及系统
CN111179917A (zh) * 2020-01-17 2020-05-19 厦门快商通科技股份有限公司 语音识别模型训练方法、系统、移动终端及存储介质
CN111933113A (zh) * 2020-09-29 2020-11-13 北京捷通华声科技股份有限公司 一种语音识别的方法、装置、设备及介质
CN112885335A (zh) * 2021-01-22 2021-06-01 北京读我科技有限公司 语音识别方法及相关装置
CN112966712A (zh) * 2021-02-01 2021-06-15 北京三快在线科技有限公司 语言模型训练方法、装置、电子设备和计算机可读介质
CN112669851A (zh) * 2021-03-17 2021-04-16 北京远鉴信息技术有限公司 一种语音识别方法、装置、电子设备及可读存储介质
CN112927695A (zh) * 2021-03-23 2021-06-08 上海仙塔智能科技有限公司 语音识别方法、装置、设备及存储介质
CN113053367A (zh) * 2021-04-16 2021-06-29 北京百度网讯科技有限公司 语音识别方法、语音识别的模型训练方法以及装置
CN113343671A (zh) * 2021-06-07 2021-09-03 佳都科技集团股份有限公司 一种语音识别后的语句纠错方法、装置、设备及存储介质
CN113591456A (zh) * 2021-07-23 2021-11-02 北京小米移动软件有限公司 文本纠错方法及装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郭旭等: "基于神经网络语言模型的作者身份验证", 《情报理论与实践》, no. 03 *

Also Published As

Publication number Publication date
CN114078475B (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
CN111402861B (zh) 一种语音识别方法、装置、设备及存储介质
CN112466288A (zh) 语音识别方法、装置、电子设备及存储介质
CN113450759A (zh) 语音生成方法、装置、电子设备以及存储介质
CN114416934A (zh) 多模态的对话生成模型的训练方法、装置及电子设备
CN112307188B (zh) 对话生成方法、系统、电子设备和可读存储介质
CN114841274B (zh) 语言模型的训练方法、装置、电子设备和存储介质
CN112508115A (zh) 建立节点表示模型的方法、装置、设备和计算机存储介质
CN115862031B (zh) 文本处理方法、神经网络的训练方法、装置和设备
CN115292467B (zh) 信息处理与模型训练方法、装置、设备、介质及程序产品
CN114141236B (zh) 语言模型更新方法、装置、电子设备及存储介质
CN114758649B (zh) 一种语音识别方法、装置、设备和介质
JP7349523B2 (ja) 音声認識方法、音声認識装置、電子機器、記憶媒体コンピュータプログラム製品及びコンピュータプログラム
CN114078475B (zh) 语音识别和更新方法、装置、设备和存储介质
CN113689866B (zh) 一种语音转换模型的训练方法、装置、电子设备及介质
CN113920987A (zh) 一种语音识别的方法、装置、设备及存储介质
CN114067805A (zh) 声纹识别模型的训练与声纹识别方法及装置
CN110147556B (zh) 一种多向神经网络翻译系统的构建方法
CN113553833A (zh) 文本纠错的方法、装置及电子设备
CN112632999A (zh) 命名实体识别模型获取及命名实体识别方法、装置及介质
CN115169549B (zh) 人工智能模型更新方法、装置、电子设备及存储介质
CN113223500B (zh) 语音识别方法、训练语音识别模型的方法及对应装置
CN113553863B (zh) 文本生成方法、装置、电子设备和存储介质
CN113689867B (zh) 一种语音转换模型的训练方法、装置、电子设备及介质
CN112906650B (zh) 教学视频的智能处理方法、装置、设备和存储介质
CN115879446B (zh) 文本处理方法、深度学习模型训练方法、装置以及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant