CN113516972A - 语音识别方法、装置、计算机设备及存储介质 - Google Patents

语音识别方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN113516972A
CN113516972A CN202110036471.8A CN202110036471A CN113516972A CN 113516972 A CN113516972 A CN 113516972A CN 202110036471 A CN202110036471 A CN 202110036471A CN 113516972 A CN113516972 A CN 113516972A
Authority
CN
China
Prior art keywords
voice
model
network
voice recognition
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110036471.8A
Other languages
English (en)
Other versions
CN113516972B (zh
Inventor
苏丹
贺利强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110036471.8A priority Critical patent/CN113516972B/zh
Publication of CN113516972A publication Critical patent/CN113516972A/zh
Priority to PCT/CN2022/070388 priority patent/WO2022152029A1/zh
Priority to JP2023524506A priority patent/JP2023549048A/ja
Priority to US17/987,287 priority patent/US20230075893A1/en
Application granted granted Critical
Publication of CN113516972B publication Critical patent/CN113516972B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G10L2015/025—Phonemes, fenemes or fenones being the recognition units

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请是关于一种语音识别方法、装置、计算机设备及存储介质，涉及语音识别技术领域。所述方法包括：通过语音识别模型对流式语音数据进行处理，获得语音识别文本；语音识别模型是基于网络搜索模型构建的；网络搜索模型是通过语音训练样本对初始网络进行神经网络结构搜索获得的；初始网络中包含的多个特征聚合节点之间的操作元中包括第一类型操作元，第一类型操作元对应的第一操作空间中包含不依赖未来数据的指定操作；输出语音识别文本。通过上述方案，能够在保证语音识别的准确性的情况下，降低在流式语音识别场景下的识别时延，提高流式语音识别的效果。

Description

语音识别方法、装置、计算机设备及存储介质
技术领域
本申请涉及语音识别技术领域，特别涉及一种语音识别方法、装置、计算机设备及存储介质。
背景技术
语音识别是一种将语音识别为文本的技术，其在各种人工智能(ArtificialIntelligence，AI)场景中具有广泛的应用。
在相关技术中，为了保证语音识别的准确性，语音识别模型对输入的语音进行识别的过程中，需要参考语音的上下文信息，也就是说，在对语音数据进行识别时，需要同时结合该语音数据的历史信息和未来信息进行识别。
在上述技术方案中，由于语音识别模型在语音识别过程中引入了未来信息，会导致一定的延时，从而限制来语音识别模型在流式语音识别中的应用。
发明内容
本申请实施例提供了一种语音识别方法、装置、计算机设备及存储介质，可以降低在流式语音识别场景下的识别时延，提高流式语音识别的效果，该技术方案如下：
一方面，提供了一种语音识别方法，所述方法包括：
接收流式语音数据；
通过语音识别模型对所述流式语音数据进行处理，获得所述流式语音数据对应的语音识别文本；所述语音识别模型是基于网络搜索模型构建的；所述网络搜索模型是通过语音训练样本对初始网络进行神经网络结构搜索获得的；所述初始网络中包含通过操作元相连的多个特征聚合节点，所述多个特征聚合节点之间的操作元中包括第一类型操作元，所述第一类型操作元对应的第一操作空间中包含不依赖未来数据的指定操作；所述第一操作空间中的一种或者多种操作的组合用于实现所述第一类型操作元；所述指定操作为依赖上下文信息的神经网络操作；所述语音训练样本中包含语音样本，以及所述语音样本对应的语音识别标签；
输出所述语音识别文本。
又一方面，提供了一种语音识别方法，所述方法包括：
获取语音训练样本，所述语音训练样本中包含语音样本，以及所述语音样本对应的语音识别标签；
基于所述语音训练样本，在初始网络进行神经网络结构搜索，获得网络搜索模型；所述初始网络中包含通过操作元相连的多个特征聚合节点，所述多个特征聚合节点之间的操作元中包括第一类型操作元，所述第一类型操作元对应的第一操作空间中包含不依赖未来数据的指定操作；所述第一操作空间中的一种或者多种操作的组合用于实现所述第一类型操作元；所述指定操作为依赖上下文信息的神经网络操作；
基于所述网络搜索模型构建语音识别模型；所述语音识别模型用于对输入的流式语音数据进行处理，获得所述流式语音数据对应的语音识别文本。
又一方面，提供了一种语音识别装置，所述装置包括：
语音数据接收模块，用于接收流式语音数据。
语音数据处理模块，用于通过语音识别模型对所述流式语音数据进行处理，获得所述流式语音数据对应的语音识别文本；所述语音识别模型是基于网络搜索模型构建的；所述网络搜索模型是通过语音训练样本对初始网络进行神经网络结构搜索获得的；所述初始网络中包含通过操作元相连的多个特征聚合节点，所述多个特征聚合节点之间的操作元中包括第一类型操作元，所述第一类型操作元对应的第一操作空间中包含不依赖未来数据的指定操作；所述第一操作空间中的一种或者多种操作的组合用于实现所述第一类型操作元；所述指定操作为依赖上下文信息的神经网络操作；所述语音训练样本中包含语音样本，以及所述语音样本对应的语音识别标签。
文本输出模块，用于输出所述语音识别文本。
在一种可能的实现方式中，所述初始网络包含n个单元网络，所述n个单元网络中包含至少一个第一单元网络，所述第一单元网络中包含输入节点、输出节点、以及由所述第一类型操作元相连的至少一个所述特征聚合节点。
在一种可能的实现方式中，所述n个单元网络之间通过以下连接方式中的至少一种相连：
双链接方式、单链接方式、以及密集链接方式。
在一种可能的实现方式中，所述n个单元网络中包含至少一个第二单元网络，所述第二单元网络中包含输入节点、输出节点、以及由第二类型操作元相连的至少一个所述特征聚合节点；所述第二类型操作元对应的第二操作空间中包含依赖未来数据的所述指定操作；所述第二操作空间中的一种或者多种操作的组合用于实现所述第二类型操作元。
在一种可能的实现方式中，至少一个所述第一单元网络之间共享拓扑结构，或者，至少一个所述第一单元网络之间共享拓扑结构和网络参数；
至少一个所述第二单元网络之间共享拓扑结构，或者，至少一个所述第二单元网络之间共享拓扑结构和网络参数。
在一种可能的实现方式中，所述不依赖未来数据的指定操作是基于因果的所述指定操作；
或者，
所述不依赖未来数据的指定操作是基于掩膜的所述指定操作。
在一种可能的实现方式中，所述特征聚合节点用于对输入数据执行求和操作、拼接操作以及乘积操作中的至少一种。
在一种可能的实现方式中，所述指定操作包括卷及操作、池化操作、基于长短期记忆人工神经网LSTM络的操作、以及基于门控循环单元GRU的操作。
在一种可能的实现方式中，所述语音识别模型中包含声学模型以及解码图，所述声学模型是基于所述网络搜索模型构建的；
所述语音数据处理模块，用于，
通过所述声学模型对所述流式语音数据进行处理，获得所述流式语音数据的声学识别信息；所述声学识别信息包括音素、音节或者半音节；
通过所述解码图对所述流式语音数据的声学识别信息进行处理，获得所述语音识别文本。
又一方面，提供了一种语音识别装置，所述装置包括：
样本获取模块，用于获取语音训练样本，所述语音训练样本中包含语音样本，以及所述语音样本对应的语音识别标签；
网络搜索模块，用于基于所述语音训练样本，在初始网络进行神经网络结构搜索，获得网络搜索模型；所述初始网络中包含通过操作元相连的多个特征聚合节点，所述多个特征聚合节点之间的操作元中包括第一类型操作元，所述第一类型操作元对应的第一操作空间中包含不依赖未来数据的指定操作；所述第一操作空间中的一种或者多种操作的组合用于实现所述第一类型操作元；所述指定操作为依赖上下文信息的神经网络操作；
模型构建模块，用于基于所述网络搜索模型构建语音识别模型；所述语音识别模型用于对输入的流式语音数据进行处理，获得所述流式语音数据对应的语音识别文本。
在一种可能的实现方式中，所述语音识别标签包括所述语音样本的声学识别信息；所述声学识别信息包括音素、音节或者半音节；
所述模型构建模块，用于，
基于所述网络搜索模型构建声学模型；所述声学模型用于对所述流式语音数据进行处理，获得所述流式语音数据的声学识别信息；
基于所述声学模型以及所述解码图，构建所述语音识别模型。
再一方面，提供了一种计算机设备，所述计算机设备包含处理器和存储器，所述存储器中存储有至少一条计算机指令，所述至少一条计算机指令由所述处理器加载并执行以实现上述的语音识别方法。
又一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条计算机指令，所述至少一条计算机指令由处理器加载并执行以实现上述语音识别方法。
又一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述语音识别方法。
本申请提供的技术方案可以包括以下有益效果：
通过将初始网络中的第一类型操作元的操作空间中，需要依赖上下文信息的指定操作设置为不依赖未来数据的指定操作，然后对该初始网络进行神经网络结构搜索，以构建语音识别模型。由于模型中引入了不依赖未来数据的指定操作，且通过神经网络结构搜索可以搜索出准确性较高的模型结构，因此，通过上述方案，能够在保证语音识别的准确性的情况下，降低在流式语音识别场景下的识别时延，提高流式语音识别的效果。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是根据一示例性实施例示出的一种模型搜索及语音识别框架图；
图2是根据一示例性实施例示出的一种语音识别方法的流程示意图；
图3是根据一示例性实施例示出的一种语音识别方法的流程示意图；
图4是根据一示例性实施例示出的一种语音识别方法的流程示意图；
图5是图4所示实施例涉及的网络结构示意图；
图6是图4所示实施例涉及的卷积操作示意图；
图7是图4所示实施例涉及的另一种卷积操作示意图；
图8是图4所示实施例涉及的一种因果卷积的示意图；
图9是图4所示实施例涉及的另一种因果卷积的示意图；
图10是根据一示例性实施例示出的一种模型构建及语音识别框架示意图；
图11是根据一示例性实施例示出的一种语音识别装置的结构方框图；
图12是根据一示例性实施例示出的一种语音识别装置的结构方框图；
图13是根据一示例性实施例示出的一种计算机设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在对本申请所示的各个实施例进行说明之前，首先对本申请涉及到的几个概念进行介绍：
1)人工智能(Artificial Intelligence，AI)
人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
2)计算机视觉(Computer Vision，CV)
计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别(OpticalCharacter Recognition，OCR)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D(3Dimensional，三维)技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
3)机器学习(Machine Learning，ML)
机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
4)神经网络结构搜索(Neural Architecture Search，NAS)
神经网络结构搜索，是一种用算法来设计神经网络的策略，也就是在不确定网络的长度和结构的情况下，人为设定一定的搜索空间，并按照设计的搜索策略从搜索空间中寻找在验证集上表现最好的网络结构。
神经网络结构搜索技术从组成上包括搜索空间，搜索策略，评价预估三个部分，从实现上又分为基于强化学习的NAS，基于基因算法的NAS(也称为基于进化的NAS)，以及可微分的NAS(也称为基于梯度的NAS)。
基于强化学习的NAS使用一个循环神经网络作为控制器来产生子网络，再对子网络进行训练和评估，得到其网络性能(如准确率)，最后更新控制器的参数。然而，子网络的性能是不可导的，无法直接对控制器进行优化，只能采用强化学习的方式，基于策略梯度的方法更新控制器参数。然而受限于其离散优化的本质，这类方法太耗费计算资源，原因在于在该类NAS算法中，为了充分挖掘每个子网络的“潜力”，控制器每次采样一个子网络，都要初始化其网络权重从头训练然后验证其性能。对比之下，基于梯度优化的可微分NAS显示出了极大的效率优势。基于梯度优化的可微分NAS将整个搜索空间构建为一个超网(super-net)，然后将训练和搜索过程建模为双级优化(bi-level optimization)问题,它并不会单独采样一个子网再从头开始训练验证其性能，由于超网本身就是由子网集合组成因此其利用当前超网的准确率近似当前概率最大的子网的性能，因此其具有极高的搜索效率和性能，逐渐成为主流的神经网络结构搜索方法。
5)超网(super-network)
超网是在可微分NAS中包含所有可能的子网络的集合。开发人员可以设计一个大的搜索空间，这个搜索空间便组成一个超网，这个超网中包含多个子网，每个子网(sub-network)经过训练后都可以被评测性能指标，神经网络结构搜索需要做的便是从这些子网中找出性能指标最好的子网。
6)语音技术(Speech Technology，ST)
语音技术的关键技术有自动语音识别技术(AutomaticSpeechRecognition，ASR)和语音合成技术(Text To Speech，TTS)以及声纹识别技术。让计算机能听、能看、能说、能感觉，是未来人机交互的发展方向，其中语音成为未来最被看好的人机交互方式之一。
本申请实施例的方案包括模型搜索阶段和语音识别阶段。图1是根据一示例性实施例示出的一种模型搜索及语音识别框架图。如图1所示，在模型搜索阶段，模型训练设备110通过预先设置好的语音训练样本在预设的初始网络中进行神经网络结构搜索，基于搜索结果构建出准确度较高的语音识别模型，在语音识别阶段，语音识别设备120根据构建的语音识别模型以及输入的流式语音数据，识别出流式语音数据中的语音识别文本。
其中，上述初始网络可以是指神经网络结构搜索中的搜索空间或者超网。上述搜索出的语音识别模型可以是超网中的一个子网。
其中，上述模型训练设备110和语音识别设备120可以是具有机器学习能力的计算机设备，比如，该计算机设备可以是个人电脑、服务器等固定式计算机设备，或者，该计算机设备也可以是平板电脑、电子书阅读器等移动式计算机设备。
可选的，上述模型训练设备110和语音识别设备120可以是同一个设备，或者，模型训练设备110和语音识别设备120也可以是不同的设备。并且，当模型训练设备110和语音识别设备120是不同的设备时，模型训练设备110和语音识别设备120可以是同一类型的设备，比如模型训练设备110和语音识别设备120可以都是个人电脑；或者，模型训练设备110和语音识别设备120也可以是不同类型的设备。比如模型训练设备110可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。而语音识别设备120可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
在本申请各个实施例所示的方案中，上述模型训练设备通过在初始网络中进行神经网络结构搜索，并基于搜索结果构建得到的语音识别模型，其应用场景可以包括且不限于以下应用场景：
1、网络会议场景。
在跨国网络会议中，通常涉及到语音识别的应用，例如，对于流式的会议语音，通过语音识别模型识别出语音识别文本，并将语音识别文本展示在网络会议的显示屏中，在有需要的情况下，还可以对识别出的语音识别文本进行翻译后展示(比如，通过文字或者语音进行展示)。通过本申请涉及的语音识别模型，可以低延时的语音识别，从而满足网络会议场景中的即时语音识别。
2、视频/语音直播场景。
在网络直播中，也会涉及到语音识别的应用，例如，直播场景通常需要在直播画面中添加字幕。通常本申请涉及的语音识别模型，可以实现对直播流中的语音进行低延时的识别，从而能够尽快生成字幕并添加在直播数据流中，对于降低直播的时延有着很重要的意义。
3、即时翻译场景。
在很多会议中，当与会双方或多方使用不同的语言时，往往需要专门的翻译人员进行口译。通过本申请涉及的语音识别模型，可以实现对与会者发言的语音进行低延时的识别，从而快速展示识别出的文本并通过显示屏或者翻译后的语音进行展示，从而实现自动化的即时翻译。
请参考图2，其是根据一示例性实施例示出的一种语音识别方法的流程示意图。该方法可以由上述图1所示实施例中的语音识别设备执行。如图2所示，该语音识别方法可以包括如下步骤：
步骤21，接收流式语音数据。
步骤22，通过语音识别模型对该流式语音数据进行处理，获得该流式语音数据对应的语音识别文本；该语音识别模型是基于网络搜索模型构建的；该网络搜索模型是通过语音训练样本对初始网络进行神经网络结构搜索获得的；该初始网络中包含通过操作元相连的多个特征聚合节点，该多个特征聚合节点之间的操作元中包括第一类型操作元，该第一类型操作元对应的第一操作空间中包含不依赖未来数据的指定操作；该第一操作空间中的一种或者多种操作的组合用于实现该第一类型操作元；该指定操作为依赖上下文信息的神经网络操作；该语音训练样本中包含语音样本，以及该语音样本对应的语音识别标签。
其中，上述未来数据，是指在时域上位于当前识别的语音数据之后的其它语音数据。对于依赖未来数据的指定操作，通过该指定操作对当前语音数据进行识别时，需要等待未来数据到达，才能完成对当前语音数据的识别，这会导致一定的延时，且随着此类操作的增加，对当前语音数据完成识别的延时也会随之增加。
而对于不依赖未来数据的指定操作，通过该指定操作对当前语音数据进行识别时，不需要等待未来数据到达即可以完成对当前语音数据的识别，在此过程中不会引入等待未来数据而导致的延时。
在一种可能的实现方式中，上述不依赖未来数据的指定操作，是指在对语音数据进行特征处理过程中，基于当前语音数据，以及当前语音数据的历史数据即可以完成处理过程的操作。
步骤23，输出该语音识别文本。
综上所述，本申请实施例所示的方案，通过将初始网络中的第一类型操作元的操作空间中，需要依赖上下文信息的指定操作设置为不依赖未来数据的指定操作，然后对该初始网络进行神经网络结构搜索，以构建语音识别模型。由于模型中引入了不依赖未来数据的指定操作，且通过神经网络结构搜索可以搜索出准确性较高的模型结构，因此，通过上述方案，能够在保证语音识别的准确性的情况下，降低在流式语音识别场景下的识别时延，提高流式语音识别的效果。
请参考图3，图3是根据一示例性实施例示出的一种语音识别方法的流程示意图。该方法可以由上述图1所示实施例中的模型训练设备执行，该语音识别方法可以是基于神经网络结构搜索执行的方法。如图3所示，该语音识别方法可以包括如下步骤：
步骤31，获取语音训练样本，该语音训练样本中包含语音样本，以及该语音样本对应的语音识别标签。
步骤32，基于该语音训练样本，在初始网络进行神经网络结构搜索，获得网络搜索模型；该初始网络中包含通过操作元相连的多个特征聚合节点，该多个特征聚合节点之间的操作元中包括第一类型操作元，该第一类型操作元对应的第一操作空间中包含不依赖未来数据的指定操作；该第一操作空间中的一种或者多种操作的组合用于实现该第一类型操作元；该指定操作为依赖上下文信息的神经网络操作。
步骤33，基于该网络搜索模型构建语音识别模型；该语音识别模型用于对输入的流式语音数据进行处理，获得该流式语音数据对应的语音识别文本。
综上所述，本申请实施例所示的方案，通过将初始网络中的第一类型操作元的操作空间中，需要依赖上下文信息的指定操作设置为不依赖未来数据的指定操作，然后对该初始网络进行神经网络结构搜索，以构建语音识别模型。由于模型中引入了不依赖未来数据的指定操作，且通过神经网络结构搜索可以搜索出准确性较高的模型结构，因此，通过上述方案，能够在保证语音识别的准确性的情况下，降低在流式语音识别场景下的识别时延，提高流式语音识别的效果。
请参考图4，图4是根据一示例性实施例示出的一种语音识别方法的流程示意图。该方法可以由模型训练设备和语音识别设备执行，其中，该模型训练设备和语音识别设备可以实现为单个计算机设备，也可以分属于不同的计算机设备。如图4所示，该方法可以包括以下步骤：
步骤401，模型训练设备获取语音训练样本，该语音训练样本中包含语音样本，以及该语音样本对应的语音识别标签。
其中，语音训练样本是开发人员预先收集的样本集合，该语音训练样本中包含各个语音样本，以及语音样本对应的语音识别标签，该语音识别标签用于在后续的网络结构搜索过程中进行模型的训练和评估。
在一种可能的实现方式中，该语音识别标签包括该语音样本的声学识别信息；该声学识别信息包括音素、音节或者半音节。
其中，当本申请所示的方案中，通过对初始网络进行模型搜索的目的是构建准确性较高的声学模型时，该语音识别标签可以是与声学模型的输出结果相对应的信息，比如，音素、音节或者半音节等等。
在一种可能的实现方式中，上述语音样本可以预先切分为若干个带有重叠的短时语音片段(也称为语音帧)，每个语音帧对应有各自的音素、音节或半音节。例如，一般对于采样率为16K的语音，切分后一帧语音长度为25ms，帧间重叠为15ms，此过程也称为“分帧”。
步骤402，模型训练设备基于该语音训练样本，在初始网络进行神经网络结构搜索，获得网络搜索模型。
其中，该初始网络中包含通过操作元相连的多个特征聚合节点，该多个特征聚合节点之间的操作元中包括第一类型操作元，该第一类型操作元对应的第一操作空间中包含不依赖未来数据的指定操作；该第一操作空间中的一种或者多种操作的组合用于实现该第一类型操作元；该指定操作为依赖上下文信息的神经网络操作。
在本申请实施例中，上述第一操作空间中除了包含依赖上下文信息的指定操作之外，还可以包含不依赖上下文的操作，比如残差连接操作等，本申请实施例对于第一操作空间中包含的操作类型不做限定。
在一种可能的实现方式中，该初始网络包含n个单元网络，该n个单元网络中包含至少一个第一单元网络，该第一单元网络中包含输入节点、输出节点、以及由该第一类型操作元相连的至少一个该特征聚合节点。
在一个示例性的方案中，上述初始网络可以按照单元网络进行划分，每个单元网络包含输入节点和输出节点，以及输入节点和输出节点之间的一个或多个特征聚合节点。
其中，初始网络中的各个单元网络的搜索空间可以相同，也可以不同。
在一种可能的实现方式中，该n个单元网络之间通过以下连接方式中的至少一种相连：
双链接方式(bi-chain-styled)、单链接方式(chain-styled)、以及密集链接方式(densely-connected)。
在一个示例性的方案中，上述初始网络中的单元网络之间通过预先设置的链接方式相连，且不同的单元网络之间的链接方式可以相同，也可以不同。
在本申请实施例所示的方案中，对于初始网络中的各个单元网络之间的连接方式不做限定。
在一种可能的实现方式中，该n个单元网络中包含至少一个第二单元网络，该第二单元网络中包含输入节点、输出节点、以及由第二类型操作元相连的至少一个特征聚合节点；该第二类型操作元对应的第二操作空间中包含依赖未来数据的该指定操作；该第二操作空间中的一种或者多种操作的组合用于实现该第二类型操作元。
在本申请实施例中，除了上述不依赖未来信息(低延时/延时可控)的指定操作之外，初始网络的搜索空间中还可以包含一部分需要依赖未来信息(高延时/延时不可控)的指定操作，即上述依赖未来数据的指定操作。以保证在降低语音识别时延的同时，能够利用到当前语音数据的未来信息，从而保证语音识别的准确性。
在一种可能的实现方式中，至少一个该第一单元网络之间共享拓扑结构，或者，至少一个该第一单元网络之间共享拓扑结构和网络参数；至少一个该第二单元网络之间共享拓扑结构，或者，至少一个该第二单元网络之间共享拓扑结构和网络参数。
在一个示例性的方案中，当初始网络以单元网络进行划分，且分为两种或者两种以上不同的类型的单元网络时，为了降低网络搜索的复杂度，在搜索过程中，可以在同类型的单元网络中共享拓扑结构和网络参数。
在其它可能的实现方案中，在搜索过程中，可以在同类型的单元网络中共享拓扑结构，或者，共享网络参数。
在其它可能的实现方案中，也可以在同类型的单元网络中的部分单元网络之间共享拓扑结构和网络参数，例如，假设初始网络中包含4个第一单元网络，其中2个第一单元网络之间共享一套拓扑结构和网络参数，另外2个第一单元网络之间共享一套拓扑结构和网络参数。
在其它可能的实现方案中，初始网络中的各个单元网络也可以不共享网络参数。
在一种可能的实现方式中，该不依赖未来数据的指定操作是基于因果(causal)的指定操作；
或者，
该不依赖未来数据的指定操作是基于掩膜(mask-based)的指定操作。
其中，对于指定操作不依赖未来数据，可以通过因果方式实现，或者，也可以通过基于掩膜的方式实现。
在一种可能的实现方式中，该特征聚合节点用于对输入数据执行求和操作、拼接操作以及乘积操作中的至少一种。
在一个示例性的方案中，初始网络中的各个特征聚合节点对应的操作可以固定设置为一种操作，比如，固定设置为求和操作。
或者，在其它可能的实现方案中，上述特征聚合节点也可以分别设置为不同的操作，比如，部分特征聚合节点设置为求和操作，部分特征聚合节点设置为拼接操作。
或者，在其它可能的实现方案中，上述特征聚合节点也可以不固定为特定的操作，其中，各个特征聚合节点对应的操作可以在神经网络结构搜索过程中确定。
在一种可能的实现方式中，该指定操作包括卷积操作、池化操作、基于长短期记忆人工神经网(Long Short-Term Memory，LSTM)络的操作、以及基于门控循环单元(GatedRecurrent Unit，GRU)的操作。或者，上述指定操作也可以包含其他依赖上下文信息的卷积神经网络操作，本申请实施例对于指定操作的操作类型不做限定。
在本申请实施例中，模型训练设备基于初始网络进行神经网络结构搜索，以确定准确性较高的网络搜索模型，在上述搜索过程中，模型训练设备通过语音训练样本，对初始网络中的各个子网进行机器学习训练和评估，以确定初始网络中的特征聚合节点是否保留、保留的特征聚合节点之间的各个操作元是否保留、保留的操作元对应的操作类型、各个操作源以及特征聚合节点的参数等信息，以从初始网络中确定出拓扑结构合适且准确性满足要求的子网，作为搜索获得的网络搜索模型。
请参考图5，其示出了本申请实施例涉及的一种网络结构示意图。如图5所示，以基于cell结构的传统神经网络结构搜索(Neural Architecture Search，NAS)方法为例，图5给出了一种NasNet-based搜索空间的示意图，其中宏观(macro)部分51的cell(单元网络)之间的连接方式为bi-chain-styled方式，微观(micro)部分52的节点结构为op_type+connection。
本申请实施例所示的方案基于图5所示的拓扑结构，下文对于搜索空间的描述均以这种拓扑结构为例进行描述。其中，如图5所示，搜索空间的构建通常分为两步：宏观结构(macro architecture)和微观结构(micro architecture)。
其中，macro structure部分的链接方式为bi-chain-styled，每个cell的输入为前两个cell的输出，链接方式为固定的人工设计拓扑，不参与搜索；cell的层数是可变的，搜索阶段与评估阶段(基于已搜索到的结构)可以不一样，面向不同的任务时，cell的层数也可以不一样。
需要注意的是，有些NAS算中，macro structure的链接方式也可以参与搜索，即非固定的bi-chain-styled链接方式。
Micro structure为cell内的拓扑结构如图5所示，可以看做一个有向无环图。其中，节点in(1)、in(2)为cell的输入节点(node)，node1、node2、node3、node4为中间节点，对应上述特征聚合节点(数目是可变的)；每个节点的输入为前面所有节点的输出，即节点node1的输入为in(1)、in(2)，节点node2的输入为in(1)、in(2)、node1，以此类推；节点out为输出节点，其输入为所有中间节点的输出。
NAS算法基于上述初始模型中的链接关系，搜索出一个最佳的链接关系(即拓扑结构)。每两个节点之间预定义了一个固定的候选操作集合(即操作空间)，比如3x3convolution(卷积)、3x3 average pooling(平均池化)等操作，分别用于对节点的输入进行处理；候选操作对输入进行处理后预定义了一个summarization function集合(即各类特征聚合操作)，比如sum(求和)、concat(合并)、product(乘积)等函数。NAS算法在基于训练样本进行神经网络结构搜索时，基于所有候选操作/函数，保留一个最佳的候选操作/函数。需要注意的是，本方案中的应用实例可以固定summarization function＝sum函数，只对cell内的拓扑结构，以及候选操作进行搜索，下文搜索算法描述均为这种搜索空间为例进行介绍。可选的，上述summarization function也可以固定设置为其它函数，或者，summarization function也可以不固定设置。
在面向流式语音识别任务中，传统的NAS方法很难生成低延时的流式语音识别模型网络结构。以DARTS-based搜索空间为例，macro structure(宏观结构)设计为两种cell结构：
normal cell，输入和输出的时频域分辨率保持不变；以及，reduction cell，输出的时频域分辨率为输入的一半。
其中，reduction cell固定为2层，分别位于整个网络的1/3和2/3处，其他处均为normal cell。本申请实施例所示的应用实例，以macro structure与DARTS方法相同为例进行介绍，下文对于macro structure的描述均为上述拓扑结构，不再赘述。基于上述搜索空间，搜索算法生成最终的micro structure，其中normal cell共享同一个拓扑结构以及对应的操作，reduction cell共享同一个拓扑结构以及对应的操作。DARTS-based搜索空间内，卷积操作和池化操作都会依赖未来的信息(相对于当前时刻)，NAS算法生成的网络结构中normal cell和reduction cell分别产生固定的延时；针对不同的任务，normal cell的层数会进行改变，那么延时也会随之进行改变；基于上述原理，生成的网络结构延时会随着网络层数的增加而增加。为更加清晰地描述上述延时的概念，以生成的网络结构中normalcell的延时为4帧，reduction cell的延时为6帧为例，计算5层cells的网络延时＝4+6+2*(4+6+2*(4))＝46帧，算式中的数字2是由reduction cell中时频域分辨率减半而添加的乘法计算因子；进一步的，计算8层cells的网络延时＝(4+4)+6+2*((4+4)+6+2*(4+4))＝74帧，以此类推。显而易见，在增加cell的层数时，整个网络的延时也会快速增长。
为了清晰地理解NAS算法中语音的延时概念，下面以卷积神经网络中的卷积操作为例，介绍指定操作的实现过程。本申请实施例涉及的应用实例中，搜索空间是以卷积神经网络为主，输入的语音特征为feature map(可以理解为一幅图片)，即语音特征为FBank二阶差分特征(40-dimensional log Mel-filterbank features with the firstorder andthe second-order derivatives)，其中一阶和二阶差分特征分别对应到额外的通道(图片中的channel概念)中，语音特征的feature map，宽对应为频域分辨率(40维)，高对应为语音的长度(帧数)。
语音feature map经过传统的候选操作处理时，一般会依赖未来信息。请参考图6，其示出了本申请实施例涉及的一种卷积操作示意图。如图6所示，以3*3卷积操作为例，下侧第一行为输入(每一列为一帧)，中间为隐藏层(每一层经过一次3*3卷积操作)，上侧为输出，左侧有图案填充的圆点为padding(填充)帧，图6所示为应用3层3*3卷积操作的示意图，Output(输出)层无填充圆点为第一帧的输出，Input(输入)层实线箭头的覆盖范围为所有依赖的信息，即需要未来三帧输入信息。其他候选操作的逻辑类似，未来信息的依赖会随着隐藏层的增加而增加。更加直观地，请参考图7，其示出了本申请实施例涉及的另一种卷积操作示意图。如图7所示，输入的语音数据要经过两个隐层，第一个隐层包含一个3*3卷积操作，第二个隐层包含一个5*5卷积操作；第一个3*3卷积操作，需要使用历史的一帧信息和未来的一帧的信息，来计算当前帧的输出；第二个5*5卷积操作，输入为第一个隐层的输出，需要使用历史的两帧信息和未来的两帧的信息，来计算当前帧的输出。
基于以上介绍，传统的NAS方法很难去有效地控制搜索得到网络结构的延时，尤其是在大规模语音识别任务中，网络结构的cell层数更多，对应的延时呈线性增加。面向流式语音识别任务，针对传统NAS算法中存在的问题，本申请实施例提出了一种延时可控的(latency-controlled)NAS算法。不同于传统算法中的normal cell和reduction cell结构设计，本申请实施例所示的算法提出了一种延时可控(latency-controlled)cell结构，替代了其中的normal cell，即新算法的macro structure由latency-free cell和reductioncell二者组成。Latency-free cell结构为无时延结构设计，无论NAS算法最终搜索得到的micro structure是什么样的拓扑结构和候选操作，cell本身都不会产生时延。这种结构设计的优势是，搜索得到的网络结构在迁移到各种任务中时，增加和减少Latency-free cell的数目都不会改变整个网络的时延，其时延完全由固定数目的reduction cell确定。
在本申请实施例的应用实例中，latency-free cell结构设计的实现方案为，cell内的候选操作(即操作空间，例如卷积操作、池化操作等)设计为无时延的操作方式。
以卷积操作为例，无时延的设计方案可以为卷积操作由传统的卷积操作变为因果(causal)卷积。传统卷积的操作可以参考上述图6和图7，以及对应依赖未来信息的描述。请参考图8，其示出了本申请实施例涉及的一种因果卷积的示意图。如图8所示，因果卷积与普通卷积方式的不同之处在于，Output层白色填充的圆点的输出，对应Input层实线箭头的覆盖范围，即当前时刻的计算只依赖过去的信息，不会依赖未来的信息。除了卷积操作之外，其他对未来信息有依赖的候选操作(例如池化操作)，均可以采用上述类似的因果处理方法，也就是，对当前时刻的计算只依赖过去的信息。再例如，请参考图9，其示出了本申请实施例涉及的另一种因果卷积的示意图，如图9所示，与传统的操作进行对比，因果卷积的输入要经过两个隐层，第一个隐层包含一个3*3卷积操作，第二个隐层包含一个5*5卷积操作；第一个3*3卷积操作，需要使用历史的两帧信息，来计算当前帧的输出；第二个5*5卷积操作，输入为第一个隐层的输出，需要使用历史的四帧信息，来计算当前帧的输出。
本申请实施例提出的上述latency-controlled NAS算法，macro structure由latency-free cell和reduction cell组成，latency-free cell的micro structure由无时延的候选操作构成搜索空间。新算法搜索得到的神经网络结构，模型的时延只由固定数目的reduction cell确定，能够生成低延时的流式识别模型网络结构。
如前所述，本申请实施例中的应用实例是以bi-chain-styled cell结构为实现方案，可选的，也可以通过以下方式扩展至更多的结构：
1)Macro structure层面基于cell结构的设计，cell之间的链接方式还可以包含chain-styled、densely-connected等。
2)Macro structure层面上，结构的设计类似于cell结构。
3)Micro structure设计方向上，无时延的候选操作设计，本申请实施例的应用实例为因果方式，可选的，还可以通过mask-based的方式实现无时延的候选操作设计，例如，上述卷积操作可以实现为基于Pixel卷积神经网络的卷积操作。
步骤403，基于该网络搜索模型构建语音识别模型。
其中，该语音识别模型用于对输入的流式语音数据进行处理，获得该流式语音数据对应的语音识别文本。
其中，当本申请所示的方案中，通过对初始网络进行模型搜索的目的是构建准确性较高的声学模型时，模型训练设备可以基于该网络搜索模型构建声学模型；该声学模型用于对该流式语音数据进行处理，获得该流式语音数据的声学识别信息；然后基于该声学模型以及解码图，构建语音识别模型。
一个语音识别模型，通常包含声学模型和解码图，其中，声学模型用于从输入的语音数据中识别出声学识别信息，例如音素、音节等等，而解码图则用于根据声学模型识别出的声学识别信息，得到对应的识别文本。
其中，解码图通常包括且不限于音素/音节词典以及语言模型，其中，音素/音节词典通常包含字或词到音素/音节序列的映射。例如，输入一串音节序列串，音节词典可以输出对应的字或者词；通常来说，音素/音节词典与文本的领域无关，在不同的识别任务中为通用部分；语言模型通常由n-gram语言模型转换而来，语言模型用来计算一个句子出现的概率，其利用训练数据和统计学方法训练而来。通常来说，不同领域的文本，例如新闻和口语对话的文本，常用词和词间搭配存在较大的差异，因此，当进行不同领域的语音识别时，可以通过改变语言模型来实现适配。
本申请实施例提出的latency-controlled NAS算法，搜索得到的神经网络结构时延只由固定数目的reduction cell确定，模型结构迁移到各种语音识别应用方向时，迁移后的模型延时不会随着模型结构中cell层数的变化为变化，尤其是面向大规模语音识别任务，迁移后的模型结构非常复杂(cell层数很多)，传统的NAS算法很难对延时进行有效地控制。而新算法的设计，能够保证迁移后的模型结构延时固定，适应各种语音识别任务，包括大规模语音识别任务，本申请的应用实例，能够生成面向大规模语音识别任务的低延时流式识别模型网络结构。
步骤404，语音识别设备接收流式语音数据。
上述语音识别模型构建完成后，可以部署至语音识别设备，执行对流式语音进行识别的任务。在流式语音识别任务中，流式语音识别场景中的语音采集设备可以持续采集流式语音，并输入语音识别设备。
步骤405，语音识别设备通过语音识别模型对该流式语音数据进行处理，获得该流式语音数据对应的语音识别文本。
在一种可能的实现方式中，该语音识别模型中包含声学模型以及解码图，该声学模型是基于该网络搜索模型构建的；
语音识别设备可以通过该声学模型对该流式语音数据进行处理，获得该流式语音数据的声学识别信息；该声学识别信息包括音素、音节或者半音节；然后通过该解码图对该流式语音数据的声学识别信息进行处理，获得该语音识别文本。
在本申请实施例中，当上述语音识别模型中的声学模型是通过上述步骤中的神经网络结构搜索构建的模型时，在语音识别过程中，语音识别设备可以通过语音识别模型中的声学模型对流式语音数据进行处理，得到相应的音节或者音素等声学识别信息，然后将声学识别信息输入至由语音词典、语言模型等构成的解码图中进行解码，得到相应的语音识别文本。
步骤406，语音识别设备输出该语音识别文本。
在本申请实施例中，语音识别设备输出语音识别文本之后，该语音识别文本可以应用于后续的处理，例如，将语音识别文本或者其翻译文本作为字幕进行展示，或者，将语音识别文本的翻译文本转换为语音后进行播放等等。
综上所述，本申请实施例所示的方案，通过将初始网络中的第一类型操作元的操作空间中，需要依赖上下文信息的指定操作设置为不依赖未来数据的指定操作，然后对该初始网络进行神经网络结构搜索，以构建语音识别模型。由于模型中引入了不依赖未来数据的指定操作，且通过神经网络结构搜索可以搜索出准确性较高的模型结构，因此，通过上述方案，能够在保证语音识别的准确性的情况下，降低在流式语音识别场景下的识别时延，提高流式语音识别的效果。
以上述图4所示的方案应用于流式语音识别任务为例，请参考图10，其是根据一示例性实施例示出的一种模型构建及语音识别框架示意图。如图10所示：
在模型训练设备中，首先从操作空间存储器1011中读取预设的操作空间1012，并在样本集存储器中读取预设的语音训练样本(包括语音样本和对应的音节信息)，根据该预设的语音训练样本与该预设的操作空间1012，对预设的初始网络1013(比如上述图5所示的网络)进行神经网络结构搜索，获得网络搜索模型1014。
然后，模型训练设备基于网络搜索模型1014构建声学模型1015，该声学模型1015的输入可以为语音数据以及语音数据的历史识别结果对应的音节，输出为预测的当前语音数据的音节。
模型训练设备基于上述声学模型1015，以及预先设置好的解码图1016，构建语音识别模型1017，并将语音识别模型1017部署至语音识别设备中。
在语音识别设备中，语音识别设备获取语音采集设备采集到的流式语音数据1018，并对流式语音数据1018进行切分后，将切分得到的各个语音帧输入到语音识别模型1017中，由语音识别模型1017进行识别得到语音识别文本1019，并输出该语音识别文本1019，以便对语音识别文本1019执行展示/翻译/自然语言处理等操作。
图11是根据一示例性实施例示出的一种语音识别装置的结构方框图。该语音识别装置可以实现由图2或图4所示实施例提供的方法中的全部或部分步骤，该语音识别装置包括：
语音数据接收模块1101，用于接收流式语音数据。
语音数据处理模块1102，用于通过语音识别模型对所述流式语音数据进行处理，获得所述流式语音数据对应的语音识别文本；所述语音识别模型是基于网络搜索模型构建的；所述网络搜索模型是通过语音训练样本对初始网络进行神经网络结构搜索获得的；所述初始网络中包含通过操作元相连的多个特征聚合节点，所述多个特征聚合节点之间的操作元中包括第一类型操作元，所述第一类型操作元对应的第一操作空间中包含不依赖未来数据的指定操作；所述第一操作空间中的一种或者多种操作的组合用于实现所述第一类型操作元；所述指定操作为依赖上下文信息的神经网络操作；所述语音训练样本中包含语音样本，以及所述语音样本对应的语音识别标签。
文本输出模块1103，用于输出所述语音识别文本。
在一种可能的实现方式中，所述初始网络包含n个单元网络，所述n个单元网络中包含至少一个第一单元网络，所述第一单元网络中包含输入节点、输出节点、以及由所述第一类型操作元相连的至少一个所述特征聚合节点。
在一种可能的实现方式中，所述n个单元网络之间通过以下连接方式中的至少一种相连：
双链接方式、单链接方式、以及密集链接方式。
在一种可能的实现方式中，所述n个单元网络中包含至少一个第二单元网络，所述第二单元网络中包含输入节点、输出节点、以及由第二类型操作元相连的至少一个所述特征聚合节点；所述第二类型操作元对应的第二操作空间中包含依赖未来数据的所述指定操作；所述第二操作空间中的一种或者多种操作的组合用于实现所述第二类型操作元。
在一种可能的实现方式中，至少一个所述第一单元网络之间共享拓扑结构和网络参数，且至少一个所述第二单元网络之间共享拓扑结构和网络参数。
在一种可能的实现方式中，所述不依赖未来数据的指定操作是基于因果的所述指定操作；
或者，
所述不依赖未来数据的指定操作是基于掩膜的所述指定操作。
在一种可能的实现方式中，所述特征聚合节点用于对输入数据执行求和操作、拼接操作以及乘积操作中的至少一种。
在一种可能的实现方式中，所述指定操作包括卷及操作、池化操作、基于长短期记忆人工神经网LSTM络的操作、以及基于门控循环单元GRU的操作。
在一种可能的实现方式中，所述语音识别模型中包含声学模型以及解码图，所述声学模型是基于所述网络搜索模型构建的；
所述语音数据处理模块1102，用于，
通过所述声学模型对所述流式语音数据进行处理，获得所述流式语音数据的声学识别信息；所述声学识别信息包括音素、音节或者半音节；
通过所述解码图对所述流式语音数据的声学识别信息进行处理，获得所述语音识别文本。
综上所述，本申请实施例所示的方案，通过将初始网络中的第一类型操作元的操作空间中，需要依赖上下文信息的指定操作设置为不依赖未来数据的指定操作，然后对该初始网络进行神经网络结构搜索，以构建语音识别模型。由于模型中引入了不依赖未来数据的指定操作，且通过神经网络结构搜索可以搜索出准确性较高的模型结构，因此，通过上述方案，能够在保证语音识别的准确性的情况下，降低在流式语音识别场景下的识别时延，提高流式语音识别的效果。
图12是根据一示例性实施例示出的一种语音识别装置的结构方框图。该语音识别装置可以实现由图3或图4所示实施例提供的方法中的全部或部分步骤，该语音识别装置包括：
样本获取模块1201，用于获取语音训练样本，所述语音训练样本中包含语音样本，以及所述语音样本对应的语音识别标签；
网络搜索模块1202，用于基于所述语音训练样本，在初始网络进行神经网络结构搜索，获得网络搜索模型；所述初始网络中包含通过操作元相连的多个特征聚合节点，所述多个特征聚合节点之间的操作元中包括第一类型操作元，所述第一类型操作元对应的第一操作空间中包含不依赖未来数据的指定操作；所述第一操作空间中的一种或者多种操作的组合用于实现所述第一类型操作元；所述指定操作为依赖上下文信息的神经网络操作；
模型构建模块1203，用于基于所述网络搜索模型构建语音识别模型；所述语音识别模型用于对输入的流式语音数据进行处理，获得所述流式语音数据对应的语音识别文本。
在一种可能的实现方式中，所述语音识别标签包括所述语音样本的声学识别信息；所述声学识别信息包括音素、音节或者半音节；
所述模型构建模块1203，用于，
基于所述网络搜索模型构建声学模型；所述声学模型用于对所述流式语音数据进行处理，获得所述流式语音数据的声学识别信息；
基于所述声学模型以及所述解码图，构建所述语音识别模型。
综上所述，本申请实施例所示的方案，通过将初始网络中的第一类型操作元的操作空间中，需要依赖上下文信息的指定操作设置为不依赖未来数据的指定操作，然后对该初始网络进行神经网络结构搜索，以构建语音识别模型。由于模型中引入了不依赖未来数据的指定操作，且通过神经网络结构搜索可以搜索出准确性较高的模型结构，因此，通过上述方案，能够在保证语音识别的准确性的情况下，降低在流式语音识别场景下的识别时延，提高流式语音识别的效果。
图13是根据一示例性实施例示出的一种计算机设备的结构示意图。该计算机设备可以实现为上述各个方法实施例中的模型训练设备和/或语音识别设备。所述计算机设备1300包括中央处理单元1301、包括随机存取存储器(Random Access Memory，RAM)1302和只读存储器(Read-Only Memory，ROM)1303的系统存储器1304，以及连接系统存储器1304和中央处理单元1301的系统总线1305。所述计算机设备1300还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统1306，和用于存储操作系统1313、应用程序1314和其他程序模块1315的大容量存储设备1307。
所述大容量存储设备1307通过连接到系统总线1305的大容量存储控制器(未示出)连接到中央处理单元1301。所述大容量存储设备1307及其相关联的计算机可读介质为计算机设备1300提供非易失性存储。也就是说，所述大容量存储设备1307可以包括诸如硬盘或者光盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)驱动器之类的计算机可读介质(未示出)。
不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、闪存或其他固态存储其技术，CD-ROM、或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1304和大容量存储设备1307可以统称为存储器。
计算机设备1300可以通过连接在所述系统总线1305上的网络接口单元1311连接到互联网或者其它网络设备。
所述存储器还包括至少一条计算机指令，所述至少一条计算机指令存储于存储器中，处理器通过加载并执行该至少一条计算机指令来实现图2、图3或图4所示的方法的全部或者部分步骤。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括计算机程序(指令)的存储器，上述程序(指令)可由计算机设备的处理器执行以完成本申请各个实施例所示的方法。例如，所述非临时性计算机可读存储介质可以是只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各个实施例所示的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (15)

1.一种语音识别方法，其特征在于，所述方法包括：
接收流式语音数据；
通过语音识别模型对所述流式语音数据进行处理，获得所述流式语音数据对应的语音识别文本；所述语音识别模型是基于网络搜索模型构建的；所述网络搜索模型是通过语音训练样本对初始网络进行神经网络结构搜索获得的；所述初始网络中包含通过操作元相连的多个特征聚合节点，所述多个特征聚合节点之间的操作元中包括第一类型操作元，所述第一类型操作元对应的第一操作空间中包含不依赖未来数据的指定操作；所述第一操作空间中的一种或者多种操作的组合用于实现所述第一类型操作元；所述指定操作为依赖上下文信息的神经网络操作；所述语音训练样本中包含语音样本，以及所述语音样本对应的语音识别标签；
输出所述语音识别文本。
2.根据权利要求1所述的方法，其特征在于，所述初始网络包含n个单元网络，所述n个单元网络中包含至少一个第一单元网络，所述第一单元网络中包含输入节点、输出节点、以及由所述第一类型操作元相连的至少一个所述特征聚合节点。
3.根据权利要求2所述的方法，其特征在于，所述n个单元网络之间通过以下连接方式中的至少一种相连：
双链接方式、单链接方式、以及密集链接方式。
4.根据权利要求2所述的方法，其特征在于，所述n个单元网络中包含至少一个第二单元网络，所述第二单元网络中包含输入节点、输出节点、以及由第二类型操作元相连的至少一个所述特征聚合节点；所述第二类型操作元对应的第二操作空间中包含依赖未来数据的所述指定操作；所述第二操作空间中的一种或者多种操作的组合用于实现所述第二类型操作元。
5.根据权利要求4所述的方法，其特征在于，
至少一个所述第一单元网络之间共享拓扑结构，或者，至少一个所述第一单元网络之间共享拓扑结构和网络参数；
至少一个所述第二单元网络之间共享拓扑结构，或者，至少一个所述第二单元网络之间共享拓扑结构和网络参数。
6.根据权利要求1所述的方法，其特征在于，
所述不依赖未来数据的指定操作是基于因果的所述指定操作；
或者，
所述不依赖未来数据的指定操作是基于掩膜的所述指定操作。
7.根据权利要求1所述的方法，其特征在于，所述特征聚合节点用于对输入数据执行求和操作、拼接操作以及乘积操作中的至少一种。
8.根据权利要求1至7任一所述的方法，其特征在于，所述指定操作包括卷及操作、池化操作、基于长短期记忆人工神经网LSTM络的操作、以及基于门控循环单元GRU的操作。
9.根据权利要求1至7任一所述的方法，其特征在于，所述语音识别模型中包含声学模型以及解码图，所述声学模型是基于所述网络搜索模型构建的；
所述通过语音识别模型对所述流式语音数据进行处理，获得所述流式语音数据对应的语音识别文本，包括：
通过所述声学模型对所述流式语音数据进行处理，获得所述流式语音数据的声学识别信息；所述声学识别信息包括音素、音节或者半音节；
通过所述解码图对所述流式语音数据的声学识别信息进行处理，获得所述语音识别文本。
10.一种语音识别方法，其特征在于，所述方法包括：
获取语音训练样本，所述语音训练样本中包含语音样本，以及所述语音样本对应的语音识别标签；
基于所述语音训练样本，在初始网络进行神经网络结构搜索，获得网络搜索模型；所述初始网络中包含通过操作元相连的多个特征聚合节点，所述多个特征聚合节点之间的操作元中包括第一类型操作元，所述第一类型操作元对应的第一操作空间中包含不依赖未来数据的指定操作；所述第一操作空间中的一种或者多种操作的组合用于实现所述第一类型操作元；所述指定操作为依赖上下文信息的神经网络操作；
基于所述网络搜索模型构建语音识别模型；所述语音识别模型用于对输入的流式语音数据进行处理，获得所述流式语音数据对应的语音识别文本。
11.根据权利要求10所述的方法，其特征在于，所述语音识别标签包括所述语音样本的声学识别信息；所述声学识别信息包括音素、音节或者半音节；
所述基于所述网络搜索模型构建语音识别模型，包括：
基于所述网络搜索模型构建声学模型；所述声学模型用于对所述流式语音数据进行处理，获得所述流式语音数据的声学识别信息；
基于所述声学模型以及所述解码图，构建所述语音识别模型。
12.一种语音识别装置，其特征在于，所述装置包括：
语音数据接收模块，用于接收流式语音数据；
语音数据处理模块，用于通过语音识别模型对所述流式语音数据进行处理，获得所述流式语音数据对应的语音识别文本；所述语音识别模型是基于网络搜索模型构建的；所述网络搜索模型是通过语音训练样本对初始网络进行神经网络结构搜索获得的；所述初始网络中包含通过操作元相连的多个特征聚合节点，所述多个特征聚合节点之间的操作元中包括第一类型操作元，所述第一类型操作元对应的第一操作空间中包含不依赖未来数据的指定操作；所述第一操作空间中的一种或者多种操作的组合用于实现所述第一类型操作元；所述指定操作为依赖上下文信息的神经网络操作；所述语音训练样本中包含语音样本，以及所述语音样本对应的语音识别标签；
文本输出模块，用于输出所述语音识别文本。
13.一种语音识别装置，其特征在于，所述装置包括：
样本获取模块，用于获取语音训练样本，所述语音训练样本中包含语音样本，以及所述语音样本对应的语音识别标签；
网络搜索模块，用于基于所述语音训练样本，在初始网络进行神经网络结构搜索，获得网络搜索模型；所述初始网络中包含通过操作元相连的多个特征聚合节点，所述多个特征聚合节点之间的操作元中包括第一类型操作元，所述第一类型操作元对应的第一操作空间中包含不依赖未来数据的指定操作；所述第一操作空间中的一种或者多种操作的组合用于实现所述第一类型操作元；所述指定操作为依赖上下文信息的神经网络操作；
模型构建模块，用于基于所述网络搜索模型构建语音识别模型；所述语音识别模型用于对输入的流式语音数据进行处理，获得所述流式语音数据对应的语音识别文本。
14.一种计算机设备，其特征在于，所述计算机设备包含处理器和存储器，所述存储器中存储有至少一条计算机指令，所述至少一条计算机指令由所述处理器加载并执行以实现如权利要求1至11任一所述的语音识别方法。
15.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条计算机指令，所述至少一条计算机指令由处理器加载并执行以实现如权利要求1至11任一所述的语音识别方法。
CN202110036471.8A 2021-01-12 2021-01-12 语音识别方法、装置、计算机设备及存储介质 Active CN113516972B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110036471.8A CN113516972B (zh) 2021-01-12 2021-01-12 语音识别方法、装置、计算机设备及存储介质
PCT/CN2022/070388 WO2022152029A1 (zh) 2021-01-12 2022-01-05 语音识别方法、装置、计算机设备及存储介质
JP2023524506A JP2023549048A (ja) 2021-01-12 2022-01-05 音声認識方法と装置並びにコンピュータデバイス及びコンピュータプログラム
US17/987,287 US20230075893A1 (en) 2021-01-12 2022-11-15 Speech recognition model structure including context-dependent operations independent of future data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110036471.8A CN113516972B (zh) 2021-01-12 2021-01-12 语音识别方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN113516972A true CN113516972A (zh) 2021-10-19
CN113516972B CN113516972B (zh) 2024-02-13

Family

ID=78060908

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110036471.8A Active CN113516972B (zh) 2021-01-12 2021-01-12 语音识别方法、装置、计算机设备及存储介质

Country Status (4)

Country Link
US (1) US20230075893A1 (zh)
JP (1) JP2023549048A (zh)
CN (1) CN113516972B (zh)
WO (1) WO2022152029A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022152029A1 (zh) * 2021-01-12 2022-07-21 腾讯科技（深圳）有限公司 语音识别方法、装置、计算机设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115937526B (zh) * 2023-03-10 2023-06-09 鲁东大学 基于搜索识别网络的双壳贝类性腺区域分割方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013214016A (ja) * 2012-04-04 2013-10-17 Nippon Telegr & Teleph Corp <Ntt> 音響モデル性能評価装置とその方法とプログラム
US20190043496A1 (en) * 2017-09-28 2019-02-07 Intel Corporation Distributed speech processing
CN110288084A (zh) * 2019-06-06 2019-09-27 北京小米智能科技有限公司 超网络训练方法和装置
CN110599999A (zh) * 2019-09-17 2019-12-20 寇晓宇 数据交互方法、装置和机器人
CN111582453A (zh) * 2020-05-09 2020-08-25 北京百度网讯科技有限公司 生成神经网络模型的方法和装置
CN111968635A (zh) * 2020-08-07 2020-11-20 北京小米松果电子有限公司 语音识别的方法、装置及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010204274A (ja) * 2009-03-02 2010-09-16 Toshiba Corp 音声認識装置、その方法及びそのプログラム
US9460711B1 (en) * 2013-04-15 2016-10-04 Google Inc. Multilingual, acoustic deep neural networks
CN109036391B (zh) * 2018-06-26 2021-02-05 华为技术有限公司 语音识别方法、装置及系统
CN109448707A (zh) * 2018-12-18 2019-03-08 北京嘉楠捷思信息技术有限公司 一种语音识别方法及装置、设备、介质
CN110930980B (zh) * 2019-12-12 2022-08-05 思必驰科技股份有限公司 一种中英文混合语音的声学识别方法及系统
CN112185352B (zh) * 2020-08-31 2024-05-17 华为技术有限公司 语音识别方法、装置及电子设备
CN113516972B (zh) * 2021-01-12 2024-02-13 腾讯科技（深圳）有限公司 语音识别方法、装置、计算机设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013214016A (ja) * 2012-04-04 2013-10-17 Nippon Telegr & Teleph Corp <Ntt> 音響モデル性能評価装置とその方法とプログラム
US20190043496A1 (en) * 2017-09-28 2019-02-07 Intel Corporation Distributed speech processing
CN110288084A (zh) * 2019-06-06 2019-09-27 北京小米智能科技有限公司 超网络训练方法和装置
CN110599999A (zh) * 2019-09-17 2019-12-20 寇晓宇 数据交互方法、装置和机器人
CN111582453A (zh) * 2020-05-09 2020-08-25 北京百度网讯科技有限公司 生成神经网络模型的方法和装置
CN111968635A (zh) * 2020-08-07 2020-11-20 北京小米松果电子有限公司 语音识别的方法、装置及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AHMED BARUWA: "Leveraging End-to-End Speech Recognition with Neural Architecture Search", 《ARXIV:1912.05946V1》 *
宋丹丹: "基于二值化网络实现的自适应语音处理芯片算法", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022152029A1 (zh) * 2021-01-12 2022-07-21 腾讯科技（深圳）有限公司 语音识别方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
JP2023549048A (ja) 2023-11-22
US20230075893A1 (en) 2023-03-09
CN113516972B (zh) 2024-02-13
WO2022152029A1 (zh) 2022-07-21

Similar Documents

Publication Publication Date Title
CN111930992B (zh) 神经网络训练方法、装置及电子设备
CN113762322B (zh) 基于多模态表示的视频分类方法、装置和设备及存储介质
CN111400601B (zh) 一种视频推荐的方法及相关设备
US20230143452A1 (en) Method and apparatus for generating image, electronic device and storage medium
CN110234018A (zh) 多媒体内容描述生成方法、训练方法、装置、设备及介质
CN117033609B (zh) 文本视觉问答方法、装置、计算机设备和存储介质
US20230075893A1 (en) Speech recognition model structure including context-dependent operations independent of future data
CN113792871A (zh) 神经网络训练方法、目标识别方法、装置和电子设备
CN114238690A (zh) 视频分类的方法、装置及存储介质
CN113011320B (zh) 视频处理方法、装置、电子设备及存储介质
CN115223020A (zh) 图像处理方法、装置、电子设备以及可读存储介质
CN113673613A (zh) 基于对比学习的多模态数据特征表达方法、装置及介质
CN114282055A (zh) 视频特征提取方法、装置、设备及计算机存储介质
CN115131801A (zh) 基于多模态的文档识别方法、装置、设备和存储介质
CN116913278B (zh) 语音处理方法、装置、设备和存储介质
CN113870863A (zh) 声纹识别方法及装置、存储介质及电子设备
CN113762056A (zh) 演唱视频识别方法、装置、设备及存储介质
CN116977903A (zh) 一种通过文本智能生成短视频的aigc方法
CN116975347A (zh) 图像生成模型训练方法及相关装置
CN110517335B (zh) 一种动态纹理视频生成方法、装置、服务器及存储介质
CN115130461A (zh) 一种文本匹配方法、装置、电子设备及存储介质
CN114238587A (zh) 阅读理解方法、装置、存储介质及计算机设备
CN115294333B (zh) 一种图像处理方法、相关设备、存储介质及程序产品
CN114360511B (zh) 语音识别及模型训练方法与装置
CN117012200A (zh) 语音识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40053949

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant