CN113066508A - 语音内容的处理方法、装置、设备及可读存储介质 - Google Patents

语音内容的处理方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN113066508A
CN113066508A CN202110276346.4A CN202110276346A CN113066508A CN 113066508 A CN113066508 A CN 113066508A CN 202110276346 A CN202110276346 A CN 202110276346A CN 113066508 A CN113066508 A CN 113066508A
Authority
CN
China
Prior art keywords
processing
quantization
data format
output
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110276346.4A
Other languages
English (en)
Inventor
李晋
马龙
张力
张晓明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110276346.4A priority Critical patent/CN113066508A/zh
Publication of CN113066508A publication Critical patent/CN113066508A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本申请公开了一种语音内容的处理方法、装置、设备及可读存储介质，涉及机器学习领域。该方法包括：获取语音内容；对语音内容进行特征提取，得到第一数据格式的音频特征；对音频特征进行动态量化得到第二数据格式的量化特征，第一数据格式的数据位数大于第二数据格式的数据位数；将量化特征输入至语音处理模型，输出得到内容处理结果。通过将语音处理模型中的模型参数从第一数据格式量化至第二数据格式，且在进行音频特征处理之前首先将音频特征量化至第二数据格式，由于第一数据格式的数据位数大于第二数据格式的数据位数，从而减小了语音处理模型整体的数据占用量，减小了语音处理模型在移动设备中的外存(如flash)和内存占用情况。

Description

语音内容的处理方法、装置、设备及可读存储介质
技术领域
本申请实施例涉及机器学习领域，特别涉及一种语音内容的处理方法、装置、设备及可读存储介质。
背景技术
随着机器学习领域的快速发展，对于在移动设备端使用离线神经网络的需求增大，如：在离线场景下，使用移动设备端的神经网络模型进行语音检测，从而对移动设备进行唤醒，而神经网络算法的发展导致神经网络对计算和内存的要求越来越大，以至于移动设备的计算能力和内存空间无法承受。
相关技术中，以语音识别场景为例，通常利用神经网络TensorFlow和Pytorch框架训练声学模型，嵌入到语音框架Kaldi中，从而实现对声学模型的量化。
然而，上述方式的实现成本较大，TensorFlow和Pytorch框架缺少语音解码器相关的技术，即使融合到语音框架Kaldi中，由于融合了两种框架，势必内存占用会增加，改造、维护成本也较大。
发明内容
本申请实施例提供了一种语音内容的处理方法、装置、设备及可读存储介质，能够加速神经网络对语音内容处理的推理速度，降低中央处理器(Central Processing Unit，CPU)占用，并减小移动设备端语音处理模型的内存占用。所述技术方案如下：
一方面，提供了一种语音内容的处理方法，所述方法包括：
获取语音内容，所述语音内容为待处理的内容；
对所述语音内容进行特征提取，得到音频特征，所述音频特征对应第一数据格式；
对所述音频特征进行动态量化处理后得到量化特征，所述量化特征对应第二数据格式，所述第一数据格式对应的数据位数大于所述第二数据格式对应的数据位数；
将所述量化特征输入至语音处理模型，输出得到内容处理结果，所述语音处理模型中包括第一模型参数，所述第一模型参数对应所述第二数据格式，所述第一模型参数是由第二模型参数经过量化得到的参数，所述第二模型参数对应所述第一数据格式。
另一方面，提供了一种语音内容的处理装置，所述装置包括：
获取模块，用于获取语音内容，所述语音内容为待处理的内容；
提取模块，用于对所述语音内容进行特征提取，得到音频特征，所述音频特征对应第一数据格式；
处理模块，用于对所述音频特征进行动态量化处理后得到量化特征，所述量化特征对应第二数据格式，所述第一数据格式对应的数据位数大于所述第二数据格式对应的数据位数；
所述处理模块，还用于将所述量化特征输入至语音处理模型，输出得到内容处理结果，所述语音处理模型中包括第一模型参数，所述第一模型参数对应所述第二数据格式，所述第一模型参数是由第二模型参数经过量化得到的参数，所述第二模型参数对应所述第一数据格式。
另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一段程序，所述至少一段程序由所述处理器加载并执行以实现如上述本申请实施例中任一所述的语音内容的处理方法。
另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述本申请实施例中任一所述的语音内容的处理方法。
另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中任一所述的语音内容的处理方法。
本申请实施例提供的技术方案带来的有益效果至少包括：
通过将语音处理模型中的模型参数从第一数据格式量化至第二数据格式，且在进行音频特征处理之前首先将音频特征量化至第二数据格式，由于第一数据格式的数据位数大于第二数据格式的数据位数，从而减小了语音处理模型整体的数据占用量，减小了语音处理模型在移动设备中的外存(如flash)和内存占用情况，在确保语音处理准确度的基础上减少资源消耗，实现在移动设备上的灵活应用。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个示例性实施例提供的实施环境的示意图；
图2是本申请一个示例性实施例提供的语音内容处理框架的示意图；
图3是本申请一个示例性实施例提供的语音内容的处理方法的流程图；
图4是本申请另一个示例性实施例提供的语音内容的处理方法的流程图；
图5是本申请一个示例性实施例提供的神经元节点输入输出示意图；
图6是本申请另一个示例性实施例提供的语音内容的处理方法的流程图；
图7是基于图6示出的实施例提供的输入层特征处理过程示意图；
图8是基于图6示出的实施例提供的中间层特征处理过程示意图；
图9是基于图6示出的实施例提供的输出层特征处理过程示意图；
图10是本申请一个示例性实施例提供的矩阵分块方式示意图；
图11是本申请一个示例性实施例提供的语音内容的处理装置的结构框图；
图12是本申请另一个示例性实施例提供的语音内容的处理装置的结构框图；
图13是本申请一个示例性实施例提供的计算机设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
首先，针对本申请实施例中涉及的名词进行简单介绍：
人工智能(Artificial Intelligence，AI)：是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请实施例中，主要涉及语音处理技术，针对语音内容进行处理，示意性的，采集语音内容后，对语音内容进行文本识别、语义识别、唤醒词识别等，本申请实施例对语音内容处理的实际应用场景不加以限定。
机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
语音技术(Speech Technology)的关键技术有自动语音识别技术(AutomaticSpeech Recognition，ASR)和语音合成技术(Text to Speech，TTS)以及声纹识别技术。让计算机能听、能看、能说、能感觉，是未来人机交互的发展方向，其中语音成为未来最被看好的人机交互方式之一。
自然语言处理(Nature Language Processing，NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
语音内容处理：是指通过神经网络模型对语音内容进行指定方向的处理的过程，示意性的，ASR是指将人的语音转换为文本的技术，TTS是指通过文本生成语音的技术。神经网络模型中对应有模型参数，模型参数是使用通用变量建立函数和变量之间的关系的参数，本申请实施例提供的神经网络模型中，模型参数实现为实数矩阵。
神经网络量化：是指通过对神经网络模型中的模型参数进行量化，从而减小神经网络模型在设备中的外存和内存占用的技术，神经网络模型的计算通常是以单精度浮点型(Floating-point 32，FP32)为基础，而神经网络算法的发展导致神经网络模型对计算和内存的需求越来越大，以至于移动设备的算力条件和内存条件无法支持神经网络模型的计算。神经网络量化是指使用低精度表示神经网络模型中的模型参数，如：权重/偏置，以便在算力较低的移动设备上也能够进行实时推理运算。
相关技术中，神经网络框架TensorFlow、Pytorch都集成了神经网络压缩和量化技术，已广泛应用于计算机视觉技术(Computer Vision，CV)、NLP等领域的深度学习；但对于ASR、TTS等交叉学科领域，由于工业界主要使用其领域流行的Kaldi框架，因此，在移动端部署时，目前还没有相应的模型压缩和量化技术。
图1是本申请一个示例性实施例提供的实施环境的示意图，如图1所示，该实施环境中包括终端110和服务器120，其中，终端110和服务器120之间通过通信网络130连接。
该实施环境包括如下场景中的至少一种：
第一，在离线场景中，终端110中存储有第一语音处理模型，由于终端110的算力和存储能力相对服务器120较小，该第一语音处理模型为经过量化处理后得到的神经网络模型。在终端110通过音频采集模块采集得到语音内容后，通过第一语音处理模型对语音内容进行处理，如：第一语音处理模型用于进行语音识别，则通过第一语音处理模型对采集得到的语音内容进行识别，并输出得到语音识别结果。
第二，在线场景中，终端110中存储有第一语音处理模型，服务器120中存储有第二语音处理模型，第一语音处理模型相对于第二语音处理模型为轻量级模型。在终端110通过音频采集模型采集得到语音内容后，通过第一语音处理模型对语音内容进行处理，得到第一处理结果，并将语音内容通过通信网络130发送至服务器120，由服务器120通过第二语音处理模型对语音内容进行处理，得到第二处理结果。最终结合第一处理结果和第二处理结果，输出得到最终的内容处理结果，如：通过第一处理结果和第二处理结果分别对应的置信度，从第一处理结果和第二处理结果中确定最终的内容处理结果。
其中，终端包括智能手机、平板电脑、便携式膝上笔记本电脑、台式计算机、智能音箱、智能可穿戴设备、智能人脸识别设备等终端中的至少一种，服务器可以是物理服务器，也可以是提供云计算服务的云服务器，且服务器可以实现为一台服务器，也可以是多个服务器构成的服务器集群或分布式系统。其中，当终端和服务器协同实现本申请实施例提供的方案时，终端和服务器可以通过有线或无线通信方式进行直接或间接连接，本申请实施例对此不加以限定。
示意性的，请参考图2，其示出了本申请一个示例性实施例提供的语音内容处理框架的示意图，如图2所示，该框架中包括：声学前端算法210、云端识别220、离线/云端语义信息230以及语音软件开发工具包240(Software Development Kit，SDK)。
声学前端算法210、语音SDK240以及离线/云端语义信息230中的离线语义信息实现在移动设备侧，云端识别220以及离线/云端语义信息230中的云端语义信息实现在云端。
移动设备通过麦克风阵列200采集得到语音内容后，通过声学前端算法210进行预处理，如：噪声/混响抑制、回声消除、声源定位等。
离线场景中，移动设备将预处理后的语音内容通过语音SDK240进行内容识别处理。其中包括如下情况中的至少一种：活动音检测241(Voice Activity Detection，VAD)，VAD后通过离线语音识别引擎242进行语音识别，或者VAD后通过自定义唤醒词唤醒引擎243进行唤醒词识别；通过固定唤醒词唤醒引擎244进行固定唤醒词识别。
在线场景中，移动设备将与处理后的语音内容发送至云端识别220，通过在线识别引擎221进行语音识别。在一些实施例中，云端识别220将识别得到的语音识别结果反馈至移动设备，移动设备结合离线识别结果和在线识别结果得到最终的语音识别结果。在一些实施例中，基于离线/云端语义信息230，结合离线识别结果和在线识别结果得到最终的语音识别结果。
其中，语义信息主要是为了落域，如：语音内容为“今天天气怎么样？”，则落域到天气查询领域，调取天气查询的结果；而离线语义为在离线场景中能够实现的语义识别，例如：语音内容为“调低亮度”，则执行对移动设备的显示亮度进行调低的操作。
结合上述说明，对本申请实施例的应用场景进行介绍。
移动设备具有语音处理模型，该语音处理模型中的模型参数为经过量化处理的模型参数，也即，在云端的语音处理模型中，模型参数通过单精度32位浮点数和双精度64位浮点数表示，而在移动设备的语音处理模型中，模型参数量化为低精度16位浮点数，或者16位整型，或者8位整型，或者4位整型，从而对模型进行压缩。
第一，移动设备唤醒的应用场景。
即语音处理模型用于进行语音内容识别，移动设备采集到的语音内容后，将语音内容输入至语音处理模型，并通过语音处理模型对语音内容进行识别，得并从识别得到的语音内容中搜索唤醒词，若搜索到唤醒移动设备对应的唤醒词时，将移动设备切换为唤醒状态，该唤醒状态是指用户能够直接对移动设备进行使用的状态。
第二，移动设备控制的应用场景。
即语音处理模型用于进行语音内容识别，移动设备采集到的语音内容后，将语音内容输入至语音处理模型，并通过语音处理模型对语音内容进行识别，并基于语音内容的识别结果识别得到语音内容的语义信息，从而基于语义信息对移动设备进行控制，如：语音内容为“调低亮度”，则执行对移动设备的显示亮度进行调低的操作。
值得注意的是，上述应用场景的举例中，以移动设备唤醒功能和移动设备控制功能为例进行说明，本申请提供的语音内容的处理方法还可以应用于其他需要对语音内容进行处理的应用场景中，本申请实施例对此不加以限定。
基于上述内容，对本申请实施例提供的语音内容的处理方法进行说明，图3是本申请一个示例性实施例提供的语音内容的处理方法的流程图，以该方法应用于终端中为例进行说明，如图3所示，该方法包括：
步骤301，获取语音内容。
语音内容为待处理的内容。
在一些实施例中，语音内容为终端通过音频采集模组采集得到的内容，示意性的，语音内容为终端通过麦克风阵列采集得到的内容。或者，在另一个实施例中，语音内容为终端本身存储的内容，则终端从存储器中获取该语音内容。
步骤302，对语音内容进行特征提取，得到音频特征，音频特征对应第一数据格式。
在一些实施例中，对语音内容进行特征提取包括如下情况中的任意一种：
第一，首先通过特征提取模型对语音内容进行特征提取，得到音频特征，再将提取得到的音频特征输入至语音处理模型进行语音处理。
也即，特征提取模型和语音处理模型实现为两个不同的神经网络模型，由特征提取模型提取得到音频特征后，通过语音处理模型对音频特征进行处理，从而得到处理结果。
第二，语音处理模型中包括特征提取层，通过特征提取层对语音内容进行特征提取，得到音频特征。
也即，语音处理模型实现为一个从特征提取至结果输出的整体模型，通过语音处理模型中的不同神经网络层实现不同的功能，其中，通过特征提取层对语音内容进行特征提取后，得到音频特征，通过特征处理层对音频特征进行处理后，通过结果输出层根据处理后的音频特征输出处理结果。
本申请实施例中，以首先对语音内容进行特征提取，从而将提取得到的音频特征输入至语音处理模型为例进行说明。
在一些实施例中，第一数据格式为单精度32位浮点型；或者，第一数据格式为双精度64位浮点型。
由于音频特征的数据格式所对应的数据位数较大，语音处理模型中在对第一数据格式的音频特征进行处理时，所设置的模型参数，如：权重/偏置也需要与第一数据格式对应，从而导致语音处理模型的内存占用较大。
步骤303，对音频特征进行动态量化处理后得到量化特征，量化特征对应第二数据格式。
其中，第一数据格式对应的数据位数大于第二数据格式对应的数据位数。示意性的，第一数据格式对应为单精度32位浮点型，或者双精度64位浮点型，第二数据格式对应为低精度16位浮点型，或者16位整型，或者8位整型，或者4位整型。
本申请实施例中，通过对经过训练的神经网络模型进行分析，得到如下结论：深度神经网络模型经过训练后，对噪声和较小的扰动鲁棒性较好，即使巧妙的对数据四舍五入，仍可得到一个相当准确的结果，因此使用低精度表示，对神经网络模型预测的准确度影响可以忽略；其次，如果将已训练完成模型的权重/偏置进行可视化，能够发现神经网络模型中每层的权重/偏置通常处于较小的范围，因此可以量化为低精度表示。
示意性的，音频特征对应的第一数据格式为32位浮点型，对音频特征进行量化处理，将32位浮点型量化为8位整型，则得到的量化特征对应的第二数据格式为8位整型。
在一些实施例中，对音频特征的量化过程中，首先确定量化等级，量化等级用于表示第一数据格式量化至第二数据格式时的量化比例；其次确定量化临界点，量化临界点表示第一数据格式量化至第二数据格式的临界参数；基于量化等级和量化临界点对音频特征进行动态量化处理，得到量化特征。
步骤304，将量化特征输入至语音处理模型，输出得到内容处理结果。
在一些实施例中，语音处理模型中包括第一模型参数，第一模型参数对应第二数据格式，第一模型参数是由第二模型参数经过量化得到的参数，第二模型参数对应第一数据格式。
在一些实施例中，第二模型参数为量化前的语音处理模型中训练得到的模型参数，示意性的，云端所存储的语音处理模型为初始语音处理模型，该初始语音处理模型中的模型参数为上述第二模型参数，第二模型参数为初始语音处理模型在训练过程中经过学习训练得到的模型参数，以第一数据格式为32位浮点型为例，则第二模型参数实现为32位浮点数。
对第二模型参数进行量化后，得到第二数据格式的第一模型参数，如：对32位浮点型的第二模型参数进行量化后，得到8位整型的第一模型参数，则模型占用的空间缩小至初始占用空间的1/4。示意性的，上述初始语音处理模型为量化前的模型，其中的第二模型参数为32位浮点数，占用内存空间为4MB，则在对第二模型参数量化为第一模型参数后的语音处理模型，占用内存空间约为1MB，减小了语音处理模型的外存和内存占用量。
综上所述，本实施例提供的语音内容的处理方法，通过将语音处理模型中的模型参数从第一数据格式量化至第二数据格式，且在进行音频特征处理之前首先将音频特征量化至第二数据格式，由于第一数据格式的数据位数大于第二数据格式的数据位数，从而减小了语音处理模型整体的数据占用量，减小了语音处理模型在移动设备中的外存(如flash)和内存占用情况，在确保语音处理准确度的基础上减少资源消耗，实现在移动设备上的灵活应用。
在一些实施例中，量化过程是通过量化等级和量化临界点计算实现的，图4是本申请另一个示例性实施例提供的语音内容的处理方法的流程图，以该方法应用于终端(如：移动设备)中为例进行说明，如图4所示，该方法包括：
步骤401，获取语音内容。
语音内容为待处理的内容。
在一些实施例中，语音内容为终端通过音频采集模组采集得到的内容，示意性的，语音内容为终端通过麦克风阵列采集得到的内容。
步骤402，对语音内容进行特征提取，得到音频特征，音频特征对应第一数据格式。
在一些实施例中，第一数据格式为单精度32位浮点型；或者，第一数据格式为双精度64位浮点型。
步骤403，确定量化等级，量化等级用于表示第一数据格式量化至第二数据格式时的量化比例。
在一些实施例中，以浮点数量化为整型数的实数量化原理为例进行说明。
实数可以表示为如下公式一和公式二：
公式一：real value＝A×quantized value+B
公式二：real value＝C×(quantized value+D)
其中，realvalue表示浮点数的实际数值，quantizedvalue表示量化值，A表示量化系数，B表示量化参数，公式二是通过对公式一提取因数转换得到的公式，C表示量化等级，且为实数，D表示量化参数，且为整数。
令realvalue取值为0，则参考如下公式三：
公式三：
Figure BDA0002976787050000111
其中，zeropoint表示量化临界点。将公式三代入上述公式二可得如下公式四：
公式四：real value＝scale×(quantized value-zero point)
其中，scale即表示量化等级，也即上述参数C。
在一些实施例中，当浮点型量化为整型精度时，量化等级的计算方式如下公式五所示：
公式五：
Figure BDA0002976787050000112
其中，max表示浮点最大值，min表示浮点最小值，也即浮点型数据的取值范围中的最大值和最小值。qmax表示量化最大值，qmin表示量化最小值，也即qmax和qmin表示量化精度，示意性的，量化精度为8位整型，则qmin＝0，qmax＝255。
结合音频特征的量化等级进行说明，以第一数据格式的浮点型数据格式为例，则确定量化等级的过程中，首先获取音频特征的浮点最大值和浮点最小值的第一差值，然后获取音频特征的量化最大值和量化最小值的第二差值，将第一差值与第二差值之间的第一比值，确定为量化等级。
其中，音频特征的浮点最大值和浮点最小值是根据输入的音频特征对应的浮点数确定的，音频特征的量化最大值和量化最小值是根据量化精度确定的。
步骤404，确定量化临界点，量化临界点表示第一数据格式量化至第二数据格式的临界参数。
示意性的，量化临界点的确定方式请参考如下公式六：
公式六：
Figure BDA0002976787050000113
以音频特征的量化临界点为例进行说明，则首先获取音频特征的浮点最小之与量化等级之间的第二比值，将音频特征的量化最小值与第二比值之差，确定为量化临界点。
步骤405，基于量化等级和量化临界点对音频特征进行动态量化处理，得到量化特征。
结合上述公式四，以实数量化为例，对上述公式四进行转化则得到如下公式七：
公式七：
Figure BDA0002976787050000121
对应的，逆量化公式请参考如下公式八：
公式八：R＝S(Q-Z)
其中，Q即为上述quantizedvalue，表示量化值；R为上述realvalue，表示浮点数的实际数值；S为上述scale，表示量化等级；Z为上述zeropoint，表示量化临界点。
由于上述公式一至公式八为实数量化的推导过程，而音频特征通常实现为实数矩阵，故需要在实数量化的基础上结合矩阵特点进行量化。
对音频特征进行动态量化处理后得到量化特征，量化特征对应第二数据格式。
其中，第一数据格式对应的数据位数大于第二数据格式对应的数据位数。示意性的，第一数据格式对应为单精度32位浮点型，或者双精度64位浮点型，第二数据格式对应为低精度16位浮点型，或者16位整型，或者8位整型，或者4位整型。
步骤406，将量化特征输入至语音处理模型，输出得到内容处理结果。
在一些实施例中，语音处理模型中包括第一模型参数，第一模型参数对应第二数据格式，第一模型参数是由第二模型参数经过量化得到的参数，第二模型参数对应第一数据格式。
综上所述，本实施例提供的语音内容的处理方法，通过将语音处理模型中的模型参数从第一数据格式量化至第二数据格式，且在进行音频特征处理之前首先将音频特征量化至第二数据格式，由于第一数据格式的数据位数大于第二数据格式的数据位数，从而减小了语音处理模型整体的数据占用量，减小了语音处理模型在移动设备中的外存(如flash)和内存占用情况，在确保语音处理准确度的基础上减少资源消耗，实现在移动设备上的灵活应用。
本实施例提供的方法，以实数量化原理为基础，首先确定出量化等级和量化临界点，从而基于量化等级和量化临界点确定由音频特征量化得到的量化特征，并基于量化特征对语音内容进行对应的处理，从而减小了语音处理模型在移动设备中的内存占用情况。
在一些实施例中，特征在神经网络模型的各个神经网络层中也需要进行量化处理，首先，对神经网络模型中的神经元节点进行示意，图5是本申请一个示例性实施例提供的神经元节点输入输出示意图，如图5所示，神经元510为神经网络模型中处于第m层的神经网络层，m为正整数。
输入至神经元510的特征x1、x2、x3为神经网络模型中处于第m-1层的各个神经元输出的特征，神经元510输出的特征矩阵为hw，b(x)。其中，输出特征矩阵表达为如下公式九：
公式九：
Figure BDA0002976787050000131
其中，Wi表示第m-1层的第i个神经元与当前神经元510之间的权重值，xi表示特征值，b表示偏置值，f(x)表示特征处理的激励函数。激励函数能够引入非线性因素，解决线性模型所无法解决的问题。
结合上述图5，图6是本申请另一个示例性实施例提供的语音内容的处理方法的流程图，以该方法应用于终端中为例进行说明，如图6所示，该方法包括：
步骤601，获取语音内容。
语音内容为待处理的内容。
在一些实施例中，语音内容为终端通过音频采集模组采集得到的内容，示意性的，语音内容为终端通过麦克风阵列采集得到的内容。或者，在另一个实施例中，语音内容为终端本身存储的内容，则终端从存储器中获取该语音内容。
步骤602，对语音内容进行特征提取，得到音频特征，音频特征对应第一数据格式。
在一些实施例中，第一数据格式为单精度32位浮点型；或者，第一数据格式为双精度64位浮点型。
由于音频特征的数据格式所对应的数据位数较大，语音处理模型中在对第一数据格式的音频特征进行处理时，所设置的模型参数，如：权重/偏置也需要与第一数据格式对应，从而导致语音处理模型的内存占用较大。
步骤603，对音频特征进行动态量化处理后得到量化特征，量化特征对应第二数据格式。
其中，第一数据格式对应的数据位数大于第二数据格式对应的数据位数。示意性的，第一数据格式对应为单精度32位浮点型，或者双精度64位浮点型，第二数据格式对应为低精度16位浮点型，或者16位整型，或者8位整型，或者4位整型。
步骤604，将量化特征输入至输入层，通过第一模型参数对量化特征进行特征处理，得到输入层特征。
在一些实施例中，输入层特征对应第三数据格式。由于第一模型参数对应第二数据格式，量化特征对应第二数据格式，而通过第一模型参数对量化特征进行特征处理后，得到的输入层特征对应第三数据格式。示意性的，特征处理的过程参考如上图5所示出的激励函数计算过程，由于将第一模型参数和量化特征进行了乘法运算，故输入层特征的数据位数增加，输入层特征实现为第三数据格式。在一些实施例中，第三数据格式的数据位数与第一数据格式的数据位数相同或者不同，第三数据格式的数据位数大于第二数据格式对应的数据位数。
步骤605，对输入层特征进行动态量化处理，得到输入至中间层的第一输出。
其中，中间层位于输入层的下一层，第一输出对应第二数据格式，也即，通过动态量化处理的方式将输入层特征量化至第二数据格式。
示意性的，请参考图7，其示出了本申请一个示例性实施例提供的输入层特征处理过程示意图，如图7所示，将浮点型的音频特征(InputX_float)进行量化处理710，得到uint8整型的量化特征720，通过第一模型参数中的权重(Weight_uint8)对量化特征720进行处理，得到输入层特征(int32)，将预先训练得到的偏置参数(Bios_int32)与输入层特征进行相加，并经过量化处理730，最终得到第一输出(uint8)，用于输入至下一层。
步骤606，通过中间层对第一输出进行处理，输出得到内容处理结果。
在一些实施例中，语音处理模型中包括n个中间层，n为正整数。其中，在通过中间层对第一输出进行处理时，针对第i个中间层，在第i个中间层通过第一模型参数对第i-1个中间层的输出进行处理，得到第i个中间层输出，第i个中间层输出对应第一数据格式，2≤i≤n-1；对第i个中间层输出进行量化处理，得到第i个中间层的第二输出，第i个中间层的第二输出对应第三数据格式；响应于n个中间层对第一输出逐层处理完毕，输出得到内容处理结果。
示意性的，请参考图8，其示出了本申请一个示例性实施例提供的中间层处理过程的示意图。如图8所示，将上一层的整型输出(InputX_uint8)输入至当前中间层，通过第一模型参数中对应的权重(Weight_uint8)对其进行处理，得到中间层输出810(int32)，将预先训练得到的偏置参数(Bios_int32)与中间层输出810(int32)进行相加，并经过量化处理820，最终得到用于输入至下一层的第二输出，也即整型输出(uint8)。
在一些实施例中，语音处理模型中还包括输出层，响应于n个中间层对第一输出逐层处理完毕，输出得到内容处理结果时，首先响应于n个中间层对第一输出逐层处理完毕，得到第n个中间层输出的第二输出，并将第二输出输入至输出层，在输出层通过第一模型参数对中间层输出的第二输出进行处理，得到输出层输出，对输出层输出进行逆量化处理，并输出内容处理结果。
示意性的，请参考图9，其示出了本申请一个示例性实施例提供的输出层处理过程的示意图。如图9所示，将第n个中间层输出的中间层输出(InputX_uint8)输入至当前输出层，通过第一模型参数中对应的权重(Weight_uint8)对中间层输出进行处理，得到输出层输出910(int32)，将预先训练得到的偏置参数(Bios_int32)与输出层输出910(int32)进行相加，并经过逆量化处理920，最终输出内容处理结果。
其中，对输出层特征进行逆量化处理后，得到逆量化输出，对逆量化输出进行识别，输出得到内容处理结果。在一些实施例中，对最后输出层的输出结果逆量化处理后，得到逆量化输出，进行softmax运算后，输出对应各个移动设备(phone)的概率，通过语音解码器解码输出语音处理结果。
值得注意的是，上述输入层、中间层以及输出层中，在对特征进行量化时，通过上述公式一至公式八转换得到的实数矩阵量化公式实现，其中，公式一至公式八的转换是基于公式九示出的特征矩阵表达式实现的。示意性的，推导过程请参考如下公式十：
公式十：
Figure BDA0002976787050000151
其中，weightjk表示第l-1层网络的第kth个神经元，与第l层网络的第jth个神经元之间的连接权重；xij表示第l-1层网络中第i个神经元的激活输出(也就是第l层的输入)；resulti，k第l-1层网络计算激活函数后的量化输出，与weightjk量化输出乘积(即量化结果)；s1表示第l层网络中的第i个输入对应的量化等级，
Figure BDA0002976787050000161
表示第l层网络中xij对应的量化值，z1表示第l层网络中xij对应的量化临界点；s2表示第l层网络中weightjk对应的量化等级，
Figure BDA0002976787050000162
表示第l层网络中weightjk对应的量化值，z2表示第l层网络中weightjk对应的量化临界点。N为第l层网络的神经元数量，l为整数。
其中，以量化精度为int8为例，scale＝(xfmax-xfmin)/255，xfmax表示输入特征最大值，xfmin表示输入特征最小值。z＝xQmin-xfmin/scale，其中，xQmin表示量化特征最小值。
将偏置值代入上述公式十，即可得到如下公式十一：
公式十一：
Figure BDA0002976787050000163
其中，bfloat表示浮点型的实数偏置值，bq表示等式换算后的实数偏置值。s3表示第l层网络xij与weightjk乘积结果的量化输出对应的量化等级，
Figure BDA0002976787050000164
对应乘积结果量化输出的量化值，z3对应乘积结果量化输出的量化临界点。
在一些实施例中，对输出层特征进行逆量化处理，得到逆量化特征，从而对逆量化特征进行识别，输出得到内容处理结果。示意性的，通过softmax层对逆量化特征进行处理，输出得到移动设备对应的概率，再结合语音解码器输出语音识别结果。
综上所述，本实施例提供的语音内容的处理方法，通过将语音处理模型中的模型参数从第一数据格式量化至第二数据格式，且在进行音频特征处理之前首先将音频特征量化至第二数据格式，由于第一数据格式的数据位数大于第二数据格式的数据位数，从而减小了语音处理模型整体的数据占用量，减小了语音处理模型在移动设备中的外存(如flash)和内存占用情况，在确保语音处理准确度的基础上减少资源消耗，实现在移动设备上的灵活应用。
本实施例提供的方法，通过在神经网络层之间进行量化的方式对语音处理模型的处理过程进行量化，从而减小了语音处理模型在移动设备中的内存占用情况，在确保语音处理准确度的基础上减少资源消耗，实现在移动设备上的灵活应用。
值得注意的是，本申请实施例中，在上述音频特征的处理过程中，对量化后的量化特征进行分块处理，以便能装入Cache，减少缺页中断，以提高Cache命中率，从页减少取址次数，提高处理效率。
应用上述量化技术后，假设从float量化为8位整型数据，则内存占用下降为1/4，同时带宽需求也下降为1/4；其次，考虑性能问题，一般用于移动端的神经网络模型的矩阵维度较小，因此，可以直接存储在L1或L2级缓存区Cache中，可以有效减少内存操作；另外，移动端常用的复杂指令集计算机处理器(Advanced RISC Machine，ARM)、单字长定点指令平均执行速度(Million Instructions Per Second，MIPS)处理器、Atom处理器架构，常配置相应的128位以上的并行协处理器，因此协处理器(从float量化为8位整型)会带来4倍的理论加速效果。
处理器机器指令的执行过程，一般分为取址，译码，执行三个阶段；数据的流经过程涉及外部存储(flash)、内部存储(memory)、内部缓存(Cache)、内部寄存器(Register)四个过程，并且访问速度变化由低速到高速，容量由大到小；CPU可直接访问的为内部寄存器(Register)变量，因此，需要合理的组织，将访问的矩阵数据分块，经过打包、转置、压缩等变换，可以有效提高Cache的命中率，即可以有效减少缺页中断，减少访存次数，提高CPU的执行效率。
在一些实施例中，如图10所示，将量化后矩阵的运算，分解为矩阵打包(Pack)1010、矩阵核心运算(KernelOperation)1020、矩阵取包(Unpack)1030、矩阵输出格式(OutputFormat)1040四个运算过程，从而对特征进行分块处理。
图11是本申请一个示例性实施例提供的语音内容的处理装置的结构框图，如图11所示，该装置包括：
获取模块1110，用于获取语音内容，所述语音内容为待处理的内容；
提取模块1120，用于对所述语音内容进行特征提取，得到音频特征，所述音频特征对应第一数据格式；
处理模块1130，用于对所述音频特征进行动态量化处理后得到量化特征，所述量化特征对应第二数据格式，所述第一数据格式对应的数据位数大于所述第二数据格式对应的数据位数；
所述处理模块1130，还用于将所述量化特征输入至语音处理模型，输出得到内容处理结果，所述语音处理模型中包括第一模型参数，所述第一模型参数对应所述第二数据格式，所述第一模型参数是由第二模型参数经过量化得到的参数，所述第二模型参数对应所述第一数据格式。
在一个可选的实施例中，如图12所示，所述处理模块1130，包括：
确定单元1131，用于确定量化等级，所述量化等级用于表示所述第一数据格式量化至所述第二数据格式时的量化比例；
所述确定单元1131，还用于确定量化临界点，所述量化临界点表示所述第一数据格式量化至所述第二数据格式的临界参数；
处理单元1132，用于基于所述量化等级和所述量化临界点对所述音频特征进行动态量化处理，得到所述量化特征。
在一个可选的实施例中，所述第一数据格式为浮点型数据格式；
所述处理模块1130，还包括：
获取单元1133，用于获取所述音频特征的浮点最大值和浮点最小值的第一差值；
所述获取单元1133，还用于获取所述音频特征的量化最大值和量化最小值的第二差值；
所述确定单元1131，还用于将所述第一差值与所述第二差值之间的第一比值，确定为所述量化等级。
在一个可选的实施例中，所述获取单元1133，还用于获取所述音频特征的所述浮点最小值与所述量化等级之间的第二比值；
所述确定单元1131，还用于将所述音频特征的所述量化最小值与所述第二比值之差，确定为所述量化临界点。
在一个可选的实施例中，所述语音处理模型包括输入层和中间层；
所述处理模块1130，还用于将所述量化特征输入至所述输入层，通过所述第一模型参数对所述量化特征进行特征处理，得到输入层特征，所述输入层特征对应第三数据格式；
所述处理模块1130，还用于对所述输入层特征进行动态量化处理，得到输入至所述中间层的第一输出，所述中间层位于所述输入层的下一层，所述第一输出对应所述第二数据格式；
所述处理模块1130，还用于通过所述中间层对所述第一输出进行处理，输出得到所述内容处理结果。
在一个可选的实施例中，所述语音处理模型包括n个中间层，n为正整数；
所述处理模块1130，还用于在第i个中间层通过所述第一模型参数对第i-1个中间层的输出进行处理，得到第i个中间层输出特征，所述第i个中间层输出对应所述第一数据格式，2≤i≤n-1；
所述处理模块1130，还用于对所述第i个中间层输出进行动态量化处理，得到第i个中间层的第二输出，所述第i个中间层的第二输出对应所述第三数据格式；
所述处理模块1130，还用于响应于所述n个中间层对所述第一输出逐层处理完毕，输出得到所述内容处理结果。
在一个可选的实施例中，所述语音处理模型还包括输出层；
所述处理模块1130，还用于响应于所述n个中间层对所述第一输出逐层处理完毕，得到第n个中间层输出的第二输出；
所述处理模块1130，还用于将所述第二输出输入至所述输出层；在所述输出层通过所述第一模型参数对所述第二输出进行处理，得到输出层输出；
所述处理模块1130，还用于对所述输出层输出进行逆量化处理，并输出所述内容处理结果。
在一个可选的实施例中，所述处理模块1130，还用于对所述输出层输出进行逆量化处理，得到逆量化输出；对所述逆量化输出进行识别，输出得到所述内容处理结果。
综上所述，本实施例提供的语音内容的处理装置，通过将语音处理模型中的模型参数从第一数据格式量化至第二数据格式，且在进行音频特征处理之前首先将音频特征量化至第二数据格式，由于第一数据格式的数据位数大于第二数据格式的数据位数，从而减小了语音处理模型整体的数据占用量，减小了语音处理模型在移动设备中的外存(如flash)和内存占用情况，在确保语音处理准确度的基础上减少资源消耗，实现在移动设备上的灵活应用。
需要说明的是：上述实施例提供的语音内容的处理装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的语音内容的处理装置，与语音内容的处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图13示出了本申请一个示例性实施例提供的计算机设备1300(本申请实施例中实现为移动设备)的结构框图。该计算机设备1300可以是便携式移动终端，比如：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。计算机设备1300还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，计算机设备1300包括有：处理器1301和存储器1302。
处理器1301可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1301可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1301也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1301可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1301还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1302可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1302还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1302中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1301所执行以实现本申请中方法实施例提供的语音内容的处理方法。
在一些实施例中，计算机设备1300还可选包括有：外围设备接口1303和至少一个外围设备。处理器1301、存储器1302和外围设备接口1303之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1303相连。具体地，外围设备包括：射频电路1304、显示屏1305、摄像头组件1306、音频电路1307、定位组件1308和电源1309中的至少一种。
外围设备接口1303可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1301和存储器1302。在一些实施例中，处理器1301、存储器1302和外围设备接口1303被集成在同一芯片或电路板上；在一些其他实施例中，处理器1301、存储器1302和外围设备接口1303中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路1304用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1304通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1304将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1304包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1304可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1304还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏1305用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1305是触摸显示屏时，显示屏1305还具有采集在显示屏1305的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1301进行处理。此时，显示屏1305还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1305可以为一个，设置在计算机设备1300的前面板；在另一些实施例中，显示屏1305可以为至少两个，分别设置在计算机设备1300的不同表面或呈折叠设计；在另一些实施例中，显示屏1305可以是柔性显示屏，设置在计算机设备1300的弯曲表面上或折叠面上。甚至，显示屏1305还可以设置成非矩形的不规则图形，也即异形屏。显示屏1305可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(OrganicLight-Emitting Diode，有机发光二极管)等材质制备。
摄像头组件1306用于采集图像或视频。可选地，摄像头组件1306包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1306还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路1307可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1301进行处理，或者输入至射频电路1304以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在计算机设备1300的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1301或射频电路1304的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1307还可以包括耳机插孔。
定位组件1308用于定位计算机设备1300的当前地理位置，以实现导航或LBS(Location Based Service，基于位置的服务)。定位组件1308可以是基于美国的GPS(Global Positioning System，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
电源1309用于为计算机设备1300中的各个组件进行供电。电源1309可以是交流电、直流电、一次性电池或可充电电池。当电源1309包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中，计算机设备1300还包括有一个或多个传感器1310。该一个或多个传感器1310包括但不限于：加速度传感器1311、陀螺仪传感器1312、压力传感器1313、指纹传感器1314、光学传感器1315以及接近传感器1316。
加速度传感器1311可以检测以计算机设备1300建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1311可以用于检测重力加速度在三个坐标轴上的分量。处理器1301可以根据加速度传感器1311采集的重力加速度信号，控制显示屏1305以横向视图或纵向视图进行用户界面的显示。加速度传感器1311还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1312可以检测计算机设备1300的机体方向及转动角度，陀螺仪传感器1312可以与加速度传感器1311协同采集用户对计算机设备1300的3D动作。处理器1301根据陀螺仪传感器1312采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1313可以设置在计算机设备1300的侧边框和/或显示屏1305的下层。当压力传感器1313设置在计算机设备1300的侧边框时，可以检测用户对计算机设备1300的握持信号，由处理器1301根据压力传感器1313采集的握持信号进行左右手识别或快捷操作。当压力传感器1313设置在显示屏1305的下层时，由处理器1301根据用户对显示屏1305的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1314用于采集用户的指纹，由处理器1301根据指纹传感器1314采集到的指纹识别用户的身份，或者，由指纹传感器1314根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1301授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1314可以被设置在计算机设备1300的正面、背面或侧面。当计算机设备1300上设置有物理按键或厂商Logo时，指纹传感器1314可以与物理按键或厂商Logo集成在一起。
光学传感器1315用于采集环境光强度。在一个实施例中，处理器1301可以根据光学传感器1315采集的环境光强度，控制显示屏1305的显示亮度。具体地，当环境光强度较高时，调高显示屏1305的显示亮度；当环境光强度较低时，调低显示屏1305的显示亮度。在另一个实施例中，处理器1301还可以根据光学传感器1315采集的环境光强度，动态调整摄像头组件1306的拍摄参数。
接近传感器1316，也称距离传感器，通常设置在计算机设备1300的前面板。接近传感器1316用于采集用户与计算机设备1300的正面之间的距离。在一个实施例中，当接近传感器1316检测到用户与计算机设备1300的正面之间的距离逐渐变小时，由处理器1301控制显示屏1305从亮屏状态切换为息屏状态；当接近传感器1316检测到用户与计算机设备1300的正面之间的距离逐渐变大时，由处理器1301控制显示屏1305从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图13中示出的结构并不构成对计算机设备1300的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
本申请的实施例还提供了一种计算机设备，该计算机设备包括处理器和存储器，该存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的语音内容的处理方法。
本申请的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行，以实现上述各方法实施例提供的语音内容的处理方法。
本申请的实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中任一所述的语音内容的处理方法。
可选地，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、固态硬盘(SSD，Solid State Drives)或光盘等。其中，随机存取记忆体可以包括电阻式随机存取记忆体(ReRAM,Resistance RandomAccess Memory)和动态随机存取存储器(DRAM，Dynamic Random Access Memory)。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (14)

1.一种语音内容的处理方法，其特征在于，所述方法包括：
获取语音内容，所述语音内容为待处理的内容；
对所述语音内容进行特征提取，得到音频特征，所述音频特征对应第一数据格式；
对所述音频特征进行动态量化处理后得到量化特征，所述量化特征对应第二数据格式，所述第一数据格式对应的数据位数大于所述第二数据格式对应的数据位数；
将所述量化特征输入至语音处理模型，输出得到内容处理结果，所述语音处理模型中包括第一模型参数，所述第一模型参数对应所述第二数据格式，所述第一模型参数是由第二模型参数经过量化得到的参数，所述第二模型参数对应所述第一数据格式。
2.根据权利要求1所述的方法，其特征在于，所述对所述音频特征进行动态量化处理后得到量化特征，包括：
确定量化等级，所述量化等级用于表示所述第一数据格式量化至所述第二数据格式时的量化比例；
确定量化临界点，所述量化临界点表示所述第一数据格式量化至所述第二数据格式的临界参数；
基于所述量化等级和所述量化临界点对所述音频特征进行动态量化处理，得到所述量化特征。
3.根据权利要求2所述的方法，其特征在于，所述第一数据格式为浮点型数据格式；
所述确定量化等级，包括：
获取所述音频特征的浮点最大值和浮点最小值的第一差值；
获取所述音频特征的量化最大值和量化最小值的第二差值；
将所述第一差值与所述第二差值之间的第一比值，确定为所述量化等级。
4.根据权利要求3所述的方法，其特征在于，所述确定量化临界点，包括：
获取所述音频特征的所述浮点最小值与所述量化等级之间的第二比值；
将所述音频特征的所述量化最小值与所述第二比值之差，确定为所述量化临界点。
5.根据权利要求1至4任一所述的方法，其特征在于，所述语音处理模型包括输入层和中间层；
所述将所述量化特征输入至语音处理模型，输出得到内容处理结果，包括：
将所述量化特征输入至所述输入层，通过所述第一模型参数对所述量化特征进行特征处理，得到输入层特征，所述输入层特征对应第三数据格式；
对所述输入层特征进行动态量化处理，得到输入至所述中间层的第一输出，所述中间层位于所述输入层的下一层，所述第一输出对应所述第二数据格式；
通过所述中间层对所述第一输出进行处理，输出得到所述内容处理结果。
6.根据权利要求5所述的方法，其特征在于，所述语音处理模型包括n个中间层，n为正整数；
所述通过所述中间层对所述第一输出进行处理，输出得到所述内容处理结果，包括：
在第i个中间层通过所述第一模型参数对第i-1个中间层的输出进行处理，得到第i个中间层输出特征，所述第i个中间层输出对应所述第一数据格式，2≤i≤n-1；
对所述第i个中间层输出进行动态量化处理，得到第i个中间层的第二输出，所述第i个中间层的第二输出对应所述第三数据格式；
响应于所述n个中间层对所述第一输出逐层处理完毕，输出得到所述内容处理结果。
7.根据权利要求6所述的方法，其特征在于，所述语音处理模型还包括输出层；
所述响应于所述n个中间层对所述第一输出逐层处理完毕，输出得到所述内容处理结果，包括：
响应于所述n个中间层对所述第一输出逐层处理完毕，得到第n个中间层输出的第二输出；
将所述第二输出输入至所述输出层；
在所述输出层通过所述第一模型参数对所述第二输出进行处理，得到输出层输出；
对所述输出层输出进行逆量化处理，并输出所述内容处理结果。
8.根据权利要求7所述的方法，其特征在于，所述对所述输出层输出进行逆量化处理，并输出所述内容处理结果，包括：
对所述输出层输出进行逆量化处理，得到逆量化输出；
对所述逆量化输出进行识别，输出得到所述内容处理结果。
9.一种语音内容的处理装置，其特征在于，所述装置包括：
获取模块，用于获取语音内容，所述语音内容为待处理的内容；
提取模块，用于对所述语音内容进行特征提取，得到音频特征，所述音频特征对应第一数据格式；
处理模块，用于对所述音频特征进行动态量化处理后得到量化特征，所述量化特征对应第二数据格式，所述第一数据格式对应的数据位数大于所述第二数据格式对应的数据位数；
所述处理模块，还用于将所述量化特征输入至语音处理模型，输出得到内容处理结果，所述语音处理模型中包括第一模型参数，所述第一模型参数对应所述第二数据格式，所述第一模型参数是由第二模型参数经过量化得到的参数，所述第二模型参数对应所述第一数据格式。
10.根据权利要求9所述的装置，其特征在于，所述处理模块，包括：
确定单元，用于确定量化等级，所述量化等级用于表示所述第一数据格式量化至所述第二数据格式时的量化比例；
所述确定单元，还用于确定量化临界点，所述量化临界点表示所述第一数据格式量化至所述第二数据格式的临界参数；
处理单元，用于基于所述量化等级和所述量化临界点对所述音频特征进行动态量化处理，得到所述量化特征。
11.根据权利要求10所述的装置，其特征在于，所述第一数据格式为浮点型数据格式；
所述处理模块，还包括：
获取单元，用于获取所述音频特征的浮点最大值和浮点最小值的第一差值；
所述获取单元，还用于获取所述音频特征的量化最大值和量化最小值的第二差值；
所述确定单元，还用于将所述第一差值与所述第二差值之间的第一比值，确定为所述量化等级。
12.根据权利要求11所述的装置，其特征在于，所述获取单元，还用于获取所述音频特征的所述浮点最小值与所述量化等级之间的第二比值；
所述确定单元，还用于将所述音频特征的所述量化最小值与所述第二比值之差，确定为所述量化临界点。
13.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一段程序，所述至少一段程序由所述处理器加载并执行以实现如权利要求1至8任一所述的语音内容的处理方法。
14.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一段程序，所述至少一段程序由处理器加载并执行以实现如权利要求1至8任一所述的语音内容的处理方法。
CN202110276346.4A 2021-03-15 2021-03-15 语音内容的处理方法、装置、设备及可读存储介质 Pending CN113066508A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110276346.4A CN113066508A (zh) 2021-03-15 2021-03-15 语音内容的处理方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110276346.4A CN113066508A (zh) 2021-03-15 2021-03-15 语音内容的处理方法、装置、设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN113066508A true CN113066508A (zh) 2021-07-02

Family

ID=76561484

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110276346.4A Pending CN113066508A (zh) 2021-03-15 2021-03-15 语音内容的处理方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN113066508A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113963690A (zh) * 2021-09-10 2022-01-21 苏州奇梦者网络科技有限公司 一种低内存消耗的高效离线命令词识别系统和建模方法
CN116913266A (zh) * 2023-09-13 2023-10-20 腾讯科技（深圳）有限公司 一种语音检测方法、装置、设备及存储介质
CN116959489A (zh) * 2023-09-19 2023-10-27 腾讯科技（深圳）有限公司 语音模型的量化方法、装置、服务器及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110211593A (zh) * 2019-06-03 2019-09-06 北京达佳互联信息技术有限公司 语音识别方法、装置、电子设备及存储介质
CN110782009A (zh) * 2019-10-17 2020-02-11 湖南大学 基于ARMv8体系的计算内核优化方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110211593A (zh) * 2019-06-03 2019-09-06 北京达佳互联信息技术有限公司 语音识别方法、装置、电子设备及存储介质
CN110782009A (zh) * 2019-10-17 2020-02-11 湖南大学 基于ARMv8体系的计算内核优化方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113963690A (zh) * 2021-09-10 2022-01-21 苏州奇梦者网络科技有限公司 一种低内存消耗的高效离线命令词识别系统和建模方法
CN116913266A (zh) * 2023-09-13 2023-10-20 腾讯科技（深圳）有限公司 一种语音检测方法、装置、设备及存储介质
CN116913266B (zh) * 2023-09-13 2024-01-05 腾讯科技（深圳）有限公司 一种语音检测方法、装置、设备及存储介质
CN116959489A (zh) * 2023-09-19 2023-10-27 腾讯科技（深圳）有限公司 语音模型的量化方法、装置、服务器及存储介质
CN116959489B (zh) * 2023-09-19 2023-12-22 腾讯科技（深圳）有限公司 语音模型的量化方法、装置、服务器及存储介质

Similar Documents

Publication Publication Date Title
CN110097019B (zh) 字符识别方法、装置、计算机设备以及存储介质
CN111179962B (zh) 语音分离模型的训练方法、语音分离方法及装置
CN110544272B (zh) 脸部跟踪方法、装置、计算机设备及存储介质
CN111063342B (zh) 语音识别方法、装置、计算机设备及存储介质
CN111696570B (zh) 语音信号处理方法、装置、设备及存储介质
CN113066508A (zh) 语音内容的处理方法、装置、设备及可读存储介质
CN110147533B (zh) 编码方法、装置、设备及存储介质
CN110047468B (zh) 语音识别方法、装置及存储介质
CN110147532B (zh) 编码方法、装置、设备及存储介质
CN108922531B (zh) 槽位识别方法、装置、电子设备及存储介质
CN113763933B (zh) 语音识别方法、语音识别模型的训练方法、装置和设备
CN111581958A (zh) 对话状态确定方法、装置、计算机设备及存储介质
CN111243668A (zh) 分子结合位点检测方法、装置、电子设备及存储介质
CN111324699A (zh) 语义匹配的方法、装置、电子设备及存储介质
CN113836946B (zh) 训练评分模型的方法、装置、终端及存储介质
CN113763931B (zh) 波形特征提取方法、装置、计算机设备及存储介质
CN113823298B (zh) 语音数据处理方法、装置、计算机设备及存储介质
CN114299306A (zh) 获取图像检索模型的方法、图像检索方法、装置和设备
CN113822084A (zh) 语句翻译方法、装置、计算机设备及存储介质
CN115168643B (zh) 音频处理方法、装置、设备及计算机可读存储介质
CN110990549A (zh) 获取答案的方法、装置、电子设备及存储介质
CN113361376B (zh) 获取视频封面的方法、装置、计算机设备及可读存储介质
CN115206305A (zh) 语义文本的生成方法、装置、电子设备及存储介质
CN113920979A (zh) 语音数据的获取方法、装置、设备及计算机可读存储介质
CN110096707B (zh) 生成自然语言的方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40048390

Country of ref document: HK