CN112183107A - 音频的处理方法和装置 - Google Patents

音频的处理方法和装置 Download PDF

Info

Publication number
CN112183107A
CN112183107A CN202010920160.3A CN202010920160A CN112183107A CN 112183107 A CN112183107 A CN 112183107A CN 202010920160 A CN202010920160 A CN 202010920160A CN 112183107 A CN112183107 A CN 112183107A
Authority
CN
China
Prior art keywords
voice
audio
target
speech
targets
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010920160.3A
Other languages
English (en)
Inventor
杨宇庭
徐广平
钱莉
杜俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Huawei Technologies Co Ltd
Original Assignee
University of Science and Technology of China USTC
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC, Huawei Technologies Co Ltd filed Critical University of Science and Technology of China USTC
Priority to CN202010920160.3A priority Critical patent/CN112183107A/zh
Publication of CN112183107A publication Critical patent/CN112183107A/zh
Priority to EP21863307.1A priority patent/EP4198807A4/en
Priority to PCT/CN2021/100645 priority patent/WO2022048239A1/zh
Priority to US18/178,376 priority patent/US20230206928A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G10L21/028—Voice signal separating using properties of sound source
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)

Abstract

本申请提供了人工智能领域中的一种音频处理方法和电子装置。音频处理方法应用于会议系统，会议系统包括至少一个音频采集设备。音频处理方法包括：接收至少一个音频采集设备采集的至少一段音频；确定至少一段音频中多个目标的语音；分别对多个目标中每个目标的语音进行语音识别，以获取每个目标的语音对应的语义。对不同目标的语音分别进行语音识别，提高了语音识别的准确性。

Description

音频的处理方法和装置
技术领域
本申请涉及人工智能(artificial intelligence，AI)领域，具体涉及自然语言处理领域，尤其涉及一种音频的处理方法及装置。
背景技术
人工智能(artificial intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能领域的研究包括机器人，自然语言处理，计算机视觉，决策与推理，人机交互，推荐与搜索，AI基础理论等。
随着人工智能技术的不断发展，让人机之间能够通过自然语言进行交互的自然语言人机交互系统变的越来越重要。人机之间能够通过自然语言进行交互，就需要系统能够识别出人类自然语言的具体含义。通常，系统通过采用对自然语言的句子进行关键信息提取来识别句子的具体含义。
广义的自然语言处理包含了对语音的处理。按照音频中语音的先后顺序进行语音识别，确定的语义准确性较低。
发明内容
本申请提供一种音频的处理方法和装置，能够提高对系统采集的音频中各个目标的语音进行语音识别得到的语义的准确性。
第一方面，提供了一种音频处理方法，该方法可以应用于会议系统，所述会议系统包括至少一个音频采集设备。所述方法包括：接收所述至少一个音频采集设备采集的至少一段音频；确定所述至少一段音频中多个目标的语音；分别对所述多个目标中每个目标的语音进行语音识别，以获取每个所述目标的语音对应的语义。
在一段时间内，一个目标的语音对应的语义一般存在着逻辑上的关联性。在会议过程中，多个目标可能交替发言，即各个目标的语音交替出现。一个目标的前后语句上的依赖关系会更强。对每个目标的语音分别进行处理，可以提高语音识别的准确性。
结合第一方面，在一些可能的实现方式中，所述确定所述至少一段音频中多个目标的语音，包括：判断待处理语音是否为所述多个目标中第一目标的语音，所述待处理语音是从所述至少一段音频中确定的；当所述待处理语音不是所述第一目标的语音时，对所述待处理语音进行语音分离，以获得分离语音；识别所述分离语音对应的目标。
在会议过程中，仅在很少的情况下会存在语音重叠。大多数情况，语音不会存在重叠。为了分别对每个目标的语音进行识别，需要确定每个未重叠的语音对应的目标，以及每个分离后的语音对应的目标。可以对每个待处理语音进行目标识别，之后，对于与不是与目标对应的待处理语音进行语音分离，无需对每个待处理语音进行重叠检测或语音分离，降低对资源的占用。
结合第一方面，在一些可能的实现方式中，所述方法还包括：当所述待处理语音不是所述第一目标的语音时，判断所述待处理语音是否存在语音重叠；所述对所述待处理语音进行语音分离，包括：当所述待处理语音存在语音重叠时，对所述待处理语音进行语音分离。
对于与不是与目标对应的待处理语音进行重叠检测，在待处理语音存在语音重叠时进行语音分离，从而进一步减小对资源的占用。
结合第一方面，在一些可能的实现方式中，所述方法还包括：获取检测语音；对所述检测语音进行语音识别，以确定所述检测语音的语义；当所述检测语音的语义为预设内容时，对所述检测语音进行特征提取，以得到所述第一目标的语音特征；所述判断所述待处理语音是否为第一目标的语音，包括：根据所述第一目标的语音特征，判断所述待处理语音是否为所述第一目标的语音。
通过获取检测语音，并在检测语音的语义为预设内容时，将检测语音的语音特征作为第一目标的语音特征，提供了一种准确判断目标的语音特征的方式。
在确定检测语音的语义为预设内容时，确定检测语音为第一目标的语音。另外，还可以获取第一目标的标识。第一目标的标识可以是第一目标的姓名、标识号(identification，ID)等。从而，会议纪要可以包括获取的第一目标的标识，便利于对会议纪要的查询。
结合第一方面，在一些可能的实现方式中，所述确定所述至少一段音频中多个目标的语音，包括：利用声音状态检测VAD算法，确定所述至少一段音频中的多段连续语音；从所述多段连续语音中确定所述多个目标中每个目标的语音。
通过VAD算法，可以确定连续语音。从连续语音中确定每个目标的语音，可以降低对资源的占用。
结合第一方面，在一些可能的实现方式中，所述至少一个音频采集设备包括多个终端设备，所述至少一段音频包括每个所述终端设备采集的音频，所述确定所述至少一段音频中多个目标的语音，包括：利用多通道滤波器算法对所述多段音频进行处理，以得到去除噪声后的音频；从所述去除噪声后的音频中确定所述多个目标的语音。
在会议进行过程中，可以利用与会者随身携带的多个终端设备进行音频的采集，采用多通道滤波器算法对多个终端设备采集的多段音频进行去噪，在实现去噪的同时，降低对音频采集设备的要求。
结合第一方面，在一些可能的实现方式中，所述方法还包括：获取所述多段音频中每段音频的时间信息，以实现所述多段音频的时间同步；所述利用多通道滤波器算法对多段采集音频进行处理，包括：利用所述多通道滤波器算法对实现时间同步的所述多段音频进行处理。
通过每段音频的时间信息，实现多段音频的时间同步，能够提升对该多段音频去噪的效果。
结合第一方面，在一些可能的实现方式中，所述分别对所述多个目标中每个目标的语音进行语音识别，包括：将所述多个目标的语音输入多个语音识别模型，所述多个语音识别模型用于并行进行语音识别。
通过并行的方式进行语音识别，能够提高语音识别的效率。
结合第一方面，在一些可能的实现方式中，所述方法还包括：输出会议纪要，所述会议纪要包括所述每个所述目标的语音对应的语义。
通过输出会议纪要，为会议内容的查询提供便利。
结合第一方面，在一些可能的实现方式中，所述至少一个音频包括多段连续语音，所述确定所述至少一段音频中多个目标的语音，包括：从每段所述连续语音中确定至少一个目标的语音；所述方法还包括：对每段所述连续语音中每个目标的语音对应的语义进行处理，得到每段所述连续语音中每个目标的语音对应的主题。
通过确定每段连续语音中每个目标的语音对应的主题，为会议内容的查询提供便利。另外，每个目标的语音对应的语音时通过分别对多个目标的语音进行语音识别得到的，对语义进行处理，以得到每个语音对应的主题，使得确定的主题更加准确。
结合第一方面，在一些可能的实现方式中，所述方法还包括：获取第一查询信息，所述第一查询信息包括用于指示第一主题的主题信息；根据每段所述连续语音中每个目标的语音对应的主题，输出第一音频数据，所述第一音频数据包括所述第一主题对应的至少一个语音。
通过输出对应于一个主题的音频数据，为会议内容的查询提供便利。
结合第一方面，在一些可能的实现方式中，所述方法还包括：获取第二查询信息，所述第二查询信息包括用于指示所述多个目标中第二目标的目标信息；输出第二音频数据，所述第二音频数据包括所述第二目标的语音。
通过输出对应于一个目标的音频数据，为会议内容的查询提供便利。
语义是分别对所述多个目标中每个目标的语音进行语音识别得到的。也就是说，本申请是按照不同的目标对语音进行存储并处理。因此，本申请的方案可以地获取对应于各个目标的语音片段。
因此，对于查询信息还包括目标信息的查询方式，处理更为容易。
第二方面，提供了一种查询方法，包括：获取查询信息，所述查询信息包括用于指示第一主题的主题信息；根据多个语音与多个主题之间的对应关系，输出第一音频数据，所述第一音频数据包括多个语音中所述第一主题对应的至少一个语音，所述多个语音中的每个所述语音对应于一个目标，每个所述语音的主题是对所述语音对应的语义进行处理得到的，每个所述语音对应的语义是分别对每个所述目标对应的语音进行语音识别得到的，所述多个语音是根据会议系统中至少一个音频采集设备采集的音频数据得到的，所述音频数据包括多个目标的语音。
在一段时间内，一个目标的语音对应的语义一般存在着逻辑上的关联性。在会议过程中，多个目标可能交替发言，即各个目标的语音交替出现。一个目标的前后语句上的依赖关系会更强。对每个目标的语音分别进行处理，可以提高语音识别的准确性。
通过输出对应于一个主题的音频数据，为会议内容的查询提供便利。
结合第二方面，在一些可能的实现方式中，所述查询信息还包括用于指示第一目标的目标信息；所述第一音频数据中的至少一个语音为所述第一目标的语音。
通过输出对应于一个目标的音频数据，为会议内容的查询提供便利。
由于本申请是按照不同的目标对语音进行存储并处理，因此，可以地获取各各个目标独立的语音片段。
第三方面，提供一种音频处理装置，可以应用于会议系统。会议系统包括至少一个音频采集设备。音频处理装置包括存储模块和处理模块，存储模块用于存储程序指令。当程序指令在处理模块中执行时，处理模块用于，接收所述至少一个音频采集设备采集的至少一段音频；处理模块还用于，确定所述至少一段音频中多个目标的语音；处理模块还用于，分别对所述多个目标中每个目标的语音进行语音识别，以获取每个所述目标的语音对应的语义。
结合第三方面，在一些可能的实现方式中，处理模块还用于，判断待处理语音是否为所述多个目标中第一目标的语音，所述待处理语音是从所述至少一段音频中确定的。处理模块还用于，当所述待处理语音不是所述第一目标的语音时，对所述待处理语音进行语音分离，以获得分离语音。处理模块还用于，识别所述分离语音对应的目标。
结合第三方面，在一些可能的实现方式中，处理模块还用于，当所述待处理语音不是所述第一目标的语音时，判断所述待处理语音是否存在语音重叠。处理模块还用于，当所述待处理语音存在语音重叠时，对所述待处理语音进行语音分离。
结合第三方面，在一些可能的实现方式中，处理模块还用于，获取检测语音。处理模块还用于，对所述检测语音进行语音识别，以确定所述检测语音的语义。处理模块还用于，当所述检测语音的语义为预设内容时，对所述检测语音进行特征提取，以得到所述第一目标的语音特征。处理模块还用于，根据所述第一目标的语音特征，判断所述待处理语音是否为所述第一目标的语音。
结合第三方面，在一些可能的实现方式中，处理模块还用于，利用声音状态检测VAD算法，确定所述至少一段音频中的多段连续语音。处理模块还用于，从所述多段连续语音中确定所述多个目标中每个目标的语音。
结合第三方面，在一些可能的实现方式中，所述至少一个音频采集设备包括多个终端设备，所述至少一段音频包括每个所述终端设备采集的音频。处理模块还用于，利用多通道滤波器算法对所述多段音频进行处理，以得到去除噪声后的音频。处理模块还用于，从所述去除噪声后的音频中确定所述多个目标的语音。
结合第三方面，在一些可能的实现方式中，处理模块还用于，获取所述多段音频中每段音频的时间信息，以实现所述多段音频的时间同步。处理模块还用于，所述利用多通道滤波器算法对多段采集音频进行处理，包括：利用所述多通道滤波器算法对实现时间同步的所述多段音频进行处理。
结合第三方面，在一些可能的实现方式中，处理模块还用于，将所述多个目标的语音输入多个语音识别模型，所述多个语音识别模型用于并行进行语音识别。
结合第三方面，在一些可能的实现方式中，处理模块还用于，输出会议纪要，所述会议纪要包括所述每个所述目标的语音对应的语义。
结合第三方面，在一些可能的实现方式中，所述至少一个音频包括多段连续语音。处理模块还用于，从每段所述连续语音中确定至少一个目标的语音。处理模块还用于，对每段所述连续语音中每个目标的语音对应的语义进行处理，得到每段所述连续语音中每个目标的语音对应的主题。
结合第三方面，在一些可能的实现方式中，处理模块还用于，获取第一查询信息，所述第一查询信息包括用于指示第一主题的主题信息。处理模块还用于，根据每段所述连续语音中每个目标的语音对应的主题，输出音频数据，所述音频数据包括所述第一主题对应的至少一个语音。
结合第三方面，在一些可能的实现方式中，所述方法还包括：获取第二查询信息，所述第二查询信息包括用于指示所述多个目标中第二目标的目标信息；输出第二音频数据，所述第二音频数据包括所述第二目标的语音。
第四方面，提供一种查询装置，查询装置包括存储模块和处理模块，存储模块用于存储程序指令。当程序指令在处理模块中执行时，处理模块用于，获取查询信息，所述查询信息包括用于指示第一主题的主题信息；处理模块还用于，根据会议的多个语音与多个主题之间的对应关系，输出第一音频数据，所述第一音频数据包括多个语音中所述第一主题对应的至少一个语音，每个所述语音对应于一个目标，每个所述语音的主题是对所述语音对应的语义进行处理得到的，每个所述语音对应的语义是分别对每个所述目标对应的语音进行语音识别得到的，所述多个语音是根据会议系统中至少一个音频采集设备采集的音频数据得到的，所述音频数据包括多个目标的语音。
结合第四方面，在一些可能的实现方式中，所述查询信息还包括用于指示第一目标的目标信息；所述第一音频数据中的至少一个语音为所述第一目标的语音。
第五方面，提供了一种电子设备，包括：存储器和处理器。存储器用于存储程序。处理器，用于执行所述存储器存储的程序，以执行上述第一方面或第二方面中的方法。
应当理解，程序也可以称为程序代码、计算机指令、程序指令等。
第六方面，提供一种计算机可读存储介质，该计算机可读存储介质存储有程序，该程序包括用于执行第一方面或第二方面中的方法中的步骤的指令。
第七方面，提供一种计算机程序产品，所述计算机程序产品包括计算机指令，当所述计算机程序产品被计算机执行时，该计算机执行前述第一方面或第二方面中的方法。
第八方面，提供一种芯片系统，所述芯片系统包括至少一个处理器，当程序在所述至少一个处理器中执行时，使得所述芯片系统执行第一方面或第二方面所述的方法。
可选地，作为一种实现方式，所述芯片系统还可以包括存储器，所述存储器中存储有程序，所述处理器用于执行所述存储器上存储的程序，当所述程序被执行时，所述处理器用于执行第一方面中的方法。
上述芯片系统具体可以是现场可编程门阵列(field programmable gate array，FPGA)或者专用集成电路(application specific integrated circuit，ASIC)。
应理解，本申请中，第一方面的方法具体可以是指第一方面以及第一方面中各种实现方式中的任意一种实现方式中的方法。
附图说明
图1是本申请实施例提供自然语言处理系统的系统架构的结构示意图。
图2是本申请实施例提供的一种系统架构的示意图。
图3是一种卷积神经网络结构的示意图。
图4是另一种卷积神经网络结构的示意图。
图5是本申请实施例提供的一种芯片硬件结构示意图。
图6是音频处理系统的示意性结构图。
图7是本申请实施例提供的一种音频处理系统的示意性结构图。
图8是本申请实施例提供的一种采集的音频以及该音频中的语音段落的示意图。
图9是本申请实施例提供的一种音频的处理系统的示意性结构图。
图10是一种录音数据的示意图。
图11是本申请实施例提供的一种录音场景的示意图。
图12是本申请实施例提供的一种音频处理系统的示意性结构图。
图13是本申请实施例提供的一种音频处理系统的示意性结构图。
图14和图15是本申请实施例提供的会议纪要的格式的示意图。
图16是本申请实施例提供的一种音频处理系统所需神经网络模型的训练方法的示意性流程图。
图17是本申请实施例提供的一种音频处理方法的示意性流程图。
图18是本申请实施例提供的一种音频处理方法的示意性流程图。
图19是本申请实施例提供的一种音频处理装置的示意性结构图。
图20是本申请实施例的音频处理装置的示意性结构图。
图21是本申请实施例的神经网络训练装置的示意性结构图。
具体实施方式
下面将结合附图，对本申请中的技术方案进行描述。
本申请实施例提供的音频的处理方法中的全部或部分步骤可以由自然语言处理系统执行。
如图1中的A所示，一种自然语言处理系统包括用户设备以及数据处理设备。
所述用户设备包括用户以及手机、个人电脑或者信息处理中心等智能终端。所述用户设备为自然语言数据处理的发起端，作为语言问答或者查询等请求的发起方，通常用户通过所述用户设备发起请求。
所述数据处理设备可以是云服务器、网络服务器、应用服务器以及管理服务器等具有数据处理功能的设备或服务器。所述数据处理设备通过所述交互接口接收来自所述智能终端的查询语句/语音/文本等问句，再通过存储数据的存储器以及数据处理的处理器环节进行机器学习，深度学习，搜索，推理，决策等方式的语言数据处理。所述存储器可以是一个统称，包括本地存储以及存储历史数据的数据库，所述数据库可以再数据处理设备上，也可以在其它网络服务器上。
如图1中的B所示为自然语言处理系统的另一个应用场景。此场景中智能终端直接作为数据处理设备，直接接收来自用户的输入并直接由智能终端本身的硬件进行处理，具体过程与图1中的A相似，可参考上面的描述，在此不再赘述。
如图1中的C所示，所述用户设备可以是本地设备301或302，所述数据处理设备可以是执行设备210，其中数据存储系统250可以集成在所述执行设备210上，也可以设置在云上或其它网络服务器上。
本申请实施例涉及了大量神经网络的相关应用，为了更好地理解本申请实施例的方案，下面先对本申请实施例可能涉及的神经网络的相关术语和概念进行介绍。
(1)神经网络
神经网络可以是由神经单元组成的，神经单元可以是指以xs和截距1为输入的运算单元，该运算单元的输出可以如公式(1-1)所示：
Figure BDA0002666445510000071
其中，s＝1、2、……n，n为大于1的自然数，Ws为xs的权重，b为神经单元的偏置。f为神经单元的激活函数(activation functions)，用于将非线性特性引入神经网络中，来将神经单元中的输入信号转换为输出信号。该激活函数的输出信号可以作为下一层卷积层的输入，激活函数可以是sigmoid函数。神经网络是将多个上述单一的神经单元联结在一起形成的网络，即一个神经单元的输出可以是另一个神经单元的输入。每个神经单元的输入可以与前一层的局部接受域相连，来提取局部接受域的特征，局部接受域可以是由若干个神经单元组成的区域。
(2)深度神经网络
深度神经网络(deep neural network，DNN)，也称多层神经网络，可以理解为具有多层隐含层的神经网络。按照不同层的位置对DNN进行划分，DNN内部的神经网络可以分为三类：输入层，隐含层，输出层。一般来说第一层是输入层，最后一层是输出层，中间的层数都是隐含层。层与层之间是全连接的，也就是说，第i层的任意一个神经元一定与第i+1层的任意一个神经元相连。
虽然DNN看起来很复杂，但是就每一层的工作来说，其实并不复杂。深度神经网络中的每一层的工作可以用数学表达式
Figure BDA0002666445510000072
来描述：从物理层面深度神经网络中的每一层的工作可以理解为通过五种对输入空间(输入向量的集合)的操作，完成输入空间到输出空间的变换(即矩阵的行空间到列空间)，这五种操作包括：1、升维/降维；2、放大/缩小；3、旋转；4、平移；5、“弯曲”。其中1、2、3的操作由
Figure BDA0002666445510000073
完成，4的操作由+b完成，5的操作则由a()来实现。这里之所以用“空间”二字来表述是因为被分类的对象并不是单个事物，而是一类事物，空间是指这类事物所有个体的集合。其中，W是权重向量，该向量中的每一个值表示该层神经网络中的一个神经元的权重值。该向量W决定着上文所述的输入空间到输出空间的空间变换，即每一层的权重W控制着如何变换空间。训练深度神经网络的目的，也就是最终得到训练好的神经网络的所有层的权重矩阵(由很多层的向量W形成的权重矩阵)。因此，神经网络的训练过程本质上就是学习控制空间变换的方式，更具体的就是学习权重矩阵。
因此，DNN简单来说就是如下线性关系表达式：
Figure BDA0002666445510000074
其中，
Figure BDA0002666445510000075
是输入向量，
Figure BDA0002666445510000076
是输出向量，
Figure BDA0002666445510000077
是偏移向量，W是权重矩阵(也称系数)，α()是激活函数。每一层仅仅是对输入向量
Figure BDA0002666445510000078
经过如此简单的操作得到输出向量
Figure BDA0002666445510000079
由于DNN层数多，系数W和偏移向量
Figure BDA00026664455100000710
的数量也比较多。这些参数在DNN中的定义如下所述：以系数W为例：假设在一个三层的DNN中，第二层的第4个神经元到第三层的第2个神经元的线性系数定义为
Figure BDA00026664455100000711
上标3代表系数W所在的层数，而下标对应的是输出的第三层索引2和输入的第二层索引4。
综上，第L-1层的第k个神经元到第L层的第j个神经元的系数定义为
Figure BDA00026664455100000712
需要注意的是，输入层是没有W参数的。在深度神经网络中，更多的隐含层让网络更能够刻画现实世界中的复杂情形。理论上而言，参数越多的模型复杂度越高，“容量”也就越大，也就意味着它能完成更复杂的学习任务。训练深度神经网络的也就是学习权重矩阵的过程，其最终目的是得到训练好的深度神经网络的所有层的权重矩阵(由很多层的向量W形成的权重矩阵)。
(3)卷积神经网络
卷积神经网络(convolutional neuron network，CNN)是一种带有卷积结构的深度神经网络。卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器，该特征抽取器可以看作是滤波器。卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元层。在卷积神经网络的卷积层中，一个神经元可以只与部分邻层神经元连接。一个卷积层中，通常包含若干个特征平面，每个特征平面可以由一些矩形排列的神经单元组成。同一特征平面的神经单元共享权重，这里共享的权重就是卷积核。共享权重可以理解为提取音频信息的方式与位置无关。卷积核可以以随机大小的矩阵的形式初始化，在卷积神经网络的训练过程中卷积核可以通过学习得到合理的权重。另外，共享权重带来的直接好处是减少卷积神经网络各层之间的连接，同时又降低了过拟合的风险。
(4)循环神经网络(recurrent neural networks，RNN)是用来处理序列数据的。在传统的神经网络模型中，是从输入层到隐含层再到输出层，层与层之间是全连接的，而对于每一层层内之间的各个节点是无连接的。这种普通的神经网络虽然解决了很多难题，但是却仍然对很多问题无能无力。例如，你要预测句子的下一个单词是什么，一般需要用到前面的单词，因为一个句子中前后单词并不是独立的。RNN之所以称为循环神经网路，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐含层本层之间的节点不再无连接而是有连接的，并且隐含层的输入不仅包括输入层的输出还包括上一时刻隐含层的输出。理论上，RNN能够对任何长度的序列数据进行处理。对于RNN的训练和对传统的CNN或DNN的训练一样。
既然已经有了卷积神经网络，为什么还要循环神经网络？原因很简单，在卷积神经网络中，有一个前提假设是：元素之间是相互独立的，输入与输出也是独立的，比如猫和狗。但现实世界中，很多元素都是相互连接的，比如股票随时间的变化，再比如一个人说了：我喜欢旅游，其中最喜欢的地方是云南，以后有机会一定要去。这里填空，人类应该都知道是填“云南”。因为人类会根据上下文的内容进行推断，但如何让机器做到这一步？RNN就应运而生了。RNN旨在让机器像人一样拥有记忆的能力。因此，RNN的输出就需要依赖当前的输入信息和历史的记忆信息。
(5)损失函数
在训练深度神经网络的过程中，因为希望深度神经网络的输出尽可能的接近真正想要预测的值，所以可以通过比较当前网络的预测值和真正想要的目标值，再根据两者之间的差异情况来更新每一层神经网络的权重向量(当然，在第一次更新之前通常会有初始化的过程，即为深度神经网络中的各层预先配置参数)，比如，如果网络的预测值高了，就调整权重向量让它预测低一些，不断地调整，直到深度神经网络能够预测出真正想要的目标值或与真正想要的目标值非常接近的值。因此，就需要预先定义“如何比较预测值和目标值之间的差异”，这便是损失函数(loss function)或目标函数(objective function)，它们是用于衡量预测值和目标值的差异的重要方程。其中，以损失函数举例，损失函数的输出值(loss)越高表示差异越大，那么深度神经网络的训练就变成了尽可能缩小这个loss的过程。
(6)反向传播算法
神经网络可以采用误差反向传播(back propagation，BP)算法在训练过程中修正初始的神经网络模型中参数的大小，使得神经网络模型的重建误差损失越来越小。具体地，前向传递输入信号直至输出会产生误差损失，通过反向传播误差损失信息来更新初始的神经网络模型中参数，从而使误差损失收敛。反向传播算法是以误差损失为主导的反向传播运动，旨在得到最优的神经网络模型的参数，例如权重矩阵。
(7)前馈网络
前馈(feed forward)网络是一种最简单的神经网络，各神经元分层排列。每个神经元只与前一层的神经元相连。接收前一层的输出，并输出给下一层。各层间没有反馈。前馈网络是目前应用最广泛、发展最迅速的人工神经网络之一。
(8)注意力机制
注意力机制模仿了生物观察行为的内部过程，即一种将内部经验和外部感觉对齐从而增加部分区域的观察精细度的机制，能够利用有限的注意力资源从大量信息中快速筛选出高价值信息。注意力机制可以快速提取稀疏数据的重要特征，因而被广泛用于自然语言处理任务，特别是机器翻译。而自注意力机制(self-attention mechanism)是注意力机制的改进，其减少了对外部信息的依赖，更擅长捕捉数据或特征的内部相关性。注意力机制的本质思想可以改写为如下公式：
Figure BDA0002666445510000091
其中，Lx＝||Source||代表Source的长度，公式含义即将Source中的构成元素想象成是由一系列的<Key，Value>数据对构成，此时给定目标Target中的某个元素Query，通过计算Query和各个Key的相似性或者相关性，得到每个Key对应Value的权重系数，然后对Value进行加权求和，即得到了最终的Attention数值。所以本质上Attention机制是对Source中元素的Value值进行加权求和，而Query和Key用来计算对应Value的权重系数。从概念上理解，把Attention可以理解为从大量信息中有选择地筛选出少量重要信息并聚焦到这些重要信息上，忽略大多不重要的信息。聚焦的过程体现在权重系数的计算上，权重越大越聚焦于其对应的Value值上，即权重代表了信息的重要性，而Value是其对应的信息。自注意力机制可以理解为内部Attention(intra attention)，Attention机制发生在Target的元素Query和Source中的所有元素之间，自注意力机制指的是在Source内部元素之间或者Target内部元素之间发生的Attention机制，也可以理解为Target＝Source这种特殊情况下的注意力计算机制，其具体计算过程是一样的，只是计算对象发生了变化而已。
(9)转换层
相比之前的神经网络(循环神经网络、卷积神经网络等)，转换层(transformer)包括注意力机制模块和前馈网络模块，其中，注意力机制模块通过计算词与词之间的相关性获得相应的权重值，最终得到上下文相关的词表征，是transformer结构中的核心部分；前馈网络模块可以对得到的词表征做进一步的变换得到Transformer最终的输出；除了两个重要模块外，还可以包括残差层和线性归一化(linear normalization)。
(10)语音识别
语音是语言符号系统的载体。它由人的发音器官发出，负载着一定的语言意义。
语音识别(auto speech recognition)的主要任务是完成语音到文字的转变。语音是人类社会中最自然流畅、最方便快捷的信息交流方式。当把语音文字转化为文字，就得到语音信号中的文字内容，或者更准确的说，得到文本信息，从而实现人机交互。
图2是本申请实施例提供的一种系统架构200。数据采集设备260用于采集语言数据并存入数据库230，训练设备220基于数据库230中维护的训练数据生成目标模型/规则201。下面将更详细地描述训练设备220如何基于训练数据得到目标模型/规则201，目标模型/规则201能够对输入的数据进行处理。
图2所示为数据处理过程中的功能模块图，对应图1中的实际应用场景图时，所述客户设备240可以是图1的用户设备，所述执行设备210以及数据存储系统250在图1中的用户设备数据处理能力比较强大时，可以集成在所述用户设备内。在一些实施例中，也可以将所述执行设备210以及数据存储系统250集成在图1中的数据处理设备上。所述数据库230、训练设备220以及数据采集设备260可以对应集成在图1中的数据处理设备上，可以设置在云上或网络上的其它服务器上。
训练设备220得到的目标模型/规则可以应用不同的系统或设备中。在附图2中，执行设备210配置有I/O接口212，与外部设备进行数据交互，“用户”可以通过客户设备240向I/O接口212输入数据。
执行设备210可以调用数据存储系统250中的数据、代码等，也可以将数据、指令等存入数据存储系统250中。
计算模块211使用目标模型/规则201对输入的数据进行处理。具体地，目标模型/规则201可以是图7所示的音频处理系统600、图9所示的音频处理系统700或图12所示的音频处理系统800中的各个模块。
最后，I/O接口212将处理结果返回给客户设备240，提供给用户。
更深层地，训练设备220可以针对不同的目标，基于不同的数据生成相应的目标模型/规则201，以给用户提供更佳的结果。
在附图2中所示情况下，用户可以手动指定输入执行设备210中的数据，例如，在I/O接口212提供的界面中操作。另一种情况下，客户设备240可以自动地向I/O接口212输入数据并获得结果，如果客户设备240自动输入数据需要获得用户的授权，用户可以在客户设备240中设置相应权限。用户可以在客户设备240查看执行设备210输出的结果，具体的呈现形式可以是显示、声音、动作等具体方式。客户设备240也可以作为数据采集端将采集到的采集音频存入数据库230。
值得注意的，附图2仅是本申请实施例提供的一种系统架构的示意图，图中所示设备、器件、模块等之间的位置关系不构成任何限制，例如，在附图2中，数据存储系统250相对执行设备210是外部存储器，在其它情况下，也可以将数据存储系统250置于执行设备210中。
如图2所示，根据训练设备220训练得到目标模型/规则201，该目标模型/规则201在本申请实施例中可以是本申请中的神经网络，具体的，本申请实施例提供的神经网络例如可以是CNN，深度卷积神经网络(deep convolutional neural networks,DCNN)，循环神经网络(recurrent neural network，RNN)、前馈神经网络、注意力机制网络、Transformer网络等，这些网络结构广泛应用于语音识别领域中。
由于CNN是一种非常常见的神经网络，下面结合图3重点对CNN的结构进行详细的介绍。如上文的基础概念介绍所述，卷积神经网络是一种带有卷积结构的深度神经网络，是一种深度学习(deep learning)架构，深度学习架构是指通过机器学习的算法，在不同的抽象层级上进行多个层次的学习。作为一种深度学习架构，CNN是一种前馈(feed-forward)人工神经网络，该前馈人工神经网络中的各个神经元可以对输入其中的音频作出响应。
如图3所示，卷积神经网络(CNN)100可以包括输入层110，卷积层/池化层120，其中池化层为可选的，以及神经网络层130。
卷积层/池化层120：
卷积层：
如图3所示卷积层/池化层120可以包括如示例121-126层，在一种实现中，121层为卷积层，122层为池化层，123层为卷积层，124层为池化层，125为卷积层，126为池化层；在另一种实现方式中，121、122为卷积层，123为池化层，124、125为卷积层，126为池化层。即卷积层的输出可以作为随后的池化层的输入，也可以作为另一个卷积层的输入以继续进行卷积操作。
以卷积层121为例，卷积层121可以包括很多个卷积算子，卷积算子也称为核，其在自然语言处理中的作用相当于一个从输入的语音或语义信息中提取特定信息的过滤器，卷积算子本质上可以是一个权重矩阵，这个权重矩阵通常被预先定义。
这些权重矩阵中的权重值在实际应用中需要经过大量的训练得到，通过训练得到的权重值形成的各个权重矩阵可以从输入音频中提取信息，从而帮助卷积神经网络100进行正确的预测。
当卷积神经网络100有多个卷积层的时候，初始的卷积层(例如121)往往提取较多的一般特征，该一般特征也可以称之为低级别的特征；随着卷积神经网络100深度的加深，越往后的卷积层(例如126)提取到的特征越来越复杂，比如高级别的语义之类的特征，语义越高的特征越适用于待解决的问题。
池化层：
由于常常需要减少训练参数的数量，因此卷积层之后常常需要周期性的引入池化层，即如图3中120所示例的121-126各层，可以是一层卷积层后面跟一层池化层，也可以是多层卷积层后面接一层或多层池化层。在自然语言数据处理过程中，池化层的唯一目的就是减少数据的空间大小。
神经网络层130：
在经过卷积层/池化层120的处理后，卷积神经网络100还不足以输出所需要的输出信息。因为如前所述，卷积层/池化层120只会提取特征，并减少输入数据带来的参数。然而为了生成最终的输出信息(所需要的类信息或别的相关信息)，卷积神经网络100需要利用神经网络层130来生成一个或者一组所需要的类的数量的输出。因此，在神经网络层130中可以包括多层隐含层(如图3所示的131、132至13n)以及输出层140，该多层隐含层中所包含的参数可以根据具体的任务类型的相关训练数据进行预先训练得到，例如该任务类型可以包括语音或语义识别、分类或生成等等……
在神经网络层130中的多层隐含层之后，也就是整个卷积神经网络100的最后层为输出层140，该输出层140具有类似分类交叉熵的损失函数，具体用于计算预测误差，一旦整个卷积神经网络100的前向传播(如图3由110至140的传播为前向传播)完成，反向传播(如图3由140至110的传播为反向传播)就会开始更新前面提到的各层的权重值以及偏差，以减少卷积神经网络100的损失及卷积神经网络100通过输出层输出的结果和理想结果之间的误差。
需要说明的是，如图3所示的卷积神经网络100仅作为一种卷积神经网络的示例，在具体的应用中，卷积神经网络还可以以其他网络模型的形式存在，例如，如图4所示的多个卷积层/池化层并行，将分别提取的特征均输入给全神经网络层130进行处理。
图5是本申请实施例提供的一种芯片硬件结构图。
图3和图4所示的基于卷积神经网络的算法可以在图5所示的NPU芯片中实现。
神经网络处理器NPU 50NPU作为协处理器挂载到主CPU(Host CPU)上，由Host CPU分配任务。NPU的核心部分为运算电路50，控制器504控制运算电路503提取存储器(权重存储器或输入存储器)中的数据并进行运算。
在一些实现中，运算电路503内部包括多个处理单元(Process Engine,PE)。在一些实现中，运算电路503是二维脉动阵列。运算电路503还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在一些实现中，运算电路503是通用的矩阵处理器。
举例来说，假设有输入矩阵A，权重矩阵B，输出矩阵C。运算电路从权重存储器502中取矩阵B相应的数据，并缓存在运算电路中每一个PE上。运算电路从输入存储器501中取矩阵A数据与矩阵B进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累加器508accumulator中。
向量计算单元507可以对运算电路的输出做进一步处理，如向量乘，向量加，指数运算，对数运算，大小比较等等。例如，向量计算单元507可以用于神经网络中非卷积/非FC层的网络计算，如池化(Pooling)，批归一化(Batch Normalization)，局部响应归一化(Local Response Normalization)等。
在一些实现种，向量计算单元能507将经处理的输出的向量存储到统一缓存器506。例如，向量计算单元507可以将非线性函数应用到运算电路503的输出，例如累加值的向量，用以生成激活值。在一些实现中，向量计算单元507生成归一化的值、合并值，或二者均有。在一些实现中，处理过的输出的向量能够用作到运算电路503的激活输入，例如用于在神经网络中的后续层中的使用。
统一存储器506用于存放输入数据以及输出数据。
存储单元访问控制器505(Direct Memory Access Controller，DMAC)将外部存储器中的输入数据搬运到输入存储器501和/或统一存储器506、将外部存储器中的权重数据存入权重存储器502，以及将统一存储器506中的数据存入外部存储器。
总线接口单元(Bus Interface Unit，BIU)510，用于通过总线实现主CPU、DMAC和取指存储器509之间进行交互。
与控制器504连接的取指存储器(instruction fetch buffer)509，用于存储控制器504使用的指令；
控制器504，用于调用指存储器509中缓存的指令，实现控制该运算加速器的工作过程。
一般地，统一存储器506，输入存储器501，权重存储器502以及取指存储器509均为片上(On-Chip)存储器，外部存储器为该NPU外部的存储器，该外部存储器可以为双倍数据率同步动态随机存储器(Double Data Rate Synchronous Dynamic Random AccessMemory，简称DDR SDRAM)、高带宽存储器(High Bandwidth Memory，HBM)或其他可读可写的存储器。
其中，图3所示的卷积神经网络中各层的运算可以由运算电路503或向量计算单元507执行。
上文中介绍的图2中的执行设备210能够执行本申请实施例的音频处理方法的各个步骤，图2所示的CNN模型和图3所示的芯片也可以用于执行本申请实施例的音频处理方法的各个步骤。
上文结合图1至图5对本申请实施例涉及的神经网络的基本内容以及相关的装置和模型进行了详细的介绍。
图6是一种音频处理系统的示意性结构图。
音频处理系统400包括语音活动检测(voice activity detection，VAD)模块、重叠检测模块、重叠分离模块、目标识别模块、语音识别模块。
将音频输入VAD模块，VAD模块利用VAD技术，检测、分离出多个语音段落。VAD又可以称为语音端点检测或语音边界检测，用于检测语音的开始时间和结束时间，从而能够在声音信号流中识别和消除长时间的静音期。每个语音段落均为有效语音片断，即每个语音段落中的语音连续。
将语音段落输入重叠检测模块，从而判断语音段落是否存在目标语音的重叠。
语音重叠是指语音段落在同一时间存在多个目标的声音，即多个目标的声音在同一时间发生重叠。
重叠检测模块也可以理解为对语音段落中是否存在多个目标的声音进行检测。由于语音段落是经过VAD模块处理的，因此，语音段落存在多个目标的语音，可以是两个目标的声音在时间上不存在间隔，也可以是两个目标的声音在时间上重叠。两个目标的声音在时间上不存在间隔的情况几乎不会出现，因此，对语音段落中是否存在多个目标的声音进行检测也可以理解为对多个目标的语音是否重叠进行检测。
如果语音段落存在语音重叠，可以将语音段落输入重叠分离模块，进行语音分离，从而得到多个分离后的语音段落。每个语音段落对应于一个目标。之后，将每个分离后的语音段落输入目标识别模块。
如果语音段落不存在语音重叠，则将不存在重叠的语音段落输入目标识别模块。
目标识别模块用于对输入的语音段落进行标记，确定语音段落对应的说话人。
之后，将标记后的语音段落输入语音识别模块，识别每个语音段落的语义，并记录该语义以及对应的目标。
可以对会议、讨论等场景的声音进行采集以获取音频。对于会议、讨论等场景，同一时刻通常仅有一个说话人，即大多数时间不存在语音重叠。对每一个语音段落进行重叠检测，占用较多的处理资源。
另外，在进行语音识别时，一般情况下，按照音频中语音的先后顺序进行语音识别。也就是说，将标记后的语音段落按照在音频中的时间顺序输入语音识别模块，以识别每个语音段落的语义。通过上述方式识别的语义准确性较低。
为了解决上述问题，本申请实施例提供了一种音频处理的方法，利用音频处理系统对音频进行处理。
下面结合图7对本申请实施例的音频处理系统进行详细的介绍。
图7是本申请实施例提供的一种音频处理系统的示意性结构图。
音频处理系统600用于对音频进行处理。音频可以是对会议等场景进行采集得到的。音频处理系统600用于记录该音频中多个目标的语音对应的语义。
音频处理系统600包括VAD模块610、目标识别模块620、分离模块630、目标识别模块640、语音识别模块650。其中，目标识别模块620和目标识别模块640可以是相同或不同的模块。在一些实施例中，目标识别模块620和目标识别模块640可以是同一个模块。
音频处理系统600中的VAD模块610中可以包括一个用于进行有效语音片断分离的AI模型，称为VAD模型，或者，VAD模块610可以通过接口调用VAD模型，以实现对输入的音频进行有效语音片断分离的功能。VAD模型可以是预训练完成的一种神经网络模型，例如CNN、RNN、前馈网络等。
VAD模块610用于对输入的音频进行处理，以得到语音段落。
VAD技术根据人说话有间断性的特点，检测、分离出有效语音片断，从而在后续步骤中能够对有效语音片断和无声或仅含背景噪声的片断分别进行处理。
VAD技术的实质是提取出语音信号不同于噪声信号的特征参数，并以此为依据在输入的音频中检测出有效的语音片断。通常用于语音活动性检测的参数主要多是基于短时能量、过零率、熵、时域和频域的基音检测等。
如图8所示，在目标1、目标2、目标3进行会话(会议)时进行声音的采集，从而得到一段音频。在图8中，对于每一个目标，以时间为横坐标，阴影表示该目标说话，无阴影也标识该目标没有说话。将该音频输入VAD模块610，可以得到语音段落1、语音段落2、语音段落3、语音段落4。
目标识别模块620可以用于根据多个目标的语音，判断语音段落是否对应于该多个目标中的一个目标。
具体地，目标识别模块620包括特征提取模块621和分类模块622。
特征提取模块621可以包括用于进行提取语音特征的AI模型，称为特征提取模型，或者，特征分割模块130可以通过接口调用特征提取模型，以实现语音特征的提取功能。特征提取模型对输入的语音段落进系统特征提取，以得到该语音段落的语音特征。特征提取模型可以是预训练完成的一种神经网络模型，例如CNN、RNN、前馈网络、attention机制网络、transformer等。
分类模块622可以包括用于根据多个目标的语音特征，以及语音段落的语音特征，对语音段落进行分类的AI模型，称为分类器，或者，分类模块622可以通过接口调用分类器，以实现对语音段落进行分类的功能。分类器可以判断语音段落的语音特征是否与该多个目标中的一个目标的语音特征相匹配。
例如，分类模块622可以将每个目标作为一种类别。分类模块622可以根据语音段落的语音特征与每个目标的语音特征，确定该语音段落属于每个目标的概率。
如果语音段落属于多个目标中某一目标的语音的概率大于属于其他目标的概率，且属于该目标的概率大于或等于预设值，则认为该语音段落为该目标的语音。已识别出该语音段落对应的目标，即完成了对语音段落的标记，该语音段落为已标记语音
如果语音段落属于多个目标中任一目标的语音的概率均小于预设值，则该语音段落为未识别的语音。
可以将已识别的语音输入语音识别模块650。
对于未识别的语音，可以进行语音分离。
具体地，可以将未识别的语音输入分离模块630。
如图8所示，将语音段落1至语音段落4分别输入目标识别模块620，可以确定语音段落1属于目标3，语音段落3属于目标1，语音段落4属于目标3。语音段落2为未识别语音。
分离模块630中可以包括用于进行语音分离的AI模型，称为语音分离模型，或者，分离模块630可以通过接口调用语音分离模型，以实现对输入的未识别进行分离的功能。分离模型可以对输入的语音进行分离，输出至少一个分离语音。每个分离语音对应于一个目标或非目标。分离模型可以是预训练完成的一种神经网络模型，例如CNN、RNN、前馈网络、attention机制网络、transformer等。一般情况下，与特征提取模型相比，分离模型的结构较为复杂。
语音段落中可能存在该多个目标之外的非目标的语音。而目标识别模块620仅能够识别出语音段落是否对应于一个目标。未识别语音可能对应于一个非目标。因此，分离模块630的输出，可以是一个或多个分离语音。
当分离模块630的输出为一个分离语音时，该分离语音是非目标的语音。当分离模块630的输出为一个分离语音时，可以不再对该分离语音进行处理。
当分离模块630的输出为多个分离语音时，该多个分离语音中的每个分离语音是一个目标或非目标的语音。
将每个分离语音，以及多个目标的语音特征输入目标识别模块640。目标识别模块640可以用于确定每个分离语音所属的目标。目标识别模块640与目标识别模块620可以相同或不同。
如果分离语音属于各个目标的概率均低于预设值，可以认为该分离语音不属于该多个目标中的任何一个目标。对于该分离语音可以不再进行任何处理。
如果分离语音属于某个目标的概率大于该分离语音属于其他目标的概率，且分离语音属于该目标的概率大于预设值，可以认为该分离语音属于该目标，从而确定了分离语音对应的目标，即完成了对分离语音的标记，该分离语音为已标记语音。
如图8所示，将语音段落2输入分离模块630，可以获得两个分离语音。将两个分离语音分别输入目标识别模块640，可以得到两个分离语音中的一个分离语音属于目标1，另一个目标语音属于目标2。
在一些实施例中，可以将未识别语音输入重叠检测模块660。
重叠检测模块660可以包括用于检测由于未识别语音中是否存在语音重叠的AI模型，称为重叠检测模型，或者，重叠检测模块660可以通过接口调用重叠检测模型，以实现对未识别语音中是否存在语音重叠进行检测的功能。重叠检测模型可以是预训练完成的一种神经网络模型，例如CNN、RNN、前馈网络、attention机制网络、transformer等。
由于目标识别模块620仅用于对目标的语音进行标记，未识别的语音可以是非目标的语音，也可以是重叠语音。利用重叠检测模块660，可以确定未识别的语音是否为重叠语音。
当未识别的语音为重叠语音时，可以将该未识别语音(即重叠语音)输入分离模块630。
当未识别的语音不是重叠语音时，该未识别语音是非目标的语音，可以不再对该未识别语音进行处理。或者，可以将未识别语音标记为非目标的语音，进行后续处理。例如，可以将非目标的语音输入语音识别模块650。
可以将已标记语音输入语音识别模块650。
语音识别模块650可以包括用于进行语义识别的AI模型，称为语音识别模型，或者，语音识别模块650可以通过接口调用语音识别模型，以实现对输入的音频的语义识别的功能。语音识别模型可以是预训练完成的一种神经网络模型，例如CNN、RNN、前馈网络、attention机制网络、transformer等。
根据时间信息，以及每个已标记语音所属的目标，可以记录该已标记语音的语义。
从而，音频处理系统600可以将音频的内容转换为文字并进行记录，以生成会议纪要。
在会议过程中，仅在很少的情况下会存在语音重叠。大多数情况，语音不会存在重叠。为了分别对每个目标的语音进行识别，需要确定每个未重叠的语音对应的目标，以及每个分离后的语音对应的目标。音频处理系统600通过对每个待处理语音进行目标识别，并对于与不是与目标对应的待处理语音进行语音分离，无需对每个待处理语音进行重叠检测或语音分离，降低对资源的占用。
在语音识别模块650对多个目标进行语音识别时，可以对每个目标的语音分别进行处理。
在一段时间内，一个目标的语音对应的语义一般存在着逻辑上的关联性。在会议过程中，与会者交替发言，即各个目标的语音交替出现。一个目标的前后语句上的依赖关系会更强。对每个目标的语音分别进行处理，与按照时间顺序进行语音识别的方式相比，可以提高语音识别的准确性。
可以将多个目标的语音依次输入语音识别模型。从而，实现对多个目标的语音的分别处理。
或者，也可以利用多个语音识别模型对多个目标的语音进行处理。多个语音识别模型可以与多个目标一一对应，也就是说，每个语音识别模型可以与一个目标对应，用于处理一个目标的语音。
该多个语音识别模型可以并行进行语音识别，以提高语音识别的效率。
在一些情况下，由于该多个目标的语音的时间长度不同，部分目标的语音的时间长度很短。每个目标对应于一个语音识别模型，会占用较多的资源。
为了减小对资源的占用，如果一些目标的语音时间较短，可以在该目标对应的语音识别模型完成对该目标的语音识别之后，释放该目标对应的语音识别模型占用的资源。或者，在该目标对应的语音识别模型完成对该目标的语音识别之后，对其他目标的语音进行识别。
或者，多个语音识别模型可以并行进行语音识别，可以由一个语音识别模型对多个时间较短的目标的语音进行识别。这种情况下，在该语音识别模块对其中一个目标的语音的处理过程中，对其他目标的语音不进行处理，对于该语音识别模型，在时间上对该多个目标的语音实现分别处理。
进一步地，音频处理系统600还可以包括主题模块。
主题模块可以包括用于进行语义类别的AI模型，称为主题模型，或者，主题模块650可以通过接口调用主题模型，以实现对输入的语义进行分类的功能。主题模型可以是隐含狄利克雷分布(Latent Dirichlet allocation，LDA)模型。
LDA模型通过非监督学习的方式将输入的语义进行聚类，聚类结果是一种主题(topic)，要主题的数目可以是事先指定的。将采集音频中多个目标对应的语义输入主题模块，可以得到采集音频对应的一个或多个主题。记录采集音频对应的主题，便于对采集音频的管理以及对采集音频的语义的管理。
输入音频处理系统600的音频可以是麦克风采集额音频，也可以是已经去除噪声的音频。
图9是本申请实施例提供的一种音频的处理系统的示意性结构图。
语音识别对语音的质量要求较高。一般情况下，可以采用麦克风阵列进行录音。根据麦克风阵列中每个麦克风单元之间的相对位置，以及每个麦克风单元采集的声音之间的时间差，可以确定声源的位置。根据声源的位置，可以去除非声源位置传输至麦克风阵列的声音。
因此，利用麦克风阵列采集音频，可以对音频进行降噪处理，仅保留语音，去除其他的声音，之后对语音进行语音识别。
例如，在室外进行的讨论等一些场景下，无法提供麦克风阵列。
本申请实施例提供了一种音频的处理系统700，可以在不使用麦克风阵列的情况下，降低采集的音频中的噪声。
音频的处理系统700包括对齐模块710和去噪模块720。
对齐模块710用于根据所述每个音频的时间信息，从每个采集音频中确定对齐音频，每个对齐音频是一个采集音频在第一时间段内的部分。
第一时间段内的开始时间不早于该多个音频中最晚开始的音频的开始时间。第一时间段内的结束时间不晚于该多个音频中最早结束的音频的结束时间。也就是说，该多个音频均包括第一时间段的部分。
如图10所示，音频1、音频2、音频3分别为音频的处理系统700接收的3个音频。
音频1的开始时间为11:40:01.4，结束时间为12:40:01.5。音频2的开始时间为11:40:01.6，结束时间为12:40:01.6。音频3的开始时间为11:40:01.5，结束时间为12:40:01.6。
将音频1、音频2、音频3中最晚开始的音频2的开始时间最为第一时间段最早的开始时间。将音频1、音频2、音频3中最早结束的音频1的结束时间最为第一时间段最晚的结束时间。
也就是说，可以确定各终端设备共同进行音频采集的最长时间段。在该最长时间段内的每个音频可以作为虚拟麦克风阵列中的一个语音通道。以该最长时间段的开始时间作为基准开始时间，利用多通道滤波器算法对基准开始时间之后的该最长时间段内的各个音频进行处理。
音频1、音频2、音频3可以是由相同或不同的电子设备采集的。如图11所示，用户围着咖啡厅桌子进行会议。本申请实施例中，用户提供两个或以上的终端设备进行音频采集。终端设备的数量不必和用户数量一致，终端设备的数量可以多于或少于用户数量。用户可以利用随身携带的电子设备如手机、平板电脑、可穿戴设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personaldigital assistant，PDA)等进行录音，以得到多个采集音频。
将每个采集音频中第一时间段内的对齐音频输入去噪模块720。
去噪模块720利用多通道滤波器算法，去除音频中的噪声。
多个终端设备可构成一个虚拟麦克风阵列，利用多通道滤波器算法，可以去除噪声，实现语音增强。
将每个对齐音频作为一个通道的音频，确定每个通道的能量谱密度，即每个通道中声音的频率分布。将每个通道中声音的频率分布作为一个向量，计算协方差矩阵。协方差矩阵用于描述向量中各个变量的相关性。通过计算协方差矩阵，可以确定多个对齐音频的频率相关性。
可以确定相关性较大的一组频率为语音的频率组，与该语音的频率组相关性较小的频率为噪声的频率组。在一些实施例中，可以将相关性大于预设值的一组频率确定为语音的频率组。
根据噪声的频率组和语音的频率组，对采集音频或对齐音频进行滤波处理，可以得到去除噪声后的音频。
音频处理系统700利用多通道滤波器算法，对会议系统采集的多个音频进行处理，能够去除音频中的噪声，得到去除噪声后的音频。
在没有会议专用录音设备的场所进行会议，与会者必需利用随身携带的终端设备采集音频。本申请实施例提出的音频处理系统，利用两个或以上的终端设备进行音频采集。通过去噪处理，有利后续的语音识别。
这种场景中，进行音频采集的终端设备可以安装特定的应用程序。其中一个终端设备为会议发起设备，通过无线信号(包括但不限于使用蓝牙和无线网络等)传递同步讯息，例如设定会议录音开始时间。
终端设备可以接收用户的操作，以开始音频采集。或者，终端设备可以接收会议开始时间，在会议开始时间开始进行音频的采集。
会议系统包括多个终端设备。在一些实施例中，第一终端设备获取用户输入的会议开始时间，并将会议开始时间发送至其他终端设备。在会议开始时间，会议系统中的多个终端设备同时开始进行音频的采集。
在另一些实施例中，第一终端设备获取用户的指示以立即开启音频的采集。第一终端设备向其他终端设备发送指示信息，以指示其他终端设备立即开始音频的采集。
在又一些实施例中，各个终端设备分别接收用户的指示信息，以开始音频的采集。
第一终端设备可以是该多个终端设备中任一个终端设备，特定的终端设备。
会议结束的指示与会议开始的指示类似。终端设备可以接收用户的操作，以结束音频采集。或者，终端设备可以接收会议结束时间，在会议结束时间停止进行音频的采集。
会议完毕，所有个人设备停止录音，并把录音和相关元数据上传到服务器等电子设备。完成上传后，服务器执行时间同步和去噪处理，以及后续的语音识别等。相关元数据可以包括但不限于录音开始时间、录音结束时间等。
为了确定每个音频的时间信息，终端设备可以接收时间服务器，以较准时间。特定的应用程序可以设置界面，用户根据该界面的操作，可以控制终端设备向时间服务器发送请求，并接收时间服务器发送的信息，以进行终端设备时间的校准。
图12是本申请实施例提供的一种音频处理系统的示意性结构图。
音频处理系统800用于获取每个目标的语音特征。
音频处理系统800包括语音识别模块810、匹配模块820、特征提取模块830。
可以设置预设口令。每个目标朗读预设口令。多个电子设备可以采集目标朗读预设口令时的待测语音。每个电子设备可以对每个目标的待测语音进行采集。
对于每个电子设备采集的每个待测语音，可以利用音频处理系统800进行处理。
语音识别模块810可以包括用于进行语义识别的AI模型，称为语音识别模型，或者，语音识别模块810可以通过接口调用语音识别模型，以实现对输入的音频的语义识别的功能。语音识别模型可以是预训练完成的一种神经网络模型，例如CNN、RNN、前馈网络、attention机制网络、transformer等。
利用语音识别模块810，对每个目标的待测语音进行处理，可以得到每个目标的待测语音的语义。
将每个目标的待测语音的语义输入匹配模块820。匹配模块820用于判断输入的语义与预设口令是否相匹配。如果输入的语义与预设口令匹配，即输入的语义包括预设口令(例如输入的语义与预设口令相同)，则将该语义对应的待测语音输入特征提取模块830。如果输入的语义与预设口令不匹配，即输入的语义不包括预设口令，不再进行后续处理。
特征提取模块830可以包括用于进行提取语音特征的AI模型，称为特征提取模型，或者，特征分割模块830可以通过接口调用特征提取模型，以实现语音特征的提取功能。特征提取模型对输入的语音进行特征提取，以得到该语音的语音特征。特征提取模型可以是预训练完成的一种神经网络模型，例如CNN、RNN、前馈网络、attention机制网络、transformer等。
特征提取模块830对输入的待测语音进行特征提取，以得到待测语音对应的目标的语音特征。目标的语音特征，也可以理解为目标的声纹特征或声纹信息。根据目标的语音特征，可以对语音对应的目标进行识别。
用户可以在应用程序提供的界面输入，预设口令。或者，也可以随机生成预设口令。
各个用户可以朗读该口令。一个或多个终端设备对用户朗读的声音进行采集，以获取检测语音。
可以判断各个终端设备采集的检测语音对应的语义与预设口令是否相同。对语义与预设口令的检测语音进行音频采集的终端设备确定为会议系统中的音频采集设备。此时，终端设备相关元数据还可以与会者数目、与会者的声音特征等。
当然，也可以在输入终端设备的文字与预设口令相同的情况下，确定该终端设备为会议系统中的音频采集设备。
图13是本申请实施例提供的一种音频处理系统的示意性结构图。
音频处理系统1200包括服务器1220和多个电子设备1210。
每个电子设备1210包括可以音频处理系统800和麦克风。服务器1220可以包括音频处理系统600、音频处理系统700。
电子设备1210中的麦克风用于一个或多个目标的待测语音，以及采集音频。
电子设备1210中的音频处理系统800对该电子设备1210采集的每个目标的待测语音进行处理。
由于电子设备与目标的距离等原因，某个电子设备可能对于某些目标的声音无法采集。
如果多个目标的待测语音中至少一个目标的待测语音的语义与预设口令匹配，该电子设备可以用于对采集音频进行采集。如果每个目标的待测语音的语义均与预设口令不匹配，该电子设备不再对采集音频进行采集。
电子设备1210还可以获取每个目标的标识，如每个目标的姓名、标识号(identification，ID)或其他信息。电子设备1210还可以将每个目标的标识发送至服务器1220。
每个电子设备将音频处理系统800处理得到的目标的语音特征传输至音频处理系统600。
电子设备1210中的麦克风进行声音的采集，以获得采集音频。之后，电子设备1210将采集音频传输至服务器1220中的音频处理系统700。
多个电子设备1210中可以确定对采集音频进行采集的开始时间和结束时间。
示例性地，多个电子设备1210中的一个电子设备1210可以确定对采集音频进行采集的开始时间和结束时间，并将该时间发送至多个电子设备1210中的其他电子设备1210。
与利用麦克风阵列进行声音采集的方式相比，本申请实施例中用于进行声音采集的电子设备1210可以是用户能够随身携带的电子产品，电子设备的放置位置较为灵活，能够更好的采集到的每个目标的声音。
音频处理系统700接收多个电子设备发送的采集音频，并进行去噪处理。
对于一个目标，多个电子设备中可以仅有一个电子设备将该个目标的语音特征发送至音频处理系统600。
或者，每个电子设备中的音频处理系统800均可以将各个目标的语音特征发送至音频处理系统600。对每个目标，音频处理系统600可以接收到一个或多个电子设备1210发送的某个目标的语音特征。
对于一个目标，音频处理系统600可以将接收的多个语音特征进行融合，以得到该目标融合后的语音特征。在后续处理中，音频处理系统600以该目标融合后的语音特征作为该目标的语音特征进行处理。
或者，对于一个目标，音频处理系统600可以将接收的多个语音特征中的一个语音特征作为该目标的语音特征，进行后续处理。
音频处理系统600根据每个目标的语音特征，对去噪后的音频进行处理，以得到采集音频的记录文本。记录文本的格式可以参见图14和图15。
如图14所示，可以按照时间顺序记录采集音频中每个目标的语义。或者，如图15所示，可以对每个目标的语义进行整理，对每个目标的语义按照时间顺序记录。
图16是本申请实施例提供的一种音频处理系统所需AI模型训练方法的示意性流程图。
在S1610，获取多个训练数据集和每个训练数据集对应的标注信息。
在S1620，将训练数据集输入初始AI系统，初始AI系统对训练数据集进行处理，以得到训练数据集对应的训练输出信息。
在S1630，根据标注信息和训练输出信息，调整初始AI系统的参数，以最小化训练输出信息和标注信息的差异。
在S1640，使用调整后的参数值返回继续执行步骤S1620和步骤S1630直到得到的损失值逐渐收敛，即得到训练完成的AI系统。
对于VAD模型，每个训练数据集可以包括一段训练音频，训练数据集对应的标注信息可以是训练音频中的有效语音的起始时间和终止时间。训练完成的AI系统即为VAD模型。
应当理解，训练音频中可以包括一段或多段有效语音，训练数据集对应的标注信息包括每段有效语音的起始时间和终止时间。
根据一段音频中有效语音的起始时间和终止时间，在时间上对该音频进行分割，可以得到该音频中的有效语音对应的语音段落。有效语音的起始时间和终止时间之间的音频即为语音段落。
或者，对于VAD模型，每个训练数据集可以包括一段训练音频，训练数据集对应的标注信息可以是训练音频中的有效语音。
对于音频处理系统600和音频处理系统800中采用的特征提取模型，每个训练数据集可以包括一段训练语音段落，训练数据集对应的标注信息可以是训练语音段落对应的目标。
初始AI系统可以包括初始特征提取模型和初始分类模型。初始特征提取模型用于对训练数据集进行处理。初始分类模型用于对初始特征提取模型的输出结果进行处理。通过对AI系统的训练，可以得到训练完成的特征提取模型。
应当理解，每个训练语音段落对应一个目标。也就是说，每个训练语音段落位一个目标的语音。
对于音频处理系统600中采用的分类器，每个训练数据集可以包括多个目标的语音特征，以及训练得到的特征提取模型对一段训练语音进行处理得到的语音特征。训练数据集对应的标注信息可以是该训练语音对应的目标。训练完成的AI系统即为分类器。
或者，对于音频处理系统600的目标训练模块中采用的特征提取模型和分类器，每个训练数据集可以包括多个目标的语音特征以及一段训练语音，训练数据集对应的标注信息可以是该训练语音对应的目标。
初始AI系统可以包括初始特征提取模型和初始分类模型。初始特征提取模型用于对训练数据集中的训练语音进行处理。初始分类模型用于，对训练数据集中的多个目标的语音特征，以及初始特征提取模型的输出结果，进行处理。训练完成的AI系统包括训练完成的特征提取模型和分类器。应当理解，训练数据集中的多个目标的语音特征可以是其他特征提取模型对训练语音进行处理得到的。
应当理解，每个训练语音对应一个目标。
对于分离模型，每个训练数据集可以包括一个训练语音段落。该训练语音段落包括至少一个目标的语音。训练数据集对应的标注信息可以用于指示该训练语音段落中每个目标的语音对应的频率。训练完成的AI系统即为分离模型。
根据每个目标的语音对应的频率，在对语音段落进行滤波处理，可以得到语音段落中每个目标对应的语音。
对于重叠检测模型，每个训练数据集可以包括一个训练语音段落。训练数据集对应的标注信息可以用于指示该训练语音段落是否存在语音重叠。训练完成的AI系统即为重叠检测模型。
对于语音识别模型，每个训练数据集可以包括一个训练语音段落。训练数据集对应的标注信息为所述训练语音段落的语义。训练完成的AI系统即为语音识别模型。
图17是本申请实施例提供的一种音频处理方法的示意性流程图。方法1700可以应用在会议系统。会议系统包括至少一个音频采集设备。方法1700可以由服务器或终端设备执行。
在S1710，接收至少一个音频采集设备采集的至少一段音频。
在S1720，确定所述至少一段音频中多个目标的语音。
音频中可能存在噪声。可以对音频进行去噪的处理。
该会议系统中的音频采集设备可以包括手机、平板电脑、可穿戴设备、笔记本电脑、个人计算机(personal computer，PC)、上网本、个人数字助理(personal digitalassistant，PDA)等终端设备或其他电子设备。
会议系统可以包括一个或多个终端设备，每个终端设备均用于采集音频。
可以获取各个终端设备的麦克风的位置信息，利用各个麦克风的位置信息，确定声源的位置，从而去除声源之外的声音，从而实现对噪声的去除。
一般情况下，终端设备可移动。当终端设备能处于移动的状态，准确获取麦克风的位置较为困难。可以利用多通道滤波器算法进行去噪。
也就是说，在至少一个音频采集设备包括多个终端设备，所述至少一段音频包括每个所述终端设备采集的音频的情况下，可以利用多通道滤波器算法对所述多段音频进行处理，以得到去除噪声后的音频。
利用多通道滤波器算法对采集的音频进行去噪处理，无需获取音频采集设备准确的位置信息，从而可以采用多个终端设备代替麦克风阵列进行音频的采集，降低对音频采集设备的要求。
多通道滤波器算法可以确定相关性较大的一组频率为语音的频率组，与该语音的频率组相关性较小的频率为噪声的频率。在一些实施例中，可以将相关性大于预设值的一组频率确定为语音的频率组。多通道滤波器算法对多段音频进行处理，去除噪声的频率对应的声音，从而得到一段去除噪声后的音频。
之后，可以在去除噪声后的音频中确定多个目标的语音。
由于多个音频是多个终端设备采集的，各个音频的开始时间、结束时间可能存在差异。为了实现更好的去噪效果，可以在去噪之前实现所述多段音频的时间同步。
具体地，可以获取所述多段音频中每段音频的时间信息，以实现所述多段音频的时间同步。之后，可以利用所述多通道滤波器算法对实现时间同步的所述多段音频进行处理。具体地，可以参见图10的说明。
为了减小S1730的计算量，可以进行语音的提取，S1730仅对语音进行处理。可以利用VAD算法，在音频中确定语音。
可以利用VAD算法，确定所述多段音频中的语音。
可以利用VAD算法，对步骤S1710接收的多段音频进行处理，从而得到每段音频中的语音。
当获得该多段音频中的语音之后，还可以对多段音频中的语音进行去噪的处理。
优选地，可以利用VAD算法对去除噪声后的音频进行处理，从而得到至少一个语音。之后，可以从该至少一个语音中确定多个目标中每个目标的语音。
利用VAD，可以提取音频中的语音段落。分别将每个语音段落作为一个待处理语音。
在存在语音重叠时，通过语音识别无法准确确定语音对应的语义。为了记录音频中每个目标对应的语音的语义，可以判断待处理语音是否存在语音重叠，对存在语音重叠的待处理语音进行语音分离，以得到分离后的语音。对分离后的语音，以及不存在语音重叠的语音段落，进行目标识别以及语音识别，从而可以对音频中每个目标对应的语音的语义进行记录。
在一些情况下，待处理语音中多个目标的语音可能存在重叠。为了实现对语音的语义识别，需要对重叠的语音进行分离。
在会议等场景中，一般情况下，在一个时间点仅有一个目标发言，也就是说，存在语音重叠的语音段落数量很少，所占比例很低。如果对每个语音段落均进行语音是否重叠的判断，会占用较多的资源。
可以判断待处理语音是否为多个目标中第一目标的语音。
当所述待处理语音不是第一目标的语音时，对所述待处理语音进行语音分离，以获得至少一个分离语音。之后，可以识别该至少一个分离语音对应的目标。
在一些实施例中，可以将该多个目标分别作为第一目标，判断所述待处理语音是否为该多个目标中任一个目标的语音。当所述待处理语音不是任何一个目标的语音时，对所述待处理语音进行语音分离。
可以根据目标的语音特征，判断待处理语音是否为目标的语音。
在确定语音段落不是目标的语音的情况下，对语音段落进行语音分离，并判断分离后的语音是否与目标对应，可以降低音频处理占用的资源。
可能由于未获取所有目标的语音特征等因素，在根据部分目标的语音特征，判断待处理语音不是该部分目标的语音的情况下，该待处理语音可能是其他目标的语音，不存在语音重叠。
进一步地，当所述待处理语音不是所述第一目标的语音时，还可以判断所述待处理语音是否存在语音重叠。当所述待处理语音存在语音重叠时，对所述待处理语音进行语音分离。
在S1730，分别对所述多个目标中每个目标的语音进行语音识别，以获取每个所述目标的语音对应的语义。
通过S1730，根据不同的目标，分别对所述多个目标中每个目标的语音进行语音识别，而非按照音频中语音在时间上的顺序进行语音识别。语音识别可跟据与同一目标的语义逻辑上的关联关系进行语音识别，提升识别的语义的准确度。
进一步地，可以将所述多个目标的语音输入多个语音识别模型，所述多个语音识别模型用于并行进行语音识别以确定每个所述目标的语音对应的语义。
也就是说，可以多线程并行的方式进行语音识别，同时识别不同目标对应的语音，从而减小语音识别所需的时间。
在S1720之前，可以获取各个目标的语音特征。可以接收目标的语音特征，也可以从存储模块读取目标的语音特征，还可以对目标的语音特征进行检测。
可以获取检测语音。对所述检测语音进行语音识别，以确定所述检测语音的语义。当所述检测语音的语义为预设内容时，对所述检测语音进行特征提取，以得到所述第一目标的语音特征。
从而，在判断所述待处理语音是否为第一目标的语音时，可以根据所述第一目标的语音特征，判断所述待处理语音是否为所述第一目标的语音。
应当理解，该多个目标均可以是第一目标。
在确定检测语音的语义为预设内容时，确定检测语音为第一目标的语音。
另外，还可以获取第一目标的标识。第一目标的标识可以是第一目标的姓名、标识号(identification，ID)、工号等。从而，在会议纪要中对第一目标的标识进行记录，便于会议纪要的查询。
在S1730之后，可以输出会议纪要，所述会议纪要包括所述每个所述目标的语音对应的语义。
会议纪要的格式具体和内容可以参见图14和图15的说明。
会议纪要可以呈现各个目标的发言记录的摘要，并提供各个目标单独的发言语音和文本记录，以供查询分析。可以选择需要获取的目标的文本记录，点击查询完整语音/文本记录。各个目标的语音或文本记录可按不同分类呈现，包括按时间段查询、按讨论主题查询、按各个目标查询等。
在一些实施例中，该至少一个音频包括多段连续语音。
在S1720，可以从每段所述连续语音中确定至少一个目标的语音。
在S1730之后，还可以对每段所述连续语音中每个目标的语音对应的语义进行处理，得到每段所述连续语音中每个目标的语音对应的主题。
由于每个目标的语音对应的语义是通过分别对每个目标的语音进行处理得到的，语义较为准确。因此，在S1730之后，确定每段所述连续语音中每个目标的语音对应的主题，使得主题的确定更加准确。
进一步地，还可以获取第一查询信息。第一查询信息包括用于指示第一主题的主题信息。
可以根据每段所述连续语音中每个目标的语音对应的主题，输出第一音频数据。第一音频数据包括多个语音中所述第一主题对应的至少一个语音。
进一步地，还可以获取第二查询信息。第二查询信息包括用于指示第二目标的目标信息。
可以输出第二音频数据，第二音频数据包括所述第二目标的语音。
应当理解，第二目标与第一目标可以是同一个目标，也可以是不同的目标。
图18是本申请实施例提供的一种查询方法的示意性流程图。
在S1810，获取查询信息，所述查询信息包括用于指示第一主题的主题信息。
在S1820，根据多个语音与多个主题之间的对应关系，输出第一音频数据，第一音频数据包括多个语音中所述第一主题对应的至少一个语音，所述多个语音中的每个所述语音对应于一个目标，每个所述语音的主题是对所述语音对应的语义进行处理得到的，每个所述语音对应的语义是分别对每个所述目标对应的语音进行语音识别得到的，所述多个语音是根据会议系统中至少一个音频采集设备采集的音频数据得到的，所述至少一个音频采集设备采集的音频数据包括多个目标的语音。
对至少一个音频采集设备采集的音频数据进行处理的方式可以参见图17的说明。
进一步地，所述查询信息还包括用于指示第一目标的目标信息；所述第一音频数据中的至少一个语音为所述第一目标的语音。
图19是本申请实施例提供的一种电子装置。
电子装置3000包括存储模块3010和处理模块3020。
存储模块3010用于存储程序指令。
当所述程序指令在处理模块3020中执行时，处理器用于执行图17或图18所示的方法。
当处理模块3020执行图17所示的方法时，电子装置3000也可以称为音频处理装置。
具体地，音频处理装置可以应用于会议系统。会议系统包括至少一个音频采集设备。
处理模块3020用于，接收所述至少一个音频采集设备采集的至少一段音频。
处理模块3020还用于，确定所述至少一段音频中多个目标的语音。
处理模块3020还用于，分别对所述多个目标中每个目标的语音进行语音识别，以获取每个所述目标的语音对应的语义。
可选地，处理模块3020还用于，判断待处理语音是否为所述多个目标中第一目标的语音，所述待处理语音是从所述至少一段音频中确定的。
处理模块3020还用于，当所述待处理语音不是所述第一目标的语音时，对所述待处理语音进行语音分离，以获得分离语音。
处理模块3020还用于，识别所述分离语音对应的目标。
可选地，处理模块3020还用于，当所述待处理语音不是所述第一目标的语音时，判断所述待处理语音是否存在语音重叠。
处理模块3020还用于，当所述待处理语音存在语音重叠时，对所述待处理语音进行语音分离。
可选地，处理模块3020还用于，获取检测语音。
处理模块3020还用于，对所述检测语音进行语音识别，以确定所述检测语音的语义。
处理模块3020还用于，当所述检测语音的语义为预设内容时，对所述检测语音进行特征提取，以得到所述第一目标的语音特征。
处理模块3020还用于，根据所述第一目标的语音特征，判断所述待处理语音是否为所述第一目标的语音。
可选地，处理模块3020还用于，利用声音状态检测VAD算法，确定所述至少一段音频中的多段连续语音；
处理模块3020还用于，从所述多段连续语音中确定所述多个目标中每个目标的语音。
可选地，所述至少一个音频采集设备包括多个终端设备，所述至少一段音频包括每个所述终端设备采集的音频。
处理模块3020还用于，利用多通道滤波器算法对所述多段音频进行处理，以得到去除噪声后的音频。
处理模块3020还用于，从所述去除噪声后的音频中确定所述多个目标的语音。
可选地，处理模块3020还用于，获取所述多段音频中每段音频的时间信息，以实现所述多段音频的时间同步；
处理模块3020还用于，所述利用多通道滤波器算法对多段采集音频进行处理，包括：利用所述多通道滤波器算法对实现时间同步的所述多段音频进行处理。
可选地，处理模块3020还用于，将所述多个目标的语音输入多个语音识别模型，所述多个语音识别模型用于并行进行语音识别。
可选地，处理模块3020还用于，输出会议纪要，所述会议纪要包括所述每个所述目标的语音对应的语义。
可选地，所述至少一个音频包括多段连续语音。
处理模块3020还用于，从每段所述连续语音中确定至少一个目标的语音。
处理模块3020还用于，对每段所述连续语音中每个目标的语音对应的语义进行处理，得到每段所述连续语音中每个目标的语音对应的主题。
可选地，处理模块3020还用于，获取第一查询信息，所述第一查询信息包括用于指示第一主题的主题信息。
处理模块3020还用于，根据每段所述连续语音中每个目标的语音对应的主题，输出第一音频数据，所述第一音频数据包括所述第一主题对应的至少一个语音
可选地，处理模块3020还用于，获取第二查询信息，所述第二查询信息包括用于指示所述多个目标中第二目标的目标信息。
处理模块3020还用于，输出第二音频数据，所述第二音频数据包括所述第二目标的语音。
当处理模块3020执行图18所示的方法时，电子装置3000可以理解为查询装置。
具体地，处理模块3020用于，获取查询信息，所述查询信息包括用于指示第一主题的主题信息；
处理模块3020还用于，根据多个语音与多个主题之间的对应关系，输出第一音频数据，所述第一音频数据包括多个语音中所述第一主题对应的至少一个语音，所述多个语音中的每个所述语音对应于一个目标，每个所述语音的主题是对所述语音对应的语义进行处理得到的，每个所述语音对应的语义是分别对每个所述目标对应的语音进行语音识别得到的，所述多个语音是根据会议系统中至少一个音频采集设备采集的音频数据得到的，所述至少一个音频采集设备采集的音频数据包括多个目标的语音。
可选地，所述查询信息还包括用于指示第一目标的目标信息；所述第一音频数据中的至少一个语音为所述第一目标的语音。
图20是本申请实施例的音频处理装置的硬件结构示意图。图19所示的音频处理装置4000包括存储器4001、处理器4002、通信接口4003以及总线4004。其中，存储器4001、处理器4002、通信接口4003通过总线4004实现彼此之间的通信连接。
存储器4001可以是ROM，静态存储设备和RAM。存储器4001可以存储程序，当存储器4001中存储的程序被处理器4002执行时，处理器4002和通信接口4003用于执行本申请实施例的音频处理方法的各个步骤。
处理器4002可以采用通用的，CPU，微处理器，ASIC，GPU或者一个或多个集成电路，用于执行相关程序，以实现本申请实施例的音频处理装置中的单元所需执行的功能，或者执行本申请方法实施例的音频处理方法。
处理器4002还可以是一种集成电路芯片，具有信号的处理能力，例如，可以是图4所示的芯片。在实现过程中，本申请实施例的音频处理方法的各个步骤可以通过处理器4002中的硬件的集成逻辑电路或者软件形式的指令完成。
上述处理器4002还可以是通用处理器、DSP、ASIC、FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器4001，处理器4002读取存储器4001中的信息，结合其硬件完成本申请实施例的音频处理装置中包括的单元所需执行的功能，或者执行本申请方法实施例的音频处理方法。
通信接口4003使用例如但不限于收发器一类的收发装置，来实现装置4000与其他设备或通信网络之间的通信。例如，可以通过通信接口4003获取音频。
总线4004可包括在装置4000各个部件(例如，存储器4001、处理器4002、通信接口4003)之间传送信息的通路。
图21是本申请实施例的神经网络训练装置的硬件结构示意图。与上述装置3000和装置4000类似，图21所示的神经网络训练装置5000包括存储器5001、处理器5002、通信接口5003以及总线5004。其中，存储器5001、处理器5002、通信接口5003通过总线5004实现彼此之间的通信连接。
可以通过图21所示的神经网络训练装置5000对神经网络进行训练，训练得到的神经网络就可以用于执行本申请实施例的音频处理方法了。
具体地，图21所示的装置可以通过通信接口5003从外界获取训练数据以及待训练的神经网络，然后由处理器根据训练数据对待训练的神经网络进行训练。
应注意，尽管上述装置4000和装置5000仅仅示出了存储器、处理器、通信接口，但是在具体实现过程中，本领域的技术人员应当理解，装置4000和装置5000还可以包括实现正常运行所必须的其他器件。同时，根据具体需要，本领域的技术人员应当理解，装置4000和装置5000还可包括实现其他附加功能的硬件器件。此外，本领域的技术人员应当理解，装置4000和装置5000也可仅仅包括实现本申请实施例所必须的器件，而不必包括图13和图14中所示的全部器件。
应理解，本申请实施例中的处理器可以为中央处理单元(central processingunit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digital signalprocessor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
还应理解，本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器(random accessmemory，RAM)可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，DR RAM)。
上述各个附图对应的流程的描述各有侧重，某个流程中没有详述的部分，可以参见其他流程的相关描述。
本申请实施例还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质具有程序指令，当所述程序指令被直接或者间接执行时，使得前文中的方法得以实现。
本申请实施例中，还提供了一种包含指令的计算机程序产品，当其在计算设备上运行时，使得计算设备执行前文中的方法，或者使得所述计算设备实现前文中的装置的功能。
本申请实施例还提供一种芯片系统，其特征在于，所述芯片系统包括至少一个处理器，当程序指令在所述至少一个处理器中执行时，使得前文中的方法得以实现。
上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质。半导体介质可以是固态硬盘。
应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，其中A、B可以是单数或者复数。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系，但也可能表示的是一种“和/或”的关系，具体可参考前后文进行理解。
本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a、b或c中的至少一项(个)，可以表示：a，b，c，a-b，a-c，b-c或a-b-c，其中a、b、c可以是单个，也可以是多个。
应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (18)

1.一种音频处理方法，其特征在于，应用于会议系统，其中，所述会议系统包括至少一个音频采集设备，所述方法包括：
接收所述至少一个音频采集设备采集的至少一段音频；
确定所述至少一段音频中多个目标的语音；
分别对所述多个目标中每个目标的语音进行语音识别，以获取每个所述目标的语音对应的语义。
2.根据权利要求1所述的方法，其特征在于，所述确定所述至少一段音频中多个目标的语音，包括：
判断待处理语音是否为所述多个目标中第一目标的语音，所述待处理语音是从所述至少一段音频中确定的；
当所述待处理语音不是所述第一目标的语音时，对所述待处理语音进行语音分离，以获得分离语音；
识别所述分离语音对应的目标。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
当所述待处理语音不是所述第一目标的语音时，判断所述待处理语音是否存在语音重叠；
所述对所述待处理语音进行语音分离，包括：当所述待处理语音存在语音重叠时，对所述待处理语音进行语音分离。
4.根据权利要求2或3所述的方法，其特征在于，所述方法还包括：
获取检测语音；
对所述检测语音进行语音识别，以确定所述检测语音的语义；
当所述检测语音的语义为预设内容时，对所述检测语音进行特征提取，以得到所述第一目标的语音特征；
所述判断所述待处理语音是否为第一目标的语音，包括：根据所述第一目标的语音特征，判断所述待处理语音是否为所述第一目标的语音。
5.根据权利要求1-4中任一项所述的方法，其特征在于，所述确定所述至少一段音频中多个目标的语音，包括：
利用声音状态检测VAD算法，确定所述至少一段音频中的多段连续语音；
从所述多段连续语音中确定所述多个目标中每个目标的语音。
6.根据权利要求1-5中任一项所述的方法，其特征在于，所述至少一个音频采集设备包括多个终端设备，所述至少一段音频包括每个所述终端设备采集的音频，
所述确定所述至少一段音频中多个目标的语音，包括：
利用多通道滤波器算法对所述多段音频进行处理，以得到去除噪声后的音频；
从所述去除噪声后的音频中确定所述多个目标的语音。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
获取所述多段音频中每段音频的时间信息，以实现所述多段音频的时间同步；
所述利用多通道滤波器算法对多段采集音频进行处理，包括：利用所述多通道滤波器算法对实现时间同步的所述多段音频进行处理。
8.根据权利要求1-7中任一项所述的方法，其特征在于，所述分别对所述多个目标中每个目标的语音进行语音识别，包括：
将所述多个目标的语音输入多个语音识别模型，所述多个语音识别模型用于并行进行语音识别。
9.根据权利要求1-8中任一项所述的方法，其特征在于，所述方法还包括：
输出会议纪要，所述会议纪要包括所述每个所述目标的语音对应的语义。
10.根据权利要求1-9中任一项所述的方法，其特征在于，所述至少一个音频包括多段连续语音，
所述确定所述至少一段音频中多个目标的语音，包括：从每段所述连续语音中确定至少一个目标的语音；
所述方法还包括：对每段所述连续语音中每个目标的语音对应的语义进行处理，得到每段所述连续语音中每个目标的语音对应的主题。
11.根据权利要求10所述的方法，其特征在于，所述方法还包括：
获取第一查询信息，所述第一查询信息包括用于指示第一主题的主题信息；
根据每段所述连续语音中每个目标的语音对应的主题，输出第一音频数据，所述第一音频数据包括所述第一主题对应的至少一个语音。
12.根据权利要求1-11任一项所述的方法，其特征在于，所述方法还包括：
获取第二查询信息，所述第二查询信息包括用于指示所述多个目标中第二目标的目标信息；
输出第二音频数据，所述第二音频数据包括所述第二目标的语音。
13.一种查询方法，其特征在于，包括：
获取查询信息，所述查询信息包括用于指示第一主题的主题信息；
根据多个语音与多个主题之间的对应关系，输出第一音频数据，所述第一音频数据包括多个语音中所述第一主题对应的至少一个语音，所述多个语音中的每个所述语音对应于一个目标，每个所述语音的主题是对所述语音对应的语义进行处理得到的，每个所述语音对应的语义是分别对每个所述目标对应的语音进行语音识别得到的，所述多个语音是根据会议系统中至少一个音频采集设备采集的音频数据得到的，所述音频数据包括多个目标的语音。
14.根据权利要求13所述的方法，其特征在于，所述查询信息还包括用于指示第一目标的目标信息；所述第一音频数据中的至少一个语音为所述第一目标的语音。
15.一种音频处理装置，其特征在于，包括处理器和存储器，
所述存储器用于存储程序指令；
所述处理器用于执行所述程序指令，以执行权利要求1-12中任一项所述的方法。
16.一种查询装置，其特征在于，包括处理器和存储器，
所述存储器用于存储程序指令；
所述处理器用于执行所述程序指令，以执行权利要求13或14所述的方法。
17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，当所述计算机指令被计算设备执行时，使得所述计算设备执行所述权利要求1-14中任一项权利要求的方法。
18.一种芯片，其特征在于，所述芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，以执行如权利要求1至14中任一项所述的方法。
CN202010920160.3A 2020-09-04 2020-09-04 音频的处理方法和装置 Pending CN112183107A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010920160.3A CN112183107A (zh) 2020-09-04 2020-09-04 音频的处理方法和装置
EP21863307.1A EP4198807A4 (en) 2020-09-04 2021-06-17 AUDIO PROCESSING METHOD AND APPARATUS
PCT/CN2021/100645 WO2022048239A1 (zh) 2020-09-04 2021-06-17 音频的处理方法和装置
US18/178,376 US20230206928A1 (en) 2020-09-04 2023-03-03 Audio processing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010920160.3A CN112183107A (zh) 2020-09-04 2020-09-04 音频的处理方法和装置

Publications (1)

Publication Number Publication Date
CN112183107A true CN112183107A (zh) 2021-01-05

Family

ID=73924188

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010920160.3A Pending CN112183107A (zh) 2020-09-04 2020-09-04 音频的处理方法和装置

Country Status (4)

Country Link
US (1) US20230206928A1 (zh)
EP (1) EP4198807A4 (zh)
CN (1) CN112183107A (zh)
WO (1) WO2022048239A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112817369A (zh) * 2021-01-20 2021-05-18 中国信息通信研究院 用于确定同步噪声模板及用于同步测试的方法、装置
WO2022048239A1 (zh) * 2020-09-04 2022-03-10 华为技术有限公司 音频的处理方法和装置
CN114265373A (zh) * 2021-11-22 2022-04-01 煤炭科学研究总院 综采面一体式操控台控制系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116015996B (zh) * 2023-03-28 2023-06-02 南昌航天广信科技有限责任公司 一种数字会议音频处理方法及系统
CN117351983B (zh) * 2023-12-06 2024-04-19 深圳市龙芯威半导体科技有限公司 一种基于Transformer的语音降噪方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110322872A (zh) * 2019-06-05 2019-10-11 平安科技（深圳）有限公司 会议语音数据处理方法、装置、计算机设备和存储介质
US20190318754A1 (en) * 2018-04-16 2019-10-17 Mitsubishi Electric Research Laboratories, Inc. Methods and Systems for End-to-End Speech Separation with Unfolded Iterative Phase Reconstruction
CN110459240A (zh) * 2019-08-12 2019-11-15 新疆大学 基于卷积神经网络和深度聚类的多说话人语音分离方法
US20200118569A1 (en) * 2018-10-12 2020-04-16 Shenzhen Oceanwing Smart Innovations Technology Co., Ltd Conference sound box and conference recording method, apparatus, system and computer storage medium
CN111429937A (zh) * 2020-05-09 2020-07-17 北京声智科技有限公司 语音分离方法、模型训练方法及电子设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10629188B2 (en) * 2013-03-15 2020-04-21 International Business Machines Corporation Automatic note taking within a virtual meeting
CN107210036B (zh) * 2015-02-03 2021-02-26 杜比实验室特许公司 会议词语云
CN108595436B (zh) * 2018-04-28 2021-09-28 合肥工业大学 情感对话内容的生成方法和系统、存储介质
US10867610B2 (en) * 2018-05-04 2020-12-15 Microsoft Technology Licensing, Llc Computerized intelligent assistant for conferences
US10621991B2 (en) * 2018-05-06 2020-04-14 Microsoft Technology Licensing, Llc Joint neural network for speaker recognition
US11152006B2 (en) * 2018-05-07 2021-10-19 Microsoft Technology Licensing, Llc Voice identification enrollment
CN108986826A (zh) * 2018-08-14 2018-12-11 中国平安人寿保险股份有限公司 自动生成会议记录的方法、电子装置及可读存储介质
CN110246502A (zh) * 2019-06-26 2019-09-17 广东小天才科技有限公司 语音降噪方法、装置及终端设备
CN112183107A (zh) * 2020-09-04 2021-01-05 华为技术有限公司 音频的处理方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190318754A1 (en) * 2018-04-16 2019-10-17 Mitsubishi Electric Research Laboratories, Inc. Methods and Systems for End-to-End Speech Separation with Unfolded Iterative Phase Reconstruction
US20200118569A1 (en) * 2018-10-12 2020-04-16 Shenzhen Oceanwing Smart Innovations Technology Co., Ltd Conference sound box and conference recording method, apparatus, system and computer storage medium
CN110322872A (zh) * 2019-06-05 2019-10-11 平安科技（深圳）有限公司 会议语音数据处理方法、装置、计算机设备和存储介质
CN110459240A (zh) * 2019-08-12 2019-11-15 新疆大学 基于卷积神经网络和深度聚类的多说话人语音分离方法
CN111429937A (zh) * 2020-05-09 2020-07-17 北京声智科技有限公司 语音分离方法、模型训练方法及电子设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022048239A1 (zh) * 2020-09-04 2022-03-10 华为技术有限公司 音频的处理方法和装置
CN112817369A (zh) * 2021-01-20 2021-05-18 中国信息通信研究院 用于确定同步噪声模板及用于同步测试的方法、装置
CN114265373A (zh) * 2021-11-22 2022-04-01 煤炭科学研究总院 综采面一体式操控台控制系统

Also Published As

Publication number Publication date
US20230206928A1 (en) 2023-06-29
EP4198807A1 (en) 2023-06-21
WO2022048239A1 (zh) 2022-03-10
EP4198807A4 (en) 2024-03-20

Similar Documents

Publication Publication Date Title
Xu et al. Convolutional gated recurrent neural network incorporating spatial features for audio tagging
CN110491416B (zh) 一种基于lstm和sae的电话语音情感分析与识别方法
Trigeorgis et al. Adieu features? end-to-end speech emotion recognition using a deep convolutional recurrent network
WO2022048239A1 (zh) 音频的处理方法和装置
Sultana et al. Bangla speech emotion recognition and cross-lingual study using deep CNN and BLSTM networks
CN110033756B (zh) 语种识别方法、装置、电子设备及存储介质
Qamhan et al. Digital audio forensics: microphone and environment classification using deep learning
Agarwal et al. Performance of deer hunting optimization based deep learning algorithm for speech emotion recognition
CN112818861A (zh) 一种基于多模态上下文语义特征的情感分类方法及系统
KR20210052036A (ko) 복수 의도어 획득을 위한 합성곱 신경망을 가진 장치 및 그 방법
CN112183582A (zh) 一种多特征融合的水下目标识别方法
Kadyrov et al. Speaker recognition from spectrogram images
Chandrakala et al. Multi-view representation for sound event recognition
Chakravarty et al. Noise robust ASV spoof detection using integrated features and time delay neural network
Eom et al. Speech Emotion Recognition Using 2D-CNN with Mel-Frequency Cepstrum Coefficients.
Hosseini et al. Multimodal modelling of human emotion using sound, image and text fusion
Liu et al. Learning salient features for speech emotion recognition using CNN
Espi et al. Spectrogram patch based acoustic event detection and classification in speech overlapping conditions
CN113327631B (zh) 一种情感识别模型的训练方法、情感识别方法及装置
Angadi et al. Hybrid deep network scheme for emotion recognition in speech
Amiriparian et al. Humans inside: cooperative big multimedia data mining
Kertész et al. Common sounds in bedrooms (CSIBE) corpora for sound event recognition of domestic robots
CN113869212A (zh) 多模态活体检测方法、装置、计算机设备及存储介质
Spoorthy et al. Polyphonic Sound Event Detection Using Mel-Pseudo Constant Q-Transform and Deep Neural Network
Rajesh et al. Combined evidence of MFCC and CRP features using machine learning algorithms for singer identification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination