CN112581941A - 音频识别方法、装置、电子设备及存储介质 - Google Patents
音频识别方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112581941A CN112581941A CN202011284062.1A CN202011284062A CN112581941A CN 112581941 A CN112581941 A CN 112581941A CN 202011284062 A CN202011284062 A CN 202011284062A CN 112581941 A CN112581941 A CN 112581941A
- Authority
- CN
- China
- Prior art keywords
- audio data
- audio
- effective
- server
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/16—Speech classification or search using artificial neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification
- G10L17/18—Artificial neural networks; Connectionist approaches
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification
- G10L17/22—Interactive procedures; Man-machine interfaces
Abstract
本申请公开了音频识别方法、装置、电子设备及存储介质,涉及智能语音、深度学习及自然语言处理等人工智能领域,其中的方法可包括:在多人对话场景下,获取各音频采集设备采集到的音频数据,不同音频采集设备分别对应于不同的说话人;针对任一音频采集设备采集到的音频数据,分别进行以下处理:确定出采集到的音频数据中的有效音频数据,有效音频数据为来自于该音频采集设备对应的说话人的音频数据;将有效音频数据上传到服务端进行识别。应用本申请所述方案,可提升识别结果的准确性等。
Description
技术领域
本申请涉及人工智能技术领域,特别涉及智能语音、深度学习及自然语言处理领域的音频识别方法、装置、电子设备及存储介质。
背景技术
在多人对话场景中,当多人同时说话时,同一麦克风(mic)会采集到多个说话人的音频数据,如说话人a对着麦克风a说话,同时说话人b也在说话,那么说话人a和说话人b的音频数据均会被麦克风a采集到。
不同说话人的音频数据交织在一起,会导致识别结果混乱,降低识别结果的准确性等。
发明内容
本申请提供了音频识别方法、装置、电子设备及存储介质。
一种音频识别方法,包括:
在多人对话场景下,获取各音频采集设备采集到的音频数据,不同音频采集设备分别对应于不同的说话人;
针对任一音频采集设备采集到的音频数据,分别进行以下处理:确定出采集到的音频数据中的有效音频数据,所述有效音频数据为来自于所述音频采集设备对应的说话人的音频数据;将所述有效音频数据上传到服务端进行识别。
一种音频识别方法,包括:
获取来自客户端的有效音频数据,所述有效音频数据为多人对话场景下,针对任一音频采集设备采集到的音频数据,从中确定出的来自于所述音频采集设备对应的说话人的音频数据,不同音频采集设备分别对应于不同的说话人;
对所述有效音频数据进行识别。
一种音频识别装置,包括:第一获取模块、区分模块以及传输模块;
所述第一获取模块,用于在多人对话场景下,获取各音频采集设备采集到的音频数据,各音频采集设备分别对应于不同的说话人;
所述区分模块,用于针对任一音频采集设备采集到的音频数据,分别确定出采集到的音频数据中的有效音频数据,所述有效音频数据为来自于所述音频采集设备对应的说话人的音频数据;
所述传输模块,用于将所述有效音频数据上传到服务端进行识别。
一种音频识别装置,包括:第二获取模块和识别模块;
所述第二获取模块,用于获取来自客户端的有效音频数据,所述有效音频数据为多人对话场景下,针对任一音频采集设备采集到的音频数据,从中确定出的来自于所述音频采集设备对应的说话人的音频数据,不同音频采集设备分别对应于不同的说话人;
所述识别模块,用于对所述有效音频数据进行识别。
一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如以上所述的方法。
一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使计算机执行如以上所述的方法。
上述申请中的一个实施例具有如下优点或有益效果:不同的音频采集设备分别对应于不同的说话人,对于任意一个音频采集设备采集到的音频数据,可从中有效区分出该音频采集设备对应的说话人的有效音频数据,并仅将有效音频数据上传到服务端进行识别,从而避免了其它说话人的音频数据所造成的干扰,使得对应的识别结果中仅包括该音频采集设备对应的说话人的说话内容,进而提升了识别结果的准确性等。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1为本申请所述音频识别方法第一实施例的流程图;
图2为本申请所述音频识别方法第二实施例的流程图;
图3为本申请所述音频识别方法的整体实现过程示意图;
图4为本申请所述音频识别装置第一实施例40的组成结构示意图;
图5为本申请所述音频识别装置第二实施例50的组成结构示意图;
图6为根据本申请实施例所述方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
另外,应理解,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
图1为本申请所述音频识别方法第一实施例的流程图。如图1所示,包括以下具体实现方式。
在步骤101中,在多人对话场景下,获取各音频采集设备采集到的音频数据,不同音频采集设备分别对应于不同的说话人。
在步骤102中,针对任一音频采集设备采集到的音频数据,分别进行以下处理:确定出采集到的音频数据中的有效音频数据,有效音频数据为来自于该音频采集设备对应的说话人的音频数据;将有效音频数据上传到服务端进行识别。
可以看出,上述方法实施例所述方案中,不同的音频采集设备分别对应于不同的说话人,对于任意一个音频采集设备采集到的音频数据,可从中有效区分出该音频采集设备对应的说话人的有效音频数据,并仅将有效音频数据上传到服务端进行识别,从而避免了其它说话人的音频数据所造成的干扰,使得对应的识别结果中仅包括该音频采集设备对应的说话人的说话内容,进而提升了识别结果的准确性等。
在多人对话场景中,每个说话人可分别对应一个音频采集设备,如麦克风。当多个人同时说话时,同一音频采集设备可能会采集到多个说话人的音频数据。比如,当说话人a和说话人b同时说话时,说话人a的音频采集设备a除了会采集到说话人a的音频数据外,也会采集到说话人b的音频数据,同样地,说话人b的音频采集设备b除了会采集到说话人b的音频数据外,也会采集到说话人a的音频数据。
针对每个音频采集设备采集到的音频数据,可分别按照以下方式进行处理:确定出采集到的音频数据中的有效音频数据,有效音频数据为来自于该音频采集设备对应的说话人的音频数据,仅将确定出的有效音频数据上传到服务端进行识别。
优选地,针对任一音频采集设备,可根据声源位置区分出来自于该音频采集设备对应的说话人的音频数据以及来自于该音频采集设备对应的说话人之外的说话人的音频数据,将来自于该音频采集设备对应的说话人的音频数据作为有效音频数据。
也就是说,确定靠近该音频采集设备的说话人的音频数据才是需要识别的,其它说话人的音频数据是不需要识别的。声源位置不同,如声源远近不同,会导致音频的能量等也不同,相应地,可根据这些信息区分出音频数据对应的说话人是否为该音频采集设备对应的说话人。
上述区分音频数据对应的说话人的方式仅为举例说明,并不用于限制本申请的技术方案,在实际应用中,还可采用其它任意可行的实现方式。
假设采集到的音频数据中同时包括音频数据a和音频数据b,其中,音频数据a对应于说话人a,音频数据b对应于说话人b,对于说话人a对应的音频采集设备a来说,音频数据a为有效音频数据,而音频数据b则为无效音频数据,对于说话人b对应的音频采集设备b来说,音频数据b为有效音频数据,而音频数据a则为无效音频数据。
对于确定出的有效音频数据,还可为其添加预定标识。所述预定标识用于标识对应的音频数据为有效音频数据。所述预定标识的具体形式不限,比如,可以为水印等。
这样,针对任一音频数据,若确定该音频数据中包括所述预定标识,则可确定该音频数据为有效音频数据,并可上传到服务端进行识别,否则,可确定该音频数据为无效音频数据,不向服务端上传。
通过上述处理,相当于将音频采集设备采集到的音频数据中的干扰音频数据过滤掉,仅对保留下来的音频数据进行识别,从而提升了识别结果的准确性等。
优选地,对于任一有效音频数据,在将该有效音频数据上传到服务端之前,还可先对该有效音频数据进行分析,若根据分析结果确定该有效音频数据为需要识别的音频数据,则可将该有效音频数据上传到服务端进行识别,否则,可不向服务端上传该有效音频数据。
对于任一有效音频数据来说,虽然被确定为有效音频数据,但这只能说明该有效音频数据来自于对应的说话人,并不能说明该有效音频数据的内容是何种内容,是否为需要识别的内容,比如,如果是噪音,则不需要识别。
比如,说话人a在对着音频采集设备a说话的过程中,由于喉咙不舒服咳嗽了一段时间,那么咳嗽这段时间对应的音频数据则可以认为是噪音,不是需要识别的音频数据,相应地,可不将咳嗽这段时间对应的音频数据上传到服务端进行识别,以节省传输资源和服务端的计算资源等。
如何对有效音频数据进行分析以确定是否为需要识别的音频数据不作限制。比如,可从有效音频数据中提取预定特征,所述预定特征可以是能够反映说话人实际说话时的语音特点的特征等,根据所述预定特征来确定有效音频数据是否为需要识别的音频数据。
在将有效音频数据上传到服务端时,可将有效音频数据通过采集该有效音频数据的音频采集设备对应的传输链路上传到服务端。
也就是说,不同的音频采集设备可分别对应于不同的传输链路,这样,服务端可方便准确地确定出音频数据对应的说话人等。
服务端可对获取到的有效音频数据进行识别,相应地,还可通过对应的传输链路获取服务端返回的识别结果。
另外,还可获取服务端在确定符合通知触发条件时下发的通知信息,根据所述通知信息,在确定满足再次上传触发条件之前,不向服务端上传确定出的有效音频数据。
比如,说话人a和说话人b同时说话,当说话人a说完之后,说话人b仍在继续说话,这样,说话人a对应的音频采集设备a仍会采集到说话人b的音频数据,由于某种原因,将说话人b的音频数据错误地确定为有效音频数据,即将说话人b的音频数据错误地确定为说话人a的音频数据,继续上传到服务端进行识别,但服务端通过某种方式判断出说话人a已经结束说话,最新上传以及接下来上传的将不是说话人a的音频数据,那么则可认为符合通知触发条件,从而下发通知信息。
如何判断出说话人a已经结束说话不作限制。比如,根据之前的识别结果确定说话人a已经完整表达了想要表达的内容,或者,说话人a已经明确表达了说话结束的意思等。
确定满足再次上传触发条件具体为何种条件同样不作限制。比如,可以是指与上一次上传的时间间隔大于预定时长等。
通过上述处理,可尽可能地避免将错误的音频数据上传到服务端进行识别,从而进一步节省了传输资源和服务端的计算资源等。
图2为本申请所述音频识别方法第二实施例的流程图。如图2所示,包括以下具体实现方式。
在步骤201中,获取来自客户端的有效音频数据,有效音频数据为多人对话场景下,针对任一音频采集设备采集到的音频数据,从中确定出的来自于该音频采集设备对应的说话人的音频数据,不同音频采集设备分别对应于不同的说话人。
在步骤202中,对获取到的有效音频数据进行识别。
优选地,当确定符合通知触发条件时,还可向客户端发送通知信息,以便客户端在满足再次上传触发条件之前,不再上传确定出的有效音频数据。
基于上述介绍,图3为本申请所述音频识别方法的整体实现过程示意图。如图3所示,以任一音频采集设备为例,针对该音频采集设备采集到的交织的音频数据,可确定出其中的有效音频数据,并可为有效音频数据添加水印等,之后,可对有效音频数据进行校验,如确定是否存在水印以及通过分析确定是否为需要识别的音频数据等,进而将校验通过的有效音频数据上传到服务端,服务端可对获取到的有效音频数据进行识别,并可在确定符合通知触发条件时下发通知信息等。
需要说明的是,对于前述的各方法实施例,为了简单描述,将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。另外,某个实施例中没有详述的部分,可以参见其它实施例中的相关说明。
本申请所述方案可应用于各种多人对话场景,包括但不限于以下所示:
1)场景一
当说话人a和说话人b分别佩戴主从耳机进行通话时,说话人a的音频采集设备a(如可位于耳机上)除了会采集到说话人a的音频数据外,也会采集到说话人b的音频数据,同样地,说话人b的音频采集设备b除了会采集到说话人b的音频数据外,也会采集到说话人a的音频数据。
以音频采集设备a为例,说话人a的音频数据为有效音频数据,而说话人b的音频数据则为无效音频数据,可仅将说话人a的有效音频数据上传到服务端,服务端进行识别后,可将识别结果返回,如将音频数据识别为文本内容,进一步地,假设说话人a和说话人b使用的是不同的语言,那么可根据识别结果翻译并生成对应语言(说话人b对应语言)的音频数据,并发送到说话人b侧进行播放等,翻译及生成音频数据的过程也可在服务端完成,具体实现方式不限。
针对音频采集设备b的处理方式和音频采集设备a类似,不再赘述。
上述过程可为实时进行的,即实时采集音频数据,并实际地进行有效音频数据确定及识别等。
2)场景二
说话人a、说话人b和说话人c进行多人会议时,需要生成会议记录。
三个说话人一起讨论问题,以说话人a对应的音频采集设备a为例,说话人a的音频数据为有效音频数据,而说话人b和说话人c的音频数据则为无效音频数据,可仅将说话人a的有效音频数据上传到服务端,服务端进行识别后,可将识别结果返回,如将音频数据识别为文本内容,并可进行记录。
针对说话人b对应的音频采集设备b以及针对说话人c对应的音频采集设备c的处理方式和音频采集设备a类似,不再赘述。
这样,可分别记录下说话人a、说话人b和说话人c的说话内容,从而生成会议记录。
以上是关于方法实施例的介绍,以下通过装置实施例,对本申请所述方案进行进一步说明。
图4为本申请所述音频识别装置第一实施例40的组成结构示意图。如图4所示,包括:第一获取模块401、区分模块402以及传输模块403。
第一获取模块401,用于在多人对话场景下,获取各音频采集设备采集到的音频数据,各音频采集设备分别对应于不同的说话人。
区分模块402,用于针对任一音频采集设备采集到的音频数据,分别确定出采集到的音频数据中的有效音频数据,有效音频数据为来自于该音频采集设备对应的说话人的音频数据。
传输模块403,用于将有效音频数据上传到服务端进行识别。
针对任一音频采集设备,区分模块402可据声源位置区分出来自于该音频采集设备对应的说话人的音频数据以及来自于该音频采集设备对应的说话人之外的说话人的音频数据,将来自于该音频采集设备对应的说话人的音频数据作为有效音频数据。
区分模块402还可为有效音频数据添加预定标识。所述预定标识的具体形式不限,比如,可以为水印等。
相应地,传输模块403可针对任一音频数据,若确定该音频数据中包括预定标识,则可确定该音频数据为有效音频数据,并上传到服务端进行识别,否则,可确定该音频数据为无效音频数据,不向服务端上传。
对于任一有效音频数据,传输模块403在将该有效音频数据上传到服务端之前,还可先对该有效音频数据进行分析,若根据分析结果确定该有效音频数据为需要识别的音频数据,则可将该有效音频数据上传到服务端进行识别,否则,可不向服务端上传该有效音频数据。
在将有效音频数据上传到服务端时,传输模块403可将有效音频数据通过采集该有效音频数据的音频采集设备对应的传输链路上传到服务端,不同音频采集设备分别对应于不同的传输链路。
另外,传输模块403还可获取服务端在确定符合通知触发条件时下发的通知信息,根据通知信息,在确定满足再次上传触发条件之前,不向服务端上传确定出的有效音频数据。
图5为本申请所述音频识别装置第二实施例50的组成结构示意图。如图5所示,包括:第二获取模块501和识别模块502。
第二获取模块501,用于获取来自客户端的有效音频数据,有效音频数据为多人对话场景下,针对任一音频采集设备采集到的音频数据,从中确定出的来自于该音频采集设备对应的说话人的音频数据,不同音频采集设备分别对应于不同的说话人。
识别模块502,用于对有效音频数据进行识别。
另外,识别模块502还可在确定符合通知触发条件时,向客户端发送通知信息,以便客户端在满足再次上传触发条件之前,不再上传确定出的有效音频数据。
在实际应用中,图4和图5所示装置可分别应用于客户端和服务端,具体工作流程请参照前述方法实施例中的相关说明,不再赘述。
总之,采用本申请装置实施例所述方案,不同的音频采集设备分别对应于不同的说话人,对于任意一个音频采集设备采集到的音频数据,可从中有效区分出该音频采集设备对应的说话人的有效音频数据,并仅将有效音频数据上传到服务端进行识别,从而避免了其它说话人的音频数据所造成的干扰,使得对应的识别结果中仅包括该音频采集设备对应的说话人的说话内容,进而提升了识别结果的准确性等。
本申请所述方案可应用于人工智能领域,特别涉及智能语音、深度学习及自然语言处理等领域。
人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科,既有硬件层面的技术也有软件层面的技术,人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术,人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
根据本申请的实施例,本申请还提供了一种电子设备和一种可读存储介质。
如图6所示,是根据本申请实施例所述方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图6所示,该电子设备包括:一个或多个处理器Y01、存储器Y02,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示图形用户界面的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器Y01为例。
存储器Y02即为本申请所提供的非瞬时计算机可读存储介质。其中,所述存储器存储有可由至少一个处理器执行的指令,以使所述至少一个处理器执行本申请所提供的方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的方法。
存储器Y02作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的方法对应的程序指令/模块。处理器Y01通过运行存储在存储器Y02中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的方法。
存储器Y02可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器Y02可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器Y02可选包括相对于处理器Y01远程设置的存储器,这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、区块链网络、局域网、移动通信网及其组合。
电子设备还可以包括:输入装置Y03和输出装置Y04。处理器Y01、存储器Y02、输入装置Y03和输出装置Y04可以通过总线或者其他方式连接,图6中以通过总线连接为例。
输入装置Y03可接收输入的数字或字符信息,以及产生与电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置Y04可以包括显示设备、辅助照明装置和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器、发光二极管显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用集成电路、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,阴极射线管或者液晶显示器监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网、广域网、区块链网络和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务中,存在的管理难度大,业务扩展性弱的缺陷。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。
Claims (18)
1.一种音频识别方法,包括:
在多人对话场景下,获取各音频采集设备采集到的音频数据,不同音频采集设备分别对应于不同的说话人;
针对任一音频采集设备采集到的音频数据,分别进行以下处理:确定出采集到的音频数据中的有效音频数据,所述有效音频数据为来自于所述音频采集设备对应的说话人的音频数据;将所述有效音频数据上传到服务端进行识别。
2.根据权利要求1所述的方法,其中,所述确定出采集到的音频数据中的有效音频数据包括:
根据声源位置区分出来自于所述音频采集设备对应的说话人的音频数据以及来自于所述音频采集设备对应的说话人之外的说话人的音频数据,将来自于所述音频采集设备对应的说话人的音频数据作为所述有效音频数据。
3.根据权利要求1所述的方法,还包括:为所述有效音频数据添加预定标识;
其中,所述将所述有效音频数据上传到服务端进行识别包括:针对任一音频数据,若确定所述音频数据中包括所述预定标识,则确定所述音频数据为所述有效音频数据,并上传到所述服务端进行识别,否则,确定所述音频数据为无效音频数据,不向所述服务端上传。
4.根据权利要求1所述的方法,其中,所述将所述有效音频数据上传到服务端进行识别包括:
对所述有效音频数据进行分析,若根据分析结果确定所述有效音频数据为需要识别的音频数据,则将所述有效音频数据上传到所述服务端进行识别。
5.根据权利要求1所述的方法,其中,所述将所述有效音频数据上传到服务端进行识别包括:
将所述有效音频数据通过所述音频采集设备对应的传输链路上传到所述服务端进行识别,不同音频采集设备分别对应于不同的传输链路。
6.根据权利要求1所述的方法,还包括:
获取所述服务端在确定符合通知触发条件时下发的通知信息,根据所述通知信息,在确定满足再次上传触发条件之前,不向所述服务端上传确定出的所述有效音频数据。
7.一种音频识别方法,包括:
获取来自客户端的有效音频数据,所述有效音频数据为多人对话场景下,针对任一音频采集设备采集到的音频数据,从中确定出的来自于所述音频采集设备对应的说话人的音频数据,不同音频采集设备分别对应于不同的说话人;
对所述有效音频数据进行识别。
8.根据权利要求7所述的方法,还包括:
当确定符合通知触发条件时,向所述客户端发送通知信息,以便所述客户端在满足再次上传触发条件之前,不再上传确定出的所述有效音频数据。
9.一种音频识别装置,包括:第一获取模块、区分模块以及传输模块;
所述第一获取模块,用于在多人对话场景下,获取各音频采集设备采集到的音频数据,各音频采集设备分别对应于不同的说话人;
所述区分模块,用于针对任一音频采集设备采集到的音频数据,分别确定出采集到的音频数据中的有效音频数据,所述有效音频数据为来自于所述音频采集设备对应的说话人的音频数据;
所述传输模块,用于将所述有效音频数据上传到服务端进行识别。
10.根据权利要求9所述的装置,其中,
所述区分模块根据声源位置区分出来自于所述音频采集设备对应的说话人的音频数据以及来自于所述音频采集设备对应的说话人之外的说话人的音频数据,将来自于所述音频采集设备对应的说话人的音频数据作为所述有效音频数据。
11.根据权利要求9所述的装置,其中,
所述区分模块进一步用于,为所述有效音频数据添加预定标识;
所述传输模块进一步用于,针对任一音频数据,若确定所述音频数据中包括所述预定标识,则确定所述音频数据为所述有效音频数据,并上传到所述服务端进行识别,否则,确定所述音频数据为无效音频数据,不向所述服务端上传。
12.根据权利要求9所述的装置,其中,
所述传输模块进一步用于,对所述有效音频数据进行分析,若根据分析结果确定所述有效音频数据为需要识别的音频数据,则将所述有效音频数据上传到所述服务端进行识别。
13.根据权利要求9所述的装置,其中,
所述传输模块将所述有效音频数据通过所述音频采集设备对应的传输链路上传到所述服务端进行识别,不同音频采集设备分别对应于不同的传输链路。
14.根据权利要求9所述的装置,其中,
所述传输模块进一步用于,获取所述服务端在确定符合通知触发条件时下发的通知信息,根据所述通知信息,在确定满足再次上传触发条件之前,不向所述服务端上传确定出的所述有效音频数据。
15.一种音频识别装置,包括:第二获取模块和识别模块;
所述第二获取模块,用于获取来自客户端的有效音频数据,所述有效音频数据为多人对话场景下,针对任一音频采集设备采集到的音频数据,从中确定出的来自于所述音频采集设备对应的说话人的音频数据,不同音频采集设备分别对应于不同的说话人;
所述识别模块,用于对所述有效音频数据进行识别。
16.根据权利要求15所述的装置,其中,
所述识别模块进一步用于,当确定符合通知触发条件时,向所述客户端发送通知信息,以便所述客户端在满足再次上传触发条件之前,不再上传确定出的所述有效音频数据。
17.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使计算机执行权利要求1-8中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011284062.1A CN112581941A (zh) | 2020-11-17 | 2020-11-17 | 音频识别方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011284062.1A CN112581941A (zh) | 2020-11-17 | 2020-11-17 | 音频识别方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112581941A true CN112581941A (zh) | 2021-03-30 |
Family
ID=75122648
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011284062.1A Pending CN112581941A (zh) | 2020-11-17 | 2020-11-17 | 音频识别方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112581941A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114242067A (zh) * | 2021-11-03 | 2022-03-25 | 北京百度网讯科技有限公司 | 语音识别方法、装置、设备和存储介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101030157A (zh) * | 2007-04-20 | 2007-09-05 | 北京搜狗科技发展有限公司 | 一种用户词库同步更新的方法和系统 |
CN102074236A (zh) * | 2010-11-29 | 2011-05-25 | 清华大学 | 一种分布式麦克风的说话人聚类方法 |
US20120072211A1 (en) * | 2010-09-16 | 2012-03-22 | Nuance Communications, Inc. | Using codec parameters for endpoint detection in speech recognition |
US20130289992A1 (en) * | 2012-04-27 | 2013-10-31 | Fujitsu Limited | Voice recognition method and voice recognition apparatus |
CN107039035A (zh) * | 2017-01-10 | 2017-08-11 | 上海优同科技有限公司 | 一种语音起始点和终止点的检测方法 |
CN107316651A (zh) * | 2017-07-04 | 2017-11-03 | 北京中瑞智科技有限公司 | 基于麦克风的音频处理方法和装置 |
CN108683937A (zh) * | 2018-03-09 | 2018-10-19 | 百度在线网络技术(北京)有限公司 | 智能电视的语音交互反馈方法、系统及计算机可读介质 |
CN109994121A (zh) * | 2017-12-29 | 2019-07-09 | 阿里巴巴集团控股有限公司 | 消除音频串扰的系统、方法和计算机存储介质 |
CN110021302A (zh) * | 2019-03-06 | 2019-07-16 | 厦门快商通信息咨询有限公司 | 一种智能办公会议系统及会议记录方法 |
CN110767226A (zh) * | 2019-10-30 | 2020-02-07 | 山西见声科技有限公司 | 具有高准确度的声源定位方法、装置、语音识别方法、系统、存储设备及终端 |
CN111739553A (zh) * | 2020-06-02 | 2020-10-02 | 深圳市未艾智能有限公司 | 会议声音采集、会议记录以及会议记录呈现方法和装置 |
-
2020
- 2020-11-17 CN CN202011284062.1A patent/CN112581941A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101030157A (zh) * | 2007-04-20 | 2007-09-05 | 北京搜狗科技发展有限公司 | 一种用户词库同步更新的方法和系统 |
US20120072211A1 (en) * | 2010-09-16 | 2012-03-22 | Nuance Communications, Inc. | Using codec parameters for endpoint detection in speech recognition |
CN102074236A (zh) * | 2010-11-29 | 2011-05-25 | 清华大学 | 一种分布式麦克风的说话人聚类方法 |
US20130289992A1 (en) * | 2012-04-27 | 2013-10-31 | Fujitsu Limited | Voice recognition method and voice recognition apparatus |
CN107039035A (zh) * | 2017-01-10 | 2017-08-11 | 上海优同科技有限公司 | 一种语音起始点和终止点的检测方法 |
CN107316651A (zh) * | 2017-07-04 | 2017-11-03 | 北京中瑞智科技有限公司 | 基于麦克风的音频处理方法和装置 |
CN109994121A (zh) * | 2017-12-29 | 2019-07-09 | 阿里巴巴集团控股有限公司 | 消除音频串扰的系统、方法和计算机存储介质 |
CN108683937A (zh) * | 2018-03-09 | 2018-10-19 | 百度在线网络技术(北京)有限公司 | 智能电视的语音交互反馈方法、系统及计算机可读介质 |
CN110021302A (zh) * | 2019-03-06 | 2019-07-16 | 厦门快商通信息咨询有限公司 | 一种智能办公会议系统及会议记录方法 |
CN110767226A (zh) * | 2019-10-30 | 2020-02-07 | 山西见声科技有限公司 | 具有高准确度的声源定位方法、装置、语音识别方法、系统、存储设备及终端 |
CN111739553A (zh) * | 2020-06-02 | 2020-10-02 | 深圳市未艾智能有限公司 | 会议声音采集、会议记录以及会议记录呈现方法和装置 |
Non-Patent Citations (1)
Title |
---|
曾超 等: ""有限命令集特定人汉语语音实时识别系统"", 《第三届全国人机语音通讯学术会议(NCMMSC1994)论文集》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114242067A (zh) * | 2021-11-03 | 2022-03-25 | 北京百度网讯科技有限公司 | 语音识别方法、装置、设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111261159B (zh) | 信息指示的方法及装置 | |
US10834456B2 (en) | Intelligent masking of non-verbal cues during a video communication | |
JP2021034003A (ja) | 人物識別方法、装置、電子デバイス、記憶媒体、及びプログラム | |
CN111966212A (zh) | 基于多模态的交互方法、装置、存储介质及智能屏设备 | |
CN111968642A (zh) | 语音数据处理方法、装置及智能车辆 | |
CN112382285B (zh) | 语音控制方法、装置、电子设备和存储介质 | |
CN111755002B (zh) | 语音识别装置、电子设备和语音识别方法 | |
CN112509690A (zh) | 用于控制质量的方法、装置、设备和存储介质 | |
CN110675873A (zh) | 智能设备的数据处理方法、装置、设备及存储介质 | |
CN111443801A (zh) | 人机交互方法、装置、设备及存储介质 | |
CN112420073A (zh) | 语音信号处理方法、装置、电子设备和存储介质 | |
CN112102836B (zh) | 语音控制屏幕显示方法、装置、电子设备和介质 | |
CN109343481B (zh) | 一种控制设备的方法与设备 | |
CN107910006A (zh) | 语音识别方法、装置和多信源语音区分识别系统 | |
CN112581941A (zh) | 音频识别方法、装置、电子设备及存储介质 | |
WO2016206647A1 (zh) | 用于控制机器装置产生动作的系统 | |
CN110600039B (zh) | 发言者属性确定方法、装置、电子设备及可读存储介质 | |
CN112382294B (zh) | 语音识别方法、装置、电子设备和存储介质 | |
CN112382292A (zh) | 基于语音的控制方法和装置 | |
CN111312243B (zh) | 设备交互方法和装置 | |
CN112398952A (zh) | 电子资源推送方法、系统、设备及存储介质 | |
CN112182301A (zh) | 用于提取视频片段的方法和装置 | |
CN112509569B (zh) | 语音数据的处理方法、装置、电子设备及存储介质 | |
CN112201259B (zh) | 声源定位方法、装置、设备和计算机存储介质 | |
CN112581981B (zh) | 人机交互方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |