CN111383661B - 基于车载多音区的音区判决方法、装置、设备和介质 - Google Patents
基于车载多音区的音区判决方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN111383661B CN111383661B CN202010188534.7A CN202010188534A CN111383661B CN 111383661 B CN111383661 B CN 111383661B CN 202010188534 A CN202010188534 A CN 202010188534A CN 111383661 B CN111383661 B CN 111383661B
- Authority
- CN
- China
- Prior art keywords
- sound
- zone
- sound zone
- sound source
- audio data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012549 training Methods 0.000 claims description 40
- 230000015654 memory Effects 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 7
- 238000003062 neural network model Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000008901 benefit Effects 0.000 description 10
- 230000003993 interaction Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
本申请公开了一种基于车载多音区的音区判决方法、装置、设备和介质，涉及语音处理技术。具体实现方案为：获取目标声源在各音区的音频数据；利用预先训练的音区判决模型，基于该判决模型预先学习到的声源位置与各音区的音频数据特征的相关性，对所述目标声源所属的音区进行判决。本申请实施例利用预先学习到声源位置与各音区的音频数据特征的相关性的音区判决模型，对声源所属的音区进行判决，提高了音区判决的准确性，避免出现对后排声源所属音区的误判情形。
Description
技术领域
本申请涉及互联网领域，尤其涉及一种语音处理技术，具体涉及一种基于车载多音区的音区判决方法、装置、设备和介质。
背景技术
随着互联网和智能终端的发展，智能车辆的使用也越来越广泛，司机或乘客可以通过语音与车载终端进行交互，实现播放音乐或导航等操作。为了准确地进行语音识别和交互，通常会在车辆内划分多个音区，先识别出唤醒车载终端的乘客位于哪个音区，然后再针对该乘客的语音进行识别和交互，以便减少来自其他音区语音数据对语音识别的影响。
在车载四音区的场景中，车辆后排的双麦克风一般设置在后车窗中部，也就是后排乘客后脑勺的位置。在前后排乘客都背靠座椅使用语音功能的时候，由于后排乘客的人嘴离自己所在音区的麦克风处的距离，远远小于到其他音区的麦克风处，因此，可以根据麦克风获取的语音信号的幅值较准确的判断乘客是在哪个音区触发了语音唤醒。
但是，由于后排乘客不一定始终都背靠座椅，当后排乘客以不同姿势坐在座椅上触发语音唤醒时，容易发生音区误判的情形，例如，误判为触发语音唤醒的乘客位于前排所在的音区。
发明内容
本申请实施例提供一种基于车载多音区的音区判决方法、装置、设备和介质，以解决现有技术中对音区判决出现误判的情形。
第一方面，本申请实施例提供了一种基于车载多音区的音区判决方法，包括：
获取目标声源在各音区的音频数据；
利用预先训练的音区判决模型，基于该判决模型预先学习到的声源位置与各音区的音频数据特征的相关性，对所述目标声源所属的音区进行判决。
上述申请中的一个实施例具有如下优点或有益效果：利用预先学习到声源位置与各音区的音频数据特征的相关性的音区判决模型，对声源所属的音区进行判决，提高了音区判决的准确性，避免出现对后排声源所属音区的误判情形。
可选的，所述音区判决模型的训练过程包括：
获取训练样本，其中，所述训练样本为多组音频样本数据，每组音频样本数据均为位于任意音区的任意位置的任意声源在各音区的音频数据；
将所述训练样本作为所述音区判决模型的输入，将所述训练样本中标注的每组音频数据对应的声源所属音区作为所述音区判决模型的输出，对所述音区判决模型进行训练。
上述申请中的一个实施例具有如下优点或有益效果：通过获取位于任意音区的任意位置的任意声源在各音区的音频数据，并将其作为训练样本对模型进行训练，让模型能够学习到声源位置与各音区的音频数据特征的相关性，为准确地进行音区判决提供条件。
可选的，所述位于任意音区的任意位置的任意声源，至少包括用户在如下状态下所产生的声源：
位于前排座椅所属的音区，且前排座椅处于向后排平移的状态；
位于后排座椅所属的音区，且背靠座椅靠背；
位于后排座椅所属的音区，且身体坐直；
位于后排座椅所属的音区，且身体向前排座椅前倾。
上述申请中的一个实施例具有如下优点或有益效果：针对几种容易造成音区误判时声源所处的位置，进行样本数据的获取，使得模型在学习声源位置与各音区的音频数据特征的相关性之后，当再次针对处于这些位置的声源进行音区判决时，不会出现误判的情形。
可选的，所述音频数据特征包括音频幅值。
上述申请中的一个实施例具有如下优点或有益效果：音频幅值可以很好的表现出音频的特征，使得依据音频幅值能够在多个音频数据之间进行区分，从而更好的学习到声源位置与各音区的音频数据特征的相关性。
可选的，所述音区判决模型为BP神经网络模型。
第二方面，本申请实施例还提供了一种基于车载多音区的音区判决装置，包括：
音频数据获取模块，用于获取目标声源在各音区的音频数据；
音区判决模块，用于利用预先训练的音区判决模型，基于该判决模型预先学习到的声源位置与各音区的音频数据特征的相关性，对所述目标声源所属的音区进行判决。
第三方面，本申请实施例还提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请任意实施例所述的基于车载多音区的音区判决方法。
第四方面，本申请实施例还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请任意实施例所述的基于车载多音区的音区判决方法。
上述申请中的一个实施例具有如下优点或有益效果：利用预先学习到声源位置与各音区的音频数据特征的相关性的音区判决模型，对声源所属的音区进行判决，提高了音区判决的准确性，避免出现对后排声源所属音区的误判情形。并且，通过获取位于任意音区的任意位置的任意声源在各音区的音频数据，例如针对几种容易造成音区误判时声源所处的位置，并将这些音频数据作为训练样本对模型进行训练，让模型能够学习到声源位置与各音区的音频数据特征的相关性，为准确地进行音区判决提供条件。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请第一实施例的基于车载多音区的音区判决方法的流程示意图；
图2是根据本申请第二实施例的基于车载多音区的音区判决装置的结构示意图；
图3是用来实现本申请实施例的基于车载多音区的音区判决方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是根据本申请第一实施例的基于车载多音区的音区判决方法的流程示意图，本实施例可适用于在车载多音区场景下，对想要与车载终端进行语音交互的声源所属的音区进行判决的情况。该方法可由一种基于车载多音区的音区判决装置来执行，该装置采用软件和/或硬件的方式实现，优选是配置于电子设备中，例如车载终端等。如图1所示，该方法具体包括如下：
S101、获取目标声源在各音区的音频数据。
由于车内空间狭小，位于任何位置的用户说话产生的音频数据，每个音区的麦克风都可以获取到。以车载四音区为例，车辆内划分为四个音区，分别是前排所属音区，左上音区和右上音区，以及后排所属音区，左下音区和右下音区，每个音区都配备有麦克风，以获取各自所在音区的音频数据。当位于前排副驾驶位置的用户说话时，不仅右上音区的麦克风能够获取到音频数据，其他三个音区的麦克风也能获取到。只不过不同音区获取到的音频数据的特征并不相同，例如，与声源位置越接近的麦克风获取到的音频数据的幅值就越大，反之，则越小。
在本申请实施例中，所述目标声源可以是任意用户在任意音区任意位置上说话所产生的声源，并由各音区的麦克风获取该声源所产生的音频数据。接下来就需要根据这些来自不同音区的音频数据，判断当前与车载终端进行语音交互的声源位于哪个音区，以便后续基于该音区的麦克风获取到的语音进行识别和交互。因此，准确地进行音区判决就尤为重要。
S102、利用预先训练的音区判决模型，基于该判决模型预先学习到的声源位置与各音区的音频数据特征的相关性，对所述目标声源所属的音区进行判决。
所述音区判决模型例如可以是BP神经网络模型，通过训练，让音区判决模型能够学习到声源位置与各音区的音频数据特征的相关性，从而当模型获取到来自各音区的音频数据时，可以根据这些音频数据的音频数据特征判断出当前的声源位置。其中，所述音频数据特征例如可以是音频幅值，进一步为一段时间内音频幅值的RMS值(均方值)。
具体的，所述音区判决模型的训练过程包括：
获取训练样本，其中，所述训练样本为多组音频样本数据，每组音频样本数据均为位于任意音区的任意位置的任意声源在各音区的音频数据；
将所述训练样本作为所述音区判决模型的输入，将所述训练样本中标注的每组音频数据对应的声源所属音区作为所述音区判决模型的输出，对所述音区判决模型进行训练。
在模型训练过程中，模型会根据输入的每组音频样本数据和当前的网络参数计算出预测音区，该预测音区与标注的音区之间的差会作为模型的损失函数，来衡量模型当前预测的准确性，从而通过反馈以修正模型当前的网络参数，直到损失函数最小时，训练结束。此时的模型则具有对音区进行判决的能力。根据模型给出的音区判决结果，锁定当前与车载终端进行语音交互的声源实际所处的音区，以及该音区最接近的麦克风位置，以便后续使用该麦克风获取的语音进行识别和交互，从而提高了语音的抗干扰能力。
其中，所述位于任意音区的任意位置的任意声源，至少包括用户在如下状态下所产生的声源：
位于前排座椅所属的音区，且前排座椅处于向后排平移的状态；
位于后排座椅所属的音区，且背靠座椅靠背；
位于后排座椅所属的音区，且身体坐直；
位于后排座椅所属的音区，且身体向前排座椅前倾。
需要说明的是，由于车型初始设计原因及改装成本较大等原因，后排音区的双麦克风通常设置在后车窗中部，也就是后排用户后脑勺的位置。在前后排用户都背靠座椅使用语音功能的时候，由于人嘴离自己位置麦克风处距离远远小于到其他音区的麦克风处，因此，现有技术中直接根据麦克风收音的音频幅值的RMS值就可以较准确的判断出用户是在哪个音区触发了语音交互功能。
但是，当后排用户身体坐直甚至前倾的情况下，根据RMS值判断声源所属的音区，则会出现误判。因为后排双麦克风接收到的音频数据大部分为后排用户讲话从车头返回的反射音，而用户的讲话内容同样会传到前排的双麦克风处，这样前排的麦克风收音RMS值通常会大于后排麦克风，从而导致音区被误判为前排。
本申请实施例中，针对几种容易造成音区误判时声源所处的位置，进行样本数据的获取，也即前排用户座椅向后平移，后排用户背靠靠背、前倾和坐直几种位置，使得模型在学习声源位置与各音区的音频数据特征的相关性之后，当再次针对处于这些位置的声源进行音区判决时，不会仅根据音频幅值进行判断，而是根据各音区获取到的音频数据的幅值之间的相关性来进行判决，因此不会出现误判的情形。当然，本申请实施例中获取的样本数据，除了上述几种位置的声源之外，还可以包括用户处于其他容易产生误判的位置或姿态时所产生的声源，本申请实施例对此不作任何限定。
本申请实施例的技术方案，利用预先学习到声源位置与各音区的音频数据特征的相关性的音区判决模型，对声源所属的音区进行判决，提高了音区判决的准确性，避免出现对后排声源所属音区的误判情形。并且，通过获取位于任意音区的任意位置的任意声源在各音区的音频数据，例如针对几种容易造成音区误判时声源所处的位置，并将这些音频数据作为训练样本对模型进行训练，让模型能够学习到声源位置与各音区的音频数据特征的相关性，为准确地进行音区判决提供条件。
图2是根据本申请第二实施例的基于车载多音区的音区判决装置的结构示意图，本实施例可适用于在车载多音区场景下，对想要与车载终端进行语音交互的声源所属的音区进行判决的情况。该装置可实现本申请任意实施例所述的基于车载多音区的音区判决方法。如图2所示，该装置200具体包括：
音频数据获取模块201，用于获取目标声源在各音区的音频数据；
音区判决模块202，用于利用预先训练的音区判决模型，基于该判决模型预先学习到的声源位置与各音区的音频数据特征的相关性，对所述目标声源所属的音区进行判决。
可选的，所述音区判决模型的训练过程包括：
获取训练样本，其中，所述训练样本为多组音频样本数据，每组音频样本数据均为位于任意音区的任意位置的任意声源在各音区的音频数据；
将所述训练样本作为所述音区判决模型的输入，将所述训练样本中标注的每组音频数据对应的声源所属音区作为所述音区判决模型的输出，对所述音区判决模型进行训练。
可选的，所述位于任意音区的任意位置的任意声源，至少包括用户在如下状态下所产生的声源：
位于前排座椅所属的音区，且前排座椅处于向后排平移的状态；
位于后排座椅所属的音区，且背靠座椅靠背；
位于后排座椅所属的音区，且身体坐直；
位于后排座椅所属的音区，且身体向前排座椅前倾。
可选的，所述音频数据特征包括音频幅值。
可选的，所述音区判决模型为BP神经网络模型。
本申请实施例提供的基于车载多音区的音区判决装置200可执行本申请任意实施例提供的基于车载多音区的音区判决方法，具备执行方法相应的功能模块和有益效果。本实施例中未详尽描述的内容可以参考本申请任意方法实施例中的描述。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图3所示，是根据本申请实施例的基于车载多音区的音区判决方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图3所示，该电子设备包括：一个或多个处理器301、存储器302，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图3中以一个处理器301为例。
存储器302即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的基于车载多音区的音区判决方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的基于车载多音区的音区判决方法。
存储器302作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的基于车载多音区的音区判决方法对应的程序指令/模块(例如，附图2所示的音频数据获取模块201和音区判决模块202)。处理器301通过运行存储在存储器302中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的基于车载多音区的音区判决方法。
存储器302可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据实现本申请实施例的基于车载多音区的音区判决方法的电子设备的使用所创建的数据等。此外，存储器302可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器302可选包括相对于处理器301远程设置的存储器，这些远程存储器可以通过网络连接至实现本申请实施例的基于车载多音区的音区判决方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实现本申请实施例的基于车载多音区的音区判决方法的电子设备还可以包括：输入装置303和输出装置304。处理器301、存储器302、输入装置303和输出装置304可以通过总线或者其他方式连接，图3中以通过总线连接为例。
输入装置303可接收输入的数字或字符信息，以及产生与实现本申请实施例的基于车载多音区的音区判决方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置304可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，利用预先学习到声源位置与各音区的音频数据特征的相关性的音区判决模型，对声源所属的音区进行判决，提高了音区判决的准确性，避免出现对后排声源所属音区的误判情形。并且，通过获取位于任意音区的任意位置的任意声源在各音区的音频数据，例如针对几种容易造成音区误判时声源所处的位置，并将这些音频数据作为训练样本对模型进行训练，让模型能够学习到声源位置与各音区的音频数据特征的相关性，为准确地进行音区判决提供条件。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (10)
1.一种基于车载多音区的音区判决方法，其特征在于，包括：
获取目标声源在各音区的音频数据；
利用预先训练的音区判决模型，基于该判决模型预先学习到的声源位置与各音区的音频数据特征的相关性，对所述目标声源所属的音区进行判决，其中，所述音区判决模型的训练样本为多组音频样本数据，每组音频样本数据均为位于任意音区的任意位置的任意声源在各音区的音频数据；
其中，所述位于任意音区的任意位置的任意声源，至少包括用户在如下状态下所产生的声源：
位于前排座椅所属的音区，且前排座椅处于向后排平移的状态；
位于后排座椅所属的音区，且背靠座椅靠背；
位于后排座椅所属的音区，且身体坐直；
位于后排座椅所属的音区，且身体向前排座椅前倾。
2.根据权利要求1所述的方法，其特征在于，所述音区判决模型的训练过程包括：
获取训练样本；
将所述训练样本作为所述音区判决模型的输入，将所述训练样本中标注的每组音频数据对应的声源所属音区作为所述音区判决模型的输出，对所述音区判决模型进行训练。
3.根据权利要求1所述的方法，其特征在于，所述音频数据特征包括音频幅值。
4.根据权利要求1所述的方法，其特征在于，所述音区判决模型为BP神经网络模型。
5.一种基于车载多音区的音区判决装置，其特征在于，包括：
音频数据获取模块，用于获取目标声源在各音区的音频数据；
音区判决模块，用于利用预先训练的音区判决模型，基于该判决模型预先学习到的声源位置与各音区的音频数据特征的相关性，对所述目标声源所属的音区进行判决，其中，所述音区判决模型的训练样本为多组音频样本数据，每组音频样本数据均为位于任意音区的任意位置的任意声源在各音区的音频数据；
其中，所述位于任意音区的任意位置的任意声源，至少包括用户在如下状态下所产生的声源：
位于前排座椅所属的音区，且前排座椅处于向后排平移的状态；
位于后排座椅所属的音区，且背靠座椅靠背；
位于后排座椅所属的音区，且身体坐直；
位于后排座椅所属的音区，且身体向前排座椅前倾。
6.根据权利要求5所述的装置，其特征在于，所述音区判决模型的训练过程包括：
获取训练样本；
将所述训练样本作为所述音区判决模型的输入，将所述训练样本中标注的每组音频数据对应的声源所属音区作为所述音区判决模型的输出，对所述音区判决模型进行训练。
7.根据权利要求5所述的装置，其特征在于，所述音频数据特征包括音频幅值。
8.根据权利要求5所述的装置，其特征在于，所述音区判决模型为BP神经网络模型。
9. 一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4中任一项所述的基于车载多音区的音区判决方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-4中任一项所述的基于车载多音区的音区判决方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010188534.7A CN111383661B (zh) | 2020-03-17 | 2020-03-17 | 基于车载多音区的音区判决方法、装置、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010188534.7A CN111383661B (zh) | 2020-03-17 | 2020-03-17 | 基于车载多音区的音区判决方法、装置、设备和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111383661A CN111383661A (zh) | 2020-07-07 |
| CN111383661B true CN111383661B (zh) | 2023-08-01 |
Family
ID=71217712
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010188534.7A Active CN111383661B (zh) | 2020-03-17 | 2020-03-17 | 基于车载多音区的音区判决方法、装置、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111383661B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112017659A (zh) * | 2020-09-01 | 2020-12-01 | 北京百度网讯科技有限公司 | 多音区语音信号的处理方法、装置、设备以及存储介质 |
| CN113380267B (zh) * | 2021-04-30 | 2024-04-19 | 深圳地平线机器人科技有限公司 | 对音区进行定位的方法、装置、存储介质及电子设备 |
| CN113407762A (zh) * | 2021-06-18 | 2021-09-17 | 斑马网络技术有限公司 | 一种多音区音频播放管理的方法、设备及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104535965A (zh) * | 2014-12-29 | 2015-04-22 | 江苏科技大学 | 基于嵌入式gpu系统的并行化声源定位系统及方法 |
| CN109001679A (zh) * | 2018-06-14 | 2018-12-14 | 河北工业大学 | 一种基于卷积神经网络的室内声源区域定位方法 |
| EP3467819A1 (en) * | 2017-10-05 | 2019-04-10 | Harman Becker Automotive Systems GmbH | Apparatus and method using multiple voice command devices |
| US10271137B1 (en) * | 2018-03-20 | 2019-04-23 | Electronics And Telecommunications Research Institute | Method and apparatus for detecting sound event using directional microphone |
| CN109669663A (zh) * | 2018-12-28 | 2019-04-23 | 百度在线网络技术（北京）有限公司 | 音区幅值获取方法、装置、电子设备及存储介质 |
| CN110070868A (zh) * | 2019-04-28 | 2019-07-30 | 广州小鹏汽车科技有限公司 | 车载系统的语音交互方法、装置、汽车和机器可读介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10063965B2 (en) * | 2016-06-01 | 2018-08-28 | Google Llc | Sound source estimation using neural networks |
-
2020
- 2020-03-17 CN CN202010188534.7A patent/CN111383661B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104535965A (zh) * | 2014-12-29 | 2015-04-22 | 江苏科技大学 | 基于嵌入式gpu系统的并行化声源定位系统及方法 |
| EP3467819A1 (en) * | 2017-10-05 | 2019-04-10 | Harman Becker Automotive Systems GmbH | Apparatus and method using multiple voice command devices |
| US10271137B1 (en) * | 2018-03-20 | 2019-04-23 | Electronics And Telecommunications Research Institute | Method and apparatus for detecting sound event using directional microphone |
| CN109001679A (zh) * | 2018-06-14 | 2018-12-14 | 河北工业大学 | 一种基于卷积神经网络的室内声源区域定位方法 |
| CN109669663A (zh) * | 2018-12-28 | 2019-04-23 | 百度在线网络技术（北京）有限公司 | 音区幅值获取方法、装置、电子设备及存储介质 |
| CN110070868A (zh) * | 2019-04-28 | 2019-07-30 | 广州小鹏汽车科技有限公司 | 车载系统的语音交互方法、装置、汽车和机器可读介质 |
Non-Patent Citations (2)
| Title |
|---|
| T Padois等.Two and three-dimensional sound source localization with beamforming and several deconvolution techniques."Acta Acustica united with Acustica".2017,全文. * |
| 杜莎 等."CES Asia已变身AI车展,自动驾驶技术成香饽饽". 汽车与配件 .2019,(第13期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111383661A (zh) | 2020-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111383661B (zh) | 基于车载多音区的音区判决方法、装置、设备和介质 | |
| CN111640428B (zh) | 一种语音识别方法、装置、设备和介质 | |
| WO2020192721A1 (zh) | 一种语音唤醒方法、装置、设备及介质 | |
| CN109286875B (zh) | 用于定向拾音的方法、装置、电子设备和存储介质 | |
| KR102553234B1 (ko) | 음성 데이터 처리 방법, 장치 및 지능형 차량 | |
| JP7209674B2 (ja) | 音声認識方法、音声認識装置、電子機器、コンピュータ可読記憶媒体及びプログラム | |
| US11587550B2 (en) | Method and apparatus for outputting information | |
| CN108922553A (zh) | 用于音箱设备的波达方向估计方法及系统 | |
| US11631420B2 (en) | Voice pickup method for intelligent rearview mirror, electronic device and storage medium | |
| US20220044678A1 (en) | Speech processing method and method for generating speech processing model | |
| JP7309775B2 (ja) | 自動車用シートの調整方法、装置、機器及び記憶媒体 | |
| US20190147870A1 (en) | Information processing apparatus and information processing method | |
| CN111862987B (zh) | 语音识别方法和装置 | |
| CN111694433A (zh) | 语音交互的方法、装置、电子设备及存储介质 | |
| CN112489668B (zh) | 去混响方法、装置、电子设备和存储介质 | |
| CN106356074A (zh) | 声音信号处理方法 | |
| CN111383626A (zh) | 车载语音交互方法、装置、设备和介质 | |
| US20220044049A1 (en) | Method, apparatus, device and storage medium for determining displayed recognized text | |
| CN114333017A (zh) | 一种动态拾音方法、装置、电子设备及存储介质 | |
| CN111724805A (zh) | 用于处理信息的方法和装置 | |
| CN112164396A (zh) | 语音控制方法、装置、电子设备及存储介质 | |
| EP4056424B1 (en) | Audio signal playback delay estimation for smart rearview mirror | |
| CN111736797B (zh) | 负延时时间的检测方法、装置、电子设备及存储介质 | |
| US20210097992A1 (en) | Speech control method and device, electronic device, and readable storage medium | |
| CN117238284A (zh) | 语音处理方法、装置及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20211022 Address after: 100176 101, floor 1, building 1, yard 7, Ruihe West 2nd Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing Applicant after: Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Address before: 2 / F, baidu building, 10 Shangdi 10th Street, Haidian District, Beijing 100085 Applicant before: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |