CN115462095A - 声音输入装置、声音输入系统以及输入声音处理方法 - Google Patents

Abstract

声音输入装置(91)包括第一麦克风(M1)、第二麦克风(M2)、第三麦克风(M3)、控制部(3)以及通信部(4)。第一麦克风(M1)在说话者(H)的外耳道(E1)外的第一位置拾取声音，并送出第一输入声音信号。第二麦克风(M2)在外耳道(E1)外的比第一位置更靠近嘴部的第二位置拾取声音，并送出第二输入声音信号(SN2)。第三麦克风(M3)在说话者(H)的外耳道(E1)内拾取声音，并送出第三输入声音信号(SN3)。控制部(3)检测第一输入声音信号(SN1)的声压(Va)，根据检测出的声压(Va)，设定第二输入声音信号(SN2)的反映程度(RF1)以及第三输入声音信号(SN3)的反映程度(RF2)，基于反映程度(RF1、RF2)，生成包括第二输入声音信号(SN2)以及第三输入声音信号(SN3)中的至少一者的输出声音信号(SNt)。通信部(4)将输出声音信号(SNt)向外部发送。

Description

声音输入装置、声音输入系统以及输入声音处理方法

技术领域

本发明涉及声音输入装置、声音输入系统以及输入声音处理方法。

背景技术

在专利文献1中，记载了将包括麦克风以及耳机的无线式头戴组件用作声音输入装置，将拾取到的使用者的发声向AI助手送出。另外，在专利文献2中记载了作为声音输入装置的带麦克风的无线耳机。

现有技术文献

专利文献

专利文献1：日本特开2020-030780号公报；

专利文献2：日本特开2019-195179号公报。

发明内容

当说话者针对带麦克风的无线耳机等声音输入装置在周围声音较大时发出向AI助手送出的声音时，较大的周围声音与说话者发出的声音一起被声音输入装置的麦克风拾取声音而向AI助手送出。因此，AI助手有可能无法识别使用者的声音而无法进行适当的应答。

本发明的目的在于提供一种即使周围声音较大、AI助手对说话者发出的声音的识别率也较高的声音输入装置、声音输入系统以及输入声音处理方法。

本实施方式提供一种声音输入装置，包括：第一麦克风，在说话者的外耳道外的第一位置拾取声音，并送出第一输入声音信号；第二麦克风，在所述说话者的外耳道外的比所述第一位置更靠近所述说话者的嘴部的第二位置处拾取声音，并送出第二输入声音信号；第三麦克风，在所述说话者的外耳道内拾取声音，并送出第三输入声音信号；控制部，检测所述第一输入声音信号的声压，根据检测出的所述声压，设定表示所述第二输入声音信号的反映程度的第一反映程度以及表示所述第三输入声音信号的反映程度的第二反映程度，基于所述第一反映程度以及所述第二反映程度，来生成包含所述第二输入声音信号以及所述第三输入声音信号中的至少一个的输出声音信号；以及通信部，将所述输出声音信号向外部发送。

本实施方式提供一种输入声音处理方法，其中，获取在说话者的外耳道外的第一位置处拾取到的声音作为第一输入声音信号；检测所述第一输入声音信号的声压；获取在所述说话者的外耳道外的比所述第一位置更靠近所述说话者的嘴部的第二位置处拾取到的声音作为第二输入声音信号；获取在所述说话者的外耳道内拾取到的声音作为第三输入声音信号；根据所述第一输入声音信号的所述声压，设定表示所述第二输入声音信号的反映程度的第一反映程度以及表示所述第三输入声音信号的反映程度的第二反映程度；基于所述第一反映程度和所述第二反映程度，来生成包含所述第二输入声音信号和所述第三输入声音信号中的至少一个的输出声音信号；以及将所述输出声音信号向外部发送。

本实施方式提供一种声音输入系统，包括：第一声音输入装置；以及第二声音输入装置，能够与所述第一声音输入装置相互通信；所述第一声音输入装置以及所述第二声音输入装置分别包括：第一麦克风，在说话者的外耳道外的第一位置拾取声音，并送出第一输入声音信号；第二麦克风，在所述说话者的外耳道外的比所述第一位置更靠近所述说话者的嘴部的第二位置处拾取声音，并送出第二输入声音信号；第三麦克风，在所述说话者的外耳道内拾取声音，并送出第三输入声音信号；控制部，检测所述第一输入声音信号的声压，根据检测出的所述声压，来设定表示所述第二输入声音信号的反映程度的第一反映程度以及表示所述第三输入声音信号的反映程度的第二反映程度，基于所述第一反映程度以及所述第二反映程度，来生成包含所述第二输入声音信号以及所述第三输入声音信号中的至少一个的输出声音信号；以及通信部，将所述输出声音信号向外部发送，所述第一声音输入装置的所述控制部判定所述第一声音输入装置中的所述第一输入声音信号的声压与所述第二声音输入装置中的所述第一输入声音信号的声压之间的大小，基于所述判定结果来设定从所述通信部向外部发送的所述输出声音信号。

本实施方式提供一种输入声音处理方法，获取在说话者的左耳的外耳道外的第一位置拾取到的声音作为第一输入声音信号，检测所述第一输入声音信号的声压，获取在所述说话者的左耳的外耳道外的比所述第一位置靠近所述说话者的嘴的第二位置拾取到的声音作为第二输入声音信号，获取在所述说话者的左耳的外耳道内拾取到的声音作为第三输入声音信号，根据所述第一输入声音信号的声压，设定表示所述第二输入声音信号的反映程度的第一反映程度以及表示所述第三输入声音信号的反映程度的第二反映程度，基于所述第一反映程度以及所述第二反映程度，生成包含所述第二输入声音信号以及所述第三输入声音信号的至少一者的左侧输出声音信号，获取在说话者的右耳的外耳道外的第一位置拾取到的声音作为第四输入声音信号，检测所述第四输入声音信号的声压，获取在所述说话者的右耳的外耳道外的比所述第一位置靠近所述说话者的嘴的第二位置拾取到的声音作为第五输入声音信号，在所述说话者的右耳的外耳道内拾取到的声音。本发明获取声音的声音作为第六输入声音信号，根据所述第四输入声音信号的声压，设定表示所述第五输入声音信号的反映程度的第三反映程度以及表示所述第六输入声音信号的反映程度的第四反映程度，基于所述第三反映程度以及所述第四反映程度，生成包含所述第五输入声音信号以及所述第六输入声音信号中的至少一者的右侧输出声音信号，判定所述第一输入声音信号的声压与所述第四输入声音信号的声压的大小，基于所述判定结果，将所述左侧输出声音信号以及所述右侧输出声音信号中的至少一者设定为向外部发送的输出声音信号。

根据本实施方式，即使周围声音较大，也能够提高AI助手对说话者发出的声音的识别率。

附图说明

图1是示出作为第一实施方式的声音输入装置的耳机91的示意性截面图。

图2是耳机91的框图。

图3是表示耳机91的动作的图。

图4是作为第一实施方式的声音输入装置的第一变形例的耳机91A的框图。

图5是表示耳机91A的动作的图。

图6是示出作为第一实施方式的声音输入装置的第二变形例的耳机91B的动作的图。

图7是示出作为第一实施方式的声音输入装置的第三变形例的耳机91C的动作的图。

图8是示出作为第一实施方式的声音输入装置的第四变形例的耳机91D的动作的图。

图9是作为第二实施方式的声音输入系统的耳机系统91ST的框图。

图10是表示耳机系统91ST的动作的表。

图11是示出在第三麦克风M3是骨传导麦克风的情况下的配置位置的示例的示意性截面图。

具体实施方式

(第一实施方式)

使用耳机91，参照图1和图2对本实施方式的声音输入装置进行说明。

图1是表示耳机91的纵向截面图。在图1中，示出了耳机91佩戴于说话者H的耳廓E的使用状态。图2是耳机91的框图。

耳机91具有主体部1和从主体部1突出并插入到外耳道E1内的插入部2。主体部1包括第一麦克风M1、第二麦克风M2、控制部3、通信部4、驱动部5和扬声器单元6。插入部2具有第三麦克风M3。控制部3具有声压检测部3a和输入选择部3b。

主体部1在扬声器单元6的声音发射侧具有气室1a。插入部2具有与气室1a连通的声音发射通路2a。声音发射通路2a具有开口的前端。在耳机91的使用状态下，通过驱动部5的动作而从扬声器单元6输出的声音通过气室1a及声音发射通路2a，向外耳道E1内送出。由此，耳机91的通信部4能够接收从外部的声音再现装置无线发送的声音信号，并通过控制部3以及驱动部5由扬声器单元6进行再现。

在耳机91的使用状态下，第一麦克风M1配置于主体部1中的远离说话者H的嘴那侧的部位即第一位置，并拾取主体部1的周围的声音。在耳机91的使用状态下，第二麦克风M2配置在主体部1中的靠近说话者H的嘴那侧的部位即第二位置，主要将说话者H发出的声音作为空气传导音来拾取。即，在耳机91的使用状态下，第二麦克风M2位于比第一麦克风M1更靠近说话者H的嘴部的位置。

以下，也将主体部1的周围的声音简称为周围声音。第三麦克风M3是空气传导音麦克风，配置在面对插入部2的声音发射通路2a的第三位置。在耳机91的使用状态下，第三麦克风M3对说话者H发出的作为骨传导音到达外耳道E1的声音在外耳道E1及声音发射通路2a的内部空间Ev回响而产生的空气传导音进行拾取。即，第一麦克风M1的第一位置位于说话者H的外耳道外。第二麦克风M2的第二位置位于说话者H的外耳道外的比第一位置更靠近说话者H的嘴部的位置。第三麦克风M3位于说话者H的外耳道内。

控制部3的声压检测部3a检测从第一麦克风M1输入的第一输入声音信号即输入声音信号SN1的声压，并作为检测声音信号SN1a输出。输入声音信号SN1的声压例如被检测为等效噪声水平(LAeq)。以下，将由声压检测部3a检测为等效噪声水平(LAeq)的检测声音信号SN1a的声压称为声压Va。如上所述，由于第一麦克风M1主要拾取周围声音，因此声压Va可以被视为周围声音的声压。

如图2所示，向控制部3的输入选择部3b输入来自第二麦克风M2的第二输入声音信号即输入声音信号SN2、来自第三麦克风M3的第三输入声音信号即输入声音信号SN3、来自声压检测部3a的检测声音信号SN1a。输入选择部3b生成输出声音信号SNt并向通信部4输出。此时，输入选择部3b基于检测声音信号SN1a的声压Va来设定输出声音信号SNt中的输入声音信号SN2的反映程度RF1以及输入声音信号SN3的反映程度RF2。反映程度RF1以及反映程度RF2是分别表示输入声音信号SN2以及输入声音信号SN3相对于输出声音信号SNt的反映程度的指标。指标例如设为声压的大小。反映程度RF1以及反映程度RF2也分别被称为第一反映程度以及第二反映程度。

即，声压检测部3a获取在说话者H的外耳道外的第一位置拾取到的声音作为第一输入声音信号，并检测第一输入声音信号的声压。输入选择部3b获取在说话者H的外耳道外的第二位置拾取到的声音作为第二输入声音信号。输入选择部3b获取在说话者H的外耳道内拾取到的声音作为第三输入声音信号。输入选择部3b根据第一输入声音信号的声压，设定表示第二输入声音信号的反映程度RF1的第一反映程度以及表示第三输入声音信号的反映程度RF2的第二反映程度。输入选择部3b基于第一反映程度以及第二反映程度，生成包含第二输入声音信号以及第三输入声音信号中的至少一者的输出声音信号。输入选择部3b将生成的输出声音信号向外部发送。

作为一个例子，输入选择部3b将反映程度RF1以及反映程度RF2设定为反映一者而不反映另一者的二选一。即，输入选择部3b以与检测声音信号SN1a的声压Va对应的二选一方式，选择输入声音信号SN2以及输入声音信号SN3的一者，将选择出的输入声音信号设定为输出声音信号SNt，由此生成输出声音信号SNt。由此，输出声音信号SNt包含输入声音信号SN2以及输入声音信号SN3中的至少一者。

通信部4将从输入选择部3b输出的输出声音信号SNt向耳机91的外部进行无线发送。无线发送例如通过Bluetooth(蓝牙，注册商标)进行。

接着，参照图3详细叙述基于输入选择部3b的动作的输入声音处理方法。图3是将横轴设为声压Va、将纵轴设为作为输出声音信号SNt而择一地选择的第二麦克风M2的输入声音信号SN2及第三麦克风M3的输入声音信号SN3的图。使用声压Va的值，预先设定第一声压的切换下声压Va1和比切换下声压Va1大的第二声压的切换上声压Va2。

输入选择部3b在声压Va小于切换下声压Va1的情况下，选择输入声音信号SN2，将选择出的输入声音信号SN2设定为输出声音信号SNt。另外，在声压Va超过切换上声压Va2的情况下，选择输入声音信号SN3，将所选择的输入声音信号SN3设定为输出声音信号SNt。

输入选择部3b在将输入声音信号SN2设定为输出声音信号SNt时，若声压Va变大而超过切换上声压Va2，则将输入声音信号SN2切换为输入声音信号SN3，将输入声音信号SN3设定为输出声音信号SNt。输入选择部3b在将输入声音信号SN3设定为输出声音信号SNt时，如果声压Va变小而小于切换下声压Va1，则将输入声音信号SN3切换为输入声音信号SN2，将输入声音信号SN2设定为输出声音信号SNt。

即，耳机91在周围声音小时，将在外耳道E1外作为空气传导音而由第二麦克风M2拾取到的说话者H的声音作为输出声音信号SNt送出到外部。另外，耳机91在周围声音大时，将在外耳道E1内作为经过骨传导音的空气传导音而由第三麦克风M3拾取到的说话者H的声音作为输出声音信号SNt送出到外部。

在外耳道E1内，作为经过了骨传导音的空气传导音或者作为骨传导音被拾取的说话者H的声音，虽然与在外耳道E1外通过空气传导音被拾取的声音相比清晰度较低，但几乎不会受到周围声音的影响，能够以稳定的声压得到。因此，即使周围声音大，耳机91也能够不被周围声音埋没而送出说话者H的声音的声压大的输出声音信号SNt。另外，在周围声音较小的情况下，在外耳道E1外通过空气传导音拾取说话者H的声音，说话者H的声音的声压比较大，能够送出更清晰的输出声音信号SNt。

如图3所示，耳机91的输入选择部3b将输出声音信号SNt从输入声音信号SN2切换为输入声音信号SN3的切换上声压Va2和从输入声音信号SN3切换为输入声音信号SN2的切换下声压Va1被设定为不同的值。具体而言，切换上声压Va2被设定为比切换下声压Va1高。

通过使切换上声压Va2的值与切换下声压Va1的值不同，在由第一麦克风M1拾取的周围声音的声压Va跨过切换下声压Va1或切换上声压Va2而频繁地上下的情况下，能够避免输入声音信号SN2与输入声音信号SN3频繁地切换而输出声音信号SNt的声压或音质变得不稳定的现象。由此，能够防止伴随着耳机91的周围声音的声压变动而导致AI助手81的声音识别降低的情况。

另外，通过将切换上声压Va2设定为比切换下声压Va1大，防止在切换下声压Va1与切换上声压Va2之间声压Va的增减变动反转的情况下，无法切换为应选择的输入声音信号的不良情况。

切换下声压Va1以及切换上声压Va2的值根据耳机91的使用环境等，在制造者侧适当地设定，以将AI助手81的识别率维持得较高。另外，不限于此，也可以是说话者H能够根据耳机91的使用环境来调整切换下声压Va1以及切换上声压Va2的值。

如上所述，耳机91与主体部1的周围的声音的大小无关地，在由控制部3生成并从通信部4送出的输出声音信号SNt中，说话者H发出的声音被保持为较大的声压。由此，接收到输出声音信号SNt的AI助手81对说话者H发出的声音的识别率提高。

以上详述的耳机91并不限定于上述的结构以及步骤，也可以在不脱离本发明的主旨的范围内进行变形。

(第一变形例)

图4是作为本实施方式的声音输入装置的第一变形例的耳机91A的框图，图5是表示耳机91A的动作的图。如图4所示，耳机91A在耳机91中将输入选择部3b置换为输入混合部3c，除此以外的结构相同。

来自第二麦克风M2的输入声音信号SN2、来自第三麦克风M3的输入声音信号SN3和来自声压检测部3a的检测声音信号SN1a被输入到控制部3的输入混合部3c。输入混合部3c将输入声音信号SN2和输入声音信号SN3以与检测声音信号SN1a的声压Va对应的声压比率混合，并作为输出声音信号SNt向通信部4输出。输入混合部3c以各自的声压的比率设定输出声音信号SNt中的输入声音信号SN2的反映程度RF1和输入声音信号SN3的反映程度RF2。声压的比率是输出声音信号SNt所包含的输入声音信号SN2的声压与输入声音信号SN3的声压的比率。

参照图5说明基于输入混合部3c的动作的输入声音处理方法。在图5中，将横轴设为声压Va的线性轴，将纵向左轴设为输入声音信号SN2和输入声音信号SN3的各自的混合声压V的线性轴，将纵向右轴设为输出声音信号SNt的总声压Vt的线性轴。总声压Vt是将输入声音信号SN2和输入声音信号SN3混合后的声音信号的声压，也包括输入声音信号SN2及输入声音信号SN3中的任一者为0(零)的情况。

如图5所示，使用声压Va的值，预先设定混合下限声压Va3和比混合下限声压Va3大的混合上限声压Va4。以下，将声压Va中的混合下限声压Va3以上且混合上限声压Va4以下的范围也称为声压Va中的混合范围R。另外，对于输入声音信号SN2及输入声音信号SN3，预先设定混合的最小声压即混合最小声压Vmin和混合的最大声压即混合最大声压Vmax。混合最小声压Vmin的值可以是0(零)。

输入混合部3c在声压Va小于混合下限声压Va3的情况下，将输入声音信号SN2设为混合最大声压Vmax，将输入声音信号SN3设为混合最小声压Vmin。输入混合部3c在声压Va超过混合上限声压Va4的情况下，将输入声音信号SN2设为混合最小声压Vmin，将输入声音信号SN3设为混合最大声压Vmax。输入混合部3c在声压Va的混合范围R内，关于输入声音信号SN2，声压Va越大则使混合声压V越减少，关于输入声音信号SN3，声压Va越大则使混合声压V越增加。即，声压Va越大，输入混合部3c使输入声音信号SN2的反映程度RF1越减少，使输入声音信号SN3的反映程度RF2越增加。输入混合部3c在声压Va的混合范围R内，使混合声压V相对于声压Va例如线性地增减。

由此，输入混合部3c在声压Va中的混合范围R的任意的声压Vax中，将输入声音信号SN2以及输入声音信号SN3分别以与声压Vax对应的混合声压V2x以及混合声压V3x进行混合而生成输出声音信号SNt，并将生成的输出声音信号SNt向通信部4输出。

通过上述的输入混合部3c的动作，输出声音信号SNt的总声压Vt与声压Va的大小无关地成为恒定的总声压Vtc。

混合下限声压Va3、混合上限声压Va4、混合最小声压Vmin以及混合最大声压Vmax的值根据耳机91A的使用环境等，在制造者侧适当地设定，以将AI助手81的声音识别率维持得较高。混合下限声压Va3、混合上限声压Va4、混合最小声压Vmin以及混合最大声压Vmax的值也可以由说话者H调整。

根据耳机91A，在周围声音的声压Va处于混合下限声压Va3与混合上限声压Va4之间的混合范围R时，输入声音信号SN2与输入声音信号SN3以与声压Va对应的反映程度RF1、RF2的声压比率混合，混合的声压的比率根据主体部1的周围声音的声压的增减而线性地逐渐变化。例如，输出声音信号SNt中的反映程度RF1在声压Va为声压Va3时由Vmax/Vmin表示，在声压Va为声压Vax时由V2x/V3x表示，在声压Va为声压Va4时由Vmin/Vmax表示。另外，输出声音信号SNt中的反映程度RF2在声压Va为声压Va3时由Vmin/Vmax表示，在声压Va为声压Vax时由V3x/V2x表示，在声压Va为声压Va4时由Vmax/Vmin表示。因此，与周围声音的增减相应的输出声音信号SNt的音质的变化变得平缓且平滑，无论主体部1的周围声音的声压如何，AI助手81对说话者H发出的声音的识别率都被维持得较高。另外，耳机91A与周围声音的增减无关地，输出声音信号SNt的总声压Vt恒定且不骤变，因此AI助手81对说话者H发出的声音的识别率被维持得更高。

(第二变形例)

耳机91A也可以是代替使输出声音信号SNt的总声压Vt不依赖于声压Va而恒定的输入混合部3c，而如图6所示那样设为根据声压Va改变总声压Vt的输入混合部3cB(参照图4)的、作为本实施方式的声音输入装置的第二变形例的耳机91B(参照图4)。

输入混合部3cB例如在声压Va的混合范围R内，使总声压Vt随着声压Va变大而变大。详细而言，如图6所示，输入混合部3cB将输入声音信号SN2的混合最大声压V2max和输入声音信号SN3的混合最大声压V3max作为不同的值而执行混合动作。例如，使混合最大声压V3max大于混合最大声压V2max。由此，输出声音信号SNt的声压在混合下限声压Va3的总声压Vt1与比混合上限声压Va4的总声压Vt1大的总声压Vt2之间增减。

在将总声压Vt设为恒定的情况下，在声压Va大、即周围声音大的情况下，在输入声音信号SN2中作为背景噪声而以某种程度包含的周围声音的声压比率变高。因此，输出声音信号SNt的总声压Vt中的周围声音的声压比率相对变高。与此相对，在耳机91B中，在声压Va的混合范围R内，随着声压Va变大，输入声音信号SN3的声压相对于输入声音信号SN2的混合比率变大。因此，抑制了输出声音信号SNt的总声压Vt中的周围声音的声压比率的上升。由此，稳定地维持接收到AI助手81对输出声音信号SNt的声音识别率。

(第三变形例)

如图7所示，耳机91A也可以是代替输入混合部3c而设为非线性地减少及增加的输入混合部3cC(参照图4)的、作为本实施方式的声音输入装置的第三变形例的耳机91C(参照图4)。

如图7所示，在输入混合部3cC中，在声压Va的混合范围R内，将声压Va随着时间减少的情况下的输入声音信号SN2与输入声音信号SN3以相等的声压混合的声压Va5被设定为比混合下限声压Va3与混合上限声压Va4的中点更靠近混合下限声压Va3侧。即，输入混合部3cC基于非线性的特性线LN2b以及特性线LN3b来执行声压Va减少的情况下的输入声音信号SN2与输入声音信号SN3的混合。

另一方面，在输入混合部3cC中，将声压Va随着时间增加的情况下的输入声音信号SN2与输入声音信号SN3以相等的声压混合的声压Va6设定为比混合下限声压Va3与混合上限声压Va4的中点更靠近混合上限声压Va4侧。即，输入混合部3cC基于非线性的特性线LN2a以及特性线LN3a来执行声压Va增加的情况下的输入声音信号SN2与输入声音信号SN3的混合。

另外，输入混合部3cC在声压Va增加但未达到混合上限声压Va4而转为减少的情况下，在特性线LN2a以及特性线LN3a上使混合比变化。另外，输入混合部3cC在声压Va减少但未达到混合下限声压Va3而转为增加的情况下，在特性线LN3b以及特性线LN2b上使混合比变化。

另外，输入混合部3cC控制输入声音信号SN2与输入声音信号SN3的混合比，以使输出声音信号SNt的总声压Vt与声压Va的大小无关地成为恒定的总声压Vtc。图7中的输入声音信号SN2及SN3的非线性特性由耳机91的制造者预先设定，或者通过说话者H的调整来设定。

在耳机91C中，在周围声音的声压Va维持得较小而处于接近混合范围R的混合下限声压Va3的一侧的情况下，以输入声音信号SN2相对于输入声音信号SN3的比率变得更高的方式混合生成输出声音信号SNt，优先实现声音的清晰化。另外，耳机91C在周围声音的声压Va维持得较大而处于接近混合范围R的混合上限声压Va4的一侧的情况下，以输入声音信号SN3相对于输入声音信号SN2的比率变得更高的方式混合生成输出声音信号SNt，优先实现声音的高声压化。

这样，在耳机91C中，生成与周围声音的声压Va的大小倾向相应的、更适于声音识别的输出声音信号SNt。因此，将AI助手81对说话者H发出的声音的识别率维持得更高。

(第四变形例)

如图8所示，耳机91C也可以是代替输入混合部3cC而设为根据声压Va改变总声压Vt的输入混合部3cD(参照图4)的、作为本实施方式的声音输入装置的第四变形例的耳机91D(参照图4)。

输入混合部3cD例如在声压Va的混合范围R内，随着声压Va变大而增大总声压Vt。具体而言，如图8所示，输入混合部3cD将输入声音信号SN2的混合最大声压V2max和输入声音信号SN3的混合最大声压V3max设为不同的值而执行混合动作。例如，使混合最大声压V3max大于混合最大声压V2max。由此，输出声音信号SNt的声压在混合下限声压Va3的总声压Vt1与比混合上限声压Va4的总声压Vt1大的总声压Vt2之间增减。

由此，与第二变形例同样地，声压Va越大，输入声音信号SN3相对于输入声音信号SN2的声压的混合比率越大。因此，抑制了输出声音信号SNt的总声压Vt中的周围声音的声压比率的上升，稳定地维持了接收到输出声音信号SNt的AI助手81的声音识别率。

此外，在将耳机91、91A～91D作为商品销售的情况下，不限于单品销售，也可以将2个以上成组销售。

若将耳机91、91A～91D设为能够佩戴于左右两个耳朵的规格，则作为左右的耳朵用，也可以以耳机91、91的组、耳机91A、91A的组、耳机91B、91B的组、耳机91C、91C的组、耳机91D、91D的组来销售。另外，耳机91、91A～91D作为大规模店铺的多个工作人员佩戴的单耳用的带麦克风的耳机，也可以将3个以上成组销售。

(第二实施方式)

使用耳机系统91ST，主要参照图1、图9及图10对本实施方式的声音输入系统进行说明。图9是耳机系统91ST的框图，图10是表示耳机系统91ST的动作的表。

如图9所示，耳机系统91ST构成为作为第一声音输入装置的耳机91L与作为第二声音输入装置的耳机91R的一对的组。耳机91L佩戴于说话者H的左耳，耳机91R佩戴于说话者H的右耳。

如图1所示，耳机91L具有主体部1L和插入部2，耳机91R具有主体部1R和插入部2。耳机91L以及耳机91R各自中的第一至第三麦克风M1～M3、驱动部5、扬声器单元6的结构以及配置位置与第一实施方式中的耳机91相同。以下，对与耳机91相同的部件标注相同的附图标记，对于不同的部件，在附图标记末尾分别标注L、R来进行区别。

如图1以及图9所示，耳机91L以及耳机91R代替耳机91的控制部3而分别具有控制部3L以及控制部3R，代替耳机91的通信部4而分别具有通信部4L以及通信部4R。

在耳机91L中，主体部1L具有第一麦克风M1、第二麦克风M2、控制部3L、通信部4L、驱动部5以及扬声器单元6。插入部2具有第三麦克风M3。在耳机91R中，主体部1R具有第一麦克风M1、第二麦克风M2、控制部3R、通信部4R、驱动部5以及扬声器单元6。插入部2具有第三麦克风M3。

如图1所示，主体部1L及主体部1R在扬声器单元6、6的声音发射侧具有气室1a、1a。插入部2、2具有与气室1a、1a连通的声音发射通路2a、2a。声音发射通路2a、2a具有开口的前端。在耳机91L、91R的使用状态下，通过驱动部5、5的动作而从扬声器单元6、6输出的声音通过气室1a、1a及声音发射通路2a、2a，向左右耳的外耳道E1、E1内送出。由此，耳机91L、91R能够接收通信部4L、4R从外部的声音再现装置进行无线发送的声音信号，通过控制部3L、3R以及驱动部5、5由扬声器单元6、6进行再现。耳机91L和耳机91R能够在通信部4L与通信部4R之间相互通信。

在耳机91L、91R的使用状态下，主体部1L、1R所包括的第一麦克风M1、M1配置于主体部1L、1R中的远离说话者H的嘴那侧的部位即第一位置，拾取主体部1L、1R的周围的声音。在耳机91L、91R的使用状态下，主体部1L、1R所包括的第二麦克风M2、M2配置于主体部1L、1R中的靠近说话者H的嘴那侧的部位即第二位置。即，在耳机91L、91R的使用状态下，第二麦克风M2、M2位于比第一麦克风M1、M1更靠近说话者H的嘴部的位置。第三麦克风M3、M3是空气传导音麦克风，配置在面向插入部2、2的声音发射通路2a、2a的第三位置。在耳机91L、91R的使用状态下，第三麦克风M3、M3对说话者H发出的作为骨传导音到达外耳道E1、E1的声音在外耳道E1、E1及声音发射通路2a、2a的内部空间Ev、Ev中回响而产生的空气传导音进行拾取。即，第一麦克风M1的第一位置位于说话者H的外耳道外。第二麦克风M2的第二位置位于说话者H的外耳道外的比第一位置更靠近说话者H的嘴部的位置。第三麦克风M3位于说话者H的外耳道内。

如图9所示，耳机91L的控制部3L具有声压检测部3aL、输入选择部3bL以及声压差评价部3d。耳机91R的控制部3R包括声压检测部3aR、输入选择部3bR和输出控制部3e。

在耳机91L中，声压检测部3aL检测从第一麦克风M1输入的输入声音信号SN1L的声压，并作为检测声音信号SNL向输入选择部3bL和声压差评价部3d两者输出。在耳机91R中，声压检测部3aR检测从第一麦克风M1输入的输入声音信号SN1R的声压，并作为检测声音信号SNR向输入选择部3bR和输出控制部3e两者输出。此外，输入声音信号SN1L以及输入声音信号SN1R也被称为第一输入声音信号。输入声音信号SN1L及输入声音信号SN1R也可以分别称为第一输入声音信号及第四输入声音信号。

输入声音信号SN1L、SN1R的声压例如被检测为等效噪声水平(LAeq)。以下，将通过声压检测部3aL、3aR分别检测为等效噪声水平(LAeq)的检测声音信号SNL、SNR的声压分别称为声压VL、VR。

主体部1L所包括的第一麦克风M1拾取主体部1L的周围声音。主体部1R所包括的第一麦克风M1拾取主体部1R的周围声音。因此，声压VL能够视为左耳用的耳机91L的周围声音的声压。另外，声压VR能够视为右耳用的耳机91R的周围声音的声压。

耳机91R的输出控制部3e将包含所输入的检测声音信号SNR的声压VR的声压信息JR1和通信控制信息JR2(详细后述)向通信部4R送出。

基于耳机91L、91R的输入选择部3bL、3bR的动作的输入声音处理方法与第一实施方式中的耳机91的输入选择部3b相同。

如图9所示，向控制部3L的输入选择部3bL输入来自第二麦克风M2的第二输入声音信号即输入声音信号SN2L、来自第三麦克风M3的第三输入声音信号即输入声音信号SN3L、来自声压检测部3aL的检测声音信号SNL。输入选择部3bL生成输出声音信号SNtL并向通信部4L输出。此时，输入选择部3bL基于检测声音信号SNL的声压VL来设定输出声音信号SNtL中的输入声音信号SN2L的反映程度RF1L以及输入声音信号SN3L的反映程度RF2L。反映程度RF1L以及反映程度RF2L是分别表示输入声音信号SN2L以及输入声音信号SN3L相对于输出声音信号SNtL的反映程度的指标。指标例如设为声压的大小。反映程度RF1L以及反映程度RF2L也分别被称为第一反映程度以及第二反映程度。输出声音信号SNtL也被称为左侧输出声音信号。

即，声压检测部3aL获取在说话者H的左耳的外耳道外的第一位置拾取到的声音作为第一输入声音信号，检测第一输入声音信号的声压。输入选择部3bL获取在说话者H的左耳的外耳道外的第二位置处拾取到的声音作为第二输入声音信号。输入选择部3bL获取在说话者H的左耳的外耳道内拾取到的声音作为第三输入声音信号。输入选择部3bL根据第一输入声音信号的声压，设定表示第二输入声音信号的反映程度RF1L的第一反映程度以及表示第三输入声音信号的反映程度RF2L的第二反映程度。输入选择部3bL基于第一反映程度和第二反映程度，生成包含第二输入声音信号和第三输入声音信号中的至少一者的输出声音信号SNtL。

同样地，作为来自第二麦克风M2的第五输入声音信号的输入声音信号SN2R、作为来自第三麦克风M3的第六输入声音信号的输入声音信号SN3R和来自声压检测部3aR的检测声音信号SNR被输入到控制部3R的输入选择部3bR。输入选择部3bR生成输出声音信号SNtR并向通信部4R输出。此时，输入选择部3bR基于检测声音信号SNR的声压VR来设定输出声音信号SNtR中的输入声音信号SN2R的反映程度RF1R以及输入声音信号SN3R的反映程度RF2R。反映程度RF1R和反映程度RF2R是分别表示输入声音信号SN2R和输入声音信号SN3R相对于输出声音信号SNtR的反映程度的指标。指标例如设为声压的大小。反映程度RF1R以及反映程度RF2R也分别被称为第三反映程度以及第四反映程度。输出声音信号SNtR也被称为右侧输出声音信号。

即，声压检测部3aR获取在说话者H的右耳的外耳道外的第一位置处拾取到的声音作为第四输入声音信号，并检测第四输入声音信号的声压。输入选择部3bR获取在说话者H的右耳的外耳道外的第二位置处拾取到的声音作为第五输入声音信号。输入选择部3bR获取在说话者H的右耳的外耳道内拾取到的声音作为第六输入声音信号。输入选择部3bR根据第四输入声音信号的声压，设定表示第五输入声音信号的反映程度RF1R的第三反映程度以及表示第六输入声音信号的反映程度RF2R的第四反映程度。输入选择部3bR根据第三反映程度和第四反映程度，生成包含第五输入声音信号和第六输入声音信号中的至少一者的输出声音信号SNtR。

作为一例，如图3所示，耳机91L的输入选择部3bL在从声压检测部3aL输出的检测声音信号SNL的声压VL小于预先设定的切换下声压Va1的情况下，选择输入声音信号SN2L，将选择出的输入声音信号SN2L设定为输出声音信号SNtL。另外，在声压VR超过切换上声压Va2的情况下，选择输入声音信号SN3L，将所选择的输入声音信号SN3L设定为输出声音信号SNtL。

输入选择部3bL将如上述那样设定的输出声音信号SNtL向通信部4L输出。这样，输入选择部3bL基于检测声音信号SNL的声压VL来设定输出声音信号SNtL中的输入声音信号SN2L的反映程度RF1L和输入声音信号SN3L的反映程度RF2L。在该例子中，输入选择部3bL将反映程度RF1L以及反映程度RF2L设定为反映一者而不反映另一者的二选一。

另外，耳机91R的输入选择部3bR在从声压检测部3aR输出的检测声音信号SNR的声压VR小于预先设定的切换下声压Va1的情况下，选择输入声音信号SN2R，将选择出的输入声音信号SN2R设定为输出声音信号SNtR。另外，在声压VR超过切换上声压Va2的情况下，选择输入声音信号SN3R，将所选择的输入声音信号SN3R设定为输出声音信号SNtR。

输入选择部3bR将如上述那样设定的输出声音信号SNtR向通信部4R输出。这样，输入选择部3bR基于检测声音信号SNR的声压VR来设定输出声音信号SNtR中的输入声音信号SN2R的反映程度RF1R和输入声音信号SN3R的反映程度RF2R。在该例子中，输入选择部3bR将反映程度RF1R以及反映程度RF2R设定为反映一者而不反映另一者的二选一。

通信部4R将从输出控制部3e输入的声压信息JR1向耳机91R的外部进行无线发送。无线发送方法例如是Bluetooth(注册商标)。在此，通信部4R中的从输入选择部3bR输出的输出声音信号SNtR的无线发送的有无由从输出控制部3e输入的通信控制信息JR2控制。即，通信控制信息JR2包含输出声音信号SNtR的无线发送的许可和禁止中的任意一个指令。通信部4R根据该指令控制输出声音信号SNtR的无线发送。

通信部4L接收从耳机91R的通信部4R无线发送的声压信息JR1，并向声压差评价部3d送出。声压差评价部3d根据从通信部4L送出的声压信息JR1获取声压VR，比较声压VR与从声压检测部3aL获取的检测声音信号SNL的声压VL的大小。

声压差评价部3d对应于声压VL与声压VR的大小关系，将输出声音信号SNtL以及输出声音信号SNtR的至少一者设定为耳机系统91ST向外部无线发送的输出声音信号SNst。即，声压差评价部3d判定第一输入声音信号的声压VL和第四输入信号的声压VR的大小，基于判断结果，将左侧输出声音信号以及右侧输出声音信号的至少一者设定为向外部发送的输出声音信号。

接着，声压差评价部3d向通信部4L输出用于确定设定为输出声音信号SNst的信号的通信控制信息JL2，通信部4L向耳机91R的通信部4R无线发送通信控制信息JL2。通信部4R在接收到通信控制信息JL2时，将接收到的通信控制信息JL2送出到输出控制部3e。

参照图10对声压差评价部3d的动作进行详细叙述。图10是表示声压VL与声压VR的大小、与耳机系统91ST向外部无线发送的输出声音信号SNst的关系的表。如图10所示，在判定为声压VR比声压VL大的情况下，声压差评价部3d将输出声音信号SNtL设定为耳机系统91ST无线发送的输出声音信号SNst。

另外，声压差评价部3d将执行输出声音信号SNtL的无线发送的指示包含在通信控制信息JL2中，并向通信部4L送出。声压差评价部3d在判定为声压VR小于声压VL的情况下，将停止输出声音信号SNtL的无线发送的指示包含在通信控制信息JL2中，并向通信部4L送出。

通信部4L向通信部4R发送通信控制信息JL2，并且基于通信控制信息JL2中包含的对通信部4L的指示，执行或停止输出声音信号SNtL的无线发送。另一方面，通信部4R接收从通信部4L发送的通信控制信息JL2并向输出控制部3e送出。

在通信控制信息JL2包含执行输出声音信号SNtL的无线发送的指示的情况下，输出控制部3e将停止输出声音信号SNtR的无线发送的指示包含在通信控制信息JR2中，并向通信部4R送出。另外，输出控制部3e在通信控制信息JL2包含停止输出声音信号SNtL的无线发送的指示的情况下，将执行输出声音信号SNtR的无线发送的指示包含在通信控制信息JR2中，向通信部4R送出。通信部4R基于从输出控制部3e送出的通信控制信息JR2，执行或停止输出声音信号SNtR的无线发送。

耳机系统91ST择一地选择两个耳机91L、91R中周围声音较小的一者的输出声音信号并向外部无线发送。由此，在耳机系统91ST中，AI助手81对说话者H所发出的声音的识别率提高。

以上详述的耳机系统91ST并不限定于所述结构及顺序，也可设为在不脱离本发明的主旨的范围内进行变形的变形例。

耳机91L及耳机91R与第一实施方式的第一变形例中的耳机91A同样地，也可以代替输入选择部3bL及输入选择部3bR而具有执行与输入混合部3c相同的动作的输入混合部3cL及输入混合部3cR(参照图9)。例如，在输入混合部3cL中，输入声音信号SN2L和输入声音信号SN3L以与检测声音信号SNL的声压VL对应的反映程度RF1L、RF2L的声压比率混合，并且，声压的比率根据主体部1的周围声音的声压的增减而线性地逐渐变化。反映程度RF1L以及反映程度RF2L是分别表示输入声音信号SN2L以及输入声音信号SN3L相对于输出声音信号SNtL的反映程度的指标。指标例如设为声压的大小。因此，声压的比率是输出声音信号SNtL中包含的输入声音信号SN2L的声压与输入声音信号SN3L的声压的比率。

例如，如图5所示，输出声音信号SNtL中的反映程度RF1L在声压VL为声压Va3时由Vmax/Vmin表示，在声压VL为声压Vax时由V2x/V3x表示，在声压VL为声压Va4时由Vmin/Vmax表示。另外，输出声音信号SNtL中的反映程度RF2在声压VL为声压Va3时由Vmin/Vmax表示，在声压VL为声压Vax时由V3x/V2x表示，在声压VL为声压Va4时由Vmax/Vmin表示。耳机91L和耳机91R分别具有输入混合部3cL和输入混合部3cR来代替输入选择部3bL和输入选择部3bR，由此，与周围声音的增减对应的输出声音信号SNst的音质变化变得平缓且平滑。由此，无论主体部1L或主体部1R的周围声音的声压如何，AI助手81对说话者H发出的声音的识别率都被维持得较高。另外，耳机91L和耳机91R分别具有输入混合部3cL、3cR，由此，无论周围声音的增减如何，输出声音信号SNst的总声压都恒定而不会骤变，因此，AI助手81对说话者H发出的声音的识别率被维持得更高。

耳机系统91ST也可以在耳机91L及耳机91R分别具有输入混合部3cL及输入混合部3cR的情况下，与第一实施方式的第二至第四变形例中的耳机91B、91C、91D的每一个同样地，代替输入混合部3cL及输入混合部3cR而具有执行与输入混合部3cB、3cC、3cD的每一个相同的动作的输入混合部。

通信部4、4L、4R的无线通信方法并不限定于上述的Bluetooth(注册商标)，能够应用各种方法。另外，通信部4、4L、4R并不限定于以无线方式进行与外部的通信，也可以以有线方式进行。

在第一实施方式、第一实施方式的第一至第四变形例以及第二实施方式的声音输入装置即耳机91、91A～91D、91L、91R中，第三麦克风M3并不限定于上述的空气传导音麦克风，也可以是拾取骨传导音的骨传导麦克风。图11是例示了第三麦克风M3为骨传导麦克风的情况下的配置位置的图。如图11所示，第三麦克风M3是骨传导麦克风，在将插入部2插入外耳道E1时，位于与外耳道E1的内表面紧贴的第三位置，拾取说话者H发出的声音的骨传导音。

在声音输入系统91ST中，作为第一声音输入装置的耳机91L以及作为第二声音输入装置的耳机91R的使用方式并不限定于佩戴于说话者H的一个耳朵以及另一个耳朵来使用的方式。例如，也可以是将耳机91L佩戴于第一说话者的耳朵，将耳机91R佩戴于与第一说话者不同的第二说话者的耳朵来使用的方式。

反映程度RF1L、RF2L、RF1、RF2的指标并不限定于声压，也可以是与音质等相关的物理量。

本申请主张基于在2020年5月29日在日本专利局申请的特愿2020-094795号以及特愿2020-094797号的优先权，它们的全部公开内容通过引用而记载于此。

工业实用性

根据本实施方式的声音输入装置、声音输入系统以及输入声音处理方法，即使周围声音较大，也能够提高AI助手对说话者发出的声音的识别率。

Claims (8)

1.一种声音输入装置，包括：

第一麦克风，在说话者的外耳道外的第一位置拾取声音，并送出第一输入声音信号；

第二麦克风，在所述说话者的外耳道外的比所述第一位置更靠近所述说话者的嘴部的第二位置处拾取声音，并送出第二输入声音信号；

第三麦克风，在所述说话者的外耳道内拾取声音，并送出第三输入声音信号；

控制部，检测所述第一输入声音信号的声压，根据检测出的所述声压，设定表示所述第二输入声音信号的反映程度的第一反映程度以及表示所述第三输入声音信号的反映程度的第二反映程度，基于所述第一反映程度以及所述第二反映程度，来生成包含所述第二输入声音信号以及所述第三输入声音信号中的至少一个的输出声音信号；以及

通信部，将所述输出声音信号向外部发送。

2.如权利要求1所述的声音输入装置，其特征在于，

所述控制部将所述第一反映程度以及所述第二反映程度设定为反映一者而不反映另一者的二选一，

以与检测出的所述声压对应的二选一方式，将所述第二输入声音信号和所述第三输入声音信号中的一者设定为输出声音信号。

3.如权利要求1所述的声音输入装置，其特征在于，

所述控制部将所述第一反映程度以及所述第二反映程度分别设定为声压比率，

以与检测出的所述声压对应的声压比率，将所述第二输入声音信号和所述第三输入声音信号混合并设定为输出声音信号。

4.一种输入声音处理方法，其特征在于，

获取在说话者的外耳道外的第一位置处拾取到的声音作为第一输入声音信号；

检测所述第一输入声音信号的声压；

获取在所述说话者的外耳道外的比所述第一位置更靠近所述说话者的嘴部的第二位置处拾取到的声音作为第二输入声音信号；

获取在所述说话者的外耳道内拾取到的声音作为第三输入声音信号；

根据所述第一输入声音信号的所述声压，设定表示所述第二输入声音信号的反映程度的第一反映程度以及表示所述第三输入声音信号的反映程度的第二反映程度；

基于所述第一反映程度和所述第二反映程度，来生成包含所述第二输入声音信号和所述第三输入声音信号中的至少一个的输出声音信号；以及

将所述输出声音信号向外部发送。

5.一种声音输入系统，包括：

第一声音输入装置；以及

第二声音输入装置，能够与所述第一声音输入装置相互通信；

所述第一声音输入装置以及所述第二声音输入装置分别包括：

第一麦克风，在说话者的外耳道外的第一位置拾取声音，并送出第一输入声音信号；

第二麦克风，在所述说话者的外耳道外的比所述第一位置更靠近所述说话者的嘴部的第二位置处拾取声音，并送出第二输入声音信号；

第三麦克风，在所述说话者的外耳道内拾取声音，并送出第三输入声音信号；

控制部，检测所述第一输入声音信号的声压，根据检测出的所述声压，来设定表示所述第二输入声音信号的反映程度的第一反映程度以及表示所述第三输入声音信号的反映程度的第二反映程度，基于所述第一反映程度以及所述第二反映程度，来生成包含所述第二输入声音信号以及所述第三输入声音信号中的至少一个的输出声音信号；以及

通信部，将所述输出声音信号向外部发送，

所述第一声音输入装置的所述控制部判定所述第一声音输入装置中的所述第一输入声音信号的声压与所述第二声音输入装置中的所述第一输入声音信号的声压之间的大小，基于所述判定结果来设定从所述通信部向外部发送的所述输出声音信号。

6.如权利要求5所述的声音输入系统，其特征在于，

在所述第一声音输入装置以及所述第二声音输入装置的每一个中，所述控制部

将所述第一反映程度以及所述第二反映程度设定为反映一者而不反映另一者的二选一，并且

以与检测出的所述声压对应的二选一方式，将所述第二输入声音信号和所述第三输入声音信号中的一者设定为输出声音信号。

7.如权利要求5所述的声音输入系统，其特征在于，

在所述第一声音输入装置以及所述第二声音输入装置的每一个中，所述控制部

将所述第一反映程度以及所述第二反映程度分别设定为声压比率，并且

以与检测出的所述声压对应的声压比率，将所述第二输入声音信号和所述第三输入声音信号混合并设定为输出声音信号。

8.一种输入声音处理方法，其特征在于，

获取在说话者的左耳的外耳道外的第一位置处拾取到的声音作为第一输入声音信号；

检测所述第一输入声音信号的声压；

获取在所述说话者的左耳的外耳道外的比所述第一位置更靠近所述说话者的嘴部的第二位置处拾取到的声音作为第二输入声音信号；

获取在所述说话者的左耳的外耳道内拾取到的声音作为第三输入声音信号；

根据所述第一输入声音信号的声压，设定表示所述第二输入声音信号的反映程度的第一反映程度以及表示所述第三输入声音信号的反映程度的第二反映程度；

基于所述第一反映程度和所述第二反映程度，来生成包括所述第二输入声音信号和所述第三输入声音信号中的至少一个的左侧输出声音信号；

获取在所述说话者的右耳的外耳道外的第一位置处拾取到的声音作为第四输入声音信号；

检测所述第四输入声音信号的声压；

获取在所述说话者的右耳的外耳道外的比所述第一位置更靠近所述说话者的嘴部的第二位置处拾取到的声音作为第五输入声音信号；

获取在所述说话者的右耳的外耳道内拾取到的声音作为第六输入声音信号；

根据所述第四输入声音信号的声压，设定表示所述第五输入声音信号的反映程度的第三反映程度以及表示所述第六输入声音信号的反映程度的第四反映程度；

基于第三反映程度和第四反映程度，来生成包含所述第五输入声音信号和所述第六输入声音信号中的至少一个的右侧输出声音信号；

判定所述第一输入声音信号的声压和所述第四输入声音信号的声压之间的大小；以及

基于所述判定结果，将所述左侧输出声音信号和所述右侧输出声音信号中的至少一个设定为向外部发送的输出声音信号。

Images