CN117356107A - 信号处理装置、信号处理方法及程序 - Google Patents
信号处理装置、信号处理方法及程序 Download PDFInfo
- Publication number
- CN117356107A CN117356107A CN202280037462.3A CN202280037462A CN117356107A CN 117356107 A CN117356107 A CN 117356107A CN 202280037462 A CN202280037462 A CN 202280037462A CN 117356107 A CN117356107 A CN 117356107A
- Authority
- CN
- China
- Prior art keywords
- vibration
- signal
- unit
- signal processing
- reproduction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 346
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 238000001514 detection method Methods 0.000 claims abstract description 63
- 238000000034 method Methods 0.000 claims description 77
- 230000005540 biological transmission Effects 0.000 claims description 61
- 238000004364 calculation method Methods 0.000 claims description 57
- 230000008569 process Effects 0.000 claims description 55
- 230000001133 acceleration Effects 0.000 claims description 14
- 230000005236 sound signal Effects 0.000 claims description 8
- 230000004044 response Effects 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000001360 synchronised effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 239000000758 substrate Substances 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 210000000613 ear canal Anatomy 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 210000003027 ear inner Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 229920003002 synthetic resin Polymers 0.000 description 1
- 239000000057 synthetic resin Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1041—Mechanical or electronic switches, or control elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
- H04R2460/01—Hearing devices using active noise cancellation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
- H04R2460/13—Hearing devices using bone conduction transducers
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Circuit For Audible Band Transducer (AREA)
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
Abstract
提供了一种即使从振动再现装置输出音频也能够检测来自佩戴者的发言的信号处理装置、信号处理方法及程序。信号处理装置包括处理单元,该处理单元:响应于振动再现装置进行操作,振动再现装置包括再现振动的振动再现单元和检测振动的振动传感器;并且执行处理,由此在发言检测处理期间难以检测发言,由此基于振动传感器信号检测来自振动再现装置的佩戴者的发言。
Description
技术领域
本技术涉及信号处理装置、信号处理方法及程序。
背景技术
传统上,已经提出了用于通过发言者检测发言的技术。例如,存在用于通过使用声音通信系统中的加速度传感器来检测发言者的发言的技术(专利文献1)。
引用列表
专利文献
专利文献1:日本专利申请公开号2011-188462
发明内容
本发明要解决的问题
将考虑专利文献1中的技术应用于包括加速度传感器的耳机以检测佩戴耳机的人的发言的情况。如果从耳机的扬声器输出大音量声音,则由于声音输出引起的耳机的外壳的振动被发送到加速度传感器,因此,存在检测发言者的发言的性能劣化的可能性。例如,如果由于从扬声器向加速度传感器输出声音而引起的外壳的振动的传输,在输出的音乐中包括人类声音,则类似于佩戴者发言时的振动模式的振动模式进入加速度传感器,在这种情况下,尽管发言者没有发言,但错误地检测到发言者正在发言。
鉴于这种问题做出本技术,并且其目的是提供即使在从振动再现装置输出声音的状态下也能够检测佩戴者发言的信号处理装置、信号处理方法以及程序。
问题的解决方案
为了解决上述问题,第一技术是一种信号处理装置,其包括处理单元,该处理单元对应于包括再现振动的振动再现单元和检测振动的振动传感器的振动再现装置而操作,并且基于振动传感器信号在检测振动再现装置的佩戴者发言的发言检测处理中执行使得难以检测发言的处理。
此外,第二技术是一种信号处理方法,包括:对应于包括再现振动的振动再现单元和检测振动的振动传感器的振动再现装置来执行;以及基于振动传感器信号在检测振动再现装置的佩戴者发言的发言检测处理中执行使得难以检测发言的处理。
此外,第三技术是使计算机执行信号处理方法的程序,信号处理方法包括:与包括再现振动的振动再现单元和检测振动的振动传感器的振动再现装置相对应地执行;以及在基于振动传感器信号检测振动再现装置的佩戴者发言的发言检测处理中执行使得难以检测发言的处理。
附图说明
图1的A是示出耳机100的外部配置的外部视图,并且图1的B和图1的C是示出耳机100的内部配置的截面图。
图2是示出根据第一实施方式的信号处理装置200的配置的框图。
图3是示出根据第一实施方式的信号处理装置200的处理的流程图。
图4是第一实施方式中的信号处理装置200的处理的说明图。
图5是示出根据第二实施方式的信号处理装置200的配置的框图。
图6是示出根据第二实施方式的信号处理装置200的处理的流程图。
图7是第二实施方式中的信号处理装置200的处理的说明图。
图8是通知的说明图。
图9是示出根据第三实施方式的信号处理装置200的配置的框图。
图10是示出根据第三实施方式的信号处理装置200的处理的流程图。
图11是示出根据第四实施方式的信号处理装置200的配置的框图。
图12是示出根据第四实施方式的信号处理装置200的处理的流程图。
图13是示出根据第五实施方式的信号处理装置200的配置的框图。
图14是示出根据第五实施方式的信号处理装置200的处理的流程图。
图15是示出根据第六实施方式的信号处理装置200的配置的框图。
图16是示出根据第六实施方式的信号处理装置200的处理的流程图。
图17是本技术的应用例的说明图。
具体实施方式
在下文中,将参照附图描述本技术的实施方式。注意,将按照以下顺序进行描述。
<1.第一实施方式>
[1-1.振动再现装置的配置]
[1-2.信号处理装置200的配置]
[1-3.信号处理装置200的处理]
<2.第二实施方式>
[2-1.信号处理装置200的配置]
[2-2.信号处理装置200的处理]
<3.第三实施方式>
[3-1.信号处理装置200的配置]
[3-2.信号处理装置200的处理]
<4.第四实施方式>
[4-1.信号处理装置200的配置]
[4-2.信号处理装置200的处理]
<5.第五实施方式>
[5-1.信号处理装置200的配置]
[5-2.信号处理装置200的处理]
<6.第六实施方式>
[6-1.信号处理装置200的配置]
[6-2.信号处理装置200的处理]
<7.应用例>
<8.变形例>
<1.第一实施方式>
[1-1.振动再现装置的配置]
参考图1,将描述作为包括振动再现单元130和振动传感器140的振动再现装置的耳机100的配置。耳机100的配置对于第一至第四实施方式是共同的。注意,耳机100包括一对左耳机和右耳机,并且将参考左耳机进行描述。在以下描述中,佩戴和使用耳机100的人被称为佩戴者。
应注意,振动再现装置可以是可佩戴的或者固定的,并且可佩戴的振动再现装置的示例包括头戴式耳机、耳机、颈扬声器等。耳机的示例包括头戴式耳机、颈带耳机等,并且耳机的示例包括内耳式耳机、耳道式耳机等。并且,有些耳机称为真无线耳机、全无线耳机等,完全是独立的无线耳机。此外,还存在无线耳机和颈扬声器。注意,振动再现装置不限于无线类型,并且可以是有线类型。
耳机100包括外壳110、基板120、振动再现单元130、振动传感器140和听筒150。耳机100是所谓的耳道型无线耳机。要注意的是,耳机100还可被称为耳机。耳机100输出从与耳机100连接、同步、配对等的电子装置发送的再现信号作为声音。
外壳110用作在其中容纳基板120、振动再现单元130、振动传感器140等的容纳部分。外壳110通过使用例如合成树脂(诸如塑料)来形成。
基板120是电路板,处理器、微控制器单元(MCU)、电池充电IC等设置在该电路板上。处理器的处理实现再现信号处理单元、信号输出单元121、信号处理装置200、通信单元等。未示出再现信号处理单元和通信单元。
例如,再现信号处理单元对从振动再现单元130再现的再现信号执行预定声音信号处理,诸如信号放大处理或均衡处理。
信号输出单元121将由再现信号处理单元处理的再现信号输出到振动再现单元130。例如,再现信号是声音信号。再现信号可以是模拟信号或数字信号。注意,通过再现信号从振动再现单元130输出的声音可以是音乐、除了音乐之外的声音、或人的语音。
信号处理装置200执行根据本技术的信号处理。稍后将描述信号处理装置200的配置。
通信单元通过无线通信与右侧耳机和终端设备通信。通信方法的示例包括蓝牙(注册商标)、近场通信(NFC)和Wi-Fi,但是可以使用任何通信方法,只要可以执行通信即可。
振动再现单元130基于再现信号再现振动。振动再现单元130是例如输出声音信号作为声音的驱动器单元或扬声器,作为再现信号。
由振动再现单元130再现的振动可以是由音乐输出引起的振动或者由除了音乐之外的声音或语音输出引起的振动。此外,在耳机100具有噪声消除功能的情况下,从振动再现单元130再现的振动可以是由于作为再现信号的噪声消除信号的输出而引起的振动,或者可以是由于添加了噪声消除信号的声音信号的输出而引起的振动。在耳机100具有外部声音捕捉功能的情况下,从振动再现单元130再现的振动可以是由于作为再现信号的外部声音捕捉信号的输出而引起的振动,或者可以是由于外部声音捕捉信号被添加到的声音信号的输出而引起的振动。
在以下第一至第四实施方式中,将假定振动再现单元130是将声音信号作为声音输出的驱动器单元作为再现信号来进行描述。当从作为驱动单元的振动再现单元130输出声音时,外壳110振动,振动传感器140感测振动。
振动传感器140感测外壳110的振动。振动传感器140用于感测由于佩戴者的发言引起的外壳110的振动和由于从振动再现单元130输出的声音引起的外壳110的振动,并且不同于用于感测空气的振动的麦克风。因为振动传感器140感测外壳110的振动,并且麦克风感测空气的振动,所以其振动介质彼此不同。因此,在本技术中,振动传感器140不包括麦克风。振动传感器140例如是加速度传感器,并且在这种情况下,振动传感器140被配置为感测传感器内部的构件的位置的位移,并且在配置上与麦克风不同。
振动传感器140感测外壳110的振动,并且向信号处理装置200输出作为感测的结果而获得的振动传感器信号。
作为振动传感器140,除了加速度传感器之外,可以使用语音拾取(VPU)传感器、骨传导传感器等。加速度传感器可以是双轴加速度传感器或具有两个或更多个轴的加速度传感器(例如,三轴加速度传感器)。在加速度传感器具有两个或更多个轴的情况下,可测量多个方向上的振动,因此,能够以更高的准确度感测振动再现单元130的振动。
如图1的C中的振动传感器140A、振动传感器140B和振动传感器140D所示,振动传感器140可以被布置为平行于振动再现单元130的振动表面。
此外,如图1的C中的振动传感器140C、振动传感器140E和振动传感器140F所示,振动传感器140可以被布置为垂直于或倾斜于振动再现单元130的振动表面。因此,可以使振动再现单元130难以受到影响。
此外,如图1的C中的振动传感器140C和振动传感器140D所示,振动传感器140可以与振动再现单元130的振动表面同轴设置。
此外,如图1的C中的振动传感器140A、振动传感器140B、振动传感器140E和振动传感器140F所示,振动传感器140可以设置在与振动再现单元130的振动表面不同轴的位置处。因此,振动传感器140可能难以受到振动再现单元130的影响。
此外,如图1的C中的振动传感器140A、振动传感器140B、振动传感器140E和振动传感器140F所示,振动传感器140可以布置在与振动再现单元130不同的基板120上。因此,从振动再现单元130再现的振动到振动传感器140的传递可以物理地减少。
此外,如图1的C中的振动传感器140D所示,振动传感器140可以设置在振动再现单元130的表面上。结果,能够以更高的准确度感测振动再现单元130的振动。
此外,如图1的C中的振动传感器140C所示,振动传感器140可以设置在外壳110的内表面上。因此,从振动再现单元130再现的振动到振动传感器140的传递可以物理地减少。此外,因为可以在更靠近佩戴者的皮肤的位置处感测振动,所以可以提高感测准确度。
听筒150设置在管状突起上,管状突起形成在外壳110的面向佩戴者的耳朵的一侧上。例如,听筒150被称为管道类型,并且被深深地插入到佩戴者的外部声学开口中。听筒150通过诸如橡胶的弹性体具有弹性,并且通过与佩戴者的外部声学开口的内表面紧密接触,起到保持耳机100被佩戴在耳朵上的状态的作用。此外,通过与佩戴者的外部声学开口的内表面紧密接触,听筒150还起到阻挡来自外部的噪声以便于收听声音的作用,以及防止声音泄漏到外部的作用。
从振动再现单元130输出的声音从听筒150中的声音发射孔朝向佩戴者的外部声学开口发射。因此,佩戴者可以收听从耳机100再现的声音。
耳机100如上所述配置。应注意,虽然已经参考左耳机进行了描述,但是右耳机可以如上所述配置。
[1-2.信号处理装置200的配置]
接下来,将参考图2描述信号处理装置200的配置。信号处理装置200包括噪声生成单元201、噪声添加单元202和信号处理单元203。
噪声生成单元201生成将被添加到从振动传感器140输出到信号处理单元203的振动传感器信号的噪声,并将噪声输出到噪声添加单元202。作为噪声,例如可以使用白噪声、窄带噪声、粉色噪声等。本技术不限于特定噪声,并且噪声的类型不受限制,只要信号与检测目标的振动的特性不同即可。此外,可根据再现信号选择性地使用噪声。例如,根据由再现信号从振动再现单元130输出的声音是男性声音(在音乐的情况下为男性声音)还是女性声音(在音乐的情况下为女性声音),来选择性地使用噪声。
噪声添加单元202执行将由噪声生成单元201生成的噪声添加到从振动传感器140输出的振动传感器信号的处理。通过添加噪声,掩蔽振动到振动传感器140的传输分量,振动由从振动再现单元130输出的声音再现。噪声添加单元202对应于权利要求中的处理单元。
作为处理单元的噪声添加单元202改变振动传感器信号,使得在信号处理单元203的发言检测处理中难以检测发言。
信号处理单元203基于由噪声添加单元202添加噪声的振动传感器信号来检测佩戴者的发言。例如,利用通过使用机器学习技术构造的神经网络、通过使用深度学习技术构造的神经网络等,信号处理单元203通过从振动传感器信号检测由于佩戴者的发言而引起的外壳110的振动来检测佩戴者的发言。
在本技术中,信号处理单元203检测佩戴者的发言,因此,不优选检测佩戴者周围的人的发言。通常,发言的检测由设置在耳机100中的麦克风执行,但是用麦克风难以识别发言是由佩戴者还是由另一人做出。此外,需要多个麦克风来识别佩戴者是否正在发言或另一人是否正在发言。可以在具有大外壳的头带式耳机中设置多个麦克风,但是难以在具有小外壳110的耳道式耳机中设置多个麦克风。
因此,通过使用振动传感器140而不是麦克风来感测由于佩戴者的发言引起的外壳110的振动,来检测佩戴者而不是另一人的发言。即使另一人发言,振动传感器140也不感测由另一人的发言引起的振动,或者即使感测到振动,振动是轻微的振动,并且因此,可以防止另一人的发言被佩戴者错误地检测为发言。
信号处理装置200如上所述配置。要注意的是,在第一到第四实施方式的任一个中,信号处理装置200可以被配置为单个装置,可以在作为振动再现装置的耳机100中操作,或者可以在与耳机100连接、同步、配对等的电子装置等中操作。在信号处理装置200在这样的电子装置等中操作的情况下,信号处理装置200对应于耳机100操作。此外,通过执行程序,耳机100和电子装置可被实现为具有信号处理装置200的功能。在通过程序实现信号处理装置200的情况下,程序可以提前安装在耳机100或电子装置中,或者可以通过下载、存储介质等分发并且由用户自己安装。
[1-3.信号处理装置200的处理]
接下来,将参考图3和图4描述第一实施方式中的信号处理装置200的处理。
振动传感器140感测外壳110的振动,并且向信号处理装置200输出作为感测的结果而获得的振动传感器信号。当振动传感器140输出振动传感器信号时,噪声添加单元202在步骤S101接收振动传感器信号。
此外,在步骤S102中,噪声生成单元201生成噪声并且将噪声输出到噪声添加单元202。注意,步骤S102不一定需要在步骤S101之后执行,并且可以在步骤S101之前执行,或者步骤S101和步骤S102可以几乎同时执行。
接下来,在步骤S103中,噪声添加单元202将由噪声生成单元201生成的噪声添加到振动传感器信号,并将添加了噪声的振动传感器信号输出到信号处理单元203。当振动传感器140感测外壳110的振动并且振动传感器信号被输入到噪声添加单元202时,噪声添加单元202将噪声添加到振动传感器信号。
接下来,在步骤S104中,信号处理单元203基于由噪声添加单元202添加噪声的振动传感器信号执行发言检测处理。在信号处理单元203检测佩戴者的发言的情况下,信号处理单元203将表示检测结果的信息输出到外部处理单元等。
图4的A是其中外壳110的振动到振动传感器140的传递分量由从振动传感器信号获得的时间和声压之间的关系表示的示例,振动由从振动再现单元130输出的声音引起。在图4的A中,不将噪声添加到振动传感器信号。因此,在从振动再现单元130输出的声音中包括人类语音的情况下,与佩戴者发言的情况下的振动模式相似的振动模式被输入到振动传感器140,即使佩戴者没有发言。在这种情况下,振动传感器140可能感测由于从振动再现单元130输出的声音中的语音引起的外壳110的振动,并且信号处理单元203可能错误地检测到佩戴者已经发言。
在第一实施方式中,将噪声添加到振动传感器信号以防止这种错误检测。通过将噪声添加到振动传感器信号,外壳110的振动到振动传感器140的传输分量如图4的B所示改变并且被噪声掩蔽。因此,即使人类语音被包括在从振动再现单元130输出的声音中,在由于来自振动再现单元130的声音而感测到外壳110的振动的情况下的振动传感器信号的振动模式与在由于佩戴者的发言而感测到外壳110的振动的情况下的振动传感器信号的振动模式也不相似。噪声的添加将振动传感器信号与感测到由于人类语音引起的振动的情况下的振动传感器信号区分开来,由此可防止信号处理单元203错误地检测佩戴者的发言。
应注意,在佩戴者的发言的语音的大小充分大于从振动再现单元130输出的声音的大小的情况下,即使将噪声添加到表示由于佩戴者的发言引起的外壳110的振动的振动传感器信号,也不执行屏蔽,因此,即使对于添加了噪声的振动传感器信号,信号处理单元203也可基于该屏蔽来检测佩戴者的发言。
如上所述,执行第一实施方式中的信号处理装置200的处理。
<2.第二实施方式>
[2-1.信号处理装置200的配置]
接下来,将参考图5描述根据第二实施方式的信号处理装置200的配置。耳机100的配置类似于第一实施方式中的耳机100的配置。
信号处理装置200包括振动计算单元204、噪声生成单元201、噪声添加单元202和信号处理单元203。
振动计算单元204计算用于从振动再现单元130输出声音的再现信号的瞬时幅度。振动计算单元204将计算结果输出到噪声生成单元201。再现信号的幅度包括瞬时幅度,并且“瞬时”例如以毫秒为单位,但是本技术不限于此。再现信号的幅度可以是预定时间内的振动峰值或预定时间内的平均值。
当计算再现信号的瞬时幅度时,振动计算单元204可切出由振动再现单元130再现的再现信号的特定时间间隔,根据需要应用诸如高通滤波器、低通滤波器或带通滤波器的滤波器,并获得后续再现信号的能量(均方根值等)。
噪声生成单元201基于振动计算单元204的计算结果确定要被添加到振动传感器信号的噪声的大小,并且生成噪声。如果再现信号的幅度大,则噪声生成单元201增加生成的噪声,如果再现信号的幅度小,则噪声生成单元201减少生成的噪声,以便根据再现信号的瞬时幅度暂时地改变噪声的幅度,使得噪声的幅度与再现信号的幅度成比例。
此外,从振动再现单元130输出的声音的声压被传输到振动传感器140的程度被预测,并且可以基于预测值确定噪声的大小。例如,在预先知道由于从振动再现单元130输出的声音引起的外壳110的振动传递到振动传感器140而记录在振动传感器140中的信号的幅度是用于从振动再现单元130输出声音的再现信号的幅度的0.1倍的情况下,并且在从振动再现单元130输出的声音的幅度是A的情况下,仅需要将由噪声生成单元201生成的噪声的幅度设置为0.1A。
由此,在第二实施方式中,根据用于从振动再现单元130输出声音的再现信号的瞬时幅度,在时间上改变添加到振动传感器信号的噪声的幅度。
另外,与第一实施方式同样,作为噪声例如能够使用白噪声、窄频带噪声、粉色噪声等。噪声的类型不受限制,只要信号与检测目标的振动的特性不同即可,并且可根据再现信号选择性地使用噪声。
如在第一实施方式中,噪声添加单元202将由噪声生成单元201生成的噪声添加到振动传感器信号,并且将振动传感器信号输出到信号处理单元203。
如在第一实施方式中,信号处理单元203基于由噪声添加单元202添加了噪声的振动传感器信号检测佩戴者的发言。
根据第二实施方式的信号处理装置200如上所述配置。
[2-2.信号处理装置200的处理]
接下来,将参考图6和图7描述由第二实施方式中的信号处理装置200进行的处理。
振动传感器140感测外壳110的振动,并且向信号处理装置200输出作为感测的结果而获得的振动传感器信号。当振动传感器140输出振动传感器信号时,噪声添加单元202在步骤S201中接收振动传感器信号。
此外,当从信号输出单元121输出再现信号时,振动计算单元204在步骤S202中接收再现信号。
接下来,在步骤S203中,振动计算单元204计算再现信号的瞬时幅度。振动计算单元204将计算结果输出到噪声生成单元201。注意,步骤S202和S203不一定需要在步骤S201之后执行,并且可以在步骤S201之前执行,或者与步骤S201几乎同时执行。
接下来,在步骤S204中,噪声生成单元201基于由振动计算单元204计算的再现信号的幅度,生成要添加到振动传感器信号的噪声,并且将该噪声输出到噪声添加单元202。
接下来,在步骤S205中,噪声添加单元202将噪声添加到振动传感器信号,并将添加了噪声的振动传感器信号输出到信号处理单元203。在振动传感器140感测由于从振动再现单元130输出的声音而生成的振动并且振动传感器信号被输入到噪声添加单元202时,噪声添加单元202将噪声添加到振动传感器信号。
接下来,在步骤S206中,信号处理单元203基于由噪声添加单元202添加了噪声的振动传感器信号执行发言检测处理。通过与第一实施方式中的发言检测处理的方法相似的方法来执行发言检测处理。在信号处理单元203检测佩戴者的发言的情况下,信号处理单元203将表示检测结果的信息输出到外部处理单元等。
图7的A是其中外壳110的振动到振动传感器140的传递分量由从振动传感器信号获得的时间和声压之间的关系表示的示例,振动是由于从振动再现单元130输出的声音引起的。在图7的A中,不将噪声添加到振动传感器信号。因此,在从振动再现单元130输出的声音中包括人类语音的情况下,与佩戴者发言的情况下的振动模式相似的振动模式被输入到振动传感器140,即使佩戴者没有发言。在这种情况下,振动传感器140可能感测由于从振动再现单元130输出的声音中的语音引起的外壳110的振动,并且信号处理单元203可能错误地检测到佩戴者已经发言。
此外,将噪声添加到振动传感器信号意味着在感测到由于佩戴者的发言引起的外壳110的振动的情况下,将噪声添加到振动传感器信号。因此,信号处理单元203检测佩戴者的发言的准确度可能劣化。
为了防止该错误检测和发言检测准确度的劣化,在第二实施方式中,向振动传感器信号添加根据用于从振动再现单元130输出声音的再现信号的瞬时大小幅度而暂时改变的噪声。通过将根据再现信号的瞬时幅度而暂时改变的噪声添加到振动传感器信号,外壳110的振动越大,将被添加到振动传感器信号的噪声越大,并且在外壳110的振动小的情况下,将被添加到振动传感器信号的噪声小,并且由于从振动再现单元130输出到振动传感器140的声音,外壳110的振动的传输分量如图7的B所示的那样改变,并且被噪声掩蔽。
因此,即使人类语音被包括在从振动再现单元130输出的声音中,在由于从振动再现单元130输出的声音引起的外壳110的振动被感测的情况下的振动传感器信号的振动模式与在由于佩戴者的发言引起的外壳110的振动被感测的情况下的振动传感器信号的振动模式也不相似。因此,振动传感器信号与感测到由于人类语音引起的振动的情况下的振动传感器信号不同,从而可防止信号处理单元203错误地检测佩戴者的发言。
此外,因为添加到振动传感器信号的噪声是根据再现信号的瞬时幅度而暂时改变并掩蔽到振动传感器140的传输分量所需的最小噪声,所以振动传感器信号不会被掩蔽得多于所需的。因此,可以保持佩戴者基于振动传感器信号检测发言的成功率。
如上所述,执行第二实施方式中的信号处理装置200的处理。
注意,在由振动计算单元204计算的再现信号的瞬时幅度等于或小于预定阈值th1的情况下,可不向振动传感器信号添加噪声。
此外,可根据从振动再现单元130再现的振动的频率特性来改变将被添加的噪声的频率特性。例如,噪声可具有与从振动再现单元130再现的振动的频率特性成反比的频率特性,使得在添加噪声之后的振动传感器信号的频率特性可以是平坦的。
振动传感器140感测外壳110的振动,并且向信号处理装置200输出作为感测的结果而获得的振动传感器信号。在第一和第二实施方式中,在向振动传感器信号添加噪声之后,由信号处理单元203进行发言检测。如果佩戴者的发言的声音的大小充分大于从振动再现单元130输出的声音,则即使由于从振动再现单元130输出的声音而导致的外壳110的振动的传输分量被噪声掩蔽,由于佩戴者的声音而导致的外壳110的振动的传输分量也不被噪声掩蔽,因此,信号处理单元203可检测佩戴者的发言。
即使在用于从振动再现单元130输出声音的再现信号与振动传感器信号彼此不严格时间同步的情况下,也可执行第一实施方式和第二实施方式。例如,在再现信号的时钟和振动传感器信号的时钟彼此不同的情况下,即,在根据系统配置难以或者甚至不可能完全同步再现信号和振动传感器信号的情况下,第一和第二实施方式是有效的。
应注意,在第二实施方式中,在由振动再现单元130再现的振动很大的情况下,添加到振动传感器信号的噪声也增加,并且振动传感器信号被掩蔽,因此,检测佩戴者发言的准确度可能降低。这是因为佩戴者的语音相对于从振动再现单元130输出的声音的大小的相对大小较小。因此,在这种情况下,佩戴者需要用比从振动再现单元130输出的声音的大小更大的声音发出声音。
因此,在与耳机100连接、同步、配对等的电子装置300(例如,智能电话)中,可通知佩戴者如图8中所示的事实。用于通知的方法的示例包括在图8的A中示出的屏幕301上显示消息或图标、以及在图8的B中示出的LED 302的照明或闪烁。除了智能电话之外,电子装置300可以是可穿戴装置、个人计算机、平板终端、头戴式显示器、便携式音乐播放装置等。
可替代地,可准备允许佩戴者知道不能检测到佩戴者的发言的原因的输入操作,并且在电子装置300或耳机100上执行输入操作时,可将该原因通知给佩戴者。
<3.第三实施方式>
[3-1.信号处理装置200的配置]
接下来,将参考图9描述根据第三实施方式的信号处理装置200的配置。耳机100的配置类似于第一实施方式中的耳机100的配置。
信号处理装置200包括传输分量预测单元205、传输分量减法单元206和信号处理单元203。
基于从信号输出单元121输出到振动再现单元130的再现信号,传输分量预测单元205预测由于从振动再现单元130输出到振动传感器140的声音引起的外壳110的振动的传输分量。传输分量预测单元205将预测的传输分量输出到传输分量减法单元206。
作为用于预测传输分量的方法,例如,存在以下方法:预先(例如,在装运包括信号处理装置200的产品之前)测量从振动再现单元130到振动传感器140的传输特性(脉冲响应),并且在作为声音从振动再现单元130输出的再现信号中卷积预先测量的传输特性。
因为传输特性可根据诸如再现信号的幅度或类型的条件而改变,所以可预先测量多个条件下的传输特性,并且可根据诸如再现信号的幅度的条件选择并卷积合适的传输特性。
此外,在耳机100中,传输特性可以根据各种条件(例如,佩戴者的差异、耳机150的尺寸或材料的差异、或者与佩戴者的耳朵接触的状态的差异)而改变。为了解决这个问题,可以在佩戴者使用耳机100的状态下测量传输特性。在传输特性的测量中,当在佩戴者预期的定时给出测量开始指令时,可以从振动再现单元130再现诸如扫描信号的指定信号,并且可以基于此时的振动传感器140的信号获得传输特性。
在上述方法中,因为传输分量减法单元206以采样为单位减去信号,所以振动传感器信号和由传输分量预测单元205预测的传输分量需要具有相同的采样频率,并且以采样为单位彼此时间同步。在由振动再现单元130再现的再现信号的原始采样频率与振动传感器信号的采样频率不同的情况下,仅需要在执行采样频率转换之后执行上述预测方法。此外,在再现信号和振动传感器信号由于软件处理而暂时偏移的情况下,仅需要执行适当的同步校正处理。此外,可共享时钟,使得再现信号与振动传感器信号同步。此外,可通过使用延迟电路使振动传感器140和振动再现单元130的时钟和采样率同步。
传输分量减法单元206从振动传感器信号中减去传输分量预测单元205所预测的传输分量,并将经过了减法处理的振动传感器信号输出到信号处理单元203。传输分量减法单元206对应于权利要求中的处理单元。作为处理单元的传输分量减法单元206改变振动传感器信号,使得在信号处理单元203的发言检测处理中难以检测发言。
信号处理单元203基于由传输分量减法单元206对其执行减法处理的振动传感器信号来检测佩戴者的发言。发言检测方法类似于第一实施方式中的发言检测方法。
根据第三实施方式的信号处理装置200如上所述配置。
[3-2.信号处理装置200的处理]
接下来,将参考图10描述第三实施方式中的信号处理装置200的处理。
振动传感器140感测外壳110的振动,并且向信号处理装置200输出作为感测的结果而获得的振动传感器信号。当振动传感器140输出振动传感器信号时,在步骤S301中,传输分量减法单元206接收振动传感器信号。
此外,当从信号输出单元121输出再现信号时,在步骤S302中,传输分量预测单元205接收再现信号。
接下来,在步骤S303中,传输分量预测单元205基于再现信号来预测传输分量,并且将预测的结果输出到传输分量减法单元206。
注意,步骤S302和S303不一定需要在步骤S301之后执行,并且可以在步骤S301之前或几乎同时执行。
接下来,在步骤S304中,传输分量减法单元206从振动传感器信号中减去预测的传输分量,并且将经过减法处理的振动传感器信号输出到信号处理单元203。当振动传感器140感测由振动再现单元130生成的振动并且振动传感器信号被输入到噪声添加单元202时,通过传输分量减法单元206从振动传感器信号执行预测的传输分量的减法。
接下来,在步骤305中,信号处理单元203基于经过减法处理的振动传感器信号执行发言检测处理。通过与第一实施方式中的发言检测处理的方法相似的方法来执行发言检测处理。在信号处理单元203检测佩戴者的发言的情况下,信号处理单元203将表示检测结果的信息输出到外部处理单元等。
如上所述,执行第三实施方式中的信号处理装置200的处理。在第三实施方式中,对由于从振动再现单元130输出的声音引起的外壳110的振动对振动传感器信号的影响的传递分量进行预测并从振动传感器信号中减去该传递分量,因此,可以防止由于振动再现单元130再现的振动引起的发言检测性能的恶化。
<4.第四实施方式>
[4-1.信号处理装置200的配置]
接下来,将参考图11描述根据第四实施方式的信号处理装置200的配置。耳机100的配置类似于第一实施方式中的耳机100的配置。
信号处理装置200包括振动计算单元204、信号处理控制单元207和信号处理单元203。
如在第二实施方式中那样,振动计算单元204计算用于从振动再现单元130输出声音的再现信号的瞬时幅度。振动计算单元204将计算结果输出到信号处理控制单元207。再现信号的幅度包括瞬时幅度,并且“瞬时”例如以毫秒为单位,但是本技术不限于此。再现信号的幅度可以是预定时间内的振动峰值或预定时间内的平均值。
信号处理控制单元207基于振动计算单元204的计算结果,进行用于打开/关闭信号处理单元203的操作的控制。信号处理控制单元207执行关闭信号处理单元203的操作的处理,使得难以检测发言。在由振动计算单元204计算的再现信号的幅度等于或大于预设阈值th2的情况下,信号处理控制单元207输出用于关闭信号处理单元203的控制信号,使得信号处理单元203不执行信号处理。同时,在再现信号的幅度不等于或大于阈值th2的情况下,信号处理单元203输出用于打开信号处理单元203的控制信号,使得信号处理单元执行信号处理。阈值th2被设置为期望再现信号的幅度影响使用振动传感器信号的信号处理的值。信号处理控制单元207对应于权利要求中的处理单元。
信号处理单元203基于振动传感器信号检测佩戴者的发言。发言检测方法类似于第一实施方式中的发言检测方法。信号处理单元203仅在从信号处理控制单元207接收到用于打开信号处理单元203的控制信号的情况下操作。
根据第四实施方式的信号处理装置200如上所述配置。
[4-2.信号处理装置200的处理]
接下来,将参考图12描述通过根据第四实施方式的信号处理装置200的处理。
振动传感器140感测外壳110的振动,并且向信号处理装置200输出作为感测的结果而获得的振动传感器信号。当振动传感器140输出振动传感器信号时,在步骤S401中,信号处理单元203接收振动传感器信号。
此外,在步骤S402中,振动计算单元204接收从信号输出单元121输出的再现信号。
接下来,在步骤S403中,振动计算单元204计算再现信号的瞬时幅度。振动计算单元204将计算结果输出到信号处理单元203。
注意,步骤S403不一定需要在步骤S401和S402之后执行,并且可以在步骤S401和S402之前或几乎同时执行。
接下来,在步骤S404中,信号处理控制单元207将再现信号的幅度与阈值th2进行比较,在再现信号的幅度不等于或大于阈值th2的情况下,处理进行至步骤S405(步骤S404中“否”)。
接下来,在步骤S405中,信号处理控制单元207输出用于开启信号处理单元203的控制信号,使得信号处理单元203执行发言检测处理。
然后,在步骤S406中,信号处理单元203执行发言检测处理。在信号处理单元203检测佩戴者的发言的情况下,信号处理单元203将表示检测结果的信息输出到外部处理单元等。
同时,在步骤S404中再现信号的幅度等于或大于阈值th2的情况下,处理进入步骤S407(步骤S404中的是)。
然后,在步骤S407中,信号处理控制单元207输出用于关闭信号处理单元203的控制信号,使得信号处理单元203不执行发言检测处理。因此,信号处理单元203不执行发言检测处理。
如上所述执行第四实施方式中的处理。根据第四实施方式,在再现信号的幅度等于或大于阈值th2的情况下,信号处理单元203不执行信号处理,由此可以防止由信号处理对佩戴者造成的不利影响。
<5.第五实施方式>
[5-1.信号处理装置200的配置]
接下来,将参考图13描述根据第五实施方式的信号处理装置200的配置。耳机100的配置类似于第一实施方式中的耳机100的配置。
信号处理装置200包括振动计算单元204、增益计算单元208、增益添加单元209和信号处理单元203。
如在第二实施方式中那样,振动计算单元204计算用于从振动再现单元130输出声音的再现信号的瞬时幅度。振动计算单元204将计算结果输出到增益计算单元208。再现信号的幅度包括瞬时幅度,并且“瞬时”例如以毫秒为单位,但是本技术不限于此。再现信号的幅度可以是预定时间内的振动峰值或预定时间内的平均值。
在由振动计算单元204计算的再现信号的幅度等于或大于预设阈值th3的情况下,增益计算单元208计算增益使得振动传感器信号减小(计算小于OdB的增益),并将计算的结果输出到增益添加单元209。
基于增益计算单元208的计算结果,增益添加单元209执行将振动传感器信号乘以增益的处理。结果,振动传感器信号减小。增益添加单元209与权利要求中的处理单元相对应。
信号处理单元203基于通过增益添加单元209乘以增益的振动传感器信号来检测佩戴者的发言。通过与第一实施方式中的发言检测处理的方法相似的方法来执行发言检测处理。在信号处理单元203检测佩戴者的发言的情况下,信号处理单元203将表示检测结果的信息输出到外部处理单元等。
根据第五实施方式的信号处理装置200如上所述配置。
[5-2.信号处理装置200的处理]
接下来,将参考图14描述第五实施方式中的信号处理装置200的处理。
振动传感器140感测外壳110的振动,并且向信号处理装置200输出作为感测的结果而获得的振动传感器信号。当振动传感器140输出振动传感器信号时,在步骤S501中,增益添加单元209接收振动传感器信号。
此外,当从信号输出单元121输出再现信号时,振动计算单元204在步骤S502中接收再现信号。
接下来,在步骤S503中,振动计算单元204计算再现信号的瞬时幅度。振动计算单元204将计算结果输出到增益计算单元208。注意,步骤S502和S503不一定需要在步骤S501之后执行,并且可以在步骤S501之前执行,或者与步骤S501几乎同时执行。
接下来,在步骤S504中,在由振动计算单元204计算的再现信号的幅度等于或大于预设阈值th3的情况下,增益计算单元208计算增益,使得振动传感器信号减小,并且将计算的结果输出到增益添加单元209。
接下来,在步骤S505中,增益添加单元209将振动传感器信号乘以增益,并且将乘以增益的振动传感器信号输出到信号处理单元203。在振动传感器140感测由于从振动再现单元130输出的声音而生成的振动并且振动传感器信号被输入到噪声添加单元202时,增益添加单元209执行将振动传感器信号乘以增益的处理。
接下来,在步骤S506中,信号处理单元203基于通过增益添加单元209乘以增益的振动传感器信号执行发言检测处理。通过与第一实施方式中的发言检测处理的方法相似的方法来执行发言检测处理。在信号处理单元203检测佩戴者的发言的情况下,信号处理单元203将表示检测结果的信息输出到外部处理单元等。
如上所述执行第五实施方式中的处理。根据第五实施方式,信号处理单元203基于通过将振动传感器信号乘以增益而减少的振动传感器信号执行发言检测处理,并且因此,在佩戴者没有发言的情况下,可以减少错误检测到佩戴者发言的机会。
注意,随着由振动计算单元204计算的再现信号的幅度增加,可以减小在增益添加单元209中使振动传感器信号相乘的增益量。此外,在由振动计算单元204计算的再现信号的幅度小于预定值的情况下,增益可返回至初始值(0dB)。
<6.第六实施方式>
[6-1.信号处理装置200的配置]
接下来,将参考图15描述根据第六实施方式的信号处理装置200的配置。耳机100的配置类似于第一实施方式中的耳机100的配置。
信号处理装置200包括振动计算单元204和信号处理单元203。
如在第二实施方式中那样,振动计算单元204计算用于从振动再现单元130输出声音的再现信号的瞬时幅度。振动计算单元204将计算结果输出到增益计算单元208。再现信号的幅度包括瞬时幅度,并且“瞬时”例如以毫秒为单位,但是本技术不限于此。再现信号的幅度可以是预定时间内的振动峰值或预定时间内的平均值。
信号处理单元203基于振动传感器信号检测佩戴者的发言。信号处理单元203对应于权利要求中的处理单元。
根据第六实施方式的信号处理装置200如上所述配置。
[6-2.信号处理装置200的处理]
接下来,将参考图16描述第六实施方式中的信号处理装置200的处理。
振动传感器140感测外壳110的振动,并且向信号处理装置200输出作为感测的结果而获得的振动传感器信号。当振动传感器140输出振动传感器信号时,在步骤S601中,信号处理单元203接收振动传感器信号。
此外,当从信号输出单元121输出再现信号时,在步骤S602中,振动计算单元204接收再现信号。
接下来,在步骤S603中,振动计算单元204计算再现信号的瞬时幅度。振动计算单元204将计算结果输出到信号处理单元203。需要说明的是,步骤S602和S603并不一定需要在步骤S601之后执行,可以在步骤S601之前执行,也可以与步骤S601几乎同时执行。
然后,在步骤S604中,信号处理单元203基于振动传感器信号执行发言检测处理。通过与第一实施方式中的发言检测处理的方法相似的方法来执行发言检测处理。在信号处理单元203检测佩戴者的发言的情况下,信号处理单元203将表示检测结果的信息输出到外部处理单元等。
在信号处理单元203的内部处理中,通过使用神经网络等计算振动传感器信号包括人类语音的可能性,并且生成0至1的参数。对于参数,0对应于包括人类语音的0%的概率,并且1对应于包括人类语音的100%的概率。信号处理单元203将参数与预定阈值th4进行比较,并且如果参数等于或大于阈值th4,则判断佩戴者已经发言,并且输出指示佩戴者已经发言的检测结果。同时,在参数不等于或大于阈值th4的情况下,判断为佩戴者没有发言,并且输出表示佩戴者没有发言的检测结果。
在这种情况下,在由振动计算单元204计算的再现信号的幅度等于或大于预设阈值th5的情况下,信号处理单元203使阈值th4增加预定量(使阈值th4接近1),从而使得难以检测佩戴者的发言。
此外,阈值th4增加的量可随着由振动计算单元204计算的再现信号的幅度增加而增加。此外,在由振动计算单元204计算的再现信号的幅度减小到预定量以下的情况下,阈值th4可返回到初始值。
如上所述,执行第六实施方式中的处理。根据第六实施方式,将用于与佩戴者已经说出的参数相比较进行判断的阈值设置为难以检测发言,因此,在佩戴者没有发言的情况下,可以减少错误检测佩戴者发言的机会。
<7.应用例>
在图17中示出的,在根据上述第一实施方式至第四实施方式的信号处理单元203已经检测到佩戴者的发言的情况下,信号处理单元203将检测结果输出到信号处理装置200外部的外部处理单元400。然后,发言检测结果可应用于外部处理单元400中的各种处理。
当外部处理单元400从信号处理装置200接收佩戴者在佩戴者佩戴耳机100的状态下发出并收听从振动再现单元130输出的声音(音乐等)的检测结果时,外部处理单元400执行停止由振动再现单元130输出的声音的处理。例如,可通过生成指示输出再现信号的电子装置停止再现信号的输出的控制信号,并经由通信单元将控制信号发送到电子装置,来停止从振动再现单元130输出的声音。
通过检测佩戴耳机100的佩戴者已经发出声音并且收听声音,并且停止从振动再现单元130输出的声音,佩戴者不需要移除耳机100来与人讲话,或者不需要操作输出再现信号的电子装置以停止声音输出。
通过根据本技术的信号处理单元203提高发言检测的准确度,可以防止外部处理单元400错误地停止从振动再现单元130输出的声音。
由外部处理单元400执行的处理不限于停止从振动再现单元130输出的声音的处理。作为其他处理,例如,存在切换耳机100的操作模式的处理。
具体地,操作模式切换处理是在包括外部声音捕获模式的情况下将耳机100的操作模式切换到所谓的外部声音捕获模式的处理,其中,耳机100从振动再现单元130输出麦克风和由麦克风捕获的声音,使得佩戴者可以容易地听到声音。
根据本技术,通过检测佩戴者的发言并且将耳机100的模式切换至外部声音捕获模式,佩戴者可以在不移除耳机100的情况下舒适地与人谈话。例如,在配戴者与家庭成员或朋友谈话的情况下、在配戴者在餐馆等口头下订单的情况下、在配戴者与飞机上的客舱服务员(CA)谈话的情况下等,这是有用的。
注意,在切换到外部声音捕获模式之前,耳机的操作模式可以是正常模式或噪声消除模式。
应注意,外部处理单元400可执行停止从振动再现单元130输出的声音的处理和切换耳机100的操作模式的处理两者。通过停止从振动再现单元130输出声音并将耳机100的操作模式切换到外部声音捕获模式,佩戴者可以更舒适地与人谈话。注意,不同的处理单元可执行停止从振动再现单元130输出的声音的处理和切换耳机100的操作模式的处理。
应注意,外部处理单元400可通过设置在耳机100内部的基板120上的处理器的处理来实现,或者可通过与耳机100连接、同步、配对等的电子装置的处理来实现,并且信号处理装置200可设置有外部处理单元400。
<8.变形例>
虽然以上具体描述了本技术的实施方式,但是本技术不限于上述实施方式,并且基于本技术的技术构思的各种修改是可能的。
包括振动再现单元130和振动传感器140的振动再现装置可以是耳机或头戴式显示器。
此外,由信号处理单元203执行的“使用振动传感器信号的信号处理”可以是例如检测由于例如佩戴者的发言、佩戴者的行走、轻敲或脉冲等引起的特定振动的处理。
在第一和第二实施方式中,在从振动再现单元130再现的声音的声压等于或小于预定阈值th3的情况下,由于从振动再现单元130再现的声音而引起的外壳110的振动可能不被振动传感器140感测到,或者因为即使感测到振动也小,所以在假设没有错误地执行信号处理的情况下噪声可能不被添加到振动传感器信号。
耳机100可包括两个或更多个振动再现单元130和两个或更多个振动传感器140。在这种情况下,在第一和第二实施方式中,基于从每个振动再现单元130再现的振动确定要被添加到从每个振动传感器140输出的振动传感器信号的噪声。此外,在第三实施方式中,通过使用从每个振动再现单元130到每个振动传感器140的传递特性来执行处理。
本技术还可具有以下配置。
(1)
一种信号处理装置,包括处理单元,处理单元:
对应于振动再现装置进行操作,振动再现装置包括再现振动的振动再现单元和感测振动的振动传感器,并且
在基于振动传感器信号检测振动再现装置的佩戴者发言的发言检测处理中执行使得难以检测发言的处理。
(2)
根据(1)的信号处理装置,其中,处理单元基于用于再现来自振动再现单元的振动的再现信号来执行处理。
(3)
根据(1)或(2)的信号处理装置,其中,该处理改变振动传感器信号,使得在发言检测处理中难以检测发言。
(4)
根据(1)至(3)中任一项的信号处理装置,其中,振动传感器基于由振动传感器通过感测振动再现装置的外壳的振动而输出的振动传感器信号检测佩戴者的发言。
(5)
根据(3)的信号处理装置,其中,处理单元是将噪声添加到振动传感器信号的噪声添加单元。
(6)
根据(5)的信号处理装置,信号处理装置进一步包括振动计算单元,振动计算单元计算用于再现来自振动再现单元的振动的再现信号的幅度;
其中,噪声添加单元将与再现信号的幅度相应的噪声添加到振动传感器信号。
(7)
根据(3)的信号处理装置,其中,处理单元是传输分量减法单元,传输分量减法单元从振动传感器信号中减去由振动再现单元再现的振动到振动传感器的传输分量。
(8)
根据(7)的信号处理装置,信号处理装置进一步包括传输分量预测单元,传输分量预测单元基于用于再现来自振动再现单元的振动的再现信号来预测传输分量,并且将所预测的传输分量输出到传输分量减法单元。
(9)
根据(2)的信号处理装置,其中,处理单元是控制发言检测处理的开/关的信号处理控制单元。
(10)
根据(9)的信号处理装置,其中,信号处理控制单元执行控制以在再现信号的幅度等于或大于预定阈值的情况下关闭发言检测处理。
(11)
根据(9)的信号处理装置,其中,信号处理控制单元执行控制以在再现信号的幅度不等于或大于预定阈值的情况下开启发言检测处理。
(12)
根据(3)的信号处理装置,其中,处理单元是增益添加单元,增益添加单元将振动传感器信号乘以减小振动传感器信号的增益。
(13)
根据(2)的信号处理装置,其中,处理单元基于再现信号的幅度调整阈值,阈值判断检测到佩戴者的发言。
(14)
根据(1)至(13)中任一项的信号处理装置,信号处理装置在包括振动再现单元和振动传感器的振动再现装置中操作。
(15)
根据(1)至(14)中任一项的信号处理装置,其中,振动再现装置是耳机。
(16)
根据(1)至(15)中任一项的信号处理装置,其中,振动传感器是加速度传感器。
(17)
根据(1)至(16)中任一项的信号处理装置,
其中,再现信号是声音信号,并且振动再现单元通过声音的输出再现振动。
(18)
一种信号处理方法,包括:
对应于包括再现振动的振动再现单元和感测振动的振动传感器的振动再现装置来执行,以及
在基于振动传感器信号检测振动再现装置的佩戴者发言的发言检测处理中执行使得难以检测发言的处理。
(19)
一种使计算机执行信号处理方法的程序,信号处理方法包括:
对应于包括再现振动的振动再现单元和感测振动的振动传感器的振动再现装置来执行,以及
在基于振动传感器信号检测振动再现装置的佩戴者发言的发言检测处理中执行使得难以检测发言的处理。
附图标记列表
100 振动再现装置
130 振动再现单元
140 噪声添加单元
200 信号处理装置
202 振动传感器
203 信号处理单元
205 传输分量预测单元
206 传输分量减法单元
207 信号处理控制单元
209 增益添加单元
Claims (19)
1.一种信号处理装置,包括处理单元,所述处理单元:
与振动再现装置相对应地进行操作,所述振动再现装置包括再现振动的振动再现单元和感测振动的振动传感器,并且
在基于振动传感器信号检测所述振动再现装置的佩戴者的发言的发言检测处理中执行使得难以检测发言的处理。
2.根据权利要求1所述的信号处理装置,
其中,所述处理单元基于用于从所述振动再现单元再现振动的再现信号执行所述处理。
3.根据权利要求1所述的信号处理装置,
其中,所述处理改变所述振动传感器信号,使得在所述发言检测处理中难以检测所述发言。
4.根据权利要求1所述的信号处理装置,
其中,所述振动传感器基于由所述振动传感器通过感测所述振动再现装置的外壳的振动而输出的所述振动传感器信号检测所述佩戴者的发言。
5.根据权利要求3所述的信号处理装置,
其中,所述处理单元是将噪声添加到所述振动传感器信号的噪声添加单元。
6.根据权利要求5所述的信号处理装置,所述信号处理装置还包括:振动计算单元,计算用于从所述振动再现单元再现振动的再现信号的幅度;
其中,所述噪声添加单元将与所述再现信号的幅度相对应的噪声添加到所述振动传感器信号。
7.根据权利要求3所述的信号处理装置,
其中,所述处理单元是传输分量减法单元,所述传输分量减法单元从所述振动传感器信号中减去由所述振动再现单元再现的振动到振动传感器的传输分量。
8.根据权利要求7所述的信号处理装置,所述信号处理装置还包括:传输分量预测单元,基于用于从所述振动再现单元再现振动的再现信号预测所述传输分量,并将预测的所述传输分量输出到所述传输分量减法单元。
9.根据权利要求2所述的信号处理装置,
其中,所述处理单元是控制所述发言检测处理的开/关的信号处理控制单元。
10.根据权利要求9所述的信号处理装置,
其中,所述信号处理控制单元执行控制以在所述再现信号的幅度等于或大于预定阈值的情况下关闭所述发言检测处理。
11.根据权利要求9所述的信号处理装置,
其中,所述信号处理控制单元执行控制以在所述再现信号的幅度不等于或大于预定阈值的情况下开启所述发言检测处理。
12.根据权利要求3所述的信号处理装置,
其中,所述处理单元是增益添加单元,所述增益添加单元将所述振动传感器信号乘以减小所述振动传感器信号的增益。
13.根据权利要求2所述的信号处理装置,
其中,所述处理单元基于所述再现信号的幅度调整阈值,所述阈值判断检测到所述佩戴者的发言。
14.根据权利要求1所述的信号处理装置,所述信号处理装置在包括所述振动再现单元和所述振动传感器的所述振动再现装置中进行操作。
15.根据权利要求1所述的信号处理装置,
其中,所述振动再现装置是耳机。
16.根据权利要求1所述的信号处理装置,
其中,所述振动传感器是加速度传感器。
17.根据权利要求1所述的信号处理装置,
其中,再现信号是声音信号,并且所述振动再现单元利用声音的输出再现振动。
18.一种信号处理方法,包括:
与振动再现装置相对应地执行,所述振动再现装置包括再现振动的振动再现单元和感测振动的振动传感器;以及
在基于振动传感器信号检测所述振动再现装置的佩戴者的发言的发言检测处理中执行使得难以检测发言的处理。
19.一种使计算机执行信号处理方法的程序,所述信号处理方法包括:
与振动再现装置相对应地执行,所述振动再现装置包括再现振动的振动再现单元和感测振动的振动传感器;以及
在基于振动传感器信号检测所述振动再现装置的佩戴者的发言的发言检测处理中执行使得难以检测发言的处理。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021-091684 | 2021-05-31 | ||
JP2021091684 | 2021-05-31 | ||
PCT/JP2022/008288 WO2022254834A1 (ja) | 2021-05-31 | 2022-02-28 | 信号処理装置、信号処理方法およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117356107A true CN117356107A (zh) | 2024-01-05 |
Family
ID=84324140
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280037462.3A Pending CN117356107A (zh) | 2021-05-31 | 2022-02-28 | 信号处理装置、信号处理方法及程序 |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP4351165A1 (zh) |
CN (1) | CN117356107A (zh) |
DE (1) | DE112022002887T5 (zh) |
WO (1) | WO2022254834A1 (zh) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3106543B2 (ja) * | 1990-05-28 | 2000-11-06 | 松下電器産業株式会社 | 音声信号処理装置 |
JP5555900B2 (ja) | 2010-03-04 | 2014-07-23 | 独立行政法人科学技術振興機構 | 発話検出装置及び音声通信システム |
JP6069830B2 (ja) * | 2011-12-08 | 2017-02-01 | ソニー株式会社 | 耳孔装着型収音装置、信号処理装置、収音方法 |
US11276384B2 (en) * | 2019-05-31 | 2022-03-15 | Apple Inc. | Ambient sound enhancement and acoustic noise cancellation based on context |
-
2022
- 2022-02-28 EP EP22815592.5A patent/EP4351165A1/en active Pending
- 2022-02-28 CN CN202280037462.3A patent/CN117356107A/zh active Pending
- 2022-02-28 DE DE112022002887.4T patent/DE112022002887T5/de active Pending
- 2022-02-28 WO PCT/JP2022/008288 patent/WO2022254834A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2022254834A1 (ja) | 2022-12-08 |
EP4351165A1 (en) | 2024-04-10 |
DE112022002887T5 (de) | 2024-03-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11294619B2 (en) | Earphone software and hardware | |
US11244666B2 (en) | Method and device for acute sound detection and reproduction | |
CN110089129B (zh) | 使用听筒麦克风的个人声音设备的头上/头外检测 | |
KR102196012B1 (ko) | 트랜스듀서 상태의 검출에 기초하여 오디오 트랜스듀서의 성능을 향상시키는 방법들 및 시스템들 | |
US9491542B2 (en) | Automatic sound pass-through method and system for earphones | |
US20170214994A1 (en) | Earbud Control Using Proximity Detection | |
CN110896509A (zh) | 耳机佩戴状态确定方法、电子设备控制方法及电子设备 | |
WO2020019821A1 (zh) | 麦克风堵孔检测方法及相关产品 | |
WO2009128853A1 (en) | Method and device for voice operated control | |
WO2017117295A1 (en) | Occlusion reduction and active noise reduction based on seal quality | |
CN112866890B (zh) | 一种入耳检测方法及系统 | |
EP2863651A1 (en) | Acoustic coupling sensor for mobile device | |
US9946509B2 (en) | Apparatus and method for processing audio signal | |
WO2022066393A1 (en) | Hearing augmentation and wearable system with localized feedback | |
WO2021255415A1 (en) | Wear detection | |
US20210272579A1 (en) | Audio signal processing device | |
KR20160137290A (ko) | 헤드셋의 하울링 및 에코 제거 방법 및 컴퓨터 프로그램 | |
KR20210001646A (ko) | 전자 장치 및 이를 이용한 오디오 신호를 처리하기 위한 음향 장치를 결정하는 방법 | |
CN117356107A (zh) | 信号处理装置、信号处理方法及程序 | |
CN115278441A (zh) | 语音检测方法、装置、耳机及存储介质 | |
US20110206219A1 (en) | Electronic device for receiving and transmitting audio signals | |
US11410678B2 (en) | Methods and apparatus for detecting singing | |
US20240107246A1 (en) | State detection for wearable audio devices | |
US20230048848A1 (en) | Feedback control using a correlation measure | |
CN116367033A (zh) | 具有独立传声器功能的无线耳机系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination |