JP2020109893A - 音声入出力装置、補聴器、音声入出力方法および音声入出力プログラム - Google Patents

音声入出力装置、補聴器、音声入出力方法および音声入出力プログラム Download PDF

Info

Publication number
JP2020109893A
JP2020109893A JP2018248765A JP2018248765A JP2020109893A JP 2020109893 A JP2020109893 A JP 2020109893A JP 2018248765 A JP2018248765 A JP 2018248765A JP 2018248765 A JP2018248765 A JP 2018248765A JP 2020109893 A JP2020109893 A JP 2020109893A
Authority
JP
Japan
Prior art keywords
voice
noise
output
user
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018248765A
Other languages
English (en)
Other versions
JP6807134B2 (ja
Inventor
孝司 大杉
Koji Osugi
孝司 大杉
隆行 荒川
Takayuki Arakawa
隆行 荒川
昭彦 杉山
Akihiko Sugiyama
昭彦 杉山
良次 宮原
Ryoji Miyahara
良次 宮原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Platforms Ltd
NEC Corp
Original Assignee
NEC Platforms Ltd
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Platforms Ltd, NEC Corp filed Critical NEC Platforms Ltd
Priority to JP2018248765A priority Critical patent/JP6807134B2/ja
Priority to EP19902465.4A priority patent/EP3905712A4/en
Priority to US17/417,491 priority patent/US11743662B2/en
Priority to PCT/JP2019/049173 priority patent/WO2020137654A1/ja
Priority to CN201980085453.XA priority patent/CN113412629A/zh
Publication of JP2020109893A publication Critical patent/JP2020109893A/ja
Application granted granted Critical
Publication of JP6807134B2 publication Critical patent/JP6807134B2/ja
Priority to US18/220,611 priority patent/US20230353953A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083—Reduction of ambient noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
    • H04R25/502—Customised settings for obtaining desired overall acoustical characteristics using analog signal processing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1781—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions
    • G10K11/17813—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the acoustic paths, e.g. estimating, calibrating or testing of transfer functions or cross-terms
    • G10K11/17817—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the acoustic paths, e.g. estimating, calibrating or testing of transfer functions or cross-terms between the output signals and the error signals, i.e. secondary path
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1783—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase handling or detecting of non-standard events or conditions, e.g. changing operating modes under specific operating conditions
    • G10K11/17837—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase handling or detecting of non-standard events or conditions, e.g. changing operating modes under specific operating conditions by retaining part of the ambient acoustic environment, e.g. speech or alarm signals that the user needs to hear
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787—General system configurations
    • G10K11/17879—General system configurations using both a reference signal and an error signal
    • G10K11/17881—General system configurations using both a reference signal and an error signal the reference signal being an acoustic signal, e.g. recorded with a microphone
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/45—Prevention of acoustic reaction, i.e. acoustic oscillatory feedback
    • H04R25/453—Prevention of acoustic reaction, i.e. acoustic oscillatory feedback electronically
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/60—Mounting or interconnection of hearing aid parts, e.g. inside tips, housings or to ossicles
    • H04R25/603—Mounting or interconnection of hearing aid parts, e.g. inside tips, housings or to ossicles of mechanical or electronic switches or control elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02165—Two microphones, one receiving mainly the noise signal and the other one mainly the speech signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Otolaryngology (AREA)
  • Neurosurgery (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephone Function (AREA)
  • Headphones And Earphones (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Abstract

【課題】ノイズキャンセルとエコーキャンセルとの両方を行って高品質な主音声信号を生成すること。【解決手段】音声入出力装置であって、ユーザの体の外側に向けて配置され、前記ユーザの外部から到来する外部雑音を取得するための雑音取得部と、音声信号の入力を受け付け、ユーザの外耳道に対して出力音声を出力する音声出力部と、外部雑音と出力音声とユーザの声帯から外耳道内を伝わってきたユーザの主音声とが混合された混合音声を取得して、混合音声信号を出力する主音声取得部と、外部雑音に基づく雑音信号を用いて、混合音声信号を処理するノイズキャンセル部と、音声信号を用いて、混合音声信号を処理するエコーキャンセル部と、を備える。【選択図】 図１

Description

本発明は、音声入出力装置、補聴器、音声入出力方法および音声入出力プログラムに関する。
上記技術分野において、特許文献１には、マイク部の不使用時に第１スピーカおよび第２スピーカから音声を出力し、マイク部の使用時に第１スピーカの音声出力を停止して第２スピーカから音声を出力する音声入出力装置が開示されている。特許文献２には、環境騒音に対して装着部の筐体の遮音性能により発話収音信号のＳ／Ｎを確保した上で、ＮＣ処理により内部空間におけるノイズを抑制することで、発話収音信号のＳ／Ｎ向上を図る技術が開示されている。
特開２０１５−６１１１５号公報 特開２０１７−１１７５４号公報
しかしながら、上記特許文献１に記載の技術では、エコーが生じないためエコーキャンセルを行う必要がなかった。また、上記特許文献２に記載の技術では、内部マイクロホンに環境騒音が入らないため内部マイクロホンに入力された音声信号から外部ノイズをキャンセルする必要がなかった。すなわち、従来は、内部マイクロホンが捕捉した音声信号から外部ノイズをキャンセルしつつスピーカからの出力音声のエコーキャンセルを行うという発想はなかったため、高品質な主音声信号を生成できなかった。
本発明の目的は、上述の課題を解決する技術を提供することにある。
上記目的を達成するため、本発明に係る音声入出力装置は、
ユーザの体の外側に向けて配置され、前記ユーザの外部から到来する外部雑音を取得するための雑音取得部と、
音声信号の入力を受け付け、前記ユーザの外耳道に対して出力音声を出力する音声出力部と、
前記外部雑音と前記出力音声と前記ユーザの声帯から前記外耳道内を伝わってきた前記ユーザの主音声とが混合された混合音声を取得して、混合音声信号を出力する主音声取得部と、
前記外部雑音に基づく雑音信号を用いて、前記混合音声信号を処理するノイズキャンセル部と、
前記音声信号を用いて、前記混合音声信号を処理するエコーキャンセル部と、
を備える。
上記目的を達成するため、本発明に係る補聴器は、
ユーザの体の外側に向けて配置され、前記ユーザの外部から到来する外部雑音を取得するための雑音取得部と、
音声信号の入力を受け付け、前記ユーザの外耳道に対して出力音声を出力する音声出力部と、
前記外部雑音と前記出力音声と前記ユーザの声帯から前記外耳道内を伝わってきた前記ユーザの主音声とが混合された混合音声を取得して、混合音声信号を出力する主音声取得部と、
前記外部雑音に基づく雑音信号を用いて、前記混合音声信号を処理するノイズキャンセル部と、
前記音声信号を用いて、前記混合音声信号を処理するエコーキャンセル部と、
前記音声出力部に入力される音声信号を増幅する増幅部と、
を備えた。
上記目的を達成するため、本発明に係る音声入出力方法は、
ユーザの体の外側に向けて配置され、前記ユーザの外部から到来する外部雑音を取得するための雑音取得ステップと、
音声信号の入力を受け付け、前記ユーザの外耳道に対して出力音声を出力する音声出力ステップと、
前記外部雑音と前記出力音声と前記ユーザの声帯から前記外耳道内を伝わってきた前記ユーザの主音声とが混合された混合音声を取得して、混合音声信号を出力する主音声取得ステップと、
前記外部雑音に基づく雑音信号を用いて、前記混合音声信号を処理するノイズキャンセルステップと、
前記音声信号を用いて、前記混合音声信号を処理するエコーキャンセルステップと、
を含む。
上記目的を達成するため、本発明に係る音声入出力プログラムは、
ユーザの体の外側に向けて配置され、前記ユーザの外部から到来する外部雑音を取得するための雑音取得ステップと、
音声信号の入力を受け付け、前記ユーザの外耳道に対して出力音声を出力する音声出力ステップと、
前記外部雑音と前記出力音声と前記ユーザの声帯から前記外耳道内を伝わってきた前記ユーザの主音声とが混合された混合音声を取得して、混合音声信号を出力する主音声取得ステップと、
前記外部雑音に基づく雑音信号を用いて、前記混合音声信号を処理するノイズキャンセルステップと、
前記音声信号を用いて、前記混合音声信号を処理するエコーキャンセルステップと、
をコンピュータに実行させる。
本発明によれば、ノイズキャンセルとエコーキャンセルとの両方を行って高品質な主音声信号を生成することができる。
本発明の第１実施形態に係る音声入出力装置の構成を示すブロック図である。 本発明の第２実施形態に係る音声入出力装置の構成を示す図である。 本発明の第２実施形態に係る音声入出力装置の音声処理部の詳しい構成を示す図である。 本発明の第２実施形態に係る音声入出力装置の制御部の係数処理を説明する図である。 本発明の第３実施形態に係る音声入出力装置の構成を示す図である。 本発明の第４実施形態に係る音声入出力装置の構成を示す図である。 本発明の第５実施形態に係る補聴器の構成を示す図である。 本発明の第５実施形態に係る補聴器の構成を示す図である。 本発明の第５実施形態に係る補聴器の構成を示す図である。 本発明の第６実施形態に係る音声入出力装置の構成を示す図である。 本発明の第７実施形態に係る音声入出力装置の構成を示す図である。 第２実施形態を信号処理プログラムにより構成する場合に、その信号処理プログラムを実行するコンピュータの構成図である。 ＣＰＵ８２０が実行する処理の流れを示すフローチャートである。 ＣＰＵ８２０が実行する処理の流れを示すフローチャートである。 ＣＰＵ８２０が実行する処理の流れを示すフローチャートである。
以下に、本発明を実施するための形態について、図面を参照して、例示的に詳しく説明記載する。ただし、以下の実施の形態に記載されている、構成、数値、処理の流れ、機能要素などは一例に過ぎず、その変形や変更は自由であって、本発明の技術範囲を以下の記載に限定する趣旨のものではない。また、下記図面において、一方向性の矢印は、ある信号の流れの方向を端的に示したものであり、双方向性を排除するものではない。なお、以下の説明中における「音声信号」とは、音声その他の音響に従って生ずる直接的の電気的変化であって、音声その他の音響を伝送するためのものをいい、音声に限定されない。
［第１実施形態］
本発明の第１実施形態としての音声入出力装置１００について、図１を用いて説明する。
図１に示すように、音声入出力装置１００は、主音声取得部１０１、雑音取得部１０２、音声出力部１０３、ノイズキャンセル部１０４およびエコーキャンセル部１０５を含む。雑音取得部１０２は、ユーザ１２０の体の外側に向けて配置され、ユーザ１２０の外部から到来する外部雑音１２１を取得（捕捉）する。音声出力部１０３は、音声信号１３２の入力を受け付け、ユーザ１２０の外耳道１１０に対して出力音声１３１を出力する。主音声取得部１０１は、外部雑音１２１と出力音声１３１とユーザ１２０の声帯から外耳道内を伝わってきたユーザ１２０の主音声１１１とが混合された混合音声を取得（捕捉）して、混合音声信号１１２を出力する。ノイズキャンセル部１０４は、外部雑音１２１に基づく雑音信号を用いて、混合音声信号１１２を処理する。エコーキャンセル部１０５は、音声信号１３２を用いて、混合音声信号１１２を処理する。
本実施形態によれば、ノイズキャンセルとエコーキャンセルとの両方を行って高品質な主音声信号を生成することができる。
［第２実施形態］
次に本発明の第２実施形態に係る音声入出力装置について、図２Ａ乃至図３を用いて説明する。図２Ａは、本実施形態に係る音声入出力装置の構成を示す図である。音声入出力装置２００は、主音声取得部としての内部マイク２０１、雑音取得部としての外部マイク２０２、音声出力部としてのスピーカ２０３、音声処理部２９０を有する。音声処理部２９０は、ノイズキャンセル部２０４およびエコーキャンセル部２０５を有する。音声入出力装置２００は、インナーイヤー型のヘッドホン、カナル型のヘッドホン、両耳型のヘッドホン、片耳型のヘッドホン、モノラル型のヘッドホンであってもよいが、これらには限定されない。また、音声入出力装置２００は、ヘッドホンには限られず、イヤホン、ヘッドセットであってもよい。
内部マイク２０１は、ユーザ２７０の外耳道２１０に向けられた内部マイクである。内部マイク２０１で捕捉されたユーザ２７０の主音声２１１は、送信信号２５０として所定の送信先に送信される。
内部マイク２０１は、外部雑音２２１と出力音声２３１と主音声２１１とが混合された混合音声を捕捉して、混合音声信号２１２を出力する。内部マイク２０１は、密閉空間である外耳道２１０に配置されていても、外部雑音２２１の音量が大きい場合には、ユーザ２７０の頭部を通過して外耳道内に伝播された外部雑音２２１の一部を捕捉してしまう。さらに、スピーカ２０３から音声が出力されている場合には、内部マイク２０１は、その音声も捕捉してしまう。
外部マイク２０２は、ユーザ２７０の体の外側に向けて配置され、外部マイク２０２は、ユーザ２７０の外部から到来する外部雑音２２１を捕捉する。例えば、外部マイク２０２は、ユーザ２７０の周辺からの外部雑音２２１を捕捉する外部マイクである。外部マイク２０２は、外部雑音２２１を捕捉して、雑音信号２２２を生成する。
通信部２６０が、受信した受信信号２４０は、出力音声信号２３２に変換され、スピーカ２０３に入力される。スピーカ２０３は、出力音声信号２３２の入力を受け付け、ユーザ２７０の外耳道２１０に対して出力音声２３１を出力する。
ノイズキャンセル部２０４は、外部マイク２０２が捕捉した外部雑音２２１に基づく雑音信号を用いて、内部マイク２０１が捕捉した混合音声から出力された混合音声信号２１２を処理する。ユーザ２７０の主音声２１１に外部雑音２２１が混ざった混合音声を内部マイク２０１が捕捉する。
エコーキャンセル部２０５は、スピーカ２０３に入力される出力音声信号２３２を用いて、内部マイク２０１が出力した混合音声信号２１２にエコーキャンセル処理を加える。
通信部２６０は、受信信号２４０を受信し、出力音声信号２３２をスピーカ２０３に送る。また、通信部２６０は、音声処理部２９０で生成された音声信号を受け取り、外部に送信信号２５０として送信する。
図２Ｂは、本実施形態に係る音声入出力装置の音声処理部の詳しい構成を示す図である。ノイズキャンセル部２０４は、適応フィルタ２４１と加算器２２０とを有する。ノイズキャンセル部２０４には、外部マイク２０２で生成した外部雑音信号２２２が入力される。ノイズキャンセル部２０４は、入力された外部雑音２２１に基づく外部雑音信号２２２を用いて、混合音声信号２１２を処理する。ノイズキャンセル部２０４は、適応フィルタ２４１を駆動して、混合音声信号に含まれる雑音信号の擬似信号（擬似雑音信号２４２）を生成する。加算器２２０は、擬似雑音信号２４２を内部マイク２０１の混合音声信号２１２から減算することで、雑音の抑圧を行う。加算器２２０から出力された擬似主音声信号２９１は、残留雑音を含み、適応フィルタ２４１の係数更新に利用される。
外部マイク２０２が捕捉した外部雑音信号２２２は、制御部２８０にも入力される。制御部２８０は、入力された外部雑音信号２２２に基づいて、ノイズキャンセル部２０４による処理を制御する。制御部２８０には、外部雑音信号２２２、擬似雑音信号２４２、擬似主音声信号２９１が入力され、制御部２８０は、これらに基づいて適応フィルタ２４１の係数を生成して、係数の更新のタイミングを制御する。
擬似主音声信号２９１は、エコーキャンセル部２０５に入力される。エコーキャンセル部２０５は、スピーカ２０３に入力される出力音声信号２３２を用いて、内部マイク２０１が出力した混合音声信号２１２に対してエコーキャンセル処理を加える。エコーキャンセル部２０５は、適応フィルタ２５１と加算器２３０とを有する。適応フィルタ２５１は、出力音声信号２３２を用いて、擬似エコー信号２５２を生成する。加算器２３０は、擬似主音声信号２９１から擬似エコー信号２５２を減算して、擬似主音声信号２９２を生成する。制御部２８０には、出力音声信号２３２、擬似主音声信号２９１，２９２が入力され、制御部２８０は、これらに基づいて適応フィルタ２５１の係数を生成して、係数の更新のタイミングを制御する。
内部マイク２０１が捕捉した混合音声信号２１２に混ざり込んだ出力音声信号２３２の一部を取り除くために、エコーキャンセル部２０５は、入力された音声信号を用いて、混合音声信号２１２にエコーキャンセル処理を施す。
このように、エコーキャンセル部２０５は、ノイズキャンセル処理後の音声信号に対して、エコーキャンセル処理を施す。エコーキャンセル部２０５は、例えば、スピーカ２０３から音楽が流れている状態で、ユーザが発声した場合にも、内部マイク２０１で捕捉した混合音声信号からユーザの声をクリアに抽出できる。
通信部２６０は、ノイズキャンセル部およびエコーキャンセル部で処理された擬似主音声信号２９２を受け取り、外部へ送信信号２５０として送信する。
図２Ｃは、本実施形態に係る音声入出力装置２００の制御部２８０の係数処理を説明する図である。上述したように、ノイズキャンセル部２０４およびエコーキャンセル部２０５はそれぞれ、適応フィルタ２４１，２５１を用いてノイズキャンセル処理およびエコーキャンセル処理を行う。図２Ｃにおいて、縦軸は更新量（学習量）を表し、横軸はＳ／Ｎ（信号対雑音比）を表している。グラフ２０８は、ノイズキャンセル部２０４の適応フィルタ２４１の係数の更新量を示している。グラフ２０９は、エコーキャンセル部２０５の適応フィルタ２５１の係数の更新量を示している。グラフ２０８およびグラフ２０９に示したように、制御部２８０は、適応フィルタ２４１の更新処理を行い、適応フィルタ２４１の更新処理が収束するまでの間は、適応フィルタ２５１の更新は行わない。つまり、制御部２８０は、適応フィルタ２４１の更新処理が収束してから、適応フィルタ２５１の更新処理を行う。すなわち、制御部２８０は、どちらか一方の適応フィルタの更新を行っている場合には、他方の適応フィルタの更新は行わず、両方の適応フィルタ２４１，２５１が同時に更新されることはない。ノイズキャンセル部２０４およびエコーキャンセル部２０５がＯＮ／ＯＦＦされるのではなく、適応フィルタ２４１，２５１の更新（学習）がＯＮ／ＯＦＦされ、シーソーのように適応フィルタ２４１，２５１の更新が行われる。適応フィルタ２４１，２５１は、ある程度更新が進むと、ほとんどフィルタ係数が変わらない状態となる。このような状態となると、適応フィルタ２４１，２５１のフィルタ係数が決まるので、原則として、制御部２８０は、適応フィルタ２４１，２５１の再更新は行わない。
また、制御部２８０が、適応フィルタ２４１の更新を行うタイミングは、内部マイク２０１が主音声２１１を捕捉せず、スピーカ２０３から出力音声２３１を出力していないタイミングである。また、制御部２８０が、適応フィルタ２５１の更新を行うタイミングは、スピーカ２０３が出力音声２３１を出力しているタイミングである。
また、制御部２８０は、内部マイク２０１が主音声２１１を捕捉し、スピーカ２０３から出力音声２３１を出力しているタイミングでは、適応フィルタ２４１，２５１の更新を行わない。
本実施形態によれば、ノイズキャンセルとエコーキャンセルとの両方を行って高品質の主音声信号を送信できる。つまり、ユーザの声をクリアに相手に届けることができる。また、適応フィルタの更新を行うので、外部雑音の変化、スピーカから出ている音声の変化に対応できる。また、例えば、ユーザの音声をスマートフォンに送信してＡＩ（Artificial Intelligence）アシスタントに音声認識をさせる場合にも、認識精度が高くなるため、外部雑音が大きい屋外においてもＡＩアシスタントの誤認識を減らすことができる。さらに、ユーザがヘッドホンを使って音楽を聴きながらでも音声通話やＡＩアシスタントの使用を実現できる。
［第３実施形態］
次に本発明の第３実施形態に係る音声入出力装置について、図３を用いて説明する。図３は、本実施形態に係る音声入出力装置の構成を示す図である。本実施形態に係る音声入出力装置は、上記第２実施形態と比べると、音声処理部３２０の構成が異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
音声処理部３２０は、第２実施形態の音声処理部２９０の構成に加えてノイズキャンセル部３０１、エコーキャンセル部３０３および制御部３１０を有する。エコーキャンセル部３０３は、加算器３３０と適応フィルタ３３１とを有する。エコーキャンセル部３０３は、スピーカ２０３の出力音声信号２３２を適応フィルタ３３１で生成した擬似出力音声３３２を加算器３３０で外部マイク２０２で捕捉した外部雑音信号２２２から減算する。これにより、スピーカ２０３からの音漏れをキャンセルして、高品質な擬似外部雑音信号３２２を得ることができる。
制御部３１０は、外部雑音信号２２２と、エコーキャンセル処理を施された外部雑音信号２２２と、出力音声信号２３２とを入力して、適応フィルタ３３１の係数を生成して、更新を制御する。
ノイズキャンセル部３０１は、加算器３１２と適応フィルタ３１１とを有する。ノイズキャンセル部３０１は、擬似外部雑音信号３２２から生成した擬似雑音信号３２３を受信信号２４０に基づいて生成された音声信号３２４から加算器３１２で減算する。
本実施形態によれば、ノイズキャンセルとエコーキャンセルとの両方を行って高品質の主音声信号を送信できる。また、スピーカから出力される音漏れが外部マイクに混入する影響を排除できる。
［第４実施形態］
次に本発明の第４実施形態に係る音声入出力装置について、図４を用いて説明する。図４は、本実施形態に係る音声入出力装置４００の構成を説明するための図である。本実施形態に係る音声入出力装置４００は、上記第３実施形態と比べると、制御部３１０を存在しない点で異なる。他の構成および動作は、第２実施形態および第３実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
適応フィルタ４２１は、エコーキャンセルを施された似外部雑音信号３２２から擬似雑音信号４２２を生成し、加算器３１２は、受信信号２４０から生成された音声信号３２４から擬似雑音信号４２２を減算する。
エコーキャンセル部４０３は、適応フィルタ４３１と加算器３３０とを有する。適応フィルタ４３１は、擬似出力音声信号４３２を生成する。加算器３３０は、外部雑音信号２２２から擬似出力音声信号４３２を減算する。
本実施形態によれば、よりシンプルな構成で第３実施形態と同様の効果を得られる。
［第５実施形態］
次に本発明の第５実施形態に係る補聴器について、図５Ａ乃至図５Ｃを用いて説明する。図５Ａ乃至図５Ｃは、本実施形態に係る補聴器の構成を示す図である。本実施形態に係る補聴器は、上記第４実施形態と比べると、補聴器機能とスイッチとを追加した点で異なる。その他の構成および動作は、第４実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
図５Ａは、相手の声を聴きつつ外部雑音の漏れこみを許容する場合を表す。図５Ａに示したように、補聴器５００は、内部マイク２０１、外部マイク２０２、スピーカ２０３、通信部２６０および音声処理部５６０を有する。音声処理部５６０は、増幅部５０１、スイッチ５２１，５０３および加算器５２０をさらに有する。通信部２６０を介して入力した受信信号２４０に対応する音声信号３２４は、増幅部５０１で増幅され、スピーカ２０３に入力され、出力音声として出力される。補聴器５００においては、スピーカ２０３から出力される出力音声が大きいので、混合音声における出力音声の混合比率が大きくなる。そのため、内部マイク２０１が捕捉する出力音声のキャンセリングを行うことの効果が大きい。また、増幅された出力音声が補聴器５００からユーザの外部に漏れやすくなるので、エコーキャンセル部４０３の重要性が高い。ユーザは、通話相手の声を大きな音量で聞くことができる。補聴器５００であっても高品質な主音声を捕捉できる。一方、増幅された出力された音声を内部マイク２０１が捕捉し易くなるが、エコーキャンセル部２０５の働きによって、高品質な擬似主音声信号を生成できる。
図５Ｂは、外部雑音をキャンセルしつつ、自分の声と相手の声とを大きく聞く場合を表す。この場合、スイッチ５２１を適応フィルタ４２１側の接点へ接続する。また、スイッチ５２１の動きと連携して、スイッチ５０３が閉じる。適応フィルタ４２１と加算器３１２は、図４を用いて説明した動作を行う。これにより、ユーザは、外部音声をキャンセルした音を聞くことができる。また、スイッチ５０３が閉じることにより、加算器５２０は、擬似主音声信号と受信信号２４０から生成した音声信号３２４とを加算する。これにより、ユーザ２７０は、側音と呼ばれる自発生音声を聞くことができる。
図５Ｃは、外部雑音と相手の声との両方を大きく聞く場合を表す。この場合、スイッチ５０２をノイズキャンセル部３０２とは反対側の接点へ接続する。また、スイッチ５０３は、スイッチ５０２の動きと連動して開く。エコーキャンセル部４０３が、音漏れの影響をキャンセルする。加算器３１２は、綺麗な外部雑音と受信した相手の声とを加算する。増幅部５０１は、加算器３１２で加算された音声信号を増幅して、出力音声信号２３２を生成する。これにより、ユーザは、外部の音と通話相手の声とを大きな音量で聞くことができる。
［第６実施形態］
次に本発明の第６実施形態に係る音声入出力装置について、図６を用いて説明する。図６は、本実施形態に係る音声入出力装置の構成を示す図である。本実施形態に係る音声入出力装置は、上記第２実施形態と比べると、着脱検知部６０１を有する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
着脱検知部６０１は、例えば、内部マイク２０１が捕捉した血液の流れる音や心拍音を用いて音声入出力装置６００の耳への着脱を検知する。また、着脱検知部６０１は、例えば、人間が聞こえない超音波を発振して、当該超音波の反射波の有無により着脱を検知してもよい。また、赤外線センサや加速度センサなどを用いて着脱を検知してもよい。なお、着脱検知方法は、これらには限定されない。
そして、着脱検知部６０１で音声入出力装置６００の装着を検知した場合に、ノイズキャンセル部２０４は、適応フィルタ２４１を用いてノイズキャンセル処理を行い、エコーキャンセル部２０５は適応フィルタ２５１を用いてエコーキャンセル処理を行う。エコーの状態は、音声入出力装置６００を装着するユーザごとに異なるため、制御部２８０は、音声入出力装置６００の装着を検知する度に適応フィルタ２５１の更新を行う。一方、ノイズの状態も、装着した状況（場所や時間）ごとに異なるため、制御部２８０は、装着ごとに適応フィルタ２４１の更新を行う。本実施形態によれば、着脱検知部を設けたので、音声入出力装置を使用するユーザが変わったり、ユーザが音声入出力装置を付け替えたりしても送信信号の品質を高めることができる。なお、音声入出力装置６００は、着脱検知部６０１で音声入出力装置６００が外されたことを検知した場合に、音声入出力装置６００の全機能を停止させてもよい。
［第７実施形態］
次に本発明の第７実施形態に係る音声入出力装置について、図７を用いて説明する。図７は、本実施形態に係る音声入出力装置の構成を示す図である。本実施形態に係る音声入出力装置は、上記第２実施形態と比べると、遮音部を有する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
遮音部７０１は、内部マイク２０１に対する外部雑音２２１の侵入経路を制限する。遮音部は、例えば、内部マイク２０１の周囲を取り囲むような円筒形状の部材である。ユーザ２７０の外耳道２１０を伝わって到来する主音声２１１を遮音しないように、ユーザ２７０の外耳道２１０に向いている側は、開放されている。なお、遮音部７０１の形状は、ここに示した形状には限定されず、ユーザ２７０の体や音声入出力装置７００を伝わってくる外部雑音２２１を遮音できる形状であれば、どのような形状であってもよい。また、遮音部７０１の材質は、外部雑音２２１を遮音できる部材であれば、どのような部材であってもよいが、例えば、ゴムや樹脂、ガラスなどを採用することができる。本実施形態によれば、ノイズキャンセル部２０４とエコーキャンセル部２０５と遮音部７０１とを設けたので、高品質な擬似主音声信号を生成することができる。
［他の実施形態］
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。
図８Ａは、第２実施形態を信号処理プログラムにより構成する場合に、その信号処理プログラムを実行するコンピュータ８００の構成図である。コンピュータ８００は、入力部８１０と、ＣＰＵ（Central Processing Unit）８２０と、出力部８３０と、メモリ８４０とを含む。
ＣＰＵ８２０は、メモリ８４０に記憶された信号処理プログラムを読み込むことにより、コンピュータ８００の動作を制御する。すなわち、信号処理プログラムを実行したＣＰＵ８２０は、ステップＳ８０１において、入力部８１０からユーザの外部雑音２２１を捕捉する。ステップＳ８０３において、ＣＰＵ８２０は、出力部８３０から音声信号を出力する。ステップＳ８０５において、ＣＰＵ８２０は、入力部８１０から、外部雑音２２１と主音声２１１と音声出力部からの出力音声２３１とが混合された混合音声信号２１２を捕捉する。ステップＳ８０７において、ＣＰＵ８２０は、捕捉した混合音声信号２１２に対してノイズキャンセル処理を行う。ステップＳ８０９において、ＣＰＵ８２０は、スピーカ２０３に入力される音声信号を用いて、捕捉した混合音声信号２１２に対してエコーキャンセル処理を行う。ステップＳ８１１において、ＣＰＵ８２０は、音声信号を送信する。
図８Ｂは、ＣＰＵ８２０が実行する処理の流れを示すフローチャートである。ステップＳ８２１において、ＣＰＵ８２０は、内部マイク２０１で混合音声信号２１２を捕捉しているか否かを判断する。混合音声信号２１２を捕捉していると判断した場合（ステップＳ８２１のＹＥＳ）、ＣＰＵ８２０は、処理を終了する。混合音声信号２１２を捕捉していないと判断した場合（ステップＳ９２１のＮＯ）、ＣＰＵ８２０は、ステップＳ８２３へ進む。ステップＳ８２３において、ＣＰＵ８２０は、スピーカ２０３からの出力音声２３１を出力しているか否かを判断する。出力音声２３１を出力していると判断した場合（ステップＳ８２３のＹＥＳ）、ＣＰＵ８２０は、処理を終了する。出力音声２３１を出力していないと判断した場合（ステップＳ８２３のＮＯ）、ＣＰＵ８２０は、ステップＳ８２５へ進む。ステップＳ８２５において、ＣＰＵ８２０は、ノイズキャンセル部２０４の適応フィルタ２４１の更新を行う。
図８Ｃは、ＣＰＵ８２０が実行する処理の流れを示すフローチャートである。ステップＳ８３１において、ＣＰＵ８２０は、スピーカ２０３からの出力音声２３１を出力しているか否かを判断する。出力音声２３１を出力していないと判断した場合（ステップＳ８３１のＮＯ）、ＣＰＵ８２０は、処理を終了する。出力音声２３１を出力していると判断した場合（ステップＳ８３１のＹＥＳ）、ＣＰＵ８２０は、ステップＳ８３２へ進む。ステップ８３２において、ＣＰＵ８２０は、主音声を捕捉したか否かを判断する。主音声を捕捉していると判断した場合（ステップＳ８３２のＹＥＳ）、ＣＰＵ８２０は、処理を終了する。主音声を捕捉していないと判断した場合（ステップＳ８３２のＮＯ）、ＣＰＵ８２０は、ステップＳ８３３へ進む。ステップＳ８３３において、ＣＰＵ８２０は、エコーキャンセル部２０５の適応フィルタ（２５１）の更新を行う。
図８Ｄは、ＣＰＵ８２０が実行する処理の流れを示すフローチャートである。ステップＳ８４１において、ＣＰＵ８２０は、音声入出力装置６００の装着があったか否かを判断する。装着がないと判断した場合（ステップＳ８４１のＮＯ）、ＣＰＵ８２０は、処理を終了する。装着があると判断した場合（ステップＳ８４１のＹＥＳ）、ＣＰＵ８２０は、ステップＳ８４３へ進む。ステップＳ８４３において、ＣＰＵ８２０は、エコーキャンセル部２０５の適応フィルタ２５１の更新を行う。
［実施形態の他の表現］
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
ユーザの体の外側に向けて配置され、前記ユーザの外部から到来する外部雑音を取得するための雑音取得部と、
音声信号の入力を受け付け、前記ユーザの外耳道に対して出力音声を出力する音声出力部と、
前記外部雑音と前記出力音声と前記ユーザの声帯から前記外耳道内を伝わってきた前記ユーザの主音声とが混合された混合音声を取得して、混合音声信号を出力する主音声取得部と、
前記外部雑音に基づく雑音信号を用いて、前記混合音声信号を処理するノイズキャンセル部と、
前記音声信号を用いて、前記混合音声信号を処理するエコーキャンセル部と、
を備える音声入出力装置。
（付記２）
前記エコーキャンセル部は、前記ノイズキャンセル部においてノイズキャンセル処理が施された後の音声信号に対して、エコーキャンセル処理を施す付記１に記載の音声入出力装置。
（付記３）
前記ノイズキャンセル部は、第１適応フィルタを用いて、ノイズキャンセル処理を行い、前記エコーキャンセル部は、第２適応フィルタを用いて、エコーキャンセル処理を行い、前記第１適応フィルタの更新を行う場合には前記第２適応フィルタの更新を行わず、前記第２適応フィルタの更新を行う場合には前記第１適応フィルタの更新を行わない付記１または２に記載の音声入出力装置。
（付記４）
前記ノイズキャンセル部は、
前記主音声取得部が前記主音声を取得しておらず、前記音声出力部が出力音声を出力していないタイミングで、前記第１適応フィルタの更新を行う付記３に記載の音声入出力装置。
（付記５）
前記エコーキャンセル部は、
前記音声出力部が出力音声を出力しているタイミングで、前記第２適応フィルタの更新を行う付記３または４に記載の音声入出力装置。
（付記６）
前記ノイズキャンセル部および前記エコーキャンセル部は、前記主音声取得部が前記主音声を取得し、前記音声出力部が出力音声を出力しているタイミングでは、前記第１、第２適応フィルタの更新を行わない付記４または５に記載の音声入出力装置。
（付記７）
前記ノイズキャンセル部は、前記エコーキャンセル部においてエコーキャンセル処理が施された後の音声信号に対して、前記雑音取得部で取得した前記外部雑音を用いてノイズキャンセル処理を施す付記１に記載の音声入出力装置。
（付記８）
前記主音声取得部に対する前記外部雑音の進入経路を制限する遮音部をさらに備えた付記１乃至７のいずれか１項に記載の音声入出力装置。
（付記９）
前記音声入出力装置の着脱を検知する着脱検知部をさらに有し、
前記ノイズキャンセル部は、第１適応フィルタを用いてノイズキャンセル処理を行い、前記エコーキャンセル部は、第２適応フィルタを用いてエコーキャンセル処理を行い、
前記着脱検知部で前記音声入出力装置の装着を検知した場合に、前記第１適応フィルタおよび前記第２適応フィルタのうち少なくとも一方の更新を行う付記１乃至８のいずれか１項に記載の音声入出力装置。
（付記１０）
前記ノイズキャンセル部および前記エコーキャンセル部の両方によって処理した音声信号を送信する通信部をさらに備えた付記１乃至８のいずれか１項に記載の音声入出力装置。
（付記１１）
ユーザの体の外側に向けて配置され、前記ユーザの外部から到来する外部雑音を取得するための雑音取得部と、
音声信号の入力を受け付け、前記ユーザの外耳道に対して出力音声を出力する音声出力部と、
前記外部雑音と前記出力音声と前記ユーザの声帯から前記外耳道内を伝わってきた前記ユーザの主音声とが混合された混合音声を取得して、混合音声信号を出力する主音声取得部と、
前記外部雑音に基づく雑音信号を用いて、前記混合音声信号を処理するノイズキャンセル部と、
前記音声信号を用いて、前記混合音声信号を処理するエコーキャンセル部と、
前記音声出力部に入力される音声信号を増幅する増幅部と、
を備えた補聴器。
（付記１２）
ユーザの体の外側に向けて配置され、前記ユーザの外部から到来する外部雑音を取得するための雑音取得ステップと、
音声の入力を受け付け、前記ユーザの外耳道に対して出力音声を出力する音声出力ステップと、
前記外部雑音と前記出力音声と前記ユーザの声帯から前記外耳道内を伝わってきた前記ユーザの主音声とが混合された混合音声を取得する主音声取得ステップと、
前記外部雑音に基づく雑音信号を用いて、前記混合音声を処理するノイズキャンセルステップと、
前記音声信号を用いて、前記混合音声を処理するエコーキャンセルステップと、
を含む音声入出力方法。
（付記１３）
ユーザの体の外側に向けて配置され、前記ユーザの外部から到来する外部雑音を取得するための雑音取得ステップと、
音声の入力を受け付け、前記ユーザの外耳道に対して出力音声を出力する音声出力ステップと、
前記外部雑音と前記出力音声と前記ユーザの声帯から前記外耳道内を伝わってきた前記ユーザの主音声とが混合された混合音声を取得する主音声取得ステップと、
前記外部雑音に基づく雑音信号を用いて、前記混合音声を処理するノイズキャンセルステップと、
前記音声信号を用いて、前記混合音声を処理するエコーキャンセルステップと、
をコンピュータに実行させる音声入出力プログラム。

Claims (10)

  1. ユーザの体の外側に向けて配置され、前記ユーザの外部から到来する外部雑音を取得するための雑音取得部と、
    音声信号の入力を受け付け、前記ユーザの外耳道に対して出力音声を出力する音声出力部と、
    前記外部雑音と前記出力音声と前記ユーザの声帯から前記外耳道内を伝わってきた前記ユーザの主音声とが混合された混合音声を取得して、混合音声信号を出力する主音声取得部と、
    前記外部雑音に基づく雑音信号を用いて、前記混合音声信号を処理するノイズキャンセル部と、
    前記音声信号を用いて、前記混合音声信号を処理するエコーキャンセル部と、
    を備える音声入出力装置。
  2. 前記エコーキャンセル部は、前記ノイズキャンセル部においてノイズキャンセル処理が施された後の音声信号に対して、エコーキャンセル処理を施す請求項１に記載の音声入出力装置。
  3. 前記ノイズキャンセル部は、第１適応フィルタを用いて、ノイズキャンセル処理を行い、前記エコーキャンセル部は、第２適応フィルタを用いて、エコーキャンセル処理を行い、前記第１適応フィルタの更新を行う場合には前記第２適応フィルタの更新を行わず、前記第２適応フィルタの更新を行う場合には前記第１適応フィルタの更新を行わない請求項１または２に記載の音声入出力装置。
  4. 前記ノイズキャンセル部は、
    前記主音声取得部が前記主音声を取得しておらず、前記音声出力部が出力音声を出力していないタイミングで、前記第１適応フィルタの更新を行う請求項３に記載の音声入出力装置。
  5. 前記エコーキャンセル部は、
    前記音声出力部が出力音声を出力しているタイミングで、前記第２適応フィルタの更新を行う請求項３または４に記載の音声入出力装置。
  6. 前記ノイズキャンセル部および前記エコーキャンセル部は、前記主音声取得部が前記主音声を取得し、前記音声出力部が出力音声を出力しているタイミングでは、前記第１、第２適応フィルタの更新を行わない請求項４または５に記載の音声入出力装置。
  7. 前記ノイズキャンセル部は、前記エコーキャンセル部でエコーキャンセル処理後の音声信号に対して、前記雑音取得部で取得した前記外部雑音を用いてノイズキャンセル処理を施す請求項１に記載の音声入出力装置。
  8. ユーザの体の外側に向けて配置され、前記ユーザの外部から到来する外部雑音を取得するための雑音取得部と、
    音声信号の入力を受け付け、前記ユーザの外耳道に対して出力音声を出力する音声出力部と、
    前記外部雑音と前記出力音声と前記ユーザの声帯から前記外耳道内を伝わってきた前記ユーザの主音声とが混合された混合音声を取得して、混合音声信号を出力する主音声取得部と、
    前記外部雑音に基づく雑音信号を用いて、前記混合音声信号を処理するノイズキャンセル部と、
    前記音声信号を用いて、前記混合音声信号を処理するエコーキャンセル部と、
    前記音声出力部に入力される音声信号を増幅する増幅部と、
    を備えた補聴器。
  9. ユーザの体の外側に向けて配置され、前記ユーザの外部から到来する外部雑音を取得するための雑音取得ステップと、
    音声信号の入力を受け付け、前記ユーザの外耳道に対して出力音声を出力する音声出力ステップと、
    前記外部雑音と前記出力音声と前記ユーザの声帯から前記外耳道内を伝わってきた前記ユーザの主音声とが混合された混合音声を取得して、混合音声信号を出力する主音声取得ステップと、
    前記外部雑音に基づく雑音信号を用いて、前記混合音声信号を処理するノイズキャンセルステップと、
    前記音声信号を用いて、前記混合音声信号を処理するエコーキャンセルステップと、
    を含む音声入出力方法。
  10. ユーザの体の外側に向けて配置され、前記ユーザの外部から到来する外部雑音を取得するための雑音取得ステップと、
    音声信号の入力を受け付け、前記ユーザの外耳道に対して出力音声を出力する音声出力ステップと、
    前記外部雑音と前記出力音声と前記ユーザの声帯から前記外耳道内を伝わってきた前記ユーザの主音声とが混合された混合音声を取得して、混合音声信号を出力する主音声取得ステップと、
    前記外部雑音に基づく雑音信号を用いて、前記混合音声信号を処理するノイズキャンセルステップと、
    前記音声信号を用いて、前記混合音声信号を処理するエコーキャンセルステップと、
    をコンピュータに実行させる音声入出力プログラム。
JP2018248765A 2018-12-28 2018-12-28 音声入出力装置、補聴器、音声入出力方法および音声入出力プログラム Active JP6807134B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2018248765A JP6807134B2 (ja) 2018-12-28 2018-12-28 音声入出力装置、補聴器、音声入出力方法および音声入出力プログラム
EP19902465.4A EP3905712A4 (en) 2018-12-28 2019-12-16 AUDIO INPUT/OUTPUT DEVICE, HEARING AID, AUDIO INPUT/OUTPUT METHOD AND AUDIO INPUT/OUTPUT PROGRAM
US17/417,491 US11743662B2 (en) 2018-12-28 2019-12-16 Voice input/output apparatus, hearing aid, voice input/output method, and voice input/output program
PCT/JP2019/049173 WO2020137654A1 (ja) 2018-12-28 2019-12-16 音声入出力装置、補聴器、音声入出力方法および音声入出力プログラム
CN201980085453.XA CN113412629A (zh) 2018-12-28 2019-12-16 语音输入/输出装置、助听器、语音输入/输出方法和语音输入/输出程序
US18/220,611 US20230353953A1 (en) 2018-12-28 2023-07-11 Voice input/output apparatus, hearing aid, voice input/output method, and voice input/output program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018248765A JP6807134B2 (ja) 2018-12-28 2018-12-28 音声入出力装置、補聴器、音声入出力方法および音声入出力プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020200610A Division JP7214704B2 (ja) 2020-12-02 2020-12-02 音声入出力装置、補聴器、音声入出力方法および音声入出力プログラム

Publications (2)

Publication Number Publication Date
JP2020109893A true JP2020109893A (ja) 2020-07-16
JP6807134B2 JP6807134B2 (ja) 2021-01-06

Family

ID=71129739

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018248765A Active JP6807134B2 (ja) 2018-12-28 2018-12-28 音声入出力装置、補聴器、音声入出力方法および音声入出力プログラム

Country Status (5)

Country Link
US (2) US11743662B2 (ja)
EP (1) EP3905712A4 (ja)
JP (1) JP6807134B2 (ja)
CN (1) CN113412629A (ja)
WO (1) WO2020137654A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11425261B1 (en) * 2016-03-10 2022-08-23 Dsp Group Ltd. Conference call and mobile communication devices that participate in a conference call
KR102426408B1 (ko) * 2018-08-30 2022-07-28 엘지전자 주식회사 휴대용 음향기기
JP6822693B2 (ja) * 2019-03-27 2021-01-27 日本電気株式会社 音声出力装置、音声出力方法および音声出力プログラム
CN110166879B (zh) * 2019-06-28 2020-11-13 歌尔科技有限公司 语音采集控制方法、装置及tws耳机
US11462230B1 (en) * 2021-02-08 2022-10-04 Meta Platforms Technologies, Llc System for filtering mechanical coupling from a microphone signal
US11955133B2 (en) * 2022-06-15 2024-04-09 Analog Devices International Unlimited Company Audio signal processing method and system for noise mitigation of a voice signal measured by an audio sensor in an ear canal of a user

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002076998A (ja) * 2000-08-25 2002-03-15 Oki Electric Ind Co Ltd 反響及び雑音除去装置
JP2013532308A (ja) * 2010-06-01 2013-08-15 クゥアルコム・インコーポレイテッド オーディオ等化のためのシステム、方法、デバイス、装置、およびコンピュータプログラム製品
JP2013546253A (ja) * 2010-10-25 2013-12-26 クゥアルコム・インコーポレイテッド 記録された音信号に基づく頭部追跡のためのシステム、方法、装置、及びコンピュータ可読媒体
JP2017011754A (ja) * 2016-09-14 2017-01-12 ソニー株式会社 耳孔装着型収音装置、信号処理装置、収音方法
JP2017536062A (ja) * 2015-09-09 2017-11-30 サウンドブリッジ カンパニー リミテッド イヤーカナルマイクを内蔵するブルートゥースイヤーセットとその制御方法
JP2018512794A (ja) * 2015-03-13 2018-05-17 ボーズ・コーポレーションＢｏｓｅ Ｃｏｒｐｏｒａｔｉｏｎ 複数のマイクロホンを使用する音声感知
CN108429950A (zh) * 2018-03-22 2018-08-21 恒玄科技（上海）有限公司 低功耗的高效降噪耳机及降噪系统

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0614101A (ja) 1992-06-26 1994-01-21 Oki Electric Ind Co Ltd ハンズフリー電話機
JP3141674B2 (ja) 1994-02-25 2001-03-05 ソニー株式会社 騒音低減ヘッドホン装置
JP2685031B2 (ja) 1995-06-30 1997-12-03 日本電気株式会社 雑音消去方法及び雑音消去装置
CA2399159A1 (en) * 2002-08-16 2004-02-16 Dspfactory Ltd. Convergence improvement for oversampled subband adaptive filters
JP2006295533A (ja) 2005-04-11 2006-10-26 Nappu Enterprise Kk 通話用機器の防音装置
US8526645B2 (en) * 2007-05-04 2013-09-03 Personics Holdings Inc. Method and device for in ear canal echo suppression
JP2015061115A (ja) 2013-09-17 2015-03-30 船井電機株式会社 音声入出力装置
US9319784B2 (en) * 2014-04-14 2016-04-19 Cirrus Logic, Inc. Frequency-shaped noise-based adaptation of secondary path adaptive response in noise-canceling personal audio devices
US9716529B1 (en) * 2015-06-24 2017-07-25 Marvell Interntational LTD. Systems and methods to adaptively mitigate electro-magnetic interference (EMI) in automotive and industrial communication systems
US9769557B2 (en) * 2015-12-24 2017-09-19 Intel Corporation Proximity sensing headphones
EP3550858B1 (en) 2015-12-30 2023-05-31 GN Hearing A/S A head-wearable hearing device
US9812149B2 (en) * 2016-01-28 2017-11-07 Knowles Electronics, Llc Methods and systems for providing consistency in noise reduction during speech and non-speech periods
US10341759B2 (en) * 2017-05-26 2019-07-02 Apple Inc. System and method of wind and noise reduction for a headphone
US10410654B2 (en) * 2017-10-27 2019-09-10 Bestechnic (Shanghai) Co., Ltd. Active noise control headphones
US10885907B2 (en) * 2018-02-14 2021-01-05 Cirrus Logic, Inc. Noise reduction system and method for audio device with multiple microphones
WO2019181758A1 (ja) * 2018-03-19 2019-09-26 パナソニックＩｐマネジメント株式会社 会話支援装置
EP4093055A1 (en) * 2018-06-25 2022-11-23 Oticon A/s A hearing device comprising a feedback reduction system
US11297429B2 (en) * 2018-12-03 2022-04-05 Synaptics Incorporated Proximity detection for wireless in-ear listening devices

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002076998A (ja) * 2000-08-25 2002-03-15 Oki Electric Ind Co Ltd 反響及び雑音除去装置
JP2013532308A (ja) * 2010-06-01 2013-08-15 クゥアルコム・インコーポレイテッド オーディオ等化のためのシステム、方法、デバイス、装置、およびコンピュータプログラム製品
JP2013546253A (ja) * 2010-10-25 2013-12-26 クゥアルコム・インコーポレイテッド 記録された音信号に基づく頭部追跡のためのシステム、方法、装置、及びコンピュータ可読媒体
JP2018512794A (ja) * 2015-03-13 2018-05-17 ボーズ・コーポレーションＢｏｓｅ Ｃｏｒｐｏｒａｔｉｏｎ 複数のマイクロホンを使用する音声感知
JP2017536062A (ja) * 2015-09-09 2017-11-30 サウンドブリッジ カンパニー リミテッド イヤーカナルマイクを内蔵するブルートゥースイヤーセットとその制御方法
JP2017011754A (ja) * 2016-09-14 2017-01-12 ソニー株式会社 耳孔装着型収音装置、信号処理装置、収音方法
CN108429950A (zh) * 2018-03-22 2018-08-21 恒玄科技（上海）有限公司 低功耗的高效降噪耳机及降噪系统

Also Published As

Publication number Publication date
US20210392445A1 (en) 2021-12-16
JP6807134B2 (ja) 2021-01-06
EP3905712A1 (en) 2021-11-03
WO2020137654A1 (ja) 2020-07-02
CN113412629A (zh) 2021-09-17
US11743662B2 (en) 2023-08-29
US20230353953A1 (en) 2023-11-02
EP3905712A4 (en) 2022-03-02

Similar Documents

Publication Publication Date Title
WO2020137654A1 (ja) 音声入出力装置、補聴器、音声入出力方法および音声入出力プログラム
JP4530051B2 (ja) 音声信号送受信装置
Liebich et al. Signal processing challenges for active noise cancellation headphones
KR102025527B1 (ko) 이어스피커 채널들 중에서 적응형 잡음 제거（ａｎｃ）의 조정된 제어
CN111149369B (zh) 头戴式受话器耳上状态检测
CN104106112B (zh) 消声装置
JP5596048B2 (ja) エンハンスドアクティブノイズキャンセルのためのシステム、方法、装置、およびコンピュータプログラム製品
CN109218882B (zh) 耳机的环境声音监听方法及耳机
US11553286B2 (en) Wearable hearing assist device with artifact remediation
US10529358B2 (en) Method and system for reducing background sounds in a noisy environment
JPH10294989A (ja) 騒音制御ヘッドセット
JP2023040244A (ja) イヤホン、音声処理方法および音声処理プログラム
EP4300992A1 (en) A hearing aid comprising a combined feedback and active noise cancellation system
JP4941579B2 (ja) 音声信号送受信装置
US20230254649A1 (en) Method of detecting a sudden change in a feedback/echo path of a hearing aid
CN115039418A (zh) 用于头戴式送受话器的耳上检测的系统和方法
JP2020162046A (ja) 音声出力装置、音声出力方法および音声出力プログラム
US11862138B2 (en) Hearing device comprising an active emission canceller
WO2023283285A1 (en) Wearable audio device with enhanced voice pick-up
CN116325805A (zh) 基于机器学习的自语音移除
JP7211658B2 (ja) 音声出力装置、音声出力方法および音声出力プログラム
EP4297435A1 (en) A hearing aid comprising an active noise cancellation system
US20240064478A1 (en) Mehod of reducing wind noise in a hearing device
US20230169948A1 (en) Signal processing device, signal processing program, and signal processing method
CN115914927A (zh) 一种通话降噪方法、装置及降噪耳机

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200507

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201203

R150 Certificate of patent or registration of utility model

Ref document number: 6807134

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150