JP2010011117A - ノイズ低減音声再生装置およびノイズ低減音声再生方法 - Google Patents

ノイズ低減音声再生装置およびノイズ低減音声再生方法 Download PDF

Info

Publication number
JP2010011117A
JP2010011117A JP2008168373A JP2008168373A JP2010011117A JP 2010011117 A JP2010011117 A JP 2010011117A JP 2008168373 A JP2008168373 A JP 2008168373A JP 2008168373 A JP2008168373 A JP 2008168373A JP 2010011117 A JP2010011117 A JP 2010011117A
Authority
JP
Japan
Prior art keywords
noise
audio
signal
audio signal
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008168373A
Other languages
English (en)
Other versions
JP4631939B2 (ja
Inventor
Kohei Asada
宏平 浅田
Shiro Suzuki
志朗 鈴木
Tetsunori Itabashi
徹徳 板橋
Kazuatsu Oguri
一敦 大栗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008168373A priority Critical patent/JP4631939B2/ja
Priority to GB0907401A priority patent/GB2461143B/en
Priority to US12/486,054 priority patent/US9245517B2/en
Priority to CN2009101512468A priority patent/CN101616351B/zh
Publication of JP2010011117A publication Critical patent/JP2010011117A/ja
Application granted granted Critical
Publication of JP4631939B2 publication Critical patent/JP4631939B2/ja
Priority to US14/960,187 priority patent/US9595252B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787General system configurations
    • G10K11/17875General system configurations using an error signal without a reference signal, e.g. pure feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1781Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions
    • G10K11/17821Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the input signals only
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1781Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions
    • G10K11/17821Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the input signals only
    • G10K11/17823Reference signals, e.g. ambient acoustic environment
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1781Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions
    • G10K11/17821Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the input signals only
    • G10K11/17827Desired external signals, e.g. pass-through audio such as music or speech
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1783Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase handling or detecting of non-standard events or conditions, e.g. changing operating modes under specific operating conditions
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1785Methods, e.g. algorithms; Devices
    • G10K11/17853Methods, e.g. algorithms; Devices of the filter
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1785Methods, e.g. algorithms; Devices
    • G10K11/17857Geometric disposition, e.g. placement of microphones
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787General system configurations
    • G10K11/17873General system configurations using a reference signal without an error signal, e.g. pure feedforward
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787General system configurations
    • G10K11/17879General system configurations using both a reference signal and an error signal
    • G10K11/17881General system configurations using both a reference signal and an error signal the reference signal being an acoustic signal, e.g. recorded with a microphone
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787General system configurations
    • G10K11/17885General system configurations additionally using a desired external signal, e.g. pass-through audio such as music or speech
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00Monitoring arrangements; Testing arrangements
    • H04R29/004Monitoring arrangements; Testing arrangements for microphones
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10Applications
    • G10K2210/105Appliances, e.g. washing machines or dishwashers
    • G10K2210/1053Hi-fi, i.e. anything involving music, radios or loudspeakers
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10Applications
    • G10K2210/108Communication systems, e.g. where useful sound is kept and noise is cancelled
    • G10K2210/1081Earphones, e.g. for telephones, ear protectors or headsets
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L2021/065Aids for the handicapped in understanding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/01Hearing devices using active noise cancellation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Otolaryngology (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • Headphones And Earphones (AREA)

Abstract

【課題】実際的な音声再生環境が騒音環境であっても、聴取対象の音声を明瞭に聴取することができるようにする。
【解決手段】ノイズを収音するための第1の音響−電気変換手段で収音して得たノイズの音声信号からノイズキャンセル用音声信号を生成し、ノイズキャンセル用音声信号を、電気−音響変換手段で音響再生して、ノイズと音響的に合成するようにするノイズキャンセル処理系を備える。音声強調手段42は、第2の音響−電気変換手段で収音した音声信号のうち、聴取対象の音声成分を強調する。制御手段44は、音声強調手段42からの聴取対象の音声成分が強調された音声信号を、制御信号に基づく区間でのみ、合成手段16に供給して、ノイズキャンセル音声信号と合成するように制御する。合成手段は、その合成信号を電気−音響変換手段に供給して、音響再生する。
【選択図】図1

Description

この発明は、ノイズ環境下においても聴取対象の音声を聞き取り易く再生することができるノイズ低減音声再生装置および方法に関する。
ノイズを押さえて音声強調を行なうことにより、音声の明瞭度向上を図る手法としてノイズリダクション(Noise Reduction;ノイズ低減)手法が提案されている。この明細書では、ノイズリダクションを、以下、NRと略称する。
例えば、ヘッドホンを装着したままでユーザ同士が会話をすることができるヘッドホンシステムや、補聴器または補聴機能(外部モニター機能)を持つイヤホンシステムにおいては、図25(A)に示すようにシステム構成が考えられる。
すなわち、例えば図示は省略するが、遮音性が強く、脱着が面倒なイヤーマフなどのヘッドホン筐体(左耳用および右耳用)の外側に、音響−電気変換器の例としてのマイクロホン1L、1Rを取り付ける。そして、このマイクロホン1L,1Rで収音した音声信号をマイクロホンアンプ(以下、単にマイクアンプという)2で増幅した後、A/Dコンバータ3にて、デジタル音声信号に変換し、NR処理部4に供給する。
NR処理部4においては、デジタル音声信号についてNR処理を行なって、ノイズを低減して音声強調を行なう。音声強調されたデジタル音声信号は、D/Aコンバータ5において、アナログ音声信号に戻され、パワーアンプ6を通じてスピーカあるいはヘッドホンドライバユニットに供給されて、音響再生される。
NR処理部4におけるNR処理としては、例えば非特許文献1に記載されているスペクトル引き算法(以下、SS法と略称する)を用いることができ、図25(A)のシステム構成は、図25(B)に示すように書き換えることができる。すなわち、NR処理部4は、SS法処理部4Aと、ミュージカルノイズ除去フィルタ4Bとで置き換えられる。
SS法は、ノイズが付加されている音声信号のパワースペクトルから、別途推定したノイズのパワースペクトルを差し引き、そのパワースペクトルをフーリエ逆変換することで、ノイズを除去した音声信号を復元するものである。
差し引くノイズのパワースペクトルは、予め推定されて、記憶部に記憶される。例えば聴取対象の音声の無音区間において、マイクロホン1L,1Rで収音した音声を推定ノイズとして記憶部に記憶することができる。
この推定されるノイズのパワースペクトルが、適切なものであれば、ノイズ低減効果は大きい。そして、差し引くノイズのパワースペクトルとして想定されるノイズが、定常的なノイズであれば、このSS法によりノイズ低減されて、聴取対象の音声成分のみが強調されることになる。このSS法は、非常にシンプルなアルゴリズムであるにも拘らず、非常に高い雑音除去効果が得られる。
なお、SS法を用いた場合には、ミュージカルノイズと呼ばれる位相情報の欠落によるノイズが発生するため、このミュージカルノイズの除去フィルタ4Bを、SS法処理部4Aの後段に設ける構成とすると良い。このミュージカルノイズの除去に関しては、非特許文献2に記載されている。
上記の非特許文献および参考となる特許文献は、次の通りである。
「MATLABマルチメディア信号処理 下 音声・画像・通信」 池原雅章、島村徹也、真田幸俊共著、培風館発行、p67−74 「モルフォロジー処理を用いたスペクトルサブトラクションにおけるミュージックノイズ除去」斗澤秀亮、野村行弘、山下哲孝、呂建明、関屋大雄、谷萩隆嗣 千葉大学大学院自然研究科 第18回 回路とシステム 軽井沢ワークショップ 2005年4月25−26日 特開2008−122729号公報
ところで、NR処理は、音声信号の実際的な音声再生環境におけるノイズをキャンセルする技術ではなく、音声信号についての信号処理により、計算機上でノイズ低減効果を得ようとするものである。
本来は、ユーザにとってNR処理後の音声は、聞き取り易くなるはずである。しかし、実際的な音声再生環境が騒音下である場合には、NR処理後の音声信号自体が、騒音に埋もれてしまって、音声内容が不明瞭になって、聞き取れない状態になる場合がある。
この発明は、以上の点にかんがみ、実際的な音声再生環境が騒音環境であっても、聴取対象の音声を明瞭に聴取することができるようにすることを目的とする。
上記の課題を解決するために、請求項1の発明は、
ノイズを収音するための第1の音響−電気変換手段で収音して得たノイズの音声信号から、前記ノイズと音響的に合成することで当該ノイズをキャンセルするようにするためのノイズキャンセル用音声信号を生成し、前記ノイズキャンセル用音声信号を、電気−音響変換手段で音響再生して、前記ノイズと音響的に合成するようにするノイズキャンセル処理系と、
聴取しようとする音声信号を収音するための第2の音響−電気変換手段と、
前記第2の音響−電気変換手段で収音した音声信号のうち、聴取対象の音声成分を強調する音声強調手段と、
前記音声強調手段からの前記聴取対象の音声成分が強調された音声信号を、前記ノイズキャンセル音声信号と合成し、その合成信号を前記電気−音響変換手段に供給する合成手段と、
前記音声強調手段からの前記聴取対象の音声成分が強調された音声信号を、制御信号に基づく区間でのみ、前記合成手段に供給するように制御する制御手段と、
を備えるノイズ低減音声再生装置を提供する。
上記の請求項1の発明によれば、ノイズキャンセル処理系により、実際の音声再生環境におけるノイズがキャンセルあるいは低減される。しかし、その際に聴取対象の音声信号も同時に低減される。
一方、聴取対象の音声成分は、音声強調手段により強調された後、ノイズキャンセル用音声信号に合成されて電気−音響変換手段に供給される。したがって、ノイズキャンセル処理系により低減されてしまった聴取対象の音声信号に、音声強調手段で強調された聴取対象の音声信号が合成されることになり、聴取者には、その合成音が聞こえるようになる。このため、聴取対象の音声信号は、明瞭度が向上し、聞き取り易い音声としてさせる。
また、請求項2の発明は、
ノイズを収音するための音響−電気変換手段で収音して得たノイズの音声信号から、前記ノイズと音響的に合成することで当該ノイズをキャンセルするようにするためのノイズキャンセル用音声信号を生成するノイズキャンセル用音声信号生成手段と、
前記ノイズキャンセル音声信号を音響再生して前記ノイズと音響的に合成するようにする電気−音響変換手段と、
前記ノイズキャンセル用音声信号生成手段からの音声信号のうち、聴取対象の音声成分を強調する音声強調手段と、
前記音声強調手段からの前記聴取対象の音声成分が強調された音声信号を、前記ノイズキャンセル音声信号と合成し、その合成信号を前記電気−音響変換手段に供給する合成手段と、
前記音声強調手段からの前記聴取対象の音声成分が強調された音声信号を、制御信号に基づく区間でのみ、前記合成手段に供給するように制御する制御手段と、
を備えるノイズ低減音声再生装置を提供する。
上記の請求項1の発明によれば、ノイズキャンセル処理系により、実際の音声再生環境におけるノイズがキャンセルあるいは低減される。その際に聴取対象の音声信号も同時に低減される。
しかし、ノイズキャンセル用音声信号のうちの聴取対象の音声成分は、音声強調手段により強調された後、ノイズキャンセル用音声信号に合成されて電気−音響変換手段に供給される。したがって、ノイズキャンセル処理系により低減されてしまった聴取対象の音声信号に、音声強調手段で強調された聴取対象の音声信号が合成されることになり、聴取者には、その合成音が聞こえるようになる。このため、聴取対象の音声信号は、明瞭度が向上し、聞き取り易い音声としてさせる。
この発明によれば、ノイズキャンセル処理系により低減されてしまった聴取対象の音声信号に、音声強調手段で強調された聴取対象の音声信号が合成されることになり、聴取者には、その合成音が聞こえるようになる。このため、聴取対象の音声信号は、明瞭度が向上し、聞き取り易い音声としてさせる。
以下、この発明によるノイズ低減音声再生装置および方法の幾つかの実施形態を、図を参照しながら説明する。
この発明においては、上述したNR機能に加えて、ノイズキャンセリング手法により実際的な音声再生環境でのノイズ低減を図ることで、トータルとして、音響−電気変換手段(マイクロホン)で収音する聴取対象の音声の明瞭度を向上させるものである。
ここで、ノイズキャンセリング(Noise Cancelling;以下、NCと略称する)手法について言及する。このNC手法は、音声聴取空間においてマイクロホンで収音して得たノイズから、ノイズキャンセル用音声信号を生成し、このノイズキャンセル用音声信号をノイズと音響的に合成することで当該ノイズをキャンセルする手法である。これは、騒音空間の中で必要な音は残し、不必要な音は消すという技法である。
NC機能は、NR機能とは似て非なるもので、NRは信号処理により計算機上においてノイズ低減効果を得るものであるが、NCはあくまで物理的な空間において、入力音声信号とおよそ逆の波形の信号を生成してノイズキャンセルするものである。以下の説明においては、NRとNCとをこのように区別するものとする。
<NCシステムの説明>
この発明によるノイズ低減音声再生装置の実施形態を説明する前に、NCシステムについて説明する。NCシステムには、フィードバック方式とフィードフォワード方式とがある。なお、このNCシステムについての参考文献としては、特許文献1(特開2008−122729号公報)が挙げられる。
[フィードバック方式のNCシステム]
まず、フィードバック方式のNCシステムについて説明する。図2は、このフィードバック方式のNC機能を搭載したヘッドホン装置の構成例を示すブロック図である。
図1においては、説明の簡単のため、ヘッドホン装置のリスナ(聴取者)11の右耳側の部分のみについての構成を示している。これは、後述するフィードフォワード方式のNCシステムを説明する場合も同様である。なお、左耳側の部分も同様に構成されるのは言うまでもない。
図2では、リスナ11が実施形態のヘッドホン装置を装着したことにより、リスナ11の右耳が右耳用ヘッドホン筐体(ハウジング部)12により覆われている状態を示している。ヘッドホン筐体12の内側には、電気信号である音声信号を音響再生する電気−音響変換手段としてのヘッドホンドライバーユニット(以下、ヘッドホンヘッドホンドライバーという)13が設けられている。
そして、音声信号入力端14を通じた、例えば音楽信号がイコライザ回路15および加算回路16を通じてパワーアンプ17に供給され、このパワーアンプ17を通じた音楽信号がヘッドホンドライバー13に供給されて、音響再生される。これにより、リスナ11の右耳に対して音楽信号の再生音が放音される。
音声信号入力端14は、携帯型音楽再生装置のヘッドホンジャックに差し込まれるヘッドホンプラグから構成されるものである。このNCシステムにおいては、音声信号入力端14と、左右の耳用のヘッドホンドライバー13との間の音声信号伝送路中には、イコライザ回路15、加算回路16、パワーアンプ17の他、NC機能部20が設けられる。
このNC機能部20は、音響−電気変換手段としてのマイクロホン21、マイクロホンアンプ22、ノイズ低減用のフィルタ回路23などを備える。
図示は省略するが、このNC機能部20と、ヘッドホンドライバー13、マイクロホン21、また、音声信号入力端14を構成するヘッドホンプラグとの間は、接続ケーブルで接続されている。20a,20b,20cは、ヘッドホン装置に対して接続ケーブルが接続される接続端子部である。
この図2の例のNCシステムでは、リスナ11の音楽聴取環境において、ヘッドホン筐体12の外のノイズ源18から、ヘッドホン筐体12内のリスナ11の音楽聴取位置に入り込むノイズをフィードバック方式で低減する。これにより、リスナ11は、音楽を良好な環境で聴取することができるようにされる。
フィードバック方式のNCシステムにおいては、リスナ11の音楽聴取位置であるところの、ノイズとノイズキャンセル用音声信号の音響再生音とを合成する音響合成位置(ノイズキャンセルポイントPc)でのノイズをマイクロホン21で収音するものである。
したがって、このフィードバック方式のNCシステムにおいては、ノイズ収音用のマイクロホン21は、ヘッドホン筐体(ハウジング部)12の内側となるノイズキャンセルポイントPcに設けられる。このマイクロホン21の位置の音が制御点となるため、ノイズ減衰効果を考慮し、ノイズキャンセルポイントPcは、通常耳に近い位置、つまりヘッドホンドライバー13の振動板前面とされ、この位置に、マイクロホン21が設けられる。
そして、NCシステムにおいては、そのマイクロホン21で収音したノイズの逆相成分を、ノイズキャンセル用音声信号生成部(以下、NC用音声信号生成部という)で、ノイズキャンセル用音声信号(以下、NC用音声信号)として生成する。そして、その生成したNC用音声信号をヘッドホンドライバー11に供給して音響再生することで、外部からヘッドホン筐体2内に入ってきたノイズを低減させる。
ここで、ノイズ源18におけるノイズと、ヘッドホン筐体12内に入り込んだノイズ18´とは同じ特性ではない。しかし、フィードバック方式のNCシステムにおいては、ヘッドホン筐体18内に入り込んだノイズ18´、すなわち、低減対象のノイズ18´を、マイクロホン21で収音することになる。
したがって、フィードバック方式では、NC用音声信号生成部は、マイクロホン21によりノイズキャンセルポイントPcで収音したノイズ18´をキャンセルするように、前記ノイズ18´の逆相成分を生成すればよい。
図2の例では、フィードバック方式のNC用音声信号生成部として、デジタルフィルタ回路23を用いる。この実施形態では、フィードバック方式でNC用音声信号を生成するので、デジタルフィルタ回路23は、以下、FBフィルタ回路23と称することとする。
FBフィルタ回路23は、DSP(Digital Signal Processor)232と、その前段に設けられるA/D変換回路231と、その後段に設けられるD/A変換回路233とで構成される。
マイクロホン21で収音された得られたアナログ音声信号は、マイクアンプ22を通じてFBフィルタ回路23に供給され、A/D変換回路231によりデジタル音声信号に変換される。そして、そのデジタル音声信号がDSP232に供給される。
DSP232には、フィードバック方式のデジタルNC用音声信号を生成するためのデジタルフィルタが構成される。このデジタルフィルタは、これに入力されるデジタル音声信号から、これに設定されるパラメータとしてのフィルタ係数に応じた特性の前記デジタルNC用音声信号を生成する。DSP232のデジタルフィルタに設定されるフィルタ係数は、予め、所定のフィルタ係数が設定されるようにされる。
しかし、例えば、実際的な複数種の再生音響環境に応じたフィルタ係数をメモリに記憶しておき、ユーザが、そのときの再生音響環境に応じてメモリから選択して、デジタルフィルタに設定するようにしてもよい。
そして、DSP232で生成されたデジタルNC用音声信号は、D/A変換回路233においてアナログNC用音声信号に変換される。そして、このアナログNC用音声信号が、FBフィルタ回路23の出力信号として加算回路16に供給される。
この加算回路16には、ヘッドホンによりリスナ11が聴取したいとされる入力音声信号(音楽信号など)Sが、音声信号入力端14を通じ、イコライザ回路15を通じて供給される。イコライザ回路15は、入力音声信号の音特補正を行なう。
加算回路16の加算結果の音声信号は、パワーアンプ17を通じてヘッドホンドライバー13に供給されて、音響再生される。この音響再生されてヘッドホンドライバー13により放音される音声には、FBフィルタ23において生成されたNC用音声信号による音響再生成分が含まれる。このヘッドホンドライバー13で音響再生された放音された音声のうちの、NC用音声信号による音響再生成分とノイズ18´とが、音響合成されることにより、ノイズキャンセルポイントPcでは、ノイズ18´が低減(キャンセル)される。
以上説明したフィードバック方式のNCシステムのノイズキャンセリング動作について、伝達関数を用いて、図3を参照しながら説明する。
すなわち、図2に示したブロック図に対応して、各部をその伝達関数を用いて表したブロック図を図3に示す。この図3において、Aはパワーアンプ17の伝達関数、Dはヘッドホンドライバー13の伝達関数、Mはマイクロホン21およびマイクアンプ22の部分に対応する伝達関数、−βはフィードバックのために設計されたフィルタの伝達関数である。また、Hはヘッドホンドライバー13からマイクロホン21までの空間の伝達関数、Eは聴取目的の音声信号Sにかけられるイコライザの伝達関数である。上記の各伝達関数は複素表現されているものとする。
また、図3において、Nは外部のノイズ源からヘッドホン筐体12内のマイクロホン21位置近辺に侵入してきたノイズであり、Pはリスナ11の耳に届く音圧である。なお、外部ノイズがヘッドホン筐体12内に伝わってくる原因としては、例えばイヤーパッド部の隙間から音圧として漏れてくる場合や、ヘッドホン筐体12が音圧を受けて振動した結果としてヘッドホン筐体12内部に音が伝わる場合などが考えられる。
この図3のように表したとき、図3のブロックは、図4の(式1)で表現することができる。そして、この(式1)において、ノイズNに着目すると、ノイズNは、1/(1+ADHMβ)に減衰していることが分かる。ただし、(式1)の系がノイズ低減対象周波数帯域にて、ノイズキャンセリング機構として安定して動作するためには、図4の(式2)が成立している必要がある。
一般的には、フィードバック方式のNCシステムにおける各伝達関数の積の絶対値が1以上(1≪|ADHMβ|)であること、また古典制御理論におけるナイキスト(Nyquist)の安定性判別と合わせて、図4の(式2)に関する系の安定性は、以下のように解釈できる。
図3において、ノイズNに関わるループ部分(マイクロホン21からヘッドホンドライバー13までのループ部分)中の1箇所を切断して、伝達関数(−ADHMβ)の「オープンループ」を考える。これは、図5に示すようなボード線図で表現される特性を持つ。
このオープンループを対象にした場合、ナイキストの安定性判別から、上記(式2)が成立する条件は、図5において、
・位相0deg.の点を通過するとき、ゲインは0dBより小さくなくてはならない
・ゲインが0dB以上であるとき、位相0deg.の点を含んではいけない
の2つの条件を満たす必要があることを意味している。
上記2条件を満たさない場合、ループは正帰還がかかり、発振(ハウリング)を起こすことになる。図5において、Pa,Pbは位相余裕、Ga,Gbはゲイン余裕を表しており、これらの余裕が小さいと、個人差やヘッドホン装着のばらつきにより、発振の危険性が増すことになる。
次に、上記ノイズ低減機能に加え、必要な音をヘッドホンのヘッドホンドライバーから再生する場合について説明する。
図3における、聴取対象の音声信号Sは、実際には音楽信号以外にも、筐体外部のマイクの音(補聴機能として使う)や、通信を介した音声信号(ヘッドセットとして使う)など、本来、ヘッドホンのヘッドホンドライバーで再生すべきものの信号総称である。
前述した(式1)のうち、信号Sに着目すると、図4に示す(式3)のように、イコライザEを設定すれば、音圧Pは、図4の(式4)のように表現される。
ここで、Hがヘッドホンドライバー11からマイクロホン21(耳)までの伝達関数、AやDがそれぞれパワーアンプ17、ヘッドホンドライバー13の特性の伝達関数である。したがって、マイクロホン21の位置が耳位置に非常に近いとすると、この例のヘッドホン装置によれば、通常の、NC機能を持たないヘッドホンと同様の特性が得られることがわかる。なお、このとき、イコライザ回路15の伝達特性Eは、周波数軸でみたオープンループ特性とほぼ同等の特性になっている。
以上のようにして、図2の構成のヘッドホン装置では、ノイズを低減しながら、聴取対象の音声信号を、何等支障なく聴取することができる。ただし、この場合に、十分なノイズキャンセリング効果を得るためには、DSP232で構成されるデジタルフィルタには、外部ノイズ源3からヘッドホン筐体2内に伝達されたノイズの特性に応じたフィルタ係数が設定される必要がある。
[フィードフォワード方式のNCシステム]
図6は、フィードフォワード方式のNCシステムを説明するためのブロック図である。この図6において、図2における場合と同様の部分については、同一番号を付してある。この図6の例におけるNC機能部30は、音響−電気変換手段としてのマイクロホン31、マイクアンプ32、ノイズ低減用のフィルタ回路33を備える構成とされている。
NC機能部30は、前述したフィードバック方式のNC機能部20と同様に、ヘッドホンドライバー13、マイクロホン31、また、音声信号入力端14を構成するヘッドホンプラグと接続ケーブルで接続されている。30a,30b,30cは、NC機能部30に対して接続ケーブルが接続される接続端子部である。
図6の例では、リスナ11の音楽聴取環境において、ヘッドホン筐体12の外のノイズ源18から、ヘッドホン筐体12内のリスナ11の音楽聴取位置に入り込むノイズをフィードフォワード方式で低減して、音楽を良好な環境で聴取することができるようにする。
フィードフォワード方式のNCシステムは、基本的には、図6に示すように、ヘッドホン筐体12の外部にマイクロホン31が設置されている。そして、このNCシステムでは、このマイクロホン31で、収音したノイズ18に対して適切なフィルタリング処理をしてノイズキャンセル用音声信号を生成する。そして、この生成したノイズキャンセル用音声信号を、ヘッドホン筐体12の内部のヘッドホンドライバー13にて音響再生し、リスナ11の耳に近いところで、ノイズ(ノイズ18´)をキャンセルするようにする。
マイクロホン31で収音されるノイズ18と、ヘッドホン筐体12内のノイズ18´とは、両者の空間的位置の違い(ヘッドホン筐体2の外と内の違いを含む)に応じた異なる特性となる。したがって、フィードフォワード方式では、マイクロホン31で収音したノイズ源18からのノイズと、ノイズキャンセルポイントPcにおけるノイズ18´との空間伝達関数の違いを見込んで、NC用音声信号を生成するようにする。
この実施形態では、フィードフォワード方式のNC用音声信号生成部として、デジタルフィルタ回路33を用いる。この実施形態では、フィードフォワード方式でNC用音声信号を生成するので、デジタルフィルタ回路33は、以下、FFフィルタ回路33と称することとする。
FFフィルタ回路33は、FBフィルタ回路23と全く同様に、DSP(Digital Signal Processor)332と、その前段に設けられるA/D変換回路331と、その後段に設けられるD/A変換回路333とで構成される。
そして、図6に示すように、マイクロホン31で収音された得られたアナログ音声信号は、マイクアンプ32を通じてFFフィルタ回路33に供給され、A/D変換回路331によりデジタル音声信号に変換される。そして、そのデジタル音声信号がDSP332に供給される。
DSP332には、フィードフォワード方式のデジタルNC用音声信号を生成するためのデジタルフィルタが構成される。このデジタルフィルタは、これに入力されるデジタル音声信号から、これに設定されるパラメータとしてのフィルタ係数に応じた特性の前記デジタルNC用音声信号を生成する。DSP332のデジタルフィルタに設定されるフィルタ係数は、前述のDSP232の場合と同様にして設定される。
そして、DSP332のデジタルフィルタでは、設定されたフィルタ係数に応じたデジタルノイズキャンセル用音声信号を生成する。
そして、DSP332で生成されたデジタルノイズキャンセル用音声信号は、D/A変換回路333においてアナログNC用音声信号に変換される。そして、このアナログNC用音声信号が、FFフィルタ回路33の出力信号として加算回路16に供給される。
この加算回路16には、ヘッドホンによりリスナ11が聴取したいとされる入力音声信号(音楽信号など)Sが、音声信号入力端14を通じ、イコライザ回路15を通じて供給される。イコライザ回路15は、入力音声信号の音特補正を行なう。
加算回路16の加算結果の音声信号は、パワーアンプ17を通じてヘッドホンドライバー13に供給されて、音響再生される。この音響再生されてヘッドホンドライバー13により放音される音声には、FFフィルタ33において生成されたNC用音声信号による音響再生成分が含まれる。このヘッドホンドライバー13で音響再生された放音された音声のうちの、NC用音声信号による音響再生成分とノイズ18´とが、音響合成されることにより、ノイズキャンセルポイントPcでは、ノイズ18´が低減(キャンセル)される。
FFフィルタ回路33の構成は、FBフィルタ回路23と同様であるが、DSP232、DSP332で構成されるデジタルフィルタに供給するフィルタ係数が、フィードバック方式のものであるか、フィードフォワード方式のものであるかの点が異なっている。
次に、フィードバック方式のNCシステムのノイズキャンセリング動作について、伝達関数を用いて、図7を参照しながら説明する。図7は、図6に示したブロック図に対応して、各部をその伝達関数を用いて表したブロック図である。
この図7において、Aはパワーアンプ17の伝達関数、Dはヘッドホンドライバー13の伝達関数、Mはマイクロホン31およびマイクアンプ32の部分に対応する伝達関数、−αはフィードフォワードのために設計されたフィルタの伝達関数である。また、Hはヘッドホンドライバー13からキャンセルポイントPcまでの空間の伝達関数、Eは聴取目的の音声信号Sにかけられるイコライザの伝達関数である。そして、Fは、外部のノイズ源18のノイズNの位置からリスナの耳のキャンセルポイントPcの位置に至るまでの伝達関数である。
この図7のように表したとき、図7のブロックは、図4の(式5)で表現することができる。なお、F´は、ノイズ源からマイク位置までの伝達関数を表す。上記の各伝達関数は複素表現されているものとする。
ここで、理想的な状態を考えると、伝達関数Fが図4の(式6)のように表せるとすると、図4の(式5)は、図4の(式7)で表すことができ、ノイズはキャンセルされ、音楽信号(または聴取する目的とする音楽信号等)Sだけが残る。これにより、図6のNCシステムによっても、通常のヘッドホン動作と同様の音を聴取することができることが分かる。このときの音圧Pは、図4の(式7)のように表される。
ただし実際は、図4の(式6)が完全に成立するような伝達関数を持つ完全なフィルタの構成は困難である。特に中高域に関して、人により装着状態や耳形状により個人差が大きいことと、ノイズの位置やマイク位置などにより特性が変化する。このような理由のため、通常は、中高域に関しては、上述したアクティブなノイズキャンセリング処理を行わず、ヘッドホン筐体2でパッシブな遮音をすることが多い。
なお、図4の(式6)は、数式を見れば自明であるが、ノイズ源から耳位置までの伝達関数を、デジタルフィルタの伝達関数αを含めた電気回路にて模倣することを意味している。
なお、図6の例のフィードフォワード型でのキャンセルポイントは、図6に示した通り、図2に示したフィードバック型と異なり、聴取者の任意の耳位置において設定することができる。
しかしながら、通常の場合、αは固定的であり、設計段階においては、なんらかのターゲット特性を対象として決定するようにする。このため、人によっては、耳の形状が違うため、十分なノイズキャンセル効果が得られないことや、ノイズ成分を非逆相で加算してしまうことにより、異音がするなどの現象が起こりえる。
一般的に、図8に示すように、フィードフォワード方式は、発振する可能性が低く安定度が高いが、十分な減衰量を得るのは困難であり、一方、フィードバック方式は、大きな減衰量が期待できる代わりに、系の安定性に注意が必要となる。
なお、上述の説明におけるイコライザ回路15は、DSP332内に構成し、音声信号Sをデジタル信号に変換して、DSP332内のイコライザ回路に供給するようにすることもできる。
なお、上述の説明では、FBフィルタ回路23およびFFフィルタ回路33は、デジタル処理回路の構成としたが、これは、アナログ処理回路の構成とすることもできる。
<この発明の実施形態の説明>
上述したNC手法により実際的な音声再生環境でのノイズ低減を図ると、聴取対象の音声信号は、実際的な騒音環境下で、音響−電気変換手段の例としてのマイクロホンで収音するものであるため、聴取対象の音声信号も、当該NC機能により低減してしまう。この実施形態では、当該NC機能により低減してしまう聴取対象の音声信号を、NR手法により音声強調するようにするものである。
<第1の実施形態>
[ハードウエア構成例]
図1は、この発明によるノイズ低減音声再生装置の第1の実施形態のブロック図である。この第1の実施形態は、この発明のノイズ低減音声再生装置が、上述のヘッドホン装置に適用された場合である。したがって、上述と同一部分には、同一の参照符号を付与してある。なお、図1は、説明の簡単のため、左右2チャンネルのうちの一方のチャンネルについての構成例のみを示した。他のチャンネルについても同様に構成することができる。
この第1の実施形態のヘッドホン装置は、フィードフォワード方式のNCシステム(図6)の構成である。したがって、ヘッドホン筐体の外部に設けられたマイクロホン31で収音されたノイズを含む音声信号が、フィードフォワード方式のNC用フィルタ回路(FFフィルタ回路)33に供給される。
そして、NC用フィルタ回路33で生成されたNC用音声信号が、加算回路16およびパワーアンプ17を通じてヘッドホンドライバー13に供給される。これにより、前述したように、フィードフォワード方式で、実際の音声再生聴取環境におけるノイズが低減される。
そして、この第1の実施形態では、例えば音楽聴取中に、会話の音声などの聴取対象の音声を、ヘッドホンを装着したままの状態で、ヘッドホンドライバー15から、聞き取り易い音声として聴取することができるようにする。
この第1の実施形態のヘッドホン装置には、音声モニターボタンが操作部46に設けられている。この第1の実施形態では、音声モニターボタンが押されている区間(モニターボタンオン区間という)において、聴取対象の会話音声などを強調して、ヘッドホンドライバー13で音響再生されるようにする。
このため、この第1の実施形態においては、マイクアンプ32からのマイクロホン31で収音された外部音声の音声信号が、不要帯域除去フィルタ41を通じてNR処理部42に供給されて、音声強調される。
そして、当該聴取対象の音声を聴取したい区間のみで聴取するようにするためのスイッチ回路43を通じて、NR処理部42からの音声強調された音声信号が、加算回路16に供給される。
なお、この例では、フィードフォワード方式のNC手法を用いているので、マイクロホン31は、聴取対象の外部からの音声を収音可能である。そこで、マイクロホン31は、NC機能におけるノイズ収音用と、聴取対象の外部からの音声の収音用とで兼用した共通のものとした。しかし、NC機能におけるノイズ収音用と、聴取対象の外部からの音声の収音用とは、別々のマイクロホンであってもよい。
不要帯域除去フィルタ41は、聴取対象の音声成分以外の不要帯域の音声成分を除去するためのもので、これは、必須のものではなく、設けなくても良い。この例では、会話音声などの一声音声を聴取目的とするので、不要帯域除去フィルタ41は、例えば300Hz〜3kHzの周波数帯域を通過帯域とするバンドパスフィルタの構成とされる。
NR処理部42は、この第1の実施形態では、前述したSS法のNR処理がなされる。すなわち、推定されたノイズのパワースペクトルが、不要帯域除去フィルタ41からの音声信号のパワースペクトルから減算されてノイズ低減される。
この第1の実施形態では、減算するノイズのパワースペクトルは、実際の音声再生環境における音声モニター時のノイズのパワースペクトルとされる。このため、この第1の実施形態では、図9に示すように、モニターボタンオン区間は、その最初の一部区間としてのノイズ収音モード区間と、その後のノイズ低減モード(NRモード)区間とに分けられる。
ノイズ収音モード区間の長さは、実際の音声再生環境における音声モニター時のノイズのパワースペクトルを生成して、生成したパワースペクトルを記憶部に記憶することができる長さとされる。
ノイズ低減モード区間では、その直前のノイズ収音モード区間で記憶されたノイズのパワースペクトルが、不要帯域除去フィルタ41からの音声信号のパワースペクトルから減算されてノイズ低減がなされて、聴取対象の音声が強調される。
制御部44は、操作部46の音声モニターボタンのオン・オフを認識し、ノイズ収音モード区間と、ノイズ低減モード区間とにおける処理を制御する。すなわち、制御部44は、ノイズ収音モード区間においては、ノイズのパワースペクトルのノイズ情報記憶部45への記憶を制御する。また、制御部44は、ノイズ低減モード区間においては、ノイズ情報記憶部45からノイズのパワースペクトルを読み出して、NR処理部42に減算用として供給する制御をする。
そして、制御部44は、スイッチ回路43を、ノイズ低減モード区間においてのみ、オンとする制御を行なう。
図10に、この例のNR処理部42の具体構成例を示す。
すなわち、不要帯域除去フィルタ41からの音声信号は、A/Dコンバータ401でデジタル音声信号に変換された後、FFT(Fast Fourier Transform)処理部402に供給されて、フーリエ変換される。そして、ノイズ収音モード区間においては、このFFT処理部402からの各周波数スペクトル成分が、スペクトル平均処理部403で平均化され、ノイズのパワースペクトルが生成される。
そして、ノイズ収音モード区間においては、スペクトル平均化処理部403からのノイズのパワースペクトルは、制御部44に送られる。制御部44は、取得したノイズのパワースペクトルをノイズ情報記憶部45に格納する。
また、FFT処理部402からの各周波数スペクトルからなる音声信号のパワースペクトルは、スペクトル減算処理部404に供給される。そして、ノイズ低減モード区間において、制御部44は、ノイズ情報記憶部45からノイズのパワースペクトルを読み出して、このスペクトル減算処理部404に供給する。
スペクトル減算処理部404は、FFT処理部402からの音声信号のパワースペクトルから、前記ノイズのパワースペクトルを減算する。そして、スペクトル減算処理部404は、減算結果のスペクトルをミュージカルノイズ除去フィルタ407に供給する。ミュージカルノイズ除去フィルタ407は、減算結果のスペクトルからミュージカルノイズの除去処理を行ない、その除去後のスペクトルを、IFFT(逆FFT)処理部405に供給する。IFFT処理部405は、ミュージカルノイズが除去された減算結果のスペクトルを、時系列信号としてのデジタル音声信号に戻す。
そして、IFFT処理部405は、デジタル音声信号をD/Aコンバータ406に供給する。D/Aコンバータ406は、デジタル音声信号をアナログ音声信号に変換し、そのアナログ音声信号をNR処理部42の出力信号として出力する。
[第1の実施形態の動作]
図9に示すように、操作部46の音声モニターボタンが押下されていないときには、図1の装置においては、制御部44によりスイッチ回路43がオフとされ、NR処理部42の系は働かないようにされている。このため、この第1の実施形態のノイズ低減音声再生装置(ヘッドホン装置)は、NC機能部のみがオンとなる通常NCモードとなる。
この通常NCモードにおいては、外部ノイズが低減される。そして、音声信号入力端14を通じて入力された音声信号は、イコライザ回路15を通じ、加算回路16、パワーアンプ17を通じてヘッドホンドライバー13に供給され、外部ノイズが低減された状態で良好な再生がなされる。
通常NCモードの状態で、ユーザが、例えば会話相手の人声を聴取するために、操作部46の音声モニターボタンを押下してオンにすると、制御部44は、第1の実施形態の装置をノイズ収音モードとする。そして、このノイズ収音モードにおいては、前述したように、制御部44は、NR処理部42のスペクトル平均処理部403の出力を、当該時点での外部環境のノイズのパワースペクトルとしてノイズ情報記憶部45に格納するようにする。
ノイズのパワースペクトルをノイズ情報記憶部45への記憶が終了すると、制御部44は、第1の実施形態の装置をノイズ低減モードに切り換える。このノイズ低減モードにおいては、制御部44は、スイッチ回路43をオンとすると共に、ノイズ情報記憶部45からノイズのパワースペクトルを読み出して、NR処理部42のスペクトル減算処理部404に供給するようにする。
したがって、NR処理部42では、マイクロホン31で収音された音声信号のパワースペクトルから、ノイズのパワースペクトルが、スペクトル減算処理部404で減算される。そして、その減算結果が、ミュージカルノイズ除去フィルタ405を通じて逆FFT処理部406に供給されて、時間軸信号であるデジタル音声信号に変換されル。そして、そのデジタル音声信号が、D/Aコンバータ407によりアナログ音声信号に変換され、スイッチ回路43を通じて加算回路16に供給されて、NC用音声信号およびイコライザ回路15からの音声信号と加算される。この加算信号がパワーアンプ17を通じてヘッドホンドライバー13に供給されて、音響再生される。
このノイズ低減モードにおける音声強調動作について、図11〜図13の周波数特性図を参照して、さらに説明する。
ここで、ノイズ低減モードの際の外部環境音声が、例えば、図11(A)および図12(A)のようなものである場合を想定する。この図11(A)および図12(A)では、外部環境が騒音環境で、ノイズレベルが高く、会話の人声音声信号Smが、ノイズNに埋もれてしまっている状態となっている。なお、図11(A)および図12(A)は、全く同じ図である。
このような外部環境においては、この第1の実施形態のノイズ低減音声再生装置では、NC機能のノイズキャンセリング効果により、図11(B)において、斜線部で示すように、ノイズ低減される。しかし、このとき、聴取対象の音声信号Smも、図11(B)の実線で示すように低減された音声信号Sm´となってしまう。
一方、NR処理部42では、図12(A)に示す外部環境のノイズNは、図12(B)の実線のノイズN´で示すように、低減されて、聴取対象の音声信号Smが音声強調される。
そして、加算回路16では、図11(B)に示されるようにノイズキャンセル効果により低減されてしまった音声信号Sm´と、図12(B)に示されるように、ノイズ低減されて音声強調された音声信号Smとが加算されることになる。この結果、図13に示すように、ノイズキャンセル効果により低減されてしまった音声信号Sm´と、NR処理部42により音声強調された音声信号Smとの合成信号は、ノイズキャンセルされて、低減されたノイズよりも強調されたものとなる。
このため、ヘッドホンドライバー13からの音響再生音においては、音声信号Sm´と、NR処理部42により音声強調された音声信号Smとの合成音となり、リスナは、明瞭度が向上した音声信号Smを聴取することができる。
<第2の実施形態>
上述の第1の実施形態では、マイクロホン31からの音声信号に対して、NC処理系とNR処理部42とは、並列に設けられている。すなわち、マイクロホン31からの音声信号が、NC用フィルタ回路33に供給されると共に、不要帯域除去フィルタ41を通じてNR処理部42に供給される構成とされている。
これに対して、第2の実施形態では、図14に示すように、NC用フィルタ回路33からのNC用音声信号の逆相の出力信号が、不要帯域除去フィルタ41に供給されるようにされる。ここで、NC用音声信号の逆相の出力信号は、ノイズをキャンセル信号の逆相信号であるので、マイクロホン31で収音したノイズおよび人声信号を、同相のままで含むものである。その他は、前述した第1の実施形態と全く同様の構成とされる。
すなわち、第2の実施形態では、NC用フィルタ回路33からのNC用音声信号の逆相信号に含まれる音声信号が、不要帯域除去フィルタ41で不要帯域除去された後、NR処理部42で音声強調される。そして、ノイズ低減モードで、その音声強調された音声信号が、スイッチ回路43を通じて加算回路16において、NC用音声信号に加算されるものである。
なお、この第2の実施形態においては、ノイズ収音モードにおいては、NC用フィルタ回路33からのNC用音声信号の逆相信号に含まれるノイズのパワースペクトルが、制御部44により、ノイズ情報記憶部45に格納される。そして、格納されたノイズのパワースペクトルが、上述の第1の実施形態と同様にして、ノイズ低減モードにおいて、NR処理部42に供給されて、SS法の処理に用いられる。
[第2の実施形態の動作]
この第2の実施形態においても、音声モニターボタンの押下の区間の最初の区間では、ノイズ収音モードとされ、その後の区間がノイズ低減モードとされて、音声強調されるのは、第1の実施形態と全く同様である。
この第2の実施形態におけるノイズ低減モードにおける音声強調動作は、第1の実施形態の場合とは異なる。図11および図15、図16の周波数特性図を参照して、この第2の実施形態におけるノイズ低減モードにおける音声強調動作を説明する。
この第2の実施形態においても、図11(A)に示すような外部環境が騒音環境で、ノイズレベルが高く、会話の人声音声信号Smが、ノイズNに埋もれてしまっている状態となっている場合を想定する。
このような外部環境においては、第2の実施形態のノイズ低減音声再生装置でも、NC機能のノイズキャンセリング効果により、図11(B)および図15(A)において、斜線部で示すように、ノイズ低減される。なお、図11(B)と図15(A)は、全く同一の図である。
そして、このとき、聴取対象の音声信号Smも、図11(B)および図15(A)の実線で示すように低減された音声信号Sm´となってしまう。
この第2の実施形態では、この図11(B)および図15(A)に示すようなNC効果が得られるようなNC用音声信号の逆相信号について、NR処理部42において、SS法によるノイズ低減がなされて音声強調がなされる。このNR処理部42の処理結果の音声信号の周波数特性図を図15(B)に示す。すなわち、NR処理により、この図15(B)の実線で示すようにノイズが低減されて、音声信号Sm´が強調される。
そして、加算回路16では、NC用フィルタ回路33からのNC用音声信号と、NR処理部42からの強調された音声信号とが加算され、その加算結果の音声信号がパワーアンプ17を通じてヘッドホンドライバー13に供給されて音響再生される。
したがって、この第2の実施形態の場合には、図16に示すように、NC機能により低減されてしまった音声信号Sm´に対して、音声強調された音声信号Sm´が加算されて、リスナには、両者の合成音が提供される。したがって、リスナは、明瞭度が向上した音声信号Smを聴取することが可能となる。
<第3の実施形態>
以上の第1および第2の実施形態は、モノーラルの構成でも可能な構成としたが、この第3の実施形態は、左右2チャンネルステレオの構成とするノイズ低減音声再生装置の場合である。
図17に、この第3の実施形態のノイズ低減音声再生装置のハードウエア構成例のブロック図を示す。この図17の例は、ステレオヘッドホン装置の構成例である。
図17に示すように、この実施形態のノイズ低減音声再生装置では、左右の耳用のヘッドホンドライバー13Lおよび13Rを備える。図示は省略するが、これらのヘッドホンドライバー13L,13Rは、ヘッドホン筐体内に設けられる。そして、この第3の実施形態では、左右の耳用のヘッドホン筐体の外側にマイクロホン31L,31Rがそれぞれ取り付けられて設けられる。
そして、マイクロホン31Lおよび31Rで収音されて得られた音声信号は、それぞれマイクアンプ32L,32Rを通じてA/Dコンバータ34L,34Rに供給されて、デジタル音声信号に変換される。
この第3の実施形態では、NC処理部と、NR処理部とは、1個のDSP(Digital Signal Processor)400内の機能構成手段として実現されている。そのため、A/Dコンバータ34L,34Rからのデジタル音声信号は、このDSP400に入力される。
このDSP400においては、A/Dコンバータ34L,34Rからのデジタル音声信号は、それぞれNC用フィルタ回路33L,33Rに供給される。これらのNC用フィルタ回路33L,33Rは、上述した第1および第2の実施形態におけるNC用フィルタ回路33と同様の構成を備えるもので、左および右チャンネル用のNC用音声信号を生成する。
NC用フィルタ回路33Lおよび33Rからの左および右チャンネル用のNC用音声信号は、それぞれ加算回路16Lおよび16Rに供給される。
また、この第3の実施形態では、A/Dコンバータ34L,34Rからのデジタル音声信号は、合成回路421で合成された後、左右2チャンネルに対して共通に設けられたNR処理部420に供給される。このNR処理部420は、上述した第1および第2の実施形態におけるNR処理部42と同様の構成を備えるもので、SS法によりNR処理を行なう。
このNR処理部420からの音声信号は、スイッチ回路430を通じて加算回路16Lおよび16Rに供給され、NC用フィルタ回路33Lおよび33RからのNC用音声信号と加算される。
そして、加算回路16Lおよび16Rからのデジタル音声信号が、DSP400の出力信号とされて、それぞれD/Aコンバータ35Lおよび35Rに供給される。そして、D/Aコンバータ35Lおよび35Rでデジタル音声信号がアナログ音声信号に変換され、そのアナログ音声信号がパワーアンプ17Lおよび17Rをそれぞれ通じて左右の耳用のヘッドホンドライバー13Lおよび13Rに供給される。
上述の第1および第2の実施形態と同様に、制御部44、ノイズ情報記憶部45および音声モニターボタンを備える操作部46が、この第3の実施形態においても設けられる。
そして、この第3の実施形態においても、音声モニターボタンがオンとされる区間(モニターボタンオン区間)の最初の区間がノイズ収音モード区間とされ、その後の区間がノイズ低減モード区間とされる(図9参照)。
制御部44は、この第3の実施形態においても前述の実施形態の場合と同様にして、ノイズ収音モード区間において、NR処理部420からノイズのパワースペクトルを得、それをノイズ情報記憶部45に記憶する。そして、制御部44は、ノイズ低減モード区間において、ノイズ情報記憶部45に記憶されているノイズのパワースペクトルを読み出して、NR処理部420に供給すると共に、スイッチ回路430を、このノイズ低減モード区間でのみオンとする。
この第3の実施形態における音声モニターボタンオン区間の音声強調動作は、第1の実施形態で説明した場合と同様となる。
以上のようにして、この第3の実施形態においては、リスナは、操作部46の音声モニターボタンを押下することにより、当該音声モニターボタンの押下区間では、マイクロホン13L,13Rで収音する会話音声などを、明瞭に聴取することができる。
なお、図17の例においては、A/Dコンバータ34Lおよび34Rからのデジタル信号を合成した後、NR処理部420に供給するようにしたが、左または右チャンネルの一方のデジタル音声信号のみをNR処理部420に供給するようにしてもよい。
しかし、強調して聴取したい音声の発生源が、ユーザ(リスナ)の正面に位置する場合には、A/Dコンバータ34Lおよび34Rからのデジタル信号を合成した後、NR処理部420に供給するようにした方が良い。音声信号のS/Nを高めることができると同時に、NR処理部において、左右チャンネルで全く別の帯域信号を減算する場合における左右間の違和感を減らすことができるからである。通常、誰かと会話する場合には、正面位置に会話相手が位置すると考えられるので、図17の実施形態は、好適な例であると言える。
なお、ステレオマイクロホンおよび正面位置の音声、ということをさらに利用して、音源分離技術で使用される独立成分分析(ICA)等の手法を用いて、NR処理を実行してもよい。
また、図17の例は、第1の実施形態を、ステレオ音声信号についての音声強調について適用したが、第2の実施形態を適用するようにしても良い。その場合においては、NC用フィルタ回路33Lの出力信号と、NC用フィルタ回路33Rの出力信号とを合成して、NR処理部420に供給しても良いし、NC用フィルタ回路33Lまたは33Rのいずれか一方の出力信号をNR処理部420に供給しても良い。
なお、図17では、図示は省略したが、第1および第2の実施形態と同様に、音楽信号をヘッドホンで聴取する場合には、D/Aコンバータ35L,35Rからの音声信号に、音楽信号の左右チャンネルの音声信号をそれぞれ加算するように構成すればよい。
<第4の実施形態>
第4の実施形態も、第3の実施形態と同様に、左右2チャンネルステレオの構成とするノイズ低減音声再生装置の場合である。そして、この第4の実施形態は、SS法を用いるNR処理部420とは異なる構成の音声強調回路を用いる点が、第3の実施形態とは異なる。
図18に、この第4の実施形態のノイズ低減音声再生装置のハードウエア構成例のブロック図を示す。この図18の例は、ステレオヘッドホン装置の構成例である。
この第4の実施形態においては、図18に示すように、A/Dコンバータ34Lおよび34Rからのデジタル音声信号が、DSP400内に設けられる音声強調回路500に供給される。そして、この音声強調回路500からの音声強調された音声信号が、スイッチ回路430を通じて加算回路16Lおよび16Rに供給される。
この第4の実施形態における音声強調回路500は、後述するように、SS法によるNR処理を行なう構成ではないので、ノイズ収音モードを必要としない。このため、この第4の実施形態では、ノイズ情報記憶部45は設けられない。そして、操作部46の音声モニターボタンを押下すると、制御部44は、図19に示すように、通常NCモードから即座にノイズ低減モードに切り換え、音声モニターボタンがオンとされている区間、当該ノイズ低減モードを継続するようにする。そして、音声モニターボタンがオフとされると、制御部44は、ノイズ低減モードから通常NCモードに切り替えるようにする。
したがって、制御部44は、操作部46の音声モニターボタンの押下によるオンを検出すると、スイッチ回路430をオンとして、マイクロホン31で収音した音声信号を強調するモードとする。
その他の構成は、第3の実施形態と全く同様であるので、それらの説明は省略する。
次に、この第4の実施形態における音声強調回路500のハードウエア構成例を、図20に示す。
A/Dコンバータ34Lおよび34Rからのデジタル音声信号は、それぞれ帯域分割複素信号分析部501Lおよび501Rに供給される。この帯域分割複素信号分析部501Lおよび501Rのそれぞれは、例えば、音声信号帯域を複数個の周波数帯域に分割した、それぞれの分割帯域毎の音声信号(複素信号)を得る回路部である。
帯域分割複素信号分析部501Lおよび501Rのそれぞれは、例えば、分割帯域毎の信号を得るための複数個の複素バンドパスフィルタで構成することができる。また、FFT処理して得られる周波数スペクトル信号を、前記分割帯域毎にまとめて、その合成出力あるいは平均出力を得る構成とすることもできる。
この帯域分割複素信号分析部501Lおよび501Rからの同じ分割帯域毎の複素信号成分は、正面方向成分強調回路502のそれぞれに供給される。図20では、正面方向成分強調回路502は、1個のみが示されているが、実際は、分割帯域数分設けられており、帯域分割複素信号分析部501Lおよび501Rからの同じ分割帯域毎の複素信号成分がそれぞれ供給されるものである。
正面方向成分強調回路502は、加算器5021と、アンプ5022と、ゲイン乗算器5023と、位相比較器5024と、ゲイン生成器5025とからなる。
帯域分割複素信号分析部501Lおよび501Rからの同じ分割帯域の複素信号は、加算器5021で加算された後、アンプ5022を通じてゲイン乗算器5023に供給される。また、帯域分割複素信号分析部501Lおよび501Rからの同じ分割帯域の複素信号は、位相比較器5024に供給されて位相比較される。
この第4の実施形態では、第3の実施形態と同様に、会話音声を聴取対象の音声として強調するようにする。このために、この第4の実施形態では、左右チャンネルの音声信号で、同相となる周波数成分を正面方向からの音声信号成分として、ゲインを上げるようにする。
位相比較器5024では、帯域分割複素信号分析部501Lおよび501Rからの同じ分割帯域の複素信号の位相を比較し、左右チャンネルで、位相が一致あるいは一致と判断してよいほどに近似しているかどうか判別する。そして、左右チャンネルで、位相が一致あるいは一致と判断してよいほどに近似していると判別できる場合には、ゲイン生成器5025からの乗算器5023に供給する乗算係数(ゲイン値)を他の分割帯域成分よりも大きくするようにする。
ゲイン生成器5025からの乗算係数(ゲイン値)は、ゲイン乗算器5023に供給される。そして、ゲイン乗算器5023では、アンプ5022からの音声信号をゲイン生成器5025からのゲイン値倍される。そして、ゲイン乗算器5023からのゲイン値倍された音声信号(複素信号)が帯域分割複素信号合成部503に供給される。
帯域分割複素信号合成部503では、各分割帯域毎の正面方向成分強調回路502からの音声信号(複素信号)を合成する。帯域分割複素信号分析部501Lおよび501RがFFT処理部を含む場合には、帯域分割複素信号合成部503は、IFFT(逆FFT)処理部を含む。
そして、この帯域分割複素信号合成部503からの周波数合成信号が、スイッチ回路430を通じて加算回路16Lおよび16Rに供給される。
この第4の実施形態では、音声強調回路500において、リスナ11に対して正面方向からの会話する相手からの音声信号が音声強調される。したがって、音声モニターボタンをオン操作することにより、騒音環境下においても明瞭で聞き易い状態で会話音声をリスナは聴取することができる。
なお、第4の実施形態では、正面方向の音声信号のみを強調するようにするため、位相比較器4024で、左右チャンネルで同相となる周波数成分を検出し、その周波数成分についてのゲインを大きくするようにした。しかし、正面方向ではなく、例えば左斜め45度方向、右斜め45度などのような斜め方向を特定方向として、その方向の周波数成分を強調する場合には、位相比較器4024で、左右チャンネルで当該斜め方向の音声信号の位相差を検出するようにすれば良い。
また、マイクロホン31L,31Rとして、1個のマイクロホンではなく、複数個のマイクロホンからなるいわゆるアレーマイクロホンを用いることで、特定の方向を入射方向とする音声信号のみをアレーマイクロホンで収音するようにすることもできる。
なお、分割帯域複素信号分析部501Lおよび501Rは、ポリフェーズフィルタやQMF(Quadrature Mirror Filter;4相鏡像分割フィルタ)を用いた構成としても良い。
<第5の実施形態>
以上説明した第1〜第4の実施形態のノイズ低減音声再生装置においては、NC処理系としては、フィードフォワード方式のNC処理系を用いるようにした。しかし、NC処理系としては、マイクロホンをヘッドホン筐体内に設けるフィードバック方式のNC処理系を用いることもできる。ただし、その場合には、NR処理部42,420あるいは音声強調回路500に入力する音声信号の収音手段としてのマイクロホンは、NC処理系とは兼用することはできず、ヘッドホン筐体の外部に別個に設けられることになる。
第5の実施形態は、NC処理系がフィードバック方式とされる場合である。図21は、この第5の実施形態におけるノイズ低減音声再生装置のハードウエア構成例を示す図である。この図21の例は、モノーラル対応の構成であるが、図21の構成を左右チャンネルのそれぞれ設けることにより、ステレオ対応とすることもできる。この図21の例においても、上述した実施形態と同一部分には同一符号を付して示すものとする。
すなわち、この第5の実施形態では、ヘッドホン筐体内に設けられるマイクロホン21で収音された音声信号がマイクアンプ22を通じてフィードバック方式のNC用フィルタ回路(FBフィルタ回路)23に供給される。そして、このNC用フィルタ回路23からのNC用音声信号が加算回路16に供給される。
一方、ヘッドホン筐体の外側に取り付けられるマイクロホン31からの音声信号がマイクアンプ32を通じて不要帯域除去フィルタ41に供給される。そして、前述の第1および第2の実施形態と同様にして、不要帯域除去フィルタ41の出力音声信号が、NR処理部42に供給されて、例えばSS法によるNR処理がなされて音声強調される。そして、音声強調された音声信号が、スイッチ回路43を通じて加算回路16に供給され、NC用音声信号と加算される。そして、加算回路16からの音声信号がパワーアンプ17を通じてヘッドホンドライバー13に供給される。
この第5の実施形態においては、NC処理が、フィードバック方式によりなされる点を除けば、上述した第1および第2の実施形態と同様の処理動作がなされ、同様の作用効果が得られる。
<第6の実施形態>
第6の実施形態は、NC処理系が、フィードバック方式とフィードフォワード方式の併用の場合である。図22は、この第6の実施形態におけるノイズ低減音声再生装置のハードウエア構成例を示す図である。この図22の例は、モノーラル対応の構成であるが、図22の構成を左右チャンネルのそれぞれ設けることにより、ステレオ対応とすることもできる。この図22の例においても、上述した実施形態と同一部分には同一符号を付して示すものとする。
すなわち、この第6の実施形態では、ヘッドホン筐体内に設けられるマイクロホン21で収音された音声信号がマイクアンプ22を通じてフィードバック方式のNC用フィルタ回路(FBフィルタ回路)23に供給される。そして、このNC用フィルタ回路23からのNC用音声信号が加算回路16に供給される。
また、ヘッドホン筐体の外側に取り付けられるマイクロホン31からの音声信号がマイクアンプ32を通じてフィードフォワード方式のNC用フィルタ回路(FFフィルタ回路)33に供給される。そして、このNC用フィルタ回路33からのNC用音声信号が加算回路16に供給される。
さらに、ヘッドホン筐体の外側に取り付けられるマイクロホン31からの音声信号がマイクアンプ32を通じて不要帯域除去フィルタ41に供給される。そして、前述の第1および第2の実施形態と同様にして、不要帯域除去フィルタ41の出力音声信号が、NR処理部42に供給されて、例えばSS法によるNR処理がなされて音声強調される。そして、音声強調された音声信号が、スイッチ回路43を通じて加算回路16に供給され、NC用音声信号と加算される。そして、加算回路16からの音声信号がパワーアンプ17を通じてヘッドホンドライバー13に供給される。
この第6の実施形態においては、NC処理が、フィードバック方式およびフィードフォワード方式の併用によりなされる点を除けば、上述した第1および第2の実施形態と同様の処理動作がなされ、同様の作用効果が得られる。
<第7の実施形態>
第7の実施形態は、NC処理系はフィードフォワード方式に行なうが、そのNC用フィルタ回路のフィルタ係数を、適応的に制御する例である。
すなわち、この第7の実施形態においては、ヘッドホン筐体の外側に取り付けられるマイクロホン31からの音声信号がマイクアンプ32を通じてフィードフォワード方式のNC用フィルタ回路33に供給される。そして、このNC用フィルタ回路33からのNC用音声信号が加算回路16に供給される。
また、ヘッドホン筐体内に設けられるマイクロホン21で収音された音声信号がマイクアンプ22を通じて適応処理生成部61に供給される。この適応処理生成部61は、NC用フィルタ33のフィルタ係数を適応的に生成して、NC用フィルタ回路33に供給する。
すなわち、NC用音声信号がヘッドホンドライバー13により音響再生されることにより、ヘッドホン筐体内の音響再生空間では、ノイズがキャンセルされるようにされる。適応処理生成部61は、マイクロホン21から得られるノイズキャンセルされた後の音声信号に含まれるノイズの残差がゼロになるように、NC用フィルタ回路33のフィルタ係数を適応的に生成制御する。
これにより、この第7の実施形態においては、常に、現実の音声再生環境におけるノイズが適応的にキャンセルされるものである。
この第7の実施形態においても、ヘッドホン筐体の外側に取り付けられるマイクロホン31からの音声信号がマイクアンプ32を通じて不要帯域除去フィルタ41に供給される。そして、前述の第1および第2の実施形態と同様にして、不要帯域除去フィルタ41の出力音声信号が、NR処理部42に供給されて、例えばSS法によるNR処理がなされて音声強調される。そして、音声強調された音声信号が、スイッチ回路43を通じて加算回路16に供給され、NC用音声信号と加算される。そして、加算回路16からの音声信号がパワーアンプ17を通じてヘッドホンドライバー13に供給される。
この第7の実施形態においては、NC処理が、フィードフォワード方式であって、そのフィルタ係数が適応的に制御される点を除けば、上述した第1および第2の実施形態と同様の処理動作がなされ、同様の作用効果が得られる。
[その他の実施形態]
以上の実施形態では、マイクロホンで当該時点で収音した人声の音声信号をNR処理などにより、音声強調するようにしたが、一旦、録音した音声信号の再生時において、当該再生音声を強調するようにすることもできる。
図24は、ICレコーダの場合の構成例を説明するためのブロック図であり、図24(A)は、その記録系の構成例、図24(B)は、その再生系の構成例を示すものである。
この例のICレコーダは、2個のマイクロホン71L,71Rを備え、図24(A)に示すように、これら2個のマイクロホン71L,71Rで収音された音声の音声信号は、マイクアンプ72を通じてA/Dコンバータ73でデジタル音声信号に変換される。
そして、A/Dコンバータ73からのデジタル音声信号は、記録エンコード部74で、データ圧縮などを含む記録エンコード処理がなされた後、記録部75を介して記録媒体、この例では、フラッシュメモリ76に記録される。記録エンコード部74は、DSPで構成される。
このようにして、フラッシュメモリ76に記録されたデジタル音声信号は、図24(B)に示すような再生系において、再生される。
すなわち、フラッシュメモリ76から読み出されたデジタル音声信号は、デコード部81でデコードされた後、NR処理部82に供給されて、例えばSS法などによるNR処理がなされる。この場合のSS法によるNR処理に用いるノイズのパワースペクトルは、例えば記録時にノイズ収音して、例えばフラッシュメモリ76に記録しておいたものを用いることができる。
NR処理部82により音声強調された再生音声信号は、加算回路83に供給される。一方、この再生時においても、マイクロホン71L,71Rで収音された音声の音声信号は、マイクアンプ72を通じてA/Dコンバータ73でデジタル音声信号に変換される。そして、A/Dコンバータ73からのデジタル音声信号がNC用フィルタ回路84に供給される。
NC用フィルタ回路84は、この例では、フィードフォワード方式のNC用フィルタ回路とされる。NC用フィルタ回路84は、NC用音声信号を生成し、その生成したNC用音声信号を加算回路83に供給する。
加算回路83からのNC用音声信号と、NR処理されて音声強調された再生音声信号との加算信号は、D/Aコンバータ85において、アナログ音声信号に変換される。そして、このD/Aコンバータ85からのアナログ音声信号は、パワーアンプ86L,86Rを通じてスピーカあるいはヘッドホンドライバー87L,87Rに供給される。
なお、図24(B)において、点線で囲む構成部分は、DSPで構成される部分である。
以上の構成においては、NC用フィルタ回路84からのNC用音声信号により、実際の音声再生環境におけるノイズがキャンセルされる。そして、再生音声は、NR処理により音声強調されて音響再生される。したがって、再生音声は、明瞭で聞き易いものとなる。
[さらにその他の実施形態および変形例]
上述の第4の実施形態を除く他の実施形態では、NR処理部にSS法を用いている。そのため、音声モニターボタンを押下したときに、先ず、ノイズのパワースペクトルを得るためのノイズ収音モードとし、その後、ノイズ低減モードとするように制御したが、ノイズ収音モードは、別途のタイミング区間で実行するようにしてもよい。
例えば、電源をオンにしたときや、一定時間間隔で、自動的にノイズ収音モードとして、ノイズのパワースペクトルをノイズ情報記憶部に記憶するようにしてもよい。
また、マイクロホンの入力が大音量となったときや、外部環境ノイズが変化したときなどに、自動的にノイズ収音モードとして、ノイズのパワースペクトルをノイズ情報記憶部に記憶するようにしてもよい。外部環境ノイズが変化したことは、例えば、マイクロホン31の音声信号レベルを監視し、当該音声信号レベルが閾値レベルを超えて変化したことを検出することにより、検出することができる。
このようにした場合には、音声モニターボタンのオン区間は、図19に示すように、ノイズ低減モード区間のみとすることができる。そして、通常NCモードの区間において、適宜、ノイズ収音モードに切り換えられて、ノイズのパワースペクトルの収音および記憶がなされる。
また、ノイズ低減モードも、音声モニターボタンを押下したときではなく、自動的に切り替わるようにすることもできる。例えば、マイクロホン31からの音声信号について、当該音声信号に人声音声信号が含まれているかどうかを判別し、人声音声信号が含まれていると判別したときに、自動的に、通常NCモードからノイズ低減モードに切り替わるようにすることができる。
また、静かな音声再生環境から騒音の大きい音声再生環境に変化したことを判別する判別手段を設け、その判別手段の判別結果により、騒音の大きい音声再生環境に移ったときには、自動的にノイズ低減モードに切り替わるようにしてもよい。その場合には、騒音の大きい音声再生環境に移ったことを検知した最初のタイミング区間は、ノイズ収音モードとして、当該環境におけるノイズのパワースペクトルをノイズ情報記憶部に記憶するようにすると良い。
なお、NR処理部としては、上述したSS法に限られるものではなく、種々の手法を用いることができることは言うまでもない。
また、上述の実施形態の説明では、ヘッドホンドライバーに供給する音声信号は、アナログ音声信号とするようにしたので、D/Aコンバータおよびパワーアンプを設けるようにした。しかし、ヘッドホンドライバーがデジタル音声信号で駆動可能なものである場合には、D/Aコンバータおよびパワーアンプに代えて、デジタルアンプを設けるようにすれば良い。
また、上述の実施形態では、ノイズ低減モードの際にオンとなり、その他の時にはオフとなるスイッチ回路43,430を設けるようにした。しかし、制御部44が、NR処理部42,420や音声強調回路500の動作のオン・オフを制御したり、NR処理部42,420や音声強調回路500の出力音声信号を、ミューティング制御したりすることにより、スイッチ回路を設けなくても良い。
また、上述の実施形態は、ノイズ低減音声再生装置をヘッドホン装置に適用した場合であり、NC用フィルタ回路、NR処理部、音声強調回路、制御部などが、ヘッドホン装置に設けられるように説明した。しかし、ヘッドホン装置には、マイクロホンとヘッドホンドライバーを設けるだけで、NC用フィルタ回路、NR処理部、音声強調回路、制御部などの構成部分は、ヘッドホン装置が接続される音楽再生装置などに設けられるように構成することもできる。
また、この発明は、音楽再生用のヘッドホン装置ではなく、外部騒音を低減する騒音低減装置としてのヘッドホン装置にも適用できる。また、この発明は、補聴器の構成とすることもできる。
この発明によるノイズ低減音声再生装置の第1の実施形態のハードウエア構成例を示すブロック図である。 この発明の実施形態に用いるノイズキャンセリングシステムの一例を説明するための図である。 図2のノイズキャンセリングシステムを説明するための等価回路図である。 この発明の実施形態に用いるノイズキャンセリングシステムの一例を説明するために用いる式を示す図である。 図2のノイズキャンセリングシステムを説明するために用いる図である。 この発明の実施形態に用いるノイズキャンセリングシステムの他の例を説明するための図である。 図6のノイズキャンセリングシステムを説明するための等価回路図である。 この発明の実施形態に用いるノイズキャンセリングシステムの例を説明するために用いる図である。 この発明によるノイズ低減音声再生装置の第1の実施形態の動作を説明するために用いる図である。 図1のノイズ低減音声再生装置の一部の具体構成例を説明するための図である。 この発明によるノイズ低減音声再生装置の第1の実施形態の作用効果を説明するために用いる図である。 この発明によるノイズ低減音声再生装置の第1の実施形態の作用効果を説明するために用いる図である。 この発明によるノイズ低減音声再生装置の第1の実施形態の作用効果を説明するために用いる図である。 この発明によるノイズ低減音声再生装置の第2の実施形態のハードウエア構成例を示すブロック図である。 この発明によるノイズ低減音声再生装置の第2の実施形態の作用効果を説明するために用いる図である。 この発明によるノイズ低減音声再生装置の第2の実施形態の作用効果を説明するために用いる図である。 この発明によるノイズ低減音声再生装置の第3の実施形態のハードウエア構成例を示すブロック図である。 この発明によるノイズ低減音声再生装置の第4の実施形態のハードウエア構成例を示すブロック図である。 この発明によるノイズ低減音声再生装置の第4の実施形態の動作を説明するために用いる図である。 この発明によるノイズ低減音声再生装置の第4の実施形態の要部の構成例を示すブロック図である。 この発明によるノイズ低減音声再生装置の第5の実施形態のハードウエア構成例を示すブロック図である。 この発明によるノイズ低減音声再生装置の第6の実施形態のハードウエア構成例を示すブロック図である。 この発明によるノイズ低減音声再生装置の第7の実施形態のハードウエア構成例を示すブロック図である。 この発明によるノイズ低減音声再生装置の他の実施形態のハードウエア構成例を示すブロック図である。 NR処理を説明するための図である。
符号の説明
13…電気−音響変換手段の例としてのヘッドホンドライバーユニット、31…音響−電気変換手段の例としてのマイクロホン、23…NC用フィルタ回路(FBフィルタ回路)、33…NC用フィルタ回路(FFフィルタ回路)、42,420…NR処理部、44…制御部、45…ノイズ情報記憶部、46…音声モニターボタンを備える操作部、500…音声強調回路

Claims (15)

  1. ノイズを収音するための第1の音響−電気変換手段で収音して得たノイズの音声信号から、前記ノイズと音響的に合成することで当該ノイズをキャンセルするようにするためのノイズキャンセル用音声信号を生成し、前記ノイズキャンセル用音声信号を、電気−音響変換手段で音響再生して、前記ノイズと音響的に合成するようにするノイズキャンセル処理系と、
    聴取しようとする音声信号を収音するための第2の音響−電気変換手段と、
    前記第2の音響−電気変換手段で収音した音声信号のうち、聴取対象の音声成分を強調する音声強調手段と、
    前記音声強調手段からの前記聴取対象の音声成分が強調された音声信号を、前記ノイズキャンセル音声信号と合成し、その合成信号を前記電気−音響変換手段に供給する合成手段と、
    前記音声強調手段からの前記聴取対象の音声成分が強調された音声信号を、制御信号に基づく区間でのみ、前記合成手段に供給するように制御する制御手段と、
    を備えるノイズ低減音声再生装置。
  2. ノイズを収音するための音響−電気変換手段で収音して得たノイズの音声信号から、前記ノイズと音響的に合成することで当該ノイズをキャンセルするようにするためのノイズキャンセル用音声信号を生成するノイズキャンセル用音声信号生成手段と、
    前記ノイズキャンセル音声信号を音響再生して前記ノイズと音響的に合成するようにする電気−音響変換手段と、
    前記ノイズキャンセル用音声信号生成手段からの音声信号のうち、聴取対象の音声成分を強調する音声強調手段と、
    前記音声強調手段からの前記聴取対象の音声成分が強調された音声信号を、前記ノイズキャンセル音声信号と合成し、その合成信号を前記電気−音響変換手段に供給する合成手段と、
    前記音声強調手段からの前記聴取対象の音声成分が強調された音声信号を、制御信号に基づく区間でのみ、前記合成手段に供給するように制御する制御手段と、
    を備えるノイズ低減音声再生装置。
  3. 請求項1に記載のノイズ低減音声再生装置において、
    前記第1の音響−電気変換手段と、前記第2の音響−電気変換手段とは、共通の1個の音響−電気変換手段からなる
    ノイズ低減音声再生装置。
  4. 請求項1または請求項2に記載のノイズ低減音声再生装置において、
    前記聴取対象の音声成分が強調された音声信号を聴取する区間を指定する操作入力を受け付ける操作入力手段を備え、
    前記制御手段は、前記操作入力手段を通じた前記操作入力に基づいて前記制御信号を生成し、前記操作入力で指定された区間でのみ、前記強調された音声信号を、前記合成手段に供給するように制御する
    ノイズ低減音声再生装置。
  5. 請求項1に記載のノイズ低減音声再生装置において、
    前記音声強調手段は、前記第2の音響−電気変換手段で収音されたノイズを含む前記音声信号のパワースペクトルから、予め記憶部に記憶されているノイズのパワースペクトルを差し引くことで、前記聴取対象の音声成分を強調する手段からなる
    ノイズ低減音声再生装置。
  6. 請求項2に記載のノイズ低減音声再生装置において、
    前記音声強調手段は、前記ノイズキャンセル用音声信号生成手段からの音声信号のパワースペクトルから、予め記憶部に記憶されているノイズのパワースペクトルを差し引くことで、前記聴取対象の音声成分を強調する手段からなる
    ノイズ低減音声再生装置。
  7. 請求項5に記載のノイズ低減音声再生装置において、
    前記第2の音響−電気変換手段で収音された前記音声信号から前記ノイズのパワースペクトル成分を取得して、前記記憶部に予め記憶する手段を備える
    ノイズ低減音声再生装置。
  8. 請求項6に記載のノイズ低減音声再生装置において、
    前記ノイズキャンセル用音声信号生成手段からの音声信号から前記ノイズのパワースペクトル成分を取得して、前記記憶部に予め記憶する手段を備える
    ノイズ低減音声再生装置。
  9. 請求項5に記載のノイズ低減音声再生装置において、
    前記聴取対象の音声成分が強調された音声信号を聴取する区間を指定する操作入力を受け付ける操作入力手段を備え、
    前記制御手段は、前記操作入力手段を通じた前記操作入力で指定された区間のうちの最初の一部区間で、前記第2の音響−電気変換手段で収音された前記音声信号から前記ノイズのパワースペクトル成分を取得して、前記記憶部に予め記憶し、前記指定された区間のうちの前記最初の一部区間の後の区間で、前記記憶部に記憶されているノイズのパワースペクトルを前記第2の音響−電気変換手段で収音されたノイズを含む前記音声信号のパワースペクトルから差し引くことで、前記聴取対象の音声成分を強調し、前記強調された音声信号を、前記最初の一部区間の後の区間で、前記合成手段に供給するように制御する
    ノイズ低減音声再生装置。
  10. 請求項6に記載のノイズ低減音声再生装置において、
    前記聴取対象の音声成分が強調された音声信号を聴取する区間を指定する操作入力を受け付ける操作入力手段を備え、
    前記制御手段は、前記操作入力手段を通じた前記操作入力で指定された区間のうちの最初の一部区間で、前記ノイズキャンセル用音声信号生成手段からの前記音声信号から前記ノイズのパワースペクトル成分を取得して、前記記憶部に予め記憶し、前記指定された区間のうちの前記最初の一部区間の後の区間で、前記記憶部に記憶されているノイズのパワースペクトルを前記ノイズキャンセル用音声信号生成手段からのノイズを含む前記音声信号のパワースペクトルから差し引くことで、前記聴取対象の音声成分を強調し、前記強調された音声信号を、前記最初の一部区間の後の区間で、前記合成手段に供給するように制御する
    ノイズ低減音声再生装置。
  11. 前記電気−音響変換手段として、左耳用および右耳用とが設けられるヘッドホンからなる請求項3に記載のノイズ低減音声再生装置であって、
    前記共通の1個の音響−電気変換手段は、左耳用および右耳用のヘッドホン筐体の外部の音声を収音するように、2個設けられると共に、前記ノイズキャンセル処理系と、前記合成手段とが、前記左耳用および右耳用にそれぞれ設けられ、
    前記音声強調手段は、前記左耳用および右耳用の音響−電気変換手段からの音声信号の一方または両方が供給される共通の1個とされる
    ノイズ低減音声再生装置。
  12. 請求項11に記載のノイズ低減音声再生装置において、
    前記共通の1個の音声強調手段は、
    前記左耳用の音響−電気変換手段からの音声信号および右耳用の音響−電気変換手段からの音声信号のそれぞれを複数の周波数帯域の信号に分割する手段と、
    前記左耳用および前記右耳用の音声信号の複数の周波数帯域の信号の、同じ周波数帯域の信号同士の位相差を検出し、所定の位相差を呈する周波数帯域の信号のゲインを上げることにより、音声強調を行なうゲイン制御手段と、
    前記ゲイン制御手段でゲイン制御した前記複数の周波数帯域の信号を合成して、合成した信号を前記音声強調した信号として、左耳用および右耳用の前記ノイズキャンセル音声と合成する信号とする手段と、
    を備えるノイズ低減音声再生装置。
  13. 請求項11に記載のノイズ低減音声再生装置において、
    前記共通の1個の音声強調手段は、
    前記左耳用の音響−電気変換手段からの音声信号および右耳用の音響−電気変換手段からの音声信号の一方の音声信号または両者の合成信号のパワースペクトルから、予め記憶部に記憶されているノイズのパワースペクトルを差し引くことで、前記聴取対象の音声成分を強調する手段からなる
    ノイズ低減音声再生装置。
  14. ノイズキャンセル処理系が、ノイズを収音するための第1の音響−電気変換手段で収音して得たノイズの音声信号から、前記ノイズと音響的に合成することで当該ノイズをキャンセルするようにするためのノイズキャンセル用音声信号を生成し、前記ノイズキャンセル音声信号を、電気−音響変換手段で音響再生して、前記ノイズと音響的に合成するようにするノイズキャンセル処理工程と、
    音声強調手段が、聴取しようとする音声信号を収音するための第2の音響−電気変換手段で収音した音声信号のうち、聴取対象の音声成分を強調する音声強調工程と、
    合成手段が、前記音声強調手段からの前記聴取対象の音声成分が強調された音声信号を、前記ノイズキャンセル音声信号と合成し、その合成信号を前記電気−音響変換手段に供給する合成工程と、
    制御手段が、前記音声強調手段からの前記聴取対象の音声成分が強調された音声信号を、制御信号に基づく区間でのみ、前記合成手段に供給するように制御する制御工程と、
    を備えるノイズ低減音声再生方法。
  15. ノイズキャンセル用音声信号生成手段が、ノイズを収音するための音響−電気変換手段で収音して得たノイズの音声信号から、前記ノイズと音響的に合成することで当該ノイズをキャンセルするようにするためのノイズキャンセル用音声信号を生成するノイズキャンセル用音声信号生成工程と、
    電気−音響変換手段が、前記ノイズキャンセル音声信号を音響再生して前記ノイズと音響的に合成するようにする音響再生工程と、
    音声強調手段が、前記ノイズキャンセル用音声信号生成手段からの音声信号のうち、聴取対象の音声成分を強調する音声強調工程と、
    合成手段が、前記音声強調手段からの前記聴取対象の音声成分が強調された音声信号を、前記ノイズキャンセル音声信号と合成し、その合成信号を前記電気−音響変換手段に供給する合成工程と、
    制御手段が、前記音声強調手段からの前記聴取対象の音声成分が強調された音声信号を、制御信号に基づく区間でのみ、前記合成手段に供給するように制御する制御工程と、
    を備えるノイズ低減音声再生方法。
JP2008168373A 2008-06-27 2008-06-27 ノイズ低減音声再生装置およびノイズ低減音声再生方法 Active JP4631939B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2008168373A JP4631939B2 (ja) 2008-06-27 2008-06-27 ノイズ低減音声再生装置およびノイズ低減音声再生方法
GB0907401A GB2461143B (en) 2008-06-27 2009-04-29 Noise reduction audio reproducing device and noise reduction audio reproducing method
US12/486,054 US9245517B2 (en) 2008-06-27 2009-06-17 Noise reduction audio reproducing device and noise reduction audio reproducing method
CN2009101512468A CN101616351B (zh) 2008-06-27 2009-06-29 降噪音频再现设备和降噪音频再现方法
US14/960,187 US9595252B2 (en) 2008-06-27 2015-12-04 Noise reduction audio reproducing device and noise reduction audio reproducing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008168373A JP4631939B2 (ja) 2008-06-27 2008-06-27 ノイズ低減音声再生装置およびノイズ低減音声再生方法

Publications (2)

Publication Number Publication Date
JP2010011117A true JP2010011117A (ja) 2010-01-14
JP4631939B2 JP4631939B2 (ja) 2011-02-16

Family

ID=40792020

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008168373A Active JP4631939B2 (ja) 2008-06-27 2008-06-27 ノイズ低減音声再生装置およびノイズ低減音声再生方法

Country Status (4)

Country Link
US (2) US9245517B2 (ja)
JP (1) JP4631939B2 (ja)
CN (1) CN101616351B (ja)
GB (1) GB2461143B (ja)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2392938A1 (en) 2010-06-01 2011-12-07 Sony Corporation Sound Signal Processing Apparatus and Sound Signal Processing Method
JP2012063483A (ja) * 2010-09-15 2012-03-29 Audio Technica Corp ノイズキャンセルヘッドホン及びノイズキャンセルイヤーマフ
JP2012093445A (ja) * 2010-10-25 2012-05-17 Chugoku Electric Power Co Inc:The 騒音低減装置および騒音低減方法
EP2469509A1 (en) 2010-12-24 2012-06-27 Sony Corporation Sound signal output device, speaker device, sound output device, and sound signal output method
JP2012205147A (ja) * 2011-03-25 2012-10-22 Kyocera Corp 携帯電子機器および音声制御システム
WO2013084811A1 (ja) 2011-12-08 2013-06-13 ソニー株式会社 耳孔装着型収音装置、信号処理装置、収音方法
WO2013084810A1 (ja) 2011-12-08 2013-06-13 ソニー株式会社 耳孔装着型収音装置、信号処理装置、収音方法
JP2013247528A (ja) * 2012-05-25 2013-12-09 Yuji Hosoi 携帯電話および携帯電話補助装置
JP2014103441A (ja) * 2012-11-16 2014-06-05 Yuji Hosoi 携帯電話
WO2017064929A1 (ja) * 2015-10-16 2017-04-20 ソニー株式会社 情報処理装置及び情報処理システム
US9705548B2 (en) 2013-10-24 2017-07-11 Rohm Co., Ltd. Wristband-type handset and wristband-type alerting device
US9716782B2 (en) 2010-12-27 2017-07-25 Rohm Co., Ltd. Mobile telephone
US9729971B2 (en) 2012-06-29 2017-08-08 Rohm Co., Ltd. Stereo earphone
US9742887B2 (en) 2013-08-23 2017-08-22 Rohm Co., Ltd. Mobile telephone
JP2017211640A (ja) * 2016-05-27 2017-11-30 イーエム−テック・カンパニー・リミテッドEM−TECH.Co.,Ltd. 補聴器機能の能動騷音除去ヘッドセット装置
US9894430B2 (en) 2010-12-27 2018-02-13 Rohm Co., Ltd. Incoming/outgoing-talk unit and incoming-talk unit
WO2018034446A1 (ko) * 2016-08-19 2018-02-22 삼성전자 주식회사 전자장치, 이를 활용한 음성 신호의 노이즈 저감 방법
US9980024B2 (en) 2011-02-25 2018-05-22 Rohm Co., Ltd. Hearing system and finger ring for the hearing system
US10013862B2 (en) 2014-08-20 2018-07-03 Rohm Co., Ltd. Watching system, watching detection device, and watching notification device
US10079925B2 (en) 2012-01-20 2018-09-18 Rohm Co., Ltd. Mobile telephone
WO2018198751A1 (ja) * 2017-04-24 2018-11-01 オリンパス株式会社 ノイズ低減装置、ノイズ低減方法およびプログラム
US10356231B2 (en) 2014-12-18 2019-07-16 Finewell Co., Ltd. Cartilage conduction hearing device using an electromagnetic vibration unit, and electromagnetic vibration unit
JPWO2018061371A1 (ja) * 2016-09-30 2019-07-18 ソニー株式会社 信号処理装置、信号処理方法、およびプログラム
JP2020099094A (ja) * 2020-02-27 2020-06-25 ヤマハ株式会社 信号処理装置
US10778824B2 (en) 2016-01-19 2020-09-15 Finewell Co., Ltd. Pen-type handset
US10795321B2 (en) 2015-09-16 2020-10-06 Finewell Co., Ltd. Wrist watch with hearing function
US10967521B2 (en) 2015-07-15 2021-04-06 Finewell Co., Ltd. Robot and robot system
US11526033B2 (en) 2018-09-28 2022-12-13 Finewell Co., Ltd. Hearing device

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9247346B2 (en) 2007-12-07 2016-01-26 Northern Illinois Research Foundation Apparatus, system and method for noise cancellation and communication for incubators and related devices
JP4631939B2 (ja) 2008-06-27 2011-02-16 ソニー株式会社 ノイズ低減音声再生装置およびノイズ低減音声再生方法
JP4894849B2 (ja) * 2008-11-28 2012-03-14 ソニー株式会社 イヤピース及びイヤホン
JP2011019209A (ja) * 2009-06-12 2011-01-27 Sony Corp 信号処理装置、信号処理方法
US8553900B2 (en) * 2010-05-14 2013-10-08 Creative Technology Ltd Noise reduction circuit with monitoring functionality
US9275621B2 (en) 2010-06-21 2016-03-01 Nokia Technologies Oy Apparatus, method and computer program for adjustable noise cancellation
US8759661B2 (en) 2010-08-31 2014-06-24 Sonivox, L.P. System and method for audio synthesizer utilizing frequency aperture arrays
EP2652737B1 (en) * 2010-12-15 2014-06-04 Koninklijke Philips N.V. Noise reduction system with remote noise detector
US8653354B1 (en) * 2011-08-02 2014-02-18 Sonivoz, L.P. Audio synthesizing systems and methods
US9118405B2 (en) * 2012-03-02 2015-08-25 Alberto CORNEJO LIZARRALDE Sound suppression system and controlled generation of same at a distance
KR101253708B1 (ko) * 2012-08-29 2013-04-12 (주)알고코리아 보청장치의 외부 소음을 차폐하는 방법
US8798283B2 (en) * 2012-11-02 2014-08-05 Bose Corporation Providing ambient naturalness in ANR headphones
US9020160B2 (en) 2012-11-02 2015-04-28 Bose Corporation Reducing occlusion effect in ANR headphones
EP2747081A1 (en) * 2012-12-18 2014-06-25 Oticon A/s An audio processing device comprising artifact reduction
CN103139688A (zh) * 2013-02-27 2013-06-05 广州市天艺电子有限公司 一种消除环境噪音的方法、装置和助听器
JP6314977B2 (ja) * 2013-06-07 2018-04-25 ソニー株式会社 入力デバイス及び送信方法、ホストデバイス及び受信方法、並びに、信号処理システム及び送受信方法
CN104581519A (zh) * 2013-10-23 2015-04-29 中兴通讯股份有限公司 降噪耳机及其降噪方法
EP3719801B1 (en) * 2013-12-19 2023-02-01 Telefonaktiebolaget LM Ericsson (publ) Estimation of background noise in audio signals
JP2015173369A (ja) 2014-03-12 2015-10-01 ソニー株式会社 信号処理装置、信号処理方法、およびプログラム
CN104038868B (zh) * 2014-05-27 2017-12-05 圆刚科技股份有限公司 抗噪耳罩装置及其声音处理方法
DE102014211181A1 (de) * 2014-06-11 2015-12-17 Sennheiser Electronic Gmbh & Co. Kg Hörer und Headset
CN105530569A (zh) * 2014-09-30 2016-04-27 杜比实验室特许公司 耳机混合主动噪声消除和噪声补偿
DE102016204448A1 (de) * 2015-03-31 2016-10-06 Sony Corporation Verfahren und Gerät
EP3285497B1 (en) 2015-04-17 2021-10-27 Sony Group Corporation Signal processing device and signal processing method
CN106210219B (zh) * 2015-05-06 2019-03-22 小米科技有限责任公司 降噪方法及装置
CN105979464A (zh) * 2016-05-13 2016-09-28 深圳市豪恩声学股份有限公司 电声换能器不良诊断的预处理装置及方法
CN205657840U (zh) * 2016-05-20 2016-10-19 深圳市易特科信息技术有限公司 低噪音气导助听器
CN205657839U (zh) * 2016-05-20 2016-10-19 深圳市易特科信息技术有限公司 低噪音骨传导助听器
WO2018050787A1 (en) * 2016-09-16 2018-03-22 Avatronics Sàrl Active noise cancellation system for headphone
US10448831B2 (en) * 2017-03-31 2019-10-22 BraveHeart Wireless Inc. Wearable sensor
US10595114B2 (en) 2017-07-31 2020-03-17 Bose Corporation Adaptive headphone system
CN108810692A (zh) * 2018-05-25 2018-11-13 会听声学科技(北京)有限公司 主动降噪系统、主动降噪方法及耳机
CN109889956A (zh) * 2019-02-25 2019-06-14 深圳市奇脉电子技术有限公司 一种主动降噪设备的高精确度降噪配置方式
WO2022119752A1 (en) * 2020-12-02 2022-06-09 HearUnow, Inc. Dynamic voice accentuation and reinforcement
WO2022198538A1 (zh) * 2021-03-25 2022-09-29 华为技术有限公司 主动降噪音频设备和用于主动降噪的方法
CN114584908B (zh) * 2022-03-04 2023-12-01 科大讯飞股份有限公司 助听器的声学测试方法、装置以及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0239799A (ja) * 1988-07-29 1990-02-08 Nippon Telegr & Teleph Corp <Ntt> 音場制御装置
JPH06503897A (ja) * 1990-09-14 1994-04-28 トッドター、クリス ノイズ消去システム
JPH07264699A (ja) * 1994-03-18 1995-10-13 Sony Corp 補聴器
JPH08160994A (ja) * 1994-12-07 1996-06-21 Matsushita Electric Ind Co Ltd 雑音抑圧装置
JP2004325284A (ja) * 2003-04-25 2004-11-18 Kumamoto Technology & Industry Foundation 音源方向を推定する方法、そのためのシステム、および複数の音源の分離方法、そのためのシステム
JP2007336460A (ja) * 2006-06-19 2007-12-27 Tohoku Univ 聴音装置
JP2008042508A (ja) * 2006-08-07 2008-02-21 Tohoku Univ 通信聴取システム

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5212764A (en) * 1989-04-19 1993-05-18 Ricoh Company, Ltd. Noise eliminating apparatus and speech recognition apparatus using the same
JP2867461B2 (ja) 1989-09-08 1999-03-08 ソニー株式会社 騒音低減ヘッドホン
JP2778173B2 (ja) 1990-01-19 1998-07-23 ソニー株式会社 騒音低減装置
US5251263A (en) * 1992-05-22 1993-10-05 Andrea Electronics Corporation Adaptive noise cancellation and speech enhancement system and apparatus therefor
US5852667A (en) * 1995-07-03 1998-12-22 Pan; Jianhua Digital feed-forward active noise control system
GB2330048B (en) * 1997-10-02 2002-02-27 Sony Uk Ltd Audio signal processors
JP2001228892A (ja) 2000-02-15 2001-08-24 Sony Corp ノイズ除去装置およびノイズ除去方法、並びに記録媒体
JP3838072B2 (ja) 2001-10-31 2006-10-25 ソニー株式会社 ヘッドホン
EP1618759A1 (en) * 2003-04-18 2006-01-25 Koninklijke Philips Electronics N.V. Personal audio system with earpiece remote controller
JP2005189836A (ja) 2003-12-02 2005-07-14 Yamaha Motor Co Ltd アクティブ消音ヘルメット、これを用いた車両システム、およびヘルメット内騒音消音方法
KR101118217B1 (ko) * 2005-04-19 2012-03-16 삼성전자주식회사 오디오 데이터 처리 장치 및 방법
JP2007002393A (ja) 2005-05-26 2007-01-11 Yamaha Motor Co Ltd 消音ヘルメット、これを備えた車両システム、およびヘルメット内騒音消音方法
JP4558625B2 (ja) 2005-10-14 2010-10-06 シャープ株式会社 騒音キャンセルヘッドフォン、及びその聴取方法
JP2007108522A (ja) 2005-10-14 2007-04-26 Sharp Corp 騒音キャンセルヘッドフォン、及びそのばらつき調整方法
JP4637725B2 (ja) * 2005-11-11 2011-02-23 ソニー株式会社 音声信号処理装置、音声信号処理方法、プログラム
JP4556875B2 (ja) 2006-01-18 2010-10-06 ソニー株式会社 音声信号分離装置及び方法
JP2007212611A (ja) 2006-02-08 2007-08-23 Yamaha Motor Co Ltd アクティブ消音ヘルメット、およびこれを用いた車両システム
JP4505423B2 (ja) 2006-03-10 2010-07-21 シャープ株式会社 騒音キャンセルヘッドフォン、及び騒音キャンセル制御切替方法
JP4505427B2 (ja) 2006-03-24 2010-07-21 シャープ株式会社 騒音キャンセルヘッドフォン、及び騒音キャンセル制御モード切替方法
JP5219349B2 (ja) 2006-07-25 2013-06-26 株式会社オーディオテクニカ ノイズキャンセルヘッドホン
JP4840060B2 (ja) 2006-10-03 2011-12-21 ソニー株式会社 ヘッドホン、ノイズ低減処理システム及びノイズ低減処理方法
JP5564743B2 (ja) * 2006-11-13 2014-08-06 ソニー株式会社 ノイズキャンセル用のフィルタ回路、ノイズ低減信号生成方法、およびノイズキャンセリングシステム
JP2008122729A (ja) 2006-11-14 2008-05-29 Sony Corp ノイズ低減装置、ノイズ低減方法、ノイズ低減プログラムおよびノイズ低減音声出力装置
WO2008070005A2 (en) * 2006-12-01 2008-06-12 Wbl Corporation Limited Methods and apparatus for wireless stereo audio
JP2008197438A (ja) 2007-02-14 2008-08-28 Sony Corp 信号処理装置、信号処理方法
JP4946538B2 (ja) 2007-03-13 2012-06-06 ソニー株式会社 ヘッドホン装置
JP4572945B2 (ja) 2008-03-28 2010-11-04 ソニー株式会社 ヘッドフォン装置、信号処理装置、信号処理方法
JP4631939B2 (ja) 2008-06-27 2011-02-16 ソニー株式会社 ノイズ低減音声再生装置およびノイズ低減音声再生方法
JP4737251B2 (ja) 2008-08-20 2011-07-27 ソニー株式会社 ヘッドホン
JP4894849B2 (ja) 2008-11-28 2012-03-14 ソニー株式会社 イヤピース及びイヤホン
JP2011015235A (ja) 2009-07-02 2011-01-20 Sony Corp ヘッドホン
JP2011019124A (ja) 2009-07-09 2011-01-27 Sony Corp ヘッドホン装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0239799A (ja) * 1988-07-29 1990-02-08 Nippon Telegr & Teleph Corp <Ntt> 音場制御装置
JPH06503897A (ja) * 1990-09-14 1994-04-28 トッドター、クリス ノイズ消去システム
JPH07264699A (ja) * 1994-03-18 1995-10-13 Sony Corp 補聴器
JPH08160994A (ja) * 1994-12-07 1996-06-21 Matsushita Electric Ind Co Ltd 雑音抑圧装置
JP2004325284A (ja) * 2003-04-25 2004-11-18 Kumamoto Technology & Industry Foundation 音源方向を推定する方法、そのためのシステム、および複数の音源の分離方法、そのためのシステム
JP2007336460A (ja) * 2006-06-19 2007-12-27 Tohoku Univ 聴音装置
JP2008042508A (ja) * 2006-08-07 2008-02-21 Tohoku Univ 通信聴取システム

Cited By (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2392938A1 (en) 2010-06-01 2011-12-07 Sony Corporation Sound Signal Processing Apparatus and Sound Signal Processing Method
US8976978B2 (en) 2010-06-01 2015-03-10 Sony Corporation Sound signal processing apparatus and sound signal processing method
JP2012063483A (ja) * 2010-09-15 2012-03-29 Audio Technica Corp ノイズキャンセルヘッドホン及びノイズキャンセルイヤーマフ
JP2012093445A (ja) * 2010-10-25 2012-05-17 Chugoku Electric Power Co Inc:The 騒音低減装置および騒音低減方法
EP2469509A1 (en) 2010-12-24 2012-06-27 Sony Corporation Sound signal output device, speaker device, sound output device, and sound signal output method
US10779075B2 (en) 2010-12-27 2020-09-15 Finewell Co., Ltd. Incoming/outgoing-talk unit and incoming-talk unit
US9894430B2 (en) 2010-12-27 2018-02-13 Rohm Co., Ltd. Incoming/outgoing-talk unit and incoming-talk unit
US9716782B2 (en) 2010-12-27 2017-07-25 Rohm Co., Ltd. Mobile telephone
US9980024B2 (en) 2011-02-25 2018-05-22 Rohm Co., Ltd. Hearing system and finger ring for the hearing system
JP2012205147A (ja) * 2011-03-25 2012-10-22 Kyocera Corp 携帯電子機器および音声制御システム
WO2013084811A1 (ja) 2011-12-08 2013-06-13 ソニー株式会社 耳孔装着型収音装置、信号処理装置、収音方法
WO2013084810A1 (ja) 2011-12-08 2013-06-13 ソニー株式会社 耳孔装着型収音装置、信号処理装置、収音方法
EP3291574A1 (en) 2011-12-08 2018-03-07 Sony Corporation Earhole-wearable sound collection device, signal processing device, and sound collection method
US10778823B2 (en) 2012-01-20 2020-09-15 Finewell Co., Ltd. Mobile telephone and cartilage-conduction vibration source device
US10079925B2 (en) 2012-01-20 2018-09-18 Rohm Co., Ltd. Mobile telephone
US10158947B2 (en) 2012-01-20 2018-12-18 Rohm Co., Ltd. Mobile telephone utilizing cartilage conduction
JP2013247528A (ja) * 2012-05-25 2013-12-09 Yuji Hosoi 携帯電話および携帯電話補助装置
US10834506B2 (en) 2012-06-29 2020-11-10 Finewell Co., Ltd. Stereo earphone
US9729971B2 (en) 2012-06-29 2017-08-08 Rohm Co., Ltd. Stereo earphone
US10506343B2 (en) 2012-06-29 2019-12-10 Finewell Co., Ltd. Earphone having vibration conductor which conducts vibration, and stereo earphone including the same
JP2014103441A (ja) * 2012-11-16 2014-06-05 Yuji Hosoi 携帯電話
US10075574B2 (en) 2013-08-23 2018-09-11 Rohm Co., Ltd. Mobile telephone
US9742887B2 (en) 2013-08-23 2017-08-22 Rohm Co., Ltd. Mobile telephone
US10237382B2 (en) 2013-08-23 2019-03-19 Finewell Co., Ltd. Mobile telephone
US9705548B2 (en) 2013-10-24 2017-07-11 Rohm Co., Ltd. Wristband-type handset and wristband-type alerting device
US10103766B2 (en) 2013-10-24 2018-10-16 Rohm Co., Ltd. Wristband-type handset and wristband-type alerting device
US10013862B2 (en) 2014-08-20 2018-07-03 Rohm Co., Ltd. Watching system, watching detection device, and watching notification device
US10380864B2 (en) 2014-08-20 2019-08-13 Finewell Co., Ltd. Watching system, watching detection device, and watching notification device
US11601538B2 (en) 2014-12-18 2023-03-07 Finewell Co., Ltd. Headset having right- and left-ear sound output units with through-holes formed therein
US10356231B2 (en) 2014-12-18 2019-07-16 Finewell Co., Ltd. Cartilage conduction hearing device using an electromagnetic vibration unit, and electromagnetic vibration unit
US10848607B2 (en) 2014-12-18 2020-11-24 Finewell Co., Ltd. Cycling hearing device and bicycle system
US10967521B2 (en) 2015-07-15 2021-04-06 Finewell Co., Ltd. Robot and robot system
US10795321B2 (en) 2015-09-16 2020-10-06 Finewell Co., Ltd. Wrist watch with hearing function
WO2017064929A1 (ja) * 2015-10-16 2017-04-20 ソニー株式会社 情報処理装置及び情報処理システム
US10438577B2 (en) 2015-10-16 2019-10-08 Sony Corporation Information processing device and information processing system
US10778824B2 (en) 2016-01-19 2020-09-15 Finewell Co., Ltd. Pen-type handset
JP2017211640A (ja) * 2016-05-27 2017-11-30 イーエム−テック・カンパニー・リミテッドEM−TECH.Co.,Ltd. 補聴器機能の能動騷音除去ヘッドセット装置
WO2018034446A1 (ko) * 2016-08-19 2018-02-22 삼성전자 주식회사 전자장치, 이를 활용한 음성 신호의 노이즈 저감 방법
KR20180020790A (ko) * 2016-08-19 2018-02-28 삼성전자주식회사 전자장치, 이를 활용한 음성 신호의 노이즈 저감 방법
US11017794B2 (en) 2016-08-19 2021-05-25 Samsung Electronics Co., Ltd Electronic device, and method for reducing noise of voice signal by utilizing same
KR102512403B1 (ko) * 2016-08-19 2023-03-22 삼성전자 주식회사 전자장치, 이를 활용한 음성 신호의 노이즈 저감 방법
JPWO2018061371A1 (ja) * 2016-09-30 2019-07-18 ソニー株式会社 信号処理装置、信号処理方法、およびプログラム
US11030988B2 (en) 2016-09-30 2021-06-08 Sony Corporation Signal processing device, signal processing method, and program
US11049486B2 (en) 2017-04-24 2021-06-29 Olympus Corporation Noise reduction apparatus, noise reduction method, and computer-readable recording medium
WO2018198751A1 (ja) * 2017-04-24 2018-11-01 オリンパス株式会社 ノイズ低減装置、ノイズ低減方法およびプログラム
US11526033B2 (en) 2018-09-28 2022-12-13 Finewell Co., Ltd. Hearing device
JP2020099094A (ja) * 2020-02-27 2020-06-25 ヤマハ株式会社 信号処理装置
JP7052814B2 (ja) 2020-02-27 2022-04-12 ヤマハ株式会社 信号処理装置

Also Published As

Publication number Publication date
JP4631939B2 (ja) 2011-02-16
GB0907401D0 (en) 2009-06-10
CN101616351A (zh) 2009-12-30
CN101616351B (zh) 2013-06-05
GB2461143B (en) 2011-05-25
US9595252B2 (en) 2017-03-14
US20090323976A1 (en) 2009-12-31
US9245517B2 (en) 2016-01-26
US20160086594A1 (en) 2016-03-24
GB2461143A (en) 2009-12-30

Similar Documents

Publication Publication Date Title
JP4631939B2 (ja) ノイズ低減音声再生装置およびノイズ低減音声再生方法
JP6017825B2 (ja) 特に「ハンズフリー」電話システム向けの近接音声信号を雑音除去するための手段を有するマイクロホンとイヤホンの組合せ型のオーディオ・ヘッドセット
JP6069829B2 (ja) 耳孔装着型収音装置、信号処理装置、収音方法
US8422691B2 (en) Audio outputting device, audio outputting method, noise reducing device, noise reducing method, program for noise reduction processing, noise reducing audio outputting device, and noise reducing audio outputting method
JP6069830B2 (ja) 耳孔装着型収音装置、信号処理装置、収音方法
JP5034730B2 (ja) 信号処理装置、信号処理方法、プログラム、ノイズキャンセリングシステム
JP2008122729A (ja) ノイズ低減装置、ノイズ低減方法、ノイズ低減プログラムおよびノイズ低減音声出力装置
JP5593852B2 (ja) 音声信号処理装置、音声信号処理方法
JP2009530950A (ja) ウェアラブル装置のためのデータ処理
JP5811993B2 (ja) ヘッドホン、ヘッドホンのノイズ低減方法、ノイズ低減処理用プログラム
CN112954530B (zh) 一种耳机降噪方法、装置、系统及无线耳机
CN112399301B (zh) 耳机及降噪方法
JP4967894B2 (ja) 信号処理装置、信号処理方法、プログラム、ノイズキャンセリングシステム
JP6197930B2 (ja) 耳孔装着型収音装置、信号処理装置、収音方法
JP6315046B2 (ja) 耳孔装着型収音装置、信号処理装置、収音方法
JP2009020143A (ja) ノイズキャンセルヘッドホン
JP2010130415A (ja) 音声信号再生装置
CN115103258A (zh) 风噪检测方法、装置及耳机
JP2006324917A (ja) ノイズキャンセルヘッドフォン
CN114501211A (zh) 具有丽音通透性的主动降噪电路、方法、设备及存储介质
JP5470729B2 (ja) 信号処理装置、信号処理方法
JP5880753B2 (ja) ヘッドホン、ヘッドホンのノイズ低減方法、ノイズ低減処理用プログラム
JPH04107993U (ja) 電子式消音装置および電子式消音装置を用いた音声再生装置
JP2023036332A (ja) 音響システム
JP2020120154A (ja) 信号処理装置、ヘッドセット、プログラム、及びコンピュータ読み取り可能な媒体

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100924

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101019

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101101

R151 Written notification of patent or utility model registration

Ref document number: 4631939

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131126

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250