JP2014003502A - 信号処理装置及び信号処理方法 - Google Patents

信号処理装置及び信号処理方法 Download PDF

Info

Publication number
JP2014003502A
JP2014003502A JP2012138184A JP2012138184A JP2014003502A JP 2014003502 A JP2014003502 A JP 2014003502A JP 2012138184 A JP2012138184 A JP 2012138184A JP 2012138184 A JP2012138184 A JP 2012138184A JP 2014003502 A JP2014003502 A JP 2014003502A
Authority
JP
Japan
Prior art keywords
vibration
signal
echo
unit
signal processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012138184A
Other languages
English (en)
Inventor
Takashi Sudo
隆 須藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2012138184A priority Critical patent/JP2014003502A/ja
Priority to US13/778,429 priority patent/US20130336500A1/en
Publication of JP2014003502A publication Critical patent/JP2014003502A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787General system configurations
    • G10K11/17879General system configurations using both a reference signal and an error signal
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/002Devices for damping, suppressing, obstructing or conducting sound in acoustic devices
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1785Methods, e.g. algorithms; Devices
    • G10K11/17853Methods, e.g. algorithms; Devices of the filter
    • G10K11/17854Methods, e.g. algorithms; Devices of the filter the filter being an adaptive filter
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1785Methods, e.g. algorithms; Devices
    • G10K11/17857Geometric disposition, e.g. placement of microphones
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787General system configurations
    • G10K11/17885General system configurations additionally using a desired external signal, e.g. pass-through audio such as music or speech
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10Applications
    • G10K2210/105Appliances, e.g. washing machines or dishwashers
    • G10K2210/1053Hi-fi, i.e. anything involving music, radios or loudspeakers
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10Applications
    • G10K2210/129Vibration, e.g. instead of, or in addition to, acoustic noise
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/50Miscellaneous
    • G10K2210/505Echo cancellation, e.g. multipath-, ghost- or reverberation-cancellation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephone Function (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Abstract

【課題】 固体伝搬を考慮したノイズ抑圧をすることができる技術を提供する。
【解決手段】 スピーカと、このスピーカからの固体伝搬による振動を検出し参照信号として出力する振動センサと、この参照信号に基づいて前記振動によるノイズを抑圧する制御手段とを備えた信号処理装置。また、スピーカを備えた信号処理装置における信号処理方法であって、このスピーカからの固体伝搬による振動を検出し参照信号として出力する振動センス工程と、この参照信号に基づいて前記振動によるノイズを抑圧する制御工程とを含む信号処理方法。
【選択図】 図4

Description

本発明の実施形態は、信号処理装置及び信号処理方法に関する。
従来、DSP(Digital Signal Processor)等を用いてノイズキャンセラやエコーキャンセラなどにより音響信号の特性を変化させることで、当該音響信号に含まれたノイズ成分やエコー成分等の外乱信号を低減させることが行われている。
特に、PDA(Personal Digital Assistant)や携帯電話等の電子機器では、ユーザが把持または装着した機器のノイズを検知し、機器が影響された方向に対処するものがある。
例えば特許文献1は、スピーカからの空気伝搬による音響エコーを除去する方法(線形音響エコーキャンセラ)である。また、特許文献2は、スピーカの振動などに起因する非線形な成分の音響エコーを工夫して除去する方法(非線形音響エコーキャンセラ)である。また、特許文献3は、スピーカからマイクへの回り込みを参照信号にした適応フィルタを使って、スピーカからの空気伝搬による音響エコーを除去する方法(2マイク音響エコーキャンセラ)である。
しかしながらどの方法も、スピーカからマイクへの筐体振動による回り込み(固体伝搬音)を直接考慮したエコーノイズい抑圧手法にはなっていない。また、ユーザの動作に起因する筺体の動きによるエコーパス変動について直接考慮した手法になっていない。
即ち問題点としてスピーカの振動が筐体内を固体伝搬することでマイクへ入り込むエコーおよびノイズを抑圧することができる技術への要望があるが、かかる要望を実現するための手段は知られていない。
特開平4−123621号公報 特開2004−56453号公報 特表2000−515345号公報
本発明の実施の形態は、固体伝搬を考慮したエコーおよびノイズ抑圧をすることができる技術を提供することを目的とする。
上記課題を解決するために、実施形態によれば信号処理装置は、スピーカと、このスピーカからの固体伝搬による振動を検出し参照信号として出力する振動センサと、この参照信号に基づいて前記振動によるエコーおよびノイズを抑圧する制御手段とを備えた。
実施形態にかかる電子機器の外観を模式的に示す図。 実施形態にかかる電子機器のハードウェア構成の一例を示すブロック図。 実施形態にかかる電子機器の機能構成を示すブロック図である。 実施形態にかかる電子機器の機能構成を示すブロック図である。 同実施形態に用いられるエコーノイズ抑圧部20Aの構成を示す図。 同実施形態の第1のエコー抑圧部20A1の詳細を示すブロック構成図。 同実施形態の第2のエコー抑圧部20A2の詳細を示すブロック構成図。 実施形態にかかる電子機器の動作の一例を示すフローチャート。 他の実施形態にかかる電子機器の機能構成を示すブロック図。 他の実施形態にかかる電子機器の機能構成を示すブロック図。 同実施形態に用いられるフィードバックキャンセル制御部36とフィードバックキャンセル部35とに関わる構成を示す図。
以下、実施形態を説明する。
(第1の実施形態)
第1の実施形態を図1乃至図8を参照して説明する。
以下、添付図面を参照して実施形態にかかる電子機器及び制御方法の詳細を説明する。なお、以下の実施形態では、音響処理に関わる信号処理装置として機能するPDAや携帯電話等、ユーザが把持してあるいは装着して使用する電子機器を例に説明する。
図1は、実施形態にかかる電子機器100の外観を模式的に示す図である。電子機器100は、表示画面を備えた情報処理装置であり、例えばスレート端末(タブレット端末)や電子書籍リーダ、デジタルフォトフレーム等として実現されている。なお、ここでは、X軸、Y軸、Z軸の矢印方向(Z軸では図の正面方向)を正方向としている(以下同様)。
電子機器100は、薄い箱状の筐体Bを備え、この筐体Bの上面に表示部11が配置されている。表示部11は、ユーザによってタッチされた表示画面上の位置を検知するタッチパネル(図2、タッチパネル111参照)を備えている。また、筐体Bの正面下部にはユーザが各種操作を行う操作スイッチ等である操作スイッチ19、ユーザの音声を取得するためのマイク21が配置されている。また、筐体Bの正面上部には音声出力を行うためのスピーカ22が配置されている。また、筐体Bの縁には、音響に由来する振動を検知する振動センサ23が配置されている。なお、図示例ではX軸方向の左右の縁に振動センサ23を備える構成を例示したが、Y軸方向の上下の縁に振動センサ23を備えてもよい。またある一箇所に備えてもよい。
図2は、実施形態にかかる電子機器100のハードウェア構成の一例を示すブロック図である。図2に示すように、電子機器100は、上述の構成に加え、CPU12、システムコントローラ13、グラフィックスコントローラ14、タッチパネルコントローラ15、加速度センサ16、不揮発性メモリ17、RAM18、音声処理部20等を備えている。
表示部11は、タッチパネル111と、LCD(Liquid Crystal Display)や有機EL(Electro Luminescence)等のディスプレイ112とから構成されている。タッチパネル111は、例えばディスプレイ112の表示画面上に配置された当面の座標検出装置から構成されている。タッチパネル111は、例えば筐体Bを把持したユーザの指によってタッチされた表示画面上の位置(タッチ位置)を検知することができる。このタッチパネル111の働きにより、ディスプレイ112の表示画面はいわゆるタッチスクリーンとして機能する。
CPU12は、電子機器100の動作を中央制御するプロセッサであり、システムコントローラ13を介して電子機器100の各部を制御する。CPU12は、不揮発性メモリ17からRAM18にロードされる、オペレーティングシステム、各種アプリケーションプログラムを実行することで、後述する各機能部(図3参照)を実現する。RAM18は、電子機器100のメインメモリとして、CPU12がプログラムを実行する際の作業領域を提供する。
システムコントローラ13には、不揮発性メモリ17及びRAM18をアクセス制御するメモリコントローラも内蔵されている。また、システムコントローラ13は、グラフィックスコントローラ14との通信を実行する機能も有している。
グラフィックスコントローラ14は、電子機器100のディスプレイモニタとして使用されるディスプレイ112を制御する表示コントローラである。タッチパネルコントローラ15は、タッチパネル111を制御し、ユーザによってタッチされたディスプレイ112の表示画面上のタッチ位置を示す座標データをタッチパネル111から取得する。
加速度センサ16は、図1に示す3軸方向(X、Y、Z方向)や、これに各軸周りの回転方向の検出を加えた6軸方向の加速度センサ等であって、電子機器100に対する外部からの加速度の向きと大きさを検出し、CPU12に出力する。具体的に、加速度センサ16は、加速度を検出した軸、向き(回転の場合、回転角度)、及び大きさを含んだ加速度検出信号(傾き情報)をCPU12に出力する。なお、角速度(回転角度)検出のためのジャイロセンサを、加速度センサ16に統合する形態としてもよい。
振動センサ23は、振動センサによってセンシングされた信号をディジタルの振動信号xf[n] (n=0,1,2,…)に内部で変換して出力する。
音声処理部20は、マイク21より入力される音声信号に、ディジタル変換、ノイズ除去、エコーキャンセル等の音声処理を施してCPU12へ出力する。また、音声処理部20は、CPU12の制御のもとで、音声合成等の音声処理を施して生成した音声信号をスピーカ22へ出力し、スピーカ22による音声報知を行う。
さて図3は、本実施形態の電子機器にかかる信号処理装置の音声通話に用いられる機能構成を模式的に示す図である。同図に示すように、信号処理装置100は、加速度センサ16、マイク21、スピーカ22、振動センサ23などの構成要素と音声処理部20を主体とする音響処理のための機能とを備えている。
ここで、音声処理部20は、付帯してボリューム部(ユーザボリューム)31と、D/A変換部32とを有している。
ボリューム部31通信部24Aから入力され復号化部12A経由の音響信号の音量を、図示しない音量調節スイッチの操作量に応じて調整する。
D/A変換部32は、ボリューム部31で音量調整されたディジタルの音響信号xa[n] (n=0,1,2,…)をアナログ信号に変換し、スピーカ22に出力する。
スピーカ22は、モノラルあるいはステレオのスピーカであって、信号処理装置100が置かれた空間内に音(再生音)を出力する。スピーカ22は、D/A変換部32から入力されたアナログ信号を物理振動に変え、音として出力する。
一方、音声処理部20は、マイクロフォン21と接続されるA/D変換部33を有している。
マイクロフォン21は、モノラルあるいはステレオのマイクであって、信号処理装置100が置かれた空間内に伝わる音を収音する。マイクロフォン21は、収音した音をアナログの収音信号z(t) (tは時刻)としてA/D変換部33に出力する。
A/D変換部33は、マイクロフォン21で収音された収音信号z(t)をディジタル信号に変換しz[n] (n=0,1,2,…)とし、、エコーおよびノイズを抑圧する制御手段であるエコーノイズ抑圧部20Aに出力する。また、符号化部12Bは、エコーノイズ抑圧部20Aでノイズ抑圧されたディジタルの音響信号を符号化し、通信部24Aに出力する。なお復号化部12Aと符号化部12BはCPU12の機能としてある。
上記の構成で復号化部12Aに換えTVや音楽などのコンテンツを持つ図示せぬメモリと符号化部12Bに換え図示せぬ音声認識部とを備えれば、音声通話に換えて、TVや音楽などのコンテンツの音を出しながら音声認識を行う音響エコー除去の構成となる。
次に図4は、信号処理装置のやはり音声通話に用いられる機能構成を模式的に示す図である。音声処理部20aは、図3に加えヘルスケアを実施する構成となっている。なおエコーノイズ抑圧部20Aと生体信号明瞭化処理部20Bは音声処理部20aの機能としてある。また通信部24Aと通信部24Bは通信部24の機能としてある。
脈波センサ34は人間の脈波を入力し生体信号明瞭化処理部20Bへディジタル信号v[n] (n=0, 1, 2…)として出力する。生体信号明瞭化処理部20Bは加速度センサ16の出力(ユーザの動きによる振動に起因するノイズを生体信号からも除去するため)と振動センサ23の出力(スピーカによる振動に起因するノイズを生体信号からも除去するため)とを用いて生体信号の明瞭化処理を行ない通信部24Bへと出力する。例えば、加速度センサ16の出力と振動センサ23の出力を参照信号として、適応フィルタで生体信号v[n]を処理することで、生体信号v[n]のノイズを抑圧する。ここで生体信号は脈波と一例を挙げているが、脈拍、脳波、心電図、筋電図、体温、心拍、皮膚表面温度、皮膚電位、血液量、呼吸速度、血中飽和酸素濃度(SpO2)、O2Hb量などでもよい。
図5は、実施形態に用いられるエコーノイズ抑圧部20Aの構成を示す図である。エコーノイズ抑圧部20Aは、第1のエコー抑圧部20A1と第2のエコー抑圧部20A2とを含んでいる。これらのエコー抑圧部の構成については以下に説明する。
まず図6は、実施形態の第1のエコー抑圧部20A1の詳細を示すブロック構成図である。この第1のエコー抑圧部20A1は、遅延バッファ211、ダブルトーク検知部212、フィルタ係数更新部213、フィルタ係数メモリ214、疑似エコー生成部215、エコー低減部216、エコーパス変動検知部217を備えている。
遅延バッファ211は、再生音のディジタル信号xa[n]が収音信号のディジタル信号z[n]に回り込むタイミングに、再生音のディジタル信号xa[n]を読み込むタイミングを合わせるように信号の時間差を調整する。ダブルトーク検知部212は、xa[n]とz[n](あるいはエコー低減後のz[n])を用いてダブルトークを検知する。フィルタ係数更新部213は、この検知結果に応じてフィルタ係数を更新する。ダブルトーク検知部212でダブルトーク検知した場合はフィルタ係数の更新を行わない。フィルタメモリ214は、かく更新されたフィルタ係数を保持する。疑似エコー生成部215は、このフィルタ係数を用いて疑似エコーを生成する。エコー低減部216は、かく生成された疑似エコーに基づいてエコーを低減する。なおエコーパス変動検知部217は、加速度センサ16の出力に基づいてフィルタ係数の更新度合いを制御する。エコーパス変動検知部217でエコーパス変動と検知された場合は、フィルタ係数が素早く大きく変化するように更新度合いを大きくする。
次に図7は、実施形態の第2のエコー抑圧部20A2の詳細を示すブロック構成図である。この第2のエコー抑圧部20A2は、遅延バッファ221、ダブルトーク検知部222、フィルタ係数更新部223、フィルタ係数メモリ224、疑似エコー生成部225、エコー低減部226を備えている。
遅延バッファ221は、スピーカの出力により固体振が収音信号のディジタル信号z[n]に回り込むタイミングに、振動のディジタル信号xh[n]を読み込むタイミングを合わせるように時間差を調整する。ダブルトーク検知部222は、振動のディジタル信号xh[n]と収音信号のディジタル信号z[n](あるいはエコー低減後のz[n])を用いてダブルトークを検知する。ダブルトーク検知部222でダブルトーク検知した場合はフィルタ係数の更新を行わない。フィルタ係数更新部223は、この検知結果に応じてフィルタ係数を更新する。ダブルトーク検知部222でダブルトーク検知した場合はフィルタ係数の更新を行わない。フィルタメモリ224は、かく更新されたフィルタ係数を保持する。疑似エコー生成部225は、このフィルタ係数を用いて疑似エコーを生成する。エコー低減部226は、かく生成された疑似エコーに基づいてエコーを低減する。
図8は、実施形態にかかるエコーノイズ抑圧部20Aの動作の一例を示すフローチャートである。ステップS84までが第1のエコー抑圧部20A1の処理であり、ステップS85からが第2のエコー抑圧部20A2の処理である。
ステップS81: 再生音の信号xa[n]を遅延させる。
ステップS82: 加速度センサ16の出力に基づいてエコーパス変動を検知する。
ステップS83: エコーパス変動からフィルタ係数ha[n]を更新し、遅延された信号から疑似エコーを生成する。
ステップS84: この疑似エコーにより収音信号z[n]のエコーを低減し出力する。
ステップS85: 振動センサ23の信号xf[n]を遅延させる。
ステップS86: この信号xf[n]からフィルタ係数hf[n]を更新し、疑似エコーを生成する。
ステップS87: この疑似エコーにより収音信号z[n]のエコーを低減し出力する。
ここでは、第1のエコー抑圧部の出力であるエコー低減信号から第1のエコー抑圧部のフィルタ係数ha[n]を更新し、第2のエコー抑圧部の出力であるエコー低減信号から第2のエコー抑圧部のフィルタ係数hf[n]を更新する。つまり、第1のエコー抑圧と第2のエコー抑圧とシーケンシャルに処理する。
(第1の変形例1)
また、図7のように第1のエコー抑圧部20A1の伝達関数をH1、と第2のエコー抑圧部20A2の伝達関数をH2とZ変換表現したとき、これらを合わせてフィルタH=(H1, H2)としてベクトルで表現する。参照信号も(xf,xa)とまとめた上でZ変換表現としてX=(XF,XA)とベクトル表現すると、擬似エコー信号YはY=H・XTと表現でき、収音信号をZとすると、エコー低減信号E=Z-Yと定式化できる。ただしTは転置を表す。ダブルトーク時ではないときのEについてEが2乗誤差最小になるようにフィルタH=(H1,H2)を更新していく。つまり、エコー低減信号Eを用いてフィルタHを更新するのに、第1のエコー抑圧部のH1と第2のエコー抑圧部のH2を同じ1つのエコー低減信号Eを用いてパラレルに更新していく。このようにしてもよい。(第1の変形例2)
スピーカとマイクを自由空間に浮かせた状態で採取した回り込み成分が空間伝搬音で、スピーカとマイクを筐体端末に搭載(マウント)した状態で採取した回り込み成分は、空間伝搬音と固体伝搬音の両方が混ざっている。事前にこのような再生音の信号と、振動の信号と、振動による回り込みのデータを多数採取しておく。これから再生音の信号から振動による回り込み成分(固体伝搬音)を算出できるように、それらの関係性を関数で事前に近似しておく。
実際に製品を運用する際には、振動センサを取り付けずに、再生音のディジタル信号とこの近似した関数を用いて、振動により回り込み成分を推定算出し、収音信号から回り込み成分を除去するようにしてもよい。このようにすることで、振動センサを取り付ける必要がなく、安価に端末を作ることができる。
(第2の実施形態)
本発明による第2の実施形態を図9乃至図11を参照して説明する。実施形態1と共通する部分は説明を省略する。
図9は、本実施形態の電子機器にかかる信号処理装置の補聴器システム(ウェアラブル機器)に用いられる機能構成を模式的に示す図である。同図に示すように、信号処理装置110は、加速度センサ16、マイク21、スピーカ22、振動センサ23などの構成要素と音声処理部30を主体とする音響処理のための機能とを備えている。
ここで、音声処理部30は、D/A変換部32と、振動および加速度によるノイズを抑圧する制御手段を構成するフィードバックキャンセル部35及びフィードバックキャンセル制御部36とを有している。D/A変換部32は、フィードバックキャンセル部35で調整されたディジタルの音響信号xa[n]をアナログ信号に変換し、スピーカ22に出力する。
スピーカ22は、モノラルあるいはステレオのスピーカであって、挿入された耳内に音(再生音)を出力する。スピーカ22は、D/A変換部32から入力されたアナログ信号を物理振動に変え、音として出力する。
一方、音声処理部20は、マイクロフォン21と接続されるA/D変換部33を有している。
マイクロフォン21は、モノラルあるいはステレオのマイクであって、信号処理装置110が置かれた空間内に伝わる音を収音する。マイクロフォン21は、収音した音をアナログの収音信号としてA/D変換部33に出力する。
A/D変換部33は、マイクロフォン21で収音された収音信号をディジタル信号z[n]に変換し、フィードバックキャンセル部35に出力する。また、フィードバックキャンセル制御部36は、フィードバックキャンセル部35を用いてノイズ抑圧されたディジタルの音響信号をD/A変換部32に出力するよう制御する。
次に図10は、信号処理装置のやはり補聴器システムに用いられる機能構成を模式的に示す図である。音声処理部30aは、図9に加えヘルスケアを実施する構成となっている。なおフィードバックキャンセル制御部36とフィードバックキャンセル部35と生体信号明瞭化処理部20Bは音声処理部30aの機能としてある。
脈波センサ34は人間の脈波を入力し生体信号明瞭化処理部20Bへと出力する。生体信号明瞭化処理部20Bは加速度センサ16の出力(ユーザの動きによる振動に起因するノイズを生体信号からも除去するため)と振動センサ23の出力(スピーカによる振動に起因するノイズを生体信号からも除去するため)とを用いて生体信号の明瞭化処理を行ない通信部24Bへと出力する。
図11は、実施形態に用いられるフィードバックキャンセル制御部36とフィードバックキャンセル部35とに関わる構成を示す図である。因みに適応型フィードバックキャンセラの実施形態を示す。
即ち一実施形態では、聴覚装置は適応型フィードバックキャンセラ103を備えていてもよい。適応型フィードバックキャンセラ103は、フィードバック経路モデルの不変部分を含む固定フィルタ104と、フィードバック経路モデルの変動部分を含む適応フィルタ105を備えていてもよい。
その結果、適応型フィードバックキャンセラ103は、インパルス応答b(n)を備えるフィードバック経路(回り込み)に対するフィードバック経路モデルのインパルス応答b^(n)を、インパルス応答f(n)を備える不変フィードバック経路モデルと、インパルス応答e(n)を備える変動フィードバック経路モデルの2つの部分に分割することができる。従って、適応型フィードバックキャンセラ103は、不変フィードバック経路モデルf(n)と変動フィードバック経路モデルe(n)を用いて、フィードバック経路b(n)の変動を追跡することができる。ここで加速度センサ16の出力に基づいてフィードバック経路b(n)の変動を検知し、変動フィードバック経路モデルe(n)のフィルタ係数の更新度合いを大きくする。また、従来ではディジタルの収音信号z[n]を参照信号としてフィードバックキャンセラに用いていたが、振動センサ23からのディジタルの振動信号xf[n] も参照信号として併用してフィードバックキャンセラに用いるようにし、空間伝搬による回り込み(フィードバック)だけでなく、固体伝搬による回り込み(フィードバック)を抑圧する。
一実施形態では、不変フィードバック経路モデルは、有限インパルス応答(FIR)フィルタまたは無限インパルス応答(IIR)フィルタに含まれていてもよい。

本実施形態は、スピーカから音響空間を経てマイクに回り込んだ音響エコー(空気伝搬音)だけではなく、従来手法では抑圧できなかったスピーカからマイクへの筐体振動による回り込み(固体伝搬音)も抑圧するエコー抑圧手法を提供する。上記のように、TVなど再生信号に音楽が混在する環境や、VoIPなど音声通話の利用時に、安定したエコー成分の推定が実現でき、マイクへの回り込みを安定して抑圧することができ、再生音量を大きくすることができる。
(実施形態の補足)
(1).振動センサの出力を参照信号として、振動に起因するエコーを除去
(2).振動センサの出力を参照信号とした適応フィルタにより振動に起因したエコーを除去
(3).振動センサによるエコー抑圧は、ダブルトークは考慮するが、エコーパス変動を考慮しないアルゴリズムを用いる
(4).スピーカ出力信号を参照信号とした音響エコーキャンセラ(第1のエコー抑圧)と併用した場合、振動センサによるエコーキャンセラ(第2のエコー抑圧)を後段で処理する
(5).加速度センサを設けて、エコーパス変動を検知し、音響エコーキャンセラの学習を制御する
(6).生体センサを併用した場合、スピーカの振動が生体センサへのノイズになるため、振動センサによって生体信号からノイズを除去する

なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。
100…電子機器(信号処理装置)、11…表示部、12…CPU、12A…復号化部、12B…符号化部、13…システムコントローラ、14…グラフィックスコントローラ、15…タッチパネルコントローラ、16…加速度センサ、17…不揮発性メモリ、18…RAM、19…操作スイッチ、20,20a…音声処理部、20A…エコーノイズ抑圧部、20B…生体信号明瞭化処理部、21…マイク(マイクロフォン)、22…スピーカ、23…振動センサ、24,24A,24B…通信部、30,30a…音声処理部、31…ボリューム部(ユーザボリューム)、32…D/A変換部、33…A/D変換部、34…脈波センサ、35…フィードバックキャンセル部、36…フィードバックキャンセル制御部、110…信号処理装置、111…タッチパネル、112…ディスプレイ、B…筐体。
上記課題を解決するために、実施形態によれば信号処理装置は、スピーカと、マイクと、前記マイクにより集音された集音信号に含まれる前記スピーカから前記マイクへの空気伝搬による回り込み音響エコーを抑圧する音響エコーキャンセラと、前記スピーカからの固体伝搬による振動を検出し参照信号として出力する振動センサと、前記参照信号に基づいて、前記回り込み音響エコーを抑圧した前記集音信号に含まれる前記振動によるノイズを抑圧する振動ノイズキャンセラとを備える。

Claims (6)

  1. スピーカと、
    このスピーカからの固体伝搬による振動を検出し参照信号として出力する振動センサと、
    この参照信号に基づいて前記振動によるノイズを抑圧する制御手段とを
    備えた信号処理装置。
  2. 更に適応フィルタを備え、この適応フィルタは前記参照信号を用いて前記振動によるノイズを抑圧する請求項1に記載の信号処理装置。
  3. 更に音響エコーキャンセラを備え、この音響エコーキャンセラの出力に対して前記制御手段は前記振動によるノイズを抑圧する請求項1に記載の信号処理装置。
  4. 更に加速度センサを備え、この加速度センサはエコーパス変動を検知し、前記音響エコーキャンセラの学習を制御する請求項3に記載の信号処理装置。
  5. 更に生体センサを備え、この生体センサの出力に対して前記制御手段は前記振動によるノイズを抑圧する請求項1に記載の信号処理装置。
  6. スピーカを備えた信号処理装置における信号処理方法であって、
    このスピーカからの固体伝搬による振動を検出し参照信号として出力する振動センス工程と、
    この参照信号に基づいて前記振動によるノイズを抑圧する制御工程とを
    含む信号処理方法。
JP2012138184A 2012-06-19 2012-06-19 信号処理装置及び信号処理方法 Pending JP2014003502A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012138184A JP2014003502A (ja) 2012-06-19 2012-06-19 信号処理装置及び信号処理方法
US13/778,429 US20130336500A1 (en) 2012-06-19 2013-02-27 Signal processing apparatus and signal processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012138184A JP2014003502A (ja) 2012-06-19 2012-06-19 信号処理装置及び信号処理方法

Publications (1)

Publication Number Publication Date
JP2014003502A true JP2014003502A (ja) 2014-01-09

Family

ID=49755947

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012138184A Pending JP2014003502A (ja) 2012-06-19 2012-06-19 信号処理装置及び信号処理方法

Country Status (2)

Country Link
US (1) US20130336500A1 (ja)
JP (1) JP2014003502A (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6186878B2 (ja) * 2013-05-17 2017-08-30 沖電気工業株式会社 集音・放音装置、音源分離ユニット及び音源分離プログラム
US20140363008A1 (en) * 2013-06-05 2014-12-11 DSP Group Use of vibration sensor in acoustic echo cancellation
US9531433B2 (en) 2014-02-07 2016-12-27 Analog Devices Global Echo cancellation methodology and assembly for electroacoustic communication apparatuses
US10045122B2 (en) * 2016-01-14 2018-08-07 Knowles Electronics, Llc Acoustic echo cancellation reference signal
US10504501B2 (en) * 2016-02-02 2019-12-10 Dolby Laboratories Licensing Corporation Adaptive suppression for removing nuisance audio
CN108111704B (zh) * 2016-11-24 2019-12-24 中国科学院声学研究所 一种非接触式自适应回声消除装置及回声消除方法
CN110493616B (zh) * 2018-05-15 2021-08-06 中国移动通信有限公司研究院 一种音频信号处理方法、装置、介质和设备
CN109192209A (zh) * 2018-10-23 2019-01-11 珠海格力电器股份有限公司 一种语音识别方法及装置
WO2020174680A1 (ja) 2019-02-28 2020-09-03 日本電気株式会社 感情推定装置、感情推定方法、及びコンピュータ読み取り可能な記録媒体

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04328940A (ja) * 1991-04-26 1992-11-17 Nec Kansai Ltd インターホン機能付きコードレス電話機
JPH0582192U (ja) * 1992-04-13 1993-11-05 株式会社ケンウッド スピーカのキャビネット
JPH10304489A (ja) * 1997-04-30 1998-11-13 Oki Electric Ind Co Ltd エコー・雑音成分除去装置
JP2005095630A (ja) * 2003-09-24 2005-04-14 Agere Systems Inc 生命徴候測定機能を有する携帯電話
JP2006323176A (ja) * 2005-05-19 2006-11-30 Nec Access Technica Ltd 騒音抑制装置および騒音抑制方法
JP2007034495A (ja) * 2005-07-25 2007-02-08 Brother Ind Ltd リスト表示装置及びリスト表示プログラム
JP2007072351A (ja) * 2005-09-09 2007-03-22 Mitsubishi Electric Corp 音声認識装置
JP2008042754A (ja) * 2006-08-09 2008-02-21 Yamaha Corp 音声会議装置
JP2010245920A (ja) * 2009-04-08 2010-10-28 Jfe Engineering Corp 防爆型ip携帯電話機

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04328940A (ja) * 1991-04-26 1992-11-17 Nec Kansai Ltd インターホン機能付きコードレス電話機
JPH0582192U (ja) * 1992-04-13 1993-11-05 株式会社ケンウッド スピーカのキャビネット
JPH10304489A (ja) * 1997-04-30 1998-11-13 Oki Electric Ind Co Ltd エコー・雑音成分除去装置
JP2005095630A (ja) * 2003-09-24 2005-04-14 Agere Systems Inc 生命徴候測定機能を有する携帯電話
JP2006323176A (ja) * 2005-05-19 2006-11-30 Nec Access Technica Ltd 騒音抑制装置および騒音抑制方法
JP2007034495A (ja) * 2005-07-25 2007-02-08 Brother Ind Ltd リスト表示装置及びリスト表示プログラム
JP2007072351A (ja) * 2005-09-09 2007-03-22 Mitsubishi Electric Corp 音声認識装置
JP2008042754A (ja) * 2006-08-09 2008-02-21 Yamaha Corp 音声会議装置
JP2010245920A (ja) * 2009-04-08 2010-10-28 Jfe Engineering Corp 防爆型ip携帯電話機

Also Published As

Publication number Publication date
US20130336500A1 (en) 2013-12-19

Similar Documents

Publication Publication Date Title
JP2014003502A (ja) 信号処理装置及び信号処理方法
US9094749B2 (en) Head-mounted sound capture device
US9438985B2 (en) System and method of detecting a user's voice activity using an accelerometer
EP3285497B1 (en) Signal processing device and signal processing method
JP5493611B2 (ja) 情報処理装置、情報処理方法およびプログラム
EP2811728A1 (en) Use of vibration sensor in acoustic echo cancellation
US10149052B2 (en) Electronic device and vibration information generation device
WO2014051969A1 (en) System and method of detecting a user's voice activity using an accelerometer
CN103190158A (zh) 用于基于所记录的声音信号进行头部跟踪的系统、方法、设备和计算机可读媒体
JP2009530950A (ja) ウェアラブル装置のためのデータ処理
CN101496384A (zh) 用于在与耳机组件耦合的便携式移动通信设备中消除噪声的系统和方法以及相应的计算机程序产品
JP4710940B2 (ja) 情報処理装置及び情報処理方法
WO2014010272A1 (ja) 通信装置とその制御方法およびプログラム
US10748522B2 (en) In-ear microphone with active noise control
WO2022140928A1 (zh) 用于抑制回声的音频信号处理方法和系统
CN110830862A (zh) 一种自适应降噪的降噪耳机
JP5269175B2 (ja) 音量制御装置、音声制御方法及び電子機器
CN113507662A (zh) 降噪处理方法、装置、设备、存储介质及程序
US20120170755A1 (en) Systems and methods for stereo echo cancellation
JP5970125B2 (ja) 制御装置、制御方法及びプログラム
WO2014027605A1 (ja) 擦れ音防止補聴器
CN115691524A (zh) 音频信号的处理方法、装置、设备及存储介质
JP5437526B2 (ja) 擦れ音防止補聴器
US11935512B2 (en) Adaptive noise cancellation and speech filtering for electronic devices
JP2014103536A (ja) 携帯端末装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131225

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140415