JP2011180470A - 音声可視化装置 - Google Patents

Abstract

【課題】音声の到来方位および時間を直感的に把握することができる音声可視化装置を提供する。
【解決手段】所定方位毎に指向性を形成した音声データを生成し、各音声データの音量から音源の方位を判定する。この音源方位の判定結果に基づいて、音声を収音したタイミングと、音声の到来方位を示す円画像を表示する。円画像は、時間経過に応じて中心に向かって移動させる。また、各音声データの音量に応じて円画像の大きさを変更する。
【選択図】図４

Description

この発明は、音（以下、音声とも言う。）を可視化する技術に関する。

従来、音声を再生するときに、当該音声を可視化する装置として、例えば特許文献１のようなものが提案されている。

特許文献１の装置は、横軸が鍵盤に対応付けられ、縦軸が時間軸に対応付けられたマトリクス状の表示画面に、上方向から下方向に移動する可視画像（玉の画像）を表示するものである。玉の画像が鍵盤に重なると楽音が発音され、他の装置からデータ（演奏情報）を受信してから発音タイミングが到来するまでの時間の経過状態がわかるようになっている。

特許第３９２２２０７号公報

近年の録音再生装置では、指向性を制御することができるものも多く、音声の到来方位を把握することも重要になっているが、特許文献１の装置では、時間経過を直感的に把握することはできても、音声の到来方位まで把握することができなかった。

そこで、この発明は、音声の到来方位および時間経過を直感的に把握することができる音声可視化装置を提供することを目的とする。

この発明の音声可視化装置は、複数のマイクと、指向性制御部と、一時記憶部と、音源方位判定部と、表示処理部と、を備えている。指向性制御部は、複数のマイクが収音した音声に基づいて、所定方位毎に指向性を形成した収音信号を生成する。例えば、収音方向が所定角度傾いた２つの指向性マイクを近接して設け、各指向性マイクの収音した音声のゲインを変化させて合成した信号を複数生成する。各マイクの収音した音声のゲインを変化させると、指向性が変化するため、複数の方位に指向性を形成した収音信号を生成することができる。一時記憶部は、この方位毎の収音信号を一時記憶しておく。

音源方位判定部は、各方位の収音信号のレベルを比較し、レベルの大きい方位（所定レベル以上の音量を有する方位）に音源が存在すると判定する。

表示処理部は、音源方位判定部の判定結果に基づいて、マイクで音声を収音したタイミング、および音声の到来方位を示す画像を表示し、当該画像を時間経過に応じて移動表示させる。例えば、画面中心位置を装置の存在位置として、画面内の外側に円画像を表示する。この円画像の円周上が収音タイミングを表すことになる。そして、画面外側から中心に向かって、時間経過とともに移動する玉の画像を表示する。これにより、音声の到来方位および時間経過を直感的に把握することができる。

また、表示処理部は、方位毎のレベルに基づいて、玉の画像の大きさを制御するようにしてもよい。この場合、音量の違いも直感的に把握することができる。

また、音源方位判定部は、所定方位毎の収音信号の周波数特性を検出し、表示処理部は、前記周波数特性に基づいて、画像の表示色を制御するようにしてもよい。例えば、高周波数帯域のレベルが高い音声であれば明るい色、低周波数帯域のレベルが高い音声であれば暗い色を表示する、等である。この場合、音声の周波数特性も直感的に把握することができる。

さらに、音声可視化装置は、複数のマイクが収音した音声に基づく録音データを記録する記録部と、記録部に記録された録音データを再生する再生部と、を備える態様とすることも可能である。

この場合、指向性制御部は、記録部から読み出した録音データに基づいて、所定方位毎の収音信号を生成する。録音データが複数のマイクが収音した音声をそのまま記録したものである場合、上述と同様に、各音声のゲインを制御して合成することで、方位毎の収音信号を生成する。録音時に方位毎の収音信号として記録されたものである場合、そのまま出力する。

そして、表示処理部は、再生部の録音データの再生に同期して、画像を移動表示する。つまり、画面中心位置を装置の存在位置として、画面外側に円画像を表示する場合、この円画像の円周上が音声を放音するタイミングを表すことになる。そして、画面外側から中心に向かって、時間経過とともに移動する玉の画像を表示する。なお、録音データを再生する場合、再生すべき音声の方位とタイミングを先読みして、放音タイミングを表す円画像よりも外側に玉画像を表示し、今後放音されるべき音声を可視化表示することも可能である。

また、音声可視化装置は、ユーザの操作を受け付ける操作部と、前記録音データまたは前記所定方位毎の収音信号に対し、前記操作部の受け付けた操作に応じた信号処理を行う信号処理部と、を備えていてもよい。この場合、表示処理部は、操作部の受け付けた操作に応じて、前記画像の移動態様を変化させる。

例えば、操作部が表示部と一体化したタッチパネルとなっている場合、以下の様なことを実現することができる。すなわち、画面上で画面外側から中心に向かって移動する玉の画像の動きを遮るような操作を行ったとき、この玉の画像の移動を停止させるとともに、その方位の収音信号のレベルをゼロに設定し、録音されないようにする。あるいは、録音データを再生している場合、放音タイミングを表す円画像よりも外側において玉の画像の動きを遮るような操作を行ったとき、この玉の画像の移動を停止させるとともに、その方位の録音データの再生レベルをゼロに設定し、放音されないようにする。

この発明によれば、音声の到来方位および時間経過を直感的に把握することができる。

録音再生装置の外観を示した図である。 録音再生装置の構成を示したブロック図である。 方位別分解処理部の構成を示した図である。 表示部に表示される画面を示した図である。 円画像の移動態様を説明する図である。 側面視の例を示した図である。 ユーザの操作に応じた画面表示例を示す図である。 ファイル選択画面を示した図である。 再生画面を示した図である。

本発明の音声可視化装置に係る実施形態について説明する。図１は、本発明の音声可視化装置を実現した録音再生装置の外観を示した図である、図２は、同録音再生装置の構成を示すブロック図である。

録音再生装置は、マイクユニット１と録音再生ユニット２とからなる。マイクユニット１は、録音再生ユニット２の周辺機器として機能するものであり、３つのマイク１０１、マイク１０２、およびマイク１０３を内蔵したマルチマイク１０を備えている。

マイクユニット１は、円筒形状の外観を有し、マルチマイク１０が配置されている部分は、強度確保および損傷保護のため、パンチングメタルにより形成されている（ただし、音響的には解放されているものである）。このパンチングメタルで形成された部分は、９０度折り曲がるようになっており、マルチマイク１０に内蔵されている各マイクの収音方向を９０度変化させることができるようになっている。

マイクユニット１は、これら複数のマイクが収音した音声をそのまま、あるいは各種信号処理を行ってから録音再生ユニット２に出力する。また、マイクユニット１は、複数のマイクが収音した音声に基づいて音源の相対的な方位を判定し、この判定結果に基づいて、音源の音声を収音したタイミングおよび当該音源の音声の到来方位を示す画像を表示するためのデータを録音再生ユニットに出力する。

録音再生ユニット２は、カード型の外観を有するデジタルオーディオプレーヤであり、入力された音声データの再生を行う他、内蔵ストレージに記憶されている音声データを再生し、単体でも音声の再生を行うことができる。録音再生ユニット２は、外観上、上面に表示部２１を備えており、表示部２１は、操作部を兼ねたタッチパネルとなっている。

本実施形態において、録音再生ユニット２のうち、マイクユニットが接続される方向をＸ方向（右面方向）、その逆方向を−Ｘ方向（左面方向）とする。また、Ｘ軸を含む平面上で、Ｘ方向から左回転９０°傾いた方向をＹ方向（正面方向）、その逆方向を−Ｙ方向（背面方向）とする。表示部２１が設けられた方向をＺ方向（上面方向）、その逆方向を−Ｚ方向（下面方向）とする。

なお、マイクユニット１と録音再生ユニット２は、本実施形態のように別体であることが必須ではなく、一体型で構成されていてもよい。

図１（Ａ）および同図（Ｂ）に示すように、マルチマイク１０の３つのマイク１０１、マイク１０２、およびマイク１０３は、音響的に位相差がほとんど無い状態となるように近接して配置されている。同図（Ａ）および同図（Ｂ）においては、円筒の一方の端部側から順に、他方の端部に向かってマイク１０１、マイク１０２、マイク１０３と配置される例を示しているが、配置態様はこの例に限らず、例えば同一面内に３つのマイクを配置するようにしてもよい。

マイク１０１、マイク１０２、およびマイク１０３は、単一指向性（カーディオイド特性）を有し、同図（Ｃ）に示すように、それぞれの指向性感度の極大となる方向（収音方向）が同一平面上で１２０度ずつずれるように配置されている。

上述したように、マイクユニット１のマルチマイク１０が配置されている部分は、９０度折れ曲がるようになっており、同図（Ａ）に示すような折れ曲がった状態（Ｌ字型の状態）においては、ＸＹ平面上の音声を収音する態様となっている。同図（Ｂ）に示すように折り曲げない状態においては、ＸＺ平面上の音声を収音する態様となっている。

同図（Ｃ）では、ＸＹ平面上の音声を収音する例を示している。同図（Ｃ）に示す状態において、マイク１０１は、Ｙ方向（±０°方向とする。）に収音方向が向けられており、マイク１０２は、マイク１０１に対して左回転１２０°傾いた方向（−１２０°方向とする。）に収音方向が向けられ、マイク１０３は、右回転１２０°傾いた方向（１２０°方向とする。）に収音方向が向けられている。マイクユニット１は、各マイクをこのような収音方向の配置とすることで、ＸＹ平面上（またはＸＺ平面）の全方向を収音することができる。

なお、同図（Ｃ）に示す例においては、各マイクの収音方向が中心位置でクロスするように内向きに配列される例を示しているが、各マイクの収音方向を外向きにしてもよい。ただし、各マイクの収音方向を内向きとする場合、外向きよりもマイク振動面を近接させて配置することができるため、位相差を少なくすることができる。

次に、図２において、マイクユニット１は、上記マルチマイク１０に加え、セレクタ（Ｓｅｌ．）１１、方位別分解処理部１２、分析部１３、表示処理部１４、インタフェース（Ｉ／Ｆ）１５、チャンネル（ｃｈ）別分解処理部１６、信号処理部１７、データ作成部１８、および制御部１９を備えている。また、録音再生ユニット２は、上記表示部２１に加え、インタフェース（Ｉ／Ｆ）２２、制御部２３、操作部（表示部２１と兼用のタッチパネル）２４、ストレージ２５、再生処理部２６、通信部２７、およびセンサ部２８を備えている。なお、本実施形態においては、Ａ／Ｄ変換、Ｄ／Ａ変換の構成は省略し、特に記載なき場合、各種信号は全てデジタル音声信号であるものとする。

マイクユニット１のセレクタ１１は、制御部１９の指示に応じてマルチマイク１０から入力された各マイクの収音した音声（マイク１０１の出力音声信号ｘ１（ｔ）、マイク１０２の出力音声信号ｘ２（ｔ）、マイク１０３の出力音声信号ｘ３（ｔ））を方位別分解処理部１２、チャンネル別分解処理部１６、およびデータ作成部１８に出力する。

データ作成部１８は、セレクタ１１から各マイクの収音した音声信号を入力した場合、これら音声信号をそのままインタフェース１５に出力する。この場合、録音再生ユニット２に出力された音声信号は、録音再生ユニット２のインタフェース２２および制御部２３を経て、ストレージ２５に録音データとして記録される。録音データの形式は、各マイクの音声信号をそのままデジタル音声信号として記録したものであってもよいし、データ作成部１８にて所定のエンコード方式にてエンコードしたものであってもよい。なお、録音再生ユニット２は、センサ部２８や通信部２７から所定の付加情報（地図情報や、ＧＰＳによる位置情報、時刻情報等）を取得し、録音データに対応付けて記録しておくことも可能である。

ストレージ２５に記録された録音データは、ユーザが操作部２４を用いて再生指示を行うと、再生処理部２６に入力されるとともに、制御部２３、インタフェース２２およびインタフェース１５、制御部１９を経てセレクタ１１に入力される。録音データがエンコードされたものである場合、デコードされて音声信号に変換されるものとする。再生処理部２６は、アンプ、スピーカ等を内蔵しており、入力された音声信号に基づいて音声を放音する。

一方、セレクタ１１は、制御部１９の指示に応じて、マルチマイク１０から入力される音声信号と、制御部１９から入力される音声信号と、を切り換えて出力するものである。つまり、録音時（録音待機時）には、制御部１９は、セレクタ１１にマルチマイク１０から入力される音声信号を出力するように指示し、ユーザが操作部２４を操作して再生を指示したときは録音データに基づく音声信号を出力するように指示する。

方位別分解処理部１２は、本発明の指向性制御部に相当し、セレクタ１１から音声信号を入力した場合、これらの音声信号のゲインを変化させて合成することにより、所定方位毎に指向性を形成した収音信号を複数生成する。図３を参照して、方位別分解処理部１２の構成と処理について説明する。

方位別分解処理部１２は、指向性を形成する方向別に複数の信号合成部を備えている。この例においては８方向に指向性を形成するため、８つの信号合成部１２１〜１２８を備えている。各信号合成部は、それぞれゲイン調整部３１Ａ、ゲイン調整部３１Ｂ、ゲイン調整部３１Ｃ、および加算部３２を備えている。

入力される３つの音声信号は、方向別の信号合成部の各ゲイン調整部でゲイン調整され、その後、加算部３２で加算される。方位別分解処理部１２は、各ゲイン調整部のゲインを任意の値に設定することで、任意の方向に指向性を形成した収音信号を生成することができる。

例えば、本実施形態では、音源の方向判定精度（音源分離精度）を高くするべく、最も鋭い指向性を有するハイパーカーディオイド特性に設定する。すなわち、Ｙ方向に単一指向性を形成するために、ゲイン調整部３１Ａ、ゲイン調整部３１Ｂ、ゲイン調整部３１Ｃの各ゲイン（Ｇ１、Ｇ２、Ｇ３）の値を
（Ｇ１，Ｇ２，Ｇ３）＝（７／６，−１／３，−１／３）
に設定している。合成後の出力信号Ｘ１（ｔ）は、マイク１０１、マイク１０２、マイク１０３の出力信号であるＭ１（ｔ），Ｍ２（ｔ），Ｍ３（ｔ）を用いて、
Ｘ１（ｔ）＝Ｇ１×Ｍ１（ｔ）＋Ｇ２×Ｍ２（ｔ）＋Ｇ３×Ｍ３（ｔ）＝７／６×Ｍ１（ｔ）＋（−１／３）×Ｍ２（ｔ）＋（−１／３）×Ｍ３（ｔ）
で表される。これにより、３つのマイクの合成特性の感度極大方向の角度を０°方向に向けることができる。すなわち、θ＝０°の方向に単一指向性を形成した収音信号Ｘ１（ｔ）を生成することができる。他の信号合成部１２２〜１２８も同様の処理を行うことにより、本実施形態では、８方向（±０°、＋４５°、＋９０°、＋１３５°、±１８０°、−４５°、−９０°、−１３５°）に単一指向性を形成した収音信号Ｘ１（ｔ）〜Ｘ８（ｔ）を生成することができる。

なお、３つのマイクが配置される平面に直交する方向に感度極大方向を有したマイクをさらに１つ備え、４つのマイクの出力音声信号の合成を行うと、立体的に指向性を制御することもできる。また、アレイマイクによる遅延合成を用いても任意の方向に指向性を形成することができる。

図２に戻り、チャンネル別分解処理部１６は、方位別分解処理部１２と同様に、複数方向に指向性を有した収音信号を生成するものであるが、収音信号の生成数および方向が異なる。例えば、本実施形態では、５．１ｃｈ録音を行うものとして、Ｌ，Ｒ，ＳＬ，ＳＲ，Ｃ，ＬＦＥ（ただし、ＬＦＥは無指向）に対応する方向の６つの収音信号を生成する。収音信号の生成数および方向は、録音態様によって種々設定することが可能である。無論、方位別分解処理部１２と同じ方位、同じ数の収音信号を生成してもよい。

チャンネル別分解処理部１６で生成された各収音信号は、信号処理部１７で所定の信号処理（ノイズ低減処理等）がなされた後、データ作成部１８に出力される。データ作成部１８は、入力された収音信号をそのまま、またはエンコード等を行ってインタフェース１５に出力する。そして、データ作成部１８が出力した録音データは、録音再生ユニット２に出力され、ストレージ２５に記録される。

一方、方位別分解処理部１２で生成した各方位の収音信号Ｘｎ（ｔ）は、分析部１３に入力される。分析部１３は、本発明の一時記憶部や音源方位判定部に相当し、方位別分解処理部１２から入力された各収音信号Ｘｎ（ｔ）に基づいて、音源の方位を判定する。すなわち、分析部１３は、入力された各方位の収音信号Ｘｎ（ｔ）が有音であるか否かを判定する。有音であるか否かは、各収音信号Ｘｎ（ｔ）のレベルによって判断される。

分析部１３は、各収音信号Ｘｎ（ｔ）を所定時間（以下、分析時間と言う。）だけ記憶し、この分析時間内のピークレベルを検出する。このピークレベルが所定のしきい値以上であるか否かを判断し、しきい値以上であれば有音であるとし、この方位に音源が存在すると判定する。同時に複数の方位に音源が存在すると判定する場合もある。また、上記分析時間における平均レベルを算出し、この平均レベルがしきい値以上である場合に有音であると判定してもよいし、サンプリングタイム毎にしきい値以上であるか否かを判定してもよい（この場合、収音信号を分析時間分記憶する構成は不要である）。

なお、分析部１３において判定する音源の方位は、録音再生ユニット２の正面方向を０°方向とした相対的な方位であるが、録音再生ユニット２が絶対方位を取得できる場合（例えばセンサ部２８に方位角センサが内蔵されている場合）、録音再生ユニット２から自装置の向いている方位情報（０°方向がどの絶対方位に対応するかを示す情報）を受信し、音源の絶対方位を判定することも可能である。

分析部１３は、有音であると判定した方位の収音信号Ｘｎ（ｔ）を表示処理部１４に出力する。また、分析部１３は、分析結果に係る情報として、上記ピークレベルや平均レベルを示す情報も表示処理部１４に出力する。表示処理部１４は、入力された収音信号Ｘｎ（ｔ）を所定時間（上記分析時間よりも長い時間）だけ一時記憶する。表示処理部１４に記憶される収音信号Ｘｎ（ｔ）は、入力開始からの経過時間と対応付けられて記憶されるものとする。

なお、分析部１３は、有音であると判定した方位の収音信号Ｘｎ（ｔ）について、周波数特性の検出を行ってもよい。周波数特性は、時間軸上の収音信号Ｘｎ（ｔ）をフーリエ変換（ＦＦＴ）することにより、周波数軸上の収音信号Ｘｎ（ｆ）に変換することで求められる。このとき、分析部１３は、周波数軸上の収音信号Ｘｎ（ｆ）をそのまま表示処理部１４に出力してもよいが、収音信号Ｘｎ（ｆ）を複数の帯域（例えば低周波帯域、高周波数帯域）に分割し、各帯域におけるピークレベルや平均パワー等を算出し、この算出結果を、上記分析結果に係る情報に含めて表示処理部１４に出力するようにしてもよい。

表示処理部１４は、記憶した収音信号Ｘｎ（ｔ）および分析結果に係る情報に基づいて、表示部２１に画像表示を行うためのデータを生成し、録音再生ユニット２に出力する。

図４および図５を参照して、表示部２１に表示される画像の例について説明する。図４（Ａ）に示すように、表示部２１には、画面中心位置を同心円とする円画像であるＲＥＣ画像２５１、収音タイミング画像２５２、および録音タイミング画像２５３が表示される。また、画面内には、複数の小さい丸い画像（玉の画像）が表示される。例えば、画面左下には、最も外側の玉画像２０１から順に、４つの玉画像２０１〜２０４が表示されている。表示処理部１４は、記憶した収音信号Ｘｎ（ｔ）に基づいて、マイクで音声を収音したタイミング、および音声の到来方位を示す画像として、各玉画像を表示する制御を行っている。

ここで、ユーザがタッチパネル（操作部２４）を操作してＲＥＣ画像２５１を押下すると、表示処理部１４は、図４（Ｂ）に示すような録音画面を表示する。図４（Ｂ）の例では、ＲＥＣ画像２５１を大きくして録音タイミング画像２５３と同じ大きさの円画像とし、ＲＥＣＯＲＤＩＮＧと表示して、録音開始からの経過時間を表示する。録音画面を表示すると、データ作成部１８から録音データ（各マイクの音声信号や収音信号等）が出力され、録音再生ユニット２のストレージ２５に録音データが記録される。そして、ユーザが再びタッチパネルを操作してＲＥＣ画像２５１を押下すると、表示処理部１４は、図４（Ｃ）に示す様な画面を表示する。図４（Ｃ）の例では、録音タイミング画像２５３の円画像内に、円画像のファイルアイコン２５５を表示する。ファイルアイコン２５５内には、録音日時等が表示される。

図５を参照して、玉画像の表示制御について説明する。同図（Ａ）〜（Ｃ）の右欄には各方位の収音信号の時間軸波形（レベル変化）を示している。なお、同図においては、説明のために無音であると判定した収音信号も示しているが、実際に表示処理部１４に入力されるのは、有音であると判定した分析時間帯における収音信号である。

まず、同図（Ａ）に示すように、表示処理部１４は、分析部１３から有音であると判定した収音信号Ｘｎ（ｔ）が入力されると、その収音信号の指向性を形成している方位（例えば収音信号Ｘ１（ｔ）が入力された場合は、角度０°の方位）のうち、収音タイミング画像２５２の円周上に玉画像を表示する。同図（Ａ）の例では、角度−１４０°の方位に相当する収音信号が入力されたタイミングとなるため、角度−１４０°の方位の収音タイミング画像２５２の円周上に玉画像２０１を表示している。

そして、時間経過とともに、同図（Ｂ）に示すように、入力される収音信号が変化するため、玉画像を画面中心位置に向けて移動させる表示制御を行う。同図（Ｂ）の例では、玉画像２０３に対応する収音信号が録音タイミングに重なる。

ここで、表示処理部１４による表示制御とデータ作成部１８における録音データの出力は、制御部１９によって同期されており、ユーザが録音の指示を行っている場合（図４（Ｂ）に示した状態の場合）、表示処理部１４が玉画像を録音タイミング画像２５３（録音中はＲＥＣ画像２５１に重なる。）の円周上に移動させたタイミングで、データ作成部１８から録音データ（例えば各マイクの出力音声信号）が出力されるようになっている。すなわち、データ作成部１８は、入力された各マイクの音声信号や方位別の収音信号を表示処理部１４と同じ所定時間だけ一時記憶しており、表示処理部１４が玉画像をＲＥＣ画像２５１の円周上に移動させたタイミングが制御部１９から通知されると、一時記憶しておいた音声信号や収音信号を出力する。なお、表示処理部１４が一時記憶している収音信号を録音再生ユニット２のストレージ２５に出力し、録音データとして記録するようにしてもよい。

ここで、例えば、図５（Ｂ）のタイミングでユーザが録音操作を行うと、この録音タイミング以降の録音データ（マイクの出力音声信号や方位別の収音信号）が出力されることになり、以降は、玉画像２０１，２０２，２０３に対応する方位の音源の音声が録音されることになる。玉画像２０４に対応する収音信号は、録音タイミングを過ぎたため、録音データには含まれないことになり、この方位の音源の音声は録音されないことになる。

また、玉画像２０４に対応する収音信号は、録音タイミングを過ぎたため、表示処理部１４から消去されることになる。ただし、同図（Ｂ）に示すように、録音タイミングを過ぎた後もある程度の時間（例えば上記分析時間分）だけ記憶しておき、画面中心位置に移動するまでは画面上に表示を行っていてもよい。

さらに時間が経過すると、同図（Ｃ）に示すように、さらに玉画像を画面中心位置に向けて移動させる表示制御を行う。同図（Ｃ）の状態では、玉画像２０２に対応する収音信号が録音タイミングとなり、録音データには、この方位の音源の音声が含まれていることが視覚的に把握できる。

また、表示処理部１４は、収音信号の分析結果に応じて玉画像の大きさや色を変更する。すなわち、表示処理部１４は、分析結果のうち、ピークレベルや平均レベルに基づいて、玉画像の大きさを変更する。例えば、レベルの高い収音信号については、玉画像を大きく表示し（玉画像２０１を参照）、レベルの低い収音信号については、玉画像を小さく表示する（玉画像２０２〜２０４を参照）。また、表示処理部１４は、周波数特性の分析結果に基づいて、玉画像の色を変更する。例えば、高周波数帯域のレベルが高い場合、明るい色の玉画像を表示し（玉画像２０１、２０２を参照）、低周波数帯域のレベルが高い場合、暗い色の玉画像を表示する（玉画像２０３、２０４を参照）。なお、周波数軸上の収音信号Ｘｎ（ｆ）を入力している場合、この周波数特性を可視光の波長に見立てた色を表示してもよい。例えば、低周波数帯域のレベルが高い場合、波長の長い赤色の玉画像の表示を行い、高周波数帯域のレベルが高い場合、波長の短い青や紫色の玉画像を表示する。

なお、各玉画像の移動速度は、任意であるが、表示処理部１４が一時記憶する収音信号の時間長に応じて設定される。例えば、表示処理部１４が各方位の収音信号を５秒分記憶する場合、収音タイミング画像２５２の円周上から録音タイミング画像２５３の円周上まで５秒の時間をかけて移動させる。

以上の構成により、本実施形態の録音再生装置は、音声の到来方位および時間経過を直感的に把握することができる。この構成によれば、ユーザ自身が実際に音声を聞いて表示部２１を参照することで、録音したい音声の到来方位や録音開始タイミングを直感的に把握することができ、従来ではなし得なかった操作態様を実現することができる。

なお、上記の例においては、録音再生装置と音声の到来方位を相対的な方位として表示するヘッドアップ表示を行う例を示しているが、絶対方位を取得する場合、真北方位を固定し、音源の絶対方位を表示するノースアップ表示を行うことも可能である。

また、上述した４つのマイクを用いて立体的に指向性を制御する場合。図６に示すような側面視した表示を行うことも可能である。録音再生ユニット２のセンサ部２８が姿勢センサ（加速度センサ）を備えている場合、録音再生ユニット２の正面方向（Ｙ方向）を鉛直上方向に向けると図６に示す側面視した表示を行い、上面方向（Ｚ方向）を鉛直上方向に向けると図４および図５に示した平面視した表示を行うように制御してもよい。

次に、図７を参照して、本実施形態の録音再生装置のユーザ操作による信号処理制御について説明する。録音再生装置は、ユーザがタッチパネルを操作して所定の操作を行うと、ユーザの操作に応じて、各方位の収音信号についてゲイン制御や周波数特性の制御等の各種信号処理を行う。

例えば、図７の画面右上に示すように、ユーザが画面上で、所定方位範囲だけ円周方向に向かって指でなぞる操作を行い、玉画像の動きを遮るような操作を行ったとき、表示処理部１４は、この所定方位範囲に相当する玉画像の移動を停止させる。そして、信号処理部１７は、この所定方位範囲に相当する収音信号のレベルをゼロに設定し、録音データとして録音されないようにする。

また、同図の画面右下に示すように、ユーザが画面上で、所定方位範囲だけ円周方向に向かって蛇行してなぞる操作を行うと、表示処理部１４は、この所定方位範囲に相当する玉画像の色を変化させ、信号処理部１７は、この所定方位範囲に相当する収音信号の周波数特性を変化させる。例えば、高周波数帯域を減衰させるローパスフィルタの処理を行い、指でなぞった箇所より内側を移動する玉画像の色を暗い色に変化させる。

このように、本実施形態の録音再生装置は、画面上で種々の操作を行うことで、直感的に信号処理の態様を指示することもできる。

次に、図８および図９を参照して録音再生装置がストレージ２５に録音された録音データの再生を行う場合について説明する。図４（Ｃ）で示したように、録音再生装置では、ユーザがタッチパネルを操作してＲＥＣ画像２５１を押下すると、録音タイミング画像２５３の円画像内に、円画像のファイルアイコン２５５を表示するが、このファイルアイコン２５５は、図８（Ａ）に示すようなファイル選択画面として表示される。図４（Ｃ）に示した状態から、「ファイル選択ボタン」等のボタンを操作すると、このファイル選択画面に移動する。ファイル選択画面の表示制御は、録音再生ユニット２の制御部２３にて行う。制御部２３は、ストレージ２５に記録されている各録音データの録音日時等の情報を読み出し、各録音データを図８（Ａ）に示すようなファイルアイコンとして表示する制御を行う。

同図（Ａ）に示すように、ファイル選択画面では、過去の録音データをファイルアイコンとして複数並べて表示しており、平面視した状態では、画面外側から画面中心に向かって右回転に円弧を描くようにファイルアイコンが並んでいる（無論、左回転でもよい）。中心に近いファイルアイコンほど過去の録音データに対応するようになっており、小さく表示されるようになっている。また、側面視した状態では、画面上から下方向に向かって左右を往来するようにファイルアイコンが並んでいる。画面下方向に近いファイルアイコンほど過去の録音データに対応し、小さく表示されるようになっている。すなわち、ファイルアイコンは、螺旋状に配置されているように表示される。

ここで、録音再生ユニット２には、センサ部２８において加速度センサを内蔵しているため、同図（Ｂ）に示すように、ユーザが録音再生ユニット２を鉛直下方向に移動させる操作を当該加速度センサで検出すると、録音再生ユニット２の制御部２３は、過去の録音データに対応するファイルアイコンが円弧状を左回転して大きくなるように表示制御を行う。逆に、ユーザが録音再生ユニット２を鉛直上方向に移動させる操作を当該加速度センサで検出すると、録音再生ユニット２の制御部２３は、録画日時の新しい録音データに対応するファイルアイコンが円弧状を右回転して小さくなるように表示制御を行う。

そして、ユーザが各ファイルアイコンを選択する操作を行うと、図９に示す再生画面を表示する。図９（Ａ）に示すように、再生画面においては、図４（Ａ）に示した録音画面と同様の表示を行う。ただし、最も内側の円画像は、再生画像２６１となり、「ＰＬＡＹ」の文字が表示される。再生画像２６１の外側には、発音タイミングを表す発音タイミング画像２６３が表示され、玉画像がこの発音タイミング画像２６３の円周上に到達したタイミングで音声が放音されるようになっている。最も外側の円画像は、録音時の収音タイミング画像に相当するが、再生時には収音を行っているわけではないため、この収音タイミング画像２６２の表示はなくてもよい。また、録音時には収音タイミングよりも前の音声（マイクに入力されていない未収音の音声）は可視化していなかったが、再生時には録音データを先読みすることにより、収音タイミングよりも前の音声を可視化することができるため、収音タイミング画像２６２の外側にも玉画像を表示してもよい。

再生時の表示制御と、音声の再生制御の同期について説明する。図９の例では、録音データが各マイクの出力音声信号を記録したものである場合について説明する。ユーザがファイルアイコンを選択し、図９に示す再生画面に移行すると、制御部２３は、ストレージ２５から対応する録音データを読み出す。そして、表示制御に同期して再生処理部２６に音声信号を出力し、音声を放音する。表示制御との同期は、例えば以下のようにして行う。

まず、制御部２３は、読み出した録音データ（各マイクの出力音声信号）をインタフェース２２およびインタフェース１５を介して制御部１９に出力する。制御部１９は、入力された各マイクの出力音声信号をセレクタ１１を介して方位別分解処理部１２およびチャンネル別分解処理部１６に出力する。方位別分解処理部１２およびチャンネル別分解処理部１６は、それぞれ録音時と同様に、各方位の収音信号を生成し、それぞれ分析部１３および信号処理部１７に出力する。分析部１３は、録音時と同様に、各方位の収音信号が有音であるか否かを判定し、表示処理部１４に有音である収音信号を出力する。信号処理部１７は、入力された収音信号に各種信号処理を行ってからデータ作成部１８に出力する。データ作成部１８は、入力された各収音信号をそのまま、あるいは合成する等して、制御部２３に出力する。

表示処理部１４による表示制御とデータ作成部１８における収音信号の出力は、録音時と同様に制御部１９によって同期されている。ただし、録音時には、録音タイミング画像２５３の円周上に玉画像が到達したときに録音データを出力する態様としていたが、再生時には、発音タイミング画像２６３の円周上に玉画像が到達したときに収音信号を出力し、再生処理部２６に入力して音声の放音を行うものとする。

一方、本実施形態の録音再生装置は、再生画面において、ユーザが図９（Ｂ）に示すような左右の指で画面をこするような操作を行うと、再生早送りや巻き戻しを行うことが可能である。ユーザが画面外側から中心に向かって指をなぞり、玉画像の動きを加速させるような操作を行うと、各種構成部は、処理速度を上げ、再生早送りを行う。逆に、ユーザが画面中心から外側に向かって指をなぞり、中心から玉画像をかき出すような操作を行うと、各種構成部は逆再生を行う。無論、ユーザがなぞる操作を停止したとき、再生の一時停止を行うことも可能である。

また、録音データを再生している場合においても、発音タイミング画像２６３よりも外側において玉の画像の動きを遮るような操作を行ったとき、この玉の画像の移動を停止させるとともに、その方位の録音データの再生レベルをゼロに設定し、放音されないようにすることも可能であり、ローパスフィルタなどの周波数特性の制御を行うことも可能である。

なお、上記例においては、録音データに含まれる各マイクの音声信号を、チャンネル別分解処理部１６にて方位毎の収音信号として生成してから、再生処理部２６に入力して放音する例を示したが、録音データに含まれる各マイクの音声信号をそのまま再生処理部２６に入力して放音してもよい。この場合、チャンネル別分解処理部１６への音声信号の入力は必須ではなく、制御部２３が表示処理部１４による表示制御と音声信号の出力を同期し、放音を行ってもよい。

また、録音データが方位別の収音信号である場合、再生時には方位別分解処理部１２およびチャンネル別分解処理部１６が不要となり、制御部１９は、分析部１３および信号処理部１７に録音データの収音信号を入力する。

また、表示処理部１４の出力する表示用データをストレージ２５に記録しておけば、再生時に音源方位の判定をあらためて行う必要はない。この場合、録音再生ユニット２の制御部２３で全ての制御を行うことが可能であるため、録音再生ユニット２単体でも玉画像 の制御や信号処理の制御を行うことができる。

なお、本実施形態では、３つのマイクを設けた例を示したが、最低限２つのマイクを設けることで音源分離を行うことができる。例えば、収音方向が所定角度（９０°）傾いた２つの指向性マイクを近接して設け、各指向性マイクの収音した音声のゲインを変化させて合成した信号を複数生成することも可能である。無論、同一平面内でさらに多数のマイクを配列するようにしてもよい。

１…マイクユニット
２…録音再生ユニット
１０…マルチマイク
１１…セレクタ
１２…方位別分解処理部
１３…分析部
１４…表示処理部
１５…インタフェース
１６…チャンネル別分解処理部
１７…信号処理部
１８…データ作成部
１９…制御部
２１…表示部
２２…インタフェース
２３…制御部
２４…操作部
２５…ストレージ
２６…再生処理部
２７…通信部
２８…センサ部

Claims (5)

1. 複数のマイクと、
   前記複数のマイクが収音した音声を合成し、所定方位毎に指向性を形成した収音信号を生成する指向性制御部と、
   前記所定方位毎の収音信号を所定時間記憶する一時記憶部と、
   前記所定方位毎の収音信号に基づいて、音源の方位を判定する音源方位判定部と、
   前記音源方位判定部の判定結果に基づいて、前記複数のマイクが前記音源の音声を収音したタイミング、および当該音源の音声の到来方位を示す画像を表示し、当該画像を時間経過に応じて移動表示させる表示処理部と、
   を備えたことを特徴とする音声可視化装置。
2. 前記音源方位判定部は、前記所定方位毎の収音信号のレベルに基づいて音源の方位を判定し、
   前記表示処理部は、前記レベルに基づいて、前記画像の大きさを制御する請求項１に記載の音声可視化装置。
3. 前記音源方位判定部は、前記所定方位毎の収音信号の周波数特性を検出し、
   前記表示処理部は、前記周波数特性に基づいて、前記画像の表示色を制御する請求項１または２に記載の音声可視化装置。
4. 前記複数のマイクが収音した音声に基づく録音データを記録する記録部と、
   前記記録部に記録された録音データを再生する再生部と、を備え、
   前記指向性制御部は、前記記録部から読み出した録音データに基づいて、前記所定方位毎の収音信号を生成し、
   前記表示処理部は、前記再生部の録音データの再生に同期して、前記画像を移動表示する請求項１〜３のいずれかに記載の音声可視化装置。
5. ユーザの操作を受け付ける操作部と、
   前記録音データ、または前記所定方位毎の収音信号に対し、前記操作部の受け付けた操作に応じた信号処理を行う信号処理部と、を備え、
   前記表示処理部は、前記操作部の受け付けた操作に応じて、前記画像の移動態様を変化させる請求項４に記載の音声可視化装置。