JP2012151663A

JP2012151663A - 立体音響生成装置及び立体音響生成方法

Info

Publication number: JP2012151663A
Application number: JP2011008866A
Authority: JP
Inventors: Takeshi Kanemori; 毅金森
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2011-01-19
Filing date: 2011-01-19
Publication date: 2012-08-09
Also published as: US20120182385A1

Abstract

【課題】より精度良く立体音響を生成することができる立体音響生成装置を提供することである。
【解決手段】実施の形態の立体音響生成装置は、奥行きベクトル検出部と、動きベクトル検出部と、領域分割部と、奥行きベクトル平均算出部と、音声処理部と、対応付け部と、音声出所特定部とを有する。領域分割部は、動きベクトル検出部で検出された動きベクトルに基づいて、フレームを複数の領域に分割する。音声処理部は、音声信号から抽出された周波数スペクトルを複数の周波数成分に分割する。対応付け部は、領域分割部で分割された複数の領域に音声処理部で分割された複数の周波数成分を対応付ける。音声出所特定部は、奥行きベクトル平均算出部で算出された複数の領域毎の奥行きベクトルの平均に基づいて、複数の周波数成分から対応する周波数成分の音声の出所を特定する。
【選択図】図１

Description

本発明の実施の形態は、立体音響生成装置及び立体音響生成方法に関する。

近年、３次元（３Ｄ）映像のテレビジョン放送が開始され、このような３Ｄ映像から立体音響を生成する立体音響生成装置が提案されている。この立体音響生成装置は、３Ｄ映像の動きベクトルから立体音響を生成する。

このように、従来の立体音響生成装置は、３Ｄ映像における物体の左右方向への動きから立体音響を生成しているため、奥行き方向における立体音響の精度が落ちるという問題があった。

特開平８−２０５２９５号公報特開平７−２３６１９９号公報

本発明が解決しようとする課題は、より精度良く立体音響を生成することができる立体音響生成装置を提供することである。

実施の形態の立体音響生成装置は、奥行きベクトル検出部と、動きベクトル検出部と、領域分割部と、奥行きベクトル平均算出部と、音声処理部と、対応付け部と、音声出所特定部とを有する。奥行きベクトル検出部は、３次元映像信号から３次元映像の奥行きベクトルを検出する。動きベクトル検出部は、３次元映像信号から３次元映像の動きベクトルを検出する。領域分割部は、動きベクトル検出部で検出された動きベクトルに基づいて、フレームを複数の領域に分割する。奥行きベクトル平均算出部は、複数の領域毎に奥行きベクトルの平均を算出して対応付ける。音声処理部は、音声信号から抽出された周波数スペクトルを複数の周波数成分に分割する。対応付け部は、領域分割部で分割された複数の領域に音声処理部で分割された複数の周波数成分を対応付ける。音声出所特定部は、奥行きベクトル平均算出部で算出された複数の領域毎の奥行きベクトルの平均に基づいて、複数の周波数成分から対応する周波数成分の音声の出所を特定する。

実施の形態に係る立体音響生成装置の構成を示すブロック図である。３Ｄ映像信号について説明するための図である。動きベクトル及び奥行きベクトルについて説明するための図である。分割された領域の情報と周波数成分の情報とが対応付けられた対応関係情報を説明するための図である。立体音響生成処理の流れの例を示すアルゴリズムである。

以下、図面を参照して実施の形態の立体音響生成装置について詳細に説明する。
まず、図１に基づき、実施の形態に係る立体音響生成装置の構成について説明する。
図１は、実施の形態に係る立体音響生成装置の構成を示すブロック図である。

図１に示すように、立体音響生成装置１は、例えば、３Ｄ映像を表示するテレビジョン装置であり、アンテナ２と、テレビジョン装置本体３と、複数、実施の形態では、４つのスピーカ４ａ〜４ｄとを有して構成されている。なお、立体音響生成装置１は、３Ｄ映像を表示するテレビジョン装置として説明するが、例えば、記録メディアに記録されている３Ｄ映像を再生するＤＶＤプレイヤー等の再生装置であってもよい。

スピーカ４ａ〜４ｄは、例えば、スピーカ４ａが視聴者の前方右側に、スピーカ４ｂが視聴者の前方左側に、スピーカ４ｃが視聴者の後方右側に、スピーカ４ｄが視聴者の後方左側に配置される。なお、スピーカ４ａ〜４ｃの配置は、これに限定されるものではない。また、スピーカ４ａ〜４ｃの個数は、４個に限定されるものではない。

テレビジョン装置本体３は、チューナ１１と、デコーダ１２と、動きベクトル検出部１３と、奥行きベクトル検出部１４と、クラスタリング部１５と、分割エリア処理部１６と、音声処理部１７と、対応付け部１８と、音声出所特定部１９と、音声振り分け部２０とを有して構成されている。

アンテナ２は、３Ｄ映像信号及び音声信号を含むデジタル放送信号を受信し、受信したデジタル放送信号をチューナ１１に供給する。

チューナ１１は、供給されたデジタル放送信号からユーザに指定されたチャンネルを選局し、デコーダ１２に出力する。

デコーダ１２は、入力されたデジタル放送信号をデコードし、映像表示用の３Ｄ映像信号及び音声出力用の音声信号を生成する。デコーダ１２は、生成した３Ｄ映像信号を動きベクトル検出部１３及び奥行きベクトル検出部１４に出力し、音声信号を音声処理部１７に出力する。なお、音声信号は、モノラルまたはステレオのいずれでもよい。また、デコーダ１２で生成された３Ｄ映像信号は、図示しない映像処理部により映像処理された後、図示しない表示部に表示される。

ここで、３Ｄ映像信号について説明する。
図２は、３Ｄ映像信号について説明するための図である。

図２に示すように、デコーダ１２で生成される３Ｄ映像信号は、右目用のフレームＲ１、左目用のフレームＬ１、右目用のフレームＲ２及び左目用のフレームＬ２のように、右目用のフレームと左目のフレームとを交互に有して構成される。右目用のフレーム及び左目用のフレームがそれぞれ複数、例えば、３０フレームで１秒の映像が構成される。なお、１秒の映像を構成する右目用のフレーム及び左目用のフレームの数は、一例として３０フレームと説明したが、規格等により異なるものであり、３０フレームに限定されるものではない。実施の形態では、右目用のフレームＲ２及び左目用のフレームＬ２が現在のフレームを示し、右目用のフレームＲ１及び左目用のフレームＬ１が１フレーム前のフレームを示す。

図３は、動きベクトル及び奥行きベクトルについて説明するための図である。

動きベクトル検出部１３は、現在の右目用のフレームＲ２と、１フレーム前の右目用のフレームＲ１との同じ座標の画素値の差分を計算することにより、図３（ａ）に示す動きベクトルを検出する。なお、動きベクトル検出部１３は、現在の左目用のフレームＬ２と、１フレーム前の左目用のフレームＬ１との同じ座標の画素値の差分を計算することにより、動きベクトルを検出するようにしてもよい。そして、動きベクトル検出部１３は、検出した動きベクトルの情報をクラスタリング部１５に出力する。

ここで、動きベクトルの大きさが大きい画素値は、動きがより大きい物体に対応するものとする。なお、動きベクトル検出部１３は、現在の右目用のフレームＲ２と、１フレーム前の右目用のフレームＲ１との差分を計算することにより動きベクトルを検出しているが、現在の右目用のフレームＲ２と、２フレーム以上前の右目用のフレームとの差分を計算することにより動きベクトルを検出するようにしてもよい。即ち、前後のフレームの差分では大きな動きが検出できないことがあるため、数フレーム離れたフレーム間で差分を取るようにして、大きな動きを検出する。

奥行きベクトル検出部１４は、現在の右目用のフレームＲ２と、左目用のフレームＬ２との同じ座標の画素値の差分を計算することにより、図３（ｂ）に示す奥行きベクトルを検出する。そして、奥行きベクトル検出部１４は、検出した奥行きベクトルの情報を分割エリア処理部１６に出力する。ここで、奥行きベクトルの大きさが大きい画素は、より奥側、または、手前側に存在する物体に対応するものとする。

領域分割部としてのクラスタリング部１５は、動きベクトル検出部１３により検出された動きベクトルの情報に基づきクラスタリングを行い、フレームを動きベクトルが類似している部分で構成される複数の領域に分割する。例えば、図３（ｃ）の例では、クラスタリング部１５は、動きベクトルが類似している部分で構成される５つの領域２１ａ〜２１ｅに分割する。この分割は、例えば、クラスタリング手法の１つであるＫ平均法等により行うことができる。クラスタリング部１５は、複数の領域２１ａ〜２１ｅに分割したフレームの情報を分割エリア処理部１６に出力する。クラスタリング部１５の上記処理は、フレーム内に表示される１つの物体は、同じ方向に動いていることを仮定している。つまり、動きベクトルの情報に基づきクラスタリングを行うことにより、フレームを、フレーム内に表示されている物体の領域に分割できることを想定している。

奥行きベクトル平均算出部としての分割エリア処理部１６は、クラスタリング部１５で分割されたフレームの各領域２１ａ〜２１ｅに対して、奥行きベクトル検出部１４で検出された奥行きベクトルの平均を算出する。これにより、図３（ｄ）に示すように、算出された奥行きベクトルの平均が各領域２１ａ〜２１ｅに対してそれぞれ対応付けられる。

また、分割エリア処理部１６は、クラスタリング部１５で分割されたフレームの各領域２１ａ〜２１ｅを、分割された領域２１ａ〜２１ｅの面積の大きい順に整列する。分割エリア処理部１６は、面積の大きい順に整列した分割された領域２１ａ〜２１ｅの情報を対応付け部１８に出力する。

音声処理部１７は、デコーダ１２から入力された音声信号をフーリエ変換して周波数スペクトルを抽出する。音声処理部１７は、抽出した周波数スペクトルを音声振り分け部２０に出力する。また、音声処理部１７は、抽出した周波数スペクトルを複数の周波数成分に分割し、分割した複数の周波数成分を積分することにより、複数の周波数成分のスペクトル強度を算出する。そして、音声処理部１７は、分割した周波数成分をスペクトル強度の大きい順に整列し、スペクトル強度の大きい順に整列した周波数成分の情報を対応付け部１８に出力する。

対応付け部１８は、面積の大きい順に整列した分割された領域２１ａ〜２１ｅの情報と、スペクトル強度の大きい順に整列した周波数成分の情報とを対応付けを行う。対応付け部１８は、対応付けを行った対応関係情報を音声出所特定部１９に出力する。対応付け部１８の上記処理は、面積の大きい領域（フレーム内に表示された、大きい物体）ほど、大きな音（スペクトル強度の大きい周波数成分）を発生させることを仮定している。

図４は、分割された領域の情報と周波数成分の情報とが対応付けられた対応関係情報を説明するための図である。

図４の例では、分割された領域は、領域Ａ１〜Ａｍから構成され、面積の大きい順に、領域Ａ１，Ａ２，・・・，Ａｍと整列されている。なお、領域Ａ１〜Ａｍには、分割エリア処理部１６で領域毎に平均された奥行きベクトルＶ１〜Ｖｍが対応付けられている。

また、周波数成分は、周波数成分ｆ１〜ｆｎから構成され、スペクトル強度の大きい順に、周波数成分ｆ１，ｆ２，・・・，ｆｎと整列されている。そして、分割された面積が最も大きい領域Ａ１と、スペクトル強度が最も大きい周波数成分ｆ１とが対応付けられる。２番目以降についても、同様に対応付けられる。

なお、周波数成分ｆｎは、分割された領域に対応付けられていない。これは、クラスタリング部１５で分割される領域の個数が、検出された動きベクトルの類似性によって異なり、分割された領域の個数と周波数成分の個数とが必ずしも一致しないためである。

音声出所特定部１９は、対応付け部１８からの対応関係情報から、対応する周波数成分の音声をどのスピーカ４ａ〜４ｄから出力するかを特定する音声出所情報を生成する。特に、音声出所特定部１９は、分割された領域の平均された奥行きベクトルに基づいて、対応する周波数成分の音声をどのスピーカ４ａ〜４ｄから出力するかを特定する。例えば、図４の例では、周波数成分ｆ１の音声は、領域Ａ１の奥行きベクトルＶ１の情報に基づき、スピーカ４ａ〜４ｄのいずれから出力されるかが特定される。音声出所特定部１９は、生成した音声出所情報を音声振り分け部２０に出力する。

音声振り分け部２０は、音声処理部１７からの周波数スペクトルを逆フーリエ変換して音声信号を抽出するとともに、音声出所特定部１９からの音声出所情報に応じて、奥行きベクトルＶ１〜Ｖｍに対応する周波数成分ｆ１〜ｆｍの音声を適切に配置されたスピーカ４ａ〜４ｄから出力するように振り分けを行う。これにより、スピーカ４ａ〜４ｄでは、３Ｄ映像信号から抽出された立体的な音声が出力される。

次に、このように構成された立体音響生成装置１の動作について説明する。

図５は、立体音響生成処理の流れの例を示すアルゴリズムである。

まず、３Ｄ映像信号から奥行きベクトルが検出される（ステップＳ１）。検出された奥行きベクトルはステップＳ４に供給される。３Ｄ映像信号から動きベクトルが検出される（ステップＳ２）。検出された動きベクトルに応じてクラスタリングが行われ、フレームが複数の領域に分割される（ステップＳ３）。分割された領域毎の奥行きベクトルの平均が算出される（ステップＳ４）。分割された領域が面積の大きい順に整列される（ステップＳ５）。

次に、音声信号に対しフーリエ変換が行われ、周波数スペクトルが抽出される（ステップＳ６）。複数の周波数成分に分割され、スペクトル強度が算出される（ステップＳ７）。算出されたスペクトル強度の大きい順に周波数成分が整列される（ステップＳ８）。

面積の大きい順に整列された分割された領域と、スペクトル強度の大きい順に整列された周波数成分とが対応付けられる（ステップＳ９）。分割された領域毎に算出された奥行きベクトルの情報に基づいて、音声の出所が特定される。（ステップＳ１０）。周波数スペクトルに対し逆フーリエ変換が実行され（ステップＳ１１）、対応するスピーカ４ａ〜４ｄから音声が出力され（ステップＳ１２）、処理を終了する。

なお、図５に示すアルゴリズム中の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。

以上のように、実施の形態の立体音響生成装置１によれば、検出された動きベクトルに応じたクラスタリングによりフレームを複数の領域に分割し、分割された領域毎に算出された奥行きベクトルの情報に応じて、音声の出所を特定することにより、より精度良く立体音響を生成することが可能となる。

本発明の実施の形態を説明したが、この実施の形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施の形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…立体音響生成装置、２…アンテナ、３…テレビジョン装置本体、４ａ〜４ｄ…スピーカ、１１…チューナ、１２…デコーダ、１３…動きベクトル検出部、１４…奥行きベクトル検出部、１５…クラスタリング部、１６…分割エリア処理部、１７…音声処理部、１８…対応付け部、１９…音声出所特定部、２０…音声振り分け部。

Claims

３次元映像信号から３次元映像の奥行きベクトルを検出する奥行きベクトル検出部と、
前記３次元映像信号から前記３次元映像の動きベクトルを検出する動きベクトル検出部と、
前記動きベクトル検出部で検出された前記動きベクトルに基づいて、フレームを複数の領域に分割する領域分割部と、
前記複数の領域毎に前記奥行きベクトルの平均を算出して対応付ける奥行きベクトル平均算出部と、
音声信号から抽出された周波数スペクトルを複数の周波数成分に分割する音声処理部と、
前記領域分割部で分割された前記複数の領域に前記音声処理部で分割された前記複数の周波数成分を対応付ける対応付け部と、
前記奥行きベクトル平均算出部で算出された前記複数の領域毎の奥行きベクトルの平均に基づいて、前記複数の周波数成分から対応する周波数成分の音声の出所を特定する音声出所特定部と、
を有することを特徴とする立体音響生成装置。
前記対応付け部は、面積の大きい順に整列した前記複数の領域と、スペクトル強度の大きい順に整列した前記複数の周波数成分とを対応付けることを特徴とする請求項１に記載の立体音響生成装置。
前記領域分割部は、Ｋ平均法を用いて、前記フレームを前記複数の領域に分割することを特徴とする請求項２に記載の立体音響生成装置。
３次元映像信号から３次元映像の奥行きベクトルを検出し、
前記３次元映像信号から前記３次元映像の動きベクトルを検出し、
検出された前記動きベクトルに基づいて、フレームを複数の領域に分割し、
前記複数の領域毎に前記奥行きベクトルの平均を算出して対応付け、
音声信号から抽出された周波数スペクトルを複数の周波数成分に分割し、
分割された前記複数の領域に分割された前記複数の周波数成分を対応付け、
算出された前記複数の領域毎の奥行きベクトルの平均に基づいて、前記複数の周波数成分から対応する周波数成分の音声の出所を特定することを特徴とする立体音響生成方法。
面積の大きい順に整列した前記複数の領域と、スペクトル強度の大きい順に整列した前記複数の周波数成分とを対応付けることを特徴とする請求項４に記載の立体音響生成方法。