JP2014131154A - 映像処理装置、映像受信装置、映像送信装置及び映像処理方法 - Google Patents

Abstract

【課題】
３次元映像の提供により表現される仮想的な３次元空間において、利用者の臨場感を向上させる。
【解決手段】
取得部７１０が、円周上を等分するように配置された３つの全方向カメラのそれぞれが撮影した映像の映像データ及び当該映像のそれぞれの方向データを取得し、映像信号生成部７３０へ送る。映像信号生成部７３０は、検出部７２０から送られた利用者が向く方向を受けると、３つの全方向カメラが配置される円周の中心からみて、利用者が向く方向に対応する方向側に配置される２つの全方向カメラを特定する。次に、映像信号生成部７３０は、利用者が向く方向に基づき、特定された２つの全方向カメラの一方が撮影した映像データから右目視界範囲内の右目用映像信号を生成し、特定された２つの全方向カメラの他方が撮影した映像データから左目視界範囲内の左目用映像信号を生成する。
【選択図】 図１

Description

本発明は、映像処理装置、映像受信装置、映像送信装置、映像処理方法、映像処理プログラム、及び、当該映像処理プログラムが記録された記録媒体に関する。

近年、映像技術の進展により、映像情報を立体視することのできる３次元映像が視られるようになってきている。かかる３次元映像に関する映像技術の進展は目覚ましく、観察者の視点から、周囲３６０度方向（全方位）の３次元映像（以下、「全方位３次元映像」ともいう）を視られるようにした技術も登場してきている。これにより、映像情報の理解促進が一層図られ、また、リアリティ溢れる映像を楽しむことができるようになってきている。

こうした全方位３次元映像を生成する技術の一つとして、全方位の撮影が可能なカメラ（以下、「全方向カメラ」ともいう）を、４つ備えたものがある（特許文献１参照：以下、「従来例」と呼ぶ）。この従来例の技術では、４つの全方向カメラを、両眼視差に相当する間隔で正方形状に配置する。引き続き、当該４つの全方向カメラにより撮影されたそれぞれ映像（以下、「全方向映像」ともいう）を平面展開した後、４つの全方向カメラの配置関係により定まる正方形の中心から外側へと向かう当該正方形の各辺の法線方向を撮影した映像に４分割する。そして、左右両眼に相当する２つの全方向カメラを選択し、当該選択された２つの全方向カメラにより撮影された全方向映像に含まれる、想定される視界に対応する分割映像から、利用者に提供する３次元映像を生成するようになっている。

特開２０１１−１８２００３号公報

ところで、３次元映像を視る利用者は、当該３次元映像により表現される仮想的な３次元空間に臨場感を持って誘われることになる。かかる仮想的な３次元空間における利用者の臨場感を更に高めるためには、利用者が向く方向の変化に応じて変化する利用者の視界に対応する３次元映像が、利用者に提供されることが望ましい。

しかしながら、上述した従来例の技術では、想定される利用者の視界は、４つの全方位カメラの位置関係に応じて定まるようになっており、利用者が向く方向が変化しても、想定される視界は変化しない。この結果、当該仮想的な３次元空間において利用者が向いた方向の視界に対応する３次元映像を、利用者に提供することができなかった。

このため、利用者が向く方向の変化に応じて変化する利用者の視界に対応する３次元映像を利用者に提供することができる技術が望まれている。かかる要請に応えることが、本発明が解決すべき課題の一つとして挙げられる。

本発明は、上記の事情を鑑みてなされたものであり、３次元映像の提供により表現される仮想的な３次元空間において、利用者の臨場感を向上させることができる新たな映像処理装置及び映像処理方法を提供することを目的とする。また、本発明は、仮想的な３次元空間において利用者の臨場感を向上させることが可能な３次元映像を、利用者に提供することができる新たな映像送信装置及び映像受信装置を提供することを目的とする。

請求項１に記載の発明は、所定の位置に配置された３つ以上の全方向カメラのそれぞれが撮影した映像の映像データと、前記映像のそれぞれの方向データとを取得する取得部と；利用者が向く方向を検出する検出部と；前記検出部により検出された利用者が向く方向と、前記取得部が取得した前記映像のそれぞれの方向データとに基づいて、前記取得部により取得された３つ以上の映像データのうちから２つの映像データを選択し、前記選択された２つの映像データから、利用者に対する右目用映像信号と左目用映像信号とを生成する映像信号生成部と；を備えることを特徴とする映像処理装置である。

請求項６に記載の発明は、所定の位置に配置された３つ以上の全方向カメラのそれぞれが撮影した映像の映像データと、前記映像のそれぞれの方向データとを受信する受信部と；利用者が向く方向を検出する検出部と；前記検出部により検出された利用者が向く方向と、前記受信部が取得した前記映像のそれぞれの方向データとに基づいて、前記受信部により取得された３つ以上の映像データのうちから２つの映像データを選択し、前記選択された２つの映像データから、利用者に対する右目用映像信号と左目用映像信号とを生成する映像信号生成部と；を備えることを特徴とする映像受信装置である。

請求項７に記載の発明は、所定の位置に配置された３つ以上の全方向カメラのそれぞれが撮影した映像の映像データと、前記映像のそれぞれの方向データとを取得し、エンコードするエンコード部と；前記エンコード部がエンコードしたそれぞれの映像データと方向データとを関連付けて、映像受信装置に送信する送信部と；を備えることを特徴とする映像送信装置である。

請求項８に記載の発明は、所定の位置に配置された３つ以上の全方向カメラのそれぞれが撮影した映像の映像データを処理する映像処理装置において使用される映像処理方法であって、前記所定の位置に配置された３つ以上の全方向カメラのそれぞれが撮影した映像の映像データと、前記映像のそれぞれの方向データとを取得する取得工程と；利用者が向く方向を検出する検出工程と；前記検出工程において検出された利用者が向く方向と、前記取得工程において取得した前記映像のそれぞれの方向データとに基づいて、前記取得工程において取得された３つ以上の映像データのうちから２つの映像データを選択し、前記選択された２つの映像データから、利用者に対する右目用映像信号と左目用映像信号とを生成する映像信号生成工程と；を備えることを特徴とする映像処理方法である。

請求項９に記載の発明は、所定の位置に配置された３つ以上の全方向カメラのそれぞれが撮影した映像の映像データを処理する映像処理装置が有するコンピュータに、請求項８に記載の映像処理方法を実行させる、ことを特徴とする映像処理プログラムである。

請求項１０に記載の発明は、所定の位置に配置された３つ以上の全方向カメラのそれぞれが撮影した映像の映像データを処理する映像処理装置が有するコンピュータにより、請求項９に記載の映像処理プログラムが読み取り可能に記録されている、ことを特徴とする記録媒体である。

本発明の第１実施形態に係る映像処理装置の構成を説明するためのブロック図である。 本発明の第２実施形態に係る映像送信装置及び映像受信装置の構成を説明するためのブロック図である。 ３次元映像撮影装置の構成を説明するための図である。 図３の全方向カメラが撮影した映像の例である。 本発明の第１実施例に係る映像処理装置の構成を概略的に説明するためのブロック図である。 図５の映像表示ユニットの配置関係を説明するための図である。 図５の記憶ユニットに記憶される情報データを説明するための図である。 図５の装置による映像信号生成処理及び音声信号生成処理を説明するためのフローチャートである。 利用者が向く方向に基づく２つの全方向カメラの特定方法を説明するための図（その１）である。 右目用映像及び左目用映像の切り出しを説明するための図（その１）である。 利用者が向く方向に基づく２つの全方向カメラの特定方法を説明するための図（その２）である。 右目用映像及び左目用映像の切り出しを説明するための図（その２）である。 利用者が向く方向に基づく２つの全方向カメラの特定方法を説明するための図（その３）である。 右目用映像及び左目用映像の切り出しを説明するための図（その３）である。 本発明の第２実施例に係る映像送信装置及び映像受信装置の構成を概略的に説明するためのブロック図である。

以下、本発明の実施形態を、添付図面を参照して説明する。なお、以下の説明及び図面においては、同一又は同等の要素には同一の符号を付し、重複する説明を省略する。

［第１実施形態］
まず、本発明の第１実施形態を、図１を参照して説明する。
＜構成＞
図１には、第１実施形態に係る映像処理装置７００の概略的な構成がブロック図にて示されている。第１実施形態では、映像処理装置７００には、記録部９１０と、映像表示部９３０と、音出力部９４０とが接続されている。

上記の記録部９１０には、所定の位置に配置された３つの全方向カメラのそれぞれが撮影した映像の映像データと、当該映像のそれぞれの方向データが記録される。また、記録部９１０には、３つの全方向カメラのそれぞれと対応して配置されたマイクが収音した音声データと、当該マイクのそれぞれの収音位置データが記録される。この記録部９１０には、映像処理装置７００がアクセス可能となっている。

第１実施形態では、３つの全方向カメラは円周上を等分するように配置され、隣り合う全方向カメラ間の距離は、概ね人体の右目と左目との間の距離（両眼視差）となっている。このように円周上を等分するように３つ全方向カメラを配置することで、２つの全方向カメラの映像から、約１２０度となっている人間の両目の視野範囲の３次元映像を生成し、さらに、隣り合う２つの全方向カメラのそれぞれの映像を利用することにより、周囲３６０度範囲の３次元映像の作成を可能としている。

また、第１実施形態では、「方向データ」に示される映像の方向は、全方向カメラの中心を通り、かつ、３つの全方向カメラが配置される円周を有する円の中心から外側へと向かう方向を「撮影基準方向」とした場合の当該撮影基準方向が向く方向となっている。そして、当該撮影基準方向が向く方向から、平面展開された平面映像の各位置へ向かう当該円の中心からの方向（総括的に示す場合には、以下、「映像の方向」と呼ぶ）が導出できるようになっている。

なお、記録部９１０に記録されるデータは、後述する３次元映像撮影装置９９０により、撮影及び収音されたデータである。

上記の映像表示部９３０は、右目用表示部及び左目用表示部を備えて構成される。映像表示部９３０は、映像処理装置７００から送られた右目用映像信号及び左目用映像信号を受ける。そして、右目用表示部は右目用映像信号に従った映像を表示し、左目用表示部は左目用映像信号に従った映像を表示する。第１実施形態では、右目用表示部は、利用者が３次元映像を視る際に装着する専用メガネの右目用レンズに対応する部分に配置され、左目用表示部は、当該専用メガネの左目用レンズに対応する部分に配置される。

上記の音出力部９４０は、右スピーカ及び左スピーカを備えて構成される。音出力部９４０は、映像処理装置７００から送られた右スピーカ用音信号及び左スピーカ用音信号を受ける。そして、右スピーカは右スピーカ用音信号に従った音を出力し、左スピーカは左スピーカ用音信号に従った音を出力する。第１実施形態では、右スピーカ及び左スピーカは、利用者が３次元映像を視る際に装着する専用ヘッドフォンに配置されている。

《映像処理装置７００の構成》
次に、上記の映像処理装置７００の構成について、説明する。映像処理装置７００は、取得部７１０と、検出部７２０と、映像信号生成部７３０と、音信号生成部７４０とを備えている。

上記の取得部７１０は、記録部９１０から、３つの全方向カメラのそれぞれが撮影した映像の映像データ及び当該映像のそれぞれの方向データを取得する。そして、取得部７１０は、当該映像データ及び方向データを映像信号生成部７３０へ送る。また、取得部７１０は、記録部９１０から、３つのマイクのそれぞれが収音した音声データ及び当該マイクのそれぞれの収音位置データを取得する。そして、取得部７１０は、当該音声データ及び収音位置データを音信号生成部７４０へ送る。

上記の検出部７２０は、ジャイロコンパスセンサを備えて構成され、「利用者が向く方向」を検出する。検出部７２０により検出された「利用者が向く方向」は、映像信号生成部７３０及び音信号生成部７４０へ送られる。第１実施形態では、ジャイロコンパスセンサは、例えば、上述した専用メガネの左右のリムをつなぐブリッジに取り付けられる。

上記の映像信号生成部７３０は、取得部７１０から送られた３つの全方向カメラのそれぞれが撮影した映像の映像データ及び当該映像のそれぞれの方向データを受ける。また、映像信号生成部７３０は、検出部７２０から送られた「利用者が向く方向」を受ける。そして、映像信号生成部７３０は、取得された映像データ及び映像の方向データ、並びに、「利用者が向く方向」に基づいて、右目用映像信号と左目用映像信号とを生成する。引き続き、映像信号生成部７３０は、生成された右目用映像信号を映像表示部９３０の右目用表示部へ送るとともに、生成された左目用映像信号を映像表示部９３０の左目用表示部へ送る。映像信号生成部７３０による右目用映像信号及び左目用映像信号の生成処理の詳細については、後述する。

上記の音信号生成部７４０は、取得部７１０から送られた３つのマイクのそれぞれが収音した音声データ及び当該マイクのそれぞれの収音位置データを受ける。また、音信号生成部７４０は、検出部７２０から送られた「利用者が向く方向」を受ける。そして、音信号生成部７４０は、取得された音声データ及びマイクの収音位置データ、並びに、「利用者が向く方向」に基づいて、右スピーカ用音信号と左スピーカ用音信号とを生成する。引き続き、音信号生成部７４０は、生成された右スピーカ用音信号を音出力部９４０の右スピーカへ送るとともに、生成された左スピーカ用音信号を音出力部９４０の左スピーカへ送る。音信号生成部７４０による右スピーカ用音信号及び左スピーカ用音信号の生成処理の詳細については、後述する。

＜動作＞
上記のように構成された映像処理装置７００の動作について、映像信号生成部７３０による「右目用映像信号」及び「左目用映像信号」の生成処理、並びに、音信号生成部７４０による「右スピーカ用音信号」及び「左スピーカ用音信号」の生成処理に主に着目して説明する。

前提として、利用者は、上述した３次元映像を視るための専用メガネ、及び、専用ヘッドフォンを装着しているものとする。

こうした状態で、取得部７１０が、記録部９１０から、３つの全方向カメラのそれぞれが撮影した映像の映像データ及び当該映像のそれぞれの方向データを取得するとともに、３つのマイクのそれぞれが収音した音声データ及び当該マイクのそれぞれの収音位置データを取得する。そして、取得部７１０は、当該映像データ及び映像の方向データを映像信号生成部７３０へ送り、当該音声データ及びマイクの収音位置データを音信号生成部７４０へ送る。

また、検出部７２０が、利用者が向く方向を検出し、検出された「利用者が向く方向」を、映像信号生成部７３０及び音信号生成部７４０へ送る。

《「右目用映像信号」及び「左目用映像信号」の生成処理》
まず、映像信号生成部７３０による「右目用映像信号」及び「左目用映像信号」の生成方法について説明する。

映像信号生成部７３０は、検出部７２０が検出した「利用者が向く方向」を受けると、「右目用映像信号」及び「左目用映像信号」を生成する。かかる映像信号の生成に際して、映像信号生成部７３０は、まず、３つの全方向カメラが配置される円周の中心からみて、利用者が向く方向に対応する方向側に配置されている２つの全方向カメラを特定する。

次に、映像信号生成部７３０は、「利用者が向く方向」に基づき、特定された２つの全方向カメラの一方が撮影した映像の映像データから右目視界範囲内のデータを切り出して右目用映像信号を生成する。また、映像信号生成部７３０は、「利用者が向く方向」に基づき、当該特定された２つの全方向カメラの他方が撮影した映像の映像データから左目視界範囲内のデータを切り出して左目用映像信号を生成する。そして、映像信号生成部７３０は、生成された右目用映像信号を映像表示部９３０の右目用表示部へ送るとともに、生成された左目用映像信号を映像表示部９３０の左目用表示部へ送る。

右目用映像信号を受けた右目用表示部は、右目用の映像を表示し、左目用映像信号を受けた左目用表示部は、左目用の映像を表示する。この結果、利用者が向く方向に対応する方向の３次元映像が、映像表示部９３０に表示される。

以後、検出部７２０により検出された「利用者が向く方向」を、映像信号生成部７３０が受けるごとに上述した処理が繰り返されて、利用者が向く方向に対応する３次元映像が、映像表示部９３０に表示される。

《「右スピーカ用音信号」及び「左スピーカ用音信号」の生成処理》
次に、音信号生成部７４０による「右スピーカ用音信号」及び「左スピーカ用音信号」の生成方法について説明する。この「右スピーカ用音信号」及び「左スピーカ用音信号」の生成処理は、上述した「右目用映像信号」及び「左目用映像信号」の生成処理と並行して行われる。

音信号生成部７４０は、検出部７２０が検出した「利用者が向く方向」を受けると、「まず、３つの全方向カメラが配置される円周の中心からみて、利用者が向く方向に対応する方向側に配置されている２つの全方向カメラに対応して配置されたマイクを特定する。

次に、音信号生成部７４０は、「利用者が向く方向」及び特定された２つのマイクの収音位置に基づき、特定された２つのマイクの音声データから、右スピーカ用の音信号及び左スピーカ用の音信号を生成する。そして、音信号生成部７４０は、生成された右スピーカ用の音信号を右スピーカへ送るとともに、生成された左スピーカ用の音信号を左スピーカへ送る。

右スピーカ用の音信号を受けた右スピーカは、右耳用の音を出力し、左スピーカ用の音信号を受けた左スピーカは、左耳用の音を出力する。この結果、利用者が向く方向に対応する方向の音が、音出力部９４０から出力される。

以後、検出部７２０により検出された「利用者が向く方向」を、音信号生成部７４０が受けるごとに上述した処理が繰り返されて、利用者が向く方向に対応する音が、音出力部９４０から出力される。

以上説明したように、第１実施形態では、取得部７１０が、円周上を等分するように配置された３つの全方向カメラのそれぞれが撮影した映像の映像データ及び当該映像のそれぞれの方向データを取得し、映像信号生成部７３０へ送る。また、検出部７２０が「利用者が向く方向」を検出し、映像信号生成部７３０へ送る。映像信号生成部７３０は、検出部７２０から送られた「利用者が向く方向」を受けると、３つの全方向カメラが配置される円周の中心からみて、利用者が向く方向に対応する方向側に配置されている２つの全方向カメラを特定する。次に、映像信号生成部７３０は、「利用者が向く方向」に基づき、特定された２つの全方向カメラの一方が撮影した映像の映像データから右目視界範囲内のデータを切り出して右目用映像信号を生成し、当該特定された２つの全方向カメラの他方が撮影した映像の映像データから左目視界範囲内のデータを切り出して左目用映像信号を生成する。

そして、映像信号生成部７３０は、生成された右目用映像信号を映像表示部９３０の右目用表示部へ送るとともに、生成された左目用映像信号を映像表示部９３０の左目用表示部へ送る。右目用映像信号を受けた右目用表示部は、右目用の映像を表示し、左目用映像信号を受けた左目用表示部は、左目用の映像を表示する。

このため、利用者が向く方向の変化に応じて変化する利用者の視界に対応する３次元映像を、利用者に提供することができる。

また、第１実施形態では、３つの全方向カメラが撮影した映像から周囲３６０度方向の３次元映像を生成することができるため、全方向映像のデータ量を抑制することができる。

また、第１実施形態では、音信号生成部７４０は、検出部７２０から送られた「利用者が向く方向」を受けると、３つの全方向カメラが配置される円周の中心からみて、利用者が向く方向に対応する方向側に配置されている２つの全方向カメラに対応して配置されたマイクを特定する。次に、音信号生成部７４０は、「利用者が向く方向」及び特定された２つのマイクの収音位置に基づき、特定された２つのマイクが収音した音声データから、右スピーカ用の音信号及び左スピーカ用の音信号を生成する。

そして、音信号生成部７４０は、生成された右スピーカ用の音信号を右スピーカへ送るとともに、生成された左スピーカ用の音信号を左スピーカへ送る。右スピーカ用の音信号を受けた右スピーカは、右耳用の音を出力し、左スピーカ用の音信号を受けた左スピーカは、左耳用の音を出力する。

このため、利用者が向く方向の変化に応じて変化する利用者の視界に対応する３次元映像を利用者に提供するとともに、利用者が向く方向で聴くことになる音を提供することができる。

したがって、本発明の第１実施形態によれば、３次元映像の提供により表現される仮想的な３次元空間において、利用者の臨場感を向上させることができる。

［第２実施形態］
次に、本発明の第２実施形態を、図２を参照して説明する。
＜構成＞
図２には、第２実施形態に係る映像送信装置８１０及び映像受信装置８２０の概略的な構成がブロック図にて示されている。図２に示されるように、映像送信装置８１０には、３次元映像撮影装置９９０が接続されている。また、映像受信装置８２０には、映像表示部９３０と、音出力部９４０とが接続されている。

上記の３次元映像撮影装置９９０は、円周上を等分するように配置された３つの全方向カメラと、当該３つの全方向カメラのそれぞれと対応して配置された３つのマイクとを備えている。また、３次元映像撮影装置９９０は、方位検出部を備えている。この方位検出部は、３次元映像撮影装置９９０が向く方位を検出する。そして、方位検出部により検出された３次元映像撮影装置９９０が向く方位、及び、３つの全方向カメラの固定位置関係から、３つの全方位カメラのそれぞれが撮影した映像の方向が導出される。

３次元映像撮影装置９９０は、３つの全方向カメラのそれぞれが撮影した映像の映像データ、当該映像のそれぞれの方向データ、３つのマイクのそれぞれが収音した音声データ、及び、当該マイクのそれぞれの収音位置データを映像送信装置８１０へ送る。

《映像送信装置８１０の構成》
図２に示されるように、映像送信装置８１０は、エンコード部７６０と、送信部７７０とを備えている。

上記のエンコード部７６０は、３次元映像撮影装置９９０から送られた３つの全方向カメラのそれぞれが撮影した映像の映像データ及び当該映像のそれぞれの方向データを取得する。また、エンコード部７６０は、３次元映像撮影装置９９０から送られた３つのマイクのそれぞれが収音した音声データ及び当該マイクのそれぞれの収音位置データを取得する。

エンコード部７６０は、３つの映像データをエンコードして３つの映像エンコードデータを生成するとともに、方向データをエンコードして方向情報エンコードデータを生成する。また、エンコード部７６０は、３つの音声データをエンコードして音声エンコードデータを生成するとともに、収音位置データをエンコードして位置情報エンコードデータを生成する。そして、エンコード部７６０は、生成されたエンコードデータを送信部７７０へ送る。

上記の送信部７７０は、エンコード部７６０から送られた３つの映像エンコードデータ及び方向情報エンコードデータ、並びに、３つの音声エンコードデータ及び位置情報エンコードデータを受ける。そして、送信部７７０は、エンコード部７６０から送られたエンコードデータを関連付けて多重化処理等を施し、３次元映像情報番組の放送波にして送信する。

《映像受信装置８２０の構成》
図２に示されるように、映像受信装置８２０は、検出部７２０と、映像信号生成部７３０と、音信号生成部７４０と、受信部７８０とを備えている。

上記の受信部７８０は、映像送信装置８１０から送信された放送波を受信する。そして、受信部７８０は、放送波から３次元映像情報番組の情報を担う信号を抽出する。引き続き、受信部７８０は、当該抽出した信号をデコードし、３つの全方向カメラのそれぞれが撮影した映像の「映像データ」及び当該映像のそれぞれの「方向データ」を取得するとともに、３つのマイクのそれぞれが収音した「音声データ」及び当該マイクのそれぞれの「収音位置データ」を取得する。

そして、受信部７８０は、３つの全方位カメラのそれぞれが撮影した映像の映像データ及び当該映像のそれぞれの方向データを映像信号生成部７３０へ送る。また、受信部７８０は、３つのマイクのそれぞれが収音した音声データ及び当該マイクのそれぞれの収音位置データを音信号生成部７４０へ送る。

＜動作＞
上記のように構成された映像送信装置８１０及び映像受信装置８２０の動作について、映像送信装置８１０による「３次元映像情報番組」の送信処理、映像受信装置８２０による「３次元映像情報番組」の受信処理に主に着目して説明する。

《「３次元映像情報番組」の送信処理》
まず、映像送信装置８１０による「３次元映像情報番組」の送信方法について説明する。

３次元映像撮影装置９９０は、カメラによる撮影及びマイクによる収音を開始すると、３つの全方向カメラのそれぞれが撮影した映像の映像データ、当該映像のそれぞれの方向データ、３つのマイクのそれぞれが収音した音声データ、及び、当該マイクのそれぞれの収音位置データを映像送信装置８１０のエンコード部７６０へ送る。

エンコード部７６０は、３次元映像撮影装置９９０から送られたデータを受けると、３つの映像データをエンコードした３つの映像エンコードデータ、及び、方向データをエンコードした方向情報エンコードデータを生成する。また、エンコード部７６０は、３つの音声データをエンコードした音声エンコードデータ、及び、収音位置データをエンコードした位置情報エンコードデータを生成する。こうして生成されたエンコードデータのそれぞれは、エンコード部７６０から送信部７７０へ送られる。

送信部７７０は、エンコード部７６０から送られたエンコードデータに対して多重化処理等を施して、３次元映像情報番組の放送波にして映像受信装置へ送信する。

《「３次元映像情報番組」の受信処理》
次に、映像受信装置８２０による「３次元映像情報番組」の受信処理方法について説明する。

映像送信装置８１０から送信された放送波は、映像受信装置８２０の受信部７８０が受信する。受信部７８０は、映像送信装置８１０から送信された放送波を受信すると、当該放送波から３次元映像情報番組の情報を担う信号を抽出する。そして、受信部７８０は、当該抽出された信号をデコードし、３つの全方向カメラのそれぞれが撮影した映像の「映像データ」及び当該映像のそれぞれの「方向データ」を取得するとともに、３つのマイクのそれぞれが収音した「音声データ」及び当該マイクのそれぞれの「収音位置データ」を取得する。

次いで、受信部７８０は、当該映像データ及び映像の方向データを映像信号生成部７３０へ送り、当該音声データ及びマイクの収音位置データを音信号生成部７４０へ送る。

３つの全方向カメラのそれぞれが撮影した映像の映像データ及び当該映像のそれぞれの方向データを受けた映像信号生成部７３０は、上述した第１実施形態の場合と同様にして、検出部７２０が検出した「利用者が向く方向」に基づき、「右目用映像信号」及び「左目用映像信号」を生成する。そして、映像信号生成部７３０は、生成された右目用映像信号を映像表示部９３０の右目用表示部へ送るとともに、生成された左目用映像信号を映像表示部９３０の左目用表示部へ送る。

右目用映像信号を受けた右目用表示部は、右目用の映像を表示し、左目用映像信号を受けた左目用表示部は、左目用の映像を表示する。この結果、利用者が向く方向に対応する方向の３次元映像が、映像表示部９３０に表示される。

以後、検出部７２０により検出された「利用者が向く方向」を映像信号生成部７３０が受けるごとに、利用者が向く方向に対応する３次元映像が、映像表示部９３０に表示される。

また、３つのマイクのそれぞれが収音した音声データ及び当該マイクのそれぞれの収音位置データを受けた音信号生成部７４０は、上述した第１実施形態の場合と同様にして、検出部７２０が検出した「利用者が向く方向」に基づき、「右スピーカ用音信号」及び「左スピーカ用音信号」を生成する。そして、音信号生成部７４０は、生成された右スピーカ用の音信号を右スピーカへ送るとともに、生成された左スピーカ用の音信号を左スピーカへ送る。

右スピーカ用の音信号を受けた右スピーカは、右耳用の音を出力し、左スピーカ用の音信号を受けた左スピーカは、左耳用の音を出力する。この結果、利用者が向く方向に対応する方向の音が、音出力部９４０から出力される。

以後、検出部７２０により検出された「利用者が向く方向」を音信号生成部７４０が受けるごとに、利用者が向く方向に対応する音が、音出力部９４０から出力される。

以上説明したように、第２実施形態では、映像送信装置８１０が、３次元映像撮影装置９９０が撮影及び収音した３つの全方向カメラのそれぞれが撮影した映像の映像データ及び当該映像のそれぞれの方向データ、並びに、３つのマイクのそれぞれが収音した音声データ及び当該マイクのそれぞれの収音位置データを受ける。そして、映像送信装置８１０は、映像データ、方向データ、音声データ及び収音位置データのそれぞれをエンコードした後、エンコードデータを多重化し、３次元映像情報番組の放送波にして映像受信装置へ送信する。

そして、映像送信装置８１０から送信された放送波を映像受信装置８２０が受けると、当該放送波から３次元映像情報番組の情報を担う信号を抽出する。そして、映像受信装置８２０は、当該抽出された信号をデコードし、３つの全方向カメラのそれぞれが撮影した映像の「映像データ」及び当該映像のそれぞれの「方向データ」を取得するとともに、３つのマイクのそれぞれが収音した「音声データ」及び当該マイクのそれぞれの「収音位置データ」を取得する。

引き続き、映像受信装置８２０では、映像信号生成部７３０が、検出部７２０が検出した「利用者が向く方向」を受けると、利用者が向く方向に対応する方向側に配置されている２つの全方向カメラを特定する。次に、映像信号生成部７３０は、「利用者が向く方向」に基づき、特定された２つの全方向カメラの一方が撮影した映像の映像データから右目視界範囲内のデータを切り出して右目用映像信号を生成し、当該特定された２つの全方向カメラの他方が撮影した映像の映像データから左目視界範囲内のデータを切り出して左目用映像信号を生成する。

また、映像受信装置８２０では、音信号生成部７４０が、検出部７２０が検出した「利用者が向く方向」を受けると、利用者が向く方向に対応する方向側に配置されている２つの全方向カメラを特定する。次に、音信号生成部７４０は、「利用者が向く方向」に基づき、特定された２つの全方向カメラに対応して配置された２つのマイクが収音した音声データから、右スピーカ用の音信号及び左スピーカ用の音信号を生成する。

このため、映像受信装置８２０の利用者が向く方向の変化に応じて変化する利用者の視界に対応する３次元映像を、利用者に提供することができる。また、利用者が向く方向で聴くことになる音を、利用者に提供することができる。

また、第２実施形態では、上述した第１実施形態と同様に、３つの全方向カメラが撮影した映像から周囲３６０度方向の３次元映像を生成することができるため、全方向映像のデータ量を抑制することができる。

したがって、本発明の第２実施形態によれば、上述した第１実施形態と同様に、３次元映像の提供により表現される仮想的な３次元空間において、利用者の臨場感を向上させることができる。

［実施形態の変形］
上記の第１及び第２実施形態は、様々な変形が可能である。

例えば、上記の第１及び第２実施形態では、利用者が向く方向の変化に応じて変化する利用者の視界に対応する３次元映像を生成するとともに、利用者が向く方向で聴くことになる音を生成することとした。これに対して、利用者が向く方向の変化に応じて変化する利用者の視界に対応する３次元映像のみを生成するようにしてもよい。

また、上記の第１及び第２実施形態では、３つの全方向カメラのそれぞれが撮影した映像の方向データの内容を、全方向カメラにより撮影された映像の方位方向（例えば、東西南北方向）としたが、方向データの内容は、３つの全方向カメラの撮影基準方向を示すものであってもよい。この場合には、利用者が正面を向く方向を、特定の２つの全方向カメラが撮影した映像の一方向にすることで、例えば、ジェットコースタに搭乗した際に体験することとなる臨場感溢れる３次元映像を、利用者に提供することができる。

また、上記の第２実施形態では、映像送信装置に３次元映像撮影装置が接続されることとしたが、映像送信装置に第１実施形態における記録部を接続するようにしてもよい。

また、上記の第１及び第２実施形態では、全方向カメラの数を３つとしたが、全方向カメラの数は、４つ以上であってもよい。

なお、上記の第１実施形態の映像処理装置の取得部、映像信号生成部及び音信号生成部、並びに、上記の第２実施形態の映像受信装置の映像信号生成部及び音信号生成部を、中央処理装置（ＣＰＵ：Central Processing Unit）、ＤＳＰ（Digital Signal Processor）等を備えた演算部としてのコンピュータとして構成し、予め用意されたプログラムを当該コンピュータで実行することにより、これらの要素の処理の一部又は全部を実行するようにしてもよい。このプログラムはハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、当該コンピュータによって記録媒体からロードされて実行される。また、このプログラムは、ＣＤ−ＲＯＭ、ＤＶＤ等の可搬型記録媒体に記録された形態で取得されるようにしてもよいし、インターネットなどのネットワークを介した配信の形態で取得されるようにしてもよい。

以下、本発明の実施例を、図３〜図１５を参照して説明する。なお、以下の説明及び図面においては、同一又は同等の要素については同一の符号を付し、重複する説明を省略する。

＜３次元映像撮影装置の構成＞
本発明の実施例の構成の説明に先立って、３次元映像撮影装置５００の構成について説明する。３次元映像撮影装置５００は、図３（Ａ），（Ｂ）により総合的に示されるように、３つの全方向カメラＣＭＡ，ＣＭＢ，ＣＭＣと、３つのマイクＭＣＡ，ＭＣＢ，ＭＣＣと、方位検出部５３０とを備えている。

上記の全方向カメラＣＭＡ，ＣＭＢ，ＣＭＣは、円周上を等分するように配置され、隣り合う全方向カメラ間の距離は、概ね人体の右目と左目との間の距離（両眼視差）となっている。全方向カメラＣＭＡ，ＣＭＢ，ＣＭＣは、周囲３６０度方向（全方位）の映像を撮影する。

全方向カメラＣＭＡ，ＣＭＢ，ＣＭＣのそれぞれが撮影した映像の例が、図４（Ａ）〜（Ｃ）に示されている。ここで、図４（Ａ）において柱状に撮影されている「Ｂ」、「Ｃ」は、全方向カメラＣＭＢ，ＣＭＣである。また、図４（Ｂ）において柱状に撮影されている「Ｃ」、「Ａ」は、全方向カメラＣＭＣ，ＣＭＡである。また、図４（Ｃ）においては柱状に撮影されている「Ａ」、「Ｂ」は、全方向カメラＣＭＡ，ＣＭＢである。

ここで、図３及び図４に示される「撮影基準方向」とは、全方向カメラの中心を通り、かつ、３つの全方向カメラが配置される円周を有する円の中心から外側へと向かう方向である。

上記のマイクＭＣＡ，ＭＣＢ，ＭＣＣは、全方向カメラＣＭＡ，ＣＭＢ，ＣＭＣのそれぞれと対応して配置されている。マイクＭＣＡ，ＭＣＢ，ＭＣＣは、周囲の音を収音する。なお、これらのマイクは、３つのマイクが配置される円周を有する円の中心から外側方向に対して指向性を持っていることが望ましい。

上記の方位検出部５３０は、ジャイロコンパスセンサを備えて構成される。方位検出部５３０は、３次元映像撮影装置５００が向く方位を検出する。そして、方位検出部５３０により検出された３次元映像撮影装置５００が向く方位、及び、３つの全方向カメラＣＭＡ，ＣＭＢ，ＣＭＣの撮影基準方向が向く方向から、３つの全方向カメラＣＭＡ，ＣＭＢ，ＣＭＣのそれぞれが撮影した平面映像の各位置へと向かう当該円の中心からの方向（「映像の方向」）が導出される。

［第１実施例］
次に、本発明の第１実施例を、図５〜図１４を主に参照して説明する。

＜構成＞
図５には、第１実施例に係る映像処理装置１００の概略的な構成がブロック図にて示されている。この映像処理装置１００は、上述した第１実施形態の映像処理装置７００（図１参照）の一態様となっている。

映像処理装置１００は、映像表示ユニット２３０と、音出力ユニット２４０とが接続されている。

上記の映像表示ユニット２３０は、右目用表示部ＤＰＲ及び左目用表示部ＤＰＬを備えて構成される。右目用表示部ＤＰＲは、液晶パネル等の表示デバイスを備えて構成され、映像処理装置１００から送られた右目用映像信号を受ける。そして、右目用表示部ＤＰＲは、当該右目用映像信号に対応する映像を表示する。左目用表示部ＤＰＬは、液晶パネル等の表示デバイスを備えて構成され、映像処理装置１００から送られた左目用映像信号を受ける。そして、左目用表示部ＤＰＬは、当該左目用映像信号に対応する映像を表示する。この映像表示ユニット２３０は、上述した第１実施形態における映像表示部９３０の機能を果たすようになっている。

上記の音出力ユニット２４０は、右スピーカＳＰＲ及び左スピーカＳＰＬを備えて構成される。右スピーカＳＰＲは、映像処理装置１００から送られた右スピーカ用音信号を受ける。そして、右スピーカＳＰＲは、当該右スピーカ用音信号に対応する音を出力する。また、左スピーカＳＰＬは、映像処理装置１００から送られた左スピーカ用音信号を受ける。そして、左スピーカＳＰＬは、当該左スピーカ用音信号に対応する音を出力する。第１実施形態では、右スピーカＳＰＲ及び左スピーカＳＰＬは、利用者が装着する専用ヘッドフォン（不図示）に配置されている。この音出力ユニット２４０は、上述した第１実施形態における音出力部９４０の機能を果たすようになっている。

なお、映像処理装置１００の構成の説明に先立って、上述した映像表示ユニット２３０における右目用表示部ＤＰＲ及び左目用表示部ＤＰＬの配置位置について説明する。第１実施例では、図６に示されるように、利用者が装着する３次元映像表示用の専用メガネの右目用レンズに相当する部分に右目用表示部ＤＰＲが配置され、当該専用メガネの左目用レンズに相当する部分に左目用表示部ＤＰＬが配置される。

《映像処理装置１００の構成》
次に、上記の映像処理装置１００の構成について、説明する。映像処理装置１００は、上述した図５に示されるように、制御ユニット１１０Ａと、記憶ユニット１２０と、方向検出ユニット１３０とを備えている。

上記の制御ユニット１１０Ａは、映像処理装置１００の全体を統括制御するとともに、様々な処理を実行する。この制御ユニット１１０Ａは、演算部としての中央処理装置（ＣＰＵ）、ＤＳＰ（Digital Signal Processor）及びその周辺回路を備えて構成されている。制御ユニット１１０Ａが様々なプログラムを実行することにより、映像処理装置１００としての各種機能が実現されるようになっている。こうした機能の中には、上述した第１実施形態における取得部７１０、映像信号生成部７３０及び音信号生成部７４０の機能も含まれている。かかる制御ユニット１１０Ａが実行する処理の詳細については、後述する。

なお、制御ユニット１１０Ａが実行するプログラムは、ハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、当該記録媒体からロードされて実行される。また、このプログラムは、ＣＤ−ＲＯＭ、ＤＶＤ等の可搬型記録媒体に記録された形態で取得されるようにしてもよいし、インターネットなどのネットワークを介した配信の形態で取得されるようにしてもよい。

上記の記憶ユニット１２０は、ハードディスク装置等の不揮発性の記憶装置を備えて構成され、映像処理装置１００において利用される様々な情報データが記憶される。記憶ユニット１２０には、制御ユニット１１０Ａがアクセスできるようになっている。記憶ユニット１２０に記憶される情報データについては、後述する。この記憶ユニット１２０は、上述した第１実施形態における記録部９１０の機能を果たすようになっている。

上記の方向検出ユニット１３０は、上述した専用メガネのブリッジ部材に取り付けられたジャイロコンパスセンサを備えて構成されている（図６参照）。この方向検出ユニット１３０は、専用メガネを装着した利用者が向く方向を検出する。方向検出ユニット１３０により検出された「利用者が向く方向」は、制御ユニット１１０Ａへ送られる。すなわち、方向検出ユニット１３０は、上述した第１実施形態における検出部７２０の機能を果たすようになっている。

次に、上述した記憶ユニット１２０に記憶される情報データについて説明する。こうした情報データには、図７に示されるように、映像情報ＩＤＩ及び音声情報ＡＤＩが含まれている。

上記の映像情報ＩＤＩには、全方向カメラＣＭＡが撮影した映像の映像データ＃Ａ、全方向カメラＣＭＢが撮影した映像の映像データ＃Ｂ、及び、全方向カメラＣＭＣが撮影した映像の映像データ＃Ｃ、並びに、３つの全方向カメラＣＭＡ，ＣＭＢ，ＣＭＣのそれぞれが撮影した映像の方向データが含まれている。第１実施例では、方向データに示される映像の方向は、撮影基準方向が向く方向となっている。そして、撮影基準方向が向く方向を用いて、各方向カメラが撮影した映像の方向が導出できるようになっている。

上記の音声情報ＡＤＩには、マイクＭＣＡが収音した音声データ＃Ａ、マイクＭＣＢが収音した音声データ＃Ｂ、及び、マイクＭＣＣが収音した音声データ＃Ｃ、並びに、３つのマイクＭＣＡ，ＭＣＢ，ＭＣＣの収音位置データが含まれている。

＜動作＞
以上のようにして構成された映像処理装置１００の動作について、制御ユニット１１０Ａによる３次元映像表示のための映像信号の生成処理に、主に着目して説明する。

映像処理装置１００では、制御ユニット１１０Ａが、記憶ユニット１２０から、映像データ＃Ａ，＃Ｂ，＃Ｃ及びそれぞれの映像の方向データを読み出すとともに、収音した音声データ＃Ａ，＃Ｂ，＃Ｃ及びそれぞれのマイクの収音位置データを読み出しているものとする。

このような状況のもとで、制御ユニット１１０Ａにより、３次元映像表示のための映像信号の生成処理、及び、音声信号の生成処理が実行される。かかる映像信号及び音声信号の生成処理に際して、図８に示されるように、まず、ステップＳ１１において、制御ユニット１１０Ａが、方向検出ユニット１３０が検出する「利用者が向く方向」を取得したか否かを判定する。この判定の結果が否定的であった場合（ステップＳ１１：Ｎ）には、ステップＳ１１の処理が繰り返される。

一方、ステップＳ１１における判定の結果が肯定的であった場合（ステップＳ１１：Ｙ）には、処理はステップＳ１２へ進む。このステップＳ１２では、制御ユニット１１０Ａが、「利用者が向く方向」に基づき、３つの全方向カメラが配置される円周の中心からみて、利用者が向く方向に対応する方向側に配置されている２つの全方向カメラを特定する。

次に、制御ユニット１１０Ａは、利用者が向く方向に基づいて、特定された２つの全方向カメラの一方が撮影した映像の映像データから右目視界範囲内のデータを切り出して右目用映像信号を生成し、当該特定された２つの全方向カメラの他方が撮影した映像の映像データから左目視界範囲内のデータを切り出して左目用映像信号を生成する。

また、制御ユニット１１０Ａは、利用者が向く方向に対応する方向側に配置されている２つの全方向カメラに対応して配置されたマイクを特定する。そして、制御ユニット１１０Ａは、利用者が向く方向及び特定された２つのマイクの収音位置に基づき、特定された２つのマイクの音声データを適宜混合して、右スピーカ用の音信号及び左スピーカ用の音信号を生成する。この後、処理はステップＳ１４へ進む。

ステップＳ１４では、制御ユニット１１０Ａが、生成された右目用映像信号を右目用表示部ＤＰＲに供給するとともに、左目用映像信号を左目用表示部ＤＰＬに供給する。また、制御部１１０Ａは、生成された右スピーカ用の音信号を右スピーカＳＰＲに供給するとともに、左スピーカ用の音信号を左スピーカＳＰＬに供給する。

右目用映像信号を受けた右目用表示部ＤＰＲは、右目用の映像を表示し、左目用映像信号を受けた左目用表示部ＤＰＬは、左目用の映像を表示する。この結果、利用者が向く方向に対応する方向の３次元映像が表示される。また、右スピーカ用の音信号を受けた右スピーカＳＰＲは、右耳用の音を出力し、左スピーカ用の音信号を受けた左スピーカＳＰＬは、左耳用の音を出力する。この結果、利用者が向く方向に対応する方向の音が出力される。この後、処理はステップＳ１１へ戻る。

以後、上記のステップＳ１１〜Ｓ１４の処理が繰り返されて、３次元映像表示のための映像信号の生成処理、及び、音信号の生成処理が行われる。

ここで、利用者が向く方向が図９（Ａ）に示される方向のときには、図９（Ｂ）に示されるように、全方向カメラ「ＣＭＢ」，「ＣＭＡ」が、利用者が向く方向に対応する方向側に配置されている２つの全方向カメラとして特定される。そして、図１０に示されるように、全方向カメラ「ＣＭＢ」が撮影した映像の映像データから、太枠で囲んだ右目視界範囲内のデータを切り出して右目用映像信号を生成する。また、全方向カメラ「ＣＭＡ」が撮影した映像の映像データから、太枠で囲んだ左目視界範囲内のデータを切り出して左目用映像信号を生成する。

また、利用者が向く方向が図１１（Ａ）に示される方向のときには、図１１（Ｂ）に示されるように、全方向カメラ「ＣＭＣ」，「ＣＭＢ」が、利用者が向く方向に対応する方向側に配置されている２つの全方向カメラとして特定される。そして、図１２に示されるように、全方向カメラ「ＣＭＣ」が撮影した映像の映像データから、太枠で囲んだ右目視界範囲内のデータを切り出して右目用映像信号を生成する。また、全方向カメラ「ＣＭＢ」が撮影した映像の映像データから、太枠で囲んだ左目視界範囲内のデータを切り出して左目用映像信号を生成する。

また、利用者が向く方向が図１３（Ａ）に示される方向のときには、図１３（Ｂ）に示されるように、全方向カメラ「ＣＭＢ」，「ＣＭＡ」が、利用者が向く方向に対応する方向側に配置されている２つの全方向カメラとして特定される。そして、図１４に示されるように、全方向カメラ「ＣＭＢ」が撮影した映像の映像データから、太枠で囲んだ右目視界範囲内のデータを切り出して右目用映像信号を生成する。また、全方向カメラ「ＣＭＡ」が撮影した映像の映像データから、太枠で囲んだ左目視界範囲内のデータを切り出して左目用映像信号を生成する。

以上説明したように、第１実施例では、制御ユニット１１０Ａが、円周上を等分するように配置された３つの全方向カメラのそれぞれが撮影した映像の映像データ及び当該映像のそれぞれの方向データを取得する。そして、制御ユニット１１０Ａは、方向検出ユニット１３０が検出する「利用者が向く方向」を受けると、３つの全方向カメラが配置される円周の中心からみて、利用者が向く方向に対応する方向側に配置されている２つの全方向カメラを特定する。次に、制御ユニット１１０Ａは、「利用者が向く方向」に基づき、特定された２つの全方向カメラの一方が撮影した映像の映像データから右目視界範囲内のデータを切り出して右目用映像信号を生成し、当該特定された２つの全方向カメラの他方が撮影した映像の映像データから左目視界範囲内のデータを切り出して左目用映像信号を生成する。

そして、制御ユニット１１０Ａは、生成された右目用映像信号を右目用表示部ＤＰＲへ送るとともに、左目用映像信号を左目用表示部ＤＰＬへ送る。右目用映像信号を受けた右目用表示部ＤＰＲは、右目用の映像を表示し、左目用映像信号を受けた左目用表示部ＤＰＬは、左目用の映像を表示する。

このため、利用者が向く方向の変化に応じて変化する利用者の視界に対応する３次元映像を、利用者に提供することができる。

また、第１実施例では、３つの全方向カメラが撮影した映像から周囲３６０度方向の３次元映像を生成することができるため、全方向映像のデータ量を抑制することができる。

また、第１実施例では、制御ユニット１１０Ａは、方向検出ユニット１３０が検出する「利用者が向く方向」を受けると、利用者が向く方向に対応する方向側に配置されている２つの全方向カメラに対応して配置されたマイクを特定する。そして、制御ユニット１１０Ａは、「利用者が向く方向」及び特定された２つのマイクの収音位置に基づき、特定された２つのマイクが収音した音声データから、右スピーカ用の音信号及び左スピーカ用の音信号を生成する。そして、制御ユニット１１０Ａは、生成された右スピーカ用の音信号を右スピーカＳＰＲへ送るとともに、左スピーカ用の音信号を左スピーカＳＰＬへ送る。右スピーカ用の音信号を受けた右スピーカＳＰＲは、右耳対応の音を出力し、左スピーカ用の音信号を受けた左スピーカＳＰＬは、左耳対応の音を出力する。

このため、利用者が向く方向の変化に応じて変化する利用者の視界に対応する３次元映像を利用者に提供するとともに、利用者が向く方向で聴くことになる音を提供することができる。

したがって、第１実施例によれば、３次元映像の提供により表現される仮想的な３次元空間において、利用者の臨場感を向上させることができる。

［第２実施例］
次に、本発明の第２実施例を、図１５を主に参照して説明する。この第２実施例は、上述した第２実施形態（図２参照）の一態様となっている。

＜構成＞
図１５には、第２実施例に係る映像送信装置３００及び映像処理装置４００の概略的な構成がブロック図にて示されている。なお、映像送信装置３００は、第２実施形態における映像送信装置８１０の一態様であり、映像処理装置４００は、第２実施形態における映像受信装置８２０の一態様である。

図１５に示されるように、映像送信装置３００には、３次元映像撮影装置５００が接続されている。また、映像処理装置４００には、映像表示ユニット２３０と、音出力ユニット２４０とが接続されている。

《映像送信装置３００の構成》
図１５には、映像送信装置３００の概略的な構成がブロック図にて示されている。図１５に示されるように、映像送信装置３００は、エンコードユニット３１０と、送信処理ユニット３２０と、アンテナ３３０とを備えている。

上記のエンコードユニット３１０は、３次元映像撮影装置５００から送られた３つの全方向カメラＣＭＡ，ＣＭＢ，ＣＭＣのそれぞれが撮影した映像の映像データ＃Ａ，＃Ｂ，＃Ｃ及び当該映像のそれぞれの方向データを取得する。また、エンコードユニット３１０は、３つのマイクＭＣＡ，ＭＣＢ，ＭＣＣのそれぞれが収音した音声データ＃Ａ，＃Ｂ，＃Ｃ及び当該マイクのそれぞれの収音位置データを取得する。

そして、エンコードユニット３１０は、映像データ＃Ａ，＃Ｂ，＃Ｃをエンコードして、映像エンコードデータ＃Ａ，＃Ｂ，＃Ｃを生成するとともに、方向データをエンコードして方向情報エンコードデータを生成する。また、エンコードユニット３１０は、音声データ＃Ａ，＃Ｂ，＃Ｃをエンコードして、音声エンコードデータ＃Ａ，＃Ｂ，＃Ｃを生成するとともに、収音位置データをエンコードして位置情報エンコードデータを生成する。こうして生成されたエンコードデータのそれぞれは、送信処理ユニット３２０へ送られる。このエンコードユニット３１０は、上述した第２実施形態におけるエンコード部７６０の機能を果たすようになっている。

上記の送信処理ユニット３２０は、エンコードユニット３１０から送られた映像エンコードデータ＃Ａ，＃Ｂ，＃Ｃ、方向情報エンコードデータ、音声エンコードデータ＃Ａ，＃Ｂ，＃Ｃ、及び、位置情報エンコードデータを受ける。そして、送信処理ユニット３２０は、エンコードユニット３１０から送られたエンコードデータを関連付けて多重化処理等を施し、基地局へ送信する放送信号に対応する信号に変換する。こうして変換された信号は、３次元映像情報番組の信号としてアンテナ３３０へ送られる。

上記のアンテナ３３０は、送信処理ユニット３２０から送られた信号を受けて、当該信号に対応する放送信号を、基地局へ送信する。

この送信処理ユニット３２０及びアンテナ３３０が、上述した第２実施形態における送信部７７０の機能を果たすようになっている。

《映像受信装置４００の構成》
図１５には、映像受信装置４００の概略的な構成がブロック図にて示されている。図１５に示されるように、映像受信装置４００は、上述した第１実施例の映像処理装置１００と比べて、制御ユニット１１０Ａに代えて制御ユニット１１０Ｂを備える点、アンテナ４１０と受信処理ユニット４２０とを更に備える点、及び、記憶ユニット１２０を備えていない点が異なっている。以下、これらの相違点に主に着目して説明する。

上記の制御ユニット１１０Ｂは、演算部としての中央処理装置（ＣＰＵ）、ＤＳＰ（Digital Signal Processor）及びその周辺回路を備えて構成され、映像受信装置４００の全体を統括制御する。この制御ユニット１１０Ｂが様々なプログラムを実行することにより、映像受信装置４００としての各種機能が実現されるようになっている。こうした機能の中には、上述した第２実施形態における映像信号生成部７３０及び音信号生成部７４０の機能も含まれている。

この制御ユニット１１０Ｂが実行するプログラムは、ハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、当該記録媒体からロードされて実行される。また、このプログラムは、ＣＤ−ＲＯＭ、ＤＶＤ等の可搬型記録媒体に記録された形態で取得されるようにしてもよいし、インターネットなどのネットワークを介した配信の形態で取得されるようにしてもよい。

なお、制御ユニット１１０Ｂが実行する処理の詳細については、後述する。

上記のアンテナ４１０は、放送波を受信する。アンテナ４１０による受信信号は、受信処理ユニット４２０へ送られる。

上記の受信処理ユニット４２０は、ＲＦ処理部と、復調部と、デコード部（いずれも不図示）とを備えて構成されている。

ＲＦ処理部は、アンテナ４１０から送られた受信信号を受ける。そして、ＲＦ処理部は、制御ユニット１１０Ｂから送られる選局指令に従って、３次元映像情報番組の信号を受信信号から抽出し、中間周波数を有する選局信号を復調部へ向けて出力する。復調部は、選局信号に対して復調処理を施して、その結果を復調データとして、デコード部へ向けて出力する。デコード部は、コード化された復調データをデコードする。こうしてデコードされたデータには、上述した映像データ＃Ａ，＃Ｂ，＃Ｃ、映像の方向データ、音声データ＃Ａ，＃Ｂ，＃Ｃ及びマイクの収音位置データが含まれている。こうしてデコードされたデータのそれぞれは、制御ユニット１１０Ｂへ向けて出力される。

このアンテナ４１０及び受信処理ユニット４２０が、上述した第２実施形態における受信部７８０の機能を果たすようになっている。

＜動作＞
以上のようにして構成された映像送信装置３００及び映像受信装置４００の動作について、映像送信装置３００による「３次元映像情報番組」の送信処理、映像受信装置４００による「３次元映像情報番組」の受信処理に主に着目して説明する。

《「３次元映像情報番組」の送信処理》
まず、映像送信装置３００による「３次元映像情報番組」の送信方法について説明する。

カメラによる撮影及びマイクによる収音を開始すると、３次元映像撮影装置５００は、３つの全方向カメラのそれぞれが撮影した映像の映像データ＃Ａ，＃Ｂ，＃Ｃ、当該映像のそれぞれの方向データ、３つのマイクのそれぞれが収音した音声データ＃Ａ，＃Ｂ，＃Ｃ、及び、当該マイクのそれぞれの収音位置データを、映像送信装置３００のエンコードユニット３１０へ送る。

エンコードユニット３１０は、３次元映像撮影装置５００から送られたデータを受けると、映像データ＃Ａ，＃Ｂ，＃Ｃをエンコードした映像エンコードデータ＃Ａ，＃Ｂ，＃Ｃ、及び、方向データをエンコードした方向情報エンコードデータを生成する。また、エンコードユニット３１０は、音声データ＃Ａ，＃Ｂ，＃Ｃをエンコードした音声エンコードデータ＃Ａ，＃Ｂ，＃Ｃ、及び、収音位置データをエンコードした位置情報エンコードデータを生成する。こうして生成されたエンコードデータのそれぞれは、送信処理ユニット３２０へ送られる。

送信処理ユニット３２０は、エンコードユニット３１０から送られたエンコードデータに対して多重化処理等を施して、基地局へ送信する放送信号に対応する信号に変換する。こうして変換された信号は、３次元映像情報番組の信号としてアンテナ３３０へ送られる。そして、アンテナ３３０から、当該信号に対応する放送波が送信される。

《「３次元映像情報番組」の受信処理》
次に、映像受信装置４００による「３次元映像情報番組」の受信処理方法について説明する。

映像送信装置３００から送信された放送波は、映像受信装置４００のアンテナ４１０が受信する。そして、アンテナ４１０による受信信号は、受信処理ユニット４２０へ送られる。受信処理ユニット４２０では、ＲＦ処理部が３次元映像情報番組の信号を受信信号から抽出し、中間周波数を有する選局信号を復調部へ向けて出力する。復調部は、選局信号に対して復調処理を施して、その結果を復調データとして、デコード部へ向けて出力する。デコード部は、コード化された復調データをデコードし、映像データ＃Ａ，＃Ｂ，＃Ｃ、映像の方向データ、音声データ＃Ａ，＃Ｂ，＃Ｃ及びそれぞれのマイクの収音位置データを取得する。こうしてデコードされたデータのそれぞれは、制御ユニット１１０Ｂへ送られる。

映像データ＃Ａ，＃Ｂ，＃Ｃ及び映像の方向データ、並びに、音声データ＃Ａ，＃Ｂ，＃Ｃ及びそれぞれのマイクの収音位置データを受けた制御ユニット１１０Ｂは、上述した図８に示されるステップＳ１１〜Ｓ１４と同様の処理を行う。

以上説明したように、第２実施例では、映像送信装置３００が、３次元映像撮影装置５００が撮影及び収音した３つの全方向カメラのそれぞれが撮影した映像の映像データ＃Ａ，＃Ｂ，＃Ｃ及び当該映像のそれぞれの方向データ、並びに、３つのマイクのそれぞれが収音した音声データ＃Ａ，＃Ｂ，＃Ｃ及び当該マイクのそれぞれの収音位置データを受ける。そして、映像送信装置３００は、映像データ＃Ａ，＃Ｂ，＃Ｃ、方向データ、音声データ＃Ａ，＃Ｂ，＃Ｃ及び収音位置データのそれぞれをエンコードした後、エンコードデータを多重化し、３次元映像情報番組の放送波にして映像受信装置へ送信する。

そして、映像送信装置３００から送信された放送波を映像受信装置４００が受けると、当該放送波から３次元映像情報番組の情報を担う信号を抽出する。そして、映像受信装置４００は、当該抽出された信号をデコードし、映像データ＃Ａ，＃Ｂ，＃Ｃ及び映像の方向データを取得するとともに、音声データ＃Ａ，＃Ｂ，＃Ｃ及びマイクの収音位置データを取得する。

引き続き、映像受信装置４００では、制御ユニット１１０Ｂが、方向検出ユニット１３０が検出する「利用者が向く方向」を受けると、利用者が向く方向に対応する方向側に配置されている２つの全方向カメラを特定する。次に、制御ユニット１１０Ｂは、「利用者が向く方向」に基づき、特定された２つの全方向カメラの一方が撮影した映像の映像データから右目視界範囲内のデータを切り出して右目用映像信号を生成し、当該特定された２つの全方向カメラの他方が撮影した映像の映像データから左目視界範囲内のデータを切り出して左目用映像信号を生成する。

また、映像受信装置４００では、制御ユニット１１０Ｂが、方向検出ユニット１３０が検出する「利用者が向く方向」を受けると、利用者が向く方向に対応する方向側に配置されている２つの全方向カメラに対応して配置されたマイクを特定する。そして、制御ユニット１１０Ｂは、「利用者が向く方向」及び特定された２つのマイクの収音位置に基づき、特定された２つのマイクが収音した音声データから、右スピーカ用の音信号及び左スピーカ用の音信号を生成する。

このため、利用者が向く方向の変化に応じて変化する利用者の視界に対応する３次元映像を、利用者に提供することができる。また、利用者が向く方向で聴くことになる音を、利用者に提供することができる。

また、本発明の第２実施例では、上述した第１実施例と同様に、３つの全方向カメラが撮影した映像から周囲３６０度方向の３次元映像を生成することができるため、全方向映像のデータ量を抑制することができる。

したがって、第２実施例によれば、上述した第１実施例と同様に、３次元映像の提供により表現される仮想的な３次元空間において、利用者の臨場感を向上させることができる。

［実施例の変形］
上記の第１及び第２実施例は、様々な変形が可能である。

例えば、上記の第１及び第２実施例では、利用者が向く方向の変化に応じて変化する利用者の視界に対応する３次元映像を生成するとともに、利用者が向く方向で聴くことになる音を生成することとした。これに対して、利用者が向く方向の変化に応じて変化する利用者の視界に対応する３次元映像のみを生成するようにしてもよい。

また、上記の第１及び第２実施例では、右目用表示部及び左目用表示部は、図６に示されるような専用メガネに組み込むこととしたが、右目用表示部及び左目用表示部を、利用者の頭部に装着するヘッドマウントディスプレイに組み込むようにしてもよい。

また、上記の第２実施例では、映像送信装置に３次元映像撮影装置が接続されることとしたが、映像送信装置に第１実施例における記憶ユニットを接続するようにしてもよい。

また、上記の第２実施例では、放送基地局を介して、３次元映像撮影装置が撮影した映像データ等が放送信号として映像受信装置に送信される構成としたが、３次元映像撮影装置が撮影した映像データ等がインターネット等のネットワーク通信網を介して映像受信装置に配信される構成としてもよい。この場合、例えば、図１５における映像送信装置３００は、所定の配信サーバに映像データ等をアップロードし、映像受信装置４００は、当該配信サーバから、当該映像データ等をインターネット等のネットワーク通信網を介してダウンロードするようにすればよい。

また、上記の第１及び第２実施例については、上述した第１及び第２実施形態に対する変形と同様の変形を適宜施すことができる。

１００ … 映像処理装置
１１０Ａ … 制御ユニット（取得部、映像信号生成部、音信号生成部）
１１０Ｂ … 制御ユニット（映像信号生成部、音信号生成部）
１３０ … 方向検出ユニット（検出部）
３００ … 映像送信装置
３１０ … エンコードユニット（エンコード部）
３２０ … 送信処理ユニット（送信部の一部）
３３０ … アンテナ（送信部の一部）
４００ … 映像受信装置
４１０ … アンテナ（受信部の一部）
４２０ … 受信処理ユニット（受信部の一部）
７００ … 映像処理装置
７１０ … 取得部
７２０ … 検出部
７３０ … 映像信号生成部
７４０ … 音信号生成部
７６０ … エンコード部
７７０ … 送信部
７８０ … 受信部
８１０ … 映像送信装置
８２０ … 映像受信装置

Claims (10)

1. 所定の位置に配置された３つ以上の全方向カメラのそれぞれが撮影した映像の映像データと、前記映像のそれぞれの方向データとを取得する取得部と；
   利用者が向く方向を検出する検出部と；
   前記検出部により検出された利用者が向く方向と、前記取得部が取得した前記映像のそれぞれの方向データとに基づいて、前記取得部により取得された３つ以上の映像データのうちから２つの映像データを選択し、前記選択された２つの映像データから、利用者に対する右目用映像信号と左目用映像信号とを生成する映像信号生成部と；
   を備えることを特徴とする映像処理装置。
2. 前記３つ以上の全方向カメラは円周上を等分するように配置され、
   前記映像信号生成部は、前記円周の中心からみて、利用者が向く方向に対応する方向側に配置される２つの全方向カメラを特定し、前記特定された２つの全方向カメラの一方が撮影した映像の映像データから右目視界範囲内のデータを切り出して前記右目用映像信号を生成し、前記特定された２つの全方向カメラの他方が撮影した映像の映像データから左目視界範囲内のデータを切り出して前記左目用映像信号を生成する、
   ことを特徴とする請求項１に記載の映像処理装置。
3. 前記全方向カメラの数は３つである、ことを特徴とする請求項１又は２に記載の映像処理装置。
4. 隣り合う全方向カメラ間の距離は、人体の右目と左目との間の距離である、ことを特徴とする、請求項１〜３のいずれか一項に記載の映像処理装置。
5. 前記取得部は、前記３つ以上の全方向カメラのぞれぞれと対応して配置されたマイクが収音した収音データと、前記マイクのそれぞれの位置データとを更に取得し、
   前記検出部により検出された利用者が向く方向と、前記取得部が取得した前記マイクのそれぞれの位置データとに基づいて、前記取得部により取得された３つ以上の収音データから２つの収音データを選択し、前記選択された２つの収音データから、右スピーカ用の音信号と左スピーカ用の音信号とを生成する音信号生成部を更に備える、
   ことを特徴とする請求項１〜４のいずれか一項に記載の映像処理装置。
6. 所定の位置に配置された３つ以上の全方向カメラのそれぞれが撮影した映像の映像データと、前記映像のそれぞれの方向データとを受信する受信部と；
   利用者が向く方向を検出する検出部と；
   前記検出部により検出された利用者が向く方向と、前記受信部が取得した前記映像のそれぞれの方向データとに基づいて、前記受信部により取得された３つ以上の映像データのうちから２つの映像データを選択し、前記選択された２つの映像データから、利用者に対する右目用映像信号と左目用映像信号とを生成する映像信号生成部と；
   を備えることを特徴とする映像受信装置。
7. 所定の位置に配置された３つ以上の全方向カメラのそれぞれが撮影した映像の映像データと、前記映像のそれぞれの方向データとを取得し、エンコードするエンコード部と；
   前記エンコード部がエンコードしたそれぞれの映像データと方向データとを関連付けて、映像受信装置に送信する送信部と；
   を備えることを特徴とする映像送信装置。
8. 所定の位置に配置された３つ以上の全方向カメラのそれぞれが撮影した映像の映像データを処理する映像処理装置において使用される映像処理方法であって、
   前記所定の位置に配置された３つ以上の全方向カメラのそれぞれが撮影した映像の映像データと、前記映像のそれぞれの方向データとを取得する取得工程と；
   利用者が向く方向を検出する検出工程と；
   前記検出工程において検出された利用者が向く方向と、前記取得工程において取得した前記映像のそれぞれの方向データとに基づいて、前記取得工程において取得された３つ以上の映像データのうちから２つの映像データを選択し、前記選択された２つの映像データから、利用者に対する右目用映像信号と左目用映像信号とを生成する映像信号生成工程と；
   を備えることを特徴とする映像処理方法。
9. 所定の位置に配置された３つ以上の全方向カメラのそれぞれが撮影した映像の映像データを処理する映像処理装置が有するコンピュータに、請求項８に記載の映像処理方法を実行させる、ことを特徴とする映像処理プログラム。
10. 所定の位置に配置された３つ以上の全方向カメラのそれぞれが撮影した映像の映像データを処理する映像処理装置が有するコンピュータにより、請求項９に記載の映像処理プログラムが読み取り可能に記録されている、ことを特徴とする記録媒体。

Images