JP2017536565A

JP2017536565A - ステレオ視のための広視野カメラ装置

Info

Publication number: JP2017536565A
Application number: JP2017517087A
Authority: JP
Inventors: マルコニエメレ; キングロンホルム; アンドリューバルドウィン
Original assignee: ノキアテクノロジーズオーユー
Priority date: 2014-10-07
Filing date: 2014-10-07
Publication date: 2017-12-07
Also published as: CN106796390A; EP3204824A1; US20170227841A1; WO2016055688A1; CA2960427A1; EP3204824A4

Abstract

本発明はカメラ装置に関する。カメラ装置は視方向を有し、少なくとも１台の中央カメラと、少なくとも２台の周辺カメラとを含む複数のカメラを備える。当該カメラはそれぞれ視野を有し、当該視野はそれぞれカメラ装置の視方向をカバーする。カメラは、中央カメラおよび周辺カメラが、自然な像差とステレオ視野を有する少なくとも２つのステレオカメラペアを形成し、当該ステレオ視野がそれぞれカメラ装置の視方向をカバーするように、相対的に配置される。カメラ装置は、ステレオカメラペアのステレオ視野を組み合わせた中心視野と、中心視野より少なくとも部分的に外側にあるカメラの視野を含む周辺視野とを有する。【選択図】図６ｄ

Description

背景

静止画および動画のデジタルステレオ視が一般的になり、３次元（three-dimensional：３Ｄ）映画の視聴がより広く普及している。映画館では、映画のフレームごとに左眼と右眼で異なる画像を見るようにする特殊なメガネを用いて映画を見せることで、３Ｄ映画を提供している。同様の手法が、３Ｄ対応プレイヤーやテレビによる家庭での利用に適用されている。実際には、映画は、同じシーンに対して左眼用に１つ、右眼用に１つの２つのビューで構成されている。これらのビューは、ステレオ視に適切なコンテンツを直接作成する特殊なステレオカメラによって映画を撮影することで作成されている。これらのビューが両眼に対して提示されると、人間の視覚系によってそのシーンの３Ｄビューが作成される。この技術には、視聴領域（映画のスクリーンまたはテレビ）が占めるのは視野の一部だけであるため、３Ｄビューの経験が制限されてしまうという欠点がある。

よりリアルな経験を得るために、視聴領域が全視野のより広い領域を占める装置が作成されている。頭部に装着し、眼を覆って、左眼用および右眼用の画像を小さなスクリーンとレンズの構成によって表示するための、特殊なステレオ視用ゴーグルが提供されている。このような技術は、３Ｄ視に一般的に用いられるかなり大型のテレビと比べて、狭いスペースや移動中でも利用できるため有利である。

上記を鑑みて、３Ｄビデオや画像を広い視野で見ることを目的とした、デジタル画像／ビデオの録画を可能にする解決手段が求められている。

摘要

そこで、上記の問題を軽減するために、改良された方法と、その方法を実行する技術装置を発明した。本発明の様々な態様は、独立請求項に記載されている内容を特徴とするカメラ装置を含む。従属請求項には本発明の様々な実施形態が開示されている。

本発明はカメラ装置に関する。カメラ装置は視方向を有し、少なくとも１台の中央カメラと、少なくとも２台の周辺カメラとを含む複数のカメラを備える。前記カメラはそれぞれ視野を有し、前記視野はそれぞれ前記カメラ装置の前記視方向をカバーする。前記カメラは、前記中央カメラおよび前記周辺カメラが、自然な像差とステレオ視野を有する少なくとも２つのステレオカメラペアを形成し、前記ステレオ視野がそれぞれ前記カメラ装置の前記視方向をカバーするように、相対的に配置される。カメラ装置は、前記ステレオカメラペアのステレオ視野を組み合わせた中心視野と、前記中心視野より少なくとも部分的に外側にあるカメラの視野を含む周辺視野とを有する。

カメラ装置は、解剖学的正位における人間の頭部の眼の位置、解剖学的最大屈曲位における人間の頭部の眼の位置、解剖学的最大伸展位における人間の頭部の眼の位置、および／または、解剖学的最大左回旋位および最大右回旋位における人間の頭部の眼の位置、の少なくともいくつかに実質的に対応する場所に配置されたカメラを備えてもよい。

カメラ装置は、それぞれの視野の方向における光軸が、半球状の視野内にあるように配置された少なくとも３台のカメラを備え、前記半球状の視野外に光軸を有するカメラを備えず、全球をカバーする全視野を有してもよい。

上記の説明は、同じカメラ装置または異なるカメラ装置についての記述であってもよい。このようなカメラ装置は、当該カメラ装置の視方向に配置されたカメラを備えるという特性を有してもよい。すなわち、視野は対称ではなく、例えば、同質のまたは同数のカメラで全球がカバーされるわけではない。これによって、より多くのカメラを用いて視方向およびその周囲の視覚的に重要な領域（中心視野）を撮影することができると同時に、他の領域はより低い品質で、例えばステレオ画像の機能なしでカバーすることができるという利点をもたらしてもよい。同時に、このような非対称のカメラ配置によって、装置の後方に電子機器や機械構造のための空間を確保してもよい。

ここで説明するカメラ装置は、広角レンズを備えるカメラを備えてもよい。カメラ装置は、複数のカメラの複数のビデオシーケンスを含む、ステレオ視の画像データの作成に適切であってもよい。カメラ装置は、少なくとも３台のカメラによる任意のカメラペアが、ステレオ画像を作成するために、人間の眼の視差（像差）に対応する視差を有するようなカメラ装置であってもよい。少なくとも３台のカメラの視野は重複してもよく、当該少なくとも３台のカメラによって各部分が撮影される重複領域が定義され、そのような重複領域を、ステレオ視用の画像の形成に用いることができる。

本発明は、３Ｄビデオとも呼ばれるステレオビデオ画像などの、ステレオ画像の視聴にも関する。重複する視野を有する少なくとも３台のカメラソースを用いてシーンを撮影し、そのシーンの領域が少なくとも３台のカメラによってカバーされるようにする。ユーザの眼がカメラソースの場所にあるとした場合、それらの眼の位置に最もよく一致するステレオカメラペアを作成するように、ビューアにおいて、複数のカメラから任意のカメラペアが選択される。すなわち、カメラソースによって生成される像差が、同じ位置においてユーザの眼に生じるであろう像差に類似するように、カメラペアが選択される。ユーザが頭部を傾けるか、またはビューの向きが変わると、例えば他のカメラに切り替えることによって新しいペアを形成できる。その後、ビューア装置は、リアルなステレオ像差のために、各画像の各領域に最適なソースを選択することで、左眼および右眼用のビデオフレームの画像を形成する。

以下において、添付の図面を参照して本発明の様々な実施形態をより詳細に説明する。
ユーザに対してステレオ画像を形成するための設定を示す図である。ユーザに対してステレオ画像を形成するための設定を示す図である。ユーザに対してステレオ画像を形成するための設定を示す図である。ユーザに対してステレオ画像を形成するための設定を示す図である。図２ａは、ステレオ視用のシステムおよび装置を示す図である。図２ｂは、ステレオ視用のステレオカメラ装置を示す図である。図２ｃは、ステレオ視用のヘッドマウントディスプレイを示す図である。図２ｄは、カメラを示す図である。画像ソースから、第１の眼および第２の眼用のステレオ画像を形成する様子を示す図である。画像ソースから、第１の眼および第２の眼用のステレオ画像を形成する様子を示す図である。画像ソースから、第１の眼および第２の眼用のステレオ画像を形成する様子を示す図である。図４ａおよび４ｂは、画像ソースとして用いられるカメラ装置例を示す図である。図５ａ、５ｂ、５ｃ、および５ｄは、ステレオ視用のソースと宛先の座標系の利用を示す図である。ステレオ画像撮影用のカメラ装置例を示す図である。ステレオ画像撮影用のカメラ装置例を示す図である。ステレオ画像撮影用のカメラ装置例を示す図である。ステレオ画像撮影用のカメラ装置例を示す図である。ステレオ画像撮影用のカメラ装置例を示す図である。ステレオ画像撮影用のカメラ装置例を示す図である。ステレオ画像撮影用のカメラ装置例を示す図である。ステレオ画像撮影用のカメラ装置例を示す図である。図７ａおよび７ｂは、ステレオ視用の画像ソースデータの送信を示す図である。図８は、ステレオ視の方法を示すフローチャートである。

実施例の説明

以下において、本発明のいくつかの実施形態を、３Ｄメガネによるステレオ視のコンテキストにおいて説明する。ただし、本発明は特定の表示技術に限定されないことに留意されたい。実際に、これら様々な実施形態は、例えば映画やテレビなどの、ステレオ視が必要とされるいずれの環境にも適用される。また、説明において特定のカメラ設定を例として用いるが、異なるカメラ設定を用いることも可能である。

図１ａ、１ｂ、１ｃ、および１ｄは、ユーザに対してステレオ画像を形成するための設定を示す図である。図１ａにおいて、人間が両眼Ｅ１およびＥ２で２つの球体Ａ１およびＡ２を見ている状況を示している。球体Ａ１は球体Ａ２よりも視聴者に近く、第１の眼Ｅ１から球体Ａ１までの距離はＬ_{Ｅ１，Ａ１}、球体Ａ２までの距離はＬ_{Ｅ１，Ａ２}である。これらの異なる物体は、空間内の、座標系ＳＺ、ＳＹ、およびＳＺによって定義されるそれぞれの座標（ｘ、ｙ、ｚ）に存在する。人間の両眼の間の距離ｄ_１２は平均で約６２〜６４ｍｍであり、人によって５５〜７４ｍｍの間で様々である。この距離は視差と呼ばれ、人の視覚における立体視はこの視差に基づいている。視方向（光軸）ＤＩＲ１およびＤＩＲ２は一般的に、実質的に平行であり、場合によっては平行からわずかに逸脱し、眼の視野を定義する。ユーザの頭部の向き（頭部配向）は周囲と対応付けられ、両眼がまっすぐ前を向いているときの両眼の共通の方向によって最も容易に定義される。すなわち、頭部配向によって、ユーザがいるシーンの座標系における頭部のヨー、ピッチ、およびロールが決まる。

視聴者の体（胸部）が動かない場合、その視聴者の頭部配向は頸椎の通常の解剖学的可動域によって制限される。

図１ａの設定において、球体Ａ１およびＡ２は両眼の視野内にある。両眼の間の中央点Ｏ_１２と球体は同一線上にある。すなわち、中央点から見ると、球体Ａ２は球体Ａ１の後ろにある。しかし、いずれの眼からも球体Ａ１の後ろに球体Ａ２の一部が見える。これらの球体は、いずれの眼からも同一の視線上にないからである。

図１ｂでは、図１ａにおいて眼があった場所に、眼の代わりにカメラＣ１およびＣ２を配置した設定を示している。設定における距離や方向は図１ａと同様である。当然のことながら、図１ｂの設定の目的は、球体Ａ１およびＡ２のステレオ画像を撮影できるようにすることである。撮像によって生成される２つの画像がＦ_Ｃ１およびＦ_Ｃ２である。「左眼」画像Ｆ_Ｃ１では、球体Ａ１の画像Ｓ_Ａ１の左側に球体Ａ２の画像Ｓ_Ａ２が部分的に見える。「右眼」画像Ｆ_Ｃ２では、球体Ａ１の画像Ｓ_Ａ１の右側に球体Ａ２の画像Ｓ_Ａ２が部分的に見える。右眼画像と左眼画像との違いは像差と呼ばれる。この像差は、人間の視覚系が奥行き情報を判断してシーンの３Ｄビューを作成するための基本的な仕組みであり、これを利用して３Ｄ画像の錯覚を引き起こすことができる。

図１ｂの設定において、両眼距離は図１ａ内における両眼距離と同様であり、カメラペアＣ１とＣ２は自然な視差を有する、すなわち、カメラの２つの画像において自然な像差を作り出す特性を有する。自然な像差は、ステレオカメラペアを形成する２つのカメラの間の距離が、人の両眼の通常の距離（視差）よりもいくらか小さいまたは大きい、例えば、実質的に４０ｍｍ〜１００ｍｍの場合や、３０ｍｍ〜１２０ｍｍの場合でも生成されると理解されてもよい。

図１ｃにおいて、この３Ｄの錯覚を引き起こす方法を示している。カメラＣ１およびＣ２によって撮影された画像Ｆ_Ｃ１およびＦ_Ｃ２は、それぞれディスプレイＤ１およびＤ２を用いて眼Ｅ１およびＥ２に対して表示される。画像間の像差が人間の視覚系によって処理され、奥行きが認識される。すなわち、左眼が球体Ａ１の画像Ｓ_Ａ１の左側にある球体Ａ２の画像Ｓ_Ａ２を見ていて、右眼が右側にあるＡ２の画像を見ている場合、人間の視覚系は、三次元の世界において球体Ｖ２が球体Ｖ１の後ろにあると認識する。ここで、画像Ｆ_Ｃ１およびＦ_Ｃ２は合成であっても、すなわちコンピュータによって作成されてもよいことを理解されたい。像差情報を含む場合、合成画像も人間の視覚系によって三次元として認識される。すなわち、一対のコンピュータ生成画像を生成して、ステレオ画像として用いることも可能である。

図１ｄは、眼に対してステレオ画像を表示する原理を、三次元の錯覚をもたらす３Ｄ映画や仮想現実のシーン作成に用いる方法を示している。画像Ｆ_Ｘ１およびＦ_Ｘ２は、画像が適切な像差を有するように、ステレオカメラによって撮影されるか、またはモデルから計算されている。ディスプレイＤ１およびＤ２を用いて１秒あたりに多数の（例えば３０個の）フレームを両眼に対して表示して、左眼の画像と右眼の画像との間に像差を生成することで、人間の視覚系は動いている三次元画像を認識する。カメラを旋回させるか、または合成画像の計算元の視方向を変えると、画像の変化によって、視方向が変わるような、つまり視聴者の頭部が回旋しているような錯覚が引き起こされる。視方向、すなわち頭部配向は、例えば、頭部に装着された配向検出器によって頭部の実際の向きとして判断されてもよい。あるいは、ユーザが実際に頭部を動かさずに視方向を操作できる、ジョイスティックやマウスのような制御装置によって決定される仮想的な向きとして判断されてもよい。すなわち、「頭部配向」という用語は、ユーザの頭部の実際の物理的な向きおよびその変化を示すことも、コンピュータプログラムまたはコンピュータ入力装置によって決定されたユーザの視野の仮想的な方向を示すこともある。

図２ａは、ステレオ視、すなわち、３Ｄビデオおよび３Ｄ音声のデジタルキャプチャと再生のためのシステムおよび装置を示す図である。本システムにおけるタスクは、特定の場所から十分な視覚情報および聴覚情報を取得して、別の場所にいる１人以上の視聴者がその場所における経験、すなわちその臨場感を確実に再現できるように、および任意で将来的に後で再現できるようにすることである。視聴者が眼と耳を使ってシーン内の物体の距離や位置を判断できるようにするために、そのような再現には、単一のカメラやマイクで取得できるものより多くの情報が必要である。図１ａから１ｄにおいて説明したように、像差を有する一対の画像を作成するために、２つのカメラソースが用いられる。同様に、人間の聴覚系が音の方向を知覚できるようにするために、少なくとも２つのマイクが用いられる（一般に知られているステレオサウンドは、２つの音声チャネルを録音することで作成される）。人間の聴覚系は、例えば、音声信号のタイミングの差におけるキューを検知して、音の方向を検知することができる。

図２ａに示すシステムは、画像ソース、サーバ、およびレンダリング装置という３つの主な部分で構成されてもよい。ビデオキャプチャ装置ＳＲＣ１は、重複する視野を持つ複数の（例えば８台の）カメラＣＡＭ１、ＣＡＭ２、…、ＣＡＭＮを備え、ビデオキャプチャ装置周囲の視野領域が少なくとも２台のカメラによって撮影されるようにしている。装置ＳＲＣ１は、異なる方向から発生する音声のタイミングと位相差を取得する複数のマイクを備えてもよい。この装置は、複数のカメラの向き（視方向）を検出して記録できるように、高解像度の配向センサを備えてもよい。装置ＳＲＣ１は、コンピュータプロセッサＰＲＯＣ１およびメモリＭＥＭ１を備えるか、またはそれらに機能的に接続される。メモリＭＥＭ１は、キャプチャ装置を制御するコンピュータプログラムＰＲＯＧＲ１コードを含む。この装置によって撮影された画像ストリームは、ビューアなどの他の装置で使用するためにメモリ装置ＭＥＭ２に格納しても、および／または通信インタフェースＣＯＭＭ１を介してサーバに送信されてもよい。

ここではシステムの一部として８カメラ立方体設定について説明しているが、代わりに他のカメラ装置をシステムの一部として用いてもよいことを理解されたい。

１つまたは複数の画像ストリームを作成するビデオキャプチャ装置ＳＲＣ１の代わりに、またはそれに加えて、合成画像の１つ以上のソースＳＲＣ２がシステムに含まれてもよい。そのような合成画像ソースは、送信する様々な画像ストリームを計算するために、仮想世界のコンピュータモデルを用いてもよい。例えば、ソースＳＲＣ２は、仮想的な視聴位置にあるＮ台の仮想カメラに対応するＮ個のビデオストリームを計算してもよい。そのような合成された一連のビデオストリームを視聴に用いると、前述の図１ｄにおいて説明したように、視聴者には三次元の仮想世界が見えるであろう。装置ＳＲＣ２は、コンピュータプロセッサＰＲＯＣ２およびメモリＭＥＭ２を備えるか、またはそれらに機能的に接続される。メモリＭＥＭ２は、合成ソース装置ＳＲＣ２を制御するコンピュータプログラムＰＲＯＧＲ２コードを含む。この装置によって取得された画像ストリームは、ビューアなどの他の装置で使用するためにメモリ装置ＭＥＭ５（例えばメモリカードＣＡＲＤ１）に格納しても、または通信インタフェースＣＯＭＭ２を介してサーバまたはビューアに送信されてもよい。

キャプチャ装置ＳＲＣ１に加えて、格納、処理、およびデータストリーム提供ネットワークが含まれてもよい。例えば、キャプチャ装置ＳＲＣ１または計算装置ＳＲＣ２からの出力を格納する１つのサーバＳＥＲＶまたは複数のサーバが含まれてもよい。この装置は、コンピュータプロセッサＰＲＯＣ３およびメモリＭＥＭ３を備えるか、またはそれらに機能的に接続される。メモリＭＥＭ３は、サーバを制御するコンピュータプログラムＰＲＯＧＲ３コードを含む。サーバは、有線または無線ネットワーク接続、あるいはその両方により、通信インタフェースＣＯＭＭ３を介して、ソースＳＲＣ１および／またはＳＲＣ２、ならびにビューア装置ＶＩＥＷＥＲ１およびＶＩＥＷＥＲ２に接続されてもよい。

撮影または作成されたビデオコンテンツを見るために、１つ以上のビューア装置ＶＩＥＷＥＲ１およびＶＩＥＷＥＲ２を備えてもよい。これらの装置は、レンダリングモジュールおよび表示モジュールを備えてもよく、あるいは、これらの機能性を１つの装置に統合してもよい。これらの装置は、コンピュータプロセッサＰＲＯＣ４およびメモリＭＥＭ４を備えるか、またはそれらに機能的に接続されてもよい。メモリＭＥＭ４は、ビューア装置を制御するコンピュータプログラムＰＲＯＧＲ４コードを含む。ビューア（再生）装置は、サーバからビデオデータストリームを受信して、そのビデオデータストリームを復号するデータストリーム受信機から構成されてもよい。データストリームは、通信インタフェースＣＯＭＭ４を介してネットワーク接続により受信しても、メモリカードＣＡＲＤ２などのメモリ装置ＭＥＭ６から受信してもよい。ビューア装置は、図１ｃおよび１ｄにおいて説明した視聴に適切なフォーマットへとデータを処理するためのグラフィクス処理部を備えてもよい。ビューアＶＩＥＷＥＲ１は、レンダリングされたステレオビデオシーケンスを見るための、高解像度ステレオ画像ヘッドマウントディスプレイを備える。このヘッドマウント装置は、配向センサＤＥＴ１およびステレオオーディオヘッドフォンを備えてもよい。ビューアＶＩＥＷＥＲ２は（ステレオビデオを表示するための）３Ｄ技術対応ディスプレイを備えてもよく、レンダリング装置に、頭部配向検出器ＤＥＴ２が接続されていてもよい。これらの装置（ＳＲＣ１、ＳＲＣ２、ＳＥＲＶＥＲ、ＲＥＮＤＥＲＥＲ、ＶＩＥＷＥＲ１、ＶＩＥＷＥＲ２）のいずれも、コンピュータまたは携帯型コンピューティング装置であってよく、あるいはそのような装置に接続されていてもよい。そのようなレンダリング装置は、本明細書に記載する様々な例による方法を実行するためのコンピュータプログラムコードを含んでもよい。

図２ｂは、ステレオ視用のカメラ装置を示す図である。このカメラ装置は、左眼画像および右眼画像を作成するカメラペアとして構成されるか、そのようなペアとして配置可能な、３台以上のカメラを備える。カメラ間の距離は、人間の通常の両眼距離に対応する距離であってもよい。各カメラは、それぞれの視野が大幅に重複するように配置されてもよい。例えば、１８０度またはそれ以上の広角レンズを用いてもよく、３、４、５、６、７、８、９、１０、１２、１６、または２０台のカメラを備えてもよい。カメラは、球状視野全体にわたって等間隔または不等間隔に配置されても、または球状視野全体の一部のみをカバーしてもよい。例えば、３台のカメラを三角形に配置し、各カメラの視方向が、この三角形のそれぞれの一辺に向くようにして、３台のカメラすべてによって、視方向の中央にある重複領域をカバーしてもよい。別の例として、広角レンズを備える８台のカメラを等間隔に、仮想的な立方体の角に配置して球状視野全体をカバーすることで、少なくとも３または４台のカメラによって全球、または実質的に全球の全方位をカバーするようにしてもよい。図２ｂには、３つのステレオカメラペアを示している。

他のタイプのカメラ配置を採用するカメラ装置を用いてもよい。例えば、すべてのカメラを１つの半球に配置したカメラ装置を用いてもよい。カメラの台数は、例えば、３、４、６、８、１２台、またはそれ以上であってもよい。カメラは、２台以上のカメラの画像データからステレオ画像を形成できる中心視野と、１台のカメラがシーンをカバーし、通常の非ステレオ画像のみ形成できる周辺（末端）視野とを形成するように配置してもよい。システムにおいて用いてもよい様々なカメラ装置の例については、本明細書の後半においても説明する。

図２ｃは、ステレオ視用のヘッドマウントディスプレイを示す図である。このヘッドマウントディスプレイは、左眼画像および右眼画像を表示するための２つのスクリーン部、すなわち２つのスクリーンＤＩＳＰ１およびＤＩＳＰ２を備えてもよい。これらのディスプレイは眼に近いため、画像を見やすくするために、および画像を拡大して眼の視野を可能な限りカバーするために、レンズが用いられる。この装置は、ユーザが頭部を回旋させても所定の位置に留まるように、ユーザの頭部に装着される。この装置は、頭部の動きおよび頭部の方向を判断するための配向検出モジュールＯＲＤＥＴ１を備えてもよい。このタイプの装置においては、頭部の動きを追跡してもよいが、ディスプレイが視野の広い領域をカバーしているため、眼の動きの検出は不要である。頭部配向は、ユーザの頭部の実際の物理的な向きに関連付けられてもよく、ユーザの頭部の実際の向きを判断するために、センサによって頭部配向を追跡してもよい。あるいは、またはさらに、頭部配向は、コンピュータプログラム、またはジョイスティックなどのコンピュータ入力装置によって制御されるユーザの視方向の仮想的な向きに関連付けられてもよい。すなわち、決定された頭部配向を、ユーザが入力装置によって変更できてもよく、あるいは、コンピュータプログラムが視方向を変更してもよい（例えば、ゲームにおいてゲームプログラムが、実際の頭部配向の代わりに、またはそれに加えて、決定された頭部配向を制御してもよい）。

図２ｄは、カメラＣＡＭ１を示す図である。このカメラはカメラ検出器ＣＡＭＤＥＴ１を備える。カメラ検出器ＣＡＭＤＥＴ１は、当たる光の強度を感知する複数のセンサ素子を備える。このカメラはレンズＯＢＪ１（または複数のレンズからなるレンズ配置）を備える。このレンズは、センサ素子に当たる光が、レンズを通過してセンサ素子へと進むように位置付けられる。カメラ検出器ＣＡＭＤＥＴ１は名目上の中心点ＣＰ１を有する。この中心点ＣＰ１は、複数のセンサ素子の中点であり、例えば、矩形のセンサの場合は対角線の交点である。レンズも、例えばレンズの対称軸上に、名目上の中心点ＰＰ１を有する。カメラの配向方向は、カメラセンサの中心点ＣＰ１およびレンズの中心点ＰＰ１を通る線によって定義される。カメラの方向は、カメラセンサからレンズへの方向を指す、この線に沿ったベクトルである。カメラの光軸は、この線ＣＰ１-ＰＰ１であると理解される。

上記のシステムは以下のように機能してもよい。最初に、時間同期されたビデオ、音声、および配向データがキャプチャ装置によって記録される。これは、前述の複数の同時ビデオおよび音声ストリームで構成することができる。これらはその後直ちに、または後で格納および処理ネットワークへと送信され、処理され、その後の再生装置への提供に適切なフォーマットへと変換される。この変換には、品質を向上するための、および／または品質を所望のレベルに維持しながらデータ量を削減するための、音声およびビデオデータの前処理を伴う場合がある。最後に、各再生装置がネットワークからデータのストリームを受信し、それを、ステレオ視としてレンダリングして元の場所を再現する。このステレオ視を、ヘッドマウントディスプレイおよびヘッドフォンによってユーザが経験できる。

以下に示すような、視聴用のステレオ画像を作成する新規な方法により、ユーザは頭部を複数の方向に回旋させることができ、再生装置は、特定の向きに対応するシーンの高周波数（例えば６０フレーム／秒）のステレオビデオ音声ビューを、元の記録された場所を再現しているのかのように作成できる。カメラデータから視聴用のステレオ画像を作成する他の方法を用いてもよい。

図３ａ、３ｂ、および３ｃは、動的ソース選択および動的貼り合わせ位置を用いて、画像ソースから第１の眼および第２の眼用のステレオ画像を形成する様子を示す図である。特定の頭部配向に対するステレオビューを作成するには、少なくとも２台の異なるカメラからの画像データを用いる。通常は、１台のカメラでは視野全体をカバーすることはできない。そのため、本解決手段によると、複数のカメラを用いて、異なるカメラからの画像の部分を貼り合わせることでステレオ視用の両方の画像を作成してもよい。貼り合わせによる画像作成は、３Ｄビューを作成できるように、画像に適切な像差を持たせて行われる。これについて以下に説明する。

最適な画像ソースを用いるために、カメラおよび眼の位置のモデルを用いる。カメラはカメラ空間内に位置付けてもよく、眼の位置をこの空間内に投影し、カメラの間に眼が表示されるようにする。現実的な（自然な）視差（両眼距離）を採用する。例えば、すべてのカメラが球体上に配置される設定において、眼もその球体上に投影する。この解決手段では最初に、それぞれの眼に最も近いカメラが選択される。ヘッドマウントディスプレイは、１つの眼の視野全体が（１台のカメラからの）１つの画像によって占められないように、それぞれの眼により広い視野を持たせることができる。この場合、画像の「貼り合わせ」という既知の技術を用いて、複数の画像の部分から１つのビューを作成する必要がある。この技術では、２つの画像内の、ほぼ同じコンテンツを含む線に沿ってそれらの画像を貼り合わせる。図３ａは、ステレオ視用の２つのディスプレイを示す図である。左眼ディスプレイの画像は、カメラＩＳ２、ＩＳ３、およびＩＳ６からの画像データから合成される。右眼ディスプレイの画像は、カメラＩＳ１、ＩＳ３、およびＩＳ８からの画像データから合成される。この例では、同じ画像ソースＩＳ３が左眼画像と右眼画像の両方に用いられるが、これは、両眼において、ビュー内の同じ領域がカメラＩＳ３によってカバーされないようにするためである。これによって、ビュー全体にわたって適切な像差が確実に得られる。すなわち、ビュー内の各位置で、左眼画像と右眼画像との間に像差がある状態になる。

貼り合わせ点は、眼の位置に最も近いカメラで撮影されたビューの中央領域周辺の領域を最大化するように、頭部配向ごとに動的に変更される。同時に、異なる眼に対する２つの画像内において、ビュー内の同じ領域には異なるカメラが必ず用いられるように留意される。図３ｂにおいて、ビュー内の同じ領域に対応する領域ＰＸＡ１およびＰＸＡ２は、異なるカメラＩＳ１およびＩＳ２によってそれぞれ撮影されている。この２台のカメラは離間され、領域ＰＸＡ１およびＰＸＡ２が像差の効果を有し、それによって人間の視覚系において３Ｄの錯覚を引き起こすようになっている。つなぎ目（より目立つ可能性がある）ＳＴＩＴＣＨ１およびＳＴＩＴＣＨ２は、ビューの中心を避けて位置付けられる。これは、通常は最も近いカメラが中心付近の領域をカバーするからである。この方法によって、ビューの特定の領域の画像を作成するために用いられるカメラペアが、頭部配向に応じて動的に選択される。この選択は、検出された頭部配向を用いて、画素ごとおよびフレームごとに行ってもよい。

この貼り合わせは、貼り合わせたすべての領域に適切なステレオ像差を確実に持たせるアルゴリズムを用いて行われる。図３ｃにおいて、左の画像と右の画像は、シーン内の物体が、異なるカメラソースからの領域にわたって連続するように貼り合わされている。例えば、シーン内の最も近い立方体は、１台のカメラによって左眼画像として撮影され、２台の異なるカメラによって右眼ビューとして撮影されて、貼り合わされる。さらに別のカメラによって、この立方体のすべての部分が左眼用と右眼用に撮影され、それによって像差（右眼画像では立方体の右側がよく見える）が生成される。

左眼と右眼の両方において同じカメラ画像を部分的に用いてもよいが、同じ領域には用いないようにする。例えば、左眼ビューの右側をカメラＩＳ３から貼り合わせ、右眼の左側を同じカメラＩＳ３から貼り合わせることができる。ただしこれは、これらのビューの領域が重複せず、これらの領域を、異なるカメラ（ＩＳ１およびＩＳ２）を用いてそれぞれの他方の眼用にレンダリングしている場合に限る。言い換えれば、左眼画像と右眼画像の両方のステレオ視に同じカメラソース（図３ａではＩＳ３）を用いてもよい。一方、従来のステレオ視では、左側カメラは左側画像に、右側カメラは右側画像に用いられる。したがって、本方法によってソースデータをより有効に活用することができる。これはビデオデータの撮影に活用することができ、これによって、異なるカメラによって異なる時間インスタンスで（３０フレーム／秒などの特定のサンプリングレートで）撮影された画像を用いて、視聴用の左ステレオ画像および右ステレオ画像を作成できる。これは、特定の時間インスタンスで撮影された同じカメラ画像を用いて左眼用画像の一部および右眼用画像の一部を作成し、これらの左眼画像と右眼画像を共に用いて、視聴用のステレオビデオストリームの１つのステレオフレームを形成することによって実行してもよい。異なる時間インスタンスにおいて、異なるカメラを用いて、ビデオの左眼フレームの一部および右眼フレームの一部を作成してもよい。これによって、撮影されたビデオデータをより効率的に用いることが可能になる。

図４ａおよび４ｂは、画像ソースとして用いられるカメラ装置例を示す図である。３６０度の全方位ステレオパノラマビューを作成するには、すべての視方向を、左眼用と右眼用の２つの位置から撮影する必要がある。ビデオパノラマの場合、眼の同期を維持するために、これらの画像を同時に撮影する必要がある。１台のカメラでは、少なくとも別のカメラによって覆い隠されることなく３６０度のビュー全体を物理的にカバーすることはできないため、複数のカメラを用いて３６０度のパノラマ全体を形成する必要がある。しかしながら、カメラを追加するとシステムのコストとサイズが増加し、処理するデータストリームも増加する。この問題は、さらに垂直な視野を得るためにカメラを球状またはプラトンの立体形状に配置する場合により顕著になる。しかしながら、複数のカメラペアを、例えば球状、または正八面体や正十二面体などのプラトンの立体形状に配置しても、それらのカメラペアによるビューの両眼視差は自由角度にはならない。両眼視差は、ペア内の個々のカメラの位置に固定される。すなわち、カメラペアに対して垂直な方向では視差を得られない。このことは、Ｚ軸周りの視角度を自由に回転できるヘッドマウントディスプレイを用いてステレオコンテンツを見る場合に問題となる。

複数のカメラによってキャプチャ装置周囲のすべての点を２回カバーしようとすると、キャプチャ装置に非常に多くのカメラを備える必要がある。本解決手段に用いられる新規な技術では、１８０度（半球）以上の視野を有するレンズを利用し、かつ、キャプチャ装置の周囲に、注意深く選択された配置でカメラを位置付ける。このような配置を図４ａに示している、ここで、カメラはそれぞれ仮想的な立方体の角に置かれ、この立方体の中心点から実質的に外側を指す向きＤＩＲ_ＣＡＭ１、ＤＩＲ_ＣＡＭ２、…、およびＤＩＲ_ＣＡＭＮを有している。もちろん、立方八面体などの他の形状や、不規則なものも含めて他の配置を用いることもできる。

重複する複数の超広角視野レンズを用いることで、１台のカメラを、あるカメラペアの左眼ビューと、別のカメラペアの右眼ビューとの両方用に機能させることもできる。これによって、必要なカメラの台数が半分になる。驚くべき利点として、この方法でカメラの台数を削減するとステレオ視の品質が向上する。この方法では、カメラ同士のビューが十分に相互に重複している限り、すべてのカメラの中から左眼カメラと右眼カメラを任意に選択できるからである。異なる台数のカメラ、および球状やプラトンの立体形状などの異なるカメラ配置においてこの技法を用いると、（前述のとおり）それぞれの眼に最もよく一致するカメラを選択でき、垂直の両眼視差も得られる。これは特に、ヘッドマウントディスプレイを用いてコンテンツを見る際に有利である。前述のカメラ設定は、前述の貼り合わせ技法と共に、カメラ装置の費用を抑えつつ忠実度の高いステレオ視を可能にする場合がある。

広い視野により、現在の視方向に応じて、異なる眼に対するソースデータとして１台のカメラからの画像データを選択することができ、必要なカメラの台数が削減される。間隔としては、１つの軸を中心として５台以上のカメラを環状に配置できるが、これは、装置の上方および下方における画質が高くなくてもよい場合、または、前記環の軸に対して垂直な方向からビューの向きを傾けない場合である。

全方位において高品質の画像と自由にビューを傾けることが必要である場合、例えば、立方体（６台のカメラ）、正八面体（８台のカメラ）、または正十二面体（１２台のカメラ）を用いてもよい。この中で、正八面体、または立方体の角（図４ａ）は、カメラ台数の最小化と、異なるビューの向きに利用可能なカメラペアの組合せの数の最大化とのバランスがうまく取れるため、有望な選択肢である。８台のカメラによって構成される実際のカメラ装置を図４ｂに示す。このカメラ装置は１８５度の広角レンズを用いているため、カメラの合計カバー範囲は完全な球体４つ分以上である。つまり、シーン内のすべての点が少なくとも４台のカメラでカバーされる。これらのカメラは、装置の中心から外側を指す向きＤＩＲ_ＣＡＭ１、ＤＩＲ_ＣＡＭ２、…、ＤＩＲ_ＣＡＭＮを有する。

より少ない台数のカメラでも、このような倍のカバー範囲を達成できる。例えば、６台のカメラおよび前記と同様の１８５度のレンズを用いることで、３倍のカバー範囲を達成できる。あるシーンのレンダリング中に、特定の画素に対して最も近いカメラが選択されているとすると、カバー範囲が３倍であるということは、少なくとも３台のカメラが常に任意の点をカバーするということであり、したがって、その点に対して少なくとも３つの異なるカメラペアを形成できるということである。すなわち、ビューの向き（頭部配向）に応じて、良好な視差を有する任意のカメラペアをより容易に見つけることができる。

このカメラ装置は、少なくとも３台のカメラを備えてもよい。像差を有するステレオ画像を作成するために、当該少なくとも３台のカメラによる任意のカメラペアが像差を有するように、当該少なくとも３台のカメラは相互に規則的または不規則に配置されている。当該少なくとも３台のカメラの視野は重複しており、当該少なくとも３台のカメラによって各部分が撮影される重複領域が定義されている。当該少なくとも３台のカメラによる任意のカメラペアは、ステレオ画像を作成するために、人間の眼の視差に対応する視差を有してもよい。例えば、一対のカメラ間の視差（距離）は５．０ｃｍ〜１２．０ｃｍ、例えば約６．５ｃｍであってもよい。このような視差は、人間の通常の両眼距離における距離と類似しているため、自然な視差または自然な視差に近い視差として理解してもよい。当該少なくとも３台のカメラは、異なる方向の光軸を有してもよい。重複領域は、単連結のトポロジーを有してもよい。つまり、重複領域は孔がない、または実質的に孔がない連続した表面を形成し、観察される表面全体、または少なくとも重複領域の大部分にわたって像差を得ることができる。いくつかのカメラ装置において、この重複領域は、カメラ装置の視方向を中心とした中心視野であってもよい。当該少なくとも３台のカメラそれぞれの視野は、半球にほぼ対応してもよい。カメラ装置は、三角形状に配置された３台のカメラを備えてもよい。これによって、任意のカメラペアの各光軸の方向同士が９０度未満の角度を成す。前述の少なくとも３台のカメラは、８台の広視野カメラであってもよい。これらのカメラは、仮想的な立方体の角に実質的に配置され、通常の状態で、それぞれ光軸方向が実質的に仮想的な立方体の中心点から角を指している。当該広視野カメラそれぞれの視野は少なくとも１８０度であり、球状ビュー全体の各部分は少なくとも４台のカメラによってカバーされる（図４ｂを参照）。

成人の眼幅（interpupillary distance：ＩＰＤ）は、個人差と性別差により約５２ｍｍから７８ｍｍである。当然のことながら、子供のＩＰＤは成人より小さい。人間の脳は、個人ごとのＩＰＤに適応するが、立体視を表現する際のいくらかの差異にはうまく対応できる。異なる像差への耐性にも個人差があるが、例えば画像を見る際の８０ｍｍの像差であれば、ほとんどの成人による立体視において問題になるとは考えられない。したがって、カメラ間の最適な距離は、成人における自然な像差である約６０〜７０ｍｍであるが、視聴者によっては、本発明はより大きな、例えば４０ｍｍ〜１００ｍｍ、さらには３０ｍｍ〜１２０ｍｍの距離範囲でも機能する。例えば、カメラ装置内において光学機器や電子機器に十分な空間を確保できるように８０ｍｍを採用しても、ステレオ視のためのリアルで自然な像差を得ることができる。

図５ａおよび５ｂは、ステレオ視用のソースと宛先の座標系の利用を示す図である。ここで用いる技術では、重複したビデオデータと同期したキャプチャ装置の向きを記録し、その向き情報を利用して、ユーザに提示されるビューの向きを修正し、再生中におけるキャプチャ装置の回転を効果的に相殺する。これによって、キャプチャ装置ではなくユーザが視方向を制御できる。視聴者がキャプチャ装置自体の元の動きを経験したい場合、修正を無効にしてもよい。視聴者が元の動きほど極端ではない経験をしたい場合、フィルタを用いて動的に修正を適用でき、それによって、より低速に、または通常の向きからの逸脱を抑えながら、元の動きに追従することができる。

図５ｃは、カメラ装置の回転と、カメラ座標系の回転を示している。当然のことながら、各カメラのビューおよび向きも変化するので、視聴者には、自分が前と同じ向きであっても左に回旋しているように見える。同時に、図５ｄに示すように、ユーザが頭部を左へと回旋させると、生じるビューはより大きく左へと回転し、場合によっては視方向が１８０度変化する。カメラ装置の動作をキャンセルすると、ユーザの頭部の動きによってビューが制御される（図５ｃおよび５ｄ）。スキューバダイバーを例に挙げると、ダイバーが見ていた物に関係なく、視聴者は見る物体を選択することができる。すなわち、ユーザに対して表示される画像の決定に、画像ソースの向きとユーザの頭部の向きとが共に用いられる。

以下に、４〜１２台のカメラ、および例えば広角魚眼レンズを用いるカメラ装置用の、関連する複数カメラ群の配置について説明する。このカメラ装置群は、ヘッドマウントディスプレイによる視聴用の３Ｄビジュアル録画の際に有利である場合がある。

図６ａは、頭部回旋時の人間の視覚を模倣するように形成されたカメラ装置の図である。本文のコンテキストにおいて、ヘッドマウントディスプレイを用いてシーンを見る際に、頭部以外の体の部位が回旋しない状態における頭部の動きの通常範囲は、１つの半球に制限される。すなわち、ヘッドマウントディスプレイを用いる人は、自分の頭部を動かしてこの半球内で頭部を回旋させているのであって、胴部を動かして後ろを見るわけではない。両眼の視野のため、頭部のこの半球状の動きによっても全球の視界が容易に確保されるが、３Ｄとして見られるその球状領域は、半球よりわずかに大きいだけである。これは、後方領域が片方の眼でしか見えないからである。

図６ａは、頭部を左、中央、右へと回旋させたときのそれぞれの３Ｄビジョン６１０、６１１、６１２の範囲を示す図である。三次元全視野６１５は、水平面における半円よりやや大きい。頭部の後方は、領域６２０、６２１、６２２、６３０、６３１、および６３２の組合せとして見ることができ、３Ｄ領域を差し引くと、２Ｄ視領域６２５が残る。後方へのビューは限られており、頭の内部（眼の後ろ）は見ることができないため、本人は、後方にあり、頭の外側の領域もカバーしている小さい楔形領域６４５を見ることができない。眼の位置６５０、６５１、６５２、６５３、６５４、および６５５のいくつかに広角カメラを配置すると、同様の中心視野６１５および周辺視野６２５を、ステレオ視用に撮影できる。

同様に、頭部を上および／または下に傾けたときの眼の位置にカメラを配置してもよい。例えば、カメラ装置は、上述のように人間の解剖学的正位、および解剖学的最大左回旋位および最大右回旋位、加えて、解剖学的最大屈曲位（下に傾ける）、最大伸展位（上に傾ける）、における両眼の位置に実質的に対応する場所に配置したカメラを備えてもよい。カメラ同士の間隔をより狭めるために（すなわちカメラ装置のサイズを削減するために）、両眼位置を、半径５０〜１００ｍｍ、例えば半径８０ｍｍの仮想球体上に投影してもよい。

視聴者の体（胸部）が動かない場合、その視聴者の頭部配向は頸椎の通常の解剖学的可動域によって制限される。例えば以下のようであってもよい。頭部は、通常、垂直軸を中心に両側９０度に回旋可能である。通常の屈曲範囲は最大９０度であり、すなわち、視聴者は個人の骨格に応じて、頭部を９０度下に傾けることができる。通常の伸展範囲は最大７０度であり、すなわち、視聴者は頭部を７０度上に傾けることができる。通常の側方屈曲範囲は両側に最大４５度、例えば３０度であり、すなわち、ユーザは頭部を最大３０〜４５度側方に傾けることができる。胸部（および下部脊柱）を何らかの形で回旋、屈曲、または伸展させると、これらの通常の可動域が拡大する場合がある。

従来の解決手段においては、（頭部の動きに伴う）人間の通常の中心視野に関するこの考察を、３Ｄ視用のカメラ装置のカメラの台数と位置を最適化するために活用していない。カメラ装置は、少なくとも３台のカメラを備えてもよく、これらのカメラは、それぞれの視野の方向における光軸が、半球状の視野内にあるように配置される。このようなカメラ装置において、前述の半球状視野外に（すなわち、後方に向かう）光軸を持つカメラを備えないようにすることもできる。さらに、広角レンズを用いて、カメラ装置の全視野が全球をカバーするようにしてもよい。例えば、個々のカメラの視野は１８０度より大きくてもよく、カメラ同士が互いの視野を覆い隠さないようにカメラ装置内に配置してもよい。

図６ｂの例示的な実装において、４台のカメラ６６１、６６２、６６３、および６６４が正六角形の４つの隣接する頂点に配置され、それぞれの光軸が六角形の中心点を通り、各カメラシステムの焦点が、隣接するカメラから６４ｍｍ以上９０ｍｍ以下の距離に位置するように配置されている。

２台のカメラ間の平均方向に見られる３Ｄ画像において、図６ｂ内の距離「ａ」（視差）によって生じる像差が最大になり、距離ａは当該カメラの焦点間の距離に一致する。システムの平均像差が人間の平均的な両眼距離と一致するように、この距離は通常、６５ｍｍよりやや大きくする。

視方向が３Ｄ視野の末端に近づくと、像差（図６ｂの距離「ｂ」）、つまり人間の遠近感が、システムの形状によって減少する。所定の視角度を超えると、２台のカメラによって作り出される３Ｄビューは、１台のカメラからの２Ｄビューに置き換わる。この変更に先立つ像差の自然な減少により、３Ｄから２Ｄ視へとスムーズに目立たないように切り替えられるため、有益である。

カメラシステムの後方に不可視の領域があるが、この正確な範囲は、末端（周辺）カメラ６６１および６６４の位置と方向、およびこれらの視野によって決まる。この領域は、例えば、最終的に撮影されたビジュアル環境において表示されない機構、バッテリ、データストレージ、または他の補助的装置用に用いることができるかなり大きな容積を提供するため、有益である。

図６ａから６ｈのコンテキストにおいてここに示すカメラ装置は、ある視方向を有する。例えば、図６ａおよび６ｂのカメラ装置は、まっすぐ前方向（図中では真上）の視方向を有する。カメラ装置は、少なくとも１台の中央カメラと、少なくとも２台の周辺カメラとを含む複数のカメラを備える。例えば、図６ｂにおいて、カメラ６６２および６６３は中央カメラであり、カメラ６６１および６６４は周辺（末端）カメラである。各カメラの視野は、それぞれの光軸およびレンズの画角によって定義される。これらのカメラ装置では広角レンズが用いられるため、前述の各視野はカメラ装置の視方向をカバーする。中央カメラおよび周辺カメラによって、自然な像差を有する少なくとも２つのステレオカメラペアが形成されるように、複数のカメラが相対的に配置される。これによって、視方向に応じて適切なステレオカメラペアを用いてステレオ画像を作成できる。各ステレオカメラペアはそれぞれステレオ視野を有する。これらのステレオ視野も、カメラが適切に配置された場合はカメラ装置の視方向をカバーする。このカメラ装置は全体として中心視野６１５を有する。これは、複数のステレオカメラペアそれぞれのステレオ視野を組み合わせたステレオ視野である。中心視野６１５は前述の視方向を含む。カメラ装置は周辺視野６２５も有する。これは、中心視野以外、つまり、中心視野より少なくとも部分的に外側にある、すべてのカメラの視野を組み合わせた視野である。例として、カメラ装置は、カメラ装置の視方向を含む少なくとも１つの平面において、当該カメラ装置の視方向の両側に１００〜１２０度にわたる中心視野を有してもよい。

ここでは、中心視野は、少なくとも１つのカメラペアによって撮影された画像を用いてステレオ画像を形成することができる視野として理解できる。周辺視野は、少なくとも１台のカメラを用いて画像を形成できるが、適切なステレオカメラペアが存在しないためステレオ画像を形成することはできない視野である。カメラの視野に関して実現可能な配置としては、カメラ装置が中央領域または中心点を有し、複数のカメラの光軸が互いに非平行であり、それぞれ中心を通る配置がある。すなわち、それぞれのカメラが中心からまっすぐ外側を向いている。

立方八面体形状を図６ｃに示している。立方八面体は、六角形と、その上下の正三角形とで構成され、三角形の頂点は六角形の最も近い頂点に連結している。すべての頂点は、最も近い隣接する頂点から等間隔に離間されている。上方または下方の三角形の一方を、他方の三角形に対し、垂直軸を中心として３０度回転すると、変形した立方八面体形状が得られる。この立方八面体は、中央の六角形平面を中心として対称である。この立方八面体の正面の半球にカメラを配置してもよい。４台のカメラＣＡＭ１、ＣＡＭ２、ＣＡＭ３、およびＣＡＭ４が中央の六角形の頂点に、２台のカメラＣＡＭ５およびＣＡＭ６が前述の六角形の上方に、および３台のカメラＣＡＭ７、ＣＡＭ８、およびＣＡＭ９が前述の六角形の下方にある。

例示的な８カメラシステムを、カメラ装置支持構造と共に、３Ｄ機械製図として図６ｄに示す。カメラは、カメラ用の位置を有する支持構造に取り付けられている。このカメラシステムにおいて、立方八面体の下方の三角形は、カメラ装置の視方向を中心とする半球内に２台のカメラを含むように回転されている（鏡映を図６ｅに示す）。

図６ａから６ｈに示す本カメラ装置および他のカメラ装置において、１つのカメラ装置は複数のカメラを備え、これらのカメラは実質的に球状の仮想表面（例えば、視方向ＤＩＲ_ＶＩＥＷを中心とした半球）に配置されてもよい。このような配置において、すべてまたは一部のカメラの光軸が仮想球体の中心点を通るか、ほぼ通ってもよい。カメラ装置は、図６ｃおよび６ｄに示すように、光軸ＤＩＲ_ＣＡＭ２およびＤＩＲ_ＣＡＭ１が水平面（中央の六角形の面）に配置され自然な像差を有する第１の中央カメラＣＡＭ２および第２の中央カメラＣＡＭ１を備えてもよい。また、前述の水平面に配置され、中央カメラＤＩＲ_ＣＡＭ２の光軸に対して左側に向けられた光軸ＤＩＲ_ＣＡＭ３を有する第１の周辺カメラＣＡＭ３と、前述の水平面に配置され、中央カメラＤＩＲ_ＣＡＭ１の光軸に対して右側に向けられた光軸ＤＩＲ_ＣＡＭ４を有する第２の周辺カメラを備えてもよい。この配置において、第１の周辺カメラと第１の中央カメラの光軸同士、第１の中央カメラと第２の中央カメラの光軸同士、および第２の中央カメラと第２の周辺カメラの光軸同士は、それぞれ約６０度の角度を成す。図６ｄの設定において、２台の周辺カメラは互いに反対方向（またはほぼ反対方向）を向いており、それぞれの光軸は反対方向に配置されている。このような配置において、広角レンズを用いることにより、２台の周辺カメラの視野を一部重複させて全球をカバーしてもよい。

図６ｄにおいて、カメラ装置は、仮想的な立方八面体における上方前部の四分領域の頂点にそれぞれ配置された、２台の中央カメラＣＡＭ１およびＣＡＭ２と、４台の周辺カメラＣＡＭ３、ＣＡＭ４、ＣＡＭ５、およびＣＡＭ６、ならびに、当該立方八面体における上方前部の四分領域の赤道面（中央の六角形の平面）を中心として鏡映された位置に配置された２台の周辺カメラＣＡＭ７およびＣＡＭ８も備える。赤道面にないカメラの光軸ＤＩＲ_ＣＡＭ５、ＤＩＲ_ＣＡＭ６、ＤＩＲ_ＣＡＭ７、およびＤＩＲ_ＣＡＭ８も、カメラ装置の中心を通ってよい。

図６ｄの個々のカメラの方向および位置について、図６ｇの球座標系を用いて以下に説明する。カメラＣＡＭ１からＣＡＭ８の位置の座標（ｒ，θ，φ）はそれぞれ（Ｒ，９０o，６０o）、（Ｒ，９０o，１２０o）、（Ｒ，９０o，１８０o）、（Ｒ，９０o，０o）、（Ｒ，３５．３o，３０o）、（Ｒ，３５．３o，３０o）、（Ｒ，１４４．７o，３０o）、および（Ｒ，１４４．７o，１５０o）であって、ここでＲ=７０ｍｍである。光軸の方向（θ，φ）はそれぞれ（９０o，６０o）、（９０o，１２０o）、（９０o，１８０o）、（９０o，０o）、（３５．３o，３０o）、（３５．３o，１５０o）、（１４４．７o，３０o）、および（１４４．７o，１５０o）である。

図６ｅおよび６ｆは、あるカメラ装置の異なるカメラ設定を示す図である。このカメラ装置の視方向（およびカメラを含む半球）は図を見ている人に向かっている。

図６ｅに示すように、最小限の立方八面体カメラ設定は、中央面に配置された４台のカメラＣＡＭ１、ＣＡＭ２、ＣＡＭ３、およびＣＡＭ４で構成される。このため、視方向は中央カメラＣＡＭ１およびＣＡＭ２の光軸方向の平均である。収集される得る有益なデータを増やすために、追加のカメラを様々な方法で配置してもよい。６カメラ構成では、六角形の上方の三角形の頂点のうちの２つに一対のカメラＣＡＭ５およびＣＡＭ６を配置し、それらの光軸がシステムの中心で交わるようにして、中央の六角形環の２台の中央カメラＣＡＭ１およびＣＡＭ２と四角形を形成してもよい。８カメラ構成では、中央の六角形平面を中心として、前述の２台のカメラＣＡＭ５およびＣＡＭ６を鏡影した２台のカメラＣＡＭ７およびＣＡＭ８をさらに追加してもよい。図６ｅに示した前述の４台のカメラによって、前方方向からの前方のカメラのオフセット角度分、３Ｄ範囲が拡大される。カメラごとの通常の分離角は６０度であるが、これによってカメラの視野が６０度広がり、視野が１９５度である一般的な市販レンズの場合は３Ｄ全視野が２４０度より大きくなり、最大２５５度になる。６カメラシステムでは、中央位置から頭部を上向きピッチにしているときに高品質の３Ｄビューが得られる。８カメラシステムでは、下方にも同様のことが可能である。この配置によって、垂直の動きを含む頭部の通常の動きへの一致が全体的に良好になる。

不均等なカメラ配置を用いてもよい。例えば、カメラの光軸間が６０度より大きく離れているカメラ装置や、分離角はそれより小さいがより多くのカメラを含むカメラ装置を想定してもよい。

３台のカメラのみを用いて、１台（図６ｆの左下のＣＡＭ１）はカメラ装置の視方向に正面を向き、２台（ＣＡＭＸ１、ＣＡＭＸ２）は１台目から９０度離して反対方向の側面に配置する場合、３Ｄビジョンの範囲は、正面のカメラの視界によって制限されるが、一般的には頭部の動きによる３Ｄビジョンの範囲よりも狭い。また、このカメラ設定においては、垂直の像差を生成できない（視聴者が頭部を横に傾けている状態）。この垂直の像差は、例えば図６ｆの右上の設定に示すように、垂直に配置された複数のカメラを設定に追加することによって実現してもよい。この設定では、周辺カメラＣＡＭＸ１およびＣＡＭＸ３がそれぞれ半球の上部および下部、すなわち半球の縁部付近にあり、周辺カメラＣＡＭＸ２およびＣＡＭＸ４が水平面にある。ここでも、中央カメラＣＡＭ１はカメラ装置の視方向を指している。左上の設定では、６台の周辺カメラＣＡＭＸ１、ＣＡＭＸ２、ＣＡＭＸ３、ＣＡＭＸ４、ＣＡＭＸ５、およびＣＡＭＸ６が半球の縁部上または縁部付近にある。図６ｆの右下の設定のように、２台、３台、４台、またはそれ以上の中央カメラＣＡＭ１、ＣＡＭ２、およびＣＡＭ３を用いることもできる。これによって、カメラ装置の視方向におけるステレオ画像の品質が向上する場合がある。これは、２台以上の中央カメラを用いることができ、画像の中央で貼り合わせる必要がないように（貼り合わせについては前述のとおり）、これらのカメラの視野の実質的に中央に視方向が捉えられるからである。

図６ａから６ｈのカメラ装置において、個々のカメラは球状または実質的に球状の仮想表面上に配置される。カメラは仮想表面の１つの半球、または半球より空間角度がやや（例えば２０度）小さいか大きい領域に配置される。この仮想球体のもう１つの半球にはカメラが配置されない。前述のとおり、これによって機構や電子機器用の光学的に不可視の空間が後方に確保される。これらのカメラ装置において、中央カメラは半球の中央（カメラ装置の視方向付近）に配置され、周辺カメラは半球の縁部付近に配置される。

様々な離間値による不均等な配置も採用できるが、頭部の動きを再現するためのデータ品質が低下するか、あるいはより多くのカメラを追加する必要があり、構成がより複雑になる。

図６ｇは、前述のカメラ位置およびそれらの光軸方向の説明の基となっている球座標系を示す図である。中心点からの距離は座標ｒで示される。参照方向から、空間内の任意の点における垂直軸を中心とした回転は、角度φ（ファイ）で示される。垂直軸からの回転オフセットは角度θ（シータ）で示される。

図６ｈは、カメラ装置の構造例およびその視野を示す図である。支持構造６９０を備え、支持構造６９０は、電子機器用の筺体または空間と、カメラ６９１用の支持アームまたは受け台とを備える。また、カメラ装置用の支持部６９３と、この支持部の他端に、カメラを保持するためのハンドル、あるいは物体（例えば車またはスタンド）に対してカメラを保持または固定するための固定板６９５または他の装置を備えてもよい。前述のとおり、カメラ装置は視方向ＤＩＲ_ＶＩＥＷ、中心視野（３Ｄ）、および周辺視野（２Ｄ）を有する。カメラ装置の後方に、電子機器、機械構造などを保持するための空間、格納装置などを備えてもよい。カメラ装置の（視方向周囲の）１つの半球にカメラが配置される非対称のカメラ配置により、カメラ装置の後方に不可視の空間が存在する（図６ｈに「不可視」として示されている）。

図７ａおよび７ｂは、ステレオ視用の画像ソースデータの送信を示す図である。この用途において提示されるステレオ視のシステムは、ソースビデオデータをビューアに送信するための多視点映像符号化を採用してもよい。すなわち、サーバはエンコーダを備えてもよく、つまりビデオデータはサーバにおいて符号化された形式となり、ビデオデータの重複を利用して帯域幅が削減される。しかしながら、広角レンズによって生じる大きなひずみにより、符号化効率が低下することがある。そのような場合、図７ａに示すように、様々なソース信号Ｖ１〜Ｖ８を組み合わせて１つのビデオ信号とし、１つの符号化ビデオストリームとして送信してもよい。その後、ビューア装置において、左眼および右眼用の画像をレンダリングするために必要な画素値を選択してもよい。

シーン全体のビデオデータを送信する（および／またはビューアにおいて復号する）必要がある場合がある。再生中、ビューアは視聴者の頭部の角運動に直ちに反応して、正確な角度からコンテンツをレンダリングする必要があるからである。これを可能にするためには、ユーザは随時に頭部を回旋させる可能性があるので、３６０度全方位のパノラマビデオをサーバからビューア装置へと転送する必要がある場合がある。これには大量のデータの転送が必要になり、帯域幅が消費され、復号のためのリソースも必要となる。

この用途において用いられる技術は、現在および予測される将来の視角度を、ビューシグナリングによってサーバに報告し、サーバにおいて、その視角度に従って符号化パラメータを適用できるようにするものである。サーバは、可視領域（アクティブ画像ソース）に対してより多くの利用可能な帯域幅を用いて品質を向上し、現在不可視であるか、または頭部の動きに基づいて短期間可視になると予想される領域（パッシブ画像ソース）に対してはより少ない帯域幅を用いるようにして（品質を低下させて）、データを転送できる。実際の場合においては、ユーザが頭部を素早くかつ大きく回旋させると、コンテンツの品質は最初は低くなるが、サーバが新しい視角度を受信してストリームを適用し次第、品質が向上する。シーン全体に均等な帯域幅を静的に割り当てる場合と比べて、頭部の動きが少ない間の画像品質が向上することが利点であるといえる。これを図７ｂに示している。アクティブソース信号Ｖ１、Ｖ２、Ｖ５、およびＶ７は、他のソース信号（パッシブ画像ソース）Ｖ３、Ｖ４、Ｖ６、およびＶ８よりも高い品質で符号化される。

ブロードキャストの（複数のビューアを用いる）場合、サーバは、すべてが均等に圧縮された１つのストリームではなく、圧縮率の高い、球状パノラマの様々な領域を含む複数のストリームをブロードキャストしてもよい。ビューア装置は、視角度に従って、復号して表示するストリームを選択してもよい。この方法では、サーバは個々のビューアの視角度を認識する必要がなく、コンテンツを任意の数の受信機にブロードキャストすることができる。

帯域幅を節約するために、ビューの一部の品質を低下させて転送するように画像データを処理してもよい。これは、例えば、送信時の計算要件を低くするために前処理ステップとしてサーバ側で実行してもよい。

ビューアとサーバが１対１で接続されている場合（ブロードキャストではない場合）、低い品質で転送されるビューの部分が選択され、現在の視角度において不可視にされる。クライアントは、視角度を継続的にサーバへ報告してもよい。同時に、クライアントは、受信を希望するストリームの品質や帯域幅に関する他のヒントを送信してもよい。

ブロードキャスティング（１対多の接続）の場合、サーバは、ビュー内の異なる部分が低い品質で転送される複数のストリームをブロードキャストしてもよく、クライアントは、現在の視角度において低品質領域がビュー外になるように、ストリームを選択して復号、表示する。

ビュー内の特定の領域の品質を低下させる方法の例として、次のものがあげられる。
‐空間解像度を下げる、および／または画像データを縮小する、
‐カラーコーディングの解像度またはビット深度を下げる、
‐フレームレートを下げる、
‐圧縮率を上げる、および／または
‐画素データ用の追加のソースを除外し、画素用のソースを１つのみ保持して、該当領域を事実上、立体視から平面視へと変換する。

例えば、中央カメラデータの一部またはすべてを高解像度で転送し、周辺カメラデータの一部またはすべてを低解像度で転送してもよい。すべてのデータを転送するのに帯域幅が十分でない場合、例えば、図６ｄにおいて、側方カメラＣＡＭ３およびＣＡＭ４からのデータを転送し、他のデータを転送しないようにしてもよい。これによって、ビューアの視角度に関係なく、平面視画像を表示することができる。

上記の方法は個別に、組み合わせて、または例えばソース単位ですべて同時に行うこともできる。これを行うには、ストリームを、高品質ストリームまたは低品質ストリームであり、ストリームごとに１つ以上のソースを含む２つ以上の個別のストリームに分割する。

これらの方法は、すべてのソースが同じストリームで転送される場合も適用可能である。例えば、八面体配置の８つのソースを含む１つのストリームにおいて、現在の視方向を完全（およびそれ以上に）にカバーする４つのソースをそのまま保持し、残りの４つのソースのうち２つを完全に除外し、残りの２つを縮小することによって、帯域幅を大幅に削減できる。図６ｄの、半分が鏡映されている立方八面体設定において、中央カメラＣＡＭ１およびＣＡＭ２を高解像度で送信し、ＣＡＭ３およびＣＡＭ４を低解像度で送信し、残りのカメラを除外してもよい。また、圧縮アルゴリズムによって変更のない連続フレームを高い圧縮率で圧縮できるように、サーバにおいて２つの低品質ソースを１フレームおきにのみ更新できる。場合によっては、４つの完全なソースのみをカバーするように圧縮の関心領域を設定する。これによって、サーバは、すべての可視ソースを高品質に保つ一方で、不可視領域を平面視、低解像度、低いフレームレート、および高い圧縮率にすることで、必要な帯域幅を大幅に削減する。帯域幅の削減は、ユーザが視方向を素早く変更すると認識されるが、クライアントは新しい視角度に対応して、その新しい視角度を有する高品質のストリームを選択する。または、１対１のストリーミングの場合、サーバがストリームに対応して、新しい視角度の高品質データを提供し、非表示のソースの品質を下げる。

図８に、ステレオビデオなどのステレオ画像を見るための方法を示す。段階８１０において、１台、２台、またはそれ以上のカメラ、あるいはそれらすべてを選択して、ビデオなどの画像データを撮影する。撮影のパラメータおよび解像度を設定してもよい。例えば、高解像度データを撮影するように中央カメラを設定し、通常の解像度データを撮影するように周辺カメラを設定してもよい。段階８１０は省略してもよい。その場合、すべてのカメラによって画像データを撮影する。

段階８１５において、視聴側に送信される（カメラに対応する）画像データチャネルを選択する。つまり、一部のデータを送信しないように決定してもよい。段階８２０において、高解像度で送信するチャネルおよび低解像度で送信するチャネルを選択してもよい。段階８１５および／または８２０を省略してもよい。その場合、すべての画像データチャネルを元の解像度およびパラメータで送信してもよい。

段階８１０または８１５において、視方向における半球に対応する、カメラ装置のカメラを選択してもよい。すなわち、選択された半球内に光軸があるカメラが選択されて用いられる。この方法で、例えば全球カメラ装置から、仮想的な半球カメラ装置をプログラムによって構築してもよい。

段階８３０において、カメラ装置からの画像データをビューアにおいて受信する。段階８３５において、画像の構築に用いる画像データを選択してもよい。段階８４０において、前述のとおりに、画像データからステレオ視用の画像が形成される。

様々な実施形態はそれぞれ利点をもたらし得る。例えば、図６ｄの装置に示すように、カメラ装置のカメラが１つの半球に集中している場合、図４ａに示す８カメラの立方体配置と比べて、カメラ同士が角度的に近くなることがある。このためビューの中央で貼り合わせる必要性が少なくなることがあり、知覚される３Ｄ画像品質が向上する。図６ｂの設定において、カメラ装置の後方に向かって像差が減少することは、実世界の人間の視覚にも生じる自然な現象である。様々な半球状の配置によって、用いるカメラの台数を削減でき、コストを削減すると同時に、中心視野を良好にカバーしつつ、２Ｄ画像を全球にわたって提供できる。図６ａから６ｈにおける半球配置の非対称の設計により、全球カメラよりも大きな不可視領域が形成されるため、カメラ装置の後方に機構や電子機器用の空間がより多く確保される。図６ｄの設計において、中央カメラには６台のカメラが隣接し、これらと共にステレオカメラペアを形成できるので、中央カメラのステレオ像差は高品質になる。これらのペアのうち４つは自然な像差を有し、２つは自然なものの１．４倍の視差（カメラ間の距離）による像差を有する。

本発明の様々な実施形態は、関連装置に本発明を実施させるメモリ常駐コンピュータプログラムコードを用いて実現可能である。例えば、カメラ装置は、データの処理、受信、および送信のための回路および電子素子と、メモリ内のコンピュータプログラムコードと、このコンピュータプログラムコードの実行時に、一実施形態の諸特徴を当該装置に実施させるプロセッサとを備えてもよい。さらに、サーバなどのネットワーク装置は、データの処理、受信、および送信のための回路および電子素子と、メモリ内のコンピュータプログラムコードと、このコンピュータプログラムコードの実行時に、一実施形態の諸特徴を当該ネットワーク装置に実行させるプロセッサとを備えてもよい。

本発明は上記の実施形態のみに限定されず、添付の特許請求の範囲内で変更可能であることは明らかである。

Claims

視方向を有するカメラ装置であって、
少なくとも１台の中央カメラおよび少なくとも２台の周辺カメラを含む複数のカメラであって、各カメラはそれぞれ視野を有し、前記視野はそれぞれ前記カメラ装置の前記視方向をカバーする、複数のカメラを備え、
前記複数のカメラは、前記少なくとも１台の中央カメラおよび前記少なくとも２台の周辺カメラが、自然な像差を有する少なくとも２つのステレオカメラペアを形成し、前記ステレオカメラペアがそれぞれステレオ視野を有し、前記ステレオ視野がそれぞれ前記カメラ装置の前記視方向をカバーするように、相対的に配置され、
前記カメラ装置は中心視野を有し、前記中心視野は、前記ステレオカメラペアの前記ステレオ視野を組み合わせたステレオ視野を含み、前記中心視野は前記カメラ装置の前記視方向を含み、
前記カメラ装置は周辺視野を有し、前記周辺視野は、前記カメラ装置の前記複数のカメラの前記視野を組み合わせた視野を含み、前記周辺視野は少なくとも部分的に前記中心視野の外側にある、カメラ装置。
前記中心視野は、少なくとも１台の前記カメラペアによって撮影された画像を用いてステレオ画像を形成できる視野であり、前記周辺視野は、前記複数のカメラのうちの少なくとも１台を用いて画像を形成でき、少なくとも１つの前記ステレオカメラペアを用いてステレオ画像を形成することはできない視野である、請求項１に記載のカメラ装置。
前記中心視野は、前記カメラ装置の前記視方向を含む少なくとも１つの平面において、前記カメラ装置の前記視方向の両側に１００〜１２０度にわたって延在する、請求項１または２に記載のカメラ装置。
前記カメラ装置は中心を有し、前記複数のカメラはそれぞれ光軸を有し、前記光軸は互いに非平行であり、それぞれ前記中心を通る、請求項１から３のいずれかに記載のカメラ装置。
前記カメラ装置の任意の台数のカメラが、実質的に球状の仮想表面に配置され、前記台数のカメラはそれぞれ光軸を有し、前記光軸はそれぞれ前記仮想球体の前記中心を通る、請求項４に記載のカメラ装置。
それぞれの光軸が水平面に配置され、自然な像差を有する第１の中央カメラおよび第２の中央カメラと、
前記水平面上に光軸を有し、前記第１の中央カメラの前記光軸の左側に向けられた第１の周辺カメラと、
前記水平面上に光軸を有し、前記第２の中央カメラの前記光軸の右側に向けられた第２の周辺カメラと、
をさらに備える、請求項１から５のいずれかに記載のカメラ装置。
前記第１の周辺カメラと前記第１の中央カメラの前記光軸同士、前記第１の中央カメラと前記第２の中央カメラの前記光軸同士、および前記第２の中央カメラと前記第２の周辺カメラの前記光軸同士は、それぞれ約６０度の角度を成す、請求項６に記載のカメラ装置。
前記カメラ装置の２台の周辺カメラの視野は全球をカバーする、請求項１から７のいずれかに記載のカメラ装置。
前記カメラの前記視野はそれぞれ１８０度より大きく、前記カメラは他のカメラによって視野が覆い隠されないように配置される、請求項１から８のいずれかに記載のカメラ装置。
前記複数のカメラは、前記仮想表面における実質的に１つの半球の、実質的に球状の仮想表面上に配置され、前記仮想球体のもう１つの半球上にはカメラが配置されない、請求項１から９のいずれかに記載のカメラ装置。
前記中央カメラは前記半球の中央に配置され、前記周辺カメラは前記半球の縁部付近に配置される、請求項１０に記載のカメラ装置。
仮想立方八面体の上方前部の四分領域の頂点にそれぞれ配置された２台の中央カメラおよび４台の周辺カメラと、前記立方八面体における前記上方前部の四分領域の赤道面を中心として鏡映された場所に配置された２台の周辺カメラとを備える、請求項１から１１のいずれかに記載のカメラ装置。
解剖学的正位における人間の頭部の眼の位置、解剖学的最大屈曲位における人間の頭部の眼の位置、解剖学的最大伸展位における人間の頭部の眼の位置、および、解剖学的最大左回旋位および最大右回旋位における人間の頭部の眼の位置に実質的に対応する場所に配置されたカメラを備える、カメラ装置。
半径５０〜１００ｍｍの仮想球体上に投影された前記眼の位置と実質的に同じ位置に配置されたカメラを備える、請求項１３に記載のカメラ装置。
前記半径が約８０ｍｍである、請求項１４に記載のカメラ装置。
それぞれの視野の方向における光軸が、半球状の視野内にあるように配置された少なくとも３台のカメラを備えるカメラ装置であって、前記半球状の視野外に光軸を有するカメラを備えず、全球をカバーする全視野を有する、カメラ装置。