JP2010154052A - 複数カメラ制御システム - Google Patents

Abstract

【課題】複数視点の表示が可能な立体映像表示装置に対して、操作者が表示される映像の視点や範囲を直感的に変更できるようにするための、複数カメラ制御システムに対する操作体系及び撮影映像配信システムを提供する。
【解決手段】複数台のカメラを例えば円筒状のボリューム表現及び直感的なユーザインタフェース１２に置き換えて操作者９に提示し、操作者９に円筒状のボリュームの大きさ、高さ、位置などを指定させ、操作者が入力したパラメータをもとに複数台のカメラの変数を求め、解析の結果、得られた変数に従って撮影システム１７，１７’における各カメラを自動的に駆動することで、複数台のカメラを簡単にかつ直感的に制御して、立体映像表示装置１８用のコンテンツ撮影及びコンテンツ配信を行う。
【選択図】図４

Description

本発明は、複数視点の表示が可能な立体映像表示装置に対して、操作者が表示される映像の視点を直感的に変更できるようにするための、複数カメラ制御システムに関する。

近年、映像機器の発展に伴い、平面ディスプレイの大型化・高精細化だけでなく、立体映像の表示が可能なディスプレイ機器なども多く見られるようになってきた。それらの立体映像表示装置は、両眼視差によって映像が浮き上がるように見える平面ディスプレイタイプが主流であるが、中にはディスプレイに対して全周囲の様々な方向から複数の人が同時に、視点に応じた映像を見られるものなども開発されている。例えばスクリーンの回転軸を中心としてほぼリング状に配列された複数の多角形ミラーと、多角形ミラーの上方に設置されたプロジェクタによって映像が投影され、各多角形ミラーによって反射された二次元映像により、ディスプレイの周囲の視点位置によって異なる映像を見ることができる立体映像表示装置が提案されている（特許文献１）。また、４台のプロジェクタやＬＥＤ映写システムから、プロジェクタのスクリーンにあたる逆ピラミッド型の受像部分に、映像を投影し、全周囲から映像を見ることのできるディスプレイも知られている。一方、これらの全周囲立体映像表示装置に表示される映像コンテンツは、どれも被写体を２視点以上の複数方向から撮影する必要があり、実写の場合もＣＧ（コンピュータグラフィックス）で作成する場合も、各カメラの位置や画角などをそれぞれ他のカメラの位置や画角と整合性を保つように制御する仕組みを要する。

特に撮影現場から離れている遠隔地から複数台のカメラのパラメータを把握・調整することは、非常に煩雑な手間を要する作業である。ところで、平面型の立体映像ディスプレイ用の画像作成装置に関しては、多視点画像の作成者が、立体映像表示装置上での再生イメージを直感的に把握しながら、コンテンツを作成（撮影）できるような支援インタフェースが提案されている（特許文献２）。しかし、被写体に対して全周囲を取り囲み、任意の視点から撮影するような場合のカメラ群に対する操作体系については、これまで提案されていない。

特開２００６−１１３６７号公報 特開２００７−９６９５１号公報

ところで遠隔地から一台のカメラの位置や画角を制御するシステムは、ＷＥＢカメラなどに見られるように一般化されてきている。すなわち、上述の立体映像ディスプレイ用の多視点コンテンツ撮影において複数台のカメラを使用する場合でも、各カメラをそれぞれ個別に操作することは、容易である。しかし、一台のカメラでもｘｙｚ位置座標と、パン、チルト、ズームの計６つのパラメータを持っており、これらのパラメータ指定を複数台に対してそれぞれ独立に行おうとすると、（６パラメータ）×（カメラの台数）分の設定が必要になる。すなわち、撮影現場にいる撮影者であればともかく、遠隔地から各カメラの制御を一台一台行うことは、非常に手間がかかる上に、直感的ではないため、パラメータ指定ミスなどを引き起こす可能性もある。また、カメラが被写体を取り囲むように配置されている状況を想定した複数カメラ撮影システムを対象としているため、撮影現場をよく把握しないまま、撮影条件を変更してしまうと、対角上にあるカメラの映りこみや、隣り合うカメラ同士が物理的に衝突してしまうような可能性も無視できない。

本発明はかかる点を鑑みてなされたものであって、その目的は複数視点の異なる映像を表示可能な立体映像表示装置用のコンテンツ作成の際に、操作者が複数台のカメラを直感的に制御できる複数カメラ制御システムを提供することである。

また、本発明の他の目的は、コンテンツを作成して提供する配信側だけでなく、視聴者本人が簡単にかつインタラクティブに撮影現場に対して条件を指定し、映像を受信することができるカメラ制御及び映像配信システムを提供することである。

本発明は上記の課題を解決するものであり、カメラが複数台ある立体映像コンテンツ撮影システムのカメラ制御を、擬似的なボリューム表現に置き換えることで、誰でも簡単にカメラのパラメータ指定を可能にするカメラ制御手法である。

本発明のカメラ制御システムは、複数台のカメラを例えば円筒状のボリューム表現に置き換えて操作者に提示する表示部と、操作者に円筒状のボリュームの大きさ、高さ、傾きなどを指定させる入力部と、操作者が入力したパラメータをもとに複数台のカメラの変数を求める解析部と、解析の結果得られた変数に従って各カメラの撮影条件を自動的に変化させる駆動部とを具備し、複数台のカメラを簡単にかつ直感的に制御して、立体映像表示装置用のコンテンツ撮影を行うことを可能にする。また、本発明のカメラ制御システム及び映像配信システムは、駆動部によって各カメラの撮影条件を制御して撮影された映像を受信側の立体映像表示装置の仕様に準じた形に編集する映像処理部と、編集された映像を受信側に配信する配信部とを具備し、受信側の立体映像表示装置の仕様に依存せず、誰でも複数台のカメラを制御して、表示装置用のコンテンツを受信できるようにする。

すなわち、本発明の複数カメラ制御システムは、撮影領域を取り囲むように配置された複数台のカメラと、各カメラの撮影パラメータを制御するカメラ制御部と、各カメラで撮影された画像を合成して立体映像として表示する立体映像表示部と、立体図形を表示する平面ディスプレイと、表示された立体図形の位置及び／又は形状を操作する操作部と、立体図形の位置及び形状から前記複数台のカメラの撮影パラメータを解析する解析部とを有し、解析部によって得られた撮影パラメータをカメラ制御部に設定し、立体図形の位置及び／又は形状の制御を介して立体映像表示装置に表示する立体映像の表示範囲を制御するものである。

立体図形の位置及び形状は複数台のカメラによって取り囲まれた撮影領域内の空間に対応させることができる。平面ディスプレイに、立体図形を複数台のカメラの配置と共に表示してもよい。

立体図形は円柱又は多角柱とすることができ、平面ディスプレイ上に透視図として、あるいは三角図法によって、例えば平面図と側面図によって表示することができる。あるいは、平面ディスプレイへの立体図形の表示は数値表現によって行い、操作部は数値入力によって立体図形の位置及び／又は形状を操作するようにしてもよい。

立体図形上には基点となるカメラ方向を示す基点マークが表示され、当該基点マークは前記操作部によって操作可能である。そして、基点マークで示される方向のカメラで撮影された画像は立体映像表示部の定位置に表示される。

撮影パラメータは、各カメラの焦点の空間座標、パン、チルト、ズームについてのパラメータとすることができる。

解析部は、複数台のカメラの焦点位置を立体図形の重心位置から解析し、複数台のカメラそれぞれのズーム倍率を立体図形の重心位置と形状の情報から解析することができる。また、複数台のカメラを撮影領域の周りに移動する移動手段を備え、焦点位置に対して隣接する２台のカメラのなす角度がほぼ一定になるように移動手段によってカメラの配置を変更するようにしてもよい。

複数台のカメラそれぞれの撮影画像に対する被写体の占有率を基準にトリミング処理及び画像の拡大縮小処理を行うのが好ましい。

また、撮影領域を仮想空間内の領域とし、複数台のカメラを仮想空間に配置されたレンダリング用の仮想的なカメラとし、カメラで撮影された画像をレンダリング処理によって生成するようにしてもよい。

本発明によれば、複数視点の異なる映像を表示可能な立体映像表示装置用のコンテンツ作成の際に、複数台のカメラを誰でも簡単かつ、直感的に制御することができる。

また本発明によれば、立体映像表示装置の前で視聴者が自ら見る位置を変えることなく、所望の視点から撮影した映像を自分が立っている正面位置に持ってくるように指示することができる。

また本発明によれば、立体映像表示装置の仕様、すなわち映像表示視点数や視点間の角度などの方式に依存することなく、複数台のカメラを操作する際に共通の操作体系でもって指示することができる。

また本発明によれば、実世界における実写の撮影用だけでなく、ＣＧコンテンツ作成の際にも同一の操作体系でレンダリング処理用のカメラを配置することができ、レンダリングソフトの一機能として組み込むことができる。

以下に、本発明にかかる立体映像表示装置向けの複数カメラ制御システム及び撮影映像配信システムに関する実施の形態を図面に基づいて説明する。なお、この実施の形態により、この発明が限定されるものではない。

図１は、一般的な立体映像（三次元映像）表示装置の原理について説明した図である。物体（人物）１の前に、観察者３ａと観察者３ｂが立っているとする。観察者３ａの視線を視線方向２ａで表すと、例えば物体１は映像４ａのように見えることになる。一方、観察者３ｂの視線は視線方向２ｂで表され、物体１は映像４ｂのように見えることになる。このように三次元世界においては、視線方向によって映像の見え方が変化していくことにより、物体１が立体物として観察者３ａ、３ｂの目の前にあるという実感を生み出していると考えられる。

ところで平面ディスプレイにおいても、上記のような視線方向によって異なる映像を見ることができるものが既に提案されており、それらは一般的に立体映像表示ディスプレイと呼ばれている。それらの立体映像表示ディスプレイの代表的な表示技術としては、フラットパネルディスプレイの画素から放出される光線の方向を制御するものや、観察者に特殊な眼鏡をかけさせ、左右の目のシャッタリングとディスプレイの表示の切り替えを同期させるものなどがあるが、それらはどれも平面ディスプレイであるため、被写体の後ろに回りこんで観察するなどの自由度はない。

そこで、特開２００６−１１３６７号公報に記載されているような全周囲どこからでも視線方向に応じた映像を見ることのできる立体映像表示装置が提案されている。この立体映像表示装置においては、例えば図２に示すように複数視点から被写体を見たコマ映像６ａ〜６ｐをリング状に並べた合成画像５を作成し、この合成画像５を上方からプロジェクタによって投影、視点数と同枚数の多角形ミラーとスクリーンによって反射させることで、水平方向に複数の視点に応じた映像を表示可能な仕組みを実現している。図２に示すような複数視点のコマ映像６ａ〜６ｐからなる合成画像５を作成するためには、図２の下方に示すように、それぞれ対応する視線方向ａ〜ｐから物体１を見た映像が必要である。

図３は、図２で示したような物体１を複数視点から見たときのコマ映像６ａ〜６ｐ（以下、コマ映像の集合体を６とする）を撮影するための撮影装置の一例を示す図である。まず物体１の周囲を取り囲むように、カメラ７ａ〜７ｌを設置する。各カメラのフォーカスは同一の焦点８に定められ、かつ時刻同期をとりながら撮影を行うことで、上述の全周囲立体映像表示装置用のコンテンツ画像を作成することができる。このとき、物体１が常に焦点８に停留し、移動することがなければカメラ７ａ〜７ｌは初期配置のまま撮影を行い、撮影画像を立体映像表示装置に送信すればよい。しかし、例えば物体１が人物であるような場合においては、物体１はカメラ７ａ〜７ｌで囲まれる領域を自由に動くものと考える方が自然である。また、カメラ７ａ〜７ｌで囲まれる領域に被写体となりうる物体が複数存在する場合は、立体映像表示装置の前で映像を見ている視聴者からすると、どの物体を映してほしいか、どこに焦点を絞って欲しいか、などの要求を細かく指定したいと思うのは当然の要求である。

ところで各カメラの配置状態と被写体となりうる物体の位置関係を把握できる立場にある人（例えば実際に撮影現場にいる人）が、自分の思い通りに、各カメラの位置や角度を調整することは、非常に手間はかかるが、大きく間違えて設定するなどの危険性は少ない。しかし、撮影現場にいない人（例えば遠隔地から立体映像表示装置を通して撮影現場の様子を見ている人）からすると、各カメラの状態と被写体の位置関係を把握した上で、次に要求したいカメラ配置条件との差分を計算し、それに従ってカメラパラメタ（ｘｙｚ位置座標、パン、チルト、ズーム：計６パラメータ）×台数分の設定を行うことは、煩雑極まりないと考えられる。

そこで、本発明では、複数カメラからなる撮影システムの撮影条件を直感的な操作で変更できるインタフェースと、各カメラのパラメータ変更部分に関しては自動で算出するような仕組みを提案する。

図４は、本発明による立体映像表示装置向けの複数カメラ制御システム及び撮影映像配信システムの概念図を示す図である。操作者９は、複数カメラ撮影システム１７に対してＰＣなどの制御装置１０を介して、撮影条件変更などの情報を送信する。このとき、操作者９が見ている平面ディスプレイ１１には、複数カメラ撮影システム１７を直感的に操作するためのユーザインタフェース画面１２が提示され、操作者９はこのユーザインタフェース画面１２上で、マウス１３やキーボード１４などの入力デバイスを介して、操作を行う。

操作の結果、変更された撮影条件はネットワーク１５によって撮影現場側へ送信され、撮影現場に置かれている制御装置１６で受信する。制御装置１６は、複数カメラ制御用の装置でもあり、ここで各カメラのカメラパラメタ（ｘｙｚ位置座標、パン、チルト、ズーム）を自動的に導出し、複数カメラ撮影システム１７の制御を行う。また、操作者９が指定した複数カメラ撮影システムの撮影条件は、実写撮影システムだけを対象とするものではなく、例えばコンピュータグラフィックス（ＣＧ）コンテンツを作成するためのＣＧ作成ソフトにおけるレンダリング用カメラ配置１７’にも適用できる。

上述の結果、撮影されたコンテンツは再び、ネットワーク１５を介して立体映像表示装置１８へ送信され、観察者２０の前に被写体が三次元映像１９として表示される。なお、立体映像表示装置１８は、操作者９と同じ場所にあってもよく、その場合、操作者９は自分の変更した撮影条件の出力結果を直接、目で確認しながら、また操作を続けることができる。また操作者９が見ているユーザインタフェース画面１２においては、複数カメラ撮影システム１７を制御するための操作画面が提示されるが、撮影条件を変えるごとにそれによって変化する撮影映像を確認画像として、操作者９に提示してもよい。また操作者９が立体映像表示装置１８の設置場所と同じところにいる場合には、撮影条件設定用のガイド表示を立体映像表示装置１８に表示される三次元映像１９上にオーバーレイ表示させてもよい。

図５は、図４に示す立体映像表示装置向けの複数カメラ制御システム及び撮影映像配信システムの一具体例を示すブロック図であって、２９は操作者が撮影条件を設定するための平面ディスプレイ、２３は操作者に設定画面を提示し、変更された撮影条件を処理するための制御部、２１は平面ディスプレイ２９へ画面を出力するための出力部である。また、２２は操作者がこれまでに設定及び保存した撮影条件や映像コンテンツを蓄積するための記憶部であり、２４は操作者の入力を取得し、処理するための入力部である。操作者側制御部２３で処理された撮影変更条件は、通信網２５を経由して撮影現場にある撮影側制御部２７へ送信される。このとき、操作者が設定した撮影変更条件から撮影装置２８における各カメラのカメラパラメタを算出する処理が必要になるが、この計算処理は操作者側制御部２３で行ってもよいし、撮影側制御部２７で行ってもよい。なお、ＣＧ作成ソフト内においても、上記の流れは同等である。すなわち、実世界における被写体がモデリングされた３次元物体に相当することになるが、ＣＧ作成ソフトでも実世界と同様にそのモデリング物体の周囲（仮想空間内）にカメラを複数台設置し、それぞれ位置・画角などを設定する必要がある。その後、撮影処理（ＣＧ分野においてはレンダリング処理と呼ばれる）を行い、各カメラ視点からとらえた映像を出力することになる。以下の説明については、主に実世界における撮影システムを例に挙げて述べるが、ＣＧ作成ソフトにおいても同様である。

図６は、図３に示したような複数カメラからなる撮影装置の撮影範囲を、擬似的なボリューム表現に置きかえた一例を示す図である。３０は円柱状のボリューム表現であり、各カメラから見た撮影方向を補助線３３で表現する。この補助線の本数は立体映像表示装置における視点数と一致しているものとし、隣り合う補助線と円柱の中心とがなす角度はすなわち立体映像表示装置における視差角を表すものとする。ここで、立体映像表示装置における各視点の映像が、撮影システムにおいてどの撮像装置（カメラ）で撮影されたものかを示すための基準点として、基点となるカメラ方向を示す補助線３４を円柱状ボリュームに付加する。

一方、図３に示す複数カメラからなる撮影装置においては各カメラの仕様（画角や焦点距離など）は同一のものとし、また各カメラの焦点は同一の一点であるものとする。すなわち、焦点位置を円柱状ボリューム３０の重心３５とし、３１は円柱状ボリューム３０の半径、３２は円柱状ボリューム３０において重心と上面との間の距離（つまり、円柱の高さの１／２）を示す。円柱状ボリューム３０の重心及び焦点位置３５は、三次元位置座標（ｘｙｚ）で表現される。

円柱状ボリューム３０の直径（半径３１の２倍）は、円状に配置された各カメラの横方向の撮影範囲を示し、円柱状ボリューム３０の高さ（高さ３２の２倍）は、各カメラの縦方向の撮影範囲を示す。

撮影装置の操作者に、平面ディスプレイ上でこの円柱状ボリューム３０を提示する際には、半径３１、高さ３２ともにアスペクト比が一定に保たれていれば定数倍したものでよい。半径や高さの他にも、例えば被写体に対して複数カメラ撮影システムが斜めに配置されているような場合、円柱自体を傾けて提示するなど、より複雑な形状も考えられるが、それは操作対象である複数カメラ撮影システムの形態に依存する。また、図６に示すボリューム表現は一例であって、円柱形状に限定するものではない。

図７は、図６で示したボリューム形状の三面図の一例を示す図である。図７左上は図６に示した円柱状ボリュームの側面図又は正面図、図７右上は上面図、図７左下は透視投影図である。

図８は、操作者が平面ディスプレイ上で複数カメラ撮影装置の撮影範囲に関する撮影条件を変更する際に提示される操作画面の一例を示す図である。図８左は円柱状ボリュームの透視投影図であり、図８右は上面図に撮影条件変更のためのパラメータ部品を付加した図である。ここで撮影条件変更のためのパラメータ部品とは、以下の７つであり、このパラメータ数値が変更されるごとに撮影側制御部へ送信される。

＜撮影装置へ送信されるパラメータ＞
(1) 半径 ３１
(2) 高さ ３２
(3) 視点分割数 ３３
(4) 基点となるカメラ方向を示す数値 ３４
(5) 焦点位置３５のｘ座標
(6) 焦点位置３５のｙ座標
(7) 焦点位置３５のｚ座標

また、上記の７つのパラメータをもとに撮影装置における各カメラの駆動パラメータ（下記の６つ）を求める。

＜撮影装置における各カメラのパラメータ＞
(1) 位置座標ｘ
(2) 位置座標ｙ
(3) 位置座標ｚ
(4) パン（上下方向の視野コントロール）
(5) チルト（左右方向の視野コントロール）
(6) ズーム

例えば、三次元空間において各カメラを任意の位置に配置できる場合、各カメラの位置座標（ｘ，ｙ，ｚ）は、円柱状ボリュームの焦点位置３５のｘ，ｙ，ｚ座標と、円柱の半径３１および視点分割数３３の値を用いて算出することができる。仮に円柱状ボリュームの焦点位置座標を（Ｘ₀，Ｙ₀，Ｚ₀）とし、円柱の半径をｒ₀、視点分割数を１２とすると、１２台のカメラの各位置座標は次のように表すことができる（ｉは１〜１２）。

（ｘ_i，ｙ_i，ｚ_i）＝（Ｘ₀，Ｙ₀，Ｚ₀）＋ｒ₀*（sin(2π*i/12)，cos(2π*i/12)，０）
この場合、円柱状ボリュームの焦点位置に対して、各カメラは常に正対していることになるので、上下左右の視野角調整（パン、チルト）は必要ない。ズームの倍率のみ、円柱状ボリュームの直径と高さから算出すればよい。

一方、各カメラを移動できる動線があらかじめ限定されている場合、位置移動だけでは不十分な調整を、上下左右方向の視野角コントロール（パン、チルト）で補うことになる。例えば、各カメラが円形のレール上にのっかっていて、垂直方向には移動できないような場合においては、各カメラの位置座標と円柱状ボリュームの焦点位置とを結ぶ線と、各カメラの配置されている面とが成す角度が、チルトのパラメータとなる。また、パンのパラメータ算出に関しても同様である。

図９（ａ）は複数カメラ撮影装置における各カメラと、操作者が指定した撮影範囲の位置関係の一例を示す上面図である。３６は操作者が指定した撮影範囲であり、図８右に示した円柱状ボリュームの上面図と同等のものである。４１ａ〜４１ｌは撮像装置（カメラ）であり、操作者が指定した撮影範囲３６を囲むように円形に配置されている。図９（ａ）から分かるように操作者が指定できる撮影範囲３６の移動可能領域は、カメラ４１ａ〜４１ｌで囲まれる領域４３である。ここでカメラ４１ａに注目すると、カメラ４１ａが撮影できる撮影範囲３７は、カメラの仕様（焦点距離や画角など）によって決まるものであり、例えば図９（ａ）に示すようにカメラ４１ａは、操作者の指定した撮影範囲３６を含む映像を撮影できるものとすると、カメラ４１ａが撮影した撮影映像３８と、操作者が指定した撮影範囲３６に基づく映像範囲３９との包含関係は図９（ｂ）のようになる。つまり、カメラ４１ａが撮影した撮影映像３８は、操作者が指定した撮影範囲３９より大きい領域を撮影しているため、不要な領域を除去（トリミング処理）した上で、立体映像表示装置側に送信することになる。

図１０は、操作者が要求する撮影範囲の変化により、出力される結果画像への影響の一形態を示す図である。３９は操作者が新たに撮影条件を設定する前の元画像を示す。図１０（ａ）から図１０（ｃ）は全て、図６に示す円柱状ボリュームの重心（焦点位置）３５の座標は変えずに、円柱状ボリュームの半径及び高さだけを変更した場合について図示したものである。

図１０（ａ）は、円柱状ボリュームを半径方向に大きくした場合の例である。円柱状ボリュームの半径を大きくすると、各カメラに要求される撮影範囲が横方向に広くなるため、立体映像表示装置側に送信される出力映像は、元画像３９に対して画像３９ａのように縦長に変化する。

図１０（ｂ）は、円柱状ボリュームを高さ方向に大きくした場合の例である。円柱状ボリュームの高さを大きくすると、各カメラに要求される撮影範囲が縦方向に長くなるため、立体映像表示装置側に送信される出力映像は、元画像３９に対して画像３９ｂのように横長に変化する。すなわち、元画像３９には映っていなかった部分の映像も表示されることになる。

図１０（ｃ）は、円柱状ボリュームにおいて、基点となるカメラ位置を変更した場合の例である。被写体に対して正面左斜め方向に位置するカメラを基点とした場合、そのカメラで撮影された映像３９が基点視線方向映像として、立体映像表示装置のある定位置に出力されることになる。よって、円柱状ボリュームにおいて基点となるカメラ位置を示す補助線の位置３４を変更することで、基点となる視線方向を簡単に変更することが可能になり、結果として立体映像表示装置の定位置に表示される映像も、例えば３９ｃのように異なる視点から撮影された映像が表示されることになる。このとき、元画像３９から変更後の画像３９ｃへの表示切替えは瞬時に行われてもよいし、元画像から徐々に視線方向を変化させながら（すなわち、見た目には被写体が少しずつ回転しているように）表示してもよい。

図１１は、立体映像表示装置に出力される映像に、図１０（ａ）のような変更を加えたい場合の円柱状ボリュームの変形操作の例を示す図である。図１１（ａ）は変更前の円柱状ボリュームの透視投影図と上面図であり、図１１（ｂ）は操作者が新たに撮影条件を変更（円柱の半径を大きく）した後の円柱状ボリュームの透視投影図と上面図を示す。

図１１（ａ）における円柱状ボリュームの半径３１ａと、図１１（ｂ）における円柱状ボリュームの半径３１ｂの間には、（３１ａ＜３１ｂ）のような関係が成り立つため、各透視投影図に対応する上面図においても図１１（ａ）右、図１１（ｂ）右から比較できるように提示される円の半径の大きさが変更される。また上記の操作に伴い、撮影条件は以下のように変更される。

<ボリュームの半径が変更された場合>
円柱状ボリュームの半径：３１ａ→３１ｂ
撮影装置の各カメラのズーム倍率（変更前を１とすると）：１→３１ｂ／３１ａ倍

図１２は、立体映像表示装置に出力される映像に、図１０（ｂ）のような変更を加えたい場合の円柱状ボリュームの変形操作の例を示す図である。図１２（ａ）は変更前の円柱状ボリュームの透視投影図と側面図であり、図１２（ｂ）は操作者が新たに撮影条件を変更（円柱の高さを長く）した後の円柱状ボリュームの透視投影図と側面図を示す。

図１２（ａ）における円柱状ボリュームの高さ３２ａと、図１２（ｂ）における円柱状ボリュームの高さ３２ｂの間には、（３２ａ＜３２ｂ）のような関係が成り立つため、各透視投影図に対応する側面図においても図１２（ａ）右、図１２（ｂ）右から比較できるように提示される長方形の高さ方向の大きさが変更される。

図１３は、立体映像表示装置に出力される映像に対して、基点となるカメラ方向に変更を加えたい場合（すなわち図１０（ｃ）のような場合）の、円柱状ボリュームの変形操作の例を示す図である。図１３（ａ）は変更前の円柱状ボリュームの透視投影図と上面図であり、図１３（ｂ）は操作者が新たに撮影条件（基点となるカメラ方向とカメラ数）を変更した後の円柱状ボリュームの透視投影図と上面図を示す。ここで例えば図１３（ａ）において複数カメラシステムで映像を撮影するカメラ数（すなわち円柱状ボリューム側面のカメラ位置補助線３３ａの本数）を１２とし、基点カメラの方向を示す補助線を３４ａとする。これに対して操作者が複数カメラシステムで撮影するカメラ数を減らすとともに、基点となるカメラ方向も変更したい場合、例えば図１３（ｂ）に示すように円柱状ボリューム側面のカメラ位置補助線３３ｂを必要な本数に減らし、基点となるカメラ方向補助線３４ｂの位置も変更すればよい。上述の操作は円柱状ボリュームの透視投影図、上面図のどちらで行ってもよく、一方の図面に変更を加えれば、それに対応して残りの図面も整合性を保つように更新され、操作者に提示される。

次に図１４と図１５を用いて、操作者が指定する撮影範囲（円柱状ボリューム）の重心すなわち各カメラの焦点位置が変更される場合について述べる。図１４は、複数カメラ撮影装置において各カメラがなす円の中心点と、円柱状ボリュームの焦点位置が一致している場合について示した図である。図１４左上は操作者が操作する円柱状ボリュームの透視投影図、図１４右上は上面図である。図１４左下は複数カメラ撮影装置４３と、操作者が指定する円柱状ボリュームの位置関係を表した上面図であり、４１ａ〜４１ｌはカメラである。４２ａは撮影範囲を示す円柱状ボリュームであり、３４ａはその半径、３５ａは焦点位置である。また図１４右下は撮影範囲を示す円柱状ボリューム４２ａを拡大した図であり、ａ〜ｌは、カメラ４１ａ〜４１ｌが設置されている方向を示す。ここで図１４の場合においては操作者が指定した撮影範囲（円柱状ボリューム）の重心３５ａと、複数カメラ撮影装置４３の中心点とが一致しているため、図１４右下において方向ａ〜ｌは重心３５ａから均等に放射状の広がりをもつことになる。つまり、どの隣り合う２方向をとっても、その２方向と重心３５ａとが成す角度は、同じ角度になる。このように複数カメラ撮影装置において各カメラがなす円の中心点と、円柱状ボリュームの焦点位置が一致している場合、操作者が例えば円柱状ボリュームの半径の大きさを変更したとすると、実際に撮影装置４３においては各カメラのズーム倍率（ズームイン又はズームアウト）が変更されるにすぎない。

一方、図１５は複数カメラ撮影装置において各カメラが配置されている円の中心点３５ａと、円柱状ボリュームの焦点位置３５ｂが離れている場合の一例について示した図である。図１５左上は操作者が操作する円柱状ボリュームの透視投影図、図１５右上は上面図である。図１５左下は複数カメラ撮影装置４３と、操作者が指定する円柱状ボリュームの位置関係を表した上面図であり、４１ａ〜４１ｌはカメラである。

４２ｂは撮影範囲を示す円柱状ボリュームであり、３４ｂはその半径、３５ｂは焦点位置である。また、図１５右下は撮影範囲を示す円柱状ボリューム４２ｂを拡大した図であり、ａ〜ｌは、円柱状ボリューム４２ｂの焦点位置３５ｂから各カメラ４１ａ〜４１ｌが設置されている方向を示す。ここで図１５の場合においては、図１５右上に示すように、操作者が指定した撮影範囲（円柱状ボリューム）の焦点位置３５ｂは、図１４の場合における円柱状ボリュームの焦点位置３５ａと異なる位置にあるものとする。この場合、図１５左下に示すように、円柱状ボリュームの焦点位置３５ｂは複数カメラ撮影装置４３の中心点３５ａと一致しないため、図１５右下に示すように方向ａ〜ｌは、焦点位置３５ｂを基点に均等な広がりを見せない。この現象は、円柱状ボリュームの焦点位置３５ｂと複数カメラ撮影装置４３の中心点３５ａとの距離（ずれ）が大きいほど、例えば（方向ａと重心３５ｂと方向ｌが成す角度）と（方向ｅと重心３５ｂと方向ｆが成す角度）との差が大きくなる。また、操作者に提示する円柱状ボリュームの操作画面においては、円柱状ボリュームの焦点位置３５ｂから見た各方向ａ〜ｌの向きと整合性が合うように、カメラ方向を示す補助線３３ｂや３４ｂの位置が変更される。

このように複数カメラ撮影装置における各カメラがなす円の中心点から、円柱状ボリュームの焦点位置を移動させた場合、あるカメラ４１ｅではズームアウト操作が必要になり、逆にあるカメラ４１ｋではズームイン操作が必要となるなど、各カメラに出す指示が異なることが容易に想像できる。

図１６、図１７は、複数カメラ撮影装置の各カメラで撮影される映像と、立体映像表示装置に出力する映像との関係について示した図である。ここで図１６では図１４と同様に、複数カメラ撮影装置において各カメラがなす円の中心点３５ａと、円柱状ボリューム４２ａの焦点位置が一致している場合について説明する。これまで述べてきたように、複数カメラ撮影システム４３における各カメラ４１ａ〜４１ｌの焦点距離や画角などの仕様は、同一のものであるとする。

ここでカメラ４１ｅに注目すると、カメラ４１ｅが撮影できる範囲を上から見ると扇形の中心角θを用いて、領域４４のように図示できる。また撮影可能範囲４４は、カメラ４１ｅの画角及び、焦点距離で求めることができる。図１６において、カメラ４１ｅの撮影可能範囲４４は、操作者の指定した撮影範囲を表す円柱状ボリューム４２ａをちょうど覆っているとすると、カメラ４１ｅで撮影された映像を８０’ｅは、ほぼそのまま何の画像処理を加える必要なく、立体映像表示装置側へ送信する出力画像８０ｅとすることができる。図１６下に示す、カメラ４１ｋについてもカメラ４１ｅと同様に考えることができるので、撮影された映像８０’ｋをそのまま出力画像８０ｋとすることができる。

他のカメラについても同様のため、複数カメラ撮影装置において各カメラがなす円の中心点と、円柱状ボリュームの焦点位置が一致している場合には、出力映像群８０のコマ映像８０ａ〜８０ｌを簡単に作成することができる。もし、カメラ４１ａ〜４１ｌの撮影可能範囲が操作者の指定した撮影範囲を表す円柱状ボリューム４２ａより大きい場合（広範囲）であるとしても、撮影画像８０’ａ〜８０’ｌに対して一様にトリミング処理を行い、出力コマ映像８０ａ〜８０ｌを作成すればよい。その際、操作者の指定した円柱状ボリューム４２ａの直径をＲ、高さをＨとしたとき、各カメラ４１ａ〜４１ｌで撮影された画像８０’ａ〜８０’ｌに対して、画像のアスペクト（縦横）比がＲ：Ｈになるように余分な領域を削った画像８０ａ〜８０ｌを作成することになる。

一方、図１７は図１５で示した一例と同様に、操作者が指定した撮影範囲（円柱状ボリューム）の焦点位置３５ｂと複数カメラ撮影装置４３の中心点とが一致しない場合について述べた図である。複数カメラ撮影システム４３における各カメラ４１ａ〜４１ｌの焦点距離や画角などの仕様は、図１６で述べたものと同一のものであるとする。すなわち、カメラ４１ｅに注目するとカメラ４１ｅが撮影できる範囲は扇形の中心角θを用いて、領域４４のように図示できる（図１７上）。

図１７においては、操作者が指定した撮影範囲の焦点位置３５ｂが、複数カメラ撮影装置４３の中心点からずれているため、各カメラ４１ａ〜４１ｌで撮影される映像に占める被写体の割合は一様ではない。例えば図１７上に示すカメラ４１ｅの例と、図１７下に示すカメラ４１ｋの場合では、それぞれ撮影される映像８１’ｅと８１’ｋを比較すると明らかなように、撮影画像に対する被写体の割合が大きく違ってしまう。

そこで、各カメラ４１ａ〜４１ｌで撮影される映像８１’ａ〜８１’ｌに対して、それぞれ撮影画像に対する被写体の占有率を考慮しながらトリミング処理及び画像の拡大縮小を行い、立体映像表示装置側に送信する出力映像群８１のコマ映像８１ａ〜８１ｌを作成する必要がある。

一方、図１７のように操作者が指定した撮影範囲の焦点位置３５ｂが、複数カメラ撮影装置４３の中心点からずれている場合には、図１５で説明したように焦点位置３５から見た各カメラ４１ａ〜４１ｌの方向ａ〜ｌが均一な放射状を描いていない。隣り合う２方向と焦点位置３５がなす角度も、例えば（方向ａと重心３５ｂと方向ｌが成す角度）と（方向ｅと重心３５ｂと方向ｆが成す角度）とでは大きく異なる。また、図１７の例では、円柱状ボリュームの焦点位置３５ｂから見て、方向ａ，ｌ，ｋ，ｊ，ｉの側には密にカメラが配置されているが、逆側の方向ｃ，ｄ，ｅ，ｇ，ｇの側には、疎にカメラが配置された状態になっている。これは、すなわち出力されるコマ映像８１ａ〜８１ｌは、被写体を全周囲から均等に撮影したものではなく、場所によって角度分解能に大きな差がでるということになる。

この問題を解決する手段として、画像処理技術を用いて、自由視点位置における画像を合成する方法が挙げられる。具体的な方法の一例としては、まず射影変換行列を用いて、要求する視点位置から見えるべき被写体の大きさ（位置関係）を求める。次に、被写体の３次元形状情報を用いて各カメラで撮影された画像における注目点の見え方を求める。それらの中から３次元物体による隠れの影響や物体の表面方向を考慮して、要求する視点位置から見える見え方として最適なものを選択するという操作を繰り返し、結果画像を作成していく方法が考えられる。

また、上述の角度分解能の非一定化を解決する別の方法として、撮影装置のカメラ自体を移動させるという方法が考えられる。この別の形態について、図１８と図１９を用いて説明する。

図１８は、操作者が指定した撮影範囲の焦点位置３５ｃが、複数カメラ撮影装置４３の中心点からずれている場合について述べたもので、図１８左上の円柱状ボリュームの透視投影図と図１８右上の上面図に関しては、図１５で述べたものと、ほぼ同じものである。図１８左下は複数カメラ撮影装置４３と、操作者が指定する円柱状ボリューム４２ｃの位置関係を表した上面図であり、４１ａ〜４１ｌはカメラである。また、図１８右下に、操作者が指定する円柱状ボリューム４２ｃの拡大図を示す。

ここで図１５に示した形態においては、操作者が撮影範囲を示す円柱状ボリュームの位置を変更しても、複数カメラ撮影装置における各カメラの相対位置は変わらなかった。図１８では、複数カメラ撮影装置４３の各カメラの間隔を変えることで、この焦点位置３５ｃに対して各カメラ４１ａ〜４１ｌの視点方向の差がなるべく少なく（あるいは一定に）なるように変更する。まず、円柱状ボリューム４２ｃの位置を複数カメラ撮影装置４３の中心点からずらすと、図１５で述べたように、円柱状ボリューム側面のカメラ方向を示す補助線の間隔が均一ではなくなる。そこで操作者がカメラの視点間隔は変更したくないと考えた場合に、このカメラ方向を示す補助線の間隔を調整できるとすると、図１８左下に示すように、円柱状ボリュームの焦点位置３５ｃをずらした後で、各カメラ方向を示す補助線の間隔を均等にしたいと考えるはずである。

そこで、各カメラ方向を示す補助線の間隔を均等に調整するような機能を提供することで、操作者は非常に簡単な操作で（あるいはほとんど自動的に）、円柱状ボリューム４２ｃの円周を方向ａ〜ｌの数（図１８の例では１２）で均等に分割し、円柱状ボリューム４２ｃの焦点位置３５ｃとそれらの分割点を結ぶ線をひくことができる。その結果、今度は複数カメラ撮影システムの各カメラ４１ａ〜４１ｌの配置条件が変更され、新しい配置条件に合うように、カメラ本体が移動することになる。このとき、複数カメラ撮影システムには、各カメラを移動する駆動機構が備わっているものとする。例えば、各カメラ４１ａ〜４１ｌは、円形のレール上に移動可能に配置されている。カメラ配置条件の変更に応じて、制御装置から各カメラ本体に備えられている駆動機構に駆動指示が出され、それによって各カメラは円形レール上を所定の位置まで自動的に移動して停止し、複数カメラの再配置が行われる。

図１９は、図１８に示したようなカメラ配置の場合に、各カメラで撮影される撮影映像と立体映像表示装置に送信する出力映像との間の関係について説明した図である。複数カメラ撮影システム４３における各カメラ４１ａ〜４１ｌの焦点距離や画角などの仕様は、図１６で述べたものと同一のものであるとする。すなわち、カメラ４１ｅに注目するとカメラ４１ｅが撮影できる範囲は扇形の中心角θを用いて、領域４４のように図示できる（図１９上）。

図１９においては、操作者が指定した撮影範囲の焦点位置３５ｃが、複数カメラ撮影装置４３の中心点からずれているが、各カメラ４１ａ〜４１ｌの配置自体が元の撮影方向ａ〜ｌを保つように変更されたため、撮影方向の視差が一定になっている。一方、各カメラ４１ａ〜４１ｌで撮影される映像８２’ａ〜８２’ｌに占める被写体の割合は、図１９上映像８２’ｅと図１９下の映像８２’ｋを比較すると明らかなように、一様ではない。そこで図１７で示した場合と同様に、各カメラの位置に応じてそれぞれ撮影画像に対する被写体の占有率を考慮しながらトリミング処理及び画像の拡大縮小を行う必要がある。その結果、立体映像表示装置に送信する出力画像群８２が生成されるが、これらの要素であるコマ映像８２ａ〜８２ｌの視差角は一定に保たれているという特徴がある。すなわち、立体映像表示装置の前に立つ観察者から見て、立体映像表示装置の周囲を移動しながら見たときに視差の変化が一定であるため、最も違和感なく映像を鑑賞することができる。

図２０は操作者の指定した撮影範囲が、あるカメラの画角からはみだしている場合を示す図である。図２０は図１７と同様に、操作者が指定した撮影範囲４２ｄの焦点位置３５ｄが、複数カメラ撮影装置４３の中心点からずれている場合について述べたものである。

このとき、カメラ４１ｅに注目すると、例えば図２０左のように撮影範囲４２ｄが極端に中心からずれ、カメラ４１ｅの方向へ寄っているような場合において、操作者が指定した撮影範囲である円柱状ボリューム４２ｄがカメラ４１ｅの画角におさまらない可能性がでてくることは、容易に推測できる。このような場合、カメラ４１ｅで撮影される撮影映像８３’ｅは、操作者から要求される出力映像８４ｅの領域を十分に満たすことができない。

そこで、操作者から要求される出力映像８４ｅと、カメラ４１ｅで撮影された撮影映像８３’ｅの差分、すなわち欠損部分を埋めることにより、最終的に立体映像表示装置側に送信する出力コマ映像８３ｅを作成する必要がある。欠損部分を埋める方法には、様々な方法が考えられる。例えば、他のカメラに欠損部分が映っている場合は、そこから情報を取得し、補完してもよい。また、カメラ４１ｅで撮影された映像を逐次、蓄積しておき、その蓄積データの中から必要な情報を抽出して、補充データを作ってもよい。また、実写を対象とした撮影システムではなく、ＣＧ作成ソフト上であれば、欠損部分がないように一旦カメラを移動又は複製し、レンダリング処理の結果、得られた補充用データをもとに、操作者の求める結果画像を容易に作成することができる。

図２１は、図６に示した複数カメラ撮影システムの擬似的ボリューム表現の別の一例を示した図である。図２１（ａ）の７１は、複数カメラ撮影システムの一例であって、６台のカメラが被写体を囲むように円形に配置されているものである。ここで図６では複数カメラ撮影システムを円柱状ボリュームとして表現したが、図２１（ｂ）のように多角柱で表現してもよい。図２１（ｂ）の例は図２１（ａ）に示した６台のカメラからなる撮影システムを表現した６角柱の形状をしており、側面の辺が複数カメラ撮影システムにおける各カメラの位置を示している。４５は多角柱の重心と上面との距離（すなわち多角柱の高さの１／２）を表し、４６は多角柱の重心と各側面の辺との距離を示している。また図６で示したものと同様に、基点となるカメラ位置を表す部品として、補助線４７を用いる。

図２２は、複数カメラ撮影システムの擬似的ボリューム表現のさらに別の一例を示した図である。７２，７３，７４はそれぞれ複数台のカメラが被写体を囲むように円状に配置されたカメラ群であって、例えば図２２（ａ）のように垂直方向に位置をずらして設置されているものとする。このようなカメラ配置の撮影システムに対する撮影範囲設定用のボリューム表現の一例として、図２２（ｂ）のような球状のボリュームが考えられる。４９ａは上方に設置されている複数カメラ撮影システムを擬似的に表現したものであり、４９ｂ，４９ｃについても同様である。５０ａ，５０ｂ，５０ｃは、それぞれ円４９ａ，４９ｂ，４９ｃの半径を示し、５１ａｂは円４９ａと円４９ｂの距離を、５１ｂｃは円４９ｂと円４９ｃの距離を示す。それぞれの円の半径４９ａ〜４９ｃや、円と円の距離５１ａｂ，５１ｂｃについては、図６で示した円柱状ボリュームの半径や高さと同様に、操作者が要求する撮影条件に従って、任意に決められるものとする。

図２３は、ボリューム形状の変化から複数カメラ撮影システムのカメラパラメタを算出するフロー図である。まず、現在、指定されている（もしくは最後に保存された）撮影範囲に関する設定条件をもとに、操作者に提示する三次元ボリューム形状のパラメータ（例えば円柱状ボリュームの半径や高さ、基点となるカメラ方向位置など）を決める（Ｓ１０１）。このパラメータ算出は、操作者側の制御部で行ってもよいし、撮影装置側の制御部で行ってもよい。次に、求められた数値をもとに、撮影範囲を示す三次元ボリュームの三面図や透視投影図などを平面ディスプレイ上に描画し、操作者に提示する（Ｓ１０２）。操作者は提示された操作画面をみながら、立体映像表示装置に表示したい部分がうまく撮影されるように操作を行っていく。もし、操作者により三次元ボリューム形状のパラメータが変更されれば（Ｓ１０３）、変更されたパラメータに関して新しい設定値がネットワーク経由により、複数カメラ撮影装置側の制御部へ伝達される（Ｓ１０４）。新しい設定値を受信した複数カメラ撮影装置側では制御部により、操作者が指定した撮影条件を満たすように各カメラのカメラパラメタ（カメラ自体の移動、パン、チルト、ズームなど）を算出する（Ｓ１０５）。さらにそれらの新しいカメラパラメタに従って、実際にカメラの駆動を行う（Ｓ１０６）。

上述の説明は、実写を対象とした複数カメラ撮影装置を例に述べたが、実写に限定するものではなく、例えばＣＧコンテンツ作成過程においてレンダリング処理時のカメラ配置などにも適用できる。

図２４は複数カメラ撮影システムにおける各カメラの駆動方法の一例を示す図である。５２は操作者が指定する撮影範囲（三次元ボリューム）を示し、５３は操作者が指定した撮影範囲の焦点位置、５４は複数カメラ撮影システムの制御部、５５ａ〜５５ｌは各カメラの駆動機構である。駆動機構５５ａ〜５５ｌはネットワーク５６を介して、全て制御部５４と接続されており、すなわち撮影条件に変更があった場合には、制御部５４から該当するカメラの駆動機構に新しい設定値が送信される。駆動機構５５ａ〜５５ｌは、例えば一般的にはデジタル制御可能な雲台システムなどが挙げられる。もしくは、カメラ自体がＷＥＢカメラのようにネットワーク対応しているものであれば、パン、チルト、ズームのカメラパラメタに関してはネットワークで制御可能であり、撮影位置ｘｙｚに関する移動のみ別の駆動機構（例えばレールシステム）を用いるという方法も考えられる。

図２５は、図２４に示した複数カメラ撮影システムにおける各カメラの駆動方法の一例を示すブロック図である。５５ａ〜５５ｌはカメラ７ａ〜７ｌの撮影状況を変更するための駆動機構であり、ネットワーク５６で制御部５４と接続されている。図２５では各カメラの駆動機構同士もネットワーク接続されているような図になっているが、これは必ずしも必要ではなく、それぞれの駆動機構は制御部５４とだけ接続されているような状態でもよい。駆動機構５５ａ〜５５ｌは、駆動部５７ａ〜５７ｌ、制御処理部５８ａ〜５８ｌ、記憶部５９ａ〜５９ｌ、通信部６０ａ〜６０ｌによって構成されており、まず撮影システム全体を制御する制御部５４から送信された情報は通信部６０ａ〜６０ｌで受信し、記憶部５９ａ〜５９ｌへ格納される。制御処理部５８ａ〜５８ｌでは、現在の撮影条件と、新しく格納された条件とが異なるものであるかを判定し、もし異なる撮影条件が指定されたと判断した場合は、新しい撮影条件を満たすように駆動部５７ａ〜５７ｌに指示を送る。駆動部５７ａ〜５７ｌでは制御処理部５８ａ〜５８ｌの指示に従って、実際の対応するカメラ７ａ〜７ｌの駆動を行う。

図２６は複数カメラ撮影システムにおける各カメラで撮影された映像の画像処理の一例を示すフロー図である。特に実写を対象とした複数カメラ撮影システムにおいては、図９（ａ）で述べたように、あるカメラで撮影した撮影映像の中に対角側にある別のカメラが映りこむなどの問題が起こることが容易に推測できる。そこで必要に応じて次のような撮影画像処理を行う。下記に述べる手法は、カメラの映りこみの問題を解消するだけでなく、被写体の映像を全く別の背景画像と組み合わせることが可能になるなど、応用範囲を広げることになる。具体的な画像処理の流れを下記に述べる。

まず、各カメラで撮影した撮影画像を取得し（Ｓ１１１）、操作者が指定した撮影範囲を示すボリューム形状のパラメータに従って、撮影画像に対してトリミング処理及び画像の拡大・縮小処理を行う（Ｓ１１２）。このトリミング処理及び画像の拡大・縮小処理は、図１７、図１９で述べたものと同等のものである。次に、背景画像に処理を加えるかどうかを操作者に選択させ（Ｓ１１３）、もし処理を加えるケースを選択した場合には、操作者が要求する仕様に従って、複数の画像処理手法を組み合わせ、出力画像を作成する（Ｓ１１４）。例えば、操作者が対角側のカメラを消去してほしいという要求を出した場合には、各カメラの撮影画像を解析して別のカメラが映りこんでいる部分を抽出し、その抽出部分を他の画像情報で置き換えるなどの処理を行う。このようにして作成された結果画像は、再びネットワークを介して操作者が見ている操作画面にプレビュー画像として送信される（Ｓ１１５）。操作者がその出力結果に満足すれば、立体映像表示装置へも送信されることになる。

図２７は、操作者が平面ディスプレイ上で、ボリューム表現に変更を加える際の操作の一例を示す図である。ここではＰＣに対する代表的な入力装置であるマウスを例に説明する。ただし、マウスに限定した話ではなく、キーボードやジョイスティック、又は専用の操作デバイスなどを用いてもよい。図２７（ａ）は、操作者が円柱状ボリュームの上面図を見ながら、半径を大きくしたいと考えた場合の選択操作について示した図である。半径の大きさについて変更を加えたい場合、まず半径を示す線３１か、もしくは円周上の任意の点にマウスカーソル６２を合わせ、左クリック操作などで選択する必要がある。次に図２７（ｂ）に示すように、例えばドラッグ操作により連続的に半径の大きさ３１’を調整しながら、新しい設定値を決めていく。その際、操作者が見ている上面図上に補助線３４’などを提示すると、より直感的に操作を行うことができる。図２７（ｃ）に示すように例えば操作者がマウスを離した時点で、変更操作が完結することになり、新しいボリューム形状にもとづく三面図及び透視投影図などが操作者に提示されることになる。なお、操作者がより被写体と撮影条件との位置関係を把握しやすくするための手段として、図２７に示すような操作画面の側面図上や透視投影図上などに、被写体の映像をオーバーレイ表示させてもよい。又は、プレビュー画像表示機能として、あるカメラによって撮影された未加工の画像を表示し、さらにその上に操作者の指定した円柱状ボリュームのフレームをオーバーレイ表示させるなどをしてもよい。

また図１３で示した基点カメラ位置を変更する操作例については、例えば現在、基点となっているカメラを示すアイコンを、他のカメラ位置を示すアイコンにドラッグさせる操作などが考えられる。さらにカメラ数（視点分割数）を変更する操作例については、例えば、マウスの右クリックでメニュー画面を表示させ、分割数の増減を選択させるなどが考えられる。そのとき、基点カメラの位置を変えないようにして、残りのカメラが円周上を均等に配置されるものとする。

また、図１５で示した三次元ボリュームの重心位置を変更する操作例については、例えば重心を示すアイコンにマウスカーソルをあて、変更したい位置にドラッグさせるような操作が考えられる。

図２８は、操作者が平面ディスプレイ上で、ボリューム表現に変更を加える際に直接、数値入力によって条件を変更する操作の一例を示す図である。図２７ではボリューム形状の三面図及び透視投影図に対する操作について説明したが、図２８では三次元ボリューム形状及び複数カメラ撮影システムのパラメータ数値を直接、画面上で入力する際の一例について述べる。６４は直接、撮影範囲を示すボリューム形状の数値を入力する画面の例である。この画面上、もしくは図２７のような三面図上で設定した撮影条件は、操作者の希望に応じて保存することができ、またその保存情報を利用して新たな撮影条件を作成していくこともできる。図２８の例では、撮影範囲を示すボリューム形状のパターンを円柱タイプとして選択した例である。図２１、２２で述べたようにボリューム表現は、円柱だけに限定したものではなく、様々なものが考えられ、それぞれのボリューム表現パターンに応じて、数値入力欄の個数（パラメタ数）も変わると考えられる。ここでは、円柱状ボリュームを例にしているので、操作者が入力すべきボリューム形状に関するパラメータは、以下の７つになる。

(1) 視点分割数
(2) 半径
(3) 高さ
(4) 基点となるカメラ方向を示す数値
(5) 焦点位置のｘ座標
(6) 焦点位置のｙ座標
(7) 焦点位置のｚ座標

また、出力画像解像度（縦方向及び横方向）を設定することで、指定された解像度にもとづき、撮影装置側の制御部もしくは立体映像表示装置側の制御部で図１７、図１９に述べたような画像処理（トリミング、拡大縮小など）を行うことになる。なお、この直接数値入力操作は、ＰＣ画面上で行ってもよいし、携帯端末などモバイル機器の画面上で行ってもよい。

図２９は、撮影映像処理及び、映像配信の流れの一例を示す図であり、上述の出力画像の仕様にもとづく画像処理を撮影装置側で行う場合について述べたものである。６５は撮影装置側の記憶部、６６は撮影装置側の映像処理部である。各撮影装置（カメラ）２８で撮影された撮影映像は記憶部６５に格納される。撮影側制御部２７で受信した操作者の要求条件にもとづき、映像処理部６６にてトリミング、拡大縮小、その他の画像処理を行い、再び、通信網２５を介して操作者側に送信するとともに、操作者がその出力結果画像に満足すれば、立体映像表示装置２６に出力される。

一方、図３０は撮影映像処理及び、映像配信の流れの別の一例を示す図であり、図２８で述べた出力画像の仕様に基づく画像処理を立体映像表示装置側で行う場合について述べたものである。６７は立体映像表示装置側の記憶部、６８は立体映像表示装置側の映像処理部である。各撮影装置（カメラ）２８で撮影された撮影映像は記憶部６５に格納され、そのまま何も処理を加えずに通信網２５を介して操作者側制御部２３と、立体映像表示装置側の記憶部に送信される。また、操作者が指定した撮影範囲を示すボリューム形状に関する情報は、操作者側制御部２３により、通信網２５を介して立体映像表示装置側へも送信される。立体映像表示装置側の映像処理部６８では、記憶部６７から撮影映像を読み込み、操作者の要求条件にもとづいてトリミング、拡大縮小、その他の画像処理を行い、立体映像表示装置２６に出力するとともに、操作者側制御部２３へも送信し、操作者に対してプレビュー画面を提示する。

このような仕組みにすることで、例えば立体映像表示装置が複数存在し、同時に一つの撮影装置に対して撮影映像を要求するような場合でも、撮影装置側は撮影映像をそのまま同時配信すればよく、各立体映像表示装置の映像処理部にて、細かな画像処理作業を負担することができるとともに、仕様の異なる複数の立体映像表示装置に対して同時に映像を配信することが可能になる。ただし、図１７に示したような三次元ボリュームの重心移動などの複雑な操作要求が出された場合、カメラ側を動かさずに画像のデジタル処理だけで任意の要求画像をリアルタイムに生成することは難しい。しかし、撮影装置側にカメラが多数存在する（操作者が指定したポイント以外にも存在する）ような場合、要求した映像の視点に最も近いカメラの映像を選択して表示するなどの工夫が考えられる。

図３１は、ボリューム形状の変更条件を時系列に与える場合の一例を示す図である。これにより、時系列的なカメラワークが可能になる。図３１にタイムラインの一例を示す。この例では、一秒を一つの矩形に割り当てているが、この時間軸のスケールは任意に変更できるものとする。ここで、ｔ＝０（秒）の時刻における撮影範囲指定条件を図３１（ａ）に、ｔ＝３０（秒）における撮影範囲指定条件を図３１（ｂ）に、ｔ＝４５（秒）における撮影範囲指定条件を図３１（ｃ）に示す。二つの時刻間の変化は、線形補間でもよいし、非線形的に変化させてもよい。

図３１（ａ）、（ｂ）、（ｃ）で示すようにｔ＝０からｔ＝３０の範囲では、焦点位置Ｃ０は変化しないまま、円の半径だけがＲ０→Ｒ１へと大きくなっている。すなわち、撮影範囲が横に広がるため、出力結果画像を時系列に見ていくと、ある位置を中心にその周囲が徐々に見えてくるような映像変化が期待できる。一方、ｔ＝３０からｔ＝４５の範囲では、半径の大きさＲ１は変化しないまま、焦点位置Ｃ０がＣ１へと移動することになる。すなわち、焦点位置が連続的に移動するため、出力結果画像を時系列に見ていくと、例えばある被写体から、別の被写体へと徐々に映像の中心が変わっていく様子を見ることができる。

このような時系列カメラワーク指定機能は、同じ撮影条件で異なる被写体を撮影したいときなどに、非常に便利であり、実写でなくともＣＧコンテンツ作成ソフト内のカメラ設定機能にも適用できる。

立体像表示の原理説明図。 全周囲立体映像表示装置用の表示画像の一例を示す図。 被写体を全周囲から撮影するための撮影システムの一例を示す図。 立体映像表示装置向けの複数カメラ制御システム及び撮影映像配信システムの概念図を示す図。 立体映像表示装置向けの複数カメラ制御システム及び撮影映像配信システムの一具体例を示すブロック図。 複数台のカメラシステムの撮影範囲を擬似的にボリューム表現に置き換えた一例を示す図。 ボリューム表現の三面図の一例を示す図。 操作者に提示する撮影条件操作画面の一例を示す図。 複数カメラ撮影装置における各カメラと、操作者が指定した撮影範囲の位置関係を示す上面図。 操作者が要求する撮影範囲にもとづいて出力される結果画像の変化の一形態を示す図。 操作者が要求する撮影範囲を横方向に変更した場合のボリューム形状変化の一例を示す図。 操作者が要求する撮影範囲を縦方向に変更した場合のボリューム形状変化の一例を示す図。 操作者が基点となるカメラ方向に変更を加えた場合のボリューム形状変化の一例を示す図。 複数カメラ撮影装置において各カメラがなす円の中心点と、円柱状ボリュームの焦点位置が一致している場合について、両者の関係を示した図。 複数カメラ撮影装置において各カメラがなす円の中心点と、円柱状ボリュームの焦点位置が離れている場合の一例について、両者の関係を示した図。 撮影範囲の中心と、複数カメラ撮影装置の中心とが一致している場合において、複数カメラ撮影装置の各カメラで撮影される映像と、立体映像表示装置に出力する映像との関係について示した図。 撮影範囲の中心と、複数カメラ撮影装置の中心とが一致しない場合において、複数カメラ撮影装置の各カメラで撮影される映像と、立体映像表示装置に出力する映像との関係について示した図。 複数カメラ撮影装置において各カメラがなす円の中心点と、円柱状ボリュームの焦点位置が離れている場合の両者の関係について別の形態を示した図。 撮影範囲の中心と、複数カメラ撮影装置の中心とが一致しない場合において、複数カメラ撮影装置の各カメラで撮影される映像と、立体映像表示装置に出力する映像との関係の別の形態について示した図。 操作者の指定した撮影範囲が、あるカメラの画角からはみだしている場合を示す図。 複数カメラ撮影システムに対するボリューム表現の別の形態の一例を示す図。 複数カメラ撮影システムに対するボリューム表現のさらに別の形態の一例を示す図。 ボリューム形状の変化から複数カメラ撮影システムのカメラパラメタを算出するフロー図。 複数カメラ撮影システムにおける各カメラの駆動方法の一例を示す図。 複数カメラ撮影システムにおける各カメラの駆動方法の一例を示すブロック図。 複数カメラ撮影システムにおける各カメラで撮影された映像の画像処理の一例を示すフロー図。 操作者が平面ディスプレイ上で、ボリューム表現に変更を加える際の操作の一例を示す図。 操作者が平面ディスプレイ上で、ボリューム表現に変更を加える際の数値入力の一例を示す図。 撮影映像処理及び、映像配信の流れの一例を示す図。 撮影映像処理及び、映像配信の流れの別の一例を示す図。 ボリューム形状の変更条件を時系列に与える場合の一例を示す図。

符号の説明

１…物体（人物）
２ａ，２ｂ…視線方向
３ａ，３ｂ…観察者
４ａ，４ｂ…映像
５…全周立体映像表示装置用の表示画像例
６…コマ映像の集合体
６ａ〜６ｐ…視線方向ａ〜ｐに対応するコマ画像
７ａ〜７ｌ…カメラ
８…焦点
９…操作者
１０…制御装置（ＰＣ）
１１…ディスプレイ
１２…撮影システム制御用設定画面
１３…マウス
１４…キーボード
１５…ネットワーク
１６…制御装置（ＰＣ）
１７…複数台のカメラからなる撮影装置
１７’…コンピュータグラフィックス（ＣＧ）コンテンツの作成画面例
１８…立体映像表示装置
１９…三次元映像
２０…観察者
２１…出力部
２２…記憶部
２３…操作者側制御部
２４…入力部
２５…通信網
２６…立体映像表示装置
２７…撮影側制御部
２８…撮影装置
２９…ディスプレイ
３０…円柱状ボリューム
３１，３１ａ，３１ｂ…半径
３２，３２ａ，３２ｂ…高さ
３３，３３ａ，３３ｂ…カメラ位置を示す補助線
３４，３４ａ，３４ｂ，３４ｃ…基点となるカメラ位置
３５，３５ａ，３５ｂ，３５ｃ，３５ｄ…円柱状ボリュームの重心及び焦点
３６…撮影範囲
３７…一台のカメラの画角
３８…一台のカメラが撮影した撮影映像
３９，３９ａ〜３９ｃ…撮影範囲に従ってクリッピングされた結果画像
４１ａ〜４１ｌ…カメラ
４２，４２ａ，４２ｂ，４２ｃ，４２ｄ…操作者が指定した撮影範囲（円柱状ボリューム）
４３…複数台のカメラが配置されている円領域
４４…撮影可能範囲（一台のカメラが撮影できる範囲を上から見た様子）
４５…多角柱の高さ
４６…多角柱の重心と、側面の辺との垂直距離
４７…基点となるカメラ位置を示す辺
４９ａ〜４９ｃ…円
５０ａ〜５０ｃ…円の半径
５１ａｂ，５１ｂｃ…２つの円の距離
５２…操作者の指定した撮影範囲
５３…操作者の指定した撮影範囲中の焦点位置
５４…撮影側制御装置
５５ａ〜５５ｌ…各撮像装置（カメラ）を駆動する制御装置
５６…通信網
５７ａ〜５７ｌ…駆動部
５８ａ〜５８ｌ…制御処理部
５９ａ〜５９ｌ…記憶部
６０ａ〜６０ｌ…通信部
６２…選択時のカーソル状態
６３…ドラッグ時のカーソル状態
６４…撮影範囲設定パラメータの直接入力画面例
６５…記憶部
６６…映像処理部
６７…記憶部
６８…映像処理部
７１，７２，７３，７４…複数台のカメラからなる撮影装置
８０，８１，８２…立体映像表示装置側に送信される出力映像群
８０ａ〜８０ｌ…方向ａ〜ｌに対応する各コマ映像
８１ａ〜８１ｌ…方向ａ〜ｌに対応する各コマ映像
８２ａ〜８２ｌ…方向ａ〜ｌに対応する各コマ映像
８３ａ〜８３ｌ…方向ａ〜ｌに対応する各コマ映像
８４ａ〜８４ｌ…操作者から要求される方向ａ〜ｌに対応する各コマ映像
８０’ａ〜８０’ｌ…複数カメラ撮影装置において方向ａ〜ｌに対応する各カメラで撮影された映像
８１’ａ〜８１’ｌ…複数カメラ撮影装置において方向ａ〜ｌに対応する各カメラで撮影された映像
８２’ａ〜８２’ｌ…複数カメラ撮影装置において方向ａ〜ｌに対応する各カメラで撮影された映像
８３’ａ〜８３’ｌ…複数カメラ撮影装置において方向ａ〜ｌに対応する各カメラで撮影された映像

Claims (13)

1. 撮影領域を取り囲むように配置された複数台のカメラと、
   各カメラの撮影パラメータを制御するカメラ制御部と、
   各カメラで撮影された画像を合成して立体映像として表示する立体映像表示部と、
   立体図形を表示する平面ディスプレイと、
   表示された前記立体図形の位置及び／又は形状を操作する操作部と、
   前記立体図形の位置及び形状から前記複数台のカメラの撮影パラメータを解析する解析部とを有し、
   前記解析部によって得られた撮影パラメータを前記カメラ制御部に設定し、前記立体図形の位置及び／又は形状の制御を介して前記立体映像表示装置に表示する立体映像の表示範囲を制御することを特徴とする複数カメラ制御システム。
2. 請求項１記載の複数カメラ制御システムにおいて、前記立体図形の位置及び形状は前記複数台のカメラによって取り囲まれた撮影領域内の空間に対応することを特徴とする複数カメラ制御システム。
3. 請求項１記載の複数カメラ制御システムにおいて、前記平面ディスプレイに前記立体図形を前記複数台のカメラの配置と共に表示することを特徴とする複数カメラ制御システム。
4. 請求項１記載の複数カメラ制御システムにおいて、前記立体図形は円柱又は多角柱であることを特徴とする複数カメラ制御システム。
5. 請求項１記載の複数カメラ制御システムにおいて、前記立体図形を透視図として表示することを特徴とする複数カメラ制御システム。
6. 請求項１記載の複数カメラ制御システムにおいて、前記立体図形を平面図と側面図によって表示することを特徴とする複数カメラ制御システム。
7. 請求項１記載の複数カメラ制御システムにおいて、前記立体図形上に基点となるカメラ方向を示す基点マークが表示され、当該基点マークは前記操作部によって操作可能であり、前記基点マークで示される方向のカメラで撮影された画像は前記立体映像表示部の定位置に表示されることを特徴とする複数カメラ制御システム。
8. 請求項１記載の複数カメラ制御システムにおいて、前記平面ディスプレイへの立体図形の表示は数値表現によって行なわれ、前記操作部は数値入力によって前記立体図形の位置及び／又は形状を操作することを特徴とする複数カメラ制御システム。
9. 請求項１記載の複数カメラ制御システムにおいて、前記撮影パラメータは各カメラの焦点の空間座標、パン、チルト、ズームについてのパラメータであることを特徴とする複数カメラ制御システム。
10. 請求項１記載の複数カメラ制御システムにおいて、前記解析部は、前記複数台のカメラの焦点位置を前記立体図形の重心位置から解析し、前記複数台のカメラそれぞれのズーム倍率を前記立体図形の重心位置と形状の情報から解析することを特徴とする複数カメラ制御システム。
11. 請求項１０記載の複数カメラ制御システムにおいて、前記複数台のカメラを前記撮影領域の周りに移動する移動手段を備え、前記焦点位置に対して隣接する２台のカメラのなす角度がほぼ一定になるように前記移動手段によってカメラの配置を変更することを特徴とする複数カメラ制御システム。
12. 請求項１記載の複数カメラ制御システムにおいて、前記複数台のカメラそれぞれの撮影画像に対する被写体の占有率を基準にトリミング処理及び画像の拡大縮小処理を行うことを行うことを特徴とする複数カメラ制御システム。
13. 請求項１記載の複数カメラ制御システムにおいて、前記撮影領域は仮想空間内の領域であり、前記複数台のカメラは前記仮想空間に配置されたレンダリング用の仮想的なカメラであり、前記カメラで撮影された画像はレンダリング処理によって生成されることを特徴とする複数カメラ制御システム。

Images