JP2019193002A - 多視点カメラ制御装置及びそのプログラム - Google Patents

Abstract

【課題】ＩＰ立体像表示装置が表示する立体像の欠損を抑制できる多視点カメラ制御装置を提供する。【解決手段】多視点カメラ制御装置２は、各種パラメータを設定するパラメータ設定手段２０と、各観視位置と画面の形状とを結んだ直線で形成される四角錘台状の領域に、ＩＰ立体像表示装置の再現範囲を適合させる再現領域設定手段２２と、リファレンスカメラＣｎのベースラインを算出するベースライン算出手段２４と、ＩＰ立体像表示装置の再現領域が画角に収まるようにリファレンスカメラＣｎを制御するリファレンスカメラ制御手段２６と、マスターカメラＣＭの撮影に同期して、リファレンスカメラＣｎに撮影を指令する撮影指令手段２８と、を備える。【選択図】図３

Description

本発明は、多視点カメラ制御装置及びそのプログラムに関する。

任意の視点で自由に立体像を視認することが可能な立体像表示方式の一つとして、インテグラルフォトグラフィ（Integral Photography：以下ＩＰ）方式が知られている。このＩＰ方式では、実体のある被写体を１台のカメラで撮影し、平面上に配列されたレンズアレイを利用して要素画像を生成する。

また、ＩＰ方式では、多視点ロボットカメラが撮影した映像から生成した３次元モデルを用いて、要素画像を生成することもできる（非特許文献１，２）。これら従来技術では、ＩＰディスプレイの再現領域を実空間に設定し、多視点ロボットカメラの協調制御により、四角錐台状の再現領域が収まる最小画角で多視点映像を撮影し、要素画像を生成するものである。

池谷他、「三次元復元のための多視点ロボットカメラの開発」、２０１７年電子情報通信学会総合大会講演論文集、情報・システム講演論文集２、Ｄ−１１−３、２０１７,ｐ.３ 池谷他、「多視点ロボットカメラを用いたインテグラル立体撮影技術」、映像情報メディア学会技術報告、２０１７年１１月３０日

しかし、前記した従来技術では、ＩＰディスプレイの視域内で観視者が動いたとき、ＩＰディスプレイが表示する立体像に欠損が生じるという問題がある。具体的には、従来技術では、図８に示すように、マスターカメラＣ_Ｍの位置を基準としてＩＰディスプレイの再現領域ＡＲ_ｏｌｄを設定する。このため、従来技術では、観視者が視域の端でＩＰディスプレイを観視した場合、再現領域ＡＲ_ｏｌｄが十分な大きさでなく、立体像が正しく表示されないことがある。
なお、図８が平面図のため、四角錐台状の再現領域ＡＲ_ｏｌｄを台形状で図示した。

そこで、本発明は、ＩＰ立体像表示装置が表示する立体像の欠損を抑制できる多視点カメラ制御装置及びそのプログラムを提供することを課題とする。

前記した課題に鑑みて、本発明に係る多視点カメラ制御装置は、予め設定した１台のマスターカメラ及びマスターカメラ以外のリファレンスカメラからなる多視点カメラで被写体を撮影した多視点映像から、ＩＰ立体像表示装置で表示するＩＰ立体映像を生成するために、多視点カメラを制御する多視点カメラ制御装置であって、パラメータ入力手段と、再現領域設定手段と、リファレンスカメラ制御手段と、撮影指令手段と、を備える構成とした。

かかる構成によれば、多視点カメラ制御装置は、パラメータ入力手段によって、ＩＰ立体像表示装置の奥行き方向再現範囲と、ＩＰ立体像表示装置の観視位置とがパラメータとして入力される。
多視点カメラ制御装置は、再現領域設定手段によって、少なくとも端の観視位置において、観視位置を頂点としてＩＰ立体像表示装置の画面周縁を通過する四角錐状の空間領域を求める。そして、再現領域設定手段は、空間領域と奥行き方向再現範囲とが重複する四角錐台状の観視領域を求める。さらに、再現領域設定手段は、それぞれの観視位置で求めた観視領域の和をＩＰ立体像表示装置の再現領域として設定する。

多視点カメラ制御装置は、リファレンスカメラ制御手段によって、ＩＰ立体像表示装置の再現領域がリファレンスカメラの画角に収まるようにリファレンスカメラの姿勢及び画角を制御する。
多視点カメラ制御装置は、撮影指令手段によって、マスターカメラの撮影に同期して、リファレンスカメラに撮影を指令する。

このように、ＩＰ立体像表示装置の再現領域は、端の観視位置を用いて設定するので、マスターカメラの位置のみで設定した場合に比べ、大きくなる。従って、観視者が視域の端からＩＰ立体像表示装置を観視しても、ＩＰ立体像表示装置の再現領域が不足する事態を低減できる。
なお、前記した多視点カメラ制御装置は、一般的なコンピュータを前記した各手段として協調動作させる多視点カメラ制御プログラムで実現することもできる。

本発明によれば、観視者が視域の端からＩＰ立体像表示装置を観視しても、ＩＰ立体像表示装置の再現領域が不足する事態を低減し、ＩＰ立体像表示装置が表示する立体像の欠損を抑制することができる。

実施形態における多視点映像撮影システムの全体構成図である。 図１の多視点カメラの配置を説明する説明図である。 図１の多視点カメラ制御装置の構成を示すブロック図である。 図３のパラメータ設定手段に設定するパラメータの説明図である。 図３の再現領域設定手段が設定する再現領域の説明図であり、再現領域を垂直方向から見た図である。 図５の再現領域を水平方向から見た説明図である。 図３の多視点カメラ制御装置の動作を示すフローチャートである。 従来技術における再現領域の設定を説明する説明図である。

（実施形態）
［多視点映像撮影システムの概略］
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。
図１を参照し、実施形態に係る多視点映像撮影システム１の概略について説明する。
図１に示すように、多視点映像撮影システム１は、多視点ロボットカメラ（多視点カメラ）Ｃで多視点映像を撮影し、撮影した多視点映像を用いて、ＩＰ立体映像（要素画像）を生成するものである。このとき、多視点映像撮影システム１は、ＩＰ立体映像を表示するＩＰ立体像表示装置（不図示）の観視位置を考慮して、ＩＰ立体像表示装置の再現領域を設定する。

まず、多視点映像撮影システム１では、ＩＰ立体像表示装置の観視位置を予め設定する。続いて、図示を省略したカメラマンが、マスターカメラＣ_Ｍを姿勢やズームを操作し、そのときのパラメータを多視点映像撮影システム１に設定する。続いて、多視点映像撮影システム１では、ＩＰ立体像表示装置の観視位置を考慮して、ＩＰ立体像表示装置の再現領域を設定する。
なお、ＩＰ立体像表示装置の観視位置及び再現領域の詳細は、後記する。

続いて、多視点映像撮影システム１では、隣接カメラ間のベースラインＢ（図２）を等間隔にするため、リファレンスカメラＣ_ｎ（Ｃ_１〜Ｃ_６）を正六角形状に配置する。このとき、隣接カメラ間のベースラインＢは、３次元モデルを生成する奥行推定処理の許容視差角に基づいて算出される。
なお、添え字ｎは、何台目のリファレンスカメラＣ_ｎであるかを表す整数である（但し、１≦ｎ≦６）。

続いて、多視点映像撮影システム１は、ＩＰ立体像表示装置の再現領域を構成する各頂点がリファレンスカメラＣ_ｎの画角に収まるように、リファレンスカメラＣ_ｎの姿勢及び画角を制御する。そして、多視点映像撮影システム１は、マスターカメラＣ_Ｍ及びリファレンスカメラＣ_ｎで被写体９０を撮影し、多視点映像を生成する。さらに、多視点映像撮影システム１は、生成した多視点映像から被写体９０の３次元モデルを生成し、その３次元モデルのＩＰ立体映像を生成する。

［多視点映像撮影システムの全体構成］
以下、多視点映像撮影システム１の全体構成について説明する。
図１に示すように、多視点映像撮影システム１は、多視点ロボットカメラＣと、多視点カメラ制御装置２と、３次元モデル生成装置３と、ＩＰ立体映像生成装置４とを備える。

多視点ロボットカメラＣは、予め設定した１台のマスターカメラＣ_Ｍと、マスターカメラＣ_Ｍ以外のリファレンスカメラＣ_ｎとを備えるものである。ここでは、多視点ロボットカメラＣは、リファレンスカメラＣ_ｎが、水平方位だけでなく、垂直方向にも配置されている。本実施形態では、多視点ロボットカメラＣは、マスターカメラＣ_Ｍと、このマスターカメラＣ_Ｍを中心として正六角形状に配置された６台のリファレンスカメラＣ_ｎとを備える。このとき、多視点ロボットカメラＣは、マスターカメラＣ_Ｍと、マスターカメラＣ_Ｍの左右に位置するリファレンスカメラＣ_３，Ｃ_６とを結んだ軸線が水平となるように配置されている。
また、多視点ロボットカメラＣは、ケーブルを介して、多視点カメラ制御装置２及び３次元モデル生成装置３に接続されている。

マスターカメラＣ_Ｍとは、カメラマンが操作する撮影カメラのことである。ここで、カメラマンが、マスターカメラＣ_Ｍの姿勢（パン、チルト）、画角（ズーム）、デプスを操作する。すると、マスターカメラＣ_Ｍは、そのときの姿勢、画角及びデプスをパラメータとして、多視点カメラ制御装置２に出力する。さらに、マスターカメラＣ_Ｍは、カメラマンがシャッターを切ると、被写体９０を撮影し、その撮影映像を３次元モデル生成装置３に出力する。このとき、マスターカメラＣ_Ｍは、撮影映像を撮影したタイミングを多視点カメラ制御装置２に通知する（撮影通知）。

リファレンスカメラＣ_ｎとは、３次元モデルを生成するときの奥行推定処理において、ステレオマッチングに用いる撮影映像を撮影する撮影カメラのことである。つまり、リファレンスカメラＣ_ｎは、マスターカメラＣ_Ｍに追従するように自動制御される。本実施形態では、リファレンスカメラＣ_ｎは、パン、チルト、ズーム（画角）を制御可能な雲台に搭載されている。そして、リファレンスカメラＣ_ｎは、多視点カメラ制御装置２からの制御信号に応じて、姿勢（パン、チルト）及びズーム（画角）を駆動する。さらに、リファレンスカメラＣ_ｎは、多視点カメラ制御装置２から、撮影が指令されたタイミングで被写体９０を撮影し、その撮影映像を３次元モデル生成装置３に出力する。

なお、多視点ロボットカメラＣは、図２示すように、隣接カメラ間のベースラインＢを手動で調整する。ベースラインＢは、マスターカメラＣ_Ｍと各リファレンスカメラＣ_ｎとの距離、及び、隣接するリファレンスカメラＣ_ｎ同士の距離のことである。例えば、多視点ロボットカメラＣは、マスターカメラＣ_Ｍ及び各リファレンスカメラＣ_ｎを三脚（不図示）に搭載する。この場合、カメラマン等が、多視点カメラ制御装置２が出力したベースライン情報を参照し、マスターカメラＣ_Ｍ及び各リファレンスカメラＣ_ｎを手動で移動させる。

多視点カメラ制御装置２は、多視点ロボットカメラＣが多視点映像を撮影する際、多視点ロボットカメラＣ（リファレンスカメラＣ_ｎ）を制御するものである。この多視点カメラ制御装置２の詳細は、後記する。

３次元モデル生成装置３は、マスターカメラＣ_Ｍの撮影映像から、被写体９０の３次元モデルを生成するものである。本実施形態では、３次元モデル生成装置３は、奥行推定処理を行うため、マスターカメラＣ_Ｍと各リファレンスカメラＣ_ｎとの撮影映像を用いて、ステレオマッチングを行う。そして、３次元モデル生成装置３は、生成した３次元モデルをＩＰ立体映像生成装置４に出力する。

ＩＰ立体映像生成装置４は、３次元モデル生成装置３が生成した３次元モデルから、ＩＰ立体映像を生成するものである。本実施形態では、ＩＰ立体映像生成装置４は、仮想空間に多視点ロボットカメラＣ、被写体９０及びＩＰ立体像表示装置の位置関係を再現し、斜投影により３次元点群モデルの多視点映像を撮影する。

なお、多視点ロボットカメラＣ、３次元モデル生成装置３及びＩＰ立体映像生成装置４の詳細は、以下の参考文献１，２に記載されているため、これ以上の説明を省略する。
参考文献１：池谷他、「三次元復元のための多視点ロボットカメラの開発」、２０１７年電子情報通信学会総合大会講演論文集、情報・システム講演論文集２、Ｄ−１１−３、２０１７,ｐ.３
参考文献２：池谷他、「多視点ロボットカメラを用いたインテグラル立体撮影技術」、映像情報メディア学会技術報告、２０１７年１１月３０日

［多視点カメラ制御装置の構成］
図３を参照し、多視点カメラ制御装置２の構成について説明する。
図３に示すように、多視点カメラ制御装置２は、パラメータ設定手段（パラメータ入力手段）２０と、再現領域設定手段２２と、ベースライン算出手段２４と、リファレンスカメラ制御手段２６と、撮影指令手段２８とを備える。

パラメータ設定手段２０は、多視点ロボットカメラＣの制御に必要な各種パラメータを設定（入力）するものである。本実施形態では、パラメータ設定手段２０は、パラメータとして、多視点ロボットカメラＣから、マスターカメラＣ_Ｍの姿勢及び画角と、デプスとを取得する。また、カメラマンが、図示を省略したマウス、キーボード等の操作手段を用いて、パラメータをパラメータ設定手段２０に入力する。例えば、カメラマンが入力するパラメータには、ＩＰ立体像表示装置の奥行き方向再現範囲、画面サイズ、飛び出し量、観視位置及び視域が含まれる。そして、パラメータ設定手段２０は、設定された各種パラメータを再現領域設定手段２２に出力する。

＜パラメータの説明＞
以下、パラメータ設定手段２０に設定する各種パラメータについて説明する。
図４に示すように、マスターカメラＣ_Ｍの姿勢は、カメラマンがマスターカメラＣ_Ｍを操作して被写体９０を撮影したときのパン・チルトを表す。
マスターカメラＣ_Ｍの画角θは、カメラマンがマスターカメラＣ_Ｍを操作して被写体９０を撮影したときの水平方向及び垂直方向の画角を表す。
デプスｄは、マスターカメラＣ_Ｍから注視点Ｇまでの距離を表す。
注視点Ｇとは、被写体９０の位置のことである。つまり、注視点Ｇは、ＩＰ立体映像として主に表示したい被写体９０の位置を表す。
なお、図４では、Ｘ軸が水平方向を表し、Ｙ軸が垂直方向を表し、Ｚ軸が奥行き方向を表す。

図５に示すように、ＩＰ立体像表示装置の奥行き方向再現範囲Ｄは、ＩＰ立体像表示装置が奥行き方向（Ｚ軸方向）で立体像を再現できる範囲を表す。図５に示すように、ＩＰ立体像表示装置の奥行き方向再現範囲Ｄは、画面５（レンズアレイ）を中心とした、手前再現範囲から奥再現範囲までの間を表す。
ＩＰ立体像表示装置の画面サイズは、画面５の幅Ｗ及び高さＨ（図６）を表す。
ＩＰ立体像表示装置の飛び出し量Δは、注視点ＧがＩＰ立体像表示装置の画面５から奥行き方向に離れて表示される距離を表す。
ＩＰ立体像表示装置の視域Ωは、ＩＰ立体像表示装置が立体像を適正に表示できる角度を表す。

ＩＰ立体像表示装置の観視位置Ｖは、多視点映像撮影システム１が生成したＩＰ立体映像をＩＰ立体像表示装置で表示する際、観視者がＩＰ立体映像を観視する位置を表す。例えば、ＩＰ立体像表示装置の観視位置Ｖは、ＩＰ立体像表示装置が備えるレンズアレイの要素レンズのピッチや焦点距離、ＩＰ立体像表示装置の解像度を考慮して、任意に設定できる。例えば、観視位置Ｖは、マスターカメラＣ_Ｍの位置を基準として、水平方向及び垂直方向に等間隔で複数設定できる。
なお、前記したパラメータ設定手段２０では、後記する空間領域及び観視領域の算出に利用する観視位置Ｖのみを設定すればよい。

図３に戻り、多視点カメラ制御装置２の構成の説明を続ける。
再現領域設定手段２２は、少なくとも端の観視位置において、観視位置を頂点としてＩＰ立体像表示装置の画面周縁を通過する四角錐状の空間領域を求めるものである。そして、再現領域設定手段２２は、その空間領域と奥行き方向再現範囲とが重複する四角錐台状の観視領域を求める。さらに、再現領域設定手段２２は、それぞれの観視位置で求めた観視領域の和をＩＰ立体像表示装置の再現領域として設定する。

＜再現領域の設定＞
以下、図５及び図６を参照し、ＩＰ立体像表示装置の再現領域の設定について説明する。
ここでは、ＩＰ立体像表示装置の観視位置は、図５及び図６に示すように、マスターカメラＣ_Ｍの位置を基準（中心）として、水平方向及び垂直方向にそれぞれ１１箇所設定されている。また、中央の観視位置Ｖ_ＣがマスターカメラＣ_Ｍの位置に対応し、左右両端の観視位置Ｖ_Ｌ，Ｖ_Ｒが視域Ωの端に位置する。また、本実施形態では、各観視位置Ｖが、奥行き方向で同一距離（つまり、同一のＸ−Ｙ平面上）に位置する。

まず、水平方向について考える。再現領域設定手段２２は、デプスｄ、画角θ、画面サイズ（幅Ｗ）及び飛び出し量Δが含まれる式（１）を用いて、縮尺比ｋを算出する。具体的には、再現領域設定手段２２は、パラメータ設定手段２０から入力されたデプスｄ、画角θ、画面サイズＷ及び飛び出し量Δを式（１）に代入し、縮尺比ｋを算出する。この縮尺比ｋは、３次元モデルを配置する仮想空間と、マスターカメラＣ_Ｍで撮影する実空間とのスケールの比を表す。

図５に示すように、画面５の幅がｋＷとなり、画面５の幅ｋＷから左端Ｅ_Ｌ及び右端Ｅ_Ｒが求められる。また、実空間上の飛び出し量がｋΔとなり、奥行き方向再現範囲が画面５を中心として奥行き方向にｋＤとなる。

次に、再現領域設定手段２２は、要素画像を生成する際の観視位置ＶをマスターカメラＣ_Ｍで撮影する実空間に設定する。そして、再現領域設定手段２２は、各観視位置Ｖと画面５の形状とを結んだ直線で形成される四角錘台状の観視領域に、ＩＰ立体像表示装置の再現範囲を適合させる。このように、観視位置Ｖ毎の観視領域を合成することで、図５のＩＰ立体像表示装置の再現領域ＡＲを設定する。

まず、左端の観視位置Ｖ_Ｌについて考える。この場合、再現領域設定手段２２は、実空間において、観視位置Ｖ_Ｌを頂点として、画面５の周縁Ｅ（左端Ｅ_Ｌ，右端Ｅ_Ｒ，上端Ｅ_Ｕ，下端Ｅ_Ｄ）を通過する四角錐状の空間領域を求める。図５のように垂直方向から見ると、観視位置Ｖ_Ｌの空間領域は、観視位置Ｖ_Ｌから画面５の左端Ｅ_Ｌに向けて延長した線分と、観視位置Ｖ_Ｌから画面５の右端Ｅ_Ｒに向けて延長した線分とで囲われる三角形状の領域となる（破線で図示）。そして、再現領域設定手段２２は、観視位置Ｖ_Ｌの空間領域と、奥行き方向再現範囲とが重複する観視領域を求める（太破線で図示）。この観視領域は、空間領域の側面と、手前再現範囲に対応する平面と、奥再現範囲に対応する平面とで囲われる四角錐台状の領域となる。
なお、図５が平面図のため、実際には四角錐状になる空間領域を三角形状で図示し、四角錐台状の観視領域を台形状で図示した（図６も同様）。

次に、右端の観視位置Ｖ_Ｒについて考える。この場合、再現領域設定手段２２は、実空間において、観視位置Ｖ_Ｒを頂点として、画面５の周縁Ｅを通過する空間領域を求める（一点鎖線で図示）。そして、再現領域設定手段２２は、観視位置Ｖ_Ｒの空間領域と、奥行き方向再現範囲とが重複する観視領域を求める（太一点鎖線で図示）。

ここで、再現領域設定手段２２は、水平方向だけでなく、垂直方向でも観視領域を求める。図６に示すように、再現領域設定手段２２は、実空間において、上端の観視位置Ｖ_Ｕを頂点として、画面５の周縁Ｅを通過する四角錐状の空間領域をそれぞれ求める。図６のように水平方向から見ると、観視位置Ｖ_Ｕの空間領域は、観視位置Ｖ_Ｕから画面５の上端Ｅ_Ｕに向けて延長した線分と、観視位置Ｖ_Ｕから画面５の下端Ｅ_Ｄに向けて延長した線分とで囲われる三角形状の領域となる（破線で図示）。そして、再現領域設定手段２２は、観視位置Ｖ_Ｄの空間領域と、奥行き方向再現範囲とが重複する観視領域を求める（太破線で図示）。さらに、再現領域設定手段２２は、上端の観視位置Ｖ_Ｄと同様、下端の観視位置Ｖ_Ｕの観視領域を求める。
なお、図６では、θ_Ｖが垂直方向の画角を表し、Ｈが画面５の高さを表し、Ω_Ｖが垂直方向の視域を表す。

本実施形態では、再現領域設定手段２２は、水平方向及び垂直方向の端に位置する観視位置Ｖ（Ｖ_Ｌ，Ｖ_Ｒ，Ｖ_Ｕ，Ｖ_Ｄ）のみで空間領域及び観視領域を求めているが、他の観視位置Ｖを用いてもよい。例えば、再現領域設定手段２２は、中央の観視位置Ｖ_Ｃから空間領域及び観視領域を求めてもよく、観視位置Ｖ毎に空間領域及び観視領域を求めてもよい。

次に、再現領域設定手段２２は、各観視位置Ｖで求めた観視領域の和を再現領域ＡＲとして設定する。具体的には、再現領域設定手段２２は、各観視位置Ｖの観視領域の論理和（ＯＲ演算）を取って、再現領域ＡＲを求める。つまり、再現領域設定手段２２は、再現領域ＡＲが最大となるように、何れかの各観視位置Ｖで求めた観視領域が存在する最大領域を再現領域ＡＲとして設定する。図５及び図６に示すように、再現領域ＡＲは、画面５の位置で２個の四角錐台の上底面が合わさった形状の領域となり、１２個の頂点Ｐ_ｉで構成される（ドットで図示）。なお、図面を見やすくするため、一部のみ符号Ｐ_ｉを図示した。

次に、再現領域設定手段２２は、３次元モデルを生成する仮想空間のスケールを実空間と等しくし、実空間に設定した再現領域ＡＲを仮想空間に同一の位置及びスケールで設定する。
その後、再現領域設定手段２２は、求めた再現領域ＡＲ及び縮尺比ｋと、パラメータ設定手段２０からの各種パラメータとをベースライン算出手段２４に出力する。

図３に戻り、多視点カメラ制御装置２の構成の説明を続ける。
ベースライン算出手段２４は、多視点ロボットカメラＣにおける隣接カメラ間のベースラインＢ（隣接カメラ間の距離）を、予め設定された許容視差角から算出するものである。
なお、許容視差角とは、高精度な３次元モデルを生成するために許容される隣接カメラの輻輳角のことであり、例えば、奥行推定処理（奥行推定アルゴリズム）に応じて、適切な値で予め設定される。

本実施形態では、ベースライン算出手段２４は、隣接カメラ間のベースラインＢを式（２）により算出する。この式（２）は、許容視差角Φと、各パラメータに含まれるデプスｄ、奥行き方向再現範囲Ｄ及び飛び出し量Δとで表される。従って、ベースライン算出手段２４は、許容視差角Φ及び各種パラメータを式（２）に代入することで、ベースラインＢを算出できる。

そして、ベースライン算出手段２４は、算出したベースラインＢを外部（例えば、図示を省略したディスプレイ）に出力する。すると、カメラマン等が、ベースラインＢに従って、マスターカメラＣ_Ｍ及び各リファレンスカメラＣ_ｎを手動で配置する。

さらに、ベースライン算出手段２４は、再現領域設定手段２２からの再現領域ＡＲと、縮尺比ｋと、各種パラメータとをリファレンスカメラ制御手段２６に出力する。
なお、図３では、ベースラインＢを手動で設定するため、ベースライン算出手段２４からリファレンスカメラＣ_ｎへの出力を破線で図示した。

リファレンスカメラ制御手段２６は、ベースライン算出手段２４からの再現領域ＡＲがリファレンスカメラＣ_ｎの画角に収まるように、リファレンスカメラＣ_ｎの姿勢及び画角を制御するものである。
まず、リファレンスカメラ制御手段２６は、再現領域ＡＲの各頂点Ｐ_ｉの世界座標を取得する。なお、添え字ｉは、何番目の頂点であるかを表す整数である（但し、１≦ｉ≦１２）。

次に、リファレンスカメラ制御手段２６は、各リファレンスカメラＣ_ｎのカメラ座標系において、再現領域ＡＲの全頂点Ｐ_ｉが各リファレンスカメラＣ_ｎの画角Ｏに収まるように、パン値Ｐ_ｉｐａｎ及びチルト値Ｐ_ｉｔｉｌｔを算出する。本実施形態では、式（３）に示すように、パン値Ｏ´ｐａｎは、リファレンスカメラＣ_ｎが再現領域ＡＲの各頂点Ｐ_ｉを向いたときのパン最大値Ｍａｘ（Ｐ_ｉｐａｎ）とパン最小値Ｍｉｎ（Ｐ_ｉｐａｎ）との平均から求める（チルトＯ´ｔｉｌｔも同様）。

次に、リファレンスカメラ制御手段２６は、式（４）を用いて、カメラ姿勢制御後のカメラ座標系において、再現領域ＡＲの全頂点Ｐ_ｉが収まるように、各リファレンスカメラＣ_ｎの画角θ´を算出する。
なお、式（４）では、Ｗ／ＨがＩＰ立体像表示装置のアスペクト比を表し、ｉｆが後段の条件式が成立するときに前段の演算を行う関数を表す。

その後、リファレンスカメラ制御手段２６は、算出した姿勢（パン値θ´ｐａｎ、チルト値θ´ｔｉｌｔ）及び画角θ´を表す制御信号を生成し、生成した制御信号をリファレンスカメラＣ_ｎに出力する。この制御信号に応じて、各リファレンスカメラＣ_ｎが所望の姿勢をとるように駆動し、画角θ´となるようにズームする。

撮影指令手段２８は、マスターカメラＣ_Ｍの撮影に同期させて、姿勢及び画角が制御されたリファレンスカメラＣ_ｎに撮影を指令するものである。本実施形態では、撮影指令手段２８は、マスターカメラＣ_Ｍから撮影通知が入力されたタイミングで、撮影映像の撮影を全リファレンスカメラＣ_ｎに指令する。
なお、再現領域設定手段２２以外の各手段は、前記した参考文献１，２に記載されているため、これ以上の詳細な説明を省略する。

［多視点カメラ制御装置の動作］
図７を参照し、多視点カメラ制御装置２の動作について説明する（適宜図３参照）。
図７に示すように、パラメータ設定手段２０は、各種パラメータを設定する。このパラメータには、マスターカメラＣ_Ｍの姿勢、画角θ、デプスｄが含まれる。また、パラメータには、ＩＰ立体像表示装置の奥行き方向再現範囲Ｄ、画面サイズ（幅Ｗ，高さＨ）、飛び出し量Δ、観視位置Ｖ、視域Ωが含まれる（ステップＳ１）。

再現領域設定手段２２は、ＩＰ立体像表示装置の再現領域の設定を設定する。具体的には、再現領域設定手段２２は、観視位置Ｖを頂点として、画面５の周縁Ｅを通過する空間領域を求める。次に、再現領域設定手段２２は、観視位置Ｖの空間領域と奥行き方向再現範囲とが重複する観視領域を求める。さらに、再現領域設定手段２２は、求めた観視領域の和を再現領域ＡＲとして設定する（ステップＳ２）。

ベースライン算出手段２４は、多視点ロボットカメラＣにおける隣接カメラ間のベースラインＢを算出する。具体的には、ベースライン算出手段２４は、３次元モデルを生成する奥行推定処理の許容視差角により、前記した式（２）を用いて、ベースラインＢを算出する（ステップＳ３）。

リファレンスカメラ制御手段２６は、再現領域ＡＲがリファレンスカメラＣ_ｎの画角に収まるように、リファレンスカメラＣ_ｎの姿勢及び画角を制御する。具体的には、リファレンスカメラ制御手段２６は、前記した式（３）及び式（４）を用いて、リファレンスカメラＣ_ｎの姿勢及び画角θ´を表す制御信号を生成し、生成した制御信号をリファレンスカメラＣ_ｎに出力する（ステップＳ４）。

多視点カメラ制御装置２は、撮影指令手段２８によって、マスターカメラＣ_Ｍから撮影通知が入力されたタイミングで、撮影映像の撮影を全リファレンスカメラＣ_ｎに指令する（ステップＳ５）。

［作用・効果］
以上のように、実施形態に係る多視点カメラ制御装置２は、図５及び図６に示すように、端の観視位置Ｖを用いて再現領域ＡＲを設定する。これにより、再現領域ＡＲは、画面５の位置で２個の四角錐台の上底面が合わさった形状となり、手前側が奥側より大きくなる。一方、従来の再現領域ＡＲ_ｏｌｄは、図８に示すように、マスターカメラＣ_Ｍの位置のみで設定するので、四角錐台状の形状となり、手前側が奥側より狭くなる。このように、多視点カメラ制御装置２が設定する再現領域ＡＲは、従来の再現領域ＡＲ_ｏｌｄに比べて大きくなる。従って、多視点カメラ制御装置２では、観視者が視域の端でＩＰ立体像表示装置を観視した場合でも、再現領域ＡＲが不足する事態を低減することができる。これにより、多視点カメラ制御装置２は、立体像の欠損を抑制し、高品質なＩＰ立体映像を提供することができる。

さらに、多視点カメラ制御装置２は、端の観視位置Ｖ_Ｌ，Ｖ_Ｒ，Ｖ_Ｕ，Ｖ_Ｄのみを用いた場合、再現領域ＡＲの設定に必要な演算量を抑制し、ＩＰ立体映像を素早く提供することができる。一方、多視点カメラ制御装置２は、各観視位置Ｖを用いた場合、より正確な再現領域ＡＲを設定し、より高品質なＩＰ立体映像を提供することができる。

（変形例）
以上、本発明の実施形態を詳述してきたが、本発明は前記した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
前記した実施形態では、観察位置を水平方向及び垂直方向に１１箇所設定することとして説明したが、これに限定されない。この観察位置は、任意に設定可能であり、マスターカメラの位置を基準として２次元方向で複数設定することができる。

前記した実施形態では、多視点カメラが正六角形状に配置されることとして説明したが、これに限定されない。例えば、本発明では、多視点カメラが四角形状、円状、又は、正多角形状に配置されてもよい。さらに、本発明では、多視点カメラとしてステレオカメラを用いてもよい。

前記した実施形態では、隣接カメラ間のベースラインを手動で調整することとして説明したが、本発明は、これに限定されない。例えば、多視点カメラは、各リファレンスカメラを支持すると共に、ベースラインを調整可能な支持機構（不図示）に搭載する。そして、支持機構は、多視点カメラ制御装置２からのベースライン情報を参照し、隣接カメラ間のベースラインを自動的に調整する。

前記した実施形態では、多視点カメラ制御装置を独立したハードウェアとして説明したが、本発明は、これに限定されない。例えば、多視点カメラ制御装置は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した各手段として協調動作させる多視点カメラ制御プログラムで実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

１ 多視点映像撮影システム
２ 多視点カメラ制御装置
３ ３次元モデル生成装置
４ ＩＰ立体映像生成装置
５ ＩＰ立体像表示装置の画面
２０ パラメータ設定手段（パラメータ入力手段）
２２ 再現領域設定手段
２４ ベースライン算出手段
２６ リファレンスカメラ制御手段
２８ 撮影指令手段
９０ 被写体
ＡＲ，ＡＲ_ｏｌｄ ＩＰ立体像表示装置の再現領域
Ｃ 多視点ロボットカメラ（多視点カメラ）
Ｃ_Ｍ マスターカメラ
Ｃ_ｎ，Ｃ_１〜Ｃ_６ リファレンスカメラ
Ｅ 周縁
Ｅ_Ｌ 左端
Ｅ_Ｒ 右端
Ｅ_Ｕ 上端
Ｅ_Ｄ 下端
Ｇ 注視点
Ｐ，Ｐ_ｉ 頂点
Ｖ，Ｖ_Ｃ，Ｖ_Ｄ，Ｖ_Ｌ，Ｖ_Ｒ，Ｖ_Ｕ 観視位置

Claims (4)

1. 予め設定した１台のマスターカメラ及び前記マスターカメラ以外のリファレンスカメラからなる多視点カメラで被写体を撮影した多視点映像から、ＩＰ立体像表示装置で表示するＩＰ立体映像を生成するために、前記多視点カメラを制御する多視点カメラ制御装置であって、
   前記ＩＰ立体像表示装置の奥行き方向再現範囲と、前記ＩＰ立体像表示装置の観視位置とがパラメータとして入力されるパラメータ入力手段と、
   少なくとも端の前記観視位置において、当該観視位置を頂点として前記ＩＰ立体像表示装置の画面周縁を通過する四角錐状の空間領域を求め、当該空間領域と前記奥行き方向再現範囲とが重複する四角錐台状の観視領域を求め、それぞれの前記観視位置で求めた観視領域の和を前記ＩＰ立体像表示装置の再現領域として設定する再現領域設定手段と、
   前記ＩＰ立体像表示装置の再現領域が前記リファレンスカメラの画角に収まるように前記リファレンスカメラの姿勢及び画角を制御するリファレンスカメラ制御手段と、
   前記マスターカメラの撮影に同期して、前記リファレンスカメラに撮影を指令する撮影指令手段と、
   を備えることを特徴とする多視点カメラ制御装置。
2. 前記パラメータ入力手段は、前記マスターカメラの位置を基準として、２次元方向で複数の前記観視位置が入力され、
   前記再現領域設定手段は、前記観視位置毎に前記空間領域及び前記観視領域を算出することを特徴とする請求項１に記載の多視点カメラ制御装置。
3. 前記パラメータ入力手段は、前記被写体の位置である注視点から前記マスターカメラまでの距離を表すデプスｄと、前記マスターカメラの画角θと、前記ＩＰ立体像表示装置の飛び出し量Δとがさらに入力され、
   前記再現領域設定手段は、前記デプスｄ、前記画角θ、前記ＩＰ立体像表示装置の画面サイズＷ、及び、前記飛び出し量Δが含まれる式（１）を用いて、前記観視領域と前記再現領域の縮尺比ｋを算出し、
   

   

   前記縮尺比ｋに応じた寸法の前記再現領域を設定することを特徴とする請求項１又は請求項２に記載の多視点カメラ制御装置。
4. コンピュータを、請求項１から請求項３の何れか一項に記載の多視点カメラ制御装置として機能させるための多視点カメラ制御プログラム。

Images