JP2016171478A - カメラ制御装置及びそのプログラム - Google Patents

Abstract

【課題】被写体が移動した場合でも適切な輻輳角を保つことができるカメラ制御装置を提供する。【解決手段】多視点ロボットカメラシステム１は、制御装置１０が、マスターカメラＣｍの位置からマスターカメラＣｍの光軸方向でデプスが示す距離にある注視点の位置を算出する注視点算出部１２と、マスターカメラＣｍの位置を通過するようにカメラパスを設定するカメラパス設定部１６とを備える。スレーブカメラＣｎが、スレーブカメラＣｎの位置を算出する位置算出部１２０と、スレーブカメラＣｎの姿勢を算出する姿勢算出部２２０と、スレーブカメラＣｎのズーム値を算出するズーム値算出部２４０とを備える。【選択図】図４

Description

本願発明は、移動体に搭載されたカメラを複数台用いて多視点映像を撮影するために、カメラの位置及び姿勢を算出するカメラ制御装置及びそのプログラムに関する。

従来技術として、動く被写体をパンフォローした多視点映像を撮影することが可能な多視点ロボットカメラシステムが提案されている（例えば、非特許文献１，２）。多視点ロボットカメラシステムは、複数台のロボットカメラを協調制御するシステムであり、１人のカメラマンの操作によって全てのロボットカメラを３次元空間中の被写体へ一斉に方向制御することで、被写体の多視点映像を撮影できる。

この多視点ロボットカメラシステムでは、複数台のロボットカメラのうちの１台を、カメラマンが操作するマスターカメラとして設定し、そのマスターカメラ以外のロボットカメラがスレーブカメラとなる。このマスターカメラの光軸上には注視点が設定され、スレーブカメラが注視点に自動的に方向制御される。そして、カメラマンは、マスターカメラを操作して、注視点を被写体上に設定することで、全てのロボットカメラが被写体に方向制御されて、多視点映像を撮影することができる。

ここで、例えば、撮影映像のアプリケーションとして、非特許文献３に記載の技術が提案されている。この非特許文献３に記載の技術は、時間を止めて視点が被写体の周囲を回り込むような映像表現を行うものであり、多視点映像にも適用可能である。

冨山仁博 岩舘祐一，"多視点ハイビジョン映像生成システムの開発"，映像情報メディア学会誌，64，4，pp.622-628 (2010) "多視点ロボットカメラシステムを用いた映像制作"，兼六館出版，"放送技術"，2013年66巻11月号，pp.102-105 "ぐるっとビジョン"，[online]，[平成２６年１１月１２日検索]，インターネット＜ＵＲＬ：http://www.nhk.or.jp/strl/open2013/tenji/pdf/21.pdf＞

非特許文献３のアプリケーションを多視点映像に適用する場合、ロボットカメラは、アプリケーション毎に適切な輻輳角で多視点映像を撮影することが好ましい。しかし、多視点ロボットカメラシステムは、ロボットカメラの設置位置が固定されているため、被写体が移動した場合、適切な輻輳角を保つことが困難である。その結果、ロボットカメラを手動で再配置する作業を要し、多視点映像の撮影に非常に手間がかかるという問題がある。

なお、輻輳角とは、隣接するロボットカメラの光軸同士が交わる角度である。つまり、輻輳角は、あるロボットカメラと被写体とを結ぶ直線と、別のロボットカメラと被写体とを結ぶ直線とのなす角になる。

本願発明は、被写体が移動した場合でも適切な輻輳角を保つことができるカメラ制御装置及びそのプログラムを提供することを課題とする。

前記した課題に鑑みて、本願発明に係るカメラ制御装置は、移動体に搭載されて空間内を自在に移動可能なロボットカメラを複数台用いて多視点映像を撮影するために、ロボットカメラの位置及び姿勢を算出するカメラ制御装置であって、注視点算出部と、球体設定部と、カメラパス設定部と、円錐設定部と、交点算出部と、姿勢算出部とを備える構成とした。

かかる構成によれば、カメラ制御装置は、注視点算出部によって、ロボットカメラ又は撮影カメラのうち予め設定された１台のマスターカメラで計測された位置及び姿勢と、マスターカメラから被写体までの距離であるデプスとが入力され、入力されたマスターカメラの位置からマスターカメラの光軸方向でデプスが示す距離にある注視点の位置を算出する。

カメラ制御装置は、球体設定部によって、注視点が中心、かつ、デプスが半径となる仮想球体を設定する。
カメラ制御装置は、カメラパス設定部によって、仮想球体上におけるマスターカメラの位置を通過するように、カメラパスを仮想球体上に予め設定する。このカメラパスは、マスターカメラ以外のロボットカメラであるスレーブカメラが配置される経路（パス）を表す。

カメラ制御装置は、円錐設定部によって、注視点が頂点、かつ、注視点からマスターカメラの位置までが母線、かつ、母線と側面とのなす角が予め設定した輻輳角となる仮想第１円錐を設定する。
つまり、仮想第１円錐の側面が、適切な輻輳角を保つことができる位置を表している。

カメラ制御装置は、交点算出部によって、仮想第１円錐の側面と仮想球体とが交わる円を求め、カメラパスと当該円との交点を、スレーブカメラの位置として算出する。
カメラ制御装置は、姿勢算出部によって、スレーブカメラの位置で注視点を向いた方向をスレーブカメラの姿勢として算出する。

なお、カメラ制御装置は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、注視点算出部、球体設定部、カメラパス設定部、円錐設定部、交点算出部及び姿勢算出部として協調動作させるカメラ制御プログラムで実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

本願発明によれば、以下のような優れた効果を奏する。
本願発明に係るカメラ制御装置は、仮想第１円錐の側面上にスレーブカメラを配置することで、被写体が移動した場合でも適切な輻輳角を保ち、高品質な多視点映像表現を実現することができる。さらに、本願発明に係るカメラ制御装置は、ロボットカメラを手動で再配置する必要がないので、多視点映像を撮影する手間を大幅に軽減することができる。

本願発明の第１実施形態に係る多視点ロボットカメラシステムの概略図である。 図１のカメラの外観図である。 本願発明の第１実施形態において、注視点の設定を説明する説明図である。 図１のマスターカメラ、制御装置及びスレーブカメラの構成を示すブロック図である。 本願発明の第１実施形態において、仮想球体及び仮想第１円錐の設定を説明する説明図である。 図４の位置算出部の構成を示すブロック図である。 本願発明の第１実施形態において、仮想第２円錐の設定及び交点の算出を説明する説明図である。 本願発明の第１実施形態において、仮想第２円錐の設定及び交点の算出を説明する説明図である。 本願発明の第１実施形態において、スレーブカメラの姿勢の算出を説明する説明図である。 本願発明の第１実施形態において、移動禁止区域の設定及びスレーブカメラの新たな位置の算出を説明する説明図である。 図１の多視点ロボットカメラシステムの動作を示すフローチャートである。 本願発明の第２実施形態に係るマスターカメラ、制御装置及びスレーブカメラの構成を示すブロック図である。

以下、本願発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。

（第１実施形態）
［多視点ロボットカメラシステムの概略］
図１〜図３を参照し、本願発明の第１実施形態に係る多視点ロボットカメラシステム（カメラ制御装置）１の概略について、説明する。
多視点ロボットカメラシステム１は、空間内を自在に移動可能なカメラ（ロボットカメラ）Ｃを複数台用いて、同一時刻の被写体９０を異なる視点で撮影した映像（多視点映像）を生成するものである。本実施形態では、多視点ロボットカメラシステム１は、ステージ上の歌手を被写体９０として、多視点映像を生成することとする。

図１のように、多視点ロボットカメラシステム１は、制御装置１０と、操作インターフェース部２０と、カメラＣとを備える。また、多視点ロボットカメラシステム１では、制御装置１０、操作インターフェース部２０及びカメラＣの間で無線通信を行うこととする。

制御装置１０は、多視点映像を撮影するために、カメラＣの位置及び姿勢を算出するものである。
例えば、“ぐるっとビジョン”のようなアプリケーションを多視点映像に適用する場合、各カメラＣがそのアプリケーションに適切な輻輳角で保つことが好ましい。その一方、被写体９０がステージ上を移動するため、この輻輳角を保てるように、各カメラＣの位置や姿勢を予め決めることが困難である。そこで、制御装置１０は、この輻輳角を保てるように、各カメラＣの位置や姿勢を算出する。
なお、制御装置１０の詳細は、後記する。

操作インターフェース部２０は、後記するマスターカメラＣ_ｍを操作するものである。例えば、操作インターフェース部２０は、マスターカメラＣ_ｍの位置、姿勢、デプス及びズームを操作するためのスティックやレバーを有する。そして、操作インターフェース部２０は、操作者（カメラマン）９１の操作に応じて、操作情報（位置、姿勢、デプス及びズームの制御信号）を生成し、生成した操作情報をマスターカメラＣ_ｍに出力する。さらに、操作インターフェース部２０は、操作者９１の操作に応じて、デプスを制御装置１０に出力する。

カメラＣ（Ｃ_ｍ，Ｃ_ｎ）は、所定の位置及び姿勢で被写体９０を撮影するマルチコプタ型のロボットカメラである。図２のように、カメラＣ（Ｃ_ｍ，Ｃ_ｎ）は、マルチコプタ本体１００と、カメラ本体２００とで構成される。

マルチコプタ本体１００は、腕が十字方向に延長された筐体１０１を有する。筐体１０１は、それぞれの腕先端部にモータ（不図示）が格納される。そして、プロペラ１０２は、各モータの回転軸に計４個取り付けられる。そして、マルチコプタ本体１００は、各プロペラ１０２の回転を制御することで、上下左右に自在に空中を移動できる。

また、筐体１０１には、２本の脚部１０３が垂直に設けられている。脚部１０３は、カメラ本体２００が接地しない高さを有する。また、脚部１０３は、カメラ本体２００よりも広い幅を有する。このような構造により、脚部１０３は、安定した着地を可能にすると共に、カメラ本体２００を保護している。

カメラ本体２００は、被写体９０を撮影する一般的なビデオカメラであり、撮影した映像を外部（例えば、図示を省略した多視点映像生成装置）に出力する。また、カメラ本体２００は、雲台２０１を介して、マルチコプタ本体１００の下部に取り付けられる。雲台２０１は、カメラ本体２００が所望の姿勢を取るように可動する。

なお、カメラＣは、任意の一台がマスターカメラＣ_ｍとして設定され、残りがスレーブカメラＣ_ｎとして設定される。このマスターカメラＣ_ｍ及びスレーブカメラＣ_ｎの詳細は、後記する。
また、マルチコプタ本体１００及びカメラ本体２００は、下記の参考文献１に記載されているため、これ以上の説明を省略する。
参考文献１：[online]，[平成２６年１１月１２日検索]，インターネット＜ＵＲＬ：http://www.dji.com/ja/product/phantom-2＞

図１に戻り、多視点ロボットカメラシステム１による多視点映像の撮影について説明する。
操作者９１は、マスターカメラＣ_ｍの画面中央で被写体９０を捉えるように、操作インターフェース部２０を操作して、マスターカメラＣ_ｍの位置及び姿勢を変える。また、マスターカメラＣ_ｍは、図３のように、その光軸Ｏｘに注視点Ｐが設定されている。そこで、操作者９１は、操作インターフェース部２０を操作して、マスターカメラＣ_ｍと注視点Ｐとの距離であるデプスを変更し、注視点Ｐと被写体９０とを一致させる。このとき、マスターカメラＣ_ｍは、マスターカメラＣ_ｍの位置、姿勢、ズーム値を計測し、計測したデータを制御装置１０に出力する。

制御装置１０は、マスターカメラＣ_ｍから入力されたデータを用いて、注視点Ｐの位置を算出し、算出した注視点Ｐの位置をスレーブカメラＣ_ｎに出力する。すると、各スレーブカメラＣ_ｎは、制御装置１０から入力された注視点Ｐの位置を用いて、適切な輻輳角を保つように、そのスレーブカメラＣ_ｎの位置を算出する。そして、各スレーブカメラＣ_ｎは、被写体９０を向いたときの姿勢を算出する。さらに、各スレーブカメラＣ_ｎは、算出した位置に移動し、算出した姿勢をとる。その後、マスターカメラＣ_ｍ及びスレーブカメラＣ_ｎは、被写体９０を撮影し、撮影した映像を出力する。

［マスターカメラの構成］
図４を参照し、マスターカメラＣ_ｍ、制御装置１０及びスレーブカメラＣ_ｎの構成について、順に説明する。
図４のように、マスターカメラＣ_ｍは、マルチコプタ制御部１１０と、カメラ制御部２１０とを備える。

マルチコプタ制御部１１０は、マスターカメラＣ_ｍのマルチコプタ本体１００を制御するものである。つまり、マルチコプタ制御部１１０は、操作インターフェース部２０から入力された操作情報（位置の制御信号）に従ってプロペラ１０２を回転させ、マスターカメラＣ_ｍを移動させる。

ここで、マスターカメラＣ_ｍは、その姿勢及び位置を計測するために、ＧＰＳ、加速度センサ等の位置計測手段（不図示）を備える。そして、マルチコプタ制御部１１０は、位置計測手段で計測された姿勢及び位置を制御装置１０に出力する。

カメラ制御部２１０は、マスターカメラＣ_ｍのカメラ本体２００を制御するものである。つまり、カメラ制御部２１０は、操作インターフェース部２０から入力された操作情報（姿勢の制御信号）に従って、カメラ本体２００が注視点Ｐを向くように雲台２０１を駆動する。さらに、カメラ制御部２１０は、操作インターフェース部２０から入力された操作情報（デプス及びズーム値の制御信号）に従って、カメラ本体２００のデプス及びズームを制御する。

ここで、マスターカメラＣ_ｍは、そのズーム値をカメラ本体２００が計測する。そして、カメラ制御部２１０は、計測されたズーム値を、制御装置１０に出力する。

なお、本実施形態では、マルチコプタ制御部１１０及びカメラ制御部２１０は、マスターカメラＣ_ｍが常に水平を保つように、その位置及び姿勢を制御することとする。

［制御装置の構成］
制御装置１０は、注視点算出部１２と、球体設定部１４、カメラパス設定部１６とを備える。
注視点算出部１２は、マスターカメラＣ_ｍから入力された位置及び姿勢と、操作インターフェース部２０から入力されたデプスとを用いて、注視点Ｐの位置を算出するものである。
注視点Ｐは、マスターカメラＣ_ｍの位置から、マスターカメラＣ_ｍの光軸Ｏｘに向かって、デプスが示す距離にある（図３参照）。

ここで、スレーブカメラＣ_ｎの並進ベクトルをＴ_ｎ、回転行列をＲ_ｎ、添え字ｎをスレーブカメラＣ_ｎのカメラ番号１〜Ｎとする（但し、Ｎは１を超える自然数）。このとき、世界座標系Ｗとカメラ座標系Ｗ_ｎとの関係は、以下の式（１）で表される。

この場合、注視点Ｐの位置（世界座標）は、以下の式（２）〜式（４）で表わされる。なお、γが姿勢を表す行列の一成分を表し、Ｏｐｔａｘｉｓ_ｍがマスターカメラＣ_ｍの光軸を表し、Ｔ_ｍがマスターカメラＣ_ｍの並進ベクトルを表し、Ｄｅｐｔｈがデプスを表す。
なお、式（４）の左辺Ｐは、注視点の位置を表す。

この姿勢を表す行列の一成分γ及びマスターカメラＣ_ｍの光軸Ｏｐｔａｘｉｓ_ｍは、マスターカメラＣ_ｍの姿勢から求められる。また、マスターカメラＣ_ｍの並進ベクトルＴ_ｍは、マスターカメラＣ_ｍの位置から求められる。つまり、注視点算出部１２は、式（２）〜式（４）を用いて、注視点Ｐの位置（世界座標）を算出する。

その後、注視点算出部１２は、算出した注視点Ｐの位置と、入力されたデプス及びズーム値とを、スレーブカメラＣ_ｎに出力する。また、注視点算出部１２は、注視点Ｐの位置及びデプスを球体設定部１４に出力する。

球体設定部１４は、図５のように、仮想球体Ｖｃを設定するものである。この仮想球体Ｖｃは、注視点算出部１２から入力された注視点Ｐが仮想球体Ｖｃの中心となり、注視点算出部１２から入力されたデプスが仮想球体Ｖｃの半径ｒとなる。そして、球体設定部１４は、設定した仮想球体Ｖｃの情報をカメラパス設定部１６に出力する。
なお、図５では、半径ｒが水平方向及び垂直方向で異なるように図示したが、実際には半径ｒが同じ長さとなる。

カメラパス設定部１６は、球体設定部１４から入力された仮想球体Ｖｃの情報を参照し、カメラパスを仮想球体Ｖｃの上に予め設定するものである。例えば、操作者９１は、図示を省略したマウス、キーボード等の入力インターフェースを操作して、カメラパスをカメラパス設定部１６に入力（設定）する。そして、カメラパス設定部１６は、設定されたカメラパス及び仮想球体Ｖｃの情報をスレーブカメラＣ_ｎに出力する。

このカメラパスは、スレーブカメラＣ_ｎを配置する経路を表す。また、カメラパスは、仮想球体Ｖｃの上であって、マスターカメラＣ_ｍの位置を通過する必要がある。つまり、マスターカメラＣ_ｍ及びスレーブカメラＣ_ｎは、カメラパスの上に配置される。言い換えるなら、カメラパスは、多視点映像で視点を回り込ませる軌跡を表す。例えば、“ぐるっとビジョン”の場合、カメラパスは、地上からの高度が一定で、被写体９０の正面から側面に回り込む円弧状に設定される。
なお、カメラパスは、直線、曲線など任意に設定できる。

［スレーブカメラの構成］
スレーブカメラＣ_ｎは、位置算出部１２０と、マルチコプタ制御部１３０と、姿勢算出部２２０と、カメラ制御部２３０と、ズーム値算出部２４０とを備える。

＜位置算出部の構成＞
図６を参照し、位置算出部１２０の構成について説明する（適宜図４参照）。
図６のように、位置算出部１２０は、スレーブカメラＣ_ｎの位置を算出するものであり、円錐設定部１２２と、交点算出部１２４とを備える。

円錐設定部１２２は、注視点算出部１２から入力された注視点Ｐ及びデプスを参照し、後記する仮想第１円錐及び仮想第２円錐を設定するものである。そして、円錐設定部１２２は、設定した仮想第１円錐及び仮想第２円錐の情報を交点算出部１２４に出力する。

交点算出部１２４は、円錐設定部１２２から入力された仮想第１円錐及び仮想第２円錐の情報と、カメラパス設定部１６から入力されたカメラパス及び仮想球体Ｖｃの情報とを参照し、交点の位置をスレーブカメラＣ_ｎの位置として算出するものである。そして、交点算出部１２４は、算出したスレーブカメラＣ_ｎの位置をマルチコプタ制御部１３０に出力する。

＜＜スレーブカメラの位置算出＞＞
図５〜図８を参照し、位置算出部１２０におけるスレーブカメラＣ_ｎの位置算出について、説明する。

円錐設定部１２２は、図５のような仮想第１円錐Ａを設定する。
仮想第１円錐Ａは、注視点Ｐが頂点となり、注視点ＰからマスターカメラＣ_ｍまでが母線となり、母線と側面とのなす角θが輻輳角となる。ここで、円錐設定部１２２は、アプリケーションに応じて、任意の値で輻輳角θが予め設定される。例えば、“ぐるっとビジョン”の場合、輻輳角θが１０度に設定される。
その後、円錐設定部１２２は、設定した仮想第１円錐Ａの情報と、仮想球体Ｖｃの情報とを交点算出部１２４に出力する。

交点算出部１２４は、円錐設定部１２２から入力された仮想第１円錐Ａの側面と、仮想球体Ｖｃとが交わる円Ｂを求める。そして、交点算出部１２４は、カメラパスＤと円Ｂとの交点Ｘ_１，Ｘ_２のそれぞれを、スレーブカメラＣ_１，Ｃ_２の位置として算出する。その後、交点算出部１２４は、算出した交点Ｘ_１，Ｘ_２を円錐設定部１２２に出力する。

図７のように、円錐設定部１２２は、交点算出部１２４から入力された交点Ｘ_１，Ｘ_２を用いて、仮想第２円錐Ｅ_１，Ｅ_２を設定する。
仮想第２円錐Ｅ_１は、注視点Ｐが頂点となり、注視点Ｐから交点Ｘ_１までが母線となり、母線と側面とのなす角が輻輳角θとなる。また、仮想第２円錐Ｅ_２は、注視点Ｐから交点Ｘ_２までが母線となる以外、仮想第２円錐Ｅ_１と同様である。
その後、円錐設定部１２２は、設定した仮想第２円錐Ｅ_１，Ｅ_２の情報を交点算出部１２４に出力する。

なお、図５，図７では、輻輳角θが異なるように図示したが、実際には輻輳角θが同一角度である（図８も同様）。また、図７では、仮想第２円錐Ｅ_１，Ｅ_２の母線及び底面が直交していないように図示したが、実際には母線及び底面が直交する（図８も同様）。

交点算出部１２４は、円錐設定部１２２から入力された仮想第２円錐Ｅ_１の側面と、仮想球体Ｖｃとが交わる新たな円Ｆ_１を求める。ここで、カメラパスＤと新たな円Ｆ_１とが２点で交わるが、そのうち一点が既にマスターカメラＣ_ｍの位置となっている。従って、交点算出部１２４は、カメラパスＤと新たな円Ｆ_１との２つの交点のうち、マスターカメラＣ_ｍから離れた側の交点Ｘ_３を、スレーブカメラＣ_３の位置として算出する。さらに、交点算出部１２４は、交点Ｘ_３と同様、交点Ｘ_４をスレーブカメラＣ_４の位置として算出する。その後、交点算出部１２４は、算出した交点Ｘ_３，Ｘ_４を円錐設定部１２２に出力する。

図８のように、円錐設定部１２２は、交点算出部１２４から入力された交点Ｘ_３，Ｘ_４を用いて、仮想第２円錐Ｅ_３，Ｅ_４を設定する。
仮想第２円錐Ｅ_３は、注視点Ｐが頂点となり、注視点Ｐから交点Ｘ_３までが母線となり、母線と側面とのなす角が輻輳角θとなる。また、仮想第２円錐Ｅ_４は、注視点Ｐから交点Ｘ_４までが母線となる以外、仮想第２円錐Ｅ_３と同様である。
その後、円錐設定部１２２は、設定した仮想第２円錐Ｅ_３，Ｅ_４の情報を交点算出部１２４に出力する。

交点算出部１２４は、円錐設定部１２２から入力された仮想第２円錐Ｅ_３の側面と、仮想球体Ｖｃとが交わる新たな円Ｆ_３を求める。ここで、カメラパスＤと新たな円Ｆ_３とが２点で交わるが、マスターカメラＣ_ｍに近い側の交点Ｘ_１が既にスレーブカメラＣ_１の位置として算出されている。さらに、マスターカメラＣ_ｍから離れた側には、交点が存在しない。以上より、交点算出部１２４は、交点Ｘ_１〜Ｘ_４をスレーブカメラＣ_１〜Ｃ_４の位置として算出し、これ以上の交点を算出しない。

なお、本実施形態では、スレーブカメラＣ_ｎのそれぞれが交点算出部１２４を備え、交点算出部１２４が個別に交点Ｘ_ｎを算出している。従って、各スレーブカメラＣ_ｎの間では、交点算出部１２４が算出した位置の重複を防止する必要がある。そこで、各スレーブカメラＣ_ｎには、一意となるカメラ番号ｎを予め割り当てておく。そして、交点算出部１２４は、割り当てられたカメラ番号ｎの交点Ｘ_ｎを、スレーブカメラＣ_ｎの位置として、マルチコプタ制御部１３０及び姿勢算出部２２０に出力すればよい。例えば、カメラ番号ｎ＝２のスレーブカメラＣ_２であれば、交点算出部１２４は、交点Ｘ_２をスレーブカメラＣ_２の位置として出力する。

図４に戻り、スレーブカメラＣ_ｎの構成について、説明を続ける（適宜図６参照）。
マルチコプタ制御部１３０は、スレーブカメラＣ_ｎのマルチコプタ本体１００を制御するものである。つまり、マルチコプタ制御部１３０は、交点算出部１２４から入力された位置に、スレーブカメラＣ_ｎを移動させる。

姿勢算出部２２０は、交点算出部１２４から入力されたスレーブカメラＣ_ｎの位置で、注視点算出部１２から入力された注視点Ｐを向いた方向を、スレーブカメラＣ_ｎの姿勢として算出するものである。

ここで、姿勢算出部２２０は、以下の式（５）〜式（８）を用いて、スレーブカメラＣ_ｎが注視点Ｐに向いたときの姿勢Ｒ´_ｎを算出する。図９のように、スレーブカメラＣ_ｎの姿勢Ｒ´_ｎは、スレーブカメラＣ_ｎの位置Ｘ_ｎを始点とした、３本の単位ベクトルｅ_ｎｘ，ｅ_ｎｙ，ｅ_ｎｚで表すことができる。
なお、ｖは、地面ＧＮＤに垂直な単位ベクトルである。

そして、姿勢算出部２２０は、算出したスレーブカメラＣ_ｎの姿勢Ｒ´_ｎを、カメラ制御部２３０に出力する。

カメラ制御部２３０は、スレーブカメラＣ_ｎのカメラ本体２００を制御するものである。つまり、カメラ制御部２３０は、姿勢算出部２２０から入力された姿勢Ｒ´_ｎとなり、スレーブカメラＣ_ｎが注視点Ｐを向くように制御する。さらに、カメラ制御部２３０は、後記するズーム値算出部２４０からズーム値が入力された場合、そのズーム値で撮影を行うようにスレーブカメラＣ_ｎを制御する。

ズーム値算出部２４０は、マスターカメラＣ_ｍで撮影した映像の被写体９０と、新たな位置のスレーブカメラＣ_ｎで撮影した映像の被写体９０とが同じ大きさとなるように、スレーブカメラＣ_ｎのズーム値を算出するものである。

＜ズーム値の算出＞
図１０を参照し、ズーム値算出部２４０によるズーム値の算出について、説明する（適宜図４，図６参照）。

例えば、多視点ロボットカメラシステム１では、スレーブカメラＣ_ｎが被写体９０やステージ等の障害物に衝突することを防止したい。そこで、多視点ロボットカメラシステム１では、スレーブカメラＣ_ｎが移動できない区域である移動禁止区域９２の設定を検討する。

ここで、あるスレーブカメラＣ_ｎを移動禁止区域９２の外に移動させた場合、被写体９０までの距離が遠くなる。この場合、あるスレーブカメラＣ_ｎの映像に含まれる被写体９０の大きさが、マスターカメラＣ_ｍや他のスレーブカメラＣ_ｎの映像に含まれる被写体９０の大きさと比べて、異なることがある。この状態で多視点映像を生成すると、視点が切り替わる途中で被写体９０の大きさが変化し、視聴者に違和感を与えることがある。これを防止すべく、多視点ロボットカメラシステム１では、移動禁止区域９２の外にスレーブカメラＣ_ｎを移動させた場合、ズームを調整する。

まず、交点算出部１２４には、移動禁止区域９２を予め設定する。図１０の例では、移動禁止区域９２は、ステージと同じ幅及び奥行きで、被写体９０の身長と同じ高さの直方体に設定されている。次に、交点算出部１２４は、算出したスレーブカメラＣ_ｎの位置Ｘ_ｎが移動禁止区域９２に含まれるか否かを判定する。そして、交点算出部１２４は、スレーブカメラＣ_ｎの位置Ｘ_ｎが移動禁止区域９２に含まれる場合、スレーブカメラＣ_ｎの新たな位置Ｘ´_ｎを算出する。その後、交点算出部１２４は、位置Ｘ_ｎ，Ｘ´_ｎをズーム値算出部２４０に出力すると共に、ズーム値の算出をズーム値算出部２４０に指令する（ズーム値算出指令）。

ここで、新たな位置Ｘ´_ｎは、スレーブカメラＣ_ｎの位置Ｘ_ｎと注視点Ｐとを結ぶ仮想線Ｈの上であって移動禁止区域９２の外であればよい。さらに、新たな位置Ｘ´_ｎは、仮想線Ｈの上で移動禁止区域９２に隣接させてもよい。

ズーム値算出部２４０は、交点算出部１２４からズーム値算出指令が入力された場合、以下の式（９）を用いて、スレーブカメラＣ_ｎのズーム値ｆ_ｎを算出する。具体的には、ズーム値算出部２４０は、注視点算出部１２から入力された注視点Ｐ及びズーム値ｆ_ｍと、交点算出部１２４から入力された位置Ｘ_ｎ，Ｘ´_ｎとを式（９）に代入し、ズーム値ｆ_ｎを算出する。その後、ズーム値算出部２４０は、算出したズーム値ｆ_ｎをカメラ制御部２３０に出力する。

［多視点ロボットカメラシステムの動作］
図１１を参照し、多視点ロボットカメラシステム１の動作について、説明する（適宜図１，図４，図６参照）。

操作者９１は、マスターカメラＣ_ｍの画面中央で被写体９０を捉えるように、操作インターフェース部２０を操作する。操作者９１の操作に応じて、操作インターフェース部２０は、操作情報を生成し、生成した操作情報をマスターカメラＣ_ｍに出力する。すると、マスターカメラＣ_ｍは、入力され操作情報に応じて、マスターカメラＣ_ｍの位置、姿勢及びデプスを変える（ステップＳ１）。

注視点算出部１２は、マスターカメラＣ_ｍの位置及び姿勢と、操作インターフェース部２０で操作されたデプスとを用いて、注視点Ｐの位置を算出する（ステップＳ２）。
球体設定部１４は、ステップＳ２で算出した注視点Ｐが中心となり、デプスが半径となる仮想球体Ｖｃを設定する（ステップＳ３）。
操作者９１は、カメラパス設定部１６に対して、ステップＳ３で設定された仮想球体Ｖｃの上にカメラパスを設定する（ステップＳ４）。

円錐設定部１２２は、仮想円錐（仮想第１円錐及び仮想第２円錐）を設定する（ステップＳ５）。
交点算出部１２４は、ステップＳ５で設定した仮想円錐の側面と、ステップＳ３で設定した仮想球体Ｖｃとが交わる円を求める。そして、交点算出部１２４は、ステップＳ４で設定したカメラパスと円との交点を、スレーブカメラＣ_ｎの位置として算出する（ステップＳ６）。
なお、ステップＳ５，Ｓ６の処理は、カメラパスと円との交点が無くなるまで繰り返す。

姿勢算出部２２０は、ステップＳ６で算出したスレーブカメラＣ_ｎの位置で、ステップＳ２で算出した注視点Ｐを向いた方向を、スレーブカメラＣ_ｎの姿勢として算出する（ステップＳ７）。

マルチコプタ制御部１３０は、ステップＳ６で算出した位置にスレーブカメラＣ_ｎを移動させる。
カメラ制御部２３０は、ステップＳ７で算出した姿勢Ｒ´_ｎとなるように、スレーブカメラＣ_ｎを制御する（ステップＳ８）。

以上のように、本願発明の第１実施形態に係る多視点ロボットカメラシステム１は、仮想第１円錐及び仮想第２円錐の側面上にスレーブカメラＣ_ｎを配置することで、被写体９０が移動した場合でも適切な輻輳角を保ち、高品質な多視点映像表現を実現することができる。さらに、多視点ロボットカメラシステム１は、ロボットカメラを手動で再配置する必要がないので、多視点映像を撮影する手間を大幅に軽減することができる。さらに、多視点ロボットカメラシステム１は、カメラＣが空中に位置するので、その設置スペースを抑えることができる。

（第２実施形態）
図１２を参照し、本願発明の第２実施形態に係る多視点ロボットカメラシステム１Ｂについて、第１実施形態と異なる点を説明する。
多視点ロボットカメラシステム１Ｂは、スレーブカメラＣＢ_ｎの位置、姿勢及びズーム値を制御装置１０Ｂで算出する点が、第１実施形態と異なる。
図１２のように、多視点ロボットカメラシステム１Ｂは、制御装置１０Ｂと、操作インターフェース部２０と、マスターカメラＣ_ｍと、スレーブカメラＣＢ_ｎとを備える。

［制御装置の構成］
制御装置１０Ｂは、注視点算出部１２と、球体設定部１４と、カメラパス設定部１６と、位置算出部１２０Ｂと、姿勢算出部２２０Ｂと、ズーム値算出部２４０Ｂとを備える。
位置算出部１２０Ｂは、図４の位置算出部１２０と同様の手法で、全てのスレーブカメラＣＢ_ｎの位置を算出する。そして、位置算出部１２０Ｂは、各スレーブカメラＣＢ_ｎにその位置を出力する。
なお、姿勢算出部２２０Ｂ及びズーム値算出部２４０Ｂは、図４の各手段と同様のため、説明を省略する。

［スレーブカメラの構成］
スレーブカメラＣＢ_ｎは、マルチコプタ制御部１３０と、カメラ制御部２３０とを備える。つまり、スレーブカメラＣＢ_ｎは、図４のスレーブカメラＣ_ｎから位置算出部１２０、姿勢算出部２２０及びズーム値算出部２４０を除いたものであるため、これ以上の説明を省略する。

以上のように、本願発明の第２実施形態に係る多視点ロボットカメラシステム１Ｂは、第１実施形態と同様、高品質な多視点映像表現を実現し、多視点映像を撮影する手間を大幅に軽減し、設置スペースを抑えることができる。さらに、多視点ロボットカメラシステム１Ｂは、スレーブカメラＣＢ_ｎの位置、姿勢及びズーム値を算出する機能を制御装置１０Ｂに集約できるため、スレーブカメラＣＢ_ｎを簡易な構成にできる。

以上、本願発明の各実施形態を詳述してきたが、本願発明は前記した実施形態に限られるものではなく、本願発明の要旨を逸脱しない範囲の設計変更等も含まれる。

マルチコプタ本体１００の構造（例えば、筐体１０１の形状、プロペラ１０２の数）は、前記した各実施形態に限定されない。つまり、マルチコプタ本体１００は、カメラ本体２００を搭載又は内蔵し、飛行可能なものであればよい。

前記した各実施形態では、マスターカメラＣ_ｍがマルチコプタ型のロボットカメラであることとして説明したが、一般的な撮影カメラであってもよい。例えば、マスターカメラＣ_ｍとして、三脚に搭載される撮影カメラ、又は、カメラマンの肩に担がれる撮影カメラがあげられる。

前記した各実施形態では、操作インターフェース部２０でマスターカメラＣ_ｍの位置、姿勢及びズームを操作することとして説明したが、マスターカメラＣ_ｍのフォーカス及びアイリスも操作可能としてもよい。さらに、マスターカメラＣ_ｍのフォーカス及びアイリスは、自動で調整してもよい。

前記した各実施形態では、操作インターフェース部２０が制御装置１０から独立したものとして説明したが、制御装置１０が操作インターフェース部２０の機能を備えてもよい。
前記した各実施形態では、移動体がマルチコプタであることとして説明したが、これに限定されない。例えば、移動体として、ラジオコントロール型のヘリコプタ（ラジコンヘリコプタ）があげられる。

前記した各実施形態では、位置計測手段がマスターカメラＣ_ｍの姿勢を計測することとして説明したが、これに限定されない。例えば、制御装置１０は、雲台２０１で計測されたパン角やチルト角をマスターカメラＣ_ｍの姿勢として利用してもよい。

１ 多視点ロボットカメラシステム（カメラ制御装置）
１Ｂ 多視点ロボットカメラシステム
１０ 制御装置
１０Ｂ 制御装置（カメラ制御装置）
１２ 注視点算出部
１４ 球体設定部
１６ カメラパス設定部
２０ 操作インターフェース部
９０ 被写体
１００ マルチコプタ本体（移動体、マルチコプタ）
１０１ 筐体
１０２ プロペラ
１０３ 脚部
１１０ マルチコプタ制御部
１２０，１２０Ｂ 位置算出部
１２２ 円錐設定部
１２４ 交点算出部
１３０ マルチコプタ制御部
２００ カメラ本体
２０１ 雲台
２１０ カメラ制御部
２２０，２２０Ｂ 姿勢算出部
２３０，２３０Ｂ カメラ制御部
２４０，２４０Ｂズーム値算出部
Ｃ カメラ（ロボットカメラ）
Ｃ_ｍ マスターカメラ
Ｃ_ｎ，ＣＢ_ｎ スレーブカメラ

Claims (5)

1. 移動体に搭載されて空間内を自在に移動可能なロボットカメラを複数台用いて多視点映像を撮影するために、前記ロボットカメラの位置及び姿勢を算出するカメラ制御装置であって、
   前記ロボットカメラ又は撮影カメラのうち予め設定された１台のマスターカメラで計測された位置及び姿勢と、前記マスターカメラから被写体までの距離であるデプスとが入力され、入力された前記マスターカメラの位置から前記マスターカメラの光軸方向で前記デプスが示す距離にある注視点の位置を算出する注視点算出部と、
   前記注視点が中心、かつ、前記デプスが半径となる仮想球体を設定する球体設定部と、
   前記仮想球体上における前記マスターカメラの位置を通過するように、前記マスターカメラ以外のロボットカメラであるスレーブカメラが配置されるカメラパスを、前記仮想球体上に予め設定するカメラパス設定部と、
   前記注視点が頂点、かつ、前記注視点から前記マスターカメラの位置までが母線、かつ、前記母線と側面とのなす角が予め設定した輻輳角となる仮想第１円錐を設定する円錐設定部と、
   前記仮想第１円錐の側面と前記仮想球体とが交わる円を求め、前記カメラパスと当該円との交点を、前記スレーブカメラの位置として算出する交点算出部と、
   前記スレーブカメラの位置で前記注視点を向いた方向を前記スレーブカメラの姿勢として算出する姿勢算出部と、
   を備えることを特徴とするカメラ制御装置。
2. 前記円錐設定部は、前記注視点が頂点、かつ、前記注視点から前記交点までが母線、かつ、前記母線と側面とのなす角が前記輻輳角となる仮想第２円錐を設定し、
   前記交点算出部は、前記仮想第２円錐の側面と前記仮想球体とが交わる新たな円を求め、前記カメラパスと前記新たな円との交点を、他の前記スレーブカメラの位置として算出することを特徴とする請求項１に記載のカメラ制御装置。
3. 前記交点算出部は、算出した前記スレーブカメラの位置が予め設定された移動禁止区域に含まれるか否かを判定し、算出した前記スレーブカメラの位置が前記移動禁止区域に含まれる場合、算出した前記スレーブカメラの位置と前記注視点とを結ぶ仮想線上であって前記移動禁止区域の外を前記スレーブカメラの新たな位置として算出し、
   前記マスターカメラで撮影した映像の被写体と、新たな位置の前記スレーブカメラで撮影した映像の被写体とが同じ大きさとなるように、前記スレーブカメラのズーム値を算出するズーム値算出部、をさらに備えることを特徴とする請求項１又は請求項２に記載のカメラ制御装置。
4. 前記カメラ制御装置は、前記移動体として、複数のプロペラで前記空間内を移動可能なマルチコプタに搭載されたロボットカメラの位置及び姿勢を算出することを特徴とする請求項１から請求項３の何れか一項に記載のカメラ制御装置。
5. コンピュータを、請求項１から請求項４の何れか一項に記載のカメラ制御装置として機能させるためのカメラ制御プログラム。

Images