JP2020147105A - カメラ制御装置及びそのプログラム、並びに、多視点ロボットカメラシステム - Google Patents

Abstract

【課題】適切な輻輳角でロボットカメラを全天周状に配置できるカメラ制御装置を提供する。【解決手段】カメラ制御装置１０は、マスタードローンＣｍの注視点を算出する注視点算出部１１と、注視点が中心、かつ、デプスが半径となる仮想球体を生成する仮想球体生成部１２と、スレーブドローンＣｎの位置が仮想球体の球面上で予め設定される位置設定部１３と、スレーブドローンＣｎの位置で注視点を向いた方向をスレーブドローンＣｎの姿勢として算出する姿勢算出部１４と、を備える。【選択図】図４

Description

本発明は、多視点映像を撮影するためのカメラ制御装置及びそのプログラム、並びに、多視点ロボットカメラシステムに関する。

従来技術として、動く被写体をパンフォローした多視点映像を撮影する多視点ロボットカメラシステムが知られている（非特許文献１，２）。多視点ロボットカメラシステムは、複数台のロボットカメラを協調制御するシステムであり、1人のカメラマンの操作によって各ロボットカメラを空間中の被写体へ一斉に方向制御し、被写体の多視点映像を撮影する。例えば、多視点映像を用いて、被写体の３次元モデルを生成することができる。

この多視点ロボットカメラシステムでは、複数台のロボットカメラのうち、カメラマンが操作する１台のロボットカメラをマスターカメラとして設定し、マスターカメラ以外のロボットカメラをスレーブカメラとする。多視点ロボットカメラシステムでは、マスターカメラの光軸上に注視点を設定し、スレーブカメラが注視点を向くようにスレーブカメラを方向制御する。従って、カメラマンがマスターカメラを操作して注視点を被写体上に設定すると、各ロボットカメラが自動的に方向制御され、多視点映像を撮影することができる。

冨山仁博、岩舘祐一、「多視点ハイビジョン映像生成システムの開発」、映像情報メディア学会誌、６４、４、ｐｐ．６２２−６２８（２０１０） 「多視点ロボットカメラシステムを用いた映像制作」、兼六館出版「放送技術」、２０１３年６６巻１１月号、ｐｐ.１０２−１０５

多視点映像を撮影する場合、ロボットカメラを全天周状に配置することが好ましい。しかし、従来のロボットカメラは、基本的に地面に設置するものであり、全天周状に設置することが困難である。また、多視点映像を撮影する場合、隣り合うロボットカメラ同士の輻輳角を適切に保つことが好ましい。しかし、従来のロボットカメラは、設置位置が固定されている一方、被写体の移動により輻輳角が変化するため、適切な輻輳角を保つのが困難である。

なお、輻輳角とは、隣接するロボットカメラの光軸同士が交わる角度である。つまり、輻輳角は、あるロボットカメラと被写体とを結ぶ直線と、別のロボットカメラと被写体とを結ぶ直線とのなす角になる。

そこで、本発明は、適切な輻輳角でロボットカメラを全天周状に配置できるカメラ制御装置及びそのプログラム、並びに、多視点ロボットカメラシステムを提供することを課題とする。

前記した課題に鑑みて、本発明に係るカメラ制御装置は、空間内を自在に移動可能な移動体及び移動体に搭載された撮影カメラからなるロボットカメラを複数台用いて、多視点映像を撮影するためにロボットカメラの位置及び姿勢を制御するカメラ制御装置であって、注視点算出部と、仮想球体生成部と、位置設定部と、姿勢算出部と、を備える構成とした。

かかるカメラ制御装置は、注視点算出部が、ロボットカメラのうち予め設定された１台のマスターカメラの位置及び姿勢と、マスターカメラから被写体までの距離であるデプスとが入力される。そして、注視点算出部は、入力されたマスターカメラの位置からマスターカメラの光軸方向でデプスが示す距離にある注視点の位置を算出する。

仮想球体生成部が、注視点が中心、かつ、デプスが半径となる仮想球体を生成する。
位置設定部が、マスターカメラ以外のロボットカメラであるスレーブカメラの位置が仮想球体の球面上に予め設定される。これにより、ロボットカメラを、適切な輻輳角で全天周状に配置できる。
姿勢算出部が、スレーブカメラの位置で注視点を向いた方向をスレーブカメラの姿勢として算出する。

また、前記した課題に鑑みて、本発明に係るカメラ制御装置は、空間内を自在に移動可能な移動体及び移動体に搭載された撮影カメラからなるロボットカメラを複数台用いて、多視点映像を撮影するためにロボットカメラの位置及び姿勢を制御するカメラ制御装置であって、注視点算出部と、仮想球体生成部と、位置算出部と、姿勢算出部と、を備える構成とした。

かかるカメラ制御装置は、注視点算出部が、ロボットカメラのうち予め設定された１台のマスターカメラの位置及び姿勢と、マスターカメラから被写体までの距離であるデプスとが入力される。そして、注視点算出部は、入力されたマスターカメラの位置からマスターカメラの光軸方向でデプスが示す距離にある注視点の位置を算出する。

仮想球体生成部が、注視点が中心、かつ、デプスが半径となる仮想球体を生成する。
位置算出部が、複数の点を仮想球体上に分布させる球面分布処理により、仮想球体の球面上に位置する点の位置を、マスターカメラ以外のロボットカメラであるスレーブカメラの位置として算出する。これにより、ロボットカメラを、適切な輻輳角で全天周状に配置できる。
姿勢算出部が、スレーブカメラの位置で注視点を向いた方向をスレーブカメラの姿勢として算出する。

また、前記した課題に鑑みて、本発明に係る多視点ロボットカメラシステムは、複数台のロボットカメラと、本発明に係るカメラ制御装置とを備える多視点ロボットカメラシステムであって、ロボットカメラが、複数のプロペラにより空間内を自在に移動可能なマルチコプタと、マルチコプタに搭載された撮影カメラと、マルチコプタの位置を制御するマルチコプタ制御部と、撮影カメラの姿勢を制御するカメラ制御部と、を備える構成とした。

なお、本発明に係るカメラ制御装置は、コンピュータが備えるＣＰＵ、メモリ、ハードディスクなどのハードウェア資源を、前記した各手段として協調動作させるプログラムで実現することもできる。

本発明によれば、ロボットカメラを適切な輻輳角で全天周状に配置できるので、高品質な映像表現が可能となる多視点映像を撮影することができる。

第１実施形態に係る多視点ロボットカメラシステムの概略図である。 第１実施形態において、注視点の設定を説明する説明図である。 第１実施形態におけるドローンの外観図である。 第１実施形態に係る多視点ロボットカメラシステムの構成を示すブロック図である。 第１実施形態において、仮想球体の生成を説明する説明図である。 （ａ）及び（ｂ）は、第１実施形態において、スレーブドローンの位置を１次元方向に設定する説明図である。 第１実施形態において、スレーブドローンの位置を２次元方向に設定する説明図である。 第１実施形態において、スレーブドローンの姿勢の算出を説明する説明図である。 第１実施形態に係る多視点ロボットカメラシステムの動作を示すフローチャートである。 第２施形態に係る多視点ロボットカメラシステムの構成を示すブロック図である。 第２施形態において、仮想球体の生成を説明する説明図である。 第２施形態において、球面分布処理を説明する説明図である。 第２施形態に係る多視点ロボットカメラシステムの動作を示すフローチャートである。 第３形態に係る多視点ロボットカメラシステムの構成を示すブロック図である。 第３施形態に係る多視点ロボットカメラシステムの動作を示すフローチャートである。

（第１実施形態）
以下、本発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の手段及び同一の処理には同一の符号を付し、説明を省略した。

［多視点ロボットカメラシステムの概略］
図１を参照し、第１実施形態に係る多視点ロボットカメラシステム１の概略について、説明する。
多視点ロボットカメラシステム１は、空間内を自在に移動可能なドローン（ロボットカメラ）Ｃを複数台用いて、同一時刻の被写体９０を異なる視点で撮影した多視点映像を生成するものである。本実施形態では、多視点ロボットカメラシステム１は、ステージ上の歌手を被写体９０として、多視点映像を生成することとする。

この多視点ロボットカメラシステム１では、撮影カメラ２００（図２）を搭載している複数台のドローンＣを協調制御する。
複数台のドローンＣのうちカメラマンが操作する１台のドローンＣをマスタードローン（マスターカメラ）Ｃ_ｍとする。マスタードローンＣ_ｍの光軸上には注視点Ｐが設定される。マスタードローンＣ_ｍと注視点Ｐとの距離をデプスとし、デプスを操作することで注視点Ｐの位置をマスタードローンＣ_ｍの光軸上で移動させることができる。
マスタードローンＣ_ｍ以外のドローンＣをスレーブドローン（スレーブカメラ）Ｃ_ｎとする。スレーブドローンＣ_ｎの台数は、複数であればよく、例えば、多視点映像の数（視点数）と同数になる。なお、図面を見やすくするため、スレーブドローンＣ_ｎを２台（ｎ＝２）のみ図示した。

以下、多視点ロボットカメラシステム１による多視点映像の撮影について説明する。
操作者９１は、マスタードローンＣ_ｍの画面中央に被写体９０を捉えるように、操作インターフェース部２０を操作して、マスタードローンＣ_ｍの位置及び姿勢を変える。また、マスタードローンＣ_ｍは、図２に示すように、撮影カメラ２００の光軸Ｏｘに注視点Ｐが設定されている。そこで、操作者９１は、操作インターフェース部２０を操作して、マスタードローンＣ_ｍと注視点Ｐとの距離であるデプスを変更し、注視点Ｐと被写体９０とを一致させる。このとき、マスタードローンＣ_ｍは、マスタードローンＣ_ｍの位置及び姿勢を計測し、計測したデータをカメラ制御装置１０に出力する。

カメラ制御装置１０は、原点を注視点Ｐとし、半径をデプスとする仮想球体を空間中に生成する。また、仮想球体の上側半球面上にスレーブドローンＣ_ｎをどのように配置するかを設定しておく。そして、カメラ制御装置１０は、スレーブドローンＣ_ｎを適切な輻輳角で全天周状に配置できるように、仮想球体の上側半球面上でスレーブドローンＣ_ｎの位置及び姿勢を算出、制御する。なお、全天周状の配置とは、球面の一部にスレーブドローンＣ_ｎを配置することであり、例えば、球面の上側半分にスレーブドローンＣ_ｎを配置することである。

［多視点ロボットカメラシステムの構成］
図１〜図３を参照し、多視点ロボットカメラシステム１の構成について説明する。
図１に示すように、多視点ロボットカメラシステム１は、カメラ制御装置１０と、操作インターフェース部２０と、ドローンＣと、を備える。また、多視点ロボットカメラシステム１では、カメラ制御装置１０、操作インターフェース部２０及びドローンＣの間で無線通信を行うこととする。

カメラ制御装置１０は、多視点映像を撮影するために、スレーブドローンＣ_ｎの位置及び姿勢を制御するものである。例えば、被写体９０がステージ上を移動するため、輻輳角を保てるように、各スレーブドローンＣ_ｎの位置や姿勢を予め決めることが困難である。そこで、カメラ制御装置１０は、各スレーブドローンＣ_ｎが適切な輻輳角を保ち、各スレーブドローンＣ_ｎが全天周状に配置されるように、各スレーブドローンＣ_ｎの位置や姿勢を制御する。
なお、カメラ制御装置１０の詳細は、後記する。

操作インターフェース部２０は、マスタードローンＣ_ｍを操作するものである。例えば、操作インターフェース部２０は、マスタードローンＣ_ｍの位置、姿勢及びデプスを制御するためのスティックやレバーを有する。そして、操作インターフェース部２０は、操作者（カメラマン）９１の操作に応じて、操作情報（位置、姿勢及びデプスの制御信号）を生成し、生成した操作情報をマスタードローンＣ_ｍに出力する。さらに、操作インターフェース部２０は、操作者９１の操作に応じて、デプスをカメラ制御装置１０に出力する。

ドローンＣ（Ｃ_ｍ，Ｃ_ｎ）は、空間内を自在に移動可能なマルチコプタ本体（移動体）１００、及び、マルチコプタ本体１００に搭載された撮影カメラ２００からなるマルチコプタ型のロボットカメラである。図３に示すように、ドローンＣ（Ｃ_ｍ，Ｃ_ｎ）は、マルチコプタ本体（移動体）１００と、撮影カメラ２００とで構成される。

マルチコプタ本体１００は、腕が十字方向に延長された筐体１０１を有する。筐体１０１は、それぞれの腕先端部に回転モータ１１０（図４）が格納される。また、プロペラ１０２は、回転モータ１１０の回転軸先端に計４個取り付けられる。そして、マルチコプタ本体１００は、各プロペラ１０２の回転を制御することで、上下左右に自在に空中を移動できる。また、筐体１０１には、２本の脚部１０３が垂直に設けられている。脚部１０３は、撮影カメラ２００が着地面に接地しない高さを有し、撮影カメラ２００よりも広い幅を有する。このような構造により、脚部１０３は、安定した着地を可能にすると共に、撮影カメラ２００を保護している。
撮影カメラ２００は、雲台２０１を介して、マルチコプタ本体１００の下部に取り付けられる。雲台２０１は、撮影カメラ２００が所望の姿勢を取るように可動する。

なお、マルチコプタ本体１００及び撮影カメラ２００は、下記の参考文献１に記載されているため、これ以上の説明を省略する。また、マスタードローンＣ_ｍ及びスレーブドローンＣ_ｎに固有の構成は後記する。
参考文献１：[online]，[平成３１年１月２９日検索]，インターネット＜ＵＲＬ：http://www.dji.com/ja/product/phantom-2＞

［マスタードローンの構成］
図４を参照し、マスタードローンＣ_ｍ、カメラ制御装置１０及びスレーブドローンＣ_ｎの構成について順に説明する。
図４に示すように、マスタードローンＣ_ｍは、回転モータ１１０と、マルチコプタ制御部１２０と、撮影カメラ２００と、撮影カメラ制御部２１０とを備える。

回転モータ１１０は、後記するマルチコプタ制御部１２０からの指令に応じて、プロペラ１０２を回転させる一般的なモータである。この回転モータ１１０としては、例えば、ブラシレスＤＣモータをあげることができる。

マルチコプタ制御部１２０は、マスタードローンＣ_ｍのマルチコプタ本体１００を制御するものである。つまり、マルチコプタ制御部１２０は、操作インターフェース部２０から入力された操作情報（位置の制御信号）に従ってプロペラ１０２を回転させ、マスタードローンＣ_ｍを移動させる。本実施形態では、マルチコプタ制御部１２０は、マルチコプタ本体１００が常に水平を保つように、マスタードローンＣ_ｍ（マルチコプタ本体１００）を制御することとする。

なお、マスタードローンＣ_ｍは、マルチコプタ本体１００の位置を計測するために、ＧＰＳ、加速度センサ等の位置計測手段（不図示）を備える。そして、マルチコプタ制御部１２０は、位置計測手段で計測された位置をカメラ制御装置１０に出力する。

撮影カメラ２００は、被写体９０を撮影する一般的なビデオカメラである。また、撮影カメラ２００は、撮影した映像を外部（例えば、図示を省略した多視点映像生成装置）に出力する。

撮影カメラ制御部２１０は、マスタードローンＣ_ｍの撮影カメラ２００を制御するものである。つまり、撮影カメラ制御部２１０は、操作インターフェース部２０から入力された操作情報（姿勢の制御信号）に従って、撮影カメラ２００が注視点Ｐを向くように雲台２０１を駆動する。さらに、撮影カメラ制御部２１０は、操作インターフェース部２０から入力された操作情報（デプスの制御信号）に従って、撮影カメラ２００のデプスを制御する。

なお、マスタードローンＣ_ｍは、撮影カメラ２００の姿勢を計測するために、ロータリエンコーダ等の姿勢計測手段を備える。そして、撮影カメラ制御部２１０は、姿勢計測手段で計測された姿勢をカメラ制御装置１０に出力する。

［カメラ制御装置の構成］
図４に示すように、カメラ制御装置１０は、注視点算出部１１と、仮想球体生成部１２と、位置設定部１３と、姿勢算出部１４と、を備える。

注視点算出部１１は、マスタードローンＣ_ｍから入力された位置及び姿勢と、操作インターフェース部２０から入力されたデプスとを用いて、注視点Ｐの位置を算出するものである。注視点Ｐは、マスタードローンＣ_ｍの位置から、マスタードローンＣ_ｍの光軸Ｏｘに向かって、デプスが示す距離にある（図２参照）。

ここで、スレーブドローンＣ_ｎの並進ベクトルをＴ_ｎ、回転行列をＲ_ｎ、下付きの添え字ｎをスレーブドローンＣ_ｎのカメラ番号１〜Ｎとする（但し、Ｎは１を超える自然数）。このとき、世界座標系Ｗとカメラ座標系Ｗ_ｎとの関係は、以下の式（１）で表される。

この場合、注視点Ｐの位置（世界座標）は、以下の式（２）〜式（４）で表わされる。なお、ｒが姿勢を表す行列の一成分を表し、Ｏｐｔａｘｉｓ_ｍがマスタードローンＣ_ｍの光軸を表し、Ｔ_ｍがマスタードローンＣ_ｍの並進ベクトルを表し、Ｄｅｐｔｈがデプスを表す。また、式（４）の左辺は、注視点Ｐの位置を表す。

この姿勢を表す行列の一成分ｒ及びマスタードローンＣ_ｍの光軸Ｏｐｔａｘｉｓ_ｍは、マスタードローンＣ_ｍの姿勢から求められる。また、マスタードローンＣ_ｍの並進ベクトルＴ_ｍは、マスタードローンＣ_ｍの位置から求められる。つまり、注視点算出部１１は、式（２）〜式（４）を用いて、注視点Ｐの位置（世界座標）を算出できる。

その後、注視点算出部１１は、注視点Ｐの位置及びデプスを仮想球体生成部１２に出力する。

仮想球体生成部１２は、図５に示すように、仮想球体ＶＣを生成するものである。この仮想球体ＶＣは、注視点算出部１１から入力された注視点Ｐが仮想球体ＶＣの中心となり、注視点算出部１１から入力されたデプスが仮想球体ＶＣの半径ｌとなる。そして、仮想球体生成部１２は、生成した仮想球体ＶＣの情報を位置設定部１３に出力する。
なお、図５では、マスタードローンＣ_ｍが被写体９０の真上に位置し、撮影カメラ２００が真下の被写体９０を向いている。このマスタードローンＣ_ｍから見たときの水平方向をｘ軸、垂直方向をｙ軸、奥行き方向をｚ軸として図示した。つまり、マスタードローンＣ_ｍの光軸方向がｚ軸方向となる。

位置設定部１３は、仮想球体生成部１２から入力された仮想球体ＶＣの情報を参照し、仮想球体ＶＣ上において、スレーブドローンＣ_ｎの位置が予め設定されるものである。例えば、操作者９１は、図示を省略したマウス、キーボード等の操作手段を操作して、スレーブドローンＣ_ｎの位置を位置設定部１３に入力（設定）する。このとき、隣接するスレーブドローンＣ_ｎが等間隔となるように、スレーブドローンＣ_ｎの位置を仮想球体ＶＣの上側半分の表面上に設定するとよい。

例えば、位置設定部１３では、スレーブドローンＣ_ｎの位置を１次元方向に設定する。図６（ａ）に示すように、マスタードローンＣ_ｍが被写体９０の真上に位置する場合を考える。この場合、図６（ｂ）に示すように、各スレーブドローンＣ_ｎの位置は、仮想球体ＶＣの表面上であって、ｙ−ｚ平面上で１次元方向に１４個設定されている。
なお、ｚ軸を水平方向に設定し、各スレーブドローンＣ_ｎを水平方向に配置することもできる。

また、例えば、位置設定部１３では、スレーブドローンＣ_ｎの位置を２次元方向に設定する。マスタードローンＣ_ｍが被写体９０の真上に位置する場合を考える。この場合、図７に示すように、各スレーブドローンＣ_ｎの位置は、仮想球体ＶＣの表面上であって、ｘ軸方向及びｙ軸方向で整列するように２次元方向に３６個設定されている。

なお、図６及び図７では、各スレーブドローンＣ_ｎの位置を黒丸で図示した。また、図６（ｂ）は、図６（ａ）の仮想球体ＶＣをｚ軸方向から見た図である。また、図６（ｂ）及び図７では、仮想球体ＶＣの表面上に位置するため、各点の等間隔がｚ軸から離れるほど狭くなるように図示した。
また、図６（ｂ）及び図７では、スレーブドローンＣ_ｎの位置をそれぞれ１４個、３６個図示したが、実際には、スレーブドローンＣ_ｎの位置はその台数分だけ設定すればよい。

その後、位置設定部１３は、設定されたスレーブドローンＣ_ｎの位置及び仮想球体ＶＣの情報を姿勢算出部１４に出力する。

姿勢算出部１４は、位置設定部１３から入力されたスレーブドローンＣ_ｎの位置で注視点Ｐを向いた方向をスレーブドローンＣ_ｎの姿勢として算出するものである。そして、姿勢算出部１４は、スレーブドローンＣ_ｎの位置及び姿勢をスレーブドローンＣ_ｎ（マルチコプタ制御部１３０及び撮影カメラ制御部２２０）に出力する。

＜スレーブドローンの姿勢算出＞
図８を参照し、スレーブドローンＣ_ｎの姿勢算出について、具体的に説明する。
図８に示すように、スレーブドローンＣ_ｎの位置が（ｌ_ｎ，θ_ｎ，φ_ｎ）であることとする。ここで、ｌ_ｎは、注視点ＰからスレーブドローンＣ_ｎまでの距離、つまり、仮想球体ＶＣの半径ｌを表す。また、θ_ｎは、ｘ−ｚ平面上において、ｚ軸を基準としたスレーブドローンＣ_ｎの角度（緯度）を表す。また、φ_ｎは、ｘ−ｙ平面上において、ｙ軸を基準としたスレーブドローンＣ_ｎの角度（経度）を表す。

マスタードローンＣ_ｍのカメラ座標系において、スレーブドローンＣ_ｎの位置ｘ_ｎへの変換は、以下の式（５）で表される。式（５）では、球面座標系におけるスレーブドローンＣ_ｎの位置（ｌ_ｎ，θ_ｎ，φ_ｎ）を、カメラ座標系におけるスレーブドローンＣ_ｎの位置ｘ_ｎに変換する。このカメラ座標系は、マスタードローンＣ_ｍの位置を原点とする。すなわち、球面座標系におけるスレーブドローンＣ_ｎの位置（ｌ_ｎ，θ_ｎ，φ_ｎ）をカメラ座標系（直交直線座標）に変換し、マスタードローンＣ_ｍの光軸方向にデプスだけ平行移動させる。このとき、カメラ座標系における注視点ｐの位置は、以下の式（６）で表される。

マスタードローンＣ_ｍの位置をｔ_ｍ、マスタードローンＣ_ｍの姿勢をＲ_ｍとする。世界座標系において、スレーブドローンＣ_ｎの位置Ｘ_ｎへの変換は、以下の式（７）で表される。つまり、式（７）を用いて、カメラ座標系におけるスレーブドローンＣ_ｎの位置ｘ_ｎを、世界座標系におけるスレーブドローンＣ_ｎの位置Ｘ_ｎに変換する。このとき、世界座標系における注視点Ｐの位置は、以下の式（８）で表される。

スレーブドローンＣ_ｎの姿勢Ｒ_ｎは、スレーブドローンＣ_ｎの位置Ｘ_ｎで注視点Ｐを向いた方向となり、以下の式（９）及び式（１０）で表される。ここで、ｖは、地面と垂直のベクトルを表す。

以上より、姿勢算出部１４は、式（５）〜式（１０）を用いて、スレーブドローンＣ_ｎの姿勢を算出する。そして、姿勢算出部１４は、スレーブドローンＣ_ｎが位置Ｘ_ｎで姿勢Ｒ_ｎを取るように制御すればよい。

［スレーブドローンの構成］
図４に示すように、スレーブドローンＣ_ｎは、回転モータ１１０と、マルチコプタ制御部１３０と、撮影カメラ２００と、撮影カメラ制御部２２０とを備える。
なお、回転モータ１１０及び撮影カメラ２００は、マスタードローンＣ_ｍと同様のため、これ以上の説明を省略する。

マルチコプタ制御部１３０は、スレーブドローンＣ_ｎのマルチコプタ本体１００を制御するものである。つまり、マルチコプタ制御部１３０は、姿勢算出部１４から入力された位置ｘ_ｎにスレーブドローンＣ_ｎを移動させる。

撮影カメラ制御部２２０は、スレーブドローンＣ_ｎの撮影カメラ２００を制御するものである。つまり、撮影カメラ制御部２２０は、撮影カメラ２００が姿勢算出部１４から入力された姿勢Ｒ_ｎを取るように、雲台２０１を駆動する。
このようにして、スレーブドローンＣ_ｎが位置ｘ_ｎに移動し、撮影カメラ２００が注視点Ｐを向くことになる。

［多視点ロボットカメラシステムの動作］
図９を参照し、多視点ロボットカメラシステム１の動作について説明する。
ステップＳ１において、カメラマンは、操作インターフェース部２０を操作し、マスタードローンＣ_ｍの位置及び姿勢を制御する。
ステップＳ２において、カメラマンは、操作インターフェース部２０を操作し、マスタードローンＣ_ｍのデプスを制御する。

ステップＳ３において、注視点算出部１１は、マスタードローンＣ_ｍの位置と姿勢とデプスとを用いて、注視点Ｐの位置を算出する。そして、仮想球体生成部１２は、注視点Ｐが中心となり、デプスが半径となる仮想球体ＶＣを生成する。
ステップＳ４において、位置設定部１３は、スレーブドローンＣ_ｎの位置を仮想球体ＶＣ上に設定する。
ステップＳ５において、姿勢算出部１４は、式（５）を用いて、球面座標系からカメラ座標系にスレーブドローンＣ_ｎの位置を変換する。

ステップＳ６において、姿勢算出部１４は、式（７）を用いて、カメラ座標系におけるスレーブドローンＣ_ｎの位置ｘ_ｎを、世界座標系におけるスレーブドローンＣ_ｎの位置Ｘ_ｎに変換する。
ステップＳ７において、姿勢算出部１４は、式（９）及び式（１０）を用いて、スレーブドローンＣ_ｎの姿勢Ｒ_ｎを算出し、スレーブドローンＣ_ｎを制御する。

ステップＳ８において、カメラ制御装置１０は、多視点映像の撮影が完了したか否かを判定する。例えば、カメラマンが、操作インターフェース部２０を用いて、撮影完了をカメラ制御装置１０に指令した場合、カメラ制御装置１０は、多視点映像の撮影が完了したと判定する。
多視点映像の撮影が完了した場合（ステップＳ８でＹｅｓ）、カメラ制御装置１０は、処理を終了する。
多視点映像の撮影が完了していない場合（ステップＳ８でＮｏ）、カメラ制御装置１０は、ステップＳ２の処理に戻る。

［作用・効果］
以上のように、多視点ロボットカメラシステム１は、ドローンＣを適切な輻輳角で全天周状に配置できるので、高品質な映像表現が可能となる多視点映像を撮影することができる。例えば、この多視点映像を用いれば、被写体の周囲を滑らかに視点が回り込むような映像表現において、その品質を向上させることができる（参考文献２参照）。
参考文献２：「小多視点ロボットカメラによる「ぐるっとビジョン」を用いた新しい映像表現技術の開発」、[online]，[平成３１年１月２９日検索]，インターネット＜ＵＲＬ：https://www.hbf.or.jp/magazine/article/hbf2016_vol3＞

３次元モデルを生成するためには、ドローンＣを全天周状に配置することが好ましい。従来のロボットカメラは基本的に地面に設置するものであり、空間中への設置が困難である。その一方、多視点ロボットカメラシステム１は、ドローンＣを空間中に全天周状に配置することができる。その結果、多視点映像から生成した３次元モデルを用いて、高品質なＩＰ立体映像を提供することが可能となる。

多視点映像を撮影する際、隣り合うロボットカメラの輻輳角を適切に保つことが好ましい。従来のロボットカメラは、設置位置が固定されているが、被写体の移動により輻輳角が変化するので、適切な輻輳角を保つのが困難である。その一方、多視点ロボットカメラシステム１は、ドローンＣが空間中を自在に移動できるので、ドローンＣを適切な輻輳角に保って多視点映像を撮影することができる。
従来のロボットカメラの設営には、ロボットカメラの設置、ケーブルの敷設等の労力がかかる。その一方、多視点ロボットカメラシステム１は、カメラの設置及びケーブルの敷設が不要であり、設営の労力を削減することができる。

（第２実施形態）
［多視点ロボットカメラシステムの構成］
図１０を参照し、第２実施形態に係る多視点ロボットカメラシステム１Ａの構成について、第１実施形態と異なる点を説明する。
第１実施形態では、スレーブドローンＣ_ｎの位置を手動で設定したのに対し、第２実施形態では、後記する球面分布処理によりスレーブドローンＣ_ｎの位置を算出する点が異なる。

図１０に示すように、多視点ロボットカメラシステム１Ａは、カメラ制御装置１０Ａと、操作インターフェース部２０と、マスタードローンＣ_ｍと、スレーブドローンＣ_ｎと、を備える。
なお、カメラ制御装置１０Ａ以外は、第１実施形態と同様のため、説明を省略する。

カメラ制御装置１０Ａは、多視点映像を撮影するために、スレーブドローンＣ_ｎの位置及び姿勢を制御するものである。本実施形態では、カメラ制御装置１０Ａは、各スレーブドローンＣ_ｎが適切な輻輳角を保ち、各スレーブドローンＣ_ｎが全天周状に配置されるように、球面分布処理によりスレーブドローンＣ_ｎの位置を算出する。

［カメラ制御装置の構成］
カメラ制御装置１０Ａは、注視点算出部１１と、仮想球体生成部１２と、位置算出部１５と、姿勢算出部１４Ａと、を備える。
なお、注視点算出部１１及び仮想球体生成部１２は、第１実施形態と同様のため、説明を省略する。

位置算出部１５は、球面分布処理により、仮想球体ＶＣの上側半球面上に位置する点の位置を、スレーブドローンカメラのＣ_ｎ位置として算出するものである。
球面分布処理とは、複数の点を仮想球体の表面上に一様に分布させる処理のことである。例えば、球面分布処理としては、一般化螺旋集合、一様乱数、等積投影法の逆投影、及び、正多面体の頂点に基づく手法があげられる。ここで、簡易な演算で一様性が高い点集合を算出できるため、一般化螺旋集合を用いることが好ましい（参考文献３参照）。本実施形態では、一般化螺旋集合を用いることとして説明する。
参考文献３：「多数の点を球面状に一様分布させるソフトウェアGSS Generator」、山路敦、情報地質、第１２巻、第１号、３−１２頁、２００１年

＜スレーブドローンの位置算出＞
図１１〜図１３を参照し、スレーブドローンＣ_ｎの姿勢算出について具体的に説明する。
図１１に示すように、第１実施形態と同様、球面座標系（仮想球体ＶＣ）が設定されていることとする。この球面座標系では、ｎ番目の点の位置を緯度θ_ｎと経度φ_ｎとで表現し、各点がｎ台目のドローンＣの位置を表すこととする（但し、１≦ｎ≦Ｎ）。まず、図１２に示すように、一般化螺旋集合により、仮想球体ＶＣの球面上で２Ｎ台分のドローンＣの配置位置を求め、その後、Ｎ台のドローンＣを仮想球体ＶＣの球面の上側半分に均一に配置する。この場合、２Ｎ台のドローンＣのうち、ｎ台目のドローンＣの位置は、式（１１）〜式（１３）によって算出できる。

ここで、θ_１＝π、θ_Ｎ＝０、φ_１＝０とする。すなわち、一般化螺旋集合では、式（１１）のパラメータｈ_ｎを使って、ｎ番目の点の座標（θ_ｎ，φ_ｎ）を式（１２）及び式（１３）の漸化式で表すことができる。

１台目（ｎ＝１）のドローンＣが南極に位置し、２Ｎ台目（ｎ＝２Ｎ）のドローンＣが北極に位置する。球面座標系の南極及び北極では歪みが生じるため、一様性が損なわれる。このため、ｎ番目の点を終点とする単位ベクトルをａ_ｎとし、単位ベクトルａ_１，ａ_２Ｎを以下の式（１４）及び式（１５）で算出する。

そして、球面座標系の上側半分にあたるＮ＋１個目から２Ｎ個目までの点の位置を、Ｎ＋１台目から２Ｎ台目までのドローンＣの位置として用いる。このとき、マスタードローンＣ_ｍの位置を北極とし、それ以外の位置をスレーブドローンＣ_ｎの位置とすればよい。

以上より、位置算出部１５は、一般化螺旋集合で定義される式（１１）〜式（１５）を用いて、スレーブドローンＣ_ｎの位置を算出する。
その後、位置算出部１５は、算出したスレーブドローンＣ_ｎの位置及び仮想球体ＶＣの情報を姿勢算出部１４Ａに出力する。

図１０に戻り、カメラ制御装置１０Ａの構成について、説明を続ける。
姿勢算出部１４Ａは、位置算出部１５から入力されたスレーブドローンＣ_ｎの位置で注視点Ｐを向いた方向をスレーブドローンＣ_ｎの姿勢として算出するものである。

マスタードローンＣ_ｍのカメラ座標系において、スレーブドローンＣ_ｎの位置ｘ_ｎへの変換は、以下の式（１６）で表される。式（１６）では、球面座標系におけるスレーブドローンＣ_ｎの位置（ｌ＝１，θ_ｎ，φ_ｎ）を、カメラ座標系におけるスレーブドローンＣ_ｎの位置ｘ_ｎに変換する。すなわち、球面座標系におけるスレーブドローンＣ_ｎの位置（ｌ，θ_ｎ，φ_ｎ）をカメラ座標系（直交直線座標）に変換し、一般化螺旋集合の北極が直交直線座標系の原点と一致するように平行移動させる。この式（１６）では、球面座標系におけるスレーブドローンＣ_ｍの位置が（ｌ＝１，θ_ｍ，φ_ｍ）で表される。

なお、姿勢算出部１４Ａは、式（５）の代わりに式（１６）を用いる以外、第１実施形態と同様のため、これ以上の説明を省略する。

［多視点ロボットカメラシステムの動作］
図１３を参照し、多視点ロボットカメラシステム１Ａの動作について説明する。
ステップＳ１〜Ｓ３の処理は、第１実施形態と同様のため、説明を省略する。

ステップＳ４Ｂにおいて、位置算出部１５は、球面分布処理により、仮想球体ＶＣの上側半球面に位置する点の位置を、スレーブドローンのＣ_ｎ位置として算出する。具体的には、位置算出部１５は、一般化螺旋集合で定義される式（１１）〜式（１５）を用いて、スレーブドローンＣ_ｎの位置を算出する。

ステップＳ５Ｂにおいて、姿勢算出部１４Ａは、式（１６）を用いて、球面座標系からカメラ座標系にスレーブドローンＣ_ｎの位置を変換する。
ステップＳ６〜Ｓ８の処理は、第１実施形態と同様のため、説明を省略する。

［作用・効果］
以上のように、多視点ロボットカメラシステム１Ａは、第１実施形態と同様、ドローンＣを適切な輻輳角で全天周状に配置できるので、高品質な映像表現が可能となる多視点映像を撮影することができる。さらに、多視点ロボットカメラシステム１Ａは、スレーブドローンＣ_ｎの位置を手動で設定する必要がないので、多視点映像の撮影に要する労力を削減することができる。

（第３実施形態）
［多視点ロボットカメラシステムの構成］
図１４を参照し、第３実施形態に係る多視点ロボットカメラシステム１Ｂの構成について、第２実施形態と異なる点を説明する。
第２実施形態では、カメラマンがマスタードローンＣ_ｍを手動で操作したのに対し、第３実施形態では、マスタードローンＣ_ｍが被写体９０に自動追随する点が異なる。

図１４に示すように、多視点ロボットカメラシステム１Ｂは、カメラ制御装置１０Ｂと、マスタードローンＣＢ_ｍと、スレーブドローンＣ_ｎと、を備える。すなわち、多視点ロボットカメラシステム１Ｂは、操作インターフェース部２０を備えていない。
なお、スレーブドローンＣ_ｎは、第２実施形態と同様のため、説明を省略する。

カメラ制御装置１０Ｂは、多視点映像を撮影するために、スレーブドローンＣ_ｎの位置及び姿勢を制御するものである。本実施形態では、カメラ制御装置１０Ｂは、操作インターフェース部２０からの操作情報を用いずに、マスタードローンＣＢ_ｍの光軸と地面との交点を注視点Ｐとして算出する。

［カメラ制御装置の構成］
カメラ制御装置１０Ｂは、注視点算出部１１Ｂと、仮想球体生成部１２と、位置算出部１５と、姿勢算出部１４Ａと、を備える。
なお、注視点算出部１１Ｂ以外は、第２実施形態と同様のため、説明を省略する。

注視点算出部１１Ｂは、マスタードローンＣ_ｍから入力された位置及び姿勢を用いて、注視点Ｐ及びデプスを算出するものである。すなわち、注視点算出部１１Ｂは、マスタードローンＣＢ_ｍが備える撮影カメラ２００の光軸と、地面を想定した平面との交点を注視点Ｐとして算出する。このとき、注視点算出部１１Ｂは、より正確な注視点Ｐを算出するため、予め設定した高さ（例えば、人間の平均身長の半分）を注視点Ｐの高さに加えることが好ましい。さらに、注視点算出部１１Ｂは、マスタードローンＣ_ｍの位置と算出した注視点Ｐとの距離をデプスとして算出する。

［マスタードローンの構成］
図１４を参照し、マスタードローンＣＢ_ｍの構成について説明する。
図１４に示すように、マスタードローンＣＢ_ｍは、回転モータ１１０と、マルチコプタ制御部１２０と、撮影カメラ２００と、撮影カメラ制御部２１０と、被写体追随部２３０と、を備える。
なお、被写体追随部２３０以外は、第２実施形態と同様のため、説明を省略する。

被写体追随部２３０は、マスタードローンＣＢ_ｍを被写体の真上に追随させるものである。すなわち、被写体追随部２３０は、地面上の被写体に対し、地面から垂直方向の上空にマスタードローンＣＢ_ｍが位置するように、マスタードローンＣＢ_ｍを任意の手法で自動追随させる。例えば、被写体追随部２３０は、撮影カメラ２００を真下に向けるように撮影カメラ制御部２１０に指令する。そして、被写体追随部２３０は、撮影カメラ制御部２１０の撮影画像から被写体の位置を検出する。さらに、被写体追随部２３０は、撮影画像の中央に被写体が映る位置にマスタードローンＣＢ_ｍを移動させる指令をマルチコプタ制御部１２０に出力する。

なお、マスタードローンＣＢ_ｍを被写体の真上に追随させる手法は、前記に限定されない。例えば、位置計測手段を被写体に装着し、その計測位置に基づいてマスタードローンＣＢ_ｍを追随させてもよい。

［多視点ロボットカメラシステムの動作］
図１５を参照し、多視点ロボットカメラシステム１Ｂの動作について説明する。
ステップＳ４Ｂ〜Ｓ７の処理は、第２実施形態と同様のため、説明を省略する。

ステップＳ９において、被写体追随部２３０は、マスタードローンＣＢ_ｍを被写体の真上に追随させる。そして、注視点算出部１１Ｂは、マスタードローンＣ_ｍから入力された位置及び姿勢を用いて、注視点Ｐ及びデプスを算出する。

ステップＳ８Ｂにおいて、例えば、カメラマンが、図示を省略したマウス、キーボード等の操作手段を用いて、撮影完了をカメラ制御装置１０Ｂに指令した場合、カメラ制御装置１０Ｂは、多視点映像の撮影が完了したと判定する。
多視点映像の撮影が完了した場合（ステップＳ８ＢでＹｅｓ）、カメラ制御装置１０Ｂは、処理を終了する。
多視点映像の撮影が完了していない場合（ステップＳ８ＢでＮｏ）、カメラ制御装置１０Ｂは、ステップＳ９の処理に戻る。

［作用・効果］
以上のように、多視点ロボットカメラシステム１Ｂは、第２実施形態と同様、ドローンＣを適切な輻輳角で全天周状に配置できるので、高品質な映像表現が可能となる多視点映像を撮影することができる。さらに、多視点ロボットカメラシステム１Ｂは、カメラマンがマスタードローンＣ_ｍを操作する必要がないので、多視点映像の撮影に要する労力をさらに削減することができる。

（変形例）
以上、本発明の各実施形態を詳述してきたが、本発明は前記した各実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

スレーブドローンの位置及び間隔は、多視点映像の用途（アプリケーション）に応じて任意に設定可能である。つまり、スレーブドローンの位置は、上側半球面上に限定されず、仮想球体の球面上（例えば、半球面上）であればよい。また、隣接するスレーブドローンの間隔は、等間隔でなくともよい。

マルチコプタ本体の構造（例えば、筐体の形状、プロペラの数）は、前記した各実施形態に限定されない。つまり、マルチコプタ本体は、カメラ本体を搭載又は内蔵し、飛行可能なものであればよい。

前記した各実施形態では、マスターカメラがマルチコプタ型のロボットカメラであることとして説明したが、一般的な撮影カメラであってもよい。例えば、マスターカメラとして、三脚に搭載される撮影カメラ、又は、カメラマンの肩に担がれる撮影カメラがあげられる。

前記した各実施形態では、操作インターフェース部でマスターカメラの位置及び姿勢を操作することとして説明したが、マスターカメラのズーム、フォーカス及びアイリスも操作可能としてもよい。さらに、マスターカメラのズーム、フォーカス及びアイリスは、自動で調整してもよい。

前記した各実施形態では、操作インターフェース部が制御装置から独立したものとして説明したが、制御装置が操作インターフェース部の機能を備えてもよい。
前記した各実施形態では、移動体がマルチコプタであることとして説明したが、これに限定されない。例えば、移動体として、ラジオコントロール型のヘリコプタ（ラジコンヘリコプタ）があげられる。

前記した各実施形態では、カメラ制御装置を独立したハードウェアとして説明したが、本発明は、これに限定されない。例えば、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記したカメラ制御装置として協調動作させるプログラムで実現することもできる。これらのプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

１，１Ａ，１Ｂ 多視点ロボットカメラシステム（多視点ロボットカメラシステム）
１０，１０Ａ，１０Ｂ カメラ制御装置
１１，１１Ｂ 注視点算出部
１２ 仮想球体生成部
１３ 位置設定部
１４，１４Ａ 姿勢算出部
１５ 位置算出部
２０ 操作インターフェース部
９０ 被写体
９１ 操作者
１００ マルチコプタ本体（移動体）
１０１ 筐体
１０２ プロペラ
１０３ 脚部
１１０ 回転モータ
１２０，１３０ マルチコプタ制御部
２００ 撮影カメラ
２０１ 雲台
２１０，２２０ 撮影カメラ制御部
２３０ 被写体追随部
Ｃ ドローン（ロボットカメラ）
Ｃ_ｍ，ＣＢ_ｍ マスタードローン（マスターカメラ）
Ｃ_ｎ スレーブドローン（スレーブカメラ）

Claims (8)

1. 空間内を自在に移動可能な移動体及び前記移動体に搭載された撮影カメラからなるロボットカメラを複数台用いて、多視点映像を撮影するために前記ロボットカメラの位置及び姿勢を制御するカメラ制御装置であって、
   前記ロボットカメラのうち予め設定された１台のマスターカメラの位置及び姿勢と、前記マスターカメラから被写体までの距離であるデプスとが入力され、入力された前記マスターカメラの位置から前記マスターカメラの光軸方向で前記デプスが示す距離にある注視点の位置を算出する注視点算出部と、
   前記注視点が中心、かつ、前記デプスが半径となる仮想球体を生成する仮想球体生成部と、
   前記マスターカメラ以外のロボットカメラであるスレーブカメラの位置が前記仮想球体の球面上に予め設定される位置設定部と、
   前記スレーブカメラの位置で前記注視点を向いた方向を前記スレーブカメラの姿勢として算出する姿勢算出部と、
   を備えることを特徴とするカメラ制御装置。
2. 前記位置設定部は、前記仮想球体上において、１次元方向又は２次元方向で前記スレーブカメラの位置が予め設定されることを特徴とする請求項１に記載のカメラ制御装置。
3. 空間内を自在に移動可能な移動体及び前記移動体に搭載された撮影カメラからなるロボットカメラを複数台用いて、多視点映像を撮影するために前記ロボットカメラの位置及び姿勢を制御するカメラ制御装置であって、
   前記ロボットカメラのうち予め設定された１台のマスターカメラの位置及び姿勢と、前記マスターカメラから被写体までの距離であるデプスとが入力され、入力された前記マスターカメラの位置から前記マスターカメラの光軸方向で前記デプスが示す距離にある注視点の位置を算出する注視点算出部と、
   前記注視点が中心、かつ、前記デプスが半径となる仮想球体を生成する仮想球体生成部と、
   複数の点を前記仮想球体上に分布させる球面分布処理により、前記仮想球体の球面上に位置する点の位置を、前記マスターカメラ以外のロボットカメラであるスレーブカメラの位置として算出する位置算出部と、
   前記スレーブカメラの位置で前記注視点を向いた方向を前記スレーブカメラの姿勢として算出する姿勢算出部と、
   を備えることを特徴とするカメラ制御装置。
4. 前記位置算出部は、前記球面分布処理として、一般化螺旋集合、一様乱数、等積投影法の逆投影、又は、正多面体の頂点に基づく手法の何れかを行うことを特徴とする請求項３に記載のカメラ制御装置。
5. 前記移動体は、複数のプロペラにより前記空間内を移動可能なマルチコプタであることを特徴とする請求項１から請求項４の何れか一項に記載のカメラ制御装置。
6. コンピュータを、請求項１から請求項４の何れか一項に記載のカメラ制御装置として機能させるためのプログラム。
7. 複数台のロボットカメラと、請求項１から請求項５の何れか一項に記載のカメラ制御装置とを備える多視点ロボットカメラシステムであって、
   前記ロボットカメラは、
   複数のプロペラにより空間内を自在に移動可能なマルチコプタと、
   前記マルチコプタに搭載された撮影カメラと、
   前記マルチコプタの位置を制御するマルチコプタ制御部と、
   前記撮影カメラの姿勢を制御するカメラ制御部と、
   を備えることを特徴とする多視点ロボットカメラシステム。
8. 前記ロボットカメラのうちの１台がマスターカメラとして予め設定され、
   前記マスターカメラは、前記マスターカメラを前記被写体の真上に追随させる被写体追随部、をさらに備えることを特徴とする請求項７に記載の多視点ロボットカメラシステム。

Images