JP2019129463A

JP2019129463A - 撮像装置

Info

Publication number: JP2019129463A
Application number: JP2018011026A
Authority: JP
Inventors: 幸治川嶋; Koji Kawashima
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-01-26
Filing date: 2018-01-26
Publication date: 2019-08-01

Abstract

【課題】従来技術の構成では、大まかな撮影条件しか設定できなかった。また、プレビュー確認もできないため、移動体が到達して撮影してみるまで、構図が確認できない。【解決手段】撮像装置は、移動手段により移動可能な第１の撮像手段と、前記第１の撮像手段とは別の第２の撮像手段と、前記第２の撮像手段で撮像された画像をもとに、自由視点映像を生成する自由視点映像生成手段と、前記自由視点映像で撮影視点を指定する撮影視点指定手段と、前記撮影視点指定手段で指定した前記撮影視点に、前記第１の撮像手段を誘導する誘導手段と、を有し、前記第１の撮像手段が、前記撮影視点に到達した場合に、前記第１の撮像手段が撮像を行うことを特徴とする。【選択図】図１

Description

本発明は、移動可能な撮像装置に関し、特に撮影画像の構図を決定する技術に関する。

近年、飛行体などの移動体に撮像装置を搭載し遠隔操作することで、これまで得られなかった視点での撮影が可能になった。ここで、視点とは、どこから対象を見る立脚点の意味と、どこを見る注視点の両方の意味を含むとする。移動体に撮像装置を搭載して撮影する場合、撮像装置のみならず移動体の操作も必要となり、操作が煩雑になってしまう。

従来、これら回避する手段として、あらかじめ登録した撮影位置と被写体情報から移動体を制御して自動的に撮影する手法が知られている（特許文献１）。

特開２０１７−１１４６９号公報

しかしながら、上記の特許文献１に開示された従来技術の構成では、大まかな撮影条件しか設定できず、既存のカメラのようにファインダを覗きながら好適な構図を探し決定することはできない。また、プレビュー確認もできないため、移動体が到達して撮影するまで、構図が確認できない。

そこで、本発明は、移動体による撮影において、移動体の煩雑な操作をすることなく、構図を事前に確認しながら決定し撮影できる撮像装置を提供することを目的とする。

上記の目的を達成するために、本発明に係る撮像装置は、
移動手段により移動可能な第１の撮像手段と、前記第１の撮像手段とは別の第２の撮像手段と、前記第２の撮像手段で撮像された画像をもとに、自由視点映像を生成する自由視点映像生成手段と、前記自由視点映像で撮影視点を指定する撮影視点指定手段と、前記撮影視点指定手段で指定した前記撮影視点に、前記第１の撮像手段を誘導する誘導手段と、を有し、前記第１の撮像手段が、前記撮影視点に到達した場合に、前記第１の撮像手段が撮像を行うことを特徴とする。

本発明に係る撮像装置によれば、移動体の煩雑な操作をすることなく、構図を事前に確認しながら決定し撮影することができる。

本実施形態の撮像装置の構成例を示す全体図本実施形態の移動体の構成例を示すブロック図本実施形態の情報処理装置の構成例を示すブロック図本実施形態における撮影処理のフローチャート本実施形態における構図ズレ量算出と補正手法を示す図

以下に、本発明を実施するための形態について詳細に説明する。

なお、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正または変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施の形態の一部を適宜組み合わせて構成してもよい。

以下、図面を参照しながら本発明の好適な実施の形態を説明する。

＜実施例１＞
本発明では、撮影構図決定に自由視点映像を利用し、自由視点映像中において指定された位置に、自律飛行可能な移動体を派遣し搭載されたカメラで撮影する。これによって、使用者はあらかじめ自由視点映像で構図を確認しながら撮影視点を決定でき、決定した構図（基準構図）で自律的に移動体が撮影できるため、使用者は煩雑な操作をすることなく、移動体による撮影が可能となる。

ここで、自由視点映像とは、使用者が自由に視点を指定し視聴することができ、さらに、視点は現実世界に設置したカメラ（自由視点カメラ）の視点映像だけでなく、自由視点カメラとは異なる視点の仮想的なカメラ視点も指定することができる。この仮想的なカメラ視点（仮想カメラ）の映像は、自由視点カメラの各フレーム画像に対し、画像処理を施すことで得られる。

図１は、撮像装置の構成例を示す全体図である。図２は、移動体の構成例を示すブロック図である。図３は、情報処理装置の構成例を示すブロック図である。

図１において撮像装置は、自由視点カメラ１００、情報処理装置１０１、移動体１２０を備えており、情報処理装置１０１と自由視点カメラ１００、情報処理装置１０１と移動体１２０は有線もしくは無線により双方向通信が可能である。また、図１、図２、図３で共通する構成要素には同じ符号を付与する。

図１を参照して、本実施形態の構成を示す全体図について説明する。

自由視点カメラ１００は、あらかじめ校正済みであり、カメラの内部パラメータと外部パラメータが既知であるとする。自由視点カメラ１００は、情報処理装置１０１のＣＰＵ１０８からの同期信号によって撮影し、そのフレーム画像を画像識別情報とカメラ識別情報とともに情報処理装置１０１に送信する。

情報処理装置１０１は、使用者の操作界面であり、かつ本発明における撮像装置の制御中枢であり、使用者の構図決定操作や撮影操作を認識し、それに応じた構図決定処理や撮影処理で、自由視点カメラ１００や移動体１２０などを制御する。さらに、自由視点カメラ１００や移動体１２０から得られた映像や画像を保持し、仮想カメラ１１０の自由視点映像の生成、保持、表示を行う。

仮想カメラ１１０は、現実世界には存在しないカメラ視点を、情報処理装置１０１における自由視点映像生成によって、あたかもその位置にカメラが存在するかのような視点映像をもたらす。

１１１は仮想カメラ１１０視点の生成画像である。

移動体１２０は、飛行体でありカメラ１２１を搭載し情報処理装置１０１から遠隔制御指令によって、自律飛行しての撮影が可能である。

なお、本撮像装置を設置する場所は、実施形態に限定されるものではない。他の例としては、スタジアム、コンサートホール、プール、海上、宇宙などでもよい。また、本撮像装置における移動体１２０は、実施形態に限定されるものではない。他の例として、車両、飛行艇、潜水艇、船舶、人工衛星などでもよい。

次に、図２を参照して、本実施形態の移動体１２０の構成例について説明する。
カメラ１２１は、移動体１２０に搭載された校正済みカメラである。このカメラ１２１の撮影画像が、本実施形態の最終的な撮影画像に相当する。

記憶部１２２は、メモリーであり、カメラ１２１の撮影画像が記憶される。また、制御部１２３やフライトコントローラー１２５で使用されるデータ、変数も記憶される。

制御部１２３は、移動体１２０全体を統括して制御する演算処理装置であって、ＲＯＭやＲＡＭなどを内蔵し、ＲＯＭに格納されたプログラムを実行することで、カメラ１２１、フライトコントローラー１２５、電源部１２８に制御指令を送り制御する。また制御部１２３は、情報処理装置１０１からの制御指令に従って、状態通知、待機、撮影ポイントへ飛行、カメラ１２１の設定、カメラ１２１による撮影、撮影画像を情報処理装置１０１へ送信を行う。

通信部１２４は、他の機器と通信を行う。制御部１２３は、この通信部１２４を介して、情報処理装置１０１と双方向通信することができる。

フライトコントローラー１２５は、内蔵しているジャイロセンサー、加速度センサー、気圧センサー、ＧＰＳなどの情報をもとに、移動体１２０の姿勢を監視し、モーター１２６やローター１２７を制御することで、姿勢を安定化させる。さらに、緯度、経度、高度、姿勢が与えられると、そこに向けて自律飛行する。

モーター１２６は、ＡＣもしくはＤＣモーターであり、動力を発生させ、連結されたローター１２７を回転させる。

ローター１２７は、回転翼であり、回転することによって飛行に必要な揚力もしくは推力を得る。ローター１２７の角度や回転数を変えることで、自由に移動することが可能となる。また、不図示であるが、複数のモーター１２６とローター１２７があってもよい。

電源部１２８は、アルカリ電池、リチウム電池などの一次電池や、ＮｉＣｄ電池、ＮｉＭＨ電池、リチウムイオン電池などの二次電池などからなり、各部に必要な電力を供給する。

次に、図３を参照して、本実施形態の情報処理装置１０１の構成例について説明する。

１００は自由視点カメラである。自由視点カメラ１００の映像が自由視点映像の元データとなるため、自由視点カメラ１００の台数が多ければ多いほど、構図決定に使用する自由視点映像の画質は向上する。自由視点カメラ１００は、ＣＰＵ１０８からの同期信号に従って、各フレーム画像を撮影して出力し、出力された映像は、ＣＰＵ１０８によって記憶部１０２またはＲＡＭ１０４へ保存される。

記憶部１０２は、ハードディスクやＳＳＤなどで構成され、自由視点カメラ１００の映像、仮想カメラ１１０の生成画像１１１、移動体１２０の撮影画像を記憶される。また、ＣＰＵ１０８によって必要に応じて画像は読み出され、表示部１０６に表示される。

ＲＯＭ１０３は、ＣＰＵ１０８で使用されるプログラムやデータなどを記憶する。

ＲＡＭ１０４は、ＣＰＵ１０８で使用されるプログラムやデータや変数などを記憶する。

通信部１０５は、他の機器と通信を行う。ＣＰＵ１０８は、この通信部１０５を介して、移動体１２０に対し、いくつかの制御指令を送ることができる。制御指令には、移動体１２０の位置姿勢や状態を要求する状態通知指令、移動体１２０を所定の位置で待機させる待機指令、移動体１２０を撮影ポイントへ飛行させる誘導指令、移動体１２０のカメラ１２１のシャッター速度などの設定を送るカメラ設定指令、移動体１２０のカメラ１２１で撮影し、撮影画像をＣＰＵ１０８へ送信させる撮影指令などが含まれる。

表示部１０６は、表示駆動回路と液晶パネルなどからなり、ＣＰＵ１０８の制御指令に従い、表示駆動回路を制御し、液晶パネルに使用者から視認可能な情報や画像を表示する。

操作部１０７は、方向指示、角度指示、決定、キャンセル、表示再生、撮影開始、ＡＦＡＥ開始、メニュー、削除等のスイッチが接続されており、スイッチの状態が検出される。検出された状態は、ＣＰＵ１０８に伝えられ、ＣＰＵ１０８は状態に応じて各部を制御する。

ＣＰＵ１０８は、装置全体を統括して制御する演算処理装置であって、ＲＯＭ１０３に格納されたプログラムを実行することで、後述する処理シーケンスを実行する。

また、ＣＰＵ１０８は、自由な視点つまり仮想カメラ１１０の生成画像１１１の生成も行う。まず、ＣＰＵ１０８は、自由視点カメラ１００へ同期信号を送ることで映像を取得し、記憶部１０２に格納する。次に、記憶部１０２から読み出した同一フレーム画像に、視点画像補完技術（Ｖｉｅｗｉｎｔｅｒｐｏｌａｔｉｏｎ）や射影変換を施すことで、仮想カメラ１１０の生成画像１１１を生成した後、表示部１０６で表示し、記憶部１０２に格納する。また、ＣＰＵ１０８は、表示部１０６へ生成画像１１１を表示中に、使用者による操作部１０７への操作を検知すると、適宜視点を更新し新たな生成画像１１１を表示部１０６で表示する。

さらに、ＣＰＵ１０８は、通信部１０５を介して、移動体１２０で取得された撮影画像を受信し、記憶部１０２に格納したのち、表示部１０６に表示する。

ＣＰＵ１０８は、設定されたシャッター速度、絞り値、ＩＳＯ感度、画像サイズ、ホワイトバランス、撮影視点等の情報を、表示部１０６に表示できる。

次に、図４を参照して、本実施形態における撮影処理について説明する。

なお、図４の処理はＲＯＭ１０３に格納されたプログラムをＣＰＵ１０８が実行することで実現される。

図４は、使用者が操作部１０７を操作して処理を開始すると、以下Ｓ４０１から実行する。

Ｓ４０１では、ＣＰＵ１０８は撮影構図決定処理を開始し、Ｓ４０２へ進む。

Ｓ４０２では、ＣＰＵ１０８は表示部１０６に初期視点の生成画像１１１を表示して、Ｓ４０３へ進む。

Ｓ４０３では、ＣＰＵ１０８は使用者による操作部１０７を介した視点変更操作があった場合、Ｓ４０４へ進む。視点変更操作が無かった場合、Ｓ４０５へ進む。

Ｓ４０４では、ＣＰＵ１０８は新たに設定された視点に仮想カメラ１１０位置を設定して、Ｓ４０５へ進む。

Ｓ４０５では、ＣＰＵ１０８は生成画像１１１を生成し、表示部１０６に表示して、Ｓ４０６へ進む。

Ｓ４０６では、使用者による操作部１０７を介した撮影開始操作があった場合、Ｓ４０７へ進む。撮影開始操作が無かった場合、Ｓ４０３へ進む。

Ｓ４０７では、ＣＰＵ１０８は基準構図の決定処理を行い、生成画像１１１を基準構図とし、現在の仮想カメラ１１０情報を記憶部１０２に保存し、Ｓ４０８へ進む。

Ｓ４０８では、ＣＰＵ１０８は記憶部１０２に保存された仮想カメラ１１０情報から移動体１２０を誘導するための撮影ポイント（緯度、経度、高度、カメラ向き、焦点距離などからなる）に変換して、Ｓ４０９へ進む。

ここで、変換にはあらかじめ算出しておいた仮想カメラ１１０における座標系と、世界座標系（緯度、経度、高度からなる）との変換行列を用いることで、相互に座標の変換が可能となる。

Ｓ４０９では、ＣＰＵ１０８は通信部１０５を介して、移動体１２０へ撮影ポイントを送信する。次に、移動体１２０は、通信部１２４で受信した撮影ポイントと移動体１２０自身のＧＰＳ座標が一致するように移動し、Ｓ４１０へ進む。

Ｓ４１０では、ＣＰＵ１０８は移動体１２０が、撮影ポイントに到達した通知を得た場合、Ｓ４１１へ進む。未到達の場合、Ｓ４０９へ進む。

Ｓ４１１では、ＣＰＵ１０８は、移動体１２０に撮影指令を送り、カメラ１２１でプレ画像を撮影させる。移動体１２０は、通信部１２４を介して、情報処理装置１０１にプレ画像を送信する。次に、ＣＰＵ１０８は、受け取ったプレ画像と基準構図にもとづき、後述する構図ズレ量算出方法によって構図ズレ量を算出し、Ｓ４１２へ進む。

Ｓ４１２では、ＣＰＵ１０８は構図ズレ量が所定の閾値より大きい場合、Ｓ４１３へ進む。閾値以下の場合、Ｓ４１４へ進む。

Ｓ４１３では、ＣＰＵ１０８はズレ量をフライトコントローラー１２５に送信し、ズレ量を相殺する方向へ移動体１２０を移動させて、Ｓ４１４へ進む。

Ｓ４１４では、ＣＰＵ１０８は移動体１２０で撮影処理を行い、撮影画像を受信して、Ｓ４１５へ進む。

Ｓ４１５では、ＣＰＵ１０８は受信した撮影画像を記憶部１０２に格納した後、表示部１０６に撮影画像を表示し処理を終了する。

次に、図５を参照して、本実施形態における構図ズレ量算出と補正手法について説明する。

一般的に、自由視点映像の視点については、仮想上のカメラであるため、演算誤差の影響しか受けないため、誤差は無視できるほど小さく、安定して構図を決めることができる。

一方で、自律制御可能な移動体１２０は、その位置決めにＧＰＳや姿勢センサーなどを使用するため位置決め誤差が発生する。たとえ、数ｃｍの撮影視点の違いでも構図は大きく変化するため、位置決め誤差の影響は無視できない。さらに、移動体１２０に搭載したカメラ１２１での撮影は、三脚などで固定した撮影ではないため、視点が安定しない。
したがって、仮想カメラ１１０で決めた基準構図に、実際に移動体１２０を派遣すると、位置決め誤差により構図ズレが発生する。そこで、構図ズレを補正する手段が必要となる。

図５（ａ）は使用者が仮想カメラ１１０によって指定した生成画像１１１つまり基準構図に相当し、図５（ｂ）はフライトコントローラー１２５によって制御され撮影視点に到達したカメラ１２１のプレ撮影画像となる。この時点では、前述の移動体１２０の位置決め誤差によって、構図ズレが発生しており、構図ズレ量はこの（ａ）、（ｂ）２枚の特徴点の対応関係から算出される。

図５（ｃ）は、ブロックマッチング法等により算出された前記２枚の画像間のオプティカルフローである。このオプティカルフローから基準構図に対する移動体１２０のカメラ運動パラメータを算出することができ、これが構図ズレ量となる。次に、図５（ｄ）のようにフライトコントローラー１２５によって構図ズレを相殺するように移動することで、構図ズレが解消され、基準構図とカメラ１２１の構図が一致する。

構図ズレ量は、ＣＰＵ１０８で算出され移動体１２０に送信される。移動体１２０では、フライトコントローラー１２５が、構図ズレ補正のための移動量を算出し、その値をもとにモーター１２６を制御し補正のための移動をする。

ここで、構図ズレ量算出は画像間のオプティカルフローによって算出したが、別の算出アルゴリズムを用いてもよい。また、比較と補正のための移動を複数回行ってもよい。

以上の実施形態によれば、使用者は、移動体による撮影において、移動体の煩雑な操作をすることなく、構図を事前に確認しながら撮影することが可能となる。

＜実施例２＞
次に、第２の実施形態に係る撮像装置の処理について説明する。

本実施形態では、上述した第１の実施形態において、基準構図のカメラ位置が自由視点カメラ１００と同じ場合には、移動体１２０による撮影ではなく、自由視点カメラ１００の画像を撮影画像とする。

なお、本実施形態の撮像装置の構成は、第１の実施形態の図１、図２、図３と同様である。

以下では、実施形態１との共通部分は説明を省略し、実施形態と相違する部分を中心に説明する。

第２の実施形態においては、第１の実施形態の基準構図決定処理に、仮想カメラ１１０と自由視点カメラ１００のカメラ位置が一致するかどうか判定する処理が追加される。

前記処理の追加は、図４中Ｓ４０７基準構図決定に処理を追加することで実現される。Ｓ４０７で基準構図が決定した後、基準構図と自由視点カメラ１００のカメラ位置を比較し一致した場合、自由視点カメラ１００の画像を撮影画像として記憶部１０２に格納し、表示部１０６に表示して処理を終了する。一致しなかった場合には、Ｓ４０８に進む。

以上の実施形態によれば、使用者は、基準構図と自由視点カメラの位置が一致して、物理的に移動体による撮影ができないことを回避することが可能となり、さらに無駄な移動体による撮影をなくすことも可能となる。

＜実施例３＞
次に、第３の実施形態に係る撮像装置の処理について説明する。

本実施形態では、上述した第１の実施形態において、複数の移動体１２０もしくは複数の搭載カメラ１２１がある場合には、それらの中から最も適したものを１つ選択する。

なお、本実施形態の撮像装置の構成は、第１の実施形態の図３と同様である。以下では、実施形態１との共通部分は説明を省略し、実施形態と相違する部分を中心に説明する。

第３の実施形態においては、不図示ではあるが、図１に複数の移動体１２０もしくは図２に複数のカメラ１２１があることになる。さらに、第１の実施形態の撮影ポイントへの誘導処理に、あらかじめすべての移動体１２０の状態（待機位置、電池残量、飛行特性、搭載レンズ、搭載カメラなど）を取得しておき、それらから好適な移動体１２０を選択する処理が追加される。

前記処理の追加は、図４中Ｓ４０８、Ｓ４０９の処理に、処理を追加することで実現される。まず、Ｓ４０８において、ＣＰＵ１０８は全ての移動体１２０に対して、状態通知指令を送り、得られた移動体１２０の待機位置をもとに、移動距離の最も少ない、つまり基準構図に最も近い移動体１２０を選択し、撮影ポイントを算出する。次に、Ｓ４０９では、選択された移動体１２０のみに、撮影ポイントを送信し誘導する。これにより、移動体１２０の移動距離を最短に抑えられ、移動待ち時間も最短となる。

ここで、移動体１２０は移動距離の近さによって選択したが、レンズが好適なもの、搭載カメラが好適なものなどの別の指標を使ってもよい。

以上の実施形態によれば、使用者は、複数の移動体の搭載カメラの中から最適な選択ができる。

１００自由視点カメラ、１０１情報処理装置、１２０移動体

Claims

移動手段により移動可能な第１の撮像手段と、
前記第１の撮像手段とは別の第２の撮像手段と、
前記第２の撮像手段で撮像された画像をもとに、自由視点映像を生成する自由視点映像生成手段と、
前記自由視点映像で撮影視点を指定する撮影視点指定手段と、
前記撮影視点指定手段で指定した前記撮影視点に、前記第１の撮像手段を誘導する誘導手段と、
を有し、前記第１の撮像手段が、前記撮影視点に到達した場合に、前記第１の撮像手段が撮像を行うことを特徴とする撮像装置。
前記第１の撮像手段において、前記撮影視点付近に到達した直後にプレ画像を撮像し、前記自由視点映像と前記プレ画像とを比較することで、構図のズレ量を算出する構図ズレ量算出手段と、
前記構図ズレ量をもとに、前記第１の撮像手段を、構図ズレを解消する方向に誘導し撮像することを特徴とする請求項１に記載の撮像装置。
前記誘導手段において、前記第１の撮像手段が複数ある場合には、前記第１の撮像手段と前記撮影視点もしくは前記自由視点映像を、撮像手段の位置、搭載レンズ、搭載カメラ、および電池残量の少なくともいずれかを用いて比較し、最も好適な前記第１の撮像手段を選択し誘導し撮影することを特徴する請求項１又は請求項２に記載の撮像装置。
前記誘導手段において、前記撮影視点が、前記第２の撮像手段の設置位置と一致する場合には、第１の撮像手段を誘導せずに、前記第２の撮像手段の画像を使うことを特徴とする請求項１乃至請求項３の何れか一項に記載の撮像装置。