JP2023003033A - 電子機器および電子機器の制御方法 - Google Patents

Abstract

【課題】好適な画角の決定を容易にし、３次元空間内での撮影を支援する。【解決手段】撮像装置での撮影を支援するための電子機器は、前記撮像装置の現在の撮影範囲に対応する仮想空間における第１オブジェクトと、前記撮像装置が所定の位置および所定の向きを有する場合の撮影範囲に対応する仮想空間における第２オブジェクトとを生成する生成手段と、前記第１オブジェクトおよび前記第２オブジェクトを表示する表示制御手段とを有する。【選択図】図４

Description

本発明は、電子機器および電子機器の制御方法に関する。

従来、カメラまたはスマートフォンに搭載されたカメラには、撮影を支援する機能が実装されてきた。撮影を支援する機能は、例えば、ライブビュー（ＬＶ）画面にグリッド線や水平線を表示する機能、ＬＶ画面に表示されている被写体に対してピントが合っている箇所をユーザに示すピーキング機能、パノラマ撮影におけるカメラの移動先の指示機能などである。さらに近年は、ヘッドマウントディスプレイ（ＨＭＤ）、カメラ搭載のスマートフォン、タブレット端末などのデバイスで、ＡＲ（Augmented Realty）およびＭＲ（Mixed Reality）などの技術が利用されている。

例えば画角決定を支援する技術として、特許文献１は、定点撮影を支援する装置を開示する。具体的には、特許文献１に係る装置は、過去に写真を撮影した際のカメラの位置および撮影範囲をＡＲオブジェクトとして生成し、現実物体のカメラのＬＶ画面に、生成したＡＲオブジェクトを重畳表示する。これにより、ユーザは、現実物体のカメラをＬＶ画面に表示されているＡＲオブジェクトのカメラに重ね合わせるように移動させ、さらに撮影範囲も合わせることで、過去に撮影した写真と同じ画角で撮影することができる。

特許文献２は、パノラマ撮影を支援する装置を開示する。具体的には、特許文献２に係る装置は、パノラマ撮影に最適な装置の移動速度をガイドする２次元のオブジェクトをＬＶ画面に表示する。

特開２０２０－１６７４９９号公報 特開２０１１－１９３２８６号公報

しかしながら、現実物体のカメラのＬＶ画面に、ＡＲオブジェクトのカメラが表示されていても、現実物体のカメラをＡＲオブジェクトのカメラに正確に合わせ込むことは困難な場合がある。また、ＡＲオブジェクトのカメラの形状と、撮影用のカメラの形状とが異なる場合、カメラの位置および向きを正しく合わせることは難しい。

さらに、移動速度をガイドする２次元のオブジェクトがＬＶ画面に表示された場合、撮像面に平行な２次元の面上でのカメラの移動は支援することができるが、３次元空間内での撮影の支援は困難である。

そこで、本発明は、好適な画角の決定を容易にし、３次元空間内での撮影を支援する電子機器を提供することを目的とする。

上記目的を達成するために、本発明の電子機器は、
撮像装置での撮影を支援するための電子機器であって、
前記撮像装置の現在の撮影範囲に対応する仮想空間における第１オブジェクトと、前記撮像装置が所定の位置および所定の向きを有する場合の撮影範囲に対応する仮想空間にお
ける第２オブジェクトとを生成する生成手段と、
前記第１オブジェクトおよび前記第２オブジェクトを表示する表示制御手段と、
を有することを特徴とする。

本発明によれば、好適な画角の決定を容易にし、３次元空間内での撮影を支援することができる。

撮像装置の外観図を例示する図である。 ＨＭＤの外観図を例示する図である。 第１実施形態の撮像装置のハードウェア構成例を示す図である。 第１実施形態の撮影支援処理を例示するフローチャートである。 軌跡情報を説明する図である。 軌跡情報を説明する図である。 第１実施形態での撮像オブジェクトと支援オブジェクトの生成例である。 ＬＶ画面での撮像オブジェクトと支援オブジェクトの表示例である。 第２実施形態の撮影支援処理を例示するフローチャートである。 第２実施形態での撮像オブジェクトと支援オブジェクトの生成例である。 第３実施形態の撮像装置とＨＭＤのハードウェア構成例を示す図である。 第３実施形態の撮影支援処理を例示するフローチャートである。

図１および図２を参照して、本発明に係る電子機器としての撮像装置およびＨＭＤの構成を説明する。図１および図２で説明する構成は、以下の各実施形態で共通する。

図１は、撮像装置の外観図を例示する図である。撮像装置１は、電子機器に組み込まれていてもよく、電子機器とは別体として構成されてもよい。図１（Ａ）および図１（Ｂ）は、それぞれ撮像装置１の表面および裏面を示す。撮像装置１は、カメラ、スマートフォン、タブレット端末など撮像素子を有する装置である。撮像装置１は、撮像部１１、表示部１２、操作部１３を有する。

撮像部１１は、撮像装置１の表面および裏面の少なくとも一方に１つ以上搭載される。表示部１２は、タッチパネルを装備したディスプレイであり、各種映像を表示する。表示部１２に装備されたタッチパネルは、ユーザの指またはスタイラスペンなどによる操作を受け付ける。操作部１３は、ボタン、ダイヤルなどのユーザの操作を入力する部材である。操作部１３は、撮像装置１に１つ以上搭載されてもよいし、表示部１２に装備されたタッチパネルにより実現されてもよい。表示部１２は、「表示制御手段」の一例である。

図２は、ＨＭＤ２の外観図を例示する図である。図２に例示するＨＭＤ２は、光学シースルー型ＨＭＤである。ＨＭＤ２は、頭部装着型の表示装置であって、ＡＲグラスとも称される。ＨＭＤ２は、フレームと、２つの表示部２１ａおよび表示部２１ｂとを有する。フレームは、リム２５と、リム２５の両サイドに接合されているテンプル２６ａおよびテンプル２６ｂを有する。表示部２１ａおよび表示部２１ｂは、リム２５の一方の面に接合されている。

表示部２１ａの表示素子（不図示）からの光は、画像投影部２２ａおよび導光部２３ａによってＨＭＤ２を装着した装着者の右眼に導かれる。同様に、表示部２１ｂの表示素子（不図示）からの光は、画像投影部２２ｂおよび導光部２３ｂによってＨＭＤ２を装着した装着者の左眼に導かれる。

装着者は、表示部２１ａおよび表示部２１ｂに表示される映像と、ＨＭＤ２の前方からの入射光とを同時に知覚することができる。また、ＨＭＤ２は２つの撮像部２４ａおよび撮像部２４ｂを有してもよい。撮像部２４ａおよび撮像部２４ｂはＨＭＤの前方を含む周囲を撮影する。なお、ＨＭＤ２は、透明なディスプレイを使用した光学シースルー型ＨＭＤとして説明するが、不透明なディスプレイを使用したビデオシースルー型のＨＭＤとしてもよい。

以下の各実施形態に係る撮像装置１またはＨＭＤ２は、搭載された撮像部などにより周囲の空間を認識することで、周囲の空間に適合した様々な仮想オブジェクトを、３次元の情報としてユーザに提示することができる。仮想空間または仮想オブジェクトを利用した情報提示は、これまでユーザに知覚させることが難しかった奥行方向の情報を提示することが可能である。現実空間にマッピングさせた仮想オブジェクトは、様々な撮影支援手段に利用することができる。

第１実施形態および第２実施形態は、撮像装置１またはＨＭＤ２のどちらか一方を用いて撮影する際に、撮像装置１またはＨＭＤ２での撮影を支援するための実施形態である。第３実施形態は、撮像装置１とＨＭＤ２とが連携することで、撮像装置１での撮影を支援するための実施形態である。

＜第１実施形態＞
第１実施形態は、撮像装置１あるいはＨＭＤ２のどちらか一方を用いて、最適な画角での撮影を実現するために、撮像装置１またはＨＭＤ２の移動を、移動先を提示することにより支援するための実施形態である。なお、以下の説明では、撮像装置１での撮影を支援する場合について説明する。

図３は、第１実施形態に係る撮像装置１のハードウェア構成例を示す図である。撮像装置１は、演算部１０１、画像処理部１０２、一次記憶部１０４、二次記憶部１０５、表示部１０６、撮像部１０７、操作部１０８、３次元空間認識部１０９を有する。撮像装置１が有する各構成は、相互にバスで接続される。

演算部１０１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、撮像装置１の全体の制御を司る。画像処理部１０２は、３次元空間認識部１０９が認識した仮想空間において撮像画角を示すオブジェクト（以下、撮像オブジェクト）、およびユーザによる撮像装置１での撮影を支援する支援オブジェクトを生成する。

撮像オブジェクトは、撮像装置の現在の撮影範囲に対応する仮想空間におけるＡＲオブジェクトである。支援オブジェクトは、撮像装置１が所定の位置および所定の向きを有する場合の撮影範囲に対応する仮想空間におけるＡＲオブジェクトである。支援オブジェクトは、撮像装置１を理想的なカメラワークで移動させるために、撮像オブジェクトの理想的な移動先を提示するＡＲオブジェクトである。撮像オブジェクトは、「第１オブジェクト」に相当する。支援オブジェクトは、「第２オブジェクト」に相当する。

画像処理部１０２は、ユーザが撮像オブジェクトを支援オブジェクトに合わせ込むことで、撮像装置１の移動が制御されるように支援オブジェクトを生成する。ユーザは、撮像オブジェクトを支援オブジェクトに重ねるように撮像装置１を動かすことによって、一定速度で撮影したり、規則的な軌跡で撮影したりすることができる。画像処理部１０２は、「生成手段」の一例である。

一次記憶部１０４は、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ
Ｍｅｍｏｒｙ）であり、画像データを一時的に格納する。二次記憶部１０５は、例えば
フラッシュメモリであり、撮影した画像などを記録する。

表示部１０６は、撮影画像およびその他の視覚的オブジェクトを表示するディスプレイである。表示部１０６は、現実空間を撮像した画像に撮像オブジェクトおよび支援オブジェクトを重畳させて表示する。撮像部１０７は、光を電気信号に変換する。操作部１０８は、ユーザからの操作を受け付ける。表示部１０６、撮像部１０７および操作部１０８は、それぞれ図１（Ｂ）に示す表示部１２、撮像部１１および操作部１３に相当する。

３次元空間認識部１０９は、現実空間における物体の配置および物体までの距離を検知し、仮想空間の情報を取得する。３次元空間認識部１０９は、例えば、複数台のカメラを用いて現実の３次元空間を認識することができる。３次元空間認識部１０９は、「取得手段」の一例である。なお、３次元空間認識部１０９の処理は、撮像部１０７により実行されてもよい。

図４は、第１実施形態に係る撮影支援処理４００を例示するフローチャートである。撮影支援処理４００は、撮像オブジェクトおよび支援オブジェクトを生成してＬＶ画面に表示することにより、ユーザの撮影を支援する処理である。撮像オブジェクトおよび支援オブジェクトは、現実空間を撮像した画像に重畳されて表示される。第１実施形態では、支援オブジェクトは、移動速度または軌跡など撮像装置１の今後の動きを示す軌跡情報に基づいて生成される。

撮影支援処理４００は、例えば、ユーザが撮像装置１の操作部１０８を操作し、撮像装置１が撮影モードに入ることにより開始される。撮像装置１の演算部１０１は、撮影支援処理４００の各ステップの処理を各構成部に行わせるためのプログラムを実行する。

Ｓ４０１において、画像処理部１０２は、支援オブジェクトの生成に使用される軌跡情報を取得する。軌跡情報は、撮像画像の今後の撮影範囲の動き（カメラワーク）を示す情報である。軌跡情報は、支援オブジェクトの仮想空間における位置、向き（支援オブジェクトの位置からの方向成分）、移動速度および軌跡を決定するための情報を含む。

支援オブジェクトは、撮像装置が所定の位置および所定の向きを有する場合の撮影範囲に対応する、仮想空間におけるＡＲオブジェクトである。画像処理部１０２は、取得した軌跡情報に基づいて、所定の位置および所定の向きを決定することができる。画像処理部１０２は、予め二次記憶部１０５に記憶されている軌跡情報を取得してもよく、操作部１０８を介してユーザにより入力された軌跡情報を取得してもよい。

ここで、図５（Ａ）から図５（Ｃ）、図６（Ａ）、図６（Ｂ）を参照して、軌跡情報について説明する。軌跡情報は、撮像装置１の動きを示す情報であって、例えば、撮像装置１を一定速度で直進させる動き、撮像装置１またはユーザを中心に水平方向に回転させる動きを示す情報である。また、軌跡情報は、撮像部１０７に入射する光軸（撮像装置１の撮像軸）を中心に一定速度で回転させる動き、被写体を中心として前記撮像装置を回転させる動きを示す情報であってもよい。

図５（Ａ）は、人物（撮影するユーザ）が一定速度で前方へ直進する例を示す。ユーザが撮像オブジェクト５１０を支援オブジェクト５１１に合わせ込むと、表示部１０６は、支援オブジェクト５１１の先に支援オブジェクト５１２を表示する。さらに、ユーザが撮像オブジェクト５１０を支援オブジェクト５１２に合わせ込むと、表示部１０６は、支援オブジェクト５１２の先に支援オブジェクト５１３を表示する。

図５（Ｂ）は、人物が一定速度で横方向に進む例を示す。ユーザが撮像オブジェクト５２０を支援オブジェクト５２１に合わせ込むと、表示部１０６は、支援オブジェクト５２１の横方向に支援オブジェクト５２２を表示する。

図５（Ｃ）は、撮像装置１を中心に、一定速度で撮像装置１を水平方向に回転させる例を示す。ユーザが撮像オブジェクト５３０を支援オブジェクト５３１に合わせ込むと、表示部１０６は、撮像装置１が回転する方向に支援オブジェクト５３２を表示する。さらに、ユーザが撮像オブジェクト５３０を支援オブジェクト５３２に合わせ込むと、表示部１０６は、撮像装置１が回転する方向に支援オブジェクト５３３を表示する。

図６（Ａ）は、撮像装置１の撮影軸を中心に、一定速度で撮像装置１を回転させる例を示す。ユーザが撮像オブジェクト６１０を支援オブジェクト６１１に合わせ込むと、表示部１０６は、撮像装置１が撮影軸を中心に回転する方向に支援オブジェクト６１２を表示する。さらに、ユーザが撮像オブジェクト６１０を支援オブジェクト６１２に合わせ込むと、表示部１０６は、撮像装置１が撮影軸を中心に回転する方向に支援オブジェクト６１３を表示する。

図６（Ｂ）は、被写体を中心に、一定速度で撮像装置１を回転させる例を示す。ユーザが撮像オブジェクト６２０を支援オブジェクト６２１に合わせ込むと、表示部１０６は、撮像装置１が被写体を中心に回転する方向に支援オブジェクト６２２を表示する。

支援オブジェクトは、軌跡情報に基づく撮像装置１の動きに合わせて、１つずつ表示されてもよい。また、支援オブジェクトは、軌跡情報に基づく将来の複数の時点における撮像装置１の位置および向きを、所定の位置および所定の向きとして、複数表示されてもよい。また、過去に表示された支援オブジェクトは、撮像オブジェクトとの位置または向きの差分が閾値以上となった場合に非表示とされてもよく、表示されたままとしてもよい。

軌跡情報は、撮像装置１の速度または軌跡に限らず、被写体を撮影範囲の中心または端といった所定位置に配置するような動き、被写体の正面を撮影範囲に収める動き、を示す情報であってもよい。

図４のＳ４０２において、３次元空間認識部１０９は、現実空間における物体の配置および撮像装置１から物体までの距離を仮想空間情報として取得し、一次記憶部１０４に保持する。

Ｓ４０３において、画像処理部１０２は、３次元空間認識部１０９が認識した仮想空間において、撮像部１０７が撮影している撮影範囲を示す撮像オブジェクトを生成する。画像処理部１０２は、一次記憶部１０４に保持されている仮想空間情報に対して、生成した撮像オブジェクトの情報を追加する。撮像オブジェクトは、撮像装置１の撮影範囲に連動した位置および向きを示すＡＲオブジェクトである。

画像処理部１０２は、例えばテンプレートマッチングを用いて、一次記憶部１０４に保持されている仮想空間情報において、撮像装置１が撮影している撮像画像と一致する部分を探索する。画像処理部１０２は、探索した撮像画像の仮想空間における位置および向きに基づいて、撮像オブジェクトを生成することができる。

撮像オブジェクトの形状は、枠、直方体、カーソル、撮影範囲の４つ角を示す点など、位置および向きを一意に決定できる形状とすることができる。撮像オブジェクトの奥行方向の位置は、例えば、ピントが最も合っている焦点距離の位置とすることができる。

撮像オブジェクトの奥行方向の位置は、撮像装置１から所定の距離の位置とし、撮像オブジェクトの大きさが可変となるように設定されてもよい。例えば、撮像オブジェクトの形状を枠とする場合、撮像装置１から枠までの距離は所定の距離の１メートルに固定し、枠の大きさは可変とすることができる。なお、撮像装置１から枠までの距離は、例えば撮像装置１から枠の中心までの距離とすることができる。

また、撮像オブジェクトの奥行方向の位置は、撮像オブジェクトの大きさを所定の大きさとし、撮像装置１から撮像オブジェクトまでの距離が可変となるように設定されてもよい。例えば、撮像オブジェクトの形状を枠とする場合、枠の大きさは、所定の大きさとして現実空間での対角線の長さを３０センチに固定し、撮像装置１から枠までの距離は可変とすることができる。

撮像装置１の正面に障害物が存在するような狭い空間の場合、画像処理部１０２は、障害物よりも撮像装置１の近い位置に表示されるように、撮像オブジェクトを生成してもよい。画像処理部１０２は、周囲の空間に応じて撮像オブジェクトの表示位置を変更することができる。

上記の例では、撮像オブジェクトの位置および向きは、撮像部１０７が撮影している撮影範囲に基づいて取得される。撮像オブジェクトの位置および向きは、現実空間における撮像装置１の位置および向きから取得することも可能である。

Ｓ４０４において、画像処理部１０２は、撮影を支援するためのＡＲオブジェクトである支援オブジェクトを生成する。画像処理部１０２は、Ｓ４０１で取得した軌跡情報に基づいて支援オブジェクトを生成する。

軌跡情報は、撮像画像の撮影範囲の動き（カメラワーク）を示す情報である。例えば、軌跡情報が撮像装置１を一定速度で直進させる動きを示す情報である場合、画像処理部１０２は、現在の撮像オブジェクトを、当該撮像オブジェクトの向きに直進させた位置に表示されるように、支援オブジェクトを生成する。具体的には、画像処理部１０２は、撮像装置１の向きを所定の向きとし、撮像装置１を一定速度で１秒間所定の向きに直進させた位置を所定の位置として、支援オブジェクトを生成すればよい。

画像処理部１０２は、軌跡情報によって示された動きに合わせて、現在の撮像オブジェクトを移動させた位置に、支援オブジェクトを生成することができる。画像処理部１０２は、撮像装置１の所定の位置と支援オブジェクトの位置との相対関係が、撮像装置１の現在の位置と撮像オブジェクトの位置との相対関係と等しくなるように、支援オブジェクトを生成してもよい。画像処理部１０２は、一次記憶部１０４に保持されている仮想空間情報に対し、生成した支援オブジェクトの情報を追加する。

図７は、撮像オブジェクトおよび支援オブジェクトの生成例である。図７は、仮想空間７００の情報に、撮像オブジェクト７０２の情報および支援オブジェクト７０３の情報が追加された様子を模式的に示す。

図４のＳ４０５において、表示部１０６は、現実空間を撮像した画像に、一次記憶部１０４に保持されている撮像オブジェクトおよび支援オブジェクトを重畳させＬＶ画面に表示する。重畳の処理は、画像処理部１０２により行われてもよい。

重畳の処理では、表示部１０６は、まず、撮像部１０７により現実空間を撮像した画像が仮想空間７００のどの部分に対応するかを取得する。次に、表示部１０６は、仮想空間７００に存在する撮像オブジェクト７０２および支援オブジェクト７０３を、現実空間を
撮像した画像の対応する位置に重畳させる。

Ｓ４０６において、演算部１０１は、ユーザから操作部１０８に対して撮影モードの終了が指示されたか否かを判定する。撮影モードの終了が指示された場合（Ｓ４０６：ＹＥＳ）、撮影支援処理４００は終了する。撮影モードの終了が指示されていない場合（Ｓ４０６：ＮＯ）、処理はＳ４０２に戻り、Ｓ４０２からＳ４０６までの処理を繰り返す。

Ｓ４０２からＳ４０６までの処理は、撮像部１０７が撮影している動画像の各フレームに対して実行される処理である。なお、Ｓ４０２からＳ４０６までの処理は、支援オブジェクトがユーザの撮影を支援できるように表示されればよく、複数フレーム（例えば、５フレーム）ごとに実行されてもよい。

図８は、ＬＶ画面での撮像オブジェクトおよび支援オブジェクトの表示例である。図８は、ＬＶ画面８００（表示部１０６）に、現実空間を撮像した画像に対して撮像オブジェクトおよび支援オブジェクトを重畳表示した例を示す。

図８（Ａ）は、ＬＶ画面８００に、枠の形状である撮像オブジェクト８０１と、枠の形状である支援オブジェクト８０２とが、同じ奥行、同じ向きで存在している例を示す。ユーザは、撮像装置１に連動して動く撮像オブジェクト８０１を、支援オブジェクト８０２に合わせ込むように、撮像装置１を移動させることで、適切な撮影画角またはカメラワークを実現することができる。

図８（Ｂ）は、ＬＶ画面８００に、枠の形状である撮像オブジェクト８０３と、枠の形状である支援オブジェクト８０４とが、異なる奥行、異なる向きで存在している例を示す。ユーザは、撮像装置１に連動して動く撮像オブジェクト８０３を、支援オブジェクト８０４に合わせ込むように、撮像装置１を移動させることで、適切な撮影画角またはカメラワークを実現することができる。

図８（Ｃ）は、ＬＶ画面８００に、直方体の形状である撮像オブジェクト８０５と、直方体の形状である支援オブジェクト８０６とが、異なる奥行、異なる向きで存在している例を示す。ユーザは、撮像装置１に連動して動く撮像オブジェクト８０５を、支援オブジェクト８０６に合わせ込むように、撮像装置１を移動させることで、適切な撮影画角またはカメラワークを実現することができる。

なお、上述の例では、撮像装置１によってユーザの撮影を支援する場合について説明したが、本実施形態は、図３に示す撮像装置１の構成と同様の構成を有するＨＭＤ２により実現されてもよい。

また、支援オブジェクトは、撮像モードで撮影している間、常に表示されるようにしてもよく、所定の条件を満たす場合に表示されるようにしてもよい。所定の条件は、例えば、撮像オブジェクトと支援オブジェクトとの位置の差と向きの差のいずれかが、閾値以上であることである。また、所定の条件は、撮像装置１の移動速度が一定でない場合、または撮像装置１が移動する軌跡が規則的でない場合としてもよい。

表示部１０６は、所定の条件を満たす場合に支援オブジェクトを一時的に表示することで、撮像装置１が軌跡情報に従って移動していないことをユーザに通知することができる。表示部１０６は、所定の条件が満たされ、撮像装置１が軌跡情報に従って移動している場合には、支援オブジェクトの表示を停止してもよい。

また、撮像オブジェクトおよび支援オブジェクトは、撮像装置１の画像処理部１０２に
よって生成されるが、クラウド上の外部装置に生成処理を依頼してもよい。この場合、撮像装置１は、クラウドとの通信が可能な通信部を備え、撮像オブジェクトおよび支援オブジェクトを生成するために使用される情報をクラウドに送信する。クラウドに送信される情報は、例えば、撮像装置１による撮像画像、撮像装置１の動きを示す軌跡情報、仮想空間情報を含む。

撮像装置１は、クラウド上で生成された撮像オブジェクトおよび支援オブジェクトを受信（取得）し、現実空間を撮像した画像に重畳させてＬＶ画面に表示することができる。外部装置に撮像オブジェクトおよび支援オブジェクトといったＡＲコンテンツを生成させることにより、撮像装置１は、高性能かつ大型のＳｏＣを搭載しなくてもよく小型化が可能となる。

上記の撮像装置１またはＨＭＤ２によれば、ユーザは、ＬＶ画面に表示される撮像オブジェクトを支援オブジェクトに合わせ込むように、撮像装置１またはＨＭＤ２を動かすことで、好適な画角の決定または好適なカメラワークを容易に実現することができる。

＜第２実施形態＞
第１実施形態では、画像処理部１０２は、撮像オブジェクトの動きとは独立して、軌跡情報および現在の撮影範囲に基づいて支援オブジェクトを生成する。これに対し、第２実施形態では、支援オブジェクトは、撮像オブジェクトの動きをリアルタイムに反映して生成される。したがって、撮像装置１は、ユーザの動きを考慮した最適な支援オブジェクトを生成することが可能となる。

第２実施形態に係る撮像装置１のハードウェア構成は、図３に示す第１実施形態に係る撮像装置１のハードウェア構成と同様であるため、説明は省略する。なお、第１実施形態と同様に、第２実施形態は、図３に示す撮像装置１の構成と同様の構成を有するＨＭＤ２により実現されてもよい。

図９は、第２実施形態に係る撮影支援処理９００を例示するフローチャートである。撮影支援処理９００は、撮像オブジェクトの動きに基づいて支援オブジェクトを生成する処理である。

撮影支援処理９００の各ステップの処理のうち、図４に示す第１実施形態の撮影支援処理４００と同じ処理については、同じ符号を付して詳細な説明は省略する。第１実施形態の撮影支援処理４００とは異なるＳ９０１、Ｓ９０２、Ｓ９０３の処理について説明する。

撮影支援処理９００は、例えば、ユーザが撮像装置１の操作部１０８を操作し、撮像装置１が撮影モードに入ることにより開始される。撮像装置１の演算部１０１は、撮影支援処理４００の各ステップの処理を各構成部に行わせるためのプログラムを実行する。

第１実施形態と同様に、Ｓ４０２において、３次元空間認識部１０９は仮想空間情報を取得する。Ｓ４０３において、画像処理部１０２は、仮想空間で撮像部１０７が撮影している撮影範囲を示す撮像オブジェクトを生成する。

Ｓ９０１において、の１ループ目であるか否かを判定する。第２実施形態では、画像処理部１０２は、複数の撮像オブジェクトの動きに基づいて支援オブジェクトを生成する。１ループ目では撮像オブジェクトが１つしか生成されていないため、画像処理部１０２は、さらに撮像オブジェクトを生成する。

１ループ目である場合（Ｓ９０１：ＹＥＳ）、処理はＳ４０２に戻る。Ｓ４０２およびＳ４０３の処理が繰り返され、画像処理部１０２は、時間差のある複数の撮像オブジェクトを生成することができる。２ループ目以降である場合（Ｓ９０１：ＮＯ）、処理はＳ９０２に進む。

Ｓ９０２において、画像処理部１０２は、現フレームおよび前フレームに対して生成した２つの撮像オブジェクトから、撮影を支援するためのＡＲオブジェクトである支援オブジェクトを生成する。生成された支援オブジェクトの情報は、一次記憶部１０４に保持されている仮想空間情報に追加される。

図１０は、撮像オブジェクトおよび支援オブジェクトの生成例である。図１０は、仮想空間１０００の情報に、前フレームの撮像オブジェクト１００１、現フレームの撮像オブジェクト１００２および支援オブジェクト１００３の情報が追加された様子を模式的に示す。なお、前フレームは、現フレームの直前のフレームに限られず、複数フレーム前のフレームであってもよい。

支援オブジェクトは、具体的には以下の方法により生成することができる。画像処理部１０２は、仮想空間１０００において、前フレームの撮像オブジェクト１００１が、現フレームの撮像オブジェクト１００２に移動した際の位置、向き、移動速度等の変化量を取得する。変化量は、撮像オブジェクト１００１から撮像オブジェクト１００２までの移動量、回転量、加速度等である。

画像処理部１０２は、取得した変化量に基づいて、次フレームの撮像オブジェクトの位置および向きを、支援オブジェクト１００３の位置および向きとして推測する。画像処理部１０２は、推測した支援オブジェクト１００３の情報を仮想空間１０００の情報に追加する。

画像処理部１０２は、過去の撮像オブジェクト１００１の位置および向きと、現在の撮像オブジェクト１００２の位置および向きとの変化に基づいて、撮像装置１の所定の位置および所定の向きを決定し、支援オブジェクトを生成することができる。

Ｓ９０３において、表示部１０６は、現実空間を撮像した画像に、現フレームの撮像オブジェクトおよび推測した支援オブジェクトを重畳させＬＶ画面に表示する。重畳の処理は、画像処理部１０２により行われてもよい。Ｓ４０６の処理は、図４に示す第１実施形態での処理と同様である。

画像処理部１０２は、撮像装置１が過去の位置および向きを有する場合の撮影範囲に対応する仮想空間における撮像オブジェクトを生成することができる。表示部１０６は、過去の撮像オブジェクトを、支援オブジェクトおよび現在の撮像オブジェクトとともにＬＶ画面に表示してもよい。過去の撮像オブジェクトは、「第３オブジェクト」に相当する。

なお、上述の例では、撮像装置１によりユーザの撮影を支援する場合について説明したが、本実施形態は、図３に示す撮像装置１の構成と同様の構成を有するＨＭＤ２により実現されてもよい。

また、支援オブジェクトは、撮像モードで撮影している間、常に表示された状態でリアルタイムに移動するように表示されてもよく、所定の条件を満たす場合に表示されるようにしてもよい。所定の条件は、例えば、撮像装置１の移動速度が一定でないこと、または撮像装置１が移動する軌跡が規則的でないことである。表示部１０６は、所定の条件を満たす場合に支援オブジェクトを一時的に表示することで、撮像装置１が一定の速度で移動
していないことなどをユーザに通知することができる。

また、撮像オブジェクトおよび支援オブジェクトは、撮像装置１の画像処理部１０２によって生成されるが、クラウド上で生成されるようにしてもよい。撮像装置１は、クラウド上で生成された撮像オブジェクトおよび支援オブジェクトを受信（取得）し、ＬＶ画面に重畳させて表示することができる。

また、支援オブジェクトは、撮像オブジェクトの変化量に基づいて生成される例について説明したが、前フレームおよび現フレームを撮影したときの撮像装置１の位置、向き、移動速度等の変化量に基づいて生成されてもよい。画像処理部１０２は、過去の撮像装置１の位置および向きと、現在の撮像装置１の位置および向きとの変化に基づいて、撮像装置１の所定の位置および所定の向きを決定し、支援オブジェクトを生成することができる。

上記の撮像装置１またはＨＭＤ２は、ユーザの動きを考慮して好適な画角を決定するための支援オブジェクトを生成することができる。ユーザは、撮像オブジェクトを支援オブジェクトに合わせ込むように撮像装置１またはＨＭＤ２を動かすことで、自身の動きに合わせて一定の速度で移動したり、一定の角速度で回転移動したりすることが可能となる。

＜第３実施形態＞
第１実施形態および第２実施形態は、撮像装置１またはＨＭＤ２のいずれか一方を使用してユーザの撮影を支援する実施形態である。これに対して、第３実施形態は、撮像装置１およびＨＭＤ２を連携させて使用する実施形態である。第３実施形態では、撮像機能に特化している撮像装置１、および広範囲にわたってＡＲオブジェクトを表示可能なＨＭＤ２は、それぞれの長所を生かすことが可能となる。

図１１は、第３実施形態に係る撮像装置１１およびＨＭＤ２のハードウェア構成例を示す図である。第３実施形態に係る撮像装置１１は、第１実施形態に係る撮像装置１と同様に、演算部１０１、画像処理部１０２、一次記憶部１０４、二次記憶部１０５、撮像部１０７、操作部１０８を有する。撮像装置１１は、さらに通信部１１０３を有する。撮像装置１１が有する各構成は、相互にバスで接続される。撮像装置１と同じ構成については、同じ符号を付して説明は省略する。

第３実施形態に係るＨＭＤ２は、第１実施形態に係る撮像装置１と同様に、演算部２０１、画像処理部２０２、一次記憶部２０４、二次記憶部２０５、表示部２０６、操作部２０８、３次元空間認識部２０９を有する。ＨＭＤ２は、さらに通信部２０３を有する。ＨＭＤ２が有する各構成は、相互にバスで接続される。撮像装置１と同じ名称の構成については、対応する構成と同様に機能するため、詳細な説明は省略する。表示部２０６は、ＨＭＤ２の表示部２１ａおよび表示部２１ｂに相当する。表示部２０６は、「表示制御手段」の一例である。

撮像装置１１とＨＭＤ２とは、通信部１１０３および通信部２０３を介して相互に通信する。撮像装置１１は、撮像部１０７で撮像した撮影画像を、通信部１１０３および通信部２０３を介してＨＭＤ２に送信する。

図１２は、第３実施形態に係る撮影支援処理を例示するフローチャートである。第３実施形態に係る撮影支援処理は、撮像装置１１とＨＭＤ２とを連携させて使用する処理である。第３実施形態に係る撮影支援処理は、撮像装置１１による撮影処理１２００ａおよびＨＭＤ２による撮影支援処理１２００ｂを含む。

撮像装置１１の撮影処理１２００ａは、ユーザが操作部１０８を操作し撮影モードに設定されることにより開始される。ＨＭＤ２の撮影支援処理１２００ｂは、ユーザが操作部２０８を操作し撮影モードに設定されることにより開始される。なお、撮影支援処理１２００ｂは、撮像装置１１が撮影モードに設定されたとき、または撮像装置１１から撮影画像を受信したときに開始されてもよい。

撮像装置１１の演算部１０１およびＨＭＤ２の演算部２０１は、それぞれ撮影処理１２００ａおよび撮影支援処理１２００ｂの各ステップの処理を、各構成部に行わせるためのプログラムを実行する。

Ｓ１２０１ｂにおいて、ＨＭＤ２の３次元空間認識部２０９は、現実空間における物体の配置や物体までの距離を、仮想空間情報として取得し、一次記憶部２０４に保持する。３次元空間認識部２０９は、「取得手段」の一例である。なお、仮想空間情報は、Ｓ１２０２ｂで撮像装置１から撮影画像を受信した後に取得されてもよい。

Ｓ１２０２ａにおいて、撮像装置１の通信部１０３は、撮像部１０７で撮像した撮影画像を、通信部２０３を介してＨＭＤ２に送信する。Ｓ１２０２ｂにおいて、ＨＭＤ２の通信部２０３は、撮像装置１の通信部１０３から撮影画像を受信したか否かを判定する。

撮影画像を受信した場合（Ｓ１２０２ｂ：ＹＥＳ）、処理はＳ１２０３ｂに進む。撮影画像を受信していない場合（Ｓ１２０２ｂ：ＮＯ）、Ｓ１２０３ｂの処理は撮影画像を受信するまで繰り返される。

Ｓ１２０３ｂにおいて、画像処理部２０２は、撮像装置１から受信した撮影画像を用いて、撮像部１０７が撮影している撮影範囲を示す撮像オブジェクトを仮想空間で生成する。画像処理部２０２は、一次記憶部２０４に保持されている仮想空間情報に対し、生成した撮像オブジェクトの情報を追加する。画像処理部２０２は、「生成手段」の一例である。

Ｓ１２０４ｂにおいて、画像処理部２０２は、第１実施形態に係る撮影支援処理４００のＳ４０３または第２実施形態に係る撮影支援処理９００のＳ９０２と同様の方法で、支援オブジェクトを生成する。画像処理部２０２は、一次記憶部１０４に保持されている仮想空間情報に対して、生成した支援オブジェクトの情報を追加する。

Ｓ１２０５ｂにおいて、ＨＭＤ２の表示部２０６は、現実空間を撮像した画像に撮像オブジェクトおよび支援オブジェクトを重畳させて表示する。

Ｓ１２０６ｂにおいて、演算部２０１は、ユーザから操作部２０８に対して撮影モードの終了が指示されたか否かを判定する。撮影モードの終了が指示された場合（Ｓ１２０６ｂ：ＹＥＳ）、撮影支援処理１２００ｂは終了する。撮影モードの終了が指示されていない場合（Ｓ１２０６ｂ：ＮＯ）、処理はＳ１２０１ｂに戻り、撮影支援処理１２００ｂを繰り返す。

Ｓ１２０６ｂと同様にＳ１２０６ａにおいて、演算部１０１は、ユーザから操作部１０８に対して撮影モードの終了が指示されたか否かを判定する。撮影モードの終了が指示された場合（Ｓ１２０６ａ：ＹＥＳ）、撮影処理１２００ａは終了する。撮影モードの終了が指示されていない場合（Ｓ１２０６ａ：ＮＯ）、処理はＳ１２０２ａに戻り、撮影処理１２００ａを繰り返す。

なお、撮影支援処理１２００ｂは、Ｓ１２０６ｂでの終了判定を行わず、撮影処理１２
００ａが終了した場合に、撮像装置１１からの通知を受信して終了してもよい。また、撮影支援処理１２００ｂは、所定時間、撮影画像を撮像装置１１から受信しなかった場合に終了してもよい。

また、撮影支援処理１２００ｂのＳ１２０３ｂでは、画像処理部２０２は、撮像装置１から撮影画像を受信して、受信した撮影画像から撮像オブジェクトの位置および向きを取得したが、これに限られない。画像処理部２０２は、ＨＭＤ２が有する撮像部によって撮影される撮像画像から撮像装置１１の位置および向きを取得することで、撮像オブジェクトの位置および向きを取得してもよい。

また、撮像オブジェクトおよび支援オブジェクトは、ＨＭＤ２の画像処理部２０２によって生成されるが、クラウド上で生成されるようにしてもよい。この場合、ＨＭＤ２は、クラウドと通信し、クラウド上で生成された撮像オブジェクトおよび支援オブジェクトを受信して、ＨＭＤ２の表示部２０６に重畳させて表示することができる。また、撮像装置１１とＨＭＤ２とを連携させるか否かは、予め設定されてもよく、ユーザが撮像装置１１を撮像モードに切り替えたときに設定できるようにしてもよい。

上記の撮像装置１１およびＨＭＤ２によれば、ユーザは、撮像機能に特化している撮像装置１１、および広範囲にわたってＡＲオブジェクトを表示可能なＨＭＤ２のそれぞれの長所を生かした撮影支援が可能となる。

＜その他の実施形態＞
なお、撮像オブジェクトは、実際に撮影をしている範囲を示すＡＲオブジェクトに限られない。撮像オブジェクトは、撮影範囲と一致させるのではなく、撮影範囲の一部とすることも可能である。この場合、支援オブジェクトは、理想とする移動先の撮影範囲の一部とすればよい。支援オブジェクトの範囲は、ユーザが撮像オブジェクトを支援オブジェクトに合わせ込むことで、理想とするカメラワークが実現されるように決定されればよい。撮像オブジェクトを撮影範囲の一部とすることで、ユーザは、撮影範囲の全体を支援オブジェクトに合わせ込む場合よりも、精度よく撮像オブジェクトを支援オブジェクトに追従させることができる。

また、支援オブジェクトは、１つに限られず複数表示されてもよい。例えば、画像処理部１０２（画像処理部２０２）は、撮像オブジェクトと生成した第１の支援オブジェクトとの、位置、向き、移動速度のうちの少なくともいずれかの変化量に基づいて、第２の支援オブジェクトを生成することができる。同様に、画像処理部１０２（画像処理部２０２）は、３つ以上の支援オブジェクトを生成することも可能である。複数の支援オブジェクトが表示されることで、ユーザは、撮像装置の移動先を予測しやすくなる。

また、支援オブジェクトを生成するための撮像装置１の所定の位置および所定の向きは、外部から与えられてもよい。例えば、撮像装置１を用いて過去（例えば数日以上前）に撮影した際の撮像装置１の位置および向きが、支援オブジェクトを生成するための所定の位置および向きとして与えられてもよい。これにより、過去の撮影画像の撮影範囲を支援オブジェクトとして重畳表示することができ、ユーザは、過去に撮影した画像と同じ位置および向きの画像を撮影することができる。

上述の各実施形態は、本発明の構成を例示的に説明するものに過ぎない。本発明は上述の具体的な形態に限定されることはなく、その技術的思想の範囲内で種々の組み合わせまたは変形が可能である。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は
記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１：撮像装置、１０１：演算部（ＣＰＵ）、１０２：画像処理部、１０６：表示部、１０７：撮像部、１０９：３次元空間認識手段

Claims (20)

1. 撮像装置での撮影を支援するための電子機器であって、
   前記撮像装置の現在の撮影範囲に対応する仮想空間における第１オブジェクトと、前記撮像装置が所定の位置および所定の向きを有する場合の撮影範囲に対応する仮想空間における第２オブジェクトとを生成する生成手段と、
   前記第１オブジェクトおよび前記第２オブジェクトを表示する表示制御手段と、
   を有することを特徴とする電子機器。
2. 前記表示制御手段は、現実空間を撮像した画像に、前記第１オブジェクトおよび前記第２オブジェクトを重畳させて、前記第１オブジェクトおよび前記第２オブジェクトを表示する、
   ことを特徴とする請求項１に記載の電子機器。
3. 前記生成手段は、前記撮像装置の今後の動きを示す軌跡情報に基づいて、前記所定の位置および前記所定の向きを決定する、
   ことを特徴とする請求項１または２に記載の電子機器。
4. 前記軌跡情報は、ユーザによって入力される、
   ことを特徴とする請求項３に記載の電子機器。
5. 前記軌跡情報は、前記撮像装置を一定速度で直進させる動き、前記撮像装置またはユーザを中心に水平方向に回転させる動き、前記撮像装置の撮像軸を中心に前記撮像装置を一定速度で回転させる動き、被写体を中心として前記撮像装置を回転させる動き、の少なくともいずれかを含む、
   ことを特徴とする請求項３または４に記載の電子機器。
6. 前記生成手段は、前記軌跡情報に基づいて、将来の複数の時点における前記撮像装置の位置および向きを前記所定の位置および前記所定の向きとして、複数の前記第２オブジェクトを生成する、
   ことを特徴とする請求項３から５のいずれか１項に記載の電子機器。
7. 前記生成手段は、過去の前記撮像装置の位置および向きと、現在の前記撮像装置の位置および向きとの変化に基づいて、前記所定の位置および前記所定の向きを決定して、前記第２オブジェクトを生成する、
   ことを特徴とする請求項１または２に記載の電子機器。
8. 前記生成手段は、前記撮像装置が前記過去の位置および向きを有する場合の撮影範囲に対応する仮想空間における第３オブジェクトをさらに生成し、
   前記表示制御手段は、前記第３オブジェクトをさらに表示する、
   ことを特徴とする請求項７に記載の電子機器。
9. 現実空間における物体の配置および前記物体までの距離を認識して仮想空間の情報を取得する取得手段、をさらに有する、
   ことを特徴とする請求項１から８のいずれか１項に記載の電子機器。
10. 前記生成手段は、前記第１オブジェクトの位置が、前記撮像装置の焦点距離の位置、前記撮像装置から所定の距離の位置、前記第１オブジェクトの大きさが所定の大きさとなる位置のいずれかとなるように、前記第１オブジェクトを生成する、
    ことを特徴とする請求項１から９のいずれか１項に記載の電子機器。
11. 前記生成手段は、前記所定の位置と前記第２オブジェクトの位置との相対関係が、前記撮像装置の現在の位置と前記第１オブジェクトの位置との相対関係と等しくなるように、前記第２オブジェクトを生成する、
    ことを特徴とする請求項１から１０のいずれか１項に記載の電子機器。
12. 前記表示制御手段は、前記第１オブジェクトと前記第２オブジェクトとの位置の差と向きの差のいずれかが閾値以上の場合に、前記第２オブジェクトを表示する、
    ことを特徴とする請求項１から１１のいずれか１項に記載の電子機器。
13. 前記表示制御手段は、前記電子機器の移動速度が一定でない場合、または前記電子機器が移動する軌跡が規則的でない場合のいずれかの場合に、前記第２オブジェクトを表示する、
    ことを特徴とする請求項１から１２のいずれか１項に記載の電子機器。
14. 前記撮像装置は、前記電子機器に組み込まれている、
    ことを特徴とする請求項１から１３のいずれか１項に記載の電子機器。
15. 前記撮像装置は、前記電子機器とは別体である、
    ことを特徴とする請求項１から１３のいずれか１項に記載の電子機器。
16. 前記電子機器は、頭部装着型の表示装置である、
    ことを特徴とする請求項１から１５のいずれか１項に記載の電子機器。
17. 前記生成手段は、前記第１オブジェクトおよび前記第２オブジェクトの生成処理を外部装置に依頼し、前記外部装置が生成した前記第１オブジェクトおよび前記第２オブジェクトを取得する、
    ことを特徴とする請求項１から１６のいずれか１項に記載の電子機器。
18. 撮像装置での撮影を支援するための電子機器の制御方法であって、
    前記撮像装置の現在の撮影範囲に対応する仮想空間における第１オブジェクトと、前記撮像装置が所定の位置および所定の向きを有する場合の撮影範囲に対応する仮想空間における第２オブジェクトとを生成する生成ステップと、
    前記第１オブジェクトおよび前記第２オブジェクトを表示する表示制御ステップと、
    を有することを特徴とする電子機器の制御方法。
19. コンピュータを、請求項１から１７のいずれか１項に記載の電子機器の各手段として機能させるためのプログラム。
20. コンピュータを、請求項１から１７のいずれか１項に記載の電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images