JP2023174452A - 制御装置、撮像装置、制御方法、およびプログラム - Google Patents

Abstract

【課題】ユーザの意図を正確に反映した探索エリアを用いてオートフレーミング制御を行うことが可能な制御装置を提供する。【解決手段】制御装置（１）は、距離計測部を用いて得られた３次元空間に関する情報と、ユーザにより指定された３次元図形に関する情報とを取得する取得部（１０１ａ）と、３次元空間に関する情報と３次元図形に関する情報とに基づいて探索エリアを決定する決定部（１０１ｂ）と、探索エリアにおける主要被写体が撮影画角に含まれるように自動で画角制御を行う制御部（１０１ｃ）とを有する。【選択図】図３

Description

本発明は、制御装置、撮像装置、制御方法、およびプログラムに関する。

従来、ユーザの操作によらず自動で撮影画角の制御（オートフレーミング）を行う撮像装置が知られている。特許文献１には、３次元空間上に指定した任意の仮想オブジェクトを用いてオートレリーズする撮像装置が開示されている。具体的には、現実空間に存在する被写体が仮想オブジェクトの外に出る、あるいは、内に入るタイミングで自動的に撮影を行うことにより、ユーザの操作によらず自動で撮影を行うことが可能となる。

特開２０１４－１５５１７３号公報

特許文献１に開示された撮像装置では、仮想オブジェクトに基づく探索エリアにおいて被写体を探索することが開示されていないため、オートフレーミングを行うことができない。

そこで本発明は、ユーザの意図を正確に反映した探索エリアを用いてオートフレーミング制御を行うことが可能な制御装置を提供することを目的とする。

本発明の一側面としての制御装置は、距離計測部を用いて得られた３次元空間に関する情報と、ユーザにより指定された３次元図形に関する情報とを取得する取得部と、前記３次元空間に関する情報と前記３次元図形に関する情報とに基づいて探索エリアを決定する決定部と、前記探索エリアにおける主要被写体が撮影画角に含まれるように自動で画角制御を行う制御部とを有する。

本発明の他の目的及び特徴は、以下の実施形態において説明される。

本発明によれば、ユーザの意図を正確に反映した探索エリアを用いてオートフレーミング制御を行うことが可能な制御装置を提供することができる。

各実施形態における撮像装置のブロック図である。 各実施形態における撮像装置の外観図である。 第１実施形態における制御方法のフローチャートである。 第１実施形態における探索エリアとオートフレーミング位置との関係を示す概略図である。 第１実施形態における複雑な形状の探索エリアの例を示す図である。 第２実施形態における撮像装置のブロック図である。 第２実施形態における制御方法のフローチャートである。 第２実施形態における探索エリアとオートフレーミング位置との関係を示す概略図である。 第３実施形態における撮像装置のブロック図である。 第３実施形態における制御方法のフローチャートである。 第３実施形態における距離の測定結果を示す図である。 第３実施形態における探索エリアとオートフレーミング位置との関係を示す概略図である。 第４実施形態における撮像装置のブロック図である。 第４実施形態における制御方法のフローチャートである。 第４実施形態における探索エリアとオートフレーミング位置との関係を示す概略図である。 第５実施形態における探索エリアとオートフレーミング位置との関係を示す概略図である。 第６実施形態における制御方法のフローチャートである。 第６実施形態における探索エリアとオートフレーミング位置との関係を示す概略図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

まず、図１および図２を参照して、各実施形態における撮像装置１について説明する。図１は、撮像装置１のハードウェア構成を示すブロック図である。図２は、撮像装置１の外観図である。なお、図１および図２において、同一符号は同一要素を示す。

撮像装置１は、演算部（ＣＰＵ）１０１、情報処理部１０２、通信部１０３、一次記憶部（ＤＲＡＭ）１０４、二次記憶部（フラッシュメモリ）１０５、光学撮像部１０６、光学駆動部１０７、３次元空間認識部１０８、表示部１０９、および操作部１１０を有する。撮像装置１の各部は、バス１１１を介して、データをやり取りすることができる。

演算部１０１は、撮像装置１の各部を制御する制御装置であり、取得部１０１ａ、決定部１０１ｂ、および制御部１０１ｃを有する。取得部１０１ａは、３次元空間認識部１０８により認識された（３次元空間認識部１０８の距離計測部を用いて得られた）３次元空間に関する情報と、ユーザにより指定された３次元図形（仮想オブジェクト）に関する情報とを取得する。決定部１０１ｂは、３次元空間に関する情報と３次元図形に関する情報とに基づいて（３次元空間と、３次元空間内に配置された３次元図形とに基づいて）、探索エリアを決定する。制御部１０１ｃは、探索エリアにおける主要被写体が撮影画角に含まれるように自動で画角制御（オートフレーミング制御）を行う。

情報処理部１０２は、光学撮像部１０６により取得された画像データの演算処理、光学撮像部１０６により取得された各種評価値の演算処理、通信部１０３により取得されたデータの演算処理、および光学駆動部１０７の制御に利用するデータの演算処理を行う。通信部１０３は、外部装置などとの通信を行う通信手段として機能する。一次記憶部１０４は、演算部１０１または情報処理部１０２により利用されるデータを一時的に記憶する。二次記憶装置１０５は、演算部１０１の処理で利用されるデータ、または情報処理部１０２で処理し符号化された記録画像などを記憶する。

光学撮像部１０６は、光学系および撮像素子を有し、光学系により形成された被写体像（光学像）を光電変換して画像データを出力する撮像手段として機能する。光学駆動部１０７は、光学撮像部１０６の光学系を駆動して光学系の位置を変化させる駆動手段として機能する。光学系は、光学駆動部１０７により、ズームやアイリス（絞り）の駆動が可能であり、例えば、画角をパン軸、ティルト軸、またはロール軸の少なくとも一つの軸を中心として回転可能である。パン軸およびティルト軸の回転は、光学系および撮像素子を含む光学撮像部１０６の全体の角度を調整することで行われる。ロール軸の回転は、撮像素子の角度を調整することで行う。また撮像装置１は、上下、左右、および前後への移動の少なくとも一つが可能に構成されてもよい。なお各実施形態において、撮像装置１として代表的な自動撮影カメラを説明するが、撮像装置１の光学駆動部１０７の形態は問わない。撮像装置１は、例えば、ドローンのように機体自体を移動または回転させることでフレーミング可能に構成されていてもよく、または、ジンバルなどの稼働雲台のように外付けの機材で光学駆動部１０７を装備してもよい。

３次元空間認識部１０８は、ステレオカメラやＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）センサなどの距離計測部を含み、距離計測部を用いて現実空間（３次元空間）の距離情報を認識する認識手段として機能する。本実施形態において、３次元空間認識部１０８により認識された３次元空間に関する情報（３次元空間情報）は、演算部１０１に出力され、演算部１０１の取得部１０１ａにより取得される。なお、３次元空間認識部１０８は、撮像装置１と一体的に設けられている構成に限定されるものではなく、撮像装置１のカメラ本体と別体として（カメラ本体から物理的に離れて）設けられていてもよい。また、３次元空間認識部１０８は、一つの距離計測部を有する構成に限定されるものではなく、互いに離れて配置された複数の距離計測部を備え、複数の距離計測部により計測された距離情報を利用して３次元空間を認識するように構成されていてもよい。

表示部１０９は、例えば、タッチパネルを装備したディスプレイなどの表示手段として機能し、画像を表示するとともにユーザの指やスタイラスなどを用いて操作を入力可能できる。操作部１１０は、ボタンまたはダイヤルなどのユーザの操作を入力する操作手段として機能し、１つ以上搭載されてもよいし、表示部１０９に代えてもよい。

以下、６つの実施形態について説明する。第１実施形態は、１つの撮像装置のみを用いたオートフレーミング制御に関する。オートフレーミング制御とは、ユーザの操作によらず自動で行う撮影画角の制御、例えば主要被写体を含むようなパン・ティルト制御、また主要被写体が画角の中で所定の大きさを保つように自動でズーミングを行う制御、あるいはその両方などである。第２実施形態は、複数の撮像装置を連携して用いた同オートフレーミング制御に関する。第３実施形態は、３次元空間認識部１０８により認識された３次元空間に関する情報（３次元空間情報）が、撮像装置１からの相対座標系で表現されており、簡単にオートフレーミング制御を行う形態である。第４実施形態は、主要被写体とユーザが指定した領域が撮影画角に含まれるようにオートフレーミング制御を行う形態である。第５実施形態は、主要被写体とユーザが指定した探索エリア外の領域が撮影画角に含まれるようにオートフレーミング制御を行う形態である。第６実施形態は、主要被写体とユーザが指定した複数の領域が撮影画角に含まれるようにオートフレーミング制御を行う形態である。

（第１実施形態）
まず、図３乃至図５を参照して、第１実施形態の制御方法（オートフレーミング制御）について説明する。本実施形態の制御方法は、図１および図２に示される撮像装置１を用いて実行される。図３は、本実施形態における制御方法のフローチャートである。図４は、探索エリアとオートフレーミング位置との関係を示す概略図である。図５は、複雑な形状の探索エリアの例を示す図である。

まず、図３のステップＳ３００にてオートフレーミング制御が開始する。本実施形態では、ユーザが撮像装置１の操作部１１０を操作して撮像装置１が撮影モードへ移行すると、撮像装置１の演算部１０１は、ステップＳ３００にてオートフレーミング制御を開始する。演算部１０１は、以下のフローに基づくプログラムを実行する。

まずステップＳ３０１において、演算部１０１（取得部１０１ａ）は、３次元空間認識部１０８から、少なくとも１つの視点からの画像と距離情報に基づき生成される現実空間における各物体のモデルおよび配置をそれぞれ規定した３次元空間情報を取得する。演算部１０１により取得された３次元空間情報は、一次記憶部１０４に記憶される。続いてステップＳ３０２において、演算部１０１は、通信部１０３または操作部１１０を介して入力されるユーザの指示に従い、図４に示されるような仮想オブジェクト４００を配置する。すなわち演算部１０１は、現実空間（３次元空間）に仮想オブジェクト４００を重畳させた画像を生成する。本実施形態では、例えば、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）や複合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ：ＭＲ）などの技術を用いることができる。また撮像装置１として、頭部装着型表示装置（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：ＨＭＤ）、カメラ搭載のスマートフォン、またはタブレット端末などのカメラを用いることができる。これにより、仮想オブジェクト４００は、奥行き方向の情報を保持し、かつ現実空間に連動した位置（現実空間に関連付けられた絶対位置）に配置（マッピング）することができる。

本実施形態において、オートフレーミングの対象となる探索エリアは、仮想オブジェクト４００の内側エリアである。ただし本実施形態は、これに限定されるものではなく、探索エリアを仮想オブジェクト４００の外側エリアとしてもよい。なお仮想オブジェクト４００は、ライブビュー（ＬＶ）画像には補助的に表示されるが、記録画像には表示されないように設定可能である。

仮想オブジェクト４００は、任意の３次元図形である。例えば、コンピュータなどを用いて事前に作成された任意の３次元図形に関する情報を、通信部１０３を介して外部装置（情報処理装置または第２撮像装置など）から取得して仮想オブジェクト４００を設定することができる。または、直方体または円柱などの基本形状の図形（事前に作成され撮像装置１に記憶されている図形）を操作部１１０を用いて選択し、選択した図形を表示部１０９に表示されているＬＶ画像における所望の位置に配置して仮想オブジェクト４００を設定してもよい。仮想オブジェクト４００は、ステップＳ３０１にて取得した３次元空間情報に関連付けられた位置に配置されることで、従来のような撮像装置との相対位置に関する情報ではなく、３次元空間に対する位置情報（絶対位置に関する情報）が撮像装置１に保持される。

なお図４において、探索エリア（仮想オブジェクト４００の内側エリア）は直方体の図形形状であるが、これに限定されるものではなく、探索エリアを例えば図５に示されるようなドーナツ型の図形形状（仮想オブジェクト５００の内部エリア）としてもよい。図５は、陸上トラック５０４における中央のレーンにのみ仮想オブジェクト５００を配置し、被写体５０１～５０３のうち中央のレーンを走っている被写体５０２のみを主要被写体としてオートフレーミングを行う例である。この場合、中央のレーン以外を走る被写体５０１および被写体５０３をオートフレーミングの対象から除外することができる。

続いて、図３のステップＳ３０３において、演算部１０１は、探索エリアおよび探索エリアから所定範囲内のエリアが、光学撮像部１０６の撮影画角に収まるように光学駆動部１０７を制御する。そして演算部１０１は、探索エリアおよび探索エリアから所定範囲内のエリアにおいて主要被写体を探索する（被写体探索を行う）。主要被写体は、探索エリアに全て含まれている被写体から探索してもよく、または、探索エリアに一部含まれている被写体から探索してもよい。例えば、演算部１０１（決定部１０１ｂ）は、探索エリアと被写体との重なり度合いに基づいて主要被写体を決定する。演算部１０１は、重なり度合いに基づいて、被写体の全体が探索エリアに含まれていると判定した場合、被写体を主要被写体として決定する。または、演算部１０１は、重なり度合いに基づいて、被写体の一部が探索エリアに含まれていると判定した場合、被写体を主要被写体として決定してもよい。主要被写体の探索は、例えば、公知の一般物体認識結果、特徴点検出結果、または動きベクトル検出結果などに基づいて実施される。

続いてステップＳ３０４において、演算部１０１は、主要被写体を決定したか否かを判定する。主要被写体が決定された場合、ステップＳ３０５に進む。一方、主要被写体が決定されていない場合、ステップＳ３０３に戻る。図４は、被写体４０１～４０６のうち、仮想オブジェクト４００に含まれている被写体４０３、４０４がオートフレーミング対象の被写体であり、オートフレーミング対象の被写体４０３、４０４のうち被写体４０３が主要被写体として決定された場合を示す。

ステップＳ３０５において、演算部１０１は、主要被写体（被写体４０３）が撮影画角内に収まるように光学駆動部１０７を制御して、オートフレーミング位置４０７を決定する。続いてステップＳ３０６において、演算部１０１は、主要被写体が探索エリアに含まれているか否かを判定する。主要被写体が探索エリアに含まれている場合、ステップＳ３０５に戻り、演算部１０１はオートフレーミングを継続する。一方、主要被写体が探索エリアに含まれていない場合、演算部１０１はオートフレーミングを一度停止し、ステップＳ３０７に進む。ステップＳ３０７において、演算部１０１は、撮影モードが終了したか否か、すなわち操作部１１０による撮影モード終了が指示されたか否かを判定する。撮影モードが終了した場合、ステップＳ３０８に進み、撮影（オートフレーミング制御）を終了する。一方、撮影モードが終了していない場合、ステップＳ３０３に戻り、演算部１０１は、新たな主要被写体を探索して決定し、決定された新たな主要被写体に対してオートフレーミングを行う。

なお本実施形態では、撮像装置１の情報処理部１０２において各種の算出処理を行うが、撮像装置１の通信部１０３を用いてクラウドなど外部装置と通信し、クラウドなどの外部装置上で算出処理を行ってもよい。なお、本実施形態のオートフレーミング制御は、静止画撮影または動画撮影のいずれにも適用可能である。

本実施形態によれば、複雑な形状の探索エリアを指定することができる。また本実施形態によれば、現実空間に探索エリアを絶対座標としてマッピングさせることが可能となる。すなわち、撮像装置１を移動させても、探索エリアは移動することはなく、探索エリアを現実空間においてマッピングされた位置に固定させることができる。

（第２実施形態）
次に、図６乃至図８を参照して、第２実施形態の制御方法（オートフレーミング制御）について説明する。第１実施形態では、１つの撮像装置のみを用いてオートフレーミング制御を行う例を説明した。一方、複数の撮像装置を用いて共通の探索エリアにおいてオートフレーミング制御を行う場合、複数の撮像装置それぞれに対して、探索エリアを各々指定する必要がある。そこで本実施形態では、複数の撮像装置を連携してオートフレーミング制御を行い、探索エリアの共有を簡単化する。

図６は、本実施形態における撮像装置（第１撮像装置）１および撮像装置（第２撮像装置）２のハードウェア構成を示すブロック図である。図６に示される撮像装置１は、図１に示される撮像装置１のハードウェア構成と同様であるため、その説明は省略する。撮像装置２は、演算部（ＣＰＵ）２０１、情報処理部２０２、通信部２０３、一次記憶部（ＤＲＡＭ）２０４、二次記憶部（フラッシュメモリ）２０５、光学撮像部２０６、光学駆動部２０７、３次元空間認識部２０８、表示部２０９、および操作部２１０を有する。演算部２０１は、取得部２０１ａ、決定部２０１ｂ、および制御部２０１ｃを有する。撮像装置２の各部は、バス２１１を介して、データをやり取りすることができる。なお撮像装置２の各部は、撮像装置１の各部と同様であるため、その説明は省略する。撮像装置１と撮像装置２は、通信部１０３と通信部２０３とを介して通信を行う。本実施形態では、撮像装置１は探索エリアを送信するマスター側の撮像装置、撮像装置２は探索エリアを受信するスレーブ側の撮像装置として説明する。

図７は、本実施形態における制御方法のフローチャートである。図８は、探索エリアとオートフレーミング位置との関係を示す概略図である。なお図７において、図３と同様のステップは同じ符号を付し、その説明を省略する。

ステップＳ３０２にて撮像装置１の演算部１０１が探索エリアを指定すると、ステップＳ７００に進む。ステップＳ７００において、演算部１０１は、撮像装置１の通信部１０３を用いて、探索エリアに対応する仮想オブジェクト４００の形状および位置の情報を撮像装置２（スレーブ側の撮像装置）の通信部２０３へ送信する。

ステップＳ７０１において、撮像装置２の演算部２０１は、通信部２０３を用いて、仮想オブジェクト４００の形状および位置の情報を撮像装置１（マスター側の撮像装置）の通信部１０３から受信する。続いてステップＳ７０２において、演算部２０１は、受信した仮想オブジェクト４００の情報と、３次元空間認識部２０８を用いて取得された３次元空間情報とを対応させ、撮像装置２の３次元空間情報に仮想オブジェクト４００を配置して探索エリアを指定する。これにより、図８に示されるように、撮像装置１と撮像装置２とで仮想オブジェクト４００が共有される。そして、仮想オブジェクト４００に含まれている被写体４０３、４０４に対して、撮像装置１と撮像装置２とが各々にオートフレーミング制御を行うことが可能となる。図８は、被写体４０３が撮像装置１の撮影画角内に収まるようにオートフレーミング位置４０７が決定され、被写体４０４が撮像装置２の撮影画角内に収まるようにオートフレーミング位置８００が決定される例を示す。

なお本実施形態は、２つの撮像装置の連携について説明したが、これに限定されるものではなく、３つ以上の撮像装置の連携にも適用可能である。また本実施形態では、撮像装置１をマスター側、撮像装置２をスレーブ側として説明したが、２つの撮像装置１、２が共にマスター機能およびスレーブ機能の両機能を有してもよい。

本実施形態によれば、複数の撮像装置を用いたオートフレーミング制御において、探索エリアの共有を簡単化することが可能となる。

（第３実施形態）
次に、図９乃至図１２を参照して、第３実施形態の制御方法（オートフレーミング制御）について説明する。第１実施形態では、１つの撮像装置のみを用いてオートフレーミング制御を行う例を説明した。第２実施形態では、複数の撮像装置を連携してオートフレーミング制御を行い、探索エリアの共有を簡単化した。ここで、３次元空間認識部１０８にて３次元空間情報が絶対座標系で表現される場合、予め３次元空間を認識させておくキャリブレーション動作や、撮像装置付属の距離計測部で距離情報を取得する場合、通常、撮像装置からの距離情報（相対座標系）で表現される。このため、撮像装置の絶対座標上の位置を取得した後、相対座標から絶対座標への変換が必要など、複雑な手順が必要となる。そこで本実施形態では、３次元空間情報を撮像装置１からの相対座標系で表現することで、簡単にオートフレーミング制御を行えるようにする。

図９は、本実施形態における撮像装置３のハードウェア構成を示すブロック図である。図９に示される撮像装置３において、図１に示される撮像装置１のハードウェア構成と同様である部材は同じ符号を付し、その説明は省略する。撮像装置３は、相対座標系３次元空間認識部３０８を有する。相対座標系３次元空間認識部３０８は、ステレオカメラやＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）センサなどの距離計測部を含み、距離計測部を用いて現実空間（３次元空間）のカメラと被写体の間の距離情報を認識する認識手段として機能する。本実施形態において、相対座標系３次元空間認識部３０８により認識された３次元空間に関する情報（３次元空間情報）は、演算部１０１に出力され、演算部１０１の取得部１０１ａにより取得される。

図１０は、本実施形態における制御方法のフローチャートである。図１１は、撮像装置３から被写体１１００までの距離の測定結果を示す概略図である。なお図１０において、図３と同様のステップは同じ符号を付し、その説明を省略する。

まず、図１０のステップＳ１０００にてオートフレーミング制御が開始する。本実施形態では、ユーザが撮像装置３の操作部１１０を操作して撮像装置３が撮影モードへ移行すると、撮像装置３の演算部１０１は、ステップＳ１０００にてオートフレーミング制御を開始する。演算部１０１は、以下のフローに基づくプログラムを実行する。

まずステップＳ１００１において、演算部１０１（取得部１０１ａ）は、相対座標系３次元空間認識部３０８から、相対座標系の３次元空間情報を取得する。相対座標系の３次元空間情報とは、少なくとも１つの視点からの画像と距離情報に基づき生成される現実空間における各物体のモデルおよび配置をそれぞれ規定した３次元空間情報である。

ここで、通常、距離情報は、カメラと被写体までの相対座標系でされている。図１１は、撮像装置３から被写体１１００までの距離の測定結果を示しており、相対座標系の（ｓ１，ｔ１，ｕ１）にあることを示している。現実空間が絶対座標系で表現されている場合、相対座標系から絶対座標系への変換が必要だが、現実空間が相対座標系で表現されていれば、この変換は不要である。

演算部１０１により取得された３次元空間情報は、一次記憶部１０４に記憶される。続いてステップＳ１００２において、演算部１０１は、通信部１０３または操作部１１０を介して入力されるユーザの指示に従い、図１２に示されるような仮想オブジェクト１１０１を配置する。すなわち演算部１０１は、現実空間（３次元空間）に仮想オブジェクト１１０１を重畳させた画像を生成する。これにより、仮想オブジェクト１１０１は、奥行き方向の情報を保持し、かつ現実空間に連動した位置（現実空間に関連付けられた相対位置）に配置（マッピング）することができる。図１２においては、（ｓ１，ｔ１，ｕ１）～（ｓ９，ｔ９，ｕ９）の位置に配置される。

（第４実施形態）
次に、図１３乃至図１５を参照して、第４実施形態の制御方法（オートフレーミング制御）について説明する。第１実施形態では、１つの撮像装置のみを用いてオートフレーミング制御を行う例を説明した。第２実施形態では、複数の撮像装置を連携してオートフレーミング制御を行い、探索エリアの共有を簡単化した。第３実施形態は、３次元空間情報を相対座標系で表現してオートフレーミング制御を行う例を説明した。一方、主要被写体だけでなく主要被写体以外にも撮影画角に含めたい領域がある場合、主要被写体以外の撮影画角に含めたい領域もユーザが指定する必要がある。そこで本実施形態では、主要被写体と主要被写体以外のユーザが指定した領域の両方が撮影画角に含まれるようにオートフレーミング制御できるようにする。

図１３は、本実施形態における撮像装置４のハードウェア構成を示すブロック図である。図１３に示される撮像装置４において、図１に示される撮像装置１のハードウェア構成と同様である部材は同じ符号を付し、その説明は省略する。図１４は、本実施形態における制御方法のフローチャートである。図１４において、図３と同様のステップは同じ符号を付し、その説明を省略する。図１５は、探索エリアとオートフレーミング位置との関係を示す概略図である。図１５において、図４と同様のオブジェクトは同じ符号を付し、その説明を省略する。

図１４のステップＳ１４０２にて、演算部１０１は、通信部１０３または操作部１１０を介して入力されるユーザの指示に従い、図１５に示されるような仮想オブジェクト４００と仮想オブジェクト１５００を配置する。すなわち演算部１０１は、現実空間（３次元空間）に仮想オブジェクト４００と仮想オブジェクト１５００を重畳させた画像を生成する。本実施形態では、例えば、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）や複合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ：ＭＲ）などの技術を用いることができる。また撮像装置１として、頭部装着型表示装置（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：ＨＭＤ）、カメラ搭載のスマートフォン、またはタブレット端末などのカメラを用いることができる。これにより、仮想オブジェクト４００と仮想オブジェクト１５００は、奥行き方向の情報を保持し、かつ現実空間に連動した位置（現実空間に関連付けられた絶対位置）に配置（マッピング）することができる。

仮想オブジェクト４００と仮想オブジェクト１５００は、任意の３次元図形である。例えば、コンピュータなどを用いて事前に作成された任意の３次元図形に関する情報を、通信部１０３を介して外部装置（情報処理装置または第２撮像装置など）から取得して仮想オブジェクト４００と仮想オブジェクト１５００を設定することができる。または、直方体または円柱などの基本形状の図形（事前に作成され撮像装置４に記憶されている図形）を、操作部１１０を用いて選択してもよい。このとき、選択した図形を表示部１０９に表示されているＬＶ画像における所望の位置に配置して、仮想オブジェクト４００と仮想オブジェクト１５００を設定してもよい。仮想オブジェクト４００と仮想オブジェクト１５００は、ステップＳ３０１にて取得した３次元空間情報に関連付けられた位置に配置される。これにより、従来のような撮像装置との相対位置に関する情報ではなく、３次元空間に対する位置情報（絶対位置に関する情報）が撮像装置４に保持される。

ステップＳ１４０５において、演算部１０１は、主要被写体（被写体４０３）と仮想オブジェクト１５００が撮影画角内に収まるように光学駆動部１０７を制御して、オートフレーミング位置１５０７を決定する。

本実施形態によれば、主要被写体とユーザが指定した領域の両方を撮影画角に含めるようにオートフレーミング制御することが可能となる。

（第５実施形態）
次に、図１３、図１４、図１６を参照して、第５実施形態の制御方法（オートフレーミング制御）について説明する。第４実施形態では、主要被写体と主要被写体以外のユーザが指定した領域の両方が撮影画角に含まれるようにオートフレーミング制御を行う例を説明した。一方、主要被写体以外で撮影画角に含めたい領域が探索エリア外にある場合、主要被写体以外の撮影画角に含めたい領域もユーザが指定する必要がある。そこで本実施形態では、主要被写体と主要被写体以外のユーザが指定した領域の両方が撮影画角に含まれるようにオートフレーミング制御できるようにする。

図１３は、本実施形態における撮像装置４のハードウェア構成を示すブロック図である。図１３に示される撮像装置４において、図１に示される撮像装置１のハードウェア構成と同様である部材は同じ符号を付し、その説明は省略する。図１４は、本実施形態における制御方法のフローチャートである。図１４において、図３と同様のステップは同じ符号を付し、その説明を省略する。図１６は、探索エリアとオートフレーミング位置との関係を示す概略図である。図１６において、図４と同様のオブジェクトは同じ符号を付し、その説明を省略する。

図１４のステップＳ１４０２にて、演算部１０１は、通信部１０３または操作部１１０を介して入力されるユーザの指示に従い、図１６に示されるような仮想オブジェクト４００と仮想オブジェクト１６００を配置する。すなわち演算部１０１は、現実空間（３次元空間）に仮想オブジェクト４００と仮想オブジェクト１６００を重畳させた画像を生成する。実施形態４では、仮想オブジェクト１５００を仮想オブジェクト４００の内側に配置したが、本実施形態では、仮想オブジェクト１６００を仮想オブジェクト４００の外側に配置する。

ステップＳ１４０５において、演算部１０１は、主要被写体（被写体４０３）と仮想オブジェクト１６００が撮影画角内に収まるように光学駆動部１０７を制御して、オートフレーミング位置１６０７を決定する。本実施形態では、主要被写体（被写体４０３）と仮想オブジェクト１６００の両方が撮影画角内に収まるように、オートフレーミング位置１６０７を決定したが、これに限定されるものではない。例えば、主要被写体と仮想オブジェクト１６００の距離が遠い場合には、主要被写体のみが撮影画角内に収まるように、オートフレーミング位置を決定してもよい。

本実施形態によれば、主要被写体とユーザが指定した探索エリア外の領域の両方を撮影画角に含めるようにオートフレーミング制御することが可能となる。

（第６実施形態）
次に、図１３、図１７、図１８を参照して、第６実施形態の制御方法（オートフレーミング制御）について説明する。第４実施形態では、主要被写体と主要被写体以外のユーザが指定した領域の両方が撮影画角に含まれるようにオートフレーミング制御を行う例を説明した。一方、主要被写体以外で撮影画角に含めたい領域が複数ある場合、主要被写体以外の撮影画角に含めたい複数の領域もユーザが指定する必要がある。そこで本実施形態では、主要被写体と主要被写体以外のユーザが指定した複数の領域が撮影画角に含まれるようにオートフレーミング制御できるようにする。

図１３は、本実施形態における撮像装置４のハードウェア構成を示すブロック図である。図１３に示される撮像装置４において、図１に示される撮像装置１のハードウェア構成と同様である部材は同じ符号を付し、その説明は省略する。図１７は、本実施形態における制御方法のフローチャートである。図１７において、図３と同様のステップは同じ符号を付し、その説明を省略する。図１８は、探索エリアとオートフレーミング位置との関係を示す概略図である。図１８において、図４と同様のオブジェクトは同じ符号を付し、その説明を省略する。

図１７のステップＳ１７０２にて、演算部１０１は、通信部１０３または操作部１１０を介して入力されるユーザの指示に従い、図１８に示されるような仮想オブジェクト４００、仮想オブジェクト１８００、仮想オブジェクト１８０１を配置する。すなわち演算部１０１は、現実空間（３次元空間）に仮想オブジェクト４００、仮想オブジェクト１８００、仮想オブジェクト１８０１を重畳させた画像を生成する。本実施形態では、仮想オブジェクト１８００を仮想オブジェクト４００の外側に配置し、仮想オブジェクト１８０１を仮想オブジェクト４００の内側に配置したが、これに限定されるものではない。例えば、両方の仮想オブジェクトを仮想オブジェクト４００の内側に配置してもよいし、両方の仮想オブジェクトを仮想オブジェクト４００の外側に配置してもよい。

ステップＳ１７０５において、演算部１０１は、主要被写体（被写体４０３）と仮想オブジェクト１８００と仮想オブジェクト１８０１が撮影画角内に収まるように光学駆動部１０７を制御して、オートフレーミング位置１８０７を決定する。

本実施形態によれば、主要被写体とユーザが指定した複数の領域を撮影画角に含めるようにオートフレーミング制御することが可能となる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施形態によれば、ユーザの意図を正確に反映した探索エリアを用いてオートフレーミング制御を行うことが可能な制御装置、撮像装置、制御方法、およびプログラムを提供することができる。

各実施例の開示は、以下の構成および方法を含む。
（構成１）
距離計測部を用いて得られた３次元空間に関する情報と、ユーザにより指定された３次元図形に関する情報とを取得する取得部と、
前記３次元空間に関する情報と前記３次元図形に関する情報とに基づいて探索エリアを決定する決定部と、
前記探索エリアにおける主要被写体が撮影画角に含まれるように自動で画角制御を行う制御部と、を有することを特徴とする制御装置。
（構成２）
画像を表示する表示部を更に有し、
前記決定部は、ユーザにより指定された前記３次元図形が前記表示部に表示された前記画像における選択位置に配置されることで、前記探索エリアを決定することを特徴とする構成１に記載の制御装置。
（構成３）
前記決定部は、前記３次元空間に配置された前記３次元図形に基づいて、前記探索エリアを決定することを特徴とする構成１または２に記載の制御装置。
（構成４）
前記探索エリアは、前記３次元図形の内側であることを特徴とする構成１乃至３のいずれかに記載の制御装置。
（構成５）
前記探索エリアは、前記３次元図形の外側であることを特徴とする構成１乃至３のいずれかに記載の制御装置。
（構成６）
前記決定部は、前記探索エリアにおいて被写体探索を行い、前記主要被写体を決定することを特徴とする構成１乃至５のいずれかに記載の制御装置。
（構成７）
前記決定部は、前記探索エリアと被写体との重なり度合いに基づいて、前記主要被写体を決定することを特徴とする構成６に記載の制御装置。
（構成８）
前記決定部は、前記重なり度合いに基づいて、前記被写体の全体が前記探索エリアに含まれていると判定した場合、前記被写体を前記主要被写体として決定することを特徴とする構成７に記載の制御装置。
（構成９）
前記決定部は、前記重なり度合いに基づいて、前記被写体の一部が前記探索エリアに含まれていると判定した場合、前記被写体を前記主要被写体として決定することを特徴とする構成７に記載の制御装置。
（構成１０）
前記３次元空間に関する情報および前記３次元図形に関する情報は、該制御装置を基準とする相対座標系で表現されていることを特徴とする構成１乃至９のいずれかに記載の制御装置。
（構成１１）
前記３次元図形に関する情報は、第１の３次元図形に関する情報と、第２の３次元図形に関する情報とを含み、
前記決定部は、前記３次元空間に関する情報と前記第１の３次元図形に関する情報とに基づいて前記探索エリアを決定し、
前記制御部は、前記探索エリアにおける前記主要被写体と前記第２の３次元図形とが前記撮影画角に含まれるように前記画角制御を行うことを特徴とする構成１乃至１０のいずれかに記載の制御装置。
（構成１２）
前記制御部は、前記主要被写体の重心位置と前記第２の３次元図形の重心位置とに基づいて画角を評価し、評価結果に基づいて前記主要被写体と前記第２の３次元図形とが前記撮影画角に含まれるように前記画角制御を行うことを特徴とする構成１１に記載の制御装置。
（構成１３）
前記制御部は、前記主要被写体と前記第２の領域の距離が予め定めた閾値以上の場合、主要被写体のみが撮影画角に含まれるように画角制御を行うことを特徴とする構成１１または１２に記載の制御装置。
（構成１４）
前記第２の３次元図形は、前記第１の３次元図形の内側に位置することを特徴とする構成１１乃至１３のいずれかに記載の制御装置。
（構成１５）
前記第２の３次元図形は、前記第１の３次元図形の外側に位置することを特徴とする構成１１乃至１４のいずれかに記載の制御装置。
（構成１６）
前記３次元図形に関する情報は、第１の３次元図形に関する情報と、第２の３次元図形に関する情報と、第３の３次元図形に関する情報とを含み、
前記決定部は、前記３次元空間に関する情報と前記第１の３次元図形に関する情報とに基づいて前記探索エリアを決定し、
前記制御部は、前記探索エリアにおける前記主要被写体と前記第２の３次元図形と前記第３の３次元図形とが前記撮影画角に含まれるように前記画角制御を行うことを特徴とする構成１乃至１０のいずれかに記載の制御装置。
（構成１７）
前記第２の３次元図形と前記第３の３次元図形は、前記第１の３次元図形の内側に位置することを特徴とする構成１６に記載の制御装置。
（構成１８）
前記第２の３次元図形と前記第３の３次元図形は、前記第１の３次元図形の外側に位置することを特徴とする構成１６に記載の制御装置。
（構成１９）
前記第２の３次元図形は前記第１の３次元図形の内側に位置し、前記第３の３次元図形は前記第１の３次元図形の外側に位置することを特徴とする構成１６に記載の制御装置。
（構成２０）
構成１乃至１９のいずれか一項に記載の制御装置と、撮像部とを有することを特徴とする撮像装置。
（構成２１）
前記撮像部を駆動する駆動部を更に有し、
前記決定部は、前記探索エリアにおいて前記駆動部を用いた被写体探索を行い、前記主要被写体を決定することを特徴とする構成２０に記載の撮像装置。
（構成２２）
操作部を更に有し、
前記３次元図形は、ユーザによる前記操作部の操作により作成されることを特徴とする構成２０または２１に記載の撮像装置。
（構成２３）
外部装置と通信を行う通信部を更に有し、
前記通信部は、前記外部装置から前記３次元図形に関する情報を受信することを特徴とする構成２０または２１に記載の撮像装置。
（構成２４）
前記画角制御は、前記主要被写体が前記撮影画角に含まれるように自動でパン、ティルト、及びズームの少なくとも１つを制御することであることを特徴とする構成２０乃至２３に記載の撮像装置。
（構成２５）
前記外部装置は、情報処理装置であることを特徴とする構成２３に記載の撮像装置。
（構成２６）
前記外部装置は、第２撮像装置であることを特徴とする構成２３に記載の撮像装置。
（構成２７）
前記距離計測部を用いて前記３次元空間を認識する認識部を更に有することを特徴とする構成２０乃至２６のいずれかに記載の撮像装置。
（方法１）
距離計測部を用いて得られた３次元空間に関する情報を取得するステップと、
ユーザにより指定された３次元図形に関する情報を取得するステップと、
前記３次元空間に関する情報と前記３次元図形に関する情報とに基づいて探索エリアを決定するステップと、
前記探索エリアにおける主要被写体が撮影画角に含まれるように自動で画角制御を行うステップと、を有することを特徴とする制御方法。
（構成２８）
方法１に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０１ 演算部（制御装置）
１０１ａ 取得部
１０１ｂ 決定部
１０１ｃ 制御部

Claims (29)

1. 距離計測部を用いて得られた３次元空間に関する情報と、ユーザにより指定された３次元図形に関する情報とを取得する取得部と、
   前記３次元空間に関する情報と前記３次元図形に関する情報とに基づいて探索エリアを決定する決定部と、
   前記探索エリアにおける主要被写体が撮影画角に含まれるように自動で画角制御を行う制御部と、を有することを特徴とする制御装置。
2. 画像を表示する表示部を更に有し、
   前記決定部は、ユーザにより指定された前記３次元図形が前記表示部に表示された前記画像における選択位置に配置されることで、前記探索エリアを決定することを特徴とする請求項１に記載の制御装置。
3. 前記決定部は、前記３次元空間に配置された前記３次元図形に基づいて、前記探索エリアを決定することを特徴とする請求項１に記載の制御装置。
4. 前記探索エリアは、前記３次元図形の内側であることを特徴とする請求項１に記載の制御装置。
5. 前記探索エリアは、前記３次元図形の外側であることを特徴とする請求項１に記載の制御装置。
6. 前記決定部は、前記探索エリアにおいて被写体探索を行い、前記主要被写体を決定することを特徴とする請求項１に記載の制御装置。
7. 前記決定部は、前記探索エリアと被写体との重なり度合いに基づいて、前記主要被写体を決定することを特徴とする請求項６に記載の制御装置。
8. 前記決定部は、前記重なり度合いに基づいて、前記被写体の全体が前記探索エリアに含まれていると判定した場合、前記被写体を前記主要被写体として決定することを特徴とする請求項７に記載の制御装置。
9. 前記決定部は、前記重なり度合いに基づいて、前記被写体の一部が前記探索エリアに含まれていると判定した場合、前記被写体を前記主要被写体として決定することを特徴とする請求項７に記載の制御装置。
10. 前記３次元空間に関する情報および前記３次元図形に関する情報は、該制御装置を基準とする相対座標系で表現されていることを特徴とする請求項１に記載の制御装置。
11. 前記３次元図形に関する情報は、第１の３次元図形に関する情報と、第２の３次元図形に関する情報とを含み、
    前記決定部は、前記３次元空間に関する情報と前記第１の３次元図形に関する情報とに基づいて前記探索エリアを決定し、
    前記制御部は、前記探索エリアにおける前記主要被写体と前記第２の３次元図形とが前記撮影画角に含まれるように前記画角制御を行うことを特徴とする請求項１に記載の制御装置。
12. 前記制御部は、前記主要被写体の重心位置と前記第２の３次元図形の重心位置とに基づいて画角を評価し、評価結果に基づいて前記主要被写体と前記第２の３次元図形とが前記撮影画角に含まれるように前記画角制御を行うことを特徴とする請求項１１に記載の制御装置。
13. 前記制御部は、前記主要被写体と前記第２の領域の距離が予め定めた閾値以上の場合、主要被写体のみが撮影画角に含まれるように画角制御を行うことを特徴とする請求項１１に記載の制御装置。
14. 前記第２の３次元図形は、前記第１の３次元図形の内側に位置することを特徴とする請求項１１に記載の制御装置。
15. 前記第２の３次元図形は、前記第１の３次元図形の外側に位置することを特徴とする請求項１１に記載の制御装置。
16. 前記３次元図形に関する情報は、第１の３次元図形に関する情報と、第２の３次元図形に関する情報と、第３の３次元図形に関する情報とを含み、
    前記決定部は、前記３次元空間に関する情報と前記第１の３次元図形に関する情報とに基づいて前記探索エリアを決定し、
    前記制御部は、前記探索エリアにおける前記主要被写体と前記第２の３次元図形と前記第３の３次元図形とが前記撮影画角に含まれるように前記画角制御を行うことを特徴とする請求項１に記載の制御装置。
17. 前記第２の３次元図形と前記第３の３次元図形は、前記第１の３次元図形の内側に位置することを特徴とする請求項１６に記載の制御装置。
18. 前記第２の３次元図形と前記第３の３次元図形は、前記第１の３次元図形の外側に位置することを特徴とする請求項１６に記載の制御装置。
19. 前記第２の３次元図形は前記第１の３次元図形の内側に位置し、前記第３の３次元図形は前記第１の３次元図形の外側に位置することを特徴とする請求項１６に記載の制御装置。
20. 請求項１乃至１９のいずれか一項に記載の制御装置と、撮像部とを有することを特徴とする撮像装置。
21. 前記撮像部を駆動する駆動部を更に有し、
    前記決定部は、前記探索エリアにおいて前記駆動部を用いた被写体探索を行い、前記主要被写体を決定することを特徴とする請求項２０に記載の撮像装置。
22. 操作部を更に有し、
    前記３次元図形は、ユーザによる前記操作部の操作により作成されることを特徴とする請求項２０に記載の撮像装置。
23. 外部装置と通信を行う通信部を更に有し、
    前記通信部は、前記外部装置から前記３次元図形に関する情報を受信することを特徴とする請求項２０に記載の撮像装置。
24. 前記画角制御は、前記主要被写体が前記撮影画角に含まれるように自動でパン、ティルト、及びズームの少なくとも１つを制御することであることを特徴とする請求項２０に記載の撮像装置。
25. 前記外部装置は、情報処理装置であることを特徴とする請求項２３に記載の撮像装置。
26. 前記外部装置は、第２撮像装置であることを特徴とする請求項２３に記載の撮像装置。
27. 前記距離計測部を用いて前記３次元空間を認識する認識部を更に有することを特徴とする請求項２０に記載の撮像装置。
28. 距離計測部を用いて得られた３次元空間に関する情報を取得するステップと、
    ユーザにより指定された３次元図形に関する情報を取得するステップと、
    前記３次元空間に関する情報と前記３次元図形に関する情報とに基づいて探索エリアを決定するステップと、
    前記探索エリアにおける主要被写体が撮影画角に含まれるように自動で画角制御を行うステップと、を有することを特徴とする制御方法。
29. 請求項２８に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。