JP2021019228A - 撮像装置、コンピュータプログラムおよび記録媒体 - Google Patents

Abstract

【課題】複数の撮像部からの画像信号に基づいて広角画像信号を生成する撮像装置であって、被写体が二重像になる可能性を低減することのできる撮像装置を提供する。【解決手段】合成処理部において広角画像信号を生成する合成モード、または、第１の画像信号および第２の画像信号の両方を出力する非合成モードをユーザーが選択するためのユーザーインターフェースにおいて、非合成モードから合成モードへの切り替えが指示された場合に、ユーザーが注目する被写体の位置に基づいて、第１の撮像部および第２の撮像部の少なくともいずれか一方の撮影範囲を制御する制御部を備える撮像装置。【選択図】図１

Description

本発明は、撮像装置、コンピュータプログラムおよび記録媒体に関するものである。

近年、並べて配置された複数のカメラ（以下、多眼カメラ）で撮影した画像を合成することで、単一のカメラを使用した場合よりも広い撮影範囲の画像（以下、広角画像）を取得することができる撮像装置が提案されている。特許文献１には、各々の多眼カメラで撮影した画像をずらしながらマッチング処理を行うことによって、複数の画像間のズレ量を求め、広角画像を生成する撮像装置が提案されている。また、撮像装置の設置後に、ユーザーが監視したい場所を変更したい場合などに使用される撮像装置として、所謂ＰＴＺ（パンチルトズーム）機と呼ばれる、撮像装置の撮影方向を制御可能な撮像装置が提案されている。

特開２００４−１１８７８６号公報

特許文献１に示す撮像装置では、各々の多眼カメラの位置が固定されている。それに対し、各々の多眼カメラの撮影方向を制御する機構を追加することで、ユーザーが監視したい場所を変更することができる。しかしながら、特許文献１に開示されているように、マッチング処理によって多眼カメラで撮影した画像から広角画像を生成する際、以下のような課題が発生する。一般に、多眼カメラから被写体までの距離によって、各々の多眼カメラで撮影した画像間のズレ量が異なる。そのため、距離の異なる複数の被写体を撮影した場合、特定の被写体が重なるように画像をずらして広角画像を生成した場合、そのほかの被写体が二重像になってしまう。その結果、広角画像のつなぎ目の部分の視認性が低下しうる。

そこで、本発明では、複数の撮像部からの画像信号に基づいて広角画像信号を生成する撮像装置であって、被写体が二重像になる可能性を低減することのできる撮像装置を提供することを目的とする。

上記課題を解決するために、本発明の撮像装置は、第１の撮像部及び第２の撮像部と、第１の撮像部と第２の撮像部のうち少なくとも一方の撮影範囲を制御可能な駆動機構と、第１の撮像部で取得した第１の画像信号と、第２の撮像部で取得した第２の画像信号とを合成して広角画像信号を生成する合成処理部と、合成処理部において広角画像信号を生成する合成モード、または、第１の画像信号および第２の画像信号の両方を出力する非合成モードをユーザーが選択するためのユーザーインターフェースを含む画像を表示部に表示させる表示制御部と、ユーザーインターフェースにおいて、非合成モードから合成モードへの切り替えが指示された場合に、ユーザーが注目する被写体の位置に基づいて、第１の撮像部および第２の撮像部の少なくともいずれか一方の撮影範囲を制御する制御部と、を備えることを特徴とする。

本発明によれば、複数の撮像部からの画像信号に基づいて広角画像信号を生成する撮像装置において、被写体が二重像になる可能性を低減することができる。

実施形態１における撮像装置、およびそれを用いた監視システムを説明する図である。 実施形態１の撮像装置における、ユーザーインターフェースの表示と、撮影方向の関係の一例を示す図である。 実施形態１の撮像装置における、ユーザーインターフェースの表示と、撮影方向の関係の一例を示す図である。 重なり範囲において、二重像が発生するメカニズムについて説明する図である。 実施形態２の撮像装置における、ユーザーインターフェースの表示と、撮影方向の関係の一例を示す図である。 実施形態３の撮像装置における、ユーザーインターフェースの表示と、撮影範囲の関係の一例を示す図である。 実施形態４撮像装置における、ユーザーインターフェースの表示と、撮影範囲の関係の一例を示す図である。 実施形態５撮像装置における、ユーザーインターフェースの表示と、撮影範囲の関係の一例を示す図である。 実施形態６撮像装置における、ユーザーインターフェースの表示と、撮影範囲の関係の一例を示す図である。 実施形態６の撮像装置の駆動例を示すフローチャートである。

以下、図を用いて、本発明の実施形態における撮像装置について説明する。その際、図において同一の機能を有するものは同一の数字を付け、その繰り返しの説明は省略する。なお、実施形態においては、撮像装置としてネットワークカメラに適用した例について説明する。しかし、撮像装置は複数の撮像部を有する、デジタルスチルカメラ、デジタルムービーカメラ、カメラ付きのスマートフォン、カメラ付きのタブレットコンピュータなどの電子機器を含むものとする。

（実施形態１）
本実施形態における撮像装置１００、およびそれを用いた監視システム１９１について説明する。図１は、実施形態１における撮像装置１００、およびそれを用いた監視システム１９１を説明する図である。図１（Ａ）は撮像装置１００を上側（＋Ｚ軸側）から見た配置図である。図１（Ｂ）は、撮像装置１００とクライアント装置１８０を含む監視システム１９１内部の機能ブロック図である。撮像装置１００は、第１の撮像部１１０および第２の撮像部１２０、第１の駆動機構１１１、第２の駆動機構１２１、合成処理部１４０、制御部１３０、第１の送受信部１５０を備えている。

第１の駆動機構１１１、第２の駆動機構１２１は、駆動手段として機能し、各々、第１の撮像部１１０、第２の撮像部１２０の撮影方向を、同じ平面内（ＸＹ平面内）で制御可能となっている。本実施形態の撮像装置１００では、一例として、パン方向（パンニング方向）に撮影方向を制御できるように構成されている。

具体的には、図１（Ｂ）に示すように、第１の駆動機構１１１、第２の駆動機構１２１はモーターとギアを備え、モーターを駆動する電力を制御することで、第１の撮像部１１０、第２の撮像部１２０を、軸１０１を回転軸として回転できる構成となっている。モーターを駆動する電力は、制御部１３０によって制御されている。即ち、撮像装置１００は、第１の撮像部１１０、第２の撮像部の内、少なくとも一方の撮影方向を変更可能な駆動機構となっている。

第１の撮像部１１０、第２の撮像部１２０は、各々結像光学系１１２、１２２、ＣＭＯＳイメージセンサー等の固体撮像素子１１３、１２３を有している。また、結像光学系１１２、１２２を介して被写体像を固体撮像素子１１３、１２３上に結像させることで、画像を取得している。各々の固体撮像素子１１３、１２３の駆動と信号読み出しは、制御部１３０によって制御されている。なお、制御部１３０にはコンピュータとしてのＣＰＵが内蔵されており、不図示のメモリに記憶されたコンピュータプログラムに基づき装置全体の各種動作を実行する制御手段として機能する。

合成処理部１４０は、合成処理手段として機能し、第１の撮像部１１０で取得した第１の画像信号１１４および第２の撮像部１２０で取得した第２の画像信号１２４を合成して、広角画像（パノラマ画像）信号１３４を生成するためのものである。具体的には、画像の重複部分をずらしながら相関係数を求める、所謂パターンマッチングの技術を適用することで、複数の画像間の位置ずらし量を求め、広角画像信号１３４を生成すればよい。さらに、本実施形態の撮像装置１００では、合成処理部１４０において、広角画像信号１３４を生成するか、生成しないかを、ユーザーが選択している。合成処理部１４０は、合成モードが選択されている場合、広角画像信号１３４を出力し、非合成モードが選択されている場合、第１の画像信号１１４および第２の画像信号１２４の両方を出力する。

合成処理部１４０において、広角画像信号１３４を生成しない場合には、合成処理部１４０は第１の画像信号１１４、第２の画像信号１２４を合成せずにそれぞれ第１の送受信部１５０に送る。なお、本明細書において、撮影範囲とは撮像部によって撮像される範囲のことを指し、例えば撮影方向、ズーム倍率、撮像面の回転角度制御などによって撮影範囲が変化する。

第１の送受信部１５０は、合成処理部１４０から送られてきた画像信号（第１の画像信号１１４、第２の画像信号１２４、または広角画像信号１３４）を、有線又は無線などのネットワークを介して、外部のクライアント装置１８０に転送する。

外部のクライアント装置１８０は、撮像装置１００を制御するコマンドを、第２の送受信部１８１とネットワークを介して第１の送受信部１５０に送信する。それを受けて、撮像装置１００は、コマンドに対するレスポンスをクライアント装置１８０に返信する。コマンドとは、例えば第１の駆動機構１１１、第２の駆動機構１２１の制御である。即ち、ユーザーは、外部のクライアント装置１８０から、ネットワークを介して、第１の撮像部１１０、第２の撮像部１２０の向きを制御できるようになっている。クライアント装置１８０は例えばＰＣなどの外部機器であり、広角画像を表示する合成モードか、広角画像を生成せずに、第１の画像、第２の画像を独立して表示する非合成モードかを、ユーザーが選択できるユーザーインターフェース１６０を有している。また、クライアント装置１８０は、制御部１８２および表示部１８３を備えうる。

制御部１８２は、クライアント装置１８０内部の制御を行い、ＣＰＵ等のコンピュータを内蔵している。また、制御部１８２は、不図示のメモリを内蔵し、メモリには制御部内のＣＰＵの動作を制御するためのコンピュータプログラムが記憶されている。制御部１８２は、ユーザーインターフェース１６０において非合成モードから合成モードへの切り替えが指示された場合に、ユーザーが注目する被写体の位置に基づいて、第１の撮像部１１０または第２の撮像部１２０の撮影範囲を制御する。制御部１８２は、合成モードまたは非合成モードをユーザーが選択するためのユーザーインターフェース１６０を含む画像を表示部１８３に表示させる表示制御手段（表示制御部）としても機能する。表示部１８３は、表示手段として機能し、撮像装置１００から送られてきた画像信号などを表示するためのものである。ユーザーインターフェース１６０は各種のスイッチや、タッチパネル等を含む。更には表示部１８３上に表示されるボタンやアイコン等のＧＵＩを含む。ユーザーがユーザーインターフェース１６０を操作することによって撮像装置１００に対して各種の指示をすることができる。

本実施形態の撮像装置１００では、ユーザーインターフェース１６０によって選択された合成モード／非合成モードによって、広角画像の生成の有無を変更するとともに、第１の撮像部１１０、第２の撮像部１２０の撮影方向を制御している。

ネットワークは、有線ＬＡＮ、無線ＬＡＮ等により構成されている。また、ネットワークを介して撮像装置１００に電源を供給する構成となっていても良い。なお、本実施形態においては、合成処理部１４０は撮像装置１００の内部に設けられているが、クライアント装置１８０内に設けても良い。

また、図１に示す実施形態では、撮像装置１００が第１の送受信部１５０を備え、画像をクライアント装置１８０側に転送するとともに、クライアント装置１８０側からの命令で動作している例を示している。即ち、表示部１８３や制御部１８２やユーザーインターフェース１６０は撮像装置とは別体の例を示している。しかし、撮像装置１００が画像データを保存するメモリと、画像を表示する表示部１８３およびユーザーの支持を受け付けるスイッチやタッチパネル等のユーザーインターフェース１６０などの一部を一体的に有していても良い。即ち、撮像装置１００自身がクライアント装置１８０の機能を一体的に内蔵していても良く、本実施形態における撮像装置とはクライアント装置１８０の機能を一体または別体で有するシステム的な構成を指すものともいえる。

図２および図３は、実施形態１の撮像装置１００において、ユーザーが合成モード／非合成モードを指定するユーザーインターフェースと、第１の撮像部１１０と第２の撮像部１２０の撮影方向の関係の一例を示す図である。図２および図３における「合成モード」、「非合成モード」の左隣の丸は、黒丸のときにそのモードが選択されており、白丸のときにそのモードが選択されていないことを意味する。

まず、ユーザーが合成モードから非合成モードに切り替えた場合について説明を行う。図２（Ａ）、（Ｂ）には、初期状態として、ユーザーが合成モードを指定していた状態を示している。図２（Ａ）では、表示部１８３上のＧＵＩ等のユーザーインターフェース１６０に、第１の画像信号１１４と第２の画像信号１２４を合成して生成した広角画像信号１３４が表示されている。このとき、第１の撮像部１１０、第２の撮像部１２０は、それぞれ図２（Ｂ）に示す撮影方向を向いているものとする。図２（Ｂ）には、第１の撮像部１１０によって撮像される第１の撮影範囲１１５、および、第２の撮像部１２０によって撮像される第２の撮影範囲１２５を示している。本図において、第１の撮像部１１０と第２の撮像部１２０は異なる方向を撮影いるが、第１の撮影範囲１１５と第２の撮影範囲１２５の一部は重複している。

ここで、ユーザーが合成モードから非合成モードへの切り替えを指示したとする。すると、図２（Ｃ）に示すように、合成処理部１４０における広角画像信号１３４の生成を止め、ユーザーインターフェース１６０に、第１の画像信号１１４と第２の画像信号１２４を各々独立して表示する。この時、図２（Ｄ）に示すように、第１の撮像部１１０、第２の撮像部１２０の撮影方向はそのままである。即ち、第１の撮影範囲１１５と第２の撮影範囲１２５の一部は重複したままである。

一方、ユーザーが非合成モードから合成モードに切り替えた場合について説明を行う。図３（Ａ）、（Ｂ）には、初期状態として、ユーザーが非合成モードを指定していた状態を示している。図３（Ａ）では、ユーザーインターフェース１６０に、第１の画像信号１１４と第２の画像信号１２４が、各々独立して表示されている。このとき、第１の撮像部１１０、第２の撮像部１２０は、図３（Ｂ）に示す撮影方向を向いている。本図において、第１の撮像部１１０と第２の撮像部１２０は異なる方向を撮影しており、第１の撮影範囲１１５と第２の撮影範囲１２５は重複していない。

ここで、ユーザーが非合成モードから合成モードへの切り替えを指示したとする。この指示に加えて、ユーザーは第１の撮像部１１０と第２の撮像部１２０のどちらを基準に広角画像信号１３４を生成するかを指示する。以下では、一例として、第１の撮像部１１０を基準として指定した場合を説明する。

第１の撮像部１１０を基準とする場合、図３（Ｄ）に示すように、第２の撮像部１２０の撮影方向を変更する。そして、第２の撮像部１２０の撮影方向の変更が終了したのち、合成処理部１４０において広角画像信号１３４の生成を開始する。その後、図３（Ｃ）に示すように、ユーザーインターフェース１６０に、第１の画像信号１１４と第２の画像信号１２４を合成した広角画像信号１３４を表示する。

図３（Ｂ）と図３（Ｄ）を比較してわかるように、第１の撮像部１１０の撮影方向は変更せずにそのままにして、第２の撮像部１２０の撮影方向のみを変更している。なお、図３（Ｅ）に示すように、第１の撮像部１１０と第２の撮像部１２０の相対的な位置関係が変わるように、撮影方向を変更しても良い。即ち、図３（Ｄ）に示す状態とは反対の方向に第２の撮像部１２０が位置する状態となる。この際、ユーザーが、第２の撮像部１２０の、第１の撮像部１１０に対する相対的な位置関係が指定できるようなユーザーインターフェースになっていると更に好ましい。また、以上では、第１の撮像部１１０を基準とした場合を説明したが、第２の撮像部１２０を基準とした場合には、第２の撮影部の撮影方向はそのままに、第１の撮像部の撮影方向を、広角画像信号１３４が生成できるように変更すればよい。

このようにすることで、ユーザーが注目する被写体が、二重像になる可能性を低減しつつ、広角画像を生成することができる。以下でこの効果についての詳細な説明を行う。

まず、広角画像信号１３４の生成方法について説明する。広角画像信号１３４を生成するためには、第１の画像信号１１４と第２の画像信号１２４の間の位置ズレ量を求める必要がある。位置ズレ量を求めるためには、特許文献１に開示されているような、一般的な手法を用いることができる。例えば、第１の画像信号１１４と第２の画像信号１２４をずらしつつ、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）やＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）といった相関係数を計算する。そして、相関係数が最も高くなる位置ズレ量を求めればよい。

従って、ユーザーが非合成モードから合成モードへの切り替えを指示した場合、第１の撮影範囲１１５と、第２の撮影範囲１２５は、その一部が重複している必要がある。そのため、ユーザーが非合成モードから合成モードへの切り替えを指示した場合、第１の撮像部１１０、第２の撮像部１２０の少なくとも一方の撮影方向を変更する必要がある。以下では、第１の撮影範囲１１５と第２の撮影範囲１２５とが重複する範囲を重なり範囲１３５と呼ぶ。

図４は、重なり範囲１３５において、二重像が発生するメカニズムについて説明する図である。図４（Ａ）は、撮像装置１００からの距離が遠い被写体１７１および、撮像装置１００からの距離が近い被写体１７２を撮影した場合の、第１の画像信号１１４および第２の画像信号１２４を示したものである。本図において、位置ズレ量１８４は、第１の画像信号１１４と第２の画像信号１２４間での、距離の遠い被写体１７１の位置のズレ量を示している。一方、位置ズレ量１８５は、第１の画像信号１１４と第２の画像信号１２４間での、距離の近い被写体１７２の位置のズレ量を示している。

図４（Ａ）よりわかるように、距離の遠い被写体１７１の場合、位置ズレ量１８４は位置ズレ量１８５と比較して小さい。一方、距離の近い被写体１７２の場合、位置ズレ量１８５は位置ズレ量１８４と比較して大きい。従って、第１の画像信号１１４と第２の画像信号１２４を位置ズレ量１８４だけずらして重ねることで、被写体１７１が重なるように、広角画像信号１３４を生成した場合、図４（Ｂ）に示すように被写体１７２は二重像になってしまう。同様に、第１の画像信号１１４と第２の画像信号１２４を位置ズレ量１８５だけずらして重ねることで、被写体１７２が重なるように、広角画像信号１３４を生成した場合、図４（Ｃ）に示すように被写体１７１が二重像になってしまう。

このように、距離の異なる複数の被写体を撮影した場合、生成される広角画像信号１３４では、重なり範囲１３５において、いずれかの被写体が二重像になってしまいうる。そこで、本実施形態の撮像装置１００では、第１の撮影範囲１１５、第２の撮影範囲１２５のどちらを重視するかをユーザーが選択する。そして、選択した方の撮影範囲が、広角画像のつなぎ目になる可能性を低減するように、第１の撮像部１１０、第２の撮像部１２０の少なくとも一方の撮影方向を変更している。

図３（Ｂ）、（Ｄ）に示すように、非合成モードから合成モードに切り替えた際に、広角画像信号１３４が生成できるように、第２の撮像部１２０の撮影方向を変更しているため、第２の撮影範囲１２５に重なり範囲１３５が重なってしまう可能性がある。一方、第１の撮像部１１０の撮影方向はそのままとしているため、重なり範囲１３５は、第１の撮影範囲１１５の周辺領域のみにとどめることができる。

以上のように、ユーザーが注目する被写体を撮影している撮像部を、合成モード切り替え時の基準の撮像部、という形で指定することで、ユーザーが注目する被写体が、重なり範囲に含まれてしまう可能性を低減することができる。その結果、ユーザーが注目する被写体が、二重像になる可能性を低減することができ、広角画像の視認性を向上させることができる。

なお、一般に、ＳＳＤやＳＡＤによって相関係数を求める際、位置ズレ量を計算するために用いる画素信号の数が多いほど、精度の高い相関係数を求めることができる。重なり範囲１３５が大きいほど、位置ズレ量を計算するために用いる画素信号の数が多い。従って、重なり範囲１３５が大きいほど、精度の高い位置ズレ量を求めることができ、より品質の高い広角画像を生成することができる。

従って、重なり範囲１３５の大きさは、第１の画像信号１１４と第２の画像信号１２４の位置ズレ量を求めるために十分な大きさがある方が好ましい。具体的には、重なり範囲１３５に含まれる第１の画像信号１１４、第２の画像信号１２４中の画素信号の数が１００個以上あると好ましい。また、第１の撮影範囲１１５と第２の撮影範囲１２５のうち、相対的に広くない方の撮影範囲に対して、重なり範囲１３５の大きさが２０％以上であれば更に好ましい。

以上では、ユーザーが非合成モードから合成モードに切り替えた場合に、第１の撮像部１１０または第２の撮像部１２０の撮影方向を変更していたが、モードの切り替えとは別に、ユーザーが撮影方向を変更できる方が更に好ましい。この時、例えば、ユーザーインターフェース１６０をユーザーが操作することによって第１の撮像部１１０または第２の撮像部１２０の撮影方向を変更できることが好ましい。

但し、前述したように、広角画像信号１３４を生成するためには、第１の撮影範囲１１５と第２の撮影範囲１２５は、その一部が重複している必要がある。そこで、ユーザーが合成モードを選択している際には、第１の撮像部１１０と第２の撮像部１２０の撮影方向を、広角画像信号１３４が生成できる範囲に制限する方が好ましい。具体的には、重なり範囲１３５に含まれる第１の画像信号１１４、第２の画像信号１２４中の画素信号の数が１００個以上になるように、第１の撮像部１１０と第２の撮像部１２０の撮影方向を制限すると好ましい。また、例えば、広角画像信号１３４が生成できる範囲を第１の撮像部１１０または第２の撮像部１２０の撮影範囲の変更可能範囲として、ユーザーインターフェース１６０に表示させても良い。この場合、ユーザーは変更可能範囲を視認することが可能になり、制限内での撮影範囲の変更が容易となる。

また、第１の撮影範囲１１５と第２の撮影範囲１２５のうち、相対的に広くない方の撮影範囲に対して、重なり範囲１３５の大きさが２０％以上になるように、第１の撮像部１１０と第２の撮像部１２０の撮影方向を制限すると更に好ましい。

この時、ユーザーが合成モードを選択した際に、基準とした撮像部（図３では第１の撮像部１１０）の撮影方向は変更できないように制限すると好ましい。なぜならば、基準の撮像部の撮影範囲を変更してしまうと、その範囲と重なり範囲１３５が重なってしまう可能性が増えてしまうためである。基準の撮像部の撮影範囲を変更できないように制限することで、ユーザーが注目する被写体が、二重像になる可能性を低減することができ、広角画像の視認性を向上させることができる。

更に、そこで、ユーザーが合成モードを選択している際に、制限の範囲を越えて第１の撮像部１１０、第２の撮像部１２０の撮影方向の変更をユーザーから指示された場合、ユーザーインターフェース１６０に例えば、警告等の表示を出すと好ましい。具体的には、合成モードであるために撮影方向の変更が制限されている旨を表示すると好ましい。更に、非合成モードにモード変更することで、制限の範囲を越えた撮影方向の変更が可能である旨を表示すると更に好ましい。また、例えば、撮影範囲の変更が制限されていることがユーザーに理解できるような画像を表示させても良いし、音声によって警告をしても良い。

一方、合成処理部１４０において合成処理を行っていない場合には、第１の撮影範囲１１５と第２の撮影範囲１２５が重複していなくても良い。従って、ユーザーが非合成モードを選択している際には、第１の撮像部１１０と第２の撮像部１２０の撮影方向を自由に変更できるようにすると好ましい。

（実施形態２）
実施形態１に示す撮像装置１００では、ユーザーが注目する被写体が撮影されている撮影範囲を、合成モード切り替え時の基準の撮像部、という形で指定していた。それに対し、実施形態２に示す撮像装置２００では、ユーザーが注目する被写体が撮影されている範囲を、合成モード切り替え時に、基準の撮像部が撮影している撮影範囲の一部、という形で指定する。これによって、ユーザーが注目する被写体が撮影されている撮影範囲を、更に細かく指定することができる。なお、それ以外の構成は、実施形態１の構成とほぼ同じであるが、実施形態１において１００番台の符番で説明したものを実施形態２においては２００番台の符番に置き換えて説明する。以下で、説明を行う。なお、撮像装置２００において、ユーザーが合成モードから非合成モードに切り替えた場合については、実施形態１の撮像装置１００と同じであるため、説明を省略する。

図５は、実施形態２の撮像装置２００において、ユーザーが非合成モードから合成モードに切り替えた場合の、ユーザーインターフェースと、第１の撮像部２１０と第２の撮像部２２０の撮影方向の関係の一例を示す図である。

図５（Ａ）および（Ｂ）には、初期状態として、ユーザーが合成モードを指定していた状態を示している。図５（Ａ）では、表示部１８３上のＧＵＩ等のユーザーインターフェース２６０に、ユーザーインターフェース２６０に、第１の画像信号２１４と第２の画像信号２２４が、各々独立して表示されている。このとき、第１の撮像部２１０、第２の撮像部２２０は、それぞれ図５（Ｂ）に示す撮影方向を向いているものとする。

ここで、ユーザーが非合成モードから合成モードへの切り替えを指示したとする。また、この指示に加えて、図５（Ｃ）に示すように、ユーザーは第１の撮影範囲２１５、または第２の撮影範囲２２５の内、ユーザーが注目する被写体を含む撮影範囲を指定範囲２４５として指定することができる。

すると、図５（Ｅ）に示すように、制御部１３０は、指定範囲２４５が、第１の撮影範囲２１５と第２の撮影範囲２２５の重なり範囲２３５に含まれないように、第１の撮像部２１０、第２の撮像部２２０の撮影方向を変更する。そして、撮影方向の変更が終了したのち、合成処理部２３０において広角画像信号２３４の生成を開始し、図５（Ｄ）に示すように、ユーザーインターフェース２６０に、第１の画像信号２１４と第２の画像信号２２４を合成した広角画像信号２３４を表示する。このように、指定範囲２４５を直接指定することで、ユーザーが注目する被写体が、二重像になる可能性を更に低減することができるため、好ましい。

前述したように、広角画像信号２３４を生成するためには、第１の撮影範囲２１５と第２の撮影範囲２２５は、その一部が重複している必要がある。そこで、ユーザーが指定範囲２４５を指定する際には、指定範囲２４５の大きさを制限した方が好ましい。具体的には、指定範囲２４５が第１の撮影範囲２１５に含まれる場合には、指定範囲２４５の大きさが、第１の撮影範囲２１５と重なり範囲２３５の差分の大きさ以下になるように制限する。そして、指定範囲２４５が第２の撮影範囲２２５に含まれる場合には、指定範囲２４５の大きさが、第２の撮影範囲２２５と重なり範囲２３５の差分の大きさ以下になるように制限する。このとき、例えば、指定範囲２４５として指定できる撮影範囲の大きさが、上述の大きさ以下になるように、つまり、指定可能な撮影範囲の大きさが上述の範囲を超える大きさとならないようにユーザーインターフェース２６０に表示させるとより好ましい。このようにすることで、ユーザーが制限内において指定範囲を指定するのがより容易となる。

このように、指定範囲２４５の大きさを制限することで、ユーザーが注目する被写体が、二重像になる可能性を低減しつつ、位置ズレ量の算出精度を求めることができ、広角画像の視認性を向上させることができる。

なお、本実施形態では、指定範囲２４５を指定したが、ユーザーが注目する被写体自体を指定しても良い。この場合、制御部２４０は、指定された被写体が、第１の撮影範囲２１５と第２の撮影範囲２２５の重なり範囲２３５に含まれないように、第１の撮像部２１０、第２の撮像部２２０の撮影範囲を変更する。

（実施形態３）
実施形態３に示す撮像装置３００は、実施形態１に示す撮像装置１００に対して、第１の駆動機構、第２の駆動機構の構成が異なる。撮像装置３００では、第１の撮像部３１０、第２の撮像部３２０を、互いに直交する２つの方向に回転できるようになっている。具体的には、図１（Ａ）のＺ軸（垂直軸）を中心とした回転機構（所謂パンニング駆動機構）の他に、Ｚ軸に対する角度を制御可能な回転機構（所謂チルト駆動機構）を有している。即ち、撮像装置３００は、チルト方向に駆動可能な駆動機構を有している。なお、それ以外の構成は、実施形態２の構成とほぼ同じであるが、実施形態２において２００番台の符番で説明したものを実施形態３においては３００番台の符番に置き換えて説明する。

図６は、実施形態３の撮像装置３００において、ユーザーが非合成モードから合成モードに切り替えた場合の、ユーザーインターフェースと、第１の撮像部３１０と第２の撮像部３２０の撮影範囲の関係の一例を示す図である。

撮像装置３００において、ユーザーが非合成モードから合成モードに切り替えた場合の、ユーザーインターフェースと、第１の撮像部３１０と第２の撮像部３２０の撮影範囲の関係を、図６に示す。なお、撮像装置３００において、ユーザーが合成モードから非合成モードに切り替えた場合については、実施形態１の撮像装置１００と同じであるため、説明を省略する。

図６（Ａ）および（Ｂ）には、初期状態として、ユーザーが非合成モードを指定していた状態を示している。図６（Ａ）では、ユーザーインターフェース３６０に、第１の画像信号３１４と第２の画像信号３２４が、各々独立して表示されている。このとき、第１の撮像部は、第２の撮像部３２０は、図６（Ｂ）に示す撮影範囲を撮像している。図６（Ｂ）では、第１の撮像部３１０、第２の撮像部３２０の撮影方向を、図１（Ａ）のＺ軸を中心とする同一半径の円筒面に射影した第１の撮影範囲３１５、第２の撮影範囲３２５で示している。図６（Ｂ）からわかるように、第１の撮像部３１０、第２の撮像部３２０は、パン方向の撮影方向、チルト方向の撮影方向の両方が互いに異なっている。

ここで、ユーザーが非合成モードから合成モードへの切り替えを指示したとする。この指示に加えて、ユーザーは第１の撮像部３１０と第２の撮像部３２０のどちらを基準に合成画像を生成するかを指示する。以下では、例として、第１の撮像部３１０を基準として指定した場合を説明する。

ユーザーが第１の撮像部３１０を基準として指定すると、図６（Ｃ）に示すように、制御部２４０は、第２の撮像部３２０の撮影方向を変更する。そして、撮影方向の変更が終了したのち、図６（Ｄ）に示すように、合成処理部３３０において広角画像信号３３４の生成を開始し、ユーザーインターフェース３６０に、第１の画像信号３１４と第２の画像信号３２４を合成した広角画像信号３３４を表示する。

図６（Ｂ）と図６（Ｃ）を比較してわかるように、撮像装置３００では、第１の撮像部３１０の撮影方向はそのままにして、第２の撮像部３２０のパン方向の撮影方向と、チルト方向の撮影方向を変更している。具体的には、チルト方向については、第１の撮像部３１０と第２の撮像部３２０の撮影方向が一致するように撮影方向を変更し、パン方向については、広角画像信号３３４を生成するための重なり範囲３３５が確保できるように撮影方向を変更している。

このように、基準の撮像部の撮影範囲に合わせて、チルト方向の撮影方向も変更することで、ユーザーが注目する被写体が、二重像になる可能性を低減しつつ、広角画像信号３３４を生成することができる。

なお、図６（Ｅ）に示すように、第１の撮像部３１０と第２の撮像部３２０のパン方向の撮影方向を一致させ、チルト方向の撮影方向をずらすことで、チルト方向に長い広角画像信号３３４を生成しても良い。ユーザーインターフェース３６０が、パン方向に長い広角画像を生成するか、チルト方向に長い広角画像を生成するかを、ユーザーが選択できるような構成になっていると、更に好ましい。また、第２の撮像部１２０の、第１の撮像部１１０に対する相対的な位置関係が指定できるような構成となっていると、更に好ましい。

（実施形態４）
実施形態４に示す撮像装置４００は、実施形態３に示す撮像装置３００に対して、第１の駆動機構、第２の駆動機構の構成が異なる。撮像装置４００では、第１の撮像部４１０、第２の撮像部４２０の撮影方向、撮影範囲を制御できることに加え、各々の撮像部の光軸を中心に撮像部を回転可能な回転機構（所謂ローテーション機構）を有している。なお、それ以外の構成は、実施形態３の構成とほぼ同じであるが、実施形態３において３００番台の符番で説明したものを実施形態４においては４００番台の符番に置き換えて説明する。

図７は、実施形態４の撮像装置４００において、ユーザーが非合成モードから合成モードに切り替えた場合の、ユーザーインターフェースと、第１の撮像部４１０と第２の撮像部４２０の撮影範囲の関係の一例を示す図である。なお、撮像装置４００において、ユーザーが合成モードから非合成モードに切り替えた場合については、実施形態１の撮像装置１００と同じであるため、説明を省略する。

図７（Ａ）には、ユーザーインターフェース４６０に、第１の画像信号４１４と第２の画像４２４が、各々独立して表示されている。このとき、第１の撮像部４１０、第２の撮像部４２０の撮影方向および、光軸の周りの回転角度（以下、ローテーション角度とよぶ）は図７（Ｂ）に示すとおりである。図７（Ｂ）からわかるように、第１の撮像部４１０、第２の撮像部４２０は、パン方向の撮影方向、チルト方向の撮影方向、ローテーション角度が全て互いに異なっている。

ここで、ユーザーが非合成モードから合成モードへの切り替えを指示したとする。同時に、ユーザーは第１の撮像部４１０と第２の撮像部４２０のどちらを基準に合成画像を生成するかを、例えばユーザーインターフェース４６０を介して指示する。以下では、例として、第１の撮像部４１０を基準として指定した場合を説明する。すると、図７（Ｃ）に示すように、第２の撮像部４２０の撮影方向および、光軸の周りの回転角度を変更する。そして、撮影方向と回転角度の変更が終了した後、図７（Ｄ）に示すように、合成処理部４３０において広角画像信号４３４の生成を開始し、ユーザーインターフェース４６０に、広角画像信号４３４を表示する。図７（Ｂ）と図７（Ｃ）を比較してわかるように、撮像装置４００では、第１の撮像部４１０の撮影方向はそのままにして、第２の撮像部４２０のパン方向の撮影方向と、チルト方向の撮影方向、ローテーション角度を変更している。具体的には、第１の撮像部４１０、第２の撮像部４２０のローテーション角度が一致するように、第２の撮像部４２０のローテーション角度を変更する。そして、広角画像信号４３４を生成するための重なり範囲４３５が確保できるように、第２の撮像部４２０のパン方向とチルト方向の撮影方向を変更する。

このように、基準の撮像部の撮影範囲に合わせて、ローテーション角度も変更することで、ユーザーが注目する被写体が、二重像になる可能性を低減しつつ、広角画像信号４３４を生成することができる。

なお、ローテーション角度を一致させつつ、重なり範囲４３５を確保するための第２の撮像部４２０の撮影方向として、図７（Ｅ）に示す４つの撮影方向が選択できる。従って、４つの撮影方向の内、いずれを選択するかを、ユーザーが選べるようになっていると更に好ましい。

（実施形態５）
実施形態５に示す撮像装置５００は、実施形態１に示す撮像装置１００に対して、第１の駆動機構、第２の駆動機構の構成および、第１の撮像部、第２の撮像部の構成が異なる。撮像装置５００では、第１の撮像部５１０、第２の撮像部５２０の撮影方向に加え、撮影範囲が制御できるような構成（所謂ズーム機構を備える構成）となっている。具体的には、各々の撮像部の結像光学系が、光軸方向に移動可能なズームレンズを有しており、第１の駆動機構５１１、第２の駆動機構５１２が、ズームレンズを駆動することで、撮像部の撮影範囲を制御する。なお、それ以外の構成は、実施形態４の構成とほぼ同じであるが、実施形態４において４００番台の符番で説明したものを実施形態５においては５００番台の符番に置き換えて説明する。

一般に、ＳＳＤやＳＡＤによって２つの画像の間の位置ズレ量を求める場合、２つの画像の解像度が揃っていた方が、位置ズレ量の算出精度が向上するため、好ましい。そのため、実施形態５に示す撮像装置５００では、合成モードの際の、第１の画像信号５１４と第２の画像信号５２４の解像度が一致するように、ズームレンズを駆動している。

以下では第１の撮像部５１０中の固体撮像素子５１３の画素数が、第２の撮像部５２０中の固体撮像素子５２３の画素数と同じ場合を例にとって説明する。画素数が同じ場合、第１の撮像部５１０と第２の撮像部５２０の撮影範囲の大きさ（以下、画角と呼ぶ）が等しい場合に、第１の画像信号５１４と第２の画像信号５２４の解像度が一致する。

図８は、実施形態５の撮像装置５００において、ユーザーが非合成モードから合成モードに切り替えた場合の、ユーザーインターフェースと、第１の撮像部５１０と第２の撮像部５２０の撮影範囲の関係の一例を示す図である。なお、撮像装置５００において、ユーザーが合成モードから非合成モードに切り替えた場合については、実施形態１の撮像装置１００と同じであるため、説明を省略する。

図８（Ａ）には、ユーザーインターフェース５６０に、第１の画像信号５１４と第２の画像信号５２４が、各々独立して表示されている。このとき、第１の撮像部５１０、第２の撮像部５２０の撮影方向および、画角は図８（Ｂ）に示すとおりである。図８（Ｂ）からわかるように、第１の撮像部５１０、第２の撮像部５２０は、パン方向の撮影方向と画角の両方が互いに異なっている。

ここで、ユーザーが非合成モードから合成モードへの切り替えを、例えば、ユーザーインターフェース５６０５６０を介して指示したとする。同時に、ユーザーは第１の撮像部５１０と第２の撮像部５２０のどちらを基準に合成画像を生成するかを指示する。以下では、例として、第１の撮像部５１０を基準として指定した場合を説明する。

すると、図８（Ｃ）に示すように、第２の撮像部５２０の撮影方向と、画角を変更する。そして、撮影方向と画角の変更が終了したのち、図８（Ｄ）に示すように、合成処理部５３０において広角画像信号５３４の生成を開始し、ユーザーインターフェース５６０に、広角画像信号５３４を表示する。

図８（Ｂ）と図８（Ｃ）を比較してわかるように、撮像装置５００では、第１の撮像部５１０の撮影方向はそのままにして、第２の撮像部５２０の撮影方向とズーム倍率を変更している。具体的には、第１の撮像部５１０、第２の撮像部５２０の画角が一致するように、第２の撮像部５２０の画角を変更する。そして、広角画像信号５３４を生成するための重なり範囲５３５が確保できるように、第２の撮像部５２０の撮影方向を変更する。即ち、第１の画像信号５１４と第２の画像信号５２４の解像度が一致するように、ズームレンズを駆動している。

このように、基準の撮像部の解像度に合わせて、ズーム倍率も変更することで、ユーザーが注目する被写体が、二重像になる可能性を低減しつつ、位置ズレ量の算出精度を向上させることができ、広角画像信号４３４の視認性を向上させることができる。第１の撮像部５１０中の固体撮像素子５１３の画素数が、第２の撮像部５２０中の固体撮像素子５２３の画素数と異なっていても良い。その場合にも、第１の画像信号５１４と第２の画像信号５２４の解像度が一致するように、ズームレンズを駆動すれば良い。具体的には、第１の撮影範囲５１５の大きさを第１の撮像部５１０の撮像素子の画素数で割った商が、第２の撮影範囲５２５の大きさを第２の撮像部５２０の撮像素子の画素数で割った商と一致するように、ズーム倍率を変更する方が好ましい。なお、ここで一致するとは１０％程度の誤差があっても良いものとする。ここで、撮影範囲の大きさとは、互いの撮影範囲が位置ズレしている方向の、撮影範囲の長さ（図８では、パン方向の長さ）を意味する。

（実施形態６）
実施形態１〜５では、それぞれ撮像装置が第１の撮像部と第２の撮像部の２つの撮像部を有している場合を示したが、３つ以上の撮像部を有していても良い。実施形態６では、第１の撮像部６１０および第２の撮像部６２０に加えて第３の撮像部６９１を有し、撮像装置を中心としてパン方向を３６０度撮影した広角画像を生成することができる撮像装置６００について説明を行う。なお、それ以外の構成は、実施形態５の構成とほぼ同じであるが、実施形態５において５００番台の符番で説明したものを実施形態６においては６００番台の符番に置き換えて説明する

図９は、実施形態６の撮像装置６００において、ユーザーが非合成モードから合成モードに切り替えた場合の、ユーザーインターフェースと、第１の撮像部６１０、第２の撮像部６２０、および第３の撮像部６９１の撮影範囲の関係の一例を示す図である。実施形態６の撮像装置６００は、第１の撮像部６１０、第２の撮像部６２０、および第３の撮像部６９０を備える。第３の撮像部６９１の構成は、第１の撮像部６１０および第２の撮像部６２０とほぼ同じであるため、説明は省略する。また、撮像装置６００において、ユーザーが合成モードから非合成モードに切り替えた場合については、第１の撮像部６１０、第２の撮像部６２０、および第３の撮像部６９０の撮影範囲はユーザーから指示が入力されない限り変更しない。このため、ここでは説明を省略する。

図９（Ａ）には、ユーザーインターフェース６６０に、第１の画像信号６１４および第２の画像信号６２４に加えて第３の画像信号６９４が各々独立して表示されている。このとき、第２の撮像部６２０、および第３の撮像部６９１の撮影方向は図９（Ｂ）に示すとおりである。

ここで、ユーザーが非合成モードから合成モードへの切り替えを指示したとする。同時に、どの撮像部を基準に合成画像を生成するかを指示する。以下では、例として、第１の撮像部６１０を基準として指定した場合を説明する。すると、図９（Ｃ）に示すように、第２の撮像部６２０、第３の撮像部６９０の撮影方向を変更する。そして、撮影方向の変更が終了したのち、図９（Ｄ）に示すように、合成処理部６３０において第１の画像信号６１４、第２の画像信号、および、第３の画像信号６９４の合成を行い、広角画像信号６３４の生成を開始する。その後、ユーザーインターフェース６６０に、パン方向の３６０度を撮影した広角画像信号６３４を表示する。

このような構成とすることで、ユーザーが注目する被写体が二重像になる可能性を低減しつつ、３６０度を撮影した広角画像を生成することができる。なお、撮像装置６００のように、３６０度を撮影した広角画像を生成する撮像装置においては、本実施形態のように、ユーザーが指定した注目領域によって、重なり範囲を変更することのメリットが大きい。以下で説明を行う。

実施形態１〜５に示す撮像装置の場合、ユーザーが注目する被写体の位置によって、広角画像の撮影範囲が変化する。この場合、ユーザーは、注目する被写体を含む撮影範囲（注目領域）そのものの他に、広角画像の撮影範囲も考慮して、注目領域の指定を行う必要がある。言い換えると、広角画像の撮影範囲と、注目領域を両立することが困難である場合がある。なお、ここで、注目領域は、基準とする撮影範囲が指定されている場合はその撮影範囲であり、指定範囲が指定されている場合は指定範囲を指す。

一方、３６０度を撮影した広角画像を生成する撮像装置６００では、ユーザーが指定した注目領域によらず、広角画像の撮影範囲は変化しない。そのため、ユーザーは広角画像の撮影範囲を考慮に入れることなく、注目領域の指定だけを行うことができる。その結果、ユーザーがどの範囲を注目領域に指定したとしても、広角画像の撮影範囲と、注目領域の両立が可能となる。

なお、図９（Ｃ）では、第１の撮像部６１０、第２の撮像部６２０、および第３の撮像部６９０の撮影方向のなす角度が等しくなるように、撮影方向の変更を行ったが、撮影方向のなす角度が等しくなくても良い。但し、各々の撮像部間の重なり範囲に含まれる画素信号の数が等しくなるように、撮影方向を変更する方が好ましい。特に、各々の撮像部において同じ結像光学系、同じ固体撮像素子を使用している場合、撮影方向のなす角度が等しくなるように、撮影方向を変更する方が好ましい。

また、図９（Ｄ）では、基準として指定した第１の撮像部６１０の第１の撮影範囲６１５が、広角画像信号６３４の中央に表示されるように広角画像信号６３４を生成したが、第２の撮影範囲６２５、第３の撮影範囲６９５のいずれかを中央に表示してもよい。但し、ユーザーが注目する領域を広角画像の中央に表示させた方が、注目領域の視認性が向上するため好ましい。

撮像装置６００についても、第１の撮像部６１０、第２の撮像部６２０、および第３の撮像部６９０のそれぞれがパン方向の撮影方向だけではなく、チルト方向の撮影方向、ローテーション角度、画角を制御できるようになっていると更に好ましい。

第１の撮像部６１０、第２の撮像部６２０、および第３の撮像部６９０のそれぞれが、パン方向の撮影方向とチルト方向の撮影方向の両方を制御できるように構成されているとする。この場合、実施形態３の撮像装置のように、基準とする撮像部にチルト方向の撮影方向を一致させて、３６０度を撮影した広角画像を生成すると好ましい。

一方、第１の撮像部６１０、第２の撮像部６２０、および第３の撮像部６９０のそれぞれがローテーション角度の駆動機構を備えているとする。この場合、合成モード選択時には、基準とする撮像部のローテーション角度によらず、全ての撮像部のローテーション角度を、一定値に変更した方が好ましい。以下で、理由を説明する。

一般に、監視用途などに使用される撮像部の固体撮像素子は、横方向の長さが、縦方向の長さよりも長い矩形形状であることが多い。従って、３６０度の広角画像３６４を生成するためには、各々の撮像部の撮影範囲がパン方向の方が長い矩形であるか、各々の撮像部の撮影範囲がチルト方向の方が長い矩形である必要がある。そのため、合成モードへの切り替えを指示された場合、各々の撮像部の撮影範囲をパン方向の方が長い矩形、または、チルト方向の方が長い矩形、のいずれかに一致させた方が好ましい。

重なり領域の大きさを大きくとって、位置ズレ量の算出精度を向上させるためには、パン方向に長い矩形に一致させた方が好ましい。一方で、チルト方向の撮影範囲を広くしたい場合には、チルト方向に長い矩形に一致させた方が好ましい。

第１の撮像部６１０、第２の撮像部６２０、および第３の撮像部６９０のそれぞれがズーム制御機構を備えているとする。この場合、全ての撮像部の画角が閾値以上になった時に、３６０度を撮影した広角画像信号６３４が生成できるように、それぞれの撮像部の結像光学系のズーム倍率を設定しても良い。閾値は、画角が最大となる値に近いほど好ましく、画角が最大となる値であるとより好ましい。なぜならば、それ以上、画角を大きくしたとしても、広角画像信号６３４の撮影範囲が広くならないためである。更に、この時、合成モード選択時には、基準とする撮像部の画角によらず、全ての撮像部の画角を、最大値に変更した方が好ましい。このような構成とすることで、３６０度全体を俯瞰して撮影したい場合には、合成モード選択を選択し、特定の領域を詳細に撮影したい場合には、非合成モードを選択して、各々の撮像部の画角を狭くして解像度の高い画像を得る、といった使い分けが可能となる。

ここで、撮像装置６００の駆動例について説明する。図１０は、実施形態６の撮像装置６００の駆動例を示すフローチャートである。このフローチャートで示す各動作（ステップ）は、制御部６４０よって実行されうる。本フローチャートでは、初期状態として、ユーザーが非合成モードを指定しており、ユーザーが非合成モードから合成モードに切り替えた場合の駆動例について説明する。まず、制御部６４０は、ユーザーインターフェース６６０において、合成モードが選択されたかを判定する（Ｓ１）。合成モードが選択された場合（Ｙｅｓ）、第１の撮像部６１０、第２の撮像部６２０、および第３の撮像部６９０のうち基準となる撮像部以外の撮像部の撮影範囲を変更する（Ｓ２）。具体的には、例えば、第１の撮像部６１０が基準として指定されている場合、第１の撮像部６１０の撮影方向は変更せず、第２の撮像部６２０、および第３の撮像部６９０の撮影方向を変更する。そして、上述したように、第１の撮像部６１０、第２の撮像部６２０、および第３の撮像部６９０それぞれの像面解像度、チルト角度、ローテーション角度を合わせる。その後、ユーザーインターフェース６６０に、広角画像信号６３４を表示する（Ｓ３）。

次に、制御部６４０は、ユーザーインターフェース６６０において撮影範囲の変更が指示されたかを判定する。撮影範囲の変更が指示された場合（Ｙｅｓ）、重なり範囲が所定値以上であるかを判定する（Ｓ４）。重なり範囲が所定値以上でない場合（Ｎｏ）、ユーザーインターフェース６６０に警告を表示する（Ｓ６）。重なり範囲が所定値以上である場合（Ｓ５、Ｙｅｓ）は、Ｓ２と同様に基準となる撮像部以外の撮像部の撮影範囲を変更し（Ｓ７）、その後、ユーザーインターフェース６６０に警告を表示する（Ｓ６）。なお、この時、指示された撮影範囲の変更が、制限の範囲内である場合は、必ずしも警告を表示させる必要はない。この場合、例えば、警告を表示させることなく、広角画像信号６３４をユーザーインターフェース６６０に表示させ続けても良い。

その後、制御部６４０は、非合成モードが選択されたかを判定する（Ｓ８）。非合成モードが選択された場合（Ｙｅｓ）、基準となる撮像部を含む、第１の撮像部６１０、第２の撮像部６２０、および第３の撮像部６９０のそれぞれの撮影範囲を変更し（Ｓ９）、駆動を終了する。

このような構成とすることで、３６０度の広角画像を生成可能な撮像装置においても注目する被写体が二重像になる可能性を低減することが可能となる。

以上、本発明をその好適な実施例に基づいて詳述してきたが、本発明は上記実施形態に限定されるものではなく、本発明の主旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。

例えば、以上の実施例では駆動機構によって、各撮像部がそれぞれ撮影範囲（撮影方向、ズーム倍率、撮像面の回転角度等）を変更できるようにしている。しかし、例えば少なくとも一つの撮像部の撮影範囲を制御可能な駆動機構を備え、それによって複数の撮像部の撮影範囲を、相対的に変更可能とするようにしても良い。

また、本実施形態における制御の一部または全部を上述した実施例の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して撮像装置に供給するようにしてもよい。そしてその撮像装置におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。

１００：撮像装置
１１０、１２０：撮像部
１１１、１２１：駆動機構
１１３、１２３：固体撮像素子
１１４：第１画像信号
１２４：第２画像信号
１３４：広角画像信号
１３０：合成処理部
１４０：制御部
１６０：ユーザーインターフェース

Claims (22)

1. 第１の撮像部及び第２の撮像部と、
   前記第１の撮像部と前記第２の撮像部のうち少なくとも一方の撮影範囲を制御可能な駆動機構と、
   前記第１の撮像部で取得した第１の画像信号と、前記第２の撮像部で取得した第２の画像信号とを合成して広角画像信号を生成する合成処理部と、
   前記合成処理部において前記広角画像信号を生成する合成モード、または、前記第１の画像信号および前記第２の画像信号の両方を出力する非合成モードをユーザーが選択するためのユーザーインターフェースを含む画像を表示部に表示させる表示制御部と、
   前記ユーザーインターフェースにおいて、前記非合成モードから前記合成モードへの切り替えが指示された場合に、前記ユーザーが注目する被写体の位置に基づいて、前記第１の撮像部および前記第２の撮像部の少なくともいずれか一方の撮影範囲を制御する制御部と、を備えることを特徴とする撮像装置。
2. 前記制御部は、前記ユーザーインターフェースにおいて、前記非合成モードから前記合成モードへの切り替えが指示された場合に、前記注目する被写体が、前記第１の撮像部の撮影範囲と、前記第２の撮像部の撮影範囲との重なり範囲に含まれないように、前記第１の撮像部および前記第２の撮像部の少なくともいずれか一方の撮影範囲を制御することを特徴とする、請求項１に記載の撮像装置。
3. 前記ユーザーインターフェースは、前記ユーザーが注目する被写体を含む撮影範囲を指定範囲として指定可能であることを特徴とする請求項１または２に記載の撮像装置。
4. 前記表示制御部は、前記注目する被写体が、前記第１の撮像部の撮影範囲に含まれている場合には、前記指定範囲として指定できる撮影範囲の大きさが、前記第１の撮像部の撮影範囲と前記重なり範囲との差分の大きさ以下になるように前記ユーザーインターフェースに表示させ、前記注目する被写体が、前記第２の撮影範囲に含まれている場合には、前記指定範囲として指定できる撮影範囲の大きさが、前記第２の撮影範囲と前記重なり範囲との差分の大きさ以下になるように前記表示部に表示させることを特徴とする、請求項３に記載の撮像装置。
5. 前記ユーザーインターフェースは、前記第１の撮像部および前記第２の撮像部のうち、前記注目する被写体を撮影している撮像部を指定可能であって、
   前記制御部は、前記ユーザーインターフェースにおいて、前記非合成モードから前記合成モードへの切り替えが指示された場合に、前記選択された撮像部とは異なる撮像部の撮影範囲を変更することを特徴とする、請求項１から４のいずれか１項に記載の撮像装置。
6. 前記ユーザーインターフェースは、前記非合成モードから前記合成モードへの切り替えが指示された場合に、前記第１の撮像部の撮影範囲と、前記第２の撮像部の撮影範囲の相対的な位置関係を指定可能であることを特徴とする、請求項１から５のいずれか１項に記載の撮像装置。
7. 制御部は、前記ユーザーインターフェースにおいて、前記合成モードが選択されている場合に、前記第１の撮像部および、前記第２の撮像部の撮影範囲の変更可能範囲を、前記広角画像信号を生成可能な範囲に制限することを特徴とする、請求項１から６のいずれか１項に記載の撮像装置。
8. 前記制御部は、前記ユーザーインターフェースにおいて、前記合成モードが選択されている場合には、前記第１の撮像部および前記第２の撮像部のうち、前記注目する被写体を撮影している撮像部の撮影範囲は変更できないように制限することを特徴とする、請求項１から７のいずれか１項に記載の撮像装置。
9. 前記表示制御部は、前記ユーザーインターフェースにおいて、前記合成モードが選択されている場合に、前記第１の撮像部および前記第２の撮像部の撮影範囲の少なくともいずれかに対し、前記制限を超えて変更する指示がされた場合には、前記ユーザーインターフェースに、警告を表示させることを特徴とする、請求項７または８のいずれか１項に記載の撮像装置。
10. 前記駆動機構は、前記第１の撮像部および前記第２の撮像部の撮影範囲を、互いに直交するパンニング方向とチルト方向に駆動可能であって、
    前記制御部は、前記ユーザーインターフェースにおいて、前記非合成モードから前記合成モードへの切り替えが指示された場合に、前記第１の撮像部の撮影範囲のチルト方向と、前記第２の撮像部の撮影範囲のチルト方向とが一致するように、前記第１の撮像部と前記第２の撮像部の少なくともいずれか一方の撮影範囲を制御することを特徴とする請求項１から９のいずれか１項に記載の撮像装置。
11. 前記駆動機構は、前記第１の撮像部および前記第２の撮像部の撮影範囲を、互いに直交するパンニング方向とチルト方向に駆動可能であって、
    前記制御部は、前記ユーザーインターフェースにおいて、前記非合成モードから前記合成モードへの切り替えが指示された場合に、前記第１の撮像部の撮影範囲のパンニング方向と、前記第２の撮像部の撮影範囲のパンニング方向とが一致するように、前記第１の撮像部と前記第２の撮像部の少なくともいずれか一方の撮影範囲を制御することを特徴とする請求項１から９のいずれか１項に記載の撮像装置。
12. 前記駆動機構は、前記第１の撮像部と前記第２の撮像部を、それぞれの光軸を中心に回転可能であって、
    前記制御部は、前記ユーザーインターフェースにおいて、前記非合成モードから前記合成モードへの切り替えが指示された場合に、前記第１の撮像部の光軸の周りの回転角度と、前記第２の撮像部の光軸の周りの回転角度とが一致するように、前記第１の撮像部と前記第２の撮像部の少なくともいずれか一方の回転角度を制御することを特徴とする、請求項１から１１のいずれか１項に記載の撮像装置。
13. 前記制御部は、前記ユーザーインターフェースにおいて、前記非合成モードから前記合成モードへの切り替えが指示された場合に、前記第１の画像信号の解像度と前記第２の画像信号の解像度が一致するように、前記第１の撮像部および前記第２の撮影部の少なくとも一方を制御することを特徴とする、請求項１から１２のいずれか１項に記載の撮像装置。
14. 前記第１の撮像部および前記第２の撮像部、または、前記駆動機構は、前記第１の撮像部の撮影範囲の大きさ、および、前記第２の撮像部の撮影範囲の大きさの少なくとも一方を制御できる機構を備え、
    前記ユーザーインターフェースにおいて、前記非合成モードから前記合成モードへの切り替えが指示された場合に、前記第１の撮像部の撮影範囲の大きさを前記第１の撮像部の撮像素子の画素数で割った商が、前記第２の撮像部の撮影範囲の大きさを前記第２の撮像部の撮像素子の画素数で割った商と一致するように、前記第１の撮影範囲の大きさ、および、前記第２の撮影範囲の大きさのうち少なくとも一方を制御することを特徴とする、請求項１から１３のいずれか１項に記載の撮像装置。
15. ３つ以上の前記撮像部を有し、
    前記制御部は、前記ユーザーインターフェースにおいて、前記合成モードが選択されている場合に、前記合成処理部において、前記撮像装置を中心とした３６０度を撮影した広角画像信号を生成することを特徴とする、請求項１から１４のいずれか１項に記載の撮像装置。
16. 前記制御部は、前記ユーザーインターフェースにおいて、前記非合成モードから前記合成モードへの切り替えが指示された場合に、それぞれの前記撮像部の撮影方向のなす角が等しくなるように、前記撮像部のそれぞれの撮影方向を制御することを特徴とする、請求項１５に記載の撮像装置。
17. 前記制御部は、前記ユーザーインターフェースにおいて、前記非合成モードから前記合成モードへの切り替えが指示された場合に、前記注目する被写体が含まれる撮影範囲が、広角画像の中央に表示されるように、前記広角画像信号を生成することを特徴とする、請求項１５または１６に記載の撮像装置。
18. 前記制御部は、前記ユーザーインターフェースにおいて、前記非合成モードから合成モードへの切り替えが指示された場合に、前記撮像部のそれぞれの撮影範囲のパンニング方向の長さの方が、チルト方向の長さよりも長い矩形になるように、前記撮像部をそれぞれ回転することを特徴とする、請求項１５から１７のいずれか１項に記載の撮像装置。
19. 前記制御部は、前記ユーザーインターフェースにおいて、前記非合成モードから合成モードへの切り替えが指示された場合に、前記撮像部のそれぞれの撮影範囲のチルト方向の長さの方が、パンニング方向の長さよりも長い矩形になるように、前記撮像部をそれぞれ回転することを特徴とする、請求項１５から１７のいずれか１項に記載の撮像装置。
20. 前記制御部は、前記非合成モードから合成モードへの切り替えが指示された場合に、各々の撮像部の撮影範囲の大きさが最大になるように、各々の撮像部の撮影範囲の大きさを制御することを特徴とする、請求項１５から１９のいずれか１項に記載の撮像装置。
21. 請求項１から２０のうちいずれか１項に記載の前記撮像装置の各手段としてコンピュータを機能させるためのコンピュータプログラム。
22. 請求項２１に記載のコンピュータプログラムを記憶したコンピュータで読み取り可能な記憶媒体。
    
    

Images