JP2016048282A - 撮像装置 - Google Patents

Abstract

【課題】単一の撮像部により光軸が一致した広角画像と望遠画像とを同時に取得することができ、追尾対象の物体を望遠画像で確実に捉えることができる小型で安価な撮像装置を提供する。【解決手段】本発明の撮像装置は、望遠光学系の光学ズーム倍率を調整する光学ズーム倍率調整部と、第２画像の電子ズーム倍率を調整する電子ズーム倍率調整部とを備えることで、単一の撮像部により光軸が一致した広角画像と望遠画像とを同時に取得することができ、撮影対象の物体を第２画像の光学ズームおよび電子ズームで確実に捉えることができる。【選択図】図１５

Description

本発明は撮像装置に関し、特に広角画像と望遠画像とを同時に取得することができる撮像装置に関する。

従来、同一の光軸上に中央部に広角レンズを配設し、その周辺部に環状の望遠レンズを配設した二重の焦点距離の光学システムが提案されている（特許文献１の図１）。この光学システムの環状の望遠レンズは、２枚の反射ミラーを含む反射ミラー型のレンズ構成となっており、焦点距離の長い望遠レンズをコンパクトな構成にしている。また、この光学システムの広角レンズと望遠レンズの結像位置は、それぞれ光軸方向の異なる位置になるように設計されており、それぞれの結像位置に別々の撮像素子が配設されている。

また、広角の対物光学系と、望遠の対物光学系と、各対物光学系を通過した光線が共通に通過する共通光学系とを有し、複数の対物光学系により取り込まれる被写体光のいずれかを選択的に共通光学系へ導く反射部材を備えた光学装置が提案されている（特許文献２）。

そして、反射部材を可動させることにより、広角の対物光学系と望遠の対物光学系のいずれか一方の対物光学系により取り込まれる被写体光を、共通光学系を介して共通の撮像素子に導くようにしている。

また、結像レンズの異なる領域を通過する被写体光を瞳分離し、結像レンズの異なる領域に対応する撮像素子の画素にそれぞれ入射させ、瞳分離した被写体光に対応する複数の画像を同時に撮像する撮像装置が提案されている（特許文献３）。

特表２０１１−５０５０２２号公報 特開２００９−１２２３７９号公報 特開２０１２−８８６９６号公報

特許文献１に記載の光学システムは、広角レンズ及び望遠レンズによりそれぞれ撮影される広角画像及び望遠画像を、それぞれ光軸方向の異なる位置に配設された別々の撮像素子から取得するようにしているため、装置の小型化及び低コスト化を図ることができないという問題がある。

特許文献２に記載の光学装置は、反射部材（反射ミラー）を可動させることにより、広角の対物光学系と望遠の対物光学系のいずれか一方の対物光学系を選択するため、同時に広角画像と望遠画像を撮影することができず、また、反射部材を可動させるための機構が必要になり、装置が大型化するという問題がある。

また、特許文献３に記載の撮像装置は、結像レンズの異なる領域を通過する被写体光を瞳分離し、瞳分離した被写体光に対応する複数の画像を、１つの撮像素子により同時に撮像することができるが、特許文献３には、広角画像と望遠画像とを良好に撮像するための具体的な構成に関する記載はない。

本発明はこのような事情に鑑みてなされたもので、光軸を共通にする中央光学系と環状光学系とによりそれぞれ結像される第一画像及び第二画像を同時に取得することができ、かつコンパクトで安価な撮像装置を提供することを目的とする。

本発明の第１の態様は、それぞれ同一の光軸上に配置された中央部の光学系とその周辺部の光学系とからなり、これらの光学系の一方が広角光学系であり、他方が光学ズーム可能な望遠光学系である撮影光学系と、２次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサであって、広角光学系及び望遠光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する複数の画素を含む指向性センサと、広角光学系を介して受光した第１画像を示す画像信号と望遠光学系を介して受光した第２画像を示す画像信号とをそれぞれ指向性センサから取得する画像読み出し装置と、望遠光学系および広角光学系のうち少なくとも一方の光学ズーム倍率を調整する光学ズーム倍率調整部と、第２画像の電子ズーム倍率を調整する電子ズーム倍率調整部と、を備える撮像装置を提供する。

本発明の第２の態様は、望遠光学系は段階的に光学ズーム倍率が調整されるものであり、手動操作によりズーム倍率を連続的に変更させるズーム指令を出力するズーム操作部と、ズーム指令に基づいて電子ズーム倍率調整部による電子ズーム倍率を連続的に変更させ、第２画像の解像度が閾値以下となった場合、光学ズーム倍率調整部により光学ズーム倍率の段階を上げるとともに、電子ズーム倍率調整部による電子ズーム倍率を光学ズーム倍率の変更に合わせて下げるズーム倍率制御部と、をさらに備える項１に記載の撮像装置を提供する。

本発明の第３の態様は、広角光学系から指向性センサに入射する光束の光路および望遠光学系から指向性センサに入射する光束の光路のそれぞれに個別に配置された絞りをさらに備える項１または２に記載の撮像装置を提供する。

本発明の第４の態様は、広角光学系から指向性センサに入射する光束の光路および望遠光学系から指向性センサに入射する光束の光路に配置された可変ＮＤフィルタをさらに備える項１〜３のいずれか１項に記載の撮像装置を提供する。

本発明の第５の態様は、広角光学系は望遠光学系より広角であり、望遠光学系は、光束を２回以上反射させる反射光学系を有する項１〜４のいずれか１項に記載の撮像装置を提供する。

本発明の第６の態様は、第１画像と、光学ズーム倍率調整部が光学ズーム倍率を調整した後の第２画像または電子ズーム倍率調整部が電子ズーム倍率を調整した後の第２画像とを、選択的、重畳的、または並列的に表示装置に表示させる表示制御部をさらに備える項１に記載の撮像装置を提供する。

本発明の第７の態様は、光学ズーム倍率調整部は、広角光学系の光学ズーム倍率を非接触型駆動手段により調整する項１〜６のいずれか１項に記載の撮像装置を提供する。

本発明の撮像装置は、望遠光学系の光学ズーム倍率を調整する光学ズーム倍率調整部と、第２画像の電子ズーム倍率を調整する電子ズーム倍率調整部とを備えることで、単一の撮像部により光軸が一致した広角画像と望遠画像とを同時に取得することができ、撮影対象の物体を第２画像の光学ズームおよび電子ズームで確実に捉えることができる。

本発明に係る撮像装置の外観斜視図 撮像装置の撮像部の第１の実施形態を示す断面図 図２に示したマイクロレンズアレイ及びイメージセンサの要部拡大図 マイクロレンズ１６ａ１個当たりが受け持つ受光セルの個数を示す図 イメージセンサに配設されたカラーフィルタ配列等を示す図 撮像装置の内部構成の実施形態を示すブロック図 撮像装置により撮像される広角画像（撮影対象が広角画像の周辺部に存在）及び望遠画像の一例を示す図 撮像装置により撮像される広角画像（撮影対象が広角画像の中央部に存在）及び望遠画像の一例を示す図 動体を撮像対象の物体として検出する動体検出方法の一例について説明するために用いた図 本発明に係る撮像装置による撮像制御方法の一例を示すフローチャート 指向性センサの他の実施形態を示す側面図 撮像装置に適用可能な撮像部の他の実施形態を示す断面図 撮像制御方法の例を示すフローチャート 撮影モードに応じて、広角画像の中央部に望遠画像を重畳して表示する例（図１４（ａ））と、広角画像の周縁部に望遠画像を重畳して表示する例（図１４（ｂ））を示す図 解像度に応じて望遠画像を電子ズームから光学ズームに切り替える例を示す図 撮影光学系１２の他の実施形態を示す図 撮像装置の他の実施形態の内部構成の実施形態を示すブロック図

以下、添付図面に従って本発明に係る撮像装置の実施の形態について説明する。

＜撮像装置の外観＞
図１は本発明に係る第１実施形態の撮像装置の外観斜視図である。図１に示すように、撮像装置１０の前面には、撮影光学系１２、フラッシュ発光部２１等が配置され、上面にはシャッタボタン３８−１、撮影光学系１２のレンズ周辺には可変ＮＤフィルタ調整ボタン３８−２、側面にはズームボタン３８−３が設けられている。Ｌは撮影光学系１２の光軸を表す。

［撮像部の構成］
図２は、撮像装置１０の撮像部１１の第１の実施形態を示す断面図である。

図２に示すように、撮像部１１は、撮影光学系１２と指向性センサ１７と絞り６３（６３ａ、６３ｂ）と可変ＮＤフィルタ６４とから構成されている。

＜撮影光学系＞
撮影光学系１２は、それぞれ同一の光軸上に配置された、第１の光学系としての中央部の中央光学系１３と、その周辺部の同心円状の第２の光学系としての環状光学系１４とから構成されている。

中央光学系１３は、第１レンズ１３ａ、第２レンズ１３ｂ、第３レンズ１３ｃ、第４レンズ１３ｄ、及び共通レンズ１５から構成された広角光学系（広角レンズ）であり、指向性センサ１７を構成するマイクロレンズアレイ１６上に広角画像を結像させる。

環状光学系１４は、第１レンズ１４ａ、第２レンズ１４ｂ、反射光学系としての第１反射ミラー１４ｃ、第２反射ミラー１４ｄ、及び共通レンズ１５から構成された望遠光学系（望遠レンズ）であり、マイクロレンズアレイ１６上に望遠画像を結像させる。第１レンズ１４ａ、及び第２レンズ１４ｂを介して入射した光束は、第１反射ミラー１４ｃ及び第２反射ミラー１４ｄにより２回反射された後、共通レンズ１５を通過する。第１反射ミラー１４ｃ及び第２反射ミラー１４ｄにより光束が折り返されることにより、焦点距離の長い望遠光学系（望遠レンズ）の光軸方向の長さを短くしている。

絞り６３は、中央光学系１３に対応した絞り６３ａと、環状光学系１４に対応した絞り６３ｂを含む。図２（ｂ）に例示するように、絞り６３ａは、中央部に形成された穴の外径を伸縮することで、中央光学系１３からマイクロレンズアレイ１６に結像する光束の入射量を変化させる。また図２（ｃ）に例示するように、絞り６３ｂは、周縁部に形成された環状の穴の内径を伸縮することで、環状光学系１４からマイクロレンズアレイ１６に結像する光束の入射量を変化させる。

共通レンズ１５とイメージセンサ１８の間に設けられた可変ＮＤフィルタ６４は、連続的あるいは段階的な透過率を複数有しており、印加する電圧を変化させるか、あるいは機械的に回転させることで、それらの中から任意の透過率を選択し、撮影光学系１２からイメージセンサ１８へ結像する被写体像の受光量を調節する。

なお、中央光学系１３と環状光学系１４は同一の光軸上に配置されるため、これらの結像する広角画像および望遠画像ではパララックスが発生しない。

＜指向性センサ＞
指向性センサ１７は、マイクロレンズアレイ１６とイメージセンサ１８とから構成されている。

図３は、マイクロレンズアレイ１６及びイメージセンサ１８の要部拡大図である。

マイクロレンズアレイ１６は、複数のマイクロレンズ（瞳結像レンズ）１６ａが２次元状に配列されて構成されており、各マイクロレンズの水平方向及び垂直方向の間隔は、イメージセンサ１８の光電変換素子である受光セル１８ａの３つ分の間隔に対応している。即ち、マイクロレンズアレイ１６の各マイクロレンズは、水平方向及び垂直方向の各方向に対して、２つ置きの受光セルの位置に対応して形成されたものが使用される。

また、マイクロレンズアレイ１６の各マイクロレンズ１６ａは、撮影光学系１２の中央光学系１３及び環状光学系１４に対応する、円形の中央瞳像（第１の瞳像）１７ａ及び環状瞳像（第２の瞳像）１７ｂを、イメージセンサ１８の対応する受光領域の受光セル１８ａ上に結像させる。

図３に示すマイクロレンズアレイ１６及びイメージセンサ１８によれば、マイクロレンズアレイ１６の１マイクロレンズ１６ａ当たりに付き、格子状（正方格子状）の３×３個の受光セル１８ａが割り付けられている。以下、１つのマイクロレンズ１６ａ及び１つのマイクロレンズ１６ａに対応する受光セル群（３×３個の受光セル１８ａ）を単位ブロックという。

中央瞳像１７ａは、単位ブロックの中央の受光セル１８ａのみに結像し、環状瞳像１７ｂは、単位ブロックの周囲の８個の受光セル１８ａに結像する。

上記構成の撮像部１１によれば、後述するように中央光学系１３に対応する広角画像と、環状光学系１４に対応する望遠画像とを同時に撮像することができる。

図４は、受光セル１８ａの配置例を示す。受光セル１８ａは、マイクロレンズ１６ａ１個当たりが受け持つ受光セルの個数が、中央から周辺にいくにしたがって（像高が高くなるにしたがって）少なくなる構造となっている。図４に示す例では、１マイクロレンズ１６ａ当たりの受け持つ受光セル１８ａの個数（紙面の上下方向の個数）を、中央（入射角０°）では３個、中間（入射角３．２°）では２個、周辺（入射角１４．４°）では１個としている。

図４に示すように受光セル１８ａのサイズが同一の場合、マイクロレンズ１６ａは、周辺にいくにしたがって小さいサイズで、焦点距離の短いもの使用する。これにより、周辺ほど高密度なサンプリングが可能になる。

［イメージセンサの実施形態］
図５は、イメージセンサ１８に配設されたカラーフィルタ配列等を示す図である。尚、図４上で、マイクロレンズアレイ１６は省略されているが、円形で示した領域は、マイクロレンズアレイ１６の各マイクロレンズ１６ａにより瞳像が結像される３×３個の受光セルを含む単位ブロックを示している。

図５（ａ）に示すようにイメージセンサ１８の撮像面上には、各受光セル上に配設されたカラーフィルタにより構成されるカラーフィルタ配列が設けられる。

このカラーフィルタ配列は、赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）の各波長域の光を透過させる３原色のカラーフィルタ（以下、Ｒフィルタ、Ｇフィルタ、Ｂフィルタという）により構成されている。そして、各受光セル上には、ＲＧＢフィルタのいずれかが配置される。以下、Ｒフィルタが配置された受光セルを「Ｒ受光セル」、Ｇフィルタが配置された受光セルを「Ｇ受光セル」、Ｂフィルタが配置された受光セルを「Ｂ受光セル」という。

図５（ａ）に示すカラーフィルタ配列は、６×６個の受光セルを基本ブロックＢ（図５（ａ）の太枠で示したブロック、及び図５（ｂ）参照）とし、基本ブロックＢが水平方向及び垂直方向に繰り返し配置されて構成されている。

図５（ｂ）に示すように基本ブロックＢは、４個の単位ブロックＢ１〜Ｂ４により構成されている。

図５（ｃ１）及び（ｃ２）は、それぞれ４個の単位ブロックＢ１〜Ｂ４の中央の受光セル（図３に示した中央光学系１３を通過した光束が入射する受光セル）のグループと、周囲の８個の受光セル（図３に示した環状光学系１４を通過した光速が入射する受光セル）のグループとを示す。

図５（ｃ１）に示すように中央の受光セルのグループの画像は、ベイヤ配列のモザイク画像となる。これにより、ベイヤ配列のモザイク画像をデモザイク処理することにより、カラー画像を得ることができる。

一方、図５（ｃ２）に示すように、単位ブロックＢ１〜Ｂ４の各中央の受光セルの周囲の８個の受光セルのグループは、８個の受光セル内にＲＧＢの全ての受光セル（Ｒ受光セル、Ｇ受光セル、Ｂ受光セル）を含み、かつ単位ブロックＢ１〜Ｂ４にかかわらず、ＲＧＢの受光セルが同じパターンで配置されている。

具体的には、各単位ブロックＢ１〜Ｂ４の４隅の４つの受光セルは、Ｇ受光セルが配置され、中央の受光セルを挟んで上下の２個の受光セルは、Ｒ受光セルが配置され、中央の受光セルを挟んで左右の２個の受光セルは、Ｂ受光セルが配置されている。

また、Ｒ受光セル、Ｇ受光セル、及びＢ受光セルは、それぞれ単位ブロックの中央の受光セル（中心）に対して対称位置に配置されている。これにより、単位ブロック内のＲＧＢの受光セルの出力信号を使用して、その単位ブロック毎のデモザイク処理（同時化処理）後の、画像を構成する１つの画素（ＲＧＢの画素値）を生成することができる。

即ち、単位ブロック内の４個のＧ受光セルの出力信号（画素値）の平均値を求めることにより、単位ブロック（１マイクロレンズ）の中心位置におけるＧ画素の画素値を取得することができ、同様に単位ブロック内の２個のＲ受光セルの画素値の平均値、及び２個のＢ受光セルの画素値の平均値を求めることにより、それぞれ単位ブロックの中心位置におけるＲ画素及びＢ画素の画素値を取得することができる。

これにより、単位ブロックの周囲の８個の受光セルのグループにより生成される、環状光学系１４（望遠光学系）に対応する望遠画像については、単位ブロック内のＲＧＢの受光セルの画素値を使用してデモザイク処理を行うことができ、周囲の単位ブロックの受光セルの画素値を補間して特定の波長域の画素の画素値を生成する必要がなく、出力画像の解像度（実質的な画素数）を低下させることがない。

＜撮像装置の内部構成＞
図６は、撮像装置１０の内部構成の実施形態を示すブロック図である。

図６に示すように撮像装置１０は、図２で説明した中央光学系１３及び環状光学系１４を有する撮影光学系１２と、図３ないし図５で説明したマイクロレンズアレイ１６及びイメージセンサ１８を有する指向性センサ１７とからなる撮像部１１を備えている。

この撮像部１１は、望遠光学系（環状光学系１４）の焦点調整を行う焦点調整部１９を備えることが好ましい。焦点調整部１９は、例えば、環状光学系１４の全体又は一部の光学系を光軸方向に移動させるボイスコイルモータ等により構成することができる。また、望遠画像の合焦の判断は、望遠画像の焦点検出領域のコントラストにより行うことができるが、焦点調整方法はこれに限定されない。尚、広角光学系（中央光学系１３）については、別途、焦点調整部１９を設けるようにしてよいし、パンフォーカスとしてもよい。

撮像部１１は、撮影光学系１２及び指向性センサ１７を介して時系列の広角画像及び望遠画像を撮像するものであり、撮影光学系１２を介して指向性センサ１７（イメージセンサ１８）の各受光セル（光電変換素子）の受光面に結像された被写体像は、その入射光量に応じた量の信号電圧（または電荷）に変換される。

レンズＣＰＵ６５は、絞り６３の開口径の増大と連動し、それに応じて増大する露出量（露光量の増分ΔＥＶ）を相殺する可変ＮＤフィルタ６４の目標濃度（減光率）を決定する。レンズＣＰＵ６５は、該決定された濃度に対応する信号を可変ＮＤフィルタ６４の駆動系に印加する。これにより可変ＮＤフィルタ６４の濃度が調節される。すなわちレンズＣＰＵ６５は、現在の可変ＮＤフィルタ６４の濃度と目標濃度とを比較し、それらの差異が解消するよう目標濃度（減光率）を再び決定し、該決定された濃度に対応する制御信号を可変ＮＤフィルタ６４の駆動系に印加する。この駆動系が、この制御信号に対応した透過率をさらに選択することで、可変ＮＤフィルタ６４の濃度が調節され、イメージセンサの受光量が、絞り６３の開放の前後で保たれるように調節される。

可変ＮＤフィルタ６４の透過率は、スイッチ、ボタン、タッチセンサなどの操作手段で構成された可変ＮＤフィルタ調整ボタン３８−２に対する入力により、変更することができる。好ましくは、可変ＮＤフィルタ調整ボタン３８−２は、レンズ周辺に設けられる。

イメージセンサ１８に蓄積された信号電圧（または電荷）は、受光セルそのもの若しくは付設されたキャパシタに蓄えられる。蓄えられた信号電圧（または電荷）は、Ｘ−Ｙアドレス方式を用いたＭＯＳ型撮像素子（いわゆるＣＭＯＳセンサ）の手法を用いて、受光セル位置の選択とともに読み出される。

これにより、イメージセンサ１８から中央光学系１３に対応する中央の受光セルのグループの広角画像を示す画素信号と、環状光学系１４に対応する周囲８個の受光セルのグループの望遠画像を示す画素信号とを読み出すことができる。尚、イメージセンサ１８からは、所定のフレームレート（例えば、１秒当たりのフレーム数２４ｐ，３０ｐ，又は６０ｐ）で、広角画像及び望遠画像を示す画素信号が連続して読み出される。

イメージセンサ１８から読み出された画素信号（電圧信号）は、相関二重サンプリング処理（センサ出力信号に含まれるノイズ（特に熱雑音）等を軽減することを目的として、受光セル毎の出力信号に含まれるフィードスルー成分レベルと信号成分レベルとの差をとることにより正確な画素データを得る処理）により受光セル毎の画素信号がサンプリングホールドされ、増幅されたのちＡ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力する画素信号をデジタル信号に変換して画像取得部２２に出力する。尚、ＭＯＳ型センサでは、Ａ／Ｄ変換器が内蔵されているものがあり、この場合、イメージセンサ１８から直接デジタル信号が出力される。

画像取得部２２は、イメージセンサ１８の受光セル位置を選択して画素信号を読み出すことにより、広角画像を示す画素信号と望遠画像を示す画素信号とを同時に、又は選択的に取得することができる。

即ち、イメージセンサ１８の中央瞳像１７ａが入射する受光セルの画素信号を選択的に読み出すことにより、１マイクロレンズ当たり１個の受光セル（３×３の受光セルの中央の受光セル）の広角画像を示す画素信号（ベイヤ配列のモザイク画像を示す画素信号）を取得することができ、一方、イメージセンサ１８の環状瞳像１７ｂが入射する受光セルの画素信号を選択的に読み出すことにより、１マイクロレンズ当たり８個の受光セル（３×３の受光セルの周囲の受光セル）の望遠画像を示す画素信号を取得することができる。

尚、イメージセンサ１８から全ての画素信号を読み出してバッファメモリに一時的に記憶させ、バッファメモリに記憶させた画素信号から、広角画像と望遠画像の２つ画像の画素信号のグループ分けを行ってもよい。

画像取得部２２により取得された広角画像及び望遠画像を示す画素信号は、それぞれデジタル信号処理部４０に出力される。

デジタル信号処理部４０は、入力するデジタルの画素信号（ＲＧＢの点順次のＲ信号、Ｇ信号、Ｂ信号）に対して、オフセット処理、ガンマ補正処理、及びＲＧＢのモザイク画像の信号に対するデモザイク処理や、広角画像および望遠画像のそれぞれから個別に推定された光源の色温度に基づいたホワイトバランス補正処理等の所定の信号処理を行う。

ここで、デモザイク処理とは、単板式のイメージセンサ１８のカラーフィルタ配列に対応したＲＧＢのモザイク画像から画素毎に全ての色情報を算出する処理であり、同時化処理ともいう。例えば、ＲＧＢ３色のカラーフィルタからなるイメージセンサ１８の場合、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する処理である。

また、広角画像および望遠画像のそれぞれから個別に推定された光源の色温度に基づいたホワイトバランス補正処理とは、図４（ｃ１）の中央の受光セル及び図４（ｃ２）の周囲の８個の受光セルのそれぞれから得られた、広角画像および望遠画像のそれぞれに対応するＲ、Ｇ、Ｂの画像信号に基づいて自動的に光源種（被写界の色温度）を求め、予め光源種別に設定されたＲ、Ｇ、Ｂのホワイトバランスゲイン（ホワイトバランス補正値）を記憶するテーブルから対応するホワイトバランスゲインを読み出し、広角画像および望遠画像のそれぞれに対応するＲ、Ｇ、Ｂの画像信号に、それぞれに対応するホワイトバランスゲインが乗算されることをいう。

即ち、デジタル信号処理部４０に含まれるデモザイク処理部は、広角画像（ベイヤ配列のモザイク画像）のＧ受光セルの位置には、Ｒ受光セル、Ｂ受光セルが無いため、そのＧ受光セルの周囲のＲ受光セル、Ｂ受光セルのＲ信号、Ｂ信号をそれぞれ補間して、Ｇ受光セルの位置におけるＲ信号、Ｂ信号を生成する。同様に、モザイク画像のＲ受光セルの位置には、Ｇ受光セル、Ｂ受光セルが無いため、そのＲ受光セルの周囲のＧ受光セル、Ｂ受光セルのＧ信号、Ｂ信号をそれぞれ補間してＲ受光セルの位置におけるＧ信号、Ｂ信号を生成し、また、モザイク画像のＢ受光セルの位置には、Ｇ受光セル、Ｒ受光セルが無いため、そのＢ受光セルの周囲のＧ受光セル、Ｒ受光セルのＧ信号、Ｒ信号をそれぞれ補間してＢ受光セルの位置におけるＧ信号、Ｒ信号を生成する。

一方、望遠画像は、図５（ｃ２）に示したように１マイクロレンズ１６ａ当たり８個（３×３の単位ブロックの周囲８個）のモザイク画像からなり、かつ８個の受光セル内には、ＲＧＢの全ての色情報（Ｒ受光セル、Ｇ受光セル、Ｂ受光セル）が含まれているため、デモザイク処理部は、単位ブロック内の８個の受光セルの出力信号を使用して単位ブロック毎にデモザイク処理した、画像を構成する１つの画素（ＲＧＢの画素値）を生成することができる。

具体的には、望遠画像のモザイク画像をデモザイク処理するデモザイク処理部は、単位ブロック内の４個のＧ受光セルの画素値の平均値を求めることにより、単位ブロック（１マイクロレンズ）の中心位置における画素のＧの画素値を算出し、同様に単位ブロック内の２個のＲ受光セルの画素値の平均値、及び２個のＢ受光セルの画素値の平均値を求めることにより、それぞれ単位ブロックの中心位置における画素のＲの画素値及びＢの画素値を算出する。

上記デモザイク処理部により生成される広角画像及び望遠画像の２つのデモザイク画像のうちの望遠画像のデモザイク画像は、単位ブロック内の８個の受光セルの出力信号を使用してデモザイク処理が行われるため、周囲の単位ブロックの受光セルの出力信号を使用（補間）してデモザイク処理が行われる広角画像のデモザイク画像よりも解像度が実質的に高いものとなる。

また、デジタル信号処理部４０は、デモザイク処理部によりデモザイク処理されたＲＧＢの色情報（Ｒ信号、Ｇ信号、Ｂ信号）から輝度信号Ｙと色差信号Ｃｂ，Ｃｒを生成するＲＧＢ／ＹＣ変換等を行い、所定のフレームレートの広角画像及び望遠画像を示す動画記録用及び動画表示用の画像信号を生成する。

デジタル信号処理部４０で処理された広角画像及び望遠画像を示す画像信号は、それぞれ記録部４２及び表示制御部４５に出力される。記録部４２は、デジタル信号処理部４０により処理された広角画像及び／又は望遠画像を示す動画記録用の画像信号を記録媒体（ハードディスク、メモリカード等）に記録する。尚、記録部４２は、広角画像中の望遠画像に相当する画角から物体が検出された場合に望遠画像を記録し、それ以外の場合は広角画像のみを記録するようにしてもよい。

表示部４４は、表示制御部４５から選択的に出力される広角画像または望遠画像を示す動画表示用の画像信号により、広角画像及び望遠画像を表示する。尚、表示部４４は、記録部４２に記録された画像信号に基づいて広角画像及び／又は望遠画像を再生することもできる。

一方、物体検出部５０は、画像取得部２２が取得した広角画像を示す画素信号に基づいて撮像対象の物体を検出し、検出した物体の画像中における位置情報を表示制御部４５に出力するものである。

物体検出部５０における物体の検出方法としては、人物の顔認識を行う技術や、車両のナンバープレートのナンバー認識に代表される物体認識技術により特定の物体を検出する方法、又は動体を撮像対象の物体として検出する動体検出方法がある。

物体認識による物体の検出方法は、特定の物体の見え方の特徴（人の顔の形状や車両のナンバープレートの数字の形状など）を物体辞書として予め登録しておき、撮影された画像から位置や大きさを変えながら切り出した画像と、物体辞書とを比較しながら物体を認識する方法である。

撮像装置１０は、手動操作によりズーム倍率を連続的に変更させるズーム指令をレンズＣＰＵ６５に出力するズームボタン３８−３を備える。

撮像装置１０は、スイッチ、ボタン、タッチセンサなどの操作手段で構成されたズームボタン３８−３から入力された任意のズーム倍率に従って、環状光学系１４の焦点距離を調整し、光学ズーム倍率の変更を行う光学ズーム調整部８０を備える。例えば、環状光学系１４の焦点距離は、倍率指定手段の指定した倍率をレンズＣＰＵ６５により検知し、レンズＣＰＵ６５がこの倍率に従って第１レンズ１４ａおよび第２レンズ１４ｂを光軸方向に移動させる駆動系を制御することで調整しうる。

また撮像装置１０は、ズームボタン３８−３から入力された任意の倍率で広角画像を電子的に変倍する電子ズーム調整部８１をさらに備える。

図７及び図８は、それぞれ撮像された広角画像及び望遠画像の一例を示す図である。尚、広角画像中の破線で示した領域は、望遠画像の撮像範囲を示している。

いま、図７（ａ）及び（ｂ）に示す広角画像Ｉ１及び望遠画像Ｉ２（広角画像Ｉ１の中の範囲Ｒに相当）が撮像され、かつ人物の顔を撮影対象とし、物体（顔）認識技術により人物の顔を検出する場合、広角画像では、顔を検出することができるが、望遠画像では、顔を検出することができない。望遠画像には、人物の顔の一部しか入っておらず、顔を認識することができないからである。

従って、この場合、人物の顔（物体）の、広角画像中の位置情報を出力する。また、表示制御部４５は広角画像を選択的に表示部４４に出力する。すなわち、望遠画像に撮影対象の一部しか映っていない場合、広角画像を選択的に表示部４４に表示することで、撮影対象を見やすくする。

一方、図８（ａ）及び（ｂ）に示すように、広角画像Ｉ１中の望遠画像Ｉ２に相当する範囲Ｒで物体を検出した場合には、検出した物体の望遠画像中の位置情報を出力するとともに、表示制御部４５は望遠画像を選択的に表示部４４に出力する。望遠画像に撮影対象が映り物体が検出された場合、広角画像よりも望遠画像の方が検出された物体を見やすいからである。

次に、物体検出部５０における物体の検出方法として、動体を撮影対象の物体として検出する動体検出方法の一例について説明する。

この場合、物体検出部５０は、図９に示すように時系列の２枚の広角画像（前回取得した広角画像（図９（ａ）と、今回取得した広角画像（図９（ｂ））の差分をとった差分画像（図９（ｃ））を検出する。

図９（ａ）及び（ｂ）に示す例では、物体Ａ，Ｂのうちの物体Ａが移動し、物体Ｂは停止している。

従って、図９（ｃ）に示すように差分画像Ａ_１，Ａ_２は、物体Ａの移動により生じた画像である。

ここで、差分画像Ａ_１，Ａ_２の重心位置を算出し、それぞれ位置Ｐ_１，Ｐ_２とし、これらの位置Ｐ_１，Ｐ_２を結ぶ線分の中点を、位置Ｇとする。そして、この位置Ｇを動体（物体Ａ）の広角画像中の位置とする。

このようして算出した広角画像中の物体Ａの位置Ｇが、広角画像の中心位置（光軸上の位置）に移動するように、撮像部１１による撮影方向を繰り返し制御することにより、物体Ａが広角画像の中心位置に移動（収束）する。

撮像部１１が移動する場合、時系列の画像間の背景も移動することになるが、この場合には、時系列の画像間の背景が一致するように画像をシフトさせ、シフト後の画像間の差分画像をとることにより、撮像部１１の移動にかかわらず、実空間内を移動する物体を検出することができる。更に、動体検出方法は、上記の実施形態に限らない。

＜撮像制御方法＞
図１０は、本発明に係る撮像装置による撮像制御方法の例を示すフローチャートである。

図１０において、物体検出部５０は、画像取得部２２から広角画像を取得し（ステップＳ２０）、取得した広角画像から撮影対象の物体を検出する（ステップＳ２２）。

続いて、物体検出部５０は、ステップＳ２２において、広角画像中で望遠画像の画角に相当する範囲から物体が検出されたか否かを判別する（ステップＳ２４）。この範囲から物体が検出された場合（「Yes」の場合）には、物体検出部５０は、検出した物体の広角画像中の位置情報を算出する（ステップＳ２６）。表示制御部４５は、デジタル信号処理部４０から出力された望遠画像および広角画像のうち、望遠画像を選択的に表示部４４に出力する（ステップＳ２７）。この結果、表示部４４には、望遠画像が表示される。また、記録部４２は、デジタル信号処理部４０により処理された望遠画像を示す動画記録用の画像信号を記録媒体に記録する（ステップＳ２７）。これにより、例えば目的の人物が検出された場合、その人物を画角内に捉えた望遠画像の記録が開始される。

一方、この範囲から物体が検出されなかった場合（「No」の場合）には、ステップＳ２８に遷移する。ここで、ステップＳ２８からステップＳ３２の処理は、物体検出部５０は、画像取得部２２から広角画像を取得し（ステップＳ２８）、取得した広角画像から対象の物体を検出し（ステップＳ３０）、検出した物体の広角画像中の位置情報を算出する（ステップＳ３２）。表示制御部４５は、デジタル信号処理部４０から出力された望遠画像および広角画像のうち、広角画像を選択的に表示部４４に出力する（ステップＳ３３）。この結果、表示部４４には、広角画像が表示される。

次に、物体検出部５０は、ステップＳ２６又はステップＳ３２により検出された広角画像中の物体の位置情報を出力する（ステップＳ３４）。

次に、撮像が終了したか否かを判別し（ステップＳ３６）、終了していないと判別すると、ステップＳ２０に遷移させる。これにより、上記ステップＳ２０からステップＳ３６の処理が繰り返され、撮像が行われる。一方、撮像が終了したと判別されると、撮像を終了する。

＜指向性センサの他の実施形態＞
図１１は、指向性センサの他の実施形態を示す側面図である。

この指向性センサ１１７は、瞳分割手段としてのマイクロレンズアレイ１１８及び遮光マスクとして機能する遮光部材１２０と、遮光部材１２０により受光セル１１６ａ、１１６ｂの一部が遮光されたイメージセンサ１１６とから構成されている。尚、遮光部材１２０により一部が遮光された受光セル１１６ａと受光セル１１６ｂとは、イメージセンサ１１６の左右方向及び上下方向に交互（チェッカーフラグ状）に設けられている。

マイクロレンズアレイ１１８は、イメージセンサ１１６の受光セル１１６ａ、１１６ｂと一対一に対応するマイクロレンズ１１８ａを有している。

遮光部材１２０は、イメージセンサ１１６の受光セル１１６ａ、１１６ｂの開口を規制するものであり、図２に示した撮影光学系１２の中央光学系１３及び環状光学系１４に対応する開口形状を有している。尚、マイクロレンズアレイ１１８の各レンズの下方には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが配設されている。

受光セル１１６ａは、遮光部材１２０の遮光部１２０ａによりその開口の周辺部が遮光され、一方、受光セル１１６ｂは、遮光部材１２０の遮光部１２０ｂによりその開口の中心部が遮光されている。これにより、撮影光学系１２の中央光学系１３を通過した光束は、マイクロレンズアレイ１１８及び遮光部材１２０の遮光部１２０ａにより瞳分割されて受光セル１１６ａに入射し、一方、撮影光学系１２の環状光学系１４を通過した光束は、マイクロレンズアレイ１１８及び遮光部材１２０の遮光部１２０ｂにより瞳分割されて受光セル１１６ｂに入射する。

これにより、イメージセンサ１１６の各受光セル１１６ａから広角画像の画素信号を読み出すことができ、イメージセンサ１１６の各受光セル１１６ｂから望遠画像の画素信号を読み出すことができる。

＜撮像部の他の実施形態＞
次に、本発明に係る撮像装置に適用される撮像部の他の実施形態について説明する。

図１２は、撮像装置１０に適用可能な撮像部の他の実施形態を示す断面図である。

この撮像部は、撮影光学系１１２と、指向性センサ１７とから構成されている。尚、指向性センサ１７は、図２及び図３に示したものと同一であるため、以下、撮影光学系１１２について説明する。

この撮影光学系１１２は、それぞれ同一の光軸上に配置された中央部の中央光学系１１３とその周辺部の環状光学系１１４とから構成されている。

中央光学系１１３は、第１レンズ１１３ａ、第２レンズ１１３ｂ、及び共通レンズ１１５から構成された望遠光学系であり、画角αを有している。

環状光学系１１４は、レンズ１１４ａ及び共通レンズ１１５から構成された広角光学系であり、画角β（β＞α）を有し、中央光学系１１３よりも広角である。

この撮影光学系１１２は、図２に示した撮影光学系１２と比較すると、反射ミラーを使用しておらず、また、中央光学系１１３が望遠光学系であり、環状光学系１１４が広角光学系である点で相違する。

＜撮像制御方法の他の実施形態１＞
図１３は、本発明に係る撮像装置による撮像制御方法の例を示すフローチャートである。この処理は、図９のＳ２６の処理後、フローチャートのＳ２７の代わりに実行される。

図１３において、表示制御部４５は、スイッチやタッチパネルなどの操作手段で構成されたモード選択部５６を介してユーザの選択した撮影モードが、人物モードであるか、あるいは人物モード以外のモード（例えば、夜景モード、風景モード）であるかを判断する。撮影モードが人物モードの場合はＳ４２、撮影モードが人物モード以外の場合はＳ４３に進む。

Ｓ４２では、表示制御部４５は、広角画像の中央部に望遠画像を重畳して表示する。図１４（ａ）はその表示例を示す。この後、処理はＳ３４に進む。

Ｓ４３では、表示制御部４５は、広角画像の周縁部に望遠画像を重畳して表示する。図１４（ｂ）はその表示例を示す。この後、処理はＳ３４に進む。

なお、Ｓ４２では、表示制御部４５は、広角画像と望遠画像を並列して表示してもよい。

さらに、図１４（ａ）のように、広角画像の中央部に望遠画像を重畳して表示する際、表示画像の１倍を超えるズーム倍率が倍率指定手段で指定された場合、指定されたズーム倍率で望遠画像部分のみをズーム表示し、広角画像はズーム表示しない。

ここで、表示画像の１倍を超えるズーム倍率がズームボタン３８−３で指定された場合、図１５に示すように、望遠画像部分のみについてまず電子ズーム調整部８１により指定された倍率の電子ズームを実施し（１）、電子ズームされた望遠画像部分の解像度が所定の閾値まで低下した場合、望遠画像部分の電子ズームを停止して、電子ズーム倍率を初期値（１倍）に下げ、光学ズーム調整部８０による１段分の光学ズームを実施する（２）。電子ズームの停止の結果、望遠画像部分の解像度は所定の閾値を上回る値に戻る（３）。

望遠画像部分の解像度が所定の閾値を上回った後は、再び、指定されたズーム倍率に応じて、望遠画像部分の電子ズームを再開する（４）。そして、この望遠画像部分の解像度がある所定の閾値まで低下した場合、望遠画像部分の電子ズームを停止し、光学ズーム調整部８０によるさらに１段分の光学ズームを実施する（５）。これにより、再び望遠画像部分の解像度は所定の閾値を上回る（６）。以下同様、望遠画像部分の解像度に応じて、電子ズームの開始、停止、光学ズームのズーム段の増分を、光学ズーム倍率の段数の設定限界まで繰り返す。

これにより、運動会で走っている子供などの撮影対象の被写体を含んだ望遠画像部分をより良い解像度で広角画像と重畳して表示できる。なお、図７（ａ）のように広角画像のみが表示されているときに画像のズーム指示がされた場合は、電子ズームのみを行う。

＜撮影光学系の他の実施形態＞
図１６は撮影光学系１２の他の実施形態を示す。図２と同様の機能を有する部材には、図１６においても共通の符号が付されている。撮影光学系１２は、第１レンズ１３ａよりも被写体側の第５レンズ１３ｅ、第１レンズ１４ａよりも被写体側の第５レンズ１４ｅをさらに備えている。第５レンズ１３ｅおよび第１レンズ１３ａの相対的位置を、電磁誘導などで電源が起電されるボイスコイルモータなどの非接触型駆動手段で調整することで、広角画像の変倍が可能となる。

図１７に示すように、倍率の指定は、撮像装置１０とは別体のコントローラ１００から入力することができる。このコントローラ１００は、ズームボタン３８−３と、通信部１０１を備えており、レンズＣＰＵ６５は、ズーム倍率の制御信号を、コントローラ１００の通信部１０１と無線接続した通信部７０から受信し、受信した制御信号に応じて、第１レンズ１４ａおよび第３レンズ１４ｃの相対的位置を非接触型駆動手段で調整し、広角画像の変倍を行う。なお望遠画像の変倍については、ステッピングモータなどの各種の駆動手段と有線で接続されたズームボタン３８−３により制御が可能である。

［その他］
本実施形態の撮影光学系は、第１の光学系の周辺部に設けられた第２の光学系を、環状光学系としたが、これに限らず、光軸を中心とした同心円上に配設した複数の光学系により構成されたものでもよい。

また、図２に示した撮影光学系１２の反射ミラー型のレンズ構成のうちの反射ミラーは、凹面鏡や凸面鏡に限らず、平面鏡でもよく、また、反射ミラーの枚数も２枚に限らず、３枚以上設けるようにしてもよい。

更に、焦点調整部は、中央光学系及び環状光学系の共通レンズ、又はイメージセンサを光軸方向に移動させるものでもよい。

更にまた、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０…撮像装置、１１…撮像部、１２、１１２…撮影光学系、１３、１１３…中央光学系、１４、１１４…環状光学系、１６、１１８…マイクロレンズアレイ、１６ａ、１１８ａ…マイクロレンズ、１７、１１７…指向性センサ、１８、１１６…イメージセンサ、１８ａ、１１６ａ、１１６ｂ…受光セル、２２…画像取得部、４２…記録部、５０…物体検出部、５６…モード選択部、１２０…遮光部材

Claims (7)

1. それぞれ同一の光軸上に配置された中央部の光学系とその周辺部の光学系とからなり、これらの光学系の一方が広角光学系であり、他方が光学ズーム可能な望遠光学系である撮影光学系と、
   ２次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサであって、前記広角光学系及び前記望遠光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する複数の画素を含む指向性センサと、
   前記広角光学系を介して受光した第１画像を示す画像信号と前記望遠光学系を介して受光した第２画像を示す画像信号とをそれぞれ前記指向性センサから取得する画像読み出し装置と、
   前記望遠光学系および前記広角光学系のうち少なくとも一方の光学ズーム倍率を調整する光学ズーム倍率調整部と、
   前記第２画像の電子ズーム倍率を調整する電子ズーム倍率調整部と、
   を備える撮像装置。
2. 前記望遠光学系は段階的に光学ズーム倍率が調整されるものであり、
   手動操作によりズーム倍率を連続的に変更させるズーム指令を出力するズーム操作部と、
   前記ズーム指令に基づいて前記電子ズーム倍率調整部による電子ズーム倍率を連続的に変更させ、前記第２画像の解像度が閾値以下となった場合、前記光学ズーム倍率調整部により光学ズーム倍率の段階を上げるとともに、前記電子ズーム倍率調整部による電子ズーム倍率を前記光学ズーム倍率の変更に合わせて下げるズーム倍率制御部と、
   をさらに備える請求項１に記載の撮像装置。
3. 前記広角光学系から前記指向性センサに入射する光束の光路および前記望遠光学系から前記指向性センサに入射する光束の光路のそれぞれに個別に配置された絞りをさらに備える請求項１または２に記載の撮像装置。
4. 前記広角光学系から前記指向性センサに入射する光束の光路および前記望遠光学系から前記指向性センサに入射する光束の光路に配置された可変ＮＤフィルタをさらに備える請求項１〜３のいずれか１項に記載の撮像装置。
5. 前記広角光学系は前記望遠光学系より広角であり、
   前記望遠光学系は、光束を２回以上反射させる反射光学系を有する請求項１〜４のいずれか１項に記載の撮像装置。
6. 前記第１画像と、前記光学ズーム倍率調整部が光学ズーム倍率を調整した後の第２画像または前記電子ズーム倍率調整部が電子ズーム倍率を調整した後の第２画像とを、選択的、重畳的、または並列的に表示装置に表示させる表示制御部をさらに備える請求項１〜５のいずれか１項に記載の撮像装置。
7. 前記光学ズーム倍率調整部は、前記広角光学系の光学ズーム倍率を非接触型駆動手段により調整する請求項１〜６のいずれか１項に記載の撮像装置。

Images