JP2016046771A - 撮像装置、撮像システム及び表示装置 - Google Patents

Abstract

【課題】単一の撮像部により光軸が一致した広角画像と望遠画像とを同時に取得することができ、追尾対象の物体を望遠画像で確実に捉えることができる小型で安価な撮像装置、撮像システム及び表示装置を提供する。
【解決手段】本発明は、中央光学系を介して受光した第１画像と環状光学系を介して受光した第２画像とを同時に取得して、第１画像および第２画像を、選択的、重畳的、または並列的に表示装置に表示させることができる。
【選択図】図２

Description

本発明は撮像装置、撮像システム及び表示装置に関し、特に広角画像と望遠画像とを同時に撮像することができる撮像装置に関する。

従来、広角画像と望遠画像とを同時に撮像することができる自動追尾撮像装置として、特許文献１、２に記載のものがある。

特許文献１、２に記載のシステムは、いずれも広角画像を撮像する広角カメラと、電動雲台（パン・チルト装置）に搭載された望遠画像を撮像する望遠カメラとを備え、広角カメラにより撮像された広角画像から追尾対象の物体を検出し、検出した物体の広角画像における位置情報に基づいて電動雲台を回動制御し、望遠カメラにより物体を自動追尾して望遠撮像することを基本的な構成としている。

また、円形中央部分の狭角のレンズ部とこの円形中央部分を囲む環状部分の広角のレンズ部とが同軸に配置された光学系と、狭角のレンズ部により狭角画像が結像される中央区域と広角のレンズ部により広角画像が結像される周辺区域とを有する画像センサとを備えたカメラを、パン・チルト基台に装着し、トラッキングされる物体（ＯＢＴ）をカメラの視野の中心で捉えるようにパン・チルト基台を制御するトラッキングシステムが提案されている（特許文献３）。

これにより、ＯＢＴが狭角画像から逸脱しても、広角画像によりＯＢＴを捉えることができ、トラッキング逸脱（tracking dropout）が生じないようにしている。

また、広角像と望遠像とを観察可能なコンタクトレンズが、カリフォルニア大学サンディエゴ校(UCSD) の Joseph Ford により提案されている（非特許文献１）。

このコンタクトレンズの構成をカメラに利用すれば、広角像と望遠像とを得ることができる可能性がある。

特開平１１−６９３４２号公報 特開２００６−３３２２４号公報 特表２００３−５１０６６６号公報

"Photonic Systems Integration Laboratory",インターネット〈URL：http://psilab.ucsd.edu/research/Telescopic Contact Lens/main.html〉

特許文献１、２に記載のシステムは、いずれも２台の独立した広角カメラと望遠カメラとを備えることを基本構成としているため、システムが高価になるとともに、大型化するという問題がある。また、広角カメラと望遠カメラの光軸は共通ではなく、それぞれ撮像される広角画像と望遠画像とに視差が生じるため、物体の距離情報を使って視差補正をしなければ、（原理的に）正確な物体の追尾を行うことができない。更に、広角カメラは固定されているため、広角画像の画角を越えて物体が移動すると、物体を追尾することができないという問題がある。

一方、特許文献３に記載のトラッキングシステムは、円形中央部分の狭角のレンズ部により撮像される狭角画像と、環状部分の広角のレンズ部により撮像される広角画像（歪曲収差が補正されていない魚眼画像）とを滑らかにつなぐような光学系の設計が困難であり、狭角画像と広角画像との境界部分のＯＢＴのトラッキングが難しいという問題がある。

即ち、画像センサ上では、狭角画像と広角画像とが重複（バッティング）してしまう。それを避けるために光学的な遮蔽・分離機構を設けると、広角画像はドーナツ状になり、広角画像の真ん中部分は欠落して撮影できない。

また、円形中央部分を望遠レンズとし、環状部分を広角レンズとした場合、これらのレンズにより撮像される望遠画像と広角画像とを滑らかにつなぐような光学系の設計は困難である上に、望遠画像と広角画像との境界には撮像されない領域が発生する。

非特許文献１に記載のコンタクトレンズは、広角像と望遠像の視差の問題を解決することができるものの、広角像と望遠像の二つの像を分離獲得するために、切替えシャッタが必要であり、そのためシステムが複雑になっている。更に、両像を同タイミングで取得することができないので、望遠像を取得している間は広角像の情報を取得することができず、トラッキングの精度が低下するという欠点がある。

本発明はこのような事情に鑑みてなされたもので、単一の撮像部により光軸が一致した広角画像と望遠画像とを同時に取得することができ、追尾対象の物体を望遠画像で確実に捉えることができる小型で安価な撮像装置、撮像システム及び表示装置を提供することを目的とする。

本発明の第１の態様は、それぞれ同一の光軸上に配置された中央部の中央光学系とその周辺部の環状光学系とからなる撮影光学系と、２次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサであって、中央光学系及び環状光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する複数の画素を含む指向性センサと、中央光学系を介して受光した第１画像を示す画像信号と環状光学系を介して受光した第２画像を示す画像信号とをそれぞれ指向性センサから取得する画像読み出し装置と、第１画像および第２画像を、選択的、重畳的、または並列的に表示装置に表示させる表示制御部と、を備える撮像装置を提供する。

本発明の第２の態様は、画像読み出し部の取得した第１画像から第１画像における被写体の位置を検出する被写体位置検出部をさらに備え、表示制御部は、被写体位置検出部の検出した被写体の位置に応じて第１画像および第２画像を選択的に表示装置に表示させる項１に記載の撮像装置を提供する。

本発明の第３の態様は、表示制御部は、被写体位置検出部の検出した被写体の位置が第１画像内の特定の領域内である場合、第２画像を表示装置に表示させ、被写体位置検出部の検出した被写体の位置が第１画像内の特定の領域外である場合、第１画像を表示装置に表示させる項２に記載の撮像装置を提供する。

本発明の第４の態様は、被写体位置検出部の検出した被写体の位置に応じて第２画像を記録媒体に記録させる記録制御部をさらに備える項２または３に記載の撮像装置を提供する。

本発明の第５の態様は、撮影モードの設定を行う撮影モード設定部をさらに備え、表示制御部は、撮影モード設定部の設定した撮影モードに応じて、第１画像および第２画像を重畳的に表示装置に表示させる位置を変化させる項１に記載の撮像装置を提供する。

本発明の第６の態様は、画像読み出し部の取得した第１画像から第１画像における被写体の位置を検出する被写体位置検出部をさらに備え、表示制御部は、第１画像および第２画像を並列的に表示させるとともに、被写体位置検出部の検出した第１画像における被写体の位置に対応した第２画像の部分に特定の表示効果を付与する項１に記載の撮像装置を提供する。

本発明の第７の態様は、中央光学系から指向性センサに入射する光束の光路および環状光学系から指向性センサに入射する光束の光路のそれぞれに個別に配置された絞りをさらに備える項１〜６のいずれか１項に記載の撮像装置を提供する。

本発明の第８の態様は、中央光学系から指向性センサに入射する光束の光路および環状光学系から指向性センサに入射する光束の光路に配置された可変ＮＤフィルタをさらに備える項１〜７のいずれか１項に記載の撮像装置を提供する。

本発明の第９の態様は、中央光学系は環状光学系より広角であり、環状光学系は、光束を２回以上反射させる反射光学系を有する項１〜６のいずれか１項に記載の撮像装置を提供する。

本発明の第１０の態様は、それぞれ同一の光軸上に配置された中央部の中央光学系とその周辺部の環状光学系とからなる撮影光学系と、２次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサであって、中央光学系及び環状光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する複数の画素を含む指向性センサと、中央光学系を介して受光した第１画像を示す画像信号と環状光学系を介して受光した第２画像を示す画像信号とをそれぞれ指向性センサから取得する画像読み出し装置と、第１画像および第２画像を出力可能な出力部と、を備えた撮像装置と、撮像装置から出力された第１画像および第２画像を、選択的、重畳的、または並列的に表示させることが可能な表示装置と、を備える撮像システムを提供する。

本発明の第１１の態様は、それぞれ同一の光軸上に配置された中央部の中央光学系とその周辺部の環状光学系とからなる撮影光学系と、２次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサであって、中央光学系及び環状光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する複数の画素を含む指向性センサと、中央光学系を介して受光した第１画像を示す画像信号と環状光学系を介して受光した第２画像を示す画像信号とをそれぞれ指向性センサから取得する画像読み出し装置と、第１画像および第２画像を出力可能な出力部と、を備えた撮像装置を提供する。

本発明の第１２の態様は、項１１に記載の撮像装置から出力された第１画像および第２画像を、選択的、重畳的、または並列的に表示させることが可能な表示装置を提供する。

本発明は、中央光学系を介して受光した第１画像と環状光学系を介して受光した第２画像とを同時に取得して、第１画像および第２画像を、選択的、重畳的、または並列的に表示装置に表示させることができる。

本発明に係る自動追尾撮像装置の外観斜視図 自動追尾撮像装置の撮像部の第１の実施形態を示す断面図 図２に示したマイクロレンズアレイ及びイメージセンサの要部拡大図 マイクロレンズ１６ａ１個当たりが受け持つ受光セルの個数を示す図 イメージセンサに配設されたカラーフィルタ配列等を示す図 自動追尾撮像装置の内部構成の実施形態を示すブロック図 自動追尾撮像装置により撮像される広角画像（追尾対象が広角画像の周辺部に存在）及び望遠画像の一例を示す図 自動追尾撮像装置により撮像される広角画像（追尾対象が広角画像の中央部に存在）及び望遠画像の一例を示す図 動体を追尾対象の物体として検出する動体検出方法の一例について説明するために用いた図 本発明に係る自動追尾撮像装置による自動追尾制御方法の一例を示すフローチャート 指向性センサの他の実施形態を示す側面図 自動追尾撮像装置に適用可能な撮像部の他の実施形態を示す断面図 自動追尾制御方法の例を示すフローチャート 撮影モードに応じて、広角画像の中央部に望遠画像を重畳して表示する例（図１４（ａ））と、広角画像の周縁部に望遠画像を重畳して表示する例（図１４（ｂ））を示す図 広角画像にて追尾中の物体が、望遠画像に相当する画角の境界に接近する位置で検出された場合、望遠画像にてその位置を示す表示効果を望遠画像に付与した例を示す図 本発明の他の実施形態に係る撮像システムの内部構成の実施形態を示すブロック図

以下、添付図面に従って本発明に係る自動追尾撮像装置の実施の形態について説明する。

＜自動追尾撮像装置の外観＞
図１は本発明に係る自動追尾撮像装置の外観斜視図である。

図１に示すように自動追尾撮像装置１０は、主として装置本体２と、撮像部１１と、パン・チルト装置３０（図６）と、撮像部１１を覆うドームカバー６とを有している。一例として、自動追尾撮像装置１０は、小型無人飛行機に取り付けられているが、その取付先は特に限られず、飛行機、ヘリコプター、車両、建物といった、各種の機器、構造物、移動体、飛翔物に取り付けることができる。また、自動追尾撮像装置１０は、単独で持ち運びがされてもよい。

パン・チルト装置３０は、台座４と、台座４に固定されるとともに、撮像部１１を回動自在に保持する保持部８とを有している。

台座４は、装置本体２の垂直方向Ｚの軸を中心に回転自在に配設され、パン駆動部３４（図６）により垂直方向Ｚの軸を中心にして回転する。

保持部８は、水平方向Ｘの軸と同軸上に設けられたギア８Ａを有し、チルト駆動部３６（図６）からギア８Ａを介して駆動力が伝達されることにより、撮像部１１を上下方向に回動（チルト動作）させる。

ドームカバー６は、防塵及び防滴用のカバーであり、撮像部１１の光軸方向Ｌにかかわらず、撮像部１１の光学性能が変化しないように、水平方向Ｘの軸と垂直方向Ｚの軸との交点を、曲率中心とする一定肉厚の球殻形状であることが好ましい。

また、装置本体２の背面には、図示しない三脚取付部（三脚ねじ穴等）を設けることが好ましい。

［撮像部の構成］
図２は、自動追尾撮像装置１０の撮像部１１の第１の実施形態を示す断面図である。

図２に示すように、撮像部１１は、撮影光学系１２と指向性センサ１７と絞り６３（６３ａ、６３ｂ）と可変ＮＤ(Neutral Density)フィルタ６４とから構成されている。

＜撮影光学系＞
撮影光学系１２は、それぞれ同一の光軸上に配置された、第１の光学系としての中央部の中央光学系１３と、その周辺部の同心円状の第２の光学系としての環状光学系１４とから構成されている。

中央光学系１３は、第１レンズ１３ａ、第２レンズ１３ｂ、第３レンズ１３ｃ、第４レンズ１３ｄ、及び共通レンズ１５から構成された広角光学系（広角レンズ）であり、指向性センサ１７を構成するマイクロレンズアレイ１６上に広角画像を結像させる。

環状光学系１４は、第１レンズ１４ａ、第２レンズ１４ｂ、反射光学系としての第１反射ミラー１４ｃ、第２反射ミラー１４ｄ、及び共通レンズ１５から構成された望遠光学系（望遠レンズ）であり、マイクロレンズアレイ１６上に望遠画像を結像させる。第１レンズ１４ａ、及び第２レンズ１４ｂを介して入射した光束は、第１反射ミラー１４ｃ及び第２反射ミラー１４ｄにより２回反射された後、共通レンズ１５を通過する。第１反射ミラー１４ｃ及び第２反射ミラー１４ｄにより光束が折り返されることにより、焦点距離の長い望遠光学系（望遠レンズ）の光軸方向の長さを短くしている。

絞り６３は、中央光学系１３に対応した絞り６３ａと、環状光学系１４に対応した絞り６３ｂを含む。図２（ｂ）に例示するように、絞り６３ａは、中央部に形成された穴の外径を伸縮することで、中央光学系１３からマイクロレンズアレイ１６に結像する光束の入射量を変化させる。また図２（ｃ）に例示するように、絞り６３ｂは、周縁部に形成された環状の穴の内径を伸縮することで、環状光学系１４からマイクロレンズアレイ１６に結像する光束の入射量を変化させる。

共通レンズ１５とイメージセンサ１８の間に設けられた可変ＮＤフィルタ６４は、連続的あるいは段階的な透過率を複数有しており、印加する電圧を変化させるか、あるいは機械的に回転させることで、それらの中から任意の透過率を選択し、撮影光学系１２からイメージセンサ１８へ結像する被写体像の受光量を調節する。

なお、中央光学系１３と環状光学系１４は同一の光軸上に配置されるため、これらの結像する広角画像および望遠画像ではパララックスが発生しない。

＜指向性センサ＞
指向性センサ１７は、マイクロレンズアレイ１６とイメージセンサ１８とから構成されている。

図３は、マイクロレンズアレイ１６及びイメージセンサ１８の要部拡大図である。

マイクロレンズアレイ１６は、複数のマイクロレンズ（瞳結像レンズ）１６ａが２次元状に配列されて構成されており、各マイクロレンズの水平方向及び垂直方向の間隔は、イメージセンサ１８の光電変換素子である受光セル１８ａの３つ分の間隔に対応している。即ち、マイクロレンズアレイ１６の各マイクロレンズは、水平方向及び垂直方向の各方向に対して、２つ置きの受光セルの位置に対応して形成されたものが使用される。

また、マイクロレンズアレイ１６の各マイクロレンズ１６ａは、撮影光学系１２の中央光学系１３及び環状光学系１４に対応する、円形の中央瞳像（第１の瞳像）１７ａ及び環状瞳像（第２の瞳像）１７ｂを、イメージセンサ１８の対応する受光領域の受光セル１８ａ上に結像させる。

図３に示すマイクロレンズアレイ１６及びイメージセンサ１８によれば、マイクロレンズアレイ１６の１マイクロレンズ１６ａ当たりに付き、格子状（正方格子状）の３×３個の受光セル１８ａが割り付けられている。以下、１つのマイクロレンズ１６ａ及び１つのマイクロレンズ１６ａに対応する受光セル群（３×３個の受光セル１８ａ）を単位ブロックという。

中央瞳像１７ａは、単位ブロックの中央の受光セル１８ａのみに結像し、環状瞳像１７ｂは、単位ブロックの周囲の８個の受光セル１８ａに結像する。

上記構成の撮像部１１によれば、後述するように中央光学系１３に対応する広角画像と、環状光学系１４に対応する望遠画像とを同時に撮像することができる。

図４は、受光セル１８ａの配置例を示す。受光セル１８ａは、マイクロレンズ１６ａ１個当たりが受け持つ受光セルの個数が、中央から周辺にいくにしたがって（像高が高くなるにしたがって）少なくなる構造となっている。図４に示す例では、１マイクロレンズ１６ａ当たりの受け持つ受光セル１８ａの個数（紙面の上下方向の個数）を、中央（入射角０°）では３個、中間（入射角３．２°）では２個、周辺（入射角１４．４°）では１個としている。

図４に示すように受光セル１８ａのサイズが同一の場合、マイクロレンズ１６ａは、周辺にいくにしたがって小さいサイズで、焦点距離の短いもの使用する。これにより、周辺ほど高密度なサンプリングが可能になる。

［イメージセンサの実施形態］
図５は、イメージセンサ１８に配設されたカラーフィルタ配列等を示す図である。尚、図４上で、マイクロレンズアレイ１６は省略されているが、円形で示した領域は、マイクロレンズアレイ１６の各マイクロレンズ１６ａにより瞳像が結像される３×３個の受光セルを含む単位ブロックを示している。

図５（ａ）に示すようにイメージセンサ１８の撮像面上には、各受光セル上に配設されたカラーフィルタにより構成されるカラーフィルタ配列が設けられる。

このカラーフィルタ配列は、赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）の各波長域の光を透過させる３原色のカラーフィルタ（以下、Ｒフィルタ、Ｇフィルタ、Ｂフィルタという）により構成されている。そして、各受光セル上には、ＲＧＢフィルタのいずれかが配置される。以下、Ｒフィルタが配置された受光セルを「Ｒ受光セル」、Ｇフィルタが配置された受光セルを「Ｇ受光セル」、Ｂフィルタが配置された受光セルを「Ｂ受光セル」という。

図５（ａ）に示すカラーフィルタ配列は、６×６個の受光セルを基本ブロックＢ（図５（ａ）の太枠で示したブロック、及び図５（ｂ）参照）とし、基本ブロックＢが水平方向及び垂直方向に繰り返し配置されて構成されている。

図５（ｂ）に示すように基本ブロックＢは、４個の単位ブロックＢ１〜Ｂ４により構成されている。

図５（ｃ１）及び（ｃ２）は、それぞれ４個の単位ブロックＢ１〜Ｂ４の中央の受光セル（図３に示した中央光学系１３を通過した光束が入射する受光セル）のグループと、周囲の８個の受光セル（図３に示した環状光学系１４を通過した光速が入射する受光セル）のグループとを示す。

図５（ｃ１）に示すように中央の受光セルのグループの画像は、ベイヤ配列のモザイク画像となる。これにより、ベイヤ配列のモザイク画像をデモザイク処理することにより、カラー画像を得ることができる。

一方、図５（ｃ２）に示すように、単位ブロックＢ１〜Ｂ４の各中央の受光セルの周囲の８個の受光セルのグループは、８個の受光セル内にＲＧＢの全ての受光セル（Ｒ受光セル、Ｇ受光セル、Ｂ受光セル）を含み、かつ単位ブロックＢ１〜Ｂ４にかかわらず、ＲＧＢの受光セルが同じパターンで配置されている。

具体的には、各単位ブロックＢ１〜Ｂ４の４隅の４つの受光セルは、Ｇ受光セルが配置され、中央の受光セルを挟んで上下の２個の受光セルは、Ｒ受光セルが配置され、中央の受光セルを挟んで左右の２個の受光セルは、Ｂ受光セルが配置されている。

また、Ｒ受光セル、Ｇ受光セル、及びＢ受光セルは、それぞれ単位ブロックの中央の受光セル（中心）に対して対称位置に配置されている。これにより、単位ブロック内のＲＧＢの受光セルの出力信号を使用して、その単位ブロック毎のデモザイク処理（同時化処理）後の、画像を構成する１つの画素（ＲＧＢの画素値）を生成することができる。

即ち、単位ブロック内の４個のＧ受光セルの出力信号（画素値）の平均値を求めることにより、単位ブロック（１マイクロレンズ）の中心位置におけるＧ画素の画素値を取得することができ、同様に単位ブロック内の２個のＲ受光セルの画素値の平均値、及び２個のＢ受光セルの画素値の平均値を求めることにより、それぞれ単位ブロックの中心位置におけるＲ画素及びＢ画素の画素値を取得することができる。

これにより、単位ブロックの周囲の８個の受光セルのグループにより生成される、環状光学系１４（望遠光学系）に対応する望遠画像については、単位ブロック内のＲＧＢの受光セルの画素値を使用してデモザイク処理を行うことができ、周囲の単位ブロックの受光セルの画素値を補間して特定の波長域の画素の画素値を生成する必要がなく、出力画像の解像度（実質的な画素数）を低下させることがない。

＜自動追尾撮像装置の内部構成＞
図６は、自動追尾撮像装置１０の内部構成の実施形態を示すブロック図である。

図６に示すように自動追尾撮像装置１０は、図２で説明した中央光学系１３及び環状光学系１４を有する撮影光学系１２と、図３ないし図５で説明したマイクロレンズアレイ１６及びイメージセンサ１８を有する指向性センサ１７とからなる撮像部１１を備えている。

この撮像部１１は、望遠光学系（環状光学系１４）の焦点調整を行う焦点調整部１９を備えることが好ましい。焦点調整部１９は、例えば、環状光学系１４の全体又は一部の光学系を光軸方向に移動させるボイスコイルモータ等により構成することができる。また、望遠画像の合焦の判断は、望遠画像の焦点検出領域のコントラストにより行うことができるが、焦点調整方法はこれに限定されない。尚、広角光学系（中央光学系１３）については、別途、焦点調整部を設けるようにしてよいし、パンフォーカスとしてもよい。

パン・チルト装置（電動雲台）３０は、図１に示したように撮像部１１を装置本体２に対して水平方向（パン方向）に回転されるパン機構、及び垂直方向（チルト方向）に回動させるチルト機構（以下、「パン・チルト機構」と称す）３２、パン駆動部３４、及びチルト駆動部３６等を備えている。パン・チルト機構３２は、パン方向の回転角（パン角）の基準位置を検出するホームポジションセンサ、チルト方向の傾き角（チルト角）の基準位置を検出するホームポジションセンサを有している。

パン駆動部３４及びチルト駆動部３６は、それぞれステッピングモータ及びモータドライバを有し、パン・チルト機構３２に駆動力を出力し、パン・チルト機構３２を駆動する。

撮像部１１は、撮影光学系１２及び指向性センサ１７を介して時系列の広角画像及び望遠画像を撮像するものであり、撮影光学系１２を介して指向性センサ１７（イメージセンサ１８）の各受光セル（光電変換素子）の受光面に結像された被写体像は、その入射光量に応じた量の信号電圧（または電荷）に変換される。

レンズＣＰＵ６５は、絞り６３の開口径の増大と連動し、それに応じて増大する露出量（露光量の増分ΔＥＶ）を相殺する可変ＮＤフィルタ６４の目標濃度（減光率）を決定する。レンズＣＰＵ６５は、該決定された濃度に対応する信号を可変ＮＤフィルタ６４の駆動系に印加する。これにより可変ＮＤフィルタ６４の濃度が調節される。すなわちレンズＣＰＵ６５は、現在の可変ＮＤフィルタ６４の濃度と目標濃度とを比較し、それらの差異が解消するよう目標濃度（減光率）を再び決定し、該決定された濃度に対応する制御信号を可変ＮＤフィルタ６４の駆動系に印加する。この駆動系が、この制御信号に対応した透過率をさらに選択することで、可変ＮＤフィルタ６４の濃度が調節され、イメージセンサの受光量が、絞り６３の開放の前後で保たれるように調節される。

ＮＤフィルタの透過率は、スイッチ、ボタン、タッチセンサなどの操作手段に対する入力により、変更することができる。好ましくは、このＮＤフィルタの透過率の変更操作手段は、レンズ周辺に設けられる。

イメージセンサ１８に蓄積された信号電圧（または電荷）は、受光セルそのもの若しくは付設されたキャパシタに蓄えられる。蓄えられた信号電圧（または電荷）は、Ｘ−Ｙアドレス方式を用いたＭＯＳ型撮像素子（いわゆるＣＭＯＳセンサ）の手法を用いて、受光セル位置の選択とともに読み出される。

これにより、イメージセンサ１８から中央光学系１３に対応する中央の受光セルのグループの広角画像を示す画素信号と、環状光学系１４に対応する周囲８個の受光セルのグループの望遠画像を示す画素信号とを読み出すことができる。尚、イメージセンサ１８からは、所定のフレームレート（例えば、１秒当たりのフレーム数２４ｐ，３０ｐ，又は６０ｐ）で、広角画像及び望遠画像を示す画素信号が連続して読み出される。

イメージセンサ１８から読み出された画素信号（電圧信号）は、相関二重サンプリング処理（センサ出力信号に含まれるノイズ（特に熱雑音）等を軽減することを目的として、受光セル毎の出力信号に含まれるフィードスルー成分レベルと信号成分レベルとの差をとることにより正確な画素データを得る処理）により受光セル毎の画素信号がサンプリングホールドされ、増幅されたのちＡ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力する画素信号をデジタル信号に変換して画像取得部２２に出力する。尚、ＭＯＳ型センサでは、Ａ／Ｄ変換器が内蔵されているものがあり、この場合、イメージセンサ１８から直接デジタル信号が出力される。

画像取得部２２は、イメージセンサ１８の受光セル位置を選択して画素信号を読み出すことにより、広角画像を示す画素信号と望遠画像を示す画素信号とを同時に、又は選択的に取得することができる。

即ち、イメージセンサ１８の中央瞳像１７ａが入射する受光セルの画素信号を選択的に読み出すことにより、１マイクロレンズ当たり１個の受光セル（３×３の受光セルの中央の受光セル）の広角画像を示す画素信号（ベイヤ配列のモザイク画像を示す画素信号）を取得することができ、一方、イメージセンサ１８の環状瞳像１７ｂが入射する受光セルの画素信号を選択的に読み出すことにより、１マイクロレンズ当たり８個の受光セル（３×３の受光セルの周囲の受光セル）の望遠画像を示す画素信号を取得することができる。

尚、イメージセンサ１８から全ての画素信号を読み出してバッファメモリに一時的に記憶させ、バッファメモリに記憶させた画素信号から、広角画像と望遠画像の２つ画像の画素信号のグループ分けを行ってもよい。

画像取得部２２により取得された広角画像及び望遠画像を示す画素信号は、それぞれデジタル信号処理部４０及び物体検出部５０に出力される。

デジタル信号処理部４０は、入力するデジタルの画素信号（ＲＧＢの点順次のＲ信号、Ｇ信号、Ｂ信号）に対して、オフセット処理、ガンマ補正処理、及びＲＧＢのモザイク画像の信号に対するデモザイク処理や、広角画像および望遠画像のそれぞれから個別に推定された光源の色温度に基づいたホワイトバランス補正処理等の所定の信号処理を行う。

ここで、デモザイク処理とは、単板式のイメージセンサ１８のカラーフィルタ配列に対応したＲＧＢのモザイク画像から画素毎に全ての色情報を算出する処理であり、同時化処理ともいう。例えば、ＲＧＢ３色のカラーフィルタからなるイメージセンサ１８の場合、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する処理である。

また、広角画像および望遠画像のそれぞれから個別に推定された光源の色温度に基づいたホワイトバランス補正処理とは、図４（ｃ１）の中央の受光セル及び図４（ｃ２）の周囲の８個の受光セルのそれぞれから得られた、広角画像および望遠画像のそれぞれに対応するＲ、Ｇ、Ｂの画像信号に基づいて自動的に光源種（被写界の色温度）を求め、予め光源種別に設定されたＲ、Ｇ、Ｂのホワイトバランスゲイン（ホワイトバランス補正値）を記憶するテーブルから対応するホワイトバランスゲインを読み出し、広角画像および望遠画像のそれぞれに対応するＲ、Ｇ、Ｂの画像信号に、それぞれに対応するホワイトバランスゲインが乗算されることをいう。

即ち、デジタル信号処理部４０に含まれるデモザイク処理部は、広角画像（ベイヤ配列のモザイク画像）のＧ受光セルの位置には、Ｒ受光セル、Ｂ受光セルが無いため、そのＧ受光セルの周囲のＲ受光セル、Ｂ受光セルのＲ信号、Ｂ信号をそれぞれ補間して、Ｇ受光セルの位置におけるＲ信号、Ｂ信号を生成する。同様に、モザイク画像のＲ受光セルの位置には、Ｇ受光セル、Ｂ受光セルが無いため、そのＲ受光セルの周囲のＧ受光セル、Ｂ受光セルのＧ信号、Ｂ信号をそれぞれ補間してＲ受光セルの位置におけるＧ信号、Ｂ信号を生成し、また、モザイク画像のＢ受光セルの位置には、Ｇ受光セル、Ｒ受光セルが無いため、そのＢ受光セルの周囲のＧ受光セル、Ｒ受光セルのＧ信号、Ｒ信号をそれぞれ補間してＢ受光セルの位置におけるＧ信号、Ｒ信号を生成する。

一方、望遠画像は、図５（ｃ２）に示したように１マイクロレンズ１６ａ当たり８個（３×３の単位ブロックの周囲８個）のモザイク画像からなり、かつ８個の受光セル内には、ＲＧＢの全ての色情報（Ｒ受光セル、Ｇ受光セル、Ｂ受光セル）が含まれているため、デモザイク処理部は、単位ブロック内の８個の受光セルの出力信号を使用して単位ブロック毎にデモザイク処理した、画像を構成する１つの画素（ＲＧＢの画素値）を生成することができる。

具体的には、望遠画像のモザイク画像をデモザイク処理するデモザイク処理部は、単位ブロック内の４個のＧ受光セルの画素値の平均値を求めることにより、単位ブロック（１マイクロレンズ）の中心位置における画素のＧの画素値を算出し、同様に単位ブロック内の２個のＲ受光セルの画素値の平均値、及び２個のＢ受光セルの画素値の平均値を求めることにより、それぞれ単位ブロックの中心位置における画素のＲの画素値及びＢの画素値を算出する。

上記デモザイク処理部により生成される広角画像及び望遠画像の２つのデモザイク画像のうちの望遠画像のデモザイク画像は、単位ブロック内の８個の受光セルの出力信号を使用してデモザイク処理が行われるため、周囲の単位ブロックの受光セルの出力信号を使用（補間）してデモザイク処理が行われる広角画像のデモザイク画像よりも解像度が実質的に高いものとなる。

また、デジタル信号処理部４０は、デモザイク処理部によりデモザイク処理されたＲＧＢの色情報（Ｒ信号、Ｇ信号、Ｂ信号）から輝度信号Ｙと色差信号Ｃｂ，Ｃｒを生成するＲＧＢ／ＹＣ変換等を行い、所定のフレームレートの広角画像及び望遠画像を示す動画記録用及び動画表示用の画像信号を生成する。

デジタル信号処理部４０で処理された広角画像及び望遠画像を示す画像信号は、それぞれ記録部４２及び表示制御部４５に出力される。記録部４２は、デジタル信号処理部４０により処理された広角画像及び／又は望遠画像を示す動画記録用の画像信号を記録媒体（ハードディスク、メモリカード等）に記録する。尚、記録部４２は、広角画像中の望遠画像に相当する画角から物体が検出された場合に望遠画像を記録し、それ以外の場合は広角画像のみを記録するようにしてもよい。

表示部４４は、表示制御部４５から選択的に出力される広角画像または望遠画像を示す動画表示用の画像信号により、広角画像及び望遠画像を表示する。尚、表示部４４は、記録部４２に記録された画像信号に基づいて広角画像及び／又は望遠画像を再生することもできる。

一方、物体検出部５０は、画像取得部２２が取得した広角画像を示す画素信号に基づいて追尾対象の物体を検出し、検出した物体の画像中における位置情報をパン・チルト制御部６０に出力するものである。

物体検出部５０における物体の検出方法としては、人物の顔認識を行う技術や、車両のナンバープレートのナンバー認識に代表される物体認識技術により特定の物体を検出する方法、又は動体を追尾対象の物体として検出する動体検出方法がある。

物体認識による物体の検出方法は、特定の物体の見え方の特徴（車両のナンバープレートの数字の形状など）を物体辞書として予め登録しておき、撮影された画像から位置や大きさを変えながら切り出した画像と、物体辞書とを比較しながら物体を認識する方法である。

図７及び図８は、それぞれ撮像された広角画像及び望遠画像の一例を示す図である。尚、広角画像中の破線で示した領域は、望遠画像の撮像範囲を示している。

いま、図７（ａ）及び（ｂ）に示す広角画像Ｉ１及び望遠画像Ｉ２（広角画像Ｉ１の中の範囲Ｒに相当）が撮像され、かつ人物の顔を追尾対象とし、物体（顔）認識技術により人物の顔を検出する場合、広角画像では、顔を検出することができるが、望遠画像では、顔を検出することができない。望遠画像には、人物の顔の一部しか入っておらず、顔を認識することができないからである。

従って、この場合、人物の顔（物体）の、広角画像中の位置情報をパン・チルト制御部６０に出力する。また、表示制御部４５は広角画像を選択的に表示部４４に出力する。すなわち、望遠画像に追尾対象の一部しか映っていない場合、広角画像を選択的に表示部４４に表示することで、追尾対象を見やすくする。

一方、図８（ａ）及び（ｂ）に示すように、広角画像Ｉ１中の望遠画像Ｉ２に相当する範囲Ｒで物体を検出した場合には、検出した物体の望遠画像中の位置情報をパン・チルト制御部６０に出力するとともに、表示制御部４５は望遠画像を選択的に表示部４４に出力する。望遠画像に追尾対象が映り物体が検出された場合、広角画像よりも望遠画像の方が検出された物体を見やすいからである。

パン・チルト制御部６０は、上記のように物体検出部５０から入力する広角画像中の物体の位置情報に基づいてパン・チルト装置３０を制御する部分であり、物体の画像中の位置情報（例えば、追尾対象の顔の場合には、顔領域の重心位置）が画像の中心位置（光軸上の位置）に移動するように、パン駆動部３４、チルト駆動部３６を介してパン・チルト機構３２（即ち、撮像部１１による撮影方向）を制御する。

上記のパン・チルト機構３２の制御により、追尾対象の物体（例えば、人物の顔）が広角画像の中心にくるように、物体を自動追尾して撮像することができる。尚、本例では、物体の画像中の位置（重心位置）が、望遠画像の中心にくるように追尾制御する場合について説明したが、これに限らず、物体の画像中の位置（重心位置）が、少なくとも望遠画像の画角（好ましくは、望遠画像の中心近傍の一定範囲（例えば、焦点検出領域内））に入るようにパン・チルト機構３２を制御するようにしてもよい。

次に、物体検出部５０における物体の検出方法として、動体を追尾対象の物体として検出する動体検出方法の一例について説明する。

この場合、物体検出部５０は、図９に示すように時系列の２枚の広角画像（前回取得した広角画像（図９（ａ）と、今回取得した広角画像（図９（ｂ））の差分をとった差分画像（図９（ｃ））を検出する。

図９（ａ）及び（ｂ）に示す例では、物体Ａ，Ｂのうちの物体Ａが移動し、物体Ｂは停止している。

従って、図９（ｃ）に示すように差分画像Ａ_１，Ａ_２は、物体Ａの移動により生じた画像である。

ここで、差分画像Ａ_１，Ａ_２の重心位置を算出し、それぞれ位置Ｐ_１，Ｐ_２とし、これらの位置Ｐ_１，Ｐ_２を結ぶ線分の中点を、位置Ｇとする。そして、この位置Ｇを動体（物体Ａ）の広角画像中の位置とする。

このようして算出した広角画像中の物体Ａの位置Ｇが、広角画像の中心位置（光軸上の位置）に移動するように、パン・チルト機構３２（即ち、撮像部１１による撮影方向）を繰り返し制御することにより、物体Ａが広角画像の中心位置に移動（収束）する。

撮像部１１が移動（パン・チルト機構３２により移動、又は自動追尾撮像装置１０を車載することにより移動）する場合、時系列の画像間の背景も移動することになるが、この場合には、時系列の画像間の背景が一致するように画像をシフトさせ、シフト後の画像間の差分画像をとることにより、撮像部１１の移動にかかわらず、実空間内を移動する物体を検出することができる。更に、動体検出方法は、上記の実施形態に限らない。

＜自動追尾制御方法＞
図１０は、本発明に係る自動追尾撮像装置による自動追尾制御方法の例を示すフローチャートである。

図１０において、物体検出部５０は、画像取得部２２から広角画像を取得し（ステップＳ２０）、取得した広角画像から追尾対象の物体を検出する（ステップＳ２２）。

続いて、物体検出部５０は、ステップＳ２２において、広角画像中で望遠画像の画角に相当する範囲から物体が検出されたか否かを判別する（ステップＳ２４）。この範囲から物体が検出された場合（「Yes」の場合）には、物体検出部５０は、検出した物体の広角画像中の位置情報を算出する（ステップＳ２６）。表示制御部４５は、デジタル信号処理部４０から出力された望遠画像および広角画像のうち、望遠画像を選択的に表示部４４に出力する（ステップＳ２７）。この結果、表示部４４には、望遠画像が表示される。また、記録部４２は、デジタル信号処理部４０により処理された望遠画像を示す動画記録用の画像信号を記録媒体に記録する（ステップＳ２７）。これにより、例えば不審人物が検出された場合、その人物を画角内に捉えた望遠画像の記録が開始される。

一方、この範囲から物体が検出されなかった場合（「No」の場合）には、ステップＳ２８に遷移する。ここで、ステップＳ２８からステップＳ３２の処理は、物体検出部５０は、画像取得部２２から広角画像を取得し（ステップＳ２８）、取得した広角画像から追尾対象の物体を検出し（ステップＳ３０）、検出した物体の広角画像中の位置情報を算出する（ステップＳ３２）。表示制御部４５は、デジタル信号処理部４０から出力された望遠画像および広角画像のうち、広角画像を選択的に表示部４４に出力する（ステップＳ３３）。この結果、表示部４４には、広角画像が表示される。

次に、パン・チルト制御部６０は、ステップＳ２６又はステップＳ３２により検出された広角画像中の物体の位置情報を入力し、入力した位置情報に基づいて物体が広角画像中の中心位置にくるようにパン・チルト装置３０を制御する（ステップＳ３４）。

次に、自動追尾撮像が終了したか否かを判別し（ステップＳ３６）、終了していないと判別すると、ステップＳ２０に遷移させる。これにより、上記ステップＳ２０からステップＳ３６の処理が繰り返され、物体を自動追尾した撮像が行われる。一方、自動追尾撮像が終了したと判別されると、自動追尾撮像を終了する。

＜指向性センサの他の実施形態＞
図１１は、指向性センサの他の実施形態を示す側面図である。

この指向性センサ１１７は、瞳分割手段としてのマイクロレンズアレイ１１８及び遮光マスクとして機能する遮光部材１２０と、遮光部材１２０により受光セル１１６ａ、１１６ｂの一部が遮光されたイメージセンサ１１６とから構成されている。尚、遮光部材１２０により一部が遮光された受光セル１１６ａと受光セル１１６ｂとは、イメージセンサ１１６の左右方向及び上下方向に交互（チェッカーフラグ状）に設けられている。

マイクロレンズアレイ１１８は、イメージセンサ１１６の受光セル１１６ａ、１１６ｂと一対一に対応するマイクロレンズ１１８ａを有している。

遮光部材１２０は、イメージセンサ１１６の受光セル１１６ａ、１１６ｂの開口を規制するものであり、図２に示した撮影光学系１２の中央光学系１３及び環状光学系１４に対応する開口形状を有している。尚、マイクロレンズアレイ１１８の各レンズの下方には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが配設されている。

受光セル１１６ａは、遮光部材１２０の遮光部１２０ａによりその開口の周辺部が遮光され、一方、受光セル１１６ｂは、遮光部材１２０の遮光部１２０ｂによりその開口の中心部が遮光されている。これにより、撮影光学系１２の中央光学系１３を通過した光束は、マイクロレンズアレイ１１８及び遮光部材１２０の遮光部１２０ａにより瞳分割されて受光セル１１６ａに入射し、一方、撮影光学系１２の環状光学系１４を通過した光束は、マイクロレンズアレイ１１８及び遮光部材１２０の遮光部１２０ｂにより瞳分割されて受光セル１１６ｂに入射する。

これにより、イメージセンサ１１６の各受光セル１１６ａから広角画像の画素信号を読み出すことができ、イメージセンサ１１６の各受光セル１１６ｂから望遠画像の画素信号を読み出すことができる。

＜撮像部の他の実施形態＞
次に、本発明に係る自動追尾撮像装置に適用される撮像部の他の実施形態について説明する。

図１２は、自動追尾撮像装置１０に適用可能な撮像部の他の実施形態を示す断面図である。

この撮像部は、撮影光学系１１２と、指向性センサ１７とから構成されている。尚、指向性センサ１７は、図２及び図３に示したものと同一であるため、以下、撮影光学系１１２について説明する。

この撮影光学系１１２は、それぞれ同一の光軸上に配置された中央部の中央光学系１１３とその周辺部の環状光学系１１４とから構成されている。

中央光学系１１３は、第１レンズ１１３ａ、第２レンズ１１３ｂ、及び共通レンズ１１５から構成された望遠光学系であり、画角αを有している。

環状光学系１１４は、レンズ１１４ａ及び共通レンズ１１５から構成された広角光学系であり、画角β（β＞α）を有し、中央光学系１１３よりも広角である。

この撮影光学系１１２は、図２に示した撮影光学系１２と比較すると、反射ミラーを使用しておらず、また、中央光学系１１３が望遠光学系であり、環状光学系１１４が広角光学系である点で相違する。

＜自動追尾制御方法の他の実施形態１＞
図１３は、本発明に係る自動追尾撮像装置による自動追尾制御方法の例を示すフローチャートである。この処理は、図１０の自動追尾制御方法のＳ２６の処理後、フローチャートのＳ２７の代わりに実行される。

図１３において、表示制御部４５は、スイッチやタッチパネルなどの操作手段で構成されたモード選択部５６を介してユーザの選択した撮影モードが、人物モードであるか、あるいは人物モード以外のモード（例えば、夜景モード、風景モード）であるかを判断する。撮影モードが人物モードの場合はＳ４２、撮影モードが人物モード以外の場合はＳ４３に進む。

Ｓ４２では、表示制御部４５は、広角画像の中央部に望遠画像を重畳して表示する。図１４（ａ）はその表示例を示す。この後、処理はＳ３４に進む。

Ｓ４３では、表示制御部４５は、広角画像の周縁部に望遠画像を重畳して表示する。図１４（ｂ）はその表示例を示す。この後、処理はＳ３４に進む。

なお、Ｓ４２では、表示制御部４５は、広角画像と望遠画像を並列して表示してもよい。

さらに、広角画像にて追尾中の物体が、望遠画像に相当する画角の境界に接近する位置で検出された場合、望遠画像にてその位置を示す表示効果を望遠画像に付与してもよい。図１５はその表示例であり、広角画像にて追尾中の物体が、望遠画像に相当する画角の右側境界に接近する位置で検出された場合、望遠画像にて右側境界を点滅させる表示効果を望遠画像に付与している。

＜本発明の他の実施形態に係る撮像システム＞
図１６は本発明の他の実施形態に係る撮像システムの内部構成の実施形態を示すブロック図である。このシステムは、自動追尾撮像装置１０と表示装置１００とを備えており、図２と同様の機能を有するブロックには図１６でも同じ符号が付されている。

自動追尾撮像装置１０のデジタル信号処理部４０で処理された広角画像及び望遠画像を示す画像信号は、それぞれ通信部７０に出力される。通信部７０は、有線または無線ＬＡＮ、インターネットなどの各種ネットワークに接続可能な規格でデータの送信を行うことができ、特に、表示装置１００と通信して、広角画像及び望遠画像を送信することができる。

表示装置１００は、表示制御部４５と表示部４４とを備えており、自動追尾撮像装置１０の通信部７０から送信された広角画像および望遠画像を受信したうえで、図２と同様の機能を有する表示制御部４５により上記の各種処理を実行する。また、表示装置１００は、記録部４２によって広角画像および望遠画像が記録された可搬性記録媒体から広角画像および望遠画像を読みだしたうえで、表示制御部４５により上記の各種処理を実行することもできる。

［その他］
本実施形態の自動追尾撮像装置１０は、撮像部１１をパン方向及びチルト方向に回動させるパン・チルト機構３２が装置本体２に設けられているが、これに限らず、撮像装置全体を電動雲台（パン・チルト装置）に搭載したものでもよい。尚、本発明に係る自動追尾撮像装置は、例えば、監視カメラ、車載カメラとして使用することができる。

また、追尾対象の物体は、表示部４４に表示された広角画像からタッチパネル等を使用して操作者が最初に設定するようにしてもよい。

本実施形態の撮影光学系は、第１の光学系の周辺部に設けられた第２の光学系を、環状光学系としたが、これに限らず、光軸を中心とした同心円上に配設した複数の光学系により構成されたものでもよい。

また、図２に示した撮影光学系１２の反射ミラー型のレンズ構成のうちの反射ミラーは、凹面鏡や凸面鏡に限らず、平面鏡でもよく、また、反射ミラーの枚数も２枚に限らず、３枚以上設けるようにしてもよい。

更に、焦点調整部は、中央光学系及び環状光学系の共通レンズ、又はイメージセンサを光軸方向に移動させるものでもよい。

更にまた、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０…自動追尾撮像装置、１１…撮像部、１２、１１２…撮影光学系、１３、１１３…中央光学系、１４、１１４…環状光学系、１６、１１８…マイクロレンズアレイ、１６ａ、１１８ａ…マイクロレンズ、１７、１１７…指向性センサ、１８、１１６…イメージセンサ、１８ａ、１１６ａ、１１６ｂ…受光セル、２２…画像取得部、３０…パン・チルト装置、３２…パン・チルト機構、４２…記録部、５０…物体検出部、５６…モード選択部、６０…パン・チルト制御部、１２０…遮光部材

Claims (12)

1. それぞれ同一の光軸上に配置された中央部の中央光学系とその周辺部の環状光学系とからなる撮影光学系と、
   ２次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサであって、前記中央光学系及び前記環状光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する複数の画素を含む指向性センサと、
   前記中央光学系を介して受光した第１画像を示す画像信号と前記環状光学系を介して受光した第２画像を示す画像信号とをそれぞれ前記指向性センサから取得する画像読み出し装置と、
   前記第１画像および前記第２画像を、選択的、重畳的、または並列的に表示装置に表示させる表示制御部と、
   を備える撮像装置。
2. 前記画像読み出し部の取得した第１画像から前記第１画像における被写体の位置を検出する被写体位置検出部をさらに備え、
   前記表示制御部は、前記被写体位置検出部の検出した被写体の位置に応じて前記第１画像および前記第２画像を選択的に表示装置に表示させる請求項１に記載の撮像装置。
3. 前記表示制御部は、前記被写体位置検出部の検出した被写体の位置が前記第１画像内の特定の領域内である場合、前記第２画像を表示装置に表示させ、前記被写体位置検出部の検出した被写体の位置が前記第１画像内の特定の領域外である場合、前記第１画像を表示装置に表示させる請求項２に記載の撮像装置。
4. 前記被写体位置検出部の検出した被写体の位置に応じて前記第２画像を記録媒体に記録させる記録制御部をさらに備える請求項２または３に記載の撮像装置。
5. 撮影モードの設定を行う撮影モード設定部をさらに備え、
   前記表示制御部は、前記撮影モード設定部の設定した撮影モードに応じて、前記第１画像および前記第２画像を重畳的に表示装置に表示させる位置を変化させる請求項１に記載の撮像装置。
6. 前記画像読み出し部の取得した第１画像から前記第１画像における被写体の位置を検出する被写体位置検出部をさらに備え、
   前記表示制御部は、前記第１画像および前記第２画像を並列的に表示させるとともに、前記被写体位置検出部の検出した前記第１画像における被写体の位置に対応した前記第２画像の部分に特定の表示効果を付与する請求項１に記載の撮像装置。
7. 前記中央光学系から前記指向性センサに入射する光束の光路および前記環状光学系から前記指向性センサに入射する光束の光路のそれぞれに個別に配置された絞りをさらに備える請求項１〜６のいずれか１項に記載の撮像装置。
8. 前記中央光学系から前記指向性センサに入射する光束の光路および前記環状光学系から前記指向性センサに入射する光束の光路に配置された可変ＮＤフィルタをさらに備える請求項１〜７のいずれか１項に記載の撮像装置。
9. 前記中央光学系は前記環状光学系より広角であり、
   前記環状光学系は、光束を２回以上反射させる反射光学系を有する請求項１〜８のいずれか１項に記載の撮像装置。
10. それぞれ同一の光軸上に配置された中央部の中央光学系とその周辺部の環状光学系とからなる撮影光学系と、
    ２次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサであって、前記中央光学系及び前記環状光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する複数の画素を含む指向性センサと、
    前記中央光学系を介して受光した第１画像を示す画像信号と前記環状光学系を介して受光した第２画像を示す画像信号とをそれぞれ前記指向性センサから取得する画像読み出し装置と、
    前記第１画像および前記第２画像を出力可能な出力部と、
    を備えた撮像装置と、
    前記撮像装置から出力された前記第１画像および前記第２画像を、選択的、重畳的、または並列的に表示させることが可能な表示装置と、
    を備える撮像システム。
11. それぞれ同一の光軸上に配置された中央部の中央光学系とその周辺部の環状光学系とからなる撮影光学系と、
    ２次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサであって、前記中央光学系及び前記環状光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する複数の画素を含む指向性センサと、
    前記中央光学系を介して受光した第１画像を示す画像信号と前記環状光学系を介して受光した第２画像を示す画像信号とをそれぞれ前記指向性センサから取得する画像読み出し装置と、
    前記第１画像および前記第２画像を出力可能な出力部と、
    を備えた撮像装置。
12. 請求項１１に記載の撮像装置から出力された前記第１画像および前記第２画像を、選択的、重畳的、または並列的に表示させることが可能な表示装置。

Images