JP2016012785A - 撮像装置 - Google Patents

Abstract

【課題】撮像素子を複数設けることなく、異なる撮像領域の広角画像と望遠画像とを同時に撮像することができる撮像装置を提供する。
【解決手段】広角光学系と望遠光学系とがそれぞれ異なる領域に配置された撮影光学系を設ける。２次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサにより、広角光学系及び望遠光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する。画像取得部により、指向性センサから広角光学系を介して受光した広角画像と望遠光学系を介して受光した望遠画像とをそれぞれ取得する。撮影光学系の広角光学系と望遠光学系とは、それぞれ撮影光軸の方向を異ならせる。
【選択図】図３

Description

本発明は撮像装置に関し、特に広角画像と望遠画像とを同時に取得することができる撮像装置に関する。

近年、広角画像と望遠画像とを同時に取得可能な撮像装置が知られている。例えば、特許文献１には、広角レンズと、望遠レンズと、広角レンズを通して広角画像を撮像する第１の撮像素子と、望遠レンズを通して望遠画像を撮像する第２の撮像素子と、を備える撮像装置が記載されている。また、特許文献２には、撮像素子の撮像面を２分割して、広角レンズを通して広角画像を撮像面の一方の領域で撮像し、且つ望遠レンズを通して望遠画像を撮像面の他方の領域で撮像する撮像装置が記載されている。

特許文献１に記載の撮像装置では、広角画像及び望遠画像を別々の撮像素子で撮像するため、撮像素子が２個必要となる。このため、撮像装置の小型化及び低コスト化を図ることができないという問題がある。また、特許文献２に記載の撮像装置は、撮像素子の撮像面を２分割して広角画像と望遠画像とを撮像するため、撮像素子を大型化する必要があり、実質的には２個の撮像素子で撮像を行っている。その結果、特許文献２に記載の撮像装置においても小型化及び低コスト化を図ることができないという問題が発生する。

そこで、特許文献３では、焦点距離又は合焦距離が異なる複数の領域（例えば遠合焦距離、近合焦距離）を有する撮影レンズと、遠合焦距離及び近合焦距離をそれぞれ通過した光束を瞳分割して選択的に受光して撮像する撮像素子（指向性センサ）と、を有する撮像装置が提案されている。撮影レンズは、同一の撮影光軸上に配置された中央光学系（広角レンズ）と、中央光学系の周辺部の環状光学系（望遠レンズ）とにより構成されている（特許文献３の段落００３８参照）。このような特許文献３の撮像装置は、撮影レンズの異なる領域を通過する光束を瞳分割し、瞳分割した光束に対応する複数の画像（広角画像、望遠画像）を１つの撮像素子により同時に撮像することができるので、撮像装置の小型化及び低コスト化を図ることができる。

特開平１０−４８７０１号公報 特開２００３−１１６０２９号公報 特開２０１３−２０５７８１号公報

しかしながら、上記特許文献３の撮像装置では、同一撮影光軸上に中央光学系と環状光学系とが配置されているので、広角画像の中心と望遠画像の中心とは一致しており、両者の中心を変えることができない。このため、上記特許文献１及び２記載の撮像装置とは異なり、異なる撮像領域の広角画像と望遠画像とを同時に撮像することができない。すなわち、中央光学系の撮影光軸と環状光学系の撮影光軸とが一致しているので、撮像領域の中心部の単一の領域における望遠画像しか得られないという問題がある。例えば、撮像装置を車載カメラとして用いる場合には、車の進行方向前方（撮像領域の中心部）に対して左上方向にずれた位置にある道路標識や交通信号の望遠画像、或いは進行方向前方に対して右方向にずれた位置にある対向車線の車の望遠画像などを得たい場合がある。

本発明はこのような事情に鑑みてなされたものであり、撮像素子を複数設けることなく、異なる撮像領域の広角画像と望遠画像とを同時に撮像することができる撮像装置を提供することを目的とする。

本発明の目的を達成するための撮像装置は、広角光学系と望遠光学系とがそれぞれ異なる領域に配置された撮影光学系と、２次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサであって、広角光学系及び望遠光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する指向性センサと、指向性センサから広角光学系を介して受光した広角画像と望遠光学系を介して受光した望遠画像とをそれぞれ取得する画像取得部と、を備え、撮影光学系の広角光学系と望遠光学系とは、それぞれ撮影光軸の方向が異なる。

本発明によれば、撮影光軸の方向がそれぞれ異なる広角光学系と望遠光学系とにより、異なる撮像領域の広角画像と望遠画像とを同時に取得することができる。

本発明の他の態様に係る撮像装置において、望遠光学系は、それぞれ異なる領域に配置された複数の望遠光学系からなり、指向性センサは、複数の望遠光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光し、複数の望遠光学系は、それぞれ撮影光軸の方向が異なる。これにより、異なる複数の撮像領域の望遠画像を同時に取得することができる。

本発明の他の態様に係る撮像装置において、複数の望遠光学系の撮影光軸の方向は、広角光学系の撮影光軸の方向に対して水平方向及び垂直方向のうちの少なくとも一方の方向に異なる。これにより、広角光学系の撮影光軸の方向とは異なる方向における複数の撮像領域の望遠画像が得られる。その結果、複数の注目被写体を大きく撮影することができる。

本発明の他の態様に係る撮像装置において、複数の望遠光学系は、それぞれ焦点距離が同一であり、かつ撮影画角の一部が重複する。撮像領域（撮影画角）の一部が重複している複数の望遠画像が得られる。

本発明の他の態様に係る撮像装置において、画像取得部により取得された、複数の望遠光学系を介して受光した複数の望遠画像を示す画像信号に基づいて複数の望遠画像を合成したパノラマ画像を示す画像信号を生成する画像処理部を備える。１つの望遠画像だけでは視野に収めることができない大きさの被写体を撮像することができる。また、一方向に長い被写体を効率的に撮像することができる。

本発明の他の態様に係る撮像装置において、撮影光学系の広角光学系及び望遠光学系のうちの一方の光学系は、円形の中央光学系であり、他方の光学系は中央光学系に対して同心円状に配設された環状光学系であることが好ましい。撮影光学系において、広角光学系と望遠光学系とをそれぞれ異なる領域に配置することができる。

本発明の他の態様に係る撮像装置において、環状光学系は、撮影光学系の望遠光学系であり、光束を２回以上反射させる反射光学系を含む。これにより、環状光学系の光軸方向の長さを短くすることができ、撮像装置を小型化することができる。

本発明の他の態様に係る撮像装置において、望遠光学系の反射光学系は、少なくとも光束を反射させる主反射光学系と、主反射光学系により反射した光束を更に反射させる副反射光学系とを有し、主反射光学系は、指向性センサの受光面に対して広角光学系の撮影方向との差分の角度だけ傾斜して配設され、副反射光学系は、指向性センサの受光面に対して角度の２分の１だけ傾斜して配設される。これにより、指向性センサに結像される望遠画像の像面を移動させることなく、環状光学系の撮影光軸を任意の方向に任意の角度だけ傾斜させることができる。

本発明の他の態様に係る撮像装置において、望遠光学系の焦点調整を行う焦点調整部を有することが好ましい。これにより、望遠光学系の焦点調整が可能となる。

本発明の他の態様に係る撮像装置において、指向性センサは、瞳分割部として機能するマイクロレンズアレイ又は遮光マスクを有するものとすることができる。これにより、中央光学系に対応する広角画像と、環状光学系に対応する望遠画像とを同時に取得することができる。

本発明の撮像装置は、撮像素子を複数設けることなく、異なる撮像領域の広角画像と望遠画像とを同時に撮像することができる。

本発明に係る撮像装置の外観斜視図である。 撮像装置の内部構成の実施形態を示すブロック図である。 撮像装置に適用された撮影光学系の第１実施形態を示す断面図である。 第１実施形態の環状光学系の断面図である。 第１実施形態の環状光学系の外観斜視図である。 比較例の環状光学系の断面図である。 比較例の環状光学系の外観斜視図である。 指向性センサを構成するマイクロレンズアレイと撮像素子の要部拡大図である。 第１実施形態の撮影光学系の効果を説明するための説明図である。 第１実施形態の指向性センサの他の実施形態を示す側面図である。 第２実施形態の撮像装置の撮影光学系を構成する環状光学系の斜視図である。 環状光学系の撮像領域を説明するための説明図である。 環状光学系の第１環状光学系及び第２環状光学系の各々の撮像領域を説明するための説明図である。 中央光学系と、第１環状光学系及び第２環状光学系との各々の撮影光軸の方向を説明するための説明図である。 第２実施形態の指向性センサを構成するマイクロレンズアレイと撮像素子の要部拡大図である。 第２実施形態の撮像装置の効果を説明するための説明図である。 第２実施形態の指向性センサの変形例を構成するマイクロレンズアレイと撮像素子の要部拡大図である。 異なる撮像領域の望遠画像からパノラマ画像を生成する第３実施形態の撮像装置を説明するための説明図である。 撮像装置の他の実施形態であるスマートフォンの外観を示すものである。 図１９に示すスマートフォンの構成を示すブロック図である。

以下、添付図面に従って本発明に係る撮像装置の実施の形態について説明する。

［撮像装置の外観］
図１は本発明に係る撮像装置の外観斜視図である。図１に示すように、撮像装置１０は、自動車の車内に搭載される車載カメラである。撮像装置１０の前面には、撮影光学系１２が配置され、上面には記録スイッチ３８−１及び電源スイッチ３８−２などが設けられ、底面には車内固定用のステージ８が取り付けられている。なお、図中の符号Ｌ１は撮影光学系１２の撮影光軸を表す。

図２は撮像装置１０の内部構成の実施形態を示すブロック図である。

この撮像装置１０は、撮像した画像をメモリカード５４に記録するもので、主として撮影光学系１２と指向性センサ１７に特徴がある。指向性センサ１７は、マイクロレンズアレイ１６と撮像素子（イメージセンサともいう）１８とから構成されている。

［第１実施形態の撮影光学系］
図３は、撮像装置１０に適用された撮影光学系の第１の実施形態を示す断面図である。

図３に示すように撮影光学系１２は、異なる領域に配置された広角光学系と望遠光学系とを有している。この撮影光学系１２は、円形の中央光学系（本発明の広角光学系に相当）１３と、中央光学系１３に対して同心円状に配設された環状光学系（本発明の望遠光学系に相当）１４とから構成されている。

中央光学系１３は、第１レンズ１３ａと第２レンズ１３ｂと第３レンズ１３ｃと第４レンズ１３ｄと共通レンズ１５とを有する広角光学系（広角レンズ）であり、マイクロレンズアレイ１６上に広角画像を結像させる。本実施形態では、中央光学系１３の撮影光軸が前述の撮影光軸Ｌ１となる。

［環状光学系］
図４は環状光学系１４を撮影光軸Ｌ１に沿った面で分割した断面図であり、図５は環状光学系の外観斜視図である。また、図６は比較例の環状光学系１４Ｚの断面図であり、図７は比較例の環状光学系１４Ｚの外観斜視図である。

図４及び図５に示すように、環状光学系１４は、撮影光学系１２の望遠光学系であり、マイクロレンズアレイ１６上に望遠画像を結像させる。この環状光学系１４は、光束を２回反射させる反射光学系と、前述の共通レンズ１５（図４及び図６では図示を省略）とを含む。反射光学系は、レンズ１４ａと第１反射ミラー１４ｂと第２反射ミラー１４ｃとを有する。レンズ１４ａを介して入射した光束は、第１反射ミラー１４ｂ及び第２反射ミラー１４ｃにより２回反射された後、共通レンズ１５を通過する。第１反射ミラー１４ｂ及び第２反射ミラー１４ｃにより光束が折り返されることにより、焦点距離の長い望遠光学系（望遠レンズ）の光軸方向の長さを短くしている。ここで、レンズ１４ａ及び第１反射ミラー１４ｂが本発明の主反射光学系に相当し、第２反射ミラー１４ｃが本発明の副反射光学系に相当するものである。

環状光学系１４の撮影光軸Ｌ２の方向は、図６及び図７に示した比較例の環状光学系１４Ｚのように中央光学系１３の撮影光軸Ｌ１の方向とは一致しておらず、撮影光軸Ｌ１の方向とは異なっている。この撮影光軸Ｌ２は、指向性センサ１７の受光面に対して中央光学系１３の撮影方向（すなわち、撮影光軸Ｌ１の方向）から角度θだけ傾斜している。

具体的に、図６及び図７に示した比較例の環状光学系１４Ｚでは、撮影光軸Ｌ１の方向と撮影光軸Ｌ２の方向とが一致しているので、レンズ１４ａ及び第１反射ミラー１４ｂ及び第２反射ミラー１４ｃは指向性センサ１７の受光面に対して平行になるように配設されている。

これに対して、図４及び図５に示した環状光学系１４では、主反射光学系を構成するレンズ１４ａ及び第１反射ミラー１４ｂを、指向性センサ１７の受光面に対して中央光学系１３の撮影方向（撮影光軸Ｌ１の方向）との差分の角度θだけ傾斜して配設している。ここで、レンズ１４ａ及び第１反射ミラー１４ｂは群として角度θだけ傾斜される。この際に、レンズ１４ａ及び第１反射ミラー１４ｂの回転中心は、撮影光軸Ｌ１と第２反射ミラー１４ｃとの交点Ｃ（図５では図示を省略）の近傍であることが好ましい。

また、副反射光学系を構成する第２反射ミラー１４ｃを、上述の主反射光学系と同方向に角度θの２分の１（＝θ／２）だけ傾斜して配設している。この際に、第２反射ミラー１４ｃの回転中心は、レンズ１４ａ及び第１反射ミラー１４ｂの回転中心（交点Ｃの近傍）と同じであることが好ましい。環状光学系１４の撮影光軸Ｌ２は主反射光学系及び副反射光学系により構成されるので、主反射光学系を角度θだけ傾斜させても副反射光学系をθ／２だけ傾斜させることで、環状光学系１４の視野中心は移動するが、マイクロレンズアレイ１６上に結像される望遠画像の像面は移動しない。これにより、望遠画像の像面を移動させることなく、撮影光軸Ｌ２を任意の方向に任意の角度θだけ傾斜させることができる。その結果、広角画像の撮像領域とは異なる撮像領域の望遠画像が得られる。

［指向性センサ］
図８は、指向性センサ１７を構成するマイクロレンズアレイ１６と撮像素子１８の要部拡大図である。

マイクロレンズアレイ１６は、瞳分割部として機能する。マイクロレンズアレイ１６は、複数のマイクロレンズ（瞳結像レンズともいう）１６ａが２次元状に配列されて構成されており、各マイクロレンズ１６ａの水平方向及び垂直方向の間隔は、例えば、撮像素子１８の光電変換素子である受光セル１８ａの３つ分の間隔に対応している。即ち、マイクロレンズアレイ１６の各マイクロレンズ１６ａは、水平方向及び垂直方向の各方向に対して、２つ置きの受光セルの位置に対応して形成されたものが使用される。

また、マイクロレンズアレイ１６の各マイクロレンズ１６ａは、撮影光学系１２の中央光学系１３及び環状光学系１４に対応する、中央瞳像１７ａ及び環状瞳像１７ｂを、撮像素子１８の対応する受光領域の受光セル１８ａ上に結像させる。

図８に示すマイクロレンズアレイ１６及び撮像素子１８によれば、マイクロレンズアレイ１６の１マイクロレンズ１６ａ当たりに付き、例えば、格子状（正方格子状）の３×３個の受光セル１８ａが割り付けられている。以下、１つのマイクロレンズ１６ａに対応する受光セル群（３×３個の受光セル１８ａ）を単位ブロックという。

中央瞳像１７ａは、単位ブロックの中央の受光セル１８ａのみに結像し、環状瞳像１７ｂは、単位ブロックの周囲の８個の受光セル１８ａに結像する。

上記構成の撮像装置１０によれば、後述するように中央光学系１３に対応する広角画像と、環状光学系１４に対応する望遠画像とを同時に撮像することができる。

なお、図示は省略するが、撮像素子１８の撮像面上には、各受光セル上に配設されたカラーフィルタにより構成されるカラーフィルタ配列が設けられる。このカラーフィルタ配列は、赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）の各波長域の光を透過させる３原色のカラーフィルタ（以下、Ｒフィルタ、Ｇフィルタ、Ｂフィルタという）により構成されている。そして、各受光セル１８ａ上には、ＲＧＢフィルタのいずれかが配置される。以下、Ｒフィルタが配置された受光セル１８ａを「Ｒ受光セル」、Ｇフィルタが配置された受光セル１８ａを「Ｇ受光セル」、Ｂフィルタが配置された受光セル１８ａを「Ｂ受光セル」という。

例えば、各単位ブロックの中央の受光セル１８ａ（中央光学系１３を通過した光束が入射する受光セル１８ａ）のグループは、Ｒ受光セル及びＧ受光セル及びＢ受光セルをベイヤ配列で配置して生成される。これにより、中央の受光セル１８ａのグループの画像は、ベイヤ配列のモザイク画像となる。その結果、ベイヤ配列のモザイク画像を後述のデモザイク処理（同時化処理）することにより、カラー画像を得ることができる。

また、各単位ブロックの各中央の受光セル１８ａの周囲の８個の受光セル１８ａ（環状光学系１４を通過した光束が入射する受光セル）のグループは、８個の受光セル１８ａ内にＲＧＢの全ての受光セル（Ｒ受光セル、Ｇ受光セル、Ｂ受光セル）を含む。これにより、単位ブロック内のＲＧＢの受光セルの出力信号を使用して、その単位ブロック毎のデモザイク処理後の、画像を構成する１つの画素（ＲＧＢの画素値）を生成することができる。

［撮像装置の電気的構成］
図２に戻って、撮像装置１０は、前述の中央光学系１３及び環状光学系１４を有する撮影光学系１２と、マイクロレンズアレイ１６及び撮像素子１８を有する指向性センサ１７とを備えている。装置全体の動作は、中央処理装置（ＣＰＵ：Central Processing Unit）４０によって統括制御される。

撮像装置１０には、記録スイッチ３８−１及び電源スイッチ３８−２（図１参照）と、モードダイヤル（モード切替装置ともいう）と、再生ボタンとＭＥＮＵ／ＯＫキーと、十字キーと、ＢＡＣＫキーと、ズームボタンと、を含む操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいてＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）５６から読み出したプログラムを適宜実行することで撮像装置１０の各回路を制御し、例えば、撮影動作制御、画像処理制御、画像データの記録／再生制御、液晶モニタ（ＬＣＤ：Liquid Crystal Display）３０の表示制御などを行う。

記録スイッチ３８−１（図１参照）は、撮影開始の指示を入力する操作ボタンである。また、電源スイッチ３８−２（図１参照）は、撮像装置１０の電源のＯＮ／ＯＦＦを切り替える切替スイッチである。

モードダイヤルは、撮像装置１０による動画の撮影時に撮影モードを切り替える選択手段である。撮影モードには、中央光学系１３を介して結像される広角画像を取得する第１の撮影モードと、環状光学系１４を介して結像される望遠画像を取得する第２の撮影モードと、広角画像及び望遠画像を同時に取得するハイブリッド撮影モードとが含まれる。

再生ボタンは、撮影記録した動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。ＭＥＮＵ／ＯＫキーは、液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キーの上／下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。ＢＡＣＫキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせるときなどに使用される。

ズームボタンは、ズーム操作時に操作されるボタンである。焦点調整部３９は、ズームボタンへの入力操作に応じて、例えば環状光学系１４のレンズ１４ａを撮影光軸Ｌ２の方向に移動させる。これにより、環状光学系１４の焦点調整を行うことができる。

撮影モード時において、被写体光は、撮影光学系１２及びマイクロレンズアレイ１６を介して撮像素子１８の受光面に結像される。

撮像素子１８の各受光セル１８ａ（受光素子）の受光面に結像された被写体像は、その入射光量に応じた量の信号電圧（または電荷）に変換される。

撮像素子１８に蓄積された信号電圧（または電荷）は、受光セル１８ａそのもの若しくは付設されたキャパシタに蓄えられる。蓄えられた信号電圧（または電荷）は、センサ制御部３２により、Ｘ−Ｙアドレス方式を用いたＭＯＳ型センサ（いわゆるＣＭＯＳセンサ）の手法を用いて、画素位置の選択とともに読み出される。

これにより、撮像素子１８から中央光学系１３に対応する画素群からなる広角画像を示す画像信号と、環状光学系１４に対応する画素群からなる望遠画像を示す画像信号とを読み出すことができる。

撮像素子１８から読み出された画像信号（電圧信号）は、相関二重サンプリング処理（センサ出力信号に含まれるノイズ（特に熱雑音）等を軽減することを目的として、センサの１画素毎の出力信号に含まれるフィードスルー成分レベルと画素信号成分レベルとの差をとることにより正確な画素データを得る処理）により画素毎の画像信号がサンプリングホールドされ、増幅されたのちＡ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力する画像信号をデジタル信号に変換して画像入力コントローラ（本発明の画像取得部に相当）２２に出力する。尚、ＭＯＳ型センサでは、Ａ／Ｄ変換器が内蔵されているものがあり、この場合、撮像素子１８から直接デジタル信号が出力される。

撮像素子１８の画素位置を選択して画素信号を読み出すことにより、広角画像を示す画像信号と望遠画像を示す画像信号とを選択的に読み出すことができる。

即ち、撮像素子１８の中央瞳像１７ａが入射する受光セル１８ａの画素信号を選択的に読み出すことにより、広角画像を示す画像信号を取得することができる。一方、撮像素子１８の環状瞳像１７ｂが入射する受光セル１８ａの画素信号を選択的に読み出し、かつ同じ環状瞳像１７ｂが入射する８つの受光セル１８ａの画素信号を加算して望遠画像の１画素の画素信号を生成し、これを環状瞳像１７ｂ毎に行うことで望遠画像の画像信号を取得することができる。これにより、画像入力コントローラ２２は、広角画像の画像信号と望遠画像の画像信号とをそれぞれ取得することができる。

尚、撮像素子１８から全ての画素信号を読み出してメモリ（ＳＤＲＡＭ：Synchronous Dynamic Random Access Memory）４８に一時的に記憶させ、デジタル信号処理部２４がメモリ４８に記憶させた画素信号に基づいて上記と同様に広角画像と望遠画像の２つの画像信号を生成してもよい。

デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、オフセット処理、ガンマ補正処理等の所定の信号処理を行う。また、広角画像及び望遠画像の画像信号として、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラー画像信号を取得する場合には、デジタル信号処理部２４は、ＲＧＢの画像信号に対するデモザイク処理を行う。ここで、デモザイク処理とは、単板式のカラー撮像素子のカラーフィルタ配列に対応したＲＧＢのモザイク画像から画素毎に全ての色情報を算出する処理であり、同時化処理ともいう。例えば、ＲＧＢ３色のカラーフィルタからなる撮像素子の場合、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する処理である。更に、デジタル信号処理部２４は、デモザイク処理されたＲＧＢの画像信号から輝度信号Ｙと色差信号Ｃｂ，Ｃｒを生成するＲＧＢ／ＹＣ変換等を行う。

デジタル信号処理部２４で処理され画像データは、ＶＲＡＭ（Video Random Access Memory）５０に入力される。ＶＲＡＭ５０から読み出された画像データはビデオ・エンコーダ２８においてエンコーディングされ、カメラ背面に設けられている液晶モニタ３０に出力され、これにより被写体像が液晶モニタ３０の表示画面上に表示される。

記録スイッチ３８−１の記録開始操作がなされると、その記録開始操作に応答してＡ／Ｄ変換器２０から出力される画像データが画像入力コントローラ２２からメモリ４８に入力され、一時的に記憶される。メモリ４８に一時的に記憶された画像信号は、デジタル信号処理部２４により適宜読み出され、ここで所定の信号処理が行われて再びメモリ４８に記憶される。

メモリ４８に記憶された画像信号は、それぞれ圧縮伸張処理部２６に出力され、モーションＪＰＥＧ（Motion Joint Photographic Experts Group）方式などの所定の動画圧縮処理が実行されたのち、メディア・コントローラ５２を介してメモリカード５４に記録される。

そして、モードダイヤルにより第１の撮影モード又は第２の撮影モードが選択されると、広角画像又は望遠画像を選択的に取得することができ、モードダイヤルによりハイブリッド撮影モードが選択されると、広角画像と望遠画像とを同時に取得することができる。これにより、広角光学系と望遠光学系のメカ的な切り替えや、ズームレンズのズーム操作なしに、広角画像と望遠画像とを取得することができる。

［第１実施形態の撮像装置の効果］
図９は、第１実施形態の撮像装置１０の効果を説明するための説明図である。

上述の通り、第１実施形態の撮影光学系１２では、中央光学系１３の撮影光軸Ｌ１の方向と環状光学系１４の撮影光軸Ｌ２の方向とを角度θだけ異ならせているので、撮像素子を複数設けることなく、異なる撮像領域（異なる被写体）の広角画像と望遠画像とを同時に取得することができる。また、取得した広角画像と望遠画像とを液晶モニタ３０に同時に表示することができる。

図９に示すように、車載カメラとして用いられる撮像装置１０では、例えば、環状光学系１４の撮影光軸Ｌ２の方向を車の進行方向に対して左上方向に傾斜させることで、車の進行方向前方の広角画像と、道路標識や交通信号などの望遠画像とを同時に取得することができる。また、図示は省略するが、環状光学系１４の撮影光軸Ｌ２の方向を車の進行方向に対して下方向に傾斜させた場合には、路面にペイントされた道路標示の望遠画像が取得され、或いは撮影光軸Ｌ２の方向を車の進行方向に対して右方向に傾斜させた場合には、対向車線上の対向車の望遠画像が取得される。そして、車の進行方向前方の広角画像と、道路標識などの望遠画像とを液晶モニタ３０に同時に表示することができる。

［第１実施形態の指向性センサの他実施形態］
図１０は、第１実施形態の指向性センサ１７の他の実施形態である指向性センサ１１７を示す側面図である。

指向性センサ１１７は、瞳分割部としてのマイクロレンズアレイ１１８及び遮光マスクとして機能する遮光部材１２０と、遮光部材１２０により受光セル１１６ａ、１１６ｂの一部が遮光された撮像素子１１６とから構成されている。尚、遮光部材１２０により一部が遮光された受光セル１１６ａと受光セル１１６ｂとは、撮像素子１１６の左右方向及び上下方向に交互（チェッカーフラグ状）に設けられている。

マイクロレンズアレイ１１８は、撮像素子１１６の受光セル１１６ａ、１１６ｂと一対一に対応するマイクロレンズ１１８ａを有している。

遮光部材１２０は、撮像素子１１６の受光セル１１６ａ、１１６ｂの開口を規制するものであり、前述の撮影光学系１２の中央光学系１３及び環状光学系１４に対応する開口形状を有している。尚、マイクロレンズアレイ１１８の各レンズの下方には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが配設されている。

受光セル１１６ａは、遮光部材１２０の遮光部１２０ａによりその開口の周辺部が遮光され、一方、受光セル１１６ｂは、遮光部材１２０の遮光部１２０ｂによりその開口の中心部が遮光されている。これにより、撮影光学系１２の中央光学系１３を通過した光束は、マイクロレンズアレイ１１８及び遮光部材１２０の遮光部１２０ａにより瞳分割されて受光セル１１６ａに入射し、一方、撮影光学系１２の環状光学系１４を通過した光束は、マイクロレンズアレイ１１８及び遮光部材１２０の遮光部１２０ｂにより瞳分割されて受光セル１１６ｂに入射する。

これにより、撮像素子１１６の各受光セル１１６ａから広角画像の画素信号を読み出すことができ、撮像素子１１６の各受光セル１１６ｂから望遠画像の画素信号を読み出すことができる。

［第２実施形態の撮像装置］
図１１は、第２実施形態の撮像装置の撮影光学系を構成する環状光学系１４０の斜視図である。図１２は、環状光学系１４０の撮像領域を説明するための説明図である。なお、図１１及び図１２では、環状光学系１４０の全体構造の説明を簡略化するために、その各部（レンズ、第１反射ミラー、第２反射ミラー）を傾斜させずに図示している。また、符号Ａ，Ｂは撮影光軸Ｌ１に直交する軸である。軸Ａは垂直方向に平行であり、軸Ｂは水平方向に平行である。

上記第１の実施形態では、広角画像の取得と同時に１つの望遠画像を取得する例について説明したが、第２の実施形態の環状光学系１４０では複数の撮像領域の望遠画像を同時に取得する。なお、第２実施形態の撮像装置は、第１実施形態の環状光学系１４とは異なる環状光学系１４０を備える点を除けば、基本的には第１実施形態と同じ構成である。このため、上記第１実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。

図１１に示すように、環状光学系１４０は、第１実施形態の環状光学系１４と同様に望遠光学系であり、マイクロレンズアレイ１６上に望遠画像を結像させる。この環状光学系１４０は、光束を２回反射させる反射光学系と、前述の共通レンズ１５（図３参照、第２実施形態では図示を省略）とを含む。反射光学系は、レンズ１４０ａと第１反射ミラー１４０ｂと第２反射ミラー１４０ｃとを有する。ここで、レンズ１４０ａ及び第１反射ミラー１４０ｂが本発明の主反射光学系に相当し、第２反射ミラー１４０ｃが本発明の副反射光学系に相当する。なお、前述の軸Ａ及び軸Ｂは、撮影光軸Ｌ１と第２反射ミラー１４０ｃとの交点の近傍にて交差している。

レンズ１４０ａ及び第１反射ミラー１４０ｂ及び第２反射ミラー１４０ｃは、それぞれ撮影光軸Ｌ１を中心としてその軸周りに４分割された構造を有している。

レンズ１４０ａは、撮影光軸Ｌ１と軸Ｂを含む面（以下、Ｂ面と略す）を間に挟むように配置された一対のレンズ群１４０ａ１と、撮影光軸Ｌ１と軸Ａを含む面（以下、Ａ面と略す）を間に挟むように配置された一対のレンズ群１４０ａ２と、を有する。

第１反射ミラー１４０ｂは、Ｂ面を間に挟むように配置された一対の第１反射ミラー群１４０ｂ１と、Ａ面を間に挟むように配置された一対の第１反射ミラー群１４０ｂ２とを有する。また、第２反射ミラー１４０ｃは、Ｂ面を間に挟むように配置された一対の第２反射ミラー群１４０ｃ１と、Ａ面を間に挟むように配置された一対の第２反射ミラー群１４０ｃ２とを有する。

図１２に示すように、レンズ群１４０ａ１を介して入射した光束は、第１反射ミラー群１４０ｂ１及び第２反射ミラー群１４０ｃ１により２回反射された後、共通レンズ１５（図３参照）を通過する。一方、レンズ群１４０ａ２を介して入射した光束は、第１反射ミラー群１４０ｂ２及び第２反射ミラー群１４０ｃ２により２回反射された後、共通レンズ１５を通過する。

このように環状光学系１４０は、レンズ群１４０ａ１及び第１反射ミラー群１４０ｂ１及び第２反射ミラー群１４０ｃ１により構成される第１環状光学系と、レンズ群１４０ａ２及び第１反射ミラー群１４０ｂ２及び第２反射ミラー群１４０ｃ２により構成される第２環状光学系と、からなる複数の環状光学系（すなわち、複数の望遠光学系）により構成されている。このため、環状光学系１４０では、第１環状光学系と第２環状光学系とによりそれぞれ望遠画像がマイクロレンズアレイ１６上に結像される。なお、図１２中においては、前述の通り、指向性センサ１７の受光面に対する第１環状光学系及び第２環状光学系の傾斜の角度θ（図４参照）が０°であるため、第１環状光学系及び第２環状光学系によりそれぞれ得られる望遠画像の撮像領域ＲＡ，ＲＢは同一である。

図１３は、環状光学系１４０の第１環状光学系及び第２環状光学系の各々の撮像領域を説明するための説明図である。図１４は、中央光学系１３（図３参照）と、第１環状光学系及び第２環状光学系との各々の撮影光軸の方向を説明するための説明図である。

図１３及び図１４に示すように、第１環状光学系では、主反射光学系を構成するレンズ群１４０ａ１及び第１反射ミラー群１４０ｂ１を群として、指向性センサ１７の受光面（撮影光軸Ｌ１の方向）に対して軸Ａ周りに角度θＡだけ傾斜して配設している。また、第１環状光学系では、副反射光学系を構成する第２反射ミラー群１４０ｃ１を、主反射光学系と同方向に軸Ａ周りに角度θＡの２分の１だけ傾斜して配設している。これにより、第１環状光学系によりマイクロレンズアレイ１６上に結像される望遠画像の像面を移動させることなく、第１環状光学系の撮影光軸Ｌ２−Ａを撮影光軸Ｌ１に対して軸Ａ周りに角度θＡだけ傾斜させることができる。すなわち、撮影光軸Ｌ１の方向に対して撮影光軸Ｌ２−Ａの方向を水平方向に異ならせることができる。

また、第２環状光学系では、主反射光学系を構成するレンズ群１４０ａ２及び第１反射ミラー群１４０ｂ２を群として、指向性センサ１７の受光面（撮影光軸Ｌ１の方向）に対して軸Ｂ周りに角度θＢだけ傾斜して配設している。また、第２環状光学系では、副反射光学系を構成する第２反射ミラー群１４０ｃ２を主反射光学系と同方向に軸Ｂ周りに角度θＢの２分の１だけ傾斜して配設している。これにより、第２環状光学系によりマイクロレンズアレイ１６上に結像される望遠画像の像面を移動させることなく、第２環状光学系の撮影光軸Ｌ２−Ｂを撮影光軸Ｌ１に対して軸Ｂ周りに角度θＢだけ傾斜させることができる。すなわち、撮影光軸Ｌ１の方向に対して撮影光軸Ｌ２−Ｂの方向を垂直方向に異ならせることができる。

このように、第１環状光学系の撮影光軸Ｌ２−Ａの方向及び第２環状光学系の撮影光軸Ｌ２−Ｂの方向を、撮影光軸Ｌ１の方向に対して別々の方向に異ならせることにより、互いに異なる撮像領域ＲＡ，ＲＢの望遠画像が得られる。また、レンズ１４０ａは分割された構造を有しているので、分割されている各部が相互に干渉にすることが防止される。なお、第１反射ミラー１４０ｂ及び第２反射ミラー１４０ｃについても同様である。

なお、本実施形態では、撮影光軸Ｌ１の方向に対して撮影光軸Ｌ２−Ａの方向及び撮影光軸Ｌ２−Ｂの方向がそれぞれ水平方向、垂直方向に異ならせているが、その方向は特には限定されず、水平方向及び垂直方向の少なくとも一方の方向に異なればよい。

［指向性センサ］
図１５は、第２実施形態の指向性センサ１７を構成するマイクロレンズアレイ１６と撮像素子１８の要部拡大図である。

図１５に示すように、瞳分割部として機能するマイクロレンズアレイ１６の各マイクロレンズ１６ａは、中央光学系１３に対応する中央瞳像１７ａと、環状光学系１４０の第１環状光学系に対応する部分的な環状瞳像１７ｂ−Ａと、環状光学系１４０の第２環状光学系に対応する部分的な環状瞳像１７ｂ−Ｂとを、撮像素子１８の対応する受光領域の受光セル１８ａ上に結像させる。なお、各受光セル１８ａ上には、ＲＧＢフィルタのいずれかが配置される。

中央瞳像１７ａは、１つのマイクロレンズ１６ａに対応する受光セル群である前述の単位ブロックの中央の受光セル１８ａのみに結像する。環状瞳像１７ｂ−Ａは、単位ブロックの中央の受光セル１８ａに対して垂直方向に隣接する２個の受光セル１８ａのみに結像する。また、環状瞳像１７ｂ−Ｂは、単位ブロックの中央の受光セル１８ａに対して水平方向に隣接する２個の受光セル１８ａのみに結像する。これにより、中央光学系１３に対応する広角画像と、環状光学系１４０の第１環状光学系及び第２環状光学系にそれぞれ対応する２つの望遠画像と、を同時に撮像することができる。

第２実施形態においても、撮像素子１８の画素位置を選択して画素信号を読み出すことにより、広角画像を示す画像信号と、異なる２つの撮像領域ＲＡ、ＲＢの望遠画像を示す画像信号とを選択的に読み出すことができる。

即ち、撮像素子１８の中央瞳像１７ａが入射する受光セルの画素信号を選択的に読み出すことにより、広角画像を示す画像信号を取得することができる。一方、撮像素子１８の環状瞳像１７ｂ−Ａが入射する、受光セル１８ａの画素信号を選択的に読み出し、かつ同じ環状瞳像１７ｂ−Ａが入射する２つの受光セル１８ａの画素信号を加算して望遠画像の１画素の画素信号を生成し、これを環状瞳像１７ｂ−Ａ毎に行うことで、第１環状光学系に対応する望遠画像の画像信号を取得することができる。また、同様にして、撮像素子１８の環状瞳像１７ｂ−Ｂが入射する、受光セル１８ａの画素信号を選択的に読み出すことより、第２環状光学系に対応する望遠画像の画像信号を取得することができる。これにより、画像入力コントローラ２２は、広角画像の画像信号と、２つの撮像領域ＲＡ，ＲＢの望遠画像の画像信号とをそれぞれ取得することができる。

以下、第１実施形態と同様に、デジタル信号処理部２４が、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して所定の信号処理を行うことで、広角画像の画像データと、２つの撮像領域ＲＡ，ＲＢの望遠画像の画像データとが生成される。これ以降の処理については第１実施形態と基本的に同じであるので、ここでは説明を省略する。

［第２実施形態の撮像装置の効果］
図１６は、第２実施形態の撮像装置の効果を説明するための説明図である。

上述の通り、第２実施形態の撮影光学系では、中央光学系１３の撮影光軸Ｌ１の方向と、環状光学系１４０の第１環状光学系の撮影光軸Ｌ２−Ａの方向と、第２環状光学系の撮影光軸Ｌ２−Ｂの方向とをそれぞれ異ならせているので、広角画像の他に、異なる撮像領域ＲＡ，ＲＢの望遠画像を同時に取得することができる。そして、取得した広角画像と、撮像領域ＲＡ，ＲＢの望遠画像とを液晶モニタ３０に同時に表示することができる。

例えば、図１６に示すように、車載カメラとして用いられる撮像装置１０では、第１環状光学系の撮影光軸Ｌ２−Ａの方向を車の進行方向に対して左上方向に傾斜させ、且つ第２環状光学系の撮影光軸Ｌ２−Ｂの方向を車の進行方向に対して下方向に傾斜させている。これにより、車の進行方向前方の広角画像と、道路標識や交通信号などの望遠画像（図中の望遠画像１）と、路面にペイントされた道路標示の望遠画像（図中の望遠画像２）とを同時に取得することができる。すなわち、複数の注目被写体を大きく撮影することができる。

上記第２実施形態では、環状光学系１４０が２つの撮影光軸Ｌ２−Ａ，Ｌ２−Ｂを有する構成であるので、異なる２つの撮像領域の望遠画像を同時に取得する例について説明したが、環状光学系を３つ以上の撮影光軸を有する構成にすることで、異なる３以上の撮像領域の望遠画像を同時に取得することができる。

＜第２実施形態の指向性センサの他実施形態＞
図１７は、第２実施形態の指向性センサ１７の他実施形態である指向性センサ２１７を構成するマイクロレンズアレイと撮像素子の要部拡大図である。

指向性センサ２１７は、瞳分割部としてのマイクロレンズアレイ２１８及び遮光マスクとして機能する遮光部材２２０と、遮光部材２２０により受光セル２１６ａ，２１６ｂ，２１６ｃの一部が遮光された撮像素子２１６とから構成されている。

マイクロレンズアレイ２１８は、撮像素子２１６の受光セル２１６ａ，２１６ｂ，２１６ｃと一対一に対応するマイクロレンズ２１８ａを有している。

遮光部材２２０は、撮像素子２１６の受光セル２１６ａ，２１６ｂ，２１６ｃへの光束の入射を規制するものであり、前述の中央光学系１３と、環状光学系１４０の第１環状光学系及び第２環状光学系とにそれぞれ対応する開口形状を有している。

受光セル２１６ａは、遮光部材２２０の遮光部２２０ａにより、環状光学系１４０を通過した光束が入射する領域が遮光される。受光セル２１６ｂは、遮光部材２２０の遮光部２２０ｂにより、中央光学系１３及び環状光学系１４０の第２環状光学系を通過した光束が入射する領域が遮光される。受光セル２１６ｃは、遮光部材２２０の遮光部２２０ｃにより、中央光学系１３及び環状光学系１４０の第１環状光学系を通過した光束が入射する領域が遮光される。

中央光学系１３を通過した光束は、マイクロレンズアレイ２１８及び遮光部材２２０の遮光部２２０ａにより瞳分割されて受光セル２１６ａに入射する。また、第１環状光学系を通過した光束は、マイクロレンズアレイ２１８及び遮光部材２２０の遮光部２２０ｂにより瞳分割されて受光セル２１６ｂに入射する。また、第２環状光学系を通過した光束は、マイクロレンズアレイ２１８及び遮光部材２２０の遮光部２２０ｃにより瞳分割されて受光セル２１６ｃに入射する。

これにより、撮像素子２１６の各受光セル２１６ａから広角画像の画素信号を読み出すことができる。また、撮像素子２１６の各受光セル２１６ｂから第１環状光学系に対応する望遠画像の画素信号を読み出すことができる。また、撮像素子２１６の各受光セル２１６ｃから第２環状光学系に対応する望遠画像の画素信号を読み出すことができる。

［第３実施形態の撮像装置］
図１８は、異なる撮像領域ＲＡ，ＲＢの望遠画像のパノラマ画像を生成する第３実施形態の撮像装置を説明するための説明図である。

第３実施形態の撮像装置は、第２実施形態の環状光学系１４０の第１環状光学系及び第２環状光学系の各々の撮影光軸Ｌ２−Ａ，Ｌ２−Ｂの方向、及び焦点距離を変更した点を除けば、第２実施形態の撮像装置と基本的に同じ構成である。従って、上記第２実施形態と機能・構成上同一のものについては、同一符号を付してその説明を省略する。

図１８に示すように、環状光学系１４０の第１環状光学系及び第２環状光学系は、それぞれ焦点距離が同一となり、且つ撮像領域ＲＡ，ＲＢ（すなわち、撮影画角）の一部が重複するように、第１環状光学系及び第２環状光学系の各部の角度（角度θＡ，θＢ）が調整されている。これにより、一方向（図１８では水平方向）に長い被写体を、この一方向に２つの撮像領域ＲＡ，ＲＢに分けて撮像することができる。その結果、画像入力コントローラ２２は、広角画像の画像信号と、互いに隣接し且つ一部が重複する撮像領域ＲＡ，ＲＢの望遠画像の画像信号とを取得することができる。

デジタル信号処理部２４（図２参照、本発明の画像処理部に相当）は、上記第２実施形態と同様に、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して所定の信号処理を行うことで、広角画像の画像データを生成する。また、デジタル信号処理部２４は、隣接する撮像領域ＲＡ，ＲＢの望遠画像の画像信号に基づき、撮像領域ＲＡ，ＲＢの望遠画像を合成したパノラマ画像を示す画像信号を生成する。そして、デジタル信号処理部２４は、パノラマ画像の画像信号に対して所定の信号処理を行うことで、パノラマ画像の画像データを生成する。これにより、液晶モニタ３０に、広角画像とパノラマ画像とを同時に表示することができる。

以上のように本発明の第３実施形態では、環状光学系１４０の第１環状光学系及び第２環状光学系の各々の焦点距離を同一にし、且つ撮像領域ＲＡ，ＲＢの一部を重複させることで、隣接する撮像領域ＲＡ，ＲＢの望遠画像を合成してなるパノラマ画像を生成することができる。これにより、１つの望遠画像だけでは視野に収めることができない大きさの被写体を撮像することができる。このため、一方向（図１８では水平方向）に長い被写体を効率的に撮像することができる。すなわち、望遠画像の撮像領域を拡大することができる。

上記第３実施形態では、水平方向に長い被写体のパノラマ画像を生成する場合について説明したが、第１環状光学系及び第２環状光学系の各部の角度の調整により、例えば垂直方向などの撮影光軸Ｌ１に対して垂直な任意の一方向に長い被写体のパノラマ画像も同様に生成することができる。

なお、環状光学系１４０が３以上の第１環状光学系〜第Ｎ環状光学系を有する場合には、各環状光学系の焦点距離を同一にし、且つ互いに隣接する撮像領域（撮影画角）の一部を重複させることで、３以上の望遠画像を合成してなるパノラマ画像が得られる。

［撮像装置の他実施形態］
撮像装置１０の他の実施形態としては、例えば、デジタルカメラ、カメラ機能を有する携帯電話機やスマートフォン、PDA(Personal Digital Assistants)、携帯型ゲーム機が挙げられる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。

＜スマートフォンの構成＞
図１９は、撮像装置１０の他の実施形態であるスマートフォン５００の外観を示すものである。図１９に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。また、筐体５０２は、スピーカ５３１と、マイクロホン５３２、操作部５４０と、カメラ部５４１とを備えている。尚、筐体５０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用することや、折り畳み構造やスライド機構を有する構成を採用することもできる。

図２０は、図１９に示すスマートフォン５００の構成を示すブロック図である。図２０に示すように、スマートフォンの主たる構成要素として、無線通信部５１０と、表示入力部５２０と、通話部５３０と、操作部５４０と、カメラ部５４１と、記憶部５５０と、外部入出力部５６０と、ＧＰＳ(Global Positioning System)受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１とを備える。また、スマートフォン５００の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。

無線通信部５１０は、主制御部５０１の指示に従って、移動通信網に収容された基地局装置に対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部５２０は、主制御部５０１の制御により、画像（静止画及び動画）や文字情報などを表示して視覚的にユーザに情報を伝達すると共に、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル５２１と、操作パネル５２２とを備える。生成された３Ｄ画像を鑑賞する場合には、表示パネル５２１は、３Ｄ表示パネルであることが好ましい。

表示パネル５２１は、LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。

操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標（例えば表示面上の一点を押下するタップ操作等が行われた場合には一の座標を検出し、表示面上で指や尖筆により軌跡を描くようなジェスチャ操作が行われた場合には複数の座標を検出）を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。

図１９に示すように、スマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

尚、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要はない。また、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部５３０は、スピーカ５３１やマイクロホン５３２を備え、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力したり、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力したりするものである。また、図１９に示すように、例えば、スピーカ５３１を表示入力部５２０が設けられた面と同じ面に搭載し、マイクロホン５３２を筐体５０２の側面に搭載することができる。

操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、操作部５４０は、スマートフォン５００の筐体５０２の表示部の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部５５０は、主制御部５０１の制御プログラムや制御データ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５５２により構成される。尚、記憶部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、Micro SD（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。

外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、IEEE1394など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるPDA、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達することや、スマートフォン５００の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部５７０は、主制御部５０１の指示に従って、GPS衛星ＳＴ１〜ＳＴｎから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、スマートフォン５００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できるときには、その位置情報を用いて位置を検出することもできる。

モーションセンサ部５８０は、例えば、３軸の加速度センサなどを備え、主制御部５０１の指示に従って、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。

電源部５９０は、主制御部５０１の指示に従って、スマートフォン５００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部５０１は、マイクロプロセッサを備え、記憶部５５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン５００の各部を統括して制御するものである。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部５５０が記憶するアプリケーションソフトウェアに従って主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。

また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。

更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示し、あるいは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル５２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル５２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部５４１は、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge-Coupled Device)などの撮像素子を用いて電子撮影するデジタルカメラである。このカメラ部５４１に前述した撮像装置１０を適用することができる。広角画像と望遠画像とを撮像することができ、スマートフォン５００のように薄型の携帯端末に組み込むカメラ部として好適である。

また、カメラ部５４１は、主制御部５０１の制御により、撮影によって得た画像データを、各種の圧縮形式で圧縮した画像データに変換し、記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力したりすることができる。図１９に示すにスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、あるいは、複数のカメラ部５４１が搭載されてもよい。尚、複数のカメラ部５４１が搭載されている場合には、撮影に供するカメラ部５４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部５４１を同時に使用して撮像したりすることもできる。

また、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力のひとつとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。更には、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、あるいは、３軸の加速度センサと併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。

［その他］
上記各実施形態では、撮影光学系１２の中央光学系が広角光学系であり且つ環状光学系が望遠光学系である場合について説明したが、中央光学系が望遠光学系であり且つ環状光学系が広角光学系である場合についても本発明を適用することができる。また、上記各実施形態では、中央光学系と環状光学系とにより構成される撮影光学系を有する撮像装置を例に挙げて説明したが、異なる領域の一方の領域に設けられた広角光学系と、他方の領域に設けられた望遠光学系とにより構成される各種の光学系を有する撮像装置に本発明を適用することができる。

図３に示した撮影光学系１２の反射ミラー型のレンズ構成のうちの反射ミラーは、凹面鏡や凸面鏡に限らず、平面鏡でもよく、また、反射ミラーの枚数も２枚に限らず、２枚以上設けて２回以上反射させるようにしてもよい。

更に、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０…撮像装置，１２…撮影光学系，１３…中央光学系，１４…環状光学系，１４ａ…レンズ，１４ｂ…第１反射ミラー，１４ｃ…第２反射ミラー，１６…マイクロレンズアレイ，１８…撮像装置，１７…指向性センサ，２２…画像入力コントローラ，３９…焦点調整部，１１７…指向性センサ，１４０…環状光学系，１４０ａ…レンズ，１４０ｂ…第１反射ミラー，１４０ｃ…第２反射ミラー，２１７…指向性センサ

Claims (10)

1. 広角光学系と望遠光学系とがそれぞれ異なる領域に配置された撮影光学系と、
   ２次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサであって、前記広角光学系及び前記望遠光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する指向性センサと、
   前記指向性センサから前記広角光学系を介して受光した広角画像と前記望遠光学系を介して受光した望遠画像とをそれぞれ取得する画像取得部と、を備え、
   前記撮影光学系の広角光学系と望遠光学系とは、それぞれ撮影光軸の方向が異なる撮像装置。
2. 前記望遠光学系は、それぞれ異なる領域に配置された複数の望遠光学系からなり、
   前記指向性センサは、前記複数の望遠光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光し、
   前記複数の望遠光学系は、それぞれ撮影光軸の方向が異なる請求項１に記載の撮像装置。
3. 前記複数の望遠光学系の撮影光軸の方向は、前記広角光学系の撮影光軸の方向に対して水平方向及び垂直方向のうちの少なくとも一方の方向に異なる請求項２に記載の撮像装置。
4. 前記複数の望遠光学系は、それぞれ焦点距離が同一であり、かつ撮影画角の一部が重複する請求項２又は３に記載の撮像装置。
5. 前記画像取得部により取得された、前記複数の望遠光学系を介して受光した複数の望遠画像を示す画像信号に基づいて前記複数の望遠画像を合成したパノラマ画像を示す画像信号を生成する画像処理部を備えた請求項４に記載の撮像装置。
6. 前記撮影光学系の広角光学系及び望遠光学系のうちの一方の光学系は、円形の中央光学系であり、他方の光学系は前記中央光学系に対して同心円状に配設された環状光学系である請求項１から５のいずれか１項に記載の撮像装置。
7. 前記環状光学系は、前記撮影光学系の望遠光学系であり、光束を２回以上反射させる反射光学系を含む請求項６に記載の撮像装置。
8. 前記望遠光学系の反射光学系は、少なくとも光束を反射させる主反射光学系と、該主反射光学系により反射した光束を更に反射させる副反射光学系とを有し、
   前記主反射光学系は、前記指向性センサの受光面に対して前記広角光学系の撮影方向との差分の角度だけ傾斜して配設され、前記副反射光学系は、前記指向性センサの受光面に対して前記角度の２分の１だけ傾斜して配設される請求項７に記載の撮像装置。
9. 前記望遠光学系の焦点調整を行う焦点調整部を有する請求項１から８のいずれか１項に記載の撮像装置。
10. 前記指向性センサは、瞳分割部として機能するマイクロレンズアレイ又は遮光マスクを有する請求項１から９のいずれか１項に記載の撮像装置。