JP2016048282A - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP2016048282A JP2016048282A JP2014172534A JP2014172534A JP2016048282A JP 2016048282 A JP2016048282 A JP 2016048282A JP 2014172534 A JP2014172534 A JP 2014172534A JP 2014172534 A JP2014172534 A JP 2014172534A JP 2016048282 A JP2016048282 A JP 2016048282A
- Authority
- JP
- Japan
- Prior art keywords
- image
- optical system
- zoom magnification
- wide
- telephoto
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
- Lens Barrels (AREA)
- Cameras In General (AREA)
Abstract
【課題】単一の撮像部により光軸が一致した広角画像と望遠画像とを同時に取得することができ、追尾対象の物体を望遠画像で確実に捉えることができる小型で安価な撮像装置を提供する。【解決手段】本発明の撮像装置は、望遠光学系の光学ズーム倍率を調整する光学ズーム倍率調整部と、第2画像の電子ズーム倍率を調整する電子ズーム倍率調整部とを備えることで、単一の撮像部により光軸が一致した広角画像と望遠画像とを同時に取得することができ、撮影対象の物体を第2画像の光学ズームおよび電子ズームで確実に捉えることができる。【選択図】図15
Description
本発明は撮像装置に関し、特に広角画像と望遠画像とを同時に取得することができる撮像装置に関する。
従来、同一の光軸上に中央部に広角レンズを配設し、その周辺部に環状の望遠レンズを配設した二重の焦点距離の光学システムが提案されている(特許文献1の図1)。この光学システムの環状の望遠レンズは、2枚の反射ミラーを含む反射ミラー型のレンズ構成となっており、焦点距離の長い望遠レンズをコンパクトな構成にしている。また、この光学システムの広角レンズと望遠レンズの結像位置は、それぞれ光軸方向の異なる位置になるように設計されており、それぞれの結像位置に別々の撮像素子が配設されている。
また、広角の対物光学系と、望遠の対物光学系と、各対物光学系を通過した光線が共通に通過する共通光学系とを有し、複数の対物光学系により取り込まれる被写体光のいずれかを選択的に共通光学系へ導く反射部材を備えた光学装置が提案されている(特許文献2)。
そして、反射部材を可動させることにより、広角の対物光学系と望遠の対物光学系のいずれか一方の対物光学系により取り込まれる被写体光を、共通光学系を介して共通の撮像素子に導くようにしている。
また、結像レンズの異なる領域を通過する被写体光を瞳分離し、結像レンズの異なる領域に対応する撮像素子の画素にそれぞれ入射させ、瞳分離した被写体光に対応する複数の画像を同時に撮像する撮像装置が提案されている(特許文献3)。
特許文献1に記載の光学システムは、広角レンズ及び望遠レンズによりそれぞれ撮影される広角画像及び望遠画像を、それぞれ光軸方向の異なる位置に配設された別々の撮像素子から取得するようにしているため、装置の小型化及び低コスト化を図ることができないという問題がある。
特許文献2に記載の光学装置は、反射部材(反射ミラー)を可動させることにより、広角の対物光学系と望遠の対物光学系のいずれか一方の対物光学系を選択するため、同時に広角画像と望遠画像を撮影することができず、また、反射部材を可動させるための機構が必要になり、装置が大型化するという問題がある。
また、特許文献3に記載の撮像装置は、結像レンズの異なる領域を通過する被写体光を瞳分離し、瞳分離した被写体光に対応する複数の画像を、1つの撮像素子により同時に撮像することができるが、特許文献3には、広角画像と望遠画像とを良好に撮像するための具体的な構成に関する記載はない。
本発明はこのような事情に鑑みてなされたもので、光軸を共通にする中央光学系と環状光学系とによりそれぞれ結像される第一画像及び第二画像を同時に取得することができ、かつコンパクトで安価な撮像装置を提供することを目的とする。
本発明の第1の態様は、それぞれ同一の光軸上に配置された中央部の光学系とその周辺部の光学系とからなり、これらの光学系の一方が広角光学系であり、他方が光学ズーム可能な望遠光学系である撮影光学系と、2次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサであって、広角光学系及び望遠光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する複数の画素を含む指向性センサと、広角光学系を介して受光した第1画像を示す画像信号と望遠光学系を介して受光した第2画像を示す画像信号とをそれぞれ指向性センサから取得する画像読み出し装置と、望遠光学系および広角光学系のうち少なくとも一方の光学ズーム倍率を調整する光学ズーム倍率調整部と、第2画像の電子ズーム倍率を調整する電子ズーム倍率調整部と、を備える撮像装置を提供する。
本発明の第2の態様は、望遠光学系は段階的に光学ズーム倍率が調整されるものであり、手動操作によりズーム倍率を連続的に変更させるズーム指令を出力するズーム操作部と、ズーム指令に基づいて電子ズーム倍率調整部による電子ズーム倍率を連続的に変更させ、第2画像の解像度が閾値以下となった場合、光学ズーム倍率調整部により光学ズーム倍率の段階を上げるとともに、電子ズーム倍率調整部による電子ズーム倍率を光学ズーム倍率の変更に合わせて下げるズーム倍率制御部と、をさらに備える項1に記載の撮像装置を提供する。
本発明の第3の態様は、広角光学系から指向性センサに入射する光束の光路および望遠光学系から指向性センサに入射する光束の光路のそれぞれに個別に配置された絞りをさらに備える項1または2に記載の撮像装置を提供する。
本発明の第4の態様は、広角光学系から指向性センサに入射する光束の光路および望遠光学系から指向性センサに入射する光束の光路に配置された可変NDフィルタをさらに備える項1〜3のいずれか1項に記載の撮像装置を提供する。
本発明の第5の態様は、広角光学系は望遠光学系より広角であり、望遠光学系は、光束を2回以上反射させる反射光学系を有する項1〜4のいずれか1項に記載の撮像装置を提供する。
本発明の第6の態様は、第1画像と、光学ズーム倍率調整部が光学ズーム倍率を調整した後の第2画像または電子ズーム倍率調整部が電子ズーム倍率を調整した後の第2画像とを、選択的、重畳的、または並列的に表示装置に表示させる表示制御部をさらに備える項1に記載の撮像装置を提供する。
本発明の第7の態様は、光学ズーム倍率調整部は、広角光学系の光学ズーム倍率を非接触型駆動手段により調整する項1〜6のいずれか1項に記載の撮像装置を提供する。
本発明の撮像装置は、望遠光学系の光学ズーム倍率を調整する光学ズーム倍率調整部と、第2画像の電子ズーム倍率を調整する電子ズーム倍率調整部とを備えることで、単一の撮像部により光軸が一致した広角画像と望遠画像とを同時に取得することができ、撮影対象の物体を第2画像の光学ズームおよび電子ズームで確実に捉えることができる。
以下、添付図面に従って本発明に係る撮像装置の実施の形態について説明する。
<撮像装置の外観>
図1は本発明に係る第1実施形態の撮像装置の外観斜視図である。図1に示すように、撮像装置10の前面には、撮影光学系12、フラッシュ発光部21等が配置され、上面にはシャッタボタン38−1、撮影光学系12のレンズ周辺には可変NDフィルタ調整ボタン38−2、側面にはズームボタン38−3が設けられている。Lは撮影光学系12の光軸を表す。
図1は本発明に係る第1実施形態の撮像装置の外観斜視図である。図1に示すように、撮像装置10の前面には、撮影光学系12、フラッシュ発光部21等が配置され、上面にはシャッタボタン38−1、撮影光学系12のレンズ周辺には可変NDフィルタ調整ボタン38−2、側面にはズームボタン38−3が設けられている。Lは撮影光学系12の光軸を表す。
[撮像部の構成]
図2は、撮像装置10の撮像部11の第1の実施形態を示す断面図である。
図2は、撮像装置10の撮像部11の第1の実施形態を示す断面図である。
図2に示すように、撮像部11は、撮影光学系12と指向性センサ17と絞り63(63a、63b)と可変NDフィルタ64とから構成されている。
<撮影光学系>
撮影光学系12は、それぞれ同一の光軸上に配置された、第1の光学系としての中央部の中央光学系13と、その周辺部の同心円状の第2の光学系としての環状光学系14とから構成されている。
撮影光学系12は、それぞれ同一の光軸上に配置された、第1の光学系としての中央部の中央光学系13と、その周辺部の同心円状の第2の光学系としての環状光学系14とから構成されている。
中央光学系13は、第1レンズ13a、第2レンズ13b、第3レンズ13c、第4レンズ13d、及び共通レンズ15から構成された広角光学系(広角レンズ)であり、指向性センサ17を構成するマイクロレンズアレイ16上に広角画像を結像させる。
環状光学系14は、第1レンズ14a、第2レンズ14b、反射光学系としての第1反射ミラー14c、第2反射ミラー14d、及び共通レンズ15から構成された望遠光学系(望遠レンズ)であり、マイクロレンズアレイ16上に望遠画像を結像させる。第1レンズ14a、及び第2レンズ14bを介して入射した光束は、第1反射ミラー14c及び第2反射ミラー14dにより2回反射された後、共通レンズ15を通過する。第1反射ミラー14c及び第2反射ミラー14dにより光束が折り返されることにより、焦点距離の長い望遠光学系(望遠レンズ)の光軸方向の長さを短くしている。
絞り63は、中央光学系13に対応した絞り63aと、環状光学系14に対応した絞り63bを含む。図2(b)に例示するように、絞り63aは、中央部に形成された穴の外径を伸縮することで、中央光学系13からマイクロレンズアレイ16に結像する光束の入射量を変化させる。また図2(c)に例示するように、絞り63bは、周縁部に形成された環状の穴の内径を伸縮することで、環状光学系14からマイクロレンズアレイ16に結像する光束の入射量を変化させる。
共通レンズ15とイメージセンサ18の間に設けられた可変NDフィルタ64は、連続的あるいは段階的な透過率を複数有しており、印加する電圧を変化させるか、あるいは機械的に回転させることで、それらの中から任意の透過率を選択し、撮影光学系12からイメージセンサ18へ結像する被写体像の受光量を調節する。
なお、中央光学系13と環状光学系14は同一の光軸上に配置されるため、これらの結像する広角画像および望遠画像ではパララックスが発生しない。
<指向性センサ>
指向性センサ17は、マイクロレンズアレイ16とイメージセンサ18とから構成されている。
指向性センサ17は、マイクロレンズアレイ16とイメージセンサ18とから構成されている。
図3は、マイクロレンズアレイ16及びイメージセンサ18の要部拡大図である。
マイクロレンズアレイ16は、複数のマイクロレンズ(瞳結像レンズ)16aが2次元状に配列されて構成されており、各マイクロレンズの水平方向及び垂直方向の間隔は、イメージセンサ18の光電変換素子である受光セル18aの3つ分の間隔に対応している。即ち、マイクロレンズアレイ16の各マイクロレンズは、水平方向及び垂直方向の各方向に対して、2つ置きの受光セルの位置に対応して形成されたものが使用される。
また、マイクロレンズアレイ16の各マイクロレンズ16aは、撮影光学系12の中央光学系13及び環状光学系14に対応する、円形の中央瞳像(第1の瞳像)17a及び環状瞳像(第2の瞳像)17bを、イメージセンサ18の対応する受光領域の受光セル18a上に結像させる。
図3に示すマイクロレンズアレイ16及びイメージセンサ18によれば、マイクロレンズアレイ16の1マイクロレンズ16a当たりに付き、格子状(正方格子状)の3×3個の受光セル18aが割り付けられている。以下、1つのマイクロレンズ16a及び1つのマイクロレンズ16aに対応する受光セル群(3×3個の受光セル18a)を単位ブロックという。
中央瞳像17aは、単位ブロックの中央の受光セル18aのみに結像し、環状瞳像17bは、単位ブロックの周囲の8個の受光セル18aに結像する。
上記構成の撮像部11によれば、後述するように中央光学系13に対応する広角画像と、環状光学系14に対応する望遠画像とを同時に撮像することができる。
図4は、受光セル18aの配置例を示す。受光セル18aは、マイクロレンズ16a1個当たりが受け持つ受光セルの個数が、中央から周辺にいくにしたがって(像高が高くなるにしたがって)少なくなる構造となっている。図4に示す例では、1マイクロレンズ16a当たりの受け持つ受光セル18aの個数(紙面の上下方向の個数)を、中央(入射角0°)では3個、中間(入射角3.2°)では2個、周辺(入射角14.4°)では1個としている。
図4に示すように受光セル18aのサイズが同一の場合、マイクロレンズ16aは、周辺にいくにしたがって小さいサイズで、焦点距離の短いもの使用する。これにより、周辺ほど高密度なサンプリングが可能になる。
[イメージセンサの実施形態]
図5は、イメージセンサ18に配設されたカラーフィルタ配列等を示す図である。尚、図4上で、マイクロレンズアレイ16は省略されているが、円形で示した領域は、マイクロレンズアレイ16の各マイクロレンズ16aにより瞳像が結像される3×3個の受光セルを含む単位ブロックを示している。
図5は、イメージセンサ18に配設されたカラーフィルタ配列等を示す図である。尚、図4上で、マイクロレンズアレイ16は省略されているが、円形で示した領域は、マイクロレンズアレイ16の各マイクロレンズ16aにより瞳像が結像される3×3個の受光セルを含む単位ブロックを示している。
図5(a)に示すようにイメージセンサ18の撮像面上には、各受光セル上に配設されたカラーフィルタにより構成されるカラーフィルタ配列が設けられる。
このカラーフィルタ配列は、赤(R)、緑(G)、及び青(B)の各波長域の光を透過させる3原色のカラーフィルタ(以下、Rフィルタ、Gフィルタ、Bフィルタという)により構成されている。そして、各受光セル上には、RGBフィルタのいずれかが配置される。以下、Rフィルタが配置された受光セルを「R受光セル」、Gフィルタが配置された受光セルを「G受光セル」、Bフィルタが配置された受光セルを「B受光セル」という。
図5(a)に示すカラーフィルタ配列は、6×6個の受光セルを基本ブロックB(図5(a)の太枠で示したブロック、及び図5(b)参照)とし、基本ブロックBが水平方向及び垂直方向に繰り返し配置されて構成されている。
図5(b)に示すように基本ブロックBは、4個の単位ブロックB1〜B4により構成されている。
図5(c1)及び(c2)は、それぞれ4個の単位ブロックB1〜B4の中央の受光セル(図3に示した中央光学系13を通過した光束が入射する受光セル)のグループと、周囲の8個の受光セル(図3に示した環状光学系14を通過した光速が入射する受光セル)のグループとを示す。
図5(c1)に示すように中央の受光セルのグループの画像は、ベイヤ配列のモザイク画像となる。これにより、ベイヤ配列のモザイク画像をデモザイク処理することにより、カラー画像を得ることができる。
一方、図5(c2)に示すように、単位ブロックB1〜B4の各中央の受光セルの周囲の8個の受光セルのグループは、8個の受光セル内にRGBの全ての受光セル(R受光セル、G受光セル、B受光セル)を含み、かつ単位ブロックB1〜B4にかかわらず、RGBの受光セルが同じパターンで配置されている。
具体的には、各単位ブロックB1〜B4の4隅の4つの受光セルは、G受光セルが配置され、中央の受光セルを挟んで上下の2個の受光セルは、R受光セルが配置され、中央の受光セルを挟んで左右の2個の受光セルは、B受光セルが配置されている。
また、R受光セル、G受光セル、及びB受光セルは、それぞれ単位ブロックの中央の受光セル(中心)に対して対称位置に配置されている。これにより、単位ブロック内のRGBの受光セルの出力信号を使用して、その単位ブロック毎のデモザイク処理(同時化処理)後の、画像を構成する1つの画素(RGBの画素値)を生成することができる。
即ち、単位ブロック内の4個のG受光セルの出力信号(画素値)の平均値を求めることにより、単位ブロック(1マイクロレンズ)の中心位置におけるG画素の画素値を取得することができ、同様に単位ブロック内の2個のR受光セルの画素値の平均値、及び2個のB受光セルの画素値の平均値を求めることにより、それぞれ単位ブロックの中心位置におけるR画素及びB画素の画素値を取得することができる。
これにより、単位ブロックの周囲の8個の受光セルのグループにより生成される、環状光学系14(望遠光学系)に対応する望遠画像については、単位ブロック内のRGBの受光セルの画素値を使用してデモザイク処理を行うことができ、周囲の単位ブロックの受光セルの画素値を補間して特定の波長域の画素の画素値を生成する必要がなく、出力画像の解像度(実質的な画素数)を低下させることがない。
<撮像装置の内部構成>
図6は、撮像装置10の内部構成の実施形態を示すブロック図である。
図6は、撮像装置10の内部構成の実施形態を示すブロック図である。
図6に示すように撮像装置10は、図2で説明した中央光学系13及び環状光学系14を有する撮影光学系12と、図3ないし図5で説明したマイクロレンズアレイ16及びイメージセンサ18を有する指向性センサ17とからなる撮像部11を備えている。
この撮像部11は、望遠光学系(環状光学系14)の焦点調整を行う焦点調整部19を備えることが好ましい。焦点調整部19は、例えば、環状光学系14の全体又は一部の光学系を光軸方向に移動させるボイスコイルモータ等により構成することができる。また、望遠画像の合焦の判断は、望遠画像の焦点検出領域のコントラストにより行うことができるが、焦点調整方法はこれに限定されない。尚、広角光学系(中央光学系13)については、別途、焦点調整部19を設けるようにしてよいし、パンフォーカスとしてもよい。
撮像部11は、撮影光学系12及び指向性センサ17を介して時系列の広角画像及び望遠画像を撮像するものであり、撮影光学系12を介して指向性センサ17(イメージセンサ18)の各受光セル(光電変換素子)の受光面に結像された被写体像は、その入射光量に応じた量の信号電圧(または電荷)に変換される。
レンズCPU65は、絞り63の開口径の増大と連動し、それに応じて増大する露出量(露光量の増分ΔEV)を相殺する可変NDフィルタ64の目標濃度(減光率)を決定する。レンズCPU65は、該決定された濃度に対応する信号を可変NDフィルタ64の駆動系に印加する。これにより可変NDフィルタ64の濃度が調節される。すなわちレンズCPU65は、現在の可変NDフィルタ64の濃度と目標濃度とを比較し、それらの差異が解消するよう目標濃度(減光率)を再び決定し、該決定された濃度に対応する制御信号を可変NDフィルタ64の駆動系に印加する。この駆動系が、この制御信号に対応した透過率をさらに選択することで、可変NDフィルタ64の濃度が調節され、イメージセンサの受光量が、絞り63の開放の前後で保たれるように調節される。
可変NDフィルタ64の透過率は、スイッチ、ボタン、タッチセンサなどの操作手段で構成された可変NDフィルタ調整ボタン38−2に対する入力により、変更することができる。好ましくは、可変NDフィルタ調整ボタン38−2は、レンズ周辺に設けられる。
イメージセンサ18に蓄積された信号電圧(または電荷)は、受光セルそのもの若しくは付設されたキャパシタに蓄えられる。蓄えられた信号電圧(または電荷)は、X−Yアドレス方式を用いたMOS型撮像素子(いわゆるCMOSセンサ)の手法を用いて、受光セル位置の選択とともに読み出される。
これにより、イメージセンサ18から中央光学系13に対応する中央の受光セルのグループの広角画像を示す画素信号と、環状光学系14に対応する周囲8個の受光セルのグループの望遠画像を示す画素信号とを読み出すことができる。尚、イメージセンサ18からは、所定のフレームレート(例えば、1秒当たりのフレーム数24p,30p,又は60p)で、広角画像及び望遠画像を示す画素信号が連続して読み出される。
イメージセンサ18から読み出された画素信号(電圧信号)は、相関二重サンプリング処理(センサ出力信号に含まれるノイズ(特に熱雑音)等を軽減することを目的として、受光セル毎の出力信号に含まれるフィードスルー成分レベルと信号成分レベルとの差をとることにより正確な画素データを得る処理)により受光セル毎の画素信号がサンプリングホールドされ、増幅されたのちA/D変換器20に加えられる。A/D変換器20は、順次入力する画素信号をデジタル信号に変換して画像取得部22に出力する。尚、MOS型センサでは、A/D変換器が内蔵されているものがあり、この場合、イメージセンサ18から直接デジタル信号が出力される。
画像取得部22は、イメージセンサ18の受光セル位置を選択して画素信号を読み出すことにより、広角画像を示す画素信号と望遠画像を示す画素信号とを同時に、又は選択的に取得することができる。
即ち、イメージセンサ18の中央瞳像17aが入射する受光セルの画素信号を選択的に読み出すことにより、1マイクロレンズ当たり1個の受光セル(3×3の受光セルの中央の受光セル)の広角画像を示す画素信号(ベイヤ配列のモザイク画像を示す画素信号)を取得することができ、一方、イメージセンサ18の環状瞳像17bが入射する受光セルの画素信号を選択的に読み出すことにより、1マイクロレンズ当たり8個の受光セル(3×3の受光セルの周囲の受光セル)の望遠画像を示す画素信号を取得することができる。
尚、イメージセンサ18から全ての画素信号を読み出してバッファメモリに一時的に記憶させ、バッファメモリに記憶させた画素信号から、広角画像と望遠画像の2つ画像の画素信号のグループ分けを行ってもよい。
画像取得部22により取得された広角画像及び望遠画像を示す画素信号は、それぞれデジタル信号処理部40に出力される。
デジタル信号処理部40は、入力するデジタルの画素信号(RGBの点順次のR信号、G信号、B信号)に対して、オフセット処理、ガンマ補正処理、及びRGBのモザイク画像の信号に対するデモザイク処理や、広角画像および望遠画像のそれぞれから個別に推定された光源の色温度に基づいたホワイトバランス補正処理等の所定の信号処理を行う。
ここで、デモザイク処理とは、単板式のイメージセンサ18のカラーフィルタ配列に対応したRGBのモザイク画像から画素毎に全ての色情報を算出する処理であり、同時化処理ともいう。例えば、RGB3色のカラーフィルタからなるイメージセンサ18の場合、RGBからなるモザイク画像から画素毎にRGB全ての色情報を算出する処理である。
また、広角画像および望遠画像のそれぞれから個別に推定された光源の色温度に基づいたホワイトバランス補正処理とは、図4(c1)の中央の受光セル及び図4(c2)の周囲の8個の受光セルのそれぞれから得られた、広角画像および望遠画像のそれぞれに対応するR、G、Bの画像信号に基づいて自動的に光源種(被写界の色温度)を求め、予め光源種別に設定されたR、G、Bのホワイトバランスゲイン(ホワイトバランス補正値)を記憶するテーブルから対応するホワイトバランスゲインを読み出し、広角画像および望遠画像のそれぞれに対応するR、G、Bの画像信号に、それぞれに対応するホワイトバランスゲインが乗算されることをいう。
即ち、デジタル信号処理部40に含まれるデモザイク処理部は、広角画像(ベイヤ配列のモザイク画像)のG受光セルの位置には、R受光セル、B受光セルが無いため、そのG受光セルの周囲のR受光セル、B受光セルのR信号、B信号をそれぞれ補間して、G受光セルの位置におけるR信号、B信号を生成する。同様に、モザイク画像のR受光セルの位置には、G受光セル、B受光セルが無いため、そのR受光セルの周囲のG受光セル、B受光セルのG信号、B信号をそれぞれ補間してR受光セルの位置におけるG信号、B信号を生成し、また、モザイク画像のB受光セルの位置には、G受光セル、R受光セルが無いため、そのB受光セルの周囲のG受光セル、R受光セルのG信号、R信号をそれぞれ補間してB受光セルの位置におけるG信号、R信号を生成する。
一方、望遠画像は、図5(c2)に示したように1マイクロレンズ16a当たり8個(3×3の単位ブロックの周囲8個)のモザイク画像からなり、かつ8個の受光セル内には、RGBの全ての色情報(R受光セル、G受光セル、B受光セル)が含まれているため、デモザイク処理部は、単位ブロック内の8個の受光セルの出力信号を使用して単位ブロック毎にデモザイク処理した、画像を構成する1つの画素(RGBの画素値)を生成することができる。
具体的には、望遠画像のモザイク画像をデモザイク処理するデモザイク処理部は、単位ブロック内の4個のG受光セルの画素値の平均値を求めることにより、単位ブロック(1マイクロレンズ)の中心位置における画素のGの画素値を算出し、同様に単位ブロック内の2個のR受光セルの画素値の平均値、及び2個のB受光セルの画素値の平均値を求めることにより、それぞれ単位ブロックの中心位置における画素のRの画素値及びBの画素値を算出する。
上記デモザイク処理部により生成される広角画像及び望遠画像の2つのデモザイク画像のうちの望遠画像のデモザイク画像は、単位ブロック内の8個の受光セルの出力信号を使用してデモザイク処理が行われるため、周囲の単位ブロックの受光セルの出力信号を使用(補間)してデモザイク処理が行われる広角画像のデモザイク画像よりも解像度が実質的に高いものとなる。
また、デジタル信号処理部40は、デモザイク処理部によりデモザイク処理されたRGBの色情報(R信号、G信号、B信号)から輝度信号Yと色差信号Cb,Crを生成するRGB/YC変換等を行い、所定のフレームレートの広角画像及び望遠画像を示す動画記録用及び動画表示用の画像信号を生成する。
デジタル信号処理部40で処理された広角画像及び望遠画像を示す画像信号は、それぞれ記録部42及び表示制御部45に出力される。記録部42は、デジタル信号処理部40により処理された広角画像及び/又は望遠画像を示す動画記録用の画像信号を記録媒体(ハードディスク、メモリカード等)に記録する。尚、記録部42は、広角画像中の望遠画像に相当する画角から物体が検出された場合に望遠画像を記録し、それ以外の場合は広角画像のみを記録するようにしてもよい。
表示部44は、表示制御部45から選択的に出力される広角画像または望遠画像を示す動画表示用の画像信号により、広角画像及び望遠画像を表示する。尚、表示部44は、記録部42に記録された画像信号に基づいて広角画像及び/又は望遠画像を再生することもできる。
一方、物体検出部50は、画像取得部22が取得した広角画像を示す画素信号に基づいて撮像対象の物体を検出し、検出した物体の画像中における位置情報を表示制御部45に出力するものである。
物体検出部50における物体の検出方法としては、人物の顔認識を行う技術や、車両のナンバープレートのナンバー認識に代表される物体認識技術により特定の物体を検出する方法、又は動体を撮像対象の物体として検出する動体検出方法がある。
物体認識による物体の検出方法は、特定の物体の見え方の特徴(人の顔の形状や車両のナンバープレートの数字の形状など)を物体辞書として予め登録しておき、撮影された画像から位置や大きさを変えながら切り出した画像と、物体辞書とを比較しながら物体を認識する方法である。
撮像装置10は、手動操作によりズーム倍率を連続的に変更させるズーム指令をレンズCPU65に出力するズームボタン38−3を備える。
撮像装置10は、スイッチ、ボタン、タッチセンサなどの操作手段で構成されたズームボタン38−3から入力された任意のズーム倍率に従って、環状光学系14の焦点距離を調整し、光学ズーム倍率の変更を行う光学ズーム調整部80を備える。例えば、環状光学系14の焦点距離は、倍率指定手段の指定した倍率をレンズCPU65により検知し、レンズCPU65がこの倍率に従って第1レンズ14aおよび第2レンズ14bを光軸方向に移動させる駆動系を制御することで調整しうる。
また撮像装置10は、ズームボタン38−3から入力された任意の倍率で広角画像を電子的に変倍する電子ズーム調整部81をさらに備える。
図7及び図8は、それぞれ撮像された広角画像及び望遠画像の一例を示す図である。尚、広角画像中の破線で示した領域は、望遠画像の撮像範囲を示している。
いま、図7(a)及び(b)に示す広角画像I1及び望遠画像I2(広角画像I1の中の範囲Rに相当)が撮像され、かつ人物の顔を撮影対象とし、物体(顔)認識技術により人物の顔を検出する場合、広角画像では、顔を検出することができるが、望遠画像では、顔を検出することができない。望遠画像には、人物の顔の一部しか入っておらず、顔を認識することができないからである。
従って、この場合、人物の顔(物体)の、広角画像中の位置情報を出力する。また、表示制御部45は広角画像を選択的に表示部44に出力する。すなわち、望遠画像に撮影対象の一部しか映っていない場合、広角画像を選択的に表示部44に表示することで、撮影対象を見やすくする。
一方、図8(a)及び(b)に示すように、広角画像I1中の望遠画像I2に相当する範囲Rで物体を検出した場合には、検出した物体の望遠画像中の位置情報を出力するとともに、表示制御部45は望遠画像を選択的に表示部44に出力する。望遠画像に撮影対象が映り物体が検出された場合、広角画像よりも望遠画像の方が検出された物体を見やすいからである。
次に、物体検出部50における物体の検出方法として、動体を撮影対象の物体として検出する動体検出方法の一例について説明する。
この場合、物体検出部50は、図9に示すように時系列の2枚の広角画像(前回取得した広角画像(図9(a)と、今回取得した広角画像(図9(b))の差分をとった差分画像(図9(c))を検出する。
図9(a)及び(b)に示す例では、物体A,Bのうちの物体Aが移動し、物体Bは停止している。
従って、図9(c)に示すように差分画像A1,A2は、物体Aの移動により生じた画像である。
ここで、差分画像A1,A2の重心位置を算出し、それぞれ位置P1,P2とし、これらの位置P1,P2を結ぶ線分の中点を、位置Gとする。そして、この位置Gを動体(物体A)の広角画像中の位置とする。
このようして算出した広角画像中の物体Aの位置Gが、広角画像の中心位置(光軸上の位置)に移動するように、撮像部11による撮影方向を繰り返し制御することにより、物体Aが広角画像の中心位置に移動(収束)する。
撮像部11が移動する場合、時系列の画像間の背景も移動することになるが、この場合には、時系列の画像間の背景が一致するように画像をシフトさせ、シフト後の画像間の差分画像をとることにより、撮像部11の移動にかかわらず、実空間内を移動する物体を検出することができる。更に、動体検出方法は、上記の実施形態に限らない。
<撮像制御方法>
図10は、本発明に係る撮像装置による撮像制御方法の例を示すフローチャートである。
図10は、本発明に係る撮像装置による撮像制御方法の例を示すフローチャートである。
図10において、物体検出部50は、画像取得部22から広角画像を取得し(ステップS20)、取得した広角画像から撮影対象の物体を検出する(ステップS22)。
続いて、物体検出部50は、ステップS22において、広角画像中で望遠画像の画角に相当する範囲から物体が検出されたか否かを判別する(ステップS24)。この範囲から物体が検出された場合(「Yes」の場合)には、物体検出部50は、検出した物体の広角画像中の位置情報を算出する(ステップS26)。表示制御部45は、デジタル信号処理部40から出力された望遠画像および広角画像のうち、望遠画像を選択的に表示部44に出力する(ステップS27)。この結果、表示部44には、望遠画像が表示される。また、記録部42は、デジタル信号処理部40により処理された望遠画像を示す動画記録用の画像信号を記録媒体に記録する(ステップS27)。これにより、例えば目的の人物が検出された場合、その人物を画角内に捉えた望遠画像の記録が開始される。
一方、この範囲から物体が検出されなかった場合(「No」の場合)には、ステップS28に遷移する。ここで、ステップS28からステップS32の処理は、物体検出部50は、画像取得部22から広角画像を取得し(ステップS28)、取得した広角画像から対象の物体を検出し(ステップS30)、検出した物体の広角画像中の位置情報を算出する(ステップS32)。表示制御部45は、デジタル信号処理部40から出力された望遠画像および広角画像のうち、広角画像を選択的に表示部44に出力する(ステップS33)。この結果、表示部44には、広角画像が表示される。
次に、物体検出部50は、ステップS26又はステップS32により検出された広角画像中の物体の位置情報を出力する(ステップS34)。
次に、撮像が終了したか否かを判別し(ステップS36)、終了していないと判別すると、ステップS20に遷移させる。これにより、上記ステップS20からステップS36の処理が繰り返され、撮像が行われる。一方、撮像が終了したと判別されると、撮像を終了する。
<指向性センサの他の実施形態>
図11は、指向性センサの他の実施形態を示す側面図である。
図11は、指向性センサの他の実施形態を示す側面図である。
この指向性センサ117は、瞳分割手段としてのマイクロレンズアレイ118及び遮光マスクとして機能する遮光部材120と、遮光部材120により受光セル116a、116bの一部が遮光されたイメージセンサ116とから構成されている。尚、遮光部材120により一部が遮光された受光セル116aと受光セル116bとは、イメージセンサ116の左右方向及び上下方向に交互(チェッカーフラグ状)に設けられている。
マイクロレンズアレイ118は、イメージセンサ116の受光セル116a、116bと一対一に対応するマイクロレンズ118aを有している。
遮光部材120は、イメージセンサ116の受光セル116a、116bの開口を規制するものであり、図2に示した撮影光学系12の中央光学系13及び環状光学系14に対応する開口形状を有している。尚、マイクロレンズアレイ118の各レンズの下方には、赤(R)、緑(G)、青(B)のカラーフィルタが配設されている。
受光セル116aは、遮光部材120の遮光部120aによりその開口の周辺部が遮光され、一方、受光セル116bは、遮光部材120の遮光部120bによりその開口の中心部が遮光されている。これにより、撮影光学系12の中央光学系13を通過した光束は、マイクロレンズアレイ118及び遮光部材120の遮光部120aにより瞳分割されて受光セル116aに入射し、一方、撮影光学系12の環状光学系14を通過した光束は、マイクロレンズアレイ118及び遮光部材120の遮光部120bにより瞳分割されて受光セル116bに入射する。
これにより、イメージセンサ116の各受光セル116aから広角画像の画素信号を読み出すことができ、イメージセンサ116の各受光セル116bから望遠画像の画素信号を読み出すことができる。
<撮像部の他の実施形態>
次に、本発明に係る撮像装置に適用される撮像部の他の実施形態について説明する。
次に、本発明に係る撮像装置に適用される撮像部の他の実施形態について説明する。
図12は、撮像装置10に適用可能な撮像部の他の実施形態を示す断面図である。
この撮像部は、撮影光学系112と、指向性センサ17とから構成されている。尚、指向性センサ17は、図2及び図3に示したものと同一であるため、以下、撮影光学系112について説明する。
この撮影光学系112は、それぞれ同一の光軸上に配置された中央部の中央光学系113とその周辺部の環状光学系114とから構成されている。
中央光学系113は、第1レンズ113a、第2レンズ113b、及び共通レンズ115から構成された望遠光学系であり、画角αを有している。
環状光学系114は、レンズ114a及び共通レンズ115から構成された広角光学系であり、画角β(β>α)を有し、中央光学系113よりも広角である。
この撮影光学系112は、図2に示した撮影光学系12と比較すると、反射ミラーを使用しておらず、また、中央光学系113が望遠光学系であり、環状光学系114が広角光学系である点で相違する。
<撮像制御方法の他の実施形態1>
図13は、本発明に係る撮像装置による撮像制御方法の例を示すフローチャートである。この処理は、図9のS26の処理後、フローチャートのS27の代わりに実行される。
図13は、本発明に係る撮像装置による撮像制御方法の例を示すフローチャートである。この処理は、図9のS26の処理後、フローチャートのS27の代わりに実行される。
図13において、表示制御部45は、スイッチやタッチパネルなどの操作手段で構成されたモード選択部56を介してユーザの選択した撮影モードが、人物モードであるか、あるいは人物モード以外のモード(例えば、夜景モード、風景モード)であるかを判断する。撮影モードが人物モードの場合はS42、撮影モードが人物モード以外の場合はS43に進む。
S42では、表示制御部45は、広角画像の中央部に望遠画像を重畳して表示する。図14(a)はその表示例を示す。この後、処理はS34に進む。
S43では、表示制御部45は、広角画像の周縁部に望遠画像を重畳して表示する。図14(b)はその表示例を示す。この後、処理はS34に進む。
なお、S42では、表示制御部45は、広角画像と望遠画像を並列して表示してもよい。
さらに、図14(a)のように、広角画像の中央部に望遠画像を重畳して表示する際、表示画像の1倍を超えるズーム倍率が倍率指定手段で指定された場合、指定されたズーム倍率で望遠画像部分のみをズーム表示し、広角画像はズーム表示しない。
ここで、表示画像の1倍を超えるズーム倍率がズームボタン38−3で指定された場合、図15に示すように、望遠画像部分のみについてまず電子ズーム調整部81により指定された倍率の電子ズームを実施し(1)、電子ズームされた望遠画像部分の解像度が所定の閾値まで低下した場合、望遠画像部分の電子ズームを停止して、電子ズーム倍率を初期値(1倍)に下げ、光学ズーム調整部80による1段分の光学ズームを実施する(2)。電子ズームの停止の結果、望遠画像部分の解像度は所定の閾値を上回る値に戻る(3)。
望遠画像部分の解像度が所定の閾値を上回った後は、再び、指定されたズーム倍率に応じて、望遠画像部分の電子ズームを再開する(4)。そして、この望遠画像部分の解像度がある所定の閾値まで低下した場合、望遠画像部分の電子ズームを停止し、光学ズーム調整部80によるさらに1段分の光学ズームを実施する(5)。これにより、再び望遠画像部分の解像度は所定の閾値を上回る(6)。以下同様、望遠画像部分の解像度に応じて、電子ズームの開始、停止、光学ズームのズーム段の増分を、光学ズーム倍率の段数の設定限界まで繰り返す。
これにより、運動会で走っている子供などの撮影対象の被写体を含んだ望遠画像部分をより良い解像度で広角画像と重畳して表示できる。なお、図7(a)のように広角画像のみが表示されているときに画像のズーム指示がされた場合は、電子ズームのみを行う。
<撮影光学系の他の実施形態>
図16は撮影光学系12の他の実施形態を示す。図2と同様の機能を有する部材には、図16においても共通の符号が付されている。撮影光学系12は、第1レンズ13aよりも被写体側の第5レンズ13e、第1レンズ14aよりも被写体側の第5レンズ14eをさらに備えている。第5レンズ13eおよび第1レンズ13aの相対的位置を、電磁誘導などで電源が起電されるボイスコイルモータなどの非接触型駆動手段で調整することで、広角画像の変倍が可能となる。
図16は撮影光学系12の他の実施形態を示す。図2と同様の機能を有する部材には、図16においても共通の符号が付されている。撮影光学系12は、第1レンズ13aよりも被写体側の第5レンズ13e、第1レンズ14aよりも被写体側の第5レンズ14eをさらに備えている。第5レンズ13eおよび第1レンズ13aの相対的位置を、電磁誘導などで電源が起電されるボイスコイルモータなどの非接触型駆動手段で調整することで、広角画像の変倍が可能となる。
図17に示すように、倍率の指定は、撮像装置10とは別体のコントローラ100から入力することができる。このコントローラ100は、ズームボタン38−3と、通信部101を備えており、レンズCPU65は、ズーム倍率の制御信号を、コントローラ100の通信部101と無線接続した通信部70から受信し、受信した制御信号に応じて、第1レンズ14aおよび第3レンズ14cの相対的位置を非接触型駆動手段で調整し、広角画像の変倍を行う。なお望遠画像の変倍については、ステッピングモータなどの各種の駆動手段と有線で接続されたズームボタン38−3により制御が可能である。
[その他]
本実施形態の撮影光学系は、第1の光学系の周辺部に設けられた第2の光学系を、環状光学系としたが、これに限らず、光軸を中心とした同心円上に配設した複数の光学系により構成されたものでもよい。
本実施形態の撮影光学系は、第1の光学系の周辺部に設けられた第2の光学系を、環状光学系としたが、これに限らず、光軸を中心とした同心円上に配設した複数の光学系により構成されたものでもよい。
また、図2に示した撮影光学系12の反射ミラー型のレンズ構成のうちの反射ミラーは、凹面鏡や凸面鏡に限らず、平面鏡でもよく、また、反射ミラーの枚数も2枚に限らず、3枚以上設けるようにしてもよい。
更に、焦点調整部は、中央光学系及び環状光学系の共通レンズ、又はイメージセンサを光軸方向に移動させるものでもよい。
更にまた、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
10…撮像装置、11…撮像部、12、112…撮影光学系、13、113…中央光学系、14、114…環状光学系、16、118…マイクロレンズアレイ、16a、118a…マイクロレンズ、17、117…指向性センサ、18、116…イメージセンサ、18a、116a、116b…受光セル、22…画像取得部、42…記録部、50…物体検出部、56…モード選択部、120…遮光部材
Claims (7)
- それぞれ同一の光軸上に配置された中央部の光学系とその周辺部の光学系とからなり、これらの光学系の一方が広角光学系であり、他方が光学ズーム可能な望遠光学系である撮影光学系と、
2次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサであって、前記広角光学系及び前記望遠光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する複数の画素を含む指向性センサと、
前記広角光学系を介して受光した第1画像を示す画像信号と前記望遠光学系を介して受光した第2画像を示す画像信号とをそれぞれ前記指向性センサから取得する画像読み出し装置と、
前記望遠光学系および前記広角光学系のうち少なくとも一方の光学ズーム倍率を調整する光学ズーム倍率調整部と、
前記第2画像の電子ズーム倍率を調整する電子ズーム倍率調整部と、
を備える撮像装置。 - 前記望遠光学系は段階的に光学ズーム倍率が調整されるものであり、
手動操作によりズーム倍率を連続的に変更させるズーム指令を出力するズーム操作部と、
前記ズーム指令に基づいて前記電子ズーム倍率調整部による電子ズーム倍率を連続的に変更させ、前記第2画像の解像度が閾値以下となった場合、前記光学ズーム倍率調整部により光学ズーム倍率の段階を上げるとともに、前記電子ズーム倍率調整部による電子ズーム倍率を前記光学ズーム倍率の変更に合わせて下げるズーム倍率制御部と、
をさらに備える請求項1に記載の撮像装置。 - 前記広角光学系から前記指向性センサに入射する光束の光路および前記望遠光学系から前記指向性センサに入射する光束の光路のそれぞれに個別に配置された絞りをさらに備える請求項1または2に記載の撮像装置。
- 前記広角光学系から前記指向性センサに入射する光束の光路および前記望遠光学系から前記指向性センサに入射する光束の光路に配置された可変NDフィルタをさらに備える請求項1〜3のいずれか1項に記載の撮像装置。
- 前記広角光学系は前記望遠光学系より広角であり、
前記望遠光学系は、光束を2回以上反射させる反射光学系を有する請求項1〜4のいずれか1項に記載の撮像装置。 - 前記第1画像と、前記光学ズーム倍率調整部が光学ズーム倍率を調整した後の第2画像または前記電子ズーム倍率調整部が電子ズーム倍率を調整した後の第2画像とを、選択的、重畳的、または並列的に表示装置に表示させる表示制御部をさらに備える請求項1〜5のいずれか1項に記載の撮像装置。
- 前記光学ズーム倍率調整部は、前記広角光学系の光学ズーム倍率を非接触型駆動手段により調整する請求項1〜6のいずれか1項に記載の撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014172534A JP2016048282A (ja) | 2014-08-27 | 2014-08-27 | 撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014172534A JP2016048282A (ja) | 2014-08-27 | 2014-08-27 | 撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016048282A true JP2016048282A (ja) | 2016-04-07 |
Family
ID=55649224
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014172534A Pending JP2016048282A (ja) | 2014-08-27 | 2014-08-27 | 撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016048282A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11346938B2 (en) | 2019-03-15 | 2022-05-31 | Msa Technology, Llc | Safety device for providing output to an individual associated with a hazardous environment |
CN115918103A (zh) * | 2020-06-02 | 2023-04-04 | Oppo广东移动通信有限公司 | 电子设备、控制电子设备的方法和计算机可读存储介质 |
WO2023093852A1 (zh) * | 2021-11-29 | 2023-06-01 | 维沃移动通信有限公司 | 像素结构、像素阵列、图像传感器及电子设备 |
-
2014
- 2014-08-27 JP JP2014172534A patent/JP2016048282A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11346938B2 (en) | 2019-03-15 | 2022-05-31 | Msa Technology, Llc | Safety device for providing output to an individual associated with a hazardous environment |
CN115918103A (zh) * | 2020-06-02 | 2023-04-04 | Oppo广东移动通信有限公司 | 电子设备、控制电子设备的方法和计算机可读存储介质 |
WO2023093852A1 (zh) * | 2021-11-29 | 2023-06-01 | 维沃移动通信有限公司 | 像素结构、像素阵列、图像传感器及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6027560B2 (ja) | 自動追尾撮像装置 | |
JP6641470B2 (ja) | ステレオカメラ及びステレオカメラの制御方法 | |
JP6302085B2 (ja) | 撮像装置及び対象物認識方法 | |
JP5572765B2 (ja) | 固体撮像素子、撮像装置、及び合焦制御方法 | |
US9106825B2 (en) | Image capture apparatus, image capture method and storage medium | |
US9160918B2 (en) | Focus control apparatus and method for performing focus control by phase difference detection, and image capturing apparatus | |
KR20170032227A (ko) | 복안 촬상 장치 | |
WO2016158618A1 (ja) | 撮像装置 | |
JPWO2013047111A1 (ja) | 撮像装置及び合焦用パラメータ値算出方法 | |
JP4823167B2 (ja) | 撮像装置 | |
JP2008177903A (ja) | 撮像装置 | |
JP2016046772A (ja) | 車載カメラ | |
JP4823168B2 (ja) | 撮像装置 | |
JP4858179B2 (ja) | 焦点検出装置および撮像装置 | |
CN104052920A (zh) | 焦点检测装置及其控制方法、以及摄像装置 | |
JP2016048282A (ja) | 撮像装置 | |
EP3340605A1 (en) | Imaging device, imaging method, program, and non-temporary recording medium | |
KR20160143138A (ko) | 카메라 및 그 제어 방법 | |
JP2016048825A (ja) | 撮像装置 | |
JP2016048824A (ja) | 追尾装置、追尾システム、及び表示装置 | |
US20200092489A1 (en) | Optical apparatus, control method, and non-transitory computer-readable storage medium | |
JP2016046771A (ja) | 撮像装置、撮像システム及び表示装置 | |
JP2016046774A (ja) | 撮像装置 | |
JP2016046773A (ja) | 撮像装置 | |
WO2020066341A1 (ja) | 合焦度検出装置、深度マップ生成装置、及び、電子機器 |