JP2010049152A - 焦点情報検出装置 - Google Patents

焦点情報検出装置 Download PDF

Info

Publication number
JP2010049152A
JP2010049152A JP2008215106A JP2008215106A JP2010049152A JP 2010049152 A JP2010049152 A JP 2010049152A JP 2008215106 A JP2008215106 A JP 2008215106A JP 2008215106 A JP2008215106 A JP 2008215106A JP 2010049152 A JP2010049152 A JP 2010049152A
Authority
JP
Japan
Prior art keywords
image
contrast
photoelectric conversion
conversion element
microlens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008215106A
Other languages
English (en)
Other versions
JP5256933B2 (ja
Inventor
Toru Iwane
透 岩根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2008215106A priority Critical patent/JP5256933B2/ja
Publication of JP2010049152A publication Critical patent/JP2010049152A/ja
Application granted granted Critical
Publication of JP5256933B2 publication Critical patent/JP5256933B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)

Abstract

【課題】1枚の撮像画像から撮像画像のあらゆる位置における撮影光学系の焦点情報を検出する。
【解決手段】複数のマイクロレンズを平面上に配列したマイクロレンズアレイ6を撮影光学系3の予定焦点面近傍に配置するとともに、複数の光電変換素子を平面上に配列した光電変換素子アレイ7をマイクロレンズアレイ6の背後に配置し、撮影光学系3を透過した被写体からの光束をマイクロレンズアレイ6を介して光電変換素子アレイ7で受光し、光電変換素子アレイ7により撮像した画像に基づいて撮影光学系3の焦点情報を検出する焦点情報検出装置であって、光電変換素子アレイ7による撮像画像に基づいて、予定焦点面近傍の複数の焦点面における画像を合成する画像合成手段8bと、画像合成手段8bによる各焦点面の合成画像からコントラストを抽出した画像を生成するコントラスト検出手段8cと、コントラスト検出手段8cによる各焦点面のコントラスト画像に基づいて、撮像画像の任意の位置の焦点位置を推定する焦点推定手段8dとを備える。
【選択図】図1

Description

本発明は結像光学系の焦点情報を検出する装置に関する。
マイクロレンズを二次元状に配列したマイクロレンズアレイと、光電変換素子を二次元状に配列した光電変換素子アレイとを用いて撮影光学系により結像された被写体像を撮像し、撮像画像の任意の奥行き位置に焦点の合った画像を合成するようにした画像合成カメラが知られている(例えば、非特許文献1参照)。
Light Field Photogragh with a Hand-held Plenoptic Camera,Stanford Tech Report CTSR 2005-02
しかしながら、上述した従来の画像合成カメラは、撮像画像の任意の奥行き位置に焦点の合った画像を合成するもので、撮像画像のあらゆる位置における撮影光学系の焦点情報を検出するものではない。
(1) 請求項1の発明は、複数のマイクロレンズを平面上に配列したマイクロレンズアレイを撮影光学系の予定焦点面近傍に配置するとともに、複数の光電変換素子を平面上に配列した光電変換素子アレイをマイクロレンズアレイの背後に配置し、撮影光学系を透過した被写体からの光束をマイクロレンズアレイを介して光電変換素子アレイで受光し、光電変換素子アレイにより撮像した画像に基づいて撮影光学系の焦点情報を検出する焦点情報検出装置であって、光電変換素子アレイによる撮像画像に基づいて、予定焦点面近傍の複数の焦点面における画像を合成する画像合成手段と、画像合成手段による各焦点面の合成画像からコントラストを抽出した画像を生成するコントラスト検出手段と、コントラスト検出手段による各焦点面のコントラスト画像に基づいて、撮像画像の任意の位置の焦点位置を推定する焦点推定手段とを備える。
(2) 請求項2の発明は、請求項1に記載の焦点情報検出装置において、焦点推定手段は、各焦点面のコントラスト画像から撮像画像の任意の位置における離散的なコントラストを検出し、これらの離散的なコントラストを補間してコントラストが極値を示す焦点面の位置を撮像画像の任意の位置における焦点位置とする。
(3) 請求項3の発明は、請求項1または請求項2に記載の焦点情報検出装置において、コントラスト検出手段は、合成画像にラプラシアン・フィルター処理を施してコントラスト画像を生成する。
(4) 請求項4の発明は、請求項1〜3のいずれか一項に記載の焦点情報検出装置において、画像合成手段は、マイクロレンズアレイ上のマイクロレンズごとに、注目するマイクロレンズ直下の光電変換素子の出力と、当該マイクロレンズの周辺の各マイクロレンズに対応する偏心位置の光電変換素子の出力とを積算し、積算値を当該マイクロレンズ位置の画素出力とする演算をマイクロレンズアレイ上のすべてのマイクロレンズに対して行い、合成画像を生成する。
本発明によれば、1枚の撮像画像から撮像画像のあらゆる位置における撮影光学系の焦点情報を検出することができる。
本発明の焦点検出装置を一眼レフデジタルカメラに適用した一実施の形態を説明する。図1は一実施の形態のカメラの構成を示す図であり、この図により一実施の形態の構成について説明する。なお、図1では本発明に直接関係のあるカメラの装置および機器のみを図示する。一実施の形態のカメラ1は、カメラボディ2に交換レンズ3が装着される。
カメラボディ2は、ハーフミラー4、撮像素子5、マイクロレンズアレイ6、光電変換素子アレイ7、ボディ駆動制御装置8、メモリ9などを備えている。ハーフミラー4は半透過鏡であり、交換レンズ3を透過した被写体からの光束の一部はハーフミラー4を透過して撮像素子5へ導かれるとともに、被写体からの光束の他の一部はハーフミラー4を反射してマイクロレンズアレイ6および光電変換素子アレイ7へ導かれる。撮像素子5は交換レンズ3により結像された被写体像を撮像する。この撮像素子5による撮像動作については本願発明と直接関係がないので説明を省略する。
マイクロレンズアレイ6は、微小なマイクロレンズを平面状に稠密に配列したものである。また、光電変換素子アレイ7は、微小な光電変換素子を平面上に稠密に配列したエリアセンサーである。図2は、マイクロレンズアレイ6と光電変換素子アレイ7の一部を拡大した正面図である。マイクロレンズの配列は図2に示すようなハニカム状配列(六方稠密配列)であってもよいし、正方配列であってもよい。マイクロレンズアレイ6のレンズ頂点面は撮像素子5の撮像面(交換レンズ3の予定焦点面)とほぼ共役な位置関係になっており、交換レンズ3を透過しハーフミラー4により反射された被写体からの光束の一部は、マイクロレンズアレイ6を透過して光電変換素子アレイ7へ導かれ、光電変換素子アレイ7により被写体像が撮像される。光電変換素子アレイ7により被写体像を観察することによって、撮像素子5の光学状態、すなわち交換レンズ3の焦点調節状態をモニターすることができる。
図2において、光電変換素子アレイ7の各格子は光電変換素子すなわち画素であり、平面上に正方配列された画素の上にマイクロレンズアレイ6の各マイクロレンズの外径が投影されて描かれている。マイクロレンズアレイ6の各マイクロレンズは、光電変換素子アレイ7の複数の光電変換素子すなわち画素を被覆する構造になっている。光電変換素子アレイ7の受光面は、マイクロレンズアレイ6のマイクロレンズの焦点位置に配置されている。
図1において、ボディ駆動制御装置8はマイクロコンピューターとメモリやA/Dコンバーターなどのコンピューター周辺部品から構成され、カメラ1の種々の演算制御やシーケンス制御を実行する。ボディ駆動制御装置8は後述するレンズ駆動制御装置13と通信を行い、フォーカシングレンズ11のレンズ駆動量や絞り12の開口量などの情報を送信するとともに、交換レンズ3の焦点距離や撮影距離などの情報を受信する。
ボディ駆動制御装置8には、マイクロコンピューターのソフトウエア形態により画像処理部8a、画像合成部8b、コントラスト検出部8cおよび極値検出部8dが構成されている。画像処理部8aは、光電変換素子7の各画素出力を入力して撮像画像に各種の処理を施す。画像合成部8bは、マイクロレンズアレイ6のレンズ頂点面を中心とする交換レンズ3の光軸に直交する複数の面において被写体像を合成する。コントラスト検出部8cは、画像合成部8bにより合成された複数の被写体像のそれぞれにおいてコントラストを検出する。極値検出部8dは、撮像画像上の任意の位置におけるコントラストの極値、すなわち合焦位置を検出する。なお、画像合成部8b、コントラスト検出部8cおよび極値検出部8dの詳細については後述する。
メモリ9は種々のデータや画像を記憶する。光軸データメモリ9aは、マイクロレンズアレイ6を構成する各マイクロレンズの光軸の、光電変換素子アレイ7上における位置データを記憶するメモリである。このマイクロレンズの光軸位置データは、光電変換素子アレイ7の画素位置の座標を小数レベルまで展開したものである。つまり、画素単位よりも小さい値まで光軸位置を正確に表したものである。コントラストデータメモリ9bは、詳細を後述するが、各焦点面のコントラスト抽出画像を記憶するメモリである。
交換レンズ3は、フォーカシングレンズ11、絞り12、レンズ駆動制御装置13などを備えている。レンズ駆動制御装置13はマイクロコンピューターとメモリなどの周辺部品を備え、フォーカシングレンズ11の焦点調節制御、絞り12の開口制御などを行うとともに、ボディ駆動制御装置8と通信を行い、交換レンズ3の焦点距離や撮影距離などの情報を送信するとともに、フォーカシングレンズ11のレンズ駆動量や絞り12の開口量などの情報を受信する。
《画像合成》
次に、撮像画像に基づいて任意の焦点面における画像を合成する方法を説明する。交換レンズ3は撮像素子5の撮像面(予定焦点面)に被写体像を結像する。この被写体像の内、例えば人物の顔が撮像素子5の撮像面において合焦状態にあれば、画像中の人物の顔にピントが合っている。このとき、撮像素子5の撮像面(予定焦点面)と共役な位置関係にあるマイクロレンズアレイ6のレンズ頂点面においても、画像中の人物の顔にピントが合っていることになる。もし、画像中の人物の顔が撮像素子5の撮像面の前方または後方において合焦状態にあれば、人物の顔はいわゆる前ピンまたは後ピンの状態にあり、マイクロレンズアレイ6側においてはレンズ頂点面の前側(ハーフミラー4側)または後側に人物の顔にピントの合った面、すなわち焦点面があることになる。
マイクロレンズアレイ6のレンズ頂点面またはその前後の、交換レンズ3の光軸に直交するいずれかの面において、画像中の人物の顔部分のピントが合っている場合には、その面において人物の顔部分のコントラストが極値を示していることになる。このことから、マイクロレンズアレイ6のレンズ頂点面を中心としてその前後に、交換レンズ3の光軸に沿って等間隔に複数の面(以下、焦点面という)を設定し、光電変換素子7による1枚の撮像画像に基づいて上記各焦点面における被写体像を合成により生成するとともに、各焦点面の合成画像のコントラストを検出し、複数の焦点面の合成画像の中から画像中の人物の顔部分のコントラストが極値を示す焦点面を抽出すれば、その焦点面は人物の顔部分にピントが合った面ということができる。さらに、人物の顔部分にピントがあった焦点面とマイクロレンズアレイ6のレンズ頂点面(予定焦点面)との間の距離がデフォーカス量となる。
図3は、一実施の形態の画像合成法を説明するためのマイクロレンズアレイ6と光電変換素子アレイ7の部分断面図である。マイクロレンズアレイ6のレンズ頂点面から交換レンズ3の光軸に沿って距離x離れた焦点面における像は、以下のようにして合成することができる。ここで、x=0がレンズ頂点面を、x>0がレンズ頂点面より前側(ハーフミラー4側)の面を、x<0がレンズ頂点面より後側の面をそれぞれ表すものとする。
図3において、レンズ頂点面からハーフミラー4側の距離x1の位置に焦点面S1があり、距離x2(<x1)の位置に焦点面S2があるとする。さらに、マイクロレンズアレイ6上のマイクロレンズ6bとマイクロレンズ6dに注目したとき、マイクロレンズ6bの光軸が焦点面S1と交わる点をP1とし、マイクロレンズ6dの光軸が焦点面S2と交わる点をP2とする。
焦点面S1上の点P1を通りマイクロレンズアレイ6を介して光電変換素子アレイ7へ向かう光束は、直下のマイクロレンズ6bの光軸に沿って光電変換素子7bへ導かれるとともに、隣接するマイクロレンズ6a、6cにおいては、これらのレンズ6a、6cの光軸から距離y1だけ偏心した位置の光電変換素子7a、7dへ導かれる。一方、焦点面S2上の点P2を通りマイクロレンズアレイ6を介して光電変換素子アレイ7へ向かう光束は、直下のマイクロレンズ6dの光軸に沿って光電変換素子7eへ導かれるとともに、隣接するマイクロレンズ6c、6eにおいては、これらのレンズ6c、6eの光軸から距離y2だけ偏心した位置の光電変換素子7c、7fへ導かれる。ここで、x2<x1であるから、y2>y1の関係がある。
マイクロレンズアレイ6上のマイクロレンズどうしの配置間隔をdとし、マイクロレンズアレイ6のレンズ頂点面から光電変換素子アレイ7の受光面までの距離、ないしはマイクロレンズの焦点距離をfとすると、レンズ頂点面からの距離x、偏心量yの間には次のような関係がある。
x/(f・d)=1/y ・・・(1)
図3では、注目するマイクロレンズ6bに直接隣接するマイクロレンズ6aと6c、および注目するマイクロレンズ6dに直接隣接するマイクロレンズ6cと6eについてのみ説明したが、注目するマイクロレンズ6b、6dを中心とする周辺のすべてのマイクロレンズに対して上記(1)式に示す関係が成立する。しかし、偏心量yはマイクロレンズが被覆する範囲を超えることができないので、y<d/2とすると、上記(1)式は、
Abs(x)<2f ・・・(2)
の範囲で成立することになる。なお、(2)式において、Abs(x)はxの絶対値を返す関数である。
ここで、交換レンズ3により焦点面S1上に結像された像は、マイクロレンズアレイ6により光電変換素子アレイ7の受光面に再結像される。マイクロレンズ6bに注目したとき、その光軸上にある点P1の像は、マイクロレンズ6bにより直下の光電変換素子7bへ投影されるとともに、隣接するマイクロレンズ6aと6cによりそれらの光軸から偏心量y1の位置にある光電変換素子7aと7dへそれぞれ投影される。図示を省略するが、注目するマイクロレンズ6bの周りの直接および間接的に隣接するすべてのマイクロレンズによって、偏心量y1がd/2より小さい範囲内にあるすべての光電変換素子へ投影される。
これらの光電変換素子の出力をすべて加算し、注目するマイクロレンズ6bの位置における画素出力とする。この処理を、マイクロレンズアレイ6上のマイクロレンズ6bを含むすべてのマイクロレンズに対して実行し、各マイクロレンズ位置における画素出力として平面上に展開すれば像を合成することができ、この合成像は交換レンズ3により焦点面S1上に結像された像に相当する。
同様に、交換レンズ3により焦点面S2上に結像された像は、マイクロレンズアレイ6により光電変換素子アレイ7の受光面に再結像される。マイクロレンズ6dに注目したとき、その光軸上にある点P2の像は、マイクロレンズ6dにより直下の光電変換素子7eへ投影されるとともに、隣接するマイクロレンズ6cと6eによりそれらの光軸から偏心量y2の位置にある光電変換素子7cと7fへそれぞれ投影される。図示を省略するが、注目するマイクロレンズ6dの周りの直接および間接的に隣接するすべてのマイクロレンズによって、偏心量y2がd/2より小さい範囲内にあるすべての光電変換素子へ投影される。
これらの光電変換素子の出力をすべて加算し、注目するマイクロレンズ6dの位置における画素出力とする。この処理を、マイクロレンズアレイ6上のマイクロレンズ6dを含むすべてのマイクロレンズに対して実行し、各マイクロレンズ位置における画素出力として平面上に展開すれば像を合成することができ、この合成像は交換レンズ3により焦点面S2上に結像された像に相当する。
なお、x<0の焦点面における像も上記と同様な合成方法により像を得ることができる。また、焦点面Sがレンズ頂点面にある場合、つまりレンズ頂点面から焦点面までの距離x=0の場合には、焦点面S上の点Pを通り光電変換素子アレイ7へ向かう光束は、点Pの直下にあるマイクロレンズのみを透過することになり、当該マイクロレンズの直下にある光電変換素子の出力のみが得られる。つまり、この場合には、当該マイクロレンズに隣接するすべてのマイクロレンズの光軸から偏心量yの位置にある光電変換素子の出力を加算して像を合成することはできない。この場合は、各マイクロレンズ直下の各光電変換素子の出力を画素出力として平面上に展開した像が得られる。
以上説明した画像合成方法を要約すると、マイクロレンズアレイ6のレンズ頂点面から距離xだけ離れた焦点面Sにおける交換レンズ3の像は、マイクロレンズごとにマイクロレンズ直下の光電変換素子出力と周辺のマイクロレンズによる偏心位置((1)式により算出)の光電変換素子出力を積算して画素出力とし、これらの画素出力をマイクロレンズ位置の画素出力として平面上に展開することによって合成することができる。
焦点面Sは、マイクロレンズアレイ6のレンズ頂点面を基準(x=0)として所定間隔mごとに(2n+1)面設定する。
−nm, (−n+1)m,・・,−1m,0,+1m,・・,(n−1)m,nm ・・・(3)
なお、焦点面Sの間隔mと面数についてはカメラ1および交換レンズ3の仕様、焦点情報の検出精度等に基づいて適宜決定すればよい。
《コントラスト検出》
次に、各焦点面の合成画像に対してフィルター処理を施し、コントラストを抽出した画像を生成する。この一実施の形態では、各焦点面の合成画像に図4(a)に示すようなラプラシアン・フィルター処理を施してコントラスト抽出画像を得る。図4(a)に示すラプラシアン・フィルターはコントラストを8方向で捉えるものであるが、例えばコントラストを4方向で捉える図4(b)に示すラプラシアン・フィルターを用いてもよい。各焦点面のコントラスト抽出画像はコントラストデータメモリ9bに格納される。
図5(a)は焦点面が異なる一連の5枚のコントラスト抽出画像を示す。これらの画像は、光電変換素子アレイ7により撮像された1枚の画像に基づいて生成されたものであるが、同じものを映したものでありながら近点から遠点に向かうある焦点面におけるいわゆるピントの状態を表していることになる。図5(b)は、これらのコントラスト抽出画像の同一座標P0の画素のコントラスト変化を示す。
なお、図5(b)では、コントラスト変化を便宜的に曲線で表しているが、同一画素のコントラストは各焦点面ごとに離散的に得られる。このコントラスト変化により、位置P0の画素のコントラストがどの焦点面において極値を示すかを知ることができる。コントラストはガウシアンで変化すると考えられることから、コントラスト抽出画像の組から得られる離散的なコントラスト変化を補完し、その頂点を予測すれば精密にコントラストの極値の位置を知ることができる。こうして求められたコントラストの極値の位置は、その画素座標における合焦位置を表している。
《コントラストの極値検出》
一連のコントラスト抽出画像の同一画素におけるコントラストを比較し、最もコントラストが高い焦点面の画像を選択し、さらにこの焦点面の前後の焦点面における同一画素のコントラストを検出する。これらの3つの焦点面の同一画素のコントラストに基づいて、その画素のコントラストが極値となる正確な焦点面位置を推定する。
図6は異なる焦点面のある注目画素におけるコントラスト変化の一例を示し、横軸が焦点面の位置を、縦軸がコントラストをそれぞれ表す。異なる焦点面の注目する画素におけるコントラスト変化は、図に示すようにガウス形状の曲線になる。なお、図6では注目画素のコントラスト変化を便宜的に曲線で表しているが、実際には各焦点面ごとに離散的に得られる。各焦点面を示すy軸と平行な直線(便宜的にそれぞれx=S1、x=S0、x=S2とする)とコントラスト変化を示す曲線との交点が各焦点面におけるコントラストを表す。
図6において、焦点面S0の注目画素において最大のコントラストq0が得られ、その前後の焦点面S1とS2の注目画素においてコントラストq1とq2(q1>q2)が得られたとすると、三点内挿の手法によりコントラストの極値を示す焦点位置を検出する。まず、図中の座標(S0,q0)と座標(S2,q2)を結ぶ直線L1を描き、この直線の傾きkを求める。次に、図中の座標(S1,q1)を通り、かつ傾き(−k)を持つ直線L2を描く。これら2つの直線L1とL2の交点を求め、この交点の横軸座標をコントラストの極値を示す焦点位置とする。この焦点位置は、注目画素の合焦位置すなわちピント位置である。
以上のコントラストの極値検出処理を一連のコントラスト抽出画像におけるすべての画素に対して実行すれば、元になる撮像画像全体の焦点状態を、焦点位置曲面として表すことができる。
ただし、実際にはコントラストを持つような被写体は画像全体にあまねく存在している訳ではなく、画素によってはすべての焦点面にも感知し得るコントラストが存在しないこともあり得る。そこで、注目画素における最大のコントラストが所定の値より低い場合には、上述した内挿処理を行わず、その近傍で検出された焦点位置に基づいてその画素に対する焦点位置を推定する。例えば画像の一部の青空の部分にはコントラストはないが、この部分については焦点位置が特定できるので、ほぼ同一焦点を持つ閉曲面を構成して領域を被覆するような方法により、その焦点位置を決定することができる。
上述した実施の形態とその変形例によれば以下のような作用効果を奏することができる。まず、複数のマイクロレンズを平面上に配列したマイクロレンズアレイ6を交換レンズ3の予定焦点面近傍に配置するとともに、複数の光電変換素子を平面上に配列した光電変換素子アレイ7をマイクロレンズアレイ6の背後に配置し、交換レンズ3を透過した被写体からの光束をマイクロレンズアレイ6を介して光電変換素子アレイ7で受光し、光電変換素子アレイ7により撮像した画像に基づいて交換レンズ3の焦点情報を検出する焦点情報検出装置において、光電変換素子アレイ7による撮像画像に基づいて、予定焦点面近傍の複数の焦点面における画像を合成する画像合成部8bと、画像合成部8bによる各焦点面の合成画像からコントラストを抽出した画像を生成するコントラスト検出部8cと、コントラスト検出部8cによる各焦点面のコントラスト画像に基づいて、撮像画像の任意の位置の焦点位置を推定する極値検出部8dとを備えるようにしたので、1枚の撮像画像から撮像画像のあらゆる位置における交換レンズ3の焦点情報を検出することができる。特に、撮影画面内の数十点の焦点検出位置において瞳分割位相差検出方式により焦点検出を行う従来の方法では、焦点検出光学系の複雑化あるいは相関演算等のマイクロコンピューター処理の増大により、実際にはすべての焦点検出位置において同時に焦点検出を行うのは困難であり、検出結果を得る焦点検出位置は数点に限定されるが、上述した一実施の形態によれば、1枚の撮像画像を処理することによって撮影画面内のあらゆる位置における焦点検出が可能となる。
また、一実施の形態によれば、各焦点面のコントラスト画像から撮像画像の任意の位置における離散的なコントラストを検出し、これらの離散的なコントラストを補間してコントラストが極値を示す焦点面の位置を撮像画像の任意の位置における焦点位置とするようにしたので、上記効果に加え、画素単位で焦点位置を正確に検出することができる。
さらに、一実施の形態によれば、合成画像にラプラシアン・フィルター処理を施してコントラスト画像を生成するようにしたので、各焦点面のコントラスト画像を正確に生成することができる。
さらにまた、一実施の形態によれば、マイクロレンズアレイ6上のマイクロレンズごとに、注目するマイクロレンズ直下の光電変換素子の出力と、当該マイクロレンズの周辺の各マイクロレンズに対応する偏心位置の光電変換素子の出力とを積算し、積算値を当該マイクロレンズ位置の画素出力とする演算を、マイクロレンズアレイ6上のすべてのマイクロレンズに対して行い、合成画像を生成するようにしたので、1枚の撮像画像から任意の焦点面の合成画像を容易に生成することができる。
一実施の形態の構成を示す図 マイクロレンズアレイと光電変換素子アレイの一部を拡大した正面図 一実施の形態の画像合成法を説明するためのマイクロレンズアレイと光電変換素子アレイの部分断面図 ラプラシアンフィルターの一例を示す図 焦点面が異なる一連のコントラスト抽出画像と、それらの画像上の同一画素のコントラストを変化を示す図 コントラストの極値を求める方法を説明するための図
符号の説明
3;交換レンズ、6;マイクロレンズアレイ、7;光電変換素子アレイ、8;ボディ駆動制御装置、8b;画像合成部、8c;コントラスト検出部、8d;極値検出部

Claims (4)

  1. 複数のマイクロレンズを平面上に配列したマイクロレンズアレイを撮影光学系の予定焦点面近傍に配置するとともに、複数の光電変換素子を平面上に配列した光電変換素子アレイを前記マイクロレンズアレイの背後に配置し、前記撮影光学系を透過した被写体からの光束を前記マイクロレンズアレイを介して前記光電変換素子アレイで受光し、前記光電変換素子アレイにより撮像した画像に基づいて前記撮影光学系の焦点情報を検出する焦点情報検出装置であって、
    前記光電変換素子アレイによる前記撮像画像に基づいて、前記予定焦点面近傍の複数の焦点面における画像を合成する画像合成手段と、
    前記画像合成手段による各焦点面の前記合成画像からコントラストを抽出した画像を生成するコントラスト検出手段と、
    前記コントラスト検出手段による各焦点面の前記コントラスト画像に基づいて、前記撮像画像の任意の位置の焦点位置を推定する焦点推定手段とを備えることを特徴とする焦点情報検出装置。
  2. 請求項1に記載の焦点情報検出装置において、
    前記焦点推定手段は、前記各焦点面の前記コントラスト画像から前記撮像画像の任意の位置における離散的なコントラストを検出し、これらの離散的なコントラストを補間してコントラストが極値を示す焦点面の位置を前記撮像画像の任意の位置における焦点位置とすることを特徴とする焦点情報検出装置。
  3. 請求項1または請求項2に記載の焦点情報検出装置において、
    前記コントラスト検出手段は、前記合成画像にラプラシアン・フィルター処理を施して前記コントラスト画像を生成することを特徴とする焦点情報検出装置。
  4. 請求項1〜3のいずれか一項に記載の焦点情報検出装置において、
    前記画像合成手段は、前記マイクロレンズアレイ上のマイクロレンズごとに、注目するマイクロレンズ直下の光電変換素子の出力と、当該マイクロレンズの周辺の各マイクロレンズに対応する偏心位置の光電変換素子の出力とを積算し、積算値を当該マイクロレンズ位置の画素出力とする演算を前記マイクロレンズアレイ上のすべてのマイクロレンズに対して行い、前記合成画像を生成することを特徴とする焦点情報検出装置。
JP2008215106A 2008-08-25 2008-08-25 焦点情報検出装置 Expired - Fee Related JP5256933B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008215106A JP5256933B2 (ja) 2008-08-25 2008-08-25 焦点情報検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008215106A JP5256933B2 (ja) 2008-08-25 2008-08-25 焦点情報検出装置

Publications (2)

Publication Number Publication Date
JP2010049152A true JP2010049152A (ja) 2010-03-04
JP5256933B2 JP5256933B2 (ja) 2013-08-07

Family

ID=42066264

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008215106A Expired - Fee Related JP5256933B2 (ja) 2008-08-25 2008-08-25 焦点情報検出装置

Country Status (1)

Country Link
JP (1) JP5256933B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011259218A (ja) * 2010-06-09 2011-12-22 Nikon Corp 撮像装置
JP2013128217A (ja) * 2011-12-19 2013-06-27 Canon Inc 撮像装置
JP2014029429A (ja) * 2012-07-31 2014-02-13 Canon Inc 撮像装置、制御方法、及びプログラム
JP2014153890A (ja) * 2013-02-07 2014-08-25 Canon Inc 画像処理装置、撮像装置、制御方法、及びプログラム
JP2015011049A (ja) * 2013-06-26 2015-01-19 富士通セミコンダクター株式会社 撮像装置、選択方法、および選択プログラム
EP3136711A1 (de) * 2011-05-17 2017-03-01 Werth Messtechnik GmbH Verfahren zur erzeugung und auswertung eines bilds
JP2017157239A (ja) * 2017-06-06 2017-09-07 キヤノン株式会社 画像処理装置、撮像装置、制御方法、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007004471A (ja) * 2005-06-23 2007-01-11 Nikon Corp 画像合成方法及び撮像装置
JP2008046556A (ja) * 2006-08-21 2008-02-28 Nikon Corp カメラ
JP2008098836A (ja) * 2006-10-10 2008-04-24 Samsung Techwin Co Ltd 撮像装置および撮像方法
JP2008527944A (ja) * 2005-01-18 2008-07-24 リアデン リミテッド ライアビリティ カンパニー 符号化レンズ結像技術を用いて静止画像及び映像を取り込むための装置及び方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008527944A (ja) * 2005-01-18 2008-07-24 リアデン リミテッド ライアビリティ カンパニー 符号化レンズ結像技術を用いて静止画像及び映像を取り込むための装置及び方法
JP2007004471A (ja) * 2005-06-23 2007-01-11 Nikon Corp 画像合成方法及び撮像装置
JP2008046556A (ja) * 2006-08-21 2008-02-28 Nikon Corp カメラ
JP2008098836A (ja) * 2006-10-10 2008-04-24 Samsung Techwin Co Ltd 撮像装置および撮像方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011259218A (ja) * 2010-06-09 2011-12-22 Nikon Corp 撮像装置
EP3136711A1 (de) * 2011-05-17 2017-03-01 Werth Messtechnik GmbH Verfahren zur erzeugung und auswertung eines bilds
JP2013128217A (ja) * 2011-12-19 2013-06-27 Canon Inc 撮像装置
JP2014029429A (ja) * 2012-07-31 2014-02-13 Canon Inc 撮像装置、制御方法、及びプログラム
JP2014153890A (ja) * 2013-02-07 2014-08-25 Canon Inc 画像処理装置、撮像装置、制御方法、及びプログラム
US9615016B2 (en) 2013-02-07 2017-04-04 Canon Kabushiki Kaisha Image processing apparatus, image capturing apparatus, control method and recording medium, where each subject is focused in a reconstructed image
JP2015011049A (ja) * 2013-06-26 2015-01-19 富士通セミコンダクター株式会社 撮像装置、選択方法、および選択プログラム
JP2017157239A (ja) * 2017-06-06 2017-09-07 キヤノン株式会社 画像処理装置、撮像装置、制御方法、及びプログラム

Also Published As

Publication number Publication date
JP5256933B2 (ja) 2013-08-07

Similar Documents

Publication Publication Date Title
US9503633B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
JP6112824B2 (ja) 画像処理方法および装置、プログラム。
JP5173665B2 (ja) 画像撮影装置およびその距離演算方法と合焦画像取得方法
JP5256933B2 (ja) 焦点情報検出装置
JP6223169B2 (ja) 情報処理装置、情報処理方法およびプログラム
TW201033938A (en) Reference image techniques for three-dimensional sensing
JP5938281B2 (ja) 撮像装置およびその制御方法ならびにプログラム
JP6047025B2 (ja) 撮像装置及びその制御方法
JP2009175680A (ja) 受光装置、焦点検出装置および撮像装置
JP5263310B2 (ja) 画像生成装置、撮像装置、画像生成方法
WO2019124040A1 (ja) 測距カメラ
JP2014153890A (ja) 画像処理装置、撮像装置、制御方法、及びプログラム
JP2014157425A (ja) 撮像装置及びその制御方法
JP2015201722A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体
JP4710983B2 (ja) 画像合成装置、撮像装置、画像合成方法
JP7121269B2 (ja) 測距カメラ
JP2012123317A5 (ja)
WO2018061876A1 (ja) 撮像装置
JP2020193820A (ja) 計測装置、撮像装置、制御方法及びプログラム
JP5743769B2 (ja) 画像処理装置および画像処理方法
JP2010109921A (ja) 画像合成装置
JP2018074362A (ja) 画像処理装置、画像処理方法およびプログラム
JP2017207695A (ja) 光学装置
JP5488221B2 (ja) 撮像装置
JP7328589B2 (ja) 測距カメラ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110825

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120601

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120612

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120809

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130326

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130408

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160502

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5256933

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees