JP2017049412A - 撮像装置、合焦位置検出装置、合焦位置検出方法及び合焦位置検出用コンピュータプログラム - Google Patents

撮像装置、合焦位置検出装置、合焦位置検出方法及び合焦位置検出用コンピュータプログラム Download PDF

Info

Publication number
JP2017049412A
JP2017049412A JP2015172038A JP2015172038A JP2017049412A JP 2017049412 A JP2017049412 A JP 2017049412A JP 2015172038 A JP2015172038 A JP 2015172038A JP 2015172038 A JP2015172038 A JP 2015172038A JP 2017049412 A JP2017049412 A JP 2017049412A
Authority
JP
Japan
Prior art keywords
shift amount
image
amount calculation
subject
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015172038A
Other languages
English (en)
Inventor
恵 近野
Megumi Konno
恵 近野
昌平 中潟
Shohei Nakagata
昌平 中潟
田中 竜太
Ryuta Tanaka
竜太 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2015172038A priority Critical patent/JP2017049412A/ja
Priority to US15/242,705 priority patent/US20170064189A1/en
Publication of JP2017049412A publication Critical patent/JP2017049412A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

【課題】位相差検出方式を用いて合焦位置を検出する際の検出精度を向上できる合焦位置検出装置を提供する。【解決手段】合焦位置検出装置は、撮像部2のイメージセンサ21に設定した測定エリア内の各シフト量算出エリアについて、複数の第1の画素により生成される第1のサブ画像と複数の第2の画素により生成される第2のサブ画像間の局所シフト量及びその信頼度を算出し、その信頼度を、そのシフト量算出エリアにおける前記被写体の像に含まれる、隣接する二つの第1の画素間の間隔または隣接する二つの第2の画素間の間隔よりも微細な成分の含有度に基づいて補正する。そしてこの合焦位置検出装置は、補正された信頼度が高いほど、そのシフト量算出エリアの局所シフト量の影響が大きくなるように、撮像部2の光学系22による合焦位置とイメージセンサ21間の距離を表す代表値を算出する。【選択図】図4

Description

本発明は、例えば、被写体を撮影して得られた画像に基づいてその被写体についての合焦位置を検出する合焦位置検出装置、合焦位置検出方法及び合焦位置検出用コンピュータプログラムならびにそのような合焦位置検出装置を利用する撮像装置に関する。
従来より、デジタルカメラあるいはビデオカメラなど、被写体を撮影する装置には、シャープな被写体の画像を生成するために、被写体までの距離を自動的に測定し、その測定結果に基づいて被写体に合焦する技術(いわゆるオートフォーカス)が実装されている。
そのようなオートフォーカス(Auto Focus, AF)方式のうち、撮像光学系を通った光束を利用する方式の一例として、位相差検出方式が知られている。位相差検出方式では、被写体から発して撮像光学系を通った光束が二つに分割され、その二つの光束のそれぞれによるイメージセンサ上の被写体の像の位置間の間隔により、合焦位置からのイメージセンサの位置ずれ量が求められる。そしてその二つの光束のそれぞれによる、被写体の像の位置が一致するように、撮像光学系の焦点位置が調節される。この位相差検出方式では、例えば、イメージセンサ上に、位相差検出方式による合焦位置の検出が可能なエリアが設定される。そしてそのエリアに含まれる、一列に並んだ複数の固体撮像素子のそれぞれについて、集光用のマイクロレンズの像面側に位置するその固体撮像素子の受光面のうち、固体撮像素子の整列方向と直交する半分がマスクされることで、一方の光束に相当する被写体の像が得られる。また、そのエリアに含まれる、他の一列に並んだ複数の固体撮像素子のそれぞれについて、集光用のマイクロレンズの像面側に位置するその固体撮像素子の受光面のうち、固体撮像素子の整列方向と直交する他の半分がマスクされることで、他方の光束に相当する被写体の像が得られる。
そのようなエリアをイメージセンサ上に複数設けることで、イメージセンサの複数の箇所で位相差検出方式によりAFを行えるようにする技術が提案されている(例えば、特許文献1を参照)。特許文献1に開示された技術では、焦点検出視野ごとに、一対の物体像の一致度、物体像のエッジ数、物体像のシャープネス及び物体像の明暗比のうちの少なくとも3つをパラメータとする評価値に基づいて、焦点調節に用いる特定焦点検出視野を選択する。
特開2007−52072号公報
位相差検出方式による焦点検出が可能なエリア(以下、便宜上、AFエリアと呼ぶ)において、位相差検出用の画像の生成に利用される、受光面の一部がマスクされた画素(以下、便宜上、位相差画素と呼ぶ)が離散的に配置されることがある。これは、表示用の画像において、AFエリアの画質が劣化することを抑制するためである。このような場合、隣接する二つの位相差画素よりも被写体の像のエッジの幅が狭くなるほど、エッジが鮮鋭になると、位相差検出用の画像では、被写体の像のエッジを正確に評価することが困難となる。そのため、AFエリアにおける、焦点検出の結果の信頼性を正確に評価することが困難となり、その結果として、焦点検出の精度が低下することがある。
一つの側面では、本発明は、位相差検出方式を用いて合焦位置を検出する際の検出精度を向上できる合焦位置検出装置及び撮像装置を提供することを目的とする。
一つの実施形態によれば、撮像装置が提供される。この撮像装置は、像面位相差検出方式で合焦位置を算出するための位相差を検出する位相差検出部が受光面内の複数個所に配置された撮像素子を備え、焦点位置を移動可能な光学系を介して撮像素子の受光面に入射される光により被写体を撮像する撮像部と、複数の位相差検出部の内の第1の位相差検出部と第2の位相差検出部間の画素値から算出した周波数値が所定の値以上となる場合は、第1の位相差検出部と第2の位相差検出部の位相差の寄与度を下げて複数の位相差検出部によって検出された位相差に基づいて合焦位置を算出する算出部とを含む。
他の実施形態によれば、合焦位置検出装置が提供される。この合焦位置検出装置は、画像を生成するイメージセンサと、光学系とを有する撮像部におけるイメージセンサ上に設定される測定エリア内に含まれる複数のシフト量算出エリアを特定し、複数のシフト量算出エリアのそれぞれは、シフト量算出エリアに写る被写体を表す第1のサブ画像を生成する、複数の第1の画素と、シフト量算出エリアに写る被写体を表す第2のサブ画像を生成する、複数の第2の画素とを有し、第1のサブ画像上の被写体と第2のサブ画像上の被写体間のシフト量が、光学系による被写体についての合焦位置とイメージセンサ間の距離に応じて変化するシフト量算出エリア特定部と、複数のシフト量算出エリアのそれぞれについて、第1のサブ画像上の被写体と第2のサブ画像上の被写体とが最も一致するときの第1のサブ画像に対する第2のサブ画像の局所シフト量と、局所シフト量の確からしさを表す信頼度とを算出するシフト量算出部と、複数のシフト量算出エリアのそれぞれについて、そのシフト量算出エリアにおける被写体の像に含まれる、隣接する二つの第1の画素間の間隔または隣接する二つの第2の画素間の間隔よりも微細な成分の含有度を算出する含有度算出部と、複数のシフト量算出エリアのそれぞれについて、そのシフト量算出エリアについての含有度に基づいて、シフト量算出エリアの信頼度を補正する信頼度補正部と、複数のシフト量算出エリアのそれぞれの補正された信頼度が高いほど、光学系による合焦位置とイメージセンサ間の距離を表す代表値における、そのシフト量算出エリアの局所シフト量の寄与度が大きくなるように、代表値を算出する代表値算出部とを有する。
位相差検出方式を用いて合焦位置を検出する際の検出精度を向上できる。
合焦位置検出装置が実装された撮像装置の一例であるデジタルカメラの概略構成図である。 イメージセンサ上に設けられるAFエリアの一例を示す図である。 図2に示されるAFエリア内の二つの画素列によりそれぞれ生成されるサブ画像の一例を示す図である。 制御部の機能ブロック図である。 測定エリアとシフト量算出エリアの関係の一例を示す図である。 (a)及び(b)は、それぞれ、等角直線フィッティングの原理を示す図である。 (a)は、位相差画素の配置の一例を示す図である。(b)及び(c)は、それぞれ、位相差画素間隔と、左画像及び右画像におけるエッジの関係の一例を示す図である。 含有度算出の説明図である。 合焦位置検出処理の動作フローチャートである。 第2の実施形態による含有度算出の説明図である。 (a)及び(b)は、それぞれ、変形例による、位相差画像生成用のイメージセンサと、表示用画像生成用のイメージセンサとの関係を示す図である。
図を参照しつつ、合焦位置検出装置について説明する。この合焦位置検出装置は、イメージセンサ上の測定対象エリアに含まれる、複数のAFエリアのそれぞれにおける二つの被写体の像間のシフト量及びその信頼度を算出し、信頼度でシフト量を加重平均することで、測定対象エリア全体についての合焦位置を求める。その際、この合焦位置検出装置は、各AFエリアについて、被写体の像に含まれる、シフト量を求める方向に沿って隣接する二つの位相差画素間の間隔よりも微細な成分の含有度を評価する。そしてこの合焦位置検出装置は、その含有度が大きいAFエリアほど、信頼度を低下させる。
なお、以下では、説明の便宜上、AFエリアにおいて、位相差検出用の被写体の一方の像生成に利用される位相差画素を左画素と呼び、被写体の他方の像生成に利用される位相差画素を右画素と呼ぶ。また、AFエリアにおいて、右画素の集合により生成される被写体のサブ画像を右画像と呼び、左画素の集合により生成される被写体のサブ画像を左画像と呼ぶ。さらに、右画像及び左画像を、位相差画像として総称することがある。また、シフト量を求める方向に沿って隣接する二つの位相差画素間の間隔を、単に位相差画素間隔と呼ぶ。
図1は、合焦位置検出装置が実装された撮像装置の一例であるデジタルカメラの概略構成図である。図1に示すように、デジタルカメラ1は、撮像部2と、操作部3と、表示部4と、記憶部5と、制御部6とを有する。さらにデジタルカメラ1は、デジタルカメラ1をコンピュータ、またはテレビといった他の機器と接続するために、ユニバーサルシリアルバスなどのシリアルバス規格に従ったインターフェース回路(図示せず)を有していてもよい。また制御部6と、デジタルカメラ1のその他の各部とは、例えば、バスにより接続されている。なお、合焦位置検出装置は、撮像部を有する様々な装置に適用可能である。
撮像部2は、イメージセンサ21と、撮像光学系22と、アクチュエータ23とを有する。イメージセンサ21は、2次元状に配置された固体撮像素子のアレイを有し、画像を生成する。また、各固体撮像素子の前面には、例えば、集光用のマイクロレンズが設けられる。そしてイメージセンサ21には、複数のAFエリアが設けられる。撮像光学系22は、イメージセンサ21の前面側に設けられ、例えば、光軸に沿って配列された1以上のレンズを有し、合焦された状態でイメージセンサ21上に被写体の像を結像する。アクチュエータ23は、例えば、ステッピングモータを有し、制御部6からの制御信号に従った回転量だけステッピングモータを回転させることで、撮像光学系22の一部のレンズまたは全体を光軸に沿って移動させることで合焦位置を調節する。そして撮像部2は、被写体の像が写った画像を生成する度に、その生成した画像を制御部6へ送信する。
図2は、イメージセンサ21上に設けられる、AFエリアの一例を示す図である。この例では、イメージセンサ21が画像を生成する範囲である撮像範囲200のなかに、水平方向にm個、垂直方向にn個(ただし、m≧1、n≧1)のAFエリア201−1〜201−(mxn)が設けられる。各AFエリアから、左画素202が水平方向に複数並んだ左画素列203により生成される左画像と、右画素204が水平方向に複数並んだ右画素列205により生成される右画像が生成される。なお、左画素に相当する固体撮像素子では、例えば、その受光面の左半分がマスクされる。また、右画素に相当する固体撮像素子では、例えば、その受光面の右半分がマスクされる。
図3は、図2に示されるAFエリア内の二つの画素列によりそれぞれ生成される左画像及び右画像の一例を示す図である。左画素列203により生成される左画像301と、右画素列205により生成される右画像302とは、AFエリアに写っている被写体についての撮像光学系22による合焦位置310がイメージセンサ21上にある場合、略一致する。しかし、撮像光学系22による合焦位置310がイメージセンサ21よりも被写体側、すなわち前側にある場合、左画像301は、その被写体について合焦されている場合よりも右側にずれる。一方、右画像302は、その被写体について合焦されている場合よりも左側にずれる。逆に、撮像光学系22による合焦位置310がイメージセンサ21よりも被写体から離れた側、すなわち後側にある場合、左画像301は、その被写体について合焦されている場合よりも左側にずれる。一方、右画像302は、その被写体について合焦されている場合よりも右側にずれる。したがって、左画像301と右画像302の一方を、他方に対して水平方向にシフトさせて一致度合を調べると、最も一致するときのシフト量が、合焦位置からのイメージセンサ21の位置ずれ量を表している。そこで、そのシフト量が0となるように撮像光学系22を移動させることで、制御部6は、撮像部2を、被写体に対して合焦させることができる。
操作部3は、例えば、デジタルカメラ1をユーザが操作するための各種の操作ボタンまたはダイヤルスイッチを有する。そして操作部3は、ユーザの操作に応じて、撮影または合焦の開始などの制御信号またはシャッター速度、絞り径などを設定するための設定信号を制御部6へ送信する。
また操作部3は、ユーザの操作にしたがって、撮影範囲内で撮像部2の合焦位置を検出するエリア(以下、便宜上、測定エリアと呼ぶ)を表す情報を制御部6へ送信する。測定エリアは、例えば、撮影範囲の中央部、左上、右下、撮影範囲全体など、予め複数設定され、ユーザは、操作部3を操作することで何れかの測定エリアを選択する。あるいは、測定エリアは、撮影範囲内の任意の位置に設定されてもよい。
表示部4は、例えば、液晶ディスプレイ装置といった表示装置を有し、制御部6から受け取った各種の情報、または撮像部2により生成された画像を表示する。なお、操作部3と表示部4とは、例えば、タッチパネルディスプレイを用いて一体的に形成されてもよい。
記憶部5は、例えば、読み書き可能な揮発性または不揮発性の半導体メモリ回路を有する。そして記憶部5は、撮像部2から受け取った画像を記憶する。また、記憶部5は、制御部6が合焦位置の検出に利用する各種のデータを記憶する。記憶部5は、そのようなデータとして、例えば、各AFエリアの位置及び範囲を表す情報(例えば、撮像部2により生成される画像上でのAFエリアの左上端及び右下端の座標)と識別情報などを記憶する。さらに、記憶部5は、撮像光学系22の焦点位置調節に利用される焦点位置テーブルを記憶する。焦点位置テーブルは、撮像光学系22が基準位置にある場合の撮像部2から被写体までの距離に相当するシフト量と、その距離にある被写体に対して撮像光学系22を合焦させるための撮像光学系22の移動量に相当するステッピングモータの回転量との関係を表す。撮像光学系22の基準位置は、例えば、撮像光学系22が無限遠に対して合焦するときの撮像光学系22の位置に対応する。さらに、制御部6が有する各機能が、制御部6が有するプロセッサ上で実行されるコンピュータプログラムにより実現される場合、記憶部5は、そのコンピュータプログラムを記憶してもよい。
制御部6は、合焦位置検出装置の一例であり、少なくとも一つのプロセッサ及びその周辺回路を有する。そして制御部6は、デジタルカメラ1全体を制御する。また制御部6は、撮像部2から受け取った画像に基づいて合焦位置を検出し、検出した合焦位置に基づいて、撮像光学系22の合焦位置を調節する。
図4は、合焦位置の検出及び合焦位置の調節に関する、制御部6の機能ブロック図である。制御部6は、シフト量算出エリア特定部11と、シフト量算出部12と、含有度算出部13と、信頼度補正部14と、代表値算出部15と、合焦部16とを有する。制御部6が有するこれらの各部は、例えば、制御部6が有するプロセッサ上で実行されるコンピュータプログラムによって実現される機能モジュールとして実装される。あるいは、制御部6が有するこれらの各部の機能を実現する一つまたは複数の集積回路が、制御部6とは別個に、デジタルカメラ1に実装されてもよい。
シフト量算出エリア特定部11は、イメージセンサ21上で、ユーザにより選択または設定された測定エリア内に含まれるAFエリアを、シフト量算出エリアとして特定する。その際、シフト量算出エリア特定部11は、記憶部5から、各AFエリアの位置及び範囲を表す情報を読み込む。そしてシフト量算出エリア特定部11は、各AFエリアの位置及び範囲を表す情報を参照して、測定エリアと少なくとも一部が重なるAFエリアをシフト量算出エリアとして特定すればよい。あるいは、シフト量算出エリア特定部11は、測定エリア内に完全に含まれるAFエリアをシフト量算出エリアとしてもよい。
図5は、測定エリアとシフト量算出エリアの関係の一例を示す図である。この例では、イメージセンサ21が画像を生成する範囲である撮影範囲500内に設定された測定エリア501内に、12個のAFエリア502−1〜502−12が含まれている。そこでAFエリア502−1〜502−12が、それぞれ、シフト量算出エリアとして特定される。
シフト量算出エリア特定部11は、シフト量算出エリアとして特定された各AFエリアの識別情報を、シフト量算出部12へ通知する。
シフト量算出部12は、シフト量算出エリア特定部11から通知されたAFエリアの識別情報で特定されるシフト量算出エリアのそれぞれについて、左画像と右画像とが最も一致するときのシフト量及びそのシフト量の確からしさを表す信頼度を算出する。
まず、各シフト量算出エリアにおける、左画像と右画像とが最も一致するときのシフト量(以下、便宜上、局所シフト量と呼ぶ)の算出について説明する。
シフト量算出部12は、例えば、左画像に対して右画像の位置を1画素ずつシフトしながら対応画素間の画素値の差分絶対値の和(SAD)を算出する。そしてシフト量算出部12は、SAD値が最小となるときの、左画像に対する右画像のシフト量を局所シフト量とすることができる。
シフト量算出部12は、各シフト量算出エリアについて、例えば、次式に従って、シフト量sについてのSAD(s)を算出できる。
ここで、Nは、一回のSAD計算に使用する左画像および右画像の画素数を表す。+S〜-Sは、局所シフト量の探索範囲となるシフト量の範囲を表す。また、L[n]、R[n]は、それぞれ左画像と右画像のn番目の画素の値を表す。
(1)式では、画素単位で局所シフト量が算出される。しかし、実際には、SAD値が最小となる局所シフト量は、画素単位とは限らない。そこで、シフト量算出部12は、サブ画素単位で局所シフト量を求めるために、(1)式でSAD値が最小となるシフト量及びその周囲のシフト量についてのSAD値を用いた等角直線フィッティングにより、サブ画素単位で局所シフト量を求める。
図6(a)及び図6(b)は、それぞれ、等角直線フィッティングの原理を示す図である。図6(a)及び図6(b)において、横軸はシフト量を表し、縦軸はSAD値を表す。bは、(1)式により算出されたSADの最小値を表し、aは、SADの最小値に対応するシフト量に対してシフト量が1画素少ないときのSAD値を表し、cは、SADの最小値に対応するシフト量に対してシフト量が1画素多いときのSAD値を表す。等角直線フィッティングでは、局所シフト量から、シフト量が減少する場合のSAD値の増加の傾きと、シフト量が増加する場合のSAD値の増加の傾きとが等しいと仮定される。
そこで、SADの最小値bに対応する点と、隣接するa,cのうちSAD値が大きい方の点を通る直線、すなわち、直線abとbcのうち、傾きの絶対値が大きい方の直線601が求められる。図6(a)に示されるように、a>cの場合には、直線abが直線601となり、一方、図6(b)に示されるように、a<cの場合には、直線bcが直線601となる。さらにa,cのうち、SAD値が小さい方を通り、傾きが直線601と逆(すなわち、傾きの符号が反転する)になる直線602が求められる。そして直線601と直線602の交点に対応するシフト量がサブ画素単位での局所シフト量shとなる。
シフト量算出部12は、次式に従って、等角直線フィッティングによる局所シフト量shを算出できる。
ここで、sminは、SAD値が最小となる画素単位のシフト量を表す。そしてa = SAD[smin-1]、b = SAD[smin]、c = SAD[smin+1]である。なお、以下では、サブ画素単位の局所シフト量shを、単に局所シフト量と呼ぶ。
左画像を形成する、左画素列に含まれる各左画素の値、及び、右画像を形成する、右画素列に含まれる各右画素の値にノイズ成分が含まれていなければ、上記のように算出された局所シフト量は、比較的正確な値となることが想定される。しかし、被写体が暗い場合などには、各左画素または各右画素の値において、ノイズ成分が寄与する度合いが大きくなる。このような場合、局所シフト量は、必ずしも正確な値が得られているとは限られない。
そこで、シフト量算出部12は、各シフト量算出エリアについて、局所シフト量の確からしさを表す信頼度を算出する。
本実施形態では、シフト量算出部12は、信頼度として、局所シフト量の分散の推定値を算出する。一般に、局所シフト量の分散が小さいほど、局所シフト量は正確な値である可能性が高いためである。なお、以下では、便宜上、局所シフト量の分散を推定分散と呼ぶ。
ここで、左画像及び右画像に表される被写体のコントラストが一定である場合において、左画素列または右画素列に含まれる各画素に重畳されるノイズ成分が大きくなるほど、SAD値の最小値が大きくなり、局所シフト量のバラつきが大きくなる。一方、SAD値の最小値が一定、すなわち、左画素列または右画素列に含まれる各画素に重畳されるノイズ成分が一定であれば、左画像及び右画像に表される被写体のコントラストが高くなるほど局所シフト量のバラつきが小さくなる。そこで、シフト量算出部12は、左画像または右画像のコントラストに対する、SAD値の最小値の比に基づいて、局所シフト量の分散の推定値を算出する。
シフト量算出部12は、左画像または右画像に表される被写体のコントラストに対する、SAD値の最小値の比Rを、次式に従って算出する。
ここで、SADminは、(1)式に従って算出されるSAD値のうちの最小値であり、Cはコントラスト値である。コントラスト値Cは、例えば、左画像及び右画像に含まれる画素の値のうちの最大値Pmaxと左画像及び右画像に含まれる画素の値のうちの最小値Pminの差(Pmax-Pmin)として算出される。あるいは、コントラストCは、(Pmax-Pmin)/(Pmax+Pmin)で算出されてもよい。また、Pmax及びPminは、それぞれ、左画像及び右画像のうちの一方の画素値の最大値、最小値であってもよい。
シフト量算出部12は、例えば、比Rと推定分散の関係を表す参照テーブルを参照することで、(3)式に従って算出された比Rに対応する推定分散の値、すなわち信頼度を求めることができる。参照テーブルは、例えば、実験またはシミュレーションにより、局所シフト量とコントラストが既知の左画像と右画像のテストパターンに対して、各画素値に重畳するノイズの量を様々に変えて比Rに対する局所シフト量のバラつきを求めることで作成される。そして参照テーブルは、予め、記憶部5に記憶される。
変形例によれば、シフト量算出部12は、信頼度として、局所シフト量の誤差の絶対値の期待値を算出してもよい。この場合も、シフト量算出部12は、予め作成され、記憶部5に記憶される比Rと局所シフト量の誤差の絶対値の期待値の関係を表す参照テーブルを参照して、比Rに対応する局所シフト量の誤差の絶対値の期待値を求めればよい。
また他の変形例によれば、シフト量算出部12は、信頼度として、算出された局所シフト量と本当のシフト量である正解シフト量間の誤差が所定の値(例えば、3画素)以下となる確率を算出してもよい。この場合も、シフト量算出部12は、予め作成され、記憶部5に記憶される比Rと誤差が所定値以下となる確率の関係を表す参照テーブルを参照して、比Rに対応するその確率を求めればよい。
あるいはまた、シフト量算出部12は、(3)式に従って算出された比Rそのものを、信頼度としてもよい。
シフト量算出部12は、各シフト量算出エリアについての局所シフト量を代表値算出部15へ出力し、各シフト量算出エリアについての信頼度を信頼度補正部14へ出力する。
含有度算出部13は、各シフト量算出エリアについて、被写体の像に含まれる、位相差画素間隔よりも微細な成分の含有度を算出する。なお、含有度算出部13は、各シフト量算出エリアに対して同じ処理を実行するので、以下では、一つのシフト量算出エリアにおける含有度算出処理について説明する。
上記のように、局所シフト量の算出に用いられる位相差画素は、シフト量算出エリアにおいて離散的に配置されていることがある。そのため、被写体の像のエッジの鮮鋭度によっては、位相差画像において、被写体の像のエッジを正確に評価できないことがある。
図7(a)は、位相差画素の配置の一例を示す図である。この例では、水平方向に沿って並んだ隣接する二つの左画素701の間隔、すなわち、位相差画素間隔xpは3画素となっている。同様に、水平方向に沿って並んだ隣接する二つの右画素702についての位相差画素間隔xpも3画素となっている。
図7(b)は、位相差画素間隔と、左画像及び右画像における被写体の像のエッジの関係の一例を示す図である。図7(b)において、横軸は、水平方向の位置を表し、縦軸は、画素値を表す。プロファイル711は、左画像に対応する、イメージセンサ上での被写体の像のエッジ近傍での水平方向の位置と画素値の関係を表す。またプロファイル712は、右画像に対応する、イメージセンサ上での被写体の像のエッジ近傍での水平方向の位置と画素値の関係を表す。そしてp0〜p3は、それぞれ、水平方向における左画素及び右画素の位置を表す。この例では、プロファイル711及びプロファイル712に示されるように、エッジの幅が位相差画素間隔とほぼ等しくなっている。そのため、左画像及び右画像における被写体の像のエッジの鮮鋭度は、本来の被写体の像のエッジの鮮鋭度とほぼ変わらない。そのため、この例では、左画像と右画像間のシフト量を比較的正確に評価することが可能となっている。
図7(c)は、位相差画素間隔と、左画像及び右画像における被写体の像のエッジの関係の他の一例を示す図である。図7(c)において、横軸は、水平方向の位置を表し、縦軸は、画素値を表す。プロファイル721は、左画像に対応する、イメージセンサ上での被写体の像のエッジ近傍での水平方向の位置と画素値の関係を表す。またプロファイル722は、右画像に対応する、イメージセンサ上での被写体の像のエッジ近傍での水平方向の位置と画素値の関係を表す。そしてp0〜p3は、それぞれ、水平方向における左画素及び右画素の位置を表す。この例では、プロファイル721及びプロファイル722に示されるように、エッジの幅が位相差画素間隔よりも狭い。そのため、左画像に対応する被写体の像のエッジの位置と右画像に対応する被写体の像のエッジの位置とが、位相差画素間隔よりも狭い範囲でずれていても、左画像におけるエッジの位置と右画像におけるエッジの位置は等しくなる。そのため、局所シフト量の信頼度は、図7(b)に示される場合の信頼度よりも低下する。このように、エッジの幅が位相差画素間隔よりも狭くなるほどエッジが鮮鋭な場合、信頼度は不正確となる。特に、位相差画素間隔が広いほど、あるいは、ボケ量が小さいほど、エッジの幅が位相差画素間隔よりも狭くなり易い。
また、イメージセンサ21上での被写体の像の周波数成分のうち、位相差画像のナイキスト周波数よりも高い周波数成分が占める割合が増えるほど、エリアジングの影響が大きくなる。そのため、位相差画像における被写体の像は、本来の被写体の像と異なったものとなる。その結果として、信頼度が不正確となる。なお、位相差画像のナイキスト周波数は、位相差画素間隔の2倍の逆数となる。
上記のように、被写体の像に含まれる、位相差画素間隔よりも微細な成分の含有度は局所シフト量の信頼度に影響し、その含有度に応じて、信頼度が不正確となり得る。そこで、含有度算出部13は、シフト量算出エリアにおいて、位相差画素以外の表示用画像生成用の画素の値を参照して、シフト量算出エリアにおける被写体の像の周波数ごとの成分をもとめ、各周波数の成分に応じて含有度を算出する。
図8は、本実施形態による含有度算出の説明図である。含有度算出部13は、局所シフト量を算出する方向に沿って隣接する二つの位相差画素801の間に位置する、表示用画像生成用の各画素802の画素値を利用して、その二つの位相差画素801を含む画素列に対してFast Fourier Transform(FFT)を実行する。FFTを実行する際、含有度算出部13は、位相差画素801については、その周囲の表示用画素の画素値を用いたバイリニア補間あるいはバイキュービック補間により算出した値を用いてもよい。また、含有度算出部13は、シフト量算出エリアにおいて、位相差画素が設けられた画素列が複数ある場合、それら複数の画素列のそれぞれに対してFFTを実行し、得られた各周波数の成分を、周波数ごとに平均してもよい。さらに、含有度算出部13は、位相差画素のうちの左画素を含む画素列及び位相差画素のうちの右画素を含む画素列の何れか一方についてFFTを実行してもよく、あるいは、両方についてFFTを実行してもよい。そして両方についてFFTを実行する場合、含有度算出部13は、左画素を含む画素列について求めた各周波数の成分と、右画素を含む画素列について求めた各周波数の成分とを、周波数ごとに平均してもよい。これにより、局所シフト量を算出する方向における、被写体の像811の周波数ごとの成分を表す周波数特性821が得られる。この周波数特性821は、位相差画素間隔よりも隣接画素間の間隔が狭い表示用の画素を利用して算出されているので、位相差画像のナイキスト周波数fN以下の成分S2だけでなく、位相差画像のナイキスト周波数fNよりも高い周波数の成分S1を含んでいる。
そこで、含有度算出部13は、位相差画像における、被写体の全ての周波数の成分の総和に対する、位相差画像のナイキスト周波数以上の周波数の成分の和の比を含有度として算出する。例えば、含有度算出部13は、次式に従って含有度Eを算出する。
ここでfLは、周波数の下限値を表し、fHは、周波数の上限値を表す。また、fNは、位相差画像のナイキスト周波数を表す。xpは、位相差画素間隔を表し、fsは、位相差画像におけるサンプリング周波数を表す。そしてwiは、周波数iにおける、被写体の像の周波数成分を表し、例えば、FFTにより得られた周波数iの周波数係数の二乗、すなわち、パワーとすることができる。あるいは、wiは、FFTにより得られた周波数iの周波数係数の絶対値であってもよい。
含有度算出部13は、各シフト量算出エリアの含有度を信頼度補正部14へ出力する。
信頼度補正部14は、各シフト量算出エリアについて、そのシフト量算出エリアの局所シフト量の信頼度を、そのシフト量算出エリアの含有度に基づいて補正する。なお、信頼度補正部14は、各シフト量算出エリアについて同一の処理を実行するので、以下では、一つのシフト量算出エリアについての処理について説明する。
本実施形態では、信頼度補正部14は、含有度が大きいほど、信頼度が表す局所シフト量の確からしさが低下するように、信頼度の値を補正する。例えば、信頼度が推定分散、局所シフト量の誤差絶対値の期待値、あるいは、コントラストに対するSAD値の最小値の比である場合、局所シフト量が確からしいほど信頼度は小さな値となる。このような場合、信頼度補正部14は、含有度が大きいほど、信頼度が大きな値となるように信頼度を補正する。この場合、信頼度補正部14は、例えば、次式に従って信頼度を補正する。
ここで、Vは、補正前の信頼度であり、V'は、補正後の信頼度である。
一方、信頼度が局所シフト量と正解シフト量間の誤差が所定の値以下となる確率である場合、局所シフト量が確からしいほど信頼度は大きな値となる。このような場合、信頼度補正部14は、含有度が大きいほど、信頼度が小さい値となるように信頼度を補正する。この場合、信頼度補正部14は、例えば、次式に従って信頼度を補正する。
上記のように、信頼度の値は、含有度が大きいほど、信頼度が表す局所シフト量の確からしさが低下するように補正される。したがって、信頼度補正部14は、被写体の細かさと位相差画素間隔の関係で局所シフト量の測定精度が低下してしまう可能性を信頼度に適切に反映できる。
なお、信頼度補正部14は、含有度が所定の閾値(例えば、0.1)未満である場合には、信頼度を補正しなくてもよい。
信頼度補正部14は、各シフト量算出エリアについて、補正された信頼度を代表値算出部15へ出力する。
代表値算出部15は、測定エリアに含まれる各シフト量算出エリアの局所シフト量及び補正された信頼度に基づいて、測定エリアに写っている被写体についての合焦位置を表す代表シフト量を算出する。本実施形態では、代表値算出部15は、補正された信頼度が高いシフト量算出エリアほど、代表シフト量における、そのシフト量算出エリアの局所シフト量の寄与度が大きくなるように、代表シフト量を算出する。
代表値算出部15は、例えば、次式に従って、各シフト量算出エリアについての局所シフト量を信頼度で加重平均することで、測定エリアの代表シフト量Sを算出する。
ここで、Siは、i番目のシフト量算出エリアの局所シフト量であり、Viは、i番目のシフト量算出エリアの信頼度である。またNは、測定エリアに含まれるシフト量算出エリアの数である。ただし、(7)式は、推定分散が信頼度として算出されている場合のように、局所シフト量Siが確からしいほど信頼度Viが小さな値となる場合に適用される。したがって、(7)式から明らかなように、局所シフト量Siが確からしいシフト量算出エリアほど、代表シフト量への寄与が大きくなる。なお、代表値算出部15は、(7)式を用いる代わりに、信頼度が所定の閾値以下となるシフト量算出エリア、あるいは、信頼度の値が小さい方から順に所定数の局所シフト量の平均値または中央値を、代表シフト量Sとしてもよい。
なお、局所シフト量の誤差が所定の値以下となる確率が信頼度として算出されている場合のように、局所シフト量Siが確からしいほど信頼度Viが大きな値となる場合には、代表値算出部15は、例えば、次式に従って代表シフト量Sを算出してもよい。
この場合、代表値算出部15は、(8)式を用いる代わりに、信頼度が所定の閾値以上となるシフト量算出エリア、あるいは、信頼度の値が大きい方から順に所定数の局所シフト量の平均値または中央値を、代表シフト量Sとしてもよい。
また、後述するように、合焦部16がコントラスト検出方式を併用する場合には、代表値算出部15は、代表シフト量の推定分散(以下、代表分散と呼ぶ)Vを算出してもよい。例えば、信頼度が推定分散のように、局所シフト量が確からしいほど小さな値となる場合、代表値算出部15は、次式に従って代表分散Vを算出する。
制御部6は、代表シフト量に相当する移動量だけ撮像光学系22を光軸に沿って移動させることで、測定エリアに写る被写体に対して撮像部2を合焦させることができるので、代表シフト量は、合焦位置を表している。代表値算出部15は、代表シフト量を合焦部16へ出力する。なお、後述するように、合焦部16がコントラスト検出方式を併用する場合には、代表値算出部15は、代表分散も合焦部16へ出力する。
合焦部16は、合焦テーブルを参照して、代表シフト量に対応する撮像部2の移動量に相当するステッピングモータの回転量を求める。そして合焦部16は、撮像部2の現在の位置と基準位置との差に相当する回転量を、求めた回転量から減じた量だけ撮像部2のアクチュエータ23のステッピングモータを回転させる制御信号をアクチュエータ23へ出力する。そしてアクチュエータ23は、その制御信号に応じた回転量だけステッピングモータを回転させることで、代表シフト量を0にするように撮像光学系22を光軸に沿って移動させる。これにより、撮像部2は、測定エリアに写る被写体について合焦することができる。
変形例によれば、合焦部16は、位相差検出方式とともにコントラスト検出方式を利用して、撮像部2を測定エリアに写る被写体に合焦させてもよい。この場合には、上記のように、合焦部16は、先ず、代表シフト量に応じた回転量だけ、アクチュエータ23のステッピングモータを回転させて、代表シフト量が0になるように撮像光学系22を光軸に沿って移動させる。その後、合焦部16は、代表値算出部15から受け取った代表分散に基づいて、被写体のコントラストを調べる撮像光学系22の位置の範囲を設定する。例えば、合焦部16は、被写体のコントラストを調べる撮像光学系22の位置の範囲を、代表分散に対応する標準偏差の±2倍に相当する範囲に設定する。そして合焦部16は、その範囲内で撮像光学系22を移動させながら、撮像部2により得られる画像上の測定エリアに相当する範囲のコントラストが極大値となる撮像光学系22の位置を検出する。そして合焦部16は、コントラストが極大値となる撮像光学系22の位置を、測定エリアに写る被写体について撮像光学系22が合焦する位置とする。なお、合焦部16は、設定した撮像光学系22の位置の範囲内に、コントラストが極大値となる位置が無ければ、その範囲外でもコントラストの極大値となる撮像光学系22の位置を検出してもよい。
このように、合焦部16は、位相差検出方式とコントラスト検出方式を併用する場合でも、コントラスト検出方式でコントラストを調べる撮像光学系22の位置の範囲を適切に限定できる。そのため、合焦部16は、撮像部2が測定エリア内の被写体に合焦までに要する時間を短縮できる。
図9は、制御部6により実行される合焦位置検出処理の動作フローチャートである。
制御部6は、撮像部2から、被写体を撮影した画像を取得する(ステップS101)。そして制御部6は、その画像を記憶部5に記憶する。
シフト量算出エリア特定部11は、指定された測定エリア内に含まれるシフト量算出エリアを特定する(ステップS102)。そしてシフト量算出エリア特定部11は、特定されたシフト量算出エリアをシフト量算出部12及び含有度算出部13へ通知する。
シフト量算出部12は、記憶部5に記憶された画像に基づいて、各シフト量算出エリアについて、左画像と右画像とが最も一致する局所シフト量とその信頼度とを算出する(ステップS103)。そしてシフト量算出部12は、各シフト量算出エリアの局所シフト量を代表値算出部15へ出力し、信頼度を信頼度補正部14へ出力する。
含有度算出部13は、各シフト量算出エリアについて、そのシフト量算出エリアにおける、被写体の像に含まれる、位相差画素間隔よりも微細な成分の含有度を算出する(ステップS104)。そして含有度算出部13は、各シフト量算出エリアにおける含有度を信頼度補正部14へ出力する。
信頼度補正部14は、各シフト量算出エリアについて、そのシフト量算出エリアにおける含有度が大きいほど、信頼度が表す局所シフト量の確からしさが低下するように信頼度を補正する(ステップS105)。そして信頼度補正部14は、各シフト量算出エリアについての補正された信頼度を代表値算出部15へ出力する。
代表値算出部15は、各シフト量算出エリアの局所シフト量を補正された信頼度で加重平均することで、測定エリア全体についての代表シフト量を算出する(ステップS106)。代表値算出部15は、代表シフト量を合焦部16へ出力する。
合焦部16は、代表シフト量に基づいて、測定エリア内に写る被写体に対して撮像部2が合焦するように、撮像部2の撮像光学系22を光軸に沿って移動させる(ステップS107)。
そして制御部6は、合焦位置検出処理を終了する。
以上に説明してきたように、この合焦位置検出装置は、測定エリア内に含まれる各シフト量算出エリアについて、被写体の像に含まれる、位相差画素間隔よりも微細な成分の含有度が増えるほど、局所シフト量の信頼度を低下させるよう、その信頼度を補正する。そしてこの合焦位置検出装置は、各シフト量算出エリアの局所シフト量を、補正された信頼度で加重平均することで、合焦位置を表す代表シフト量を求める。そのため、この合焦位置検出装置は、各シフト量算出エリアにおける、被写体の像に含まれる、位相差画素間隔よりも微細な成分による、合焦位置の誤差を抑制できる。
次に、第2の実施形態による合焦位置検出装置について説明する。第2の実施形態による合焦位置検出装置は、位相差画像におけるエッジの鮮鋭度と表示用画像におけるエッジの鮮鋭度との比較により、被写体の像に含まれる、位相差画素間隔よりも微細な成分の含有度を算出する。
第2の実施形態による合焦位置検出装置は、第1の実施形態による合焦位置検出装置と比較して、含有度算出部13の処理が異なる。そこで以下では、含有度算出部13及びその関連部分について説明する。第2の実施形態による合焦位置検出装置のその他の構成要素については、第1の実施形態による合焦位置検出装置の対応する構成要素の説明を参照されたい。
図7(a)〜図7(c)に関して説明したように、シフト量算出エリアにおける、被写体の像のエッジの幅と位相差画素間隔との関係により、信頼度が不正確となることがある。そこで本実施形態では、含有度算出部13は、各シフト量算出エリアにおいて、位相差画像における被写体の像のエッジ強度と表示用画像の対応領域における被写体の像のエッジ強度とに基づいて、含有度を算出する。なお、第2の実施形態においても、含有度算出部13は、各シフト量算出エリアに対して同じ処理を実行するので、以下では、一つのシフト量算出エリアにおける含有度算出処理について説明する。
図10は、第2の実施形態による含有度算出の説明図である。この例では、位相差画素1001の位相差画素間隔xpは、表示用画像生成用の各画素1002の8画素分に相当する。そして含有度算出部13は、シフト量算出エリアにおいて、位相差画像1010について、局所シフト量の算出方向に沿って隣接する二つの位相差画素1001の間の画素値p1,p2の差分値dp(=p1-p2)を、位相差画素ごとに算出する。なお、この差分値を算出する位相差画素は、左画素及び右画素のうちの一方でもよく、あるいは、その両方でもよい。また、含有度算出部13は、表示用画像1011のシフト量算出エリアに対応する領域において、位相差画素間の表示用画像生成用の各画素1002について、局所シフト量の算出方向に沿って隣接する画素間の画素値s1,s2の差分値ds(=s1-s2)を算出する。そして含有度算出部13は、例えば、次式に従って、含有度Eを算出する。
ここで、Npは、シフト量算出エリアに含まれる位相差画素の数であり、Nsは、差分値を算出する表示用画像生成用の画素、すなわち、隣接する二つの位相差画素の間に含まれる画素の数である。また、dpiは、i番目の位相差画素についての、隣接する位相差画素との差分値であり、dsjは、j番目の表示用画像生成用の画素についての、隣接する画素との差分値である。(10)式から明らかなように、位相差画素についての差分値の二乗和よりも、表示用画像生成用の画素についての差分値の二乗和が大きいほど、含有度は大きくなる。すなわち、位相差画像のエッジ強度に対して、表示用画像の対応する領域のエッジ強度が高いほど、含有度は大きくなる。
信頼度補正部14は、第2の実施形態においても、各シフト量算出エリアについて、そのシフト量算出エリアについて算出された含有度を用いて、(5)式または(6)式にしたがって、信頼度を補正すればよい。
第2の実施形態によれば、含有度算出部13は、周波数変換処理を行わなくてよいので、含有度算出に要する演算量を削減できる。
第2の実施形態の変形例によれば、含有度算出部13は、表示用画像上のシフト量算出エリアに対応する領域におけるコントラストとシャープネスの比により含有度を算出してもよい。この場合、含有度算出部13は、例えば、次式により含有度を算出する。
ここで、SHは、シャープネスを表す。またCは、コントラストであり、例えば、表示用画像上のシフト量算出エリアに対応する領域における、画素値の最大値と最小値の差として算出される。シャープネスSHがコントラストCに対して大きくなるほど、被写体の像は、位相差画素間隔よりも微細な構造を持つと想定される。そこで(11)式によれば、シャープネスSHがコントラストCに対して大きくなるほど、含有度も大きな値となる。
また他の変形例によれば、合焦位置検出装置は、位相差検出方式による合焦位置の検出だけでなく、例えば、ステレオカメラといった、被写体に対して視差が有る二つの画像を得る撮像装置において、被写体までの距離を測定するために適用されてもよい。この場合には、例えば、撮像装置が有する記憶部に、代表シフト量と撮像装置から被写体までの距離との関係を表す距離テーブルが予め格納される。そして撮像装置の制御部が、その撮像装置が生成した、視差のある二つの画像に対して、上記の実施形態による制御部の各機能を実行することで、画像を生成する各イメージセンサに設定される測定エリアに写る被写体についての代表シフト量を算出できる。そして制御部は、距離テーブルを参照して、代表シフト量に対応する、撮像装置から測定エリア内に写る被写体までの距離を求めることができる。
さらに他の変形例によれば、位相差画像生成用のイメージセンサと、表示用画像生成用のイメージセンサとは別個に設けられてもよい。
図11(a)及び図11(b)は、それぞれ、この変形例による、位相差画像生成用のイメージセンサと、表示用画像生成用のイメージセンサとの関係を示す図である。図11(a)に示される例では、表示画像生成用のイメージセンサ1100と別個に、一つの位相差画像生成用のイメージセンサ1101が設けられる。そして位相差画像生成用のイメージセンサ1101の撮影範囲が表示画像生成用のイメージセンサ1100の撮影範囲に含まれるように、例えば、撮像光学系(図示せず)と各イメージセンサ間にビームスプリッタ(図示せず)が設けられる。そして撮像光学系からの光束は、ビームスプリッタにより分割され、イメージセンサ1100とイメージセンサ1101のそれぞれに結像される。
この例では、イメージセンサ1101は左画像生成用の複数の左画素1102が水平方向に沿って配列された画素列と、右画像生成用の複数の右画素1103が水平方向に沿って配列された画素列とを有する。そのため、イメージセンサ1101により、左画像と右画像の両方が生成される。また、イメージセンサ1101の解像度は、イメージセンサ1100の解像度よりも低くなっている。そのため、含有度算出部13は、イメージセンサ1100において、イメージセンサ1101の撮影範囲と対応する領域1105に含まれる各画素の画素値を用いて、上記の何れかの実施形態または変形例に従って含有度を算出すればよい。
一方、図11(b)に示される例では、表示画像生成用のイメージセンサ1110と別個に、二つの位相差画像生成用のイメージセンサ1111、1112が設けられる。そしてイメージセンサ1111は、左画像を生成し、イメージセンサ1112は、右画像を生成する。この例では、位相差画像生成用のイメージセンサ1111、1112に被写体の像を結像するために、例えば、イメージセンサ1111、1112の配列方向に沿って互いに離して配置された二つの撮像光学系を有するステレオ光学系(図示せず)が設けられる。そのため、イメージセンサ1111により生成される左画像と、イメージセンサ1112により生成される右画像との間には、被写体までの距離に応じた視差が生じる。さらに、この例では、イメージセンサ1110に被写体の像を結像する撮像光学系(図示せず)が設けられる。そして各撮像光学系は、それらの光軸方向に沿って一体的に移動可能となっている。また、位相差画像生成用のイメージセンサ1111、1112の撮影範囲がイメージセンサ1110の撮影範囲に含まれる。
この例でも、イメージセンサ1111、1112の解像度は、イメージセンサ1110の解像度よりも低くなっている。そのため、含有度算出部13は、イメージセンサ1110において、イメージセンサ1111及び1112の撮影範囲と対応する領域1113に含まれる各画素の画素値を用いて、上記の何れかの実施形態または変形例に従って含有度を算出すればよい。
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
(付記1)
像面位相差検出方式で合焦位置を算出するための位相差を検出する位相差検出部が受光面内の複数個所に配置された撮像素子を備え、焦点位置を移動可能な光学系を介して前記撮像素子の受光面に入射される光により被写体を撮像する撮像部と、
複数の前記位相差検出部の内の第1の位相差検出部と第2の位相差検出部間の画素値から算出した周波数値が所定の値以上となる場合は、前記第1の位相差検出部と前記第2の位相差検出部の位相差の寄与度を下げて複数の前記位相差検出部によって検出された位相差に基づいて前記合焦位置を算出する算出部と、
を含む撮像装置。
(付記2)
画像を生成するイメージセンサと、光学系とを有する撮像部における前記イメージセンサ上に設定される測定エリア内に含まれる複数のシフト量算出エリアを特定し、前記複数のシフト量算出エリアのそれぞれは、当該シフト量算出エリアに写る被写体を表す第1のサブ画像を生成する、複数の第1の画素と、当該シフト量算出エリアに写る前記被写体を表す第2のサブ画像を生成する、複数の第2の画素とを有し、前記第1のサブ画像上の前記被写体と前記第2のサブ画像上の前記被写体間のシフト量が、前記光学系による前記被写体についての合焦位置と前記イメージセンサ間の距離に応じて変化するシフト量算出エリア特定部と、
前記複数のシフト量算出エリアのそれぞれについて、前記第1のサブ画像上の前記被写体と前記第2のサブ画像上の前記被写体とが最も一致するときの前記第1のサブ画像に対する前記第2のサブ画像の局所シフト量と、前記局所シフト量の確からしさを表す信頼度とを算出するシフト量算出部と、
前記複数のシフト量算出エリアのそれぞれについて、当該シフト量算出エリアにおける前記被写体の像に含まれる、隣接する二つの前記第1の画素間の間隔または隣接する二つの前記第2の画素間の間隔よりも微細な成分の含有度を算出する含有度算出部と、
前記複数のシフト量算出エリアのそれぞれについて、当該シフト量算出エリアにおける前記含有度に基づいて、当該シフト量算出エリアの前記信頼度を補正する信頼度補正部と、
前記複数のシフト量算出エリアのそれぞれの前記補正された信頼度が高いほど、前記光学系による合焦位置と前記イメージセンサ間の距離を表す代表値における、当該シフト量算出エリアの前記局所シフト量の寄与度が大きくなるように、前記代表値を算出する代表値算出部と、
を有する合焦位置検出装置。
(付記3)
前記信頼度補正部は、前記複数のシフト量算出エリアのそれぞれについて、当該シフト量算出エリアにおける前記含有度が大きくなるほど、当該シフト量算出エリアにおける前記信頼度が表す前記局所シフト量の確からしさが低下するように前記信頼度を補正する、付記2に記載の合焦位置検出装置。
(付記4)
前記含有度算出部は、前記複数のシフト量算出エリアのそれぞれについて、対応する前記イメージセンサ上の領域の前記被写体の像の周波数ごとの成分を算出し、隣接する二つの前記第1の画素間の間隔または隣接する二つの前記第2の画素間の間隔に相当するナイキスト周波数以上の周波数の成分の和が、前記被写体の像の周波数ごとの成分の総和に占める割合が大きくなるほど前記含有度を大きくする、付記2または3に記載の合焦位置検出装置。
(付記5)
前記含有度算出部は、前記複数のシフト量算出エリアのそれぞれについて、前記第1のサブ画像または前記第2のサブ画像のエッジ強度に対する、前記イメージセンサ上の対応する領域の前記被写体の像におけるエッジ強度の比が大きくなるほど、前記含有度を大きくする、付記2または3に記載の合焦位置検出装置。
(付記6)
前記代表値算出部は、前記複数のシフト量算出エリアのそれぞれの前記局所シフト量を前記補正された信頼度で加重平均することで、前記光学系による合焦位置と前記イメージセンサ間の距離を表す代表値を算出する、付記2〜5の何れかに記載の合焦位置検出装置。
(付記7)
画像を生成するイメージセンサと、光学系とを有する撮像部における前記イメージセンサ上に設定される測定エリア内に含まれる複数のシフト量算出エリアを特定し、前記複数のシフト量算出エリアのそれぞれは、当該シフト量算出エリアに写る被写体を表す第1のサブ画像を生成する、複数の第1の画素と、当該シフト量算出エリアに写る前記被写体を表す第2のサブ画像を生成する、複数の第2の画素とを有し、前記第1のサブ画像上の前記被写体と前記第2のサブ画像上の前記被写体間のシフト量が、前記光学系による前記被写体についての合焦位置と前記イメージセンサ間の距離に応じて変化し、
前記複数のシフト量算出エリアのそれぞれについて、前記第1のサブ画像上の前記被写体と前記第2のサブ画像上の前記被写体とが最も一致するときの前記第1のサブ画像に対する前記第2のサブ画像の局所シフト量と、前記局所シフト量の確からしさを表す信頼度とを算出し、
前記複数のシフト量算出エリアのそれぞれについて、当該シフト量算出エリアにおける前記被写体の像に含まれる、隣接する二つの前記第1の画素間の間隔または隣接する二つの前記第2の画素間の間隔よりも微細な成分の含有度を算出し、
前記複数のシフト量算出エリアのそれぞれについて、当該シフト量算出エリアにおける前記含有度に基づいて、当該シフト量算出エリアの前記信頼度を補正し、
前記複数のシフト量算出エリアのそれぞれの前記補正された信頼度が高いほど、前記光学系による合焦位置と前記イメージセンサ間の距離を表す代表値における、当該シフト量算出エリアの前記局所シフト量の寄与度が大きくなるように、前記代表値を算出する、
ことを含む合焦位置検出方法。
(付記8)
画像を生成するイメージセンサと、光学系とを有する撮像部における前記イメージセンサ上に設定される測定エリア内に含まれる複数のシフト量算出エリアを特定し、前記複数のシフト量算出エリアのそれぞれは、当該シフト量算出エリアに写る被写体を表す第1のサブ画像を生成する、複数の第1の画素と、当該シフト量算出エリアに写る前記被写体を表す第2のサブ画像を生成する、複数の第2の画素とを有し、前記第1のサブ画像上の前記被写体と前記第2のサブ画像上の前記被写体間のシフト量が、前記光学系による前記被写体についての合焦位置と前記イメージセンサ間の距離に応じて変化し、
前記複数のシフト量算出エリアのそれぞれについて、前記第1のサブ画像上の前記被写体と前記第2のサブ画像上の前記被写体とが最も一致するときの前記第1のサブ画像に対する前記第2のサブ画像の局所シフト量と、前記局所シフト量の確からしさを表す信頼度とを算出し、
前記複数のシフト量算出エリアのそれぞれについて、当該シフト量算出エリアにおける前記被写体の像に含まれる、隣接する二つの前記第1の画素間の間隔または隣接する二つの前記第2の画素間の間隔よりも微細な成分の含有度を算出し、
前記複数のシフト量算出エリアのそれぞれについて、当該シフト量算出エリアにおける前記含有度に基づいて、当該シフト量算出エリアの前記信頼度を補正し、
前記複数のシフト量算出エリアのそれぞれの前記補正された信頼度が高いほど、前記光学系による合焦位置と前記イメージセンサ間の距離を表す代表値における、当該シフト量算出エリアの前記局所シフト量の寄与度が大きくなるように、前記代表値を算出する、
ことを含むプロセッサに実行させるための合焦位置検出用コンピュータプログラム。
(付記9)
画像を生成し、かつ複数のシフト量算出エリアを含むイメージセンサと、光学系とを有し、前記複数のシフト量算出エリアのそれぞれは、当該シフト量算出エリアに写る被写体を表す第1のサブ画像を生成する、複数の第1の画素と、当該シフト量算出エリアに写る前記被写体を表す第2のサブ画像を生成する、複数の第2の画素とを含み、前記第1のサブ画像上の前記被写体と前記第2のサブ画像上の前記被写体間のシフト量が、前記光学系による前記被写体についての合焦位置と前記イメージセンサ間の距離に応じて変化する撮像部と、
前記撮像部を前記被写体に合焦させる制御部と、を有し、
前記制御部は、
前記複数のシフト量算出エリアのうち、前記イメージセンサ上に設定される測定エリア内に含まれるシフト量算出エリアを特定し、
前記測定エリア内に含まれる前記シフト量算出エリアのそれぞれについて、前記第1のサブ画像上の前記被写体と前記第2のサブ画像上の前記被写体とが最も一致するときの前記第1のサブ画像に対する前記第2のサブ画像の局所シフト量と、前記局所シフト量の確からしさを表す信頼度とを算出し、
前記複数のシフト量算出エリアのそれぞれについて、当該シフト量算出エリアにおける前記被写体の像に含まれる、隣接する二つの前記第1の画素間の間隔または隣接する二つの前記第2の画素間の間隔よりも微細な成分の含有度を算出し、
前記複数のシフト量算出エリアのそれぞれについて、当該シフト量算出エリアにおける前記含有度に基づいて、当該シフト量算出エリアの前記信頼度を補正し、
前記複数のシフト量算出エリアのそれぞれの前記補正された信頼度が高いほど、前記光学系による合焦位置と前記イメージセンサ間の距離を表す代表値における、当該シフト量算出エリアの前記局所シフト量の寄与度が大きくなるように、前記代表値を算出し、
前記代表値に応じて前記撮像部を前記被写体に合焦させる、
撮像装置。
1 デジタルカメラ
2 撮像部
3 操作部
4 表示部
5 記憶部
6 制御部
11 シフト量算出エリア特定部
12 シフト量算出部
13 含有度算出部
14 信頼度補正部
15 代表値算出部
16 合焦部
21 イメージセンサ
22 撮像光学系
23 アクチュエータ

Claims (7)

  1. 像面位相差検出方式で合焦位置を算出するための位相差を検出する位相差検出部が受光面内の複数個所に配置された撮像素子を備え、焦点位置を移動可能な光学系を介して前記撮像素子の受光面に入射される光により被写体を撮像する撮像部と、
    複数の前記位相差検出部の内の第1の位相差検出部と第2の位相差検出部間の画素値から算出した周波数値が所定の値以上となる場合は、前記第1の位相差検出部と前記第2の位相差検出部の位相差の寄与度を下げて複数の前記位相差検出部によって検出された位相差に基づいて前記合焦位置を算出する算出部と、
    を含む撮像装置。
  2. 画像を生成するイメージセンサと、光学系とを有する撮像部における前記イメージセンサ上に設定される測定エリア内に含まれる複数のシフト量算出エリアを特定し、前記複数のシフト量算出エリアのそれぞれは、当該シフト量算出エリアに写る被写体を表す第1のサブ画像を生成する、複数の第1の画素と、当該シフト量算出エリアに写る前記被写体を表す第2のサブ画像を生成する、複数の第2の画素とを有し、前記第1のサブ画像上の前記被写体と前記第2のサブ画像上の前記被写体間のシフト量が、前記光学系による前記被写体についての合焦位置と前記イメージセンサ間の距離に応じて変化するシフト量算出エリア特定部と、
    前記複数のシフト量算出エリアのそれぞれについて、前記第1のサブ画像上の前記被写体と前記第2のサブ画像上の前記被写体とが最も一致するときの前記第1のサブ画像に対する前記第2のサブ画像の局所シフト量と、前記局所シフト量の確からしさを表す信頼度とを算出するシフト量算出部と、
    前記複数のシフト量算出エリアのそれぞれについて、当該シフト量算出エリアにおける前記被写体の像に含まれる、隣接する二つの前記第1の画素間の間隔または隣接する二つの前記第2の画素間の間隔よりも微細な成分の含有度を算出する含有度算出部と、
    前記複数のシフト量算出エリアのそれぞれについて、当該シフト量算出エリアにおける前記含有度に基づいて、当該シフト量算出エリアの前記信頼度を補正する信頼度補正部と、
    前記複数のシフト量算出エリアのそれぞれの前記補正された信頼度が高いほど、前記光学系による合焦位置と前記イメージセンサ間の距離を表す代表値における、当該シフト量算出エリアの前記局所シフト量の寄与度が大きくなるように、前記代表値を算出する代表値算出部と、
    を有する合焦位置検出装置。
  3. 前記信頼度補正部は、前記複数のシフト量算出エリアのそれぞれについて、当該シフト量算出エリアにおける前記含有度が大きくなるほど、当該シフト量算出エリアにおける前記信頼度が表す前記局所シフト量の確からしさが低下するように前記信頼度を補正する、請求項2に記載の合焦位置検出装置。
  4. 前記含有度算出部は、前記複数のシフト量算出エリアのそれぞれについて、対応する前記イメージセンサ上の領域の前記被写体の像の周波数ごとの成分を算出し、隣接する二つの前記第1の画素間の間隔または隣接する二つの前記第2の画素間の間隔に相当するナイキスト周波数以上の周波数の成分の和が、前記被写体の像の周波数ごとの成分の総和に占める割合が大きくなるほど前記含有度を大きくする、請求項2または3に記載の合焦位置検出装置。
  5. 前記含有度算出部は、前記複数のシフト量算出エリアのそれぞれについて、前記第1のサブ画像または前記第2のサブ画像のエッジ強度に対する、前記イメージセンサ上の対応する領域の前記被写体の像におけるエッジ強度の比が大きくなるほど、前記含有度を大きくする、請求項2または3に記載の合焦位置検出装置。
  6. 画像を生成するイメージセンサと、光学系とを有する撮像部における前記イメージセンサ上に設定される測定エリア内に含まれる複数のシフト量算出エリアを特定し、前記複数のシフト量算出エリアのそれぞれは、当該シフト量算出エリアに写る被写体を表す第1のサブ画像を生成する、複数の第1の画素と、当該シフト量算出エリアに写る前記被写体を表す第2のサブ画像を生成する、複数の第2の画素とを有し、前記第1のサブ画像上の前記被写体と前記第2のサブ画像上の前記被写体間のシフト量が、前記光学系による前記被写体についての合焦位置と前記イメージセンサ間の距離に応じて変化し、
    前記複数のシフト量算出エリアのそれぞれについて、前記第1のサブ画像上の前記被写体と前記第2のサブ画像上の前記被写体とが最も一致するときの前記第1のサブ画像に対する前記第2のサブ画像の局所シフト量と、前記局所シフト量の確からしさを表す信頼度とを算出し、
    前記複数のシフト量算出エリアのそれぞれについて、当該シフト量算出エリアにおける前記被写体の像に含まれる、隣接する二つの前記第1の画素間の間隔または隣接する二つの前記第2の画素間の間隔よりも微細な成分の含有度を算出し、
    前記複数のシフト量算出エリアのそれぞれについて、当該シフト量算出エリアにおける前記含有度に基づいて、当該シフト量算出エリアの前記信頼度を補正し、
    前記複数のシフト量算出エリアのそれぞれの前記補正された信頼度が高いほど、前記光学系による合焦位置と前記イメージセンサ間の距離を表す代表値における、当該シフト量算出エリアの前記局所シフト量の寄与度が大きくなるように、前記代表値を算出する、
    ことを含む合焦位置検出方法。
  7. 画像を生成するイメージセンサと、光学系とを有する撮像部における前記イメージセンサ上に設定される測定エリア内に含まれる複数のシフト量算出エリアを特定し、前記複数のシフト量算出エリアのそれぞれは、当該シフト量算出エリアに写る被写体を表す第1のサブ画像を生成する、複数の第1の画素と、当該シフト量算出エリアに写る前記被写体を表す第2のサブ画像を生成する、複数の第2の画素とを有し、前記第1のサブ画像上の前記被写体と前記第2のサブ画像上の前記被写体間のシフト量が、前記光学系による前記被写体についての合焦位置と前記イメージセンサ間の距離に応じて変化し、
    前記複数のシフト量算出エリアのそれぞれについて、前記第1のサブ画像上の前記被写体と前記第2のサブ画像上の前記被写体とが最も一致するときの前記第1のサブ画像に対する前記第2のサブ画像の局所シフト量と、前記局所シフト量の確からしさを表す信頼度とを算出し、
    前記複数のシフト量算出エリアのそれぞれについて、当該シフト量算出エリアにおける前記被写体の像に含まれる、隣接する二つの前記第1の画素間の間隔または隣接する二つの前記第2の画素間の間隔よりも微細な成分の含有度を算出し、
    前記複数のシフト量算出エリアのそれぞれについて、当該シフト量算出エリアにおける前記含有度に基づいて、当該シフト量算出エリアの前記信頼度を補正し、
    前記複数のシフト量算出エリアのそれぞれの前記補正された信頼度が高いほど、前記光学系による合焦位置と前記イメージセンサ間の距離を表す代表値における、当該シフト量算出エリアの前記局所シフト量の寄与度が大きくなるように、前記代表値を算出する、
    ことを含むプロセッサに実行させるための合焦位置検出用コンピュータプログラム。
JP2015172038A 2015-09-01 2015-09-01 撮像装置、合焦位置検出装置、合焦位置検出方法及び合焦位置検出用コンピュータプログラム Pending JP2017049412A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015172038A JP2017049412A (ja) 2015-09-01 2015-09-01 撮像装置、合焦位置検出装置、合焦位置検出方法及び合焦位置検出用コンピュータプログラム
US15/242,705 US20170064189A1 (en) 2015-09-01 2016-08-22 Imaging apparatus, focus position detection apparatus, and focus position detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015172038A JP2017049412A (ja) 2015-09-01 2015-09-01 撮像装置、合焦位置検出装置、合焦位置検出方法及び合焦位置検出用コンピュータプログラム

Publications (1)

Publication Number Publication Date
JP2017049412A true JP2017049412A (ja) 2017-03-09

Family

ID=58104505

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015172038A Pending JP2017049412A (ja) 2015-09-01 2015-09-01 撮像装置、合焦位置検出装置、合焦位置検出方法及び合焦位置検出用コンピュータプログラム

Country Status (2)

Country Link
US (1) US20170064189A1 (ja)
JP (1) JP2017049412A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019125942A (ja) * 2018-01-17 2019-07-25 京セラ株式会社 画像処理装置、撮像システム、移動体、および画像処理方法
JP7472719B2 (ja) 2020-08-27 2024-04-23 サクサ株式会社 脈波特定装置およびプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6608148B2 (ja) * 2015-02-24 2019-11-20 キヤノン株式会社 距離情報生成装置、撮像装置、距離情報生成方法および距離情報生成プログラム
US12014478B2 (en) * 2021-01-22 2024-06-18 Arm Limited Image adjustment based on local contrast

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6029309B2 (ja) * 2011-06-22 2016-11-24 キヤノン株式会社 焦点検出装置
JP2014029353A (ja) * 2012-07-31 2014-02-13 Sony Corp 焦点調整装置および焦点調整方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019125942A (ja) * 2018-01-17 2019-07-25 京セラ株式会社 画像処理装置、撮像システム、移動体、および画像処理方法
WO2019142675A1 (ja) * 2018-01-17 2019-07-25 京セラ株式会社 画像処理装置、撮像システム、移動体、および画像処理方法
CN111567028A (zh) * 2018-01-17 2020-08-21 京瓷株式会社 图像处理装置、拍摄系统、移动体、以及图像处理方法
CN111567028B (zh) * 2018-01-17 2021-09-21 京瓷株式会社 图像处理装置、拍摄系统、移动体、以及图像处理方法
JP7074482B2 (ja) 2018-01-17 2022-05-24 京セラ株式会社 画像処理装置、撮像システム、移動体、および画像処理方法
US11551340B2 (en) 2018-01-17 2023-01-10 Kyocera Corporation Image processing apparatus, imaging system, mobile body, and image processing method
JP7472719B2 (ja) 2020-08-27 2024-04-23 サクサ株式会社 脈波特定装置およびプログラム

Also Published As

Publication number Publication date
US20170064189A1 (en) 2017-03-02

Similar Documents

Publication Publication Date Title
US10698308B2 (en) Ranging method, automatic focusing method and device
EP3389268B1 (en) Depth information acquisition method and apparatus, and image collection device
EP2642245B1 (en) Image pickup device and distance measuring method
KR101774167B1 (ko) 합초 위치 검출 장치, 합초 위치 검출 방법 및 합초 위치 검출용 컴퓨터 프로그램
JP2015018205A5 (ja)
JP2016156934A (ja) 距離情報生成装置、撮像装置、距離情報生成方法および距離情報生成プログラム
JPWO2011158508A1 (ja) 画像処理装置および画像処理方法
US9699369B2 (en) Focus detection apparatus and control method for the same
JP2017049412A (ja) 撮像装置、合焦位置検出装置、合焦位置検出方法及び合焦位置検出用コンピュータプログラム
JP6014452B2 (ja) 焦点検出装置及びそれを有するレンズ装置及び撮像装置
JP6485116B2 (ja) 合焦位置検出装置、合焦位置検出方法及び合焦位置検出用コンピュータプログラム
JP5857712B2 (ja) ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム
US11808561B2 (en) Electronic apparatus for controlling a projector to project an image onto a screen at an actual size length, control method thereof and computer readable storage medium
US10999491B2 (en) Control apparatus, image capturing apparatus, control method, and storage medium
US10204400B2 (en) Image processing apparatus, imaging apparatus, image processing method, and recording medium
US20240171855A1 (en) Accuracy estimation apparatus, image capturing apparatus, accuracy estimation method, control method, and storage medium that provide a notification based on an accuracy
US20160134816A1 (en) Method and system for magnification correction from multiple focus planes
JP2017138199A (ja) 画像処理装置、撮像装置、および画像処理方法
JP6346484B2 (ja) 画像処理装置およびその制御方法
US20190096079A1 (en) Image measurement device, image measurement method, imaging device
WO2016194576A1 (ja) 情報処理装置および方法
JP2018074362A (ja) 画像処理装置、画像処理方法およびプログラム
KR19990023868A (ko) 거리 측정 방법
KR101839357B1 (ko) 촬상 장치 및 촬상 방법
JP7187185B2 (ja) 撮像装置およびその制御方法