JP2017049351A - 合焦位置検出装置、合焦位置検出方法及び合焦位置検出用コンピュータプログラム - Google Patents

合焦位置検出装置、合焦位置検出方法及び合焦位置検出用コンピュータプログラム Download PDF

Info

Publication number
JP2017049351A
JP2017049351A JP2015171091A JP2015171091A JP2017049351A JP 2017049351 A JP2017049351 A JP 2017049351A JP 2015171091 A JP2015171091 A JP 2015171091A JP 2015171091 A JP2015171091 A JP 2015171091A JP 2017049351 A JP2017049351 A JP 2017049351A
Authority
JP
Japan
Prior art keywords
shift amount
image
pixels
amount calculation
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015171091A
Other languages
English (en)
Inventor
昌平 中潟
Shohei Nakagata
昌平 中潟
恵 近野
Megumi Konno
恵 近野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2015171091A priority Critical patent/JP2017049351A/ja
Priority to CN201610615049.7A priority patent/CN106488111A/zh
Priority to US15/224,693 priority patent/US20170064186A1/en
Priority to KR1020160105231A priority patent/KR101774167B1/ko
Publication of JP2017049351A publication Critical patent/JP2017049351A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

【課題】位相差検出方式を用いて合焦位置を検出する際の検出精度を向上できる合焦位置検出装置を提供する。【解決手段】合焦位置検出装置は、撮像部２のイメージセンサ２１に設定した測定エリア内の各シフト量算出エリアについて、複数の第１の画素により生成される第１のサブ画像と複数の第２の画素により生成される第２のサブ画像間の局所シフト量及びその信頼度を算出し、その信頼度を、シフト量算出エリアにおける被写体のエッジ方向と直交する方向における、第１の画素間の間隔と、第２の画素間の間隔と、第１の画素と第２の画素間の位置ずれ量のうちの少なくとも一つに基づいて補正する。そしてこの合焦位置検出装置は、各シフト量算出エリアの局所シフト量を補正された信頼度で加重平均することで撮像部２の光学系２２による合焦位置とイメージセンサ２１間の距離を表す代表値を算出する。【選択図】図９

Description

本発明は、例えば、被写体を撮影して得られた画像に基づいてその被写体についての合焦位置を検出する合焦位置検出装置、合焦位置検出方法及び合焦位置検出用コンピュータプログラムに関する。
従来より、デジタルカメラあるいはビデオカメラなど、被写体を撮影する装置には、シャープな被写体の画像を生成するために、被写体までの距離を自動的に測定し、その測定結果に基づいて被写体に合焦する技術（いわゆるオートフォーカス）が実装されている。
そのようなオートフォーカス(Auto Focus, AF)方式のうち、撮像光学系を通った光束を利用する方式の一例として、位相差検出方式が知られている。位相差検出方式では、被写体から発して撮像光学系を通った光束が二つに分割され、その二つの光束のそれぞれによるイメージセンサ上の被写体の像の位置間の間隔により、合焦位置からのイメージセンサの位置ずれ量が求められる。そしてその二つの光束のそれぞれによる、被写体の像の位置が一致するように、撮像光学系の焦点位置が調節される。この位相差検出方式では、例えば、イメージセンサ上に、位相差検出方式による合焦位置の検出が可能なエリアが設定される。そしてそのエリアに含まれる、一列に並んだ複数の固体撮像素子のそれぞれについて、集光用のマイクロレンズの像面側に位置するその固体撮像素子の受光面のうち、固体撮像素子の整列方向と直交する半分がマスクされることで、一方の光束に相当する被写体の像が得られる。また、そのエリアに含まれる、他の一列に並んだ複数の固体撮像素子のそれぞれについて、集光用のマイクロレンズの像面側に位置するその固体撮像素子の受光面のうち、固体撮像素子の整列方向と直交する他の半分がマスクされることで、他方の光束に相当する被写体の像が得られる。
そのようなエリアをイメージセンサ上に複数設けることで、イメージセンサの複数の箇所で位相差検出方式によりAFを行えるようにする技術が提案されている（例えば、特許文献１を参照）。特許文献１に開示された技術では、イメージセンサ上の位相差検出方式による焦点検出が行えない着目エリアの焦点位置を検出する場合に、着目エリアの近傍にある、位相差検出方式による焦点検出可能な複数のエリアのそれぞれでデフォーカス量が求められる。そして求められたデフォーカス量の平均値が着目エリアの推定デフォーカス量として用いられる。
特開２００７−２４９４１号公報
位相差検出方式による焦点検出が可能なエリアにおいて、画質の劣化を抑制するために、位相差検出用の画像の生成に利用される、受光面の一部がマスクされた画素が離散的に配置されることがある。このような場合、被写体のエッジ方向によっては、二つの被写体の像間のシフト量が正確に求められず、合焦位置からのデフォーカス量が不正確となり、その結果として、カメラが被写体に合焦されないおそれがあった。
一つの側面では、本発明は、位相差検出方式を用いて合焦位置を検出する際の検出精度を向上できる合焦位置検出装置を提供することを目的とする。
一つの実施形態によれば、合焦位置検出装置が提供される。この合焦位置検出装置は、画像を生成するイメージセンサと、光学系とを有する撮像部におけるイメージセンサ上に設定される測定エリア内に含まれる複数のシフト量算出エリアを特定し、複数のシフト量算出エリアのそれぞれは、シフト量算出エリアに写る被写体を表す第１のサブ画像を生成する、複数の第１の画素と、シフト量算出エリアに写る被写体を表す第２のサブ画像を生成する、複数の第２の画素とを有し、第１のサブ画像上の被写体と第２のサブ画像上の被写体間のシフト量が、光学系による被写体についての合焦位置とイメージセンサ間の距離に応じて変化するシフト量算出エリア特定部と、複数のシフト量算出エリアのそれぞれについて、第１のサブ画像上の被写体と第２のサブ画像上の被写体とが最も一致するときの第１のサブ画像に対する第２のサブ画像の局所シフト量と、局所シフト量の確からしさを表す信頼度とを算出するシフト量算出部と、複数のシフト量算出エリアのそれぞれについて、そのシフト量算出エリアでの被写体のエッジ方向と直交する方向における、複数の第１の画素のうちの隣接する第１の画素間の間隔と、複数の第２の画素のうちの隣接する第２の画素間の間隔と、複数の第１の画素と複数の第２の画素の位置ずれ量のうちの少なくとも一つに基づいて、そのシフト量算出エリアの信頼度を補正する信頼度補正部と、複数のシフト量算出エリアのそれぞれの局所シフト量を補正された信頼度で加重平均することで、光学系による合焦位置とイメージセンサ間の距離を表す代表値を算出する代表値算出部とを有する。
位相差検出方式を用いて合焦位置を検出する際の検出精度を向上できる。
（ａ）は、ＡＦエリア内に配置される左画素と右画素の配置の一例を示す図である。（ｂ）は、（ａ）に示された左画素及び右画素の配置と、左画像及び右画像の関係を示す図である。 （ａ）は、ＡＦエリアに、垂直方向のエッジを持つ被写体が写った場合の左画像と右画像の一例を示す図である。（ｂ）は、（ａ）に示されたＡＦエリアに、左画素及び右画素の配列方向と平行なエッジを持つ被写体が写った場合の左画像と右画像の一例を示す図である。 （ａ）は、ＡＦエリアにおける、左画素及び右画素の配列の他の一例を示す図である。（ｂ）は、（ａ）に示されたＡＦエリアに写る被写体が垂直方向のエッジを持っており、かつ、左画像が、右画像に対して左側に２画素シフトしている場合の左画像と右画像の関係を示す図である。（ｃ）は、（ａ）に示されたＡＦエリアに写る被写体が左画素及び右画素の配列方向と平行なエッジを持っており、かつ、左画像が、右画像に対して左側に２画素シフトしている場合の左画像と右画像の関係を示す図である。 （ａ）は、図２（ａ）におけるＡＦエリアの各左画素及び各右画素を、エッジの方向に沿って投影した場合の左画素の分布及び右画素の分布を示す図である。（ｂ）は、図２（ｂ）におけるＡＦエリアの各左画素及び各右画素を、エッジの方向に沿って投影した場合の左画素の分布及び右画素の分布を示す図である。 （ａ）は、図３（ｂ）におけるＡＦエリアの各左画素を、エッジの方向に沿って投影した場合の左画素の分布の分布を示す図である。（ｂ）は、図３（ｃ）におけるＡＦエリアの各左画素を、エッジの方向に沿って投影した場合の左画素の分布の分布を示す図である。 合焦位置検出装置が実装された撮像装置の一例であるデジタルカメラの概略構成図である。 イメージセンサ上に設けられるＡＦエリアの一例を示す図である。 図７に示されるＡＦエリア内の二つの画素列によりそれぞれ生成されるサブ画像の一例を示す図である。 制御部の機能ブロック図である。 測定エリアとシフト量算出エリアの関係の一例を示す図である。 （ａ）及び（ｂ）は、それぞれ、等角直線フィッティングの原理を示す図である。 画素のエッジ方向への投影を説明する図である。 左画素及び右画素の配置及びエッジ方向と、投影後の左画素及び右画素の分布の一例を示す図である。 図１３に示される左画素の配置について、エッジ方向ごとの左画素間の間隔を表す図である。 図１３に示される左画素及び右画素の配置について、エッジ方向ごとの左画素と右画素間の位置ずれ量を表す図である。 合焦位置検出処理の動作フローチャートである。 （ａ）は、信頼度を補正しない場合の測定エリア内の各シフト量算出エリアの局所シフト量と信頼度を示す図である。（ｂ）は、実施形態またはその変形例に従って信頼度が補正された場合の測定エリア内の各シフト量算出エリアの局所シフト量と信頼度を示す図である。
図を参照しつつ、一つの実施形態による合焦位置検出装置について説明する。この合焦位置検出装置は、イメージセンサ上の測定対象エリアに含まれる、位相差検出方式による合焦位置の検出が可能な複数のエリアのそれぞれにおける二つの被写体の像間のシフト量及びその信頼度に基づいて、測定対象エリア全体についての合焦位置を求める。その際、この合焦位置検出装置は、各エリアについて、被写体のエッジ方向を推定する。この合焦位置検出装置は、各エリアについて、エッジ方向と直交する方向における、位相差検出用の被写体の一方の像生成に利用される画素（便宜上、左画素と呼ぶ）間の間隔と、被写体の他方の像生成に利用される画素（便宜上、右画素と呼ぶ）間の間隔を求める。また、この合焦位置検出装置は、各エリアについて、エッジ方向と直交する方向における、左画素と右画素間の位置ずれ量を求める。そしてこの合焦位置検出装置は、各エリアについて、エッジ方向と直交する方向における左画素間の間隔、右画素間の間隔、及び左画素と右画素間の位置ずれ量に応じて、二つの被写体の像間のシフト量の信頼度を補正する。
なお、以下では、説明の便宜上、位相差検出方式による合焦位置の検出が可能なエリアをＡＦエリアと呼ぶ。また、ＡＦエリアにおいて、右画素の集合により生成される被写体のサブ画像を右画像と呼び、左画素の集合により生成される被写体のサブ画像を左画像と呼ぶ。
ここで、理解を容易にするために、ＡＦエリアにおける、左画素及び右画素の配列と、ＡＦエリアにおける、被写体のエッジ方向との関係によるシフト量の測定精度への影響について説明する。
図１（ａ）は、ＡＦエリア内に配置される左画素と右画素の配置の一例を示す図である。図１（ａ）において、ＡＦエリア１００内において、左画素１０１は'L'で表され、右画素１０２は、'R'で表されている。図１（ａ）に示されるように、各左画素１０１は、撮像部により生成される画像の画質が左画素により劣化することを抑制するために、互いに隣接しないように離散的に配置されている。同様に、各右画素１０２も、互いに隣接しないように離散的に配置されている。
図１（ｂ）は、図１（ａ）に示された左画素及び右画素の配列と、左画像及び右画像の関係を示す図である。図１（ａ）に示されたＡＦエリア１００における各左画素１０１の画素値を垂直方向に投影することで、各左画素１０１の画素値が離散的に一列に並んだ画素列１１１が生成される。そして画素列１１１に対して補間処理を実行して、投影される左画素が無い画素の画素値を求めることで、左画像１２１が生成される。同様に、ＡＦエリア１００における各右画素１０２の画素値を垂直方向に投影することで、各右画素１０２の画素値が離散的に一列に並んだ画素列１１２が生成される。そして画素列１１２に対して補間処理を実行して、投影される右画素が無い画素の画素値を求めることで、右画像１２２が生成される。
図２（ａ）は、図１（ａ）に示されたＡＦエリア１００と同じ左画素及び右画素の配列を持つＡＦエリア２００に、垂直方向のエッジを持つ被写体が写った場合の左画像と右画像の一例を示す図である。この例では、被写体に対して撮像部が完全に合焦されているものとする。この例では、被写体のエッジ２０３の方向は、垂直方向となっており、左画素２０１及び右画素２０２の配列方向と異なっている。また、左画像２１１におけるエッジ２２１の位置は、右画像２１２におけるエッジ２２２の位置と同じであり、左画像と右画像間のシフト量は0となっている。このように、この例では、シフト量は正確に求められている。
一方、図２（ｂ）は、ＡＦエリア２００に、左画素２０１及び右画素２０２の配列方向と平行なエッジを持つ被写体が写った場合の左画像と右画像の一例を示す図である。この例でも、被写体に対して撮像部が完全に合焦されているものとする。この例では、被写体のエッジ２３１は、左画素２０１及び右画素２０２の配列方向と平行となっている。そして、左画像２４１におけるエッジ２５１の位置は、右画像２４２におけるエッジ２５２の位置に対して右側へ４画素シフトしている。しかし、本来は、被写体に対して撮像部が完全に合焦されているので、シフト量は0となるはずである。このように、この例では、求められたシフト量に４画素の誤差が含まれている。
また、左画素と右画素の配列と被写体のエッジ方向の関係により、シフト量の測定精度が低下する他の例について説明する。
図３（ａ）は、ＡＦエリアにおける、左画素及び右画素の配列の他の一例を示す図である。この例では、ＡＦエリア３００において、左画素３０１と右画素３０２は、それぞれ、離散的に配置されているが、左画素３０１と右画素３０２の水平方向の位置は同じとなっている。
図３（ｂ）は、ＡＦエリア３００に写る被写体が垂直方向のエッジを持っており、かつ、左画像が、右画像に対して左側に２画素シフトしている場合の左画像と右画像の関係を示す。この例では、ＡＦエリア３００において、左画像で表される被写体の像のエッジ３１１は、右画像で表される被写体の像のエッジ３１２よりも左側に２画素シフトしている。また、左画像３２１上でも、エッジ３３１は、右画像３２２上のエッジ３３２に対して左側へ２画素シフトしている。このように、この例では、シフト量は正確に求められている。
図３（ｃ）は、ＡＦエリア３００に写る被写体が左画素及び右画素の配列方向と平行なエッジを持っており、かつ、左画像が、右画像に対して左側に２画素シフトしている場合の左画像と右画像の関係を示す。ＡＦエリア３００において、左画像で表される被写体の像のエッジ３４１は、右画像で表される被写体の像のエッジ３４２よりも左側に２画素シフトしているが、左画像３５１上でのエッジ３６１の位置と右画像３５２上でのエッジ３６２の位置は同一となっている。しかし、本来は、シフト量は2となるはずである。このように、この例では、求められたシフト量に2画素の誤差が含まれている。
ここで、上記の例のように、被写体のエッジ方向によって、測定されるシフト量に誤差が生じる原因について検討する。
図４（ａ）は、図２（ａ）におけるＡＦエリア２００の各左画素２０１及び各右画素２０２を、エッジ２０３の方向に沿って投影した場合の左画素の分布及び右画素の分布を示す。一方、図４（ｂ）は、図２（ｂ）におけるＡＦエリア２００の各左画素２０１及び各右画素２０２を、エッジ２３１の方向に沿って投影した場合の左画素の分布及び右画素の分布を示す。
図４（ａ）に示されるように、被写体のエッジ方向が垂直な場合には、投影後の左画素列４０１及び右画素列４０２における、エッジ２０３と直交する方向４０３における左画素２０１の位置と右画素２０２の位置は同じとなっている。一方、図４（ｂ）に示されるように、被写体のエッジ方向が左画素及び右画素の配列と平行な場合、投影後の左画素列４１１及び右画素列４１２では、エッジ２３１と直交する方向４１３における、左画素２０１の位置と右画素２０２の位置は互いに異なっている。このことから、各左画素と各右画素を被写体のエッジ方向に沿って投影した場合の、エッジと直交する方向における左画素と右画素間の位置ずれが、シフト量の測定誤差の原因の一つとなることが分かる。
図５（ａ）は、図３（ｂ）におけるＡＦエリア３００の各左画素３０１を、エッジ３１１の方向に沿って投影した場合の左画素の分布の分布を示す。一方、図５（ｂ）は、図３（ｃ）におけるＡＦエリア３００の各左画素３０１を、エッジ３４１の方向に沿って投影した場合の左画素の分布の分布を示す。
図５（ａ）に示されるように、被写体のエッジ方向が垂直な場合には、投影後の画素列５０１における、エッジ３１１と直交する方向５０２では、左画素３０１は相対的に密に配置され、隣接する左画素間の間隔は狭い。一方、図５（ｂ）に示されるように、被写体のエッジ方向が左画素及び右画素の配列と平行な場合には、投影後の画素列５１１における、エッジ３４１と直交する方向５１２では、左画素３０１は相対的に疎に配置され、隣接する左画素間の間隔は広くなっている。そしてエッジ３４１と直交する方向では、エッジ３４１の位置が、二つの隣接する左画素間に含まれているために、正確なエッジ３４１の位置が求められなくなっている。このことから、各左画素と各右画素を被写体のエッジ方向に沿って投影した場合の、エッジと直交する方向における左画素間の間隔及び右画素間の間隔が、シフト量の測定誤差の原因の他の一つとなることが分かる。
そこで、この合焦位置検出装置は、各ＡＦエリアについて、エッジ方向と直交する方向における左画素間の間隔、右画素間の間隔、及び左画素と右画素間の位置ずれ量が大きくなるほど、二つの被写体の像間のシフト量の信頼度を低下させる。
図６は、合焦位置検出装置が実装された撮像装置の一例であるデジタルカメラの概略構成図である。図６に示すように、デジタルカメラ１は、撮像部２と、操作部３と、表示部４と、記憶部５と、制御部６とを有する。さらにデジタルカメラ１は、デジタルカメラ１をコンピュータ、またはテレビといった他の機器と接続するために、ユニバーサルシリアルバスなどのシリアルバス規格に従ったインターフェース回路（図示せず）を有していてもよい。また制御部６と、デジタルカメラ１のその他の各部とは、例えば、バスにより接続されている。なお、合焦位置検出装置は、撮像部を有する様々な装置に適用可能である。
撮像部２は、イメージセンサ２１と、撮像光学系２２と、アクチュエータ２３とを有する。イメージセンサ２１は、２次元状に配置された固体撮像素子のアレイを有し、画像を生成する。また、各固体撮像素子の前面には、例えば、集光用のマイクロレンズが設けられる。そしてイメージセンサ２１には、複数のＡＦエリアが設けられる。撮像光学系２２は、イメージセンサ２１の前面側に設けられ、例えば、光軸に沿って配列された１以上のレンズを有し、合焦された状態でイメージセンサ２１上に被写体の像を結像する。アクチュエータ２３は、例えば、ステッピングモータを有し、制御部６からの制御信号に従った回転量だけステッピングモータを回転させることで、撮像光学系２２の一部のレンズまたは全体を光軸に沿って移動させることで合焦位置を調節する。そして撮像部２は、被写体の像が写った画像を生成する度に、その生成した画像を制御部６へ送信する。
図７は、イメージセンサ２１上に設けられる、ＡＦエリアの一例を示す図である。この例では、イメージセンサ２１が画像を生成する範囲である撮像範囲７００のなかに、水平方向にｍ個、垂直方向にｎ個（ただし、ｍ≧１、ｎ≧１）のＡＦエリア７０１−１〜７０１−(mxn)が設けられる。各ＡＦエリアから、左画素７０２が水平方向に複数並んだ左画素列７０３により生成される左画像と、右画素７０４が水平方向に複数並んだ右画素列７０５により生成される右画像が生成される。なお、左画素に相当する固体撮像素子では、例えば、その受光面の左半分がマスクされる。また、右画素に相当する固体撮像素子では、例えば、その受光面の右半分がマスクされる。
図８は、図７に示されるＡＦエリア内の二つの画素列によりそれぞれ生成される左画像及び右画像の一例を示す図である。左画素列７０３により生成される左画像８０１と、右画素列７０５により生成される右画像８０２とは、ＡＦエリアに写っている被写体についての撮像光学系２２による合焦位置８１０がイメージセンサ２１上にある場合、略一致する。しかし、撮像光学系２２による合焦位置８１０がイメージセンサ２１よりも被写体側、すなわち前側にある場合、左画像８０１は、その被写体について合焦されている場合よりも右側にずれる。一方、右画像８０２は、その被写体について合焦されている場合よりも左側にずれる。逆に、撮像光学系２２による合焦位置８１０がイメージセンサ２１よりも被写体から離れた側、すなわち後側にある場合、左画像８０１は、その被写体について合焦されている場合よりも左側にずれる。一方、右画像８０２は、その被写体について合焦されている場合よりも右側にずれる。したがって、左画像８０１と右画像８０２の一方を、他方に対して水平方向にシフトさせて一致度合を調べると、最も一致するときのシフト量が、合焦位置からのイメージセンサ２１の位置ずれ量を表している。そこで、そのシフト量が0となるように撮像光学系２２を移動させることで、制御部６は、撮像部２を、被写体に対して合焦させることができる。
操作部３は、例えば、デジタルカメラ１をユーザが操作するための各種の操作ボタンまたはダイヤルスイッチを有する。そして操作部３は、ユーザの操作に応じて、撮影または合焦の開始などの制御信号またはシャッター速度、絞り径などを設定するための設定信号を制御部６へ送信する。
また操作部３は、ユーザの操作にしたがって、撮影範囲内で撮像部２の合焦位置を検出するエリア（以下、便宜上、測定エリアと呼ぶ）を表す情報を制御部６へ送信する。測定エリアは、例えば、撮影範囲の中央部、左上、右下、撮影範囲全体など、予め複数設定され、ユーザは、操作部３を操作することで何れかの測定エリアを選択する。あるいは、測定エリアは、撮影範囲内の任意の位置に設定されてもよい。
表示部４は、例えば、液晶ディスプレイ装置といった表示装置を有し、制御部６から受け取った各種の情報、または撮像部２により生成された画像を表示する。なお、操作部３と表示部４とは、例えば、タッチパネルディスプレイを用いて一体的に形成されてもよい。
記憶部５は、例えば、読み書き可能な揮発性または不揮発性の半導体メモリ回路を有する。そして記憶部５は、撮像部２から受け取った画像を記憶する。また、記憶部５は、制御部６が合焦位置の検出に利用する各種のデータを記憶する。記憶部５は、そのようなデータとして、例えば、各ＡＦエリアの位置及び範囲を表す情報（例えば、撮像部２により生成される画像上でのＡＦエリアの左上端及び右下端の座標）と識別情報などを記憶する。さらに、記憶部５は、撮像光学系２２の焦点位置調節に利用される焦点位置テーブルを記憶する。焦点位置テーブルは、撮像光学系２２が基準位置にある場合の撮像部２から被写体までの距離に相当するシフト量と、その距離にある被写体に対して撮像光学系２２を合焦させるための撮像光学系２２の移動量に相当するステッピングモータの回転量との関係を表す。撮像光学系２２の基準位置は、例えば、撮像光学系２２が無限遠に対して合焦するときの撮像光学系２２の位置に対応する。さらに、制御部６が有する各機能が、制御部６が有するプロセッサ上で実行されるコンピュータプログラムにより実現される場合、記憶部５は、そのコンピュータプログラムを記憶してもよい。
制御部６は、合焦位置検出装置の一例であり、少なくとも一つのプロセッサ及びその周辺回路を有する。そして制御部６は、デジタルカメラ１全体を制御する。また制御部６は、撮像部２から受け取った画像に基づいて合焦位置を検出し、検出した合焦位置に基づいて、撮像光学系２２の合焦位置を調節する。
図９は、合焦位置の検出及び合焦位置の調節に関する、制御部６の機能ブロック図である。制御部６は、シフト量算出エリア特定部１１と、シフト量算出部１２と、エッジ方向算出部１３と、位相差画素配列情報算出部１４と、信頼度補正部１５と、代表値算出部１６と、合焦部１７とを有する。制御部６が有するこれらの各部は、例えば、制御部６が有するプロセッサ上で実行されるコンピュータプログラムによって実現される機能モジュールとして実装される。あるいは、制御部６が有するこれらの各部の機能を実現する一つまたは複数の集積回路が、制御部６とは別個に、デジタルカメラ１に実装されてもよい。
シフト量算出エリア特定部１１は、イメージセンサ２１上で、ユーザにより選択または設定された測定エリア内に含まれるＡＦエリアを、シフト量算出エリアとして特定する。その際、シフト量算出エリア特定部１１は、記憶部５から、各ＡＦエリアの位置及び範囲を表す情報を読み込む。そしてシフト量算出エリア特定部１１は、各ＡＦエリアの位置及び範囲を表す情報を参照して、測定エリアと少なくとも一部が重なるＡＦエリアをシフト量算出エリアとして特定すればよい。あるいは、シフト量算出エリア特定部１１は、測定エリア内に完全に含まれるＡＦエリアをシフト量算出エリアとしてもよい。
図１０は、測定エリアとシフト量算出エリアの関係の一例を示す図である。この例では、イメージセンサ２１が画像を生成する範囲である撮影範囲１０００内に設定された測定エリア１００１内に、１２個のＡＦエリア１００２−１〜１００２−１２が含まれている。そこでＡＦエリア１００２−１〜１００２−１２が、それぞれ、シフト量算出エリアとして特定される。
シフト量算出エリア特定部１１は、シフト量算出エリアとして特定された各ＡＦエリアの識別情報を、シフト量算出部１２及びエッジ方向算出部１３へ通知する。
シフト量算出部１２は、シフト量算出エリア特定部１１から通知されたＡＦエリアの識別情報で特定されるシフト量算出エリアのそれぞれについて、左画像と右画像とが最も一致するときのシフト量及びそのシフト量の確からしさを表す信頼度を算出する。
まず、各シフト量算出エリアにおける、左画像と右画像とが最も一致するときのシフト量（以下、便宜上、局所シフト量と呼ぶ）の算出について説明する。
シフト量算出部１２は、例えば、左画像に対して右画像の位置を１画素ずつシフトしながら対応画素間の画素値の差分絶対値の和(SAD)を算出する。そしてシフト量算出部１２は、SAD値が最小となるときの、左画像に対する右画像のシフト量を局所シフト量とすることができる。
シフト量算出部１２は、各シフト量算出エリアについて、例えば、次式に従って、シフト量sについてのSAD(s)を算出できる。
ここで、Nは、一回のSAD計算に使用する左画像および右画像の画素数を表す。+S〜-Sは、局所シフト量の探索範囲となるシフト量の範囲を表す。また、L[n]、R[n]は、それぞれ左画像と右画像のn番目の画素の値を表す。
（１）式では、画素単位で局所シフト量が算出される。しかし、実際には、SAD値が最小となる局所シフト量は、画素単位とは限らない。そこで、シフト量算出部１２は、サブ画素単位で局所シフト量を求めるために、（１）式でSAD値が最小となるシフト量及びその周囲のシフト量についてのSAD値を用いた等角直線フィッティングにより、サブ画素単位で局所シフト量を求める。
図１１（ａ）及び図１１（ｂ）は、それぞれ、等角直線フィッティングの原理を示す図である。図１１（ａ）及び図１１（ｂ）において、横軸はシフト量を表し、縦軸はSAD値を表す。bは、（１）式により算出されたSADの最小値を表し、aは、SADの最小値に対応するシフト量に対してシフト量が1画素少ないときのSAD値を表し、cは、SADの最小値に対応するシフト量に対してシフト量が1画素多いときのSAD値を表す。等角直線フィッティングでは、局所シフト量から、シフト量が減少する場合のSAD値の増加の傾きと、シフト量が増加する場合のSAD値の増加の傾きとが等しいと仮定される。
そこで、SADの最小値bに対応する点と、隣接するa,cのうちSAD値が大きい方の点を通る直線、すなわち、直線abとbcのうち、傾きの絶対値が大きい方の直線１１０１が求められる。図１１（ａ）に示されるように、a>cの場合には、直線abが直線１１０１となり、一方、図１１（ｂ）に示されるように、a<cの場合には、直線bcが直線１１０１となる。さらにa,cのうち、SAD値が小さい方を通り、傾きが直線１１０１と逆(すなわち、傾きの符号が反転する)になる直線１１０２が求められる。そして直線１１０１と直線１１０２の交点に対応するシフト量がサブ画素単位での局所シフト量shとなる。
シフト量算出部１２は、次式に従って、等角直線フィッティングによる局所シフト量shを算出できる。
ここで、sminは、SAD値が最小となる画素単位のシフト量を表す。そしてa = SAD[smin-1]、b = SAD[smin]、c = SAD[smin+1]である。なお、以下では、サブ画素単位の局所シフト量shを、単に局所シフト量と呼ぶ。
左画像を形成する、左画素列に含まれる各左画素の値、及び、右画像を形成する、右画素列に含まれる各右画素の値にノイズ成分が含まれていなければ、上記のように算出された局所シフト量は、比較的正確な値となることが想定される。しかし、被写体が暗い場合などには、各左画素または各右画素の値において、ノイズ成分が寄与する度合いが大きくなる。このような場合、局所シフト量は、必ずしも正確な値が得られているとは限られない。
そこで、シフト量算出部１２は、各シフト量算出エリアについて、局所シフト量の確からしさを表す信頼度を算出する。
本実施形態では、シフト量算出部１２は、信頼度として、局所シフト量の分散の推定値を算出する。一般に、局所シフト量の分散が小さいほど、局所シフト量は正確な値である可能性が高いためである。なお、以下では、便宜上、局所シフト量の分散を推定分散と呼ぶ。
ここで、左画像及び右画像に表される被写体のコントラストが一定である場合において、左画素列または右画素列に含まれる各画素に重畳されるノイズ成分が大きくなるほど、SAD値の最小値が大きくなり、局所シフト量のバラつきが大きくなる。一方、SAD値の最小値が一定、すなわち、左画素列または右画素列に含まれる各画素に重畳されるノイズ成分が一定であれば、左画像及び右画像に表される被写体のコントラストが高くなるほど局所シフト量のバラつきが小さくなる。そこで、シフト量算出部１２は、左画像または右画像のコントラストに対する、SAD値の最小値の比に基づいて、局所シフト量の分散の推定値を算出する。
シフト量算出部１２は、左画像または右画像に表される被写体のコントラストに対する、SAD値の最小値の比Rを、次式に従って算出する。
ここで、SADminは、（１）式に従って算出されるSAD値のうちの最小値であり、Cはコントラスト値である。コントラスト値Cは、例えば、左画像及び右画像に含まれる画素の値のうちの最大値Pmaxと左画像及び右画像に含まれる画素の値のうちの最小値Pminの差(Pmax-Pmin)として算出される。あるいは、コントラストCは、(Pmax-Pmin)/(Pmax+Pmin)で算出されてもよい。また、Pmax及びPminは、それぞれ、左画像及び右画像のうちの一方の画素値の最大値、最小値であってもよい。
シフト量算出部１２は、例えば、比Rと推定分散の関係を表す参照テーブルを参照することで、（３）式に従って算出された比Rに対応する推定分散の値、すなわち信頼度を求めることができる。参照テーブルは、例えば、実験またはシミュレーションにより、局所シフト量とコントラストが既知の左画像と右画像のテストパターンに対して、各画素値に重畳するノイズの量を様々に変えて比Rに対する局所シフト量のバラつきを求めることで作成される。そして参照テーブルは、予め、記憶部５に記憶される。
変形例によれば、シフト量算出部１２は、信頼度として、局所シフト量の誤差の絶対値の期待値を算出してもよい。この場合も、シフト量算出部１２は、予め作成され、記憶部５に記憶される比Rと局所シフト量の誤差の絶対値の期待値の関係を表す参照テーブルを参照して、比Rに対応する局所シフト量の誤差の絶対値の期待値を求めればよい。
また他の変形例によれば、シフト量算出部１２は、信頼度として、算出された局所シフト量と本当のシフト量である正解シフト量間の誤差が所定の値（例えば、3画素）以下となる確率を算出してもよい。この場合も、シフト量算出部１２は、予め作成され、記憶部５に記憶される比Rと誤差が所定値以下となる確率の関係を表す参照テーブルを参照して、比Rに対応するその確率を求めればよい。
あるいはまた、シフト量算出部１２は、（３）式に従って算出された比Rそのものを、信頼度としてもよい。
シフト量算出部１２は、各シフト量算出エリアについての局所シフト量を代表値算出部１６へ出力し、各シフト量算出エリアについての信頼度を信頼度補正部１５へ出力する。
エッジ方向算出部１３は、各シフト量算出エリアについて、被写体のエッジ方向を算出する。なお、エッジ方向算出部１３は、各シフト量算出エリアに対して同じ処理を実行するので、以下では、一つのシフト量算出エリアにおけるエッジ方向の算出処理について説明する。
上記のように、局所シフト量の算出に用いられる左画素及び右画素は、シフト量算出エリアにおいて離散的に配置されていることがある。そこで、例えば、エッジ方向算出部１３は、シフト量算出エリアに含まれる、局所シフト量の算出に用いられる左画素及び右画素以外の撮像用の画素の値を使用して、被写体のエッジ方向を算出する。
この場合、エッジ方向算出部１３は、シフト量算出エリア内の各左画素及び各右画素の値を、その周囲の画素の値を用いて、最近傍補間、バイリニア補間あるいはバイキュービック補間など補間処理を適用して補間した補間画像を生成する。そしてエッジ方向算出部１３は、補間画像に基づいてエッジ方向を求める。なお、エッジ方向算出部１３は、撮像用の画素の値を取得できず、左画素及び右画素の値しか使えない場合は、補間対象となる画素の左右各々の左画素または右画素の値を用いて、その画素の値を補間する。これにより、エッジ方向算出部１３は、左画素または右画素が縦横一定の間隔で格子状に並んだ補間画像を生成してもよい。
エッジ方向算出部１３は、例えば、シフト量算出エリアの補間画像に対して、Sobelフィルタなど、エッジ強度がエッジ方向に応じた値を持つエッジ検出フィルタを利用したエッジ方向検出処理を適用する。
例えば、エッジ方向算出部１３は、補間画像上の各画素に対して、水平方向のエッジ強度を算出するSobelフィルタと、垂直方向のエッジ強度を算出するSobelフィルタとを適用して、水平方向のエッジ強度及び垂直方向のエッジ強度を算出する。この場合、補間画像上の位置(x,y)にある画素の値をf(x,y)とすると、垂直方向のエッジ強度Sv(x,y)および水平方向のエッジ強度Sh(x,y)は次式で表される。
さらに、エッジ方向算出部１３は、補間画像上の各画素に対して、次式に従って、エッジ強度St(x,y)及びその画素におけるエッジ方向θ(x,y)を算出する。
エッジ方向算出部１３は、補間画像全体で、エッジ方向θ(x,y)ごとに、エッジ強度St(x,y)の和を算出することで、エッジ方向θ(x,y)のヒストグラムを求める。そしてエッジ方向算出部１３は、エッジ方向θ(x,y)のヒストグラムにおいて、度数が最大となる方向を、シフト量算出エリアにおける被写体のエッジ方向とする。
なお、エッジ方向算出部１３は、画像上に写っている被写体のエッジ方向を求める他の様々なエッジ方向算出処理の何れかを適用して、シフト量算出エリアにおける被写体のエッジ方向を求めてもよい。
エッジ方向算出部１３は、各シフト量算出エリアにおける被写体のエッジ方向を、位相差画素配列情報算出部１４へ通知する。
位相差画素配列情報算出部１４は、各シフト量算出エリアについて、そのシフト量算出エリアにおける被写体のエッジ方向と直交する方向における、左画素間の間隔、右画素間の間隔、及び、左画素と右画素間の位置ずれ量を算出する。なお、位相差画素配列情報算出部１４は、各シフト量算出エリアに対して同じ処理を実行するので、以下では、一つのシフト量算出エリアについての処理について説明する。
位相差画素配列情報算出部１４は、左画素間の間隔、右画素間の間隔、及び、左画素と右画素間の位置ずれ量を算出するために、シフト量算出エリア内の各左画素及び各右画素を、そのシフト量算出エリアにおける被写体のエッジ方向に沿って投影する。
図１２は、画素のエッジ方向への投影を説明する図である。図１２において、x軸方向は、シフト量算出エリアの水平方向を表し、y軸方向は、シフト量算出エリアの垂直方向を表す。また線１２００は、エッジ方向を表し、x'軸方向は、エッジ方向と直交する方向を表す。そしてθは、水平方向とエッジ方向間の角度である。この場合、位置(p,q)にある画素P(p,q)を、エッジ方向１２００に沿ってx'軸に投影した場合、投影後のエッジ方向と直交する方向についての画素P(p,q)の座標、すなわち、x'軸における座標p'は、次式で表される。
そこで、位相差画素配列情報算出部１４は、シフト量算出エリア内の各左画素及び各右画素について、（６）式に従ってエッジ方向と直交する方向の座標を算出する。
図１３は、左画素及び右画素の配置及びエッジ方向と、投影後の左画素及び右画素の分布の一例を示す図である。図１３において、シフト量算出エリア１３００内の左画素１３０１は、'L'で表され、右画素１３０２は、'R'で表されている。また、x軸方向は、シフト量算出エリアの水平方向を表し、y軸方向は、シフト量算出エリアの垂直方向を表す。この例では、矢印１３１０で示される方向に沿ってエッジが形成されている。そのため、各左画素１３０１をエッジ方向１３１０に沿って投影すると、エッジ方向１３１０と直交する方向における、左画素の分布１３２１が得られる。分布１３２１において、横軸は、エッジ方向と直交する方向の座標を表し、縦軸は、左画素の有無を表し、'1'は、左画素が１個以上存在していることを表し、'0'は、左画素が存在しないことをあらわす。同様に、各右画素１３０２をエッジ方向１３１０に沿って投影すると、エッジ方向１３１０と直交する方向における、右画素の分布１３２２が得られる。分布１３２２において、横軸は、エッジ方向と直交する方向の座標を表し、縦軸は、右画素の有無を表し、'1'は、右画素が１個以上存在していることを表し、'0'は、左画素が存在しないことをあらわす。この例では、エッジ方向と直交する方向において、左画素間の間隔及び右画素の間隔の何れも７画素となっている。
位相差画素配列情報算出部１４は、エッジ方向と直交する方向への投影後における、各左画素の位置に基づいて、エッジ方向と直交する方向における、左画素間の間隔を算出する。同様に、位相差画素配列情報算出部１４は、エッジ方向と直交する方向への投影後における、各右画素の位置に基づいて、エッジ方向と直交する方向における、右画素間の間隔を算出する。なお、位相差画素配列情報算出部１４は、左画素間の間隔の算出及び右画素間の間隔の算出について、同じ処理を実行すればよいので、以下では、左画素間の間隔の算出について説明する。
図１３に示されるように、投影後の左画素間の間隔が同一である場合、位相差画素配列情報算出部１４は、その間隔を、そのまま、エッジ方向と直交する方向における左画素間の間隔とする。しかし、エッジ方向と直交する方向における位置に応じて隣接する二つの左画素間の間隔が異なる場合がある。
例えば、ある位置において、隣接する二つの左画素間の間隔が8で、その隣の二つの左画素間の間隔が2であるとする。この場合、二つの間隔を単純に平均して得られる値((8+2)/2=5)を、左画素間の間隔として算出すると、小さい方の間隔(2)により、左画素の配置が実現し得る本来の解像度よりも、左画素間の間隔として良好な値が得られてしまう。このことは、左画素間の間隔が交互に8と2となる画素配置よりも、左画素間の間隔が均等に5となる画素配置の方が、最大となる間隔が狭いので、解像度は良好となることから分かる。
そこで、例えば、位相差画素配列情報算出部１４は、次式に従って、左画素間の間隔dLを算出する。
ここで、pjは、隣接する二つの左画素間の間隔であり、Σpjは、隣接する二つの左画素間の間隔が繰り返し同一となる区間に含まれる、隣接する二つの左画素間の間隔の総和を表す。すなわち、左画素間の間隔dLは、隣接する二つの左画素間の間隔が繰り返し同一となる区間に含まれる任意の画素の位置における、左画素間の間隔の期待値を表す。
例えば、上記のように、隣接する二つの左画素間の間隔が交互に8と2となる場合、隣接する二つの左画素間の間隔が繰り返し同一となる区間の長さは10となる。この場合、前半の間隔(8)に着目する画素が含まれる確率は0.8(=8/(8+2))となる。同様に、後半の間隔に着目する画素が含まれる確率は0.2(=2/(8+2))となる。そして前半の間隔には、8個の画素が含まれ、後半の間隔には2個の画素が含まれる。したがって、区間内の着目する画素の位置における、画素間の間隔の期待値は、（７）式に示されるように、0.8x8+0.2x2=6.8となる。
図１４は、図１３に示される左画素の配置について、エッジ方向ごとの左画素間の間隔を表す図である。図１４において、横軸はエッジ方向θを表し、縦軸は左画素間の間隔を表す。そして分布１４００は、エッジ方向θごとの左画素間の間隔を表す。分布１４００に示されるように、エッジ方向が63°の場合に、左画素間の間隔が最大となる。これは、複数の左画素が、エッジ方向と直交する方向に対して同じ位置に投影されることによる。そのため、このようなエッジ方向を持つ被写体に対して左画像の解像度は低くなるので、局所シフト量の測定精度も低下する。一方、例えば、エッジ方向が77°の場合、左画素間の間隔は略1となっている。すなわち、このようなエッジ方向を持つ被写体に対して左画像の解像度は高くなるので、局所シフト量の測定精度も比較的高くなる。
また、位相差画素配列情報算出部１４は、エッジ方向と直交する方向へ投影された各左画素及び各右画素の分布に基づいて、エッジ方向と直交する方向に沿った左画素と右画素間の位置ずれ量を算出する。
例えば、位相差画素配列情報算出部１４は、図１３に示された分布１３２１のように、エッジ方向と直交する方向における座標ごとに、左画素が１個以上投影されていれば'1'、左画素が１個も投影されていなければ'0'とする左画素の投影分布を算出する。同様に、位相差画素配列情報算出部１４は、エッジ方向と直交する方向における座標ごとに、右画素が１個以上投影されていれば'1'、右画素が１個も投影されていなければ'0'とする右画素の投影分布を算出する。そして位相差画素配列情報算出部１４は、例えば、左画素の投影分布と右画素の投影分布間の相対的な位置を変えながら、（１）式と同様に、左画素の投影分布と右画素の投影分布間のSAD値を算出する。そして位相差画素配列情報算出部１４は、そのSAD値が最小となるときの位置ずれ量を、エッジ方向と直交する方向における、左画素と右画素間の位置ずれ量とする。
なお、左画素の投影分布及び右画素の投影分布の少なくとも一方が周期的な分布となる場合、SAD値が最小となる位置ずれ量がその周期に応じて表れる。この場合、位相差画素配列情報算出部１４は、SAD値が最小となる位置ずれ量のうち、最小となる位置ずれ量を、エッジ方向と直交する方向における、左画素と右画素間の位置ずれ量とすればよい。
図１５は、図１３に示される左画素及び右画素の配置について、エッジ方向ごとの左画素と右画素間の位置ずれ量を表す図である。図１５において、横軸はエッジ方向θを表し、縦軸は位置ずれ量を表す。そして分布１５００は、エッジ方向θごとの左画素と右画素間の位置ずれ量を表す。分布１５００に示されるように、エッジ方向が63°の場合に、左画素と右画素間の位置ずれ量が最大(3画素)となる。したがって、このようなエッジ方向については、局所シフト量の測定精度が比較的低くなる。一方、エッジ方向が90°の場合に、左画素と右画素間の位置ずれ量が最小(0画素)となる。したがって、このようなエッジ方向については、局所シフト量の測定精度が比較的高くなる。
位相差画素配列情報算出部１４は、各シフト量算出エリアについての、エッジ方向と直交する方向における左画素間の間隔、右画素間の間隔、及び左画素と右画素間の位置ずれ量を、信頼度補正部１５へ出力する。
信頼度補正部１５は、各シフト量算出エリアについて、そのシフト量算出エリアの局所シフト量の信頼度を、そのシフト量算出エリアの左画素間隔、右画素間隔及び左右画素位置ずれ量に基づいて補正する。なお、信頼度補正部１５は、各シフト量算出エリアについて同一の処理を実行するので、以下では、一つのシフト量算出エリアについての処理について説明する。
本実施形態では、信頼度補正部１５は、左画素間の間隔、右画素間の間隔、あるいは左画素と右画素間の位置ずれ量が大きいほど、信頼度が表す局所シフト量の確からしさが低下するように、信頼度の値を補正する。そのために、信頼度補正部１５は、信頼度を、シフト量算出エリアの左画素間隔、右画素間隔及び左右画素位置ずれ量に基づいて選択される、予め設定された基準信頼度と比較する。そして信頼度補正部１５は、信頼度が表す局所シフト量の確からしさが、基準信頼度が表す局所シフト量の確からしさよりも高い場合、信頼度を基準信頼度で置換する。例えば、信頼度が推定分散、局所シフト量の誤差絶対値の期待値、あるいは、コントラストに対するSAD値の最小値の比である場合、局所シフト量が確からしいほど信頼度は小さな値となる。このような場合、信頼度補正部１５は、信頼度が基準信頼度未満であれば、信頼度を基準信頼度で置換し、一方、信頼度が基準信頼度以上であれば、信頼度を変更しない。一方、信頼度が局所シフト量と正解シフト量間の誤差が所定の値以下となる確率である場合、局所シフト量が確からしいほど信頼度は大きな値となる。このような場合、信頼度補正部１５は、信頼度が基準信頼度よりも大きければ、信頼度を基準信頼度で置換し、一方、信頼度が基準信頼度以下であれば、信頼度を変更しない。これにより、信頼度補正部１５は、信頼度を、エッジ方向と左画素及び右画素の配列の関係に応じた不確定性を考慮した値に補正できる。
なお、基準信頼度は、例えば、予め、以下のように算出され、記憶部５に記憶される。左画素間隔、右画素間隔及び左右画素位置ずれ量の組ごとに、エッジの生じる位置とエッジのぼけ量(左画像と右画像間の正解シフト量に対応)を様々に変えた複数のテストパターンを用いて、テストパターンごとに局所シフト量が算出される。そして、信頼度が推定分散である場合、基準信頼度は、テストパターンごとに算出された局所シフト量と正解シフト量間の誤差の分散として算出される。同様に、信頼度が局所シフト量と正解シフト量間の誤差絶対値の期待値である場合も、テストパターンごとに算出された局所シフト量と正解シフト量間の誤差絶対値の期待値として算出される。さらにまた、信頼度がコントラストに対するSAD値の最小値の比あるいは信頼度が局所シフト量と正解シフト量間の誤差が所定の値以下となる確率である場合、テストパターンごとに算出されたそれらの値の期待値として、基準信頼度は算出されればよい。
信頼度が、推定分散、局所シフト量と正解シフト量間の誤差絶対値の期待値あるいはコントラストに対するSAD値の最小値の比である場合、基準信頼度は、左画素間の間隔、右画素間の間隔または左画素と右画素間の位置ずれ量が大きいほど、必然的に大きくなる。一方、信頼度が、局所シフト量と正解シフト量間の誤差が所定の値以下となる確率である場合、基準信頼度は、左画素間の間隔、右画素間の間隔または左画素と右画素間の位置ずれ量が大きいほど、必然的に小さくなる。そのため、信頼度の値は、基準信頼度が表す局所シフト量の確からしさよりも、信頼度が表す局所シフト量の確からしさが高くならないように補正される。したがって、信頼度補正部１５は、エッジ方向と左画素及び右画素の配列の関係で局所シフト量の測定精度が低下してしまう可能性を信頼度に適切に反映できる。
なお、変形例によれば、信頼度補正部１５は、信頼度の補正が必要でない左画素間の間隔または右画素間の間隔の最大値に対する左画素間の間隔の第１の比、及び、その最大値に対する右画素間の間隔の第２の比を算出する。また、信頼度補正部１５は、信頼度の補正が必要でない左画素と右画素間の位置ずれ量の最大値に対する、左画素と右画素間の位置ずれ量の第３の比を算出する。そして信頼度補正部１５は、第１の比〜第３の比のうち、最大となる比を補正係数とする。そして、信頼度が、推定分散、局所シフト量と正解シフト量間の誤差絶対値の期待値あるいはコントラストに対するSAD値の最小値の比である場合、信頼度補正部１５は、信頼度にその補正係数を乗じて得られる値を補正後の信頼度とする。一方、信頼度が、局所シフト量と正解シフト量間の誤差が所定の値以下となる確率である場合、信頼度補正部１５は、信頼度をその補正係数で除して得られる値を補正後の信頼度とする。
信頼度補正部１５は、各シフト量算出エリアについて、補正された信頼度を代表値算出部１６へ出力する。
代表値算出部１６は、測定エリアに含まれる各シフト量算出エリアの局所シフト量及び補正された信頼度に基づいて、測定エリアに写っている被写体についての合焦位置を表す代表シフト量を算出する。
代表値算出部１６は、例えば、次式に従って、各シフト量算出エリアについての局所シフト量を信頼度で加重平均することで、測定エリアの代表シフト量Sを算出する。
ここで、Siは、i番目のシフト量算出エリアの局所シフト量であり、Viは、i番目のシフト量算出エリアの信頼度である。またNは、測定エリアに含まれるシフト量算出エリアの数である。ただし、（８）式は、推定分散が信頼度として算出されている場合のように、局所シフト量Siが確からしいほど信頼度Viが小さな値となる場合に適用される。したがって、（８）式から明らかなように、局所シフト量Siが確からしいシフト量算出エリアほど、代表シフト量への寄与が大きくなる。なお、代表値算出部１６は、（８）式を用いる代わりに、信頼度が所定の閾値以下となるシフト量算出エリア、あるいは、信頼度の値が小さい方から順に所定数の局所シフト量の平均値または中央値を、代表シフト量Sとしてもよい。この場合も、局所シフト量Siが確からしいシフト量算出エリアほど、代表シフト量への寄与が大きくなる。なお、局所シフト量の誤差が所定の値以下となる確率が信頼度として算出されている場合のように、局所シフト量Siが確からしいほど信頼度Viが大きな値となる場合には、代表値算出部１６は、例えば、次式に従って代表シフト量Sを算出してもよい。
なお、この場合も、代表値算出部１６は、（９）式を用いる代わりに、信頼度が所定の閾値以上となるシフト量算出エリア、あるいは、信頼度の値が大きい方から順に所定数の局所シフト量の平均値または中央値を、代表シフト量Sとしてもよい。
また、後述するように、合焦部１７がコントラスト検出方式を併用する場合には、代表値算出部１６は、代表シフト量の推定分散（以下、代表分散と呼ぶ）Vを算出してもよい。例えば、信頼度が推定分散のように、局所シフト量が確からしいほど小さな値となる場合、代表値算出部１６は、次式に従って代表分散Vを算出する。
制御部６は、代表シフト量に相当する移動量だけ撮像光学系２２を光軸に沿って移動させることで、測定エリアに写る被写体に対して撮像部２を合焦させることができるので、代表シフト量は、合焦位置を表している。代表値算出部１６は、代表シフト量を合焦部１７へ出力する。なお、後述するように、合焦部１７がコントラスト検出方式を併用する場合には、代表値算出部１６は、代表分散も合焦部１７へ出力する。
合焦部１７は、合焦テーブルを参照して、代表シフト値に対応する撮像部２の移動量に相当するステッピングモータの回転量を求める。そして合焦部１７は、撮像部２の現在の位置と基準位置との差に相当する回転量を、求めた回転量から減じた量だけ撮像部２のアクチュエータ２３のステッピングモータを回転させる制御信号をアクチュエータ２３へ出力する。そしてアクチュエータ２３は、その制御信号に応じた回転量だけステッピングモータを回転させることで、代表シフト量を0にするように撮像光学系２２を光軸に沿って移動させる。これにより、撮像部２は、測定エリアに写る被写体について合焦することができる。
変形例によれば、合焦部１７は、位相差検出方式とともにコントラスト検出方式を利用して、撮像部２を測定エリアに写る被写体に合焦させてもよい。この場合には、上記のように、合焦部１７は、先ず、代表シフト量に応じた回転量だけ、アクチュエータ２３のステッピングモータを回転させて、代表シフト量が0になるように撮像光学系２２を光軸に沿って移動させる。その後、合焦部１７は、代表値算出部１６から受け取った代表分散に基づいて、被写体のコントラストを調べる撮像光学系２２の位置の範囲を設定する。例えば、合焦部１７は、被写体のコントラストを調べる撮像光学系２２の位置の範囲を、代表分散に対応する標準偏差の±２倍に相当する範囲に設定する。そして合焦部１７は、その範囲内で撮像光学系２２を移動させながら、撮像部２により得られる画像上の測定エリアに相当する範囲のコントラストが極大値となる撮像光学系２２の位置を検出する。そして合焦部１７は、コントラストが極大値となる撮像光学系２２の位置を、測定エリアに写る被写体について撮像光学系２２が合焦する位置とする。なお、合焦部１７は、設定した撮像光学系２２の位置の範囲内に、コントラストが極大値となる位置が無ければ、その範囲外でもコントラストの極大値となる撮像光学系２２の位置を検出してもよい。
このように、合焦部１７は、位相差検出方式とコントラスト検出方式を併用する場合でも、コントラスト検出方式でコントラストを調べる撮像光学系２２の位置の範囲を適切に限定できる。そのため、合焦部１７は、撮像部２が測定エリア内の被写体に合焦までに要する時間を短縮できる。
図１６は、制御部６により実行される合焦位置検出処理の動作フローチャートである。
制御部６は、撮像部２から、被写体を撮影した画像を取得する（ステップＳ１０１）。そして制御部６は、その画像を記憶部５に記憶する。
シフト量算出エリア特定部１１は、指定された測定エリア内に含まれるシフト量算出エリアを特定する（ステップＳ１０２）。そしてシフト量算出エリア特定部１１は、特定されたシフト量算出エリアをシフト量算出部１２及びエッジ方向算出部１３へ通知する。
シフト量算出部１２は、記憶部５に記憶された画像に基づいて、各シフト量算出エリアについて、左画像と右画像とが最も一致する局所シフト量とその信頼度とを算出する（ステップＳ１０３）。そしてシフト量算出部１２は、各シフト量算出エリアの局所シフト量を代表値算出部１６へ出力し、信頼度を信頼度補正部１５へ出力する。
エッジ方向算出部１３は、各シフト量算出エリアについて、そのシフト量算出エリアにおける被写体のエッジ方向を算出する（ステップＳ１０４）。そしてエッジ方向算出部１３は、各シフト量算出エリアにおける被写体のエッジ方向を、位相差画素配列情報算出部１４へ通知する。
位相差画素配列情報算出部１４は、各シフト量算出エリアについて、そのシフト量算出エリアにおけるエッジ方向と直交する方向における、左画素間隔、右画素間隔、及び左画素と右画素間の位置ずれ量を算出する（ステップＳ１０５）。位相差画素配列情報算出部１４は、各シフト量算出エリアの左画素間隔、右画素間隔、及び左画素と右画素間の位置ずれ量を信頼度補正部１５へ出力する。
信頼度補正部１５は、各シフト量算出エリアについて、そのシフト量算出エリアにおける左画素間隔、右画素間隔、及び左画素と右画素間の位置ずれ量が大きいほど、信頼度が表す局所シフト量の確からしさが低下するように信頼度を補正する（ステップＳ１０６）。そして信頼度補正部１５は、各シフト量算出エリアについての補正された信頼度を代表値算出部１６へ出力する。
代表値算出部１６は、各シフト量算出エリアの局所シフト量を補正された信頼度で加重平均することで、測定エリア全体についての代表シフト量を算出する（ステップＳ１０７）。代表値算出部１６は、代表シフト量を合焦部１７へ出力する。
合焦部１７は、代表シフト量に基づいて、測定エリア内に写る被写体に対して撮像部２が合焦するように、撮像部２の撮像光学系２２を光軸に沿って移動させる（ステップＳ１０８）。
そして制御部６は、合焦位置検出処理を終了する。
図１７（ａ）は、信頼度を補正しない場合の測定エリア内の各シフト量算出エリアの局所シフト量と信頼度を示す図である。一方、図１７（ｂ）は、上記の実施形態またはその変形例に従って信頼度が補正された場合の測定エリア内の各シフト量算出エリアの局所シフト量と信頼度を示す図である。図１７（ａ）及び図１７（ｂ）において測定エリア１７００内には、水平方向に４個、垂直方向に３個のシフト量算出エリア１７０１が設定されている。各シフト量算出エリア１７０１内に示された左側の数値は、局所シフト量を表し、右側の数値は、推定分散で表される信頼度である。そして線１７０２、１７０３は、それぞれ、被写体のエッジを表す。
被写体のエッジが含まれないシフト量算出エリアでは、左画像と右画像とが最も一致する局所シフト量を正確に検出することは困難であるため、局所シフト量がでたらめな値となっているが、信頼度も非常に大きな値となる。そのため、そのようなシフト量算出エリアは、代表シフト量の算出にほとんど影響しない。一方、図１７（ａ）に示されるように、シフト量算出エリア１７０１ａ、１７０１ｂでは、エッジ１７０３が含まれるものの、エッジ方向と左画素及び右画素の配置が整合していないため、信頼度が本来取るべき値よりも小さくなっている。その結果として、代表シフト量は、シフト量算出エリア１７０１ａ及び１７０１ｂの局所シフト量に大きな影響を受けることとなり、本来の合焦位置からずれた値である5.39となる。
一方、図１７（ｂ）では、シフト量算出エリア１７０１ａ及び１７０１ｂの信頼度が、エッジ方向と左画素及び右画素の配列の関係を考慮して、図１７（ａ）に示される値よりも大きな値に補正されている。その結果として、代表シフト量の算出におけるシフト量算出エリア１７０１ａ及び１７０１ｂの局所シフト量の影響が小さくなり、本来の合焦位置に近い値である2.09となる。
以上に説明してきたように、この合焦位置検出装置は、測定エリア内に含まれる各シフト量算出エリアについて、被写体のエッジ方向と直交する方向に沿った左画素間隔、右画素間隔及び左画素と右画素間の位置ずれ量に応じて局所シフト量の信頼度を補正する。そしてこの合焦位置検出装置は、各シフト量算出エリアの局所シフト量を、補正された信頼度で加重平均することで、合焦位置を表す代表シフト量を求める。そのため、この合焦位置検出装置は、各シフト量算出エリアに写っている被写体のエッジ方向と左画素及び右画素の配列の不整合による、合焦位置の誤差を抑制できる。
なお、変形例によれば、位相差画素配列情報算出部１４は、各シフト量算出エリアについて、左画素間隔、右画素間隔及び左画素と右画素間の位置ずれ量のうち、何れか一つまたは二つを算出してもよい。そして信頼度補正部１５は、各シフト量算出エリアについて、左画素間隔、右画素間隔及び左画素と右画素間の位置ずれ量のうちの算出されたものに応じて、上記と同様の処理を行って信頼度を補正してもよい。この場合には、信頼度の補正に要する演算量が削減されるので、合焦位置検出装置は、合焦の際の撮像部２の応答速度を向上できる。
また他の変形例によれば、合焦位置検出装置は、位相差検出方式による合焦位置の検出だけでなく、例えば、二眼カメラといった、被写体に対して視差が有る二つの画像を得る撮像装置において、被写体までの距離を測定するために適用されてもよい。この場合には、例えば、撮像装置が有する記憶部に、代表シフト量と撮像装置から被写体までの距離との関係を表す距離テーブルが予め格納される。そして撮像装置の制御部が、その撮像装置が生成した、視差のある二つの画像に対して、上記の実施形態による制御部の各機能を実行することで、画像を生成する各イメージセンサに設定される測定エリアに写る被写体についての代表シフト量を算出できる。そして制御部は、距離テーブルを参照して、代表シフト量に対応する、撮像装置から測定エリア内に写る被写体までの距離を求めることができる。
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
画像を生成するイメージセンサと、光学系とを有する撮像部における前記イメージセンサ上に設定される測定エリア内に含まれる複数のシフト量算出エリアを特定し、前記複数のシフト量算出エリアのそれぞれは、当該シフト量算出エリアに写る被写体を表す第１のサブ画像を生成する、複数の第１の画素と、当該シフト量算出エリアに写る前記被写体を表す第２のサブ画像を生成する、複数の第２の画素とを有し、前記第１のサブ画像上の前記被写体と前記第２のサブ画像上の前記被写体間のシフト量が、前記光学系による前記被写体についての合焦位置と前記イメージセンサ間の距離に応じて変化するシフト量算出エリア特定部と、
前記複数のシフト量算出エリアのそれぞれについて、前記第１のサブ画像上の前記被写体と前記第２のサブ画像上の前記被写体とが最も一致するときの前記第１のサブ画像に対する前記第２のサブ画像の局所シフト量と、前記局所シフト量の確からしさを表す信頼度とを算出するシフト量算出部と、
前記複数のシフト量算出エリアのそれぞれについて、当該シフト量算出エリアでの前記被写体のエッジ方向と直交する方向における、前記複数の第１の画素のうちの隣接する第１の画素間の間隔と、前記複数の第２の画素のうちの隣接する第２の画素間の間隔と、前記複数の第１の画素と前記複数の第２の画素の位置ずれ量のうちの少なくとも一つに基づいて、当該シフト量算出エリアの前記信頼度を補正する信頼度補正部と、
前記複数のシフト量算出エリアのそれぞれの前記局所シフト量を前記補正された信頼度で加重平均することで、前記光学系による合焦位置と前記イメージセンサ間の距離を表す代表値を算出する代表値算出部と、
を有する合焦位置検出装置。
（付記２）
前記複数のシフト量算出エリアのそれぞれについて、当該シフト量算出エリアにおける前記被写体のエッジ方向を算出するエッジ方向算出部をさらに有する、付記１に記載の合焦位置検出装置。
（付記３）
前記複数のシフト量算出エリアのそれぞれについて、前記隣接する第１の画素間の間隔と、前記隣接する第２の画素間の間隔と、前記位置ずれ量のうちの前記少なくとも一つを算出する画素配列情報算出部をさらに有する、付記１または２に記載の合焦位置検出装置。
（付記４）
前記信頼度補正部は、前記複数のシフト量算出エリアのそれぞれについて、当該シフト量算出エリアにおける前記隣接する第１の画素間の間隔と、前記隣接する第２の画素間の間隔と、前記位置ずれ量のうちの少なくとも一つが大きくなるほど、当該シフト量算出エリアにおける前記信頼度が表す前記局所シフト量の確からしさが低下するように前記信頼度を補正する、付記１〜３の何れかに記載の合焦位置検出装置。
（付記５）
前記信頼度補正部は、前記複数のシフト量算出エリアのそれぞれについて、基準信頼度と当該シフト量算出エリアにおける前記信頼度とを比較し、前記基準信頼度が表す前記局所シフト量の確からしさよりも前記信頼度が表す前記局所シフト量の確からしさの方が高い場合に、前記信頼度を前記基準信頼度に補正し、前記基準信頼度が表す前記局所シフト量の確からしさは、前記隣接する第１の画素間の間隔と、前記隣接する第２の画素間の間隔と、前記位置ずれ量のうちの少なくとも一つが大きくなるほど低下する、付記４に記載の合焦位置検出装置。
（付記６）
前記シフト量算出部は、前記複数のシフト量算出エリアのそれぞれについて、当該シフト量算出エリアにおける、前記第１のサブ画像に対して前記第２のサブ画像をシフトさせながら、前記第１のサブ画像と前記第２のサブ画像の対応画素間の画素値の差分絶対値の和を算出し、当該和の最小値と当該シフト量算出エリアにおける前記被写体のコントラストの比に基づいて前記信頼度を算出する、付記１〜５の何れかに記載の合焦位置検出装置。
（付記７）
画像を生成するイメージセンサと、光学系とを有する撮像部における前記イメージセンサ上に設定される測定エリア内に含まれる複数のシフト量算出エリアを特定し、前記複数のシフト量算出エリアのそれぞれは、当該シフト量算出エリアに写る被写体を表す第１のサブ画像を生成する、複数の第１の画素と、当該シフト量算出エリアに写る前記被写体を表す第２のサブ画像を生成する、複数の第２の画素とを有し、前記第１のサブ画像上の前記被写体と前記第２のサブ画像上の前記被写体間のシフト量が、前記光学系による前記被写体についての合焦位置と前記イメージセンサ間の距離に応じて変化し、
前記複数のシフト量算出エリアのそれぞれについて、前記第１のサブ画像上の前記被写体と前記第２のサブ画像上の前記被写体とが最も一致するときの前記第１のサブ画像に対する前記第２のサブ画像の局所シフト量と、前記局所シフト量の確からしさを表す信頼度とを算出し、
前記複数のシフト量算出エリアのそれぞれについて、当該シフト量算出エリアでの前記被写体のエッジ方向と直交する方向における、前記複数の第１の画素のうちの隣接する第１の画素間の間隔と、前記複数の第２の画素のうちの隣接する第２の画素間の間隔と、前記複数の第１の画素と前記複数の第２の画素の位置ずれ量のうちの少なくとも一つに基づいて、当該シフト量算出エリアの前記信頼度を補正し、
前記複数のシフト量算出エリアのそれぞれの前記局所シフト量を前記補正された信頼度で加重平均することで、前記光学系による合焦位置と前記イメージセンサ間の距離を表す代表値を算出する、
ことを含む合焦位置検出方法。
（付記８）
画像を生成するイメージセンサと、光学系とを有する撮像部における前記イメージセンサ上に設定される測定エリア内に含まれる複数のシフト量算出エリアを特定し、前記複数のシフト量算出エリアのそれぞれは、当該シフト量算出エリアに写る被写体を表す第１のサブ画像を生成する、複数の第１の画素と、当該シフト量算出エリアに写る前記被写体を表す第２のサブ画像を生成する、複数の第２の画素とを有し、前記第１のサブ画像上の前記被写体と前記第２のサブ画像上の前記被写体間のシフト量が、前記光学系による前記被写体についての合焦位置と前記イメージセンサ間の距離に応じて変化し、
前記複数のシフト量算出エリアのそれぞれについて、前記第１のサブ画像上の前記被写体と前記第２のサブ画像上の前記被写体とが最も一致するときの前記第１のサブ画像に対する前記第２のサブ画像の局所シフト量と、前記局所シフト量の確からしさを表す信頼度とを算出し、
前記複数のシフト量算出エリアのそれぞれについて、当該シフト量算出エリアでの前記被写体のエッジ方向と直交する方向における、前記複数の第１の画素のうちの隣接する第１の画素間の間隔と、前記複数の第２の画素のうちの隣接する第２の画素間の間隔と、前記複数の第１の画素と前記複数の第２の画素の位置ずれ量のうちの少なくとも一つに基づいて、当該シフト量算出エリアの前記信頼度を補正し、
前記複数のシフト量算出エリアのそれぞれの前記局所シフト量を前記補正された信頼度で加重平均することで、前記光学系による合焦位置と前記イメージセンサ間の距離を表す代表値を算出する、
ことを含むプロセッサに実行させるための合焦位置検出用コンピュータプログラム。
（付記９）
画像を生成し、かつ複数のシフト量算出エリアを含むイメージセンサと、光学系とを有し、前記複数のシフト量算出エリアのそれぞれは、当該シフト量算出エリアに写る被写体を表す第１のサブ画像を生成する、複数の第１の画素と、当該シフト量算出エリアに写る前記被写体を表す第２のサブ画像を生成する、複数の第２の画素とを含み、前記第１のサブ画像上の前記被写体と前記第２のサブ画像上の前記被写体間のシフト量が、前記光学系による前記被写体についての合焦位置と前記イメージセンサ間の距離に応じて変化する撮像部と、
前記撮像部を前記被写体に合焦させる制御部と、を有し、
前記制御部は、
前記複数のシフト量算出エリアのうち、前記イメージセンサ上に設定される測定エリア内に含まれるシフト量算出エリアを特定し、
前記測定エリア内に含まれる前記シフト量算出エリアのそれぞれについて、前記第１のサブ画像上の前記被写体と前記第２のサブ画像上の前記被写体とが最も一致するときの前記第１のサブ画像に対する前記第２のサブ画像の局所シフト量と、前記局所シフト量の確からしさを表す信頼度とを算出し、
前記測定エリア内に含まれる前記複数のシフト量算出エリアのそれぞれについて、当該シフト量算出エリアでの前記被写体のエッジ方向と直交する方向における、前記複数の第１の画素のうちの隣接する第１の画素間の間隔と、前記複数の第２の画素のうちの隣接する第２の画素間の間隔と、前記複数の第１の画素と前記複数の第２の画素の位置ずれ量のうちの少なくとも一つに基づいて、当該シフト量算出エリアの前記信頼度を補正し、
前記測定エリア内に含まれる前記複数のシフト量算出エリアのそれぞれの前記局所シフト量を前記補正された信頼度で加重平均することで、前記光学系による合焦位置と前記イメージセンサ間の距離を表す代表値を算出し、
前記代表値に応じて前記撮像部を前記被写体に合焦させる、
撮像装置。
１ デジタルカメラ
２ 撮像部
３ 操作部
４ 表示部
５ 記憶部
６ 制御部
１１ シフト量算出エリア特定部
１２ シフト量算出部
１３ エッジ方向算出部
１４ 位相差画素配列情報算出部
１５ 信頼度補正部
１６ 代表値算出部
１７ 合焦部
２１ イメージセンサ
２２ 撮像光学系
２３ アクチュエータ

Claims (8)

  1. 画像を生成するイメージセンサと、光学系とを有する撮像部における前記イメージセンサ上に設定される測定エリア内に含まれる複数のシフト量算出エリアを特定し、前記複数のシフト量算出エリアのそれぞれは、当該シフト量算出エリアに写る被写体を表す第１のサブ画像を生成する、複数の第１の画素と、当該シフト量算出エリアに写る前記被写体を表す第２のサブ画像を生成する、複数の第２の画素とを有し、前記第１のサブ画像上の前記被写体と前記第２のサブ画像上の前記被写体間のシフト量が、前記光学系による前記被写体についての合焦位置と前記イメージセンサ間の距離に応じて変化するシフト量算出エリア特定部と、
    前記複数のシフト量算出エリアのそれぞれについて、前記第１のサブ画像上の前記被写体と前記第２のサブ画像上の前記被写体とが最も一致するときの前記第１のサブ画像に対する前記第２のサブ画像の局所シフト量と、前記局所シフト量の確からしさを表す信頼度とを算出するシフト量算出部と、
    前記複数のシフト量算出エリアのそれぞれについて、当該シフト量算出エリアでの前記被写体のエッジ方向と直交する方向における、前記複数の第１の画素のうちの隣接する第１の画素間の間隔と、前記複数の第２の画素のうちの隣接する第２の画素間の間隔と、前記複数の第１の画素と前記複数の第２の画素の位置ずれ量のうちの少なくとも一つに基づいて、当該シフト量算出エリアの前記信頼度を補正する信頼度補正部と、
    前記複数のシフト量算出エリアのそれぞれの前記局所シフト量を前記補正された信頼度で加重平均することで、前記光学系による合焦位置と前記イメージセンサ間の距離を表す代表値を算出する代表値算出部と、
    を有する合焦位置検出装置。
  2. 前記複数のシフト量算出エリアのそれぞれについて、当該シフト量算出エリアにおける前記被写体のエッジ方向を算出するエッジ方向算出部をさらに有する、請求項１に記載の合焦位置検出装置。
  3. 前記複数のシフト量算出エリアのそれぞれについて、前記隣接する第１の画素間の間隔と、前記隣接する第２の画素間の間隔と、前記位置ずれ量のうちの前記少なくとも一つを算出する画素配列情報算出部をさらに有する、請求項１または２に記載の合焦位置検出装置。
  4. 前記信頼度補正部は、前記複数のシフト量算出エリアのそれぞれについて、当該シフト量算出エリアにおける前記隣接する第１の画素間の間隔と、前記隣接する第２の画素間の間隔と、前記位置ずれ量のうちの少なくとも一つが大きくなるほど、当該シフト量算出エリアにおける前記信頼度が表す前記局所シフト量の確からしさが低下するように前記信頼度を補正する、請求項１〜３の何れか一項に記載の合焦位置検出装置。
  5. 前記信頼度補正部は、前記複数のシフト量算出エリアのそれぞれについて、基準信頼度と当該シフト量算出エリアにおける前記信頼度とを比較し、前記基準信頼度が表す前記局所シフト量の確からしさよりも前記信頼度が表す前記局所シフト量の確からしさの方が高い場合に、前記信頼度を前記基準信頼度に補正し、前記基準信頼度が表す前記局所シフト量の確からしさは、前記隣接する第１の画素間の間隔と、前記隣接する第２の画素間の間隔と、前記位置ずれ量のうちの少なくとも一つが大きくなるほど低下する、請求項４に記載の合焦位置検出装置。
  6. 前記シフト量算出部は、前記複数のシフト量算出エリアのそれぞれについて、当該シフト量算出エリアにおける、前記第１のサブ画像に対して前記第２のサブ画像をシフトさせながら、前記第１のサブ画像と前記第２のサブ画像の対応画素間の画素値の差分絶対値の和を算出し、当該和の最小値と当該シフト量算出エリアにおける前記被写体のコントラストの比に基づいて前記信頼度を算出する、請求項１〜５の何れか一項に記載の合焦位置検出装置。
  7. 画像を生成するイメージセンサと、光学系とを有する撮像部における前記イメージセンサ上に設定される測定エリア内に含まれる複数のシフト量算出エリアを特定し、前記複数のシフト量算出エリアのそれぞれは、当該シフト量算出エリアに写る被写体を表す第１のサブ画像を生成する、複数の第１の画素と、当該シフト量算出エリアに写る前記被写体を表す第２のサブ画像を生成する、複数の第２の画素とを有し、前記第１のサブ画像上の前記被写体と前記第２のサブ画像上の前記被写体間のシフト量が、前記光学系による前記被写体についての合焦位置と前記イメージセンサ間の距離に応じて変化し、
    前記複数のシフト量算出エリアのそれぞれについて、前記第１のサブ画像上の前記被写体と前記第２のサブ画像上の前記被写体とが最も一致するときの前記第１のサブ画像に対する前記第２のサブ画像の局所シフト量と、前記局所シフト量の確からしさを表す信頼度とを算出し、
    前記複数のシフト量算出エリアのそれぞれについて、当該シフト量算出エリアでの前記被写体のエッジ方向と直交する方向における、前記複数の第１の画素のうちの隣接する第１の画素間の間隔と、前記複数の第２の画素のうちの隣接する第２の画素間の間隔と、前記複数の第１の画素と前記複数の第２の画素の位置ずれ量のうちの少なくとも一つに基づいて、当該シフト量算出エリアの前記信頼度を補正し、
    前記複数のシフト量算出エリアのそれぞれの前記局所シフト量を前記補正された信頼度で加重平均することで、前記光学系による合焦位置と前記イメージセンサ間の距離を表す代表値を算出する、
    ことを含む合焦位置検出方法。
  8. 画像を生成するイメージセンサと、光学系とを有する撮像部における前記イメージセンサ上に設定される測定エリア内に含まれる複数のシフト量算出エリアを特定し、前記複数のシフト量算出エリアのそれぞれは、当該シフト量算出エリアに写る被写体を表す第１のサブ画像を生成する、複数の第１の画素と、当該シフト量算出エリアに写る前記被写体を表す第２のサブ画像を生成する、複数の第２の画素とを有し、前記第１のサブ画像上の前記被写体と前記第２のサブ画像上の前記被写体間のシフト量が、前記光学系による前記被写体についての合焦位置と前記イメージセンサ間の距離に応じて変化し、
    前記複数のシフト量算出エリアのそれぞれについて、前記第１のサブ画像上の前記被写体と前記第２のサブ画像上の前記被写体とが最も一致するときの前記第１のサブ画像に対する前記第２のサブ画像の局所シフト量と、前記局所シフト量の確からしさを表す信頼度とを算出し、
    前記複数のシフト量算出エリアのそれぞれについて、当該シフト量算出エリアでの前記被写体のエッジ方向と直交する方向における、前記複数の第１の画素のうちの隣接する第１の画素間の間隔と、前記複数の第２の画素のうちの隣接する第２の画素間の間隔と、前記複数の第１の画素と前記複数の第２の画素の位置ずれ量のうちの少なくとも一つに基づいて、当該シフト量算出エリアの前記信頼度を補正し、
    前記複数のシフト量算出エリアのそれぞれの前記局所シフト量を前記補正された信頼度で加重平均することで、前記光学系による合焦位置と前記イメージセンサ間の距離を表す代表値を算出する、
    ことを含むプロセッサに実行させるための合焦位置検出用コンピュータプログラム。
JP2015171091A 2015-08-31 2015-08-31 合焦位置検出装置、合焦位置検出方法及び合焦位置検出用コンピュータプログラム Pending JP2017049351A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015171091A JP2017049351A (ja) 2015-08-31 2015-08-31 合焦位置検出装置、合焦位置検出方法及び合焦位置検出用コンピュータプログラム
CN201610615049.7A CN106488111A (zh) 2015-08-31 2016-07-29 对焦位置检测装置以及对焦位置检测方法
US15/224,693 US20170064186A1 (en) 2015-08-31 2016-08-01 Focus position detection device, focus position detection method, and computer program for focus position detection
KR1020160105231A KR101774167B1 (ko) 2015-08-31 2016-08-19 합초 위치 검출 장치, 합초 위치 검출 방법 및 합초 위치 검출용 컴퓨터 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015171091A JP2017049351A (ja) 2015-08-31 2015-08-31 合焦位置検出装置、合焦位置検出方法及び合焦位置検出用コンピュータプログラム

Publications (1)

Publication Number Publication Date
JP2017049351A true JP2017049351A (ja) 2017-03-09

Family

ID=58096371

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015171091A Pending JP2017049351A (ja) 2015-08-31 2015-08-31 合焦位置検出装置、合焦位置検出方法及び合焦位置検出用コンピュータプログラム

Country Status (4)

Country Link
US (1) US20170064186A1 (ja)
JP (1) JP2017049351A (ja)
KR (1) KR101774167B1 (ja)
CN (1) CN106488111A (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111095351B (zh) * 2017-09-14 2023-06-20 株式会社日立高新技术 电荷粒子显微镜装置和广角图像生成方法
CN112866554B (zh) * 2019-11-12 2022-06-10 Oppo广东移动通信有限公司 对焦方法和装置、电子设备、计算机可读存储介质
CN110933305B (zh) * 2019-11-28 2021-07-20 维沃移动通信有限公司 电子设备及对焦方法
CN111598002B (zh) * 2020-05-18 2023-04-07 北京星律动科技有限公司 多面部表情捕捉方法、装置、电子设备及计算机存储介质
CN113781506B (zh) * 2021-08-06 2023-12-15 东北大学 一种带钢偏移量检测方法及系统
JP7328609B1 (ja) * 2022-05-24 2023-08-17 日本製鉄株式会社 ねじ形状寸法測定装置及びねじ形状寸法測定方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1624672A1 (en) * 2004-08-07 2006-02-08 STMicroelectronics Limited A method of determining a measure of edge strength and focus
JP4514790B2 (ja) * 2005-06-01 2010-07-28 パナソニック株式会社 位相誤差検出装置
JP4687291B2 (ja) * 2005-07-12 2011-05-25 株式会社ニコン 焦点調節装置および撮像装置
US7711261B2 (en) * 2006-04-11 2010-05-04 Nikon Corporation Imaging device, camera and image processing method
JP5229060B2 (ja) * 2009-03-31 2013-07-03 ソニー株式会社 撮像装置および焦点検出方法
JP2011145559A (ja) * 2010-01-15 2011-07-28 Canon Inc 撮像装置
JP5947601B2 (ja) * 2012-04-10 2016-07-06 キヤノン株式会社 焦点検出装置、その制御方法および撮像装置
JP6124564B2 (ja) * 2012-11-21 2017-05-10 キヤノン株式会社 焦点検出装置及び方法、及び撮像装置
JP6045362B2 (ja) * 2013-01-17 2016-12-14 オリンパス株式会社 撮像装置および焦点検出方法
JP6239857B2 (ja) * 2013-05-13 2017-11-29 キヤノン株式会社 撮像装置およびその制御方法
JP6412468B2 (ja) * 2015-06-25 2018-10-24 オリンパス株式会社 撮像装置および撮像方法
JP2017049426A (ja) * 2015-09-01 2017-03-09 富士通株式会社 位相差推定装置、位相差推定方法及び位相差推定プログラム

Also Published As

Publication number Publication date
KR101774167B1 (ko) 2017-09-01
US20170064186A1 (en) 2017-03-02
KR20170026149A (ko) 2017-03-08
CN106488111A (zh) 2017-03-08

Similar Documents

Publication Publication Date Title
JP2017049351A (ja) 合焦位置検出装置、合焦位置検出方法及び合焦位置検出用コンピュータプログラム
US9599462B2 (en) Three-dimensional shape measurement apparatus and control method thereof
US8711275B2 (en) Estimating optical characteristics of a camera component using sharpness sweep data
US20180120687A1 (en) Ranging method, automatic focusing method and device
JP2007189312A (ja) 撮像装置、撮像方法およびカメラ
JP5854680B2 (ja) 撮像装置
JP2016200503A (ja) 被計測物の形状を計測する計測装置
JP2013123123A (ja) ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム
JP6485116B2 (ja) 合焦位置検出装置、合焦位置検出方法及び合焦位置検出用コンピュータプログラム
JP6014452B2 (ja) 焦点検出装置及びそれを有するレンズ装置及び撮像装置
JP6104662B2 (ja) 計測装置、方法及びプログラム
JP2019066451A (ja) 画像計測装置、画像計測方法、撮像装置、プログラム
JP2017049412A (ja) 撮像装置、合焦位置検出装置、合焦位置検出方法及び合焦位置検出用コンピュータプログラム
JP2019158351A (ja) 物体認識方法、高さ計測方法、及び、三次元計測方法
US11587260B2 (en) Method and apparatus for in-field stereo calibration
JP2014155063A (ja) 解像度測定用チャート、解像度測定方法、カメラモジュールにおける位置調整方法およびカメラモジュールの製造方法
JP2013126135A (ja) ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム
US11004229B2 (en) Image measurement device, image measurement method, imaging device
US11468586B2 (en) Three-dimensional measurement apparatus, image capturing apparatus, control method, and recording medium
US20220398778A1 (en) Lens calibration method for digital imaging apparatus
US20230260159A1 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
KR101703715B1 (ko) 카메라 광중심 측정을 위한 영상 처리 장치 및 그 방법
WO2016194576A1 (ja) 情報処理装置および方法
KR19990023868A (ko) 거리 측정 방법
JP2005043085A (ja) 角度検出装置及びそれを備えたプロジェクタ