JP2014074777A - 合焦評価値生成装置、合焦評価値生成方法、及び、合焦評価値生成プログラム - Google Patents

合焦評価値生成装置、合焦評価値生成方法、及び、合焦評価値生成プログラム Download PDF

Info

Publication number
JP2014074777A
JP2014074777A JP2012221559A JP2012221559A JP2014074777A JP 2014074777 A JP2014074777 A JP 2014074777A JP 2012221559 A JP2012221559 A JP 2012221559A JP 2012221559 A JP2012221559 A JP 2012221559A JP 2014074777 A JP2014074777 A JP 2014074777A
Authority
JP
Japan
Prior art keywords
image data
focus evaluation
evaluation value
frequency
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012221559A
Other languages
English (en)
Other versions
JP5900273B2 (ja
Inventor
Hiroshi Iwabuchi
浩志 岩淵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Semiconductor Ltd
Original Assignee
Fujitsu Semiconductor Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Semiconductor Ltd filed Critical Fujitsu Semiconductor Ltd
Priority to JP2012221559A priority Critical patent/JP5900273B2/ja
Priority to US14/013,890 priority patent/US9313395B2/en
Publication of JP2014074777A publication Critical patent/JP2014074777A/ja
Application granted granted Critical
Publication of JP5900273B2 publication Critical patent/JP5900273B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)

Abstract

【課題】演算量を抑えながら高周波成分の抽出を可能にする合焦評価値生成装置、合焦評価値生成方法、及び、合焦評価値生成プログラムを提供する
【解決手段】デジタル撮像装置の光学系の合焦度を示す合焦評価値を生成する合焦評価値生成装置であって、被写体を撮像して取得される入力画像データから低周波成分を抽出した低周波画像データを生成する低周波画像データ生成手段と、前記入力画像データ及び前記低周波画像データを同一の比率でそれぞれ間引いて入力間引き画像データ及び低周波間引き画像データを生成する間引き画像生成手段と、前記入力間引き画像データと前記低周波間引き画像データとの画素間の差分値に基づいて合焦評価値を生成する合焦評価値生成手段と、を有する。
【選択図】 図2

Description

本発明は、合焦評価値生成装置、合焦評価値生成方法、及び、合焦評価値生成プログラムに関する。
従来から、デジタル一眼レフカメラ等の撮像装置におけるオートフォーカスの方法として、コントラスト検出方式が広く一般に利用されている。コントラスト検出方式では、撮像素子により撮像された画像信号に基づいて、オートフォーカス窓で指定されたエリア(指定範囲)の画像信号のコントラスト値が合焦評価値として抽出される。そして、合焦評価値であるコントラスト値が大きくなるレンズ位置が合焦位置として検知される。
また、オートフォーカスの別の方式として、高周波成分検出方式がある。高周波方式検出方式では、指定範囲の画像信号の高周波成分が合焦評価値として抽出され、高周波成分の値が大きくなるレンズ位置が合焦位置として検知される。高周波方式検出方式は、コントラスト検出方式よりも、オートフォーカスの性能を高くすることができる。
フォーカスの方法は、例えば、特許文献1、2に記載される。
特開平3-001668号公報 特公平7-118785号公報
しかしながら、高周波成分検出方式によると、演算量が増加し、処理の負荷が高くなってしまう。例えば、具体的に、高周波成分方式では、横方向及び縦方向の隣り合った画素の差分値に基づいて、周波成分の強度値が抽出される。このため、高周波成分方式によると、指定範囲内の全画素について隣接画素の差分値を算出する必要があり、演算量が増大化してしまう。このため、高周波成分検出方式が採用されていなかった。
本発明は、演算量を抑えながら高周波成分の抽出を可能にする合焦評価値生成装置、合焦評価値生成方法、及び、合焦評価値生成プログラムを提供することにある。
第1の側面は、デジタル撮像装置の光学系の合焦度を示す合焦評価値を生成する合焦評価値生成装置であって、被写体を撮像して取得される入力画像データから低周波成分を抽出した低周波画像データを生成する低周波画像データ生成手段と、前記入力画像データ及び前記低周波画像データを同一の比率でそれぞれ間引いて入力間引き画像データ及び低周波間引き画像データを生成する間引き画像生成手段と、前記入力間引き画像データと前記低周波間引き画像データとの画素間の差分値に基づいて合焦評価値を生成する合焦評価値生成手段と、を有する。
第1の側面によれば、演算量を抑えながら高周波成分の抽出が可能になる。
合焦評価値生成装置が搭載される撮像システムの構成を示す例図である。 合焦評価値生成部の処理の流れを説明する図である。 通常の処理に係る画像データの周波数帯域を説明する図である。 合焦評価値生成処理に係る画像データの周波数帯域を説明する図である。 通常の処理における各画像データの周波数の一例を表す図である。 合焦評価値生成処理における各画像データの周波数の一例を表す図である。 通常の処理における各画像データの画素値の一例を表す図である。 低周波抽出データの間引きイメージと、間引き後の第1のサイズ変更画像データの画素値の一例を表す図である。 画素値の具体例に基づく入力画像データの間引きイメージと、間引き後の第2のサイズ変更画像データの一例を表す図である。 表示用画面に表される合焦評価値の表示例を表す図である。 合焦評価値生成装置における各処理の流れの一例を表す図である。 入力画像データにおける間引き率1/4の間引きイメージと、間引き後の第2のサイズ変更画像データの一例を表す図である。 入力画像データにおける間引き率1/5の間引きイメージと、間引き後の第2のサイズ変更画像データの一例を表す図である。
以下、図面にしたがって本発明の実施の形態について説明する。ただし、本発明の技術的範囲はこれらの実施の形態に限定されず、特許請求の範囲に記載された事項とその均等物まで及ぶものである。
[合焦評価値生成装置が搭載される撮像システムの構成]
図1は、本実施の形態例における合焦評価値生成装置が搭載される撮像システムの構成を示す例図である。撮像システムは、例えば、デジタル一眼レフカメラである。同図において、合焦評価値生成装置は、例えば、合焦評価値生成部118を示す。
図1の撮像システムは、例えば、撮像部100、画像変換部110、画像記憶部120、表示装置部130を有する。撮像部100は、レンズのフォーカスを合わせ、被写体を撮像して取得される画像の取り込み、または、表示を行う。撮像部100は、例えば、ズームレンズ101、フォーカスレンズ102、IRIS103、撮像センサ104、AFE105、駆動装置106を有する。被写体からの光源反射光は、2つのレンズ101、102と光量調整のIRIS103を通り、撮像センサ104上で結像し光電変換がなされ、AFE105によりデジタルデータ化処理が行われる。
AFE105によってデジタル化された画像データは、画像変換部110によってRAWデータ121、非圧縮データ122、低周波抽出データ123、第1のサイズ変更画像データ124、第2のサイズ変更画像データ125、圧縮データ126に変換され、画像記憶部120に記憶される。
画像変換部110は、例えば、画像入力部111、画像フォーマット変更部112、低周波抽出部113、画像サイズ変更部114、画像圧縮部115、表示画像処理部116、フォーカス制御部117を有する。
画像入力部111は、入力されたデジタルデータに対しRAWフォーマット変換を行い、画像記憶部120へ格納する。画像フォーマット変更部112は、RAWデータ121に基づいて非圧縮データ122を生成すると共に、低周波抽出部113は、非圧縮データ122に基づいて低周波抽出データ123を生成する。画像サイズ変更部114は、低周波抽出データ123に基づいて第1のサイズ変更画像データ124を生成すると共に、非圧縮データ122に基づいて第2のサイズ変更画像データ125を生成する。
また、画像圧縮部115は、第1のサイズ変更画像データ124に基づいて圧縮データ126を生成する。表示画像処理部116は、第1のサイズ変更画像データ124を表示装置部130に適合する画像データに変換し、表示装置部130に出力する。
また、フォーカス制御部117は、駆動装置106を利用して、フォーカスレンズ102の物理的な位置をズームレンズ101側、または、撮像センサ104側にシフトさせることで合焦させる。フォーカス制御部117は、例えば、指定範囲抽出部119、合焦評価値生成部118を有する。フォーカス制御部117は、フォーカスレンズ102をシフトさせる毎に、合焦状態の評価値を示す合焦評価値を取得する。そして、合焦評価値が最も高くなる位置をフォーカスが合った状態(合焦状態)として、例えば、山登り法等に基づいて探索される。探索処理の作業メモリとして画像記憶部120が利用される。
指定範囲抽出部119による範囲指定方法には、例えば、マニュアル方式とオート(自動)方式とがある。マニュアル方式では、表示装置上にOSD(On Screen Display)として画像の上に丸や四角で範囲を指定するフォーカス枠を表示し、ユーザが上下右左を示すカーソルキーによって位置を、別のキーによってサイズを変更する。オート方式においても、フォーカスの対象が明確化されるように、表示装置上にOSDとして画面のフォーカス枠を表示する。ユーザは、メニューから中央の1箇所または2箇所、マルチフォーカスモードとして9箇所というように、フォーカス枠設定を選択する。オート方式のマルチフォーカスでは、例えば、最近接の対象に対してフォーカスが行われる。
また、指定範囲抽出部119は、撮像センサ104の読出し範囲、AFE105の読出し範囲、画像入力部110の取込み範囲、RAWデータ121の参照範囲、非圧縮データの参照範囲のいずれかによって、対象の画像データにおける指定範囲のデータを抽出する。また、合焦評価値生成部118は、第1のサイズ変更画像データ124と、第2のサイズ変更画像データ125に基づいて、合焦状態の評価値である合焦評価値を算出する。続いて、合焦評価値生成部118の処理の詳細について説明する。
[合焦評価値生成部118の処理の流れ]
図2は、本実施の形態例における合焦評価値生成部118の処理の流れを説明する図である。同図における処理H1は通常行われる処理であり、処理H2は本実施の形態例における合焦評価値生成部118の処理を示す。また、同図において、低周波抽出装置は低周波抽出部113を示し、画素間引き装置及び補間装置は画像サイズ変更部114を示す。また、入力画像データは、非圧縮データ122である。
[通常の処理H1の流れ]
初めに、通常行われる処理H1について説明する。低周波抽出装置113は、ノイズを除去するため、入力画像データDaにローパスフィルタ(LPF)を適用して、低周波抽出データ123を生成する。ローパスフィルタは、対象の画像データにおける高周波成分をカットし、低周波成分を出力するフィルタである。一般的に、入力画像データDaにおける画像のモアレ等のノイズを除去するため、ローパスフィルタが適用される。
続いて、画像間引き装置及び補間装置114は、低周波抽出データ123の画素情報を間引くことによって、第1のサイズ変更画像データ124を生成する。第1のサイズ変更画像データ124は、例えば、画像記憶部120に記憶される圧縮データ126の生成過程の画像データや、表示装置130に出力される画像データの生成過程の画像データである。通常、撮像部100によって取得される入力画像データDaのデータサイズは、画像記憶部120に記憶される圧縮データ126や表示装置130に出力される画像データのデータサイズより大きい。このため、画像間引き装置及び補間装置114は、低周波抽出データ123の画素の情報を垂直、水平の方向に間引くことによって、第1のサイズ変更画像データ124を生成する。画素情報が所定の間引き率に従って間引かれることにより、所望のデータサイズの第1のサイズ変更画像データ124が生成される。
例えば、図1のようなデジタル一眼レフカメラの撮像素子の有効画素数は、4000画素×3000画素である。これに対し、入力画像データDaは、例えば、640画素×480画素(VGAサイズ)等のデータサイズの圧縮データ126に変換され画像記憶部120に記憶される。圧縮データ126のデータサイズは、例えば、ユーザによって設定される。また、表示装置130に出力される画像データのデータサイズは、例えば、320画素×240画素等でありVGAサイズよりさらに小さい。表示装置130とは、例えば、電子ビューファインダや液晶画面等である。
[画素情報の間引き率]
本実施の形態例における間引き率は、例えば、1/4や1/10等である。例えば、画素情報の間引き率が1/4である場合、低周波抽出データ123における4つの画素当たり、1つの画素の情報が第1のサイズ変更画像データ124の画素の情報として抽出される。なお、間引き率は、1/4や1/10等のように、分母が整数の単位分数(分子が1の分数)であるとは限らない。間引き率は、例えば、1/4.2や、1/10.1のように、分母が少数の単位分数であってもよい。このように、間引き率が、分母が少数の単位分数である場合、画像間引き装置及び補間装置114は、近傍画素の情報に基づく線形補間処理や近傍画素選択処理によって、間引き後の画素情報を算出する。
[サンプリング定理]
ところで、画像データの画素情報が間引かれることによって、間引き処理後の画像データから標本化される周波数の帯域幅が狭くなる。この現象は、サンプリング定理として知られる。サンプリング定理によると、ある周波数を標本化するには、周波数成分の帯域幅の2倍より高い周波数で標本化する必要がある。しかし、間引き処理によって画素情報が減少することに伴い、周波数成分の帯域幅の2倍より高い周波数で標本化できなくなってしまう。これにより、間引き処理後の画像データの周波数帯域幅が狭くなる。
例えば、間引き率が1/Mである場合、間引き処理によって、画像データの標本点が1/Mに減少する。これにより、間引き処理後の画像データにおいて標本化される周波数帯域幅が、間引き処理前の画像データにおける周波数帯域幅の1/Mに減少する。また、間引き処理前の画像データにおける1/Mを超える周波数は、1/Mの周波数(以下、折り返し周波数)を基点として折り返された1/M以下の周波数帯域の周波数として標本化される。即ち、間引き処理前の画像データにおける折り返し周波数を超える周波数の信号成分は、折り返し周波数以下の周波数帯域における原信号成分に、エイリアス周波数の信号成分として折り重なる。
このように、間引き処理が行われることによって、画像データから標本化される周波数帯域が減少すると共に、折り返し周波数を超える周波数は折り返し周波数以内の周波数として標本化されてしまう。この間引き処理による周波数の折り返しについては、図を使用して後述する。
図2に戻り、表示装置130に出力される第1のサイズ変更画像データ124は、必要に応じて、表示画像処理部116の輪郭強調処理装置によって輪郭強調処理が行われる。これにより、表示画像データが生成され、表示装置部130に出力される。また、圧縮対象の第1のサイズ変更画像データ124は圧縮処理が行われ、圧縮データ126が生成される。生成された圧縮データ126は、記憶装置120に記憶される。
[画像データの周波数帯域]
図3は、図2における通常の処理H1に係る各画像データの周波数帯域を説明する図である。横軸は周波数帯域を表す。図3(A)は、入力画像データDaにおいて標本化される周波数帯域を表す。一方、図3(B)は、低周波抽出データ123の周波数帯域を表す。低周波抽出データ123はローパスフィルタが適用されることにより、低周波成分のみが抽出されている。このため、図3(B)の周波数帯域における高周波帯域がカットされている。なお、同図は、ローパスフィルタによって、ローパスフィルタにおけるカットオフ周波数を超える高周波成分が完全にカットされた低周波抽出データ123の周波数帯域を表している。
そして、図3(C1)は、低周波抽出データ123について画素情報の間引き処理が行われ生成される第1のサイズ変更データ124の周波数帯域を表す。同図の例において、間引き率は、例えば、1/4である。つまり、第1のサイズ変更データ124は、低周波抽出データ123における4つの画素情報のうち、1つの画素情報を有する。
前述したとおり、1/4の間引き処理が行われることによって、低周波抽出データ123において標本化可能な周波数帯域は1/4に減少する。また、間引き処理によって、1/4を超える周波数帯域の周波数成分は、1/4以下の周波数帯域の周波数成分に折り重なる。ただし、低周波抽出データ123は、予め、ローパスフィルタによって、カットオフ周波数(例えば1/4の周波数)を超える周波数帯域の周波数がカットされている。このため、図3(C)の例では、間引き処理による周波数の折り返しが発生していない。
続いて、図2に戻り、本実施の形態例における合焦評価値生成部118の処理H2について説明する。
[合焦評価値生成部118の処理H2の流れ]
さらに、本実施の形態例における画像間引き装置及び補間装置114は、入力画像データDaを間引くことによって、第2のサイズ変更画像データ125を生成する。このときの間引き率は、第1のサイズ変更画像データ124生成時の間引き率と同一である。画像間引き装置及び補間装置114は、入力画像データDaの画素の情報を垂直、水平の方向に間引くことによって、第2のサイズ変更画像データ125を生成する。
そして、合焦評価値生成部118の画素差分演算装置1181は、第1のサイズ変更画像データ124と第2のサイズ変更画像データ125について、合焦評価値生成部118の指定範囲抽出装置119によって抽出されるフォーカス範囲の対応する画素間の情報の差分値を算出する。続いて、合焦評価値生成部118の強度値算出装置1183は、算出した差分値に基づく高周波の強度値を、合焦評価値として生成する。例えば、強度値算出装置1183は、画素間の差分値の絶対値の最大値、絶対値の総和値、絶対値のエリア平均値、画素間の差分値の2乗総和、絶対値の2乗総和のエリア平均値のいずれかを合焦評価値として生成する。
前述したとおり、間引き処理が行われることによって、間引き処理前の画像データにおける折り返し周波数を超える周波数帯域の周波数成分が、折り返し周波数以下の周波数帯域の原信号成分と重なる。入力画像データDaは低周波抽出データ123と異なり、ローパスフィルタが適用されていないため、間引き処理によって周波数の折り返しが多量に生じる。このため、第2のサイズ変更画像データ125の周波数には、エイリアス周波数が多量に含まれる。
このため、第1のサイズ変更画像データ124と第2のサイズ変更画像データ125との差分値は、高周波成分を示すエイリアス周波数の信号成分を示す。そこで、差分値に基づく情報が、高周波成分の強度値を示す合焦評価値として生成される。
このように、本実施の形態例における合焦評価値生成装置は、ノイズ除去のための低周波抽出処理を行わずに間引き処理を行った第2のサイズ変更画像データを生成する。そして、合焦評価値生成装置は、通常の処理である画像データの圧縮過程または画像データの表示過程において生成される第1のサイズ変更画像データと、第2のサイズ変更画像データとの差分値に基づいて、高周波成分の強度を示す合焦評価値を生成する。第1、2のサイズ変更画像データ124、125はそれぞれ画素の情報が間引かれていることから、差分値の算出に係る演算量が抑えられる。このため、本実施の形態例における合焦評価値生成装置は、演算量を抑えながら、画像データの高周波成分の抽出を可能にする。
[画像データの周波数帯域]
図4は、図2における本実施の形態例の合焦評価値生成処理H2に係る各画像データの周波数帯域を説明する図である。図3と同様にして、横軸は周波数帯域を表す。また、図4(A)は、図3(A)と同一であり、入力画像データDaにおいて標本化される周波数帯域を表す。
一方、図4(C2)は、入力画像データDaについて画素の間引き処理が行われ生成される第2のサイズ変更データ125の周波数帯域を表す。この例において、間引き率は、第1のサイズ変更データ124と同率の1/4である。間引き処理によって、入力画像データDaにおいて標本化可能な周波数帯域が1/4に制限されると共に、1/4(折り返し周波数)を超える周波数帯域の周波数成分が、1/4以下の周波数帯域の周波数成分に折り重なる。このため、同図において、折り返し周波数以下の帯域に、折り返し周波数を超える周波数の成分Exが3重に折り重なっている。
具体的に、このとき、折り返し周波数を超える周波数は、折り返し周波数を基点として鏡に映した位置に、エイリアス周波数として表れる。例えば、図4の(A)のサンプリング周波数の3/8部分に当たる周波数h2は、折り返しによって、サンプリング周波数の1/8部分に当たるエイリアス周波数h1として表れる。このため、図4の(C2)において、周波数h2の信号成分が、周波数h1の信号成分として標本化される。
さらに、例えば、同率の間引き処理によって、入力画像データDaにおける5/8に当たる周波数h3についても、1/8に当たるエイリアス周波数h1として表れる。間引き率1/4にしたがって間引き処理を行う場合、エイリアス周波数が3重に折り重なる。このように、エイリアス周波数が多重に折り重なる場合、複数の異なる周波数が同一の周波数として標本化されることがある。
そして、図4(D)は、第1のサイズ変更画像データ124(図3(C1))と、第2のサイズ変更画像データ125(図4(C2))との画素情報の差分値に対応する周波数帯域を表す。第1、2のサイズ変更画像データ124、125は、同一の間引き率に従って間引き処理が行われていることから、データサイズは同一である。図4(D)に示すように、第1のサイズ変更画像データ124と第2のサイズ変更画像データ125との差分値は、エイリアス周波数成分Ex、即ち、入力画像データDaの高周波成分を示す。
続いて、具体的な画像データの周波数に沿って、本実施の形態例における合焦評価値生成部118の処理を説明する。
[画像データの具体例(周波数):通常の処理H1]
図5は、通常の処理H1における具体的な各画像データの輝度信号の周波数の一例を表す図である。横軸は輝度信号の周波数を、縦軸は振幅を表す。この例において、輝度信号は、例えば、RGB方式のR値やYCbCr方式のY値等である。
図5(A)は、入力画像データDaの輝度信号の周波数の一例を表す。この例において、入力画像データDaの周波数帯域は0Hz〜1024Hzである。一方、図5(B)は、入力画像データDaにローパスフィルタが適用され生成された低周波抽出データ123の輝度信号の周波数の一例を表す。この例において、ローパスフィルタは、例えば、128Hzを超える周波数成分を低減させるフィルタである。このため、図5(B)において、128Hzを超える周波数成分が大幅に低減されている。なお、ローパスフィルタの性能を上げることによって、図5(B)における128Hzを超える周波数成分をより高精度に除外することが可能である。
そして、図5(C1)は、低周波抽出データ123について間引き率1/8に従って間引き処理が行われ生成される第1のサイズ変更データ124の輝度信号の周波数を表す。間引き処理によって、標本化可能な周波数についても0Hz〜1024Hzから0Hz〜128Hz(=1024÷8)のように、1/8に制限される。このため、同図において、128Hz(折り返し周波数)を超える周波数が、0Hz〜128Hzの周波数帯域に折り重なっている。
ただし、図5(B)で前述したとおり、低周波抽出データ123は、ローパスフィルタによって予め高周波成分が低減されることにより、128Hzを超える周波数の信号成分が大幅に低減されている。このため、図5(C1)において、0Hz〜128Hzの周波数帯域に折り重なるエイリアス周波数成分は抑えられている。
[画像データの具体例(周波数):合焦評価値生成処理H2]
図6は、本実施の形態例における合焦評価値生成処理H2における具体的な各画像データの輝度信号の周波数の一例を表す図である。横軸は輝度信号の周波数を、縦軸は振幅を表す。図6(A)は、図5(A)と同図であって、入力画像データDaの輝度信号の周波数の一例を表す。
そして、図6(C2)は、入力画像データDaについて間引き率1/8に従って間引き処理が行われ生成される第2のサイズ変更データ125の輝度信号の周波数を表す。図5(C1)と同様にして、間引き処理によって、標本化可能な周波数が0Hz〜128Hzに制限されると共に、128Hzを超える周波数が0Hz〜128Hzの周波数帯域に折り重なる。第2のサイズ変更データ125は高周波数成分を有することから、図6(C2)において、0Hz〜128Hzの周波数帯域に折り重なるエイリアス周波数成分が多い。
そして、図6(D)は、第1のサイズ変更画像データ124と第2のサイズ変更画像データ125との輝度信号の差分情報に基づく周波数を表す。同図に示される周波数成分の振幅は、第2のサイズ変更画像データ125におけるエイリアス周波数(図4のEx)の振幅、即ち、入力画像データDaが有する高周波成分の強度値を示す。このように、第1のサイズ変更画像データ124と第2のサイズ変更画像データ125との輝度信号の差分情報は、入力画像データDaが有する高周波成分の強度値を示す。
次に、具体的な画像データの画素値に沿って、本実施の形態例における合焦評価値生成部118の処理を説明する。
[画像データの具体例(画素値):通常の処理H1]
図7は、入力画像データDa(A)と、低周波抽出データ123(B)の画素値の一例を表す図である。横軸は2次元の画像データを走査したときの各画素を、縦軸は当該画素に対応する画素値を表す。この例における画像データの総画素数は32であり、輝度信号を示す画素値は0〜255の値をとる。
図7(A)は、入力画像データDaにおける横軸の画素1〜32に対応する画素値の変移を表す。横軸に対応する画素値の変移の度合いが大きいことは、隣接画素との輝度信号の差分値が大きいことを示し、高周波成分を有することを意味する。一方、画素値の変移の度合いが小さいことは、低周波成分を有することを意味する。また、図7(B)は、低周波抽出データの画素値の変移を表す。ローパスフィルタが適用されることによって画素値が平滑化され、画素値の変移の度合いが小さくなる。このため、図7(B)における画素値の変移の度合いは、図7(A)に対して小さい。
図8は、低周波抽出データ123の間引きイメージ(B´)と、間引き後の第1のサイズ変更画像データ124(C1)の画素値の一例を表す図である。この例において、間引き率は1/4である。このため、図8(B´)において、低周波抽出データ123における横軸の画素4、画素8、画素16…に対応する値がマーキングされている。また、図8(C1)では、マーキングされた8コの画素値が抽出されている。同図に示されるように、間引き処理によって、画素値の変移の度合いがより小さくなっている。
[画像データの具体例(画素値):合焦評価値生成処理H2]
図9は、入力画像データDaの間引きイメージ(A´)と、間引き後の第2のサイズ変更画像データ125(C2)の画素値の一例を表す図である。この例において、間引き率は、図8に示される第1のサイズ変更画像データ124と同率の1/4である。このため、図9(A´)において、入力画像データDaにおける横軸の画素4、画素8、画素16…に対応する値がマーキングされている。また、図9(C2)では、マーキングされた8コの画素値が抽出されている。同図において、間引き処理によって画素値の変移の度合いが小さくなっているものの、画素値の大きい変移を保持している。このため、第1のサイズ変更画像データ124と第2のサイズ変更画像データ125の差分値が算出されることにより、元画像データDaが有する高周波成分が抽出される。
以上のように、本実施の形態例における合焦評価値生成装置は、被写体を撮像して取得される入力画像データから低周波成分を抽出した低周波画像データ(低周波抽出データ)を生成し、入力画像データ及び低周波画像データを同一の比率でそれぞれ間引いて入力間引き画像データ(第2のサイズ変更画像データ)及び低周波間引き画像データ(第1サイズ変更画像データ)を生成する。そして、合焦評価値生成装置は、入力間引き画像データと低周波間引き画像データとの画素間の差分値に基づいて合焦評価値を生成する。また、合焦評価値は、画素間の差分値の絶対値の最大値、絶対値の総和値、絶対値の平均値、差分値の二乗値の総和値、二乗値の平均値のいずれかである。
これにより、合焦評価値生成装置は、通常、画像データの圧縮過程、または、画像データの表示過程において生成する第1のサイズ変更画像データと、第2のサイズ変更画像データとの差分値に基づいて、簡易に、高周波成分の強度を示す合焦評価値を生成することができる。本実施の形態例における合焦評価値生成装置では、高負荷の演算式や、隣接画素同士の演算を行う必要がなく、合焦評価値生成装置は、間引き処理後の第1、2のサイズ変更画像データ124、125の画素間の差分値に基づいて合焦評価値を生成する。このため、合焦評価値生成装置は、演算量を最小限に抑えながら、高速に、負荷を増大させることなく、高周波成分を抽出することができる。
また、デジタル撮影装置には撮像された画像の表示手段が備えられ、本実施の形態例における合焦評価値生成装置において、少なくとも1つの低周波間引き画像データは、表示手段に出力される表示画像データへの変換過程の画像データ、または、デジタル撮影装置がアクセス可能な記憶手段に記憶される圧縮画像データへの変換過程の画像データである。
このように、合焦評価値生成装置は、通常、画像データの圧縮過程、または、画像データの表示過程において生成される第1のサイズ変更画像データを利用することによって演算量を抑えながら、より効率的に合焦評価値を生成することができる。
また、本実施の形態例における合焦評価値生成装置において、合焦評価値は表示手段に表示されてもよい。これにより、例えば、マニュアル操作によってフォーカスが行われる場合、ユーザは、表示用画面に表示される合焦評価値が最も大きくなるレンズの位置を合焦状態として検知することができる。表示手段とは、例えば、デジタル一眼レフカメラの電子ビューファインダや液晶画面等である。
図10は、表示手段に表示される合焦評価値の表示例Dpを表す図である。同図のそれぞれの表示例Dpにおいて、合焦評価値は例えば横方向の棒線brで表される。また、同図の矢印Txは、ユーザがレンズ位置を一定の方向に移動させたときの時間の流れを示す。同図の例において、矢印Txの流れに沿って、前半は、合焦評価値が徐々に大きな値に遷移している。そして、タイミングtyにおいて、合焦評価値がピークをとり、徐々に小さな値に遷移している。そこで、ユーザは、山登り法に基づいて、タイミングtyにおけるレンズ位置を合焦状態のレンズ位置として認識可能になる。
このように、本実施の形態例における合焦評価値生成装置によって生成された合焦評価値が表示画面に表示される。これにより、ユーザは、マニュアル操作によってフォーカスを行う場合であっても、高周波成分の強度値を示す合焦評価値を参照することにより、最適なレンズ位置を検知することができる。
なお、本実施の形態例における合焦評価値生成装置は、予め、備えられた間引き画像データを生成する間引き画像生成手段、及び、低周波画像データ生成手段を利用する。このため、合焦評価値生成装置は、新たに間引き画像生成手段等を備える必要がないため、容易に合焦評価値を生成することができる。また、本実施の形態例における合焦評価値生成装置は、低周波抽出データが生成されている間に、先に第2のサイズ変更画像データ125を生成する。これにより、合焦評価値の生成処理が効率的に行われる。
図11は、本実施の形態例の合焦評価値生成装置における各処理の流れの一例を表す図である。同図のように、画像間引き装置及び補間装置114(間引き画像生成手段)は、通常処理H1における低周波抽出処理113が行われている間に、合焦評価値生成処理H2における第2のサイズ変更画像データ125を生成しておく。そして、画像間引き装置及び補間装置114は、第2のサイズ変更画像データ125を生成後、通常処理H1における第1のサイズ変更画像データ124を生成する。これにより、合焦評価値生成装置は、既存の間引き画像生成手段を効率的に利用しながら、高速に、合焦評価値を生成することができる。
なお、本実施の形態例において、間引き率(比率)が1/4、1/8等である場合を例示したが、この例に限定されるものではない。なお、本実施の形態例における合焦評価値生成装置は、間引き率を1/2以上にする場合、合焦評価値として生成される高周波成分の抽出精度をより高くすることができる。間引き率が1/2以上である場合とは、例えば、間引き率が1/2、2/3、3/4等である場合を示す。
図4で前述したとおり、サンプリング定理によると、間引き処理によって周波数の折り返しが発生し、折り返し周波数以下の原信号成分にエイリアス周波数の信号成分が折り重なる。このように周波数の折り返しが発生する場合、折り重なる信号成分の位相の方向と積分される要素数によっては、信号成分が互いに打ち消し合って消滅してしまうことがある。つまり、折り返し周波数を超えるエイリアス周波数の信号成分同士が互いに打ち消しあって消滅してしまうことがある。これにより、第1のサイズ変更画像データ124と、第2のサイズ変更画像データ125の差分値の精度が低くなってしまう。
そこで、エイリアス周波数の成分同士の打ち消しあいを回避するために、合焦評価値生成装置は、間引き率を1/2以上にすることにより、間引き処理による周波数の折り返し回数を1回に抑える。これにより、エイリアス周波数の成分同士の打ち消し合いが回避され、第1のサイズ変更画像データ124と、第2のサイズ変更画像データ125の差分値の精度が向上する。これにより、合焦評価値の精度が高くなる。
[第2の実施の形態例]
第1の実施の形態例では、1つの間引き率に基づいて第1、2のサイズ変更画像データを生成し、ひとつの合焦評価値を生成する場合を例示した。これに対し、第2の実施の形態例では、複数の間引き率に基づいて、複数パターンの第1、2のサイズ変更画像データを生成し、複数の合焦評価値を生成する場合を例示する。合焦評価値生成装置は、複数の合焦評価値を生成することによって、より高精度に抽出された高周波成分の強度値を合焦評価値とすることができる。
[周波数成分の打ち消し合い]
第1の実施の形態例で前述したとおり、間引き処理によって、エイリアス周波数の信号成分同士が互いに打ち消しあって消滅してしまうことがある。これは、間引き率が1/2未満の場合、いずれの間引き率であっても生じ得る。ただし、間引き率によって、エイリアス周波数成分同士の打ち消し合いが生じる周波数が異なる。これは、間引き率によって折り返し周波数が異なることに伴い、エイリアス周波数として折り重なる周波数が異なるためである。
ここで、間引き処理によるエイリアス周波数成分同士の打ち消し合いについて、数式に基づいて説明する。式1は、2つの周波数を有する画像データを表す演算式である。式1において、F1(x)は画素値を、xは画素位置を示す。例えば、画像データの総画素数が32である場合、xは1、2…32の値をとる。また、式1において、2つの周波数は「fs/4+fd」、「fs/2−fd」であり、fsは値1、fdは任意の係数0.001953である。なお、piはπを示す。
[式1]
F1(x)=64*{2-sin(2*pi*(fs/4+fd)*x)-sin(2*pi*(fs/2-fd)*x)}
式1では、2が加算されると共に、64が乗算されている。これにより、値範囲−2〜2の値が範囲0〜256の値F1(x)に換算される。式1に値0、1、2…32が代入されることにより、周波数「fs/4+fd」、「fs/2−fd」を有する画像データが生成される。
続いて、式1の表す入力画像データDaを複数の異なる間引き率にしたがって間引くことによって生成される複数の第2のサイズ変更画像データ125について説明する。
[間引き率1/4]
図12は、式1の表す入力画像データDaの間引き率1/4の間引きイメージ(A´)と、間引き後の第2のサイズ変更画像データ125(C2)の一例を表す図である。同図の入力画像データDaにおいて、横軸は式1のx、縦軸は式1のF1(x)に対応する。この例において、間引き率は1/4であるため、図11(A´)において、入力画像データDaにおける横軸の画素4、画素8、画素16…に対応する値がマーキングされている。
そして、図12(C2)は、(A´)においてマーキングされた間引き後の画素値を表す。同図において、第2のサイズ変更画像データ125の画素値は全て同一の値である。これは、間引き処理によって、式1における2つの周波数の成分同士が打ち消し合い、消滅したことを意味する。この点について、式2に基づいて説明する。
[式2]
F4(x)=64*{2−sin(2*pi*fd*x)+sin(2*pi*fd*x)}=128
式2は、式1の示す画像データを間引き率1/4に従って間引いて生成される画像データを表す演算式である。式2において、F4(x)は画素値であり、xは画素位置を示す。間引き率1/4の場合、xは4、8…の値をとる。また、fs、fdは式1と同様である。式1における2つの周波数「fs/4+fd」、「fs/2−fd」は共に、折り返し周波数である1/4の周波数を超える周波数である。このため、間引き処理によって、周波数の折り返しが発生し、2つの周波数はそれぞれ「fd」、「−fd」として標本化される。この場合、2つの周波数「fd」、「−fd」の信号成分が互いに打ち消しあうため、値は常に128(=64*2)となる。
[間引き率1/5]
図13は、式1の表す入力画像データDaの間引き率1/5の間引きイメージ(A´)と、間引き後の第2のサイズ変更画像データ125(C2)の一例を表す図である。同図の入力画像データDaにおいて、横軸は式1のx、縦軸は式1のF1(x)に対応する。この例において、間引き率は1/5であるため、図12(A´)において、入力画像データDaにおける横軸の画素5、画素10、画素15…に対応する値がマーキングされている。
そして、図13(C2)では、(A´)においてマーキングされた間引き後の画素値が表される。間引き率1/4の場合と異なり、間引き率1/5の場合、間引き処理後の画素の値はそれぞれ異なる。つまり、間引き処理による周波数成分同士の打ち消し合いは生じていない。この点について、式3に基づいて説明する。
[式3]
F5(x)=64*{2−sin(2*pi*(fs/20+fd)*x)−sin(2*pi*(fs/10−fd)*x)}
式3は、式1の示す画像データを間引き率1/5に従って間引いて生成される画像データを表す演算式である。式3において、F5(x)は画素値であり、xは画素位置を示す。間引き率1/5の場合、xは5、10…の値をとる。また、fs、fdは式1と同様である。式1における2つの周波数「fs/4+fd」、「fs/2−fd」は共に、折り返し周波数である1/5の周波数を超える周波数である。このため、間引き処理によって、周波数の折り返しが発生し、それぞれ「fs/20+fd」、「fs/10−fd」として標本化されるため、周波数成分の打ち消し合いは発生しない。
このように、例えば、周波数が「fs/4+fd」、「fs/2−fd」の場合、間引き率1/4では打ち消しあいが生じるものの、間引き率1/5では打ち消しあいが生じない。ただし、折り返しによる周波数成分の打ち消しあいが生じる間引き率は、周波数によって異なる。また、画像データの有する周波数成分は、画像データ毎に異なることにより、周波数成分の打ち消しあいが生じにくい間引き率を検出することは困難である。
そこで、本実施の形態例における合焦評価値生成装置は、第1の比率で間引かれた第1のサイズ変更画像データと第2のサイズ変更画像データに基づく第1の合焦評価値に加え、第2の比率で間引かれた第1のサイズ変更画像データと第2のサイズ変更画像データに基づく第2の合焦評価値を生成する。そして、合焦評価値生成装置は、第1、2の合焦評価値における最大値、または、平均値のいずれかを合焦評価値として生成する。
[合焦評価値生成部118の処理H2の流れ]
第2の実施の形態例における合焦評価値生成部118の処理の流れを図2に基づいて説明する。第2の実施の形態例における合焦評価値生成部118は、第1の実施の形態例と同様にして第1の間引き率に基づいて第1の合焦評価値を生成する。
そして、合焦評価値生成部118は、さらに、低周波抽出データ123を第2の間引き率1/Nに従って間引くことによって、別の第1のサイズ変更画像データ124を、入力画像データDaを第2の間引き率1/Nに従って間引くことによって、別の第2のサイズ変更画像データ125を生成する。さらに、合焦評価値生成部118は、間引き率1/Nにしたがって生成された第1のサイズ変更画像データ124と、第2のサイズ変更画像データ125における範囲指定の各画素の差分値に基づいて、第2の合焦評価値を生成する。
例えば、合焦評価値がより大きい場合、入力画像データDaから、より高精度に高周波成分が抽出されたことを意味する。このため、合焦評価値生成部118は、第1の合焦評価値と第2の合焦評価値のうちより大きい値を、総合の合焦評価値として出力する。または、合焦評価値生成部118は、第1、2の合焦評価値の平均値を総合の合焦評価値として出力してもよい。
なお、間引き率が異なることにより、第1、2のサイズ変更画像データのデータサイズが異なる。このとき、第1、2の合焦評価値の元となる差分値を構成する画素数が異なることになる。したがって、第1、2の合焦評価値の単位は、例えば、差分値を構成する画素数の比率に対応して合わせられる。
以上のように、本実施の形態例において間引き率は複数の間引き率を含み、合焦評価値生成手段は、第1の間引き率で間引かれた第1の入力間引き画像データ(第2のサイズ変更画像データ)と第1の低周波間引き画像データ(第1のサイズ変更画像データ)とに基づいた第1の合焦評価値と、第2の比率で間引かれた第2の入力間引き画像データと第2の低周波間引き画像データとに基づいた第2の合焦評価値とに基づく総合合焦評価値を、合焦評価値として生成する。
これにより、複数の間引き率に基づく複数の合焦評価値が生成されることにより、合焦評価値生成装置は、より高精度の合焦評価値を選択することができる。または、合焦評価値生成装置は、複数の合焦評価値の平均値を合焦評価値とすることができる。これにより、間引き率が1/2未満であることにより、エイリアス周波数の信号成分同士の打ち消しあいが生じる場合であっても、合焦評価値生成装置は、高精度の合焦評価値を生成することができる。
なお、第1、2の間引き率は、例えば、演算式「R2=R1×{1+(1/(R1−1))}、R2=R1×{1−(1/(R1−1))}」によって算出されてもよい。演算式において、間引き率は単位分数であり、R1は第1の間引き率の分母値、R2は第2の間引き率の分母値を示す。この演算式によると、例えば、R2は小数を有する値(例えば、4.1)となる。このように、間引き率は、必ずしも、整数の分母値を有する単位分数(例えば、1/4)である必要はない。ただし、間引き率が、非整数の分母値を有する単位分数(例えば、1/4.1)である場合、間引き処理において、線形補間処理や近傍画素選択処理が発生することに伴い処理の負荷が増大する。このため、第1、2の間引き率は、負荷バランスや合焦評価値の精度に基づいて設定される。
また、本実施の形態例において、例えば、第1、2の間引き率は、第1の間引き率に対応する単位分数の第1の分母値と、第2の間引き率に対応する単位分数の第2の分母値との差異が1未満となるように設定される。例えば、第1の間引き率が1/4である場合、第2の間引き率は、1/4.2や1/3.8のように設定される。これにより、各合焦評価値の精度が近似し、総合の合焦評価値の精度が向上する。
第1、2の間引き率が大きく異なると、間引き処理によるエイリアス周波数の多重度も大きく異なってしまう。エイリアス周波数の多重度が大きくなると、周波数の打ち消しあいの発生頻度も大きくなる。このため、第1、2の間引き率の差異が大きいことにより、合焦評価値の精度の差異も開いてしまうことになる。そこで、合焦評価値生成装置は、例えば、第1の間引き率と第2の間引き率の差異を小さくする。
または、本実施の形態例において、例えば、第1、2の間引き率は、第1の間引き率に対応する単位分数の第1の分母値(例えば、4)と、第2の間引き率に対応する単位分数の第2の分母値(例えば、5)との乗算値は、第1の分母値と第2の分母値の最小公倍数(例えば、20)になるように設定される。これにより、複数の間引き率において、信号成分の打ち消しあいが生じる周波数が共有されず、複数の合焦評価値を生成することによる効果がより高くなる。
具体的に、第1の間引き率が1/4である場合、例えば、第2の間引き率は、1/5、1/7等に設定される。例えば、1/4の間引き処理において、周波数成分の打ち消しあいが生じる周波数は、1/8の間引き処理においても周波数成分の打ち消しあいが生じる。このため、複数の間引き率に基づいて複数の合焦評価値を生成したとしても、同一の周波数で信号成分の打ち消しあいが生じることになってしまい、複数の間引き率に基づくことによる効果が減少してしまう。
また、本実施の形態例において、第1、2の間引き率に重み付けが行われてもよい。例えば、本実施の形態例における合焦評価値生成装置は、第1の間引き率(例えば、1/4)が第2の間引き率(例えば、1/5)より大きい値である場合、第1の合焦評価値に第1の重み係数を、第2の合焦評価値に前記第1の重み係数より小さい第2の重み係数を反映させる。これにより、生成される合焦評価値の精度がより向上する。
この場合、例えば、間引き率がより大きいために周波数成分の打ち消し合いが生じ難い第1の間引き率(1/4)の合焦評価値により大きい重み付けが行われる。具体的に、第1の間引き率が1/4の場合の周波数の折り返しの多重度は3であり、第2の間引き率が1/5の場合の周波数の折り返しの多重度は4である。周波数の折り返しの多重度が異なる場合、多重度がより高い場合に周波数成分の打ち消しあいがより生じ易い。
なお、本実施の形態例における合焦評価値生成処理は、コンピュータ読み取り可能な記録媒体にプログラムとして記憶され、当該プログラムをコンピュータが読み出して実行することによって行われてもよい。
以上の実施の形態をまとめると、次の付記のとおりである。
(付記1)
デジタル撮像装置の光学系の合焦度を示す合焦評価値を生成する合焦評価値生成装置であって、
被写体を撮像して取得される入力画像データから低周波成分を抽出した低周波画像データを生成する低周波画像データ生成手段と、
前記入力画像データ及び前記低周波画像データを同一の比率でそれぞれ間引いて入力間引き画像データ及び低周波間引き画像データを生成する間引き画像生成手段と、
前記入力間引き画像データと前記低周波間引き画像データとの画素間の差分値に基づいて合焦評価値を生成する合焦評価値生成手段)と、を有する合焦評価値生成装置。
(付記2)
付記1において、
前記比率は複数の比率を含み、
前記合焦評価値生成手段は、第1の比率で間引かれた第1の入力間引き画像データと第1の低周波間引き画像データとに基づいた第1の合焦評価値と、第2の比率で間引かれた第2の入力間引き画像データと第2の低周波間引き画像データとに基づいた第2の合焦評価値とに基づく総合合焦評価値を、前記合焦評価値として生成する合焦評価値生成装置。
(付記3)
付記1または2において、
前記比率は1/2以上である合焦評価値生成装置。
(付記4)
付記2において、
前記第1の比率に対応する単位分数と、前記第2の比率に対応する単位分数とにおける分母値同士の差異が1未満である合焦評価値生成装置。
(付記5)
付記2において、
前記第1の比率に対応する単位分数の第1の分母値と、前記第2の比率に対応する単位分数の第2の分母値との乗算値は、前記第1の分母値と前記第2の分母値の最小公倍数である合焦評価値生成装置。
(付記6)
付記1または2において、
前記デジタル撮影装置には、前記撮像された画像の表示手段が備えられ、
少なくとも1つの前記低周波間引き画像データは、前記表示手段に出力される表示画像データへの変換過程の画像データである合焦評価値生成装置。
(付記7)
付記1または2において、
少なくとも1つの前記低周波間引き画像データは、前記デジタル撮影装置がアクセス可能な記憶手段に記憶される圧縮画像データへの変換過程の画像データである合焦評価値生成装置。
(付記8)
付記2において、
前記総合合焦評価値は、前記第1、2の合焦評価値における最大値、または、平均値のいずれかである合焦評価値生成装置。
(付記9)
付記2において、
前記第1の比率は、前記第2の比率より大きい値であって、
前記第1の合焦評価値に第1の重み係数が反映され、前記第2の合焦評価値に前記第1の重み係数より小さい第2の重み係数が反映される合焦評価値生成装置。
(付記10)
付記1において、
前記合焦評価値は、前記画素間の差分値の絶対値の最大値、前記絶対値の総和値、前記絶対値の平均値、前記画素間の差分値の二乗値の総和値、前記二乗値の平均値のいずれかである合焦評価値生成装置。
(付記11)
付記1または2において、
前記デジタル撮影装置には、前記撮像された画像の表示手段が備えられ、
前記合焦評価値は前記表示手段に表示される合焦評価値生成装置。
(付記12)
デジタル撮像装置の光学系の合焦度を示す合焦評価値を生成する合焦評価値生成方法であって、
被写体を撮像して取得される入力画像データから低周波成分を抽出した低周波画像データを生成する低周波画像データ生成工程と、
前記入力画像データ及び前記低周波画像データを同一の比率でそれぞれ間引いて入力間引き画像データ及び低周波間引き画像データを生成する間引き画像生成工程と、
前記入力間引き画像データと前記低周波間引き画像データとの画素間の差分値に基づいて合焦評価値を生成する合焦評価値生成工程と、を有する合焦評価値生成方法。
(付記13)
デジタル撮像装置の光学系の合焦度を示す合焦評価値を生成する合焦評価値生成処理をコンピュータに実行させるコンピュータ読み取り可能な合焦評価値生成プログラムであって、
被写体を撮像して取得される入力画像データから低周波成分を抽出して生成される低周波画像データ、及び、前記入力画像データが、同一の比率でそれぞれ間引かれて生成された入力間引き画像データと、低周波間引き画像データとの画素間の差分値に基づいて合焦評価値を生成する合焦評価値生成工程、を有する合焦評価値生成プログラム。
100:撮像部、110:画像変換部、120:画像記憶部、130:表示装置部、101:ズームレンズ、102:フォーカスレンズ、103:IRIS、104:撮像センサ、105:AFE、106:駆動装置、111:画像入力部、112:画像フォーマット変更部、113:低周波抽出部、114:画像サイズ変更部、115:画像圧縮部、116:表示画像処理部、117:フォーカス制御部、118:合焦評価値生成部、119:指定範囲抽出部

Claims (13)

  1. デジタル撮像装置の光学系の合焦度を示す合焦評価値を生成する合焦評価値生成装置であって、
    被写体を撮像して取得される入力画像データから低周波成分を抽出した低周波画像データを生成する低周波画像データ生成手段と、
    前記入力画像データ及び前記低周波画像データを同一の比率でそれぞれ間引いて入力間引き画像データ及び低周波間引き画像データを生成する間引き画像生成手段と、
    前記入力間引き画像データと前記低周波間引き画像データとの画素間の差分値に基づいて合焦評価値を生成する合焦評価値生成手段と、を有する合焦評価値生成装置。
  2. 請求項1において、
    前記比率は複数の比率を含み、
    前記合焦評価値生成手段は、第1の比率で間引かれた第1の入力間引き画像データと第1の低周波間引き画像データとに基づいた第1の合焦評価値と、第2の比率で間引かれた第2の入力間引き画像データと第2の低周波間引き画像データとに基づいた第2の合焦評価値とに基づく総合合焦評価値を、前記合焦評価値として生成する合焦評価値生成装置。
  3. 請求項1または2において、
    前記比率は1/2以上である合焦評価値生成装置。
  4. 請求項2において、
    前記第1の比率に対応する単位分数と、前記第2の比率に対応する単位分数とにおける分母値同士の差異が1未満である合焦評価値生成装置。
  5. 請求項2において、
    前記第1の比率に対応する単位分数の第1の分母値と、前記第2の比率に対応する単位分数の第2の分母値との乗算値は、前記第1の分母値と前記第2の分母値の最小公倍数である合焦評価値生成装置。
  6. 請求項1または2において、
    前記デジタル撮影装置には、前記撮像された画像の表示手段が備えられ、
    少なくとも1つの前記低周波間引き画像データは、前記表示手段に出力される表示画像データへの変換過程の画像データである合焦評価値生成装置。
  7. 請求項1または2において、
    少なくとも1つの前記低周波間引き画像データは、前記デジタル撮影装置がアクセス可能な記憶手段に記憶される圧縮画像データへの変換過程の画像データである合焦評価値生成装置。
  8. 請求項2において、
    前記総合合焦評価値は、前記第1、2の合焦評価値における最大値、または、平均値のいずれかである合焦評価値生成装置。
  9. 請求項2において、
    前記第1の比率は、前記第2の比率より大きい値であって、
    前記第1の合焦評価値に第1の重み係数が反映され、前記第2の合焦評価値に前記第1の重み係数より小さい第2の重み係数が反映される合焦評価値生成装置。
  10. 請求項1において、
    前記合焦評価値は、前記画素間の差分値の絶対値の最大値、前記絶対値の総和値、前記絶対値の平均値、前記画素間の差分値の二乗値の総和値、前記二乗値の平均値のいずれかである合焦評価値生成装置。
  11. 請求項1または2において、
    前記デジタル撮影装置には、前記撮像された画像の表示手段が備えられ、
    前記合焦評価値は前記表示手段に表示される合焦評価値生成装置。
  12. デジタル撮像装置の光学系の合焦度を示す合焦評価値を生成する合焦評価値生成方法であって、
    被写体を撮像して取得される入力画像データから低周波成分を抽出した低周波画像データを生成する低周波画像データ生成工程と、
    前記入力画像データ及び前記低周波画像データを同一の比率でそれぞれ間引いて入力間引き画像データ及び低周波間引き画像データを生成する間引き画像生成工程と、
    前記入力間引き画像データと前記低周波間引き画像データとの画素間の差分値に基づいて合焦評価値を生成する合焦評価値生成工程と、を有する合焦評価値生成方法。
  13. デジタル撮像装置の光学系の合焦度を示す合焦評価値を生成する合焦評価値生成処理をコンピュータに実行させるコンピュータ読み取り可能な合焦評価値生成プログラムであって、
    被写体を撮像して取得される入力画像データから低周波成分を抽出して生成される低周波画像データ、及び、前記入力画像データが、同一の比率でそれぞれ間引かれて生成された入力間引き画像データと、低周波間引き画像データとの画素間の差分値に基づいて合焦評価値を生成する合焦評価値生成工程、を有する合焦評価値生成プログラム。
JP2012221559A 2012-10-03 2012-10-03 合焦評価値生成装置、合焦評価値生成方法、及び、合焦評価値生成プログラム Active JP5900273B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012221559A JP5900273B2 (ja) 2012-10-03 2012-10-03 合焦評価値生成装置、合焦評価値生成方法、及び、合焦評価値生成プログラム
US14/013,890 US9313395B2 (en) 2012-10-03 2013-08-29 Focus evaluation value generation apparatus, focus evaluation value generation method, and computer-readable medium storing focus evaluation value generation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012221559A JP5900273B2 (ja) 2012-10-03 2012-10-03 合焦評価値生成装置、合焦評価値生成方法、及び、合焦評価値生成プログラム

Publications (2)

Publication Number Publication Date
JP2014074777A true JP2014074777A (ja) 2014-04-24
JP5900273B2 JP5900273B2 (ja) 2016-04-06

Family

ID=50384824

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012221559A Active JP5900273B2 (ja) 2012-10-03 2012-10-03 合焦評価値生成装置、合焦評価値生成方法、及び、合焦評価値生成プログラム

Country Status (2)

Country Link
US (1) US9313395B2 (ja)
JP (1) JP5900273B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015064556A (ja) * 2013-08-30 2015-04-09 キヤノン株式会社 焦点検出装置及びその制御方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6657789B2 (ja) * 2015-10-29 2020-03-04 株式会社リコー 画像処理装置、撮像装置、機器制御システム、頻度分布画像生成方法、及びプログラム
US10389936B2 (en) * 2017-03-03 2019-08-20 Danylo Kozub Focus stacking of captured images

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63239429A (ja) * 1987-03-27 1988-10-05 Canon Inc 撮像装置
JPH031668A (ja) * 1989-05-29 1991-01-08 Sony Corp オートフォーカス回路
JPH05300421A (ja) * 1992-04-17 1993-11-12 Mitsubishi Electric Corp 自動焦点調節装置
JPH06217180A (ja) * 1993-01-19 1994-08-05 Sony Corp オートフォーカス制御装置
JPH0723274A (ja) * 1993-07-06 1995-01-24 Sony Corp 光学的位置推定装置およびフォーカス制御装置
JPH07118785B2 (ja) * 1989-10-27 1995-12-18 三菱電機株式会社 コントラスト検出装置およびこれを用いたオートフォーカス装置
US5640635A (en) * 1994-08-25 1997-06-17 Flashpoint Technology, Inc. System and method for automatic engagement of a close-up lens in a fixed-focus camera
JPH11258491A (ja) * 1998-03-10 1999-09-24 Canon Inc 焦点検出装置、方法及びコンピュータ読み取り可能な記憶媒体
JP2004120015A (ja) * 2002-09-20 2004-04-15 Ricoh Co Ltd 撮像装置
JP2006189572A (ja) * 2005-01-05 2006-07-20 Canon Inc オートフォーカス装置
JP2006262382A (ja) * 2005-03-18 2006-09-28 Mitsubishi Electric Corp 画像処理装置
JP2009272784A (ja) * 2008-05-01 2009-11-19 Sony Corp 映像信号処理装置、撮像装置及び映像信号処理方法
JP2009296311A (ja) * 2008-06-05 2009-12-17 Sony Corp 半導体装置および固体撮像装置
JP2010185998A (ja) * 2009-02-12 2010-08-26 Nikon Corp 撮像素子および撮像装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5070408A (en) * 1989-05-19 1991-12-03 Sony Corporation Focusing apparatus and digital filters for use therewith
US6603885B1 (en) * 1998-04-30 2003-08-05 Fuji Photo Film Co., Ltd. Image processing method and apparatus
JP2002209135A (ja) 2001-01-11 2002-07-26 Minolta Co Ltd デジタル撮像装置および記録媒体
AU2003296127A1 (en) * 2002-12-25 2004-07-22 Nikon Corporation Blur correction camera system
JP4450187B2 (ja) * 2004-06-08 2010-04-14 パナソニック株式会社 固体撮像装置
US7769285B2 (en) * 2005-02-07 2010-08-03 Panasonic Corporation Imaging device
US7769241B2 (en) * 2007-01-09 2010-08-03 Eastman Kodak Company Method of sharpening using panchromatic pixels
JP4850784B2 (ja) 2007-06-06 2012-01-11 パナソニック株式会社 フォーカス制御装置、撮像装置、フォーカス制御方法および集積回路
JP5202347B2 (ja) * 2009-01-09 2013-06-05 キヤノン株式会社 動画像処理装置および動画像処理方法
JP2014038221A (ja) * 2012-08-16 2014-02-27 Sony Corp 撮像装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63239429A (ja) * 1987-03-27 1988-10-05 Canon Inc 撮像装置
JPH031668A (ja) * 1989-05-29 1991-01-08 Sony Corp オートフォーカス回路
JPH07118785B2 (ja) * 1989-10-27 1995-12-18 三菱電機株式会社 コントラスト検出装置およびこれを用いたオートフォーカス装置
JPH05300421A (ja) * 1992-04-17 1993-11-12 Mitsubishi Electric Corp 自動焦点調節装置
JPH06217180A (ja) * 1993-01-19 1994-08-05 Sony Corp オートフォーカス制御装置
JPH0723274A (ja) * 1993-07-06 1995-01-24 Sony Corp 光学的位置推定装置およびフォーカス制御装置
US5640635A (en) * 1994-08-25 1997-06-17 Flashpoint Technology, Inc. System and method for automatic engagement of a close-up lens in a fixed-focus camera
JPH11258491A (ja) * 1998-03-10 1999-09-24 Canon Inc 焦点検出装置、方法及びコンピュータ読み取り可能な記憶媒体
JP2004120015A (ja) * 2002-09-20 2004-04-15 Ricoh Co Ltd 撮像装置
JP2006189572A (ja) * 2005-01-05 2006-07-20 Canon Inc オートフォーカス装置
JP2006262382A (ja) * 2005-03-18 2006-09-28 Mitsubishi Electric Corp 画像処理装置
JP2009272784A (ja) * 2008-05-01 2009-11-19 Sony Corp 映像信号処理装置、撮像装置及び映像信号処理方法
JP2009296311A (ja) * 2008-06-05 2009-12-17 Sony Corp 半導体装置および固体撮像装置
JP2010185998A (ja) * 2009-02-12 2010-08-26 Nikon Corp 撮像素子および撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015064556A (ja) * 2013-08-30 2015-04-09 キヤノン株式会社 焦点検出装置及びその制御方法

Also Published As

Publication number Publication date
JP5900273B2 (ja) 2016-04-06
US20140092294A1 (en) 2014-04-03
US9313395B2 (en) 2016-04-12

Similar Documents

Publication Publication Date Title
JP5657343B2 (ja) 電子機器
US8422827B2 (en) Image correction apparatus and image correction method
US8774551B2 (en) Image processing apparatus and image processing method for reducing noise
JP6548367B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP5984493B2 (ja) 画像処理装置、画像処理方法、撮像装置およびプログラム
JP2014230176A (ja) 画像信号処理装置、画像信号処理方法、撮像装置および画像表示方法
JP2015197745A (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP6319972B2 (ja) 画像処理装置、撮像装置、画像処理方法、およびプログラム
JP5619124B2 (ja) 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法
WO2014126093A1 (ja) 画像処理装置
JP5900273B2 (ja) 合焦評価値生成装置、合焦評価値生成方法、及び、合焦評価値生成プログラム
JP6494402B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム
US20180352171A1 (en) Image capture apparatus, image processing system, and control method thereof
US10062150B2 (en) Image processing apparatus, image capturing apparatus, and storage medium
JP2015228113A (ja) 画像処理装置および画像処理方法
JP5893426B2 (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP6105960B2 (ja) 画像処理装置、画像処理方法、および撮像装置
JP6604783B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP6320165B2 (ja) 画像処理装置及びその制御方法、並びにプログラム
JP6245847B2 (ja) 画像処理装置および画像処理方法
JP2017028606A (ja) 撮像装置
JP6552248B2 (ja) 画像処理装置及び方法、撮像装置、並びにプログラム
JP6595858B2 (ja) 画像処理装置及び画像処理方法
US9648232B2 (en) Image processing apparatus, image capturing apparatus, control method and recording medium
JP2020092288A (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20150610

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150630

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160222

R150 Certificate of patent or registration of utility model

Ref document number: 5900273

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150