JP2014504375A5 - - Google Patents

Description

フォーカス信号を生成する方法

（関連出願との関係）
本出願は、２０１０年１２月７日に出願されたＰＣＴ出願第ＰＣＴ／ＩＢ２０１０／０５５６４９号に基づく優先権を主張する。

開示される主題は概して、電子的にオートフォーカスして取り込まれた画像に関するものである。

デジタルカメラおよびデジタルビデオカメラなどのような写真機材は、静止又はビデオ画像への処理のために光を取り込む電子画像センサーをそれぞれ備えることができる。電子画像センサーは一般的に、フォトダイオードのような光取込素子を数百万個含んでいる。

カメラなどのような多くの画像取込装置は、オートフォーカスシステムを備えている。オートフォーカスのプロセスは、画像を取り込む工程と、フォーカスされているか否かを決定するように前記画像を処理する工程と、前記画像がフォーカスされていない場合に、フォーカスレンズの位置（フォーカス位置）を変更するために用いられるフィードバック信号を発生する工程とを含む。オートフォーカス技術としては、主に、コントラスト測定に関わる技術と、対になる画像の間の位相差に着目する技術との２つがある。前記コントラスト方法においては、隣接画素間の強度差を解析し、最大コントラストが検出されるまで前記フォーカスを調節する。前記コントラスト技術は、静止ピクチャに対応することができるが、モーションビデオには適していない。

前記位相差方法は、入力画像を、別々の画像センサーにより取り込まれる２つの画像に分割することを含む。また、前記２つの画像を比較して位相差を決定する。そして、前記２つの画像がマッチするまで前記フォーカス位置を調節する。前記位相差方法は、ビームスプリッター及び付加的な画像センサーのような付加的な部品が必要である。さらに、前記位相差の方法は、相対的に小さい帯域における固定検出点を解析する。小さなグループの検出点を有すると、ノイズが１つ以上の点に重ねられる可能性があるため、エラーが発生しやすくなる。この技術は、前記検出点が画像のエッジと一致しない場合にも無効である。結果として、前記位相差方法は、前記光を分割するため、光センサーに衝突する光の量が半分又はそれ以下に低減されてしまう。これは、前記画像の光強度が低下した薄暗い設置環境において問題になり得る。

フォーカス信号発生器に結合された画素アレイを含むオートフォーカス画像システム。前記画素アレイは、複数のエッジがある画像を撮像する。前記発生器は、前記複数のエッジのそれぞれから測定された複数のエッジ鮮明さ度合いの関数であるフォーカス信号を生成する。前記発生器は、複数のサンプル対の差から測定された１対の、エッジの形状指標に基づいて、フォーカス信号に寄与する相対的な程度を低減することを決定でき、ただし、各サンプル対の差は、エッジの所定の近傍内の画像データの１対のサンプルの間の差分である。 形状指標の１つは、エッジのエッジ鮮明さ度合いとすることができる。

オートフォーカス画像ピックアップ装置の実施形態を示す概略図である。 オートフォーカス画像ピックアップ装置の代替実施形態を示す概略図である。 フォーカス信号発生器を示すブロック図である。 画像信号マトリクスにおける水平方向のＳｏｂｅｌ演算子の演算を示す説明図である。 水平勾配からのエッジ幅の算出を示す図である。 斜め角φを有する垂直エッジについてのエッジ幅の算出を示す説明図である。 斜め角φを有する垂直エッジについてのエッジ幅の算出を示す説明図である。 斜め角φを有する水平エッジについてのエッジ幅の算出を示す説明図である。 斜め角φを有する水平エッジについてのエッジ幅の算出を示す説明図である。 斜めの垂直エッジについて斜め角φを算出し、エッジ幅を補正するプロセスを示すフローチャートである。 垂直連結エッジを示す説明図である。 図９Ａは、グループのぎっしり詰まっている垂直バーを示す説明図である。 図９Ｂは、図９Ａにわたる画像信号を示すグラフである。 図９Ｃは、図９Ａにわたる水平方向のＳｏｂｅｌ勾配を示すグラフである。 浅い変調深度を有するぎっしり詰まっているエッジを消去するためのプロセスを示すフローチャートである。 精細なフォーカス信号を算出するためのエッジ幅の範囲を説明する複数のエッジ幅のヒストグラムである。 シーンを示す説明図である。 図１２のシーンのフォーカス走査期間における幅狭いエッジのカウントの変化を示すグラフである。 図１２のシーンのフォーカス走査期間における概略フォーカス信号の変化を示すグラフである。 フォーカス位置の範囲にわたる精細なフォーカス信号の変化を示すグラフである。 シーンにおける複数のオブジェクト及びこれらのオブジェクトのうちの１つに対する選択マークを表示する装置を示す説明図である。 フォーカス信号発生器の他の実施形態を示すブロック図である。 オートフォーカス画像ピックアップ装置の代替実施形態を示す概略図である。 主画素アレイと補助画素アレイとを有するオートフォーカス画像ピックアップ装置の実施形態を示す概略図である。 主画素アレイと補助画素アレイとを有するオートフォーカス画像ピックアップ装置の代替実施形態を示す概略図である。 主画素アレイと補助画素アレイとを有するオートフォーカス画像ピックアップ装置の代替実施形態を示す概略図である。 異なるフォーカス位置における、主画素アレイからのエッジ幅の変化及び補助画素アレイからのエッジ幅の変化を示す説明図である。 連続した勾配の間の間隔の倍数である距離に対してプロットされた、良好なエッジを横切る画像信号の別の対称な勾配のシーケンスと、２対の補間された勾配のためにそれぞれ異なる勾配レベルで測定された２つの幅と、を示す図である。 連続した勾配の間の間隔の倍数である距離に対してプロットされた、偽のエッジを横切る画像信号の別の対称な勾配のシーケンスと、２対の補間された勾配のためにそれぞれ異なる勾配レベルで測定された２つの幅と、を示す図である。大きな幅に対して小さい幅の割合は、図２３Ａ示したもののほぼ２倍である。 連続した勾配の間の間隔の倍数である距離に対してプロットされた、エッジを横切る対称的な勾配のシーケンスと、ピークの勾配から所定の距離である補間された勾配の正規化された勾配値と、を示す図である。 連続した勾配の間の間隔の倍数である距離に対してプロットされた、エッジを横切る画像信号の勾配のシーケンスと、勾配のプロットされたシーケンスの下の領域の面積と、を示す図である。 連続した勾配の間の間隔の倍数である距離に対してプロットされた、エッジを横切る画像信号の勾配のシーケンスと、勾配のプロットされたシーケンスの傾き（すなわち、画像信号の二次導関数）と、を示す図である。その傾きは、補間されたピーク勾配に関して定義された勾配レベルで取つている。 連続した勾配の間の間隔の倍数である距離に対してプロットされた、エッジを横切る画像信号の勾配のシーケンスと、重心（すなわち、中心モーメント）と、その重心からそれらの勾配までの複数の距離と、を示す図である。 連続した二次導関数の間の間隔の倍数である距離に対してプロットされた、あるエッジをまたがった画像 データのサンプルのシーケンスを属する二次導関数のシーケンスを示し、また（ａ）一対の正と負とのピークの間の幅Ｗ_Ｓと、（ｂ）所定の大きさｈ_１がある一対の最も外側の補間された二次導関数の間の幅Ｗ_１と、（ｃ）前記所定の大きさｈ_１がある一対の内側の補間された二次導関数の間の幅Ｗ_２と、（ｄ）（一対の正と負とのピークの間の）ゼロ交差から、前記所定の大きさｈ_１がある最も外側補間された二次導関数までの距離Ｄ_１と、を示す図である。 連続したピクセルの間の間隔の倍数である距離に対してプロットされた、あるエッジのピクセルからの画像データのサンプルのシーケンスを示す。それは、（ａ）エッジの両端の２つのサンプル間の幅Ｗ_ｅｄｇｅおよび対比Ｃ_ｅｄｇｅと、（ｂ）サンプル値の最も急な変化がある一対のサンプルの間の（ロバーツ演算子によって生成された）ピーク勾配値ｇ_ｐｅａｋと、（ｃ）対比Ｃ_１および幅Ｗ_{ｐａｒｔ１}があるエッジの未分割部分と、（ｄ）対比Ｃ_２および幅Ｗ_{ｐａｒｔ２}があるエッジの未分割部分と、を示す図である。 各シーケンスの連続するサンプルの間の間隔の倍数で距離に対してプロットされた、それぞれのピーク勾配に対して正規化された２つの対称的な勾配シーケンスを示す図である。一シーケンスのプロットは、三角形の形状を有する。他のシーケンスのプロットは、帽子の形状を有する。 各シーケンスの連続するサンプルの間の間隔の倍数で距離に対してプロットされた、それぞれのピーク勾配に対して正規化されたの２つの対称的な勾配シーケンスを示す図である。一シーケンスのプロットは、正規化された勾配レベルまで三角形の形状を有し、他のシーケンスのプロットは、ドームの形状を有する。 ４対の第１及び第２の形状指標値（ｗ_１ｂ、ｗ_１ａ）、（ｗ_２ｂ、ｗ_２ａ）、（ｗ_３ｂ、ｗ_３ａ）、（ｗ_４ｂ、ｗ_４ａ）の散布図示して、第２の形状指標の値ｗ_ａ’から補間することによって第１の形状指標の値ｗ_ｂ’を見出すことを説明する図である。 補間によって、補間されたピークの位置を見つけることを示す図である。 フォーカス信号発生器の代替実施例を示す図である。

開示されるのは、フォーカス信号発生器に結合されている画素アレイを含むオートフォーカス画像システムである。前記画素アレイは、幅を有するエッジを少なくとも１つ備える画像を取り込む。前記フォーカス信号発生器は、エッジ幅及び／又は複数のエッジ幅の統計データの関数であるフォーカス信号を発生し得る。オートフォーカス画像システムは、フォーカス信号発生器に接続された画素アレイを有する。前記画素アレイは、幅を有する少なくともエッジを備える画像を取り込む。前記発生器は、前記エッジ幅とエッジ幅の様々な統計データとの関数であるフォーカス信号を発生する。前記発生器は、画像信号の勾配が非対称であるエッジを除去してもよい。前記発生器はまた、前記勾配において対応するピーキングのためのテンプレートを持たないエッジを除去してもよい。プロセッサーが、前記フォーカス信号及び／又は前記複数のエッジ幅の統計データを受信し、フォーカスレンズのフォーカス位置を調節する。前記エッジ幅は、勾配の利用を含む様々な技術により決定することができる。複数のエッジ幅を示すヒストグラムは、特定の画像がフォーカスされているか否かを決定するために使用することができる。多くの幅狭いエッジを有するヒストグラムが、フォーカスされている画像を示す。

構成
参照番号に基づいて図面をさらに詳しく参照すると、図１は、オートフォーカス画像取込システム１０２の一実施形態を示す。前記システム１０２は、デジタルスチルカメラの一部であってもよいが、このシステムは画像の制御されたフォーカスが必要ないずれの装置で具現化されてもよいことを理解すべきである。前記システム１０２は、フォーカスレンズ１０４と、画素アレイ及び回路１０８と、Ａ／Ｄ変換器１１０と、プロセッサー１１２と、表示装置１１４と、メモリカード１１６と、ドライブモータ／回路１１８とを含んでもよい。シーンからの光が前記レンズ１０４を介して入射する。前記画素アレイ及び回路１０８は、前記Ａ／Ｄ変換器１１０によりデジタル信号に変換されるアナログ信号を発生する。前記画素アレイ１０８は、例えば、ベイヤパターンのようなモザイクカラーパターンを組み入れてもよい。前記デジタル信号は、例えば色補間、フォーカス位置制御、色補正、画像圧縮／解凍、ユーザインターフェース制御及び表示装置制御のような様々な処理を実行する前記プロセッサー１１２に送信されてもよく、前記フォーカス信号発生器１２０に送信されてもよい。前記フォーカス信号発生器１２０及び前記プロセッサー１１２が異なるパッケージに備わっている場合には、前記デジタル信号１３０に対して色補間を行って前記フォーカス信号発生器１２０のためにそれぞれの画素における欠落色信号を見積もるために、色補間ユニット１４８を利用してもよい。または、前記フォーカス信号発生器１２０及び前記プロセッサー１１２が同一パッケージ１４４にある場合には、前記フォーカス信号発生器１２０は、図２に示すようにバス１４６を通して前記プロセッサー１１２から補間されたカラー画像又は前記Ａ／Ｄ変換器１１０から発生された元の画像信号から導き出された単一画像信号（例えば、階調信号）を入力してもよい。

前記フォーカス信号発生器１２０は、さらにプロセッサー１１２からグループの制御信号１３２を受信し、そして、複数の信号１３４を前記プロセッサー１１２に出力してもよい。出力信号１３４は、フォーカス信号１３４と、幅狭いエッジのカウントと、前記画像におけるエッジ幅の統計データを示す１組の数字とのうちの１つ以上を含んでもよい。前記プロセッサー１１２は、前記ドライブモータ／回路１１８に送信されて前記フォーカスレンズ１０４を制御するフォーカス制御信号１３６を発生することができる。フォーカスされている画像は、最終的に前記表示装置１１４に供給され、及び／又は前記メモリカード１１６に記憶される。フォーカス位置を調節するためのアルゴリズムは、前記プロセッサー１１２により実行されてもよい。

前記画素アレイ及び回路１０８、Ａ／Ｄ変換器１１０、フォーカス信号発生器１２０、及びプロセッサー１１２は、全てパッケージに備わっていてもよい。または、前記画素アレイ及び回路１０８、Ａ／Ｄ変換器１１０、及びフォーカス信号発生器１２０は、前記プロセッサー１１２とは別に、図１に示すような画像センサー１５０としてのパッケージ１４２に備わっていてもよい。または、フォーカス信号発生器１２０及びプロセッサー１１２は、前記画素アレイ１０８及びＡ／Ｄ変換器１１０とは別に、図２に示すようなカメラコントローラ１６０としてのパッケージ１４４に備わっていてもよい。フォーカス信号発生器１２０（又は、例えば図３０に示すような任意の代替の実施例）及びプロセッサ１１２は、共に例えばシリコン基板のような半導体基板上において常駐することができる。

フォーカス信号発生器
図３は、画像供給ユニット２０２から画像を受信するフォーカス信号発生器１２０の一実施形態を示す。前記画像供給ユニット２０２は、図１における色補間器１４８または図２におけるプロセッサー２１２であってもよい。前記フォーカス信号発生器１２０は、エッジ検出・幅測定（ＥＤＷＭ）ユニット２０６と、フォーカス信号算出器２１０と、長さフィルター２１２と、幅フィルター２０９とを含んでもよい。それは、「精細」２２２を入力することにより制御される精細スイッチ２２０をさらに含んでもよい。前記フォーカス信号発生器１２０は、幅フィルター２０９からの幅狭いエッジのカウント、及びフォーカス信号算出器２１０からのフォーカス信号を供給してもよい。前記フォーカス信号は、「精細」２２２の入力によって選択可能である精細なフォーカス信号と概略フォーカス信号とのいずれか一方に設定可能である。または、精細なフォーカス信号も概略フォーカス信号も、算出されて出力信号１３４の一部として出力されてもよい。前記エッジ検出・幅測定ユニット２０６は、画像供給ユニット２０２により供給される画像を受信する。図１及び図２においては、制御信号「精細」２２２のような制御信号は、プロセッサー１１２により信号１３２に提供していてもよい。そして、図１及び図２において、前記出力信号１３４をプロセッサー１１２に供給してもよい。前記プロセッサー１１２は、前記フォーカスレンズ１０４のフォーカス位置を制御するフォーカスシステムコントローラとして機能し、出力信号１３４を解析して前記画像における鮮明なオブジェクトを検出することによって、複数のオブジェクトの画像を前記画素アレイ１０８において鮮明にフォーカスする。以下、前記フォーカス信号発生器１２０の各種の構成要素について説明する。

ＥＤＷＭユニット２０６は、前記入力画像を、前記画像の３つの信号、赤（Ｒ）、緑（Ｇ）及び青（Ｂ）が単一画像信号に変換されるように変換してもよい。画像を単一画像に変換するには、幾つかの技術が利用される。複数のＲＧＢ値を用いて輝度又は色度値を算出することができ、あるいは、特定比率のＲＧＢ値を用いて前記単一画像信号を形成することができる。例えば、前記輝度値は、Ｙ＝０．２１２６＊Ｒ＋０．７１５２＊Ｇ＋０．０７２２＊Ｂ、ただし、Ｙ＝輝度値、という式により算出されることができる。前記単一画像信号はその後、ガウスフィルター又は任意のローパスフィルターによって処理され、隣接画素の間に画素データサンプル値を円滑化してノイズを除去する。

前記フォーカス信号発生器１２０、１２０’、１２０’’は、階調信号に限られない。それは、前記画像信号における１つ以上のエッジを検出するために、何れか画像信号に対して操作を行ってもよい。または、それは、例えば、Ｙ、Ｒ−Ｇ又はＢ−Ｇのような複数の画像信号の何れかの組み合せに対して操作を行ってもよい。それは、複数のエッジを検出するために、個別に前記Ｒ、Ｇ、Ｂ画像信号の一つ一つ、又はその何れか１つ以上の組合わせに対して操作を行ってもよい。それは、前記Ｒ、Ｇ、Ｂ画像信号の一つ一つ又はその何れかの組合わせに対して複数のエッジ幅の統計データを形成してもよい。それは、１つ以上の画像信号からの複数のエッジ幅の統計データによってフォーカス信号を形成してもよい。

フォーカス信号発生器は、画像信号内のエッジを識別するためのエッジ検出器を含む。エッジ検出器は、例えばソーベル（Ｓｏｂｅｌ）演算子とプレウィット（Ｐｒｅｗｉｔｔ）演算子とロバーツクロスオペレータ（ＲｏｂｅｒｔｓＣｒｏｓｓ）演算子とロバーツ（Ｒｏｂｅｒｔｓ）演算子とのような一次エッジ検出演算子を使用する可能性がある。エッジ検出器は、エッジを識別するために、高次のエッジ検出演算子、例えばラプラシアン（Ｌａｐｌａｃｉａｎ）演算子のような二次演算子を使用してもよい。エッジ検出器は、既知のエッジ検出演算子のどれか１つまたは公知の演算子のどれかと一般のエッジ検出原理を共有している改良された演算子を使用できる。
エッジ検出器が一次エッジ検出演算子を使用する場合、画像信号の勾配（つまり、一次導関数）は計算する。勾配を計算するための利用できる様々な方法があって、それらの様々な方法は、様々な一次エッジ検出演算子、例えばソーベル（Ｓｏｂｅｌ）演算子とプレウィット（Ｐｒｅｗｉｔｔ）演算子とロバーツクロス（ＲｏｂｅｒｔｓＣｒｏｓｓ）演算子とロバーツ（Ｒｏｂｅｒｔｓ）演算子とのどれか一つを用いるものを含む。ロバーツ演算子は、単一のカラムまたは単一の行がある行列である２つの核、すなわち［−１ ＋１］及びその転置がある。ロバーツクロス演算子は、２×２行列である２つの核、すなわちＭａｔｌａｂ形式に従って［＜第一行ベクトル；第二行ベクトル；第三行ベクトル］ように表示した［＋１，０；０，−１］および［０，＋１；−１，０］がある。プレウィット演算子およびソーベル演算子は、基本的に同じ核の、勾配を行方向にとる［−１、０、＋１］、および勾配をカラムの方向にとるその転置があり、その後、それぞれの勾配方向に垂直にローパスフィルタリングする違ったローパスフィルの核を乗じる。垂直及び水平エッジをそれぞれ検出するために、例えば、Ｓｏｂｅｌ−Ｘ演算子とＳｏｂｅｌ−Ｙ演算子をそれぞれ利用し、複数の列及び複数の行に亘った勾配を算出してもよい。画素位置［ｋ，ｑ］におけるＳｏｂｅｌ−Ｘ演算子（ただし、ｋは行数でｑは列数である）は、Ｓｘ［ｋ，ｑ］＝Ｕ［ｋ，ｑ＋１］−Ｕ［ｋ，ｑ−１］という式から得られる。同一位置におけるＳｏｂｅｌ−Ｙ演算子は、Ｓｙ［ｋ，ｑ］＝Ｕ［ｋ＋１，ｑ］−Ｕ［ｋ−１，ｑ］、ただし、Ｕ＝処理された画像の画像信号、という式から得られる。

エッジ検出器が二次演算子を使用する場合、画像信号の（例えばラプラシアン二次演算子）二次導関数を計算する。
配向タグ付け
それぞれの画素は、その垂直又は水平勾配の大きさが所定の下限（「消去閾値」）（例えば、８ビットの画像の場合には５）を超えている場合に、水平エッジ（「Ｈ」）又は垂直エッジ（「Ｖ」）とタグ付けられ、或いは、その垂直又は水平勾配の大きさがいずれも当該所定の下限以下の場合に、エッジ無しとタグ付けされてもよい。前記下限によって、緩やかな陰影やノイズによる偽のエッジが消去される。画素は、その水平勾配の大きさがその垂直勾配の大きさを所定のヒステリシス量以上（例えば、８ビットの画像の場合には２）超えている場合に、垂直エッジとタグ付けされ、逆の場合も同様であってもよい。これら両方の勾配が前記ヒステリシス量よりも小さい場合に、前記画素は、その最も近くに隣接した、定められた方向タグを有する画素と同じ方向タグを獲得する。例えば、前記画像を行ごとに左から右へかつ１行ずつに下へ走査すると、隣接画素の検査順番として、まずは上の画素、次は左上の画素、次は左の画素、最後は右上の画素であってもよい。このヒステリシスの適用は、隣接画素がそれぞれほぼ同じ水平及び垂直勾配の大きさを有する場合に同様のタグを得ることを確実にするのに役立つ。図４は水平及び垂直勾配を有する６×６アレイにおけるタグ付けの結果を示す。それぞれのセルにおいては、水平勾配が左上方、垂直勾配が右方にあり、また、方向タグが底部にある。このステップで、エッジ画素がボールド体で印刷されて方向タグを得る資格が与えられるものは、５を超えている水平又は垂直勾配の大きさを有する画素のみである。

前記画像、前記勾配、及び前記タグは、垂直エッジには水平に、水平エッジには垂直に走査されてもよい。同一行において同一の水平勾配極性を有し、かつ全てが垂直エッジとしてタグ付けされた隣接する複数の画素の各グループは、このグループの左側又は右側に同じようなことを満たす隣接画素がない場合に、垂直エッジとして示されてもよい。同様に、同一列において同一の垂直勾配極性を有しかつ全てが水平エッジに対してタグ付けした各グループの連続画素は、このグループの上側又は下側に同じようなことを満たす隣接画素がない場合に、水平エッジとして示されてもよい。これによって、水平及び垂直エッジを識別することができる。

エッジ幅
それぞれのエッジは、勾配の大きさが前記エッジにおけるピーク勾配の大きさの所定の割合よりも小さい画素を除去することによって精細化されてもよい。図５は、エッジのピーク勾配の大きさの３分の１に等しい精細化閾値を利用し、前記エッジ幅を元の９から減らした３に精細化する前記ステップを示す。このエッジの精細化は、勾配が多くの画素において緩やかな減衰を起こし得る多数の重なった陰影が画像にあっても、エッジの鮮明さの視覚認知を支配する見掛けのエッジ幅を設定する主な勾配成分を識別することができるものである。

エッジ幅は、既知方法の何れか１つにより算出されてもよい。エッジ幅の算出方法の１つは、ただ、エッジにおける画素数を数えることである。図５にはエッジ幅を算出する代替方法を示す。図５において、前記精細化閾値３０４からの補間により、精細化されたエッジの第１の外部画素（画素３）とその隣接した外部画素（画素２）との間に第１の小数画素位置（２．４）が求められる。同様に、第２の外部画素（画素５）とその隣接した外部画素（画素６）との間に第２小数画素位置（５．５）が求められる。前記エッジ幅は、この２つの小数画素位置間の差、５．５−２．４＝３．１として求められる。

エッジ幅を算出する方法の別の代替は、（エッジリファインメントの有無にかかわらず）画像信号について、エッジをまたがる差を計算しその差をエッジのピーク勾配で割ることである。

或いは、エッジ幅は、エッジをまたがった画像信号の複数の二次導関数の一対の正及び負のピーク（又は補間されたピーク）の間の距離であってもよい。他の代案が可能であることは、以下この明細書において表題「エッジ鮮明さ度合い」の下で説明される。

シーンの照度と本質的に関係しないエッジ鮮明さ度合いとしては、幅が単に一例である。幅以外の他の代案があることは、この明細書において表題「エッジ鮮明さ度合い」下で見られる。

斜め補正
各エッジは、所定の方向（例えば、垂直方向又は水平方向）又は他の垂直な所定の方向（例えば、水平方向又は垂直方向）に指定されていてもよく、この指定されたエッジ方向に対して垂直な方向に測定したエッジ幅を有していてもよいが、それらのエッジが現れる画像において異なる画像信号値の複数の領域間の境界は、前記所定方向のいずれかに正確にアライメントされていなくてもよく、また一般にされていない。図６Ａにおいて、境界（陰影付きの帯）は、垂直鎖線に対して斜め角φ傾斜しており、幅ａは、垂直方向（例えば、水平方向）で測定していることを示している。しかしながら、幅ｂ（図に示す）は、境界方向（これもまた境界の一部をなすエッジの方向）に垂直な方向において測定しており、幅ａよりも境界の幅（また、エッジの幅）として、より適切である。それぞれのエッジ方向から垂直には測定していないこのような幅ａは、長くなりすぎる傾向にあり、それぞれの境界の実際の厚さを表していない。

複数のエッジ幅からフォーカス信号を算出するために、これらの所定方向のうちの一方又は他方において測定された前記複数のエッジ幅が、それらをそれぞれのエッジの方向に垂直する方向での幅に低減させることにより補正される。前記エッジ検出・幅測定ユニット２０６は複数のエッジ幅に対してこのような補正を行う。図６Ａに示すように、前記測定された幅ａは、直角三角形の斜辺の長さである。前記直角三角形は、その底辺（幅ｂでマークする）が陰影付きの境界を垂直（これによって前記エッジ方向に垂直）に越えており、角度φを有している。そして、前記補正された幅ｂは、前記エッジ方向に垂直な方向への前記測定された幅ａの投影から得られ得る。基本三角法から、この投影は、ｂ ＝ ａ ｃｏｓ（φ）から求められるが、２０％以下の正確性が得られば、近似値を使ってもよい。前記角度φ又はｃｏｓ（φ）そのものは、この技術において知られている、画像におけるエッジの方向を求めるための何れかの既知方法、又は図７に示すフローチャートに記載されるより正確な方法によって、求められ得る。

それぞれの水平又は垂直エッジのエッジ幅は、前記水平又は垂直配向（所定の方向）からの斜めに対して補正されてもよい。図６Ａ、６Ｂは、垂直線から傾斜した境界（及びこれによって前記境界を形成する複数のエッジ）について水平方向に測定されたエッジ幅に対する補正計算を示す。図６Ｃ、６Ｄは、水平線から傾斜した境界（及びこれによって前記境界を形成する複数のエッジ）について垂直方向に測定されたエッジ幅に対する補正計算を示す。前記補正は、所定の方向（例えば垂直方向又は水平方向）に測定された前記エッジ幅に因子ｃｏｓφ（ただし、φは前記所定の方向からの斜め角）を乗じることにより行われてもよい。

例えば、図７は、垂直線から傾斜した複数のエッジについてのエッジ幅を斜め補正するためのプロセスのフローチャートを示す。（水平エッジについては、フローチャートにおいて「行」を「列」に置換し、「水平」で「垂直」を置き換える。）
ステップ５０２からステップ５０６において、斜め角φが求められる。それぞれの垂直エッジに対して、ステップ５０２において、水平勾配の大きさがピークに達する列の位置を位置づけ、水平勾配ｘを求める。ステップ５０４において、前記列の位置に沿って、２つの画素以内で垂直勾配の大きさがピークに達する位置を求め、そしてこの垂直勾配ｙを求める。

ステップ５０６において、斜め角φ ＝ ｔａｎ^−１（ｙ／ｘ）を求める。ステップ５０６において、斜め角がルックアップ表を調べることによって求められ得る。ステップ５０２〜５０６は、斜め角を求める特定手順及び方法を示しているが、その代わりに当該分野に公知の他の手順及び方法を使用してもよい。

最後に、ステップ５０８において、当業者が実際によく行うように、ｃｏｓ（φ）で又はその近似値で乗算することにより前記エッジ幅を縮小する。

図７に示すプロセスの第１の変形としては、入力値ｘ及びｙの種々の組み合わせに対するエントリーを有するルックアップ表を提供することに、ステップ５０６及び一部のステップ５０８を置き換える。入力値ｘ及びｙの組合わせのそれぞれに対して、前記ルックアップ表はエッジ幅補正因子を返す。前記ルックアップ表により出力されるエッジ幅補正因子は、ｃｏｓ（ｔａｎ^−１（ｙ／ｘ））の２０％以下（好ましくは５％以下）の近似値であってもよい。そして、前記エッジ幅は、この補正因子で乗算されて斜め補正されたエッジ幅を形成する。

第２の変形としては、垂直勾配ｙと水平勾配ｘとの商ｙ／ｘを算出して商ｑを発生し、そしてｑを使用してｑの各種の値のエントリーを有するルックアップ表に入力する。ｑのそれぞれの値に対して、前記ルックアップ表はエッジ幅補正因子を返す。前記エッジ幅補正因子は、ｃｏｓ（ｔａｎ^−１（ｑ））の２０％以下（好ましくは５％以下）の近似値であってもよい。

斜め角φ（又はその近似値。それによって、前記補正因子の正確性が２０％以下になる。）を求めてから、それによって補正因子ｃｏｓ（φ）（又はその近似値）を求め、又は（第１及び第２の変形に記載したように）前記斜め角φを求めずに補正因子を直接に求めるためには、ステップ５０２〜５０６でｘ及びｙの値を得てもよいが、その代わりに他の方法によってこの２つの値を求めてもよい。

第３の変形としては、前記エッジにおける複数の画素のそれぞれに対して次のことを実行する。（ａ）画素について水平勾配ｘ及び垂直勾配ｙの両方を求める。（ｂ）前記画素についてｑ ＝ ｙ／ｘを求める。そして、（ｃ）ｑに対応する補正因子（例えば、ｃｏｓ（ｔａｎ^−１（ｑ））又はその２０％以内の近似値）を求める。最後に、前記複数の画素のそれぞれからの補正因子において平均化することによって前記エッジ幅の補正因子を求める。前記平均値は、重み付け平均値、例えば、比較的大きい水平勾配を有する画素に比較的小さい水平勾配を有する別の画素より大きい重みを与えるものであってもよい。

これらの方向や他の方向に沿って別の変形が可能である。

選別閾値
それらのピーク勾配の大きさが隣接する比較的広いエッジのピーク勾配の大きさの所定の割合未満であれば、隣接した複数のエッジがフォーカス信号に寄与することをすっかり排除する又は衰減させることができる。図９Ａ、９Ｂ及び９Ｃは検討されている問題を示す。

図９Ａは、それぞれが２画素分の幅の２つの狭い黒色空間によって隔てられた３つの垂直白色バーを示す。前記真ん中の白色バーは２画素分の幅の狭いバーである。図９Ｂは、鮮明な画像及びぼやけた画像のそれぞれについて図９Ａ中の画像において水平に描いた画像信号を示す。図９Ｃは、前記鮮明な画像及びぼやけた画像について図９ＢのＳｏｂｅｌｘ勾配を描いている。図９Ｃにおいて、前記ぼやけた画像の第１のエッジ（画素２〜５）は前記鮮明な画像の第１のエッジより広く、そして、予想されるように、最後のエッジ（画素１３〜１５）も同じである。しかし、２つの最も幅狭いエッジ（画素９と１０、及び画素１１と１２）は両方の画像において２という幅がある。図９Ｂにおいて、画素９と１０及び画素１１と１２における対応する傾斜は、それぞれ２つの画素で遷移を完成する。しかし、前記ぼやけた画像は、比較的広いエッジから比較的幅狭いエッジへのピーク勾配の大きさが５０％も著しく減少されている。一方、前記鮮明な画像は、比較的広いと比較的幅狭いエッジとの間で変化が１０％未満である。

反対符号の勾配を有する比較的広いエッジに隣接する比較的幅狭いエッジのピーク勾配の大きさの（例えば２０％以上の）著しい減少は、前記ぼやけた画像がよくフォーカスされていないことを示唆する。従って、前記比較的幅狭いエッジは、前記ぼやけた画像が鮮明であることを示唆するものであるとして、信頼すべきではない。

同様に、互いに緊密に近接していれば、例えば、１画素（「最小エッジ隙間」）しか離れていなければ、それらのエッジの幅が小さくても、交互勾配極性を有する互いに隣接する複数のエッジは、前記ぼやけた画像が鮮明であることを示唆するものであるとして、信用すべきではない。前記最小エッジ隙間は、（例えば１又は２又はその間）画素数で表す。

さらに、消去閾値よりも小さいピーク勾配を有するのでエッジが消去され得ると仮定すると、２つの互いに隣接するエッジの一方又は両方からの寄与を消去又は降格させる条件として、次の条件を用いてもよい。すなわち、２つの連続エッジは、同じ勾配極性を有し、かつ、最小エッジ隙間の２倍に鮮明エッジ幅（鮮明エッジ幅とは、鮮明なエッジのエッジ幅を示すように割り当てられる数である。）を足した距離以下離れるという条件である。

前記エッジ検出・幅測定ユニット２０６は、比較的広いエッジによって設定された選別閾値、及びオン／オフできる変調選別フラグに基づき、ぎっしり詰まっている比較的幅狭いエッジを消去するための下記のアルゴリズムを実行することができる。

それぞれのエッジに対して、反対極性の直後のエッジに用いられる選別閾値及び選別フラグは、図１０に示すフローチャートのプロセスによって決定される。

前記選別閾値及び選別フラグが与えられると、下記条件の１つが成立しなければ、エッジが消去される。（ａ）このエッジに対して選別フラグがオフになる。（ｂ）前記エッジのピーク勾配の大きさがこのエッジに対する選別閾値以上である。条件（ａ）及び（ｂ）には、条件（ｃ）エッジ幅が鮮明エッジ幅＋１以上であることが加えられてもよい。ここで、数が、鮮明なエッジのエッジ幅を指定するように鮮明エッジ幅に割り当てられるが、前記「＋１」は、エッジが（ａ）及び（ｂ）を満たさないと当該エッジが消去される鮮明エッジ幅を超えたエッジ幅の範囲を設定するように変更されてもよい。図９Ａ〜９Ｃに示す実例には、鮮明エッジ幅が２であってもよい。図１０はそれぞれのエッジについて選別閾値及び選別フラグを決定するフローチャートである。垂直エッジに対しては、行に沿って左から右へ走査すると仮定しているが、これに限定されない。（水平エッジに対しては、列に沿って上部から底部へ走査すると仮定しているが、これは必須ではない。）鮮明エッジ幅に数が割り当てられ、図９Ａ〜９Ｃに示す実例では２であってもよい。ステップ７０２において第１のエッジで開始し、ステップ７２０において、それぞれのエッジに対して、そのエッジ幅が１に鮮明エッジ幅を加えたもの以上になるか否かのクエリーを行い、前記値１はここで説明に用いられる最小エッジ隙間値であるが、異なる値（例えば０．５〜２．０の値）を使用してもよい。「はい」の場合、前記エッジが比較的広いエッジであり、ステップ７０６でその後、反対極性を有する直後のエッジに対する選別閾値を前記エッジのピーク勾配の大きさのβ倍に設定し、βが０．３〜０．７で、好ましくは０．５５であり、そしてステップ７０８でその後、次のエッジに対して選別フラグをオンにし、引き続き次のエッジを処理する。「いいえ」の場合、前記エッジが比較的広いエッジではなく、ステップ７３０でその後、このエッジと同じ勾配極性を有する前のエッジとのある間隔が前記最小エッジ隙間の２倍（又は、他の異なる所定の数）に鮮明エッジ幅を加えたものより大きいか、かつ、反対極性を有する直前のエッジ（もし存在する場合）との間隔が前記最小エッジ隙間より大きいかを調べる。「はい」とすると、ステップ７１０でその後、次のエッジに対して前記選別フラグをオフにする。「いいえ」とすると、次のエッジに対して前記選別フラグ及び前記選別閾値を維持し、次のエッジへ進む。βは所定の小数であってもよく、又は所定の式によって算出される小数、例えばエッジ幅の関数であってもよい。後者の場合には、βは前記画像の部分によって異なってもよい。

代替の実施例
ピクセルグリッドの方向性：
フォーカス信号発生器１２０によって入力された画像の画素は、画像の長方形のグリッドに対して４５°回転させた矩形の格子（”ピクセルグリッド”）において配置されることができる。この場合、エッジを検出する操作と幅を測定する操作とのＸ方向及びＹ方向は、同様に回転させることができる。
エッジ鮮明さ度合い：
以上の説明で、エッジの画像鮮明さは、そのエッジをまたがった一連の勾配から測定されたエッジ幅で表され、その勾配はエッジを亘って指向する。同様の原理に従って動作する代案がある。本質的に、このようにして生成したフォーカス信号が可能にならせるものは、個々のエッジが、画像データの（例えば２０％）拡大縮小と無関係または（例えば画像データの２０％縮小に対して５％より多く変化しないように）本質的に無関係である量（以下”エッジ鮮明さ度合い”）を貢献することであり。その結果、フォーカス信号は、従来の対比検出方法と比較されると、画像のシーンの照度またはシーン内の物体の反射率から無関係であるまたはそれにの依存がはるかに少ないことがである。

さらに、本フォーカス信号発生器１２０において、画像データを２０％縮小することと無関係又は本質的に無関係であるという上記特性を有する任意のエッジ鮮明さ度合いは、ある勾配または補間された勾配から同じ勾配値がある別の勾配または補間された勾配まで測定された幅の良い代替である。
代替のエッジ鮮明さ度合いの単位は、好ましくはエネルギーの単位を含まない。エッジ鮮明さ度合いの単位は、次の二点に基づいて決定されている。（ａ）一次エッジ検出演算子が動作する画像データの各サンプルは、エネルギーの単位があり、（ｂ）サンプル間の距離は長さの単位がある。点（ａ）および（ｂ）に基づいて、勾配値の単位は、エネルギーの単位割る長さの単位である。同様に、エッジまたはエッジのどれかの未分割部分を亘る対比は、エネルギーの単位がある。したがって、対比は、その単位が、対比がシーンの照度および物体の反射率によって影響されることを明らかにならせるので、良好なエッジ鮮明さ度合いではない。エッジのピーク勾配の単位は、エネルギーの単位を含んでピーク勾配がシーンの照度の変化に対して敏感であることを示すので、良好なエッジ鮮明さ度合いでもない。一方、エッジのピーク勾配割るエッジの対比は、その単位が長さの単位の逆数であるので、良好なエッジ鮮明さ度合いである。別の例として、勾配値がピーク勾配の所定の割合を超える勾配のカウントは、単に、隣接する勾配間の間隔の大きさで量子化された距離の指標であって長さの単位があるので、良好なエッジ鮮明さ度合いである。
ここで、エッジの鮮明さ度合いを生成することにおいては、ある勾配が、前記エッジを検出するために使用された一次エッジ検出演算子または別の一次微分演算子（すなわち勾配演算子）から生成されてもよいことを留意する。例えば、ソーベル演算子（または、例えばラプラス演算子のような二次エッジ検出演算子）が使用されてエッジを検出できるが、ロバーツ演算子は、その核は単に［−１、＋１］及びその転置であって画像データのサンプルを単に勾配演算子の向き内の次のサンプルから減算し、そのように結果された勾配は、その２つのサンプル間の中間に位置される。エッジは、エッジ鮮明さ度合い、または次のセクションにおいて説明する形状指標のどれかを生成する際に使用される１つ以上の微分演算子と独立して、一次より高い次エッジ検出演算子を検出できる。

それを違うように考えると、エッジ鮮明さ度合いの単位は、長さの単位の一冪、例えば、長さの単位の二乗、長さの単位の逆数、長さの単位の自体、又は長さの単位の平方根であるべきである。
そのような代替の鮮明さ度合いのどれでも、フォーカス信号発生器１２０においてエッジ幅を置き換えることができる。

エッジの傾きに対して補正するために、図６Ａ−６Ｄ及び図７を参照して説明したような前記補正係数（以下、「幅補正係数」）は、同じ冪を採用さして変換するべきである。例えば、エッジ鮮明さ度合いがピーク勾配割る対比であって長さの単位の逆数を得る場合、エッジ鮮明さ度合いのための補正係数は、図６Ａ〜６Ｄおよび図７を参照して上文に説明した補正係数の逆数である。別の例として、その単位が長さの単位の二乗である場合、エッジ鮮明さ度合いは、そのための傾き補正係数が幅補正係数の二乗であるべきである。代替のエッジ鮮明さ度合いのいくつかの例は、図２４Ｂと図２４Ｄと図２５と図２６とにおいて図面を参照して下文に説明される。
図２４Ｂは、連続した勾配間の間隔の倍数である距離に対してプロットされた、エッジをまたがる一連の勾配、及びプロットされた一連の勾配の下ある網掛け領域の面積Ａ_３を示す。この例では、その領域が２つの勾配レベルＬ_１とＬ_２との間で形成され、これらは、一連の勾配の補間されたピーク勾配値（あるいは、ピーク勾配値）に関して、例えば補間されたピーク勾配値の所定の一部分として、定義できる。その網掛け領域は、その四隅で補間された勾配がある。面積割る補間されたピーク勾配値（あるいは、ピーク勾配値）は、長さの単位があるので、良好なエッジ鮮明さ度合いである。その領域の代替的な定義が可能であることを留意する。例えば、その領域が勾配レベルＬ_１によって上方から有界しなく、一連の勾配によって上方から有界できる。
図２４Ｄは、連続した勾配間の間隔の倍数である距離に対してプロットされた、あるエッジをまたがった画像データのサンプルの一連の勾配と、重心３４０１（すなわち、モーメントの中心）と、その重心から（勾配値ｇ_２とｇ_３とｇ_４とｇ_５とｇ_６とがある）それらの勾配までの距離ｕ_２とｕ_３とｕ_４とｕ_５とｕ_６と、を示す。その重心についてそれらの勾配のｋ次中心積率（ｋは偶数）、すなわちその重心からそれらの勾配までの距離の、それぞれの重みがそれぞれの勾配の大きさである加重平均は、良い鮮明さ度合いである。例えば、ｋは、２であることができ、それは、一連の勾配が確率分布であるかのように、エッジ鮮明さ度合いをある分散にならせる。この例では、エッジ鮮明さ度合いの単位は、長さの単位の二乗である。より一般的には、エッジ鮮明さ度合いは、前記複数の勾配の、一連の勾配の複数の勾配に対して相対に事前定義された位置からの距離の関数であってもよい。重心のほかに、その所定の位置は、一連の勾配の補間ちれたピーク位置であてもよい。エッジの勾配の真部分集合は、この計算に参加するためにあらかじめ定義された基準に従って選択されることができる。例えば、勾配は、それらの勾配値がピーク勾配と一連の勾配の補間されたピークの勾配値とのどれかの所定の部分以上であることが要求されてもよい。
図２５は、連続した二次導関数間の間隔の倍数である距離に対してプロットされた、あるエッジをまたがった画像データの一連のサンプルの一連の二次導関数を示し、（ａ）一対の正及び負のピークの間の幅Ｗ_Ｓと、（ｂ）所定の大きさｈ_１がある一対の最も外側の補間された二次導関数の間の幅Ｗ_１と、（ｃ）前記所定の大きさｈ_１がある一対の内側の補間された二次導関数の間の幅Ｗ_２と、（ｄ）（一対の正及び負のピーク間の）ゼロ交差から前記所定の大きさｈ_１がある最も外側補間された二次導関数までの距離Ｄ_１と、を示す。前記３つの幅Ｗ_Ｓと Ｗ_１とＷ_２とのどれかも、エッジ鮮明さ度合いとして用いることができる。
また、図２５の例において、エッジ鮮明さ度合いは、（一対の正及び負のピークの間にあり、また補間されていてもよい）ゼロ交差から複数の二次導関数までの距離の加重和であってもよく、それらの重みは、前記複数の二次導関数のそれぞれの大きさである。より一般的には、エッジ鮮明さ度合いは、エッジをまたがった複数の二次導関数に対する所定の位置からそれらの二次導関数までの複数の距離の関数であってもよい。そのゼロ交差位置のほかに、重心は、その複数の重みがそれらの二次導関数の大きさであると、前記所定の位置の良い候補である。前記所定の位置の別の良い候補は、その一対の正及び負の勾配間の中間点がであってもよい。
図２６は、連続したピクセルの間の間隔の倍数である距離に対してプロットされた、エッジの複数のピクセルからの一連の画像データのサンプルを示す。それは、（ａ）そのエッジの両端の２つのサンプルの間の幅Ｗ_ｅｄｇｅおよび対比Ｃ_ｅｄｇｅと、（ｂ）サンプル値の最も急な変化がある一対のサンプルの間の（ロバーツ演算子によって生成された）ピーク勾配値ｇ_ｐｅａｋと、（ｃ）そのエッジに属し対比Ｃ_１と幅Ｗ_{ｐａｒｔ１}とがある最も狭い未分割部分と、（ｄ）そのエッジに属し対比Ｃ_２と幅Ｗ_{ｐａｒｔ２}とがある最も狭い未分割部分と、を示す。前に述べたように、ピーク勾配値ｇ_ｐｅａｋ割る対比Ｃ_ｅｄｇｅは良いエッジ鮮明さ度合いである。幅Ｗ_ｅｄｇｅは別の良いエッジ鮮明さ度合いである。幅Ｗ_{ｐａｒｔ１}及び幅Ｗ_{ｐａｒｔ２}はまた良い代替手段である。対比Ｃ_１および／または対比Ｃ_２は、エッジ対比Ｃ_ｅｄｇｅの所定部分として定義できる。あるいは、それらのどれかは、例えばピーク勾配ｇ_ｐｅａｋのようなエッジのピーク勾配の所定の倍数として定義できる。また、「最も狭い未分割部分」は、例えば図２６において示された四角のような画像データの補間されたサンプル、又は最寄りの画素カウントになさせる切り捨てまたは切り上げによって、区切つてもよいことを留意する。

エッジの資格を審査
図２３Ａ及び２３Ｂは、連続的な勾配の間の間隔の倍数である距離に対してプロットされた画像信号の勾配の、２つの異なるエッジをまたがる１対の対称なシーケンスを示す。各図において、２つの幅（すなわち、上部幅と下部幅）は、２対の補間された勾配に対して測定されている、各マ対は、異なる勾配レベルである。

なお、図２３Ｂの勾配の２つのシーケンスの下部幅が１０％だけ異なるが、その上部幅は、ほぼ図２３Ａの上部幅の２倍である。それらの両方を、確かなフォーカス信号を導出するために有効なエッジとして受け入ることができない。

偽の形状は、エッジの自体に亘る複数の勾配における完全な線対称を有することができるが、エッジおよびその付近における画像データのサンプルから作られた単一の測定だけは、偽のエッジを区別するために十分ではないことが本発明者に認識される。本発明者は、あるエッジをフォーカス信号への寄与に対しては抑えるまたは完全に省略するべきであると判断するために、エッジの所定の近傍内の画像データサンプルから作られた少なくとも２つの量が必要であることを認識する。

ＥＤＷＭユニットは、フォーカス信号を生成に参加するためにエッジを審査するような方法を実装する。この方法は、エッジの所定の近傍内の画像データサンプルから作られた少なくとも２つの量（以下”形状指標”）を計算することに基づいている。前記所定の近傍は、エッジを検出するための全てのエッジ内の勾配および／または二次導関数を計算するための全ての画像データサンプルであってもよい。あるいは、所定の近傍は、エッジの所定距離、例えば８画素、内の全ての画素、又はエッジの検出及び／又はエッジ鮮明さ度合いの計算をするために使用する全ての画像データサンプルを含むのに十分な最小距離内の全ての画素であってもよい。

エッジの各形状指標は、少なくとも２のサンプルペアの差から計算される。各サンプルペアの差は、前記エッジをまたがる一連の画像データサンプルからの１対の画像データサンプルの間の差である。

次に、この方法は、エッジの少なくとも２つの形状指標の値によって、（フォーカス信号に寄与するその他のエッジに対して相対的に）そのエッジがフォーカス信号に寄与する程度を低減することができる。例えば、フォーカス信号をそれへの寄与を許可されている全てのエッジの加重平均として計算し、その複数の重みは既に（例えば、次のセクションで説明される長さフィルタのような）他の方法を介して決定した場合でも、前記エッジの重みは、前記決定から前記相対的な程度として計算された因子（以下「形状適正因子」）を乗じて、その他のエッジよりもさらに減少されてもよい。
この方法は、前記相対的な程度を決めて前記エッジから前記フォーカス信号への寄与を減らすために、前記少なくとも２つの形状指標が一緒にある判定基準を満たすかどうかを判断できる。例えば、前記判定基準は、第２の指標に対する第１の指標の二次元散布図において、前記相対的な程度の減少がない又は小さい領域を全ての他の領域から分離する境界として表現できる。複数の輪郭は、同じ相対的な程度が割り当てされた複数の第１の指標値および第２の指標値の対が同じ輪郭上にあるように定義して、その相対的な程度は、エッジのその対が属する輪郭を調べてメモリから読み出すことができる。例えば、前記方法は、前記少なくとも２つの形状指標の１つが、１つ以上の他の形状指標による判定基準を満たすかどうかを評価できる。例えば、その評価から続いて、前記判定基準を満たさない場合、前記フォーカス信号を生成する際、前記エッジを除いてまたはその強調を抑えてもよい。例えば、エッジがその強調を抑える場合、前記相対的な程度は、前記判定基準を満たす値（例えば、１）および前記判定基準を満たしない他の値（例えば、０）の間で変化しまた第１の指標の値と前記期待値との間の差の変化に対する滑らかな遷移を有する関数であってもよく、前記フォーカス信号がそれために寄与する複数のエッジからの加重平均である場合、前記相対的な程度は、前記フォーカス信号を計算する前に、その重みをこの相対的な程度で乗じて前記フォーカス信号中の前記エッジの重みを減少させるように使用できる。

このような関数は、好ましくは前記差に関するシグモイド関数の形状がある。
あるいは、この方法は、前記相対的な程度を前記少なくとも２つの形状指標の関数として計算できる。例えば、前記相対的な程度は、Ｘ／Ｅとして計算でき、ただし、Ｅは（エッジの第２の指標値の測定値を関数に挿入して求めた）期待値であり、Ｘは、第１の形状指標の測定値である。

第２の形状指標に関する第１の形状指標期待値は、例えば不揮発性メモリ（例えばフラッシュメモリ）ようなコンピュータ可読媒体において記録され取り戻されてＥＤＷＭユニットに実行される数式で表すことができる。代替的に、コンピュータ可読媒体において格納されたルックアップテーブルを使用できる。図２８は、４対の第１及び第２の形状指標値（ｗ_１ｂ、ｗ_１ａ）、（ｗ_２ｂ、ｗ_２ａ）、（ｗ_３ｂ、ｗ_３ａ）、（ｗ_４ｂ、ｗ_４ａ）の散布図を示して、第２の形状指標の値ｗ_ａ’から補間することによって第１の形状指標の値ｗ_ｂ’を見出すことを説明する。前記 ルックアップテーブルは、第１及び第２の形状指標の値のペアを格納し、ＥＤＷＮは、形状指標の測定値を与えて別の形状指標の期待値を補間で見つけるために複数のペアを取得することができる。

ここで、前記方法は、エッジをまたがる勾配のシーケンスが完全な線対称から逸脱する程度に基づいて相対的な程度を決定しないことを注意する。具体的には、それぞれのエッジの完全に対称な勾配のシーケンスをプロットした図２３Ａと２３Ｂを参照して本見出しのすぐ下に説明したように、エッジは、エッジをまたがる勾配のシーケンスにおいて完全な線対称があるが、前記方法によって差別されている。後述の実施例で説明するように、エッジをまたがる勾配のシーケンスにおける完全な線対称は、そのエッジを差別する（すなわち、相対的な寄与に付ける重みを減ずる）ことを防がない。

さらに具体的には、完全な線対称がある勾配のシーケンスがあって、そのエッジをまたがる勾配のシーケンスが特定のシーケンスである場合、この方法はそのエッジの相対的な重みを減らす。一例として、そのようなシーケンスは、｛０．１、０．１５、０．２、０．９、０．９、１、０．９、０．９、０．２、０．１５、０．１｝であってもよい。他の例として、そのようなシーケンスは、図２７Ａに示した帽子の形状を取るシーケンス８００２として示した｛０、０．２、０．２、０．７、０．７、１、０．７、０．７、０．２、０．２、０｝であってもよい。第３の例として、このようなシーケンスは、図２７Ｂにおいて二等辺三角形の形状のシーケンス８０００として示した｛０、０．２５、０．５、０．７５、１、０．７５、０．５、０．２５、０｝であってもよい。

形状指標の中の１つがエッジ鮮明さ度合いであるが、これは必須ではない。エッジ鮮明さ度合いが形状指標のいずれでもなくまたあるエッジのフォーカス信号への寄与が失格と（つまり省略）される場合、そのエッジのためのエッジ鮮明さ度合いの計算を省略できる。

それらの形状指標は、任意の形状指標の計算があるエッジの所定の近傍からの少なくとも画像データサンプルをさらに伴わなくて前記任意の形状指標をその他の形状指標から計算できないという意味で、互いに独立している。

好ましくは、ある形状指標は、その計算がある全てのエッジために正の勾配および負の勾配から計算されない。たいていのエッジに対しては、それらのエッジにおける補間された勾配を見つけるために正および負の勾配の間に補間する必要がない。

好ましくは、エッジの形状指標を評価することは、他のエッジが検出されるかどうかに依存しない。頻繁に、エッジは他のエッジとは独立に正規化された勾配の分布があり、そして、エッジのそのような特性に基づいて定式化された形状指標は、特にこのエッジが他のエッジの所定の近傍と重ならない場合、他のエッジが検出されるかどうかによって影響されない。

好ましくは、シーンの照度の２０％の減少がエッジを省略するかフォーカス信号への寄与を許可するかの差を生む場合、そのエッジを測定するための形状指標としては、選択しない。あるいは、好ましくは、前記所定の近傍内の画像信号値の２０％だけの減少がエッジを除くかフォーカス信号への寄与を許可するかを決める場合、そのエッジを測定するための形状指標としては、選択しない。

一般に、見出し「エッジ鮮明さ度合い」下に記載された、エッジ鮮明さ度合いの計算の方法のいずれかは、前記エッジ鮮明さ度合いおよび全ての形状指標を異なるように計算する限り、それによって１つ以上の形状指標を作成できる。例えば、第１の形状指標は、図２３Ｂを参照すると、上の正規化された勾配レベル３３１０での２つの補間された勾配間の幅Ｗ_２であり、第２の形状指標は、下の正規化された勾配レベル３３１２での１対の補間された勾配の間で測定された幅Ｗ_１であってもよい。第２の形状指標は、この実施例のエッジのエッジ鮮明さ度合いとして用いることができる。代わりに、エッジ鮮明さ度合いは、上３３１０および下３３１２の正規化された勾配レベルと異なる第３正規化された勾配レベル上で測定されてもよい。他の代わりとは、第２の指標およびエッジ鮮明さ度合いのいずれかは、例えばそれを所定の位置（例えば重心）からエッジ上の複数の勾配までの距離の二次モーメントのなどのそれらの距離の関数にする、又はエッジをまたがって配列された二次導関数のシーケンスから補間された一対の外側の補間された二次導関数の間の距離の関数にするような他の形状指標方法を用いて測定できる。

図２３Ｂに関して上述した例は２つの異なる勾配レベルで測定した２つの幅（あるいは画素数、それは隣接する画素間の間隔に量子化された距離である）を使用したが、他の組み合わせは、以下の更なる例で説明するように可能である。

また、ピーク勾配値または正規化されたピーク勾配値の冪に関する正規化を使用してエッジ鮮明さ度合いを作る方法のいずれかは、その正規化を回避して形状指標を生成できる。ただし、その形状指標の単位内は、エネルギーの単位がある。例えば、エッジ鮮明さ度合いが勾配のシーケンス下の領域の面積を測定して（図２４Ｂおよび見出し「エッジ鮮明さ度合い」の下のその関連議論を参照）ピーク勾配または補間されたピーク勾配値で正規化によって作る場合、その正規化を回避して、エッジ鮮明さ度合いを、勾配の単位×長さの単位、すなわちエネルギーの単位がある形状指標とする面積にすることができる。

エッジ鮮明さ度合い方法のいずれかに加えて、形状指標は他の方法に頼ることができる。さらなる例は以下に記載される。

図２４Ａは、連続した勾配の間の間隔の倍数である距離に対してプロットされた、エッジをまたがる対称な勾配のシーケンス、およびピーク勾配からの所定の距離Ｄ_３である補間された勾配の正規化された勾配値を示す。この勾配のシーケンスは、ピーク勾配３２１２がある。正規化された勾配レベルＬ_０で測定された幅Ｗ_０は、第２の形状指標として用いることができる。距離Ｄ_３は、例えば幅Ｗ_０の所定の分数とするように幅Ｗ_０に関して定義する、または例えば勾配の重心から勾配までの距離の分散の平方根の所定の倍数とするように、エッジ鮮明さ度合いのいずれかから測定されたエッジの他の幅に関して定義できる。距離Ｄ_３では、正規化された補間された勾配値Ｌ_３を計算する。この補間された勾配値は、勾配レベルＬ_０で同じ幅Ｗ_０があるのに、図２４Ａで示された現在の勾配のシーケンスよりも勾配値がピーク勾配３２１２からの距離に対して速く低下する異なる勾配のシーケンスの間に異なる。したがって、ペア（Ｄ_３、Ｗ_０）は、その勾配のシーケンスからエッジの相対的な程度を見つけるために、判断基準に対して審査できる。

図２４Ｃは、連続勾配の間の間隔の倍数である距離に対してプロットされた、エッジをまたがる画像信号の勾配のシーケンス、および正規化された勾配のプロットされたシーケンスの傾きＳ_Ｌ（すなわち、画像信号の正規化された二次導関数）を示し、傾きＳ_Ｌは、補間されたピーク３２７０に関して定義された正規化された勾配レベル３２７４で取る。このレベルまたは他の正規化勾配されたレベルで測定された傾きは、正規化された勾配レベルＬ_０での幅が同じであるのに、現在の勾配のシーケンスの形状および図２４Ａに示した勾配のシーケンスの形状の間で異なることが明らかである。これらのシーケンスの両方は、フォーカス信号を生成するために、良いであることができない。したがって、前記傾きも、形状指標のための候補方法である。

形状指標のための他の方法としては、エッジをまたがる勾配シーケンスからの複数の正規化された勾配値の冪の和を用いることができる。また、この和をピーク勾配値又は補間されたピークの勾配値の同じ冪でさらに正規化する場合、それをエッジ鮮明さ度合いとして用いることができ、その単位は長さの単位の逆数である。

前記エッジの前記相対的な程度を決めるために使用する第１および第２の形状指標の間では、エッジの所定の近傍からの画像データサンプルを拡大縮小することによって影響を受けないように、両方を選択できる。例えば、図２３Ｂを参照する前記の説明のように、幅Ｗ_１と幅Ｗ_２の両方は、表示された勾配のシーケンスにおける勾配ための計算に入力された画像データを拡大縮小することから影響を受けない。あるいは、その両方がそれによって影響されるように、その両方を選択する。例えば、第１の指標は、図２４Ａに示し上述したように、補間されたピーク又は勾配のシーケンスのピーク勾配からの所定の距離Ｄ_３での補間された勾配値Ｌ_３であってもよく、第２の指標は、図２４Ｂに示し上述したように距離に対してプロットした勾配のシーケンス下の領域の面積であってもよくしかしそれらは正規化されていない。

本開示において、エッジからの例えば勾配レベルのような量は、特な指定がない限りデフォルトではそれをエッジのピーク勾配値または補間されたピークの勾配値によって割ると、正規化されていると言われていることに留意したい。例えば、図２３Ｂにおいてピーク勾配３２１２が正確に１の正規化値があるが、図２４Ｃには、補間されたピーク３２７０がピーク勾配３２１２と異なっており、また、図２４Ｃに示した勾配をピーク勾配３２１２の代わりの補間されたピーク３２７０に関して正規化することがある。

長さフィルター
以下、長さフィルター２１２の機能について説明する。広義では、長さフィルター２１２は、それぞれが同様の配向の１つ以上のエッジに接続するエッジへの嗜好を作成する。同様の方向を有してその他のエッジのいずれにも接しない独立したエッジに比べて、同様の方向を有してグループにおいて互いに接続されたグループのエッジ（「連結エッジ」）は、ノイズに起因する可能性が高くない。従って、同様の方向を有して一緒に連結されたエッジが多ければ、ノイズに起因する可能性が低くなる。ノイズに起因する前記グループの確率は、グループにおけるエッジ数が増えるにつれ、指数関数的に低下され、また直線的な低下よりずっと早い。この特性は、ノイズの抑制に用いられ、特に、画像において又は対象領域において信号対雑音比が例えば１０未満と弱いといった薄暗い又は短い露光の場合に用いることができる。前記嗜好は、何れの適当な方法で実施されて表現されてもよい。後述される複数の方法は単に例示に過ぎない。

第１の方法としては、連結長さ閾値より小さい長さを有する垂直／水平連結エッジに属するエッジを消去する。前記連結長さ閾値は、前記対象領域が比較的薄暗い場合に比較的に大きくしてもよい。例えば、前記連結長さ閾値は、２のような小さな値から始まってもよいが、対象領域における信号対雑音比が５に低下される場合に８に増える。前記連結長さ閾値は、前記プロセッサー１１２、１１２’、１１２’’によって、例えば、信号１３２の一部となる図３に示すような「長さコマンド」信号で提供されてもよい。または、前記閾値は、式に基づいて前記フォーカス信号発生器で算出されてもよい。

第２の方法としては、それぞれのエッジに対して前記長さフィルター２１２で長さ重みを提供し、そしてこの長さ重みを前記フォーカス信号算出器２１０でのフォーカス信号の算出に適用する。比較的長い連結エッジの一部であるエッジは、比較的短い連結エッジの一部であるエッジより大きい重みを受け取る。例えば、前記長さ重みは、前記連結エッジの長さの平方であってもよい。従って、全ての寄与値を合計する前に、それぞれのエッジのフォーカス信号に対する寄与値に因子Ａ／Ｂを乗じることによって、フォーカス信号を形成してもよく、ここで、Ｂはフォーカス信号の算出に入る全てのエッジの長さ重みの合計であり、Ａは前記エッジの長さ重みである。同様に、エッジ幅のヒストグラム（信号１３４の一部として出力されてもよい）は、好ましくは、いずれのエッジも同様の寄与値（例えば＋１）を提供するのではなく、比較的長い連結エッジに属する複数のエッジが、それらのそれぞれのエッジ幅に対応するビンにより大きな寄与値を提供するようにすることができる。従って、例えば、それぞれのエッジはＡ／Ｃに寄与することができ、ただし、Ｃは前記エッジに亘るＡの平均値である。同様に、幅狭いエッジのカウントは、比較的長い連結エッジのメンバーとしてのエッジがより多く寄与するようにすることができる。従って、例えば、それぞれのエッジによる寄与は、Ａ／Ｄを乗じてもよく、ただし、Ｄは幅狭いエッジのカウントで数えられるエッジの間のＡの平均値である。

最上部（最左側）及び底部（最右側）のエッジを除き、それぞれのエッジが２つの他の垂直（水平）エッジ（一方のエッジはその上方（左側）、他方のエッジはその下方（右側）にある。）に接触する１群のＮ個の垂直（水平）エッジは、長さＮを有する垂直（水平）連結エッジである。前記上部（最左側）エッジは、その下方（右側）のエッジのみに接触することが必要である。前記底部（最右側）エッジは、その上方（左側）のエッジのみに接触することが必要である。

図８は垂直連結エッジ及びその長さを示す。図８において、セルＲ２Ｃ３及びＲ２Ｃ４は第１の垂直エッジを形成し、ユニットＲ３Ｃ３、Ｒ３Ｃ４及びＲ３Ｃ５は一緒に第２の垂直エッジを形成し、また、ユニットＲ４Ｃ４及びＲ４Ｃ５は一緒に第３の垂直エッジを形成している。前記第１及び第３の垂直エッジはそれぞれ他の垂直エッジのみに接触するのに対し、前記第２の垂直エッジは２つの他の垂直エッジに接触する。前記第１、第２及び第３の垂直エッジは一緒に長さ３を有する垂直連結エッジを形成する。

垂直（水平）連結エッジに２つ以上の分岐がある、即ち、１行（列）に２つのエッジがある場合（図示せず）には、前記長さが連結エッジにおける総エッジ数として定義されてもよい。又は、前記長さは、その中の最上部（最左側）エッジから最底部（最右側）エッジまでの垂直（水平）距離に１を加えたものとして定義されてもよい。

上述した提案の他に、連結長さを定義する他の可能な方法がある。例えば、連結エッジの長さの定義は、前記長さが前記連結エッジにおける少なくとも３までのメンバーエッジ数に比例する特性を有することである。これは、前述した推理に合致しており、すなわち、互いに接触して互いに接続される複数のエッジが多ければ、連結エッジがノイズに起因される確率が指数関数的に低くなり、これによって、前記長さが、連結エッジにおける適当な数以下のメンバーエッジ数に比例することになるべきであり、前記適当な数とは、当該連結エッジの信頼性を単一のメンバーエッジの信頼性よりも十分に向上させる数である。前記長さフィルター２１２は、連結長さ１を有するエッジの強調を抑え、又はそれを消去して、広義では区別することができる。前記長さフィルター２１２は、連結長さ２を有するエッジを区別することができる。前記長さフィルター２１２は、連結長さ３を有するエッジを区別してノイズによる影響をさらに低下することができる。前記長さフィルター２１２は、前記プロセッサーからのコマンドに基づいてこれらの動作の何れか１つを行うことができる。

図３には前記エッジ検出・幅測定ユニット２０６の直後に設けることを示しているが、その他の配置も可能である。例えば、前記フォーカス信号算出器２１０の前に前記長さフィルター２１２が挿入されてもよい。前記長さフィルター２１２によって処理された複数のエッジは、「精細」信号に応じて前記幅フィルター２０９を通過するエッジである。

フォーカス信号発生器の代替実施形態においては、前記精細スイッチ２２０を除去することにより、前記フォーカス信号算出ユニット２１０に、前記幅フィルター２０９にろ過されていない第１のデータ群及びろ過された第２のデータ群を受信させ、そして、前者のデータ群の計算により概略フォーカス信号を取得し、後者のデータ群の計算により精細フォーカス信号を取得するように、前記両データ群に対して計算を行って異なるフォーカス信号を取得し、さらに、この２つの信号を前記プロセッサー１１２、１１２’に出力してもよい。

幅フィルター
次に、図３を参照して前記幅フィルター２０９の動作を理解する。図１１は複数のエッジ幅のヒストグラム、即ち、複数のエッジ幅に対する複数のエッジのカウントのグラフを描いている。エッジ幅２（即ち、前記上述鮮明エッジ幅）には、前記画像に複数の鮮明なエッジが存在することを示唆するピークがある。しかし、エッジ幅４及び５には複数のピークがあり、これは、エッジがぼやけたことを示唆している。その原因としては、たぶん、対応する結像オブジェクトがフォーカスされておらず、これらの結像オブジェクトのフォーカスレンズからの距離が前記鮮明なエッジを生じさせたオブジェクトのフォーカスレンズからの距離と異なっているからである。フォーカス信号を算出するには、幅が所定の範囲（「幅狭いエッジ範囲」）外になる複数のエッジは、前記幅フィルター２０９によって、その強調を抑えてもよい。前記幅フィルター２０９は、前記フォーカス信号の算出に用いるために、前記幅狭いエッジ範囲外にある複数のエッジ幅に対して比較的小さい重みを作成してもよい。例えば、複数のエッジ幅に対して重み１．０が割り当てられるが、上限８４０の右側へ＋１よりも大きく離れた複数のエッジ幅に対して重み０が割り当てられ、その間の複数のエッジ幅に対して０〜１．０の重みが割り当てられ、エッジ幅と共に単調に低減される。または、前記幅フィルター２０９は、それらのエッジをフォーカス信号の計算から完全に排除してもよい。適切な上限及び下限８３０、８４０は、画素アレイ１０８でのクロストーク、フォーカス信号発生器１２０に受信された画像に対して欠落色を発生する補間方法及び前記エッジ検出・幅測定ユニット２０６に採用されるローパスフィルターに用いられるフィルター係数を含む幾つかの要素に依存する。適切な上限及び下限８３０、８４０及び前記パラメータの鮮明エッジ幅は、前記画像ピックアップ装置１０２、１０２’に対して、種々の鮮明度を有する画像を取り込んでエッジ幅のヒストグラムを調べることによって決定されてもよい。例えば、鮮明な画像のピークがエッジ幅２にある場合、適切な上限及び下限はそれぞれ、１．５及び３であり、前記鮮明エッジ幅は２．０に設定されてもよい。前記下限と上限及び鮮明エッジ幅は、上述したように決定され、そして前記プロセッサー１１２、１１２’’によって前記フォーカス信号発生器１２０、１２０’、１２０’’に供給されてもよい。「精細コマンド」がオンになると、このように算出された精細なフォーカス信号が、幅狭いエッジ範囲外のエッジ幅の強調を抑える。

また、前記幅フィルター２０９は、エッジ幅が幅狭いエッジ範囲内にある複数のエッジの総数を算出し、出力信号１３４の一部として出力してもよい。幅狭いエッジのカウントは、前記フォーカスシステムコントローラ（プロセッサー１１２）に入力されて、鮮明な画像の存在の検出及び／又は追跡の開始のために用いられてもよい。

フォーカス信号
次に、図３の前記フォーカス信号算出器２１０を参照すると、前記フォーカス信号算出器２１０は、複数のエッジ幅を受信してフォーカス信号を出力する。前記フォーカス信号は、全てのエッジ幅の重み付け平均値として算出されてもよく、前記重みはそれぞれのエッジ幅に対するエッジのカウントであり、即ち、フォーカス信号＝Σｗ_ｉｅ_ｉ／Σｗ_ｉ、ただし、ｅ_ｉはエッジ幅、ｗ_ｉは重み、ここで、ｗ_ｉ＝ｃ_ｉ、ｃ_ｉはエッジ幅ｅ_ｉにおけるエッジのカウントであり、ｉは複数のエッジ幅の一ヒストグラムのビン数である。または、それぞれのエッジ幅における重みは、エッジ幅のエッジのカウントに前記エッジ幅そのものを乗じたもの、即ち、ｗ_ｉ＝ｃ_ｉｅ_ｉであってもよい。また、重みで表される前記幅フィルター２０９からの嗜好は、それぞれのエッジ幅をさらに乗じてもよい。例えば、前記幅フィルター２０９により発生される重みΩ_ｉに対しては、ΣΩ_ｉ＝１、フォーカス信号はΣΩ_ｉｗ_ｉｅ_ｉ／ΣΩ_ｉｗ_ｉとして算出されてもよい。制御信号「精細」がオン、且つ「排除」がオフになると、図１１に示す実例では、前記フォーカス信号は、２．０という鮮明なエッジ幅の値に非常に近い値となり、これは、２．０〜３．０のエッジ幅を発生する焦点距離範囲において、ほとんどのオブジェクトの細部が実際に鮮明にフォーカスされていることを示唆している。制御信号「精細」がオフ、且つ「排除」がオフになると、前記フォーカス信号は５．０に近い値となり、画像において焦点外れの細部がかなり多く存在していることを示唆している。前記精細スイッチ２２０をオンにすると、前記フォーカス信号が少しぼやけたオブジェクトにより多く応答し、完全にぼやけたオブジェクトにより少なく応答することが可能になる。前記精細スイッチ２２０がオンになると、前記フォーカス信号を精細なフォーカス信号と呼び、前記精細スイッチ２２０がオフになると、概略フォーカス信号と呼ぶことにする。上述したように、前記長さフィルター２１２により表現される前記強調は、複数の方法のうちの１つにより、前記フォーカス信号に組み込まれてもよい。例えば、前記フォーカス信号計算への入力の強調が抑えられるエッジを消去して、または、前記エッジに対応するエッジ幅ビンのカウントｅ_ｉへの寄与の重みを低減してもよい。

図１５は、オブジェクトが鮮明にフォーカスされている所の近傍のフォーカス位置の調節に対する前記精細フォーカス信号の応答をスケッチする。前記精細なフォーカス信号は、大体、前記フォーカス位置により画像が鮮明にフォーカスにされるような鮮明エッジ幅において、極小値に達するが、そうでなければ増える。前記精細フォーカス信号は、既に焦点が合った又はその状態に非常に近いオブジェクトの追跡に用いられてもよい。移動するオブジェクトに対しては、前記精細なフォーカス信号は、焦点距離が変わり続ける場合でも、前記フォーカス制御システムにより、これらのオブジェクトが鮮明にフォーカスされることを保つようにする。前記精細なフォーカス信号はまた、前記オブジェクトが、幅が幅狭いエッジ範囲に収まるエッジを生じさせるように、鮮明にフォーカスされないがこの状態に十分に近いオブジェクトの鮮明フォーカスを取得する（「取得」）ことに用いられてもよい。前記エッジ幅のヒストグラムに示すピークは、前記鮮明エッジ幅から離れた、前記オブジェクトに対応するエッジ幅のところにあるために、前記精細なフォーカス信号が鮮明エッジ幅よりも大きくなるので、前記フォーカス制御システムは、前記精細なフォーカス信号値が前記鮮明エッジ幅にさらに近くなるようにフォーカス位置を調節することでそれに対応することができ、これにより、前記オブジェクトに起因するエッジ幅のピークが鮮明エッジ幅に等しいエッジ幅の値の中心に位置決めされる。

基本の使用方法
図１２〜１６は、幅狭いエッジのカウント、概略フォーカス信号及び精細なフォーカス信号が鮮明な画像を実現するためにフォーカス制御の実施に如何に用いられるかを示す。

図１２は、前景における「人」、背景における「山、太陽及び地平線」、及びその間における「自動車」のように、異なる焦点距離において３つのグループのオブジェクトを有する戸外シーンを示す。

図１３は、前記フォーカスレンズ１０４のフォーカス位置が図１２に示すシーンを遠くから近くへ走査する場合における時間に対して描かれた幅狭いエッジのカウントの図である。前記幅狭いエッジのカウントは、フォーカス位置においてオブジェクトが画素アレイ１０８で鮮明な画像となる場合にピークに達する。従って、前記幅狭いエッジのカウントは走査中に、「山、太陽及び地平線」、「自動車」及び「人」に対してこの順で１つずつ、合計３つのピークを示す。

図１４は時間に対して描かれた概略フォーカス信号を示す。前記概略フォーカス信号は、前記フォーカス位置が幅狭いエッジのカウントがピークに達する３つのフォーカス位置のそれぞれに近い場合に極小値を示す。しかし、それぞれの極小値において、前記概略フォーカス信号は、焦点外れの他のオブジェクトにより寄与された比較的大きいエッジ幅に起因して、前記鮮明エッジ幅レベル、この実例では２．０にない。

図１５は、図１２のシーンにおける「自動車」に対する鮮明なフォーカス位置の近傍にあるフォーカス位置に対して描かれた精細なフォーカス信号を示す。前記精細なフォーカス信号は、複数のぼやけたオブジェクト（「人」及び「山、太陽及び地平線」）が存在するにもかかわらず、鮮明エッジ幅、この実例では２を基本的に達成する。図１１を再び参照すると、幅４及び５における２つのピークは、それらの２つのグループのぼやけたオブジェクトにより寄与されるが、これは、前記幅フィルター３２４が重みを低減させ、又は上限８４０の右側へのエッジ幅による寄与を完全に消去したと理解することができる。

フォーカス制御システムは、概略フォーカス信号を利用して、検索モードで最寄りの鮮明なフォーカス位置を検索することができる。それは、フォーカス位置を現在のフォーカス位置から離れるように移動させて前記概略フォーカス信号が増加するか低減するかを決定することができる。例えば、前記フォーカス位置が内向き（外向き）に移動する場合に前記概略フォーカス信号が増加（低減）すると、現在のフォーカス位置から比較的遠い鮮明なフォーカス位置が存在する。前記プロセッサー１１２、１１２’、１１２’’はその後、フォーカス駆動信号を供給し、隣接する鮮明なフォーカス位置へフォーカスレンズ１０４を移動させることができる。

フォーカス制御システムは、前記シーンにおける変化、前記オブジェクトの移動又は前記画像ピックアップ装置の移動にもかかわらず、前記精細なフォーカス信号を利用して、既に鮮明にフォーカスされたオブジェクトを追跡して対応する画像の鮮明さ（従って、「追跡モード」）を保ってもよい。オブジェクトが鮮明にフォーカスされる場合に、上記の変化があるにもかかわらず、前記精細なフォーカス信号レベルは安定している。これによって、前記精細なフォーカス信号の変更は、前記オブジェクトの画像ピックアップ装置からの焦点距離の変更を示唆する。前記フォーカス制御システムを、極小値に近い所定の精細なフォーカス信号レベル、例えば、この実例では２．０〜２．５、特に２．１に「ロックする」ことにより、前記精細なフォーカス信号レベルが変動すると、直ちに前記プロセッサー１１２、１１２’、１１２’’に前記オブジェクトの焦点距離の変更が通知される。前記プロセッサー１１２、１１２’、１１２’’はその後、方向を決めて、フォーカスレンズ１０４を移動させて前記精細なフォーカス信号レベルを「ロックされた」レベルに回復させることができる。従って、前記画像ピックアップ装置１０２、１０３、１０３’、１０３’’は、移動オブジェクトを追跡することができる。

例えば、プロセッサー１１２、１１２’、１１２’’におけるアルゴリズムにおいて実施されるようなフォーカス制御システムは、幅狭いエッジのカウントを利用して検索モードから追跡モードへの変更をトリガしてもよい。前記追跡モードにおいて、前記フォーカス制御システムは、前記精細なフォーカス信号により前記オブジェクトを「ロックする」。フォーカス位置が前記オブジェクトの鮮明なフォーカス位置に十分に近づく前に、前記フォーカス制御システムは、前記概略フォーカス信号により移動方向を確認し、レンズの移動速度を調節してもよい。オブジェクトが鮮明にフォーカスされる場合に、幅狭いエッジのカウントはシャープにピークに達する。幅狭いエッジのカウントにおける鮮明な上昇、ピークの到達又はその両方を検出した場合、前記プロセッサー１１２、１１２’、１１２’’は、追跡モードに切り替えて、精細なフォーカス信号を、フォーカス位置の制御に用いてもよい。鮮明なフォーカス位置によって閾値が異なる可能性があり、前記閾値は、終端間フォーカス位置「走査」によって見つけられたそれぞれのグループのオブジェクトに割り当てられ、そしてその後、幅狭いエッジのカウントがこの閾値を超えると、対応するグループのオブジェクトが検出される。静止シーンに対して、例えば、静止画像の撮影に対しては、終端間フォーカス位置走査は、幅狭いエッジのカウントがピークに達する毎に最大のカウントがある最大カウントリストを返すことができる。例えば、最大のカウントの５０％を取ることにより、前記最大のカウントのリストから、閾値のリストを生成することができる。

図１６は、表示装置１１４と、複数のボタンを含む入力装置１０７と、前記表示装置１１４においてハイライトされた選択マーカー１９２０とを有する画像ピックアップ装置１０２を示す。ユーザは前記入力装置１０７を利用して、前記選択マーカー１９２０を作成、成形及び操作することができる。この実例において複数のボタンを含むことを示しているが、前記入力装置１０７は、表示装置１１４でのタッチ又はストロークの位置を検出するために、前記表示装置１１４に載せたタッチスクリーンを含んでもよい。前記入力装置１０７、及び前記プロセッサー１１２、１１２’、１１２’’又は入力装置１０７のための別個専用コントローラ（図示せず）は、選択領域を決定することができる。前記選択領域を記述するための複数のパラメータは、バス１３２を介して（又はフォーカス信号発生器１２０が前記プロセッサー１１２の一部である場合に、前記プロセッサー１１２において内部で）、前記フォーカス信号発生器１２０、１２０’、１２０’’に転送されることができる。それに応じて、前記フォーカス信号発生器１２０は、フォーカス信号の算出、幅狭いエッジのカウント又はその両方を前記パラメータに記述される選択領域におけるエッジに限定し又は前記選択領域外のエッジの強調を抑えるようにすることができる。こうすると、前記フォーカス信号より意図せぬオブジェクトの強調を弱めることができ、そして前記概略フォーカス信号でも単一の極小値及び鮮明なエッジ幅における１．０以下の最小レベルを示す。

代替実施形態
図１７は、フォーカス信号発生器１２０’の代替実施形態を示す。フォーカス信号発生器１２０’は、複数のエッジ及び複数のエッジ幅の統計データを出力する。コントローラ１２０’が出力するエッジ幅の統計データは、異なるエッジ幅におけるエッジのカウントを含むエッジ幅のヒストグラム、エッジ幅のカウントが最大値に達する所でのエッジ幅、異なるエッジ幅におけるエッジのカウントに近いスプライン関数を示す１組の係数、及びエッジ幅の関数を示すことができる任意のデータのうちの１つ以上であってもよい。全数調査ユニット２４０は、前記フォーカス信号発生器１２０’と他のユニットのうちの１つ以上で算出されるデータを受信してエッジ幅の統計データを算出することができる。一般に、前記フォーカス信号発生器１２０’は、エッジ幅分布の表示の信号を出力することができる。

図１８に示すように、このように信号１３４で代替オートフォーカス画像ピックアップ装置１０２’における代替実施形態のプロセッサー１１２’に供給されるエッジ幅の統計データは、上述した方法又はその同等のものにより、概略及び／又は精細なフォーカス信号及び幅狭いエッジのカウントを算出するように、前記プロセッサー１１２’により使用されてもよい。さらに、前記フォーカス信号発生器１２０’に算出された何れのデータも、出力信号１３４の一部としてプロセッサー１１２’に出力されてもよい。

前記プロセッサー１１２’は、図１のプロセッサー１１２に含まれる機能の外に、フォーカス信号及び／又は幅狭いエッジのカウントを内部で発生させてもよい。

前記画素アレイ１０８、Ａ／Ｄ変換器１１０、色補間器１４８及び発生器１２０’は、前記プロセッサー１１２’とは別の、画像センサー１５０’を一緒に含むパッケージ１４２に備わってもよい。

補助画素アレイ
図１９は、オートフォーカス画像ピックアップシステム１０３の代替実施形態を示す。システム１０２に含まれる素子の外に、前記システム１０３は、ハーフミラー２８５０と、フルミラー２８５２と、光学ローパスフィルター２８４０と、主画素アレイ２８０８と、主Ａ／Ｄ変換器２８１０とを含んでもよい。前記ハーフミラー２８５０は、入射する光ビームを、第１のスプリットビーム及び第２のスプリットビームに分割し、その一方を透過させ、他方を反射させることができる。前記第１のスプリットビームは、最後に、前記第１のスプリットビームを検出してアナログ信号に変換する前記主画素アレイ２８０８に到達する前に、さらに前記光学ローパスフィルター２８４０を透過してもよい。前記第２のスプリットビームは、最後に、図１に示すシステム１０２における画素アレイ１０８に対応する前記補助画素アレイ１０８’’に到達する前に、前記フルミラー２８５２により反射されてもよい。第２の光ビームに対する第１の光ビームの光強度の比は、１対１又は１対１よりも大きくなり得る。例えば、この比は４対１になり得る。

前記主画素アレイ２８０８は、例えばバイエルパターンのようなカラーモザイクパターンのカラーフィルターアレイに被覆されてもよい。前記光学ローパスフィルター２８０８は、前記画素アレイ２８０８にフォーカスされた最小光点がエイリアシングを引き起こすほど小さすぎないようにする。モザイクパターンのカラーフィルターが前記画素アレイ２８０８を被覆する場合に、エイリアシングは、色補間の後にカラーモアレ偽像を引き起こし得る。例えば、前記光学ローパスフィルターを利用することにより、前記主画素アレイ２８０８における光点の可視光パワーの８４％を取り囲む円の最小直径（「最小主直径」）は、１．５画素の幅より大きいが、２画素の幅より小さいように維持される。例えば、前記主画素アレイ２８０８は４．５ｕｍの画素の幅を有するのに対し、光学ローパスフィルタリング無しで最小直径が２．０ｕｍであると、前記光学ローパスフィルター２８４０は、光点の直径が６．７ｕｍ以上になるようにするために選択されてもよい。

前記補助画素アレイ１０８’’は、１つ以上の光検出器アレイを含んでもよい。これらのアレイのそれぞれは、カラーモザイクパターンのカラーフィルターアレイに被覆されても、被覆されなくてもよい。前記補助画素アレイ１０８’’におけるこの（これらの）アレイは、Ａ／Ｄ変換器１１０によりデジタル信号１３０に変換されるアナログ信号で画像を出力する。これらの画像は前記フォーカス信号発生器１２０に送信される。色補間器１４８は、複数のカラーフィルターに被覆される画素から発生される画像に対して、欠落色を発生することができる。補助画素アレイ１０８’’が複数の光検出器アレイを含む場合、それぞれのアレイは、前記主画素アレイ２８０８により取り込まれた画像の一部に対応するサブ画像を取り込むことが可能である。前記複数のアレイが、物理的に１百個の画素の幅以上に離れてもよく、また、半導体基板を共有しても、共有しなくてもよい。補助画素アレイ１０８’’における前記画素アレイは、半導体基板を共有しない場合、一緒にパッケージ（図示せず）に収容されてもよい。

主Ａ／Ｄ変換器２８１０は、前記主画素アレイ２８０８からのアナログ信号をデジタル主画像データ信号２８３０に変換する。前記デジタル主画像データ信号２８３０は、前記プロセッサー１１２に送信され、最後にメモリカード１１６に記憶されるものである。前記プロセッサー１１２では、前記主画素アレイ２８０８において取り込まれた画像に対して色補間、色補正及び画像圧縮／解凍のような画像処理を行い得る。

前記補助画素アレイ１０８’’における光検出器アレイは、前記主画素アレイ２８０８の画素の幅（「主画素の幅」）よりも小さい画素の幅（「補助画素の幅」）を有してもよい。前記補助画素の幅は、前記主画素の幅の半分ほどであってもよい。補助画素がカラーフィルターにカバーされ、且つ前記補助画素の幅が光学ローパスフィルタリングが行われていない場合の可視光の最小点の１．３倍よりも小さい場合、前記補助画素アレイ１０８’’における最小直径（「最小補助直径」）が１．３〜２（好ましくは１．５）倍であって、最小主直径よりも小い大きさに増加されるように、前記補助アレイ１０８’’の前に第２の光学ローパスフィルターが挿入されてもよい。ユーザには前記補助画像が最終的な取込画像として提示しないので、前記補助画像における微細なモアレは問題ではない。

図２２は、前記主画素アレイ２８０８からの主画像（実線曲線）及び前記補助画素アレイ１０８’’からの補助画像（鎖線曲線）について、エッジ幅が鮮明なフォーカス位置周辺で如何に変化するかを示す。前記補助画像は、たとえ前記主画像が目的とする鮮明なエッジ幅である２に達する場合であっても、より鮮明な傾斜を与える。前記補助画像は、ユーザには最終画像として提示しないため、エイリアシングによるモアレが前記補助画像において重要ではないので、目的とする鮮明なエッジ幅以下に達することが許容される。これにより、前記鮮明なエッジ幅よりも下位及び上位の傾斜がきつくなる。このよりきつい傾斜は、また、前記補助画素の幅が前記主画素の幅より小さいことによって達成される。

図２２における陰影領域は、主画像が鮮明なフォーカスに維持されるようにフォーカス位置を制御するための良好な領域を示す。フォーカス位置における外向きの変化により、補助画像でエッジ幅が増加するのに対し、内向きの変化により、それが低減することになる。主画像のエッジ幅が鮮明なエッジ幅に近いことを維持するために、真ん中の補助エッジ幅値を前記陰影領域内にターゲットし、補助画像から発生されたエッジ幅をフィードバック信号として用いるように線形フィードバック制御システムが用いられてもよい。

前記補助画素アレイ１０８’’、Ａ／Ｄ変換器１１０、フォーカス信号発生器１２０は、一緒にパッケージ１４２に収容されて補助センサー１５０を構成してもよい。前記補助センサー１５０は、色補間器１４８をさらに含んでもよい。

図２０は、フォーカス信号発生器１２０をフォーカス信号発生器１２０’に置き換えたことを除き、装置１０３と同様のオートフォーカス画像ピックアップ装置１０３’の代替実施形態を示す。前記補助画素アレイ１０８’’、Ａ／Ｄ変換器１１０、フォーカス信号発生器１２０’は、一緒にパッケージ１４２に収容されて補助センサー１５０’を構成してもよい。前記補助センサー１５０は、色補間器１４８をさらに含んでもよい。

図２１は、オートフォーカス画像ピックアップ装置１０３’’の代替実施形態を示す。前記フォーカス信号発生器１２０及び前記プロセッサー１１２’’は、前記補助画素アレイ１０８’’とは別に、カメラコントローラとしてパッケージ１４４に収容されてもよい。前記プロセッサー１１２’’は、プロセッサー１１２’’が前記主画素アレイ２８０８及び前記補助画素アレイ１０８’’から画像を受け取ることを除き、プロセッサー１１２と同様である。前記プロセッサー１１２’’は、前記プロセッサー１１２が図２で信号１３０に対して実行可能な処理と同様に、信号２８３０で受け取られた画像に対して色補間、色補正、圧縮／解凍、及びメモリカード１１６への記憶を行うことができる。図２とは違って、ここでは、信号１３０で受け取られた画像は、圧縮／解凍されたり、メモリカード１１６に記憶されたりする必要がない。前記プロセッサー１１２’’は、補助画素アレイ１０８’’でのカラーフィルターに被覆された画素に対して、信号１３０で受け取られた画像に色補間を行い、そして色補間された画像をフォーカス信号発生器１２０に信号１４６で送信することができる。

前記オートフォーカス画像ピックアップシステム１０２、１０２’、１０３、１０３’、１０３’’は、それぞれ前記プロセッサー１１２、１１２’、１１２’’及び／又は前記フォーカス信号発生器１２０、１２０’が本願に記述された機能のうちの１つ以上を実行するようにする指令を含むコンピュータプログラム記憶媒体（図示せず）を備えてもよい。一例として、前記指令は、前記プロセッサー１１２又は前記発生器１２０’が図７のフローチャートに基づいてエッジ幅に対して斜め補正を行うようにしてもよい。別の実例として、前記指令は、前記プロセッサー１１２’又は前記発生器１２０が幅フィルター２０９に関する上記記述に基づいてエッジ幅のろ過を実行するようにしてもよい。または、前記プロセッサー１１２、１１２’又は前記発生器１２０、１２０’は、ファームウェア及びハードウェアの組合わせ又は本願に含まれる機能のうちの１つ以上に対する単純なハードウェアの実装を有するように配置されてもよい。例えば、発生器１２０において、単純なハードウェアにおいて斜め補正を実施し、ファームウェアにおいて指令による長さフィルター２１２を実施してもよい。

図３０は、フォーカス信号発生器１２０’のまだ別の実施例を示す。本実施例は、いずれの上記画像キャプチャシステムにも用いることができる。

メモリカード１１６はシステム１０２の一部として示されているが、その代わりに、その中に記憶された画像がユーザによりアクセス可能であり、且つ前記システム１０２の外部にある異なる位置に転写可能であるハードディスクドライブのような、不揮発性記憶媒体も使用してもよい。

前記システムに使用される１つ以上のパラメータ、例えば、鮮明エッジ幅は、前記システムにおける装置の不揮発性メモリに記憶されてもよい。前記装置はフラッシュメモリ装置、プロセッサー又は画像センサー、又はこれらとは別の装置としてのフォーカス信号発生器であってもよい。前記システムに使用される１つ以上の式、例えば、連結長さ閾値を算出するための又はβを算出するための式は同様に、パラメータとして又はコンピュータが実施可能な指令として、前記装置のうちの１つ以上での不揮発性メモリに記憶されてもよい。

上記図面において幾つかの例示的な実施形態を描いて示したが、これらの実施形態は、広い本発明を制限するものではなく、単に本発明を説明するものである。また、本発明は、当業者により様々な別の変形を達成することができるため、上記に描かれて示された特定の構造と構成に限定されないことが理解されるべきである。

Claims (7)

1. 画像鮮明さの度合いを示すフォーカス信号を画像の中の複数のエッジからコンピューティングデバイスによって生成する方法において、
   前記画像の中のあるエッジに対して第１および第２の形状指標値を得る第１のステップと、
   前記第１および第２の形状指標値によって、前記エッジが前記画像の鮮明さの度合いの判断にどう有効であるかの程度を判断し、前記エッジが十分に有効ではない場合には、前記エッジの前記フォーカス信号への寄与に付ける重みを下げる第２のステップと、を含み、
   前記第１及び第２の形状指標値のそれぞれは、前記エッジにまたがっている一連の画像データサンプルの中の１対の画像データサンプルの間の差分であることを特徴とする方法。
2. 前記エッジに対する第１の形状指標値は、前記エッジの所定の近傍の外において、他のエッジが検出されるかどうかによって影響されないことを特徴とする請求項１に記載の方法。
3. 前記画像が撮影されるシーン上の照度が２０％減少することによって、前記エッジから前記フォーカス信号への寄与を除くか否かが変化しないことを特徴とする以上の請求項１または２に記載の方法。
4. 前記第２のステップは、前記第１の形状指標値が、前記第２の形状指標値によって決定される判断基準を満たしているか否かによって判断することを特徴とする以上の請求項１〜３のいずれか１項に記載の方法。
5. 前記第１の形状指標値が前記判断基準を満たしていない場合、前記第２のステップでは前記エッジから前記フォーカス信号への寄与を除くまたはその重みを減ずることを特徴とする請求項４に記載の方法。
6. 前記第２の形状指標値は、前記エッジから前記フォーカス信号への寄与そのものであることを特徴とする以上の請求項１〜５のいずれか１項に記載の方法。
7. 前記第１及び第２の形状指標値は、前記エッジから前記フォーカス信号への寄与そのものではないことを特徴とする以上の請求項１〜５のいずれか１項に記載の方法。