JP2011248151A - オートフォーカス画像システム - Google Patents
オートフォーカス画像システム Download PDFInfo
- Publication number
- JP2011248151A JP2011248151A JP2010122100A JP2010122100A JP2011248151A JP 2011248151 A JP2011248151 A JP 2011248151A JP 2010122100 A JP2010122100 A JP 2010122100A JP 2010122100 A JP2010122100 A JP 2010122100A JP 2011248151 A JP2011248151 A JP 2011248151A
- Authority
- JP
- Japan
- Prior art keywords
- edge
- focus
- image
- edges
- exclusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
- G02B7/365—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals by analysis of the spatial frequency components of the image
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
- G03B13/36—Autofocus systems
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B3/00—Focusing arrangements of general interest for cameras, projectors or printers
- G03B3/10—Power-operated focusing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
Abstract
【解決手段】オートフォーカス画像システムであって、フォーカスレンズ104と、画素アレイ回路108と、A/D変換器110と、プロセッサー112と、表示装置114と、メモリカード116と、ドライブモータ/回路118と、入力装置107と、色補間ユニット148と、フォーカス信号発生器120とを備え、画素アレイ回路108は、1つの幅を有するエッジを少なくとも1つ備える1つの画像を取り込み、フォーカス信号発生器120は、エッジ幅及びエッジ幅の種々の統計量の関数であるフォーカス信号を発生し、プロセッサー112が、フォーカス信号及び/又は複数のエッジ幅の統計量を受信してフォーカスレンズの1つのフォーカス位置を調整する。
【選択図】図1
Description
本発明はおおまかに、電子的にオートフォーカスして取り込まれた画像に関するものである。
カメラなどのような多くの画像取込装置は、1つのオートフォーカスシステムを備えている。オートフォーカスのプロセスは、1つの画像を取り込む工程と、フォーカスされているか否かを決定するように前記画像を処理する工程と、前記画像がフォーカスされていない場合に、フォーカスレンズのフォーカス位置を変更するための1つのフィードバック信号を発生する工程とを含む。オートフォーカス技術としては、主に、コントラスト測定に関わる技術と、対になる画像の間の位相差に着目する技術との2つがある。前記コントラスト方法においては、隣接画素間の強度差を解析し、1つの最大コントラストが検出されるまで前記フォーカスを調整する。前記コントラスト技術は、静止ピクチャに対応することができるが、モーションビデオに適用することはできない。
前記位相差方法は、1つの入力画像を、別個の複数の画像センサーにより取り込まれる2つの画像に分割することを含む。また、前記2つの画像を比較して1つの位相差を決定する。そして、前記2つの画像がマッチするまで前記フォーカスを調整する。前記位相差方法は、ビームスプリッター及び1つの付加的な画像センサーのような付加的な部品が必要である。さらに、前記位相差の方法は、1つの相対的に小さい帯域における固定検出点を解析する。1つの小さなグループの検出点を有すると、ノイズが1つ以上の点に重ねられる可能性があるため、エラーが発生しやすくなる。この技術は、前記検出点が1つの画像のエッジに重ね合わせられていない場合にも無効である。結果として、前記位相差方法は、前記光を分割するため、1つの光センサーに衝突する光の量が半分又はより多く低減されてしまう。これは、前記画像の光強度が低下した薄暗い設置環境において問題になり得る。
構成
参照番号に基づいて図面をさらに詳しく参照すると、図1は、1つのオートフォーカス画像取込システム102の一実施形態を示す。前記システム102は、1つのデジタルスチルカメラの一部であってもよいが、このシステムが1つの画像の制御されたフォーカスが必要ないずれの装置に実施されてもよいことを理解すべきである。前記システム102は、1つのフォーカスレンズ104と、1つの画素アレイと、回路108と、1つのA/D変換器110と、1つのプロセッサー112と、1つの表示装置114と、1つのメモリカード116と、1つのドライブモータ/回路118とを含んでもよい。1つの風景からの光が前記レンズ104を介して入射される。前記画素アレイ及び回路108は、前記A/D変換器110により1つのデジタル信号に変換される1つのアナログ信号を発生する。前記画素アレイ108は、例えば、バイエルパターンのようなモザイクカラーパターンを組み入れてもよい。前記デジタル信号は、例えば色補間、フォーカス位置制御、色補正、画像圧縮/解凍、ユーザインターフェース制御及び表示装置制御のような様々な処理を実行する前記プロセッサー112に送信されてもよく、前記フォーカス信号発生器120に送信されてもよい。前記フォーカス信号発生器120及び前記プロセッサー112が異なるパッケージに備わっている場合には、前記デジタル信号130に対して色補間を行って前記フォーカス信号発生器120のためにそれぞれの画素における欠落色信号を見積もるため、1つの色補間ユニット148を利用してもよい。または、前記フォーカス信号発生器120及び前記プロセッサー112が1つのパッケージ144に備わっている場合には、前記フォーカス信号発生器120は、図2に示すようにバス146における前記プロセッサー112からの補間されたカラー画像、又は前記A/D変換器110から発生される元の画像信号から導き出された1つの単一画像信号、例えば、1つの階調信号を入力してもよい。
前記フォーカス信号発生器120は、さらにプロセッサー112から1つのグループの制御信号132を受信し、そして、複数の信号134を前記プロセッサー112に出力してもよい。出力信号134は、フォーカス信号134と、狭いエッジのカウントと、前記画像におけるエッジ幅の一統計量を示す1組の数字とのうちの1つ以上を含んでもよい。前記プロセッサー112は、前記ドライブモータ/回路118に送信されて前記フォーカス信号104を制御する1つのフォーカス制御信号136を発生することができる。1つのフォーカスされている画像は、最終的に前記表示装置114に供給され、及び/又は前記メモリカード116に記憶される。1つのフォーカス位置を調整するためのアルゴリズムは、前記プロセッサー112により実行されてもよい。
前記画素アレイ及び回路108、A/D変換器110、フォーカス信号発生器120、及びプロセッサー112は、全て1つのパッケージに備わっていてもよい。または、前記画素アレイ及び回路108、A/D変換器110、及びフォーカス信号発生器120は、図1に示すような前記プロセッサー112から離れる画像センサー150として、1つのパッケージ142に備わっていてもよい。または、フォーカス信号発生器120及びプロセッサー112は、図2に示すような前記画素アレイ108及びA/D変換器110から離れる1つのカメラコントローラ160として、1つのパッケージ144に備わっていてもよい。
フォーカス信号発生器
図3は、1つの画像供給ユニット202から画像を受信する1つのフォーカス信号発生器120の一実施形態を示す。前記画像供給ユニット202は、図1における色補間器148または図2におけるプロセッサー212であってもよい。前記フォーカス信号発生器120は、1つのエッジ検出・幅測定(EDWM)ユニット206と、フォーカス信号算出器210と、長さフィルター212と、幅フィルター209と、排除フィルター207と、排除較正器205とを含んでもよい。それは、それぞれ「精細」222及び「排除」232を出力することにより制御される、1つの精細スイッチ220及び1つの排除スイッチ230をさらに含んでもよい。前記フォーカス信号発生器120は、幅フィルター209から1つの狭いエッジのカウント、また、フォーカス信号算出器210から1つのフォーカス信号を供給してもよい。前記フォーカス信号は、1つの精細なフォーカス信号と1つの概略フォーカス信号との間に設定可能であり、「精細」222を入力することによって選択可能である。または、精細なフォーカス信号も概略フォーカス信号も、算出されて出力信号134の一部として出力されてもよい。前記エッジ検出・幅測定ユニット206は、画像供給ユニット202に供給される画像を受信する。前記排除較正器205は、前記フォーカス信号発生器120に入力されるコマンド及び制御信号(較正コマンド、インデックス及びR/W)を受信する。図1及び図2の文脈においては、これらのコマンド及び制御信号は、制御信号「精細」222及び「排除」232と共に、プロセッサー112により信号132に供給されてもよい。そして、図1及び図2の文脈においては、前記出力信号134は、出力信号134を解析して前記画像における1つの鮮明なオブジェクトを検出することによって複数のオブジェクトの画像が前記画素アレイ108において鮮明にフォーカスされるように、前記フォーカスレンズ104のフォーカス位置を制御する1つのフォーカスシステムコントローラとして機能するプロセッサー112に供給されてもよい。以下、前記フォーカス信号発生器120の各種の構成要素について説明する。
EDWMユニット206は、前記入力画像を、前記画像の3つの信号、赤(R)、緑(G)及び青(B)が1つの単一画像信号に変換されるように変換してもよい。1つの画像を1つの単一画像に変換するには、幾つかの技術が利用される。複数のRGB値を用いて1つの輝度又は色度値を算出することができ、あるいは、1つの特定比率のRGB値を用いて前記単一画像信号を形成することができる。例えば、前記輝度値は、Y=0.2126*R+0.7152*G+0.0722*B、ただし、Y=輝度値、という式により算出されることができる。前記単一画像信号はその後、1つのガウスフィルター又はいずれかのローパスフィルターによって、隣接画素の間に画素信号値を円滑化にしてノイズを除去するように処理される。
前記フォーカス信号発生器120、120’、120’’は、階調信号に限らない。それは、前記画像信号における1つ以上のエッジを検出するために、何れか1つの画像信号に対して操作を行ってもよい。または、それは、例えば、Y、R−G又はB−Gのような複数の画像信号の何れかの組み合せに対して操作を行ってもよい。それは、複数のエッジを検出するために、個別に前記R、G、B画像信号の一つ一つ、又はその何れか1つ个以上の組合わせに対して操作を行ってもよい。それは、前記R、G、B画像信号の一つ一つ又はその何れかの組合わせに対して複数のエッジ幅の統計量を形成してもよい。それは、1つ以上の画像信号からの複数のエッジ幅の統計量によって1つのフォーカス信号を形成してもよい。
それから、前記処理された画像の1つの勾配が算出される。前記勾配を算出するには、ラプラシアン(Laplacian)法とソーベル(Sobel)法を含む様々な方法がある。例えば、それぞれ1つのSobel−X演算子と1つのSobel−Y演算子で、垂直及び水平エッジをそれぞれ検出するために、複数の前記列及び複数の前記行に亘った勾配が算出されてもよい。画素位置[k,q]におけるSobel−X演算子(ただし、kは行数且つqは列数)は、Sx[k,q]=U[k,q+1]−U[k,q−1]という式から得られる。同一位置におけるSobel−Y演算子は、Sy[k,q]=U[k+1,q]−U[k−1,q]、ただし、U=処理された画像の画像信号、という式から得られる。
配向タグ付け
それぞれの画素は、垂直又は水平勾配の大きさが所定の下限(「消去閾値」)、例えば、1つの8ビットの画像には5、を超えている場合に、水平エッジ(「H」)又は垂直エッジ(「V」)のタグが付けられ、或いは、そうではない場合に、エッジが無い。前記下限によって、陰影やノイズの緩和による偽のエッジが消去される。1つの画素は、その水平勾配の大きさがその垂直勾配の大きさを1つの所定のヒステリシス量以上、例えば、1つの8ビットの画像には2、を超えている場合に、垂直エッジのタグが付けられ、逆の場合も同様である。2つの勾配の大きさに前記ヒステリシス量よりも小さい差がある場合に、前記画素は、その最も近く隣接した1つの定められた方向タグを有するものの方向タグと同じ方向タグが得られる。例えば、前記画像を行ごとに左から右へかつ1行ずつに下へ走査すると、隣接画素の検査順番として、まずは上の画素、次は左上の画素、次は左の画素、最後は右上の画素であってもよい。このヒステリシスの適用は、隣接画素がそれぞれほぼ同じ水平及び垂直勾配の大きさを有する場合に同様のタグを得ることを確保するのに役立つ。図4は水平及び垂直勾配を有する6×6アレイにおけるタグ付けの結果を示す。それぞれのユニットにおいては、水平勾配が左上方、垂直勾配が右方にあり、また、方向タグが底部にある。このステップで、エッジ画素がボールド体で印刷されて方向タグを得る資格が与えられるものは、5を超えている水平又は垂直勾配の大きさを有する画素のみである。
前記画像、前記勾配、及び前記タグは、垂直エッジには水平に、水平エッジには垂直に走査されてもよい。同一行において同一の水平勾配極性を有しかつ全てが垂直エッジに対してタグ付けした各グループの連続画素は、このグループの左側又は右側に同じような隣接画素がない場合に、1つの垂直エッジが示されてもよい。同様に、同一列において同一の垂直勾配極性を有しかつ全てが水平エッジに対してタグ付けした各グループの連続画素は、このグループの上側又は下側に同じようなことを満たす隣接画素がない場合に、1つの水平エッジが示されてもよい。これによって、水平及び垂直エッジを識別することができる。
エッジ幅
それぞれのエッジは、勾配の大きさが前記エッジにおけるピーク勾配の大きさの1つの所定の分数よりも小さい画素を除去することによって精細化されてもよい。図5は、エッジのピーク勾配の大きさの3分の1に等しい精細化閾値を利用し、前記エッジ幅を前記元の9から下へ3に精細化する前記ステップを示す。このエッジ精細化は主な勾配成分を区別し、前記勾配成分は、勾配が多くの画素において緩やかに減衰することを起こし得る複数の重なった陰影がある1つの画像にもかかわらず、前記エッジの鮮明さの視覚認知を支配する見掛けのエッジ幅を設定する。
エッジ幅は、既知方法の何れか1つにより算出されてもよい。エッジ幅の算出方法の1つとしては、ただ、1つのエッジにおける画素数を数えることである。図5にはエッジ幅を算出する1つの代替方法を示す。図5において、前記精細化閾値304からの補間により、1つの精細化されたエッジの第1の外部画素(画素3)とその隣接した外部画素(画素2)との間に第1の分数画素位置(2.4)が求められる。同様に、第2の外部画素(画素5)とその隣接した外部画素(画素6)との間に第2分数画素位置(5.5)が求められる。前記エッジ幅は、この2つの分数画素位置間の差、5.5−2.4=3.1として求められる。
斜め補正
1つの画像において、異なる輝度や色相を有する2つの領域間の境界は、前記画像がより多くフォーカスされ又はより少なくフォーカスされる場合に、厚く又は薄くなる。この境界の厚さは、前記境界に垂直した方向における前記境界の幅である。
前記境界が垂直であると、前記境界に垂直した方向は水平方向である。境界が水平であると、前記境界に垂直した方向は垂直方向である。
前記境界において、1つの画像信号(例えば、明度、青色度信号、又は赤色度信号)は、境界の一側から他側への遷移を有する。この境界の視覚上認知範囲は、前記遷移が最も急峻な所の近傍に亘っている。
前記境界が垂直であると、前記遷移の急峻さは一側から他側へ境界の向こうに水平に発生される1つの勾配信号に反映される。勾配信号がピークに達する所の隣接領域、及びそれによる前記隣接領域の幅は、それぞれ前記境界の視覚認知範囲及び前記境界の厚さに対応する。前記隣接領域は、水平勾配が1つのピーク勾配の1つの所定の分数を超えている1つのグループの隣接画素である。前記隣接領域は、本明細書に先ごろ定義されたように1つの垂直エッジであり、前記隣接領域の幅は前記垂直エッジのエッジ幅である。前記垂直境界はその後、垂直に配列された複数のその垂直エッジを含むと見なすことができる。
同様に、前記境界は水平であると、水平に配列された複数の水平エッジを含むと見なすことができ、そのエッジ幅が前記水平境界の厚さを示す。
しかし、1つの画像では複数の領域間の何れの境界も垂直又は水平配向であるというわけではない。垂直及び水平方向に対して斜めで、また一般に一方に対しては他方より少なく傾いている境界が多い。図6Aから6Dにこの場合を示す。図6Aにおいて、境界410は領域420と領域430との間にある真っ直ぐな境界であり、時計回りによって斜め角Φで1つの垂直破線から傾いている。図6Bにおいて、境界412は領域422と領域432との間にある真っ直ぐな境界であり、逆時計回りによって斜め角Φで1つの垂直破線から傾いている。図6Cにおいて、境界414は領域424と領域434との間にある真っ直ぐな境界であり、逆時計回りによって斜め角Φで1つの水平破線から傾いている。図6Dにおいて、境界416は領域426と領域436との間にある真っ直ぐな境界であり、時計回りによって斜め角Φで1つの水平破線から傾いている。
図6Aから6Dに示すように、前記境界を垂直に越えた幅である境界(bとして示す)の厚さは斜め角Φと関わりが無い。図6A及び6Bにおいて前記境界を越えた前記水平方向に測定され、また同様に図6C及び6Dにおいて前記境界を越えた前記垂直方向に測定された幅(aとして示す)は、これらの境界における前記エッジ(図6A及び6Bの垂直エッジ;図6C及び6Dの水平エッジ)のエッジ幅である。しかし、それは、垂直及び水平境界の場合と異なり、境界の厚さを示さなくなる。前記エッジ幅ではなく前記境界の厚さは、前記境界が垂直でも水平でもない場合に前記境界が前記画像でどのようにフォーカスされていない尺度を保留する。前記エッジ幅を利用することは、前記エッジ幅がこれらのエッジに属する境界の斜めに配慮することなくフォーカス信号を形成するので、フォーカス信号が前記画像において境界の配向に影響される原因となる。これは本発明において発見されて解决された望ましくない効果である。
この問題の解决手段としては、前記エッジから1つの所定方向(例えば、水平方向又は垂直方向)に測定されたエッジ幅を補正して前記エッジに属する境界の幅を取得し、そして前記補正されていないエッジ幅の代わりに前記補正されたエッジ幅を前記フォーカス信号の算出に入力する。前記境界の幅は前記境界を垂直に越えて測定される。
前記エッジの前記幅は、前記エッジ幅が測定される(前記エッジ幅に垂直する)前記所定の方向から境界方向に垂直した方向にそのエッジ幅を映写することにより求められてもよい。エッジ方向からの前記境界の斜め角をΦと示し、前記エッジ幅にcos(Φ)又はその近似値を乗じることにより補正を行ってもよい。
前記斜め角Φを求めるには、様々な方法がある。一つの方法は、前記エッジにおける垂直及び水平勾配からtan(Φ)又はその近似値を求めることに関連する。1つの実例では、1つの隣接領域(前記エッジにおいてもよく、又はエッジと重なった2次元の隣接領域であってもよい)におけるそれぞれの画素に対して比率y/x(ただし、xが前記エッジ方向に垂直する勾配で、yが前記エッジ方向に平行する勾配)を求め、そして前記隣接領域における前記比率の平均値(重み付け平均値であってもよい)を求める。
複数のエッジ幅から1つのフォーカス信号を算出するために、これらの所定方向のうちの1つ又はその他において測定された前記複数のエッジ幅が、それらをそれぞれのエッジの方向に垂直する方向での幅に低減させることにより補正される。前記エッジ検出・幅測定ユニット206は複数のエッジ幅に対してこのような補正を行う。図6Aに示すように、前記測定された幅aは、1つの直角三角形の斜辺の長さであり、そのベース(幅bでマークする)が陰影付きの境界を垂直(これによって前記エッジ方向に垂直)に越えている。前記補正された幅bは、前記境界に垂直した方向への前記測定された幅aの映写から得られる。この映写は、b=acos(Φ)から求められるが、20%以下の正確性が得られれば、近似値を使ってもよい。前記角度Φ又はcos(Φ)そのものは、この技術において1つの画像におけるエッジ方向を求める何れかの既知方法、又は図7に示すフローチャートにおいて記述されるより正確な方法によって求められる。
それぞれの水平又は垂直エッジのエッジ幅は、前記水平又は垂直配向(所定の方向)からの斜めに対して補正されてもよい。図6A、6Bは、前記垂直線から傾斜した1つの境界(及びこれによる前記境界を形成する複数のエッジ)について水平方向に測定されたエッジ幅に対する補正計算を示す。図6C、6Dは、水平線から傾斜した1つの境界(及びこれによる前記境界を形成する複数のエッジ)について垂直方向に測定されたエッジ幅に対する補正計算を示す。前記補正は、1つの所定の方向(例えば垂直方向又は水平方向)に測定された前記エッジ幅に因子cos(Φ)(ただし、Φが前記所定の方向からの斜め角)を乗じることにより行われてもよい。この斜め角Φはさらに、排除フィルター207及び排除較正器205に利用されてもよい。
実例により、図7は1つの垂直線から傾斜した境界における複数のエッジについての斜めのエッジ幅を補正するための一プロセスの一フローチャートを示す。(水平線から傾斜した境界における水平エッジについては、フローチャートにおいて「行」を「列」に置換し、「水平」で「垂直」を置き換える。)
ステップ502からステップ506において、斜め角Φが求められる。それぞれの垂直エッジに対して、ステップ502において、水平勾配の大きさがピークに達する列の位置を位置づけ、水平勾配xを求める。ステップ504において、前記列の位置に沿って、そして、2つの画素以内に最も大きな大きさを有する垂直勾配を求め、そしてyをこの垂直勾配にする。
ステップ506において、斜め角Φ=tan−1(y/x)を求める。ステップ506において、斜め角がルックアップ表を調べることによって求められる。ステップ502〜506は、斜め角を求める1つの特定手順及び方法を示しているが、その代わりにこの技術における他の手順及び方法を使用してもよい。
最後に、ステップ508において、当業者が実際によく行うように、cos(Φ)で又はその近似値で乗算することにより前記エッジ幅を縮尺する。
図7に示すプロセスの第1の変形としては、入力値x及びyの種々の組み合わせに対するエントリーを有する1つのルックアップ表を提供することによって、ステップ506及び一部のステップ508を置き換える。入力値x及びyの組合わせのそれぞれに対して、前記ルックアップ表は1つのエッジ幅補正因子を返す。前記ルックアップ表により出力されるエッジ幅補正因子は、cos(tan−1(y/x))に対する20%以下(好ましくは5%以下)の近似値であってもよい。そして、前記エッジ幅は、この補正因子で乗算されて1つの斜め補正されたエッジ幅を形成する。
第2の変形としては、垂直勾配yと水平勾配xとの商y/xを算出して商qを発生し、そしてqをqの各種の値のエントリーを有するルックアップ表に入力する。qのそれぞれの値に対して、前記ルックアップ表は1つのエッジ幅補正因子を返す。前記エッジ幅補正因子は、cos(tan−1(q))に対する20%以下(好ましくは5%以下)の近似値であってもよい。
(前記補正因子が20%以下に当たるような)斜め角Φ(又はその近似値)を求めた後に補正因子cos (Φ)(又はその近似値)を求め、又は(第1及び第2の変形に記載したように)斜め角Φを求めずに補正因子を直接に求めるためには、ステップ502〜506においてx及びyの値を得てもよいが、その代わりに他の方法を採用してもよい。
第3の変形としては、前記エッジにおける複数の画素のそれぞれに対して次のことを実行する。(a)1つの画素について水平勾配x及び垂直勾配yの両方を求める。(b)前記画素についてq=y/xを求める。そして、(c)qに対応する1つの補正因子、例えば、cos(tan−1(q))又はその20%以下の近似値を求める。最後に、前記複数の画素のそれぞれからの補正因子において平均化することによって前記エッジ幅の補正因子を求める。前記平均値は、重み付け平均値、例えば、比較的大きい水平勾配を有する画素に比較的小さい水平勾配を有する別の画素より大きい重みを与えるものであってもよい。
第4の変形としては、ステップ504において、前記ピーク水平勾配から2列及び2行において大きさが最も大きい垂直勾配を求め、そしてyをこの垂直勾配にする。
これらの方向や他の方向に沿って別の変形が可能である。
選別閾値
隣接した複数のエッジは、それらのピーク勾配の大きさが1つの比較的広いエッジのピーク勾配の大きさに隣接する1つの所定の分数より低いと、1つのフォーカス信号に寄与することを全体的に防止され、又はそれらの寄与を衰減させることができる。図9A、9B及び9Cは解決されている問題を示す。
図9Aは、それぞれが両画素分の幅の2つの狭い黒色空間によって隔てられた3つの垂直白色バーを示す。前記真ん中の白色バーは両画選別閾値
隣接した複数のエッジは、それらのピーク勾配の大きさが1つの比較的広いエッジのピーク勾配の大きさに隣接する1つの所定の分数より低いと、1つのフォーカス信号に寄与することを全体的に防止され、又はそれらの寄与を衰減させることができる。図9A、9B及び9Cは解決されている問題を示す。
図9Aは、それぞれが両画素分の幅の2つの狭い黒色空間によって隔てられた3つの垂直白色バーを示す。前記真ん中の白色バーは両画素分の幅の狭いバーである。図9Bは、1つの鮮明な画像及び1つのぼやけた画像について図9A中の画像において水平に描いた画像信号を示す。図9Cは前記鮮明な画像及びぼやけた画像について図9BのSobelx勾配を描いている。図9Cにおいて、前記ぼやけた画像の第1のエッジ(画素2〜5)は前記鮮明な画像の第1のエッジより広く、そして、予想されたように、最後のエッジ(画素13〜15)も同じである。しかし、2つの最も狭いエッジ(画素9と10、及び画素11と12)は2つの画像において2という幅がある。図9Bにおいて、画素9と10及び画素11と12における対応するゲレンデは、それぞれ2つの画素を取って遷移を完成する。しかし、前記ぼやけた画像は、比較的広いエッジから比較的狭いエッジへのピーク勾配の大きさが50%も著しく減少されている。一方、前記鮮明な画像は、比較的広いと比較的狭いエッジとの間で変化が10%より少ない。
異符号付きの勾配を有する比較的広いエッジに隣接した比較的狭いエッジに対するピーク勾配の大きさにおける、例えば20%以上のような著しい減少は、前記ぼやけた画像がよくフォーカスされていないことを示唆し、これによって、前記比較的狭いエッジは、前記ぼやけた画像が鮮明である指示に頼るべきではない。
同様に、交互勾配極性を有する互いに隣接する複数のエッジは、この指示に頼るべきではなく、それらのエッジ幅が小さくても、互いに緊密に近接すれば、例えば、1画素しか離れなければ(「最小エッジ隙間」)よい。前記最小エッジ隙間は、例えば1又は2又はその間のような画素数で表す。
さらに、1つのエッジが消去閾値より小さい1つのピーク勾配を有するので消去され得たと仮定すると、同じ勾配極性を有し、最小エッジ隙間に鮮明_エッジ_幅(鮮明_エッジ_幅とは、1つの鮮明なエッジのエッジ幅を指定するように割り当てられる数である)をかけたものの2倍しか離れない2つの連続エッジは、2つの互いに隣接するエッジの一方又は両方からの寄与を消去又は降格させるための条件として用いられてもよい。
この検出における隣接は、例えば、(a)前記エッジの一方又は両方のピーク勾配及び/又は前記エッジの一方又は両方のエッジ幅の関数である所定のゼロ交差閾値を超えた勾配信号による前記エッジに隣接したゼロ交差の急峻さの検出、(b)これらのエッジ又は2つのエッジの一方のエッジ幅の関数である最小エッジ隙間における異符号付きの勾配であって、それぞれが前記エッジの一方又は両方のピーク勾配及び/又は前記エッジの一方又は両方のエッジ幅の関数である所定の閾値を超えた大きさを有する勾配の検出、及び(c)前記エッジの複数のピーク間での前記エッジの一方又は両方のエッジ幅の関数である所定のピーク間の間隔の閾値より少ないピーク間の間隔の検出といった近接性試験のうちの何れか1つによって決定されてもよい。
前記エッジ検出・幅測定ユニット206は、1つの比較的広いエッジから設けられる選別閾値、及びオン/オフにできる変調選別フラグに基づき、ぎっしり詰まっている比較的狭いエッジを消去するための下記のアルゴリズムを実行してもよい。
それぞれのエッジに対して、反対極性の直後のエッジに用いられる選別閾値及び選別フラグは、図10に示すフローチャートのプロセスによって決定される。
前記選別閾値及び選別フラグが与えられると、下記条件の1つが成立すれば、1つのエッジが消去される。(a)このエッジに対して選別フラグがオフになる。(b)このエッジに対して、前記エッジのピーク勾配の大きさが選別閾値以上である。条件(a)及び(b)には、条件(c)エッジ幅が鮮明_エッジ_幅+1以上であることが加えられてもよい。ここで、1つの数が、1つの鮮明なエッジのエッジ幅を指定するように鮮明_エッジ_幅に割り当てられ、前記「+1」は、エッジが(a)及び(b)を満たさないと消去される鮮明_エッジ_幅を超えたエッジ幅の範囲を設定するように変更されてもよい。図9A〜9Cに示す実例には、鮮明_エッジ_幅が2であってもよい。
図10はそれぞれのエッジについて1つの選別閾値及び1つの選別フラグを決定するフローチャートである。垂直エッジに対しては、一行に沿って左から右へ走査すると仮定しているが、これに限定されない。(水平エッジに対しては、一列に沿って上部から底部へ走査すると仮定しているが、これが要求されていない。)鮮明_エッジ_幅に1つの数が割り当てられ、図9A〜9Cに示す実例には2であってもよい。ステップ702において第1のエッジで開始し、ステップ720において、それぞれのエッジは、そのエッジ幅が1に鮮明_エッジ_幅に加えられたもの以上であるか否かようにクエリーを行われ、前記値1は本明細書に用いられる最小エッジ隙間値であるが、例えば0.5〜2.0での1つの異なる値を使用してもよい。「はい」とすると、前記エッジは1つの比較的広いエッジであり、ステップ706でその後反対極性を有する直後のエッジに対する選別閾値を前記エッジのピーク勾配の大きさのβ倍に設定し、βが0.3〜0.7で、好ましくは0.55であり、そしてステップ708で次のエッジに対して選別フラグをオンにする、そして次のエッジへ進む。「いいえ」とすると、前記エッジは比較的広いエッジではなく、ステップ730でその後、同じ勾配極性の前のエッジとの間隔が最小エッジ隙間の2倍(又は、1つの異なる所定の数)に鮮明_エッジ_幅を加えたものより大きいか、かつ、反対極性の直前のエッジがある場合に最小エッジ隙間より大きいかを調べる。「はい」とすると、ステップ710でその後、次のエッジに対して前記選別フラグをオフにする。「いいえ」とすると、次のエッジに対して前記選別フラグ及び前記選別閾値を保持し、次のエッジへ進む。βは1つの所定の分数であってもよく、又は所定の式によって算出される分数、例えば1つのエッジ幅の関数であってもよい。後ろの場合には、βは前記画像の部分によって異なってもよい。
説明及び実施を簡単化するために、図10におけるフローチャートは、1に鮮明_エッジ_幅を加えたもの以上のエッジ幅を有するエッジを比較的広いエッジにしてその他のエッジ(比較的狭いエッジ)から分離している。しかし、比較的広いエッジの意味はこれに限らず、比較的広いエッジとは、単に比較的狭いエッジより広いものである。
長さフィルター
以下、長さフィルター212の機能について説明する。広義では、長さフィルター212はそれぞれが1つの同様の配向の1つ以上のエッジに接続するエッジへの選り好みを作成する。同様の配向のその他のエッジに接しない隔離したエッジに比べて、同様に配向してグループにおいて互いに接続された1つのグループのエッジ(「連結エッジ」)は、ノイズに起因する可能性が高くない。上述したように一緒に連結された同様の配向のエッジが多ければ、ノイズに起因する可能性が低くなる。ノイズに起因する前記グループの確率は、グループにおけるエッジ数が増えるとともに指数関数的に低下され、また直線的な低下よりずっと早い。この特性は、特に、画像において又は対象領域において信号対雑音が例えば10未満と弱いような薄暗い照射又は短い露光の場合に、ノイズの抑制に用いられることができる。前記選り好みは、何れの適当な方法で実施されて表現されてもよい。後述される複数の方法は単に例示に過ぎない。
第1の方法としては、1つの連結長さ閾値より小さい長さを有する垂直/水平連結エッジのエッジに属するエッジを消去する。前記連結長さ閾値は、前記対象領域が比較的薄暗い場合に比較的に大きくしてもよい。例えば、前記連結長さ閾値は、2のような小さな値から始まってもよいが、対象領域における信号対雑音比が5に低下される場合に8に増える。前記連結長さ閾値は、前記プロセッサー112、112’、112’’、例えば、信号132の一部となる図3に示すような「長さコマンド」信号によって提供されてもよい。または、前記閾値は、1つの式に基づいて前記フォーカス信号発生器で算出されてもよい。
第2の方法としては、それぞれのエッジに対して前記長さフィルター212で1つの長さ重みを提供し、そしてこの長さ重みを前記フォーカス信号算出器210でのフォーカス信号の算出に適用する。1つの比較的長い連結エッジの一部となる1つのエッジは、1つの比較的短い連結エッジの一部となる1つのエッジより大きい重みを受け取る。例えば、前記長さ重みは前記連結エッジの長さの平方であってもよい。従って、フォーカス信号に対するそれぞれのエッジの寄与は、すべての寄与を加算する前に因子A/B(ただし、Bは前記フォーカス信号の算出に入れられる全てのエッジの長さ重みの合計であり、Aは前記エッジの長さ重みである)を乗じてフォーカス信号を形成してもよい。同様に、信号134の一部として出力される前記エッジ幅のヒストグラムは、すべてのエッジに+1のように同量に寄与する代わりに、比較的長い連結エッジのメンバーとしてのエッジがそれらのそれぞれのエッジ幅に対応する区間により多く寄与するようにすることができるので好ましい。従って、例えば、それぞれのエッジはA/Cに寄与することができ、ただし、Cは前記エッジに亘るAの平均値である。同様に、狭いエッジのカウントは、比較的長い連結エッジのメンバーとしてのエッジがより多く寄与するようにすることができる。従って、例えば、それぞれのエッジによる寄与は、A/Dを乗じてもよく、ただし、Dが狭いエッジのカウントで数えられるエッジの間にAの平均値である。
上部(最左側)及び底部(最右側)のエッジを除き、それぞれのエッジが2つの他の垂直(水平)エッジ(一方はその上方(左側)、他方はその下方(右側))に接触する1つのグループのNの垂直(水平)エッジは、1つの長さNの垂直(水平)連結エッジである。前記上部(最左側)エッジはその下方(右側)の1つのエッジに接触するのみが必要である。前記底部(最右側)エッジはその上方(左側)の1つのエッジに接触するのみが必要である。図8は1つの垂直連結エッジ及びその長さを示す。図8において、ユニットR2C3及びR2C4は第1の垂直エッジを形成し、ユニットR3C3、R3C4及びR3C5は一緒に第2の垂直エッジを形成し、また、ユニットR4C4及びR4C5は一緒に第3の垂直エッジを形成している。前記第1及び第3の垂直エッジはそれぞれ1つの他の垂直エッジのみに接触するのに対し、前記第2の垂直エッジは2つの他の垂直エッジに接触する。前記第1、第2及び第3の垂直エッジは一緒に長さ3を有する1つの垂直連結エッジを形成する。
1つの垂直(水平)連結エッジに2つ以上の分岐がある、即ち、1行(列)に2つのエッジがある場合(図示せず)には、前記長さが連結エッジにおけるエッジ総数として定義されてもよい。又は、前記長さは、その中の最上部(最左側)エッジから最底部(最右側)エッジまでの垂直(水平)距離に1を加えたものとして定義されてもよい。
上述した提案の他に、1つの連結長さを定義する他の可能な方法がある。例えば、1つの連結エッジの長さの定義は、前記長さが前記連結エッジにおける少なくとも3までのエッジメンバー数に比例する特性を有しなければならない。これは、お互いに接触することによって相互に接続されている比較的多いエッジにより、連結エッジがノイズに起因される確率を指数関数的に低下させ、これに従って、前記長さが、連結エッジにおける1つの適当な数までのエッジメンバー数に対する比例を表現すべきであり、前記数が前記連結エッジにおいて単一のメンバーに対して前記数を超える信頼度を十分に向上させるという既に記述された推論に一致する。前記長さフィルター212は、連結長さ1を有するエッジにあまり重点を置かず、又はそれを消去して、広義では差別することができる。前記長さフィルター212は、連結長さ2を有するエッジを差別することができる。前記長さフィルター212は、連結長さ3を有するエッジを差別してノイズによる影響をさらに低下することができる。前記長さフィルター212は、前記プロセッサーからのコマンドに基づいてこれらの動作の何れか1つを行うことができる。
図3には前記エッジ検出・幅測定ユニット206の直後に設けることを示しているが、その他の配置も可能である。例えば、前記長さフィルター212は、前記フォーカス信号算出器210の前及び前記排除スイッチ230の後ろに挿入されてもよい。ここで、前記長さフィルター212により処理されたエッジは、「精細」及び「排除」コマンド信号に応じて前記幅フィルター209及び排除フィルター207の何れか一方又は両方を通過するものである。
1つのフォーカス信号発生器の一代替実施形態において、前記精細スイッチ220は、前記フォーカス信号算出ユニット210が前記幅フィルター209にろ過されていない第1組のデータ及びろ過された第2組を受信し、それぞれに対して1つの異なるフォーカス信号、前者への概略フォーカス信号、後者への精細フォーカス信号を算出し、そしてこの両方を前記プロセッサー112、112’に出力するように、除去されてもよい。
幅フィルター
次に、図3を参照して前記幅フィルター209の動作を理解する。図11は複数のエッジ幅の一ヒストグラム、即ち、複数のエッジ幅に対する複数のエッジのカウントの一グラフを描いている。エッジ幅2(即ち、上述鮮明_エッジ_幅)には、前記画像に複数の鮮明なエッジが存在することを示唆する1つのピークがある。しかし、エッジ幅4及び5には、たぶん対応する画像オブジェクトの焦点外れに起因するぼやけた複数のエッジが鮮明なエッジを発生する複数のオブジェクトよりも前記フォーカスレンズから離れた異なる距離にあることを示唆する複数のピークがある。1つのフォーカス信号を算出するには、幅が1つの所定の範囲(「狭いエッジの範囲」)外にある複数のエッジは、前記幅フィルター209によって、あまり重点を置かないようにしてもよい。前記幅フィルター209は、前記フォーカス信号の算出に用いるために、前記狭いエッジの範囲外にある複数のエッジ幅に対して1つの比較的小さい重みを作成してもよい。例えば、複数のエッジ幅には重み1.0が割り当てられるのに対して、上限840の右側にある+1より大きい複数のエッジ幅に重み0が割り当てられ、その間にある複数のエッジ幅に0〜1.0の重みが割り当てられ、エッジ幅によって単調に低減される。または、前記幅フィルター209は、これらのエッジがフォーカス信号の算出に入ることを完全に防止することができる。適当な上限及び下限830、840は、画素アレイ108でのクロストーク、フォーカス信号発生器120に受信された画像に対して欠落色を発生する補間方法、及び前記エッジ検出・幅測定ユニット206に採用されるローパスフィルターに用いられるフィルター係数を含む幾つかの要素に依存する。適当な上限及び下限830、840及び前記パラメータの鮮明_エッジ_幅は、前記画像ピックアップ装置102、102’に対して、種々の鮮明度を有する画像を取り込んで前記エッジ幅のヒストグラムを調べることによって決定されてもよい。例えば、1つの鮮明な画像がエッジ幅2に1つのピークを有すると、適当な上限及び下限はそれぞれ1.5及び3で、前記鮮明_エッジ_幅は2.0に設定されてもよい。前記下限と上限及び鮮明_エッジ_幅は上述したように決定され、そして前記プロセッサー112、112’’によって前記フォーカス信号発生器120、120’、120’’に供給されてもよい。「精細コマンド」がオンになると、このように算出された精細なフォーカス信号は、狭いエッジの範囲外にあるエッジ幅にあまり重点を置かないようにする。
また、前記幅フィルター209は、エッジ幅が狭いエッジの範囲内にある複数のエッジの総数を算出し、出力信号134の一部として出力してもよい。狭いエッジのカウントは、前記フォーカスシステムコントローラ(プロセッサー112)に出力されて、鮮明な画像の存在の検出及び/又は追跡の開始のために用いられてもよい。
フォーカス信号
次に、図3の前記フォーカス信号算出器210を参照すると、前記フォーカス信号算出器210は、複数のエッジ幅を受信して1つのフォーカス信号を出力する。前記フォーカス信号は、全てのエッジ幅の重み付け平均値として算出されてもよく、前記重みはそれぞれのエッジ幅に対するエッジのカウントであり、即ち、フォーカス信号=Σwiei/Σwi、ただし、eiはエッジ幅、wiは重み、ここで、wi=ci、ciはエッジ幅eiにおけるエッジのカウントであり、iは複数のエッジ幅の一ヒストグラムの区間数である。または、それぞれのエッジ幅における重みは、エッジ幅のエッジのカウントに前記エッジ幅そのものを乗じたもの、即ち、wi=cieiであってもよい。また、前記幅フィルター209からの重みで表される選り好みは、それぞれのエッジ幅を乗じてもよい。例えば、前記幅フィルター209により発生される重みΩiに対しては、ΣΩi=1、フォーカス信号はΣΩiwiei/ΣΩiwiとして算出されてもよい。制御信号「精細」がオン、「排除」がオフになると、前記フォーカス信号は、図11に示す実例では、鮮明なエッジ幅の値である2.0に非常に近い1つの値となり、2.0〜3.0のエッジ幅を発生する焦点距離範囲における複数のオブジェクトの細部のうちで、ほとんどが実質的に鮮明にフォーカスされていることを示唆している。制御信号「精細」がオフ、「排除」がオフになると、前記フォーカス信号は5.0に近い値となり、画像において焦点外れの細部がかなり多く存在していることを示唆している。前記精細スイッチ220をオンにすると、前記フォーカス信号が少しぼやけたオブジェクトにより多く応答し、完全にぼやけたオブジェクトにより少なく応答することが可能になる。前記精細スイッチ220がオンになると、前記フォーカス信号を精細なフォーカス信号と呼び、前記精細スイッチ220がオフになると、概略フォーカス信号と呼ぶことにする。上述したように、前記長さフィルター212により表現される前記重要性は、例えば、フォーカス信号の算出に入らないようにあまり重点が置かれていないエッジを消去したり、1つの対応するエッジ幅の区間のカウントeiに寄与するエッジの重みを低減させたりする複数の方法のうちの1つにより、前記フォーカス信号に組み込まれてもよい。
図15は、1つのオブジェクトが鮮明にフォーカスされる所の近傍のフォーカス位置の調整に対する前記精細なフォーカス信号の応答をスケッチする。前記精細なフォーカス信号は、大体、前記フォーカス位置により1つの画像が鮮明にフォーカスにされるような鮮明_エッジ_幅において、1つの最小値に達するが、そうでなければ増える。前記精細なフォーカス信号は、既に焦点が合った、又はその状態に非常に近いオブジェクトの追跡に用いられてもよい。移動オブジェクトに対しては、前記精細なフォーカス信号は、焦点距離が変わり続ける場合にも、前記フォーカス制御システムにより、これらのオブジェクトが鮮明にフォーカスされることを保つようにする。前記精細なフォーカス信号はまた、前記オブジェクトが、幅が狭いエッジの範囲に収まるエッジを生じさせるように、鮮明にフォーカスされないがこの状態に十分に近い1つのオブジェクトの鮮明なフォーカスを取得する(「取得」)ことに用いられてもよい。前記エッジ幅のヒストグラムは、前記鮮明_エッジ_幅から離れたオブジェクトに対応するエッジ幅において1つのピークを示しており、その結果、前記精細なフォーカス信号が鮮明_エッジ_幅より大きいことになるので、前記フォーカス制御システムは、前記精細なフォーカス信号値が前記鮮明_エッジ_幅へ向かうようにフォーカス位置を調整することで、前記オブジェクトによるエッジ幅のピークを鮮明_エッジ_幅に等しいエッジ幅の値に集中することにより、応答を行ってもよい。
基本の使用方法
図12〜16は、狭いエッジのカウント、概略フォーカス信号及び精細なフォーカス信号が鮮明な画像を実現するためにフォーカス制御の実施に如何に用いられるかを示す。
図12は、前景における「人」、背景における「山、太陽及び地平線」、及びその間における「自動車」のように、異なる焦点距離において3つのグループのオブジェクトを有する1つの戸外風景を示す。
図13は、前記フォーカスレンズ104のフォーカス位置が図12に示す風景を遠くから近くへ走査する場合に時間に対して描かれた狭いエッジのカウントの図である。前記狭いエッジのカウントは、フォーカス位置において1つのオブジェクトを画素アレイ108における鮮明な画像に導入する場合にピークに達する。従って、前記狭いエッジのカウントは走査中に、「山、太陽及び地平線」、「自動車」及び「人」に対してこの順で1つずつ、合計3つのピークを示す。
図14は時間に対して描かれた概略フォーカス信号を示す。前記概略フォーカス信号は、前記フォーカス位置が狭いエッジのカウントがピークに達する3つのフォーカス位置のそれぞれに近い場合に1つの最小値を示す。しかし、それぞれの最小値において、前記概略フォーカス信号は、焦点外れの他のオブジェクトにより寄与された比較的大きいエッジ幅に起因して、前記鮮明_エッジ_幅レベル、この実例には2.0にあるのではない。
図15は、図12の風景における「自動車」に対する鮮明なフォーカス位置の近傍にあるフォーカス位置に対して描かれた精細なフォーカス信号を示す。前記精細なフォーカス信号は、複数のぼやけたオブジェクト(「人」及び「山、太陽及び地平線」)が存在するにもかかわらず、鮮明_エッジ_幅、この実例には2を本質的に達成する。図11を再び参照すると、幅4及び5における2つのピークは、それらの2つのグループのぼやけたオブジェクトにより寄与されるが、これは、前記幅フィルター324が重みを低減させ、又は上限840の右側のエッジ幅による寄与を完全に消去したと理解することができる。
フォーカス制御システムは、概略フォーカス信号を利用して、検索モードで最寄りの鮮明なフォーカス位置を検索することができる。それは、フォーカス位置を現在のフォーカス位置から離れるように移動して前記概略フォーカス信号が増加するか低減するかを決定することができる。例えば、前記フォーカス位置が内向き(外向き)に移動する場合に前記概略フォーカス信号が増加(低減)すると、現在のフォーカス位置から比較的遠い鮮明なフォーカス位置が存在する。前記プロセッサー112、112’、112’’はその後、1つのフォーカス駆動信号を供給し、隣接する鮮明なフォーカス位置への方向においてフォーカスレンズ104を移動することができる。
フォーカス制御システムは、前記風景における変化、前記オブジェクトの移動、又は前記画像ピックアップ装置の移動にもかかわらず、前記精細なフォーカス信号を利用して、既に鮮明にフォーカスされたオブジェクトを追跡して対応する画像の鮮明さ(上述したように「追跡モード」)を保ってもよい。1つのオブジェクトが鮮明にフォーカスされる場合に、上記の変化があるにもかかわらず、前記精細なフォーカス信号レベルは安定している。これによって、前記精細なフォーカス信号における変更は、前記オブジェクトの画像ピックアップ装置からの焦点距離の変更を示唆する。前記フォーカス制御システムを、最小値に近い1つの所定の精細なフォーカス信号レベル、例えば、この実例には2.0〜2.5、特に2.1に「ロックする」ことにより、前記精細なフォーカス信号レベルにおける何れかの変動は、直ちに前記プロセッサー112、112’、112’’に前記オブジェクトの焦点距離の変更を通知する。前記プロセッサー112、112’、112’’はその後、1つの方向を決めて、フォーカスレンズ104を移動させて前記精細なフォーカス信号レベルを「ロックされた」レベルに回復させることができる。従って、前記画像ピックアップ装置102、103、103’、103’’は、1つの移動オブジェクトを追跡することができる。
例えば、プロセッサー112、112’、112’’におけるアルゴリズムにおいて実施されるようなフォーカス制御システムは、狭いエッジのカウントを利用して検索モードから追跡モードへの変更をトリガしてもよい。前記追跡モードにおいて、前記フォーカス制御システムは、前記精細なフォーカス信号により前記オブジェクトを「ロックする」。フォーカス位置が前記オブジェクトの鮮明なフォーカス位置に十分に近づく前に、前記フォーカス制御システムは、前記概略フォーカス信号により移動方向を確認し、レンズの移動速度を調整してもよい。1つのオブジェクトが鮮明にフォーカスされる場合に、狭いエッジのカウントはシャープにピークに達する。前記プロセッサー112、112’、112’’は、追跡モードに切り替えて、精細なフォーカス信号を、狭いエッジのカウントにおける鮮明な上昇、又はピークの到達、又はその両方を検出した場合のフォーカス位置の制御に用いてもよい。鮮明なフォーカス位置によって異なる閾値は、端末間のフォーカス位置「走査」から見つけられたそれぞれのグループのオブジェクトに割り当てられ、そしてその後、狭いエッジのカウントがこの閾値を超えると、対応するグループのオブジェクトを検出する。静止風景に対して、例えば、静止画像の撮影に対しては、終端間フォーカス位置走査は、狭いエッジのカウントがピークに達する毎に1つの最大のカウントがあるように、最大のカウントのリストを返すことができる。例えば、最大のカウントの50%を取ることにより、前記最大のカウントのリストから、閾値のリストを生成することができる。
図16は、表示装置114と、複数のボタンを含む入力装置107と、前記表示装置114においてハイライトされた選択マーカー1920とを有する画像ピックアップ装置102を示す。ユーザは前記入力装置107を利用して、前記選択マーカー1920を作成、成形及び操作することができる。この実例において複数のボタンを含むことを示しているが、前記入力装置107は、表示装置114でのタッチ又はストロークの位置を検出するために、前記表示装置114をオーバレイするタッチスクリーンを含んでもよい。前記入力装置107、及び前記プロセッサー112、112’、112’’又は1つの入力装置107に用いられる別個専用コントローラ(図示せず)は、選択領域を決定することができる。用于描述前記選択領域を記述するための複数のパラメータは、バス132を介して(又は、フォーカス信号発生器120が前記プロセッサー112の一部である場合に、前記プロセッサー112において内部で)、前記フォーカス信号発生器120、120’、120’’に転送されることができる。それに応じて、前記フォーカス信号発生器120は、フォーカス信号の算出、又は狭いエッジのカウント、又はその両方を前記パラメータに記述される選択領域におけるエッジに限定し、又は前記選択領域外にあるエッジにあまり重点を置かないようにすることができる。こうすると、前記フォーカス信号より意図せぬオブジェクトを軽く扱うことができ、そして前記概略フォーカス信号でも単一の最小値、及び1.0以下の鮮明なエッジ幅における最小レベルを示す。
排除ろ過
以下、排除フィルター207、910により実施される排除ろ過を説明する。
広義では、1つ以上の画像特性及びそれぞれの特性について定義された1つ以上の排除範囲が与えられると、排除ろ過は何れか1つの特性に収まっていない何れか1つの排除範囲におけるエッジに対して1つの選り好みを作成する。
画像特性の集合は予め定められてもよい。下記は不完全なリストである。色相(図23)、色相対、色相の変化、飽和度、最大輝度(図22)、輝度の変化(図24)、平均輝度、斜め角(図6A〜6D及び44)、連結エッジの長さ(図8及び43)及び最寄りのエッジに対する間隔。
排除フィルターの第1の実施形態としては、前記排除フィルターに付与された何れか1つの特性における何れか1つの排除範囲に属するエッジを消去する。
図22は最大輝度を1つの排除用の特性として用いることを示す。図22は、図21に示す風景から取り込まれた1つの画像の最大輝度に対する1つの全エッジ及び鮮明なエッジのヒストグラムを示し、ここで、柱時計のみが鮮明にフォーカスされている。最大輝度は1つのエッジにおける最高輝度値である。図22は、複数の鮮明なエッジ(図21での柱時計に関連する)についての一ヒストグラム、及び画像で鮮明にフォーカスされない他のオブジェクト(電灯の笠、バナナ、大皿、テーブルクロス、電球)及び柱時計に関連する全てのエッジについての一ヒストグラムを示す。図22において、柱時計は、他のオブジェクトの全体よりも低い最大輝度範囲を占めている。最大輝度範囲の上半部をほぼカバーする1つの排除範囲(図22参照)は、鮮明にフォーカスされない大部分のエッジを軽く扱い、ひいては完全に排除する。
図23は色相を排除用の特性として用いることを示す。図23は、鮮明なエッジ(図21での柱時計に関連する)についての一ヒストグラム、及び画像で鮮明にフォーカスされない他のオブジェクト及び柱時計に関連する全てのエッジについての一ヒストグラムを示す。この色相ヒストグラムは、1つのエッジの両側に同じ色相値を有すると、前記色相値を含む色相区間がこのエッジから+2のカウント寄与を取得するのに対し、それぞれの側にそれぞれ異なる色相値を有すると、これらの色相の中の1つを含むそれぞれの色相区間が+1のカウント寄与を取得する。図23において、前記柱時計及び前記大皿は、一緒に茶色色相の近傍にある比較的小さい色相範囲を占めている。一緒に前記色相範囲を被覆する他の部分のうち大部分の排除範囲1及び排除範囲2(図23参照)は、不鮮明なエッジの主な部分ではない大皿によるそれらのエッジを除き、鮮明にフォーカスされない大部分のエッジを排除することになる。1つのエッジは、その両側における2つの色相がこれらの排除範囲のうちの何れか1つに収まると、1つの排除フィルターがこの2つの排除範囲で操作することにより、軽く扱われ、ひいては完全に排除される。
色相対は排除用の特性として用いられてもよい。1つのエッジの一側からの第1の色相及び同一のエッジの他側からの第2の色相は、測定されて、前記エッジを2次元の横座標を有する一ヒストグラムにおける区間の中の1つに割り当てるように一緒に用いられることができる。前記2次元の横座標におけるそれぞれの領域は、前記エッジの一側における第1の色相範囲及び前記エッジの他側における第2の色相範囲に対応する。
色相差は排除用の特性として用いられてもよい。1つのエッジの一側から同一のエッジの他側までの色相変化は測定されて、前記エッジを、それぞれ1つの色相差範囲に対する複数の区間を有する一ヒストグラムにおける区間の中の1つに割り当てるように、一緒に用いられてもよい。図24は輝度変化を排除用の特性として用いることを示す。輝度変化は1つのエッジにおける輝度の変化の大きさである。図23は、複数の鮮明なエッジ(図21での柱時計に関連する)についての一ヒストグラム、及び画像で鮮明にフォーカスされない他のオブジェクト及び柱時計に関連する全てのエッジについての一ヒストグラムを示す。図24において、柱時計からのエッジは下部範囲における1つの小さな領域を占めており、上部範囲を被覆する1つの排除範囲(図24参照)は、鮮明にフォーカスされない大部分のエッジを軽く扱い、ひいては完全に排除することになる。
図43は、複数の連結エッジの長さの一ヒストグラム、及び図42Aの風景の一排除範囲を示す。このようなヒストグラムは、異なるサイズを有するオブジェクトを分離することに用いられる。
最寄りのエッジに対する間隔はもう1つの画像特性である。それぞれの垂直(水平)エッジに対しては、同一行(列)に沿って最寄りの隣接垂直(水平)エッジに対する間隔(「エッジ間隔」)を算出して関連付ける。全てのエッジ及び十分鮮明なエッジのエッジ間隔は、その対応するヒストグラムを有する。その他の特性に対しては、エッジ間隔に対する複数の排除範囲を同様に形成する。エッジ間隔は、多くの葉と枝を有する木のような多くの小さな細部を有するオブジェクトと、自動車のような同様の細部密度を有しない他のオブジェクトとを区別することに用いられる。
排除フィルターの一代替実施形態としては、それぞれのエッジに対して、前記排除フィルター212及び/又は910において1つの排除重みを発生し、そしてこの排除重みを前記フォーカス信号算出器210でのフォーカス信号の算出に適用する。第1の特性の値が前記第1の特性の一排除範囲に収まっている1つのエッジは、前記値が全ての排除範囲外になる1つのエッジに比べて、この特性に対してより小さな重み(「特性重み」)を受け取る。例えば、前記特性重みは、1つの排除範囲の真ん中においては0であり、前記排除範囲内のエッジにおいては1に上昇し、全ての排除エッジ以外のいずれの場所にも1であってもよい。前記排除ろ過は1つの特性のみを利用すると、前記特性重みは前記排除重みである。2つ以上の特性を利用すると、それぞれの特性はそれぞれのエッジに対する1つの特性重みを有し、またいずれの特性重みも一緒に乗じて前記排除重みを形成することができる。従って、それぞれのエッジは第1、第2及び第3の特性重みを有してもよく、ここで、3つの異なる特性が1つの排除連鎖で使用され、前記排除重みが3つの特性重みの全体の積となる。従って、フォーカス信号に対するそれぞれのエッジの寄与は、全ての寄与を加算する前に因子E/Gを乗じてフォーカス信号を形成してもよく、ここで、Gがフォーカス信号の算出に入る全てのエッジの排除重みの合計であり、Eがエッジの排除重みである。同様に、信号134の一部として出力されてもよいエッジ幅のヒストグラムは、いずれのエッジも同じ量、例えば+1を寄与するのではなく、いずれの特性の何れの排除範囲にあるメンバーでもないエッジが、それらのそれぞれのエッジ幅に対応する区間に対してより多く寄与するようにすることができる。従って、例えば、それぞれのエッジは、前記エッジ幅のヒストグラムの前記区間に対して、+1の代わりにE/Hを寄与することができ、ここで、Hが前記ヒストグラムにおいて数えられるエッジの間にEの平均値である。同様に、前記狭いエッジのカウントは、いずれの特性のいずれの排除範囲にあるメンバーでもないエッジがより多く寄与するようにすることができる。従って、例えば、それぞれのエッジによる寄与は、E/Jを乗じてもよく、ここで、Jが狭いエッジのカウントにおいて数えられるエッジの間にEの平均値である。
排除較正
次に、図3の排除較正器205を参照すると、前記排除較正器205は、複数のエッジ、複数のエッジ幅、及び前記入力画像を受信し、そしてそれらを処理して種々の排除制御パラメータを発生して排除フィルター207を配置する。前記排除較正器205は、制御信号「較正コマンド」、「インデックス」及び「R/W」をさらに受信してもよい。これらの制御信号は、例えば図1又は2のプロセッサー112のようなフォーカスシステムコントローラから来てもよい。
前記排除較正器205は、特に1つの「較正コマンド」入力制御信号で1つのコマンドにおいて、一般に鮮明なエッジの別々にエッジの1つ以上の画像特性を検査し、これらの特性で1つ以上の排除範囲を発生して十分鮮明ではない大量のエッジを排除するように配置される。十分鮮明なエッジとは、幅が鮮明_エッジ_幅の周囲の1つの所定の狭い範囲(「鮮明なエッジ範囲」)に収まるエッジである。鮮明なエッジ範囲は前記狭いエッジの範囲に含まれてもよい。例えば、鮮明なエッジ範囲は鮮明_エッジ_幅の周囲の+/−0.2。鮮明_エッジ_幅が2.0であると、鮮明なエッジ範囲は1.8〜2.2であってもよいのに対し、狭いエッジの範囲が1.5〜3.0であってもよい。前記排除範囲は、「R/W」入力制御信号で書き込みコマンドを供給することにより、「インデックス」入力制御信号に供給される1つの唯一のインデックス値の下に記憶されてもよい。複数組の排除範囲が記憶されてもよく、それぞれが1つの異なるインデックス値がある。1組の排除範囲は、「インデックス」入力制御信号でその関連するインデックス値を供給し、また「R/W」入力制御信号で読み取りコマンドを供給することにより、取り出されてもよい。前記取り出された排除範囲は、これらの排除範囲内にあるエッジを排除するように、図3における排除フィルター207によって適用されてもよい。第1の特性の排除範囲は第2の特性の排除範囲の前に適用されてもよい。
図17は1つの排除較正器の一実施形態の一ブロック図を示す。エッジ統計ユニット902は1つの画像、1組のエッジ及び複数のエッジ幅を受信する。これらのエッジに関連する1つ以上の特性についてのヒストグラムである全エッジ統計量を算出する。また、同じ特性であるがエッジ幅が前記鮮明なエッジ範囲に収まるエッジのみについてのヒストグラムである鮮明なエッジの統計量を算出する。全エッジの統計量も鮮明なエッジの統計量も、メモリ−1 904に記憶されてもよい。前記排除算出器906は2組の統計量を受け、その中のヒストグラムに基づいて1つ以上の特性で排除範囲を形成するように計算を行い、前記入力制御信号「R/W」で書き込みコマンドにおいて入力制御信号「インデックス」において供給される1つのインデックス値の下にこれらの排除範囲を記憶してもよいメモリ−2 908に出力する。
図18は1つの排除較正器の一代替実施形態の一ブロック図を示す。この実施形態は1つの排除フィルター910を図17の構造に付加する。前記排除フィルター910は、複数組の排除範囲の連鎖により、それぞれの組が1つの異なる特性に対応するようにろ過を行う。複数のエッジは、前記連鎖において1組ずつにろ過される。それぞれの繰り返しにおいて、前の繰り返した所に解析された特性に対して算出された1組の排除範囲が複数組の排除範囲の連鎖に付加される。前記排除フィルター910に出力され、新たに付加された組にさらにろ過されて得られたエッジ及びエッジ幅(及び、前記排除フィルター910が排除フィルターの前記代替実施形態に従う場合には排除重み)は、エッジ統計ユニット902に解析され、新しい1組の全エッジの統計量及び鮮明なエッジの統計量(及び、同上の場合には排除重み)を発生する。前記排除算出器906は、前記新しい組の全エッジの統計量及び鮮明なエッジの統計量(及び、同上の場合には排除重み)を解析し、次の特性及びその複数組の排除範囲を選択する。前の繰り返しにおいて使用されていない1つの特性が選択される。
図20におけるフローチャートはこのプロセスを示す。ステップ1010において、複数組の排除範囲の連鎖を空きに初期化する。ステップ1012において、エッジ統計ユニット902は、排除フィルター910から受け取られたエッジ及び関連するエッジ幅についての幾つかの特性に対して全エッジの統計量及び鮮明なエッジの統計量を発生する。ステップ1014において、排除算出器906は、前の繰り返しにおいて使用されていない幾つかの特性に対する排除範囲を算出する。ステップ1016において、上述した特性から次の特性を選択し、またその関連する組の排除範囲が前記排除範囲の組の連鎖に付加される。ステップ1018において、「十分に良い」(後述)に関する質問が行われる。「はい」と答えると、繰り返しプロセスが完了し、前記複数組の排除範囲の連鎖が前記メモリ−2 908に記憶されてもよい。さもなければ、ステップ1020において、前記排除フィルター910は、最後に付加された排除範囲を有するステップ1012に入力されたこれらのエッジ及びその関連するエッジ幅をさらにろ過し、その後、ステップ1012において1つの新しい繰り返しを開始し、エッジの統計量を再算出する。
図20におけるそれぞれの繰り返しは、幾つかの方法のうちの1つで、前の繰り返しに使用されていない1つの異なる特性を選択してもよい。第1の方法では、それぞれの次の繰り返しが下記順番に沿って次の特性を使用するように、全ての特性の順番を予定することができる。第2の方式では、第1の特性と第2の特性のうちで選択して次の特性になるために、現在の繰り返しに残されたより多くのエッジを軽く扱い、ひいては排除する排除範囲を発生する特性は、その他の特性より好ましい。この選り好みは、前記特性がある1つの分数(例えば、10%〜50%、好ましくは20%)を超えた鮮明なエッジを軽く扱い、又は排除する場合に、逆転されてもよい。次の特性に対するこの選択手順は、図17の実施形態及び図18の実施形態に適用可能である。
一般に、第1の特性により、1つの対応する排除範囲の組を利用して再ろ過した後に残されたエッジのうちで十分鮮明なエッジの全エッジに対する比がより大きく増加される結果となる場合には、第1の特性が第2の特性よりも好ましいであってもよい。
幾つかの異なるインデックスに対応する複数の排除範囲は、1つの新しいインデックスの下に記憶された複数の新しい排除範囲を形成するように組合わせてもよい。前記異なるインデックスのうちの1つ以上の下に存在するそれぞれの特性に対して、前記異なるインデックスの下にある前記特性の排除範囲は、前記インデックスに亘って論理積演算を行い、その後、新しい排除範囲を形成するように反転することにより、前記値がその排除連鎖において前記特性を有する少なくとも1つのインデックスに対して前記特性に対する1つの排除範囲にない時にかつその時に限り、1つの値がこのような新しい排除範囲にある。事実上、このような前記特性に対する新しい排除範囲は、前記異なるインデックスの全てから十分鮮明なエッジを排除しようとする。1つ以上の特性は、新しい排除範囲を発生するようにこのように操作されてもよい。このような特性は1つの排除連鎖を形成してもよい。1つの排除較正器は、その下に得られた排除連鎖を記憶するように1組の異なるインデックス及び新しいインデックスを規定する1つのコマンド入力を受け取ってもよい。1つの新しいインデックスの下にこのように形成された1つの新しい排除連鎖は、既に較正された幾つかのオブジェクトからエッジの寄与を排除して風景において残されたオブジェクトを発見するために、取り出されて前記排除フィルター207に適用されてもよい。
前記排除較正は、前記較正コマンドの始まりから、ある「十分に良い」条件が満足され、又は、特性が残さなくなるまで、繰り返して実行される。その後、排除範囲の組の連鎖の全体は、前記「インデックス」入力制御信号からのインデックス値とともに前記メモリ−2 808に記憶されてもよく、又は前記プロセッサー112、112’、112’’若しくはその両方に伝送されてもよい。前記「十分に良い」という条件は、幾つかの方法のうちの1つによって満足されてもよい。1つの方法では、前記排除範囲の連鎖が所定の数の特性、例えば3つがあると、前記条件が満足される。第2の方法では、例えば、排除ろ過の後に、十分鮮明なエッジではない75%又は50%〜100%にある他の百分率のエッジが消去されると、前記条件が満足される。第3の方法では、十分鮮明なエッジの数が、排除ろ過の後に、他の部分の数を、3対1又は2対1より少ないある他の比率で上回ると、前記条件が満足される。「十分に良い」という条件は、上記の何れか1つ又はその組み合わせ、又は排除ろ過の後に残された部分が十分鮮明なエッジ以外のエッジに支配されていないことを表示する他の適当な条件であってもよい。
図19は、それぞれの特性に対して複数の排除範囲を発生するための図17及び18に示す排除算出器906についての一フローチャートである。前記特性の範囲は、それぞれの区間が前記範囲の1つの分数を被覆するように複数の区間に分けられてもよく、全ての区間が合わせて全体の範囲を被覆し、隣接した複数の区間が共通の境界を共用することを除き重ね合わせない。ステップ1002において、第1の区間から、前記排除範囲が空になる。ステップ1004において、前記十分鮮明なエッジのカウントを前記全エッジのカウントと比較する。この区間における十分鮮明なエッジのカウントがゼロであり、又はこの区間における全エッジのカウントの1つの所定の分数、例えば4分の3より小さいと、この区間を前記排除範囲に含む。全ての区間が完了するまで、ステップ1004及び1006を繰り返す。
1つの排除較正器は、十分鮮明なエッジを画像における1つの所定領域にさらに限定することによって、1つの別個の組の排除範囲(「ポインテッド排除範囲」)を作成してもよい。このために、鮮明なエッジの統計量は、所定領域以外にあるエッジを排除するために、さらに締め付けられる。前記領域は、例えば、図16において、前記表示装置114で前記表示された画像に重ね合わせるように示される選択領域1920より形成されてもよい。前記選択領域1920は、鮮明にフォーカスされるように望まれる1つのオブジェクトを表示する。従って、前記選択領域1920の外にあるが前記選択領域1920におけるオブジェクトと同じ焦点距離において1つの異なるオブジェクトがあると、前記異なるオブジェクトは、排除範囲の形成に干渉せずに、前記所望のオブジェクトに関わらないエッジを抑制する。前記排除較正器は、前記選択領域における十分鮮明なエッジへのさらなる限定に対応する1つの別個の組の排除範囲を作成して記憶してもよい。その代わりに、前記所定の領域は、一般にデジタルカメラの表示装置及びカメラのビューファインダーの中央において、よく矩形形状又は円形形状をしている所定のフォーカス領域(図示せず)として形成されてもよい。その代わりに、前記所定の領域は、前記表示装置114に重なった1つのタッチスクリーンセンサーにより形成されてもよい。前記タッチスクリーンセンサーは、例えば1つの触針及びフィンガーのうちの1つ以上によるタッチの1回以上のストロークを感知し、このような情報をタッチ位置としてプロセッサーに供給し、対応する選択領域を決定することができる。
一緒に前記フォーカス信号発生器120に備わっていることを示しているが、前記排除較正器205の1つ以上の素子はその代わりに、前記プロセッサー112、112’、112’’に備わってもよい。例えば、前記排除算出器906及びメモリ908は、前記プロセッサー112、112’、112’’に備わってもよい。この構造において、前記プロセッサー112、112’、112’’は、前記排除算出器906に用いるために、信号134を介して全エッジ及び鮮明なエッジの統計量(図17及び18に示す)を受信する。前記プロセッサー112、112’、112’’は、全体にそれ自身において、又は前記フォーカス信号発生器120、120’と結合して、図19及び/又は20におけるフローチャートのプロセスを実行してもよい。
排除に関する使用
排除較正器205及び排除フィルター207は、1回に取り込まれた1つの画像において鮮明にフォーカスされるオブジェクトに属しない複数のエッジを消去するために、一緒に、1つの排除範囲連鎖を形成することに用いられてもよい。その後、同一の排除範囲連鎖は、前記オブジェクトが前記背景オブジェクトに対して移動しても、それらの他のエッジを消去することに用いられてもよい。こうすると、前記オブジェクトの前記エッジが前記フォーカス信号を支配し続けることが可能になる。排除ろ過は、図3において前記幅フィルター209が前記精細スイッチ220にバイパスされるかどうかにかかわらず、行われることができる。前記幅フィルター209がバイパスされると、すなわち、前記フォーカス信号が概略フォーカス信号であると、図11において4.0及び5.0のエッジ幅での前記2つの外れピークは消去されてもよく、これにより、前記予め焦点が合ったオブジェクトは関連するピーク820が前記狭いエッジの範囲外に移動するほど焦点外れに移動したとしても、前記概略フォーカス信号がやはり1つの良いフィードバック信号を前記フォーカス制御システムに供給してフォーカス位置をどのぐらい調整するかを見積もり、所定のオブジェクトを狭いエッジの範囲内に回復させることができ、ここで前記精細なフォーカス信号が1つのより正確なフィードバック制御信号を供給し、最終的に前記オブジェクトを鮮明にフォーカスされるように回復させることができる。
再較正はいつでも、例えば、1つの所定のオブジェクトの追跡期間において、1つの「較正」コマンドを前記排除較正器205に発行することによって行われてもよい。前記プロセッサー112、112’、112’’は、その下に所定のオブジェクトに対する既存の較正された排除範囲が記憶されるインデックスと同一のインデックスを前記排除較正器205に供給してもよい。前記インデックスは、現在前記較正フィルター207に使用される複数組の排除範囲の連鎖を取り出すためのインデックスであってもよい。既存のインデックスと同一のインデックスを発行することにより、前記既存のインデックスに対応する前の較正された排除範囲及び連鎖を1つの新しい複数組の排除範囲の連鎖に取り替える。
所定のオブジェクトの上及び/又は周囲に1つの選択領域が発生される時に、上述したように、十分鮮明なエッジを選択領域内のみに制限するために、再較正が行われてもよい。前記「ポインテッド排除範囲」又は「ポインテッド排除連鎖」は、例えば、前記プロセッサー112が上述した方法のうちの1つで1つの所定領域に供給される1つのユーザコマンドを受信する時に、非ポインテッド排除範囲又は連鎖の代わりに、前記排除フィルター207に送信されて前記排除フィルター207に使用されてもよい。
再較正は、前記オブジェクトに関する1つ以上の画像特性が変更するように、風景における所定のオブジェクトの移動中において実行されてもよい。例えば、ユーザは、所定のオブジェクトがハイライトされなくなり、鮮明なエッジを表示するハイライトが益々多く無くなる次第、前記所定のオブジェクトの上及び/又は周囲の1つの所定領域を命令する。
再較正に対して、同一のインデックスの供給の代わりに、プロセッサー112は、1つの新しい複数組の排除範囲の連鎖を記憶するために1つの新しいインデックスを供給してもよい。複数組の排除範囲の再較正された連鎖は、既存のインデックス及びその関連する複数組の排除範囲の連鎖を重ね書くことなく、1つの新しいインデックスの下に記憶されてもよい。どの特性が変化したか、どの特性が変化しないかを識別するために、新しい及び既存のインデックスからの複数組の排除範囲の連鎖を比較してもよい。既存のインデックスから新しいインデックスへ変化しない特性は、新しい連鎖において早くなるように進められてもよい。変化する特性は、前記連鎖から消去されてもよい。従って、長い間に変化しない特性は、長い間に同一のオブジェクトを追跡するために保留される。特性の新しい連鎖における排除範囲を既存の連鎖における排除範囲に置き換えることにより、特性に関する再ろ過の後、十分鮮明なエッジの全エッジに対する比が著しく変化する結果となると、前記特性は、変更されたと考えられてもよい。前記比率における著しい変化は、例えば50%より大きい百分率で予め定めされてもよい。前記予め定めされた百分率は、画像又は画像の順番の関数として指定されてもよい。
ほぼ鮮明にフォーカスされることで前記鮮明なエッジ範囲においてエッジを発生する1つの所定のオブジェクトに対し、排除較正器205及び排除フィルター207は、焦点外れのオブジェクトに寄与されるエッジの消去を促すことにより、前記精細なフォーカス信号(それに対して幅フィルターがバイパスされていない)に対する寄与が前記所定のオブジェクトに寄与されるエッジに支配され、フォーカス鮮明さの表示として精細なフォーカス信号の正確性の改善を与える。
所定のオブジェクトの上及び/又は周囲に選択領域1920が発生される時に、前記フォーカス信号発生器120は、前記プロセッサー112の制御(図示せず)下でフォーカス信号の算出における選り好みを選択領域1920のみに対応するエッジ(「好ましいエッジ」)を与えてもよい。好ましいエッジに対する選り好みは、複数の方法のうちの1つで与えられてもよい。バス130で前記フォーカス信号発生器120に供給される画像は、前記選択領域1920内に限定れてもよい。又は、1つの重みを前記フォーカス信号の算出に入るエッジに適用してもよく、これにより、前記選択領域1920の外及び/又は前記選択領域1920から離れたエッジが前記好ましいエッジよりも低い重みを有し、ひいてはゼロである(即ち、フォーカス信号の計算から排除されることに相当する)。又は、好ましいエッジではないエッジは、前記フォーカス信号発生器120におけるユニットのうちの何れか1つ、例えばエッジ検出・幅測定ユニット206、幅フィルター209及び排除フィルター207で消去されてもよい。選り好みを領域内エッジに与える方法は上述に限定されない。前記選択領域1920の内部と外部との間に厳格又は鮮明な区別も必要ではない。当業者は、前記選択領域に対応し、前記選択領域外の複数のエッジに逆らってこのような選り好みを受け取れるように複数のエッジを選択すればよいことを容易に理解することができる。
1つの所定のオブジェクトの上又は周囲に1つの選択領域1920が発生される時に、前記プロセッサー112は1つの選り好みを好ましいエッジに適用する1つの概略フォーカス信号を発生するように前記フォーカス信号発生器を制御してもよい。これにより、所定のオブジェクトに関わらないエッジを消去することができる。例えば、図14には、このような選り好みを適用しない場合にフォーカス位置を遠くから近くへ走査する概略フォーカス信号を示す。前記概略フォーカス信号は複数の最小値を示すが、ただ位置FBでの1つの最小値が前記自動車に起因する。前記自動車に対してこのような選り好みを適用することにより、例えば図16に示す選択領域1920を使用することにより、位置FCで前記前景「人」に対応する、及び位置FAで前記背景「山、太陽及び地平線」に対応する最小値を消去することができる。また、前記「自動車」に対応する位置FBにおける概略フォーカス信号レベルは、鮮明なエッジ幅に比較的近い1つの値を有する。フォーカス制御システム102は、既知の制御方法の1つであるPIコントローラを適用することにより、現在の概略フォーカス信号レベルと鮮明_エッジ_幅との間の差を評価することで、前記フォーカスレンズ104のフォーカス位置を制御し、前記フォーカス位置FBと現在のフォーカス位置との間の差を低減させてもよい。前記フォーカス制御システム102は、現在のフォーカス信号レベルが鮮明_エッジ_幅に十分近い範囲、例えば狭いエッジの範囲に低下した場合に切り替えて精細なフォーカス信号を使用してもよい。
制御−走査
図25は、風景でオブジェクトの鮮明な画像を提供するフォーカス位置の検索において一端から他端までの範囲でフォーカス位置を移動する際に、図1及び2のプロセッサー112のようなフォーカスシステムコントローラがフォーカス位置を調整し、フォーカス信号を測定する一フローチャートである。ステップ1400において、前記フォーカス位置は遠端に設定される。図3の前記排除較正器205に対する全てのインデックスは、図17及び18のメモリ−2 908における排除範囲データとともに消去されてもよい。ステップ1402において、前記フォーカス位置は1歩近く移動される。ステップ1404において、フォーカス位置が近端であると、走査が完了する。さもなければ、ステップ1406において、狭いエッジのカウントがピークに達したかを確かめる。そうでなければ、ステップ1402に戻して始まるように、次の繰り返しへ進む。そうであれば、このフォーカス位置に対して1つの新しいインデックスを作成し、前記フォーカス位置を記録して、エッジの統計量を収集するように1つの較正コマンドを前記排除較正器205に送信し、複数組の排除範囲の連鎖を形成し、前記排除範囲の連鎖を記憶するようにインデックス及び1つの書き込みコマンドを送信し、そして次の繰り返し、ステップ1402に戻して始まるように、次の繰り返しへ進む。
複数の鮮明な画像が求められるフォーカス位置のそれぞれに対する走査プロセスの期間において、複数組の排除範囲の連鎖が形成されてもよい。これらのオブジェクトのうちの何れか1つに対する後の検索において、前記排除範囲は、その他のオブジェクトに寄与されるエッジを軽く扱って区別することを促進するために、フォーカス信号発生器に適用されてもよく、これにより、概略フォーカス信号が単一の谷を示すことができ、さらに、前記谷が前記鮮明_エッジ_幅に近い最小値を有し、これで前記精細なフォーカス信号も焦点外れのオブジェクトにより少なく干渉され、ここで、その前記鮮明_エッジ_幅からの外れにより、前記オブジェクトが鮮明にフォーカスされるように前記フォーカス位置をどのぐらい調整するかを正確に見積もる。所定のオブジェクトがその他のオブジェクトに対して移動しても、両方とも相変わらず有用で信頼性がある。
一例として、図13は図12に示す風景を走査する際に時間に対して描かれた狭いエッジのカウントのグラフである。前記狭いエッジのカウントは、フォーカス位置が、1つのオブジェクトが図1又は2に画素アレイ108において1つの鮮明な画像を映写するようにするものである度に、ピークに達するので、それがピークになると、複数の十分鮮明なエッジの存在を示す。図26、27及び28は、前記フォーカスレンズが、狭いエッジのカウントがピークに達するそれらのフォーカス位置のそれぞれにある際に取り込まれた画像を示す。
図14は、前記「排除」信号をオフにすることにより前記排除フィルター207がバイパスされる場合に、走査中に前記フォーカス信号発生器120より出力される概略フォーカス信号を示す。前記概略フォーカス信号は、前記フォーカス位置が、オブジェクトが鮮明にフォーカスされるようにする3つのフォーカス位置のそれぞれに近づける時に対応する最小値を正確に示す。しかし、前記概略フォーカス信号の最小値は、焦点外れの他のオブジェクトに寄与される複数のぼやけたエッジからの干渉により、鮮明_エッジ_幅レベル、この実例には2.0に存在しない。上述したように、前記排除較正器205を較正した後に「排除」信号をオンにすると、その後、前記オブジェクトが走査中に所在する場所から移動したとしても、それぞれのグループのオブジェクトに対するインデックスを利用して排除範囲を取り出すことにより、前記概略フォーカス信号が3つのグループのオブジェクトのそれぞれに対して1つの単一の全体的な最小値を示すことが可能になる。図29及び図30A〜30Cは、前記3つのグループのオブジェクトのそれぞれに対する色相の排除範囲が如何に形成されるかを示す。
検索−表示装置とユーザ向き
図31〜33は、前記フォーカス位置により複数のエッジが鮮明にフォーカスされるようにする場合に、図1又は2の表示装置114において複数のエッジが如何にハイライトされるかを示す。ハイライトされた鮮明なエッジ又は十分鮮明なエッジは、1つの十分鮮明ではないフォーカスエッジが表示装置において依然として鮮明に見えるように画像取込解像度が表示装置の解像度よりずっと高い場合に、ユーザに特に有用である。これにより、ユーザは風景で複数のオブジェクトのうちのどのオブジェクトが鮮明にフォーカスされているかを見分けられないようなよく見られる問題も解決される。このようにどのオブジェクトが鮮明にフォーカスされているかが通知されると、ユーザは、その後、1つの比較的遠いオブジェクトにフォーカスするように図16の画像取込装置102の外向きボタン1912を押し、又は、1つの比較的近いオブジェクトにフォーカスするようにボタン1910を押し、又は、これらのユーザコマンドを入力可能なユーザ入力装置及び方法のうちの何れか1つを利用することができる。また、前記画像取込装置102は、図33に示すように、エッジにおいてフォーカスされるオブジェクトに重なった1つの点滅する輪郭2100を表示してもよい。一般には、当業者が容易に認識するように、1つ以上の十分鮮明なエッジを示すことができれば、何れの表示方法を利用してもよい。
検索モード
図34は、所定の方向において第Nのオブジェクトをシークする一フローチャートである。ステップ2200において、前記フォーカスレンズ104は、第N−1のピークを飛び越すまで移動する。ピークの飛び越しは、ピーク検出用の複数の信号(「ピーク検出信号」)のうちの1つを利用して検出されてもよい。候補ピーク検出信号の1つは、図36に示すように、取り込まれた画像において鮮明なエッジが発生された複数のオブジェクトがあるそれぞれの位置に1つの局部的な最小値を得る概略フォーカス信号である。図12の風景に対して、前記自動車が鮮明にフォーカスされるようにするために、前記フォーカスレンズは、前記人が鮮明にフォーカスされているフォーカス位置FCを跳び越し、前記概略フォーカス信号が1つの局部的な最小値(ほぼ鮮明_エッジ_幅の値2.0に達した)に達したフォーカス位置を過ぎるように、一番裏から外へ移動する。候補ピーク検出信号のもう1つは、狭いエッジのカウントである。図35は、フォーカス位置が、前記人が取り込まれた画像において1つの鮮明な画像を発生した位置を過ぎるように一番裏から外へ移動する時の狭いエッジのカウントを示す。
図34でのフローチャートのステップ2202において、第Nのピークを見つけない限り、ステップ2206において同一の方向にフォーカスレンズを移動し続け、そして2202に同じクエリーに回帰する。見つけると、ステップ2204に移行して追跡モードをオンにする。第Nのピークの検出は、複数のピーク検出信号のうちの1つを利用することができる。候補ピーク検出信号の1つは前記概略フォーカス信号である。候補のもう1つは前記狭いエッジのカウントである。ステップ2202に対しては、ステップ2200に比べて異なるピーク検出信号が使用されてもよい。追跡は、図34のフローチャートの後に続いた図35及び36に示すように前記ピークが検出された後、又は、図38のフローチャートの後に続いた図37に示すように前記ピーク値に接近するかつ十分近い時に、オンにされてもよい。(「十分近い」ということは、例えば前の走査からの前に検出されたピーク値の1つの所定の分数を超えてもよい。)
検索に関するユーザ制御
シークすべきフォーカス位置に関連する数字Nは、複数の方法の1つによって設置されてもよい。
第1の方法には、前記装置102は、複数の鮮明なフォーカス位置のうちに外又は内へナビゲートするために、例えば図16に示すボタン1912及び1910、又は本願に言及された何れか他の形式のユーザ入力方法/装置のようなユーザ制御を備えてもよい。例えば、前記ボタン1912を押すごとに次のより遠い鮮明なフォーカス位置を選定するのに対し、前記ボタン1910を押すごとに次のより近い鮮明なフォーカス位置を選定してもよい。前記装置102は、1つの鮮明なエッジ又は1つの鮮明なオブジェクトにおいて、例えば図31に示すハイライト2000のようなハイライトを表示することができる。これらの鮮明なフォーカス位置は、走査中に記憶されてもよい。走査中に発見されたそれぞれの鮮明なフォーカス位置でのハイライト2000、又は対応する鮮明なエッジ、又はその両方は、走査中に形成されて、例えば前記プロセッサー112、112’、112’’のようなメモリに記憶されることができる。それぞれの鮮明なフォーカス位置で表示される画像は、一緒に記憶されてもよい。例えば、ボタン1912及び1910を介して鮮明なフォーカス位置のうちでより遠く及びより近く飛ぶような、1つの目的フォーカス位置へナビゲートする期間に、前記選定された鮮明なフォーカス位置に対応するハイライトは、前記メモリから取り出されて前記表示装置1902で表示されてもよい。前記選定された鮮明なフォーカス位置に対応する先に記憶された表示画像は、前記記憶された表示画像においてどのオブジェクトが前記選定された鮮明なフォーカス位置で鮮明なエッジを起こしたかを示すために、前記ハイライト2000とともに表示されてもよい。これによって、ユーザは、前記選定された鮮明なフォーカス位置が彼又は彼女の所定の目的鮮明さに対応するか否か、或いは、彼又は彼女がより遠く又はより近くナビゲートする必要があるか否かを決めることができる。従って、例えば、人の頭部と自動車の左側のような、図16に前記表示装置1902において前記画像中に重なったエッジを起こした異なる焦点距離における複数の異なるオブジェクトでも、ユーザは目的オブジェクトを選択することができる。前記プロセッサー112は、これによって、目的とする鮮明なフォーカス位置及びそれに関連する記憶された鮮明なフォーカス位置又は排除連鎖又はインデックス又はその何れかの組合わせに対するユーザの選択を決定する。前記走査から目的とする鮮明なフォーカス位置が最も近いと発見すると、Nが1である。それがその直後にあるものと、Nが2であり、以下同様。前記排除範囲の関連する連鎖は、取り出されて前記排除フィルター207に適用されてもよく、ここで、前記関連する連鎖は、予め1つのインデックスの下で較正され、作成され、記憶されておいた。
第2の方法には、1つの事前の走査が採られていない。前の段落に記述されたユーザインターフェースにより、ユーザはN歩でより遠く又はより近くナビゲートすることができる。例えば、ユーザは、外向き検索が現在のフォーカス位置から第1の鮮明なフォーカス位置へ、そして第2の鮮明なフォーカス位置を経て、第3の鮮明なフォーカス位置に止まるように命令するために、ボタン1912を3回押してもよい。前記フォーカスシステムコントローラ112は、Nを3に初期化する図34でのフローチャートに従って、外へ向かって前記第3の鮮明なフォーカス位置に移動するように前記コマンドフォーカスレンズ104を命令する。ユーザがその後、ボタン1910を一回押すことにより、目的とする鮮明なフォーカス位置を第2の鮮明なフォーカス位置に変更するように命令すると、前記フォーカスシステムコントローラ112は、Nを1に初期化する図34でのフローチャートに従い、ただし、今度は内向きにフォーカス位置を移動することにより、前記第2の鮮明なフォーカス位置に移動するように前記コマンドフォーカスレンズ104を命令する。前記装置102は、終点において又は進行中に1つの鮮明なフォーカス位置を見つめるたびに、鮮明なエッジでハイライト2000を表示することができる。
上述した方法はいずれも、異なる焦点距離における複数のオブジェクトからの複数のエッジが重なるようなフォーカスが難しい状況に応対することに有用である。このような状況の一例としては、1つの金網及び前記金網の後ろにある1匹のニワトリである。前記フォーカス位置により前記金網が鮮明にフォーカスされるのに対し、前記ニワトリが所望のオブジェクトであると、ユーザは、前記ユーザインターフェース、例えば、外向きボタン1912を1回押すことにより、外へ向かって一歩でナビゲートすることができる。それに応じて、前記フォーカスシステムコントローラ112は、前記ニワトリに対する鮮明なフォーカス位置である次の鮮明なフォーカスが検出されるまで、外へ移動するようにフォーカスレンズ104を命令する。一方、フォーカス位置により前記ニワトリが鮮明にフォーカスされるのに対し、前記金網が所望のオブジェクトであると、ユーザは、前記ユーザインターフェース、例えば、内向きボタン1910を1回押すことにより、内へ向かって一歩でナビゲートすることができる。それに応じて、前記フォーカスシステムコントローラ112は、前記金網に対する鮮明なフォーカス位置である次の鮮明なフォーカスが検出されるまで、内へ移動するように前記フォーカスレンズ104を命令する。何れの場合にも、1つのオブジェクトが鮮明にフォーカスされるたびに、前記表示装置1902において鮮明なオブジェクト又はそのエッジをハイライトすることができ、これにより、ユーザは、どのオブジェクトが鮮明にフォーカスされているかを決定することができる。
鮮明にフォーカスされている1つのオブジェクト又はそのエッジを表示装置においてハイライトするステップ、1つの比較的遠い又は比較的近いオブジェクトが鮮明にフォーカスされるように次のフォーカス位置へのシークを開始及び/又は要求するためのユーザのコマンドを受け取る1つのユーザインターフェースを用意するステップ、ユーザにより前記ユーザインターフェースを介して1つの対応するコマンドを入力する時に前記次の鮮明なフォーカス位置をシークするステップ、及び、前記最終的なフォーカス位置に遷移する期間において鮮明にフォーカスにされているオブジェクト又はそのエッジをハイライトするステップは、前記フォーカス信号が如何に形成されるか、又は鮮明にフォーカスされるオブジェクト又はそのエッジが如何に決定されるかにかかわらず、装置102のユーザに有用である。前記フォーカス信号は、本願において1つの画像における複数のエッジ幅を測定することにより発生されてもよい。または、前記装置102は、1つのエッジに亘って1つのコントラストを測定し、また、前記フォーカスレンズ104のフォーカス位置が変更される時に前記コントラストにおいてピークになることを検出することによって前記エッジの鮮明なフォーカスを検出してもよい。または、前記装置102は、前記画像を複数のグループの隣接画素に分割し、例えば、それぞれのグループが16×16画素を有し、それぞれのグループにおいて測定されたコントラストを1つの風景から反射する可視光の信号、例えば、輝度を示す最大値と最小値との差とし、前記フォーカスレンズ104のフォーカス位置が変更される時に前記コントラストにおいてピークになることを検出することにより前記グループ画素における鮮明なフォーカスを検出し、また、前記グループの画素に対応して前記表示装置1902に表示される前記画像の一部をハイライトすることによって、1つのフォーカス信号を発生してもよい。または、前記装置102は、何れかの従来方法によって1つのフォーカス信号を発生してもよい。
追跡モード
例えば、図1又は2におけるプロセッサー112のようなフォーカスシステムコントローラは、追跡モードが始まる際に1つの精細なフォーカス信号を受信するために、前記フォーカス信号発生器120へ前記「精細」制御信号をオンにしてもよい。それはまた、ほぼフォーカスされたオブジェクトが較正されておいた場合に、対応する排除範囲を取り出すために、「排除」制御信号をオンにし、その対応するインデックスを前記フォーカス信号発生器120における排除較正器205に供給してもよい。そうでなければ、1つの較正コマンドを排除較正器205に発行して較正を行い、1つの新しいインデックスを提供して前記較正された排除範囲を記憶し、その後、前記排除フィルター207に使用されるようにそれらを取り出すことができる。このようにして、不要のオブジェクトによる干渉を大きく減衰させることにより、精細なフォーカス信号の正確性が改善される。
前記フォーカスシステムコントローラは、図39に示すように、前記精細なフォーカス信号をできるだけ前記最小値に最も近いように維持するためにフォーカス位置を調整してもよく、又は、その代わりに、図40及び41に示すように、前記精細なフォーカス信号を鮮明_エッジ_幅から一オフセット量で離れて最小値よりも高いように維持するために前記フォーカス位置を制御する方法を実行することができる。(鮮明_エッジ_幅は図40〜41でhFBと表示する。)精細なフォーカス信号を鮮明_エッジ_幅及び最小値よりも一オフセット量で高く維持する利点としては、前記オブジェクトにおいていずれの移動による精細なフォーカス信号における微細な変化が、前記オブジェクトが接近しているか遠く離れているかについての手がかりを与えることである。前記フォーカス位置が、精細なフォーカス信号が前記最小値になるようにする望ましいフォーカス位置より遠い(従って、前記精細なフォーカス信号レベルが最小値より高い)と、前記精細なフォーカス信号を低減させる前記オブジェクトの移動は、外へ導かれ、すなわち、現在のフォーカス位置により鮮明な画像が形成される風景位置に接近するはずである。一方、前記オブジェクトの移動により精細なフォーカス信号が増加されると、前記オブジェクトは、内へ移動し、すなわち、前記風景位置から離れるはずである。その反面、前記フォーカス位置が前記望ましいフォーカス位置より近いと、正反対は本当である。前記フォーカスシステムコントローラは、それから直ちに前記定められた方向において前記フォーカスレンズを移動することができる。これを図41に示すが、ここで、前記精細なフォーカス信号はいつも少々離れた後同じレベルに戻すように示されている。これに対し、図39には、前記精細なフォーカス信号を最小値にターゲットする前記フォーカスシステムコントローラが前記オブジェクトの移動方向を直ちに決定することができず、また、前記オブジェクトの移動が始まる時にミスを起こすことで、前記精細なフォーカス信号において初期増加がさらに早くなる恐れがあり、そしてそうしてから始めて、方向の誤った推測を認識してそれ自身を補正することになる。図39において、前記オブジェクトが同一の方向において移動し続けるという仮定の下に、後に来るリップルが図41と同じように維持されているので、前記フォーカスシステムコントローラは前記方向において再びミスを起すことがない。しかし、もし前記オブジェクトの方向が変わるとすれば、最小フォーカス信号レベルをターゲットする前記フォーカスシステムコントローラは再びミスを起し得る。一般には、前記精細なフォーカス信号を前記最小値より大きいオフセット量にターゲットする前記フォーカスシステムコントローラは、速度が変動するオブジェクトの移動により良く対応することができる。
例示した排除に関する使用
図42A〜42Cは、背景オブジェクトに対して移動するオブジェクト(鳥)を追跡する前記フォーカス制御システムの能力を示す。図42Aにおいて、前記鳥は鮮明にフォーカスされており、前記フォーカスシステムコントローラは1つの較正コマンドを前記排除較正器205に発行し、前記「精細」制御信号をオンにして1つの精細なフォーカス信号を発生し、前記「排除」制御信号をオンにして図42Aに鮮明ではない郵便箱を排除する。前記排除較正器205は、それぞれ図43及び44に排除範囲が示される連結エッジの長さ及び斜め角という2つの特性を見つけて、前記鳥から前記郵便箱を排除する。
次に、図42Bにおいて、前記鳥は前記郵便箱の近傍に飛んで休む。図42A〜42Bにおいて、前記フォーカス制御システムは、前記鳥を鮮明なフォーカスに維持するように追跡し続ける。前記鳥が前記郵便箱に休むようになると、前記郵便箱による複数のエッジも十分鮮明なエッジであるが、それらは、前記排除フィルター207により、それぞれ図43及び44に排除範囲が示される連結エッジの長さ及び斜め角という2つの特性を利用することによって排除される。前記精細なフォーカス信号は、前記郵便箱ではなく前記鳥によるエッジの鮮明さを示し続ける。最後に、前記鳥が飛んでいくと、前記フォーカス制御システムは、まったくより多くのエッジが本来なら精細なフォーカス信号を支配したが、所定のオブジェクトが同一の焦点距離に留まるフォーカス制御信号を誤って報告してしまうことによって、前記郵便箱に誤ってロックされることがなく、引き続き、前記鳥をその画像が鮮明なフォーカスに維持されるように追跡する。
特定の利点
前記フォーカス信号発生器の1つの利点としては、異なる画像の最小フォーカス信号が同一値に近いことである。これにより、前記レンズが同一の位置に保持されることになり、前記カメラが振るえていても、前記画像が依然として鮮明のままである。もう1つの利点としては、異なる焦点距離を有する風景に対する最大と最小のフォーカス信号の間の範囲が、最適なフォーカスが取得できることを確保するのに十分に広いことである。
さらに、もう1つの利点は、フォーカス信号値が風景におけるオブジェクトの照明にも、その色や反射率にも依存しないことである。1つのフォーカス信号を発生する従来のコントラスト方法は、上述した因子の全てに強く依存するコントラスト信号を発生することで、1つの新しいオブジェクトがこの風景に入ると、鮮明な焦点距離にあっても、前記ントラスト方法により発生されたフォーカス信号がいつも変化する。
代替実施形態
図45は、フォーカス信号発生器120’の一代替実施形態を示す。フォーカス信号発生器120’は、複数のエッジ及び複数のエッジ幅の統計量を出力する。コントローラ120’に出力されるエッジ幅の統計量は、異なるエッジ幅におけるエッジのカウントを含む1つのエッジ幅のヒストグラム、エッジ幅のカウントが最大値に達する所での1つのエッジ幅、異なるエッジ幅におけるエッジのカウントに近いスプライン関数を示す1組の係数、及びエッジ幅の関数を示すことができる何れかのデータのうちの1つ以上であってもよい。全数調査ユニット240は、前記フォーカス信号発生器120’の他のユニットのうちの1つ以上で算出されるデータを受信してエッジ幅の統計量を算出することができる。一般に、前記フォーカス信号発生器120’は、1つのエッジ幅分布の指示の信号を出力することができる。
図46に示すように、このように信号134で1つの代替オートフォーカス画像ピックアップ装置102’におけるプロセッサー112’の一代替実施形態に供給されるエッジ幅の統計量は、上述した方法又はその同等のものにより、1つの概略及び/又は精細なフォーカス信号及び1つの狭いエッジのカウントを算出するように、前記プロセッサー112’により使用されてもよい。さらに、前記フォーカス信号発生器120’に算出された何れのデータも、出力信号134の一部としてプロセッサー112’に出力されてもよい。例えば、前記排除範囲及び連鎖は、例えば、図19又は図20のフローチャートによって排除範囲及び連鎖を算出するためのエッジ特性の統計量のようなエッジの統計量とともに、前記プロセッサー112’に送信されてもよい。
前記プロセッサー112’は、図1のプロセッサー112に含まれる機能の外に、1つのフォーカス信号及び/又は1つの狭いエッジのカウントを内部で発生させてもよい。
前記画素アレイ108、A/D変換器110、色補間器148、及び発生器120’は、前記プロセッサー112’から離れた画像センサー150’を一緒に含み、1つのパッケージ142に備わってもよい。
さらに、フォーカス信号発生器の別の実施形態としては、全数調査ユニット240を図1の発生器102に付加し、上記発生器で算出された1つ以上の統計量を前記プロセッサー112に出力してもよい。
補助画素アレイ
図47は、オートフォーカス画像ピックアップシステム103の代替実施形態を示す。システム102に含まれる素子の外に、前記システム103は、1つのハーフミラー2850と、1つのフルミラー2852と、1つの光学ローパスフィルター2840と、1つの主画素アレイ2808と、1つの主A/D変換器2810とを含んでもよい。前記ハーフミラー2850は、入射される光ビームを、第1のスプリットビーム及び第2のスプリットビームに分割し、その一方を透過させ、他方を反射させることができる。前記第1のスプリットビームは、最後に、前記第1のスプリットビームを検出してアナログ信号に変換する前記主画素アレイ2808に到達する前に、さらに前記光学ローパスフィルター2840を透過してもよい。前記第2のスプリットビームは、最後に、図1に示すシステム102における画素アレイ108に対応する前記補助画素アレイ108’’に到達する前に、前記フルミラー2852により反射されてもよい。前記ハーフミラー2850で分割した後、第2の光ビームに対する第1の光ビームの光度(ジュール/秒の単位で)の比は、1対1、好ましくは2比1よりも大きくなり得る。例えば、この比は4対1になり得る。
前記主画素アレイ2808は、例えばバイエルパターンのようなカラーモザイクパターンのカラーフィルターアレイに被覆されてもよい。前記光学ローパスフィルター2808は、前記画素アレイ2808にフォーカスされた最小光点がエイリアシングを引き起こすほど小さすぎないようにする。モザイクパターンのカラーフィルターが前記画素アレイ2808を被覆する場合に、エイリアシングは、色補間の後にカラーモアレ偽像を引き起こし得る。例えば、前記光学ローパスフィルターを利用することにより、前記主画素アレイ2808における1つの光点の可視光パワーの84%を取り囲む円の最小直径(「最小主直径」)は、1.5倍の画素の幅より大きいが、2倍の画素の幅より小さいように維持される。例えば、前記主画素アレイ2808は4.5 umの画素の幅を有するのに対し、光学ローパスフィルタリング無しで最小直径が2.0 umであると、前記光学ローパスフィルター2840は、光点の直径が6.7 um以上になるようにするために選択されてもよい。
前記補助画素アレイ108’’は、1つ以上の光検出器アレイを含んでもよい。これらのアレイのそれぞれは、カラーモザイクパターンのカラーフィルターアレイに被覆されても、被覆されなくてもよい。前記補助画素アレイ108’’におけるこの(これらの)アレイは、A/D変換器110によりデジタル信号130に変換されるアナログ信号で画像を出力する。これらの画像は前記フォーカス信号発生器120に送信される。色補間器148は、複数のカラーフィルターに被覆される画素から発生される画像に対して、欠落色を発生することができる。補助画素アレイ108’’が複数の光検出器アレイを含むと、それぞれのアレイは、前記主画素アレイ2808により取り込まれた画像の一部に対応する1つの子画像を取り込むことが可能である。前記複数のアレイは、物理的に1百個の画素の幅以上に離れてもよく、また、1つの半導体基板を共有しても、共有しなくてもよい。補助画素アレイ108’’における前記画素アレイは、1つの半導体基板を共有しない場合に、一緒に1つのパッケージ(図示せず)に収容されてもよい。
主A/D変換器2810は、前記主画素アレイ2808からのアナログ信号をデジタル主画像データ信号2830に変換する。前記デジタル主画像データ信号2830は、前記主画素アレイ2808において取り込まれた画像が色補間、色補正及び画像圧縮/解凍のような画像処理を受ける前記プロセッサー112に送信され、最後にメモリカード116に記憶されるものである。
前記補助画素アレイ108’’における光検出器アレイは、前記主画素アレイ2808の画素の幅(「主画素の幅」)よりも小さい画素の幅(「補助画素の幅」)を有してもよい。前記補助画素の幅は、前記主画素の幅の半分ほどであってもよい。1つの補助画素が1つのカラーフィルターにカバーされ、前記補助画素の幅が光学ローパスフィルタリング無しで最小可視光点の1.3倍よりも小さいと、前記補助画素アレイ108’’における最小直径(「最小補助直径」)が1.3〜2倍の大きさに増加されるが、やはり最小主直径より小さく、好ましくは1.5になるように、前記補助アレイ108’’の前に第2の光学ローパスフィルターが挿入されてもよい。前記補助画像が最終的な取込画像としてユーザに見せられるので、前記補助画像における微細なモアレは問題ではない。
図50は、前記主画素アレイ2808からの主画像(中実の曲線)、及び前記補助画素アレイ108’’からの補助画像(中空の曲線)について、エッジ幅が1つの鮮明なフォーカス位置をめぐって如何に変化するかを示す。前記補助画像は、たとえ前記主画像が目的とする鮮明なエッジ幅である2に達する場合にも、より鮮明なゲレンデを与える。前記補助画像は、ユーザに見せられないため、エイリアシングによるモアレが前記補助画像において、最終的画像におけるように重要ではないので、目的とする鮮明なエッジ幅以下に達することが許容される。これにより、前記鮮明なエッジ幅よりも下位及び上位のゲレンデが鮮明になる。このより鮮明なゲレンデは、また、前記補助画素の幅が前記主画素の幅より小さいことによって達成される。
図50における陰影領域は、主画像が鮮明なフォーカスに維持されるようにフォーカス位置を制御するための1つの良好な領域を示す。フォーカス位置における外向きの変化により、補助画像でエッジ幅が増加するのに対し、内向きの変化により、それが低減することになる。主画像のエッジ幅が鮮明なエッジ幅に近いように維持するために、真ん中の補助エッジ幅値を前記陰影領域内にターゲットして、補助画像から発生されたエッジ幅をフィードバック信号として用いる1つの線形フィードバック制御システムが用いられてもよい。
前記補助画素アレイ108’’、A/D変換器110、フォーカス信号発生器120は、一緒に1つのパッケージ142に収容されて1つの補助センサー150を構成してもよい。前記補助センサー150は、色補間器148をさらに含んでもよい。
図48は、フォーカス信号発生器120をフォーカス信号発生器120’に置き換えた外に、装置103と同様のオートフォーカス画像ピックアップ装置103’の代替実施形態を示す。前記補助画素アレイ108’’、A/D変換器110、フォーカス信号発生器120’は、一緒に1つのパッケージ142に収容されて1つの補助センサー150’を構成してもよい。前記補助センサー150は、色補間器148をさらに含んでもよい。
図49は、オートフォーカス画像ピックアップ装置103’’の代替実施形態を示す。前記フォーカス信号発生器120及び前記プロセッサー112’’は、前記補助画素アレイ108’’から離れてカメラコントローラとしてパッケージ144に収容されてもよい。前記プロセッサー112’’は、プロセッサー112’’が前記主画素アレイ2808及び前記補助画素アレイ108’’から画像を受け取る外に、プロセッサー112と同様である。前記プロセッサー112’’は、前記プロセッサー112が図2で信号130に対して実行可能な処理と同様に、信号2830で受け取られた画像に対して色補間、色補正、圧縮/解凍、及びメモリカード116への記憶を行うことができる。図2とは違って、ここで信号130で受け取られた画像は、圧縮/解凍されたり、メモリカード116に記憶されたりする必要がない。前記プロセッサー112’’は、補助画素アレイ108’’でのカラーフィルターに被覆された画素に対して、信号130で受け取られた画像に色補間を行い、そして信号146で色補間された画像をフォーカス信号発生器120に送信することができる。
前記オートフォーカス画像ピックアップシステム102、102’、103、103’、103’’は、それぞれ前記プロセッサー112、112’、112’’及び/又は前記フォーカス信号発生器120、120’が本願に記述された機能のうちの1つ以上を実行するようにする指令を含む1つのコンピュータプログラム記憶媒体(図示せず)を備えてもよい。一例として、前記指令は、前記プロセッサー112又は前記発生器120’が図7のフローチャートに基づいて1つのエッジ幅に対して斜め補正を行うようにしてもよい。別の実例として、前記指令は、前記プロセッサー112’又は前記発生器120が幅フィルター209に関する上述に基づいて1つのエッジ幅のろ過を実行するようにしてもよい。または、前記プロセッサー112、112’又は前記発生器120、120’は、ファームウェア及びハードウェアの組合わせ、又は、本願に含まれる機能のうちの1つ以上に対する単純なハードウェアの実装を有するように配置されてもよい。例えば、発生器120には、単純なハードウェアにおいて斜め補正を実施し、ファームウェアにおいて命令により長さフィルター212を実施してもよい。
メモリカード116はシステム102の一部として示されているが、その代わりに、その中に記憶された画像がユーザによりアクセス可能であり、また、前記システム102から離れて外部にある1つの異なる位置に転写可能であるハードドライブのような、何れの不揮発性記憶媒体も使用してもよい。
前記システムに使用される1つ以上のパラメータ、例えば、鮮明_エッジ_幅は、前記システムにおける1つの装置での不揮発性メモリに記憶されてもよい。前記装置はフラッシュメモリ装置、プロセッサー又は画像センサー、又はこれらから離れた装置となるフォーカス信号発生器であってもよい。前記システムに使用される1つ以上の式、例えば、連結長さ閾値を算出するため、又は、βを算出するための式は同様に、パラメータとして、又は、コンピュータが実施可能な指令として、前記装置のうちの1つ以上での不揮発性メモリに記憶されてもよい。
特定の典型的な実施形態を記述して上記図面において示したが、これらの実施形態は本発明を制限するものではなく、単に説明するものであり、また、本発明は当業者により様々な別の変形が発生されることができるため、上記した特定の構造と配置に限定されないことを理解すべきである。
Claims (10)
- オートフォーカス画像システムにおいて複数の画像における複数のオブジェクトの鮮明さを制御するための方法において、
次の比較的近い/比較的遠い鮮明なフォーカス位置のシークを開始する、及び/又は、次の鮮明なフォーカス位置をシークするように前向き/後向き方向を要求するためのユーザコマンドを受け取るユーザインターフェースを用意するステップを含むことを特徴とする方法。 - 前記ユーザインターフェースは、第(N−1)の鮮明なフォーカス位置を飛び越して第Nの鮮明なフォーカス位置に到達してロックすることを要求するためのユーザコマンドを受け取り、前記オートフォーカス画像システムのフォーカスレンズが前記ユーザコマンドによって実施するようにすることを特徴とする請求項1に記載の方法。
- 前記エッジ幅が、前記境界に垂直した方向での前記エッジ幅の投影である補正されたエッジ幅に補正される方法において、
前記ユーザコマンドで、前記第Nの鮮明なフォーカス位置をシークするステップ
をさらに含むことを特徴とする請求項2に記載の方法。 - 複数のエッジ幅のそれぞれが画像における複数のエッジの中の1つのエッジに属する前記複数のエッジ幅の関数であるフォーカス信号を発生する方法において、
複数の鮮明なフォーカス位置において見つけられた複数の十分鮮明なエッジを差別するステップを含むことを特徴とする方法。 - 前記複数の十分鮮明なエッジを差別する排除範囲を求めるステップと、
前記排除範囲を利用して前記複数のエッジ幅をろ過するステップと
をさらに含むことを特徴とする請求項4に記載の方法。 - 前記複数のエッジ幅が前記ろ過ステップによってろ過された前記フォーカス信号を利用して、前記複数の鮮明なフォーカス位置に属しない鮮明なフォーカス位置の検索を制御するステップ
をさらに含むことを特徴とする請求項5に記載の方法。 - 複数のエッジ幅のそれぞれが画像における複数のエッジの中の1つのエッジに属する前記複数のエッジ幅の関数であるフォーカス信号を発生する方法において、
第1の画像から、所定の領域又は前記所定の領域の近傍における十分鮮明なエッジから排除範囲を形成するステップと、
第2の画像において前記排除範囲を利用してエッジ幅をろ過することによってエッジを差別するステップと
を含むことを特徴とする方法。 - 複数のエッジ幅のそれぞれが画像における複数のエッジの中の1つのエッジに属する前記複数のエッジ幅の関数であるフォーカス信号を発生する方法において、
複数の特性から第1の特性を選択するステップと、
前記画像における複数の十分鮮明なエッジを差別するために前記第1の特性の排除範囲を形成するステップと
を含むことを特徴とする方法。 - 前記第1の特性と異なる第2の特性を選択するステップをさらに含み、
前記第2の特性は、選択されていない第3の特性に比べて、十分鮮明なエッジではない、及び前記第1の特性の前記排除範囲により排除されていないエッジをより多く排除することを特徴とする請求項8に記載の方法。 - 複数のエッジ幅のそれぞれが画像における複数のエッジの中の1つのエッジに属する前記複数のエッジ幅の関数であるフォーカス信号を発生する方法において、
第1の画像から、第1の特性に対して第1グループの排除範囲を求めるステップと、
第2の画像から、前記第1の特性に対して第2グループの排除範囲を求めるステップと、
十分鮮明なエッジの第1の個体数及び十分鮮明なエッジと十分鮮明ではないエッジの第2の個体数を求めるために、前記第1グループの排除範囲を利用して前記第2の画像をろ過するステップと、
十分鮮明なエッジの第3の個体数及び十分鮮明なエッジと十分鮮明ではないエッジの第4の個体数を求めるために、前記第2グループの排除範囲を利用して前記第2の画像をろ過するステップと、
前記第1の個体数と前記第2の個体数との間に第1の比率を求めるステップと、
前記第3の個体数与前記第4の個体数との間に第2の比率を求めるステップと、
前記第1の比率と前記第2の比率とを比較するステップと、
前記第1の比率から前記第2の比率まで著しい変化がある場合に、前記第1の特性を拒むステップと
を含むことを特徴とする方法。
Priority Applications (18)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB1203296.7A GB2487144B (en) | 2010-05-26 | 2010-05-27 | Auto-focus image system |
GB1203290.0A GB2487142B (en) | 2010-05-26 | 2010-05-27 | Auto-focus image system |
MYPI2012005018A MY154248A (en) | 2010-05-26 | 2010-05-27 | Auto-focus image system |
SG2012000816A SG185345A1 (en) | 2010-05-26 | 2010-05-27 | Auto-focus image system |
PCT/IB2010/052375 WO2011148233A1 (en) | 2010-05-26 | 2010-05-27 | Auto-focus image system |
AU2010353808A AU2010353808A1 (en) | 2010-05-26 | 2010-05-27 | Auto-focus image system |
CA2799891A CA2799891A1 (en) | 2010-05-26 | 2010-05-27 | Auto-focus image system |
GB1200088.1A GB2484223B (en) | 2010-05-26 | 2010-05-27 | Auto-focus image system |
DE112010005589T DE112010005589T5 (de) | 2010-05-26 | 2010-05-27 | Autofokus-bildsystem |
GB1222601.5A GB2495424B (en) | 2010-05-26 | 2010-05-27 | Auto-focus image system |
GB1222597.5A GB2495423B (en) | 2010-05-26 | 2010-05-27 | Auto-focus image system |
GB1314740.0A GB2505318B (en) | 2010-05-26 | 2010-05-27 | Auto-focus image system |
GB1203294.2A GB2487143B (en) | 2010-05-26 | 2010-05-27 | Auto-focus image system |
US13/112,212 US9031352B2 (en) | 2008-11-26 | 2011-09-26 | Auto-focus image system |
HK12112478.2A HK1171885A1 (en) | 2010-05-26 | 2012-12-04 | Auto-focus image system |
HK12112477.3A HK1171884A1 (en) | 2010-05-26 | 2012-12-04 | Auto-focus image system |
HK13111418.6A HK1185149A1 (en) | 2010-05-26 | 2013-10-10 | Auto-focus image system |
US14/961,978 US20160094782A1 (en) | 2008-11-26 | 2015-12-08 | Auto-focus image system |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US34869910P | 2010-05-26 | 2010-05-26 | |
US61/348,699 | 2010-05-26 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013246579A Division JP2014078021A (ja) | 2010-05-26 | 2013-11-28 | オートフォーカス画像システム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2011248151A true JP2011248151A (ja) | 2011-12-08 |
JP2011248151A5 JP2011248151A5 (ja) | 2012-04-12 |
JP5435362B2 JP5435362B2 (ja) | 2014-03-05 |
Family
ID=45413433
Family Applications (6)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010122100A Expired - Fee Related JP5435362B2 (ja) | 2008-11-26 | 2010-05-27 | オートフォーカス画像システム |
JP2010121175A Expired - Fee Related JP5532415B2 (ja) | 2010-05-26 | 2010-05-27 | オートフォーカス画像システム |
JP2013246579A Pending JP2014078021A (ja) | 2010-05-26 | 2013-11-28 | オートフォーカス画像システム |
JP2014039306A Expired - Fee Related JP5825566B2 (ja) | 2010-05-26 | 2014-02-28 | フォーカス信号を発生する方法 |
JP2015191175A Pending JP2016028294A (ja) | 2010-05-26 | 2015-09-29 | オートフォーカス制御の方法 |
JP2016086331A Pending JP2016177293A (ja) | 2010-05-26 | 2016-04-22 | オートフォーカス画像システム |
Family Applications After (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010121175A Expired - Fee Related JP5532415B2 (ja) | 2010-05-26 | 2010-05-27 | オートフォーカス画像システム |
JP2013246579A Pending JP2014078021A (ja) | 2010-05-26 | 2013-11-28 | オートフォーカス画像システム |
JP2014039306A Expired - Fee Related JP5825566B2 (ja) | 2010-05-26 | 2014-02-28 | フォーカス信号を発生する方法 |
JP2015191175A Pending JP2016028294A (ja) | 2010-05-26 | 2015-09-29 | オートフォーカス制御の方法 |
JP2016086331A Pending JP2016177293A (ja) | 2010-05-26 | 2016-04-22 | オートフォーカス画像システム |
Country Status (11)
Country | Link |
---|---|
US (1) | US9031352B2 (ja) |
JP (6) | JP5435362B2 (ja) |
CN (2) | CN102948142B (ja) |
AU (1) | AU2010353808A1 (ja) |
CA (1) | CA2799891A1 (ja) |
DE (1) | DE112010005589T5 (ja) |
GB (6) | GB2495424B (ja) |
HK (3) | HK1171884A1 (ja) |
MY (1) | MY154248A (ja) |
SG (1) | SG185345A1 (ja) |
WO (1) | WO2011148233A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2495424B (en) * | 2010-05-26 | 2013-12-11 | Hiok Nam Tay | Auto-focus image system |
CN104038699B (zh) * | 2014-06-27 | 2016-04-06 | 努比亚技术有限公司 | 对焦状态的提示方法和拍摄装置 |
DE102014111150B3 (de) * | 2014-08-05 | 2015-07-30 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung, Verfahren und Computerprogramm zur Ermittlung eines Schärfemasses für ein Bild |
EP3467428A4 (en) * | 2016-05-30 | 2019-05-08 | Sony Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, PROGRAM, AND IMAGE CAPTURE SYSTEM |
CN108803204B (zh) * | 2017-04-28 | 2021-03-12 | 宏碁股份有限公司 | 投影机及投影机的操作方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1099279A (ja) * | 1996-10-02 | 1998-04-21 | Canon Inc | 視線検出装置及び光学機器 |
JP2001331806A (ja) * | 2000-05-22 | 2001-11-30 | Nec Corp | 画像処理方式 |
JP2002214513A (ja) * | 2001-01-16 | 2002-07-31 | Minolta Co Ltd | 光学系制御装置、光学系制御方法および記録媒体 |
JP2003125198A (ja) * | 2001-10-18 | 2003-04-25 | Sharp Corp | 画像処理装置および画像処理方法、並びにそれを備えた画像形成装置、プログラム、記録媒体 |
Family Cites Families (63)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS60143311A (ja) | 1983-12-29 | 1985-07-29 | Asahi Optical Co Ltd | Ttlオ−トフオ−カスビデオカメラの光学系 |
JPS6119211U (ja) | 1984-07-06 | 1986-02-04 | 株式会社 コシナ | オ−トフオ−カス付ズ−ムレンズ |
JPH083579B2 (ja) * | 1986-07-09 | 1996-01-17 | キヤノン株式会社 | 自動合焦装置 |
JPH0779434B2 (ja) | 1986-05-16 | 1995-08-23 | キヤノン株式会社 | 合焦検出装置 |
JP3167023B2 (ja) | 1989-11-13 | 2001-05-14 | キヤノン株式会社 | 焦点調節装置、ブレ検出装置、動き検出装置、並びに、被写体位置検出装置 |
DE69127850T2 (de) | 1990-04-29 | 1998-03-12 | Canon Kk | Vorrichtung zum Erfassen von Bewegungen und Fokusdetektor, der eine solche Vorrichtung benutzt |
US5790710A (en) * | 1991-07-12 | 1998-08-04 | Jeffrey H. Price | Autofocus system for scanning microscopy |
US5488429A (en) | 1992-01-13 | 1996-01-30 | Mitsubishi Denki Kabushiki Kaisha | Video signal processor for detecting flesh tones in am image |
US5496106A (en) * | 1994-12-13 | 1996-03-05 | Apple Computer, Inc. | System and method for generating a contrast overlay as a focus assist for an imaging device |
US5880455A (en) | 1995-08-08 | 1999-03-09 | Nikon Corporation | Focal position detection apparatus having a light reflecting member with plural reflecting films |
US5875040A (en) | 1995-12-04 | 1999-02-23 | Eastman Kodak Company | Gradient based method for providing values for unknown pixels in a digital image |
US6094508A (en) | 1997-12-08 | 2000-07-25 | Intel Corporation | Perceptual thresholding for gradient-based local edge detection |
JP4018218B2 (ja) * | 1997-12-25 | 2007-12-05 | キヤノン株式会社 | 光学装置及び測距点選択方法 |
US6151415A (en) * | 1998-12-14 | 2000-11-21 | Intel Corporation | Auto-focusing algorithm using discrete wavelet transform |
US6337925B1 (en) | 2000-05-08 | 2002-01-08 | Adobe Systems Incorporated | Method for determining a border in a complex scene with applications to image masking |
JP2002189164A (ja) | 2000-12-21 | 2002-07-05 | Minolta Co Ltd | 光学系制御装置、光学系制御方法および記録媒体 |
US7088474B2 (en) | 2001-09-13 | 2006-08-08 | Hewlett-Packard Development Company, Lp. | Method and system for enhancing images using edge orientation |
JP3555607B2 (ja) * | 2001-11-29 | 2004-08-18 | ミノルタ株式会社 | オートフォーカス装置 |
JP3628648B2 (ja) * | 2001-12-18 | 2005-03-16 | コニカミノルタフォトイメージング株式会社 | 光学系制御装置 |
US6917901B2 (en) | 2002-02-20 | 2005-07-12 | International Business Machines Corporation | Contact hole profile and line edge width metrology for critical image control and feedback of lithographic focus |
JP2003262783A (ja) * | 2002-03-08 | 2003-09-19 | Minolta Co Ltd | オートフォーカス装置および撮像装置 |
JP4208563B2 (ja) | 2002-12-18 | 2009-01-14 | キヤノン株式会社 | 自動焦点調節装置 |
SG115540A1 (en) | 2003-05-17 | 2005-10-28 | St Microelectronics Asia | An edge enhancement process and system |
US7720302B2 (en) | 2003-09-25 | 2010-05-18 | Fujifilm Corporation | Method, apparatus and program for image processing |
JP2005269604A (ja) * | 2004-02-20 | 2005-09-29 | Fuji Photo Film Co Ltd | 撮像装置、撮像方法、及び撮像プログラム |
JP2005309559A (ja) | 2004-04-19 | 2005-11-04 | Fuji Photo Film Co Ltd | 画像処理方法および装置並びにプログラム |
US20050244077A1 (en) | 2004-04-22 | 2005-11-03 | Fuji Photo Film Co., Ltd. | Method, apparatus and program for image processing |
US20050249429A1 (en) | 2004-04-22 | 2005-11-10 | Fuji Photo Film Co., Ltd. | Method, apparatus, and program for image processing |
JP2005332383A (ja) | 2004-04-23 | 2005-12-02 | Fuji Photo Film Co Ltd | 画像処理方法および装置並びにプログラム |
US20060078217A1 (en) | 2004-05-20 | 2006-04-13 | Seiko Epson Corporation | Out-of-focus detection method and imaging device control method |
JP2006024193A (ja) | 2004-06-07 | 2006-01-26 | Fuji Photo Film Co Ltd | 画像補正装置、画像補正プログラム、画像補正方法、および画像補正システム |
EP1624672A1 (en) | 2004-08-07 | 2006-02-08 | STMicroelectronics Limited | A method of determining a measure of edge strength and focus |
JP2006115446A (ja) * | 2004-09-14 | 2006-04-27 | Seiko Epson Corp | 撮影装置、及び画像評価方法 |
JP4487805B2 (ja) | 2004-11-16 | 2010-06-23 | セイコーエプソン株式会社 | 画像評価方法、画像評価装置、及び印刷装置 |
JP4539318B2 (ja) | 2004-12-13 | 2010-09-08 | セイコーエプソン株式会社 | 画像情報の評価方法、画像情報の評価プログラム及び画像情報評価装置 |
GB0505443D0 (en) * | 2005-03-17 | 2005-04-20 | Dmist Technologies Ltd | Image processing methods |
JP4759329B2 (ja) * | 2005-06-23 | 2011-08-31 | Hoya株式会社 | オートフォーカス機能を有する撮影装置 |
GB2427974A (en) * | 2005-07-01 | 2007-01-10 | Univ Cardiff | Resolving boundaries in a medical image using histological data |
US7590288B1 (en) | 2005-11-07 | 2009-09-15 | Maxim Integrated Products, Inc. | Method and/or apparatus for detecting edges of blocks in an image processing system |
CN1971616B (zh) * | 2005-11-23 | 2012-10-10 | 索诺塞特公司 | 多分辨率自适应滤波 |
WO2007075552A2 (en) | 2005-12-16 | 2007-07-05 | Thomson Licensing | Imager and imaging method for digital cinematography |
US7792420B2 (en) | 2006-03-01 | 2010-09-07 | Nikon Corporation | Focus adjustment device, imaging device and focus adjustment method |
JP4182990B2 (ja) | 2006-06-02 | 2008-11-19 | セイコーエプソン株式会社 | 印刷装置、画像がぼやけているか否かを決定する方法、およびコンピュータプログラム |
US20080021665A1 (en) | 2006-07-20 | 2008-01-24 | David Vaughnn | Focusing method and apparatus |
JP2009044757A (ja) * | 2006-08-14 | 2009-02-26 | Seiko Epson Corp | 合焦情報の視覚化装置、その方法、プログラム及び記録媒体 |
JP2008072696A (ja) * | 2006-08-14 | 2008-03-27 | Seiko Epson Corp | 合焦情報の視覚化装置、その方法、プログラム及び記録媒体 |
US7924468B2 (en) | 2006-12-20 | 2011-04-12 | Seiko Epson Corporation | Camera shake determination device, printing apparatus and camera shake determination method |
KR20080081693A (ko) | 2007-03-06 | 2008-09-10 | 삼성전자주식회사 | 카메라의 자동초점조절 방법 |
US7672531B2 (en) | 2007-04-26 | 2010-03-02 | Geostudio Consultants Limited | System and method for determining edges of objects in an image |
JP2009065224A (ja) * | 2007-09-04 | 2009-03-26 | Seiko Epson Corp | 画像データ解析装置、画像データ解析方法、およびプログラム |
US8264591B2 (en) | 2007-10-22 | 2012-09-11 | Candela Microsystems (S) Pte. Ltd. | Method and system for generating focus signal |
JP2009156946A (ja) | 2007-12-25 | 2009-07-16 | Sanyo Electric Co Ltd | 撮像装置の防振制御回路 |
CN100557657C (zh) * | 2007-12-28 | 2009-11-04 | 北京航空航天大学 | 一种基于视频图像特征的车辆检测方法 |
JP2009218806A (ja) * | 2008-03-10 | 2009-09-24 | Seiko Epson Corp | 画像処理装置及び方法、並びに、そのためのプログラム |
JP2009260411A (ja) | 2008-04-11 | 2009-11-05 | Olympus Corp | 撮像装置 |
US8184196B2 (en) | 2008-08-05 | 2012-05-22 | Qualcomm Incorporated | System and method to generate depth data using edge detection |
JP5158202B2 (ja) * | 2008-08-19 | 2013-03-06 | 富士通株式会社 | 画像補正装置および画像補正方法 |
JP2010122100A (ja) | 2008-11-20 | 2010-06-03 | Fis Inc | 防水型ガスセンサ |
WO2010061352A2 (en) * | 2008-11-26 | 2010-06-03 | Hiok Nam Tay | Auto-focus image system |
WO2010061250A1 (en) * | 2008-11-26 | 2010-06-03 | Hiok-Nam Tay | Auto-focus image system |
CA2759166A1 (en) * | 2009-05-08 | 2010-11-11 | Basf Se | Process for producing a particulate nanocomposite material |
BR112012013721A2 (pt) * | 2009-12-07 | 2016-03-15 | Hiok Nam Tay | sistema de imagem de auto-focagem |
GB2495424B (en) * | 2010-05-26 | 2013-12-11 | Hiok Nam Tay | Auto-focus image system |
-
2010
- 2010-05-27 GB GB1222601.5A patent/GB2495424B/en not_active Expired - Fee Related
- 2010-05-27 DE DE112010005589T patent/DE112010005589T5/de not_active Withdrawn
- 2010-05-27 GB GB1203296.7A patent/GB2487144B/en not_active Expired - Fee Related
- 2010-05-27 WO PCT/IB2010/052375 patent/WO2011148233A1/en active Application Filing
- 2010-05-27 GB GB1314740.0A patent/GB2505318B/en not_active Expired - Fee Related
- 2010-05-27 MY MYPI2012005018A patent/MY154248A/en unknown
- 2010-05-27 AU AU2010353808A patent/AU2010353808A1/en not_active Abandoned
- 2010-05-27 GB GB1203290.0A patent/GB2487142B/en not_active Expired - Fee Related
- 2010-05-27 CA CA2799891A patent/CA2799891A1/en not_active Abandoned
- 2010-05-27 CN CN201080066987.7A patent/CN102948142B/zh not_active Expired - Fee Related
- 2010-05-27 GB GB1203294.2A patent/GB2487143B/en not_active Expired - Fee Related
- 2010-05-27 JP JP2010122100A patent/JP5435362B2/ja not_active Expired - Fee Related
- 2010-05-27 GB GB1200088.1A patent/GB2484223B/en not_active Expired - Fee Related
- 2010-05-27 CN CN201610286776.3A patent/CN105898146A/zh active Pending
- 2010-05-27 SG SG2012000816A patent/SG185345A1/en unknown
- 2010-05-27 JP JP2010121175A patent/JP5532415B2/ja not_active Expired - Fee Related
-
2011
- 2011-09-26 US US13/112,212 patent/US9031352B2/en not_active Expired - Fee Related
-
2012
- 2012-12-04 HK HK12112477.3A patent/HK1171884A1/xx not_active IP Right Cessation
- 2012-12-04 HK HK12112478.2A patent/HK1171885A1/xx not_active IP Right Cessation
-
2013
- 2013-10-10 HK HK13111418.6A patent/HK1185149A1/xx not_active IP Right Cessation
- 2013-11-28 JP JP2013246579A patent/JP2014078021A/ja active Pending
-
2014
- 2014-02-28 JP JP2014039306A patent/JP5825566B2/ja not_active Expired - Fee Related
-
2015
- 2015-09-29 JP JP2015191175A patent/JP2016028294A/ja active Pending
-
2016
- 2016-04-22 JP JP2016086331A patent/JP2016177293A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1099279A (ja) * | 1996-10-02 | 1998-04-21 | Canon Inc | 視線検出装置及び光学機器 |
JP2001331806A (ja) * | 2000-05-22 | 2001-11-30 | Nec Corp | 画像処理方式 |
JP2002214513A (ja) * | 2001-01-16 | 2002-07-31 | Minolta Co Ltd | 光学系制御装置、光学系制御方法および記録媒体 |
JP2003125198A (ja) * | 2001-10-18 | 2003-04-25 | Sharp Corp | 画像処理装置および画像処理方法、並びにそれを備えた画像形成装置、プログラム、記録媒体 |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8462258B2 (en) | Focus signal generation for an auto-focus image system | |
US9237270B2 (en) | Auto-focus image system | |
JP6179827B2 (ja) | フォーカス信号を生成する方法 | |
US20130083232A1 (en) | Auto-focus image system | |
JP5825566B2 (ja) | フォーカス信号を発生する方法 | |
WO2010061250A1 (en) | Auto-focus image system | |
US20160094782A1 (en) | Auto-focus image system | |
JP5920608B2 (ja) | 画像の鮮明度を評価する撮像システムおよび方法 | |
JP2014504375A5 (ja) | ||
JP2014504375A (ja) | オートフォーカス画像システム | |
GB2495423A (en) | Image pickup apparatus with partial mirror |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120224 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130208 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130524 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130604 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20130830 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20130917 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131004 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131029 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131128 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5435362 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |