JP2016057638A - 複数のエッジ幅からフォーカス信号を生成する方法 - Google Patents
複数のエッジ幅からフォーカス信号を生成する方法 Download PDFInfo
- Publication number
- JP2016057638A JP2016057638A JP2015238094A JP2015238094A JP2016057638A JP 2016057638 A JP2016057638 A JP 2016057638A JP 2015238094 A JP2015238094 A JP 2015238094A JP 2015238094 A JP2015238094 A JP 2015238094A JP 2016057638 A JP2016057638 A JP 2016057638A
- Authority
- JP
- Japan
- Prior art keywords
- edge
- gradient
- width
- image
- focus signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000003313 weakening effect Effects 0.000 claims description 2
- 238000012937 correction Methods 0.000 description 24
- 238000004364 calculation method Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 17
- 230000008859 change Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 13
- 238000005259 measurement Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- 238000003708 edge detection Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000007423 decrease Effects 0.000 description 6
- 238000003491 array Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000006837 decompression Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000007717 exclusion Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
- G03B13/36—Autofocus systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Focusing (AREA)
Abstract
【課題】画像のうちの複数のエッジに属する複数のエッジ幅からフォーカス信号を生成する方法を提供することである。【解決手段】画像の画像鮮明さの程度を表すために、画像のうちの複数のエッジに属する複数のエッジ幅からフォーカス信号を生成する方法であって、エッジのピーク勾配値の第1および第2割合のそれぞれとして規定される第1および第2勾配レベルのそれぞれにより限定される第1および第2パラメータの値をそれぞれ求めてそれぞれ第1および第2値を得るステップと、第1および第2値は第1および第2パラメータの間の所定の制約から外れる場合、フォーカス信号を生成する際に、エッジに属するエッジ幅によるフォーカス信号への寄与を排除する又は弱めるステップと、を包含し、第1及び第2パラメータのそれぞれは、勾配プロファイルまたその最大の勾配の前後で測定されてそれぞれの値を判定される。【選択図】図23A
Description
(関連出願との相互参照)
本出願は、2009年12月7日に出願された米国仮出願第61/267,436号に基づく優先権を主張する。
本出願は、2009年12月7日に出願された米国仮出願第61/267,436号に基づく優先権を主張する。
開示される主題は概して、電子的にオートフォーカスして取り込まれた画像に関するものである。
デジタルカメラおよびデジタルビデオカメラなどのような写真機材は、静止又はビデオ画像への処理のために光を取り込む電子画像センサーをそれぞれ備えることができる。電子画像センサーは一般的に、フォトダイオードのような光取込素子を数百万個含んでいる。
カメラなどのような多くの画像取込装置は、オートフォーカスシステムを備えている。オートフォーカスのプロセスは、画像を取り込む工程と、フォーカスされているか否かを決定するように前記画像を処理する工程と、前記画像がフォーカスされていない場合に、フォーカスレンズの位置(フォーカス位置)を変更するために用いられるフィードバック信号を発生する工程とを含む。オートフォーカス技術としては、主に、コントラスト測定に関わる技術と、対になる画像の間の位相差に着目する技術との2つがある。前記コントラスト方法においては、隣接画素間の強度差を解析し、最大コントラストが検出されるまで前記フォーカスを調節する。前記コントラスト技術は、静止ピクチャに対応することができるが、モーションビデオには適していない。
前記位相差方法は、入力画像を、別々の画像センサーにより取り込まれる2つの画像に分割することを含む。また、前記2つの画像を比較して位相差を決定する。そして、前記2つの画像がマッチするまで前記フォーカス位置を調節する。前記位相差方法は、ビームスプリッター及び付加的な画像センサーのような付加的な部品が必要である。さらに、前記位相差の方法は、相対的に小さい帯域における固定検出点を解析する。小さなグループの検出点を有すると、ノイズが1つ以上の点に重ねられる可能性があるため、エラーが発生しやすくなる。この技術は、前記検出点が画像のエッジと一致しない場合にも無効である。結果として、前記位相差方法は、前記光を分割するため、光センサーに衝突する光の量が半分又はそれ以下に低減されてしまう。これは、前記画像の光強度が低下した薄暗い設置環境において問題になり得る。
フォーカス信号発生器に結合されている画素アレイを含むオートフォーカス画像システムである。前記画素アレイは、幅を有するエッジを少なくとも1つ備える画像を取り込む。前記発生器は、前記エッジ幅の関数及びエッジ幅の種々の統計データであるフォーカス信号を発生する。前記発生器は、画像信号の勾配プロファイルが非対称であるエッジを除去してもよい。前記発生器はまた、前記勾配において関連するピーキング用のテンプレートから外れるエッジを除去してもよい
開示されるのは、フォーカス信号発生器に結合されている画素アレイを含むオートフォーカス画像システムである。前記画素アレイは、幅を有するエッジを少なくとも1つ備える画像を取り込む。前記フォーカス信号発生器は、エッジ幅の関数及び/又は複数のエッジ幅の統計データであるフォーカス信号を発生し得る。オートフォーカス画像システムは、フォーカス信号発生器に接続された画素アレイを有する。前記画素アレイは、幅を有する少なくとも1つのエッジを備える画像を取り込む。前記発生器は、前記エッジ幅の関数とエッジ幅の様々な統計データであるフォーカス信号を発生する。前記発生器は、画像信号の勾配が非対称であるエッジを除去してもよい。前記発生器はまた、前記勾配において対応するピーキングのためのテンプレートを持たないエッジを除去してもよい。プロセッサーが、前記フォーカス信号及び/又は前記複数のエッジ幅の統計データを受信し、フォーカスレンズのフォーカス位置を調節する。前記エッジ幅は、勾配の利用を含む様々な技術により決定することができる。複数のエッジ幅を示すヒストグラムは、特定の画像がフォーカスされているか否かを決定するために使用することができる。薄いエッジ幅の大きな個体数を有するヒストグラムが、フォーカスされている画像を示す。
構成
参照番号に基づいて図面をさらに詳しく参照すると、図1は、オートフォーカス画像取込システム102の一実施形態を示す。前記システム102は、デジタルスチルカメラの一部であってもよいが、このシステムは画像の制御されたフォーカスが必要ないずれの装置で具現化されてもよいことを理解すべきである。前記システム102は、フォーカスレンズ104と、画素アレイ及び回路108と、A/D変換器110と、プロセッサー112と、表示装置114と、メモリカード116と、ドライブモータ/回路118とを含んでもよい。シーンからの光が前記レンズ104を介して入射する。前記画素アレイ及び回路108は、前記A/D変換器110によりデジタル信号に変換されるアナログ信号を発生する。前記画素アレイ108は、例えば、ベイヤパターンのようなモザイクカラーパターンを組み入れてもよい。前記デジタル信号は、例えば色補間、フォーカス位置制御、色補正、画像圧縮/解凍、ユーザインターフェース制御及び表示装置制御のような様々な処理を実行する前記プロセッサー112に送信されてもよく、前記フォーカス信号発生器120に送信されてもよい。前記フォーカス信号発生器120及び前記プロセッサー112が異なるパッケージに備わっている場合には、前記デジタル信号130に対して色補間を行って前記フォーカス信号発生器120のためにそれぞれの画素における欠落色信号を見積もるために、色補間ユニット148を利用してもよい。または、前記フォーカス信号発生器120及び前記プロセッサー112が同一パッケージ144にある場合には、前記フォーカス信号発生器120は、図2に示すようにバス146を通して前記プロセッサー112から補間されたカラー画像又は前記A/D変換器110から発生された元の画像信号から導き出された単一画像信号(例えば、階調信号)を入力してもよい。
参照番号に基づいて図面をさらに詳しく参照すると、図1は、オートフォーカス画像取込システム102の一実施形態を示す。前記システム102は、デジタルスチルカメラの一部であってもよいが、このシステムは画像の制御されたフォーカスが必要ないずれの装置で具現化されてもよいことを理解すべきである。前記システム102は、フォーカスレンズ104と、画素アレイ及び回路108と、A/D変換器110と、プロセッサー112と、表示装置114と、メモリカード116と、ドライブモータ/回路118とを含んでもよい。シーンからの光が前記レンズ104を介して入射する。前記画素アレイ及び回路108は、前記A/D変換器110によりデジタル信号に変換されるアナログ信号を発生する。前記画素アレイ108は、例えば、ベイヤパターンのようなモザイクカラーパターンを組み入れてもよい。前記デジタル信号は、例えば色補間、フォーカス位置制御、色補正、画像圧縮/解凍、ユーザインターフェース制御及び表示装置制御のような様々な処理を実行する前記プロセッサー112に送信されてもよく、前記フォーカス信号発生器120に送信されてもよい。前記フォーカス信号発生器120及び前記プロセッサー112が異なるパッケージに備わっている場合には、前記デジタル信号130に対して色補間を行って前記フォーカス信号発生器120のためにそれぞれの画素における欠落色信号を見積もるために、色補間ユニット148を利用してもよい。または、前記フォーカス信号発生器120及び前記プロセッサー112が同一パッケージ144にある場合には、前記フォーカス信号発生器120は、図2に示すようにバス146を通して前記プロセッサー112から補間されたカラー画像又は前記A/D変換器110から発生された元の画像信号から導き出された単一画像信号(例えば、階調信号)を入力してもよい。
前記フォーカス信号発生器120は、さらにプロセッサー112から1つのグループの制御信号132を受信し、そして、複数の信号134を前記プロセッサー112に出力してもよい。出力信号134は、フォーカス信号134と、狭いエッジのカウントと、前記画像におけるエッジ幅の統計データを示す1組の数字とのうちの1つ以上を含んでもよい。前記プロセッサー112は、前記ドライブモータ/回路118に送信されて前記フォーカスレンズ104を制御するフォーカス制御信号136を発生することができる。フォーカスされている画像は、最終的に前記表示装置114に供給され、及び/又は前記メモリカード116に記憶される。フォーカス位置を調節するためのアルゴリズムは、前記プロセッサー112により実行されてもよい。
前記画素アレイ及び回路108、A/D変換器110、フォーカス信号発生器120、及びプロセッサー112は、全て1つのパッケージに備わっていてもよい。または、前記画素アレイ及び回路108、A/D変換器110、及びフォーカス信号発生器120は、前記プロセッサー112とは別に、図1に示すような画像センサー150としての1つのパッケージ142に備わっていてもよい。または、フォーカス信号発生器120及びプロセッサー112は、前記画素アレイ108及びA/D変換器110とは別に、図2に示すようなカメラコントローラ160としての1つのパッケージ144に備わっていてもよい。
フォーカス信号発生器
図3は、画像供給ユニット202から画像を受信するフォーカス信号発生器120の一実施形態を示す。前記画像供給ユニット202は、図1における色補間器148または図2におけるプロセッサー212であってもよい。前記フォーカス信号発生器120は、エッジ検出・幅測定(EDWM)ユニット206と、フォーカス信号算出器210と、長さフィルター212と、幅フィルター209とを含んでもよい。それは、「精細」222を入力することにより制御される精細スイッチ220をさらに含んでもよい。前記フォーカス信号発生器120は、幅フィルター209からの狭いエッジのカウント、及びフォーカス信号算出器210からのフォーカス信号を供給してもよい。前記フォーカス信号は、「精細」222の入力によって選択可能である精細なフォーカス信号と概略フォーカス信号とのいずれか一方に設定可能である。または、精細なフォーカス信号も概略フォーカス信号も、算出されて出力信号134の一部として出力されてもよい。前記エッジ検出・幅測定ユニット206は、画像供給ユニット202により供給される画像を受信する。図1及び図2においては、制御信号「精細」222のような制御信号は、プロセッサー112により信号132に提供していてもよい。そして、図1及び図2において、前記出力信号134をプロセッサー112に供給してもよい。前記プロセッサー112は、前記フォーカスレンズ104のフォーカス位置を制御するフォーカスシステムコントローラとして機能し、出力信号134を解析して前記画像における鮮明なオブジェクトを検出することによって、複数のオブジェクトの画像を前記画素アレイ108において鮮明にフォーカスする。以下、前記フォーカス信号発生器120の各種の構成要素について説明する。
図3は、画像供給ユニット202から画像を受信するフォーカス信号発生器120の一実施形態を示す。前記画像供給ユニット202は、図1における色補間器148または図2におけるプロセッサー212であってもよい。前記フォーカス信号発生器120は、エッジ検出・幅測定(EDWM)ユニット206と、フォーカス信号算出器210と、長さフィルター212と、幅フィルター209とを含んでもよい。それは、「精細」222を入力することにより制御される精細スイッチ220をさらに含んでもよい。前記フォーカス信号発生器120は、幅フィルター209からの狭いエッジのカウント、及びフォーカス信号算出器210からのフォーカス信号を供給してもよい。前記フォーカス信号は、「精細」222の入力によって選択可能である精細なフォーカス信号と概略フォーカス信号とのいずれか一方に設定可能である。または、精細なフォーカス信号も概略フォーカス信号も、算出されて出力信号134の一部として出力されてもよい。前記エッジ検出・幅測定ユニット206は、画像供給ユニット202により供給される画像を受信する。図1及び図2においては、制御信号「精細」222のような制御信号は、プロセッサー112により信号132に提供していてもよい。そして、図1及び図2において、前記出力信号134をプロセッサー112に供給してもよい。前記プロセッサー112は、前記フォーカスレンズ104のフォーカス位置を制御するフォーカスシステムコントローラとして機能し、出力信号134を解析して前記画像における鮮明なオブジェクトを検出することによって、複数のオブジェクトの画像を前記画素アレイ108において鮮明にフォーカスする。以下、前記フォーカス信号発生器120の各種の構成要素について説明する。
EDWMユニット206は、前記入力画像を、前記画像の3つの信号、赤(R)、緑(G)及び青(B)が単一画像信号に変換されるように変換してもよい。画像を単一画像に変換するには、幾つかの技術が利用される。複数のRGB値を用いて輝度又は色度値を算出することができ、あるいは、特定比率のRGB値を用いて前記単一画像信号を形成することができる。例えば、前記輝度値は、Y=0.2126*R+0.7152*G+0.0722*B、ただし、Y=輝度値、という式により算出されることができる。前記単一画像信号はその後、ガウスフィルター又は任意のローパスフィルターによって処理され、隣接画素の間に画素信号値を円滑化してノイズを除去する。
前記フォーカス信号発生器120、120’、120”は、階調信号に限られない。それは、前記画像信号における1つ以上のエッジを検出するために、何れか1つの画像信号に対して操作を行ってもよい。または、それは、例えば、Y、R−G又はB−Gのような複数の画像信号の何れかの組み合せに対して操作を行ってもよい。それは、複数のエッジを検出するために、個別に前記R、G、B画像信号の一つ一つ、又はその何れか1つ以上の組合わせに対して操作を行ってもよい。それは、前記R、G、B画像信号の一つ一つ又はその何れかの組合わせに対して複数のエッジ幅の統計データを形成してもよい。それは、1つ以上の画像信号からの複数のエッジ幅の統計データによってフォーカス信号を形成してもよい。
それから、前記処理された画像の勾配が算出される。前記勾配を算出するには、ラプラシアン(Laplacian)法とソーベル(Sobel)法を含む様々な方法が利用可能である。垂直及び水平エッジをそれぞれ検出するために、例えば、Sobel−X演算子とSobel−Y演算子をそれぞれ利用し、複数の列及び複数の行に亘った勾配を算出してもよい。画素位置[k,q]におけるSobel−X演算子(ただし、kは行数でqは列数である)は、Sx[k,q]=U[k,q+1]−U[k,q−1]という式から得られる。同一位置におけるSobel−Y演算子は、Sy[k,q]=U[k+1,q]−U[k−1,q]、ただし、U=処理された画像の画像信号、という式から得られる。
配向タグ付け
それぞれの画素は、その垂直又は水平勾配の大きさが所定の下限(「消去閾値」)(例えば、8ビットの画像の場合には5)を超えている場合に、水平エッジ(「H」)又は垂直エッジ(「V」)とタグ付けられ、或いは、その垂直又は水平勾配の大きさがいずれも当該所定の下限以下の場合に、エッジ無しとタグ付けされる。前記下限によって、緩やかな陰影やノイズによる偽のエッジが消去される。画素は、その水平勾配の大きさがその垂直勾配の大きさを所定のヒステリシス量以上(例えば、8ビットの画像の場合には2)超えている場合に、垂直エッジとタグ付けされ、逆の場合も同様である。これら両方の勾配が前記ヒステリシス量よりも小さい場合に、前記画素は、その最も近くに隣接した、定められた方向タグを有する画素と同じ方向タグを獲得する。例えば、前記画像を行ごとに左から右へかつ1行ずつに下へ走査すると、隣接画素の検査順番として、まずは上の画素、次は左上の画素、次は左の画素、最後は右上の画素であってもよい。このヒステリシスの適用は、隣接画素がそれぞれほぼ同じ水平及び垂直勾配の大きさを有する場合に同様のタグを得ることを確実にするのに役立つ。図4は水平及び垂直勾配を有する6×6アレイにおけるタグ付けの結果を示す。それぞれのセルにおいては、水平勾配が左上方、垂直勾配が右方にあり、また、方向タグが底部にある。このステップで、エッジ画素がボールド体で印刷されて方向タグを得る資格が与えられるものは、5を超えている水平又は垂直勾配の大きさを有する画素のみである。
それぞれの画素は、その垂直又は水平勾配の大きさが所定の下限(「消去閾値」)(例えば、8ビットの画像の場合には5)を超えている場合に、水平エッジ(「H」)又は垂直エッジ(「V」)とタグ付けられ、或いは、その垂直又は水平勾配の大きさがいずれも当該所定の下限以下の場合に、エッジ無しとタグ付けされる。前記下限によって、緩やかな陰影やノイズによる偽のエッジが消去される。画素は、その水平勾配の大きさがその垂直勾配の大きさを所定のヒステリシス量以上(例えば、8ビットの画像の場合には2)超えている場合に、垂直エッジとタグ付けされ、逆の場合も同様である。これら両方の勾配が前記ヒステリシス量よりも小さい場合に、前記画素は、その最も近くに隣接した、定められた方向タグを有する画素と同じ方向タグを獲得する。例えば、前記画像を行ごとに左から右へかつ1行ずつに下へ走査すると、隣接画素の検査順番として、まずは上の画素、次は左上の画素、次は左の画素、最後は右上の画素であってもよい。このヒステリシスの適用は、隣接画素がそれぞれほぼ同じ水平及び垂直勾配の大きさを有する場合に同様のタグを得ることを確実にするのに役立つ。図4は水平及び垂直勾配を有する6×6アレイにおけるタグ付けの結果を示す。それぞれのセルにおいては、水平勾配が左上方、垂直勾配が右方にあり、また、方向タグが底部にある。このステップで、エッジ画素がボールド体で印刷されて方向タグを得る資格が与えられるものは、5を超えている水平又は垂直勾配の大きさを有する画素のみである。
前記画像、前記勾配、及び前記タグは、垂直エッジには水平に、水平エッジには垂直に走査されてもよい。同一行において同一の水平勾配極性を有し、かつ全てが垂直エッジとしてタグ付けされた隣接する複数の画素の各グループは、このグループの左側又は右側に同じようなことを満たす隣接画素がない場合に、垂直エッジとして示されてもよい。同様に、同一列において同一の垂直勾配極性を有しかつ全てが水平エッジに対してタグ付けした各グループの連続画素は、このグループの上側又は下側に同じようなことを満たす隣接画素がない場合に、水平エッジとして示されてもよい。これによって、水平及び垂直エッジを識別することができる。
エッジ幅
それぞれのエッジは、勾配の大きさが前記エッジにおけるピーク勾配の大きさの所定の割合よりも小さい画素を除去することによって精細化されてもよい。図5は、エッジのピーク勾配の大きさの3分の1に等しい精細化閾値を利用し、前記エッジ幅を元の9から減らした3に精細化する前記ステップを示す。このエッジの精細化は、勾配が多くの画素において緩やかな減衰を起こし得る多数の重なった陰影が画像にあっても、エッジの鮮明さの視覚認知を支配する見掛けのエッジ幅を設定する主な勾配成分を識別することができるものである。
それぞれのエッジは、勾配の大きさが前記エッジにおけるピーク勾配の大きさの所定の割合よりも小さい画素を除去することによって精細化されてもよい。図5は、エッジのピーク勾配の大きさの3分の1に等しい精細化閾値を利用し、前記エッジ幅を元の9から減らした3に精細化する前記ステップを示す。このエッジの精細化は、勾配が多くの画素において緩やかな減衰を起こし得る多数の重なった陰影が画像にあっても、エッジの鮮明さの視覚認知を支配する見掛けのエッジ幅を設定する主な勾配成分を識別することができるものである。
エッジ幅は、既知方法の何れか1つにより算出されてもよい。エッジ幅の算出方法の1つは、ただ、1つのエッジにおける画素数を数えることである。図5にはエッジ幅を算出する代替方法を示す。図5において、前記精細化閾値304からの補間により、精細化されたエッジの第1の外部画素(画素3)とその隣接した外部画素(画素2)との間に第1の小数画素位置(2.4)が求められる。同様に、第2の外部画素(画素5)とその隣接した外部画素(画素6)との間に第2小数画素位置(5.5)が求められる。前記エッジ幅は、この2つの小数画素位置間の差、5.5−2.4=3.1として求められる。
斜め補正
各エッジは、所定の方向(例えば、垂直方向又は水平方向)又は他の垂直な所定の方向(例えば、水平方向又は垂直方向)に指定されていてもよく、この指定されたエッジ方向に対して垂直な方向に測定したエッジ幅を有していてもよいが、それらのエッジが現れる画像において異なる画像信号値の複数の領域間の境界は、前記所定方向のいずれかに正確にアライメントされていなくてもよく、また一般にされていない。図6Aにおいて、境界(陰影付きの帯)は、垂直鎖線に対して斜め角φ傾斜しており、幅aは、垂直方向(例えば、水平方向)で測定していることを示している。しかしながら、幅b(図に示す)は、境界方向(これもまた境界の一部をなすエッジの方向)に垂直な方向において測定しており、幅aよりも境界の幅(また、エッジの幅)として、より適切である。それぞれのエッジ方向から垂直には測定していないこのような幅 aは、長くなりすぎる傾向にあり、それぞれの境界の実際の厚さを表していない。
各エッジは、所定の方向(例えば、垂直方向又は水平方向)又は他の垂直な所定の方向(例えば、水平方向又は垂直方向)に指定されていてもよく、この指定されたエッジ方向に対して垂直な方向に測定したエッジ幅を有していてもよいが、それらのエッジが現れる画像において異なる画像信号値の複数の領域間の境界は、前記所定方向のいずれかに正確にアライメントされていなくてもよく、また一般にされていない。図6Aにおいて、境界(陰影付きの帯)は、垂直鎖線に対して斜め角φ傾斜しており、幅aは、垂直方向(例えば、水平方向)で測定していることを示している。しかしながら、幅b(図に示す)は、境界方向(これもまた境界の一部をなすエッジの方向)に垂直な方向において測定しており、幅aよりも境界の幅(また、エッジの幅)として、より適切である。それぞれのエッジ方向から垂直には測定していないこのような幅 aは、長くなりすぎる傾向にあり、それぞれの境界の実際の厚さを表していない。
複数のエッジ幅からフォーカス信号を算出するために、これらの所定方向のうちの一方又は他方において測定された前記複数のエッジ幅が、それらをそれぞれのエッジの方向に垂直する方向での幅に低減させることにより補正される。前記エッジ検出・幅測定ユニット206は複数のエッジ幅に対してこのような補正を行う。図6Aに示すように、前記測定された幅aは、直角三角形の斜辺の長さである。前記直角三角形は、その底辺(幅bでマークする)が陰影付きの境界を垂直(これによって前記エッジ方向に垂直)に越えており、角度φを有している。そして、前記補正された幅bは、前記エッジ方向に垂直な方向への前記測定された幅aの投影から得られ得る。基本三角法から、この投影は、b = a cos(φ)から求められるが、20%以下の正確性が得られれば、近似値を使ってもよい。前記角度φ又はcos(φ)そのものは、この技術において知られている、画像におけるエッジの方向を求めるための何れかの既知方法、又は図7に示すフローチャートに記載されるより正確な方法によって、求められ得る。
それぞれの水平又は垂直エッジのエッジ幅は、前記水平又は垂直配向(所定の方向)からの斜めに対して補正されてもよい。図6A、6Bは、垂直線から傾斜した境界(及びこれによって前記境界を形成する複数のエッジ)について水平方向に測定されたエッジ幅に対する補正計算を示す。図6C、6Dは、水平線から傾斜した境界(及びこれによって前記境界を形成する複数のエッジ)について垂直方向に測定されたエッジ幅に対する補正計算を示す。前記補正は、所定の方向(例えば垂直方向又は水平方向)に測定された前記エッジ幅に因子cosφ(ただし、φは前記所定の方向からの斜め角)を乗じることにより行われてもよい。
例えば、図7は、1つの垂直線から傾斜した複数のエッジについてのエッジ幅を斜め補正するためのプロセスのフローチャートを示す。(水平エッジについては、フローチャートにおいて「行」を「列」に置換し、「水平」で「垂直」を置き換える。)
ステップ502からステップ506において、斜め角φが求められる。それぞれの垂直エッジに対して、ステップ502において、水平勾配の大きさがピークに達する列の位置を位置づけ、水平勾配xを求める。ステップ504において、前記列の位置に沿って、2つの画素以内で垂直勾配の大きさがピークに達する位置を求め、そしてこの垂直勾配yを求める。
ステップ502からステップ506において、斜め角φが求められる。それぞれの垂直エッジに対して、ステップ502において、水平勾配の大きさがピークに達する列の位置を位置づけ、水平勾配xを求める。ステップ504において、前記列の位置に沿って、2つの画素以内で垂直勾配の大きさがピークに達する位置を求め、そしてこの垂直勾配yを求める。
ステップ506において、斜め角φ = tan−1(y/x)を求める。ステップ506において、斜め角がルックアップ表を調べることによって求められ得る。ステップ502〜506は、斜め角を求める1つの特定手順及び方法を示しているが、その代わりに当該分野に公知の他の手順及び方法を使用してもよい。
最後に、ステップ508において、当業者が実際によく行うように、cos(φ)で又はその近似値で乗算することにより前記エッジ幅を縮小する。
図7に示すプロセスの第1の変形としては、入力値x及びyの種々の組み合わせに対するエントリーを有するルックアップ表を提供することに、ステップ506及び一部のステップ508を置き換える。入力値x及びyの組合わせのそれぞれに対して、前記ルックアップ表はエッジ幅補正因子を返す。前記ルックアップ表により出力されるエッジ幅補正因子は、cos(tan−1(y/x))の20%以下(好ましくは5%以下)の近似値であってもよい。そして、前記エッジ幅は、この補正因子で乗算されて斜め補正されたエッジ幅を形成する。
第2の変形としては、垂直勾配yと水平勾配xとの商y/xを算出して商qを発生し、そしてqを使用してqの各種の値のエントリーを有するルックアップ表に入力する。qのそれぞれの値に対して、前記ルックアップ表はエッジ幅補正因子を返す。前記エッジ幅補正因子は、cos(tan−1(q))の20%以下(好ましくは5%以下)の近似値であってもよい。
斜め角φ(又はその近似値。それによって、前記補正因子の正確性が20%以下になる。)を求めてから、それによって補正因子cos(φ)(又はその近似値)を求め、又は(第1及び第2の変形に記載したように)前記斜め角φを求めずに補正因子を直接に求めるためには、ステップ502〜506でx及びyの値を得てもよいが、その代わりに他の方法によってこの2つの値を求めてもよい。
第3の変形としては、前記エッジにおける複数の画素のそれぞれに対して次のことを実行する。(a)画素について水平勾配x及び垂直勾配yの両方を求める。(b)前記画素についてq = y/xを求める。そして、(c)qに対応する補正因子(例えば、cos(tan−1(q))又はその20%以内の近似値)を求める。最後に、前記複数の画素のそれぞれからの補正因子において平均化することによって前記エッジ幅の補正因子を求める。前記平均値は、重み付け平均値、例えば、比較的大きい水平勾配を有する画素に比較的小さい水平勾配を有する別の画素より大きい重みを与えるものであってもよい。
これらの方向や他の方向に沿って別の変形が可能である。
選別閾値
それらのピーク勾配の大きさが隣接する比較的広いエッジのピーク勾配の大きさの所定の割合未満であれば、隣接した複数のエッジがフォーカス信号に寄与することをすっかり排除する又は衰減させることができる。図9A、9B及び9Cは検討されている問題を示す。
それらのピーク勾配の大きさが隣接する比較的広いエッジのピーク勾配の大きさの所定の割合未満であれば、隣接した複数のエッジがフォーカス信号に寄与することをすっかり排除する又は衰減させることができる。図9A、9B及び9Cは検討されている問題を示す。
図9Aは、それぞれが2画素分の幅の2つの狭い黒色空間によって隔てられた3つの垂直白色バーを示す。前記真ん中の白色バーは2画素分の幅の狭いバーである。図9Bは、鮮明な画像及びぼやけた画像のそれぞれについて図9A中の画像において水平に描いた画像信号を示す。図9Cは、前記鮮明な画像及びぼやけた画像について図9BのSobelx勾配を描いている。図9Cにおいて、前記ぼやけた画像の第1のエッジ(画素2〜5)は前記鮮明な画像の第1のエッジより広く、そして、予想されるように、最後のエッジ(画素13〜15)も同じである。しかし、2つの最も狭いエッジ(画素9と10、及び画素11と12)は両方の画像において2という幅がある。図9Bにおいて、画素9と10及び画素11と12における対応する傾斜は、それぞれ2つの画素で遷移を完成する。しかし、前記ぼやけた画像は、比較的広いエッジから比較的狭いエッジへのピーク勾配の大きさが50%も著しく減少されている。一方、前記鮮明な画像は、比較的広いと比較的狭いエッジとの間で変化が10%未満である。
反対符号の勾配を有する比較的広いエッジに隣接する比較的狭いエッジのピーク勾配の大きさの(例えば20%以上の)著しい減少は、前記ぼやけた画像がよくフォーカスされていないことを示唆する。従って、前記比較的狭いエッジは、前記ぼやけた画像が鮮明であることを示唆するものであるとして、信頼すべきではない。
同様に、互いに緊密に近接していれば、例えば、1画素(「最小エッジ隙間」)しか離れていなければ、それらのエッジの幅が小さくても、交互勾配極性を有する互いに隣接する複数のエッジは、前記ぼやけた画像が鮮明であることを示唆するものであるとして、信用すべきではない。前記最小エッジ隙間は、(例えば1又は2又はその間)画素数で表す。
さらに、消去閾値よりも小さいピーク勾配を有するので1つのエッジが消去され得ると仮定すると、2つの互いに隣接するエッジの一方又は両方からの寄与を消去又は降格させる条件として、次の条件を用いてもよい。すなわち、2つの連続エッジは、同じ勾配極性を有し、かつ、最小エッジ隙間の2倍に鮮明_エッジ_幅(鮮明_エッジ_幅とは、鮮明なエッジのエッジ幅を示すように割り当てられる数である。)を足した距離以下離れるという条件である。
前記エッジ検出・幅測定ユニット206は、比較的広いエッジによって設定された選別閾値、及びオン/オフできる変調選別フラグに基づき、ぎっしり詰まっている比較的狭いエッジを消去するための下記のアルゴリズムを実行することができる。
それぞれのエッジに対して、反対極性の直後のエッジに用いられる選別閾値及び選別フラグは、図10に示すフローチャートのプロセスによって決定される。
前記選別閾値及び選別フラグが与えられると、下記条件の1つが成立しなければ、1つのエッジが消去される。(a)このエッジに対して選別フラグがオフになる。(b)前記エッジのピーク勾配の大きさがこのエッジに対する選別閾値以上である。条件(a)及び(b)には、条件(c)エッジ幅が鮮明_エッジ_幅+1以上であることが加えられてもよい。ここで、1つの数が、1つの鮮明なエッジのエッジ幅を指定するように鮮明_エッジ_幅に割り当てられるが、前記「+1」は、エッジが(a)及び(b)を満たさないと当該エッジが消去される鮮明_エッジ_幅を超えたエッジ幅の範囲を設定するように変更されてもよい。図9A〜9Cに示す実例には、鮮明_エッジ_幅が2であってもよい。図10はそれぞれのエッジについて選別閾値及び選別フラグを決定するフローチャートである。垂直エッジに対しては、行に沿って左から右へ走査すると仮定しているが、これに限定されない。(水平エッジに対しては、列に沿って上部から底部へ走査すると仮定しているが、これは必須ではない。)鮮明_エッジ_幅に1つの数が割り当てられ、図9A〜9Cに示す実例では2であってもよい。ステップ702において第1のエッジで開始し、ステップ720において、それぞれのエッジに対して、そのエッジ幅が1に鮮明_エッジ_幅を加えたもの以上になるか否かのクエリーを行い、前記値1はここで説明に用いられる最小エッジ隙間値であるが、異なる値(例えば0.5〜2.0の値)を使用してもよい。「はい」の場合、前記エッジが比較的広いエッジであり、ステップ706でその後、反対極性を有する直後のエッジに対する選別閾値を前記エッジのピーク勾配の大きさのβ倍に設定し、βが0.3〜0.7で、好ましくは0.55であり、そしてステップ708でその後、次のエッジに対して選別フラグをオンにし、引き続き次のエッジを処理する。「いいえ」の場合、前記エッジが比較的広いエッジではなく、ステップ730でその後、このエッジと同じ勾配極性を有する前のエッジとのある間隔が前記最小エッジ隙間の2倍(又は、他の異なる所定の数)に鮮明_エッジ_幅を加えたものより大きいか、かつ、反対極性を有する直前のエッジ(もし存在する場合)との間隔が前記最小エッジ隙間より大きいかを調べる。「はい」とすると、ステップ710でその後、次のエッジに対して前記選別フラグをオフにする。「いいえ」とすると、次のエッジに対して前記選別フラグ及び前記選別閾値を維持し、次のエッジへ進む。βは1つの所定の小数であってもよく、又は所定の式によって算出される小数、例えば1つのエッジ幅の関数であってもよい。後者の場合には、βは前記画像の部分によって異なってもよい。
勾配ピーキングテンプレート
図23A及び図23Bは、フォーカス信号発生器が勾配ピーキングテンプレートをピーク辺りの勾配プロファイルと比較する方法を示す。不一致が検出されると、前記フォーカス信号発生器は、対応するエッジ及びそのエッジ幅をフォーカス信号、エッジカウント又はフォーカス制御の算出に組み入れることから低減又は全て除去する。図23Aは、画像信号において真正エッジをわたる画像信号の勾配プロファイルを示し、図23Bは、偽エッジをわたる画像信号の勾配プロファイルを示す。
図23A及び図23Bは、フォーカス信号発生器が勾配ピーキングテンプレートをピーク辺りの勾配プロファイルと比較する方法を示す。不一致が検出されると、前記フォーカス信号発生器は、対応するエッジ及びそのエッジ幅をフォーカス信号、エッジカウント又はフォーカス制御の算出に組み入れることから低減又は全て除去する。図23Aは、画像信号において真正エッジをわたる画像信号の勾配プロファイルを示し、図23Bは、偽エッジをわたる画像信号の勾配プロファイルを示す。
勾配ピーキングテンプレートは、上勾配大きさと下勾配大きさにおける、一方が他方を制約するピーキング勾配プロファイルの幅の関数、例えば差分又は比を使って特定してもよい。例えば、図23Aにおいて、また同様に図23Bにおいて、上勾配大きさが0.85で、下勾配大きさが0.3であることを、それぞれ点線及び鎖線で示している。図23Aにおいて、上勾配大きさでの勾配プロファイルの幅は、約1.5画素であり、補間勾配プロファイルが上勾配レベルと交差する2つの位置の間の距離である。下勾配レベルにおいては、勾配プロファイル幅は、約4.5画素である。上下勾配レベルでの2つの幅の差分は、3.0画素である。上下勾配レベルでの前記2つの幅の比は、1対3である。一方、図23Bにおいて、前記幅は、それぞれ約3.2画素及び5.5画素であり、2.3画素の差分及び1対1.7の比となり、図23Aの真正勾配プロファイルとは、かなり異なっている。図23Bに示すような真正エッジを表さない偽勾配プロファイルを検出し、不適格とするために、上下勾配レベル間の勾配プロファイルの幅の差分が2.5〜3.5画素あるという制約又は/及び前記比が1対2.6〜1対3.45であるという制約としてテンプレートを特定してもよく、この範囲から外れた、ピーキング勾配プロファイルに対応するエッジを排除する又は弱めてもよい。従って、図23Bの偽勾配プロファイル例に関するテンプレートを使用して、図23Bのピーキング勾配プロファイルに対応するエッジが排除される又は弱められる。差分及び比のどちらも、勾配ピーキングテンプレートの制約の許容範囲内から外れているからである。
言い換えれば、勾配ピーキングテンプレートの制約は、第1勾配レベルで良好な勾配プロファイルは、他の勾配レベルでの勾配プロファイルの幅に依存すると規定している。すなわち、一方が他方を制約する、はっきりとした関係があると規定している。幅は補間を使用して決定しているため、幅を決定する際の誤差としてある程度の許容誤差を考慮に入れている。従って、テンプレートは、F(W2)<W1<G(W2)として表現されてもよい。但し、W1は、第1勾配レベルでの幅、W2は第2勾配レベルでの幅、F(W2)及びG(W2)は、W2を使ったW1の最小幅制約及び最大幅制約を表すW2の関数である。
図23Dを参照して、この制約の原理を説明する。図23Dにおいて、異なる幅を有する5つの良好な勾配プロファイルを示す。全て、ピーク勾配レベル1で正規化している。L1及びL2は、勾配プロファイルを通って切った2つの異なる勾配レベルである。前記勾配プロファイルの幅を、下勾配レベルL2における最小から最大へ、W0aからW4aとする。同様に、上勾配レベルでは、前記幅は、W0bの最も狭い勾配プロファイルからW4bの最も広い勾配プロファイルの、同様の順番となる。図26はこれらの関係を示し、前記上の幅が前記下の幅に比例していることは、明らかである。前記関係は、予測可能であり、低次多項式、例えば2次多項式のような簡単な関数で記述することができる。従って、下幅が決まれば、下幅に依存し、且つ補間による誤差を考慮した許容値を加えた前記関数を前記下幅で乗算することによって、上幅は求められる。実際には、前記関数は、複数の下幅(又は上幅)及びそれに対応する上幅(又は下幅)を少数記憶するルックアップテーブルとして実現してもよい。下幅w’aに対応する上幅を求めるために、図26に示すように、w1a、w2a及びww3aの3つのデータポイントとそれらに対応する上幅w1b、w2b及びww3bとの間を補間することで、対応する上幅の所望の値w’bが得られる。
勾配ピーキングテンプレートを特定する他の方法は、上勾配大きさでの画素数と下勾配大きさでの画素数との差分又は比を求めるものである。但し、各勾配大きさはそれぞれ、ピーク(又は補間ピーク)勾配大きさから一定の上側の割合及び下側の割合に位置している。例えば、図23Aにおいて、上勾配大きさ0.85では画素は1つあり、下勾配大きさ0.3では画素が5つあり、差分が4画素、比が1対5となっている。一方、図23Bにおいては、前記上勾配大きさで3つの画素があり、前記下勾配大きさで5つの画素があり、差分はたった2であり、比はたった1対1.7である。テンプレートは、差分が3.5〜4.5画素であり、且つ/又は比が1対4〜1対6であるという制約として特定してもよく、前記範囲から外れた、前記ピークに対応する幅を排除し又は弱めてもよい。従って、本例においては、図23Bの前記勾配ピーキングに対応するエッジを排除する又は弱める。
ピーク勾配の所定の割合で、2つの異なるテンプレートを2つの異なるエッジ幅に対して特定してもよい。例えば、ピーク勾配値の50%の勾配レベルで6の幅を有する勾配プロファイルは、3の幅を有する他のテンプレートではなく、異なるテンプレートを使用してもよい。前記所定の割合は、勾配プロファイルの幅の関数であり得る。
図24A〜24Dにこの様な制約を実施するための他の方法を示す。各図において、2対の最大及び最小幅制約を示す。一方の対は上勾配レベルL1に対するものであり、他方の対は下勾配レベルL2に対するものである。横に示す斜線三角形が範囲を示す。2対の制約の各組について各組の制約を満たすのは、示した5つの基準勾配プロファイルのうち1つだけである。図25A〜25Dでは、検査中の勾配プロファイルが前記2つの勾配レベルのうちの1つ、すなわち下勾配レベルL1において最大−最小制約を満たすように、検査される各勾配プロファイルに1組割り当てられることを示している。利用可能な組の数を限定しているため、これは、検査される勾配プロファイルの幅が前記勾配レベルL1で特定の最大−最小制約を生じ、検査中の勾配プロファイルが前記下勾配レベルL1での最大−最小制約を満たしている組において、前記最大−最少制約が上勾配レベルL2での幅を検査すべき勾配プロファイルと関連するようになることを意味している。ここで、図25Aでは、上勾配レベルL2で勾配プロファイルが通っていることがわかる。図25Bでは、新たな勾配プロファイルも通っている。しかしながら、図25Cにおいては、上部が太い偽勾配プロファイルは、上勾配レベルにおいて最大制約を外れている。図52Dにおいて、上部が細い偽勾配プロファイルは、最小制約を外れている。
なお、本明細書の最初で述べたように、複数のエッジが斜めになっている場合、エッジ幅を斜め補正すべきであり、前記複数の幅を縮小する補正を行う。検査中の勾配プロファイルを適用して、制約の正しい組を選択する前に、勾配プロファイルから測定した幅は、ルックアップテーブルのルックアップ、補間等のさらなるステップの前に斜め補正されるべきである。例えば、勾配プロファイルの測定した幅は縮小して、斜め補正してから、他の勾配レベルでの幅にマッピングすべきである。しかし、前記他の勾配レベルでのこの幅は、縮小を反転させる必要がある。言い換えれば、斜め補正の補正因子の逆数を使用して、縮尺を戻す必要がある。また、同様に、ルックアップテーブルからの前記複数の幅を拡大する。
上述の偽エッジの検出及び解決は、前記エッジ検出・幅測定ユニット206で行ってもよい。
長さフィルター
以下、長さフィルター212の機能について説明する。広義では、長さフィルター212は、それぞれが同様の配向の1つ以上のエッジに接続するエッジへの嗜好を作成する。同様の方向を有してその他のエッジのいずれにも接しない独立したエッジに比べて、同様の方向を有してグループにおいて互いに接続されたグループのエッジ(「連結エッジ」)は、ノイズに起因する可能性が高くない。従って、同様の方向を有して一緒に連結されたエッジが多ければ、ノイズに起因する可能性が低くなる。ノイズに起因する前記グループの確率は、グループにおけるエッジ数が増えるにつれ、指数関数的に低下され、また直線的な低下よりずっと早い。この特性は、ノイズの抑制に用いられ、特に、画像において又は対象領域において信号対雑音比が例えば10未満と弱いといった薄暗い又は短い露光の場合に用いることができる。前記嗜好は、何れの適当な方法で実施されて表現されてもよい。後述される複数の方法は単に例示に過ぎない。
以下、長さフィルター212の機能について説明する。広義では、長さフィルター212は、それぞれが同様の配向の1つ以上のエッジに接続するエッジへの嗜好を作成する。同様の方向を有してその他のエッジのいずれにも接しない独立したエッジに比べて、同様の方向を有してグループにおいて互いに接続されたグループのエッジ(「連結エッジ」)は、ノイズに起因する可能性が高くない。従って、同様の方向を有して一緒に連結されたエッジが多ければ、ノイズに起因する可能性が低くなる。ノイズに起因する前記グループの確率は、グループにおけるエッジ数が増えるにつれ、指数関数的に低下され、また直線的な低下よりずっと早い。この特性は、ノイズの抑制に用いられ、特に、画像において又は対象領域において信号対雑音比が例えば10未満と弱いといった薄暗い又は短い露光の場合に用いることができる。前記嗜好は、何れの適当な方法で実施されて表現されてもよい。後述される複数の方法は単に例示に過ぎない。
第1の方法としては、連結長さ閾値より小さい長さを有する垂直/水平連結エッジに属するエッジを消去する。前記連結長さ閾値は、前記対象領域が比較的薄暗い場合に比較的に大きくしてもよい。例えば、前記連結長さ閾値は、2のような小さな値から始まってもよいが、対象領域における信号対雑音比が5に低下される場合に8に増える。前記連結長さ閾値は、前記プロセッサー112、112’、112”によって、例えば、信号132の一部となる図3に示すような「長さコマンド」信号で提供されてもよい。または、前記閾値は、式に基づいて前記フォーカス信号発生器で算出されてもよい。
第2の方法としては、それぞれのエッジに対して前記長さフィルター212で長さ重みを提供し、そしてこの長さ重みを前記フォーカス信号算出器210でのフォーカス信号の算出に適用する。比較的長い連結エッジの一部であるエッジは、比較的短い連結エッジの一部であるエッジより大きい重みを受け取る。例えば、前記長さ重みは、前記連結エッジの長さの平方であってもよい。従って、全ての寄与値を合計する前に、それぞれのエッジのフォーカス信号に対する寄与値に因子A/Bを乗じることによって、フォーカス信号を形成してもよく、ここで、Bはフォーカス信号の算出に入る全てのエッジの長さ重みの合計であり、Aは前記エッジの長さ重みである。同様に、エッジ幅のヒストグラム(信号134の一部として出力されてもよい)は、好ましくは、いずれのエッジも同様の寄与値(例えば+1)を提供するのではなく、比較的長い連結エッジに属する複数のエッジが、それらのそれぞれのエッジ幅に対応する区間により大きな寄与値を提供するようにすることができる。従って、例えば、それぞれのエッジはA/Cに寄与することができ、ただし、Cは前記エッジに亘るAの平均値である。同様に、狭いエッジのカウントは、比較的長い連結エッジのメンバーとしてのエッジがより多く寄与するようにすることができる。従って、例えば、それぞれのエッジによる寄与は、A/Dを乗じてもよく、ただし、Dは狭いエッジのカウントで数えられるエッジの間のAの平均値である。
最上部(最左側)及び底部(最右側)のエッジを除き、それぞれのエッジが2つの他の垂直(水平)エッジ(一方のエッジはその上方(左側)、他方のエッジはその下方(右側)にある。)に接触する1群のN個の垂直(水平)エッジは、長さNを有する垂直(水平)連結エッジである。前記上部(最左側)エッジは、その下方(右側)の1つのエッジのみに接触することが必要である。前記底部(最右側)エッジは、その上方(左側)の1つのエッジのみに接触することが必要である。
図8は垂直連結エッジ及びその長さを示す。図8において、セルR2C3及びR2C4は第1の垂直エッジを形成し、ユニットR3C3、R3C4及びR3C5は一緒に第2の垂直エッジを形成し、また、ユニットR4C4及びR4C5は一緒に第3の垂直エッジを形成している。前記第1及び第3の垂直エッジはそれぞれ1つの他の垂直エッジのみに接触するのに対し、前記第2の垂直エッジは2つの他の垂直エッジに接触する。前記第1、第2及び第3の垂直エッジは一緒に長さ3を有する垂直連結エッジを形成する。
垂直(水平)連結エッジに2つ以上の分岐がある、即ち、1行(列)に2つのエッジがある場合(図示せず)には、前記長さが連結エッジにおける総エッジ数として定義されてもよい。又は、前記長さは、その中の最上部(最左側)エッジから最底部(最右側)エッジまでの垂直(水平)距離に1を加えたものとして定義されてもよい。
上述した提案の他に、連結長さを定義する他の可能な方法がある。例えば、連結エッジの長さの定義は、前記長さが前記連結エッジにおける少なくとも3までのメンバーエッジ数に比例する特性を有することである。これは、前述した推理に合致しており、すなわち、互いに接触して互いに接続される複数のエッジが多ければ、連結エッジがノイズに起因される確率が指数関数的に低くなり、これによって、前記長さが、連結エッジにおける適当な数以下のメンバーエッジ数に比例することになるべきであり、前記適当な数とは、当該連結エッジの信頼性を単一のメンバーエッジの信頼性よりも十分に向上させる数である。前記長さフィルター212は、連結長さ1を有するエッジを弱め、又は消去して、広義では区別することができる。前記長さフィルター212は、連結長さ2を有するエッジを区別することができる。前記長さフィルター212は、連結長さ3を有するエッジを区別してノイズによる影響をさらに低下することができる。前記長さフィルター212は、前記プロセッサーからのコマンドに基づいてこれらの動作の何れか1つを行うことができる。
図3には前記エッジ検出・幅測定ユニット206の直後に設けることを示しているが、その他の配置も可能である。例えば、前記フォーカス信号算出器210の前に前記長さフィルター212が挿入されてもよい。前記長さフィルター212によって処理された複数のエッジは、「精細」信号に応じて前記幅フィルター209を通過するエッジである。
フォーカス信号発生器の代替実施形態においては、前記精細スイッチ220を除去することにより、前記フォーカス信号算出ユニット210に、前記幅フィルター209にろ過されていない第1のデータ群及びろ過された第2のデータ群を受信させ、そして、前者のデータ群の計算により概略フォーカス信号を取得し、後者のデータ群の計算により精細フォーカス信号を取得するように、前記両データ群に対して計算を行って異なるフォーカス信号を取得し、さらに、この2つの信号を前記プロセッサー112、112’に出力してもよい。
幅フィルター
次に、図3を参照して前記幅フィルター209の動作を理解する。図11は複数のエッジ幅のヒストグラム、即ち、複数のエッジ幅に対する複数のエッジのカウントのグラフを描いている。エッジ幅2(即ち、前記上述鮮明_エッジ_幅)には、前記画像に複数の鮮明なエッジが存在することを示唆する1つのピークがある。しかし、エッジ幅4及び5には複数のピークがあり、これは、エッジがぼやけたことを示唆している。その原因としては、たぶん、対応する結像オブジェクトがフォーカスされておらず、これらの結像オブジェクトのフォーカスレンズからの距離が前記鮮明なエッジを生じさせたオブジェクトのフォーカスレンズからの距離と異なっているからである。フォーカス信号を算出するには、幅が所定の範囲(「狭いエッジの範囲」)外にある複数のエッジは、前記幅フィルター209によって、弱めるようにしてもよい。前記幅フィルター209は、前記フォーカス信号の算出に用いるために、前記狭いエッジの範囲外にある複数のエッジ幅に対して比較的小さい重みを作成してもよい。例えば、複数のエッジ幅に対して重み1.0が割り当てられるが、上限840の右側へ+1よりも大きく離れた複数のエッジ幅に対して重み0が割り当てられ、その間の複数のエッジ幅に対して0〜1.0の重みが割り当てられ、エッジ幅と共に単調に低減される。または、前記幅フィルター209は、それらのエッジをフォーカス信号の計算から完全に排除してもよい。適切な上限及び下限830、840は、画素アレイ108でのクロストーク、フォーカス信号発生器120に受信された画像に対して欠落色を発生する補間方法及び前記エッジ検出・幅測定ユニット206に採用されるローパスフィルターに用いられるフィルター係数を含む幾つかの要素に依存する。適切な上限及び下限830、840及び前記パラメータの鮮明_エッジ_幅は、前記画像ピックアップ装置102、102’に対して、種々の鮮明度を有する画像を取り込んでエッジ幅のヒストグラムを調べることによって決定されてもよい。例えば、鮮明な画像のピークがエッジ幅2にある場合、適切な上限及び下限はそれぞれ、1.5及び3であり、前記鮮明_エッジ_幅は2.0に設定されてもよい。前記下限と上限及び鮮明_エッジ_幅は、上述したように決定され、そして前記プロセッサー112、112”によって前記フォーカス信号発生器120、120’、120”に供給されてもよい。「精細コマンド」がオンになると、このように算出された精細なフォーカス信号が、狭いエッジの範囲外にあるエッジ幅を弱める。
次に、図3を参照して前記幅フィルター209の動作を理解する。図11は複数のエッジ幅のヒストグラム、即ち、複数のエッジ幅に対する複数のエッジのカウントのグラフを描いている。エッジ幅2(即ち、前記上述鮮明_エッジ_幅)には、前記画像に複数の鮮明なエッジが存在することを示唆する1つのピークがある。しかし、エッジ幅4及び5には複数のピークがあり、これは、エッジがぼやけたことを示唆している。その原因としては、たぶん、対応する結像オブジェクトがフォーカスされておらず、これらの結像オブジェクトのフォーカスレンズからの距離が前記鮮明なエッジを生じさせたオブジェクトのフォーカスレンズからの距離と異なっているからである。フォーカス信号を算出するには、幅が所定の範囲(「狭いエッジの範囲」)外にある複数のエッジは、前記幅フィルター209によって、弱めるようにしてもよい。前記幅フィルター209は、前記フォーカス信号の算出に用いるために、前記狭いエッジの範囲外にある複数のエッジ幅に対して比較的小さい重みを作成してもよい。例えば、複数のエッジ幅に対して重み1.0が割り当てられるが、上限840の右側へ+1よりも大きく離れた複数のエッジ幅に対して重み0が割り当てられ、その間の複数のエッジ幅に対して0〜1.0の重みが割り当てられ、エッジ幅と共に単調に低減される。または、前記幅フィルター209は、それらのエッジをフォーカス信号の計算から完全に排除してもよい。適切な上限及び下限830、840は、画素アレイ108でのクロストーク、フォーカス信号発生器120に受信された画像に対して欠落色を発生する補間方法及び前記エッジ検出・幅測定ユニット206に採用されるローパスフィルターに用いられるフィルター係数を含む幾つかの要素に依存する。適切な上限及び下限830、840及び前記パラメータの鮮明_エッジ_幅は、前記画像ピックアップ装置102、102’に対して、種々の鮮明度を有する画像を取り込んでエッジ幅のヒストグラムを調べることによって決定されてもよい。例えば、鮮明な画像のピークがエッジ幅2にある場合、適切な上限及び下限はそれぞれ、1.5及び3であり、前記鮮明_エッジ_幅は2.0に設定されてもよい。前記下限と上限及び鮮明_エッジ_幅は、上述したように決定され、そして前記プロセッサー112、112”によって前記フォーカス信号発生器120、120’、120”に供給されてもよい。「精細コマンド」がオンになると、このように算出された精細なフォーカス信号が、狭いエッジの範囲外にあるエッジ幅を弱める。
また、前記幅フィルター209は、エッジ幅が狭いエッジの範囲内にある複数のエッジの総数を算出し、出力信号134の一部として出力してもよい。狭いエッジのカウントは、前記フォーカスシステムコントローラ(プロセッサー112)に入力されて、鮮明な画像の存在の検出及び/又は追跡の開始のために用いられてもよい。
フォーカス信号
次に、図3の前記フォーカス信号算出器210を参照すると、前記フォーカス信号算出器210は、複数のエッジ幅を受信してフォーカス信号を出力する。前記フォーカス信号は、全てのエッジ幅の重み付け平均値として算出されてもよく、前記重みはそれぞれのエッジ幅に対するエッジのカウントであり、即ち、フォーカス信号=Σwiei/Σwi、ただし、eiはエッジ幅、wiは重み、ここで、wi=ci、ciはエッジ幅eiにおけるエッジのカウントであり、iは複数のエッジ幅の一ヒストグラムの区間数である。または、それぞれのエッジ幅における重みは、エッジ幅のエッジのカウントに前記エッジ幅そのものを乗じたもの、即ち、wi=cieiであってもよい。また、重みで表される前記幅フィルター209からの嗜好は、それぞれのエッジ幅をさらに乗じてもよい。例えば、前記幅フィルター209により発生される重みΩiに対しては、ΣΩi=1、フォーカス信号はΣΩiwiei/ΣΩiwiとして算出されてもよい。制御信号「精細」がオン、且つ「排除」がオフになると、図11に示す実例では、前記フォーカス信号は、2.0という鮮明なエッジ幅の値に非常に近い値となり、これは、2.0〜3.0のエッジ幅を発生する焦点距離範囲において、ほとんどのオブジェクトの細部が実際に鮮明にフォーカスされていることを示唆している。制御信号「精細」がオフ、且つ「排除」がオフになると、前記フォーカス信号は5.0に近い値となり、画像において焦点外れの細部がかなり多く存在していることを示唆している。前記精細スイッチ220をオンにすると、前記フォーカス信号が少しぼやけたオブジェクトにより多く応答し、完全にぼやけたオブジェクトにより少なく応答することが可能になる。前記精細スイッチ220がオンになると、前記フォーカス信号を精細なフォーカス信号と呼び、前記精細スイッチ220がオフになると、概略フォーカス信号と呼ぶことにする。上述したように、前記長さフィルター212により表現される前記強調は、複数の方法のうちの1つにより、前記フォーカス信号に組み込まれてもよい。例えば、フォーカス信号の計算への組み込みを弱めるようにエッジを消去してもよく、または、エッジの、対応するエッジ幅の区間のカウントeiへの寄与において、その対応する重みを低減してもよい。
次に、図3の前記フォーカス信号算出器210を参照すると、前記フォーカス信号算出器210は、複数のエッジ幅を受信してフォーカス信号を出力する。前記フォーカス信号は、全てのエッジ幅の重み付け平均値として算出されてもよく、前記重みはそれぞれのエッジ幅に対するエッジのカウントであり、即ち、フォーカス信号=Σwiei/Σwi、ただし、eiはエッジ幅、wiは重み、ここで、wi=ci、ciはエッジ幅eiにおけるエッジのカウントであり、iは複数のエッジ幅の一ヒストグラムの区間数である。または、それぞれのエッジ幅における重みは、エッジ幅のエッジのカウントに前記エッジ幅そのものを乗じたもの、即ち、wi=cieiであってもよい。また、重みで表される前記幅フィルター209からの嗜好は、それぞれのエッジ幅をさらに乗じてもよい。例えば、前記幅フィルター209により発生される重みΩiに対しては、ΣΩi=1、フォーカス信号はΣΩiwiei/ΣΩiwiとして算出されてもよい。制御信号「精細」がオン、且つ「排除」がオフになると、図11に示す実例では、前記フォーカス信号は、2.0という鮮明なエッジ幅の値に非常に近い値となり、これは、2.0〜3.0のエッジ幅を発生する焦点距離範囲において、ほとんどのオブジェクトの細部が実際に鮮明にフォーカスされていることを示唆している。制御信号「精細」がオフ、且つ「排除」がオフになると、前記フォーカス信号は5.0に近い値となり、画像において焦点外れの細部がかなり多く存在していることを示唆している。前記精細スイッチ220をオンにすると、前記フォーカス信号が少しぼやけたオブジェクトにより多く応答し、完全にぼやけたオブジェクトにより少なく応答することが可能になる。前記精細スイッチ220がオンになると、前記フォーカス信号を精細なフォーカス信号と呼び、前記精細スイッチ220がオフになると、概略フォーカス信号と呼ぶことにする。上述したように、前記長さフィルター212により表現される前記強調は、複数の方法のうちの1つにより、前記フォーカス信号に組み込まれてもよい。例えば、フォーカス信号の計算への組み込みを弱めるようにエッジを消去してもよく、または、エッジの、対応するエッジ幅の区間のカウントeiへの寄与において、その対応する重みを低減してもよい。
図15は、オブジェクトが鮮明にフォーカスされている所の近傍のフォーカス位置の調節に対する前記精細フォーカス信号の応答をスケッチする。前記精細なフォーカス信号は、大体、前記フォーカス位置により画像が鮮明にフォーカスにされるような鮮明_エッジ_幅において、最小値に達するが、そうでなければ増える。前記精細フォーカス信号は、既に焦点が合った又はその状態に非常に近いオブジェクトの追跡に用いられてもよい。移動するオブジェクトに対しては、前記精細なフォーカス信号は、焦点距離が変わり続ける場合でも、前記フォーカス制御システムにより、これらのオブジェクトが鮮明にフォーカスされることを保つようにする。前記精細なフォーカス信号はまた、前記オブジェクトが、幅が狭いエッジの範囲に収まるエッジを生じさせるように、鮮明にフォーカスされないがこの状態に十分に近いオブジェクトの鮮明フォーカスを取得する(「取得」)ことに用いられてもよい。前記エッジ幅のヒストグラムに示すピークは、前記鮮明_エッジ_幅から離れた、前記オブジェクトに対応するエッジ幅のところにあるために、前記精細なフォーカス信号が鮮明_エッジ_幅よりも大きくなるので、前記フォーカス制御システムは、前記精細なフォーカス信号値が前記鮮明_エッジ_幅にさらに近くなるようにフォーカス位置を調節することでそれに対応することができ、これにより、前記オブジェクトに起因するエッジ幅のピークが鮮明_エッジ_幅に等しいエッジ幅の値の中心に位置決めされる。
基本の使用方法
図12〜16は、狭いエッジのカウント、概略フォーカス信号及び精細なフォーカス信号が鮮明な画像を実現するためにフォーカス制御の実施に如何に用いられるかを示す。
図12〜16は、狭いエッジのカウント、概略フォーカス信号及び精細なフォーカス信号が鮮明な画像を実現するためにフォーカス制御の実施に如何に用いられるかを示す。
図12は、前景における「人」、背景における「山、太陽及び地平線」、及びその間における「自動車」のように、異なる焦点距離において3つのグループのオブジェクトを有する戸外シーンを示す。
図13は、前記フォーカスレンズ104のフォーカス位置が図12に示すシーンを遠くから近くへ走査する場合における時間に対して描かれた狭いエッジのカウントの図である。前記狭いエッジのカウントは、フォーカス位置においてオブジェクトが画素アレイ108で鮮明な画像となる場合にピークに達する。従って、前記狭いエッジのカウントは走査中に、「山、太陽及び地平線」、「自動車」及び「人」に対してこの順で1つずつ、合計3つのピークを示す。
図14は時間に対して描かれた概略フォーカス信号を示す。前記概略フォーカス信号は、前記フォーカス位置が狭いエッジのカウントがピークに達する3つのフォーカス位置のそれぞれに近い場合に最小値を示す。しかし、それぞれの最小値において、前記概略フォーカス信号は、焦点外れの他のオブジェクトにより寄与された比較的大きいエッジ幅に起因して、前記鮮明_エッジ_幅レベル、この実例では2.0にない。
図15は、図12のシーンにおける「自動車」に対する鮮明なフォーカス位置の近傍にあるフォーカス位置に対して描かれた精細なフォーカス信号を示す。前記精細なフォーカス信号は、複数のぼやけたオブジェクト(「人」及び「山、太陽及び地平線」)が存在するにもかかわらず、鮮明_エッジ_幅、この実例では2を基本的に達成する。図11を再び参照すると、幅4及び5における2つのピークは、それらの2つのグループのぼやけたオブジェクトにより寄与されるが、これは、前記幅フィルター324が重みを低減させ、又は上限840の右側へのエッジ幅による寄与を完全に消去したと理解することができる。
フォーカス制御システムは、概略フォーカス信号を利用して、検索モードで最寄りの鮮明なフォーカス位置を検索することができる。それは、フォーカス位置を現在のフォーカス位置から離れるように移動させて前記概略フォーカス信号が増加するか低減するかを決定することができる。例えば、前記フォーカス位置が内向き(外向き)に移動する場合に前記概略フォーカス信号が増加(低減)すると、現在のフォーカス位置から比較的遠い鮮明なフォーカス位置が存在する。前記プロセッサー112、112’、112”はその後、フォーカス駆動信号を供給し、隣接する鮮明なフォーカス位置へフォーカスレンズ104を移動させることができる。
フォーカス制御システムは、前記シーンにおける変化、前記オブジェクトの移動又は前記画像ピックアップ装置の移動にもかかわらず、前記精細なフォーカス信号を利用して、既に鮮明にフォーカスされたオブジェクトを追跡して対応する画像の鮮明さ(従って、「追跡モード」)を保ってもよい。オブジェクトが鮮明にフォーカスされる場合に、上記の変化があるにもかかわらず、前記精細なフォーカス信号レベルは安定している。これによって、前記精細なフォーカス信号の変更は、前記オブジェクトの画像ピックアップ装置からの焦点距離の変更を示唆する。前記フォーカス制御システムを、最小値に近い所定の精細なフォーカス信号レベル、例えば、この実例では2.0〜2.5、特に2.1に「ロックする」ことにより、前記精細なフォーカス信号レベルが変動すると、直ちに前記プロセッサー112、112’、112”に前記オブジェクトの焦点距離の変更が通知される。前記プロセッサー112、112’、112”はその後、方向を決めて、フォーカスレンズ104を移動させて前記精細なフォーカス信号レベルを「ロックされた」レベルに回復させることができる。従って、前記画像ピックアップ装置102、103、103’、103”は、移動オブジェクトを追跡することができる。
例えば、プロセッサー112、112’、112”におけるアルゴリズムにおいて実施されるようなフォーカス制御システムは、狭いエッジのカウントを利用して検索モードから追跡モードへの変更をトリガしてもよい。前記追跡モードにおいて、前記フォーカス制御システムは、前記精細なフォーカス信号により前記オブジェクトを「ロックする」。フォーカス位置が前記オブジェクトの鮮明なフォーカス位置に十分に近づく前に、前記フォーカス制御システムは、前記概略フォーカス信号により移動方向を確認し、レンズの移動速度を調節してもよい。オブジェクトが鮮明にフォーカスされる場合に、狭いエッジのカウントはシャープにピークに達する。狭いエッジのカウントにおける鮮明な上昇、ピークの到達又はその両方を検出した場合、前記プロセッサー112、112’、112”は、追跡モードに切り替えて、精細なフォーカス信号を、フォーカス位置の制御に用いてもよい。鮮明なフォーカス位置によって閾値が異なる可能性があり、前記閾値は、終端間フォーカス位置「走査」によって見つけられたそれぞれのグループのオブジェクトに割り当てられ、そしてその後、狭いエッジのカウントがこの閾値を超えると、対応するグループのオブジェクトが検出される。静止シーンに対して、例えば、静止画像の撮影に対しては、終端間フォーカス位置走査は、狭いエッジのカウントがピークに達する毎に最大のカウントがある最大カウントリストを返すことができる。例えば、最大のカウントの50%を取ることにより、前記最大のカウントのリストから、閾値のリストを生成することができる。
図16は、表示装置114と、複数のボタンを含む入力装置107と、前記表示装置114においてハイライトされた選択マーカー1920とを有する画像ピックアップ装置102を示す。ユーザは前記入力装置107を利用して、前記選択マーカー1920を作成、成形及び操作することができる。この実例において複数のボタンを含むことを示しているが、前記入力装置107は、表示装置114でのタッチ又はストロークの位置を検出するために、前記表示装置114に載せたタッチスクリーンを含んでもよい。前記入力装置107、及び前記プロセッサー112、112’、112”又は入力装置107のための別個専用コントローラ(図示せず)は、選択領域を決定することができる。前記選択領域を記述するための複数のパラメータは、バス132を介して(又はフォーカス信号発生器120が前記プロセッサー112の一部である場合に、前記プロセッサー112において内部で)、前記フォーカス信号発生器120、120’、120”に転送されることができる。それに応じて、前記フォーカス信号発生器120は、フォーカス信号の算出、狭いエッジのカウント又はその両方を前記パラメータに記述される選択領域におけるエッジに限定し又は前記選択領域外にあるエッジを弱めるようにすることができる。こうすると、前記フォーカス信号より意図せぬオブジェクトの強調を弱めることができ、そして前記概略フォーカス信号でも単一の最小値及び鮮明なエッジ幅における1.0以下の最小レベルを示す。
代替実施形態
図45は、フォーカス信号発生器120’の代替実施形態を示す。フォーカス信号発生器120’は、複数のエッジ及び複数のエッジ幅の統計データを出力する。コントローラ120’が出力するエッジ幅の統計データは、異なるエッジ幅におけるエッジのカウントを含むエッジ幅のヒストグラム、エッジ幅のカウントが最大値に達する所でのエッジ幅、異なるエッジ幅におけるエッジのカウントに近いスプライン関数を示す1組の係数、及びエッジ幅の関数を示すことができる任意のデータのうちの1つ以上であってもよい。全数調査ユニット240は、前記フォーカス信号発生器120’と他のユニットのうちの1つ以上で算出されるデータを受信してエッジ幅の統計データを算出することができる。一般に、前記フォーカス信号発生器120’は、エッジ幅分布の表示の信号を出力することができる。
図45は、フォーカス信号発生器120’の代替実施形態を示す。フォーカス信号発生器120’は、複数のエッジ及び複数のエッジ幅の統計データを出力する。コントローラ120’が出力するエッジ幅の統計データは、異なるエッジ幅におけるエッジのカウントを含むエッジ幅のヒストグラム、エッジ幅のカウントが最大値に達する所でのエッジ幅、異なるエッジ幅におけるエッジのカウントに近いスプライン関数を示す1組の係数、及びエッジ幅の関数を示すことができる任意のデータのうちの1つ以上であってもよい。全数調査ユニット240は、前記フォーカス信号発生器120’と他のユニットのうちの1つ以上で算出されるデータを受信してエッジ幅の統計データを算出することができる。一般に、前記フォーカス信号発生器120’は、エッジ幅分布の表示の信号を出力することができる。
図46に示すように、このように信号134で代替オートフォーカス画像ピックアップ装置102’における代替実施形態のプロセッサー112’に供給されるエッジ幅の統計データは、上述した方法又はその同等のものにより、概略及び/又は精細なフォーカス信号及び狭いエッジのカウントを算出するように、前記プロセッサー112’により使用されてもよい。さらに、前記フォーカス信号発生器120’に算出された何れのデータも、出力信号134の一部としてプロセッサー112’に出力されてもよい。例えば、前記排除範囲及び連鎖は、エッジの統計データ(例えば、図19又は図20のフローチャートによる排除範囲及び連鎖を算出するためのエッジ特性の統計データ)とともに、前記プロセッサー112’に送信されてもよい。
前記プロセッサー112’は、図1のプロセッサー112に含まれる機能の外に、フォーカス信号及び/又は狭いエッジのカウントを内部で発生させてもよい。
前記画素アレイ108、A/D変換器110、色補間器148及び発生器120’は、前記プロセッサー112’とは別の、画像センサー150’を一緒に含む1つのパッケージ142に備わってもよい。
さらに、フォーカス信号発生器の別の実施形態としては、全数調査ユニット240を図1の発生器102に付加し、上記発生器で算出された1つ以上の統計データを前記プロセッサー112に出力してもよい。
補助画素アレイ
図47は、オートフォーカス画像ピックアップシステム103の代替実施形態を示す。システム102に含まれる素子の外に、前記システム103は、ハーフミラー2850と、フルミラー2852と、光学ローパスフィルター2840と、主画素アレイ2808と、主A/D変換器2810とを含んでもよい。前記ハーフミラー2850は、入射する光ビームを、第1のスプリットビーム及び第2のスプリットビームに分割し、その一方を透過させ、他方を反射させることができる。前記第1のスプリットビームは、最後に、前記第1のスプリットビームを検出してアナログ信号に変換する前記主画素アレイ2808に到達する前に、さらに前記光学ローパスフィルター2840を透過してもよい。前記第2のスプリットビームは、最後に、図1に示すシステム102における画素アレイ108に対応する前記補助画素アレイ108”に到達する前に、前記フルミラー2852により反射されてもよい。第2の光ビームに対する第1の光ビームの光強度の比は、1対1又は1対1よりも大きくなり得る。例えば、この比は4対1になり得る。
図47は、オートフォーカス画像ピックアップシステム103の代替実施形態を示す。システム102に含まれる素子の外に、前記システム103は、ハーフミラー2850と、フルミラー2852と、光学ローパスフィルター2840と、主画素アレイ2808と、主A/D変換器2810とを含んでもよい。前記ハーフミラー2850は、入射する光ビームを、第1のスプリットビーム及び第2のスプリットビームに分割し、その一方を透過させ、他方を反射させることができる。前記第1のスプリットビームは、最後に、前記第1のスプリットビームを検出してアナログ信号に変換する前記主画素アレイ2808に到達する前に、さらに前記光学ローパスフィルター2840を透過してもよい。前記第2のスプリットビームは、最後に、図1に示すシステム102における画素アレイ108に対応する前記補助画素アレイ108”に到達する前に、前記フルミラー2852により反射されてもよい。第2の光ビームに対する第1の光ビームの光強度の比は、1対1又は1対1よりも大きくなり得る。例えば、この比は4対1になり得る。
前記主画素アレイ2808は、例えばバイエルパターンのようなカラーモザイクパターンのカラーフィルターアレイに被覆されてもよい。前記光学ローパスフィルター2808は、前記画素アレイ2808にフォーカスされた最小光点がエイリアシングを引き起こすほど小さすぎないようにする。モザイクパターンのカラーフィルターが前記画素アレイ2808を被覆する場合に、エイリアシングは、色補間の後にカラーモアレ偽像を引き起こし得る。例えば、前記光学ローパスフィルターを利用することにより、前記主画素アレイ2808における光点の可視光パワーの84%を取り囲む円の最小直径(「最小主直径」)は、1.5画素の幅より大きいが、2画素の幅より小さいように維持される。例えば、前記主画素アレイ2808は4.5 umの画素の幅を有するのに対し、光学ローパスフィルタリング無しで最小直径が2.0 umであると、前記光学ローパスフィルター2840は、光点の直径が6.7 um以上になるようにするために選択されてもよい。
前記補助画素アレイ108”は、1つ以上の光検出器アレイを含んでもよい。これらのアレイのそれぞれは、カラーモザイクパターンのカラーフィルターアレイに被覆されても、被覆されなくてもよい。前記補助画素アレイ108”におけるこの(これらの)アレイは、A/D変換器110によりデジタル信号130に変換されるアナログ信号で画像を出力する。これらの画像は前記フォーカス信号発生器120に送信される。色補間器148は、複数のカラーフィルターに被覆される画素から発生される画像に対して、欠落色を発生することができる。補助画素アレイ108”が複数の光検出器アレイを含む場合、それぞれのアレイは、前記主画素アレイ2808により取り込まれた画像の一部に対応するサブ画像を取り込むことが可能である。前記複数のアレイが、物理的に1百個の画素の幅以上に離れてもよく、また、1つの半導体基板を共有しても、共有しなくてもよい。補助画素アレイ108”における前記画素アレイは、1つの半導体基板を共有しない場合、一緒に1つのパッケージ(図示せず)に収容されてもよい。
主A/D変換器2810は、前記主画素アレイ2808からのアナログ信号をデジタル主画像データ信号2830に変換する。前記デジタル主画像データ信号2830は、前記プロセッサー112に送信され、最後にメモリカード116に記憶されるものである。前記プロセッサー112では、前記主画素アレイ2808において取り込まれた画像に対して色補間、色補正及び画像圧縮/解凍のような画像処理を行い得る。
前記補助画素アレイ108”における光検出器アレイは、前記主画素アレイ2808の画素の幅(「主画素の幅」)よりも小さい画素の幅(「補助画素の幅」)を有してもよい。前記補助画素の幅は、前記主画素の幅の半分ほどであってもよい。補助画素がカラーフィルターにカバーされ、且つ前記補助画素の幅が光学ローパスフィルタリングが行われていない場合の可視光の最小点の1.3倍よりも小さい場合、前記補助画素アレイ108”における最小直径(「最小補助直径」)が1.3〜2(好ましくは1.5)倍であって、最小主直径よりも小い大きさに増加されるように、前記補助アレイ108”の前に第2の光学ローパスフィルターが挿入されてもよい。ユーザには前記補助画像が最終的な取込画像として提示しないので、前記補助画像における微細なモアレは問題ではない。
図50は、前記主画素アレイ2808からの主画像(実線曲線)及び前記補助画素アレイ108”からの補助画像(鎖線曲線)について、エッジ幅が鮮明なフォーカス位置周辺で如何に変化するかを示す。前記補助画像は、たとえ前記主画像が目的とする鮮明なエッジ幅である2に達する場合であっても、より鮮明な傾斜を与える。前記補助画像は、ユーザには最終画像として提示しないため、エイリアシングによるモアレが前記補助画像において重要ではないので、目的とする鮮明なエッジ幅以下に達することが許容される。これにより、前記鮮明なエッジ幅よりも下位及び上位の傾斜がきつくなる。このよりきつい傾斜は、また、前記補助画素の幅が前記主画素の幅より小さいことによって達成される。
図50における陰影領域は、主画像が鮮明なフォーカスに維持されるようにフォーカス位置を制御するための良好な領域を示す。フォーカス位置における外向きの変化により、補助画像でエッジ幅が増加するのに対し、内向きの変化により、それが低減することになる。主画像のエッジ幅が鮮明なエッジ幅に近いことを維持するために、真ん中の補助エッジ幅値を前記陰影領域内にターゲットし、補助画像から発生されたエッジ幅をフィードバック信号として用いるように線形フィードバック制御システムが用いられてもよい。
前記補助画素アレイ108”、A/D変換器110、フォーカス信号発生器120は、一緒に1つのパッケージ142に収容されて1つの補助センサー150を構成してもよい。前記補助センサー150は、色補間器148をさらに含んでもよい。
図48は、フォーカス信号発生器120をフォーカス信号発生器120’に置き換えたことを除き、装置103と同様のオートフォーカス画像ピックアップ装置103’の代替実施形態を示す。前記補助画素アレイ108”、A/D変換器110、フォーカス信号発生器120’は、一緒に1つのパッケージ142に収容されて1つの補助センサー150’を構成してもよい。前記補助センサー150は、色補間器148をさらに含んでもよい。
図49は、オートフォーカス画像ピックアップ装置103”の代替実施形態を示す。前記フォーカス信号発生器120及び前記プロセッサー112”は、前記補助画素アレイ108”とは別に、カメラコントローラとしてパッケージ144に収容されてもよい。前記プロセッサー112”は、プロセッサー112”が前記主画素アレイ2808及び前記補助画素アレイ108”から画像を受け取ることを除き、プロセッサー112と同様である。前記プロセッサー112”は、前記プロセッサー112が図2で信号130に対して実行可能な処理と同様に、信号2830で受け取られた画像に対して色補間、色補正、圧縮/解凍、及びメモリカード116への記憶を行うことができる。図2とは違って、ここでは、信号130で受け取られた画像は、圧縮/解凍されたり、メモリカード116に記憶されたりする必要がない。前記プロセッサー112”は、補助画素アレイ108”でのカラーフィルターに被覆された画素に対して、信号130で受け取られた画像に色補間を行い、そして色補間された画像をフォーカス信号発生器120に信号146で送信することができる。
前記オートフォーカス画像ピックアップシステム102、102’、103、103’、103”は、それぞれ前記プロセッサー112、112’、112”及び/又は前記フォーカス信号発生器120、120’が本願に記述された機能のうちの1つ以上を実行するようにする指令を含むコンピュータプログラム記憶媒体(図示せず)を備えてもよい。一例として、前記指令は、前記プロセッサー112又は前記発生器120’が図7のフローチャートに基づいてエッジ幅に対して斜め補正を行うようにしてもよい。別の実例として、前記指令は、前記プロセッサー112’又は前記発生器120が幅フィルター209に関する上記記述に基づいてエッジ幅のろ過を実行するようにしてもよい。または、前記プロセッサー112、112’又は前記発生器120、120’は、ファームウェア及びハードウェアの組合わせ又は本願に含まれる機能のうちの1つ以上に対する単純なハードウェアの実装を有するように配置されてもよい。例えば、発生器120において、単純なハードウェアにおいて斜め補正を実施し、ファームウェアにおいて指令による長さフィルター212を実施してもよい。
メモリカード116はシステム102の一部として示されているが、その代わりに、その中に記憶された画像がユーザによりアクセス可能であり、且つ前記システム102の外部にある異なる位置に転写可能であるハードディスクドライブのような、不揮発性記憶媒体も使用してもよい。
前記システムに使用される1つ以上のパラメータ、例えば、鮮明_エッジ_幅は、前記システムにおける1つの装置の不揮発性メモリに記憶されてもよい。前記装置はフラッシュメモリ装置、プロセッサー又は画像センサー、又はこれらとは別の装置としてのフォーカス信号発生器であってもよい。前記システムに使用される1つ以上の式、例えば、連結長さ閾値を算出するための又はβを算出するための式は同様に、パラメータとして又はコンピュータが実施可能な指令として、前記装置のうちの1つ以上での不揮発性メモリに記憶されてもよい。
上記図面において幾つかの例示的な実施形態を描いて示したが、これらの実施形態は、広い本発明を制限するものではなく、単に本発明を説明するものである。また、本発明は、当業者により様々な別の変形を達成することができるため、上記に描かれて示された特定の構造と構成に限定されないことが理解されるべきである。
Claims (3)
- 画像の画像鮮明さの程度を表すために、前記画像のうちの複数のエッジに属する複数のエッジ幅からフォーカス信号を生成する方法であって、
あるエッジをまたがる勾配プロファイルが、前記エッジのピーク勾配値の第1および第2割合のそれぞれとして規定される第1および第2勾配レベルのそれぞれにより限定される第1および第2パラメータの値をそれぞれ求めてそれぞれ第1および第2値を得るステップと、
前記第1および第2値は第1および第2パラメータの間の所定の制約から外れる場合、前記フォーカス信号を生成する際に、前記エッジに属するエッジ幅による前記フォーカス信号への寄与を排除する又は弱めるステップと、
を包含し、
前記勾配プロファイルは、前記エッジをまたがって並んで配列された複数の画素をまたがる一連の全て正又は全て負の勾配であり、
前記ピーク勾配値は、前記勾配プロファイルにおける最大の大きさの勾配値、又は、前記勾配プロファイルから補間された頂点の勾配値であり、
前記勾配プロファイルの中またその最大の勾配の前後のそれぞれでは、少なくとも1つ勾配があり、
前記第1及び第2パラメータのそれぞれは、前記勾配プロファイルまたその最大の勾配の前後で測定されてそれぞれの値を判定されることを特徴とする方法。 - 前記所定の制約は、前記第2パラメータの値と所定の乗数を乗算して得る値の所定の許容範囲内で前記第1パラメータの値を見つけるという要求であることをさらに特徴とする請求項1に記載の方法。
- 前記第1パラメータは、
前記第1勾配レベルで測定される前記勾配プロファイルの幅、または
前記複数の画素の中であり勾配の大きさが前記第1勾配レベル以上である画素のカウントであることをさらに特徴とする請求項1または2に記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US26743609P | 2009-12-07 | 2009-12-07 | |
US61/267,436 | 2009-12-07 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012542670A Division JP2013527483A (ja) | 2009-12-07 | 2010-12-07 | オートフォーカス画像システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016057638A true JP2016057638A (ja) | 2016-04-21 |
Family
ID=42470708
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012542669A Active JP5725380B2 (ja) | 2009-12-07 | 2010-12-07 | オートフォーカス画像システム |
JP2012542670A Ceased JP2013527483A (ja) | 2009-12-07 | 2010-12-07 | オートフォーカス画像システム |
JP2015238094A Pending JP2016057638A (ja) | 2009-12-07 | 2015-12-04 | 複数のエッジ幅からフォーカス信号を生成する方法 |
JP2016078083A Expired - Fee Related JP6179827B2 (ja) | 2009-12-07 | 2016-04-08 | フォーカス信号を生成する方法 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012542669A Active JP5725380B2 (ja) | 2009-12-07 | 2010-12-07 | オートフォーカス画像システム |
JP2012542670A Ceased JP2013527483A (ja) | 2009-12-07 | 2010-12-07 | オートフォーカス画像システム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016078083A Expired - Fee Related JP6179827B2 (ja) | 2009-12-07 | 2016-04-08 | フォーカス信号を生成する方法 |
Country Status (12)
Country | Link |
---|---|
US (8) | US8159600B2 (ja) |
EP (1) | EP2510680B1 (ja) |
JP (4) | JP5725380B2 (ja) |
CN (1) | CN103416052B (ja) |
AU (2) | AU2010329534A1 (ja) |
BR (3) | BR112012013721A2 (ja) |
CA (1) | CA2821143A1 (ja) |
GB (4) | GB2475983B (ja) |
HK (1) | HK1191780A1 (ja) |
MX (2) | MX2012006468A (ja) |
SG (2) | SG181539A1 (ja) |
WO (2) | WO2011070514A1 (ja) |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012076992A1 (en) * | 2010-12-07 | 2012-06-14 | Hiok Nam Tay | Auto-focus image system |
GB2475983B (en) | 2009-12-07 | 2013-03-13 | Hiok Nam Tay | Auto-focus image system |
GB2510495A (en) * | 2010-05-26 | 2014-08-06 | Hiok Nam Tay | Auto-focus image system |
GB2487143B (en) | 2010-05-26 | 2012-12-12 | Hiok-Nam Tay | Auto-focus image system |
CA2820847A1 (en) | 2010-12-07 | 2012-06-14 | Hiok Nam Tay | Auto-focus image system |
US9065999B2 (en) | 2011-03-24 | 2015-06-23 | Hiok Nam Tay | Method and apparatus for evaluating sharpness of image |
DE112011105320T5 (de) * | 2011-06-09 | 2014-04-03 | Hiok Nam Tay | Autofokus-Bildsystem |
CN103283215B (zh) * | 2011-06-09 | 2017-03-08 | 郑苍隆 | 自动聚焦图像系统 |
US9235902B2 (en) * | 2011-08-04 | 2016-01-12 | University Of Southern California | Image-based crack quantification |
JP5325966B2 (ja) * | 2011-11-25 | 2013-10-23 | オリンパス株式会社 | 撮像装置及び撮像方法 |
WO2013090830A1 (en) | 2011-12-16 | 2013-06-20 | University Of Southern California | Autonomous pavement condition assessment |
US20130162806A1 (en) * | 2011-12-23 | 2013-06-27 | Mitutoyo Corporation | Enhanced edge focus tool |
US8630504B2 (en) * | 2012-01-16 | 2014-01-14 | Hiok Nam Tay | Auto-focus image system |
US9030591B2 (en) | 2012-07-20 | 2015-05-12 | Apple Inc. | Determining an in-focus position of a lens |
US8922662B1 (en) * | 2012-07-25 | 2014-12-30 | Amazon Technologies, Inc. | Dynamic image selection |
DE112013006265B4 (de) * | 2012-12-28 | 2020-08-13 | Fujifilm Corporation | Pixelkorrekturverfahren und Bildaufnahmegerät |
JP6169366B2 (ja) * | 2013-02-08 | 2017-07-26 | 株式会社メガチップス | 物体検出装置、プログラムおよび集積回路 |
US9480860B2 (en) | 2013-09-27 | 2016-11-01 | Varian Medical Systems, Inc. | System and methods for processing images to measure multi-leaf collimator, collimator jaw, and collimator performance utilizing pre-entered characteristics |
US9392198B2 (en) | 2014-02-26 | 2016-07-12 | Semiconductor Components Industries, Llc | Backside illuminated imaging systems having auto-focus pixels |
US9560259B2 (en) * | 2014-06-27 | 2017-01-31 | Sony Corporation | Image processing system with blur measurement and method of operation thereof |
WO2016002447A1 (ja) * | 2014-07-03 | 2016-01-07 | ソニー株式会社 | フィルタ制御装置およびフィルタ制御方法、ならびに撮像装置 |
US9716822B2 (en) * | 2014-11-14 | 2017-07-25 | Qualcomm Incorporated | Direction aware autofocus |
US9478007B2 (en) * | 2015-01-21 | 2016-10-25 | Samsung Electronics Co., Ltd. | Stable video super-resolution by edge strength optimization |
CN106973219B (zh) * | 2017-02-21 | 2019-06-28 | 苏州科达科技股份有限公司 | 一种基于感兴趣区域的自动聚焦方法及装置 |
US10945657B2 (en) * | 2017-08-18 | 2021-03-16 | Massachusetts Institute Of Technology | Automated surface area assessment for dermatologic lesions |
FR3080936B1 (fr) * | 2018-05-04 | 2020-04-24 | Imginit | Methode de detection et de quantification du flou dans une image numerique |
US10686991B2 (en) | 2018-09-11 | 2020-06-16 | Sony Corporation | Techniques for improving photograph quality for fouled lens or sensor situations |
US20200084392A1 (en) * | 2018-09-11 | 2020-03-12 | Sony Corporation | Techniques for improving photograph quality for poor focus situations |
US11910104B2 (en) | 2019-04-19 | 2024-02-20 | ARIZONA BOARD OF REGENTS on behalf of THE UNIVERSITY OF ARIZONA, A BODY CORPORATE | All-in-focus imager and associated method |
US11921285B2 (en) * | 2019-04-19 | 2024-03-05 | Arizona Board Of Regents On Behalf Of The University Of Arizona | On-chip signal processing method and pixel-array signal |
CN112534330B (zh) | 2019-06-27 | 2022-11-29 | 松下知识产权经营株式会社 | 摄像装置 |
JP7289055B2 (ja) * | 2019-06-27 | 2023-06-09 | パナソニックIpマネジメント株式会社 | 撮像装置 |
JP7390636B2 (ja) | 2019-06-27 | 2023-12-04 | パナソニックIpマネジメント株式会社 | 撮像装置 |
CN112464947B (zh) * | 2020-10-30 | 2021-09-28 | 深圳市路远智能装备有限公司 | 一种三脚透镜的视觉识别方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002189164A (ja) * | 2000-12-21 | 2002-07-05 | Minolta Co Ltd | 光学系制御装置、光学系制御方法および記録媒体 |
JP2003167182A (ja) * | 2001-11-29 | 2003-06-13 | Minolta Co Ltd | オートフォーカス装置 |
JP2004028761A (ja) * | 2002-06-25 | 2004-01-29 | Ngk Spark Plug Co Ltd | スパークプラグの検査方法、スパークプラグの製造方法及びスパークプラグの検査装置 |
JP2004219546A (ja) * | 2003-01-10 | 2004-08-05 | Pentax Corp | 自動焦点調節装置および自動焦点調節方法 |
JP2006171840A (ja) * | 2004-12-13 | 2006-06-29 | Seiko Epson Corp | 画像情報の評価方法、画像情報の評価プログラム及び画像情報評価装置 |
JP2009218806A (ja) * | 2008-03-10 | 2009-09-24 | Seiko Epson Corp | 画像処理装置及び方法、並びに、そのためのプログラム |
Family Cites Families (84)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6068510U (ja) * | 1983-10-17 | 1985-05-15 | キヤノン株式会社 | 焦点検出装置 |
JPS60143311A (ja) | 1983-12-29 | 1985-07-29 | Asahi Optical Co Ltd | Ttlオ−トフオ−カスビデオカメラの光学系 |
JPS6119211U (ja) | 1984-07-06 | 1986-02-04 | 株式会社 コシナ | オ−トフオ−カス付ズ−ムレンズ |
JPS61210310A (ja) * | 1985-03-15 | 1986-09-18 | Nippon Kokan Kk <Nkk> | 自動焦点合せ装置 |
JPH0779434B2 (ja) * | 1986-05-16 | 1995-08-23 | キヤノン株式会社 | 合焦検出装置 |
US5040228A (en) * | 1989-08-28 | 1991-08-13 | At&T Bell Laboratories | Method and apparatus for automatically focusing an image-acquisition device |
JP3167023B2 (ja) | 1989-11-13 | 2001-05-14 | キヤノン株式会社 | 焦点調節装置、ブレ検出装置、動き検出装置、並びに、被写体位置検出装置 |
DE69127850T2 (de) | 1990-04-29 | 1998-03-12 | Canon Kk | Vorrichtung zum Erfassen von Bewegungen und Fokusdetektor, der eine solche Vorrichtung benutzt |
US5790710A (en) * | 1991-07-12 | 1998-08-04 | Jeffrey H. Price | Autofocus system for scanning microscopy |
US5488429A (en) | 1992-01-13 | 1996-01-30 | Mitsubishi Denki Kabushiki Kaisha | Video signal processor for detecting flesh tones in am image |
JPH066661A (ja) | 1992-06-19 | 1994-01-14 | Canon Inc | 合焦検出装置 |
JP3482013B2 (ja) | 1993-09-22 | 2003-12-22 | ペンタックス株式会社 | 光学系のピント評価方法、調整方法、調整装置、およびチャート装置 |
JPH07177414A (ja) * | 1993-12-20 | 1995-07-14 | Canon Inc | 合焦検出装置 |
JPH07311025A (ja) | 1994-05-17 | 1995-11-28 | Komatsu Ltd | 3次元形状検査装置 |
US5496106A (en) | 1994-12-13 | 1996-03-05 | Apple Computer, Inc. | System and method for generating a contrast overlay as a focus assist for an imaging device |
US5532777A (en) * | 1995-06-06 | 1996-07-02 | Zanen; Pieter O. | Single lens apparatus for three-dimensional imaging having focus-related convergence compensation |
US5880455A (en) | 1995-08-08 | 1999-03-09 | Nikon Corporation | Focal position detection apparatus having a light reflecting member with plural reflecting films |
US5875040A (en) * | 1995-12-04 | 1999-02-23 | Eastman Kodak Company | Gradient based method for providing values for unknown pixels in a digital image |
JP3630880B2 (ja) | 1996-10-02 | 2005-03-23 | キヤノン株式会社 | 視線検出装置及び光学機器 |
US6094508A (en) * | 1997-12-08 | 2000-07-25 | Intel Corporation | Perceptual thresholding for gradient-based local edge detection |
JP4018218B2 (ja) | 1997-12-25 | 2007-12-05 | キヤノン株式会社 | 光学装置及び測距点選択方法 |
US6847737B1 (en) * | 1998-03-13 | 2005-01-25 | University Of Houston System | Methods for performing DAF data filtering and padding |
US6415053B1 (en) * | 1998-04-20 | 2002-07-02 | Fuji Photo Film Co., Ltd. | Image processing method and apparatus |
US6337925B1 (en) | 2000-05-08 | 2002-01-08 | Adobe Systems Incorporated | Method for determining a border in a complex scene with applications to image masking |
JP2001331806A (ja) | 2000-05-22 | 2001-11-30 | Nec Corp | 画像処理方式 |
JP2002209135A (ja) * | 2001-01-11 | 2002-07-26 | Minolta Co Ltd | デジタル撮像装置および記録媒体 |
JP2002214513A (ja) * | 2001-01-16 | 2002-07-31 | Minolta Co Ltd | 光学系制御装置、光学系制御方法および記録媒体 |
JP3555584B2 (ja) * | 2001-01-23 | 2004-08-18 | ミノルタ株式会社 | デジタル撮像装置および記録媒体 |
JP3555583B2 (ja) * | 2001-01-23 | 2004-08-18 | ミノルタ株式会社 | 光学系制御装置、光学系制御方法、記録媒体および撮像装置 |
US20030123704A1 (en) | 2001-05-30 | 2003-07-03 | Eaton Corporation | Motion-based image segmentor for occupant tracking |
US20020191102A1 (en) | 2001-05-31 | 2002-12-19 | Casio Computer Co., Ltd. | Light emitting device, camera with light emitting device, and image pickup method |
US20020191973A1 (en) | 2001-06-13 | 2002-12-19 | Hofer Gregory V. | Method and apparatus for focus error reduction in a camera |
US7088474B2 (en) * | 2001-09-13 | 2006-08-08 | Hewlett-Packard Development Company, Lp. | Method and system for enhancing images using edge orientation |
JP2003125198A (ja) | 2001-10-18 | 2003-04-25 | Sharp Corp | 画像処理装置および画像処理方法、並びにそれを備えた画像形成装置、プログラム、記録媒体 |
US6917901B2 (en) | 2002-02-20 | 2005-07-12 | International Business Machines Corporation | Contact hole profile and line edge width metrology for critical image control and feedback of lithographic focus |
JP4334179B2 (ja) | 2002-03-07 | 2009-09-30 | シャープ株式会社 | 電子カメラ |
JP2003262783A (ja) * | 2002-03-08 | 2003-09-19 | Minolta Co Ltd | オートフォーカス装置および撮像装置 |
US6888564B2 (en) | 2002-05-24 | 2005-05-03 | Koninklijke Philips Electronics N.V. | Method and system for estimating sharpness metrics based on local edge kurtosis |
JP4208563B2 (ja) | 2002-12-18 | 2009-01-14 | キヤノン株式会社 | 自動焦点調節装置 |
US7269296B2 (en) * | 2003-01-16 | 2007-09-11 | Samsung Electronics Co., Ltd. | Method and apparatus for shoot suppression in image detail enhancement |
SG115540A1 (en) | 2003-05-17 | 2005-10-28 | St Microelectronics Asia | An edge enhancement process and system |
JP2005043792A (ja) | 2003-07-25 | 2005-02-17 | Pentax Corp | 内視鏡の自動焦点調節装置 |
US7720302B2 (en) * | 2003-09-25 | 2010-05-18 | Fujifilm Corporation | Method, apparatus and program for image processing |
JP2004110059A (ja) * | 2003-10-27 | 2004-04-08 | Minolta Co Ltd | 光学系制御装置、光学系制御方法および記録媒体 |
US7391920B2 (en) * | 2003-11-04 | 2008-06-24 | Fujifilm Corporation | Image processing method, apparatus, and program |
EP1702682A4 (en) * | 2004-01-09 | 2009-06-10 | Nippon Oil Corp | HYDROGENATION AND DESULFURIZATION CATALYST FOR PETROLEUM HYDROCARBON AND HYDROGENATION AND DESULFURATION METHOD USING THE CATALYST |
JP2005269604A (ja) | 2004-02-20 | 2005-09-29 | Fuji Photo Film Co Ltd | 撮像装置、撮像方法、及び撮像プログラム |
US7561186B2 (en) * | 2004-04-19 | 2009-07-14 | Seiko Epson Corporation | Motion blur correction |
JP2005309559A (ja) | 2004-04-19 | 2005-11-04 | Fuji Photo Film Co Ltd | 画像処理方法および装置並びにプログラム |
US20050244077A1 (en) | 2004-04-22 | 2005-11-03 | Fuji Photo Film Co., Ltd. | Method, apparatus and program for image processing |
US20050249429A1 (en) * | 2004-04-22 | 2005-11-10 | Fuji Photo Film Co., Ltd. | Method, apparatus, and program for image processing |
JP2005332383A (ja) | 2004-04-23 | 2005-12-02 | Fuji Photo Film Co Ltd | 画像処理方法および装置並びにプログラム |
US20060078217A1 (en) * | 2004-05-20 | 2006-04-13 | Seiko Epson Corporation | Out-of-focus detection method and imaging device control method |
JP2006024193A (ja) | 2004-06-07 | 2006-01-26 | Fuji Photo Film Co Ltd | 画像補正装置、画像補正プログラム、画像補正方法、および画像補正システム |
EP1624672A1 (en) * | 2004-08-07 | 2006-02-08 | STMicroelectronics Limited | A method of determining a measure of edge strength and focus |
JP2006115446A (ja) | 2004-09-14 | 2006-04-27 | Seiko Epson Corp | 撮影装置、及び画像評価方法 |
US7343047B2 (en) | 2004-09-22 | 2008-03-11 | Hewlett-Packard Development Company, L.P. | Systems and methods for arriving at an auto focus Figure of Merit |
US7454053B2 (en) * | 2004-10-29 | 2008-11-18 | Mitutoyo Corporation | System and method for automatically recovering video tools in a vision system |
JP4487805B2 (ja) * | 2004-11-16 | 2010-06-23 | セイコーエプソン株式会社 | 画像評価方法、画像評価装置、及び印刷装置 |
JP4759329B2 (ja) | 2005-06-23 | 2011-08-31 | Hoya株式会社 | オートフォーカス機能を有する撮影装置 |
US7630571B2 (en) * | 2005-09-15 | 2009-12-08 | Microsoft Corporation | Automatic detection of panoramic camera position and orientation table parameters |
US7590288B1 (en) * | 2005-11-07 | 2009-09-15 | Maxim Integrated Products, Inc. | Method and/or apparatus for detecting edges of blocks in an image processing system |
WO2007075514A1 (en) | 2005-12-16 | 2007-07-05 | Thomson Licensing | System and method for providing uniform brightness in seam portions of tiled images |
US7792420B2 (en) | 2006-03-01 | 2010-09-07 | Nikon Corporation | Focus adjustment device, imaging device and focus adjustment method |
JP4743773B2 (ja) | 2006-06-01 | 2011-08-10 | コニカミノルタセンシング株式会社 | エッジ検出方法、装置、及びプログラム |
JP4182990B2 (ja) | 2006-06-02 | 2008-11-19 | セイコーエプソン株式会社 | 印刷装置、画像がぼやけているか否かを決定する方法、およびコンピュータプログラム |
US20080021665A1 (en) | 2006-07-20 | 2008-01-24 | David Vaughnn | Focusing method and apparatus |
JP2008072696A (ja) * | 2006-08-14 | 2008-03-27 | Seiko Epson Corp | 合焦情報の視覚化装置、その方法、プログラム及び記録媒体 |
JP4781233B2 (ja) | 2006-11-07 | 2011-09-28 | キヤノン株式会社 | 画像処理装置、撮像装置、及び画像処理方法 |
US7924468B2 (en) | 2006-12-20 | 2011-04-12 | Seiko Epson Corporation | Camera shake determination device, printing apparatus and camera shake determination method |
KR20080081693A (ko) | 2007-03-06 | 2008-09-10 | 삼성전자주식회사 | 카메라의 자동초점조절 방법 |
JP2009065224A (ja) * | 2007-09-04 | 2009-03-26 | Seiko Epson Corp | 画像データ解析装置、画像データ解析方法、およびプログラム |
US8264591B2 (en) * | 2007-10-22 | 2012-09-11 | Candela Microsystems (S) Pte. Ltd. | Method and system for generating focus signal |
JP2009156946A (ja) | 2007-12-25 | 2009-07-16 | Sanyo Electric Co Ltd | 撮像装置の防振制御回路 |
JP2009260411A (ja) | 2008-04-11 | 2009-11-05 | Olympus Corp | 撮像装置 |
US8184196B2 (en) | 2008-08-05 | 2012-05-22 | Qualcomm Incorporated | System and method to generate depth data using edge detection |
US20110109764A1 (en) | 2008-09-24 | 2011-05-12 | Li Hong | Autofocus technique utilizing gradient histogram distribution characteristics |
WO2010061250A1 (en) | 2008-11-26 | 2010-06-03 | Hiok-Nam Tay | Auto-focus image system |
WO2010061352A2 (en) * | 2008-11-26 | 2010-06-03 | Hiok Nam Tay | Auto-focus image system |
JP5511212B2 (ja) | 2009-03-31 | 2014-06-04 | 大日本スクリーン製造株式会社 | 欠陥検出装置及び欠陥検出方法 |
JP2011003124A (ja) | 2009-06-22 | 2011-01-06 | Sony Corp | 画像処理装置および画像処理プログラム |
GB2475983B (en) | 2009-12-07 | 2013-03-13 | Hiok Nam Tay | Auto-focus image system |
US8724009B2 (en) | 2010-05-05 | 2014-05-13 | Hiok Nam Tay | Auto-focus image system |
US8630504B2 (en) | 2012-01-16 | 2014-01-14 | Hiok Nam Tay | Auto-focus image system |
-
2010
- 2010-12-07 GB GB1020759.5A patent/GB2475983B/en not_active Expired - Fee Related
- 2010-12-07 SG SG2012041588A patent/SG181539A1/en unknown
- 2010-12-07 US US12/962,649 patent/US8159600B2/en not_active Expired - Fee Related
- 2010-12-07 CA CA2821143A patent/CA2821143A1/en not_active Abandoned
- 2010-12-07 WO PCT/IB2010/055649 patent/WO2011070514A1/en active Application Filing
- 2010-12-07 CN CN201080056348.2A patent/CN103416052B/zh not_active Expired - Fee Related
- 2010-12-07 MX MX2012006468A patent/MX2012006468A/es active IP Right Grant
- 2010-12-07 GB GB1209942.0A patent/GB2488482A/en not_active Withdrawn
- 2010-12-07 MX MX2012006469A patent/MX2012006469A/es active IP Right Grant
- 2010-12-07 JP JP2012542669A patent/JP5725380B2/ja active Active
- 2010-12-07 US US12/961,826 patent/US8457431B2/en not_active Expired - Fee Related
- 2010-12-07 BR BR112012013721A patent/BR112012013721A2/pt not_active IP Right Cessation
- 2010-12-07 GB GB1314741.8A patent/GB2504857B/en not_active Expired - Fee Related
- 2010-12-07 SG SG2012041612A patent/SG181173A1/en unknown
- 2010-12-07 EP EP10807383.4A patent/EP2510680B1/en not_active Not-in-force
- 2010-12-07 AU AU2010329534A patent/AU2010329534A1/en not_active Abandoned
- 2010-12-07 WO PCT/IB2010/055641 patent/WO2011070513A1/en active Application Filing
- 2010-12-07 JP JP2012542670A patent/JP2013527483A/ja not_active Ceased
- 2010-12-07 AU AU2010329533A patent/AU2010329533A1/en not_active Abandoned
- 2010-12-07 GB GBGB1020769.4A patent/GB201020769D0/en not_active Ceased
-
2011
- 2011-06-09 BR BR112013014226A patent/BR112013014226A2/pt not_active IP Right Cessation
- 2011-06-09 BR BR112013014240A patent/BR112013014240A2/pt not_active IP Right Cessation
-
2012
- 2012-06-07 US US13/491,590 patent/US20130044255A1/en not_active Abandoned
- 2012-06-08 US US13/492,802 patent/US20120314121A1/en not_active Abandoned
- 2012-06-09 US US13/492,825 patent/US20120314960A1/en not_active Abandoned
-
2013
- 2013-06-03 US US13/909,056 patent/US8923645B2/en not_active Expired - Fee Related
-
2014
- 2014-05-21 HK HK14104766.8A patent/HK1191780A1/xx not_active IP Right Cessation
- 2014-12-10 US US14/565,459 patent/US9734562B2/en not_active Expired - Fee Related
-
2015
- 2015-03-02 US US14/635,046 patent/US9251571B2/en not_active Expired - Fee Related
- 2015-12-04 JP JP2015238094A patent/JP2016057638A/ja active Pending
-
2016
- 2016-04-08 JP JP2016078083A patent/JP6179827B2/ja not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002189164A (ja) * | 2000-12-21 | 2002-07-05 | Minolta Co Ltd | 光学系制御装置、光学系制御方法および記録媒体 |
JP2003167182A (ja) * | 2001-11-29 | 2003-06-13 | Minolta Co Ltd | オートフォーカス装置 |
JP2004028761A (ja) * | 2002-06-25 | 2004-01-29 | Ngk Spark Plug Co Ltd | スパークプラグの検査方法、スパークプラグの製造方法及びスパークプラグの検査装置 |
JP2004219546A (ja) * | 2003-01-10 | 2004-08-05 | Pentax Corp | 自動焦点調節装置および自動焦点調節方法 |
JP2006171840A (ja) * | 2004-12-13 | 2006-06-29 | Seiko Epson Corp | 画像情報の評価方法、画像情報の評価プログラム及び画像情報評価装置 |
JP2009218806A (ja) * | 2008-03-10 | 2009-09-24 | Seiko Epson Corp | 画像処理装置及び方法、並びに、そのためのプログラム |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5725380B2 (ja) | オートフォーカス画像システム | |
US8630504B2 (en) | Auto-focus image system | |
JP5920608B2 (ja) | 画像の鮮明度を評価する撮像システムおよび方法 | |
JP2014078021A (ja) | オートフォーカス画像システム | |
JP2014504375A (ja) | オートフォーカス画像システム | |
JP6057086B2 (ja) | 画像の鮮明さ度合いを決定する方法および画像ピックアップ装置 | |
JP2014504375A5 (ja) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160311 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161220 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170808 |