JP2006099119A - 画像取込装置において移動を補償しながらオートフォーカスを実施する方法 - Google Patents

画像取込装置において移動を補償しながらオートフォーカスを実施する方法 Download PDF

Info

Publication number
JP2006099119A
JP2006099119A JP2005283637A JP2005283637A JP2006099119A JP 2006099119 A JP2006099119 A JP 2006099119A JP 2005283637 A JP2005283637 A JP 2005283637A JP 2005283637 A JP2005283637 A JP 2005283637A JP 2006099119 A JP2006099119 A JP 2006099119A
Authority
JP
Japan
Prior art keywords
focus
image
autofocus
movement
capture device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005283637A
Other languages
English (en)
Inventor
J Stavely Donald
ドナルド・ジェイ・ステイヴリー
Mark J Bianchi
マーク・ジェイ・ビアンキ
M Broom Daniel
ダニエル・エム・ブルーム
E Sinner Charles
チャールズ・イー・シナー
Kurt E Spears
カート・イー・スピアーズ
Wilfred Brake
ウィルフレッド・ブレイク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of JP2006099119A publication Critical patent/JP2006099119A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00Focusing arrangements of general interest for cameras, projectors or printers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/02Viewfinders
    • G03B13/16Viewfinders combined with focusing aids
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)

Abstract

【課題】 画像取込装置の移動によっても該装置の焦点を良好に合わせること。
【解決手段】 オートフォーカスレンズ(126)が第1の焦点位置にある時に、画像取込装置(100)の焦点が合わされる対象物(203)に向けられるオートフォーカス窓をもつ第1の焦点画像を取り込むステップと、第1の焦点画像の取込みと第2の焦点画像の取込みとの間に発生する画像取込装置(100)の移動を検出するステップと、検出された移動の間に対象物(203)がオートフォーカス窓(202)内で静止したままであるように、オートフォーカス窓(202)の位置を検出された移動に対応して調整するステップと、オートフォーカスレンズ(126)が第2の焦点位置にある時に第2の焦点画像を取り込むステップと、を含む。
【選択図】 図5

Description

本発明は、関心対象物に画像取込装置の焦点を合わせる方法に関する。
[関連出願の相互参照]
本出願は、2004年9月29日に出願され、出願番号が第60/614,310号である、「IMPLEMENTING AUTOFOCUS IN AN IMAGE CAPTURE DEVICE WHILE COMPENSATING FOR MOVEMENT」と題する同時係属中の米国仮特許出願に対する優先権を主張する。
オートフォーカスシステムは、カメラレンズの焦点を自動的に被写体に合わせる。レンズの焦点合わせには、被写体の鮮鋭な画像がイメージセンサ(たとえば、フィルムまたは電荷結合素子)上に投影されるまでレンズ部品の位置を調整することが必要である。オートフォーカスを達成する1つの手法では、対象物から音波を跳ね返させる音波探知の形態を使用する。たとえば、カメラは、反射した超音波がカメラに戻るためにかかる時間を計算し、その後、それに従ってレンズ位置を調整する場合がある。このような音波の使用には限界がある。たとえば、ユーザが、観光バスの中から窓を閉じて写真を撮影している場合、音波は対象物(すなわち被写体)ではなく窓から跳ね返る可能性があり、それによってカメラレンズの焦点が正しく合わなくなる。
デジタルカメラにおいてオートフォーカスを実施する別の手法には、画像の内容を分析することにより被写体までの距離を確定することが含まれる。カメラは、画像データを検査し、画像データの分析に基づき最適な焦点位置を捜して前後にレンズ部品を調整する。通常、電荷結合素子(CCD)の中心領域からまたは別の窓からの選択された画素に対応する一連の画像を、異なるカメラレンズ位置で撮影する。
カメラのマイクロプロセッサは、画像の各々の画素からデータを検査し、隣接する画素データ間の強度の差を確定する。シーンの焦点がずれている場合、隣接する画素からのデータは、一般に、非常に類似する強度を有する。マイクロプロセッサは、カメラレンズを移動させ、CCDの選択された画素からのデータを検査し、隣接する画素のデータ間の強度の差が改善されたかまたは悪化したかを判断する。そして、マイクロプロセッサは、選択されたオートフォーカス窓における画素のすべてにわたって集められた(aggregated)、隣接する画素のデータ間の最大強度差がある点を捜す。この集合体(aggregate)を、「焦点尺度(focus metric)」と呼ぶ。そして、異なるレンズ位置で撮影された画像のすべてにわたる焦点尺度のピークを、最適な焦点の点であると判断する。
上述したオートフォーカスシステムでの問題は、画像を取り込もうとしている撮影者の手がぶれる場合に発生する可能性がある。手ぶれによる移動により、オートフォーカスプロセス中に、高コントラストシーン情報がオートフォーカス窓のエッジの内部にかつ/または外部に移動する可能性がある。手ぶれによる移動が、焦点尺度をその移動のために上昇および下降させる可能性があり、それによって「間違ったピーク」がもたらされる。その結果、被写体に正確に焦点が合わされる画像を取り込むために、カメラレンズの焦点位置が好都合でない位置で発生する。
他のタイプのカメラの移動によってもまた、画像の焦点が十分に合わなくなる可能性がある。たとえば、ユーザがでこぼこの道路を走行している自動車で移動している間に、画像取込みが発生する場合がある。
画像取込装置の焦点を合わせる一実施形態は、画像取込装置の移動の少なくとも1つの方向を特定するステップと、画像取込装置が移動する方向とは実質的に反対の方向にオートフォーカス窓の位置をシフトさせステップとを含む。
画像取込装置の焦点を合わせる別の実施形態は、画像取込み装置の検出された移動に応じてオートフォーカス窓を移動させるステップを含む。
画像取込装置の焦点を合わせる別の実施形態は、オートフォーカスレンズが第1の焦点位置にある時に、画像取込装置の焦点が合わされる対象物に向けられるオートフォーカス窓をもつ第1の焦点画像を取り込むステップと、前記第1の焦点画像の取込みと第2の焦点画像の取込みとの間に発生する前記画像取込装置の移動を検出するステップと、前記検出された移動の間に前記対象物が前記オートフォーカス窓内で静止したままであるように、前記オートフォーカス窓の位置を前記検出された移動に対応して調整するステップと、前記オートフォーカスレンズが第2の焦点位置にある時に第2の焦点画像を取り込むステップと、を含む。
画像取込装置によるオートフォーカスを例として示すが、それは、以下の図面に示される実施態様(インプリメンテーション)によって限定されない。図面の構成要素は必ずしも一定比例尺になっていない。それぞれの図を通して同様の参照数字は対応する部分を示す。
実施形態は、限定されないが、デジタルカメラ、電子オートフォーカス装置を備えるフィルムベースのカメラまたはカムコーダ等の画像取込装置のオートフォーカス機能の電子画像安定化に適用される。1つの例示的な実施形態では、画像取込装置のフォトセンサを露光させることにより、第1の焦点画像を取り込む。フォトセンサの中心に配置され最初に対象物に向けられる(画像取込装置のレンズを通して)オートフォーカス窓を確定する。他の実施形態では、オートフォーカス窓は、フォトセンサの別の位置に対応してもよく、または複数のオートフォーカス窓がフォトセンサの選択された位置に対応してもよい。オートフォーカス窓に対応する画素からのデータを読み出して処理することにより焦点尺度を確定する。
上述した焦点画像は、画像取込装置のレンズを第1の焦点位置にして取り込まれる。第1の焦点画像が取り込まれる時、画像の関心対象物(object of interest)に焦点が合っている場合もあれば合っていない場合もある。(ほとんど確実に、画像の焦点はずれることになる。)本明細書で使用するレンズの焦点位置は、関心対象物が対応する距離にある時にその関心対象物を画像取込媒体に焦点合わせする、レンズまたはその部品の位置である。
そして、画像取込装置のレンズを第2の焦点位置に変更し、第2の焦点画像を取り込む。第1の焦点画像が取り込まれる時と第2の焦点画像が取り込まれる時との間で、画像取込装置が移動しない場合、同じ画素(第1のオートフォーカス窓に対して使用される)からのデータを使用して第2の焦点尺度を確定する。
しかしながら、第1の焦点画像が取り込まれる時と第2の焦点画像が取り込まれる時との間で、画像取込装置が動くすなわち移動する場合がある。かかる移動は、画像取込装置のユーザの手の移動、ユーザ(および恐らくは画像取込装置)が位置している移動中の乗物によって生じるウィンデージまたは振動等、種々の要因によってもたらされる可能性がある。
カメラの移動(「手ぶれ」等を原因とする大きさの小さい高頻度の移動等)が検出されると、それに応じて、第2の焦点画像から確定されたオートフォーカス窓を、検出された移動とは反対の方向にシフトさせる。すなわち、異なる画素群をオートフォーカス窓として定義し、その第2の画素群からのデータを読み出して処理することにより第2の焦点尺度を確定する。したがって、取り込まれているシーンまたは被写体に関して、実質的に安定したまたは静止したオートフォーカス窓を定義する。取り込まれた画像の比較に基づいて移動が確定される別の実施形態では、確定された移動を使用してオートフォーカス窓の位置を調整してもよい。
オートフォーカスプロセス中、オートフォーカス窓からの選択された画素に対応する一連の焦点尺度を、異なる画像取込装置のレンズ位置で確定する。このレンズ位置は、画像取込装置に対する焦点値に対応する。一連の焦点画像の取込みの間に検出された移動を使用して、オートフォーカス窓の各々を調整することにより、一連の取り込まれた焦点画像に対し実質的に安定したまたは静止したオートフォーカス窓が定義されるようにする。
その結果、オートフォーカス尺度を確定するために使用されるフォトセンサの領域を、オートフォーカスプロセス中に、実質的に静止して(取り込まれている被写体に対して)保持されるオートフォーカス窓から確定する。オートフォーカス窓が実質的に安定しているかまたは静止していることにより、高コントラストな対象物がオートフォーカス窓の内外に移動する影響が低減し、焦点尺度における間違ったピークが低減し、対象物に焦点を合わせるカメラの能力が向上する。
一実施形態では、カメラによって検出される焦点画像を使用してカメラの移動を推定してもよい。別の実施形態では、フォトセンサによって取り込まれる画像の他の部分またはフォトセンサ全体からの画像を使用して、カメラの移動を推定してもよい。たとえば、オートフォーカス窓の連続して取り込まれるフレームからの画像データを比較する(たとえば、相関させる)ことにより、画像の内容の相対的な移動を推定する。2次元(XおよびY)相関関数のピークは、フレーム間の画像の移動の最良推定量に対応する。連続した画像からかかる「動きベクトル」を生成するアルゴリズムは、MPEG(moving picture experts group)等のビデオ圧縮アルゴリズムの一部としてよく理解されている。
かかる実施形態では、連続的に取り込まれた画像から移動が確定された後、一連の取り込まれた焦点画像に対して実質的に安定したまたは静止したオートフォーカス窓を定義するために画素を選択する。他の実施形態では、確定された移動を使用して、第3の焦点画像等、後に取り込まれる焦点画像に対するオートフォーカス窓を定義する。
さまざまな実施形態において、限定されないがジャイロスコープ、加速度計または他の動き検知技術等、物理的な装置を使用して移動を検出してもよい。たとえば、2つの直交して取り付けられた回転センサを使用して、水平(ヨー)回転方向および垂直(ピッチ)回転方向の両方における移動を検知しかつ補償してもよい。
図1は、画像取込装置100の一実施形態の例示的な構成要素を示すブロック図である。画像取込装置100は、画像を取り込むフォトセンサ102、画像を表示する表示画面107、ファームウェアおよび/または取り込まれた画像データを格納するメモリ108、フォトセンサ102から受け取られた情報を処理するデジタル信号プロセッサ、メモリ108に格納されたファームウェアを実行し、画像データを処理し、かつ/または他の画像取込装置機能を実行するプロセッサシステム120、ユーザ入力を受け取るユーザ入力(UI)制御部101、ならびに画像データを別の装置へまたは別の装置から転送する1つまたは複数の通信ポート122を有する。他の実施形態では、これらの構成要素のうちのいくつかを使用しなくてもよく、かつ/または本明細書で説明しない他の構成要素が存在してもよい。たとえば、フィルムベースの画像取込装置では、表示画面107を省略してもよく、フィルム処理手段を使用してフィルムを前進させてもよく、それにより、一連の画像を1本のフィルムに取り込むことができる。
フォトセンサ102は、たとえば、本明細書では画素と呼ぶ複数の感光素子を有する電荷結合素子(CCD)を備えてもよい。他の実施形態は、他の電子に基づく画像取込センサを使用してもよい。画像全体を取り込むために使用されるフォトセンサ102の一部を使用して、1つまたは複数のオートフォーカス窓202を定義する。他の実施形態では、比較的小さいフォトセンサ102を使用して、フィルムベースのカメラにおける電子オートフォーカスシステム等、1つまたは複数のオートフォーカス窓202を定義してもよい。フォトセンサ102から画素群を選択することにより、オートフォーカス窓202を定義する。
UI制御部101は、たとえばボタン、ロッカスイッチおよび/またはユーザ入力を受け取るキーパッド等、物理的制御部を含んでいてもよい。別法として、表示画面107は、タッチセンシティブデバイスであってもよく、そのため、ユーザ入力を受け取る仮想制御部を表示してもよい。さらに別の実施形態は、メニューシステムを通してUI制御機能を実施してもよい。
揮発性メモリおよび不揮発性メモリの組合せを含んでいてもよいメモリ108は、グラフィカルユーザインタフェース(GUI)アプリケーション109およびオートフォーカスアプリケーション110(本明細書で説明するように、画像取込装置100の検出された移動の方向とは実質的に反対の方向にオートフォーカス窓202をシフトさせるように構成され、かつ/またはレンズモータ128に対しレンズ126の焦点を調整させるオートフォーカス制御信号を生成するように構成される)を格納してもよい。これらのアプリケーション109および110を、特定の実施形態に応じて、プログラムコードを実行するように構成される汎用プロセッサまたはカスタムメードプロセッサであってもよいプロセッサシステム120によって実行してもよい。
各通信ポート122は、たとえば、限定されないが、シリアルポート、パラレルポート、小型コンピュータシステムインタフェース(SCSI)、赤外線(IR)インタフェース、無線周波数(RF)インタフェースまたはユニバーサルシリアルバス(USB)インタフェースを含んでいてもよい。通信ポート122を、たとえば、画像取込装置100がパーソナルコンピュータ(PC)またはテレビ受像機に結合されるのを可能にするように構成してもよい。
画像取込装置100の上述した構成要素を、ローカルインタフェース130を介して通信可能に結合してもよい。ローカルインタフェース130は、実施形態によっては、1つまたは複数のバスまたは他の有線接続または無線接続を含んでいてもよい。ローカルインタフェース130はまた、画像取込装置100の構成要素間のデータ転送およびデータ通信を可能にする、たとえばコントローラ、バッファ、ドライバ、リピータおよび/または受信器等、簡潔のために省略する追加の要素を含んでいてもよい。
一実施形態では、フォトセンサ102を、関心対象物に対応する画像を検知するように構成する。関心対象物を、レンズ126を通してフォトセンサ102上に投影する。別の実施形態では、関心対象物を、レンズ126を通してフィルムベース媒体上に焦点合わせする。そして、フィルムベースの画像取込装置の実施形態によって使用される少なくともオートフォーカス機能のために、フォトセンサ102を含める。
レンズ126は、フォトセンサ102上に関心対象物の画像を焦点合わせするように構成される可変焦点カメラレンズである。したがって、レンズ126の部品を、フォトセンサ102上に関心対象物の画像を焦点合わせするように調整する。
フォトセンサ102の領域内に、少なくとも1つのオートフォーカス窓202を定義する。オートフォーカス窓202を、オートフォーカスプロセスの初期化中に事前定義してもよい。すなわち、オートフォーカス窓を構成すべき画素群を、事前に選択しまたは特定してもよい。これらの画素は、さまざまな実施形態によって使用される焦点画像に対する画像データを提供する。または、1つまたは複数の設計基準に基づいて、オートフォーカスプロセスの初期化時にオートフォーカス窓を定義してもよい。
後述するように、オートフォーカス窓202から取り込まれた画像データ(焦点画像に対応する)を使用して、レンズ126に対する望ましい焦点位置を確定する。レンズ126の部品が望ましい焦点位置に従って配置される場合、レンズ126を通してフォトセンサ102上に投影される関心対象物の焦点が合う。
動きセンサを採用する実施形態では、少なくとも1つの動きセンサ111を、画像取込装置100の移動の方向を特定するように構成する。カメラ移動の方向を検出することに加えて、動きセンサ(複数可)111はまた、カメラ移動の大きさ(距離、速度および/または加速度)を確定してもよい。動きセンサ111は、たとえば、限定されないがジャイロスコープ、加速度計および/または任意の適当な動き検知構成要素を含んでいてもよい。
一実施形態では、プロセッサシステム120を、画像取込装置100の検出された移動の方向とは実質的に反対の方向にオートフォーカス窓202をシフトさせるようにプログラムする(たとえば、オートフォーカスアプリケーション110を介して)。オートフォーカス窓202の定義された位置を、フォトセンサ102を構成する複数の画素(図示せず)にわたって選択的にシフトさせることにより、オートフォーカス窓202のシフトを達成する。すなわち、オートフォーカス窓に対して選択される画素を、画像を取り込むための焦点を確定するために使用される、関心対象物または関心対象物の選択された部分等、対象物に対応する一連の焦点画像を取り込むように変更し(再選択しまたは再定義し)てもよい。したがって、対象物の画像データ(取り込まれた焦点画像に対応する)が、オートフォーカスプロセス中に発生するカメラの移動中にオートフォーカス窓内で実質的に静止しているように、オートフォーカス窓202の位置を調整する。
プロセッサシステム120を、本明細書においてより詳細に説明するように、オートフォーカス窓202から受け取られる画像データ(焦点画像)に基づいてレンズ126の焦点を合わせるようにプログラムする。レンズ126を、プロセッサシステム120によって生成されるオートフォーカス制御信号に応じて、レンズモータ128または別の適当な電子機械装置を介して自動的に焦点合わせしてもよい。
図2A乃至図2Cは、画像取込装置100(図1)が、動いている(たとえば、撮影者の手の故意でない移動による)間にいかに対象物に焦点を合わせるかの一例を示す。カメラのフォトセンサ102(図1)の画像取込領域201は、オートフォーカス窓202を含む。この例では、画像取込領域201に現れる対象物画像は、関心対象物のすべてまたは一部であってもよい対象物203と、他の物体204および205と、を含む。対象物203は、オートフォーカスが望まれる関心対象物または関心対象物の一部である。
図2Aは、フォトセンサ102によって検出される例示的な視野を示す。オートフォーカス窓202は、最初に、フォトセンサ102の事前に定義された位置に配置される。この例示的な実施形態では、オートフォーカス窓202は、最初に、画像取込領域201内の中心に配置される。視野内の対象物203が、焦点が合わされる物体となるものと想定する。このため、画像取込装置100のユーザは、対象物203にレンズ126(図1)を向ける。実施形態によっては、シャッタボタンが部分的に押下されると、オートフォーカスプロセスが開始する。
図2Bを参照すると、視野が方向211に移動する(たとえば、この例示的な例において、画像取込装置100(図1)のヨーの移動によってもたらされる)に従い、画像取込領域201もまた対象物203に対して方向211に移動する。図示するヨー方向211のカメラの移動に応じて、オートフォーカス窓202の位置を反対方向212に調整する。オートフォーカス窓202の再配置は、画像取込みの実施形態または環境に応じて、画像取込領域201またはその一部の移動の大きさに対応してもよい。結果として、最初にオートフォーカス窓202内にある対象物203は、後続する焦点画像が画像取込装置100の移動中に取り込まれる時、オートフォーカス窓202内にあり続ける。物体204の他の部分は、オートフォーカス窓202外にあり続ける。したがって、レンズ126(図1)の焦点位置を計算するために使用される対象物203の部分は、オートフォーカスプロセス中、対象物203上に実質的に固定されたままである。
図2Cを参照すると、画像取込装置100(図1)が方向214に移動するに従い、画像取込領域201もまた方向214に移動する。画像が方向214に移動するのに応じて、オートフォーカス窓202はここでもまた反対方向216に移動する。その結果、対象物203はオートフォーカス窓202内にあり続ける。このように、オートフォーカスプロセスに使用された対象物203は、オートフォーカス窓202内にあり続ける。
図2A乃至図2Cは、水平カメラ移動(および/またはヨー)を補償するために行われる調整について説明したが、垂直カメラ移動(および/またはピッチ)に対してかつ/または水平移動および垂直移動(および/またはヨーおよびピッチ)の組合せに対して、同様の調整が反応するようにしてもよい。たとえば、画像取込装置100のピッチ移動により画像が上方向に移動するのに応じて、オートフォーカス窓202を、画像取込領域201に対して下方向に移動させてもよい。
図3は、画像取込装置100(図1)の画像取込領域201が複数のオートフォーカス窓202A〜Iを含んでいてもよいことを示す。画像取込窓201内の異なる位置を包含する複数のオートフォーカス窓202A〜Iを使用することを、本明細書では「マルチゾーンオートフォーカス」実施形態と呼ぶ。実施形態によっては、複数のオートフォーカス窓202A〜Iを画像取込装置100の移動に対してシフトさせることにより、オートフォーカス窓202A〜Iのうちの選択された1つの安定した位置に基づいて焦点合わせを可能にしてもよい。一実施形態では、対象物が画像取込装置100に最も近接する部分に対応するオートフォーカス窓202を、レンズ126(図1)を焦点合わせするための焦点距離を確定する基礎として使用する。他の実施形態は、レンズ126の焦点を確定する基礎として使用される複数のオートフォーカス窓202A〜Iのうちの1つのアルゴリズムまたは手動選択を含んでいてもよい。図3には9つのオートフォーカス窓202A〜Iを示すが、他の実施形態はそれより少ないかまたは追加のオートフォーカス窓を有していてもよい。
図3では、互いに隣接する複数のオートフォーカス窓202A〜Iを示す。他の実施形態では、オートフォーカス窓202A〜Iは、互いから分離してもよく、かつ/または互いにオーバラップしてもよい。さらに、実施形態によっては、複数のオートフォーカス窓202の数が異なっていてもよい。たとえば、オートフォーカス窓202の数は、異なる画像取込モードで動作している時に変化してもよい。また、オートフォーカス窓の数が変化する実施形態によっては、オートフォーカス窓202の数が選択可能であってもよい。
図3の簡略化した例示的な例において上述したように、オートフォーカス窓202(図1)の位置を、焦点尺度が計算される対応する画素の新たなセットを選択することによってシフトさせてもよい。オートフォーカス窓202の再配置は、画像取込の実施形態および/または環境に応じて、画像取込領域201(図2A乃至図2C)またはその一部の移動の大きさに対応していてもよい。一実施形態では、オートフォーカス窓202を、画像取込装置100(図1)の移動が手ぶれタイプの移動に対応する(たとえば、異なる方向への小さい移動)と確定される場合にのみ、画像取込領域201に対してシフトさせる。さらに、画像取込装置100の移動が手ぶれタイプの移動に対応しない(たとえば、画像取込装置100が比較的長い距離を移動している)場合、オートフォーカス窓202を、画像取込領域201内の中心に置きなおしてもよい。別法として、検出された移動の頻度を使用して、故意の移動(移動する物体を追跡している場合等)と故意でない移動(手ぶれ)とを識別してもよい。オートフォーカス窓202を、依然として画像上のより迅速な移動に従いながら、画像取込領域201の中心に向かって戻るように、低速であるが連続的に移動させてもよい。
一実施形態では、シフトされたオートフォーカス窓202に対応する画像データを分析して、上述した焦点尺度を確定し、それにより、レンズ126(図1)に対する所望の焦点位置を確定する。たとえば、画像取込装置100のマイクロプロセッサは、シフトしたオートフォーカス窓202に対応する画像を検査することにより焦点尺度を確定する。そして、レンズ126を、シフトしたオートフォーカス窓202から確定される焦点尺度に基づいて焦点合わせする。レンズ126の焦点を合わせた後、画像取込領域201に対応する画像を取り込む。
一実施形態では、複数のシフトしたオートフォーカス窓202および複数のレンズ126の位置に対応する連続して取り込まれた複数の焦点画像を分析してもよい。たとえば、撮影者は、カメラの露出ボタンを途中まで押下し、それをこの位置で保持することによりオートフォーカスプロセスを開始してもよい。画像が露出され、かつ読み取られるに従い、レンズモータ128はレンズ126(図1)を徐々にかつ繰返し移動させることにより、オートフォーカス窓202がカメラ移動に応じてシフトするようにする。その結果、複数のシフトされたオートフォーカス窓202および複数のレンズ126の位置に対応する焦点画像を連続して取り込む。一実施形態では、それぞれの画像の全体の空間コントラスト(たとえば、鮮鋭度)に基づき、複数のシフトされたオートフォーカス窓202の各々に対し焦点尺度を計算する。そして、最高焦点尺度に対応するレンズ位置を選択することにより、所望の焦点位置を確定してもよい。
レンズ制御アルゴリズム、すなわちオートフォーカスアプリケーション110(図1)の代替実施形態では、最適なレンズ焦点位置を超えるのを許容することができ、その後、かかる焦点位置までレンズ126を戻すことができる。所望の焦点位置に達すると、正しい焦点のLED(発光ダイオード)表示または他の指示は、撮影者に対し、カメラが写真を撮影する用意ができていること(すなわち、レンズ126が正確に焦点合わせされていること)を示す。そして、撮影者は、露出ボタンを完全に押下することにより、所望の画像を取り込むことができる。
オートフォーカスを、画像取込装置100(図1)により、オートフォーカス窓(複数可)によって取り込まれる焦点画像データを分析することによって実施してもよい。第1の焦点画像および第2の焦点画像を、オートフォーカスプロセス中に取り込む。ここで、取り込まれた焦点画像は、オートフォーカス窓202が向けられる対象物に対応する。たとえば、レンズ126が第1の焦点位置にある間に第1の焦点画像を取り込んでもよく、レンズ126が第2の焦点位置にある間に第2の焦点画像を取り込んでもよい。
オートフォーカスプロセス中、レンズ126の焦点を調整することにより、オートフォーカス窓からの連続した複数の焦点画像が取り込まれ分析されるようにする。たとえば、一実施形態では、オートフォーカス窓202から取り込まれる第1の焦点画像および第2の焦点画像を分析して、所定の焦点尺度と比較することによりレンズ126に対する焦点位置を確定する。一実施形態では、各焦点画像に対しその全体の空間コントラスト(たとえば、鮮鋭度)に対する焦点尺度を計算する。一例として、限定されないが、焦点尺度を、オートフォーカス窓202における隣接する画素のデータ間の絶対誤差の合計から計算してもよい(ここで、隣接性は、水平の向きにおいてであってもよくかつ/または垂直の向きにおいてであってもよい)。別法として、二乗誤差の合計を使用してもよい。他の実施形態は、他の既知のタイプの焦点尺度を使用する。別の実施形態では、焦点尺度を補間して、中間レンズ焦点位置を確定してもよい。任意の適当な焦点尺度を利用してもよい、ということが理解される。そして、対応する最高焦点尺度を有するレンズ126の位置を、所望の焦点として選択してもよい。すなわち、所望の焦点を提供するレンズ位置は、複数の所定の焦点尺度に基づく。所望の焦点に対応する焦点尺度が確定されると、レンズ位置決め手段を、プロセッサからのオートフォーカス信号に基づいて操作することにより、レンズ位置が所望の対応する焦点に調整されるようにする。
実施形態によっては、焦点尺度の絶対ピークを確定するために、レンズ126をすべてのあり得る焦点位置を通して移動させる必要はなく、またそれは実際的ではない。たとえば、オートフォーカスアルゴリズムは、先の露出の付近においてのみ「局所ピーク」を探索してもよい。別法として、オートフォーカスアルゴリズムは、無限遠における関心対象物に対応する焦点位置で開始し、第1のピークに向かって移動してもよい。あるいは、オートフォーカスアルゴリズムは、クローズアップの関心対象物に対応する焦点位置で開始して第1のピークに戻るように移動してもよい。
上述したように、複数のオートフォーカス窓202A〜Iを定義することにより、画像取込装置100がより最適に焦点合わせすることができるようになる。たとえば、複数の関心対象物および遠い周囲がある場合があり、または異なる距離にいくつかのあり得る関心対象物がある場合があり、あるいは、関心対象物のわずかな部分がオートフォーカス窓202A〜Iの視野内にある場合がある。このため、単一オートフォーカス窓202の実施形態では、単一のオートフォーカス窓202A〜Iが意図された対象物に向けられない可能性がある。したがって、複数のオートフォーカス窓202A〜Iは、かかる状況において意図された関心対象物への焦点合わせを可能にする。1つの例示的な実施形態では、ピーク焦点尺度が最も高いオートフォーカス窓を選択することにより、複数のオートフォーカス窓202A〜Iから焦点を確定することができる。このピーク焦点尺度は、オートフォーカス窓202A〜Iの全組合せに対応するピーク焦点尺度とは異なることになる可能性が高い。言い換えれば、複数のオートフォーカス窓を実施することにより、被写体の周囲がレンズ126の焦点を偏らせる可能性が低くなる。
複数のオートフォーカス窓を採用する実施形態では、画像取込装置の移動を検出し、その画像取込装置が移動する方向とは反対の方向に、オートフォーカス窓202A〜Iをシフトさせる(画像取込領域201に対して)。画像取込の実施形態または環境に応じて、オートフォーカス窓202A〜Iの再配置は、画像取込領域201A〜Iまたはその一部の移動の大きさに対応してもよい。
そして、シフトされたオートフォーカス窓202A〜Iによって取り込まれた焦点画像データを分析して(たとえば、それらの内容の鮮鋭度に基づき)、レンズ126(図1)に対する所望の焦点を確定する。そして、シフトされたオートフォーカス窓202A〜Iのうちの選択された1つからの焦点尺度データに基づき、レンズ126の焦点を合わせる。そして、画像取込領域201に対応する画像を取り込む。たとえば、オートフォーカス窓202A〜Iのうちの1つまたは複数によって検出されるように、レンズ126を視野内の最も近い物体に焦点を合わせてもよい。
図4は、画像取込装置100(図1)の移動中に取り込まれる一続きのオートフォーカス窓(AFW1、AFW2、AFW3およびAFW4)を示す簡略化した例示的な例である。オートフォーカス窓AFW1、AFW2、AFW3およびAFW4について説明する便宜上、フォトセンサ102(図1)の画素402の4×4マトリクスを示す。また、便宜上、オートフォーカス窓AFW1〜4のサイズは2×2マトリクスである。フォトセンサ102は図4に示すものより多くの画素を有すること、およびオートフォーカス窓202は、オートフォーカス窓202を定義する画素のm×nマトリクスにおいて任意の適当な数の画素を有していてもよい、ということが理解される。
第1の時刻(t=1)において、オートフォーカス窓AFW1を画素402の4×4マトリクスの中心に置く(この例示的な例の目的で)。したがって、簡略化した例示的なオートフォーカス窓AFW1は、4つの画素F1、G1、J1およびK1を含む。ここで、画素(A〜P)の参照文字は、便宜上4×4マトリクス402における画素を識別する。画素の参照数字(ここでは数「1」)は、焦点画像が取り込まれる時の第1の時刻t=1を示す。
第1の時刻では、オートフォーカス窓AFW1の4つの画素F1、G1、J1およびK1によって検出される光が読み出される。すなわち、オートフォーカス窓AFW1の4つの画素F1、G1、J1およびK1からの光情報が取り出され、処理されて、画像データとなる。オートフォーカス窓AFW1の4つの画素F1、G1、J1およびK1から読み出される画像データは、焦点画像に対応する。
第1の時刻(t=1)と第2の時刻(t=2)との間の時間の間、画像取込装置の移動が、動きセンサ111(図1)によって検出され、または他の実施形態では画像データを分析することによって確定される。この簡略化した例示的な例では、方向矢印D1によって示すように、検出された移動は下方でありかつ左方向である(画素A〜Pと対角線上で位置合せされ、画素の対角長に等しい移動の大きさを有する)。
検出された移動D1が与えられると、オートフォーカスアプリケーション110(図1)は、オートフォーカス窓AFW1を再定義すべきであると判断する。検出された移動D1に対応する情報に基づき、画素C2、D2、G2およびH2をオートフォーカス窓AFW2(ここで、数「2」は第2の時刻t=2に対応する)として選択する。このため、オートフォーカス窓202は、検出された移動に応じてAFW1からAFW2に位置をシフトし、その結果、オートフォーカス窓202が実質的に安定するかまたは静止する。ここで、第1の位置AFW1と第2の位置AFW2との差は、画像取込装置100の検出された移動D1とは実質的に反対の方向に対応する。したがって、オートフォーカス窓202が、関心対象物または関心対象物の選択された部分等、対象物に対して向けられる時、第2の取り込まれた焦点画像は、第1の焦点画像と同じ対象物に対応する。
第2の時刻(t=2)と第3の時刻(t=3)との間の時間の間、画像取込装置の移動が、再び動きセンサ111(図1)によって検出され、または他の実施形態では画像データを分析することによって確定される。この簡略化した例示的な例では、検出された移動は、方向矢印D2によって示すように、上方でありかつ右方向である。さらに、この例の目的で、時刻t=2とt=3との間の移動は、時刻t=1とt=2の間の上述した移動(方向矢印D1によって示す)の2倍の移動であると仮定する。
検出された移動D2が与えられると、オートフォーカスアプリケーション110(図1)は、オートフォーカス窓AFW2を再定義すべきであると判断する。検出された移動D2に対応する情報に基づき、画素I3、J3、M3およびN3を、オートフォーカス窓AFW3(ここで、数「3」は第3の時刻t=3に対応する)として選択する。このため、オートフォーカス窓202は、検出された移動D2に応じてAFW2からAFW3に位置をシフトし、その結果、オートフォーカス窓202は実質的に安定するかまたは静止する。したがって、オートフォーカス窓202が、関心対象物または関心対象物の選択された部分等、対象物に向けられる時、第3の取り込まれた焦点画像は、第1および第2の焦点画像と同じ対象物に対応する。
ここでもまた、第2の位置AFW2と第3の位置AFW3との差は、画像取込装置100の検出された移動D2とは実質的に反対の方向に対応する。さらに、検出された移動D2が、この簡略化された例示的な例では検出された移動D1の2倍であったため、オートフォーカス窓202のAFW2からAFW3へのシフトは、オートフォーカス窓202のAFW1からAFW2へのシフトの2倍になった、ということが理解される。
第3の時刻(t=3)と第4の時刻(t=4)との間の時間の間、画像取込装置の移動が、動きセンサ111(図1)によって再び検出され、または他の実施形態では画像データを分析することによって確定される。この簡略化した例示的な例では、方向矢印D3によって示すように、検出された移動は上方でありかつ右方向である。さらに、この例の目的のために、時刻t=3とt=4との間の移動は、時刻t=1とt=2との間の上述した移動(方向矢印D1によって示す)の移動と同様であるものと仮定する。
検出された移動D3が与えられると、オートフォーカスアプリケーション110(図1)は、オートフォーカス窓AFW3を再定義すべきであると判断する。検出された移動D3に対応する情報に基づき、画素F4、G4、J4およびK4をオートフォーカス窓AFW4(ここで、数「4」は第4の時刻t=4に対応する)として選択する。このため、オートフォーカス窓202は、検出された移動D3に応じてAFW3からAFW4に位置をシフトし、その結果、オートフォーカス窓202が実質的に安定するかまたは静止する。したがって、オートフォーカス窓202が、関心対象物または関心対象物の選択された部分等、対象物に向けられる時、第4の取り込まれた焦点画像は、第1、第2および第3の焦点画像と同じ対象物に対応する。
代替実施形態では、定義されたオートフォーカス窓より大きい領域をカバーする画素群の画像データを、取り込み、保存しまたはバッファリングしてもよい。図4の簡略化した例示的な例では、画素A〜Pのすべてからの情報を、保存しまたはバッファリングしてもよい。検出された移動に対応する情報の処理が完了し、第2のオートフォーカス窓(たとえば、AFW2)が確定された後、第2のオートフォーカス窓に対して定義された画素群を、処理するために取り出す。このため、連続するオートフォーカス窓の取込み時の間の検出された移動のすべてを考慮することができる。
さらに別の実施形態では、検出された移動に対応する情報の処理が完了した後、その情報を使用して第3のオートフォーカス窓を定義してもよい。このため、検出された移動を使用して、直後のオートフォーカス窓の位置を定義するのではなく、後続するオートフォーカス窓を定義する。たとえば、図4の上記簡略化した例示的な例における検出された移動D1を使用して、第3のオートフォーカス窓AFW3を確定してもよい。
画素は、フォトセンサ102の別個の領域に入射する光を検知する別個の構成要素であるため、検出された移動の方向および/または大きさが画素のサイズおよび/または配列に正確には対応しないことから、画素をオートフォーカス窓202の位置に調整するように再定義することはまた、何らかのわずかな誤差をもたらす可能性がある、ということが理解される。たとえば、図4の簡略化した例では、画素A〜Pと対角線上で位置合せされるように、検出された移動D1、D2およびD3を例示し説明した。また、移動D1、D2およびD3の大きさを、画素の対角長の倍数であるように説明し例示した。このため、検出された移動の方向および大きさは画素のサイズおよび配列と正確に対応することから、対象物は、1つのオートフォーカス窓から次のオートフォーカス窓に正確に位置合せされる。
しかしながら、検出された移動の方向および/または移動の大きさが図4に示すものと異なる(検出された移動の方向および/または大きさが画素のサイズおよび/または配列と正確に対応しない)場合、対象物は、1つのオートフォーカス窓から次のオートフォーカス窓に正確に位置合せされない可能性がある。たとえば、オートフォーカス窓AFW1およびAFW2の上述した確定における検出された移動の大きさは、画素の対角長の2/3しかないものと仮定する。
1つの例示的な実施形態は、検出された移動の方向および/または大きさに最も近い適合を有するオートフォーカス窓を定義する。すなわち、この例示的な実施形態は、検出された移動に対して最大の対応するカバー面積を提供するオートフォーカス窓を定義する。本実施形態は、例示的な移動の大きさが画素の対角長の2/3であることから、オートフォーカス窓AFW2が検出された移動に対して最大の対応するカバー面積を提供するため、オートフォーカス窓をAFW2として定義する。しかしながら、オートフォーカス窓AFW1およびAFW2の上述した確定における検出された移動の大きさが、画素の対角長の1/3しかないものと仮定する。この状況では、例示的な実施形態は、例示的な移動の大きさが画素の対角長の1/3であることにより、オートフォーカス窓AFW1が検出された移動に対して最大の対応するカバー面積を提供するため、オートフォーカス窓をAFW1として定義する。
したがって、上述した例では(かつ、検出された移動の大きさおよび/または方向が画素のサイズおよび/または配列と正確には等しくない他の状況では)、対象物は実質的に静止したままである。それは、例示的な実施形態は、検出された移動の大きさおよび/または方向に対し最良適合(最大の対応するカバー面積)を有するオートフォーカス窓を定義しているためである。
オートフォーカス窓が比較的多数の画素を含む場合、画素のサイズと検出された移動の方向および/または大きさとの間の変動を、より少ない誤差で考慮することができる。すなわち、画素の数が多いほど、検出された移動と再定義されたオートフォーカス窓との間により高い分解能が提供されるため、オートフォーカス窓は、検出された移動に実質的に対応する方向および/または大きさで移動することができる。種々の実施形態は、望ましいオートフォーカス窓が定義されるように、検出された移動の方向および/または大きさに対して望ましい最も近い適合を提供する適当なアルゴリズムを使用してもよい、ということが理解される。したがって、対象物は、連続して定義されるオートフォーカス窓において実質的に静止したままである。
画像処理(フォトセンサ露出、焦点画像データの読出し、オートフォーカス窓の位置の確定、およびオートフォーカス窓に対する画像情報の処理)のために或る期間の時間が必要であることが理解される。さらに、移動を検出し、移動の量を後に確定するために、或る期間の時間が必要な場合もある。すなわち、第2の焦点画像が取り込まれる前に、検出された移動を確定しオートフォーカス窓を調整するための処理時間は、正確には対応しない可能性がある。かかる可能性のある時間差のために、実施形態に応じて、画像取込装置100の説明されない(unaccounted-for)移動があり得る可能性がある。したがって、対象物が2つのオートフォーカス窓内で「正確に」静止したままであるように、オートフォーカス窓202が調整されない場合がある。すなわち、焦点画像取込に関連する説明されない移動によってもたらされる幾分かのわずかな量の誤差がある可能性があるため、対象物は、2つのオートフォーカス窓内で「実質的に」のみ静止している場合もある。
図5乃至図7は、それぞれ画像取込装置100(図1)の焦点を合わせるさまざまな実施形態のフローチャート500、600および700である。フローチャート500、600および700は、オートフォーカスアプリケーション110(図1)を実施するソフトウェアのあり得る実施態様(インプリメンテーション)のアーキテクチャ、機能および動作を示す。これに関し、各ブロックは、指定された論理機能(図示せず)を実施する1つまたは複数の実行可能命令を含む、モジュール、セグメントまたはコードの一部を表してもよい。また、代替実施態様(インプリメンテーション)によっては、ブロックに示す機能は、図5乃至図7に示す順序とは異なる順序で発生してもよく、または追加の機能を含んでいてもよい、ということにも留意しなければならない。たとえば、後にさらに明確にするように、関連する機能に応じて、図5乃至図7に連続して示す2つのブロックを、実際には実質的に同時に実行してもよく、時に逆の順序で実行してもよく、またはそれらブロックのうちのいくつかを、すべての場合において実行しなくてもよい。かかる変更および変形のすべてが、本明細書において本開示の範囲内に含まれるように意図されている。
一実施形態では、プロセスはブロック502で開始する。ブロック504において、オートフォーカスレンズ126が第1の焦点位置にある時に、第1の焦点画像を取り込む。第1の焦点画像は、画像取込装置100(図1)の焦点が合わされる対象物に向けられるオートフォーカス窓202に対応する。ブロック506において、画像取込装置100の移動を検出する。移動は、第1の焦点画像の取込みと第2の焦点画像の取込みとの間で発生する。ブロック508において、オートフォーカス窓の位置を調整する。調整は、検出された移動に対応することにより、対象物が、検出された移動中にオートフォーカス窓内で静止したままであるようにする。ブロック510において、オートフォーカスレンズが第2の焦点位置にある時、第2の焦点画像を取り込む。ブロック512においてプロセスは終了する。
別の実施形態では、プロセスはブロック602で開始する。ブロック604において、画像取込装置100の検出された移動に応じて、オートフォーカス窓202を移動させる。ブロック606においてプロセスは終了する。
さらに別の実施形態では、プロセスはブロック702で開始する。ブロック704において、画像取込装置100の少なくとも1つの移動の方向を特定する。ブロック706において、オートフォーカス窓202の位置を、画像取込装置100の移動の方向と反対の方向にシフトさせる。ブロック708においてプロセスは終了する。
上述した実施形態はあり得る実施態様(インプリメンテーション)の単なる例であることを強調しなければならない。したがって、上述した実施形態に対し、多くの変形および変更を行ってもよい。かかる変更および変形はすべて、本明細書において本開示の範囲内に包含されることが意図されている。
デジタルカメラの構成要素の一例を示すブロック図である。 図1に示すカメラが、ぶれている間に対象物にいかに焦点合わせされ続けるかの一例を示す図である。 図1に示すカメラが、ぶれている間に対象物にいかに焦点合わせされ続けるかの一例を示す図である。 図1に示すカメラが、ぶれている間に対象物にいかに焦点合わせされ続けるかの一例を示す図である。 図1に示すカメラによって実施されてもよい複数のオートフォーカス窓の一例を示す図である。 画像取込装置の移動中に取り込まれる一続きのオートフォーカス窓(AFW1、AFW2、AFW3およびAFW4)を示す簡略化した例示的な一例を示す図である。 画像取込装置の焦点を合わせる実施形態のフローチャートである。 画像取込装置の焦点を合わせる実施形態のフローチャートである。 画像取込装置の焦点を合わせる実施形態のフローチャートである。
符号の説明
102 フォトセンサ
107 ディスプレイ
108 内部メモリ
109 GUIアプリケーション
110 オートフォーカスアプリケーション
111 動きセンサ
120 プロセッサシステム
122 通信ポート
124 メモリカードインタフェース
126 レンズ
128 レンズモータ

Claims (10)

  1. 関心対象物に画像取込装置の焦点を合わせる方法であって、
    オートフォーカスレンズが第1の焦点位置にある時に、前記画像取込装置の焦点が合わされる対象物に向けられるオートフォーカス窓をもつ第1の焦点画像を取り込むステップと、
    前記第1の焦点画像の取込みと第2の焦点画像の取込みとの間に発生する前記画像取込装置の移動を検出するステップと、
    前記検出された移動の間に前記対象物が前記オートフォーカス窓内で静止したままであるように、前記オートフォーカス窓の位置を前記検出された移動に対応して調整するステップと、
    前記オートフォーカスレンズが第2の焦点位置にある時に第2の焦点画像を取り込むステップと、
    を含むことを特徴とする方法。
  2. 前記対象物の画像を取り込むフォトセンサに存在する第1の画素群であって、前記第1の焦点画像に対応する第1の画素群から画像データを受け取るステップと、
    前記検出された移動に基づき、前記第2の焦点画像に対応する第2の画素群を確定するステップと、
    前記第2の画素群から前記画像データを受け取るステップと、
    をさらに含むことを特徴とする請求項1に記載の方法。
  3. 前記画像取込装置の移動の少なくとも1つの方向を特定するステップと、
    前記第2の焦点画像を定義するため、前記画像取込装置の移動の前記方向と大きさが逆である方向に前記オートフォーカス窓の位置をシフトさせるステップと
    をさらに含むことを特徴とする請求項1に記載の方法。
  4. 前記オートフォーカス窓の位置をシフトさせるステップは、前記画像取込み装置の移動の方向の大きさの一部である方向に前記オートフォーカス窓の位置をシフトさせるステップをさらに含むことを特徴とする請求項3に記載の方法。
  5. 前記オートフォーカスレンズが前記第1の焦点位置にある時に、少なくとも前記画像取込装置の焦点が合わされる物体に向けられる対応する複数のオートフォーカス窓を有する第1の複数の焦点画像を取り込むステップと、
    前記第1の焦点画像の取込みと前記第2の焦点画像の取込みとの間で発生する前記画像取込装置の移動を検出するステップと、
    前記検出された移動の間に前記物体が前記複数のオートフォーカス窓内で静止したままであるように、前記複数のオートフォーカス窓の位置を前記検出された移動に対応して調整するステップと、
    前記オートフォーカスレンズが前記第2の焦点位置にある時に第2の複数の焦点画像を取り込むステップと、
    前記第1の複数の焦点画像のうちの1つと前記第2の複数の焦点画像のうちの対応する1つとを選択して焦点を確定するステップと、
    をさらに含むことを特徴とする請求項1に記載の方法。
  6. 画像取込装置であって、
    関心対象物の画像を取り込むように構成されるフォトセンサと、
    前記フォトセンサに存在する画素群として定義され、前記画像取込装置の焦点が合わされる対象物に向けられるオートフォーカス窓と、
    前記関心対象物の画像の焦点を前記フォトセンサ上に合わせるように構成される可変焦点レンズと、
    前記可変焦点レンズが第1の焦点位置にある時の第1の焦点画像の取込みと、該可変焦点レンズが第2の焦点位置にある時の第2の焦点画像の取込みとの間で発生する前記画像取込装置の移動を確定するロジックを実行するように構成され、前記検出された移動中に前記対象物が前記オートフォーカス窓内で静止したままであるように、該オートフォーカス窓の位置を調整するロジックを実行するように構成され、さらに前記可変焦点レンズに対し前記関心対象物の画像を前記フォトセンサ上に焦点合わせさせる信号を生成するように構成されるプロセッサシステムと、
    を備えることを特徴とする画像取込装置。
  7. 前記画像取込装置の移動を検出し、該検出された移動に対応する信号を前記プロセッサシステムに通信する少なくとも1つのセンサをさらに備えることを特徴とする請求項6に記載の画像取込装置。
  8. オートフォーカスシステムおよびオートフォーカスレンズを有する画像取込装置のフォトセンサに存在している画素群を備え、前記画像取込装置の検出された移動中に静止したままであるように、前記画像取込み装置の焦点が合わされる関心対象物の少なくとも一部に向けられることを特徴とするオートフォーカス窓。
  9. 画像取込装置の焦点を合わせる方法であって、前記画像取込み装置の検出された移動に応じてオートフォーカス窓を移動させるステップを含むことを特徴とする方法。
  10. 前記画像取込装置の移動の少なくとも1つの方向を特定するステップと、
    前記画像取込装置の移動の前記方向とは反対の方向に前記オートフォーカス窓の位置をシフトさせるステップと、
    をさらに含むことを特徴とする請求項9に記載の方法。
JP2005283637A 2004-09-29 2005-09-29 画像取込装置において移動を補償しながらオートフォーカスを実施する方法 Pending JP2006099119A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US61431004P 2004-09-29 2004-09-29
US10/989,990 US9215363B2 (en) 2004-09-29 2004-11-16 Implementing autofocus in an image capture device while compensating for movement

Publications (1)

Publication Number Publication Date
JP2006099119A true JP2006099119A (ja) 2006-04-13

Family

ID=36098588

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005283637A Pending JP2006099119A (ja) 2004-09-29 2005-09-29 画像取込装置において移動を補償しながらオートフォーカスを実施する方法

Country Status (2)

Country Link
US (1) US9215363B2 (ja)
JP (1) JP2006099119A (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009031434A (ja) * 2007-07-25 2009-02-12 Nikon Corp カメラ
US7684684B2 (en) 2006-06-07 2010-03-23 Canon Kabushiki Kaisha Image sensing apparatus having autofocus function, and method of controlling same
JP2011075841A (ja) * 2009-09-30 2011-04-14 Fujifilm Corp 撮像装置
KR20120037047A (ko) * 2010-10-11 2012-04-19 엘지전자 주식회사 이동 단말기 및 이를 이용한 이미지 촬상 방법
KR101408339B1 (ko) 2009-02-18 2014-07-02 삼성테크윈 주식회사 디지털 영상 처리 장치 및 그 제어 방법
US9591207B2 (en) 2008-09-05 2017-03-07 Lg Electronics Inc. Mobile terminal and method of performing multi-focusing and photographing image including plurality of objects using the same
US10469738B2 (en) 2008-09-05 2019-11-05 Telefonaktiebolaget Lm Ericsson (Publ) Mobile terminal and method of performing multi-focusing and photographing image including plurality of objects using the same

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4239954B2 (ja) * 2004-11-17 2009-03-18 カシオ計算機株式会社 カメラ装置及び合焦領域制御プログラム
US7428375B2 (en) * 2005-04-22 2008-09-23 Hewlett-Packard Development Company, L.P. Correlated auto-focus stabilization method and digital camera
JP2007025595A (ja) * 2005-07-21 2007-02-01 Fujinon Corp オートフォーカス装置
JP2007081594A (ja) * 2005-09-13 2007-03-29 Sony Corp 撮像装置、記録方法
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
EP1793344A1 (en) * 2005-11-30 2007-06-06 THOMSON Licensing Method of emendation for attention trajectory in video content analysis
US7561789B2 (en) * 2006-06-29 2009-07-14 Eastman Kodak Company Autofocusing still and video images
JP2008129554A (ja) * 2006-11-27 2008-06-05 Sanyo Electric Co Ltd 撮像装置及びオートフォーカス制御方法
US7634187B2 (en) * 2007-01-04 2009-12-15 Qualcomm Incorporated Dynamic auto-focus window selection that compensates for hand jitter
JP5188071B2 (ja) * 2007-02-08 2013-04-24 キヤノン株式会社 焦点調節装置、撮像装置及び、焦点調節方法
JP4552974B2 (ja) * 2007-06-22 2010-09-29 カシオ計算機株式会社 カメラ装置、フォーカス制御方法及びプログラム
JP5159189B2 (ja) * 2007-06-29 2013-03-06 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP5060224B2 (ja) * 2007-09-12 2012-10-31 株式会社東芝 信号処理装置及びその方法
JP4959535B2 (ja) 2007-12-13 2012-06-27 株式会社日立製作所 撮像装置
JP4843002B2 (ja) 2008-01-25 2011-12-21 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
US8274596B2 (en) * 2008-04-30 2012-09-25 Motorola Mobility Llc Method and apparatus for motion detection in auto-focus applications
EP2136317B1 (en) * 2008-06-19 2013-09-04 Samsung Electronics Co., Ltd. Method and apparatus for recognizing characters
KR20100013171A (ko) * 2008-07-30 2010-02-09 삼성디지털이미징 주식회사 오토 포커스 영역의 움직임 보상 방법 및 장치, 이를이용한 오토 포커스 방법 및 장치
GB2479835B (en) * 2008-10-31 2013-09-18 Hewlett Packard Development Co Method and digital imaging appliance adapted for selecting a focus setting
US8238681B2 (en) * 2008-11-25 2012-08-07 Nokia Corporation Adaptive configuration of windows-of-interest for accurate and robust focusing in multispot autofocus cameras
JP5206494B2 (ja) * 2009-02-27 2013-06-12 株式会社リコー 撮像装置、画像表示装置と、撮像方法及び画像表示方法並びに合焦領域枠の位置補正方法
US20100259612A1 (en) * 2009-04-09 2010-10-14 Lars Christian Control Module For Video Surveillance Device
US8786761B2 (en) 2009-06-05 2014-07-22 Apple Inc. Continuous autofocus mechanisms for image capturing devices
KR101023339B1 (ko) 2009-07-16 2011-03-18 삼성전기주식회사 이동 피사체의 자동 추적 시스템 및 그 방법
KR101710624B1 (ko) 2010-07-27 2017-02-27 삼성전자주식회사 객체의 모션 벡터를 이용하여 자동 촬영 기능을 수행하는 디지털 영상 촬영 방법, 디지털 영상 촬영 장치 및 상기 방법을 기록한 기록 매체
US8830378B2 (en) * 2011-03-29 2014-09-09 Olympus Corporation Image capturing system and image capturing method, involving image restoration processing
JP5895409B2 (ja) 2011-09-14 2016-03-30 株式会社リコー 撮像装置
US9129400B1 (en) * 2011-09-23 2015-09-08 Amazon Technologies, Inc. Movement prediction for image capture
US8908083B2 (en) * 2011-09-28 2014-12-09 Apple Inc. Dynamic autofocus operations
US8941743B2 (en) 2012-09-24 2015-01-27 Google Technology Holdings LLC Preventing motion artifacts by intelligently disabling video stabilization
US9554042B2 (en) 2012-09-24 2017-01-24 Google Technology Holdings LLC Preventing motion artifacts by intelligently disabling video stabilization
US20150022679A1 (en) * 2013-07-16 2015-01-22 Motorola Mobility Llc Fast Motion Detection with GPU
CN106161940B (zh) * 2016-07-29 2019-02-15 维沃移动通信有限公司 一种图像处理方法及移动终端
US10491832B2 (en) * 2017-08-16 2019-11-26 Qualcomm Incorporated Image capture device with stabilized exposure or white balance
CN109361868B (zh) * 2018-11-27 2020-09-25 浙江舜宇光学有限公司 对焦方法、摄影装置和对焦装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5031049A (en) * 1984-05-25 1991-07-09 Canon Kabushiki Kaisha Automatic object image follow-up device
GB2209901B (en) * 1987-09-11 1992-06-03 Canon Kk Image sensing device
JPH01175373A (ja) 1987-12-28 1989-07-11 Sony Corp フォーカス制御回路
JP2596631B2 (ja) 1990-04-19 1997-04-02 三菱電機株式会社 自動合焦装置
JP2710450B2 (ja) * 1990-09-06 1998-02-10 キヤノン株式会社 撮影方向変更装置
JP3745000B2 (ja) * 1995-02-03 2006-02-15 キヤノン株式会社 画像通信装置及びその制御方法
KR100188116B1 (ko) * 1995-12-28 1999-06-01 김광호 손떨림 영상 안정화 회로
US6081668A (en) * 1997-10-31 2000-06-27 Canon Kabushiki Kaisha Camera
WO1999033684A2 (en) * 1997-12-31 1999-07-08 Gentex Corporation Vehicle vision system
JP2001042379A (ja) * 1999-07-27 2001-02-16 Olympus Optical Co Ltd ぶれ検出カメラ
US6707937B1 (en) * 2000-07-14 2004-03-16 Agilent Technologies, Inc. Interpolation of edge portions of a digital image
JP2003015019A (ja) * 2001-06-27 2003-01-15 Minolta Co Ltd 被写体検出装置およびカメラ
JP2003029132A (ja) 2001-07-13 2003-01-29 Minolta Co Ltd オートフォーカスカメラ
US6466742B1 (en) * 2001-08-22 2002-10-15 Hewlett-Packard Company Camera remote control
US6606458B2 (en) * 2001-09-05 2003-08-12 Nisca Corporation Automatic framing camera
US20030169339A1 (en) * 2001-10-01 2003-09-11 Digeo. Inc. System and method for tracking an object during video communication
US6778766B2 (en) * 2002-01-25 2004-08-17 Nikon Corporation Vibration detection device and vibration correcting optical device
JP4092636B2 (ja) * 2002-11-01 2008-05-28 フジノン株式会社 オートフォーカスシステム
JP4181923B2 (ja) * 2003-05-29 2008-11-19 キヤノン株式会社 撮像装置および撮像装置の制御方法
US7162151B2 (en) * 2003-08-08 2007-01-09 Olympus Corporation Camera
US7268802B2 (en) * 2003-08-20 2007-09-11 Hewlett-Packard Development Company, L.P. Photography system with remote control subject designation and digital framing
US7272305B2 (en) * 2003-09-08 2007-09-18 Hewlett-Packard Development Company, L.P. Photography system that detects the position of a remote control and frames photographs accordingly
WO2006137825A2 (en) * 2004-07-21 2006-12-28 University Of South Florida Method and apparatus for a velocity detection system using optical growth rate

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7684684B2 (en) 2006-06-07 2010-03-23 Canon Kabushiki Kaisha Image sensing apparatus having autofocus function, and method of controlling same
JP2009031434A (ja) * 2007-07-25 2009-02-12 Nikon Corp カメラ
US10819901B2 (en) 2008-09-05 2020-10-27 Telefonaktiebolaget Lm Ericsson (Publ) Mobile terminal and method of adjusting image capturing settings while previewing images on touch screen
US9591207B2 (en) 2008-09-05 2017-03-07 Lg Electronics Inc. Mobile terminal and method of performing multi-focusing and photographing image including plurality of objects using the same
US9888168B2 (en) 2008-09-05 2018-02-06 Lg Electronics Mobile terminal and method of performing multi-focusing and photographing image including plurality of objects using the same
US10469738B2 (en) 2008-09-05 2019-11-05 Telefonaktiebolaget Lm Ericsson (Publ) Mobile terminal and method of performing multi-focusing and photographing image including plurality of objects using the same
US10827115B2 (en) 2008-09-05 2020-11-03 Telefonaktiebolaget Lm Ericsson (Publ) Mobile terminal and method of performing multi-focusing and photographing image including plurality of objects using the same
US10972653B2 (en) 2008-09-05 2021-04-06 Telefonaktiebolaget Lm Ericsson (Publ) Mobile terminal and method of controlling auto focusing of camera on object in preview image at user selected position on touch screen
US10972654B2 (en) 2008-09-05 2021-04-06 Telefonaktiebolaget Lm Ericsson (Publ) Controlling image capturing setting of camera based on direction objected is dragged along touch screen
US11290636B2 (en) 2008-09-05 2022-03-29 Telefonaktiebolaget Lm Ericsson (Publ) Mobile terminal and method of performing multi-focusing and photographing image including plurality of objects using the same
US11601585B2 (en) 2008-09-05 2023-03-07 Telefonaktiebolaget Lm Ericsson (Publ) Mobile terminal and method of performing multi-focusing and photographing image including plurality of objects using the same
KR101408339B1 (ko) 2009-02-18 2014-07-02 삼성테크윈 주식회사 디지털 영상 처리 장치 및 그 제어 방법
JP2011075841A (ja) * 2009-09-30 2011-04-14 Fujifilm Corp 撮像装置
KR20120037047A (ko) * 2010-10-11 2012-04-19 엘지전자 주식회사 이동 단말기 및 이를 이용한 이미지 촬상 방법
KR101689171B1 (ko) 2010-10-11 2016-12-23 엘지전자 주식회사 이동 단말기 및 이를 이용한 이미지 촬상 방법

Also Published As

Publication number Publication date
US9215363B2 (en) 2015-12-15
US20060066744A1 (en) 2006-03-30

Similar Documents

Publication Publication Date Title
JP2006099119A (ja) 画像取込装置において移動を補償しながらオートフォーカスを実施する方法
US8004570B2 (en) Image processing apparatus, image-pickup apparatus, and image processing method
US7826735B2 (en) Auto focus unit and digital camera
KR101616422B1 (ko) 고속 af를 지원하는 디지털영상처리 장치 및 방법
US9277110B2 (en) Tracking device and tracking method for prohibiting a tracking operation when a tracked subject is obstructed
US7764321B2 (en) Distance measuring apparatus and method
JP4874668B2 (ja) オートフォーカスユニット及びカメラ
US9761010B2 (en) Tracking apparatus
US9635280B2 (en) Image pickup apparatus, method of controlling image pickup apparatus, and non-transitory computer-readable storage medium
CN107850753B (zh) 检测设备、检测方法、检测程序和成像设备
JP4094458B2 (ja) 画像入力装置
JP2012173531A (ja) 撮像装置、およびフォーカス制御方法、並びにプログラム
JP6727453B2 (ja) 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム
US9420161B2 (en) Image-capturing apparatus
JP6778340B2 (ja) 撮像装置、撮像方法、及びプログラム
JP2009246700A (ja) 撮像装置
JP6858065B2 (ja) 撮像装置およびその制御方法
JP2008187440A (ja) 撮像装置及び撮像装置の駆動方法
JP5938268B2 (ja) 撮像装置およびその制御方法
JP5965653B2 (ja) 追尾装置及び追尾方法
JP2009194469A (ja) 撮像装置
JP2009086349A (ja) 撮影装置及び撮影制御方法
JP6851172B2 (ja) 撮像装置およびその制御方法
JP2009164752A (ja) 追尾機能付撮像システムおよび撮像方法
JP2011215200A (ja) 撮影装置、撮影方法、及びプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080826

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090109

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100122