JP2014098898A - 多重解像度Ｄｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓベースのオートフォーカス - Google Patents

Abstract

【課題】リソースが限られたシステムで、Ｄｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓを用いたオートフォーカスを実行する。
【解決手段】最適解像度を求めるステップ８０４，８１４と、この最適解像度でのＤｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓを実行するステップ８０８を含み、最適解像度でのオートフォーカスが達成されるまで、Ｄｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓを反復する。ステップ８００では、コンテンツとして、第１の画像を第１のレンズ位置で取得し、第２の画像を第２のレンズ位置で取得する。ステップ８０６では最適解像度を目的とする階層的動き推定を行う。ステップ８０８でＤＦＤを実行したら、コンテンツの焦点が合っているかどうかを判断し８１０、コンテンツの焦点が合っている場合終了し、コンテンツの焦点がずれている場合、Ｄｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓの結果に基づいて、ぼけサイズ及び実現可能な最大反復数を求める８１２。
【選択図】図８

Description

本発明は、画像処理の分野に関する。より具体的には、本発明は、オートフォーカスに関する。

オートフォーカス光学系は、センサ、制御システム及びモーターを用いて、選択した地点又は領域に完全に自動で、又は手動で焦点を合わせる。電子距離計は、モーターの代わりにディスプレイを有し、指標値まで光学系の調整を手動で行う必要がある。これらの方法は、使用するセンサに応じてアクティブ、パッシブ及びハイブリッドなどと呼ばれる。オートフォーカスの実装の種類は数多く存在する。

本明細書では、Ｄｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓを用いたオートフォーカスの階層的達成方法について説明する。Ｄｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓ技術を、各ステップにおいて最適と判断される解像度で階層的に実行する。解像度が高ければ精度も良くなるが、より多くの計算コストが必要になり、各ステップにおける目標精度及び実現可能な最大ぼけ量に基づいて最適解像度を推定し、これにより焦点領域内の計算量及びピクセル数を求める。この提案する多重解像度Ｄｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓベースのオートフォーカスは、必要なリソースの低減を可能にし、このことは、リソースが限られたシステムにおいて有利である。

１つの態様では、装置のメモリにプログラムされたオートフォーカス法が、最大反復数、及びマッチング領域に適合するぼけサイズを推定することに基づいて、最適解像度を求めるステップと、この最適解像度でのＤｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓを実行するステップと、最適解像度でのオートフォーカスが達成されるまで、Ｄｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓを反復するステップとを含む。この方法は、コンテンツを取得するステップをさらに含む。コンテンツは、第１の画像及び第２の画像を含む。第１の画像は、第１のレンズ位置で取得され、第２の画像は、第２のレンズ位置で取得される。方法は、最適解像度を目的とする階層的動き推定を行うステップをさらに含む。方法は、コンテンツの焦点が合っているかどうかを判断するステップをさらに含み、コンテンツの焦点が合っている場合、方法を終了し、コンテンツの焦点がずれている場合、Ｄｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓの結果に基づいて、ぼけサイズ及び実現可能な最大反復数を求める。方法は、新たな最適解像度を求めるステップをさらに含む。方法は、新たな最適解像度が以前の最適解像度と等しいかどうかを判定するステップをさらに含み、新たな最適解像度が以前の最適解像度と等しい場合、推定される深度にレンズを移動して、方法は、コンテンツを取得するステップに戻り、新たな最適解像度が以前の最適解像度と等しくない場合、絞り込み動き推定を行って、方法は、Ｄｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓを実行するステップに戻る。最適解像度は、実現可能なぼけサイズがマッチング領域に適合する最高解像度、計算コストの面で、及び低解像度でのＤｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓの結果に基づいて実現可能な最大ぼけサイズを推定するために、実現可能な最大反復数でのＤｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓ処理が利用可能である最高解像度、という基準の一部又は全部を含む。装置は、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ／携帯電話機、スマート家電、ゲーム機、デジタルカメラ、デジタルカムコーダ、カメラ付き電話機、スマートフォン、ポータブル音楽プレーヤ、タブレットコンピュータ、モバイル装置、ビデオプレーヤ、ビデオディスクライタ／プレーヤ、テレビ、及び家庭用エンターテイメントシステムから成るグループから選択される。

別の態様では、装置のメモリにプログラムされたオートフォーカス法が、コンテンツを取得するステップと、現在のレンズ位置に基づいて、ぼけサイズ及び最大反復数を求めるステップと、最適解像度を求めるステップと、最適解像度を目的とする階層的動き推定を行うステップと、最適解像度でのＤｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓを実行するステップと、コンテンツの焦点が合っているかどうかを判定するステップとを含む。コンテンツは、第１の画像及び第２の画像を含む。第１の画像は、第１のレンズ位置で取得され、第２の画像は、第２のレンズ位置で取得される。方法は、コンテンツの焦点が合っている場合、方法を終了し、コンテンツの焦点がずれている場合、Ｄｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓの結果に基づいて、ぼけサイズ及び実現可能な最大反復数を求める。方法は、新たな最適解像度を求めるステップをさらに含む。方法は、新たな最適解像度が、以前の最適解像度と等しいかどうかを判定するステップをさらに含み、新たな最適解像度が以前の最適解像度と等しい場合、推定される深度にレンズを移動して、方法は、コンテンツを取得するステップに戻り、新たな最適解像度が以前の最適解像度と等しくない場合、絞り込み動き推定を行って、方法は、Ｄｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓを実行するステップに戻る。最適解像度は、実現可能なぼけサイズがマッチング領域に適合する最高解像度、計算コストの面で、及び低解像度でのＤｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓの結果に基づいて実現可能な最大ぼけサイズを推定するために、実現可能な最大反復数でのＤｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓ処理が利用可能である最高解像度、という基準の一部又は全部を含む。装置は、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ／携帯電話機、スマート家電、ゲーム機、デジタルカメラ、デジタルカムコーダ、カメラ付き電話機、スマートフォン、ポータブル音楽プレーヤ、タブレットコンピュータ、モバイル装置、ビデオプレーヤ、ビデオディスクライタ／プレーヤ、テレビ、及び家庭用エンターテイメントシステムから成るグループから選択される。

別の態様では、装置が、複数の画像を取得するための画像取得要素と、現在のレンズ位置に基づいてぼけサイズ及び最大反復数を求め、最適解像度を求め、最適解像度を目的とする階層的動き推定を行い、最適解像度でのＤｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓを実行し、複数の画像のうちのある画像の焦点が合っているかどうかを判定するためのアプリケーションを記憶するためのメモリと、メモリに結合されて、アプリケーションを処理するように構成された処理要素とを備える。複数の画像のうちの第１の画像は、第１のレンズ位置で取得され、複数の画像のうちの第２の画像は、第２のレンズ位置で取得される。アプリケーションはさらに、コンテンツの焦点が合っている場合、方法を終了し、コンテンツの焦点がずれている場合、Ｄｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓの結果に基づいて、ぼけサイズ及び実現可能な最大反復数を求める。アプリケーションは、新たな最適解像度をさらに求める。アプリケーションは、新たな最適解像度が、以前の最適解像度と等しいかどうかをさらに判定し、新たな最適解像度が以前の最適解像度と等しい場合、推定される深度にレンズを移動して、方法は、コンテンツを取得するステップに戻り、新たな最適解像度が以前の最適解像度と等しくない場合、絞り込み動き推定を行って、方法は、Ｄｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓを実行するステップに戻る。最適解像度は、実現可能なぼけサイズがマッチング領域に適合する最高解像度、計算コストの面で、及び低解像度でのＤｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓの結果に基づいて実現可能な最大ぼけサイズを推定するために、実現可能な最大反復数でのＤｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓ処理が利用可能である最高解像度、という基準の一部又は全部を含む。

ぼけサイズがゼロの場合のステップエッジの例を示す図である。 ピンぼけしたステップエッジの例を示す図である。 いくつかの実施形態による、ピクチャマッチング処理の例を示す図である。 いくつかの実施形態による、マッチング領域の水平方向の異なる変位に関する、ステップエッジについて生成したマッチング曲線を示す図である。 いくつかの実施形態による、画像の焦点が合っている場合に、マッチング領域のステップエッジがマッチング領域内に存在する図４の一部を示す図である。 いくつかの実施形態による、高解像度ベースのＤＦＤの結果の方が、低解像度ベースのＤＦＤよりも良好になり得ることを示す図である。 いくつかの実施形態による、異なる解像度での、ぼけサイズ、反復曲線、利用可能なマッチング領域（幅及び高さ）、及び焦点位置からの被写界深度（ＤＯＦ）数の間の関係の例を示す図である。 いくつかの実施形態による、多重解像度Ｄｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓベースのオートフォーカス法のフローチャートである。 いくつかの実施形態による、オートフォーカス法を実施するように構成された例示的なコンピュータ装置のブロック図である。

本明細書で説明する出願では、全体を通じて特定の専門用語を使用する。ぼけサイズとは、光学系の点広がり関数（ＰＳＦ）に起因して変化する、１方向（水平又は垂直）における総ピクセル数のことである。反復数とは、収束のために使用する処理ＰＡの回数のことであり、２つの画像間のぼけ差の量を表す。マッチング領域とは、処理Ｅのために使用する領域のことである。マッチング曲線は、垂直軸に反復数を示し、水平軸に深度位置を示したプロットである。反復曲線は、マッチング曲線と同じものである。Ｄｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓ（ＤＦＤ）は、図３に示すような手順に基づいて深度を推定する処理である。被写界深度（Ｄｅｐｔｈ Ｏｆ Ｆｉｅｌｄ）は、ＤＯＦである。

プロセッサ及びハードウェアリソース制約などの典型的な埋め込みシステム制約下では、Ｄｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓベースの（ＤＦＤベースの）オートフォーカスの高精度な結果を達成することができる。このようなリソース制約下では、ＤＦＤベースのオートフォーカスを多重解像度法により使用して、高解像度でＤＦＤを処理した方が良好な結果をもたらすことができという特性、及びＤＦＤ処理のマッチング領域内にぼけを含めた方が良好な結果をもたらすことができるという特性を活用することができる。

Ｄｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓベースのオートフォーカスを実施する用途はいくつか存在する。パーソナルデジタルカムコーダ又はデジタルスチルカメラなどの埋め込みシステムがこのような例である。

Ｄｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓでは、高精度の推定深度のために、ぼけの全て又は大部分（ピンぼけしたエッジ、点又はテクスチャ）を知ることが重要である。

ぼけサイズ又はＰＳＦサイズは、複数の方法で定義することができるが、光学系のＰＳＦに起因して変化する１方向（水平又は垂直）の総ピクセル数として定義することができる。

説明を分かりやすくするために、あるステップエッジのシーンを一例として使用する。例えば、画像の焦点が合っている時には、ぼけサイズはゼロである。図１には、ぼけサイズがゼロの場合を示している。

図２に、ピンぼけしたステップエッジ内のぼけサイズの例を示す。図２では、ぼけサイズが２４である。

さらに、通常、ぼけサイズは、物体位置とレンズ焦点位置の間に存在する被写界深度数に線形に比例する。

また、異なるピンぼけレベルで取り込んだ複数の画像のぼけ差に基づいて、対象物体の深度を推定することもできる。ぼけ差は、図３の処理のようなピクチャマッチング処理の反復回数によって表すことができる。

図３の画像１及び画像２は、ある光学系からのぼけ量が異なり、画像２の方が鮮明であると仮定する。２つの画像間のぼけ差量を計算することもできる。単純な３×３の畳み込みカーネルとすることができるＰＡ処理を、光学系をうまくモデル化するぼけ関数として定義することができる。次に、２つの画像の一定領域に作用する単純な累積絶対値誤差（ＳＡＤ）関数とすることができる処理Ｅを、２つの画像間のエラー生成関数として定義する。処理Ｅにより生成された以前のエラーが、新たに生成されたエラー（又は現在のエラー）よりも小さくなるまで図３に示すループを反復することにより、この反復回数を用いて２つの画像間のぼけ差を表すことができる。いくつかの実施形態では、事前に（動き補正などの）２つの画像の位置合わせが行われる。

正確な深度推定を行うには、マッチング領域内のぼけの全て又は大部分を有すること、或いは２つの画像間のぼけ差推定を行うことが重要である。図４に、マッチング領域の水平方向の異なる変位に関する、ステップエッジについて生成したマッチング曲線を示す。図５には、図４の一部を示しており、画像の焦点が合っている場合、マッチング領域のステップエッジはマッチング領域内に存在する。マッチング領域内にエッジが存在しない場合、マッチング曲線は非常にノイズが多いものとなる。

ステップエッジのシーンのエッジがマッチング領域の中心から外れるほど、反復曲線も理想の曲線から逸脱する。この主な理由は、ぼけエッジの一部がマッチング領域外に存在する場合、反復曲線が影響を受けることにある。

高解像度の画像はより多くの情報を含むので、ＤＦＤ処理は、高解像度で実行した時の方が優れた精度をもたらすことができる。

図６に、高解像度ベースのＤＦＤの結果の方が、低解像度ベースのＤＦＤよりも良好になり得ることを示す。１／４解像度ベースのＤＦＤの結果では、対象物体の真の焦点位置を識別できるが、１／８ベースの解像度では、真の焦点位置を識別することができない。

正確な深度推定又はぼけ差推定の結果を得るには、ぼけの全て又は大部分をマッチング領域内に含めることが重要である。また、いくつかの実施形態では、高解像度でＤＦＤ処理が行われる。しかしながら、デジタルカメラ又はカムコーダなどの埋め込み光学系では、アクセラレータ、帯域幅及びメモリなどの処理及びハードウェアリソースに制約があることが多く、これによりマッチング領域のサイズ及び計算強度の量が制限される。また、光学系によっては、ぼけサイズが非常に大きくなることもある。図７に、異なる解像度での、ぼけサイズ、反復曲線、利用可能なマッチング領域（幅及び高さ）、及び焦点位置からの被写界深度（ＤＯＦ）数の間の関係の例を示す。さらに、高解像度での動き推定は、計算コストの面で高価になりすぎることが多い。

特定の埋め込みデジタルカメラシステムでは、利用可能なマッチング領域のサイズが６０×４５（幅、高さ）ピクセルであり、３つの異なる解像度（１／８、１／４、１／２）でのぼけサイズ及び反復曲線は、図７に示す通りである。また、このシステムは、１／８、１／４及び１／２解像度の場合、それぞれ最大約６４、１６及び４の反復数しか提供することができない（１／４解像度での１回の反復には、１／８解像度の場合の４倍を要し、１／２解像度での１回の反復には、１／４解像度の４倍を要すると仮定する）。この環境では、１／２解像度のＤＦＤの精度と同等の最終的なオートフォーカス精度を達成することが目標になる。

例えば、このカメラシステムは、図７に示すように、全体で約３００回のＤＯＦの範囲を有する。カメラが合焦できる最も近いレンズ位置からオートフォーカスを開始するとした場合、最も極端な事例は、対象物体が無限遠に存在する場合であろう。このような場合、１／２、１／４、１／８解像度では、ぼけサイズは、それぞれ約２５０、１２５及び６２．５になると予想される。この位置では、１／４及び１／２解像度の場合、マッチング領域（６０×４５）にとってぼけサイズが大きすぎるので、ＤＦＤ処理は、１／８解像度でしか実行可能でないと思われる。しかしながら、１／８解像度でのＤＦＤ処理では、１／２解像度でのＤＦＤ処理と同等の精度は得られない。

そこで考えられるのは、多重解像度法（低解像度から高解像度）を用いて、全検索範囲での動き推定をより低い解像度（又は計算コスト及びメモリコストの両面で許容される最高解像度）で開始することにより、ＤＦＤベースのオートフォーカスにおける動き推定サイクルを低減することである。オートフォーカスが所望の精度で達成されるまで、ＤＦＤベースのオートフォーカスを「最適」解像度内で繰り返す。ＤＦＤ処理を実行するための「最適」解像度を求めるために、所与のレンズ位置におけるぼけサイズ又は実現可能な最大ぼけサイズの情報を使用する。いくつかの実施形態では、この「最適」解像度を、実現可能なぼけサイズがマッチング領域に適合する最高解像度、計算コストの面で、及び低解像度でのＤＦＤの結果に基づいて実現可能な最大ぼけサイズを推定するために、実現可能な最大反復数でのＤＦＤ処理が利用可能である最高解像度、という基準の一部又は全部を満たすものとする。

階層的動き推定と呼ばれることもある、動き推定における多重解像度法（低解像度から高解像度）が、利用すべき技術である。これは、Ｍ×Ｎのマッチング領域に関して、例えば１／２解像度で水平方向及び垂直方向の両方に±Ｓの動きベクトルを発見するとした場合、これを直接的な方法で行うとすれば、（Ｓ＋Ｓ＋１）²の位置に関してＭ×ＮのＳＡＤ計算などのエラー計算が行われるというものである。しかしながら、１／４解像度などの低解像度での動きベクトル検索の単純な実行、（Ｓ／２＋Ｓ／２＋１）²の位置に関するＭ／２×Ｎ／２のＳＡＤ計算、及び絞り込み検索が行われる。この場合の絞り込み検索は、（１＋１＋１）²の地点に関するＭ×Ｎ領域のＳＡＤ計算を含むことが多い。従って、ＤＦＤベースのオートフォーカスにおいて多重解像度技術を使用することができる。目標解像度は、本明細書で説明するような求める「最適」解像度とすることができ、この階層的動き推定のための低解像度を計算コストの制限によって求めることができる。

ＤＦＤ処理のための「最適」解像度を求めるために、すなわち実現可能な最大ぼけサイズを発見するために、図７に示すような事前に生成したデータを使用して、極端なシナリオを考慮し、対応するぼけサイズを発見することができる。例えば、現在のレンズ位置が、合焦可能なＤＯＦ領域全体の手前側半分の領域内にある場合には、無限遠に存在する物体が極端な事例になり、レンズ位置が、合焦可能なＤＯＦ領域全体の奥手側半分の領域内にある場合には、最も近い物体が極端な事例になるであろう。次に、取得したぼけサイズに応じて、利用可能なマッチング領域が十分に大きな場合の解像度を選択する。この方法では、対象物体がマッチング領域の中心に位置する場合に、マッチング領域のサイズが十分に大きくなることが保証される。同様に何らかの統計情報に基づいて、最適なＤＦＤ解像度を求めることを考慮することもできる。実現可能な最大反復数を発見する方法は、上述した方法と非常に類似する。図７に示すような事前に生成した反復曲線に基づくぼけサイズの代わりに反復数を使用することを除き、同じ方法を使用することができる。実現可能な最大ぼけサイズを推定するために、異なる解像度間の反復数関係を認識又は特定する。例えば、１対の画像間のぼけ差が特殊な変化の差分を用いて表されるＤＦＤ処理では、反復数が解像度に比例する。例えば、１／８解像度での反復Ａは、１／４解像度では４Ａとなる可能性が高い。低解像度ＤＦＤの結果に基づいて、高解像度での実現可能な最大反復を推定する場合、（例では４Ａ＋ｅなどの）エラーのための余地を加えることが有用となりうる。

図８に、いくつかの実施形態による、多重解像度Ｄｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓベースのオートフォーカス法のフローチャートを示す。ステップ８００において、異なるレンズ位置における２つの画像を取り込む。ステップ８０２において、現在のレンズ位置、及びステップ８０２で取り込んだ２つの画像の深度間隔に基づいて、実現可能な最大ぼけサイズ及び実現可能な最大反復数を求める。ステップ８０４において、最適解像度を求める。ステップ８０６において、最適解像度を目的とする動き推定を行う。いくつかの実施形態では、ステップ８０６の動き推定が、最適解像度を目的とする階層的動き推定である。ステップ８０８において、最適解像度でのＤＦＤを実行する。ステップ８１０において、画像の焦点が合っているか、それともずれているかを判定する。画像の焦点が合っている場合、処理は終了する。画像の焦点がずれている場合、ステップ８１２において、ＤＦＤ結果及びステップ８０２で取り込んだ２つの画像の深度間隔に基づいて、実現可能な最大ぼけサイズ及び実現可能な最大反復数を求める。ステップ８１４において、最適解像度を求める。ステップ８１６において、新たな最適解像度が以前の最適解像度と等しいかどうかを判定する。新たな最適解像度が以前の最適解像度と等しい場合、ステップ８１８において、推定される深度にレンズを移動して、処理はステップ８００に戻る。新たな最適解像度が以前の最適解像度と等しくない場合、ステップ８２０で絞り込み動き推定を行い、処理はステップ８０８に戻る。いくつかの実施形態では、ステップの順序が変更される。いくつかの実施形態では、より多くの又はより少ないステップが実行される。

図９は、いくつかの実施形態による、オートフォーカス法を実施するように構成された例示的なコンピュータ装置９００のブロック図である。コンピュータ装置９００は、画像及びビデオなどの情報を取得し、記憶し、計算し、処理し、通信し、及び／又は表示するために使用することができる。一般に、コンピュータ装置９００を実現するのに適したハードウェア構造は、ネットワークインターフェイス９０２、メモリ９０４、プロセッサ９０６、（単複の）Ｉ／Ｏ装置９０８、バス９１０、及び記憶装置９１２を含む。十分な速度の好適なプロセッサを選択する限り、プロセッサの選択は重要ではない。メモリ９０４は、当業で公知のいずれの従来のコンピュータメモリであってもよい。記憶装置９１２は、ハードドライブ、ＣＤＲＯＭ、ＣＤＲＷ、ＤＶＤ、ＤＶＤＲＷ、フラッシュメモリカード、又はその他のあらゆる記憶装置を含むことができる。コンピュータ装置９００は、１又はそれ以上のネットワークインターフェイス９０２を含むことができる。ネットワークインターフェイスの例には、イーサネット又はその他の種類のＬＡＮに接続されたネットワークカードがある。（単複の）Ｉ／Ｏ装置９０８は、キーボード、マウス、モニタ、ディスプレイ、プリンタ、モデム、タッチ画面、ボタンインターフェイス、及びその他の装置のうちの１又はそれ以上を含むことができる。オートフォーカス法を実施するために使用される（単複の）オートフォーカスアプリケーション９３０は、記憶装置９１２及びメモリ９０４に記憶されて、アプリケーションが通常処理されるように処理されることが多い。コンピュータ装置９００には、図９に示すものよりも多くの又はより少ない構成要素を含めることができる。いくつかの実施形態では、オートフォーカスハードウェア９２０が含まれる。図９のコンピュータ装置９００は、オートフォーカスのためのアプリケーション９３０及びハードウェア９２０を含むが、このオートフォーカス法を、ハードウェア、ファームウェア、ソフトウェア又はこれらのあらゆる組み合わせでコンピュータ装置上に実装することもできる。例えば、いくつかの実施形態では、オートフォーカスアプリケーション９３０がメモリにプログラムされ、プロセッサを使用して実行される。別の例として、いくつかの実施形態では、オートフォーカスハードウェア９２０が、オートフォーカス法を実施するように特別に設計されたゲートを含むプログラムされたハードウェアロジックである。

いくつかの実施形態では、（単複の）オートフォーカスアプリケーション９３０が、複数のアプリケーション及び／又はモジュールを含む。いくつかの実施形態では、モジュールが、１又はそれ以上のサブモジュールも含む。いくつかの実施形態では、より少ない又はさらなるモジュールを含めることができる。

好適なコンピュータ装置の例としては、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ／携帯電話機、スマート家電、ゲーム機、デジタルカメラ、デジタルカムコーダ、カメラ付き電話機、スマートフォン、ポータブル音楽プレーヤ、タブレットコンピュータ、モバイル装置、ビデオプレーヤ、ビデオディスクライタ／プレーヤ（ＤＶＤライタ／プレーヤ、Ｂｌｕ−ｒａｙ（登録商標）ライタ／プレーヤなど）、テレビ、家庭用エンターテイメントシステム、又はその他のあらゆる好適なコンピュータ装置が挙げられる。

多重解像度Ｄｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓベースのオートフォーカス法を利用するには、ユーザが、デジタルカムコーダ上などでビデオ／画像を取得し、コンテンツの取得前又は取得中に、オートフォーカス法が自動的にデータに焦点を合わせる。このオートフォーカス法は、ユーザの関与を伴わずに自動的に行われる。

多重解像度Ｄｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓベースのオートフォーカスは、動作時に、所望の解像度のＤＦＤベースのオートフォーカス精度を低い計算コストで達成できるようにする。また、多重解像度Ｄｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓベースのオートフォーカスは、システム内に実装できるマッチング領域のサイズ制限という現実の制約を克服する（マッチング領域内のピクセル数に対する特定の制約を所与とした場合、低解像度で動作することにより、高解像度で動作よりも大きなぼけサイズを取り込むことが可能になる）。

多重解像度Ｄｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓベースのオートフォーカスのいくつかの実施形態
１．装置のメモリにプログラムされたオートフォーカス法であって、
ａ．最大反復数、及びマッチング領域に適合するぼけサイズを推定することに基づいて、最適解像度を求めるステップと、
ｂ．最適解像度でのＤｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓを実行するステップと、
ｃ．最適解像度におけるオートフォーカスが達成されるまで、Ｄｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓを反復するステップと、を含む方法。
２．コンテンツを取得するステップをさらに含む、条項１に記載の方法。
３．コンテンツは、第１の画像及び第２の画像を含む、条項２に記載の方法。
４．第１の画像は、第１のレンズ位置で取得され、第２の画像は、第２のレンズ位置で取得される、条項３に記載の方法。
５．最適解像度を目的とする階層的動き推定を行うステップをさらに含む、条項１に記載の方法。
６．
ａ．コンテンツの焦点が合っているかどうかを判定するステップをさらに含み、
ｂ．コンテンツの焦点が合っている場合、方法を終了し、
ｃ．コンテンツの焦点がずれている場合、Ｄｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓの結果に基づいて、ぼけサイズ及び実現可能な最大反復数を求める、条項２に記載の方法。
７．新たな最適解像度を求めるステップをさらに含む、条項６に記載の方法。
８．
ａ．新たな最適解像度が、以前の最適解像度と等しいかどうかを判定するステップをさらに含み、
ｂ．新たな最適解像度が以前の最適解像度と等しい場合、推定される深度にレンズを移動して、方法は、コンテンツを取得するステップに戻り、
ｃ．新たな最適解像度が以前の最適解像度と等しくない場合、絞り込み動き推定を行って、方法は、Ｄｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓを実行するステップに戻る、条項７に記載の方法。
９．最適解像度は、実現可能なぼけサイズがマッチング領域に適合する最高解像度、計算コストの面で、及び低解像度でのＤｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓの結果に基づいて実現可能な最大ぼけサイズを推定するために、実現可能な最大反復数でのＤｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓ処理が利用可能である最高解像度、という基準の一部又は全部を含む、条項１に記載の方法。
１０．装置は、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ／携帯電話機、スマート家電、ゲーム機、デジタルカメラ、デジタルカムコーダ、カメラ付き電話機、スマートフォン、ポータブル音楽プレーヤ、タブレットコンピュータ、モバイル装置、ビデオプレーヤ、ビデオディスクライタ／プレーヤ、テレビ、及び家庭用エンターテイメントシステムから成るグループから選択される、条項１に記載の方法。
１１．装置のメモリにプログラムされたオートフォーカス法であって、
ａ．コンテンツを取得するステップと、
ｂ．現在のレンズ位置に基づいて、ぼけサイズ及び最大反復数を求めるステップと、
ｃ．最適解像度を求めるステップと、
ｄ．最適解像度を目的とする階層的動き推定を行うステップと、
ｅ．最適解像度でのＤｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓを実行するステップと、
ｆ．コンテンツの焦点が合っているかどうかを判定するステップと、を含む方法。
１２．コンテンツは、第１の画像及び第２の画像を含む、条項１１に記載の方法。
１３．第１の画像は、第１のレンズ位置で取得され、第２の画像は、第２のレンズ位置で取得される、条項１２に記載の方法。
１４．
ａ．コンテンツの焦点が合っている場合、方法を終了し、
ｂ．コンテンツの焦点がずれている場合、Ｄｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓの結果に基づいて、ぼけサイズ及び実現可能な最大反復数を求める、条項１１に記載の方法。
１５．新たな最適解像度を求めるステップをさらに含む、条項１４に記載の方法。
１６．
ａ．新たな最適解像度が、以前の最適解像度と等しいかどうかを判定するステップをさらに含み、
ｂ．新たな最適解像度が以前の最適解像度と等しい場合、推定される深度にレンズを移動して、方法は、コンテンツを取得するステップに戻り、
ｃ．新たな最適解像度が以前の最適解像度と等しくない場合、絞り込み動き推定を行って、方法は、Ｄｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓを実行するステップに戻る、条項１５に記載の方法。
１７．最適解像度は、実現可能なぼけサイズがマッチング領域に適合する最高解像度、計算コストの面で、及び低解像度でのＤｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓの結果に基づいて実現可能な最大ぼけサイズを推定するために、実現可能な最大反復数でのＤｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓ処理が利用可能である最高解像度、という基準の一部又は全部を含む、条項１１に記載の方法。
１８．装置は、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ／携帯電話機、スマート家電、ゲーム機、デジタルカメラ、デジタルカムコーダ、カメラ付き電話機、スマートフォン、ポータブル音楽プレーヤ、タブレットコンピュータ、モバイル装置、ビデオプレーヤ、ビデオディスクライタ／プレーヤ、テレビ、及び家庭用エンターテイメントシステムから成るグループから選択される、条項１１に記載の方法。
１９．
ａ．複数の画像を取得するための画像取得要素と、
ｂ． ｉ．現在のレンズ位置に基づいてぼけサイズ及び最大反復数を求め、
ｉｉ．最適解像度を求め、
ｉｉｉ．最適解像度を目的とする階層的動き推定を行い、
ｉｖ．最適解像度でのＤｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓを実行し、
ｖ．複数の画像のうちのある画像の焦点が合っているかどうかを判定する、
ためのアプリケーションを記憶するためのメモリと、
ｃ．メモリに結合されて、アプリケーションを処理するように構成された処理要素と、を備える装置。
２０．複数の画像のうちの第１の画像は、第１のレンズ位置で取得され、複数の画像のうちの第２の画像は、第２のレンズ位置で取得される、条項１９に記載の装置。
２１．アプリケーションはさらに、
ａ．コンテンツの焦点が合っている場合、方法を終了し、
ｂ．コンテンツの焦点がずれている場合、Ｄｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓの結果に基づいて、ぼけサイズ及び実現可能な最大反復数を求める、条項１９に記載の装置。
２２．アプリケーションは、新たな最適解像度をさらに求める、条項２１に記載の装置。
２３．アプリケーションは、
ａ．新たな最適解像度が以前の最適解像度と等しいかどうかを判断するステップをさらに含み、
ｂ．新たな最適解像度が以前の最適解像度と等しい場合には、推定された深度にレンズを移動して、方法はコンテンツの取得に戻り、
ｃ．新たな最適解像度が以前の最適解像度と等しくない場合には、絞り込み動き推定を行って、方法は、Ｄｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓを実行するステップに戻る、条項２２に記載の装置。
２４．最適解像度は、実現可能なぼけサイズがマッチング領域に適合する最高解像度、計算コストの面で、及び低解像度でのＤｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓの結果に基づいて実現可能な最大ぼけサイズを推定するために、実現可能な最大反復数でのＤｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓ処理が利用可能である最高解像度、という基準の一部又は全部を含む、条項１９に記載の装置。

本発明の構成及び動作の原理を容易に理解できるように、詳細を含む特定の実施形態に関して本発明を説明した。このような本明細書における特定の実施形態及びこれらの実施形態の詳細に対する参照は、本明細書に添付する特許請求の範囲を限定するように意図したものではない。当業者には、例示目的で選択した実施形態において、特許請求の範囲により定義される本発明の思想及び範囲から逸脱することなく、他の様々な修正を行えることが容易に明らかになるであろう。

Claims (24)

1. 装置のメモリにプログラムされたオートフォーカス法であって、
   ａ．最大反復数、及びマッチング領域に適合するぼけサイズを推定することに基づいて、最適解像度を求めるステップと、
   ｂ．前記最適解像度でのＤｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓを実行するステップと、
   ｃ．前記最適解像度におけるオートフォーカスが達成されるまで、Ｄｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓを反復するステップと、
   を含むことを特徴とする方法。
2. コンテンツを取得するステップをさらに含む、
   ことを特徴とする請求項１に記載の方法。
3. 前記コンテンツは、第１の画像及び第２の画像を含む、
   ことを特徴とする請求項２に記載の方法。
4. 前記第１の画像は、第１のレンズ位置で取得され、前記第２の画像は、第２のレンズ位置で取得される、
   ことを特徴とする請求項３に記載の方法。
5. 前記最適解像度を目的とする階層的動き推定を行うステップをさらに含む、
   ことを特徴とする請求項１に記載の方法。
6. ａ．前記コンテンツの焦点が合っているかどうかを判定するステップをさらに含み、
   ｂ．前記コンテンツの焦点が合っている場合には、前記方法を終了し、
   ｃ．前記コンテンツの焦点がずれている場合には、前記Ｄｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓの結果に基づいて、前記ぼけサイズ及び前記実現可能な最大反復数を求める、
   ことを特徴とする請求項２に記載の方法。
7. 新たな最適解像度を求めるステップをさらに含む、
   ことを特徴とする請求項６に記載の方法。
8. ａ．前記新たな最適解像度が、以前の最適解像度と等しいかどうかを判定するステップをさらに含み、
   ｂ．前記新たな最適解像度が前記以前の最適解像度と等しい場合、推定される深度に前記レンズを移動して、前記方法は、コンテンツを取得するステップに戻り、
   ｃ．前記新たな最適解像度が前記以前の最適解像度と等しくない場合、絞り込み動き推定を行って、前記方法は、Ｄｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓを実行するステップに戻る、
   ことを特徴とする請求項７に記載の方法。
9. 前記最適解像度は、実現可能なぼけサイズがマッチング領域に適合する最高解像度、計算コストの面で、及び低解像度での前記Ｄｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓの結果に基づいて前記実現可能な最大ぼけサイズを推定するために、実現可能な最大反復数でのＤｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓ処理が利用可能である最高解像度、という基準の一部又は全部を含む、
   ことを特徴とする請求項１に記載の方法。
10. 前記装置は、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ／携帯電話機、スマート家電、ゲーム機、デジタルカメラ、デジタルカムコーダ、カメラ付き電話機、スマートフォン、ポータブル音楽プレーヤ、タブレットコンピュータ、モバイル装置、ビデオプレーヤ、ビデオディスクライタ／プレーヤ、テレビ、及び家庭用エンターテイメントシステムから成るグループから選択される、
    ことを特徴とする請求項１に記載の方法。
11. 装置のメモリにプログラムされたオートフォーカス法であって、
    ａ．コンテンツを取得するステップと、
    ｂ．現在のレンズ位置に基づいて、ぼけサイズ及び最大反復数を求めるステップと、
    ｃ．最適解像度を求めるステップと、
    ｄ．前記最適解像度を目的とする階層的動き推定を行うステップと、
    ｅ．前記最適解像度でのＤｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓを実行するステップと、
    ｆ．前記コンテンツの焦点が合っているかどうかを判定するステップと、
    を含むことを特徴とする方法。
12. 前記コンテンツは、第１の画像及び第２の画像を含む、
    ことを特徴とする請求項１１に記載の方法。
13. 前記第１の画像は、第１のレンズ位置で取得され、前記第２の画像は、第２のレンズ位置で取得される、
    ことを特徴とする請求項１２に記載の方法。
14. ａ．前記コンテンツの焦点が合っている場合、前記方法を終了し、
    ｂ．前記コンテンツの焦点がずれている場合、前記Ｄｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓの結果に基づいて、前記ぼけサイズ及び前記実現可能な最大反復数を求める、
    ことを特徴とする請求項１１に記載の方法。
15. 新たな最適解像度を求めるステップをさらに含む、
    ことを特徴とする請求項１４に記載の方法。
16. ａ．前記新たな最適解像度が、以前の最適解像度と等しいかどうかを判定するステップをさらに含み、
    ｂ．前記新たな最適解像度が前記以前の最適解像度と等しい場合、推定される深度に前記レンズを移動して、前記方法は、コンテンツを取得するステップに戻り、
    ｃ．前記新たな最適解像度が前記以前の最適解像度と等しくない場合、絞り込み動き推定を行って、前記方法は、Ｄｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓを実行するステップに戻る、
    ことを特徴とする請求項１５に記載の方法。
17. 前記最適解像度は、実現可能なぼけサイズがマッチング領域に適合する最高解像度、計算コストの面で、及び低解像度での前記Ｄｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓの結果に基づいて前記実現可能な最大ぼけサイズを推定するために、実現可能な最大反復数でのＤｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓ処理が利用可能である最高解像度、という基準の一部又は全部を含む、
    ことを特徴とする請求項１１に記載の方法。
18. 前記装置は、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ／携帯電話機、スマート家電、ゲーム機、デジタルカメラ、デジタルカムコーダ、カメラ付き電話機、スマートフォン、ポータブル音楽プレーヤ、タブレットコンピュータ、モバイル装置、ビデオプレーヤ、ビデオディスクライタ／プレーヤ、テレビ、及び家庭用エンターテイメントシステムから成るグループから選択される、
    ことを特徴とする請求項１１に記載の方法。
19. ａ．複数の画像を取得するための画像取得要素と、
    ｂ． ｉ．現在のレンズ位置に基づいてぼけサイズ及び最大反復数を求め、
    ｉｉ．最適解像度を求め、
    ｉｉｉ．前記最適解像度を目的とする階層的動き推定を行い、
    ｉｖ．前記最適解像度でのＤｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓを実行し、
    ｖ．前記複数の画像のうちのある画像の焦点が合っているかどうかを判定する、
    ためのアプリケーションを記憶するためのメモリと、
    ｃ．前記メモリに結合されて、前記アプリケーションを処理するように構成された処理要素と、
    を備えることを特徴とする装置。
20. 前記複数の画像のうちの第１の画像は、第１のレンズ位置で取得され、前記複数の画像のうちの第２の画像は、第２のレンズ位置で取得される、
    ことを特徴とする請求項１９に記載の装置。
21. 前記アプリケーションはさらに、
    ａ．前記コンテンツの焦点が合っている場合、方法を終了し、
    ｂ．前記コンテンツの焦点がずれている場合、前記Ｄｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓの結果に基づいて、前記ぼけサイズ及び前記実現可能な最大反復数を求める、
    ことを特徴とする請求項１９に記載の装置。
22. 前記アプリケーションは、新たな最適解像度をさらに求める、
    ことを特徴とする請求項２１に記載の装置。
23. 前記アプリケーションは、
    ａ．前記新たな最適解像度が、以前の最適解像度と等しいかどうかをさらに判定し、
    ｂ．前記新たな最適解像度が前記以前の最適解像度と等しい場合、推定される深度に前記レンズを移動して、前記方法は、コンテンツを取得するステップに戻り、
    ｃ．前記新たな最適解像度が前記以前の最適解像度と等しくない場合、絞り込み動き推定を行って、前記方法は、Ｄｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓを実行するステップに戻る、
    ことを特徴とする請求項２２に記載の装置。
24. 前記最適解像度は、実現可能なぼけサイズがマッチング領域に適合する最高解像度、計算コストの面で、及び低解像度での前記Ｄｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓの結果に基づいて前記実現可能な最大ぼけサイズを推定するために、実現可能な最大反復数でのＤｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓ処理が利用可能である最高解像度、という基準の一部又は全部を含む、
    ことを特徴とする請求項１９に記載の装置。

Images