JP2009069831A - 自動焦点調節装置および方法 - Google Patents

Abstract

【課題】２つの映像で焦点を早く合わせ、焦点がよく合わない状況で自主的に補正が可能な自動焦点調節装置および方法を提供する。
【解決手段】自動焦点調節装置は、焦点距離が互いに異なる少なくとも２以上の映像のブラーレベルを計算するブラーレベル計算モジュール２１０と、ブラーレベル計算モジュールが計算したブラーレベルから焦点距離を計算する距離計算モジュール２２０と、距離計算モジュールが計算した焦点距離で獲得した映像の焦点が合わない場合、正確な被写体までの距離を計算する精密距離計算モジュール２３０と、精密距離計算モジュールが計算した正確な被写体までの距離とブラーレベルから距離計算モジュールを補正する距離計算補正モジュール２４０とを含む。
【選択図】図２

Description

本発明は自動焦点調節装置および方法に関するものであって、より詳細には映像のブラーレベルから焦点距離を計算し計算された焦点距離で獲得した映像の焦点が合わない場合、焦点距離の計算方法を補正する焦点調節装置および方法に関するものである。

最近広く使用されるデジタルカメラ、デジタルムービービデオのような撮像機器は自動焦点調節機能によって映像の画質を向上させようとする努力が続いている。

一般的に撮像機器とは、ビデオカメラ、およびカメラなどのようにレンズを通し、入射される光信号を電気信号に光電変換した後、光電変換された映像信号に対して所定の映像処理をして撮像動作を実行する機器である。

撮像機器の焦点を合わせる方法は、自動焦点合わせ（Ａｕｔｏ Ｆｏｃｕｓｉｎｇ）と手動焦点調節（Ｍａｎｕａｌ Ｆｏｃｕｓｉｎｇ）方式がある。自動焦点調節技術は、レンズで捉えられる被写体の信号を用いて被写体を検出し、その検出された被写体に合わせて焦点レンズを自動で駆動させて、その焦点を自動的に合わせる技術である。

撮像機器の焦点を合わせるため普通の場合は、焦点レンズを動かしつつ最も焦点の合った映像を得る。この場合、いくつかの焦点が合わない映像を得なければならないため多くの時間かかる。このような所要時間がいわゆるシャートラックの主要の原因となる。

このような問題を解決するために焦点が合わない２〜３枚程度の最小限の映像から映像の焦点がよく合う焦点レンズ位置を探り出す方法が考案された。

その方法の大部分はあらかじめ物体までの距離別に写真を撮っておいて、そこから得るデータに基づいて焦点レンズ位置を決めることができるデータをＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）形態で撮像機器に保存する。

撮像機器の自動焦点方法で焦点レンズ位置を決めることができるデータをＬＵＴ形態で撮像機器に保存する方法において、すべての場合をＬＵＴ形態で保存することができないため、仮に撮像機器に内蔵されているＬＵＴに含まれない範囲のデータが入力されれば誤謬が発生する確率が大きくなる問題点があった。

日本特許公開平８−０５４５５７号公報

本発明は、前記した問題点を改善するために考案されたものであって、本発明が解決しようとする課題は、２つの映像で焦点を早く合わせ、焦点がよく合わない状況で自主的に補正が可能な自動焦点調節装置および方法を提供するものである。

本発明のまた他の課題は、映像のブラーレベルから焦点距離を計算し計算された焦点距離で獲得した映像の焦点が合わない場合、焦点距離の計算方法を補正する自動焦点調節装置および方法を提供するものである。

本発明の課題は以上で言及した課題に制限されず、言及されていないまた他の課題は次の記載から当業者に明確に理解できるであろう。

前記課題を達成するために、本発明の実施形態による自動焦点調節のための距離分類器は、少なくとも２以上の映像のブラーレベルから焦点距離を計算する距離計算モジュールと、距離計算モジュールが計算した焦点距離で獲得した映像の焦点が合わない場合、正確な被写体までの距離を計算する精密距離計算モジュール、および精密距離計算モジュールが計算した正確な被写体までの距離とブラーレベルから距離計算モジュールを補正する距離計算補正モジュールと、を含む。

前記課題を達成するために、本発明の実施形態による自動焦点調節装置は、焦点距離が互いに異なる少なくとも２以上の映像のブラーレベルを計算するブラーレベル計算モジュールと、ブラーレベル計算モジュールが計算したブラーレベルから焦点距離を計算する距離計算モジュールと、距離計算モジュールが計算した焦点距離で獲得した映像の焦点が合わない場合、正確な被写体までの距離を計算する精密距離計算モジュール、および精密距離計算モジュールが計算した正確な被写体までの距離とブラーレベルから距離計算モジュールを補正する距離計算補正モジュールと、を含む。

前記課題を達成するために、本発明の実施形態による撮像機器は、被写体の映像光が入射されるレンズと、レンズを通して入射された映像光に対する映像を獲得するセンサと、センサが獲得した映像に対するブラーレベルを計算して焦点距離を計算し、計算された焦点距離から獲得した映像の焦点が合わない場合、焦点距離の計算方法を補正する自動焦点調節装置と、自動焦点調節装置が計算した焦点距離に焦点が合うようにレンズを位置させる焦点レンズ制御器、および自動焦点調節装置によって焦点の合った映像を処理して最終映像を生成する映像処理器と、を含む。

前記課題を達成するために、本発明の実施形態による自動焦点調節方法は、第１焦点距離から獲得した第１映像のブラーレベルと第２焦点距離から第２映像を獲得した第２映像のブラーレベルを計算する段階と、第１映像のブラーレベルと第２映像のブラーレベルから焦点距離を計算する段階、および計算された焦点距離で獲得した映像の焦点が合わない場合、焦点距離の計算方法を補正する段階と、を含む。

前記課題を達成するために、本発明の実施形態による撮像方法は、被写体の映像光が入射されて被写体の映像を獲得する段階と、獲得された映像のブラーレベルを計算する段階と、計算されたブラーレベルから焦点距離を計算する段階と、計算された焦点距離で獲得した映像の焦点が合わない場合、焦点距離の計算方法を補正する段階、および計算された焦点距離で獲得した映像の焦点の合った場合、映像を処理して最終映像を生成する段階と、を含む。

その他実施形態の具体的な事項は詳細な説明および図に含まれている。

本発明の利点および特徴、およびそれらを達成する方法は、添付される図面と共に詳細に後述される実施形態を参照すれば明確になるであろう。しかし、本発明は、以下で開示される実施形態に限定されるものではなく、互いに異なる多様な形態で具現されることが可能である。本実施形態は、単に本発明の開示が完全になるように、本発明が属する技術分野における通常の知識を有する者に対して発明の範疇を完全に知らせるために提供されるものであり、本発明は請求項の範囲によってのみ定義される。なお、明細書全体にかけて、同一の参照符号は同一の構成要素を指すものとする。

以下、本発明の実施形態による自動焦点調節装置および方法を説明するための図を参照して本発明について説明する。この時、処理フローチャート図の各ブロックとフローチャート図の組合せはコンピュータプログラムインストラクションによって、実行される可能性があることを理解できるものである。この時、フローチャートの各ブロックとフロ−チャートの組み合わせはコンピュータプログラムインストラクションにより実行可能なのが理解できるであろう。これらのコンピュータプログラムインストラクションは、汎用コンピュータ、特殊用コンピュータまたはその他のプログラマブルデータプロセッシング装備のプロセッサに搭載されうるので、コンピュータまたはその他のプログラマブルデータプロセッシング装備のプロセッサを通じて実行されるそのインストラクションがフローチャートのブロックで説明された機能を行う手段を生成するように機構を作れる。これらのコンピュータプログラムインストラクションは特定方式で機能を具現するためにコンピュータまたはその他のプログラマブルデータプロセッシング装備を指向できるコンピュータ利用可能またはコンピュータ判読可能メモリに保存されることも可能なので、そのコンピュータ利用可能またはコンピュータ判読可能メモリに保存されたインストラクションはフローチャートのブロックで説明された機能を行うインストラクション手段を内包する製造品目を生産することも可能である。コンピュータプログラムインストラクションはコンピュータまたはその他のプログラマブルデータプロセッシング装備上に搭載することも可能なので、コンピュータまたはその他のプログラマブルデータプロセッシング装備上で一連の動作段階が実行されてコンピュータで実行されるプロセスを生成し、コンピュータまたはその他のプログラマブルデータプロセッシング装備を行うインストラクションはフローチャートのブロックで説明された機能を実行するための段階を提供することも可能である。

また、各ブロックは特定の論理的機能を行うための一つ以上の実行可能なインストラクションを含むモジュール、セグメントまたはコードの一部を示すことができる。また、いくつの代替実行例では、ブロックで言及された機能が順序を外れて発生することも可能であるということに注目せねばならない。例えば、連続して図示されている２つのブロックは、実質的に同時に行われてもよく、またはそのブロックが時々該当する機能によって逆順に行われてもよい。

図１は、本発明の一実施形態による自動焦点調節装置が用いられる撮像機器に対するブロック図である。

撮像機器は、レンズ１１０、センサ１２０、映像処理器１３０、自動焦点調節装置１４０および焦点レンズ制御器１５０を含む。

被写体からの映像光は、レンズ１１０を通してセンサ１２０に入射される。センサ１２０はＣＣＤ、ＣＭＯＳ、その他当業界に知らされた映像獲得手段で構成されうる。センサ１２０の撮像面に結像されたアナログ映像はデジタル映像に変換される。

映像処理器１３０は、焦点の合った映像に標準イメージアルゴリズムを実行して最終映像を生成する。映像処理器１３０は、映像のノイズの除去、ハイライトエッジおよび圧縮などの映像処理過程を経て最終映像を得る。

自動焦点調節装置１４０は、センサ１２０が獲得した映像に対するブラーレベルを計算して焦点距離を計算する。自動焦点調節装置１４０は、二つのブラーレベルを通して焦点距離を計算し、計算された焦点距離で獲得した映像の焦点が合わない場合、焦点距離の計算方法を補正する。詳しい説明は図２を参照して後述する。

焦点レンズ制御器１５０は、指定された焦点距離に対応するようにレンズ１１０を位置させる。

図２は、本発明の一実施形態による自動焦点調節装置１４０に対するブロック図である。

自動焦点調節装置１４０は、ブラーレベル計算モジュール２１０と距離計算モジュール２２０、精密距離計算モジュール２３０および距離計算補正モジュール２４０を含む距離分類器２００を含む。

ブラーレベル計算モジュール２１０は第１焦点距離から獲得した第１映像（Ｉ１）に対するブラーレベル（Ｂ１）と第２焦点距離から獲得した第２映像（Ｉ２）に対するブラーレベル（Ｂ２）を計算する。ブラーレベルを計算する方法は、離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ ＤＣＴ）、フーリエ変換（Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ ＦＴ）、ウェーブレット変換（Ｗａｖｅｌｅｔ Ｔｒａｎｓｆｏｒｍ ＷＴ）などの変換方法を用いる方法があり、ラプラシアンフィルタ（Ｌａｐｌａｃｉａｎ Ｆｉｌｔｅｒ）およびゾーベルフィルタ（Ｓｏｂｅｌ Ｆｉｌｔｅｒ）などの高域通過フィルタ（Ｈｉｇｈ Ｐａｓｓ Ｆｉｌｔｅｒ）などを用いる方法がある。

ブラーレベル計算モジュール２１０は、計算されたブラーレベルであるＢ１とＢ２を、焦点距離が分かる距離分類器２００に入力する。

距離分類器２００は、計算されたブラーレベルＢ１とＢ２から焦点距離を計算し、計算された焦点距離で獲得した映像の焦点が合わない場合、正確な被写体との距離を計算して焦点距離の計算方法を補正する。距離分類器２００は、距離計算モジュール２２０、精密距離計算モジュール２３０および距離計算補正モジュール２４０を含む。

距離計算モジュール２２０は、ブラーレベルＢ１とＢ２から焦点距離を計算する。距離計算モジュール２２０は、多様な方法によってブラーレベルから焦点距離の計算が可能であり、多層ニューラルネットワーク（Ｍｕｌｔｉｌａｙｅｒ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＭＮＮ）によって計算するのが好ましい。これについての詳しい説明は図６および図７を参照して後述する。

精密距離計算モジュール２３０は、距離計算モジュール２２０が計算した焦点距離で獲得した映像の焦点が合わない場合、正確な被写体までの距離を計算する。精密距離計算モジュール２３０の正確な被写体までの距離計算は、赤外線や超音波を用いた能動オートフォーカス（Ａｃｔｉｖｅ Ａｕｔｏ Ｆｏｃｕｓｉｎｇ）に用いられる方法を用いることもでき、ユーザから入力を受けることもできる。ただし、装置の効率性や経済性を考慮する時、撮像機器から得る映像を基盤とする受動オートフォーカス（Ｐａｓｓｉｖｅ Ａｕｔｏ Ｆｏｃｕｓｉｎｇ）に用いられる方法が好ましい。その代表的な方法は、高域通過フィルタ（Ｈｉｇｈ Ｐａｓｓ Ｆｉｌｔｅｒｉｎｇ）と山登り探索アルゴリズム（Ｈｉｌｌ Ｃｌｉｍｂｉｎｇ Ｓｅａｒｃｈ Ａｌｇｏｒｉｔｈｍ）であり、これについての詳しい説明は図５を参照して後述する。

距離計算補正モジュール２４０は、精密距離計算モジュール２３０が計算した正確な被写体までの距離と第１映像のブラーレベル（Ｂ１）、第２映像のブラーレベル（Ｂ２）から距離計算モジュール２２０を補正する。距離計算モジュール２２０が多層ニューラルネットワークで具現された場合、距離計算補正モジュール２４０はオンライン学習方法を用いて距離計算モジュール２２０の誤差が最小となるように多層ニューラルネットワークの係数を補正する。これについての詳しい説明は図８および図９を参照して後述する。

この時、本実施形態で使用される「モジュール」という用語は、ソフトウェアまたはＦＰＧＡまたはＡＳＩＣのようなハードウェアの構成要素を意味し、モジュールはある機能を果たす。しかし、モジュールは、ソフトウェアまたはハードウェアに限定される意味ではない。モジュールは、アドレッシングできる保存媒体にあるように構成されることもでき、一つまたはそれ以上のプロセッサを再生させるように構成されることもできる。したがって、実施形態でのモジュールは、ソフトウェアの構成要素、オブジェクト指向ソフトウェアの構成要素、クラスの構成要素およびタスクの構成要素のような構成要素と、プロセス、関数、属性、プロシーザ、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ、および変数を含む。構成要素とモジュールのうちから提供される機能はさらに小さい数の構成要素およびモジュールに結合されたり、追加的な構成要素とモジュールでさらに分離したりすることができる。のみならず、構成要素およびモジュールは、デバイスまたは保安マルチメディアカード内の一つまたはそれ以上のＣＰＵを再生させるように実現されることもできる。

図３は、本発明の一実施形態による自動焦点調節方法を示す順序図である。

第１焦点距離と第２焦点距離で第１映像（Ｉ１）と第２映像（Ｉ２）を獲得する（Ｓ３１０）。焦点レンズ制御器１５０は、あらかじめ設定された第１焦点距離に対応する第１位置と、第２焦点距離に対応する第２位置にレンズ１１０を位置させてセンサ１２０が第１映像（Ｉ１）と第２映像（Ｉ２）を獲得する。

獲得した第１映像（Ｉ１）のブラーレベル（Ｂ１）と第２映像（Ｉ２）のブラーレベル（Ｂ２）を計算する（Ｓ３２０）。自動焦点調節装置１４０のブラーレベル計算モジュール２１０は、離散コサイン変換、フーリエ変換、ウェーブレット変換などの変換方法を用いたり、ラプラシアンフィルタやゾーベルフィルタなどの高域通過フィルタなどを用いたりして、第１映像（Ｉ１）のブラーレベル（Ｂ１）と第２映像（Ｉ２）のブラーレベル（Ｂ２）を計算する。

第１映像のブラーレベル（Ｂ１）と第２映像のブラーレベル（Ｂ２）から焦点距離を計算する（Ｓ３３０）。自動焦点調節装置１４０の距離計算モジュール２２０は多様な方法によってブラーレベルから焦点距離の計算が可能であり、多層ニューラルネットワークによって計算するのが好ましい。これについての詳しい説明は図６および図７を参照して後述する。

計算された焦点距離で映像（Ｉ＿Ｆ）を獲得する（Ｓ３４０）。焦点レンズ制御器１５０は、計算された焦点距離に対応するようにレンズ１１０を位置させてセンサ１２０が映像を獲得する。

獲得した映像（Ｉ＿Ｆ）が焦点の合った映像なのかを判断する（Ｓ３５０）。その判断は、ユーザに尋ねることもでき、あらかじめ定められたまたは他の基準によって判断されうる。焦点の合った映像であると判断されれば、映像処理器１３０は、標準イメージアルゴリズムとノイズ除去、ハイライトエッジおよび圧縮などの映像処理過程を経て最終映像を得る。

焦点が合わない映像であると判断された場合、焦点距離の計算方法を補正する（Ｓ３６０）。詳細な補正方法は図４を参照して後述する。

補正された焦点距離の計算方法を通して第１映像のブラーレベル（Ｂ１）と第２映像のブラーレベル（Ｂ２）からまた焦点距離を計算し（Ｓ３３０）、焦点の合った映像が得られる時まで前記過程を繰り返す。

図４は、本発明の一実施形態による自動焦点調節方法で焦点距離の計算方法を補正する方法を示す順序図である。

正確な被写体までの距離を計算する（Ｓ４１０）。距離計算モジュール２２０が計算した焦点距離で獲得した映像（Ｉ＿Ｆ）の焦点が合わない場合、精密距離計算モジュール２３０は正確な被写体までの距離を計算する（Ｓ４１０）。精密距離計算モジュール２３０の正確な被写体までの距離計算は、赤外線や超音波を用いた能動オートフォーカスに用いられる方法を用いることもでき、ユーザから入力を受けることもできる。ただし、装置の効率性や経済性を考慮する時、撮像機器で得る映像を基盤とする受動オートフォーカスに用いられる方法が好ましい。その代表的な方法は、高域通過フィルタと山登り探索アルゴリズムであり、これについての詳しい説明は図５を参照して後述する。

ブラーレベルの入力を受ける（Ｓ４２０）。距離計算補正モジュール２４０は、距離計算モジュール２２０を補正するために、精密距離計算モジュール２３０が計算した正確な被写体までの距離に対するデータで第１映像のブラーレベル（Ｂ１）と第２映像のブラーレベル（Ｂ２）の入力を受ける。

入力されたブラーレベルから補正する（Ｓ４３０）。距離計算補正モジュール２４０は、精密距離計算モジュール２３０が計算した正確な被写体までの距離と入力されたブラーレベルＢ１、Ｂ２から距離計算モジュール２２０を補正する。距離計算モジュール２２０が多層ニューラルネットワークで具現された場合、距離計算補正モジュール２４０はオンライン学習方法を用いて距離計算モジュール２２０の誤差が最小となるように多層ニューラルネットワークの係数を補正する。これについての詳しい説明は図８および図９を参照して後述する。

図５は、本発明の一実施形態による自動焦点距離測定装置で正確な被写体との距離を計算する方法を示す順序図である。

レンズを初期位置（Ｎ）に設定する（Ｓ５１０）。焦点レンズ制御器１５０はレンズ１１０を一定の初期位置（Ｎ）に位置させる。初期位置（Ｎ）は、自動焦点調節装置１４０の距離計算モジュール２２０が計算した焦点距離に対応するレンズの位置より小さい値で設定するのが好ましい。

設定された位置から映像を獲得する（Ｓ５２０）。センサ１２０は設定された位置での映像を獲得する。

獲得された映像に対して高域通過フィルタリングをする（Ｓ５３０）。一般的に高域通過フィルタ値が大きければ焦点がよく合った映像であるので、精密距離計算モジュール２３０は獲得された映像に高域通過フィルタリングをする。

フィルタした値を合算してＦＶ（Ｎ）値を計算する（Ｓ５４０）。精密距離計算モジュール２３０はＮ位置で獲得した映像に対して高域通過フィルタした値をすべて加えてＦＶ（Ｎ）値を返還する。

ＦＶ（Ｎ−２）値がＦＶ（Ｎ−１）より大きく、ＦＶ（Ｎ−１）値がＦＶ（Ｎ）より大きいのかを判断する（Ｓ５５０）。多くの場合、焦点は焦点レンズの位置の範囲内で高域通過フィルタ値が単調増加するうちに減少する特徴を有する。ＦＶ（Ｎ）値が増加するうちに減少し始める地点を求めば、最もよく焦点の合う焦点レンズの位置を求めることができる。したがって、精密距離計算モジュール２３０は、ＦＶ（Ｎ−２）値がＦＶ（Ｎ−１）より大きく、ＦＶ（Ｎ−１）値がＦＶ（Ｎ）より大きいのかを判断する。

ＦＶ（Ｎ−２）値がＦＶ（Ｎ−１）より大きく、ＦＶ（Ｎ−１）値がＦＶ（Ｎ）より大きい場合、Ｎ−１から減少し始めるので、焦点レンズ位置Ｎ−２から正確な被写体との距離を計算する（Ｓ５６０）。精密距離計算モジュール２３０は、高域通過フィルタ値が最も大きい焦点レンズ位置で被写体との距離を計算する。

ＦＶ（Ｎ−２）値がＦＶ（Ｎ−１）より小さく、ＦＶ（Ｎ−１）値がＦＶ（Ｎ）より小さい場合、焦点レンズ位置を次の位置であるＮ＋１に移動させる（Ｓ５７０）。焦点レンズ制御器１５０は、レンズ１１０を次の位置であるＮ＋１に位置させる。

Ｎ＋１位置に対する映像を獲得して高域通過フィルタ値が最も大きいレンズ位置を求める時まで上記の過程を繰り返す。

図６は、本発明の一実施形態による自動焦点調節装置で距離分類器の多層ニューラルネットワークを示す図である。

実験過程を通し多様な焦点距離に対するブラーレベルデータを有しているならば、ブラーレベルデータを各々対応する距離で分類する方法がなければならない。データを分類する多くの方法のうち、多層ニューラルネットワークを用いることが好ましい。多層ニューラルネットワークは理論的によく定立されており、簡単に適用できる。また、バックプロパゲーション（ｂａｃｋ ｐｒｏｐａｇａｔｉｏｎ）方法で誤謬を修正して補正することができる。

距離分類のため、図６のように２つの入力と４つの出力で構成された３層ニューラルネットワークが用いられる。各ニューロンの計算過程によって出力ノードが計算される。出力ノードのうち最大値を選択すれば、入力されたブラーレベルに対する焦点距離が算出される。各ニューロンを計算する方法は、図７を参照して後述する。

図７は、本発明の一実施形態による自動焦点調節装置の多層ニューラルネットワークでニューロンを計算する方法を示す図である。

各ニューロンは二つのユニットで構成される。最初のユニットは、ｗ１１、ｗ２１と同じ加重値である係数を乗じて加える。すなわち、最初のユニットは次の式によって計算される。

次のユニットは、活動関数（ａｃｔｉｖａｔｉｏｎ ｆｕｎｃｔｉｏｎ）と呼ばれる非線形関数を実現する。活動関数は次のようなｓｉｇｍｏｉｄ関数を用いる。

前述した計算方法によって各ニューロンを計算して出力ノードに至る。出力ノードのうち最大値が焦点距離となる。

図８は、本発明の一実施形態による自動焦点調節装置で多層ニューラルネットワークを補正するためのバックプロパゲーション方法を示す図である。

誤謬をδとする時、距離１に対する誤謬はδ_距離１である。距離１に対する誤謬がδ_距離１である時、Ｌａｙｅｒ２−１に対する誤謬δ２１は次の通りである。

逆方向方法の最後に、最初の階層に対する誤謬δ１１、δ１２、δ１３、δ１４を計算する。

図９は、本発明の一実施形態による自動焦点調節装置で多層ニューラルネットワークを補正する方法を示す図である。

Ｌａｙｅｒ１−１に対する補正された係数は次のような公式によって計算される。

ここで、ηは学習率（ｌｅａｒｎｉｎｇ ｒａｔｅ）を示し、ｆ（ｘ）は前述したｓｉｇｍｏｉｄ関数を示し、ｘ１はデータ１値を意味する。前述した方法で多層ニューラルネットワークの係数を補正する。ηとｆ（ｘ）は同一に維持しつつ、最後の出力ノードまですべての係数を上記のような方法で補正する。

本発明が属する技術分野における通常の知識を有する者は、本発明を、その技術的思想や必須の特徴を変更しない範囲で、他の具体的な形態において実施されうるということを理解することができる。したがって、上記実施形態はすべての面で例示的なものであり、限定的なものではないと理解しなければならない。本発明の範囲は、前記詳細な説明よりは後述する特許請求の範囲によって示され、特許請求の範囲の意味および範囲そして、その均等概念から導き出されるすべての変更または変形された形態が本発明の範囲に含まれると解釈されなければならない。

本発明の自動焦点調節装置および方法によれば、次のような効果が一つあるいはそれ以上ある。

最初に、最小限の映像から速く焦点を合わせることができる長所がある。

二番目、焦点がよく合わない状況で自主的に補正が可能な長所がある。

三つ目、速いシーンの変化にも効果的に焦点を合わせることができる長所がある。

四つ目、大規模のデータセットをあらかじめ構築しなくてもリアルタイムの補正によって後にでも正確な焦点を合わせることができる長所もある。

本発明の効果は、以上で言及した効果に制限されず、言及されていないまた他の効果は請求範囲の記載から当業者に明確に理解できるであろう。

本発明の一実施形態による自動焦点調節装置が用いられる撮像機器に対するブロック図である。 本発明の一実施形態による自動焦点調節装置１４０に対するブロック図である。 本発明の一実施形態による自動焦点調節方法を示す順序図である。 本発明の一実施形態による自動焦点調節方法で焦点距離の計算方法を補正する方法を示す順序図である。 本発明の一実施形態による自動焦点距離測定装置で正確な被写体との距離を計算する方法を示す順序図である。 本発明の一実施形態による自動焦点調節装置で距離分類器の多層ニューラルネットワークを示す図である。 本発明の一実施形態による自動焦点調節装置の多層ニューラルネットワークでニューロンを計算する方法を示す図である。 本発明の一実施形態による自動焦点調節装置で多層ニューラルネットワークを補正するためのバックプロパゲーション方法を示す図である。 本発明の一実施形態による自動焦点調節装置で多層ニューラルネットワークを補正する方法を示す図である。

符号の説明

１１０ レンズ
１２０ センサ
１３０ 映像処理器
１４０ 自動焦点調節装置
１５０ 焦点レンズ制御器
２００ 距離分類器
２１０ ブラーレベル計算モジュール
２２０ 距離計算モジュール
２３０ 精密距離計算モジュール
２４０ 距離計算補正モジュール

Claims (25)

1. 少なくとも２以上の映像のブラーレベルから焦点距離を計算する距離計算モジュールと、
   前記距離計算モジュールが計算した焦点距離で獲得した映像の焦点が合わない場合、正確な被写体までの距離を計算する精密距離計算モジュール、および
   前記精密距離計算モジュールが計算した正確な被写体までの距離と前記ブラーレベルから前記距離計算モジュールを補正する距離計算補正モジュールと、を含む自動焦点調節のための距離分類器。
2. 前記距離計算モジュールは、多層ニューラルネットワークによって、前記焦点距離を計算し、前記距離計算補正モジュールは前記多層ニューラルネットワークの係数を補正する請求項１に記載の自動焦点調節のための距離分類器。
3. 前記精密距離計算モジュールは、赤外線または超音波を用いる方法または高域通過フィルタと山登り探索アルゴリズムを用いる方法によって計算する請求項１に記載の自動焦点調節のための距離分類器。
4. 焦点距離が互いに異なる少なくとも２以上の映像のブラーレベルを計算するブラーレベル計算モジュールと、
   前記ブラーレベル計算モジュールが計算したブラーレベルから焦点距離を計算する距離計算モジュールと、
   前記距離計算モジュールが計算した焦点距離で獲得した映像の焦点が合わない場合、正確な被写体までの距離を計算する精密距離計算モジュール、および
   前記精密距離計算モジュールが計算した正確な被写体までの距離と前記ブラーレベルから前記距離計算モジュールを補正する距離計算補正モジュールと、を含む自動焦点調節装置。
5. 前記ブラーレベル計算モジュールは、離散コサイン変換、フーリエ変換、ウェーブレット変換、ラプラシアンフィルタおよびゾーベルフィルタのうち少なくとも何れか一つの方法によって前記ブラーレベルを計算する請求項４に記載の自動焦点調節装置。
6. 前記距離計算モジュールは、多層ニューラルネットワークによって前記焦点距離を計算し、前記距離計算補正モジュールは、前記多層ニューラルネットワークの係数を補正する請求項４に記載の自動焦点調節装置。
7. 前記精密距離計算モジュールは、赤外線または超音波を用いる方法または高域通過フィルタと山登り探索アルゴリズムを用いる方法によって計算する請求項４に記載の自動焦点調節装置。
8. 前記ブラーレベル計算モジュールは、第１焦点距離から獲得した第１映像と、第２焦点距離から獲得した第２映像の前記ブラーレベルを計算する請求項４に記載の自動焦点調節装置。
9. 被写体の映像光が入射されるレンズと、
   前記レンズを通して入射された映像光に対する映像を獲得するセンサと、
   前記センサが獲得した映像に対するブラーレベルを計算して焦点距離を計算し、前記計算された焦点距離から獲得した映像の焦点が合わない場合、焦点距離の計算方法を補正する自動焦点調節装置と、
   前記自動焦点調節装置が計算した前記焦点距離に焦点が合うように前記レンズを位置させる焦点レンズ制御器、および
   前記自動焦点調節装置によって焦点の合った映像を処理して最終映像を生成する映像処理器と、を含む撮像機器。
10. 前記自動焦点調節装置は、
    焦点距離が互いに異なる少なくとも２以上の前記映像のブラーレベルを計算するブラーレベル計算モジュールと、
    前記ブラーレベル計算モジュールが計算したブラーレベルから焦点距離を計算する距離計算モジュールと、
    前記距離計算モジュールが計算した焦点距離で獲得した映像の焦点が合わない場合、前記被写体までの正確な距離を計算する精密距離計算モジュール、および
    前記精密距離計算モジュールが計算した前記被写体までの正確な距離と前記ブラーレベルから前記距離計算モジュールを補正する距離計算補正モジュールと、を含む請求項９に記載の撮像機器。
11. 前記ブラーレベル計算モジュールは、離散コサイン変換、フーリエ変換、ウェーブレット変換、ラプラシアンフィルタおよびゾーベルフィルタのうち少なくとも何れか一つの方法によって前記ブラーレベルを計算する請求項１０に記載の撮像機器。
12. 前記距離計算モジュールは、多層ニューラルネットワークによって前記焦点距離を計算し、前記距離計算補正モジュールは前記多層ニューラルネットワークの係数を補正する請求項１０に記載の撮像機器。
13. 前記精密距離計算モジュールは、赤外線または超音波を用いる方法または高域通過フィルタと山登り探索アルゴリズムを用いる方法によって計算する請求項１０に記載の撮像機器。
14. 第１焦点距離から獲得した第１映像のブラーレベルと第２焦点距離から第２映像を獲得した第２映像のブラーレベルを計算する段階と、
    前記第１映像のブラーレベルと前記第２映像のブラーレベルから焦点距離を計算する段階、および前記計算された焦点距離で獲得した映像の焦点が合わない場合、前記焦点距離の計算方法を補正する段階と、を含む自動焦点調節方法。
15. 前記ブラーレベル計算は、離散コサイン変換、フーリエ変換、ウェーブレット変換、ラプラシアンフィルタおよびゾーベルフィルタのうち少なくとも何れか一つの方法によって前記ブラーレベルを計算する請求項１４に記載の自動焦点調節方法。
16. 前記焦点距離計算は、多層ニューラルネットワークによって前記焦点距離を計算し、前記距離計算方法補正は、前記多層ニューラルネットワークの係数を補正する請求項１４に記載の自動焦点調節方法。
17. 前記計算された焦点距離で獲得した映像の焦点が合わない場合、正確な被写体までの距離を計算する段階をさらに含み、前記焦点距離の計算方法補正は、前記計算された正確な被写体までの距離と前記第１映像のブラーレベルと前記第２映像のブラーレベルから補正する請求項１４に記載の自動焦点調節方法。
18. 前記正確な被写体までの距離は、赤外線または超音波を用いる方法または高域通過フィルタと山登り探索アルゴリズムを用いる方法によって計算する請求項１７に記載の自動焦点調節方法。
19. 被写体の映像光が入射されて前記被写体の映像を獲得する段階と、
    前記獲得された映像のブラーレベルを計算する段階と、
    前記計算されたブラーレベルから焦点距離を計算する段階と、
    前記計算された焦点距離で獲得した映像の焦点が合わない場合、前記焦点距離の計算方法を補正する段階、および
    前記計算された焦点距離で獲得した映像の焦点の合った場合、前記映像を処理して最終映像を生成する段階と、を含む撮像方法。
20. 前記ブラーレベル計算は、離散コサイン変換、フーリエ変換、ウェーブレット変換、ラプラシアンフィルタおよびゾーベルフィルタのうち少なくとも何れか一つの方法によって前記ブラーレベルを計算する請求項１９に記載の撮像方法。
21. 前記焦点距離計算は、多層ニューラルネットワークによって前記焦点距離を計算し、前記距離計算方法補正は、前記多層ニューラルネットワークの係数を補正する請求項１９に記載の撮像方法。
22. 前記計算された焦点距離で獲得した映像の焦点が合わない場合、正確な被写体までの距離を計算する段階をさらに含み、前記焦点距離の計算方法補正は、前記計算された正確な被写体までの距離と、前記第１映像のブラーレベルと、前記第２映像のブラーレベルから補正する請求項１９に記載の撮像方法。
23. 少なくとも二つの映像のブラーレベルに基づいて焦点距離を計算する距離測定モジュール、および
    前記焦点距離および前記ブラーレベルに基づいて距離測定モジュールを補正する距離測定計算モジュールと、を含む、自動焦点調節装置。
24. 前記距離計算モジュールによって計算された焦点距離で獲得された映像のうち一つが焦点から外れる時、被写体に至る正確な距離を計算する精密距離計算モジュールをさらに含む、請求項２３に記載の自動焦点調節装置。
25. 前記距離計算補正モジュールは、精密距離計算モジュールによって計算された被写体との正確な距離に基づいて距離計算モジュールを補正する、請求項２４に記載の自動焦点調節装置。

Images