JP2009118483A - オブジェクト追跡を用いたデジタル画像の手ぶれ補正装置および方法 - Google Patents

Abstract

【課題】別途のハードウェアがなくても手ぶれによる画像ぼけ現象がなく、明るくて鮮やかでありかつ雑音のないデジタル停止画像を得る。
【解決手段】第１露出度の条件で得られた第１デジタル画像データと第２露出度の条件で得られた第２デジタル画像データとを出力する画像信号処理部２０と、オブジェクト追跡を用いて基準第２デジタル画像を基準にして複数の比較第２デジタル画像の動きを補正し、基準画像と補正された比較画像とを重畳させ手ぶれ補正画像を生成する手ぶれ補正部１４０と、前記第１デジタル画像の属性を基準にして前記手ぶれ補正画像の属性を補正する画像属性補正部１５０と、を含む。
【選択図】図１

Description

本発明は、デジタル画像処理に関するものであって、詳しくは、デジタル画像の獲得時、使用者の手ぶれによる画像ぼけ現象を防止することができる手ぶれ補正装置およびその方法に関する。

最近ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ‐Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などのイメージセンサーを用いたデジタルカメラが広く普及され用いられている。デジタルカメラはカメラ専用製品としても商用化されるが、携帯電話やＰＤＡのようなハンドヘルド端末機（ｈａｎｄ‐ｈｅｌｄ ｔｅｒｍｉｎａｌ）と結合された形態でも商用化されている。

ところで、ハンドヘルド端末機においては中央演算処理装置のクロック速度とメモリの容量とがＰＣ用として開発されるものに比べると劣っている。加えて、端末機は、薄型化と小型化とを目指して開発されているので、カメラなどの付加装置が搭載されるにあたって空間的制約が非常に多い。したがって、カメラ専用製品に適用される様々な画像処理技術がハンドヘルド端末機に装備されるには限界があり、そのうち一つが撮影者の手ぶれによるデジタル画像の劣化を防止することができる手ぶれ補正技術である。

よく知られているように、デジタルカメラは一般的に自動露出（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）モードを有する。自動露出モードにおいては、撮影場所の照度によって露出度（ＥＶ：Ｅｘｐｏｓｕｒｅ Ｖａｌｕｅ）が自動で変更される。すなわち、暗い場所では露出度が増加し、明るい場所では露出度が減少する。

ところで、露出度の増加は被写体に対するカメラの露出時間の増加をもたらす。このような場合、手ぶれによる焦点の微細な動きが撮影された画像に反映されて画像がぶれて見えるぼけ（ｂｌｕｒｒｉｎｇ）現象が発生する。したがって、従来は、ＤＩＳ（Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚａｔｉｏｎ）方法、ＥＩＳ（Ｅｌｅｃｔｒｉｃａｌ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚａｔｉｏｎ）方法、ＯＩＳ（Ｏｐｔｉｃａｌ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚａｔｉｏｎ）方法などの多様な手ぶれ補正技術を適用してぼけ現象の発生を防止している。

ＤＩＳ方法は、メモリに貯蔵された画像信号を用いて手ぶれを検出／補正する方法である。ＤＩＳ方法においては、撮像素子で生成されメモリに貯蔵された画像信号を用いて動きベクトルを検出し、検出された動きベクトルを用いてメモリの読み取りタイミングを変更することで手ぶれを補正する。

ＤＩＳ方法は、簡単に手ぶれを補正することができるという長所がある。しかし、変更された読み取りタイミングによってメモリから読み取り可能な画像のサイズが有効画素領域のサイズと同一であるので、メモリから読み取り可能な画像をデジタルズーム（Ｄｉｇｉｔａｌ Ｚｏｏｍ）で拡大して再生／記録しなければならないという限界がある。デジタルズームによる拡大過程を経て画像が再生／記録されれば、画像の画質劣化が発生する問題がある。

ＥＩＳ方法は、角速度センサーと高画素撮像素子とを用いて手ぶれを検出／補正する方法である。ＥＩＳ方法においては、水平／垂直の角速度センサーを用いて手ぶれ量と手ぶれ方向とを検出する。そして、検出された手ぶれ量と手ぶれ方向とを用いて高画素撮像素子の出力タイミングを変更することで手ぶれを補正する。

ＥＩＳ方法の場合、変更された出力タイミングによって高画素撮像素子から出力される画像信号によって構成される画像は原画像と同じサイズである。ＥＩＳ方法に用いられる高画素撮像素子は全体画素数が有効画素数より遥かに多いからである。したがって、ＥＩＳ方法によれば、再生／記録される画像の画質劣化が減少する。しかし、ＥＩＳ方法を適用するためには、角速度センサーがより必要であり撮像素子も高画素でなければならないので、製造単価の上昇をもたらす問題がある。

ＯＩＳ方法は、角速度センサーとプリズムとを用いて手ぶれを検出／補正する方法である。ＯＩＳ方法は、水平／垂直の角速度センサーを用いて手ぶれ量と手ぶれ方向とを検出するという面においてはＥＩＳ方法と同一である。しかし、ＯＩＳ方法は、手ぶれを補正するために撮像素子に入射される光路の変更が可能なプリズムを用いるという点からＥＩＳ方法と異なる。

ＯＩＳ方法の場合、再生／記録される画像の画質劣化が発生せず、高画素の撮像素子を要しない長所がある。しかし、ＯＩＳ方法のためには角速度センサーとプリズムとが必要であるので、撮影装置の体積が増加し製造単価が上昇することになる。それだけでなく、プリズム制御の難しさもＯＩＳ方法の短所として指摘されている。

本発明の目的は、前述した従来技術の問題を解決するために創案されたものであって、手ぶれ補正のために加速度センサーやプリズムなど別途のハードウェアを要しないデジタル画像の手ぶれ補正装置および方法を提供することにある。

本発明の他の目的は、携帯電話やＰＤＡなど制限されたハードウェア資源を持つ端末機に搭載されたデジタルカメラにおいても、ＤＩＳ方法のように画質劣化を伴うことなく手ぶれによるぼけ現象を減少させることができるデジタル画像の手ぶれ補正装置および方法を提供することにある。

前記技術的課題を達成するためのオブジェクト追跡を用いたデジタル画像の手ぶれ補正装置は、（１）第１露出度の条件で得られた第１デジタル画像データと第２露出度の条件で得られた複数の第２デジタル画像データとを出力する画像信号処理部と、（２）オブジェクト追跡を通じて基準第２デジタル画像を基準にして比較第２デジタル画像の動きを補正し、基準画像と各補正された比較画像とを重畳させ手ぶれ補正画像を生成する手ぶれ補正部と、（３）前記第１デジタル画像の属性を基準にして前記手ぶれ補正画像の属性を補正する画像属性補正部と、を含む。

本発明によれば、前記第１露出度の条件から第２露出度の条件を定めてイメージセンサーの露出属性を第１露出度の条件から第２露出度の条件に変更する露出モード切換部をさらに含む。

望ましくは、前記第１露出度は自動露出モードの露出度であり、前記第２露出度は自動露出モードに対応する照度よりも低い照度に対応する露出度である。

望ましくは、前記第１デジタル画像データは自動露出モードで獲得されたプレビュー画像データである。そして、前記第２デジタル画像データは停止画像キャプチャーモードで一定の時間間隔をおいて連続して生成されたフルサイズの停止キャプチャー画像データである。

本発明によれば、前記手ぶれ補正部は、（１）複数の第２デジタル画像を基準画像と比較画像群とに分類し、オブジェクト追跡を用いて基準画像と各比較画像とからオブジェクトをラベリングするオブジェクトラベリング部と、（２）各比較画像のオブジェクトと基準画像のオブジェクトとを相互マッチングさせマッチングされたオブジェクトのパラメーターを算出し、算出されたパラメーターによって基準画像を基準にして各比較画像の動き量を算出する動き量算出部と、（３）算出された各動き量を該当する比較画像に適用して比較画像の動きを補正する動き補正部と、（４）前記動きが補正された各比較画像と基準画像とを重畳させ手ぶれ補正画像を生成する補正画像生成部と、を含む。

望ましくは、前記オブジェクトラベリング部は、基準画像と各比較画像とを二進画像に変換する画像二進化器と、二進画像に変換された基準画像と各比較画像とからオブジェクトを抽出してラベリングするオブジェクトラベラーと、を含む。より望ましくは、前記オブジェクトラベリング部は、基準画像と各比較画像とをフィルタリングして境界を鮮明化する画像濾波器と、前記画像濾波器から出力される境界鮮明化画像と二進画像とを合成する画像合成器と、をさらに含む。このような場合、前記オブジェクトラベラーは合成された画像からオブジェクトをラベリングする。

本発明によれば、前記装置は、前記オブジェクトラベリング部の前部に、複数の第２デジタル画像のサイズを一定のサイズにスケーリングするか、一定の幅の画像バウンダリーをクリッピングして画像をリサイズする画像リサイザーをさらに含むことができる。

前記装置は、前記オブジェクトラベリング部の前部に、基準画像を基準にして比較画像の動きベクトルのサイズが臨界値を超えるか、基準画像と比較画像との明るさの差が臨界値を超えない比較画像をオブジェクトラベリングの対象から除外させる画像選別部をさらに含むことができる。

本発明において、各比較画像に対して算出される動き量は、水平移動（ｔｒａｎｓｌａｔｉｏｎ）による動き量、点回転（ｒｏｔａｔｉｏｎ）による動き量、スケーリング（ｓｃａｌｉｎｇ）による動き量および軸回転（ｓｈｅａｒ）による動き量を含むグループより選択された何れか一つまたはこれらの組み合わせを含む。

望ましくは、前記画像属性補正部は、前記第１デジタル画像と手ぶれ補正画像とのサイズ比率を考慮して手ぶれ補正画像のピクセルデータを第１デジタル画像のピクセルデータに置き換えまたは補間して手ぶれ補正画像の色相を補正する色相補正部を含む。

前記画像属性補正部は、付加的に（ａｄｄｉｔｉｏｎａｌｌｙ）または代替的に（ａｌｔｅｒｎａｔｉｖｅｌｙ）、前記第１デジタル画像と手ぶれ補正画像との明るさの差を定量化して明るさ補正の強度を選択した後選択された強度によって手ぶれ補正画像の明るさを補正する明るさ補正部を含む。

本発明は、オブジェクト追跡を用いたデジタル画像の手ぶれ補正方法を含む。

本発明の一側面によれば、ＥＩＳまたはＯＩＳ法とは異なり手ぶれの程度が測定できる角速度センサーやプリズムなどのハードウェアがなくても手ぶれによる画像ぼけ現象を除去することができるので、デジタル画像撮影装置の製造原価を節減しつつも良好な品質のデジタル停止画像を獲得することができる。

本発明の他の側面によれば、ＤＩＳ法とは異なり停止キャプチャー画像の貯蔵時デジタルズーム過程を伴わないので、ＤＩＳ法に比べて良好な品質のデジタル停止画像を得ることができる。

本発明のまた他の側面によれば、被写体に対する明るさと色相との属性を保存しているプレビュー画像を用いて停止キャプチャー画像の属性を補正するので、より鮮やかで明るいデジタル停止画像を得ることができる。

本発明のさらに他の側面によれば、フィルタを用いて停止キャプチャー画像の色相データを補正する過程で生成される雑音を除去することで、画像の品質を向上させることができる。

以下、添付した図面を参照しながら本発明の望ましい実施形態を詳しく説明する。これに先立って、本明細書および請求範囲に使われた用語や単語は通常的、辞書的な意味に限定して解釈されてはならず、発明者は自らの発明を最善の方法で説明するために用語の概念を適切に定義することができるという原則に則して、本発明の技術的思想に符合する意味と概念とで解釈されなければならない。したがって、本明細書に記載された実施形態と図面に示された構成とは本発明の最も望ましい一実施形態に過ぎず、本発明の技術的思想の全てを代弁するものではないため、本出願時点においてこれらに代替できる多様な均等物と変形例があり得ることを理解しなければならない。

本発明によるオブジェクト追跡を用いたデジタル画像の手ぶれ補正装置は各種のデジタル画像撮影装置に組み込まれて用いられる。前記デジタル画像撮影装置は、たとえば、デジタルカメラ、デジタルカムコーダー、デジタルカメラが装着された携帯電話、ＰＤＡ、個人用マルチメディア再生機などを含む。デジタル画像撮影装置とは使用者のシャッター操作によって被写体の画像を獲得しデジタルイメージに変換した後貯蔵媒体に貯蔵する機能を行う装置を称する。

商用化されているデジタル画像撮影装置は、伝統的なカメラとは異なりＬＣＤなどのディスプレイから構成されたビューファインダー（ｖｉｅｗ ｆｉｎｄｅｒ）を通じて撮影画像に含まれる対象をあらかじめ見せるプレビュー（Ｐｒｅｖｉｅｗ）機能を有する。したがって、使用者はプレビューモードで撮影装置の移動に沿って短いフレーム間隔で変化する画像を、ビューファインダーを通じてあらかじめ確認しながら撮影者が望む最適の画像が捕捉されるとシャッターを動作させて、被写体に対するデジタル停止画像を得ることになる。

本発明による手ぶれ補正装置は、シャッターが動作すると、第１露出度で撮像された第１デジタル画像と第２露出度（第１露出度よりも小さい）で撮像された複数の第２デジタル画像とを獲得した後、オブジェクト追跡によって基準になる第２デジタル画像を基準にして他の第２デジタル画像の動き量を計算し、計算された各動き量によって対応する第２デジタル画像の動きを補正した後、基準画像と動き補正画像（複数の動き補正画像）とを一つに重畳させて手ぶれ補正画像を生成し、第１デジタル画像の属性を用いて前記手ぶれ補正画像の属性を補正することを特徴とする。

以下で説明する実施形態においては、第１デジタル画像をプレビュー画像と、第２デジタル画像を停止キャプチャー画像と称する。プレビュー画像とはシャッターが動作する前にビューファインダーを通じて短いフレーム周期で出力されるデジタル画像を、停止キャプチャー画像とはシャッターが動作したとき使用者が指定した解像度で撮像される被写体の停止デジタル画像を意味する。しかし、本発明はこれに限定されず、第１デジタル画像は第２デジタル画像に比べて露出度が高く、手ぶれの影響も無視できる程度の短いフレーム周期で撮像されたデジタル画像を意味すると解釈されるべきである。

図１は、本発明の望ましい実施形態によるオブジェクト追跡を用いたデジタル画像の手ぶれ補正装置のブロックダイアグラムである。

図１を参照すれば、本発明による手ぶれ補正装置は、各種のデジタル画像撮影装置に装着されて手ぶれ補正機能を具現する。前記装置は、イメージセンサー１０、画像信号処理部２０、センサーコントロール部３０、画像応用処理モジュール４０、画像表示モジュール５０および使用者インターフェース６０を含む。

前記イメージセンサー１０は、被写体の画像を撮像してアナログ画像信号を画像信号処理部２０に出力する。望ましくは、前記イメージセンサー１０は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ‐Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）技術を用いた撮像素子である。しかし、本発明はイメージセンサー１０の種類によって限定されるものではない。

前記イメージセンサー１０は、デジタル画像撮影装置のシャッターが動作する前には、非常に短いフレーム周期（たとえば、３０f／s）で被写体のプレビュー画像（ＡＰ）を生成して出力する。一方、デジタル画像撮影装置のシャッターが動作すれば、前記イメージセンサー１０は一定の周期で被写体に対する複数の停止キャプチャー画像（ＡＣ）を出力する。複数の停止キャプチャー画像（ＡＣ）はプレビュー画像（ＡＰ）よりも長いフレーム周期で出力される。前記プレビュー画像（ＡＰ）と複数の停止キャプチャー画像（ＡＣ）とはそれぞれ第１および第２露出度の条件で生成される。

ここで、露出度とは、ＥＶ（Ｅｘｐｏｓｕｒｅ Ｖａｌｕｅ）を意味し、イメージセンサー１０のシャッタースピードを示すｆとセンサーの感光度を示すＩＳＯゲイン（以下、Ｉと称する）とを含むパラメーターによって定義される。イメージセンサー１０の露出度はセンサーコントロール部３０によって設定される。露出度が増加すれば、イメージセンサー１０の露光時間も共に増加する。特定の露出度に対応する具体的なｆ値とＩ値はイメージセンサー１０のメーカーによってあらかじめ定義されてルックアップテーブルの形態で参照される。

望ましくは、前記第１露出度は第２露出度よりも大きい。すなわち、第１露出度をＥＶ１とし第２露出度をＥＶ２とするとき、「ＥＶ１＞ＥＶ２」という条件を満足する。望ましくは、第１露出度はデジタル撮影装置の自動露出（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）モードに対応する露出度である。代替的に、第１露出度は使用者インターフェース６０を通じて使用者が任意に設定することもでき、自動露出モードに対応する露出度を基準にしてあらかじめ定められた幅だけ上昇させるか減少させることができる。上昇または増加幅はデジタル画像撮影装置のメーカーによって望ましい値に設定される。

望ましくは、前記第１露出度の条件で生成されたプレビュー画像（ＡＰ）は、デジタル画像撮影装置のシャッターが動作する前のプレビューモードでディスプレイモジュール５０のビューファインダー９０を通じて提供される被写体動画像のうちシャッターが動作した時点を基準にしてシャッターが動作する直前に生成された画像である。参照用として、プレビュー画像は画像応用処理モジュール４０によってディスプレイメモリ７０に貯蔵され、貯蔵されたプレビュー画像はディスプレイ駆動部８０によって動画像の形態でビューファインダー９０に備えられたディスプレイを通じて出力される。

前記プレビュー画像（ＡＰ）は非常に短いフレーム間隔をおいて連続して生成される。したがって、第１露出度の条件で獲得されるプレビュー画像（ＡＰ）は、撮影者の手ぶれの影響による画像ぼけ現象がほとんどなく、シャッターの動作を通じて獲得される複数の停止キャプチャー画像（ＡＣ）と比較すると、画像内に含まれる被写体の範囲が実質的に同一であり、自動露出モードで生成される画像であるので、低い露出度の条件より被写体の明るさおよび色相の属性を保存している。

一方、第２露出度の条件で獲得された画像は、シャッターが動作した時点で獲得される被写体の停止キャプチャー画像（ＡＣ）である。停止キャプチャー画像（ＡＣ）は、プレビュー画像（ＡＰ）が獲得された第１露出度の条件に比べて被写体に対する露出時間が充分に短い条件で獲得される。したがって、停止キャプチャー画像（ＡＣ）は画像撮影者の手ぶれの影響がほとんどない画像である。イメージセンサー１０の露光時間が短くなれば、手ぶれの影響が減少するからである。しかし、停止キャプチャー画像（ＡＣ）の獲得時の露出時間が短くなれば、プレビュー画像（ＡＰ）に比べて被写体に対する明るさおよび色相の属性が相対的にあまりよくは保存されない。

前記画像信号処理部２０は、イメージセンサー１０から出力されるアナログ画像信号の入力を受けてデジタル画像信号に変換した後、画像応用処理モジュール４０に出力する。前記デジタル画像信号は、画像内に含まれたピクセルの輝度信号（Ｙ）と色差信号（Ｃｂ，Ｃｒ）とを含む。デジタル画像信号は、ＹＶＵ色座標系の以外にＲＧＢなどの他の色座標系による信号から構成されることもできる。

前記画像信号処理部２０は、デジタル画像撮影装置のシャッターが動作する直前までは一定のフレーム間隔でイメージセンサー１０によって生成されるプレビュー画像（ＡＰ）の入力を受けてデジタル信号に変換した後、ビューファインダー９０に備えられたディスプレイの解像度規格（たとえば、３２０×２４０、２４０×３２０など）に合うようにダウンスケーリングする。一方、デジタル画像撮影装置のシャッターが動作すれば、画像信号処理部２０はイメージセンサー１０から一定のフレーム間隔で連続して生成された複数の停止キャプチャー画像（ＡＣ）の入力を受けてデジタル信号に変換し、画像撮影者が指定したイメージ解像度（３２０×２４０、２５６×１９２など）にダウンスケーリングをする。画像信号処理部２０によって処理されたプレビュー画像（ＤＰ）と複数の停止キャプチャー画像（ＤＣ）とは画像応用処理モジュール４０に出力される。プレビュー画像（ＤＰ）はディスプレイ規格に合うようにダウンスケーリングされるので、停止キャプチャー画像（ＤＣ）よりも画像のサイズが小さい。一方、プレビュー画像（ＤＰ）と停止キャプチャー画像（ＤＣ）とのダウンスケーリングは、後述する画像応用処理モジュール４０で行われても構わない。

前記画像信号処理部２０は、デジタル画像信号を圧縮符号化する画像エンコード部１００をさらに含むことができる。望ましくは、画像エンコード部１００は、ＪＰＥＧ標準にしたがってデジタル画像信号を圧縮符号化する。しかし、本発明はエンコード方式によって限定されるものではない。前記画像エンコード部１００は、デジタル信号に変換された停止キャプチャー画像（ＤＣ）に限って圧縮符号化を行うことができ、場合によっては、画像エンコード過程は省略されても構わない。画像信号処理部２０が停止キャプチャー画像（ＤＣ）をエンコードして出力する場合、後述する画像応用処理モジュール４０は停止キャプチャー画像（ＤＣ）を伸張するデコード部１１０を含むことが望ましい。

前記画像信号処理部２０は、本発明が属する技術分野においてＩＳＰ（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）として広く知られている。したがって、画像信号のデジタル変換過程は当業者に公知となっているので詳細な説明は省略する。

前記センサーコントロール部３０は、画像応用処理モジュール４０の制御によってイメージセンサー１０の露出度の条件を設定する。前記センサーコントロール部３０は、デジタル画像撮影装置のシャッターが動作する直前までは第１露出度の条件でイメージセンサー１０を設定する。そして、シャッターが動作すれば、第２露出度の条件でイメージセンサー１０を設定する。前記第１および第２露出度の条件に対応するパラメーターは画像応用処理モジュール４０から受信する。前記パラメーターは前述したようにシャッタースピードｆとＩＳＯゲインＩとを含む。

前記画像応用処理モジュール４０は、シャッターが動作する直前にはプレビューモードで、シャッターが動作すれば停止画像のキャプチャーモードで動作する。このため、前記画像応用処理モジュール４０はモード切換部１２０を含む。モード切換部１２０は、シャッターが動作する直前まではセンサーコントロール部３０を制御してイメージセンサー１０を第１露出度の条件で設定し、プレビューモードでイメージセンサー１０を動作させる。これによって、イメージセンサー１０は所定のフレーム間隔でプレビュー画像（ＡＰ）を生成して画像信号処理部２０に出力する。そして、画像応用処理モジュール４０は画像信号処理部２０から周期的に第１露出度の条件で生成されデジタル化されたプレビュー画像（ＤＰ）を受信してディスプレイメモリ７０に貯蔵する。このように貯蔵されたプレビュー画像（ＤＰ）はビューファインダー９０のディスプレイを通じて動画像の形態で出力される。

使用者インターフェース６０のシャッターが動作すれば、前記モード切換部１２０はシャッターが動作する直前の最近接時点に生成されたプレビュー画像（ＤＰ）をディスプレイメモリ７０からリードして獲得する。そして、第１露出度の条件から第２露出度の条件を適応的に定めた後、センサーコントロール部３０を制御してイメージセンサー１０の露出度の条件を第１露出度の条件から第２露出度の条件に変更して停止画像のキャプチャーモードにモードを切り換える。

ここで、露出度の条件を適応的に定めるということは、第１露出度の条件に応じて第２露出度の条件をあらかじめ定められたレファレンスを参照して定めることを意味する。このため、第１露出度の条件を定義するパラメーターであるｆとＩ値とによって第２露出度の条件を定義するパラメーターであるｆ’とＩ’値とを１：１でマッピングできるセンサーデータシート１３０が提供されることが望ましい。前記センサーデータシート１３０は、画像応用処理モジュール４０が機動するときレジストリにロードされて参照される。一方、本発明は第１露出度の条件に応じて第２露出度の条件を適応的に定めることに特徴があるので、露出度の条件を適応的に定めるための技術的構成は前述した例（ルックアップテーブル）に限定されず、様々な変形が可能なのは言うまでもない。

イメージセンサー１０の露出度の条件が第２露出度の条件に変更されると、画像応用処理モジュール４０はセンサーコントロール部３０を制御してイメージセンサー１０に複数停止画像のキャプチャー信号を送信する。そして、イメージセンサー１０は被写体に対する複数の停止キャプチャー画像（ＡＣ）を一定のフレーム周期で連続して生成して画像信号処理部２０に出力する。画像信号処理部２０は複数の停止キャプチャー画像（ＡＣ）を連続して受信してデジタル処理とスケーリングとを行った後画像応用処理モジュール４０に出力する。

画像応用処理モジュール４０は、オブジェクト追跡を用いて複数の停止キャプチャー画像（ＤＣ）のうち一つの画像（基準画像）を基準にして残りの画像（比較画像）の動きを補正し、基準画像と動きが補正された画像（複数の画像）とを一つの画像に重畳させ手ぶれ補正画像を生成する手ぶれ補正部１４０を含む。

オブジェクト追跡を通じて比較画像の動きを補正することは、基準画像と比較画像とに含まれたオブジェクトを抽出してラベリングし、ラベリングされたオブジェクトを相互対応させた状態でオブジェクト（複数のオブジェクト）の動きの程度を定量化し、定量化された動き量を比較画像に適用して基準画像を基準にして比較画像の動きを補正することを意味する。

図２は、本発明の一実施形態による手ぶれ補正部１４０の構成を示したブロックダイアグラムである。

図面に示すように、手ぶれ補正部１４０は、オブジェクトラベリング部１４１、動き量算出部１４２、動き補正部１４３および補正画像生成部１４４を含む。

前記オブジェクトラベリング部１４１は、画像信号処理部２０から複数の停止キャプチャー画像（ＤＣ）の入力を受ける。前記オブジェクトラベリング部１４１は、複数の停止キャプチャー画像（ＤＣ）のうち一つの画像を基準画像として、残りの画像を比較画像に分類する。ここで、比較画像は少なくとも１個以上である。それから、基準画像と各比較画像とを二進画像に変換して基準画像と各比較画像とからオブジェクトを抽出してラベリングする。

望ましくは、基準画像は停止キャプチャー画像（ＤＣ）のうち最初に撮像された画像に選定する。代替的に、基準画像は、停止キャプチャー画像（ＤＣ）のうち最後に撮像された画像または中間に撮像された画像に選定する。一例として、５個の停止キャプチャー画像（ＤＣ）が撮像された場合、基準画像は一番目、三番目、五番目の画像のうち何れか一つになる。

オブジェクトとは、二進化された画像において相互連結された白色ピクセルの集合を意味する。オブジェクトを構成するピクセルの数が臨界値（たとえば、３００００）を超えれば、該当のオブジェクトは背景として見なすことができる。望ましくは、オブジェクトは、４‐連結成分追跡または８‐連結成分追跡を用いて抽出する。４‐連結成分追跡とは観察対象ピクセルの上下左右４個のピクセルを追跡してオブジェクトを抽出する方式であり、８‐連結成分追跡とは観察対象ピクセルの上下左右４個のピクセルと対角線方向の４個のピクセルとを追跡してオブジェクトを抽出する方式である。これ以外にも、オブジェクトは、閉鎖輪郭オブジェクトスキャン法または開放輪郭オブジェクトスキャン法によっても抽出できる。ここで記述されたオブジェクト抽出法は、当業者に公知された技術であるので詳細な説明は省略する。

図３は、本発明の第１実施形態によるオブジェクトラベリング部１４１のブロックダイアグラムである。

図３を参照すれば、第１実施形態によるオブジェクトラベリング部１４１は、基準画像と各比較画像とを二進化（ｂｉｎａｒｉｚａｔｉｏｎ）して黒白二進画像に変換する画像二進化器１４１１と、各二進画像の入力を受けて画像ごとにオブジェクトを抽出してラベリングするオブジェクトラベラー１４１２とを含む。

画像の二進化は、画像に対するヒストグラム分布を計算した後特定の閾値以上の明るさを持つピクセルを白色に、特定の閾値以下の明るさを持つピクセルを黒色に設定することによって行なわれる。以下においては特定の閾値を基準にして各ピクセルの明るさを白色または黒色に変換する過程を画像の閾値化と称する。前記閾値は、ヒストグラム分布から計算された画像の平均明るさ値であり得る。しかし、本発明はこれに限定されるものではない。

図４は、本発明の第２実施形態によるオブジェクトラベリング部４４１のブロックダイアグラムである。

図４を参照すれば、第２実施形態によるオブジェクトラベリング部４４１は、閾値化を通じて基準画像と各比較画像とを二進画像に変換する画像二進化器１４１１と、基準画像と各比較画像とをフィルタリングして境界を鮮明化する画像濾波器１４１３と、前記画像濾波器１４１３から出力される境界鮮明化画像と前記画像二進化器１４１１から出力される対応二進画像とを合成する画像合成器１４１４と、画像合成器１４１４から出力される合成基準画像と各合成比較画像からオブジェクトを抽出してラベリングするオブジェクトラベラー１４１２とを含む。ここで、合成基準画像とは基準画像の二進画像と境界鮮明化画像との合成画像を、合成比較画像とは比較画像の二進画像と境界鮮明化画像との合成画像を称する。

前述のように、境界鮮明化画像との画像合成を行った後基準画像と比較画像とからオブジェクトを抽出すると、オブジェクトの境界が強化されてオブジェクトの抽出がさらに容易になる。望ましくは、前記画像濾波器１４１３は、２次ラプラシアン濾波器またはゾーベルエッジ（Ｓｏｂｅｌ ｅｄｇｅ）濾波器である。しかし、本発明は画像濾波器１４１３の種類によっては限定されない。

また図２を参照すれば、前記動き量算出部１４２はオブジェクトラベリング部１４１から基準画像と各比較画像とのラベリングされたオブジェクトデータの入力を受ける。その後、基準画像のオブジェクトと各比較画像のオブジェクトとを相互マッチングさせ、各オブジェクトのパラメーターを計算する。

図７は、動き量算出部１４２によって計算されるオブジェクトのパラメーターを概念的に示している。

オブジェクトのパラメーターは、オブジェクトの面積（Ｓ）、オブジェクトの境界長さ（バウンダリーのまわりの長さ）、一定のマージンをおいてオブジェクトを含む四角形のバウンダリーを形成したとき、四角形の中心座標（Ｏ：ｃｅｎｔｅｒ ｃｏｏｒｄｉｎａｔｅ）、オブジェクトの重心座標（Ｃ：ｃｅｎｔｒｏｉｄ ｃｏｏｒｄｉｎａｔｅ）、オブジェクトの四角形の中心座標（Ｏ）を通過し両端がオブジェクトの境界と接するラインのうち長さが最も長い最長軸の長さ（Ｍａｘ_Ｏ：Ｍａｊｏｒ ａｘｉｓ ｌｅｎｇｔｈ）および勾配と長さとが最も短い最短縮の長さ（Ｍｉｎ_Ｏ：Ｍｉｎｏｒ ａｘｉｓ ｌｅｎｇｔｈ）および勾配、オブジェクトの重心（Ｃ）を通過し両端がオブジェクトの境界と接するラインのうち長さが最も長い最長軸の長さ（Ｍａｘ_Ｃ：Ｍａｊｏｒ ａｘｉｓ ｌｅｎｇｔｈ）および勾配と長さとが最も短い最短縮の長さ（Ｍｉｎ_Ｃ：Ｍｉｎｏｒ ａｘｉｓ ｌｅｎｇｔｈ）および勾配、ラベリングの順序にしたがってオブジェクトの重心を連結したとき各連結ライン（Ｌ）の長さおよび勾配などを含む。

次いで、前記動き量算出部１４２は、計算されたパラメーターを用いて各比較画像に対する動き量を算出する。各比較画像の動き量は基準画像を基準にして算出する。すなわち、基準画像を基準にするとき比較画像がどれくらい動いたかを把握する。動き量は、平行移動（ｔｒａｎｓｌａｔｉｏｎ）による動き量、点回転（ｒｏｔａｔｉｏｎ）による動き量、スケーリング（ｓｃａｌｉｎｇ）による動き量および軸回転（ｓｈｅａｒ）による動き量からなる群より選択された何れか一つまたはこれらの組み合わせを含む。

一例として、平行移動による動き量は、基準画像と比較画像との相互マッチングされたオブジェクト間の中心座標または重心座標の差の平均により算出する。

点回転による動き量は、基準画像と比較画像との各重心の連結ラインをマッチングさせた後マッチングされた重心の連結ラインがなす角の平均により算出する。代替的に、基準画像と比較画像との各重心の連結ラインをマッチングさせた後、あらかじめ定めた基準軸と相互マッチングされた各重心の連結ラインとがなす角の差の平均により算出する。

スケーリングによる動き量は、基準画像と比較画像との相互マッチングされたオブジェクト間の長軸の長さ比率、短縮の長さ比率、境界線の長さ比率または面積比率の平均により算出する。

軸回転による動き量は、基準画像と比較画像との相互マッチングされたオブジェクト間の長軸の長さ比率、短縮の長さ比率、境目の長さ比率、面積比率またはあらかじめ定めた基準軸と重心の連結ラインとがなす角の差の分布を画像の水平方向と垂直方向とで求め、分布のプロファイルが持つ勾配を用いて算出する。

基準画像と比較画像との多様なオブジェクトパラメーターが与えられたとき、基準画像を基準にした比較画像の動き量は前述した方式以外の他の方法によっても算出できる。

前記動き量算出部１４２は、各比較画像に対して算出した動き量データを動き補正部１４３に出力する。動き補正部１４３は、各比較画像に対する動き量を補正するための行列マトリックスを算出する。

望ましくは、前記行列マトリックスは、アフィン変換（ａｆｆｉｎ ｔｒａｎｓｆｏｒｍａｔｉｏｎ）のための行列マトリックスである。しかし、本発明は行列マトリックスの種類によって限定されない。アフィン変換行列は、画像の平行移動、回転、スケーリングおよび軸回転の変換を処理する公知の変換行列である。行列マトリックスの列と行データは算出された動き量によって演算可能である。

前記動き補正部１４３は、各比較画像に対する変換行列マトリックスを導出した後、導出された行列マトリックスによって元の比較画像を行列演算して各比較画像の動きを補正する。それから、動きが補正された各比較画像と基準画像とを補正画像生成部１４４に出力する。

比較画像の動き補正は、水平移動による動き量補正、点回転による動き量補正、スケーリングによる動き量補正および軸回転による動き量の補正からなる群より選択された何れか一つまたはこれらの組み合わせを含む。比較画像の動き補正に関連した演算量を減らすためには、軸回転→スケーリング→回転→水平移動による動き量の補正の順で演算を行うことが望ましい。しかし、本発明はこれに限定されるものではない。

前記補正画像生成部１４４は、動き補正部１４３を通じて動きが補正された比較画像と基準画像との入力を受ける。そして、基準画像にすべての比較画像を重畳させて手ぶれ補正画像を生成して出力する。

ここで、画像を重畳させるということは、色相チャンネル別に基準画像と比較画像（複数の比較画像）との色相データに対する平均を求めた後、色相データの平均値で基準画像の色相データをチャンネル別に置き換えることを言う。場合によっては、画像を重ねるために色相チャンネル別に色相データの平均を求めるとき基準画像の色相データは排除することもできる。

図５は、本発明の他の実施形態による手ぶれ補正部の構成を示したブロックダイアグラムである。

図面を参照すれば、前記手ぶれ補正部５４０は、オブジェクトラベリング部１４１の前部に画像リサイザー１４５をさらに含むことができる。画像リサイザー１４５は、画像信号処理部２０から入力されるプレビュー画像（ＤＰ）と複数の停止キャプチャー画像（ＤＣ）とをダウンスケーリングするか、画像のバウンダリーをクリッピングして画像のサイズを減少させる。画像のリサイジング時画像のバウンダリーをクリッピングする目的は、画像の中央部分にオブジェクトが集中する傾向があるからである。手ぶれ補正部５４０に画像リサイザー１４５が含まれれば、画像二進化器１４１１、オブジェクトラベラー１４１２、画像濾波器１４１３などの論理ブロックは、リサイズされた画像を基準にして演算を行うので、各論理ブロックの演算量を減らすことができる。前記動き量算出部１４２は、ダウンスケーリングによってリサイズされた比較画像を用いて動き量を算出した場合、ダウンスケーリングのファクターを考慮して動き量を元の比較画像を基準にして換算することができる。

図６は、本発明のまた他の実施形態による手ぶれ補正部の構成を示したブロック図である。

図面を参照すれば、前記手ぶれ補正部６４０は、オブジェクトラベリング部１４１の前部に画像選別部１４６をさらに含む。画像選別部１４６は、複数の停止キャプチャー画像（ＤＣ）のうち一つを基準画像にし、残りの画像を比較画像に分類する。基準画像の選択基準は既に記述した。前記画像選別部１４６は、基準画像を基準にして各比較画像の動きベクトルを算出する。各比較画像の動きベクトルは、基準画像を基準にして比較画像の動き程度を示す尺度であって、ＭＰＥＧやＨ.２６ｘのような公知の画像圧縮標準などに広く用いられている方式を採用して算出する。それから、画像選別部１４６は、各比較画像の動きベクトルのサイズが大きすぎるか動きベクトルが算出されなければ、基準画像に含まれた被写体と比較画像に含まれた被写体とが相異なるものであると判断して手ぶれ補正に用いられる画像から排除する。このような場合は手ぶれ量が過度な場合または比較画像の撮像時急に他の被写体が画像撮像範囲に入ってきた場合である。その反面、比較画像の動きベクトルのサイズが一定のレベル範囲内であれば、手ぶれ補正に用いられ得る画像であると判断して前述したオブジェクトラベリング部１４１にプレビュー画像（ＤＰ）と停止キャプチャー画像（ＤＣ）とを入力する。その後、オブジェクトラベリング部１４１は前述のようにオブジェクトラベリングを行う。

追加的に、前記画像選別部１４６は、基準画像と比較画像との明るさの差を定量的に計算する。明るさの差が一定のレベルよりも小さければ、前記画像選別部１４６は該当の比較画像を手ぶれ補正に用いられる画像から排除する。たとえば、画像選別部１４６は基準画像と比較画像との間のＸＯＲ演算画像を算出した後画像の明るさ平均を求め、明るさ平均を基準画像と比較画像との間の明るさの差として定義する。それから、基準画像と比較画像との明るさの差が一定のレベル（たとえば、０.８５）よりも小さければ、有意義なオブジェクトの動きがないと判断して該当の比較画像をオブジェクトラベリング部１４１に出力させない。その反面、基準画像と比較画像との明るさの差が一定のレベル（たとえば、０.８５）を超えれば、有意義なオブジェクトの動きがあると判断して該当の比較画像をオブジェクトラベリング部１４１に出力させる。このように基準画像と各比較画像との間の明るさの差を通じて画像を選別すれば、オブジェクトラベリングのための演算量を減少させることができるという長所がある。

前記画像選別部１４６は、図５に示した画像リサイザー１４５とオブジェクトラベリング部１４１との間に介在できる。このような場合、画像選別部１４６は、リサイズされた基準画像と比較画像とに対して前述した動作を行う。

図８は、本発明による手ぶれ補正部１４０の望ましい動作手順を概略的に示したフローチャートである。以下の説明において各段階の動作主体は、手ぶれ補正部１４０である。

まず、一番目に撮像された停止キャプチャー画像が入力され（Ｐ１０）基準画像として指定される（Ｐ２０）。基準画像として用いられる停止キャプチャー画像は任意に変更可能である。基準画像が定まれば二番目以後から撮像された残りの停止キャプチャー画像は比較画像になる。

二番目に撮像された停止キャプチャー画像（ｋ＝２）が比較画像として入力される（Ｐ３０）。そして、基準画像を基準にして比較画像の動きベクトルが計算される（Ｐ４０）。前記計算された動きベクトルは、動きベクトルのサイズが臨界値を超えるかを判断するために臨界値と比較される（Ｐ５０）。

もし、段階（Ｐ５０）で動きベクトルが算出されないか、算出された動きベクトルのサイズが臨界値を超えると判別されれば、比較画像のオブジェクトラベリング過程に進まずに段階（Ｐ６０）が行われる。もし、段階（Ｐ５０）で算出された動きベクトルが臨界値を超えなければ、段階（Ｐ７０）が行われて基準画像と比較画像との明るさの差を定量的に算出する。たとえば、基準画像と比較画像とのＸＯＲ演算画像を算出した後、画像の明るさの平均を計算し明るさの平均を基準画像と比較画像との明るさの差で定義する。

そして、プロセスは基準画像と比較画像との明るさの差があらかじめ定めた臨界値を超えるかを検査する（Ｐ８０）。もし、臨界値を超えれば比較画像に有意義なオブジェクトの移動があると判別して段階（Ｐ９０）のオブジェクトラベリング過程に進む。もし、臨界値を超えなければ比較画像のオブジェクトラベリング過程を省略し段階（Ｐ６０）が行われる。

段階（Ｐ９０）においては、基準画像と比較画像とからオブジェクトが抽出され幾何学的演算によってオブジェクトパラメーターが計算される。画像からオブジェクトを抽出するときには、オブジェクト抽出対象画像を二進画像に変換し、変換された二進画像から相互連結された白色ピクセルの集合をオブジェクトとして認識して抽出することが望ましい。より望ましくは、オブジェクト抽出対象画像をフィルタリングして境界を鮮明化し境界鮮明化画像と二進画像とを合成した画像からオブジェクトを認識して抽出する。一方、前記オブジェクトパラメーターを抽出するための画像処理過程は既に前述したので反復的な説明は省略する。

段階（Ｐ１００）においては、基準画像から抽出されたオブジェクトパラメーターと比較画像から抽出されたオブジェクトパラメーターとを相互マッチングさせた後基準画像を基準にして比較画像の動き量を計算する。ここで、各比較画像に対する動き量は基準画像を基準にした比較画像の水平移動による動き量、点回転による動き量、スケーリングによる動き量および軸回転による動き量を含むグループより選択された何れか一つまたはこれらの組み合わせを含む。それから、段階（Ｐ１１０）で計算された動き量を用いて動き補正のための行列マトリックスを算出し、アフィン変換によって比較画像の動きを補正する。

次いで、プロセスは段階（Ｐ１２０）で動き量が補正された比較画像の順序ｋがあらかじめ設定した数Ｎに到達したかを検査する。ここで、Ｎは、画像の手ぶれを補正するために用いる停止キャプチャー画像の数であって、その値はあらかじめ定められる。段階（Ｐ１２０）にしたがって、ｋがＮより小さいか同じであれば、段階（Ｐ６０）が行われて比較画像の順序を１増加させ、段階（Ｐ３０）にプロセスを復帰させる。そうすれば、２番目ないしＮ番目の停止キャプチャー画像を比較画像として入力を受けて画像の動き量を算出して比較画像の動きを補正する前述した過程が繰り返される。ｋがＮより大きければ、画像の手ぶれ補正のために用いられる停止キャプチャー画像の動き補正が完了し、段階（Ｐ１３０）が行われる。

段階（Ｐ１３０）においては、動きが補正された比較画像とオブジェクトの動きが実質的にないと判定された比較画像とを基準画像と重畳させて手ぶれ補正画像を生成する。ここで、画像を重畳するという意味は既に前述している。場合によっては、オブジェクトの動きがないと判定された比較画像は重畳対象画像から排除することができ、Ｐ４０段階ないしＰ８０段階は手ぶれ補正部１４０の演算量を考慮して省略しても構わない。

図８には示さないが、本発明は、基準画像と比較画像とからオブジェクトを抽出するに先立って基準画像と比較画像とをダウンスケーリングするか、画像のバウンダリーをクリッピングして画像のサイズをリサイズする段階をさらに含むことができる。また、本発明は、基準画像を基準にして比較画像の動きベクトルを算出したとき動きベクトルのサイズが臨界値を超えるか、基準画像と比較画像との明るさの差を定量化したときその値が臨界値を超えない場合、該当の比較画像を動き補正の対象から除く画像選別段階をさらに含むことができる。このような画像リサイジング段階または画像選別段階を行えば、オブジェクト抽出に必要な演算量を減少させることができる。

以下、手ぶれ補正画像が獲得された以後に行われる画像属性補正に関する構成を説明する。

また図１を参照すれば、前記手ぶれ補正部１４０によって手ぶれ補正画像が生成されれば、プレビューモードで獲得されたプレビュー画像（ＤＰ）を用いて手ぶれ補正画像の様々な画像属性を補正する。

望ましくは、プレビュー画像（ＤＰ）によって補正される手ぶれ補正画像の属性は、画像の色相、雑音および明るさを含む。このために、画像応用処理モジュール４０は、色相補正部１５１、雑音補正部１５２および明るさ補正部１５３を含む画像属性補正部１５０を備える。望ましくは、手ぶれ補正画像の３つの画像属性を補正する順序は、画像色相、画像雑音および画像明るさの順である。しかし、本発明は画像属性の補正順序によって限定されるものではないので、任意の順序で補正順序を変更できることも自明である。
図９は、色相補正部１５１がプレビュー画像（ＤＰ）に基づいて手ぶれ補正画像の色相を補正する過程を詳しく説明したフローチャートである。

図１および図９を参照しながら色相補正過程を説明すれば、まず、段階（Ｓ１０）において、色相補正部１５１は、手ぶれ補正画像をプレビュー画像（ＤＰ）のサイズにスケーリングして縮小画像を生成する。そして、段階（Ｓ２０）において、プレビュー画像（ＤＰ）を参照画像にして縮小画像の動きベクトルを計算する。動きベクトルは、プレビュー画像（ＤＰ）を基準にして縮小画像内に含まれたオブジェクトの移動方向と移動量とを示す。動きベクトルはＭＰＥＧやＨ.２６ｘのような公知の画像圧縮標準などに広く用いられている方式を採用して算出することができる。すなわち、縮小画像を一定のサイズのブロックに細分した後各ブロックが参照画像のどの領域から動いてきたかを推定して動きベクトルを計算する。動きベクトルが計算されれば、段階（Ｓ３０）において色相補正部１５１は、プレビュー画像（ＤＰ）の各ピクセルデータを動きベクトルにしたがって位置を移動させる。そして、段階（Ｓ４０）において、ピクセルの位置移動が完了したプレビュー画像に基づいて補間法（ｉｎｔｅｒｐｏｌａｔｉｏｎ）を用いて手ぶれ補正画像のピクセルデータを補正する。すなわち、プレビュー画像（ＤＰ）の各ピクセルの位置（ｘ_ｉ,ｙ_ｊ）をスケーリングファクター（縮小画像生成時に適用したファクター）を考慮して手ぶれ補正画像の位置（Ｘ_ｉ,Ｙ_ｊ）に換算する。そして、手ぶれ補正画像の（Ｘ_ｉ,Ｙ_ｊ）位置にあるピクセルデータをプレビュー画像（ＤＰ）の（ｘ_ｉ,ｙ_ｊ）位置にあるピクセルデータに置き換える。プレビュー画像（ＤＰ）のピクセル数は手ぶれ補正画像のピクセル数より少ないので、手ぶれ補正画像のすべてのピクセルデータがプレビュー画像（ＤＰ）のピクセルデータに置き換えられない。したがって、手ぶれ補正画像のピクセルデータのうちプレビュー画像（ＤＰ）のピクセルデータに置き換えられないピクセルデータは、置き換えが完了した隣接のピクセルデータを用いて補間する。使用可能な補間法としては、Ｂｉ‐ｌｉｎｅａｒ法、Ｂｉ‐Ｃｕｂｉｃ法、Ｂ‐ｓｐｌｉｎｅ法などがあるが、本発明はこれに限定されるものではない。

前述した各段階を経て色相補正が完了した手ぶれ補正画像は、画像応用処理モジュール４０の雑音補正部１５２に入力される。そうすれば、雑音補正部１５２は様々な公知の雑音除去フィルタを用いて手ぶれ補正画像の雑音とカラーエラーとを除去する。前記フィルタとしては、低域通過フィルタ（Ｌｏｗ ｐａｓｓ ｆｉｌｔｅｒ）、メディアンフィルタ （Ｍｅｄｉａｎ ｆｉｌｔｅｒ）、ガウシアンフィルタ（Ｇａｕｓｓｉａｎ ｆｉｌｔｅｒ）、ラプラシアン‐ガウシアンフィルタ（Ｌａｐｌａｃｉａｎ ｏｆ Ｇａｕｓｓｉａｎ ｆｉｌｔｅｒ）、ガウシアン差分フィルタ（Ｄｉｆｆｅｒｅｎｃｅ ｏｆ Ｇａｕｓｓｉａｎ ｆｉｌｔｅｒ）などが採用できる。しかし、本発明はこれに限定されるものではなく、本発明が属した技術分野の通常の知識を持つ者に画像雑音を除去することができると知られた他の方式のフィルタリング技術も採用できることは自明である。

前述したように、雑音とカラーエラーとが除去された手ぶれ補正画像は明るさ補正部１５３に入力される。そうすれば、明るさ補正部１５３はプレビュー画像（ＤＰ）および手ぶれ補正画像との明るさの差を定量化した後、手ぶれ補正画像の明るさ補正強度を適応的に定めて手ぶれ補正画像の明るさを補正する。

図１０は、明るさ補正部１５３がプレビュー画像（ＤＰ）に基づいて手ぶれ補正画像の明るさを補正する過程を詳しく説明したフローチャートである。

図１および図１０を参照しながら明るさ補正過程を説明すれば、まず、段階（Ｓ５０）において、明るさ補正部１５３は、手ぶれ補正画像のサイズをプレビュー画像（ＤＰ）のサイズにダウンスケーリングして縮小画像を生成する。このとき、Ｓ５０段階を別途に行わずに、色相補正のために生成した縮小画像をそのまま用いても構わない。次いで、段階（Ｓ６０）において、明るさ補正部１５３は、縮小画像とプレビュー画像（ＤＰ）との明るさの差を定量化する。明るさの差は、二つの画像のヒストグラム分布を計算した後ヒストグラム平均値位置の差分によって計算可能である。たとえば、縮小画像およびプレビュー画像（ＤＰ）に対して計算したヒストグラムの平均値位置がそれぞれ８５および１４０であれば、平均値位置の差分は５５である。そして、段階（Ｓ７０）において、明るさ補正部１５３は、平均値位置の差分によって明るさ補正の強度を適応的に定めた後定められた強度によって手ぶれ補正画像の明るさを補正する。明るさ補正は、ガンマ関数またはレティネックス（Ｒｅｔｉｎｅｘ）アルゴリズムの適用によってなされることができる。このような場合、明るさ補正の強度はガンマ関数またはレティネックスアルゴリズムの強度になる。明るさ補正アルゴリズムの強度を適応的に選択するため、平均値位置の差分値によって選択可能な強度レベルをルックアップテーブル１７０の形態で用意した後参照することが望ましい。

手ぶれ補正画像とプレビュー画像（ＤＰ）との明るさの差分は、第１露出度と第２露出度とを定義するパラメーターの差分によっても定量化できる。すなわち、手ぶれ補正画像とプレビュー画像（ＤＰ）との明るさの差分は、第１露出度および第２露出度を定義するパラメーターであるｆとＩとの差分によって計算できる。たとえば、第１露出度に該当するｆとＩとが１／３０および２００であり、第２露出度に該当するｆ’とＩ’とが１／６０および１００であれば、シャッタースピードとＩＳＯゲインとの差分はそれぞれ１／６０および１００に定量化できる。そして、ｆおよびＩの差分によって明るさ補正の強度を適応的に定めて手ぶれ補正画像の明るさを補正することができる。明るさ補正は前述したように、ガンマ関数またはレティネックスアルゴリズムの適用によって行なうことができる。このような場合、明るさ補正の強度は、ガンマ関数またはレティネックスアルゴリズムの強度になる。明るさ補正アルゴリズムの強度を適応的に選択するため、ｆおよびＩの差分値によって選択可能な強度レベルをルックアップテーブルの形態で用意した後参照することが望ましい。

本発明において手ぶれ補正画像の明るさを補正するのに用いられるガンマ関数またはレティネックスアルゴリズムは、本発明が属する技術分野では広く知られている。したがって、これに対する詳しい説明は省略する。本発明は、明るさ補正時に適用される関数またはアルゴリズムの具体的な種類によって限定されないので、画像の明るさを調整できると知られた他の技法の何れでも適用できる。

前述した色相補正部１５１、雑音補正部１５２および明るさ補正部１５３によって手ぶれ補正画像の色相、雑音および明るさの補正が完了すれば、手ぶれ補正画像は圧縮符号化されて外部に出力される。このため、画像応用処理モジュール４０は、補正が完了した手ぶれ補正画像を圧縮符号化するエンコード部１６０をさらに含む。望ましくは、エンコード部１６０は、ＪＰＥＧ標準にしたがって手ぶれ補正画像を圧縮符号化してイメージファイルを生成する。しかし、本発明が圧縮符号化する方式によって限定されるのではない。前記イメージファイルは、デジタル画像撮影装置に備えられたフラッシュメモリのような不活性貯蔵媒体に収録できる。

前記使用者インターフェース６０は、デジタルカメラの焦点、光学またはデジタルズームイン／ズームアウト、ホワイトバランス、露出モードなどデジタル画像を撮影するために必要な各種のパラメーターの調整とシャッターの操作とをするためにデジタル画像撮影装置に備えられる一般的なインターフェースである。デジタル画像撮影装置が携帯電話などのハンドヘルド端末機に装着されれば、使用者インターフェース６０はヘッドヘルド端末機に備えられるキーパッドなどによっても具現できる。

前述したオブジェクト追跡を用いたデジタル画像の手ぶれ補正装置を用いてデジタル画像が撮影される過程をより具体的に説明する。下記の説明は、デジタル画像撮影装置が駆動された後使用者インターフェースの操作を通じて画像撮影モードが開始されることを仮定する。

図１１は、プレビューモードでプレビュー画像が生成されビューファインダーを通じて出力されるまでの制御手順を示した図面である。

図１および図１１を参照すれば、画像応用処理モジュール４０は、デジタル画像撮影装置の駆動が始まると、第１露出度の条件に応じて選択可能な第２露出度の条件を定義しているセンサーデータシート１３０をレジストリにロードする。その後、画像撮影モードが始まれば画像応用処理モジュール４０はセンサーコントロール部３０を制御してイメージセンサー１０を第１露出度の条件に設定する（Ｆ１０）。露出度を定義するシャッタースピードｆ、ＩＳＯゲインＩなどのパラメーターは前記センサーデータシート１３０を参照する。望ましくは、第１露出度の条件は自動露出モードに該当する。代替的に、第１露出度の条件は使用者インターフェースを通じて使用者が任意に設定した露出度の条件であり得る。

第１露出度の条件でイメージセンサー１０が設定されれば、画像応用処理モジュール４０はセンサーコントロール部３０にプレビュー画像の生成を要請する（Ｆ２０）。そして、センサーコントロール部３０は、イメージセンサー１０にプレビュー画像（ＡＰ）の生成信号を周期的に送信する（Ｆ３０）。イメージセンサー１０は、一定のフレーム間隔で被写体に対するプレビュー画像（ＡＰ）をアナログ信号の形態で画像信号処理部２０に出力する（Ｆ４０）。画像信号処理部２０は、イメージセンサー１０から周期的に受信されるプレビュー画像（ＡＰ）信号をデジタル化しビューファインダー９０に備えられたディスプレイの規格に合うように画像をダウンスケーリングして画像応用処理モジュール４０に出力させる（Ｆ５０）。そして、画像応用処理モジュール４０は、ダウンスケーリングされたプレビュー画像（ＤＰ）の入力を受けてディスプレイメモリ７０に周期的に貯蔵する（Ｆ６０）。ディスプレイ駆動部８０は、ディスプレイメモリ７０に周期的に貯蔵されるプレビュー画像（ＤＰ）を読み出す（Ｆ７０）。それから、プレビュー画像（ＤＰ）をアナログ信号に変換してビューファインダー９０に備えられたディスプレイを通じて一定のフレーム間隔で出力させる（Ｆ８０）。

図１２は、デジタル画像撮影装置のシャッターが動作したときプレビュー画像（ＤＰ）と手ぶれ補正画像とを生成した後プレビュー画像（ＤＰ）によって手ぶれ補正画像の属性を補正して停止キャプチャー画像の手ぶれを補正するプロセスを示した図面である。

図１および図１２を参照すれば、ビューファインダー９０のディスプレイを通じて所望の画像が捕捉されて撮影者がシャッターを動作させると、応用画像処理モジュール４０はプレビューモードで停止画像キャプチャーモードに画像処理モードを切り換える。それから、画像応用処理モジュール４０はシャッター動作する直前に最近接時点に生成されたプレビュー画像（ＤＰ）をディスプレイメモリ７０からリードして獲得する（Ｆ１００）。次いで、センサーデータシートを参照して第１露出度の条件から第２露出度の条件を適応的に定めた後、センサーコントロール部３０を制御してイメージセンサー１０を第２露出度の条件で設定する（Ｆ１１０）。第１露出度の条件から第２露出度の条件を算出する構成に対しては既に前述した 。

イメージセンサー１０が第２露出度の条件で設定されると、画像応用処理モジュール４０は、センサーコントロール部３０に複数の停止キャプチャー画像の生成を要請する（Ｆ１２０）。そして、センサーコントロール部３０は、イメージセンサー１０に複数の停止キャプチャー画像生成信号を送信する（Ｆ１３０）。これによって、イメージセンサー１０は被写体の停止キャプチャー画像（ＡＣ）を一定の間隔で連続して撮像してアナログ信号の形態で画像信号処理部２０に順次出力する（Ｆ１４０）。画像信号処理部２０は、イメージセンサー１０から受信される複数の停止キャプチャー画像（ＡＣ）をデジタル化し、撮影者が使用者インターフェース６０を通じて設定した画像のサイズに合うように画像をスケーリングして画像応用処理モジュール４０に出力させる（Ｆ１５０）。

画像応用処理モジュール４０は、多数の停止キャプチャー画像（ＤＣ）のうち何れか一つを基準画像に、残りを比較画像に分類する。前記画像応用処理モジュール４０は、基準画像を基準にして残りの比較画像の動きを補正し、動き補正が完了した比較画像と基準画像とを相互重畳させて手ぶれ補正画像を生成する。それから、前記画像応用処理モジュール４０は、プレビュー画像（ＤＰ）の色相および明るさの属性を用いて手ぶれ補正画像の色相と明るさとを補正し手ぶれ補正画像から各種の雑音とカラーエラーとを除去することで、手ぶれによる画像ぼけ現象が排除された良好な品質の停止キャプチャー画像を完成することになる。このようにして完成した停止キャプチャー画像はエンコード過程を経て貯蔵媒体にファイルの形態で収録されることができ、ビューファインダー９０を通じても出力可能である。

図１３は、本発明によるオブジェクト追跡を用いたデジタル画像の手ぶれ補正方法が適用されたデジタル画像撮影装置を用いて撮影した画像（Ｂ）と手ぶれ補正機能を有していない一般のデジタル画像撮影装置を用いて自動露出モードで撮影した画像（Ａ）とを比較して示す。図面に示すように、本発明による手ぶれ補正方法が適用された画像の方がぶれる現象がないだけでなく、より明るくて鮮やかであるということを確認することができる。

前述した実施形態において、画像信号処理部と画像応用処理モジュールとは機能的な区分に過ぎない。したがって、画像信号処理部と画像応用処理モジュールとは一つのモジュールに統合でき、画像応用処理モジュール内に含まれた１つまたは２つ以上のサブ構成要素は別途のモジュールに分離できる。同時に、プレビュー画像のスケーリングファクターはビューファインダーに備えられたディスプレイ規格によって制限されない。したがって、手ぶれ補正の対象になる停止キャプチャー画像のサイズによってプレビュー画像のスケーリングファクターは多様に変形が可能である。たとえば、停止キャプチャー画像が持つ幅と高さとがプレビュー画像が持つ幅と高さとの定数倍になるようにプレビュー画像のスケーリングファクターを調節することができる。このような場合、停止キャプチャー画像の色相補正時、プレビュー画像と停止キャプチャー画像とのピクセル位置をマッピングさせるにあたって演算量を減らすことができるという長所がある。

本発明による手ぶれ補正方法は、コンピュータで読み取り可能な記録媒体にコンピュータが読み取り可能なコードとして具現することができる。コンピュータが読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが貯蔵されるすべての種類の記録装置を含む。コンピュータが読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ‐ＲＯＭ、磁気テープ、フレキシブルディスク、光データ貯蔵装置などがあり、また搬送波（たとえば、インターネットを通じた伝送）の形態で具現されることも含む。

また、コンピュータが読み取り可能な記録媒体は、ネットワークで連結されたコンピュータシステムに分散し、分散方式でコンピュータが読み取り可能なコードが貯蔵され実行され得る。

以上のように、本発明は、限定された実施形態と図面とによって説明されたが、本発明はこれによって限定されず、本発明が属する技術分野において通常の知識を持つ者により本発明の技術思想と特許請求範囲の均等範囲内で多様な修正および変形が可能なのは言うまでもない。

なお、本明細書に添付される下記の図面は本発明の望ましい実施形態を例示するものであって、発明の詳細な説明とともに本発明の技術思想をさらに理解させる役割を果たすものであるため、本発明はそのような図面に記載された事項にのみに限定されて解釈されてはいけない。

本発明は、各種のデジタル画像撮影装置に組み込まれることによって好適に利用される。

本発明の実施形態によるオブジェクト追跡を用いたデジタル画像の手ぶれ補正装置のブロックダイアグラムである。 本発明の一実施形態による手ぶれ補正部の構成を示したブロックダイアグラムである。 本発明の一実施形態によるオブジェクトラベリング部のブロックダイアグラムである。 本発明の他の実施形態によるオブジェクトラベリング部のブロックダイアグラムである。 本発明の他の実施形態による手ぶれ補正部の構成を示したブロックダイアグラムである。 本発明のまた他の実施形態による手ぶれ補正部の構成を示したブロックダイアグラムである。 動き量算出部によって計算されるオブジェクトのパラメーターを概念的に示した図である。 本発明による手ぶれ補正部の動作手順を概略的に示したフローチャートである。 画像応用処理モジュールの色相補正部がプレビュー画像に基づいて手ぶれ補正画像の色相を補正する過程を詳しく説明したフローチャートである。 画像応用処理モジュールの明るさ補正部がプレビュー画像に基づいて手ぶれ補正画像の明るさを補正する過程を詳しく説明したフローチャートである。 プレビューモードでプレビュー画像が生成されビューファインダーを通じて出力されるまでのプロセスを示したブロックダイアグラムである。 停止キャプチャー画像の画像ブラリング現象が補正されるプロセスを示したブロックダイアグラムである。 本発明によるオブジェクト追跡を用いたデジタル画像の手ぶれ補正方法が適用されたデジタル画像撮影装置を用いて撮影した画像（Ｂ）と手ぶれ補正機能を有していない一般のデジタル画像撮影装置を用いて自動露出モードで撮影した画像（Ａ）とを示す。

符号の説明

１０ イメージセンサー、
２０ 画像信号処理部、
３０ センサーコントロール部、
４０ 応用画像処理モジュール、
６０ 前記使用者インターフェース、
７０ ディスプレイメモリ、
８０ ディスプレイ駆動部、
９０ ビューファインダー、
１００ 画像エンコード部、
１１０ デコード部、
１２０ モード切換部、
１３０ センサーデータシート、
１４０ 手ぶれ補正部、
１４１ オブジェクトラベリング部、
１４２ 動き量算出部、
１４３ 動き補正部、
１４４ 補正画像生成部、
１４５ 画像リサイザー、
１４６ 画像選別部、
１４６ 画像選別部、
１５０ 画像属性補正部、
１５１ 色相補正部、
１５２ 雑音補正部、
１５３ 補正部、
１６０ エンコード部、
１７０ ルックアップテーブル、
４４１ オブジェクトラベリング部、
５４０ 手ぶれ補正部、
６４０ 手ぶれ補正部、
１４１１ 画像二進化器、
１４１１ 前記画像二進化器
１４１２ オブジェクトラベラー、
１４１３ 画像濾波器、
１４１４ 画像合成器。

Claims (27)

1. 第１露出度の条件で得られた第１デジタル画像データと第２露出度の条件で得られた複数の第２デジタル画像データとを出力する画像信号処理部と、
   オブジェクト追跡を用いて基準第２デジタル画像を基準にして複数の比較第２デジタル画像の動きを補正し、基準画像と補正された比較画像とを重畳させ手ぶれ補正画像を生成する手ぶれ補正部と、
   前記第１デジタル画像の属性を基準にして前記手ぶれ補正画像の属性を補正する画像属性補正部と、
   を含むことを特徴とするデジタル画像の手ぶれ補正装置。
2. 前記画像信号処理部は、イメージセンサーから第１露出度の条件で画像信号の入力を受け、第２露出度の条件で複数の画像信号の入力を受け、
   前記第１露出度の条件から第２露出度の条件を定めてイメージセンサーの露出属性を第１露出度の条件から第２露出度の条件に変更する露出モード切換部をさらに含むことを特徴とする請求項１に記載のデジタル画像の手ぶれ補正装置。
3. 前記第１露出度は自動露出モードの露出度であり、
   前記第２露出度は自動露出モードに対応する照度よりも低い照度に対応する露出度であることを特徴とする請求項１または２に記載のデジタル画像の手ぶれ補正装置。
4. 前記イメージセンサーの露出度の条件を変更するセンサーコントロール部と、
   前記第１露出度の条件に応じて選択可能な第２露出度の条件を定義しているセンサーデータシートと、をさらに含み、
   前記露出モード切換部は、前記センサーデータシートを参照して第１露出度の条件に基づいて第２露出度の条件を定めた後前記センサーコントロール部を制御してイメージセンサーの露出度を第２露出度の条件に変更することを特徴とする請求項２に記載のデジタル画像の手ぶれ補正装置。
5. 前記第１デジタル画像データは、自動露出モードで獲得されたプレビュー画像データであることを特徴とする請求項１〜４のいずれか１項に記載のデジタル画像の手ぶれ補正装置。
6. 前記第１デジタル画像データは、プレビューモードで一定のフレーム間隔で生成されるプレビュー画像のうちシャッターが動作する前に生成されたプレビュー画像データであることを特徴とする請求項１〜５のいずれか１項に記載のデジタル画像の手ぶれ補正装置。
7. 前記第２デジタル画像データは、停止画像キャプチャーモードで一定の時間間隔をおいて生成されたフルサイズの停止キャプチャー画像データであることを特徴とする請求項１〜６のいずれか１項に記載のデジタル画像の手ぶれ補正装置。
8. 前記手ぶれ補正部は、
   複数の第２デジタル画像を基準画像と比較画像群とに分類し、オブジェクト追跡を用いて基準画像と各比較画像とからオブジェクトをラベリングするオブジェクトラベリング部と、
   各比較画像のオブジェクトと基準画像のオブジェクトとを相互マッチングさせマッチングされたオブジェクトのパラメーターを算出し、算出されたパラメーターによって基準画像を基準にして各比較画像の動き量を算出する動き量算出部と、
   算出された各動き量を該当する比較画像に適用して比較画像の動きを補正する動き補正部と、
   前記動きが補正された各比較画像と基準画像とを重畳させ手ぶれ補正画像を生成する補正画像生成部と、
   を含むことを特徴とする請求項１に記載のデジタル画像の手ぶれ補正装置。
9. 前記オブジェクトラベリング部は、
   基準画像と各比較画像とを二進画像に変換する画像二進化器と、
   二進画像に変換された基準画像と各比較画像とからオブジェクトを抽出してラベリングするオブジェクトラベラーと、
   を含むことを特徴とする請求項８に記載のデジタル画像の手ぶれ補正装置。
10. 基準画像と各比較画像とをフィルタリングして境界を鮮明化する画像濾波器と、
    前記画像濾波器から出力される境界鮮明化画像と二進画像とを合成する画像合成器と、をさらに含み、
    前記オブジェクトラベラーは合成された画像からオブジェクトをラベリングすることを特徴とする請求項９に記載のデジタル画像の手ぶれ補正装置。
11. 前記オブジェクトラベリング部の前部に、
    複数の第２デジタル画像のサイズを一定のサイズにスケーリングするか、一定の幅の画像バウンダリーをクリッピングして画像をリサイズする画像リサイザーをさらに含むことを特徴とする請求項９または１０に記載のデジタル画像の手ぶれ補正装置。
12. 基準画像を基準にした比較画像の動きベクトルのサイズが臨界値を超えるか、基準画像と比較画像との明るさの差が臨界値を超えない比較画像をオブジェクトラベリングの対象から除外させる画像選別部をさらに含むことを特徴とする請求項９〜１１のいずれか一項に記載のデジタル画像の手ぶれ補正装置。
13. 各比較画像に対して算出される動き量は、水平移動（ｔｒａｎｓｌａｔｉｏｎ）による動き量、点回転（ｒｏｔａｔｉｏｎ）による動き量、スケーリング（ｓｃａｌｉｎｇ）による動き量および軸回転（ｓｈｅａｒ）による動き量を含むグループより選択された何れか一つまたはこれらの組み合わせを含むことを特徴とする請求項１〜１２のいずれか一項に記載のデジタル画像の手ぶれ補正装置。
14. 前記画像属性補正部は、
    前記手ぶれ補正画像のピクセルデータを前記第１デジタル画像のピクセルデータに置き換えるか、前記第１デジタル画像と前記手ぶれ補正画像とのサイズ比率を考慮して手ぶれ補正画像のピクセルデータを第１デジタル画像のピクセルデータで補間して手ぶれ補正画像の色相を補正する色相補正部を含むことを特徴とする請求項１〜１３のいずれか一項に記載のデジタル画像の手ぶれ補正装置。
15. 前記画像属性補正部は、
    前記第１デジタル画像と手ぶれ補正画像との明るさの差を計算し、明るさの差によって明るさ補正の強度を選択し、選択された明るさ補正の強度によって手ぶれ補正画像の明るさを補正する明るさ補正部を含むことを特徴とする請求項１〜１４のいずれか一項に記載のデジタル画像の手ぶれ補正装置。
16. （ａ）第１露出度の条件で得られた第１デジタル画像データと第２露出度の条件で得られた複数の第２デジタル画像データとを受信する段階と、
    （ｂ）オブジェクト追跡を用いて基準第２デジタル画像を基準にして複数の比較第２デジタル画像に対する動きを補正し、基準画像と補正された比較画像とを重畳させて手ぶれ補正画像を生成する段階と、
    （ｃ）前記第１デジタル画像の属性を基準にして前記手ぶれ補正画像の属性を補正する段階と、
    を含むことを特徴とするデジタル画像の手ぶれ補正方法。
17. 前記第１および第２デジタル画像を受信する前に、
    第１露出度の条件に応じて選択可能な第２露出度の条件を定義しているセンサーデータシートをロードする段階と、
    第１デジタル画像が撮像された第１露出度の条件を感知する段階と、
    前記センサーデータシートを参照して前記第１露出度の条件から第２露出度の条件を定める段階と、
    イメージセンサーの露出属性を第１露出度の条件から第２露出度の条件に変更する段階と、
    をさらに含むことを特徴とする請求項１６に記載のデジタル画像の手ぶれ補正方法。
18. 前記第１露出度は自動露出モードの露出度であり、
    前記第２露出度は自動露出モードに対応する照度よりも低い照度に対応する露出度であることを特徴とする請求項１６または１７に記載のデジタル画像の手ぶれ補正方法。
19. 前記第１デジタル画像データは、自動露出モードで一定のフレーム間隔で生成されるプレビュー画像のうちシャッターが動作する前に生成されたプレビュー画像データであることを特徴とする請求項１６〜１８のいずれか一項に記載のデジタル画像の手ぶれ補正方法。
20. 前記第２デジタル画像データは、停止画像キャプチャーモードで一定の時間間隔をおいて生成された停止キャプチャー画像データであることを特徴とする請求項１６〜１９のいずれか一項に記載のデジタル画像の手ぶれ補正方法。
21. 前記動き補正段階は、
    複数の第２デジタル画像を基準画像と比較画像群とに分類する段階と、
    前記基準画像とそれぞれの比較画像とからオブジェクトを抽出してラベリングし、ラベリングされたオブジェクトのパラメーターを計算する段階と、
    各比較画像のオブジェクトと基準画像のオブジェクトとを相互マッチングさせた後マッチングされたオブジェクトのパラメーターを用いて各比較画像の動き量を算出する段階と、
    算出された各動き量を該当する比較画像に適用して各比較画像の動きを補正する段階と、
    前記動きが補正された比較画像と基準画像とを重畳させ手ぶれ補正画像を生成する段階と、
    を含むことを特徴とする請求項１６に記載のデジタル画像の手ぶれ補正方法。
22. 前記オブジェクトの抽出は、
    オブジェクト抽出対象画像を二進画像に変換する段階と、
    変換された二進画像から相互連結された白色ピクセルの集合をオブジェクトとして認識して抽出する段階と、
    を含むことを特徴とする請求項２１に記載のデジタル画像の手ぶれ補正方法。
23. 前記オブジェクトの抽出は、
    画像をフィルタリングして画像の境界を鮮明化する段階と、
    画像を二進画像に変換する段階と、
    前記境界鮮明化画像と二進画像とを合成する段階と、
    合成画像から相互連結された白色ピクセルの集合をオブジェクトとして認識して抽出する段階と、
    を含むことを特徴とする請求項２１または２２に記載のデジタル画像の手ぶれ補正方法。
24. 前記オブジェクトを抽出する前に、
    それぞれの第２デジタル画像を一定のサイズにスケーリングするか、バウンダリークリッピングをして画像のサイズをリサイズする段階、または
    基準画像を基準にした比較画像の動きベクトルのサイズが臨界値を超えるか、基準画像と比較画像との明るさの差が臨界値を超えなければ、オブジェクトラベリングのための画像から比較画像を除外させる段階を含むことを特徴とする請求項２１〜２３のいずれか一項に記載のデジタル画像の手ぶれ補正方法。
25. 各比較画像に対して算出される動き量は、水平移動による動き量、点回転による動き量、スケーリングによる動き量および軸回転による動き量を含むグループより選択された何れか一つまたはこれらの組み合わせを含むことを特徴とする請求項１６〜２４のいずれか一項に記載のデジタル画像の手ぶれ補正方法。
26. 前記手ぶれ補正画像の属性を補正する段階は、
    前記手ぶれ補正画像のピクセルデータを第１デジタル画像のピクセルデータに置き換えるか、前記第１デジタル画像と手ぶれ補正画像とのサイズ比率を考慮して手ぶれ補正画像のピクセルデータを第１デジタル画像のピクセルデータで補間して手ぶれ補正画像の色相を補正する段階を含むことを特徴とする請求項１６〜２５のいずれか一項に記載のデジタル画像の手ぶれ補正方法。
27. 前記手ぶれ補正画像の属性を補正する段階は、
    前記第１デジタル画像と手ぶれ補正画像との明るさの差を計算する段階と、
    計算された明るさの差に基づいて明るさ補正の強度を選択する段階と、
    選択された明るさの補正強度によって手ぶれ補正画像の明るさを補正する段階と、
    を含むことを特徴とする請求項１６〜２６のいずれか一項に記載のデジタル画像の手ぶれ補正方法。