JP2006190259A - 手ぶれ判定装置及び画像処理装置及びその制御方法及びプログラム - Google Patents

Abstract

【課題】 圧縮記録された画像データを伸張することなく、手ぶれなど画像の特性を検出することを目的とする。
【解決手段】 画像データを空間周波数成分に変換する圧縮方式を用いて圧縮された画像データにおいて、交流成分の低周波成分と高周波成分との関係や、量子化テーブルの内容といった画像の付属情報に基づいて画像の特性を検出する。また、検出の結果、例えば、手ぶれ画像状態であると検出された画像は、アルバムテンプレートに挿入しない又は、アルバムテンプレートの小さな領域に挿入するように制御する。
【選択図】 図３

Description

本発明は、画像の手ぶれを判定し、複数の画像が配置された電子アルバムを作成するための手ぶれ判定装置及び画像処理装置及びその制御方法及びプログラムに関する。

デジタルカメラや撮影機能付携帯電話、ＰＤＡなど、デジタルデータとして画像を得ることができる入力機器が広く普及している。そして、このような入力機器で生成した画像データを、パーソナルコンピュータ（PC）に取込み、飾り枠や背景を備えたテンプレート画像データに挿入して電子アルバムを作成することが可能である。作成した電子アルバムは、テレビやモニタなどに表示したり、プリンタに印刷したりして鑑賞することが可能である。

従来、このような画像データは、階層構造（フォルダ）を用いてメモリカードやハードディスク等の記憶装置に記録、管理される。そして、電子アルバムの作成においては、ユーザの操作により、所望のフォルダが選択されると、そのフォルダに含まれる全画像データをテンプレート画像データに挿入される対象として処理されていた。従って、フォルダ中に不要な画像データがある場合、ユーザは電子アルバムを鑑賞してから、手作業で不要な画像データを選択し、削除するよう指示する等の作業が必要であった。

また、撮影画像に対する処理として、以下のような提案がなされている。
まず、特許文献１では、撮影時に手ぶれが発生しているかを画像入力機器が判定し、撮影した画像を記録する前に手ぶれ補正処理を行うことが提案されている。更に、画像入力機器が焦点検出を行う際にも手ぶれ検出を行うことが提案されている。

また、特許文献２では、複数枚の画像を蓄積した画像データベースから所望の画像を検出するクライアント・サーバーシステムが開示されている。そして、蓄積されたすべての画像の特徴量をあらかじめ計算し、これら特徴量と検索したい画像の特徴量とに基づいて画像類似度を計算し、検索対象画像を決定することが提案されている。

特許文献３では、ユーザ自身の撮影の技術程度を知らしめ、撮影技術の向上を補助するために、画像データから露出、被写体の位置、ボケなどを検出し、画像品質を評価することが提案されている。

特開２００１−１９４５７５号公報 特開２００２−３０４６２８号公報 特開２００３−８７４４２号公報

通常、撮影したすべての画像は同じフォルダに保存される。そのため、フォルダの中には手ぶれなどの撮影ミスによる失敗画像や、撮り直しなどによる複数の類似画像や、入力機器の特性を含む、画素数や圧縮率及び印刷サイズなどによる画像など、ユーザが鑑賞したくない画像が含まれることになる。そのため、選択されたフォルダ中の全画像データが無条件に電子アルバムに掲載される対象となってしまうことは望ましくない。
また、テンプレートデータに画像データを撮影日時順等の条件にしたがって、自動的に挿入して電子アルバムを作成する場合、従来は特に画像データの特徴などを考慮していない。そのため、例えばテンプレートデータに複数のサイズの画像枠が存在した場合、大きな画像として鑑賞するには不向きな画像（例えば、手ぶれした画像）が、大きな画像枠に挿入されてしまうこともある。従って、電子アルバム作成時に、ユーザがフォルダ中の個々の画像データを確認しながら、取捨選択する必要があった。

また、上述の従来技術には、以下のような問題があった。
特許文献１は、手ぶれに関する値を検出するぶれ検出手段とぶれ補正手段を持つ電子カメラについて開示しているが、これは、撮影用の入力機器がその画像撮影時に撮影用入力機器におけるぶれを検出し、物理的にぶれを打ち消すように補正を行うものである。このような手ぶれ補正機能のついた入力機器においても、ぶれの絶対量が検出判定値もしくは補正限界値を超えてしまえば対応不可能となる。また、このような機能の付いてない入力機器においては、元から対応不可能である。さらに、画像データとして一旦記録されてしまった画像についてぶれ検出や判定を行うための手段は開示していない。

特許文献２では、画像データを展開後、領域分割を行い、その領域ごとに色分解を行って特徴量を算出し、算出した特徴量を画像と関連付けて保存する。そして、類似判定する対象画像の特徴量とデータベースに保存管理されている個々の画像に関連付けて保存されている特長量と逐次比較し、画像間距離の近いものを類似と判定するものである。この方法では、圧縮された画像を伸張した後、指定領域および色成分ごとに特徴量データを算出する必要がある。そのため、情報処理量や、使用メモリー領域が大きくなり、組み込み機器など情報処理能力及びメモリーなどの資源の貧弱な機器においては、実使用の想定が難しい。

特許文献３においては、露出、被写体の位置、バランス、ピンボケなどの解析により画像品質の評価をし、画質の良否判定をすることを目的としている。しかし、評価結果の利用方法は、撮影者へ評価結果を表示し、アドバイスを行うことに留まる。今後の撮影に対する画質向上は期待されるものの、評価の対象になった、既に撮影された画像への対処やアルバム利用に対する反映方法などは撮影者になにも通知されないので、評価結果を既に撮影された画像の利用に際して反映することはできない。

本発明はこのような従来技術の問題点を解決することを目的とする。

上述の目的を達成するため、本発明の画像処理装置は、複数の画像データ及びテンプレートデータを記憶する記憶手段と、記憶手段から読み出された画像データを予め設定されたサイズのブロックデータに分割する分割手段と、ブロックデータを周波数成分に変換する変換手段と、ブロックデータのうち、交流成分の高周波成分に対する低周波成分の割合が予め設定された値よりも大きいものの割合が予め設定された値以上である画像データについて、手ぶれ状態であると判断する判断手段と、を有することを特徴とする。

また、上述の目的を達成するため、本発明の画像処理装置の制御方法は、複数の画像データ及びテンプレートデータを記憶媒体に記憶する記憶ステップと、記憶媒体から読み出された画像データを予め設定されたサイズのブロックデータに分割する分割ステップと、ブロックデータを周波数成分に変換する変換ステップと、ブロックデータのうち、交流成分の高周波成分に対する低周波成分の割合が予め設定された値よりも大きいものの割合が予め設定された値以上である画像データについて、手ぶれ状態であると判断するステップ、とを有することを特徴とする。

このような構成により、本発明によれば、圧縮記録された画像データを伸張することなく入力画像の特性を検出することが可能となる。そのため、画像解析の為の資源を多く持たない撮像装置などに特に好適に適用可能である。

以下、図面を参照して本発明の実施形態について説明する。
図１１は本発明の第１の実施形態による画像処理装置を適用したシステムの構成を示す概略ブロック図である。
図１１に示すように、本実施形態によるシステムは、いわゆるパーソナルコンピュータとして流通する汎用コンピュータの構成により実現することができる。

具体的には、データが入出力される入出力ポート５１と、ポインティングデバイスであるマウス５２と、数値や文字等を入力するキーボード５３と、種々の表示を行うためのモニタ５４を備える。また、さらに装置全体の動作を制御する制御部５５と、メモリカードにデータを読み書きするメモリカードドライブ５６と、データやプログラムを記憶するハードディスク５７と、各部を接続するバス５８とを備える。

モニタ５４としては、例えば液晶モニタ、ＣＲＴモニタ、ＥＬディスプレイ、プラズマディスプレイ、テレビジョン受像機を用いることができる。さらに、マウス５２、キーボード５３およびモニタ５４の各機能を備えた、いわゆるタッチパネルを用いてもよい。

制御部５５は、例えばＣＰＵ、ＲＯＭ、ＲＡＭなどを含む。そして、ハードディスク５７又はＲＯＭに記憶された制御プログラムを実行することにより、マウス５２やキーボード５３からの入力に基づいて、入出力ポート５１もしくは、メモリカードドライブ５６において読み出された画像データに対する各種処理を行う。ハードディスク５７には、複数の画像ファイルが階層構造（フォルダ）を利用して管理されている。また、ハードディスク５７にはテンプレートデータが管理されている。なお、制御部５５は、テンプレートデータに画像データを挿入することにより、アルバムデータを作成する。そして、アルバムデータに基づくレンダリング処理が実行され、電子アルバムがモニタ５４に表示される。

本実施形態においては、画像処理システムがパーソナルコンピュータ（ＰＣ）により実現された場合について説明を行う。しかし、同様の機能を達成できる任意の装置又はシステム、例えばマルチファンクションプリンタやフォトダイレクトプリンタなど、パーソナルコンピュータ以外の機器においても実現可能であることは言うまでもない。また、以下の説明では本実施形態による画像処理をアルバムアプリケーションに適用した場合について説明するが、画面表示を行うアプリケーションはもとより、他のアプリケーションに適用することが可能である。

上記構成を有するシステムで実行されるアルバム作成処理の全体の流れを、図１に示すフローチャートを参照して説明する。この処理は、ＰＣの制御部５５がアルバムアプリケーションを起動して実行する。また、制御部５５は、ユーザがマウス５２を操作することにより対象とするフォルダの選択指示が入力された場合に処理を開始する。

ステップＳ１０１においては、まず始めに、制御部５５は設定項目の入力処理を行う。具体的には、制御部５５は、各種設定をユーザに行わせるための入力画面をモニタ５４に表示する。そして、ユーザがマウス５２やキーボード５３を操作することにより入力した結果を取得する。このステップＳ１０１でユーザが設定可能な項目の例を図１４を示す。

本実施形態においては、設定項目は４種類ある。ユーザは、電子アルバムに掲載される画像データを自動選択する処理の方法を指示しておくことができる。

以下、各設定項目について説明する。
１）類似画像検出
フォルダ内の画像データの中で隣り合う画像データにおける類似性を判定する。判定の結果類似と判定された時に、その類似画像データに対する扱い方法を指定する項目である。選択項目としては、類似と判定された画像データの中で劣化している（品質が劣る）と判断される方の画像データを面積の小さな領域に挿入するか又は、電子アルバムに掲載しないかを指定することができる。本実施形態では、面積の小さな領域への挿入が初期値（デフォルト）として設定される。

２）手ぶれ画像検出
手ぶれで撮影されたことにより画像データの画質が劣化しているかどうかを判定する。手ぶれと判定された画像データに対する扱い方法を指定する項目である。選択項目としては、手ぶれと判定された画像データを面積の小さな領域に挿入するか又は、電子アルバムに掲載しないかを指定することができる。本実施形態では、面積の小さな領域への挿入が初期値（デフォルト）として設定される。

３）画質判定
入力機器の種類などに依存する画像データの品質の違いや、挿入領域と画像データサイズ及び圧縮比率により画像データの品質を判定する。画像品質が悪いと判定された画像データに対する扱い方法を指定する項目である。選択項目としては、低品質と判定された画像データを、面積の小さな領域へ挿入するか又は、電子アルバムに掲載しないかを指定することができる。本実施形態では、面積の小さな領域への挿入が初期値（デフォルト）として設定される。

４）アルバム枚数
１枚のアルバムテンプレートデータへ挿入する画像データの枚数を指定することが可能である。本実施形態では、初期値は“指定枚数無し”としている。ここで枚数が指定されると、アルバムアプリケーションにしたがい、制御部５５は、その枚数の画像データをフォルダから選択する。この場合、上記“類似画像検出”、“手ぶれ画像検出”及び“画質判定”において、画質が低いと判定される画像に対しては、個々の設定項目において指定された取り扱い方法の指定にかかわらず電子アルバムへの掲載対象から外される場合がある。

ステップＳ１０２において、制御部５５は、ユーザの操作により、選択指示されたフォルダ中に存在する画像ファイルを取得する。画像ファイルは、図１１の機器構成で述べたように、メモリカードに記録された画像データを読み出すメモリカードドライブ５６や、既に撮影画像データを記憶してあるハードディスク５７などの中から、取得する。

制御部５５に含まれる資源の量（ＲＡＭの記憶容量等）との関係で、取得した画像ファイルに読み込めないものがある場合は、少なくとも対象の画像枚数など編集に必要な情報と、最低限必要な画像ファイルを含めて読み込む。

ここで、編集に必要な情報としては、画像の撮影情報が挙げられる。例えば、画像ファイルに記録されているＥｘｉｆデータがある。

図１６は、本実施形態における画像ファイルの構造を示す図である。
画像ファイルの構造は、ＤＣＦ形式に準拠し、その中にサムネイル画像データや撮影日時等のＥｘｉｆデータを埋め込んだものである。従って、ＤＣＦ形式の画像ファイルをサポートしているインターネットブラウザーアプリケーション、画像ビュアー、フォトレタッチソフト等を使えば、画像を鑑賞できる。

画像ファイルは、図１６の左側部分に示すように、最初にＳＯＩ(Start of image / 0xFFD8)１６０１ａが、その次にＡＰＰ１（１６０１ｂ）が、その次にＤＱＴ(Define Quantization Table)１６０１ｃが、その次にＤＨＴ(Define Huffman Table)１６０１ｄが、その次にＳＯＦ１６０１ｅが、その次にＳＯＳ(Start Of Frame)マーカー１６０１ｆが、その次に画像データ本体である圧縮データ(data)１６０１ｇが、その次にＥＯＩ(End of Image)１６０１ｈがある構成を有する。

画像ファイルに使われるマーカー（Ｍａｋｅｒ）のうち、０ｘＦＦＥ０〜０ｘＦＦＥＦまでのマーカーは、アプリケーションマーカーと呼ばれる。これらは、画像ファイルをデコードするためには不要であるが、それぞれのアプリケーションプログラムで使用するためのデータ領域として定義されている。撮影画像データ等は画像ファイル内に格納されるためにＡＰＰ１（０ｘＦＦＥ１）というマーカーが使用される。また、“ＡＰＰ１”の構造は、図１６の右側部分に示す通りである。

即ち、“ＡＰＰ１”の構造は、まず、先頭にＡＰＰ１ Ｍａｋｅｒ(FFE1 / 2byte)領域１６０２ａがあり、その次にＡＰＰ１ Ｌｅｎｇｔｈ（ＡＰＰ１領域の大きさを表す２バイトデータ）領域１６０２ｂがあり、その次にＡＰＰ１のデータ領域１６０２ｃがある。このＡＰＰ１のデータ領域１６０２ｃに続くＥｘｉｆ識別コードは、識別子としてＡＳＣＩＩ文字の“Ｅｘｉｆ”が、その次に２バイトの０ｘ００が続く計６バイトであり、そこからＴｉｆｆ(Tagged Image File Format)形式でＥｘｉｆデータが格納されている。

Ｔｉｆｆ形式の最初の８バイトはＴｉｆｆヘッダー（Ｈｅａｄｅｒ）領域１６０２ｄとなり、最初の２バイトはバイト並びの形式を定義している。０ｘ４ｄ４ｄ：“ＭＭ”の場合はモトローラ形式、０ｘ４９４９：“ＩＩ”の場合はインテル形式を表わす。
Ｔｉｆｆヘッダー領域１６０２ｄの次の０ｔｈ ＩＦＤ(IFD of main image)領域１６０２ｅに、最初のＩＦＤ(Image file directory)が格納される。

通常、メイン画像データ及び画像関連データは、この中に収まっていて、記載項目毎にメイン情報、サブ情報(Exif SubIFD / 0x8769)、メーカー独自情報(Maker note / 0x927c)と、記載事項が分かれている。

図１７は、メイン情報の記載内容と記述を示す“ｔａｇ”アドレスの一例を示す図である。同図に示すように、メイン情報としては、タイトル、入力デバイスのメーカー名や機種名、画像方向、幅の解像度、高さの解像度、解像度単位、ソフトウェア、変更日時等の一般情報が記載されている。

図１８は、サブ情報の記載内容と記述を示す“ｔａｇ”アドレスの一例を示す図である。同図に示すように、サブ情報としては、光源、レンズ焦点距離等の入力デバイスの詳細情報や、露出時間Ｆ値、ＩＳＯ感度、自動露出測光モード等の各種撮影条件等が記載されている。

本実施形態における撮影関連データ１６０２ｂは、“ＡＰＰ１”領域１６０１ｂ内に記載される。撮影関連情報に関しては図１８のサブ情報に記載されるが、これに限らず、有効な情報は、図１７のメイン情報にも記載される。

再び図１６に戻って説明する。
図１６の左側部分におけるＤＱＴ(Define Quantization Table)１６０１ｃは量子化テーブルの実体を、ＤＨＴ(Define Huffman Table)１６０１ｄはハフマン・テーブルの実体をそれぞれ定義し、また、ＳＯＦ(Start Of Frame)１６０１ｅはフレームのスタートを、ＳＯＳ(Start of stream)マーカー１６０１ｆは画像データの開始を、ＥＯＩ(End of image / 0xFFD9)をそれぞれ示す。

なお、ここでは編集に必要な情報をＥｘｉｆデータから得る例を説明したが、他にもＤＩＧ(Digital Imaging Group)３５など画像付属情報としてのメタファイルに記載された情報から取得することなども考えられる。

＜類似判定処理＞
図１に戻って、ステップＳ１０３においては、制御部５５は画像データに対して類似判定を行う。類似判定では、同じテンプレートデータに挿入される対象となる複数の画像データの中に、撮影の時の取り直しやブラケット撮影、連写などをしたことにより、類似画像が存在するかどうかが判定される。そのため、対象画像データと同じフォルダの中にある、電子アルバムへの掲載候補となる複数の画像データの中で、更に撮影順が隣り合う画像データ同士が比較対象となる。

類似判定処理について、図２２及び図３３〜図３５に示すフローチャートを参照しながら説明を行う。
まず、図２２のフローチャートで示す処理は、画像データが判定を行う為の必要条件を満足しているか判定するもので、条件を満たしていない場合は必要条件を満たすような処理を行う。

ステップＳ２２０１において、判定対象である画像データが圧縮画像ファイル形式であるかを判定する。該当する場合は図３３に示す処理へ進む。圧縮画像ファイル形式でない場合はステップＳ２２０２へ進み、類似判定に必要な画像輝度成分に対してＤＣＴ（離散コサイン変換）を行う。変換処理後は、図３３の処理へ進む。

ステップＳ２２０２おけるＤＣＴは、圧縮画像ファイルの生成工程において、すべての画像領域の画素情報を８＊８画素単位のブロックで空間周波数成分に変換する際に行う変換である。

図２は、８＊８画素単位のブロックのひとつにおいて、輝度データに対してＤＣＴを行ったあとのデータを模式的に示すもので、“０”の部分は８＊８画素ブロックの直流成分である輝度平均である。その他の“１”〜“６３”までがＡＣ成分（交流成分）であり、主に空間周波数の低い順に並べられている。ＪＰＥＧ形式はこの中の高い周波数成分に対してデータ圧縮を加えることによりファイルサイズを圧縮する符号化方式である。

図３３に移って、ステップＳ３３０１においては、判定対象となる画像データののうち、少なくとも圧縮過程のＤＣＴによる輝度データを読み込む。
ステップＳ３３０２においては、判定対象となる画像データに付属する関連情報を読み込む。
ステップＳ３３０３においては、各８＊８画素ブロックのＡＣ成分（交流成分）“１”〜“６３”毎に、全画像領域における平均値を算出する。

サンプル画像は不図示であるが、算出結果を模式的に示せば、図５（ａ）の“判定対象画像”の棒グラフのようになる。
ステップＳ３３０４においては、比較対象のファイル（単純にはフォルダ中の他のファイルであって、まだ比較していないファイル）が存在するか判定を行う。判定の結果、比較対象の画像ファイルが存在しない場合は類似判定処理を終了し、次のＳ１０４（図１）の処理へ進む。比較対象ファイルが存在する場合は、ステップＳ３３０５へ進む。

ステップＳ３３０５では、比較対象となる画像データのうち、少なくともＤＣＴされた輝度データ及び、存在する付属情報を読み込む。
ステップＳ３３０６においては、判定対象画像と比較対象の画像ファイルの２者間において類似判定処理が必要であるか判定を行う。

ステップＳ３３０６における判定の詳細を、図３６のフローチャートを用いて説明する。
ステップＳ３６０１においては、判定対象画像と比較対象画像ファイルの２者間のファイル名が連続番号であるか判定を行う。連続番号である場合は類似判定処理が必要と判断して図３４の処理３へ進む。

２者間のファイル名が連続番号で無い場合は撮影順が隣接していないものと判断し、ステップＳ３６０２へ進む。
ここでは、先の説明にあった画像ファイルの撮影関連データ等のメイン情報、サブ情報などによる情報を取得し関連性を評価する。

具体的には、下記項目の一致及び関連性により評価を行う。
［メイン情報］
機種 ：０ｘ０１１０
幅の解像度 ：０ｘ０１１ａ
高さの解像度 ：０ｘ０１１ｂ
［サブ情報］
露出時間 ：０ｘ８２９ａ
撮影日時 ：０ｘ９００３
フラッシュ ：０ｘ９２０９
画像幅 ：０ｘａ００２
画像高さ ：０ｘａ００３

評価においては、すべての一致が条件ではなく、撮影時間などは、５分以内の差など、特定の閾値の範囲であるかを評価の対象とする。また、図１４で説明した枚数指定がある場合などは、閾値を変化させ、最終的に指定枚数に合致するように評価基準を変化させることも可能である。

ステップＳ３６０３で、付属情報に基づく評価により、比較対象であるかどうかの判定を行う。比較対象ファイルと判定した場合は図３４に示す処理３へ進む。また、付属情報による判定で比較対象と判断しなかった場合はステップＳ３６０４へ進み、判定対象画像を、次の入力画像に対する次期“類似比較画像”としてセットして類似判定処理を終了し、次のＳ１０４の処理へ進む。

図３４のフローチャートを参照して、類似処理の続きを説明する。
ステップＳ３４０１においては、先の“類似比較画像”においても、全画像領域における各８＊８画素ブロックのＡＣ成分（交流成分）“１”〜“６３”毎の平均値を算出する。算出結果を、図５（ｂ）の“類似比較画像”に模式的に示す。

その後、ステップＳ３３０３において算出した判定対象画像のＡＣ成分平均値（図５（ａ））との間で、成分毎に減算し、差分算出を行う。
図５（ｃ）に差分算出結果を模式的に示す。この各周波数成分の差分を総加算して、予め多段階に設定している類似判定用閾値と比較する。そして、比較結果から、各閾値より２つの画像データ間の類似度を決定する。

ここでは具体的な閾値については明記しないが、適宜定めることができる。また、アルバムでの枚数指定がある場合などは、閾値を変化させ、判断結果が指定枚数に近づくよう、判断基準を変化させることも可能である。

ステップＳ３４０２においては、類似度より類似判定をおこなう。例えば類似度が所定類似度未満であり、類似画像と判定されない場合は、類似判定処理を終了し、次のＳ１０４の処理へ進む。一方、類似と判定される場合は、ステップＳ３４０３に進む。

ステップＳ３４０３においては、ステップＳ３４０１において決定した類似度をセットし、図３５のフローチャートに示す処理４に進む。
図３５のステップＳ３５０１においては、先に決定した類似度数及び初期設定で行った類似判定処理の選択もしくはレイアウト指定情報や、アルバムへの枚数設定情報など、判定に必要な情報を読み込む。

ステップＳ３５０２においては、類似判定した画像データに対して類似度が大きいかどうかの判定を行う。判断の結果以下のように対応する。
ステップＳ３５０３では、類似画像データのうち高画質のものを選択して確保し、残る低画質の類似画像データを電子アルバムへの掲載候補から削除する。判断基準としては、先の類似判定に使用した全画像領域における各８＊８画素ブロックのＡＣ成分（交流成分）を用いることができる。すなわち、ＡＣ成分“１”〜“６３”に対しての平均値の総和が大きい方が空間周波数特性上のデータ量が多いので、類似画像の場合、ピントが合った高画質画像と判断できる。

上記判断の他に、ＡＣ成分（交流成分）“１”〜“６３”の総和ではなく、所定番号以上の高周波領域成分の総和による判定を行うこともできる。
選択が決定したら結果をセットして類似判定処理を終了する。

ステップＳ３５０４では、ステップＳ３５０３の高画質判定方法を用いて画質が低いと判定された画像データに対して、類似度が高い場合ほど、電子アルバム中で面積が小さい領域に挿入されるように低いレベルを決定し、セットする。制御部５５は、各画像データと判定された類似度レベルを対応付けてＲＡＭ又はハードディスクで管理する。

一方、類似度の低い画像では空間周波数の分布特性の類似性が低いので、類似度を判定するために圧縮データのＤＣＴ情報を利用し、付属情報と総合評価することで、軽い処理で類似度を判定することが可能となる。

＜手ぶれ判定処理＞
図１に戻って、ステップＳ１０４においては、制御部５５は、画像データに対して手ぶれ画像判定を行う。
ここで行う手ぶれ判定とは、入力装置により撮影され、データファイルとして記録された画像データに対して、その特徴量を解析することで、撮影画像が手ぶれ状態であるかの判定である。電子アルバムに撮影のミスによる失敗画像と考えられる手ぶれ画像を検出し、掲載するかどうかの判断、又は電子アルバム中でどの大きさの領域に配置するかの判断の材料として用いる。また、ステップＳ１０３における類似判定の時の取捨選択判断材料としての使用も考えられるが、この実施形態においては、独立した各画像に対しての手ぶれ判定について説明する。

以下、手ぶれ判定処理について、図２２〜図２８に示すフローチャートを参照しながら説明を行う。
手ぶれ判定処理においても類似判定処理と同様、判定用の特徴量として圧縮画像のＤＣＴによるデータを特徴量として利用するために、まず、最初に図２２の処理を行い、対象の画像ファイルについて確認を行う。

そして、手ぶれ判定処理では、図２２処理フローの続きとして、図２３のフローチャートに示す処理２を行う。
ステップＳ２３０１においては、判定対象となる画像データの少なくとも圧縮過程のＤＣＴによる輝度データと、量子化テーブル値に相当するデータを読み込む。
ステップＳ２３０２においては、手ぶれ検出判定対象の圧縮画像のデータ圧縮に使用した量子化テーブルの値を検出する。

量子化テーブルの構成は、図４２で表すように、ＪＰＥＧの圧縮単位である８＊８ブロックに対するものである。左上の“０”の項目の部分にはＤＣ成分への圧縮指示値が記入され、それ以外の“１〜６３”には、ＤＣＴにより空間周波数成分となったＡＣデータに対して低い空間周波数成分順に１〜６３の各項目値に対しての圧縮指示値が記入されている。量子化テーブルの特徴としては、データを圧縮する際に、人間の視覚特性が空間周波数の高い成分に対して空間周波数の低い成分より鈍感であるという特性を利用し、空間周波数成分の高い部分のデータ値を丸めるように設定されることである。このような量子化テーブルにより、画質に大きな影響を与えることなくデータ量を減らすことが可能となる。しかし、この丸め方が大き過ぎると劣化が視認されるようになる。

また、本発明においては、判定に利用する特徴量として、空間周波数の高低におけるデータ分布、データ配置などを利用するため、あまり大きくデータを丸めると、正確な判定に支障をきたす可能性がある。その為に、量子化値の合計が予め定めた”閾値１”を超える量子化テーブルを利用した画像は特徴量に影響があると判断する。

本実施形態における、量子化テーブルの各値を加算した値が１２００より大きい場合、閾値１より大きい量子化テーブルであると判断している。すなわち、本実施形態では閾値１＝１２００である。

ステップＳ２３０１で取得した量子化テーブルの値の合計が１２００を超えている場合はステップＳ２３１１へ移行し、手ぶれ検出非対応画像としてセットして図２４に示す処理３へ移行する。
また、量子化テーブルの値が１２００以下の場合はステップＳ２３０３へ移行する。

ステップＳ２３０３においては、読み込んだ判定対象となる画像データの圧縮過程のＤＣＴによる輝度データは、８＊８画素からなるブロックとしてとらえる。そして、ブロックの特徴量を解析していく手段として、０から６３の輝度データを、更に図３に示すように空間周波数成分の分布を主な区分けとしてＡ，Ｂ，Ｃのグループに分割する。

まず、グループＣの設定については、ステップＳ２３０２において算出した量子化テーブルの合計値が６０１から１２００までの場合は、比較的画像データ圧縮率が高く、高い空間周波数成分のデータは欠落していると考えられる。従って、ＤＣＴのＡＣ成分における３６以降をグループＣに設定する。また、量子化テーブルの合計値が６００以下の場合は、比較的良好な高域の空間周波数成分データが画像データに存在すると判断して、ＤＣＴのＡＣ成分における５４以降をグループＣに設定する。

基本的にグループＣ領域のデータは特徴量判定には不向きなデータと判断する。
また、グループＡは、ＡＣ成分１から１４までの値とし、成分１５からグループＣの空間周波数成分に至るまでをグループＢとしている。

グループＡとグループＢの境界の決定方法についての詳細の説明は省くが、画像サイズとファイルサイズによって動的に境界を設定することも可能である。
このグループ分けは、画像を構成する全ての８＊８画素ブロックに共通して設定される。

ステップＳ２３０４においては、画像全領域の８＊８画素ブロックごとの輝度成分に対してＤＣＴ（離散コサイン変換）後のＡＣ成分データの総和を算出する。

ステップＳ２３０５においては、画像全領域の各８＊８画素ブロックごとに、ＡＣ成分の総和と閾値２との比較を行う。ＡＣ成分の総和が閾値２に至らない場合、つまり、空間周波数情報が少ないと判断される８＊８画素ブロックは、この後の特徴量判定ブロックとして使用しない。そのことをセットするため、閾値２未満のブロックを“黒”に設定する。この処理の詳細は後述する。

ステップＳ２３０６においては、上記“黒”設定以外の領域における各８＊８画素ブロックのＡＣ成分（交流成分）に対して、各グループＡ及びグループＢ内の平均値を算出する。

ステップＳ２３０７においては、Ａ，Ｂ各グループの算出結果により、各グループごとに以下の式１で求められる“判定２”値を算出する。
グループＡ(Ave)／グループＢ(Ave) → 判定２ ・・・（式１）
“判定２”値は、判定対象となる各８＊８画素ブロックのうち、特徴量を検出する為に適した実データ分布になっているものを特定するための値である。

ステップＳ２３０８においては、予め設定した閾値３に対して、算出した各８＊８画素ブロックごとの“判定２“値との比較を実行する。そして、“判定２“値が閾値３以下の８＊８画素ブロックについては、ステップＳ２３１０に進み、”非手ぶれ候補ブロック”に設定する。

また、”判定２”値が閾値３より大きい８＊８画素ブロックについては、ステップＳ２３０９に進み、”手ぶれ候補ブロック”に設定する。
いずれの場合も、設定が終了したら、図２４に示す処理３へ処理フローを進める。

図２４に示す処理３について説明する。
ステップＳ２４０１においては、全画像領域において、”黒”に設定されたブロックを除く、設定の終了した“手ぶれ候補ブロック”と“非手ぶれ候補ブロック”の比率（ブロック比率）を算出する。

ステップＳ２４０２においては、算出したブロック比率が、手ぶれ画像となりえる比率に含まれるかどうかを判定するため、予め設定した画像候補判定用の閾値４と比較する。閾値４よりブロック比率が小さい場合は、手ぶれ画像の特徴を画像からの算出値からは検出できないと判断して、ステップＳ２４０３に進み、“非手ぶれ画像”の判定をセットして手ぶれ判定処理から抜けて次の処理に移行する。

閾値４よりブロック比率が大きい場合は、現在の特徴量での判定では手ぶれ画像の可能性が高い候補と判定し、ステップＳ２４０４へ進む。
この判定は、手ぶれ画像の場合、その手ぶれ量にも強く影響は受ける前提ではあるが、高い空間周波数成分は減る傾向があることに基づいている。

ステップＳ２４０４においては、ステップＳ２３１０で“非手ぶれ候補ブロック”と設定されたブロックに対して、今後の判定に参加しないように候補ブロックから外す設定を行う。すなわち、候補ブロックから外す設定を行ったブロックを“灰”に設定する。

上記判定処理までに、手ぶれ画像に見られる空間周波数の高低比率において手ぶれ画像の特徴量を満たしていると判断したので、以降は、手ぶれの場合に発生する特定の方向性を満たしているかの判定を進める。空間周波数分布を考慮した方向性の有無で手ぶれ判定及び手ぶれ方向を決定する。

ステップＳ２４０５においては、候補ブロックにおけるグループＡをグループＤ、グループＥ、グループＦの３つのグループに分割する。

図３におけるグループＡは輝度データにおけるＤＣＴ後のＡＣ成分であり、空間周波数成分の低い方から１から１４の番号が振られている。

図４は、このグループＡを空間周波数の方向性を判定する為に３分割した状態を示している。
グループＤは、ＡＣ成分における“１”、“５”、“６”、“１４”のデータから構成する。
グループＥは、ＡＣ成分における“２”、“３”、“９”、“１０”のデータから構成する。
グループＦは、ＡＣ成分における“４”、“７”、“８”、“１１”、“１２”、“１３”のデータから構成する。

手ぶれ画像の方向性は、比較的低い空間周波数成分上に顕著に出る傾向があるので、上記３グループにおける方向性を判定していく。
ステップＳ２４０６においては、各候補ブロック内のＤ、Ｅ、Ｆの各グループごとの総和から１データあたりの平均値を算出する。

ステップＳ２４０７においては、算出した各候補ブロック内の各Ｄ、Ｅ、Ｆグループ１データあたりの平均値の中での最大値が、予め設定した閾値５より小さい値のブロックは候補ブロックから除外する。候補ブロックから外す設定を行ったブロックは“白”に設定する。そして、図２５のフローチャートに示す処理４へ移行する。

図２５のステップＳ２５０１においては、下記論理式２に適合するか判定を行う。なお、Ｄ，Ｅ，ＦはそれぞれグループＤ、Ｅ、Ｆに含まれるＡＣ成分の合計を表す。
Ｄ ＞ Ｆ＊２
もしくは
Ｅ ＞ Ｆ＊２
・・・（式２）
式２は、８＊８画素ブロックにおいて、低域の空間周波数成分領域における方向性を示す情報値と、それ以外の情報値との比率を見ることで、手ぶれ特有の方向性に関する特性を有する８＊８画素ブロックであるかを判定するものである。

上記式２の条件を満足しない場合は、ステップＳ２５０２において、判定された８＊８画素ブロックに対して”非手ぶれ画像ブロック”の判定をセットして終了する。また、図２５に示す処理４は、他の候補である８＊８画素ブロックが無くなるまで実行する。

ステップＳ２５０１で、上記条件を満足すると判定された各８＊８画素ブロックに対して、方向性の判定をこの後行う。

つまり、ステップＳ２５０３において、各８＊８画素ブロックについて横方向の手ぶれの特徴量があるかを判定する。判定式は、下記式３となる。
Ｅ ＞ Ｄ＊２ ・・・（式３）
式３の条件を満足する各８＊８画素ブロックは、横方向の手ぶれの特徴量があると判定し、ステップＳ２５０４にて横方向手ぶれ候補を検出したとしてセットする。

式３の条件を満足しないものは、ステップＳ２５０５進み、縦方向の手ぶれの特徴量があるかを判定する。判定式は、下記式４となる。
Ｅ ＞ Ｄ＊２ ・・・（式４）
式４の条件を満足する各８＊８画素ブロックは、縦方向の手ぶれの特徴量があると判定し、ステップＳ２５０６にて縦方向手ぶれ候補を検出したとしてセットする。
式４の条件を満足しない場合、図２６に示す処理５へ進む。

図２６のフローチャートに示す処理５では、縦方向、横方向の手ぶれ特徴量が検出されなかった８＊８画素ブロックについて、斜め方向の手ぶれの特徴量があるかを判定する。ステップＳ２６０１では、各８＊８画素ブロックにおいて、グループＤとグループＥにおける各輝度成分のＤＣＴによるＡＣ成分の各値について絶対値へ変換した後にグループＤとグループＥにおける各グループ内にて加算を行う。

ステップＳ２６０２では、各８＊８画素ブロックにおいて、グループＦにおける各輝度成分のＤＣＴによるＡＣ成分の各値について絶対値へ変換した後にグループＦ内にて加算を行う。この加算結果を［１２］とする。

ステップＳ２６０３は、候補となる各８＊８画素ブロックにおいて、ＤＣＴによるＡＣ成分の値に対して下記式５の処理を行う。
ＡＣ成分は負の値もあり、相対する各値を加算後に絶対値変換した各項目の総和を行うことで特徴量［１３Ａ］を算出する。
｜ＡＣ成分“１” ＋ ＡＣ成分“２”｜ → （５ａ）
｜ＡＣ成分“５” ＋ ＡＣ成分“３”｜ → （５ｂ）
｜ＡＣ成分“６” ＋ ＡＣ成分“９”｜ → （５ｃ）
｜ＡＣ成分“１４” ＋ ＡＣ成分“１０”｜ → （５ｄ）
（５ａ）＋（５ｂ）＋（５ｃ）＋（５ｄ）＝［１３Ａ］
・・・（式５）

ステップＳ２６０４では、各８＊８画素ブロックにおいて、ＤＣＴによるＡＣ成分の値に対して下記式６の処理を行う。
ＡＣ成分は負の値もあり、相対する各値のうち片側にマイナス１を乗算した後に２値を加算する。後に絶対値値変換した各項目の総和を行うことで特徴量［１４ａ］を算出する。
｜−１＊ＡＣ成分“１” ＋ ＡＣ成分“２”｜ → （６ａ）
｜−１＊ＡＣ成分“５” ＋ ＡＣ成分“３”｜ → （６ｂ）
｜−１＊ＡＣ成分“６” ＋ ＡＣ成分“９”｜ → （６ｃ）
｜−１＊ＡＣ成分“１４” ＋ ＡＣ成分“１０”｜ → （６ｄ）
（６ａ）＋（６ｂ）＋（６ｃ）＋（６ｄ）＝［１４Ａ］
・・・（式６）

ステップＳ２６０５は、各８＊８画素ブロックにおいて右斜め手ぶれ候補となる特徴を持つか判定する為に、下記式７の処理を行う。
［１３Ａ］ ＞ ［１２］＊２ ・・・（式７）
式７の条件を満足する８＊８画素ブロックは、右斜め方向の手ぶれの特徴量があると判定し、ステップＳ２６０７にて右斜め方向手ぶれ候補を検出したとしてセットする。
式７の条件を満足しないものは、ステップＳ２６０６へ進む。

ステップＳ２６０６は、各８＊８画素ブロックにおいて左斜め手ぶれ候補となる特徴を持つか判定する為に、下記式８の処理を行う。
［１４Ａ］ ＞ ［１２］＊２ ・・・（式８）
式８の条件を満足する８＊８画素ブロックは、左斜め方向の手ぶれの特徴量があると判定し、ステップＳ２６０８にて左斜め方向手ぶれ候補を検出したとしてセットする。
式８の条件を満足しないものも含め、ステップＳ２６０９へ進む。
ステップＳ２６０９においては、前述したすべての方向における手ぶれ候補となる各８＊８画素ブロックへの判定を集計する。つまり、横、縦、右斜め、左斜めの手ぶれ候補として設定された８＊８画素ブロック数を各々カウントする。終了後図２７のフローチャートに示す処理６へ進む。

図２７に示す処理６では、いずれかの方向に対する手ぶれ候補として検出された８＊８画素ブロックから、対象画像全体としての手ぶれの有無及びその方向を判定する。
ステップＳ２７０１においては、横、縦、右斜め、左斜めの候補として検出されたブロックのうち、最も数が多い種類のブロックの総数を“ｍ”とする。
ステップＳ２７０２においては、横、縦、右斜め、左斜めのうち２番目に数の多いブロックの数を“ｎ”とする。

ステップＳ２７０３においては、下記式９の判定処理を行う。
ｍ／２ − ｎ ＞ １ ・・・（式９）
式９の条件を満足しない画像は、ステップＳ２７０６に進み、手ぶれ画像ではないと判定する。
式９の条件を満足する画像は、ステップＳ２７０４に進み、手ぶれ画像と判定する。また、“ｍ／２ −ｎ”の値を手ぶれレベルとしてセットする。この値が大きければ大きいほど手ぶれ画像としての確からしさが高くなっている。

ステップＳ２７０５においては、最も数が多い（ｍ個の）候補ブロックで検出された手ぶれ方向をセットして処理を終了する。

上記説明したような処理の流れにより画像データに対する手ぶれ状態を判定する。そして、画像データは、手ぶれ状態が強いほど、電子アルバムに掲載されない又は電子アルバムの小さな面積の領域に挿入されるようにレベルの値が決定され、セットされる。制御部５５は、各画像データと判定された手ぶれ状態のレベルを対応付けてＲＡＭ又はハードディスクで管理する。本実施形態では、手ぶれ状態がある閾値以上より高いものに“１”、それよりも低いものに“２”、手ぶれ状態でないものに“３”がセットされるものとする。

さらに、この処理を適用したサンプルについて説明を行う。
図６は、画像サンプル１であり、撮影は良好に行われ、手ぶれは発生していないものである。
図８は、画像サンプル２であり、図６と同じ被写体を撮影したもので、撮影時に横方向へ手ぶれが発生した状態で撮影をしたものである。
図１０は、画像サンプル３であり、図６と同じ被写体を撮影したもので、撮影時に縦方向へ手ぶれが発生した状態で撮影をしたものである。

上記、３枚のサンプル画像に対して、前述の手ぶれ判定用検出処理を行った結果を下記に示す。
図２９は、画像サンプル１から検出したデータである。
最初の“データの個数と平均値”では、画像を構成する各８＊８画素ブロックのまとまりがデータ単位として表わされており、“個数”の欄が該当する。また、グループＡからＦの欄に記入している数量は、縦の欄で分類した縦（赤）、横（緑）、右斜め（青）、左斜め（橙）、（黒）、（灰）、（白）に分類したグループ内における平均該当個数である。

２項目目の“赤、緑、青、橙を母集団とする割合”は、縦（赤）、横（緑）、右斜め（青）、左斜め（橙）の手ぶれ候補ブロック（合計３０７６ブロック）における、各方向別のブロックの割合を示している。

３項目目は、“赤、緑、青、橙、白、灰を母集団とする割合”は、上記２項目目のデータに加えて該当なしと判断した灰、白のブロックも母集団に加えた（合計５６４９ブロック）場合の各種別ブロックの割合を示している。

２項目目に表示するように、画像サンプル１においては、手ぶれ候補ブロックとして検出されたブロック中、縦と横の候補ブロックの比率が縦４２％と横５３％と、大きな偏りがない状態であることが確認できる。また、斜め方向の手ぶれ候補ブロックの比率が縦方向や横方向の候補ブロックに比べて極めて低いことがわかる。

これは、縦、横方向の情報が多い傾向があることわかる。上記検出データを基に画像サンプル１を検出分類ブロックで色分けしたものが図７である。結果を見ると特定の方向ブロックの比率が多くなっていることは無く、手ぶれが発生していないことが確認出来る。

図３０は、画像サンプル２から検出したデータである。
データ構成は、上記図２９と同じである。
画像サンプル２においては、手ぶれ候補ブロックにおける縦と横の候補ブロックの比率が縦０％と横１００％と、横方向に大きな偏りが発生した状態であることが確認できる。

この結果から、横方向の情報が圧倒的に多い傾向があることがわかる。そして、この傾向から、横方向に手ぶれが発生した画像であると判断できる。上記検出データを基に画像サンプル２を検出分類ブロックで色分けしたものが図９である。結果を見ると横方向ブロック（緑）の比率が多くなっていることで、手ぶれが発生していることが確認できる。

図３１は、画像サンプル３から検出したデータである。
データ構成は、上記図２９と同じである。
画像サンプル３においては、縦と横の候補ブロックの；比率が縦９９％と横１％と、縦方向に大きな偏りが発生した状態であることが確認できる。

この結果から、縦方向の情報が圧倒的に多い傾向があることわかる。そして、この傾向から、縦方向に手ぶれが発生した画像であると判断できる。上記検出データを基に画像サンプル３を検出分類ブロックで色分けしたものが図１２である。結果を見ると縦方向ブロック（赤）の比率が多くなっていることで、手ぶれが発生していることが確認出来る。

なお、空間周波数成分の分け方は、ここで説明した方法に限定されるものではなく、他の方法によって分類してもよい。

＜画質判定処理＞
図１に戻って、ステップＳ１０５においては、画像データを撮影した入力機器の種類、データ圧縮量、テンプレートデータへの挿入時における画素数、画質要求に対する画像種類などにより、電子アルバムへの出力に対する画質判定を行う。

まず、画像サイズと量子化テーブルの関係を図３９に示す。
図３９は、縦軸に入力画像サイズを、横軸には、８＊８画素ブロックをＤＣＴした後にＡＣ成分１〜６３に適用する量子化テーブルの量子化指示値の総和をそれぞれ示している。

図３９では、入力機器の例として、１３０万から３００万画素のデジタルカメラ、カメラ機能付き機器として、携帯電話（３０画素未満及び１００画素）、ＰＤＡ（２００万画素）をそれぞれ示している。

図に示すように、画素数の多いデジタルカメラでは、データ圧縮量が少ない、量子化指示値の合計が小さ目の量子化テーブルが使用される。一方、画素数の少ない携帯電話においては、データ圧縮量が大きい量子化指示値の合計が大きい量子化テーブルが使用されていることがわかる。また、これらの中間の画素数を有するＰＤＡにおいては、量子化テーブルについてもデジタルカメラと携帯電話の間の圧縮率である。

この関係は、機器に要求されている仕様と、組み込み機器の処理能力が機器により異なることから発生している。従って、入力機器を特定することで、ある程度その入力画像の画質を予想することが可能である。

入力機器の特定方法としては、最も有力なものが、画像データに含まれている場合がある付属情報である。付属情報を解析することが、入力機器の特定につながる。

次に、入力画像のデータ圧縮量と出力解像度、入出力サイズの相関による画質である。図４０は、画質判定に用いる画質レベルと判定用閾値テーブルを表している。
始めに基本系として、図４０（ａ）に、出力解像度とデータ圧縮に用いる量子化テーブル値との関係による画質判定テーブルを示す。縦に記載した項目は出力解像度であり、本実施形態では、“１３５ｄｐｉ以上”，“１３５ｄｐｉ未満から７０ｄｐｉ以上”、“７０ｄｐｉ未満”の３段階に分類している。

横に記載した項目は量子化テーブルの大きさで、括弧の中は図３９でも使用した概念で、量子化テーブルにおいて、テーブルの１から６３までの量子化指示値の総和を示すものである。従って値が小さいほどデータ圧縮量は少ないことになる。

出力解像度が１３５ｄｐｉ以上で、使用される量子化テーブルが“Ｔ９”（量子化指示値の総和が５４１）の場合、画質は高品位と判断される。また、図４０に示すように、中程度の画質を確保出来るのは、出力解像度が１３５ｄｐｉ未満７０ｄｐｉ以上で、量子化テーブルが“Ｔ９”の場合と、出力解像度が１３５ｄｐｉ以上で量子化テーブルが“Ｔ６”の場合がある。それ以外の組合せはいずれも低品質な画質と判断される。

なお、ここで言う、中程度との品質とは、次のようなレベルの品質を意味する。人間の観察要求として被写体としてより注目されうる被写体、例えば人物の顔などがある場合は高い画質を望む傾向がある。そして、このような、人物の顔のような注目されるる被写体が含まれる画像としては、高品質と判定されないが、風景などの場合においては、高品質と判定されるレベルの品質を、中程度とする。なお、画像中に人物の顔が存在するかどうかはテンプレートマッチングなど様々な周知技術により検出することが可能である。

図４０（ｂ）は、出力形態が印刷の時に、出力メディア（用紙など）のサイズと入力画像サイズの関係から出力解像度を確定するテーブルを示す。

縦に記載した項目は入力画像サイズであり、本実施形態ではＶＧＡ（６４０＊４８０），ＳＸＧＡ（１０２４＊９６０），ＵＸＧＡ（１６００＊１２００）の３種類がある場合を示している。横に記載した項目は出力メディアサイズで、ここでは“Ａ４”，“Ｌ版”の２種類がある場合を示している。この両者の組合せから、出力解像度を確定する。ここでは単純に出力メディアの印字領域の大きさと入力画像の画素数とから、必要な解像度を求めている。なお、ＵＸＧＡとＬ判との組合せでは解像度が３００ｄｐｉを超えるため、本実施形態では組合せ不可としている。

図４０（ｃ）は、出力サイズ不明の時に、入力画像サイズと量子化テーブルとから画質を決定するためのテーブルを示している。

図４１は、図４０のテーブルを用いて判定した画質から、アルバムレイアウト及び画像補正を行うための処理を説明するフローチャートである。
ステップＳ４１０１においては、入力画像における付属情報を解析し、撮影画像の入力機器が画質の低い機器（例えば３０万画素の携帯電話）と判断された時はステップＳ４１０２へ進む。それ以外の場合はステップＳ４１０８へ進む。

ステップＳ４１０８においては、図４０で示したテーブルを用いて画質判定を行い、後段の電子アルバムへの掲載処理における画像データの挿入や挿入領域のサイズに係る自由度のレベルを設定する。ここでは、サイズ、レイアウト及びフレームの変更を許可する自由度レベルを設定する。画質が高い画像データほど、大きな面積の領域や、電子アルバム上の中央の位置に配置されるのを許可するように高いレベルが設定される。制御部５５は、各画像データと設定された画質レベルを対応付けてＲＡＭ又はハードディスクで管理する。
ステップＳ４１０９においては、必要に応じて画像補正指示量をセットする。

ステップＳ４１０２においては、前段において低品位画像と判断しているので、後段のレイアウト処理における配置変更などの自由度はなしとするレベルをセットする。そして、低い画質でも満足できる程度のレイアウトに固定する場合のみ掲載を許可する。本実施形態では、このような低い画質の画像データにはレベルとして“１”を付与することとする。ある閾値以上の品質の高い画像データはレベルとして“３”を付与し、その間の画質の画像データはレベルとして“２”を付与するとする。
ステップＳ４１０３においては、量子化テーブルの、ＡＣ成分１〜６３に適用する量子化指示値の合計を、量子化テーブルの特徴量“ＲＴ”として算出して設定する。

ステップＳ４１０４においては、画像補正も低品質画像に向く例えば、高コントラスト、高彩度などの補正タイプを設定する。
ステップＳ４１０５においては、対象画像の中に人物の顔が配置されているか検出し、存在しない場合はそのまま終了し、存在する場合はステップＳ４１０６へ進む。

ステップＳ４１０６においては、先に算出した量子化テーブルの特徴量“ＲＴ”が予め設定している値より高いか判定を行う。判定の結果、“ＲＴ”が設定値より低い場合はそのまま終了し、“ＲＴ”が設定値より高い場合はステップＳ４１０７へ進む。

ステップＳ４１０７に到達した場合、低画質画像に人の顔が存在し、なおかつ高圧縮な量子化が行われており、所謂ピンぼけ状態であることが想定できる。従って、画像補正指示内容として、アンシャープマスクなどの補正とその強度（適用半径など）の指定量を決定し、終了する。

図１に戻り、ステップＳ１０６においては、上記設定項目を基本として、類似判定結果、手ぶれ判定結果、画質判定結果でセットされたレベルを踏まえ、電子アルバムに掲載する画像データを対象フォルダの全画像データの中から選択する。図１４に示した設定画面でアルバム枚数の指定のある場合は、まず、上記判定より、レベルが低く設定された画像データから順に、電子アルバムの掲載候補から外す。
なお、それでも指定された画像データの枚数より選択された画像が多い場合は、レイアウト調整により画像のサイズ変更を行うようにしてもよい。

ステップＳ１０７においては、電子アルバムに掲載される画像データに対して画像補正処理を実行する。
画像補正の項目としては、一般的に下記補正などが項目として挙げられる。
１） ホワイトバランス
２） コントラスト
３） 露出
４） 彩度
５） シャープネス（アンシャープマスク）
図４１のフローチャートで説明した、画質判定に応じた補正内容や強度に応じて、ここでの補正内容が変化する。

＜電子アルバムへの掲載処理＞
ステップＳ１０８においては、上記判定による画像データのレベルを考慮しながら設定項目での指定に従い、電子アルバムのテンプレートデータへの画像データの挿入を行う。
図１５は、電子アルバムのテンプレートデータの一例である。
この例では、１ページにレイアウトする画像は６枚であり、画像データの挿入領域のサイズが“大”と“小”の２種類存在する。

図３８に示すフローチャートを参照して、各種判定を終了し、電子アルバムに掲載するために選択された画像データのテンプレートデータへの挿入処理について説明する。
ステップＳ３８０１においては、前記ステップＳ１０１にて指定した、アルバム関連情報とその後の各種判定情報を取得する。

ステップＳ３８０２においては、制御部５５は、電子アルバムに掲載する対象となる画像データをハードディスクからアルバムデータとして読み込む。
ステップＳ３８０３においては、図１４の設定画面において、選択機能が選ばれているかどうかをチェックする。選択機能が選ばれていない場合は、ステップＳ３８１２へ進み、選択機能が選ばれている場合は、ステップＳ３８０４へ進む。

ステップＳ３８１２においては、類似度、手ぶれ判定、画質判定のいずれかにおいて、レベルが品位および選択する意味が低いと定義された“１”が付与されているかどうか判定する。画像データが、レベル“１”でない場合はステップＳ３８０６へ進む。画像データがレベル“１”である場合はステップＳ３８１３へ進み、小さいサイズの領域に挿入される候補の画像データであることを領域フラグにセットする。ここで、制御部５５は、画像データと領域フラグを対応付けてＲＡＭ又はハードディスクで管理する。

ステップＳ３８１４においては、レベル“１”が付与された画像データに対する画像補正指示を行う。初期設定された画像補正強度に対して“コントラスト”及び“彩度”補正を強めにセットする。ステップＳ３８０６へ進む。
ステップＳ３８０４においては、電子アルバムへ掲載する画像データの自動選択機能が選択されているときの処理が実行される。

先に判定処理した類似度、手ぶれ判定、画質判定において、品位および選択する意味が低いと定義されたレベル“１”が付与された画像データであるかを判定する。レベル“１”が付与された画像データである場合はステップＳ３８０５へ進む。そして、電子アルバムへレイアウトせず、候補画像から削除される。その後ステップＳ３８０６へ進む。また、レベル“１”画像でない場合はステップＳ３８０９へ進む。

ステップＳ３８０９においては、先に判定処理した類似度、手ぶれ判定、画質判定において、品位および選択する意味がやや低い画像と定義されたレベル“２”が付与された画像データであるかを判定する。レベル“２”が付与された画像データでない場合は、ステップＳ３８０６へ進む。また、レベル“２”が付与された画像データである場合はステップＳ３８１０へ進む。

ステップＳ３８１０においては、小さいサイズの領域に挿入される候補の画像データであることを示す領域フラグをセットする。ここで、制御部５５は、画像データと領域フラグを対応付けてＲＡＭ又はハードディスクで管理する。
ステップＳ３８１１においては、レベル“２”が付与された画像データに対する画像補正指示を行う。そして、初期設定された画像補正強度に対して“コントラスト”及び“彩度”補正を強めにセットする。ステップＳ３８０６へ進む。

ステップＳ３８０６においては、対象となる画像データすべてについて判定が完了したか判断を行う。すべての画像データについて判定が終了していない場合は判定を続行し、終了した場合はステップＳ３８０７へ移行する。

ステップＳ３８０７においては、上記判定を基に、対象画像データをテンプレートデータに挿入し、アルバムデータを作成する。これによって、類似画像データのうち画質の低い方の画像データ、手ぶれ状態の画像データ及び画質が低いと判定された画像データは電子アルバムの中の小さな領域に挿入されて表示されるようになるか又は、電子アルバムに挿入されず表示されないようになる。

ステップＳ３８０８においては、作成されたアルバムデータを印刷する為に“アルバム印刷”へ登録し、印刷コマンドを待つ。印刷コマンドを受信すると、ステップＳ１０９で例えば外部に接続されたプリンタに対して印刷指示を行う。プリンタはアルバムデータに基づき、印刷処理を実行し、出力結果を得る。

また、本実施形態によれば、圧縮符号化された画像データから特徴量を解析し、この特徴量に基づいて手ぶれ状態、類似度といった画像評価を行う。そのため、圧縮画像データを一旦伸張する必要がなく、メモリなど、処理に必要な資源が少なくて済む。このことは、資源の少ない組み込み機器においては、特に有効である。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。本実施形態も、第１の実施形態と同じ構成により実現可能であるため、ハードウェア構成などの説明は省略する。

第１の実施形態においては、対象画像データの全領域について一様な重み付けで類似性や手ぶれ判定処理を行った。しかし、画像データを評価判定する上では対象画像の領域がすべて同じ重みを持つものではない。そこで、本実施形態では、観察者が注目する画像データ中の重要領域と他の領域との重みを異ならせることで、より現実的な評価を実現しようとするものである。

なお、本実施形態において、重要領域とは、主被写体の可能性が高い人物であり、領域の抽出範囲としては、人物肌、人物顔などの画像からの抽出処理を行う。例えば人物肌の領域抽出方法としては、特開２００４−３８４８０号公報、特開２００４−３８４８１号公報、特開２００４−３８４８２号公報などに開示される技術を適用できる。その他人物の顔領域の判定は、ベクトルを利用した特徴量判定などが知られている。

本実施形態に係る画像処理装置の全体的な処理の流れを図１３のフローチャートに示す。図１との比較から明らかなように、図１３は図１の処理に一部処理が追加された構成になっているが、既に説明したステップにおいても内部処理に変更が加えられて部分が存在するため、追加部分以外も、必要に応じて説明を行う。図１３の処理も、先の実施形態で説明したように、ＰＣにおいて、本実施形態で説明する処理を実装するアプリケーション（例えばアルバムアプリケーション）が起動され、対象とする画像が例えばフォルダの選択などにより指定された時点で開始するものとする。

ステップＳ１３０１においては、例えば図１４に示す項目設定画面を表示し、ユーザに入力画像に対する処理設定について指示を促す。このとき、後述する特徴抽出において、特定の人物の特徴量である顔を登録し、その人物が登場している画像についてのレイアウト上の配置サイズおよび取捨選択において優先度を高くするようにする。

ステップＳ１３０２では、先の実施形態と同様に、メモリカードに記録された画像データを読み出すメモリカードドライブ５６や、既に撮影画像データを記憶してあるハードディスク５７などの中から、ユーザに指定された入力画像群の画像データを取得する。

制御部５５に含まれるＲＡＭなどの記憶容量との関係で、取得した画像データに読み込めないものがある場合は、少なくとも対象の画像枚数など編集に必要な情報と、最低必要な画像データを含めて読み込む。

編集に必要な情報としては、まず、撮影画像ファイルとして一般に利用されている圧縮画像データにＥｘｉｆデータとして記述されている情報が考えられる。

ステップＳ１３０３においては、対象画像の全領域の中に予め定義した特徴領域が存在するか検索処理を行う。具体的な方法については、先の説明にも表したが、人物肌領域や、人物顔領域を対象とした抽出を行う。対象領域が顔領域の場合、予め設定登録した重要人物において重みをつけて処理を行うことも可能である。

ステップＳ１３０４においては、抽出処理の結果、予め設定した特徴領域である人物を検出することに成功したか判定を行う。判定の結果人物と思われる領域の抽出に成功した場合は、その後の処理において、今回検出した領域について重みを持った処理を実行可能にする為に検出内容を登録し、抽出成功を表す値をセットする。

ステップＳ１３０５においては、類似判定処理を行う。先の実施形態では類似判定処理を図２２及び図３３〜図３６を用いて説明したが、本実施形態ではそのうち図３４で示した処理３に対応する処理を図３７に示すフローチャートで説明する処理に変更することによって実現できる。従って、ここでは図３７のフローチャートに示した処理のみを説明する。

ステップＳ３７０１においては、前述のステップＳ３４０１での処理と同等な処理を実行する。すなわち、図５を用いて説明したような特徴量差分算出処理を行う。

ステップＳ３７０２においては、ステップＳ１３０４の処理結果、すなわち人物領域が対象画像領域から抽出されたかどうかの判定結果を取得する。抽出に成功したとの判定結果を取得した場合、まず比較対象画像に人物領域が存在している判定がセットされているかを確認する。人物領域の存在判定が無効の場合は、２画像が類似画像でないことをセットする。

また、比較対象画像において、人物領域の存在判定が有効の場合は、ステップＳ３４０１における空間周波数特性による特徴量比較を、人物領域として抽出した領域に限って実行する。結果は、その算出値に応じて類似度としてセットする。

ステップＳ３７０３においては、類似度より類似判定をおこなう。
画像中に人物領域が抽出されている画像においては、全画像における類似度と特徴抽出領域である人物領域の類似度の論理和にて判定を行う。すなわち、全領域又は特徴領域の少なくとも一方で類似度が高い場合には類似画像と判断する。この場合、特徴領域に重みを持たせて論理和をとることも可能である。

類似画像と判定されない場合は、類似判定処理を終了し、次のＳ１０４の処理へ進む。類似と判定した場合は、ステップＳ３７０４に進む。
ステップＳ３７０４においては、ステップＳ３７０１において決定した類似度をセットし、図３５の処理４に進む。
その後の処理は先の実施形態に順ずるので説明を省略する。

ステップＳ１３０６においては、手ぶれ判定処理を行う。手ぶれ判定処理（図１のステップＳ１０４）の詳細については先の実施形態では図２３から図２７のフローチャートを用いて説明したが、本実施形態においては特徴領域の抽出有無により手ぶれ判定処理の内容を変更する。

図２８のフローチャートを用いて本実施形態における手ぶれ判定処理について説明する。ステップＳ２８０１においては、ステップＳ１３０４において判定した結果を取得し特徴領域の抽出の成否により処理を分岐する。

特徴領域である人物領域抽出に失敗した場合は、ステップＳ２８０３へ進み、先の実施形態においてステップＳ１０４として説明した手ぶれ判定処理を実行する。
一方、特徴領域である人物領域抽出に成功した場合は、ステップＳ２８０２へ進む。

ステップＳ２８０２においては、手ぶれ判定対象を全画像領域及び特徴領域である人物領域に対して各々に個別判定基準値を使用して手ぶれ検出処理を実行する。
全画像領域に対する手ぶれ判定処理は、ステップＳ２８０３と同様、第１の実施形態でステップＳ１０４の処理として説明した処理と同等であるため説明を省略する。

以下、特徴領域における別基準値を用いる判定を行う理由を含めて、抽出した特徴領域における手ぶれ判定処理について説明を行う。
図１９は、画像サンプル４であり、被写体として人物がほぼ中央に撮影された画像であり、撮影は良好に行われ、手ぶれは発生していないものである。

図３２は、画像サンプル４において検出された特徴領域に対して手ぶれ判定用検出処理を行って検出したデータであり、図２９と同じ項目について記載している。
図３２から分かるように、画像サンプル４においては、縦と横の候補ブロックの比率が縦２７％と横５９％と、やや横方向比率は大きくなるが、基本的には大きな偏りがない状態であることが確認できる。また、斜めの候補の比率（１３％、２％）が縦と横に比べて低いことがわかる。

検出データを基に画像サンプル４を検出分類ブロックで色分けしたものが図２０である。図２０から、特定の方向ブロックの比率が多く観察されることは無く、手ぶれが発生していないことが確認出来る。

また、特徴領域抽出処理による人物領域の検出結果を図２１に示す。
先の図２０と比較すると、図２０における人物顔領域における手ぶれ判定の８＊８画素ブロックの存在が多くないことが確認出来る。これは、人物の顔における肌部分には空間周波数成分が他の部分に対して比較的大きくないことから、画像全領域を考慮した手ぶれ判定基準では判定が難しくなっているためである。また、人物の顔領域にあわせた基準値を利用して画像全体へも適用しようとすると、人物顔領域以外の領域では適切は判定が難しくなる。

また、人物の顔領域などは、画像の観察者が最も注目する領域と考えるので、人物以外の領域では許容できるわずかな手ぶれでも許容されないことが考えられる。
この結果より、人物領域を抽出処理した画像に対しては、画像全体領域に使用する判定基準と人物領域に使用する判定基準を別に作成し、その各々について手ぶれ判定処理を実行する。人物領域についての判定処理方法は、全体画像に対する手ぶれ判定処理と基準値と処理領域が異なるだけなので、処理手順についての説明は省略する。

手ぶれ判定の総合判定としては、例えば画像全領域と特徴抽出した領域での手ぶれ判定結果の論理和により判定を行う。
本実施形態では、人物抽出が行われたときには基準を複数持つ方式を説明したが、人物領域のみに基づいて手ぶれ判定を行ってもかまわない。

ステップＳ１３０７においては、先の図４０で示した画質判定基準において、ステップＳ１３０３及びステップＳ１３０４において抽出し、判定した結果を反映する。具体的には、人物の抽出に成功した場合は、画質評価“中”の判定を“低”の画質レベルに、が低い判定になり、人物の抽出に失敗した場合は画質評価“中”の判定を“高”の画質レベルとして処理を行う。

人物抽出による重要領域への反映以外は前述の実施形態と内容が重複するので、説明は省略する。
ステップＳ１３０８〜ステップＳ１３１１では、第１の実施形態のステップＳ１０６〜Ｓ１０９と同等の処理を行い、印刷出力を得る。

本実施形態によれば、観察者が注目すると思われる特徴領域を考慮した処理を行うことにより、より視覚特性上好ましい結果が得られるという効果が達成される。

本発明における画像処理装置の制御部が実行する処理を表すフローチャートである。 本発明における輝度データ（ＤＣＴ後）のＡＣ成分配列例を示す図である。 本発明における図２の配列のグループ化の例を説明する図である。 本発明における図３におけるグループＡの再グループ化の例を説明する図である。 本発明における類似画像判定の原理を説明する図である。 本発明における手ぶれのない画像（サンプル１）の例を示す図である。 本発明における手ぶれ判定処理を図６の画像に適用して検出された手ぶれ候補ブロックの分布を示す図である。 本発明における横方向への手ぶれが存在する画像（サンプル２）の例を示す図である。 本発明における手ぶれ判定処理を図８の画像に適用して検出された手ぶれ候補ブロックの分布を示す図である。 本発明における縦方向への手ぶれが存在する画像（サンプル３）の例を示す図である。 本発明における画像処理装置を適用したシステムのハードウェア構成例を示すブロック図である。 本発明における手ぶれ判定処理を図１０の画像に適用して検出された手ぶれ候補ブロックの分布を示す図である。 本発明における画像処理装置の制御部が実行する処理を表すフローチャートである。 本発明の画像処理装置において表示される設定項目選択画面の例を示す図である。 本発明におけるテンプレートデータを表示した例を示す図である。 本発明における画像ファイルの構造を説明する図である。 本発明における画像ファイルに含まれるメイン情報項目を示す図である。 本発明における画像ファイルに含まれるサブ情報項目を示す図である。 本発明における特徴領域としての人物が含まれる画像（サンプル４）の例を示す図である。 本発明における手ぶれ判定処理を図１９の画像に適用して検出された手ぶれ候補ブロックの分布を示す図である。 本発明における図１９の画像に特徴抽出処理を行い領域抽出した結果を示す図である。 本発明における類似判定処理を示すフローチャート図である。 本発明における類似判定処理を示すフローチャート図である。 本発明における手ぶれ判定処理を示すフローチャート図である。 本発明における手ぶれ判定処理を示すフローチャート図である。 本発明における手ぶれ判定処理を示すフローチャート図である。 本発明における手ぶれ判定処理を示すフローチャート図である。 本発明における手ぶれ判定処理を示すフローチャート図である。 本発明における図６の画像に対して行ったブロック判定の結果を示す図である。 本発明における図８の画像に対して行ったブロック判定の結果を示す図である。 本発明における図１０の画像に対して行ったブロック判定の結果を示す図である。 本発明における図１９の画像に対して行ったブロック判定の結果を示す図である。 本発明における類似判定処理を示すフローチャートである。 本発明における類似判定処理を示すフローチャートである。 本発明における類似判定処理を示すフローチャートである。 本発明における類似画像判定処理を説明するフローチャートである。 本発明における類似画像判定処理を説明するフローチャートである。 本発明における画像データのテンプレートデータへの挿入処理を説明するフローチャートである。 本発明における画像サイズと画像ファイルの量子化テーブルとの相関とを示す図である。 本発明において用いる画質評価用テーブルの例を示す図である。 本発明における画質に応じた補正有無及び補正内容決定処理を説明するフローチャートである。 本発明における量子化テーブルの構成例を示す図である。

Claims (19)

1. 画像圧縮ファイルの圧縮データを抽出する抽出手段と、
   前記抽出手段により抽出された圧縮データの特徴を解析する解析手段と、
   前記解析手段による解析結果より、前記圧縮データが表す画像の撮影状態が手ぶれ状態かどうかを判定する判定手段とを有することを特徴とする手ぶれ判定装置。
2. 前記抽出手段により抽出された圧縮データの特徴量として、画像データ圧縮により方向成分を含む空間周波数特性の分布を算出する算出手段をさらに備え、
   前記判定手段は、前記算出手段による算出結果より、手ぶれ方向を検出し、手ぶれ状態かどうかを判定することを特徴とする請求項１記載の手ぶれ判定装置。
3. 前記圧縮データは縦８画素、横８画素のブロック単位に分割されることを特徴とする請求項１記載の手ぶれ判定装置。
4. 画像圧縮ファイルの圧縮形式はＪＰＥＧであることを特徴とする請求項１記載の手ぶれ判定装置。
5. 複数画素単位にブロック分割し、分割したブロック単位をデータ圧縮の単位とする画像データを入力する入力手段と、
   前記入力手段により入力された入力画像データのデータ圧縮単位である前記複数画素単位ブロック各々における画像圧縮変換特性を検出する検出手段と、
   前記検出手段により検出された前記複数画素単位ブロックの画像圧縮変換特性による各特徴量を算出する算出手段と、
   前記算出手段による算出結果より前記画像データが手ぶれ状態かどうかを判定する判定手段を備えた手ぶれ判定装置。
6. 前記算出手段は、各特徴量として、画像データ圧縮により方向成分を含む空間周波数特性の分布を算出し、
   前記判定手段は、前記算出手段による算出結果より、手ぶれ方向を検出し、手ぶれであるか判定することを特徴とする請求項５記載の手ぶれ判定装置。
7. 前記入力画像データを分割したブロック単位は縦８画素、横８画素の単位であることを特徴とする請求項５記載の手ぶれ判定装置。
8. 前記入力画像データの圧縮形式はＪＰＥＧであることを特徴とする請求項５記載の手ぶれ判定装置。
9. 複数の画像データ及びテンプレートデータを記憶する記憶手段と、
   前記記憶手段から読み出された画像データを予め設定されたサイズのブロックデータに分割する分割手段と、
   前記ブロックデータを周波数成分に変換する変換手段と、
   前記ブロックデータのうち、交流成分の高周波成分に対する低周波成分の割合が予め設定された値よりも大きいものの割合が予め設定された値以上である画像データについて、手ぶれ状態であると判断する判断手段と、
   を有することを特徴とする画像処理装置。
10. 前記記憶手段からテンプレートデータを読み出し、前記判断手段による判断結果に応じて、前記画像データを挿入するよう制御する挿入制御手段をさらに備えたことを特徴とする請求項９記載の画像処理装置。
11. 前記判断手段により手ぶれ状態であると判断された画像データを前記テンプレートデータに挿入しないか、又は前記テンプレートデータの予め設定された領域へ挿入するかを設定する設定手段をさらに備え、
    前記挿入制御手段はさらに前記設定手段による設定にしたがって、前記画像データを前記テンプレートに挿入するよう制御することを特徴とする請求項１０記載の画像処理装置。
12. 前記ブロックの交流成分の値が前記ブロックの縦横斜め方向についてどのような値を有するかに基づいて、前記ブロックごとに手ぶれ方向を検出し、同じ手ぶれ方向が検出されたブロックの総数に基づいて前記手ぶれの可能性の高い画像の手ぶれ方向を検出する手ぶれ方向検出手段をさらに有することを特徴とする請求項９記載の画像処理装置。
13. 前記画像から特定の特徴を有する特徴領域を抽出する特徴領域抽出手段をさらに有し、
    前記判断手段及び前記手ぶれ方向検出手段が、前記特徴領域に含まれる前記ブロックのみを対象として前記判断及び前記手ぶれ方向の検出を行うことを特徴とする請求項９記載の画像処理装置。
14. 画像データの画素数を検出する入力解像度検出手段と、
    画像データを出力する際の解像度を検出する出力解像度検出手段と、
    前記画像データの圧縮率に関する情報を取得する圧縮情報取得手段と、
    前記画素数、解像度及び圧縮率に関する情報とから、前記画像データの画質を判定する画質判定手段とをさらに有することを特徴とする請求項９記載の画像処理装置。
15. 前記画像データの付属情報から前記画像データを撮影した入力機器の機種情報を取得する入力機器情報取得手段をさらに有し、
    前記画質判定手段が、さらに前記入力機器の機種情報も用いて前記画像データの画質を判定することを特徴とする請求項１４記載の画像処理装置。
16. 前記画質判定手段により画質が低いと判定された画像データに対し、補正を行うように設定する補正設定手段をさらに有することを特徴とする請求項１４記載の画像処理装置。
17. 前記画像データから特定の特徴を有する特徴領域を抽出する特徴領域抽出手段をさらに有し、
    前記補正設定手段が、前記画質が低いと判定された画像データに前記特徴領域が存在する場合で、かつ前記画像データの圧縮率が高いと判定される場合には、画像をシャープにする補正を行うように設定することを特徴とする請求項１６記載の画像処理装置。
18. 複数の画像データ及びテンプレートデータを記憶媒体に記憶する記憶ステップと、
    前記記憶媒体から読み出された画像データを予め設定されたサイズのブロックデータに分割する分割ステップと、
    前記ブロックデータを周波数成分に変換する変換ステップと、
    前記ブロックデータのうち、交流成分の高周波成分に対する低周波成分の割合が予め設定された値よりも大きいものの割合が予め設定された値以上である画像データについて、手ぶれ状態であると判断するステップと、
    を有することを特徴とする画像処理装置の制御方法。
19. 請求項１８に記載の各ステップを実行するようコンピュータを制御するためのプログラム。