JP2006157427A - 画像情報の評価方法、画像情報の評価プログラム及び画像情報評価装置 - Google Patents

Abstract

【課題】ぼやけた画像が、手ぶれによるものなのか、ピンボケによるものなのか、判別は難しい。そこで、手ぶれ評価とピンボケ評価を行う必要があるが、手ぶれ評価とピンボケ評価を全く別々に処理すると、画像評価の処理時間がかかる。
【解決手段】本発明は、画像情報を取得し、前記画像情報に基づいて手ぶれ方向を求めて、前記画像情報の手ぶれ評価を行い、前記手ぶれ評価で求められた手ぶれ方向に関する情報を利用して、前記画像情報のピンボケ評価を行うことを特徴とする。
【選択図】 図１５

Description

本発明は、画像情報の評価方法、画像情報の評価プログラム及び画像情報評価装置に関する。

手ぶれした状態やピントが合っていない状態で撮影を行うと、その画像は、ぼやけた画像になる。しかし、ぼやけた画像を見て、それが手ぶれによるものなのか、ピンボケによるものなのか、判別することは難しい。そこで、デジタルカメラ等の撮影装置によって生成された画像情報を評価する方法が、種々提案されている。例えば、手ぶれを評価する方法（例えば、非特許文献１を参照。）が提案されている。
「Identification of Blur Parameters from Motion Blurred Image」，Y.Yizhaky and N.S.Kopeika，GRAPHICAL MODELS AND IMAGE PROCESSING Vol.59, No.5, September, pp. 310-320, 1997

しかし、手ぶれ評価とピンボケ評価を行う際に、全く別々の処理を行うことにすると、処理に時間がかかってしまう。
そこで、本発明は、手ぶれ評価の結果をピンボケ評価で利用し、画像情報の評価の処理時間を軽減することを目的とする。

上記目的を達成するための主たる発明は、画像情報を取得し、前記画像情報に基づいて手ぶれ方向を求めて前記画像情報の手ぶれ評価を行い、前記手ぶれ評価で求められた手ぶれ方向に関する情報を利用して前記画像情報のピンボケ評価を行うことを特徴とする。

本発明の他の特徴については、本明細書及び添付図面の記載により明らかにする。

＝＝＝開示の概要＝＝＝
本明細書及び添付図面の記載により、少なくとも、以下の事項が明らかとなる。

画像情報を取得し、
前記画像情報に基づいて手ぶれ方向を求めて、前記画像情報の手ぶれ評価を行い、
前記手ぶれ評価で求められた手ぶれ方向に関する情報を利用して、前記画像情報のピンボケ評価を行う
ことを特徴とする画像情報の評価方法。
このような画像情報の評価方法によれば、処理時間を軽減することができる。

かかる評価方法であって、前記手ぶれ方向に関する情報とは前記手ぶれ方向の情報であり、前記ピンボケ評価では、前記手ぶれ方向と垂直な方向のぶれの程度を評価することが望ましい。また、かかる評価方法であって、前記手ぶれ方向に関する情報とは、前記手ぶれ方向に垂直な方向における前記画像情報のエッジの情報であることが望ましい。これにより、ピンボケ評価の処理時間を軽減することができる。

かかる評価方法であって、前記手ぶれ評価では、前記手ぶれ方向のサンプルラインを抽出してぶれの程度を評価し、前記ピンボケ評価では、手ぶれ方向に垂直な方向のサンプルラインを抽出してぶれの程度を評価することが望ましい。また、前記手ぶれ評価及び前記ピンボケ評価では、抽出された前記サンプルラインの自己相関関数に基づいて、ぶれの程度を評価することが好ましい。また、前記手ぶれ評価及び前記ピンボケ評価では同じ関数が利用されており、前記手ぶれ評価では前記手ぶれ方向を引数とし、前記ピンボケ評価では前記手ぶれ方向に垂直な方向を引数とすることが好ましい。これにより、ピンボケ評価の処理と、手ぶれ評価の処理とを共通化できる。

かかる評価方法であって、前記手ぶれ評価では、前記手ぶれ方向のぶれの程度を評価し、前記ピンボケ評価では、前記手ぶれ方向に垂直な方向のぶれの程度を評価することが望ましい。また、前記ピンボケ評価では、前記手ぶれ方向のぶれの程度と、前記手ぶれ方向に垂直な方向のぶれの程度と、に基づいて、ピンボケの程度を評価することが好ましい。これにより、手ぶれの影響を少なくして、ピンボケ評価を行うことができる。

かかる評価方法であって、前記画像情報を複数の領域に分割し、分割された領域から特定の領域を選択し、選択された特定の領域に対して、前記手ぶれ評価及びピンボケ評価を行うことが望ましい。また、分割された前記領域毎にその領域内の輝度差を算出し、前記輝度差が最も大きい領域を、前記特定の領域として選択することが好ましい。これにより、演算量を軽減できる。

かかる評価方法であって、前記手ぶれ評価の結果に基づいて前記画像情報に対して手ぶれ補正を行い、前記ピンボケ評価の結果に基づいて前記画像情報に対してピンボケ補正を行うことが望ましい。また、前記手ぶれ補正及びピンボケ補正の少なくとも一方の補正が行われた画像情報を、等倍で表示することが好ましい。これにより、ユーザーは、補正後の画像情報を正確に認識することができる。

演算処理装置及びメモリに、
画像情報を取得させ、
前記画像情報に基づいて手ぶれ方向を求めて、前記画像情報の手ぶれ評価を行わせ、
前記手ぶれ評価で求められた手ぶれ方向に関する情報を利用して、前記画像情報のピンボケ評価を行わせる
ことを特徴とする画像情報の評価プログラム。
このような評価プログラムによれば、処理時間を軽減することができる。

画像情報を取得し、
前記画像情報に基づいて手ぶれ方向を求めて、前記画像情報の手ぶれ評価を行い、
前記手ぶれ評価で求められた手ぶれ方向に関する情報を利用して、前記画像情報のピンボケ評価を行う
ことを特徴とする画像情報評価装置。
このような画像情報評価装置によれば、処理時間を軽減することができる。

＝＝＝説明の対象＝＝＝
＜画像評価方法が適用される装置について＞
本実施形態の画像評価方法は、評価対象となる画像情報を取得し、取得した画像情報に対する評価を行って、評価結果を求める。この画像評価方法は、種々の装置に適用することができる。
例えば、この方法は、画像評価用のコンピュータプログラム（例えば、画像処理ソフト）がインストールされたパーソナルコンピュータに、適用することができる。また、この方法は、画像情報を扱う種々の装置にも適用することができる。画像情報を扱う装置としては、例えば、デジタルカメラ、デジタルビデオカメラ、プリンタ等が含まれる。

そこで、まず本明細書では、画像評価を行うプリンタについて説明を行う。このプリンタは、メモリカードに記憶された印刷対象となる画像情報を評価し、画像情報と対応する評価結果をユーザーに対して表示し、ユーザーにより選択された画像情報をＣＤ−Ｒ等（recordable compact disc）に記憶させることのできるプリンタについて説明する。

＝＝＝プリンタ＝＝＝
＜プリンタ１の構成について＞
まず、プリンタ１の構成について説明する。ここで、図１は、プリンタ１、及び、このプリンタ１に接続されるＣＤ−Ｒ装置１００の外観を説明する図である。図２は、プリンタ１の電気的構成を説明するためのブロック図である。

図１に示すように、プリンタ１の前面部には、操作パネル２、液晶表示部３、及び排紙部４が設けられている。操作パネル２には、各種の操作ボタン５やカードスロット６が設けられている。操作ボタン５はプリンタ１に対する指令を行う際に操作される。また、カードスロット６はメモリカード１１０（カード型のフラッシュメモリ，図２を参照。）が装着される部分である。このメモリカード１１０には、例えば、デジタルカメラ１２０で撮影された画像の画像情報が記憶される。なお、このメモリカード１１０には、いくつもの種類があるので、各メモリカード１１０が装着できるように、カードスロット６も複数用意されている。液晶表示部３は、各種の情報を表示する。この液晶表示部３は、メニューを表示させたり、メモリカード１１０に記憶されている画像情報の画像を表示させたりする部分である。本実施形態では、この液晶表示部３を操作ボタン５の上方に配置している。

排紙部４には、開閉可能な排紙トレーが設けられている。排紙トレーは、上部を前方に倒すことができるように取り付けられている。そして、この排紙トレーは、印刷時において、印刷済みの用紙が載せられる台として機能する。一方、プリンタ１の背面部には、給紙部７と各種のコネクタ（図示せず。）とが設けられている。給紙部７は、印刷に用紙を重ねて保持可能な部分である。また、コネクタは、ＣＤ−Ｒ装置１００やデジタルカメラ１２０等の外部装置と接続するための部分であり、例えばＵＳＢ端子である。

図１の例において、ＣＤ−Ｒ装置１００はケーブル１０２を介してプリンタ１に接続されている。なお、プリンタ１への接続は、ケーブル１０２に限らず無線であってもよい。このＣＤ−Ｒ装置１００は、メモリカード１１０に記憶された画像情報を、ＣＤ−Ｒ１０４にバックアップする際に用いられる。また、このＣＤ−Ｒ装置１００をプリンタ１に接続することにより、ＣＤ（compact disc，図示せず。）やＣＤ−Ｒ１０４に記憶された画像情報を印刷することもできる。

次に、プリンタ１の電気的構成について説明する。図２に示すように、プリンタ１は、ヘッドユニット２０、用紙搬送機構３０、キャリッジ移動機構４０、検出器群５０、プリンタ側コントローラ６０、液晶表示部３、操作ボタン５、及びカードスロット６を有する。また、これらの他に、プリンタ１は、ホストコンピュータ１３０と接続するための第１インタフェース１２と、デジタルカメラ１２０やＣＤ−Ｒ装置１００と接続するための第２インタフェース１４とを有している。

ヘッドユニット２０は、インクを用紙に向けて吐出させるためのものであり、インクを吐出するヘッド２２を有する。このヘッドユニット２０は、キャリッジ（図示せず）に取り付けられており、キャリッジをキャリッジ移動方向に移動させるキャリッジ移動機構４０によって、キャリッジとともに移動する。用紙搬送機構３０は、キャリッジ移動方向と交差する方向に用紙を搬送する。検出器群５０は、プリンタ１の状態を検出するためのものであり、例えば、キャリッジの位置を検出するためのリニア式エンコーダ、紙の搬送量を検出するためのロータリー式エンコーダ、及び用紙の有無を検出するための紙検出器（いずれも図示せず。）等が含まれる。

プリンタ側コントローラ６０は、プリンタ１の制御を行うものである。このプリンタ側コントローラ６０は、ＣＰＵ６２と、メモリ６４と、制御ユニット６８とを有する。ＣＰＵ６２は、プリンタ１の全体的な制御を行うための演算処理装置である。メモリ６４は、ＣＰＵ６２のプログラムを格納する領域や作業領域等を確保するためのものであり、ＲＡＭ、ＥＥＰＲＯＭ、ＲＯＭ等の記憶素子によって構成される。そして、画像情報の評価時において、メモリ６４には評価対象の画像情報が格納される。制御ユニット６８は、制御対象となる各部とＣＰＵ６２との間に配置され、ＣＰＵ６２からのコマンドに基づいてモータ用の駆動信号を生成したり、各部から送られてくる信号を、ＣＰＵ６２が解釈できる形態にして出力したりする。

通常、プリンタ１は、ホストコンピュータ１３０から印刷データを受信すると、印刷データに基づいて印刷処理を行う。すなわち、印刷データの受信後、プリンタ側コントローラ６０は、用紙搬送機構３０に印刷開始位置まで用紙を搬送させ、キャリッジ移動機構にキャリッジをキャリッジ移動方向に移動させ、キャリッジとともに移動するヘッドから印刷データに基づいてインクを吐出させる。そして、これらの動作が繰り返し行われると、用紙に画像が印刷される。

さらに、本実施形態のプリンタ１は、画像情報のバックアップ処理を行う。バックアップ処理では、プリンタ側コントローラ６０は、カードスロット６に装着されたメモリカード１１０から画像情報を、ＣＤ−Ｒ装置１００によってＣＤ−Ｒに記憶させる。このバックアップ処理は、ユーザーが操作ボタン５を操作することにより、開始される。なお、本実施形態では、このバックアップ処理において、画像情報の評価も行われる。以下に、バックアップ処理、及び、画像情報の評価処理について説明する。

＝＝＝画像情報の評価・バックアップ＝＝＝
＜バックアップ処理の概略について＞
図３は、バックアップ処理を説明するフローチャートである。この処理は、プリンタ１のメモリ６４に記憶されたプログラムに基づいて、ＣＰＵ６２により実行される。このため、プログラムは、これらの処理をＣＰＵ６２に実行させるためのコードを有する。

この処理では、まず、評価画像情報の取得が行われる（Ｓ１１０）。ここで、評価画像情報とは、評価の対象となる画像情報のことである。この処理では、メモリカード１１０に記憶されたバックアップ対象となる画像情報の中から評価画像情報が１つ定められ、この評価画像情報がメモリ６４に記憶される。従って、バックアップ対象となる画像情報が複数ある場合には、その中の１つが評価画像情報として取得される。また、バックアップ対象となる画像情報が１つである場合には、その画像情報が評価画像情報として取得される。
次に、画像評価処理が行われる（Ｓ１２０）。この画像評価処理では、評価画像情報に関し、手ぶれ評価及びピンボケ評価が行われる。なお、この画像評価処理については、後で説明する。

次に、全ての画像情報について評価が行われたか否かが判断される（Ｓ１３０）。ここで、未評価の画像情報がある場合には、ステップＳ１１０に戻って前述した処理が行われる。一方、全ての画像情報の評価が終了した場合には、バックアップされる画像情報を確認する処理が行われる（Ｓ１４０）。この処理では、画像評価処理（Ｓ１２０）での評価結果に基づき、基準を満たさない画像情報に関してバックアップの対象とするか否かを、ユーザーに確認する。このとき、ユーザーに確認を促す画面が液晶表示部３に表示され、操作ボタンからの入力に応じてバックアップされる画像情報が確定される。そして、バックアップされる画像情報が確定されたならば、確定された画像情報をＣＤ−Ｒ１０４に書き込む（Ｓ１５０）。この書き込み処理では、ステップＳ１２０で求められた評価結果（評価の内容）を、評価対象の画像情報と共に記憶させる。例えば、Ｅｘｉｆ（exchangeable image file format）における付属情報として、評価結果が記憶される。

＝＝＝画像評価処理＝＝＝
図４は、画像評価処理を説明するためのフローチャートである。この画像評価処理では、評価範囲の設定（Ｓ２１０）、手ぶれ評価（Ｓ２２０）、ピンぼけ評価（Ｓ２４０）、及び評価結果の記憶（Ｓ２５０）の処理が行われる。
以下、各処理について説明する。なお、画像中の水平方向をＸ方向とし、垂直方向をＹ方向とする。また、画像情報を構成する各画素Ｐ（図６Ｂ等を参照。）は、画像情報における水平方向の位置ｉと、垂直方向の位置ｊを用いて、Ｐ（ｉ、ｊ）として表される。

＜評価範囲の設定（Ｓ２１０）＞
図５は、評価範囲の設定（Ｓ２１０）を説明するためのフローチャートである。各処理は、プリンタ１のメモリ６４に記憶されたプログラムに基づいて、ＣＰＵ６２により実行される。このため、プログラムは、これらの処理をＣＰＵ６２に実行させるためのコードを有する。
また、図６Ａは、２５６個のブロックＢＫに分割された画像情報を説明するための概念図である。図６Ｂは、隣り合う画素同士の輝度差を説明するための概念図である。図６Ｃは、最もエッジが多いブロックＢＫを含む評価範囲ＥＶを示す概念図である。
この評価範囲の設定では、画像情報の中から評価範囲ＥＶが特定される。なお、評価範囲ＥＶは、手ぶれ評価（Ｓ２２０）及びピンぼけ評価（Ｓ２３０）が行われる範囲になる。

まず、ＣＰＵ６２は、評価画像情報の色空間を変換する（Ｓ２１１）。例えば、ＲＧＢ色空間で表現された評価画像情報が、ＹＩＱ色空間（Ｙ（輝度）、Ｉ（オレンジ−シアン）、Ｑ（緑−マゼンタ）の色空間）の画像情報に変換される。なお、デジタルカメラで撮影された画像情報が、ＲＧＢ色空間のビットマップ情報ではなくＪＰＥＧ形式の情報であるときは、評価画像情報の色空間をＹＵＶ色空間に変換しても良い。要するに、評価画像情報の色空間が、輝度（Ｙ）の成分を含む色空間に変換されれば良い。

次に、ＣＰＵ６２は、輝度画像情報を抽出する（Ｓ２１２）。上記のＳ２１１の変換処理によって生成されたＹＩＱ色空間の画像情報は、Ｙ平面の画像情報と、Ｉ平面の画像情報と、Ｑ平面の画像情報とを有する。このうちのＹ平面の画像情報が、輝度画像情報として抽出される。

次に、ＣＰＵ６２は、輝度画像情報を分割する（Ｓ２１３）。本実施形態では、図６Ａに示されるように、輝度画像情報が、１６×１６分割され、２５６個のブロックＢＫに分割される。例えば、輝度画像情報が６４０×４８０画素から構成される場合、各ブロックＢＫは、４０×３０画素から構成されることになる。

次に、ＣＰＵ６２は、輝度画像情報の画素毎に隣接画素との輝度差を算出し、ブロック毎に輝度差の合計を算出する（Ｓ２１４）。ここで、説明の都合上、各ブロックＢＫが、図６Ｂに示すように、左上端の画素Ｐ（ｉ，ｊ）から右下端の画素Ｐ（ｉ＋３，ｊ＋２）までの１２画素で構成されているものとする。この場合、ＣＰＵ６２は、画素Ｐ（ｉ＋１，ｊ）の輝度Ｙ（ｉ＋１，ｊ）から画素Ｐ（ｉ，ｊ）の輝度Ｙ（ｉ，ｊ）を減算することで、画素Ｐ（ｉ，ｊ）の水平方向の輝度差を算出する。同様に、ＣＰＵ６２は、画素Ｐ（ｉ＋２，ｊ）の輝度Ｙ（ｉ＋２，ｊ）から画素Ｐ（ｉ＋１，ｊ）の輝度（ｉ＋１，ｊ）を減算することで、画素Ｐ（ｉ＋１，ｊ）の水平方向の輝度差を算出する。このような演算を、ブロックＢＫ内の全画素に対して行う。そして、輝度差の絶対値を合計することで、そのブロックＢＫにおける水平方向の輝度差の合計を算出する。また、同様に、ＣＰＵ６２は、各ブロックＢＫにおける垂直方向の輝度差の合計も算出する。そして、ＣＰＵ６２は、ブロック毎に、水平方向の輝度差の合計と、垂直方向の輝度差の合計とを加算して、各ブロックの輝度差の総合計を算出する。

次に、ＣＰＵ６２は、得られた輝度差の総合計を各ブロックＢＫで比較し、輝度差の総合計が最大のブロックＢＫを特定する（Ｓ２１５）。輝度差の総合計が最大のブロックＢＫに属する画素は、隣接画素との間で輝度差が大きいと考えられる。すなわち、エッジの数が最も多いブロックＢＫと考えられる。例えば、図６Ａの画像情報では、人物の顔の部分が最も輝度差が多くなると考えられる。このため、人物の顔の部分に対応するブロックＢＫが、輝度差の総合計が最大のブロックＢＫ（ｍａｘ）と特定される。

次に、ＣＰＵ６２は、特定されたブロックＢＫ（ｍａｘ）に基づいて、評価範囲ＥＶを設定する（Ｓ２１６）。この評価範囲ＥＶは、輝度差の総合計の最も大きいブロックＢＫ（ｍａｘ）が中央部分に配置されるように、定められる。また、画像情報に対応するサイズを所定比率で縮小したサイズに定められる。例えば、６４０×４８０画素の画像情報に対して０．２５の比率（画像情報に対応するサイズを、１６等分したサイズ）で評価範囲ＥＶが定められると、図６Ｃに示されるように、評価範囲ＥＶは、１６０×１２０画素（４×４ブロック分）の範囲になる。

このように設定された評価範囲は、以下のような特徴がある。通常、デジタルカメラで撮影された画像情報の場合、ピントの合っている部分では輪郭が明確になる。画像の輪郭が明確な場合、その画像情報のその部分の隣接画素間の輝度差は大きい。評価範囲は、最も輝度差の大きいブロックＢＫを含む範囲であるため、上記の処理により設定された評価範囲ＥＶは、画像情報の中でピントの合っている部分と考えられる。

そして、ＣＰＵ６２は、この評価範囲に対して、以下に説明する手ぶれ評価及びピンボケ評価を行う。

＜手ぶれ評価（Ｓ２２０）＞
手ぶれとは、シャッターを押すときにカメラを動かしてしまう状態である。この状態で撮影を行うと、シャッターが開いている間に、被写体の像が移動する。この結果、手ぶれの状態で撮影された画像は、被写体がくっきりと撮影されず、所定の方向（手ぶれ方向）にダブった感じでぼやけた画像になる。シャッタースピードが遅い（シャッターが開いてから閉じるまでの時間が遅い）と、手ぶれの影響を受け易い。また、デジカメで液晶モニタを見ながら撮影を行うと、撮影者の姿勢が不安定になり易く、手ぶれを生じさせ易い。

図７は、手ぶれによる画像の影響を概念的に説明するための説明図である。図中の実線は、シャッターが開いた時の像の位置を示している。一方、図中の点線は、シャッターが閉じる時の像の位置を示している。つまり、手ぶれの状態で撮影すると、被写体の像が、実線の位置から点線の位置へ移動する。ここでは、実線で示される像が、水平方向にＤｍだけ移動する。すなわち、手ぶれが生じた場合、被写体における或る点は、水平方向の長さＤｍの線として撮影される。言い換えると、手ぶれが生じた場合、被写体における或る点は、手ぶれ方向θｍの長さＤｍの線として撮影される。この結果、撮影された画像は、図中の実線の像と点線の像との間でぼやけた画像になる。

そして、水平方向に手ぶれした状態で撮影された画像情報では、水平方向に隣接する画素間の輝度差が小さくなる。一方、垂直方向に隣接する画素間の輝度差は、水平方向と比較すると、小さくなりにくい。言い換えると、手ぶれした状態で撮影された画像情報は、手ぶれ方向θｍの方向に隣接する画素間の輝度差は小さくなるが、手ぶれ方向θｍと垂直な方向に隣接する画素間の輝度差は小さくなりにくいという性質を持つ。

本実施形態の手ぶれ評価（Ｓ２２０）は、このような画像情報に基づいて、撮影時の手ぶれの方向である手ぶれ方向角θｍの評価と、手ぶれの程度Ｄｍの評価を行うものである。以下、手ぶれ方向角θｍの評価と、手ぶれ程度Ｄｍの評価とを分けて説明する。

・手ぶれ方向角θｍの評価
図８は、手ぶれ方向角θｍの評価を説明するためのフローチャートである。各処理は、プリンタ１のメモリ６４に記憶されたプログラムに基づいて、ＣＰＵ６２により実行される。このため、プログラムは、これらの処理をＣＰＵ６２に実行させるためのコードを有する。

まず、ＣＰＵ６２は、前述のＳ２１０で設定された評価範囲ＥＶの輝度画像情報を取得する（Ｓ２２１）。ここでは、Ｓ２１２における全範囲の輝度画像情報から、評価範囲ＥＶの輝度画像情報を抽出しても良い。又は、ＲＧＢ色空間の評価画像情報から評価範囲ＥＶの画像情報を抽出し、抽出された画像情報を色変換して輝度画像情報を取得しても良い。

次に、ＣＰＵ６２は、Ｘ方向のソーベルフィルタを適用することにより、Ｘ方向の輝度の勾配を示すエッジ勾配画像Ｇｘを算出し、Ｙ方向のソーベルフィルタを適用することにより、Ｙ方向の輝度の勾配を示すエッジ勾配画像Ｇｙを算出する（Ｓ２２２）。言い換えると、ＣＰＵ６２は、Ｘ方向のソーベルフィルタを適用することにより、輝度画像情報のＸ方向のエッジを抽出し、Ｙ方向のソーベルフィルタを適用することにより、輝度画像情報のＹ方向のエッジを抽出する。なお、エッジ勾配画像Ｇｘを構成する画素をＧｘ（ｉ，ｊ）とし、エッジ勾配画像Ｇｙを構成する画素をＧｙ（ｉ，ｊ）とする。Ｇｘ（ｉ，ｊ）は、輝度画像情報の位置（ｉ，ｊ）におけるＸ方向のエッジ勾配を示し、Ｇｙ（ｉ，ｊ）は、輝度画像情報の位置（ｉ，ｊ）のＹ方向のエッジ勾配を示すことになる。

ここで、ソーベルフィルタの適用について説明する。図９Ａは、エッジ画像の生成に使用されるＸ方向のソーベルフィルタを説明する図である。図９Ｂは、エッジ画像の生成に使用されるＹ方向のソーベルフィルタを説明する図である。図９Ｃは、或る画素Ｐ（ｉ，ｊ）を中心とする３×３画素の範囲、及び、この範囲内の画素Ｐの輝度Ｙを説明する模式図である。また、図１０は、ソーベルフィルタの適用を模式的に説明する図である。

ソーベルフィルタは、３×３の９要素からなるフィルタである。図９Ｃに示される画素Ｐ（ｉ，ｊ）に対してソーベルフィルタを適用するということは、その画素Ｐ（ｉ，ｊ）の近傍に存在する３×３画素の輝度Ｙ（ｉ−１，ｊ−１）〜Ｙ（ｉ＋１，ｊ＋１）に対して、ソーベルフィルタに対応する要素との積を算出し、得られた９個の積の和を求めるということである。例えば、画素Ｐ（ｉ，ｊ）に対してＸ方向のソーベルフィルタを適用した場合、Ｇｘ（ｉ，ｊ）は、以下のように算出される。

Ｘ方向のソーベルフィルタ及びＹ方向のソーベルフィルタを輝度画像情報Ｙ（ｉ，ｊ）にそれぞれ適用すると、図１０の斜線で示されるように、画素Ｐ（ｉ，ｊ）を中心とする３×３画素に基づいて、Ｘ方向のエッジ勾配Ｇｘ（ｉ，ｊ）及びＹ方向のエッジ勾配Ｇｙ（ｉ，ｊ）が求められる。

なお、水平方向（Ｘ方向）に手ぶれした状態で撮影された画像情報に対して、Ｘ方向のソーベルフィルタを適用すると、Ｘ方向の輝度の勾配は小さいので、各画素でのエッジ勾配Ｇｘ（ｉ，ｊ）は小さい値になる。一方、Ｙ方向のソーベルフィルタを適用すると、各画素でのエッジ勾配Ｇｙ（ｉ，ｊ）は、Ｇｘ（ｉ，ｊ）と比較して、大きい値になり易い。言い換えると、手ぶれ方向θｍが０度又は１８０度に近いほど、Ｇｘ（ｉ，ｊ）は、Ｇｙ（ｉ，ｊ）と比較して、大きい値になり易い。また、手ぶれ方向θｍが９０度に近いほど、Ｇｙ（ｉ，ｊ）は、Ｇｘ（ｉ，ｊ）と比較して、大きい値になり易い。

次に、ＣＰＵ６２は、０〜１８０度（π）の範囲における各方向のエッジ強度を算出する（Ｓ２２３）。ある画素において、その画素のθｎ方向のエッジ勾配は、ｃｏｓθｎ・Ｇｘ（ｉ，ｊ）＋ｓｉｎθｎ・Ｇｙ（ｉ，ｊ）と算出されるため、ＣＰＵ６２は、画像全体のθｎ方向のエッジ強度Ｅ（ｎ）を次式のように算出する。

つまり、ＣＰＵ６２は、各画素のθｎ方向のエッジ勾配を算出し、全画素のθｎ方向のエッジ勾配の絶対値の総和を算出する。そして、ＣＰＵ６２は、１度ずつθを変更し、０〜１８０度の範囲における各方向のエッジ強度を算出する（Ｅ（０）〜Ｅ（１７９）をそれぞれ算出する。）
ところで、手ぶれした状態で撮影された画像情報では、手ぶれ方向と同じ方向のエッジがぼやけてしまうので、手ぶれ方向のエッジ勾配が小さくなる。一方、手ぶれ方向と垂直な方向のエッジは、残り易い。このため、各方向のエッジ強度のうち、最も小さいエッジ強度に対応する角度が、手ぶれ方向と考えられる。また、最も大きいエッジ強度に対応する角度と垂直な方向が、手ぶれ方向と考えられる。但し、エッジ強度の最大値又は最小値に基づいて手ぶれ方向を決定すると、ノイズの多い画像情報に対しては誤評価するおそれがある。そこで、本実施形態では、以下のようにして、手ぶれの方向を決定している。

まず、ＣＰＵ６２は、全角度の範囲のエッジ強度の平均（以下、全範囲エッジ強度平均と呼ぶ）μを算出する（Ｓ２２４）。そして、ＣＰＵ６２は、判定角度θｎを起点とする四分円Ｑ１の範囲のエッジ強度の平均（第１エッジ強度平均と呼ぶ）μ１（ｎ）と、この四分円Ｑ１に属さない四分円Ｑ２の範囲のエッジ強度の平均μ２（ｎ）を算出する。図１１は、四分円Ｑ１及びＱ２の説明図である。図中の斜線の部分が四分円Ｑ１であり、斜線が施されていない部分が四分円Ｑ２である。ここで、第１エッジ強度平均μ１は、四分円Ｑ１を二等分する方向（θｎ＋π／４）のエッジ勾配を反映したエッジ強度を示すことになる。また、第２エッジ強度平均μ２は、四分円Ｑ２を二等分する方向（θｎ＋３π／４）のエッジ勾配を反映したエッジ強度を示すことになる。

次に、ＣＰＵ６２は、その判定角度θｎについて計算した第１エッジ強度平均μ１（ｎ）と全範囲エッジ強度平均μとの偏差の絶対値と、第２エッジ強度平均μ２（ｎ）と全範囲エッジ強度平均μ２（ｎ）と全範囲エッジ強度平均μとの偏差の絶対値との和（以下、平均強度偏差ＤＥＶ（ｎ）と呼ぶ）を算出する（Ｓ２２５）。ＣＰＵ６２は、０〜１８０度の範囲における各方向の平均強度偏差ＤＥＶを算出する。なお、判定角度θｎについての平均強度偏差ＤＥＶ（ｎ）は、次式のようになる。

そして、ＣＰＵ６２は、各方向の平均強度偏差のうち、最も大きい平均強度偏差（以下、最大平均強度偏差と呼ぶ）ＤＥＶ（ｍａｘ）を抽出する（Ｓ２２６）。この最大平均強度偏差ＤＥＶ（ｍａｘ）に対応するＱ１及びＱ２では、第１エッジ強度平均μ１及び第２エッジ強度平均μ２が最大値又は最小値になる。そして、この最大平均強度偏差ＤＥＶ（ｍａｘ）に対応するＱ１及びＱ２では、エッジ強度の最も強い方向又はエッジ強度の最も弱い方向が、それぞれの四分円を二等分していることになる。

そこで、ＣＰＵ６２は、最大平均強度偏差ＤＥＶ（ｍａｘ）に対応する第１エッジ強度平均μ１（ｍａｘ）と第２エッジ強度平均μ２（ｍａｘ）との大小を比較し、第１エッジ強度平均μ１が第２エッジ強度平均μ２よりも小さいときには、最大平均強度偏差ＤＥＶ（ｍａｘ）に対応する判定角度θｍａｘにπ／４を加えた角度を手ぶれ方向θｍとして算出し、第１エッジ強度平均μ１が第２エッジ強度平均μ２よりも大きいときには、最大平均強度偏差ＤＥＶ（ｍａｘ）に対応する判定角度θｍａｘに３π／４を加えた角度を手ぶれ方向θｍとして算出する（Ｓ２２７）。

・手ぶれ程度Ｄｍの評価
図１２は、手ぶれ程度Ｄｍの評価を説明するためのフローチャートである。各処理は、プリンタ１のメモリ６４に記憶されたプログラムに基づいて、ＣＰＵ６２により実行される。このため、プログラムは、これらの処理をＣＰＵ６２に実行させるためのコードを有する。

まず、ＣＰＵ６２は、手ぶれ方向のエッジ勾配画像Ｒｍを算出する（Ｓ２２１）。エッジ勾配画像Ｒｍ（ｉ，ｊ）は、輝度画像情報Ｙ（ｉ，ｊ）に対して、手ぶれ方向θｍのソーベルフィルタを適用して、算出する。

次に、算出されたエッジ勾配画像Ｒｍに対して、手ぶれ方向θｍと垂直な方向θｍｖのソーベルフィルタを適用して、エッジ勾配画像Ｒｍｖを算出する（Ｓ２３２）。なお、手ぶれした画像情報におけるエッジ勾配画像Ｒｍｖは、多数の輝点が手ぶれ方向に伸びているような画像になる。そして、各輝点の手ぶれ方向の長さは、手ぶれ程度Ｄｍとほぼ一致している。言い換えると、エッジ勾配画像Ｒｍｖの輝点の長さを検出できれば、手ぶれ程度Ｄｍを検出できることになる。

そこで、ＣＰＵ６２は、得られたエッジ勾配画像Ｒｍｖから、手ぶれ方向θｍに所定数のサンプルラインを抽出する（Ｓ２３３）。図１３Ａは、サンプルラインの概念図である。図１３Ｂは、サンプルラインによって定義される関数Ｓｋ（ｘ）の説明図である。本実施形態では、サンプルラインはＬ個の画素から構成される。サンプルラインを構成する各画素はｘ軸方向に並べられ、関数Ｓｋ（ｘ）は、位置ｘに対応する画素のエッジ勾配画像Ｒｍｖでの大きさを示す。但し、サンプルラインを構成する画素はＬ個だけなので、ｘ＜０及びｘ＞Ｌ−１においてＳｋ（ｘ）＝０とする。ところで、上記の通り、エッジ勾配画像Ｒｍｖは、多数の輝点が手ぶれ方向に伸びているような画像になるので、関数Ｓｋ（ｘ）は図１３Ｂのような関数になる。すなわち、抽出されたサンプルラインに前述の輝点が含まれていれば、関数Ｓｋ（ｘ）は、Ｄｍの範囲で高い値になる。

次に、ＣＰＵ６２は、次式の通り、各サンプルラインの示す関数Ｓｋ（ｘ）に基づいて、各サンプルラインに対する自己相関関数ＡＣＦｋ（τ）を算出する（Ｓ２３４）。

自己相関関数ＡＣＦｋ（τ）は、Ｓｋ（ｘ）と、Ｓｋ（ｘ）をτだけシフトさせたＳｋ（ｘ＋τ）との自己相関関係を求めるものである。言い換えると、自己相関関数ＡＣＦｋ（τ）は、Ｓｋ（ｘ）とＳｋ（ｘ＋τ）との一致している度合いを示すものである。自己相関関数ＡＣＦｋ（τ）が高い値ほど、Ｓｋ（ｘ）とＳｋ（ｘ＋τ）とが一致していることを示す。

図１３Ｃは、Ｓｋ（ｘ）とＳｋ（ｘ＋τ）の一致の度合いの説明図である。既に説明したように、関数Ｓｋ（ｘ）は、Ｄｍの範囲で高い値を示す関数である。このため、Ｓｋ（ｘ）をτだけシフトさせたＳｋ（ｘ＋τ）も、Ｄｍの範囲で高い値を示す関数になる。このため、Ｓｋ（ｘ）とＳｋ（ｘ＋τ）は、Ｄｍ−τの範囲において、高い値が一致している。つまり、高い値が一致する範囲は、τの値が小さいほど広くなり、τの値がＤｍ以上になるとなくなる。この結果、自己相関関数ＡＣＦｋ（τ）は、τ＝０からτ＝Ｄｍの範囲では、τが０に近いほど高い値になり、τがＤｍに近いほど低い値にある。また、τ＞Ｄｍでは、Ｓｋ（ｘ）とＳｋ（ｘ＋τ）の相関関係がなくなる。

そこで、ＣＰＵ６２は、全てのサンプルライン上の自己相関関数ＡＣＦｋ（τ）の平均として平均自己相関関数ＡＣＦａｖｅを計算し、平均自己相関関数ＡＣＦａｖｅが最小となる変位τを手ぶれ程度Ｄｍとする（Ｓ２３５）。図１４は、変位τと平均自己相関関数ＡＣＦａｖｅと手ぶれの程度Ｄｍとの関係を示す図である。

＜ピンボケ評価＞
ピンボケとは、ピントの合っていない状態のことである。ピントの合っていない状態で撮影を行うと、被写体がフィルム上（デジカメの場合、ＣＣＤセンサ上）で像が結ばれない。この結果、ピントが合っていない状態で撮影したとき、撮影された画像は、ぼやけた画像になる。
このように、ぼやけた画像の原因として、手ぶれとピンボケがある。前述の手ぶれの状態で撮影を行うと、被写体の或る一点の情報が、手ぶれ方向に並ぶ長さＤｍの複数の画素に分布して記録されることになる。一方、ピントの合っていない状態で撮影を行うと、被写体の或る一点の情報が、同心円内の複数の画素に分布して記録されることになる。本実施形態のピンボケ評価では、ピンボケの画像情報のこの性質を利用している。

図１５は、ピンボケ評価を説明するためのフローチャートである。各処理は、プリンタ１のメモリ６４に記憶されたプログラムに基づいて、ＣＰＵ６２により実行される。このため、プログラムは、これらの処理をＣＰＵ６２に実行させるためのコードを有する。

まず、ＣＰＵ６２は、前述のＳ２３２で算出したものと同じ、手ぶれ方向θｍと垂直な方向θｍｖのエッジ勾配画像Ｒｍｖを取得する（Ｓ２４２）。前述のＳ２３２で算出したエッジ勾配画像Ｒｍｖを記憶しておき、Ｓ２４２において読み出しても良い。また、前述のＳ２３２と同様の方法で、再度算出しても良い。

次に、ＣＰＵ６２は、エッジ勾配画像Ｒｍｖから、手ぶれ方向θｍと垂直な方向に所定数のサンプルラインを抽出する（Ｓ２４２）。前述のＳ２３３と比較すると、抽出されるサンプルラインの方向が、９０度異なっている。この場合、前述の手ぶれ評価で算出した手ぶれ方向θｍに垂直な方向θｍｖに関する情報を利用することができる。

次に、ＣＰＵ６２は、前述のＳ２３４と同様に自己相関関数ＡＣＦｋ（τ）を算出し（Ｓ２４３）、前述のＳ２３５と同様に手ぶれ程度Ｄｍｖを決定する（Ｓ２４４）。ここでの処理は、前述のＳ２３４及びＳ２３５と同じなので、説明を省略する。

なお、ピンボケしていない画像情報（手ぶれのみの原因によるぼやけた画像情報も含む）では、被写体の或る一点の情報が、手ぶれ方向θｍに垂直な方向θｍｖには分布しないので、この方向θｍｖのぶれ程度Ｄｍｖは小さくなる。一方、ピンボケした画像情報では、被写体の或る一点の情報が同心円状に分布しているため、手ぶれ方向θｍに垂直な方向θｍｖのぶれ程度Ｄｍｖが大きくなる。

次に、ＣＰＵ６２は、手ぶれ方向θｍの手ぶれ程度Ｄｍと、手ぶれ方向θｍに垂直な方向θｍｖのぶれ程度Ｄｍｖとの比率ｒ（＝Ｄｍ／Ｄｍｖ）を算出する（Ｓ２４６）。そして、ＣＰＵ６２は、比率ｒが所定の閾値（Ｓ２４５の閾値とは異なる）よりも小さいか否かを、判断する（Ｓ２４７）。比率ｒが閾値よりも大きければ（Ｓ２４７でＮ）、ピンボケなしと評価される（Ｓ２４９）。一方、比率ｒが閾値よりも小さければ（Ｓ２４７でＹ）、ピンボケがあると評価される（Ｓ２４７）。この場合、手ぶれ方向θｍに垂直な方向θｍｖの手ぶれ程度Ｄｍｖが、ピンボケの程度を示す値になる。

ここで、ピンボケした状態で、更に手ぶれした状態で撮影されることがある。このときの画像情報に対して前述の手ぶれ評価を行うと、手ぶれ程度Ｄｍに、ピンボケによる影響が含まれてしまう。このため、ピンボケがあると評価された場合（Ｓ２４６でＹ）、ＣＰＵ６２は、ピンボケの影響分を除去するように、手ぶれ評価で算出した手ぶれ程度Ｄｍを修正する（Ｓ２４８）。このとき、ＣＰＵ６２は、ピンボケ程度Ｄｍや比率ｒに基づいて、手ぶれ程度Ｄｍを修正する。

本実施形態のピンボケ評価によれば、前述の手ぶれ評価の処理を利用することができるので、例えば以下の処理が軽減される。
例えば、ピンボケ評価のＳ２４１（θｍｖ方向のエッジ勾配画像の取得）において、手ぶれ評価のＳ２３２で算出したエッジ勾配画像Ｒｍｖを利用することができる（エッジ勾配画像Ｒｍｖは、前述の手ぶれ評価で算出した手ぶれ方向θｍ及びこれに垂直な方向θｍｖに関する情報でもある）。この場合、エッジ勾配画像Ｒｍｖを再度算出しなくて良いので、ピンボケ評価のＳ２４２におけるＣＰＵ６２の負荷を軽減することができる。

また、ピンボケ評価のＳ２４１（θｍｖ方向のエッジ勾配画像の取得）では、手ぶれ評価のＳ２３２と同様の方法で、エッジ勾配画像Ｒｍｖを再度算出しても良い。但し、手ぶれ評価ではＳ２３２を行う前に手ぶれ方向θｍを算出する処理（Ｓ２２１〜Ｓ２２７）が行われるが、ピンボケ評価のＳ２４２では、手ぶれ方向θｍの算出を再度行う必要はないので、エッジ勾配画像Ｒｍｖを算出の負荷が軽減される。また、手ぶれ評価のＳ２３２で用いられるプログラムを、ピンボケ評価のＳ２４２で再度利用することができるので、ピンボケ評価のプログラムを簡略化できる。

また、ピンボケ評価のＳ２４３は手ぶれ評価のＳ２３４と同じ処理なので、ピンボケ評価のプログラムを簡略化できる。すなわち、手ぶれ評価のＳ２３４の処理を行うプログラムは、サンプルラインの情報を引数としてＡＣＦｋ（τ）を返すものであるので、引数となるサンプルラインを変えれば、このプログラムをピンボケ評価のＳ２４３で利用することができる。

同様に、ピンボケ評価のＳ２４４は手ぶれ評価のＳ２３５と同じ処理なので、ピンボケ評価のプログラムを簡略化できる。すなわち、手ぶれ評価のＳ２４４の処理を行うポログラムは、各サンプルラインの自己相関関数ＡＣＦｋ（τ）を引数として手ぶれ程度Ｄｍを返すものなので、Ｓ２３４の処理結果を引数にすれば、このプログラムからピンボケ評価のＳ２４４の手ぶれ程度Ｄｍｖを得ることができる。

以上のように、本実施形態のピンボケ評価によれば、前述の手ぶれ評価の処理を利用することができるので、処理が軽減される。

＜評価結果の記憶（Ｓ２５０）＞
ある評価画像情報のピンボケ評価の後、ＣＰＵ６２は、評価結果の記憶を行う（Ｓ２５０）。評価結果には、手ぶれ評価（Ｓ２２０）で算出された手ぶれ方向θｍ及び手ぶれ程度Ｄｍと、ピンボケ評価（Ｓ２４０）で算出されたピンボケ程度Ｄｍｖと、が含まれる。これらの評価結果が、評価画像情報に対応付けられて、メモリ６４に記憶される。

なお、全ての画像情報について評価が行われた後（Ｓ１３０でＹ）、バックアップされる画像情報を確認する際に（Ｓ１４０）、ＣＰＵ６２は、液晶表示部３に、バックアップの対象とされる画像情報を、一つずつ順に表示する。このとき、液晶表示部３には、Ｓ２５０においてメモリ６４に記憶された評価結果に基づいて、表示されている画像情報に対応する評価結果（手ぶれ方向θｍ、手ぶれ程度Ｄｍ、ピンボケ程度Ｄｍｖ）が表示される。ユーザーは、液晶表示部３に表示された評価結果を見て、その画像情報をバックアップするか否かを、操作ボタン５で確定する。ユーザーは、例えば手ぶれ程度Ｄｍが大きいことを理由に、その画像情報のバックアップを行わないことにするかもしれない。このように、バックアップされる画像情報の確認の際に（Ｓ１４０）、液晶表示部３に評価結果が表示されることにより、ユーザーに判断資料を提示することができる。これにより、無駄な画像情報をＣＤ−Ｒに書き込むことが無くなる。

＝＝＝その他の実施の形態＝＝＝
上記の実施形態は、主としてプリンタについて記載されているが、その中には、コンピュータシステム、プログラム、プログラムを記憶した記憶媒体等の開示が含まれていることは言うまでもない。

また、一実施形態としてのプリンタ等を説明したが、上記の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることは言うまでもない。特に、以下に述べる実施形態であっても、本発明に含まれるものである。

＜適用製品について＞
前述の実施形態では、プリンタが説明されていたが、これに限られるものではない。例えば、上記の画像情報の評価処理が、画像処理ソフトをインストールしたパーソナルコンピュータで行われても良い。
このような画像処理ソフトでは、画像補正処理を行うことができる。そして、ピンボケの画像に対する補正処理として、アンシャープマスクフィルタが知られている。画像処理ソフトが画像情報に対してアンシャープマスクフィルタを適用すれば、画像のエッジが強調され、ピンボケの画像を補正することができる。

但し、画像がぼやける原因として手ぶれとピンボケがある。初心者にはぼやけた画像を見ても、それが手ぶれによるものなのか、ピンボケによるものなのか、判別が難しい。このため、手ぶれの画像を見たユーザーが、ピンボケによるものと判断し、その画像情報に対してピンボケ補正を行うことがある。逆に、ピンボケの画像を見たユーザーが、手ぶれによるものと判断し、その画像情報に対して手ぶれ補正を行うことがある。
しかし、手ぶれの画像情報に対してアンシャープマスクフィルタを適用しても、画像が適切に補正されない。このため、画像処理ソフトが、画像情報の評価結果に基づいて、ピンボケの補正を行うか、手ぶれの補正を行うか、自動的に選択することが望ましい。

ピンボケの補正及び手ぶれの補正が行われた場合、ユーザーに対して、補正結果をディスプレイ上に表示することが望ましい。ところで、ピンボケの補正及び手ぶれの補正が行われた場合、画像のエッジが強調され、画像の輪郭が鮮明になる。このように、画像の輪郭が鮮明になるように補正が行われた後、ディスプレイ上に表示する際に、補正後の画像情報に対して拡大／縮小処理が行われると、鮮明になった輪郭までもが変倍されてしまい、表示された画像が不自然になるおそれがある。この結果、元の画像情報に対して適切に画像補正が行われたにもかかわらず、適切な画像補正が行われていないとユーザーに判断されるおそれがある。このため、ピンボケの補正及び手ぶれの補正が行われた場合、補正後の画像情報を表示する際には、拡大／縮小処理を行わずに、等倍でディスプレイ上に表示することが望ましい。これにより、ユーザーは、補正後の画像情報を正しく認識することができる。

＝＝＝まとめ＝＝＝
（１）ぼやけた画像を見て、それが手ぶれによるものなのか、ピンボケによるものなのか、初心者には判別することが難しい。そこで、画像情報に対して、手ぶれ評価及びピンボケ評価を自動的に行うことが望ましい。しかし、手ぶれ評価とピンボケ評価の処理を全く別々のものにすると、処理に時間がかかってしまう。
そこで、前述の画像評価処理では、まず、ＣＰＵ６２は、評価対象である評価画像情報を取得した後（Ｓ１１０）、評価画像情報に基づいて手ぶれ方向θｍを求めて、画像情報の手ぶれ評価を行う（Ｓ２２０、Ｓ２２１〜Ｓ２２７）。そして、ＣＰＵ６２は、手ぶれ評価（Ｓ２２０）で求められた手ぶれ方向θｍに関する情報を利用して、評価画像情報のピンボケ評価を行う。
これにより、手ぶれ評価の結果である手ぶれ方向θｍに関する情報を、ピンボケ評価に利用しているので、ピンボケ評価の処理時間を軽減することができる。

（２）ここで、ピンボケ評価で利用される手ぶれ評価の結果としては、手ぶれ方向θｍの情報が含まれる。そして、ピンボケ評価において、ＣＰＵ６２は、手ぶれ方向θｍに垂直な方向θｍｖを算出し、その方向θｍｖのぶれの程度Ｄｍｖを評価する（Ｓ２４４）。

ここで、手ぶれ方向θｍと垂直な方向θｍｖのぶれの程度Ｄｍｖを算出するのは、以下の理由の通りである。手ぶれの影響によって画像がぼやけている場合、手ぶれ方向θｍに隣接する画素間の輝度差は小さくなる（エッジが不鮮明になる）が、手ぶれ方向θｍに垂直な方向θｍｖに隣接する画素間の輝度差は小さくなりにくい（エッジがつぶれにくい）。このため、手ぶれの影響を受けた画像では、手ぶれ方向θｍと垂直な方向θｍｖのぶれの程度Ｄｍｖは、手ぶれ方向θｍのぶれの程度と比較して、小さい。一方、ピンボケの影響によって画像がぼやけている場合、被写体の或る一点の情報が、同心円内の複数の画素に分布して記録される（言い換えると、ピンボケの場合、ある画素の情報は、被写体における同心円内の情報を含んでいる）。このため、ピンボケの画像では、全ての方向に隣接する画素間の輝度差が小さくなるので、手ぶれ方向θｍに垂直な方向θｍｖに隣接する画素間の輝度差が小さくなる（つまり、この方向θｍｖのぶれの程度Ｄｍは大きい）。したがって、手ぶれ方向θｍのぶれ程度Ｄｍと、手ぶれ方向θｍに垂直な方向θｍｖのぶれ程度Ｄｍｖとを比較すれば、手ぶれとピンボケとを判別できるのである。

（３）また、ピンボケ評価で利用される手ぶれ評価の結果としては、手ぶれ方向θｍに垂直な方向θｍのエッジ勾配画像Ｒｍｖが含まれる。通常、評価画像情報からエッジ勾配画像Ｒｍｖを取得する場合、手ぶれ方向θｍを算出し、評価画像情報に対して手ぶれ方向θｍに対するソーベルフィルタや、手ぶれ方向θｍに垂直な方向θｍｖに対するソーベルフィルタを適用してエッジ勾配画像Ｒｍｖを算出する必要がある。但し、前述の実施形態では、ピンボケ評価の前に手ぶれ評価を行っているため、手ぶれ評価の結果を利用してエッジ勾配画像Ｒｍｖを取得できるので、ピンボケ評価の処理時間が軽減される。

（４）前述の実施形態の手ぶれ評価では、手ぶれ方向θｍのサンプルラインをエッジ勾配画像Ｒｍｖから抽出している。また、前述の実施形態のピンボケ評価では、手ぶれ方向θｍに垂直な方向θｍｖのサンプルラインをエッジ勾配画像Ｒｍｖから抽出している。そして、サンプルラインのエッジの方向の変化を評価すれば、そのサンプルラインの方向のぶれの程度が評価できる。

（５）手ぶれの状態で撮影された画像は、図７に示すように、手ぶれ方向θｍに画像がぼやけた状態になる。このため、元の画像情報と、その画像情報を手ぶれ方向θｍにＤｍだけ変位させた画像情報とは、自己相関関係が高い。このため、ＣＰＵ６２は、手ぶれ評価の際に、手ぶれ方向θｍのサンプルラインの自己相関関数に基づいて、手ぶれの程度Ｄｍを評価することができる。

一方、ピンボケの状態で撮影された画像は、被写体の或る一点の情報が、同心円内の複数の画素に分布して記録される。このため、サンプルラインとこれを同心円の直径分だけ変位させたサンプルラインとは、自己相関関係が高い。このため、ＣＰＵ６２は、ピンボケ評価の際に、手ぶれ方向θｍに垂直な方向θｍｖのサンプルラインの自己相関関数に基づいて、ピンボケの程度Ｄｍｖを評価することができる。

（６）前述のピンボケ評価の処理は、手ぶれ評価の処理と共通化できる部分がある。例えば、ピンボケ評価のＳ２４２の処理（θｍｖ方向のサンプルラインの抽出）は、手ぶれ評価のＳ２３３の処理（θｍ方向のサンプルラインの抽出）とほぼ同様の処理である。このため、エッジ勾配画像Ｒｍｖとサンプルラインを抽出する方向を引数とし、サンプルラインを出力するようにプログラムを構成すれば、同じプログラム（又は同じハードウェア回路）を利用して、両方の処理を行うことができる。

（７）既に説明したとおり、ピンボケの影響によって画像がぼやけている場合、被写体の或る一点の情報が、同心円内の複数の画素に分布して記録される。このため、どの方向のぶれの程度を評価しても、同心円の直径を評価することができる。但し、手ぶれとピンボケの両方の影響を受けているおそれがあるので、手ぶれの影響のない方向（手ぶれ方向θｍに垂直な方向）のぶれの程度に基づいて、ピンボケの評価を行っている。

（８）前述の実施形態では、ＣＰＵ６２は、手ぶれ方向θｍの手ぶれ程度Ｄｍと、手ぶれ方向θｍに垂直な方向θｍｖのぶれ程度Ｄｍｖとの比率ｒ（＝Ｄｍ／Ｄｍｖ）に基づいて、ピンボケの程度を評価している。例えば、比率ｒが閾値よりも大きければピンボケなしと評価され、比率ｒが閾値よりも小さければピンボケありと評価される。これにより、画像がぼやけている場合に、それが手ぶれによるものなのか、ピンボケによるものなのかを判別することができる。

（９）前述の実施形態では、ＣＰＵ６２は、評価画像情報を１６×１６分割して２５６個のブロックに分割している（Ｓ２１３）。そして、分割された領域から特定の領域を選択し、選択された特定の領域に対して、手ぶれ評価を行っている。仮に、全画像情報に対して手ぶれ評価を行うと、ＣＰＵ６２の演算量が増えてしまい、処理に時間がかかってしまう。一方、前述の実施形態では、狭い領域に対して手ぶれ評価を行っているので、処理時間を軽減することができる。

（１０）前述の実施形態では、分割されたブロック毎に、そのブロック内の輝度差の合計を算出している。これにより、最もピントの合っているブロックでは、画像の輪郭が鮮明なので、隣接する画素間の輝度差が大きくなる。このため、輝度差が最も大きいブロックを抽出すれば、ピントの合っている部分を抽出することができる。
特に、被写体を強調するため被写体以外の背景をぼかして撮影を行った場合、画像全体に対して画像評価を行うと、被写体にピントが合っているにも関わらず、手ぶれやピンボケと評価されるおそれがある。これに対し、前述の画像評価では、ピントが最も合っている部分で評価を行うので、画像評価の精度が向上する。

（１１）画像がぼやける原因として手ぶれとピンボケがある。初心者には、ぼやけた画像を見ても、それが手ぶれによるものなのか、ピンボケによるものなのか、判別が難しい。このため、ぼやけた画像に対して、手ぶれ補正を行うか、ピンボケ補正を行うか、初心者には判断が難しい。そこで、前述の画像処理ソフトの実施形態では、手ぶれ評価の結果に基づいて画像情報に対して手ぶれ補正を行い、ピンボケ評価の結果に基づいて画像情報に対してピンボケ補正を行うことにしている。これにより、評価画像情報に対して自動的に手ぶれ補正又はピンボケ補正を行うことができ、初心者も適切な画像補正を行うことができる。

（１２）画像補正が行われると、画像の輪郭が鮮明になる。しかし、このような補正が行われた後、ディスプレイ上に表示する際に、補正後の画像情報に対して拡大／縮小処理が行われると、鮮明になった輪郭までもが変倍されてしまい、表示された画像が不自然になるおそれがある。この結果、元の画像情報に対して適切に画像補正が行われたにもかかわらず、適切な画像補正が行われていないとユーザーに判断されるおそれがある。そこで、前述の画像ソフトの実施形態では、補正後の画像情報をディスプレイ上に表示する際には、等倍表示することにしている。

（１３）前述の構成要素を全て含む画像評価方法によれば、全ての効果が得られるので、望ましい。しかし、前述の構成要素の全て含む必要がないことは、言うまでもない。

（１４）前述のプリンタ１を制御するプログラムは、ＣＰＵ６２（演算処理装置の一例）及びメモリ６４に、画像情報を取得させ、画像情報に基づいて手ぶれ方向θｍを求めて画像情報の手ぶれ評価を行わせ、手ぶれ評価で求められた手ぶれ方向θｍに関する情報を利用して、画像情報のピンボケ評価を行わせている。
また、前述の画像処理ソフトは、この画像処理ソフトをインストールしたパーソナルコンピュータのＣＰＵ（演算処理装置の一例）及びＲＡＭ（メモリの一例）に、画像情報を取得させ、画像情報に基づいて手ぶれ方向θｍを求めて画像情報の手ぶれ評価を行わせ、手ぶれ評価で求められた手ぶれ方向θｍに関する情報を利用して、画像情報のピンボケ評価を行わせている。
これにより、ピンボケ評価の処理時間を軽減できる。

（１５）前述のプリンタ１（画像情報評価装置の一例）は、画像情報を取得し、画像情報に基づいて手ぶれ方向θｍを求めて画像情報の手ぶれ評価を行い、手ぶれ評価で求められた手ぶれ方向θｍに関する情報を利用して画像情報のピンボケ評価を行う。

また、前述の画像処理ソフトをインストールしたパーソナルコンピュータ（画像情報評価装置の一例）も、画像情報を取得し、画像情報に基づいて手ぶれ方向θｍを求めて画像情報の手ぶれ評価を行い、手ぶれ評価で求められた手ぶれ方向θｍに関する情報を利用して画像情報のピンボケ評価を行う。

但し、画像情報評価装置としては、これに限られるものではない。例えば、デジタルカメラであっても良い。この場合、撮影した直後に、撮影された画像に対して評価を行い、撮影者に評価結果を表示することが望ましい。これにより、撮影者は、手ぶれやピンボケに気をつけて撮影を行うことができ、又は、撮影された画像情報を消去することもできる。

プリンタ１、及び、このプリンタ１に接続されるＣＤ−Ｒ装置１００の外観を説明する図である。 プリンタ１の電気的構成を説明するためのブロック図である。 バックアップ処理を説明するフローチャートである。 画像評価処理を説明するためのフローチャートである。 評価範囲の設定（Ｓ２１０）を説明するためのフローチャートである。 図６Ａは、２５６個のブロックＢＫに分割された画像情報を説明するための概念図である。図６Ｂは、隣り合う画素同士の輝度差を説明するための概念図である。図６Ｃは、最もエッジが多いブロックＢＫを含む評価範囲ＥＶを示す概念図である。 手ぶれによる画像の影響を概念的に説明するための説明図である。 手ぶれ方向角θｍの評価を説明するためのフローチャートである。 図９Ａは、Ｘ方向のソーベルフィルタを説明する図である。図９Ｂは、Ｙ方向のソーベルフィルタを説明する図である。図９Ｃは、或る画素Ｐ（ｉ，ｊ）を中心とする３×３画素の範囲、及び、この範囲内の画素Ｐの輝度Ｙを説明する模式図である。 ソーベルフィルタの適用を模式的に説明する図である。 四分円Ｑ１及びＱ２の説明図である。 手ぶれ程度Ｄｍの評価を説明するためのフローチャートである。 図１３Ａは、サンプルラインの概念図である。図１３Ｂは、サンプルラインによって定義される関数Ｓｋ（ｘ）の説明図である。図１３Ｃは、Ｓｋ（ｘ）とＳｋ（ｘ＋τ）の一致の度合いの説明図である。 変位τと平均自己相関関数ＡＣＦａｖｅと手ぶれの程度Ｄｍとの関係を示す図である。 ピンボケ評価を説明するためのフローチャートである。

符号の説明

１ プリンタ，２ 操作パネル，３ 液晶表示部，４ 排紙部，５ 操作ボタン，
６ カードスロット，７ 給紙部，
１２ 第１インタフェース，１４ 第２インタフェース，
２０ ヘッドユニット，２２ ヘッド，
３０ 用紙搬送機構，４０ キャリッジ移動機構，５０ 検出器群，
６０ プリンタ側コントローラ，
１００ ＣＤ−Ｒ装置，１０２ ケーブル，１０４ ＣＤ−Ｒ，
１１０ メモリカード，１２０ デジタルカメラ，１３０ ホストコンピュータ，
ＥＶ 評価範囲，Ｐ 画素，Ｙ 輝度，
θｍ 手ぶれ方向、θｍｖ 手ぶれ方向θｍに垂直な方向、
Ｄｍ 手ぶれ程度、Ｄｍｖ ピンボケ程度、
ＡＣＦｋ 自己相関関数

Claims (15)

1. 画像情報を取得し、
   前記画像情報に基づいて手ぶれ方向を求めて、前記画像情報の手ぶれ評価を行い、
   前記手ぶれ評価で求められた手ぶれ方向に関する情報を利用して、前記画像情報のピンボケ評価を行う
   ことを特徴とする画像情報の評価方法。
2. 請求項１に記載の評価方法であって、
   前記手ぶれ方向に関する情報とは、前記手ぶれ方向の情報であり、
   前記ピンボケ評価では、前記手ぶれ方向と垂直な方向のぶれの程度を評価する
   ことを特徴とする評価方法。
3. 請求項１に記載の評価方法であって、
   前記手ぶれ方向に関する情報とは、前記手ぶれ方向に垂直な方向における前記画像情報のエッジの情報である
   ことを特徴とする評価方法。
4. 請求項１〜３のいずれかに記載の評価方法であって、
   前記手ぶれ評価では、前記手ぶれ方向のサンプルラインを抽出して、ぶれの程度を評価し、
   前記ピンボケ評価では、手ぶれ方向に垂直な方向のサンプルラインを抽出して、ぶれの程度を評価する
   ことを特徴とする評価方法。
5. 請求項４に記載の評価方法であって、
   前記手ぶれ評価及び前記ピンボケ評価では、抽出された前記サンプルラインの自己相関関数に基づいて、ぶれの程度を評価する
   ことを特徴とする評価方法。
6. 請求項１〜５のいずれかに記載の評価方法であって、
   前記手ぶれ評価及び前記ピンボケ評価では、同じ関数が利用されており、
   前記手ぶれ評価では、前記手ぶれ方向を引数とし、
   前記ピンボケ評価では、前記手ぶれ方向に垂直な方向を引数とする
   ことを特徴とする評価方法。
7. 請求項１〜６のいずれかに記載の評価方法であって、
   前記手ぶれ評価では、前記手ぶれ方向のぶれの程度を評価し、
   前記ピンボケ評価では、前記手ぶれ方向に垂直な方向のぶれの程度を評価する
   ことを特徴とする評価方法。
8. 請求項７に記載の評価方法であって、
   前記ピンボケ評価では、前記手ぶれ方向のぶれの程度と、前記手ぶれ方向に垂直な方向のぶれの程度と、に基づいて、ピンボケの程度を評価する
   ことを特徴とする評価方法。
9. 請求項１〜８のいずれかに記載の評価方法であって、
   前記画像情報を複数の領域に分割し、
   分割された領域から特定の領域を選択し、
   選択された特定の領域に対して、前記手ぶれ評価及びピンボケ評価を行う
   ことを特徴とする評価方法。
10. 請求項９に記載の評価方法であって、
    分割された前記領域毎に、その領域内の輝度差を算出し、
    前記輝度差が最も大きい領域を、前記特定の領域として選択する
    ことを特徴とする評価方法。
11. 請求項１〜１０のいずれかに記載の評価方法であって、
    前記手ぶれ評価の結果に基づいて、前記画像情報に対して手ぶれ補正を行い、
    前記ピンボケ評価の結果に基づいて、前記画像情報に対してピンボケ補正を行う
    ことを特徴とする評価方法。
12. 請求項１１に記載の評価方法であって、
    前記手ぶれ補正及びピンボケ補正の少なくとも一方の補正が行われた画像情報を、等倍で表示する
    ことを特徴とする評価方法。
13. 画像情報を取得し、
    前記画像情報に基づいて手ぶれ方向を求めて、前記画像情報の手ぶれ評価を行い、
    前記手ぶれ評価で求められた手ぶれ方向に関する情報を利用して、前記画像情報のピンボケ評価を行う
    画像情報の評価方法であり、
    前記手ぶれ方向に関する情報とは、前記手ぶれ方向の情報であり、前記ピンボケ評価では、前記手ぶれ方向と垂直な方向のぶれの程度を評価し、
    前記手ぶれ評価では、前記手ぶれ方向のサンプルラインを抽出して、ぶれの程度を評価し、
    前記ピンボケ評価では、手ぶれ方向に垂直な方向のサンプルラインを抽出して、ぶれの程度を評価し、
    前記手ぶれ評価及び前記ピンボケ評価では、抽出された前記サンプルラインの自己相関関数に基づいて、ぶれの程度を評価し、
    前記手ぶれ評価及び前記ピンボケ評価では、同じ関数が利用されており、
    前記手ぶれ評価では、前記手ぶれ方向を引数とし、
    前記ピンボケ評価では、前記手ぶれ方向に垂直な方向を引数とし、
    前記手ぶれ評価では、前記手ぶれ方向のぶれの程度を評価し、
    前記ピンボケ評価では、前記手ぶれ方向に垂直な方向のぶれの程度を評価し、
    前記ピンボケ評価では、前記手ぶれ方向のぶれの程度と、前記手ぶれ方向に垂直な方向のぶれの程度と、に基づいて、ピンボケの程度を評価し、
    前記画像情報を複数の領域に分割し、
    分割された領域から特定の領域を選択し、
    選択された特定の領域に対して、前記手ぶれ評価及びピンボケ評価を行い、
    分割された前記領域毎に、その領域内の輝度差の合計を算出し、
    前記輝度差の合計が最も大きい領域を、前記特定の領域として選択し、
    前記手ぶれ評価の結果に基づいて、前記画像情報に対して手ぶれ補正を行い、
    前記ピンボケ評価の結果に基づいて、前記画像情報に対してピンボケ補正を行い、
    前記手ぶれ補正及びピンボケ補正の少なくとも一方の補正が行われた画像情報を、等倍で表示する
    画像情報の評価方法。
14. 演算処理装置及びメモリに、
    画像情報を取得させ、
    前記画像情報に基づいて手ぶれ方向を求めて、前記画像情報の手ぶれ評価を行わせ、
    前記手ぶれ評価で求められた手ぶれ方向に関する情報を利用して、前記画像情報のピンボケ評価を行わせる
    ことを特徴とする画像情報の評価プログラム。
15. 画像情報を取得し、
    前記画像情報に基づいて手ぶれ方向を求めて、前記画像情報の手ぶれ評価を行い、
    前記手ぶれ評価で求められた手ぶれ方向に関する情報を利用して、前記画像情報のピンボケ評価を行う
    ことを特徴とする画像情報評価装置。
    
    

Images