JP2006171840A - 画像情報の評価方法、画像情報の評価プログラム及び画像情報評価装置 - Google Patents

画像情報の評価方法、画像情報の評価プログラム及び画像情報評価装置 Download PDF

Info

Publication number
JP2006171840A
JP2006171840A JP2004359693A JP2004359693A JP2006171840A JP 2006171840 A JP2006171840 A JP 2006171840A JP 2004359693 A JP2004359693 A JP 2004359693A JP 2004359693 A JP2004359693 A JP 2004359693A JP 2006171840 A JP2006171840 A JP 2006171840A
Authority
JP
Japan
Prior art keywords
image information
pixels
edge
boundary
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004359693A
Other languages
English (en)
Other versions
JP4539318B2 (ja
Inventor
Megumi Kanda
めぐみ 神田
Poon Yunis
プーン ユニス
Clark Ian
クラーク イアン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2004359693A priority Critical patent/JP4539318B2/ja
Priority to US11/283,669 priority patent/US7653256B2/en
Publication of JP2006171840A publication Critical patent/JP2006171840A/ja
Application granted granted Critical
Publication of JP4539318B2 publication Critical patent/JP4539318B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/987Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns with the intervention of an operator
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993Evaluation of the quality of the acquired pattern

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】ピンボケ評価の精度を高める。
【解決手段】第1の発明は、評価対象となる画像情報の中から、前記画像情報の示す画像の境界に位置するエッジ画素を複数抽出し、前記エッジ画素における前記境界と交差する方向の前記境界の画素数を算出し、前記境界の画素数と前記エッジ画素の数とに基づいて、前記画像情報のピンボケ評価を行うことを特徴とする。また、第2の発明は、評価対象となる画像情報の中から、前記画像情報の示す画像の境界に位置するエッジ画素を抽出し、前記境界と交差する方向から前記エッジ画素を挟む2つの画素であって、隣接する画素間で輝度差が最大となる2つの画素を抽出し、前記2つの画素の距離に基づいて、前記画像情報のピンボケ評価を行うことを特徴とする。第2の発明によれば、エッジ周辺の濃度が緩やかに変化するような画像であっても、精度良くピンボケ評価を行うことができる。
【選択図】 図15

Description

本発明は、画像情報の評価方法、画像情報の評価プログラム及び画像情報評価装置に関する。
ピントが合っていない状態で撮影を行うと、その画像は、ぼやけた画像になる。しかし、例えばプリンタ付属の液晶表示部やデジタルカメラの液晶表示部は画面が小さいので、液晶表示部に表示された画像をユーザーが視覚的に評価することは容易ではない。
そこで、コンピュータを用いて画像情報を自動的に評価することが提案されている。
P. Marziliano, F. Dufaux, S. Winkler and T. Ebrahimi, "A No-Reference Perceptual Blur Metric," in Proceedings IEEE International Conference on Image Processing, Sept. 2002. I. Rekleitis, "Optical Flow Recognition from the Power Spectrum of a Single Blurred Image," in Proceedings IEEE International Conference on Image Processing, Switzerland, Sept. 1996.
本発明は、ピンボケ評価の精度を高めることを目的とする。また、本発明は、被写体自身の輪郭が明確でないため、エッジ周辺の濃度が緩やかに変化するような画像であっても、精度良くピンボケ評価を行うことを目的とする。
上記目的を達成するための第1の主たる発明は、評価対象となる画像情報の中から、前記画像情報の示す画像の境界に位置するエッジ画素を複数抽出し、前記エッジ画素における前記境界と交差する方向の前記境界の画素数を算出し、前記境界の画素数と前記エッジ画素の数とに基づいて、前記画像情報のピンボケ評価を行うことを特徴とする。
上記目的を達成するための第2の主たる発明は、評価対象となる画像情報の中から、前記画像情報の示す画像の境界に位置するエッジ画素を抽出し、前記境界と交差する方向から前記エッジ画素を挟む2つの画素であって、隣接する画素間で輝度差が最大となる2つの画素を抽出し、前記2つの画素の距離に基づいて、前記画像情報のピンボケ評価を行うことを特徴とする。
本発明の他の特徴については、本明細書及び添付図面の記載により明らかにする。
===開示の概要===
本明細書及び添付図面の記載により、少なくとも、以下の事項が明らかとなる。
評価対象となる画像情報の中から、前記画像情報の示す画像の境界に位置するエッジ画素を複数抽出し、
前記エッジ画素における前記境界と交差する方向の前記境界の画素数を算出し、
前記境界の画素数と前記エッジ画素の数とに基づいて、前記画像情報のピンボケ評価を行う
ことを特徴とする画像情報の評価方法。
このような評価方法によれば、精度良くピンボケ評価することができる。
かかる評価方法であって、前記境界と交差する方向から前記エッジ画素を挟む2つの画素であって、前記境界と交差する方向に並ぶ画素のうち輝度が極値となる2つの画素を抽出し、前記2つの画素の距離に基づいて、前記境界の画素数を算出することが望ましい。これにより、エッジ幅を算出することができる。
また、かかる評価方法であって、前記境界と交差する方向から前記エッジ画素を挟む2つの画素であって、隣接する画素間で輝度差が最大となる2つの画素を抽出し、前記2つの画素の距離に基づいて、前記境界の画素数を算出することが望ましい。これにより、被写体の輪郭がもともとぼやけていても、精度良くピンボケ評価することができる。
かかる評価方法であって、ソーベルフィルタを適用することにより、前記エッジ画素を抽出することが望ましい。これにより、ノイズの影響を抑制して、エッジ画素を抽出することができる。
かかる評価方法であって、前記画像情報に基づいて、各画素の勾配を算出し、前記勾配の大きさが閾値を超える画素を、前記エッジ画素として抽出することが望ましい。また、前記画像情報の示す画像の境界に位置する画素であって、かつ、前記交差する方向に隣接する画素と比較して勾配が大きい画素を、エッジ画素として抽出することが望ましい。これにより、強度が比較的弱いエッジを考慮しないで平均エッジ幅WEaを算出することができる。
かかる評価方法であって、前記画像情報を複数の領域に分割し、分割された領域から特定の領域を選択し、選択された特定の領域に対して、前記ピンボケ評価を行うことが望ましい。これにより、ピントの合っている部分でピンボケ評価を行うので、精度が向上する。
かかる評価方法であって、前記ピンボケ評価の結果に基づいて、前記画像情報に対してピンボケ補正を行うことが望ましい。また、ピンボケ補正後の画像情報を、等倍で表示することが好ましい。これにより、補正後の画像情報を適切に表示できる。
演算処理装置に、
評価対象となる画像情報の中から、前記画像情報の示す画像の境界に位置するエッジ画素を複数抽出させ、
前記エッジ画素における前記境界と交差する方向の前記境界の画素数を算出させ、
前記境界の画素数と前記エッジ画素の数とに基づいて、前記画像情報のピンボケ評価を行わせる
ことを特徴とする画像情報の評価プログラム。
このような評価プログラムによれば、演算処理装置に、精度良くピンボケ評価させることができる。
評価対象となる画像情報の中から、前記画像情報の示す画像の境界に位置するエッジ画素を複数抽出し、
前記エッジ画素における前記境界と交差する方向の前記境界の画素数を算出し、
前記境界の画素数と前記エッジ画素の数とに基づいて、前記画像情報のピンボケ評価を行う
ことを特徴とする画像情報評価装置。
このような画像情報評価装置によれば、精度良くピンボケ評価することができる。
評価対象となる画像情報の中から、前記画像情報の示す画像の境界に位置するエッジ画素を抽出し、
前記境界と交差する方向から前記エッジ画素を挟む2つの画素であって、隣接する画素間で輝度差が最大となる2つの画素を抽出し、
前記2つの画素の距離に基づいて、前記画像情報のピンボケ評価を行う
ことを特徴とする画像情報の評価方法。
このような評価方法によれば、被写体の輪郭がもともとぼやけていても、精度良くピンボケ評価することができる。
演算処理装置に、
評価対象となる画像情報の中から、前記画像情報の示す画像の境界に位置するエッジ画素を抽出させ、
前記境界と交差する方向から前記エッジ画素を挟む2つの画素であって、隣接する画素間で輝度差が最大となる2つの画素を抽出させ、
前記2つの画素の距離に基づいて、前記画像情報のピンボケ評価を行わせる
ことを特徴とする画像情報の評価プログラム。
このような評価プログラムによれば、演算処理装置に、被写体の輪郭がもともとぼやけていても、精度良くピンボケ評価させることができる。
評価対象となる画像情報の中から、前記画像情報の示す画像の境界に位置するエッジ画素を抽出し、
前記境界と交差する方向から前記エッジ画素を挟む2つの画素であって、隣接する画素間で輝度差が最大となる2つの画素を抽出し、
前記2つの画素の距離に基づいて、前記画像情報のピンボケ評価を行う
ことを特徴とする画像情報評価装置。
このような画像情報評価装置によれば、被写体の輪郭がもともとぼやけていても、精度良くピンボケ評価することができる。
===説明の対象===
<画像評価方法が適用される装置について>
本実施形態の画像評価方法は、評価対象となる画像情報を取得し、取得した画像情報に対する評価を行って、評価結果を求める。この画像評価方法は、種々の装置に適用することができる。
例えば、この方法は、画像評価用のコンピュータプログラム(例えば、画像処理ソフト)がインストールされたパーソナルコンピュータに、適用することができる。また、この方法は、画像情報を扱う種々の装置にも適用することができる。画像情報を扱う装置としては、例えば、デジタルカメラ、デジタルビデオカメラ、プリンタ等が含まれる。
そこで、まず本明細書では、画像評価を行うプリンタについて説明を行う。このプリンタは、メモリカードに記憶された印刷対象となる画像情報を評価し、画像情報と対応する評価結果をユーザーに対して表示し、ユーザーにより選択された画像情報をCD−R等(recordable compact disc)に記憶させることのできるプリンタについて説明する。
===プリンタ===
<プリンタ1の構成について>
まず、プリンタ1の構成について説明する。ここで、図1は、プリンタ1、及び、このプリンタ1に接続されるCD−R装置100の外観を説明する図である。図2は、プリンタ1の電気的構成を説明するためのブロック図である。
図1に示すように、プリンタ1の前面部には、操作パネル2、液晶表示部3、及び排紙部4が設けられている。操作パネル2には、各種の操作ボタン5やカードスロット6が設けられている。操作ボタン5はプリンタ1に対する指令を行う際に操作される。また、カードスロット6はメモリカード110(カード型のフラッシュメモリ,図2を参照。)が装着される部分である。このメモリカード110には、例えば、デジタルカメラ120で撮影された画像の画像情報が記憶される。なお、このメモリカード110には、いくつもの種類があるので、各メモリカード110が装着できるように、カードスロット6も複数用意されている。液晶表示部3は、各種の情報を表示する。この液晶表示部3は、メニューを表示させたり、メモリカード110に記憶されている画像情報の画像を表示させたりする部分である。本実施形態では、この液晶表示部3を操作ボタン5の上方に配置している。
排紙部4には、開閉可能な排紙トレーが設けられている。排紙トレーは、上部を前方に倒すことができるように取り付けられている。そして、この排紙トレーは、印刷時において、印刷済みの用紙が載せられる台として機能する。一方、プリンタ1の背面部には、給紙部7と各種のコネクタ(図示せず。)とが設けられている。給紙部7は、印刷に用紙を重ねて保持可能な部分である。また、コネクタは、CD−R装置100やデジタルカメラ120等の外部装置と接続するための部分であり、例えばUSB端子である。
図1の例において、CD−R装置100はケーブル102を介してプリンタ1に接続されている。なお、プリンタ1への接続は、ケーブル102に限らず無線であってもよい。このCD−R装置100は、メモリカード110に記憶された画像情報を、CD−R104にバックアップする際に用いられる。また、このCD−R装置100をプリンタ1に接続することにより、CD(compact disc,図示せず。)やCD−R104に記憶された画像情報を印刷することもできる。
次に、プリンタ1の電気的構成について説明する。図2に示すように、プリンタ1は、ヘッドユニット20、用紙搬送機構30、キャリッジ移動機構40、検出器群50、プリンタ側コントローラ60、液晶表示部3、操作ボタン5、及びカードスロット6を有する。また、これらの他に、プリンタ1は、ホストコンピュータ130と接続するための第1インタフェース12と、デジタルカメラ120やCD−R装置100と接続するための第2インタフェース14とを有している。
ヘッドユニット20は、インクを用紙に向けて吐出させるためのものであり、インクを吐出するヘッド22を有する。このヘッドユニット20は、キャリッジ(図示せず)に取り付けられており、キャリッジをキャリッジ移動方向に移動させるキャリッジ移動機構40によって、キャリッジとともに移動する。用紙搬送機構30は、キャリッジ移動方向と交差する方向に用紙を搬送する。検出器群50は、プリンタ1の状態を検出するためのものであり、例えば、キャリッジの位置を検出するためのリニア式エンコーダ、紙の搬送量を検出するためのロータリー式エンコーダ、及び用紙の有無を検出するための紙検出器(いずれも図示せず。)等が含まれる。
プリンタ側コントローラ60は、プリンタ1の制御を行うものである。このプリンタ側コントローラ60は、CPU62と、メモリ64と、制御ユニット68とを有する。CPU62は、プリンタ1の全体的な制御を行うための演算処理装置である。メモリ64は、CPU62のプログラムを格納する領域や作業領域等を確保するためのものであり、RAM、EEPROM、ROM等の記憶素子によって構成される。そして、画像情報の評価時において、メモリ64には評価対象の画像情報が格納される。制御ユニット68は、制御対象となる各部とCPU62との間に配置され、CPU62からのコマンドに基づいてモータ用の駆動信号を生成したり、各部から送られてくる信号を、CPU62が解釈できる形態にして出力したりする。
通常、プリンタ1は、ホストコンピュータ130から印刷データを受信すると、印刷データに基づいて印刷処理を行う。すなわち、印刷データの受信後、プリンタ側コントローラ60は、用紙搬送機構30に印刷開始位置まで用紙を搬送させ、キャリッジ移動機構にキャリッジをキャリッジ移動方向に移動させ、キャリッジとともに移動するヘッドから印刷データに基づいてインクを吐出させる。そして、これらの動作が繰り返し行われると、用紙に画像が印刷される。
さらに、本実施形態のプリンタ1は、画像情報のバックアップ処理を行う。バックアップ処理では、プリンタ側コントローラ60は、カードスロット6に装着されたメモリカード110から画像情報を、CD−R装置100によってCD−Rに記憶させる。このバックアップ処理は、ユーザーが操作ボタン5を操作することにより、開始される。なお、本実施形態では、このバックアップ処理において、画像情報の評価も行われる。以下に、バックアップ処理、及び、画像情報の評価処理について説明する。
===画像情報の評価・バックアップ===
<バックアップ処理の概略について>
図3は、バックアップ処理を説明するフローチャートである。この処理は、プリンタ1のメモリ64に記憶されたプログラムに基づいて、CPU62により実行される。このため、プログラムは、これらの処理をCPU62に実行させるためのコードを有する。
この処理では、まず、評価画像情報の取得が行われる(S110)。ここで、評価画像情報とは、評価の対象となる画像情報のことである。この処理では、メモリカード110に記憶されたバックアップ対象となる画像情報の中から評価画像情報が1つ定められ、この評価画像情報がメモリ64に記憶される。従って、バックアップ対象となる画像情報が複数ある場合には、その中の1つが評価画像情報として取得される。また、バックアップ対象となる画像情報が1つである場合には、その画像情報が評価画像情報として取得される。
次に、画像評価処理が行われる(S120)。この画像評価処理では、評価画像情報に関し、手ぶれ評価及びピンボケ評価が行われる。なお、この画像評価処理については、後で説明する。
次に、全ての画像情報について評価が行われたか否かが判断される(S130)。ここで、未評価の画像情報がある場合には、ステップS110に戻って前述した処理が行われる。一方、全ての画像情報の評価が終了した場合には、バックアップされる画像情報を確認する処理が行われる(S140)。この処理では、画像評価処理(S120)での評価結果に基づき、基準を満たさない画像情報に関してバックアップの対象とするか否かを、ユーザーに確認する。このとき、ユーザーに確認を促す画面が液晶表示部3に表示され、操作ボタンからの入力に応じてバックアップされる画像情報が確定される。そして、バックアップされる画像情報が確定されたならば、確定された画像情報をCD−R104に書き込む(S150)。この書き込み処理では、ステップS120で求められた評価結果(評価の内容)を、評価対象の画像情報と共に記憶させる。例えば、Exif(exchangeable image file format)における付属情報として、評価結果が記憶される。
===画像評価処理===
図4は、画像評価処理を説明するためのフローチャートである。この画像評価処理では、評価範囲の設定(S210)、ピンぼけ評価(S220)、及び評価結果の記憶(S250)の処理が行われる。
以下、各処理について説明する。なお、画像中の水平方向をX方向とし、垂直方向をY方向とする。また、画像情報を構成する各画素P(図6B等を参照。)は、画像情報における水平方向の位置iと、垂直方向の位置jを用いて、P(i、j)として表される。
===評価範囲の設定(S210)===
図5は、評価範囲の設定(S210)を説明するためのフローチャートである。各処理は、プリンタ1のメモリ64に記憶されたプログラムに基づいて、CPU62により実行される。このため、プログラムは、これらの処理をCPU62に実行させるためのコードを有する。
また、図6Aは、256個のブロックBKに分割された画像情報を説明するための概念図である。図6Bは、隣り合う画素同士の輝度差を説明するための概念図である。図6Cは、最もエッジが多いブロックBKを含む評価範囲EVを示す概念図である。この評価範囲の設定では、画像情報の中から評価範囲EVが特定される。なお、評価範囲EVは、ピンぼけ評価(S220)が行われる範囲になる。
まず、CPU62は、評価画像情報の色空間を変換する(S211)。例えば、RGB色空間で表現された評価画像情報が、YIQ色空間(Y(輝度)、I(オレンジ−シアン)、Q(緑−マゼンタ)の色空間)の画像情報に変換される。なお、デジタルカメラで撮影された画像情報が、RGB色空間のビットマップ情報ではなくJPEG形式の情報であるときは、評価画像情報の色空間をYUV色空間に変換しても良い。要するに、評価画像情報の色空間が、輝度(Y)の成分を含む色空間に変換されれば良い。
次に、CPU62は、輝度画像情報を抽出する(S212)。上記のS211の変換処理によって生成されたYIQ色空間の画像情報は、Y平面の画像情報と、I平面の画像情報と、Q平面の画像情報とを有する。このうちのY平面の画像情報が、輝度画像情報として抽出される。
次に、CPU62は、輝度画像情報を分割する(S213)。本実施形態では、図6Aに示されるように、輝度画像情報が、16×16分割され、256個のブロックBKに分割される。例えば、輝度画像情報が640×480画素から構成される場合、各ブロックBKは、40×30画素から構成されることになる。
次に、CPU62は、輝度画像情報の画素毎に隣接画素との輝度差を算出し、ブロック毎に輝度差の合計を算出する(S214)。ここで、説明の都合上、各ブロックBKが、図6Bに示すように、左上端の画素P(i,j)から右下端の画素P(i+3,J+2)までの12画素で構成されているものとする。この場合、CPU62は、画素P(i+1,j)の輝度Y(i+1,j)から画素P(i,j)の輝度Y(i,j)を減算することで、画素P(i,J)の水平方向の輝度差を算出する。同様に、CPU62は、画素P(i+2,j)の輝度Y(i+2,j)から画素P(i+1,j)の輝度(i+1,j)を減算することで、画素P(i+1,j)の水平方向の輝度差を算出する。このような演算を、ブロックBK内の全画素に対して行う。そして、輝度差の絶対値を合計することで、そのブロックBKにおける水平方向の輝度差の合計を算出する。また、同様に、CPU62は、各ブロックBKにおける垂直方向の輝度差の合計も算出する。そして、CPU62は、ブロック毎に、水平方向の輝度差の合計と、垂直方向の輝度差の合計とを加算して、各ブロックの輝度差の総合計を算出する。
次に、CPU62は、得られた輝度差の総合計を各ブロックBKで比較し、輝度差の総合計が最大のブロックBKを特定する(S215)。輝度差の総合計が最大のブロックBKに属する画素は、隣接画素との間で輝度差が大きいと考えられる。すなわち、エッジの数が最も多いブロックBKと考えられる。例えば、図6Aの画像情報では、人物の顔の部分が最も輝度差が多くなると考えられる。このため、人物の顔の部分に対応するブロックBKが、輝度差の総合計が最大のブロックBK(max)と特定される。
次に、CPU62は、特定されたブロックBK(max)に基づいて、評価範囲EVを設定する(S216)。この評価範囲EVは、輝度差の総合計の最も大きいブロックBK(max)が中央部分に配置されるように、定められる。また、画像情報に対応するサイズを所定比率で縮小したサイズに定められる。例えば、640×480画素の画像情報に対して0.25の比率(画像情報に対応するサイズを、16等分したサイズ)で評価範囲EVが定められると、図6Cに示されるように、評価範囲EVは、160×120画素(4×4ブロック分)の範囲になる。
このように設定された評価範囲は、以下のような特徴がある。通常、デジタルカメラで撮影された画像情報の場合、ピントの合っている部分では輪郭が明確になる。画像の輪郭が明確な場合、その画像情報のその部分の隣接画素間の輝度差は大きい。評価範囲は、最も輝度差の大きいブロックBKを含む範囲であるため、上記の処理により設定された評価範囲EVは、画像情報の中でピントの合っている部分と考えられる。
そして、CPU62は、この評価範囲に対して、以下に説明するピンボケ評価を行う。
===ピンボケ評価(S220)===
ピンボケとは、ピントの合っていない状態のことである。ピントの合っていない状態で撮影を行うと、被写体がフィルム上(デジカメの場合、CCDセンサ上)で像が結ばれない。言い換えると、ピントの合っていない状態で撮影を行うと、被写体の或る一点の情報が、同心円内の複数の画素に分布して記録されることになる。この結果、撮影された画像は、ぼやけた画像になる。特に、被写体の輪郭は、ぼやけた状態になる。
本実施形態のピンボケ評価では、被写体の輪郭や模様の輪郭をエッジとして抽出し、そのエッジの幅(エッジ幅WE)を算出し、エッジ幅WEが大きい場合、ピンボケの画像と評価する。本実施形態では、抽出されたエッジの数Neを計数し、求められたエッジ幅WEを合計して総エッジ幅WEt(=ΣWE)を算出し、平均エッジ幅WEa(=WEt/Ne)を算出し、この平均エッジ幅WEaに基づいてピンボケ評価を行う。以下に、2種類のピンボケ評価方法を説明する。
<第1のピンボケ評価方法>
図7は、第1のピンボケ評価方法を説明するためのフローチャートである。各処理は、プリンタ1のメモリ64に記憶されたプログラムに基づいて、CPU62により実行される。このため、プログラムは、これらの処理をCPU62に実行させるためのコードを有する。
まず、CPU62は、前述のS210で設定された評価範囲EVの輝度画像情報を取得する(S221)。ここでは、S212における全範囲の輝度画像情報から、評価範囲EVの輝度画像情報を抽出しても良い。又は、RGB色空間の評価画像情報から評価範囲EVの画像情報を抽出し、抽出された画像情報を色変換して輝度画像情報を取得しても良い。
次に、CPU62は、X方向のソーベルフィルタを適用することにより、X方向の輝度の勾配(傾きの程度)を示すエッジ勾配画像Gxを算出し、Y方向のソーベルフィルタを適用することにより、Y方向の輝度の勾配を示すエッジ勾配画像Gyを算出する(S222)。言い換えると、CPU62は、X方向のソーベルフィルタを適用することにより、輝度画像情報のX方向のエッジを抽出し、Y方向のソーベルフィルタを適用することにより、輝度画像情報のY方向のエッジを抽出する。なお、エッジ勾配画像Gxを構成する画素をGx(i,j)とし、エッジ勾配画像Gyを構成する画素をGy(i,j)とする。Gx(i,j)は、輝度画像情報の位置(i,j)におけるX方向のエッジ勾配を示し、Gy(i,j)は、輝度画像情報の位置(i,j)のY方向のエッジ勾配を示すことになる。
ここで、ソーベルフィルタの適用について説明する。図8Aは、エッジ画像の生成に使用されるX方向のソーベルフィルタを説明する図である。図8Bは、エッジ画像の生成に使用されるY方向のソーベルフィルタを説明する図である。図8Cは、或る画素P(i,j)を中心とする3×3画素の範囲、及び、この範囲内の画素Pの輝度Yを説明する模式図である。また、図9は、ソーベルフィルタの適用を模式的に説明する図である。図10は、勾配の大きさa(後述)とエッジ方向θ(後述)を模式的に説明する図である。
ソーベルフィルタは、3×3の9要素からなるフィルタである。図8Cに示される画素P(i,j)に対してソーベルフィルタを適用するということは、その画素P(i,j)の近傍に存在する3×3画素の輝度Y(i−1,j−1)〜Y(i+1,j+1)に対して、ソーベルフィルタに対応する要素との積を算出し、得られた9個の積の和を求めるということである。例えば、画素P(i,j)に対してX方向のソーベルフィルタを適用した場合、Gx(i,j)は、以下のように算出される。
X方向のソーベルフィルタ及びY方向のソーベルフィルタを輝度画像情報Y(i,j)にそれぞれ適用すると、図9の斜線で示されるように、画素P(i,j)を中心とする3×3画素に基づいて、X方向のエッジ勾配Gx(i,j)及びY方向のエッジ勾配Gy(i,j)が求められる。
次に、CPU62は、評価範囲EV内の各画素の勾配の大きさa(i,j)を算出する(S223)。ここで、勾配の大きさa(i,j)は、エッジであることを示す度合いに相当する。勾配の大きさa(i,j)は、次式のように算出される。つまり、図10に示されるように、勾配の大きさa(i,j)は、水平方向のエッジ勾配Gx(i,j)のベクトルと、垂直方向のエッジ勾配Gy(i,j)のベクトルとの和の大きさとして算出される。
次に、CPU62は、処理対象となるエッジ画素の抽出を行う(S224)。第1のピンボケ評価方法では、勾配の大きさa(i,j)が閾値よりも大きければ、その画素がエッジ画素として抽出される。CPU62は、評価範囲EVの中から、閾値よりも大きい勾配の大きさaを持つ画素を全て抽出する。
次に、CPU62は、各エッジ画素のエッジ幅WEを算出する(S226)。図11は、第1のピンボケ評価方法でのエッジ幅WEの算出方法のフローチャートである。
まず、CPU62は、エッジ方向θに基づいて、スキャン方向を決定する(S301)。ここで、エッジ方向θ(i,j)は、水平方向のエッジ勾配Gx(i,j)と垂直方向のエッジ勾配Gy(i,j)との比によって定められる方向である。つまり、図10に示されるように、エッジ方向θ(i,j)は、水平方向のエッジ勾配Gx(i,j)のベクトルと、垂直方向のエッジ勾配Gy(i,j)のベクトルとの和の方向となる。また、スキャン方向は、水平方向又は垂直方向である。エッジ方向θが水平方向に近ければ(0〜45度)、スキャン方向は水平方向になる。逆に、エッジ方向θが垂直方向に近ければ(45〜90度)、スキャン方向は垂直方向になる。本実施形態では、スキャン方向の決定(S301)の際に、CPU62は、Gx(i,j)とGy(i,j)の大小を比較し、Gx(i,j)の方が大きければスキャン方向を水平方向とし、Gy(i,j)の方が大きければスキャン方向を垂直方向とする(つまり、本実施形態では、スキャン方向θを直接的には算出していない)。以下の説明では、スキャン方向が垂直方向(Y方向)になるものとして説明する。
次に、CPU62は、エッジ画素に対して−Y方向に位置する画素の中から、輝度が極値となる画素を探索する(S302)。具体的には、CPU62は、まず、エッジ画素の輝度と、エッジ画素と−Y方向に隣接する隣接画素の輝度とを比較する。−Y方向に隣接する隣接画素よりもエッジ画素の方の輝度が大きい場合、CPU62は、エッジ画素に対して−Y方向に位置する画素の中から、輝度が極小値になる画素を特定する。一方、−Y方向に隣接する隣接画素よりもエッジ画素の方の輝度が小さい場合、CPU62は、エッジ画素に対して−Y方向に位置する画素の中から、輝度が極大値になる画素を特定する。これにより、エッジ画素に対して−Y方向に位置する画素の中から、極値を持つ最も近い画素を抽出できる。
次に、CPU62は、エッジ画素に対してY方向に位置する画素の中から輝度が極値となる画素を探索する(S303)。前述の−Y方向の探索で極小値となる画素を特定した場合、Y方向の探索では極大値になる画素を特定する。一方、前述の−Y方向の探索で極大値となる画素を特定した場合、Y方向の探索では極小値を特定する。
なお、S302及びS303の処理により、2つの画素が抽出される。この2つの画素は、垂直方向からエッジ画素を挟むように位置している。同様に、スキャン方向が水平方向の場合、S302及びS303の処理により特定された2つの画素は、水平方向からエッジ画素を挟むように位置することになる。
次に、CPU62は、S302及びS303の処理により特定された2つの画素の距離を算出する(S304)。この距離が、エッジ幅WEになる。すなわち、この場合のエッジ幅WEとは、エッジ画素の近傍において輝度が極大値及び極小値となる2画素間の距離のことである。2画素間の距離は、画素数で示される。例えば、画素P(i,j−4)から画素P(i,j+3)の場合、2画素間の距離は、7画素である。
図12Aは、シャープなエッジの画像を説明する説明図である。図12Bは、図12Aのエッジに対するエッジ幅の説明図である。図12Cは、ぼやけたエッジの説明図である。図12Dは、図12Cのエッジに対するエッジ幅の説明図である。
図12Aのようにシャープなエッジの画像では、図12Bに示すように、エッジ幅WE1は小さい値として求められる。一方、図12Cのようにぼやけたエッジの画像では、図12Dに示すように、エッジ幅WE2は大きい値として求められる。このように、画像がぼけているか否かは、エッジ幅WEの大小に基づいて、判別することが可能である。
そこで、CPU62は、全てのエッジ画素に対して、エッジ幅WEを算出する(S226)。そして、CPU62は、平均エッジ幅WEaを算出する(S227)。平均エッジ幅WEaを算出するため、CPU62は、抽出されたエッジ画素の数Neを計数し、各エッジ画素に対して算出されたエッジ幅WEを合計して総エッジ幅WEt(=ΣWE)を算出し、総エッジ幅WEtをエッジ画素の数Neで除算する。
そして、CPU62は、平均エッジ幅WEaに基づいて、ピンボケを評価する(S228)。平均エッジ幅WEaが小さければ、画像の輪郭のエッジがシャープな状態であると考えられるので、ピンボケしていないと評価される。一方、平均エッジ幅WEaが大きければ、画像の輪郭のエッジがぼやけている状態であると考えられるので、ピンボケしていると評価される。
<第2のピンボケ評価方法>
第2のピンボケ評価方法は、第1のピンボケ評価方法と比較すると、エッジ幅WEの算出処理(S225、図11のS301〜S304)が異なり、他の処理はほぼ同じである。そこで、以下では第2のピンボケ評価方法のエッジ幅の算出処理について説明する。
図13は、第2のピンボケ評価方法でのエッジ幅WEの算出方法のフローチャートである。各処理は、プリンタ1のメモリ64に記憶されたプログラムに基づいて、CPU62により実行される。このため、プログラムは、これらの処理をCPU62に実行させるためのコードを有する。
まず、CPU62は、スキャン方向を決定する(S401)。この処理は、前述の第1のピンボケ評価方法におけるS301と同様である。以下の説明では、スキャン方向が水平方向(X方向)になるものとして説明する。
次に、CPU62は、隣接画素の勾配の大きさaよりも、エッジ画素の勾配の大きさaが大きいか否かを判断する。隣接画素とは、エッジ画素に対してスキャン方向に隣接する画素である。エッジ画素が位置(i,j)である場合、隣接画素の位置は、位置(i−1,j)及び位置(i+1,j)である。つまり、この処理では、エッジ画素の勾配の大きさa(i,j)が、隣接画素の勾配の大きさa(i−1,j)やa(i+1,j)よりも大きいか否かを判断する。小さい場合、エッジ幅WEを算出せず、また、そのエッジ画素は、平均エッジ幅WEaを算出するときのエッジ画素の数に含めない。つまり、隣接画素よりもエッジ画素の方の勾配の大きさaが小さい場合、その画素はエッジ画素として扱われない。一方、隣接画素よりもエッジ画素の方の勾配の大きさaが大きい場合、次に説明するように、エッジ幅WEを算出する。
次に、CPU62は、エッジ画素に対して−X方向に位置する画素の中から、隣接する画素との輝度差が最大になる画素(最大輝度差の画素)を探索する(S403)。図14は、最大輝度差の画素の探索処理のフローチャートである。
CPU62は、まず、エッジ画素の輝度Y(i,j)と、エッジ画素と−X方向に隣接する隣接画素の輝度Y(i−1,j)との輝度差を算出する。この輝度差が、最初の最大輝度差と定義される。次に、CPU62は、エッジ画素と−X方向に隣接する画素P(i−1,j)をカレント画素と定義する(S412)。そして、CPU62は、このカレント画素での輝度差として、カレント画素の輝度Y(i−1,j)と、カレント画素と−X方向に隣接する画素の輝度Y(i−2,j)との輝度差を算出する(S413)。そして、CPU62は、カレント輝度差と、最大輝度差とを比較する。カレント輝度差が最大輝度差よりも小さい場合、カレント画素を最大輝度差の画素と定義し、処理を終了する。一方、カレント輝度差が最大輝度差よりも大きい場合、最大輝度差をカレント輝度差に更新し(S415)、カレント画素と−X方向に隣接する隣接画素を新たなカレント画素と定義し(S416)、S413及びS414の処理を繰り返す。これにより、エッジ画素に対して−X方向に位置する最大輝度差の画素を探索できる。
次に、CPU62は、エッジ画素に対してX方向に位置する画素の中から、隣接する画素との輝度差が最大になる画素を探索する(S404)。このときの処理は、前述の−X方向での探索処理とほぼ同様である。
S403及びS404の処理により、2つの画素が抽出される。この2つの画素は、水平方向からエッジ画素を挟むように位置している。同様に、スキャン方向が垂直方向の場合、S403及びS404の処理により特定された2つの画素は、垂直方向からエッジ画素を挟むように位置することになる。
次に、CPU62は、S403及びS404の処理により特定された2つの画素(最大輝度差の画素)の距離を算出する(S405)。この距離が、エッジ幅WEになる。すなわち、この場合のエッジ幅WEとは、エッジ画素の近傍におけるエッジ画素を挟む2つの画素であって、隣接画素との輝度差が最大となる2つの画素の距離のことである。
図15Aは、第1のピンボケ評価方法におけるエッジ幅の説明図である。図15Bは、第2のピンボケ評価方法におけるエッジ幅の説明図である。ここでの評価画像情報は猫の画像を示しており、両図の猫の画像は同じ画像である。この猫の画像では、猫の顔の部分にピントが合っており、ピンボケはしていない。各図の右側には、エッジ画素周辺の画素の輝度のグラフが示されている。グラフ中の矢印で示される点は、エッジ画素の輝度を示している。
猫の顔の縞模様の部分では、茶色の領域から白の領域に変化するため、エッジ画素が抽出されることがある。但し、ピントが合っているにもかかわらず、猫のふさふさした毛の影響により、エッジ画素の周囲の輝度の変化は緩やかである。このような画像では、輝度の変化が緩やかであるため、エッジ画素近傍で輝度が極値となる画素は、エッジ画素から離れた位置になる。この結果、第1のピンボケ評価方法で猫の画像情報を評価すると、図15Aの右側のグラフの通りエッジ幅WEが大きい値になるため、ピントが合っているにもかかわらず、ピンボケ画像と誤評価してしまう。
一方、第2のピンボケ評価方法によれば、輝度が極値になる画素を特定するのではなく、隣接画素との輝度差が最大になる2つの画素を特定している。この結果、猫のふさふさした毛の影響でエッジ画素周辺の輝度変化が緩やかであっても、ピントが合っているのであれば、エッジ画素に近い画素が、輝度差最大の画素として特定される。この結果、第2のピンボケ評価方法で猫の画像情報を評価すると、図15Bの右側のグラフの通り、エッジ幅WEがピントに応じた幅になっており、ピンボケしていないと評価できる。
また、第2のピンボケ評価方法によれば、ある画素がエッジ画素として抽出されても、そのエッジ画素の勾配の大きさaよりも隣接画素の勾配の大きさaの方が大きい場合、そのエッジ画素に対応するエッジ幅は算出されない(図13、S402参照)。これにより、強度が比較的弱いエッジを考慮しないで平均エッジ幅WEaを算出することができる。
===評価結果の記憶===
ある評価画像情報のピンボケ評価の後、CPU62は、評価結果の記憶を行う(S250)。評価結果は、平均エッジ幅WEaであっても良いし、ピンボケの有無であっても良い。評価結果は、評価画像情報に対応付けられて、メモリ64に記憶される。
なお、全ての画像情報について評価が行われた後(S130でY)、バックアップされる画像情報を確認する際に(S140)、CPU62は、液晶表示部3に、バックアップの対象とされる画像情報を、一つずつ順に表示する。このとき、液晶表示部3には、S250においてメモリ64に記憶された評価結果に基づいて、表示されている画像情報に対応する評価結果(平均エッジ幅WEa又はピンボケの有無)が表示される。ユーザーは、液晶表示部3に表示された評価結果を見て、その画像情報をバックアップするか否かを、操作ボタン5で確定する。ユーザーは、例えば平均エッジ幅WEが大きいことを理由に、その画像情報のバックアップを行わないことにするかもしれない。このように、バックアップされる画像情報の確認の際に(S140)、液晶表示部3に評価結果が表示されることにより、ユーザーに判断資料を提示することができる。これにより、無駄な画像情報をCD−Rに書き込むことが無くなる。
===その他の実施の形態===
上記の実施形態は、主としてプリンタについて記載されているが、その中には、コンピュータシステム、プログラム、プログラムを記憶した記憶媒体等の開示が含まれていることは言うまでもない。
また、一実施形態としてのプリンタ等を説明したが、上記の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることは言うまでもない。特に、以下に述べる実施形態であっても、本発明に含まれるものである。
<適用製品について>
前述の実施形態では、プリンタが説明されていたが、これに限られるものではない。例えば、上記の画像情報の評価処理が、画像処理ソフトをインストールしたパーソナルコンピュータで行われても良い。
このような画像処理ソフトでは、画像補正処理を行うことができる。そして、ピンボケの画像に対する補正処理として、アンシャープマスクフィルタが知られている。画像処理ソフトが画像情報に対してアンシャープマスクフィルタを適用すれば、画像のエッジが強調され、ピンボケの画像を補正することができる。
ピンボケの補正が行われた場合、ユーザーに対して、補正結果をディスプレイ上に表示することが望ましい。ところで、ピンボケの補正が行われた場合、画像のエッジが強調され、画像の輪郭が鮮明になる。このように、画像の輪郭が鮮明になるように補正が行われた後、ディスプレイ上に表示する際に、補正後の画像情報に対して拡大/縮小処理が行われると、鮮明になった輪郭までもが変倍されてしまい、表示された画像が不自然になるおそれがある。この結果、元の画像情報に対して適切に画像補正が行われたにもかかわらず、適切な画像補正が行われていないとユーザーに判断されるおそれがある。このため、ピンボケの補正が行われた場合、補正後の画像情報を表示する際には、拡大/縮小処理を行わずに、等倍でディスプレイ上に表示することが望ましい。これにより、ユーザーは、補正後の画像情報を正しく認識することができる。
===まとめ===
(1)ピントの合っていない状態で撮影が行われると、撮影された画像の輪郭は、ぼやけた状態にある。つまり、ピンボケの画像では、濃度の異なる領域の境界(エッジ)の幅が広くなる。言い換えれば、画像情報におけるエッジの幅を検出すれば、ピンボケ評価を行うことができる。
そこで、前述のCPU62は、評価対象となる評価画像情報の輝度画像情報に対して、ソーベルフィルタを適用し、エッジ勾配画像を算出している(図7、S222参照)。これにより、画像情報の示す画像のエッジ(境界)を抽出することができる。エッジ勾配画像では、エッジに位置する画素の勾配の大きさaは、比較的高い値を示す。このため、CPU62は、エッジ勾配画像において勾配の大きさaの高い画素を、エッジ画素として抽出している。
また、前述のCPU62は、エッジ方向(境界と交差する方向)に応じてスキャン方向を決定し(図11のS301又は図13のS401)、一方向にスキャンしてエッジの端に位置する画素を特定し(図11のS302又は図13のS403)、さらに他方向にスキャンしてエッジの端に位置する画素を特定する(図11のS303又は図13のS404)。そして、CPU62は、エッジ幅WEを算出するため、特定された2つの画素の距離(画素数)を算出している。また、前述のCPU62は、各エッジ画素におけるエッジ幅WEをそれぞれ算出し、求められたエッジ幅WEを合計して総エッジ幅WEtを算出し、総エッジ幅WEtをエッジの数で除算して、平均エッジ幅WEaを算出している。そして、CPU62は、平均エッジ幅WEaが小さければピンボケしていないと評価し、平均エッジ幅WEaが大きければピンボケしていると評価する。
これにより、CPU62は、画像情報を精度良くピンボケ評価することができる。
(2)前述の第1のピンボケ評価方法によれば、CPU62は、エッジ画素に対してスキャン方向に位置する画素の中から輝度が極値となる画素を特定している。すなわち、第1のピンボケ評価方法によれば、輝度が極大値になる画素から極小値になる画素までの距離を、エッジ幅WEとしている。このようにエッジ幅WEを算出すれば、画像の輪郭のエッジがシャープな状態ではエッジ幅WEが小さくなり(図12B参照)、ピンボケした状態ではエッジ幅WEが大きくなるので(図12D参照)、精度良くピンボケ評価をすることができる。
(3)但し、このようにエッジ幅WEを算出すると、画像情報の示す画像によって、誤評価するおそれがある。すなわち、被写体の輪郭がもともとシャープな状態ではない場合、ピントが合っているにもかかわらず、エッジ幅WEが大きく算出され(図15A参照)、ピンボケ画像と誤評価してしまう。
そこで、前述の第2のピンボケ評価方法では、エッジ画素に対してスキャン方向に位置する画素の中から、隣接画素との輝度差が最大となる画素を特定し(図13のS403及びS404、図14参照)、特定された2つの画素の距離をエッジ幅WEとしている。このようにエッジ幅WEを算出すれば、被写体の輪郭がもともとぼやけていても、ピントが合っているのであれば、ピンボケしていないと評価することができる。
(4)前述の実施形態によれば、評価画像情報の輝度画像情報に対して、ソーベルフィルタを適用し、エッジ画素を抽出している。但し、これに限られるものではない。例えば、輝度画像情報に限られず、他の画像情報に対してソーベルフィルタを適用しても良い。また、ソーベルフィルタに限られず、他のエッジフィルタを適用しても良い。
他のエッジフィルタとしては、例えば、XY方向の微分をそれぞれ計算するフィルタが考えられる。但し、ソーベルフィルタを適用すれば、エッジが滑らかに抽出でき、また、平滑化効果によりノイズの影響を抑制できる。
(5)前述の実施形態によれば、勾配(輝度の傾きの程度)の大きさaが閾値を超える画素をエッジ画素として抽出している。但し、これに限られるものではない。例えば、隣接画素との輝度差が閾値を超える画素を、エッジ画素として抽出しても良い。
(6)前述の第2のピンボケ評価方法によれば、勾配の大きさaが閾値を超える画素であっても、スキャン方向に隣接する画素と比較して勾配の大きさaが大きくなければ、エッジ画素として扱われず、エッジ幅WEが算出されない。この処理は、第1のピンボケ評価方法にも適用することができる。これにより、強度が比較的弱いエッジを考慮しないで平均エッジ幅WEaを算出することができる。
(7)最もピントの合っているブロックでは、画像の輪郭が鮮明なので、隣接する画素間の輝度差が大きくなる。そこで、前述の実施形態では、分割されたブロック毎に、そのブロック内の輝度差の合計を算出し、輝度差が最も大きいブロックを抽出している。これにより、ピントの合っている部分を抽出することができる。
特に、被写体を強調するため被写体以外の背景をぼかして撮影を行った場合、画像全体に対して画像評価を行うと、被写体にピントが合っているにも関わらず、ピンボケと評価されるおそれがある。これに対し、前述の画像評価では、ピントが最も合っている部分で評価を行うので、画像評価の精度が向上する。
(8)前述の画像処理ソフトの実施形態では、ピンボケ評価の結果に基づいて画像情報に対してピンボケ補正を行うことにしている。これにより、評価画像情報に対して適切にピンボケ補正を行うことができる。
(9)画像補正が行われると、画像の輪郭が鮮明になる。しかし、このような補正が行われた後、ディスプレイ上に表示する際に、補正後の画像情報に対して拡大/縮小処理が行われると、鮮明になった輪郭までもが変倍されてしまい、表示された画像が不自然になるおそれがある。この結果、元の画像情報に対して適切に画像補正が行われたにもかかわらず、適切な画像補正が行われていないとユーザーに判断されるおそれがある。そこで、前述の画像ソフトの実施形態では、補正後の画像情報をディスプレイ上に表示する際には、等倍表示することにしている。
(10)前述の構成要素を全て含む画像評価方法によれば、全ての効果が得られるので、望ましい。しかし、前述の構成要素の全て含む必要がないことは、言うまでもない。
(11)前述のプリンタ1を制御するプログラムは、CPU62(演算処理装置の一例)に、評価画像情報を取得させ、評価画像情報からエッジ画素を複数抽出させ、各エッジ画素に対応するエッジ幅WEを算出させ、平均エッジ幅WEaに基づいてピンボケ評価を行わせている。
また、前述の画像処理ソフトは、この画像処理ソフトをインストールしたパーソナルコンピュータのCPU(演算処理装置の一例)に、評価画像情報を取得させ、評価画像情報からエッジ画素を複数抽出させ、各エッジ画素に対応するエッジ幅WEを算出させ、平均エッジ幅WEaに基づいてピンボケ評価を行わせている。
いずれの場合も、精度良くピンボケ評価することができる。
(12)前述のプリンタ1(画像情報評価装置の一例)は、評価画像情報を取得し、評価画像情報からエッジ画素を複数抽出し、各エッジ画素に対応するエッジ幅WEを算出し、平均エッジ幅WEaに基づいてピンボケ評価を行う。
また、前述の画像処理ソフトをインストールしたパーソナルコンピュータ(画像情報評価装置の一例)も、評価画像情報を取得し、評価画像情報からエッジ画素を複数抽出し、各エッジ画素に対応するエッジ幅WEを算出し、平均エッジ幅WEaに基づいてピンボケ評価を行う。
但し、画像情報評価装置としては、これに限られるものではない。例えば、デジタルカメラであっても良い。この場合、撮影した直後に、撮影された画像に対して評価を行い、撮影者に評価結果を表示することが望ましい。これにより、撮影者は、ピンボケに気をつけて撮影を行うことができ、又は、撮影された画像情報を消去することもできる。
(13)なお、前述の第2のピンボケ評価方法によれば、平均エッジ幅WEaに基づいて、ピンボケ評価を行っていた。但し、これに限られるものではない。例えば、評価画像情報の中から最も勾配の大きい画素をエッジ画素として抽出し、そのエッジ画素に対応するエッジ幅を算出し、算出されたエッジ幅に基づいてピンボケ評価をしても良い。このようにしても、被写体の輪郭がもともとぼやけていても、精度良くピンボケ評価できる。
プリンタ1、及び、このプリンタ1に接続されるCD−R装置100の外観を説明する図である。 プリンタ1の電気的構成を説明するためのブロック図である。 バックアップ処理を説明するフローチャートである。 画像評価処理を説明するためのフローチャートである。 評価範囲の設定(S210)を説明するためのフローチャートである。 図6Aは、256個のブロックBKに分割された画像情報を説明するための概念図である。図6Bは、隣り合う画素同士の輝度差を説明するための概念図である。図6Cは、最もエッジが多いブロックBKを含む評価範囲EVを示す概念図である。 第1のピンボケ評価方法を説明するためのフローチャートである。 図8Aは、X方向のソーベルフィルタを説明する図である。図8Bは、Y方向のソーベルフィルタを説明する図である。図8Cは、或る画素P(i,j)を中心とする3×3画素の範囲、及び、この範囲内の画素Pの輝度Yを説明する模式図である。 ソーベルフィルタの適用を模式的に説明する図である。 勾配の大きさaとエッジ方向θを模式的に説明する図である。 第1のピンボケ評価方法でのエッジ幅WEの算出方法のフローチャートである。 図12Aは、シャープなエッジの画像を説明する説明図である。図12Bは、図12Aのエッジに対するエッジ幅の説明図である。図12Cは、ぼやけたエッジの説明図である。図12Dは、図12Cのエッジに対するエッジ幅の説明図である。 第2のピンボケ評価方法でのエッジ幅WEの算出方法のフローチャートである。 最大輝度差の画素の探索処理のフローチャートである。 図15Aは、第1のピンボケ評価方法におけるエッジ幅の説明図である。図15Bは、第2のピンボケ評価方法におけるエッジ幅の説明図である。
符号の説明
1 プリンタ,2 操作パネル,3 液晶表示部,4 排紙部,5 操作ボタン,
6 カードスロット,7 給紙部,
12 第1インタフェース,14 第2インタフェース,
20 ヘッドユニット,22 ヘッド,
30 用紙搬送機構,40 キャリッジ移動機構,50 検出器群,
60 プリンタ側コントローラ,
100 CD−R装置,102 ケーブル,104 CD−R,
110 メモリカード,120 デジタルカメラ,130 ホストコンピュータ,
EV 評価範囲,P 画素,Y 輝度,
WE エッジ幅、WEt 総エッジ幅、WEa 平均エッジ幅、

Claims (15)

  1. 評価対象となる画像情報の中から、前記画像情報の示す画像の境界に位置するエッジ画素を複数抽出し、
    前記エッジ画素における前記境界と交差する方向の前記境界の画素数を算出し、
    前記境界の画素数と前記エッジ画素の数とに基づいて、前記画像情報のピンボケ評価を行う
    ことを特徴とする画像情報の評価方法。
  2. 請求項1に記載の評価方法であって、
    前記境界と交差する方向から前記エッジ画素を挟む2つの画素であって、前記境界と交差する方向に並ぶ画素のうち輝度が極値となる2つの画素を抽出し、
    前記2つの画素の距離に基づいて、前記境界の画素数を算出する
    ことを特徴とする評価方法。
  3. 請求項1に記載の評価方法であって、
    前記境界と交差する方向から前記エッジ画素を挟む2つの画素であって、隣接する画素間で輝度差が最大となる2つの画素を抽出し、
    前記2つの画素の距離に基づいて、前記境界の画素数を算出する
    ことを特徴とする評価方法。
  4. 請求項3に記載の評価方法であって、
    ソーベルフィルタを適用することにより、前記エッジ画素を抽出する
    ことを特徴とする評価方法。
  5. 請求項1〜4のいずれかに記載の評価方法であって、
    前記画像情報に基づいて、各画素の勾配を算出し、
    前記勾配の大きさが閾値を超える画素を、前記エッジ画素として抽出する
    ことを特徴とする評価方法。
  6. 請求項1〜5のいずれかに記載の評価方法であって、
    前記画像情報の示す画像の境界に位置する画素であって、かつ、前記交差する方向に隣接する画素と比較して勾配が大きい画素を、エッジ画素として抽出する
    ことを特徴とする評価方法。
  7. 請求項1〜6のいずれかに記載の評価方法であって、
    前記画像情報を複数の領域に分割し、
    分割された領域から特定の領域を選択し、
    選択された特定の領域に対して、前記ピンボケ評価を行う
    ことを特徴とする評価方法。
  8. 請求項1〜7のいずれかに記載の評価方法であって、
    前記ピンボケ評価の結果に基づいて、前記画像情報に対してピンボケ補正を行う
    ことを特徴とする評価方法。
  9. 請求項8に記載の評価方法であって、
    ピンボケ補正後の画像情報を、等倍で表示する
    ことを特徴とする評価方法。
  10. 評価対象となる画像情報の中から、前記画像情報の示す画像の境界に位置するエッジ画素を複数抽出し、
    前記エッジ画素における前記境界と交差する方向の前記境界の画素数を算出し、
    前記境界の画素数と前記エッジ画素の数とに基づいて、前記画像情報のピンボケ評価を行う
    画像情報の評価方法であり、
    前記境界と交差する方向から前記エッジ画素を挟む2つの画素であって、隣接する画素間で輝度差が最大となる2つの画素を抽出し、前記2つの画素の距離に基づいて、前記境界の画素数を算出し、
    ソーベルフィルタを適用することにより、前記エッジ画素を抽出し、
    前記画像情報に基づいて各画素の勾配を算出し、前記勾配の大きさが閾値を超える画素を、前記エッジ画素として抽出し、
    前記画像情報の示す画像の境界に位置する画素であって、かつ、前記交差する方向に隣接する画素と比較して勾配が大きい画素を、エッジ画素として抽出し、
    前記画像情報を複数の領域に分割し、分割された領域から特定の領域を選択し、選択された特定の領域に対して、前記ピンボケ評価を行い、
    前記ピンボケ評価の結果に基づいて、前記画像情報に対してピンボケ補正を行い、
    ピンボケ補正後の画像情報を、等倍で表示する
    ことを特徴とする画像情報の評価方法。
  11. 演算処理装置に、
    評価対象となる画像情報の中から、前記画像情報の示す画像の境界に位置するエッジ画素を複数抽出させ、
    前記エッジ画素における前記境界と交差する方向の前記境界の画素数を算出させ、
    前記境界の画素数と前記エッジ画素の数とに基づいて、前記画像情報のピンボケ評価を行わせる
    ことを特徴とする画像情報の評価プログラム。
  12. 評価対象となる画像情報の中から、前記画像情報の示す画像の境界に位置するエッジ画素を複数抽出し、
    前記エッジ画素における前記境界と交差する方向の前記境界の画素数を算出し、
    前記境界の画素数と前記エッジ画素の数とに基づいて、前記画像情報のピンボケ評価を行う
    ことを特徴とする画像情報評価装置。
  13. 評価対象となる画像情報の中から、前記画像情報の示す画像の境界に位置するエッジ画素を抽出し、
    前記境界と交差する方向から前記エッジ画素を挟む2つの画素であって、隣接する画素間で輝度差が最大となる2つの画素を抽出し、
    前記2つの画素の距離に基づいて、前記画像情報のピンボケ評価を行う
    ことを特徴とする画像情報の評価方法。
  14. 演算処理装置に、
    評価対象となる画像情報の中から、前記画像情報の示す画像の境界に位置するエッジ画素を抽出させ、
    前記境界と交差する方向から前記エッジ画素を挟む2つの画素であって、隣接する画素間で輝度差が最大となる2つの画素を抽出させ、
    前記2つの画素の距離に基づいて、前記画像情報のピンボケ評価を行わせる
    ことを特徴とする画像情報の評価プログラム。
  15. 評価対象となる画像情報の中から、前記画像情報の示す画像の境界に位置するエッジ画素を抽出し、
    前記境界と交差する方向から前記エッジ画素を挟む2つの画素であって、隣接する画素間で輝度差が最大となる2つの画素を抽出し、
    前記2つの画素の距離に基づいて、前記画像情報のピンボケ評価を行う
    ことを特徴とする画像情報評価装置。

JP2004359693A 2004-12-13 2004-12-13 画像情報の評価方法、画像情報の評価プログラム及び画像情報評価装置 Expired - Fee Related JP4539318B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004359693A JP4539318B2 (ja) 2004-12-13 2004-12-13 画像情報の評価方法、画像情報の評価プログラム及び画像情報評価装置
US11/283,669 US7653256B2 (en) 2004-12-13 2005-11-22 Method of evaluating image information, storage medium, and image-information evaluating apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004359693A JP4539318B2 (ja) 2004-12-13 2004-12-13 画像情報の評価方法、画像情報の評価プログラム及び画像情報評価装置

Publications (2)

Publication Number Publication Date
JP2006171840A true JP2006171840A (ja) 2006-06-29
JP4539318B2 JP4539318B2 (ja) 2010-09-08

Family

ID=36672557

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004359693A Expired - Fee Related JP4539318B2 (ja) 2004-12-13 2004-12-13 画像情報の評価方法、画像情報の評価プログラム及び画像情報評価装置

Country Status (2)

Country Link
US (1) US7653256B2 (ja)
JP (1) JP4539318B2 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007220009A (ja) * 2006-02-20 2007-08-30 Seiko Epson Corp 画像判定装置および画像判定方法
JP2008245040A (ja) * 2007-03-28 2008-10-09 Kddi Corp 動画像分類装置
JP2010217954A (ja) * 2009-03-13 2010-09-30 Sony Corp 画像処理装置および方法、学習装置および方法、並びに、プログラム
JP2011248085A (ja) * 2010-05-26 2011-12-08 Tai Hyuk Nam オートフォーカス画像システム
JP2012520588A (ja) * 2009-03-13 2012-09-06 トムソン ライセンシング ブロックに基づいて圧縮された画像におけるぼやけの測定
WO2013031807A1 (ja) * 2011-09-02 2013-03-07 シャープ株式会社 立体画像生成方法、立体画像生成装置、およびそれを備える表示装置
JP2013527483A (ja) * 2009-12-07 2013-06-27 ナム タイ,ヒョク オートフォーカス画像システム
US8571253B2 (en) 2008-12-26 2013-10-29 Huawei Device Co., Ltd. Image quality evaluation device and method
JP2014067044A (ja) * 2007-10-22 2014-04-17 Tai Hyuk Nam オートフォーカス画像システムにおけるフォーカス信号を生成する方法
US9065999B2 (en) 2011-03-24 2015-06-23 Hiok Nam Tay Method and apparatus for evaluating sharpness of image
JP2015170306A (ja) * 2014-03-10 2015-09-28 サクサ株式会社 画像処理装置
KR101659920B1 (ko) * 2015-05-19 2016-09-30 경북대학교 산학협력단 선명도의 척도를 결정하기 위한 전자 장치 및 방법, 이를 수행하기 위한 기록 매체

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060078217A1 (en) * 2004-05-20 2006-04-13 Seiko Epson Corporation Out-of-focus detection method and imaging device control method
US8126197B2 (en) * 2007-11-29 2012-02-28 Certifi-Media Inc. Method for image quality assessment using quality vectors
US8488834B2 (en) * 2007-11-15 2013-07-16 Certifi-Media Inc. Method for making an assured image
JP4999788B2 (ja) * 2008-06-26 2012-08-15 三菱電機株式会社 移動目標検出装置及びコンピュータプログラム及び移動目標検出方法
JP5562005B2 (ja) * 2009-11-02 2014-07-30 キヤノン株式会社 画像処理装置及び画像処理方法
US8411982B2 (en) * 2010-02-16 2013-04-02 Dialogic Corporation Universal blurriness measurement approach for digital imagery
WO2011139288A1 (en) 2010-05-06 2011-11-10 Nikon Corporation Image sharpness classification system
WO2012060835A1 (en) 2010-11-03 2012-05-10 Nikon Corporation Blur detection system for night scene images
US9251439B2 (en) 2011-08-18 2016-02-02 Nikon Corporation Image sharpness classification system
CN104424662B (zh) * 2013-08-23 2017-07-28 三纬国际立体列印科技股份有限公司 立体扫描装置
CN107040709A (zh) * 2015-11-12 2017-08-11 精工爱普生株式会社 图像处理装置、机器人系统、机器人以及图像处理方法
CN107948502B (zh) * 2017-11-08 2024-04-23 广州网路通电子有限公司 一种监控摄像机图像对焦测量系统及其测量方法
US11800056B2 (en) 2021-02-11 2023-10-24 Logitech Europe S.A. Smart webcam system
US11800048B2 (en) 2021-02-24 2023-10-24 Logitech Europe S.A. Image generating system with background replacement or modification capabilities

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09219863A (ja) * 1995-12-23 1997-08-19 Daewoo Electron Co Ltd 映像信号におけるチャネルエラー隠蔽方法及び装置
JPH09275459A (ja) * 1996-04-05 1997-10-21 Fuji Xerox Co Ltd 画質評価方法および装置
US5710829A (en) * 1995-04-27 1998-01-20 Lucent Technologies Inc. System and method for focused-based image segmentation for video signals
JPH11326541A (ja) * 1998-05-21 1999-11-26 Nissan Motor Co Ltd 撮像環境推定装置
JP3134446B2 (ja) * 1992-02-03 2001-02-13 ミノルタ株式会社 合焦検出装置
JP2002158893A (ja) * 2000-11-22 2002-05-31 Minolta Co Ltd 画像補正装置、画像補正方法および記録媒体
JP2004309586A (ja) * 2003-04-02 2004-11-04 Minolta Co Ltd 撮像装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07299053A (ja) * 1994-04-29 1995-11-14 Arch Dev Corp コンピュータ診断支援方法
KR100247938B1 (ko) * 1997-11-19 2000-03-15 윤종용 영상처리 시스템의 디지탈 초점 조절방법 및 장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3134446B2 (ja) * 1992-02-03 2001-02-13 ミノルタ株式会社 合焦検出装置
US5710829A (en) * 1995-04-27 1998-01-20 Lucent Technologies Inc. System and method for focused-based image segmentation for video signals
JPH09219863A (ja) * 1995-12-23 1997-08-19 Daewoo Electron Co Ltd 映像信号におけるチャネルエラー隠蔽方法及び装置
JPH09275459A (ja) * 1996-04-05 1997-10-21 Fuji Xerox Co Ltd 画質評価方法および装置
JPH11326541A (ja) * 1998-05-21 1999-11-26 Nissan Motor Co Ltd 撮像環境推定装置
JP2002158893A (ja) * 2000-11-22 2002-05-31 Minolta Co Ltd 画像補正装置、画像補正方法および記録媒体
JP2004309586A (ja) * 2003-04-02 2004-11-04 Minolta Co Ltd 撮像装置

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4513764B2 (ja) * 2006-02-20 2010-07-28 セイコーエプソン株式会社 画像判定装置および画像判定方法
JP2007220009A (ja) * 2006-02-20 2007-08-30 Seiko Epson Corp 画像判定装置および画像判定方法
JP2008245040A (ja) * 2007-03-28 2008-10-09 Kddi Corp 動画像分類装置
JP2014067044A (ja) * 2007-10-22 2014-04-17 Tai Hyuk Nam オートフォーカス画像システムにおけるフォーカス信号を生成する方法
US8571253B2 (en) 2008-12-26 2013-10-29 Huawei Device Co., Ltd. Image quality evaluation device and method
JP2010217954A (ja) * 2009-03-13 2010-09-30 Sony Corp 画像処理装置および方法、学習装置および方法、並びに、プログラム
JP2012520588A (ja) * 2009-03-13 2012-09-06 トムソン ライセンシング ブロックに基づいて圧縮された画像におけるぼやけの測定
US9497468B2 (en) 2009-03-13 2016-11-15 Thomson Licensing Blur measurement in a block-based compressed image
US9251571B2 (en) 2009-12-07 2016-02-02 Hiok Nam Tay Auto-focus image system
US9734562B2 (en) 2009-12-07 2017-08-15 Hiok Nam Tay Auto-focus image system
JP2013527483A (ja) * 2009-12-07 2013-06-27 ナム タイ,ヒョク オートフォーカス画像システム
JP2016057638A (ja) * 2009-12-07 2016-04-21 ナム タイ,ヒョク 複数のエッジ幅からフォーカス信号を生成する方法
JP2011248085A (ja) * 2010-05-26 2011-12-08 Tai Hyuk Nam オートフォーカス画像システム
JP2014134811A (ja) * 2010-05-26 2014-07-24 Tai Hyuk Nam フォーカス信号を発生する方法
US9065999B2 (en) 2011-03-24 2015-06-23 Hiok Nam Tay Method and apparatus for evaluating sharpness of image
WO2013031807A1 (ja) * 2011-09-02 2013-03-07 シャープ株式会社 立体画像生成方法、立体画像生成装置、およびそれを備える表示装置
JP2015170306A (ja) * 2014-03-10 2015-09-28 サクサ株式会社 画像処理装置
KR101659920B1 (ko) * 2015-05-19 2016-09-30 경북대학교 산학협력단 선명도의 척도를 결정하기 위한 전자 장치 및 방법, 이를 수행하기 위한 기록 매체

Also Published As

Publication number Publication date
US7653256B2 (en) 2010-01-26
US20060188170A1 (en) 2006-08-24
JP4539318B2 (ja) 2010-09-08

Similar Documents

Publication Publication Date Title
JP4539318B2 (ja) 画像情報の評価方法、画像情報の評価プログラム及び画像情報評価装置
JP4345651B2 (ja) 画像情報の評価方法、画像情報の評価プログラム及び画像情報評価装置
US7978247B2 (en) Focusing information visualization device, and corresponding method, program and recording medium
JP4487805B2 (ja) 画像評価方法、画像評価装置、及び印刷装置
US7929797B2 (en) Determining if an image is blurred
US7663779B2 (en) Image processing apparatus, image processing method and program therefor
JP2005310068A (ja) 白目補正方法及びこの方法を実施する装置
CN101151639A (zh) 图像处理装置和图像处理方法
JP2006011685A (ja) 写真画像処理方法及びその装置
US20080170044A1 (en) Image Printing Apparatus and Method for Processing an Image
US20080005684A1 (en) Graphical user interface, system and method for independent control of different image types
JP2006343863A (ja) 画像処理装置及びその方法
US20090060329A1 (en) Image Data Analyzing Device, Image Data Analyzing Method, and Computer Program
JP4366634B2 (ja) ノイズ画素マップ作成方法とその方法を実施する装置とプログラム及び写真プリント装置
JP2006113658A (ja) 画像処理装置及び方法、及びプログラムを記録した記憶媒体
JPH1185962A (ja) 画像位置調整装置及び画像位置調整プログラムを記録したコンピュータが読み取り可能な記録媒体
JP4591603B2 (ja) 画像情報の評価方法、画像情報の評価プログラム及び画像情報評価装置
JP4678067B2 (ja) 画像評価方法、画像評価装置、及び印刷装置
US11650770B2 (en) Image enlargement/reduction rate calculation apparatus, image enlargement/reduction rate calculation method, image enlargement/reduction rate calculation program, and recording medium storing the program
JP2008079196A (ja) 画像補正方法と画像補正プログラムと画像補正モジュール
JP2009044757A (ja) 合焦情報の視覚化装置、その方法、プログラム及び記録媒体
JP2008147714A (ja) 画像処理装置およびその方法
JP2009027425A (ja) 画像処理装置、画像処理方法及びそのプログラム
US20090232402A1 (en) Image Processing Apparatus, Image Processing Method, and Computer Program for Image Processing
JP2003259105A (ja) カラー画像処理方法、カラー画像処理装置、及びそのための記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100312

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100330

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100601

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100614

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4539318

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130702

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees