JP2004348293A

JP2004348293A - Image quality computing device and method, program thereof, and recording medium

Info

Publication number: JP2004348293A
Application number: JP2003142738A
Authority: JP
Inventors: Harumi Kawamura; 春美川村; Ryuji Yamamoto; 隆二山本; Shuichi Nishioka; 秀一西岡; Takehito Abe; 剛仁阿部; Tomonori Takada; 智規高田
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2003-05-20
Filing date: 2003-05-20
Publication date: 2004-12-09

Abstract

<P>PROBLEM TO BE SOLVED: To perform evaluation agreed with human sense in quality deterioration for original images in images after processing, when applying medium processing such as encoding and digital watermarks. <P>SOLUTION: An image quality computing device comprises an image input means 101 for inputting the images (original images) and the image (images, after medium processing) applying medium processing; an image-storing means 102 for storing the input original images and the images after medium processing; a quality-computing means 107 for computing the degree of the quality deterioration on the basis of human spacial perception characteristic, when comparing the images, after medium processing with the original images; and an output means 106 for outputting a computed result obtained in the quality-computing means. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、白黒画像やカラー画像に対して、符号化や電子透かし等のメディア処理を施した場合に、処理後の画像において元画像に対する品質劣化を計算する技術に関する。
【０００２】
【従来の技術】
静止画や映像においては、圧縮のための符号／復号処理による画像劣化や、電子透かし等による処理で画像の品質が劣化することが知られており、適切な圧縮や電子透かし等を施こす上で、原画像に対しての劣化の尺度を客観的に測定する手法が必要である（例えば、非特許文献１参照）。なお、以下では静止画および映像を画像と総称することにする。
【０００３】
画像の品質を測定する手法には、大きく分けて２通りある。１つめは、被験者に画像を見せてＳＤ法や一対比較等の評価手法を用いる方法である。２つめは、画像における画素値の差に着目して計算的に求める手法である。前者は、被験者の人数が一定以上あればある程度の客観性が得られるが、被験者を集めての評価実験が必要であるという煩雑さがある。そのため、一般には、後者の画素値の情報から自動的に計算して求める方法が用いられる。
【０００４】
後者の場合、一般的には、ＳＮＲ（ＳｉｇｎａｌｔｏＮｏｉｓｅＲａｔｉｏ）で画像の品質劣化を求める方法がある。ＳＮＲとは、元の信号とノイズによる影響の比の対数で表される尺度であり、以下のように表される。
ＳＮＲ＝１０・ｌｏｇ（Ｐｓ／Ｐｎ）（１）
ここで、Ｐｓは原信号であり、Ｐｎはノイズ信号を表す。ＳＮＲが大きいほど、品質が高いことを示す。なお、ｌｏｇは常用対数である。
【０００５】
上述の定義を画像に当てはめると、以下のようになる。
【数１】

【数２】

ただし、Ｒｉｊ，Ｇｉｊ，Ｂｉｊは、それぞれ、画像上の座標（ｉ，ｊ）における画素値、すなわち、画像のＲＧＢ成分である。また、Ｒｉｊ’，Ｇｉｊ’，Ｂｉｊ’は、ノイズによる影響を受けた後の画像上の座標（ｉ，ｊ）における画素値のＲＧＢ成分である。ＮおよびＭは画像の水平方向、垂直方向のピクセル数である。
【０００６】
画像の符号化や電子透かしは、人間の知覚特性に基づき画像の空間周波数空間で圧縮処理や情報埋め込み処理を行うため、個々の画素値が、数階調（８ビット表現の場合、最大値２５５に対して、５，６程度から１０数程度）増減する。処理後の画像は、人間の知覚上は目立たないが、上述のＳＮＲで求めると、どの画素に対しても原画像との差分があるため、（１）式の結果は大きくなり、実際の知覚とは合わない結果となることが問題であった。
【０００７】
【非特許文献１】
「カラー画像と画質評価」株式会社技術情報協会、１９９２年６月２５日
【０００８】
【発明が解決しようとする課題】
上述のように、従来の画像品質計算技術では、画像の各座標における数値、即ち、画素値間での差分に基づいているため、人間の知覚上では目立たないにもかかわらず、品質が悪く計算されることが問題であった。
【０００９】
本発明は、上記のような問題点を解決するためになされたものであり、その目的とするところは、人間の感覚と合った画像品質計算装置および方法を提供することにある。
【００１０】
【課題を解決するための手段】
本発明の画像品質計算装置は、画像（オリジナル画像）および該オリジナル画像にメディア処理を施した画像（メディア処理後画像）を入力する画像入力手段と、前記入力されたオリジナル画像およびメディア処理後画像を蓄積する画像蓄積手段と、前記メディア処理後画像を前記オリジナル画像と比較した際の品質劣化度合いを、人間の空間知覚特性に基づいて計算する品質計算手段と、前記品質計算手段で得られた計算結果を出力する出力手段とを有することを特徴とする。
【００１１】
本発明の画像品質計算装置において、品質計算手段は、オリジナル画像およびメディア処理後画像のそれぞれについて、該画像を表現する各画素値の成分から構成される情報を、空間的な粗密情報に変換し、該空間的な粗密情報に対して人間の知覚特性に基づく処理を行い、該処理後の空間的な粗密情報を画素値の成分から構成される情報に逆変換する手段と、前記逆変換された情報に基づき、前記メディア処理後画像の品質劣化度合いを計算する手段とから構成される。
【００１２】
また、本発明の画像品質計算方法は、画像（オリジナル画像）を入力するステップと、前記オリジナル画像に対して、メディア処理を施した画像（メディア処理後画像）を入力するステップと、前記入力されたオリジナル画像およびメディア処理後画像をメモリに蓄積するステップと、前記オリジナル画像およびメディア処理後画像に対し、該画像を表現する各画素値の成分から構成される情報を、空間的な粗密情報に変換するステップと、前記オリジナル画像およびメディア処理後画像に対応する空間的な粗密情報に対して、人間の知覚特性に基づく処理を行うステップと、前記オリジナル画像およびメディア処理後画像に対応する前記処理後の空間的な粗密情報を画素値の成分から構成される情報に逆変換するステップと、前記逆変換された情報に基づき、メディア処理後画像の品質劣化度合いを計算するステップと、前記計算して得られた結果を出力するステップとを有することを特徴とする。
【００１３】
また、本発明の画像品質計算方法は、画像（オリジナル画像）を入力するステップと、前記入力されたオリジナル画像に対してメディア処理を実行するステップと、前記オリジナル画像およびメディア処理後画像に対し、当該画像を表現する各画素値の成分から構成される情報を、空間的な粗密情報に変換するステップと、前記オリジナル画像およびメディア処理後画像に対応する空間的な粗密情報に対して、人間の知覚特性に基づく処理を行うステップと、前記オリジナル画像およびメディア処理後画像に対応する前記処理後の空間的な粒密情報を画素値の成分から構成される情報に逆変換するステップと、前記逆変換された情報に基づき、メディア処理後画像の品質劣化度合いを計算するステップと、前記計算して得られた結果を出力するステップとを有することを特徴とする。
【００１４】
【発明の実施の形態】
以下、本発明の実施形態について図面を参照して説明する。
図１は、本発明の一実施例を示すブロック図である。１０１は画像入力部、１０２は画像蓄積部、１０３は画像空間変換部、１０４は周波数帯域抽出部、１０５は差分計算部、１０６は出力部である、このうち、画像空間変換部１０３と周波数帯域抽出部１０４と差分計算部１０５とで画像品質計算部１０７を構成している。該画像品質計算部１０７はコンピュータにおけるＣＰＵに相当している。
【００１５】
図２に本実施例の全体の処理フローチャートを示す。以下、図２にもとづいて本実施例の処理の流れ、各部の動作を説明する。
【００１６】
画像入力部１０１は、１ないし複数の画像を入力機器を介して入力し、画像蓄積部１０２に転送する（ステップ２０１、２０２）。入力対象となる画像は、オリジナルな画像、および、それらに対して、画像処理済み、例えば、符号化処理（符号化後に復号したもの）や、電子透かし等のメディア処理を施した画像である。
【００１７】
画像蓄積部１０２は、オリジナル画像およびそのメディア処理後の画像の情報を蓄積する（ステップ２０３）。画像蓄積部１０２は、コンピュータにおけるハードディスク等に相当し、オリジナル画像およびそのメディア処理時の画像の情報各々を、例えば、名画素値が、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３種類の組として表現されるような形式で蓄積する。ここで、画素値を表す色空間は、ＲＧＢの他に、ＸＹＺ三刺激値、均等色空間であるＬＵＶやＬＡＢ、知覚空間であるＨＳＶとかＨＳＩ等の空間における数値であっても構わない。
【００１８】
画像品質計算部１０７は、画像蓄積部１０２に蓄積されている画像に対し、メディア処理済みの画像がオリジナル画像に比較して劣化度合いを計算する処理を実行する。以下、画像品質計算部１０７を構成する画像空間変換部１０３、周波数帯域抽出部１０４および差分計算部１０５の各部での処理について説明する。
【００１９】
画像空間変換部１０３は、画像蓄積部１０２に蓄積されているオリジナル画像およびそのメディア処理後の画像に対し、画像情報で表現されている空間から空間周波数の空間に変換したり、その逆変換を行う。これは、例えば、２次元フーリエ変換とその逆変換、離散的フーリエ変換（ＤＣＴ）とその逆変換、ウェーブレット変換とその逆変換などに相当し、いずれの技術を用いてもよい。
【００２０】
画像空間変換部１０３では、まず、画像蓄積部１０２に蓄積されているオリジナル画像およびそのメディア処理後の画像について、その画像情報で表現されている空間から空間周波数の空間に変換する（ステップ２０４）。すなわち、オリジナル画像およびそのメディア変換後の画像について、その各画素値の成分から構成される情報（例えば濃度情報）を、空間的な粗密情報（スペクトル）に変換する。
【００２１】
周波数帯域抽出部１０４は、オリジナル画像およびそのメディア変換後の画像それぞれについて、画像空間変換部１０３で得られた当該画像の空間周波数の空間に対して、周波数帯域に応じて予め定めた帯域幅の周波数部分のみを抽出し、すなわち、フィルタリング処理し、結果を画像空間変換部１０３へ返却する（ステップ２０５）。本処理は、一般的に、ローパスフィルタリング（低周波数低分のみの抽出）とかハイパスフィルタリング（高周波数成分のみの抽出）等で言われている画像処理と同様である。ただし、ここでは、低周波、高周波に限らず、一定帯域幅の周波数に含まれる画像領域の抽出という概念も含む。
【００２２】
人間の空間知覚特性は、空間周波数に応じて感度が異なることが知られており（例えば、先の非特許文献１）、空間周波数が高いほど感度特性が下がる傾向にある。ＭＰＥＧ１やＭＰＥＧ２で採用されている画像の圧縮方式は、上述の人間の空間知覚特性に基づいて画像の高周波成分への重みを小さくする特性をもっている。また、Ｗｉｌｓｏｎらによれば、空間知覚特性は、６種類の帯域（０．７５，１．５，２．８，４．４，８．０，１６．Ｏｃ／ｄｅｇにピークをもつ）幅をもつという結果が調べられている（Ｗｉｌｓｏｎほか“ＳｐａｔｉａｌＦｒｅｑｕｅｎｃｙＴｕｎｌｎｇｏｆＯｒｉｅｎｔａｔｉｏｎＳｅｌｅｃｔｉｖｅＵｎｉｔｓＥｓｔｉｍａｔｅｄｂｙＯｂｌｉｑｕｅＭａｓｋｉｎｇ”，ＶｉｓｉｏｎＲｅｓｅａｒｃｈ，Ｖｏｌ．２３，Ｎｏ．９，ｐｐ．８７３−８８２，１９８３）。したがって、人間が画像を知覚する際には、空間周波数に応じて、感度を高く感じる部分と比較的、違いに鈍感な部分があるため、画素値自体に差分があっても、実際には、差分として知覚されないということになる。
【００２３】
本発明では、上述の特性を用いて、オリジナル画像およびそのメディア処理後の画像それぞれについて、周波数帯域ごとに画像を抽出し、帯域に応じた感度特性に応じてフィルタリング処理を行うものである。図３はこれを説明する図で、３００が空間周波数画像を示し、ここでは、中心部の低周波成分３０１、中間の中周波数成分３０２、周辺の高周波成分を抽出（フィルタリング）することを示している。
【００２４】
画像空間変換部１０３は、オリジナル画像およびそのメディア処理後の画像それぞれについて、周波数帯域抽出部１０４で抽出された空間周波数の情報をもとに逆変換し、すなわち、フィルタリング処理後の空間的な粗密情報を画素値の成分から構成される情報に逆変換し、差分計算部１０５へ渡す（ステップ２０６）。
【００２５】
差分計算部１０５では、周波数成分に対応する画像領域に応じて、オリジナル画像およびメディア処理後の画像に対して、更に人間の空間周波数特性に応じたフィルタリング処理を行った上で、差分を計算する処理を行う（ステップ２０７）。
【００２６】
先に述べたように、画像は空間周波数帯域で分割して表すことができる。図３では、３種類の周波数成分帯に画像を分割した例であるが、Ｗｉｌｓｏｎらによる６分割の周波数帯に応じた分割でも構わないし、等間隔、等比感覚で分割しても構わない。ここでの周波数成分による画像は、低周波数成分画像は、エッジの抜けたような画像であり、高周波成分は、境界線が際立った画像になる。式で表すと以下のように表される。なお、ここでは、簡単のため、明るさ方向（輝度情報）のみに着目する。
Ｌ（ｉ，ｊ）＝Ｌｌｏｗ（ｉ，ｊ）＋Ｌｍｉｄ（ｉ，ｊ）＋Ｌｈｉｇｈ（ｉ，ｊ）（４）
Ｌ’（ｉ，ｊ）＝Ｌ’ｌｏｗ（ｉ，ｊ）＋Ｌ’ｍｉｄ（ｉ，ｊ）＋Ｌ’ｈｉｇｈ（ｉ，ｊ）（５）
ここで、画像上の座標（ｉ，ｊ）における、オリジナル画像の輝度Ｌ（ｉ，ｊ）、メディア処理後画像の輝度Ｌ’（ｉ，ｊ）を表している。なお、下つきのｌｏｗ，ｍｉｄおよびｈｉｇｈは、それぞれ、輝度画像における、低周波成分、中周波数成分、高周波数成分である。
【００２７】
差分計算部１０５では、まず、オリジナル画像およびメディア処理後の画像それぞれについて、周波数成分毎の逆変換された画像に対して、人間の空間周波数特性の感度に応じた係数をかける。すなわち、一種のフィルタリング処理を行う。
ここで係数とは、先のＷｉｌｓｏｎらの文献における６つの波長帯域の感度係数だったり、非特許文献１における周波数特性を等間隔で分割した際の、感度係数であっても構わない。この処理は次式で表される。

ただし、ｋ１、ｋ２、およびｋ３は、空間周波数特性の感度係数であり、例えばｋ１＞ｋ２＞ｋ３と設定する。
【００２８】
ここで、得られたＬｐ（ｉ，ｊ）およびＬｐ’（ｉ，ｊ）は、それぞれ、オリジナル画像、メディア処理後の画像における空間周波数特性を考慮した人間が知覚する画像である。
【００２９】
次に、差分計算部１０５では、式（６）およひ式（７）によって得られた画像に対して、以下のように、画像の差分を計算する。
【数３】

【数４】

【００３０】
上述の式によって得られた、ＰｓｐおよびＰｎｐに対して、以下の式により、ＳＮＲｐを計算する。

【００３１】
ここでは、輝度画像について説明したが、ＲＧＢ空間、ＸＹＺ三刺激値、均等色空間であるＬＵＶやＬＡＢ、知覚空間であるＨＳＶとかＨＳＩ等の空間における数値であっても構わない。
【００３２】
差分計算部１０５では、得られた結果を出力部１０６へ転送する。出力部１０６では、差分計算部１０５での結果をモニタやプリンタなどの出力機器に出力する（ステップ２０８）。
【００３３】
以上、本発明の一実施例について説明したが、例えば、メディア処理のアルゴリズム（アプリケーション）をあらかじめロードしておけば、本装置内において、オリジナル画像に当該アルゴリズムに基づくメディア処理を実行してメディア処理済み画像を生成することが可能である。この場合、パラメータ等を変えることにより、種々の品質のメディア処理処理済み画像を得ることができる。
【００３４】
なお、図１で示した装置における各部の一部もしくは全部の処理機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、図２で示したような処理手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもない。また、コンピュータでその処理機能を実現するためのプログラム、あるいは、コンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、ＦＤやＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることができるとともに、インターネット等のネットワークを通してそのプログラムを配布したりすることが可能である。
【００３５】
【発明の効果】
以上説明したように、本発明によれば、人間の空間周波数に対応した特性を反映した画像に変換してからメディア処理における差分（ＳＮＲ等）を計算するので、単純に画素値だけから得られる差分よりも、人間の感覚にあった画像の評価値を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明にかかる画像品質計算装置の一実施例を示すブロック図である。
【図２】図１の処理フローチャートである。
【図３】周波数空間上のフィルタリング処理を説明する図である。
【符号の説明】
１０１画像入力部
１０２画像蓄積部
１０３画像空間変換部
１０４周波数帯域抽出部
１０５差分計算部
１０６出力部
１０７画像品質計算部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a technique for calculating quality degradation of an original image in a processed image when media processing such as encoding and digital watermarking is performed on a monochrome image or a color image.
[0002]
[Prior art]
It is known that image quality of still images and videos is degraded by encoding / decoding processing for compression and image quality is degraded by processing by digital watermarking. Therefore, there is a need for a method of objectively measuring the scale of deterioration of the original image (for example, see Non-Patent Document 1). In the following, still images and videos are collectively referred to as images.
[0003]
There are roughly two methods for measuring image quality. The first method is to show an image to a subject and use an evaluation method such as an SD method or a pair comparison. The second method is a method of performing calculation by paying attention to a difference between pixel values in an image. In the former, a certain degree of objectivity can be obtained if the number of subjects is equal to or more than a certain value, but there is the complexity that an evaluation experiment is required to collect the subjects. Therefore, in general, a method of automatically calculating and obtaining the information from the latter pixel value information is used.
[0004]
In the latter case, generally, there is a method of obtaining image quality degradation by SNR (Signal to Noise Ratio). The SNR is a measure expressed by the logarithm of the ratio of the influence of the original signal and the noise, and is expressed as follows.
SNR = 10 · log (Ps / Pn) (1)
Here, Ps is an original signal, and Pn represents a noise signal. The higher the SNR, the higher the quality. Note that log is a common logarithm.
[0005]
When the above definition is applied to an image, it is as follows.
(Equation 1)

(Equation 2)

Here, Rij, Gij, and Bij are pixel values at coordinates (i, j) on the image, that is, RGB components of the image. Rij ', Gij', and Bij 'are RGB components of a pixel value at coordinates (i, j) on the image after being affected by noise. N and M are the number of pixels in the horizontal and vertical directions of the image.
[0006]
In image encoding and digital watermarking, compression processing and information embedding processing are performed in the spatial frequency space of an image based on human perceptual characteristics, so that each pixel value has several gradations (the maximum value is 255 in the case of 8-bit representation). (About 5,6 to about 10). The processed image is inconspicuous in human perception, but when obtained by the above-described SNR, since there is a difference from the original image for every pixel, the result of equation (1) becomes large, The problem was that the results did not match.
[0007]
[Non-patent document 1]
"Color Image and Image Quality Evaluation" Technical Information Association, June 25, 1992 [0008]
[Problems to be solved by the invention]
As described above, in the conventional image quality calculation technology, since the image quality is based on the numerical value at each coordinate of the image, that is, the difference between the pixel values, the quality is low even though it is not conspicuous on human perception. Was a problem.
[0009]
SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and an object of the present invention is to provide an image quality calculation apparatus and method that match human senses.
[0010]
[Means for Solving the Problems]
An image quality calculation apparatus according to the present invention comprises: an image input unit for inputting an image (original image) and an image obtained by subjecting the original image to media processing (an image after media processing); and the input original image and the image after media processing. Image quality calculating means for calculating the degree of quality deterioration when the media-processed image is compared with the original image based on human spatial perception characteristics, and the quality calculating means. Output means for outputting a calculation result.
[0011]
In the image quality calculation device of the present invention, the quality calculation means converts, for each of the original image and the image after the media processing, information composed of components of each pixel value representing the image into spatial density information. Means for performing processing on the spatial density information based on human perceptual characteristics, and inversely converting the spatial density information after the processing into information composed of pixel value components; Means for calculating the degree of quality deterioration of the post-media processing image based on the obtained information.
[0012]
In the image quality calculation method according to the present invention, the step of inputting an image (original image), the step of inputting an image (media-processed image) obtained by performing a media process on the original image, Storing the original image and the media-processed image in a memory, and converting the information including the pixel value components representing the image into spatial coarse-density information for the original image and the media-processed image. Converting, performing a process based on human perceptual characteristics on spatial density information corresponding to the original image and the media-processed image, and the process corresponding to the original image and the media-processed image Inversely transforming the subsequent spatial density information into information comprising pixel value components; Based on the information, and having the steps of: calculating a quality deterioration degree of the media processed image, and outputting a result of the obtained calculated and.
[0013]
Further, the image quality calculation method of the present invention includes a step of inputting an image (original image); a step of performing media processing on the input original image; Converting information consisting of components of each pixel value representing the image into spatial density information; and spatial density information corresponding to the original image and the media-processed image. Performing a process based on perceptual characteristics; inversely converting the processed spatial granularity information corresponding to the original image and the media-processed image to information comprising pixel value components; Calculating the quality deterioration degree of the post-media processing image based on the converted information; and outputting the calculated result. Characterized by a step.
[0014]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing one embodiment of the present invention. 101 is an image input unit, 102 is an image storage unit, 103 is an image space conversion unit, 104 is a frequency band extraction unit, 105 is a difference calculation unit, and 106 is an output unit. Of these, the image space conversion unit 103 and the frequency band The image quality calculation unit 107 is composed of the extraction unit 104 and the difference calculation unit 105. The image quality calculation unit 107 corresponds to a CPU in a computer.
[0015]
FIG. 2 shows an overall processing flowchart of this embodiment. Hereinafter, the flow of the process of this embodiment and the operation of each unit will be described with reference to FIG.
[0016]
The image input unit 101 inputs one or a plurality of images via an input device and transfers the images to the image storage unit 102 (steps 201 and 202). The image to be input is an original image and an image that has been subjected to image processing, for example, an image that has been subjected to media processing such as encoding (decoding after encoding) or digital watermarking.
[0017]
The image storage unit 102 stores information on the original image and the image after the media processing (step 203). The image storage unit 102 corresponds to a hard disk or the like in a computer, and stores information of an original image and information of the image at the time of media processing, for example, when the name pixel value is R (red), G (green), B (blue) The data is accumulated in a format that can be expressed as three types of sets. Here, the color space representing the pixel values may be, in addition to RGB, XYZ tristimulus values, LUV and LAB as uniform color spaces, and numerical values in spaces such as HSV and HSI as perceptual spaces.
[0018]
The image quality calculation unit 107 performs a process of calculating the degree of deterioration of the image that has been subjected to the media processing with respect to the image stored in the image storage unit 102, as compared with the original image. Hereinafter, processing in each unit of the image space conversion unit 103, the frequency band extraction unit 104, and the difference calculation unit 105 that constitute the image quality calculation unit 107 will be described.
[0019]
The image space conversion unit 103 converts the original image stored in the image storage unit 102 and the image after the media processing from the space represented by the image information to the space of the spatial frequency, and performs the inverse conversion. Do. This corresponds to, for example, two-dimensional Fourier transform and its inverse transform, discrete Fourier transform (DCT) and its inverse transform, wavelet transform and its inverse transform, and any technique may be used.
[0020]
First, the image space conversion unit 103 converts the original image stored in the image storage unit 102 and the image after the media processing from the space represented by the image information to the space of the spatial frequency (step 204). . That is, for the original image and the image after the media conversion, information (for example, density information) composed of components of each pixel value is converted into spatial density information (spectrum).
[0021]
For each of the original image and the image after the media conversion, the frequency band extraction unit 104 compares the spatial frequency space of the image obtained by the image space conversion unit 103 with a predetermined bandwidth corresponding to the frequency band. Only the frequency portion is extracted, that is, the filtering process is performed, and the result is returned to the image space conversion unit 103 (step 205). This processing is generally the same as image processing called low-pass filtering (extraction of only low-frequency components) or high-pass filtering (extraction of only high-frequency components). However, here, the concept is not limited to the low frequency and the high frequency, but also includes the concept of extracting an image region included in a frequency having a certain bandwidth.
[0022]
It is known that the sensitivity of human spatial perception varies depending on the spatial frequency (for example, the aforementioned Non-Patent Document 1), and the sensitivity tends to decrease as the spatial frequency increases. The image compression method adopted in MPEG1 and MPEG2 has a characteristic of reducing the weight to the high-frequency component of the image based on the above-described human spatial perception characteristics. According to Wilson et al., The spatial perception characteristic has six types of bands (peaks at 0.75, 1.5, 2.8, 4.4, 8.0, 16.Oc / deg) width. (Wilson et al., "Spatial Frequency Tunng of Orientation Selective Units Estimated by Oblige Masking", Vision Research, Vol. 23, No. 83, No. 87, No. 8, p. Therefore, when a human perceives an image, there is a portion where the sensitivity is high and a portion where the difference is relatively insensitive, depending on the spatial frequency. It will not be perceived as a difference.
[0023]
In the present invention, an image is extracted for each frequency band for each of the original image and the image after the media processing using the above-described characteristics, and filtering processing is performed according to the sensitivity characteristics according to the band. FIG. 3 is a diagram for explaining this, in which 300 indicates a spatial frequency image, in which a low frequency component 301 in the center, an intermediate middle frequency component 302, and a high frequency component in the periphery are extracted (filtered). I have.
[0024]
The image space conversion unit 103 performs inverse conversion on each of the original image and the image after the media processing based on the information of the spatial frequency extracted by the frequency band extraction unit 104, that is, the spatial density after the filtering process. The information is inversely converted into information composed of pixel value components, and is passed to the difference calculation unit 105 (step 206).
[0025]
The difference calculation unit 105 performs a filtering process on the original image and the image after media processing according to the spatial frequency characteristic of the human according to the image region corresponding to the frequency component, and then calculates the difference. Processing is performed (step 207).
[0026]
As described above, an image can be represented by being divided into spatial frequency bands. FIG. 3 shows an example in which an image is divided into three types of frequency component bands. However, the image may be divided according to Wilson et al.'S six frequency bands, or may be divided at equal intervals and equal ratio. Here, the image based on the frequency component is an image in which a low-frequency component image is missing an edge, and the high-frequency component is an image in which a boundary line is outstanding. This can be expressed as follows. Here, for simplicity, attention is paid only to the brightness direction (luminance information).
L (i, j) = Llow (i, j) + Lmid (i, j) + Lhigh (i, j) (4)
L '(i, j) = L'low (i, j) + L'mid (i, j) + L'high (i, j) (5)
Here, the luminance L (i, j) of the original image and the luminance L ′ (i, j) of the image after the media processing are represented at the coordinates (i, j) on the image. The subscripts low, mid, and high are a low-frequency component, a middle-frequency component, and a high-frequency component, respectively, in the luminance image.
[0027]
The difference calculation unit 105 first applies a coefficient corresponding to the sensitivity of the spatial frequency characteristic of the human to the inversely transformed image for each frequency component for each of the original image and the image after the media processing. That is, a kind of filtering processing is performed.
Here, the coefficient may be a sensitivity coefficient of the six wavelength bands in the above-mentioned Wilson et al. Document or a sensitivity coefficient when the frequency characteristic in Non-Patent Document 1 is divided at equal intervals. This processing is represented by the following equation.

Here, k1, k2, and k3 are sensitivity coefficients of the spatial frequency characteristic, and are set to, for example, k1>k2> k3.
[0028]
Here, the obtained Lp (i, j) and Lp ′ (i, j) are images perceived by a human in consideration of the spatial frequency characteristics of the original image and the image after media processing, respectively.
[0029]
Next, the difference calculation unit 105 calculates a difference between the images obtained by Expressions (6) and (7) as follows.
[Equation 3]

(Equation 4)

[0030]
With respect to Psp and Pnp obtained by the above equation, SNRp is calculated by the following equation.

[0031]
Here, the luminance image has been described, but a numerical value in a space such as an RGB space, XYZ tristimulus values, LUV or LAB as a uniform color space, or HSV or HSI as a perceptual space may be used.
[0032]
The difference calculation unit 105 transfers the obtained result to the output unit 106. The output unit 106 outputs the result of the difference calculation unit 105 to an output device such as a monitor or a printer (Step 208).
[0033]
As described above, an embodiment of the present invention has been described. For example, if an algorithm (application) for media processing is pre-loaded, media processing based on the algorithm is performed on the original image in the apparatus to execute media processing. It is possible to generate a completed image. In this case, it is possible to obtain media-processed images of various qualities by changing parameters and the like.
[0034]
It should be noted that a part or all of the processing functions of each unit in the apparatus shown in FIG. 1 are configured by a computer program, and that the program can be executed using a computer to realize the present invention. It goes without saying that the processing procedure as shown can be configured by a computer program and the computer can execute the program. In addition, a program for realizing the processing function by the computer or a program for causing the computer to execute the processing procedure is stored in a computer-readable recording medium such as an FD, an MO, a ROM, a memory card, and a CD. , A DVD, a removable disk, etc., and can be stored or provided, and the program can be distributed through a network such as the Internet.
[0035]
【The invention's effect】
As described above, according to the present invention, a difference (SNR, etc.) in media processing is calculated after converting the image into an image reflecting characteristics corresponding to the spatial frequency of a human, so that it can be obtained simply from pixel values only. It is possible to obtain an evaluation value of an image that is more suitable for human senses than a difference.
[Brief description of the drawings]
FIG. 1 is a block diagram showing one embodiment of an image quality calculation device according to the present invention.
FIG. 2 is a processing flowchart of FIG. 1;
FIG. 3 is a diagram illustrating a filtering process on a frequency space.
[Explanation of symbols]
101 image input unit 102 image storage unit 103 image space conversion unit 104 frequency band extraction unit 105 difference calculation unit 106 output unit 107 image quality calculation unit

Claims

Image input means for inputting an image (hereinafter, an original image) and an image obtained by subjecting the original image to media processing (hereinafter, an image after media processing);
Image storage means for storing the input original image and the image after media processing,
Quality calculation means for calculating the degree of quality degradation when comparing the image after the media processing with the original image, based on human spatial perception characteristics,
Output means for outputting a calculation result obtained by the quality calculation means,
An image quality calculation device comprising:

2. The image quality calculation apparatus according to claim 1, wherein the quality calculation means converts information composed of components of each pixel value representing the image into the spatial coarse / density information for each of the original image and the media-processed image. Means for performing processing based on human perceptual characteristics on the spatial density information, and inversely converting the spatial density information after the processing into information comprising pixel value components; Means for calculating a degree of quality deterioration of the image after the media processing based on the inversely converted information.

3. The image quality calculation apparatus according to claim 2, wherein in the processing based on human perceptual characteristics for the spatial density information, only a frequency portion having a predetermined bandwidth is extracted according to a frequency band of the image. Image quality calculator.

4. The image quality calculating apparatus according to claim 2, wherein the information of the inversely transformed original image and the media-processed image is subjected to a filtering process according to a human spatial frequency characteristic, and the quality of the media-processed image is degraded. An image quality calculation apparatus characterized by calculating

A method of calculating image quality,
Inputting an image (hereinafter, an original image); inputting an image (hereinafter, an image after media processing) on the original image after performing media processing; Storing an image in a memory; converting, from the original image and the media-processed image, information composed of components of pixel values representing the image into spatial density information; Performing a process based on human perceptual characteristics on spatial density information corresponding to the image and the media-processed image; and processing the spatial density information corresponding to the original image and the media-processed image. Inversely transforming the information into information composed of pixel value components, based on the inversely transformed information, Calculating a quality deterioration degree of the A processed image, and outputting a result obtained by the calculation,
An image quality calculation method comprising:

A method of calculating image quality,
Inputting an image (hereinafter, referred to as an original image), performing media processing on the input original image, and calculating, for the original image and the media-processed image, each pixel value representing the image. Converting the information composed of the components into spatial density information; and performing processing based on human perceptual characteristics on the spatial density information corresponding to the original image and the image after media processing. Inversely transforming the processed spatial granularity information corresponding to the original image and the media-processed image into information composed of pixel value components; and performing media processing based on the inversely transformed information. Calculating the quality degradation degree of the post-image, and outputting the result obtained by the calculation,
An image quality calculation method comprising:

7. The image quality calculation method according to claim 5, wherein the step of performing a process based on a human perceptual characteristic on the spatial density information of the original image and the image after media processing is performed. An image quality calculation method characterized by using characteristics.

A program for causing a computer to execute the image quality calculation method according to any one of claims 5 to 7.

A computer-readable recording medium on which a program for causing a computer to execute the image quality calculation method according to claim 5 is recorded.