JP2006113774A - Image noise calculation method, image processing evaluation method, image processing evaluation device, image processing evaluation program and recording medium with its program recorded - Google Patents

Image noise calculation method, image processing evaluation method, image processing evaluation device, image processing evaluation program and recording medium with its program recorded Download PDF

Info

Publication number
JP2006113774A
JP2006113774A JP2004299632A JP2004299632A JP2006113774A JP 2006113774 A JP2006113774 A JP 2006113774A JP 2004299632 A JP2004299632 A JP 2004299632A JP 2004299632 A JP2004299632 A JP 2004299632A JP 2006113774 A JP2006113774 A JP 2006113774A
Authority
JP
Japan
Prior art keywords
image
image processing
evaluation
noise
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2004299632A
Other languages
Japanese (ja)
Inventor
Nobuhiro Karido
信宏 狩戸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2004299632A priority Critical patent/JP2006113774A/en
Publication of JP2006113774A publication Critical patent/JP2006113774A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processing evaluation method for evaluating image processing such as halftone processing. <P>SOLUTION: An image processing evaluation part 4 is provided with an image acquiring part 10 for acquiring an input image f and an output image g obtained by operating halftone processing to the input image f, a frequency converting part 11 for frequency-converting the input image f and the output image g, and for acquiring an input spectrum F and an output spectrum G, a VTF correcting part 12 for correcting the input spectrum F and the output spectrum G based on the spatial frequency characteristics VTF of a visual system to acquire the corrected input spectrum F2 and output spectrum G2, an image noise calculating part 14 for calculating an image noise Nz from a differential spectrum DS obtained by calculating a difference between the corrected input spectrum F2 and output spectrum G2 and an evaluated value calculating part 15 for calculating an evaluation value HV for evaluating the halftone processing from the image noise Nz. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、デジタルハーフトーニング処理などの画像処理を評価する画像ノイズ算出方法、画像処理評価方法、画像処理評価装置、画像処理評価プログラムおよびそのプログラムを記録した記録媒体に関する。   The present invention relates to an image noise calculation method for evaluating image processing such as digital halftoning processing, an image processing evaluation method, an image processing evaluation apparatus, an image processing evaluation program, and a recording medium on which the program is recorded.

従来、デジタルハーフトーニング処理(以下、「ハーフトーン処理」と呼ぶ)によって発生する粒状ノイズの評価方法として、視覚系の空間周波数特性VTF(Visual Transfer Function 視覚伝達関数)を考慮した心理的粒状性を求める方法が行われている。例えば、特許文献1では、二次元フーリエ解析手法により評価対象画像の二次元ウィナー・スペクトルを求め、さらにそれに一次元化処理を施し、視覚系の空間周波数特性を考慮した画像評価値の演算を行うことによって、ディジタル画像における周期パターンの影響を受けない心理的画像評価方法を実現している。
また、非特許文献1では、視覚系の空間周波数特性VTFを考慮した粒状性の評価関数が開示されており、従来のRMS粒状度ではほとんど検出できなかった、ディザ法と誤差拡散法の粒状性の違いを検出することを可能としている。
また、特許文献2は、視覚系の空間周波数特性VTFの2乗を利用した画像評価方法が開示されている。この方法は、周波数領域で粒状性を演算することにより、実空間領域への変換処理を行うことなく、非特許文献1における粒状性の評価関数と等価な評価値を求めることを特徴としている。
特許文献3には、ハーフトーン画像のパワースペクトルから所定の周波数成分を除去することにより、ハーフトーン画像を評価する画像評価方法が開示されている。
Conventionally, as a method for evaluating granular noise generated by digital halftoning processing (hereinafter referred to as “halftone processing”), psychological granularity considering the spatial frequency characteristic VTF (Visual Transfer Function visual transfer function) of the visual system is used. The method to ask is done. For example, in Patent Document 1, a two-dimensional Wiener spectrum of an image to be evaluated is obtained by a two-dimensional Fourier analysis method, and further subjected to a one-dimensional process to calculate an image evaluation value in consideration of the spatial frequency characteristics of the visual system. Thus, a psychological image evaluation method that is not affected by a periodic pattern in a digital image is realized.
Non-Patent Document 1 discloses an evaluation function of granularity considering the spatial frequency characteristic VTF of the visual system, and granularity of the dither method and the error diffusion method, which could hardly be detected by the conventional RMS granularity. It is possible to detect the difference.
Patent Document 2 discloses an image evaluation method using the square of the spatial frequency characteristic VTF of the visual system. This method is characterized in that an evaluation value equivalent to the evaluation function of the graininess in Non-Patent Document 1 is obtained by calculating the graininess in the frequency domain without performing the conversion process to the real space domain.
Patent Document 3 discloses an image evaluation method for evaluating a halftone image by removing a predetermined frequency component from the power spectrum of the halftone image.

特開平1−286084号公報JP-A-1-286084 岩本明人 小寺宏曄 編集「デジタルハードコピー技術」 共立出版、2000年11月15日、p.95Akito Iwamoto Hiroshi Kodera edited “Digital Hardcopy Technology” Kyoritsu Shuppan, November 15, 2000, p. 95 特開平7−177351号公報JP-A-7-177351 特開2004−64689号公報JP 2004-64689 A

ハーフトーン処理の評価においては、ハーフトーン処理によりどれだけの誤差が発生するかを正確に把握することが重要である。しかしながら、上記4つの従来技術のいずれによっても、原画像がもつ画素の階調値が一様でなく階調値の変化を含んでいる場合は、原画像に含まれる階調値の変化がハーフトーン処理後のハーフトーン画像に残ってしまうため、ハーフトーン処理によって新たに発生する誤差(ハーフトーン処理により発生する粒状ノイズ)だけを評価することができなかった。したがって、上記の画像評価方法では、原画像がもつ階調値に影響を受けることなく、ハーフトーン処理を正確に評価することができなかった。本発明は、従来技術が持つ上記問題点を解決した、ハーフトーン処理を正確に評価できる画像ノイズ算出方法、画像処理評価方法、画像処理評価装置、画像処理評価プログラムおよびそのプログラムを記録した記録媒体を提供することを目的とする。   In the evaluation of the halftone process, it is important to accurately grasp how much error is generated by the halftone process. However, according to any of the above four conventional techniques, when the gradation value of the pixel of the original image is not uniform and includes a change in gradation value, the change in the gradation value included in the original image is half. Since it remains in the halftone image after the tone processing, it is impossible to evaluate only the error newly generated by the halftone processing (granular noise generated by the halftone processing). Therefore, in the above image evaluation method, the halftone process cannot be accurately evaluated without being affected by the gradation value of the original image. The present invention is an image noise calculation method, an image processing evaluation method, an image processing evaluation apparatus, an image processing evaluation program, and a recording medium on which the program is recorded. The purpose is to provide.

上記課題を解決するために、本発明の画像ノイズ算出方法では、画素ごとに濃度レベルを有する原画像および原画像にハーフトーン処理を施した画像であるハーフトーン画像を取得する画像取得ステップと、原画像とハーフトーン画像とについて、視覚系の感度特性に基づく補正および差分を行うことにより差分値を取得する差分値取得ステップと、差分値に基づいて、ハーフトーン処理により発生した濃度レベルの誤差を表す画像ノイズを算出する画像ノイズ算出ステップとを備えることを特徴とする。   In order to solve the above problems, in the image noise calculation method of the present invention, an image acquisition step of acquiring an original image having a density level for each pixel and a halftone image that is an image obtained by performing halftone processing on the original image; A difference value acquisition step for acquiring a difference value by performing correction and difference based on the sensitivity characteristic of the visual system for the original image and the halftone image, and an error in density level generated by the halftone process based on the difference value And an image noise calculating step for calculating image noise representing.

この方法によれば、原画像およびハーフトーン画像に、人間の視覚系の感度特性に基づく補正および差分を行うことにより取得した差分値から画像ノイズを算出するので、画像ノイズは、ハーフトーン処理を行うことにより発生した誤差を、視覚系の感度特性に基づいて補正した値となる。すなわち、画像ノイズは、原画像がもつ濃度レベルの変化の影響を受けない。したがって、グラデーション画像のように、画像の濃度レベルに変化がある原画像であっても、濃度レベルの変化に影響を受けることなく、ハーフトーン処理を行うことにより発生した誤差だけを表し、人間の視覚系の感度特性に対応した画像ノイズを得ることができる。なお、原画像と処理画像とに行う、視覚系の感度特性に基づく補正および差分の処理は順不同であり、補正を行った後に差分してもよいし、差分してから補正を行うとしてもよい。   According to this method, since the image noise is calculated from the difference value obtained by performing correction and difference based on the sensitivity characteristic of the human visual system on the original image and the halftone image, the image noise is subjected to halftone processing. This is a value obtained by correcting the error generated by performing it based on the sensitivity characteristic of the visual system. That is, the image noise is not affected by the change in density level of the original image. Therefore, even an original image having a change in the density level of the image, such as a gradation image, represents only an error generated by performing the halftone process without being affected by the change in the density level. Image noise corresponding to the sensitivity characteristic of the visual system can be obtained. Note that the correction and difference processing based on the sensitivity characteristics of the visual system performed on the original image and the processed image are in no particular order, and may be performed after the correction or may be performed after performing the difference. .

上記課題を解決するために、本発明の画像処理評価方法では、画素ごとに濃度レベルを有する原画像および原画像に所定の画像処理を施した画像である処理画像を取得する画像取得ステップと、原画像と処理画像とについて、視覚系の感度特性に基づく補正および差分を行うことにより差分値を取得する差分値取得ステップと、差分値に基づいて、画像処理を施すことにより発生した濃度レベルの誤差を表す画像ノイズを算出する画像ノイズ算出ステップと、画像ノイズに基づいて、画像処理を評価するための評価値を算出する評価値算出ステップとを備えることを特徴とする。   In order to solve the above problems, in the image processing evaluation method of the present invention, an image acquisition step of acquiring an original image having a density level for each pixel and a processed image that is an image obtained by performing predetermined image processing on the original image; A difference value acquisition step of acquiring a difference value by performing correction and difference based on the sensitivity characteristic of the visual system for the original image and the processed image, and a density level generated by performing image processing based on the difference value An image noise calculating step for calculating image noise representing an error, and an evaluation value calculating step for calculating an evaluation value for evaluating image processing based on the image noise.

この方法によれば、所定の画像処理を行うことにより発生した誤差を視覚系の感度特性に基づいて補正した画像ノイズから、評価値を算出する。したがって、評価値に基づいて、原画像が有する濃度レベルの変化の影響を受けることなく、視覚系の感度特性に基づいた画像処理の正確な評価を行うことができる。なお、所定の画像処理としては、ハーフトーン処理、色変換処理、画像圧縮処理、画像処理用の各種フィルタリングなど、画像に施すことができる様々な画像処理がこれにあたる。   According to this method, the evaluation value is calculated from the image noise obtained by correcting the error generated by performing the predetermined image processing based on the sensitivity characteristic of the visual system. Therefore, based on the evaluation value, it is possible to perform an accurate evaluation of the image processing based on the sensitivity characteristic of the visual system without being affected by the change in the density level of the original image. The predetermined image processing includes various image processing that can be performed on the image, such as halftone processing, color conversion processing, image compression processing, and various types of filtering for image processing.

ここで、差分値取得ステップは、原画像および処理画像を周波数空間上に変換する周波数変換を行う変換ステップと、周波数変換した原画像および処理画像に対して視覚系の感度特性を表す空間周波数特性を適用して補正する演算を行う補正ステップと、補正した原画像と処理画像とを差分することにより差分値を取得する差分ステップと、を有することが好ましい。   Here, the difference value acquisition step includes a conversion step for performing frequency conversion for converting the original image and the processed image into the frequency space, and a spatial frequency characteristic representing the sensitivity characteristic of the visual system with respect to the frequency-converted original image and processed image. It is preferable to include a correction step for performing a calculation for correcting by applying the difference and a difference step for acquiring a difference value by subtracting the corrected original image and the processed image.

このようにすれば、周波数空間上において、画像ノイズおよび評価値を算出することができる。   In this way, image noise and evaluation values can be calculated in the frequency space.

ここで、差分値取得ステップは、原画像および処理画像を周波数空間上に変換する周波数変換を行う変換ステップと、周波数変換した原画像および周波数変換した処理画像に対して視覚系の感度特性を表す空間周波数特性を適用して補正する演算を行う補正ステップと、補正した原画像および処理画像を実空間上に変換する逆周波数変換を行う逆変換ステップと、逆周波数変換した原画像と処理画像とを差分することにより差分値を取得する差分ステップと、を有することが好ましい。   Here, the difference value acquisition step expresses the sensitivity characteristic of the visual system with respect to the conversion step for performing frequency conversion for converting the original image and the processed image into the frequency space, and the frequency-converted original image and the frequency-converted processed image. A correction step for performing a correction by applying a spatial frequency characteristic, a reverse conversion step for performing a reverse frequency conversion for converting the corrected original image and processed image into real space, an original image and a processed image subjected to reverse frequency conversion, It is preferable to have a difference step for obtaining a difference value by subtracting.

このようにすれば、実空間上で画像ノイズおよび評価値を算出することができる。   In this way, image noise and evaluation values can be calculated in real space.

ここで、画像ノイズ算出ステップは、差分値を2乗した値を積分することにより画像ノイズを算出することが好ましい。   Here, it is preferable that the image noise calculation step calculates the image noise by integrating a value obtained by squaring the difference value.

本発明の発明者は、画像の評価を行う際に、画像に対して周波数領域上で視覚の空間周波数を適用し、2乗した値に基づいて評価を行うことにより、主観評価に好適に対応する客観評価を行うことができることを発見した。したがって、差分した値を2乗した値に基づいて算出する評価値は人間の主観評価に好適に対応しているので、人間の主観評価に好適に対応する評価を行うことができる。   The inventor of the present invention suitably responds to subjective evaluation by applying a visual spatial frequency on the frequency domain to the image and performing evaluation based on the squared value when evaluating the image. I found that I could perform an objective evaluation. Therefore, since the evaluation value calculated based on the value obtained by squaring the difference value suitably corresponds to human subjective evaluation, it is possible to perform evaluation suitably corresponding to human subjective evaluation.

ここで、評価値算出ステップは、画像ノイズおよび原画像の濃度レベルを平均した値に基づいて、評価値を算出することが好ましい。   Here, the evaluation value calculating step preferably calculates the evaluation value based on a value obtained by averaging the image noise and the density level of the original image.

このようにすれば、原画像の濃度レベルの平均値に基づいて算出するので、原画像の濃度レベルの平均値に合わせた評価値を得ることができる。人間の視覚特性は濃度レベルの大小に対して感度が異なり、高い濃度レベル(すなわち、濃い)に対しては、感度が高まり、低い濃度レベル(すなわち、淡い)に対しては感度が低くなる。そこで、原画像の濃度レベルの平均値に基づいて評価値を算出することにより、さらに正確に画像処理を評価することができる。   In this way, since the calculation is performed based on the average value of the density levels of the original image, it is possible to obtain an evaluation value that matches the average value of the density levels of the original image. The human visual characteristics have different sensitivities with respect to the density level, and the sensitivity is increased for a high density level (that is, dark), and the sensitivity is decreased for a low density level (that is, light). Therefore, by calculating the evaluation value based on the average value of the density levels of the original image, the image processing can be evaluated more accurately.

ここで、濃度レベルは、輝度のレベルまたは明度のレベルとしてもよい。このようにすれば、輝度のレベルまたは明度のレベルを表す原画像に対して行った画像処理の評価を行うことができる。   Here, the density level may be a luminance level or a brightness level. In this way, it is possible to evaluate the image processing performed on the original image representing the luminance level or the brightness level.

本発明は、画像処理評価装置とすることもできる。すなわち、本発明に係る画像処理評価装置は、画素ごとに濃度レベルを有する原画像および原画像に所定の画像処理を施した画像である処理画像を取得する画像取得手段と、原画像と処理画像とについて、視覚系の感度特性に基づく補正および差分を行うことにより差分値を取得する差分値取得手段と、差分値に基づいて、画像処理を施すことにより発生した濃度レベルの誤差を表す画像ノイズを算出する画像ノイズ算出手段と、画像ノイズに基づいて、画像処理を評価するための評価値を算出する評価値算出手段とを備えることを特徴とする。   The present invention can also be an image processing evaluation apparatus. That is, the image processing evaluation apparatus according to the present invention includes an original image having a density level for each pixel, an image acquisition unit that acquires a processed image that is an image obtained by performing predetermined image processing on the original image, the original image, and the processed image. Difference value acquisition means for acquiring a difference value by performing correction and difference based on the sensitivity characteristic of the visual system, and image noise representing an error in density level generated by performing image processing based on the difference value Image noise calculating means for calculating the image processing, and evaluation value calculating means for calculating an evaluation value for evaluating the image processing based on the image noise.

本発明は、コンピュータに処理を行わせる画像処理評価プログラムまたは画像処理評価プログラムを記憶した記録媒体としてもよい。すなわち、本発明に係る画像処理評価プログラムは、コンピュータを、画素ごとに濃度レベルを有する原画像および原画像に所定の画像処理を施した画像である処理画像を取得する画像取得手段と、原画像と処理画像とについて、視覚系の感度特性に基づく補正および差分を行うことにより差分値を取得する差分値取得手段と、差分値に基づいて、画像処理を施すことにより発生した濃度レベルの誤差を表す画像ノイズを算出する画像ノイズ算出手段と、画像ノイズに基づいて、画像処理を評価するための評価値を算出する評価値算出手段、として機能させることを特徴とする。また、このプログラムを記録した記録媒体としては、フレキシブルディスクやCD−ROM、ICカード、パンチカードなど、コンピュータが読み取り可能な種々の媒体を利用することができる。   The present invention may be an image processing evaluation program for causing a computer to perform processing or a recording medium storing an image processing evaluation program. That is, an image processing evaluation program according to the present invention includes an image acquisition unit that acquires a processed image, which is an original image having a density level for each pixel, and an image obtained by performing predetermined image processing on the original image; Difference value acquisition means for acquiring a difference value by performing correction and difference based on the sensitivity characteristic of the visual system, and a density level error generated by performing image processing based on the difference value. The image noise calculating means for calculating the image noise to be expressed and the evaluation value calculating means for calculating an evaluation value for evaluating the image processing based on the image noise are characterized in that they are functioned. As a recording medium on which the program is recorded, various computer-readable media such as a flexible disk, a CD-ROM, an IC card, and a punch card can be used.

(第1の実施形態)
以下、本発明を具体化した第1の実施形態について図面を参照して説明する。
(First embodiment)
Hereinafter, a first embodiment of the present invention will be described with reference to the drawings.

図1は、本発明に係る画像処理評価装置1の構成を示した図である。画像処理評価装置1は大別して、入力画像(原画像)fを取得する入力部2と、入力画像fにハーフトーン処理を施すことにより出力画像(処理画像)gを取得するハーフトーン処理部3と、ハーフトーン処理を行うことにより発生した粒状ノイズなどを含む画像ノイズを評価するための評価値を算出する画像処理評価部4とを備えている。このように、本画像処理評価装置1は、入力画像fに施したハーフトーン処理により発生した粒状ノイズなどの画像ノイズを評価することにより、ハーフトーン処理自体の性能評価を行うとするものである。例えば、ハーフトーン処理のアルゴリズムの改良などにおいて、評価値を用いた定量的な性能評価を行うことによりアルゴリズムの改良を好適に行うことができる。   FIG. 1 is a diagram showing a configuration of an image processing evaluation apparatus 1 according to the present invention. The image processing evaluation apparatus 1 is roughly divided into an input unit 2 that acquires an input image (original image) f, and a halftone processing unit 3 that acquires an output image (processed image) g by performing halftone processing on the input image f. And an image processing evaluation unit 4 that calculates an evaluation value for evaluating image noise including granular noise generated by performing halftone processing. As described above, the image processing evaluation apparatus 1 evaluates the performance of the halftone processing itself by evaluating image noise such as granular noise generated by the halftone processing applied to the input image f. . For example, in the improvement of an algorithm for halftone processing, the algorithm can be suitably improved by performing a quantitative performance evaluation using the evaluation value.

なお、本実施形態の画像処理評価装置1は、CPU、RAM、ROM、ハードディスク(図示なし)を備えた汎用のパーソナルコンピュータ5により構成されており、パーソナルコンピュータ5のCPUが、ハードディスクに記憶された画像処理評価プログラムをRAMに読み出して実行することにより、上述した入力部2、ハーフトーン処理部3、画像処理評価部4として機能する。この画像処理評価プログラムは、予めハードディスクやROMに格納されていることとしてもよいし、例えばCD−ROM6などのコンピュータが読み取り可能な記録媒体によって外部から供給され、CD−ROMドライブ7を介してパーソナルコンピュータに備えられたハードディスクに記憶することによって格納されるものとしてもよい。もとより、インターネットなどのネットワーク手段を介して、プログラムを供給するサーバー等にアクセスし、データをダウンロードすることによって格納されるものとしてもよい。   The image processing evaluation apparatus 1 of the present embodiment is configured by a general-purpose personal computer 5 having a CPU, RAM, ROM, and hard disk (not shown), and the CPU of the personal computer 5 is stored in the hard disk. The image processing evaluation program is read into the RAM and executed, thereby functioning as the input unit 2, the halftone processing unit 3, and the image processing evaluation unit 4 described above. This image processing evaluation program may be stored in advance in a hard disk or a ROM, or supplied from the outside by a computer-readable recording medium such as a CD-ROM 6 and personalized via the CD-ROM drive 7. It may be stored by being stored in a hard disk provided in the computer. Of course, it may be stored by accessing a server or the like that supplies a program via a network means such as the Internet and downloading data.

入力部2は、画像処理評価装置1に入力された画像を入力画像fとして取得する。入力画像fを取得する形態としては、画像処理評価装置1に備わるCD−ROMドライブ7、スキャナなどが読み取った入力画像fを取得するとしてもよいし、ハードディスクに記録された画像を読み出して、入力画像fとして取得するとしてもよい。実際には、CPUが入力画像fをハードディスクの所定の領域に格納して記憶することにより入力画像fを取得する。
本実施形態では、入力画像fは、画素ごとに256階調(8ビット)の階調値をもつことにより表現され、階調値が高くなるほど画像の濃度が低くなるようにした。すなわち、階調値は、画素ごとの白黒の濃淡を表し、階調値が高くなると画像は淡くなり濃度を表す濃度レベルは低くなり、階調値が低くなると画像は濃くなり濃度レベルは高くなる。例えば、階調値“0”は黒、“255”は白となる。このように、階調値は濃度レベルに対応している。また、入力画像fは、画素ごとに階調値を有しているので、実空間上で階調値およびその画素の座標により表現された画像であるといえる。なお、以下では、説明の便宜のため白黒からなるモノクロ画像について行う処理について説明するが、入力画像fは、RGBデータまたはCMYKデータなど色ごとに階調値をもたせることによりカラー表示がされた画像でもよく、256階調とは異なる階調数をもつ画像であってもよい。例えば、RGBデータからなるカラー画像については、RGB各色の階調値について、以下に述べる処理を別々に行うことによって評価することができる。
The input unit 2 acquires an image input to the image processing evaluation apparatus 1 as an input image f. As a form of acquiring the input image f, the input image f read by the CD-ROM drive 7 or the scanner provided in the image processing evaluation apparatus 1 may be acquired, or the image recorded on the hard disk is read and input. It may be acquired as an image f. Actually, the CPU acquires the input image f by storing the input image f in a predetermined area of the hard disk.
In the present embodiment, the input image f is expressed by having a gradation value of 256 gradations (8 bits) for each pixel, and the density of the image decreases as the gradation value increases. That is, the gradation value represents the density of black and white for each pixel. When the gradation value is high, the image becomes light and the density level indicating density is low, and when the gradation value is low, the image is dark and the density level is high. . For example, the gradation value “0” is black and “255” is white. As described above, the gradation value corresponds to the density level. Further, since the input image f has a gradation value for each pixel, it can be said that the input image f is an image expressed by the gradation value and the coordinates of the pixel in the real space. In the following description, processing performed on a monochrome image composed of black and white will be described for convenience of explanation. However, the input image f is an image that is displayed in color by providing gradation values for each color, such as RGB data or CMYK data. Alternatively, an image having a number of gradations different from 256 gradations may be used. For example, a color image composed of RGB data can be evaluated by separately performing the processing described below for the gradation values of each RGB color.

ハーフトーン処理部3は、入力部2が取得した入力画像fに対して、組織的ディザ法、誤差拡散法など周知の画像処理手法を用いることによって、256階調の階調値をもつ入力画像fにハーフトーン処理を施す。ハーフトーン処理を施すことにより、入力画像fを2値の階調値(“0”または“255”)で表現したハーフトーン画像である出力画像gを取得する。実際には、ハーフトーン処理は、CPUが、ハードディスクからRAMに格納した入力画像fに、ハーフトーン処理を行う演算を実行することにより行われる。取得された出力画像gはハードディスクに格納される。なお、入力画像fと同様に、画素ごとに階調を有している出力画像gは、実空間上で表現された画像である。   The halftone processing unit 3 uses a well-known image processing method such as a systematic dither method or an error diffusion method for the input image f acquired by the input unit 2 to input an input image having 256 gradation values. A halftone process is performed on f. By performing the halftone process, an output image g which is a halftone image expressing the input image f with binary gradation values (“0” or “255”) is acquired. Actually, the halftone process is performed by the CPU performing an operation for performing the halftone process on the input image f stored in the RAM from the hard disk. The acquired output image g is stored in the hard disk. Similar to the input image f, the output image g having gradation for each pixel is an image expressed in real space.

画像処理評価部4は、入力部2が取得した入力画像fおよびハーフトーン処理部3により取得した出力画像gを用いて、入力画像fに対して行われたハーフトーン処理の評価を行う。
図2は画像処理評価部4の構成を示した図である。図2に示すように、画像処理評価部4は、画像取得部10と、周波数変換部11と、VTF(Visual Transfer Function 視覚伝達関数)補正部12と、画像ノイズ算出部14と、評価値算出部15とを有している。
The image processing evaluation unit 4 uses the input image f acquired by the input unit 2 and the output image g acquired by the halftone processing unit 3 to evaluate halftone processing performed on the input image f.
FIG. 2 is a diagram showing the configuration of the image processing evaluation unit 4. As shown in FIG. 2, the image processing evaluation unit 4 includes an image acquisition unit 10, a frequency conversion unit 11, a VTF (Visual Transfer Function visual transfer function) correction unit 12, an image noise calculation unit 14, and an evaluation value calculation. Part 15.

画像取得部10は、入力画像fを取得する。また、ハーフトーン処理部3により入力画像fにハーフトーン処理を行うことにより得られた出力画像gを取得する(画像取得処理)。   The image acquisition unit 10 acquires the input image f. Further, the output image g obtained by performing the halftone process on the input image f by the halftone processing unit 3 is acquired (image acquisition process).

周波数変換部11は、取得した入力画像fおよび出力画像gに対して、2次元離散的フーリエ変換(以下、DFT(Discrete Fourier Transfer)と呼ぶ)を行うことにより、入力画像fおよび出力画像gを周波数領域上で表す入力スペクトルFおよび出力スペクトルGを取得する(変換処理)。   The frequency conversion unit 11 performs a two-dimensional discrete Fourier transform (hereinafter referred to as DFT (Discrete Fourier Transfer)) on the acquired input image f and output image g, thereby obtaining the input image f and the output image g. An input spectrum F and an output spectrum G represented on the frequency domain are acquired (conversion processing).

VTF補正部12は、入力スペクトルFおよび出力スペクトルGに対して、人間の視覚の感度特性に対応したスペクトルである視覚系の空間周波数特性VTFを用いた補正を行うことにより、補正後の入力スペクトルF2および補正後の出力スペクトルG2を取得する(補正処理)。   The VTF correction unit 12 corrects the input spectrum F and the output spectrum G by using the spatial frequency characteristic VTF of the visual system, which is a spectrum corresponding to the sensitivity characteristic of human vision, to thereby correct the input spectrum. F2 and the corrected output spectrum G2 are acquired (correction processing).

差分部13は、補正後の入力スペクトルF2および補正後の出力スペクトルG2から差分スペクトルDSを算出する(差分処理)。なお、上述した変換処理、補正処理および差分処理は、入力画像fおよび出力画像gから差分値としての差分スペクトルDSを取得する差分値取得処理としての処理を行っている。   The difference unit 13 calculates a difference spectrum DS from the corrected input spectrum F2 and the corrected output spectrum G2 (difference processing). The conversion process, the correction process, and the difference process described above are performed as a difference value acquisition process for acquiring a difference spectrum DS as a difference value from the input image f and the output image g.

画像ノイズ算出部14は、差分値DVから画像ノイズNzを算出する(画像ノイズ算出処理)。画像ノイズNzとは、入力画像fに対してハーフトーン処理を行うことにより発生した誤差を、人間の視覚が感じる量を基準として表した値である。   The image noise calculation unit 14 calculates the image noise Nz from the difference value DV (image noise calculation process). The image noise Nz is a value representing an error generated by performing the halftone process on the input image f on the basis of the amount perceived by human vision.

評価値算出部15は、画像ノイズNzから評価値HVを算出する(評価値算出処理)。   The evaluation value calculation unit 15 calculates an evaluation value HV from the image noise Nz (evaluation value calculation process).

以上、画像処理評価装置1について説明した。本発明の特徴は画像処理評価部4が行う処理にあるため、次に、画像処理評価部4が行う処理の流れについて説明する。
図3は、画像処理評価部4が行う画像処理評価プログラムの処理の流れを示したフローチャートである。以下、フローチャートに従って詳細に説明する。
The image processing evaluation apparatus 1 has been described above. Since the feature of the present invention resides in the processing performed by the image processing evaluation unit 4, the flow of processing performed by the image processing evaluation unit 4 will be described next.
FIG. 3 is a flowchart showing the flow of processing of the image processing evaluation program performed by the image processing evaluation unit 4. Hereinafter, it demonstrates in detail according to a flowchart.

処理を開始すると、始めに、ステップS100では、画像取得部10が、入力部2およびハーフトーン処理部3から入力画像fおよび出力画像gを取得する(画像取得処理)。画像取得処理は、CPUが、ハードディスクに記憶された入力画像fおよび出力画像gを読み出してRAMに格納することにより行われる。   When the process starts, first, in step S100, the image acquisition unit 10 acquires the input image f and the output image g from the input unit 2 and the halftone processing unit 3 (image acquisition process). The image acquisition process is performed by the CPU reading the input image f and the output image g stored in the hard disk and storing them in the RAM.

次に、ステップS110では、周波数変換部11が、入力画像fおよび出力画像gに対して2次元DFTを行い、入力スペクトルFおよび出力スペクトルGを取得する(変換処理)。ここで、入力画像fの各画素の階調値をf(x,y)、出力画像gの各画素の階調値をg(x,y)と表すとすると、DFTにより得られる入力スペクトルFおよび出力スペクトルGは一般に知られている次式により表される。   Next, in step S110, the frequency conversion unit 11 performs a two-dimensional DFT on the input image f and the output image g to obtain an input spectrum F and an output spectrum G (conversion processing). Here, if the gradation value of each pixel of the input image f is represented by f (x, y) and the gradation value of each pixel of the output image g is represented by g (x, y), the input spectrum F obtained by DFT The output spectrum G is represented by the following generally known equation.

Figure 2006113774
ここで、W1=exp(−j2Π/M)、W2=exp(−j2Π/N)である。M,Nはそれぞれ、入力画像fおよび出力画像gのx方向、y方向の画素の数、u,vはそれぞれ、x方向、y方向の空間周波数である。
ステップS110では、式(1)および式(2)を演算することにより周波数空間上の入力スペクトルFおよび出力スペクトルGを得る。なお、実際には、周波数変換部11は、DFTの高速化アルゴリズムであるFFT(Fast Fourier Transfer)を用いることにより2次元DFTに要する演算量を少なくしており、CPUが、周知のFFTアルゴリズムに従って、RAMに記憶された入力画像fおよび出力画像gに演算を行うことにより行われる。得られた入力スペクトルFおよび出力スペクトルGはRAMに格納される。
Figure 2006113774
Here, W 1 = exp (−j2∥ / M) and W 2 = exp (−j2Π / N). M and N are the numbers of pixels in the x and y directions of the input image f and the output image g, respectively, and u and v are the spatial frequencies in the x and y directions, respectively.
In step S110, the input spectrum F and the output spectrum G on the frequency space are obtained by calculating the expressions (1) and (2). In practice, the frequency conversion unit 11 reduces the amount of calculation required for the two-dimensional DFT by using FFT (Fast Fourier Transfer) which is a DFT speed-up algorithm, and the CPU follows the well-known FFT algorithm. The calculation is performed on the input image f and the output image g stored in the RAM. The obtained input spectrum F and output spectrum G are stored in the RAM.

次に、ステップS120では、VTF補正部12が、入力スペクトルFおよび出力スペクトルGにVTFを適用し、補正後の入力スペクトルF2および補正後の出力スペクトルG2を取得する(補正処理)。
VTFは、視覚系の空間周波数特性を近似した関数であり、本実施形態では、画像観察距離を350mmとした場合における次式に示す関数を用いた。ここで、freqは空間周波数であり、その単位は[cycle/mm]である。
VTF(freq)=5.05exp(−0.843×freq)
{1−exp(−0.611×freq)} (freq>=0.79)
=1.0 (freq<0.79) …(3)
VTF補正部12は、入力スペクトルFおよび出力スペクトルGに対してVTFを適用する演算を行うことによりF(u,v)およびG(u,v)を取得する。ここでは、水平・垂直方向の空間周波数u,vで表された入力スペクトルF(u,v)および出力スペクトルG(u,v)に、次式により入力スペクトルF(u,v)および出力スペクトルG(u,v)に対してVTFを乗算することにより、次式で表される補正後の入力スペクトルF2および補正後の出力スペクトルG2を取得する。
F2(u,v)=F(u,v)×VTF((u2+v21/2) …(4)
G2(u,v)=G(u,v)×VTF((u2+v21/2) …(5)
補正処理は、CPUが式(4)および式(5)に示す演算を行い、得られた補正後の入力スペクトルF2および補正後の出力スペクトルG2をRAMに格納することにより行われる。
Next, in step S120, the VTF correction unit 12 applies the VTF to the input spectrum F and the output spectrum G, and acquires the corrected input spectrum F2 and the corrected output spectrum G2 (correction processing).
VTF is a function that approximates the spatial frequency characteristic of the visual system. In the present embodiment, the function shown in the following equation when the image observation distance is 350 mm is used. Here, freq is a spatial frequency, and its unit is [cycle / mm].
VTF (freq) = 5.05exp (−0.843 × freq)
{1-exp (−0.611 × freq)} (freq> = 0.79)
= 1.0 (freq <0.79) (3)
The VTF correction unit 12 obtains F (u, v) and G (u, v) by performing an operation that applies VTF to the input spectrum F and the output spectrum G. Here, the input spectrum F (u, v) and the output spectrum represented by the following equations are applied to the input spectrum F (u, v) and the output spectrum G (u, v) represented by the spatial frequencies u and v in the horizontal and vertical directions. By multiplying G (u, v) by VTF, a corrected input spectrum F2 and a corrected output spectrum G2 expressed by the following equations are obtained.
F2 (u, v) = F (u, v) × VTF ((u 2 + v 2 ) 1/2 ) (4)
G2 (u, v) = G (u, v) × VTF ((u 2 + v 2 ) 1/2 ) (5)
The correction process is performed by the CPU performing calculations shown in Equation (4) and Equation (5), and storing the obtained corrected input spectrum F2 and the corrected output spectrum G2 in the RAM.

次に、ステップS130では、差分部13が、補正後の入力スペクトルF2および補正後の出力スペクトルG2から次式に従って差分スペクトルDSを算出する(差分処理)。
DS(u,v)=F2(u,v)−G2(u,v) …(6)
差分処理は、CPUが、RAMに記憶された補正後の入力スペクトルF2および補正後の出力スペクトルG2を読み出してから式(6)に示す演算を実行することにより行われる。得られた差分スペクトルDSはRAMに格納する。
Next, in step S130, the difference unit 13 calculates a difference spectrum DS from the corrected input spectrum F2 and the corrected output spectrum G2 according to the following equation (difference processing).
DS (u, v) = F2 (u, v) −G2 (u, v) (6)
The difference process is performed by the CPU reading the corrected input spectrum F2 and the corrected output spectrum G2 stored in the RAM, and then performing the calculation shown in Expression (6). The obtained difference spectrum DS is stored in the RAM.

次に、ステップS140では、画像ノイズ算出部14が、差分スペクトルDSから次式に従って画像ノイズNzを算出する(画像ノイズ算出処理)。すなわち、差分スペクトルDSを周波数ごとに2乗した値を、周波数について積算することにより画像ノイズNzを得ることができる。
Nz=ΣuΣv(DS(u,v))2 …(7)
画像ノイズ算出処理は、CPUが、RAMに記憶された差分スペクトルDSを読み出してから式(7)に示す演算を実行することにより行われる。得られた画像ノイズNzは、RAMに格納する。
Next, in step S140, the image noise calculation unit 14 calculates the image noise Nz from the difference spectrum DS according to the following equation (image noise calculation process). That is, the image noise Nz can be obtained by accumulating a value obtained by squaring the difference spectrum DS for each frequency with respect to the frequency.
Nz = Σ u Σ v (DS (u, v)) 2 (7)
The image noise calculation process is performed by the CPU reading the difference spectrum DS stored in the RAM and executing the calculation shown in Expression (7). The obtained image noise Nz is stored in the RAM.

次に、ステップS150では、評価値算出部15が、画像ノイズNzから次に示す式(8)および式(9)に従って、評価値HVを算出する(評価値算出処理)。
HV=exp(−1.8×DAVE)×Nz …(8)
ここで、DAVEは入力画像fの全画素の階調値を平均した値であり、次式で表すことができる。一般に、人間の視覚系は、濃度レベルの濃淡に対して画像ノイズに対する感度が変化するので、入力画像fの階調値に基づく補正を行うのである。
AVE=ΣxΣyF(x,y)/MN …(9)
評価値算出処理は、CPUが、RAMに記憶された画像ノイズNzを読み出してから式(8)および式(9)に示す演算を実行することにより行われる。得られた評価値HVは、ハードディスクなどに記憶される。
ステップS150を終えると、処理を終了する。
Next, in step S150, the evaluation value calculation unit 15 calculates an evaluation value HV from the image noise Nz according to the following expressions (8) and (9) (evaluation value calculation processing).
HV = exp (−1.8 × D AVE ) × Nz (8)
Here, D AVE is a value obtained by averaging the gradation values of all the pixels of the input image f, and can be expressed by the following equation. In general, since the human visual system changes in sensitivity to image noise with respect to density levels, correction is performed based on the gradation value of the input image f.
D AVE = Σ x Σ y F (x, y) / MN (9)
The evaluation value calculation process is performed by the CPU reading out the image noise Nz stored in the RAM and executing the calculations shown in Expression (8) and Expression (9). The obtained evaluation value HV is stored in a hard disk or the like.
When step S150 ends, the process ends.

本画像処理評価装置1は、以上のようにしてハーフトーン処理を評価するための評価値HVを得ることができる。ここで、評価値HVは、入力画像fと出力画像gとの誤差の大小に対応して変化し、且つ、人間の視覚の感度特性に合致した値である。したがって、評価値HVの大きさを評価することにより、ハーフトーン処理についての評価を好適に行うことができる。また、一般に、入力画像fにハーフトーン処理を施した出力画像gは、入力画像fに比べて画像の階調値が粒状にみえる度合いを表す粒状性が増加する。ハーフトーン処理により発生する画像ノイズNzは増加した粒状性を示す値であるともいえる。したがって、本画像処理評価装置1は、ハーフトーン処理により発生する粒状性を評価する画像処理評価装置とすることができる。   The image processing evaluation apparatus 1 can obtain the evaluation value HV for evaluating halftone processing as described above. Here, the evaluation value HV changes in accordance with the magnitude of the error between the input image f and the output image g, and is a value that matches the sensitivity characteristic of human vision. Therefore, by evaluating the magnitude of the evaluation value HV, it is possible to suitably evaluate the halftone process. In general, the output image g obtained by performing the halftone process on the input image f has an increased granularity indicating the degree to which the gradation value of the image looks grainy compared to the input image f. It can be said that the image noise Nz generated by the halftone process is a value indicating increased graininess. Therefore, the image processing evaluation apparatus 1 can be an image processing evaluation apparatus that evaluates the graininess generated by the halftone process.

さらに、本発明の画像処理評価部4は、図2において、画像取得部10と、周波数変換部11と、VTF補正部12と、画像ノイズ算出部14とにより画像ノイズ評価装置が構成される。入力画像fと出力画像gとの間に存在する画像ノイズNzを評価することにより、グラデーション画像のように、画像の階調値(濃度レベル)に変化がある入力画像fであっても、ハーフトーン処理を行うことにより発生した誤差だけを正確に評価することができる。   Further, in the image processing evaluation unit 4 of the present invention, in FIG. 2, the image acquisition unit 10, the frequency conversion unit 11, the VTF correction unit 12, and the image noise calculation unit 14 constitute an image noise evaluation device. By evaluating the image noise Nz existing between the input image f and the output image g, even if the input image f has a change in the gradation value (density level) of the image, such as a gradation image, half Only errors generated by performing tone processing can be accurately evaluated.

以下、本実施形態の効果を記載する。
(1)入力画像fとハーフトーン処理を行った出力画像gとの間に存在する画像ノイズNzを評価することにより、入力画像fがグラデーション画像のように、画像の階調値(濃度レベル)に変化がある場合であっても、ハーフトーン処理を行うことにより発生した誤差だけを表す画像ノイズNzを得ることができる。したがって、画像ノイズNzから算出される評価値HVに基づいてハーフトーン処理により生じた粒状性などの画像ノイズを評価することによって、ハーフトーン処理の正確な評価を行うことができる。
Hereinafter, effects of the present embodiment will be described.
(1) By evaluating the image noise Nz existing between the input image f and the output image g subjected to the halftone process, the input image f has a gradation value (density level) like a gradation image. Even when there is a change in the image noise Nz, it is possible to obtain image noise Nz that represents only errors generated by performing the halftone process. Therefore, by evaluating image noise such as graininess caused by the halftone process based on the evaluation value HV calculated from the image noise Nz, an accurate evaluation of the halftone process can be performed.

(2)人間の視覚特性(視覚伝達関数)に対応した画像ノイズNzを評価することにより、ハーフトーン処理を人間の視覚系を基準として好適に評価することができる。   (2) By evaluating the image noise Nz corresponding to the human visual characteristic (visual transfer function), it is possible to preferably evaluate the halftone process on the basis of the human visual system.

(3)入力スペクトルFおよび出力スペクトルGとの差分を2乗した値に基づいて、画像ノイズNzを算出した。本発明の発明者は、画像の評価を行う際に、画像に対して周波数領域上で視覚の空間周波数を適用し、2乗した値に基づいて評価を行うことにより、主観評価に好適に対応する客観評価を行うことができることを発見した。したがって、人間の視覚系の特性に好適に対応した画像ノイズNzおよび評価値HVを得ることができる。   (3) Based on the value obtained by squaring the difference between the input spectrum F and the output spectrum G, the image noise Nz was calculated. The inventor of the present invention suitably responds to subjective evaluation by applying a visual spatial frequency on the frequency domain to the image and performing evaluation based on the squared value when evaluating the image. I found that I could perform an objective evaluation. Therefore, it is possible to obtain the image noise Nz and the evaluation value HV that suitably correspond to the characteristics of the human visual system.

(4)上述した式(7)において、評価値HVは、入力画像fの平均値DAVEの関数とした。すなわち、式(7)では、入力画像fの階調値が高いとき評価値HVが小さくなり、入力画像fの階調値が低いとき、評価値HVが大きくなる。一般に、人間の視覚系は、画像の階調値が高い(すなわち、画像が白っぽく濃度レベルが低い)とき感度が低くなる。一方、画像の階調値が低い(すなわち、黒っぽく濃度レベルが高い)とき感度が高くなる。式(7)に示すように評価値HVを入力画像fの平均値DAVEの関数としたことにより、人間の視覚系の濃度レベルに対する感度の変化に対応した評価値HVが得られることになる。したがって、人間の視覚系の特性に、より好適に対応した評価値HVを得ることができる。 (4) In the above equation (7), the evaluation value HV is a function of the average value D AVE of the input image f. That is, in Expression (7), the evaluation value HV decreases when the gradation value of the input image f is high, and the evaluation value HV increases when the gradation value of the input image f is low. In general, the human visual system has low sensitivity when the gradation value of the image is high (that is, the image is whitish and the density level is low). On the other hand, the sensitivity is high when the gradation value of the image is low (that is, dark and the density level is high). By using the evaluation value HV as a function of the average value D AVE of the input image f as shown in Expression (7), an evaluation value HV corresponding to a change in sensitivity with respect to the density level of the human visual system can be obtained. . Therefore, it is possible to obtain an evaluation value HV that more appropriately corresponds to the characteristics of the human visual system.

(第2の実施形態)
以下、本発明の第2の実施形態について図面を参照して説明する。
前記第1の実施形態では、補正後の入力スペクトルF2および補正後の出力スペクトルG2から画像ノイズNzおよび評価値HVを算出した。すなわち、周波数空間上において、計算を行っている。第2の実施形態では、補正後の入力スペクトルF2および補正後の出力スペクトルG2に、逆離散フーリエ変換を行うことにより、実空間上において評価値の算出を行う。
(Second Embodiment)
Hereinafter, a second embodiment of the present invention will be described with reference to the drawings.
In the first embodiment, the image noise Nz and the evaluation value HV are calculated from the corrected input spectrum F2 and the corrected output spectrum G2. That is, the calculation is performed on the frequency space. In the second embodiment, an evaluation value is calculated in real space by performing inverse discrete Fourier transform on the corrected input spectrum F2 and the corrected output spectrum G2.

図4は、第2の実施形態にある画像処理評価部4の構成を示す図である。図4に示すように、画像処理評価部4は、画像取得部10と、周波数変換部11と、VTF補正部12と、逆周波数変換部20と、差分部13と、画像ノイズ算出部14と、評価値算出部15と、を有している。画像取得部10、周波数変換部11、VTF補正部12および評価値算出部15については、前記実施形態に有る構成と同様の処理を行う。   FIG. 4 is a diagram illustrating a configuration of the image processing evaluation unit 4 according to the second embodiment. As shown in FIG. 4, the image processing evaluation unit 4 includes an image acquisition unit 10, a frequency conversion unit 11, a VTF correction unit 12, an inverse frequency conversion unit 20, a difference unit 13, and an image noise calculation unit 14. And an evaluation value calculation unit 15. About the image acquisition part 10, the frequency conversion part 11, the VTF correction | amendment part 12, and the evaluation value calculation part 15, the process similar to the structure which exists in the said embodiment is performed.

逆周波数変換部20は、補正後の入力スペクトルF2および補正後の出力スペクトルG2に対して、2次元逆離散的フーリエ変換を行い、実空間上において、補正後の入力画像f2および補正後の出力画像g2を取得する。このとき、式(4)および式(5)に示した補正後の入力スペクトルF2および補正後の出力スペクトルG2を用いて、次式にしたがって処理が行われる。   The inverse frequency transform unit 20 performs a two-dimensional inverse discrete Fourier transform on the corrected input spectrum F2 and the corrected output spectrum G2, and in the real space, the corrected input image f2 and the corrected output. An image g2 is acquired. At this time, processing is performed according to the following equation using the corrected input spectrum F2 and the corrected output spectrum G2 shown in equations (4) and (5).

Figure 2006113774
Figure 2006113774

差分部13は、次式により差分値DVを算出する。
DV(x,y)=f2(x,y)−g2(x,y) …(12)
The difference unit 13 calculates a difference value DV by the following equation.
DV (x, y) = f2 (x, y) -g2 (x, y) (12)

画像ノイズ算出部14は、次式によりノイズNzを算出する。すなわち、差分値DVをさらに2乗した値を、全画素について積算することにより画像ノイズNzを得ることができる。
Nz=Σx,y(DV(x,y))2 …(13)
評価値算出部15は、式(13)で算出した画像ノイズNzを用いて、式(8)および式(9)により評価値HVを算出する。なお、第2の実施形態では、前記第1の実施形態において周波数領域上で算出していた評価値HVを、実空間上で算出するとしたが、数学的には等価な計算を行うものであるので、前記実施形態で算出した評価値HVと同様の値が得られる。したがって、前記第1の実施形態と同様の効果を得ることができる。
The image noise calculation unit 14 calculates the noise Nz by the following equation. That is, the image noise Nz can be obtained by integrating the values obtained by further squaring the difference value DV for all the pixels.
Nz = Σx , y (DV (x, y)) 2 (13)
The evaluation value calculation unit 15 calculates the evaluation value HV according to Expression (8) and Expression (9) using the image noise Nz calculated according to Expression (13). In the second embodiment, the evaluation value HV calculated in the frequency domain in the first embodiment is calculated in the real space, but mathematically equivalent calculation is performed. Therefore, a value similar to the evaluation value HV calculated in the embodiment is obtained. Therefore, the same effect as that of the first embodiment can be obtained.

本発明は、上述した実施形態に限られることなく様々な形態での実施が可能である。以下、本発明の変形例について説明する。   The present invention is not limited to the above-described embodiments, and can be implemented in various forms. Hereinafter, modifications of the present invention will be described.

(変形例1)前記実施形態では、式(4)〜式(7)により画像ノイズNzを算出しているが、同様の演算は極座標系においても行うことができる。すなわち、水平・垂直方向の空間周波数u,vで表された入力スペクトルF(u,v)および出力スペクトルG(u,v)に極座標変換を行い、極座標系において表した入力スペクトルF(r,Θ)および出力スペクトルG(r,Θ)に、VTF(r)を乗算することにより、次式で表される補正後の入力スペクトルF2(r,Θ)および補正後の出力スペクトルG2(r,Θ)を取得する。なお、r=(u2+v21/2、Θ=tan-1(v/u)である。
F2(r,Θ)=F(r,Θ)×VTF(r) …(14)
G2(r,Θ)=G(r,Θ)×VTF(r) …(15)
極座標系における差分処理および画像ノイズ算出処理では、補正後の入力スペクトルF2(r,Θ)および補正後の出力スペクトルG2(r,Θ)に式(16)および式(17)による演算を行うことにより、画像ノイズNzが得られる。
DS(r,Θ)=F2(r,Θ)−G2(r,Θ) …(16)
Nz=ΣrΣΘ(DS(r,Θ))2 …(17)
評価値算出処理は、前記実施形態と同様に、式(8)に従って行うことができる。以上に述べたように、極座標系においてVTFを適用することにより評価値HVを得ることができる。
(Modification 1) In the above embodiment, the image noise Nz is calculated by the equations (4) to (7), but the same calculation can be performed in the polar coordinate system. That is, polar coordinate transformation is performed on the input spectrum F (u, v) and output spectrum G (u, v) represented by the horizontal and vertical spatial frequencies u, v, and the input spectrum F (r, r, Θ) and the output spectrum G (r, Θ) are multiplied by VTF (r) to obtain a corrected input spectrum F2 (r, Θ) and a corrected output spectrum G2 (r, Θ). Incidentally, r = (u 2 + v 2) 1/2, which is Θ = tan -1 (v / u ).
F2 (r, Θ) = F (r, Θ) × VTF (r) (14)
G2 (r, Θ) = G (r, Θ) × VTF (r) (15)
In the difference processing and the image noise calculation processing in the polar coordinate system, calculations are performed on the corrected input spectrum F2 (r, Θ) and the corrected output spectrum G2 (r, Θ) according to equations (16) and (17). Thus, the image noise Nz is obtained.
DS (r, Θ) = F2 (r, Θ) −G2 (r, Θ) (16)
Nz = Σ r ΣΘ (DS (r, Θ)) 2 (17)
The evaluation value calculation process can be performed according to the equation (8) similarly to the embodiment. As described above, the evaluation value HV can be obtained by applying VTF in the polar coordinate system.

ここで、一般に、人間の視覚は垂直・水平方向に比べて斜め方向に対する感度が鈍いという性質を有している。そこで、第1の変形例としては、人の視覚の周波数特性が角度Θにも依存していることを考慮して、周波数の半径方向・角度方向に関する周波数特性を表すVTF(r,Θ)を用いて評価を行うことができる。すなわち、次に示す式(18)および式(19)を用いて補正後の入力スペクトルF2(r,Θ)および補正後の出力スペクトルG2(r,Θ)を取得する。取得した補正後の入力スペクトルF2(r,Θ)および補正後の出力スペクトルG2(r,Θ)に式(16)、式(17)および式(8)を用いた演算を行うことにより、Θ方向の感度特性を考慮した評価値HVが得られる。
F2(r,Θ)=F(r,Θ)×VTF(r,Θ) …(18)
G2(r,Θ)=G(r,Θ)×VTF(r,Θ) …(19)
このようにすれば、Θ方向の感度特性を考慮した評価値HVが得られることにより、斜め方向の感度特性の変化に対応した好適な評価を行うことができる画像処理評価装置1を得ることができる。
Here, in general, human vision has a property of being less sensitive to an oblique direction than to a vertical / horizontal direction. Therefore, as a first modification, in consideration of the fact that the frequency characteristic of human vision also depends on the angle Θ, VTF (r, Θ) representing the frequency characteristic in the radial direction and the angular direction of the frequency is used. Can be used to evaluate. That is, the corrected input spectrum F2 (r, Θ) and the corrected output spectrum G2 (r, Θ) are obtained using the following equations (18) and (19). By performing operations using the equations (16), (17), and (8) on the acquired input spectrum F2 (r, Θ) and the corrected output spectrum G2 (r, Θ), Θ An evaluation value HV in consideration of the direction sensitivity characteristic is obtained.
F2 (r, Θ) = F (r, Θ) × VTF (r, Θ) (18)
G2 (r, Θ) = G (r, Θ) × VTF (r, Θ) (19)
In this way, by obtaining the evaluation value HV in consideration of the sensitivity characteristic in the Θ direction, it is possible to obtain the image processing evaluation apparatus 1 that can perform a suitable evaluation corresponding to the change in the sensitivity characteristic in the oblique direction. it can.

(変形例2)前記実施形態に評価値HVの算出方法について説明したが、ここで行われた入力画像fと出力画像gとを差分する処理、または、VTFを適用する処理については、同様の結果を得るものであれば異なる順番で処理することとしてもよい。例えば、前記実施形態における入力スペクトルFと出力スペクトルGとを差分することにより得られるスペクトルにVTFを適用するようにすることもできる。また、入力画像fと出力画像gとを差分した差分画像に対して、周波数変換およびVTFの適用する処理を行うとしてもよい。   (Modification 2) Although the calculation method of the evaluation value HV has been described in the above embodiment, the same processing is applied to the process of performing the difference between the input image f and the output image g or the process of applying the VTF. As long as a result is obtained, it is good also as processing in a different order. For example, the VTF can be applied to a spectrum obtained by subtracting the input spectrum F and the output spectrum G in the embodiment. Further, frequency conversion and VTF application processing may be performed on the difference image obtained by subtracting the input image f and the output image g.

(変形例3)前記実施形態では、評価値HVを算出し、その値の大きさを評価することにより、出力画像Fにハーフトーン処理の性能評価を行うことができる。第3の変形例では、評価値HVを空間周波数(u,v)ごとに算出することにより、ハーフトーン処理の処理性能について周波数解析を行う。すなわち、次式により周波数(u,v)ごとの評価値ΔHV((u,v))を得ることができる。
ΔHV(u,v)=((F2(u,v)−G2(u,v))2)ΔuΔv …(20)
第3の変形例によれば、画像ノイズNzの発生状況に周波数依存性を有していた場合、複数の周波数(u,v)について式(20)を算出することにより、評価値HVの周波数特性を得ることができるので、ハーフトーン処理を好適に行うことができる周波数領域または好適に行うことができない周波数領域を容易に知ることができる。
(Modification 3) In the above embodiment, the evaluation value HV is calculated, and the magnitude of the value is evaluated, so that the performance evaluation of the halftone process can be performed on the output image F. In the third modification, frequency analysis is performed on the processing performance of the halftone process by calculating the evaluation value HV for each spatial frequency (u, v). That is, the evaluation value ΔHV ((u, v)) for each frequency (u, v) can be obtained by the following equation.
ΔHV (u, v) = ((F2 (u, v) −G2 (u, v)) 2 ) ΔuΔv (20)
According to the third modified example, when the generation state of the image noise Nz has frequency dependency, the frequency of the evaluation value HV is calculated by calculating Expression (20) for a plurality of frequencies (u, v). Since the characteristics can be obtained, it is possible to easily know the frequency region where the halftone process can be suitably performed or the frequency region where the halftone process cannot be suitably performed.

(変形例4)前記実施形態では、画像処理評価装置1のハーフトーン処理部3から出力画像gを取得した。出力画像gの取得経路、および入力画像fの取得経路はこれに限ることなく、例えば、画像処理評価装置1の外部で入力画像fについてハーフトーン処理を行い、入力画像fおよび出力画像gを、画像処理評価装置1に入力するようにしてもよい。   (Modification 4) In the above embodiment, the output image g is obtained from the halftone processing unit 3 of the image processing evaluation apparatus 1. The acquisition path of the output image g and the acquisition path of the input image f are not limited to this. For example, halftone processing is performed on the input image f outside the image processing evaluation apparatus 1, and the input image f and the output image g are You may make it input into the image processing evaluation apparatus 1. FIG.

(変形例5)本発明は、ハーフトーン処理の評価を行う画像処理評価装置1としたが、評価を行う対象はハーフトーン処理に限られることなく、色変換処理・データ圧縮処理・画像処理用の各種フィルタによる処理など、画像に対して行う様々な画像処理についても適用することができる。   (Modification 5) Although the present invention is an image processing evaluation apparatus 1 that performs evaluation of halftone processing, the object to be evaluated is not limited to halftone processing, but for color conversion processing, data compression processing, and image processing. The present invention can also be applied to various image processing performed on an image, such as processing using various filters.

(変形例6)前記実施形態では、濃度レベルを示す階調値により表現された入力画像について処理を行うハーフトーン処理について評価を行った。第6の変形例としては、処理の対象となるのは、濃度レベルを表した画像に限られることなく、輝度レベル、明度レベルに対して処理を行うとしてもよい。例えば、YCbCrの形式により表現されたカラー画像に行われた画像処理を評価する場合、Yの輝度レベルを用いて評価値を算出するとよい。また、Labの形式により表現されたカラー画像に行われた画像処理を評価する場合、Lの明度レベルを用いて評価値を算出するとよい。このようにすることによって、様々な形式で表されたカラー画像に対して行われた画像処理についても、評価することができる。   (Modification 6) In the above embodiment, the halftone process for processing the input image expressed by the gradation value indicating the density level is evaluated. As a sixth modification, processing is not limited to an image representing a density level, and processing may be performed on a luminance level and a lightness level. For example, when evaluating image processing performed on a color image expressed in the YCbCr format, the evaluation value may be calculated using the Y luminance level. Also, when evaluating image processing performed on a color image expressed in the Lab format, an evaluation value may be calculated using the L lightness level. By doing so, it is possible to evaluate image processing performed on color images expressed in various formats.

画像処理評価装置の構成を示した図。The figure which showed the structure of the image processing evaluation apparatus. 画像処理評価部の構成を示した図。The figure which showed the structure of the image processing evaluation part. 画像処理評価部が行う処理の流れを示したフローチャート。The flowchart which showed the flow of the process which an image process evaluation part performs. 第2の実施形態に係る画像処理評価部の構成を示した図。The figure which showed the structure of the image process evaluation part which concerns on 2nd Embodiment.

符号の説明Explanation of symbols

1…画像処理評価装置、2…入力部、3…ハーフトーン処理部、4…画像処理評価部、5…パーソナルコンピュータ、6…CD−ROM、7…CD−ROMドライブ、10…画像取得手段としての画像取得部、11…変換手段としての周波数変換部、12…補正手段としてのVTF補正部、13…差分手段としての差分値算出部、14…画像ノイズ算出手段としての画像ノイズ算出部、15…評価値算出手段としての評価値算出部、20…逆周波数変換部、f…原画像としての入力画像、g…処理画像およびハーフトーン画像としての出力画像、F…周波数領域上の入力スペクトル、G…周波数領域上の出力スペクトル、F2…周波数領域上の補正後の入力スペクトル、G2…周波数領域上の補正後の出力スペクトル、f2…実空間上の補正後の入力画像、g2…実空間上の補正後の出力画像、DS…差分値としての差分スペクトル、Nz…画像ノイズ、HV…評価値、DV…差分値、freq…空間周波数、u…x方向の空間周波数、v…y方向の空間周波数、r…周波数空間での原点からの距離、Θ…周波数空間での水平方向からの傾きを示す角度、M…入力画像のx方向の画素数、N…入力画像のy方向の画素数。
DESCRIPTION OF SYMBOLS 1 ... Image processing evaluation apparatus, 2 ... Input part, 3 ... Halftone processing part, 4 ... Image processing evaluation part, 5 ... Personal computer, 6 ... CD-ROM, 7 ... CD-ROM drive, 10 ... As an image acquisition means 11... Image conversion unit 11... Frequency conversion unit as conversion unit 12. VTF correction unit as correction unit 13. Difference value calculation unit as difference unit 14. Image noise calculation unit as image noise calculation unit 15 ... an evaluation value calculation unit as an evaluation value calculation means, 20 ... an inverse frequency conversion unit, f ... an input image as an original image, g ... an output image as a processed image and a halftone image, F ... an input spectrum in the frequency domain, G: Output spectrum on frequency domain, F2: Input spectrum after correction on frequency domain, G2: Output spectrum after correction on frequency domain, f2: Correction on real space Input image, g2 ... output image after correction in real space, DS ... difference spectrum as difference value, Nz ... image noise, HV ... evaluation value, DV ... difference value, freq ... spatial frequency, u ... in the x direction Spatial frequency, v ... spatial frequency in the y direction, r ... distance from the origin in the frequency space, Θ ... an angle indicating the inclination from the horizontal direction in the frequency space, M ... the number of pixels in the x direction of the input image, N ... The number of pixels in the y direction of the input image.

Claims (10)

画素ごとに濃度レベルを有する原画像および前記原画像にハーフトーン処理を施した画像であるハーフトーン画像を取得する画像取得ステップと、
前記原画像と前記ハーフトーン画像とについて、視覚系の感度特性に基づく補正および差分を行うことにより差分値を取得する差分値取得ステップと、
前記差分値に基づいて、前記ハーフトーン処理により発生した濃度レベルの誤差を表す画像ノイズを算出する画像ノイズ算出ステップとを備えることを特徴とする画像ノイズ算出方法。
An image acquisition step of acquiring an original image having a density level for each pixel and a halftone image that is an image obtained by performing a halftone process on the original image;
For the original image and the halftone image, a difference value acquisition step for acquiring a difference value by performing correction and difference based on sensitivity characteristics of a visual system;
An image noise calculation method comprising: calculating an image noise representing an error in density level generated by the halftone process based on the difference value.
画素ごとに濃度レベルを有する原画像および前記原画像に所定の画像処理を施した画像である処理画像を取得する画像取得ステップと、
前記原画像と前記処理画像とについて、視覚系の感度特性に基づく補正および差分を行うことにより差分値を取得する差分値取得ステップと、
前記差分値に基づいて、前記画像処理を施すことにより発生した濃度レベルの誤差を表す画像ノイズを算出する画像ノイズ算出ステップと、
前記画像ノイズに基づいて、前記画像処理を評価するための評価値を算出する評価値算出ステップとを備えることを特徴とする画像処理評価方法。
An image acquisition step of acquiring an original image having a density level for each pixel and a processed image that is an image obtained by performing predetermined image processing on the original image;
A difference value acquisition step for acquiring a difference value by performing correction and difference based on sensitivity characteristics of the visual system for the original image and the processed image;
Based on the difference value, an image noise calculating step for calculating image noise representing an error in density level generated by performing the image processing;
An image processing evaluation method comprising: an evaluation value calculating step for calculating an evaluation value for evaluating the image processing based on the image noise.
請求項2に記載の画像処理評価方法において、
前記差分値取得ステップは、
前記原画像および前記処理画像を周波数空間上に変換する周波数変換を行う変換ステップと、
周波数変換した原画像および処理画像に対して視覚系の感度特性を表す空間周波数特性を適用して補正する演算を行う補正ステップと、
補正した原画像と処理画像とを差分することにより差分値を取得する差分ステップと、を有することを特徴とする画像処理評価方法。
The image processing evaluation method according to claim 2,
The difference value acquisition step includes:
A conversion step of performing frequency conversion for converting the original image and the processed image into a frequency space;
A correction step for performing an operation of correcting the frequency-converted original image and processed image by applying a spatial frequency characteristic representing the sensitivity characteristic of the visual system;
An image processing evaluation method comprising: a difference step for obtaining a difference value by subtracting the corrected original image and the processed image.
請求項2に記載の画像処理評価方法において、
前記差分値取得ステップは、
前記原画像および前記処理画像を周波数空間上に変換する周波数変換を行う変換ステップと、
周波数変換した原画像および周波数変換した処理画像に対して視覚系の感度特性を表す空間周波数特性を適用して補正する演算を行う補正ステップと、
補正した原画像および処理画像を実空間上に変換する逆周波数変換を行う逆変換ステップと、
前記逆周波数変換した原画像と処理画像とを差分することにより差分値を取得する差分ステップと、を有することを特徴とする画像処理評価方法。
The image processing evaluation method according to claim 2,
The difference value acquisition step includes:
A conversion step of performing frequency conversion for converting the original image and the processed image into a frequency space;
A correction step for performing an operation of correcting the frequency-converted original image and the frequency-converted processed image by applying a spatial frequency characteristic representing the sensitivity characteristic of the visual system;
An inverse transform step for performing an inverse frequency transform that transforms the corrected original image and processed image into real space;
An image processing evaluation method comprising: a difference step of obtaining a difference value by subtracting the original image subjected to inverse frequency conversion and a processed image.
請求項2ないし4のいずれかの一項に記載の画像処理評価方法において、
前記画像ノイズ算出ステップは、前記差分値を2乗した値を積分することにより前記画像ノイズを算出することを特徴とする画像処理評価方法。
The image processing evaluation method according to any one of claims 2 to 4,
In the image noise calculation step, the image noise is calculated by integrating a value obtained by squaring the difference value.
請求項2ないし5のいずれかの一項に記載の画像処理評価方法において、
前記評価値算出ステップは、前記画像ノイズおよび前記原画像の濃度レベルを平均した値に基づいて、前記評価値を算出することを特徴とする画像処理評価方法。
The image processing evaluation method according to any one of claims 2 to 5,
In the image processing evaluation method, the evaluation value calculation step calculates the evaluation value based on a value obtained by averaging the image noise and the density level of the original image.
請求項2ないし6のいずれかの一項に記載の画像処理評価方法において、
前記濃度レベルは、輝度のレベルまたは明度のレベルであることを特徴とする画像処理評価方法。
The image processing evaluation method according to any one of claims 2 to 6,
The image processing evaluation method, wherein the density level is a luminance level or a brightness level.
画素ごとに濃度レベルを有する原画像および前記原画像に所定の画像処理を施した画像である処理画像を取得する画像取得手段と、
前記原画像と前記処理画像とについて、視覚系の感度特性に基づく補正および差分を行うことにより差分値を取得する差分値取得手段と、
前記差分値に基づいて、前記画像処理を施すことにより発生した濃度レベルの誤差を表す画像ノイズを算出する画像ノイズ算出手段と、
前記画像ノイズに基づいて、前記画像処理を評価するための評価値を算出する評価値算出手段とを備えることを特徴とする画像処理評価装置。
An image acquisition means for acquiring an original image having a density level for each pixel and a processed image that is an image obtained by performing predetermined image processing on the original image;
A difference value acquisition unit that acquires a difference value by performing correction and difference based on sensitivity characteristics of a visual system for the original image and the processed image;
Image noise calculating means for calculating an image noise representing an error in density level generated by performing the image processing based on the difference value;
An image processing evaluation apparatus comprising: an evaluation value calculating unit that calculates an evaluation value for evaluating the image processing based on the image noise.
コンピュータを、
画素ごとに濃度レベルを有する原画像および前記原画像に所定の画像処理を施した画像である処理画像を取得する画像取得手段と、
前記原画像と前記処理画像とについて、視覚系の感度特性に基づく補正および差分を行うことにより差分値を取得する差分値取得手段と、
前記差分値に基づいて、前記画像処理を施すことにより発生した濃度レベルの誤差を表す画像ノイズを算出する画像ノイズ算出手段と、
前記画像ノイズに基づいて、前記画像処理を評価するための評価値を算出する評価値算出手段、として機能させることを特徴とする画像処理評価プログラム。
Computer
An image acquisition means for acquiring an original image having a density level for each pixel and a processed image that is an image obtained by performing predetermined image processing on the original image;
A difference value acquisition unit that acquires a difference value by performing correction and difference based on sensitivity characteristics of a visual system for the original image and the processed image;
Image noise calculating means for calculating an image noise representing an error in density level generated by performing the image processing based on the difference value;
An image processing evaluation program that functions as an evaluation value calculation unit that calculates an evaluation value for evaluating the image processing based on the image noise.
請求項9に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
A computer-readable recording medium on which the program according to claim 9 is recorded.
JP2004299632A 2004-10-14 2004-10-14 Image noise calculation method, image processing evaluation method, image processing evaluation device, image processing evaluation program and recording medium with its program recorded Withdrawn JP2006113774A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004299632A JP2006113774A (en) 2004-10-14 2004-10-14 Image noise calculation method, image processing evaluation method, image processing evaluation device, image processing evaluation program and recording medium with its program recorded

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004299632A JP2006113774A (en) 2004-10-14 2004-10-14 Image noise calculation method, image processing evaluation method, image processing evaluation device, image processing evaluation program and recording medium with its program recorded

Publications (1)

Publication Number Publication Date
JP2006113774A true JP2006113774A (en) 2006-04-27

Family

ID=36382251

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004299632A Withdrawn JP2006113774A (en) 2004-10-14 2004-10-14 Image noise calculation method, image processing evaluation method, image processing evaluation device, image processing evaluation program and recording medium with its program recorded

Country Status (1)

Country Link
JP (1) JP2006113774A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012073858A1 (en) * 2010-12-01 2012-06-07 富士フイルム株式会社 Method of manufacturing conductive sheet, conductive sheet, and recording medium
JP2018189473A (en) * 2017-05-02 2018-11-29 株式会社リコー Image evaluation device and image evaluation method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012073858A1 (en) * 2010-12-01 2012-06-07 富士フイルム株式会社 Method of manufacturing conductive sheet, conductive sheet, and recording medium
CN103229252A (en) * 2010-12-01 2013-07-31 富士胶片株式会社 Method of manufacturing conductive sheet, conductive sheet, and recording medium
JP2018189473A (en) * 2017-05-02 2018-11-29 株式会社リコー Image evaluation device and image evaluation method

Similar Documents

Publication Publication Date Title
JP4902837B2 (en) How to convert to monochrome image
JP2004320701A (en) Image processing device, image processing program and storage medium
US8619330B2 (en) Image processing apparatus and image processing method
US8917419B2 (en) Image processing apparatus and control method thereof
JP2002300402A (en) Image processor, processing method and recording medium
JP5289222B2 (en) Image processing apparatus and method
JP5426953B2 (en) Image processing apparatus and method
EP1947609A1 (en) Method to map the differences between two images
JP4570534B2 (en) Image processing apparatus, image forming apparatus, image processing method, and computer program
JP2006113774A (en) Image noise calculation method, image processing evaluation method, image processing evaluation device, image processing evaluation program and recording medium with its program recorded
JP4120928B2 (en) Image processing apparatus, image processing method, and program thereof
JP7329932B2 (en) Image processing device, image processing method, and program
JP4929095B2 (en) Image data generation method, program, recording medium, and image data generation device
JP2005277503A (en) Image processing method and apparatus, and program
JPH09153136A (en) Method and device for evaluating picture
Burns Image quality concepts
JP2020088449A (en) Image processing apparatus, image processing method, and program
JP2004064687A (en) Image evaluation apparatus and image evaluation method
JP2004064689A (en) Image evaluation apparatus and image evaluation method
JP2016103678A (en) Image processing apparatus, image processing method, and program
JP2004153298A (en) Image processor, image processing program, and storage medium
US10339628B2 (en) Image processing apparatus, image processing method and computer readable medium
JP5743498B2 (en) Image correction apparatus and image correction method
JP2014078786A (en) Image processor, image processing method and recording medium recording image processing method
JPH09284429A (en) Picture evaluation device

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20070403

A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20080108