JP2002320100A - Image processor, computer-readable recording medium having image processing program recorded thereon, and program - Google Patents

Image processor, computer-readable recording medium having image processing program recorded thereon, and program

Info

Publication number
JP2002320100A
JP2002320100A JP2001126031A JP2001126031A JP2002320100A JP 2002320100 A JP2002320100 A JP 2002320100A JP 2001126031 A JP2001126031 A JP 2001126031A JP 2001126031 A JP2001126031 A JP 2001126031A JP 2002320100 A JP2002320100 A JP 2002320100A
Authority
JP
Japan
Prior art keywords
saturation
image data
hue
edge
edge enhancement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001126031A
Other languages
Japanese (ja)
Other versions
JP4111689B2 (en
Inventor
Kazuyuki Nako
和行 名古
Yasuaki Tachiiri
靖朗 立入
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2001126031A priority Critical patent/JP4111689B2/en
Publication of JP2002320100A publication Critical patent/JP2002320100A/en
Application granted granted Critical
Publication of JP4111689B2 publication Critical patent/JP4111689B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

PROBLEM TO BE SOLVED: To satisfactorily sharpen even an input image free from the change of brightness without changing the color of the input image. SOLUTION: This image processor includes an HIS conversion part 20 for converting image data consisting of three components of red(R), green(G) and blue(B) to a hue(H), saturation(S) and brightness(I), an edge emphasizing part 21 connected to the part 20 for applying edge emphasis to the saturation and brightness, a saturation correcting part 22 connected to the part 20 and the part 21 to correct edge-emphasized saturation based on the saturation outputted from the part 20, and an HIS inverse conversion part 23 connected to the part 20, the part 21 and the part 22 to convert the values of a component H, a component S and a component I to the values of a component R, a component G and a component B.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、画像処理装置、画
像処理プログラムを記録したコンピュータ読取可能な記
録媒体およびプログラムに関し、特にカラー画像の色合
いを変えることなく鮮鋭化を行なうことが可能な画像処
理装置、画像処理プログラムを記録したコンピュータ読
取可能な記録媒体およびプログラムに関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing apparatus, a computer-readable recording medium storing an image processing program, and a program, and more particularly to an image processing capable of performing sharpening without changing the color tone of a color image. The present invention relates to an apparatus, a computer-readable recording medium storing an image processing program, and a program.

【0002】[0002]

【従来の技術】一般にボケた画像を鮮鋭化する処理で
は、画像データの高周波領域を強調するエッジ強調処理
が行なわれる。入力画像がモノクロ画像の場合であれ
ば、この処理を用いることにより、ボケた画像を良好に
鮮鋭化することができる。しかし、入力画像がカラー画
像の場合には、単純にRGB(赤、緑、青)やCMY
(シアン、マゼンタ、イエロー)などの各色成分に対し
て、それぞれエッジ強調処理を行なうと、モノクロ画像
同様、くっきりとした画像にはなるが、エッジ部分の色
相や彩度が変化するため、元画像と比較して色合いが変
化してしまう。たとえば、白地に黒および青の線が交差
している画像では、黒および青の線の境界部分が黄色に
なるなど、もともとない色が出現してしまう場合があ
る。
2. Description of the Related Art Generally, in a process for sharpening a blurred image, an edge enhancement process for enhancing a high-frequency region of image data is performed. If the input image is a monochrome image, the blurred image can be favorably sharpened by using this processing. However, when the input image is a color image, it is simply RGB (red, green, blue) or CMY
When edge enhancement processing is performed on each color component such as (cyan, magenta, and yellow), a sharp image is obtained as in the case of a monochrome image, but the hue and saturation of the edge portion are changed. The color will change compared to. For example, in an image in which black and blue lines intersect on a white background, an original color may appear, for example, the boundary between the black and blue lines becomes yellow.

【0003】テレビやビデオカメラなどでは、カラー画
像を輝度成分と色差成分とに変換し、輝度成分に対して
エッジ強調処理を行なうことにより鮮鋭化を行なう技術
が一般に用いられている。この方法により、自然画など
に対しては、比較的良好に鮮鋭化を行なうことができ
る。しかし、例えば白地に赤や青の線が書かれたような
画像では、赤や青の輝度成分が小さいため、エッジ強調
処理により赤や青の線の色が黒色に変化してしまう場合
がある。逆に、暗い背景の中に描かれた色のついた線
が、エッジ強調処理により色が薄くなってしまう場合も
ある。
In a television or a video camera, a technique of converting a color image into a luminance component and a color difference component and performing edge enhancement processing on the luminance component to sharpen the image is generally used. According to this method, sharpening can be performed relatively favorably on a natural image or the like. However, for example, in an image in which a red or blue line is written on a white background, the color of the red or blue line may change to black due to the edge enhancement processing because the red and blue luminance components are small. . Conversely, a colored line drawn on a dark background may be lightened by the edge enhancement processing.

【0004】このような問題を解決するために、特開昭
61−273073号公報に開示されているカラー階調
画像情報のエッジ強調処理装置では、入力画像データか
ら明度を抽出し、明度に対してエッジ強調処理を行な
う。その結果から補正係数を求め、入力画像データの各
色成分(シアン(C)、マゼンダ(M)、イエロー
(Y))に補正係数を乗算することにより鮮鋭化を行な
う。この方法では、C成分、M成分およびY成分に同じ
係数をそれぞれ乗算する。このため、入出力の色相がず
れることなく、鮮鋭化を行なうことができる。
In order to solve such a problem, a color tone image information edge enhancement processing apparatus disclosed in Japanese Patent Application Laid-Open No. 61-273073 extracts lightness from input image data, and To perform edge enhancement processing. A correction coefficient is obtained from the result, and sharpening is performed by multiplying each color component (cyan (C), magenta (M), yellow (Y)) of the input image data by the correction coefficient. In this method, the C, M, and Y components are multiplied by the same coefficient. For this reason, it is possible to perform sharpening without shifting the input and output hues.

【0005】[0005]

【発明が解決しようとする課題】しかし、C成分、M成
分およびY成分はそれぞれ有限な値である。このため、
明度を基準に変倍処理を行なうと、値が0になったり、
飽和したりする。これにより、画像が白っぽくなった
り、黒っぽくなったりし、彩度が変化してしまう。
However, each of the C component, the M component and the Y component has a finite value. For this reason,
When the scaling process is performed based on brightness, the value becomes 0,
Or saturate. As a result, the image becomes whitish or blackish, and the saturation changes.

【0006】また、明度が変化せずに彩度や色相だけが
変化する場合には、エッジ強調を行なうことができな
い。
Further, when only the saturation and the hue change without changing the brightness, edge enhancement cannot be performed.

【0007】本発明は、上述の課題を解決するためにな
されたものであり、その目的は、明度の変化がない入力
画像であっても、入力画像の色合いを変えることなく良
好に鮮鋭化を行なうことができる画像処理装置、画像処
理プログラムを記録したコンピュータ読取可能な記録媒
体およびプログラムを提供することである。
SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problem, and an object of the present invention is to sharpen even an input image having no change in brightness without changing the color tone of the input image. An object of the present invention is to provide an image processing apparatus capable of performing the processing, a computer-readable recording medium storing an image processing program, and a program.

【0008】本発明の他の目的は、明度だけでなく、彩
度の変化がない入力画像であっても、入力画像の色合い
を変えることなく良好に鮮鋭化を行なうことができる画
像処理装置、画像処理プログラムを記録したコンピュー
タ読取可能な記録媒体およびプログラムを提供すること
である。
Another object of the present invention is to provide an image processing apparatus capable of satisfactorily sharpening an input image having no change in saturation as well as brightness without changing the hue of the input image. An object of the present invention is to provide a computer-readable recording medium on which an image processing program is recorded and a program.

【0009】[0009]

【課題を解決するための手段】本発明のある局面に従う
画像処理装置は、カラー画像の鮮鋭化を行なう。画像デ
ータは、色相、彩度および明度で表現される。画像処理
装置は、画像データの彩度のエッジを強調するための彩
度エッジ強調手段と、画像データの明度のエッジを強調
するための明度エッジ強調手段と、彩度エッジ強調手段
に接続され、エッジ強調前の画像データの彩度に基づい
て、彩度エッジ強調手段より出力される彩度を補正する
ための彩度補正手段とを含む。
An image processing apparatus according to an aspect of the present invention sharpens a color image. Image data is represented by hue, saturation, and brightness. The image processing device is connected to a saturation edge enhancement unit for enhancing a saturation edge of the image data, a brightness edge enhancement unit for enhancing a brightness edge of the image data, and a saturation edge enhancement unit. A saturation correction unit for correcting the saturation output from the saturation edge enhancement unit based on the saturation of the image data before edge enhancement.

【0010】画像データの色相については処理を行なわ
ず、明度および彩度に対してのみエッジ強調処理を行な
っている。このため、もとの画像の色合いを保ったま
ま、鮮鋭化を行なうことができる。また、明度だけでな
く、彩度に対してもエッジ強調を行なっている。このた
め、明度の変化がない画像であっても鮮鋭化を行なうこ
とができる。
No processing is performed on the hue of the image data, and the edge enhancement processing is performed only on the brightness and the saturation. Therefore, sharpening can be performed while maintaining the color tone of the original image. In addition, edge enhancement is performed not only for lightness but also for saturation. Therefore, it is possible to sharpen even an image having no change in brightness.

【0011】好ましくは、画像処理装置は、さらに、各
画素が所定の色空間の座標で表わされた画像データを色
相、彩度および明度により表わされる画像データに変換
するための第1の変換手段を含む。彩度エッジ強調手段
は、第1の変換手段に接続され、第1の変換手段より出
力される画像データの彩度のエッジを強調するための手
段を含む。明度エッジ強調手段は、第1の変換手段に接
続され、第1の変換手段より出力される画像データの明
度のエッジを強調するための手段を含む。彩度補正手段
は、第1の変換手段および彩度エッジ強調手段に接続さ
れ、第1の変換手段より出力される画像データの彩度に
基づいて、彩度エッジ強調手段より出力される彩度を補
正するための手段を含む。
Preferably, the image processing apparatus further includes a first conversion unit for converting image data in which each pixel is represented by coordinates in a predetermined color space into image data represented by hue, saturation, and lightness. Including means. The saturation edge enhancement means is connected to the first conversion means, and includes means for enhancing the saturation edge of the image data output from the first conversion means. The brightness edge enhancing means is connected to the first converting means and includes means for enhancing the brightness edge of the image data output from the first converting means. The saturation correction unit is connected to the first conversion unit and the saturation edge enhancement unit, and based on the saturation of the image data output from the first conversion unit, the saturation output from the saturation edge enhancement unit. Is included.

【0012】さらに好ましくは、画像処理装置は、さら
に、第1の変換手段、彩度補正手段および明度エッジ強
調手段に接続され、第1の変換手段より出力される色
相、彩度補正手段より出力される彩度および明度エッジ
強調手段より出力される明度により表わされる画像デー
タを、所定の色空間の座標に変換するための第2の変換
手段を含む。
More preferably, the image processing apparatus is further connected to a first conversion unit, a saturation correction unit, and a brightness edge enhancement unit, and outputs a hue and a saturation output from the first conversion unit. And a second conversion unit for converting the image data represented by the brightness output from the saturation and brightness edge enhancement unit into coordinates in a predetermined color space.

【0013】さらに好ましくは、彩度補正手段は、エッ
ジ強調手段より出力される彩度があらかじめ定められた
値よりも小さい場合に限り、エッジ強調手段より出力さ
れる彩度がエッジ強調前の画像データの彩度よりも小さ
くなることを許容する。
[0013] More preferably, the saturation correction means is configured to adjust the saturation output from the edge enhancement means to an image before edge enhancement only when the saturation output from the edge enhancement means is smaller than a predetermined value. Allow to be less than the saturation of the data.

【0014】このため、エッジ部分が白く変化してしま
うのを防ぐことができる。それに伴ない、もともと白っ
ぽい部分はより白く強調することができる。
Therefore, it is possible to prevent the edge portion from changing to white. Accordingly, the originally whitish portion can be emphasized more white.

【0015】本発明の他の局面に従う画像処理装置は、
カラー画像の鮮鋭化を行なう。画像処理装置は、各画素
値が所定の色空間の座標で表わされた画像データより、
色相を抽出するための色相抽出手段と、画像データよ
り、彩度を抽出するための彩度抽出手段と、画像データ
のエッジを色成分毎に強調するための色成分強調手段
と、色成分強調手段に接続され、色成分強調手段によっ
てエッジが強調された画像データを、色相、彩度および
明度により表わされる画像データに変換するための第1
の変換手段と、色相抽出手段および第1の変換手段に接
続され、色相抽出手段より出力される色相に基づいて、
第1の変換手段より出力される色相を補正するための色
相補正手段と、彩度抽出手段および第1の変換手段に接
続され、彩度抽出手段より出力される彩度に基づいて、
第1の変換手段より出力される彩度を補正するための彩
度補正手段とを含む。
An image processing apparatus according to another aspect of the present invention comprises:
Performs sharpening of color images. The image processing apparatus calculates, from the image data in which each pixel value is represented by coordinates in a predetermined color space,
Hue extraction means for extracting hue, saturation extraction means for extracting saturation from image data, color component enhancement means for enhancing edges of image data for each color component, and color component enhancement Means for converting the image data, the edge of which has been enhanced by the color component enhancing means, into image data represented by hue, saturation and brightness.
Is connected to the hue extracting means and the first converting means, and based on the hue outputted from the hue extracting means,
A hue correction unit for correcting the hue output from the first conversion unit, a saturation extraction unit and a hue correction unit connected to the first conversion unit, based on the saturation output from the saturation extraction unit;
And a saturation correction unit for correcting the saturation output from the first conversion unit.

【0016】入力画像データの各色成分に対しエッジ強
調を行なう。このため、明度だけでなく、彩度が一定の
画像データであっても鮮鋭化を行なうことができる。
Edge enhancement is performed on each color component of the input image data. For this reason, it is possible to sharpen even image data having a constant saturation as well as brightness.

【0017】好ましくは、画像処理装置は、さらに、色
相補正手段、彩度補正手段および第1の変換手段に接続
され、色相補正手段より出力される色相、彩度補正手段
より出力される彩度および第1の変換手段より出力され
る明度を、所定の色空間の座標に変換するための第2の
変換手段を含む。
Preferably, the image processing apparatus is further connected to a hue correction unit, a saturation correction unit, and a first conversion unit, and the hue output from the hue correction unit and the saturation output from the saturation correction unit. And a second conversion unit for converting the brightness output from the first conversion unit into coordinates in a predetermined color space.

【0018】さらに好ましくは、彩度補正手段は、第1
の変換手段より出力される彩度があらかじめ定められた
値よりも小さい場合に限り、第1の変換手段より出力さ
れる彩度が彩度抽出手段より出力される彩度よりも小さ
くなることを許容する。
[0018] More preferably, the saturation correction means includes:
The saturation output from the first conversion unit is smaller than the saturation output from the saturation extraction unit only when the saturation output from the conversion unit is smaller than a predetermined value. Allow.

【0019】このため、エッジ部分が白く変化してしま
うのを防ぐことができる。それに伴ない、もともと白っ
ぽい部分はより白く強調することができる。
Therefore, it is possible to prevent the edge portion from turning white. Accordingly, the originally whitish portion can be emphasized more white.

【0020】さらに好ましくは、彩度補正手段は、彩度
の変化率を所定値以下に制限する。彩度の変化率を制限
している。このため、極端に彩度が変化することによる
白飛び(局所的に白い点)や意図しない色が発生するこ
とを防ぐことができる。
More preferably, the saturation correction means limits the rate of change of saturation to a predetermined value or less. It limits the rate of change of saturation. For this reason, it is possible to prevent the occurrence of overexposure (local white spot) and unintended color due to extreme changes in saturation.

【0021】さらに好ましくは、彩度補正手投は、彩度
の変化量を所定値以下に制限する。彩度の変化量を制限
している。このため、極端に彩度が変化することによる
白飛びや意図しない色が発生することを防ぐことができ
る。
More preferably, the saturation correction hand throwing limits the amount of change in saturation to a predetermined value or less. The amount of change in saturation is limited. For this reason, it is possible to prevent the occurrence of overexposure and unintended colors due to extreme changes in saturation.

【0022】さらに好ましくは、色相補正手段は、色相
の変化量を所定値以下に制限する。このため、入力画像
がエッジ強調処理で意図しない色に変化するのを防ぐこ
とができ、元の画像の色合いを保ったまま、鮮鋭化を行
なうことができる。
More preferably, the hue correction means limits the amount of change in hue to a predetermined value or less. Therefore, it is possible to prevent the input image from being changed to an unintended color by the edge enhancement processing, and it is possible to perform sharpening while maintaining the color tone of the original image.

【0023】さらに好ましくは、色相、彩度および明度
で表わされる色空間は6角錐カラーモデルで表現され
る。
More preferably, the color space represented by hue, saturation and lightness is represented by a hexagonal pyramid color model.

【0024】6角錐カラーモデルでは、明度はR(赤)
値、G(緑)値およびB(青)値の最大値となる。この
ため、例えば白地に赤いボケた線が描かれた画像であっ
ても、明度の変化がないため、明度に対するエッジ強調
によって色が黒く変化してしまうことはない。
In the hexagonal pyramid color model, the brightness is R (red)
Value, G (green) value and B (blue) value. Therefore, for example, even in an image in which a red blurred line is drawn on a white background, there is no change in lightness, so that the color does not change to black due to edge emphasis on lightness.

【0025】本発明のさらに他の局面に従う画像処理方
法は、カラー画像の鮮鋭化を行なう。画像処理方法は、
画像データの彩度のエッジを強調するステップと、画像
データの明度のエッジを強調するステップと、エッジ強
調前の画像データの彩度に基づいて、エッジ強調後の画
像データの彩度を補正するステップとを含む。
An image processing method according to still another aspect of the present invention performs sharpening of a color image. The image processing method is
Enhancing the saturation edge of the image data, enhancing the brightness edge of the image data, and correcting the saturation of the image data after the edge enhancement based on the saturation of the image data before the edge enhancement. Steps.

【0026】画像データの色相については処理を行なわ
ず、明度および彩度に対してのみエッジ強調処理を行な
っている。このため、もとの画像の色合いを保ったま
ま、鮮鋭化を行なうことができる。また、明度だけでな
く、彩度に対してもエッジ強調を行なっている。このた
め、明度の変化がない画像であっても鮮鋭化を行なうこ
とができる。
No processing is performed on the hue of the image data, and the edge enhancement processing is performed only on the brightness and the saturation. Therefore, sharpening can be performed while maintaining the color tone of the original image. In addition, edge enhancement is performed not only for lightness but also for saturation. Therefore, it is possible to sharpen even an image having no change in brightness.

【0027】本発明のさらに他の局面に従う画像処理方
法は、カラー画像の鮮鋭化を行なう。画像処理方法は、
各画素値が所定の座標で表わされた画像データより、色
相を抽出するステップと、画像データより、彩度を抽出
するステップと、画像データのエッジを色成分毎に強調
するステップと、エッジが強調された画像データを、色
相、彩度および明度により表わされる画像データに変換
するステップと、エッジ強調前の色相に基づいて、エッ
ジ強調後の色相を補正するステップと、エッジ強調前の
彩度に基づいて、エッジ強調後の彩度を補正するステッ
プとを含む。
An image processing method according to still another aspect of the present invention performs sharpening of a color image. The image processing method is
Extracting a hue from the image data in which each pixel value is represented by predetermined coordinates; extracting a saturation from the image data; enhancing an edge of the image data for each color component; Converting the image data in which the color is enhanced to image data represented by hue, saturation, and lightness; correcting the hue after edge enhancement based on the hue before edge enhancement; Correcting the saturation after the edge enhancement based on the degree.

【0028】入力画像データの各色成分に対しエッジ強
調を行なう。このため、明度だけでなく、彩度が一定の
画像データであっても鮮鋭化を行なうことができる。
Edge enhancement is performed on each color component of the input image data. For this reason, it is possible to sharpen even image data having a constant saturation as well as brightness.

【0029】本発明のさらに他の局面に従うコンピュー
タ読取可能な記録媒体は、画像データの彩度のエッジを
強調するステップと、画像データの明度のエッジを強調
するステップと、エッジ強調前の画像データの彩度に基
づいて、エッジ強調後の画像データの彩度を補正するス
テップとをコンピュータに実行させる画像処理プログラ
ムを記録している。
According to still another aspect of the present invention, there is provided a computer-readable recording medium comprising: a step of enhancing a saturation edge of image data; a step of enhancing a lightness edge of image data; And a step of correcting the saturation of the image data after the edge enhancement based on the saturation of the image data.

【0030】画像データの色相については処理を行なわ
ず、明度および彩度に対してのみエッジ強調処理を行な
っている。このため、もとの画像の色合いを保ったま
ま、鮮鋭化を行なうことができる。また、明度だけでな
く、彩度に対してもエッジ強調を行なっている。このた
め、明度の変化がない画像であっても鮮鋭化を行なうこ
とができる。
The processing is not performed on the hue of the image data, and the edge enhancement processing is performed only on the brightness and the saturation. Therefore, sharpening can be performed while maintaining the color tone of the original image. In addition, edge enhancement is performed not only for lightness but also for saturation. Therefore, it is possible to sharpen even an image having no change in brightness.

【0031】本発明のさらに他の局面に従うコンピュー
タ読取可能な記録媒体は、各画素値が所定の座標で表わ
された画像データより、色相を抽出するステップと、画
像データより、彩度を抽出するステップと、画像データ
のエッジを色成分毎に強調するステップと、エッジが強
調された画像データを、色相、彩度および明度により表
わされる画像データに変換するステップと、エッジ強調
前の色相に基づいて、エッジ強調後の色相を補正するス
テップと、エッジ強調前の彩度に基づいて、エッジ強調
後の彩度を補正するステップとをコンピュータに実行さ
せる画像処理プログラムを記録している。
A computer-readable recording medium according to still another aspect of the present invention includes a step of extracting hue from image data in which each pixel value is represented by predetermined coordinates, and a step of extracting saturation from image data. Performing the step of emphasizing the edges of the image data for each color component; converting the image data having the emphasized edges into image data represented by hue, saturation, and lightness; An image processing program for causing a computer to execute a step of correcting the hue after edge enhancement based on the color saturation and a step of correcting the saturation after edge enhancement based on the saturation before edge enhancement is recorded.

【0032】入力画像データの各色成分に対しエッジ強
調を行なう。このため、明度だけでなく、彩度が一定の
画像データであっても鮮鋭化を行なうことができる。
Edge enhancement is performed on each color component of the input image data. For this reason, it is possible to sharpen even image data having a constant saturation as well as brightness.

【0033】本発明のさらに他の局面に従うプログラム
は、コンピュータに、画像データの彩度のエッジを強調
するステップと、画像データの明度のエッジを強調する
ステップと、エッジ強調前の画像データの彩度に基づい
て、エッジ強調後の画像データの彩度を補正するステッ
プとを実行させるためのプログラムである。
According to still another aspect of the present invention, there is provided a program for causing a computer to enhance a saturation edge of image data, enhance a lightness edge of image data, and enhance a color of image data before edge enhancement. Correcting the saturation of the image data after edge enhancement based on the degree.

【0034】画像データの色相については処理を行なわ
ず、明度および彩度に対してのみエッジ強調処理を行な
っている。このため、もとの画像の色合いを保ったま
ま、鮮鋭化を行なうことができる。また、明度だけでな
く、彩度に対してもエッジ強調を行なっている。このた
め、明度の変化がない画像であっても鮮鋭化を行なうこ
とができる。
No processing is performed on the hue of the image data, and the edge enhancement processing is performed only on the brightness and the saturation. Therefore, sharpening can be performed while maintaining the color tone of the original image. In addition, edge enhancement is performed not only for lightness but also for saturation. Therefore, it is possible to sharpen even an image having no change in brightness.

【0035】本発明のさらに他の局面に従うプログラム
は、コンピュータに、各画素値が所定の座標で表わされ
た画像データより、色相を抽出するステップと、画像デ
ータより、彩度を抽出するステップと、画像データのエ
ッジを色成分毎に強調するステップと、エッジが強調さ
れた画像データを、色相、彩度および明度により表わさ
れる画像データに変換するステップと、エッジ強調前の
色相に基づいて、エッジ強調後の色相を補正するステッ
プと、エッジ強調前の彩度に基づいて、エッジ強調後の
彩度を補正するステップとを実行させるためのプログラ
ムである。
According to still another aspect of the present invention, there is provided a program for causing a computer to extract a hue from image data in which each pixel value is represented by predetermined coordinates, and to extract a saturation from image data. Enhancing the edge of the image data for each color component, converting the image data with the enhanced edge into image data represented by hue, saturation and lightness, based on the hue before edge enhancement. And a step of correcting the hue after the edge enhancement and the step of correcting the saturation after the edge enhancement based on the saturation before the edge enhancement.

【0036】入力画像データの各色成分に対しエッジ強
調を行なう。このため、明度だけでなく、彩度が一定の
画像データであっても鮮鋭化を行なうことができる。
Edge enhancement is performed on each color component of the input image data. For this reason, it is possible to sharpen even image data having a constant saturation as well as brightness.

【0037】[0037]

【発明の実施の形態】以下、図面を用いて、本発明の実
施の形態について詳細に説明する。
Embodiments of the present invention will be described below in detail with reference to the drawings.

【0038】[第1の実施の形態]図1を参照して、本
発明の第1の実施の形態に係る画像処理装置は、コンピ
ュータ本体1と、グラフィックディスプレイ装置2と、
FD(Flexible Disc)4が装着されるFDドライブ3
と、キーボード5と、マウス6と、CD−ROM(Comp
act Disc-Read Only Memory)8が装着されるCD−R
OM装置7と、ネットワークを通じて外部のコンピュー
タ等とデータの送受信を行なうネットワーク通信装置9
と、コンピュータ本体1、グラフィックディスプレイ装
置2、FDドライブ3、キーボード5、マウス6、CD
−ROM装置7およびネットワーク通信装置9を相互に
接続するバスとを含む。
[First Embodiment] Referring to FIG. 1, an image processing apparatus according to a first embodiment of the present invention includes a computer main body 1, a graphic display device 2,
FD drive 3 to which FD (Flexible Disc) 4 is mounted
, Keyboard 5, mouse 6, and CD-ROM (Comp
act-Disc-Read Only Memory) 8 CD-R
An OM device 7 and a network communication device 9 for transmitting and receiving data to and from an external computer or the like via a network
Computer main unit 1, graphic display device 2, FD drive 3, keyboard 5, mouse 6, CD
And a bus for interconnecting the ROM device 7 and the network communication device 9.

【0039】コンピュータ本体1は、CPU(Central
Processing Unit)10、ROM(Read Only Memory)
11、RAM(Random Access Memory)12およびハー
ドディスク13を含む。
The computer body 1 has a CPU (Central
Processing Unit) 10, ROM (Read Only Memory)
11, a RAM (Random Access Memory) 12 and a hard disk 13.

【0040】CPU10は、グラフィックディスプレイ
装置2、FDドライブ3、キーボード5、マウス6、C
D−ROM装置7、ネットワーク通信装置9、ROM1
1、RAM12またはハードディスク13との間でデー
タを入出力しながら処理を行なう。FD4またはCD−
ROM8に記録された画像処理プログラムは、CPU1
0によりFDライブ3またはCD−ROM装置7を介し
て一旦ハードディスク13に格納される。CPU10
は、ハードディスク13から適宜画像処理プログラムを
RAM12にロードして実行することによって、RAM
12に記憶された画像データに対する処理を実行する。
画像処理プログラムは他のコンピュータより通信回線を
経由し、ネットワーク通信装置9よりコンピュータ本体
1に供給されてもよい。
The CPU 10 includes a graphic display device 2, an FD drive 3, a keyboard 5, a mouse 6, a C
D-ROM device 7, network communication device 9, ROM1
1. The processing is performed while inputting / outputting data to / from the RAM 12 or the hard disk 13. FD4 or CD-
The image processing program recorded in the ROM 8 is the CPU 1
0 is temporarily stored in the hard disk 13 via the FD live 3 or the CD-ROM device 7. CPU10
Is executed by loading an image processing program from the hard disk 13 into the RAM 12 and executing the program.
The processing for the image data stored in the storage unit 12 is executed.
The image processing program may be supplied from another computer via a communication line to the computer main body 1 from the network communication device 9.

【0041】図2を参照して、本実施の形態における画
像処理装置の機能的構成について説明する。画像処理装
置は、赤(R)、緑(G)、青(B)の3成分により構
成される画像データを色相(H)、彩度(S)、明度
(I)に変換するHSI変換部20と、HSI変換部2
0に接続され、彩度および明度にエッジ強調を行なうエ
ッジ強調部21と、HSI変換部20およびエッジ強調
部21に接続され、エッジ強調された彩度を補正する彩
度補正部22と、HSI変換部20、エッジ強調部21
および彩度補正部22に接続され、H成分、S成分およ
びI成分の値をR成分、G成分およびB成分の値に変換
するHSI逆変換部23とを含む。
Referring to FIG. 2, a functional configuration of the image processing apparatus according to the present embodiment will be described. The image processing apparatus converts an image data composed of three components of red (R), green (G), and blue (B) into hue (H), saturation (S), and lightness (I). 20 and HSI conversion unit 2
0, an edge enhancement unit 21 for performing edge enhancement on saturation and brightness, a saturation correction unit 22 connected to the HSI conversion unit 20 and the edge enhancement unit 21 for correcting edge-enhanced saturation, and an HSI Conversion unit 20, edge enhancement unit 21
And an HSI inverse conversion unit 23 connected to the saturation correction unit 22 for converting the values of the H, S, and I components into the values of the R, G, and B components.

【0042】入出力される画像データの形式はRGB形
式に限らず、CMY形式であってもよい。また、たとえ
ば入力がRGB形式で出力がCMY形式であるなど、入
力と出力とで形式が異なってもいてもよい。
The format of the input / output image data is not limited to the RGB format but may be the CMY format. Further, the input and output may have different formats, for example, the input is in RGB format and the output is in CMY format.

【0043】また、HSIはHSV(色相、彩度、明
度)やHSL(色相、彩度、輝度)と表現されることが
あるが、意味するものは同じである。
The HSI is sometimes expressed as HSV (hue, saturation, brightness) or HSL (hue, saturation, luminance), but the meaning is the same.

【0044】図3を参照して、画像処理装置が実行する
処理について説明する。HSI変換部20は、入力され
た画像データをHSI形式の画像データに変換する(S
1)。エッジ強調部21は、S成分およびI成分につい
てエッジ強調処理を行なう(S2)。彩度補正部22
は、エッジ強調された彩度(S)を補正する(S3)。
HSI逆変換部23は、HSI変換部20より出力され
るH成分、彩度補正部22より出力されるS成分および
エッジ強調部21より出力されるI成分からなる画像デ
ータをRGB形式の画像データに変換し出力する(S
4)。RGB形式からHSI形式への変換方法、および
HSI形式からRGB形式への逆変換方法については公
知の技術である。このため、その詳細な説明はここでは
繰返さない。
The processing executed by the image processing apparatus will be described with reference to FIG. The HSI conversion unit 20 converts the input image data into HSI format image data (S
1). The edge enhancement unit 21 performs an edge enhancement process on the S component and the I component (S2). Saturation correction unit 22
Corrects the edge emphasized saturation (S) (S3).
The HSI inverse conversion unit 23 converts the image data including the H component output from the HSI conversion unit 20, the S component output from the saturation correction unit 22, and the I component output from the edge enhancement unit 21 into RGB format image data. And output (S
4). Methods for converting the RGB format to the HSI format and the reverse conversion method from the HSI format to the RGB format are known technologies. Therefore, the detailed description will not be repeated here.

【0045】図4、図5および図6を参照して、HSI
空間とRGB空間との関係を示す。これにより、RGB
形式の値とHSI形式の値との関係が示され、図3のS
1およびS4の処理が実現される。
Referring to FIG. 4, FIG. 5 and FIG.
2 shows the relationship between the space and the RGB space. With this, RGB
The relationship between the value of the HSI format and the value of the HSI format is shown.
1 and S4 are realized.

【0046】本実施の形態では、HSI空間を表わすモ
デルとして、HSI6角錐カラーモデルを用いる。HS
I6角錐カラーモデルについては、1991年1月17
日発行の高木幹夫、下田陽久監修による「画像解析ハン
ドブック」(東京大学出版会)の486ページから48
9ページに詳細に示されている通り、一般的なカラーモ
デルである。
In this embodiment, an HSI hexagonal pyramid color model is used as a model representing the HSI space. HS
For the I6 pyramid color model, see Jan. 17, 1991.
Pages 486 to 48 of the "Image Analysis Handbook" (published by the University of Tokyo), edited by Mikio Takagi and Hirohisa Shimoda, published daily
This is a general color model as shown in detail on page 9.

【0047】RGB直交座標系において、3軸に接する
立方体を考えるとR、G、Bとその補色C、M、Yは図
4に示すような位置関係にある。このRGB立方体の主
対角軸を明度軸Iと定義する。すると、図5に示すよう
な6角錐カラーモデルが得られる。6角錐カラーモデル
中のある点Pの明度は、点PのR値、G値およびB値の
最大値として定義される。図6は、点Pをとおり、明度
軸Iに直交する平面を示している。明度軸Iとその平面
が交わる点をWとすると、色相(H)はWRとWPのな
す角として定義され、WPの延長線と6角形の交点をE
とすると、彩度(S)はWP/WEと定義される。な
お、HSI空間を表わすモデルは、その他のモデルであ
ってもよい。
Considering a cube that touches three axes in the RGB orthogonal coordinate system, R, G, and B and their complementary colors C, M, and Y have a positional relationship as shown in FIG. The main diagonal axis of this RGB cube is defined as a lightness axis I. Then, a hexagonal pyramid color model as shown in FIG. 5 is obtained. The brightness of a point P in the hexagonal pyramid color model is defined as the maximum value of the R value, G value, and B value of the point P. FIG. 6 shows a plane passing through the point P and orthogonal to the brightness axis I. Assuming that a point at which the lightness axis I intersects with the plane is W, the hue (H) is defined as an angle between WR and WP, and an intersection of an extension of WP and the hexagon is E
Then, the saturation (S) is defined as WP / WE. Note that the model representing the HSI space may be another model.

【0048】図7を参照して、図3のS2の処理につい
て説明する。図7はエッジ強調フィルタの各係数を表し
た図である。aはエッジ強調の強さを調節するパラメー
タである。注目する画素のエッジ強調は、注目する画素
の値を(a+1)倍した結果から、周囲8近傍の画素の
値をそれぞれ(a/8)倍して差し引くことにより求め
られる。彩度のエッジ強調の場合は、画素の値としてS
成分を用い、明度のエッジ強調の場合は、画素の値とし
てI成分を用いる。なお、フィルタ処理の結果はそれぞ
れの成分の値域によって制限される。このフィルタ処理
により、彩度および明度の変化が強調される。
Referring to FIG. 7, the processing in S2 of FIG. 3 will be described. FIG. 7 is a diagram illustrating each coefficient of the edge enhancement filter. a is a parameter for adjusting the strength of edge enhancement. The edge emphasis of the pixel of interest is obtained by subtracting the value of the pixel in the vicinity 8 by (a / 8) from the result of multiplying the value of the pixel of interest by (a + 1). In the case of saturation edge enhancement, the pixel value is S
In the case of brightness edge enhancement using a component, the I component is used as a pixel value. Note that the result of the filtering is limited by the value range of each component. This filter processing emphasizes changes in saturation and lightness.

【0049】図8を参照して、図3のS3の処理(彩度
補正)について説明する。エッジ強調を行なう前の彩度
をS0、エッジ強調を行なった後の彩度をS1、彩度補
正後の彩度をS2とする。彩度補正部22は、S1とS
0との値を比較し(S10)、S1がS0より大きい場
合(S10でYES)は、S0を1.5倍した値および
S1のうち小さい方の値をS2とする(S11)。S1
がS0より小さい場合(S10でNO、S12でYE
S)は、S0が0.2以下であるなら(S13でYE
S)S1をS2とする(S14)。上記以外の場合はS
0をS2とする(S15)。
Referring to FIG. 8, the processing (saturation correction) in S3 of FIG. 3 will be described. The saturation before the edge enhancement is S0, the saturation after the edge enhancement is S1, and the saturation after the saturation correction is S2. The saturation correction unit 22 calculates S1 and S
A value of 0 is compared (S10). If S1 is larger than S0 (YES in S10), the smaller of S1 and S1 is set as S2 (S11). S1
Is smaller than S0 (NO in S10, YE in S12)
S), if S0 is 0.2 or less (YE in S13)
S) S1 is set to S2 (S14). S other than above
0 is set as S2 (S15).

【0050】上記のように、元の彩度が小さいとき(S
10でNO、S12でYESかつS13でYES)の
み、エッジ強調部21の処理による彩度の減少を許容し
ている(S14)。このため、エッジ部分が白く変化し
てしまうのを防ぐことができる。それに伴ない、もとも
と白っぽい部分はより白く強調することができる。ま
た、彩度の増加する割合を制限することにより(S1
1)、元々色のついていない部分に意図しない色が出現
するのを防ぐことができる。
As described above, when the original saturation is small (S
Only in case of NO at S10, YES in S12 and YES in S13), the reduction of the saturation by the processing of the edge emphasizing unit 21 is allowed (S14). Therefore, it is possible to prevent the edge portion from changing to white. Accordingly, the originally whitish portion can be emphasized more white. Also, by limiting the rate of increase in saturation (S1
1) It is possible to prevent an unintended color from appearing in an originally uncolored portion.

【0051】[彩度補正の変形例1]図9を参照して、
彩度補正部22における他の彩度補正処理について説明
する。エッジ強調を行なった後の彩度S1がエッジ強調
を行なう前の彩度S0よりも大きい場合(S20でYE
S)は、S0を1.5倍した値およびS1のうち小さい
方の値を補正後の彩度S2とし(S21)、それ以外の
場合は、S0を0.5倍した値およびS1のうち大きい
方の値をS2とする(S22)。
[Modification 1 of Saturation Correction] Referring to FIG.
Another saturation correction process in the saturation correction unit 22 will be described. When the saturation S1 after the edge enhancement is larger than the saturation S0 before the edge enhancement (YE in S20)
S) sets the smaller value of the value obtained by multiplying S0 by 1.5 and S1 as the corrected saturation S2 (S21), and in the other cases, the value obtained by multiplying S0 by 0.5 and S1 The larger value is set to S2 (S22).

【0052】[彩度補正の変形例2]図10を参照し
て、彩度補正部22におけるさらに他の彩度補正処理に
ついて説明する。S1がS0より大きい場合(S25で
YES)は、S0に0.1を加算した値およびS1のう
ち小さい方の値をS2とし(S26)、それ以外の場合
は、S0から0.1を減じた値およびS1のうち大きい
方の値をS2とする(S27)。
[Second Modification of Saturation Correction] Still another saturation correction processing in the saturation correction section 22 will be described with reference to FIG. If S1 is larger than S0 (YES in S25), the smaller of S1 and 0.1 and S1 is set as S2 (S26), otherwise, 0.1 is subtracted from S0. The larger value of the calculated value and S1 is defined as S2 (S27).

【0053】変形例1および2ともに、図8に示した処
理と同様の効果を有する。以上説明したように、本実施
の形態における画像処理装置によれば、色相については
処理を行なわず、明度および彩度に対してのみ鮮鋭化を
行なっている。このため、もとの画像の色合いを保った
まま、鮮鋭化を行なうことができる。また、明度だけで
なく、彩度に対してもエッジ強調を行なうため、明度の
変化がない画像であっても鮮鋭化を行なうことができ
る。
Both Modifications 1 and 2 have the same effect as the processing shown in FIG. As described above, according to the image processing apparatus of the present embodiment, the hue is not processed, and only the brightness and the saturation are sharpened. Therefore, sharpening can be performed while maintaining the color tone of the original image. In addition, since edge enhancement is performed not only for brightness but also for saturation, it is possible to sharpen even an image having no change in brightness.

【0054】また、彩度の補正では、彩度の変化する割
合または変化量を制限している。このため、極端に彩度
が変化することによる白飛びや意図しない色が発生する
ことを防ぐことができる。
In the correction of the saturation, the rate at which the saturation changes or the amount of change is limited. For this reason, it is possible to prevent the occurrence of overexposure and unintended colors due to extreme changes in saturation.

【0055】また、HSI6角錐カラーモデルでは、明
度はR値、G値およびB値の最大値となる。このため、
例えば白地に赤いボケた線が描かれた画像であっても、
明度の変化がないため、明度に対するエッジ強調によっ
て色が黒く変化してしまうことはない。さらに、彩度に
対してエッジ強調を行っているので、ボケた画素は白ま
たは赤に変化し、良好に鮮鋭化を行なうことができる。
In the HSI hexagonal pyramid color model, the lightness is the maximum value of the R value, G value and B value. For this reason,
For example, even if the image has a red blurred line drawn on a white background,
Since there is no change in lightness, the color does not change to black due to edge emphasis on lightness. Further, since the edge is enhanced with respect to the saturation, the blurred pixel changes to white or red, and the sharpening can be performed well.

【0056】[第2の実施の形態]本発明の第2の実施
の形態に係る画像処理装置のハードウェアの概略構成
は、図1に示す第1の実施の形態における画像処理装置
のそれと同じである。このため、その詳細な説明はここ
では繰り返さない。
[Second Embodiment] The schematic configuration of the hardware of an image processing apparatus according to a second embodiment of the present invention is the same as that of the image processing apparatus according to the first embodiment shown in FIG. It is. Therefore, the detailed description will not be repeated here.

【0057】図11を参照して、本実施の形態における
画像処理装置の機能的構成について説明する。画像処理
装置は赤(R)、緑(G)、青(B)の3成分により構
成される入力画像データから色相(H)および彩度
(S)を抽出するHS抽出部30と、入力画像データの
R成分、G成分およびB成分に対し、それぞれエッジ強
調を行なうエッジ強調部31と、エッジ強調部31に接
続され、エッジ強調された入力画像データをH(色
相)、S(彩度)およびI(明度)に変換するHSI変
換部32と、HS抽出部30およびHSI変換部32に
接続され、HS抽出部30より出力される色相に基づい
て、エッジ強調後の画像の色相を補正する色相補正部3
3と、HS抽出部30およびHSI変換部32に接続さ
れ、HS抽出部30より出力される彩度に基づいて、エ
ッジ強調後の画像の彩度を補正する彩度補正部34と、
色相補正部33、圧縮ネイティブコード格納領域34お
よびHSI変換部32に接続され、H成分、S成分およ
びI成分の値をR成分、G成分およびB成分の値に変換
するHSI逆変換部35とを含む。
Referring to FIG. 11, a functional configuration of the image processing apparatus according to the present embodiment will be described. The image processing apparatus includes an HS extraction unit 30 that extracts hue (H) and saturation (S) from input image data including three components of red (R), green (G), and blue (B); An edge emphasizing unit 31 that performs edge emphasis on the R, G, and B components of the data, respectively, and is connected to the edge emphasizing unit 31 to convert the edge-emphasized input image data into H (hue) and S (saturation). And an HSI conversion unit 32 for converting the image into I (brightness), the HS extraction unit 30 and the HSI conversion unit 32, and corrects the hue of the image after the edge enhancement based on the hue output from the HS extraction unit 30. Hue correction unit 3
3, a saturation correction unit 34 connected to the HS extraction unit 30 and the HSI conversion unit 32 and correcting the saturation of the image after edge enhancement based on the saturation output from the HS extraction unit 30;
An HSI inverse converter 35, which is connected to the hue corrector 33, the compressed native code storage area 34, and the HSI converter 32, and converts the values of the H, S, and I components into R, G, and B components; including.

【0058】入出力される画像データの形式はRGB形
式に限らず、CMY形式であってもよい。また、たとえ
ば入力がRGB形式で出力がCMY形式であるなど、入
力と出力とで形式が異なっていてもよい。
The format of the input / output image data is not limited to the RGB format but may be the CMY format. Also, the input and output formats may be different, for example, the input is in RGB format and the output is in CMY format.

【0059】また、入出力するデータがHSI形式であ
ってもよい。この場合、HSI変換部32およびHSI
逆変換部35は何もせずに入力されたデータを出力する
ことになる。
The input / output data may be in HSI format. In this case, the HSI conversion unit 32 and the HSI
The inverse converter 35 outputs the input data without doing anything.

【0060】図12を参照して、画像処理装置が実行す
る処理について説明する。HS抽出部30は、入力され
た画像データからH(色相)成分およびS(彩度)成分
を抽出する(S30)。エッジ強調部31は、入力画像
データのR成分、G成分およびB成分のそれぞれに対し
エッジ強調処理を行なう(S31)。HSI変換部32
は、エッジ強調されたRGB形式の画像データをHSI
形式の画像データに変換する(S32)。色相補正部3
3は、エッジ強調前の色相を基準に、エッジ強調後の色
相を補正する(S33)。彩度補正部34は、エッジ強
調前の彩度を基準にエッジ強調後の彩度を補正する(S
34)。HSI逆変換部35は、色相補正部33より出
力されるH成分、彩度補正部34より出力されるS成分
およびHSI変換部32から出力されるI成分からなる
画像データをRGB形式の画像データに変換し出力する
(S35)。RGB形式からHSI形式への変換方法、
およびHSI形式からRGB形式への逆変換方法につい
ては公知の技術である。このため、その詳細な説明はこ
こでは繰返さない。
Referring to FIG. 12, the processing executed by the image processing apparatus will be described. The HS extraction unit 30 extracts an H (hue) component and an S (saturation) component from the input image data (S30). The edge enhancement unit 31 performs an edge enhancement process on each of the R, G, and B components of the input image data (S31). HSI conversion unit 32
Converts the image data in RGB format with edge enhancement to HSI
The image data is converted into image data of a format (S32). Hue correction unit 3
No. 3 corrects the hue after the edge enhancement based on the hue before the edge enhancement (S33). The saturation correction unit 34 corrects the saturation after the edge enhancement based on the saturation before the edge enhancement (S
34). The HSI inverse conversion unit 35 converts the image data including the H component output from the hue correction unit 33, the S component output from the saturation correction unit 34, and the I component output from the HSI conversion unit 32 into RGB format image data. And output (S35). How to convert from RGB format to HSI format,
The method of inverse conversion from the HSI format to the RGB format is a known technique. Therefore, the detailed description will not be repeated here.

【0061】HS抽出部30は、RGB形式の画像から
H成分およびS成分を抽出する処理を実行する。この処
理は、上述のように公知の技術である。このため、その
詳細な説明はここでは繰返さない。
The HS extracting section 30 executes a process for extracting an H component and an S component from an image in the RGB format. This processing is a known technique as described above. Therefore, the detailed description will not be repeated here.

【0062】エッジ強調部31、HSI変換部32およ
びHSI逆変換部35は、それぞれ図2のエッジ強調部
21、HSI変換部20およびHSI逆変換部23と同
様の処理を行なう。このため、それらの詳細な説明はこ
こでは繰返さない。
The edge emphasis unit 31, the HSI conversion unit 32, and the HSI inverse conversion unit 35 perform the same processing as the edge enhancement unit 21, the HSI conversion unit 20, and the HSI inverse conversion unit 23 in FIG. 2, respectively. Therefore, the detailed description thereof will not be repeated here.

【0063】彩度補正部34は、図2の彩度補正部22
と同様の処理を行なう。このため、その詳細な説明はこ
こでは繰返さない。なお、彩度補正部22における彩度
S0がHS抽出部30より出力される彩度Sに相当し、
彩度S1がHSI変換部32より出力される彩度に相当
する。
The saturation correction section 34 is provided with the saturation correction section 22 shown in FIG.
The same processing as is performed. Therefore, the detailed description will not be repeated here. Note that the saturation S0 in the saturation correction unit 22 corresponds to the saturation S output from the HS extraction unit 30,
The saturation S1 corresponds to the saturation output from the HSI conversion unit 32.

【0064】図13を参照して、図12のS33の処理
(色相補正)について説明する。エッジ強調を行なう前
の色相をH0、エッジ強調後の色相をH1、色相補正後
の色相をH2とする。色相補正部33は、H1とH0と
の値を比較し(S40)、H1がH0より大きい場合
(S40でYES)は、H0に5を加えた値およびH1
のうち小さい方の値をH2とする(S41)。H1がH
0以下の場合(S40でNO)は、H0から5を引いた
値およびH1のうち大きい方の値をH2とする(S4
2)。なお、色相は角度であり、0から360の値をと
る。また、H=H±360の関係がある。
Referring to FIG. 13, the processing (hue correction) in S33 of FIG. 12 will be described. The hue before edge enhancement is H0, the hue after edge enhancement is H1, and the hue after hue correction is H2. The hue correction unit 33 compares the values of H1 and H0 (S40), and when H1 is larger than H0 (YES in S40), the value obtained by adding 5 to H0 and H1
The smaller value is set as H2 (S41). H1 is H
If the value is equal to or less than 0 (NO in S40), the larger of the value obtained by subtracting 5 from H0 and H1 is set to H2 (S4).
2). The hue is an angle, and takes a value from 0 to 360. Further, there is a relationship of H = H ± 360.

【0065】以上説明したように、本実施の形態におけ
る画像処理装置によれば、色相補正処理により、エッジ
強調時における色相の変化を制限している。このため、
入力画像がエッジ強調処理で意図しない色に変化するの
を防ぐことができ、元の画像の色合いを保ったまま、鮮
鋭化を行なうことができる。また、ある程度の色相の変
化を認めているため、彩度と明度に変化のない画像であ
っても、鮮鋭化を行なうことができる。
As described above, according to the image processing apparatus of the present embodiment, the hue change during hue enhancement is limited by the hue correction processing. For this reason,
It is possible to prevent the input image from changing to an unintended color by the edge enhancement process, and it is possible to perform sharpening while maintaining the color tone of the original image. Further, since a change in hue is recognized to some extent, it is possible to sharpen even an image having no change in saturation and brightness.

【0066】また、入力画像データの各色成分に対しエ
ッジ強調を行なうため、明度だけでなく、彩度が一定の
画像データであっても鮮鋭化を行なうことができる。
Also, since edge enhancement is performed on each color component of the input image data, sharpening can be performed not only for brightness but also for image data having a constant saturation.

【0067】さらに、彩度補正処理により、エッジ強調
時における彩度の変化を制限している。このため、極端
に彩度が変化することによる白飛びや意図しない色が発
生することを防ぐことができる。
Further, a change in saturation during edge emphasis is limited by the saturation correction processing. For this reason, it is possible to prevent the occurrence of overexposure and unintended colors due to extreme changes in saturation.

【0068】今回開示された実施の形態はすべての点で
例示であって制限的なものではないと考えられるべきで
ある。本発明の範囲は上記した説明ではなくて特許請求
の範囲によって示され、特許請求の範囲と均等の意味お
よび範囲内でのすべての変更が含まれることが意図され
る。
The embodiments disclosed this time are to be considered in all respects as illustrative and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.

【0069】[0069]

【発明の効果】明度の変化がない入力画像であっても、
入力画像の色合いを変えることなく良好に鮮鋭化を行な
うことができる。また、明度だけでなく、彩度の変化が
ない入力画像であっても、入力画像の色合いを変えるこ
となく良好に鮮鋭化を行なうことができる。
Even if the input image has no change in brightness,
The sharpening can be favorably performed without changing the color of the input image. In addition, even for an input image having no change in chroma as well as brightness, sharpening can be performed well without changing the hue of the input image.

【図面の簡単な説明】[Brief description of the drawings]

【図1】 本発明の第1の実施の形態における画像処理
装置の概略構成を示すブロック図である。
FIG. 1 is a block diagram illustrating a schematic configuration of an image processing apparatus according to a first embodiment of the present invention.

【図2】 本発明の第1の実施の形態における画像処理
装置の機能的構成を示すブロック図である。
FIG. 2 is a block diagram illustrating a functional configuration of the image processing apparatus according to the first embodiment of the present invention.

【図3】 本発明の第1の実施の形態における画像処理
装置が実行する処理のフローチャートである。
FIG. 3 is a flowchart of a process executed by the image processing device according to the first embodiment of the present invention.

【図4】 RGB空間を示す図である。FIG. 4 is a diagram showing an RGB space.

【図5】 HSI6角錐カラーモデルを説明するための
図である。
FIG. 5 is a diagram illustrating an HSI hexagonal pyramid color model.

【図6】 HSI6角錐カラーモデルを用いてH(色
相)およびS(彩度)を説明するための図である。
FIG. 6 is a diagram for explaining H (hue) and S (saturation) using an HSI hexagonal pyramid color model.

【図7】 エッジ強調フィルタの各係数を示した図であ
る。
FIG. 7 is a diagram illustrating coefficients of an edge enhancement filter.

【図8】 彩度補正処理のフローチャートである。FIG. 8 is a flowchart of a saturation correction process.

【図9】 彩度補正処理の第1の変形例のフローチャー
トである。
FIG. 9 is a flowchart of a first modification of the saturation correction process.

【図10】 彩度補正処理の第2の変形例のフローチャ
ートである。
FIG. 10 is a flowchart of a second modification of the saturation correction process.

【図11】 本発明の第2の実施の形態における画像処
理装置の機能的構成を示すブロック図である。
FIG. 11 is a block diagram illustrating a functional configuration of an image processing device according to a second embodiment of the present invention.

【図12】 本発明の第2の実施の形態における画像処
理装置が実行する処理のフローチャートである。
FIG. 12 is a flowchart of a process executed by the image processing device according to the second embodiment of the present invention.

【図13】 色相補正処理のフローチャートである。FIG. 13 is a flowchart of a hue correction process.

【符号の説明】[Explanation of symbols]

1 コンピュータ本体、2 グラフィックディスプレイ
装置、3 FDドライブ、4 FD、5 キーボード、
6 マウス、7 CD−ROM装置、8 CD−RO
M、9 ネットワーク通信装置、10 CPU、11
ROM、12 RAM、13 ハードディスク、20
HSI変換部、21 エッジ強調部、22彩度補正部、
23 HSI逆変換部、30 HS抽出部、31 エッ
ジ強調部、32 HSI変換部、33 色相補正部、3
4 彩度補正部、35 HSI逆変換部。
1 computer main body, 2 graphic display device, 3 FD drive, 4 FD, 5 keyboard,
6 mouse, 7 CD-ROM device, 8 CD-RO
M, 9 network communication device, 10 CPU, 11
ROM, 12 RAM, 13 hard disk, 20
HSI conversion unit, 21 edge enhancement unit, 22 saturation correction unit,
23 HSI inverse conversion unit, 30 HS extraction unit, 31 edge enhancement unit, 32 HSI conversion unit, 33 hue correction unit, 3
4 Saturation correction unit, 35 HSI inverse conversion unit.

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 9/68 103 H04N 1/46 Z Fターム(参考) 5B057 BA30 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC02 CE03 CE06 CE17 CE18 CH18 DA17 DC16 5C066 AA03 CA17 EC02 EE03 GA01 GA02 GA05 HA01 KC00 KP05 5C077 LL19 MP07 MP08 PP03 PP27 PP32 PP35 PP37 PP68 PQ08 PQ20 RR11 5C079 HB01 HB06 HB11 LA06 LA31 LB00 NA01 ──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 7 Identification code FI Theme coat ゛ (Reference) H04N 9/68 103 H04N 1/46 Z F-term (Reference) 5B057 BA30 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC02 CE03 CE06 CE17 CE18 CH18 DA17 DC16 5C066 AA03 CA17 EC02 EE03 GA01 GA02 GA05 HA01 KC00 KP05 5C077 LL19 MP07 MP08 PP03 PP27 PP32 PP35 PP37 PP68 PQ08 PQ20 RR11 5C079 HB01 HB06 HB11 LA06 LA31 LB00 NA01

Claims (15)

【特許請求の範囲】[Claims] 【請求項1】 カラー画像の鮮鋭化を行なう画像処理装
置であって、 画像データは、色相、彩度および明度で表現され、 前記画像データの彩度のエッジを強調するための彩度エ
ッジ強調手段と、 前記画像データの明度のエッジを強調するための明度エ
ッジ強調手段と、 前記彩度エッジ強調手段に接続され、エッジ強調前の前
記画像データの彩度に基づいて、前記彩度エッジ強調手
段より出力される彩度を補正するための彩度補正手段と
を含む、画像処理装置。
1. An image processing apparatus for sharpening a color image, wherein the image data is represented by hue, saturation and lightness, and saturation edge enhancement for enhancing a saturation edge of the image data. Means, a brightness edge enhancing means for enhancing a brightness edge of the image data, and a saturation edge enhancing means connected to the saturation edge enhancing means, based on a saturation of the image data before edge enhancement. An image processing apparatus comprising: a saturation correction unit configured to correct saturation output from the unit.
【請求項2】 さらに、各画素が所定の色空間の座標で
表わされた画像データを色相、彩度および明度により表
わされる画像データに変換するための第1の変換手段を
含み、 前記彩度エッジ強調手段は、前記第1の変換手段に接続
され、前記第1の変換手段より出力される画像データの
彩度のエッジを強調するための手段を含み、 前記明度エッジ強調手段は、前記第1の変換手段に接続
され、前記第1の変換手段より出力される画像データの
明度のエッジを強調するための手段を含み、 前記彩度補正手段は、前記第1の変換手段および前記彩
度エッジ強調手段に接続され、前記第1の変換手段より
出力される画像データの彩度に基づいて、前記彩度エッ
ジ強調手段より出力される彩度を補正するための手段を
含む、請求項1に記載の画像処理装置。
2. The image processing apparatus according to claim 1, further comprising: first conversion means for converting image data in which each pixel is represented by coordinates in a predetermined color space into image data represented by hue, saturation, and lightness. The degree edge enhancing means is connected to the first converting means, and includes means for enhancing a saturation edge of image data output from the first converting means. The image processing apparatus further includes means connected to the first conversion means for enhancing a lightness edge of the image data output from the first conversion means, wherein the saturation correction means includes the first conversion means and the saturation. And means for correcting the saturation output from the saturation edge enhancement means based on the saturation of the image data output from the first conversion means, connected to the saturation edge enhancement means. Image processing according to 1. apparatus.
【請求項3】 さらに、前記第1の変換手段、前記彩度
補正手段および前記明度エッジ強調手段に接続され、前
記第1の変換手段より出力される色相、前記彩度補正手
段より出力される彩度および前記明度エッジ強調手段よ
り出力される明度により表わされる画像データを、所定
の色空間の座標に変換するための第2の変換手段を含
む、請求項2に記載の画像処理装置。
3. The hue output from the first conversion means and the hue output from the saturation correction means, the hue being connected to the first conversion means, the saturation correction means and the lightness edge enhancement means. 3. The image processing apparatus according to claim 2, further comprising a second conversion unit configured to convert image data represented by saturation and brightness output from the brightness edge enhancement unit into coordinates in a predetermined color space.
【請求項4】 前記彩度補正手段は、前記エッジ強調手
段より出力される彩度があらかじめ定められた値よりも
小さい場合に限り、前記エッジ強調手段より出力される
彩度がエッジ強調前の画像データの彩度よりも小さくな
ることを許容する、請求項1〜3のいずれかに記載の画
像処理装置。
4. The saturation correction unit according to claim 1, wherein the saturation output from the edge enhancement unit is a color saturation before the edge enhancement only when the saturation output from the edge enhancement unit is smaller than a predetermined value. The image processing device according to claim 1, wherein the image processing device allows the saturation to be smaller than the saturation of the image data.
【請求項5】 カラー画像の鮮鋭化を行なう画像処理装
置であって、 各画素値が所定の色空間の座標で表わされた画像データ
より、色相を抽出するための色相抽出手段と、 前記画像データより、彩度を抽出するための彩度抽出手
段と、 前記画像データのエッジを色成分毎に強調するための色
成分強調手段と、 前記色成分強調手段に接続され、前記色成分強調手段に
よってエッジが強調された前記画像データを、色相、彩
度および明度により表わされる画像データに変換するた
めの第1の変換手段と、 前記色相抽出手段および前記第1の変換手段に接続さ
れ、前記色相抽出手段より出力される色相に基づいて、
前記第1の変換手段より出力される色相を補正するため
の色相補正手段と、 前記彩度抽出手段および前記第1の変換手段に接続さ
れ、前記彩度抽出手段より出力される彩度に基づいて、
前記第1の変換手段より出力される彩度を補正するため
の彩度補正手段とを含む、画像処理装置。
5. An image processing apparatus for sharpening a color image, comprising: a hue extracting means for extracting a hue from image data in which each pixel value is represented by coordinates in a predetermined color space; Saturation extraction means for extracting saturation from the image data; color component enhancement means for enhancing the edges of the image data for each color component; and the color component enhancement means connected to the color component enhancement means. Means for converting the image data whose edges are emphasized by the means into image data represented by hue, saturation, and brightness; and connected to the hue extraction means and the first conversion means, Based on the hue output from the hue extraction means,
A hue correction unit for correcting a hue output from the first conversion unit; a hue correction unit connected to the saturation extraction unit and the first conversion unit, based on the saturation output from the saturation extraction unit hand,
An image processing apparatus comprising: a saturation correction unit configured to correct saturation output from the first conversion unit.
【請求項6】 さらに、前記色相補正手段、前記彩度補
正手段および前記第1の変換手段に接続され、前記色相
補正手段より出力される色相、前記彩度補正手段より出
力される彩度および前記第1の変換手段より出力される
明度を、所定の色空間の座標に変換するための第2の変
換手段を含む、請求項5に記載の画像処理装置。
6. The hue output from the hue correction means, the saturation output from the hue correction means, and the hue connected to the hue correction means, the saturation correction means and the first conversion means. The image processing apparatus according to claim 5, further comprising a second conversion unit configured to convert the lightness output from the first conversion unit into coordinates in a predetermined color space.
【請求項7】 前記彩度補正手段は、前記第1の変換手
段より出力される彩度があらかじめ定められた値よりも
小さい場合に限り、前記第1の変換手段より出力される
彩度が前記彩度抽出手段より出力される彩度よりも小さ
くなることを許容する、請求項5または6記載の画像処
理装置。
7. The saturation correction unit determines that the saturation output from the first conversion unit is only when the saturation output from the first conversion unit is smaller than a predetermined value. The image processing device according to claim 5, wherein the saturation is smaller than the saturation output from the saturation extracting unit.
【請求項8】 前記彩度補正手段は、彩度の変化率を所
定値以下に制限する、請求項1〜7のいずれかに記載の
画像処理装置。
8. The image processing apparatus according to claim 1, wherein the saturation correction unit limits a rate of change in saturation to a predetermined value or less.
【請求項9】 前記彩度補正手投は、彩度の変化量を所
定値以下に制限する、請求項1〜7のいずれかに記載の
画像処理装置。
9. The image processing apparatus according to claim 1, wherein said saturation correction hand throw limits a variation amount of saturation to a predetermined value or less.
【請求項10】 前記色相補正手段は、色相の変化量を
所定値以下に制限する、請求項5〜7のいずれかに記載
の画像処理装置。
10. The image processing apparatus according to claim 5, wherein said hue correction means limits the amount of change in hue to a predetermined value or less.
【請求項11】 色相、彩度および明度で表わされる色
空間は6角錐カラーモデルで表現される、請求項1〜1
0のいずれかに記載の画像処理装置。
11. A color space represented by hue, saturation and lightness is represented by a hexagonal pyramid color model.
0. The image processing device according to any one of claims 1 to 7.
【請求項12】 画像データの彩度のエッジを強調する
ステップと、 前記画像データの明度のエッジを強調するステップと、 エッジ強調前の前記画像データの彩度に基づいて、エッ
ジ強調後の前記画像データの彩度を補正するステップと
をコンピュータに実行させる画像処理プログラムを記録
したコンピュータ読取可能な記録媒体。
12. A step of enhancing a saturation edge of the image data, a step of enhancing a lightness edge of the image data, and the step of edge enhancement based on the saturation of the image data before edge enhancement. And a computer-readable recording medium storing an image processing program for causing a computer to execute the steps of correcting the saturation of image data.
【請求項13】 各画素値が所定の座標で表わされた画
像データより、色相を抽出するステップと、 前記画像データより、彩度を抽出するステップと、 前記画像データのエッジを色成分毎に強調するステップ
と、 エッジが強調された前記画像データを、色相、彩度およ
び明度により表わされる画像データに変換するステップ
と、 エッジ強調前の色相に基づいて、エッジ強調後の色相を
補正するステップと、 エッジ強調前の彩度に基づいて、エッジ強調後の彩度を
補正するステップとをコンピュータに実行させる画像処
理プログラムを記録したコンピュータ読取可能な記録媒
体。
13. A step of extracting a hue from image data in which each pixel value is represented by predetermined coordinates; a step of extracting saturation from the image data; And converting the image data with the edge enhanced to image data represented by hue, saturation and lightness, and correcting the hue after the edge enhancement based on the hue before the edge enhancement. A computer-readable recording medium on which an image processing program for causing a computer to execute a step and a step of correcting saturation after edge enhancement based on saturation before edge enhancement is provided.
【請求項14】 コンピュータに、 画像データの彩度のエッジを強調するステップと、 前記画像データの明度のエッジを強調するステップと、 エッジ強調前の前記画像データの彩度に基づいて、エッ
ジ強調後の前記画像データの彩度を補正するステップと
を実行させるためのプログラム。
14. A computer, comprising: enhancing a saturation edge of image data; enhancing a lightness edge of the image data; and edge enhancement based on the saturation of the image data before edge enhancement. Correcting the saturation of the image data later.
【請求項15】 コンピュータに、 各画素値が所定の座標で表わされた画像データより、色
相を抽出するステップと、 前記画像データより、彩度を抽出するステップと、 前記画像データのエッジを色成分毎に強調するステップ
と、 エッジが強調された前記画像データを、色相、彩度およ
び明度により表わされる画像データに変換するステップ
と、 エッジ強調前の色相に基づいて、エッジ強調後の色相を
補正するステップと、 エッジ強調前の彩度に基づいて、エッジ強調後の彩度を
補正するステップとを実行させるためのプログラム。
15. A computer comprising: a step of extracting hue from image data in which each pixel value is represented by predetermined coordinates; a step of extracting saturation from the image data; Emphasizing each color component; converting the image data in which the edge is enhanced into image data represented by hue, saturation, and brightness; and performing hue after edge enhancement based on the hue before edge enhancement. And correcting the saturation after the edge enhancement based on the saturation before the edge enhancement.
JP2001126031A 2001-04-24 2001-04-24 Image processing apparatus, computer-readable recording medium storing image processing program, and program Expired - Fee Related JP4111689B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001126031A JP4111689B2 (en) 2001-04-24 2001-04-24 Image processing apparatus, computer-readable recording medium storing image processing program, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001126031A JP4111689B2 (en) 2001-04-24 2001-04-24 Image processing apparatus, computer-readable recording medium storing image processing program, and program

Publications (2)

Publication Number Publication Date
JP2002320100A true JP2002320100A (en) 2002-10-31
JP4111689B2 JP4111689B2 (en) 2008-07-02

Family

ID=18975139

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001126031A Expired - Fee Related JP4111689B2 (en) 2001-04-24 2001-04-24 Image processing apparatus, computer-readable recording medium storing image processing program, and program

Country Status (1)

Country Link
JP (1) JP4111689B2 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005141209A (en) * 2003-10-17 2005-06-02 Matsushita Electric Ind Co Ltd Apparatus and method for image-processing, and display apparatus
JP2006142004A (en) * 2004-10-20 2006-06-08 Fuji Photo Film Co Ltd Sharpness adjustment method, program and electronic endoscope apparatus
WO2006106750A1 (en) * 2005-03-30 2006-10-12 Nec Corporation Image processing device, image processing method, and image processing program
JP2010263598A (en) * 2009-04-10 2010-11-18 Sony Corp Video signal processing device and display apparatus
JP2011516911A (en) * 2008-03-13 2011-05-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Color image enhancement
JP2012004688A (en) * 2010-06-14 2012-01-05 Canon Inc Image processing apparatus and control method thereof
CN109509161A (en) * 2018-12-20 2019-03-22 深圳市华星光电半导体显示技术有限公司 Image intensifier device and image enchancing method

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005141209A (en) * 2003-10-17 2005-06-02 Matsushita Electric Ind Co Ltd Apparatus and method for image-processing, and display apparatus
JP2006142004A (en) * 2004-10-20 2006-06-08 Fuji Photo Film Co Ltd Sharpness adjustment method, program and electronic endoscope apparatus
WO2006106750A1 (en) * 2005-03-30 2006-10-12 Nec Corporation Image processing device, image processing method, and image processing program
JP2011516911A (en) * 2008-03-13 2011-05-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Color image enhancement
JP2010263598A (en) * 2009-04-10 2010-11-18 Sony Corp Video signal processing device and display apparatus
JP2012004688A (en) * 2010-06-14 2012-01-05 Canon Inc Image processing apparatus and control method thereof
CN109509161A (en) * 2018-12-20 2019-03-22 深圳市华星光电半导体显示技术有限公司 Image intensifier device and image enchancing method
CN109509161B (en) * 2018-12-20 2021-03-16 深圳市华星光电半导体显示技术有限公司 Image enhancement device and image enhancement method

Also Published As

Publication number Publication date
JP4111689B2 (en) 2008-07-02

Similar Documents

Publication Publication Date Title
US8059911B2 (en) Depth-based image enhancement
JP5116393B2 (en) Image processing apparatus and image processing method
JP5795548B2 (en) High dynamic range image processing method using tone mapping to extended RGB space
JPH08251432A (en) Real time picture enhancing technique
JP2002245446A (en) Color image processor and its method
CN110264413B (en) Image processing method and device, electronic equipment and storage medium
US8189236B2 (en) Image processing apparatus, image processing method and computer-readable medium
JP2007241424A (en) Image processor and image processing method
JP2000224607A (en) Image processor
JP2002320100A (en) Image processor, computer-readable recording medium having image processing program recorded thereon, and program
JP5024574B2 (en) Image processing apparatus and image processing program
JP4243362B2 (en) Image processing apparatus, image processing method, and recording medium recording image processing program
US20070085857A1 (en) Method and apparatus for adaptively filtering input image in color domains
JP5286215B2 (en) Outline extracting apparatus, outline extracting method, and outline extracting program
JP2008011286A (en) Image processing program and image processor
WO2012153661A1 (en) Image correction device, image correction display device, image correction method, program, and recording medium
JP2001177731A (en) Image processing method, image processor and storage medium
JPH118768A (en) Image processor, image processing method and medium recording image processing control program
JP4164215B2 (en) Image processing method, apparatus, and recording medium
WO2012099013A1 (en) Image correction device, image correction display device, image correction method, program, and recording medium
JP7437921B2 (en) Image processing device, image processing method, and program
JP2003219180A (en) Image processing method, image processing device, recording medium capable of reading computer and computer program
EP1331805B1 (en) Edge correction apparatus and method
JP2003274180A (en) Image processor, image processing method, printer driver, computer readable storage medium and computer program
JPH10340332A (en) Image processor, image processing method and medium recording image processing control program

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050912

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051220

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060525

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20060612

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20060714

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080408

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110418

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120418

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120418

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130418

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130418

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees