JP2003216941A - 画像処理装置および方法、記録媒体、並びにプログラム - Google Patents
画像処理装置および方法、記録媒体、並びにプログラムInfo
- Publication number
- JP2003216941A JP2003216941A JP2002011027A JP2002011027A JP2003216941A JP 2003216941 A JP2003216941 A JP 2003216941A JP 2002011027 A JP2002011027 A JP 2002011027A JP 2002011027 A JP2002011027 A JP 2002011027A JP 2003216941 A JP2003216941 A JP 2003216941A
- Authority
- JP
- Japan
- Prior art keywords
- image
- correction
- memory color
- unit
- category
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
をより好適に補正することができるようにする。 【解決手段】 画像解析部21は、供給された画像デー
タのヘッダ情報を解析し、画像の撮影モード等をカテゴ
リ判別部22に通知する。カテゴリ判別部22は、画像
解析部21から通知されてきた情報に基づいて画像のカ
テゴリを判別し、判別結果を輝度補正部24に通知す
る。輝度補正部24は、カテゴリ判別部22による判別
結果に基づいて、画像全体の輝度の補正、または、記憶
色に近似している領域である記憶色領域のみの補正のい
ずれかを選択する。輝度補正部24は、変換部23から
供給されてきた画像の輝度を、選択した補正方法により
補正し、得られた画像データを彩度補正部25に出力す
る。
Description
び方法、記録媒体、並びにプログラムに関し、特に、擬
似輪郭等を発生させることなく、画像の色をより好適に
補正することができるようにする画像処理装置および方
法、記録媒体、並びにプログラムに関する。
で撮影した画像をパーソナルコンピュータに保存した
り、保存した画像をテレビジョン受像機やプリンタに出
力するなど、ディジタルカラー画像を扱うことのできる
機器が急速に普及している。
に含まれる、いわゆる記憶色に近い色を記憶色そのもの
に補正し、得られた画像を出力するようになされている
ものも存在する。
色、および草木の緑色など、人の記憶に残っている色で
あり、これらの色に対する観察者の目は敏感であるた
め、観察者にとっては、撮影して得られた画像そのまま
よりも、記憶色に補正したものの方が、見栄えのよい画
像であると認識されるといわれている。
ものに補正した画像を出力する機器においては、一般的
に、記憶色に近い色の領域を抽出し、その領域のみ補正
を行う方法が採用されている。従って、例えば、画像中
に人物が写っている場合、被写体の顔の領域の色が記憶
色の肌色に補正されて出力される。
うに、記憶色の領域を抽出し、その領域のみ局所的な補
正を行う場合、補正を行っていない領域との色の変化が
急激なものとなり、その境界部分に擬似輪郭が発生して
しまうという課題があった。
ものであり、擬似輪郭等を発生させることなく、画像の
色をより好適に補正することができるようにしたもので
ある。
は、画像データを取得する取得手段と、取得手段により
取得された画像データにより表わされる画像のカテゴリ
を判別する判別手段と、判別手段により判別された画像
のカテゴリに応じて、所定の記憶色に近似する記憶色領
域のみの補正、または、画像の全体の補正のうち、いず
れかの補正を選択する選択手段と、選択手段による選
択、記憶色領域の色、および記憶色に基づいて補正量を
決定する補正量決定手段と、補正量決定手段により決定
された補正量に基づいて、画像を補正する補正手段とを
備えることを特徴とする。
憶色領域のみの補正、または、画像の全体の補正のいず
れかを選択し、補正手段は、選択手段による選択に応じ
て画像の輝度を補正するようにすることができる。
え、補正手段は、抽出手段により抽出された記憶色領域
の彩度、および色相を補正するようにすることができ
る。
タのヘッダに記述されている情報、および、記憶色領域
の量に基づいて判別するようにすることができる。
画像データを取得する取得ステップと、取得ステップの
処理により取得された画像データにより表わされる画像
のカテゴリを判別する判別ステップと、判別ステップの
処理により判別された画像のカテゴリに応じて、所定の
記憶色に近似する記憶色領域のみの補正、または、画像
の全体の補正のうち、いずれかの補正を選択する選択ス
テップと、選択ステップの処理による選択、記憶色領域
の色、および記憶色に基づいて補正量を決定する補正量
決定ステップと、補正量決定ステップの処理により決定
された補正量に基づいて、画像を補正する補正ステップ
とを含むことを特徴とする。
ラムは、画像データの取得を制御する取得制御ステップ
と、取得制御ステップの処理により取得された画像デー
タにより表わされる画像のカテゴリを判別する判別ステ
ップと、判別ステップの処理により判別された画像のカ
テゴリに応じて、所定の記憶色に近似する記憶色領域の
みの補正、または、画像の全体の補正のうち、いずれか
の補正を選択する選択ステップと、選択ステップの処理
による選択、記憶色領域の色、および記憶色に基づいて
補正量を決定する補正量決定ステップと、補正量決定ス
テップの処理により決定された補正量に基づいて、画像
を補正する補正ステップとを含むことを特徴とする。
を制御する取得制御ステップと、取得制御ステップの処
理により取得された画像データにより表わされる画像の
カテゴリを判別する判別ステップと、判別ステップの処
理により判別された画像のカテゴリに応じて、所定の記
憶色に近似する記憶色領域のみの補正、または、画像の
全体の補正のうち、いずれかの補正を選択する選択ステ
ップと、選択ステップの処理による選択、記憶色領域の
色、および記憶色に基づいて補正量を決定する補正量決
定ステップと、補正量決定ステップの処理により決定さ
れた補正量に基づいて、画像を補正する補正ステップと
をコンピュータに実行させることを特徴とする。
プログラムにおいては、画像データが取得され、取得さ
れた画像データにより表わされる画像のカテゴリが判別
され、判別された画像のカテゴリに応じて、所定の記憶
色に近似する記憶色領域のみの補正、または、画像の全
体の補正のうち、いずれかの補正が選択される。また、
その選択結果、記憶色領域の色、および記憶色に基づい
て補正量が決定され、決定された補正量に基づいて、画
像が補正される。
置を適用できる機器の例を示す図である。
(図2参照)は、例えば、パーソナルコンピュータ1、
プロジェクタ2、ディジタルビデオカメラ3、ディジタ
ルスチルカメラ4、PDA(Personal Digital Assistants)
5、携帯電話機6、およびプリンタ7などの各機器の、
画像データの処理部に適用することができる。
1の構成例を示すブロック図である。
ラ4などにより撮影され、保存された画像ファイルを取
得し、画像ファイルのヘッダ情報を解析する。ヘッダ情
報には、例えば、撮影したカメラの機種名、撮影日時、
シャッタースピード、撮影モードなどの情報を表わすEx
if(Exchangeable image file format for Digital Stil
l Cameras)などが記述されており、画像解析部21は、
このExifなどの情報を解析する。例えば、ディジタルス
チルカメラ4のユーザにより撮影モードが設定され、画
像が撮影された場合、画像解析部21は、設定されてい
たモードをヘッダ情報から読み取り、画像の撮影モード
をカテゴリ判別部22に通知する。
まれる記憶色の統計量を算出し、それをカテゴリ判別部
22に通知する。具体的には、画像解析部21は、例え
ば、人物の肌の領域(肌色領域)、風景の空の領域(空
色領域)、草木の緑の領域(緑色領域)などの所定の記
憶色に近似している色の領域(以下、単に、記憶色領域
と称する)の、画像全体に占める割合などを算出し、そ
れをカテゴリ判別部22に通知する。なお、取得された
画像データもカテゴリ判別部22に出力される。
らの通知に基づいて画像のカテゴリを判別する。例え
ば、カテゴリ判別部22は、画像中に含まれる肌色領域
の大きさ(量)が所定の閾値より大きいか否か、また
は、空色領域の大きさが閾値より大きいか否か等に基づ
いて画像のカテゴリを判別する。
された画像は、例えば、主に人物が被写体とされている
「ポートレート画像」、主に風景が被写体とされている
「風景画像」、人物の割合が比較的少ない「小人物画
像」などのカテゴリに分類される。カテゴリ判別部22
により決定されたカテゴリは、補正の方法を選択する際
に利用される。
結果は、輝度補正部24に通知される。また、カテゴリ
判別部22に供給された画像データは、変換部23に出
力される。
(緑)、B(青)により指定される画像データを、Y
(輝度)、C(彩度)、H(色相)により指定される画
像データに変換し、色空間を変換して得られた画像デー
タを輝度補正部24に出力する。色空間を変更すること
により、例えば、彩度のみを変更したければ、彩度値の
みを変更すればよく、RGB空間よりも直接的に、かつ、
容易に色を変更することができる。すなわち、RGB空間
において彩度を変更する場合、RGBのそれぞれの値を変
更する必要がある。
ら通知された画像のカテゴリ、変換部23から供給され
た画像データの輝度値、記憶色の輝度値等に基づいて、
補正量を決定し、例えば、記憶色領域の輝度値を画素毎
に補正する。輝度補正部24により輝度が補正された画
像データは彩度補正部25に出力される。輝度補正部2
4の詳細な構成、および処理については後述する。
給された画像データの彩度と、予め設定されている記憶
色の彩度に基づいて補正量を決定し、記憶色領域の彩度
を画素毎に補正する。彩度補正部25により彩度が補正
された画像データは色相補正部26に出力される。
給された画像データの色相と、予め設定されている記憶
色の色相に基づいて補正量を決定し、記憶色領域の色相
を画素毎に補正する。色相補正部26により色相が補正
された画像データは変換部27に出力される。
補正された画像データを色相補正部26から取得し、取
得した画像データをRGB色空間のものに変換する。RGB色
空間に変換された画像データは、出力部28に供給さ
れ、出力部28により画像処理装置11の後段の装置に
出力される。すなわち、画像処理装置11が図1のパー
ソナルコンピュータ1に設けられている場合、画像処理
装置11により色が補正された画像がパーソナルコンピ
ュータ1のCRT(Cathode Ray Tube)、LCD(LiquidCrystal
Display)などに表示される。また、画像処理装置11
が図1のプリンタ7に設けられている場合、画像処理装
置11により色が補正された画像が所定の印刷媒体に印
刷される。
成例を示すブロック図である。
ら通知された画像のカテゴリ、画像に含まれる記憶色領
域の統計量等に基づいて、画像全体の画素の輝度を補正
するか、または、記憶色領域(必要に応じてその周辺
部)の輝度のみを補正するかを決定する。以下、画像全
体の画素の輝度を補正する補正方法をグローバル補正と
称し、一方、記憶色領域の輝度のみを補正する補正方法
をローカル補正と称する。
判別部22からの通知等に基づいて、変換部23から供
給された画像のカテゴリが、主に人物が被写体として写
っている「ポートレート画像」、または「小人物画像」
であると判定した場合、後段の補正処理部44に実行さ
せる補正方法としてグローバル補正を選択する。仮に、
「ポートレート画像」に含まれる人物の肌色領域の輝度
のみを補正した場合、肌色領域とその周辺の輝度の差が
急激なものとなり、擬似輪郭を発生させてしまうことが
あるが、このように「ポートレート画像」、および「小
人物画像」に関してグローバル補正を選択することによ
り、擬似輪郭等を発生させることなく、より好適に色を
補正することができる。
供給された画像のカテゴリが、例えば、風景画像などで
あると判定した場合、補正処理部44に実行させる補正
方法としてローカル補正を選択する。
を表わす情報は、変換部23から供給された画像データ
と共に補正量決定部42に通知される。
通知された情報に基づいて、輝度の補正量(補正カー
ブ)を決定し、画像をローカル補正により補正すること
が通知されている場合、その画像データを、補正量を表
わす情報と共に記憶色領域抽出部43に出力し、一方、
グローバル補正により補正することが通知されている場
合、その画像データを、補正量を表わす情報と共に補正
処理部44に出力する。
範囲が予め設定されており、記憶色領域抽出部43は、
例えば、記憶色の肌の色に対して近似する、所定の範囲
内の色、記憶色の空の色に対して近似する、所定の範囲
内の色、および、記憶色の緑の色に対して近似する、所
定の範囲内の色の領域(画素)を抽出し、記憶色領域を
補正処理部44に通知する。また、ローカル補正の補正
量を表わす情報等も補正処理部44に出力される。
画像データが供給されてきたとき、通知された補正量に
基づいて画像全体の画素を補正する(グローバル補正を
施す)。また、補正処理部44は、記憶色領域抽出部4
3から画像データが供給されてきたとき、通知された補
正量に基づいて画像の記憶色領域の画素を補正する(ロ
ーカル補正を施す)。補正処理部44によりグローバル
補正、またはローカル補正が施された画像データは、後
段の彩度補正部25に出力される。
画像処理装置11の補正処理について説明する。
は、画像データを取得し、そのデータにより表わされる
画像に関する、例えば、撮影したカメラの機種名、撮影
日時、シャッタースピード、撮影モードなどの情報が記
述されているヘッダ情報を解析する。画像解析部21
は、ヘッダ情報を解析し、ヘッダ情報に画像の撮影モー
ドが記述されている場合、それをカテゴリ判別部22に
通知する。
おいて、画像に含まれる記憶色領域の統計量を算出し、
算出結果をカテゴリ判別部22に通知する。例えば、画
像解析部21には、記憶色領域として抽出する色が予め
設定されており、画像解析部21は、記憶色の肌色に近
似している色、記憶色の空色に近似している色等により
指定される画素の、画像全体に占める割合などの記憶色
領域の統計量を算出する。
2は、画像解析部21から通知されたヘッダ情報や、記
憶色領域の統計量に基づいて、画像のカテゴリを判別す
る。カテゴリ判別部22によるカテゴリの判別結果は輝
度補正部24に通知され、カテゴリ判別部22に供給さ
れた画像データは変換部23に出力される。カテゴリ判
別部22の処理については、図5乃至図7のフローチャ
ートを参照して後述する。
B色空間の画像データを、YCH色空間の画像データに変換
し、得られた画像データを輝度補正部24に出力する。
て、カテゴリ判別部22から通知されたカテゴリ等に基
づいて、変換部23から供給された画像の輝度を補正
し、得られた画像を彩度補正部25に出力する。
7において、彩度補正部25、色相補正部26によりそ
れぞれ補正が施され、得られた画像データが変換部27
に出力される。変換部27に供給された画像データは、
ステップS8において、RGB色空間のデータに変換され
た後、ステップS9で、画像処理装置11の後段の装置
に出力される。
図4のステップS3において実行されるカテゴリ判別部
22の処理について説明する。
ド」により撮影された画像のカテゴリを判別する処理を
表わしている。すなわち、ディジタルスチルカメラ4等
において、撮影モードが「ポートレートモード」に設定
されて撮影された場合、画像のヘッダに記述されている
情報が画像解析部21により解析され、「ポートレート
モード」により撮影されたことがカテゴリ判別部22に
通知される。
22は、画像解析部21により算出された記憶色領域の
統計量に基づいて、芝、または草などの緑色領域と空色
領域(芝草空領域)の量が、閾値TH1より大きいか否か
を判定する。すなわち、カテゴリ判別部22には、所定
の閾値が予め設定されており、それに基づいて画像のカ
テゴリを判別できるようになされている。なお、この閾
値をユーザが好みに応じて設定できるようにしても良
い。
おいて、緑色領域と空色領域の量が閾値TH1より大きく
ない(小さい)と判定した場合、供給された画像は、比
較的広い範囲に人物が写っている画像であると認識し、
ステップS22に進み、画像のカテゴリを「ポートレー
ト画像」として決定する。
判別部22は、緑色領域と空色領域の量が閾値TH1より
大きいと判定した場合、供給されてきた画像は、比較的
広い範囲に風景が写っている画像であると認識し、ステ
ップS23に進み、画像のカテゴリを「ポートレート&
風景画像」として決定する。
おいてカテゴリ判別部22により決定された画像のカテ
ゴリは、輝度補正部24に通知され、その後、図4のス
テップS4以降の処理が実行される。
図4のステップS3において実行されるカテゴリ判別部
22の他の処理について説明する。
撮影された画像のカテゴリを判別する処理の例を表わし
ている。
のと基本的に同様の処理であり、カテゴリ判別部22
は、ステップS31において、画像解析部21により算
出された記憶色領域の統計量に基づいて、肌色領域が閾
値TH11より大きいか否かを判定する。
おいて、肌色領域が閾値TH11より大きいと判定した場
合、ステップS32に進み、供給されてきた画像は、比
較的広い範囲に人物が写っている画像であると認識し、
ステップS32に進み、画像のカテゴリを「小人物&風
景画像」として決定する。
判別部22は、肌色領域が閾値TH11より小さいと判定し
た場合、供給されてきた画像は、人物が殆ど写っていな
い画像であると認識し、ステップS33に進み、画像の
カテゴリを「風景画像」として決定する。
おいてカテゴリ判別部22により決定された画像のカテ
ゴリは、輝度補正部24に通知され、その後、図4のス
テップS4以降の処理が実行される。
図4のステップS3において実行されるカテゴリ判別部
22の処理について説明する。
されずに撮影された画像のカテゴリを判別する処理を表
わしている。
22は、画像解析部21により算出された記憶色領域の
統計量に基づいて、肌色領域の量が閾値TH31より大きい
か否かを判定する。
おいて、肌色領域の量が閾値TH31より大きいと判定した
場合、ステップS42に進み、次に、芝、または草など
の緑色領域と空色領域の量が閾値TH32より大きいか否か
を判定する。
おいて、緑色領域と空色領域の量が閾値TH32より大きく
ない(小さい)と判定した場合、供給された画像は、比
較的広い範囲に人物が写っている画像であると認識し、
ステップS43に進み、画像のカテゴリを「ポートレー
ト画像」として決定する。
判別部22は、緑色領域と空色領域の量が閾値TH32より
大きいと判定した場合、供給された画像は、比較的広い
範囲に風景が写っている画像であると認識し、ステップ
S44に進み、画像のカテゴリを「ポートレート&風景
画像」として決定する。
おいて、肌色領域の量が閾値TH31より小さいと判定した
場合、ステップS45に進み、次に、その肌色領域の量
が閾値TH31より小さい値である閾値TH33より大きいか否
かを判定する。
22は、肌色領域の量が閾値TH33より大きいと判定した
場合、ステップS46に進み、次に、緑色領域と空色領
域の量が閾値TH34より大きいか否かを判定する。
おいて、緑色領域と空色領域の量が閾値TH34より小さい
と判定した場合、ある程度の人物が写っている画像であ
ると認識し、ステップS47に進み、画像のカテゴリを
「小人物画像」として決定する。
判別部22は、緑色領域と空色領域の量が閾値TH34より
大きいと判定した場合、ある程度の人物と風景が被写体
として写っている画像であると認識し、ステップS47
に進み、画像のカテゴリを「小人物&風景画像」として
決定する。
22は、肌色領域の量が閾値TH33より小さいと判定した
場合、ステップS49に進み、次に、緑色領域と空色領
域の量が閾値TH35より大きいか否かを判定する。
おいて、緑色領域と空色領域の量が閾値TH35より大きい
と判定した場合、ステップS50に進み、画像のカテゴ
リを「風景画像」として決定する。
49において、緑色領域と空色領域の量が閾値TH35より
小さいと判定した場合、ステップS51に進み、供給さ
れてきた画像は、記憶色領域が含まれていない画像であ
ると認識する。カテゴリ判別部22により記憶色領域が
含まれていない画像であると認識された画像は、輝度補
正部24等において補正されずに後段の処理部に出力さ
れる。
れた画像であっても、その画像に含まれる記憶色領域の
量に基づいて画像のカテゴリを判別させることができ
る。当然、画像のカテゴリに関する詳細な情報がヘッダ
に記述されている場合、その情報にのみ基づいて画像の
カテゴリを判別させるようにしても良い。
図4のステップS5において実行される輝度補正部24
の処理について説明する。
の補正切替部41は、カテゴリ判別部22からの通知に
基づいて、供給された画像のカテゴリが「ポートレート
画像」、または「小人物画像」であるか否かを判定す
る。
ゴリ判別部22により実行され、画像のカテゴリが「ポ
ートレート画像」、または「小人物画像」であることが
通知されてきた場合、輝度補正部24は、ステップS6
2に進み、変換部23から供給された画像の補正方法と
してグローバル補正を選択する。
れた画像データを補正量決定部42に出力すると共に、
グローバル補正により補正を行うことを補正量決定部4
2に通知する。
いて、補正前の画像の輝度値と、補正後の画像の輝度値
を取得し、ステップS64に進み、補正カーブ(補正
量)を決定する。例えば、補正量決定部42は、補正前
の画像の輝度値として、補正前の画像全体の輝度値の平
均値や、画像に含まれる記憶色領域の輝度値の平均値な
どを取得し、補正後の画像の輝度値として、記憶色領域
の輝度値の平均値などを取得する。
た、グローバル補正の補正カーブの例を示す図である。
図9において、横軸は補正前の輝度値(入力輝度値)を
表わしており、縦軸は補正後の輝度値(出力輝度値)を
表わしている。
み合わされて補正カーブが作成されており、この補正カ
ーブによれば、「0.2乃至0.8」付近の輝度値の入
力画像の画素は、それより高い輝度値のものに補正さ
れ、一方、「0.0乃至0.2」付近の輝度値の入力画
像の画素は、コントラストを保つべく、それより低い画
素値のものに補正される。例えば、補正前の画像のう
ち、「0.4」の輝度値により指定されている画素は、
「0.48」の輝度値により指定される画素に補正され
る。
補正カーブは、図9に示されるものに限定されるもので
はなく、諧調飛びが発生しない滑らかなカーブ(1次微
分関数と2次微分関数が連続のカーブ)であれば、様々
なカーブを補正カーブとして利用することができる。
て補正量決定部42により決定された補正カーブは補正
処理部44に通知される。
画像と、決定された補正カーブが補正量決定部42から
通知されてきたとき、ステップS65において、通知さ
れてきた補正カーブを利用し、画像全体の各画素に補正
を施す。従って、図9に示される補正カーブが通知され
てきた場合、上述したように、例えば、輝度値「0.
4」の画素は、輝度値「0.48」の画素に補正され
る。
補正が行われ、得られた画像データが後段の彩度補正部
25に出力される。そして、図4のステップS6以降の
処理が実行される。
部41は、カテゴリ判別部22からの通知に基づいて、
供給された画像のカテゴリが「ポートレート画像」、お
よび「小人物画像」でないと判定した場合、ステップS
66に進み、変換部23から供給された画像の補正方法
としてローカル補正を選択する。補正切替部41は、変
換部23から供給された画像データを補正量決定部42
に出力すると共に、ローカル補正により補正を行うこと
を補正量決定部42に通知する。
2は、補正前の画像の輝度値と、補正後の画像の輝度値
を取得し、ステップS68に進み、補正カーブを決定す
るためのマハラノビス距離を算出する。
している色と、青色方向に変位している色がある場合、
それらの色の画素値と記憶色の赤の画素値のユークリッ
ド距離が同じであっても、一般的には、黄色方向に変移
した色の方が人間にはより赤に近く感じられることにな
る。マハラノビス距離は、このような人間の感覚のずれ
を考慮して算出される距離である。
色度と、補正後の画素の輝度値および色度の差分をそれ
ぞれ(ΔY,ΔCb,ΔCr)とすると、補正量決定部
42は、下式(1)、および式(2)によりマハラノビ
ス距離を算出し、ステップS69に進み、図10に示さ
れるような補正カーブを決定する。
からのマハラノビス距離を表わしており、縦軸は補正量
(補正後の輝度値から補正前の輝度値を減算したもの
(ΔY))を表わしている。
は、例えば、記憶色領域の中心からマハラノビス距離が
遠くなるにつれて、補正量が次第に小さくなるような滑
らかな曲線を作成する。この例においては、補正を行う
領域が「1」以内になるように正規化されており、必要
に応じて、記憶色領域ではない領域も補正されるように
なされている。例えば、記憶色領域の中心からマハラノ
ビス距離上で「0.6」の距離の範囲までが記憶色領域
とされている場合、記憶色領域の中心から「0.6」乃
至「1.0」の距離にある記憶色領域ではない領域も補
正が施される。
につれて補正量が次第に小さくなる補正カーブを利用す
ることで、記憶色領域の周辺部も補正が施されることと
なり、記憶色領域にのみ補正を施す場合に較べて、輝度
の変化を滑らかにすることができ、擬似輪郭が発生する
のを抑制することができる。すなわち、記憶色領域にの
み補正を施す場合、記憶色領域と記憶色領域でない領域
の輝度の差が大きくなり、擬似輪郭が発生することがあ
る。
補正カーブは、図10に示されるものに限定されるもの
ではなく、諧調飛びが発生しない滑らかなカーブであれ
ば、様々なカーブを補正カーブとして利用することがで
きる。
ーブは、画像データと共に記憶色領域抽出部43に供給
される。
値が予め設定されており、記憶色領域抽出部43は、ス
テップS70において、画素毎の色相値を確認し、ステ
ップS71に進み、設定されている色相値に基づいて、
補正が必要な画素(記憶色領域の画素と、その周辺の画
素)を抽出する。記憶色領域抽出部43は、補正が必要
な画素に関する情報を、補正量決定部42により決定さ
れた補正カーブ、および画像データと共に補正処理部4
4に出力する。
は、供給された補正カーブに基づいて、記憶色領域抽出
部43により抽出された記憶色領域の画素と、必要に応
じて、記憶色領域の周辺の画素を補正する。例えば、図
10に示されるような補正カーブが供給されてきた場
合、補正処理部44は、記憶色領域の中心に相当する画
素の輝度値を約「0.8」だけ高く補正し、中心に相当
する画素からマハラノビス距離が遠くなるにつれて、補
正量が次第に小さくなるように輝度値を補正する。
て、補正が必要な全ての画素を補正したか否かを判定
し、補正してないと判定した場合、ステップS70に戻
りそれ以降の処理を繰り返し実行する。一方、補正処理
部44は、補正が必要な全ての画素を補正したと判定し
た場合、補正後の画像を彩度補正部25に出力し、処理
を終了する。
正方法を切り替えるようにしたので、記憶色領域の境界
付近に擬似輪郭が発生するのを抑制することができる。
すなわち、人物が比較的広い範囲に写っているポートレ
ート画像が供給されており、その記憶色領域(肌色領
域)のみを抽出し、被写体の顔の色を補正した場合、顔
の領域と顔以外の領域の輝度値に大きな差異が生じてし
まい、その境界部に擬似輪郭が生じてしまうことがあ
る。
も、図9に示されるように、輝度値の中心付近に相当す
る画素に対しては、その輝度値が高くなるように補正
し、中心付近より低い輝度値が設定されている画素に対
しては、その輝度値がさらに低くなるように補正するよ
うにしたので、画像全体のコントラストを保持すること
ができる。
領域を抽出してローカル補正を施す場合、記憶色領域の
周辺の画素にも補正が施されるようにしたので、記憶色
領域のみに補正を施す場合に較べて、記憶色領域と記憶
色領域以外の領域に、急激な輝度値の変化が生じるのを
抑制することができる。
て、図4のステップS6において実行される彩度補正部
25の処理について説明する。
は、輝度補正部24から供給されてきた画像の記憶色領
域の彩度値と、補正後の彩度値(記憶色の彩度値)を取
得する。例えば、彩度補正部25には、記憶色である肌
色の彩度値、空色の彩度値、緑色の彩度値などが予め設
定されている。
は、画像に含まれる記憶色領域の彩度値を、記憶色の彩
度値そのものに補正する補正カーブを決定する。
る補正カーブの例を示す図である。図12において、横
軸は補正前の彩度値(入力彩度値)を表わしており、縦
軸は補正量(出力彩度値から入力彩度値を減算した量
(ΔC))を表わしている。
2」の画素に対して、約「0.06」だけ彩度値が加算
され、その入力彩度値をほぼ中心として、入力彩度値の
大小方向に補正量が次第に小さくなるような補正カーブ
とされている。
る補正カーブの例を示す図である。図13において、横
軸は入力彩度値を表わしており、縦軸は出力彩度値を表
わしている。
補正カーブと同様に、彩度値が「0.2」の画素に対し
て、「0.06」だけ彩度値が加算され、「0.26」
の彩度値の画素が出力されるものとされている。また、
入力彩度値「0.2」をほぼ中心として、入力彩度値の
大小方向に補正量が次第に小さくなるような補正カーブ
とされている。
る補正カーブの例を示す図である。図14において、横
軸は入力彩度値を表わしており、縦軸は彩度値のゲイン
(出力彩度値/入力彩度値)を表わしている。
の場合と同様に、入力彩度値「0.2」の画素が彩度値
「0.26」として出力されるように、ゲインとして
「1.3」をとる補正カーブが表わされている。
正カーブは、図12乃至図14に示されるものに限定さ
れるものではなく、諧調飛びが発生しない滑らかなカー
ブであれば、様々なカーブを補正カーブとして利用する
ことができる。
ステップS83において、画素毎の色相値を確認し、ス
テップS84において、確認した画素が記憶色領域の画
素か否かを判定する。
て、確認した画素が記憶色領域の画素であると判定した
場合、ステップS85に進み、ステップS83で決定し
た補正カーブに基づいて、その画素を補正する。従っ
て、図12、および図13に示されるような補正カーブ
が決定されている場合、彩度値が「0.2」の記憶色領
域の画素は、「0.26」の彩度値の画素に補正され
る。
画素が記憶色領域の画素でないと判定された場合、ステ
ップS85の処理はスキップされる。
は、全ての画素を確認したか否かを判定し、全ての画素
を確認していないと判定した場合、ステップS83に戻
り、それ以降の処理を繰り返し実行し、一方、全ての画
素を確認したと判定した場合、彩度を補正した画像デー
タを色相補正部26に出力する。そして、図4のステッ
プS7以降の処理が実行される。
て、図4のステップS7において実行される色相補正部
26の処理について説明する。
は、彩度補正部25から供給されてきた画像の記憶色領
域の色相値と、補正後の色相値(記憶色の色相値)を取
得する。例えば、色相補正部26には、記憶色である肌
色の色相値、空色の色相値、緑色の色相値などが予め設
定されている。
は、画像に含まれる記憶色領域の色相値を、記憶色の色
相値に補正する補正カーブを決定する。
る、肌色領域に対する補正カーブの例を示す図である。
図16において、横軸は補正前の色相値(入力色相値)
を表わしており、縦軸は補正量(出力色相値から入力色
相値を減算した量(ΔH))を表わしている。
範囲の色相値により指定される画素に対して補正が施さ
れるとされており、補正カーブは、2つのべき関数が組
み合わされて作成されている。この補正カーブによれ
ば、例えば、入力色相値が「120」の肌色の画素は、
色相値が約「10」だけ加算され、補正される。
る肌色領域に対する補正カーブの例を示す図であり、図
16に示される補正カーブに対して、横軸を、入力色相
値を表わすものとし、縦軸を、出力色相値を表わすもの
としたものである。
図16と同様に、「80乃至150」の範囲の色相値を
とる肌色の画素に対して補正が施されるとされており、
この補正カーブによれば、例えば、入力色相値が「12
0」の画素は、色相値が約「10」だけ加算され、補正
される。
ブは、図16、および図17に示される補正カーブに対
して、それぞれ、べき関数の指数を変更したものであ
り、このように、様々な補正カーブを色相値の補正に利
用することができる。
る緑色領域に対する補正カーブの例を示す図である。図
20において、横軸は補正前の色相値(入力色相値)を
表わしており、縦軸は補正量(ΔH)を表わしている。
の範囲の色相値の画素に対して補正が施されるとされて
おり、補正カーブは、2つのべき関数が組み合わされて
作成されている。この補正カーブによれば、例えば、入
力色相値が「205」の画素は、色相値が約「4」だけ
減算され、補正される。
る緑色領域に対する補正カーブの例を示す図であり、図
20に示される補正カーブに対して、横軸を、入力色相
値を表わすものとし、縦軸を、出力色相値を表わすもの
としたものである。
る空色領域に対する補正カーブの例を示す図である。図
22において、横軸は補正前の色相値(入力色相値)を
表わしており、縦軸は補正量(ΔH)を表わしている。
の範囲の色相値により指定される画素に対して補正が施
されるとされており、補正カーブは、2つのべき関数が
組み合わされて作成されている。この補正カーブによれ
ば、例えば、入力色相値が「290」の画素は、色相値
が約「5」だけ加算され、補正される。
る空色領域に対する補正カーブの例を示す図であり、図
22に示される補正カーブに対して、横軸を、入力色相
値を表わすものとし、縦軸を、出力色相値を表わすもの
としたものである。
正カーブは、図16乃至図23に示されるものに限定さ
れるものではなく、諧調飛びが発生しない滑らかなカー
ブであれば、様々なカーブを補正カーブとして利用する
ことができる。
ステップS93において、画素毎の色相値を確認し、ス
テップS94において、確認した画素が記憶色の画素か
否かを判定する。
て、確認した画素が記憶色の画素であると判定した場
合、ステップS95に進み、ステップS93で決定した
補正カーブに基づいて、その画素を補正する。従って、
図16、および図17に示されるような補正カーブが決
定されている場合、色相値が「120」の記憶色の画素
は、ほぼ「130」の色相値の画素に補正される。
画素が記憶色の画素でないと判定された場合、ステップ
S95の処理はスキップされる。
は、画像の全ての画素を確認したか否かを判定し、全て
の画素を確認していないと判定した場合、ステップS9
3に戻り、それ以降の処理を繰り返し実行し、一方、全
ての画素を確認したと判定した場合、画像データを変換
部27に出力する。そして、図4のステップS8以降の
処理が実行され、輝度値、彩度値、および色相値が補正
された画像が変換部27によりRGB色空間のものに変換
され、出力される。
ードに基づいて画像のカテゴリを判別し、それに基づい
てグローバル補正、またはローカル補正のいずれかを選
択させ、補正量を決定するとしたが、画像を観察するユ
ーザの年齢や性別等によっても記憶色の認識の仕方が異
なるため、例えば、ディジタルスチルカメラ4にユーザ
の年齢や性別等の様々なユーザ情報が設定され、それが
ヘッダ情報に含まれている場合、そのような様々な情報
に基づいて、補正方法や補正量を決定するようにしても
良い。
り実行させることもできるが、ソフトウェアにより実行
させることもできる。この場合、そのソフトウェアを実
行させる装置は、例えば、図24に示されるようなパー
ソナルコンピュータにより構成される。
g Unit)51は、ROM(Read Only Memory)52に記憶
されているプログラム、または、記憶部58からRAM(R
andomAccess Memory)53にロードされたプログラムに
従って各種の処理を実行する。RAM53にはまた、CPU5
1が各種の処理を実行する上において必要なデータなど
が適宜記憶される。
ス54を介して相互に接続されている。このバス54に
はまた、入出力インタフェース55も接続されている。
ド、マウスなどよりなる入力部56、CRT,LCDなどより
なるディスプレイ、並びにスピーカなどよりなる出力部
57、ハードディスクなどより構成される記憶部58、
モデム、ターミナルアダプタなどより構成される通信部
59が接続されている。通信部59は、ネットワークを
介しての通信処理を行う。
に応じてドライブ50が接続され、磁気ディスク61、
光ディスク62、光磁気ディスク63、或いは半導体メ
モリ64などが適宜装着され、それから読み出されたコ
ンピュータプログラムが、必要に応じて記憶部58にイ
ンストールされる。
る場合には、そのソフトウェアを構成するプログラム
が、専用のハードウェアに組み込まれているコンピュー
タ、または、各種のプログラムをインストールすること
で、各種の機能を実行することが可能な、例えば、汎用
のパーソナルコンピュータなどに、ネットワークや記録
媒体からインストールされる。
に、装置本体とは別に、ユーザにプログラムを提供する
ために配布される、プログラムが記録されている磁気デ
ィスク61(フロッピディスクを含む)、光ディスク6
2(CD-ROM(Compact Disk-ReadOnly Memory),DVD(Digi
tal Versatile Disk)を含む)、光磁気ディスク63(M
D(登録商標)(Mini-Disk)を含む)、もしくは半導体メ
モリ64などよりなるパッケージメディアにより構成さ
れるだけでなく、装置本体に予め組み込まれた状態でユ
ーザに提供される、プログラムが記録されているROM5
2や、記憶部58に含まれるハードディスクなどで構成
される。
されるプログラムを記述するステップは、記載された順
序に従って時系列的に行われる処理はもちろん、必ずし
も時系列的に処理されなくとも、並列的あるいは個別に
実行される処理をも含むものである。
よび方法、記録媒体、並びにプログラムによれば、擬似
輪郭等を発生させることなく、画像の色をより好適に補
正することができる。
示す図である。
ブロック図である。
ある。
ャートである。
チャートである。
ローチャートである。
するフローチャートである。
ートである。
示す図である。
の例を示す図である。
ャートである。
例を示す図である。
他の例を示す図である。
さらに他の例を示す図である。
ャートである。
例を示す図である。
他の例を示す図である。
さらに他の例を示す図である。
例を示す図である。
他の例を示す図である。
さらに他の例を示す図である。
例を示す図である。
他の例を示す図である。
ック図である。
テゴリ判別部, 23変換部, 24 輝度補正部,
25 彩度補正部, 26 色相補正部,27 変換
部, 28 出力部, 41 補正切替部, 42 補
正量決定部,43 記憶色領域抽出部, 44 補正処
理部, 61 磁気ディスク, 62 光ディスク,
63 光磁気ディスク, 64 半導体メモリ
Claims (7)
- 【請求項1】 画像データを取得する取得手段と、 前記取得手段により取得された前記画像データにより表
わされる画像のカテゴリを判別する判別手段と、 前記判別手段により判別された前記画像のカテゴリに応
じて、所定の記憶色に近似する記憶色領域のみの補正、
または、前記画像の全体の補正のうち、いずれかの補正
を選択する選択手段と、 前記選択手段による選択、前記記憶色領域の色、および
前記記憶色に基づいて補正量を決定する補正量決定手段
と、 前記補正量決定手段により決定された前記補正量に基づ
いて、前記画像を補正する補正手段とを備えることを特
徴とする画像処理装置。 - 【請求項2】 前記選択手段は、前記画像の輝度の補正
として、前記記憶色領域のみの補正、または、前記画像
の全体の補正のいずれかを選択し、 前記補正手段は、前記選択手段による選択に応じて前記
画像の輝度を補正することを特徴とする請求項1に記載
の画像処理装置。 - 【請求項3】 前記記憶色領域を抽出する抽出手段をさ
らに備え、 前記補正手段は、前記抽出手段により抽出された前記記
憶色領域の彩度、および色相を補正することを特徴とす
る請求項1に記載の画像処理装置。 - 【請求項4】 前記判別手段は、前記画像のカテゴリ
を、前記画像データのヘッダに記述されている情報、お
よび、前記記憶色領域の量に基づいて判別することを特
徴とする請求項1に記載の画像処理装置。 - 【請求項5】 画像データを取得する取得ステップと、 前記取得ステップの処理により取得された前記画像デー
タにより表わされる画像のカテゴリを判別する判別ステ
ップと、 前記判別ステップの処理により判別された前記画像のカ
テゴリに応じて、所定の記憶色に近似する記憶色領域の
みの補正、または、前記画像の全体の補正のうち、いず
れかの補正を選択する選択ステップと、 前記選択ステップの処理による選択、前記記憶色領域の
色、および前記記憶色に基づいて補正量を決定する補正
量決定ステップと、 前記補正量決定ステップの処理により決定された前記補
正量に基づいて、前記画像を補正する補正ステップとを
含むことを特徴とする画像処理方法。 - 【請求項6】 画像データの取得を制御する取得制御ス
テップと、 前記取得制御ステップの処理により取得された前記画像
データにより表わされる画像のカテゴリを判別する判別
ステップと、 前記判別ステップの処理により判別された前記画像のカ
テゴリに応じて、所定の記憶色に近似する記憶色領域の
みの補正、または、前記画像の全体の補正のうち、いず
れかの補正を選択する選択ステップと、 前記選択ステップの処理による選択、前記記憶色領域の
色、および前記記憶色に基づいて補正量を決定する補正
量決定ステップと、 前記補正量決定ステップの処理により決定された前記補
正量に基づいて、前記画像を補正する補正ステップとを
含むことを特徴とするコンピュータが読み取り可能なプ
ログラムが記録されている記録媒体。 - 【請求項7】 画像データの取得を制御する取得制御ス
テップと、 前記取得制御ステップの処理により取得された前記画像
データにより表わされる画像のカテゴリを判別する判別
ステップと、 前記判別ステップの処理により判別された前記画像のカ
テゴリに応じて、所定の記憶色に近似する記憶色領域の
みの補正、または、前記画像の全体の補正のうち、いず
れかの補正を選択する選択ステップと、 前記選択ステップの処理による選択、前記記憶色領域の
色、および前記記憶色に基づいて補正量を決定する補正
量決定ステップと、 前記補正量決定ステップの処理により決定された前記補
正量に基づいて、前記画像を補正する補正ステップとを
コンピュータに実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002011027A JP4135365B2 (ja) | 2002-01-21 | 2002-01-21 | 画像処理装置および方法、記録媒体、並びにプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002011027A JP4135365B2 (ja) | 2002-01-21 | 2002-01-21 | 画像処理装置および方法、記録媒体、並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003216941A true JP2003216941A (ja) | 2003-07-31 |
JP4135365B2 JP4135365B2 (ja) | 2008-08-20 |
Family
ID=27648603
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002011027A Expired - Fee Related JP4135365B2 (ja) | 2002-01-21 | 2002-01-21 | 画像処理装置および方法、記録媒体、並びにプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4135365B2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005316743A (ja) * | 2004-04-28 | 2005-11-10 | Toshiba Corp | 画像処理方法および画像処理装置 |
EP1643762A1 (en) * | 2004-10-01 | 2006-04-05 | Nikon Corporation | Moving image processing device and method for performing different image processings to moving object region and still object region |
WO2006059573A1 (ja) * | 2004-12-02 | 2006-06-08 | Matsushita Electric Industrial Co., Ltd. | 色彩調整装置及び方法 |
JP2007158824A (ja) * | 2005-12-06 | 2007-06-21 | Fujifilm Corp | 画像処理装置、肌色調整方法及びプログラム |
KR101114865B1 (ko) * | 2008-09-23 | 2012-03-06 | 브로드콤 코포레이션 | 화면 적응형 동적 3d 컬러 조절을 위한 방법 및 시스템 |
JP2012178788A (ja) * | 2011-02-28 | 2012-09-13 | Sony Corp | 画像処理装置と画像処理方法およびプログラム |
CN102164287B (zh) * | 2006-01-10 | 2013-01-30 | 松下电器产业株式会社 | 颜色校正处理装置以及颜色校正处理方法 |
-
2002
- 2002-01-21 JP JP2002011027A patent/JP4135365B2/ja not_active Expired - Fee Related
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005316743A (ja) * | 2004-04-28 | 2005-11-10 | Toshiba Corp | 画像処理方法および画像処理装置 |
JP4496005B2 (ja) * | 2004-04-28 | 2010-07-07 | 株式会社東芝 | 画像処理方法および画像処理装置 |
EP1643762A1 (en) * | 2004-10-01 | 2006-04-05 | Nikon Corporation | Moving image processing device and method for performing different image processings to moving object region and still object region |
JP2006108873A (ja) * | 2004-10-01 | 2006-04-20 | Nikon Corp | 動画像処理装置及び方法 |
US8514293B2 (en) | 2004-10-01 | 2013-08-20 | Nikon Corporation | Moving image processing device and method for performing different image processings to moving object region and still object region |
JP4677753B2 (ja) * | 2004-10-01 | 2011-04-27 | 株式会社ニコン | 動画像処理装置及び方法 |
CN101061704B (zh) * | 2004-12-02 | 2010-09-01 | 松下电器产业株式会社 | 色彩调整装置及方法 |
WO2006059573A1 (ja) * | 2004-12-02 | 2006-06-08 | Matsushita Electric Industrial Co., Ltd. | 色彩調整装置及び方法 |
JP4624248B2 (ja) * | 2005-12-06 | 2011-02-02 | 富士フイルム株式会社 | 画像処理装置、肌色調整方法及びプログラム |
JP2007158824A (ja) * | 2005-12-06 | 2007-06-21 | Fujifilm Corp | 画像処理装置、肌色調整方法及びプログラム |
CN102164287B (zh) * | 2006-01-10 | 2013-01-30 | 松下电器产业株式会社 | 颜色校正处理装置以及颜色校正处理方法 |
US8698913B2 (en) | 2006-01-10 | 2014-04-15 | Panasonic Corporation | Color correction device, color correction method, dynamic camera color correction device, and video search device using the same |
KR101114865B1 (ko) * | 2008-09-23 | 2012-03-06 | 브로드콤 코포레이션 | 화면 적응형 동적 3d 컬러 조절을 위한 방법 및 시스템 |
JP2012178788A (ja) * | 2011-02-28 | 2012-09-13 | Sony Corp | 画像処理装置と画像処理方法およびプログラム |
US9077945B2 (en) | 2011-02-28 | 2015-07-07 | Sony Corporation | Image processing device, image processing method, and program which correctly and easily extracts a color region of a specific color |
Also Published As
Publication number | Publication date |
---|---|
JP4135365B2 (ja) | 2008-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7358994B2 (en) | Image processing apparatus, image processing method, recording medium thereof, and program thereof | |
US6987535B1 (en) | Image processing apparatus, image processing method, and storage medium | |
JP5089405B2 (ja) | 画像処理装置及び画像処理方法並びに撮像装置 | |
JP4983962B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
US8374458B2 (en) | Tone correcting method, tone correcting apparatus, tone correcting program, and image equipment | |
JP4487872B2 (ja) | 画像処理装置および方法、プログラム並びに記録媒体 | |
US20070247474A1 (en) | Method, apparatus and recording medium for image processing | |
JP2003169231A (ja) | 画像処理装置、コンピュータ・プログラム | |
US20090231628A1 (en) | Image Processing Apparatus, Image Processing Method, Computer Program for Image Processing | |
US7885458B1 (en) | Illuminant estimation using gamut mapping and scene classification | |
JP2004096506A (ja) | 画像形成方法、画像処理装置及び画像記録装置 | |
US6996270B1 (en) | Method, apparatus, and recording medium for facial area adjustment of an image | |
JP2006033383A (ja) | 画像処理装置およびその方法 | |
JP4135365B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
US20110102632A1 (en) | Image pick-up apparatus, white balance setting method and recording medium | |
JP4107812B2 (ja) | 画像処理装置および画像処理方法および記録媒体 | |
JPH118768A (ja) | 画像処理装置、画像処理方法、画像処理制御プログラムを記録した媒体 | |
JP2010050651A (ja) | ホワイトバランス制御装置およびそれを用いた撮像装置並びにホワイトバランス制御方法 | |
JP4219577B2 (ja) | 画像処理装置と画像出力装置と画像処理方法及び記憶媒体 | |
JP2009070099A (ja) | 画像処理装置、画像処理方法、プログラムおよび記録媒体 | |
KR20100069501A (ko) | 영상 처리 방법 및 장치, 및 이를 이용한 디지털 촬영 장치 | |
WO2007032324A1 (ja) | 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム | |
JP4418829B2 (ja) | 色補正方法および画像処理装置 | |
JP2002094810A (ja) | 画像処理装置、画像処理方法およびその方法を実施するためのプログラムを記憶した記憶媒体 | |
JP2005165684A (ja) | 画像処理方法および装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041201 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080215 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080411 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080513 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080526 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4135365 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110613 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120613 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130613 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |