JP2000036043A - 画像処理方法、装置および記録媒体 - Google Patents
画像処理方法、装置および記録媒体Info
- Publication number
- JP2000036043A JP2000036043A JP10205085A JP20508598A JP2000036043A JP 2000036043 A JP2000036043 A JP 2000036043A JP 10205085 A JP10205085 A JP 10205085A JP 20508598 A JP20508598 A JP 20508598A JP 2000036043 A JP2000036043 A JP 2000036043A
- Authority
- JP
- Japan
- Prior art keywords
- highlight point
- highlight
- point
- histogram
- corrected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 6
- 238000000034 method Methods 0.000 claims description 22
- 238000001514 detection method Methods 0.000 claims description 5
- 235000019557 luminance Nutrition 0.000 description 51
- 230000006870 function Effects 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000003702 image correction Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 101000795655 Canis lupus familiaris Thymic stromal cotransporter homolog Proteins 0.000 description 1
- 102100033040 Carbonic anhydrase 12 Human genes 0.000 description 1
- 101000867855 Homo sapiens Carbonic anhydrase 12 Proteins 0.000 description 1
- 101100533652 Homo sapiens SLIRP gene Proteins 0.000 description 1
- 102100025491 SRA stem-loop-interacting RNA-binding protein, mitochondrial Human genes 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Abstract
(57)【要約】
【課題】 本発明は、ハイライトポイントを適正に設定
することで高精度の補正を実現し、良好な出力画像を得
ることができるようにすることを目的とする。 【解決手段】 明るさを示す色成分に基づき入力画像の
ヒストグラムを作成し、前記作成されたヒストグラムに
基づき、前記入力画像のハイライトポイントを検出し、
前記検出されたハイライトポイントに応じて補正後のハ
イライトポイントを求め、前記検出されたハイライトポ
イントおよび前記補正後のハイライトポイントに基づき
前記入力画像に対して色補正を行うことを特徴とする画
像処理方法。
することで高精度の補正を実現し、良好な出力画像を得
ることができるようにすることを目的とする。 【解決手段】 明るさを示す色成分に基づき入力画像の
ヒストグラムを作成し、前記作成されたヒストグラムに
基づき、前記入力画像のハイライトポイントを検出し、
前記検出されたハイライトポイントに応じて補正後のハ
イライトポイントを求め、前記検出されたハイライトポ
イントおよび前記補正後のハイライトポイントに基づき
前記入力画像に対して色補正を行うことを特徴とする画
像処理方法。
Description
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、画像のハイライト
ポイントに応じた色補正を行う画像処理方法、装置およ
び記録媒体に関するものである。
ポイントに応じた色補正を行う画像処理方法、装置およ
び記録媒体に関するものである。
【０００２】
【従来の技術】ここ数年におけるパーソナルコンピュー
タの性能向上により、大容量のファイルでさえも容易に
かつ高速に扱えるようになった。一般に容量の大きいと
される写真調の自然画像もより多くの人が取り扱うよう
になってきている。それに加えデジタルカメラやスキャ
ナに代表される入力機器も普及してきたため、さまざま
な画像のデジタル化が行われるようになった。一口に写
真画像といってもその中にはプロの撮影した高画質の画
像から、あまり品位の良くない画像まで様々である。こ
こで言う品位の良くない画像とは露出のオーバーしてい
るものやアンダーしているもの、画像全体に色味のつく
色かぶりを起こしている画像等である。一般に悪い画像
がつくられる原因として考えられるのは、撮影時の光量
が適正でないことや蛍光燈下での撮影といった撮影条件
によるものと、デジタルカメラのノイズや特性といった
デジタル化処理の際に起こる画像の劣化等が挙げられ
る。これら品位の悪い画像はデジタル化処理をしてパー
ソナルコンピュータ等に取り込んだ後、補正を施すこと
によって画像品位を上げることが可能である。
タの性能向上により、大容量のファイルでさえも容易に
かつ高速に扱えるようになった。一般に容量の大きいと
される写真調の自然画像もより多くの人が取り扱うよう
になってきている。それに加えデジタルカメラやスキャ
ナに代表される入力機器も普及してきたため、さまざま
な画像のデジタル化が行われるようになった。一口に写
真画像といってもその中にはプロの撮影した高画質の画
像から、あまり品位の良くない画像まで様々である。こ
こで言う品位の良くない画像とは露出のオーバーしてい
るものやアンダーしているもの、画像全体に色味のつく
色かぶりを起こしている画像等である。一般に悪い画像
がつくられる原因として考えられるのは、撮影時の光量
が適正でないことや蛍光燈下での撮影といった撮影条件
によるものと、デジタルカメラのノイズや特性といった
デジタル化処理の際に起こる画像の劣化等が挙げられ
る。これら品位の悪い画像はデジタル化処理をしてパー
ソナルコンピュータ等に取り込んだ後、補正を施すこと
によって画像品位を上げることが可能である。
【０００３】補正の方法の一つとしてハイライトポイン
トとシャドーポイントを決定し、それに基づいて補正を
行う方法が本出願人から提案されている。この方法を行
うためには、画像の輝度Ｙのヒストグラムを作成する。
ここで輝度Ｙは、各色入力信号値赤（Ｒ）、緑（Ｇ）、
青（Ｂ）（各８ｂｉｔ）から以下の式で求められる。
トとシャドーポイントを決定し、それに基づいて補正を
行う方法が本出願人から提案されている。この方法を行
うためには、画像の輝度Ｙのヒストグラムを作成する。
ここで輝度Ｙは、各色入力信号値赤（Ｒ）、緑（Ｇ）、
青（Ｂ）（各８ｂｉｔ）から以下の式で求められる。
【０００４】Ｙ ＝ ａ×Ｒ＋ｂ×Ｇ＋ｃ×Ｂ （但
し、ａ＋ｂ＋ｃ＝１）
し、ａ＋ｂ＋ｃ＝１）
【０００５】上式中のａ、ｂ、ｃの値はＮＴＳＣの伝送
方式に従うと、それぞれ０．３、０．５９、０．１１で
ある。
方式に従うと、それぞれ０．３、０．５９、０．１１で
ある。
【０００６】品位の良くない画像、例えば撮影時に露出
のアンダーを起こしている画像は、一般に図１に示され
るような輝度ヒストグラムになる。この輝度ヒストグラ
ムでは本来白であるべき点が白でないことを表してい
る。そこで、図１中に示すように全画素数の上から数パ
ーセントに当たる輝度をハイライトポイント（ＹHL）、
下から数パーセントに当たる輝度をシャドーポイント
（ＹSD）と決定する。一般的にハイライトポイント、シ
ャドーポイントは、それぞれ上（Ｙ＝２５５）および下
（Ｙ＝０）から全画素数の０〜５％程度である。そし
て、この輝度ＹHLが白、輝度ＹSDが黒となるように変換
を行う。
のアンダーを起こしている画像は、一般に図１に示され
るような輝度ヒストグラムになる。この輝度ヒストグラ
ムでは本来白であるべき点が白でないことを表してい
る。そこで、図１中に示すように全画素数の上から数パ
ーセントに当たる輝度をハイライトポイント（ＹHL）、
下から数パーセントに当たる輝度をシャドーポイント
（ＹSD）と決定する。一般的にハイライトポイント、シ
ャドーポイントは、それぞれ上（Ｙ＝２５５）および下
（Ｙ＝０）から全画素数の０〜５％程度である。そし
て、この輝度ＹHLが白、輝度ＹSDが黒となるように変換
を行う。
【０００７】ＹHL ＝ ２５５ ＹSD ＝ ０
【０００８】また、上式のように変換を行った場合、輝
度０〜ＹSD、ＹHL〜２５５間の階調が失われる恐れがあ
るので、下式に示すようにＹHLを２５５よりもわずかに
低い値Ｙ255′、ＹSDを０よりもわずかに高い値Ｙ0′に
設定することにより階調損失を防ぐことが出来る。
度０〜ＹSD、ＹHL〜２５５間の階調が失われる恐れがあ
るので、下式に示すようにＹHLを２５５よりもわずかに
低い値Ｙ255′、ＹSDを０よりもわずかに高い値Ｙ0′に
設定することにより階調損失を防ぐことが出来る。
【０００９】 ＹHL ＝ Ｙ255′ （但し、Ｙ255′≒２５５） ＹSD ＝ Ｙ0′ （但し、Ｙ0′≒０）
【００１０】このようなハイライトポイントおよびシャ
ドーポイントの輝度を変換する処理を画像全体に施すこ
とにより、露出がアンダーやオーバーしている画像は改
善される。
ドーポイントの輝度を変換する処理を画像全体に施すこ
とにより、露出がアンダーやオーバーしている画像は改
善される。
【００１１】さらに画像の色差信号を求め、色かぶりの
補正を行う。色差信号（ Ｃ1、Ｃ2）は下式から導かれ
る。
補正を行う。色差信号（ Ｃ1、Ｃ2）は下式から導かれ
る。
【００１２】Ｃ1 ＝ Ｒ−Ｙ′ Ｃ2 ＝ Ｂ−Ｙ′
【００１３】ここで、Ｙ′は上述したハイライトポイン
トおよびシャドーポイントの変換後の輝度の値である。
ハイライトポイントの画素では白となるべきであり、Ｒ
＝Ｇ＝Ｂ＝０であるから、白であるための条件は Ｃ1 ＝ Ｃ2 ＝ ０ かつ Ｙ ＝ ２５５ である。同様にシャドーポイントの画素は黒となるべき
であり、その条件は Ｃ1 ＝ Ｃ2 ＝ ０ かつ Ｙ ＝ ０ となる。ハイライトポイントおよびシャドーポイントの
輝度となる画素の色差信号の平均をそれぞれ（ Ｃ1（Ｈ
Ｌ），Ｃ2（ＨＬ））、（ Ｃ1（ＳＤ），Ｃ2（ＳＤ））
とすると、色かぶりのしている画像の場合 Ｃ1（ＨＬ）≠ ０ または Ｃ2（ＨＬ）≠０ Ｃ1（ＳＤ）≠ ０ または Ｃ2（ＳＤ）≠０ となってしまっている。そこで、色かぶりを補正するた
めには、（ Ｃ1（ＨＬ），Ｃ2（ＨＬ））、（ Ｃ1（Ｓ
Ｄ），Ｃ2（ＳＤ））をそれぞれ本来の白、黒の値に変
換する。その方法の一例としては図２に示すようなハイ
ライトポイントとシャドーポイントを通る色立体の線を
考え、その線が輝度軸とに重なるように変換する手法が
挙げられる。この補正を行うことにより、画像の色かぶ
りがなくなり画質は向上する。
トおよびシャドーポイントの変換後の輝度の値である。
ハイライトポイントの画素では白となるべきであり、Ｒ
＝Ｇ＝Ｂ＝０であるから、白であるための条件は Ｃ1 ＝ Ｃ2 ＝ ０ かつ Ｙ ＝ ２５５ である。同様にシャドーポイントの画素は黒となるべき
であり、その条件は Ｃ1 ＝ Ｃ2 ＝ ０ かつ Ｙ ＝ ０ となる。ハイライトポイントおよびシャドーポイントの
輝度となる画素の色差信号の平均をそれぞれ（ Ｃ1（Ｈ
Ｌ），Ｃ2（ＨＬ））、（ Ｃ1（ＳＤ），Ｃ2（ＳＤ））
とすると、色かぶりのしている画像の場合 Ｃ1（ＨＬ）≠ ０ または Ｃ2（ＨＬ）≠０ Ｃ1（ＳＤ）≠ ０ または Ｃ2（ＳＤ）≠０ となってしまっている。そこで、色かぶりを補正するた
めには、（ Ｃ1（ＨＬ），Ｃ2（ＨＬ））、（ Ｃ1（Ｓ
Ｄ），Ｃ2（ＳＤ））をそれぞれ本来の白、黒の値に変
換する。その方法の一例としては図２に示すようなハイ
ライトポイントとシャドーポイントを通る色立体の線を
考え、その線が輝度軸とに重なるように変換する手法が
挙げられる。この補正を行うことにより、画像の色かぶ
りがなくなり画質は向上する。
【００１４】
【発明が解決しようとする課題】上述したように、補正
する画像のヒストグラムを作成し、ハイライトポイント
およびシャドーポイントを決定し変換を行うことで、コ
ントラスト調整と色かぶりの補正を行うことが出来る。
する画像のヒストグラムを作成し、ハイライトポイント
およびシャドーポイントを決定し変換を行うことで、コ
ントラスト調整と色かぶりの補正を行うことが出来る。
【００１５】しかし、特に夜の画像で見られる図３に示
すような輝度ヒストグラムでハイライトポイントを設定
するとした場合、輝度Ｙ＝２５５から数％の場所は輝度
の極めて低い地点となってしまう。この点をハイライト
ポイントＹHLとして ＹHL ＝ Ｙ255′ （但し、Ｙ255′≒２５５） となるよう補正を行うと、夜の画像であるにもかかわら
ず不自然に明るくなってしまう。さらにデジタルカメラ
で撮影した画像であると、この補正によってＣＣＤノイ
ズが目立ってしまうし、ＪＰＥＧ等で圧縮された画像で
あれば、ブロックノイズが顕著に浮き出てしまうおそれ
がある。
すような輝度ヒストグラムでハイライトポイントを設定
するとした場合、輝度Ｙ＝２５５から数％の場所は輝度
の極めて低い地点となってしまう。この点をハイライト
ポイントＹHLとして ＹHL ＝ Ｙ255′ （但し、Ｙ255′≒２５５） となるよう補正を行うと、夜の画像であるにもかかわら
ず不自然に明るくなってしまう。さらにデジタルカメラ
で撮影した画像であると、この補正によってＣＣＤノイ
ズが目立ってしまうし、ＪＰＥＧ等で圧縮された画像で
あれば、ブロックノイズが顕著に浮き出てしまうおそれ
がある。
【００１６】本発明では、上記課題を解決するためにな
されたものであり、その目的はハイライトポイントを適
正に設定することで高精度の補正を実現し、良好な出力
画像を得ることができるようにすることを目的とする。
されたものであり、その目的はハイライトポイントを適
正に設定することで高精度の補正を実現し、良好な出力
画像を得ることができるようにすることを目的とする。
【００１７】
【課題を解決するための手段】上記目的を達成するため
に、本願第1の発明は、明るさを示す色成分に基づき入
力画像のヒストグラムを作成し、前記作成されたヒスト
グラムに基づき、前記入力画像のハイライトポイントを
検出し、前記検出されたハイライトポイントに応じて補
正後のハイライトポイントを求め、前記検出されたハイ
ライトポイントおよび前記補正後のハイライトポイント
に基づき前記入力画像に対して色補正を行うことを特徴
とする。
に、本願第1の発明は、明るさを示す色成分に基づき入
力画像のヒストグラムを作成し、前記作成されたヒスト
グラムに基づき、前記入力画像のハイライトポイントを
検出し、前記検出されたハイライトポイントに応じて補
正後のハイライトポイントを求め、前記検出されたハイ
ライトポイントおよび前記補正後のハイライトポイント
に基づき前記入力画像に対して色補正を行うことを特徴
とする。
【００１８】本願第2の発明は、複数のハイライトポイ
ント検出方法および各ハイライトポイントに対応したテ
ーブルを有し、原画像の特性に応じたハイライトポイン
トを選択し、前記選択されたハイライトポイントを求め
たハイライトポイント検出方法に対応したテーブルを用
いて、前記選択されたハイライトポイントに対応する補
正後のハイライトポイントを求め、前記選択されたハイ
ライトポイントと前記補正後のハイライトポイントに基
づき色補正を行うことを特徴とする。
ント検出方法および各ハイライトポイントに対応したテ
ーブルを有し、原画像の特性に応じたハイライトポイン
トを選択し、前記選択されたハイライトポイントを求め
たハイライトポイント検出方法に対応したテーブルを用
いて、前記選択されたハイライトポイントに対応する補
正後のハイライトポイントを求め、前記選択されたハイ
ライトポイントと前記補正後のハイライトポイントに基
づき色補正を行うことを特徴とする。
【００１９】
【発明の実施の形態】以下、図面を参照して本発明の実
施形態を詳細に説明する。
施形態を詳細に説明する。
【００２０】（実施形態１）本発明の第１実施形態とし
て、ハイライトポイントの輝度に応じて補正後のハイラ
イトポイントの輝度値を変化させる方法を挙げる。
て、ハイライトポイントの輝度に応じて補正後のハイラ
イトポイントの輝度値を変化させる方法を挙げる。
【００２１】図５に一連のプロセスを示す。まず最初に
画像データの読み込みおよび輝度ヒストグラムの作成を
行う。画像の画素データは一般にＲ、Ｇ、Ｂ各８ｂｉｔ
の値である。読み込まれた画素は下式 Ｙ ＝ ０．３×Ｒ＋０．５９×Ｇ＋０．１１×Ｂ により、輝度Ｙが求められる（Ｓ１）。
画像データの読み込みおよび輝度ヒストグラムの作成を
行う。画像の画素データは一般にＲ、Ｇ、Ｂ各８ｂｉｔ
の値である。読み込まれた画素は下式 Ｙ ＝ ０．３×Ｒ＋０．５９×Ｇ＋０．１１×Ｂ により、輝度Ｙが求められる（Ｓ１）。
【００２２】この輝度Ｙに基づき輝度ヒストグラムを作
成し（Ｓ２）、上から数パーセントに当たる輝度をハイ
ライトポイントＹHL、下から数パーセントに当たる輝度
をシャドーポイントＹSDとする（Ｓ３）。そして、その
後に色補正を行っていくが、ハイライトポイントについ
ては単に ＹHL ＝ Ｙ255′ （但し、Ｙ255′≒ ２５５） とせず、ルックアップテーブル（以下ＬＵＴとする）に
よってＹHLに応じた補正後の輝度ＹHL′を求める（Ｓ
４）。図６はＬＵＴの一例を示すグラフで、横軸は
ＹHL、縦軸は補正後の輝度ＹHL′である。このＬＵＴの
０≦ＹHL≦１５０の領域では、故意的に色を暗くしてい
る画像と見なし、補正後のハイライトポイントの輝度は
変換させない。１５０≦ＹHL≦２２０の領域では補正後
の画像が著しく明るくなり、ＪＰＥＧノイズやＣＣＤノ
イズがより顕著に現れるのを防ぐために、補正後のハイ
ライトポイントの輝度ＹHL′を極端に上げないよう設定
されている。２２０≦ＹHLの領域では、従来通り補正後
のハイライトポイントの輝度ＹHL′を２４５にするよう
になっている。シャドーポイントについては従来通り ＹSD ＝ Ｙ0′ （但し、Ｙ0′≒ ０） とする。このようにしてハイライトポイントＹHL′とシ
ャドーポイントＹ0′を決定した後、色かぶりの補正を
行う（Ｓ５）。まず決定されたハイライトポイントおよ
びシャドーポイントの輝度を持つ色差信号の平均値、そ
れぞれ（ Ｃ1（ＨＬ），Ｃ2（ＨＬ））、（ Ｃ1（Ｓ
Ｄ），Ｃ2（ＳＤ））を求める。求めれらた（Ｃ1（Ｈ
Ｌ），Ｃ2（ＨＬ））、（ Ｃ1（ＳＤ），Ｃ2（ＳＤ））
を結ぶ線は色かぶりを起こしていれば輝度軸から傾いて
いるはずであるので、その線が輝度と重なるように（
Ｃ1（ＨＬ），Ｃ2（ＨＬ））、（ Ｃ1（ＳＤ），Ｃ
2（ＳＤ））から回転行列Ｔを算出する。この回転行列
Ｔを、元の画像の全画素に施すことにより、色かぶりを
補正することが出来る。
成し（Ｓ２）、上から数パーセントに当たる輝度をハイ
ライトポイントＹHL、下から数パーセントに当たる輝度
をシャドーポイントＹSDとする（Ｓ３）。そして、その
後に色補正を行っていくが、ハイライトポイントについ
ては単に ＹHL ＝ Ｙ255′ （但し、Ｙ255′≒ ２５５） とせず、ルックアップテーブル（以下ＬＵＴとする）に
よってＹHLに応じた補正後の輝度ＹHL′を求める（Ｓ
４）。図６はＬＵＴの一例を示すグラフで、横軸は
ＹHL、縦軸は補正後の輝度ＹHL′である。このＬＵＴの
０≦ＹHL≦１５０の領域では、故意的に色を暗くしてい
る画像と見なし、補正後のハイライトポイントの輝度は
変換させない。１５０≦ＹHL≦２２０の領域では補正後
の画像が著しく明るくなり、ＪＰＥＧノイズやＣＣＤノ
イズがより顕著に現れるのを防ぐために、補正後のハイ
ライトポイントの輝度ＹHL′を極端に上げないよう設定
されている。２２０≦ＹHLの領域では、従来通り補正後
のハイライトポイントの輝度ＹHL′を２４５にするよう
になっている。シャドーポイントについては従来通り ＹSD ＝ Ｙ0′ （但し、Ｙ0′≒ ０） とする。このようにしてハイライトポイントＹHL′とシ
ャドーポイントＹ0′を決定した後、色かぶりの補正を
行う（Ｓ５）。まず決定されたハイライトポイントおよ
びシャドーポイントの輝度を持つ色差信号の平均値、そ
れぞれ（ Ｃ1（ＨＬ），Ｃ2（ＨＬ））、（ Ｃ1（Ｓ
Ｄ），Ｃ2（ＳＤ））を求める。求めれらた（Ｃ1（Ｈ
Ｌ），Ｃ2（ＨＬ））、（ Ｃ1（ＳＤ），Ｃ2（ＳＤ））
を結ぶ線は色かぶりを起こしていれば輝度軸から傾いて
いるはずであるので、その線が輝度と重なるように（
Ｃ1（ＨＬ），Ｃ2（ＨＬ））、（ Ｃ1（ＳＤ），Ｃ
2（ＳＤ））から回転行列Ｔを算出する。この回転行列
Ｔを、元の画像の全画素に施すことにより、色かぶりを
補正することが出来る。
【００２３】色かぶり補正の後は、露出のアンダーやオ
ーバーを補正するコントラスト調整を行う（Ｓ６）。変
換前のハイライトポイントＹHLをＹHL′、シャドーポイ
ントＹSDをＹ0′にするような処理を全画素にわたって
行う。これにより露出アンダーやオーバーな画像が改善
され、結果コントラスト調整が行われる。
ーバーを補正するコントラスト調整を行う（Ｓ６）。変
換前のハイライトポイントＹHLをＹHL′、シャドーポイ
ントＹSDをＹ0′にするような処理を全画素にわたって
行う。これにより露出アンダーやオーバーな画像が改善
され、結果コントラスト調整が行われる。
【００２４】以上のように、ハイライトポイント設定の
際に、ＬＵＴに従って補正後の輝度値を変化させること
によって、適切な色補正を行うことが出来る。
際に、ＬＵＴに従って補正後の輝度値を変化させること
によって、適切な色補正を行うことが出来る。
【００２５】（実施形態２）次に実施形態２として、輝
度ヒストグラムと信号値平均ヒストグラムとの比較から
ハイライトポイントを設定する際に、それぞれのＬＵＴ
から補正後の輝度値を求め補正する方法を挙げる。
度ヒストグラムと信号値平均ヒストグラムとの比較から
ハイライトポイントを設定する際に、それぞれのＬＵＴ
から補正後の輝度値を求め補正する方法を挙げる。
【００２６】写真の多くの部分を青空が占めるような画
像の場合、実施形態１のような重み付けによる輝度信号
のヒストグラムからでは、B信号の重みが低いため、必
ずしも最適なハイライトポイントを設定することができ
ない。つまり青みがかった雲を白にするような補正を行
うことができない。
像の場合、実施形態１のような重み付けによる輝度信号
のヒストグラムからでは、B信号の重みが低いため、必
ずしも最適なハイライトポイントを設定することができ
ない。つまり青みがかった雲を白にするような補正を行
うことができない。
【００２７】また、逆光の状態で人物などを撮影すると
主被写体がアンダー気味になり、好ましい階調が得られ
ない。このような画像に対して、実施形態1のようにハ
イライトポイントを設定してもほとんど最高輝度に張り
付いてしまい、これに基づいて補正を行ってもほとんど
補正がかからない。
主被写体がアンダー気味になり、好ましい階調が得られ
ない。このような画像に対して、実施形態1のようにハ
イライトポイントを設定してもほとんど最高輝度に張り
付いてしまい、これに基づいて補正を行ってもほとんど
補正がかからない。
【００２８】そこで、実施形態２では、青空の多い画像
や逆光で撮影した画像等においても適正な補正が行われ
るよう、変換するハイライトポイントの値を変える。こ
の方法は、輝度ヒストグラムを作成するだけでなく、同
時に下式よりＲ、Ｇ、Ｂの信号値平均 Ｍ ＝ （Ｒ＋Ｇ＋Ｂ）／３ を求め、このＭに基づいてヒストグラムを作成して（以
下、信号値平均ヒストグラムと呼ぶ）、そこからハイラ
イトポイントＭHLを求める。この後、輝度ヒストグラム
から求めたハイライトポイントＹHLと信号値平均ヒスト
グラムから求めたハイライトポイントＭHLを比較し、値
の小さい方をハイライトポイントとする。その後コント
ラスト調整および色かぶり補正を行うのであるが、信号
値ヒストグラムをハイライトポイントに設定した場合、
ハイライトポイントＭHLに対応した輝度ＹHL(M)を ＹHL(M) ＝ Ｙ255′ （但し、Ｙ255′≒２５５） として、補正を行う。ハイライトポイントＭHLに応じた
輝度ＹHL(M)とは、信号値平均値ヒストグラムに累積す
る際に２５６個のテーブルを用意し、それぞれの信号値
平均に対応づけたテーブルにその時の輝度を格納し、そ
れをインクリメントしていき、最終的に各信号値平均の
合計値をそこに格納された個数で割り求めたものであ
る。
や逆光で撮影した画像等においても適正な補正が行われ
るよう、変換するハイライトポイントの値を変える。こ
の方法は、輝度ヒストグラムを作成するだけでなく、同
時に下式よりＲ、Ｇ、Ｂの信号値平均 Ｍ ＝ （Ｒ＋Ｇ＋Ｂ）／３ を求め、このＭに基づいてヒストグラムを作成して（以
下、信号値平均ヒストグラムと呼ぶ）、そこからハイラ
イトポイントＭHLを求める。この後、輝度ヒストグラム
から求めたハイライトポイントＹHLと信号値平均ヒスト
グラムから求めたハイライトポイントＭHLを比較し、値
の小さい方をハイライトポイントとする。その後コント
ラスト調整および色かぶり補正を行うのであるが、信号
値ヒストグラムをハイライトポイントに設定した場合、
ハイライトポイントＭHLに対応した輝度ＹHL(M)を ＹHL(M) ＝ Ｙ255′ （但し、Ｙ255′≒２５５） として、補正を行う。ハイライトポイントＭHLに応じた
輝度ＹHL(M)とは、信号値平均値ヒストグラムに累積す
る際に２５６個のテーブルを用意し、それぞれの信号値
平均に対応づけたテーブルにその時の輝度を格納し、そ
れをインクリメントしていき、最終的に各信号値平均の
合計値をそこに格納された個数で割り求めたものであ
る。
【００２９】このようにすることによって例えば青空の
中に浮かんだ雲があるような画像の場合、雲の部分にハ
イライトポイントを設定することが出来るようになり、
青い空、白い雲といった人間の記憶に近い画像を再現す
ることが可能となる。
中に浮かんだ雲があるような画像の場合、雲の部分にハ
イライトポイントを設定することが出来るようになり、
青い空、白い雲といった人間の記憶に近い画像を再現す
ることが可能となる。
【００３０】しかしながら、輝度ヒストグラムと信号値
平均ヒストグラムの比較からハイライトポイントを設定
する場合で信号値平均ヒストグラムのハイライトポイン
トの方が値が小さく図４に示すように設定したとする。
これに基づき上述した色補正を行ったとすると、図中斜
線の領域部分Ａで色飛びが起きてしまうことがある。
平均ヒストグラムの比較からハイライトポイントを設定
する場合で信号値平均ヒストグラムのハイライトポイン
トの方が値が小さく図４に示すように設定したとする。
これに基づき上述した色補正を行ったとすると、図中斜
線の領域部分Ａで色飛びが起きてしまうことがある。
【００３１】そこで、本実施形態では、補正後のハイラ
イトポイントを求めるLUTをハイライトポイントの設定
方法に対応させて用意する。
イトポイントを求めるLUTをハイライトポイントの設定
方法に対応させて用意する。
【００３２】図７に本実施形態の処理の流れを示すフロ
ーチャートを示す。最初に実施形態１と同様に画像デー
タの読み込みを行う（Ｓ１１）。その後、ＲＧＢデータ
から輝度Ｙを求めると同時に信号値の平均Ｍを求める
（Ｓ１２）。それらのデータから輝度ヒストグラムおよ
び信号値ヒストグラムを作成する（Ｓ１３）。作成した
ヒストグラムの上（２５５）から数パーセントをハイラ
イトポイント、下（０）から数パーセントをシャドーポ
イントとして、輝度ヒストグラムのハイライトポイント
ＹHL、信号値平均ヒストグラムのハイライトポイントＭ
HLを求める（Ｓ１４）。この両者の値で比較を行い、値
の小さい方を色補正に用いるハイライトポイントとする
（Ｓ１５）。
ーチャートを示す。最初に実施形態１と同様に画像デー
タの読み込みを行う（Ｓ１１）。その後、ＲＧＢデータ
から輝度Ｙを求めると同時に信号値の平均Ｍを求める
（Ｓ１２）。それらのデータから輝度ヒストグラムおよ
び信号値ヒストグラムを作成する（Ｓ１３）。作成した
ヒストグラムの上（２５５）から数パーセントをハイラ
イトポイント、下（０）から数パーセントをシャドーポ
イントとして、輝度ヒストグラムのハイライトポイント
ＹHL、信号値平均ヒストグラムのハイライトポイントＭ
HLを求める（Ｓ１４）。この両者の値で比較を行い、値
の小さい方を色補正に用いるハイライトポイントとする
（Ｓ１５）。
【００３３】ＹHL ＜ ＭHLであれば、ハイライトポイン
トは輝度ヒストグラムのハイライトポイントＹHLとな
る。この場合、ハイライトポイントＹHLに基づきルック
アップテーブル（ＬＵＴYとする）を参照し補正後の輝
度を求める（Ｓ１６）。
トは輝度ヒストグラムのハイライトポイントＹHLとな
る。この場合、ハイライトポイントＹHLに基づきルック
アップテーブル（ＬＵＴYとする）を参照し補正後の輝
度を求める（Ｓ１６）。
【００３４】逆にＹHL ＞ ＭHLであれば、ハイライトポ
イントは信号値平均のハイライトポイントＭHLとなる。
この場合、ＹHLの場合とは異なるルックアップテーブル
（ＬＵＴMとする）をハイライトポイントＭHLに基づき
参照し補正後の輝度値を求める（Ｓ１７）。図８は信号
値平均のハイライトポイントのＬＵＴMの一例である。
この例では、輝度ヒストグラムがハイライトポイントの
場合、変換後の値を小さくすることで、従来課題で述べ
たような色飛びを防いでいる。
イントは信号値平均のハイライトポイントＭHLとなる。
この場合、ＹHLの場合とは異なるルックアップテーブル
（ＬＵＴMとする）をハイライトポイントＭHLに基づき
参照し補正後の輝度値を求める（Ｓ１７）。図８は信号
値平均のハイライトポイントのＬＵＴMの一例である。
この例では、輝度ヒストグラムがハイライトポイントの
場合、変換後の値を小さくすることで、従来課題で述べ
たような色飛びを防いでいる。
【００３５】その後、Ｓ１５で決定されたハイライトポ
イントとに基づき実施形態１と同様の色かぶり補正（図
５のＳ５）を行う（Ｓ１８）。そして、Ｓ１５で決定さ
れたハイライトポイントと、Ｓ１６またはＳ１７によっ
て求められた補正後の輝度値とに基づき、実施形態１と
同様のコントラスト調整（図５のＳ６）を行う（Ｓ１
９）。
イントとに基づき実施形態１と同様の色かぶり補正（図
５のＳ５）を行う（Ｓ１８）。そして、Ｓ１５で決定さ
れたハイライトポイントと、Ｓ１６またはＳ１７によっ
て求められた補正後の輝度値とに基づき、実施形態１と
同様のコントラスト調整（図５のＳ６）を行う（Ｓ１
９）。
【００３６】本実施形態によれば、図6または図8に示さ
れるLUTを画像に応じて選択的に使用することにより、
夜などの比較的暗い画像についても、画像補正によって
不自然に明るくなることを防ぐことが出来る。また、青
空の多い画像や逆光で撮影された画像に効果を上げる、
輝度ヒストグラムのハイライトポイントと信号値平均ヒ
ストグラムのハイライトポイントを比較する方法におい
ても、色飛びを抑え最適な補正を行うことが可能とな
る。
れるLUTを画像に応じて選択的に使用することにより、
夜などの比較的暗い画像についても、画像補正によって
不自然に明るくなることを防ぐことが出来る。また、青
空の多い画像や逆光で撮影された画像に効果を上げる、
輝度ヒストグラムのハイライトポイントと信号値平均ヒ
ストグラムのハイライトポイントを比較する方法におい
ても、色飛びを抑え最適な補正を行うことが可能とな
る。
【００３７】また、図６、図８で代表される本実施形態
でのＬＵＴの形は一例として挙げたにすぎず、画像の種
類や補正度合いなどによってＬＵＴは様々な値が適用さ
れる。
でのＬＵＴの形は一例として挙げたにすぎず、画像の種
類や補正度合いなどによってＬＵＴは様々な値が適用さ
れる。
【００３８】（他の実施形態）上記実施形態では、最初
に色かぶり補正を行い、その後に露出のアンダーやオー
バーを補正するいわゆるコントラスト調整を行ったが、
その順序は問われない。また、ハイライト／シャドーポ
イントの決定方法やヒストグラム作成方法や画像補正に
関するアルゴリズムは上記方法にかぎられず他の多種多
様の方法を用いることができる。例えば、ヒストグラム
を他の明るさを示す成分に基づき作成しても構わない。
に色かぶり補正を行い、その後に露出のアンダーやオー
バーを補正するいわゆるコントラスト調整を行ったが、
その順序は問われない。また、ハイライト／シャドーポ
イントの決定方法やヒストグラム作成方法や画像補正に
関するアルゴリズムは上記方法にかぎられず他の多種多
様の方法を用いることができる。例えば、ヒストグラム
を他の明るさを示す成分に基づき作成しても構わない。
【００３９】上述の実施形態をインクジェット方式や電
子写真方式のプリンタのドライバまたはデジタルカメラ
のドライバに適用しても構わない。
子写真方式のプリンタのドライバまたはデジタルカメラ
のドライバに適用しても構わない。
【００４０】また、イメージ、グラフィックやテキスト
など複数の種類が異なるオブジェクトが含まれる画像が
入力された場合は、イメージのオブジェクトに対しての
み上記補正処理を行うようにしても構わない。このよう
にする事によりグラフィックやテキストの画質を保持し
つつ、イメージの画質を良好にすることができる。
など複数の種類が異なるオブジェクトが含まれる画像が
入力された場合は、イメージのオブジェクトに対しての
み上記補正処理を行うようにしても構わない。このよう
にする事によりグラフィックやテキストの画質を保持し
つつ、イメージの画質を良好にすることができる。
【００４１】また前述した実施形態の機能を実現する様
に各種のデバイスを動作させる様に該各種デバイスと接
続された装置あるいはシステム内のコンピュータに、前
記実施形態機能を実現するためのソフトウエアのプログ
ラムコードを供給し、そのシステムあるいは装置のコン
ピュータ（CPUあるいはMPU）を格納されたプログラムに
従って前記各種デバイスを動作させることによって実施
したものも本発明の範疇に含まれる。
に各種のデバイスを動作させる様に該各種デバイスと接
続された装置あるいはシステム内のコンピュータに、前
記実施形態機能を実現するためのソフトウエアのプログ
ラムコードを供給し、そのシステムあるいは装置のコン
ピュータ（CPUあるいはMPU）を格納されたプログラムに
従って前記各種デバイスを動作させることによって実施
したものも本発明の範疇に含まれる。
【００４２】またこの場合、前記ソフトウエアのプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコード自体、及びそのプログ
ラムコードをコンピュータに供給するための手段、例え
ばかかるプログラムコードを格納した記憶媒体は本発明
を構成する。
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコード自体、及びそのプログ
ラムコードをコンピュータに供給するための手段、例え
ばかかるプログラムコードを格納した記憶媒体は本発明
を構成する。
【００４３】かかるプログラムコードを格納する記憶媒
体としては例えばフロッピーディスク、ハードディス
ク、光ディスク、光磁気ディスク、CD-ROM,、磁気テー
プ、不揮発性のメモリカード、ROM等を用いることが出
来る。
体としては例えばフロッピーディスク、ハードディス
ク、光ディスク、光磁気ディスク、CD-ROM,、磁気テー
プ、不揮発性のメモリカード、ROM等を用いることが出
来る。
【００４４】またコンピュータが供給されたプログラム
コードを実行することにより、前述の実施形態の機能が
実現されるだけではなく、そのプログラムコードがコン
ピュータにおいて稼働しているOS(オペレーティングシ
ステム)、あるいは他のアプリケーションソフト等と共
同して前述の実施形態の機能が実現される場合にもかか
るプログラムコードは本発明の実施形態に含まれること
は言うまでもない。
コードを実行することにより、前述の実施形態の機能が
実現されるだけではなく、そのプログラムコードがコン
ピュータにおいて稼働しているOS(オペレーティングシ
ステム)、あるいは他のアプリケーションソフト等と共
同して前述の実施形態の機能が実現される場合にもかか
るプログラムコードは本発明の実施形態に含まれること
は言うまでもない。
【００４５】更に供給されたプログラムコードが、コン
ピュータの機能拡張ボードやコンピュータに接続された
機能拡張ユニットに備わるメモリに格納された後そのプ
ログラムコードの指示に基づいてその機能拡張ボードや
機能格納ユニットに備わるCPU等が実際の処理の一部ま
たは全部を行い、その処理によって前述した実施形態の
機能が実現される場合も本発明に含まれることは言うま
でもない。
ピュータの機能拡張ボードやコンピュータに接続された
機能拡張ユニットに備わるメモリに格納された後そのプ
ログラムコードの指示に基づいてその機能拡張ボードや
機能格納ユニットに備わるCPU等が実際の処理の一部ま
たは全部を行い、その処理によって前述した実施形態の
機能が実現される場合も本発明に含まれることは言うま
でもない。
【００４６】
【発明の効果】以上説明したように、本発明によればハ
イライトポイントを適正に設定することができ高精度の
補正を行うこができ、良好な出力画像を得ることができ
るようにすることができる。
イライトポイントを適正に設定することができ高精度の
補正を行うこができ、良好な出力画像を得ることができ
るようにすることができる。
【図１】露出がアンダーしている画像の輝度ヒストグラ
ムの一例を示す図である。
ムの一例を示す図である。
【図２】ハイライトポイントとシャドーポイントを結ぶ
線が輝度軸に重なるように回転させるＣ1Ｃ2Ｙ空間の図
である。
線が輝度軸に重なるように回転させるＣ1Ｃ2Ｙ空間の図
である。
【図３】夜の画像のヒストグラムの一例を示す図であ
る。
る。
【図４】輝度ヒストグラムと信号値平均ヒストグラムか
らハイライトポイントを設定する方法を示す図である。
らハイライトポイントを設定する方法を示す図である。
【図５】実施形態１の処理過程を示すフローチャート図
である。
である。
【図６】補正後のハイライトポイントの輝度値を求める
ためのＬＵＴを表すグラフである。
ためのＬＵＴを表すグラフである。
【図７】実施形態２の処理過程を示すフローチャート図
である。
である。
【図８】信号値平均で求めたハイライトポイントの補正
後の輝度値を求めるためのＬＵＴMを表すグラフであ
る。
後の輝度値を求めるためのＬＵＴMを表すグラフであ
る。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 山添 学 東京都大田区下丸子３丁目30番２号キヤノ ン株式会社内 Ｆターム(参考） 5B057 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC01 CE11 CE17 CH01 CH07 CH11 DA08 DB02 DB06 DB09 DC23 5C065 AA01 BB01 CC01 GG49 GG50 HH04 5C077 LL04 LL19 MP08 NN02 NP01 PP15 PP32 PP37 PP52 PQ12 PQ18 PQ19 PQ22 PQ23 5C079 HB01 LA12 LB01 MA01 MA04 MA11 NA05 NA29
Claims (6)
- 【請求項１】 明るさを示す色成分に基づき入力画像の
ヒストグラムを作成し、 前記作成されたヒストグラムに基づき、前記入力画像の
ハイライトポイントを検出し、 前記検出されたハイライトポイントに応じて補正後のハ
イライトポイントを求め、 前記検出されたハイライトポイントおよび前記補正後の
ハイライトポイントに基づき前記入力画像に対して色補
正を行うことを特徴とする画像処理方法。 - 【請求項２】 検出されたハイライトポイントと補正後
のハイライトポイントの対応関係を格納するテーブルを
有することを特徴とする請求項１記載の画像処理方法。 - 【請求項３】 複数のハイライトポイント検出方法およ
び各ハイライトポイントに対応したテーブルを有し、 原画像の特性に応じたハイライトポイントを選択し、 前記選択されたハイライトポイントを求めたハイライト
ポイント検出方法に対応したテーブルを用いて、前記選
択されたハイライトポイントに対応する補正後のハイラ
イトポイントを求め、 前記選択されたハイライトポイントと前記補正後のハイ
ライトポイントに基づき色補正を行うことを特徴とする
画像処理方法。 - 【請求項４】 前記複数のハイライトポイント検出方法
には輝度ヒストグラムを用いる方法とＲＧＢの信号値の
平均を累積したヒストグラムを用いた方法が含まれるこ
とを特徴とする請求項３記載の画像処理方法。 - 【請求項５】 明るさを示す色成分に基づき入力画像の
ヒストグラムを作成する作成手段と、 前記作成されたヒストグラムに基づき、前記入力画像の
ハイライトポイントを検出する検出手段と、 前記検出されたハイライトポイントに応じて補正後のハ
イライトポイントを求める手段と、 前記検出されたハイライトポイントおよび前記補正後の
ハイライトポイントに基づき前記入力画像に対して色補
正を行う色補正手段とを有することを特徴とする画像処
理装置。 - 【請求項６】 コンピュータが読み取り可能にプログラ
ムを記録する記録媒体であって、 明るさを示す色成分に基づき入力画像のヒストグラムを
作成し、 前記作成されたヒストグラムに基づき、前記入力画像の
ハイライトポイントを検出し、 前記検出されたハイライトポイントに応じて補正後のハ
イライトポイントを求め、 前記検出されたハイライトポイントおよび前記補正後の
ハイライトポイントに基づき前記入力画像に対して色補
正を行うプログラムを記録することを特徴とする記録媒
体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20508598A JP3976898B2 (ja) | 1998-07-21 | 1998-07-21 | 画像処理方法、装置および記録媒体 |
| US09/338,424 US6694051B1 (en) | 1998-06-24 | 1999-06-23 | Image processing method, image processing apparatus and recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20508598A JP3976898B2 (ja) | 1998-07-21 | 1998-07-21 | 画像処理方法、装置および記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000036043A true JP2000036043A (ja) | 2000-02-02 |
| JP3976898B2 JP3976898B2 (ja) | 2007-09-19 |
Family
ID=16501183
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20508598A Expired - Fee Related JP3976898B2 (ja) | 1998-06-24 | 1998-07-21 | 画像処理方法、装置および記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3976898B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007142134A1 (ja) | 2006-06-02 | 2007-12-13 | Rohm Co., Ltd. | 画像処理回路、半導体装置、画像処理装置 |
| US7457465B2 (en) | 2003-04-18 | 2008-11-25 | Seiko Epson Corporation | Method, apparatus, and computer-readable medium for processing an image while excluding a portion of the image |
| EP4270974A1 (en) | 2022-04-27 | 2023-11-01 | Canon Kabushiki Kaisha | Imaging device, method for controlling imaging device, program and computer-readable storage medium |
-
1998
- 1998-07-21 JP JP20508598A patent/JP3976898B2/ja not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7457465B2 (en) | 2003-04-18 | 2008-11-25 | Seiko Epson Corporation | Method, apparatus, and computer-readable medium for processing an image while excluding a portion of the image |
| WO2007142134A1 (ja) | 2006-06-02 | 2007-12-13 | Rohm Co., Ltd. | 画像処理回路、半導体装置、画像処理装置 |
| US8159558B2 (en) | 2006-06-02 | 2012-04-17 | Rohm Co., Ltd. | Image processing circuit, semiconductor device and image processing device |
| EP4270974A1 (en) | 2022-04-27 | 2023-11-01 | Canon Kabushiki Kaisha | Imaging device, method for controlling imaging device, program and computer-readable storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3976898B2 (ja) | 2007-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10412296B2 (en) | Camera using preview image to select exposure | |
| JP4006347B2 (ja) | 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム | |
| US6493468B1 (en) | Image processing apparatus and method | |
| US7583403B2 (en) | Image processing device | |
| US6825884B1 (en) | Imaging processing apparatus for generating a wide dynamic range image | |
| EP2426928B1 (en) | Image processing apparatus, image processing method and program | |
| US7358988B1 (en) | Image signal processor for performing image processing appropriate for an output device and method therefor | |
| JP5665436B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2003274427A (ja) | 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム | |
| JP2002101422A (ja) | 画像処理装置、画像処理方法および画像処理プログラムを記録したコンピュータ読取可能な記録媒体 | |
| KR20050042185A (ko) | 디지털 스틸 카메라 및 화상의 보정 방법 | |
| US20060114527A1 (en) | Image pickup apparatus | |
| JP2000134467A (ja) | 画像処理方法、装置および記憶媒体 | |
| JP2008017528A (ja) | 画像処理装置 | |
| JP4154128B2 (ja) | 画像処理装置、画像処理方法およびその方法を実施するためのプログラムを記録した記録媒体 | |
| JP4544308B2 (ja) | 画像処理装置、撮像装置、方法およびプログラム | |
| JP4031299B2 (ja) | カラー画像信号処理方法およびカラー画像出力装置並びに撮影装置 | |
| JP2004007202A (ja) | 画像処理装置 | |
| JP2002125130A (ja) | 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体 | |
| JP2000148978A (ja) | 撮影光源推定方法および装置、画像処理方法および装置、並びに記録媒体 | |
| JP2001054014A (ja) | 電子カメラ | |
| JP2001268345A (ja) | 画像合成装置 | |
| JPH10322592A (ja) | 電子カメラの制御方法及び装置 | |
| JP2002368982A (ja) | 画像処理装置および画像処理方法および記録媒体 | |
| JP2000036043A (ja) | 画像処理方法、装置および記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050719 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070126 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070130 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070402 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070612 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070620 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100629 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110629 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120629 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120629 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130629 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |