JP2000101859A - 画像補正方法、画像補正装置及び記録媒体 - Google Patents
画像補正方法、画像補正装置及び記録媒体Info
- Publication number
- JP2000101859A JP2000101859A JP10265330A JP26533098A JP2000101859A JP 2000101859 A JP2000101859 A JP 2000101859A JP 10265330 A JP10265330 A JP 10265330A JP 26533098 A JP26533098 A JP 26533098A JP 2000101859 A JP2000101859 A JP 2000101859A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- conversion
- value
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003702 image correction Methods 0.000 title claims description 31
- 238000000034 method Methods 0.000 title claims description 26
- 238000006243 chemical reaction Methods 0.000 claims abstract description 132
- 238000012937 correction Methods 0.000 claims abstract description 97
- 230000014509 gene expression Effects 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 description 57
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 241000023320 Luma <angiosperm> Species 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 102100024693 Death effector domain-containing protein Human genes 0.000 description 1
- 101000830359 Homo sapiens Death effector domain-containing protein Proteins 0.000 description 1
- 241000593989 Scardinius erythrophthalmus Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 201000005111 ocular hyperemia Diseases 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6027—Correction or control of colour gradation or colour contrast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Processing Of Color Television Signals (AREA)
- Color Image Communication Systems (AREA)
Abstract
度補正を行う。 【解決手段】 各画素毎にR,G,B 各成分色(各チャンネ
ル)の値が所定の変換特性に従ってコード化された画像
データ(R,G,B) に対して色補正及び濃度補正を行うにあ
たり、画像データをサンプリングして補正値を演算(10
0,102) した後に、画像データを被写体反射率データ(r,
g,b) へ変換(各画素毎に光強度との関係が線形な値へ
変換)し(104) 、更に三刺激値データ(X,Y,Z) に変換し
た後に色補正及び濃度補正を行う(108) 。補正後の三刺
激値データ(X',Y',Z')を被写体反射率データ(r',g',b')
へ変換し(110) 、画像データ(R',G',B')へ変換する(11
2) 。これにより、画像の階調が変化することなく色及
び濃度が補正された画像データが得られる。
Description
補正装置及び記録媒体に係り、特に、画像の色及び濃度
の少なくとも一方を補正する画像補正方法、該画像補正
方法を適用可能な画像補正装置、及び前記画像補正方法
をコンピュータで実行させるためのプログラムが記録さ
れた記録媒体に関する。
ルカメラによる撮影によって得られた画像データに対し
ては、白バランス調整等の色補正や画像全体の濃度を適
正化する濃度補正を行う必要がある。画像の色補正及び
濃度補正は、一般に、複数チャンネル(例えばR、G、
B)毎に画像データをサンプリングし、サンプリングに
よって得られた各チャンネルのデータに基づいて、各チ
ャンネル毎に平均値を演算し、演算した平均値に基づい
て、例えば色補正については色度に関する平均値が中性
色(グレイ)になるように、濃度補正については輝度に
関する平均値が中間値(反射濃度であれば「0.7
5」、各画素の濃度を8ビットで表す画像データであれ
ば「118」等の数値が用いられる)になるように色補
正及び濃度補正の補正値を求め、該補正値に基づいて画
像データを変換している。
データの変換は、下記の変換式に従って行われることが
多い。
は補正前の画像データ(画像の各画素のR、G、Bの値
を表す)、(R’,G’,B’)は補正後の画像デー
タ、(kr ,kg ,kb )は各チャンネルの変換係数
(色補正及び濃度補正の補正値に相当)を表す。(1)
式はゲインを、(2)式はオフセットを調整する変換式
であり、(1)式及び(2)式の何れか一方を用いる
か、或いは2つの式を組み合わせて用いる(アフィン変
換という)ことで、色補正及び濃度補正に相当する画像
データの変換を行うことができる。
ルスチルカメラによる撮影によって情報記憶媒体に記憶
される画像データの各画素毎の値は、ディスプレイに適
正に表示されるようにディスプレイの特性に応じて定め
られた変換特性(例として図1(A)〜(C)参照)に
従って変換(コード化)されたデジタルコード値であ
る。このため、画像データの各画素毎のデジタルコード
値と、被写体反射率或いは被写体反射率から求まる三刺
激値等のように光強度にリニアな値と、の関係は、図1
からも明らかなように線形ではない。
体反射率から求まる三刺激値をとり、縦軸にデジタルコ
ード値(8ビット)をとったときの、被写体反射率−デ
ジタルコード値の変換特性の一例(実線)、及び被写体
反射率から求まる三刺激値−デジタルコード値の変換特
性の一例(破線)を、(A)は横軸及び縦軸が実数のグ
ラフ、(B)は横軸が対数、縦軸が実数の片対数グラ
フ、(C)は横軸及び縦軸が対数の両対数グラフ上で各
々示したものである。なお、図1に示した各変換特性
は、何れもディスプレイの特性を考慮して定められてい
る。
例えば(1)式を用いた補正を行うと(これは図1
(C)に示す両対数グラフの縦軸に沿って画像データを
シフトさせることに相当する)、画像を明るくする補正
を行った場合には、被写体反射率や被写体反射率から求
まる三刺激値から見て画像が硬調になり(コントラスト
が拡大され)、画像を暗くする補正を行った場合には、
被写体反射率や被写体反射率から求まる三刺激値から見
て画像が軟調になる(コントラストが圧縮される)。
えば(2)式を用いた補正を行ったとすると(これは図
1(B)に示す片対数グラフの縦軸に沿って画像データ
をシフトさせることに相当する)、画像を明るくする補
正を行った場合には被写体反射率や被写体反射率から求
まる三刺激値から見て画像が軟調になり、画像を暗くす
る補正を行った場合には被写体反射率や被写体反射率か
ら求まる三刺激値から見て画像が硬調になる。このよう
に、色補正及び濃度補正を行うと、これに伴って画像の
階調が変化してしまうという問題があった。
よって得られた画像データに限られるものではなく、例
えば写真フィルムに記録されている画像を読み取ること
によって得られた画像データの各画素毎の値について
も、写真フィルムの露光量−発色濃度特性及び読取セン
サの受光量−出力信号特性が非線形であることから、光
強度との関係が線形ではなく、上記と同様に、色補正や
濃度補正に伴って階調が変化するという問題がある。
で、画像の階調を変化させることなく色補正や濃度補正
を行うことができる画像補正方法、画像補正装置及び記
録媒体を得ることが目的である。
に請求項1記載の発明に係る画像補正方法は、補正対象
画像を表す画像データの各画素毎のデジタルコード値
を、光強度或いは光強度の対数値との関係が線形な値に
各々変換する第1の変換を行い、前記第1の変換を経た
画像データに対し、該画像データが表す前記補正対象画
像の色及び濃度の少なくとも一方が補正されるように第
2の変換を行い、前記第2の変換を経た画像データに対
し、各画素毎の値を前記デジタルコード値に各々戻す第
3の変換を行う。
表す画像データの各画素毎のデジタルコード値を、光強
度或いは光強度の対数値との関係が線形な値に各々変換
する第1の変換を行う。なお、光強度との関係が線形な
値としては、例えば被写体反射率、或いは被写体反射率
値から求めたXYZ表色系における三刺激値(以下、単
に「三刺激値」という)を用いることができる。また、
第1の変換における変換特性は、デジタルコード値と光
強度(或いは光強度の対数値)との関係に応じて定める
ことができる。そして、第1の変換を経た画像データに
対し、画像データが表す補正対象画像の色及び濃度の少
なくとも一方が補正されるように第2の変換を行う。
を、第1の変換により、光強度との関係が線形な値に各
々変換した場合、変換後の画像データの各画素毎の値
は、光強度との関係が線形な値になっているので、第2
の変換によって色及び濃度の少なくとも一方を補正して
も階調が変化することはない。また、真数値に対する乗
除演算は対数値に対する加減演算と等価である。各画素
毎の値が、光強度との関係が線形な値に変換された画像
データに対する第2の変換(色及び濃度の少なくとも一
方の補正)は、画像データに対する乗除演算によって実
現できる((1)式参照)ので、画像データの各画素毎の
デジタルコード値を、第1の変換により、光強度の対数
値との関係が線形な値に各々変換した場合も、第2の変
換によって色及び濃度の少なくとも一方を加減演算によ
り補正することで階調が変化することを回避することが
できる。
し、各画素毎の値をデジタルコード値に各々戻す第3の
変換を行う(第3の変換における変換特性についても、
デジタルコード値と光強度或いは光強度の対数値との関
係に応じて定めることができる)ので、画像の階調が変
化することなく、色及び濃度の少なくとも一方のみが補
正された画像データを得ることができる。従って、請求
項1の発明によれば、画像の階調を変化させることなく
色補正や濃度補正を行うことができる。
補正対象画像の各画素の各成分色毎の光強度値又は光強
度に関連する値(例えば光反射率、濃度、輝度等)を、
所定の変換条件(例えば各画素毎のデジタルコード値と
光強度との関係が非線形となる変換条件:例えば下記の
関係式によって規定される変換条件)に従ってデジタル
コード値A,B,Cに変換することで得られるデータで
ある場合、請求項2に記載したように、光強度との関係
が線形な値をA’,B’,C’とすると、第1の変換及
び第3の変換の少なくとも一方を、デジタルコード値
A,B,Cが所定値f以下であれば、 A=e(a・A') B=e(a・B') C=e(a
・C') デジタルコード値A,B,Cが所定値fよりも大きけれ
ば A=e( b・A’c −d) B=e( b・B’c −d)
C=e( b・C’c−d) なる関係式(但し、a,b,c,d,e,fは定数)に
従って行うことができる。
d,e,fとしては任意の値を用いることができるが、
図1に示した2つの変換特性は、何れも上記の関係式の
各定数に所定の数値を代入した式によって定義される。
従って、請求項2の発明によれば、上記の関係式の各定
数を適宜定めることにより、補正対象画像を表す画像デ
ータが、上記関係式によって定義される変換特性に従っ
てデジタルコード値が定められた画像データである場合
に、デジタルコード値から光強度との関係が線形な値へ
の変換(第1の変換)及び逆変換(第3の変換)の少な
くとも一方を精度良く行うことができる。
は、補正対象画像を表す画像データの各画素毎のデジタ
ル信号値を、光強度或いは光強度の対数値との関係が線
形な値に各々変換する第1の変換を行う第1の変換手段
と、前記第1の変換を経た画像データに対し、該画像デ
ータが表す前記補正対象画像の色及び濃度の少なくとも
一方が補正されるように第2の変換を行う第2の変換手
段と、前記第2の変換を経た画像データに対し、各画素
毎の値を前記デジタル信号値に各々戻す第3の変換を行
う第3の変換手段と、を含んで構成されている。
が、補正対象画像を表す画像データの各画素毎のデジタ
ル信号値を、光強度或いは光強度の対数値との関係が線
形な値に各々変換し、第2の変換手段は、第1の変換を
経た画像データに対し、該画像データが表す補正対象画
像の色及び濃度の少なくとも一方が補正されるように第
2の変換を行い、第3の変換手段は、第2の変換を経た
画像データに対し、各画素毎の値をデジタル信号値に各
々戻す第3の変換を行うので、請求項1の発明と同様
に、画像の階調を変化させることなく色補正や濃度補正
を行うことができる。
正対象画像を表す画像データの各画素毎のデジタル信号
値を、光強度或いは光強度の対数値との関係が線形な値
に各々変換する第1の変換を行う第1のステップ、前記
第1の変換を経た画像データに対し、該画像データが表
す前記補正対象画像の色及び濃度の少なくとも一方が補
正されるように第2の変換を行う第2のステップ、前記
第2の変換を経た画像データに対し、各画素毎の値を前
記デジタル信号値に各々戻す第3の変換を行う第3のス
テップを含む処理をコンピュータに実行させるためのプ
ログラムが記録されている。
上記の第1のステップ乃至第3のステップを含む処理、
すなわち請求項1の発明に係る画像補正方法に係る処理
をコンピュータに実行させるためのプログラムが記録さ
れているので、コンピュータが前記記録媒体に記録され
ているプログラムを読み出して実行することにより、請
求項1の発明と同様に、画像の階調を変化させることな
く色補正や濃度補正を行うことができる。
施形態の一例を詳細に説明する。図2には、本実施形態
に係る画像処理システム10が示されている。画像処理
システム10は、写真フィルム(例えばネガフィルムや
リバーサルフィルム)等の写真感光材料(以下単に写真
フィルムと称する)に記録されているフィルム画像(被
写体を撮影後、現像処理されることで可視化されたネガ
画像又はポジ画像)を読み取って印画紙に記録すること
を高速で処理可能に構成されたデジタルラボシステム1
2に、画像データ交換機14及びインタフェース(I/
F)回路16を介して入力装置群18及び出力装置群2
0が接続されて構成されている。
に画像データを入力する各種の入力装置で構成されてい
る。入力装置群18を構成する入力装置としては、例え
ばフロッピーディスク(FD)等の磁気ディスクやCD
−R等の光ディスク、光磁気ディスク(MO)、デジタ
ルスチルカメラ(DSC:以下、単に「デジタルカメ
ラ」と称する)に装填可能なPCカードやICカード
(以下、これらを「デジタルカメラカード」と総称す
る)等の各情報記憶媒体の何れかがセットされ、セット
された情報記憶媒体に記憶されている画像データを読み
出して入力する情報記憶媒体読出装置22(図3参照)
や、通信回線を介して接続された他の情報処理機器から
送信された画像データを受信して入力する通信制御装置
(図示省略)等を適用することができる。
14から転送された出力用画像データに基づいて画像出
力処理を行う各種の出力装置で構成されている。出力装
置群20を構成する出力装置としては、例えば画像出力
処理として情報記憶媒体(例えばCD−R)への画像デ
ータの書き込みを行う情報記憶媒体書込装置(例とし
て、情報記憶媒体としてのCD−Rへの画像データの書
き込みを行うCD−R書込装置24を図3に示す)、画
像出力処理としてディスプレイ等の表示手段への画像の
表示を行う画像表示装置、画像出力処理として通信回線
を介して接続された他の情報処理機器への画像データの
送信を行う通信制御装置等を適用することができる。
力装置から入力される画像データのファイル構造は一定
ではなく、互いに異なっていることが多い。このためI
/F回路16は、入力装置から画像データが入力される
と、入力された画像データのファイル構造を判断し、所
定のファイル構造に変換して画像データ交換機14に入
力する。また出力装置は、外部から転送される画像デー
タのファイル構造を予め規定しているが、このファイル
構造も出力装置群20を構成する各出力装置毎に異なっ
ていることが多い。このためI/F回路16は、画像デ
ータ交換機14から出力装置へ画像データが転送される
場合には、転送される画像データのファイル構造を転送
先の出力装置に対応するファイル構造に変換する。
0、画像処理装置32及びプリンタ34が直列に接続さ
れて構成されている。スキャナ30はエリアCCDセン
サ等の読取センサを備えており、該読取センサにより写
真フィルムに記録されているフィルム画像の読み取りを
行う。フィルム画像の読み取りによって得られた画像デ
ータは画像処理装置32へ出力され、プリンタ34によ
る画像出力処理(印画紙への画像の記録)に用いられる
が、プリンタ34以外の出力装置による画像出力処理に
用いることも指示された画像データについては画像交換
機14へも出力される。
タに対し、印画紙に適正な画質で画像を露光記録するた
めの画像処理として、画素密度変換、色変換、画像の超
低周波輝度成分の階調を圧縮するハイパートーン処理、
粒状を抑制しながらシャープネスを強調するハイパーシ
ャープネス処理、特殊画像処理(例えばLF(レンズ付
きフィルム)によって撮影記録されたフィルム画像に対
するLFのレンズの収差に起因する画質劣化の補正や赤
目の補正等)等の各種の画像処理を行う各種の画像処理
回路(図示省略)を備えている。画像処理装置32は各
画像処理回路で行われる画像処理の処理条件を演算す
る。各画像処理回路は、画像データに対し、演算された
処理条件に従って各種の画像処理を行い、画像処理後の
画像データは記録用画像データとしてプリンタ34へ出
力される。
と、該レーザ光源の作動を制御するレーザドライバを備
えており(図示省略)、レーザ光源から射出されるR,
G,Bのレーザ光を、入力された記録用画像データによ
って変調し、変調したレーザ光を印画紙上で走査させ
る。これにより、印画紙に画像が露光記録される。画像
が露光記録された印画紙は、図示しないプロセッサ部へ
送られて発色現像、漂白定着、水洗、乾燥の各処理が施
され、印画紙に露光記録された画像が可視化される。な
お、画像データ交換機14からプリンタ34に転送され
た画像データについても、上記と同様にレーザ光の変
調、すなわち印画紙への画像の露光記録に用いられる。
に、CPU78、ROM42、RAM44、入出力ポー
ト46A、46Bがバス48を介して互いに接続された
構成を含んだパーソナルコンピュータやワークステーシ
ョン等の情報処理装置と、大容量の情報記憶媒体(ハー
ドディスク)を内蔵しバス48に接続されたハードディ
スク装置50と、装填されたCD−ROM52からプロ
グラム等を読み出すCD−ROMドライバ54と、を備
えている。入出力ポート46Aにはデジタルラボシステ
ム12のスキャナ30及びプリンタ34が接続されてお
り、入出力ポート46BにはI/F回路16を介して入
力装置群18及び出力装置群20が接続されている。
入力装置群18の各入力装置から入力された画像データ
をハードディスク装置50の内蔵ハードディスクに一時
記憶させる。従って、ハードディスク装置50の内蔵ハ
ードディスクは、画像データ交換機14に入力された画
像データを蓄積記憶するスプール60(図3参照)とし
て機能する。また、画像データ交換機14は、入力され
た画像データに対し、スプール60に一時記憶する前に
画像データの属性等を表すプロパティ情報を付加した後
にスプール60に一時記憶させる。
ドディスクには、画像データに対して各種の画像処理を
行うための各種の画像処理プログラムが記憶されてお
り、画像データ交換機14のCPU40は、必要に応じ
て所定のタイミング(スプール60に画像データを一時
記憶する前、及びスプール60に一時記憶した画像デー
タを読み出した後の少なくとも一方のタイミング)でこ
れらのプログラムを選択的に実行し、画像データに対し
て各種の画像処理を行う。このように、画像データ交換
機14は各種の画像処理を行う画像処理エンジン62
(図3参照)としての機能も備えている。
処理として、図3にも示すように、画素密度(画素数)
の異なる画像データに変換する「画素密度変換」、異な
る色空間の画像データに変換する「色空間変換」、「デ
ータ圧縮(又は解凍)」、FlashPixと称する所定のフォ
ーマット(互いに異なる複数種の解像度(画素密度)の
画像データを含み、かつ各解像度の画像データが各々複
数個の小領域(タイルと称する)に分割されたフォーマ
ット)の画像データへの変換(又は逆変換)を行う「Fl
ashPixフォーマット化」、デジタルカメラによる撮像に
よって得られた画像データ用の画質向上処理である「D
SC set up 」、画像の鮮鋭度を向上させる「シャープ
ネス補正」、画像データの不正複製等を防止するために
所定の電子透かしデータを埋め込む「電子透かし」、複
数種の画像データを合成して単一の画像の画像データ
(例えば年賀状等を作成するための画像データ)を生成
する「Composite 」等の各種の画像処理が用意されてい
る。
p 」は、本発明に係る画像補正方法が適用された画像補
正処理(詳細は後述)と、画像の色彩を鮮やかにするた
めの色変換処理と、から構成されている。画像補正処理
を画像データ交換機14のCPU40で実行させるため
の画像補正プログラムは、その他の画像処理をCPU4
0で実行させるためのプログラムと共に、当初は、CD
−ROM52に記憶されている。CD−ROM52がC
D−ROMドライバ54に装填され、CD−ROM52
から画像データ交換機14へのプログラムの移入(イン
ストール)が指示されると、CD−ROMドライバ54
によってCD−ROM52から画像補正プログラムやそ
の他のプログラムが読み出され、ハードディスク装置5
0の内蔵ハードディスクに記憶される。
ングが到来すると、ハードディスク装置50の内蔵ハー
ドディスクから画像補正プログラムが読み出されてRA
M44に記憶され(画像データ交換機14の電源投入時
に各画像処理のプログラムを読み出してRAM44に記
憶しておくようにしてもよい)、画像補正プログラムが
画像データ交換機14のCPU40によって実行され
る。これにより、画像データ交換機14は本発明に係る
画像補正装置として機能する。なお、他の画像処理のプ
ログラムについても上記と同様にして読み出されて実行
される。
の画像処理のプログラムを記憶しているCD−ROM5
2及びハードディスク装置50の内蔵ハードディスクは
本発明の記録媒体に対応している。
交換機14に情報記憶媒体読出装置22(及びCD−R
書込装置24)が接続されている態様(図3参照)を例
に、情報記憶媒体読出装置22からデジタルラボシステ
ム12のプリンタ34への画像データの転送について説
明する。
しているパーソナルコンピュータ等の情報処理装置で加
工された画像データを記憶したFDやMOが持ち込まれ
てプリントの作成が依頼されたり、デジタルカメラによ
る撮像によって得られた画像データを記憶したデジタル
カメラカードが持ち込まれてプリントの作成が依頼され
たり、或いはスキャナ30から画像データ交換機14、
CD−R書込装置24を経て転送された画像データが書
き込まれたCD−Rが持ち込まれてプリントの作成(焼
き増し)が依頼されることがある。
憶媒体が対応する情報記憶媒体読出装置22(FDドラ
イブ、CDドライブ、MOドライブ、カードリーダ等の
何れか)にセットされ、情報記憶媒体がセットされた情
報記憶媒体読出装置22は、セットされた情報記憶媒体
から処理対象の画像データを読み出した後に、読み出し
た画像データを、処理対象の画像データの各種の属性を
表す属性情報、及び画像データの出力先がプリンタ34
であることを表す情報と共に画像データ交換機14へ転
送する。
画像データは、I/F回路16で所定のファイル構造に
変換された後に画像データ交換機14に入力される。画
像データ交換機14の画像処理エンジン62は、画像デ
ータの入力元が情報記憶媒体読出装置22であり、画像
データと共に入力された画像データの出力先を表す情報
から、入力された処理対象の画像データがプリンタ34
へ出力すべき画像データであることを認識すると、処理
対象の画像データがスプール60に記憶される前に、入
力元(情報記憶媒体読出装置22の種類)に依存する処
理対象の画像データの属性と出力先(プリンタ34)と
に応じた最適な画像処理を行う。
2がデジタルカメラカードからの画像データの読み出し
を行う装置(カードリーダ)である場合には、画像処理
エンジン92は、入力された画像データはデジタルカメ
ラによる撮像によって生成されてデジタルカメラカード
に記憶(この場合、データ圧縮されて記憶される)され
た画像データであると判断し、圧縮された画像データの
解凍、印画紙への画像の記録に適した解像度(画素密
度)の画像データへの変換、画像補正処理を含む「DS
C set up 」、画像の鮮鋭度を向上させる「シャープネ
ス補正」等の画像処理を行う。
カメラカードから読み出された画像データである場合
に、画像処理エンジン62(画像データ交換機14のC
PU40)が画像補正プログラムを実行することによっ
て実施される画像補正処理について説明する。
にR,G,B各成分色(各チャンネル)の値が所定の変
換特性に従ってコード化された画像データ(R,G,
B)である場合の画像補正処理について、図4のフロー
チャートを参照して説明する。デジタルカメラによる撮
影によってデジタルカメラカードに記憶される画像デー
タは、一般に、国際無線通信諮問委員会709勧告に従
い、被写体反射率X(0〜1の値をとる)を、以下の
(3)式に示す関数F(X)により8ビットのデジタル
コード値(0〜255の値をとる)に割り付けられてい
る(整数化されてコード化されている)。
る。(3)式は、請求項2に記載の各定数a,b,c,
d,e,fの値が、a=4.50、b=-1.099、c=0.45、
d=0.099 、e=255 、f=0.018 とされたものであ
り、図1に実線で示した変換特性を表している。なお、
定数eの値「255 」は8ビットのデジタルコード値に割
り付けるための値であり、画像データのビット深度(1
画素当りのビット数)に応じて設定される。(3)式か
らも明らかなように、デジタルカメラからの画像データ
の各画素毎のデジタルコード値と光強度との関係は非線
形であり、デジタルカメラからの画像データに対して直
接色補正及び濃度補正を行ったとすると、該補正に伴っ
て画像の階調が変化する。
濃度補正に先立ち、画像データ(R,G,B)を、被写
体反射率を表す被写体反射率データ(r,g,b)へ変
換する。この変換は、関数Fの逆変換(関数F-1による
変換)を行うことで実現することができる(次式参
照)。
ャンネル毎の値(デジタルコード値)は、光強度との関
係が線形な被写体反射率値に各々変換される。このステ
ップ100は次のステップ102と共に本発明の第1の
変換(請求項3に記載の第1の変換手段)に対応してお
り、特にステップ100は請求項2に記載の第1の変換
に対応している。
めた被写体反射率データ(r,g,b)を、更に三刺激
値データ(X,Y,Z)に変換する。被写体反射率デー
タから三刺激値データへの変換は、例えば次の(4)式
に示すようなマトリクス演算によって実現できる。
データ(X,Y,Z)のうちのチャンネルYの平均値
[Y]を演算する。そして次のステップ106では、ス
テップ102で求めた三刺激値データ(X,Y,Z)に
対し、ステップ104で求めたチャンネルYの平均値
[Y]に基づいて濃度補正を行う。この濃度補正は、例
えば次の(5)式に基づいて行うことができる。
なデータ(値)であるので、(5)式に従って濃度補正
を行っても画像の階調が変化することはない。なお
(5)式による補正に代えて、(1)式のようなゲイン
のみの調整や(2)式のようなオフセットのみの調整を
行うようにしてもよい。このステップ108は本発明の
第2の変換(請求項3に記載の第2の変換手段)に対応
している。
補正を経た三刺激値データ(X’,Y’,Z’)を被写
体反射率データ(r’,g’,b’)へ変換する。この
変換も、例えば次の(6)式に示すようなマトリクス演
算によって実現できる。
(r’,g’,b’)を画像データ(R’,G’,
B’)に変換する。この変換は(3)式として示した関
数Fを用いることで行うことができる(次式参照)。
B’←F(b’) これにより、画像の階調が変化することなく色補正及び
濃度補正が施された画像データ(R’,G’,B’)を
得ることができる。このステップ108、110は本発
明の第3の変換(請求項3に記載の第3の変換手段)に
対応しており、特にステップ110は請求項2に記載の
第3の変換に対応している。上述した色補正・濃度補正
処理における画像データに対する各種の変換を纏めると
次のようになる。
差Cr,Cb の各チャンネルの値が所定の変換特性に従っ
てコード化された画像データ(Y,Cr,Cb)である場合
には、図5に示す画像補正処理が行われる。すなわち、
ステップ120では、画像データ(Y,Cr,Cb)を画像
データ(R,G,B)に変換する。この変換は、まず次
の(7)式に示す関係式に従って、各画素毎に、輝度デ
ータY、色差データCr,Cb からデータLuma,Chroma1,C
hroma2を求める。
a,Chroma1,Chroma2からデータR,G,Bを求める。こ
れにより、画像データ(R,G,B)を得ることができ
る。なお、この変換はアフィン変換の一種である。
と同様に、画像データ(R,G,B)を被写体反射率デ
ータ(r,g,b)へ変換する。これにより、画像デー
タ(Y,Cr,Cb)の各画素の各チャンネル毎の値(デジ
タルコード値)は、光強度との関係が線形な被写体反射
率値に各々変換される。ステップ122は本発明の第1
の変換(請求項3に記載の第1の変換手段)に対応して
おり、より詳しくは請求項2に記載の第1の変換に対応
している。
濃度補正値として、被写体反射率データ(r,g,b)
の各チャンネル毎の平均値[r][g][b]を演算す
る。そして次のステップ126では、ステップ122で
求めた被写体反射率データ(r,g,b)に対し、ステ
ップ124で求めた各チャンネル毎の平均値[r]
[g][b]に基づいて色補正及び濃度補正を行う。こ
の色補正及び濃度補正は、例えば次の(9)式(所謂ア
フィン変換)に基づいて行うことができる。
(X,Y,Z)と同様に光強度との関係が線形なデータ
(値)であるので、(9)式に従って色補正及び濃度補
正を行っても画像の階調が変化することはない。なお、
(9)式による補正に代えて、(1)式のようなゲイン
のみの調整や(2)式のようなオフセットのみの調整を
行うようにしてもよい。このステップ126は本発明の
第2の変換(請求項3に記載の第2の変換手段)に対応
している。
と同様に、被写体反射率データ(r,g,b)を三刺激
値データ(X,Y,Z)に変換した後に、三刺激値デー
タに対して濃度補正を行うようにしてもよい。また、図
4に示した画像補正処理において、上記と同様に被写体
反射率データに対して色補正や濃度補正を行うようにし
てもよい。
プ112と同様にして、色補正及び濃度補正を経た被写
体反射率データ(r’,g’,b’)を画像データ
(R’,G’,B’)に変換する。そしてステップ13
0において、画像データ(R’,G’,B’)を画像デ
ータ(Y’,Cr', Cb')へ変換する。この変換は、ま
ず次の(10)式により、各画素毎に、データR’,
G’,B’からデータLuma,Chroma1,Chroma2を求める。
式に従って、各画素毎に輝度データY’、色差データC
r', Cb'を求める。これにより、画像の階調が変化する
ことなく色補正及び濃度補正が施された画像データ
(Y’,Cr', Cb')を得ることができる。このステッ
プ128、130は本発明の第3の変換(請求項3に記
載の第3の変換手段)に対応しており、特にステップ1
28は請求項2に記載の第3の変換に対応している。上
述した画像補正処理における画像データに対する各種の
変換を纏めると次のようになる。
2に記載の各定数a,b,c,d,e, fの値が、a=
4.50、b=1.099 、c=0.45、d=0.099 、e=255 、
f=0.018 とされた(3)式を用いていたが、これに限
定されるものではなく、例えば各定数a,b,c,d,
e, fの値が、a=12.92 、b=1.055、c=1/2.40、
d=0.055 、e=255 、f=0.0034(但し、定数eの値
は画像データのビット深度に応じて適宜変更設定可能)
とされた下記の(11)式を用いてもよい。
いる。また、各定数の値は(3)式及び(11)式に限定
されるものでもなく、任意に設定することができる。
て、CD−ROM52及びハードディスク装置50の内
蔵ハードディスクを例に説明したが、本発明はこれに限
定されるものではなく、例えばフロッピーディスク等の
磁気ディスク、CD−R等の光ディスク、MO等の光磁
気ディスク、メモリカード、ICカード等の各種の情報
記憶媒体を、本発明に係る記録媒体として適用可能であ
ることは言うまでもない。
PU40が画像補正プログラムを実行することによって
画像補正処理を行うようにしていたが、これに限定され
るものではなく、画像補正処理を行う専用のハードウェ
ア(画像処理回路)を設け、該画像処理回路で画像補正
処理を行うようにしてもよい。
動的に演算する場合を説明したが、これに限定されるも
のではなく、例えばディスプレイ等の表示手段に画像を
表示している状態で、オペレータが表示画像を検定する
ことによって決定された色補正値や濃度補正値に基づい
て色補正や濃度補正を行うようにしてもよい。
によって生成された画像データを処理対象としていた
が、これに限定されるものではなく、例えば写真フィル
ムに記録されているフィルム画像を読み取ることによっ
て得られた画像データ等のように、各画素毎のデジタル
コード値と光強度或いは光強度の対数値との関係が非線
形な各種の画像データに対する色補正や濃度補正に本発
明を適用可能である。この場合も、第1の変換及び第3
の変換における変換特性を、デジタルコード値と光強度
との関係に応じて定めればよい。
3記載の発明は、補正対象画像を表す画像データの各画
素毎のデジタル信号値を、光強度或いは光強度の対数値
との関係が線形な値に各々変換する第1の変換を行い、
第1の変換を経た画像データに対し、補正対象画像の色
及び濃度の少なくとも一方が補正されるように第2の変
換を行い、第2の変換を経た画像データに対し、各画素
毎の値をデジタル信号値に各々戻す第3の変換を行うの
で、画像の階調を変化させることなく色補正や濃度補正
を行うことができる、という優れた効果を有する。
おいて、デジタルコード値をA,B,C、光強度との関
係が線形な値をA’,B’,C’とすると、第1の変換
及び第3の変換の少なくとも一方を、デジタルコード値
A,B,Cが所定値f以下であれば、 A=e(a・A') B=e(a・B') C=e(a
・C') デジタルコード値A,B,Cが所定値fよりも大きけれ
ば A=e( b・A’c −d) B=e( b・B’c −d)
C=e( b・C’c−d) なる関係式に従って行うようにしたので、上記効果に加
え、補正対象画像を表す画像データが、上記関係式によ
って定義される変換特性に従ってデジタルコード値が定
められた画像データである場合に、第1の変換及び第3
の変換の少なくとも一方を精度良く行うことができる、
という効果を有する。
す画像データの各画素毎のデジタル信号値を、光強度或
いは光強度の対数値との関係が線形な値に各々変換する
第1の変換を行う第1のステップ、第1の変換を経た画
像データに対し、補正対象画像の色及び濃度の少なくと
も一方が補正されるように第2の変換を行う第2のステ
ップ、第2の変換を経た画像データに対し、各画素毎の
値をデジタル信号値に各々戻す第3の変換を行う第3の
ステップを含む処理をコンピュータに実行させるための
プログラムを記録媒体に記録したので、画像の階調を変
化させることなく色補正や濃度補正を行うことができ
る、という優れた効果を有する。
デジタルコード値(8ビット)をとったときの、被写体
反射率−デジタルコード値の変換特性の一例、及び被写
体反射率から求まる三刺激値−デジタルコード値の変換
特性の一例を、(A)は横軸及び縦軸が実数のグラフ、
(B)は横軸が対数、縦軸が実数の片対数グラフ、
(C)は横軸及び縦軸が対数の両対数グラフ上で各々示
す線図である。
を示すブロック図である。
して情報記憶媒体読出装置が、出力装置としてCD−R
書込装置が接続されている場合の画像データに対する処
理の流れを示す概念図である。
理の内容を示すフローチャートである。
理の内容を示すフローチャートである。
Claims (4)
- 【請求項1】 補正対象画像を表す画像データの各画素
毎のデジタルコード値を、光強度或いは光強度の対数値
との関係が線形な値に各々変換する第1の変換を行い、 前記第1の変換を経た画像データに対し、該画像データ
が表す前記補正対象画像の色及び濃度の少なくとも一方
が補正されるように第2の変換を行い、 前記第2の変換を経た画像データに対し、各画素毎の値
を前記デジタルコード値に各々戻す第3の変換を行う画
像補正方法。 - 【請求項2】 前記画像データは、前記補正対象画像の
各画素の各成分色毎の光強度値又は光強度に関連する値
を、所定の変換条件に従ってデジタルコード値A,B,
Cに変換することで得られるデータであり、 光強度との関係が線形な値をA’,B’,C’としたと
きに、前記第1の変換及び前記第3の変換の少なくとも
一方を、デジタルコード値A,B,Cが所定値f以下で
あれば、 A=e(a・A') B=e(a・B') C=e(a
・C') デジタルコード値A,B,Cが所定値fよりも大きけれ
ば A=e( b・A’c −d) B=e( b・B’c −d)
C=e( b・C’c−d) なる関係式(但し、a,b,c,d,e,fは定数)に
従って行うことを特徴とする請求項1記載の画像補正方
法。 - 【請求項3】 補正対象画像を表す画像データの各画素
毎のデジタル信号値を、光強度或いは光強度の対数値と
の関係が線形な値に各々変換する第1の変換を行う第1
の変換手段と、 前記第1の変換を経た画像データに対し、該画像データ
が表す前記補正対象画像の色及び濃度の少なくとも一方
が補正されるように第2の変換を行う第2の変換手段
と、 前記第2の変換を経た画像データに対し、各画素毎の値
を前記デジタル信号値に各々戻す第3の変換を行う第3
の変換手段と、 を含む画像補正装置。 - 【請求項4】 補正対象画像を表す画像データの各画素
毎のデジタル信号値を、光強度或いは光強度の対数値と
の関係が線形な値に各々変換する第1の変換を行う第1
のステップ、 前記第1の変換を経た画像データに対し、該画像データ
が表す前記補正対象画像の色及び濃度の少なくとも一方
が補正されるように第2の変換を行う第2のステップ、 前記第2の変換を経た画像データに対し、各画素毎の値
を前記デジタル信号値に各々戻す第3の変換を行う第3
のステップを含む処理をコンピュータに実行させるため
のプログラムが記録された記録媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP26533098A JP3588418B2 (ja) | 1998-09-18 | 1998-09-18 | 画像補正方法、画像補正装置及び記録媒体 |
US09/339,222 US6856429B1 (en) | 1998-09-18 | 1999-06-24 | Image correction method, image correction device, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP26533098A JP3588418B2 (ja) | 1998-09-18 | 1998-09-18 | 画像補正方法、画像補正装置及び記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000101859A true JP2000101859A (ja) | 2000-04-07 |
JP3588418B2 JP3588418B2 (ja) | 2004-11-10 |
Family
ID=17415699
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP26533098A Expired - Fee Related JP3588418B2 (ja) | 1998-09-18 | 1998-09-18 | 画像補正方法、画像補正装置及び記録媒体 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6856429B1 (ja) |
JP (1) | JP3588418B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002023917A1 (fr) * | 2000-09-18 | 2002-03-21 | Sanyo Electric Co., Ltd. | Circuit de correction de tonalite et circuit de correction de teinte |
WO2013086740A1 (zh) * | 2011-12-15 | 2013-06-20 | 深圳市华星光电技术有限公司 | 色彩调整装置、色彩调整方法以及显示器 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1210685A1 (en) | 1999-09-01 | 2002-06-05 | Digimarc Corporation | Watermarking digital images with intensity specified by area |
US7433089B2 (en) * | 2001-09-27 | 2008-10-07 | Fujifilm Corporation | Image processor |
EP1411714B1 (en) * | 2002-10-17 | 2008-11-05 | Noritsu Koki Co., Ltd. | Conversion correcting method of color image data and photographic processing apparatus implementing the method |
JP4007964B2 (ja) * | 2004-01-19 | 2007-11-14 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
US7085414B2 (en) * | 2004-05-05 | 2006-08-01 | Canon Kabushiki Kaisha | Characterization of display devices by averaging chromaticity values |
JP2006279325A (ja) * | 2005-03-28 | 2006-10-12 | Fuji Xerox Co Ltd | 画像処理装置、その方法及びプログラム |
JP4687320B2 (ja) * | 2005-08-11 | 2011-05-25 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びに、プログラム |
US10948302B2 (en) * | 2015-08-03 | 2021-03-16 | Tomtom Global Content B.V. | Methods and systems for generating and using localization reference data |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE3629409C2 (de) * | 1986-08-29 | 1994-02-17 | Agfa Gevaert Ag | Verfahren und Vorrichtung zur Kontrastbewertung bei der elektronischen Bildverarbeitung |
US5608549A (en) * | 1991-06-11 | 1997-03-04 | Canon Kabushiki Kaisha | Apparatus and method for processing a color image |
JPH05336287A (ja) | 1992-05-30 | 1993-12-17 | Minolta Camera Co Ltd | 画像形成装置 |
JPH06296231A (ja) | 1993-04-09 | 1994-10-21 | Toyo Ink Mfg Co Ltd | 色彩値変換装置 |
JP3652756B2 (ja) * | 1995-11-17 | 2005-05-25 | 富士写真フイルム株式会社 | 画像処理方法及び装置 |
JP3778229B2 (ja) * | 1996-05-13 | 2006-05-24 | 富士ゼロックス株式会社 | 画像処理装置、画像処理方法、および画像処理システム |
-
1998
- 1998-09-18 JP JP26533098A patent/JP3588418B2/ja not_active Expired - Fee Related
-
1999
- 1999-06-24 US US09/339,222 patent/US6856429B1/en not_active Expired - Lifetime
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002023917A1 (fr) * | 2000-09-18 | 2002-03-21 | Sanyo Electric Co., Ltd. | Circuit de correction de tonalite et circuit de correction de teinte |
US7215366B2 (en) | 2000-09-18 | 2007-05-08 | Sanyo Electric Co., Ltd. | Tone correcting circuit and hue correcting circuit |
WO2013086740A1 (zh) * | 2011-12-15 | 2013-06-20 | 深圳市华星光电技术有限公司 | 色彩调整装置、色彩调整方法以及显示器 |
Also Published As
Publication number | Publication date |
---|---|
JP3588418B2 (ja) | 2004-11-10 |
US6856429B1 (en) | 2005-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3556859B2 (ja) | 画像補正方法、画像補正装置及び記録媒体 | |
US7076119B2 (en) | Method, apparatus, and program for image processing | |
JP2002118767A (ja) | 画像情報パラメータを用いた拡張色域デジタル画像の処理方法 | |
US6650437B1 (en) | Image processing system and image processing method | |
US6701007B1 (en) | Image processing device, image processing method, and recording medium for correcting color balance of output images | |
WO2006123492A1 (ja) | 画像処理方法、画像処理装置、撮像装置及び画像処理プログラム | |
JP2003283731A (ja) | 画像入力装置及び画像出力装置並びにこれらから構成される画像記録装置 | |
US20050259282A1 (en) | Image processing method, image processing apparatus, image recording apparatus, and image processing program | |
JP3588418B2 (ja) | 画像補正方法、画像補正装置及び記録媒体 | |
US6459500B1 (en) | Image processing apparatus | |
JPH1075374A (ja) | 画像処理方法および装置 | |
US20030112483A1 (en) | Image forming method | |
US6937362B1 (en) | Method for providing access to an extended color gamut digital image and providing payment therefor | |
US20040042025A1 (en) | Image processing method, image processing apparatus, image recording apparatus, program and recording medium | |
JP3817371B2 (ja) | 画像処理方法、装置および記録媒体 | |
JP2006203571A (ja) | 撮像装置、画像処理装置及び画像記録装置 | |
JP2000101860A (ja) | 画像補正方法、画像補正装置及び記録媒体 | |
JP2006092137A (ja) | 画像処理方法、画像処理装置、撮像装置及び画像処理プログラム | |
JP2000004361A (ja) | 画像データ補正方法及び画像処理装置 | |
WO2006033234A1 (ja) | 画像処理方法、画像処理装置、撮像装置及び画像処理プログラム | |
JP2001024887A (ja) | 類似シーンの判定方法 | |
JP3614541B2 (ja) | デジタルプリンタ及びこれの画像データ変換方法、画像記録方法 | |
JP2000013595A (ja) | 画像処理方法、装置および記録媒体 | |
JP3530640B2 (ja) | デジタル画像記録方法及び装置並びにデジタル画像処理装置 | |
JP2024047232A (ja) | 画像処理方法、及び画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040114 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040120 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040322 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040810 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040813 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070820 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070820 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080820 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080820 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090820 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090820 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100820 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110820 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110820 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120820 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120820 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130820 Year of fee payment: 9 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |