JP2001245154A - デジタル画像の改良されたコントラストマッピング方法 - Google Patents
デジタル画像の改良されたコントラストマッピング方法Info
- Publication number
- JP2001245154A JP2001245154A JP2001017157A JP2001017157A JP2001245154A JP 2001245154 A JP2001245154 A JP 2001245154A JP 2001017157 A JP2001017157 A JP 2001017157A JP 2001017157 A JP2001017157 A JP 2001017157A JP 2001245154 A JP2001245154 A JP 2001245154A
- Authority
- JP
- Japan
- Prior art keywords
- image
- dynamic range
- contrast
- original image
- ratio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000013507 mapping Methods 0.000 title abstract description 6
- 238000005259 measurement Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 125000001475 halogen functional group Chemical group 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 238000005282 brightening Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
- H04N1/4072—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
(57)【要約】
【課題】 再現に使用される媒体のダイナミックレンジ
を原画像のダイナミックレンジとより密接に整合するよ
うに、原画像のダイナミックレンジを変化させる局所コ
ントラストマッピング方法を提供する。 【解決手段】 本発明の方法は、原画像の異なる領域間
の小さなコントラスト差を維持するステップと、原画像
の異なる領域間の最大コントラスト差を制限するステッ
プとからなることを特徴とする。
を原画像のダイナミックレンジとより密接に整合するよ
うに、原画像のダイナミックレンジを変化させる局所コ
ントラストマッピング方法を提供する。 【解決手段】 本発明の方法は、原画像の異なる領域間
の小さなコントラスト差を維持するステップと、原画像
の異なる領域間の最大コントラスト差を制限するステッ
プとからなることを特徴とする。
Description
【０００１】
【発明の属する技術分野】本発明は、一般にデジタル画
像の向上に関する。より詳細には、本発明は、再現に使
用される媒体のダイナミックレンジにより密接に整合す
るように、原画像のダイナミックレンジを変更する局所
コントラストマッピング方法に関する。
像の向上に関する。より詳細には、本発明は、再現に使
用される媒体のダイナミックレンジにより密接に整合す
るように、原画像のダイナミックレンジを変更する局所
コントラストマッピング方法に関する。
【０００２】
【従来の技術】屋外の景色の写真を撮る場合、十分に日
光があたっている領域と深く陰った別の領域の輝度比、
すなわちダイナミックレンジは、1000：１を越えること
がある（図１参照）。この景色の反射プリントが作成さ
れる場合、このプリントは、通常約100：１のダイナミ
ックレンジに制限される。反射プリント（reflective p
rint）と基の景色、オリジナルシーンとの間のダイナミ
ックレンジにおける大きな不整合、ミスマッチにより、
満足のいく現物の写し、すなわち再現（reproduction）
を生成するためには、景色のダイナミックレンジを、反
射プリントで利用可能なダイナミックレンジに何らかの
マッピングすなわち変換を行う必要がある。
光があたっている領域と深く陰った別の領域の輝度比、
すなわちダイナミックレンジは、1000：１を越えること
がある（図１参照）。この景色の反射プリントが作成さ
れる場合、このプリントは、通常約100：１のダイナミ
ックレンジに制限される。反射プリント（reflective p
rint）と基の景色、オリジナルシーンとの間のダイナミ
ックレンジにおける大きな不整合、ミスマッチにより、
満足のいく現物の写し、すなわち再現（reproduction）
を生成するためには、景色のダイナミックレンジを、反
射プリントで利用可能なダイナミックレンジに何らかの
マッピングすなわち変換を行う必要がある。
【０００３】あるダイナミックレンジを別のダイナミッ
クレンジにマッピングするのに利用される通常の技法
は、トーンマップ（tone map）を利用してデジタル方式
で実施されることが多い、非線形曲線を利用するもので
ある。トーンマップは、入力レンジ（屋外の景色での10
00：１）から新しいレンジ（反射プリントの場合には10
0：１）に数を変換するルックアップテーブルである。
トーンマップは、通常大域的に適用され、特定の数値を
有する画像におけるすべての点が、同じ出力値に厳密に
マッピングされる。不都合なことに、大きなダイナミッ
クレンジを、はるかに小さなダイナミックレンジにマッ
ピングするためにトーンマップを使用すると、結果得ら
れる画像は、コントラストが減じられた感じのするもの
となることが多い。このコントラストの低減は、画像を
平坦に見せ、魅力の欠けたものとする（図２参照）。
クレンジにマッピングするのに利用される通常の技法
は、トーンマップ（tone map）を利用してデジタル方式
で実施されることが多い、非線形曲線を利用するもので
ある。トーンマップは、入力レンジ（屋外の景色での10
00：１）から新しいレンジ（反射プリントの場合には10
0：１）に数を変換するルックアップテーブルである。
トーンマップは、通常大域的に適用され、特定の数値を
有する画像におけるすべての点が、同じ出力値に厳密に
マッピングされる。不都合なことに、大きなダイナミッ
クレンジを、はるかに小さなダイナミックレンジにマッ
ピングするためにトーンマップを使用すると、結果得ら
れる画像は、コントラストが減じられた感じのするもの
となることが多い。このコントラストの低減は、画像を
平坦に見せ、魅力の欠けたものとする（図２参照）。
【０００４】写真撮影者は、焼込み（burning）及びお
おい焼きと呼ばれる暗室処理によってこの問題に対処す
る。おおい焼きは、ネガを印画紙にプリントする間に行
われる技法であり、画像の暗い領域が、総露光時間のい
くらかの部分の間、この領域にわたって影を落とすこと
により明るく、すなわち明化される。この影により、プ
リントに露光される光量が低減し、それによって画像の
その部分が明化される。影は、通常引き伸ばしレンズに
よって投じられた光を、１本のワイヤ上の厚紙片で、又
は写真撮影者の手でもよいが、遮蔽することにより生成
される。焼込みは、プリントのある領域に露光される光
量を増大することにより、追加の露光時間を印画紙に与
えるものであり、おおい焼きとは反対のプロセスであ
る。通常、暗くすなわち暗化すべき画像領域にのみ、露
光する穴を通して光が注がれるように、小さな穴の開い
たカードがプリントの上方に保持される。
おい焼きと呼ばれる暗室処理によってこの問題に対処す
る。おおい焼きは、ネガを印画紙にプリントする間に行
われる技法であり、画像の暗い領域が、総露光時間のい
くらかの部分の間、この領域にわたって影を落とすこと
により明るく、すなわち明化される。この影により、プ
リントに露光される光量が低減し、それによって画像の
その部分が明化される。影は、通常引き伸ばしレンズに
よって投じられた光を、１本のワイヤ上の厚紙片で、又
は写真撮影者の手でもよいが、遮蔽することにより生成
される。焼込みは、プリントのある領域に露光される光
量を増大することにより、追加の露光時間を印画紙に与
えるものであり、おおい焼きとは反対のプロセスであ
る。通常、暗くすなわち暗化すべき画像領域にのみ、露
光する穴を通して光が注がれるように、小さな穴の開い
たカードがプリントの上方に保持される。
【０００５】おおい焼き及び焼込みは、輝度が徐々に変
化する大きな領域には効果があるが、複雑な形状を備え
る領域にはハローを生じさせる。例えば、図１の左下の
角にある木の枝において、その木の枝の周囲又はその木
の枝の間に、ハローすなわち明るい領域を残さずに、明
化すなわちおおい焼きすることは非常に困難である。
化する大きな領域には効果があるが、複雑な形状を備え
る領域にはハローを生じさせる。例えば、図１の左下の
角にある木の枝において、その木の枝の周囲又はその木
の枝の間に、ハローすなわち明るい領域を残さずに、明
化すなわちおおい焼きすることは非常に困難である。
【０００６】景色のダイナミックレンジを低減するため
に利用される別の技法は、Polaroid社のJohn McCannに
よって開発されたレティネックス（Retinex）アルゴリ
ズムである。レティネックスは、Edward Landによって
開発された人間の視覚の網膜と大脳皮質の理論に基づい
ている。基本的なレティネックスアルゴリズムは、本明
細書に参照として援用される、米国特許第4,384,336号
「Method and Apparatusfor lightness imaging」に記
載されている。レティネックスアルゴリズムは、景色に
おいて徐々に明るさ、照度が変化する部分のその変化の
大部分を除去することによって、画像のダイナミックレ
ンジを低減する。明るさが徐々に変化する画像の場合、
オリジナルレティネックスアルゴリズムは、マッピング
された反射プリントの見かけ、外観を顕著に改善するこ
とが可能である。照度のレベルが急激に変化する、すな
わち明るさが急に変化する領域を有する、又は異なる光
源間にさらに急激な境界がある画像の場合、オリジナル
レティネックスアルゴリズムは、わずかな改善しか示さ
ないことがある。例えば、図３の画像がオリジナルレテ
ィネックスアルゴリズムによる処理を受けたことを除い
て、図１と同じ画像の再現である図３が示される。前景
の茂み及び画像の左下にある木は、いくらか明化されて
いるが、その効果はわずかである。図３の再現は全体的
に、基の景色に存在した視覚的な効果を表現していな
い。
に利用される別の技法は、Polaroid社のJohn McCannに
よって開発されたレティネックス（Retinex）アルゴリ
ズムである。レティネックスは、Edward Landによって
開発された人間の視覚の網膜と大脳皮質の理論に基づい
ている。基本的なレティネックスアルゴリズムは、本明
細書に参照として援用される、米国特許第4,384,336号
「Method and Apparatusfor lightness imaging」に記
載されている。レティネックスアルゴリズムは、景色に
おいて徐々に明るさ、照度が変化する部分のその変化の
大部分を除去することによって、画像のダイナミックレ
ンジを低減する。明るさが徐々に変化する画像の場合、
オリジナルレティネックスアルゴリズムは、マッピング
された反射プリントの見かけ、外観を顕著に改善するこ
とが可能である。照度のレベルが急激に変化する、すな
わち明るさが急に変化する領域を有する、又は異なる光
源間にさらに急激な境界がある画像の場合、オリジナル
レティネックスアルゴリズムは、わずかな改善しか示さ
ないことがある。例えば、図３の画像がオリジナルレテ
ィネックスアルゴリズムによる処理を受けたことを除い
て、図１と同じ画像の再現である図３が示される。前景
の茂み及び画像の左下にある木は、いくらか明化されて
いるが、その効果はわずかである。図３の再現は全体的
に、基の景色に存在した視覚的な効果を表現していな
い。
【０００７】
【発明の解決しようとする課題】水面で反射された雲の
輝度を顕著に変化させることなく、図１の暗い前景を劇
的に明化する方法が必要とされている。これは、反射さ
れた雲と、図１の左下にある木の枝との間の大きな輝度
比、すなわち大きなコントラストを大幅に縮小しなけれ
ばならないことを意味する。同時に、反射された雲と前
景領域の小さな局所的な輝度比を、圧縮することなく、
維持しなければならない。これは、画像を見たときに、
コントラストの見かけ、感じを保つために重要である。
したがって、画像の異なる領域間の小さなコントラスト
差を維持しつつ、画像の異なる領域間の大きなコントラ
スト差を縮小、圧縮することのできるシステムが必要と
されている。
輝度を顕著に変化させることなく、図１の暗い前景を劇
的に明化する方法が必要とされている。これは、反射さ
れた雲と、図１の左下にある木の枝との間の大きな輝度
比、すなわち大きなコントラストを大幅に縮小しなけれ
ばならないことを意味する。同時に、反射された雲と前
景領域の小さな局所的な輝度比を、圧縮することなく、
維持しなければならない。これは、画像を見たときに、
コントラストの見かけ、感じを保つために重要である。
したがって、画像の異なる領域間の小さなコントラスト
差を維持しつつ、画像の異なる領域間の大きなコントラ
スト差を縮小、圧縮することのできるシステムが必要と
されている。
【０００８】
【課題を解決するための手段】本発明は、再現に使用さ
れる媒体のダイナミックレンジをより密接に整合するよ
うに、原画像のダイナミックレンジを変化させる局所コ
ントラストマッピング方法を提供する。本方法は、画像
の異なる領域間の小さなコントラスト差を維持しなが
ら、画像の異なる領域間の大きなコントラスト差を縮小
する。
れる媒体のダイナミックレンジをより密接に整合するよ
うに、原画像のダイナミックレンジを変化させる局所コ
ントラストマッピング方法を提供する。本方法は、画像
の異なる領域間の小さなコントラスト差を維持しなが
ら、画像の異なる領域間の大きなコントラスト差を縮小
する。
【０００９】本発明の他の態様及び利点は、一例として
本発明の原理を示す添付図面と共に、以下の詳細な説明
から明白となる。
本発明の原理を示す添付図面と共に、以下の詳細な説明
から明白となる。
【００１０】本特許のファイルは、カラーで実施される
図面を少なくとも１枚含む。カラーの図面を有する本特
許の写しは、請求して必要料金を支払うことにより、特
許商標局から提供される。
図面を少なくとも１枚含む。カラーの図面を有する本特
許の写しは、請求して必要料金を支払うことにより、特
許商標局から提供される。
【００１１】
【発明の実施の形態】画像の異なる領域間の小さなコン
トラスト差を維持しながら、画像の異なる領域間の大き
なコントラスト差を縮小する方法は、大きな照度のレン
ジを備える、すなわち明暗の差が大きい画像の再現した
ものの見かけを大きく改善することが可能である。景色
の各種部分間のコントラスト差を計算することによっ
て、画像を局所的に暗化又は明化するアルゴリズムは、
小さなコントラスト差を維持し、大きなコントラスト差
を縮小することにより、顕著な改善を可能とする。この
ようなアルゴリズムの１つとして、オリジナルレティネ
ックスアルゴリズムが挙げられる。
トラスト差を維持しながら、画像の異なる領域間の大き
なコントラスト差を縮小する方法は、大きな照度のレン
ジを備える、すなわち明暗の差が大きい画像の再現した
ものの見かけを大きく改善することが可能である。景色
の各種部分間のコントラスト差を計算することによっ
て、画像を局所的に暗化又は明化するアルゴリズムは、
小さなコントラスト差を維持し、大きなコントラスト差
を縮小することにより、顕著な改善を可能とする。この
ようなアルゴリズムの１つとして、オリジナルレティネ
ックスアルゴリズムが挙げられる。
【００１２】オリジナルレティネックスアルゴリズムで
は、出力画像Ｏが、以下の関係にしたがって、入力画像
から繰り返し形成される。
は、出力画像Ｏが、以下の関係にしたがって、入力画像
から繰り返し形成される。
【００１３】 Ｏx,y＝（ClipToWhite（Ｉx,y−Ｉxs,ys＋Ｏxs,ys）＋Ｏx,y）／２…式(1) ここで、Ｉx,yは、位置ｘ，ｙにおける入力画像のセグ
メント領域を表す。Ｉxs, ysは、画像が、原画像に対し
ていくらかの距離ｄｘ及びｄｙだけ変位されて表され
た、入力画像をシフトしたものにおけるセグメント領域
を表す。画像Ｉ及びＯは双方とも、差をとることが比を
計算することと同じであるように、輝度の測定値にした
がって対数的に符号化される（すなわち対数空間にあ
る）。例えば、式(1)における（Ｉx,y−Ｉxs,ys）の項
は、入力画像の他の位置における画像の強度（すなわち
ラジアンス）に対する、該入力画像のある位置での強度
（すなわちラジアンス）の比である。対数空間におい
て、項を付加するということは、乗算と同じことであ
る。例えば、式(1)に（Ｏxs,ys）項を加えることは、入
力強度の比（Ｉx,y−Ｉxs,ys）と、変位された出力画像
の強度（Ｏxs,ys）の積をとることに等しい。ClipToWhi
te関数は、結果得られる比の積が、最大又は最小強度値
内に収まるように制限する。例えば、入力強度（すなわ
ちラジアンス）値の範囲が０と255の間である場合、Cli
pToWhite関数は、255を越える値をいずれも255に低減
し、ゼロ未満の値をいずれもゼロに増大する。結果得ら
れる比の積（Ｉx,y−Ｉxs,ys＋Ｏxs,ys）が270である場
合、ClipToWhite関数は、値を255に再設定する。オリジ
ナルレティネックスアルゴリズムにおいて、入力画像及
び出力画像は、大きな変位から始まって、相対的にシフ
トされる。通常の初期シフトは、入力画像の幅又は高さ
の約１／２である２のベキとなるであろう。画像変位
は、いくつかの回転（revolution）について循環パター
ン（circular pattern）で実施される。次に変位が半分
になり、該プロセスが、変位がゼロに達するまで、繰り
返される（米国特許第4,384,336号参照）。
メント領域を表す。Ｉxs, ysは、画像が、原画像に対し
ていくらかの距離ｄｘ及びｄｙだけ変位されて表され
た、入力画像をシフトしたものにおけるセグメント領域
を表す。画像Ｉ及びＯは双方とも、差をとることが比を
計算することと同じであるように、輝度の測定値にした
がって対数的に符号化される（すなわち対数空間にあ
る）。例えば、式(1)における（Ｉx,y−Ｉxs,ys）の項
は、入力画像の他の位置における画像の強度（すなわち
ラジアンス）に対する、該入力画像のある位置での強度
（すなわちラジアンス）の比である。対数空間におい
て、項を付加するということは、乗算と同じことであ
る。例えば、式(1)に（Ｏxs,ys）項を加えることは、入
力強度の比（Ｉx,y−Ｉxs,ys）と、変位された出力画像
の強度（Ｏxs,ys）の積をとることに等しい。ClipToWhi
te関数は、結果得られる比の積が、最大又は最小強度値
内に収まるように制限する。例えば、入力強度（すなわ
ちラジアンス）値の範囲が０と255の間である場合、Cli
pToWhite関数は、255を越える値をいずれも255に低減
し、ゼロ未満の値をいずれもゼロに増大する。結果得ら
れる比の積（Ｉx,y−Ｉxs,ys＋Ｏxs,ys）が270である場
合、ClipToWhite関数は、値を255に再設定する。オリジ
ナルレティネックスアルゴリズムにおいて、入力画像及
び出力画像は、大きな変位から始まって、相対的にシフ
トされる。通常の初期シフトは、入力画像の幅又は高さ
の約１／２である２のベキとなるであろう。画像変位
は、いくつかの回転（revolution）について循環パター
ン（circular pattern）で実施される。次に変位が半分
になり、該プロセスが、変位がゼロに達するまで、繰り
返される（米国特許第4,384,336号参照）。
【００１４】２つの異なる位置における画像の、強度
（すなわちラジアンス）の比（Ｉx,y−Ｉxs,ys）は、画
像の他の部分と比較した、画像のある部分の相対的なコ
ントラスト差（すなわちコントラスト比）の測定値であ
る。例えば、画像１の左下コーナーにある木の枝の１つ
のピクセル１個の照度は、８である。枝の背後にある水
のピクセル１個の照度は、220である。したがって枝と
水の間の照度比、すなわち強度比は、220／８＝27.5
（又は対数空間では1.44）である。空にある雲の一部分
の照度は、247である。空の別の部分の照度は、215であ
る。空のこれら２つの異なる部分間の強度比は、247／2
15＝1.15（又は対数空間では0.06）である。
（すなわちラジアンス）の比（Ｉx,y−Ｉxs,ys）は、画
像の他の部分と比較した、画像のある部分の相対的なコ
ントラスト差（すなわちコントラスト比）の測定値であ
る。例えば、画像１の左下コーナーにある木の枝の１つ
のピクセル１個の照度は、８である。枝の背後にある水
のピクセル１個の照度は、220である。したがって枝と
水の間の照度比、すなわち強度比は、220／８＝27.5
（又は対数空間では1.44）である。空にある雲の一部分
の照度は、247である。空の別の部分の照度は、215であ
る。空のこれら２つの異なる部分間の強度比は、247／2
15＝1.15（又は対数空間では0.06）である。
【００１５】本発明は、大きな強度比を縮小し、小さな
強度比を維持する。大きな比を縮小し、小さな比を維持
するために、トーンマップすなわちルックアップテーブ
ル（ＬＵＴ）が使用される。ＬＵＴは、入力画像の異な
る領域間の強度差の比を変更するために使用される（式
(2)参照）。
強度比を維持する。大きな比を縮小し、小さな比を維持
するために、トーンマップすなわちルックアップテーブ
ル（ＬＵＴ）が使用される。ＬＵＴは、入力画像の異な
る領域間の強度差の比を変更するために使用される（式
(2)参照）。
【００１６】 Ｏx,y＝（ClipToWhite（ＬＵＴ（Ｉx,y−Ｉxs,ys）＋Ｏxs,ys）＋Ｏx,y）／２ …式(2)
【００１７】ＬＵＴすなわちトーンマップは２つの部分
からなる。小さな差を維持するために、原点を通る１：
１の線の傾き（６０２）が利用される（図６参照）。大
きなコントラスト差を縮小するために、ハードリミット
（hard limit）（６０４）が利用される。ハードリミッ
トは、照度の最大比を制限するために設定され、例えば
４対１（又は対数空間において0.6：１）のハードリミ
ットを利用することができる。線の傾きが１対１であ
り、ハードリミットが４対１（対数空間において0.6）
の式(2)を使用して、画像１が、図４を生成するように
変更された。小さなコントラスト差を維持しながら、大
きなコントラスト差を縮小することによって、コントラ
ストの全体的な感じ、見かけを維持しながら、景色の全
体的なダイナミックレンジが圧縮、縮小された。これら
の結果は、画像の左下の角にある木の枝の周囲にいくら
かのハローを残すこともなく、暗室では再現することが
できない。
からなる。小さな差を維持するために、原点を通る１：
１の線の傾き（６０２）が利用される（図６参照）。大
きなコントラスト差を縮小するために、ハードリミット
（hard limit）（６０４）が利用される。ハードリミッ
トは、照度の最大比を制限するために設定され、例えば
４対１（又は対数空間において0.6：１）のハードリミ
ットを利用することができる。線の傾きが１対１であ
り、ハードリミットが４対１（対数空間において0.6）
の式(2)を使用して、画像１が、図４を生成するように
変更された。小さなコントラスト差を維持しながら、大
きなコントラスト差を縮小することによって、コントラ
ストの全体的な感じ、見かけを維持しながら、景色の全
体的なダイナミックレンジが圧縮、縮小された。これら
の結果は、画像の左下の角にある木の枝の周囲にいくら
かのハローを残すこともなく、暗室では再現することが
できない。
【００１８】トーンマップにおける原点を通過する線の
傾きによって、画像の大きなコントラスト差の縮小に強
く影響を与えずに、局所コントラストの見かけを調節す
るように、増やしたり（図７参照）減らしたり（図示せ
ず）することが可能である。例えば、原点を通過する線
の傾きが約0.85であれば、人物画像でのストロボに起因
する強烈すぎる照明を改善することができる。図５は、
傾きが1.8対１であり、ハードリミットが４対１である
式(2)を使用して作成されたものである。図５は、より
高いレベルの局所コントラストを有し、かつ大きなコン
トラスト差の縮小を維持している。
傾きによって、画像の大きなコントラスト差の縮小に強
く影響を与えずに、局所コントラストの見かけを調節す
るように、増やしたり（図７参照）減らしたり（図示せ
ず）することが可能である。例えば、原点を通過する線
の傾きが約0.85であれば、人物画像でのストロボに起因
する強烈すぎる照明を改善することができる。図５は、
傾きが1.8対１であり、ハードリミットが４対１である
式(2)を使用して作成されたものである。図５は、より
高いレベルの局所コントラストを有し、かつ大きなコン
トラスト差の縮小を維持している。
【００１９】強度比のハードリミットを調節すること
で、画像の中で最も暗い領域を明化する量を主に制御す
ることができる。リミットが高くなると（1.5の強度比
のように）、明化及び縮小の量が低減される。リミット
が低くなると（0.4の強度比のように）、明化及び縮小
の量が増大される。トーンマップにおける曲線の形状も
また変更することができる。例えば、原点を通過する線
から、ハードクリップリミット（hard clip limit）へ
の急な変化を、滑らかに変化する関数を生じるように変
更することが可能である（図８参照）。
で、画像の中で最も暗い領域を明化する量を主に制御す
ることができる。リミットが高くなると（1.5の強度比
のように）、明化及び縮小の量が低減される。リミット
が低くなると（0.4の強度比のように）、明化及び縮小
の量が増大される。トーンマップにおける曲線の形状も
また変更することができる。例えば、原点を通過する線
から、ハードクリップリミット（hard clip limit）へ
の急な変化を、滑らかに変化する関数を生じるように変
更することが可能である（図８参照）。
【００２０】入力画像及び出力画像の完全な解像度での
シフトされた入力画像から繰り返し出力画像Ｏを形成す
ることは、計算集約的なプロセスである。本明細書に参
照として援用される米国特許第4,750,211号「Method an
d Apparatus for Image Processing with Field Portio
ns」は、解像度を低減して画像を処理する方法を開示し
ている。米国特許第4,750,211号に開示される方法を本
発明と組み合わせることで、改善された出力画像の生成
に必要な計算の数を減らすことができる。
シフトされた入力画像から繰り返し出力画像Ｏを形成す
ることは、計算集約的なプロセスである。本明細書に参
照として援用される米国特許第4,750,211号「Method an
d Apparatus for Image Processing with Field Portio
ns」は、解像度を低減して画像を処理する方法を開示し
ている。米国特許第4,750,211号に開示される方法を本
発明と組み合わせることで、改善された出力画像の生成
に必要な計算の数を減らすことができる。
【００２１】本発明の上記の記述は、例示及び説明を目
的として提示されている。これは、網羅的なものではな
く、本発明を開示された厳密な形態に制限することを意
図しておらず、上記教示を鑑みて、他の変更及び変形も
可能である。実施形態は、本発明の原理及びその実際の
適用を最も良く説明するために選択され、記載されたも
のであり、これにより、当業者は、本発明を、意図する
特別な使用に適した様々な実施形態及び様々な変形で最
良に利用することが可能である。添付の特許請求の範囲
は、従来技術により制限される範囲を除き、本発明の他
の代替実施形態を含むよう解釈されるものと意図され
る。
的として提示されている。これは、網羅的なものではな
く、本発明を開示された厳密な形態に制限することを意
図しておらず、上記教示を鑑みて、他の変更及び変形も
可能である。実施形態は、本発明の原理及びその実際の
適用を最も良く説明するために選択され、記載されたも
のであり、これにより、当業者は、本発明を、意図する
特別な使用に適した様々な実施形態及び様々な変形で最
良に利用することが可能である。添付の特許請求の範囲
は、従来技術により制限される範囲を除き、本発明の他
の代替実施形態を含むよう解釈されるものと意図され
る。
【００２２】以下においては、本発明の種々の構成要件
の組み合わせからなる例示的な実施態様を示す。 １．原画像のダイナミックレンジを、再現に使用される
媒体のダイナミックレンジと一層密接に整合するように
変更する方法であって、前記原画像の異なる領域間の小
さなコントラスト差を維持する（６０２）ステップと、
前記原画像の異なる領域間の最大コントラスト差を制限
する（６０４）ステップと、からなる方法。
の組み合わせからなる例示的な実施態様を示す。 １．原画像のダイナミックレンジを、再現に使用される
媒体のダイナミックレンジと一層密接に整合するように
変更する方法であって、前記原画像の異なる領域間の小
さなコントラスト差を維持する（６０２）ステップと、
前記原画像の異なる領域間の最大コントラスト差を制限
する（６０４）ステップと、からなる方法。
【００２３】２．前記原画像で前記最大コントラスト差
を制限（６０４）しながら、前記小さなコントラスト差
を維持する（６０２）ために、ルックアップテーブルが
使用される、１項記載の方法。
を制限（６０４）しながら、前記小さなコントラスト差
を維持する（６０２）ために、ルックアップテーブルが
使用される、１項記載の方法。
【００２４】３．前記原画像の前記最大コントラスト差
が４対１以下の比に制限される（６０４）、１項記載の
方法。
が４対１以下の比に制限される（６０４）、１項記載の
方法。
【００２５】４．前記小さなコントラスト差が１対１の
傾きを利用して維持される（６０２）、１項記載の方
法。
傾きを利用して維持される（６０２）、１項記載の方
法。
【００２６】５．前記小さなコントラスト差が、１対１
よりも大きな傾きを利用する（図７）ことによって増大
される、１項記載の方法。
よりも大きな傾きを利用する（図７）ことによって増大
される、１項記載の方法。
【００２７】６．前記小さなコントラスト差が、１対１
よりも小さな傾きを利用することによって低減される、
１項記載の方法。
よりも小さな傾きを利用することによって低減される、
１項記載の方法。
【００２８】７．第１と名前の付けられたセグメント領
域のそれぞれ及び第２と名前の付けられたセグメント領
域のそれぞれに関連するラジアンス情報の比関数（rati
o function）と、該第２と名前の付けられたセグメント
領域について先に決定された同様の測定値との積に応答
して、測定値のそれぞれの新しい中間値をもたらし、こ
の新しい中間値と、前記第１と名前の付けられたセグメ
ント領域について先に決定された同様の測定値の選択的
な加重平均に応答して、前記測定値のそれぞれの新しい
値を連続的に決定する、ラジアンス情報の比較測定値を
連続的に決定する装置を改善する方法であって、前記比
関数の小さなコントラスト差を維持するステップと、前
記比関数の最大コントラスト差を制限するステップと、
からなる方法。
域のそれぞれ及び第２と名前の付けられたセグメント領
域のそれぞれに関連するラジアンス情報の比関数（rati
o function）と、該第２と名前の付けられたセグメント
領域について先に決定された同様の測定値との積に応答
して、測定値のそれぞれの新しい中間値をもたらし、こ
の新しい中間値と、前記第１と名前の付けられたセグメ
ント領域について先に決定された同様の測定値の選択的
な加重平均に応答して、前記測定値のそれぞれの新しい
値を連続的に決定する、ラジアンス情報の比較測定値を
連続的に決定する装置を改善する方法であって、前記比
関数の小さなコントラスト差を維持するステップと、前
記比関数の最大コントラスト差を制限するステップと、
からなる方法。
【００２９】８．前記原画像の前記最大コントラスト差
を制限しながら、前記小さなコントラスト差を維持する
ために、ルックアップテーブルが使用される、７項記載
の方法。
を制限しながら、前記小さなコントラスト差を維持する
ために、ルックアップテーブルが使用される、７項記載
の方法。
【００３０】９．前記原画像の前記最大コントラスト差
が４対１以下の比に制限される、７項記載の方法。
が４対１以下の比に制限される、７項記載の方法。
【００３１】１０．前記小さなコントラスト差が１対１
の傾きを利用して維持される、７項記載の方法。
の傾きを利用して維持される、７項記載の方法。
【００３２】
【発明の効果】本発明は、再現に使用される媒体のダイ
ナミックレンジにより密接に整合するように、原画像の
ダイナミックレンジを変更する局所コントラストマッピ
ング方法に関する。この方法は、画像の異なる領域間の
小さなコントラスト差を維持しながら、画像の異なる領
域間の大きなコントラスト差を縮小する。
ナミックレンジにより密接に整合するように、原画像の
ダイナミックレンジを変更する局所コントラストマッピ
ング方法に関する。この方法は、画像の異なる領域間の
小さなコントラスト差を維持しながら、画像の異なる領
域間の大きなコントラスト差を縮小する。
【図１】照度のダイナミックレンジが大きな画像のプリ
ントを示す図である。
ントを示す図である。
【図２】大域的トーンマップによる変更後の、図１の画
像のプリントを示す図である。
像のプリントを示す図である。
【図３】オリジナルレティネックスアルゴリズムにより
変更した後の、図１の画像のプリントを示す図である。
変更した後の、図１の画像のプリントを示す図である。
【図４】本発明による方法を利用して、１対１の傾きに
よる変更を行った後の、図１の画像のプリントを示す図
である。
よる変更を行った後の、図１の画像のプリントを示す図
である。
【図５】本発明による方法を利用して、1.8の傾きによ
る変更を行った後の、図１の画像のプリントを示す図で
ある。
る変更を行った後の、図１の画像のプリントを示す図で
ある。
【図６】本発明による１対１の傾きを有するトーンマッ
プである。
プである。
【図７】本発明による増大された傾きを有するトーンマ
ップである。
ップである。
【図８】本発明による平滑な形状を有するトーンマップ
である。
である。
６０２ 原点を通過する１：１の傾きの線 ６０４ ハードリミットを示す線
Claims (1)
- 【請求項１】 原画像のダイナミックレンジを、再現に
使用される媒体のダイナミックレンジに一層密接に整合
するように変更する方法であって、 前記原画像の異なる領域間の小さなコントラスト差を維
持する（６０２）ステップと、 前記原画像の異なる領域間の最大コントラスト差を制限
する（６０４）ステップと、からなる方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/491946 | 2000-01-26 | ||
| US09/491,946 US6760484B1 (en) | 2000-01-26 | 2000-01-26 | Method for improved contrast mapping of digital images |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2001245154A true JP2001245154A (ja) | 2001-09-07 |
| JP2001245154A5 JP2001245154A5 (ja) | 2005-07-21 |
| JP4190736B2 JP4190736B2 (ja) | 2008-12-03 |
Family
ID=23954319
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001017157A Expired - Fee Related JP4190736B2 (ja) | 2000-01-26 | 2001-01-25 | デジタル画像の改良されたコントラストマッピング方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (2) | US6760484B1 (ja) |
| JP (1) | JP4190736B2 (ja) |
| DE (1) | DE10051673B4 (ja) |
| GB (1) | GB2360415B (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7298917B2 (en) | 2002-11-11 | 2007-11-20 | Minolta Co., Ltd. | Image processing program product and device for executing Retinex processing |
| JP2008511048A (ja) * | 2004-08-20 | 2008-04-10 | アピカル リミテッド | 画像処理方法、及び画像処理用コンピュータソフトウェア |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020154323A1 (en) * | 2001-03-10 | 2002-10-24 | Sobol Robert E. | Method for variable contrast mapping of digital images |
| US6879731B2 (en) * | 2003-04-29 | 2005-04-12 | Microsoft Corporation | System and process for generating high dynamic range video |
| US7760943B2 (en) * | 2003-10-02 | 2010-07-20 | Hewlett-Packard Development Company, L.P. | Method to speed-up Retinex-type algorithms |
| GB2408872B (en) * | 2003-12-01 | 2008-12-31 | Inventec Appliances Corp | Method and apparatus for transforming a high dynamic range image into a low dynamic range image |
| JP4372747B2 (ja) * | 2005-01-25 | 2009-11-25 | シャープ株式会社 | 輝度レベル変換装置、輝度レベル変換方法、固体撮像装置、輝度レベル変換プログラム、および記録媒体 |
| US8014034B2 (en) * | 2005-04-13 | 2011-09-06 | Acd Systems International Inc. | Image contrast enhancement |
| US7720283B2 (en) * | 2005-12-09 | 2010-05-18 | Microsoft Corporation | Background removal in a live video |
| US8026931B2 (en) * | 2006-03-16 | 2011-09-27 | Microsoft Corporation | Digital video effects |
| US7558436B2 (en) * | 2006-07-20 | 2009-07-07 | Max-Viz, Inc. | Image dynamic range control for visual display |
| US8299795B2 (en) * | 2007-02-19 | 2012-10-30 | Schlumberger Technology Corporation | Independently excitable resistivity units |
| US8411983B2 (en) * | 2007-08-31 | 2013-04-02 | Ati Technologies Ulc | Method and apparatus for producing a contrast enhanced image |
| CN102651136B (zh) | 2011-02-28 | 2014-11-26 | 国际商业机器公司 | 图像的颜色映射方法及装置 |
| JP6309777B2 (ja) | 2014-02-10 | 2018-04-11 | シナプティクス・ジャパン合同会社 | 表示装置、表示パネルドライバ、及び、表示パネルの駆動方法 |
| RU2622095C1 (ru) * | 2016-02-05 | 2017-06-09 | Акционерное общество "Государственный Рязанский приборный завод" | Способ улучшения цифровых цветных изображений |
| WO2019000097A1 (en) | 2017-06-28 | 2019-01-03 | The University Of British Columbia | METHODS AND APPARATUS FOR MAPPING TONE AND MAPPING INVERSE TONE |
| JP7167022B2 (ja) * | 2017-07-07 | 2022-11-08 | 株式会社半導体エネルギー研究所 | 表示システム、および表示システムの動作方法 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4384336A (en) * | 1980-08-29 | 1983-05-17 | Polaroid Corporation | Method and apparatus for lightness imaging |
| US4649568A (en) | 1984-10-22 | 1987-03-10 | Polaroid Corporation | Reconstitution of images |
| US5012333A (en) | 1989-01-05 | 1991-04-30 | Eastman Kodak Company | Interactive dynamic range adjustment system for printing digital images |
| GB2252001B (en) * | 1991-01-11 | 1995-01-04 | Sony Broadcast & Communication | Storage of video signals |
| US5450502A (en) * | 1993-10-07 | 1995-09-12 | Xerox Corporation | Image-dependent luminance enhancement |
| US5363209A (en) * | 1993-11-05 | 1994-11-08 | Xerox Corporation | Image-dependent sharpness enhancement |
| US5581370A (en) | 1995-06-05 | 1996-12-03 | Xerox Corporation | Image-dependent automatic area of interest enhancement |
| JP3669448B2 (ja) * | 1995-10-31 | 2005-07-06 | 富士写真フイルム株式会社 | 画像再生方法および装置 |
| US5802214A (en) * | 1995-12-08 | 1998-09-01 | Xerox Corporation | Method for determining and loading an image-dependent look-up table for generating an enhanced image representation |
| US5719677A (en) * | 1996-06-28 | 1998-02-17 | Polaroid Corporation | Dark field, photon tunneling imaging systems and methods for measuring flying height of read/write heads |
| US5835618A (en) | 1996-09-27 | 1998-11-10 | Siemens Corporate Research, Inc. | Uniform and non-uniform dynamic range remapping for optimum image display |
| NL1006472C2 (nl) | 1997-07-04 | 1999-01-05 | Oce Tech Bv | Kopieerinrichting met instelbare gradatie. |
| US6108457A (en) * | 1998-04-27 | 2000-08-22 | The United States Of America As Represented By The Secretary Of The Navy | Background equalization for laser line scan data |
-
2000
- 2000-01-26 US US09/491,946 patent/US6760484B1/en not_active Expired - Fee Related
- 2000-10-18 DE DE10051673A patent/DE10051673B4/de not_active Expired - Fee Related
-
2001
- 2001-01-15 GB GB0101040A patent/GB2360415B/en not_active Expired - Fee Related
- 2001-01-25 JP JP2001017157A patent/JP4190736B2/ja not_active Expired - Fee Related
-
2004
- 2004-03-15 US US10/801,732 patent/US7046858B2/en not_active Expired - Lifetime
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7298917B2 (en) | 2002-11-11 | 2007-11-20 | Minolta Co., Ltd. | Image processing program product and device for executing Retinex processing |
| JP2008511048A (ja) * | 2004-08-20 | 2008-04-10 | アピカル リミテッド | 画像処理方法、及び画像処理用コンピュータソフトウェア |
| US8160387B2 (en) | 2004-08-20 | 2012-04-17 | Apical Limited | Image processing method and computer software for image processing |
Also Published As
| Publication number | Publication date |
|---|---|
| DE10051673A1 (de) | 2001-08-09 |
| DE10051673B4 (de) | 2013-08-08 |
| US6760484B1 (en) | 2004-07-06 |
| GB2360415A (en) | 2001-09-19 |
| GB2360415B (en) | 2004-04-21 |
| JP4190736B2 (ja) | 2008-12-03 |
| US20040174571A1 (en) | 2004-09-09 |
| GB0101040D0 (en) | 2001-02-28 |
| US7046858B2 (en) | 2006-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4190736B2 (ja) | デジタル画像の改良されたコントラストマッピング方法 | |
| JP4508565B2 (ja) | トーンスケール関数における変曲点を用いるデジタル画像のトーン特性をエンハンスする方法 | |
| US5818975A (en) | Method and apparatus for area selective exposure adjustment | |
| Larson et al. | A visibility matching tone reproduction operator for high dynamic range scenes | |
| JP4041687B2 (ja) | フラッシュアーチファクトを除去する方法および装置 | |
| US7590344B2 (en) | Adaptive processing for images captured with flash | |
| EP0901671B1 (en) | Method and apparatus for improving a digital image | |
| Schreiber | Image processing for quality improvement | |
| JP2002358513A (ja) | 写真画像データの位置依存補正方法および装置、並びにコンピュータプログラム、記録媒体および写真画像再生装置 | |
| IES20060558A2 (en) | Image blurring | |
| CN112734650A (zh) | 一种基于虚拟多曝光融合的不均匀光照图像增强方法 | |
| WO2004047426A3 (en) | Reality-based light environment for digital imaging in motion pictures | |
| JP2004129265A (ja) | 拡張トーンスケール関数及び圧縮トーンスケール関数を用いてデジタル画像の色調特性をエンハンスする方法 | |
| JP2003203231A (ja) | 黒レベルを維持する画像処理方法 | |
| US6807299B2 (en) | Method for contrast mapping of digital images that converges on a solution | |
| US20180025476A1 (en) | Apparatus and method for processing image, and storage medium | |
| JP2004129266A (ja) | 拡張トーンスケール関数及び圧縮トーンスケール関数を用いてデジタル画像の色調特性及び色特性をエンハンスする方法 | |
| JP3913356B2 (ja) | 画像処理方法 | |
| US6804409B2 (en) | Method for contrast mapping of digital images using a variable mask | |
| US20020154323A1 (en) | Method for variable contrast mapping of digital images | |
| Lynch-Johnt et al. | Illustrated Dictionary of Photography: The Professional's Guide to Terms and Techniques for Film and Digital Imaging | |
| JP2002298136A (ja) | 絵画調画像への変換プログラム | |
| JP2002262130A (ja) | 画像処理装置 | |
| Cooper | Modifications to retinex to relax reset nonlinearity and implement segmentation constraints | |
| JPH11346303A (ja) | 画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041209 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041209 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070220 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20070316 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20070322 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070820 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080318 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080618 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080623 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080801 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080826 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080917 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110926 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110926 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120926 Year of fee payment: 4 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130926 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130926 Year of fee payment: 5 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130926 Year of fee payment: 5 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130926 Year of fee payment: 5 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |