JP2007537645A - カラー画像データの処理方法 - Google Patents

カラー画像データの処理方法 Download PDF

Info

Publication number
JP2007537645A
JP2007537645A JP2007512652A JP2007512652A JP2007537645A JP 2007537645 A JP2007537645 A JP 2007537645A JP 2007512652 A JP2007512652 A JP 2007512652A JP 2007512652 A JP2007512652 A JP 2007512652A JP 2007537645 A JP2007537645 A JP 2007537645A
Authority
JP
Japan
Prior art keywords
color
mapping
pixel data
color range
input pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007512652A
Other languages
English (en)
Other versions
JP4668986B2 (ja
Inventor
ヨット ヘー ラマース マセウス
エム デ フリーフ ペトラス
ペー リー ウェイ
ベー ファン デル トル エリック
アー クロムペンハウワー ミヒェル
ハー アー ランヘンデイク エアノ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2007537645A publication Critical patent/JP2007537645A/ja
Application granted granted Critical
Publication of JP4668986B2 publication Critical patent/JP4668986B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/67Circuits for processing colour signals for matrixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6058Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

カラー画像をターゲット装置上に最適に表現することを可能にするカラー画像データの処理方法を提供する。この方法は色範囲マッピングのステップを含み、このステップでは、色範囲マッピングの量を、少なくとも入力画素の彩度値に応じて動的に適応させる。入力画素の輝度値も用いることが好ましい。本発明の適応色範囲マッピングは画像データの彩度の修正を含み、そして画像データの色相及び白色点の修正も含むことが好ましい。入力画像の彩度の高い領域におけるクリッピング及び局所的なディテールの損失を高度に防止しつつ、ターゲット装置の色範囲を最大限に利用することができる。

Description

本発明は、モバイル・アプリケーション(移動用途)用のLCDパネルのようなターゲット(目標)装置上に表示すべきカラー画像データを処理する方法に関するものである。
本発明はさらに、こうした方法に従ってカラー画像データを処理する表示ドライバ内蔵回路に関するものである。
例えばカメラまたはビデオプロセッサによって生成され、表示装置に供給されるカラー画像データでカラー表示装置を駆動して、この表示装置上に画像を表示することは、現在技術において周知である。このカラー画像データは、画像を見る視聴者に可能な限り訴えるように処理することができる。例えば、この目的で画像データの彩度を増加させることが知られている、というのは、初期のテレビジョンシステムでは、画像データの彩度を適応させることは通常、手動制御で実現されていたからである。
米国特許US 6,711,289
また、特定のターゲット表示装置上での画像表現(レンダリング)を改善するようにカラー画像データを処理することも知られている。この目的で、米国特許US 6,711,289は、画像データをRGB形式に変換する方法を開示している。画像データのすべてのフレームの彩度を処理して、ターゲット表示装置によって表現可能な彩度値の所定しきい値をやや下回る値までの彩度値を有する画像データ部分については、彩度値が変化しないようにする。しかし、このしきい値以上の彩度値を有する画像データについては、彩度値を非線形の方法で圧縮して、ターゲット装置によって再生可能な画像データで表現(レンダリング)する。
しかし、多くのターゲット装置については、上述した方法を用いて画像データを変換した結果は不満足なものに見える。例えば、移動電話、PDA(Personal Digital Assistance:個人用携帯情報端末)、あるいはディジタル・スチルカメラのようなモバイル・アプリケーションに使用されるLCD(Liquid Crystal Display:液晶表示)パネルの場合のようにターゲット装置の色表現能力が比較的限定されている場合には、比較的広範囲の彩度値を、ターゲット装置上の比較的限られた数の色に圧縮する。その結果、中程度から高い彩度値を有する画像領域では、局所的なディテール(詳細表現)が失われる。これらは、飽和色の平坦な領域としてターゲット装置上に出力され、明らかに不所望である。
本発明の目的は、モバイル・アプリケーション用のLCDパネルのような色表現(レンダリング)能力が比較的限定されたターゲット装置上での改善された色表現を提供することにある。
この目的は、独立請求項1に記載の本発明による方法によって達成される。
本発明は特に、色範囲マッピングとして知られているカラー画像データを処理する方法に関するものである。この方法では、入力画素データを、この入力画素データに関連するソース(元の)色範囲から、ターゲット装置に関連するターゲット色範囲データに変換する。上述したように、多くの種類のターゲット装置は色表現能力が限定され、即ち、ターゲット色範囲は、元の色範囲に対して一般に限定されている。
本発明による処理方法は、カラー画像データを直接操作し、即ち、1画素のカラー画像データを受け取り、ターゲット装置上に表示すべき出力画素データに直接マッピング(写像、対応付け)する。このマッピングは、画素の表示周波数で実行することが好ましく、従って、すべての画素が、受け取った後に直ちに処理される。
米国特許US 6,711,289におけるように、フレーム全体の画像データを収集し記憶する必要はない。従って、本発明による方法は、複数フレーム分の表示データを記憶するための経費を必要としないので、比較的廉価かつ効率的である。
色範囲マッピングは、ソース及びターゲット色範囲の特性によって規定される演算子で入力画素データを処理することを含むことが好ましい。そしてこのマッピング演算子は、現在の入力画素の彩度値に応じて適応可能である。即ち、入力画素の彩度値を測定し、この値に応じて、これらの画素に対して実行する色範囲マッピング演算の強度を決定する。以下、本発明のこうした特徴を「適応色範囲マッピング」と称する。
低い彩度値を有する画素(即ち、白色またはグレー(灰色)に近い色の画素)については、ソース及びターゲット色範囲の特性によって規定されるフル(全色)マッピング演算子を用い、こうした画素を、可能な限り意図した色に近いマッピング色でターゲット装置上に表現する。これにより、彩度は概ね増幅される。しかし、彩度値が増加すると共に、フルマッピング演算子は、ターゲット装置上に表示可能な色の範囲外の出力画素値を生じさせる。従来技術と同様に、こうした出力画素値はクリップし(頭打ちになり)、平坦な飽和色の大きな領域、及び局所的なディテールの損失を生じさせる。
従って、彩度値を増加させるために、本発明による方法は、強度を低減した色範囲マッピングを可能にする。この目的のために、フルマッピング演算子は、入力画素データの色彩度値に応じて適応可能である。
彩度の高い色については、色範囲マッピングを全く実行しないことが好ましい。彩度の高い色の値については、出力画素データは入力画素データと概ね同一にする。従って、本発明による適応色範囲マッピングは、出力画素値をターゲット色範囲外に出さない。出力画素値のクリッピングが防止され、ターゲット装置上で表現される画像全体を通して、局所的なディテールが可能な限り高度に表現される。サイドの高い色の領域では、ディテールがより良好に保たれる。
適応色範囲マッピングは、画素データの彩度を修正するだけでなく、同時に画素データの色相値も修正することが好ましい。このことは、例えば三原色を用いる現在の表示技術において有利である、というのは、必ずしもすべてのターゲット装置が、グラフィック及びビデオ信号用のsRGB及びEBU(European Broadcasting Union:欧州放送連合)規格と同じ三原色点を有しないからである。特に、モバイル・アプリケーション用のディスプレイは、やや緑がかった青の原色を有することが多く、換言すれば、青の原色はシアンの傾向がある。こうしたディスプレイでは、人間の顔、緑色の草、あるいは青空のような認識可能な色を含む画像にとっては、色相修正は特に重要である。こうした色はターゲット装置上では、可能な限り自然に表現すべきである。しかし、色相修正はクリッピングのような画像アーティファクト(歪像)を生じさせるべきでない。
本発明により、非飽和の入力画素に対して色相修正を実行して、こうした画素をターゲット・ディスプレイ上に、可能な限り意図した色に近い色で表示することができる。
ここでも、彩度値を増加させるために、色範囲マッピングの量を低減して、ターゲット色範囲外の出力画素値、及び局所的なディテールの損実を防止する。彩度の高い画素値は処理せず、ターゲット装置の色点近くで表現する。従ってこうした画素は、クリッピング・アーティファクトを防止するために色相については修正しない。
好適例では、マッピング演算子はさらに、入力画素値の輝度値に応じて適応可能である。そして適応色範囲マッピングは、白色点の適応修正もことも可能にする。
必ずしもすべてのターゲット装置が、sRGB及びEBU規格によって規定されたD65白色点を有しない。明るい非飽和の画素は、その色を幾分青色がかった色にすると、より明るく知覚されることが知られている。この理由により、モバイル・アプリケーション用のLCDパネルは、D65白色点に比べてやや青色がかった白色点を有することが多い。
低輝度かつ低彩度の画素については、適応色範囲マッピングは、画素が意図した色に限りなく近い色でターゲット装置上に表現されることを保証する。従って、上記白色点をD65白色点に向けて修正することができる。
比較的高輝度であるが低彩度の画素、例えば白色画素については、色範囲マッピングの量を低減するか、あるいは色範囲マッピングを全く実行しないで、白色画素をターゲット装置の白色点で表現する。従って、こうした画素が最大限可能な輝度で知覚されることが保証される。
飽和画素については、白色点修正を用いない、というのは、こうした画素は白色点の定義には無関係であるからである。
従って、本発明による方法により、色範囲マッピングを入力画素データに対してオン・ザ・フライで(その場に応じて)実行し、これにより、入力画素データを彩度について適応的に修正し、好適例では色相及び白色点についても修正することができる。ターゲット装置に関連するターゲット色範囲を最適に用いて、入力カラー画像データを、彩度の高い領域でも、その局所的なディテールを可能な限り高度に表現することができる。
色範囲マッピングが、実際の入力画素データの彩度値応じて適応可能であるという本発明の特徴は、色範囲マッピングステップがターゲット色範囲外の出力画素値を生じさせることを大いに防止する。従って、出力画素データのクリッピングが防止され、これに関連して、ターゲット装置上の画像の飽和領域における局所的なディテールの損失はもはやほとんど観測されない。
本発明による方法はハードウェアで実現することができ、LCDドライバ、例えばフィリップス社のPCF8833またはPCF8881のような表示ドライバ(駆動回路)、あるいはフィリップス社のPNX4000 Nexperia mobile image processorのような画像処理チップに、適応色範囲マッピングを実行するための専用回路を設けることが好ましい。
あるいはまた、適応色範囲マッピングはコンピュータプログラムによって実行することができる。このコンピュータプログラムは、ビデオデータをターゲット表示装置に出力するパーソナルコンピュータ上にロードするソフトウェアとすることができるが、移動電話、PDA、あるいはディジタルカメラのような移動装置のファームウェアとすることが好ましい。
以下、本発明による方法を、図面を参照しながらさらに説明する。
図1に、CIE1931色度図を示す。この図は、CIE1931標準観測者の視覚応答に基づく一定強度の色の二次元プロットであり、人間の色視の生理的尺度によって決まる。この図には、ソース色範囲110及びターゲット色範囲120を示す。ソース色範囲110はEBU色三角形に相当し、従って入力画素データはRGB画像データの形式で提供される。ターゲット色範囲120は、例えば移動電話に使用されるモバイル(移動型)LCDディスプレイに関連する一般的な色三角形に相当する。
ターゲット色範囲120はEBU色空間よりも限定された大きさであり、従って、モバイルLCDディスプレイはEBU色空間のすべての色を適正に表現できないことがわかる。モバイルLCDディスプレイは、使用するバックライトのスペクトル、及び十分な透過を得るために制限されたカラーフィルタの厚さにより、一般に色表現能力が限定される。
画像データの処理なしでは、このことはディスプレイ上の色再生においていくつかのアーティファクトを生じさせる。
すべての色がより低彩度である。例えば、ターゲット装置上で表現される人間の顔は青ざめて見える。
青色を意図した色の大部分は実際にはシアンで表現される。青空を正しく描くことは困難である。
グレー色は青味がかって見える。このことは、表現される画像の全体的に青白い印象を増加させる。
この問題を軽減するために色範囲マッピングを適用することができ、ここではRGB入力データを、ターゲット色範囲により良く整合したRGB出力データに変換する。しかし、この場合には、強いクリッピングが生じ得る、というのは、色範囲マッピング操作が入力画像データの一部を実際のターゲット色範囲外に変換し得るからである。このことは、このように処理した出力画像における飽和色、あるいは明るい色の大きな「平坦」領域、及びごくわずかな局所的ディテールの存在によって観測される。
本発明による方法は、入力画素データを、少なくとも彩度値及びこの入力画素データに応じて適応可能な色範囲マッピングによって処理することを提案する。色範囲マッピングは、入力画素データの輝度値にも応じて適応可能であることが好ましい。
実際の入力画素値に基づいて、適用すべき色範囲マッピングの最適な強度が決まる。こうした画像処理を実行することによって、入力データはクリッピングを生じさせることなしに、可能な限り意図した色に近い色で表現される、というのは、修正すればターゲット色範囲外にマッピングされる飽和色に対してはより少ない修正を適用するからである。この適応色範囲マッピングは、比較的広範囲の入力色をターゲット装置上で意図したように表現できることを保証しつつ、ターゲット装置に関連するターゲット色範囲を最大限に利用することを可能にする。
本明細書では以下に、本発明による方法の実施例について、図1の色範囲の例を参照しながら説明する。しかし、この方法は、任意の色範囲から任意の色範囲への色範囲マッピング処理を提供すべく容易に変形することができることは明らかである。この方法は、元の色範囲に対してサイズの限られたターゲット色範囲にとって特に有利である。
色範囲マッピングに使用する演算子は、ソース及びターゲット色範囲の特性によって規定される。本実施例のようにCIEカラーシステム(色彩系)によって処理を行う際には、マッピング演算子は原色のx,y座標、及びソース及びターゲット色範囲の白色点によって規定される。
入力画素データ及び出力画素データは一般にRGBデータの形式であり、この特定例では24ビットのRGBデータである。既知の方法では、RGBデータは、3×3変換行列によって、装置に依存しないCIEカラーシステムに関連するXYZデータに変換することができる。従って入力RGBデータは、EBU色空間について規定された原色及び白色点によって決まる行列MEBUによって、装置に依存しないXYZデータに変換され、同様に出力RGBデータは、代表的なモバイルLCDパネルの原色及び白色点によって決まる行列Mdisによって、装置に依存しないXYZデータに変換される。
そして色範囲マッピングに使用するマッピング演算子Mも、3×3行列によって表現することができ、次式のように得られる:
M=(Mdis)-1×MEBU (1)
そして色範囲マッピング演算は次式のように表現することができる:
Figure 2007537645
この演算によって、入力RGB画素データRGBinは、入力画素が意図した色に限りなく近い色でターゲット装置上に表現されるように、出力RGBデータRGBoutに変換される。以前に説明したように、この演算は飽和した入力色に対しては強いクリッピング・アーティファクトを生じさせることがあり、従って、本発明によればその代わりに、入力画素データを、フルカラー(全色)の色範囲マッピング行列Mから、彩度値に応じて、好適には実際の入力画素データの輝度値にも応じて動的に算出した行列MAで処理する。
図2に、本発明の方法の実施例を表現するブロック図を示す。
入力画素データRGBinはまずガンマ関数212によって処理され、その後に、ブロック210において適応色範囲マッピングを実行する。即ち、入力画素データを適応行列MAで処理する。
ブロック220では、現在の入力画素RGBinについて輝度値L及び彩度値Sを測定する。このために異なるモデルを使用することができるが、好適な実施例では、輝度値LはRin、Gin及びBinの平均値とし、彩度値SはRin、Gin及びBinのそれぞれの極値の重み付け平均値とする。従って次式のようになる:
Figure 2007537645
これらの値はブロック230に供給され、3つのパラメータscale、rotate及びshiftを生成するために用いられる。
パラメータscaleは、ルックアップテーブル(早見表)233に記憶された関数FSSの値に等しく、彩度値Sに対応する。このパラメータを用いて、適応彩度修正に関する色範囲マッピングの量を適応させる。
パラメータrotateはルックアップテーブル232に記憶された関数FSRの値に等しく、彩度値Sに対応する。このパラメータを用いて、他の修正パラメータ、従って適応色相修正及び適応白色点修正に関する色範囲マッピングの量を適応させる。
同様に、パラメータshiftはルックアップテーブル234に記憶された関数FLの値に等しく、輝度値Lに対応する。このパラメータは、実行する白色点修正の量を適応させるためのみに使用する。
一般に、関数FL、FSS及びFSRは、入力画素の輝度及び彩度についての特定しきい値までのフル(全色)の色範囲マッピングを可能にするように選定する。即ち、入力画素の輝度L及び彩度Sが共に、関数FL、FSS及びFSRにおけるそれぞれのしきい値より低い場合には、ブロック230による2つのパラメータ出力は1に等しく、適応色範囲マッピングに使用する行列MAはフル(全色)行列Mに等しい。
適切な関数FSS及びFSRの例をそれぞれ図3A及び3Bに示す。現在の画素値の特定彩度値Sについては、パラメータscaleは関数FSSの値に等しく、パラメータrotateは関数FSRの値に等しい。第1しきい値th1未満では、パラメータscale及びrotateは共に1に等しい。第1しきい値th1以上では、パラメータscaleは、最大彩度で0になるまで彩度と共に直線的に減少し、パラメータrotateは、第2しきい値th2で0になるまで彩度と共に減少する。従って、しきい値th1とth2との間では、パラメータrotateは彩度と共に直線的に減少し、第2しきい値th2以上ではパラメータrotateは0に等しい。
しきい値th1は、ターゲット・ディスプレイの色三角形の一辺上の、ターゲット・ディスプレイの白色点に最寄りの点に対する彩度値を表わす。従って、このしきい値は、ターゲット・ディスプレイの色三角形外に出る出力値を生じさせることなしにフルカラーの色範囲マッピングを実行可能な最大値である。しきい値th2は、ターゲット・ディスプレイの原色点と白色点との間の距離を、これに対応するEBUの原色点と白色点との間の距離と比較した最大値を表わす。現在の彩度値がth2より大きい際には、もはや画素処理を行う必要はない。
図3Cに、適切な関数FLの特定例を示す。パラメータshiftは、現在画素の特定輝度値に対する関数FLの値に等しい。図より明らかなように、輝度しきい値th3まではパラメータshiftは1に等しい。従って、より大きい輝度値に対しては、このパラメータは輝度と共に減少する。入力画素が最大輝度を有する際には、従って白色画素に対しては、パラメータshiftは0に等しい。
図4に、彩度関数FSS及びFSRについてのしきい値th1及びth2の位置を示す。領域410では、入力画素データは色相及び彩度について全体的に修正する。入力画素の輝度が、上記で説明した輝度しきい値th3以上でなければ、白色点修正も全体的に行う。同様に、領域420では、入力画素データを彩度及び色相の両方について部分的に修正し、領域430内の入力画素は彩度のみについて部分的に修正する。
ブロック240では行列MAの動的な計算を実行し、この行列の要素は行列Mの要素から、3つのパラメータscale、rotate及びshiftに応じて動的に適応させて生成する。
より詳細には、この計算は次の方法で行う:scale、rotate及びshiftがすべて1に等しい際には、即ち、画素の彩度がしきい値th1未満であり、画素の輝度がしきい値th3未満である際には、適応行列MAはフルカラーの色範囲行列Mに等しい。1つの原色について完全に飽和した画素については、即ち(3)式によればL=1/3でありS=1である際には、処理は全く行わず、適応行列MAはユニタリ行列に等しくすべきである。L=1かつS=0である白色画素については、適応行列MAの演算は白色の出力画素を生じさせるべきである。行列M及びMAの要素を次式のように書く:
Figure 2007537645
従って、測定行列Mの要素は大文字で表わし、適応行列MAの要素は小文字で表わす。
測定行列Mの要素より、9つのパラメータを計算する。
まず、原色毎の平均値(avg)及び差分(diff)を次式のように計算する:
Figure 2007537645
そして、行列の行毎の合計値パラメータ(sum)を次式のように計算する:
sumr=S1+G2+B1−1 sumg=R1+S2+B2−1 sumb=R2+G1+S3−1
ブロック245では、行列Mの要素、あるいはより好適には、行列Mの要素から計算した上記パラメータを記憶する。
元の行列Mはターゲット・ディスプレイの特性、特にその原色点及び白色点の測定値に基づく。例えば、これらの測定はディスプレイの製造者がディスプレイ群に対して実行する。そしてディスプレイの製造業者は、測定した原色点及び白色点に対応するこの行列(M)を用いて、上述した平均値、差分、及び合計値のパラメータを計算し、これらをブロック245に記憶し、これにより、この特定のディスプレイ群上での最適な色表現を保証する。
そして適応行列MAの要素を、これら9つのパラメータから、パラメータscale、rotate及びshiftと共に次式のように計算する:
Figure 2007537645
このように計算したMAの要素、即ちs1,2,3及びrgb1,2はブロック210に入力され、RGB画素データを式(2)に従って処理するために用いられる。
適応色範囲マッピングのステップの後に、ハードクリップ関数216によって出力画素データを処理する。このクリップは、Rout、GoutまたはBoutの負の値は0にクリップし、RGB画素データを24ビット(各8ビット)と仮定すれば、Rout、GoutまたはBoutの255より大きい値はこの値(255)にクリップする。しかし、本発明による方法では、まだクリップする必要のある画素数は従来技術に比べて大幅に低減される。
最後に、出力画素データを逆ガンマ関数214によって処理し、ターゲット装置に供給する。
(例)
原色点、及びEBU規格のD65白色点に対するCIE色空間内のx,y座標は次の通りである:
x y
赤色(レッド) 0.6400 0.3300
緑色(グリーン) 0.2900 0.6000
青色(ブルー) 0.1500 0.0600
D65白色(ホワイト) 0.3127 0.3290
ターゲット装置、この場合にはモバイル装置用のLCDパネルの原色点及び白色点を測定した。これらの点のCIE色空間内のx,y座標は次の通りである:
x y
赤色 0.5241 0.3302
緑色 0.3049 0.5261
青色 0.1521 0.1598
D65白色 0.2886 0.3330
これらの座標より、EBU色範囲から表示色範囲へのRGBデータの色範囲マッピング用の測定行列Mは次のように計算される:
Figure 2007537645
この行列は、平均値、差分、及び合計値パラメータの次の値を生じさせる:
avgr=0.110 diffr=0.002 sumr=0.418
avgg=-0.197 diffg=-0.082 sumg=0.125
avgb=-0.055 diffb=0.299 sumb=-0.073
この例では、図3A〜3Cに示す関数FSS、FSR及びFLを用いる。ここで上述した座標及び行列Mを用いて、しきい値th1、th2及びth3を計算することができる。
図4では、ターゲット・ディスプレイの色三角形の一辺上の、ターゲット・ディスプレイの白色点に最寄りの点は、青−赤軸上にあることがわかる。上記に挙げたターゲット・ディスプレイの座標データを用いて、この点が座標x=0.349、y=0.250を有することが計算することができる。対応する彩度値Sは0.564であり、この値を第1しきい値th1として用いる。
また図4では、ターゲット・ディスプレイの原色点と白色点との間の距離を、これに対応するEBUの原色点と白色点との間の距離と比較した最大値は、赤の原色に対して生じることがわかる。従って、EBU規格における原色点の定義と比較すれば、赤の原色が相対的に最高の彩度を有する。ターゲット・ディスプレイの赤の原色点は座標x=0.524,y=0.330を有し、これに対応する彩度値Sは0.805であり、この値を第2しきい値th2として用いる。
ここで使用するモデルでは、第3しきい値は次式のように計算される:
Figure 2007537645
ここに、1.419は行列Mの行の合計値の最大値であり、2.2はガンマ係数である。
以下、少数のRGB入力画素について、上述した例による適応色範囲マッピング後に生じる出力画素値を挙げて説明する。なお、赤色、緑色及び青色の副画素値は正規化され、即ち、赤色、緑色及び青色の最大値を1に等しくする。非飽和の赤色、緑色及び青色の副画素は小数値で表わされる。
a)非飽和の青色画素 (R,G,B)in=(0, 0, 0.3)
(3)式を用いれば、彩度S=0.3及び輝度L=0.1が生じる。これらの値はすべてのしきい値未満であり、従ってscale=1、rotate=1、及びshift=1である。
続いて(R,G,B)out=(0.072, 0, 0.329)が得られる。画素の彩度は増加し、色相は修正され、この画素にいくらか赤色が加えられていることがわかる。この結果はより自然な青色に見える。なお上記の例では、Goutは実際には負の数であり、従ってGoutは0にクリップされる。
b)飽和した青色画素 (R,G,B)in=(0, 0, 1)
彩度S=1及び輝度L=0.333である。
彩度値は第1しきい値th1及び第2しきい値th2の両方より大きいが、輝度値は第3しきい値th3未満である。従って、scale=0かつrotate=0であるので、(R,G,B)out=(0, 0, 1)であることが容易にわかる。この画素は処理されず、ターゲット・ディスプレイの青色の原色点で表現される。
c)ダークグレー(暗灰色)画素 (R,G,B)in=(0.3, 0.3, 0.3)
ここでも、彩度及び輝度値はすべてのしきい値未満であり、従ってscale=1、rotate=1及びshift=1である。結果的な出力画素は(R,G,B)out=(0.425, 0.263, 0.278)である。白色点の修正が実行され、緑色及び青色のこの画素への寄与分は、赤色の寄与分の増加により低減される。このことは、緑色画素の青味がかった表現を防止し、全体的に青ざめた印象を減らす。
d)白色画素 (R,G,B)in=(1, 1, 1)
彩度S=0及び輝度L=1、従ってscale=1、rotate=1及びshift=0である。従って、合計値パラメータは出力画素値には寄与せず、平均値パラメータと差分パラメータとは互いに相殺し合い、結果的な出力画素は再び白色になり、即ち(R,G,B)out=(1, 1, 1)である。
図5の第2実施例は、ブロック245がフル(全色)色範囲マッピング行列Mを記憶すること以外は、第1実施例と同一である。ブロック245は、光センサに550、第1行列MRを記憶するブロック554、及び第2行列MTを記憶するブロック552に接続されたミクサ545に置き換えられる。
本実施例は、例えば、透過反射型LCDパネルでの利用に有利である。従って、上記第1行列は、LCDパネルの反射の原色点及び白色点によって特徴付けられ、そして上記第2行列は、このLCDパネルの透過の原色点及び白色点によって特徴づけられる。
背景光レベルが低い際には、視聴者はLCDパネルの透過モードを主に観測し、従って、ミクサ545は上記行列Mを第2行列MTに等しく構成する。しかし、直射日光のような明るい背景光の下では、視聴者はLCDパネルの反射モードを主に観測し、従って、ミクサ545は上記行列Mを第1行列MRに等しく構成する。例えば屋外の曇り空の下で生じるような中間的な光条件では、ミクサ545は行列Mを、第1行列MRと第2行列MTとの間の値で生成する。背景光レベルは光センサ550によって検出され、ミクサ545に伝えられる。
あるいはまた、ブロック554及び552に記憶された異なる行列を異なる白色点に対応させることができる。例えば、第1行列を「冷たい」色温度の白色点、例えば8500Kを用いて計算し、第2行列を「暖かい」色温度の白色点、例えば5000Kを用いて計算することができる。従ってミクサ545は光センサに結合すべきでなくユーザ制御に結合して、視聴者は白色点を制御し、これにより、ターゲット装置上で表現される画像を自分の好みに合わせることができる。適応色範囲マッピングをモバイル装置のファームウェア中のソフトウェアで実現する際には、ユーザ制御はユーザメニューにおけるメニュー選択肢として構成することが好ましい。
白色点についてのユーザ設定はミクサ545に供給され、ミクサ545はこの白色点に応じて、ブロック552内の第1行列及びブロック554内の第2行列から行列Mを生成する。
各図面は図式的なものであり、一定寸法比で描いたものではない。本発明は好適な実施例に関連して説明してきたが、本発明の権利保護範囲は本明細書で説明した実施例に限定されないことは明らかである。むしろ本発明は、当業者が請求項に記載の範囲内でこれらの実施例に対して施し得るすべての変形を含む。
要約すれば、カラー画像をターゲット装置上に最適に表現することを可能にするカラー画像データの処理方法が提供される。この方法は色範囲マッピングのステップを含み、このステップでは、色範囲マッピングの量を、少なくとも入力画素の彩度値に応じて動的に適応させる。入力画素の輝度値も用いることが好ましい。この適応色範囲マッピングは画像データの彩度の修正を含み、そして画像データの色相及び白色点の修正も含むことが好ましい。入力画像の彩度の高い領域におけるクリッピング及び局所的なディテールの損失を高度に防止しつつ、ターゲット装置の色範囲を最大限に利用することができる。
CIE色空間内に表示されるソース及びターゲット色範囲の例を示す図である。 本発明による第1実施例を表わすブロック図である。 図3A〜図3Cは、第1実施例における色範囲マッピングの強度適応に用いる彩度及び輝度関数を表わす図である。 第1実施例において処理されるソース色範囲の部分を示す図である。 本発明よる方法の第2実施例を表わすブロック図である。

Claims (16)

  1. ターゲット装置上に表示すべきカラー画像データを処理する方法において、
    ソース色範囲内の入力画素データを受信するステップと;
    前記入力画素データを、前記ソース色範囲から、前記ターゲット装置に関連するターゲット色範囲にマッピングするステップであって、前記マッピングの量を、前記入力画素データの彩度値に応じて動的に適応させるステップと
    を具えていることを特徴とするカラー画像データの処理方法。
  2. 前記2つのステップを画素の表示周波数で反復することを特徴とする請求項1に記載の方法。
  3. 前記マッピングのステップが、前記入力画素データの色相値を修正するサブステップを含むことを特徴とする請求項1に記載の方法。
  4. 前記マッピングの量がさらに、前記入力画素データの輝度値に応じて適応可能であることを特徴とする請求項1に記載の方法。
  5. 前記マッピングのステップが、前記入力画素データの白色点の修正を含むことを特徴とする請求項1に記載の方法。
  6. 前記マッピングのステップが、前記入力画素データを、前記ソース色範囲及び前記ターゲット色範囲の特性によって規定されるマッピング演算子で処理するサブステップを含み、前記マッピング演算子は、前記入力画素データの彩度値に応じて適応可能であることを特徴とする請求項1に記載の方法。
  7. 前記マッピング演算子はさらに、前記入力画素データの輝度値に応じて適応可能であることを特徴とする請求項4及び6に記載の方法。
  8. 前記マッピング演算子は、入力RGB画素データを装置に依存しないCIE色空間を介して出力RGB画素データに変換する3×3行列によって表現されることを特徴とする請求項6または7に記載の方法。
  9. 前記ソース色範囲がEBU色空間であることを特徴とする請求項1に記載の方法。
  10. さらに、前記ターゲット色範囲を複数の所定色範囲で組成するステップを具えていることを特徴とする請求項1に記載の方法。
  11. 前記所定色範囲が異なる白色点に関連することを特徴とする請求項5及び10に記載の方法。
  12. 前記ターゲット装置がモバイル・アプリケーション用のLCDパネルであることを特徴とする請求項1に記載の方法。
  13. 前記LCDパネルが透過反射型LCDパネルであり、前記ターゲット色範囲が、背景光レベルに応じて、前記透過反射型LCDパネルの反射モードに関連する第1色範囲、及び前記透過反射型LCDパネルの透過モードに関連する第2色範囲で組成されることを特徴とする請求項10及び12に記載の方法。
  14. 請求項1〜13のいずれかに記載の方法を実行する回路を具えた表示ドライバ。
  15. 請求項14に記載の表示ドライバを具えた表示装置。
  16. 請求項1〜13のいずれかに記載の方法を実行するためのコンピュータプログラム。
JP2007512652A 2004-05-11 2005-05-04 カラー画像データの処理方法 Active JP4668986B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP04102040 2004-05-11
PCT/IB2005/051451 WO2005109854A1 (en) 2004-05-11 2005-05-04 Method for processing color image data

Publications (2)

Publication Number Publication Date
JP2007537645A true JP2007537645A (ja) 2007-12-20
JP4668986B2 JP4668986B2 (ja) 2011-04-13

Family

ID=34967059

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007512652A Active JP4668986B2 (ja) 2004-05-11 2005-05-04 カラー画像データの処理方法

Country Status (7)

Country Link
US (1) US8026953B2 (ja)
EP (1) EP1747665B1 (ja)
JP (1) JP4668986B2 (ja)
KR (1) KR101136345B1 (ja)
CN (1) CN1951101A (ja)
TW (1) TW200610381A (ja)
WO (1) WO2005109854A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140136375A (ko) * 2013-05-20 2014-11-28 삼성디스플레이 주식회사 영상 표시 장치

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008522530A (ja) * 2004-12-01 2008-06-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 電子カラー画像彩度処理の方法
KR100736939B1 (ko) * 2005-10-08 2007-07-10 삼성전자주식회사 지능형 색역 관리 방법
US7918582B2 (en) * 2005-12-30 2011-04-05 Dialight Corporation Signal light using phosphor coated LEDs
WO2007079423A2 (en) * 2005-12-30 2007-07-12 Dialight Corporation Method and apparatus for providing a light source that combines different color leds
CN100409306C (zh) * 2006-03-31 2008-08-06 深圳创维-Rgb电子有限公司 一种优化显示器件的显示色彩的方法
TW200739445A (en) * 2006-04-04 2007-10-16 Au Optronics Corp Hue correction system and method
EP2039145A2 (en) * 2006-06-28 2009-03-25 Nxp B.V. System and method for correcting colour images
US7897487B2 (en) * 2006-07-03 2011-03-01 Hamamatsu Photonics K.K. Laser processing method and chip
US8379971B2 (en) 2006-08-16 2013-02-19 Tp Vision Holding B.V. Image gamut mapping
WO2008044732A1 (fr) * 2006-10-11 2008-04-17 Nikon Corporation Dispositif, procédé et programme de traitement d'image
US8531548B2 (en) * 2006-11-22 2013-09-10 Nikon Corporation Image processing method, image processing program, image processing device and camera
CN101543084A (zh) * 2006-11-30 2009-09-23 Nxp股份有限公司 处理彩色图像数据的装置和方法
WO2008072162A2 (en) * 2006-12-11 2008-06-19 Nxp B.V. Video processing device and method of color gamut mapping
EP1971191B1 (de) * 2007-03-13 2013-04-10 Insta Elektro GmbH Elektrische/elektronische Einrichtung zur Erzeugung von Farbdarstellungen
JP4958638B2 (ja) * 2007-05-28 2012-06-20 キヤノン株式会社 色処理装置および方法
US20090033612A1 (en) * 2007-07-31 2009-02-05 Roberts John K Correction of temperature induced color drift in solid state lighting displays
JP4950846B2 (ja) * 2007-11-02 2012-06-13 シャープ株式会社 カラー画像表示装置及び色変換装置
CN101552926B (zh) * 2008-04-01 2011-04-13 香港应用科技研究院有限公司 一种彩色图像信号处理方法及装置
US8237642B2 (en) 2008-07-14 2012-08-07 Global Oled Technology Llc Method for improving display lifetime
JP5177751B2 (ja) * 2008-09-29 2013-04-10 ルネサスエレクトロニクス株式会社 表示駆動回路
EP2382788B1 (en) * 2008-12-23 2019-01-23 TP Vision Holding B.V. An ambience lighting system for a display device and a method of operating such an ambience lighting system
US8466856B2 (en) * 2011-02-22 2013-06-18 Global Oled Technology Llc OLED display with reduced power consumption
JP5140206B2 (ja) * 2010-10-12 2013-02-06 パナソニック株式会社 色信号処理装置
CN102044230A (zh) * 2010-12-31 2011-05-04 昆山龙腾光电有限公司 液晶显示装置及其色域转换方法及色域转换电路
KR20120119717A (ko) * 2011-04-22 2012-10-31 삼성디스플레이 주식회사 영상 표시 장치 및 영상 표시 장치의 색 보정 방법
WO2013046095A1 (en) * 2011-09-27 2013-04-04 Koninklijke Philips Electronics N.V. Apparatus and method for dynamic range transforming of images
EP2672712A1 (en) 2012-06-07 2013-12-11 Thomson Licensing Scene-dependent color gamut mapping
US9571822B2 (en) 2012-08-28 2017-02-14 Samsung Electronics Co., Ltd. Display system with display adjustment mechanism for viewing aide and method of operation thereof
US8854476B2 (en) 2012-08-28 2014-10-07 Samsung Electronics Co., Ltd. Display system with image display correction mechanism and method of operation thereof
JP5963933B2 (ja) * 2013-02-14 2016-08-03 三菱電機株式会社 信号変換装置及び方法、並びにプログラム及び記録媒体
TWI492608B (zh) * 2013-06-27 2015-07-11 Sonix Technology Co Ltd 影像處理裝置與色彩空間的劃分方法
US20150229932A1 (en) * 2013-07-12 2015-08-13 Sony Corporation Image processing device and image processing method
KR102019679B1 (ko) 2013-08-28 2019-09-10 삼성디스플레이 주식회사 데이터 처리 장치, 그것을 포함하는 표시 장치, 및 색역 매핑 방법
US20150213626A1 (en) * 2014-01-28 2015-07-30 Innolux Corporation Gamut mapping
EP3029925A1 (en) 2014-12-01 2016-06-08 Thomson Licensing A method and device for estimating a color mapping between two different color-graded versions of a picture
CN104732911B (zh) 2015-04-09 2017-03-15 京东方科技集团股份有限公司 显示驱动方法、驱动电路和显示装置
EP3110124A1 (en) 2015-06-25 2016-12-28 Thomson Licensing Hue changing color gamut mapping
CN105261326A (zh) * 2015-10-09 2016-01-20 惠州Tcl移动通信有限公司 调整显示色域的显示设备及其调整显示色域的方法
EP3226203A1 (en) * 2016-03-30 2017-10-04 Thomson Licensing Method for detection of saturated pixels in an image
US10319268B2 (en) * 2016-06-24 2019-06-11 Nanosys, Inc. Ambient light color compensating device
EP3285252B1 (en) * 2016-08-17 2020-02-12 e.solutions GmbH Technique for color profiling of a display device
EP3367659A1 (en) * 2017-02-28 2018-08-29 Thomson Licensing Hue changing color gamut mapping
US10264231B2 (en) 2017-03-31 2019-04-16 The Directv Group, Inc. Dynamically scaling the color temperature and luminance of a display output
CN110392243B (zh) 2018-04-16 2021-04-09 华为技术有限公司 色域映射的方法和装置
US10630867B2 (en) 2018-09-17 2020-04-21 Samsung Electronics Co., Ltd. Perceptual hue preserved color-gamut transferring in non-uniform CIE-1931 color space
EP3729801B1 (en) * 2018-12-27 2021-12-01 Dolby Laboratories Licensing Corporation Rendering wide color gamut, two-dimensional (2d) images on three-dimensional (3d) capable displays
US11348553B2 (en) 2019-02-11 2022-05-31 Samsung Electronics Co., Ltd. Color gamut mapping in the CIE 1931 color space
CN111312141B (zh) * 2020-02-18 2024-04-26 京东方科技集团股份有限公司 色域的调整方法及装置
US20230139880A1 (en) * 2021-10-29 2023-05-04 Project Giants, Llc System to display gamut excursion
CN114693523A (zh) * 2022-03-28 2022-07-01 深圳创维-Rgb电子有限公司 图像色准校正方法、装置、电子设备及可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06253138A (ja) * 1993-02-12 1994-09-09 Eastman Kodak Co 入力色空間の入力色値を出力色空間の出力色値に変換するための方法、及び関連装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5317426A (en) 1990-11-26 1994-05-31 Konica Corporation Color estimation method for expanding a color image for reproduction in a different color gamut
DE69420874T2 (de) * 1993-02-12 2000-05-04 Eastman Kodak Co., Rochester Verfahren zur geräteübergreifenden Farbbildkalibrierung und -verbesserung
US5615312A (en) * 1995-06-28 1997-03-25 Canon Information Systems, Inc. Color management system having business graphics rendering mode
KR100355378B1 (ko) * 1996-01-15 2002-12-26 삼성전자 주식회사 각종 조명광하에서의 칼라이미지 디스플레이방법
US6573889B1 (en) * 1999-02-08 2003-06-03 Adobe Systems Incorporated Analytic warping
JP3878351B2 (ja) 1999-02-23 2007-02-07 富士フイルムホールディングス株式会社 色変換装置および方法
JP2000311243A (ja) * 1999-04-28 2000-11-07 Sony Corp 画像色補正方法及び装置
JP3830747B2 (ja) * 2000-10-10 2006-10-11 三菱電機株式会社 色再現域圧縮方法および色再現域圧縮装置
US20020196972A1 (en) 2001-06-26 2002-12-26 Gokalp Bayramoglu Color correction for color devices based on illuminant sensing
US20030067435A1 (en) 2001-10-04 2003-04-10 Hong-Da Liu Adaptive gamma curve correction apparatus and method for a liquid crystal display
CN1316428C (zh) 2002-03-28 2007-05-16 诺基亚有限公司 用于显示图像的方法和装置
JP3719424B2 (ja) 2002-05-09 2005-11-24 セイコーエプソン株式会社 画像処理システム、プロジェクタ、画像処理方法、プログラムおよび情報記憶媒体
TWI260569B (en) * 2003-01-29 2006-08-21 Chunghwa Picture Tubes Ltd Plasma display panel with color space transformation device
KR20040085470A (ko) * 2003-03-31 2004-10-08 삼성전자주식회사 색변환장치 및 색변환방법
US7602537B2 (en) * 2004-05-06 2009-10-13 Canon Kabushiki Kaisha Gamut mapping with primary color rotation
US20060072130A1 (en) * 2004-09-28 2006-04-06 Agfa Monotype Corporation Method and system using gamut mapping templates to derive actual color gamut mapping

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06253138A (ja) * 1993-02-12 1994-09-09 Eastman Kodak Co 入力色空間の入力色値を出力色空間の出力色値に変換するための方法、及び関連装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140136375A (ko) * 2013-05-20 2014-11-28 삼성디스플레이 주식회사 영상 표시 장치
KR102160485B1 (ko) * 2013-05-20 2020-09-29 삼성디스플레이 주식회사 영상 표시 장치

Also Published As

Publication number Publication date
US20070223018A1 (en) 2007-09-27
TW200610381A (en) 2006-03-16
JP4668986B2 (ja) 2011-04-13
KR101136345B1 (ko) 2012-04-24
CN1951101A (zh) 2007-04-18
EP1747665A1 (en) 2007-01-31
KR20070010051A (ko) 2007-01-19
EP1747665B1 (en) 2017-09-06
WO2005109854A1 (en) 2005-11-17
US8026953B2 (en) 2011-09-27

Similar Documents

Publication Publication Date Title
JP4668986B2 (ja) カラー画像データの処理方法
US8441498B2 (en) Device and method for processing color image data
JP5611508B2 (ja) 周辺光適応的な色補正装置および方法
JP3134660B2 (ja) 色変換方法および色変換装置
US8325198B2 (en) Color gamut mapping and brightness enhancement for mobile displays
JP3632574B2 (ja) 環境適応型の画像表示システムおよび情報記憶媒体
US9940870B2 (en) Display unit, image processing unit, and display method for improving image quality
US8786585B2 (en) System and method for adjusting display based on detected environment
US8050496B2 (en) Color gamut mapping/enhancement technique using skin color detection
US9196204B2 (en) Image processing apparatus and image processing method
US20100165139A1 (en) Image gamut mapping
JPWO2003001499A1 (ja) 画像表示システム、プロジェクタ、画像処理方法および情報記憶媒体
KR20120091578A (ko) 영상의 밝기 변환 방법 및 장치
JP2006229925A (ja) 動的画像彩度処理装置
KR102522423B1 (ko) 디스플레이 장치 및 그의 영상 처리 방법
US20100156956A1 (en) Grayscale characteristic for non-crt displays
CN101552926B (zh) 一种彩色图像信号处理方法及装置
US20200251069A1 (en) Color image display adaptation to ambient light
JP2016149047A (ja) 画像処理装置、表示装置、及び、画像処理方法
JP4470587B2 (ja) 画像表示装置
JP2019201271A (ja) 投射型表示装置
US11862118B2 (en) Display data processing device, image display system, and display data processing method
Kim et al. Illuminant-adaptive color reproduction for mobile display
JP5476108B2 (ja) 表示装置
JP2011203438A (ja) 画像表示装置およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080501

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20080904

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20100106

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20100106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100223

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100727

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101026

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110104

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140121

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4668986

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140121

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140121

Year of fee payment: 3

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250