JP2007121375A - 画像表示システム及びその方法 - Google Patents
画像表示システム及びその方法 Download PDFInfo
- Publication number
- JP2007121375A JP2007121375A JP2005309523A JP2005309523A JP2007121375A JP 2007121375 A JP2007121375 A JP 2007121375A JP 2005309523 A JP2005309523 A JP 2005309523A JP 2005309523 A JP2005309523 A JP 2005309523A JP 2007121375 A JP2007121375 A JP 2007121375A
- Authority
- JP
- Japan
- Prior art keywords
- data
- image
- image display
- unit
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Picture Signal Circuits (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
【解決手段】本発明の画像表示システムは、HDR形式の画像データを出力する画像処理装置及び画像データをHDR形式で表示する画像表示装置から構成されており、画像処理装置が、画像データをトーンマッピングして、階調度データを生成する変換処理部と、階調度データを補正して、HDR形式の画像データに戻す補正データを生成する補正データ生成部と、階調度データと補正データとを、各々異なる信号線へ出力する出力制御部とを有し、画像表示装置が、入力される階調データと補正データとから画像データを再生する画像データ再生部と、画像データを表示装置に表示させる画像表示部とを有している。
【選択図】図1
Description
また、HDR表示を行うディスプレイとしても、入射光の3原色を画像データに対応して輝度変調する色変調光学素子と、RGBそれぞれの色変調光学素子から入射した光の全波長領域の輝度を変調する輝度変調光学素子とを光学的に直列に配置し、スクリーンに投射する2変調系投射型表示装置が開発されている。
例えば、ドットクロックとして、XGA(1024×768)において66MHzが必要であり、SXGA(1280×1024)において110MHzが必要であり、UXGA(1600×1200)において165MHzが必要であり、QXGA(2048×1536)において264MHzが必要となる。
る。
RGB信号がRGB各8ビットのピクセルデータ形式の場合、上述したDualリンクを用い、表示画面を2つに分割して、各々にインターフェースを対応させて、実質的に2倍の解像度のデータを送信したり、また、解像度を増加させるのではなく、各画素のデータの階調数をRGB各16ビットのピクセルデータとして表現することも可能である(例えば、特許文献1参照)。
以下、HDR形式としては、例えば32ビットの浮動小数点で表され、高い輝度値のダイナミックレンジを有した画像データ(R、G,B毎)の形式を示す。
画像生成部101は、例えば、HDRレンダリング技術などを用いて上記画像データの生成を行う。
変換処理部102は、上記画像データを読み込み、輝度値の広いダイナミックレンジを、トーンマッピングによりブロック分けし、通常の画像表示装置、すなわちLDR(Low Dynamic Range)形式の画像データを表示するディスプレイに対応するよう、R,G,B毎に、8ビットの階調度データに変換する。
これにより、データ送信部104は出力部106を介して階調度データD1を信号線108へ出力し、データ送信部105は出力部7を介して階調度データD2を信号線109へ出力する。ここで、信号線108及び信号線109はDualリンクを構成している。
画像合成処理部115は、階調データ1及び階調データ2を合成して、フレーム単位の画像データを再生し、この画像データを表示制御部116へ順次出力する。
そして、表示制御部116は、入力される画像データに対応した画像を、表示装置117に表示させる。
また、上述したDualリンクを使用するために、DVIの規格上、EDID(Extended Display Identification Data)の実装が必要である。上記EDIDの情報を画像表示装置側から画像処理装置側に送付するDDC1(Display Data Channel version 1)方式は、単純なために実装は容易であるが、DVIにおいてDDC2B(Display Data Channel Bi-directional)の実装が必須である。
しかし、DDC2Bの実装は、画像処理装置及び画像表示装置の双方ともに複雑な演算処理が必要であり、CPUの実装と処理プログラムの作成が必要であるが、標準的な規格に準拠してRGB各16ビットで画像信号を画像処理装置から画像表示装置ヘ伝達するためにはかなりの開発工数を要し、製造コストが増大する。
本発明の画像表示システムは、前記補正データが浮動小数点のデータ形式であることを特徴とする。
これによれば、本発明の画像表示システムは、少ないビット数の信号線によって、輝度値に対して高いダイナミックレンジ幅を有する画像データを送信することができる。
本発明の画像表示装置は、階調度データ及び補正データとからなるHDR形式の画像データを入力し、該画像データをHDR形式で表示する画像表示装置であり、入力される前記階調データと補正データとから画像データを再生する画像データ再生部と、前記画像データを表示装置に表示させる画像表示部とを有していることを特徴とする。
一実施形態は、HDR形式の画像データを出力する画像処理装置1と、入力される画像データをHDR形式で表示する画像表示装置2とから構成されている。
上記画像処理装置1は、HDR形式の画像データを生成する画像生成部11(この構成は設けずに、外部に接続するCAD等でもよい)と、画像データをトーンマッピングして、階調度データを生成する変換処理部12と、階調度データを補正して、HDR形式の画像データに戻す補正データを生成する補正データ生成部13と、階調度データ及び補正データを各々異なる信号線へ出力する出力制御部14とを有している。
また、画像表示装置2は、入力される階調データと補正データとから画像データを再生する画像データ再生部26と、画像データを表示部29に表示させる画像表示部(信号処理部27及び表示制御部28)とを有している。
出力制御部14は、階調度データと補正データとを、それぞれデータ送信部15,データ送信部16へ振り分けて出力する。
データ送信部15は、入力される階調度データを出力部17を介して、信号線31へ出力する。
データ送信部16は、入力される階調度データを出力部18を介して、信号線32へ出力する。
本発明においては、画像表示装置2側にて受信した階調度データ及び補正データから、HDR形式の画像データ再生する際、同期しているか否かを検出するタイミング検出において、表示画面を表示するのに用いる垂直同期信号(VSYNC)及び水平同期信号(HSYNC)が使われる。また、表示制御部28が表示部29に表示する際、垂直同期信号は最上ラインを決めるために使われ、水平同期信号は各ラインの表示画素ピクセルデータの位置を決めるために使われる。
そのため、1つの画像処理装置から、2つの異なる画像表示装置に対して画像データを送信する場合、通常は2系統の信号線に流れる画像データは同期が取られずに、各々が独立のタイミングで送出されている。
しかし、本発明の実施形態のように、視聴者に用いられる画像表示装置のコストを低下させるため、バッファメモリを設けない場合、入力された階調度データ及び補正データから順次画像データを再生して、表示部29に対して表示させるため、2系統の異なる信号線31及び32に送出する垂直同期信号及び水平同期信号の同期を取り、階調度データ及び補正データを送出する必要がある。
ユーザは、画像生成部11(例えば、HDR対応のCADシステム)においてHDRレンダリング技術を用いて、または写真や映像から抽出したHDR形式の画像データで表されたHDR画像を生成する。
そして、生成されたHDR画像を画像表示装置2へ転送して、このHDR画像を表示部29に表示させる場合にて説明する。
画像生成部11は、変換処理部12に対し、HDR画像における上記画像データを、表示部29へ表示する順番に、順次出力する。
ここで、通常、ビデオインターフェースに流れる画像データは、表示されるディスプレイの特性(γ特性、γ2.2)に対応させて、所定のγ値(γ0.45)で逆γ変換されており、絶対的な輝度でなく、相対的な輝度となっている。このため、表示部29に表示されるHDR画像が、制作したユーザの意図と異なる画像状態となる場合がある。
したがって、上述した問題を回避するため、輝度値のダイナミックレンジが広いHDR対応の画像表示装置に対し、HDR形式での絶対輝度値の画像データを送信する必要がある。例えば、32ビットの浮動小数点表示で送信すれば良いが、通常のモニタに接続する場合には、階調度データのみを必要とする場合が多くあり、本実施形態は互換性の観点から階調度データのみを供給できる構成としている。
ここで生成される補正データと、階調データとの対応は、HDR形式の画像データとして実用的な数値として、少なくとも10万以上のコントラスト比、最低輝度値として0.001cd/m2程度、最大輝度値として数百cd/m2程度を、2本の8ビットの信号線を使用して実現すると、以下のようなデータ構成となる。
指数部のビットを少なくすると輝度値のダイナミックレンジが狭くなるため、指数部hを3ビットとし、仮数部nを5ビットとし、指数部に対して「−10」のオフセットを与え、「n×2(h−10)」の浮動小数点形式のデータ構成となる。したがって、階調データmを8ビットとすると、画像データは階調度データと補正データとを乗算し、以下に示す(1)式となる。
m×n×2(h−10) …(1)
1×1×2(−10)=0.000977cd/m2
となる。
また、最大値として、m=255,n=31,h=7の場合、
255×31×2(7−10)=988.125cd/m2
となる。
最大値と最小値とのコントラスト比は、約106となり、HDR形式の画像データとしての特性を満足することとなる。
出力制御部14は、入力される階調データと補正データとを振り分け、例えば、階調データをデータ送信部15へ出力し、補正データをデータ送信部16へ、振り分けて出力する。
ここで、結果として1つのHDR形式の画像データ(ピクセルデータ)に対して、トーンマッピングを施した従来形式の8ビットの階調度データと、補正データとの2つのデータを送信することになる。
ここでいう同期を合わせるということは、データ送信部15及びデータ送信部16間において、出力制御部14が同期とれた同一のドットクロックにより、水平同期信号(HSYNC)及び垂直同期信号(VSYNC)を同じタイミングで送信し、かつ、対応する階調度データ及び補正データも同一のタイミングで送信することを意味している。
次に、データ受信部23は、入力部21を介して、信号線31から階調度データを入力し、同期検出部25へ出力する。
同様に、データ受信部24は、入力部22を介して、信号線32から補正データを入力し、同期検出部25へ出力する。
次に、同期検出部25は、パルス幅W1,W2及びWaの比較を行い、W1=W2=Waとして、パルス幅W1,W2及びWaの全てが等しいと検出された場合、図3(b)に示すように、水平同期信号S1と水平同期信号S2との同期が取れていることを検出する。
また、図3(b)及び(c)からも判るように、水平同期信号S1及び水平同期信号S2のパルス幅、送出タイミング、同期信号の周波数(すなわちドットクロックの周波数)のいずれか一つでも異なる場合、パルス幅W1=W2=Waを満たすことができない。
これにより、画像データ再生部26は、(1)式により、階調度データに対して、補正データの1を乗算するため、階調度データのみを信号処理部27へ出力する。
また、同期検出部25は、補正データの受信を無効として、画像データ再生部26に対して無効であることを示す制御情報を送信しても良い。この場合、画像データ再生部26は、補正データが無効であることを示す制御信号が入力されると、何も処理を行わずに、入力される階調度データをそのまま信号処理部27へ出力する。
画像データ再生部26は、階調度データ及び補正データが入力されると、(1)式により、入力された階調度データと補正データとを、ピクセル単位でR,G,B毎に乗算し、HDR形式の画像データを再生して、再生された画像データを信号処理部27に対して出力する。
表示制御部28は、入力される表示データにより、表示部29に対する表示処理を行い、高い輝度値のダイナミックレンジを有するHDR形式の画像を、表示部29に表示する。
例えば、画像表示装置2が従来例に記載した2変調系投射型表示装置(2変調系プロジェクタ)であると、偏光が揃った光信号をR,G,Bに分離し、R,G,B毎に用意された色変調を行う第1変調ライトバルブにより変調し、色変調後の光信号を合成して、合成後の光信号の全波長域の輝度変調を第2変調ライトバルブにより行い、色変調及び輝度変調後の信号光を、投射レンズより表示部29(スクリーン)に投射する表示処理が行われる。
そして、表示制御部28は、第1変調制御信号により第1変調ライトバルブを制御して、光信号の色変調を行い、第2変調制御信号により第2変調ライトバルブを制御して、3つの第1変調ライトバルブから出射後に合成された光信号の輝度変調を行い、投射レンズを介して、表示部29のスクリーンに対し、画像データのR,G,B各々の輝度情報に対応した画像の表示を行う。
Claims (6)
- HDR形式の画像データを出力する画像処理装置及び前記画像データをHDR形式で表示する画像表示装置から構成される画像表示システムであり、
画像処理装置が、
前記画像データをトーンマッピングして、階調度データを生成する変換処理部と、
前記階調度データを補正して、HDR形式の画像データに戻す補正データを生成する補正データ生成部と、
前記階調度データと補正データとを、各々異なる信号線へ出力する出力制御部と
を有し、
画像表示装置が、
入力される前記階調データと補正データとから画像データを再生する画像データ再生部と、
前記画像データを表示装置に表示させる画像表示部と
を有していることを特徴とする画像表示システム。 - 前記補正データ生成部が画像データを階調度データで除算し、除算結果を補正データとして出力することを特徴とする請求項1記載の画像表示システム。
- 前記補正データが浮動小数点のデータ形式であることを特徴とする請求項2記載の画像表示システム。
- 前記補正データを送信する信号線が8ビットである場合、補正データの仮数部を5ビット、指数部を3ビットとし、指数部には−10のオフセットを与えることを特徴とする請求項2及び請求項3に記載の画像表示システム。
- 前記出力制御部は前記階調度データ及び補正データ各々の垂直同期信号及び水平同期信号を同期させて出力することを特徴とする請求項1から請求項4のいずれかに記載の画像表示システム。
- 画像処理装置がHDR形式の画像データを出力し、画像表示装置が該画像データを入力してHDR形式で表示する画像表示方法であり、
画像処理装置において、
画像生成部がHDR形式の画像データを生成する画像生成過程と、
変換処理部が画像データをトーンマッピングして、階調度データを生成する変換処理過程と、
補正データ生成部が前記階調度データを補正して、HDR形式の画像データに戻す補正データを生成する補正データ生成過程と、
出力部が前記階調度データと補正データとを、各々異なる信号線へ出力する出力制御過程と
を有し、
画像表示装置において、
画像データ再生部が入力される前記階調データと補正データとから画像データを再生する画像データ再生過程と、
画像表示部が前記画像データを表示装置に表示させる画像表示過程と
を有していることを特徴とする画像表示方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005309523A JP4899412B2 (ja) | 2005-10-25 | 2005-10-25 | 画像表示システム及びその方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005309523A JP4899412B2 (ja) | 2005-10-25 | 2005-10-25 | 画像表示システム及びその方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007121375A true JP2007121375A (ja) | 2007-05-17 |
JP4899412B2 JP4899412B2 (ja) | 2012-03-21 |
Family
ID=38145321
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005309523A Expired - Fee Related JP4899412B2 (ja) | 2005-10-25 | 2005-10-25 | 画像表示システム及びその方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4899412B2 (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010169596A (ja) * | 2009-01-23 | 2010-08-05 | Olympus Corp | 画像処理システム、画像処理装置および画像処理端末 |
JP2010263437A (ja) * | 2009-05-07 | 2010-11-18 | Canon Inc | 画像処理装置および画像処理方法 |
JP2014510339A (ja) * | 2011-03-02 | 2014-04-24 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 局所マルチスケールトーンマッピングオペレータ |
US8723961B2 (en) | 2008-02-26 | 2014-05-13 | Aptina Imaging Corporation | Apparatus and method for forming and displaying high dynamic range (HDR) images |
JP2014090418A (ja) * | 2009-03-10 | 2014-05-15 | Dolby Lab Licensing Corp | 拡張ダイナミックレンジおよび拡張次元をもつ画像信号変換 |
JP2015142276A (ja) * | 2014-01-29 | 2015-08-03 | キヤノン株式会社 | 表示装置、表示装置の制御方法、及び、プログラム |
JP2016110158A (ja) * | 2016-01-25 | 2016-06-20 | キヤノン株式会社 | 表示装置、表示装置の制御方法、プログラム、及び、処理装置 |
JP2016149753A (ja) * | 2015-02-10 | 2016-08-18 | 株式会社Jvcケンウッド | 表示システム、処理装置、表示装置、表示方法、及びプログラム |
JP2017531829A (ja) * | 2014-10-06 | 2017-10-26 | ライカ マイクロシステムズ (シュヴァイツ) アクチエンゲゼルシャフトLeica Microsystems (Schweiz) AG | 対象物の高ダイナミックレンジ合成画像を取得するための顕微鏡および方法 |
JP2018006877A (ja) * | 2016-06-28 | 2018-01-11 | シャープ株式会社 | 映像伝送装置、表示装置、映像表示システム、映像配信装置、映像配信システム、映像送受信システム、プログラム、記録媒体、および映像伝送方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06309146A (ja) * | 1992-07-15 | 1994-11-04 | Internatl Business Mach Corp <Ibm> | 数の浮動小数点表示を整数表示に変換するための装置およびピクセルの値を生成するための方法 |
JP2005284251A (ja) * | 2004-03-01 | 2005-10-13 | Seiko Epson Corp | 階調制御装置、光学表示装置、階調制御プログラム、光学表示装置制御プログラム、階調制御方法及び光学表示装置制御方法 |
JP2007534238A (ja) * | 2004-04-23 | 2007-11-22 | ブライトサイド テクノロジーズ インコーポレイテッド | 高ダイナミックレンジ画像の符号化、復号化、及び表現 |
-
2005
- 2005-10-25 JP JP2005309523A patent/JP4899412B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06309146A (ja) * | 1992-07-15 | 1994-11-04 | Internatl Business Mach Corp <Ibm> | 数の浮動小数点表示を整数表示に変換するための装置およびピクセルの値を生成するための方法 |
JP2005284251A (ja) * | 2004-03-01 | 2005-10-13 | Seiko Epson Corp | 階調制御装置、光学表示装置、階調制御プログラム、光学表示装置制御プログラム、階調制御方法及び光学表示装置制御方法 |
JP2007534238A (ja) * | 2004-04-23 | 2007-11-22 | ブライトサイド テクノロジーズ インコーポレイテッド | 高ダイナミックレンジ画像の符号化、復号化、及び表現 |
JP2011193511A (ja) * | 2004-04-23 | 2011-09-29 | Dolby Lab Licensing Corp | 高ダイナミックレンジ画像データを復号化するための装置及び方法、表示用画像を処理可能なビューア、ならびに表示装置 |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9299317B2 (en) | 2008-01-07 | 2016-03-29 | Dolby Laboratories Licensing Corporation | Local multiscale tone-mapping operator |
US8723961B2 (en) | 2008-02-26 | 2014-05-13 | Aptina Imaging Corporation | Apparatus and method for forming and displaying high dynamic range (HDR) images |
JP2010169596A (ja) * | 2009-01-23 | 2010-08-05 | Olympus Corp | 画像処理システム、画像処理装置および画像処理端末 |
US8503743B2 (en) | 2009-01-23 | 2013-08-06 | Olympus Corporation | Image processing system, image processing device and image processing terminal |
JP2014090418A (ja) * | 2009-03-10 | 2014-05-15 | Dolby Lab Licensing Corp | 拡張ダイナミックレンジおよび拡張次元をもつ画像信号変換 |
CN104486605A (zh) * | 2009-03-10 | 2015-04-01 | 杜比实验室特许公司 | 扩展动态范围和扩展维数图像信号转换 |
CN104486605B (zh) * | 2009-03-10 | 2017-04-12 | 杜比实验室特许公司 | 扩展动态范围和扩展维数图像信号转换 |
JP2016105594A (ja) * | 2009-03-10 | 2016-06-09 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 拡張ダイナミックレンジおよび拡張次元をもつ画像信号変換 |
JP2010263437A (ja) * | 2009-05-07 | 2010-11-18 | Canon Inc | 画像処理装置および画像処理方法 |
US9501818B2 (en) | 2011-03-02 | 2016-11-22 | Dolby Laboratories Licensing Corporation | Local multiscale tone-mapping operator |
JP2014510339A (ja) * | 2011-03-02 | 2014-04-24 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 局所マルチスケールトーンマッピングオペレータ |
US9773458B2 (en) | 2014-01-29 | 2017-09-26 | Canon Kabushiki Kaisha | Display apparatus and control method thereof |
JP2015142276A (ja) * | 2014-01-29 | 2015-08-03 | キヤノン株式会社 | 表示装置、表示装置の制御方法、及び、プログラム |
JP2017531829A (ja) * | 2014-10-06 | 2017-10-26 | ライカ マイクロシステムズ (シュヴァイツ) アクチエンゲゼルシャフトLeica Microsystems (Schweiz) AG | 対象物の高ダイナミックレンジ合成画像を取得するための顕微鏡および方法 |
US10591711B2 (en) | 2014-10-06 | 2020-03-17 | Leica Microsystems (Schweiz) Ag | Microscope and method for obtaining a high dynamic range synthesized image of an object |
JP2016149753A (ja) * | 2015-02-10 | 2016-08-18 | 株式会社Jvcケンウッド | 表示システム、処理装置、表示装置、表示方法、及びプログラム |
JP2016110158A (ja) * | 2016-01-25 | 2016-06-20 | キヤノン株式会社 | 表示装置、表示装置の制御方法、プログラム、及び、処理装置 |
JP2018006877A (ja) * | 2016-06-28 | 2018-01-11 | シャープ株式会社 | 映像伝送装置、表示装置、映像表示システム、映像配信装置、映像配信システム、映像送受信システム、プログラム、記録媒体、および映像伝送方法 |
Also Published As
Publication number | Publication date |
---|---|
JP4899412B2 (ja) | 2012-03-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4899412B2 (ja) | 画像表示システム及びその方法 | |
US7830401B2 (en) | Information processing apparatus | |
Itoh et al. | Semi-parametric color reproduction method for optical see-through head-mounted displays | |
JP5280627B2 (ja) | 液晶表示装置及びその駆動方法 | |
US7729593B2 (en) | Image and sound output system, image and sound data output device, and recording medium | |
TW577228B (en) | Image processing system, projector, information recording medium, and black/white decompression processing method | |
JP2004069996A (ja) | プロジェクタシステム並びに情報処理装置及びプロジェクタ | |
KR100912116B1 (ko) | 모니터 | |
US20070195209A1 (en) | Color calibrating device and associated system and method | |
CN101001353B (zh) | 显示装置及其控制方法 | |
TW200832350A (en) | Method and related device of increasing efficiency of video display | |
JP2009122412A (ja) | 画像表示システム及び画像表示装置 | |
JP5904754B2 (ja) | 情報処理システム、情報処理装置、それらの制御方法、およびプログラム | |
WO2001091099A1 (fr) | Systeme d'affichage d'image de type s'adaptant a l'environnement, procede de traitement d'image et programme | |
JP2006067085A (ja) | 空間光通信システム用の送信装置および受信装置 | |
JP2006106345A (ja) | 映像表示装置 | |
JP2008109328A (ja) | 色再現域補正回路と補正方法 | |
JP5207846B2 (ja) | 映像処理装置およびその制御方法 | |
CN109688401B (zh) | 数据传输方法、显示系统、显示设备及数据存储设备 | |
US8125540B2 (en) | Video presenting system having outputs for dual images | |
JP2000050315A (ja) | 立体画像の階調表示制御方法および装置 | |
JP2005234566A (ja) | 表示システム及び画像処理装置 | |
JP2019220752A (ja) | 情報処理装置 | |
US11545058B2 (en) | Electronic device and control method for electronic device | |
JP2018129745A (ja) | 表示装置、表示システム、および投影システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080916 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20080917 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111206 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111219 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4899412 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150113 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |