JP2001275125A - カラー画像撮影及び再生装置、カラー画像再現システムおよびカラー画像再現方法。 - Google Patents

カラー画像撮影及び再生装置、カラー画像再現システムおよびカラー画像再現方法。

Info

Publication number
JP2001275125A
JP2001275125A JP2000083078A JP2000083078A JP2001275125A JP 2001275125 A JP2001275125 A JP 2001275125A JP 2000083078 A JP2000083078 A JP 2000083078A JP 2000083078 A JP2000083078 A JP 2000083078A JP 2001275125 A JP2001275125 A JP 2001275125A
Authority
JP
Japan
Prior art keywords
color image
light
pixel
display
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000083078A
Other languages
English (en)
Other versions
JP4420303B2 (ja
Inventor
Tetsuo Tsutsui
哲夫 筒井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Semiconductor Energy Laboratory Co Ltd
Original Assignee
Semiconductor Energy Laboratory Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Semiconductor Energy Laboratory Co Ltd filed Critical Semiconductor Energy Laboratory Co Ltd
Priority to JP2000083078A priority Critical patent/JP4420303B2/ja
Publication of JP2001275125A publication Critical patent/JP2001275125A/ja
Application granted granted Critical
Publication of JP4420303B2 publication Critical patent/JP4420303B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Liquid Crystal (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Video Image Reproduction Devices For Color Tv Systems (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

(57)【要約】 【課題】実物と同一の自然な画像を再生可能なカラー画
像撮影及び再生装置、カラー画像再現システムおよびカ
ラー画像再現方法を提供すること。 【解決手段】カラー画像再現システムにおいて、まず、
被写体の画素毎の分光スペクトルを計測できる撮像デバ
イスを用いて物体を撮影する。この映像情報を数値処理
し、画素毎に任意の分光スペクトルを形成できる光放出
型デバイスを用いたディスプレイ装置でカラー像を再構
成する。本発明によれば、人間の目に直接物体から入射
する光と同一の分光スペクトルを有する光をディスプレ
イから放射することができるから、ディスプレイから放
射される光を直接的に、あるいは間接的に見た場合に
も、実物と同一の自然な色調の画像を再現できる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明はカラー画像撮影及び
再生装置、カラー画像再現システムおよびカラー画像再
現方法に関し、特に、カラーディスプレイの画像を、被
写体を直接人間の目が見たそのものに近づけるための装
置および方法に関するものである。
【0002】
【従来の技術】人間が感じる色は光の性質そのものでは
ない。即ち、分光スペクトル(分光エネルギー分布)が
同じのものは、同じ色に見える(アイソメリツクな性
質)が、同じ色に見えるからといって分光スペクトルが
同じとは限らない(メタメトリックな性質)。例えば、
テレビに映されるバナナの色は、黄色(580nm)の
光でなく、実は赤色と緑色の混合でできている。
【0003】従来、カラー表示(再現)は被写体の各部
(以後撮影する画素単位で表現して、物体の画素毎と表
現する)のカラー情報をRGB3色に色分解して撮影
し、再びディスプレイデバイスの画素毎のRGB3色を
再現することによっていた。即ち、被写体の画素毎の色
調は本来多様な分光スペクトル(分光エネルギー分布)
を持っているにもかかわらず、画像として再現される画
面の画素ではRGB3色の混色比のみで表現されてき
た。このことについて、人間の視覚受容器が3種しか存
在しないことを根拠とする3原色説を用いて、前記のよ
うな色分解と色再現の方法が人間の目には実物と変わら
ぬ画像を与えることが説明されてきた。
【0004】
【発明が解決しようとする課題】上記したような従来の
カラー画像再現システムにおいては、、如何にRGBの
色再現性に優れた発光素子を組み合わせて画素の色を再
現しても、実物が持つ分光スペクトルを完全には再現で
きない。実物との分光スペクトルの違いは、表示装置を
直接目で見た場合には明確に認識できないとしても、例
えば表示装置から発光した光が物体に当たり、その反射
光を見た場合に明確となる。例えば、前記した実物から
放出された黄色の光と、赤と緑のスペクトルにより合成
した黄色の光とを、黄色のみを反射する物体に当てて、
該物体を目で見た場合には、その反射光の色調や強度
(エネルギー)は明らかに異なる。
【0005】日常経験する事例としては、例えば蛍光灯
の光で見た衣服の色調と太陽光の下で見た色調とが異な
るという事実は周知である。これも、蛍光灯の光を直接
目で見た場合には太陽光と同一に見えるが、その分光ス
ペクトルは太陽光のように均一に分布したものではな
く、いくつかの輝線スペクトルによって構成されている
ために起こる。
【0006】更に、最近の視覚神経系に関する様々な実
験結果によれば、人間の視覚受容器は確かに3色の異な
るブロード(ある程度の帯域幅を有し、すその広がっ
た)なスペクトル感度を有し、該3種の受容器を用いて
画素毎の分光スペクトルを読み取るとしても、網膜、神
経系での情報処理は3つの分解色のデジタル的な加減算
処理ではないことが判明してきた。従って、分光スペク
トルまで忠実に再現したシステムの画像は、従来のRB
Gの混合による再現システムとは色調が異なって見える
可能性がある。しかし、従来のカラー画像再現システム
においては、上記したような問題を解決するようなシス
テムは実際に実現されていない。本発明の目的は、前記
のような従来技術の問題点を解決し、実物と同一の自然
な画像を再生可能なカラー画像撮影及び再生装置、カラ
ー画像再現システムおよびカラー画像再現方法を提供す
ることにある。
【0007】
【課題を解決するための手段】実物と最も近いディスプ
レイの実現方法としては、実物の画素から放射される光
の分光スペクトルと同一の分光スペクトルの光を放出す
る画素を並ベることによりディスプレイを構成すれば、
この問題は解決される。従って、本発明のカラー画像再
現システムにおいては、まず、被写体の画素毎の分光ス
ペクトルを計測できる撮像デバイスを用いて物体を撮影
する。この映像情報を数値処理し、ディスプレイ装置に
入力する。そして、画像を形成する際こ、画素毎に任意
の分光スペクトルを形成できる光放出型デバイスを用い
たディスプレイ装置でカラー像を再構成する。
【0008】本発明によれば、人間の目に直接物体から
入射する光と同一の分光スペクトルを有する光をディス
プレイから放射することができるから、ディスプレイか
ら放射される光を直接的に、あるいは間接的に見た場合
にも、実物と同一の自然な色調の画像を再現できる。
【0009】
【発明の実施の形態】以下、本発明の実施の形態を詳細
に説明する。図1は、本発明のカラー画像撮影装置の第
1実施例の構成を示す説明図である。以下、第1実施例
について、被写体からの入射光線を受光する撮像デバイ
スにおいて画素毎の分光スペクトルを直接的に取得し、
数値処理し、光放出型ディスプレイの入力信号を決定す
る方法を説明する。
【0010】第1実施例の撮像装置は、レンズ11およ
びライン型スペクトル分解撮像ユニット13からなる。
レンズ11は物体10の実像12を生成し、ライン型ス
ペクトル分解撮像ユニット13は、図示しない走査機構
によって実像12を走査することによって、各画素の分
光スペクトル情報を得る。
【0011】図2は、本発明のライン型スペクトル分解
撮像ユニット13の外観を示す斜視図である。また、図
3は、本発明のライン型スペクトル分解撮像ユニット1
3の断面を示す断面図である。ユニット13には細長い
スリット20が設けられている。スリットの幅は1画素
分の入射光が通過できる幅とする。
【0012】スリット20を通過した1ライン分の入射
光23は細長いプリズム21によって分光され、2次元
イメージセンサ22の上に焦点を結ぶ。イメージセンサ
22としては、可視領域の波長に対してほぼフラットな
感度を有する2次元イメージセンサとして、例えばCC
DイメージセンサあるいはCMOSイメージセンサ等を
使用可能である。
【0013】例えば被写体の画像をM行、N列の画素デ
ータに分解する場合に、画素毎に取得する分光スペクト
ルの波長分解データの数をRとすると、イメージセンサ
22の画素数はR行×N列のものが必要である。このユ
ニット13をM行の各位置に移動しながら各行の分光ス
ペクトル情報を読み出すことによって、被写体のM×N
×R個の画像情報が得られる。
【0014】1行を構成するN個の受光面にN個のマイ
クロプリズムないしはマイクロ回折格子を取り付け、こ
れにより分光した光をN×R個の受光面を持つ撮像素子
に入射させるようにしてもよい。更に、ラインユニット
13を機械的に動かすのではなく、鏡等を使用してライ
ンユニット13へ結像させるための光学系を動かしてM
行を走査するようにしてもよい。
【0015】図4は、本発明のカラー画像撮影装置の第
2実施例の構成を示す説明図である。第2実施例の撮影
装置としては、例えばCCDイメージセンサおよびレン
ズを使用し、レンズでセンサ上に像を結ばせ、多数の異
なる色フィルタを使用することにより、各画素毎のスペ
クトル情報を得る。図4において、センサの1画素分の
領域30には各波長に対応する多数のカラーフィルタ3
1〜42が装着された複数の感光領域が設けられてい
る。各領域において検出された各カラーフィルタに対応
するスペクトル情報は周知の構成によって読み出され
る。このような構成により、感度は低下するが動画像を
撮影することも可能となる。
【0016】画素から取得するスペクトルの分解能はそ
れほど高くなくてもよい。例えば350nmから750
nmまでの波長範囲を10nmの光学分解能で分割すれ
ば、40個の波長データでよいことになり、3色に色分
解した情報よりおよそ1桁多いデータを取り扱うことに
なる。
【0017】次に、この被写体の画像情報をディスプレ
イ上で再現することを考える。ここでもM×N個の画素
として表現することとし、それぞれの画素はP個の異な
る光放出スペクトルを持つ光放出型素子で構成されるも
のとする。光放出型素子としては、被写体から発するブ
ロードな分光スペクトルを再現するという意味から、輝
線発光型のものでなく、ブロードな分光スペクトルを持
つ素子を用いる。素子としては、例えば、有機EL素子
のように有機分子からの発光スペクトルを利用すること
が考えられる。
【0018】図5は、本発明における表示装置(ディス
プレイ)の第1実施例の構成を示す説明図である。光放
出型素子としては例えば有機EL素子を使用し、1画素
分の領域50内にP=6個の独立した有機EL発光素子
51〜56が配置されている。6個の有機EL素子51
〜56の発光中心波長は、例えば400、450、50
0、550、600、650nmであり、それぞれの発
光スペクトルの半値幅が70nmてあるとすれば、可視
光領域の任意のスペクトルを表現できる。各素子51〜
56は、それぞれの発光材料の違いではなく、それぞれ
異なる波長に対応したカラーフィルタを装着することに
より、それぞれ異なる中心波長のブロードな光を放出す
るようにしてもよい。
【0019】P個の光放出素子の相対出力を決めるため
に、P個のパラメータを予め計算しておく必要がある。
画素のスペクトルをR個の離散値、fk(k=1〜R)
とし、光放出型素子はP個あり、それらのスペクトル
は、glk(l=1〜P、k=1〜R)で表現できるもの
とする。各波長点(k=1〜R)における光の量を調節
するようにP個の光放出素子の光量、xl(l=1〜
P)を決定する式は下記(1)式である。
【0020】
【数1】
【0021】光放出素子の数Pが被写体の画素のスペク
トルの波長計測点数Rより充分少ないと仮定すると、R
>>Pであるので(1)式は最小自乗法で解析的に解け
るので、光放出素子の出力を決めるパラメータであるP
個のxl(l=1〜P)の値を計算できる。実践的には
人間の目が必要とする波長分解能を考慮に入れて、最小
限必要とされる撮像素子の波長分解能と光放出素子の必
要個数を決めればよい。
【0022】図6は、本発明における表示装置(ディス
プレイ)の第2実施例の構成を示す説明図である。この
実施例はハロゲンランプ等の白色光源60からの光を、
1画素当たり例えば6色のカラーフィルターを備えた透
過型液晶表示パネル62を通過させてレンズ63により
図示しないスクリーンに結像させる投射型表示装置であ
る。
【0023】次に、カラー画像再現システムの他の実施
例について説明する。前記した実施例で示した撮像デバ
イスとしては、現在商業的に生産されているデバイスの
流用はできず、量産するにはコストが高いことが予想さ
れる。また取り扱うデータ量が従来の画像データと比較
しておよそ一桁増えることが問題点として残されてい
る。そこで、上記した実施例とほぼ代替可能な、より簡
便な方法を提示する。この実施例は、被写体からの撮像
デバイスヘの入射光線の画素毎のスペクトルを3個以上
の異なるスペクトル感度を持つ検出器で同時に計測し、
数値処理により画素毎のスペクトルを再構成し、光放出
型ディスプレイの入力信号を決定する方法である。
【0024】この方法は、元来人間の目がカラー情報を
取得する際には、波長分解能が低い3種の異なる感度ス
ペクトルをもつ視細胞が用いられているので、最小限3
個のブロードな感度特性を持つ受光器で得た情報で、人
間の視覚が取得していると同等の情報が得られるはずで
あるとの考察から生まれたものである。
【0025】被写体からの入射光線を受光する撮像デバ
イスの面をM行、N列の画素で考える。各画素の光をM
×N個の受光面を持つCCD撮像ユニットに入射させ
る。ひとつの画素は異なるフィルターを付けた3個以上
のCCD撮像素子から成る。一画素を構成するCCD撮
像素子の数は人間の視細胞の感度特性に合わせた感度特
性を持つ最低3個で構成できるが、光放出素子で可視ス
ペクトルの両端付近の色(青色、赤色領域)を再現する
必要があることを考慮に入れれば4〜5個の異なる感度
特性の撮像素子を一組として画素を構成した方がよい。
【0026】次に、この被写体の画像情報R’個を用い
て、ディスプレイ上で画素のスペクトルを再現すること
を考える。P個の光放出素子の相対出力を決めるため
に、P個のパラメータ、yl(l=1〜P)を予め計算
するが、情報としては、(1)R’個の撮像素子の受光
感度特性dk(λ)(k=1〜R’)、(2)R’個の受
光強度データ、fk(k=1〜R’)、(3)P個の光
放出素子の光放出スペクトルg(λ)の三種であるとす
る。
【0027】画素で受光する光のスペクトルをG(λ)
とすると、R’個の素子で受光した受光強度、fk(k
=1〜R’)は下記の(2)式で与えられる。
【0028】
【数2】
【0029】一方、G(λ)をディスプレイの画素で表
現する際には、下記(3)式が成立する必要がある。
【0030】
【数3】
【0031】(3)式を(2)式に入れて整理すると、
【数4】
【0032】ここで、
【数5】
【0033】は受光素子と光放出素子の性能で決まる装
置定数である。従って、yl(l=1〜P)を求める式
は(6)式で与えられるR’個の連立方程式である。
【0034】
【数6】
【0035】未知数がP個で方程式がR’個であり、通
常P>R’であるので、方程式の解は一般には不定であ
るが、更に便宜的に必要な条件を付加することによっ
て、確定解を求めることができる。
【0036】ディスプレイは撮像デバイスと同一のM
行、N列の画素から構成され、各画素にはP個の光放出
型素子から形成されており、その各素子の光量は前出の
出力パラメータで決められる。光放出素子としては例え
ば6個の有機EL素子を用い、その発光中心波長が40
0,450、500、550、600、650nmであ
り、それぞれの発光スペクトルの半値幅が70nmであ
るとすれば、可視光領域の任意のスペクトルを表現でき
る。実践的には人間の目が必要とする波長分解能を考慮
に入れて最小限必要とされる、画素を構成する撮像素子
の個数及び光放出素子の必要個数を決めればよい。
【0037】
【発明の効果】従来、ディスプレイはRGB三色の光の
加色混合で表現するしかなく、ディスプレイ画面に表現
される映像は、物体からの光を直に目で観察する場合と
は全くことなる分光スペクトルを有するごまかしの画像
であったが、本発明のカラー画像再現システムにより、
初めて人間が物体を直接見るときと同じ像をディスプレ
イ画面に表示できるようになるという効果がある。本発
明によれば、人間の目に直接物体から入射する光と同一
の分光スペクトルを有する光をディスプレイから放射す
ることができるから、ディスプレイから放射される光を
直接的に、あるいは間接的に見た場合にも、実物と同一
の自然な色調の画像を再現できる。本発明のカラー画像
再現システムはテレビジョン、情報端末など、より自然
な映像を再現することが要求されている用途に利用でき
る。
【図面の簡単な説明】
【図1】本発明のカラー画像撮影装置の第1実施例の構
成を示す説明図である。
【図2】本発明のスペクトル分解撮像ユニットの外観を
示す斜視図である。
【図3】本発明のスペクトル分解撮像ユニットの断面を
示す断面図である。
【図4】本発明のカラー画像撮影装置の第2実施例の構
成を示す説明図である。
【図5】本発明における表示装置の第1実施例の構成を
示す説明図である。
【図6】本発明の表示装置の第2実施例の構成を示す説
明図である。
【符号の説明】
10…物体、11…レンズ、12…実像、13…ライン
型分解撮像ユニット、20…スリット、21…プリズ
ム、22…イメージセンサ、23…入射光、30…1画
素分の領域、31〜42…カラーフィルタ、50…1画
素分の領域、51〜56…発光素子、60…白色光源、
61…レンズ、62…透過型液晶表示パネル、63…レ
ンズ

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】被写体の各部から発する光の分光スペクト
    ルの情報を取得する撮像デバイスを用いて被写体を撮影
    して、カラー画像情報を取得することを特徴とするカラ
    ー画像撮影装置。
  2. 【請求項2】画素毎に、所定の帯域を有する3色以上の
    色分解機構を備えた撮像デバイスを用いてカラー画像情
    報を取得することを特徴とする請求項1に記載のカラー
    画像撮影装置。
  3. 【請求項3】分光スペクトルをディスプレイの各画素毎
    において再現することが可能な光放出型ディスプレイを
    用いて、カラー画像をディスプレイ上に再現するカラー
    画像再生装置。
  4. 【請求項4】発光素子として有機EL素子を使用するこ
    とを特徴とする請求項3に記載のカラー画像再生装置。
  5. 【請求項5】被写体の各部から発する光の分光スペクト
    ルの情報を取得する撮像デバイスを用いて被写体を撮影
    して、カラー画像情報を取得するカラー画像撮影手段
    と、 取得したカラー画像情報を加工する加工手段と、 分光スペクトルをディスプレイの各画素毎において再現
    することが可能な光放出型ディスプレイを用いて、加工
    したカラー画像情報をディスプレイ上に再現するカラー
    画像再生手段とを備えたことを特徴とするカラー画像を
    ディスプレイ上に再現するカラー画像再現システム。
  6. 【請求項6】撮像デバイスを用いて被写体の各部から発
    する光の分光スペクトルの情報を取得する工程と、 前記情報を加工する工程と、 光放出型ディスプレイを用いて、前記加工した情報に基
    づき、分光スペクトルをディスプレイの画素毎に再現す
    る工程とを含むことを特徴とするカラー画像再現方法。
JP2000083078A 2000-03-24 2000-03-24 カラー画像再現システムおよびカラー画像再現方法 Expired - Fee Related JP4420303B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000083078A JP4420303B2 (ja) 2000-03-24 2000-03-24 カラー画像再現システムおよびカラー画像再現方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000083078A JP4420303B2 (ja) 2000-03-24 2000-03-24 カラー画像再現システムおよびカラー画像再現方法

Publications (2)

Publication Number Publication Date
JP2001275125A true JP2001275125A (ja) 2001-10-05
JP4420303B2 JP4420303B2 (ja) 2010-02-24

Family

ID=18599780

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000083078A Expired - Fee Related JP4420303B2 (ja) 2000-03-24 2000-03-24 カラー画像再現システムおよびカラー画像再現方法

Country Status (1)

Country Link
JP (1) JP4420303B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4821322B2 (ja) * 2003-10-09 2011-11-24 ソニー株式会社 画像処理システムおよび画像処理方法、画像表示装置および方法、並びに、画像処理装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09327024A (ja) * 1996-06-07 1997-12-16 Olympus Optical Co Ltd 画像処理装置
JPH1012379A (ja) * 1996-06-24 1998-01-16 Idemitsu Kosan Co Ltd 多色発光装置およびその製造方法
JP2000333186A (ja) * 1999-05-19 2000-11-30 Fuji Photo Film Co Ltd マルチバンド画像出力方法および装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09327024A (ja) * 1996-06-07 1997-12-16 Olympus Optical Co Ltd 画像処理装置
JPH1012379A (ja) * 1996-06-24 1998-01-16 Idemitsu Kosan Co Ltd 多色発光装置およびその製造方法
JP2000333186A (ja) * 1999-05-19 2000-11-30 Fuji Photo Film Co Ltd マルチバンド画像出力方法および装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4821322B2 (ja) * 2003-10-09 2011-11-24 ソニー株式会社 画像処理システムおよび画像処理方法、画像表示装置および方法、並びに、画像処理装置

Also Published As

Publication number Publication date
JP4420303B2 (ja) 2010-02-24

Similar Documents

Publication Publication Date Title
US10492660B2 (en) Image processing apparatus and endoscope
EP2720014B1 (en) A method for determining calibration parameters for a spectrometer
US7995838B2 (en) Color chart processing apparatus, color chart processing method, and color chart processing program
US8416414B2 (en) Systems and methods for multispectral imaging
JP6524617B2 (ja) 撮像装置および方法
US20090294640A1 (en) System for capturing graphical images using hyperspectral illumination
CN108370422A (zh) 利用单个矩阵传感器采集可见和近红外图像的系统和方法
US20040135739A1 (en) Three-dimensional image display method, device for the same, light direction detector, and light direction detecting method
JP2007006061A (ja) カラーフィルター及びそれを有する撮像装置
JP6341335B2 (ja) 二次元測色装置
JP4420303B2 (ja) カラー画像再現システムおよびカラー画像再現方法
JP4533261B2 (ja) 撮像装置
Lee et al. Building a two-way hyperspectral imaging system with liquid crystal tunable filters
Haneishi et al. Image acquisition technique for high dynamic range scenes using a multiband camera
Maeda et al. Acquiring multispectral light transport using multi-primary DLP projector
JP2010127723A (ja) 形状測定装置
JP3730424B2 (ja) 微分スペクトル画像処理装置
JP3500018B2 (ja) テレビドアホン装置の焦点調節方法
JP2022006624A (ja) 校正装置、校正方法、校正プログラム、分光カメラ、及び情報処理装置
CN113614489A (zh) 使用多个波长的光的单色成像
JP2021076512A (ja) 分光測定方法および分光測定装置
TWI843820B (zh) 使用多種波長之光單色成像的顏色檢查方法
KR101242929B1 (ko) 다파장 구별 촬영 장치
US11079277B2 (en) Spectral imaging device and method
Tominaga et al. Real-time color measurement using active illuminant

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090409

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090414

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091126

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091126

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121211

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4420303

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121211

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121211

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131211

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees