JP2004336107A - 画像表示装置および輝度制御方法 - Google Patents

画像表示装置および輝度制御方法 Download PDF

Info

Publication number
JP2004336107A
JP2004336107A JP2003124948A JP2003124948A JP2004336107A JP 2004336107 A JP2004336107 A JP 2004336107A JP 2003124948 A JP2003124948 A JP 2003124948A JP 2003124948 A JP2003124948 A JP 2003124948A JP 2004336107 A JP2004336107 A JP 2004336107A
Authority
JP
Japan
Prior art keywords
luminance
correction amount
image
brightness
luminance correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003124948A
Other languages
English (en)
Other versions
JP4298367B2 (ja
Inventor
Shigeji Yoshikawa
繁治 吉川
Seiichiro Yano
誠一郎 矢野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2003124948A priority Critical patent/JP4298367B2/ja
Publication of JP2004336107A publication Critical patent/JP2004336107A/ja
Application granted granted Critical
Publication of JP4298367B2 publication Critical patent/JP4298367B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Receiver Circuits (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】ユーザに違和感を与えることなく自動輝度補正を行うことのできる画像表示装置および輝度制御方法を提供する。
【解決手段】ステップS1において読み取られた光検出出力Xから、ステップS2において、目標輝度補正量Y0と上限輝度変化量ΔYとが算出される。ステップS3において、目標輝度補正量Y0と現在の輝度補正量Yとの差分と、上限輝度変化量ΔYとを比較する。差分の絶対値がΔY以下の場合には、ステップS5において、Y0を用いて次の輝度補正量Y’が決定される。差分の絶対値がΔYより大きい場合には、ステップS4,6において、ΔYを用いて次の輝度補正量Y’が決定される。
【選択図】 図4

Description

【0001】
【発明の属する技術分野】
本発明は画像表示装置および輝度制御方法に関し、特に、光センサを用いて画像表示装置の自動輝度補正を行う技術に関する。
【0002】
【従来の技術】
従来の光センサを用いた自動輝度補正を行う画像表示装置は、例えば特許文献1に示されているように、内蔵する輝度設定回路に、設計者が検証した結果より推奨される外光強度−輝度補正量の関係である輝度補正特性を有している。この輝度補正特性は、例えば特許文献2に示されているように、マニュアル操作で画面の輝度を制御し輝度補正特性を変化させることにより、ユーザの個人差に対応した最適輝度に調整することもできる。加えて、例えば特許文献3に示されているように、これらの輝度補正特性をメモリ内にテーブルとして持ち直線的比例関係でない輝度補正特性を任意に設定することにより、使用環境に細かく適合した輝度調整を行う画像表示装置および自動輝度補正方法も存在する。
【0003】
【特許文献1】
特開平5−227497号(第2−3頁、第1図)
【特許文献2】
特開平5−88655号(第2−4頁、第1図)
【特許文献3】
特開平6−348245号(第2−7頁、第1図)
【0004】
【発明が解決しようとする課題】
上記のような従来の光センサを用いた自動輝度補正を行う画像表示装置においては、設計者が推奨する外光強度−輝度補正量の輝度補正特性もしくはユーザの要求に応じた輝度補正特性を用いている。しかし、例えば、ユーザが日中の外光下での使用を想定し急峻な輝度補正特性を選択した場合や、外光強度が短時間に大きく変化する場合には、輝度も短時間に大きく変化するので、ユーザに違和感を与えてしまうことがあるという問題点があった。
【0005】
本発明は以上の問題点を解決するためになされたものであり、ユーザに違和感を与えることなく自動輝度補正を行うことのできる画像表示装置および輝度制御方法を提供することを目的とする。
【0006】
【課題を解決するための手段】
上記の目的を達成するために、請求項1に記載の発明に係る輝度制御方法は、表示すべき画像を外部から入力する工程と、外光強度を所定のサンプリング周期で検出しそれに応じた光検出出力を生成する工程と、前記光検出出力に基づき、入力された画像の輝度を補正するための輝度補正量の目標となる目標輝度補正量を求める工程と、前記光検出出力に基づき、補正による輝度変化量の上限値となる上限輝度変化量を求める工程と、求められた前記目標輝度補正量と前記上限輝度変化量とに基づき、入力された画像に実際に加えるべき輝度補正量を決定する工程と、決定された輝度補正量に基づき、前記画像の輝度を補正する工程と、輝度を補正された画像を表示する工程とを備える。
【0007】
また、請求項3に記載の発明に係る画像表示装置は、表示すべき画像を外部から入力する画像入力部と、外光強度を所定のサンプリング周期で検出しそれに応じた光検出出力を生成する光検出手段と、前記光検出出力と入力された画像の輝度を補正するための輝度補正量の目標となる目標輝度補正量との対応特性、及び、前記光検出出力と補正による輝度変化量の上限値となる上限輝度変化量との対応特性を記憶する記憶手段と、前記光検出出力と前記目標輝度補正量と前記上限輝度変化量とに基づき、入力された画像に実際に加えるべき輝度補正量を決定する演算手段と、決定された輝度補正量に基づき、前記画像の輝度を補正する輝度補正手段と、輝度を補正された画像を表示する画像表示手段とを備える。
【0008】
【発明の実施の形態】
<実施の形態1>
図1は、本発明の実施の形態1に係る投射型の画像表示装置100を示すものである。画像表示装置100は、光センサ110と、記憶手段120と、演算手段130と、画像入力部140と、輝度補正回路150と、画像出力部160と、画像表示手段170と、指示入力手段180とを備える。これらの構成要素について、まず概略を説明する。
【0009】
光センサ110は、画像表示装置100周辺の外光強度を検出しそれに応じた光検出出力を生成するためのものである。記憶手段120は、光検出出力−輝度補正量の関係である輝度補正特性等を格納している。演算手段130は、記憶手段120に格納されている輝度補正特性に基づき、光センサ110の光検出出力から輝度補正量を算出するためのものである。画像入力部140は、外部から画像表示装置100内へ画像を入力するためのものである。輝度補正回路150は、算出された輝度補正量に基づき、入力された画像を補正するためのものである。補正された画像は画像出力部160から画像表示手段170に出力され、画像表示手段170によりスクリーン190に投射される。指示入力手段180は、ユーザからの指示を画像表示装置100に入力するためのものである。
【0010】
次に、図1に示される画像表示装置100の動作について詳細に説明する。
【0011】
まず、画像表示装置100周辺の外光強度が、光センサ110によって検出される。光センサ110は、画像表示装置100の天面や側面のような、外光強度が検出できる位置に設置されている。また光センサ110は、素子に特有の外光強度−光検出出力特性を持っており、この光検出出力が演算手段130に与えられる。即ち光センサ110は、光検出手段として機能する。
【0012】
記憶手段120には、ユーザの使用照明環境下において、ユーザの読み取りに最適な明るさに画像の輝度を補正するための輝度補正量の目標となる目標輝度補正量が記憶されている。即ち、記憶手段120には、光検出出力と目標輝度補正量との関係である輝度補正特性が格納されている。また、記憶手段120には、輝度補正時にユーザに違和感を与えないように輝度を変化させるための輝度変化量の上限値である上限輝度変化量も記憶されている。目標輝度補正量および上限輝度変化量は、光検出出力に対し例えば図2に示すような特性を有しており、予め測定されその結果がテーブルとして格納されている。目標輝度補正量Y0および上限輝度変化量ΔYは、外光強度Xが0のときの輝度を基準とした補正量および変化量であるので、X=0においては、Y0=0,ΔY=0となる。またこれらの特性は、予め複数種類のものを格納しておき、指示入力手段180から指示を入力することによりユーザが任意のものを選択してもよい。
【0013】
光センサ110からの光検出出力Xを入力された演算手段130は、後述する手順により、記憶手段120に格納された目標輝度補正量Y0と上限輝度変化量ΔYとに基づいて、画像に実際に加えるべき輝度補正量Yを決定し輝度補正回路150に入力する。輝度補正回路150は入力されたこの輝度補正量Yを用いて、画像表示装置100の外部から画像入力部140を通して入力された画像の輝度を補正する。即ち輝度補正回路150は、輝度補正手段として機能する。補正された画像は画像出力部160から画像表示手段170に出力され、画像表示手段170によりスクリーン190に投射される。この結果、画像表示手段170によりスクリーン190に投射される画像は、ユーザに違和感を与えることなく、ユーザの使用照明環境下において読み取りに最適な輝度の画像へと自動輝度補正される。
【0014】
次に、図3に示されるブロック図と、図4に示されるフローチャートとを用いて、画像表示装置100内部の演算手段130における輝度補正量Yの算出工程について説明する。図3に示すように、演算手段130は、算出ブロック131と、判定ブロック132と、待ち時間設定手段133とを有する。また、算出ブロック131は、演算処理ブロック134と記憶制御ブロック135とを有し、待ち時間設定手段133は、タイマ136と、カウンタ137とを有する。
【0015】
まず、図4のステップS1において、演算手段130は、光センサ110からの光検出出力Xを読み取る。
【0016】
次に、ステップS2において、記憶制御ブロック135は、記憶手段120に格納されている特性テーブルを用いて、読み取られた光検出出力Xから、目標輝度補正量Y0と上限輝度変化量ΔYとを算出する。
【0017】
次に、ステップS3において、判定ブロック132は、画像に加えられている現在の輝度補正量Yと、目標輝度補正量Y0とを比較し、その結果に基づき、画像に加えられるべき次の輝度補正量Y’を決定する。しかしこのとき、ユーザが選択した輝度補正特性が急峻な場合には、目標輝度補正量Y0と現在の輝度補正量Yとの差が大きくなり、目標輝度補正量Y0を次の輝度補正量Y’として画像に加えてしまうと、短期間に変化する輝度が大き過ぎるので、ユーザに違和感を与えてしまうことになる。そこで、目標輝度補正量Y0と現在の輝度補正量Yとの差分(Y0−Y)の絶対値を算出し、この差分(Y0−Y)と上限輝度変化量ΔYとの比較を行う。そして、比較結果に応じて、ステップS4〜S6をそれぞれ実施する。
【0018】
即ち、差分(Y0−Y)の絶対値が上限輝度変化量ΔY以下である場合には、ステップS5に進み、次の輝度補正量Y’として、目標輝度補正量Y0をそのまま設定する。
【0019】
また、差分(Y0−Y)の絶対値が上限輝度変化量ΔYよりも大きい場合には、ステップS4又はステップS6に進み、目標輝度補正量Y0ではなく上限輝度変化量ΔYを用いて次の輝度補正量Y’を決定する。具体的には、Y0−Y<−ΔY(即ちY−Y0>ΔY)の場合には、ステップS4に進み次の輝度補正量Y’として(Y−ΔY)を設定する。また、Y0−Y>ΔYの場合には、ステップS6に進み次の輝度補正量Y’として(Y+ΔY)を設定する。
【0020】
上記の説明より、ステップS4〜6のいずれに進んだ場合にも、次の輝度補正量Y’は、現在の輝度補正量Yに比べて、目標輝度補正量Y0にΔYだけ近づいた値となることが分かる。
【0021】
次に、ステップS7において、演算手段130は、ステップS4〜6で得られた次の輝度補正量Y’を更新して現在の輝度補正量Yとし、輝度補正回路150に与える。そして、輝度補正回路150は与えられたこの現在の輝度補正量Yを用いて、画像表示装置100の外部から画像入力部140を通して入力された画像の輝度を補正する。
【0022】
次に、ステップS8において、時間待ちを行う。これにより、一周期の動作が完了する。この時間待ちは、外光強度検出のサンプリング周期と画像の輝度補正の周期とを決定するものである。図3に示される、演算回路130において、待ち時間設定手段133は、固定周期を有するタイマ136からの出力を、カウンタ137を用いて所定のカウント数Nだけカウントすることにより、所望の周期Tを設定することが可能である。この周期Tは、例えば、人の視覚が輝度変化に応答可能な時間である10数msec程度の時間になるようにカウント数Nを設定することにより、滑らかに輝度変化が認識できるような値に設定してもよい。
【0023】
上記のステップS1〜S8からなるシーケンスを繰り返すことにより、図5に示すように、画像の輝度は段階的に変化し、最終的に目標輝度補正量Y0に収束する。
【0024】
以上で説明したように、本実施の形態に係る画像表示装置100は、演算手段130が、輝度補正回路150に与える輝度補正量Yを、目標輝度補正量Y0と上限輝度変化量ΔYとを用いて制御する。従って、ユーザが日中の外光下での使用を想定し急峻な輝度補正特性を選択した場合や、照明をつける(消す)ことにより外光強度が短時間に大きく変化する場合にも、輝度補正量の一時的な変化を上限輝度変化量ΔY以下に抑えることができ、ユーザに違和感を与えることなく自動輝度補正を行うことができるという効果を有する。よって、ユーザの目の負担を軽減できるという効果を有する。
【0025】
<実施の形態2>
図6〜8は、本発明の実施の形態2に係る輝度制御方法を示す図、グラフおよびフローチャートである。本実施の形態においては、図6に示すように、画像表示装置100が備える光センサ110と、照明200との間を、手等の障害物が一時的に通り外光を遮って、再び離れる場合等について想定する。実施の形態1における一例として説明したように、外光強度検出のサンプリングの周期Tが、人の視覚が輝度変化に応答可能な時間である10数msec程度の時間に設定されていたとすると、検出される外光強度Xは、図7(a)および図7(c)に示されるように大きく変化する。よって、この障害物による遮蔽が時間が1sec以下の短いものであったとしても、周期Tが10数msec程度の時間幅(T1)であれば、ΔYの補正が複数回行われることにより、輝度補正量Yは図7(b)に示すように大きく変化する。従って、スクリーン190周辺の明るさが変化していないにも拘わらず画像の輝度が大きく変化することになるので、ユーザに輝度変化として認識されてしまう。
【0026】
そこで、図4に示されるフローチャートに対して、図8に示すようにステップS8−1を追加する。ステップS8−1においては、ユーザは、指示入力手段180から指示を入力することにより、カウンタ137のカウント数Nを設定し待ち時間(即ち周期T)を変更する。ここで例えば、図7(d)に示すように、周期Tを、障害物が通る時間である数sec程度の時間幅(T2)に設定し、ステップS8−2において時間待ちを行うと、ΔYの補正が行われる回数は1回だけとなる。従って、輝度補正量Yの変化はΔYとなるので、ユーザに輝度変化として認識されてしまうことはなくなる。
【0027】
以上で説明したように、本実施の形態に係る図8の輝度制御方法においては、実施の形態1に係る図4の輝度制御方法にステップS8−1を追加しユーザがカウント数Nを設定できるようにしている。従って、実施の形態1の効果に加えて、外光強度が一時的に変化した場合の輝度変化を小さくできるという効果を有する。
【0028】
【発明の効果】
以上、説明したように、請求項1に記載の発明に係る輝度制御方法および請求項3に記載の発明に係る画像表示装置は、ユーザが日中の外光下での使用を想定し急峻な輝度補正特性を選択した場合や、照明をつける(消す)ことにより外光強度が短時間に大きく変化する場合にも、輝度補正量の一時的な変化は上限輝度変化量以下に抑えることができ、ユーザに違和感を与えることなく自動輝度補正を行うことができるという効果を有する。よって、ユーザの目の負担を軽減できるという効果を有する。
【図面の簡単な説明】
【図1】実施の形態1に係る画像表示装置100を示す構成図である。
【図2】実施の形態1に係る目標輝度補正量および上限輝度変化量を示すグラフである。
【図3】実施の形態1に係る演算手段130を示すブロック図である。
【図4】実施の形態1に係る輝度補正方法を示すフローチャートである。
【図5】実施の形態1に係る輝度補正方法を示すグラフである。
【図6】実施の形態2に係る輝度補正方法が必要とされる状況を示す図である。
【図7】実施の形態2に係る輝度補正方法を示すグラフである。
【図8】実施の形態2に係る輝度補正方法を示すフローチャートである。
【符号の説明】
100 画像表示装置、110 光センサ、120 記憶手段、130 演算手段、131 算出ブロック、132 判定ブロック、133 待ち時間設定手段、134 演算処理ブロック、135 記憶制御ブロック、136 タイマ、137 カウンタ、140 画像入力部、150 輝度補正回路、160 画像出力部、170 画像表示手段、180 指示入力手段、190 スクリーン、200 照明。

Claims (4)

  1. 表示すべき画像を外部から入力する工程と、
    外光強度を所定のサンプリング周期で検出しそれに応じた光検出出力を生成する工程と、
    前記光検出出力に基づき、入力された画像の輝度を補正するための輝度補正量の目標となる目標輝度補正量を求める工程と、
    前記光検出出力に基づき、補正による輝度変化量の上限値となる上限輝度変化量を求める工程と、
    求められた前記目標輝度補正量と前記上限輝度変化量とに基づき、入力された画像に実際に加えるべき輝度補正量を決定する工程と、
    決定された輝度補正量に基づき、前記画像の輝度を補正する工程と、
    輝度を補正された画像を表示する工程とを備える輝度制御方法。
  2. 請求項1に記載の輝度制御方法であって、
    前記サンプリング周期をユーザが入力する工程をさらに備える輝度制御方法。
  3. 表示すべき画像を外部から入力する画像入力部と、
    外光強度を所定のサンプリング周期で検出しそれに応じた光検出出力を生成する光検出手段と、
    前記光検出出力と入力された画像の輝度を補正するための輝度補正量の目標となる目標輝度補正量との対応特性、及び、前記光検出出力と補正による輝度変化量の上限値となる上限輝度変化量との対応特性を記憶する記憶手段と、
    前記光検出出力と前記目標輝度補正量と前記上限輝度変化量とに基づき、入力された画像に実際に加えるべき輝度補正量を決定する演算手段と、
    決定された輝度補正量に基づき、前記画像の輝度を補正する輝度補正手段と、
    輝度を補正された画像を表示する画像表示手段とを備える画像表示装置。
  4. 請求項3に記載の画像表示装置であって、
    前記サンプリング周期をユーザが入力するための指示入力手段をさらに備える画像表示装置。
JP2003124948A 2003-04-30 2003-04-30 画像表示装置および輝度制御方法 Expired - Fee Related JP4298367B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003124948A JP4298367B2 (ja) 2003-04-30 2003-04-30 画像表示装置および輝度制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003124948A JP4298367B2 (ja) 2003-04-30 2003-04-30 画像表示装置および輝度制御方法

Publications (2)

Publication Number Publication Date
JP2004336107A true JP2004336107A (ja) 2004-11-25
JP4298367B2 JP4298367B2 (ja) 2009-07-15

Family

ID=33502350

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003124948A Expired - Fee Related JP4298367B2 (ja) 2003-04-30 2003-04-30 画像表示装置および輝度制御方法

Country Status (1)

Country Link
JP (1) JP4298367B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008109609A (ja) * 2006-09-29 2008-05-08 Seiko Epson Corp プロジェクタ
JP2008197250A (ja) * 2007-02-09 2008-08-28 Matsushita Electric Ind Co Ltd 画像処理装置及び画像処理方法
WO2010089970A1 (ja) * 2009-02-09 2010-08-12 三菱電機株式会社 画像表示装置
JP2010252379A (ja) * 2010-06-18 2010-11-04 Mitsubishi Electric Corp 画像表示装置
JP2017513050A (ja) * 2014-03-13 2017-05-25 ▲華▼▲為▼▲終▼端有限公司 バックライト輝度を調整するための方法及び電子デバイス

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008109609A (ja) * 2006-09-29 2008-05-08 Seiko Epson Corp プロジェクタ
JP2008197250A (ja) * 2007-02-09 2008-08-28 Matsushita Electric Ind Co Ltd 画像処理装置及び画像処理方法
WO2010089970A1 (ja) * 2009-02-09 2010-08-12 三菱電機株式会社 画像表示装置
JP2010181779A (ja) * 2009-02-09 2010-08-19 Mitsubishi Electric Corp 画像表示装置
US8717341B2 (en) 2009-02-09 2014-05-06 Mitsubishi Electric Corporation Display apparatus which adjusts the responsivity of the display brightness to ambient lighting based on the time of day
JP2010252379A (ja) * 2010-06-18 2010-11-04 Mitsubishi Electric Corp 画像表示装置
JP2017513050A (ja) * 2014-03-13 2017-05-25 ▲華▼▲為▼▲終▼端有限公司 バックライト輝度を調整するための方法及び電子デバイス

Also Published As

Publication number Publication date
JP4298367B2 (ja) 2009-07-15

Similar Documents

Publication Publication Date Title
US20110181567A1 (en) Brightness correction device and brightness correction method
TW595218B (en) Imaging apparatus including automatic brightness adjustment function and imaging method
US9329466B2 (en) Image projection apparatus in which lamp power is determined by measured illuminance
JP2005175786A5 (ja)
JP2002323690A (ja) 液晶表示装置の自動調光方法及び装置
JP4298367B2 (ja) 画像表示装置および輝度制御方法
US20100046936A1 (en) Photographing control method and apparatus using strobe
JP2007300187A (ja) 画像投射装置
JP2010060638A (ja) 画像表示装置及びその方法
JP2006050255A (ja) 大画面表示システムおよびその輝度補正法
TWI557494B (zh) 全景影像的拍攝方法
KR100833951B1 (ko) 디스플레이장치 및 그 제어방법
JP2008185714A (ja) プロジェクタ、プログラムおよび情報記憶媒体
KR101650437B1 (ko) 실물 크기 출력용 프로젝터
JPH09149337A (ja) ディスプレイで輝度とコントラストを自動制御するシステムと方法
JPH0588655A (ja) 画面輝度制御装置
JP2004279580A (ja) プロジェクタ
JP6456750B2 (ja) 画像処理装置
JPH10198328A (ja) ディスプレイ装置の輝度自動調整システム
JPH0535240A (ja) マルチスキヤンデイスプレイの自動調整装置
CN110838279A (zh) 一种背光调整的方法及装置
TWI258632B (en) Projector
JP2003143620A (ja) 投射用レンズの状態に対応した色むら補正方法とその装置
JP5692546B2 (ja) 画像表示装置および画像調整方法
JPH1172816A (ja) オートブラケティング撮影装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090120

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090318

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090414

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090415

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120424

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120424

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130424

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130424

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140424

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees