JP2004170086A - 車両用情報提供装置 - Google Patents

車両用情報提供装置 Download PDF

Info

Publication number
JP2004170086A
JP2004170086A JP2002332675A JP2002332675A JP2004170086A JP 2004170086 A JP2004170086 A JP 2004170086A JP 2002332675 A JP2002332675 A JP 2002332675A JP 2002332675 A JP2002332675 A JP 2002332675A JP 2004170086 A JP2004170086 A JP 2004170086A
Authority
JP
Japan
Prior art keywords
information
video
input
output
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002332675A
Other languages
English (en)
Other versions
JP4093024B2 (ja
Inventor
Takeshi Akatsuka
健 赤塚
Rumi Minagawa
留美 皆川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2002332675A priority Critical patent/JP4093024B2/ja
Publication of JP2004170086A publication Critical patent/JP2004170086A/ja
Application granted granted Critical
Publication of JP4093024B2 publication Critical patent/JP4093024B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】車両内において、外部からの映像入力を最適な提示形態で提供する。
【解決手段】入力映像情報を入力画像保存部11に一時保存し、入力映像情報を映像情報提示装置4により提供するときには出力映像保存部12に一時保存する。随時入力映像情報を更新しながら提供するに際して、映像情報を提供開始してからの経過時間を経過時間計測装置3にて計測して、映像情報差異演算部13により、出力映像保存部12に保存されている映像情報と、入力画像保存部11に保存されている映像情報の画面毎の差異を演算する。そして、出力制御部14では、出力映像情報と入力映像情報との差異が小さい場合には入力映像情報を提示して映像情報の更新をする。これに対し、出力映像情報と入力映像情報との差異が大きい場合には提供時間が一定時間を計測した後に入力映像情報を提示して、映像情報の更新をする。
【選択図】 図1

Description

【0001】
【発明の属する技術分野】
本発明は、車両内において映像情報を随時更新しながら提供する車両用情報提供装置に関する。
【0002】
【従来の技術】
従来より、自動車用のナビゲーションシステムとしては、製造時に一体として組み込まれているものや、販売後に後から取り付けられるものが知られている。
【0003】
【特許文献1】
特開2002−286482号公報
【0004】
【発明が解決しようとする課題】
しかしながら、上述のナビゲーションシステムにおいて製造時に一体として組み込まれているものは、ユーザの好みに従って他のどのようなナビゲーションシステムやモニタを装着可能な機構を有していない。したがって、販売後にモニタ等の他の機器を取り付けたとしても、設置場所の問題や突起物になるなどの問題があった。
【0005】
また、製造時に一体として組み込まれたナビゲーションシステムのモニタだけを利用して、ユーザが後から好みのナビゲーション装置を接続しようとした場合、既存のモニタに外部ビデオ入力として入力するため、走行中に表示ができないという問題があった。
【0006】
そこで、本発明は、上述した実情に鑑みて提案されたものであり、外部からの映像入力を最適な提示形態で提供することができる車両用情報提供装置を提供するものである。
【0007】
【課題を解決するための手段】
本発明に係る車両用情報提供装置では、映像情報を映像情報入力手段にて入力すると入力情報保存手段に入力映像として一時保存し、入力した映像情報を提供手段により提供するときには入力映像を提供情報保存手段に出力映像として一時保存する。このような車両用情報提供装置では、随時入力される映像情報を更新しながら提供手段にて提供するに際して、提供している出力映像を提供開始してからの経過時間を時間計測手段にて計測して、演算手段により、出力映像と入力映像との差異を、画面毎に演算する。
【0008】
そして、提供制御手段では、出力映像と入力映像との差異が閾値より小さい場合には、入力映像を提示して、映像情報の更新をする。これに対し、提供制御手段では、出力映像と入力映像との差異が閾値よりも大きい場合には、提供時間が一定時間を計測した後に入力映像を提示して、映像情報の更新をする。
【0009】
【発明の効果】
本発明に係る車両用情報提供装置によれば、入力映像と出力映像との差異を演算し、差異が小さい場合には提供する映像を逐次更新し、差異が大きい場合には映像を提供してから一定時間経過後に更新するようにしたので、動きの大きいような映像情報を動画として再生してしまうことなく、更新の速度が遅い映像をそのまま表示することができ、外部からの映像入力を最適な提示形態で提供する車両用の情報提供装置とすることができる。
【0010】
【発明の実施の形態】
以下、本発明の第1実施形態及び第2実施形態について図面を参照して説明する。
【0011】
[第1実施形態]
本発明は、例えば図1に示すように構成された車両用情報提供システムに適用される。
【0012】
[車両用情報提供システムの構成]
この車両用情報提供システムは、車両用情報提供装置1に映像情報入力部2、経過時間計測装置3、映像情報提示装置4が接続されて構成されている。
【0013】
この車両用情報提供システムでは、例えばNTSC(National Television System Committee)方式のビデオ入力端子で構成された映像情報入力部2から映像情報を入力すると共に、経過時間計測装置3からの経過時間情報を入力して、車両用情報提供装置1により、映像情報提示装置4により提示する映像情報を制御するものである。この映像情報入力部2には、例えば外部のナビゲーション装置やテレビ映像生成装置などが接続され、動きが少ないナビゲーション用地図映像や、動きが多いテレビ映像やビデオ映像が送られる。
【0014】
本例において、経過時間計測装置3としては、車載のタイマを車両用情報提供装置1を構成するマイクロコンピュータに接続して構成しても良く、マイクロコンピュータ内に搭載されているタイマにて構成しても良い。また、映像情報提示装置4は、例えば車載用の液晶ディスプレイである。
【0015】
車両用情報提供装置1は、車載のマイクロコンピュータ及び記憶機構にて構成されており、図示しないROM(Read Only Memory)等に記憶した映像表示制御プログラムを起動して、後述の処理を実行する。この車両用情報提供装置1は、映像情報入力部2と接続された入力画像保存部11、映像情報提示装置4に出力制御される映像情報を記憶する出力映像保存部12、経過時間計測装置3と接続された映像情報差異演算部13、映像情報提示装置4と接続された出力制御部14を備える。
【0016】
入力画像保存部11及び出力映像保存部12は、例えばRAM(Random Access Memory)などにて構成され、少なくとも一画面分の映像情報を一時保存する記憶容量を有してなる。なお、本例では、入力画像保存部11と出力映像保存部12とを別個に図示しているが、単一のRAMにて構成されていても良い。
【0017】
入力画像保存部11は、映像情報入力部2を介して映像情報提示装置4に表示するための映像情報(入力映像情報)が入力される。また、出力映像保存部12には、入力画像保存部11に保存された映像情報のうち、映像情報提示装置4に表示する映像情報(出力映像情報)が入力される。
【0018】
また、この車両用情報提供装置1は、図示しないメモリ管理装置を備え、入力画像保存部11に入力されていた入力情報をコピーして出力映像保存部12に出力映像として記憶させる。ここで、メモリ管理装置は、出力制御部14により出力映像保存部12の出力映像が読み込まれて提供されたときに、入力映像のコピーを実行する。
【0019】
映像情報差異演算部13は、入力画像保存部11に保存された入力映像情報と出力映像保存部12に保存された出力映像情報を読み出して、差異を演算する。このとき、映像情報差異演算部13では、下記式1の演算式を用いて差異の演算をする。
【0020】
【数1】
Figure 2004170086
上記式1において、G1(x,y)は入力映像の座標(x,y)の画素の色情報であり、G2(x,y)は出力映像の座標(x,y)の画素の色情報である。また、「height」は入力画像及び出力画像の縦方向の画素数を示し、「width」は入力画像及び出力画像の幅方向の画素数を示す。更に、演算式f(G1(x,y)G2(x,y))は、入力画像G1の画素と出力画像G2の画素とが同一のときには演算結果が「1」となり、入力画像G1の画素と出力画像G2の画素とが同一のときには演算結果が「0」となる。
【0021】
このような演算式を用いることで、映像情報差異演算部13では、出力映像と入力映像の画面座標上の対応する画素同士の差異を演算式f(G1(x,y)G2(x,y))にて求め、この演算式の結果を入力映像と出力映像の画像全体で合計して、出力画像の画素と入力映像の画素とが異なる映像部分の画面全体に占める割合を求める。
【0022】
また、この映像情報差異演算部13により入力画像保存部11に保存された入力映像情報と出力映像保存部12に保存された出力映像情報との差異を演算する他の手法としては、下記式2の演算式を用いても良い。
【0023】
【数2】
Figure 2004170086
上記式2において、r1(x,y)は入力画像の座標(x,y)の画素に含まれるR(red)、G(green)、B(blue)の3原色のうち赤(R)成分の強さ情報であり、g1(x,y)は入力画像の座標(x,y)の画素に含まれる緑(G)成分の強さ情報であり、b1(x,y)は入力画像の座標(x,y)の画素に含まれる青(B)成分の強さ情報である。また、r2(x,y)は出力画像の座標(x,y)の画素に含まれる赤(R)成分の強さ情報であり、g2(x,y)は出力画像の座標(x,y)の画素に含まれる緑(G)成分の強さ情報であり、b2(x,y)は出力画像の座標(x,y)の画素に含まれる青(B)成分の強さ情報である。
【0024】
このような演算式を用いることで、映像情報差異演算部13では、出力映像と入力映像の画面座標上の対応する画素同士の色成分ごとの差異を求め、この結果の合計値によって出力映像と入力映像の画面の差異を求める。
【0025】
また、この映像情報差異演算部13では、出力制御部14により出力映像情報を映像情報提示装置4に表示させたことに応じて、経過時間計測装置3による経過時間の計測を開始させる。これにより、映像情報差異演算部13では、現在の映像を表示開始してからの経過時間情報を出力制御部14に送る。
【0026】
出力制御部14は、出力映像保存部12に記憶された出力映像情報を読み出して、映像情報提示装置4に出力することで、映像情報提示装置4に出力映像情報を用いた表示をさせる制御をする。このとき、出力制御部14では、映像情報差異演算部13による差異演算結果及び経過時間情報を参照して、出力映像保存部12に記憶された出力映像情報を映像情報提示装置4に出力するかを判定することで、表示する情報の制御をする。このとき、出力制御部14では、下記の演算式を用いる。
【0027】
【数3】
Figure 2004170086
上記式3において、h(t)は、映像情報提示装置4に表示する映像を更新することを許容する許容値(閾値)を演算する関数であって、経過時間tが長くなるほど許容値を大きくする。このような演算式を用いることで、出力制御部14では、式1を用いた差異演算結果よりも関数h(t)の許容値が大きい場合や、差異演算結果よりも関数h(t)が大きくない場合を判定して、判定結果に応じた映像の更新をする。なお、式2により差異を求める場合には、式3の右辺が式2となる。
【0028】
そして、出力制御部14では、差異が所定の変化よりも大きいと判定した場合には経過時間情報により一定時間が経過したと判定した後に出力映像を映像情報提示装置4に出力し、差異が所定の変化よりも大きくないと判定した場合には一定時間が経過していない場合でも出力映像を映像情報提示装置4に出力する。
【0029】
[車両用情報提供システムによる表示制御処理]
つぎに、上述した車両用情報提供システムにおいて、映像情報を映像情報提示装置4にて表示させるときの処理手順について図2のフローチャートを参照して説明する。
【0030】
先ず、車両用情報提供システムが起動して、映像情報入力部2に映像情報が入力されると、入力画像保存部11に入力映像として保存し(ステップS1)、当該入力映像をコピーして出力映像として出力映像保存部12に保存する(ステップS2)。
【0031】
これに応じて、出力制御部14では、最初の入力映像を出力映像保存部12から映像情報提示装置4に出力して、映像表示をさせると共に、最初の映像を表示させた時刻から経過時間計測装置3を起動して、映像表示を開始した時刻からの経過時間の計測を開始する(ステップS3)。
【0032】
そして、映像を表示している状態において、新たな映像情報が映像情報提示装置4を介して入力画像保存部11に保存された場合には(ステップS4)、映像情報差異演算部13により、新たな入力映像と、先のステップS2にて出力映像保存部12にコピーされて映像情報提示装置4にて表示されている出力映像との比較をする(ステップS5)。このとき、映像情報差異演算部13では、上記式1又は上記式2の演算式の何れかを使用して差異演算結果を得て、経過時間計測装置3からの経過時間情報と共に出力制御部14に送る。
【0033】
次に、出力制御部14では、映像情報差異演算部13からの経過時間情報から関数h(t)の許容値(閾値)を設定して、式1又は式2にて求めた差異演算結果との大小比較をすることで、出力映像と入力映像との差異が許容値よりも小さいか否かを判定する(ステップS6)。ここで、関数h(t)は、経過時間が長いほど許容値を大きくし、入力映像と出力映像の全体が異なっていても、一定時間(例えば1秒)に1回の映像の更新を許容する許容値を設定する。
【0034】
出力映像と入力映像との差異が許容値よりも小さいと判定した場合には、ステップS4にて入力画像保存部11に保存した入力映像をコピーして出力映像保存部12に出力映像として保存する(ステップS7)。そして、出力制御部14により、保存した出力映像を映像情報提示装置4に出力して表示している映像の更新をすると共に、経過時間計測装置3の経過時間の測定をリセットさせ、更新をした出力映像を表示開始した時刻からの経過時間の計測を開始させて(ステップS8)、ステップS4に処理を戻す。
【0035】
一方、出力映像と入力映像との差異が許容値よりも小さくないと判定した場合には、表示している映像の更新を行わずに、ステップS4に処理を戻す。
【0036】
[第1実施形態の効果]
以上詳細に説明したように、第1実施形態に係る車両用情報提供システムによれば、入力映像と出力映像との差異を演算し、差異が小さい場合には表示する映像を逐次更新し、差異が大きい場合には映像を表示してから一定時間経過後に更新するようにしたので、テレビ映像やビデオ映像のような映像情報を動画として再生してしまうことなく、ナビゲーション用画面のように更新の速度が遅い映像をそのまま表示することができ、外部からの映像入力を最適な提示形態で提供する車両用の情報提供装置とすることができる。
【0037】
[第2実施形態]
つぎに、第2実施形態に係る車両用情報提供システムについて説明する。なお、上述の第1実施形態と同様の部分については同一符号及びステップ番号を付することによりその詳細な説明を省略する。
【0038】
第2実施形態に係る車両用情報提供システムは、図3に示すように、車両用情報提供装置1に車両の走行状態を検出する走行検出装置20を備える点で、第1実施形態に係る車両用情報提供システムとは異なる。この走行検出装置20は、例えば、駐車用ブレーキのオン/オフ状態の操作検出をする操作検出機構や、車速情報を検出して図示しないスピードメータに送る車速センサにて構成する。
【0039】
このような車両用情報提供システムでは、映像情報提示装置4にて表示している映像を更新するに際して、図4に示すように、ステップS4の次のステップS11において、走行検出装置20により検出した駐車用ブレーキのオン/オフ状態や車速に基づいて、車両が停車中か否かを判定する。
【0040】
車両が停車中である場合には、ステップS7に処理を進めてステップS4にて保存した入力映像を出力映像保存部12に保存して、保存した出力映像に更新する(ステップS8)。一方、車両が停車中でない場合には、ステップS5以降の処理をする。
【0041】
このような第2実施形態に係る車両用情報提供システムによれば、車両が停止している場合は、入力映像と出力映像との差異に関わらず逐次映像の更新をし、車両が走行している場合は、提示している出力映像と入力映像の差異を計測して映像の更新をするので、車両走行中にテレビ映像やビデオ映像のような映像情報を動画として再生してしまうことなく、ナビゲーション用画面のように更新の速度が遅い映像をそのまま表示することができ、外部からの映像入力を最適な提示形態で提供する車両用の情報提供装置とすることができる。
【0042】
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。
【図面の簡単な説明】
【図1】本発明を適用した第1実施形態に係る車両用情報提供システムの構成を示すブロック図である。
【図2】本発明を適用した第1実施形態に係る車両用情報提供システムによる表示制御処理を示すフローチャートである。
【図3】本発明を適用した第2実施形態に係る車両用情報提供システムの構成を示すブロック図である。
【図4】本発明を適用した第2実施形態に係る車両用情報提供システムによる表示制御処理を示すフローチャートである。
【符号の説明】
1 車両用情報提供装置
2 映像情報入力部
3 経過時間計測装置
4 映像情報提示装置
11 入力画像保存部
12 出力映像保存部
13 映像情報差異演算部
14 出力制御部
20 走行検出装置

Claims (5)

  1. 外部から映像情報を入力する映像情報入力手段と、
    上記映像情報入力手段で入力した映像情報を入力映像として一時保存する入力情報保存手段と、
    映像情報を提示する情報提示手段と、
    上記情報提示手段に提示している映像情報を出力映像として一時保存する提供情報保存手段と、
    上記提供情報保存手段に保存されている出力映像と、上記入力情報保存手段に保存されている入力映像との画面毎の差異を演算する演算手段と、
    上記情報提示手段により出力情報を提示している経過時間を計測する時間計測手段と、
    上記提供情報保存手段に保存されている出力映像と上記入力情報保存手段に保存されている入力情報との差異が閾値より小さいと上記演算手段により演算された場合には、上記入力映像を提示するように上記情報提示手段を制御して映像情報の更新をし、上記提供情報保存手段に保存されている出力映像と上記入力情報保存手段に保存されている入力映像との差異が上記閾値よりも大きいと上記演算手段により演算された場合には、上記時間計測手段により一定時間を計測した後に上記入力映像を提示するように上記情報提示手段を制御して映像情報の更新をする提供制御手段と
    を備えることを特徴とする車両用情報提供装置。
  2. 車両の走行状態を検出する走行状態検出手段を更に備え、
    上記提供制御手段は、車両が走行している場合には上記出力映像情報と上記入力映像情報との差異に基づいて映像情報の更新をする制御をし、車両が走行していない場合には上記入力情報保存手段に映像情報が入力されたことに応じて映像情報の更新をする制御をすることを特徴とする請求項1に記載の車両用情報提供装置。
  3. 上記演算手段は、上記出力映像を構成する画素と、当該画素の画面座標に対応した画面座標の上記入力映像を構成する画素との差異を画面全体に亘って比較し、画面全体の画素数に対する差異がある画素数の割合と閾値とを比較することを特徴とする請求項1又は請求項2に記載の車両用情報提供装置。
  4. 上記演算手段は、上記出力映像を構成する画素の色と、当該画素の画面座標に対応した画面座標の上記入力映像を構成する画素の色との差を、画面全体に亘って演算し、画面全体での色の差の合計値と閾値とを比較することを特徴とする請求項1又は請求項2に記載の車両用情報提供装置。
  5. 上記提供制御手段は、上記情報提示手段により映像情報を提示している経過時間が長いほど大きくなり、上記一定時間となったときに上記出力映像と上記入力映像との差異よりも上記閾値が大きくなる関数を用いて、映像情報の更新をすることを特徴とする請求項1〜請求項4の何れかに記載の車両用情報提供装置。
JP2002332675A 2002-11-15 2002-11-15 車両用情報提供装置 Expired - Fee Related JP4093024B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002332675A JP4093024B2 (ja) 2002-11-15 2002-11-15 車両用情報提供装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002332675A JP4093024B2 (ja) 2002-11-15 2002-11-15 車両用情報提供装置

Publications (2)

Publication Number Publication Date
JP2004170086A true JP2004170086A (ja) 2004-06-17
JP4093024B2 JP4093024B2 (ja) 2008-05-28

Family

ID=32697629

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002332675A Expired - Fee Related JP4093024B2 (ja) 2002-11-15 2002-11-15 車両用情報提供装置

Country Status (1)

Country Link
JP (1) JP4093024B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS642490A (en) * 1987-06-25 1989-01-06 Nikon Corp Color split detector
JPH10325729A (ja) * 1997-05-23 1998-12-08 Toyota Motor Corp 車両用画像表示方法及び車両用画像表示装置
JP2000324441A (ja) * 1999-05-10 2000-11-24 Funai Electric Co Ltd ビデオ信号記録装置、ビデオ信号記録方法およびダビングシステム
JP2001114029A (ja) * 1999-10-21 2001-04-24 Matsushita Electric Ind Co Ltd 車載用情報受信表示装置および方法
JP2002278527A (ja) * 2001-03-19 2002-09-27 Hitachi Ltd 周波数変換装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS642490A (en) * 1987-06-25 1989-01-06 Nikon Corp Color split detector
JPH10325729A (ja) * 1997-05-23 1998-12-08 Toyota Motor Corp 車両用画像表示方法及び車両用画像表示装置
JP2000324441A (ja) * 1999-05-10 2000-11-24 Funai Electric Co Ltd ビデオ信号記録装置、ビデオ信号記録方法およびダビングシステム
JP2001114029A (ja) * 1999-10-21 2001-04-24 Matsushita Electric Ind Co Ltd 車載用情報受信表示装置および方法
JP2002278527A (ja) * 2001-03-19 2002-09-27 Hitachi Ltd 周波数変換装置

Also Published As

Publication number Publication date
JP4093024B2 (ja) 2008-05-28

Similar Documents

Publication Publication Date Title
KR102399571B1 (ko) 표시 장치 및 그 구동 방법
JP3705180B2 (ja) 画像表示システム、プログラム、情報記憶媒体および画像処理方法
JP2002512386A (ja) 液晶表示装置の駆動用映像信号の変換
US20100128054A1 (en) Display control apparatus and display control method
JP2001109426A (ja) 表示装置およびその輝度制御方法
JP3960142B2 (ja) 画像表示装置、プロジェクタ、プログラム及び記憶媒体
KR20070020757A (ko) 디스플레이장치 및 그 제어방법
JP5871170B2 (ja) 表示制御装置、表示制御方法、および電子情報表示装置
JP2004226608A (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
EP1150276A2 (en) Image displaying method, game system and computer readable storage medium storing image displaying program
JP2007316492A (ja) 表示装置
JP4030336B2 (ja) 動画像表示装置
CN108600719B (zh) 一种投影装置及其实时感测环境光亮度的方法
Igarashi et al. 31.2: Proposal of the Perceptive Parameter Motion Picture Response Time (MPRT)
JP2006349989A (ja) 画像表示装置およびプロジェクタ
US20180108326A1 (en) Display device
JP2004170086A (ja) 車両用情報提供装置
JP2003345297A (ja) プラズマディスプレイ装置
JP2002196736A (ja) アスペクト比に応じたプロジェクタの投写サイズ調整
JPH07261720A (ja) 情報表示装置および情報表示制御方法
CN110626171A (zh) 车辆用显示装置
JP4139485B2 (ja) 表示画像評価方法および表示画像評価システム
JP2001359122A (ja) 立体映像表示装置
JP5263520B2 (ja) 表示制御システム、表示制御方法、及び表示制御プログラム
JPH07261731A (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050928

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071204

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080225

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110314

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees