JP2001359122A - 立体映像表示装置 - Google Patents
立体映像表示装置Info
- Publication number
- JP2001359122A JP2001359122A JP2000181589A JP2000181589A JP2001359122A JP 2001359122 A JP2001359122 A JP 2001359122A JP 2000181589 A JP2000181589 A JP 2000181589A JP 2000181589 A JP2000181589 A JP 2000181589A JP 2001359122 A JP2001359122 A JP 2001359122A
- Authority
- JP
- Japan
- Prior art keywords
- video
- stereoscopic
- stereoscopic video
- amount
- shift amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
不適格な映像である場合には、そのことを観察者に知ら
せることができるようになる立体映像表示装置を提供す
ることを目的とする。 【解決手段】 入力される立体映像信号に基づいて、立
体映像を表示部に表示する立体映像表示装置において、
入力される立体映像信号から左右映像間のずれ量を検出
する手段、検出されたずれ量と予め設定された許容値と
を比較することにより、立体視に適格な映像か否かを判
定する手段、および立体視に適格な映像でないと判定し
たときに、その旨を立体映像観察者に報知させる手段を
備えている。
Description
置に関する。
ソフトの内容にかかわらず、入力フォーマットが当該立
体映像表示装置に対応していれば、立体映像ソフトを表
示させている。
左右映像間の水平方向ずれ(視差量)が限度以上に大き
い場合、左右映像間の垂直方向にずれがある場合、左右
映像間の回転角のずれがある場合、左右映像間の色にず
れがある場合、左右映像間の輝度にずれがある場合、左
右映像間の大きさにずれがある場合等のように、立体視
に不適格な映像であっても表示してしまうという問題が
ある。
モニタサイズによっては視差量が限度以上に大きくな
り、立体視に不適格な映像となることもあるが、このよ
うな場合でも、立体映像を表示してしまうという問題が
ある。
る立体映像が立体視に不適格な映像である場合には、そ
のことを観察者に知らせることができるようになる立体
映像表示装置を提供することを目的とする。
に不適格な映像である場合には、立体映像の表示を停止
させることができるようになる立体映像表示装置を提供
することを目的とする。
体映像表示装置は、入力される立体映像信号に基づい
て、立体映像を表示部に表示する立体映像表示装置にお
いて、入力される立体映像信号から左右映像間のずれ量
を検出する手段、検出されたずれ量と予め設定された許
容値とを比較することにより、立体視に適格な映像か否
かを判定する手段、および立体視に適格な映像でないと
判定したときに、その旨を立体映像観察者に報知させる
手段を備えていることを特徴とする。
は、入力される立体映像信号に基づいて、立体映像を表
示部に表示する立体映像表示装置において、入力される
立体映像信号から左右映像間のずれ量を検出する手段、
検出されたずれ量と予め設定された許容値とを比較する
ことにより、立体視に適格な映像か否かを判定する手
段、および立体視に適格な映像でないと判定したとき
に、立体映像の表示を停止させる手段を備えていること
を特徴とする。
のずれ量、左右映像間の回転角のずれ量、左右映像間の
色のずれ量、左右映像間の輝度のずれ量および左右映像
間の大きさのずれ量のうちから、任意に選択された1つ
または任意の組み合わせでよい。
の実施の形態について説明する。
像再生機器と、映像再生機器からの立体映像信号を立体
映像モニタに表示させる立体映像表示装置とを示してい
る。
しては、立体映像信号を構成する左右映像信号をそれぞ
れ別チャンネルで出力するもの(左右2チャンネル方
式)が用いられている。具体的には、映像再生機器1
は、W−VHS、2台の同期再生機器等から構成されて
いる。
1、左右映像ずれ検出回路22、マイコン23、警告信
号付加部24、設定値入力部25等を備えている。
には、立体映像モニタ21のサイズ、観察者の視距離等
が予め設定されている。
は、1フィールド毎に、左右映像間の位置のずれ量(水
平方向のずれ量および垂直方向のずれ量)を検出する。
検出された左右映像間の位置のずれ量は、マイコン23
に送られる。
2から送られてきたずれ量(水平方向のずれ量および垂
直方向のずれ量)が、立体映像モニタ21のサイズ、観
察者の視距離等の条件に応じた許容値(水平方向のずれ
量の許容値および垂直方向のずれ量の許容値)以下か否
かを判定する。ずれ量が許容値を越えている場合には、
警告信号付加部24に警告信号付加要求信号を出力す
る。
の警告信号付加要求信号を受信すると、立体映像に警告
映像を付加したり、音声に警告音声を付加したりする。
なお、警告信号付加部24は、マイコン23からの警告
信号付加要求信号を受信したときには、立体映像の表示
を停止させてもよい。
な構成を示している。ここでは、従来の動きベクトル検
出に用いられる代表点マッチング法によって、左右映像
間の位置のずれ量(水平方向のずれ量および垂直方向の
ずれ量)を検出する左右映像ずれ検出回路が示されてい
る。
用いられる代表点マッチング法について簡単に説明して
おく。
ルドの映像エリア100内に、複数の動きベクトル検出
領域E1〜E12が設定されている。各動きベクトル検
出領域E1〜E12は、図5に示すように、さらに複数
の小領域eに分割されている。そして、図6に示すよう
に、各小領域eそれぞれに、複数のサンプリング点S
と、1つの代表点Rとが設定されている。
プリング点Sの映像信号レベル(輝度レベル)と、前フ
ィールドにおける対応する小領域eの代表点Rの映像レ
ベルとの差(各サンプリング点Sにおける相関値)が、
各動きベクトル検出領域E1〜E12毎に求められる。
12毎に、動きベクトル検出領域内の全ての小領域間に
おいて、代表点Rに対する偏位が同じサンプリング点S
どうしの相関値が累積加算される。したがって、各動き
ベクトル検出領域E1〜E12毎に、1つの小領域e内
のサンプリング点Sの個数に応じた数の相関累積値が求
められる。
12内において、相関累積値が最小となるサンプリング
点Sの偏位、すなわち相関性が最も高いサンプリング点
Sの偏位が、当該動きベクトル検出領域E1〜E12の
動きベクトル(映像の動き)として抽出される。
る代表点マッチング法は、2次元映像の隣接するフィー
ルド間での映像の動きを検出するために利用されている
が、左右映像ずれ検出回路22では、左映像と右映像と
の間での映像の動きを検出するために代表点マッチング
法を用いる。
はフィールドメモリ、33は代表点メモリ、34は相関
値等演算回路、35はずれ量演算回路、36はマイコン
インターフェース、37はタイミング制御部である。
左映像信号は、AD変換回路31によってデジタル信号
に変換される。
記動きベクトル検出領域に対応するずれ量検出領域Eは
フィールド内に1個のみ設定されており、このずれ量検
出領域E内に複数の小領域eが設定されているものとす
る。
ールドメモリ32に記憶されるとともに、対比される左
映像の各小領域e内の代表点の映像レベルが代表点メモ
リ33に記憶される。
からの右映像の読み出しおよび代表点メモリ33からの
各小領域e内の代表点の映像レベルの読み出しが行なわ
れるとともに、フィールドメモリ32の内容および代表
点メモリ33の内容が次フィールドに対するものに書き
換えられる。
リ32から読み出された右映像の各小領域e内のサンプ
リング点の映像レベルと、代表点メモリ32から読み出
された左映像の対応する小領域e内の代表点の映像レベ
ルとの差(相関値)が算出される。また、小領域間にお
いて、代表点に対する偏位が同じサンプリング点どうし
の相関値が累積加算されて記憶される。
34によって求められた相関累積値に基づいて、相関累
積値が最小となるサンプリング点の偏位、すなわち相関
性が最も高いサンプリング点の偏位を求め、これにより
左右映像間の水平方向のずれ量(以下、水平ずれ量とい
う)および垂直方向のずれ量(以下、垂直ずれ量とい
う)を算出する。そして、算出結果をマイコンインター
フェース36を介してマイコン23に送る。
る。
う。つまり、まず、初期化を行なう(ステップ1)。こ
の初期化において、警告信号付加要求信号はオフ状態に
設定される。初期化の後、モニタサイズ等の設定値を取
得する(ステップ2)。
毎に次のような処理を行なう。左右映像間の水平ずれ量
および垂直ずれ量を取得する(ステップ11)。
て許容値を越えている場合には、垂直警告信号付加要求
信号をオンにする(ステップ12)。この場合には、警
告信号付加部24は、立体映像に垂直方向のずれが大き
いことを示す警告映像を付加したり、音声に垂直方向の
ずれが大きいことを示す警告音声を付加したりする。
て許容値を越えている場合には、水平警告信号付加要求
信号をオンにする(ステップ13)。この場合には、警
告信号付加部24は、立体映像に水平方向のずれが大き
いことを示す警告映像を付加したり、音声に水平方向の
ずれが大きいことを示す警告音声を付加したりする。
て許容値以内となった場合には、垂直警告信号付加要求
信号をオフにする(ステップ14)。
て許容値以下となった場合には、水平警告信号付加要求
信号をオフにする(ステップ15)。
を再生する映像再生機器と、映像再生機器からの立体映
像信号を立体映像モニタに表示させる立体映像表示装置
とを示している。
しては、立体映像信号を構成する左右映像信号をフィー
ルド毎に交互に出力するもの(フィールド順次方式)が
用いられている。具体的には、映像再生機器1は、VT
R、LD、DVD、HDD等の再生装置から構成されて
いる。
と同様に、立体映像モニタ21、左右映像ずれ検出回路
22、マイコン23、警告信号付加部24、設定値入力
部25等を備えている。
な構成を示している。
実施の形態の左右映像ずれ検出回路(図2参照)と比較
すると、フィールドメモリ32が設けられていない点の
み異なっている。
像、右映像というように、1フィールド毎に右映像と左
映像とが交互に送られてくるため、動きベクトル検出と
同様に、前フィールドの映像と現フィールドの映像とを
比較するためである。
記動きベクトル検出領域に対応するずれ量検出領域Eは
フィールド内に1個のみ設定されており、このずれ量検
出領域E内に複数の小領域eが設定されているものとす
る。
像が入力されたとすると、その右映像の各小領域e内の
代表点の映像レベルが代表点メモリ33に記憶される。
入力された左映像は、相関値等演算回路34に送られる
とともに代表点メモリ33に送られる。代表点メモリ3
3から右映像の各小領域e内の代表点の映像レベルが読
み出されて相関値等演算回路34に送られるとともに、
代表点メモリ33の内容が次フィールドに対するものに
書き換えられる。
(左映像)の各小領域e内のサンプリング点の映像レベ
ルと、代表点メモリ33から読み出された前フィールド
(右映像)の対応する小領域e内の代表点の映像レベル
との差(相関値)が算出される。また、小領域間におい
て、代表点に対する偏位が同じサンプリング点どうしの
相関値が累積加算されて記憶される。
34によって求められた相関累積値に基づいて、相関累
積値が最小となるサンプリング点の偏位、すなわち相関
性が最も高いサンプリング点の偏位を求め、これにより
左右映像間の水平方向のずれ量(以下、水平ずれ量とい
う)および垂直方向のずれ量(以下、垂直ずれ量とい
う)を算出する。そして、算出結果をマイコンインター
フェース36を介してマイコン23に送る。
る。
よび2と同じ処理である。
毎に次のような処理を行なう。左右映像間の水平ずれ量
および垂直ずれ量を取得する(ステップ21)。
ずれ量を次式(1)に基づいて、算出する(ステップ2
2)。
て説明する。
フィールドの映像とを比較するため、基準画像が1フイ
ールド毎に左映像、右映像というように交互に変化す
る。このため、図10に示すように、左右映像間で垂直
方向の動きはなく、垂直方向にずれ(ずれ量x)がある
場合には、ずれ量演算回路35によって算出される左右
映像間で垂直ずれ量は、図10にx,−xで示すよう
に、その大きさは変化しないが、その方向が変化してし
まう。そこで、前回の垂直ずれ量xから今回の垂直ずれ
量−xを減算したものを2で除算することにより、垂直
ずれ量のみを抽出することができる(|x−(−x)|
/2=x)。
垂直方向の動き(動き量A)があり、かつ垂直方向にず
れ(ずれ量x)がある場合には、ずれ量演算回路35に
よって算出される左右映像間で垂直ずれ量は、図11に
A+x,A−xで示すように、実際の垂直ずれ量xとは
異なる値となってしまう。
+xから今回の垂直ずれ量A−xを減算したものを2で
除算することにより、垂直ずれ量xのみを抽出すること
ができる(|(A+x)−(A−x)|/2=x)。こ
れは、動き量Aが同じ、すなわち物体が等速度で動いて
いると仮定した場合にのみ成り立つが、実際は物体の速
度は変化している。しかしながら、サンプリング期間が
1/60秒と短く、実際映像においても急激な加速度を
持った動きは少ないので、上記のように仮定しても影響
は少ないものと考えられる。
についても同様である。
および判定用水平ずれ量が算出されると、前回垂直ずれ
量および前回水平ずれ量の値を、それぞれ今回垂直ずれ
量および今回水平ずれ量に更新する(ステップ23)。
連続して許容値を越えている場合には、垂直警告信号付
加要求信号をオンにする(ステップ24)。この場合に
は、警告信号付加部24は、立体映像に垂直方向のずれ
が大きいことを示す警告映像を付加したり、音声に垂直
方向のずれが大きいことを示す警告音声を付加したりす
る。
連続して許容値を越えている場合には、水平警告信号付
加要求信号をオンにする(ステップ25)。この場合に
は、警告信号付加部24は、立体映像に水平方向のずれ
が大きいことを示す警告映像を付加したり、音声に水平
方向のずれが大きいことを示す警告音声を付加したりす
る。
連続して許容値以内となった場合には、垂直警告信号付
加要求信号をオフにする(ステップ26)。
連続して許容値以下となった場合には、水平警告信号付
加要求信号をオフにする(ステップ27)。
右映像間の位置ずれ量の算出は代表点マッチング法を用
いて行なわれているが、ブロックマッチング法(パター
ンマッチング法)、勾配法等の他の手法を用いてもよ
い。
る代わりに、左右映像間の回転角のずれ量、左右映像間
の色のずれ量、左右映像間の輝度のずれ量および左右映
像間の大きさのずれ量等を検出してもよい。また、左右
映像間の位置ずれ量、左右映像間の回転角のずれ量、左
右映像間の色のずれ量、左右映像間の輝度のずれ量およ
び左右映像間の大きさのずれ量のうちの任意の組み合わ
せを検出するようにしてもよい。
実施の形態の機能と第2の実施の形態の機能とを持た
せ、左右2チャンネル方式の立体映像を入力するモード
と、フィールド順次方式の立体映像を入力するモードと
を切り替えるようにしてもよい。
立体映像が立体視に不適格な映像である場合には、その
ことを観察者に知らせることができるようになる。これ
により観察者は、知らず知らずのうちに、人体に悪影響
を与えるような立体視を避けることが可能となる。
立体視に不適格な映像である場合には、立体映像の表示
を停止させることができるようになる。これにより観察
者は、知らず知らずのうちに、人体に悪影響を与えるよ
うな立体視を避けることが可能となる。
成を示すブロック図である。
を示すブロック図である。
ャートである。
ある。
ある。
ある。
成を示すブロック図である。
を示すブロック図である。
ャートである。
向にずれ(ずれ量x)がある場合を示す模式図である。
あり、かつ垂直方向にずれ(ずれ量x)がある場合を示
す模式図である。
Claims (3)
- 【請求項1】 入力される立体映像信号に基づいて、立
体映像を表示部に表示する立体映像表示装置において、 入力される立体映像信号から左右映像間のずれ量を検出
する手段、 検出されたずれ量と予め設定された許容値とを比較する
ことにより、立体視に適格な映像か否かを判定する手
段、および立体視に適格な映像でないと判定したとき
に、その旨を立体映像観察者に報知させる手段、 を備えていることを特徴とする立体映像表示装置。 - 【請求項2】 入力される立体映像信号に基づいて、立
体映像を表示部に表示する立体映像表示装置において、 入力される立体映像信号から左右映像間のずれ量を検出
する手段、 検出されたずれ量と予め設定された許容値とを比較する
ことにより、立体視に適格な映像か否かを判定する手
段、および立体視に適格な映像でないと判定したとき
に、立体映像の表示を停止させる手段、 を備えていることを特徴とする立体映像表示装置。 - 【請求項3】 左右映像間のずれ量は、左右映像間の位
置のずれ量、左右映像間の回転角のずれ量、左右映像間
の色のずれ量、左右映像間の輝度のずれ量および左右映
像間の大きさのずれ量のうちから、任意に選択された1
つまたは任意の組み合わせであることを特徴とする請求
項1および2のいずれかに記載の立体映像表示装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000181589A JP3999929B2 (ja) | 2000-06-16 | 2000-06-16 | 立体映像表示装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000181589A JP3999929B2 (ja) | 2000-06-16 | 2000-06-16 | 立体映像表示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001359122A true JP2001359122A (ja) | 2001-12-26 |
JP3999929B2 JP3999929B2 (ja) | 2007-10-31 |
Family
ID=18682494
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000181589A Expired - Fee Related JP3999929B2 (ja) | 2000-06-16 | 2000-06-16 | 立体映像表示装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3999929B2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004349736A (ja) * | 2003-05-08 | 2004-12-09 | Sharp Corp | 立体画像処理装置、立体画像処理プログラムおよびそのプログラムを記録した記録媒体 |
JP2006349909A (ja) * | 2005-06-15 | 2006-12-28 | Seiko Epson Corp | 画像表示装置とその制御方法 |
US7636088B2 (en) | 2003-04-17 | 2009-12-22 | Sharp Kabushiki Kaisha | 3-Dimensional image creation device, 3-dimensional image reproduction device, 3-dimensional image processing device, 3-dimensional image processing program, and recording medium containing the program |
JP2010050968A (ja) * | 2008-08-21 | 2010-03-04 | Mitsubishi Digital Electronics America Inc | 3d使用可能なプレーヤ/レコーダ |
JP2010102137A (ja) * | 2008-10-24 | 2010-05-06 | Fujifilm Corp | 3次元撮影装置および方法並びにプログラム |
JP2012090094A (ja) * | 2010-10-20 | 2012-05-10 | Sony Corp | 画像処理装置、画像処理方法、およびプログラム |
JP2012095039A (ja) * | 2010-10-26 | 2012-05-17 | Fujifilm Corp | 立体画像表示装置、立体画像表示方法およびプログラム |
-
2000
- 2000-06-16 JP JP2000181589A patent/JP3999929B2/ja not_active Expired - Fee Related
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7636088B2 (en) | 2003-04-17 | 2009-12-22 | Sharp Kabushiki Kaisha | 3-Dimensional image creation device, 3-dimensional image reproduction device, 3-dimensional image processing device, 3-dimensional image processing program, and recording medium containing the program |
US7889196B2 (en) | 2003-04-17 | 2011-02-15 | Sharp Kabushiki Kaisha | 3-dimensional image creating apparatus, 3-dimensional image reproducing apparatus, 3-dimensional image processing apparatus, 3-dimensional image processing program and recording medium recorded with the program |
JP2004349736A (ja) * | 2003-05-08 | 2004-12-09 | Sharp Corp | 立体画像処理装置、立体画像処理プログラムおよびそのプログラムを記録した記録媒体 |
JP2006349909A (ja) * | 2005-06-15 | 2006-12-28 | Seiko Epson Corp | 画像表示装置とその制御方法 |
JP4701851B2 (ja) * | 2005-06-15 | 2011-06-15 | セイコーエプソン株式会社 | 画像表示装置とその制御方法 |
JP2010050968A (ja) * | 2008-08-21 | 2010-03-04 | Mitsubishi Digital Electronics America Inc | 3d使用可能なプレーヤ/レコーダ |
JP2010102137A (ja) * | 2008-10-24 | 2010-05-06 | Fujifilm Corp | 3次元撮影装置および方法並びにプログラム |
JP2012090094A (ja) * | 2010-10-20 | 2012-05-10 | Sony Corp | 画像処理装置、画像処理方法、およびプログラム |
JP2012095039A (ja) * | 2010-10-26 | 2012-05-17 | Fujifilm Corp | 立体画像表示装置、立体画像表示方法およびプログラム |
US9024940B2 (en) | 2010-10-26 | 2015-05-05 | Fujifilm Corporation | Three-dimensional image display device and three-dimensional image display method and program |
Also Published As
Publication number | Publication date |
---|---|
JP3999929B2 (ja) | 2007-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7616885B2 (en) | Single lens auto focus system for stereo image generation and method thereof | |
TWI718150B (zh) | 用於判定一攝像機之空間特徵的方法及系統 | |
JP2848291B2 (ja) | 立体tv装置 | |
JP3443271B2 (ja) | 立体映像表示装置 | |
JP5341789B2 (ja) | パラメータ取得装置、パラメータ取得システム、パラメータ取得方法、及び、プログラム | |
KR970004916A (ko) | 입체 cg화상 발생장치와 입체 텔레비젼 장치 | |
US9210407B2 (en) | Image processing apparatus and method, and program | |
JPH07287761A (ja) | 画像処理装置及び画像処理方法 | |
WO2011125461A1 (ja) | 画像生成装置及び方法並びにプリンタ | |
US20130071013A1 (en) | Video processing device, video processing method, program | |
KR960036556A (ko) | 프레임 시프트 검출 장치 및 비디오 기록 장치 | |
JP2010146136A (ja) | 車両モニタシステム | |
WO2018030491A1 (ja) | 周辺監査装置 | |
CN104052987A (zh) | 图像显示设备及图像显示方法 | |
JP2004207772A5 (ja) | ||
JP3999929B2 (ja) | 立体映像表示装置 | |
JP2849313B2 (ja) | 画像記録再生装置 | |
CN107483915B (zh) | 三维图像的控制方法及装置 | |
JP2002024856A (ja) | 立体物表示システム及びその受信装置 | |
KR20080092740A (ko) | 주변 차량의 주행 모니터링 시스템 및 그 방법 | |
JPH07239999A (ja) | 車両後方監視装置 | |
JPH09298759A (ja) | 立体映像表示装置 | |
JPH1169384A (ja) | 映像信号種類判別処理装置 | |
JPH08313825A (ja) | 内視鏡装置 | |
JPH10108220A (ja) | 2次元映像を3次元映像に変換する装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050201 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070313 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070411 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070611 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070718 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070810 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100817 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100817 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110817 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110817 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120817 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130817 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |