JP2003224785A - 放送受信装置 - Google Patents

放送受信装置

Info

Publication number
JP2003224785A
JP2003224785A JP2002020239A JP2002020239A JP2003224785A JP 2003224785 A JP2003224785 A JP 2003224785A JP 2002020239 A JP2002020239 A JP 2002020239A JP 2002020239 A JP2002020239 A JP 2002020239A JP 2003224785 A JP2003224785 A JP 2003224785A
Authority
JP
Japan
Prior art keywords
side panel
image
broadcast receiving
still image
moving image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002020239A
Other languages
English (en)
Other versions
JP4017408B2 (ja
Inventor
Takeshi Hasegawa
剛 長谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2002020239A priority Critical patent/JP4017408B2/ja
Publication of JP2003224785A publication Critical patent/JP2003224785A/ja
Application granted granted Critical
Publication of JP4017408B2 publication Critical patent/JP4017408B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Television Systems (AREA)

Abstract

(57)【要約】 【目的】 放送信号中に「サイドパネル有り」を示す信
号が載せられていなくても、サイドパネルの有無を判断
することができる放送受信装置を提供する。 【構成】 信号波形情報検出回路2は、受信映像に基づ
いてサイドパネル相当部分及び非サイドパネル相当部分
の映像が単色か否かを検出し、その一致/不一致の結果
を出力する。動画/静止画情報検出回路4はサイドパネ
ル相当部分及び非サイドパネル相当部分の映像について
動画/静止画検出を行なう。マイクロコンピュータ3
は、前記単色検出の結果及び動画/静止画検出の結果に
基づきサイドパネルの有無を判断し、サイドパネル有り
との判断を得たときには、受信映像からサイドパネルを
外すようにスケーラー6に指示する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は、ディジタル放送受信
装置やアナログテレビジョン受信装置などの放送受信装
置に関する。
【0002】
【従来の技術】放送映像には、ノーマルの4:3やワイ
ド画面と言われている16:9のサイズがある。そし
て、ノーマルの4:3の映像にサイドパネルを付加する
ことによって16:9の映像化を行なって放送すること
もある。
【0003】
【発明が解決しようとする課題】4:3の映像にサイド
パネルを付加することで16:9の映像化を行なってい
る場合、放送信号中に「サイドパネル有り」を示す信号
が載せられているのであれば、この信号を検出したとき
に、受信映像からサイドパネルを外す処理を受信装置側
で自動的に行なうことが可能である。しかしながら、上
記信号が与えられていない場合において、サイドパネル
を外す処理を行なうためには、受信装置側でサイドパネ
ルの有無を判断することが必要になる。
【0004】この発明は、上記の事情に鑑み、放送信号
中に「サイドパネル有り」を示す信号が載せられていな
くても、サイドパネルの有無を判断することができる放
送受信装置を提供することを目的とする。
【0005】
【課題を解決するための手段】この発明の放送受信装置
は、上記の課題を解決するために、受信映像にサイドパ
ネルが存在するか否かを受信映像に基づいた判別処理に
よって判断する判断手段と、受信映像からサイドパネル
を外した表示用映像を生成する手段と、を備えたことを
特徴とする。
【0006】前記判断手段はサイドパネル相当部分の映
像が単色か否かを検出すると共に、非サイドパネル相当
部分の映像についても単色か否かを検出し、両サイドパ
ネル相当部分の一致/不一致及びサイドパネル相当部分
と非サイドパネル相当部分の一致/不一致の結果を判断
材料とするようになっていてもよい。前記単色検出は画
面上部に表示されることとなる映像部分を避けて行なう
のがよい。
【0007】前記判断手段はサイドパネル相当部分の映
像について動画/静止画検出を行なうと共に、非サイド
パネル相当部分の映像については複数領域で動画/静止
画検出を行い、サイドパネル相当部分の動画/静止画検
出結果及び非サイドパネル相当部分の複数領域での動画
/静止画検出結果を判断材料とするようになっていても
よい。この構成において、動画/静止画検出結果として
出現し得る複数のパターンに重み値を割り当て、所定期
間での重み値の合計と規定値との比較結果を判断材料と
するようにしてもよい。また、受信番組の番組情報に基
づき、前記規定値を変化させるようになっていてもよ
い。
【0008】前記検出は、受信映像におけるサイドパネ
ル相当部分と非サイドパネル相当部分との境界の所定領
域を避けて行なうのがよい。
【0009】
【発明の実施の形態】以下、この発明の実施形態を図1
乃至図6に基づいて説明する。
【0010】図1はこの実施形態のディジタル放送受信
装置の要部構成を示したブロック図である。BSディジ
タルデコーダ1は、チューナ部、デマルチプレクサ(D
EMUX)、AVデコーダなどを備えて成る。チューナ
部は、映像・音声データを含む高周波ディジタル変調信
号のうちから特定周波数の信号を取り出す。また、チュ
ーナ部は、復調回路、逆インタリーブ回路、誤り訂正回
路などを備えることにより、選択したディジタル変調信
号を復調してトランスポート・ストリームを出力する。
デマルチプレクサは、前記トランスポート・ストリーム
を、MPEG2(Moving Picture Ex
perts Group2)のビデオストリーム、オー
ディオストリーム、及びPSI/SI(Program
Specific Information/Ser
vice Information)に分離する。デマ
ルチプレクサは、ビデオストリームとオーディオストリ
ームをAVデコーダに供給する。AVデコーダは、ビデ
オスストリーム及びオーディオストリームに対してデコ
ードを行う。デコードによって生成されたディジタルの
映像データは、スケーラー6を経て例えばコンポジット
のアナログ映像信号に変換されてTVセット本体7の映
像入力端子に供給される。
【0011】番組情報検出回路5は前述のPSI/SI
を受け取り、これに含まれる番組情報(番組名、番組開
始時刻、番組内容情報、番組ジャンル情報等)等をマイ
クロコンピュータ3に供給する。
【0012】信号波形情報検出回路2は、受信映像にサ
イドパネルが存在するか否かを判断するための判断材料
となる情報を生成する。具体的には、サイドパネル相当
部分等の映像が単色か否かを検出し、その検出結果を出
力する。
【0013】図2は、画面表示された映像上でサイドパ
ネル相当部分及び非サイドパネル相当部分を示した説明
図である。図において、領域1及び領域5と表記してあ
る部分(時間にして6.0 μs〜6.5 μs程度)がサイド
パネル相当部分である。そして、領域2(時間にして2.
0 μs〜3.0 μs程度)、領域3(時間にして22μs〜
18μs程度)、領域4(領域2と同様)と表記された部
分が非サイドパネル相当部分(4:3においては本来の
映像部分)であり、この実施形態では、非サイドパネル
相当部分における領域2と領域4を検出対象としてい
る。なお、サイドパネル相当部分と非サイドパネル相当
部分との境界部分はマージン領域(時間にして1.0 μs
〜1.5 μs程度)とし、この部分は検出対象としていな
い。また、サイドパネル相当部分の上部には番組のロゴ
が放送局側で挿入されることがあり、これによって誤検
出を生じるおそれがあるので、画面上部は検出対象とし
ていない。
【0014】サイドパネルは、単色の映像として本来の
4:3の映像に付加されることが多く、サイドパネルが
例えば青色とされれば、領域1及び領域5の検出におい
て単色であるとの検出結果が得られる。ただし、16:
9の映像において、短時間ではあるが画面全体が例えば
青色とされたり、黒色とされることがあり、上記検出結
果のみではサイドパネルが付加されていると結論付ける
ことはできない。そこで、信号波形情報検出回路2は、
非サイドパネル相当部分の領域2及び領域4の映像につ
いても単色か否かを検出する。そして、信号波形情報検
出回路2は、両サイドパネル相当部分(領域1と領域
5)の一致/不一致及びサイドパネル相当部分(領域1
及び領域5)と非サイドパネル相当部分(領域2及び領
域4)の一致/不一致の結果を出力する。
【0015】マイクロコンピュータ3は、領域1と領域
5とが一致し且つ領域1及び領域5が領域2及び領域4
に一致しないとの結果を信号波形情報検出回路2から受
け取ったとき、サイドパネルが付加されていると判断す
る。
【0016】動画/静止画情報検出回路4は、受信映像
にサイドパネルが存在するか否かを判断するための判断
材料となる情報を生成する。具体的には、サイドパネル
相当部分の映像について動画/静止画検出を行なうと共
に、非サイドパネル相当部分の映像については複数領域
で動画/静止画検出を行い、その検出結果を出力する。
動画/静止画検出は、例えばフィールド間での任意画素
において変化があれば動画、変化がなければ静止画とい
った簡単な処理を採用することができる。
【0017】図3は、画面表示される映像上でサイドパ
ネル相当部分及び非サイドパネル相当部分を示した説明
図である。図において、領域11及び領域17と表記し
てある部分(時間にして6.0 μs〜6.5 μs程度)がサ
イドパネル相当部分である。そして、領域12,領域1
3,領域14,領域15,領域16と表記してある部分
(時間にして7.8 μs程度)が非サイドパネル相当部分
(4:3における本来の映像部分)である。なお、サイ
ドパネル相当部分と非サイドパネル相当部分との境界部
分はマージン領域(時間にして1.0 μs〜1.5 μs程
度)とし、この部分は検出対象としていない。
【0018】サイドパネル相当部分(領域11及び領域
17)が静止画であると判断された場合において、以下
に示す8パターンの状態が考えられる。各パターンを図
4(a)乃至(d)、及び図5(a)乃至(d)に示
す。
【0019】パターン1 領域12〜領域16の全てについて動画であるとの判定
がなされた場合(図4(a)参照)。このパターンでは
サイドパネルがある可能性が極めて高い。 パターン2 領域12〜領域16においてまんべんなく動画であると
の判定がなされた場合(図4(b)参照)。このパター
ンではサイドパネルがある可能性が高い。 パターン3 領域12及び領域16(サイドパネルの隣部分)におい
て動画であるとの判定がなされ、領域13〜領域15の
一つ又は複数において動画であるとの判定がなされた場
合(図4(c)参照)。このパターンではサイドパネル
がある可能性が高い。 パターン4 領域12及び領域16(サイドパネルの隣部分)におい
て動画であるとの判定がなされ、領域13〜領域15で
は一つも動画であるとの判定がなかった場合(図4
(d)参照)。このパターンではサイドパネルがある可
能性があるが、無い可能性もある。 パターン5 領域12及び領域16(サイドパネルの隣部分)のどち
らかにおいて動画であるとの判定がなされ、領域13〜
領域15の一つ又は複数において動画であるとの判定が
なされた場合(図5(a)参照)。このパターンではサ
イドパネルがある可能性があるが、無い可能性もある。 パターン6 領域12及び領域16(サイドパネルの隣部分)のどち
らかにおいて動画であるとの判定がなされ、領域13〜
領域15では一つも動画であるとの判定がなかった場合
(図5(b)参照)。このパターンではサイドパネルが
無い可能性も高い。 パターン7 領域12及び領域16(サイドパネルの隣部分)のどち
らも動画であるとの判定がなされず、領域13〜領域1
5の一つ又は複数において動画であるとの判定がなされ
た場合(図5(c)参照)。このパターンではサイドパ
ネルが無い可能性も高い。 パターン8 領域12及び領域16(サイドパネルの隣部分)のどち
らも動画であるとの判定がなされず、領域13〜領域1
5においても一つも動画であるとの判定がなかった場合
(図5(d)参照)。全て静止画であり、判定不能であ
る。
【0020】上記パターン1乃至パターン5には重み値
を与えている。この重み値の順位を下記の表1に示して
いる。パターン6,7,8は重み値0としている。な
お、サイドパネル相当部分(領域11及び領域17)が
静止画でないと判断された場合にはサイドパネル無しと
判断するようにしている。
【0021】
【表1】
【0022】マイクロコンピュータ3は、動画/静止画
情報検出回路4から1フィールドごとに動画/静止画判
定結果を取得して前記パターンを判別し、また、前記表
1の重み値を図示しないメモリから読み出し、重み合計
値を算出する。例えば、6フィールド期間を合計値計算
期間とする場合において、パターン1(重み値を10と
する)が1フィールド、パターン3(重み値を2とす
る)が3フィールド、パターン7(重み値0)が2フィ
ールド検出された場合、合計値=10×1+2×3+0
×2=16となる。そして、この合計値と規定値とを比
較し、例えば、規定値が15であれば合計値の方が大き
いので、サイドパネル有りとの判定を行なう。
【0023】マイクロコンピュータ3は番組情報検出回
路5から受信番組の番組情報(番組ジャンル情報等)を
受け取り、番組の種類に応じて上記の規定値を設定す
る。例えば、動きが少ないニュース番組であれば、大き
な規定値を設定し、動きが多いスポーツ番組では小さな
規制値を設定する。
【0024】マイクロコンピュータ3は、合計値が規定
値よりも大きくなった時点で前述した合計値算出の処理
を止める(サイドパネル有りとの判定状態は維持する)
が、動画/静止画判定結果のチェックはその後も続けて
おり、サイドパネル相当部分(領域11及び領域17)
において動画判定がなされたときには、合計値を0と
し、再び合計値算出を開始する。サイドパネルが存在す
る場合にこれを外すかどうかを予めユーザにメニュー画
面等を用いて問うてその指示内容をメモリに格納してい
る。マイクロコンピュータ3は受信映像にサイドパネル
が存在するとの最終判断を下し、且つ、サイドパネルを
外す指示がユーザによってなされている場合には、スケ
ーラー6に対してサイドパネルを外すよう指示する。
【0025】スケーラー6は、マイクロコンピュータ3
からサイドパネルを外せとの指示を受けたときには、サ
イドパネルを外して4:3の表示用映像を生成してTV
セット本体7に供給する。TVセット本体7のモニタが
4:3画面であれば、画面全体に映像を表示できること
になる。一方、TVセット本体7のモニタが16:9画
面であればサイドパネルを外した4:3の表示用映像を
ワイド化処理することで、16:9画面上でその全体に
映像を表示することもできる。
【0026】図6はサイドパネル処理を示したフローチ
ャートである。受信信号中にサイドパネル有りの通知が
存在していれば(ステップS1でYES)、単色検出や
動画/静止画検出による判断を行なうまでもなく、サイ
ドパネルを外す(ステップS5)。サイドパネル有りの
通知が存在していなければ(ステップS1でNO)、単
色検出及び動画/静止画検出によるサイドパネルの有無
判定を行なう(ステップS2)。両検出は同時的に行な
っている。ここで、まず、動画/静止画検出でサイドパ
ネル相当部分が動画であるとされたなら(ステップS3
でYES)、サイドパネルは無しであると判定する(ス
テップS6)。
【0027】一方、サイドパネル相当部分で動画検出さ
れなかったなら(ステップS3でYES)、単色検出ま
たは動画/静止画検出のどちらかでサイドパネル有りと
の判定が得られたかを判断し(ステップS4)、この判
断がYESであれば、最終的にサイドパネル有りとの結
論を出し、サイドパネルを外す処理を行なう(ステップ
S5)。ステップS4でNOとされた場合及びステップ
S6を経た場合には、既にサイドパネルを外しているか
どうかを判断し(ステップS7)、サイドパネルを既に
外していたのなら、サイドパネルを元に戻す(受信映像
をそのまま表示する)処理を行なう(ステップS8)。
【0028】ここで、サイドパネルが絵であるような場
合には、前記単色検出ではサイドパネル無しの判定結果
となってしまうが、かかる場合でも動画/静止画検出に
おいてサイドパネルの有りとの判定が得られることにな
り、最終的にサイドパネル有りとの結論を出すことがで
きる。一方、最終的にサイドパネル有りとの結論を出す
ことに慎重を期するのであれば、単色検出及び動画/静
止画検出の両方でサイドパネル有りとの判定が得られた
場合に最終的にサイドパネル有りとの結論を出すように
してもよい。
【0029】なお、上記の実施形態では、ディジタル放
送波を受信する受信装置を例示したが、アナログ放送波
を受信する受信装置においても適用可能である。
【0030】
【発明の効果】以上説明したように、この発明によれ
ば、放送信号中に「サイドパネル有り」を示す信号が載
せられていなくても、自動的にサイドパネルの有無を判
断することができ、また、サイドパネル有りとの判断結
果を得たときに、これを受信映像から外すことができ
る。
【図面の簡単な説明】
【図1】この発明の実施形態のディジタル放送受信装置
を示したブロック図である。
【図2】画面表示される映像上でサイドパネル相当部分
及び非サイドパネル相当部分を示した説明図である。
【図3】画面表示される映像上でサイドパネル相当部分
及び非サイドパネル相当部分を示した説明図である。
【図4】同図(a)乃至同図(d)はそれぞれ動画/静
止画判定におけるパターンを示した説明頭である。
【図5】同図(a)乃至同図(d)はそれぞれ動画/静
止画判定におけるパターンを示した説明頭である。
【図6】サイドパネル処理を示したフローチャートであ
る。
【符号の説明】
1 BSディジタルデコーダ 2 信号波形情報検出回路 3 マイクロコンピュータ 4 動画/静止画情報検出回路 5 番組情報検出回路 6 スケーラー 7 TVセット本体

Claims (7)

    【特許請求の範囲】
  1. 【請求項1】 受信映像にサイドパネルが存在するか否
    かを受信映像に基づいた判別処理によって判断する判断
    手段と、受信映像からサイドパネルを外した表示用映像
    を生成する手段と、を備えたことを特徴とする放送受信
    装置。
  2. 【請求項2】 請求項1に記載の放送受信装置におい
    て、前記判断手段は、サイドパネル相当部分の映像が単
    色か否かを検出すると共に、非サイドパネル相当部分の
    映像についても単色か否かを検出し、両サイドパネル相
    当部分の一致/不一致及びサイドパネル相当部分と非サ
    イドパネル相当部分の一致/不一致の結果を判断材料と
    することを特徴とする放送受信装置。
  3. 【請求項3】 請求項2に記載の放送受信装置におい
    て、前記単色検出は画面上部に表示されることとなる映
    像部分を避けて行なうようにしたことを特徴とする放送
    受信装置。
  4. 【請求項4】 請求項1乃至請求項3のいずれかに記載
    の放送受信装置において、前記判断手段は、サイドパネ
    ル相当部分の映像について動画/静止画検出を行なうと
    共に、非サイドパネル相当部分の映像については複数領
    域で動画/静止画検出を行い、サイドパネル相当部分の
    動画/静止画検出結果及び非サイドパネル相当部分の複
    数領域での動画/静止画検出結果を判断材料とすること
    を特徴とする放送受信装置。
  5. 【請求項5】 請求項4に記載の放送受信装置におい
    て、動画/静止画検出結果として出現し得る複数のパタ
    ーンに重み値を割り当て、所定期間での重み値の合計と
    規定値との比較結果を判断材料とすることを特徴とする
    放送受信装置。
  6. 【請求項6】 請求項5に記載の放送受信装置におい
    て、受信番組の番組情報に基づき、前記規定値を変化さ
    せることを特徴とする放送受信装置。
  7. 【請求項7】 請求項2乃至請求項6のいずれかに記載
    の放送受信装置において、前記検出は受信映像における
    サイドパネル相当部分と非サイドパネル相当部分との境
    界の所定領域を避けて行なうことを特徴とする放送受信
    装置。
JP2002020239A 2002-01-29 2002-01-29 放送受信装置 Expired - Fee Related JP4017408B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002020239A JP4017408B2 (ja) 2002-01-29 2002-01-29 放送受信装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002020239A JP4017408B2 (ja) 2002-01-29 2002-01-29 放送受信装置

Publications (2)

Publication Number Publication Date
JP2003224785A true JP2003224785A (ja) 2003-08-08
JP4017408B2 JP4017408B2 (ja) 2007-12-05

Family

ID=27743791

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002020239A Expired - Fee Related JP4017408B2 (ja) 2002-01-29 2002-01-29 放送受信装置

Country Status (1)

Country Link
JP (1) JP4017408B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008103974A (ja) * 2006-10-19 2008-05-01 Funai Electric Co Ltd ビデオスケーリングシステムおよびテレビ受像装置
JP2010130282A (ja) * 2008-11-27 2010-06-10 Victor Co Of Japan Ltd 映像信号処理装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008103974A (ja) * 2006-10-19 2008-05-01 Funai Electric Co Ltd ビデオスケーリングシステムおよびテレビ受像装置
JP2010130282A (ja) * 2008-11-27 2010-06-10 Victor Co Of Japan Ltd 映像信号処理装置

Also Published As

Publication number Publication date
JP4017408B2 (ja) 2007-12-05

Similar Documents

Publication Publication Date Title
JP3664251B2 (ja) 映像出力装置
US6563546B2 (en) High definition display unit and high definition display method
US20080240617A1 (en) Interpolation frame generating apparatus, interpolation frame generating method, and broadcast receiving apparatus
US20040100578A1 (en) Sub picture control apparatus and method for television receiver
US7450177B2 (en) Apparatus and method to control caption positioning
JP2003219289A (ja) 放送チャンネルの高速全域スキャン機能を備えたデジタル/アナログ放送受像装置
JP2003224785A (ja) 放送受信装置
EP2063636A1 (en) Video processing device and video processing method
US7123305B2 (en) Image processing apparatus and method, and recording medium
US8049818B2 (en) Video processing apparatus and method
JP2002204406A (ja) デジタル放送受信機
JPH0787392A (ja) 子画像の表示制御装置
KR100391070B1 (ko) 디지털 텔레비젼 수상기에서 온스크린디스플레이장치:
JP2007110416A (ja) 画像出力装置
US6037931A (en) Apparatus and method for controlling picture inversion of a liquid crystal display
JP2007300158A (ja) 単色フレーム検出方法
JP2010171923A (ja) 映像再生装置
KR100930560B1 (ko) 디지털 티브이 시스템의 채널 번호 및 로고 표시 방법 및 그 장치
JP2001008128A (ja) デジタル放送受信機
JPH1132266A (ja) デジタル放送受信機
JP2005354187A (ja) 画像処理装置及び画像表示装置
US8472780B2 (en) Television and method for controlling the same
JP2001257959A (ja) 映像表示装置
JP2004129068A (ja) キャプションデコーダ内蔵装置
JPH04116482U (ja) Hdtv受信機

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041013

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070227

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070529

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070724

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070821

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070918

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100928

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100928

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110928

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110928

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120928

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120928

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130928

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees