JP2003061050A - ディジタル信号再生装置及び再生方法 - Google Patents

ディジタル信号再生装置及び再生方法

Info

Publication number
JP2003061050A
JP2003061050A JP2002168219A JP2002168219A JP2003061050A JP 2003061050 A JP2003061050 A JP 2003061050A JP 2002168219 A JP2002168219 A JP 2002168219A JP 2002168219 A JP2002168219 A JP 2002168219A JP 2003061050 A JP2003061050 A JP 2003061050A
Authority
JP
Japan
Prior art keywords
data
code
variable length
block
dct
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002168219A
Other languages
English (en)
Other versions
JP4000921B2 (ja
Inventor
Mitsuo Harumatsu
光男 春松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP2002168219A priority Critical patent/JP4000921B2/ja
Publication of JP2003061050A publication Critical patent/JP2003061050A/ja
Application granted granted Critical
Publication of JP4000921B2 publication Critical patent/JP4000921B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

(57)【要約】 【課題】 可変長符号化を施して圧縮処理をしたディジ
タルデータを復号する際に異常データがあっても、再生
データが破綻するのを防止する。 【解決手段】 符号データ切り出し部9aで可変長符号
に異常があることが検出されると、エラーが検出された
ビデオセグメントにおける可変長符号がグルーピングメ
モリ部9cから読み出される際に、一部のデータがEO
B符号を示す可変長符号で置き換えられるよう再生デー
タ制限部9hが切替器9jを制御する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、可変長符号化方式
を用いて圧縮符号化された信号を再生するディジタル信
号再生装置及び再生方法に関し、再生時に異常データを
検出することにより良好な再生信号が得られるようにし
たことを特徴とするものである。
【0002】
【従来の技術】民生用デジタルビデオ装置の規格とし
て、DVと呼ばれる規格が提案され、実用化されてい
る。このDV規格によるデジタル信号記録再生装置で
は、「図解デジタルビデオ読本」P41〜P60(久保
田 幸雄 編著、オーム社、1995年)に記載される
如くフレーム内の画素データの相関を利用してデジタル
情報信号の帯域圧縮を行い、25Mbpsの記録レート
によりデジタル情報信号を記録している。
【0003】DV規格によるデジタル信号記録再生装置で
は、1フレーム分の画像情報をまず水平方向8画素×垂
直方向8画素よりなるブロックに分割してDCT(離散
コサイン変換)を行い、DCTを終えた画像情報に、量
子化、可変長符号化の処理を施して磁気テープに記録し
ている。そして、磁気テープ記録される信号を再生する
際には、記録時のDCT、量子化、可変長符号化に対応
した可変長復号化、逆量子化、逆DCTの処理を行って
画像情報を復元している。
【0004】また、上記装置では、記録時に所定の誤り訂正
符号を付与した後に記録信号を磁気テープに記録すると
共に、再生時には、この誤り訂正符号を用いて誤り訂正
処理を施して再生信号を復元している。
【0005】
【発明が解決しようとする課題】ところが、以上のよう
な圧縮符号化を施すディジタル信号記録再生装置では、
再生時に異常なデータがあると再生データが破綻するこ
とがある。特に、DCTを行ったデータに対して可変長
符号化を行い、これを復号化する際に異常なデータがあ
ると、逆DCTした再生信号は市松模様の不自然な画像
となることが多い。即ち、このような異常データにより
エラーが発生してしまうと、画面上で目につきやすくな
る。
【0006】このようなデータ再生時のエラーは、通常、誤
り訂正処理によりエラーデータが訂正された後に出力さ
れるためエラーは発生しないが、記録再生時にテープ/
ヘッド系のトラブルが発生した場合、テープの繰り返し
再生を行った場合、テープの損傷により再生信号が欠落
した場合、データを記録した装置と再生する装置とが異
なる場合などで、特に再生信号の品質が劣化した場合に
は、誤り訂正処理で訂正しきれないデータが再生されて
しまうため、このような問題が発生することがある。
【0007】また、ディジタルインターフェースを介して外
部から入力される圧縮信号を復号する場合、あるいは、
ダビングや伝送を繰り返した信号を復号する場合、ディ
ジタルインターフェースの回線品質、ダビングや伝送に
伴う信号の劣化等により正しい再生データが得られなく
なり、同様の問題が発生することがある。また、ダビン
グや伝送を繰り返した場合には、この市松模様の如く不
自然に再生されたデータを記録側では正常なデータとし
て記録してしまうことも考えられる。
【0008】本発明は、このような再生データの破綻を回避
することを目的としており、信号再生時に異常なデータ
が検出された場合には、正常なデータのみを出力するこ
とにより再生データの破綻を回避しようとするものであ
る。
【0009】
【課題を解決するための手段】以上の課題を解決するた
めに、本発明に係るディジタル信号再生装置は、1画面
を水平方向及び垂直方向に分割して得た矩形ブロックに
直交変換処理及び可変長符号化処理を施し、更に、複数
個の矩形ブロックを1つの圧縮ブロックとして前記圧縮
ブロックにおける符号量が所定値以下となるよう圧縮符
号化したデータを矩形ブロック毎に設けられる所定容量
を有する格納領域に第1のデータとして順次格納すると
共に、格納しきれずにあふれたデータを前記圧縮ブロッ
クの他の矩形ブロックを格納するための格納領域に第2
のデータとして格納したディジタルデータを復号化し
て、画像データを復元するディジタル信号再生装置であ
り、前記ディジタルデータに異常があることを検出する
異常検出手段を少なくとも備え、前記異常検出手段によ
り異常が検出された場合には、異常が検出された異常デ
ータの存在する圧縮ブロック内の第2のデータの使用を
制限することを特徴とするものである。
【0010】また、本発明に係るディジタル信号再生方法
は、1画面を水平方向及び垂直方向に分割して得た矩形
ブロックに直交変換処理及び可変長符号化処理を施し、
更に、複数個の矩形ブロックを1つの圧縮ブロックとし
て前記圧縮ブロックにおける符号量が所定値以下となる
よう圧縮符号化したデータを矩形ブロック毎に設けられ
る所定容量を有する格納領域に第1のデータとして順次
格納すると共に、格納しきれずにあふれたデータを前記
圧縮ブロックの他の矩形ブロックを格納するための格納
領域に第2のデータとして格納したディジタルデータを
復号化して、画像データを復元するディジタル信号再生
方法であり、前記ディジタルデータに異常が検出された
場合には、異常が検出された異常データの存在する圧縮
ブロック内の第2のデータの使用を制限することを特徴
とするものである。
【0011】
【発明の実施の形態】図1は、ディジタル信号再生装置
の主な構成を説明するためのブロック部であり、図1
(a)はDV規格によるディジタル信号記録装置の主な
構成、図1(b)は、このようにして記録された磁気テ
ープから信号を再生するディジタル信号再生装置の主な
構成を示すブロック図である。
【0012】なお、ここでは、まずDV規格のディジタル信
号記録装置における信号記録系の処理について説明す
る。図1(a)において1フレーム分の画像データがフ
レームメモリ1(FM)に蓄えられると、フレームメモ
リ1(FM)からは水平方向8画素×垂直方向8画素よ
りなるDCTブロックが順次DCT回路2(DCT)に
出力される。
【0013】DCT回路2は、フレームメモリ1から出力さ
れた画像データをDCTブロック単位でDCT(離散コ
サイン変換)し、図2に示す如く1個のDC係数と、6
3個のAC係数とを得る。そして、この63個のAC係
数は、同図矢印で示す如く周波数成分の低いものから高
いものへと順に並べ替えが行われた後(ジグザグスキャ
ン)、量子化回路3にて所定の量子化テーブルにて量子
化される。
【0014】量子化を終えた画像データは、次にランレング
ス符号化回路4(RLC)に入力され、量子化によりそ
の値が小さくされた63個のAC係数は、図3に示す如
く、連続する0の数であるゼロラン値(r)と0以外の
値であるバリュー(n)との組よりなるランレングス符
号に順次符号化される。即ち、量子化を終えたAC係数
において、連続する0の個数がカウントされ、この0の
カウント値とこの0に続く0以外のAC係数の値とが一
組で符号化される。なお、図示の如く、量子化を終えた
AC係数の高域部分において63個目のAC係数が0の
場合には、最後に連続する0の値は全てまとめてEOB
(End of Block)なる符号で置き換えられる。このよう
に、量子化を終えた画像データを順次符号化し、0以外
の値が存在しなくなったらEOB符号で符号化を終了す
る。
【0015】そして、このランレングス符号よりなる画像デ
ータは、可変長符号化回路5(VLC)にて、所定の可
変長符号化テーブルに基づき、図3に示すV1乃至V6
如く可変長符号に変換される。
【0016】なお、以上の圧縮符号化は、1フレームを構成
する水平走査線数が525本でフィールド周波数が60
HzであるNTSC方式等のテレビジョン信号では、図
4に示す如く画面上で水平方向に隣接する4個の輝度信
号のDCTブロック(DCT0乃至DCT3)と、これ
らのDCTブロックと画面上で同一位置を成す1個の色
差信号CRのDCTブロック(DCT4)及び1個の色
差信号CBのDCTブロック(DCT5)により形成さ
れるマクロブロックをシャフリングと呼ばれる画面上の
異なる位置から所定の規則に従い5つ集めた5マクロブ
ロックを1ビデオセグメントとして、このビデオセグメ
ントの可変長符号化後の符号量がビデオセグメントに割
り当れられる符号量にできるだけ近く、かつその割り当
て符号量を越えることがないように量子化テーブルが設
定される。
【0017】そして、可変長符号に変換された画像データ
は、更にパッキング回路6に入力され、ここでは可変長
符号化された各DCTブロックのデータを周波数成分の
異なる複数のグループに分割して格納する。既に説明し
たように、5マクロブロックにより構成される1ビデオ
セグメントの符号量は、ほぼ一定となるよう圧縮符号化
がなされており、この5マクロブロックのデータが5シ
ンクブロックとして出力されることになる。
【0018】各シンクブロックのデータエリアに相当するユ
ニットは、1マクロブロックを構成するDCTブロック
数である6つの領域に分割されており、この6つの領域
には各DCTブロックのデータがその周波数成分の低い
ものから優先的に格納されていく。
【0019】ここで、可変長符号化処理されたDCTブロッ
クの符号量がシンクブロック内で分割された領域のデー
タ格納量を越えている場合には、全てのDCTブロック
のデータを1つの領域に格納することができないが、格
納しきれずにあふれたデータは、その周波数成分の低い
ものから優先的に同一シンクブロック内の他の領域に格
納される。また、同一シンクブロック内の他の領域に格
納しきれずにあふれたデータは、同一ビデオセグメント
を成す他のシンクブロック内の領域に格納される。
【0020】そして、シンクブロック内の分割された領域に
そのまま格納された比較的低域のデータは、第1のグル
ープに属する第1のデータとして扱われ、シンクブロッ
ク内の分割された領域に格納できずに同一シンクブロッ
ク内の他の領域に格納された第1のデータより高域であ
るデータは、第2のグループに属する第2のデータとし
て扱われ、同一シンクブロック内の他の領域に格納でき
ずに同一ビデオセグメントを成す他のシンクブロック内
の領域に格納された最も高域であるデータは、第3のグ
ループに属する第3のデータとして扱われる。
【0021】図5は、5つのシンクブロック(SB)に1ビ
デオセグメント分のデータを格納した例を示すものであ
り、図4で示す6つのDCTブロック(DCT0乃至D
CT5)のデータは、シンクブロックのデータエリアに
相当するユニットを分割して得た6つの分割領域(1−
1乃至1−6)にその周波数成分の低いものから優先的
に格納される。
【0022】ここで、輝度信号Y0のDCTブロック(DC
T0)の符号量が分割された領域のデータ格納量に満た
ないとすると、全て第1のデータとして分割領域1−1
に格納されている。そして、輝度信号Y1のDCTブロ
ック(DCT1)の符号量が分割された領域のデータ格
納量を越えているとすると、その周波数成分の低いもの
から優先的に第1のデータとして分割領域1−2に格納
され、格納しきれずにあふれたデータは例えば分割領域
1−1に第2のデータとして格納される。また、他のシ
ンクブロック内(SB2乃至SB5等)に格納されるべ
きデータであるが、格納しきれずに分割領域1−6に格
納されたデータは第3のデータとして扱われる。
【0023】そして、このパッキング処理では、各シンクブ
ロック内の所定領域にDCTブロックのDC係数の情
報、量子化を行った際の量子化テーブルの情報、またそ
の他の関連情報も格納され、パッキングデータとしてこ
れらのデータが出力される。
【0024】このようなパッキング処理を終えたパッキング
データは、先程のシャフリングに対応したデシャフリン
グ処理によりデータ配列を元に戻す並び替えが行われた
後に記録処理部7で誤り訂正符号やその他の必要情報が
付加され、更に変調されて記録媒体に記録される。ま
た、この時記録媒体に記録することなく、誤り訂正符号
やその他の必要情報を付加した後に、ディジタルインタ
ーフェース等を介して出力されても良い。
【0025】次に、図1(b)を用いてディジタル信号再生
装置における信号再生系処理について説明する。同図に
おいて、8は記録媒体から再生される再生データを復調
し、更に誤り訂正処理を施して記録時のパッキングデー
タを得る再生処理部である。なお、ディジタルインター
フェースを介して入力されるデータに対してもまた、誤
り訂正処理を施して記録時のパッキングデータを得るこ
とができる。そして、再生処理部8からのパッキングデ
ータが記録時のビデオセグメント単位でアンパッキング
回路9に入力される。
【0026】そして、アンパッキング回路9の内部では、記
録時の第1乃至第3のデータが夫々分割され、DCTブ
ロック毎に元の可変長符号のデータ列に復元される。可
変長符号のデータ列は、可変長復号化回路10(VL
D)にて可変長符号化テーブルを参照しながら連続する
0の数と0以外の値との組よりなるランレングス符号に
復元され、更にランレングス復号化回路11(RLD)
では、必要な箇所に0を挿入することにより基のデータ
列に復元される。
【0027】ランレングス復号化回路11で復元されたデー
タ列は、別途パッキングデータから取り出された量子化
テーブル情報を基に逆量子化回路12で逆量子化され、
記録時の各DCTブロックのAC係数が復元される。そ
して、復元されたAC係数は、逆ジグザグスキャンによ
り2次元データに戻されて逆DCT回路13で記録時の
水平方向8画素×垂直方向8画素よりなる1DCTブロ
ック分の画像データが復元される。
【0028】フレームメモリ14(FM)には、逆DCT回
路13からの画像データがDCTブロック毎に順次格納
され、1画面分の画像データの復元が完了すると画像信
号データとして出力される。
【0029】次に、図6以降を用いて本発明に係るディジタ
ル信号再生装置及び再生方法について説明する。なお、
ここではまず、本発明に係るディジタル信号再生装置の
第1の実施の形態を図6を用いて説明する。
【0030】同図に示すように、図1(b)に示したアンパ
ッキング回路9は符号データ切り出し部9a、符号長テ
ーブル9b、グルーピングメモリ部9c、書込制御部9
d、第1のメモリ9e、第2のメモリ9f、読出制御部
9g、再生データ制限部9h、DCT・VLCカウンタ
9i、切替器9jにより構成され、再生処理部8からの
ビデオセグメント単位のパッキングデータは、まず符号
データ切り出し部9aに入力される。
【0031】符号データ切り出し部9aは、その内部に1ビ
デオセグメント分のメモリを備え、1ビデオセグメント
分のデータを蓄えた後に符号長テーブル9bを参照しな
がら記録時の第1乃至第3のデータの切り出しを行う。
例えば、図5に示すような1ビデオセグメント分のパッ
キングデータが再生処理部8から入力された場合、符号
データ切り出し部9aはこれらのデータを一旦その内部
に蓄え、まず各シンクブロック(SB1乃至SB5)に
おける第1のデータのみを切り出してグルーピングメモ
リ部9cに出力する。
【0032】即ち、符号データ切り出し部9aは符号長テー
ブル9bを参照しながら、まず分割領域1−1における
第1のデータ、分割領域1−2における第1のデータ、
分割領域1−3における第1のデータの順に、分割領域
5−6における第1のデータまでを切り出す。
【0033】そして、次に分割領域1−1における第2のデ
ータ、分割領域1−3における第2のデータ、分割領域
1−5における第2のデータの順に、第2のデータを全
て切り出し、最後に分割領域1−6及びその他の分割領
域に格納される第3のデータが全て切り出される。
【0034】ここで、符号データ切り出し部9aにより切り
出された可変長符号よりなる第1のデータはグルーピン
グメモリ部9c内の第1のメモリ領域、第2のデータは
第2のメモリ領域、第3のデータは第3のメモリ領域に
夫々書き込まれるよう符号データ切り出し部9aはグル
ーピング情報を出力し、書込制御部9dがこのグルーピ
ング情報に基づき書き込み制御を行う。
【0035】このようにして、再生処理部8からの1ビデオ
セグメント分のパッキングデータは、夫々第1乃至第3
のデータに切り出され、切り出された第1乃至第3のデ
ータがグルーピングメモリ部9c内の第1乃至第3のメ
モリ領域に夫々書き込まれるが、符号データ切り出し部
9aから出力される1ビデオセグメント分のグルーピン
グ情報は第1のメモリ9eにも出力され、その内部に書
き込まれる。
【0036】また、再生処理部8からの可変長符号が定義外
の符号であったり、符号が途中で打ち切られているよう
な場合は、符号データ切り出し部9aはこのようにエラ
ーが発生している可変長符号がそのDCTブロック内で
先頭から何番目の符号であるかを示す可変長符号番号
(VLC No.)、そして、エラーが発生していたD
CTブロックがそのビデオセグメント内で先頭から何番
目のDCTブロックであるかを示すDCTブロック番号
(DCT No.)を第2のメモリ9fに出力する。な
お、可変長符号番号(VLC No.)は、図3に示し
た如く1を初期値としており、DCTブロック番号(D
CT No.)は、図5に示した如く0を初期値として
いる。
【0037】1ビデオセグメント分のパッキングデータがグ
ルーピングメモリ9cに書き込まれると、次にこれらの
データの読み出しが行われるが、読出制御部9gは第1
のメモリ9e内に格納されている1ビデオセグメント分
のグルーピング情報に基づき各DCTブロックを構成す
る可変長符号を読み出す。
【0038】ここで、図7は第1のメモリ9e内に格納され
ている1ビデオセグメント分のグルーピング情報の一例
を示すものであり、DCTブロック番号0に関しては第
1のデータのみが存在し、この第1のデータの可変長符
号番号(VLC No.)は1乃至8であることが示さ
れる。また、DCTブロック番号1に関しては第1のデ
ータ及び第2のデータが存在し、第1のデータの可変長
符号番号(VLCNo.)は1乃至10、そして第2の
データの可変長符号番号(VLC No.)は11及び
12であることが示される。また、DCTブロック番号
29に関しては第1のデータ乃至第3のデータが存在
し、第1のデータの可変長符号番号(VLC No.)
は1乃至11、そして第2のデータの可変長符号番号
(VLC No.)は12、第3のデータの可変長符号
番号(VLC No.)は13及び14であることが示
される。
【0039】読出制御部9gは、DCT・VLCカウンタ9
iの示すDCTブロック番号(DCT No.)及び可
変長符号番号(VLC No.)の順に、第1のメモリ
9eに書き込まれているグルーピング情報を参照しなが
ら適切な読み出しアドレスを設定し、DCTブロック毎
の可変長符号を順次読み出す。
【0040】ここで、DCT・VLCカウンタ9iが出力す
るDCTブロック番号(DCTNo.)及び可変長符号
番号(VLC No.)は、読出制御部9gに出力され
ると同時に再生データ制限部9hにも出力され、再生デ
ータ制限部9hは第2のメモリ9f内に可変長符号番号
及びDCTブロック番号が書き込まれているか否かを確
認し、可変長符号番号及びDCTブロック番号が書き込
まれていない時には、再生データ制限部9hは切替器9
jを端子イ側に切り替え、グルーピングメモリ部9cか
ら読み出された1ビデオセグメント分のデータがDCT
ブロック毎に全て切替器9jから出力される。
【0041】ところが、第2のメモリ9f内に可変長符号番
号及びDCTブロック番号が書き込まれている時には、
再生データ制限部9hは切替器9jを必要に応じて端子
ロ側に切り替え、グルーピングメモリ部9cから読み出
された1ビデオセグメント分のデータにおける一部がE
OB符号を示す図3で示したV6のような可変長符号に
置き換えられて出力される。
【0042】また、第2のメモリ9f内に可変長符号番号及
びDCTブロック番号が書き込まれている際には、再生
データ制限部9hは、第1のメモリ9e内のグルーピン
グ情報を参照しながらエラーが発生している可変長符号
が第1のデータ乃至第3のデータのうちの何れのデータ
であるかを判別する。
【0043】そして、再生データ制限部9hは、エラーが発
生している可変長符号が第1のデータ乃至第3のデータ
のうちの何れのデータであるかに応じてEOB符号を示
す可変長符号で置き換えるデータを変化させる。図8
は、エラーが発生している可変長符号が第1のデータ、
第2のデータ、第3のデータの夫々の時に、EOB符号
を示す可変長符号で置き換えられるデータを示すもので
ある。
【0044】ここではまず、エラーが発生している可変長符
号が第1のデータであると判別された場合について説明
する。その際、再生データ制限部9hは、エラーが発生
している可変長符号の存在するDCTブロックに関し
て、エラーが発生している可変長符号及びそれ以降の可
変長符号が切替器9jから出力されることのないよう、
切替器9jを切り替えてこれらの可変長符号をEOB符
号を示す可変長符号で置き換える。
【0045】そして、エラーが発生している可変長符号の存
在するマクロブロック内の他の全てのDCTブロック、
即ち、例えば図5で示すDCTブロック番号8のDCT
ブロック内の可変長符号にエラーが発生している場合に
は、DCTブロック番号6及び7、9乃至11の5個の
DCTブロックに関して、第2のデータ及び第3のデー
タを成す可変長符号が切替器9jから出力されることの
ないよう、切替器9jを切り替えてこれらの可変長符号
をEOB符号を示す可変長符号で置き換える。
【0046】また、エラーが発生している可変長符号の存在
するマクロブロック以外のマクロブロック内の全てのD
CTブロック、例えばDCTブロック番号8のDCTブ
ロック内の可変長符号にエラーが発生している場合に
は、DCTブロック番号0乃至5、12乃至29の24
個のDCTブロックに関して、第3のデータを成す可変
長符号が切替器9jから出力されることのないよう、切
替器9jを切り替えてこれらの可変長符号をEOB符号
を示す可変長符号で置き換える。
【0047】次に、エラーが発生している可変長符号が第2
のデータである場合について説明すると、再生データ制
限部9hは、エラーが発生している可変長符号の存在す
るマクロブロック内の全てのDCTブロック、即ち、例
えばDCTブロック番号8のDCTブロック内の可変長
符号にエラーが発生している場合には、DCTブロック
番号6乃至11の6個のDCTブロックに関して、第2
のデータ及び第3のデータを成す可変長符号が切替器9
jから出力されることのないよう、切替器9jを切り替
えてこれらの可変長符号をEOB符号を示す可変長符号
で置き換える。
【0048】また、エラーが発生している可変長符号の存在
するマクロブロック以外のマクロブロック内の全てのD
CTブロック、例えばDCTブロック番号8のDCTブ
ロック内の可変長符号にエラーが発生している場合に
は、DCTブロック番号0乃至5、12乃至29の24
個のDCTブロックに関して、第3のデータを成す可変
長符号が切替器9jから出力されることのないよう、切
替器9jを切り替えてこれらの可変長符号をEOB符号
を示す可変長符号で置き換える。
【0049】そして、エラーが発生している可変長符号が第
3のデータである場合について説明すると、再生データ
制限部9hは、エラーが発生している可変長符号の存在
するビデオセグメント内の全てのDCTブロック、即
ち、DCTブロック番号0乃至29の30個のDCTブ
ロックに関して、第3のデータを成す可変長符号が切替
器9jから出力されることのないよう、切替器9jを切
り替えてこれらの可変長符号をEOB符号を示す可変長
符号で置き換える。
【0050】なお、切替器9jのこれらの切り替えは、EO
B符号を示す可変長符号で置き換えたいDCTブロック
番号(DCT No.)及び可変長符号番号(VLCN
o.)をDCT・VLCカウンタ9iが示した際に、再
生データ制限部9hが切替器9jに切り替え信号を出力
することによりデータの置き換えが行われる。
【0051】このようにして切替器9jから出力される可変
長符号が、DCTブロック順に可変長復号化回路10
(VLD)に出力されて可変長復号化処理され、更に、
ランレングス復号化回路11(RLD)でランレングス
復号化処理が施される。
【0052】なお、以上の実施例ではエラーが発生した可変
長符号が第1のデータ乃至第3のデータのうちの何れの
データであるかを判別し、その判別結果に応じてEOB
符号を示す可変長符号に置き換えるデータを変化させた
が、例えばエラーが発生した可変長符号が第1のデータ
乃至第3のデータのうちの何れであるかに拘わらず、エ
ラーが発生した可変長符号の存在するビデオセグメント
内の全てのDCTブロックに関して、第2のデータ及び
第3のデータをEOB符号を示す可変長符号で置き換え
るよう制御させても構わない。
【0053】また、その際にエラーが発生した可変長符号の
存在するDCTブロックに関しては、エラーが発生して
いる可変長符号及びそれ以降の可変長符号をEOB符号
を示す可変長符号で置き換え、エラーが発生した可変長
符号の存在するDCTブロック以外のDCTブロックに
関しては、第2のデータ及び第3のデータをEOB符号
を示す可変長符号で置き換えるよう制御させても構わな
い。また、エラーが発生した可変長符号の存在するビデ
オセグメント内の全てのDCTブロックに関して、予め
定めた個数のAC係数あるいは可変長符号だけを出力す
るように制御させても構わない。
【0054】このようにエラーが発生した可変長符号が第1
のデータ乃至第3のデータのうちの何れであるかとは無
関係に、EOB符号を示す可変長符号に置き換えるデー
タを決定する場合は、再生データ制限部9h内での制御
を簡略化させることができる。
【0055】また、エラーが発生した可変長符号の存在する
マクロブロック内のDCTブロックと、このマクロブロ
ックより前に再生されたマクロブロック内のDCTブロ
ック、そしてこれより後に再生されたマクロブロック内
のDCTブロックに対して夫々異なる制御を行っても良
い。
【0056】このように、本発明に係るディジタル信号再生
装置及び再生方法では、可変長符号にエラーが発生して
いる場合に、このエラーが発生しているDCTブロック
内のエラー発生箇所及びそれ以降の可変長符号のみなら
ず、これらのエラーの影響を受けている可能性がある同
一ビデオセグメント内の他のDCTブロックのデータを
EOB符号を示す符号で置き換えることによりエラーデ
ータが再生されることを防止し、再生データが破綻する
可能性を低くしている。
【0057】ところが、以上に示す実施の形態では、可変長
符号に異常があり、エラーが発生していても偶然に何ら
かの符号に対応付けられて復号化され、エラーを検出で
きない場合が考えられる。この場合、可変長符号の正し
い境界がわからなくなるため、無意味なランダムデータ
が復号されることになり、このDCTブロックにおける
復号が異常な状態で継続され、復号後のAC係数のデー
タ数が本来あるべき63個を越えてしまうことが考えら
れる。
【0058】第2の実施の形態によるディジタル信号再生装
置は、このような問題に対応するためのものであり、そ
の構成を図9に示す。同図に示すように、第2の実施の
形態では可変長復号化回路10は、復号部10a及び復
号テーブル10bにより構成され、アンパッキング回路
9からの可変長符号列は復号部10aに入力される。そ
して、復号部10aは記録時の可変長符号化テーブルに
対応する復号テーブル10bを参照しながら可変長復号
化処理を行う。そして、復号部10aは図3に示したよ
うなランレングス符号のゼロラン値(r)及びバリュー
(n)を夫々別々に出力する。
【0059】ランレングス復号化回路11は、ダウンカウン
タ11a、保持回路11b、論理和回路11c、切替器
11dにより構成され、可変長復号化回路10からのゼ
ロラン値(r)はダウンカウンタ11a、バリュー
(n)は保持回路11bに夫々入力される。
【0060】そして、ダウンカウンタ11aの出力と後述す
るエラー制御部14からのエラー検出信号との論理和が
論理和回路11cから出力されて、この出力信号に基づ
き切替器11dが切り替えられて、保持回路11bに保
持されている可変長符号のバリュー(n)あるいは0符
号の何れか一方が選択的に出力される。
【0061】図10は、アンパッキング回路9からの可変長
符号にエラーがなく、エラー制御部14がエラー検出信
号を出力しない場合のランレングス復号化回路11内に
おけるダウンカウンタ11aでのカウント値及び各構成
の出力を示すものであり、例えば、図3で示したような
可変長符号V1に対しては、ゼロラン値0がダウンカウ
ンタ11aに出力されて、バリューn1が保持回路11
bに出力される。また、可変長符号V2に対しては、ゼ
ロラン値3がダウンカウンタ11aに出力されて、バリ
ューn2が保持回路11bに出力される。
【0062】ダウンカウンタ11aは、入力されたゼロラン
値(r)を所定のクロック毎にダウンカウントし、値が
0以外の時はH、0の時はLの信号を出力する。また、
保持回路11bは入力されたバリュー(n)を次のバリ
ューによって書き換えが行われるまで保持している。
【0063】この時、エラー制御部15はエラー検出信号を
出力していないため常にLの信号を出力し、論理和回路
11cの出力は、ダウンカウンタ11aの出力信号と同
一のものになる。そして、切替器11dは論理和回路1
1cの出力信号がHである期間は0符号を選択出力し、
Lである期間は保持回路11bに保持されるバリュー
(n)を選択出力することによりランレングス復号化を
行う。
【0064】可変長符号V3乃至V5に対しても同様に図示の
如くランレングス復号化が行われ、EOBを示す可変長
符号V6が入力されると、切替器11eはランレングス
復号を行っているDCTブロックの最終部分まで0符号
を出力し続けて、1DCTブロック分のランレングス復
号化処理が終了する。
【0065】次にエラー制御部15について説明すると、エ
ラー制御部15は、累積カウンタER1、エラー信号発
生部ER2により構成され、累積カウンタER1には、
復号部10aからのゼロラン値(r)及びカウンタ値で
1を示す情報が入力され、累積カウンタER1は、復号
部10aから入力されるゼロラン値(r)に1を加えた
値を累積加算する。
【0066】ここで、ゼロラン値(r)に1を加えた値は、
ランレングス復号化回路11にてランレングス復号化さ
れる符号の数、即ちAC係数の数を示しており、この数
を累積加算することにより、DCTブロック内で復号し
たAC係数の数を知ることができる。
【0067】そして、エラー信号発生部ER2は、累積カウ
ンタER1が出力する値が63を越えた場合に、エラー
が発生しているとみなしてHの信号、即ちエラー検出信
号を論理和回路11cに出力する。従って、異常な可変
長符号が偶然に何らかの符号に対応付けられて復号さ
れ、63個を越えるAC係数が得られるような場合で
も、63個を越えて得られた符号は全て0符号で置き換
えられるよう切替器11dが切り替えられる。
【0068】つまり、1つのDCTブロックに対して63個
を越えるAC係数が得られる場合は、63個を越えて得
られたAC係数が0符号で置き換えられて、これらのデ
ータが逆量子化回路12に入力される。そして、逆量子
化回路12で逆量子化処理が施されれた後に、逆量子化
を終えたデータがビデオセグメントメモリ16(VSメ
モリ)に書き込まれる。
【0069】このように、ランレングス復号化回路11(R
LD)では、63個を越えるAC係数が得られたDCT
ブロックに限り、63個を越えて得られたAC係数が0
符号で置き換えられて出力されるが、63個を越えるA
C係数が得られたDCTブロックと同一のマクロブロッ
ク内、あるいは同一のビデオセグメント内のDCTブロ
ックもこのエラーの影響を受けている可能性がある。
【0070】従って、エラーの影響を受けている可能性があ
るこのようなDCTブロック内のデータに関しても一部
のデータを0符号で置き換えることが望ましく、後述す
るように再生データ制限部17が切替器18を切り替え
ることによりデータの置き換えが行われる。
【0071】ここで、アンパッキング回路9は、第1の実施
の形態で説明したグルーピング情報を出力しており、ま
た、DCT・VLC・ACカウンタ20は、ランレング
ス復号化回路11(RLD)が現在処理しているDCT
ブロック番号(DCTNo.)、可変長符号番号(VL
C No.)及び可変長符号からAC係数を得た際のA
C係数番号(AC No.)を出力している。
【0072】そして、グルーピング情報変換部19には、ア
ンパッキング回路9から出力されるグルーピング情報
と、DCT・VLC・ACカウンタ20から出力される
DCTブロック番号(DCT No.)、可変長符号番
号(VLC No.)、AC係数番号(AC No.)
が入力されており、図3で示したようなグルーピング情
報における可変長符号番号が、可変長符号を復号した際
のAC係数番号に変換されて、変換グルーピング情報と
して出力される。
【0073】一方、第3のメモリ21には、グルーピング情
報変換部19からの変換グルーピング情報と、エラー制
御部15からのエラー検出信号とが入力されるが、既に
説明したように、1つのDCTブロック内で63個を越
えるAC係数が得られた場合のみエラー信号発生部ER
2はHの信号、即ちエラー検出信号を出力し、その時に
限りグルーピング情報変換部19からの1ビデオセグメ
ント分の変換グルーピング情報が第3のメモリ21に書
き込まれる。
【0074】そして、再生データ制限部17には、ビデオセ
グメントメモリ16(VSメモリ)が現在読み出してい
るDCTブロック番号(DCT No.)及びAC係数
番号(AC No.)を出力しているDCT・ACカウ
ンタ22からのカウンタ値が入力されているが、再生デ
ータ制限部17は、第3のメモリ21に変換グルーピン
グ情報が書き込まれている際には、この情報とDCT・
ACカウンタ22からのカウンタ値とを基に、63個を
越えるAC係数が得られたDCTブロックの存在するビ
デオセグメント内の全てのDCTブロックに関して、第
2のデータ及び第3のデータが0符号で置き換えられる
よう切替器18を切り替える。
【0075】そして、第2のデータ及び第3のデータが全て
0符号で置き換えられた1ビデオセグメント分のデータ
が逆DCT回路13に出力され、逆DCT処理が施され
る。このように、第2の実施の形態では異常な可変長符
号が偶然に何らかの符号に対応付けられて復号され、6
3個を越えるAC係数が得られるような場合でも再生デ
ータが破綻する可能性を低くすることができる。また、
第2の実施の形態は、第1の実施の形態と組み合わせて
使用することにより、更に、再生データが破綻する可能
性を低くすることができる。
【0076】なお、第2の実施の形態においては、ランレン
グス復号化の際に、エラーの発生しているデータを0符
号で置き換えた例を示したが、ランレングス符号化でな
く他の符号化方式により圧縮符号化がされている場合も
同様に、エラーの発生しているデータは0符号で置き換
えられることは言うまでもない。
【0077】次に、第3の実施の形態によるディジタル信号
再生装置について説明する。これまでの実施の形態で
は、可変長符号にエラーが発生している場合に、可能な
限り再生信号の破綻を防ぐよう正常と思われるデータの
み出力し、エラーの発生しているデータを0符号あるい
は0符号と同等である可変長符号に置き換えていた。
【0078】これに対し、第3の実施の形態によるディジタ
ル信号再生装置は、可変長符号にエラーが発生している
場合には、エラーが発生している可変長符号の存在する
ビデオセグメント内のデータを1フレーム前の画面同一
位置のデータで置き換えることを特徴とし、図11はそ
の構成の一例である。
【0079】図示の如く、フレームメモリ14(FM)は、
その内部に第1のフレームメモリ14a及び第2のフレ
ームメモリ14b、そして、第1乃至第3の切替えスイ
ッチ(SW1乃至SW3)を備えており、また、フレーム
メモリ制御部23が新たに追加されている。
【0080】フレームメモリ制御部23は、第4のメモリ2
3a、切替信号発生部23b、VSカウンタ23cによ
り構成され、可変長符号にエラーがある場合には、エラ
ーが発生している可変長符号の存在するビデオセグメン
トのビデオセグメント番号(VS No.)が第4のメ
モリ23aに書き込まれる。この時、VSカウンタ23
cはフレームメモリ14に現在書き込みが行われている
ビデオセグメントの番号を出力している。
【0081】そして、切替信号発生部23bは、第4のメモ
リ23aに書き込まれているエラー箇所を示すビデオセ
グメント番号(VS No.)とVSカウンタ23cか
ら出力される番号とが一致した場合に、第1及び第2の
切替えスイッチ(SW1及び2)を端子ロ側に切り替え
るよう制御信号を出力する。
【0082】第1及び第2の切替えスイッチ(SW1及び
2)は、通常、端子イ側に切り替えがなされており、逆
DCT回路13からの画像データが14aあるいは14
bの何れか一方のフレームメモリに書き込まれ、第3の
スイッチ(SW3)は書き込みの行われていない他方の
フレームメモリから読み出されるデータを選択出力して
いるが、切替信号発生部23bからの制御信号に基づ
き、第1及び第2の切替えスイッチ(SW1及び2)は
端子ロ側に切り替えられ、その際には逆DCT回路13
からの画像データでなく、第3の切替えスイッチ(SW
3)を介して選択出力されているフレームメモリからの
画像データ、つまり1フレーム前の同一画面位置の画像
データが書き込まれる。
【0083】即ち、フレームメモリ14に書き込まれるビデ
オセグメントのデータにエラーが発生している場合に
は、フレームメモリ制御部23からの制御信号に基づき
第1及び第2の切替えスイッチ(SW1及び2)が端子
ロ側に切り替えられるため、このエラーが発生している
ビデオセグメントの画像データが1フレーム前の同一画
面位置の画像データに置き換えられることになる。な
お、ここで、一方のフレームメモリに画像データを書き
込む際に、他方のフレームメモリからは1フレーム前の
画面同一位置の画像データを読み出すようアドレス制御
をしていることは言うまでもない。
【0084】また、フレームメモリ制御部23からの制御信
号に基づき、第1及び第2のフレームメモリ14a及び
14bの書き込み処理を禁止させるよう制御した場合に
は、第1及び第2の切替えスイッチ(SW1及び2)は
設ける必要がない。その際、エラーが発生しているビデ
オセグメントの画像データはフレームメモリ14内に書
き込まれず、エラーの発生していないビデオセグメント
の画像データのみフレームメモリ14内に書き込まれて
データが更新される。従って、エラーが発生しているビ
デオセグメントのデータは2フレーム前の同一画面位置
の画像データで置き換えられることになる。
【0085】なお、以上の実施の形態では、DCTブロック
を水平方向8画素×垂直方向8画素で構成した例を示し
たが、これに限らず、水平方向8画素×垂直方向4画
素、あるいは、水平方向16画素×垂直方向16画素
等、他の画素数によりDCTブロックを構成しても構わ
ないことは言うまでもない。
【0086】
【発明の効果】本発明に係るディジタル信号再生装置及
び再生方法によれば、画像データを復元する際のディジ
タルデータに異常があることが検出した場合に、異常デ
ータの存在する圧縮ブロック内の第2のデータの使用が
制限されるため、再生データを破綻してしまう確率を低
くすることができ、画面上に市松模様のような不自然な
画像があらわれることはない。
【図面の簡単な説明】
【図1】ディジタル信号記録再生装置の主な構成を示す
ブロック図である。
【図2】DCTブロック及び、ジグザグスキャンを示す
図である。
【図3】ランレングス符号化及び可変長符号化を示す図
である。
【図4】マクロブロックを示す図である。
【図5】5つのシンクブロックに1ビデオセグメント分
のデータを格納した例を示すものである。
【図6】本発明の第1の実施の形態を説明するための図
である。
【図7】グルーピング情報の一例を示す図である。
【図8】EOB符号を示す可変長符号で置き換えられる
データを示す図である。
【図9】本発明の第2の実施の形態を説明するための図
である。
【図10】可変長符号にエラーがない場合の可変長復号
化回路の動作を示す図である。
【図11】本発明の第3の実施の形態を説明するための
図である。
【符号の説明】
1、14、14a、14b…フレームメモリ 2…DCT回路 3…量子化回路 4…ランレングス符号化回路 5…可変長符号化回路 6…パッキング回路 7…記録処理部 8…再生処理部 9…アンパッキング回路 9a…符号データ切り出し部 9b…符号長テーブル 9c…グルーピングメモリ部 9d…書込制御部 9e…第1のメモリ 9f…第2のメモリ 9g…読出制御部 9h、17…再生データ制限部 9i…DCT・VLCカウンタ 10…可変長復号化回路 10a…復号部 10b…復号テーブル 11…ランレングス復号化回路 11a…ダウンカウンタ 11b…保持回路 11c…論理和回路 11d…切替器 12…逆量子化回路 13…逆DCT回路 15…エラー制御部 16…VSメモリ 18…切替器 19…グルーピング情報変換部 20…DCT・VLC・ACカウンタ 21…第3のメモリ 22…DCT・ACカウンタ 23…フレームメモリ制御部 23a…第4のメモリ 23b…切替信号発生部 23c…VSカウンタ
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 7/30 H04N 7/133 A Fターム(参考) 5C053 FA23 GA11 GB05 GB15 GB21 GB22 GB26 GB38 5C059 MA23 MC01 MC11 MC24 MC32 MC34 ME05 RF18 RF21 SS11 UA02 UA05 UA34 5D044 AB05 AB07 BC01 CC03 DE12 DE69 DE96 FG18 GK08

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】1画面を水平方向及び垂直方向に分割して
    得た矩形ブロックに直交変換処理及び可変長符号化処理
    を施し、更に、複数個の矩形ブロックを1つの圧縮ブロ
    ックとして前記圧縮ブロックにおける符号量が所定値以
    下となるよう圧縮符号化したデータを矩形ブロック毎に
    設けられる所定容量を有する格納領域に第1のデータと
    して順次格納すると共に、格納しきれずにあふれたデー
    タを前記圧縮ブロックの他の矩形ブロックを格納するた
    めの格納領域に第2のデータとして格納したディジタル
    データを復号化して、画像データを復元するディジタル
    信号再生装置であり、 前記ディジタルデータに異常があることを検出する異常
    検出手段を少なくとも備え、 前記異常検出手段により異常が検出された場合には、異
    常が検出された異常データの存在する圧縮ブロック内の
    第2のデータの使用を制限することを特徴とするディジ
    タル信号再生装置。
  2. 【請求項2】1画面を水平方向及び垂直方向に分割して
    得た矩形ブロックに直交変換処理及び可変長符号化処理
    を施し、更に、複数個の矩形ブロックを1つの圧縮ブロ
    ックとして前記圧縮ブロックにおける符号量が所定値以
    下となるよう圧縮符号化したデータを矩形ブロック毎に
    設けられる所定容量を有する格納領域に第1のデータと
    して順次格納すると共に、格納しきれずにあふれたデー
    タを前記圧縮ブロックの他の矩形ブロックを格納するた
    めの格納領域に第2のデータとして格納したディジタル
    データを復号化して、画像データを復元するディジタル
    信号再生方法であり、 前記ディジタルデータに異常が検出された場合には、異
    常が検出された異常データの存在する圧縮ブロック内の
    第2のデータの使用を制限することを特徴とするディジ
    タル信号再生方法。
JP2002168219A 2002-06-10 2002-06-10 ディジタル信号再生装置及び再生方法 Expired - Fee Related JP4000921B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002168219A JP4000921B2 (ja) 2002-06-10 2002-06-10 ディジタル信号再生装置及び再生方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002168219A JP4000921B2 (ja) 2002-06-10 2002-06-10 ディジタル信号再生装置及び再生方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP03244599A Division JP3332220B2 (ja) 1999-02-10 1999-02-10 ディジタル信号再生装置及び再生方法

Publications (2)

Publication Number Publication Date
JP2003061050A true JP2003061050A (ja) 2003-02-28
JP4000921B2 JP4000921B2 (ja) 2007-10-31

Family

ID=19195085

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002168219A Expired - Fee Related JP4000921B2 (ja) 2002-06-10 2002-06-10 ディジタル信号再生装置及び再生方法

Country Status (1)

Country Link
JP (1) JP4000921B2 (ja)

Also Published As

Publication number Publication date
JP4000921B2 (ja) 2007-10-31

Similar Documents

Publication Publication Date Title
JP3215952B2 (ja) 符号化装置及び復号化装置
JP3428033B2 (ja) ディジタルvtr
EP0575997B1 (en) Digital video cassette recorder signal processing apparatus
EP0602817A2 (en) Digital video signal processing apparatus
JPH05115010A (ja) 画像復号化装置
JPH08256308A (ja) ディジタルビデオテ−プレコ−ダのビットストリ−ム配置/復元方法およびそれに適合なデ−タ圧縮装置および伸長装置
JPH1127675A (ja) データ圧縮装置及び圧縮データ処理方法
JP3332220B2 (ja) ディジタル信号再生装置及び再生方法
JP4000921B2 (ja) ディジタル信号再生装置及び再生方法
JP3282489B2 (ja) デジタル情報データ記録及び再生装置
JPH0496484A (ja) ディジタル映像信号再生装置
EP0822724A2 (en) Digital video signal recording and/or reproducing apparatus
JP3034172B2 (ja) 画像データ記録再生装置
JP2000209552A (ja) ディジタル信号再生装置及び再生方法
JP3208601B2 (ja) 高能率符号化装置
US20030091341A1 (en) Image recording device and image reproducing device
JP3297775B2 (ja) 映像データ記録装置及び映像データ再生装置
JP3546439B2 (ja) ディジタル画像信号符号化装置及び符号化方法
JPH1023371A (ja) ディジタル画像信号記録装置
JP3849305B2 (ja) 画像信号再生装置及び方法
JP3063675B2 (ja) 映像信号の再生装置
KR100224623B1 (ko) 영상 데이터 저장장치
JP3456726B2 (ja) 圧縮信号処理装置
JP3787906B2 (ja) ディジタル画像信号記録装置及び画像信号記録再生装置
JP2697290B2 (ja) 映像信号の録画装置および再生装置および録画方法および処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050329

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070427

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070626

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070724

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070806

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100824

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100824

Year of fee payment: 3

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070626

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100824

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110824

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120824

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120824

Year of fee payment: 5

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120824

Year of fee payment: 5

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120824

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130824

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees