JP2001189939A - Mpegビデオ復号器およびmpegビデオ復号方法 - Google Patents
Mpegビデオ復号器およびmpegビデオ復号方法Info
- Publication number
- JP2001189939A JP2001189939A JP37567299A JP37567299A JP2001189939A JP 2001189939 A JP2001189939 A JP 2001189939A JP 37567299 A JP37567299 A JP 37567299A JP 37567299 A JP37567299 A JP 37567299A JP 2001189939 A JP2001189939 A JP 2001189939A
- Authority
- JP
- Japan
- Prior art keywords
- picture
- layer
- decoding
- parameter
- parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/426—Internal components of the client ; Characteristics thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
ショーのようなMPEGビットストリームに対して正し
く表示させること。また、本来の表示順序にかかわらず
任意の順番でピクチャを表示させること。 【解決手段】 フレーム・メモリ53のピクチャ・バン
ク53a,53b,53cおよびパラメータ・バンク5
3f,53g,53hに、復号化されたピクチャと、そ
のピクチャを表示するためのシーケンス・レイヤ、GO
Pレイヤおよびピクチャ・レイヤの各パラメータとをセ
ットにして格納する。直前に復号されたピクチャとセッ
トにされて格納された各レイヤのパラメータを読み出
し、そのパラメータに対して、復号対象のピクチャに付
随されたパラメータを復号して上書きすることによっ
て、復号対象のピクチャとセットにされて格納される各
レイヤのパラメータを生成する。
Description
g Picture Experts Group)規格にしたがって符号化
された動画像のビットストリーム・データを復号化する
MPEGビデオ復号器およびMPEGビデオ復号方法に
関する。画像圧縮にかかる国際標準規格としてMPEG
規格がある。MPEG規格に準拠した動画像符号化技術
および動画像復号化技術は、最近のマルチメディア環境
に欠かせない技術である。そして、MPEG規格を採用
した多くの動画像符号化装置および動画像復号化装置が
開発されている。
イントラピクチャ(intre-coded picture :以下、Iピ
クチャとする)、予測符号化ピクチャ(Predictive-cod
ed picture:以下、Pピクチャとする)および双方向予
測符号化ピクチャ(Bidirectionally predictive-coded
picture:以下、Bピクチャとする)という3つのタイ
プのピクチャが使用される。
ることなく、それ自身のピクチャの情報のみで符号化さ
れる。Iピクチャは、他のピクチャとは独立して符号化
が可能であるため、ランダムアクセス時のアクセス点と
して利用される。したがって、Iピクチャの復号化には
他のピクチャの情報は不要である。
たはPピクチャを参照ピクチャとして符号化される。し
たがって、Pピクチャの復号化には過去のIピクチャの
情報が必要である。
チャまたはPピクチャを参照ピクチャとして符号化され
る。したがって、Bピクチャの復号化には過去と将来の
IピクチャまたはPピクチャの情報が必要である。
式が採用されている。すなわち、ビデオシーケンスは、
上位から順にシーケンス・レイヤ、グループ・オブ・ピ
クチャ・レイヤ(以下、GOPレイヤとする)、ピクチ
ャ・レイヤ、スライス・レイヤ、マクロブロック・レイ
ヤ(以下、MBレイヤとする)およびブロック・レイヤ
の計6階層により構成されている。シーケンス・レイヤ
からスライス・レイヤまでの上位4レイヤには、そのレ
イヤの始まりを示すスタートコードが付加されている。
レイヤごとにパラメータが符号化されている。たとえ
ば、シーケンス・レイヤにおいては、シーケンス・ヘッ
ダ・コード(SHC)に続いて、パラメータとしてホリ
ゾンタル・サイズ・バリュー(horizontal size valu
e)、バーチカル・サイズ・バリュー(vertical size v
alue)およびアスペクト・レシオ・インフォメーション
(aspect ratio information)などが重畳されている。
パラメータの一部を示す図表である。シーケンス・レイ
ヤにおいて、ホリゾンタル・サイズ・バリューおよびバ
ーチカル・サイズ・バリューは、それぞれ画像の水平方
向および垂直方向のサイズ、すなわち画素数を表すパラ
メータである。また、アスペクト・レシオ・インフォメ
ーションは、画素アスペクト比を表すパラメータであ
る。その他にもシーケンス・レイヤには、復号された画
像の水平方向および垂直方向の表示サイズをそれぞれ表
すディスプレイ・ホリゾンタル・サイズ(display hori
zontal size)およびディスプレイ・バーチカル・サイ
ズ(display vertical size)の各パラメータがある。
チャが表示可能であることを表すクローズド・グループ
・オブ・ピクチャ(closed gop)、およびGOPの先頭
のBピクチャの表示が不可能であることを表すブローク
ン・リンク(broken link)の各パラメータがある。
ピクチャから表示することを表すトップ・フィールド・
ファースト(top field first)、および第1フィール
ドのピクチャを繰り返し表示することを表すリピート・
ファースト・フィールド(repeat first field)の各パ
ラメータがある。また、ピクチャ・レイヤには、パンス
キャンのパラメータであるフレーム・センター・ホリゾ
ンタル・オフセット(frame centre horizontal offse
t)およびフレーム・センター・バーチカル・オフセッ
ト(frame centre vertical offset)がある。
に、上述した各レイヤのパラメータを復号時に内部のレ
ジスタに格納し、表示時にこれらのパラメータを参照し
て表示をおこなう構成となっている。以下に、従来のM
PEGビデオ復号器の構成について説明する。
成を示すブロック図である。このMPEGビデオ復号器
は、バッファ・メモリ11、画像復号化部12、フレー
ム・バッファ13、復号制御部14および表示制御部1
5から構成される。バッファ・メモリ11は、伝送路や
蓄積メディアから送られてきたMPEGのビットストリ
ームを格納する。画像復号化部12は、バッファ・メモ
リ11から送られてきたビットストリームを復号してピ
クチャを生成する。
12にて生成されたピクチャを格納する。フレーム・バ
ッファ13は、3ピクチャ分の容量を有しており、1ピ
クチャごとに区切られている。この1ピクチャごとに区
切られた領域はバンクと呼ばれる。つまり、フレーム・
バッファ13には第1から第3までの3個のバンク13
a,13b,13cが設けられている。各バンク13
a,13b,13cはそれぞれ固有のアドレス(バンク
・アドレス)を有する。
nc:Vertical-Sync )21を生成する垂直同期信号発
生器16を内蔵する。復号制御部14は、画像復号化部
12および表示制御部15にスライス・レイヤ復号開始
命令22を発行する。スライス・レイヤ復号開始命令2
2は、垂直同期信号(V-Sync)21に同期しており、
その発行周期は、基本的には2フィールド時間に1回、
すなわち1フレーム時間に1回である。これは、表示の
速度が1フレームに1枚のピクチャを表示するため、復
号の速度を表示の速度と一致させるためである。また、
復号制御部14は、コールドスタート時にバッファ・メ
モリ11の容量が条件を満たすと、初期時復号開始命令
23を発行する。初期時復号開始命令23の発行タイミ
ングは、垂直同期信号(V-Sync)21に関係していな
い。
復号された各レイヤのパラメータ24、およびバンク・
アドレス25を格納するためのレジスタを内蔵してい
る。このレジスタには、リオーダ・レジスタ15a、カ
レント・レジスタ15b、フィールドディレイ・レジス
タ15cおよびディスプレイ・レジスタ15dなどがあ
る。バンク・アドレス25は、復号されたピクチャが格
納されたフレーム・バッファ13のバンクを示すアドレ
スである。
2からシーケンス・レイヤ復号完了通知26およびGO
Pレイヤ復号完了通知27を受け取る。シーケンス・レ
イヤ復号完了通知26は、シーケンス・レイヤのパラメ
ータの復号が終了した時点で発行される。GOPレイヤ
復号完了通知27は、GOPレイヤのパラメータの復号
が終了した時点で発行される。
発生器16から垂直同期信号(V−Sync)21が供給
される。表示制御部15は、垂直同期信号(V-Sync)
21に同期したタイミングでフレーム・バッファ13に
表示開始命令28を出力する。この表示開始命令28に
基づいて、フレーム・バッファ13から図示省略した表
示装置に所定のピクチャが転送され、表示装置に画像が
表示される。
直同期信号(V-Sync)21に同期したタイミングで1
ピクチャ分のビットストリームの復号化を開始するとと
もに、垂直同期信号(V-Sync)21に同期したタイミ
ングで表示装置にピクチャを伝達する。これにより、垂
直同期信号(V-Sync)21に同期したタイミングで表
示装置に表示される画像が更新され、表示装置に動画像
が表示される。
成を示すブロック図である。表示制御部15には、シー
ケンス・レイヤ・パラメータ・レジスタ15e、GOP
・レイヤ・パラメータ・レジスタ15f、ピクチャ・レ
イヤ・パラメータ・レジスタ群15gが設けられてい
る。シーケンス・レイヤ・パラメータ・レジスタ15e
は、シーケンス・レイヤ復号完了通知26を受け取る
と、各レイヤのパラメータ24のうちシーケンス・レイ
ヤのホリゾンタル・サイズ・バリューやバーチカル・サ
イズ・バリューなどのパラメータを格納する。
5fは、GOPレイヤ復号完了通知27を受け取ると、
各レイヤのパラメータ24のうちGOPレイヤのクロー
ズド・グループ・オブ・ピクチャやブロークン・リンク
などのパラメータを格納する。ピクチャ・レイヤ・パラ
メータ・レジスタ群15gは、上述したリオーダ・レジ
スタ15a、カレント・レジスタ15b、フィールドデ
ィレイ・レジスタ15cおよびディスプレイ・レジスタ
15dからなる。
群15gに格納されるパラメータには、各レイヤのパラ
メータ24のうちピクチャ・レイヤのテンポラル・リフ
ァレンス(temporal reference)、ピクチャ・コーディ
ング・タイプ(picture coding type)、ピクチャ・ス
トラクチャー(picture structure)などがある。ま
た、ピクチャ・レイヤ・パラメータ・レジスタ群15g
にはバンク・アドレス25が格納される。
タおよびバンク・アドレス25を格納するレジスタ15
a,15b,15c,15dが4個あるのは、MPEG
規格ではIピクチャおよびPピクチャと、Bピクチャと
の並び替え(リオーダリング)をおこなう必要があるか
らである。つまり、Bピクチャを復号化する際には、過
去と将来のピクチャを参照する。したがって、将来のピ
クチャの処理を先におこなうため、並び替え(リオーダ
リング)が必要となる。
およびPピクチャのピクチャ・レイヤ・パラメータおよ
びバンク・アドレス25を格納する。Iピクチャおよび
Pピクチャは復号が完了してもすぐには表示せず、Bピ
クチャとの並び替え(リオーダリング)をおこなう必要
がある。このため、IピクチャおよびPピクチャのパラ
メータおよびバンク・アドレス25をリオーダ・レジス
タ15aに一旦退避させる。
示するピクチャのピクチャ・レイヤ表示パラメータおよ
びバンク・アドレス25を格納する。なお、Bピクチャ
は復号が完了した後、すぐに表示するので、Bピクチャ
のパラメータおよびバンク・アドレス25はリオーダ・
レジスタ15aには格納せず、直接カレントレジスタ1
5bに格納する。
は、復号時間を1フレーム時間にするために、カレント
・レジスタ15bから転送されてくるバンク・アドレス
25を1フィールド時間分だけ遅延させて、つぎのディ
スプレイ・レジスタ15dに転送する。仮に、フィール
ドディレイ・レジスタ15cがないとすると、表示タイ
ミングのフィールド・スロットが復号タイミングのフィ
ールド・スロットの直後のフィールド・スロットになっ
て、正しいタイミングで表示することができなくなる。
フィールドディレイ・レジスタ15cに格納するデータ
はバンク・アドレス25のみである。
表示しているピクチャのバンク・アドレス25が格納さ
れている。言い換えれば、表示制御部15は、ディスプ
レイ・レジスタ15dに格納されたバンク・アドレス2
5の指し示すピクチャを表示するように表示開始命令2
8を発行する。ディスプレイ・レジスタ15dに格納す
るデータはバンク・アドレス25のみであり、ディスプ
レイ・レジスタ15dはフィールドディレイ・レジスタ
15cの内容をそのまま取り込む。このレジスタに格納
されたピクチャ・レイヤの表示パラメータと、上述した
シーケンス・レイヤのパラメータおよびGOPレイヤの
パラメータを総合分析して、表示制御部15はピクチャ
の表示を実行する。
は、図8に示すように、シフトレジスタ構造になってい
る。リオーダ・レジスタ15aとカレントレジスタ15
bのシフトパルスはスライス・レイヤ復号開始命令22
であり、フィールドディレイ・レジスタ15cとディス
プレイ・レジスタ15dのシフトパルスは垂直同期信号
(V-Sync)21である。バンク・アドレス25はリオ
ーダ・レジスタ15aからディスプレイ・レジスタ15
dまで全部シフトするのに対し、ピクチャ・レイヤの表
示パラメータはカレント・レジスタ15cまでしかシフ
トしない。
デオ復号器の動作について説明する。図9は、従来のM
PEGビデオ復号器の動作を説明するためのタイムチャ
ートである。ただし、図9に示す例では、IピクチャI
2、BピクチャB0、BピクチャB1、PピクチャP
5、BピクチャB3、BピクチャB4、・・・の順番で
ビットストリームが入力され、ピクチャB0、ピクチャ
B1、ピクチャI2,ピクチャB3、・・・の順で表示
するものとする。
たMPEGビットストリームは、まず、バッファ・メモ
リ11に格納される。バッファ・メモリ11に一定量の
データ(たとえば1ピクチャ分のデータ)が蓄積される
と、復号制御部14は初期時復号開始命令23を発行す
る(時刻t0)。画像復号化部12は、初期時復号開始
命令23を受信するとビットストリームの復号を開始
し、まず、最初のピクチャI2の復号をおこなう。画像
復号化部12は、シーケンス・レイヤのパラメータをす
べて復号し終えると、シーケンス・レイヤ復号完了通知
26を発行する。表示制御部15は、シーケンス・レイ
ヤ復号完了通知26を受け取ると、シーケンス・レイヤ
・パラメータ・レジスタ15eにシーケンス・レイヤの
パラメータを格納する(時刻t1)。
ヤのパラメータの復号をおこなう。画像復号化部12
は、GOPレイヤのパラメータを復号し終えると、GO
Pレイヤ復号完了通知27を発行する。表示制御部15
は、GOPレイヤ復号完了通知27を受け取ると、GO
Pレイヤ・パラメータ・レジスタ15fにGOPレイヤ
のパラメータを格納する(時刻t2)。さらに、画像復
号化部12はピクチャI2のピクチャ・レイヤのパラメ
ータまで復号して解読すると、一旦停止する(時刻t
3)。
スに同期して、復号制御部14はスライス・レイヤ復号
開始命令22を発行する(時刻t4)。画像復号化部1
2は、スライス・レイヤ復号開始命令22を受け取る
と、ピクチャI2のスライス・レイヤとMB(マクロブ
ロック)レイヤの復号をおこなう。そして、MBレイヤ
の復号が完了すると、引き続き、画像復号化部12はつ
ぎのピクチャB0のピクチャ・レイヤの復号をおこな
う。ピクチャB0のピクチャ・レイヤの復号が完了する
と、画像復号化部12は再び停止する(時刻t5)。
は、画像復号化部12からピクチャI2のピクチャ・パ
ラメータを受け取り、リオーダ・レジスタ15aに格納
する。このとき、リオーダ・レジスタ15aはスライス
・レイヤ復号開始命令22をラッチパルスとして、スラ
イス・レイヤ復号開始命令22に同期したタイミングで
ピクチャI2のパラメータを格納する。
同期信号(V-Sync)21に同期して再びスライス・レ
イヤ復号開始命令22を発行する。画像復号化部12
は、このスライス・レイヤ復号開始命令22を受け取る
と、ピクチャB0のスライス・レイヤおよびMBレイヤ
の復号を開始する。これと同時にピクチャB0のピクチ
ャ・パラメータをカレント・レジスタ15bに格納す
る。
つぎの垂直同期信号(V-Sync)21に同期してフィー
ルドディレイ・レジスタ15cにシフトされ、さらに、
そのつぎの垂直同期信号(V-Sync)21に同期してデ
ィスプレイ・レジスタ15dに格納される(時刻t
7)。これで、表示すべきピクチャのデータがそろい、
表示の準備ができたことになる。そして、表示制御部1
5は、ピクチャ・レイヤ・パラメータ、シーケンス・レ
イヤ・パラメータおよびGOPレイヤ・パラメータを総
合的に分析し、このピクチャB0をどのように表示する
かを決定する。
ーの値が「720」で、バーチカル・サイズ・バリュー
の値が「480」で、クローズド・グループ・オブ・ピ
クチャの値が「1」で、ブロークン・リンクの値が「0
(ゼロ)」で、トップ・フィールド・ファーストの値が
「1」で、リピート・ファースト・フィールドの値が
「0(ゼロ)」で、フレーム・センター・ホリゾンタル
・オフセットおよびフレーム・センター・バーチカル・
オフセットの値がともに「0(ゼロ)」とする。この場
合、表示制御部15は、このピクチャB0は有効である
ので表示し、「720×480」ピクセルの大きさでパ
ンスキャン表示をおこなわずに、普通に表示すればよい
と判断する。
ファ13に表示開始命令28を発行し、ホリゾンタル・
サイズ・バリューおよびバーチカル・サイズ・バリュー
で示される領域分のピクチャを表示させる。
復号をおこなう。Bピクチャを表示させる場合には、表
示制御部15は、カレント・レジスタ15bに格納され
たピクチャ・レイヤの表示パラメータと、シーケンス・
レイヤおよびGOPレイヤの表示パラメータを参照して
表示を進行させる。また、IピクチャまたはPピクチャ
を表示させる場合には、表示制御部15は、ディスプレ
イ・レジスタ15dに格納されたピクチャ・レイヤの表
示パラメータと、シーケンス・レイヤおよびGOPレイ
ヤの表示パラメータを参照して表示を進行させる。
System Committee)方式のテレビ映像では、1フレー
ムが2つのフィールド(トップフィールドおよびボトム
フィールド)に分割される。したがって、図9(図2、
図3および図10においても同じ)では、表示の様子と
して、各ピクチャがトップフィールド(図において
「T」で示すフィールド)とボトムフィールド(図にお
いて「B」で示すフィールド)に分けられて示されてい
る。
た従来のMPEGビデオ復号器では、1シーケンスにピ
クチャが1枚しか存在しないようなビットストリーム
で、かつ、このシーケンスを複数つなげたビットストリ
ーム(一般にスライドショーと呼ばれる)を復号し、表
示する場合にはつぎの2つの問題点が生じる。これら問
題点について以下に説明する。
スライドショーにおける動作を説明するためのタイムチ
ャートである。たとえば、1シーケンス1ピクチャであ
るシーケンスが3シーケンス連続した場合を例にして説
明する。各シーケンスをSEQ1、SEQ2およびSE
Q3とする。この場合、1シーケンス1ピクチャである
ため、3枚のピクチャのそれぞれについてシーケンス・
レイヤの表示パラメータが存在する。
について、ホリゾンタル・サイズ・バリューおよびバー
チカル・サイズ・バリューの各値がそれぞれ「720」
および「480」であり、第2番目のシーケンスSEQ
2について、ホリゾンタル・サイズ・バリューおよびバ
ーチカル・サイズ・バリューの各値がそれぞれ「36
0」および「240」であり、第3番目のシーケンスS
EQ3について、ホリゾンタル・サイズ・バリューおよ
びバーチカル・サイズ・バリューの各値がそれぞれ「3
60」および「480」であると仮定する。
〜t3までの動作は、図9に示す通常表示の動作と同様
である。しかし、図10に示す例では、時刻t4におい
て第1番目のシーケンスSEQ1から第2番目のシーケ
ンスSEQ2に切り替わる。そのため、シーケンス・レ
イヤ表示パラメータが第1番目のシーケンスSEQ1の
パラメータから第2番目のシーケンスSEQ2のパラメ
ータに更新されてしまう。つまり、画像の水平サイズが
720ピクセルから360ピクセルに、また画像の垂直
サイズが480ピクセルから240ピクセルに更新され
る。さらに、図10に示す例では、時刻t5において第
3番目のシーケンスSEQ3に切り替わる。その時点
で、第3番目のシーケンスSEQ3のパラメータに更新
されるので、画像の垂直サイズが240ピクセルから4
80ピクセルに更新される。したがって、画像のサイズ
は「360×480」ピクセルに変更される。
EQ1のI2ピクチャを表示させる場合、本来なら「7
20×480」ピクセルのサイズで表示されなければな
らない。しかし、時刻t6においては第3番目のシーケ
ンスSEQ3のパラメータに更新されているため、「3
60×480」ピクセルのサイズで表示されてしまう。
つまり、ピクチャ・パラメータと各シーケンスのシーケ
ンス・レイヤの組み合わせ管理がきちんとなされていな
いため、復号した画像が正しく表示されなくなってしま
う。説明を省略したが、GOPレイヤの表示パラメータ
についても同様である。これが第1番目の問題点であ
る。このような問題は、たとえば蓄積メディアから送ら
れてきたMPEGビットストリームに対して、ポーズ
(一時停止)や早送りや巻き戻しなどの操作がおこなわ
れた場合にも起こる。
・レイヤ・パラメータ・レジスタ15eおよびGOPレ
イヤ・パラメータ・レジスタ15fが一つずつしか設け
られていないことである。そのため、これらのレジスタ
15e,15fに保持され得るシーケンス・パラメータ
およびGOPパラメータは一組だけである。したがっ
て、スライドショーのように異なるシーケンスが連続す
る場合には、シーケンス・パラメータおよびGOPパラ
メータが次々と上書きされ、更新されてしまう。
の最後のシーケンスである第3のシーケンスSEQ3の
後に第4番目のシーケンスがないため、第3のシーケン
スSEQ3が表示されないことである。その理由は、第
4番目のシーケンスに対するスライス・レイヤ復号開始
命令が復号制御部14から発行されないと、時刻t6に
おいて、リオーダ・レジスタ15aに格納した第3番目
のシーケンスSEQ3のピクチャ・パラメータをカレン
ト・レジスタ15bにシフトさせることができないから
である。第3番目のシーケンスSEQ3のピクチャ・パ
ラメータは、カレント・レジスタ15bにシフトされな
いと、フィールドディレイ・レジスタ15cおよびディ
スプレイ・レジスタ15dにもシフトされない。すなわ
ち、3番目のシーケンスSEQ3は表示されなくなって
しまう。
器でスライドショーの復号および再生を実現するために
は、あらかじめ余分なシーケンスを最後尾に付加してお
くとともに、シーケンス・レイヤ・パラメータ・レジス
タ15eおよびGOPレイヤ・パラメータ・レジスタ1
5fに格納されたパラメータが上書きされないように、
シーケンス間の時間を十分に長くする必要がある。しか
しながら、これではスライドショー本来の表示は実現で
きない。
のであって、スライドショーのようなMPEGビットス
トリームに対して、後続のピクチャ(またはシーケン
ス)がなくても正しく表示させることができるMPEG
ビデオ復号器およびMPEGビデオ復号方法を提供する
ことを目的とする。
序にかかわらず任意の順番でピクチャを表示させること
ができるMPEGビデオ復号器およびMPEGビデオ復
号方法を提供することである。
め、本発明は、フレーム・メモリの各バンクに、復号化
されたピクチャとともにそのピクチャを表示するための
シーケンス・レイヤ、GOPレイヤおよびピクチャ・レ
イヤの各パラメータをセットにして格納することを特徴
とする。その際、復号対象のピクチャとセットにされて
格納される各レイヤのパラメータは、直前に復号された
ピクチャとセットにされて格納された各レイヤのパラメ
ータに対して、復号対象のピクチャに付随されたパラメ
ータを復号して更新することによって生成される。
場合には、その復号対象のピクチャに付随するシーケン
ス・レイヤ、GOPレイヤおよびピクチャ・レイヤの各
パラメータを記憶させる記憶領域からパラメータの読み
出しをおこなう。パラメータおよびピクチャの復号は垂
直同期信号に関係なくおこなわれ、一方、復号されたピ
クチャの表示は垂直同期信号に同期しておこなわれる。
パラメータは、画像復号化部の内部バッファにマクロブ
ロック単位で一旦格納されてからフレーム・メモリに書
き込まれる。同様に、画像復号化部により復号されたピ
クチャは、画像復号化部の内部バッファにマクロブロッ
ク単位で一旦格納されてからフレーム・メモリに書き込
まれる。その際、復号された各レイヤのパラメータと復
号されたピクチャは同一のデータ転送パスを介して内部
バッファとフレーム・メモリ間で転送される。
バンクに、復号化されたピクチャとともにそのピクチャ
を表示するためのシーケンス・レイヤ、GOPレイヤお
よびピクチャ・レイヤの各パラメータがセットになって
格納されるので、スライドショーのようなビットストリ
ームでも連続して復号することができる。また、任意の
順番でピクチャを表示させることができる。
ビデオ復号器の一例について図面を参照しながら説明す
る。図1は、本発明にかかるMPEGビデオ復号器の一
構成例を示すブロック図である。このMPEGビデオ復
号器は、バッファ・メモリ51、画像復号化部52、フ
レーム・メモリ53、復号制御部54、表示制御部5
5、垂直同期信号発生器56、ステイタス・レジスタ5
7を備えている。
ディアから送られてきたMPEGのビットストリームを
格納する。画像復号化部52は、バッファ・メモリ51
から送られてきたビットストリームを復号してピクチャ
および各レイヤのパラメータを生成する。画像復号化部
52には内部バッファであるマクロブロック・バッファ
(以下、MBバッファとする)58が設けられている。
MBバッファ58は、復号されたピクチャをマクロブロ
ック単位(8×8画素)で一旦格納する。また、MBバ
ッファ58は、復号されたパラメータを一旦格納する。
8から転送されてきたピクチャおよび各レイヤのパラメ
ータを格納する。つまり、フレーム・メモリ53には、
復号されたピクチャを格納するピクチャ格納領域53d
と、各レイヤのパラメータを格納するパラメータ格納領
域53eが設けられている。ピクチャ格納領域53d
は、特にその数を限定しないが、たとえば3個のピクチ
ャ・バンク53a,53b,53cに分けられている。
また、パラメータ格納領域53eは、特にその数を限定
しないが、たとえば3個のパラメータ・バンク53f,
53g,53hに分けられている。各パラメータ・バン
ク53f,53g,53hの格納フォーマットはマクロ
ブロック(MB)と同じである。
ャ・バンクに格納される。また、格納されたピクチャに
付随するパラメータは、3個のパラメータ・バンク53
f,53g,53hのうち、そのピクチャの格納バンク
に対応するパラメータ・バンクに格納される。たとえ
ば、第1番目のパラメータ・バンク53fが第1番目の
ピクチャ・バンク53aに対応づけられているとする。
ピクチャI2の復号されたピクチャが第1番目のピクチ
ャ・バンク53aに格納された場合、ピクチャI2のす
べてのパラメータは第1番目のパラメータ・バンク53
fに格納される。たとえば、各パラメータ・バンク53
f,53g,53hは、それぞれピクチャ・バンク53
a,53b,53cの空き領域に設けられる。
との間のデータ転送パス71は、復号されたピクチャを
MBバッファ58からフレーム・メモリ53へ転送する
パスであるとともに、MBバッファ58とフレーム・メ
モリ53との間でパラメータを双方向に転送するための
パスも兼ねている。つまり、MBバッファ58に格納さ
れたパラメータは、データ転送パス71を介してフレー
ム・メモリ53のパラメータ格納領域53eへ転送され
る。また、パラメータ格納領域53eに格納されたパラ
メータは、データ転送パス71を介してMBバッファ5
8へ転送される。
・メモリ53の各バンクのデータ格納状態に対応する値
が格納される。本実施の形態では、フレーム・メモリ5
3にピクチャおよびパラメータのそれぞれについて、特
に限定しないが、たとえば3バンクずつ設けられてい
る。すなわち、フレーム・メモリ53には3セット分の
ピクチャおよびパラメータを格納させることができるの
で、ステイタス・レジスタ57のビット数は3ビットと
なる。
号されたピクチャとそれに対応するパラメータが格納さ
れていれば、ステイタス・レジスタ57の対応するビッ
トの値はたとえば「1」となる。一方、空のバンクに対
応するステイタス・レジスタ57のビットの値は「0」
となる。また、バンクにはすでに表示の終了したピクチ
ャが格納されているが、そのピクチャが他のピクチャの
参照ピクチャになっていない場合、すなわちそのピクチ
ャが不要であって上書きされてもよいピクチャである場
合には、そのバンクに対応するステイタス・レジスタ5
7のビットの値は「0」となる。
は、たとえば最上位ビット(MSB)から順に第3番目
のバンク53c,53h、第2番目のバンク53b,5
3g、第1番目のバンク53a,53fに対応してい
る。具体的には、3個のバンク53a,53b,53c
すべてにデータが格納されていればステイタス・レジス
タ57の値は「111」であり、全部空き状態であれば
「000」である。
54と表示制御部55との調停機能を果たす。すなわ
ち、復号制御部54および表示制御部55は、ステイタ
ス・レジスタ57を観測し、その値に応じて復号をおこ
なったり表示をおこなう。
表示制御部55にスライス・レイヤ復号開始命令62を
発行する。スライス・レイヤ復号開始命令62の発行タ
イミングは垂直同期信号(V-Sync)61に関係してい
ない。また、復号制御部54は、コールドスタート時に
バッファ・メモリ51の容量が条件を満たすと、画像復
号化部52に初期時復号開始命令63を発行する。初期
時復号開始命令63の発行タイミングは垂直同期信号
(V-Sync)61に関係していない。また、復号制御部
54は、復号中のピクチャのすべてのマクロブロックを
復号し終えると、ステイタス・レジスタ57に復号完了
通知72を発行する。
56から垂直同期信号(V−Sync)61が供給され
る。表示制御部55は、表示対象となるピクチャのすべ
てのパラメータを、パラメータ転送パス73を介して、
対応するパラメータ・バンクから読み出す。このパラメ
ータの読み出しタイミングは垂直同期信号(V-Sync)
61と関係している。また、表示制御部55はフレーム
・メモリ53に表示開始命令68を発行する。その表示
開始命令68に基づいて、フレーム・メモリ53から図
1において省略した表示装置に所望のピクチャが転送さ
れ、表示装置に画像が表示される。表示完了後、表示制
御部55はステイタス・レジスタ57に表示完了通知7
4を発行する。
号器の復号処理について説明する。図2は、本発明にか
かるMPEGビデオ復号器の復号処理の一例を示すフロ
ーチャートである。
たMPEGビットストリームは、バッファ・メモリ51
に格納される。復号の開始にあたって、バッファ・メモ
リ51に一定量のMPEGビットストリーム(たとえば
1ピクチャ分)がたまると(ステップS1)、復号制御
部54はまずステイタス・レジスタ57を観測する(ス
テップS2)。そして、復号制御部54はフレーム・メ
モリ53に空いているバンクがあるか否か判断する(ス
テップS3)。空いているバンクがない場合には、復号
制御部54は復号を開始させずに、バンクが空くまで待
機する。
始するため、復号制御部54は、直前に復号したピクチ
ャ(またはシーケンス)に関するパラメータが格納され
ているパラメータ・バンクから、その格納されているパ
ラメータを読み出し、MBバッファ58に格納する(ス
テップS4)。ただし、一連のMPEGビットストリー
ムの中の最初のピクチャを復号する場合には、その直前
に復号されたピクチャは存在しない。つまり、直前に復
号したピクチャ(またはシーケンス)に関するパラメー
タを格納したパラメータ・バンクはない。
合は、将来そのピクチャの復号が終了したときにそのピ
クチャに関するパラメータが格納される予定のバンクか
らパラメータが読み出される。最初の復号時には、その
予定されているバンクは初期状態、すなわち何も書き込
まれていない状態であるため、MBバッファ58にはす
べて「0」が書き込まれることになる。
対象のピクチャに関するシーケンス・レイヤ、GOPレ
イヤおよびピクチャ・レイヤの復号がおこなわれる(ス
テップS5)。なお、シーケンス・レイヤおよびGOP
レイヤのデータがない場合には、ピクチャ・レイヤの復
号のみがおこなわれる。そして、復号の結果生成された
各レイヤのパラメータは、MBバッファ58に格納され
たパラメータに上書きされ(ステップS6)、さらにM
Bバッファからパラメータ・バンクに転送されて書き込
まれる。
に関するパラメータが書き込まれると、復号制御部54
はスライス・レイヤ復号開始命令62を発行する(ステ
ップS7)。スライス・レイヤ復号開始命令62が発行
されると、復号対象のピクチャのスライス・レイヤおよ
びMBレイヤの復号が開始される。復号されたデータは
一旦MBバッファ58に格納され、そしてマクロブロッ
ク単位でフレーム・メモリ53のピクチャ・バンクに書
き込まれる。
ブロックの復号が終了すると(ステップS8)、復号制
御部54はステイタス・レジスタ57に復号完了通知7
2を発行する(ステップS9)。その復号完了通知72
により、復号されたピクチャおよびパラメータが格納さ
れたフレーム・メモリ53のバンクに対応するステイタ
ス・レジスタ57のビットの値は「0」から「1」に変
わる(ステップS10)。その後、最初のステップに戻
り、ステップS1〜ステップS10を繰り返す。
号器の表示処理について説明する。図3は、本発明にか
かるMPEGビデオ復号器の表示処理の一例を示すフロ
ーチャートである。
りに同期して(ステップS11)、表示制御部55はス
テイタス・レジスタ57を観測する(ステップS1
2)。そして、表示可能なピクチャがフレーム・メモリ
53内に存在するか否かの判断がおこなわれる(ステッ
プS13)。ステイタス・レジスタ57のいずれかのビ
ットの値が「1」であれば、表示可能なピクチャがフレ
ーム・メモリ53内に存在することになる。
部55は、表示対象とするピクチャのすべてのパラメー
タを対応するパラメータ・バンクから読み出す(ステッ
プS14)。表示制御部55は、その読み出したパラメ
ータの内容を分析し、そのピクチャをどのように表示す
るかを決定する(ステップS15)。そして、表示制御
部55は表示開始命令68を発行する(ステップS1
6)。その表示開始命令68に基づいて、フレーム・メ
モリ53から図示省略した表示装置に所望のピクチャが
転送され、表示装置に画像が表示される。
終了すると(ステップS17)、表示制御部55はステ
イタス・レジスタ57に表示完了通知74を発行する
(ステップS18)。その表示完了通知74の発行によ
り、表示されたピクチャが被参照フレームでなければス
テイタス・レジスタ57の該当するビットの値は「1」
から「0」に書き換わる(ステップS19)。ただし、
表示されたピクチャが参照フレームである場合には、該
当するビットの値は「1」のままである。その後、最初
のステップに戻り、ステップS11〜ステップS19を
繰り返す。
号器の通常動作時の動作について説明する。図4は、本
発明にかかるMPEGビデオ復号器の通常動作時の動作
タイミングを示すタイムチャートである。ここで、通常
動作とは、一連のMPEGビットストリームを本来の順
序で復号する動作のことであり、したがってスライドシ
ョー、早送りや巻き戻し、および逆順再生などの動作は
含まれない。
れると、まず、復号制御部54はステイタス・レジスタ
57を観測する。このときは初期状態であるため、ステ
イタス・レジスタ57の値は「000」である。したが
って、フレーム・メモリ53のたとえば第1番目のバン
ク53a,53fを用いてピクチャI2の復号をおこな
うことにする。
め、その直線に復号されたピクチャは存在しない。した
がって、時刻t0で、第1番目のパラメータ・バンク5
3fからすべてのパラメータを読み出し(図4、符号1
01参照)、そのパラメータをMBバッファ58に書き
込む(図4、符号102参照)。この場合、第1番目の
パラメータ・バンク53fにはまだ何も書き込まれてい
ないため、MBバッファ58にはすべて「0」が書き込
まれる。ここで、最初に第1番目のパラメータ・バンク
53fから読み出す理由については、すでに説明したと
おりである。
ク53fの内容をMBバッファ58に書き終える。同時
に、ビットストリームの復号を開始し、シーケンス・レ
イヤとGOPレイヤの復号をおこなう(図4、符号10
3参照)。それに続いて、ピクチャI2のピクチャ・レ
イヤの復号をおこなう(図4、符号104参照)。復号
の結果得られたパラメータを、MBバッファ58に格納
できるようなフォーマットに成形しながら、逐次、MB
バッファ58に書き込む(図4、符号105参照)。時
刻t3でピクチャ・レイヤの復号が終わると、一旦復号
を停止する。
みが終了したら、時刻t4〜t5で、MBバッファ58
からパラメータを読み出し(図4、符号106参照)、
それを第1番目のパラメータ・バンク53fに書き込む
(図4、符号107参照)。ここまでで、ピクチャI2
のすべてのパラメータが第1番目のパラメータ・バンク
53fに格納されたことになる。
レイヤ復号開始命令62を発行する。これによって、時
刻t6〜t7で、画像復号化部52はピクチャI2のス
ライス・レイヤとMBレイヤの復号をおこなう(図4、
符号108参照)。その際、1マクロブロック分ずつ復
号する。そして、復号の結果生成された係数データをM
Bバッファ58に蓄積し(図4、符号109参照)、マ
クロブロック単位で逐次第1番目のピクチャ・バンク5
3aに書き込んでいく(図4、符号110参照)。
ピクチャ・バンク53aに書き込み終えると、ステイタ
ス・レジスタ57の最下位ビット(LSB)に「1」を
書き込む。したがって、ステイタス・レジスタ57の値
は「001」となる。ここまでで、ピクチャI2の復号
が完了する。
びステイタス・レジスタ57の値を観測する。ステイタ
ス・レジスタ57の値は「001」であるため、フレー
ム・メモリ53のたとえば第2番目のバンク53b,5
3gを用いてピクチャB0の復号をおこなう。したがっ
て、第1番目のパラメータ・バンク53fから、直前に
復号されたピクチャI2の全パラメータを読み出し(図
4、符号111参照)、MBバッファ58に書き込む
(図4、符号112参照)。
一シーケンスに含まれているピクチャであるため、ピク
チャB0にはピクチャ・レイヤのパラメータしか存在し
ない。つまり、ピクチャB0にはシーケンス・レイヤお
よびGOPレイヤのパラメータは存在しない。したがっ
て、ピクチャB0に対するシーケンス・レイヤおよびG
OPレイヤのパラメータに相当するパラメータを得るた
めには、同一シーケンスに含まれるピクチャのシーケン
ス・レイヤおよびGOPレイヤのパラメータが必要とな
る。そのため、本実施の形態では、直前に復号されたピ
クチャ(ここではピクチャI2)のパラメータを読み出
している。
がMBバッファ58に書き込まれると、ピクチャB0の
復号を開始する(図4、符号113参照)。ピクチャB
0はピクチャ・レイヤのデータから始まるので、MBバ
ッファ58に格納されたシーケンス・レイヤおよびGO
Pレイヤのパラメータはそのまま残し、復号されたピク
チャ・レイヤ・パラメータのみをMBバッファ58に上
書きする(図4、符号114参照)。
メータの書き込みが終了したら、MBバッファ58から
パラメータを読み出し(図4、符号115参照)、それ
を第2番目のパラメータ・バンク53gに書き込む(図
4、符号116参照)。ここまでで、ピクチャB0のす
べてのパラメータが第2番目のパラメータ・バンク53
gに格納されたことになる。
・レイヤ復号開始命令62を発行する。これによって、
時刻t11〜t12で、画像復号化部52はピクチャB
0のスライス・レイヤとMBレイヤの復号をおこない
(図4、符号117参照)、係数データをMBバッファ
58に蓄積し(図4、符号118参照)、逐次第2番目
のピクチャ・バンク53bに書き込んでいく(図4、符
号119参照)。
のピクチャ・バンク53bに書き込み終えると、ステイ
タス・レジスタ57の中央のビットに「1」を書き込
む。したがって、ステイタス・レジスタ57の値は「0
11」となる。ここまでで、ピクチャB0の復号が完了
する。
る。すなわち、時刻t15におけるステイタス・レジス
タ57の値が「011」であるため、ピクチャB1の復
号はフレーム・メモリ53の第3番目のバンク53c,
53hを用いておこなわれる。直前に復号されたピクチ
ャB0の全パラメータの読み出し(図4、符号120参
照)、MBバッファ58へのパラメータの書き込み(図
4、符号121参照)、ピクチャB1のピクチャ・レイ
ヤの復号(図4、符号122参照)、MBバッファ58
に対して、ピクチャB1のピクチャ・レイヤ・パラメー
タの上書き(図4、符号123参照)、MBバッファ5
8からのパラメータの読み出し(図4、符号124参
照)、および第3番目のパラメータ・バンク53hへの
パラメータの書き込み(図4、符号125参照)という
一連の動作によって、ピクチャB1のすべてのパラメー
タが第3番目のパラメータ・バンク53hに格納され
る。
号開始命令62が発行されると、ピクチャB1のスライ
ス・レイヤおよびMBレイヤの復号(図4、符号126
参照)、MBバッファ58への係数データの蓄積(図
4、符号127参照)、およびMBバッファ58から第
3番目のピクチャ・バンク53cへの係数データの転送
(図4、符号128参照)という一連の動作によって、
ピクチャB1のすべてのスライスが第3番目のピクチャ
・バンク53cに書き込まれる。その後、ステイタス・
レジスタ57の最上位ビット(MSB)に「1」を書き
込む。以下、同様にしてピクチャP5以降の復号をおこ
なう。
(V-Sync)61の立ち下がりで、ステイタス・レジス
タ57を観測する。時刻t13におけるステイタス・レ
ジスタ57の値は「011」である。これより、第2番
目のバンク53b,53gに対応する中央のビットの値
が「1」であるため、第2番目のバンク53b,53g
に最初の表示対象であるピクチャB0が格納されてお
り、ピクチャB0が表示可能であることがわかる。
5は第2番目のパラメータ・バンク53gからピクチャ
B0のパラメータを読み出す(図4、符号201参
照)。そして、表示制御部55は、読み出したパラメー
タを分析して、どのように表示すべきかを判断する。時
刻t14〜t16の期間、表示制御部55は第2番目の
ピクチャ・バンク53bからピクチャB0の復号された
ピクチャを読み出して(図4、符号202、203参
照)表示装置に表示させる(図4、符号204、205
参照)。その後、ステイタス・レジスタ57の中央のビ
ットに「0」を書き込む。図4において、符号204お
よび符号205はそれぞれピクチャB0のトップフィー
ルドおよびボトムフィールドである。
る。すなわち、時刻t19における垂直同期信号(V-
Sync)61の立ち下がりタイミングにおいて、ステイ
タス・レジスタ57の値は「101」である。したがっ
て、第3番目のバンク53c,53hに2番目に表示す
べきピクチャB1が格納されており、ピクチャB1が表
示可能であることがわかる。
9でピクチャB1のパラメータを読み出して(図4、符
号206参照)どのように表示すべきかを判断し、時刻
t20〜t22の期間でピクチャB1の復号されたピク
チャを読み出して(図4、符号207、208参照)表
示装置に表示させる(図4、符号209、210参
照)。その後、ステイタス・レジスタ57の最上位ビッ
ト(MSB)に「0」を書き込む。以上のようにして、
通常動作時のピクチャの復号および表示が進行する。
号器のスライドショーにおける動作について説明する。
スライドショーにおける動作は、上述した通常動作時と
基本的に同じであるが、一つ一つのピクチャに付随して
いるシーケンス・レイヤとGOPレイヤのパラメータを
MBバッファ58に書き込む点で通常動作時と異なる。
図5は、本発明にかかるMPEGビデオ復号器のスライ
ドショーにおける動作タイミングを示すタイムチャート
である。
れると、まず、復号制御部54はステイタス・レジスタ
57を観測する。このときは初期状態であるため、ステ
イタス・レジスタ57の値は「000」である。したが
って、フレーム・メモリ53のたとえば第1番目のバン
ク53a,53fを用いて第1番目のシーケンスSEQ
1の復号をおこなうことにする。
・バンク53fからすべてのパラメータを読み出し(図
5、符号301参照)、そのパラメータをMBバッファ
58に書き込む(図5、符号302参照)。スライドシ
ョーにおいては、一つ一つのピクチャにシーケンス・レ
イヤとGOPレイヤのデータが付随してくるため、この
パラメータの読み出しおよびMBバッファ58への書き
込みの一連の動作は本来不要である。しかし、スライド
ショーが通常動作時と同様の動作によって実行されるた
め、スライドショーにおいてもこの一連の動作が実行さ
れる。
ク53fの内容をMBバッファ58に書き終える。同時
に、ビットストリームの復号を開始し、第1番目のシー
ケンスSEQ1のシーケンス・レイヤとGOPレイヤの
復号をおこなう(図5、符号303参照)。それに続い
て、第1番目のシーケンスSEQ1のピクチャ・レイヤ
の復号をおこなう(図5、符号304参照)。復号の結
果得られたパラメータを、MBバッファ58に格納でき
るようなフォーマットに成形しながら、逐次、MBバッ
ファ58に書き込む(図5、符号305参照)。時刻t
3でピクチャ・レイヤの復号が終わると、一旦復号を停
止する。
が終了したら、時刻t4〜t5で、MBバッファ58か
らパラメータを読み出し(図5、符号306参照)、そ
れを第1番目のパラメータ・バンク53fに書き込む
(図5、符号307参照)。ここまでで、第1番目のシ
ーケンスSEQ1のすべてのパラメータが第1番目のパ
ラメータ・バンク53fに格納されたことになる。
レイヤ復号開始命令62を発行する。これによって、時
刻t6〜t7で、画像復号化部52は第1番目のシーケ
ンスSEQ1のスライス・レイヤとMBレイヤの復号を
1マクロブロック分ずつおこなう(図5、符号308参
照)。そして、復号の結果生成された係数データをMB
バッファ58に蓄積し(図5、符号309参照)、マク
ロブロック単位で逐次第1番目のピクチャ・バンク53
aに書き込んでいく(図5、符号310参照)。
ピクチャ・バンク53aに書き込み終えると、ステイタ
ス・レジスタ57の最下位ビット(LSB)に「1」を
書き込む。したがって、ステイタス・レジスタ57の値
は「001」となる。ここまでで、第1番目のシーケン
スSEQ1の復号が完了する。
びステイタス・レジスタ57の値を観測する。ステイタ
ス・レジスタ57の値は「001」であるため、フレー
ム・メモリ53のたとえば第2番目のバンク53b,5
3gを用いて第2番目のシーケンスSEQ2の復号をお
こなう。したがって、直前の復号によってパラメータが
格納された第1番目のパラメータ・バンク53fからパ
ラメータを読み出し(図5、符号311参照)、MBバ
ッファ58に書き込む(図5、符号312参照)。
58に書き込まれると、第2番目のシーケンスSEQ2
の復号を開始し、そのシーケンス・レイヤとGOPレイ
ヤの復号をおこなう(図5、符号313参照)。それに
続いて、第2番目のシーケンスSEQ2のピクチャ・レ
イヤの復号をおこなう(図5、符号314参照)。そし
て、復号された各レイヤのパラメータをMBバッファ5
8に上書きする(図5、符号315参照)。
メータの書き込みが終了したら、MBバッファ58から
パラメータを読み出し(図5、符号316参照)、それ
を第2番目のパラメータ・バンク53gに書き込む(図
5、符号317参照)。ここまでで、第2番目のシーケ
ンスSEQ2のすべてのパラメータが第2番目のパラメ
ータ・バンク53gに格納されたことになる。
・レイヤ復号開始命令62を発行する。これによって、
時刻t11〜t12で、画像復号化部52は第2番目の
シーケンスSEQ2のスライス・レイヤとMBレイヤの
復号をおこない(図5、符号318参照)、係数データ
をMBバッファ58に蓄積し(図5、符号319参
照)、逐次第2番目のピクチャ・バンク53bに書き込
んでいく(図5、符号320参照)。
のピクチャ・バンク53bに書き込み終えると、ステイ
タス・レジスタ57の中央のビットに「1」を書き込
む。したがって、ステイタス・レジスタ57の値は「0
11」となる。ここまでで、第2番目のシーケンスSE
Q2の復号が完了する。
いても同様である。すなわち、時刻t15におけるステ
イタス・レジスタ57の値が「011」であるため、第
3番目のシーケンスSEQ3の復号はフレーム・メモリ
53の第3番目のバンク53c,53hを用いておこな
われる。
パラメータの読み出し(図5、符号321参照)、MB
バッファ58へのパラメータの書き込み(図5、符号3
22参照)、第3番目のシーケンスSEQ3のシーケン
ス・レイヤとGOPレイヤの復号(図5、符号323参
照)、第3番目のシーケンスSEQ3のピクチャ・レイ
ヤの復号(図5、符号324参照)、MBバッファ58
に対して第3番目のシーケンスSEQ3の各レイヤのパ
ラメータの上書き(図5、符号325参照)、MBバッ
ファ58からのパラメータの読み出し(図5、符号32
6参照)、および第3番目のパラメータ・バンク53h
へのパラメータの書き込み(図5、符号327参照)と
いう一連の動作によって、第3番目のシーケンスSEQ
3のすべてのパラメータが第3番目のパラメータ・バン
ク53hに格納される。
号開始命令62が発行されると、第3番目のシーケンス
SEQ3のスライス・レイヤおよびMBレイヤの復号
(図5、符号328参照)、MBバッファ58への係数
データの蓄積(図5、符号329参照)、およびMBバ
ッファ58から第3番目のピクチャ・バンク53cへの
係数データの転送(図5、符号330参照)という一連
の動作によって、第3番目のシーケンスSEQ3のすべ
てのスライスが第3番目のピクチャ・バンク53cに書
き込まれる。その後、ステイタス・レジスタ57の最上
位ビット(MSB)に「1」を書き込む。後続するシー
ケンスがある場合には、以下、同様にして後続のシーケ
ンスの復号をおこなう。
(V-Sync)61の立ち下がりで、ステイタス・レジス
タ57を観測する。時刻t13におけるステイタス・レ
ジスタ57の値は「011」であるため、第1番目のシ
ーケンスSEQ1のピクチャを表示することに決定す
る。スライドショーの場合は、全部のピクチャがイント
ラピクチャであるため、復号が完了していればいつでも
表示可能である。時刻t13では、第1番目のシーケン
スSEQ1と第2番目のシーケンスSEQ2が表示可能
である。
のパラメータ・バンク53fから第1番目のシーケンス
SEQ1のパラメータを読み出す(図5、符号401参
照)。その際、第1番目のパラメータ・バンク53fに
は、第1番目のシーケンスSEQ1のシーケンス・パラ
メータおよびGOPパラメータが格納されているので、
第1番目のシーケンスSEQ1のホリゾンタル・サイズ
・バリューの値(たとえば「720」)と バーチカル
・サイズ・バリューの値(たとえば「480」)を読み
出すことができる。
チャ・バンク53aから第1番目のシーケンスSEQ1
の復号されたピクチャを読み出して(図5、符号40
2、403参照)表示装置に表示させる(図5、符号4
04、405参照)。したがって、時刻t14〜t16
において、第1番目のシーケンスSEQ1の表示は、パ
ラメータとピクチャとが正しく組み合わされているた
め、正しく表示される。その後、ステイタス・レジスタ
57の最下位ビット(LSB)に「0」を書き込む。
いても同様である。すなわち、時刻t19における垂直
同期信号(V-Sync)61の立ち下がりタイミングにお
いて、ステイタス・レジスタ57の値は「010」であ
る。したがって、第2番目のシーケンスSEQ2のピク
チャを表示することに決定し、表示制御部55は、第2
番目のシーケンスSEQ2のパラメータを読み出す(図
5、符号406参照)。そして、表示制御部55は第2
番目のシーケンスSEQ2の復号されたピクチャを読み
出して(図5、符号407、408参照)表示装置に表
示させる(図5、符号409、410参照)。その後、
ステイタス・レジスタ57の中央のビットに「0」を書
き込む。以上のようにして、スライドショーのときのピ
クチャの復号および表示が進行する。
メモリ53のピクチャ・バンク53a,53b,53c
およびパラメータ・バンク53f,53g,53hに、
復号化されたピクチャと、そのピクチャを表示するため
のシーケンス・レイヤ、GOPレイヤおよびピクチャ・
レイヤの各パラメータとがセットになって格納されるの
で、スライドショーのようなビットストリームでも連続
して復号することができる。また、任意の順番でピクチ
ャを表示させることができるので、逆順再生を容易に実
現させることができる。また、フレーム・メモリ53に
おけるピクチャおよび表示用のパラメータの管理が容易
となる。
PEG2を例にして説明したが、これに限らず、本発明
はMPEG1およびMPEG2のいずれにも適用でき
る。また、上述した実施の形態においては、フレーム・
メモリ53には3ピクチャ分のバンクが設けられている
としたが、これに限らず、バンクの数は2ピクチャ分で
もよいし、4ピクチャ分以上でもよい。さらに、本発明
にかかるMPEGビデオ復号器は上述した実施の形態に
限らず、種々設計変更可能であるのはいうまでもない。
Gビットストリームからレイヤの各パラメータ並びにピ
クチャを復号する画像復号化部と、前記画像復号化部に
より復号されたピクチャおよび前記各レイヤのパラメー
タを相互に関連つけて1ピクチャ分ずつ格納する複数の
バンクを備えたフレーム・メモリと、前記画像復号化部
による復号に対する制御をおこなう復号制御部と、前記
フレーム・メモリに格納された、表示対象のピクチャに
関連づけされた各レイヤのパラメータに基づいて前記ピ
クチャの表示制御をおこなう表示制御部と、を具備する
ことを特徴とするMPEGビデオ復号器とすることがで
きる。
1の例のMPEGビデオ復号器として、前記複数のバン
クのピクチャ格納状態を表すステイタス・レジスタをさ
らに備え、前記復号制御部は、1ピクチャごとに復号が
完了すると前記ステイタス・レジスタを更新し、前記表
示制御部は、1ピクチャごとに表示が完了すると前記ス
テイタス・レジスタを更新することを特徴とするMPE
Gビデオ復号器とすることができる。
1または第2の例のMPEGビデオ復号器において、前
記画像復号化部は、復号したピクチャをマクロブロック
単位で一旦格納する内部バッファを備えていることを特
徴とするMPEGビデオ復号器としてもよい。
3の例のMPEGビデオ復号器において、前記内部バッ
ファは、復号された前記各レイヤのパラメータを一旦格
納するバッファを兼ねていることを特徴とするMPEG
ビデオ復号器としてもよい。
4の例のMPEGビデオ復号器において、前記内部バッ
ファから前記フレーム・メモリへ復号されたピクチャを
転送するためのデータ転送パスは、前記内部バッファと
前記フレーム・メモリとの間で復号された前記各レイヤ
のパラメータを転送するためのデータ転送パスを兼ねて
いることを特徴とするMPEGビデオ復号器としてもよ
い。
1〜5の例のMPEGビデオ復号器において、前記画像
復号化部は、直前に復号されたピクチャに関連づけされ
た各レイヤのパラメータに対して、復号対象のピクチャ
に付随されたパラメータを復号して更新することによっ
て、復号対象のピクチャに関連つける各レイヤのパラメ
ータを生成することを特徴とするMPEGビデオ復号器
としてもよい。
1〜5の例のMPEGビデオ復号器において、前記復号
制御部は垂直同期信号に非同期で動作し、一方、前記表
示制御部は垂直同期信号に同期して動作することを特徴
とするMPEGビデオ復号器としてもよい。
2〜7の例のMPEGビデオ復号器において、前記表示
制御部は、表示させたピクチャが他のピクチャの参照ピ
クチャである場合には、表示完了後に前記ステイタス・
レジスタを更新しないことを特徴とするMPEGビデオ
復号器としてもよい。
バンクに、復号化されたピクチャとともにそのピクチャ
を表示するためのシーケンス・レイヤ、GOPレイヤお
よびピクチャ・レイヤの各パラメータがセットになって
格納されるので、スライドショーのようなビットストリ
ームでも連続して復号することができる。また、任意の
順番でピクチャを表示させることができる。
例を示すブロック図である。
理の一例を示すフローチャートである。
理の一例を示すフローチャートである。
作時の動作タイミングを示すタイムチャートである。
ドショーにおける動作タイミングを示すタイムチャート
である。
一部を示す図表である。
ック図である。
示すブロック図である。
ためのタイムチャートである。
ーにおける動作を説明するためのタイムチャートであ
る。
Claims (5)
- 【請求項1】 MPEGビットストリームからレイヤの
各パラメータ並びにピクチャを復号する画像復号化部
と、 前記画像復号化部により復号されたピクチャおよび前記
各レイヤのパラメータを相互に関連つけて1ピクチャ分
ずつ格納する複数のバンクを備えたフレーム・メモリ
と、 前記画像復号化部による復号に対する制御をおこなう復
号制御部と、 前記フレーム・メモリに格納された、表示対象のピクチ
ャに関連づけされた各レイヤのパラメータに基づいて前
記ピクチャの表示制御をおこなう表示制御部と、 を具備することを特徴とするMPEGビデオ復号器。 - 【請求項2】 前記複数のバンクのピクチャ格納状態を
表すステイタス・レジスタをさらに備え、 前記復号制御部は、1ピクチャごとに復号が完了すると
前記ステイタス・レジスタを更新し、 前記表示制御部は、1ピクチャごとに表示が完了すると
前記ステイタス・レジスタを更新することを特徴とする
請求項1に記載のMPEGビデオ復号器。 - 【請求項3】 前記画像復号化部は、復号したピクチャ
をマクロブロック単位で一旦格納する内部バッファを備
えていることを特徴とする請求項1または2に記載のM
PEGビデオ復号器。 - 【請求項4】 直前に復号されたピクチャに関連づけら
れたレイヤの各パラメータを読み出す第1の工程と、 復号対象のピクチャに付随するパラメータを復号し、そ
の復号されたパラメータを用いて、前記第1の工程で読
み出された各レイヤのパラメータを更新する第2の工程
と、 前記第2の工程で得られたパラメータをフレーム・メモ
リに記憶する第3の工程と、 復号対象のピクチャを復号する第4の工程と、 前記フレーム・メモリに、前記第4の工程で復号された
ピクチャを、そのピクチャに対応する各レイヤのパラメ
ータと関連づけて記憶する第5の工程と、 を含むことを特徴とするMPEGビデオ復号方法。 - 【請求項5】 最初のピクチャの復号をおこなう場合、
前記第1の工程において復号対象のピクチャに付随する
レイヤの各パラメータを記憶させる記憶領域からパラメ
ータの読み出しをおこなうことを特徴とする請求項4に
記載のMPEGビデオ復号方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP37567299A JP4526145B2 (ja) | 1999-12-28 | 1999-12-28 | Mpegビデオ復号器およびmpegビデオ復号方法 |
US09/747,957 US7218676B2 (en) | 1999-12-28 | 2000-12-27 | Method and a decoder for decoding MPEG video |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP37567299A JP4526145B2 (ja) | 1999-12-28 | 1999-12-28 | Mpegビデオ復号器およびmpegビデオ復号方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001189939A true JP2001189939A (ja) | 2001-07-10 |
JP4526145B2 JP4526145B2 (ja) | 2010-08-18 |
Family
ID=18505876
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP37567299A Expired - Fee Related JP4526145B2 (ja) | 1999-12-28 | 1999-12-28 | Mpegビデオ復号器およびmpegビデオ復号方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7218676B2 (ja) |
JP (1) | JP4526145B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007043823A1 (en) * | 2005-10-13 | 2007-04-19 | Lg Electronics Inc. | Method and apparatus for encoding/decoding |
CN101536101B (zh) * | 2006-10-19 | 2012-03-28 | Lg电子株式会社 | 编码方法和装置以及解码方法和装置 |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8259121B2 (en) * | 2002-10-22 | 2012-09-04 | Broadcom Corporation | System and method for processing data using a network |
US7920630B2 (en) * | 2003-01-21 | 2011-04-05 | Broadcom Corporation | Buffer descriptor data structure for communication link between decode and display processes in MPEG decoders |
US7817721B2 (en) * | 2003-05-15 | 2010-10-19 | Lsi Corporation | Posting status data in digital transport stream processing |
US20040258160A1 (en) * | 2003-06-20 | 2004-12-23 | Sandeep Bhatia | System, method, and apparatus for decoupling video decoder and display engine |
US8077778B2 (en) * | 2003-10-31 | 2011-12-13 | Broadcom Corporation | Video display and decode utilizing off-chip processor and DRAM |
JP4799854B2 (ja) * | 2004-12-09 | 2011-10-26 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
JP2006229457A (ja) * | 2005-02-16 | 2006-08-31 | Matsushita Electric Ind Co Ltd | 画像復号装置およびメモリ管理装置 |
US7885338B1 (en) * | 2005-04-25 | 2011-02-08 | Apple Inc. | Decoding interdependent frames of a video for display |
US8094712B2 (en) * | 2008-03-31 | 2012-01-10 | Himax Technologies Limited | Apparatus for processing a data stream having a hierarchical layer structure and including encoded data sets and raw data sets and method thereof |
TWI387347B (zh) * | 2009-02-18 | 2013-02-21 | Novatek Microelectronics Corp | 圖像解碼器,參考圖資訊溝通介面以及參考圖控制方法 |
KR102476207B1 (ko) * | 2015-11-12 | 2022-12-08 | 삼성전자주식회사 | 반도체 장치의 동작 방법 및 반도체 시스템 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5212742A (en) * | 1991-05-24 | 1993-05-18 | Apple Computer, Inc. | Method and apparatus for encoding/decoding image data |
GB2268667B (en) | 1992-06-24 | 1995-11-08 | Sony Broadcast & Communication | Serial data decoding |
US5581310A (en) * | 1995-01-26 | 1996-12-03 | Hitachi America, Ltd. | Architecture for a high definition video frame memory and an accompanying data organization for use therewith and efficient access therefrom |
JP3732867B2 (ja) * | 1995-03-09 | 2006-01-11 | 株式会社ルネサステクノロジ | 画像伸張装置 |
US5752266A (en) * | 1995-03-13 | 1998-05-12 | Fujitsu Limited | Method controlling memory access operations by changing respective priorities thereof, based on a situation of the memory, and a system and an integrated circuit implementing the method |
JP3824678B2 (ja) * | 1995-05-09 | 2006-09-20 | 株式会社ルネサステクノロジ | 画像復号表示装置 |
US5896140A (en) * | 1995-07-05 | 1999-04-20 | Sun Microsystems, Inc. | Method and apparatus for simultaneously displaying graphics and video data on a computer display |
JP3535297B2 (ja) * | 1996-01-26 | 2004-06-07 | ローム株式会社 | 画像データ復号方法およびこの方法を用いた画像データ復号装置 |
JP3227086B2 (ja) * | 1996-02-01 | 2001-11-12 | 基弘 栗須 | テレビオンスクリーン表示装置 |
JP2834073B2 (ja) | 1996-05-29 | 1998-12-09 | 新潟日本電気株式会社 | グラフィックシステム |
JPH1093917A (ja) | 1996-09-11 | 1998-04-10 | Fujitsu Ltd | 画像処理装置 |
US5881016A (en) * | 1997-06-13 | 1999-03-09 | Cirrus Logic, Inc. | Method and apparatus for optimizing power consumption and memory bandwidth in a video controller using SGRAM and SDRAM power reduction modes |
JPH11136671A (ja) * | 1997-10-31 | 1999-05-21 | Fujitsu Ltd | 動画像復号方法及び装置並びに動画像再生装置 |
US6272497B1 (en) * | 1998-06-26 | 2001-08-07 | Lsi Logic Corporation | Vertical filter architecture using interleaved memory for storage of pixel data |
US6570626B1 (en) * | 1998-06-26 | 2003-05-27 | Lsi Logic Corporation | On-screen display format reduces memory bandwidth for on-screen display systems |
US6424381B1 (en) * | 1998-06-26 | 2002-07-23 | Lsi Logic Corporation | Filtering decimation technique in a digital video system |
JP2000232649A (ja) | 1998-12-10 | 2000-08-22 | Fujitsu Ltd | Mpegビデオ復号器及びmpegビデオ復号方法 |
US6442206B1 (en) * | 1999-01-25 | 2002-08-27 | International Business Machines Corporation | Anti-flicker logic for MPEG video decoder with integrated scaling and display functions |
-
1999
- 1999-12-28 JP JP37567299A patent/JP4526145B2/ja not_active Expired - Fee Related
-
2000
- 2000-12-27 US US09/747,957 patent/US7218676B2/en not_active Expired - Fee Related
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007043823A1 (en) * | 2005-10-13 | 2007-04-19 | Lg Electronics Inc. | Method and apparatus for encoding/decoding |
US8271551B2 (en) | 2005-10-13 | 2012-09-18 | Lg Electronics Inc. | Method and apparatus for encoding/decoding |
CN101536101B (zh) * | 2006-10-19 | 2012-03-28 | Lg电子株式会社 | 编码方法和装置以及解码方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
US7218676B2 (en) | 2007-05-15 |
US20010005398A1 (en) | 2001-06-28 |
JP4526145B2 (ja) | 2010-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7342967B2 (en) | System and method for enhancing performance of personal video recording (PVR) functions on hits digital video streams | |
US8160152B2 (en) | Moving image decoding apparatus and moving image coding apparatus | |
US6628719B1 (en) | MPEG video decoder and MPEG video decoding method | |
EP1158796B1 (en) | Method and device for decoding a video data stream in special reproduction modes | |
US8223849B2 (en) | Picture decoder, reference picture information communication interface, and reference picture control method | |
US20090086818A1 (en) | Frame buffer memory operating method used to decompress compressed moving pictures, and decoding apparatus adapted to frame buffer memory operating method | |
US8009741B2 (en) | Command packet system and method supporting improved trick mode performance in video decoding systems | |
JP2001189939A (ja) | Mpegビデオ復号器およびmpegビデオ復号方法 | |
US20040257472A1 (en) | System, method, and apparatus for simultaneously displaying multiple video streams | |
JP2878661B2 (ja) | Mpeg規格を有する映像ビット・ストリームをデコーディングする方法 | |
JP3123938B2 (ja) | 映像フレームデータを一メモリに貯蔵する方法 | |
US6275535B1 (en) | Method and device for decoding an image compressed in particular according to the MPEG standards, especially a bidirectional image | |
US7421026B2 (en) | Multiplexing video decoding apparatus and method | |
US6973131B2 (en) | Decoding apparatus, decoding method, decoding processing program and computer-readable storage medium having decoding processing program codes stored therein | |
TWI459818B (zh) | 視訊設備和用於逆向顯示視訊資料的方法 | |
JP2001285877A (ja) | 圧縮符号化データ復号装置および復号方法 | |
US6408100B2 (en) | Method and device of moving picture decoding | |
US6459736B1 (en) | Moving picture decoding apparatus and method | |
JPH09154063A (ja) | 字幕信号符号化装置及び方法、並びに字幕信号復号装置及び方法 | |
JP3098485B2 (ja) | 画像復号装置 | |
JP4164966B2 (ja) | Mpeg画像表示制御方法及び装置 | |
JPH07184165A (ja) | 動画復号化方法及びその装置 | |
KR20000014495A (ko) | 메모리 절감을 위한 엠펙 디코딩 장치 및 방법 | |
JP2005080097A (ja) | 画像再生方法および画像再生装置 | |
JP2001275078A (ja) | 画像記録装置および方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041105 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061114 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061128 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070126 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070911 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071108 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20080730 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100601 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130611 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140611 Year of fee payment: 4 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |