JP2000350203A - 異種フレームレートを有する複数のストリームの混在する映像ストリームのシームレス復号方法およびその装置 - Google Patents

異種フレームレートを有する複数のストリームの混在する映像ストリームのシームレス復号方法およびその装置

Info

Publication number
JP2000350203A
JP2000350203A JP2000088649A JP2000088649A JP2000350203A JP 2000350203 A JP2000350203 A JP 2000350203A JP 2000088649 A JP2000088649 A JP 2000088649A JP 2000088649 A JP2000088649 A JP 2000088649A JP 2000350203 A JP2000350203 A JP 2000350203A
Authority
JP
Japan
Prior art keywords
decoding
stream
picture
video
video stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000088649A
Other languages
English (en)
Other versions
JP4064036B2 (ja
Inventor
Shoichi Goto
昌一 後藤
Shintaro Nakatani
信太郎 中谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2000088649A priority Critical patent/JP4064036B2/ja
Publication of JP2000350203A publication Critical patent/JP2000350203A/ja
Application granted granted Critical
Publication of JP4064036B2 publication Critical patent/JP4064036B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 異なるフレームレートを有する複数のストリ
ームの混在する映像ストームをシームレス再生する復号
装置を提供することを目的とする。 【解決手段】 異なるフレームレートを有する複数のス
トリーム(インターレース方式、プログレッシブ方式)
の混在する映像ストーム(STv)を所定のデコードタ
イミング(Vmc)でデコードしてシームレス再生する
復号装置(VDA)は、複数のストリーム(IS、P
S)をデコードする前にそれぞれのフレームレートを抽
出するストリーム解析器(Ddv、2)と、抽出された
フレームレートに基づいて、映像ストリーム(STv)
のスライス層(SL)をデコードするタイミング(Vm
c)を決定する映像デコード制御部(CDV)とを備え
る。決定されたタイミング(Vmc)で映像ストリーム
(STv)をデコードして、映像ストリーム(STv)
中で異なるフレームレートを有するストリーム(IS、
PS)に切り替わる際にもシームレスに再生できる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、異なるフレームレ
ートを有する複数のストリームの混在する映像ストーム
をシームレス再生する復号装置に関し、さらに詳述すれ
ばインターレースストリームとプログレッシブストリー
ムが混在して成るデジタルストリームの復号装置に関す
る。
【0002】
【従来の技術】1994年に米国において開始された衛
星デジタル放送は、1996年には日本および欧州諸国
等に波及して、本格的な実用化段階に突入した。デジタ
ル放送においては、従来のアナログ放送には無い、高画
質、多チャンネル、およびデータ放送等の様々なサービ
スの提供が可能である。放送事業者においてそのような
サービスを新たに実現するために、放送局システムや受
信機に関して大きな変革がもたらされた。これらの新サ
ービスとして、放送事業者の固有サービスである高画質
放送と新たなサービスであるデータ放送が検討されてい
る。2000年の後半には、日本において、BSデジタ
ル放送が実用化が予定されている。
【0003】高画質化のアプローチとして、国内CS
(衛星)デジタル放送においては、郵政省令第7号にて
定められているプログレッシブ方式の採用が検討されて
いる。プログレッシブ方式は、従来のインターレース方
式に対して2倍の情報量を持ち、非常に高い垂直解像度
が得られる。さらに、プログレッシブ方式は、インター
レース方式に比べて、フリッカ等のインターレース操作
に伴なう画質劣化が無く、高画質な映像を実現できる。
【0004】現有の映像コンテンツの殆どはインターレ
ース方式で作成されている。また今後新たに作成される
映像コンテンツも、その全てがプログレッシブ方式で作
成されると言うのではなく、当初はインターレース方式
で作成されるものもあり、順次プログレッシブ方式で作
成されるものの割合が多くなっていくものと思われる。
また、一度インターレース方式で作成された映像コンテ
ンツを新たにプログレッシブ方式に作成し直すことも特
別な理由が無い限り行われないと思われる。
【0005】このように事態から、少なくとも当面は、
現状のインターレース方式放送にプログレッシブ方式放
送が加わった、まだら編成と呼ばれる同一番組内でイン
ターレース方式のストリーム(以降、「インターレース
ストリームIS」と称す)とプログレッシブ方式のスト
リーム(以降、「プログレッシブストリームPS」と称
す)が混在した形態での放送が予定されている。まだら
編成の割合は将来的に少なくなるが、かなりの時期の間
は無くならないと考えられる。
【0006】このまだら編成は、デジタル放送だけでな
く、DVD等のMPEGストリームを扱う機器について
も、同様のことが言える。つまり、インターレース方式
で作成されたコンテンツと、プログレッシブ方式で作成
されたコンテンツがまだら編成されたデジタルストリー
ムが1枚のDVDに記録されて提供されることが予期さ
れる。このDVDを再生する場合には、上述のまだら編
成されたデジタル放送と同様の事態になる。
【0007】
【発明が解決しようとする課題】上述のまだら編成され
たデジタルストリーム放送を視聴する場合あるいはまだ
ら編成されたデジタルストリームが記録されたDVDを
再生する場合、デコーダ側で、インターレース方式とプ
ログレッシブ方式のようにそれぞれフレームレートの異
なるMPEGストリームに正しく対応した配慮が成され
ていなければならない。さもなければ、インターレース
方式/プログレッシブ方式の切替え時に、以下に図27
および図28を参照して説明するように画面に乱れを引
き起こしてしまう。つまり、フレームあるいはフィール
ド単位で画面が表示さなかったり、不完全に表されたり
して画面展開に視認できる程の不連続性が生じ、視聴者
に違和感を与えてしまう。
【0008】図27に、インターレースストリームIS
からプログレッシブストリームPSに変わるまだら編成
ストリームをデコードする従来の映像復号装置内の動作
を示す。同図において、画像表示期間(以降、簡便化の
ために、必要に応じて「期間」と略称する)T0〜T4
迄は、PピクチャP9(期間T0)、BピクチャB7
(期間T2)、およびBピクチャB8(期間T4)から
成るインターレースストリームISが、ビットストリー
ムFIFOを介して映像復号装置に入力される。
【0009】そして、画像表示期間T6〜T11迄は、
IピクチャI0(期間T6)、PピクチャP3(期間T
7)、BピクチャB1(期間T8)、BピクチャB2
(期間T9)、PピクチャP6(期間T10)、および
BピクチャB4(期間11)からなるプログレッシブス
トリームPSが、ビットストリームFIFOを介して映
像復号装置に入力される。以下に、各期間における映像
復号装置の動作について説明する。
【0010】なお、各ピクチャの接尾辞の「P」はPr
edictive Pictureを意味し、「I」は
Intra Picutureを意味し、そして「B」
はBidirectionally Predicti
ve Pictureを意味している。そして、接尾辞
P、I、およびBのそれぞれに後続する数字はそのピク
チャの表示順位を示している。
【0011】入力ストリームに含まれるインターレース
ストリームISのピクチャデータのそれぞれは、対応す
るデコード開始信号に同期してデコードが開始されると
同時に、指定されたフレームメモリFMnに書き込まれ
る。フレームメモリFMnに書き込まれたデコードされ
たピクチャデータは、所定のタイミングでフレームメモ
リFMnから読み出されて、垂直同期信号に同期して
(垂直信号がハイレベルの間)、表示パリティに従って
ボトムフィールドあるいはトップフィールドが表示され
る。
【0012】なお、PピクチャおよびIピクチャの場合
は、フレームメモリFMn書き込まれてから所定時間後
にフレームメモリFMnから読み出されて表示される
が、Bピクチャの場合はフレームメモリFMnに書き込
まれると同時に、フレームメモリFMnから読み出され
て表示される。
【0013】なお、入力ストリームに含まれるプログレ
ッシブストリームPSのピクチャデータについても、イ
ンターレースストリームISのピクチャデータと同様
に、デコードされ、フレームメモリFMnに書き込ま
れ、そしてフレームメモリFMnから読み出されて表示
される。しかしながら、表示されるのはフィールドでは
なく、表示パリティに関係なくフレームである。以下に
各画像表示期間における入力ストリームのデコードから
表示までの動作について具体的に説明する。
【0014】先ず、期間T0において、フレームメモリ
FM2およびフレームメモリFM3には、期間T0以前
にインターレースストリームISに含まれていたPピク
チャP6およびBピクチャB5(図示せず)のデコード
されたデータがそれぞれ書き込まれている。そして、P
ピクチャP9は入力されながら順次デコードされて、フ
レームメモリFM1に書き込まれる。
【0015】そして表示のための垂直同期信号に同期
し、さらに表示パリティに従って、フレームメモリFM
2からはPピクチャP6のデコードデータが読み出され
て、表示パリティに従いボトムフィールドの表示が開始
される。なお、ここに示す従来例の場合、インターレー
スストリームはボトムフィールドファーストである。
【0016】期間T1において、期間T0中に開始した
PピクチャP6のボトムフィールドの表示が終了後、表
示パリティに従いPピクチャP6のトップフィールドの
表示が開始される。
【0017】期間T2において、BピクチャB7は入力
されながら順次デコードされて、フレームメモリFM3
に書き込まれると共に、さらに読み出されて、表示パリ
ティに従いボトムフィールドの表示が開始される。
【0018】期間T3において、期間T2中に開始した
BピクチャB7のボトムフィールドの表示が終了後、表
示パリティに従いBピクチャB7のトップフィールドの
表示が開始される。
【0019】期間T4において、BピクチャB8は入力
されながら順次デコードされて、フレームメモリFM3
に書き込まれると共に、さらに読み出されて、表示パリ
ティに従いボトムフィールドの表示が開始される。
【0020】期間T5において、期間T4中に開始した
BピクチャB8のボトムフィールドの表示が終了後、表
示パリティに従いBピクチャB8のトップフィールドの
表示が開始される。
【0021】期間T6において、プログレッシブストリ
ームPSのIピクチャI0が入力されながら順次デコー
ドされて、フレームメモリFM2に書き込まれる。同時
に、フレームメモリFM1からインターレースストリー
ムISのPピクチャP9のデコードデータが読み出され
て、表示パリティに従いボトムフィールドの表示が開始
される。
【0022】期間T7において、プログレッシブストリ
ームPSのPピクチャP3が入力されながら順次デコー
ドされてフレームメモリFM1に書き込まれる。なお、
フレームメモリFM2からはプログレッシブストリーム
PSのIピクチャI0が読みだされて、フレームが表示
される。このため、期間T6で開始されたフレームメモ
リFM1から読み出されているPピクチャP9のトップ
フィールドの表示が行われない。このように、Pピクチ
ャP9のトップフィールドの代わりに、プログレッシブ
ストリームPSのIピクチャI0のフレームの表示が開
始される時に、画像の乱れ(不連続性)が生じて、聴視
者に不快感を与えてしまう。
【0023】期間T8において、プログレッシブストリ
ームPSのBピクチャB1が入力されながら順次デコー
ドされてフレームメモリFM3に書き込まれると同時に
読み出されて、BピクチャB1のフレームが表示され
る。このように、インターレースストリームISの最終
表示データであるPピクチャP9は完全に表示されるこ
と無く、プログレッシブストリームPSの表示に切り替
わる。
【0024】期間T9においては、BピクチャB2が入
力されながら順次デコードされて、フレームメモリFM
2に書き込まれると同時に読み出されて、BピクチャB
2のフレームが表示される。
【0025】期間T10においては、PピクチャP6が
入力されながら順次デコードされてフレームメモリFM
2に書き込まれる。さらに、フレームメモリFM1から
PピクチャP3のデコードデータが読み出されて、その
フレームが表示される。
【0026】期間T11においては、BピクチャB4が
入力されながら順次デコードされてフレームメモリFM
3に書き込まれると同時に読み出されてBピクチャB4
のフレームが表示される。
【0027】このように、画像表示期間T5の前後で、
放送がインターレースストリームISからプログレッシ
ブストリームPSに切り替わる場合、画像表示期間T6
〜T7においてインターレースストリームISのPピク
チャP9のトップフィールドが表示されないまま、次の
プログレッシブストリームPSの映像が表示されてしま
う。
【0028】次に、図28に、プログレッシブストリー
ムPSからインターレースストリームISに変わるまだ
ら編成ストリームをデコードする従来の映像復号装置
(図示せず)内の動作を示す。同図において、画像表示
期間T6〜T11迄は、PピクチャP6(期間T6)、
BピクチャB4(期間T7)、BピクチャB5(期間T
8)、PピクチャP9(期間T9)、BピクチャB7
(期間T10)、およびBピクチャB8(期間T11)
から成るプログレッシブストリームPSがビットストリ
ームFIFOを介して映像復号装置に入力される。
【0029】そして、画像表示期間T0〜T4迄は、I
ピクチャI0(期間T0)、PピクチャP3(期間T
2)、およびBピクチャB1(期間T4)から成るイン
ターレースストリームISがビットストリームFIFO
を介して映像復号装置に入力される。以下に、各期間に
おける映像復号装置の動作について説明する。
【0030】期間T6において、プログレッシブストリ
ームPSのPピクチャP6が入力されながら順次デコー
ドされてフレームメモリFM2に書き込まれる。同時
に、フレームメモリFM1からプログレッシブストリー
ムPSの先行するPピクチャP3のデコードデータが読
み出されて表示が開始される。
【0031】期間T7において、BピクチャB4が入力
されながら順次デコードされてフレームメモリFM3に
書き込まれると共に読み出されて、BピクチャB4のフ
レームが表示される。
【0032】期間T8において、BピクチャB5が入力
されながら順次デコードされてフレームメモリFM3に
書き込まれると共に読み出されて、BピクチャB5のフ
レームが表示される。
【0033】期間T9において、PピクチャP9が入力
されながら順次デコードされてフレームメモリFM1に
書き込まれる。さらに、同時にフレームメモリFM2か
らPピクチャP6のデコードデータが読み出されて、P
ピクチャP6のフレームが表示される。
【0034】期間T10において、BピクチャB7が入
力されながら順次デコードされてフレームメモリFM3
に書き込まれると共に読み出されて、BピクチャB7の
フレームが表示される。
【0035】期間T11において、BピクチャB8が入
力されながら順次デコードされてフレームメモリFM3
に書き込まれると共に読み出されて、BピクチャB8の
フレームが表示される。
【0036】期間T0において、インターレースストリ
ームISのIピクチャI0が入力されながらフレームメ
モリFM2に書き込まれる。さらに、同時にフレームメ
モリFM1からプログレッシブストリームPSのPピク
チャP9のデコードデータが読み出されて、Pピクチャ
P9のフレームが表示される。
【0037】期間T1においては、期間T0で表示され
たプログレッシブストリームPSのPピクチャP9のフ
レームが引き続き表示される。
【0038】期間T2においては、インターレーススト
リームISのPピクチャP3が入力されながら順次デコ
ードされてフレームメモリFM1に書き込まれる。さら
に、同時にフレームメモリFM2からインターレースス
トリームISのIピクチャI0が読み出され、表示パリ
ティに従いボトムフィールドが表示される。
【0039】期間T3において、期間T2で開始したI
ピクチャI0のボトムフィールドの終了後に、表示パリ
ティに従ってIピクチャI0のトップフィールドが表示
される。
【0040】期間T4において、インターレースストリ
ームISのBピクチャB1が入力されながら順次デコー
ドされてフレームメモリFM3に書き込まれると共に読
み出されて、表示パリティに従いBピクチャB1のボト
ムフィールドが表示される。
【0041】期間T5において、期間T4で開始したB
ピクチャB1のボトムフィールドの終了後に、表示パリ
ティに従ってBピクチャB1のトップフィールドが表示
される。
【0042】上述のように、画像表示期間T11とT0
の間で、放送がプログレッシブストリームPSからイン
ターレースストリームISに切り替わる場合には、イン
ターレースストリームISがtop_fieldを先に
表示しなければならない場合でも、画像表示期間T2〜
T3においてbottom_fieldから先に表示し
てしまう。top_fieldとbottom_fie
ldが逆の順番に表示(フレームメモリFMnから出
力)されると、フィールド単位の画像の時間関係がずれ
て見づらいものになる。
【0043】なぜなら、時間軸に対してtop_fie
ldが先に表示されるべき映像が、bottom_fi
eldから表示されると、映像が時間軸を遡ることにな
る。よって、映像ストリームSTvの内容がプログレッ
シブストリームPSからインターレースストリームIS
へ遷移する場合は、top_fieldから表示するの
か、bottom_fieldから表示するのかを識別
して、表示パリティに合わすことが最重要である。
【0044】さらに、インターレースストリームISの
デコードタイミングでプログレッシブストリームPSを
デコードする場合には、データ処理量がインターレース
ストリームIS処理時の2倍になるので、オーバーフロ
ーが発生する。一方、プログレッシブストリームPSの
デコードタイミングでインターレース方式をデコードす
る場合には、逆にデータ処理がプログレッシブストリー
ムPS処理時の半分になるのでアンダーフローが発生す
る。その結果、デコード処理が破綻する。
【0045】図27および図28に示す例においては、
フレームメモリ群は、それぞれストリームの画像データ
であるIピクチャあるいはPピクチャを格納するフレー
ムメモリFM1およびフレームメモリFM2と、Bピク
チャのみを格納するフレームメモリFM3の3つから構
成される。このように構成されたフレームメモリ群にお
いて、各フレームメモリFMn(n=1、2、3)に画
像データを格納、つまり書き込むタイミングと、書き込
まれた画像データを表示するためにフレームメモリFM
nから読み出すタイミングは互いに同期がとられてい
る。
【0046】つまり、フレームメモリFM1およびFM
2の何れかに格納されるべきIピクチャあるいはPピク
チャがデコードされている最中(例えば、フレームメモ
リFM1に格納)には、既にデコードされているピクチ
ャ(例えば、フレームメモリ2に格納)が読み出されて
表示される。そして、フレームメモリFM3に格納され
ているBピクチャをデコードする場合は、該Bピクチャ
をデコードしつつ読み出して表示する。
【0047】例えば、図27において画像表示期間T0
の場合、P9ピクチャをフレームメモリFM1にデコー
ドしているので、フレームメモリFM2に格納されてい
るP6ピクチャを表示する。そして、画像表示期間T2
の場合、B7ピクチャをフレームメモリFM2にデコー
ドしているので、B7ピクチャを表示している。これ
は、Bピクチャはフレーム間の双方向予測によるデコー
ドを行うため、前後のIピクチャおよびPピクチャを参
照するために、フレームメモリFM1およびFM2にそ
れぞれのピクチャを保持しておく必要があるからであ
る。
【0048】さらに、図27および図28に示したよう
な入力ストリームにおいて、デコードと表示が同時に行
われるBピクチャに関しては、表示の進行速度によって
デコードタイミングを制御しなければならない。つまり
Bピクチャが大き過ぎてそのデコード時間が垂直同期信
号の周期(16.7ms)内に収まらず、表示の乱れを
引き起こすことがある。
【0049】以上の点から、本発明は、フレームレート
の異なる複数の映像データから成るストリーム中のフレ
ームレート、表示パリティ(top/bottom_f
ieldのどちらを先に表示するかを決めるパラメー
タ)の解析を行い、ビデオデコードの起動のタイミング
を制御することで、画面表示に乱れの生じないシームレ
ス再生を実現する映像復号装置を提供することを目的と
する。
【0050】
【課題を解決するための手段および発明の効果】第1の
発明は、異なるフレームレートを有する複数のストリー
ムの混在する映像ストームを所定のデコードタイミング
でデコードしてシームレス再生する復号装置であって、
複数のストリームをデコードする前にそれぞれのフレー
ムレートを抽出するフレームレート抽出器と、抽出され
たフレームレートに基づいて、映像ストリームのスライ
ス層をデコードするタイミングを決定するデコード制御
器とを備え、決定されたタイミングで映像ストリームを
デコードすることによって、映像ストリーム中で異なる
フレームレートを有するストリームに切り替わる際にも
シームレスに再生できることを特徴とする。
【0051】上述のように、第1の発明においては、デ
コードする前に予め抽出したデコードするストリームの
フレームレートに基づいてデコーディングタイミングを
決定するので、デコードするストリームに対して適切な
処理を施すように準備できる。
【0052】第2の発明は、第1の発明において、フレ
ームレート抽出器は、映像ストリームをデコードタイミ
ングに基づいて、解析して、ヘッダ情報と圧縮データに
分離するストリーム解析器とを含むことを特徴とする。
【0053】第3の発明は、第2の発明において、デコ
ード制御器は、ヘッダ情報に基づいて、映像ストリーム
に含まれる複数のストリームそれぞれのフレームレート
に応じて、映像ストリームの表示形式によって定められ
る垂直同期信号を所定時間だけ遅延させて、デコードタ
イミングを規定するデコードタイミング信号を生成する
ことを特徴とする。
【0054】第4の発明は、第3の発明において、所定
時間は、垂直同期信号の1周期より小さいことを特徴と
する。
【0055】第5の発明は、第4の発明において、所定
時間は、垂直同期信号の半周期であることを特徴とす
る。
【0056】第6の発明は、第1の発明において、復号
器は、圧縮データのスライス層のデコードに引き続き、
後続のピクチャのピクチャ層をデコードすることを特徴
とする。
【0057】上述のように、第6の発明においては、次
にデコードするピクチャのピクチャ層をデコードするこ
とによって、そのピクチャを表示するための情報を得る
ことができ、迅速にそのピクチャを表示できる。
【0058】第7の発明は、第3の発明において、デコ
ード制御器は、映像ストリームの、インターレーススト
リームに対しては、デコードタイミング信号を交互にマ
スクし、プログレッシブストリームに対しては、デコー
ドタイミング信号をそのまま出力するデコードタイミン
グ補正器を含む。
【0059】第8の発明は、第7の発明において、デコ
ード制御器は、映像ストリームがインターレースストリ
ームからプログレッシブストリームに切り替わる遷移時
には、デコードタイミング信号をマスクして、インター
レースストリームの表示を完了させることを特徴とす
る。
【0060】第9の発明は、第7の発明において、デコ
ード制御器は、映像ストリームがプログレッシブストリ
ームからインターレースストリームに切り替わる遷移時
には、デコードタイミング信号をマスクせずに、プログ
レッシブストリームの最終ピクチャに引き続いて、イン
ターレースストリームの最初のピクチャをデコードさせ
ることを特徴とする。
【0061】第10の発明は、第7の発明において、デ
コード制御器は、デコード時に映像ストリーム(ST
v)が遷移状態に無い場合には、映像ストリームの遷移
状態を表す多値の遷移状態パラメータを第1の所定値を
設定し、映像ストリームがインターレースストリームか
らプログレッシブストリームに遷移する、すなわちfr
ame_rate_codeが7より小さい値から7に
変わる時には、遷移状態パラメータを第2の所定値に設
定し、映像ストリームがプログレッシブストリームから
インターレースストリームに遷移する、すなわちfra
me_rate_codeが7から7より小さい値に変
わる時には、遷移状態パラメータに第3の所定値に設定
し、次のデコードタイミングで戦記状態パラメータを第
1の所定値とすることを特徴とする。
【0062】第11の発明は、第10の発明において、
デコード制御器は、映像ストリームがインターレースス
トリームでtop_fieldから順番に映像表示pa
rityに合わせて映像表示する場合、デコードタイミ
ング信号のtop_fieldをマスクし、botto
m_fieldから順番に映像表示parityに合わ
せて映像表示する場合、デコードタイミング信号のbo
ttom_filedをマスクすることを特徴とする。
【0063】第12の発明は、第11の発明において、
デコードタイミング信号のtop_fieldおよびb
ottom_fieldの何れをマスクするかを二値の
値を有するマスク信号parity_maskで規定す
ることを特徴とする。
【0064】第13の発明は、第12の発明において、
デコード制御器は、parity_maskが映像表示
parityと等しくなく、映像ストリームのfram
e_rate_codeが7より小さく、かつtop_
field_firstが映像表示parityに等し
い場合に、prity_maskを反転させてパリティ
補正することを特徴とする。
【0065】第14の発明は、第7の発明において、デ
コード制御器は、デコード開始時は常に、デコード制御
器の初期状態を規定する二値の値を有する初期状態パラ
メータを第一の値に設定することを特徴とする。
【0066】第15の発明は、第14の発明において、
デコード制御器は、初期状態パラメータが第1の値であ
る場合は、後続のストリームの最初のピクチャをピクチ
ャ層、スライス層、およびピクチャ層の順番にデコード
することを特徴とする。
【0067】第16の発明は、第7の発明において、デ
コード制御器は、デコード開始時は常に、映像ストリー
ムはプログレッシブストリームであると設定した後に、
スリープ処理を実行することを特徴とする。
【0068】第17の発明は、第7の発明において、デ
コード制御器は、映像ストリームが24フレームのイン
ターレースストリームからプログレッシブストリームお
よび30フレームのインターレースストリームの何れか
に切り替わる第1の遷移時および第1の遷移時における
のと反対方向に画像映像ストームが切り替わる第2の遷
移時には、フレームレート補正を行い、3:2プルダウ
ン時には、ストリームのパリティを規定する二値のパラ
メータを一方の値から他方の値に設定してパリティ補正
することを特徴とする。
【0069】第18の発明は、第15の発明において、
ピクチャ層は、sequence_header、GO
P_header、およびPicture_heade
rを含み、スライス層は、slice_header以
下のビットストリームを含み、ピクチャ層とスライス層
で1つの画像を構成することを特徴とする。
【0070】第19の発明は、第7の発明において、デ
コード制御器は、ピクチャ層をデコード時にseque
nce_endを検出する場合はデコード処理を終了
し、映像ストリーム(STv)のsequence_e
ndを検出する場合には、ピクチャ層、スライス層、お
よびピクチャ層の順番にデコードした後に、スリープ処
理を実行することを特徴とする。
【0071】第20の発明は、第14の発明において、
デコード制御器は、初期状態パラメータが第1の値の場
合は、出画設定を行わないことを特徴とする。
【0072】第21の発明は、第7の発明において、デ
コード制御器は、デコードタイミング時に、先のデコー
ドタイミング時に行ったデコード処理が終了していない
アンダーフローの場合、先にデコードしたIピクチャま
たはPピクチャを表示することを特徴とする。
【0073】第22の発明は、第17の発明において、
デコード制御器は、アンダーフローの場合、アンダーフ
ローがBピクチャで発生した場合、次のIピクチャおよ
びPピクチャの何れかのピクチャ層およびスライス層の
デコードに引き続き、後続のピクチャ層の順番にデコー
ドした後にスリープ処理を実施することを特徴とする。
【0074】
【発明の実施の形態】(第1の実施形態)先ず、図1、
図2、図3、および図4を参照して、本発明の第1の実
施形態にかかる映像ストリームシームレス復号装置につ
いて説明する。図1のブロック図に示すように、本例に
おける映像ストリームシームレス復号装置(以下「映像
復号装置VDA1」と略称する)は、大別して、入力さ
れるMPEGデータである映像ストリームSTvをデコ
ードして、デジタル映像信号Bstvを生成する映像デ
コード部Ddvと、ビデオエンコーダEV、デコード開
始信号生成器11、および映像デコード制御部CDV1
より構成される。
【0075】映像デコード部Ddvは、外部のデジタル
映像信号源(図示せず)に接続されて、映像ストリーム
STvの入力を得る。なお、映像ストリームSTvの具
体的な構造については、後ほど図4を参照して詳しく説
明する。そして、映像デコード部Ddvは、入力された
映像ストリームSTvに種々のデジタル処理を施してデ
コードし、デジタル映像信号Bstvを生成する。
【0076】ビデオエンコーダEVは、モニタに画像を
表示するために、各表示方式毎に定められた垂直同期信
号Vsおよびパリティ信号Vpを、映像デコード制御部
CDV1に出力する。さらに、ビデオエンコーダEV
は、映像デコード部Ddvに接続されて、デジタル映像
信号Bstvの入力を受けて、垂直同期信号Vsとパリ
ティ信号Vpによって定められるタイミングで、デジタ
ル映像信号Bstvをエンコードして、表示方式に適合
した映像信号Svを出力する。この映像信号Svはそれ
ぞれ表示方式の適合した表示装置によって画像表示され
る。
【0077】デコード開始信号生成器11は、ビデオエ
ンコーダEVから入力される垂直同期信号Vsに基づい
て、入力される映像ストリームSTvのピクチャ構造に
適合したタイミングでデコードするためのデコード開始
信号Vsdを生成する。この意味において、垂直同期信
号Vsを第1の垂直同期信号、デコード開始信号Vsd
を第2の垂直同期信号と見なすことができる。
【0078】映像デコード制御部CDV1は、さらに、
映像デコード部Ddvに接続されて、映像ストリームS
Tvのデコード処理時に抽出されたヘッダ情報Ihと、
ヘッダ情報Ihに基づいて生成される種々のデータの内
frame_rate_code(図1において、「F
rc」と表記)との入力を受ける。そして、映像デコー
ド制御部CDV1は、ビデオエンコーダEVより入力さ
れる垂直同期信号Vsおよびパリティ信号Vpと、映像
デコード部Ddvより入力されるヘッダ情報Ihおよび
frame_rate_codeに基づいて、映像スト
リームSTvがその内容に応じて正しくデコードされる
ように、映像デコード部Ddv全体の動作を制御する。
【0079】映像デコード部Ddvは、ビットストリー
ムFIFO1、ストリーム解析器2、ビデオデコーダ
3、ヘッダ情報蓄積器4、書込フレームメモリ選択器5
(図1において「書込FM選択器5」と表記)、フレー
ムメモリ群6、および表示フレームメモリ選択器7(図
1において「表示FM選択器7」と表記)を含む。ビッ
トストリームFIFO1は、外部のデジタル映像信号源
から入力される映像ストリームSTvを一旦保持する。
【0080】ストリーム解析器2は、ビットストリーム
FIFO1から入力される映像ストリームSTv中のヘ
ッダ情報を解析して、ヘッダ情報Ihを抽出すると共
に、MPEGの圧縮画像データMbを抽出する。
【0081】ビデオデコーダ3は、ストリーム解析器2
より入力された圧縮画像データMbを復号して復号化画
像データDMbを生成し、書込フレームメモリ選択器5
に出力する。一方、ヘッダ情報蓄積器4は、ストリーム
解析器2より入力されるヘッダ情報Ihを蓄積する。そ
して、ヘッダ情報蓄積器4は蓄積されたヘッダ情報Ih
の内、ピクチャコーディングタイプPCT(つまりピク
チャがP、I、およびBの何れであるかを示すパラメー
タ)を、書込フレームメモリ選択器5および表示フレー
ムメモリ選択器7からの要求に応じて、それぞれに出力
する。さらに、ヘッダ情報蓄積器4は、映像デコード制
御部CDV1からの要求に応じて、frame_rat
e_codeを出力する。
【0082】書込フレームメモリ選択器5は、ピクチャ
コーディングタイプPCTに応じて、ビデオデコーダ3
から出力される復号化画像データDMbのピクチャデー
タを、フレームメモリFM1〜FM3の何れに書き込む
かを示す書込フレームメモリ指示信号Wfを生成して、
フレームメモリ群6に出力する。フレームメモリ群6
は、3つのフレームメモリ6a、6bおよび6cから構
成され、これら3つのフレームメモリは第1のフレーム
メモリFM1、第2のフレームメモリFM2、および第
3のフレームメモリFM3と区別される。フレームメモ
リ群6は、フレームメモリ識別信号Wfを受けて、指定
されたフレームメモリFMn(n=1,2,3の何れ
か)に、ビデオデコーダ3から出力された復号化画像デ
ータDMbをピクチャ単位(以降、「ピクチャデータ」
と称する)で書き込む。
【0083】表示フレームメモリ選択器7は、ピクチャ
コーディングタイプPCTに基づいて、それぞれに書き
込まれているピクチャデータ(復号化画像データDM
b)に対応するフレームメモリFMnを示す読み出しフ
レームメモリ指示信号Rfを生成して、フレームメモリ
群6に出力する。フレームメモリ群6は、フレームメモ
リ指示信号Rfが示すフレームメモリFMnから所定の
順番で復号化画像データDMbのピクチャデータを読み
出して、デジタル映像信号Bstvをビデオエンコーダ
EVに出力する。
【0084】映像デコード制御部CDV1は、シーケン
サ10、デコードタイミングマスク器12、第1のI/
P切替器13、および第2のI/P切替器14を含む。
デコードタイミングマスク器12は、ビデオエンコーダ
EV、シーケンサ10、およびデコード開始信号生成器
11に接続されて、それぞれパリティ信号Vp、デコー
ド開始信号Vsd、およびI/P識別信号Saの入力を
受ける。I/P識別信号Saは、映像デコード制御部C
DV1が映像デコード部Ddvのヘッダ情報蓄積器4か
ら供給されるframe_rate_codeに基づい
て現在入力されている映像ストリームSTvがインター
レースストリームISとプログレッシブストリームPS
の何れであるかによって、ピクチャ単位でのデコードの
要否を決定するパラメータstateとパラメータpi
modeを切り替える状態遷移信号IP1およびIP2
に応じて切り替わる二値信号である。
【0085】デコードタイミングマスク器12は、I/
P識別信号Saに基づいて、デコード開始信号Vsdを
パリティ信号Vpでマスクして、第1のデコード開始信
号Vmを生成する。シーケンサ10は、第1のデコード
開始信号Vmに基づいて第1のI/P切替器13を制御
する制御信号Sc3と、第2のI/P切替器14を制御
する制御信号Sc1を生成する。第1のI/P切替器1
3は制御信号Sc3によって、frame_rate_
codeに基づいて第1の状態遷移信号IP1を生成す
る。
【0086】第2のI/P切替器14は制御信号Sc1
によって、第2の状態遷移信号IP2を生成する。さら
に、シーケンサ10は、第1の状態遷移信号IP1およ
び第2の状態遷移信号IP2に基づいて、第1のデコー
ド開始信号Vmで規定されるタイミングでデコードして
良いかどうかを判定して、必要に応じて第1のデコード
開始信号Vmを補正して第2のデコード開始信号Vmc
を生成する。この意味において、第2のデコード開始信
号が実際のデコード開始を規定するデコードタイミング
信号と言える。なお、後ほど、図2のフローチャートお
よび図3のタイミングチャートを参照して説明するよう
に、本実施形態においては、第2のデコード開始信号V
mcは第1のデコード開始信号Vmと同一である。
【0087】次に、図4を参照して、映像ストリームS
Tvの構造について説明する。通常、映像ストリームS
Tvは、図4(a)に示すようにシーケンス層、GOP
層、ピクチャ層PL、スライス層SLから成る。シーケ
ンス層は画面フォーマットを指定し、GOP層はピクチ
ャ層PL以下をグループ化したものである。ピクチャ層
PLは表示画面の1枚毎に付加され、スライス層SLよ
り下位に実際の符号化されたデータが存在する。なお、
シーケンス層は、同図に示す例においては、シーケンス
ヘッダ、GOPヘッダ、およびピクチャヘッダより構成
される。
【0088】上述のように、ピクチャには、画像符号化
方法によって、Iピクチャ、Pピクチャ、およびBピク
チャの3種類がある。本明細書において、これらの3種
類のピクチャを表すI、P、およびBに数字から成る接
尾辞を付して、ストリーム中に含まれるピクチャをそれ
ぞれ識別するものとする。
【0089】図4(c)に示すように、ピクチャデータ
がMPEGの規定に従いI0、P3、B1、B2、P
6、B4、P9、B7、B8、・・・の順番で配列され
ている映像ストリームSTv(画像データMb)が映像
復号装置VDA1に入力される場合には、これらのピク
チャデータは映像復号装置VDA1内にてI0、B1、
B2、P3、B4、B5、P6、B7、B8、P9・・
・のように表示順位どおりに表示されるように再配列さ
れた映像信号Sv(デジタル映像信号Bstv)に変換
されて出力される。
【0090】また、図4(b)に示すように、インター
レースストリームIS(30frame/s)、プログ
レッシブストリームPS(60frame/s)、およ
び映画素材のインターレースストリームIS(24fr
ame/s)のようにそれぞれフレームレートの異なる
ストリームは、各ストリームのシーケンスヘッダ層に記
述されているframe_rate_codeパラメー
タの値(例えば、0010、0100、および011
1)に基づいて識別される。
【0091】インターレースストリームISを復号する
には、トップフィールドおよびボトムフィールド(to
p/bottom_field)毎に飛び越し走査する
が、ピクチャ毎にフレームメモリFMnから出力される
フィールド(field)がトップあるいはボトム(t
op/bottom)のどちらが先かを指定する情報
が、そのピクチャ層PLに含まれている。
【0092】なお、上述の図3に示す例では、画像表示
期間T0〜T3においてトップフィールド(top_f
ield)を先に表示している場合の例を示している。
この場合、内部変数として、パラメータtop_fie
ld_firstを持ち、このパラメータtop_fi
eld_first=1の時、トップフィールド(to
p_field)を先に出力する。そして、パラメータ
top_field_first=0の時、ボトムフィ
ールド(bottom_field)を先に表示する。
【0093】画像表示期間T8〜T11は、フレーム単
位で出力するので、この場合は、シーケンス層SLのパ
ラメータprogressive_sequenceの
値は1である。これらのパラメータに代表される、スト
リーム中のヘッダ情報Ihは、ヘッダ情報蓄積器4に格
納される。
【0094】次に、図2に示すフローチャートを参照し
て、図1に示した映像復号装置VDA1(主に映像デコ
ード制御部CDV1)の動作について説明する。映像復
号装置VDA1に電源が投入されると、デコード開始信
号生成器11はビデオエンコーダEVから入力される垂
直同期信号Vsに基づいて、デコード開始信号Vsdの
生成処理を開始する。
【0095】そして、ステップS1において、映像デコ
ード制御部CDV1は、デコード開始信号生成器11か
らデコード開始信号Vsdが出力されているかどうかを
監視する。そして、第2の垂直同期信号であるデコード
開始信号Vsdが出力されている場合にのみ、Yesと
判断して、処理は次のステップS3に進む。上述のよう
に、デコード開始信号Vsdは、本発明におけるストリ
ームをデコードする基本のタイミングを決める第2の垂
直同期信号である。そのために、本ステップによって、
デコード開始信号Vsdが生成されていることを監視す
るデコード開始信号Vsd監視ルーチン#100が構成
されている。
【0096】ステップS3において、映像ストリームS
TvがインターレースストリームISからプログレッシ
ブストリームPSあるいはその逆に切り替わる遷移状態
であることを表すパラメータstateの値が8である
か、つまり映像ストリームSTvがインターレーススト
リームISからプログレッシブストリームPSに遷移し
ているかどうかを判断する。そして、stateの値が
8でない、つまり映像ストリームSTvがインターレー
スストリームISからプログレッシブストリームPSに
遷移していない場合には、Noと判断されて、処理は次
のステップS5に進む。一方、stateの値が8であ
る場合、つまり映像ストリームSTvが遷移している場
合には、ステップS19に進む。
【0097】ステップS19において、stateが0
にリセットされた後に、処理はステップS1に戻り、ス
リープ処理を行う。なお、ステップS3およびステップ
S19によって、第2のI/P切替ルーチン#200が
構成されている。
【0098】ステップS5において、映像ストリームS
TvがインターレースストリームISかプログレッシブ
ストリームPSの何れであるかを示すフラグpimod
eの値がPであるか否かを判断する。そして、pimo
de=Iの場合、つまり現在の映像ストリームSTvが
インターレースストリームISである場合には、NOと
判断されて、処理は次のステップS7に進む。
【0099】ステップS7において、トップフィールド
とボトムフィールドの何れを先にフレームメモリFMn
から出力するかを示すパラメータparity_mas
kの値とビデオエンコーダEVから入力されるパリティ
信号Vp(表示パリティ)の値が同一であるかを判断す
る。そして、同一でない場合は、Noと判断されて、処
理は次のステップS9に進む。
【0100】同一の場合は、Yesと判断されて、ステ
ップS1に戻りスリープ処理を行う。なお、parit
y_maskは、デコード開始信号生成器11から入力
されるデコード開始信号Vsdを、デコードタイミング
マスク器12がパリティ信号Vp(表示パリティ)によ
ってマスク処理をするためのパラメータである。
【0101】一方、ステップS5において、Yes、つ
まり現在の映像ストリームSTv(画像データMb)が
プログレッシブストリームPSである場合には、ステッ
プS7を飛び越えてステップS9に進む。このようにし
て、ステップS5およびステップS7によって、デコー
ド開始信号Vsdをマスクするマスク制御ルーチン#3
00が構成される。
【0102】ステップS9においては、映像ストリーム
STvの遷移状態を示すパラメータstateの値が0
でない、つまり遷移状態である場合には、Noと判断さ
れて、処理はステップS13に進む。一方、state
の値が0、つまり遷移状態でない場合には、Yesと判
断されて、次のステップS11に進む。
【0103】ステップS11においては、映像ストリー
ムSTvのフレームレートを表すframe_rate
_codeの値が7より小さいか否かが判断される。つ
まり映像ストリームSTvがプログレッシブストリーム
PSではない時には、Yesと判断されて、処理は次の
ステップS13に進む。一方、frame_rate_
codeの値が7以上の場合には、Noと判断されて、
処理はステップS21に進む。
【0104】ステップS21においては、パラメータp
imodeの値がPであるか否かが判断される。Yes
の場合、つまり現在の映像ストリームSTvがプログレ
ッシブストリームPSであると判断される場合には、処
理はステップS13に進む。一方、Noの場合にはステ
ップS23に進む。
【0105】ステップS23においては、パラメータp
imodeをPにセットする。そして、処理は次のステ
ップS25に進む。
【0106】ステップS25においては、パラメータs
tateを8にセットする。そして、処理は次のステッ
プS13に進む。このように、ステップS9、S11、
S21、S23、およびS25によって、第1のI/P
切替ルーチン#600が構成される。
【0107】ステップS13において、書込フレームメ
モリ選択器5および表示フレームメモリ選択器7が、ピ
クチャコーディングタイプPCTに基づいて、画像デー
タの書き込みおよび読み出すフレームメモリ群6の各フ
レームメモリを決定する出画設定ルーチンを実行する。
そして、処理は、次のステップS15に進む。
【0108】ステップS15において、SLデコードル
ーチンが実行される。つまり、1ピクチャに含まれるス
ライス層SLがデコードされる。そして、処理は次のス
テップS17に進む。
【0109】ステップS17においては、PLデコード
ルーチンが実行される。つまり、ステップS15でデコ
ードされたスライス層SLに続くピクチャのピクチャ層
PLがデコードされる。そして、処理が終了される。
【0110】なお、上述の如く、ステップS15および
ステップS17において、同一画像表示期間内で先行す
るピクチャのスライス層SLのデコードを先に実行して
から、後続のピクチャのピクチャ層PLのデコードを行
っているのは、表示に必要なスライス層SLのビデオデ
コードを素早く実行して、次の表示のタイミングで映像
を切れ目無く表示するためである。
【0111】つまり、スライス層SLのデコードに必要
な情報は、前のデコード時でヘッダ情報蓄積器4に蓄積
されているので、スライス層SLをの素早くいデコード
処理が行なわれる。特に、デコードされながら同時に表
示されるBピクチャのデコードにおいて非常に有効であ
る。これについては、以下に図3を参照して説明する。
【0112】図3に示すタイミングチャートを参照し
て、映像ストリームSTvがインターレースストリーム
ISからプログレッシブストリームPSに切り替わる場
合の映像復号装置VDA1のデコード動作についてさら
に詳しく説明する。本例においては、期間T0〜T4迄
は、PピクチャP9のスライス層SLとBピクチャB7
のピクチャ層PL(期間T0)、BピクチャB7のスラ
イス層SLとBピクチャB8のピクチャ層PL(期間T
2)、およびBピクチャB8のスライス層SL(期間T
4)から成るインターレースストリームISである画像
データMbがビデオデコーダ3に入力される。
【0113】そして、期間T4〜T11迄は、Iピクチ
ャI0のピクチャ層PL(期間T4)、IピクチャI0
のスライス層SLとPピクチャP3のピクチャ層PL
(期間T6)、PピクチャP3のスライス層SLとBピ
クチャB1のピクチャ層PL(期間T8)、Bピクチャ
B1のスライス層SLとBピクチャB2のピクチャ層P
L(期間T9)、BピクチャB2のスライス層SLとP
ピクチャP6のピクチャ層PL(期間T10)、および
PピクチャP6のスライス層SLと後続のピクチャのピ
クチャ層PL(期間T11)から成るプログレッシブス
トリームPSである画像データDMbがビデオデコーダ
3に入力される。
【0114】なお、同図に示すVsd、IP2、Vm、
およびIP1の値は、上述のデコード開始信号Vsd監
視ルーチン#100、第2のI/P切替ルーチン#20
0、マスク制御ルーチン#300、および第1のI/P
切替ルーチン#600における処理にそれぞれ対応して
いる。
【0115】映像復号装置VDA1において、ビデオエ
ンコーダEVから入力される垂直同期信号Vsに基づい
て、デコード開始信号生成器11によって生成されるデ
コード開始信号Vsdに応答して、図3においてデコー
ド開始信号Vsdより下欄に示すデコード処理が実行さ
れる。state変数の値は、通常時は0、インターレ
ース方式からプログレッシブ方式に切り替わる時は8と
なる。画像表示期間T0〜T4までは通常のインターレ
ースストリームISであるのでstate=0である。
pimode変数は、インターレースストリームIS時
はI、そしてプログレッシブストリームPS時はPとな
る。
【0116】pimode=Pの時はプログレッシブス
トリームPSなので垂直同期信号Vsの1周期(パル
ス)毎にデコード処理を起動するが、インターレースス
トリームIS時は、垂直同期信号Vsの2周期に1回デ
コード処理を起動すれば良い。従って、一方のfiel
dパリティに対してデコード処理をマスクする。図3に
おけるインターレースストリームISは、top_fi
eld_first=1なので、top_fieldを
マスクする(parity_mask=1)。
【0117】画像表示期間T6から、プログレッシブス
トリームPSのIピクチャI0のスライス層SLのデコ
ードが開始される。この時frame_rate_co
de=7である。よって、期間T6において、pimo
deの値がIからPに変わると共に、stateの値は
0から8に変わる。
【0118】なお、ステップS13の出画設定ルーチン
においては、3つのフレームメモリFM1、FM2、お
よびFM3に対して、書き込む/読み出すフレームメモ
リFMnを指定する。実際には、ピクチャコーディング
タイプPCTに基づいて書込フレームメモリ選択器5お
よび表示フレームメモリ選択器7を制御する。
【0119】ステップS15のSLデコードルーチンに
おいては、スライス層SL以下の実際の映像データ(図
4(a))を、ビデオデコーダ3を制御することでデコ
ードする。
【0120】ステップS17のPLデコードルーチンに
おいては、ストリーム解析器2により、シーケンス層、
GOP層、ピクチャ層のヘッダ情報をデコードし、得ら
れたヘッダ情報Ihをヘッダ情報蓄積器4に蓄積する。
【0121】また、本実施形態においては、デコード開
始信号Vmc(Vm、Vsd)に応答してピクチャのス
ライス層SLのデコードを先に実行してから、後続のピ
クチャのピクチャ層PLのデコードを行っている。これ
は、スライス層SLの表示を所定の表示タイミングで行
うようにするために、そのスライス層SLのビデオデコ
ードを素早く実行しておくものである。つまり、ピクチ
ャ層PLに含まれるシーケンスヘッダ、GOPヘッダ、
およびピクチャヘッダというスライス層SLのデコード
に必要情報は、事前にヘッダ情報蓄積器4に蓄積されて
いるので、素早くデコード処理が行なわれる。
【0122】上述の処理を、ストリーム解析器2、ビデ
オデコーダ3および画像データMb、復号化画像データ
DMbとフレームメモリ群6の関係について説明する。
【0123】画像表示期間T0において、フレームメモ
リFM2にはPピクチャP6のデコードデータが書き込
まれており、フレームメモリFM3にはピクチャB5の
デコードデータが書き込まれている。
【0124】シーケンサ10は前回の画像表示期間にお
いてピクチャをデコードした時に得られたPピクチャP
9のヘッダ情報Ihに基づいて、ストリーム解析を行う
か否かを決定する。すなわち図2の#100〜#600
の処理に相当する。そして、出画設定ルーチンS13ま
で到達した場合、デコードして格納するフレームメモリ
FMと、表示するためのフレームメモリFMnが設定さ
れる。ステップS15およびS17における処理は、シ
ーケンサによって、映像デコード部Ddvのストリーム
解析が起動されることを意味する。
【0125】ストリーム解析器2は、ビットストリーム
FIFO1から入力される映像ストリームSTv中のヘ
ッダ情報Ihを解析および抽出すると共に、MPEGの
圧縮画像データMbを抽出する。すなわちストリーム解
析器2は画像データMb中のPピクチャP9のスライス
層SLを検出した場合、ビデオデコーダ3にMPEGの
圧縮画像データMbを転送する。そして、ビデオデコー
ダ3はPピクチャP9をデコードする。PピクチャP9
のデコードされたデータは順次フレームメモリFM1に
書き込まれる。さらに、同時にフレームメモリFM2か
らはPピクチャP6のデコードデータが読み出されて、
表示パリティ(パリティ信号Vp)に従いトップフィー
ルドの表示が開始される。
【0126】また、ストリーム解析器2がピクチャ層P
Lのヘッダ情報を検出した場合は、デコードしてヘッダ
情報Ihを抽出し、ヘッダ情報蓄積器4に蓄積する。
【0127】期間T1においては、期間T0に開始され
たPピクチャP6のトップフィールドの表示が終了後、
表示パリティに従いPピクチャP6のボトムフィールド
の表示が開始される。期間T1においては、ピクチャデ
ータのデコード処理はなされない、つまり上述のスリー
プ処理が行われている。
【0128】期間T2において、期間T0と同様に、ス
トリーム解析器2によってBピクチャB7のスライス層
SLが検出され、それに従いビデオデコーダ3はスライ
ス層のMPEGデータをデコードし、ピクチャB7のデ
コードされたデータは順次フレームメモリFM3に書き
込まれると共に読み出されて、表示パリティに従いトッ
プフィールドの表示が開始される。
【0129】さらに、ストリーム解析器2は、後続のB
ピクチャB8のピクチャ層PLのヘッダ情報をデコード
してヘッダ情報Ihを抽出し、ヘッダ情報蓄積器4に蓄
積する。
【0130】期間T3において、期間T2に開始された
BピクチャB7のトップフィールドの表示が終了後、表
示パリティに従いBピクチャB7のボトムフィールドの
表示が開始される。期間T3においては、ピクチャデー
タのデコード処理はなされない、つまり上述のスリープ
処理が行われている。
【0131】期間T4において、期間T2と同様に、ス
トリーム解析器2によってBピクチャB8のスライス層
SLが検出され、それに従いビデオデコーダ3はスライ
ス層のMPEGデータをデコードし、ピクチャB8のデ
コードされたデータは順次フレームメモリFM3に書き
込まれると共に読み出されて、表示パリティに従いトッ
プフィールドの表示が開始される。
【0132】さらに、ストリーム解析器2は、後続のプ
ログレッシブストリームPSのIピクチャI0のピクチ
ャ層PLのヘッダ情報をデコードしてヘッダ情報Ihを
抽出し、ヘッダ情報蓄積器4に蓄積する。
【0133】期間T5において、期間T4に開始された
BピクチャB8のトップフィールドの表示が終了後、表
示パリティに従いBピクチャB8のボトムフィールドの
表示が開始される。期間T5においては、ピクチャデー
タのデコード処理はなされない、つまり上述のスリープ
処理が行われている。
【0134】期間T6において、期間T4と同様に、ス
トリーム解析器2によってIピクチャI0のスライス層
SLが検出され、それに従いビデオデコーダ3はスライ
ス層のMPEGデータをデコードし、IピクチャI0を
デコードする。IピクチャI0のデコードされたデータ
は順次フレームメモリFM2に書き込まれる。さらに、
同時にフレームメモリFM1からPピクチャP9のデコ
ードデータが読み出されて表示パリティに従いトップフ
ィールドの表示が開始される。
【0135】さらに、ストリーム解析器2は、後続のプ
ログレッシブストリームPSのPピクチャP3のピクチ
ャ層PLのヘッダ情報をデコードしてヘッダ情報Ihを
抽出し、ヘッダ情報蓄積器4に蓄積する。
【0136】期間T7において、期間T6に開始された
PピクチャP9のトップフィールドの表示が終了後、表
示パリティに従いPピクチャP9のボトムフィールドの
表示が開始される。期間T7においては、ピクチャデー
タのデコード処理はなされない、つまり上述のスリープ
処理が行われている。なお、上述の期間T1、期間T
3、および期間T5におけるスリープ処理は、映像スト
リームSTvがインターレースストリームISであるの
で2フィールド毎に行われていることは上述の通りであ
る。このようなスリープ処理はプログレッシブストリー
ムPSのデコードの際には本来不要である。
【0137】しかしながら、映像ストリームSTvがイ
ンターレースストリームISからプログレッシブストリ
ームPSに変わるその変わり目においては、そのままプ
ログレッシブストリームPSをデコードするとインター
レースストリームISの最後のピクチャが表示されない
ので、第2のI/P切替器14によってスリープ処理を
行わせているものである。
【0138】期間T8において、期間T4と同様に、ス
トリーム解析器2によってプログレッシブストリームP
SのPピクチャP3のスライス層SLが検出され、それ
に従いビデオデコーダ3はスライス層のMPEGデータ
をデコードし、PピクチャP3をデコードする。Pピク
チャP3のデコードされたデータは順次フレームメモリ
FM1に書き込まれる。さらに、同時にフレームメモリ
FM2からIピクチャI0のデコードデータが読み出さ
れてプログレッシブ表示が開始される。さらにストリー
ム解析器2は、後続のBピクチャB1のピクチャ層PL
のヘッダ情報をデコードしてヘッダ情報Ihを抽出し、
ヘッダ情報蓄積器4に蓄積する。
【0139】期間T9において、期間T8と同様に、ス
トリーム解析器2によってプログレッシブストリームP
SのBピクチャB1のスライス層SLが検出され、それ
に従いビデオデコーダ3はスライス層のMPEGデータ
をデコードし、BピクチャB1をデコードする。Bピク
チャB1のデコードされたデータは順次フレームメモリ
FM3に書き込まれる。さらに、同時にフレームメモリ
FM3からBピクチャB1のデコードデータが読み出さ
れてプログレッシブ表示が開始される。さらにストリー
ム解析器2は、後続のBピクチャB2のピクチャ層PL
のヘッダ情報をデコードしてヘッダ情報Ihを抽出し、
ヘッダ情報蓄積器4に蓄積する。
【0140】期間T10において、期間T9と同様に、
ストリーム解析器2によってプログレッシブストリーム
PSのBピクチャB2のスライス層SLが検出され、そ
れに従いビデオデコーダ3はスライス層のMPEGデー
タ、つまりBピクチャB2をデコードする。Bピクチャ
B2のデコードされたデータは順次フレームメモリFM
3に書き込まれる。さらに、同時にフレームメモリFM
3からBピクチャB2のデコードデータが読み出されて
プログレッシブ表示が開始される。さらにストリーム解
析器2は、後続のPピクチャP6のピクチャ層PLのヘ
ッダ情報をデコードしてヘッダ情報Ihを抽出し、ヘッ
ダ情報蓄積器4に蓄積する。
【0141】期間T11において、期間T10と同様
に、ストリーム解析器2によってプログレッシブストリ
ームPSのPピクチャP6のスライス層SLが検出さ
れ、それに従いビデオデコーダ3はスライス層のMPE
Gデータ、つまりPピクチャP6をデコードする。Pピ
クチャP6のデコードされたデータは順次フレームメモ
リFM2に書き込まれる。さらに、同時にフレームメモ
リFM1からPピクチャP3のデコードデータが読み出
されてプログレッシブ表示が開始される。
【0142】さらにストリーム解析器2は、後続のピク
チャ(図示せず)のピクチャ層PLのヘッダ情報をデコ
ードしてヘッダ情報Ihを抽出し、ヘッダ情報蓄積器4
に蓄積する。
【0143】上述のように、第1のI/P切替ルーチン
#600における処理によって、画像表示期間T6にお
いて、frame_rate_codeの値を4から7
に変え、stateの値を0から8に変え、そしてpi
modeの値をIからPに変える。しかし、画像表示期
間T7に、第2のI/P切替器14によって、stat
e=0にセットされて、sleepへジャンプすること
で、PピクチャP3のデコード処理を禁止する。
【0144】これにより、時間的にIピクチャI0と重
複するPピクチャP9のボトム部分の表示が表示可能に
なる。 結果、デコードのタイミングを1Vsだけシフ
トすることになる。これにより、インターレースストリ
ームIS(top_field_first=1)から
プログレッシブストリームへPSのコマ落ちの無い、シ
ームレス再生が実現できる。
【0145】本発明においては、画像表示期間T10の
処理が典型的に示すように、垂直同期信号Vsの1周期
前からデコードするのではなく、垂直同期信号Vsの半
周期程度前からデコードを開始することで、表示が半分
程度終了して、フレームメモリFMに空きができたタイ
ミングでデコードを行うことで、デコードによるフレー
ムメモリFMの上書き制御による負荷を軽くすることが
できる。
【0146】次に、図5および図6を参照して、本実施
形態にかかる変形例について説明する。なお、本変形例
における映像復号装置VDA1の構成は、図1に示した
構成のままであるが、映像デコード制御部CDV1の制
御動作が異なる。
【0147】図5のフローチャートに示すように、本変
形例においては、図2に示したフローチャートにおける
第2のI/P切替ルーチン#200、および第1のI/
P切替ルーチン#600が、それぞれ、変更されて第2
のI/P切替ルーチン#210、マスク制御ルーチン#
310、および第1のI/P切替ルーチン#610とな
っている。
【0148】第2のI/P切替ルーチン#210は、新
たなステップS28およびステップS30によって構成
される。ステップS28は、stateの値が2でない
場合には、処理を次のマスク制御ルーチン#300に移
す。ステップS28でstateの値が2であると判断
される場合には、ステップS30においてstateの
値を0にセットした後に処理をマスク制御ルーチン#3
00に移す。
【0149】第1のI/P切替ルーチン#610は、第
1のI/P切替ルーチン#600からステップS21、
S23、およびS25が削除されると共に、ステップS
11のYes側に、新たなステップS32、S34、お
よびS36が設けられた構成である。ステップS32に
おいて、pimodeがPの場合には、ステップS34
において、pimodeをIに設定した後、ステップS
36においてstateを2に設定する。一方、ステッ
プS32において、pimodeがPでない場合には、
出画設定ルーチンS13に処理を移す。
【0150】上述の処理の結果、本例におけるデコード
処理は、図6のタイミングチャートに示すようになる。
すなわち、画像表示期間T4において、画像表示期間T
3のIピクチャI0のピクチャ層PLのヘッダ層を解析
した結果が格納されるヘッダ情報蓄積器4のframe
_rate_codeの値が4であるので、state
の値を0から2に変え、pimodeの値をPからIに
変える。画像表示期間T5において、第2のI/P切替
ルーチン#610によって、stateの値を2から0
に変え、sleepへジャンプすることで、デコード処
理を禁止している。これにより、画像表示期間T6〜8
にかけて表示されるべきIピクチャI0はtop_fi
eldから表示できる。
【0151】これにより、プログレッシブストリームP
Sから、インターレースストリームIS(top_fi
eld_first=1)への表示パリティの間違いの
無い(すなわちtop_field_first=1の
ストリームをbottom_fieldから表示しな
い)、シームレス再生が実現可能となる。
【0152】(第2の実施形態)次に、図7、図8およ
び図9を参照して、本発明の第2の実施形態にかかる映
像ストリームシームレス復号装置(以下「映像復号装置
VDA2」と略称する)について説明する。映像復号装
置VDA2は、図1に示した映像復号装置VDA1の映
像デコード制御部CDV1が映像デコード制御部CDV
2に変更されている。
【0153】映像デコード制御部CDV2は、映像デコ
ード制御部CDV1に、マスク補正器20が新たに設け
られた構造を有している。マスク補正器20は、ビデオ
エンコーダEVに接続されてパリティ信号Vpの入力を
受けると共に、映像デコード部Ddvのヘッダ情報蓄積
器4に接続されてtop_field_first(図
7において、「Tff」と略称す)の入力を受ける。マ
スク補正器20は、入力されたパリティ信号Vpとto
p_field_firstに基づいて、parity
_maskを反転させる制御信号MAを生成してデコー
ドタイミングマスク器12に出力する。
【0154】図8のフローチャートを参照して、映像復
号装置VDA2の動作について説明する。本実施形態に
おいては、図5に示すフローチャートにおける第2のI
/P切替ルーチン#210、および第1のI/P切替ル
ーチン#610が、第2のI/P切替ルーチン#220
および第1のI/P切替ルーチン#620に変更されて
いる。さらに、新たなマスク補正ルーチン#400が、
マスク制御ルーチン#310と第1のI/P切替ルーチ
ン#620の間に挿入されている。
【0155】第2のI/P切替ルーチン#220は、第
2のI/P切替ルーチン#210のステップS30の次
に、ステップS40、ステップS42、ステップS4
4、およびステップS46が新たに設けられている。
【0156】ステップS40においては、ステップS3
0でstateの値が0にセットされた後、parit
y_maskの値が表示parity(パリティ信号V
p)の値と同じであるか否かが判断される。Noの場合
には、ステップS44でparity_maskを反転
させた後、ステップS42に進む。一方、Yesの場合
は、処理は直接ステップS42に進む。
【0157】ステップS42においては、stateの
値が8であるか否かが判断される。Yesの場合は、ス
テップS46に進みstateの値を0にセットした
後、処理はデコード開始信号Vsd監視ルーチン#10
0のステップS1へ戻りスリープ処理を行う。一方、N
oの場合は、処理はマスク制御ルーチン#310へ進
む。
【0158】マスク補正ルーチン#400は、ステップ
S48、ステップS50、およびステップS52によっ
て構成される。マスク制御ルーチン#310の処理が終
了すると、ステップS48でframe_rate_c
odeが7より小さいか否かが判断される。Noの場合
は、処理は次の第1のI/P切替ルーチン#620に進
む。
【0159】一方、Yesの場合は、ステップS50で
top_filed_firstが表示parity
(パリティ信号Vp)と同一であるか否かが判断され
る。Noの場合は、処理は第1のI/P切替ルーチン#
620に進む。一方、Yesの場合は、ステップS52
で、parity_maskを反転後、処理はデコード
開始信号Vsd監視ルーチン#100のステップS1に
進みスリープ処理を行う。
【0160】第1のI/P切替ルーチン#620は、第
1のI/P切替ルーチン#600(図2)と第1のI/
P切替ルーチン#610(図5)とを組み合わせて構成
されている。結果、
【0161】ステップS11でYesと判断された場合
には、第1のI/P切替ルーチン#620の場合と同様
に、ステップS32、S34、およびS36の処理が実
行される。一方、Noと判断された場合には、第1のI
/P切替ルーチン#610の場合と同様に、ステップS
21、S23、およびS25の処理が実行される。
【0162】上述の処理の結果、本例におけるデコード
処理は、図9のタイミングチャートに示すようになる。
本タイミングチャートでは、インターレースストリーム
ISはtop_field_firstの値は0である
ため、bottom_fieldが先に表示される。
【0163】よって、プログレッシブストリームPSか
らインターレースストリームISへ移ったとき、すなわ
ち画像表示期間T9で、第1のI/P切替ルーチン#6
20によってstateの値を0から2に変える。
【0164】画像表示期間T10では、第2のI/P切
替ルーチン#220によって、ステップS40におい
て、parity_maskの値と表示パリティ(V
p)の値が等しくないと判断される。
【0165】結果、ステップS44において、pari
ty_maskのレベルが反転される。
【0166】さらに、マスク制御ルーチン#310のス
テップS7において、parity_maskの値と表
示パリティ(Vp)の値が等しいと判断されて、デコー
ド開始信号Vsd監視ルーチン#100のステップS1
に進みスリープ処理を行う。
【0167】さらに、画像表示期間T11においては、
マスク補正ルーチン#400のステップS52におい
て、parity_maskを反転(トグル)してステ
ップS1に進みスリープ処理を行う。
【0168】このようにして、2Vsの期間、デコード
処理を行わないことで、画像表示期間T12〜T14に
かけて、bottom_fieldを先に表示すること
が可能となる。結果、映像ストリームSTvの内容がイ
ンターレースストリームISあるいはプログレッシブス
トリームPSに変化する場合にもシームレス再生が可能
となる。
【0169】(第3の実施形態)次に、図10、図11
および図12を参照して、本発明の第3の実施形態にか
かる映像ストリームシームレス復号装置(以下「映像復
号装置VDA3」と略称する」)について説明する。映
像復号装置VDA3は、図7に示した映像復号装置VD
A2の映像デコード制御部CDV2が映像デコード制御
部CDV3に変更されている。
【0170】映像デコード制御部CDV3は、映像デコ
ード制御部CDV2に、スタートアップ制御器21が新
たに設けられた構造を有している。スタートアップ制御
器21は、シーケンサ10に接続されてvdec_mo
deを設定する制御信号STを相互に交換する。なお、
vdec_modeは映像デコード制御部CDV3の初
期状態を規定する二値の値を有する初期状態パラメータ
である。
【0171】図11に示すフローチャートを参照して、
映像復号装置VDA3の動作について説明する。本実施
形態における動作は、既述のデコード開始信号Vsd監
視ルーチン#100の変形であるデコード開始信号Vs
d監視ルーチン#110、既述の第2のI/P切替ルー
チン#220、マスク制御ルーチン#310、マスク補
正ルーチン#400、第1のI/P切替ルーチン#62
0、出画設定ルーチンS13、SLデコードルーチンS
15、およびPLデコードルーチンS17より構成され
る。さらに、スタートアップ制御ルーチン#800が新
たに、第1のI/P切替ルーチン#620と出画設定ル
ーチンS13の間に設けられている。
【0172】デコード開始信号Vsd監視ルーチン#1
10は、デコード開始信号Vsd信号が生成されている
か、それとも初期化が必要かを判断するステップS60
と、初期化ステップS62によって構成される。
【0173】ステップS60において、デコード開始信
号Vsdの生成が認められれば、デコード開始信号Vs
d監視ルーチン#100の場合と同様に、処理は第2の
I/P切替ルーチン#220に進む。一方、初期化が必
要であると判断された場合には、ステップS62でパラ
メータvdec_modeの値を0にセットし、sta
tusの値を0にセットした後、処理をステップS60
に戻してスリープ処理を行う。
【0174】なお、デコード開始信号Vsd監視ルーチ
ン#110においては、最初のステップがステップS1
ではなく、ステップS60であるので、本フローチャー
トにおいて、スリープ処理のために各ステップが処理を
移行させる相手先はステップS60であることは言うま
でも無い。
【0175】スタートアップ制御ルーチン#800は、
ステップS64、S66、S67、S68、S70、お
よびS72で構成される。第1のI/P切替ルーチン#
620においる処理後、
【0176】ステップS64において、vdec_mo
deが0であるか否かが判断される。Noの場合は、処
理は出画設定ルーチンS13に進む。一方、Yesの場
合は、次のステップS66でvdec_modeが1に
設定されて、処理はステップS67に進む。
【0177】ステップS67において、記述のステップ
S13におけるのと同様に、出画設定が行われる。
【0178】そして、ステップS68において、PLデ
コードルーチンS17におけるのと同様にピクチャ層P
Lがデコードされた後に、処理はステップS70に進
む。
【0179】ステップS70において、SLデコードル
ーチンS15と同様にスライス層SLがデコードされた
後、処理はステップS72に進む。
【0180】ステップS72において、さらに、ピクチ
ャ層PLがデコードされて、処理はデコード開始信号V
sd監視ルーチン#110のステップS60へ戻って、
スリープ処理を行う。
【0181】上述の処理の結果、本例におけるデコード
処理は、図12のタイミングチャートに示すようにな
る。
【0182】本タイミングチャートでは、画像表示期間
T3〜T4にかけて、初期化が行われている。初期化に
より、デコード開始信号Vsd監視ルーチン#110
は、ステップS62によりvdec_modeに0をセ
ットすると共に、stateの値を0にセットする。
【0183】画像表示期間T5では、スタートアップ制
御器21の、ステップS66によりvdec_mode
の値を0から1に変える。これにより、チャンネル切替
え等の操作に起因する初期化後のデコード開始するスタ
ートアップが可能となる。
【0184】次に、図13、図14、図15、および図
16を参照して、本実施形態の変形例について、説明す
る。本変形例における映像復号装置VDA3の構成は、
図10に示した構成のままであるが、映像デコード制御
部CDV3の制御動作が異なる。
【0185】本変形例のフローチャートは、図13に示
すように、図11に示したフローチャートにおけるデコ
ード開始信号Vsd監視ルーチン#110に、新たなス
テップS74が追加されてデコード開始信号Vsd監視
ルーチン#120に変更されたものである。
【0186】つまり、ステップS62でvdec_mo
deを0にセットすると共にstateの値を0にセッ
トした後に、ステップS74においてさらにframe
_rate_codeの値を7にセットした後、処理を
ステップS60に戻してスリープ処理を行う。
【0187】これは、図14に示すタイミングチャート
において、frame_rate_codeが4の場
合、インターレースストリームISでのスタートアップ
は正常に表示する。
【0188】しかしながら、図15において、初期化に
おいてframe_rate_codeを4に設定すれ
ば、入力ストリームがプログレッシブの場合には、画像
表示期間T4〜T5にかけて表示されるIピクチャI0
が2回表示されることになる。
【0189】よって、frame_rate_code
を7にすることで、図16(a)および図16(b)に
示すように、どちらのストリームの場合でもスタートア
ップが正常に表示することができる。
【0190】このように、図15に示す例においては期
間T4においてスリープ動作が発生する事態を、図16
(b)に示す例においては、frame_rate_c
odeを7に設定することによって防止している。
【0191】上述の処理の結果、本例におけるデコード
処理は、図14、図15、図16(a)および図16
(b)のタイミングチャートに示すようになる。
【0192】(第4の実施形態)次に、図17、図1
8、および図19を参照して、本発明の第4の実施形態
にかかる映像ストリームシームレス復号装置(以下「映
像復号装置VDA4」と略称する」)について説明す
る。映像復号装置VDA4は、上述の第3の実施形態に
かかる映像復号装置VDA3の映像デコード制御部CD
V3にさらに、シーケンサ10と補正比率を設定する制
御信号FLを交換するフレームレート補正器22を追加
して映像デコード制御部CDV4としたものである。
【0193】以下に、映像復号装置VDA4による24
frame/SPのインターレースストリームISから
プログレッシブストリームPSに遷移する場合の俗に言
われる3:2プルダウン処理に関して述べる。
【0194】図18に示すように、映像復号装置VDA
4におけるフローチャートは、図11に示したフローチ
ャートのマスク補正ルーチン#400が修正されてマス
ク補正ルーチン#410に変更されている。さらに、新
たに、フレームレート補正ルーチン#500が、マスク
補正ルーチン#410と第1のI/P切替ルーチン#6
20の間に挿入されている。また、デコード開始信号V
sd監視ルーチン##110が図13に示したデコード
開始信号Vsd監視ルーチン#120に交換されてい
る。
【0195】マスク補正ルーチン#410は、マスク補
正ルーチン#400において、ステップS48とステッ
プS50の間に、新たなステップS80が挿入された構
成を有している。つまり、ステップS48で、fram
e_rate_codeが7より小さいと判断され場合
には、処理は挿入された、progressive_s
equenceの値が1であるか否かを判断するステッ
プS80に進む。
【0196】ステップS80において、Yesの場合
は、処理は、次のフレームレート補正ルーチン#500
に進む。これはフレーム画像がtop_field、b
ottom_fieldの区別が無いプログレッシブ画
像であることを示しているので、ステップ50によるパ
リティチェックをする必要が無いからである。一方、N
oの場合は、処理はステップS52に進む。以降の処理
は、既にマスク補正ルーチン#400に関して述べた通
りである。
【0197】フレームレート補正ルーチン#500は、
ステップS82、S86、S88、およびS90によっ
て構成される。ステップS82において、frame_
rate_codeの値が2であるか否かが判断され
て、Noの場合には処理は第1のI/P切替ルーチン#
620に進む。一方、Yesの場合は、処理はフレーム
レート補正ルーチンS86を経て、補正の比率が3:2
であるか否かを判断するステップS88に進む。
【0198】ステップS88において、Noの場合は、
処理は、第1のI/P切替ルーチン#620に進む。一
方、Yesの場合は、ステップS90でparity_
maskのレベルを反転させた後に、処理はデコード開
始信号Vsd監視ルーチン#120のステップS60に
進み、スリープを実行する。
【0199】上述の処理の結果、本例におけるデコード
処理は、図19のタイミングチャートに示すようにな
る。これにより、24PのインターレースストリームI
Sを3:2プルダウン処理してストリームに後続するプ
ログレッシブストリームPSに関してもシームレス再生
が可能となる。また、マスク補正ルーチン#410とフ
レームレート補正ルーチン#500により、画像表示期
間T0〜T4に示すように、24Pのインターレースス
トリームISの再生が可能となる。
【0200】(第5の実施形態)次に、図20、図2
1、および図22を参照して、本発明の第5の実施形態
にかかる映像ストリームシームレス復号装置(以下「映
像復号装置VDA5」と略称する)について説明する。
映像復号装置VDA5は、上述の第4の実施形態にかか
る映像復号装置VDA4の映像デコード制御部CDV4
にさらにシーケンスエンドを検出する制御信号SEを交
換するシーケンスエンド制御器23を追加して映像デコ
ード制御部CDV5としたものである。
【0201】図21に示すように、映像復号装置VDA
5におけるフローチャートは、図11に示した第1のI
/P切替ルーチン#620とスタートアップ制御ルーチ
ン#800との間に新たにシーケンスエンド検出ルーチ
ン#700が挿入されている。
【0202】シーケンスエンド検出ルーチン#700
は、シーケンスエンド検出の有無を判断するステップS
90、出画設定ルーチンS92、ピクチャ層PLをデコ
ードするルーチンS94、スライス層SLをデコードす
るルーチンS96、およびピクチャ層PLをデコードす
るルーチンS98から構成される。
【0203】本実施形態においては、シーケンスエンド
を検出すると処理を次のステップに進めることに他の実
施形態に無い特徴を有している。
【0204】ステップS90において、シーケンスエン
ドが検出されなければ、Noと判断されて、処理は、ス
タートアップ制御ルーチン#800に進む。一方、Ye
sの場合は、ステップS92において出画設定された後
に、ステップS94においてピクチャ層PLがデコード
され、さらにステップS96においてスライス層SLが
デコードされ、そして、ステップS98においてピクチ
ャ層PLがデコードされる。その後、処理はデコード開
始信号Vsd監視ルーチン#120のステップS60に
進み、スリープ処理が実行される。
【0205】上述の処理の結果、本例におけるデコード
処理は、図22のタイミングチャートに示すようにな
る。同タイミングチャートは、図4(d)に示したよう
な構造を有する映像ストリームSTvが入力された場合
の動作を示す。これは主に、静止画サービスや、Iピク
チャだけの特殊再生に用いることができる。
【0206】(第6の実施形態)次に、図23、図2
4、図25および図26を参照して、本発明の第6の実
施形態にかかる映像ストリームシームレス復号装置(以
下「映像復号装置VDA6」と略称する))について説
明する。映像復号装置VDA6は、上述の第5の実施形
態にかかる映像復号装置VDA5の映像デコード制御部
CDV5にさらに、シーケンサ10とアンダーフローを
検出する制御信号UFを交換するアンダーフロー制御器
24が追加された映像デコード制御部CDV6としたも
のである。
【0207】図24に示すように、映像復号装置VDA
6におけるフローチャートは、図21に示したフローチ
ャートに対して、新たにアンダーフロー制御ルーチン#
900が第1のI/P切替ルーチン#620とシーケン
スエンド検出ルーチン#700の間に挿入されている。
【0208】アンダーフロー制御ルーチン#900は、
アンダーフロー検出の有無を判断するステップS91
0、出画設定ルーチンS920、Iピクチャまたは、P
ピクチャを検出するまでスキップするルーチンS93
0、ピクチャ層PLをデコードするルーチンS940、
スライス層SLをデコードするルーチンS950、およ
びピクチャ層PLをデコードするルーチンS960から
構成される。
【0209】ステップS910において、アンダーフロ
ーが検出されなければ、Noと判断されて、処理はシー
ケンスエンド検出ルーチン#700に進む。一方、Ye
sの場合は、ステップS920において出画設定を行
う。
【0210】そして、ステップS930においてIピク
チャ、またはPピクチャが見つかるまで、入力ストリー
ムをサーチし続ける。IピクチャまたはPピクチャの何
れかが見つかると、処理はステップS940に進む。
【0211】ステップS940において、ピクチャ層P
Lがデコードされた後に、処理はステップS950に進
む。
【0212】ステップS950においてスライス層SL
がデコードされる。
【0213】そして、ステップS960においてピクチ
ャ層PLがデコードされる。その後、処理はVsd生成
/初期化ルーチン#120のステップS60に進み、ス
リープが処理が実行される。
【0214】上述の処理の結果、本例におけるデコード
処理は、図25、図26のタイミングチャートに示すよ
うになる。
【0215】図25および図26は、映画素材の24P
のインターレースストリームISから、30Pのインタ
ーレースストリームISに切り替る際に、ストリームの
到着が遅れてアンダーフローした場合の例を示す。ただ
し、図25においては、30Pのインターレースストリ
ームISの到着が遅れた場合を示し、図26は24Pの
インターレースストリームISの最後のBピクチャのス
ライス層SLの到着が遅れた場合を示す。
【0216】先ず、図25に示す場合について述べる。
画像表示期間T0〜T5においては、第4の実施形態に
関して説明した24PインターレースストリームISの
3:2プルダウン処理(T0〜T5)を示す。画像表示
期間T9から以降は、第1の実施形態に関して説明した
30PインターレースストリームISの処理を示す。
【0217】期間T6〜T7においては次のストリーム
を検出できていない状態を示している。つまり、期間T
5において開始したBピクチャB8のスライス層SLの
デコードが、期間T6および期間T7に渡って完了して
いないことを持ってアンダーフローを検出している。
【0218】期間T7においては、まだ次の表示が24
Pストリーム(P9)であるため、フレームレート補正
器で3:2プルダウン処理が行われている。
【0219】期間T8においては、アンダーフロー制御
器24でアンダーフローを検出し、Iピクチャまたは、
Pピクチャのサーチを行う。また、同時に、出画設定を
行い直前にデコードしたIピクチャまたはPピクチャを
表示する。本例においては、PピクチャP9が表示され
る。
【0220】期間T8の終わりから期間T9にかけてI
ピクチャのヘッダ解析が終了し、スライス層SLのデコ
ードが行われる。
【0221】一方、図26に示す場合においては、期間
T5〜T7にかけてB8ピクチャのスライス層SLのデ
コードが行われているが、ストリームの到着が遅れてス
ライス層SLの最後までデコードできていない状態を示
している。つまり、期間T5において開始したIピクチ
ャI0のピクチャ層PLのデコードが、期間T6、期間
T7、および期間T8に渡って完了していないことを持
ってアンダーフローを検出する。
【0222】期間T8において、アンダーフロー制御器
24でアンダーフローを検出した時点でB8ピクチャの
デコードを中止し、次のIピクチャまたはPピクチャの
サーチを行う。また、同時に、出画設定を行って直前に
デコードしたIピクチャまたはPピクチャを表示する。
この場合、期間T8の終わりから期間T9にかけてIピ
クチャのヘッダ解析が終了し、スライス層SLのデコー
ドが行われる。
【0223】これにより、通常のインターレースストリ
ームIS間のシームレス再生、すなわち24Pから30
Pへの再生が途切れた、つまりストリームが途中で途切
れた場合でも、スムーズに行われる。
【0224】上述のように、本実施形態においては、ア
ンダーフローを検出した時点で、次のIピクチャあるい
はPピクチャをサーチする。アンダーフローが同一のス
トリームの復号中に生じた場合には、次のPピクチャを
見つけることでアンダーフローによる画像再生中断時間
を最小に抑えることができる。なぜならば、映像ストリ
ームSTv中においてPピクチャPはIピクチャに比べ
て間隔が密に配列されているからである。
【0225】また次のピクチャがIピクチャである場合
にも、やはりアンダーフローによる画像再生中断時間を
最小に抑えることができる。なぜならば、Iピクチャが
アンダーフロー発生後の最初でピクチャデータであれ
ば、わざわざその時間的にIピクチャの後に配列された
Pピクチャを探す必要は無いからである。また、映像ス
トリームSTvが、例えばインターレースストリームI
SとプログレッシブストリームPSやインターレースス
トリームIS同士であってもフレームレート異なるスト
リームから成るまだら編成ストリームであって、その異
種ストリーム間における切替直前にアンダーフローが生
じた場合にも、Iピクチャを探すことによってストリー
ムの切替を問題なく行える。
【図面の簡単な説明】
【図1】本発明の第1の実施形態にかかる映像ストリー
ムシームレス復号装置の構造を示すブロック図である。
【図2】図1に示した映像ストリームシームレス復号装
置の動作を示すフローチャートである。
【図3】図1に示した映像ストリームシームレス復号装
置において、観察される各種信号の処理タイミングを示
すタイミングチャートである。
【図4】図1に示した映像ストリームシームレス復号装
置に入力される映像ストリームの構造を示す説明図であ
る。
【図5】図1に示した映像ストリームシームレス復号装
置の変形例において、その動作を示すフローチャートで
ある。
【図6】図1に示した映像ストリームシームレス復号装
置の変形例において、観察される各種信号の処理タイミ
ングを示すタイミングチャートである。
【図7】本発明の第2の実施形態にかかる映像ストリー
ムシームレス復号装置の構造を示すブロック図である。
【図8】図7に示した映像ストリームシームレス復号装
置の動作を示すフローチャートである。
【図9】図7に示した映像ストリームシームレス復号装
置において、観察される各種信号の処理タイミングを示
すタイミングチャートである。
【図10】本発明の第3の実施形態にかかる映像ストリ
ームシームレス復号装置の構造を示すブロック図であ
る。
【図11】図10に示した映像ストリームシームレス復
号装置の動作を示すフローチャートである。
【図12】図10に示した映像ストリームシームレス復
号装置において、観察される各種信号の処理タイミング
を示すタイミングチャートである。
【図13】図10に示した映像ストリームシームレス復
号装置の変形例において、その動作を示すフローチャー
トである。
【図14】図10に示した映像ストリームシームレス復
号装置の変形例において、観察される各種信号の処理タ
イミングを示すタイミングチャートである。
【図15】図10に示した映像ストリームシームレス復
号装置の変形例において、観察される各種信号の処理タ
イミングを示すタイミングチャートである。
【図16】図10に示した映像ストリームシームレス復
号装置の変形例において、観察される各種信号の処理タ
イミングを示すタイミングチャートである。
【図17】本発明の第4の実施形態にかかる映像ストリ
ームシームレス復号装置の構造を示すブロック図であ
る。
【図18】図17に示した映像ストリームシームレス復
号装置の動作を示すフローチャートである。
【図19】図17に示した映像ストリームシームレス復
号装置において、観察される各種信号の処理タイミング
を示すタイミングチャートである。
【図20】本発明の第5の実施形態にかかる映像ストリ
ームシームレス復号装置の構造を示すブロック図であ
る。
【図21】図20に示した映像ストリームシームレス復
号装置の動作を示すフローチャートである。
【図22】図20に示した映像ストリームシームレス復
号装置において、観察される各種信号の処理タイミング
を示すタイミングチャートである。
【図23】本発明の第6の実施形態にかかる映像ストリ
ームシームレス復号装置の構造を示すブロック図であ
る。
【図24】図23に示した映像ストリームシームレス復
号装置の動作を示すフローチャートである。
【図25】図23に示した映像ストリームシームレス復
号装置において、観察される各種信号の処理タイミング
を示すタイミングチャートである。
【図26】図23に示した映像ストリームシームレス復
号装置において、観察される各種信号の処理タイミング
を示すタイミングチャートである。
【図27】従来の映像ストリームシームレス復号装置に
よる映像ストリームデコード処理時に観察される各種信
号の処理タイミングを表すタイミングチャートである。
【図28】図27と同様に、従来の映像ストリームシー
ムレス復号装置による映像ストリームデコード処理時に
観察される各種信号の処理タイミングを表すタイミング
チャートである。
【符号の説明】
VDA1、VDA2、VDA3、VDA4、VDA5、
VDA6 映像復号装置 Ddv 映像デコード部 1 ビットストリームFIFO 2 ストリーム解析器 3 ビデオデコーダ 4 ヘッダ情報蓄積器 5 書込フレームメモリ選択器 6 フレームメモリ群 7 表示フレームメモリ選択器 EV ビデオエンコーダ 11 デコード開始信号生成器 CDV1、CDV2、CDV3、CDV4、CDV5、
CDV6 映像デコード制御部 10 シーケンサ 11 デコード開始信号生成器 12 デコードタイミングマスク器 13 第1のI/P切替器 14 第2のI/P切替器 20 マスク補正器 21 スタートアップ制御器 22 フレームレート補正器 23 シーケンスエンド制御器
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5C025 AA28 BA01 BA05 BA18 BA25 BA27 BA30 DA01 DA04 DA08 5C059 KK00 LA04 MA00 PP04 PP14 RC02 SS05 TA00 TB06 TC00 UA05 UA35 UA38 5C063 AA01 AA10 AB03 AB07 AC01 AC05 AC10 CA01 CA12 CA14

Claims (22)

    【特許請求の範囲】
  1. 【請求項1】 異なるフレームレートを有する複数のス
    トリームの混在する映像ストームを所定のデコードタイ
    ミングでデコードしてシームレス再生する復号装置であ
    って、 前記複数のストリームをデコードする前にそれぞれのフ
    レームレートを抽出するフレームレート抽出手段と、 前記抽出されたフレームレートに基づいて、前記映像ス
    トリームのスライス層をデコードするタイミングを決定
    するデコード制御手段とを備え、 前記決定されたタイミングで前記映像ストリームをデコ
    ードすることによって、該映像ストリーム中で異なるフ
    レームレートを有するストリームに切り替わる際にもシ
    ームレスに再生できることを特徴とする復号装置。
  2. 【請求項2】 前記フレームレート抽出手段は、前記映
    像ストリームを前記デコードタイミングに基づいて、解
    析して、ヘッダ情報と圧縮データに分離するストリーム
    解析手段とを含むことを特徴とする請求項1に記載の復
    号装置。
  3. 【請求項3】 前記デコード制御手段は、前記ヘッダ情
    報に基づいて、前記映像ストリームに含まれる前記複数
    のストリームそれぞれのフレームレートに応じて、前記
    映像ストリームの表示形式によって定められる垂直同期
    信号を所定時間だけ遅延させて、前記デコードタイミン
    グを規定するデコードタイミング信号を生成することを
    特徴とする請求項2に記載の復号装置。
  4. 【請求項4】 前記所定時間は、前記垂直同期信号の1
    周期より小さいことを特徴とする請求項3に記載の復号
    装置。
  5. 【請求項5】 前記所定時間は、前記垂直同期信号の半
    周期であることを特徴とする請求項4に記載の復号装
    置。
  6. 【請求項6】 前記復号手段は、前記圧縮データのスラ
    イス層のデコードに引き続き、後続のピクチャのピクチ
    ャ層をデコードすることを特徴とする請求項1に記載の
    復号装置。
  7. 【請求項7】 前記デコード制御手段は、前記映像スト
    リームの、インターレースストリームに対しては、前記
    デコードタイミング信号を交互にマスクし、 プログレッシブストリームに対しては、前記デコードタ
    イミング信号をそのまま出力するデコードタイミング補
    正手段を含む請求項3に記載の復号装置。
  8. 【請求項8】 前記デコード制御手段は、前記映像スト
    リームがインターレースストリームからプログレッシブ
    ストリームに切り替わる遷移時には、前記デコードタイ
    ミング信号をマスクして、該インターレースストリーム
    の表示を完了させることを特徴とする請求項7に記載の
    復号装置。
  9. 【請求項9】 前記デコード制御手段は、前記映像スト
    リームがプログレッシブストリームからインターレース
    ストリームに切り替わる遷移時には、前記デコードタイ
    ミング信号をマスクせずに、該プログレッシブストリー
    ムの最終ピクチャに引き続いて、該インターレーススト
    リームの最初のピクチャをデコードさせることを特徴と
    する請求項7に記載の復号装置。
  10. 【請求項10】 前記デコード制御手段は、デコード時
    に前記映像ストリームが遷移状態にない場合には、当該
    映像ストリームの遷移状態を表す多値の遷移状態パラメ
    ータを第1の所定値に設定し、 前記映像ストリームがインターレースストリームからプ
    ログレッシブストリームに遷移する、すなわちfram
    e_rate_codeが7より小さい値から7に変わ
    る時には、前記遷移状態パラメータを第2の所定値に設
    定し、 前記映像ストリームがプログレッシブストリームからイ
    ンターレースストリームに遷移する、すなわちfram
    e_rate_codeが7から7より小さい値に変わ
    る時には、前記遷移状態パラメータを第3の所定値に設
    定し、 次のデコードタイミングで前記遷移状態パラメータを前
    記第1の所定値とすることを特徴とする請求項7に記載
    の復号装置。
  11. 【請求項11】 前記デコード制御手段は、前記映像ス
    トリームがインターレースストリームであり、top_
    fieldから順番に映像表示parityに合わせて
    映像表示する場合、前記デコードタイミング信号のto
    p_fieldをマスクし、 bottom_fieldから順番に映像表示pari
    tyに合わせて映像表示する場合、前記デコードタイミ
    ング信号のbottom_filedをマスクすること
    を特徴とする請求項10に記載の復号装置。
  12. 【請求項12】 前記デコードタイミング信号のtop
    _fieldおよびbottom_fieldの何れを
    マスクするかを二値の値を有するマスク信号parit
    y_maskで規定することを特徴とする請求項11に
    記載の復号装置。
  13. 【請求項13】 前記デコード制御手段は、parit
    y_maskが映像表示parityと等しくなく、前
    記映像ストリームのframe_rate_codeが
    7より小さく、かつtop_field_firstが
    映像表示parityに等しい場合に、prity_m
    askを反転させてパリティ補正することを特徴とする
    請求項12に記載の復号装置。
  14. 【請求項14】 前記デコード制御手段は、デコード開
    始時は常に、当該デコード制御手段の初期状態を規定す
    る二値の値を有する初期状態パラメータを第一の値に設
    定することを特徴とする請求項7に記載の復号装置。
  15. 【請求項15】 前記デコード制御手段は、前記初期状
    態パラメータが第1の値の場合は、後続のストリームの
    最初のピクチャをピクチャ層、スライス層、およびピク
    チャ層の順番にデコードすることを特徴とする請求項1
    4に記載の復号装置。
  16. 【請求項16】 前記デコード制御手段は、デコード開
    始時は常に、前記映像ストリームはプログレッシブスト
    リームであると設定した後に、スリープ処理を実行する
    ことを特徴とする請求項7に記載の復号装置。
  17. 【請求項17】 前記デコード制御手段は、前記映像ス
    トリームが24フレームのインターレースストリームか
    らプログレッシブストリームおよび30フレームのイン
    ターレースストリームの何れかに切り替わる第1の遷移
    時および当該第1の遷移時におけるのと反対方向に前記
    画像映像ストームが切り替わる第2の遷移時には、フレ
    ームレート補正を行い、 3:2プルダウン時には、前記ストリームのパリティを
    規定する二値のパラメータを一方の値から他方の値に設
    定してパリティ補正することを特徴とする請求項7に記
    載の復号装置。
  18. 【請求項18】 前記ピクチャ層は、sequence
    _header、GOP_header、およびPic
    ture_headerを含み、 前記スライス層は、slice_header以下のビ
    ットストリームを含み、 前記ピクチャ層と前記スライス層で1つの画像を構成す
    ることを特徴とする請求項15に記載の復号装置。
  19. 【請求項19】 前記デコード制御手段は、前記ピクチ
    ャ層をデコード時にsequence_endを検出す
    る場合はデコード処理を終了し、 前記映像ストリームのsequence_endを検出
    する場合には、前記ピクチャ層、前記スライス層、およ
    び前記ピクチャ層の順番にデコードした後に、スリープ
    処理を実行することを特徴とする請求項7に記載の復号
    装置。
  20. 【請求項20】 前記デコード制御手段は、前記初期状
    態パラメータが前記第1の値である場合は、出画設定を
    行わないことを特徴とする請求項14に記載の復号装
    置。
  21. 【請求項21】 前記デコード制御手段は、デコードタ
    イミング時に、先のデコードタイミング時に行ったデコ
    ード処理が終了していないアンダーフローの場合、先に
    デコードしたIピクチャまたはPピクチャを表示するこ
    とを特徴とする請求項7記載の復号装置。
  22. 【請求項22】 前記デコード制御手段は、アンダーフ
    ローの場合、アンダーフローがBピクチャで発生した場
    合、次のIピクチャおよびPピクチャの何れかのピクチ
    ャ層およびスライス層のデコードに引き続き、後続のピ
    クチャ層の順番にデコードした後にスリープ処理を実施
    することを特徴とする請求項17記載の復号装置。
JP2000088649A 1999-03-31 2000-03-28 インターレース方式とプログレッシブ方式が混在する映像ストリームのシームレス復号装置 Expired - Fee Related JP4064036B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000088649A JP4064036B2 (ja) 1999-03-31 2000-03-28 インターレース方式とプログレッシブ方式が混在する映像ストリームのシームレス復号装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP11-93958 1999-03-31
JP9395899 1999-03-31
JP2000088649A JP4064036B2 (ja) 1999-03-31 2000-03-28 インターレース方式とプログレッシブ方式が混在する映像ストリームのシームレス復号装置

Publications (2)

Publication Number Publication Date
JP2000350203A true JP2000350203A (ja) 2000-12-15
JP4064036B2 JP4064036B2 (ja) 2008-03-19

Family

ID=26435218

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000088649A Expired - Fee Related JP4064036B2 (ja) 1999-03-31 2000-03-28 インターレース方式とプログレッシブ方式が混在する映像ストリームのシームレス復号装置

Country Status (1)

Country Link
JP (1) JP4064036B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009005317A (ja) * 2007-06-25 2009-01-08 Panasonic Corp 映像音声再生装置
JP2013065988A (ja) * 2011-09-16 2013-04-11 Toshiba Corp 映像再生装置、映像再生装置の制御方法及びプログラム
WO2015064287A1 (ja) * 2013-11-01 2015-05-07 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009005317A (ja) * 2007-06-25 2009-01-08 Panasonic Corp 映像音声再生装置
US8306406B2 (en) 2007-06-25 2012-11-06 Panasonic Corporation Video and audio reproduction apparatus and method thereof
JP2013065988A (ja) * 2011-09-16 2013-04-11 Toshiba Corp 映像再生装置、映像再生装置の制御方法及びプログラム
WO2015064287A1 (ja) * 2013-11-01 2015-05-07 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US10225566B2 (en) 2013-11-01 2019-03-05 Sony Corporation Transmission device, transmission method, reception device, and reception method

Also Published As

Publication number Publication date
JP4064036B2 (ja) 2008-03-19

Similar Documents

Publication Publication Date Title
JP4071812B2 (ja) 多重化装置および逆多重化装置
US8233781B2 (en) Image reproduction method and image reproduction apparatus
JP5173287B2 (ja) 番組記録装置及びその制御方法
US9319654B2 (en) Video data reproducing apparatus, video data generating apparatus and recording medium
US7266288B2 (en) Video/audio playback apparatus and video/audio playback method
EP1122955A1 (en) Method and device for seamless-decoding video stream including streams having different frame rates
JPH0918829A (ja) データ再生装置
JP2002094916A (ja) 画像記録装置、画像記録方法および記録媒体
JP2004072727A (ja) 画像処理方法、画像処理装置、画像記録再生装置、およびテレビジョン受像機
JPH10262208A (ja) 同期ずれ制御装置及び方法
KR100246762B1 (ko) 비디오데이터 디코딩방법
KR100629097B1 (ko) 정보 신호 디코딩 방법 및 장치
JP4064036B2 (ja) インターレース方式とプログレッシブ方式が混在する映像ストリームのシームレス復号装置
CN1893609A (zh) 信息回放设备及信息回放方法
JP4192995B2 (ja) 映像信号のミュート方法
JP3592906B2 (ja) データ処理同期装置
JP3995017B2 (ja) 映像信号のミュート方法
JP2001186529A (ja) Mpegデコード回路並列駆動システム
JPH10262219A (ja) ディジタル信号再生方法及び装置
JP2000261811A (ja) 復号化装置
JP2000287215A (ja) 映像復号化装置
JP2001094938A (ja) 圧縮画像再生方法及び装置
JP2004356737A (ja) シームレス映像切替装置およびその映像切替方式
JP2008301275A (ja) 映像出力装置及び映像出力方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050222

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050422

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050520

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050719

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20050727

A912 Removal of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20060303

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071226

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110111

Year of fee payment: 3

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110111

Year of fee payment: 3

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120111

Year of fee payment: 4

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130111

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees