JP2000324484A - 画像データ処理装置 - Google Patents

Abstract

(57)【要約】 【課題】動画像の復号継続表示フリーズ動作を行なうこ
とのできる画像データ処理装置を実現する。 【解決手段】動き補償回路（８）は、復号処理した、他
の画像の復号に参照される参照画像の再生画像データを
復号用フレームメモリに書き込む。また、それ以外の画
像の再生画像データは表示用フレームメモリに書き込
む。ビデオ出力回路（９）は、参照画像の再生画像デー
タを復号用フレームメモリから表示用フレームメモリに
適宜転送する。また、表示用フレームメモリから再生画
像データを順次読み出して表示出力する。復号継続表示
フリーズの際には、表示用フレームメモリへの再生画像
データの書き込みを中断する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、高能率符号化によ
りデータ圧縮された動画像の符号化データを復号し、そ
の結果得られた再生画像データを表示する画像データ処
理装置に関するものである。

【０００２】

【従来の技術】代表的な動画像の高能率符号化方式とし
て、国際標準化されたＭＰＥＧ２（ＩＳＯ／ＩＥＣ １
３８１８）方式が知られている。

【０００３】ＭＰＥＧ２方式は、インタレース走査され
た動画像データ（ビデオデータ）を、高画質を保ちなが
らも大幅にデータ圧縮可能とする符号化方式であり、動
き補償とＤＣＴ（離散コサイン変換）の技術を組み合わ
せて動画像データの高能率圧縮符号化を実現している。
また、ＭＰＥＧ２方式では、さらにフレーム／フィール
ド適応の技術を取り入れている。

【０００４】また、このＭＰＥＧ２方式でデータ圧縮さ
れた符号化データ（ストリームデータ）を復号処理する
動画像復号装置としては、たとえば、国際公開ＷＯ９５
／０１０５４号公報記載の装置が知られている。

【０００５】この装置は、２面のフレームメモリを参照
画像（ＩまたはＰピクチャ）の再生画像データを格納す
るための復号用フレームメモリとして用い、１面のフレ
ームメモリを参照画像以外の画像（Ｂピクチャ）を格納
するためのＢピクチャ用フレームメモリとして用いる。
そして、各フレームメモリから、再生画像データを、表
示順序に従って読み出し表示出力することにより、３面
のフレームメモリによってＭＰＥＧ２方式でデータ圧縮
された符号化データの復号処理を実現している。

【０００６】

【発明が解決しようとする課題】ところで、動画を構成
する一画面を静止画状態で一時的に表示させる表示フリ
ーズを行った後に、速やかに本来の動画の表示を再開す
るためには、動画像復号装置に、復号を継続しながらも
表示画面はフリーズさせ、後の時点で本来の再生画像デ
ータの動画表示を再開する（以下、「復号継続表示フリ
ーズ」と呼ぶ）機能を備えることが望ましい。このよう
な機能を備えることにより、再生画像データの動画表示
を再開した後の復号に必要となる参照画像が、再生画像
データの動画表示を再開した時点で既に得られているた
めに、表示フリーズを解除後、即座に本来の再生画像デ
ータの動画表示を再開することができるようになる。

【０００７】しかしながら、前記国際公開ＷＯ９５／０
１０５４号公報記載の装置によれば、復号を継続する
と、表示フリーズを行いたい期間中でも、３面のフレー
ムメモリの全ての内容が書き換えられてしまうために、
表示フリーズ期間中に表示すべき画面を保持し続けるこ
とができず、結果表示フリーズを行なうことができな
い。

【０００８】一方、表示フリーズを行いたい期間中に３
面のフレームメモリの書き換えを停止するとすると、再
生画像データの動画表示を再開した後の復号に必要とな
る参照画像が、再生画像データの動画表示を再開した時
点で得られていない、すなわち、復号が継続されていな
いことになる。

【０００９】そこで、本発明は、たとえば、ＭＰＥＧ２
方式のような、ある画像フレームの復号に他の画像フレ
ームを参照画像として用いる符号化方式で符号化された
動画像の符号化データを復号して表示出力する画像デー
タ処理装置において、フレームメモリ数を増加すること
なく、復号継続表示フリーズを実現することを課題とす
る。

【００１０】

【課題を解決するための手段】前記課題達成のために本
発明は、たとえば、所定の符号化方式に従って符号化さ
れた動画像の符号化データを復号して表示出力する画像
データ処理装置であって、前記符号化データより、動画
像を構成する各画像フレームを前記符号化方式に従って
復号する復号手段と、前記復号手段によって復号された
画像フレームのうち、他の画像フレームを復号する際に
前記復号手段によって参照される画像フレームを格納す
る復号用フレームメモリと、前記復号手段によって復号
された画像フレームのうち、他の画像フレームを復号す
る際に前記復号手段によって参照されない画像フレーム
を格納する表示用フレームメモリと、前記表示用フレー
ムメモリに格納された画像フレームを読み出して出力す
る出力手段と、前記復号用フレームメモリに格納された
画像フレームを、前記表示用フレームメモリに格納され
た各画像フレームが前記符号化方式に従った表示順序
で、順次、前記出力手段によって読み出されるよう、前
記表示用フレームメモリに転送し格納する転送手段とを
有することを特徴とする画像データ処理装置を提供す
る。

【００１１】このような画像データ処理装置によれば、
復号、表示の基本構成として、他の画像フレームを復号
する際に前記復号手段によって参照されない画像フレー
ムについては、表示用フレームメモリに格納し、この表
示用フレームメモリから画像フレームを読み出して出力
することにより表示を行い、他の画像フレームを復号す
る際に前記復号手段によって参照される画像フレーム
（参照画像）については、復号用フレームメモリに格納
して、他の画像フレームの復号に供すると共に、復号用
フレームメモリから前記表示用フレームメモリに参照画
像を転送し、この表示用フレームメモリから画像フレー
ムを読み出して出力することにより参照画像の表示を行
なう構成を備えている。

【００１２】したがって、前記表示用フレームメモリへ
の画像フレームの格納を抑止するだけで、表示フリーズ
を行いたい期間中、表示フリーズ期間中に表示すべき画
面を表示用フレームメモリに保持し、これを出力し続け
ることができると共に、復号を継続して、逐次、その時
点で表示の再開を指示された場合に、その時点以降の復
号に必要となる参照画像を復号用フレームメモリに格納
しておくことができる。したがって、復号継続表示フリ
ーズを実現することができる。

【００１３】また、このような画像データ処理装置によ
れば、表示用の出力は、全て表示用フレームメモリから
の読み出しにより行なうので、画像フレームを、それぞ
れ画像フレームの種類（参照画像であるかどうか）によ
って異なるフレームメモリから読み出す場合に比べ、読
み出した画像フレームの垂直ライン数を変換し出力する
レターボックス表示などの各種処理を画像フレームの種
類によらず一律に行なうことができるので、その処理を
容易とすることができ、また、その処理のために要する
構成を簡易化することができる。

【００１４】

【発明の実施の形態】以下、本発明の実施形態を図面を
用いて説明する。

【００１５】まず、本発明の第１実施形態について説明
する。

【００１６】図１に、本第１実施形態に係る動画像復号
装置の構成を示す。

【００１７】１はＭＰＥＧ２方式でデータ圧縮された符
号化データ（ストリームデータ）の入力端子、２は復号
処理を行なうデコーダＬＳＩ、３はビデオデータの出力
端子、４はデコーダＬＳＩに接続された１６Ｍｂｉｔの
容量を持つＳＤＲＡＭ（同期型ダイナミックメモリ）、
３１は通常の表示と復号継続表示フリーズの切り換えを
指示する復号表示モード信号の入力端子である。また、
デコーダＬＳＩ２において、５はストリーム入力回路、
６はＶＬＣ（可変長符号）復号回路、７は逆量子化／逆
ＤＣＴ回路、８は動き補償回路、９はビデオ出力回路、
１０はＳＤＲＡＭインタフェース回路である。

【００１８】次に、図２に、ＳＤＲＡＭ４のメモリマッ
プを示す。

【００１９】ＳＤＲＡＭ４上には、復号用フレームメモ
リ２面と表示用フレームメモリ１面、合わせて３面構成
のフレームメモリのメモリ領域が確保されている。ま
た、残りのメモリ領域はストリームデータを一時格納す
るバッファメモリとして用いられる。１面のフレームメ
モリのメモリ領域は、ビデオデータの輝度データ（Ｙデ
ータ）を格納するメモリ領域とビデオデータの色差デー
タ（Ｃｂ／Ｃｒデータ）を格納するメモリ領域とから成
る。各フレームメモリに格納されるビデオデータは４：
２：０形式であり、Ｙデータのメモリ領域とＣｂ／Ｃｒ
データのメモリ領域とは図２に示すように分かれてい
る。また、Ｙデータのメモリ領域とＣｂ／Ｃｒデータの
メモリ領域との比率は２：１となっている。

【００２０】さて、１面のフレームメモリのメモリ領域
の容量は約４．７５Ｍｂｉｔであり、欧州で主に用いら
れているＴＶ信号形式であるＰＡＬ（６２５／５０）形
式における１フレームの画素数、すなわち水平７２０画
素×垂直５７６ライン分のビデオデータ（各８ビット）
を格納するために必要な容量であり、米国や日本で主に
用いられているＴＶ信号形式であるＮＴＳＣ（５２５／
６０）形式における１フレームの画素数、すなわち水平
７２０画素×垂直４８０ライン分のビデオデータを格納
するのにも十分な容量となっている。なお、バッファメ
モリの容量としては、ＭＰＥＧ２方式でデータ圧縮され
たストリームデータを復号するに十分な約１．７５Ｍｂ
ｉｔ以上が確保されている。

【００２１】次に、図３に、デコーダＬＳＩ２がＳＤＲ
ＡＭ４に対して行なうデータアクセスの種類を示す。

【００２２】デコーダＬＳＩ２におけるストリーム入力
回路５、動き補償回路８およびビデオ出力回路９は、そ
れぞれ復号処理に必要なデータアクセスを行なう。すな
わち、動き補償回路８は、（ａ）参照リードと（ｂ）復
号ライトの２種類のデータアクセスをＳＤＲＡＭ４に対
して行なう。また、ビデオ出力回路９は、（ｃ）表示リ
ード、（ｄ）転送リードおよび（ｅ）転送ライトの３種
類のデータアクセスをＳＤＲＡＭ４に対して行なう。ま
た、ストリーム入力回路５は、（ｆ）符号ライトと
（ｇ）符号リードの２種類のデータアクセスをＳＤＲＡ
Ｍ４に対して行なう。なお、いずれのデータアクセス
も、ＳＤＲＡＭインタフェース回路１０を介して行なわ
れる。

【００２３】以下、このような動画像復号装置における
動画像復号動作について説明する。

【００２４】図１において、ＭＰＥＧ２方式でデータ圧
縮されたストリームデータは、入力端子１からストリー
ム入力回路５に入力される。一定レートに符号化された
ストリームの場合には、そのビットレートに応じた略一
定の転送レートでストリームデータは入力される。スト
リーム入力回路５は、ストリームデータをＳＤＲＡＭ４
の中のバッファメモリに符号ライト（ｆ）により一旦書
き込み、後の時点でＶＬＣ復号回路６からの要求に従っ
て符号リード（ｇ）によりバッファメモリからストリー
ムデータを読み出す。読み出されたストリームデータは
ＶＬＣ復号回路６に出力される。

【００２５】ＶＬＣ復号回路６は、可変長符号化されて
いるストリームデータの各可変長符号の復号を行なって
量子化ＤＣＴ係数を再生し、８×８画素の二次元のブロ
ック単位で逆量子化／逆ＤＣＴ回路７に出力する。この
とき、１ブロック分の６４個の量子化ＤＣＴ係数は所定
の順序で逆量子化／逆ＤＣＴ回路７に渡される。また、
ストリームデータの中にヘッダ情報として付加されてい
る量子化パラメータなどの情報を復号し、逆量子化／逆
ＤＣＴ回路７に付加情報として供給する。同様に、スト
リームデータの中に含まれる動きベクトルなどの情報も
復号し、動き補償回路８に付加情報として供給する。そ
の他の付加情報もＶＬＣ復号回路６で復号され、それら
を必要とする処理回路に渡される。

【００２６】逆量子化／逆ＤＣＴ回路７は、８×８画素
のブロック単位で、量子化パラメータなどの付加情報に
応じて、量子化ＤＣＴ係数の逆量子化を行ない、その次
に逆ＤＣＴを行なって、再生されたブロックの予測誤差
データを動き補償回路８に出力する。

【００２７】動き補償回路８は、動きベクトルなどの付
加情報に応じてブロックの動き補償予測データを生成す
る。まず、すでに復号してＳＤＲＡＭ４の中の復号用フ
レームメモリに格納済みのＩまたはＰピクチャの再生画
像データを参照リード（ａ）により読み出す。次に、１
６×１６画素のマクロブロック単位で、動きベクトルの
値に応じて半画素単位で画素位置がずらされるように、
参照画像の再生画像データから動き補償予測データを生
成する。生成された動き補償予測データは、逆量子化／
逆ＤＣＴ回路７から渡されたブロックの予測誤差データ
に加算され、再生されたブロックの再生画像データがＳ
ＤＲＡＭ４の中のフレームメモリに復号ライト（ｂ）に
より書き込まれる。この復号ライト（ｂ）では、後の復
号処理で参照画像として用いられるＩまたはＰピクチャ
の再生画像データは復号用フレームメモリに、後の復号
処理で用いられないＢピクチャは表示用フレームメモリ
に書き込まれる。このとき、復号ライト（ｂ）によるＩ
またはＰピクチャの復号用フレームメモリへの書き込み
の度に、書き込みを行なう復号用フレームメモリは交互
に切り替える。

【００２８】ビデオ出力回路９は、以上の各処理回路に
より復号された再生画像データを出力端子３からビデオ
データとして出力する。Ｂピクチャの再生画像データ
は、ＳＤＲＡＭ４の中の表示用フレームメモリに格納さ
れているので、表示が必要となるタイミングで表示用フ
レームメモリから表示リード（ｃ）により読み出す。ま
た、ＩまたはＰピクチャの再生画像データは、ＳＤＲＡ
Ｍ４の中の復号用フレームメモリに格納されているの
で、復号用フレームメモリから転送リード（ｄ）により
一旦読み出した後に、表示用フレームメモリに転送ライ
ト（ｅ）により書き込み、表示が必要となるタイミング
で表示用フレームメモリから表示リード（ｃ）により読
み出す。

【００２９】ここで、２面の復号用フレームメモリのど
ちらから転送リード（ｃ）を行なうかは、動き補償回路
８からビデオ出力回路９にフレームメモリ面情報を渡
し、ビデオ出力回路９において２面の復号用フレームメ
モリのどちらから転送リード（ｃ）を行なうかを決定す
るようにする。このフレームメモリ面情報は、動き補償
回路８が復号ライト（ｂ）を行なっている復号用フレー
ムメモリがどちらの面であるかを示す情報である。ＳＤ
ＲＡＭ４の中の表示用フレームメモリから読み出された
再生画像データは、色差データの垂直ライン補間処理に
より４：２：０形式から４：２：２形式に変換され、出
力端子３からビデオデータとして出力される。

【００３０】図４に、典型的なストリームデータに対し
て、以上のようなストリームデータを復号処理する際に
行なわれるＳＤＲＡＭ４に対する各種データアクセスの
タイミングを示す。ここで、このストリームデータは、
符号化順序で、Ｉピクチャ（Ｉ０）、Ｐピクチャ（Ｐ
３）、Ｂピクチャ（Ｂ１）、Ｂピクチャ（Ｂ２）、Ｐピ
クチャ（Ｐ６）、Ｂピクチャ（Ｂ４）、……の通りに構
成されている。また、全てのピクチャはフレーム構造で
符号化されている。ここで、Ｉ、ＰまたはＢの後に付加
されている数字は表示順序を示している。すなわち、復
号された後に表示出力される表示順序は、Ｉ０、Ｂ１、
Ｂ２、Ｐ３、Ｂ４、Ｂ５、Ｐ６、……の通りとなる。

【００３１】図４に上から順番に示した、復号用フレー
ムメモリ（第１面）、復号用フレームメモリ（第２
面）、表示用フレームメモリを斜めに横切っている太実
線、細実線および太網掛け線は、各フレームメモリに対
する書き込みまたは読み出しにおけるアドレスの進み具
合を示したものである。

【００３２】さて、図示するように、まず、ストリーム
データの復号処理が開始されると、略１フレーム期間に
わたり先頭のＩピクチャ（Ｉ０）の復号処理が進めら
れ、図示した太網掛け線の通りに、Ｉ０の再生画像デー
タが復号用フレームメモリ（第１面）に復号ライト
（ｂ）により書き込まれる。引き続いて、略１フレーム
期間にわたり次のＰピクチャ（Ｐ３）の復号処理が進め
られ、図示した太網掛け線の通りに、Ｐ３の再生画像デ
ータが復号用フレームメモリ（第２面）に復号ライト
（ｂ）により書き込まれる。なお、図示は省略したが、
Ｐ３の復号処理の際には、参照画像となるＩ０の再生画
像データが復号用フレームメモリ（第１面）から参照リ
ード（ａ）により読み出される。

【００３３】また、このＰ３の復号処理を行なっている
略１フレーム期間では、図示した太実線の通りに、復号
用フレームメモリ（第１面）からＩ０の再生画像データ
が転送リード（ｄ）により読み出され、その読み出され
た再生画像データは表示用フレームメモリに転送ライト
（ｅ）により書き込まれる。さらに引き続いて、次とそ
の次のＢピクチャ（Ｂ１とＢ２）の復号処理が進めら
れ、図示した太網掛け線の通りに、Ｂ１とＢ２の再生画
像データが表示用フレームメモリに復号ライト（ｂ）に
より順次書き込まれる。また、図示は省略したが、Ｂ１
とＢ２の復号処理の際には、参照画像となるＩ０とＰ３
の再生画像データが２面の復号用フレームメモリからそ
れぞれ参照リード（ａ）により読み出される。以降のＰ
６やＢ４などの復号処理も同様に進められる。

【００３４】一方、再生画像データの表示出力は、Ｐ３
の復号処理を行なっている途中のほぼ中間時点、すなわ
ちストリームデータの復号開始から略１．５フレーム期
間経過した時点から開始される。このために、図示した
細実線の通りに、表示すべき再生画像データが表示用フ
レームメモリから表示リード（ｃ）によりフィールド単
位で読み出される。

【００３５】ここで、２面の復号用フレームメモリに一
旦記憶保持されたＩ０やＰ３といった参照画像の再生画
像データは、一方の復号用フレームメモリに後の再生画
像データを復号ライト（ｂ）で書き込んでいる略１フレ
ーム期間で、もう一方の復号用フレームメモリから表示
用フレームメモリに転送される。また、Ｂ１やＢ２とい
った参照画像でない画像の再生画像データは表示用フレ
ームメモリの中に直接書き込まれるため、表示用フレー
ムメモリの中には、符号化順序から表示順序に並べ換え
られた状態で各フレームの再生画像データが順次格納さ
れることになる。

【００３６】なお、復号ライト（ｂ）と転送ライト
（ｅ）は２フィールドが一体となったフレーム単位で行
なわれるが、表示リード（ｃ）はフィールドごとに個別
に行なわれる。そのため、各ピクチャの復号処理を行な
っている略１フレーム期間の切り換わり時点には、表示
が行なわれていない垂直帰線期間を含む所定期間の復号
停止期間を設けている（図４においてＡで示した部分を
参照）。これにより、表示用フレームメモリに対する復
号ライト（ｂ）または転送ライト（ｅ）による再生画像
データの書き込みと、表示リード（ｃ）による再生画像
データの読み出しのタイミングが、表示リード（ｃ）に
よってまだ読み出されていないデータが次の復号ライト
（ｂ）または転送ライト（ｅ）によって書き換えられな
いようなタイミングに調整され、連続的に再生画像デー
タを正常表示することができる。なお、Ｂピクチャの場
合、その復号処理が開始されてから再生画像データの表
示出力が開始されるまでの遅延時間は、略１フィールド
期間となる。

【００３７】次に、図５に、図４に示した典型的なスト
リームデータの続きのストリームデータを復号処理する
際に行なわれるＳＤＲＡＭ４に対する各種データアクセ
スのタイミングを示す。

【００３８】この場合、ストリームデータは、符号化順
序でＩ０からＢ４まで続いた後、Ｂ５、Ｐ９、Ｂ７、Ｂ
８、Ｐ１２、Ｂ１０、……と入力される。また、復号表
示モード信号が通常の表示を指示している場合は、その
表示順序は、Ｉ０からＢ４まで続いた後、Ｂ５、Ｐ６、
Ｂ７、Ｂ８、Ｐ９、Ｂ１０、Ｂ１１、Ｐ１２、……の通
りとなる。

【００３９】以下、この図５を用いて復号継続表示フリ
ーズを行なう場合の動作を説明する。

【００４０】さて、ここでは、復号表示モード信号が、
復号を継続しながらも図５中Ｐ６の表示画面を４フレー
ム期間だけフリーズさせ、その後のＢ１０の表示画面か
ら通常の表示に戻すことを指示するタイミングで入力し
た場合を例にとり説明する。

【００４１】この場合、Ｐ９の復号処理が終了する前、
すなわちＰ６の最初のフィールドの表示が終わる前に、
入力端子３１から復号継続表示フリーズを開始する指示
が与えられると、動き補償回路８は表示用フレームメモ
リに対するＢピクチャの再生画像データの復号ライト
（ｂ）を停止する。Ｂ７とＢ８を復号する際に通常行わ
れる復号ライト（ｂ）が停止されるため、表示用フレー
ムメモリの中には、復号用フレームメモリから転送リー
ド（ｄ）と転送ライト（ｅ）により転送されたＰ６の再
生画像データが書き換えられずに残ることになる。

【００４２】また、動き補償回路８による復号用フレー
ムメモリに対するＩまたはＰピクチャの再生画像データ
の復号ライト（ｂ）は継続されるが、ビデオ出力回路９
は、復号用フレームメモリから表示用フレームメモリへ
のＩまたはＰピクチャの再生画像データの転送、すなわ
ち復号用フレームメモリからの転送リード（ｄ）と表示
用フレームメモリへの転送ライト（ｅ）を停止する。こ
れにより、Ｐ１２を復号する際に通常行なわれるＰ９の
再生画像データの転送が停止されるため、表示用フレー
ムメモリの中には、引き続きＰ６の再生画像データが書
き換えられずに残ることになる。

【００４３】結果、Ｂ７、Ｂ８、Ｐ１２の復号処理が行
なわれる期間から略１フィールド期間遅延したタイミン
グで、通常の表示ではＢ７、Ｂ８、Ｐ９が表示されるの
に対して、この復号継続表示フリーズではＰ６、Ｐ６、
Ｐ６と表示されることになる。

【００４４】そして、Ｐ１２の復号処理が終了する前、
すなわちフリーズされたＰ６の最後のフィールドの表示
が始まる前に、入力端子３１から復号継続表示フリーズ
を解除する指示が与えられた場合、動き補償回路８はＢ
ピクチャの再生画像データの復号ライト（ｂ）を再開す
る。また、ＩまたはＰピクチャの再生画像データの転送
リード（ｄ）と転送ライト（ｅ）も再開する。そのた
め、以降は通常の表示に戻り、Ｂ１０、Ｂ１１、Ｐ１
２、……の通り表示が行われる。

【００４５】以上、本発明の第１実施形態について説明
した。

【００４６】以下、本発明の第２実施形態について説明
する。

【００４７】本第２実施形態は、前記第１実施形態にお
けるデコーダＬＳＩ２におけるビデオ出力回路９の動作
の一部、すなわちＩまたはＰピクチャの再生画像データ
の転送方法を以下のように修正したものである。

【００４８】図６に、ビデオ出力回路９による再生画像
データの復号用フレームメモリからの転送リード（ｄ）
と、表示用フレームメモリへの転送ライト（ｅ）のタイ
ミングを示す。図６は、先に図４に示したものと同じ典
型的なストリームデータを復号処理する場合について示
したものであるが、復号用フレームメモリ（第２面）の
図示は省略している。

【００４９】さて、このようなストリームデータの復号
処理が開始された後、略１フレーム期間にわたり先頭の
Ｉ０の復号処理が進められ、続いて略１フレーム期間に
わたり次のＰ３の復号処理が進められる。

【００５０】そして、復号ライト（ｂ）により、Ｉ０の
再生画像データは復号用フレームメモリ（第１面）に書
き込まれ、同様にしてＰ３の再生画像データは復号用フ
レームメモリ（第２面）に書き込まれる。さらに、次の
Ｂ１およびその次のＢ２の復号処理がそれぞれ略１フレ
ーム期間にわたり行なわれ、復号ライト（ｂ）により、
それぞれの再生画像データは表示用フレームメモリに書
き込まれる。また、表示リード（ｃ）により、表示用フ
レームメモリから表示すべき再生画像データがフィール
ド単位で読み出され、Ｐ３の復号処理を行なっている途
中のほぼ中間時点から、再生画像データの表示出力が開
始される。

【００５１】ここで、本第２実施形態では、復号用フレ
ームメモリからの転送リード（ｄ）と表示用フレームメ
モリへの転送ライト（ｅ）の方法が、図４に示した第１
実施形態の場合とは異なる。

【００５２】すなわち、図６に示したＰ３を復号処理し
ている略１フレーム期間で行なう復号用フレームメモリ
（第１面）から表示用フレームメモリへの転送タイミン
グのように、先の第１実施形態では、復号用フレームメ
モリ（第１面）から表示用フレームメモリへの転送を行
なう転送リード（ｄ）および転送ライト（ｅ）を、復号
ライト（ｂ）と同様にしてフレーム単位で行なっていた
ところを、本第２実施形態では、復号用フレームメモリ
（第１面）から表示用フレームメモリへの転送を表示リ
ード（ｃ）が休止されている垂直帰線期間の間にフィー
ルド単位で行なう。

【００５３】このような転送によっても、表示順序で各
フレームの再生画像データが表示用フレームメモリの中
に順次格納されることに変わりはなく、復号ライト
（ｂ）または転送ライト（ｅ）による再生画像データの
書き込みと、表示リード（ｃ）による再生画像データの
読み出しのタイミングが、表示リード（ｃ）によってま
だ読み出されていないデータが次の復号ライト（ｂ）ま
たは転送ライト（ｅ）によって書き換えられないような
タイミングに調整され、連続的に再生画像データを正常
表示することができる。

【００５４】なお、本第２実施形態では、転送リード
（ｄ）および転送ライト（ｅ）のタイミングと表示リー
ド（ｃ）のタイミングが重ならないようにしているた
め、第１実施形態の場合よりも、ＳＤＲＡＭ４に対する
各種のデータアクセスのために必要となるバンド幅合計
のピーク値を小さく抑えることができる。

【００５５】なお、本第２実施形態における復号継続表
示フリーズの動作は、第１実施形態の場合と同様であ
る。

【００５６】以上、本発明の第２実施形態について説明
した。

【００５７】以下、本発明の第３実施形態について説明
する。

【００５８】本第３実施形態は、復号処理に加えてモー
ド切り換えにより符号化処理も行なえる動画像符号化装
置において、復号継続表示フリーズおよびレターボック
ス表示を実現するものである。

【００５９】図７に、本第３実施形態に係る動画像符号
化装置の構成を示す。

【００６０】図７において、１１は符号化するビデオデ
ータの入力端子、１２は符号化処理および復号処理を行
なうコーデックＬＳＩ、１３は符号化したストリームデ
ータの出力端子、１４は復号するストリームデータの入
力端子、１５は復号したビデオデータの出力端子、１６
は符号化処理と復号処理の切り換えを指示する動作モー
ド信号の入力端子、１７はコーデックＬＳＩに接続され
た３２Ｍｂｉｔの容量を持つＳＤＲＡＭ（１６Ｍｂｉｔ
の容量を持つＳＤＲＡＭ２個の構成）、３２は通常の表
示とレターボックス表示の切り換えを指示する復号表示
モード信号の入力端子、３３は通常の表示と復号継続表
示フリーズの切り換えを指示する復号表示モード信号の
入力端子である。また、コーデックＬＳＩ１２におい
て、１８はビデオ入出力回路、１９は動きベクトル検出
／動き補償回路、２０はＤＣＴ／量子化回路、２１は可
変長符号化回路、２２はストリーム入出力回路、２３は
ＶＬＣ復号回路、２４は逆ＤＣＴ／逆量子化回路、２５
はＳＤＲＡＭインタフェース回路、２６は符号化制御回
路である。

【００６１】次に、図８に、ＳＤＲＡＭ１７のメモリマ
ップを示す。

【００６２】図には、符号化処理を行なうエンコード動
作時の場合と、復号処理を行なうデコード動作時の場合
の両方を示した。

【００６３】図示するように、符号化を行なうエンコー
ド動作モード時には、ＳＤＲＡＭ１７には、入力用フレ
ームメモリ３面と復号用フレームメモリ２面、合わせて
５面のフレームメモリのメモリ領域が確保される。ま
た、ストリームデータを一時格納するバッファメモリ
と、動きベクトル検出／動き補償回路１９が符号化処理
の際に使用するワークエリアのメモリ領域も確保され
る。

【００６４】一方、復号を行なうデコード動作モード時
には、ＳＤＲＡＭ１７には、復号用フレームメモリ２面
と表示用フレームメモリ２面、合わせて４面のフレーム
メモリのメモリ領域が確保される。また、ストリームデ
ータを一時格納するバッファメモリのメモリ領域も確保
される。

【００６５】このように、両方の動作モードで、復号用
フレームメモリ２面とバッファメモリは共通となってい
る。また、エンコード動作モード時に入力用フレームメ
モリ３面として使用するメモリ領域の一部を、デコード
動作モード時には表示用フレームメモリ２面として使用
している。

【００６６】さて、先に示した第１実施形態の場合と同
じく、４：２：０形式のビデオデータを格納する各フレ
ームメモリは、ビデオデータのＹデータを格納するメモ
リ領域とＣｂ／Ｃｒデータを格納するメモリ領域とから
成る。ＮＴＳＣ形式およびＰＡＬ形式の両方に対応でき
るよう、各フレームメモリのメモリ領域の容量は約４．
７５Ｍｂｉｔとしている。ただし、各フレームメモリの
メモリマップは、図２に示した第１実施形態の場合とは
異なる。また、約４Ｍｂｉｔ以上の容量が確保されてい
るバッファメモリのメモリマップも第１実施形態の場合
とは異なる。

【００６７】以下、本動画像符号化装置の動作について
説明する。

【００６８】まず、符号化処理を行なうエンコード動作
モードにおけるエンコード動作について説明する。

【００６９】図９は、エンコード動作時にコーデックＬ
ＳＩ１２がＳＤＲＡＭ１７に対して行なうデータアクセ
スの種類を示したものである。

【００７０】図示するように、コーデックＬＳＩ１２に
おけるビデオ入出力回路１８、動きベクトル検出／動き
補償回路１９およびストリーム入出力回路２２が、それ
ぞれ符号化処理に必要なデータアクセスをＳＤＲＡＭ１
７に対して行なう。

【００７１】動きベクトル検出／動き補償回路１９が行
なうデータアクセスは、（ｉ）入力リード、（ａ）参照
リードおよび（ｂ）復号ライトの３種類である。ビデオ
入出力回路１８が行なうデータアクセスは、（ｈ）入力
ライトの１種類である。また、ストリーム入出力回路２
２が行なうデータアクセスは、（ｆ）符号ライトと
（ｇ）符号リードの２種類である。なお、いずれのデー
タアクセスもＳＤＲＡＭインタフェース回路２５を介し
て行なわれる。

【００７２】さて、図７に示した動画像符号化装置にお
いて、エンコード動作時には、ＭＰＥＧ２方式でデータ
圧縮しようとするビデオデータが入力端子１１からビデ
オ入出力回路１８に入力され、色差データの垂直ライン
間引き処理により４：２：２形式から４：２：０形式に
変換され、その入力画像データがＳＤＲＡＭ１７の中の
入力用フレームメモリに入力ライト（ｈ）により書き込
まれる。ＩまたはＰピクチャの間に２フレームのＢピク
チャを設けるように符号化し、図４で説明した通りの典
型的なストリームデータを生成する。

【００７３】このように符号化処理を行なうためには、
入力画像データのフレーム順序を、入力順序（復号処理
した後の表示順序と一致）から符号化順序に並び換える
必要がある。そこで、入力用フレームメモリは３面構成
とし、ＩまたはＰピクチャの間にありＢピクチャとして
符号化する２フレームの入力画像データは、入力用フレ
ームメモリに略２．５フレーム期間にわたり保持し、Ｉ
またはＰピクチャとして符号化するそれ以外のフレーム
の入力画像データは、略０．５フレーム期間にわたり保
持するようにし、３面の入力用フレームメモリを適宜切
り換えながら使用することより、フレーム順序の並び換
えを実現する。

【００７４】すなわち、動きベクトル検出／動き補償回
路１９は、まず、ＳＤＲＡＭ１７の中の入力用フレーム
メモリから、符号化すべきフレームの入力画像データを
入力リード（ｉ）により読み出す。３面の入力用フレー
ムメモリのどれから入力リード（ｉ）を行なうかは、ビ
デオ入出力回路１８が、動きベクトル検出／動き補償回
路１９にフレームメモリ面情報を渡し、このフレームメ
モリ面情報に従って動きベクトル検出／動き補償回路１
９が決定する。なお、ビデオ入出力回路１８は、入力ラ
イト（ｈ）のためのフレームメモリ面情報も合わせて管
理している。

【００７５】次に、ＰピクチャまたはＢピクチャとして
符号化するフレームの場合には、すでに符号化および局
部復号してＳＤＲＡＭ１７の中の復号用フレームメモリ
に格納済みの、ＩまたはＰピクチャの再生画像データを
参照リード（ａ）により読み出す。この参照リード
（ａ）により読み出して内部保持した、所定の動きベク
トル検出範囲をカバーするすべての再生画像データと、
入力リード（ｉ）で読み出した符号化するマクロブロッ
クの入力画像データとの間で、ブロックマッチング処理
により、半画素単位での画素位置のずれ量として最適と
判断される動きベクトルを検出する。

【００７６】この動きベクトル検出が行なわれた後に、
検出された動きベクトルの値に応じて半画素単位で画素
位置がずらされるように、参照画像の再生画像データか
ら動き補償予測データがマクロブロック単位で生成され
る。その動き補償予測データは入力画像データから減算
され、生成された予測誤差データがブロック単位でＤＣ
Ｔ／量子化回路２０に渡される。また、同じ動き補償予
測データが、逆ＤＣＴ／逆量子化回路２４から渡される
局部復号された後の予測誤差データに加算され、再生さ
れたブロックの再生画像データがＳＤＲＡＭ１７の中の
復号用フレームメモリに復号ライト（ｂ）により書き込
まれる。このとき、２面の復号用フレームメモリは交互
に使用される。

【００７７】なお、Ｉピクチャとして符号化するフレー
ムの場合には、動きベクトルと動き補償予測データはい
ずれも値が０であるものとして処理される。また、Ｂピ
クチャとして符号化するフレームの場合には、局部復号
処理は行なわれず、またその結果再生される再生画像デ
ータの復号ライト（ｂ）も行なわれない。

【００７８】ＤＣＴ／量子化回路２０は、ブロック単位
でＤＣＴおよび量子化を行なって量子化ＤＣＴ係数を生
成し、可変長符号化回路２１に供給する。このとき必要
な量子化パラメータなどは符号化制御回路２６から与え
られる。可変長符号化回路２１は、その量子化ＤＣＴ係
数を可変長符号化するとともに、符号化制御回路２６か
ら与えられる動きベクトルや量子化パラメータなどの付
加情報をヘッダ情報として符号化してストリームデータ
を形成し、ストリーム入出力回路２２に出力する。ま
た、局部復号処理のため、量子化ＤＣＴ係数はＶＬＣ復
号回路２３を経由して逆量子化／逆ＤＣＴ回路２４に渡
される。逆量子化／逆ＤＣＴ回路２４は、ブロック単位
で逆量子化および逆ＤＣＴを行ない、局部復号された後
の予測誤差データを動きベクトル検出／動き補償回路１
９に出力する。

【００７９】ストリーム入出力回路２２は、可変長符号
化回路２１から渡されたストリームデータをＳＤＲＡＭ
１７の中のバッファメモリに符号ライト（ｆ）により一
旦書き込み、その後の時点で符号リード（ｇ）により読
み出して略一定の転送レートで出力端子１３から外部に
出力する。符号化制御回路２６は、可変長符号化回路２
１で生成されたストリームデータの符号量をマクロブロ
ックごとに集計しながら、一定レート符号化のためのレ
ート制御を行ない量子化パラメータを生成する。また、
この量子化パラメータだけでなく、他の動きベクトルな
どの付加情報も可変長符号化回路２１に供給する。

【００８０】次に、復号処理を行なうデコード動作モー
ドにおいて行なうデコード動作について説明する。

【００８１】図１０は、デコード動作時にコーデックＬ
ＳＩ１２がＳＤＲＡＭ１７に対して行なうデータアクセ
スの種類を示したものである。

【００８２】図示するように、コーデックＬＳＩ１２に
おけるストリーム入出力回路２２、動きベクトル検出／
動き補償回路１９およびビデオ入出力回路１８がそれぞ
れ復号処理に必要なデータアクセスをＳＤＲＡＭ１７に
対して行なう。

【００８３】動きベクトル検出／動き補償回路１９が行
なうデータアクセスは、（ａ）参照リードと（ｂ）復号
ライトの２種類である。ビデオ入出力回路１８が行なう
データアクセスは、（ｃ）表示リード、（ｄ）転送リー
ドおよび（ｅ）転送ライトの３種類である。また、スト
リーム入出力回路２２が行なうデータアクセスは、
（ｆ）符号ライトと（ｇ）符号リードの２種類である。
いずれのデータアクセスもＳＤＲＡＭインタフェース回
路２５を介して行なわれる。

【００８４】なお、第１実施形態の動画像復号装置の場
合と異なり、本第３実施形態では表示用フレームメモリ
は２面構成となっている。

【００８５】さて、図７に示した動画像符号化装置にお
いて、デコード動作時には、ＭＰＥＧ２方式でデータ圧
縮されたストリームデータが入力端子１４からストリー
ム入出力回路２２に入力される。一定レート符号化され
たストリームデータが、そのビットレートに応じた略一
定の転送レートで入力される。ストリーム入出力回路２
２は、ストリームデータをＳＤＲＡＭ１７の中のバッフ
ァメモリに符号ライト（ｆ）により一旦書き込み、その
後の時点で、バッファメモリに書き込んだデータを符号
リード（ｇ）により読み出す。

【００８６】バッファメモリから読み出されたストリー
ムデータの各可変長符号をＶＬＣ復号回路２３は復号
し、再生された量子化ＤＣＴ係数に対して逆量子化／逆
ＤＣＴ回路２４が逆量子化と逆ＤＣＴを行なって予測誤
差データを再生し、動きベクトル検出／動き補償回路１
９に出力する。なお、ＶＬＣ復号回路２３は各種付加情
報の復号も行ない、必要とする処理回路に供給する。

【００８７】動きベクトル検出／動き補償回路１９は、
動きベクトルなどの付加情報に応じて動き補償予測デー
タを生成するために、すでに復号してＳＤＲＡＭ１７の
中の復号用フレームメモリに格納済みの参照画像である
ＩまたはＰピクチャの再生画像データを参照リード
（ａ）により読み出す。生成された動き補償予測データ
は、逆量子化／逆ＤＣＴ回路２４から渡された予測誤差
データに加算され、その結果再生された再生画像データ
がＳＤＲＡＭ１７の中のフレームメモリに復号ライト
（ｂ）により書き込まれる。

【００８８】このとき、ＩまたはＰピクチャの再生画像
データは復号用フレームメモリに、Ｂピクチャの再生画
像データは表示用フレームメモリに書き込まれる。前者
の復号ライト（ｂ）では２面の復号用フレームメモリが
交互に使用される。また、表示用フレームメモリも２面
構成であり、後者の復号ライト（ｂ）ではその開始時点
で後述の表示リード（ｃ）が行なわれていない方の面に
対して行なわれる。なお、デコード動作時には、動きベ
クトル検出の処理は行なわれない。

【００８９】ビデオ入出力回路１８は、以上の各処理回
路により復号された再生画像データを４：２：０形式か
ら４：２：２形式に変換した後、出力端子１５からビデ
オデータとして出力する。また、入力端子３２からレタ
ーボックス表示の指示が与えられている場合には、１
６：９アスペクト比のビデオデータに対する垂直ライン
数変換を同時に行なう。

【００９０】ここで、図１１に、通常の表示とレターボ
ックス表示との違いを示す。

【００９１】図示するように、４：３アスペクト比のビ
デオデータを４：３モニターＴＶに正常なアスペクト比
で表示するためには、ライン数変換なしでそのまま出力
すればよい。また、１６：９アスペクト比のビデオデー
タを１６：９モニターＴＶに表示する場合も同様であ
る。しかし、１６：９アスペクト比のビデオデータを
４：３モニターＴＶに表示する場合には、正常なアスペ
クト比を保つために、垂直ライン数を４８０ラインから
３６０ラインに変換してＴＶ画面のほぼ中央に表示する
レターボックス表示が必要となる。このとき、一般的に
は、画質劣化を抑えるために垂直方向の低域通過フィル
タが用いられる。

【００９２】さて、ＳＤＲＡＭ１７の中の表示用フレー
ムメモリに格納されているＢピクチャの再生画像データ
は、表示が必要となるタイミングでその表示用フレーム
メモリから表示リード（ｃ）により読み出される。ま
た、ＳＤＲＡＭ１７の中の復号用フレームメモリに格納
されているＩまたはＰピクチャの再生画像データは、復
号用フレームメモリから転送リード（ｄ）により一旦読
み出した後に表示用フレームメモリに転送ライト（ｅ）
により書き込まれ、表示が必要となるタイミングで表示
用フレームメモリから表示リード（ｃ）により読み出さ
れる。２面の復号用フレームメモリのどちらから転送リ
ード（ｄ）を行なうかは、動きベクトル検出／動き補償
回路１９から渡されるフレームメモリ面情報からビデオ
入出力回路１８で決定される。また、２面の表示用フレ
ームメモリのどちらに転送ライト（ｅ）を行なうかは、
その開始時点でビデオ入出力回路１８が表示リード
（ｃ）を行なっている表示用フレームメモリがどちらの
面であるかを示すフレームメモリ面情報から決定され
る。このフレームメモリ面情報は動きベクトル検出／動
き補償回路１９にも供給される。

【００９３】ここで、図１２に、以上のようにして、先
に示した典型的なストリームデータを復号処理する際に
行なわれるＳＤＲＡＭ１７に対する各種データアクセス
のタイミングを示す。

【００９４】ただし、ここでは、ストリームデータは１
６：９アスペクト比のビデオデータが符号化されたスト
リームデータであり、先頭のＩ０とＢ１は通常の表示と
し、それ以降のＢ２、Ｐ３、……でレターボックス表示
に切り換えるものとする。なお、先頭のＩ０とＢ１を通
常の表示としているのは説明の便宜上であり、実際のと
ころ、これらのフレームも４：３モニターＴＶに正常な
アスペクト比で表示するためには、レターボックス表示
とする必要がある。

【００９５】図１２に上から順番に示した、復号用フレ
ームメモリ（第１面）、復号用フレームメモリ（第２
面）、表示用フレームメモリ（第１面）および表示用フ
レームメモリ（第２面）を斜めに横切っている太実線、
細実線および太網掛け線は、各フレームメモリに対する
書き込みまたは読み出しにおけるアドレスの進み具合を
示したものである。

【００９６】まず、ストリームデータの復号処理が開始
された後、略１フレーム期間にわたり先頭のＩ０の復号
処理が進められ、その再生画像データが復号用フレーム
メモリ（第１面）に復号ライト（ｂ）により書き込まれ
る。引き続いて、略１フレーム期間にわたり次のＰ３の
復号処理が進められ、その再生画像データが復号用フレ
ームメモリ（第２面）に書き込まれる。また、このＰ３
の復号処理を行なっている略１フレーム期間では、転送
リード（ｄ）および転送ライト（ｅ）により、Ｉ０の再
生画像データが復号用フレームメモリ（第１面）から表
示用フレームメモリ（第１面）に転送される。さらに引
き続いて、次のＢ１とその次のＢ２の復号処理が進めら
れ、それぞれの再生画像データが表示用フレームメモリ
（第２面）と表示用フレームメモリ（第１面）に順次書
き込まれる。以降のＰ６やＢ４などの復号処理も同様に
進められる。なお、図示は省略しているが、Ｐ３、Ｂ
１、Ｂ２などＩピクチャ以外を復号処理する際には、参
照画像の再生画像データが２面の復号用フレームメモリ
から参照リード（ａ）により読み出される。

【００９７】再生画像データの表示出力は、Ｐ３の復号
処理を行なっている略１フレーム期間の後半途中から開
始される。表示すべき再生画像データが、２面の表示用
フレームメモリのどちらか適切な方から表示リード
（ｃ）によりフィールド単位で読み出される。まず、Ｉ
０は表示用フレームメモリ（第１面）から、Ｂ１は表示
用フレームメモリ（第２面）から、Ｂ２は表示用フレー
ムメモリ（第１面）から、……という具合に表示リード
（ｃ）を行なう面はフレームごとに交互に切り換えられ
る。

【００９８】また、各フィールドの２４０ライン分の再
生画像データは、Ｉ０とＢ１に示した通常の表示の場合
には、それを表示する２４０ライン期間に表示リード
（ｃ）で読み出されるのに対し、Ｂ２とＰ３に示したレ
ターボックス表示の場合には、垂直ライン数変換後に表
示する１８０ライン期間で読み出される。そのため、表
示リード（ｃ）の様子を示す、図１２に図示した２面の
表示用フレームメモリを斜めに横切っている細実線の傾
きは、通常の表示の場合よりもレターボックス表示の場
合の方が大きくなっている。

【００９９】２面の表示用フレームメモリに対して、復
号ライト（ｂ）と転送ライト（ｅ）は２フィールドが一
体となったフレーム単位で行なわれるが、表示リード
（ｃ）はフィールドごとに個別に行なわれる。再生画像
データの復号ライト（ｂ）と転送ライト（ｅ）による書
き込みが済んだ後のタイミングで表示リード（ｃ）によ
る読み出しが行なわれることを保証するために、各ピク
チャの復号処理が開始されてから、すなわち表示用フレ
ームメモリに対する再生画像データの書き込みが開始さ
れてから、その再生画像データの読み出しが開始される
までの遅延時間を、略１フィールド期間よりも若干長め
としている。なお、表示用フレームメモリを斜めに横切
っている細実線の傾きが大きいレターボックス表示の場
合に合わせてこの遅延時間は決められている（図１２に
おいてＢで示した部分を参照）。

【０１００】さて、ビデオ入出力回路１８は、通常の表
示を行なうフレームのフィールドについては、そのまま
垂直ライン数変換なしで再生画像データをビデオデータ
として出力端子１５から出力し、レターボックス表示を
行なうフレームのフィールドについては、再生画像デー
タを、低域通過フィルタを用いて、垂直ライン数を２４
０から１８０にラインに変換して、ＴＶ画面のほぼ中央
に対応する１８０ライン期間に出力する。

【０１０１】次に、図１３に、図１２に示した典型的な
ストリームデータの続きのストリームデータを復号処理
する際に行なわれるＳＤＲＡＭ４に対する各種データア
クセスのタイミングを示す。

【０１０２】以下、この図１３を用いて入力端子３３か
ら、復号継続表示フリーズを指示する復号表示モード信
号が入力した場合の動作を示す。

【０１０３】この図１３では、復号を継続しながらもＰ
６の表示画面を４フレーム期間だけフリーズさせ、Ｂ１
０から本来の表示画面に復帰させる復号継続表示フリー
ズと、フリーズ期間の途中まではレターボックス表示と
し、それ以降で通常の表示に切り換えるレターボックス
表示とを組み合わせた場合を示している。

【０１０４】なお、フリーズされたＰ６の途中以降を通
常の表示としているのは説明の便宜上である。なお、図
１３で、各フレームメモリの図示のそれぞれを斜めに横
切っている太実線、細実線および太網掛け線は、各フレ
ームメモリに対する書き込みまたは読み出しにおけるア
ドレスの進み具合を示したものである。

【０１０５】さて、Ｐ９の復号処理が終了してＢ７の復
号処理が開始される前に、入力端子３３から復号継続表
示フリーズを開始する指示が与えられた場合、動きベク
トル検出／動き補償回路１９は表示用フレームメモリに
対するＢピクチャの再生画像データの復号ライト（ｂ）
を停止する。また、動きベクトル検出／動き補償回路１
９による復号用フレームメモリに対するＩまたはＰピク
チャの再生画像データの復号ライト（ｂ）は継続される
が、ビデオ入出力回路１８はこれらの再生画像データの
復号用フレームメモリに対する転送リード（ｄ）と表示
用フレームメモリに対する転送ライト（ｅ）を停止す
る。表示用フレームメモリ（第１面）の中には、復号用
フレームメモリ（第１面）から転送リード（ｄ）と転送
ライト（ｅ）で転送されたＰ６の再生画像データが保持
され続けることになる。

【０１０６】その後、Ｐ１２の復号処理が終了してＢ１
０の復号処理が開始される前に、入力端子３３から復号
継続表示フリーズを解除する指示が与えられた場合、動
きベクトル検出／動き補償回路１９はＢピクチャの再生
画像データの復号ライト（ｂ）を再開し、ビデオ入出力
回路１８はＩまたはＰピクチャの再生画像データの転送
リード（ｄ）と転送ライト（ｅ）を再開する。

【０１０７】ここで、ビデオ入出力回路１８は、通常の
表示の場合は、Ｂ５は表示用フレームメモリ（第２面）
から、Ｐ６は表示用フレームメモリ（第１面）から読み
出されるように、表示リード（ｃ）を行なう面はフレー
ムごとに交互に切り換えるが、Ｐ６をフリーズしている
復号継続表示フリーズの間は、２面の表示用フレームメ
モリのフレームごとの交互切り換えを中断する。また、
各フィールドの２４０ライン分の再生画像データが、フ
リーズされたＰ６の最後のフレームとＢ１０に示した通
常の表示の場合には２４０ライン期間で読み出されるの
に対し、Ｂ５とＰ６に示したレターボックス表示の場合
には１８０ライン期間で読み出す。そして、ビデオ入出
力回路１８は、通常の表示を行なうフレームのフィール
ドについては、そのまま垂直ライン数変換なしで再生画
像データをビデオデータとして出力端子１５から出力
し、レターボックス表示を行なうフレームのフィールド
については、再生画像データを、低域通過フィルタを用
いて、垂直ライン数を２４０から１８０にラインに変換
して、ＴＶ画面のほぼ中央に対応する１８０ライン期間
に出力する。

【０１０８】なお、本第３実施形態によれば、表示用フ
レームメモリを２面構成としてフレームごとに交互に使
用するため、本発明の第１実施形態および第２実施形態
の場合に設けていた、各ピクチャの復号処理を行なって
いる略１フレーム期間の切り換わり時点での復号停止期
間は不要となる。そのため、本第３実施形態ではこのよ
うな復号停止期間は設けていない。第１実施形態および
第２実施形態の場合よりも、各フレームの復号処理を行
なう処理時間を１フレーム期間近くまで拡大できるた
め、動作周波数を下げて消費電力を低減することができ
る。また、デコード動作時に使用する２面構成の表示用
フレームメモリは、エンコード動作時に用いる入力用フ
レームメモリのメモリ領域の一部を割り当てるため、復
号のために外付けメモリであるＳＤＲＡＭのメモリ容量
を増やす必要はない。

【０１０９】以上、本発明の第３実施形態について説明
した。

【０１１０】以上、本発明の実施形態について説明し
た。

【０１１１】なお、いずれの実施形態においても、復号
継続表示フリーズを行なう際には、表示用フレームメモ
リに対するＢピクチャの再生画像データの復号ライトを
停止するようにしていたが、Ｂピクチャのストリームデ
ータを読み飛ばして、Ｂピクチャの復号処理を停止する
ようにしてもよい。また、第１実施形態および第２実施
形態の場合のように表示用フレームメモリが１面の動画
像復号装置であっても、復号停止期間を拡大して各ピク
チャの復号処理を行なう処理時間を短くできるのなら
ば、レターボックス表示を第３実施形態の場合と同様に
実現することができる。

【０１１２】また、以上の各実施形態では、ＩまたはＰ
ピクチャの再生画像データを復号用フレームメモリから
読み出す転送リードの処理、およびＢピクチャの再生画
像データを表示用フレームメモリに書き込む復号ライト
の処理は、それぞれビデオ出力回路（またはビデオ入出
力回路）と動き補償回路（または動きベクトル検出／動
き補償回路）が行なうようにしていたが、再生画像デー
タをお互いに受け渡してこれとは異なる処理回路で行な
うようにしてもよい。また、復号用フレームメモリから
表示用フレームメモリへのＩまたはＰピクチャの再生画
像データの転送方法（転送リードと転送ライトによる）
は、その再生画像データを表示出力するための読み出し
（表示リード）に支障が出ない限りにおいて、各実施形
態における転送方法と異なってもよい。

【０１１３】また、いずれの実施形態も、デコーダＬＳ
ＩまたはコーデックＬＳＩの外付けメモリであるＳＤＲ
ＡＭの中に、復号処理で必要となる復号用フレームメモ
リと表示用フレームメモリのメモリ領域を確保していた
が、デコーダＬＳＩまたはコーデックＬＳＩの中にすべ
てまたは一部を内蔵するようにしてもよい。また、復号
用フレームメモリのメモリ領域と表示用フレームメモリ
のメモリ領域とを別の外付けメモリの中に設ける形態と
しても構わない。また、各フレームメモリのメモリマッ
プは様々でありえる。

【０１１４】ＭＰＥＧ２方式ではなく、ある画像フレー
ムの復号に他の画像フレームを参照画像として用いる他
の動画像符号化方式でデータ圧縮されたストリームデー
タの復号を行なう動画像復号装置であっても、復号継続
表示フリーズやレターボックス表示といった復号表示方
法を実現するために、以上の各実施形態の、復号用フレ
ームメモリと表示用フレームメモリとを用いて、他の画
像フレームの参照画像とならない画像フレームについて
は直接復号した画像フレームを表示用フレームメモリに
格納すると共に表示用フレームメモリから読み出して当
該画像フレームの表示を行い、他の画像フレームの参照
画像となる画像フレームについては復号用フレームメモ
リに格納して他の画像フレームの復号に用いると共に、
復号用フレームメモリに格納した画像フレームの表示は
当該画像フレームを表示用フレームメモリに転送し、表
示用フレームメモリから読み出して行なうことにより、
表示、復号継続フリーズ表示、レターボックス表示を行
なう構成を適用することができる。復号機能を備えた動
画像符号化装置の場合も同様である。

【０１１５】

【発明の効果】以上のように、本発明によれば、たとえ
ば、ＭＰＥＧ２方式のような、ある画像フレームの復号
に他の画像フレームを参照画像として用いる符号化方式
で符号化された動画像の符号化データを復号して表示出
力する画像データ処理装置において、フレームメモリ数
を増加することなく、復号継続表示フリーズを実現する
ことができる。

【図面の簡単な説明】

【図１】本発明の第１実施形態に係る動画像復号装置の
構成を示すブロック図である。

【図２】本発明の第１実施形態に係るＳＤＲＡＭのメモ
リマップを示す図である。

【図３】本発明の第１実施形態に係る動画像復号装置に
おいてデコーダＬＳＩがＳＤＲＡＭに対して行なうデー
タアクセスの種類を示す図である。

【図４】本発明の第１実施形態に係る動画像復号装置に
おける通常表示時のＳＤＲＡＭに対する各種データアク
セスのタイミングを示す図である。

【図５】本発明の第１実施形態に係る動画像復号装置に
おける復号継続表示フリーズ時のＳＤＲＡＭに対する各
種データアクセスのタイミングを示す図である。

【図６】本発明の第２実施形態に係る動画像復号装置に
おける通常表示時のＳＤＲＡＭに対する各種データアク
セスのタイミングを示す図である。

【図７】本発明の第３実施形態に係る動画像符号化装置
の構成を示すブロック図である。

【図８】本発明の第３実施形態に係るＳＤＲＡＭのメモ
リマップを示す図である。

【図９】本発明の第３実施形態に係る動画像符号化装置
においてコーデックＬＳＩがエンコード動作時にＳＤＲ
ＡＭに対して行なうデータアクセスの種類を示す図であ
る。

【図１０】本発明の第３実施形態に係る動画像符号化装
置においてコーデックＬＳＩがデコード動作時にＳＤＲ
ＡＭに対して行なうデータアクセスの種類を示す図であ
る。

【図１１】通常の表示とレターボックス表示との違いを
示す図である。

【図１２】本発明の第３実施形態に係る動画像符号化装
置におけるレターボックス表示を行なうデコード動作時
のＳＤＲＡＭに対する各種データアクセスのタイミング
を示す図である。

【図１３】本発明の第３実施形態に係る動画像符号化装
置における復号継続表示フリーズを行なうデコード動作
時のＳＤＲＡＭに対する各種データアクセスのタイミン
グを示す図である。

【符号の説明】

１、１４…ストリームデータの入力端子 ２…デコーダＬＳＩ ３、１５…ビデオデータの出力端子 ４、１７…ＳＤＲＡＭ ５…ストリーム入力回路 ６、２３…ＶＬＣ復号回路 ７、２４…逆量子化／逆ＤＣＴ回路 ８…動き補償回路 ９…ビデオ出力回路 １０、２５…ＳＤＲＡＭインタフェース回路 １２…コーデックＬＳＩ １６…動作モード信号（エンコード動作とデコード動作
の切り換え）の入力端子 １８…ビデオ入出力回路 １９…動きベクトル検出／動き補償回路 ２２…ストリーム入出力回路 ３１、３３…復号表示モード信号（通常の表示と復号継
続表示フリーズの切り換え）の入力端子 ３２…復号表示モード信号（通常の表示とレターボック
ス表示の切り換え）の入力端子

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C059 KK08 MA00 MA23 ME01 NN01 PP01 PP05 PP06 PP07 UA05 UA35 UA36 UA38

Claims (11)

【特許請求の範囲】
1. 【請求項１】所定の符号化方式に従って符号化された動
   画像の符号化データを復号して表示出力する画像データ
   処理装置であって、 前記符号化データより、動画像を構成する各画像フレー
   ムを前記符号化方式に従って復号する復号手段と、 前記復号手段によって復号された画像フレームのうち、
   他の画像フレームを復号する際に前記復号手段によって
   参照される画像フレームを格納する復号用フレームメモ
   リと、 前記復号手段によって復号された画像フレームのうち、
   他の画像フレームを復号する際に前記復号手段によって
   参照されない画像フレームを格納する表示用フレームメ
   モリと、 前記表示用フレームメモリに格納された画像フレームを
   読み出して出力する出力手段と、 前記復号用フレームメモリに格納された画像フレーム
   を、前記表示用フレームメモリに格納された各画像フレ
   ームが前記符号化方式に従った表示順序で、順次、前記
   出力手段によって読み出されるよう、前記表示用フレー
   ムメモリに転送し格納する転送手段とを有することを特
   徴とする画像データ処理装置。
2. 【請求項２】請求項１記載の画像データ処理装置であっ
   て、 所定の事象の発生に従って、前記表示用フレームメモリ
   への画像フレームの格納を抑止する復号継続表示フリー
   ズ制御手段を有することを特徴とする画像データ処理装
   置。
3. 【請求項３】所定の符号化方式に従って符号化された動
   画像の符号化データを復号して表示出力する画像データ
   処理装置であって、 前記符号化データより、動画像を構成する各画像フレー
   ムを前記符号化方式に従って復号する復号手段と、 前記復号手段によって復号された画像フレームのうち、
   他の画像フレームを復号する際に前記復号手段によって
   参照される画像フレームを、交互に格納する２つの復号
   用フレームメモリと、 前記復号手段によって復号された画像フレームのうち、
   他の画像フレームを復号する際に前記復号手段によって
   参照されない画像フレームを格納する表示用フレームメ
   モリと、 画像フレームを表示すべき画像フレーム表示期間毎に、
   前記表示用フレームメモリから画像フレームを読み出し
   て出力する出力手段と、 前記２つの復号用フレームメモリに格納された画像フレ
   ームを、前記表示用フレームメモリに格納された各画像
   フレームが前記符号化方式に従った表示順序で、順次、
   前記出力手段によって読み出されるよう、前記表示用フ
   レームメモリに転送し格納する転送手段とを有すること
   を特徴とする画像データ処理装置。
4. 【請求項４】請求項３記載の画像データ処理装置であっ
   て、 所定の事象の発生に従って、前記表示用フレームメモリ
   への画像フレームの格納を抑止する復号継続表示フリー
   ズ制御手段を有することを特徴とする画像データ処理装
   置。
5. 【請求項５】請求項３または４記載の画像データ処理装
   置であって、 前記転送手段は、一方の復号用フレームメモリへの画像
   フレームの格納が行われている期間中に、他方の復号用
   フレームメモリに格納されている画像フレームを、前記
   表示用フレームメモリに転送し格納することを特徴とす
   る画像データ処理装置。
6. 【請求項６】請求項３、４または５記載の画像処理装置
   であって、 前記転送手段は、一方の復号用フレームメモリへの画像
   フレームの格納が行われている期間中であって、前記画
   像フレーム表示期間の間の期間である垂直帰線期間中
   に、他方の復号用フレームメモリに格納されている画像
   フレームを、前記表示用フレームメモリに転送し格納す
   ることを特徴とする画像データ処理装置。
7. 【請求項７】請求項３、４、５または６記載の画像デー
   タ処理装置であって、 前記画像フレームの格納が交互に行われる前記表示用フ
   レームメモリを２つ備え、 前記出力手段は、当該２つの表示用フレームメモリから
   交互に画像フレームを読み出し出力することを特徴とす
   る画像データ処理装置。
8. 【請求項８】請求項４記載の画像データ処理装置であっ
   て、 前記画像フレームの格納が交互に行われる前記表示用フ
   レームメモリを２つ備え、 前記出力手段は、当該２つの表示用フレームメモリから
   交互に画像フレームを読み出し出力し、 前記復号継続表示フリーズ動作制御手段は、復号継続表
   示フリーズ動作を指示された場合に、前記出力手段が一
   方の表示用フレームメモリからのみ画像フレームを読み
   出し出力するよう制御することを特徴とする画像データ
   処理装置。
9. 【請求項９】請求項３、４、５、６、７または８記載の
   画像データ処理装置であって、 前記出力手段は、読み出した画像フレームの垂直ライン
   数を変換し出力するレターボックス表示手段を有するこ
   とを特徴とする画像データ処理装置。
10. 【請求項１０】請求項１、２、３、４、５、６、７、８
    または９記載の画像データ処理装置であって、 前記符号化方式に従って、与えられた動画像を符号化し
    符号化データを生成する符号化手段を有することを特徴
    とする画像データ処理装置。
11. 【請求項１１】請求項３、４、５、６、７、８、９また
    は１０記載の画像データ処理装置であって、 前記所定の符号化方式は、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ
    １３８１８）方式であって、 前記他の画像フレームを復号する際に前記復号手段によ
    って参照される画像フレームは、ＩピクチャとＰピクチ
    ャであり、前記他の画像フレームを復号する際に前記復
    号手段によって参照されない画像フレームはＢピクチャ
    であることを特徴とする画像データ処理装置。