JP2003179826A - 画像再生表示装置 - Google Patents

Abstract

(57)【要約】 【課題】 デジタルテレビ等の高解像度の画像を再生お
よび表示可能な、低価格、小表示画面、少メモリの画像
再生表示端末装置を提供する。 【解決手段】 画像復号縮小率決定部１０７は、画像デ
ータバッファ１０５に記憶された画像データの一画面の
サイズと画像の符号化の種類とを取得し、画像再生表示
端末装置１００の属性情報を記憶した端末情報格納部１
１２から画像表示部１１のサイズと参照用メモリ兼画像
表示メモリ１０９のサイズを取得する。画像復号縮小率
決定部１０７は、画像表示部１１１に表示可能で、か
つ、符号化された画像データを参照用メモリ兼画像表示
メモリ１０９を利用して復号可能な縮小率を決定する。
画像復号部１０６は、この縮小率に従って画像を縮小し
て復号する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、情報端末装置に係
り、特にデジタルテレビやインターネット経由で取得し
た符号化された画像を復号し表示する画像再生表示端末
装置に関する。

【０００２】

【従来の技術】放送や通信におけるネットワークのブロ
ードバンド化に伴い、放送ではデジタルテレビ、通信で
は高速ネットワークを応用した動画ストリーミング等、
ブロードバンドネットワーク技術を利用した動画配信が
行われるようになっている。

【０００３】これらの動画配信では、動画データを伝送
するネットワークの帯域を節約するため、動画データの
圧縮伸張技術が用いられる。例えば、デジタルテレビに
おいては、動画データはISO/IECにより規格化されてい
るMPEG-2規格(規格書：ISO/IEC 13818)に基づいて圧縮
伸張がなされる。また、通信における動画ストリーミン
グでは、例えばMPEG-4規格(規格書：ISO/IEC 14496)に
基づいて圧縮伸張がなされる場合もある。伝送において
は、これらの規格によって符号化された画像データおよ
び音声データが多重化されて伝送される。例えば、デジ
タルテレビでは、これらのデータの多重化にISO/IECのM
PEG-2で規格化(規格書：ISO/IEC 13818)されているトラ
ンスポートストリームが用いられている。トランスポー
トストリームには、同規格書「ISO/IEC 13818」、およ
び米国ADVANCED TELEVISION SYSTEMSCOMMITTEE(ATSC)発
行の「ATSC DIGITAL TELEVISION STANDARD Doc. A/53」
や同ATSC発行の「GUIDE TO THE USE OF THE ATSC DIGIT
AL TELEVISION STANDARD Doc. A/54」、および「ポイン
ト図解式 最新MPEG教科書（藤原洋監修：マルチメディ
ア通信研究会編）」や「ポイント図解式 実践MPEG教科
書（藤原洋監修：マルチメディア通信研究会編）」に記
載の通り、複数の番組に対応して、複数の符号化された
画像データおよび音声データが多重されており、これら
はそれぞれプログラムID(PID)によって識別される。

【０００４】この場合、画像再生表示端末装置は、ま
ず、トランスポートストリームを取得して、ユーザから
指定されたPIDを基にトランスポートストリームから符
号化された画像データを分離および取得し、この符号化
された画像データを復号および表示する。

【０００５】復号に際しては、例えば、画像データがMP
EG-2で圧縮されている場合には、符号化された画像デー
タから１画面分の画像ごとに復号に必要な情報を取得し
た後、画像の周波数空間データが可変長復号化されたデ
ータを取得する。これを可変長復号化し、画像の周波数
空間データを算出した後、逆量子化および逆離散コサイ
ン変換を行う。画像が１画面分の画像内で符号化されて
いる場合には、該逆離散コサイン変換がなされたデータ
が復号後の画像データとなるので、これを参照用メモリ
および画像表示用メモリに格納する。一方、画像が他の
画面の画像（参照画像）を基にして符号化されている場
合には、該逆離散コサイン変換後のデータは参照画像と
の差分データとなっているので、参照用メモリから基に
なる画像データを参照し、この画像データと前記逆離散
コサイン変換したデータを加算することにより、復号後
の画像データを算出し、画像表示用メモリに格納する。
また、この復号後の画像データがさらに参照画像として
使用される場合には、復号後の画像データはさらに次の
参照用に参照用メモリに格納される。

【０００６】MPEG-2では、前述したように、１画面分の
画像データがその画像内で符号化されていて、復号後の
画像データが参照される場合（I-PictureあるいはI-Fra
meと呼ばれる）と、１画面分の画像データが他の１画面
の画像（参照画像）データを基にして符号化されてい
て、さらに復号後の画像データが参照される場合（P-Pi
ctureあるいはP-Frameと呼ばれる）と、１画面分の画像
データが他の２画面の画像（参照画像）を基にして符号
化されていて、復号後の画像データは参照されない場合
（B-PictureあるいはB-Frameと呼ばれる）がある。した
がって、復号後の画像がI-PictureあるいはP-Pictureの
場合には、復号後の画像データを参照用メモリに格納す
る必要があるが、B-Pictureの場合には復号後の画像デ
ータを参照用メモリに格納する必要はない。また、符号
化された一連の画像データ中にI,P,B-Pictureが含まれ
ている場合には、少なくとも２画面分の参照用メモリが
必要となるが、I,P-Pictureしか含まれていない場合に
は、１画面分の参照用メモリが必要となる。さらに、I-
Pictureしか含まれていない場合には参照用のメモリは
必要ではない。

【０００７】さて、符号化された画像データを復号する
際には、画像サイズが大きい場合には、大容量の画像表
示用メモリおよび参照用メモリが必要となり、処理量も
大きくなる。例えば、デジタルテレビにおける高精細度
画像を復号再生する場合には、画像表示用メモリおよび
参照用メモリに約13MB程度の容量が必要となることがあ
る。

【０００８】このような状況を鑑み、米国特許第5,262,
854号に記載の装置によれば、符号化された画像データ
において、周波数空間データをダウンサンプリングし，
ダウンサンプリングされた画像データについて復号処理
を行うことにより，画像表示用メモリおよび参照用メモ
リの削減が可能となる。また、特開2000-217111号公報
に記載の装置によれば、周波数空間データのうち、低周
波領域の一部を逆量子化することにより、画像サイズ変
換する際の処理量を削減可能である。

【０００９】

【発明が解決しようとする課題】ここで、従来技術の携
帯情報端末は、一般に表示画面が小さいため、高解像度
の画像を表示できない。また、コストを抑制するため、
CPUの性能が低く抑えられていることが多いため、CPUの
みによる高解像度画像の再生は、現実的には困難である
ことが多い。これに対して、画像復号化専用回路を搭載
すれば、高解像度画像の再生は可能になるが、コストが
上昇するといった問題がある。

【００１０】また、画像復号化処理の一部を専用回路化
し、必要なメモリとともに１チップ化したシステムLSI
が使われることが多くなってきている。しかしながら、
この場合も、コストを抑えるためにシステムLSIに混載
されるメモリ容量は、抑制される。このため、画像表示
用メモリおよび参照用メモリを大きく確保することが出
来ず、結果としてやはり高解像度の画像を再生および表
示できないという問題がある。

【００１１】そこで、本発明は、デジタルテレビ等の高
解像度の画像を再生および表示可能な、低価格、小表示
画面、少メモリの画像再生表示端末装置を提供すること
を目的とする。

【００１２】また、上記画像再生表示装置で用いると好
適なシステムLSIを提供することを他の目的とする。

【００１３】

【課題を解決するための手段】本発明の一つの形態に従
う画像再生装置によれば、画像を表示するための表示部
を備え、符号化された画像データを一時的に記憶するた
めの第１のバッファメモリと、第１のバッファメモリに
記憶された符号化された画像データを復号するための画
像復号部と、復号された画像データを一時的に記憶する
ための第２のバッファメモリと、前記符号化された画像
データの符号化の種類、前記画像データの一画面のサイ
ズ、前記表示部が画像を表示する表示領域のサイズ、お
よび前記第２のバッファメモリのサイズに基づいて、前
記画像復号部が前記画像データを復号し、前記表示部で
表示するための変換倍率を決定する決定部とを備える。

【００１４】

【発明の実施の形態】以下、本発明の実施形態につい
て、図面を用いて説明する。

【００１５】図１は、本発明を適用した一実施形態であ
る画像再生表示端末装置１００のハードウェア構成図で
ある。

【００１６】図１に示すように、画像再生表示端末装置
１００は、データ取得部１０１と、入力部１０２と、取
得データバッファ１０３と、画像データ取得部１０４
と、画像データバッファ１０５と、画像復号部１０６
と、画像復号縮小率決定部１０７と、画像復号縮小率格
納領域１０８と、参照用メモリ兼画像表示用メモリ１０
９と、画像表示制御部１１０と、画像表示部１１１と、
端末情報格納部１１２を有して構成される。

【００１７】データ取得部１０１は、後述する入力部１
０２によって指定されたブロードバンドネットワークを
介して、入力部１０２によって指定された場所から画像
データおよび音声データが多重化されたデータを取得す
る。例えば、デジタルテレビの場合には、入力部１０２
によって指定された周波数のデジタルテレビ放送を受信
して、トランスポートストリームを取得する。取得する
トランスポートストリームは、図２に示すように188Byt
eのパケットになっていて、そのパケットには同期を取
るための同期バイト２０１（0x47が格納されている）
と、多重化されているデータから所望の画像データを識
別するためのプログラムID(PID)２０２と、パケットに
含まれる符号化されたデータ２０４のサイズや属性を示
すヘッダ２０３と、実際の符号化されたデータ２０４と
が含まれている。

【００１８】ユーザは、受信を希望するデータを特定す
るために、所望のデータの送信元のネットワークや送信
周波数等を指定し、入力部１０２がこの指定を受け付け
る。具体的には、画像データおよび音声データが多重化
されたデータを取得するためのネットワークの指定、あ
るいはデジタルテレビの場合には所望の番組の周波数指
定および画像データのPIDの指定を受け付ける。

【００１９】取得データバッファ１０３は、データ取得
部１０１が取得した画像データおよび音声データが多重
化されたデータ、すなわち、デジタルテレビの例ではト
ランスポートストリームのパケットを一時的に格納す
る。

【００２０】画像データ取得部１０４は、取得データバ
ッファ１０３に格納された画像データおよび音声データ
が多重化されたデータから、入力部１０２が受け付けた
ユーザ指定の画像データを取得する。例えば、デジタル
テレビの場合には、画像データ取得部１０４はデマルチ
プレクサとも呼ばれる。デマルチプレクサは、トランス
ポートストリームにおけるパケットのPID２０２と、入
力部１０２が受け付けた画像データのPIDとを照合し
て、合致する画像データのパケットを収集することによ
り、指定された画像データを取得することができる。な
お、この場合、取得された画像データは符号化されてい
る。

【００２１】画像データバッファ１０５は、画像データ
取得部１０４によって取得された符号化された画像デー
タを一時的に格納する。例えば、デジタルテレビの場合
には、MPEG-2形式であるので、画像データバッファ１０
５に格納されるデータの形式は、図３に示す形式となっ
ている。

【００２２】ここで、画像データバッファ１０５に格納
されるデータをシーケンス３００と呼び、シーケンスは
図３（ａ）に示すように、シーケンスヘッダ３００ａ
と、１以上のグループ３００ｂから構成される。さら
に、各グループ３００ｂは１以上の１画面分の画像デー
タ３００ｄを含む。

【００２３】シーケンスヘッダ３００ａは図３（ｂ）に
示すように、シーケンスヘッダコード（SHC）３０１
と、入力画像の属性を示す情報を含む。シーケンスヘッ
ダコード（SHC）３０１は、0x000001B3の値を持つ32bit
の数値である。入力画像の属性情報は、入力画像につい
ての12bitの水平方向の画像サイズ（HSV）３０２、入力
画像についての12bitの垂直方向の画像サイズ（VSV）３
０３、およびその他のシーケンスヘッダデータ３０４で
ある。ここで、水平方向の画像サイズ（HSV）３０２お
よび垂直方向の画像サイズ（VSV）３０３から、入力画
像の一画面のサイズを知ることが可能である。

【００２４】グループヘッダ３００ｃは、図３（ｃ）に
示すように、グループスタートコード（GSC）３０５お
よびグループオブピクチャ（GOP）データ３０６を含
む。グループスタートコード（GSC）３０５は、0x00000
1B8の値を持つ32bitのデータであり、以降で複数の符号
化された画像データからなる１つのグループが含まれる
ことを示す。また、グループオブピクチャ（GOP）デー
タ３０６は27bitのデータであり、符号化された画像デ
ータからなる１つのグループがもつ属性を示す値が格納
されている。グループスタートコード（GSC）３０５お
よびグループオブピクチャ（GOP）データ３０６は、主
に画像再生における早送り実行時等のランダムアクセス
時に使用される。

【００２５】グループ３００ｂは、グループヘッダ３０
０ｃの後に１画面分の符号化された画像データ３００ｄ
が、一つ以上繰り返し格納される。

【００２６】１画面分の符号化された画像データ３００
ｄは、図３（ｄ）に示すように、ピクチャスタートコー
ド（PSC）３０７と、テンポラルリファレンス（TR）３
０８と、ピクチャコーディングタイプ（PCT）３０９
と、その他のピクチャヘッダデータ３１０と、実際の１
画面分の符号化された画像データ３１１からなってい
る。

【００２７】ピクチャスタートコード（PSC）３０７
は、0x00000100の値を持つ32bitの数値である。これに
より、以後の領域にはピクチャコーディングタイプ（PC
T）３０９や実際の１画面分の符号化された画像データ
３１１が含まれることを認識可能となる。テンポラルリ
ファレンス（TR）３０８は、符号化された画像データの
順番を示す。ピクチャコーディングタイプ（PCT）３０
９は、符号化された画像データの符号化方式を示す。な
お、例えば、デジタルテレビの場合には、MPEG-2で規定
されているように、符号化方式として、１画面分の画像
データがその画像内で符号化されていて、復号後の画像
データが参照される場合（I-PictureあるいはI-Frameと
呼ばれる）と、１画面分の画像データが他の１画面の画
像（参照画像）データを基にして符号化されていて、さ
らに復号後の画像データが参照される場合（P-Picture
あるいはP-Frameと呼ばれる）と、１画面分の画像デー
タが他の２画面の画像（参照画像）を基にして符号化さ
れていて、復号後の画像データは参照されない場合（B-
PictureあるいはB-Frameと呼ばれる）がある。その他の
ピクチャヘッダデータ３１０は、符号化された画像デー
タを復号する際に必要となるその他の情報を含んでい
る。実際の１画面分の符号化された画像データ３１１
は、画像の周波数空間データが可変長復号化されたデー
タや参照画像の参照位置を示す動きベクトルなど、実際
の符号化された１画面分の画像データに関連するデータ
が含まれている。

【００２８】以上では、一例として、デジタルテレビで
用いられているMPEG-2で規定されている形式を説明した
が、他の圧縮方式、例えばネットワークにおける動画配
信で用いられているMPEG-4等でも、情報の格納位置に違
いがあるが、基本的に入力画像のサイズやピクチャコー
ディングタイプ、すなわちフレームの符号化の種類等の
同様の情報を取得することが可能である。

【００２９】さて、図１の説明に戻って、端末情報格納
部１１２は、画像再生表示端末装置１００の属性に関す
る情報を記憶する。例えば、端末情報格納部１１２は、
カードメモリあるいはランダムアクセスメモリやリード
オンリーメモリによって実現され、後述する画像表示部
１１１で表示可能な画像サイズと、後述する参照用メモ
リ参照用メモリ兼画像表示用メモリ１０９のサイズが格
納される。これらの情報はシステム構築時にあらかじめ
格納されていてもよいし、ユーザが設定してもよい。

【００３０】画像復号縮小率決定部１０７は、画像デー
タバッファ１０５に格納された符号化されている画像デ
ータを復号し、画像表示部１１１で表示するために画像
の変換倍率（ここでは縮小率）を決定する。すなわち、
画像復号縮小率決定部１０７は、画像データバッファ１
０５に格納された符号化された画像データの中から、入
力画像の画面サイズを検出する。たとえばMPEG-2の場合
には、図３における12bitの水平方向の画像サイズ（HS
V）３０２と、12bitの垂直方向の画像サイズ（VSV）３
０３を取得することにより、検出することが可能であ
る。また、画像復号縮小率決定部１０７は、画像データ
バッファ１０５に格納された符号化された画像データの
中から、この画像データ全体に含まれるフレームの符号
化の種類を取得する。これは、たとえばMPEG-2の場合に
は、図３におけるピクチャコーディングタイプ（PCT）
３０９を、画像データバッファ１０５に格納された符号
化された画像データ全体に対して検出することによって
行うことが可能である。さらに、画像復号縮小率決定部
１０７は、取得した画像データに含まれるフレームの符
号化の種類および入力画像のサイズと、端末情報格納部
１１２に格納されている画像表示部１１１で表示可能な
画像サイズおよび参照用メモリ兼画像表示用メモリ１０
９のサイズを基に画像復号時の画像サイズの縮小率を決
定するとともに、この画像復号時の画像サイズの縮小率
を基に計算した画像復号後の画像サイズを計算し、画像
復号縮小率格納領域１０８に格納する。なお、本画像復
号縮小率決定部１０７の詳細な処理内容並びに画像復号
時の画像サイズの縮小率の決定方法およびこの画像復号
時の画像サイズの縮小率を基にした画像復号後の画像サ
イズの計算方法については後で詳述する。

【００３１】画像復号縮小率格納領域１０８は、画像復
号縮小率決定部１０７によって決定された画像復号時の
画像サイズの縮小率およびこの画像復号時の画像サイズ
の縮小率を基に計算した画像復号後の画像サイズを格納
する。画像復号縮小率格納領域１０８に格納されるデー
タの構造としては、例えば、図４に示すように、入力画
像の水平方向サイズ４０１、入力画像の垂直方向サイズ
４０２、水平縮小率４０３、垂直縮小率４０４、復号後
画像の水平方向サイズ４０５、および、復号後画像の垂
直方向サイズ４０６を１６ビットごとに区切られた６つ
の領域に、それぞれ格納した状態のデータ構造とするこ
とができる。ここで、水平縮小率４０３および垂直縮小
率４０４は、例えば、原画像を２分の１に縮小する場合
（変換倍率は１／２）にはそれぞれ「２」を格納し、８
分の１に縮小する場合（変換倍率は１／８）にはそれぞ
れ「８」を格納すればよい。

【００３２】画像復号部１０６は、画像復号縮小率格納
領域１０８に格納された画像復号時の画像サイズの縮小
率、すなわち水平縮小率４０３および垂直縮小率４０４
に基づいて、画像データバッファ１０５に格納された符
号化された画像データを１画面ごとに復号化し、参照用
メモリ兼画像表示用メモリ１０９に格納する。また、本
画像復号部１０６は、１画面分の符号化された画像デー
タを復号完了した場合に、１画面分の符号化された画像
データの復号が完了したことおよび参照用メモリ兼画像
表示用メモリ１０９における表示対象の画像データのア
ドレスを画像表示制御部１１０に通知し、復号後の画像
を画像表示部１１１に表示するよう指示する。なお、画
像復号部１０６における処理内容および詳細な画像の復
号方法については後で詳述する。

【００３３】参照用メモリ兼画像表示用メモリ１０９
は、画像復号部１０６によって復号された１画面分の画
像データを格納する。復号された１画面分の画像データ
は、後の画面における画像データの復号時に参照画像と
して使用される。また、復号された１画面分の画像デー
タは、後述する画像表示制御部１１０を介して、画像表
示部１１１に表示される。なお、画像復号部１０６によ
って復号され、参照用メモリ兼画像表示用メモリ１０９
に格納されるデータの構造としては、例えば、MPEG-2一
般的に使用されるYUV4:2:0形式の場合には、図５に示す
ように、縮小後の画像サイズ分の輝度（Ｙ）データ５０
１の後に、縮小後の画像サイズの４分の１のデータ量の
色差（Ｕ）データ５０２が続き、さらにその後に縮小後
の画像サイズの４分の１のデータ量の色差（Ｖ）データ
５０３が続くデータ構造とすることができる。

【００３４】画像表示制御部１１０は、画像復号部１０
６により１画面分の符号化された画像データの復号が完
了したことおよび参照用メモリ兼画像表示用メモリ１０
９における表示対象の画像データのアドレスの通知を受
けると、参照用メモリ兼画像表示用メモリ１０９に格納
されている１画面分の復号された画像データを画像表示
部１１１に転送し、表示させる。なお、この際、画像表
示制御部１１０は、復号後の画像サイズを知る必要があ
るが、これは、画像復号縮小率格納領域１０８に格納さ
れている復号後の画像サイズ、すなわち復号後画像の水
平方向サイズ４０５および復号後画像の垂直方向サイズ
４０６を取得することによって知ることが可能である。

【００３５】画像表示部１１１は、例えば液晶ディスプ
レイにより実現され、画像表示制御部１１０により転送
された１画面分の復号された画像データを表示する。

【００３６】次に、画像復号縮小率決定部１０７の詳細
な処理内容、画像復号時の画像縮小率の決定方法および
画像の縮小率を基にした画像復号後の画像サイズの計算
方法について、図６を用いて説明する。

【００３７】画像復号縮小率決定部１０７は、まず、画
像データバッファ１０５に格納された符号化された画像
データの中から、入力画像の画面サイズを検出する（ス
テップ６０１）。これは、たとえばMPEG-2の場合には、
図３における12bitの水平方向の画像サイズ（HSV）３０
２と、12bitの垂直方向の画像サイズ（VSV）３０３を取
得することにより検出する。

【００３８】続いて、画像復号縮小率決定部１０７は、
画像データバッファ１０５に格納された符号化された画
像データの中から、この画像データ全体に含まれるフレ
ーム符号化の種類を示す情報を取得する（ステップ６０
２）。これは、たとえばMPEG-2の場合には、図３におけ
るピクチャコーディングタイプ（PCT）３０９を、画像
データバッファ１０５に格納された符号化された画像デ
ータ全体から検出することにより行う。

【００３９】さらに、画像復号縮小率決定部１０７は、
端末情報格納部１１２に格納されている画像表示部１１
１で表示可能な画像サイズを取得し（ステップ６０
３）、ステップ６０１で取得した入力画像の一画面のサ
イズとステップ６０３で取得した画像表示部のサイズに
基づいて、第一の画像復号時の画像サイズの縮小率を計
算する（ステップ６０４）。つまり、画像復号縮小率決
定部１０７は、画像表示部１１１で一画面分の画像デー
タを表示できるような縮小率を決定する。例えば、水平
方向と垂直方向のそれぞれにおいて、入力画像のサイズ
を画像表示部１１１で表示可能な画像サイズで割り、小
数点以下を切り上げた値を縮小率とすることができる。
水平方向と垂直方向の縮小率が異なる場合には、縮小の
程度が大きい方（絶対値が大きい方）を選択すればよ
い。例えば、入力画像の水平方向の画像サイズが640画
素、入力画像の垂直方向のサイズが480画素で、画像表
示部１１１で表示可能な画像の水平方向のサイズが320
画素、画像表示部１１１で表示可能な画像の垂直方向の
サイズが240画素である場合には、水平方向の縮小率
は、640/320=2から「２」となり、垂直方向の縮小率
も、480/240=2から「２」となる。従って、水平方向お
よび垂直方向ともに縮小率「２」を画像の第一の画像復
号時の画像サイズの縮小率とすればよい。なお、このと
き、縮小率を、上記の計算で得られた値よりも大きな値
であり、かつ８、４、２のいずれかにすると、後で述べ
るように画像復号部１０６の処理が容易になる。ここで
は、画像の第一の画像復号時の画像サイズの縮小率は
「２」とする。

【００４０】画像復号縮小率決定部１０７は、続いて端
末情報格納部１１２に格納されている参照用メモリ兼画
像表示用メモリ１０９のサイズを取得し（ステップ６０
５）、ステップ６０１で取得した入力画像の一画面のサ
イズと、ステップ６０２で取得した画像データに含まれ
るフレームの符号化の種類と、ステップ６０５で取得し
た参照用メモリ兼画像表示用メモリ１０９のサイズに基
づいて、第二の画像復号時の画像サイズの縮小率を決定
する（ステップ６０６）。つまり、画像復号縮小率決定
部１０７は、参照用メモリ兼画像表示用メモリ１０９の
サイズと、画像データに含まれるフレームの符号化の種
類とに応じて、符号化された画像データの復号が可能な
縮小率を決定する。これは、例えば画像データに含まれ
るフレームの符号化の種類がＩ、Ｐ、Ｂフレームである
場合で、ＩあるいはＰフレームの間に２フレーム以上の
Ｂフレームが含まれる（２以上のＢフレームが連続する
ことがある）場合には、参照用メモリ兼画像表示用メモ
リ１０９には、４画面分の復号後の画像データが含まれ
ると判断する。また、画像データに含まれるフレームの
符号化の種類がＩ、Ｐ、Ｂフレームである場合で、Ｉあ
るいはＰフレームの間に１フレームのＢフレームが含ま
れる（２以上のＢフレームが連続することがない）場合
には、参照用メモリ兼画像表示用メモリ１０９には、３
画面分の復号後の画像データが含まれると判断する。ま
た、画像データに含まれるフレームの符号化の種類が
Ｉ、Ｐフレームである場合、あるいは、画像データに含
まれるフレームの符号化の種類がＩフレームしかない
（Ｂフレームが含まれていない）場合には、参照用メモ
リ兼画像表示用メモリ１０９には２画面分の復号後の画
像データが含まれると判断する。したがって、画像復号
縮小率決定部１０７は、ステップ６０６において、まず
ステップ６０５で取得した参照用メモリ兼画像表示用メ
モリ１０９のサイズを、参照用メモリ兼画像表示用メモ
リ１０９に含まれるべき復号後の画像データの画面数で
割り、１画面で使用できる参照用メモリ兼画像表示用メ
モリ１０９のサイズを求める。例えば、参照用メモリ兼
画像表示用メモリ１０９のサイズが２５６０００バイト
であり、画像データに含まれるフレームの符号化の種類
がＩ、Ｐ、Ｂフレームであり、かつＩあるいはＰフレー
ムの間に２フレームのＢフレームが含まれる場合には、
参照用メモリ兼画像表示用メモリ１０９には４画面分の
復号後の画像データが含まれる必要があるので、１画面
で使用できる参照用メモリ兼画像表示用メモリ１０９の
サイズは、２５６０００／４＝６４０００バイトであ
る。一方、前記ステップ６０１で取得した入力画像のサ
イズが、例えば水平方向640画素、垂直方向480画素であ
る場合には１画面あたり、６４０×４８０＋６４０×４
８０／４＋６４０×４８０／４＝４６０８００バイトの
参照用メモリ兼画像表示用メモリ１０９の領域が必要と
なる。水平方向および垂直方向の縮小率は、入力画像の
サイズで１画面あたりに必要となる参照用メモリ兼画像
表示用メモリ１０９の領域を、１画面で使用できる参照
用メモリ兼画像表示用メモリ１０９のサイズで割り、そ
の結果の平方根を求め、小数点以下を切り上げることに
よって得られる。例えば、上記の例では（４６０８００
／６４０００）^1/2≠２．６８であるから縮小率は
「３」とすることが出来る。なお、このとき、縮小率を
得られた値よりも大きな値であり、かつ８、４、２のい
ずれかにすると、後で述べるように画像復号部１０６の
処理が容易になる。ここでは、上記の例では第二の画像
復号時の画像サイズの縮小率は「４」とする。

【００４１】そして、画像復号縮小率決定部１０７は、
ステップ６０４で求めた第一の画像復号時の画像サイズ
の縮小率と、ステップ６０６で求めた第二の画像復号時
の画像サイズの縮小率とで、縮小の程度が大きい方を最
終的な画像復号時の画像サイズの縮小率と決定する（ス
テップ６０７）。例えば上記の例では、第一の画像復号
時の画像サイズの縮小率は「２」であり、第二の画像復
号時の画像サイズの縮小率が「４」であるので、最終的
な画像復号時の画像サイズの縮小率を「４」と決定す
る。

【００４２】さらに、画像復号縮小率決定部１０７は、
ステップ６０７で決定した最終的な画像復号時の画像サ
イズの縮小率を基に画像復号後の画像サイズを計算する
（ステップ６０８）。これは例えば、水平方向と垂直方
向のそれぞれにおいて、ステップ６０１で取得した入力
画像のサイズを、ステップ６０７で決定した最終的な画
像復号時の画像サイズの縮小率で割ることによって得る
ことが出来る。例えば上記の例では、入力画像の水平方
向のサイズが640で、入力画像の垂直方向のサイズが480
であり、最終的な画像復号時の画像サイズの縮小率が水
平方向、垂直方向それぞれ「４」であるので、画像復号
後の画像サイズは水平方向サイズが６４０／４＝１６０
画素となり、垂直方向サイズが４８０／４＝１２０画素
となる。

【００４３】最後に、画像復号縮小率決定部１０７は、
ステップ６０１で取得した入力画像のサイズと、ステッ
プ６０７で決定した最終的な画像復号時の画像サイズの
縮小率と、ステップ６０８で算出した画像復号後の画像
サイズを画像復号縮小率格納領域１０８に格納する。こ
れは、ステップ６０１で取得した入力画像の水平方向サ
イズを、図４における４０１に、ステップ６０１で取得
した入力画像の垂直方向サイズを、図４における４０２
に、ステップ６０７で決定した最終的な画像復号時の画
像サイズの縮小率を水平方向および垂直方向に対して、
それぞれ４０３および４０４に、そしてステップ６０８
で算出した画像復号後の画像サイズの水平方向サイズを
４０５に、ステップ６０８で算出した画像復号後の画像
サイズの垂直方向サイズを４０６に、それぞれ格納する
ことにより実現される。

【００４４】次に、画像復号部１０６における処理内容
および詳細な画像の復号方法について、図７から図１２
を用いて説明する。

【００４５】画像復号部１０６は、画像データバッファ
１０５に格納されている符号化された画像データから、
１画面分の符号化された画像データを繰り返し復号する
ことによって、一連の動画としての復号後の画像データ
を生成する。これは、例えばデジタルテレビの場合に
は、図３に示した実際の１画面分の符号化された画像デ
ータ３１１以外のデータに基づいて、実際の符号化され
た１画面分の画像データに関連するデータ（画像の周波
数空間データが可変長復号化されたデータ、あるいは参
照画像の参照位置を示す動きベクトルなど）が含まれて
いる実際の１画面分の符号化された画像データ３１１を
繰り返し復号することによってなされる。なお、実際の
１画面分の符号化された画像データ３１１以外のデータ
の使用方法、並びにMPEG-2における実際の１画面分の符
号化された画像データ３１１に対する一般的な画像の復
号処理内容および復号方法については、MPEG-2の規格書
「ISO/IEC 13818」に記載されているので説明を省略す
る。ここでは、実際の１画面分の符号化された画像デー
タ３１１を復号する際に、画像再生表示端末装置１００
における画像復号部１０６に特有な部分を中心に説明す
る。

【００４６】図７は、画像復号部１０６において、実際
の１画面分の符号化された画像データ３１１を処理する
際の処理内容を示す図である。例えばMPEG-2では、図８
に示すように、実際の１画面分の符号化された画像デー
タ３１１は、水平方向および垂直方向にそれぞれ１６画
素分の輝度（Ｙ）データ８０１と、水平方向および垂直
方向にそれぞれ８画素分の色差（Ｕ）データ８０２、お
よび水平方向および垂直方向にそれぞれ８画素分の色差
（Ｖ）データ８０３を単位として復号が行われ、この単
位はマクロブロック８０４と呼ばれている。さらに、こ
のマクロブロック８０４のうち、水平方向および垂直方
向にそれぞれ８画素分のデータを単位として可変長復号
化および逆量子化および逆離散コサイン変換が行われ
る。この単位はブロックと呼ばれている。すなわちMPEG
-2では１つのマクロブロックは６つのブロックから構成
されている。

【００４７】図７に示す通り、画像復号部１０６は、ま
ず、実際の１画面分の符号化された画像データ３１１に
含まれるデータに対して可変長復号化を行い、離散コサ
イン変換および量子化された画像データを生成する（ス
テップ７０１）。なお、MPEG-2では、図９に示す通り、
可変長符号化された離散コサイン変換および量子化され
た画像データ901は、ブロックごとに規定の順序、例え
ば９０２の順番に、実際の１画面分の符号化された画像
データ３１１に格納されている。したがって、画像復号
部１０６は、実際の１画面分の符号化された画像データ
３１１に含まれるデータに対して、ブロックごとに順序
９０２の順番で可変長復号化を行い、離散コサイン変換
および量子化された画像データを生成する。このとき、
画像復号縮小率格納領域１０８に格納されている画像復
号時の画像サイズの縮小率に基づいてダウンサンプリン
グを行う。すなわち、例えば、画像復号時の画像サイズ
の水平方向縮小率が「２」であり、画像復号時の画像サ
イズの垂直方向縮小率も「２」の場合には、図１０に示
すように１つのブロックに対して水平方向および垂直方
向ともに４画素分の離散コサイン変換および量子化され
た画像データ１００１を生成し、後のデータを破棄す
る。なお、可変長符号化の方法はMPEG-2規格書「ISO/IE
C 13818」で記載されているので、説明を省略する。

【００４８】図７における説明に戻って、画像復号部１
０６は、次に、ステップ７０１においてダウンサンプリ
ングし、生成した離散コサイン変換および量子化された
画像データを逆量子化し（ステップ７０２）、さらに逆
離散コサイン変換を行う（ステップ７０３）。これは、
例えば、MPEG-2において画像復号時の画像サイズの水平
方向縮小率が「２」であり、画像復号時の画像サイズの
垂直方向縮小率も「２」の場合には、ステップ７０１に
おいて図１０に示すように１つのブロックに対して水平
方向および垂直方向ともに４画素分の離散コサイン変換
および量子化された画像データ１００１が生成されてい
るので、この１つのブロックに対して水平方向および垂
直方向ともに４画素分の離散コサイン変換および量子化
された画像データ１００１に対して、逆量子化および逆
離散コサイン変換を行い、図１１に示すように、１つの
ブロックに対して水平方向および垂直方向ともに４画素
分の復号後の画像データあるいは参照画像データに対す
る差分データ１１０１を算出する。なお、水平方向およ
び垂直方向ともに４画素分のデータ１１０１が復号後の
画像データであるか、あるいは参照画像データに対する
差分データであるかは、このブロックが属するマクロブ
ロックの種類によって決まり、マクロブロックが画面内
で符号化されているイントラマクロブロックの場合には
復号後の画像データとなる。また、マクロブロックが他
の画面から参照されて符号化されているインターマクロ
ブロックの場合には参照画像データに対する差分データ
となる。本規則はMPEG-2の規格（規格書：ISO/IEC 1381
8）によって決められており、実際の１画面分の符号化
された画像データ３１１の中にマクロブロックの種類の
情報が含まれている。なお、ダウンサンプリングされて
いる離散コサイン変換および量子化された画像データに
対する逆量子化の方法については、通常のMPEG-2規格書
「ISO/IEC 13818」で記載されている逆量子化方法を、
ダウンサンプリングによって生成した離散コサイン変換
および量子化された画像データについてのみ行えばよ
い。また、ダウンサンプリングされている逆量子化後の
離散コサイン変換された画像データに対する逆離散コサ
イン変換の方法は公知であり、例えば、米国特許第6,14
1,456号に記載されているので、説明を省略する。

【００４９】図７における説明に戻って、画像復号部１
０６は、続いて、ステップ７０３において、逆離散コサ
イン変換された参照画像データに対する差分データ１１
０１に対して、動き補償を行い（ステップ７０４）、生
成した復号後の画像データを参照用メモリ兼画像表示用
メモリ１０９に書き込む（ステップ７０５）。本ステッ
プ７０４における動き補償は、本画面の画像データを復
号する前に、既に復号されている参照用メモリ兼画像表
示用メモリ１０９に格納されている参照画像のデータの
うち、動きベクトルと呼ばれるベクトルが指し示す領域
から参照画像データを取得し、逆離散コサイン変換され
た参照画像データに対する差分データ１１０１と加算を
行うことによって実施され、復号後の画像データを生成
する。このとき、例えば、画像復号時の画像サイズの水
平方向が「２」であり、画像復号時の画像サイズの垂直
方向縮小率も「２」の場合には、本ブロックの動きベク
トルの水平成分および垂直成分を、それぞれ画像復号時
の画像サイズの水平方向縮小率および画像復号時の画像
サイズの垂直方向縮小率である「２」で割ることにより
新たな動きベクトル１２０９を生成する。画像復号部１
０６は、この新たな動きベクトル１２０９が指し示す水
平方向および垂直方向ともに４画素分の参照画像データ
１２０３を、参照用メモリ兼画像表示用メモリ１０９に
格納されている参照画像データの格納領域１２０７から
取得し、ステップ７０３において作成された差分データ
１１０１（図１２参照）と加算を行って、水平方向およ
び垂直方向ともに４画素分の復号後の画像データ１２０
５を生成し、参照用メモリ兼画像表示用メモリ１０９に
おける復号後の画像データの格納領域１２０８に書き込
まれる。動きベクトルの情報は実際の１画面分の符号化
された画像データ３１１の中に含まれている。

【００５０】なお、参照用メモリ兼画像表示用メモリ１
０９における復号後の画像データの格納領域および参照
画像データの格納領域の判別および制御方法については
通常のMPEG-2における復号方法と同様であるので、説明
を省略する。

【００５１】また、ステップ７０４における動き補償
は、処理しているマクロブロックが他の画面から参照さ
れて符号化されているインターマクロブロックの場合に
のみ行われ、処理しているマクロブロックが画面内で符
号化されているイントラマクロブロックの場合には、ス
テップ７０３において、逆離散コサイン変換された復号
後の画像データ１１０１は参照用メモリ兼画像表示用メ
モリ１０９における復号後の画像データの格納領域１２
０８に書き込まれる。

【００５２】図７における説明に戻って、画像復号部１
０６は、上記ステップ７０１乃至ステップ７０５を、す
べての１画面分の画像を構成するブロックおよびマクロ
ブロックに対して実施する。そして、１画面分の画像を
復号した後に、１画面分の画像データの復号を完了した
ことを画像表示制御部１１０に通知するとともに、参照
用メモリ兼画像表示用メモリ１０９における既に復号後
の表示対象の画像データのアドレスを画像表示制御部１
１０に通知し、画像表示制御部１１０に対して、復号後
の画像データを画像表示部１１１に出力するよう指示す
る（ステップ７０６）。

【００５３】この結果、画像復号部１０６は、上記ステ
ップ７０１乃至ステップ７０６を繰り返し、一連の画面
における画像データを復号することが可能となる。

【００５４】また、本発明の他の実施形態として、画像
復号部１０６、画像表示制御部１１０、および参照用メ
モリ兼画像表示用メモリ１０９を１チップのシステムLS
Iとして実現することもできる。システムLSI化した場合
の例を図１３に示す。ここでは、画像復号部１０６、画
像表示制御部１１０、および参照用メモリ兼画像表示用
メモリ１０９を含むシステムLSI１３０１を搭載した画
像再生表示装置１００の構成が示されている。システム
LSI１３０１は、符号化された画像データの入力を受け
付ける画像データ入力ポートと、複合化された画像デー
タを画像表示部１１１に表示させるための信号を出力す
る出力ポートと、画像の縮小率の入力を受け付ける縮小
率入力ポートと有する。画像データ入力ポートとは、画
像データバッファ１０５と接続される。縮小率入力ポー
トは、画像符号縮小率格納領域１０８と接続される。縮
小率入力ポートは、図示するように２カ所であってもよ
いし、１カ所でもよい。入力ポートが１カ所の場合、図
示しないが、システムLSI１３０１内部で画像表示制御
部１１０へ縮小率を通知するための経路を備える。

【００５５】ここに示した画像再生表示装置１００の各
構成要素は、上述した実施形態における対応する構成要
素と同様の機能を有するので、説明を省略する。

【００５６】本実施形態のようなシステムLSI１３０１
により、デジタルテレビ等の高解像度の画像を再生表示
可能な装置を低価格化することができる。

【００５７】上述した本発明の実施形態は、本発明の説
明のための例示であり、本発明の範囲をそれらの実施形
態にのみ限定する趣旨ではない。当業者は、本発明の要
旨を逸脱することなしに、他の様々な態様で本発明を実
施することができる。

【００５８】例えば、上述した実施形態では、データ圧
縮方式としてMPEG-2を例に取り説明したが、MPEG-2以外
でも、例えばMPEG-4など他の圧縮方式であっても本発明
を実現することができる。

【００５９】

【発明の効果】本発明によれば、デジタルテレビ等の高
解像度の画像を再生および表示可能な、低価格、小表示
画面、少メモリの画像再生表示端末装置を実現すること
ができる。

【００６０】さらに、本発明によれば、上記画像再生表
示装置で用いると好適なシステムLSIを実現することが
できる。

【図面の簡単な説明】

【図１】本発明の一実施形態に係る画像再生表示端末装
置のハードウェア構成図である。

【図２】トランスポートストリームのパケットの構造を
示す図である。

【図３】MPEG-2で圧縮されている画像データの形式を示
す図である。

【図４】画像復号縮小率格納領域に格納されるデータの
構造を示す図である。

【図５】参照用メモリ兼画像表示用メモリに格納される
復号後の画像データの構造を示す図である。

【図６】画像復号縮小率決定部の処理内容を示すフロー
チャートである。

【図７】１画面分の符号化された画像データを処理する
際の処理内容を示すフローチャートである。

【図８】１画面分の符号化された画像データに含まれる
マクロブロックおよびブロックの構成を説明する図であ
る。

【図９】MPEG-2において、可変長符号化された離散コサ
イン変換および量子化された画像データおよびその格納
順序の一例を示す図である。

【図１０】１つのブロックに対して可変長復号化によっ
て生成する離散コサイン変換および量子化された画像デ
ータの領域を示す図である。

【図１１】１つのブロックに対して逆量子化および逆離
散コサイン変換によって生成する復号後の画像データあ
るいは参照画像データに対する差分データの領域および
個数を示す図である。

【図１２】１つのブロックに対する動き補償の処理方法
を示す図である。

【図１３】本発明の一実施形態にかかる画像再生表示端
末装置用のシステムLSIの構成を示す図である。

【符号の説明】

１００…画像再生表示端末装置 １０１…データ取得部 １０２…入力部 １０３…取得データバッファ １０４…画像データ取得部 １０５…画像データバッファ １０６…画像復号部 １０７…画像復号縮小率決定部 １０８…画像復号縮小率格納領域 １０９…参照用メモリ兼画像表示用メモリ １１０…画像表示制御部 １１１…画像表示部 １１２…端末情報格納部 １３０１…画像再生表示端末装置用システムLSI

フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 7/32 Ｇ０９Ｇ 5/36 ５２０Ｇ (72)発明者 近藤 伸和 神奈川県川崎市麻生区王禅寺1099番地 株 式会社日立製作所システム開発研究所内 Ｆターム(参考） 5C023 AA02 AA38 BA01 CA02 DA00 DA02 DA03 DA04 DA08 5C025 BA27 BA30 CA11 DA10 5C059 KK08 KK35 LB05 MA00 MA05 MA23 MC01 MC11 MC38 ME01 PP05 PP06 PP07 PP16 SS02 SS08 TA06 TB04 TC24 TC25 TC39 TD11 UA05 UA32 UA34 5C082 AA02 BA41 BB01 BB44 CA32 CA34 CA84 CB01 MM04 MM07

Claims (5)

【特許請求の範囲】
1. 【請求項１】 画像を表示するための表示部を備えた画
   像再生表示装置であって、 符号化された画像データを一時的に記憶するための第１
   のバッファメモリと、 第１のバッファメモリに記憶された符号化された画像デ
   ータを復号するための画像復号部と、 復号された画像データを一時的に記憶するための第２の
   バッファメモリと、 前記符号化された画像データの符号化の種類、前記画像
   データの一画面のサイズ、前記表示部が画像を表示する
   表示領域のサイズ、および前記第２のバッファメモリの
   サイズに基づいて、前記画像復号部が前記画像データを
   復号し、前記表示部で表示するための変換倍率を決定す
   る決定部とを備える画像再生表示装置。
2. 【請求項２】 前記決定部は、前記第１のバッファメモ
   リに含まれる符号化された画像データの一画面のサイズ
   と、前記表示部が画像を表示する表示領域のサイズに基
   づいて第１の変換倍率を決定し、 前記第１のバッファメモリに含まれる符号化された画像
   データの符号化の種類と、前記画像データの一画面のサ
   イズと、前記第２のバッファメモリのサイズに基づいて
   第２の変換倍率を決定し、前記第１及び第２の変換倍率
   のいずれかを選択して、変換倍率を決定する請求項１記
   載の画像再生表示装置。
3. 【請求項３】 前記符号化の種類には、一画面内の画像
   データで符号化した画面内符号化（I-frame）と、一画
   面の画像データを他の一画面の画像データを利用して符
   号化した画面間符号化（P-frame）と、一画面の画像デ
   ータを他の二画面の画像データを利用して符号化した画
   面間符号化（B-frame）とがあり、 前記第１のバッファメモリに含まれる符号化された画像
   データに、I-frameのみ、またはI-frameおよびP-frame
   が含まれるとき、 ２×（第２の変換倍率）×（画像データの一画面のサイ
   ズ）≦（第２のバッファメモリのサイズ）を満たし、 前記第１のバッファメモリに含まれる符号化された画像
   データに、I-frame、P-frameおよびB-frameが含まれ、
   且つ、B-frameが連続していないときは、 ３×（第２の変換倍率）×（画像データの一画面のサイ
   ズ）≦（第２のバッファメモリのサイズ）を満たし、 前記第１のバッファメモリに含まれる符号化された画像
   データに、I-frame、P-frameおよびB-frameが含まれ、
   且つ、B-frameが２以上連続しているときは、４×（第
   ２の変換倍率）×（画像データの一画面のサイズ）≦
   （第２のバッファメモリのサイズ）を満たすように第２
   の変換倍率を決定する請求項２記載の画像再生表示装
   置。
4. 【請求項４】 前記第１及び第２の変換倍率は、いずれ
   も、一画面分の符号化された画像データを復号し、前記
   表示部に一画面として表示するための縮小率であり、 前記決定部は、前記第１及び第２の変換倍率のうち、縮
   小の程度が大きい方を変換倍率とする請求項２記載の画
   像再生装置。
5. 【請求項５】 符号化された画像データの入力を受け付
   ける入力ポートと、 画像データの変換倍率を示す電子情報の入力を受け付け
   る入力ポートと、 前記符号化された画像データを、前記変換倍率に従って
   復号する復号部と、 前記復号部により復号された画像データを表示するため
   に、表示装置を制御するための信号を出力する出力ポー
   トとを備えたシステムＬＳＩ。