JP2000175118A - 放送受信装置およびその方法 - Google Patents

Abstract

(57)【要約】 【課題】 テレビ番組を再生する場合、放送局から送ら
れてくる映像をそのまま表示するのが普通で、効果的に
表示形態（レイアウト）を変化させる、例えば映像中の
物体を表示させたりさせなかったり、物体のサイズを変
えたりすることは行われていない。 【解決手段】 ディジタルテレビ放送が受信され(S1)、
追加データから番組IDが検出され(S2)、検出された番組
IDに対応するレイアウト設定データがメモリに保存され
ているか否かを判断する(S3)。レイアウト設定データが
保存された番組の場合、メモリから該当するレイアウト
設定データを読み出し(S4)、設定されたレイアウトによ
り番組の映像を表示する(S6)。また、新規にレイアウト
を設定する場合は、テレビ情報中の画像データを構成す
る各オブジェクトからレイアウトを調整したいオブジェ
クトが選択され(S10)、選択されたオブジェクトの移
動、拡大/縮小、表示のオン/オフまたはその他のレイア
ウトに関係する調整がユーザにより行われる(S11)。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は放送受信装置および
その方法に関し、例えば、ディジタルテレビ放送を受信
し、画像およびサウンドの再生が可能な放送受信装置お
よびその方法に関するものである。

【０００２】

【従来の技術】近年、衛星放送やケーブル放送を用いた
ディジタルテレビ放送が開始された。ディジタル放送の
実現により、画像やサウンドを含むサウンドの品質向
上、圧縮技術を利用した番組の種類や量の増大、インタ
ラクティブサービスなど新しいサービスの提供、受信形
態の進化など多くの効果が期待される。

【０００３】図1は衛星放送を用いたディジタル放送受
信機10の構成例を示すブロック図である。

【０００４】まず、放送衛星によって送信されたテレビ
(TV)情報がアンテナ1で受信される。受信されたTV情報
はチューナ2で選局され復調される。その後、図示しな
いが、誤り訂正処理、必要であれば課金処理やデスクラ
ンブル処理などが行われる。次に、TV情報として多重化
されている各種データを多重信号分離回路3で分離す
る。TV情報は画像情報、サウンド情報およびその他の付
加データに分離される。分離された各データは復号回路
4で復号される。こうして復号された各データのうち画
像情報とサウンド情報はD/A変換回路5でアナログ化さ
れ、テレビジョン受像機(TV)6で再生される。一方、付
加データは、番組サブデータとしての役割をもち各種機
能に関与する。

【０００５】さらに、受信されたTV情報の記録再生には
VTR7が利用される。受信機10とVTR7との間はIEEE1394な
どのディジタルインタフェイスで接続されている。この
VTR7は、ディジタル記録方式の記録形態を備え、例えば
D-VHS方式などによりTV情報をビットストリーム記録す
る。なお、D-VHS方式のビットストリーム記録に限ら
ず、その他の民生用ディジタル記録方式であるDVフォー
マットや、各種ディスク媒体を用いたディジタル記録装
置などでもディジタルテレビ放送のTV情報を記録するこ
とが可能である。ただし、フォーマット変換が必要にな
る場合がある。

【０００６】

【発明が解決しようとする課題】地上波放送およびディ
ジタルテレビ放送におけるテレビ番組を家庭のテレビジ
ョンで再生する場合、放送局から送られてくる映像をそ
のまま表示するのが普通である。言い換えれば、効果的
に表示形態（レイアウト）を変化させる行為、例えば、
必要に応じて映像中の物体を表示させたりさせなかった
り、物体のサイズを変えたりすることは行われていな
い。このような表示形態を効果的に変化させる機能は、
ディジタルテレビ放送の発展に伴う多チャンネル化およ
び多プログラム化の過程で、効果的な表示方法の新機能
を追加していくという観点から是非必要なものの一つと
考えられる。

【０００７】本発明は、上述の問題を解決するためのも
のであり、ディジタルテレビ放送における画像および/
またはサウンドの新たな再生機能を提供することを目的
とする。

【０００８】

【課題を解決するための手段】本発明は、前記の目的を
達成する一手段として、以下の構成を備える。

【０００９】本発明にかかる放送受信装置は、ディジタ
ルテレビ放送を受信し、画像および/またはサウンドの
再生が可能な放送受信装置であって、画像、サウンド、
および、付随するシステムデータから構成されるテレビ
放送情報を受信する受信手段と、前記システムデータに
基づき受信画像およびサウンドを再生する再生手段と、
前記受信画像が所定のオブジェクト単位に分割されたデ
ータ形態を有する場合、オブジェクト単位に再生形態を
設定するための設定手段とを有することを特徴とする。

【００１０】また、他の符号化方式により符号化された
画像および/またはサウンドデータを含むMPEG4方式のデ
ィジタルテレビ放送を受信する放送受信装置であって、
前記MPEG4方式で符号化されたテレビ情報を復号する第
一の復号手段と、前記他の符号化方式により符号化され
た画像および/またはサウンドデータを復号する第二の
復号手段と、前記第一および第二の復号手段によりそれ
ぞれ復号された複数の画像および/またはサウンドデー
タを合成する合成手段とを有することを特徴とする。

【００１１】本発明にかかる放送受信方法は、ディジタ
ルテレビ放送を受信し、画像および/またはサウンドを
再生する放送受信方法であって、画像、サウンドおよび
付随するシステムデータから構成されるテレビ放送情報
を受信し、前記システムデータに基づき受信画像および
サウンドを再生する際に、前記受信画像が所定のオブジ
ェクト単位に分割されたデータ形態を有する場合、オブ
ジェクト単位に再生形態の設定が可能であることを特徴
とする。

【００１２】また、他の符号化方式により符号化された
画像および/またはサウンドデータを含むMPEG4方式のデ
ィジタルテレビ放送を受信する放送受信方法であって、
前記MPEG4方式で符号化されたテレビ情報を復号し、前
記他の符号化方式により符号化された画像および/また
はサウンドデータを復号し、それぞれ復号された複数の
画像および/またはサウンドデータを合成することを特
徴とする。

【００１３】

【発明の実施の形態】［概要］本実施形態は、MPEG4符
号化の特徴でもあるオブジェクトの概念を用いることに
よって、オブジェクト単位での画像の移動や変形を可能
にする。オブジェクトとは、背景画像、話者およびその
音声などであり、MPEG4符号化はそれぞれのオブジェク
トを符号化/復号して、各オブジェクトを組み合わせる
ことで一つのシーンを表現する。

【００１４】本実施形態の具体的な表示機能は、MPEG4
を用いた放送システムにおいて、リアルタイム画像情報
の表示に関して、表示する画像をオブジェクト単位で操
作することが可能である。さらに、上記の各オブジェク
トに対して、所定サイズからの拡大/縮小、所定位置か
らの移動が可能である。また、テレビ放送はテレビ情報
としての番組と、各番組ごとに定められた固有のID情報
を含み、ID情報毎に任意に設定される再生（表示）形態
を設定および更新することができる。

【００１５】このように、本実施形態によれば、ディジ
タルテレビ放送を視聴するユーザは、各オブジェクトを
好みの配置およびサイズにする任意のレイアウトを設定
することができ、ユーザに対する視覚的効果およびユー
ザンタフェイスの質を向上することができる。

【００１６】以下では、本発明にかかる一実施形態の受
信装置として、MPEG4符号化方式を用いるディジタルテ
レビ放送を受信する受信装置の構成例を説明するが、ま
ずMPEG4に関する技術を分野ごとに分けて詳細に説明す
る。

【００１７】

【MPEG4の概要】［規格の全体構成］MPEG4規格は大きな
四つの項目からなる。このうち三つの項目はMPEG2と類
似していて、ビジュアルパート、オーディオパートおよ
びシステムパートである。

【００１８】●ビジュアルパート 自然画、合成画、動画および静止画などを扱うオブジェ
クト符号化方式が規格として定められている。また、伝
送路誤りの訂正や修復に適した符号化方式、同期再生機
能および階層符号化が含まれている。表現上『ビデオ』
は自然画像を意味し、『ビジュアル』は合成画像まで含
む。

【００１９】●オーディオパート 自然音、合成音および効果音などを対象にしたオブジェ
クト符号化方式が規格として定められている。ビデオパ
ートやオーディオパートでは複数の符号化方式を規定
し、それぞれのオブジェクトの特徴に適した圧縮方式を
適宜選択することで、符号化効率を高める工夫がされて
いる。

【００２０】●システムパート 符号化された映像オブジェクトやサウンドオブジェクト
の多重化処理と、その逆の分離処理を規定する。さらに
バッファメモリや時間軸制御と再調整機能もこのパート
に含まれる。上記のビジュアルパートおよびオーディオ
パートで符号化された映像オブジェクトやサウンドオブ
ジェクトは、シーンのなかのオブジェクトの位置や出現
時刻および消滅時刻などを記したシーン構成情報ととも
にシステムパートの多重化ストリームに統合される。復
号処理としては、受信したビットストリームから、それ
ぞれのオブジェクトを分離/復号し、シーン構成情報に
基づきシーンを再構成する。

【００２１】［オブジェクトの符号化］MPEG2ではフレ
ームあるいはフィールドを単位として符号化するが、コ
ンテンツの再利用や編集を実現するために、MPEG4では
映像データやオーディオデータをオブジェクト（物体）
として扱う。オブジェクトには以下のような種類があ
る。 サウンド 自然画像（背景映像: 二次元固定映像） 自然画像（主被写体映像: 背景なし） 合成画像 文字画像

【００２２】これらを同時に入力し符号化処理する場合
のシステム構成例を図2に示す。サウンドオブジェクト
符号化器5001、自然画像オブジェクト符号化器5002、合
成画像オブジェクト符号化器5003および文字オブジェク
ト符号化器5004により、オブジェクトはそれぞれ符号化
処理される。この符号化と略同時に、シーン内における
各オブジェクトの関連を示すシーン構成情報を、シーン
記述情報符号化器5005により符号化する。符号化された
オブジェクト情報およびシーン記述情報は、データ多重
化器5006によりMPEG4ビットストリームへエンコード処
理される。

【００２３】このようにエンコード側では、複数のビジ
ュアルオブジェクトやオーディオオブジェクトの組み合
わせを定義して、一つのシーン（画面）を表現する。ビ
ジュアルオブジェクトに関しては、自然画像とコンピュ
ータグラフィクスなどの合成画像とを組み合わせたシー
ンも構成できる。また、上記のような構成をとること
で、例えば、テキスト音声合成の機能を使って、被写体
映像とその音声との同期再生が可能になる。なお、前記
のビットストリーム状態で送受信または記録再生が行わ
れる。

【００２４】デコード処理は、先のエンコード処理の逆
処理である。データ分離器5007により、MPEG4ビットス
トリームを各オブジェクトに分離し分配する。分離され
たサウンド、自然画像、合成画像および文字などのオブ
ジェクトは、対応する復号器5008から5011によりオブジ
ェクトデータへ復号される。また、シーン記述情報も略
同時に復号器5012により復号される。これらの復号情報
を用いて、シーン合成器5013は、元のシーンを合成す
る。

【００２５】デコード側では、シーンに含まれるビジュ
アルオブジェクトの位置や、オーディオオブジェクトの
順番など、部分的な変更が可能である。オブジェクト位
置はドラッグにより変更でき、言語の変更などはユーザ
がオーディオオブジェクトを変更することで可能にな
る。

【００２６】複数のオブジェクトを自由に組み合わせて
シーンを合成するために、次の四つの項目が規定されて
いる。

【００２７】●オブジェクト符号化 ビジュアルオブジェクトおよびオーディオオブジェク
ト、並びに、それらを組み合わせたAV（オーディオビジ
ュアル）オブジェクトを符号化対象とする。

【００２８】●シーン合成 ビジュアルオブジェクト、オーディオオブジェクトおよ
びAVオブジェクトを所望するシーンに構成するためのシ
ーン構成情報と合成方式とを規定するために、Virtual
Reality Modeling Language(VRML)をモディファイした
言語を用いる。

【００２９】●多重化と同期 各オブジェクトを多重同期したストリーム（エレメンタ
リストリーム）の形式などを定める。このストリームを
ネットワークに流したり、記録装置に格納するときのサ
ービス品質QOS(Quality of Service)も設定可能であ
る。QOSパラメータには、最大伝送速度、誤り率および
伝送方式などの伝送路条件や復号能力などが設けられて
いる。

【００３０】●ユーザの操作（インタラクション） ビジュアルオブジェクトやオーディオオブジェクトを、
ユーザ端末側で合成する方式を定義する。MPEG4のユー
ザ端末は、ネットワークや記録装置から送られてくるデ
ータを、エレメンタリストリームに分離して、各オブジ
ェクトごとに復号する。複数の符号化されたデータか
ら、同時に送られてきたシーン構成情報を基にしてシー
ンを再構成する。

【００３１】ユーザ操作（編集）を考慮に入れたシステ
ムの構成例を図3に示す。また、ビデオオブジェクトに
関するVOP処理回路のエンコーダ側のブロック図を図4
に、デコーダ側のブロック図を図5に示す。

【００３２】［VOP(Video Object Plane)］MPEG4におけ
る映像の符号化は、対象の映像オブジェクトを形状(Sha
pe)とその絵柄(Texture)に分けてそれぞれ符号化する。
この映像データの単位をVOPという。図6はVOPの符号化
および復号の全体構成を示すブロック図である。

【００３３】例えば、画像が人物と背景の二つのオブジ
ェクトから構成されている場合、各フレームを二つのVO
Pに分割して符号化する。各VOPを構成する情報は、図7A
に示されるように、オブジェクトの形状情報、動き情報
およびテキスチャ情報である。一方、復号器は、ビット
ストリームをVOP毎に分離し個別に復号した後、これら
を合成して画像を形成する。

【００３４】このように、VOP構造の導入により、処理
対象の画像が複数の映像オブジェクトから構成されてい
る場合、これを複数のVOPに分割し、個別に符号化/復号
することができる。なお、VOPの数が1で、オブジェクト
形状が矩形の場合は、図7Bに示すように、従来からのフ
レーム単位の符号化になる。

【００３５】VOPには三種類の予測方式、面内符号化(I-
VOP)、前方向予測(P-VOP)および双方向予測(B-VOP)があ
る。予測単位は16×16画素のマクロブロック(MB)であ
る。

【００３６】双方向予測B-VOPは、MPEG1およびMPEG2のB
ピクチャと同じく、過去のVOPおよび未来のVOPの両方向
からVOPを予測する方式である。そして、マクロブロッ
ク単位に直接符号化/前方符号化/後方符号化/双方符号
化の四種類のモードが選択可能である。そしてこのモー
ドは、MBまたはブロック単位に切り替えることが可能で
ある。P-VOPの動きベクトルのスケーリングで双方向予
測する。

【００３７】［形状(Shape)符号化］オブジェクト（物
体）単位で画像を扱うためには、物体の形状が符号化お
よび復号の際に既知でなければならない。また、後方に
ある物体が透けて見えるガラスのような物体を表現する
ためには、物体の透明度を表す情報が必要になる。この
物体の形状および物体の透明度の情報を合わせて形状情
報と呼ぶ。そして、形状情報の符号化を形状符号化と呼
ぶ。

【００３８】［サイズ変換処理］二値形状符号化は、画
素毎に物体の外側にあるのか内側にあるのかを判定し
て、境界画素を符号化する手法である。従って、符号化
すべき画素数が少ないほど発生符号量も少なくて済む。
しかし、符号化すべきマクロブロックサイズを小さくす
ることは、元の形状符号が劣化して受信側に伝送される
ことになる。従って、サイズ変換により元の情報がどの
程度劣化するかを測定し、所定のしきい値以下のサイズ
変換誤差が得られる限りは、できるだけ小さなマクロブ
ロックサイズを選択する。具体的なサイズ変換比率とし
ては、原寸大、縦横1/2倍、縦横1/4倍の三種類が挙げら
れる。

【００３９】各VOPの形状情報は、8ビットのα値として
与えられ、次のように定義される。 α = 0: 該当VOPの外側 α = 1〜254: 他のVOPと半透明状態で表示 α = 255: 該当VOPのみの表示領域

【００４０】二値形状符号化は、α値が0あるいは255を
とる場合であり、該当VOPの内側と外側のみで形状が表
現される。多値形状符号化は、α値が0から255のすべて
の値を取り得る場合で、複数のVOP同士が半透明で重畳
された状態を表現することができる。

【００４１】テキスチャ符号化と同様に16×16画素のブ
ロック単位に一画素精度の動き補償予測をする。オブジ
ェクト全体を面内符号化する場合は形状情報の予測はし
ない。動きベクトルは、隣接するブロックから予測した
動きベクトルの差分を用いる。求めた動きベクトルの差
分値は、符号化してからビットストリームに多重化す
る。MPEG4では、動き補償予測したブロック単位の形状
情報を二値形状符号化する。

【００４２】●フェザーリング その他、二値形状の場合でも、境界部を不透明から透明
に滑らかに変化させたい場合はフェザーリング（境界形
状のスムージング）を使う。フェザーリングは、境界値
を線形に補間する線形フェザーリングモードと、フィル
タを使うフェザーリングフィルタモードがある。不透明
度が一定な多値形状には、定アルファモードがあり、フ
ェザーリングと組み合わせが可能である。

【００４３】［テキスチャ符号化］オブジェクトの輝度
成分や色差成分の符号化を行うもので、フィールド/フ
レーム単位のDCT(Discrete Cosine Tranfer)、量子化、
予測符号化および可変長符号化の順に処理する。

【００４４】DCTは8×8画素のブロックを処理単位とす
るが、オブジェクト境界がブロック内にある場合は、オ
ブジェクトの平均値でオブジェクト外の画素を補填す
る。その後、4タップの二次元フィルタ処理を施すこと
で、DCT係数に大きな擬似ピークが発生する現象を防
ぐ。

【００４５】量子化はITU-T勧告H.263の量子化器あるい
はMPEG2の量子化器の何れかを使う。MPEG2量子化器を使
えば、直流成分の非線形量子化やAC成分の周波数重み付
けが可能になる。

【００４６】量子化後の面内符号化係数は、可変長符号
化する前にブロック間で予測符号化し冗長成分を削除す
る。とくに、MPEG4では直流成分と交流成分の両方に対
して予測符号化する。

【００４７】テキスチャ符号化のAC/DC予測符号化は、
図8に示すように、注目ブロックに隣接するブロック間
で対応する量子化係数の差分（勾配）を調べ、小さい方
の量子化係数を予測に使う。例えば、注目ブロックの直
流係数xを予測する場合、対応する隣接ブロックの直流
係数がa、bおよびcならば次のようになる。 |a - b| < |b - c| ならば直流係数cを予測に使う |a - b| ≧ |b - c| ならば直流係数aを予測に使う

【００４８】注目ブロックの交流係数Xを予測する場合
も、上記と同様に予測に使う係数を選んだ後、各ブロッ
クの量子化スケール値QPで正規化する。

【００４９】直流成分の予測符号化は、隣接するブロッ
ク間で上下に隣接するブロックの直流成分の差（垂直勾
配）と、左右に隣接するブロックの直流成分の差（水平
勾配）を調べ、勾配の少ない方向のブロックの直流成分
との差分を予測誤差として符号化する。

【００５０】交流成分の予測符号化は、直流成分の予測
符号化に合わせて、隣接ブロックの対応する係数を用い
る。ただし、量子化パラメータの値がブロック間で異な
っている可能性があるので、正規化（量子化ステップス
ケーリング）してから差分をとる。予測の有無はマクロ
ブロック単位に選択できる。

【００５１】その後、交流成分は、ジグザグスキャンさ
れ、三次元(Last、RunおよびLevel)可変長符号化され
る。ここで、Lastはゼロ以外の係数の終りを示す1ビッ
トの値、Runはゼロの継続長、Levelは非ゼロ係数の値で
ある。

【００５２】面内符号化された直流成分の可変長符号化
には、直流成分用可変長符号化テーブルまたは交流成分
用可変長テーブルの何れかを使う。

【００５３】［動き補償］MPEG4では任意の形状のビデ
オオブジェクトプレーン(VOP)を符号化することができ
る。VOPには、前述したように、予測の種類によって面
内符号化(I-VOP)、前方向予測符号化(P-VOP)および双方
向予測符号化(B-VOP)があり、予測単位は16ライン×16
画素または8ライン×8画素のマクロブロックを使う。従
って、VOPの境界上に跨るマクロブロックも存在するこ
とになる。このVOP境界の予測効率を改善するために、
境界上のマクロブロックに対してはパディング（補填）
およびポリゴンマッチング（オブジェクト部分のみのマ
ッチング）を行う。

【００５４】［ウェーブレット符号化］ウェーブレット
(wavelet)変換は、一つの孤立波関数を拡大/縮小/平行
移動して得られる複数の関数を変換基底とする変換方式
である。このウェーブレット変換を用いた静止画像の符
号化モード(Texture Coding Mode)は、とくにコンピュ
ータグラフィックス(CG)画像と自然画像とが合成された
画像を扱う場合に、高解像度から低解像度までの様々な
空間解像度を備えた高画質の符号化方式として適してい
る。ウェーブレット符号化は、画像をブロック分割せず
一括して符号化することができるため、低ビットレート
でもブロック歪みが発生せず、モスキート雑音も減少で
きる。このように、MPEG4の静止画像符号化モードは、
低解像度かつ低画質の画像から高解像度かつ高画質の画
像までの幅広いスケーラビリティ、処理の複雑性および
符号化効率のトレードオフの関係をアプリケーションに
応じて調整できる。

【００５５】［階層符号化（スケーラビリティ）］スケ
ーラビリティを実現するために、図9Aおよび9Bに示すよ
うなシンタックスの階層構造を構成する。階層符号化
は、例えばベースレイヤを下位レイヤ、補強レイヤを上
位レイヤとし、補強レイヤにおいてベースレイヤの画質
を向上する「差分情報」を符号化することによって実現
される。空間スケーラビリティの場合、ベースレイヤは
低解像度の動画像を、「ベースレイヤ+補強レイヤ」で
高解像度の動画像を表す。

【００５６】さらに、画像全体の画質を階層的に向上さ
せるほかに、画像中の物体領域のみ画質を向上させる機
能がある。例えば、時間スケーラビリティの場合、ベー
スレイヤは画像全体を低いフレームレートで符号化した
もの、補強レイヤは画像内の特定オブジェクトのフレー
ムレートを向上させるデータを符号化したものになる。

【００５７】●時間スケーラビリティ 図9Aに示す時間スケーラビリティは、フレーム速度を階
層化し、補強レイヤのオブジェクトのフレーム速度を速
くすることができる。階層化の有無はオブジェクト単位
で設定できる。補強レイヤのタイプは二つで、タイプ1
はベースレイヤのオブジェクトの一部で構成する。タイ
プ2はベースレイヤと同じオブジェクトで構成する。

【００５８】●空間スケーラビリティ 図9Bに示す空間スケーラビリティは空間解像度を階層化
する。ベースレイヤは、任意のサイズのダウンサンプリ
ングが可能で、補強レイヤの予測に使用される。

【００５９】［スプライト符号化］スプライトとは、三
次元空間画像における背景画像などのように、オブジェ
クト全体が統一的に移動、回転、変形などを表現できる
平面的なオブジェクトのことである。この平面的オブジ
ェクトを符号化する手法をスプライト符号化と呼ぶ。

【００６０】スプライト符号化は四種、静的/動的およ
びオンライン/オフラインに区別される。詳しく説明す
ると、オブジェクトデータを予め復号器に送り、グロー
バル動き係数だけをリアルタイムに伝送する構成であっ
て、テンプレートオブジェクトの直接変換で得られる静
的スプライト。時間的に前のスプライトからの予測符号
化により得られる動的スプライト。事前に面内符号化(I
-VOP)により符号化され、復号器側に伝送されるオフラ
インスプライト。符号化中に符号化器および復号器で同
時に作成されるオンラインスプライトがある。

【００６１】スプライト符号化に関して検討されている
技術には、スタティックスプライト(Static Sprite)符
号化、ダイナミックスプライト(Dynamic Sprite)符号
化、グローバル動き補償などがある。

【００６２】●スタティックスプライト符号化 スタティックスプライト符号化は、ビデオクリップ全体
の背景（スプライト）を予め符号化しておき、背景の一
部を幾何変換することによって画像を表現する方法であ
る。切り出された一部の画像は、平行移動、拡大/縮
小、回転など様々な変形を表現することができる。これ
について図10Aに示すように、画像の移動、回転、拡大/
縮小、変形などにより三次元空間における視点移動を表
現することをワープと呼ぶ。

【００６３】ワープの種類には遠近法変換、アフィン変
換、等方拡大(a)/回転(θ)/移動(c,f)および平行移動が
あり、図10Bの各式で表される。図10Bに示す式の係数に
よって移動、回転、拡大/縮小、変形などが表される。
また、スプライトの生成は符号化開始前にオフラインで
行われる。

【００６４】このように、背景画像の一部領域を切り取
り、この領域をワープして表現することでスタティック
スプライト符号化は実現される。図11に示すスプライト
（背景）画像に含まれる一部領域がワープされることに
なる。例えば、背景画像はテニスの試合における観客席
などの画像であり、ワープされる領域はテニスプレーヤ
などの動きのあるオブジェクトを含んだ画像である。ま
た、スタティックスプライト符号化においては、幾何変
換パラメータのみを符号化して、予測誤差を符号化しな
い。

【００６５】●ダイナミックスプライト符号化 スタティックスプライト符号化では符号化前にスプライ
トが生成される。これに対して、ダイナミックスプライ
ト符号化では、符号化しながらオンラインにスプライト
を更新することができる。また、予測誤差を符号化する
という点でスタティックスプライト符号化とは異なる。

【００６６】●グローバル動き補償(GMC) グローバル動き補償とは、オブジェクト全体の動きを、
ブロックに分割することなく、一つの動きベクトルで表
して動き補償する技術であり、剛体の動き補償などに適
している。参照画像が、スプライトの代わりに直前の復
号画像になる点、予測誤差を符号化する点では、スタテ
ィックスプライト符号化と同様である。ただし、スプラ
イトを格納するためのメモリを必要としないこと、形状
情報が不要であることは、スタティックスプライト符号
化およびダイナミックスプライト符号化とは異なる。画
面全体の動きや、ズームを含む画像などにおいて効果が
ある。

【００６７】［シーン構造記述情報］シーン構成情報に
よりオブジェクトは合成される。MPEG4では、各オブジ
ェクトをシーンに合成するための構成情報を伝送する。
個別に符号化された各オブジェクトを受信したときに、
シーン構成情報を使えば、送信側が意図したとおりのシ
ーンに合成できる。

【００６８】シーン構成情報には、オブジェクトの表示
時間や表示位置などが含まれ、これらがツリー状のノー
ド情報として記述されている。各ノードは、親ノードに
対する時間軸上の相対時刻情報と相対空間座標位置情報
をもつ。シーン構成情報を記述する言語には、VRMLを修
正したBIFS(Binary Format for Scenes)とJava(TM)を用
いたAAVS(Adaptive Audio-Visual Session Format)があ
る。BIFSは、MPEG4のシーン構成情報を二値で記述する
形式。AAVSはJava(TM)をベースとし、自由度が大きくBI
FSを補う位置付けにある。図12はシーン記述情報の構成
例を示す図である。

【００６９】［シーン記述］シーン記述はBIFSによって
行われる。ここでは、VRMLとBIFS共通の概念であるシー
ングラフとノードを中心に説明する。

【００７０】ノードは光源、形状、材質、色および座標
などの属性や、座標変換を伴う下位ノードのグループ化
を指定する。オブジェクト指向の考えを取り入れ、三次
元空間中の各物体の配置やみえ方は、シーングラフと呼
ばれる木を、頂点のノードから辿り、上位ノードの属性
を継承することにより決定される。葉にあたるノードに
メディアオブジェクト、例えば、MPEG4ビデオのビット
ストリームを同期をとって割当てれば、他のグラフィク
スと伴に動画を三次元空間内に合成して表示することが
できる。

【００７１】また、VRMLとの差異は下記のとおりであ
る。MPEG4システムでは次をBIFSでサポートする。 (1)MPEG4ビデオVOP符号化の二次元オーバラップ関係記
述と、MPEG4オーディオの合成記述 (2)連続メディアストリームの同期処理 (3)オブジェクトの動的振る舞い表現（例えばスプライ
ト） (4)伝送形式（バイナリ）を標準化 (5)セッション中にシーン記述を動的に変更

【００７２】VRMLのノードのうちExtrusion、Script、P
rotoおよびExtemProtoなどがサポートされていない以外
は、VRMLノードのほぼすべてがBIFSでサポートされてい
る。BIFSで新たに加えられたMPEG4特別ノードには、以
下のものがある。 (1)2D/3D合成のためのノード (2)2Dグラフィクスやテクストのためのノード (3)アニメーションノード (4)オーディオノード

【００７３】特筆すべきは、VRMLでは背景など特殊なノ
ードを除き2D合成はサポートされていなかったが、BIFS
では、テキストやグラフィックオーバレイ、さらにMPEG
4ビデオVOP符号化を画素単位で扱えるように記述が拡張
されている。

【００７４】アニメーションノードには、3Dメッシュで
構成された顔などMPEG4のCG画像のための特別なノード
が規定されている。シーングラフ中のノードの置き換
え、消去、追加および属性変更が動的に行えるメッセー
ジ(BIFS Update)があり、セッションの途中で画面上に
新たな動画像を表示したり、ボタンを追加することが可
能になる。BIFSは、VRMLの予約語、ノード識別子および
属性値をほぼ一対一にバイナリデータに置き換えること
により実現できる。

【００７５】［MPEG4オーディオ］図13にMPEG4オーディ
オの符号化方式の種類を示す。オーディオおよびサウン
ドの符号化には、パラメトリック符号化、CELP(Code Ex
cited Linear Prediction)符号化、時間/周波数変換符
号化が含まれる。さらに、SNHC(Synthetic Natural Hyb
rid Coding)オーディオの機能も取り入れ、SA（Structu
red Audio: 構造化オーディオ）符号化とTTS（Text to
Speech: テキストサウンド合成）符号化が含まれる。SA
はMIDI(Music Instrument Degital Interface)を含む合
成楽音の構造的記述言語であり、TTSは外部のテキスト
音声合成装置にイントネーションや音韻情報などを送る
プロトコルである。

【００７６】図14にオーディオ符号化方式の構成を示
す。図14において、入力サウンド信号を前処理(201)
し、パラメトリック符号化(204)、CELP符号化(205)およ
び時間/周波数符号化(206)の三つの符号化を使い分ける
ように、帯域に応じて信号分割(202)し、それぞれに適
した符号化器へ入力する。また、信号分析制御(203)に
より、入力オーディオ信号が分析され、入力オーディオ
信号を各符号化器へ割り当てるための制御情報などが発
生される。

【００７７】続いて、それぞれ別の符号化器であるパラ
メトリック符号化コア(204)、CELP符号化コア(205)、時
間/周波数変換符号化コア(206)は、各符号化方式に基づ
いた符号化処理を実行する。これら三種の符号化方式に
ついては後述する。パラメトリック符号化およびCELP符
号化されたオーディオデータは、小ステップ強化(207)
され、時間/周波数変換符号化および小ステップ強化さ
れたオーディオデータは、大ステップ強化(208)され
る。なお、小ステップ強化(207)および大ステップ強化
(208)は、各符号化処理で発生する歪を減少させるため
のツールである。こうして、大ステップ強化されたオー
ディオデータは、符号化されたサウンドビットストリー
ムになる。

【００７８】以上が図75のサウンド符号化方式の構成の
説明であるが、次に、図13を参照しながら各符号化方式
について説明する。

【００７９】●パラメトリック符号化 音声信号や楽音信号を含むサウンド信号を周波数、振幅
およびピッチなどのパラメータで表現し、それを符号化
する。音声信号用の調波ベクトル駆動符号化(HVXC: Har
monic Vector Excitation Coding)と、楽音信号用の個
別スペクトル(IL: Individual Line)符号化が含まれ
る。

【００８０】HVXC符号化は、主として2k〜4kbpsの音声
符号化を目的とし、音声信号を有声音と無声音に分類
し、有声音は線形予測係数(LPC: Linear Prediction Co
efficient)の残差信号の調波（ハーモニック）構造をベ
クトル量子化する。無声音については、予測残差をその
ままベクトル駆動符号化(vector excitation coding)す
る。

【００８１】IL符号化は、6k〜16kbpsの楽音の符号化を
目的としており、信号を線スペクトルでモデル化して符
号化するものである。

【００８２】●CELP符号化 入力サウンド信号をスペクトル包絡情報と音源情報（予
測誤差）とに分離して符号化する方式である。スペクト
ル包絡情報は、入力サウンド信号から線形予測分析によ
って算出される線形予測係数によって表される。MPEG4
のCELP符号化には帯域幅4kHzの狭帯域CELPと、帯域幅8k
Hzの広帯域CELPがあり、狭帯域(NB: Narrow Band) CEL
Pは3.85〜12.2kbps、広帯域(WB: Wide Band) CELPは13.
7k〜24kbpsの間においてビットレートの選択が可能であ
る。

【００８３】●時間/周波数変換符号化 高音質を目指す符号化方式である。AAC(Advanced Audio
Coding)に準拠する方式、およびTwinVQ（Transform-do
main Weighted Interleave Vector Quantization: 変換
領域重み付けインタリーブベクトル量子化）がこれに含
まれる。この時間/周波数変換符号化には聴覚心理モデ
ルが組み込まれ、聴覚マスキング効果を利用しながら適
応量子化する仕組みになっている。

【００８４】AAC準拠方式は、オーディオ信号をDCTなど
で周波数変換し、聴覚マスキング効果を利用しながら適
応量子化する仕組みである。適応ビットレートは24k〜6
4kbpsである。

【００８５】TwinVQ方式は、オーディオ信号を線形予測
分析したスペクトル包絡を用いて、オーディオ信号のMD
CT係数を平坦化する。インタリーブを施した後、二つの
符号長を用いてベクトル量子化する仕組みである。適応
ビットレートは6k〜40kbpsである。

【００８６】［システム構造］MPEG4のシステムパート
では、多重化、分離および合成（コンポジション）を定
義する。以下、図15を用いてシステム構造を説明する。

【００８７】多重化においては、映像符号化器やオーデ
ィオ符号化器からの出力である各オブジェクトや、各オ
ブジェクトの時空間配置を記述したシーン構成情報など
のエレメンタリストリームごとに、アクセスユニットレ
イヤでパケット化される。アクセスユニットレイヤで
は、アクセスユニット単位に同期を取るためのタイムス
タンプや参照クロックなどがヘッダとして付加される。
パケット化されたストリームは、次に、FlexMuxレイヤ
で表示や誤り耐性の単位で多重化され、TransMuxレイヤ
へ送られる。

【００８８】TransMuxレイヤでは、誤り耐性の必要度に
応じて誤り訂正符号が保護サブレイヤで付加される。最
後に、多重サブレイヤ(Mux Sub Layer)で一本のTransMu
xストリームとして伝送路に送り出される。TransMuxレ
イヤは、MPEG4では定義されず、インターネットのプロ
トコルであるUDP/IP(User Datagram Protocol/Internet
Protocol)やMPEG2のトランスポートストリーム(TS)、A
TM(Asynchronous Transfer Mode)のAAL2(ATM Adaptatio
n layer2)、電話回線利用のテレビ電話用多重化方式（I
TU-T勧告H.223）、および、ディジタルオーディオ放送
などの既存のネットワークプロトコルが利用可能であ
る。

【００８９】システムレイヤのオーバヘッドを軽くし、
従来のトランスポートストリームに容易に埋め込めるよ
うに、アクセスユニットレイヤやFlexMuxレイヤをバイ
パスすることも可能である。

【００９０】復号側では、各オブジェクトの同期を取る
ために、デマルチプレクス（分離）の後段にバッファ(D
B: Decoding Buffer)を設け、各オブジェクトの到達時
刻や復号時間のずれを吸収する。合成の前にもバッファ
(CB: Composition Buffer)を設けて表示タイミングを調
整する。

【００９１】［ビデオストリームの基本構造］図16にレ
イヤ構造を示す。各階層をクラスと呼び、各クラスには
ヘッダが付く。ヘッダとはstart code、end code、ID、
形状およびサイズほかの各種符号情報である。

【００９２】●ビデオストリーム ビデオストリームは複数のセッションで構成される。セ
ッションとは、一連の完結したシーケンスのことであ
る。 VS: セッションは複数のオブジェクトで構成される VO: ビデオオブジェクト VOL: オブジェクトは複数のレイヤを含むオブジェクト
単位のシーケンス GOV: オブジェクトは複数のレイヤで構成される VOP: オブジェクトレイヤは複数のプレーンで構成され
る ただし、プレーンはフレーム毎のオブジェクト

【００９３】［誤り耐性を有するビットストリーム構
造］MPEG4は、移動体通信（無線通信）などに対応すべ
く、符号化方式自体が伝送誤りに対する耐性を有してい
る。既存の標準方式における誤り訂正は主にシステム側
で行っているが、PHS(Personal Handy phone System)な
どのネットワークでは誤り率が非常に高く、システム側
では訂正しきれない誤りがビデオ符号化部分に漏れ込ん
でくることが予想される。これを考慮して、MPEG4は、
システム側で訂正しきれなかった各種のエラーパターン
を想定し、このような環境の下でも可能な限り誤りの伝
播が抑制されるような誤り耐性符号化方式とされてい
る。ここでは、画像符号化に関する誤り耐性の具体的な
手法と、そのためのビットストリーム構造を説明する。

【００９４】●Reversible VLC(RVLC)と双方向復号 図17に示すように、復号途中で誤りの混入が確認された
場合、そこで復号処理を一旦停止し、次の同期信号の検
出を行う。次の同期信号が検出できた段階で、今度はそ
こから逆向きにビットストリームの復号処理を行う。新
たな付加情報なしに、復号のスタートポイントが増加し
ていることになり、誤り発生時に復号できる情報量を従
来よりも増やすことが可能になる。このような順方向と
同時に逆方向からも復号可能な可変長符号により「双方
向復号」が実現される。

【００９５】●重要情報の複数回伝送 図18に示すように、重要情報を複数回伝送することが可
能な構成を導入し、誤り耐性を強化する。例えば、各VO
Pを正しいタイミングで表示するためにはタイムスタン
プが必要であり、この情報は最初のビデオパケットに含
まれている。仮に、誤りによってこのビデオパケットが
消失しても、前記の双方向復号構造により次のビデオパ
ケットから復号が再開できるが、このビデオパケットに
はタイムスタンプがないため、結局、表示タイミングが
わからないことになる。そのため各ビデオパケットにHE
C(Header Extension Code)というフラグを立て、この後
にタイムスタンプなどの重要情報を付加できる構造が導
入された。HECフラグの後には、タイムスタンプとVOPの
符号化モードタイプとが付加できる。

【００９６】同期はずれが生じた場合は、次の同期回復
マーカ(RM)から復号が開始されるが、各ビデオパケット
にはそのために必要な情報、そのパケットに含まれる最
初のMBの番号およびそのMBに対する量子化ステップサイ
ズがRM直後に配置されている。その後にHECフラグが挿
入され、HEC=‘1’の場合にはTRおよびVCTがその直後に
付加される。これらHEC情報により、仮に、先頭のビデ
オパケットが復号できずに廃棄されても、HEC=‘1’と
設定したビデオパケット以降の復号および表示は正しく
行われることになる。なお、HECを‘1’にするか否かは
符号化側で自由に設定できる。

【００９７】●データパーティショニング 符号化側では、MB単位の符号化処理を繰り返してビット
ストリームを構成するため、途中に誤りが混入すると、
それ以降のMBデータは復号できない。一方、複数のMB情
報をまとめて幾つかのグループに分類し、それぞれをビ
ットストリーム内に配置し、各グループの境目にマーカ
情報を組み込めば、仮にビットストリームに誤りが混入
してそれ以降のデータが復号できない場合でも、そのグ
ループの最後にあるマーカで同期を取り直して、次のグ
ループのデータを正しく復号することが可能になる。

【００９８】以上の考えに基づき、ビデオパケット単位
に、動きベクトルとテクスチャ情報（DCT係数など）と
にグループ分けするデータパーティショニング手法(Dat
a Partitioning)が採用されている。また、グループの
境目にはモーションマーカ(MM:Motion Marker)が配置さ
れる。

【００９９】仮に、動きベクトル情報の途中に誤りが混
入していても、MMの後にくるDCT係数は正しく復号でき
るため、誤り混入以前の動きベクトルに対応するMBデー
タはDCT係数とともに正確に再生できる。またTexture部
分に誤りが混入した場合でも、動きベクトルが正しく復
号されていれば、その動きベクトル情報と復号済みの前
フレーム情報とを用いて、ある程度正確な画像が補間再
生（コンシールメント）できる。

【０１００】●可変長間隔同期方式 ここでは、可変長パケットで構成されている同期回復手
法を説明する。先頭に同期信号を含んだMB群は「ビデオ
パケット」と呼ばれ、その中に何個のMBを含めるかは符
号化側で自由に設定することができる。可変長符号(VL
C: Variable Length Code)を使用するビットストリーム
に誤りが混入した場合、それ以降の符号の同期が取れな
くなり、復号不可能な状態になる。このような場合で
も、次の同期回復マーカを検出することにより、その後
の情報を正しく復号することが可能になる。

【０１０１】［バイトアライメント］システムとの整合
性をとるために、情報の多重化はバイトの整数倍単位で
行われる。ビットストリームは、バイトアラインメント
(Byte alignment)構造となっている。バイトアラインメ
ントを行うために、各ビデオパケットの最後にスタッフ
ビットが挿入される。さらにこのスタッフビットは、ビ
デオパケット内のエラーチェック符号としても使用され
る。

【０１０２】スタッフビットは‘01111’のように、最
初の1ビットが‘0’で、それ以外のビットがすべて
‘1’であるような符号で構成されている。つまりビデ
オパケット内の最後のMBまで正しく復号されれば、その
次に来る符号は必ず‘0’であり、その後にはスタッフ
ビットの長さより1ビット分だけ短い‘1’の連続がある
はずである。もし、このルールに反したパターンが検出
された場合、それ以前の復号が正しく行われていないこ
とになり、ビットストリームに誤りが混入していたこと
が検出できる。

【０１０３】以上、「国際標準規格MPEG4の概要決ま
る」（日経エレクトロニス 1997.9.22号 p.147-168）、
「見えてきたMPEG4の全貌」（社団法人映像情報メディ
ア学会テキスト 1997.10.2）、「MPEG4の最新標準化動
向と画像圧縮技術」（日本工業技術センター セミナー
資料 1997.2.3）などを参考にして、MPEG4の技術に関し
て説明した。

【０１０４】

【第1実施形態】［構成］以下、本発明にかかる一実施
形態のテレビ放送受信装置を図面を参照して詳細に説明
する。図19は本発明にかかる実施形態のテレビ放送受信
装置の構成例を示すブロック図である。

【０１０５】ディジタルテレビ放送の信号は、その放送
形態に応じて、衛星放送のときは衛星アンテナ21および
チューナ23により、ケーブル放送のときはケーブル22を
介してチューナ24により、選局され受信される。こうし
て衛星放送もしくはケーブル放送から受信されたテレビ
情報は、データ選択器43により一方のデータ列が選択さ
れ、復調回路25で復調され、誤り訂正回路26で誤り訂正
される。

【０１０６】続いて、テレビ情報は、多重信号分離回路
27により多重されている各データ、つまり画像データ、
サウンドデータおよびその他のシステムデータ（追加デ
ータ）に分離される。このうち、サウンドデータは、サ
ウンド復号回路28で復号され、ステレオオーディオデー
タA(L),A(R)になり、サウンド制御部30により音量や音
場定位の調整および主/副音声などサウンド多重への対
応が処理された後、出力するサウンドが選択され、ディ
ジタル-アナログコンバータ(D/A)29によりアナログ信号
に変換されて、スピーカ31により再生される。

【０１０７】一方、画像データは、画像データ中の各オ
ブジェクトにそれぞれに対応して復号処理を行う複数の
復号器からなる画像復号回路32で復号される。この復号
方式は、既に説明したMPEG4の画像復号方式に基づくオ
ブジェクト単位の復号である。復号された画像データ
は、オブジェクトの数に相当する画像v(1)からv(i)にな
り、表示制御部34により表示に基づく様々な処理が施さ
れる。

【０１０８】表示制御部34が行う表示制御とは、各オブ
ジェクトを表示するか否か、各オブジェクトの拡大/縮
小、どこに表示するかなどを行う。さらに、表示制御
は、オブジェクトとキャラクタ発生回路40で発生された
キャラクタ画像（時間表示やインデックスタイトルな
ど）との合成などの各種表示処理も行う。これらの表示
制御は、各オブジェクトの配置情報、すなわちシーン記
述データ変換回路39からのシーン記述情報に基づき、シ
ステムコントローラ38の制御に応じて行われるものであ
る。

【０１０９】形成された表示画像は、D/A33でアナログ
化されCRT35に表示されるか、もしくは、ディジタル信
号のまま液晶ディスプレイ(LCD)44などに送られて表示
される。

【０１１０】他方、システムデータ（追加データを含
む）はシステムデータ復号回路36で復号される。復号さ
れたシステムデータの中からは、ID検出部37により番組
に付加された番組IDが検出される。検出された番組ID
は、システムコントローラ38へ入力され、番組判別のた
めの専用コマンドになる。また、復号されたシステムデ
ータの中から、シーン記述に関するデータがシーン記述
データ変換部39に入力される。その他のシステムデータ
（時間データはここに含まれる）は、システムコントロ
ーラ38に各種コマンドとして入力される。なお、追加デ
ータには、番組のタイトルインデックスなど、ドキュメ
ントなども含まれていてもよい。

【０１１１】シーン記述データ変換部39で構成されたシ
ーン記述データを用いて、表示制御部34における各オブ
ジェクトのレイアウトの設定や、サウンド制御部30にお
ける音量や音場定位などの設定が行われる。また、シス
テムコントローラ38の制御に基づき、シーン記述データ
変換部39を調整し、表示制御部34を制御することで、基
本レイアウトとは異なり、ユーザが所望する各オブジェ
クトの任意レイアウト設定を行うことができる。このレ
イアウト設定方法については後述する。

【０１１２】また、オブジェクトとしては扱われていな
い表示画像、例えば時間表示画面やタイトルインデック
スなどを生成するときは、キャラクタ発生回路40が用い
られる。システムコントローラ38の制御により、追加デ
ータに含まれる時間データもしくは受信機内部で生成さ
れた時間情報などから、キャラクタデータが保存されて
いるROMなどのメモリ42を用いて、時間表示キャラクタ
が生成される。タイトルインデックスも同様である。こ
こで生成された画像は、表示制御部34において合成など
が行われる。

【０１１３】また、ユーザは指示入力部45を介して各種
コマンドを入力することができる。ユーザの指示入力に
基づき、レイアウト設定変更されるオブジェクトの位置
や、サイズなどが調整され、所望のレイアウトで表示さ
れる。すなわち、レイアウトの補正や、新規設定値の入
力は指示入力部45から行われる。指示入力値に応じてシ
ステムコントローラ38は、所望の出力（表示、再生）形
態が得られるように各部の動作を適切に制御する。

【０１１４】［レイアウトの設定］ここで、具体的なレ
イアウトの設定方法を説明する。図20はレイアウト設定
する際の位置データの設定方法を説明する図、図21はレ
イアウト設定する際のイメージと指示の入力方法とを説
明する図である。

【０１１５】オブジェクトの位置設定には二つ方法があ
る。第一の方法はシーン記述データで規定される基本レ
イアウトを位置補正（シフト）する方法であり、第二の
方法はユーザが任意の場所にオブジェクトの位置を新規
に設定する方法である。両者は、ユーザの操作に応じ
て、図20に示すセレクタ302で選択可能である。

【０１１６】まず、第一の方法であるシフトする方法に
ついて説明する。オブジェクトとして画像データが入力
され、そのオブジェクトの基本位置はシーン記述データ
で指定される位置データ(X0,Y0)で表される。ユーザが
オブジェクトのシフトを望む場合、加算器301により補
正量(ΔX,ΔY)が位置データ(X0,Y0)に加算され、新たな
位置データ(X',Y')がオブジェクトのレイアウト設定デ
ータになる。第二の方法である新規設定する方法につい
て説明する。基本位置データに関係なく、全く新たにオ
ブジェクトの位置(X,Y)を設定し、これを基本位置デー
タに代わる位置データ(X',Y')にする。このようにして
オブジェクトの移動が実現される。

【０１１７】また、システムコントローラ38は、表示制
御部34を制御して、オブジェクトを表示画面に合成する
かしないかによりオブジェクトの表示のオン/オフを、
画素の拡大/間引き処理により拡大/縮小などの処理を実
現する。このときの制御データは、レイアウト設定デー
タとして保持される。

【０１１８】サウンドデータに関してシステムコントロ
ーラ38は、シーン記述データ変換部39を制御すること
で、サウンド用シーン記述データを調整、変更し、所望
のオーディオ出力が得られるようにする。これをサウン
ドレイアウトと呼び、このときの制御データをサウンド
用レイアウト設定データと呼ぶ。

【０１１９】図12は、上述した位置の設定方法を図示す
る図である。CRTなどの表示装置303において、操作対象
の基本位置(X0,Y0)にあるオブジェクト306は、シフト位
置307までシフトする場合、そのときのシフト量を基本
位置データに加えた最終的な位置データであるレイアウ
ト設定データ(X',Y')は(X0+ΔX,Y0+ΔY)になる。また、
ユーザが任意に新規設定位置308へオブジェクトを配置
する場合、そのレイアウト設定データ(X',Y')は(X,Y)に
なる。

【０１２０】また、図21には指示入力部45に含まれるポ
インティングデバイスの一例としてマウス304およびリ
モートコントローラ305を示す。マウス304を使ったり、
リモートコントローラ305の方向入力キー（十字キー、
ジョイスティックおよびジョイパッドなどでもよい）を
使うことによって、自由なオブジェクトの移動を容易に
操作することが可能である。なお、オブジェクトを移動
する位置および新たに設定する位置は、画面の四隅や中
央などプリセットされた幾つかの位置から選ぶような構
成をとることもできる。

【０１２１】テレビ放送データの中には、番組IDが含ま
れている。この番組IDを利用することで、各番組毎に、
設定されたレイアウトを番組IDと対応付けてデータ化
し、レイアウト設定データとして記憶しておくことがで
きる。この記憶場所は、EEPROMなどの不揮発性メモリ41
が利用される。システムコントローラ38は、テレビ放送
データからメモリ41に記憶されている番組IDが検出され
ると、その番組IDに対応するレイアウト設定データを基
に、シーン記述データ変換部39および表示制御部34を制
御し、ユーザにより設定されたレイアウトで画像表示お
よびサウンド再生を行う。

【０１２２】続いて、レイアウト設定データについて説
明する。基本的には、シーン記述データから得られるオ
ブジェクト配置情報を基にして、オブジェクト配置情報
に加え、ユーザがレイアウト設定したときのオブジェク
トのシフト量や変更情報（例えば表示オン/オフや新規
位置）をデータ化して、レイアウト設定データとして記
憶すればよい。シーン記述データについては図12を用い
て既に説明したが、各シーンを構成するオブジェクトを
ツリー型に配列し、それぞれのオブジェクトが表示され
るべき時間や、表示されるべき位置を指定するための情
報である。

【０１２３】また、その他のレイアウト設定データの構
成として、図22に示すように、そのオブジェクトを表示
するか否かを示すオン/オフデータ、表示位置をXおよび
Y軸で二次元表現したときの表示位置データ、並びに、
大きさを示すデータを保持することによって、レイアウ
ト設定データとして活用することができる。

【０１２４】図23は本実施形態による映像の表示形態例
を示す図である。

【０１２５】放送局から送られてくる映像をそのまま通
常表示すると図23に示す基本画像106になる。この場
合、基本画像106は、オブジェクトとして全体画像（背
景: スプライト）101、現場中継画像102、時間表示画像
103、天気予報画像104およびサウンドオブジェクトから
なる。図23の表示例では、時間表示画像103も、オブジ
ェクトとして画像データ中に含まれている。

【０１２６】図24は一般的なMPEG4ビットストリームの
構成を示す図である。図23の表示例に含まれる各オブジ
ェクトが図24のオブジェクト1から4までのデータベース
に組み込まれている。オブジェクト1からオブジェクト5
はそれぞれ全体画像101、現場中継画像102、時間表示画
像103、天気予報画像104およびサウンドデータに対応
し、さらに、システムデータとしてシーン記述情報およ
び番組IDなどを含む追加データが多重化され、ビットス
トリームを構成する。

【０１２７】本実施形態を用いることで、図23の設定例
107に示すように、全体画像101を縮小し、中継画像102
を拡大し、時間表示画像103および天気予報画像104を移
動することができる。また、設定例108に示すように、
時間表示画像103を拡大することができる。このような
設定が番組ID毎に自由に設定でき、表示設定された後
は、対応する番組IDが検出されると、記憶されている設
定情報がメモリ41から読み出され、その番組の映像が設
定された形態で表示される。

【０１２８】［動作手順］図25は本実施形態のテレビ放
送受信装置の動作手順例を説明するフローチャートであ
る。

【０１２９】まず、テレビ情報が受信され（ステップS
1）、テレビ情報に付加された追加データから番組IDが
検出される（ステップS2）。番組IDは、放送局により番
組毎に異なるIDが付加され、その他の追加データととも
に各テレビ情報に多重化されたものである。検出された
番組IDを基に、その番組IDに対応するレイアウト設定デ
ータが保存されているか否かが判断される（ステップS
3）。

【０１３０】レイアウト設定データが保存された番組の
場合、メモリ41から該当するレイアウト設定データが読
み出され（ステップS4）、保存されたレイアウト設定デ
ータに基づく映像の表示を行ってよいか否かをユーザに
確認し（ステップS5）、許可された場合は設定されたレ
イアウトにより番組の映像を表示する（ステップS6）。

【０１３１】また、レイアウト設定データが保存されて
ない番組の場合、および、保存されたレイアウト設定デ
ータに基づく映像の表示が拒否された場合は、その番組
に対して新規にレイアウト設定を行うか否かが判断され
る（ステップS7）。新規にレイアウト設定しないとき、
または、する必要がないときは、放送局から送られてく
るままの基本レイアウトで番組の映像が表示される（ス
テップS8）。

【０１３２】また、新規にレイアウトを設定する場合
は、レイアウト設定モードへ移行し（ステップS9）、テ
レビ情報中の画像データを構成する各オブジェクトから
レイアウトを調整したいオブジェクトまたはオーディオ
の出力形式などが選択され（ステップS10）、選択され
たオブジェクトの移動、拡大/縮小、表示のオン/オフま
たはその他のレイアウトに関係する調整、あるいは、オ
ーディオの音量または音場定位などの出力形式の調整
が、ユーザにより行われる（ステップS11）。

【０１３３】選択オブジェクトに対する調整が終了した
後、レイアウト設定を終了するか否かがユーザにより判
断され（ステップS12）、他のオブジェクトについても
調整を行う場合はステップS10へ戻り、オブジェクトの
選択および調整が繰り返される。設定を終了するなら
ば、設定モードの終了とともに、番組IDと対応付けてレ
イアウト設定データがメモリ41に記憶される（ステップ
S13）。そして、新規に設定されたレイアウトにより番
組の映像が表示される（ステップS6）。

【０１３４】本実施形態のテレビ放送受信装置は、テレ
ビ番組の映像を上記の手順で表示し、新たな番組IDが検
出されるごとに、図25に示す手順を繰り返す。

【０１３５】このように、本実施形態によれば、ディジ
タルテレビ放送を視聴するユーザは、各オブジェクトの
配置やサイズおよびオーディオの音量や音場定位などを
調整（オン/オフを含む）することができ、番組の映像
表示に任意のレイアウトを設定することができる。従っ
て、ユーザの好みに応じた映像表示およびサウンド再生
が可能になり、視覚的および聴覚的ユーザインタフェイ
スの質的向上を期待することができ、ユーザに対してよ
り自由度のあるテレビ番組表示が可能になる。

【０１３６】また、番組に付加されているID毎にレイア
ウトを設定し、そのレイアウト設定データをIDに対応さ
せて記憶することで、一度レイアウトを設定した後は、
番組のIDに対応するレイアウト設定を認識することで自
動的に設定済みのレイアウトにより番組の映像を表示す
ることができ、テレビ放送の表示に新しい機能を追加す
る上で非常に効果的である。

【０１３７】

【第2実施形態】以下、本発明にかかる第2実施形態のテ
レビ放送受信装置を説明する。なお、本実施形態におい
て、第1実施形態と略同様の構成については、同一符号
を付して、その詳細説明を省略する。

【０１３８】第2実施形態は、MPEG4以外の符号化方式で
符号化された画像をMPEG4の一つオブジェクトとして利
用、代用したテレビ放送において、オブジェクトの移動
および拡大/縮小など、ユーザによるレイアウト設定に
より自由度のあるテレビ番組の映像表示を行うものであ
る。

【０１３９】ここでは、自然画像符号化方式にMPEG2を
用いた例を説明する。つまり、MPEG2で符号化された画
像（以下「MPEG2画像」と呼ぶ場合がある）がMPEG4のビ
ットストリームに多重化されて伝送され、これを受信し
て表示するテレビ放送受信装置に関する説明を行う。な
お、第2実施形態におけるレイアウトの設定方法は、第1
実施形態で説明したものと同様であり、テレビ放送受信
装置の基本構成および動作は図19により説明したものと
同様である。ただし、第2実施形態におけるテレビ放送
の復号方法に関係して、図19に示すサウンド復号回路2
8、画像復号回路32およびシステムデータ復号回路36の
細部が異なるので、これらを図26および図27を用いて説
明する。

【０１４０】図26は、送信側である放送局において、MP
EG4によるテレビ放送を送信するためのシステムに搭載
される符号化部である。データ多重化器5006は、図2で
説明したサウンド、自然画像、合成画像、文字およびシ
ーン記述情報の各オブジェクトの符号化器5001〜5005か
らの出力をMPEG4のビットストリームに多重化するとと
もに、MPEG2方式の業務用放送機器や中継システムまた
はDVD(Digital Video Disc)の再生などにより抽出され
るMPEG2ビットストリーム61を、MPEG4のビットストリー
ムへ多重化する。

【０１４１】図27はMPEG4ビットストリームを復号する
側、つまりテレビ放送受信装置に搭載される復号部の構
成例である。図27に示される復号部は、第2実施形態の
テレビ放送受信装置を構成する復号系およびそれに関連
する回路であるサウンド復号回路28、画像復号回路32、
システムデータ復号回路36およびシーン記述データ変換
部39などに含まれる。

【０１４２】受信されたMPEG4ビットストリームは、復
号前にデータ分離器5007によりそれぞれのデータに分離
される。分離された各データのうちMPEG4のオブジェク
トであるサウンド、自然画像、合成画像、文字およびシ
ーン記述情報は、各オブジェクトに対応する復号部5008
〜5012において復号される。また、MPEG4のオブジェク
トとともに多重化されたMPEG2のデータは、MPEG4のオブ
ジェクトの復号器とは別に設けられた専用のMPEG2デコ
ーダ62で復号される。なお、MPEG2デコーダ62は、MPEG4
の画像復号回路32の一部を利用した構成であってもよ
い。

【０１４３】こうして復号されたサウンド、画像および
システムデータであるシーン記述データからテレビ番組
の映像を表示するための情報が構成され、各オブジェク
トおよびMPEG2データがシーン合成部5013でテレビ出力
すべき形態に合成され、シーン情報として出力される。

【０１４４】続いて、第1実施形態で説明したレイアウ
トの設定方法を用いて、MPEG2画像を含むMPEG4のテレビ
放送の映像を表示する場合の説明を図23を用いて行う。
第2実施形態では、図23に示す現場中継画像102がMPEG2
画像であるとする。すなわち、MPEG2画像を含むMPEG4の
テレビ放送の映像表示例である。このときのMPEG4のビ
ットストリーム例を図28に示す。

【０１４５】図28に示すMPEG4のビットストリームに
は、MPEG2のデータストリームである現場中継画像102の
データがオブジェクト2として多重化されている。MPEG2
のデータストリームは、一般的にオーディオ、ビデオお
よびシステムデータ（MPEG2付加情報）の三種のデータ
から構成される。オブジェクト2には、伝送に関する所
定のタイミング調整に従い、所定量毎のセグメントに分
けられたMPEG2データストリームがそれぞれ多重化され
る。MPEG2とMPEG4とでは、下位レベルで共通化可能な符
号化/復号回路もあるので、必要であれば共通化して、
符号化/復号に関する無駄を避けた処理を行う。

【０１４６】このように、MPEG2方式で符号化された画
像やサウンドデータを含むMPEG4方式のTV放送であって
も、第1実施形態で説明したようなレイアウト設定が可
能になる。

【０１４７】また、図23に示す時間表示画像103に関し
ては、テレビ放送受信装置により生成される時間表示で
あってもよい。この場合、放送局などの送信側から送ら
れてくる時間表示の基になる時間データや、テレビ放送
受信装置内のクロック信号などを利用して、時間表示画
像103をキャラクタ発生部40で生成すればよい。時間デ
ータは追加データに含まれ、この時間データを用いて時
間表示画像103が生成される。さらに、追加データにテ
レビ放送受信装置内のクロックを用いた時間表示を指示
する時間表示コマンドが存在する場合、または、システ
ムコントローラ38により独自に時間表示命令が発行され
た場合などは、内部クロックから時間表示画像103が生
成される。なお、実際に時間表示画像103を生成する、
つまりキャラクタ発生動作の役割を担うのはキャラクタ
発生部40およびキャラクタのデータが格納されたメモリ
42であり、画像の合成は表示制御部34が行い、システム
コントローラ38はそれらを制御することで時間表示画像
103を生成させ表示させる。

【０１４８】なお、MPEG2データストリームのサブコー
ド内に一情報として含まれるタイムスタンプを利用して
も同様の動作を実現できる。

【０１４９】さらに、図23に示す天気予報画像104など
比較的単純な画像はCGを用いて表示することが可能であ
るので、これらも送信側は何を表示するかを示すコマン
ドだけを送信することにより、受信側でキャラクタおよ
びCGを生成するための動作を行い、天気予報画像などを
発生し、適切に表示することもできる。このようにすれ
ば、伝送（通信）にかかる負荷を削減することができ伝
送効率の向上を望める。

【０１５０】勿論、本実施形態によれば、キャラクタお
よびCG発生動作で生成される表示画像も、その他のオブ
ジェクトと同様に扱えるようにして、自由なレイアウト
設定を可能にすることができる。

【０１５１】表示画像のレイアウト設定については、第
1実施形態において図20および図21を用いて説明したの
と同様に、基本的にはシーン記述情報から得られるオブ
ジェクト配置情報をベースにして、ユーザによりレイア
ウト変更されたオブジェクトの移動（シフト）量や変更
点をデータ化して、オブジェクトのサイズの調整や、音
量、音場定位などが設定されたときの、その位置データ
や各部の制御データをレイアウト設定データとして記憶
する。

【０１５２】また、レイアウト設定データの構成は図22
で説明したが、時間表示画像103の表示をより詳細に設
定する場合の時間データおよびその設定データの構成例
を図29に示す。

【０１５３】図29に示す時間データは、表示内容を（ダ
ミー）、年、月、日、時、分、秒および表示フレーム
（番号）に分類したそれぞれに対して表示/非表示を示
すオン/オフフラグを有する。これにより、どの画像に
どのような時間情報を表示するかを詳細に設定すること
ができる。さらに、表示位置をXおよびY軸で二次元表現
するときの表示位置データ、および、サイズを示すデー
タを保持することによって、レイアウト設定データとし
て活用することができる。また、追加として、時間など
の文字情報の表示に関しては、文字オプションとして、
フォント、スタイル、色およびアラインなど、追加すべ
き固有のデータを有してもよい。

【０１５４】第2実施形態は、MPEG2画像が多重化された
MPEG4のテレビ放送であるから、MPEG2コンテンツ、例え
ば現場中継などに用いる画像中継システムなどとの複合
する場合に、MPEG2装置の出力を、複雑なデータ変換を
介さずに、MPEG4の放送システムに流用でき、MPEG2とMP
EG4との親和性から扱いも容易である。なお、中継画像
などに限らず、代表的なMPEG2映像装置であるDVDを用い
た資料映像表示などの多重画像出力例や、または他のMP
EG2装置を用いた場合にも、勿論利用可能である。

【０１５５】また、MPEG2とMPEG4とでは、共通化できる
符号化/復号回路も多数あるので、システムの効率化に
加え、回路構成も複雑な構成を必要とせずに効果的であ
る。勿論、ソフトウェアデコーダの場合でもシステムの
効率化は図れる。第2実施形態においては、MPEG4のオブ
ジェクトの一つとして、MPEG2のデータストリームを組
み込む構成を説明したが、MPEG2のシステムデータに付
加データとしてレイアウト情報を組み込んでも同様の効
果が得られる。

【０１５６】さらに、本実施形態によれば、第1実施形
態の効果に加えて、MPEG2で符号化されたテレビ情報
を、MPEG4テレビシステムにも流用できるようにしたの
で、従来あるコンテンツをそのまま使え、かつMPEG2を
わざわざMPEG4にデータ変換する必要もないので、扱い
が容易であり非常に効果的である。

【０１５７】このように、ディジタルテレビ放送におい
て、パーソナルコンピュータ(PC)との融合も容易にな
り、現在、PCのデスクトップ上で行っているようなレイ
アウト設定などを、テレビ映像に対してもカスタマイズ
できるので、テレビ放送とPCとの相性もよくなり、ま
た、ディジタル複合製品の分野において市場拡大の効果
が期待できる。

【０１５８】

【他の実施形態】なお、本発明は、複数の機器（例えば
ホストコンピュータ、インタフェイス機器、リーダ、プ
リンタなど）から構成されるシステムに適用しても、一
つの機器からなる装置（例えば、複写機、ファクシミリ
装置など）に適用してもよい。

【０１５９】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ（またはCPUやM
PU）が記憶媒体に格納されたプログラムコードを読出し
実行することによっても、達成されることは言うまでも
ない。この場合、記憶媒体から読出されたプログラムコ
ード自体が前述した実施形態の機能を実現することにな
り、そのプログラムコードを記憶した記憶媒体は本発明
を構成することになる。また、コンピュータが読出した
プログラムコードを実行することにより、前述した実施
形態の機能が実現されるだけでなく、そのプログラムコ
ードの指示に基づき、コンピュータ上で稼働しているOS
（オペレーティングシステム）などが実際の処理の一部
または全部を行い、その処理によって前述した実施形態
の機能が実現される場合も含まれることは言うまでもな
い。

【０１６０】さらに、記憶媒体から読出されたプログラ
ムコードが、コンピュータに挿入された機能拡張カード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書込まれた後、そのプログラムコードの指示に
基づき、その機能拡張カードや機能拡張ユニットに備わ
るCPUなどが実際の処理の一部または全部を行い、その
処理によって前述した実施形態の機能が実現される場合
も含まれることは言うまでもない。

【０１６１】

【発明の効果】以上説明したように、本発明によれば、
ディジタルテレビ放送における画像および/またはサウ
ンドの新たな再生機能を提供することができる。

【図面の簡単な説明】

【図１】衛星放送を用いたディジタル放送受信機の構成
例を示すブロック図、

【図２】複数種類のオブジェクトを同時に入力し符号化
処理する構成例を示すブロック図、

【図３】ユーザ操作（編集）を考慮に入れたシステムの
構成例示す図、

【図４】ビデオオブジェクトに関するVOP処理回路のエ
ンコーダ側のブロック図、

【図５】ビデオオブジェクトに関するVOP処理回路のデ
コーダ側のブロック図、

【図６】VOPの符号化および復号の全体構成を示すブロ
ック図、

【図７Ａ】VOPを構成する情報を示す図、

【図７Ｂ】VOPを構成する情報を示す図、

【図８】テキスチャ符号化のAC/DC予測符号化を説明す
るための図、

【図９Ａ】スケーラビリティを実現するためのシンタッ
クスの階層構造を説明するための図、

【図９Ｂ】スケーラビリティを実現するためのシンタッ
クスの階層構造を説明するための図、

【図１０Ａ】ワープを説明する図、

【図１０Ｂ】ワープの種類を説明する図、

【図１１】ワープを説明する図、

【図１２】シーン記述情報の構成例を示す図、

【図１３】MPEG4オーディオの符号化方式の種類を示す
図、

【図１４】オーディオ符号化方式の構成を示す図、

【図１５】MPEG4のシステム構造を説明する図、

【図１６】MPEG4のレイヤ構造を説明する図、

【図１７】双方向復号を説明する図、

【図１８】重要情報の複数回伝送を説明する図、

【図１９】本発明にかかる実施形態のテレビ放送受信装
置の構成例を示すブロック図、

【図２０】レイアウト設定する際の位置データの設定方
法を説明する図、

【図２１】レイアウト設定する際のイメージと指示の入
力方法とを説明する図、

【図２２】レイアウト設定データの構成を説明する図、

【図２３】本実施形態による映像の表示形態例を示す
図、

【図２４】一般的なMPEG4ビットストリームの構成を示
す図、

【図２５】本実施形態のテレビ放送受信装置の動作手順
例を説明するフローチャート、

【図２６】MPEG4によるテレビ放送を送信するためのシ
ステムに搭載される符号化部の構成例を示すブロック
図、

【図２７】テレビ放送受信装置に搭載される復号部の構
成例を示すブロック図、

【図２８】MPEG2画像を含むMPEG4のビットストリーム例
を示す図、

【図２９】時間表示画像の表示をより詳細に設定する場
合の時間データおよびその設定データの構成例を示す図
である。

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C025 AA28 AA29 BA27 BA28 CA02 CA06 CA09 CA18 DA01 DA05 5C026 DA19 DA25 5C063 AB03 AB07 AC01 AC05 AC10 CA20 CA23 CA29

Claims (15)

【特許請求の範囲】
1. 【請求項１】 ディジタルテレビ放送を受信し、画像お
   よび/またはサウンドの再生が可能な放送受信装置であ
   って、 画像、サウンド、および、付随するシステムデータから
   構成されるテレビ放送情報を受信する受信手段と、 前記システムデータに基づき受信画像およびサウンドを
   再生する再生手段と、 前記受信画像が所定のオブジェクト単位に分割されたデ
   ータ形態を有する場合、オブジェクト単位に再生形態を
   設定するための設定手段とを有することを特徴とする放
   送受信装置。
2. 【請求項２】 前記オブジェクト単位に設定された再生
   形態は、前記システムデータに含まれる放送番組を示す
   情報に対応付けされて記憶手段に記憶されることを特徴
   とする請求項1に記載された放送受信装置。
3. 【請求項３】 前記再生手段は、受信されたシステムデ
   ータに含まれる放送番組を示す情報に対応する再生形態
   が前記記憶手段に記憶されている場合、前記記憶手段か
   ら読み出した再生形態に基づき、受信画像およびサウン
   ドを再生することを特徴とする請求項2に記載された放
   送受信装置。
4. 【請求項４】 前記表示形態には、オブジェクトの表示
   /非表示の設定、表示位置の移動および表示サイズの変
   更の少なくとも一つが含まれることを特徴とする請求項
   2または請求項3に記載された放送受信装置。
5. 【請求項５】 前記ディジタルテレビ放送とは、MPEG4
   方式で符号化された画像およびサウンドデータを放送す
   るものであることを特徴とする請求項1から請求項4の何
   れかに記載された放送受信装置。
6. 【請求項６】 他の符号化方式により符号化された画像
   および/またはサウンドデータを含むMPEG4方式のディジ
   タルテレビ放送を受信する放送受信装置であって、 前記MPEG4方式で符号化されたテレビ情報を復号する第
   一の復号手段と、 前記他の符号化方式により符号化された画像および/ま
   たはサウンドデータを復号する第二の復号手段と、 前記第一および第二の復号手段によりそれぞれ復号され
   た複数の画像および/またはサウンドデータを合成する
   合成手段とを有することを特徴とする放送受信装置。
7. 【請求項７】 さらに、前記合成手段により合成された
   画像および/またはサウンドデータを再生する再生手段
   を有することを特徴とする請求項6に記載された放送受
   信装置。
8. 【請求項８】 前記第二の復号手段は、MPEG2方式で符
   号化された画像および/またはサウンドデータを復号す
   ることを特徴とする請求項6または請求項7に記載された
   放送受信装置。
9. 【請求項９】 さらに、前記合成手段により合成される
   複数の画像の合成形態および前記再生手段による再生形
   態を設定するための設定手段を有することを特徴とする
   請求項6から請求項8の何れかに記載された放送受信装
   置。
10. 【請求項１０】 ディジタルテレビ放送を受信し、画像
    および/またはサウンドを再生する放送受信方法であっ
    て、 画像、サウンドおよび付随するシステムデータから構成
    されるテレビ放送情報を受信し、 前記システムデータに基づき受信画像およびサウンドを
    再生する際に、前記受信画像が所定のオブジェクト単位
    に分割されたデータ形態を有する場合、オブジェクト単
    位に再生形態の設定が可能であることを特徴とする放送
    受信方法。
11. 【請求項１１】 前記オブジェクト単位に設定された再
    生形態は、前記システムデータに含まれる放送番組を示
    す情報に対応付けされて記憶手段に記憶されることを特
    徴とする請求項10に記載された放送受信方法。
12. 【請求項１２】 受信されたシステムデータに含まれる
    放送番組を示す情報に対応する再生形態が前記記憶手段
    に記憶されている場合、前記記憶手段から読み出された
    再生形態に基づき、受信画像およびサウンドを再生する
    ことを特徴とする請求項11に記載された放送受信方法。
13. 【請求項１３】 他の符号化方式により符号化された画
    像および/またはサウンドデータを含むMPEG4方式のディ
    ジタルテレビ放送を受信する放送受信方法であって、 前記MPEG4方式で符号化されたテレビ情報を復号し、 前記他の符号化方式により符号化された画像および/ま
    たはサウンドデータを復号し、 それぞれ復号された複数の画像および/またはサウンド
    データを合成することを特徴とする放送受信方法。
14. 【請求項１４】 ディジタルテレビ放送を受信し、画像
    および/またはサウンドを再生するためのプログラムコ
    ードが記録された記録媒体であって、前記プログラムコ
    ードは少なくとも、 画像、サウンドおよび付随するシステムデータから構成
    されるテレビ放送情報を受信するためのステップのコー
    ドと、 前記システムデータに基づき受信画像およびサウンドを
    再生する際に、前記受信画像が所定のオブジェクト単位
    に分割されたデータ形態を有する場合、オブジェクト単
    位に再生形態の設定を可能にするステップのコードとを
    有することを特徴とする記録媒体。
15. 【請求項１５】 他の符号化方式により符号化された画
    像および/またはサウンドデータを含むMPEG4方式のディ
    ジタルテレビ放送を受信するためのプログラムコードが
    記録された記録媒体であって、 前記MPEG4方式で符号化されたテレビ情報を復号するス
    テップのコードと、 前記他の符号化方式により符号化された画像および/ま
    たはサウンドデータを復号するステップのコードと、 それぞれ復号された複数の画像および/またはサウンド
    データを合成するステップのコードとを有することを特
    徴とする記録媒体。