JP2000224581A - 放送受信装置及びその方法 - Google Patents

Abstract

(57)【要約】 【課題】 テレビ放送において、曜日や時間帯に応じ
て、主として必要とする情報を拡大表示したり、または
不必要な情報を非表示とするように、レイアウトをユー
ザの任意に設定できることが望ましいが、現状では困難
である。 【解決手段】 テレビ情報を受信し(S11)、その時の時
刻を示す時間情報を検出し(S12)、該時間情報に対応す
るレイアウト設定がなされているか否かを判断する(S1
3)。設定されていない場合は放送局から送られてくるそ
のままの基本レイアウトでテレビ放送の映像を表示する
(S14)が、設定されている場合は、該当するレイアウト
設定データを再生し(S15)、レイアウト設定の対象外の
オブジェクトは基本レイアウトで、レイアウト設定の対
象オブジェクトは設定されたレイアウトで表示される(S
16)。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は放送受信装置および
その方法に関し、例えば、ディジタルテレビ放送を受信
し、画像およびサウンドの再生が可能な放送受信装置お
よびその方法に関するものである。

【０００２】

【従来の技術】近年、衛星放送やケーブル放送を用いた
ディジタルテレビ放送が開始された。ディジタル放送の
実現により、画像やサウンドの品質向上、圧縮技術を利
用した番組の種類や量の増大、インタラクティブサービ
スなど新しいサービスの提供、受信形態の進化など多く
の効果が期待される。

【０００３】図1は衛星放送を用いたディジタル放送受
信機10の構成例を示すブロック図である。

【０００４】まず、放送衛星によって送信されたテレビ
(TV)情報がアンテナ1で受信される。受信されたTV情報
はチューナ2で選局され復調される。その後、図示しな
いが、誤り訂正処理、必要であれば課金処理やデスクラ
ンブル処理などが行われる。次に、TV情報として多重化
されている各種データを多重信号分離回路3で分離す
る。TV情報は画像情報、サウンド情報およびその他の付
加データに分離される。分離された各データは復号回路
4で復号される。こうして復号された各データのうち画
像情報とサウンド情報はD/A変換回路5でアナログ化さ
れ、テレビジョン受像機(TV)6で再生される。一方、付
加データは、番組サブデータとしての役割をもち各種機
能に関与する。

【０００５】さらに、受信されたTV情報の記録再生には
VTR7が利用される。受信機10とVTR7との間はIEEE1394な
どのディジタルインタフェイスで接続されている。この
VTR7は、ディジタル記録方式の記録形態を備え、例えば
D-VHS方式などによりTV情報をビットストリーム記録す
る。なお、D-VHS方式のビットストリーム記録に限ら
ず、その他の民生用ディジタル記録方式であるDVフォー
マットや、各種ディスク媒体を用いたディジタル記録装
置などでもディジタルテレビ放送のTV情報を記録するこ
とが可能である。ただし、フォーマット変換が必要にな
る場合がある。

【０００６】

【発明が解決しようとする課題】地上波放送およびディ
ジタルテレビ放送におけるテレビ番組を家庭のテレビジ
ョンで再生する場合、放送局から送られてくる映像をそ
のまま表示するのが普通である。言い換えれば、効果的
に表示形態（レイアウト）を変化させる行為、例えば、
必要に応じて映像中の物体を表示させたりさせなかった
り、物体のサイズを変えたりすることは行われていな
い。このような表示形態を効果的に変化させる機能は、
ディジタルテレビ放送の発展に伴う多チャンネル化およ
び多プログラム化の過程で、効果的な表示方法の新機能
を追加していくという観点から是非必要なものの一つと
考えられる。

【０００７】レイアウトを設定したい状況として次の例
があげられる。例えば、曜日や時間帯に応じて、主とし
て必要とする情報を拡大表示したり、または不必要な情
報を非表示とする場合がある。しかし、現状ではレイア
ウト設定は困難である。

【０００８】本発明は、上述の問題を解決するためのも
のであり、ディジタルテレビ放送における画像の新たな
再生機能を提供することを目的とする。

【０００９】

【課題を解決するための手段】本発明は、前記の目的を
達成する一手段として、以下の構成を備える。

【００１０】本発明にかかる放送受信装置は、テレビ放
送のディジタルデータ列を受信する受信手段と、受信さ
れたディジタルデータ列から画像およびシステムデータ
を復号する復号手段と、復号されたシステムデータに基
づき、復号された画像の再生形態を制御する制御手段と
を有し、前記制御手段は、時間情報に基づいて前記再生
形態を制御することを特徴とする。

【００１１】また、第２の方式により符号化された画像
データを含む第１の方式で符号化されたディジタルデー
タ列のテレビ放送を受信する受信手段と、前記第１の方
式で符号化されたディジタルデータ列から画像およびシ
ステムデータを復号する第１の復号手段と、前記第２の
方式により符号化された画像データを復号する第２の復
号手段と、復号されたシステムデータに基づき、前記第
１および第２の復号手段により復号された画像の再生形
態を制御する制御手段と、を有し、前記制御手段は、時
間情報に基づいて前記再生形態を制御することを特徴と
する。

【００１２】本発明にかかる放送受信方法は、テレビ放
送のディジタルデータ列を受信する受信工程と、受信さ
れたディジタルデータ列から画像およびシステムデータ
を復号する復号工程と、復号されたシステムデータに基
づき、復号された画像の再生形態を制御する制御工程
と、を有し、前記制御工程においては、時間情報に基づ
いて前記再生形態を制御することを特徴とする。

【００１３】また、第２の方式により符号化された画像
データを含む第１の方式で符号化されたディジタルデー
タ列のテレビ放送を受信する受信工程と、前記第１の方
式で符号化されたディジタルデータ列から画像およびシ
ステムデータを復号する第１の復号工程と、前記第２の
方式により符号化された画像データを復号する第２の復
号工程と、復号されたシステムデータに基づき、前記第
１および第２の復号手段により復号された画像の再生形
態を制御する制御工程と、を有し、前記制御工程におい
ては、時間情報に基づいて前記再生形態を制御すること
を特徴とする。

【００１４】

【発明の実施の形態】［概要］本実施形態は、MPEG4符
号化の特徴であるオブジェクトの概念を用いることによ
って、オブジェクト単位での表示位置の変更を可能に
し、ユーザ固有のレイアウトの画像（映像）表示を実現
する。オブジェクトとは、背景画像、話者およびその音
声などであり、MPEG4符号化はそれぞれのオブジェクト
を符号化/復号して、各オブジェクトを組み合わせるこ
とで一つのシーンを表現する。

【００１５】本実施形態の具体的なレイアウト設定機能
は、MPEG4を用いた放送システムにおいて、リアルタイ
ム画像情報の表示に関して、表示する画像をオブジェク
ト単位で操作することが可能であり、時間帯に応じて任
意のレイアウトの画像（映像）表示を設定する機能を有
する。この時間帯に対応されたレイアウトには、所定位
置およびユーザが任意に設定した位置が含まれる。

【００１６】このように、本実施形態によれば、曜日や
時間帯に応じて、任意の情報を優先した表示レイアウト
によるテレビ画面表示が可能となる。また、デフォルト
設定のレイアウトを有するほか、ユーザが好むレイアウ
トを任意に設定することもできる。従って、ディジタル
テレビ放送を視聴するユーザの視覚的効果およびユーザ
インタフェイスの質を向上することができ、テレビ放送
の映像表示に新しい機能を追加することができる。

【００１７】以下では、本発明にかかる一実施形態の受
信装置として、MPEG4符号化方式を用いるディジタルテ
レビ放送を受信する受信装置の構成例を説明するが、ま
ずMPEG4に関する技術を分野ごとに分けて詳細に説明す
る。

【MPEG4の概要】［規格の全体構成］MPEG4規格は大きな
四つの項目からなる。このうち三つの項目はMPEG2と類
似していて、ビジュアルパート、オーディオパートおよ
びシステムパートである。 ●ビジュアルパート 自然画、合成画、動画および静止画などを扱うオブジェ
クト符号化方式が規格として定められている。また、伝
送路誤りの訂正や修復に適した符号化方式、同期再生機
能および階層符号化が含まれている。表現上『ビデオ』
は自然画像を意味し、『ビジュアル』は合成画像まで含
む。 ●オーディオパート 自然音、合成音および効果音などを対象にしたオブジェ
クト符号化方式が規格として定められている。ビデオパ
ートやオーディオパートでは複数の符号化方式を規定
し、それぞれのオブジェクトの特徴に適した圧縮方式を
適宜選択することで、符号化効率を高める工夫がされて
いる。 ●システムパート 符号化された映像オブジェクトやサウンドオブジェクト
の多重化処理と、その逆の分離処理を規定する。さらに
バッファメモリや時間軸制御と再調整機能もこのパート
に含まれる。上記のビジュアルパートおよびオーディオ
パートで符号化された映像オブジェクトやサウンドオブ
ジェクトは、シーンのなかのオブジェクトの位置や出現
時刻および消滅時刻などを記したシーン構成情報ととも
にシステムパートの多重化ストリームに統合される。復
号処理としては、受信したビットストリームから、それ
ぞれのオブジェクトを分離/復号し、シーン構成情報に
基づきシーンを再構成する。 ［オブジェクトの符号化］MPEG2ではフレームあるいは
フィールドを単位として符号化するが、コンテンツの再
利用や編集を実現するために、MPEG4では映像データや
オーディオデータをオブジェクト（物体）として扱う。
オブジェクトには以下のような種類がある。

【００１８】サウンド 自然画像（背景映像: 二次元固定映像） 自然画像（主被写体映像: 背景なし） 合成画像 文字画像 これらを同時に入力し符号化処理する場合のシステム構
成例を図2に示す。サウンドオブジェクト符号化器500
1、自然画像オブジェクト符号化器5002、合成画像オブ
ジェクト符号化器5003および文字オブジェクト符号化器
5004により、オブジェクトはそれぞれ符号化処理され
る。この符号化と略同時に、シーン内における各オブジ
ェクトの関連を示すシーン構成情報を、シーン記述情報
符号化器5005により符号化する。符号化されたオブジェ
クト情報およびシーン記述情報は、データ多重化器5006
によりMPEG4ビットストリームへエンコード処理され
る。

【００１９】このようにエンコード側では、複数のビジ
ュアルオブジェクトやオーディオオブジェクトの組み合
わせを定義して、一つのシーン（画面）を表現する。ビ
ジュアルオブジェクトに関しては、自然画像とコンピュ
ータグラフィクスなどの合成画像とを組み合わせたシー
ンも構成できる。また、上記のような構成をとること
で、例えば、テキスト音声合成の機能を使って、被写体
映像とその音声との同期再生が可能になる。なお、前記
のビットストリーム状態で送受信または記録再生が行わ
れる。

【００２０】デコード処理は、先のエンコード処理の逆
処理である。データ分離器5007により、MPEG4ビットス
トリームを各オブジェクトに分離し分配する。分離され
たサウンド、自然画像、合成画像および文字などのオブ
ジェクトは、対応する復号器5008から5011によりオブジ
ェクトデータへ復号される。また、シーン記述情報も略
同時に復号器5012により復号される。これらの復号情報
を用いて、シーン合成器5013は、元のシーンを合成す
る。

【００２１】デコード側では、シーンに含まれるビジュ
アルオブジェクトの位置や、オーディオオブジェクトの
順番など、部分的な変更が可能である。オブジェクト位
置はドラッグにより変更でき、言語の変更などはユーザ
がオーディオオブジェクトを変更することで可能にな
る。

【００２２】複数のオブジェクトを自由に組み合わせて
シーンを合成するために、次の四つの項目が規定されて
いる。 ●オブジェクト符号化 ビジュアルオブジェクトおよびオーディオオブジェク
ト、並びに、それらを組み合わせたAV（オーディオビジ
ュアル）オブジェクトを符号化対象とする。 ●シーン合成 ビジュアルオブジェクト、オーディオオブジェクトおよ
びAVオブジェクトを所望するシーンに構成するためのシ
ーン構成情報と合成方式とを規定するために、Virtual
Reality Modeling Language(VRML)をモディファイした
言語を用いる。 ●多重化と同期 各オブジェクトを多重同期したストリーム（エレメンタ
リストリーム）の形式などを定める。このストリームを
ネットワークに流したり、記録装置に格納するときのサ
ービス品質QOS(Quality of Service)も設定可能であ
る。QOSパラメータには、最大伝送速度、誤り率および
伝送方式などの伝送路条件や復号能力などが設けられて
いる。 ●ユーザの操作（インタラクション） ビジュアルオブジェクトやオーディオオブジェクトを、
ユーザ端末側で合成する方式を定義する。MPEG4のユー
ザ端末は、ネットワークや記録装置から送られてくるデ
ータを、エレメンタリストリームに分離して、各オブジ
ェクトごとに復号する。複数の符号化されたデータか
ら、同時に送られてきたシーン構成情報を基にしてシー
ンを再構成する。

【００２３】ユーザ操作（編集）を考慮に入れたシステ
ムの構成例を図3に示す。また、ビデオオブジェクトに
関するVOP処理回路のエンコーダ側のブロック図を図4
に、デコーダ側のブロック図を図5に示す。 ［VOP(Video Object Plane)］MPEG4における映像の符号
化は、対象の映像オブジェクトを形状(Shape)とその絵
柄(Texture)に分けてそれぞれ符号化する。この映像デ
ータの単位をVOPという。図6はVOPの符号化および復号
の全体構成を示すブロック図である。

【００２４】例えば、画像が人物と背景の二つのオブジ
ェクトから構成されている場合、各フレームを二つのVO
Pに分割して符号化する。各VOPを構成する情報は、図7A
に示されるように、オブジェクトの形状情報、動き情報
およびテクスチャ情報である。一方、復号器は、ビット
ストリームをVOP毎に分離し個別に復号した後、これら
を合成して画像を形成する。

【００２５】このように、VOP構造の導入により、処理
対象の画像が複数の映像オブジェクトから構成されてい
る場合、これを複数のVOPに分割し、個別に符号化/復号
することができる。なお、VOPの数が1で、オブジェクト
形状が矩形の場合は、図7Bに示すように、従来からのフ
レーム単位の符号化になる。

【００２６】VOPには三種類の予測方式として、面内符
号化(I-VOP)、前方向予測(P-VOP)および双方向予測(B-V
OP)がある。予測単位は16×16画素のマクロブロック(M
B)である。

【００２７】双方向予測B-VOPは、MPEG1およびMPEG2のB
ピクチャと同じく、過去のVOPおよび未来のVOPの両方向
からVOPを予測する方式である。そして、マクロブロッ
ク単位に直接符号化/前方符号化/後方符号化/双方符号
化の四種類のモードが選択可能である。そしてこのモー
ドは、MBまたはブロック単位に切り替えることが可能で
ある。P-VOPの動きベクトルのスケーリングで双方向予
測する。 ［形状(Shape)符号化］オブジェクト（物体）単位で画
像を扱うためには、物体の形状が符号化および復号の際
に既知でなければならない。また、後方にある物体が透
けて見えるガラスのような物体を表現するためには、物
体の透明度を表す情報が必要になる。この物体の形状お
よび物体の透明度の情報を合わせて形状情報と呼ぶ。そ
して、形状情報の符号化を形状符号化と呼ぶ。 ［サイズ変換処理］二値形状符号化は、画素毎に物体の
外側にあるのか内側にあるのかを判定して、境界画素を
符号化する手法である。従って、符号化すべき画素数が
少ないほど発生符号量も少なくて済む。しかし、符号化
すべきマクロブロックサイズを小さくすることは、元の
形状符号が劣化して受信側に伝送されることになる。従
って、サイズ変換により元の情報がどの程度劣化するか
を測定し、所定のしきい値以下のサイズ変換誤差が得ら
れる限りは、できるだけ小さなマクロブロックサイズを
選択する。具体的なサイズ変換比率としては、原寸大、
縦横1/2倍、縦横1/4倍の三種類が挙げられる。

【００２８】各VOPの形状情報は、8ビットのα値として
与えられ、次のように定義される。

【００２９】α = 0: 該当VOPの外側 α = 1〜254: 他のVOPと半透明状態で表示 α = 255: 該当VOPのみの表示領域 二値形状符号化は、α値が0あるいは255をとる場合であ
り、該当VOPの内側と外側のみで形状が表現される。多
値形状符号化は、α値が0から255のすべての値を取り得
る場合で、複数のVOP同士が半透明で重畳された状態を
表現することができる。

【００３０】テキスチャ符号化と同様に16×16画素のブ
ロック単位に一画素精度の動き補償予測をする。オブジ
ェクト全体を面内符号化する場合は形状情報の予測はし
ない。動きベクトルは、隣接するブロックから予測した
動きベクトルの差分を用いる。求めた動きベクトルの差
分値は、符号化してからビットストリームに多重化す
る。MPEG4では、動き補償予測したブロック単位の形状
情報を二値形状符号化する。 ●フェザーリング その他、二値形状の場合でも、境界部を不透明から透明
に滑らかに変化させたい場合はフェザーリング（境界形
状のスムージング）を使う。フェザーリングは、境界値
を線形に補間する線形フェザーリングモードと、フィル
タを使うフェザーリングフィルタモードがある。不透明
度が一定な多値形状には、定アルファモードがあり、フ
ェザーリングと組み合わせが可能である。 ［テクスチャ符号化］オブジェクトの輝度成分や色差成
分の符号化を行うもので、フィールド/フレーム単位のD
CT(Discrete Cosine Tranfer)、量子化、予測符号化お
よび可変長符号化の順に処理する。

【００３１】DCTは8×8画素のブロックを処理単位とす
るが、オブジェクト境界がブロック内にある場合は、オ
ブジェクトの平均値でオブジェクト外の画素を補填す
る。その後、4タップの二次元フィルタ処理を施すこと
で、DCT係数に大きな擬似ピークが発生する現象を防
ぐ。

【００３２】量子化はITU-T勧告H.263の量子化器あるい
はMPEG2の量子化器の何れかを使う。MPEG2量子化器を使
えば、直流成分の非線形量子化やAC成分の周波数重み付
けが可能になる。

【００３３】量子化後の面内符号化係数は、可変長符号
化する前にブロック間で予測符号化し冗長成分を削除す
る。とくに、MPEG4では直流成分と交流成分の両方に対
して予測符号化する。

【００３４】テクスチャ符号化のAC/DC予測符号化は、
図8に示すように、注目ブロックに隣接するブロック間
で対応する量子化係数の差分（勾配）を調べ、小さい方
の量子化係数を予測に使う。例えば、注目ブロックの直
流係数xを予測する場合、対応する隣接ブロックの直流
係数がa、bおよびcならば次のようになる。

【００３５】|a - b| ＜ |b - c| ならば直流係数cを予
測に使う |a - b| ≧ |b - c| ならば直流係数aを予測に使う 注目ブロックの交流係数Xを予測する場合も、上記と同
様に予測に使う係数を選んだ後、各ブロックの量子化ス
ケール値QPで正規化する。

【００３６】直流成分の予測符号化は、隣接するブロッ
ク間で上下に隣接するブロックの直流成分の差（垂直勾
配）と、左右に隣接するブロックの直流成分の差（水平
勾配）を調べ、勾配の少ない方向のブロックの直流成分
との差分を予測誤差として符号化する。

【００３７】交流成分の予測符号化は、直流成分の予測
符号化に合わせて、隣接ブロックの対応する係数を用い
る。ただし、量子化パラメータの値がブロック間で異な
っている可能性があるので、正規化（量子化ステップス
ケーリング）してから差分をとる。予測の有無はマクロ
ブロック単位に選択できる。

【００３８】その後、交流成分は、ジグザグスキャンさ
れ、三次元(Last,RunおよびLevel)可変長符号化され
る。ここで、Lastはゼロ以外の係数の終りを示す1ビッ
トの値、Runはゼロの継続長、Levelは非ゼロ係数の値で
ある。

【００３９】面内符号化された直流成分の可変長符号化
には、直流成分用可変長符号化テーブルまたは交流成分
用可変長テーブルの何れかを使う。 ［動き補償］MPEG4では任意の形状のビデオオブジェク
トプレーン(VOP)を符号化することができる。VOPには、
前述したように、予測の種類によって面内符号化(I-VO
P)、前方向予測符号化(P-VOP)および双方向予測符号化
(B-VOP)があり、予測単位は16ライン×16画素または8ラ
イン×8画素のマクロブロックを使う。従って、VOPの境
界上に跨るマクロブロックも存在することになる。この
VOP境界の予測効率を改善するために、境界上のマクロ
ブロックに対してはパディング（補填）およびポリゴン
マッチング（オブジェクト部分のみのマッチング）を行
う。 ［ウェーブレット符号化］ウェーブレット(wavelet)変
換は、一つの孤立波関数を拡大/縮小/平行移動して得ら
れる複数の関数を変換基底とする変換方式である。この
ウェーブレット変換を用いた静止画像の符号化モード(T
exture Coding Mode)は、とくにコンピュータグラフィ
ックス(CG)画像と自然画像とが合成された画像を扱う場
合に、高解像度から低解像度までの様々な空間解像度を
備えた高画質の符号化方式として適している。ウェーブ
レット符号化は、画像をブロック分割せず一括して符号
化することができるため、低ビットレートでもブロック
歪みが発生せず、モスキート雑音も減少できる。このよ
うに、MPEG4の静止画像符号化モードは、低解像度かつ
低画質の画像から高解像度かつ高画質の画像までの幅広
いスケーラビリティ、処理の複雑性および符号化効率の
トレードオフの関係をアプリケーションに応じて調整で
きる。 ［階層符号化（スケーラビリティ）］スケーラビリティ
を実現するために、図9Aおよび9Bに示すようなシンタッ
クスの階層構造を構成する。階層符号化は、例えばベー
スレイヤを下位レイヤ、補強レイヤを上位レイヤとし、
補強レイヤにおいてベースレイヤの画質を向上する「差
分情報」を符号化することによって実現される。空間ス
ケーラビリティの場合、ベースレイヤは低解像度の動画
像を、「ベースレイヤ+補強レイヤ」で高解像度の動画
像を表す。

【００４０】さらに、画像全体の画質を階層的に向上さ
せるほかに、画像中の物体領域のみ画質を向上させる機
能がある。例えば、時間スケーラビリティの場合、ベー
スレイヤは画像全体を低いフレームレートで符号化した
もの、補強レイヤは画像内の特定オブジェクトのフレー
ムレートを向上させるデータを符号化したものになる。 ●時間スケーラビリティ 図9Aに示す時間スケーラビリティは、フレーム速度を階
層化し、補強レイヤのオブジェクトのフレーム速度を速
くすることができる。階層化の有無はオブジェクト単位
で設定できる。補強レイヤのタイプは二つで、タイプ1
はベースレイヤのオブジェクトの一部で構成する。タイ
プ2はベースレイヤと同じオブジェクトで構成する。 ●空間スケーラビリティ 図9Bに示す空間スケーラビリティは空間解像度を階層化
する。ベースレイヤは、任意のサイズのダウンサンプリ
ングが可能で、補強レイヤの予測に使用される。 ［スプライト符号化］スプライトとは、三次元空間画像
における背景画像などのように、オブジェクト全体が統
一的に移動、回転、変形などを表現できる平面的なオブ
ジェクトのことである。この平面的オブジェクトを符号
化する手法をスプライト符号化と呼ぶ。

【００４１】スプライト符号化は四種、静的/動的およ
びオンライン/オフラインに区別される。詳しく説明す
ると、オブジェクトデータを予め復号器に送り、グロー
バル動き係数だけをリアルタイムに伝送する構成であっ
て、テンプレートオブジェクトの直接変換で得られる静
的スプライト。時間的に前のスプライトからの予測符号
化により得られる動的スプライト。事前に面内符号化(I
-VOP)により符号化され、復号器側に伝送されるオフラ
インスプライト。符号化中に符号化器および復号器で同
時に作成されるオンラインスプライトがある。

【００４２】スプライト符号化に関して検討されている
技術には、スタティックスプライト(Static Sprite)符
号化、ダイナミックスプライト(Dynamic Sprite)符号
化、グローバル動き補償などがある。 ●スタティックスプライト符号化 スタティックスプライト符号化は、ビデオクリップ全体
の背景（スプライト）を予め符号化しておき、背景の一
部を幾何変換することによって画像を表現する方法であ
る。切り出された一部の画像は、平行移動、拡大/縮
小、回転など様々な変形を表現することができる。これ
について図10Aに示すように、画像の移動、回転、拡大/
縮小、変形などにより三次元空間における視点移動を表
現することをワープと呼ぶ。

【００４３】ワープの種類には遠近法変換、アフィン変
換、等方拡大(a)/回転(θ)/移動(c,f)および平行移動が
あり、図10Bの各式で表される。図10Bに示す式の係数に
よって移動、回転、拡大/縮小、変形などが表される。
また、スプライトの生成は符号化開始前にオフラインで
行われる。

【００４４】このように、背景画像の一部領域を切り取
り、この領域をワープして表現することでスタティック
スプライト符号化は実現される。図11に示すスプライト
（背景）画像に含まれる一部領域がワープされることに
なる。例えば、背景画像はテニスの試合における観客席
などの画像であり、ワープされる領域はテニスプレーヤ
などの動きのあるオブジェクトを含んだ画像である。ま
た、スタティックスプライト符号化においては、幾何変
換パラメータのみを符号化して、予測誤差を符号化しな
い。 ●ダイナミックスプライト符号化 スタティックスプライト符号化では符号化前にスプライ
トが生成される。これに対して、ダイナミックスプライ
ト符号化では、符号化しながらオンラインにスプライト
を更新することができる。また、予測誤差を符号化する
という点でスタティックスプライト符号化とは異なる。 ●グローバル動き補償(GMC) グローバル動き補償とは、オブジェクト全体の動きを、
ブロックに分割することなく、一つの動きベクトルで表
して動き補償する技術であり、剛体の動き補償などに適
している。参照画像が、スプライトの代わりに直前の復
号画像になる点、予測誤差を符号化する点では、スタテ
ィックスプライト符号化と同様である。ただし、スプラ
イトを格納するためのメモリを必要としないこと、形状
情報が不要であることは、スタティックスプライト符号
化およびダイナミックスプライト符号化とは異なる。画
面全体の動きや、ズームを含む画像などにおいて効果が
ある。 ［シーン構造記述情報］シーン構成情報によりオブジェ
クトは合成される。MPEG4では、各オブジェクトをシー
ンに合成するための構成情報を伝送する。個別に符号化
された各オブジェクトを受信したときに、シーン構成情
報を使えば、送信側が意図したとおりのシーンに合成で
きる。

【００４５】シーン構成情報には、オブジェクトの表示
時間や表示位置などが含まれ、これらがツリー状のノー
ド情報として記述されている。各ノードは、親ノードに
対する時間軸上の相対時刻情報と相対空間座標位置情報
をもつ。シーン構成情報を記述する言語には、VRMLを修
正したBIFS(Binary Format for Scenes)とJava(TM)を用
いたAAVS(Adaptive Audio-Visual Session Format)があ
る。BIFSは、MPEG4のシーン構成情報を二値で記述する
形式。AAVSはJava(TM)をベースとし、自由度が大きくBI
FSを補う位置付けにある。図12はシーン記述情報の構成
例を示す図である。 ［シーン記述］シーン記述はBIFSによって行われる。こ
こでは、VRMLとBIFS共通の概念であるシーングラフとノ
ードを中心に説明する。

【００４６】ノードは光源、形状、材質、色および座標
などの属性や、座標変換を伴う下位ノードのグループ化
を指定する。オブジェクト指向の考えを取り入れ、三次
元空間中の各物体の配置や見え方は、シーングラフと呼
ばれる木を、頂点のノードから辿り、上位ノードの属性
を継承することにより決定される。葉にあたるノードに
メディアオブジェクト、例えば、MPEG4ビデオのビット
ストリームを同期をとって割当てれば、他のグラフィク
スと伴に動画を三次元空間内に合成して表示することが
できる。

【００４７】また、VRMLとの差異は下記のとおりであ
る。MPEG4システムでは次をBIFSでサポートする。

【００４８】(1)MPEG4ビデオVOP符号化の二次元オーバ
ラップ関係記述と、MPEG4オーディオの合成記述 (2)連続メディアストリームの同期処理 (3)オブジェクトの動的振る舞い表現（例えばスプライ
ト） (4)伝送形式（バイナリ）を標準化 (5)セッション中にシーン記述を動的に変更 VRMLのノードのうちExtrusion、Script、ProtoおよびEx
temProtoなどがサポートされていない以外は、VRMLノー
ドのほぼすべてがBIFSでサポートされている。BIFSで新
たに加えられたMPEG4特別ノードには、以下のものがあ
る。

【００４９】(1)2D/3D合成のためのノード (2)2Dグラフィクスやテクストのためのノード (3)アニメーションノード (4)オーディオノード 特筆すべきは、VRMLでは背景など特殊なノードを除き2D
合成はサポートされていなかったが、BIFSでは、テキス
トやグラフィックオーバレイ、さらにMPEG4ビデオVOP符
号化を画素単位で扱えるように記述が拡張されている。

【００５０】アニメーションノードには、3Dメッシュで
構成された顔などMPEG4のCG画像のための特別なノード
が規定されている。シーングラフ中のノードの置き換
え、消去、追加および属性変更が動的に行えるメッセー
ジ(BIFS Update)があり、セッションの途中で画面上に
新たな動画像を表示したり、ボタンを追加することが可
能になる。BIFSは、VRMLの予約語、ノード識別子および
属性値をほぼ一対一にバイナリデータに置き換えること
により実現できる。 ［MPEG4オーディオ］図13にMPEG4オーディオの符号化方
式の種類を示す。オーディオおよびサウンドの符号化に
は、パラメトリック符号化、CELP(Code Excited Linear
Prediction)符号化、時間/周波数変換符号化が含まれ
る。さらに、SNHC(Synthetic Natural Hybrid Coding)
オーディオの機能も取り入れ、SA（Structured Audio:
構造化オーディオ）符号化とTTS（Text to Speech: テ
キストサウンド合成）符号化が含まれる。SAはMIDI(Mus
ic Instrument Degital Interface)を含む合成楽音の構
造的記述言語であり、TTSは外部のテキスト音声合成装
置にイントネーションや音韻情報などを送るプロトコル
である。

【００５１】図14にオーディオ符号化方式の構成を示
す。図14において、入力サウンド信号を前処理(201)
し、パラメトリック符号化(204)、CELP符号化(205)およ
び時間/周波数符号化(206)の三つの符号化を使い分ける
ように、帯域に応じて信号分割(202)し、それぞれに適
した符号化器へ入力する。また、信号分析制御(203)に
より、入力オーディオ信号が分析され、入力オーディオ
信号を各符号化器へ割り当てるための制御情報などが発
生される。

【００５２】続いて、それぞれ別の符号化器であるパラ
メトリック符号化コア(204)、CELP符号化コア(205)、時
間/周波数変換符号化コア(206)は、各符号化方式に基づ
いた符号化処理を実行する。これら三種の符号化方式に
ついては後述する。パラメトリック符号化およびCELP符
号化されたオーディオデータは、小ステップ強化(207)
され、時間/周波数変換符号化および小ステップ強化さ
れたオーディオデータは、大ステップ強化(208)され
る。なお、小ステップ強化(207)および大ステップ強化
(208)は、各符号化処理で発生する歪を減少させるため
のツールである。こうして、大ステップ強化されたオー
ディオデータは、符号化されたサウンドビットストリー
ムになる。

【００５３】以上が図14のオーディオ符号化方式の構成
の説明であるが、次に、図13を参照しながら各符号化方
式について説明する。 ●パラメトリック符号化 音声信号や楽音信号を含むサウンド信号を周波数、振幅
およびピッチなどのパラメータで表現し、それを符号化
する。音声信号用の調波ベクトル駆動符号化(HVXC: Har
monic Vector Excitation Coding)と、楽音信号用の個
別スペクトル(IL: Individual Line)符号化が含まれ
る。

【００５４】HVXC符号化は、主として2k〜4kbpsの音声
符号化を目的とし、音声信号を有声音と無声音に分類
し、有声音は線形予測係数(LPC: Linear Prediction Co
efficient)の残差信号の調波（ハーモニック）構造をベ
クトル量子化する。無声音については、予測残差をその
ままベクトル駆動符号化(vector excitation coding)す
る。

【００５５】IL符号化は、6k〜16kbpsの楽音の符号化を
目的としており、信号を線スペクトルでモデル化して符
号化するものである。 ●CELP符号化 入力サウンド信号をスペクトル包絡情報と音源情報（予
測誤差）とに分離して符号化する方式である。スペクト
ル包絡情報は、入力サウンド信号から線形予測分析によ
って算出される線形予測係数によって表される。MPEG4
のCELP符号化には帯域幅4kHzの狭帯域CELPと、帯域幅8k
Hzの広帯域CELPがあり、狭帯域(NB: Narrow Band) CEL
Pは3.85〜12.2kbps、広帯域(WB: Wide Band) CELPは13.
7k〜24kbpsの間においてビットレートの選択が可能であ
る。 ●時間/周波数変換符号化 高音質を目指す符号化方式である。AAC(Advanced Audio
Coding)に準拠する方式、およびTwinVQ（Transform-do
main Weighted Interleave Vector Quantization: 変換
領域重み付けインタリーブベクトル量子化）がこれに含
まれる。この時間/周波数変換符号化には聴覚心理モデ
ルが組み込まれ、聴覚マスキング効果を利用しながら適
応量子化する仕組みになっている。

【００５６】AAC準拠方式は、オーディオ信号をDCTなど
で周波数変換し、聴覚マスキング効果を利用しながら適
応量子化する仕組みである。適応ビットレートは24k〜6
4kbpsである。

【００５７】TwinVQ方式は、オーディオ信号を線形予測
分析したスペクトル包絡を用いて、オーディオ信号のMD
CT係数を平坦化する。インタリーブを施した後、二つの
符号長を用いてベクトル量子化する仕組みである。適応
ビットレートは6k〜40kbpsである。 ［システム構造］MPEG4のシステムパートでは、多重
化、分離および合成（コンポジション）を定義する。以
下、図15を用いてシステム構造を説明する。

【００５８】多重化においては、映像符号化器やオーデ
ィオ符号化器からの出力である各オブジェクトや、各オ
ブジェクトの時空間配置を記述したシーン構成情報など
のエレメンタリストリームごとに、アクセスユニットレ
イヤでパケット化される。アクセスユニットレイヤで
は、アクセスユニット単位に同期を取るためのタイムス
タンプや参照クロックなどがヘッダとして付加される。
パケット化されたストリームは、次に、FlexMuxレイヤ
で表示や誤り耐性の単位で多重化され、TransMuxレイヤ
へ送られる。

【００５９】TransMuxレイヤでは、誤り耐性の必要度に
応じて誤り訂正符号が保護サブレイヤで付加される。最
後に、多重サブレイヤ(Mux Sub Layer)で一本のTransMu
xストリームとして伝送路に送り出される。TransMuxレ
イヤは、MPEG4では定義されず、インターネットのプロ
トコルであるUDP/IP(User Datagram Protocol/Internet
Protocol)やMPEG2のトランスポートストリーム(TS)、A
TM(Asynchronous Transfer Mode)のAAL2(ATM Adaptatio
n layer2)、電話回線利用のテレビ電話用多重化方式（I
TU-T勧告H.223）、および、ディジタルオーディオ放送
などの既存のネットワークプロトコルが利用可能であ
る。

【００６０】システムレイヤのオーバヘッドを軽くし、
従来のトランスポートストリームに容易に埋め込めるよ
うに、アクセスユニットレイヤやFlexMuxレイヤをバイ
パスすることも可能である。

【００６１】復号側では、各オブジェクトの同期を取る
ために、デマルチプレクス（分離）の後段にバッファ(D
B: Decoding Buffer)を設け、各オブジェクトの到達時
刻や復号時間のずれを吸収する。合成の前にもバッファ
(CB: Composition Buffer)を設けて表示タイミングを調
整する。 ［ビデオストリームの基本構造］図16にレイヤ構造を示
す。各階層をクラスと呼び、各クラスにはヘッダが付
く。ヘッダとはstart code、end code、ID、形状および
サイズほかの各種符号情報である。 ●ビデオストリーム ビデオストリームは複数のセッションで構成される。セ
ッションとは、一連の完結したシーケンスのことであ
る。

【００６２】VS: セッションは複数のオブジェクトで構
成される VO: ビデオオブジェクト VOL: オブジェクトは複数のレイヤを含むオブジェクト
単位のシーケンス GOV: オブジェクトは複数のレイヤで構成される VOP: オブジェクトレイヤは複数のプレーンで構成され
る ただし、プレーンはフレーム毎のオブジェクト ［誤り耐性を有するビットストリーム構造］MPEG4は、
移動体通信（無線通信）などに対応すべく、符号化方式
自体が伝送誤りに対する耐性を有している。既存の標準
方式における誤り訂正は主にシステム側で行っている
が、PHS(Personal Handy phone System)などのネットワ
ークでは誤り率が非常に高く、システム側では訂正しき
れない誤りがビデオ符号化部分に漏れ込んでくることが
予想される。これを考慮して、MPEG4は、システム側で
訂正しきれなかった各種のエラーパターンを想定し、こ
のような環境の下でも可能な限り誤りの伝播が抑制され
るような誤り耐性符号化方式とされている。ここでは、
画像符号化に関する誤り耐性の具体的な手法と、そのた
めのビットストリーム構造を説明する。 ●Reversible VLC(RVLC)と双方向復号 図17に示すように、復号途中で誤りの混入が確認された
場合、そこで復号処理を一旦停止し、次の同期信号の検
出を行う。次の同期信号が検出できた段階で、今度はそ
こから逆向きにビットストリームの復号処理を行う。新
たな付加情報なしに、復号のスタートポイントが増加し
ていることになり、誤り発生時に復号できる情報量を従
来よりも増やすことが可能になる。このような順方向と
同時に逆方向からも復号可能な可変長符号により「双方
向復号」が実現される。 ●重要情報の複数回伝送 図18に示すように、重要情報を複数回伝送することが可
能な構成を導入し、誤り耐性を強化する。例えば、各VO
Pを正しいタイミングで表示するためにはタイムスタン
プが必要であり、この情報は最初のビデオパケットに含
まれている。仮に、誤りによってこのビデオパケットが
消失しても、前記の双方向復号構造により次のビデオパ
ケットから復号が再開できるが、このビデオパケットに
はタイムスタンプがないため、結局、表示タイミングが
わからないことになる。そのため各ビデオパケットにHE
C(Header Extension Code)というフラグを立て、この後
にタイムスタンプなどの重要情報を付加できる構造が導
入された。HECフラグの後には、タイムスタンプとVOPの
符号化モードタイプとが付加できる。

【００６３】同期はずれが生じた場合は、次の同期回復
マーカ(RM)から復号が開始されるが、各ビデオパケット
にはそのために必要な情報、そのパケットに含まれる最
初のMBの番号およびそのMBに対する量子化ステップサイ
ズがRM直後に配置されている。その後にHECフラグが挿
入され、HEC=‘1’の場合にはTRおよびVCTがその直後に
付加される。これらHEC情報により、仮に、先頭のビデ
オパケットが復号できずに廃棄されても、HEC=‘1’と
設定したビデオパケット以降の復号および表示は正しく
行われることになる。なお、HECを‘1’にするか否かは
符号化側で自由に設定できる。 ●データパーティショニング 符号化側では、MB単位の符号化処理を繰り返してビット
ストリームを構成するため、途中に誤りが混入すると、
それ以降のMBデータは復号できない。一方、複数のMB情
報をまとめて幾つかのグループに分類し、それぞれをビ
ットストリーム内に配置し、各グループの境目にマーカ
情報を組み込めば、仮にビットストリームに誤りが混入
してそれ以降のデータが復号できない場合でも、そのグ
ループの最後にあるマーカで同期を取り直して、次のグ
ループのデータを正しく復号することが可能になる。

【００６４】以上の考えに基づき、ビデオパケット単位
に、動きベクトルとテクスチャ情報（DCT係数など）と
にグループ分けするデータパーティショニング手法(Dat
a Partitioning)が採用されている。また、グループの
境目にはモーションマーカ(MM:Motion Marker)が配置さ
れる。

【００６５】仮に、動きベクトル情報の途中に誤りが混
入していても、MMの後にくるDCT係数は正しく復号でき
るため、誤り混入以前の動きベクトルに対応するMBデー
タはDCT係数とともに正確に再生できる。またTexture部
分に誤りが混入した場合でも、動きベクトルが正しく復
号されていれば、その動きベクトル情報と復号済みの前
フレーム情報とを用いて、ある程度正確な画像が補間再
生（コンシールメント）できる。 ●可変長間隔同期方式 ここでは、可変長パケットで構成されている同期回復手
法を説明する。先頭に同期信号を含んだMB群は「ビデオ
パケット」と呼ばれ、その中に何個のMBを含めるかは符
号化側で自由に設定することができる。可変長符号(VL
C: Variable Length Code)を使用するビットストリーム
に誤りが混入した場合、それ以降の符号の同期が取れな
くなり、復号不可能な状態になる。このような場合で
も、次の同期回復マーカを検出することにより、その後
の情報を正しく復号することが可能になる。 ［バイトアライメント］システムとの整合性をとるため
に、情報の多重化はバイトの整数倍単位で行われる。ビ
ットストリームは、バイトアラインメント(Byte alignm
ent)構造となっている。バイトアラインメントを行うた
めに、各ビデオパケットの最後にスタッフビットが挿入
される。さらにこのスタッフビットは、ビデオパケット
内のエラーチェック符号としても使用される。

【００６６】スタッフビットは‘01111’のように、最
初の1ビットが‘0’で、それ以外のビットがすべて
‘1’であるような符号で構成されている。つまりビデ
オパケット内の最後のMBまで正しく復号されれば、その
次に来る符号は必ず‘0’であり、その後にはスタッフ
ビットの長さより1ビット分だけ短い‘1’の連続がある
はずである。もし、このルールに反したパターンが検出
された場合、それ以前の復号が正しく行われていないこ
とになり、ビットストリームに誤りが混入していたこと
が検出できる。

【００６７】以上、「国際標準規格MPEG4の概要決ま
る」（日経エレクトロニス 1997.9.22号 p.147-168）、
「見えてきたMPEG4の全貌」（社団法人映像情報メディ
ア学会テキスト 1997.10.2）、「MPEG4の最新標準化動
向と画像圧縮技術」（日本工業技術センター セミナー
資料 1997.2.3）などを参考にして、MPEG4の技術に関し
て説明した。

【第1実施形態】［構成］以下、本発明にかかる一実施
形態のテレビ放送受信装置を図面を参照して詳細に説明
する。図19は本発明にかかる実施形態のテレビ放送受信
装置の構成例を示すブロック図である。

【００６８】ディジタルテレビ放送の信号は、その放送
形態に応じて、衛星放送のときは衛星アンテナ21および
チューナ23により、ケーブル放送のときはケーブル22を
介してチューナ24により、選局され受信される。こうし
て衛星放送もしくはケーブル放送から受信されたテレビ
情報は、データ選択器43により一方のデータ列が選択さ
れ、復調回路25で復調され、誤り訂正回路26で誤り訂正
される。

【００６９】ここで、テレビ放送データを外部装置に伝
送する場合、または外部装置からビデオデータやコマン
ド等を入力する場合には、ディジタルインタフェイスを
用いて外部装置とのディジタル通信を行なう。ディジタ
ル通信のためのコネクタ及び、データ処理用回路等で構
成される受信装置のインタフェイス部がDIF46である。
このディジタルインタフェイスはIEEE1394シリアルバス
等で構成され、接続先の装置としてはVTR等が一例とし
て考えられる。

【００７０】続いて、誤り訂正回路26で処理されたテレ
ビ情報は、多重データ分離回路27により多重されている
各データ、つまり画像データ、サウンドデータおよびそ
の他のシステムデータ（追加データ）に分離される。こ
のうち、サウンドデータは、サウンド復号回路28で復号
され、ステレオオーディオデータA(L),A(R)になり、サ
ウンド制御部30により音量や音場定位の調整および主/
副音声などサウンド多重への対応が処理された後、出力
するサウンドが選択され、ディジタル-アナログコンバ
ータ(D/A)29によりアナログ信号に変換されて、スピー
カ31により再生される。

【００７１】一方、画像データは、画像データ中の各オ
ブジェクトにそれぞれに対応して復号処理を行う複数の
復号器からなる画像復号回路32で復号される。この復号
方式は、既に説明したMPEG4の画像復号方式に基づくオ
ブジェクト単位の復号である。復号された画像データ
は、オブジェクトの数に相当する画像v(1)からv(i)にな
り、表示制御部34により表示に基づく様々な処理が施さ
れる。

【００７２】表示制御部34が行う表示制御とは、各オブ
ジェクトを合成して一つの出力画像としたり、各オブジ
ェクトを表示するか否か、各オブジェクトの拡大/縮
小、どこに表示するかなどを行う。さらに、表示制御
は、オブジェクトとキャラクタ発生回路40で発生された
キャラクタ画像（時間表示やインデックスタイトルな
ど）との合成などの各種表示処理も行う。これらの表示
制御は、各オブジェクトの配置情報、すなわちシーン記
述データ変換回路39からのシーン記述情報に基づき、シ
ステムコントローラ38の制御に応じて行われるものであ
る。

【００７３】形成された表示画像は、D/A33でアナログ
化されCRT35に表示されるか、もしくは、ディジタル信
号のまま液晶ディスプレイ(LCD)44などに送られて表示
される。

【００７４】他方、システムデータ（シーン記述データ
や追加データを含む）はシステムデータ復号回路36で復
号される。復号されたシステムデータの中からは、時間
情報検出部37によりシステムデータ中の追加情報に含ま
れれる時間情報（クロックデータ）が検出される。検出
された時間情報はシステムコントローラ38へ入力され、
レイアウト設定におけるコマンド発生の基準になる。ま
た、復号されたシステムデータの中から、シーン記述に
関するデータがシーン記述データ変換部39に入力され
る。その他のシステムデータ（オブジェクトの内容をコ
マンドで表すオブジェクト情報はここに含まれる）は、
システムコントローラ38に各種コマンドとして入力され
る。なお、追加データには、番組のタイトルインデック
スなど、ドキュメントなども含まれていてもよい。

【００７５】オブジェクト情報は、各テレビ局で共通の
コマンドセット（コード）、もしくは局毎に設定された
コマンドセット（コード）等により、各オブジェクトに
タイトル的に割当てられる。受信時、オブジェクト情報
を解析することで、対応するオブジェクトの内容を判別
し分類することができる。本実施形態では、このオブジ
ェクト情報を利用して、指定されたオブジェクト情報を
もつオブジェクトを設定された位置に配置する、レイア
ウト設定機能を実現する。

【００７６】シーン記述データ変換部39で構成されたシ
ーン記述データを用いて、表示制御部34における各オブ
ジェクトの配置や合成、サウンド制御部30における音量
や音場定位などの設定が行われる。また、システムコン
トローラ38の制御に基づき、シーン記述データ変換部39
を調整し、表示制御部34を制御することで、基本レイア
ウトとは異なる配置にオブジェクトをレイアウトする、
つまりレイアウトが設定された場合の配置制御を行うこ
とができる。このレイアウト設定方法については後述す
る。

【００７７】また、オブジェクトとしては受信されてい
ない表示画像、例えば時間表示画面やタイトルインデッ
クスなどを受信装置内部で生成するときは、キャラクタ
発生回路40が用いられる。システムコントローラ38の制
御により、追加データに含まれる時間データもしくは受
信機内のカレンダー（時計）機能部47から入手した時間
情報などから、キャラクタデータが保存されているROM
などのメモリ42を用いて、時間表示キャラクタが生成さ
れる。タイトルインデックスも同様である。ここで生成
された画像は、表示制御部34において合成などが行われ
る。

【００７８】また、ユーザは指示入力部45を介して、レ
イアウト設定のための各種指示入力をはじめとする各種
コマンドを入力することができる。ユーザの指示入力に
基づき、レイアウト設定処理における表示出力制御や位
置調整を行うことができる。すなわち、レイアウト位置
の補正や、新規設定値の入力は指示入力部45から行われ
る。指示入力値に応じてシステムコントローラ38は、所
望の出力（表示、再生）形態が得られるように各部の動
作を適切に制御する。 ［レイアウトの設定］本実施形態におけるレイアウト設
定は、時間帯または曜日等の単位を組み合わせた時間軸
により分類される。レイアウト設定した形態により実際
の表示を行なう際には、現時刻を含む時間帯に分類され
ているレイアウト設定データが有れば、該データに対応
して所定のレイアウト設定動作が実行される。レイアウ
ト設定を分類する際のキーとなる現時刻を判別するため
の時間情報の入手先としては二つある。一つは図19に示
した自装置内のカレンダー（時計）機能部47、もう一つ
はシステムデータ内に含まれる時間情報であり、どちら
を用いても本実施形態は実現可能である。

【００７９】所定の時間帯または曜日に対応して、画像
に含まれる指定オブジェクトを所定の配置で表示するレ
イアウト設定は、以下の方法で実行することができる。
即ち、ユーザが任意に設定したレイアウト設定データを
所定の時間帯または曜日によって区切って分別してメモ
リ41に保持し、これを利用する。

【００８０】ここで、具体的なレイアウトの設定方法を
説明する。図20はレイアウト設定する際の位置データの
設定方法を説明する図、図21はレイアウト設定する際の
イメージと指示の入力方法とを説明する図である。

【００８１】オブジェクトの位置設定には二つの方法が
ある。第一の方法はシーン記述データで規定される基本
レイアウトを位置補正（シフト）する方法であり、第二
の方法はユーザが任意の場所にオブジェクトの位置を新
規に設定する方法である。両者は、ユーザの操作に応じ
て、図20に示すセレクタ302で選択可能である。

【００８２】まず、第一の方法であるシフトする方法に
ついて説明する。オブジェクトとして画像データが入力
され、そのオブジェクトの基本位置はシーン記述データ
で指定される位置データ(X0,Y0)で表される。ユーザが
オブジェクトのシフトを望む場合、加算器301により補
正量(ΔX,ΔY)が位置データ(X0,Y0)に加算され、新たな
位置データ(X',Y')がオブジェクトのレイアウト設定デ
ータになる。次に第二の方法である新規設定する方法に
ついて説明する。基本位置データに関係なく、全く新た
にオブジェクトの位置(X,Y)を設定し、これを基本位置
データに代わる位置データ(X',Y')にする。このように
して、ユーザが設定したレイアウト設定用の位置データ
を、シーン記述データで規定される基本レイアウトのオ
ブジェクト位置データに置き換えて、表示する。

【００８３】以上が指定画像オブジェクトのレイアウト
を設定する方法の説明である。対象となるオブジェクト
を判別するオブジェクト情報もレイアウト設定データの
一部として必要なデータである。表示処理はシステムコ
ントローラ38により制御されるが、このときの制御デー
タ、対象オブジェクトを判別するためのオブジェクト情
報およびレイアウト設定データ、及び設定したレイアウ
ト表示を実行する時間帯または曜日の時間単位コマンド
を入力し、各々を対応させたユーザレイアウト設定デー
タとしてメモリ41に保持しておく。

【００８４】次に図21について説明する。図21はこれま
でに説明した位置の設定方法を図示したものである。CR
Tなどの表示装置303において、操作の対象になる基本位
置にあるオブジェクト306（位置は（X0，Y0））を、シ
フト位置307までシフトしたとき、その時の補正量を基
本位置データに加えて、最終的な位置データ（レイアウ
ト設定データ）は、（X’，Y’）＝（X0＋ΔX，Y0＋Δ
Y）になる。また、ユーザが任意で新規に新規設定位置3
08にオブジェクトを配置した場合は、その位置データ
（レイアウト設定データ）は（X’，Y’）＝（X，Y）に
なる。図20で説明した設定方法は、このように図示され
る。

【００８５】また、図21には指示入力部45に含まれるポ
インティングデバイスの一例としてマウス304およびリ
モートコントローラ305を示す。画面を見ながらマウス3
04を使ったり、リモートコントローラ305の方向入力キ
ー（十字キー、ジョイスティックおよびジョイパッドな
どでもよい）を使うことによって、自由なオブジェクト
の移動を容易に操作することが可能である。なお、オブ
ジェクトを移動する位置および新たに設定する位置は、
画面の四隅や中央などプリセットされた幾つかの位置か
ら選ぶような構成をとることもできる。

【００８６】また、オブジェクトの拡大については、表
示制御部34において、対象とするオブジェクトの大きさ
を例えば整数等の既定値ずつ倍率を上げ／下げすること
により、オブジェクトサイズを任意に変更して、バック
グラウンドとなる背景画像に合成するように処理する。
また、オブジェクトを表示しない場合には、表示制御部
34において、オブジェクトの合成時に、対象となるオブ
ジェクトを表示画面に合成しないように処理することに
よって対応する。

【００８７】次に、音声オブジェクトへの対処について
説明する。図22は、レイアウト設定データに応じた、音
声オブジェクトの出力制御を説明するための図である。
ステレオ入力された音声オブジェクト91に対して、L側,
R側をそれぞれアンプ92，93において、システムコント
ローラ94の制御に基づいたゲイン96，95に基づいて出力
レベルを調整する。この出力がオーディオ出力となり、
オーディオ(L)出力97，(R)出力98を得る。システムコン
トローラ94においてレイアウト設定データに応じてゲイ
ン95，96を制御することによって、左右の出力レベルの
バランス、音量を調整することができ、左右間の音場定
位を制御することができる。即ち、レイアウト設定時に
このゲインの値を調整することにより、音声オブジェク
トのレイアウト変更を実現する。このようにして、音量
の調節や音場定位の設定が可能となる。

【００８８】ここで図23を参照して、音像、音場定位に
ついて説明を補足する。図23に示す左スピーカ（SP-L）
と右スピーカ（SP-R）から出力される音量のバランス
（比率）と全体の音量レベルを調整することによって、
音場空間上に音像を定めることを、音場定位の設定とい
う。音場空間は、視聴位置と左右スピーカを結ぶ空間上
に存在し、音像は左右及び前後の２軸上を移動し、音場
空間上の適当な位置に設定することができる。この概念
を用いて、レイアウト設定データにより左右音声出力レ
ベル及び音量の調整を施し、左右スピーカからの出力を
調整することによって、レイアウト変更に伴い音場定位
を設定する。なお、サラウンドスピーカ等を用いて位
相、残響成分を利用することにより、音場定位を360°
自由に、3次元的に設定することも可能になる。

【００８９】以上説明したようにして、ユーザによるレ
イアウト設定が可能である。

【００９０】所定の期間（時間帯や曜日など）毎で分別
して、設定したレイアウト設定データを記憶しておくこ
とができる。この記憶場所は、EEPROMなどの不揮発性メ
モリ41が利用される。システムコントローラ38は、ユー
ザがレイアウト設定した時間帯や曜日、もしくはデフォ
ルト設定されている時間帯や曜日に該当する時刻を時間
情報から検出することにより、メモリ41に記憶されてい
る該当する時間帯、または曜日等に応じたレイアウト設
定データを読み出す。そして、メモリ41から読み出した
レイアウト設定データを基に、シーン記述データ変換部
39及び表示制御部34を制御し、設定されたレイアウトで
画像表示及びサウンド再生を行なう。

【００９１】続いて、レイアウト設定データについて説
明する。レイアウト設定データには、予めプログラムさ
れ保持されているデフォルトの設定データ、および、ユ
ーザが設定したデータがある。ユーザ設定データは、基
本的には、シーン記述データから得られるオブジェクト
配置情報を基にして、オブジェクト配置情報に加え、ユ
ーザがレイアウト設定したときのオブジェクトの有無や
位置をデータ化して、各部の制御データおよび対象とな
るオブジェクト情報とともに、レイアウト設定データと
して記憶すればよい。シーン記述データについては図12
を用いて既に説明したが、各シーンを構成するオブジェ
クトをツリー型に配列し、それぞれのオブジェクトが表
示されるべき時間や、表示されるべき位置を指定するた
めの情報である。

【００９２】また、その他のレイアウト設定データの構
成として、図24に示すように、そのオブジェクトを表示
するか否かを示すオン/オフデータ、表示位置をXおよび
Y軸で二次元表現したときの表示位置データ、並びに、
大きさを示すデータを保持することによって、対象とな
るオブジェクトのレイアウト設定データとして活用する
ことができる。

【００９３】図25は一般的なMPEG4ビットストリームの
構成を示す図である。図25のオブジェクト1から5までの
データベースに番組内容、（番組に応じてオブジェクト
の種類は異なるが）自然画像オブジェクト、サウンドオ
ブジェクトおよびCGなどのオブジェクトが組み込まれて
いる。一例として、ニュース番組においては、背景オブ
ジェクト（スプライト）、人物、その他の自然画像オブ
ジェクト、天気予報や時刻表示等の合成画像オブジェク
トおよびサウンドオブジェクトなどが該当する。加え
て、ビットストリームにはシステムデータとして、シー
ン記述情報および追加データが多重化されている。追加
データには、時間情報やオブジェクト情報、及びその他
の情報が含まれる。また、オブジェクト情報は、オブジ
ェクト1〜5に該当する各オブジェクトのそれぞれの、属
するジャンルを示すジャンルコード、オブジェクトの詳
細を示すオブジェクトコード、及びその放送局固有のオ
ブジェクトであった場合に必要となる放送局コードを含
んでいる。

【００９４】図26および図27はユーザによる画面設定例
を示す図である。

【００９５】レイアウト設定モードに移行後、ユーザは
画面をみながら、上述した方法によりレイアウト設定を
実行する。

【００９６】放送局から送られてくる画像をそのまま通
常表示したのが、図26及び図27に示す基本画像401であ
る。

【００９７】本実施形態によればレイアウトが任意に設
定可能であるから、図26に示すように、平日朝（例えば
7時〜8時）の時間帯は、基本画像401内の時間表示オブ
ジェクト402を拡大して表示するように、予めレイアウ
ト設定することができる。尚、この時間帯は任意に設定
できることは上述した通りである。

【００９８】また図27に示すように、休日朝の時間帯
は、基本画像401から時間表示オブジェクト403を消去
し、天気予報オブジェクト404を拡大し、更に位置を変
更して表示するように、レイアウト設定することも可能
である。

【００９９】このように、各種オブジェクトに対して曜
日や時間帯を適宜組み合わせて、設定したい時間帯毎
に、レイアウト変更した画面を表示できる。こうして一
度レイアウト設定した後は、現在時刻が設定時間帯に含
まれていた場合に、保持してあるレイアウト設定データ
を読み出し、レイアウト変更機能が作動する。そして、
オブジェクト情報から対象とするオブジェクトを判別
し、所定の配置にレイアウトを変更して自動表示するこ
とが可能になる。

【０１００】尚、以上説明したレイアウト設定はユーザ
による設定に限らず、予め設定された所定の時間帯で機
能するように、受信装置の工場出荷時に組み込まれるデ
フォルト設定であってもよい。

【０１０１】以下、図28及び図29を参照して、オブジェ
クト情報及びレイアウト設定データについて詳細に説明
する。図28はオブジェクト情報の詳細構成を、各放送局
毎に対応させたコード構成の概念図である。また、図29
はレイアウト設定データの構造の概念図である。

【０１０２】図25で説明したオブジェクト情報の詳細構
成は、具体的には図28に示した様に分類される。図28に
示すように、ジャンルコードは、例えば「ニュース」
「プロ野球」「ワイドショー」…等に分類される。また
オブジェクトコードは、例えばジャンルコードが「ニュ
ース」であれば、「時間表示オブジェクト」「天気画像
オブジェクト」「人物画像オブジェクト」…等に分類さ
れる。ジャンルコードが「プロ野球」や「ワイドショ
ー」である場合に関しても同様に、オブジェクトコード
が図示されるように構成される。そしてこのようなオブ
ジェクト情報の詳細構成が、各放送局毎に存在してい
る。このようなオブジェクト情報の構成を示すコード
が、各放送局毎、または各局共通のコード等により、各
種オブジェクトに対する一覧として予め作成されてい
る。そして、放送局側と視聴者側の受信装置とにおい
て、同一のコードを相互理解できるように設定されてい
る。

【０１０３】またレイアウト設定データは、図29に示す
ように「デフォルト設定モード」と「ユーザ設定モー
ド」を両立させることが考えられる。

【０１０４】デフォルト設定モードは初期設定のモード
であり、例えば曜日と時間帯に応じて、朝の「おはよ
う」モード（機能：時間表示を大きくする、音量を上げ
る、等）、夜の「おやすみ」モード（機能：音量を抑え
目にする、等）、平日朝の「お出かけ」モード（機能：
時間表示と天気予報画像を大きくする、等）、土日朝の
「休日」モード（機能：時計表示を消す、等）などが考
えられる。そして、それぞれのデフォルト設定モード毎
に、レイアウト変更の対象とするオブジェクトのオブジ
ェクト情報、デフォルト設定されている位置データ、各
部の制御データ、さらに放送局データ等が必要なデータ
として保持されている。

【０１０５】また、ユーザ設定モードは、ユーザの任意
の時間帯や曜日毎に、上述した設定方法でレイアウト設
定を行い、それぞれの時間帯ごとにレイアウト変更の対
象とするオブジェクトのオブジェクト情報、設定した位
置データ、各部の制御データ、さらに放送局データ等
を、レイアウト設定データとして保持する。尚、図29に
おいては、ユーザ設定1「月曜の19:00〜21:00」、ユー
ザ設定2「水曜の21:00〜22:00」、ユーザ設定3「月、
水、金の12:00〜13:00」、ユーザ設定4「毎日7:30〜8:3
0」の時間帯がそれぞれユーザ設定されている。ユーザ
設定モードにおいては、人物やテロップ等の各種画像オ
ブジェクトや音声オブジェクトに関しても、任意のレイ
アウト設定が可能である。また、放送局データを用い
て、放送局を指定条件として機能させることもできる。 ［動作手順］図30および図31は本実施形態のテレビ放送
受信装置の動作手順例を説明するフローチャートで、図
30はユーザがレイアウトを設定する際のフロー、図31は
テレビ映像の表示におけるフローである。

【０１０６】図30に示すレイアウト設定モードにおい
て、レイアウトの変更表示を行ないたい時間帯を入力す
る（ステップS1）。この時間帯としては、ユーザが年、
月、曜日、日、時間、分、等の単位を用いて、曜日ご
と、日ごと、または開始時刻から終了時刻、等の設定の
単独または複数の組み合わせとして入力することで設定
される。さらに、毎週、隔週、何日間等の期間の入力も
可能とする。

【０１０７】続いて、テレビ情報中の画像データを構成
する各オブジェクトの内、レイアウトを変更する対象オ
ブジェクトが選択される（ステップS2）。そして、ユー
ザは、選択（指定）した対象オブジェクトを任意に配置
する（ステップS3）。尚この時、オブジェクトの表示の
オン／オフも同時に設定する。対象としたオブジェクト
の配置が完了すると、レイアウト設定を終了するか否か
が判断され（ステップS4）、他のオブジェクトについて
もレイアウトを設定する場合はステップS2へ戻り、対象
オブジェクトの選択および配置を繰り返す。レイアウト
設定が終了ならば、レイアウトが設定された各オブジェ
クトの位置がデータ化される。そして、各オブジェクト
のオブジェクト情報、位置データおよび各部の制御デー
タが統合され、更に入力された時間帯を対応させて、レ
イアウト設定データとしてメモリ41に格納される（ステ
ップS5）。尚、レイアウト設定データとして、放送局
（チャンネル）のデータを付加しても良い。

【０１０８】図31に示す表示モードにおいて、テレビ情
報を受信し（ステップS11）、その時の時刻を示す時間
情報を検出する（ステップS12）。時間情報は、受信装
置内のカレンダー（時計）機能部47、もしくはテレビ放
送システムデータから入手し、検出する。

【０１０９】続いて、検出された時間情報に基づいて現
在時刻をコマンドとし、該時刻に対応するレイアウト設
定データが既にメモリ41に保存されているか否かが判断
される（ステップS13）。現在時刻に該当するレイアウ
ト設定データが保存されていない場合は、放送局から送
られてくるそのままの基本レイアウトでテレビ放送の映
像を表示する（ステップS14）。

【０１１０】現在時刻に該当するレイアウト設定データ
が保存されている場合は、メモリ41から該当するレイア
ウト設定データを再生し（ステップS15）、そのレイア
ウト設定データに記録されているオブジェクト情報が出
現したら、その対象オブジェクトのレイアウトを変更す
る制御が行えるようにスタンバイする。即ち、ステップ
S16では、レイアウト設定の対象外のオブジェクトは基
本レイアウトで表示され、レイアウト設定の対象オブジ
ェクトは、その対象オブジェクトの表示タイミング（シ
ーン）において、設定されたレイアウトで表示される。

【０１１１】番組が終了したり、別のチャネルに移行し
て新たな番組の受信が開始されるまでは、ステップS14
またはステップS16の表示状態が維持される。新たな番
組の受信が開始された場合は、現行のレイアウト設定が
リセットされ、フローはステップS11のテレビ放送受信
の初期状態から繰り返される。

【０１１２】以上説明したように本実施形態によれば、
曜日や時間帯に応じて、任意の情報を優先した表示レイ
アウトによるテレビ画面表示が可能となる。従って、ユ
ーザの好みに応じた映像表示が可能になり、視覚的およ
び聴覚的ユーザインタフェイスの質的向上を期待するこ
とができ、ユーザに対してより自由度のあるテレビ番組
表示が、簡単な操作で容易に実現される。

【第2実施形態】以下、本発明にかかる第2実施形態のテ
レビ放送受信装置を説明する。なお、本実施形態におい
て、第1実施形態と略同様の構成については、同一符号
を付して、その詳細説明を省略する。

【０１１３】第2実施形態においては、MPEG4以外の符号
化方式で符号化された画像をMPEG4の一つオブジェクト
として利用、代用したテレビ放送におけるオブジェクト
のレイアウト設定について説明する。

【０１１４】ここでは、自然画像符号化方式にMPEG2を
用いた例を説明する。つまり、MPEG2で符号化された画
像（以下「MPEG2画像」と呼ぶ場合がある）がMPEG4のビ
ットストリームに多重化されて伝送され、これを受信し
て表示するテレビ放送受信装置に関する説明を行う。な
お、第2実施形態におけるレイアウトの設定方法は、第1
実施形態で説明したものと同様であり、テレビ放送受信
装置の基本構成および動作は図19により説明したものと
同様である。ただし、第2実施形態におけるテレビ放送
の復号方法に関係して、図19に示すサウンド復号回路2
8、画像復号回路32およびシステムデータ復号回路36の
細部が異なるので、これらを図32および図33を用いて説
明する。

【０１１５】図32は、送信側である放送局において、MP
EG4によるテレビ放送を送信するためのシステムに搭載
される符号化部である。データ多重化器5006は、図2で
説明したサウンド、自然画像、合成画像、文字およびシ
ーン記述情報の各オブジェクトの符号化器5001〜5005か
らの出力をMPEG4のビットストリームに多重化するとと
もに、MPEG2方式の業務用放送機器や中継システムまた
はDVD(Digital Video Disc)の再生などにより抽出され
るMPEG2ビットストリーム61を、MPEG4のビットストリー
ムへ多重化する。

【０１１６】図33はMPEG4ビットストリームを復号する
側、つまりテレビ放送受信装置に搭載される復号部の構
成例である。図33に示される復号部は、第2実施形態の
テレビ放送受信装置を構成する復号系およびそれに関連
する回路であるサウンド復号回路28、画像復号回路32、
システムデータ復号回路36およびシーン記述データ変換
部39などに含まれる。

【０１１７】受信されたMPEG4ビットストリームは、復
号前にデータ分離器5007によりそれぞれのデータに分離
される。分離された各データのうちMPEG4のオブジェク
トであるサウンド、自然画像、合成画像、文字およびシ
ーン記述情報は、各オブジェクトに対応する復号部5008
〜5012において復号される。また、MPEG4のオブジェク
トとともに多重化されたMPEG2のデータは、MPEG4のオブ
ジェクトの復号器とは別に設けられた専用のMPEG2デコ
ーダ62で復号される。なお、MPEG2デコーダ62は、MPEG4
の画像復号回路32の一部を利用した構成であってもよ
い。

【０１１８】こうして復号されたサウンド、画像および
システムデータであるシーン記述データからテレビ番組
の映像を表示するための情報が構成され、各オブジェク
トおよびMPEG2データがシーン合成部5013でテレビ出力
すべき形態に合成され、シーン情報として出力される。

【０１１９】続いて、第1実施形態で説明したレイアウ
トの設定方法を用いて、MPEG2画像を含むMPEG4のテレビ
放送の映像を表示する場合の説明を図26を用いて行う。
第2実施形態では、図26又は図27に示すニュース番組に
おいて自然画像オブジェクトを扱う際の一例として、領
域405に表示される中継画像オブジェクトがMPEG2画像で
あるとする。その他のオブジェクトはMPEG4のデータか
らなる。すなわち、MPEG2画像を含むMPEG4のテレビ放送
の映像表示例である。このときのMPEG4のビットストリ
ーム例を図34に示す。

【０１２０】図34に示すMPEG4のビットストリームに
は、MPEG2のデータストリームである中継画像のデータ
がオブジェクト2として多重化されている。MPEG2のデー
タストリームは、一般的にオーディオ、ビデオおよびシ
ステムデータ（MPEG2付加情報）の三種のデータから構
成される。オブジェクト2には、伝送に関する所定のタ
イミング調整に従い、所定量毎のセグメントに分けられ
たMPEG2データストリームがそれぞれ多重化される。MPE
G2とMPEG4とでは、下位レベルで共通化可能な符号化/復
号回路もあるので、必要であれば共通化して、符号化/
復号に関する無駄を避けた処理を行う。

【０１２１】このように、MPEG2方式により符号化され
た画像および/またはサウンドデータを含むMPEG4方式の
TV放送であっても、第1実施形態で説明したようなレイ
アウト設定が可能になる。

【０１２２】表示画像のレイアウト設定データについて
は、第1実施形態と同様に、シーン記述情報から得られ
るオブジェクト配置情報を基に、ユーザによりレイアウ
トが変更されたオブジェクトの位置データを算出し、時
間帯、対象とするオブジェクト情報および各部の制御デ
ータを対応させ、更に必要であれば、放送局（チャンネ
ル）データを付加して、レイアウト設定データとして記
憶しておく。また、表示に関する動作も第1実施形態と
同様である。

【０１２３】第2実施形態は、MPEG2画像が多重化された
MPEG4のテレビ放送であるから、MPEG2コンテンツ、例え
ば現場中継などに用いる画像中継システムなどとの複合
する場合に、MPEG2装置の出力を、複雑なデータ変換を
介さずに、MPEG4の放送システムに流用でき、MPEG2とMP
EG4との親和性から扱いも容易である。なお、中継画像
などに限らず、代表的なMPEG2映像装置であるDVDを用い
た資料映像表示などの多重画像出力例や、または他のMP
EG2装置を用いた場合にも、勿論利用可能である。

【０１２４】また、MPEG2とMPEG4とでは、共通化できる
符号化/復号回路も多数あるので、システムの効率化に
加え、回路構成も複雑な構成を必要とせずに効果的であ
る。勿論、ソフトウェアデコーダの場合でもシステムの
効率化は図れる。また、MPEG2とMPEG4を混在させたシス
テムの場合、時間情報の入手はMPEG2のシステムデータ
に含まれるタイムスタンプを用いることもできる。

【０１２５】以上説明したように本実施形態によれば、
第1実施形態の効果に加えて、MPEG2で符号化されたテレ
ビ情報を、MPEG4テレビシステムにも流用できるように
したので、従来あるコンテンツをそのまま使え、かつMP
EG2をわざわざMPEG4にデータ変換する必要もないので、
扱いが容易であり非常に効果的である。

【第3実施形態】以下、本発明にかかる第3実施形態のテ
レビ放送受信装置を説明する。なお、本実施形態におい
て、第1実施形態と略同様の構成については、同一符号
を付して、その詳細説明を省略する。

【０１２６】本実施形態のレイアウト設定の対象オブジ
ェクトは、放送データに含まれているオブジェクトに限
らず、受信装置内で生成された画像であってもよい。こ
のような受信装置内で生成される画像の例としては、文
字情報などからなる時間情報およびタイトル、並びに、
CGその他のグラフィックスなどが考えられる。本実施形
態は、時間情報、タイトルおよびグラフィックスなどの
表示位置を、特定の時間帯には通常時と異なるレイアウ
トとなるように、自動的に変化させるものである。

【０１２７】キャラクタ画像、例えば時間情報に関して
は、MPEG4ビットストリームの追加データに含まれて送
られてくる時間表示の基になる時間データや、テレビ放
送受信装置内のカレンダー（時計）機能等を利用して、
キャラクタ発生部40で生成される。さらに、キャラクタ
発生部40は、追加データ中に受信装置内のカレンダー機
能に対応した時間表示を行わせるコマンドが存在する場
合、または、システムコントローラ38により独自に時間
表示命令が発行された場合、これに従い、カレンダー機
能を用いてそれぞれのコマンドに応じた時間表示画像を
出力する。なお、実際に時間表示画像を生成する、つま
りキャラクタ発生動作の役割を担うのはキャラクタ発生
部40およびキャラクタのデータが格納されたメモリ42で
あり、画像の合成は表示制御部34が行い、システムコン
トローラ38はそれらを制御することで時間表示画像を生
成させ表示させる。

【０１２８】なお、MPEG2データストリームのサブコー
ド内に一情報として含まれるタイムスタンプを利用して
も同様の動作を実現できる。タイトルやグラフィックス
に関する画像生成も同様であり、追加データに含まれた
コマンドに従い、適切なタイミングで所定の画像が生
成、合成、表示される。このように、受信装置内で生成
された画像を、放送データに含まれるオブジェクトの如
く扱うようにすれば、より扱いやすいシステムが構築で
きる。

【０１２９】本実施形態の受信装置内で生成したキャラ
クタや画像のレイアウト設定に関しては、生成されたキ
ャラクタや画像の表示位置、大きさ、表示オン／オフ等
によって示されるレイアウト位置（オブジェクト位置）
をデータ化し、その位置データ、設定する時間帯情報、
そのキャラクタや画像（オブジェクト）の識別情報、お
よび、キャラクタや画像の生成動作の制御を含む各部の
制御データを、レイアウト設定データとして記憶してお
く。なお、位置データの設定は図20および図21で説明し
た方法と同様である。これに加えて、メモリ42から読み
出すキャラクタ生成用データや、キャラクタ発生部40で
生成するキャラクタの生成動作をコマンドに対応させて
制御し、適切なキャラクタを生成させる。

【０１３０】発生されたキャラクタや画像は、第1実施
形態と同様、受信されたオブジェクトと合成され表示さ
れる。

【０１３１】本実施形態によれば、第1実施形態の効果
に加えて、受信装置内で生成したキャラクタや画像に対
しても、レイアウト設定機能を実現することができるの
で、通信（伝送）にかかる負荷を低減する効果を有す
る。

【０１３２】このように、ディジタルテレビ放送におい
て、パーソナルコンピュータ(PC)との融合も容易にな
り、現在、PCのデスクトップ上で行っているようなレイ
アウト設定などを、テレビ映像に対してもカスタマイズ
できるので、テレビ放送とPCとの相性もよくなり、ま
た、ディジタル複合製品の分野において市場拡大の効果
が期待できる。

【変形例】上述した第2実施形態においては、MPEG4のオ
ブジェクトの一つとして、MPEG2のデータストリームを
組み込んだ構成について説明した。更に、MPEG2のシス
テムデータに付加データとして、レイアウト設定に関す
る各種情報を組み込んでも本発明は適用可能であり、実
質的なMPEG4ビットストリーム同様の効果が得られる。

【０１３３】ここで、テレビ情報としてのMPEG2データ
ストリームにMPEG4データストリームを多重する方法に
ついて説明する。

【０１３４】一般的なMPEG4のデータストリーム構成
は、上述した図25に示す通りである。図35は、MPEG2の
データストリームの伝送形式を示す、MPEG2トランスポ
ートストリーム構造を示す図である。図35を用いて、MP
EG4データストリームをMPEG2データストリームに多重す
る方法を説明する。

【０１３５】MPEG2トランスポートストリームは、固定
長のトランスポートパケットによって多重され分離され
る。トランスポートパケットのデータ構造は、図35に示
すように階層的に表され、それぞれ図35に示す項目を含
む。それら項目を順に説明すると、8ビットの「同期信
号(sync)」、パケット内のビットエラーの有無を示す
「誤り表示（エラーインジケータ）」、このパケットの
ペイロードから新たなユニットが始まることを示す「ユ
ニット開始表示」、このパケットの重要度を示す「プラ
イオリティ（パケット優先度）」、個別ストリームの属
性を示す「識別情報PID(Packet Identification)」、ス
クランブルの有無および種別を示す「スクランブル制
御」、このパケットのアダプテーションフィールドの有
無およびペイロードの有無を示す「アダプテーションフ
ィールド制御」、同じPIDをもつパケットが途中で一部
棄却されたかどうかを検出するための情報である「巡回
カウンタ」、付加情報や、スタッフィングバイトをオプ
ションで入れることができる「アダプテーションフィー
ルド」、並びに、ペイロード（画像やサウンドの情報）
である。アダプテーションフィールドは、フィールド
長、その他の個別ストリームに関する各種項目、オプシ
ョナルフィールド、並びに、スタッフィングバイト（無
効データバイト）からなる。

【０１３６】本実施形態においては、テレビ情報のサブ
画像またはサウンドデータしてのMPEG4のデータストリ
ーム、および、それを識別するためのIDをオプショナル
フィールドにおける付加データの一つと見做し、オプシ
ョナルフィールド内に多重する。

【０１３７】つまり、メインであるテレビ情報の構成は
MPEG2データストリーム（トランスポートストリーム）
である。そして、図35に一例を示すように、データ量と
しては微かな写真（自然）画像、CG、文字などの画像オ
ブジェクト（オブジェクトAおよびB）、サウンドオブジ
ェクト（オブジェクトC）、シーン記述情報(BIFS)、並
びに、その他必要なデータ（サブデータ）を組み合わせ
たMPEG4データストリームを構成する。このMPEG4データ
ストリームを、MPEG2のシステムデータ中のオプショナ
ルフィールドの一部として多重させることで、MPEG2とM
PEG4とのデータストリーム多重伝送が実現される。

【０１３８】尚、前記微小な画像オブジェクトは、本発
明に係るMPEG4のオブジェクトの如く、任意のレイアウ
ト設定が可能なように構成される。このレイアウト設定
に関する方法及び動作については、既に説明した各実施
形態における方法や動作と同様である。また、レイアウ
ト設定の際の時間情報として、MPEG2のタイムスタンプ
を用いることもできる。

【０１３９】また、キャラクタ発生手段によって、受信
装置内で生成した画像をレイアウト設定する為の情報
を、MPEG2のシステムデータに多重することでも可能で
ある。

【０１４０】このように構成することで、MPEG4テレビ
放送に限らず、MPEG2、またはその他のテレビ放送にお
いても本発明は適用できる。また、MPEG2符号化方式か
らなるテレビ放送システムに、MPEG4のビットストリー
ムを組み込むことが可能である。従って、既存のテレビ
放送システムを活用することも可能となる。

【他の実施形態】なお、本発明は、複数の機器（例えば
ホストコンピュータ、インタフェイス機器、リーダ、プ
リンタなど）から構成されるシステムに適用しても、一
つの機器からなる装置（例えば、複写機、ファクシミリ
装置など）に適用してもよい。

【０１４１】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体（または記録媒体）を、システムあるい
は装置に供給し、そのシステムあるいは装置のコンピュ
ータ（またはCPUやMPU）が記憶媒体に格納されたプログ
ラムコードを読み出し実行することによっても、達成さ
れることは言うまでもない。この場合、記憶媒体から読
み出されたプログラムコード自体が前述した実施形態の
機能を実現することになり、そのプログラムコードを記
憶した記憶媒体は本発明を構成することになる。また、
コンピュータが読み出したプログラムコードを実行する
ことにより、前述した実施形態の機能が実現されるだけ
でなく、そのプログラムコードの指示に基づき、コンピ
ュータ上で稼働しているオペレーティングシステム(OS)
などが実際の処理の一部または全部を行い、その処理に
よって前述した実施形態の機能が実現される場合も含ま
れることは言うまでもない。

【０１４２】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。本発明を上記記憶
媒体に適用する場合、その記憶媒体には、先に説明した
フローチャートに対応するプログラムコードを格納する
ことになる。

【発明の効果】以上説明したように本発明によれば、デ
ィジタルテレビ放送における画像（映像）の新たな再生
機能を提供することができる。

【図面の簡単な説明】

【図１】衛星放送を用いたディジタル放送受信機の構成
例を示すブロック図、

【図２】複数種類のオブジェクトを同時に入力し符号化
処理する構成例を示すブロック図、

【図３】ユーザ操作（編集）を考慮に入れたシステムの
構成例を示す図、

【図４】ビデオオブジェクトに関するVOP処理回路のエ
ンコーダ側のブロック図、

【図５】ビデオオブジェクトに関するVOP処理回路のデ
コーダ側のブロック図、

【図６】VOPの符号化および復号の全体構成を示すブロ
ック図、

【図７Ａ】VOPを構成する情報を示す図、

【図７Ｂ】VOPを構成する情報を示す図、

【図８】テキスチャ符号化のAC/DC予測符号化を説明す
るための図、

【図９Ａ】スケーラビリティを実現するためのシンタッ
クスの階層構造を説明するための図、

【図９Ｂ】スケーラビリティを実現するためのシンタッ
クスの階層構造を説明するための図、

【図１０Ａ】ワープを説明する図、

【図１０Ｂ】ワープの種類を説明する図、

【図１１】ワープを説明する図、

【図１２】シーン記述情報の構成例を示す図、

【図１３】MPEG4オーディオの符号化方式の種類を示す
図、

【図１４】オーディオ符号化方式の構成を示す図、

【図１５】MPEG4のシステム構造を説明する図、

【図１６】MPEG4のレイヤ構造を説明する図、

【図１７】双方向復号を説明する図、

【図１８】重要情報の複数回伝送を説明する図、

【図１９】本発明にかかる実施形態のテレビ放送受信装
置の構成例を示すブロック図、

【図２０】レイアウト設定する際の位置データの設定方
法を説明する図、

【図２１】レイアウト設定する際のイメージと指示の入
力方法とを説明する図、

【図２２】レイアウト設定データに応じた音声オブジェ
クトの出力制御を説明するための図、

【図２３】音像及び音場定位についての補足説明のため
の図、

【図２４】レイアウト設定データの構成を説明する図、

【図２５】一般的なMPEG4ビットストリームの構成を示
す図、

【図２６】本実施形態による映像の表示形態例を示す
図、

【図２７】本実施形態による映像の表示形態例を示す
図、

【図２８】オブジェクト情報のコード構成の概念を示す
図、

【図２９】レイアウト設定データの構造の概念を示す
図、

【図３０】本実施形態のテレビ放送受信装置の動作手順
例を説明するフローチャート、

【図３１】本実施形態のテレビ放送受信装置の動作手順
例を説明するフローチャート、

【図３２】MPEG4によるテレビ放送を送信するためのシ
ステムに搭載される符号化部の構成例を示すブロック
図、

【図３３】テレビ放送受信装置に搭載される復号部の構
成例を示すブロック図、

【図３４】MPEG2画像を含むMPEG4のビットストリーム例
を示す図、

【図３５】MPEG2データストリームにMPEG4データストリ
ームを多重する方法を説明する図、である。

Claims (26)

【特許請求の範囲】
1. 【請求項１】 テレビ放送のディジタルデータ列を受信
   する受信手段と、 受信されたディジタルデータ列から画像およびシステム
   データを復号する復号手段と、 復号されたシステムデータに基づき、復号された画像の
   再生形態を制御する制御手段とを有し、 前記制御手段は、時間情報に基づいて前記再生形態を制
   御することを特徴とする放送受信装置。
2. 【請求項２】 前記テレビ放送とは、MPEG4方式で符号
   化された画像データを放送するものであることを特徴と
   する請求項１記載の放送受信装置。
3. 【請求項３】 第２の方式により符号化された画像デー
   タを含む第１の方式で符号化されたディジタルデータ列
   のテレビ放送を受信する受信手段と、 前記第１の方式で符号化されたディジタルデータ列から
   画像およびシステムデータを復号する第１の復号手段
   と、 前記第２の方式により符号化された画像データを復号す
   る第２の復号手段と、 復号されたシステムデータに基づき、前記第１および第
   ２の復号手段により復号された画像の再生形態を制御す
   る制御手段と、を有し、 前記制御手段は、時間情報に基づいて前記再生形態を制
   御することを特徴とする放送受信装置。
4. 【請求項４】 前記第１の方式はMPEG4方式であり、前
   記第２の方式はMPEG2方式であることを特徴とする請求
   項３記載の放送受信装置。
5. 【請求項５】 前記第１の方式はMPEG2方式であり、前
   記第２の方式はMPEG4方式であることを特徴とする請求
   項３記載の放送受信装置。
6. 【請求項６】 前記制御手段は、前記画像データのオブ
   ジェクト単位に再生を制御することを特徴とする請求項
   １乃至５のいずれかに記載の放送受信装置。
7. 【請求項７】 前記制御手段は、前記システムデータに
   基づいて制御対象のオブジェクトを識別することを特徴
   とする請求項６記載の放送受信装置。
8. 【請求項８】 更に、計時機能を有する計時手段を備
   え、 前記制御手段は、前記時間情報を前記計時手段より取得
   することを特徴とする請求項１乃至７のいずれかに記載
   の放送受信装置。
9. 【請求項９】 前記制御手段は、前記時間情報を前記シ
   ステムデータより取得することを特徴とする請求項１乃
   至７のいずれかに記載の放送受信装置。
10. 【請求項１０】 更に、前記再生形態を複数保持する保
    持手段を備え、 前記制御手段は、前記保持手段が前記時間情報に対応づ
    けられた再生形態を保持していれば、該再生形態に基づ
    いて画像を再生することを特徴とする請求項１乃至９の
    いずれかに記載の放送受信装置。
11. 【請求項１１】 更に、所定オブジェクトのレイアウト
    を時間情報に対応づけてマニュアル設定するための設定
    手段を備え、 前記設定手段により設定されたレイアウトは、前記所定
    オブジェクトのオブジェクト情報とともに、再生形態を
    示す情報として前記保持手段に保持されることを特徴と
    する請求項１０記載の放送受信装置。
12. 【請求項１２】 前記制御手段は、前記記憶手段から前
    記時間情報に対応する再生形態を読み出し、該再生形態
    に対応付けされた前記オブジェクト情報に対応するオブ
    ジェクトのレイアウトを制御することを特徴とする請求
    項１１記載の放送受信装置。
13. 【請求項１３】 前記設定手段は、所定オブジェクトの
    再生を行なうか否か、及び／又は再生位置の変更、及び
    ／又は再生サイズの変更を設定することを特徴とする請
    求項１１記載の放送受信装置。
14. 【請求項１４】 前記制御手段は、前記システムデータ
    により示される画像の再生形態を調整することを特徴と
    する請求項１乃至１３のいずれかに記載の放送受信装
    置。
15. 【請求項１５】 前記復号手段は、前記ディジタルデー
    タ列から画像、サウンド、及びシステムデータを復号
    し、 前記制御手段は、前記復号されたシステムデータに基づ
    き、復号された画像及びサウンドの再生形態を制御する
    ことを特徴とする請求項１記載の画像処理装置。
16. 【請求項１６】 前記テレビ放送とは、MPEG4方式で符
    号化された画像及びサウンドデータを放送するものであ
    ることを特徴とする請求項１５記載の放送受信装置。
17. 【請求項１７】 前記制御手段は、サウンドオブジェク
    トの出力レベルを制御することを特徴とする請求項１５
    記載の放送受信装置。
18. 【請求項１８】 テレビ放送のディジタルデータ列を受
    信する受信工程と、 受信されたディジタルデータ列から画像およびシステム
    データを復号する復号工程と、 復号されたシステムデータに基づき、復号された画像の
    再生形態を制御する制御工程と、を有し、 前記制御工程においては、時間情報に基づいて前記再生
    形態を制御することを特徴とする放送受信方法。
19. 【請求項１９】 第２の方式により符号化された画像デ
    ータを含む第１の方式で符号化されたディジタルデータ
    列のテレビ放送を受信する受信工程と、 前記第１の方式で符号化されたディジタルデータ列から
    画像およびシステムデータを復号する第１の復号工程
    と、 前記第２の方式により符号化された画像データを復号す
    る第２の復号工程と、 復号されたシステムデータに基づき、前記第１および第
    ２の復号手段により復号された画像の再生形態を制御す
    る制御工程と、を有し、 前記制御工程においては、時間情報に基づいて前記再生
    形態を制御することを特徴とする放送受信方法。
20. 【請求項２０】 前記制御工程においては、前記時間情
    報を放送受信装置内の計時機能により取得することを特
    徴とする請求項１８又は１９記載の放送受信方法。
21. 【請求項２１】 前記制御工程においては、前記時間情
    報を前記システムデータより取得することを特徴とする
    請求項１８又は１９記載の放送受信方法。
22. 【請求項２２】 前記制御工程においては、前記時間情
    報に対応づけられた再生形態が予め設定されていれば、
    該再生形態に基づいて画像を再生することを特徴とする
    請求項１８乃至２１のいずれかに記載の放送受信方法。
23. 【請求項２３】 更に、所定オブジェクトのレイアウト
    を時間情報に対応づけてマニュアル設定するための設定
    工程を備えることを特徴とする請求項２２記載の放送受
    信方法。
24. 【請求項２４】 前記設定工程においては、所定オブジ
    ェクトの再生を行なうか否か、及び／又は再生位置の変
    更、及び／又は再生サイズの変更を設定することを特徴
    とする請求項２３記載の放送受信方法。
25. 【請求項２５】 テレビ放送のディジタルデータ列を受
    信し、画像を再生するためのプログラムコードが記録さ
    れた記録媒体であって、前記プログラムコードは少なく
    とも、 テレビ放送のディジタルデータ列を受信する受信工程の
    コードと、 受信されたディジタルデータ列から画像およびシステム
    データを復号する復号工程のコードと、 復号されたシステムデータに基づき、復号された画像の
    再生形態を制御する制御工程のコードと、 前記制御工程において、時間情報に基づいて前記再生形
    態を制御するコードと、を有することを特徴とする記録
    媒体。
26. 【請求項２６】 第２の符号化方式により符号化された
    画像データを含む第１の方式で符号化されたディジタル
    データ列のテレビ放送を受信して、画像を再生するため
    のプログラムコードが記録された記録媒体であって、前
    記プログラムコードは少なくとも、 前記第１の方式で符号化されたディジタルデータ列から
    画像およびシステムデータを復号する第１の復号工程の
    コードと、 前記第２の方式により符号化された画像データを復号す
    る第２の復号工程のコードと、 復号されたシステムデータに基づき、前記第１および第
    ２の復号手段により復号された画像の再生形態を制御す
    る制御工程のコードと、 前記制御工程において、時間情報に基づいて前記再生形
    態を制御するコードと、を有することを特徴とする記録
    媒体。