JP2000209580A

JP2000209580A - 画像処理装置およびその方法

Info

Publication number: JP2000209580A
Application number: JP703599A
Authority: JP
Inventors: Masamichi Ito; 賢道伊藤; 宏爾 ▲高▼橋; Koji Takahashi
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1999-01-13
Filing date: 1999-01-13
Publication date: 2000-07-28
Also published as: US6377309B1; EP1021039A3; EP1021039A2

Abstract

(57)【要約】【課題】より多機能なテレビ放送などを実現する上
で、メイン画像に関係する、または関係しなくとも、そ
の時々にユーザが欲する情報を画像の形態で、メイン画
像に付随する小情報量のサブデータとして取得できるこ
とが望まれる。【解決手段】 MPEG2のディジタルテレビ情報が受信さ
れ(S1)、番組が選局されれ(S2)、選局された番組のMPEG
2データストリームに多重されているサブテレビ情報のM
PEG4データの検出が行われ(S3)、その検出結果に基づ
き、MPEG2データストリームにMPEG4データが含まれてい
るかが判断される(S4)。MPEG4データが含まれている場
合、MPEG2データストリームからMPEG4データストリーム
が分離され、MPEG2データおよびMPEG4データそれぞれが
画像、サウンドおよびシステムデータに分けられて復号
される(S6)。さらに、MPEG2の画像およびサウンドと、M
PEG4のシーンおよびサウンドとの出力形態が設定される
(S7)。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像処理装置および
その方法に関し、例えば、MPEG2のデータストリームの
ようなディジタルデータ列から少なくとも画像を再生す
る画像処理装置およびその方法に関するものである。

【０００２】

【従来の技術】近年、衛星放送やケーブル放送を用いた
ディジタルテレビ放送が開始された。ディジタル放送の
実現により、画像やサウンドを含むサウンドの品質向
上、圧縮技術を利用した番組の種類や量の増大、インタ
ラクティブサービスなど新しいサービスの提供、受信形
態の進化など多くの効果が期待される。

【０００３】図1は衛星放送を用いたディジタル放送受
信機10の構成例を示すブロック図である。

【０００４】まず、放送衛星によって送信されたテレビ
(TV)情報がアンテナ1で受信される。受信されたTV情報
はチューナ2で選局され復調される。その後、図示しな
いが、誤り訂正処理、必要であれば課金処理やデスクラ
ンブル処理などが行われる。次に、TV情報として多重化
されている各種データを多重信号分離回路3で分離す
る。TV情報は画像情報、サウンド情報およびその他の付
加データに分離される。分離された各データは復号回路
4で復号される。こうして復号された各データのうち画
像情報とサウンド情報はD/A変換回路5でアナログ化さ
れ、テレビジョン受像機(TV)6で再生される。一方、付
加データは、番組サブデータとしての役割をもち各種機
能に関与する。

【０００５】さらに、受信されたTV情報の記録再生には
VTR7が利用される。受信機10とVTR7との間はIEEE1394な
どのディジタルインタフェイスで接続されている。この
VTR7は、ディジタル記録方式の記録形態を備え、例えば
D-VHS方式などによりTV情報をビットストリーム記録す
る。なお、D-VHS方式のビットストリーム記録に限ら
ず、その他の民生用ディジタル記録方式であるDVフォー
マットや、DVD(DigitalVideo Disc)などの各種ディスク
媒体を用いたディジタル記録装置などでもディジタルテ
レビ放送と同様のTV情報を記録することが可能である。
ただし、フォーマット変換が必要になる場合がある。

【０００６】また、上述したようなディジタルテレビ放
送やディジタル記録装置では、主として、MPEG2で符号
化されたデータフォーマットが採用されている。

【０００７】

【発明が解決しようとする課題】しかしながら、地上波
放送および上述したディジタルテレビ放送においてテレ
ビ番組表をTV6に表示するには、放送局から送信されて
くるメイン画像を単純に表示する方法だけしかない。メ
イン画像に付随するサブ情報を表示する例として文字放
送があるが、提供される情報はテキスト情報など限られ
たものであり、画像を扱うことはできない。

【０００８】また、複数チャネルの画像をマルチ画面で
表示するテレビジョン受像機はあるが、それぞれの画像
は、大情報量のメイン画像として送信されたものであ
る。

【０００９】より多機能なテレビ放送などを実現する上
で、メイン画像に関係する、または関係しなくとも、そ
の時々にユーザが欲する情報を画像（サウンドを加えて
もよい）の形態で、メイン画像に付随する小情報量のサ
ブデータとして取得できることが望まれる。しかし、こ
のような技術は実現されていない。

【００１０】本発明は、上述の問題を解決するためのも
のであり、メイン画像に関係する、または関係しなく
とも、その時々に所望される情報を少なくとも画像の形
態で再生する機能を提供することを目的とする。

【００１１】

【課題を解決するための手段】本発明は、前記の目的を
達成する一手段として、以下の構成を備える。

【００１２】本発明にかかる画像処理装置は、MPEG2デ
ータストリームを入力する入力手段と、入力されるデー
タストリームからMPEG4データストリームを検出する検
出手段と、入力されるデータストリームからMPEG2およ
びMPEG4で符号化された各データをそれぞれ分離する分
離手段と、分離された各データを復号する復号手段と、
前記検出手段による検出結果に基づき、復号された少な
くとも画像情報の再生を制御する制御手段とを有するこ
とを特徴とする。

【００１３】本発明にかかる画像処理方法は、MPEG2デ
ータストリームを入力し、入力されたデータストリーム
からMPEG4データストリームを検出し、受信されたデー
タストリームからMPEG2およびMPEG4で符号化された各デ
ータをそれぞれ分離し、分離された各データを復号し、
前記検出結果に基づき、復号された少なくとも画像情報
の再生を制御することを特徴とする。

【００１４】

【発明の実施の形態】［概要］本実施形態は、テレビ放
送のメイン情報内の所定領域にサブ情報として、画像お
よび/またはサウンドデータを含むサウンドデータを効
率的に多重して送信し、受信側でメインおよびサブ情報
を受信し再生にする。それぞれのデータフォーマットと
しては、メイン画像情報にディジタルテレビ放送のMPEG
2データストリームを、サブ情報に近年標準化が図られ
ている、伝送効率が非常に高いMPEG4データストリーム
を用いる。

【００１５】本実施形態によれば、メイン情報に多重さ
れたサブ情報により画像やサウンドを伝送することがで
き、その時々にユーザが欲する情報を画像（サウンドを
含むサウンドを加えてもよい）の形態で提供することが
可能になる。さらに、視覚的効果を向上させることがで
きる。

【００１６】さらに、データフォーマットにMPEG2およ
びMPEG4を用いることで、現在のディジタルテレビ放送
システムであるMPEG2との親和性も容易に実現できる
上、既存のMPEG2用コンテンツを有効に活用することが
できる。また、画像やサウンドをオブジェクト単位で扱
うMPEG4は、サブ情報のデータフォーマットとして最適
なデータ形態であると言える。

【００１７】なお、本実施形態は、ディジタルテレビ放
送に限らず、DVD(Digital Video Disc)などのパッケー
ジメディアにも適用することができる。

【００１８】

【MPEG4の概要】［規格の全体構成］MPEG4規格は大きな
四つの項目からなる。このうち三つの項目はMPEG2と類
似していて、ビジュアルパート、オーディオパートおよ
びシステムパートである。

【００１９】●ビジュアルパート自然画、合成画、動画および静止画などを扱うオブジェ
クト符号化方式が規格として定められている。また、伝
送路誤りの訂正や修復に適した符号化方式、同期再生機
能および階層符号化が含まれている。表現上『ビデオ』
は自然画像を意味し、『ビジュアル』は合成画像まで含
む。

【００２０】●オーディオパート自然音、合成音および効果音などを対象にしたオブジェ
クト符号化方式が規格として定められている。ビデオパ
ートやオーディオパートでは複数の符号化方式を規定
し、それぞれのオブジェクトの特徴に適した圧縮方式を
適宜選択することで、符号化効率を高める工夫がされて
いる。

【００２１】●システムパート符号化された映像オブジェクトやサウンドオブジェクト
の多重化処理と、その逆の分離処理を規定する。さらに
バッファメモリや時間軸制御と再調整機能もこのパート
に含まれる。上記のビジュアルパートおよびオーディオ
パートで符号化された映像オブジェクトやサウンドオブ
ジェクトは、シーンのなかのオブジェクトの位置や出現
時刻および消滅時刻などを記したシーン構成情報ととも
にシステムパートの多重化ストリームに統合される。復
号処理としては、受信したビットストリームから、それ
ぞれのオブジェクトを分離/復号し、シーン構成情報に
基づきシーンを再構成する。

【００２２】［オブジェクトの符号化］MPEG2ではフレ
ームあるいはフィールドを単位として符号化するが、コ
ンテンツの再利用や編集を実現するために、MPEG4では
映像データやオーディオデータをオブジェクト（物体）
として扱う。オブジェクトには以下のような種類があ
る。サウンド自然画像（背景映像: 二次元固定映像）自然画像（主被写体映像: 背景なし）合成画像文字画像

【００２３】これらを同時に入力し符号化処理する場合
のシステム構成例を図2に示す。サウンドオブジェクト
符号化器5001、自然画像オブジェクト符号化器5002、合
成画像オブジェクト符号化器5003および文字オブジェク
ト符号化器5004により、オブジェクトはそれぞれ符号化
処理される。この符号化と略同時に、シーン内における
各オブジェクトの関連を示すシーン構成情報を、シーン
記述情報符号化器5005により符号化する。符号化された
オブジェクト情報およびシーン記述情報は、データ多重
化器5006によりMPEG4ビットストリームへエンコード処
理される。

【００２４】このようにエンコード側では、複数のビジ
ュアルオブジェクトやオーディオオブジェクトの組み合
わせを定義して、一つのシーン（画面）を表現する。ビ
ジュアルオブジェクトに関しては、自然画像とコンピュ
ータグラフィクスなどの合成画像とを組み合わせたシー
ンも構成できる。また、上記のような構成をとること
で、例えば、テキストサウンド合成の機能を使って、被
写体映像とそのサウンドとの同期再生が可能になる。な
お、前記のビットストリーム状態で送受信または記録再
生が行われる。

【００２５】デコード処理は、先のエンコード処理の逆
処理である。データ分離器5007により、MPEG4ビットス
トリームを各オブジェクトに分離し分配する。分離され
たサウンド、自然画像、合成画像および文字などのオブ
ジェクトは、対応する復号器5008から5011によりオブジ
ェクトデータへ復号される。また、シーン記述情報も略
同時に復号器5012により復号される。これらの復号情報
を用いて、シーン合成器5013は、元のシーンを合成す
る。

【００２６】デコード側では、シーンに含まれるビジュ
アルオブジェクトの位置や、オーディオオブジェクトの
順番など、部分的な変更が可能である。オブジェクト位
置はドラッグにより変更でき、言語の変更などはユーザ
がオーディオオブジェクトを変更することで可能にな
る。

【００２７】複数のオブジェクトを自由に組み合わせて
シーンを合成するために、次の四つの項目が規定されて
いる。

【００２８】●オブジェクト符号化ビジュアルオブジェクトおよびオーディオオブジェク
ト、並びに、それらを組み合わせたAV（オーディオビジ
ュアル）オブジェクトを符号化対象とする。

【００２９】●シーン合成ビジュアルオブジェクト、オーディオオブジェクトおよ
びAVオブジェクトを所望するシーンに構成するためのシ
ーン構成情報と合成方式とを規定するために、Virtual
Reality Modeling Language(VRML)をモディファイした
言語を用いる。

【００３０】●多重化と同期各オブジェクトを多重同期したストリーム（エレメンタ
リストリーム）の形式などを定める。このストリームを
ネットワークに流したり、記録装置に格納するときのサ
ービス品質QOS(Quality of Service)も設定可能であ
る。QOSパラメータには、最大伝送速度、誤り率および
伝送方式などの伝送路条件や復号能力などが設けられて
いる。

【００３１】●ユーザの操作（インタラクション）ビジュアルオブジェクトやオーディオオブジェクトを、
ユーザ端末側で合成する方式を定義する。MPEG4のユー
ザ端末は、ネットワークや記録装置から送られてくるデ
ータを、エレメンタリストリームに分離して、各オブジ
ェクトごとに復号する。複数の符号化されたデータか
ら、同時に送られてきたシーン構成情報を基にしてシー
ンを再構成する。

【００３２】ユーザ操作（編集）を考慮に入れたシステ
ムの構成例を図3に示す。また、ビデオオブジェクトに
関するVOP処理回路のエンコーダ側のブロック図を図4
に、デコーダ側のブロック図を図5に示す。

【００３３】［VOP(Video Object Plane)］MPEG4におけ
る映像の符号化は、対象の映像オブジェクトを形状(Sha
pe)とその絵柄(Texture)に分けてそれぞれ符号化する。
この映像データの単位をVOPという。図6はVOPの符号化
および復号の全体構成を示すブロック図である。

【００３４】例えば、画像が人物と背景の二つのオブジ
ェクトから構成されている場合、各フレームを二つのVO
Pに分割して符号化する。各VOPを構成する情報は、図7A
に示されるように、オブジェクトの形状情報、動き情報
およびテキスチャ情報である。一方、復号器は、ビット
ストリームをVOP毎に分離し個別に復号した後、これら
を合成して画像を形成する。

【００３５】このように、VOP構造の導入により、処理
対象の画像が複数の映像オブジェクトから構成されてい
る場合、これを複数のVOPに分割し、個別に符号化/復号
することができる。なお、VOPの数が1で、オブジェクト
形状が矩形の場合は、図7Bに示すように、従来からのフ
レーム単位の符号化になる。

【００３６】VOPには三種類の予測方式、面内符号化(I-
VOP)、前方向予測(P-VOP)および双方向予測(B-VOP)があ
る。予測単位は16×16画素のマクロブロック(MB)であ
る。

【００３７】双方向予測B-VOPは、MPEG1およびMPEG2のB
ピクチャと同じく、過去のVOPおよび未来のVOPの両方向
からVOPを予測する方式である。そして、マクロブロッ
ク単位に直接符号化/前方符号化/後方符号化/双方符号
化の四種類のモードが選択可能である。そしてこのモー
ドは、MBまたはブロック単位に切り替えることが可能で
ある。P-VOPの動きベクトルのスケーリングで双方向予
測する。

【００３８】［形状(Shape)符号化］オブジェクト（物
体）単位で画像を扱うためには、物体の形状が符号化お
よび復号の際に既知でなければならない。また、後方に
ある物体が透けて見えるガラスのような物体を表現する
ためには、物体の透明度を表す情報が必要になる。この
物体の形状および物体の透明度の情報を合わせて形状情
報と呼ぶ。そして、形状情報の符号化を形状符号化と呼
ぶ。

【００３９】［サイズ変換処理］二値形状符号化は、画
素毎に物体の外側にあるのか内側にあるのかを判定し
て、境界画素を符号化する手法である。従って、符号化
すべき画素数が少ないほど発生符号量も少なくて済む。
しかし、符号化すべきマクロブロックサイズを小さくす
ることは、元の形状符号が劣化して受信側に伝送される
ことになる。従って、サイズ変換により元の情報がどの
程度劣化するかを測定し、所定のしきい値以下のサイズ
変換誤差が得られる限りは、できるだけ小さなマクロブ
ロックサイズを選択する。具体的なサイズ変換比率とし
ては、原寸大、縦横1/2倍、縦横1/4倍の三種類が挙げら
れる。

【００４０】各VOPの形状情報は、8ビットのα値として
与えられ、次のように定義される。 α = 0: 該当VOPの外側 α = 1〜254: 他のVOPと半透明状態で表示 α = 255: 該当VOPのみの表示領域

【００４１】二値形状符号化は、α値が0あるいは255を
とる場合であり、該当VOPの内側と外側のみで形状が表
現される。多値形状符号化は、α値が0から255のすべて
の値を取り得る場合で、複数のVOP同士が半透明で重畳
された状態を表現することができる。

【００４２】テキスチャ符号化と同様に16×16画素のブ
ロック単位に一画素精度の動き補償予測をする。オブジ
ェクト全体を面内符号化する場合は形状情報の予測はし
ない。動きベクトルは、隣接するブロックから予測した
動きベクトルの差分を用いる。求めた動きベクトルの差
分値は、符号化してからビットストリームに多重化す
る。MPEG4では、動き補償予測したブロック単位の形状
情報を二値形状符号化する。

【００４３】●フェザーリングその他、二値形状の場合でも、境界部を不透明から透明
に滑らかに変化させたい場合はフェザーリング（境界形
状のスムージング）を使う。フェザーリングは、境界値
を線形に補間する線形フェザーリングモードと、フィル
タを使うフェザーリングフィルタモードがある。不透明
度が一定な多値形状には、定アルファモードがあり、フ
ェザーリングと組み合わせが可能である。

【００４４】［テキスチャ符号化］オブジェクトの輝度
成分や色差成分の符号化を行うもので、フィールド/フ
レーム単位のDCT(Discrete Cosine Tranfer)、量子化、
予測符号化および可変長符号化の順に処理する。

【００４５】DCTは8×8画素のブロックを処理単位とす
るが、オブジェクト境界がブロック内にある場合は、オ
ブジェクトの平均値でオブジェクト外の画素を補填す
る。その後、4タップの二次元フィルタ処理を施すこと
で、DCT係数に大きな擬似ピークが発生する現象を防
ぐ。

【００４６】量子化はITU-T勧告H.263の量子化器あるい
はMPEG2の量子化器の何れかを使う。MPEG2量子化器を使
えば、直流成分の非線形量子化やAC成分の周波数重み付
けが可能になる。

【００４７】量子化後の面内符号化係数は、可変長符号
化する前にブロック間で予測符号化し冗長成分を削除す
る。とくに、MPEG4では直流成分と交流成分の両方に対
して予測符号化する。

【００４８】テキスチャ符号化のAC/DC予測符号化は、
図8に示すように、注目ブロックに隣接するブロック間
で対応する量子化係数の差分（勾配）を調べ、小さい方
の量子化係数を予測に使う。例えば、注目ブロックの直
流係数xを予測する場合、対応する隣接ブロックの直流
係数がa、bおよびcならば次のようになる。 |a - b| ＜ |b - c| ならば直流係数cを予測に使う |a - b| ≧ |b - c| ならば直流係数aを予測に使う

【００４９】注目ブロックの交流係数Xを予測する場合
も、上記と同様に予測に使う係数を選んだ後、各ブロッ
クの量子化スケール値QPで正規化する。

【００５０】直流成分の予測符号化は、隣接するブロッ
ク間で上下に隣接するブロックの直流成分の差（垂直勾
配）と、左右に隣接するブロックの直流成分の差（水平
勾配）を調べ、勾配の少ない方向のブロックの直流成分
との差分を予測誤差として符号化する。

【００５１】交流成分の予測符号化は、直流成分の予測
符号化に合わせて、隣接ブロックの対応する係数を用い
る。ただし、量子化パラメータの値がブロック間で異な
っている可能性があるので、正規化（量子化ステップス
ケーリング）してから差分をとる。予測の有無はマクロ
ブロック単位に選択できる。

【００５２】その後、交流成分は、ジグザグスキャンさ
れ、三次元(Last、RunおよびLevel)可変長符号化され
る。ここで、Lastはゼロ以外の係数の終りを示す1ビッ
トの値、Runはゼロの継続長、Levelは非ゼロ係数の値で
ある。

【００５３】面内符号化された直流成分の可変長符号化
には、直流成分用可変長符号化テーブルまたは交流成分
用可変長テーブルの何れかを使う。

【００５４】［動き補償］MPEG4では任意の形状のビデ
オオブジェクトプレーン(VOP)を符号化することができ
る。VOPには、前述したように、予測の種類によって面
内符号化(I-VOP)、前方向予測符号化(P-VOP)および双方
向予測符号化(B-VOP)があり、予測単位は16ライン×16
画素または8ライン×8画素のマクロブロックを使う。従
って、VOPの境界上に跨るマクロブロックも存在するこ
とになる。このVOP境界の予測効率を改善するために、
境界上のマクロブロックに対してはパディング（補填）
およびポリゴンマッチング（オブジェクト部分のみのマ
ッチング）を行う。

【００５５】［ウェーブレット符号化］ウェーブレット
(wavelet)変換は、一つの孤立波関数を拡大/縮小/平行
移動して得られる複数の関数を変換基底とする変換方式
である。このウェーブレット変換を用いた静止画像の符
号化モード(Texture Coding Mode)は、とくにコンピュ
ータグラフィックス(CG)画像と自然画像とが合成された
画像を扱う場合に、高解像度から低解像度までの様々な
空間解像度を備えた高画質の符号化方式として適してい
る。ウェーブレット符号化は、画像をブロック分割せず
一括して符号化することができるため、低ビットレート
でもブロック歪みが発生せず、モスキート雑音も減少で
きる。このように、MPEG4の静止画像符号化モードは、
低解像度かつ低画質の画像から高解像度かつ高画質の画
像までの幅広いスケーラビリティ、処理の複雑性および
符号化効率のトレードオフの関係をアプリケーションに
応じて調整できる。

【００５６】［階層符号化（スケーラビリティ）］スケ
ーラビリティを実現するために、図9Aおよび9Bに示すよ
うなシンタックスの階層構造を構成する。階層符号化
は、例えばベースレイヤを下位レイヤ、補強レイヤを上
位レイヤとし、補強レイヤにおいてベースレイヤの画質
を向上する「差分情報」を符号化することによって実現
される。空間スケーラビリティの場合、ベースレイヤは
低解像度の動画像を、「ベースレイヤ+補強レイヤ」で
高解像度の動画像を表す。

【００５７】さらに、画像全体の画質を階層的に向上さ
せるほかに、画像中の物体領域のみ画質を向上させる機
能がある。例えば、時間スケーラビリティの場合、ベー
スレイヤは画像全体を低いフレームレートで符号化した
もの、補強レイヤは画像内の特定オブジェクトのフレー
ムレートを向上させるデータを符号化したものになる。

【００５８】●時間スケーラビリティ図9Aに示す時間スケーラビリティは、フレーム速度を階
層化し、補強レイヤのオブジェクトのフレーム速度を速
くすることができる。階層化の有無はオブジェクト単位
で設定できる。補強レイヤのタイプは二つで、タイプ1
はベースレイヤのオブジェクトの一部で構成する。タイ
プ2はベースレイヤと同じオブジェクトで構成する。

【００５９】●空間スケーラビリティ図9Bに示す空間スケーラビリティは空間解像度を階層化
する。ベースレイヤは、任意のサイズのダウンサンプリ
ングが可能で、補強レイヤの予測に使用される。

【００６０】［スプライト符号化］スプライトとは、三
次元空間画像における背景画像などのように、オブジェ
クト全体が統一的に移動、回転、変形などを表現できる
平面的なオブジェクトのことである。この平面的オブジ
ェクトを符号化する手法をスプライト符号化と呼ぶ。

【００６１】スプライト符号化は四種、静的/動的およ
びオンライン/オフラインに区別される。詳しく説明す
ると、オブジェクトデータを予め復号器に送り、グロー
バル動き係数だけをリアルタイムに伝送する構成であっ
て、テンプレートオブジェクトの直接変換で得られる静
的スプライト。時間的に前のスプライトからの予測符号
化により得られる動的スプライト。事前に面内符号化(I
-VOP)により符号化され、復号器側に伝送されるオフラ
インスプライト。符号化中に符号化器および復号器で同
時に作成されるオンラインスプライトがある。

【００６２】スプライト符号化に関して検討されている
技術には、スタティックスプライト(Static Sprite)符
号化、ダイナミックスプライト(Dynamic Sprite)符号
化、グローバル動き補償などがある。

【００６３】●スタティックスプライト符号化スタティックスプライト符号化は、ビデオクリップ全体
の背景（スプライト）を予め符号化しておき、背景の一
部を幾何変換することによって画像を表現する方法であ
る。切り出された一部の画像は、平行移動、拡大/縮
小、回転など様々な変形を表現することができる。これ
について図10Aに示すように、画像の移動、回転、拡大/
縮小、変形などにより三次元空間における視点移動を表
現することをワープと呼ぶ。

【００６４】ワープの種類には遠近法変換、アフィン変
換、等方拡大(a)/回転(θ)/移動(c,f)および平行移動が
あり、図10Bの各式で表される。図10Bに示す式の係数に
よって移動、回転、拡大/縮小、変形などが表される。
また、スプライトの生成は符号化開始前にオフラインで
行われる。

【００６５】このように、背景画像の一部領域を切り取
り、この領域をワープして表現することでスタティック
スプライト符号化は実現される。図11に示すスプライト
（背景）画像に含まれる一部領域がワープされることに
なる。例えば、背景画像はテニスの試合における観客席
などの画像であり、ワープされる領域はテニスプレーヤ
などの動きのあるオブジェクトを含んだ画像である。ま
た、スタティックスプライト符号化においては、幾何変
換パラメータのみを符号化して、予測誤差を符号化しな
い。

【００６６】●ダイナミックスプライト符号化スタティックスプライト符号化では符号化前にスプライ
トが生成される。これに対して、ダイナミックスプライ
ト符号化では、符号化しながらオンラインにスプライト
を更新することができる。また、予測誤差を符号化する
という点でスタティックスプライト符号化とは異なる。

【００６７】●グローバル動き補償(GMC) グローバル動き補償とは、オブジェクト全体の動きを、
ブロックに分割することなく、一つの動きベクトルで表
して動き補償する技術であり、剛体の動き補償などに適
している。参照画像が、スプライトの代わりに直前の復
号画像になる点、予測誤差を符号化する点では、スタテ
ィックスプライト符号化と同様である。ただし、スプラ
イトを格納するためのメモリを必要としないこと、形状
情報が不要であることは、スタティックスプライト符号
化およびダイナミックスプライト符号化とは異なる。画
面全体の動きや、ズームを含む画像などにおいて効果が
ある。

【００６８】［シーン構造記述情報］シーン構成情報に
よりオブジェクトは合成される。MPEG4では、各オブジ
ェクトをシーンに合成するための構成情報を伝送する。
個別に符号化された各オブジェクトを受信したときに、
シーン構成情報を使えば、送信側が意図したとおりのシ
ーンに合成できる。

【００６９】シーン構成情報には、オブジェクトの表示
時間や表示位置などが含まれ、これらがツリー状のノー
ド情報として記述されている。各ノードは、親ノードに
対する時間軸上の相対時刻情報と相対空間座標位置情報
をもつ。シーン構成情報を記述する言語には、VRMLを修
正したBIFS(Binary Format for Scenes)とJava(TM)を用
いたAAVS(Adaptive Audio-Visual Session Format)があ
る。BIFSは、MPEG4のシーン構成情報を二値で記述する
形式。AAVSはJava(TM)をベースとし、自由度が大きくBI
FSを補う位置付けにある。図12はシーン記述情報の構成
例を示す図である。

【００７０】［シーン記述］シーン記述はBIFSによって
行われる。ここでは、VRMLとBIFS共通の概念であるシー
ングラフとノードを中心に説明する。

【００７１】ノードは光源、形状、材質、色および座標
などの属性や、座標変換を伴う下位ノードのグループ化
を指定する。オブジェクト指向の考えを取り入れ、三次
元空間中の各物体の配置やみえ方は、シーングラフと呼
ばれる木を、頂点のノードから辿り、上位ノードの属性
を継承することにより決定される。葉にあたるノードに
メディアオブジェクト、例えば、MPEG4ビデオのビット
ストリームを同期をとって割当てれば、他のグラフィク
スと伴に動画を三次元空間内に合成して表示することが
できる。

【００７２】また、VRMLとの差異は下記のとおりであ
る。MPEG4システムでは次をBIFSでサポートする。 (1)MPEG4ビデオVOP符号化の二次元オーバラップ関係記
述と、MPEG4オーディオの合成記述 (2)連続メディアストリームの同期処理 (3)オブジェクトの動的振る舞い表現（例えばスプライ
ト） (4)伝送形式（バイナリ）を標準化 (5)セッション中にシーン記述を動的に変更

【００７３】VRMLのノードのうちExtrusion、Script、P
rotoおよびExtemProtoなどがサポートされていない以外
は、VRMLノードのほぼすべてがBIFSでサポートされてい
る。BIFSで新たに加えられたMPEG4特別ノードには、以
下のものがある。 (1)2D/3D合成のためのノード (2)2Dグラフィクスやテクストのためのノード (3)アニメーションノード (4)オーディオノード

【００７４】特筆すべきは、VRMLでは背景など特殊なノ
ードを除き2D合成はサポートされていなかったが、BIFS
では、テキストやグラフィックオーバレイ、さらにMPEG
4ビデオVOP符号化を画素単位で扱えるように記述が拡張
されている。

【００７５】アニメーションノードには、3Dメッシュで
構成された顔などMPEG4のCG画像のための特別なノード
が規定されている。シーングラフ中のノードの置き換
え、消去、追加および属性変更が動的に行えるメッセー
ジ(BIFS Update)があり、セッションの途中で画面上に
新たな動画像を表示したり、ボタンを追加することが可
能になる。BIFSは、VRMLの予約語、ノード識別子および
属性値をほぼ一対一にバイナリデータに置き換えること
により実現できる。

【００７６】［MPEG4オーディオ］図13にMPEG4オーディ
オの符号化方式の種類を示す。オーディオおよびサウン
ドの符号化には、パラメトリック符号化、CELP(Code Ex
cited Linear Prediction)符号化、時間/周波数変換符
号化が含まれる。さらに、SNHC(Synthetic Natural Hyb
rid Coding)オーディオの機能も取り入れ、SA（Structu
red Audio: 構造化オーディオ）符号化とTTS（Text to
Speech: テキストサウンド合成）符号化が含まれる。SA
はMIDI(Music Instrument Degital Interface)を含む合
成楽音の構造的記述言語であり、TTSは外部のテキスト
サウンド合成装置にイントネーションや音韻情報などを
送るプロトコルである。

【００７７】図14にオーディオ符号化方式の構成を示
す。図14において、入力サウンド信号を前処理(201)
し、パラメトリック符号化(204)、CELP符号化(205)およ
び時間/周波数符号化(206)の三つの符号化を使い分ける
ように、帯域に応じて信号分割(202)し、それぞれに適
した符号化器へ入力する。また、信号分析制御(203)に
より、入力オーディオ信号が分析され、入力オーディオ
信号を各符号化器へ割り当てるための制御情報などが発
生される。

【００７８】続いて、それぞれ別の符号化器であるパラ
メトリック符号化コア(204)、CELP符号化コア(205)、時
間/周波数変換符号化コア(206)は、各符号化方式に基づ
いた符号化処理を実行する。これら三種の符号化方式に
ついては後述する。パラメトリック符号化およびCELP符
号化されたオーディオデータは、小ステップ強化(207)
され、時間/周波数変換符号化および小ステップ強化さ
れたオーディオデータは、大ステップ強化(208)され
る。なお、小ステップ強化(207)および大ステップ強化
(208)は、各符号化処理で発生する歪を減少させるため
のツールである。こうして、大ステップ強化されたオー
ディオデータは、符号化されたサウンドビットストリー
ムになる。

【００７９】以上が図75のサウンド符号化方式の構成の
説明であるが、次に、図13を参照しながら各符号化方式
について説明する。

【００８０】●パラメトリック符号化サウンド信号や楽音信号を含むサウンド信号を周波数、
振幅およびピッチなどのパラメータで表現し、それを符
号化する。サウンド信号用の調波ベクトル駆動符号化(H
VXC: Harmonic Vector Excitation Coding)と、楽音信
号用の個別スペクトル(IL: Individual Line)符号化が
含まれる。

【００８１】HVXC符号化は、主として2k〜4kbpsのサウ
ンド符号化を目的とし、サウンド信号を有声音と無声音
に分類し、有声音は線形予測係数(LPC: Linear Predict
ionCoefficient)の残差信号の調波（ハーモニック）構
造をベクトル量子化する。無声音については、予測残差
をそのままベクトル駆動符号化(vector excitation cod
ing)する。

【００８２】IL符号化は、6k〜16kbpsの楽音の符号化を
目的としており、信号を線スペクトルでモデル化して符
号化するものである。

【００８３】●CELP符号化入力サウンド信号をスペクトル包絡情報と音源情報（予
測誤差）とに分離して符号化する方式である。スペクト
ル包絡情報は、入力サウンド信号から線形予測分析によ
って算出される線形予測係数によって表される。MPEG4
のCELP符号化には帯域幅4kHzの狭帯域CELPと、帯域幅8k
Hzの広帯域CELPがあり、狭帯域(NB: Narrow Band) CEL
Pは3.85〜12.2kbps、広帯域(WB: Wide Band) CELPは13.
7k〜24kbpsの間においてビットレートの選択が可能であ
る。

【００８４】●時間/周波数変換符号化高音質を目指す符号化方式である。AAC(Advanced Audio
Coding)に準拠する方式、およびTwinVQ（Transform-do
main Weighted Interleave Vector Quantization: 変換
領域重み付けインタリーブベクトル量子化）がこれに含
まれる。この時間/周波数変換符号化には聴覚心理モデ
ルが組み込まれ、聴覚マスキング効果を利用しながら適
応量子化する仕組みになっている。

【００８５】AAC準拠方式は、オーディオ信号をDCTなど
で周波数変換し、聴覚マスキング効果を利用しながら適
応量子化する仕組みである。適応ビットレートは24k〜6
4kbpsである。

【００８６】TwinVQ方式は、オーディオ信号を線形予測
分析したスペクトル包絡を用いて、オーディオ信号のMD
CT係数を平坦化する。インタリーブを施した後、二つの
符号長を用いてベクトル量子化する仕組みである。適応
ビットレートは6k〜40kbpsである。

【００８７】［システム構造］MPEG4のシステムパート
では、多重化、分離および合成（コンポジション）を定
義する。以下、図15を用いてシステム構造を説明する。

【００８８】多重化においては、映像符号化器やオーデ
ィオ符号化器からの出力である各オブジェクトや、各オ
ブジェクトの時空間配置を記述したシーン構成情報など
のエレメンタリストリームごとに、アクセスユニットレ
イヤでパケット化される。アクセスユニットレイヤで
は、アクセスユニット単位に同期を取るためのタイムス
タンプや参照クロックなどがヘッダとして付加される。
パケット化されたストリームは、次に、FlexMuxレイヤ
で表示や誤り耐性の単位で多重化され、TransMuxレイヤ
へ送られる。

【００８９】TransMuxレイヤでは、誤り耐性の必要度に
応じて誤り訂正符号が保護サブレイヤで付加される。最
後に、多重サブレイヤ(Mux Sub Layer)で一本のTransMu
xストリームとして伝送路に送り出される。TransMuxレ
イヤは、MPEG4では定義されず、インターネットのプロ
トコルであるUDP/IP(User Datagram Protocol/Internet
Protocol)やMPEG2のトランスポートストリーム(TS)、A
TM(Asynchronous Transfer Mode)のAAL2(ATM Adaptatio
n layer2)、電話回線利用のテレビ電話用多重化方式（I
TU-T勧告H.223）、および、ディジタルオーディオ放送
などの既存のネットワークプロトコルが利用可能であ
る。

【００９０】システムレイヤのオーバヘッドを軽くし、
従来のトランスポートストリームに容易に埋め込めるよ
うに、アクセスユニットレイヤやFlexMuxレイヤをバイ
パスすることも可能である。

【００９１】復号側では、各オブジェクトの同期を取る
ために、デマルチプレクス（分離）の後段にバッファ(D
B: Decoding Buffer)を設け、各オブジェクトの到達時
刻や復号時間のずれを吸収する。合成の前にもバッファ
(CB: Composition Buffer)を設けて表示タイミングを調
整する。

【００９２】［ビデオストリームの基本構造］図16にレ
イヤ構造を示す。各階層をクラスと呼び、各クラスには
ヘッダが付く。ヘッダとはstart code、end code、ID、
形状およびサイズほかの各種符号情報である。

【００９３】●ビデオストリームビデオストリームは複数のセッションで構成される。セ
ッションとは、一連の完結したシーケンスのことであ
る。 VS: セッションは複数のオブジェクトで構成される VO: ビデオオブジェクト VOL: オブジェクトは複数のレイヤを含むオブジェクト
単位のシーケンス GOV: オブジェクトは複数のレイヤで構成される VOP: オブジェクトレイヤは複数のプレーンで構成され
るただし、プレーンはフレーム毎のオブジェクト

【００９４】［誤り耐性を有するビットストリーム構
造］MPEG4は、移動体通信（無線通信）などに対応すべ
く、符号化方式自体が伝送誤りに対する耐性を有してい
る。既存の標準方式における誤り訂正は主にシステム側
で行っているが、PHS(Personal Handy phone System)な
どのネットワークでは誤り率が非常に高く、システム側
では訂正しきれない誤りがビデオ符号化部分に漏れ込ん
でくることが予想される。これを考慮して、MPEG4は、
システム側で訂正しきれなかった各種のエラーパターン
を想定し、このような環境の下でも可能な限り誤りの伝
播が抑制されるような誤り耐性符号化方式とされてい
る。ここでは、画像符号化に関する誤り耐性の具体的な
手法と、そのためのビットストリーム構造を説明する。

【００９５】●Reversible VLC(RVLC)と双方向復号図17に示すように、復号途中で誤りの混入が確認された
場合、そこで復号処理を一旦停止し、次の同期信号の検
出を行う。次の同期信号が検出できた段階で、今度はそ
こから逆向きにビットストリームの復号処理を行う。新
たな付加情報なしに、復号のスタートポイントが増加し
ていることになり、誤り発生時に復号できる情報量を従
来よりも増やすことが可能になる。このような順方向と
同時に逆方向からも復号可能な可変長符号により「双方
向復号」が実現される。

【００９６】●重要情報の複数回伝送図18に示すように、重要情報を複数回伝送することが可
能な構成を導入し、誤り耐性を強化する。例えば、各VO
Pを正しいタイミングで表示するためにはタイムスタン
プが必要であり、この情報は最初のビデオパケットに含
まれている。仮に、誤りによってこのビデオパケットが
消失しても、前記の双方向復号構造により次のビデオパ
ケットから復号が再開できるが、このビデオパケットに
はタイムスタンプがないため、結局、表示タイミングが
わからないことになる。そのため各ビデオパケットにHE
C(Header Extension Code)というフラグを立て、この後
にタイムスタンプなどの重要情報を付加できる構造が導
入された。HECフラグの後には、タイムスタンプとVOPの
符号化モードタイプとが付加できる。

【００９７】同期はずれが生じた場合は、次の同期回復
マーカ(RM)から復号が開始されるが、各ビデオパケット
にはそのために必要な情報、そのパケットに含まれる最
初のMBの番号およびそのMBに対する量子化ステップサイ
ズがRM直後に配置されている。その後にHECフラグが挿
入され、HEC=‘1’の場合にはTRおよびVCTがその直後に
付加される。これらHEC情報により、仮に、先頭のビデ
オパケットが復号できずに廃棄されても、HEC=‘1’と
設定したビデオパケット以降の復号および表示は正しく
行われることになる。なお、HECを‘1’にするか否かは
符号化側で自由に設定できる。

【００９８】●データパーティショニング符号化側では、MB単位の符号化処理を繰り返してビット
ストリームを構成するため、途中に誤りが混入すると、
それ以降のMBデータは復号できない。一方、複数のMB情
報をまとめて幾つかのグループに分類し、それぞれをビ
ットストリーム内に配置し、各グループの境目にマーカ
情報を組み込めば、仮にビットストリームに誤りが混入
してそれ以降のデータが復号できない場合でも、そのグ
ループの最後にあるマーカで同期を取り直して、次のグ
ループのデータを正しく復号することが可能になる。

【００９９】以上の考えに基づき、ビデオパケット単位
に、動きベクトルとテクスチャ情報（DCT係数など）と
にグループ分けするデータパーティショニング手法(Dat
a Partitioning)が採用されている。また、グループの
境目にはモーションマーカ(MM:Motion Marker)が配置さ
れる。

【０１００】仮に、動きベクトル情報の途中に誤りが混
入していても、MMの後にくるDCT係数は正しく復号でき
るため、誤り混入以前の動きベクトルに対応するMBデー
タはDCT係数とともに正確に再生できる。またTexture部
分に誤りが混入した場合でも、動きベクトルが正しく復
号されていれば、その動きベクトル情報と復号済みの前
フレーム情報とを用いて、ある程度正確な画像が補間再
生（コンシールメント）できる。

【０１０１】●可変長間隔同期方式ここでは、可変長パケットで構成されている同期回復手
法を説明する。先頭に同期信号を含んだMB群は「ビデオ
パケット」と呼ばれ、その中に何個のMBを含めるかは符
号化側で自由に設定することができる。可変長符号(VL
C: Variable Length Code)を使用するビットストリーム
に誤りが混入した場合、それ以降の符号の同期が取れな
くなり、復号不可能な状態になる。このような場合で
も、次の同期回復マーカを検出することにより、その後
の情報を正しく復号することが可能になる。

【０１０２】［バイトアライメント］システムとの整合
性をとるために、情報の多重化はバイトの整数倍単位で
行われる。ビットストリームは、バイトアラインメント
(Byte alignment)構造となっている。バイトアラインメ
ントを行うために、各ビデオパケットの最後にスタッフ
ビットが挿入される。さらにこのスタッフビットは、ビ
デオパケット内のエラーチェック符号としても使用され
る。

【０１０３】スタッフビットは‘01111’のように、最
初の1ビットが‘0’で、それ以外のビットがすべて
‘1’であるような符号で構成されている。つまりビデ
オパケット内の最後のMBまで正しく復号されれば、その
次に来る符号は必ず‘0’であり、その後にはスタッフ
ビットの長さより1ビット分だけ短い‘1’の連続がある
はずである。もし、このルールに反したパターンが検出
された場合、それ以前の復号が正しく行われていないこ
とになり、ビットストリームに誤りが混入していたこと
が検出できる。

【０１０４】以上、「国際標準規格MPEG4の概要決ま
る」（日経エレクトロニス 1997.9.22号 p.147-168）、
「見えてきたMPEG4の全貌」（社団法人映像情報メディ
ア学会テキスト 1997.10.2）、「MPEG4の最新標準化動
向と画像圧縮技術」（日本工業技術センターセミナー
資料 1997.2.3）などを参考にして、MPEG4の技術に関し
て説明した。

【０１０５】

【第1実施形態】［構成］以下、本発明にかかる一実施
形態のテレビ放送受信装置を図面を参照して詳細に説明
する。図19は本発明にかかる実施形態のテレビ放送受信
装置の構成例を示すブロック図である。

【０１０６】ディジタルテレビ放送の信号は、その放送
形態に応じて、衛星放送のときは衛星アンテナ21および
チューナ23により、ケーブル放送のときはケーブル22を
介してチューナ24により、選局され受信される。こうし
て衛星放送もしくはケーブル放送から受信されたテレビ
情報は、データ選択器43により一方のデータ列が選択さ
れ、復調回路25で復調され、誤り訂正回路26で誤り訂正
される。

【０１０７】IEEE1394などのディジタルインタフェイス
をサポートするデータインタフェイス(DIF)54を介して
接続されたDVDやVTRなどの記録再生装置へ誤り訂正され
たテレビ情報を記録したり、記録再生装置により再生さ
れたテレビ情報を入力することができる。

【０１０８】次に、MPEG4データ検出回路51は、誤り訂
正されたテレビ情報のデータ列内にMPEG4データが含ま
れているかを検出するものである。

【０１０９】本実施形態におけるテレビ情報とは、MPEG
2で符号化されたテレビ情報であるメインの画像および
サウンドに、MPEG4で符号化された小データ量の画像お
よび/またはサウンドのオブジェクトを多重した形態を
有する。従って、MPEG4データ検出回路51は、主として
テレビ情報を構成するMPEG2データストリーム内の所定
領域に、サブデータとしてのMPEG4データストリームが
含まれているかを検出するものである。勿論、MPEG2デ
ータストリームに付加されたMPEG4データストリームの
存在を示す識別用のIDなどを検出する方法も、検出方法
の一つである。なお、MPEG2データストリームにMPEG4デ
ータストリームを多重する方法の詳細は後述する。

【０１１０】MPEG4データ検出回路29は、MPEG2データス
トリーム内にMPEG4オブジェクトが多重されていること
を検出した場合、システムコントローラ38へその旨を示
す信号を送る。システムコントローラ38は、その信号に
応じて、画像やサウンドの再生表示を制御する。

【０１１１】一方、テレビ情報は、多重データ分離回路
27により、MPEG2サウンド、MPEG2画像およびMPEG2シス
テムデータがそれぞれの復号回路に合わせてに分離され
る。さらに、MPEG2データストリームにMPEG4データスト
リームが含まれる場合、多重データ分離回路27により、
MPEG4サウンドオブジェクト、MPEG4画像オブジェクトお
よびシーン記述情報などを含むMPEG4システムデータが
それぞれの復号回路に合わせて分離される。

【０１１２】分離された各データまたはオブジェクト
は、MPEG2サウンド復号回路28a、MPEG2画像復号回路32
a、MPEG2システムデータ復号回路36a、MPEG4サウンド復
号回路28b、MPEG4画像復号回路32b、MPEG4システムデー
タ復号回路36bでそれぞれ復号される。MPEG2サウンド復
号回路28a、MPEG2画像復号回路32aおよびMPEG2システム
データ復号回路36aをまとめてMPEG2復号回路（MPEG2デ
コーダ）を構成する。また、MPEG4サウンド復号回路28
b、MPEG4画像復号回路32bおよびMPEG4システムデータ復
号回路36bをまとめてMPEG4復号回路（MPEG4デコーダ）
を構成する。なお、MPEG2の各データの復号方法および
復号回路は、公知であるので、その説明を省略する。

【０１１３】MPEG4の具体的な復号方法および復号回路
は先に説明した手順で行われるが、MPEG4画像オブジェ
クトの復号について補足する。MPEG4画像オブジェクト
は、各画像オブジェクトにそれぞれ対応して復号を行う
複数の同様の復号部を有するMPEG4画像復号回路32bによ
り復号される。ここでの復号方式は、既に説明したMPEG
4の画像復号方式に基づくオブジェクト単位の復号であ
り、復号された画像データは、オブジェクトの数に相当
する画像(v(1)からv(i))になる。

【０１１４】復号されたサウンドデータは、MPEG2サウ
ンド復号回路28aおよびMPEG4サウンド復号回路28bの出
力を多重または切換えるためのサウンド多重/切換回路5
2へ入力される。サウンド多重/切換回路52においては、
MPEG2サウンドとMPEG4サウンドとの多重、または、どち
らか一方を出力する切換えが行われるとともに、出力す
るサウンドの各種出力調整などが施される。サウンド多
重/切換回路33は、サウンド制御部30に制御される。

【０１１５】サウンド制御部34は、シーン記述データ変
換回路39からのMPEG4のシーン記述情報に応じて出力制
御を行い、かつ、システムコントローラ38からのコマン
ドに応じて動作する。

【０１１６】システムコントローラ47は、指示入力部
（操作部）45を介して入力されるユーザの指示により、
複数のサウンドがある場合、どのサウンドを選択する
か、または、それらを多重するかなどの指示を受け付け
る。そして、その指示およびMPEG4データ検出回路51の
検出信号に応じたコマンド、つまりサウンドの多重/切
換えを行わせるコマンドをサウンド制御部34に出力す
る。勿論、MPEG4サウンドオブジェクトがない場合はMPE
G2サウンドオブジェクトのみの再生になる。サウンド多
重/切換回路52から出力される最終的なサウンドデータ
は、D/Aコンバータ29でアナログ信号に変換され、スピ
ーカ31によりステレオ再生される。

【０１１７】次に、画像の再生について説明する。MPEG
2画像復号回路32aおよびMPEG4画像復号回路32bの出力は
シーン合成回路53に入力される。一方、システムコント
ローラ38は、MPEG4データ検出回路51の検出信号、およ
び、指示入力部（操作部）45を介して入力されるユーザ
の指示に従いシーン合成のためのコマンドを表示制御部
34へ出力する。なお、指示入力部45を介して入力される
ユーザの指示には、合成表示させたいMPEG4画像オブジ
ェクトを選択する指示などが含まれる。表示制御部34
は、シーン記述データ変換回路39から入力されるMPEG4
のシーン記述情報、および、システムコントローラ38か
ら入力されるコマンドに応じて表示制御、つまりシーン
合成回路53を制御する。

【０１１８】シーン合成回路53は、表示制御部34の制御
に従い、MPEG2画像およびMPEG4画像のシーン合成を行
う。なお、MPEG4画像オブジェクトのすべてを表示せず
に、必要な画像オブジェクトだけを選択し合成し再生す
ることが可能である。勿論、MPEG4画像オブジェクトが
ない場合はMPEG2画像のみの再生になる。合成された表
示画像は、D/Aコンバータ33でアナログ信号に変換さ
れ、CRT35により表示される。もしくは、合成された表
示画像を、ディジタル信号のまま液晶フラットディスプ
レイ(LCD)44などへ送り、表示させることもできる。

【０１１９】次に、システムデータの処理について説明
する。MPEG2システムデータは、MPEG2システムデータ復
号回路36aで復号され、MPEG2画像およびMPEG2サウンド
を制御する各種コマンドとしてシステムコントローラ38
へ入力される。システムコントローラ38は、必要に応じ
て、MPEG2システムデータを制御データとして利用す
る。

【０１２０】一方、MPEG4システムデータ（シーン記述
情報を含む）は、MPEG4システムデータ復号回路36bで復
号された後、復号されたシステムデータ中に含まれるシ
ーン記述に関する情報がシーン記述データ変換回路39に
入力される。その他のシステムデータは、MPEG4画像、M
PEG4サウンド、シーン記述情報などを制御する各種コマ
ンドとしてシステムコントローラ38へ入力され、必要に
応じて制御データとして利用される。シーン記述データ
変換回路39は、シーン記述情報に従い、MPEG4画像およ
びMPEG4サウンドの出力形態を規定するためのシーン記
述データを、サウンド制御部30および表示制御部34へ出
力する。

【０１２１】ところで、ユーザ操作部45からは、前述し
たサウンドおよび画像の選択に関するユーザの指示のほ
かにも各種の指示が入力される。また、システムコント
ローラ38は、指示入力部45からの指示入力に従い、また
は、動作に応じた自動制御で本受信表示装置の各部の制
御を統括していることは言うまでもない。

【０１２２】［データストリーム］ここで、テレビ情報
としてのMPEG2データストリームにMPEG4データストリー
ムを多重する方法を図20および図21を用いて説明する。

【０１２３】図20はMPEG4のデータストリーム構成を示
す図である。図20に示すように、MPEG4のデータストリ
ームには、オブジェクト1から5までのデータベースに、
写真（自然）画像、サウンドを含むサウンドおよびコン
ピュータグラフィックス(CG)などの合成画像のオブジェ
クトなどが入る。さらに、MPEG4システムデータとし
て、表示出力制御のシーン記述情報(BIFS)と、その他必
要な各種データ（サブデータ）が組み込まれる。

【０１２４】図21はMPEG2のデータストリームの伝送形
式を示す、MPEG2トランスポートストリーム構造を示す
図である。図21を用いて、MPEG4データストリームをMPE
G2データストリームに多重する方法を説明する。

【０１２５】MPEG2トランスポートストリームは、固定
長のトランスポートパケットによって多重され分離され
る。トランスポートパケットのデータ構造は、図21に示
すように階層的に表され、それぞれ図21に示す項目を含
む。それら項目を順に説明すると、8ビットの「同期信
号(sync)」、パケット内のビットエラーの有無を示す
「誤り表示（エラーインジケータ）」、このパケットの
ペイロードから新たなユニットが始まることを示す「ユ
ニット開始表示」、このパケットの重要度を示す「プラ
イオリティ（パケット優先度）」、個別ストリームの属
性を示す「識別情報PID(Packet Identification)」、ス
クランブルの有無および種別を示す「スクランブル制
御」、このパケットのアダプテーションフィールドの有
無およびペイロードの有無を示す「アダプテーションフ
ィールド制御」、同じPIDをもつパケットが途中で一部
棄却されたかどうかを検出するための情報である「巡回
カウンタ」、付加情報や、スタッフィングバイトをオプ
ションで入れることができる「アダプテーションフィー
ルド」、並びに、ペイロード（画像やサウンドの情報）
である。アダプテーションフィールドは、フィールド
長、その他の個別ストリームに関する各種項目、オプシ
ョナルフィールド、並びに、スタッフィングバイト（無
効データバイト）からなる。

【０１２６】本実施形態においては、テレビ情報のサブ
画像またはサウンドデータしてのMPEG4のデータストリ
ーム、および、それを識別するためのIDをオプショナル
フィールドにおける付加データの一つと見做し、オプシ
ョナルフィールド内に多重する。

【０１２７】つまり、メインであるテレビ情報の構成は
MPEG2データストリーム（トランスポートストリーム）
である。そして、図21に一例を示すように、データ量と
しては微かな写真（自然）画像、CG、文字などの画像オ
ブジェクト（オブジェクトAおよびB）、サウンドオブジ
ェクト（オブジェクトC）、シーン記述情報(BIFS)、並
びに、その他必要なデータ（サブデータ）を組み合わせ
たMPEG4データストリームを構成する。このMPEG4データ
ストリームを、MPEG2のシステムデータ中のオプショナ
ルフィールドの一部として多重させることで、MPEG2とM
PEG4とのデータストリーム多重伝送が実現される。

【０１２８】［再生表示例］次に、本実施形態の受信表
示装置による再生表示例を図22から図26を参照して説明
する。なお、図22から図26に示すのはMPEG2により放送
される野球中継番組を例とするものである。

【０１２９】図22は基本映像100としてのMPEG2放送画像
のみが表示されたシーンの例である。図23は基本映像10
0にMPEG4画像オブジェクトである試合経過情報101がシ
ーン合成された例である。図24は、試合経過情報101に
加えてMPEG4画像オブジェクトであるプレイバック映像1
02がシーン合成され、MPEG4サウンドオブジェクトであ
るプレイバック映像のサウンドが多重された例である。
図25は基本映像103にMPEG4画像オブジェクトである選手
情報104がシーン合成された例である。図26は基本映像1
00にMPEG4画像オブジェクトである天気予報105およびニ
ュース106がシーン合成された例である。

【０１３０】このように、本実施形態によれば、MPEG2
のどのような映像（画像）に対してもMPEG4オブジェク
トを多重（シーン合成を含む）することがで、多重され
た映像（画像）またはサウンドを表示または再生（出
力）することができる。

【０１３１】また、多重されるMPEG4オブジェクトが画
像オブジェクトの場合も、静止画像に限らず、リアルタ
イム動画像やそれに附随するサウンドなども扱うことが
できる。また、眼の不自由な人への副サウンドにも利用
できる。

【０１３２】さらに、図示したように、MPEG2画像オブ
ジェクトであるメイン画像（映像）の内容に関する詳細
情報をMPEG4画像オブジェクトとして提供したり、ユー
ザが望むであろう過去のシーンを随時提供することなど
も可能である。また、メイン画像（映像）とは関係のな
い天気予報、道路情報およびニュースなどの生活情報な
どもMPEG4画像オブジェクトとして提供することがで
き、様々な用途への適用が期待できる。

【０１３３】［動作手順］図27は本実施形態のディジタ
ルテレビ受信表示装置の動作手順を説明するためのフロ
ーチャートである。

【０１３４】MPEG2のディジタルテレビ情報が放送衛星
もしくはケーブルから受信され（ステップS1）、チュー
ナ23または24を用いて、受信されたディジタルテレビ情
報から番組が選局される（ステップS2）。

【０１３５】続いて、MPEG4データ検出回路51により、
選局された番組のMPEG2データストリームに多重されて
いるサブテレビ情報のMPEG4データの検出が行われ（ス
テップS3）、その検出結果に基づき、MPEG2データスト
リームにMPEG4データが含まれているかが判断される
（ステップS4）。MPEG4データが含まれていない場合
は、受信されたMPEG2データのみが、前述した処理によ
りサウンド、画像およびシステムデータに分けられて復
号される（ステップS5）。

【０１３６】一方、MPEG4データが含まれている場合
は、MPEG2データストリームからMPEG4データストリーム
が分離され、MPEG2データおよびMPEG4データそれぞれ
が、前述した処理によりサウンド、画像およびシステム
データに分けられて復号される（ステップS6）。さら
に、MPEG2の映像（画像）およびサウンドと、MPEG4のシ
ーンおよびサウンドとの出力形態が、シーン合成回路53
およびサウンド多重/切換回路52などにより設定される
（ステップS7）。

【０１３７】こうして、ステップS5で復号されたMPEG2
の映像（画像）およびサウンド、あるいは、ステップS7
でMPEG2の映像（画像）にMPEG4の画像（映像）が合成さ
れたシーンおよびMPEG2サウンドとMPEG4サウンドとが多
重/切換えされたサウンドが表示および再生される（ス
テップS8）。

【０１３８】なお、必要に応じて、ステップS1からS8の
処理またはその一部が繰り返されることは言うまでもな
い。

【０１３９】このように、本実施形態によれば、メイン
のテレビ情報であるMPEG2のデータストリームへ、サブ
情報である画像（映像）やサウンドのMPEG4データが多
重されたデータストリームからなるディジタルテレビ放
送を受信し、映像（画像）およびサウンドを再生するこ
とができる。従って、より多機能なデータ伝送であるデ
ィジタルテレビ放送を実現するとともに、視聴者である
ユーザにより便利なテレビ番組の表示および再生が可能
になる。

【０１４０】また、サブ情報の伝送にMPEG4を用いるこ
とにより、現行のディジタルテレビ放送システムである
MPEG2との親和性を高めることも容易であり、MPEG2用の
既存コンテンツを有効に活用することができる。

【０１４１】また、画像（映像）や音声を含むサウンド
をオブジェクト単位で扱うことができるMPEG4は、サブ
情報を伝送する場合に最適なデータ形態であるといえ
る。

【０１４２】［その他］図28に示すMPEG2のみに対応し
たディジタルテレビ受信表示装置が、上述したメインの
テレビ情報のMPEG2データストリームにサブテレビ情報
のMPEG4データが多重されたディジタルテレビ放送を受
信した場合について説明する。

【０１４３】図28に示すMPEG2デコーダ61は、MPEG2で符
号化された画像、サウンドおよびシステムデータを復号
する。また、サウンド制御部62は、復号されたMPEG2サ
ウンドの再生を制御し、表示制御部63は、復号されたMP
EG2画像（映像）の再生表示を制御する。図28に示すテ
レビ放送受信表示装置はMPEG4のデコード機能を備えて
いないので、MPEG2データストリームにサブ情報として
多重されたMPEG4データを復号することはできず、再生
できるのはMPEG2の画像（映像）およびサウンドだけで
ある。

【０１４４】この場合、MPEG2データストリームは図21
に示したように構成され、MPEG2データストリーム中の
オプショナルフィールドにMPEG4データストリームが含
まれている。図28に示すテレビ放送受信表示装置のMPEG
2デコーダ61は、その復号処理においてMPEG4データを無
視するようにする。

【０１４５】このようにすれば、図21に示すMPEG2デー
タストリーム、つまりMPEG4データストリームが多重さ
れたディジタルテレビ放送を受信する場合、MPEG4の復
号および再生機能を有する受信表示装置は、MPEG2およ
びMPEG4両方のテレビ放送情報を復号および再生するこ
とができる。また、MPEG4の復号および再生機能を備え
ない受信表示装置は、基本のMPEG2データストリームで
あるMPEG2のテレビ放送情報だけを復号および再生する
ことができる。

【０１４６】このように、MPEG2だけに対応する受信表
示装置に対しても、上述したメインのテレビ情報のMPEG
2データストリームにサブテレビ情報のMPEG4データが多
重されたディジタルテレビ放送のデータ伝送方式は対応
することができる。従って、上述したディジタルテレビ
放送のデータ伝送方式は、受信表示装置（テレビ受像
機）の機能に関わらず放送することができ、受信表示装
置がMPEG4対応へ移行する期間においても導入が可能で
ある。

【０１４７】

【第2実施形態】以下、本発明にかかる第2実施形態の映
像サウンド再生表示装置を説明する。なお、本実施形態
において、第1実施形態と略同様の構成については、同
一符号を付して、その詳細説明を省略する。

【０１４８】第2実施形態では、MPEG2で符号化されたデ
ータを扱うDVDなどのパッケージメディアに、上述したM
PEG2データとMPEG4データとの多重が利用できることを
説明する。

【０１４９】図29はMPEG2で符号化されたデータを扱うD
VDなどのパッケージメディア用の再生表示装置である。

【０１５０】蓄積メディア81は、ディジタルビデオデー
タが保持された記録媒体である。蓄積メディア81に記録
されたディジタルビデオデータは、MPEG2で符号化され
たメインビデオ情報に、MPEG4で符号化されたサブビデ
オ情報が多重されたデータ形態で記録されている。この
MPEG2とMPEG4との多重には、図21により説明した多重方
法が採用される。

【０１５１】図29において、蓄積メディア81に記録され
たディジタルビデオデータは、再生処理回路82により再
生され、誤り訂正回路83により誤り訂正が行われた後、
MPEG4データ検出回路29へ送られる。以下、図19を用い
て説明したのと同様の手順により、画像、サウンドおよ
びシステムデータが復号され、映像（画像）およびサウ
ンドが表示および再生される。

【０１５２】図30は本実施形態の再生表示装置の動作手
順を説明するためのフローチャートである。

【０１５３】MPEG2のディジタルテレビ情報が蓄積メデ
ィア81から再生され（ステップS11）、MPEG4データ検出
回路51により、再生されたビデオ情報のMPEG2データス
トリームに多重されているサブビデオ情報のMPEG4デー
タの検出が行われ（ステップS12）、その検出結果に基
づき、MPEG2データストリームにMPEG4データが含まれて
いるかが判断される（ステップS13）。MPEG4データが含
まれていない場合は、再生されたMPEG2データのみが、
前述した処理によりサウンド、画像およびシステムデー
タに分けられて復号される（ステップS14）。

【０１５４】一方、MPEG4データが含まれている場合
は、MPEG2データストリームからMPEG4データストリーム
が分離され、MPEG2データおよびMPEG4データそれぞれ
が、前述した処理によりサウンド、画像およびシステム
データに分けられて復号される（ステップS15）。さら
に、MPEG2の映像（画像）およびサウンドと、MPEG4のシ
ーンおよびサウンドとの出力形態が、シーン合成回路53
およびサウンド多重/切換回路52などにより設定される
（ステップS16）。

【０１５５】こうして、ステップS14で復号されたMPEG2
の映像（画像）およびサウンド、あるいは、ステップS1
6でMPEG2の映像（画像）にMPEG4の画像（映像）が合成
されたシーンおよびMPEG2サウンドとMPEG4サウンドとが
多重/切換えされたサウンドが表示および再生される
（ステップS17）。

【０１５６】なお、必要に応じて、ステップS11からS17
の処理またはその一部が繰り返されることは言うまでも
ない。

【０１５７】なお、図29に示す再生表示装置は、図19お
よび図29に示すディジタルインタフェイス(DIF)54を介
して、図19に示すディジタルテレビ放送受信表示装置へ
ビデオデータを伝送することができる。

【０１５８】このように、上述したMPEG2とMPEG4とを多
重したデータストリームによりメイン情報およびサブ情
報の画像（映像）、サウンドおよびシステムデータを伝
送する技術は、第1実施形態のディジタルテレビ放送受
信表示装置に限らず、DVDのような蓄積メディア、およ
び、その蓄積メディアを活用する再生表示装置にも適用
することができる。

【０１５９】

【他の実施形態】なお、本発明は、複数の機器（例えば
ホストコンピュータ、インタフェイス機器、リーダ、プ
リンタなど）から構成されるシステムに適用しても、一
つの機器からなる装置（例えば、複写機、ファクシミリ
装置など）に適用してもよい。

【０１６０】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ（またはCPUやM
PU）が記憶媒体に格納されたプログラムコードを読出し
実行することによっても、達成されることは言うまでも
ない。この場合、記憶媒体から読出されたプログラムコ
ード自体が前述した実施形態の機能を実現することにな
り、そのプログラムコードを記憶した記憶媒体は本発明
を構成することになる。また、コンピュータが読出した
プログラムコードを実行することにより、前述した実施
形態の機能が実現されるだけでなく、そのプログラムコ
ードの指示に基づき、コンピュータ上で稼働しているOS
（オペレーティングシステム）などが実際の処理の一部
または全部を行い、その処理によって前述した実施形態
の機能が実現される場合も含まれることは言うまでもな
い。

【０１６１】さらに、記憶媒体から読出されたプログラ
ムコードが、コンピュータに挿入された機能拡張カード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書込まれた後、そのプログラムコードの指示に
基づき、その機能拡張カードや機能拡張ユニットに備わ
るCPUなどが実際の処理の一部または全部を行い、その
処理によって前述した実施形態の機能が実現される場合
も含まれることは言うまでもない。

【０１６２】

【発明の効果】以上説明したように、本発明によれば、
メイン画像に関係する、または関係しなくとも、その時
々に所望される情報を少なくとも画像の形態で再生する
機能を提供することができる。

【図面の簡単な説明】

【図１】衛星放送を用いたディジタル放送受信機の構成
例を示すブロック図、

【図２】複数種類のオブジェクトを同時に入力し符号化
処理する構成例を示すブロック図、

【図３】ユーザ操作（編集）を考慮に入れたシステムの
構成例示す図、

【図４】ビデオオブジェクトに関するVOP処理回路のエ
ンコーダ側のブロック図、

【図５】ビデオオブジェクトに関するVOP処理回路のデ
コーダ側のブロック図、

【図６】VOPの符号化および復号の全体構成を示すブロ
ック図、

【図７Ａ】VOPを構成する情報を示す図、

【図７Ｂ】VOPを構成する情報を示す図、

【図８】テキスチャ符号化のAC/DC予測符号化を説明す
るための図、

【図９Ａ】スケーラビリティを実現するためのシンタッ
クスの階層構造を説明するための図、

【図９Ｂ】スケーラビリティを実現するためのシンタッ
クスの階層構造を説明するための図、

【図１０Ａ】ワープを説明する図、

【図１０Ｂ】ワープの種類を説明する図、

【図１１】ワープを説明する図、

【図１２】シーン記述情報の構成例を示す図、

【図１３】MPEG4オーディオの符号化方式の種類を示す
図、

【図１４】オーディオ符号化方式の構成を示す図、

【図１５】MPEG4のシステム構造を説明する図、

【図１６】MPEG4のレイヤ構造を説明する図、

【図１７】双方向復号を説明する図、

【図１８】重要情報の複数回伝送を説明する図、

【図１９】本発明にかかる第1実施形態のテレビ放送受
信装置の構成例を示すブロック図、

【図２０】MPEG2データストリームにMPEG4データストリ
ームを多重する方法を説明する図、

【図２１】MPEG2データストリームにMPEG4データストリ
ームを多重する方法を説明する図、

【図２２】再生表示例を説明する図、

【図２３】再生表示例を説明する図、

【図２４】再生表示例を説明する図、

【図２５】再生表示例を説明する図、

【図２６】再生表示例を説明する図、

【図２７】ディジタルテレビ受信表示装置の動作手順を
説明するためのフローチャート、

【図２８】MPEG2のみに対応したディジタルテレビ受信
表示装置の構成例を示す図、

【図２９】第2実施形態のパッケージメディア用の再生
表示装置の構成例を示す図、

【図３０】再生表示装置の動作手順を説明するためのフ
ローチャートである。

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5C059 MA00 MA05 MA10 MA14 MA23 MA24 MA32 MA33 MB00 MB04 MB14 MB22 MB23 MB24 MB27 MC01 MC06 MC11 MC33 MC35 MC38 ME01 ME10 NN11 PP19 RB02 RB03 RB10 RB16 RC04 RC07 RC16 RC24 RC31 RC32 RC37 SS02 SS12 SS13 SS26 UA05 UA22 UA39

Claims

【特許請求の範囲】

【請求項１】 MPEG2データストリームを入力する入力
手段と、入力されるデータストリームからMPEG4データストリー
ムを検出する検出手段と、入力されるデータストリームからMPEG2およびMPEG4で符
号化された各データをそれぞれ分離する分離手段と、分離された各データを復号する復号手段と、前記検出手段による検出結果に基づき、復号された少な
くとも画像情報の再生を制御する制御手段とを有するこ
とを特徴とする画像処理装置。
【請求項２】前記入力手段には、ディジタルテレビ放
送のデータストリームが入力されることを特徴とする請
求項1に記載された画像処理装置。
【請求項３】前記入力手段には、データ蓄積メディア
から再生されたデータストリームが入力されることを特
徴とする請求項1に記載された画像処理装置。
【請求項４】さらに、少なくとも画像情報の再生方法
がマニュアル入力される指示入力手段を有し、入力された再生方法に基づき、前記制御手段による制御
が行われることを特徴とする請求項1から請求項3の何れ
かに記載された画像処理装置。
【請求項５】前記MPEG4データストリームには、さら
にサウンド情報および/またはシステムデータが含ま
れ、前記制御手段は、復号されたシステムデータおよび
入力された再生方法に基づき、画像および/またはサウ
ンド情報の再生を制御することを特徴とする請求項4に
記載された画像処理装置。
【請求項６】前記MPEG4データストリームは、前記MPE
G2データストリームのアダプテーションフィールドに多
重されていることを特徴とする請求項1から請求項5の何
れかに記載された画像処理装置。
【請求項７】前記MPEG2データストリームに多重され
た前記MPEG4データストリームは、MPEG4未対応の装置に
は無視されることを特徴とする請求項1から請求項5の何
れかに記載された画像処理装置。
【請求項８】 MPEG2データストリームを入力し、入力されたデータストリームからMPEG4データストリー
ムを検出し、受信されたデータストリームからMPEG2およびMPEG4で符
号化された各データをそれぞれ分離し、分離された各データを復号し、前記検出結果に基づき、復号された少なくとも画像情報
の再生を制御することを特徴とする画像処理方法。
【請求項９】画像処理のプログラムコードが記録され
た記録媒体であって、前記プログラムコードは少なくと
も、 MPEG2データストリームを入力するステップのコード
と、入力されたデータストリームからMPEG4データストリー
ムを検出するステップのコードと、受信されたデータストリームからMPEG2およびMPEG4で符
号化された各データをそれぞれ分離するステップのコー
ドと、分離された各データを復号するステップのコードと、前記検出結果に基づき、復号された少なくとも画像情報
の再生を制御するステップのコードとを有することを特
徴とする記録媒体。