JP2002077789A

JP2002077789A - 画像処理方法及び装置

Info

Publication number: JP2002077789A
Application number: JP2000257957A
Authority: JP
Inventors: Masamichi Ito; 賢道伊藤; Koji Takahashi; 宏爾高橋
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2000-08-28
Filing date: 2000-08-28
Publication date: 2002-03-15
Anticipated expiration: 2020-08-28
Also published as: JP4343411B2

Abstract

(57)【要約】【課題】録画された映像の再生時には意味があった
が、その再生時には意味のない所望を非表示にしたり、
或いは他の表示形態に変更して表示する。【解決手段】記録されたデジタルデータ列を再生して
表示する録画再生装置であって、システムデータ復号回
路６６から出力されるオブジェクト情報に基づいて、シ
ステムコントローラ４２及びオブジェクト制御部７１
は、入力したデジタルデータ列に、例えば緊急ニュース
の属性を有するオブジェクトがあるか否かを判定し、そ
の属性を有するオブジェクトがあると判定されると、オ
ブジェクト制御部７１により、その属性を有するオブジ
ェクトに対応する画像を、非表示にしたり、或いはキャ
ラクタ発生部７２からのアイコンで表示したり、或いは
音源８２からの音響を付加して再生する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、デジタルテレビ放
送の録画再生及び表示する際に好適な画像処理方法及び
装置に関するもので、そのようなデジタルテレビ放送を
受信して録画する録画再生装置や、そのような録画機能
を備えたテレビジョン受像機、テレビジョン表示装置等
にも適用可能である。

【０００２】

【従来の技術】近年、衛星やケーブル放送を用いたデジ
タルテレビ放送が普及してきている。このようなデジタ
ルテレビ放送の実現により、画質や音声の品質向上、圧
縮技術を利用することによる番組の種類や量の増大、イ
ンタラクティブサービスなどを利用した新しいサービス
の提供、受信形態の進化等、多くの効果が期待されてい
る。

【０００３】図８は、従来の衛星放送を用いたデジタル
放送受信装置８、及びその表示装置６、録画再生装置７
の接続例を示す図である。

【０００４】まず、衛星放送によって送信された情報を
アンテナ１で受信する。この受信したテレビ情報は受信
装置８においてチューナ２で選局され復調される。その
後、不図示の誤り訂正処理や、必要であれば課金対応や
デスクランブル処理等がなされる。次に、ＴＶ情報とし
て多重されている各種データを多重信号分離回路３でそ
れぞれ分離する。こうして分離されたテレビ情報は、画
像情報、音声情報、その他の付加データとなる。更に、
これら分離された各データのそれぞれを復号回路４で復
号する。こうして復号された各データのうち、画像情報
と音声情報とをＤ／Ａ変換回路５でアナログ信号に変換
する。こうして変換されたアナログ信号を基に、外部に
接続された表示装置であるＴＶ６において、映像及び音
声が出力される。また付加データは、番組サブデータと
しての役割を果たすために、各種機能に関与するデータ
を含んでいる。

【０００５】更に、この衛星放送を受信して録画再生装
置（ＤＶＤ／ＶＴＲ）７に録画するときは、チューナ２
の出力を録画再生装置７に出力することにより行なう。
この録画再生装置７の一例としては、録画再生可能なＤ
ＶＤ（デジタル・ビデオ・ディスク）やデジタルＶＴＲ
である。ここで、受信装置８と録画再生装置７との間は
データバス等で接続されている。この録画再生装置７に
おける記録方式はデジタル記録方式であり、ビットスト
リーム記録される。

【０００６】

【発明が解決しようとする課題】従来からある地上波放
送、及び上述した衛星放送によるデジタルテレビ放送を
加えても、テレビ番組を家庭のテレビに表示する方法
は、基本的に放送局から送信されてくる画像をそのまま
表示するのが一般的である。また同様に、テレビ放送を
録画したＶＴＲを再生する際も、その録画時のデータを
そのまま再生するように設計されている。

【０００７】即ち、個々のユーザがテレビ放送の表示、
又はＶＴＲの録画再生表示等において、状況に応じて、
より効果的に、その録画された映像の表示形態を変化さ
せて表示することは、従来の技術では大変困難である。
また、録画された映像の表示形態を変えることは、デジ
タルテレビ放送がより多チャンネル化、多プログラム化
していく過程で、より効果的な表示方法の一つと考えら
れるが、この機能の実現は未だなされていない。

【０００８】例を挙げると、表示に関する課題として、
例えば録画したテレビ情報を録画再生装置で再生する際
に、その録画時には重要であった"地震ニュース情報"等
の臨時ニュースなどのテロップ表示は、再生時には意味
のない場合が多いが、その様な表示は、録画時のまま表
示されているのが現状である。

【０００９】本発明は上記従来例に鑑みてなされたもの
で、録画された映像の再生時、所定の映像はそのまま表
示せずに、その表示形態を変更して表示できるようにし
た画像処理方法及び装置を提供することを目的とする。

【００１０】また本発明の目的は、録画された映像の再
生時には意味があったが、その再生時には意味のない映
像を非表示にしたり、或いは必要に応じて他の表示形態
に変更して表示できる画像処理方法及び装置を提供する
ことにある。

【００１１】

【課題を解決するための手段】上記目的を達成するため
に本発明の画像処理装置は以下のような構成を備える。
即ち、記録されたデジタルデータ列を再生して表示する
画像処理装置であって、前記デジタルデータ列に所定の
属性を有するオブジェクトがあるか否かを判定する判定
手段と、複数備える再生形態から、前記所定の属性を有
するオブジェクトの再生形態を指定する指定手段と、前
記判定手段により前記所定の属性を有するオブジェクト
があると判定されると、前記所定の属性を有するオブジ
ェクトに対応する画像を、前記指定手段により指定され
た再生形態で再生する再生制御手段と、を有することを
特徴とする。

【００１２】上記目的を達成するために本発明の画像処
理方法は以下のような工程を備える。即ち、記録された
デジタルデータ列を再生して表示する画像処理装置にお
ける画像処理方法であって、前記デジタルデータ列に所
定の属性を有するオブジェクトがあるか否かを判定する
判定工程と、複数備える再生形態から、前記所定の属性
を有するオブジェクトの再生形態を指定する指定工程
と、前記判定工程で前記所定の属性を有するオブジェク
トがあると判定されると、前記所定の属性を有するオブ
ジェクトに対応する画像を、前記指定工程で指定された
再生形態で再生する再生制御工程と、を有することを特
徴とする。

【００１３】

【発明の実施の形態】以下、添付図面を参照して本発明
の好適な実施の形態を詳細に説明する。本実施の形態で
は、ＭＰＥＧ−４符号化方式で符号化されたデジタルテ
レビ放送の信号を受信して録画及び再生する場合で説明
する。

【００１４】ＭＰＥＧ−４の詳細な説明は後述するが、
本実施の形態では、ＭＰＥＧ−４符号化の特徴でもある
オブジェクトの概念を用いることによって、画像中の各
オブジェクト単位での出力制御、表示制御を可能にし、
ＭＰＥＧ−４テレビ放送を録画再生する装置、または表
示する装置で、所定のオブジェクト属性データを有する
画像データについて、オリジナルとは表示形態を変えて
出力することができる。

【００１５】ここでいうオブジェクトとは、背景や話
者、ＣＧ等のテロップ画像、音声などでそれぞれ構成さ
れ、ＭＰＥＧ−４では、それぞれのオブジェクト単位に
符号化／復号化し、各オブジェクトを組み合せることで
１つのシーンを表現する仕組みになっている。

【００１６】まず最初にＭＰＥＧ−４に関する技術を分
野ごとに分けて詳細に説明する。

【００１７】＜規格の全体構成＞ＭＰＥＧ４規格は、大
きく４項目から成る。このうちの３項目は、ＭＰＥＧ２
と類似しており、ビジュアルパート、オーディオパー
ト、システムパートである。（１）ビジュアルパート自然画、合成画、動画、静止画などを扱うオブジェクト
符号化方式が規格として定められている。伝送路誤りの
訂正や修復に適した符号化方式、同期再生機能、階層符
号化が含まれている。表現上、『ビデオ』は自然画像を
意味し、『ビジュアル』は合成画像までを含める。（２）オーディオパート自然音、合成音、効果音などを対象にしたオブジェクト
符号化方式が規格として定められている。ビジュアルパ
ートやオーディオパートでは、複数の符号化方式を規定
し、各々のオブジェクトの特徴に適した圧縮方式を適宜
選択することで、符号化効率を高める工夫をしている。（３）システムパート符号化された映像オブジェクトや音声オブジェクトの多
重化処理と、その逆の分離処理を規定している。更に、
バッファメモリや時間軸制御と再調整機能もこのパート
に含まれる。

【００１８】上記パート（１）、（２）で符号化した映
像オブジェクトや音声オブジェクトは、シーンの中のオ
ブジェクトの位置や出現時刻、消滅時刻などを記したシ
ーン構成情報と共に、システムパートの多重化ストリー
ムに統合される。

【００１９】このＭＰＥＧ４符号化データを受信して復
号する際には、受信したビットストリームから、各々の
オブジェクトを分離及び復号化し、シーン構成情報に基
づきシーンを再構成する。

【００２０】＜オブジェクトの符号化＞ＭＰＥＧ２では
フレームあるいはフィールドを単位としていたが、コン
テンツの再利用や編集を実現するために、ＭＰＥＧ４で
は映像データやオーディオデータをオブジェクト（物
体）として扱う。

【００２１】オブジェクトには、以下のような種類があ
る。

【００２２】・音声・自然画像（背景映像：２次元固定映像）・自然画像（主被写体映像：背景なし）・合成画像・文字情報図１７は、これらオブジェクトを同時に入力して符号化
処理をシステムの構成例を示すブロック図である。

【００２３】図において、音声オブジェクト符号化器５
００１、自然画像オブジェクト符号化器５００２、合成
画像オブジェクト符号化器５００３、文字オブジェクト
符号化器５００４にて、各々符号化処理される。これと
同時に、上記の各オブジェクトのシーン内での関連を、
シーン構成情報として、シーン記述情報符号化器５００
５にて、符号化し、前記各符号化オブジェクト情報とと
もに、データ多重化器５００６にて、ＭＰＥＧ４ビット
ストリームへとエンコード処理される。

【００２４】このように符号化側では、このような複数
のビジュアルオブジェクトやオーディオオブジェクトの
組み合せを定義して、一つのシーン（画面）を表現す
る。

【００２５】ビジュアルオブジェクトに関しては、自然
画像と、コンピュータグラフィックスなどの合成画像と
を組み合せたシーンも構成できる。

【００２６】上記のような構成を採ることで、例えば、
テキスト音声合成の機能を使って、被写体映像とその音
声の同期再生が可能になる。こうして符号化された情報
は、ビットストリーム状態で送信及び受信、或は記録再
生される。

【００２７】一方、こうして符号化された情報のデコー
ド処理では、上述の符号化処理の逆処理を行なう。まず
データ分離器５００７にて、ＭＰＥＧ４ビットストリー
ムを各オブジェクト毎に分離して分配する。それを受け
て音声、自然画像、合成画像、文字等の各オブジェクト
は、復号器５００８〜５０１１にてオブジェクトデータ
へ復号される。また、シーン記述情報も同時に、復号器
５０１２にて復号され、これらの復号情報を用いて、シ
ーン合成器５０１３にて、元のシーンを再合成する。

【００２８】また、この符号化データを復号する復号部
側では、シーンのビジュアルオブジェクトの位置やオー
ディオオブジェクトの順番などの部分的変更が可能であ
る。オブジェクト位置は、ドラッグ操作により変更で
き、言語の変更などは、ユーザがオーディオオブジェク
トを変更することで可能になる。

【００２９】ここでは複数のオブジェクトを自由に組み
合せてシーンを合成するために、次の４項目を規定して
いる。（１）オブジェクト符号化ビジュアルオブジェクトやオーディオオブジェクト、及
びそれらを組み合せたＡＶ（オーディオビジュアル）オ
ブジェクトを符号化対象とする。（２）シーン合成ビジュアルオブジェクトやオーディオオブジェクト、Ａ
Ｖオブジェクトを所望のシーンに構成するためのシーン
構成情報と合成方式を規定するために、ＶＲＭＬ(Virtu
al Realty Modeling Language)をモディファイした言語
を用いる。（３）多重化と同期各オブジェクトを多重同期したストリーム（エレメンタ
リ・ストリーム）の形式などを決める。このストリーム
をネットワークに流したり、録画装置に格納するときの
サービス品質ＱＯＳ(Quality Of Service)も設定可能で
ある。このＱＯＳパラメータには、最大伝送速度、誤り
率、伝送方式などの伝送路条件や、復号化能力などが設
けられている。（４）ユーザの操作（インタラクション）ビジュアルオブジェクトやオーディオオブジェクトをユ
ーザ端末側で合成する方式を定義する。

【００３０】ＭＰＥＧ４のユーザ端末では、ネットワー
クや録画再生装置から送られてくるデータを、エレメン
タリストリームに分離して、各オブジェクトごとに復号
化する。

【００３１】これら複数の符号化されたデータから、同
時に送られてきたシーン構成情報を基にしてシーンを再
構成する。

【００３２】図１８は、ユーザの操作（編集）を考慮に
入れたシステム構成例を示すブロック図である。また図
１９及び図２０は、ビデオオブジェクトに関するＶＯＰ
処理回路ブロックを示す図で、図１９はエンコーダ側の
ブロック図を、図２０はデコーダ側のブロック図を示
す。

【００３３】＜ＶＯＰ(Video Object Plane)＞ＭＰＥＧ
４における映像の符号化は、対象となる映像オブジェク
トを、形状(Shape)と、その絵柄(Texture)に分けてそれ
ぞれ符号化する。この映像データの単位をＶＯＰとい
う。

【００３４】図２１は、ＶＯＰの符号化及び復号化処理
の全体構成を示すブロック図である。例えば、画像が人
物と背景の２つのオブジェクトから構成されている場
合、各フレームを２つのＶＯＰに分割して符号化する。

【００３５】各ＶＯＰを構成する情報は、図２２（ａ）
に示すように、オブジェクトの形状情報、動き情報、テ
キスチャ情報となる。一方、復号器では、ビットストリ
ームをＶＯＰ毎に分離し、個別に復号した後、これらを
合成して画像を表示する。

【００３６】このようにＶＯＰ構造の導入により、処理
対象の画像が複数の映像オブジェクトから構成されてい
る場合、これを複数のＶＯＰに分割し、個別に符号化／
復号化することができる。なお、ＶＯＰ数が"１"で、オ
ブジェクト形状が矩形の場合は、図２２（ｂ）に示すよ
うに、従来からのフレーム単位の符号化となる。

【００３７】ＶＯＰには三種類の予測方式があり、面内
符号化（Ｉ−ＶＯＰ）、前方向予測（Ｐ−ＶＯＰ）、双
方向予測（Ｂ−ＶＯＰ）がある。この予測単位は、１６
×１６画素のマクロブロックで行なう。

【００３８】双方向予測ＶＯＰ（Ｂ−ＶＯＰ）は、ＭＰ
ＥＧ１、ＭＰＥＧ２のＢピクチャと同じく、過去のＶＯ
Ｐと未来のＶＯＰから両方向予測するＶＯＰである。そ
して、マクロブロック単位に直接符号化／前方符号化／
後方符号化／双方符号化の４種類のモードを選択可能と
している。

【００３９】双方向予測符号化は、ＭＢ又はブロック単
位でモード切り替え可能で、Ｐ−ＶＯＰの動きベクトル
のスケーリングで双方向予測する。

【００４０】＜形状(Shape)符号化＞オブジェクト（物
体）単位で画像を扱うためには、物体の形状が符号化及
び復号化の際に既知でなければならない。また、後ろに
ある物体が透けて見えるガラスのような物体を表現する
ためには、物体がどれだけの透明度を有するかの情報が
必要となる。この物体の形状及び物体の透明度の情報を
合わせて形状情報と呼ぶ。その形状情報の符号化を形状
符号化と呼ぶ。

【００４１】＜サイズ変換処理＞２値形状符号化は、画
素毎に物体の内側か外側かの境界を符号化していく手法
であるため、符号化すべき画素数が少ないほど発生符号
量も少なくて済む。しかし、符号化すべきマクロブロッ
クサイズを小さくすることは、元の形状符号化が劣化し
て受信側に伝送されることになる。よって、サイズ変換
で元の情報がどの程度劣化するかを測定し、所定の閾値
以下のサイズ変換誤差が得られる限りは、できるだけ小
さなサイズを選択する。具体的なサイズの変換比率とし
ては、原寸大、縦横１／２倍、縦横１／４倍の３種類が
挙げられる。

【００４２】各ＶＯＰの形状情報は、８ビットのα値と
して与えられ、次のように定義される。

【００４３】 α＝０：該当ＶＯＰの外側 α＝１〜２５４：他のＶＯＰと半透明状態で表示 α＝２５５：該当ＶＯＰのみの表示領域２値形状符号化は、α値が"０"或は"２５５"のみを取る
場合であり、該当ＶＯＰの内側と外側のみで形状が表現
される。多値形状符号化は、α値が"０"から"２５５"ま
での全ての値を取りうる場合であり、複数のＶＯＰ同士
が半透明で重なる状態を表現することができる。

【００４４】テキスチャ符号化と同様に、１６×１６画
素のブロック単位に１画素精度の動き補償予測をする。
オブジェクト全体を面内符号化する場合は、形状情報の
予測はしない。動きベクトルは、隣接するブロックから
予測した動きベクトルの差分を用いる。こうして求めた
動きベクトルの差分値は、符号化してからビットストリ
ームに多重化する。ＭＰＥＧ４では、動き補償予測した
ブロック単位の形状情報を、２値形状符号化する。

【００４５】＜フェザーリング＞その他、２値形状の場
合でも、境界部は滑らかに不透明から透明に変えたい場
合、フェザーリング（境界形状のスムーズ化）を使う。
このフェザーリングは、境界値を線形に補間する線形フ
ェザーリングモードと、フィルタを使うフェザーリング
フィルタモードがある。一定に不透明な多値形状には、
定アルファモードがあり、フェザーリングと組み合わせ
が可能である。

【００４６】＜テキスチャ符号化＞オブジェクトの輝度
成分や色差成分の符号化を行なうもので、フィールド／
フレーム単位のＤＣＴ、量子化、予測符号化、可変長符
号化の順に処理する。ＤＣＴは８×８画素のブロックを
処理単位とするが、オブジェクト境界がブロック内にあ
る場合に、オブジェクトの平均値でオブジェクト外の画
素を補填する。その後、４タップの２次元フィルタを掛
けることで、ＤＣＴ変換係数に大きな擬似ピークが出る
現象を防ぐ。

【００４７】量子化は、ＩＴＵ−Ｔ勧告Ｈ．２６３の量
子化器、或はＭＰＥＧ２の量子化器のいずれかを使う。
ＭＰＥＧ２量子化器を使えば、直流成分の非線形量子化
やＡＣ成分の周波数重み付けが可能になる。量子化後の
面内符号化係数は、可変長符号化する前にブロック間で
予測符号化し、冗長成分を削除する。特にＭＰＥＧ４で
は直流成分と交流成分の両方に対して予測符号化する。

【００４８】テキスチャ符号化のＡＣ／ＤＣ予測符号化
は、隣接するブロック間で対応する量子化係数の差分
（勾配）を調べ、小さい方を予測に使う。直流係数ｘを
符号化する場合、｜ａ−ｂ｜＜｜ｂ−ｃ｜ならｃを、｜
ａ−ｂ｜≧｜ｂ−ｃ｜ならａを、それぞれ予測に使う。

【００４９】交流係数Ｘを予測する場合、直流係数ｘと
同様にして予測値を選んだ後、各ブロックの量子化スケ
ール値（ＱＰ）で正規化する。

【００５０】直流成分の予測符号化は、隣接するブロッ
ク間で上下に隣接するブロックの直流成分の差（垂直勾
配）と、左右に隣接するブロックの直流成分の差（水平
勾配）を調べ、勾配の少ない方向のブロックの直流成分
との差分を予測誤差として符号化する。

【００５１】交流成分の予測符号化は、直流成分の予測
符号化に合わせて、隣接ブロックの対応する係数値を用
いる。但し、量子化パラメータの値がブロック間で異な
っている可能性があるので、正規化（量子化ステップス
ケーリング）してから差分をとる。予測の有無はマクロ
ブロック単位に選択できる。

【００５２】その後、交流成分は、ジグザグスキャンし
てから、３次元（Last，Run，Level）可変長符号化す
る。ここで、Ｌａｓｔは０以外の係数の終わりを示す１
ビットの値、Ｒｕｎは０の継続長、Ｌｅｖｅｌは非ゼロ
係数の値である。

【００５３】面内符号化した直流成分の可変長符号化に
は、直流成分用可変長符号化テーブル又は交流成分用可
変長テーブルのいずれかを使う。

【００５４】＜動き補償＞ＭＰＥＧ−４では任意の形状
のビデオオブジェクトプレーン（Video Object Plane：
ＶＯＰ）を符号化することができる。ＶＯＰには、予測
の種類によって面内符号化（Ｉ−ＶＯＰ）、前方向予測
符号化（Ｐ−ＶＯＰ）、双方向予測符号化（Ｂ−ＶＯ
Ｐ）があり、予測単位は１６ライン×１６画素、又は８
ライン×８画素のマクロブロックを使う。従って、ＶＯ
Ｐの境界上に跨るマクロブロックも存在することにな
る。このＶＯＰ境界の予測効率を改善するために、境界
上のマクロブロックに対してはパディング（補填）とポ
リゴンマッチング（オブジェクト部分のみのマッチン
グ）を行なう。

【００５５】＜ウェーブレット符号化＞ウェーブレット
変換とは、１つの孤立波関数を拡大／縮小／平行移動し
て得られる複数の関数を変換基底とする変換方式であ
る。このウェーブレット変換を用いた静止画像の符号化
モード(Texture Coding Mode)は、特にＣＧ画像と自然
画像の合成を扱うとき、高解像度から低解像度までの様
々な空間解像度を備えた高画質の符号化方式として適し
ている。

【００５６】このウェーブレット符号化の効果として、
画像をブロック単位に分割せず一括して符号化できるた
め、低ビットレートでもブロック歪みが発生しないと
か、モスキート雑音も減少できるという効果がある。こ
のように、ＭＰＥＧ−４の静止画符号化モードでは、低
解像度かつ低画質の画像から高解像度かつ高画質までの
幅広いスケーラビリティ、処理の複雑性、符号化効率の
トレードオフをアプリケーションに応じて選択できる構
成となっている。

【００５７】＜階層符号化（スケーラビリティ）＞スケ
ーラビリティを実現するために、図２３（ａ）（ｂ）の
ようなシンタックスの階層構造を構成する。

【００５８】階層符号化は、例えばベースレイヤを下位
レイヤ、補強レイヤを上位レイヤとし、補強レイヤにて
ベースレイヤの画質を向上する「差分情報」を符号化す
ることによって実現される。

【００５９】空間スケーラビリティの場合、ベースレイ
ヤは低解像度の動画像、ベースレイヤ＋補強レイヤは高
解像度の動画像を表す。

【００６０】更に、画像全体の画質を階層的に向上させ
る他に、画像中の物体領域のみの画質を向上させる機能
がある。例えば、時間スケーラビリティの場合、ベース
レイヤは画像全体を低いフレームレートで符号化したも
の、補強レイヤは、画像内の特定オブジェクトのフレー
ムレートを向上させるデータを符号化したものとなる。

【００６１】［時間スケーラビリティ（図２３
（ａ））］時間スケーラビリティはフレーム速度を階層
化する。補強レイヤのオブジェクトのフレーム速度を早
くすることができる。階層化の有無はオブジェクト単位
で設定できる。補強レイヤのタイプは２つで、タイプ１
は、ベースレイヤのオブジェクトの一部で構成する。タ
イプ２は、ベースレイヤと同じオブジェクトで構成す
る。

【００６２】［空間スケーラビリティ（図２３
（ｂ））］空間スケーラビリティは、空間解像度を階層
化する。ベースレイヤは、任意のサイズのダウンサンプ
リングが可能である。ベースレイヤは、補強レイヤの予
測に使う。

【００６３】＜スプライト符号化＞スプライトとは、３
次元空間における画中の背景などのように、オブジェク
ト全体が統一的な移動、回転、変形等で表現できる平面
的なオブジェクトのことであり、この平面的オブジェク
トを符号化する手法をスプライト符号化と呼ぶ。

【００６４】このスプライト符号化の区別は４種あり、
静的／動的と、オンライン／オフラインで分かれる。詳
しく説明すると、オブジェクトのデータを予め復号化器
に送り、グローバル動き係数だけをリアルタイムに伝送
することで実現する構成で、テンプレートの直接変換で
得る手法の静的スプライト、時間的に前のスプライトか
ら予測符号化して得る手法の動的スプライト、事前に面
内符号化（Ｉ−ＶＯＰ）として符号化され、復号器側に
伝送する手法のオフラインスプライト、符号化中に符号
化器と復号化器で同時に作成する手法のオンラインスプ
ライトで構成される。

【００６５】スプライト符号化に関して検討されている
技術として、スタティックスプライト(Static Sprite)
符号化、ダイナミックスプライト(Dynamic Sprite)符号
化、グローバル動き補償などの、方式（ツール）があ
る。

【００６６】［スタティックスプライト符号化］スタテ
ィックスプライト符号化は、ビデオクリップ全体の背景
（スプライト）を予め符号化しておき、背景の一部を幾
何変換することによって画像を表現する方法である。こ
の切り出した一部の画像は、平行移動、拡大、縮小、回
転等様々な変形を表現することができる。これについて
図２４（ｂ）に図示したように、画像の移動・回転・拡
大・変形等、３次元空間での視点移動などを表現するこ
とをワープと呼ぶ。図２４（ａ）はワープの種類を示す
図で、これらワープの種類には、遠近法変換、アフィン
変換、等方拡大（ａ）／回転（θ）／移動（ｃ，ｆ）、
平行移動の手法があり、それぞれが図２４（ａ）に示す
各式で表され、係数によって移動、回転、拡大、変形等
を表せる。また、スプライトの生成は符号化開始前にオ
フラインで行われる。

【００６７】このように、背景画像の一部領域を切り取
り、この領域をワープして表現することでスタティック
スプライト符号化が実現される。

【００６８】図２５は、スプライト画像の一例を示す図
である。

【００６９】図２５では、全体の背景画像内の囲まれた
一部の領域をワープすることになる。具体的には、例え
ばこの背景には、テニス試合における観客席等の背景画
像と、ワープ部にはプレーヤ等の動きのある部分を含ん
だ画像が入ることになる。また、スタティックスプライ
ト符号化では、幾何変換パラメータのみを符号化して予
測誤差を符号化しない。

【００７０】［ダイナミックスプライト符号化］スタテ
ィックスプライト符号化方式では、符号化前にスプライ
トを生成しておくのに対し、このダイナミックスプライ
ト符号化方式では、符号化しながらオンラインにスプラ
イトを更新することができる。また、予測誤差を符号化
するという点でスタテッィクスプライト符号化とは異な
っている。

【００７１】［グローバル動き補償（ＧＭＣ）］このグ
ローバル動き補償とは、オブジェクト全体の動きを、ブ
ロックに分割することなく１つの動きベクトルで表して
動き補償する技術であり、剛体の動き補償などに適して
いる。参照画像が、スプライトの代わりに直前の復号画
像となる点、予測誤差を符号化する点では、スタティッ
クスプライト符号化と同様である。但し、スプライトを
格納するためメモリを必要としないこと、形状情報が不
要であることにおいて、スタティックスプライト符号
化、及びダイナミックスプライト符号化とは異なる。こ
れは画面全体の動きや、ズームを含む画像などにおいて
効果がある。

【００７２】＜シーン構造記述情報＞シーン構成情報で
あり、各オブジェクト合成するための情報である。ＭＰ
ＥＧ４では、各オブジェクトをシーンに合成するための
構成情報を伝送する。個別に符号化された各オブジェク
トを受信した場合に、このシーン構成情報を使用するこ
とにより、送信側が意図した通りのシーンに合成でき
る。

【００７３】このシーン構成情報には、オブジェクトの
表示時間や表示位置などがある。これらがツリー状のノ
ード情報として記述されている。各ノードは、親ノード
に対する時間軸上の相対時刻情報と相対空間座標位置情
報をもつ。

【００７４】このシーン構成情報を記述する言語には、
ＶＲＭＬを修正したＢＩＦＳ(Binary Format for Scene
s)と、Ｊａｖａを用いたＡＡＶＳ(Adaptive Audio-Visu
al Session Format)がある。ＢＩＦＳは、ＭＰＥＧ４の
シーン構成情報を２値で記述する形式。ＡＡＶＳはＪａ
ｖａをベースとしており、自由度が大きく、ＢＩＦＳを
補う位置付けにある。

【００７５】このシーン記述情報の構成例を、図２６に
示す。

【００７６】＜シーン記述＞シーン記述は、ＢＩＦＳ(B
inary Format for Scenes)により行われる。ここでは、
ＶＲＭＬとＢＩＦＳ共通の概念であるシーングラフとノ
ードを中心に説明する。

【００７７】ノードは光源、形状、材質、色、座標など
の属性や座標変換を伴う下位ノードのグループ化を指定
する。オブジェクト指向の考えを取り入れ、３次元空間
中の各物体の配置や見え方は、シーングラフと呼ばれる
木(tree)を頂点のノードから辿り、上位ノードの属性を
継承することにより決定される。葉にあたるノードに、
メディアオブジェクト、例えば、ＭＰＥＧ４ビデオのビ
ットストリームを、同期をとって割当てれば、他のグラ
フィックスとともに動画を３次元空間内に合成して出力
できる。

【００７８】また、ＶＲＭＬとの差異は、下記の通りで
ある。

【００７９】ＭＰＥＧ４システムでは (1) ＭＰＥＧ４ビデオＶＯＰ符号化の２次元オーバーラ
ップ関係記述とＭＰＥＧ４オーディオの合成記述 (2) 連続メディアストリームの同期処理 (3) オブジェクトの動的振る舞い表現（例えばスプライ
ト） (4) 伝送形式（バイナリー）を標準化 (5) セッション中にシーン記述を動的に変更をＢＩＦＳでサポートする。

【００８０】ＶＲＭＬのノードのうち、Extrusion、Scr
ipt、Proto、ExtemProtoなどがサポートされていない以
外は、ＶＲＭＬノードのほぼ全てがＢＩＦＳでサポート
されている。

【００８１】またＢＩＦＳで新たに加えられたＭＰＥＧ
４特別ノードには、以下のものがある。 (1) ２Ｄ／３Ｄ合成のためのノード (2) ２Ｄグラフィックスやテクストのためのノード (3) アニメーションノード (4) オーディオノード特筆すべきは、ＶＲＭＬでは背景など特殊なノードを除
き２Ｄ合成はサポートされていなかったが、ＢＩＦＳで
は、テキストやグラフィックオーバーレイ、更にＭＰＥ
Ｇ４ビデオＶＯＰ符号化を画素を単位として扱えるよう
記述が拡張されている。

【００８２】アニメーションノードには、３Ｄメッシュ
で構成された顔などＭＰＥＧ４のＣＧ画像のための特別
なノードが規定されている。シーングラフ中のノードの
置き換え、消去、追加、属性変更が動的に行なえるメッ
セージ(BIFS Update)があり、セッションの途中で画面
上に新たな動画像を表示したり、ボタンを追加すること
が可能になる。ＢＩＦＳは、ＶＲＭＬの予約語、ノード
識別子、属性値をほぼ一対一にバイナリデータに置き換
えることにより実現できる。

【００８３】＜ＭＰＥＧ−４オーディオ＞図２７は、Ｍ
ＰＥＧ−４オーディオの符号化方式の種類を示す図であ
る。

【００８４】オーディオ及び音声の符号化には、パラメ
トリック符号化、ＣＥＬＰ符号化、時間／周波数変換符
号化が含まれる。更に、ＳＮＨＣオーディオの機能も取
り入れ、ＳＡ（Structured Audio：構造化オーディオ）
符号化と、ＴＴＳ（Text toSpeech：テキスト音声合
成）符号化が含まれる。ＳＡはＭＩＤＩを含む合成楽音
の構造的記述言語であり、ＴＴＳは外部のテキスト音声
合成装置にイントネーションや音韻情報などを送るプロ
トコルである。

【００８５】図２８は、オーディオ符号化方式の構成を
示すブロック図である。

【００８６】図において、前処理部２０１で入力音声信
号を前処理し、信号分割部２０２でパラメトリック符号
化器２０４、ＣＥＬＰ符号化器２０５、時間／周波数符
号化器２０６の３つの符号化器を使い分けるように、信
号の帯域に応じて信号分割し、それぞれ適した符号化器
に入力する。また信号分析制御部２０３では、入力オー
ディオ信号を分析し、そのオーディオ信号に応じた、各
符号化器への分類のための制御情報等を発生させる。続
いて、それぞれ別の符号化器である、パラメトリック符
号化コア２０４、ＣＥＬＰ符号化コア２０５、時間／周
波数変換符号化コア２０６では、各符号化方式に基づい
た符号化処理がなされる。これら３種の符号化方式につ
いてはこの後説明する。こうして符号化されたオーディ
オデータのうち、パラメトリック符号化コア２０４、Ｃ
ＥＬＰ符号化コア２０５の出力は小ステップ強化回路２
０７に入力され、また時間／周波数変換符号化コア２０
６の出力及び小ステップ強化回路２０７の出力は大ステ
ップ強化回路２０８に入力される。小ステップ強化回路
２０７及び大ステップ強化回路２０８とは、各符号化コ
アの符号化処理で発生する歪を減少させるための回路で
ある。こうして、大ステップ強化回路２０８から出力さ
れたオーディオデータは、符号化された音声ビットスト
リームとなる。以上が図２８に示す音声符号化方式の構
成の説明である。

【００８７】次に、図２７を参照しながら、各符号化方
式について説明する。

【００８８】＜パラメトリック符号化＞音声信号、楽音
信号を周波数や、振幅、ピッチ等のパラメータで表現
し、それを符号化する。音声信号用の調波ベクトル駆動
符号化（ＨＶＸＣ：Harmonic Vector Excitation Codin
g）符号化と、楽音信号用の個別スペクトル（ＩＬ：Ind
ividual Line）符号化が含まれる。

【００８９】＜ＨＶＸＣ符号化＞主として２ｋビット／
秒〜４ｋビット／秒の音声符号化を目的としており、音
声信号を有声音と無声音に分類し、有声音は線形予測係
数（ＬＰＣ：Linear Prediction Coefficient）の残差
信号の調波（ハーモニック）構造をベクトル量子化す
る。無声音については、予測残差をそのままベクトル駆
動符号化(vector excitation coding)する。

【００９０】＜ＩＬ符号化＞６ｋビット／秒〜１６ｋビ
ット／秒の楽音の符号化を目的としており、信号を線ス
ペクトルでモデル化して符号化するものである。

【００９１】＜ＣＥＬＰ符号化(Code Excited Linear P
rediction Cording)＞入力音声信号をスペクトル包絡情
報と音源情報（予測誤差）に分離して符号化する方式で
ある。スペクトル包絡情報は、入力音声信号から線形予
測分析によって算出される線形予測係数によって表され
る。

【００９２】ＭＰＥＧ４のＣＥＬＰ符号化には、帯域幅
４ｋＨｚの狭帯域ＣＥＬＰと帯域幅８ｋＨｚの広帯域CE
LPがあり、狭帯域（ＮＢ：Narrow Band）ＣＥＬＰは、
３．８５ｋビット／秒〜１２．２ｋビット／秒、広帯域
（ＷＢ：Wide Band）ＣＥＬＰは１３．７ｋビット／秒
〜２４ｋビット／秒の間においてビットレートの選択が
可能である。

【００９３】＜時間／周波数変換符号化＞高音質を目指
す符号化方式である。ＡＡＣ（Advanced Audio Codin
g）に準拠する方式、及びＴｗｉｎＶＱ（Transform-dom
ain Weighted Interleave VectorQuantization：変換領
域重み付けインターリーブベクトル量子化）がこれに含
まれる。

【００９４】この時間／周波数変換符号化構成には聴覚
心理モデルが組み込まれ、聴覚マスキング効果を利用し
ながら適応量子化するしくみになっている。

【００９５】＜ＡＡＣ準拠方式＞オーディオ信号をＤＣ
Ｔ等で周波数変換し、聴覚マスキング効果を利用しなが
ら適応量子化するしくみである。適応ビットレートは２
４ｋビット／秒〜６４ｋビット／秒までである。

【００９６】＜ＴｗｉｎＶＱ方式］＞オーディオ信号を
線形予測分析したスペクトル包絡を用いて、オーディオ
信号のＭＤＣＴ係数を平坦化する。インタリーブを施し
た後、２つの符号長を用いてベクトル量子化するしくみ
である。適応ビットレートは、６ｋビット／秒〜４０ｋ
ビット／秒までである。

【００９７】＜システム構成＞ＭＰＥＧ４のシステム・
パートでは、多重化、分離、合成（コンポジション）を
定義する。以下、図２９を用いて説明する。

【００９８】多重化では、まず映像符号化器やオーディ
オ符号化器からの出力となる各オブジェクトや、その時
空間配置を記述したシーン構成情報などのエレメンタリ
ストリームごとに、アクセスユニットレイヤでパケット
化する。このアクセスユニットレイヤでは、アクセスユ
ニット単位に同期を取るためのタイムスタンプや参照ク
ロックなどをヘッダとして付加する。パケット化したス
トリームは、次にFlexMuxレイヤで、表示や誤り耐性の
単位で多重化されTransMuxレイヤに送られる。

【００９９】TransMuxレイヤでは、誤り耐性の必要度に
応じて誤り訂正符号が保護サブレイヤで付加される。最
後に、多重サブレイヤ(Mux Sub Layer)で１本のTransMu
xストリームとして伝送路に送り出される。このTransMu
xレイヤは、ＭＰＥＧ４では定義せず、インターネット
のプロトコルであるＵＤＰ／ＩＰ(user datagram proto
col／internet protocol)やＭＰＥＧ２のトランスポー
トストリーム（ＴＳ）、ＡＴＭ(asynchronous transfer
mode)のＡＡＬ２(ATM adaptaion layer 2)、電話回線
利用のテレビ電話用多重化方式（ＩＴＵ−Ｔ勧告Ｈ．２
２３）、デジタル・オーディオ放送などの既存のネット
ワークプロトコルが利用可能である。

【０１００】システムレイヤのオーバーヘッドを軽く
し、従来のトランスポートストリームに容易に埋め込め
るように、アクセスユニットレイヤやFlexMuxレイヤを
バイパスすることも可能である。

【０１０１】復号化側では、各オブジェクトの同期を取
るために、デマルチプレクス（分離）の後段にバッファ
（ＤＢ：Decoding Buffer）を設け、各オブジェクトの
到着時刻や復号化時間のずれを吸収する。合成の前にも
バッファ（ＣＢ：Composition Buffer）を設けて表示時
間を調整する。

【０１０２】＜ビデオストリームの基本構造＞図３０
は、ＭＰＥＧ−４のストリーム構造のレイヤを示す図で
ある。

【０１０３】ここでは各階層をクラスと呼び、各クラス
にはヘッダが付く。このヘッダとは、start code，end
code，ＩＤ，形状，サイズ他，各種符号化情報である。

【０１０４】＜ビデオストリーム＞ビデオのストリーム
は複数のセッションで構成される。ここで、セッション
とは、一連の完結したシーケンスのことである。［Ｖ
Ｓ］セッションは、複数のオブジェクトで構成される。
［ＶＯ］は、ビデオオブジェクト、［ＶＯＬ］オブジェ
クトは、複数のレイヤを含んだオブジェクト単位のシー
ケンス、［ＧＯＶ］オブジェクトは、複数のレイヤで構
成される。［ＶＯＰ］オブジェクトレイヤは、複数のプ
レーンで構成される。また、（プレーン：フレーム毎の
オブジェクト）は、誤り耐性を有したビットストリーム
構造である。

【０１０５】ＭＰＥＧ４では、移動体通信（無線通信）
等に対応すべく、符号化方式自体が伝送誤りに対して耐
性を有している。しかし今までの標準方式では、誤り訂
正は主にシステム側で行っていた。一方、ＰＨＳ等のネ
ットワークでは誤り率が非常に高く、システム側でも訂
正しきれない誤りがビデオ符号化部分に漏れ込んでくる
ことが予想される。

【０１０６】このことを考慮してＭＰＥＧ４では、シス
テム側で訂正しきれなかった各種のエラーパターンを想
定し、このような環境の下でも可能な限り誤りの伝播が
抑制されるような誤り耐性符号化方式とした。

【０１０７】ここでは、画像符号化に関する誤り耐性の
具体的な手法と、そのためのビットストリーム構造を説
明する。（１）Reversible VLC （ＲＶＬＣ）と双方向復号（図
３１（ａ）（ｂ））図３１（ａ）は、通常のＶＬＣによる片方向の復号処理
を説明する図で、復号の途中で誤りの混入が確認される
と、その時点で復号処理を中断している。

【０１０８】これに対し図３１（ｂ）は、双方向の復号
処理を説明する図で、復号の途中で誤りの混入が確認さ
れた場合はそこで復号処理を一旦停止し、次の同期信号
の検出を行なう。次の同期信号が検出できた段階で、今
度はそこから逆向きにビットストリームの復号処理を行
なう。これにより、新たな付加情報なしに、復号のスタ
ートポイントが増加していることになり、誤り発生時に
復号できる情報量を従来よりも増やすことが可能とな
る。このような順方向と同時に逆方向からも復号可能な
可変長符号により"双方向復号"が実現できる。（２）重要情報の複数回伝送（図３２（ａ）（ｂ））重要情報を複数回伝送することが可能な構成を導入し、
誤り耐性を強化することができる。例えば、各ＶＯＰを
正しいタイミングで表示するためにはタイムスタンプが
必要であり、この情報は最初のビデオパケットに含まれ
ている。仮に誤りによって、このビデオパケットが消失
しても、前記構造により次のビデオパケットからは復号
が再開できるが、このビデオパケットにはタイムスタン
プがないため、結局、表示タイミングがわからないこと
になる。そのため、各ビデオパケットにＨＥＣ(Header
Extension Code)というフラグを立てて、この後にタイ
ムスタンプ等の重要情報を付加できる構造を導入した。
このＨＥＣフラグの後には、タイムスタンプとＶＯＰの
符号化モードタイプが付加できる構造になっている。

【０１０９】同期はずれが生じた場合には次の同期回復
マーカ（ＲＭ）から復号を開始するが、各ビデオパケッ
トにはそのために必要な情報（そのパケットに含まれる
最初のＭＢ（マクロブロック）の番号と、そのＭＢに対
する量子化スケール値）がＲＭの直後に配置されている
（図３２（ａ）参照）。その後にＨＥＣフラグが挿入さ
れ、ＨＥＣ＝１の場合には、ＴＲ及びＶＣＴがその直後
に付加される。これらＨＥＣ情報により、仮に先頭のビ
デオパケットが復号できずに廃棄されても、ＨＥＣ＝１
と設定したビデオパケット以降の復号及び表示が正しく
行われることになる。ここでＨＥＣを"１"にするか否か
は符号化側で自由に設定できる。（３）データ・パーティショニングエンコーダ側では、ＭＢ単位の符号化処理を操り返して
ビットストリームを構成しているため、途中に誤りが混
入すると、それ以降のＭＢデータは復号できないことに
なる。

【０１１０】一方、複数のＭＢ情報をまとめて幾つかの
グループに分類し、それぞれをビットストリーム内に配
置する場合を考える。各グループの境目にマーカ情報を
組み込めば、仮にビットストリームに誤りが混入され
て、それ以降のデータが復号できない場合でも、そのグ
ループの最後にあるマーカで同期を取り直して、次のグ
ループのデータを正しく復号することが可能になる。

【０１１１】以上の考えに基づき、ビデオパケット単位
に、動きベクトルとテキスチャ情報（ＤＣＴ係数等）と
にグループ分けするデータパーティショニング手法(Dat
a Partitioning)が採用されている。また、グループの
境目には、モーション・マーカ(Motion Marker)を配置
している。これにより、仮に動きベクトル情報の途中に
誤りが混入していても、ＭＭの後にくるＤＣＴ係数は正
しく復号できるため、誤り混入以前の動きベクトルに対
応するＭＢデータは、ＤＣＴ係数と共に正確に再生でき
る。またTexture（テクスチャ情報）部分に誤りが混入
された場合でも、動きベクトルが正しく復号されていれ
ば、その動きベクトル情報と復号済みの前フレーム情報
とを用いて、ある程度、正確な画像が補間再生（コンシ
ールメント）できる。（４）可変長間隔同期方式ここでは、可変長パケットで構成されている同期回復手
法を説明する。先頭に同期信号を含んだＭＢ群は"ビデ
オパケット"と呼ばれ、その中に何個のＭＢを含めるか
は符号化側で自由に設定することができる。可変長符号
（ＶＬＣ：Variable Length Code）を使用しているビッ
トストリームに誤りが混入された場合、それ以降の符号
の同期が取れなくなり、復号不可能な状態になる。この
ような場合でも、次の同期回復マーカを検出することに
より、その後の情報を正しく復号することが可能とな
る。

【０１１２】＜バイトアラインメント＞情報の多重化が
バイトの整数倍単位で行われるというシステムとの整合
性をとり、ビットストリームはバイトアラインメント(B
yte Alignment)構造となっている。

【０１１３】バイトアラインメントを実現するために、
各ビデオパケットの最後にスタッフビットが挿入され
る。更に、このスタッフビットは、ビデオパケット内の
エラーチェック符号としても使用される。

【０１１４】スタッフビットは"０１１１１"のように、
最初の１ビットのみが"０"で、それ以外が全て"１"であ
る符号で構成されている。つまり、ビデオパケット内の
最後のＭＢまで正しく復号されれば、その次に来る符号
は必ず"０"であり、その後にスタッフビットの長さより
１ビットだけ少ない数の"１"が連続しているはずであ
る。

【０１１５】もし、このルールに反したビットパターン
が検出された場合は、それ以前の復号が正しく行われて
いなかったことになり、ビットストリームに誤りが混入
していたことが検出できる。

【０１１６】以上がＭＰＥＧ−４の技術に関する説明で
ある。なお、上記した説明は、日経エレクトロニクス１
９９７．９．２２号ｐ．１４７〜ｐ．１６８「国際標準
規格ＭＰＥＧ４の概要決まる」、社団法人映像情報メ
ディア学会テキスト１９９７．１０．２「見えてきたＭ
ＰＥＧ４の全貌」、日本工業技術センター１９９７．
２．３セミナー資料「ＭＰＥＧ４の最新標準化動向と画
像圧縮技術に、明記されている。

【０１１７】続いて、本発明の実施の形態に係るシステ
ムの具体的な説明を行なう。

【０１１８】図１は、本実施の形態に係る受信再生シス
テムの概略構成を示すブロック図である。この受信再生
システムは、テレビ放送等の放送を受信して表示装置に
表示するとともに、ビデオレコーダ等の録画再生装置に
より再生された映像や音声などを表示装置１３に出力し
て表示することができる。

【０１１９】図１において、１１はＭＰＥＧ−４符号化
方式のデジタルテレビ放送を受信するテレビ放送受信装
置である。１２は映像や音声等を記録及び再生する録画
再生装置で、例えばビデオレコーダやＤＶＤ等の記録媒
体に受信したテレビ情報を録画したり、或いは記録媒体
に記録されている映像や音声などを再生するプレーヤ等
に相当している。１３は表示装置で、映像信号や音声信
号を入力して、それらを再生出力する。テレビ放送受信
装置１１は、セットトップボックス（ＳＴＢ）等の受信
チューナ機器であり、録画再生装置１２はＤＶＤ、ハー
ドディスク（ＨＤ）等を用いたホームサーバ又はデジタ
ルＶＴＲ等である。また表示装置１３としては、テレビ
ジョン（ＴＶ）やディスプレイ等が代表的な製品形態で
ある。このテレビ放送受信装置１１で受信したテレビ放
送データを、表示装置１３で表示する、または録画再生
装置１２で録画したり、それから再生した映像や音声を
表示装置１３に表示するのが基本的な動作である。

【０１２０】図２は、本実施の形態に係るテレビ放送受
信装置１１の構成を示すブロック図である。

【０１２１】衛星アンテナ１４、或いはケーブルを介し
てケーブル放送端末１５から受信したデジタルテレビ放
送データは、それぞれチューナ１６、チューナ１７によ
り選局され、受信のための調整が行なわれる。こうして
衛星テレビ放送、もしくはケーブルテレビ放送から受信
されたテレビデータの内の一方がデータ選択器１８によ
り選択され、復調回路１９で復調され、誤り訂正回路２
０で誤り訂正処理がなされる。

【０１２２】インターフェース部（Ｉ／Ｆ）２１は、テ
レビデータ、及び必要なコマンドデータ等を、表示装置
１３等の外部装置と送受信するための通信手段である。
このインターフェース部（Ｉ／Ｆ）２１は、デジタル通
信の代表的インターフェースであるＩＥＥＥ１３９４シ
リアルバス等を採用し、デジタル通信に必要なデータ送
受信処理回路、ケーブル（バス）を接続するコネクタ等
を備えている。２２はシステムコントローラで、このテ
レビ放送受信装置１１の各部を制御している。２３は指
示入力部で、スイッチ等の入力手段を備え、ここで入力
された指示入力は、システムコントローラ２２に入力さ
れる。

【０１２３】次に、図３を参照して録画再生装置１２の
構成を説明する。図３は本実施の形態に係る録画再生装
置１２の構成を示すブロック図である。

【０１２４】テレビデータやコマンドデータ、及び再生
ＡＶデータの入出力は、インターフェース部（Ｉ／Ｆ）
３３を介して行われ、このインターフェース部３３は、
テレビ放送受信装置１１及び表示装置１３とデータ通信
が可能な、互換性を備えたものである。

【０１２５】テレビ放送の録画時は、テレビ放送受信装
置１１から送られたテレビデータを、インターフェース
部（Ｉ／Ｆ）３３を介して入力し、記録処理回路３４で
記録形態に適した形式のデータに変換してディスク等の
記録媒体３５に送られる。この記録処理回路３４は、誤
り訂正符号などの付加データの追加や、必要に応じて圧
縮方式（フォーマット）の変換等のデータ処理を実施す
る。こうして記録のためのデータ処理が施されたテレビ
データは、不図示の記録ヘッドから記録媒体３５に記録
される。

【０１２６】次に、この記録媒体３５に記録された映像
データの再生時には、記録媒体３５に記録されているビ
デオデータ（記録したテレビデータを含む）を不図示の
再生ヘッドで再生する。こうして再生されたビデオデー
タに、再生処理回路３６において、記録処理とは逆の処
理でデータの復元や誤り訂正が施される。

【０１２７】次に、このようにして再生処理されたビデ
オデータから、多重データ分離回路３７により、多重さ
れているデータが分離され、それぞれデコーダ３８で、
ＭＰＥＧ−４の符号化方式に基づいた復号化方式で復号
される。尚、ＭＰＥＧ−４の符号化、及びその復号化方
法については既に説明した通りである。

【０１２８】ここでの手順は、まず多重データ分離回路
３７において、多重されている各種データを画像デー
タ、音声データ、その他のシステムデータに分離する。
次に、これら分離された各データのそれぞれをデコーダ
３８で復号して、表示／音声出力制御部３９で、その表
示出力及び音声出力を制御する。この表示／音声出力制
御部３９は、オブジェクト生成／制御部４０を用いて、
本実施の形態に係る特徴である所定のオブジェクトの属
性判別を行い、所定の画像オブジェクトについて、その
再生形態を変化させる再生制御を行なう。尚、これらデ
コーダ３８、表示／音声出力制御部３９、オブジェクト
生成／制御部４０の各部については詳細な説明は後述す
る。

【０１２９】オブジェクト生成／制御部４０で制御され
た後の、最終的な表示／音声出力制御部３９の出力は、
再生ＡＶデータとして、インターフェース部（Ｉ／Ｆ）
３３を介して表示装置１３に伝送される。システムコン
トローラ４２は、記録媒体３５の回転制御や記録／再生
動作を制御するサーボ制御部４１や、表示／音声出力制
御部３９、オブジェクト生成／制御部４０を始めとし
て、各部の動作制御を行なう。また他機器からこの録画
再生装置１２にコマンドが送信された場合には、インタ
ーフェース部（Ｉ／Ｆ）３３に入力されたコマンドをシ
ステムコントローラ４２に伝送する。このシステムコン
トローラ４２では、そのコマンドに応じた動作制御を行
なう。また、ユーザにより入力されるコマンドは、指示
入力部４３を介してシステムコントローラ４２に入力さ
れる。

【０１３０】ここで、ＭＰＥＧ−４デジタルテレビ放送
のビットストリームの構成について説明する。

【０１３１】図９は、ＭＰＥＧ−４ビットストリームの
構成を示した図である。

【０１３２】図において、オブジェクト１から５（５１
〜５５）までのデータスペースに、番組内容、及び展開
に応じてオブジェクトの種類は異なるが、自然画像オブ
ジェクトや音声オブジェクト、コンピュータ・グラフィ
ック（以下ＣＧ）等の合成画像オブジェクトなどが入っ
ている。この合成画像オブジェクトの一例としては、ニ
ュース番組の場合には、例えば背景オブジェクト（スプ
ライト）、人物画像、その他の自然画像オブジェクト、
緊急ニュース速報や、お天気画像といった画像オブジェ
クトがあり、更には、音声オブジェクトなどが該当す
る。加えて、ビットストリームには、システムデータと
して、シーン記述情報５６や追加データ５７が多重され
る。更に、この追加データ５７には、時間情報５８やオ
ブジェクト情報５９、およびその他の情報６０が含まれ
る。また、オブジェクト情報５９は、オブジェクト１〜
５（５１〜５５）に該当する各オブジェクトのそれぞれ
に、その属するジャンルを示すジャンルコード６１、オ
ブジェクトの詳細を示すオブジェクトコード６２、及び
放送局の判別のための放送局コード６３とが含まれてい
る。

【０１３３】本実施の形態では、このオブジェクト情報
５９に含まれるジャンルコード６１、オブジェクトコー
ド６２、及び放送局コード６３とから、各オブジェクト
の属性を判別し、所定の属性を有するオブジェクトに対
して、再生時に他のオブジェクトに変更するための処理
を行なう。この場合の所定の属性として、例えば緊急ニ
ュース速報の画像（テロップ）のオブジェクトを例に挙
げて説明する。

【０１３４】図１０は、各放送局毎に、各ジャンルコー
ドと、それに対応するオブジェクト情報を説明する図で
ある。ここでは、各オブジェクト情報の構成をイメージ
的に示し、各放送局ごとに対応させたコード構成の例で
示している。図９で説明したオブジェクト情報５９の構
成は、具体的には図１０に示した様に分類して表され
る。

【０１３５】ジャンルコード６１は、例えば、「ニュー
ス」、「プロ野球」、「映画」等の番組のジャンルを示
すコードである。またオブジェクトコード６２は、「ニ
ュース」の場合では、「背景画像」、「人物画像」、
「天気予報画像」等である。同様に、「プロ野球」の場
合では、「背景画像」、「カウント表示画像」、「選手
の人物画像」等であり、またジャンルが「映画」の場合
には、「背景」、その他と、６２０で地震速報等の「緊
急ニュース画像」が送られていることを示している。こ
のようにジャンルコード６１とオブジェクトコード６２
とを組み合わせた構成が、各放送局を表わす放送局コー
ド６３毎に分かれて存在している。

【０１３６】各放送局では、オブジェクト情報として各
オブジェクトを識別するこれらのコードを、各局共通又
は局固有のコードを用いてユーザに提供している。そし
て、放送局側と、ユーザ側の機器とが同一のコードを相
互理解できるように設定されている。

【０１３７】次に図３を参照して説明した録画再生装置
１２におけるデコーダ３８、表示／音声出力制御部３
９、オブジェクト生成／制御部４０の各部の動作を詳細
に述べることで、オブジェクトの再生について具体的に
説明する。

【０１３８】図５は、図３の録画再生装置１２の構成の
内、オブジェクトの再生とオブジェクトの形態の変更処
理に係る部位の構成を示すブロック図である。尚、図５
に示された符号のうち図３と共通する回路や部位は同じ
番号で示し、それらの説明を省略する。

【０１３９】図５において、再生処理回路３６により、
記録媒体３５から再生されて処理されたビデオデータを
多重データ分離回路３７で分離し、デコーダ３８に含ま
れる音声復号回路６４、画像復号回路６５、システムデ
ータ復号回路６６において、それぞれ対応するデータを
復号する。

【０１４０】音声データは音声復号回路６４で復号さ
れ、ステレオオーディオデータ（Ａ（Ｌ）、Ａ（Ｒ））
となって、表示／音声出力制御部３９の音声出力制御部
７０に送られ、音量や音場定位の調整、主／副音声など
音声多重への対応、及び音声オブジェクトの追加や変更
等が行なわれる。

【０１４１】また画像データは、画像データ中の各画像
オブジェクトに夫々対応させて復号処理を行なうため
に、複数かつ同様の復号部からなる画像復号回路６５で
復号される。これら画像復号回路６５で復号された各オ
ブジェクトに対応する画像データは、オブジェクトの数
相当の画像データ（ｖ（１）〜ｖ（ｎ））となって、表
示／音声出力制御部３９の表示出力制御部６９に送ら
れ、表示に関する様々な処理や制御が施される。

【０１４２】所定の属性を有すオブジェクトに対して、
その再生形態を変更する処理は表示／音声出力制御部３
９の各部で行なわれる。この再生形態の変更例として、
所定のオブジェクト属性として緊急ニュースのテロップ
等の画像オブジェクトを再生したときは、そのオブジェ
クトに対して次の〜のいずれかで追加処理を実行す
る。内部で発生させたキャラクタ画像によるアイコンオブ
ジェクトと置き換える。オリジナルの緊急ニュースの画像オブジェクトを再生
する。（更にに加えて、それが録画された時の時刻情
報を付加して表示する）再生形態の変更とともに、音声オブジェクトを用いて
警告音で知らせる。無表示にする。

【０１４３】また、随時自由に再生形態を選ぶこともで
きる。

【０１４４】このように必要に応じて再生形態を変更し
たオブジェクトを含め、再生した画像オブジェクト及び
音声オブジェクトは、ＡＶデータとしてインターフェー
ス部（Ｉ／Ｆ）３３で混合されて伝送される。

【０１４５】また、システムデータ（シーン記述データ
や追加データを含む）については、まずデコーダ３８の
システムデータ復号回路６６でデータが復号される。こ
こで復号されたシステムデータの中から、時刻を判別す
るために必要な時間情報が、時間情報検出部６７により
検出される。具体的には、デコード時にシステムデータ
の追加データに含まれる時間情報（クロックデータ）か
ら検出される。こうして検出した時間情報は、システム
コントローラ４２に入力され、録画時刻判定の基準とし
て用いることができる。

【０１４６】また、このシステムデータ復号回路６６で
復号されたシステムデータの内、シーン記述に関するデ
ータはシーン記述データ変換回路６８に入力される。そ
の他のシステムデータ及び追加データは、システムコン
トローラ４２に各種コマンドとして入力され、オブジェ
クト情報はここに含まれる。

【０１４７】また、シーン記述データ変換回路６８の出
力は、音声出力制御部７０及び表示出力制御部６９に供
給されてシーンの基本形態の出力に用いられ、またシス
テムコントローラ４２に送られる。

【０１４８】オブジェクト生成／制御部４０は、その構
成として、所定の属性を有するオブジェクトに対して再
生形態の変換命令を下すオブジェクト制御部７１、音声
オブジェクトを生成するための手段である音源７４、ア
イコン等の画像オブジェクトを生成するためのキャラク
タ発生部７２と、その元データを保持するメモリ（ＲＯ
Ｍ）７３とを含んでいる。ここでオブジェクト制御部７
１は、システムコントローラ４２からの指示により所定
の属性を有すオブジェクトを識別して、設定されている
内容に応じて、その表示形態の変更制御を行う。また、
その生成した画像及び音声オブジェクトを再生データへ
挿入するように制御し、更には再生形態の変更タイミン
グ調整を行う。

【０１４９】その手順としては、システムコントローラ
４２から伝達されたオブジェクト情報を基に、属性情報
に基づいて"緊急ニュース"等を対象にしたオブジェクト
コードを識別する。この識別に応じて、音声／表示出力
制御部３９の各部へ、そのオブジェクトに対する画像の
再生形態の変更命令を送出する。この際、再生形態を変
更する際に用いるアイコン画像オブジェクトは、メモリ
（ＲＯＭ）７３に記憶された元データを使ってキャラク
タ発生部７２にて生成したものであり、このアイコン画
像オブジェクトは表示出力制御部６９へ送出される。ま
た警告音に用いる音声オブジェクトは、音源７４で生成
したものを音声出力制御部７０に送出することにより得
られる。

【０１５０】なお、再生したオブジェクトを無表示にす
る処理は、オブジェクト制御部７１の制御により、当該
オブジェクトのみを表示しない制御によって実現され
る。

【０１５１】また、本発明の実施の形態に係る機能の一
つとして、オリジナルの表示形態である"緊急ニュース"
等の画像を再生する際、それが発生した時点の時刻表示
を再生画像に合成して表示することもできる。その場
合、メモリ７３に記憶された元データを用いて、時間情
報検出部６７の出力から得た記録時の時刻情報に基づい
て、その時刻表示オブジェクトをキャラクタ発生部７２
で生成し、それを画像オブジェクトの一つとして再生デ
ータに挿入して合成する。

【０１５２】図１１は、上述したオブジェクト制御部７
１における、所定の属性の画像データの再生形態を変更
するための選択手段の機能を説明する図である。

【０１５３】図において、２０１は選択部（スイッチ）
を示し、ここでは例えば「緊急ニュース」をそのまま表
示するか、他のアイコンに切替えて表示するか、或いは
無表示にするかを選択できる。スイッチ２０２は、例え
ば「緊急ニュース」に警告音を付加するかどうかを決定
している。合成部２０３は、選択部２０１で選択された
映像と、スイッチ２０２を通して入力される警告音との
合成を行う。これら各部の機能は、図５の表示出力制御
部６９及び音声出力制御部７０により実施され、また選
択部２０１の切り替え命令と、生成したオブジェクトを
挿入するか否かはオブジェクト制御部７１により制御さ
れる。

【０１５４】即ち、再生時において、オブジェクト制御
部７１は再生データ中に"緊急ニュース"等を対象にした
オブジェクトコードを識別すると、音声／表示出力制御
部３９の各部へ当該オブジェクトに対する再生形態の変
更命令を送出する。その際の当該オブジェクトの再生パ
ターンは、例えば図１１に記したように、装置内で生
成した画像オブジェクト「アイコン」を画面左上等の定
められた表示位置（Ｘ0，Ｙ0）に表示する。又はオリ
ジナルの画像オブジェクト（緊急情報のテロップ）」再
生して本来の表示位置（Ｘ，Ｙ）に表示する。或いは
当該オブジェクトのみを無表示にする、の３通りのうち
のいずれかを選択できる。

【０１５５】また、オリジナルの画像オブジェクトをそ
のまま表示するときは、録画時刻を示す画像オブジェク
トを、その時の時刻情報を基にキャラクタ発生部７２で
生成し画像に多重して付加表示することができる。

【０１５６】またオブジェクト制御部７１では、初期設
定として、所定の属性のオブジェクトを検出すると、そ
のオブジェクトをアイコンで表示するとしておく設定が
望ましい。また、ユーザの好みに応じて、好きなタイミ
ングで選択部２０１を操作することで、その設定を前述
した３通りのうちから任意に選択できる構成をとるのが
望ましい。

【０１５７】更に、画像オブジェクトの変更があったこ
とをユーザに警告するために有効な警告音の音声オブジ
ェクトを追加することもできる。これは音源７４で生成
した音声オブジェクトを、スイッチ２０２をオンするこ
とによって、合成器２０３を介して出力ＡＶデータに合
成させることができる。

【０１５８】次に、テレビ放送受信装置１１及び録画再
生装置１２から出力されるＡＶデータに基づいて映像や
音声を表示する表示装置１３について説明する。

【０１５９】図４は、本実施の形態に係る表示装置１３
の構成を示すブロック図である。

【０１６０】図において、この表示装置１３は、バスを
介してインターフェース（Ｉ／Ｆ）部２４からＡＶデー
タを入力する。この入力したＡＶデータのうち音声デー
タは音声制御部２５において、画像データの表示に同期
したタイミングで出力され、Ｄ／Ａコンバータ２７でア
ナログ信号に変換された後、ステレオスピーカ２９から
出力される。また画像データは、表示制御部２６で表示
タイミング、表示形態の調整がなされた後、Ｄ／Ａコン
バータ２８でアナログ信号に変換され、ＣＲＴ３０に表
示される。システムコントローラ３１は各部の制御を行
い、ユーザからの指示入力は指示入力部３２から受け付
けられる。このユーザから受けた指示入力に従って、外
部装置に対して関連するコマンドを伝送する際は、シス
テムコントローラ３１は、インターフェース（Ｉ／Ｆ）
部２４を介して外部装置にコマンドデータを出力するこ
とができる。

【０１６１】なお、この表示装置１３は、図４に示した
形態のものに限らず、例えば液晶ディスプレイ（ＬＣ
Ｄ）等であってもなんら問題はない。

【０１６２】続いて、本発明の実施の形態に係る動作説
明と、その表示形態の一例を図１２及び図１３を参照し
て説明する。

【０１６３】図１２（ａ）は、アニメのオンエア画像の
一画面を示し、録画再生装置１２に記録されている本来
のテレビ画像である。このアニメのオンエア画像１０１
に"緊急ニュース"の一例として、噴火を告げるテロップ
の画像オブジェクト１００が追加して表示されている。

【０１６４】図１２（ｂ）は、本実施の形態に係る再生
画像の一例であり、として、図１２（ａ）に示したア
ニメの録画画像を再生するときに、緊急ニュースをアイ
コン１０３で表示した例を示している。この再生画像１
０２において、再生形態変化の対象である"緊急ニュー
ス"のテロップの画像オブジェクトをアイコン（画像オ
ブジェクト）１０３で置き換えて表示している。

【０１６５】図１２（ｃ）は、図１２（ｂ）の表示形態
において、アニメを再生中に、再生画像１０２に表示し
たアイコン１０３をマウスカーソル１０４で指定して、
アイコンの詳細内容（緊急ニュースの内容）を表示させ
るべく命令をしている動作を示す図である。このよう
に、マウスカーソル１０４を、マウス等の指示入力手段
によって操作し、アイコン１０３をクリックすることで
命令が実行される。

【０１６６】図１２（ｄ）は、図１２（ｃ）で指示され
た命令の応答として、再生パターンの再生の形態を、前
述ので説明したように、オリジナル画像に戻した表示
に変換したときの例を示している。この場合、再生画像
１０２に"緊急ニュース"のオリジナルの画像オブジェク
ト１００が再生されて表示されている。また、付加表示
情報として、そのオリジナル画像が録画されたときの時
刻を知らせる時刻表示オブジェクト１１０も表示可能で
ある。

【０１６７】このように、特定の属性を有する画像オブ
ジェクトをアイコンに代えて表示する再生パターン
と、オリジナルのままで表示する再生パターンとを、
簡単な操作で変更指示できる。

【０１６８】続いて、図１３（ａ）は、映画番組案内の
オンエア中に、そのオンエア画像１０５に"緊急ニュー
ス"として地震を告げるテロップの画像オブジェクト１
０６が表示され、そのまま録画再生装置１２に録画され
たテレビ画像の一例を示す図である。

【０１６９】図１３（ｂ）は、図１３（ａ）の録画画像
を再生する際に、再生画像１０７において、既に説明し
た再生パターンに対応して、"緊急ニュース"のテロッ
プ画像オブジェクト１０６をアイコン１０８に置き換え
て再生表示した例を示す図である。ここでは、"緊急ニ
ュース"をアイコン１０８に、その表示形態を変えたシ
ーンにおいて、再生パターンとして音声オブジェクト
を挿入して警告音（サウンド）１０９を鳴らして、ユー
ザへの注意を促している。

【０１７０】図１３（ｃ）は、再生パターンとして、
再生画像１０７において、アイコンも表示せず、"緊急
ニュース"のテロップ画像オブジェクトを無表示にして
再生したときの例を示す図である。

【０１７１】このように、音声オブジェクトの追加によ
って警告音で知らせる再生パターンと、再生形態の変
換の対象となる画像オブジェクトを完全に無表示にする
再生パターンとも、先に説明した再生パターン及び
と同様に、自由に設定することが可能である。

【０１７２】図１４は、本発明の実施の形態１に係る録
画再生装置における画像の再生処理を説明するフローチ
ャートである。

【０１７３】前述した録画再生装置１２の再生モードに
おいて、録画画像の再生動作が指示されると（ステップ
Ｓ１０１）、ステップＳ１０２で、記録媒体３５から再
生されたビデオデータをデコーダ３８でデコード（復
号）する。そしてステップＳ１０３に進み、そのビデオ
データを構成する画像オブジェクトについて、オブジェ
クト情報を解析して、各種オブジェクトコードを基に属
性を調べる。そしてステップＳ１０４に進み、その解析
結果に基づいて、その画像オブジェクトに"緊急ニュー
ス"のコードから成る属性の画像オブジェクトがあるか
否かを判別する。なお、ここでは"緊急ニュース"の属性
が、再生形態を変更する対象のオブジェクトとして予め
設定されている場合を示す。

【０１７４】このステップＳ１０４で、再生データ中
に"緊急ニュース"の属性を有す画像オブジェクトがない
場合はステップＳ１１０に進み、再生データをそのまま
ＡＶデータとして出力する。

【０１７５】一方、ステップＳ１０４で、再生データ中
に"緊急ニュース"の属性を有す画像オブジェクトがある
場合はステップＳ１０５に進み、再生形態の変更を行な
う際の設定値（上述の再生パターンを特定する値）を読
み出す。ここで設定値が"１"であればステップＳ１０６
に進み、その"緊急ニュース"画像オブジェクトの出力
を、例えば前述の図１２（ｂ）に示すように、所定のア
イコンに変更して出力する（再生パターン）。またス
テップＳ１０５で、その設定値が"０"であればステップ
Ｓ１０７に進み、例えば前述の図１２（ｄ）に示すよう
に、その"緊急ニュース"の画像オブジェクトをオリジナ
ルのまま再生し、更にステップＳ１０８で、そのオンエ
ア時の時刻を表す"時刻表示"の画像オブジェクトを付加
して表示する（再生パターン）。またステップＳ１０
５で、設定値が"２"であればステップＳ１０９に進み、
その"緊急ニュース"の画像オブジェクトを無表示にす
る。このときはアイコンも表示しない（再生パターン
）。

【０１７６】以上３通りの設定値のいずれかが設定され
ることによって、その"緊急ニュース"の画像オブジェク
トは、その再生形態が変更され、再生された他のデータ
とともにＡＶデータとして表示出力される（ステップＳ
１１０）。

【０１７７】次にステップＳ１１１に進み、例えば前述
の図１２（ｃ）で示すように、マウスカーソル１０４を
用いて、その設定値の変更が指示されたかどうかを調
べ、指示された場合はステップＳ１１２に進み、その設
定指示に従って、新たに設定された設定値に変更する。
尚、この設定値は、例えば録画再生装置１２の指示入力
部４３から入力されてもよい。このようにして、所定の
属性を有する画像オブジェクトの表示・再生形態を容易
に変更できる。こうして設定値が変更された後は再びス
テップＳ１０４において、"緊急ニュース"画像オブジェ
クトがあったかどうかが判断され、あればステップＳ１
０５に進み、その新たに設定された設定値に従って再生
形態が変更される。

【０１７８】また、設定値の変更が必要でない時は、ユ
ーザ命令、又はシステムの要因によって再生モードが終
了となるまでステップＳ１０１よりの動作を繰り返し実
行し、ステップＳ１１３で再生終了となると、その動作
を停止して、この再生処理が終了する。

【０１７９】尚、本実施の形態１では、再生形態の変更
の対象として、所定の属性を有するオブジェクトを"緊
急ニュース"（テロップ）の画像オブジェクトを例にし
て説明したが、本発明はこれに限定されるものではな
く、例えば"選挙速報"や"天気予報画像"などの各種テロ
ップ、又は"映画の字幕"などといった、ユーザが再生形
態の変更を適用したい画像又は音声などの、全てのオブ
ジェクトを対象に実現可能である。

【０１８０】また、本実施の形態に係る録画再生装置１
２からの画像及び音声データの出力先は、上記に説明し
た表示装置１３のみに限らず、他の録画再生装置へ、即
ちダビングの場合にも適用できる。

【０１８１】以上説明したように本実施の形態１によれ
ば、録画画像の再生時に、所定の属性の画像オブジェク
トのみの再生形態を変更することができるので、ユーザ
にとって不要な画像を消したり、或いは別の画像データ
表示できるので、ユーザに対して、より親切で視覚効果
の高いビデオ再生機能を提供できる。

【０１８２】［実施の形態２］次に、本発明の実施の形
態２について説明する。この実施の形態２では、再生形
態の変更機能を適用した表示装置７５について説明す
る。

【０１８３】図６は、本発明の実施の形態２に係るＭＰ
ＥＧ−４のビデオデータを録画再生する録画再生装置７
５の構成を示すブロック図である。この録画再生装置７
５は、前述の図３で説明した録画再生装置１２に含まれ
るオブジェクト生成／制御部４０を備えていない点が、
前述の録画再生装置１２と異なっている。尚、この図６
において、図３で説明した各部と共通する部分について
は同一符号を付して、その説明を省略する。

【０１８４】この録画再生装置７５は、再生時、ＭＰＥ
Ｇ−４のビデオデータをデコードして得たＡＶデータ、
及びデコード時に検出したオブジェクト情報を含んだサ
ブデータをインターフェース部（Ｉ／Ｆ）３３からバス
を介して外部機器へ出力する。

【０１８５】図７は、この実施の形態２に係る録画再生
装置７５に対応するＭＰＥＧ−４のオブジェクトの再生
に対応した表示装置７６の構成を示すブロック図であ
る。この表示装置７６は、図６の録画再生装置７５、又
は図２のテレビ放送受信装置１１からテレビデータを受
信して表示することが可能である。

【０１８６】この表示装置７６は、前述の図４で説明し
た表示装置１３に追加機能として、表示形態及び音声出
力形態を総括して「再生形態」と定義した上で、その再
生形態を、所定のオブジェクトに対して変更せしめる機
能を具備するものである。この図７において、前述の図
４で示す部分と共通する部分は同じ符号で示し、その説
明を省略する。

【０１８７】表示装置７６は、図６の録画再生装置７
５、又はテレビ放送受信装置１１から出力されたＡＶデ
ータ及びサブデータをインターフェース部（Ｉ／Ｆ）２
４を介して入力し、サブデータからＡＶデータに附随す
る時間情報を時間情報検出部７７で検出し、またオブジ
ェクト情報をオブジェクト情報検出部７８でそれぞれ検
出する。また、入力したオーディオデータは音声制御部
２５により処理されてＤ／Ａコンバータ２７に送られて
再生される。また画像データは、表示制御部２６で処理
されて表示制御される。

【０１８８】ここで、入力した画像又はオーディオデー
タを構成するオブジェクトの内、所定の属性を有するオ
ブジェクトに対して、その再生形態を変更する処理は表
示制御部２６及び音声出力制御部２５の各部で行なわれ
る。この再生形態の変更例として、所定のオブジェクト
属性を有する画像オブジェクトを受信したときは、その
オブジェクトに対して、次の〜の内のいずれかで追
加処理を実行する。内部で発生させたキャラクタ画像による"アイコン"オ
ブジェクトと置き換える。オリジナルのオブジェクトを再現する。（更にに加
えてデータに付随する時刻情報を基に"時刻表示"の画像
オブジェクトを付加して表示する）再生形態の変更とともに、音声オブジェクトを用いて
警告音で知らせる。無表示にする。

【０１８９】また、随時自由に再生形態を選ぶこともで
きる。

【０１９０】時刻を判別するために必要な時間情報は、
時間情報検出部７７を用いて、サブデータ中に含まれる
時間情報から検出する。こうして検出された時間情報は
システムコントローラ３１に入力されて、"時刻表示"画
像オブジェクト生成に用いられる。

【０１９１】オブジェクト制御部７９は、再生形態を変
える対象として予め設定されているオブジェクトに対し
て、再生（即ち、表示及び／または音声出力）形態の変
更命令を発行し、音声オブジェクトを生成するための手
段である音源８２、アイコン等画像オブジェクトを生成
するためのキャラクタ発生部８０と、その元データを保
持するメモリ（ＲＯＭ）８１とを具備して、制御してい
る。

【０１９２】オブジェクト制御部７９は、オブジェクト
情報からオブジェクトの属性の識別と、その表示制御、
及び生成した画像及び音声オブジェクトを再生データに
挿入するように制御し、また再生形態の変更タイミング
調整を行う。その手順としては、オブジェクト情報検出
部７８で検出され、システムコントローラ３１から伝達
されたオブジェクト情報を基に、その再生形態を変える
べき所定の属性を有するオブジェクトコードを識別する
と、音声制御部２５及び表示制御部２６の各部へ、その
オブジェクトに対する再生形態の変更命令を送出する。

【０１９３】更に、その再生形態を変更する際に用いら
れるアイコン画像オブジェクトは、メモリ（ＲＯＭ）８
１の元データを使ってキャラクタ発生部８０にて生成し
たものを表示制御部２６に送出する。また、警告音に用
いる音声オブジェクトは、音源８２で生成したものを音
声制御部７０へと送出する。

【０１９４】なお、再生したオブジェクトの無表示処理
は、そのオブジェクトのみを表示しない制御によって処
理する。

【０１９５】これら再生形態の制御は、図１３を用いて
実施の形態１で説明したものと同様である。

【０１９６】また、時刻表示を再生画像に合成して表示
する場合は、メモリ８１の元データを用いて、時間情報
検出部７７の出力から得た時刻情報に基づいて、その時
刻表示オブジェクトをキャラクタ発生部８０で生成し、
それを画像オブジェクトの一つとして、再生データに挿
入して合成する。

【０１９７】このように、必要に応じて再生形態を変更
したオブジェクト含め、画像オブジェクトからなる画像
データはＣＲＴ３０に出力されて表示され、また音声オ
ブジェクトからなるオーディオデータは、スピーカ２９
から出力される。

【０１９８】このようにして表示装置において非表示処
理、オブジェクト置換処理がなされた入力画像の表示形
態は、前述の実施の形態１で例示したのと同様に、図１
２（ａ）乃至（ｄ）及び図１３（ａ）乃至（ｃ）に示す
ように、自在な表示が可能である。

【０１９９】次に、本発明の実施の形態２に係る表示装
置における表示モードに応じた再生形態の制御について
図１５のフローチャートを参照して説明する。

【０２００】まずステップＳ２０１で、表示装置７６
は、表示モードにおいて、入力されたＡＶデータを受信
し、ステップＳ２０２で、これをデコードする。その後
ステップＳ２０３に進み、画像データを構成する画像オ
ブジェクトについては、そのオブジェクト情報を解析し
て、各種オブジェクトコードを基に、その属性を調べ
る。そしてステップＳ２０４で、解析結果の中に、例え
ば、"緊急ニュース"や"映画字幕"などの、予め設定され
た属性の画像オブジェクトがあるかどうかを調べる。

【０２０１】ステップＳ２０４で、入力データ中に該当
する属性のオブジェクトがない場合はステップＳ２０９
に進み、そのままの形態で出力する。一方、ステップＳ
２０４で、入力データ中に該当する属性を有すオブジェ
クトがある場合はステップＳ２０５に進み、再生形態の
変更を行なう際の設定値を読み出す。

【０２０２】ここで設定値が"１"であればステップＳ２
０６に進み、その画像オブジェクトを生成したアイコン
に変更して出力する（再生パターン）。また設定値
が"０"であればステップＳ２０７に進み、その画像オブ
ジェクトをオリジナルのまま出力する（再生パターン
）。またステップＳ２０５で、その設定値が"２"であ
ればステップＳ２０８に進み、その画像オブジェクトの
出力を無表示にする。このときはアイコンも表示しない
（再生パターン）。

【０２０３】以上、３通りの設定値のいずれかによっ
て、その画像オブジェクトの再生形態が変更されて、他
の表示データ及び／或いは音声データとともに出力され
る（ステップＳ２０９）。

【０２０４】ここで、この設定値は任意に変更できる
が、ステップＳ２１０で、前述のステップＳ１１１と同
様に、この設定値を変更指示が入力されたかどうかを判
定し、指示された時はステップＳ２１１に進み、指示入
力部３２から入力される新たな設定値を設定することに
より簡単に変更できる。こうして設定値が変更された後
は、再びステップＳ２０４において、その再生形態を変
える画像オブジェクトがあった場合はステップＳ２０５
に進み、変更された最新の設定値に基づいて、その指定
された属性を有する画像オブジェの表示形態が変更され
る。

【０２０５】尚、ステップＳ２１０で、設定値の変更が
必要でないときはステップＳ２１２に進み、表示モード
が続く限りステップＳ２０１よりの動作を繰り返し実行
し、ステップＳ２１２で表示終了となるまで、前述の動
作を実行する。

【０２０６】以上説明したように本実施の形態２によれ
ば、表示装置における表示形態及び音声出力形態を再生
形態として、その再生形態の変更を"緊急ニュース"や"
映画字幕"等の画像オブジェクトを対象に設定して容易
に実現できる。

【０２０７】尚、本実施の形態２では、"緊急ニュース"
や"映画字幕"といった画像オブジェクトを例にして説明
したが、本発明はこれに限定されるものではなく、ユー
ザが再生形態の変更を適用したい画像又は音声など、全
てのオブジェクトを対象にすることが可能である。

【０２０８】これにより、画像を表示する際に不要と判
断するオブジェクトのみを隠すことができるので、ユー
ザに対してより適切に、かつ視覚効果の高い表示が可能
になる。

【０２０９】＜その他の実施形態＞その他の実施形態と
して、これまで説明してきた本実施の形態の前提となる
ＭＰＥＧ−４符号化方式のテレビ放送データ（ビデオデ
ータ）を、ＭＰＥＧ−２符号化方式のテレビ放送データ
（ビデオデータ）の一部に組み込んだ上で実現する実施
の形態について説明する。

【０２１０】図１６は、本実施の形態に係るＭＰＥＧ−
２符号化方式のデジタルテレビ放送で用いられる、ＭＰ
ＥＧ−２データストリームの伝送形式であるＭＰＥＧ−
２トランスポートストリームのデータ構造を示す図であ
る。

【０２１１】このＭＰＥＧ−２トランスポートストリー
ムは、固定長のトランスポートパケットによって多重及
び分離される。このトランスポートパケットのデータ構
造は、図１６に示したように階層的に表され、それぞれ
図示した項目を含む。順に説明すると、８ビットの同期
信号（sync）、パケット内のビットエラーの有無を示す
誤り表示（エラーインジケータ）、このパケットのペイ
ロードから新たなユニットが始まることを示すユニット
開始表示、このパケットの重要度を示すプライオリティ
（パケット優先度）、個別ストリームの属性を示す識別
情報ＰＩＤ(Packet Identification)、スクランブルの
有無とその種別を示すスクランブル制御、このパケット
のアダプテーションフィールドの有無及びペイロードの
有無を示すアダプテーションフィールド制御、同じＰＩ
Ｄをもつパケットが途中で一部棄却されたかどうかを検
出するための情報である巡回カウンタ、付加情報やスタ
ッフィングバイトをオプションで入れることができるア
ダプテーションフィールド、及びペイロード（情報）で
構成されている。更に、このアダプテーションフィール
ドは、フィールド長、及びその他の個別ストリームに関
する各種項目と、オプショナルフィールド、スタッフィ
ングバイト（無効データ・バイト）が入り、本実施の形
態では、付加データの一つとしてＭＰＥＧ−４のビット
ストリームをこのフィールドに多重している。以上が、
ＭＰＥＧ−２テレビ放送のトランスポートパケットの構
成の説明である。

【０２１２】ここで、上記説明したトランスポートスト
リームを用いたＭＰＥＧ−２方式のテレビ放送におい
て、ＭＰＥＧ−２のシステムデータに付加データとして
多重したＭＰＥＧ−４ビットストリームに、所望の画像
オブジェクト及び時間情報やオブジェクト情報等のシス
テムデータを組み込んだ場合を考えて、本実施の形態に
係る所定オブジェクトの再生形態の変更機能を実現す
る。

【０２１３】このとき図１６に示したように、微小なデ
ータ量のＣＧ等からなる画像オブジェクト（図１６のオ
ブジェクトＡ，Ｂ，Ｃ）、各オブジェクトのシーン記述
情報（BIFS）、システムデータとして時間情報及び画像
オブジェクト情報を識別するためのオブジェクト情報な
どをＭＰＥＧ−４ビットストリームとして、ＭＰＥＧ−
２のシステムデータの、上記アダプテーションフィール
ドの所定領域に多重させて送信することで実現する。ま
たＭＰＥＧ−４データを多重した領域の前（又は前後）
には、ＭＰＥＧ−４データの存在を示すＩＤを付加して
おき、これをデータ識別に用いる。

【０２１４】ＭＰＥＧ−２の一部に組み込まれた前記Ｃ
Ｇ等の画像データについては、前述の実施の形態１及び
２で説明した通常のＭＰＥＧ−４画像データの如く、オ
ブジェクトの再生形態の変更も可能として構成される。

【０２１５】この場合は、ＭＰＥＧ−２のビットストリ
ームからＭＰＥＧ−４の存在を示すＩＤを識別し、ＭＰ
ＥＧ−４データを個別に抽出できさえすれば、そこから
画像オブジェクト、オブジェクト情報、時間情報をそれ
ぞれ抽出できるので、特定オブジェクトの再生形態の変
更も、実施の形態１又は２の構成を基に容易に実現可能
であり、この方法や動作については、既に説明したもの
と同様である。

【０２１６】このように構成することで、ＭＰＥＧ−４
テレビ放送に限らず、ＭＰＥＧ−４データを組み込んだ
ＭＰＥＧ−２テレビ放送、又はビデオデータにおいても
本発明の実施の形態を適用できる。

【０２１７】また、ＭＰＥＧ−２とＭＰＥＧ−４とで
は、共通化できる符号／復号化回路も多数あるので、シ
ステムの効率化に加え、回路構成も複雑な構成を必要と
せずに効果的に実現できるメリットもある。もちろん、
ソフトデコーダの場合でも、システムの効率化が図れる
ことは言うまでもない。

【０２１８】上記の如く構成することによって、本実施
の形態に係る所定オブジェクトの再生形態を変更する機
能は、ＭＰＥＧ−２をベースにしたテレビ放送システム
であっても、テロップ画像等からなるＭＰＥＧ−４オブ
ジェクトを多重した場合でも容易に適応できる。

【０２１９】［他の実施形態］なお本発明は、複数の機
器（例えばホストコンピュータ、インターフェース機
器、リーダ、プリンタなど）から構成されるシステムに
適用しても、一つの機器からなる装置（例えば、複写
機、ファクシミリ装置など）に適用してもよい。

【０２２０】また本発明の目的は、前述した実施の形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体（または記録媒体）を、システム或いは
装置に供給し、そのシステム或いは装置のコンピュータ
（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログ
ラムコードを読み出し実行することによっても達成され
る。この場合、記憶媒体から読み出されたプログラムコ
ード自体が前述した実施形態の機能を実現することにな
り、そのプログラムコードを記憶した記憶媒体は本発明
を構成することになる。また、コンピュータが読み出し
たプログラムコードを実行することにより、前述した実
施形態の機能が実現されるだけでなく、そのプログラム
コードの指示に基づき、コンピュータ上で稼働している
オペレーティングシステム（ＯＳ）などが実際の処理の
一部または全部を行い、その処理によって前述した実施
形態の機能が実現される場合も含まれる。

【０２２１】更に、記憶媒体から読み出されたプログラ
ムコードが、コンピュータに挿入された機能拡張カード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書込まれた後、そのプログラムコードの指示に
基づき、その機能拡張カードや機能拡張ユニットに備わ
るＣＰＵなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれる。

【０２２２】以上説明したように本実施の形態によれ
ば、録画した時点（過去）においては価値があったが、
再生している現時点では特に意味を持たない画像オブジ
ェクトの表示に際して、その画像オブジェクトのみの再
生形態を容易に変更することができる。これにより、テ
レビ放送を録画して再生する場合に、新たな機能を追加
することができる。

【０２２３】また本実施の形態によれば、上記の如く構
成した装置やシステムによって、ユーザに対して、より
親切で視覚効果の高いビデオ表示が可能になり、ユーザ
インターフェースの質を大きく向上できる。

【０２２４】また本実施の形態によれば、ＭＰＥＧ−２
符号化方式でのテレビ放送システムに、ＭＰＥＧ−４の
ビットストリームを組み込むことが可能であり、既存の
システムを活用する点でも有効である。

【０２２５】またデジタルテレビ放送においては、パー
ソナルコンピュータ（ＰＣ）との融合も容易になり、現
在ＰＣデスクトップ上で行っているようなレイアウト設
定などを、テレビ画像に関してもカスタマイズにできる
ので、テレビ放送とＰＣとの親和性も良くなり、またデ
ジタル複合製品の分野において市場拡大の効果が期待で
きる。

【０２２６】尚、上述の実施の形態では、受信装置、録
画再生装置及び表示装置で構成される受信再生システム
の場合で説明したが本発明はこれに限定されるものでな
く、これら装置が一体的に一つの装置として構成された
録画機能付きテレビジョン受像機等のような装置にも適
用できる。

【０２２７】

【発明の効果】以上説明したように本発明によれば、録
画された映像の再生時、所定の映像はそのまま表示せず
に、その表示形態を変更して表示できる。

【０２２８】また本発明によれば、録画された映像の再
生時には意味があったが、その再生時には意味のない映
像を非表示にしたり、或いは必要に応じて他の表示形態
に変更して表示できるという効果がある。

【図面の簡単な説明】

【図１】本発明の実施の形態に係るテレビ受信再生シス
テムの構成を示すブロック図である。

【図２】本実施の形態に係るデジタルテレビ放送受信装
置の構成を示すブロック図である。

【図３】本実施の形態１に係る録画再生装置の構成を示
すブロック図である。

【図４】本実施の形態１に係る表示装置の構成を示すブ
ロック図である。

【図５】図３の録画再生装置の構成を詳細に示すブロッ
ク図である。

【図６】本発明の実施の形態２に係る録画再生装置の構
成を示すブロック図である。

【図７】本実施の形態２に係る表示装置の構成を示すブ
ロック図である。

【図８】従来のデジタルテレビ放送受信システムの構成
を示すブロック図である。

【図９】ＭＰＥＧ−４データのビットストリームの構成
を説明するための図である。

【図１０】本実施の形態に係るオブジェクト情報の構成
を説明する概念図である。

【図１１】図５のオブジェクト制御部における再生形態
の変更を説明するための図である。

【図１２】本発明の実施の形態１に係る再生表示例を説
明する図である。

【図１３】本発明の実施の形態１に係る再生表示・出力
例を説明する図である。

【図１４】本発明の実施の形態１に係る再生処理の手順
を説明するフローチャートである。

【図１５】本発明の実施の形態２に係る再生処理の手順
を説明するフローチャートである。

【図１６】ＭＰＥＧ−２データのトランスポートストリ
ームのデータ構成を説明するための図である。

【図１７】ＭＰＥＧ−４の全体構成を説明する図であ
る。

【図１８】ＭＰＥＧ−４のコードを受信して復号・表示
するシステム構成例を示すブロック図である。

【図１９】ビデオオブジェクトに関するＶＯＰ処理回路
ブロックの内、エンコーダを示すブロック図である。

【図２０】ビデオオブジェクトに関するＶＯＰ処理回路
ブロックの内、デコーダを示すブロック図である。

【図２１】ＶＯＰの符号化及び復号化処理の全体構成を
示すブロック図である。

【図２２】ビデオ符号化器の構成を示すブロック図で、
（ａ）はオブジェクト単位の符号化の場合を示し、
（ｂ）はフレーム単位の符号化の場合を示す図である。

【図２３】階層符号化を説明する図で、（ａ）は時間ス
ケラービリティの場合を示し、（ｂ）は空間スケラービ
リティの場合を示す。

【図２４】画像の移動・回転・拡大・変形等、３次元空
間での視点移動などを表現するワープを説明する図で、
（ａ）はワープの種類を示し、（ｂ）はワープの概念図
である。

【図２５】スプライト画像の一例を示す図である。

【図２６】シーン記述情報の構成を説明する図である。

【図２７】ＭＰＥＧ−４オーディオの符号化方式の種類
を示す図である。

【図２８】ＭＰＥＧ−４オーディオ符号化方式の構成を
示すブロック図である。

【図２９】ＭＰＥＧ４のシステム構造を説明する図であ
る。

【図３０】ＭＰＥＧ−４のストリーム構造のレイヤを示
す図である。

【図３１】通常のＶＬＣによる片方向復号（ａ）と、逆
方向復号（ｂ）とを説明する図である。

【図３２】符号化データにおける誤り耐性の手法を説明
する図である。

フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０４Ｎ 7/24 Ｈ０４Ｎ 7/13 ＺＦターム(参考） 5C023 AA18 AA34 AA38 BA01 BA11 CA05 EA03 5C025 BA09 BA25 BA28 CA09 DA01 5C053 FA20 FA24 GB21 HA40 JA16 KA01 LA06 5C059 KK00 MA00 MB21 MB29 RB18 RC32 RC33 RC34 SS02 SS13

Claims

【特許請求の範囲】

【請求項１】記録されたデジタルデータ列を再生して
表示する画像処理装置であって、前記デジタルデータ列に所定の属性を有するオブジェク
トがあるか否かを判定する判定手段と、複数備える再生形態から、前記所定の属性を有するオブ
ジェクトの再生形態を指定する指定手段と、前記判定手段により前記所定の属性を有するオブジェク
トがあると判定されると、前記所定の属性を有するオブ
ジェクトに対応する画像を、前記指定手段により指定さ
れた再生形態で再生する再生制御手段と、を有すること
を特徴とする画像処理装置。
【請求項２】前記指定手段により指定される再生形態
は、前記所定の属性に対応するアイコンによる再生を含
むことを特徴とする請求項１に記載の画像処理装置。
【請求項３】前記指定手段により指定される再生形態
は、更に、音声オブジェクトによる再生を含むことを特
徴とする請求項１又は２に記載の画像処理装置。
【請求項４】前記指定手段により指定される再生形態
は、前記所定の属性を有するオブジェクトを非表示にす
ることを含むことを特徴とする請求項１乃至３のいずれ
か１項に記載の画像処理装置。
【請求項５】前記指定手段により指定される再生形態
は、更に、前記デジタルデータ列が記録された時の時刻
情報の表示を含むことを特徴とする請求項１乃至３のい
ずれか１項に記載の画像処理装置。
【請求項６】前記所定の属性は、緊急ニュースのテロ
ップを含むことを特徴とする請求項１乃至５のいずれか
１項に記載の画像処理装置。
【請求項７】前記指定手段は、再生された前記アイコンを表示画面上で指示する指示手
段と、前記指示手段による指示操作に応じて前記再生形態の指
定するための設定値を変更する手段とを有することを特
徴とする請求項１乃至６のいずれか１項に記載の画像処
理装置。
【請求項８】前記デジタルデータ列はデジタルテレビ
ジョン用のＭＰＥＧ−４方式で符号化されたデータ列で
主データと副データを有し、前記主データは所定のオブ
ジェクト単位ごとに分割処理された複数オブジェクトを
有するデータであり、前記副データは前記オブジェクト
の属性情報を含むことを特徴とする請求項１乃至７のい
ずれか１項に記載の画像処理装置。
【請求項９】前記デジタルデータ列は、ＭＰＥＧ−４
方式で符号化されたオブジェクトと、ＭＰＥＧ−２方式
のビットストリームに多重した前記副データを含むデジ
タルテレビジョン用のデータ列であることを特徴とする
請求項８に記載の画像処理装置。
【請求項１０】前記指定手段による指定は、前記所定
の属性を有するオブジェクトの再生中に実行可能である
ことを特徴とする請求項１乃至９のいずれか１項に記載
の画像処理装置。
【請求項１１】記録されたデジタルデータ列を再生し
て表示する画像処理装置における画像処理方法であっ
て、前記デジタルデータ列に所定の属性を有するオブジェク
トがあるか否かを判定する判定工程と、複数備える再生形態から、前記所定の属性を有するオブ
ジェクトの再生形態を指定する指定工程と、前記判定工程で前記所定の属性を有するオブジェクトが
あると判定されると、前記所定の属性を有するオブジェ
クトに対応する画像を、前記指定工程で指定された再生
形態で再生する再生制御工程と、を有することを特徴と
する画像処理方法。
【請求項１２】前記指定工程で指定される再生形態
は、前記所定の属性に対応するアイコンによる再生を含
むことを特徴とする請求項１１に記載の画像処理方法。
【請求項１３】前記指定工程で指定される再生形態
は、更に、音声オブジェクトによる再生を含むことを特
徴とする請求項１１又は１２に記載の画像処理方法。
【請求項１４】前記指定工程で指定される再生形態
は、前記所定の属性を有するオブジェクトを非表示にす
ることを含むことを特徴とする請求項１１乃至１３のい
ずれか１項に記載の画像処理方法。
【請求項１５】前記指定工程で指定される再生形態
は、更に、前記デジタルデータ列が記録された時の時刻
情報の表示を含むことを特徴とする請求項１１乃至１４
のいずれか１項に記載の画像処理方法。
【請求項１６】前記所定の属性は、緊急ニュースのテ
ロップを含むことを特徴とする請求項１１乃至１５のい
ずれか１項に記載の画像処理方法。
【請求項１７】前記指定工程は、再生された前記アイコンを表示画面上で指示する指示工
程と、前記指示工程による指示操作に応じて前記再生形態の指
定するための設定値を変更する工程とを有することを特
徴とする請求項１１乃至１６のいずれか１項に記載の画
像処理方法。
【請求項１８】前記デジタルデータ列はデジタルテレ
ビジョン用のＭＰＥＧ−４方式で符号化されたデータ列
で主データと副データを有し、前記主データは所定のオ
ブジェクト単位ごとに分割処理された複数オブジェクト
を有するデータであり、前記副データは前記オブジェク
トの属性情報を含むことを特徴とする請求項１１乃至１
７のいずれか１項に記載の画像処理方法。
【請求項１９】前記デジタルデータ列は、ＭＰＥＧ−
４方式で符号化されたオブジェクトと、ＭＰＥＧ−２方
式のビットストリームに多重した前記副データを含むデ
ジタルテレビジョン用のデータ列であることを特徴とす
る請求項１８に記載の画像処理方法。
【請求項２０】前記指定工程における指定は、前記所
定の属性を有するオブジェクトの再生中に実行可能であ
ることを特徴とする請求項１１乃至１９のいずれか１項
に記載の画像処理方法。
【請求項２１】請求項１１乃至２０のいずれか１項に
記載の画像処理方法を実行するプログラムを記憶したこ
とを特徴とするコンピュータにより読取り可能な記憶媒
体。