JP2002218433A

JP2002218433A - デジタルビデオシステム、ビデオ画像にリンクされた情報の取得方法、双方向視聴システム、双方向視聴装置、デコード装置、伝達媒体ならびに記録媒体。

Info

Publication number: JP2002218433A
Application number: JP2001005985A
Authority: JP
Inventors: Yoshiki Koura; 善樹小浦
Original assignee: Individual
Current assignee: Individual
Priority date: 2001-01-15
Filing date: 2001-01-15
Publication date: 2002-08-02

Abstract

(57)【要約】【課題】ビデオプログラム動画中の逐次的に変化するビ
デオ・オブジェクトに対して多種多様なサブ・コンテン
ツを付加し、サブ・コンテンツ取得を視聴者の直感的な
操作で行うことができ、リンク・テーブル・データやサ
ブ・コンテンツの取得方法を多様とする事により視聴者
のサブ・コンテンツ選択取得性を高める。【解決手段】ビデオプログラム中のビデオ・オブジェク
トの形状を顕わすレイヤであるインデックス・ピクチャ
をビデオプログラムと同期再生し、インデックス・ピク
チャの形状によりビデオ・オブジェクトに対して視覚効
果を付与し視聴者にサブ・コンテンツを明示的に示し、
インデックス・オブジェクトの持つ一の値と関係づけら
れたリンク・テーブル・データから副情報のリソース情
報を取得しサブ・コンテンツを取得、表示、記録を行
う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、地上無線波によ
る地上波デジタル放送あるいは、放送衛星または通信衛
星による衛星デジタル放送等の放送媒体やＣＡＴＶ網、
コンピュータネットワーク等の通信媒体により放送、配
信されたデジタルビデオプログラムならびに、ＤＶＤ、
ＶｉｄｅｏＣＤ、ＣＤＲＯＭやデジタル記録テープ等の
パッケージ媒体により頒布されたデジタルビデオプログ
ラム及び、追記録可能なテープ及びディスク媒体に記録
あるいは追記録されたデジタルビデオプログラム等を視
聴する際にビデオプログラム中のビデオ・オブジェクト
にリンクされた情報の検索、取得、再生を行うためのデ
ジタルビデオシステム、ビデオ画像にリンクされた情報
の取得方式、双方向視聴システム、双方向視聴装置、伝
達媒体、記録媒体に関する。

【０００２】

【従来の技術】ビデオプログラムに付加された情報を視
聴者が取得しようとするとき、ＸＭＬ方式、ＭＨＥＧ方
式、ＨＴＭＬ方式、あるいはデジタル放送におけるマー
クアップ言語であるＢＭＬ等のプレゼンテーション・ツ
ールにより提案されているメニュー選択方式により、視
聴中のビデオプログラムを中断あるいはオーバレイ表示
して、付加情報へのアクセス情報が多重化されたメニュ
ー画面を表示させ、メニューに記載されている項目を選
択し付加情報を取得したり、あるいは表示画面をマルチ
フレーム（マルチウィンドウ）化し各々のフレーム（ウ
ィンドウ）に動画やカテゴリ選択メニュー、サブ・コン
テンツ選択メニュー、更にサブ・コンテンツ自体等を表
示する方法が提案され、一部実施されている。

【０００３】

【発明が解決しようとする課題】しかし、従来のメニュ
ーの表示ならびに選択による方法は、視聴中のビデオプ
ログラム中に視聴者の欲する情報が付加されているかど
うかを視聴者がビデオプログラムを視聴しながら認識す
る方法が無く、従って視聴者は徒にメニュー画面を操作
して目的とする情報が付加されているかを検索しなけれ
ばならない、また、マルチフレーム表示によりプレゼン
テーションされている場合は、主たるビデオプログラム
の表示領域は縮小されてるため、高画質で視聴したいと
いう視聴者の要求を満足することができない。ビデオサ
ーバ（ホームサーバ）等の画像情報蓄積装置を有しない
双方向視聴装置で再生する放送媒体での放送やＣＡＴＶ
網の定時プログラム配信されるビデオプログラム等は、
メニュー操作をしている間にもストーリーは進行してい
るので、視聴者はメニュー操作をしている間のビデオプ
ログラムを見ることができず視聴欠損部分が多く発生す
るばかりでなく、メニュー操作（検索）の結果、目的と
する情報が取得できない場合、視聴者は多くの不満を抱
く。

【０００４】仮に、視聴者の欲する情報が付加されてい
る場合でも、メニュー構造が階層化されている場合など
メニュー操作を煩雑に行わなければなれず、目的とする
情報の取得に手間がかかる。

【０００５】表示装置（モニタ）の表示領域は、当然で
あるが有限であり、その限られら領域に表示できるメニ
ューの数は当然制限される、更にマルチフレームで原ビ
デオプログラムと同時に表示にメニューを表示しようと
する時は制限多がくなる。その制限されたメニュー表示
で、多くの情報を提供しようとするとき、メニュー構造
としては多層化（階層化）されることになるが、その場
合はメニュー選択の操作が煩雑になる。

【０００６】また、メニューから選択する手法の場合、
視聴者は、メニューに表示された文字を読んで内容を認
識しなければ、正確な選択ができず、直感的な操作をす
ることができない。

【０００７】多くの場合、メニュー構造での情報の取得
は、その選択項目として対象オブジェクトの具体的な呼
称や名称等が必要とされるが、新規なオブジェクトであ
ったり視聴者が興味を持たなかった分野のオブジェクト
であった場合など、視聴者が該対象オブジェクトの名
称、呼称を知らない場合に、その知識の欠如を補完する
手段が無く目的とする情報の取得が難しくなる。

【０００８】従って、”これは何？”とか”これは誰
？”といった視聴者の持つ根元的な疑問を動機としての
情報の取得が難しい。

【０００９】視聴しているビデオプログラムは動画であ
るから、当然であるが画像中のオブジェクトは移動し、
あるいは他のオブジェクトと交代するものであるが、

【００１０】メニューに方式よる動的に変化する付加情
報の提示は、その提供すること自体が難しかったり、メ
ニューで表示されている文字を読んでいる間にビデオ・
オブジェクトが消失してまう等の逐次的な情報の付加を
行えない問題がある。

【００１１】アイコンにより付加情報を提示する方法も
あるが、視聴者はビデオプログラムを注視しているわけ
で、目立たない位置に表示されるべきアイコンを注視し
ているわけではなく、付加情報があることに気づかない
場合があると思われる。

【００１２】また、メニュー方式、アイコン方式の何れ
も、提示できるのは現在表示されている画面全体あるい
はビデオプログラム全体に対する付加情報の提示、ある
いは付加情報（付加サービス）の切り替えの為の表示が
多く、ビデオ・オブジェクト単位でのあるいは逐次的な
付加情報の提示を行うことが難しい。

【００１３】ビデオプログラム画像中の視聴者が注目す
るオブジェクトを強調表示したり拡大表示、追跡表示等
の画像処理をオブジェクト単位で行う手段がない。

【００１４】追記録媒体を考えたときに、記録可能な光
ディスク媒体やホームサーバとしてのハードディスク装
置等の記憶装置（装置内蔵あるいはＰＣに具備された）
あるいはデジタル記録テープ媒体等に記録されたビデオ
プログラムに視聴者が独自に制作あるいは収集したサブ
・コンテンツを視聴者が検索可能に定義する手段がな
い。

【００１５】そこで、この発明はこのような従来の課題
を解決したものであって、視聴者が容易にまた、直感的
に多様なサブ・コンテンツ（付加情報）取得するための
デジタルビデオシステム、ビデオ画像にリンクされた情
報の取得方式、双方向視聴システム、双方向視聴装置、
デコード装置、伝達媒体、記録媒体を提案するものであ
る。

【００１６】

【課題を解決するための手段】本発明は、視聴中のビデ
オプログラムにリンクされた情報を双方向に選択、取得
する場合の情報選択指定を、情報選択用の選択メニュー
画面等を使用しないで、直感的かつ視聴者の嗜好、要
望、要求に合った情報の選択指定を行えるようにし、こ
れにより視聴者の付加情報選択及び取得の操作性及び視
聴性の向上を計るものである。

【００１７】請求項１に示す発明は、デジタルビデオシ
ステムを提案するもので、視聴者がビデオプログラムの
視聴中に知覚する対象はビデオプログラムで表示されて
いる画像であり、さらには画像中のオブジェクトを知
覚、認識している。知覚、認識しているオブジェクトが
視聴者にとって好ましいと感じるもので有れば、視聴者
は該オブジェクトに対する興味が湧き該オブジェクトに
対する知識、情報を得ようとする欲求は自然なことと思
われる。

【００１８】また、映画における字幕はビデオプログラ
ムで展開されているストーリを補完するものであるから
視聴者にとっては比較的違和感の無いものとなっている
が、現在提案、実施されているメニューに於ける文字に
よる付加情報選択の提示方法はメニューとして表示され
ている文字と表示中のビデオプログラム画像との直接的
な関係が薄く視聴者の認識の過程では、ビデオプログラ
ム画像の認識とメニュー文字の認識が乖離していると考
えられる。

【００１９】これらのことから、表示されている画像中
のオブジェクトから直接的に付加情報を取得する事がで
きれば直感的な付加情報の選択及び取得が可能であると
考えられる。

【００２０】そのための画像中のオブジェクトの形状を
認識可能とする方法を提案するもので、

【００２１】デジタルビデオシステムにおいて、所定の
語長を有する不可視の画素により構成される不可視の画
像レイヤ（インデックス・ピクチャ）を有し、上記イン
デックス・ピクチャは、ビデオプログラム画像中で特定
の被写体（ビデオ・オブジェクト）の形状を示す領域を
形成する不可視の画素に同一のビデオプログラム中で特
定することのできる一の値を付与し、その一の値で示さ
れる不可視の画素の集合で形成される形状（インデック
ス・オブジェクト）から構成される、上記インデックス
・ピクチャとインデックス・ピクチャの生成源であるビ
デオプログラム映像を伝達する手段及び同期再生する手
段を有するデジタルビデオシステムである。

【００２２】請求項２の発明は請求項１で提案したイン
デックス・オブジェクトから付加情報（サブ・コンテン
ツ）を取得する方法を提案するもので、

【００２３】デジタルビデオ信号において、所定の語長
を有する不可視の画素により構成される不可視の画像レ
イヤ（インデックス・ピクチャ）を有し、上記インデッ
クス・ピクチャは、ビデオプログラム画像中で特定の被
写体（ビデオ・オブジェクト）の形状を示す領域を形成
する不可視の画素に同一のビデオプログラム中で特定す
ることのできる一の値を付与し、その一の値で示される
不可視の画素の集合で形成される形状（インデックス・
オブジェクト）から構成され、上記ビデオプログラム画
像中のビデオ・オブジェクトにリンク或いは付加しよう
とする副情報（サブ・コンテンツ）へのアクセス情報を
上記インデックス・オブジェクトの持つ一の値に関連づ
けて定義するリンク・テーブル・データを有し、上記イ
ンデックス・ピクチャとインデックス・ピクチャの生成
源であるビデオプログラム映像を伝達する手段及び同期
再生する手段を有し、視聴中のビデオプログラムにイン
デックス・オブジェクトが重畳されていることを明示的
に示す手段を備え、視聴者が再生されているビデオプロ
グラム中のインデックス・オブジェクトが重畳されてい
るビデオ・オブジェクトを指示するポインティング手段
を有し、ポインティング手段により指定されたビデオ・
オブジェクトに対応するインデックス・オブジェクトが
持つ一の値からリンク・テーブル・データを参照する手
段を有し、参照されたリンク・テーブル・データに定義
されたサブ・コンテンツのアクセス情報に基づきサブ・
コンテンツを取得する手段を有し、取得したサブ・コン
テンツを表示或いは記録する手段を有するビデオ画像に
リンクされた情報の取得方式である。

【００２４】請求項３の発明はインデックス・オブジェ
クトの値を定義する方法を提案するもので、

【００２５】請求項２に記載のビデオ画像にリンクされ
た情報の取得方式において、同一のビデオ・オブジェク
ト或いは同一のサブ・コンテンツを取得する目的を有す
るビデオ・オブジェクトを示すインデックス・オブジェ
クトに該ビデオプログラム中で同一の固有値を付与した
ビデオ画像にリンクされた情報の取得方式である。

【００２６】請求項４の発明は請求項３の発明で提案す
るビデオプログラム中で固定された値を持つインデック
ス・オブジェクトに対するリンク・テーブル・データを
提案するもので、

【００２７】請求項３に記載のビデオ画像にリンクされ
た情報の取得方式において同一のビデオプログラム中で
同一のビデオ・オブジェクト或いは同一のサブ・コンテ
ンツを取得する目的を有するビデオ・オブジェクトを示
すインデックス・オブジェクトに付与された固有値とサ
ブ・コンテンツのアクセス情報（リソース情報）を関連
づけて定義するリンク・テーブルを有するビデオ画像に
リンクされた情報の取得方式である。

【００２８】請求項５の発明は、インデックス・オブジ
ェクトを時系列上で特定可能とするために時刻情報を参
照する値を付与する方法を提案するもので、

【００２９】請求項２に記載のビデオ画像にリンクされ
た情報の取得方式において、特定のビデオ・オブジェク
ト或いは同一のサブ・コンテンツを取得する目的を有す
るビデオ・オブジェクトを示すインデックス・オブジェ
クトに該ビデオプログラムの時系列上の一点で特定する
ことのできる固有の値を付与したビデオ画像にリンクさ
れた情報の取得方式である。

【００３０】請求項６の発明は、請求項５の発明で提案
する時系列規定情報を参照するインデックス・オブジェ
クトに対するリンク・テーブル・データを提案するもの
で、

【００３１】請求項５に記載のビデオ画像にリンクされ
た情報の取得方式において、特定のビデオ・オブジェク
ト或いは同一のサブ・コンテンツを取得する目的を有す
るビデオ・オブジェクトを示すインデックス・オブジェ
クトに付与された該ビデオプログラムの時系列上の一点
で特定することのできる固有の値と、その時系列を特定
する情報とサブ・コンテンツのアクセス情報（リソース
情報）を関連づけて定義するリンク・テーブルを有する
ビデオ画像にリンクされた情報の取得方式である。

【００３２】請求項７の発明は、複数のインデックス・
オブジェクトの連結あるいは関連付けをするためのイン
デックス・オブジェクトの構造定義を行う方法を提案す
るもので、

【００３３】請求項４〜請求項６に記載のビデオ画像に
リンクされた情報の取得方式において、複数のインデッ
クス・オブジェクトに対するリンク・テーブル・データ
を連結してグループを生成する手段、あるいは複数のイ
ンデックス・オブジェクトに対するリンク・テーブル・
データ連結して新たなリンク・テーブル・データを生成
する手段を有するビデオ画像にリンクされた情報の取得
方式である。

【００３４】請求項８の発明は、サブ・コンテンツの属
性定義を行う方法を提案するもので、

【００３５】請求項４〜請求項６および請求項７に記載
のビデオ画像にリンクされた情報の取得方式において、
リンク・テーブル・データにサブ・コンテンツの属性情
報を定義する手段を有するビデオ画像にリンクされた情
報の取得方式である。

【００３６】請求項９の発明は双方向視聴システムを提
案するもので、

【００３７】生成系として、ビデオプログラム画像中
で情報をリンク或いは付加しようとする被写体（ビデオ
・オブジェクト）の形状を抽出する手段、上記抽出され
たビデオ・オブジェクトの形状を示す領域を形成する不
可視の画素に、同一のビデオプログラムで特定すること
のできる一の値を付与されたインデックス・オブジェク
トを生成する手段、上記同一のビデオプログラムで特定
することのできる一の値で示される不可視の画素の集合
で形成される形状（インデックス・オブジェクト）の集
合から構成される画像（インデックス・ピクチャ）を圧
縮符号化する手段から成るインデックス・ピクチャ・ス
トリーム生成手段と、上記ビデオプログラム画像中のビ
デオ・オブジェクトにリンクしようとする情報（サブ・
コンテンツ）へのアクセス情報を上記インデックス・オ
ブジェクトの持つ一の値に関連づけて定義するリンク・
テーブルを生成するリンク・テーブル・データ生成手段
と、インデックス・ピクチャ・ストリームの生成する源
画像であるビデオプログラムを圧縮符号化するＡＶ（Ａ
ｕｄｉｏ／Ｖｉｄｅｏ）ストリーム生成手段から成る生
成手段と、伝達媒体として、衛星デジタル放送、地上波
デジタル放送の放送媒体、あるいはＤＶＤ、Ｖｉｄｅｏ
ＣＤ、ＣＤＲＯＭ、デジタル・ビデオ・テープ等のパッ
ケージ媒体、ＣＡＴＶ網またはインターネット等のコン
ピュータネットワーク網等の通信媒体により、上記ＡＶ
ストリーム、インデックス・ピクチャ・ストリーム、リ
ンク・テーブル・データ及びサブ・コンテンツの各々を
同一のあるいは異なる伝達媒体により視聴者の選択自在
に伝達する伝達手段と、再生系として、上記伝達手段に
より伝達されたＡＶストリームをデコード及びビデオ出
力する手段と、上記伝達手段により伝達されたインデッ
クス・ピクチャ・ストリームをＡＶストリームと同期再
生する手段と、デコード、再生されたビデオプログラム
の画像に対して、同期再生されたインデックス・オブジ
ェクトの形状により視覚効果を付与しビデオ出力する手
段と、視聴者が表示されている画像中の上記インデック
ス・オブジェクトの形状により視覚効果を付与されたビ
デオ・オブジェクトを指定するポインティング手段と、
選択されたビデオ・オブジェクトあるいはインデックス
・オブジェクトとリンク・データ・テーブルを関係付け
る手段と、選択されたインデックス・オブジェクトにリ
ンクされたサブ・コンテンツのアクセス情報をリンク・
テーブルから取得する手段と、サブ・コンテンツへのア
クセス情報に基づき各種伝達媒体を介してサブ・コンテ
ンツを取得しビデオ出力あるいは記憶装置に記録する手
段から成る再生手段、上記、生成手段、伝達手段、再生
手段から構成される双方向視聴システムである。

【００３８】請求項１０の発明は、請求項９に示すイン
デックス・オブジェクトは同一時系列上の同一のオブジ
ェクト領域には一の値のみ付加するとしている。例え
ば、図１５の表示画面例に示すように、人物５．は図１
５のように、衣服５５、顔５１、靴５４、自転車５３等
の複数のオブジェクトから構成され、それぞれのインデ
ックス・オブジェクトは同一時系列上で各々ユニークな
一の値を有している。しかし、ビデオプログラム中の人
物５０の配役やその役柄の説明、関連作品の紹介、人物
名等の人物５０そのものに対するサブ・コンテンツの付
加や人物５０の会話等の逐次的に変化するサブ・コンテ
ンツの付加を行うためには、人物５０全体に対しての視
覚効果の付与及びコンテンツ概要の表示を行わなければ
ならない。

【００３９】このため、請求項９に記載の双方向視聴シ
ステムの生成系において、複数のインデックス・オブジ
ェクトの集合から形成されるインデックス・オブジェク
トを集合インデックス・オブジェクトとして、集合を形
成する各々のインデックス・オブジェクト相互間の関係
をグループとしてあるいは見かけ上同一のインデックス
・オブジェクトとしてリンク・テーブル・データに定義
する手段を有する双方向視聴システムである。

【００４０】請求項１１の発明は、多岐にわたるビデオ
プログラムの視聴者の嗜好に適合するために、請求項９
に示すインデックス・オブジェクトの形状をを用いたビ
デオプログラムへの視覚効果方法を制御するための手段
を提供するもので、

【００４１】請求項９に記載の双方向視聴システムの生
成系において、リンク・テーブルを生成する際に個別の
インデックス・オブジェクトあるいは集合インデックス
・オブジェクトに、サブ・コンテンツの再生方法を定義
する制御コード、あるいはビデオプログラムを特定する
プログラムコードあるいは内容、種別、制作者等の情報
を分類コード等を、リンク・テーブル・データに定義コ
ードとして定義する手段を有する双方向視聴システムで
ある。

【００４２】請求項１２の発明は、上記のように同一の
インデックス・オブジェクトあるいは集合オブジェクト
に対して同一の時系列上に複数のサブ・コンテンツのア
クセス情報を定義する手段を提供するもので、

【００４３】請求項９に記載の双方向視聴システムにお
いて、同一のインデックス・オブジェクト或いは集合イ
ンデックス・オブジェクトのリンク・テーブル・データ
に複数のサブ・コンテンツを付加する手段を有すること
を特徴とする双方向視聴システムである。

【００４４】請求項１３の発明は、請求項１０〜請求項
１２で示すところのリンク・テーブル・データの構造定
義手段を単独で或いは複合して定義する手段を提供する
もので、

【００４５】請求項９に記載の双方向視聴システムにお
いて、請求項１０〜請求項１２に記載するインデックス
・オブジェクトの構造定義手段を複合してリンク・テー
ブル・データに定義する手段を有する事を特徴とする双
方向視聴システムである。

【００４６】請求項１４の発明は、ビデオプログラムと
インデックス・ピクチャの圧縮符号化方式に、各種提案
されている画像圧縮方式のうち、同一の圧縮符号化方式
を使用することにより、ＡＶストリームの生成手段、イ
ンデックス・オブジェクト・ストリームの生成手段及び
再生デコード手段のハードウェア及び上位制御装置のソ
フトウェア構成を簡略化する手段を提供するもので、

【００４７】請求項９に記載の双方向視聴システムにお
いて、ビデオプログラムの圧縮符号化とインデックス・
ピクチャの圧縮符号化に同一の方式による圧縮符号化を
行うことを特徴とする双方向視聴システムである。

【００４８】請求項１５の発明は、請求項１４の発明と
同様の手段を提供するものであるが、ビデオプログラム
の圧縮符号化とインデックス・ピクチャの圧縮符号化方
式として国際標準となっているＭＰＥＧ２方式を使用す
ることを特徴とする双方向視聴システムである。

【００４９】請求項１６の発明は、請求項１５の発明
で、インデックス・ピクチャ・ストリームのデータ量を
を減少させることにより、ＡＶストリームとインデック
ス・ピクチャ・ストリームのデータ総量を減少させると
共に、再生手段におけるデコーダを制御する上位制御装
置のソフトウェア負荷を軽減する手段を提供するもの
で、

【００５０】請求項１５に記載の双方向視聴システムの
生成系において、ビデオプログラムの圧縮符号化とイン
デックス・ピクチャの圧縮符号化方式として国際標準と
なっているＭＰＥＧ２方式を使用し、ビデオプログラム
とインデックス・ピクチャの各々の再生基準時間信号及
び、Ｉ，Ｐ，Ｂの各フレームの発生タイミングを同一と
し、かつ動き補償データを共有することを特徴とする双
方向視聴システムである。

【００５１】請求項１７の発明は、請求項１４及び請求
項１５の発明において、ＡＶストリームとインデックス
・ピクチャ・ストリームの各々を異なる伝達媒体での伝
達を可能とする手段を提供するもので、

【００５２】請求項１４及び請求項１５に記載の双方向
視聴システムの生成系において、符号化圧縮されたＡＶ
ストリームとインデックス・ピクチャ・ストリーム及び
リンク・テーブル・データの各々に再生基準時間信号を
付加する事を特徴とする双方向視聴システムである。

【００５３】請求項１８の発明は、インデックス・ピク
チャの圧縮符号化の方式を、伝達媒体の伝達特性に適合
させる手段を提供するもので、

【００５４】請求項９に記載の双方向視聴システムの生
成系において、ビデオプログラムの圧縮符号化にＭＰＥ
Ｇ２方式を用い、インデックス・ピクチャの圧縮符号化
をＭＰＥＧ１方式或いはＤＶフォーマット等のフレーム
内圧縮符号化方式、あるいは、直線や曲線、円、多角形
等の関数及びその組み合わせによる領域定義と定義され
た領域のフレーム間移動関数の組み合わせによる符号化
方式など、ＭＰＥＧ２以外の方式により圧縮符号化を行
うことを特徴とする双方向視聴システムである。

【００５５】請求項１９〜請求項３８の発明は、ＡＶス
トリーム、インデックス・ピクチャ・ストリーム、リン
ク・テーブル・データ、サブ・コンテンツの各々の伝達
手段を提供するものである。

【００５６】請求項３９の発明は請求項９〜請求項３８
の発明においてＡＶストリーム、インデックス・ピクチ
ャ・ストリーム、リンク・テーブル・データ、サブ・コ
ンテンツの各々が伝達媒体の種別に依存しないで伝達さ
れる手段を提供するもので、

【００５７】請求項９〜請求項３８に記載の双方向視聴
システムの伝達系において、ＡＶストリーム、インデッ
クス・ピクチャ・ストリーム、リンク・テーブル・デー
タの各々のデータが、単独あるいは組み合わされて、Ａ
Ｖストリーム（ビデオプログラム）と同期再生可能に地
上波デジタル放送、衛星デジタル放送等の放送媒体、あ
るいはＤＶＤ、ＶｉｄｅｏＣＤ、ＣＤＲＯＭ、デジタル
記録テープ等のパッケージ媒体、ＣＡＴＶ網、コンピュ
ータネットワーク網等の通信媒体のいずれかにより視聴
者に伝達され、再生あるいは記録されることを特徴とす
る双方向視聴システムである。

【００５８】請求項４０の発明は、地上波デジタル放送
あるいは衛星デジタル放送における受信復号装置を提供
するもので、

【００５９】地上波デジタル放送、衛星デジタル放送等
の放送媒体から送信されるＡＶストリーム、インデック
ス・ピクチャ・ストリーム、リンク・テーブル・デー
タ、サブ・コンテンツ・データの内、少なくともＡＶス
トリームを受信、デコード、出力する手段を有し、イン
デックス・ピクチャ・ストリーム、リンク・テーブル・
データをＡＶストリームが伝達された同一チャネルの放
送媒体或いは別チャネルによる放送媒体あるいはＤＶ
Ｄ、ＶｉｄｅｏＣＤ、ＣＤＲＯＭ、デジタル記録テープ
等のパッケージ媒体、ＣＡＴＶ網、コンピュータネット
ワーク網等の通信媒体のいずれかにより取得、デコード
或いは再生する手段を有し、上記画像中にリンクされた
情報を検索するデータにより画像中にリンクされた情報
の取得を、視聴者が指定する手段により、指定されたサ
ブ・コンテンツ・データを取得し、デコード、出力ある
いは再生出力あるいは記録する手段を有するデジタル放
送のＩＲＤ（Integreated Receiver/Decoder）あるい
はＳＴＢ（SetTop Box）装置としての双方向視聴装置
である。

【００６０】請求項４１の発明は、ＤＶＤ、Ｖｉｄｅｏ
ＣＤ、ＣＤＲＯＭ等のパッケージ媒体の復号装置を提供
するもので、

【００６１】ＤＶＤ、ＶｉｄｅｏＣＤ、ＣＤＲＯＭ等の
パッケージ媒体あるいは追記録可能なディスク媒体に記
録されたＡＶストリーム、インデックス・ピクチャ・ス
トリーム、リンク・テーブル・データ、サブ・コンテン
ツ・データの内、少なくともＡＶストリームを取得、デ
コード、出力する手段を有し、インデックス・ピクチャ
・ストリーム、リンク・テーブル・データを上記パッケ
ージ媒体あるいは地上波デジタル放送、衛星デジタル放
送等の放送媒体、ＣＡＴＶ網、コンピュータネットワー
ク網等の通信媒体のいずれかにより取得、デコードする
手段を有し、上記画像中にリンクされた情報を検索する
データにより、画像中にリンクされた情報の取得を、視
聴者が指定する手段により、指定されたサブ・コンテン
ツ・データを取得し、デコード、出力あるいは再生出
力、或いは他の情報処理装置への伝達、或いは記録する
手段を有するＤＶＤ、ＶｉｄｅｏＣＤ、ＣＤＲＯＭの再
生装置としての双方向視聴装置である。

【００６２】請求項４２の発明は、ＣＡＴＶ網の復号装
置を提供するもので、

【００６３】ＣＡＴＶ網から配信されたＡＶストリー
ム、インデックス・ピクチャ・ストリーム、リンク・テ
ーブル・データ、サブ・コンテンツ・データの内、少な
くともＡＶストリームを取得、デコード、出力する手段
を有し、インデックス・ピクチャ・ストリーム、リンク
・テーブル・データを上記ＣＡＴＶ網、放送媒体、パッ
ケージ媒体、通信媒体等により取得、デコードする手段
を有し、上記画像中にリンクされた情報を検索するデー
タにより、画像中にリンクされた情報の取得を、視聴者
が指定する手段により、指定されたサブ・コンテンツ・
データを取得し、デコード、出力あるいは、他の情報処
理装置への伝達、或いは記録する手段を有するＣＡＴＶ
網のＳＴＢあるいはＩＲＤ装置としての双方向視聴装置
である。

【００６４】請求項４３の発明は、コンピュータネット
ワークに接続され、少なくともＡＶストリームを上記コ
ンピュータネットワークから取得する復号装置を提供す
るもので、

【００６５】コンピュータネットワーク網から供給され
たＡＶストリーム、インデックス・ピクチャ・ストリー
ム、リンク・テーブル・データ、サブ・コンテンツ・デ
ータの内、少なくともＡＶストリームを取得、デコー
ド、出力する手段を有し、インデックス・ピクチャ・ス
トリーム、リンク・テーブル・データを上記放送媒体、
パッケージ媒体、通信媒体等により取得、デコードする
手段を有し、上記画像中にリンクされた情報を検索する
データにより、画像中にリンクされた情報の取得を、視
聴者が指定する手段により、指定されたサブ・コンテン
ツ・データを取得し、デコード、出力あるいは、他の情
報処理装置への伝達、或いは記録する手段を有するコン
ピュータネットワーク端末装置としての双方向視聴装置
である。

【００６６】請求項４４の発明は、請求項４０〜請求項
４３の復号再生装置において、ビデオプログラムの視聴
終了後もサブ・コンテンツの取得を可能とする手段を提
供するもので、

【００６７】請求項４０〜請求項４３および請求項４６
〜請求項５３に記載されるデジタル放送のＳＴＢ／ＩＲ
Ｄ装置、ＤＶＤ再生装置、ＣＡＴＶのＳＴＢ／ＩＲＤ装
置、コンピュータネットワーク端末装置等の双方向視聴
装置において、ビデオプログラムを特定する情報（プロ
グラムＩＤ）、リンク・テーブル・データ、サブ・コン
テンツの内、の少なくとも視聴者の選択したリンク・テ
ーブル・データあるいはリンク・テーブル・データ中の
サブ・コンテンツへのリソースデータを双方向視聴装置
の具備するあるいは外部に接続された記憶媒体に記録す
る手段を有し、視聴者の操作により記録されているリン
ク・テーブル・データあるいはリンク・テーブル・デー
タ中のサブ・コンテンツへのリソースデータを読み出す
手段を有し、読み出されたリンク・テーブル・データあ
るいはリンク・テーブル・データ中のサブ・コンテンツ
へのリソースデータに基づきサブ・コンテンツを取得、
デコード、表示を行う、あるいは取得したサブ・コンテ
ンツを双方向視聴装置の具備するあるいは外部の記憶媒
体に記録する双方向視聴装置である。

【００６８】請求項４５の発明は、請求項４４の発明に
おいて、記憶手段を着脱可能とし、他の再生装置や、情
報処理装置でのリンク・テーブル・データの管理を可能
とする手段を提供するもので、

【００６９】請求項４４の双方向視聴装置で、リンク・
テーブル・データあるいはリンク・テーブル・データ中
のサブ・コンテンツへのリソースデータあるいはリンク
・テーブル・データとサブ・コンテンツを記録する記録
媒体を双方向視聴装置あるいは外部記憶装置から着脱可
能とする手段を有した双方向視聴装置である。

【００７０】請求項４６の発明は、請求項４４〜請求項
４５の発明において、視聴者独自のリンク・テーブル・
データを編集、生成する手段を備えることにより、サブ
・コンテンツの取得性を向上する手段を提供するもの
で、

【００７１】請求項４４〜請求項４５双方向視聴装置に
おいて、記録されたリンク・テーブル・データあるい
は、リンク・テーブル・データとサブ・コンテンツを視
聴者が独自に編集、生成、記憶する手段を有し、該ビデ
オプログラムを再度再生する際に上記記憶した視聴者定
義によるリンク・テーブル・データを参照したサブ・コ
ンテンツの取得、表示し、あるいは取得したサブ・コン
テンツを双方向視聴装置の具備するあるいは外部の記憶
媒体に記録する手段を有する双方向視聴装置である。

【００７２】請求項４７の発明は、デジタルＶＨＳレコ
ーダ装置を提供するもので、

【００７３】ＡＶストリーム、インデックス・ピクチャ
・ストリーム、リンク・テーブル・データ、サブ・コン
テンツの内少なくともＡＶストリーム、インデックス・
ピクチャ・ストリームを上記放送媒体、パッケージ媒
体、通信媒体から取得し、再生および記録する手段を有
するデジタルビデオテープレコーダ（ＤＶＨＳ）装置と
しての双方向視聴装置である。

【００７４】請求項４８の発明は、リンク・テーブル・
データの生成、編集を行い、視聴者独自のデジタルビデ
オテープの作成が可能なデジタルビデオテープレコーダ
装置を提供するもので、

【００７５】ＡＶストリーム、インデックス・ピクチャ
・ストリーム、リンク・テーブル・データ、サブ・コン
テンツの内少なくともＡＶストリーム、インデックス・
ピクチャ・ストリームを上記放送媒体、パッケージ媒
体、通信媒体から取得し、再生および記録する手段を有
し、記録したＡＶストリームのインデックス・ピクチャ
のインデックス・オブジェクトに対するリンク・テーブ
ル・データを生成、編集、追記録する手段を有するデジ
タルビデオテープレコーダ（ＤＶＨＳ）装置としての双
方向視聴装置である。

【００７６】請求項４９の発明は、各種の符号化圧縮方
式で伝達された、ＡＶストリーム、インデックス・ピク
チャ・ストリームをＤＶフォーマットで規定された符号
化圧縮方式に変換し記録するＤＶレコーダ装置を提供す
るもので、

【００７７】ＡＶストリーム、インデックス・ピクチャ
・ストリーム、リンク・テーブル・データ、サブ・コン
テンツの内、少なくともＡＶストリーム、インデックス
・ピクチャ・ストリームを上記放送媒体、パッケージ媒
体、通信媒体から取得する手段を有し、取得したＡＶス
トリーム、インデックス・ピクチャ・ストリームの符号
化圧縮方式をＭＰＥＧ２圧縮方式からＤＶフォーマット
の圧縮符号化方式（フレーム内圧縮）に変換して記録、
再生する手段を有するＤＶレコーダ装置としての双方向
視聴装置である。

【００７８】請求項５０の発明は、各種の符号化圧縮方
式で伝達された、ＡＶストリーム、インデックス・ピク
チャ・ストリームをＤＶフォーマットで規定された符号
化圧縮方式に変換し記録し、更にリンク・テーブル・デ
ータさらにはサブ・コンテンツを記録再生するＤＶレコ
ーダ装置を提供するもので、

【００７９】ＡＶストリーム、インデックス・ピクチャ
・ストリーム、リンク・テーブル・データ、サブ・コン
テンツの内、少なくともＡＶストリーム、インデックス
・ピクチャ・ストリームを上記放送媒体、パッケージ媒
体、通信媒体から取得する手段を有し、取得したＡＶス
トリーム、インデックス・ピクチャ・ストリームの符号
化圧縮方式をＭＰＥＧ２圧縮方式からＤＶフォーマット
の圧縮符号化方式（フレーム内圧縮）に変換して記録、
再生する手段を有し、リンク・テーブル・データあるい
はサブ・コンテンツ・データを上記放送媒体、パッケー
ジ媒体、通信媒体等から取得し追記録及び再生する手段
を有するＤＶレコーダ装置としての双方向視聴装置であ
る。

【００８０】請求項５１の発明は、各種の符号化圧縮方
式で伝達された、ＡＶストリーム、インデックス・ピク
チャ・ストリームをＤＶフォーマットで規定された符号
化圧縮方式に変換し記録し、更にリンク・テーブル・デ
ータさらにはサブ・コンテンツを記録再生し、更にリン
ク・テーブル・データの生成、編集を行い、視聴者独自
のＤＶテープの作成が可能なＤＶレコーダ装置を提供す
るもので、

【００８１】ＡＶストリーム、インデックス・ピクチャ
・ストリーム、リンク・テーブル・データ、サブ・コン
テンツの内、少なくともＡＶストリーム、インデックス
・ピクチャ・ストリーム、リンク・テーブル・データを
上記放送媒体、パッケージ媒体、通信媒体から取得する
手段を有し、取得したＡＶストリーム、インデックス・
ピクチャ・ストリームの符号化圧縮方式をＭＰＥＧ２圧
縮方式からＤＶフォーマットの圧縮符号化方式（フレー
ム内圧縮）に変換して記録、再生する手段を有し、記録
されたリンク・テーブル・データあるいはサブ・コンテ
ンツ・データを編集、生成し記録、再生する手段を有す
るＤＶレコーダ装置としての双方向視聴装置である。

【００８２】請求項５２の発明は、放送媒体、パッケー
ジ媒体、通信媒体により伝達されたＡＶストリーム、イ
ンデックス・ピクチャ・ストリーム、リンク・テーブル
・データ、あるいは関係付けられたサブ・コンテンツ等
を記録するデジタル光ディスク・レコーダ装置（ＤＶ
Ｒ）を提供するもので、

【００８３】ＡＶストリーム、インデックス・ピクチャ
・ストリーム、リンク・テーブル・データ、サブ・コン
テンツの内、少なくともＡＶストリーム、インデックス
・ピクチャ・ストリームを上記放送媒体、パッケージ媒
体、通信媒体から取得し、光ディスク媒体に記録し再生
する手段を有するデジタル光ディスク・レコーダ（ＤＶ
Ｒ）装置としての双方向視聴装置である。

【００８４】請求項５３の発明は、放送媒体、パッケー
ジ媒体、通信媒体により伝達されたＡＶストリーム、イ
ンデックス・ピクチャ・ストリーム、リンク・テーブル
・データ、あるいは関係付けられたサブ・コンテンツ等
を記録再生し、更にリンク・テーブル・データの生成、
編集を行い、視聴者独自のデジタル光ディスクの作成が
可能にするデジタル光ディスク・レコーダ装置（ＤＶ
Ｒ）を提供するもので、

【００８５】ＡＶストリーム、インデックス・ピクチャ
・ストリーム、リンク・テーブル・データ、サブ・コン
テンツの内、少なくともＡＶストリーム、インデックス
・ピクチャ・ストリーム、リンク・テーブル・データを
上記放送媒体、パッケージ媒体、通信媒体から取得し、
光ディスク媒体に記録し再生する手段を有し、記録され
たリンク・テーブル・データを編集、生成し記録、再生
する手段を有するデジタル光ディスク・レコーダ（ＤＶ
Ｒ）装置としての双方向視聴装置である。

【００８６】請求項５４の発明は、放送媒体やＣＡＴＶ
網の定時プログラム放送などのランダムアクセス性のな
いビデオプログラムの視聴中にサブ・コンテンツ検索操
作を行うことによって発生する視聴欠落を補完する機能
（タイムシフト機能）を提供するもので、

【００８７】地上波デジタル放送、衛星デジタル放送等
の放送媒体あるいはＣＡＴＶ網から定時プログラム放送
されたビデオプログラムを受信したＡＶストリーム、イ
ンデックス・ピクチャ・ストリーム、リンク・テーブル
・データ、サブ・コンテンツ等のデータを双方向視聴装
置に具備する記録媒体に記録可能で、記録されたＡＶス
トリーム、インデックス・ピクチャ・ストリーム、リン
ク・テーブル・データあるいはサブ・コンテンツ・デー
タを等速を含む変速再生を行う手段を有するデジタル放
送あるいはＣＡＴＶ網のＩＲＤまたはＳＴＢとしての双
方向視聴装置である。

【００８８】請求項５５の発明は、放送媒体やＣＡＴＶ
網の定時プログラム放送などのランダムアクセス性のな
いビデオプログラムの視聴中にサブ・コンテンツ検索操
作を行うことによって発生する視聴欠落を補完する機能
（タイムシフト機能）の記録媒体としてＰＣあるいはイ
ンターネット接続端末等の情報処理装置に具備する記憶
装置を使用する装置を提供するもので、

【００８９】地上波デジタル放送、衛星デジタル放送等
の放送媒体、あるいはＣＡＴＶ網からの定時プログラム
放送されたビデオプログラムのＡＶストリーム、インデ
ックス・ピクチャ・ストリーム、リンク・テーブル・デ
ータあるいはサブ・コンテンツ等のデータの受信手段
と、パーソナル・コンピュータ（ＰＣ）あるいはインタ
ーネット接続端末等の情報処理装置間を上記受信したＡ
Ｖストリーム、インデックス・ピクチャ・ストリーム、
リンク・テーブル・データ、サブ・コンテンツデータ等
のデータを双方向同時伝送を行える伝送容量を持つ伝送
手段と、ＰＣあるいはインターネット接続端末等の情報
処理装置の具備する記憶装置を記憶媒体として書き込み
及び読み出しを行う手段と、読み出しを行ったＡＶスト
リーム、インデックス・ピクチャ・ストリーム、リンク
・テーブル・データの等速再生を含む変速再生手段から
構成されるデジタル放送あるいはＣＡＴＶ網のＩＲＤま
たはＳＴＢとしての双方向視聴装置である。

【００９０】請求項５６の発明は、請求項４０〜請求項
５６において双方向視聴装置が取得したサブ・コンテン
ツを双方向視聴装置に接続されたモニタ装置の解像度等
の特性に適合させる手段を提供するもので、

【００９１】請求項４０〜請求項５５に記載の双方向視
聴装置おいて、上記放送媒体、通信媒体、パッケージ
媒体により伝達されたビデオプログラムの視聴中に視聴
者が選択したサブ・コンテンツを指定の手段により取得
し、、取得したサブ・コンテンツがコンピュータネット
ワークで一般的に使用されるプレゼンテーションツール
（ＸＭＬ、ＨＴＭＬ、Ｊａｖａ、ＶＲＭＬ、あるいは将
来規定されるマークアップランゲージ）で記述されるサ
ブ・コンテンツであれば、その構造を解析し、記述され
る画像、動画、音声等の情報を取得再生（デコード）
し、記述された効果を付与し、記述された構造の表示フ
レームを構成し、あるいは双方向視聴システムの再生系
に接続された表示を装置の特性に適した表示フレームを
構成し、タグあるいはホットスポット等で示される他コ
ンテンツへのリンク機能を表示フレームに配する手段を
有し、上記表示フレームを再生出力する手段を有する双
方向視聴装置である。

【００９２】請求項５７の発明は、請求項４０〜請求項
５６における再生系において、コンピュータネットワー
クへの接続手段及びサブ・コンテンツのフォーマット変
換手段にＰＣあるいはインターネット接続端末等の情報
処理装置の具備する資源を利用する手段を提供するもの
で、

【００９３】請求項４０〜請求項５５に記載の双方向視
聴装置において、ＡＶストリームを伝送するに十分な通
信容量を持つ接続手段でパーソナルコンピュータ（Ｐ
Ｃ）あるいはインターネット接続端末等の情報処理装置
と接続され、上記放送媒体、通信媒体、パッケージ媒体
により伝達されたビデオプログラムの視聴中に視聴者が
選択したサブ・コンテンツのアクセス情報をＰＣあるい
はインターネット接続端末等の情報処理装置へ送信する
手段を有し、ＰＣあるいはインターネット接続端末等の
情報処理装置は、受信したアクセス情報に基づき、ＰＣ
あるいはインターネット接続端末等の情報処理装置が具
備するサブ・コンテンツを取得する手段（コンピュータ
ネットワーク接続手段、インターネットを含む）によ
り、コンピュータネットワークから取得したコンピュー
タネットワークで一般的に使用されるプレゼンテーショ
ンツール（ＸＭＬ、ＨＴＭＬ、Ｊａｖａ、ＶＲＭＬ、あ
るいは将来規定されるマークアップランゲージ）で記述
されるサブ・コンテンツの構造を解析し、記述される画
像、動画、音声等の情報を取得再生（デコード）し、記
述された効果を付与し、記述された構造の表示フレーム
を構成し、あるいは上記双方向視聴システムの再生系に
接続された表示を装置の特性に適した表示フレームを構
成し、タグあるいはホットスポット等で示される他コン
テンツへのリンク機能を表示フレームに配する手段を有
し、構成されたサブ・コンテンツを表す表示フレームを
ＭＰＥＧ２圧縮符号化方式あるいはＡＶストリームの圧
縮に使用している圧縮符号化方式に基づいて圧縮符号化
するフォーマット変換手段を有し、上記フォーマット変
換手段により生成した圧縮符号化されたサブ・コンテン
ツを上記接続手段でＰＣあるいはインターネット接続端
末等の情報処理装置から取得し、取得した圧縮符号化さ
れたサブ・コンテンツをＡＶストリームをデコードする
手段によりデコード、再生出力する手段を有する双方向
視聴装置である。

【００９４】具体的なデータフォーマット名を挙げる画像：ＪＰＥＧ、ＧＩＦ、ＴＩＦＦ、ＰＩＣＴ、ＢＭ
Ｐ、動画：ＭＰＥＧ４、（ＭＰＥＧ２）、ＭＰＥＧ１，ＡＶ
Ｉ（Ａｕｄｉｏ／ＶｉｄｅｏＩｎｔｅｒｌｅａｖｅ
ｄ）、ＱｕｉｃｋＴｉｍｅ、ＭｏｔｉｏｎＪＰＥＧ音声：ＭＰ３（ＭＰＥＧ１音声）、ＳＶＱ（ＭＰＥＧ４
音声）、ＷＡＶＥ、ＡＩＦＦ等が現在利用されている。

【００９５】請求項５８の発明は、請求項４０〜請求項
５７の発明において、画像中に付加された情報の存在
を、オブジェクトを視認化することにより、ビデオプロ
グラムの再生出力中に視聴者に告知する手段を提供する
もので、

【００９６】請求項４０〜請求項５７に記載の双方向視
聴装置において、デコードされたビデオプログラムの画
像に対して、デコードされたインデックス・オブジェク
トの形状により、該ビデオ・オブジェクトに対して枠付
け、陰付け等により疑似立体視化あるいはハイライト、
フリック等による輝度変調、輝度変化等の視覚効果を付
与し表示する画像処理手段を有する双方向視聴装置であ
る。

【００９７】請求項５９の発明は、請求項５８の発明に
おいて、画像の表現品質を極力落とさずに画像中に付加
された情報の存在を視聴者に告知する手段を提供するも
ので、

【００９８】請求項５８に記載の双方向視聴装置におい
て、デコードされたビデオプログラムの画像に対して、
ポインティング手段で表示されるカーソルが、デコード
されたインデックス・オブジェクトの存在する領域に重
なった時に該インデックス・オブジェクトの形状によ
り、該ビデオ・オブジェクトに対して枠付け、陰付け等
により疑似立体視化あるいはハイライト、フリック等に
よる輝度変調、輝度変化等の視覚効果を付与しインデッ
クス・オブジェクトの存在を視聴者に告知する画像処理
手段を有する双方向視聴装置である。

【００９９】請求項６０の発明は、請求項４０〜請求項
５９の発明において、画像の表現品質を極力落とさずに
画像中に付加された情報の存在を視聴者に告知する手段
を提供するもので、

【０１００】請求項４０〜請求項５９に記載の双方向視
聴装置において、デコードされたビデオプログラムの画
像に対して、ポインティング手段で表示されるカーソル
が、デコードされたインデックス・オブジェクトの存在
する領域に重なった時にリンク・テーブル・データに重
畳されたサブ・コンテンツ概要をオンスクリーン表示す
る手段を有する双方向視聴装置である。

【０１０１】請求項６１の発明は、請求項４０〜請求項
６０の発明において、画像の表現品質を極力落とさずに
画像中に付加された情報の存在を視聴者に告知する手段
を提供するもので、

【０１０２】請求項４０〜請求項６０に記載の双方向視
聴装置において、表示されているビデオプログラムの画
像にサブ・コンテンツを取得する情報が重畳されている
ことを示すアイコンを視聴者の視聴を妨げない位置に表
示する手段を有する双方向視聴装置である。

【０１０３】請求項６２の発明は、請求項４０〜請求項
６１の発明において、視聴者がサブ・コンテンツの取得
操作を行う以前に取得しようとするサブ・コンテンツの
概要を視聴者に告知する、あるいは複数のサブ・コンテ
ンツが同一オブジェクトに付加されている場合に目的と
するサブ・コンテンツを選択する手段を提供するもの
で、

【０１０４】請求項４０〜請求項６１に記載の双方向視
聴装置において、視聴者がポインティング手段で指定し
たインデックス・オブジェクトのサブ・コンテンツ概要
をリンク・テーブル・データから取得しオン・スクリー
ン・ディスプレイで文字あるいはアイコンで表示する手
段を有する双方向視聴装置である。

【０１０５】請求項６３の発明は、請求項４０〜請求項
６２の発明において、視聴者の嗜好により指定された分
類コードを持つオブジェクトの告知方法を視覚的に変化
させる手段を提供するもので、

【０１０６】請求項４０〜請求項６２に記載の双方向視
聴装置において、リンク・テーブル・データに重畳され
たオブジェクトを体系的に分類した分類コードを視聴者
が指定する手段を有し、指定された分類コードが付加さ
れているインデックス・オブジェクトのみに視覚効果や
サブ・コンテンツ概要告知を行う手段あるいは指定外の
分類コードを持つインデックス・オブジェクトと異なる
手段の視覚効果を付与する手段を有する双方向視聴装置
ある。

【０１０７】請求項６４の発明は、請求項４０〜請求項
６３の発明において、視聴者が分類コードを選択する際
の操作を軽減する手段を提供するもので、

【０１０８】請求項４０〜請求項５３に記載の双方向視
聴装置において、体系化され各種のビデオプログラムで
共通に使用される分類コードの選択傾向を記憶し、選択
頻度の高い分類コードが付与されたインデックス・オブ
ジェクトを指定された場合に視覚効果で表示する、学習
手段を有する双方向視聴装置である。

【０１０９】請求項６５の発明は、請求項４０〜請求項
６４の発明において、視聴者がビデオプログラムの視聴
中に特段の操作を行わなくても要求するサブ・コンテン
ツを収集する手段を提供するもので、

【０１１０】請求項４０〜請求項６４に記載の双方向視
聴装置において、視聴者があらかじめ指定した分類コー
ドが付与されたインデックス・オブジェクトのサブ・コ
ンテンツを自動収集する手段と自動収集したサブ・コン
テンツを記憶する手段を有し、視聴者の操作により該自
動収集したサブ・コンテンツを表示、出力する手段を有
する双方向視聴装置である。

【０１１１】請求項６６の発明は、請求項４０〜請求項
６５の発明において、伝達データ総量を少なく仮想的に
ビデオプログラムの立体表示効果を得る手段を提供する
もので、

【０１１２】請求項４０〜請求項６５に記載の双方向視
聴装置において、デコードされたビデオプログラムの画
像に対して、デコードされたインデックス・オブジェク
トのリンク・テーブル・データに重畳された再生画像処
理情報を奥行き情報として、各種提案されている立体視
化プロセスのアルゴリズムでインデックス・オブジェク
トで定義される領域の画像を、左右眼それぞれに対する
画素変移量を求め立体視画像を出力する手段及び立体視
化に伴う視角欠損領域を補完する手段を有する双方向視
聴装置である。

【０１１３】請求項６７の発明は請求項４０〜請求項６
６の発明において、視聴者が注目するオブジェクトの拡
大表示や追跡表示を行う手段を提供するもので、ＨＤＴ
Ｖ（高品位ＴＶ）等の高解像度で伝達されるビデオプロ
グラムに対して特に有効である。

【０１１４】請求項４０〜請求項６６に記載の双方向視
聴装置において、選択されたインデックス・オブジェク
トの近傍を含む領域を固定倍率あるいは任意の倍率で拡
大表示し、また、各種提案されている被写体追跡アルゴ
リズムにより移動する対象ビデオ・オブジェクトを追跡
表示する手段を有する双方向視聴装置である。

【０１１５】請求項６８の発明は、放送システムを提供
するもので、

【０１１６】請求項９〜請求項１８に記載の双方向視聴
システムにおいて、ＡＶストリーム、インデックス・ピ
クチャ・ストリーム、リンク・テーブル・データ、サブ
・コンテンツの内、少なくともＡＶストリームとインデ
ックス・ピクチャ・ストリームの各々を関連づけて、同
一のチャネルから放送する衛星デジタル放送、地上波デ
ジタル放送の放送システムとする双方向視聴システムで
ある。

【０１１７】請求項６９の発明は、双方向視聴装置の復
号再生手段に使用する単体としてのインデックス・ピク
チャ・ストリームのデコード装置を提供するもので、

【０１１８】ＡＶデコーダでデコードしたデジタルビデ
オ信号およびＡＶストリームの再生同期信号およびイン
デックス・ピクチャ・ストリームを入力する手段、イン
デックス・ピクチャ・ストリームをＡＶデコーダからの
再生同期信号に同期してデコードする手段、視聴者の指
定したビデオ・オブジェクトに対するインデックス・オ
ブジェクトの値をを検出する手段、視聴者の指定したイ
ンデックス・オブジェクトの形状によりＡＶストリーム
をデコードしたビデオプログラム画像中のビデオ・オブ
ジェクトに視覚効果を付与、あるいはＯＳＤ（ＯｎＳ
ｃｒｅｅｎＤｉｓｐｌａｙ）をオーバーレイしてデジ
タルビデオ出力あるいはアナログビデオ出力する画像処
理手段、上位コントローラと制御信号の交換を行うホス
トインターフェイス手段から構成されるインデックス・
ピクチャ・ストリームのデコード装置である。

【０１１９】請求項７０の発明は、双方向視聴装置の復
号再生手段において、ＡＶストリームとインデックス・
ピクチャ・ストリームを単一の復号装置でデコードする
デコード装置を提供するもので、

【０１２０】ＭＰＥＧ２のＡＶストリームおよびインデ
ックス・ピクチャ・ストリームの入力手段、ＡＶスト
リームをデコードする手段、ＡＶストリームに同期して
インデックス・ピクチャ・ストリームをデコードする手
段、視聴者の指定したビデオ・オブジェクトに対応す
るインデックス・オブジェクトの値をを検出する手段、
視聴者の指定に基づきインデックス・オブジェクトの形
状によりＡＶストリームをデコードしたビデオプログラ
ム画像中のビデオ・オブジェクトに視覚効果を与えデジ
タルビデオ出力あるいはアナログビデオ出力する画像処
理手段、上位コントローラと制御信号の交換を行うホス
トインターフェイス手段から構成されるデコード装置で
ある。

【０１２１】請求項７１の発明は、双方向視聴装置の復
号再生手段におけるシステムＬＳＩとしてのデコード装
置を提供するもので、

【０１２２】ＭＰＥＧ２のＡＶストリームおよびインデ
ックス・ピクチャ・ストリームの入力手段、ＡＶスト
リームをデコードする手段、ＡＶストリームに同期して
インデックス・ピクチャ・ストリームをデコードする手
段、視聴者の指定したビデオ・オブジェクトに対応す
るインデックス・オブジェクトの値をを検出する手段、
視聴者の指定に基づきインデックス・オブジェクトの形
状によりＡＶストリームをデコードしたビデオプログラ
ム画像中のビデオ・オブジェクトに視覚効果を与えデジ
タルビデオ出力あるいはアナログビデオ出力する画像処
理手段をＩＰ（ＩｎｔｅｌｌｅｃｔｕａｌＰｒｏｐｅ
ｒｔｙ）コアとして内包したＬＳＩとしてのデコード装
置である。

【０１２３】請求項７２の発明は、双方向視聴装置の復
号再生手段において、インデックス・ピクチャ・ストリ
ームがＭＰＥＧ２ＴＳに多重化されている場合のデコー
ド装置を提供するもので、

【０１２４】ＭＰＥＧ２のＡＶストリームおよびインデ
ックス・ピクチャ・ストリームの入力手段、ＡＶスト
リームをデコードする手段、インデックス・ピクチャ・
ストリームをサブセットとしてあるいはプライベートス
トリームに多重化されたＭＰＥＧ２ＴＳ（トランスポー
トストリーム）の入力手段、上記ＭＰＥＧ２ＴＳから分
離されたＡＶストリームをデコードする手段、上記ＭＰ
ＥＧ２ＴＳから分離されたインデックス・ピクチャ・ス
トリームをＡＶデコーダからの再生制御信号に同期して
デコードする手段、ポインティング手段により視聴者が
指定したビデオ・オブジェクトに対応するインデックス
・オブジェクトの値を検出する手段、視聴者の指定に基
づきインデックス・オブジェクトの形状によりＡＶスト
リームをデコードしたビデオプログラム画像中のビデオ
・オブジェクトに視覚効果を与えデジタルビデオ出力あ
るいはアナログビデオ出力する画像処理手段、上位コン
トローラと制御信号の交換を行うホストインターフェイ
ス手段から構成されるデコード装置およびＩＰ（Ｉｎｔ
ｅｌｌｅｃｔｕａｌＰｒｏｐｅｒｔｙ）コアとして内
包したＬＳＩとしてのデコード装置である。

【０１２５】請求項７３の発明は、パッケージ媒体を提
供するもので、

【０１２６】ＡＶストリーム、インデックス・ピクチャ
・ストリーム、リンク・テーブル・データ、サブ・コン
テンツの内、少なくともＡＶストリームとインデックス
・ピクチャ・ストリームを同期再生可能に記録したＤＶ
Ｄ、ＶｉｄｅｏＣＤ、ＣＤＲＯＭ等の光ディスク、デジ
タル記録テープ、磁気ディスク媒体、半導体により構成
されるストレージ記録媒体等のパッケージ媒体とする伝
達媒体あるいは記録媒体である。

【０１２７】請求項７４の発明は、インデックス・ピク
チャ・ストリームの圧縮率を向上させる手法を提供する
もので、

【０１２８】請求項１４〜請求項１８に記載の双方向視
聴システムにおいて、インデックス・ピクチャの標本化
フレームレートを下げることにより、インデックス・ピ
クチャ・ストリームの圧縮率を高めた双方向視聴システ
ムである。

【０１２９】請求項７５の発明は、インデックス・ピク
チャ・ストリームの圧縮率を向上させる手法を提供する
もので、

【０１３０】請求項１４〜請求項１８に記載の双方向視
聴システムにおいて、インデックス・ピクチャの標本化
周波数を下げることにより、インデックス・ピクチャ・
ストリームの圧縮率を高めた双方向視聴システムであ
る。

【０１３１】請求項７６の発明は、インデックス・ピク
チャ・ストリームのデコードに専用のデコーダ装置を使
用しないソフトウェアデコードあるいは汎用演算装置に
とその制御プログラムによるデコード装置を提供するも
ので、

【０１３２】ビデオ・ストリーム、インデックス・ピク
チャ・ストリームの内少なくともインデックス・ピクチ
ャ・ストリームをソフトウェア或いは画像処理半導体と
ソフトウェアに依るファームウェア或いはＤＰＳ（デジ
タル・シグナル・プロセッサ）とその制御ソフトウェア
（マイクロコード）及び上位制御プログラムによりＡＶ
ストリームをデコードしたビデオプログラムにインデッ
クス・ピクチャ・ストリームの同期デコードおよびビデ
オプログラムへの重畳再生する手段を有する双方向視聴
装置である。

【０１３３】

【発明の実施の形態】図１６−１で請求項１に示すビデ
オ・システムの実施例を説明する。本実施例ではビデオ
ソース１１０は既にデジタル化され、ＡＶビットストリ
ーム０１はNTSCおよびＰＡＬビデオシステムにおける一
般的なデジタルビデオ信号のビットストリームであるＩ
ＴＵ−Ｒ６０１（ＩｎｔｅｒｎａｔｉｏｎａｌＴｅｌ
ｅｃｏｍｍｕｎｉｃａｔｉｏｎｓＵｎｉｏｎＲｅ
ｃ．６０１）あるいは同Ｒ６５６等の規格で輝度
（Ｙ）、色差（Ｃｂ、Ｃｒ）が多重化された信号を前提
とするが、ビデオソースがアナログ信号であっても、ビ
デオソース１１０出力点でＡＤ変換され、規定のデータ
長（巾）を有し、規定のフォーマットで多重化されたビ
ットストリームでも構わない。

【０１３４】また、ＨＤＴＶにおけるデジタルビデオシ
ステム（ＢＴＡＳ−００２Ａ等）でも構わない。

【０１３５】ビデオソース１１０からのＡＶビットスト
リーム０１はビデオ・オブジェクト抽出１４１に伝達さ
れ操作設定制御部９０で指定されたビデオ・オブジェク
トの抽出をフレーム（フィールド）毎連続して行う。こ
の時の抽出アルゴリズムは各種提案されている連続する
ビデオフレーム（フィールド）からのビデオ・オブジェ
クト抽出手段による抽出でよい。

【０１３６】ビデオ・オブジェクト抽出１４１の出力１
４３はビデオイメージに展開した際にビデオ・オブジェ
クトの形状を示す信号で、ビデオ・オブジェクト抽出１
４１で同時に抽出できるオブジェクト数を顕せるデータ
長（巾）を有する。

【０１３７】例えば、ビデオ・オブジェクト抽出１４１
が同時に７オブジェクトを抽出可能であり、各々のオブ
ジェクトに対して固有の値を付加するのであればビデオ
・オブジェクト形状信号１４３は最低３ビット長（巾）
を有することになる。

【０１３８】インデックス・オブジェクト値設定１４２
はビデオ・オブジェクト抽出１４１からのオブジェクト
形状信号１４３を入力し、操作設定部９０で指定された
値を該ビデオ・オブジェクトの示す領域に代入しインデ
ックス・オブジェクト・ビットストリーム０２を生成す
る。この時のインデックス・オブジェクト・ビットスト
リーム０２のデータ長（巾）は、１フレーム上で同時に
表示できるビデオ・オブジェクト数を顕せるデータ長
（巾）を有する。

【０１３９】例えば、表示画面１フレーム上で２５５個
のビデオ・オブジェクトが表現可能とすれば、インデッ
クス・オブジェクト・ビットストリームのデータ長
（巾）は最低８ビット長を有する。

【０１４０】ここで、ビデオ・オブジェクト抽出１４１
の抽出能力がインデックス・ピクチャの許容オブジェク
ト数より小さいときは、生成したインデックス・ピクチ
ャをフレーム毎に記録しておき、再度ＡＶビットストリ
ーム０１をビデオ・オブジェクト抽出１４１およびイン
デックス・オブジェクト値設定１４２で同一画像の別ビ
デオ・オブジェクトに対する処理を行い上記記録されて
いるインデックス・オブジェクトと多重化することによ
ってインデックス・ピクチャの許容オブジェクト数ある
いは制作者のインデックス・オブジェクト化を意図する
オブジェクト全てを処理するまで行う。

【０１４１】インデックス・ピクチャ生成部１４０の内
部は機能の違いおよびビデオ・オブジェクト抽出１４１
の抽出能力が低いであろうとの予測からビデオ・オブジ
ェクト抽出１４１とインデックス・オブジェクト値設定
１４２の２機能ブロックに分けて説明しているが、イン
デックス・ピクチャ生成機能としてとらえれば当然同一
の機能ブロックで良い。

【０１４２】ビデオソース１１０からのデジタルビデオ
信号０１は符号化圧縮部で例えばＭＰＥＧ２方式により
符号化圧縮され、インデックス・オブジェクト・ビット
ストリーム０２を符号化圧縮したインデックス・ピクチ
ャ・ストリーム０２ａと同期出力させるためにフレーム
・バッファ９２に蓄積される。

【０１４３】この構造はインデックス・オブジェクト生
成部における遅延が大きいことを予測して、且つインデ
ックス・オブジェクト値の設定方法に冗長度を持たせる
ためであるが、符号化圧縮部、１２０、１５０において
例えばＭＰＥＧ２符号化圧縮方式におけるＩ，Ｐ，Ｂ各
ピクチャの発生タイミングおよびＭＶ（Ｍｏｔｉｏｎ
Ｖｅｃｔｏｒ）の共用を考えたときに適切な構造ではな
い。

【０１４４】上述の圧縮符号化タイミング、ＭＶの共用
を前提にする場合は、図１６−２のフレームバッファ９
２が符号化圧縮部１２０の前段階に存在しＡＶビットス
トリームの圧縮符号化部１２０から符号化圧縮制御情報
１２１を参照しながらインデックス・ピクチャ符号化圧
縮部１５０によりインデックス・ピクチャの符号化圧縮
を行うの構造が適すると考えられる。

【０１４５】このように、各機能の能力あるいはデータ
フォーマット等によりその構造は変化する。

【０１４６】上記により符号化圧縮部１２０，１５０の
出力信号０１ａ、０２ａはＡＶストリームとインデック
ス・ピクチャ・ストリームはフレーム単位での同期が確
立可能となり、この関係を保存可能な伝達媒体で再生装
置に伝達し、ＡＶストリーム０１ａの復号伸張にインデ
ックス・ピクチャ・ストリームを同期させ復号伸張する
事によって、ビデオプログラム中の特定のビデオ・オブ
ジェクトに対して、特定の一の値を付加することができ
る。

【０１４７】すなわち、請求項１による本実施の形態に
おいては、ビデオプログラム中の特定のビデオ・オブジ
ェクトに対して、ビデオプログラムの画質等の特性を損
なうことなく特定の一の値を付加することができること
を表すものである。

【０１４８】図１に、上記実施例によるデジタルビデオ
システムの再生画像を説明する。

【０１４９】ビデオプログラム０１は、輝度（Ｙ）、色
差（Ｃｂ、Ｃｒ）各々のレイヤが合成されたカラー画像
で、シーン１からシーン３の複数のシーン０１Ａ、０１
Ｂ、０１Ｃにより構成されている。

【０１５０】カラー画像のビデオシステムとしては現行
のＮＴＳＣ、ＰＡＬ、あるいはＤＴＶとして規定されて
いる各種フォーマットのビデオシステムで良い。

【０１５１】ここで、シーン１、０１Ａに注目すると、
ビデオプログラムのシーン１、０１Ａの構成要素として
は人物１０、端末２０、椅子３０、机６０、植物５０及
び背景から（５オブジェクト＋背景）構成され再生基準
時間ｔｓ１からｔｓ２の間に複数の動画フレームよって
成立している。

【０１５２】インデックス・ピクチャ０２のシーン構成
はビデオプログラムと同様にシーン１からシーン３の複
数のシーン０２Ａ、０２Ｂ、０２Ｃにより構成されてい
る。

【０１５３】シーン１のインデックス・ピクチャ０２ａ
のインデックス・ピクチャに注目するとビデオ・オブジ
ェクトの形状を顕わす一の値により構成されたインデッ
クス・オブジェクト１０ａ、２０ａ、３０ａから構成さ
れ、各々が人物１０、端末２０、椅子３０の形状を顕わ
している。

【０１５４】このとき、ビデオプログラムとインデック
ス・ピクチャが同期再生し、インデックス・オブジェク
トの持つ値が各々のオブジェクト、各々のシーンで異な
っているとするとビデオプログラム中のビデオ・オブジ
ェクトは特定することができることを示している。

【０１５５】続いて、請求項２の発明に係るビデオ画像
にリンクされた情報の取得方式の実施例について説明す
る。

【０１５６】請求項１の発明によるビデオシステムにお
いては、ビデオプログラム中の特定のビデオ・オブジェ
クトに対してその形状を表す一の値を持つインデックス
・オブジェクト存在するとき、インデックス・オブジェ
クトは不可視であるから、視聴者はその存在を認識する
ことができない、

【０１５７】そこで、視聴中のビデオプログラムにイン
デックス・ピクチャが重畳されていることを明示的に示
すことが必要になる。

【０１５８】この方法として、インデックス・ピクチャ
の形状によりビデオ・オブジェクトに対して輝度変調や
色度変調、影付け等を視聴者の指定に基づいて行う画像
処理を施すことにより、インデックス・オブジェクトが
ビデオプログラムに重畳されていることが視聴者が認知
可能にすることができる。

【０１５９】このようにインデックス・オブジェクトで
修飾されたビデオ・オブジェクトが認識可能となれば、
表示されているビデオ・オブジェクトをポインティング
する手段により視聴者がビデオ・オブジェクトの選択可
能となることを示す。

【０１６０】視聴者がビデオ・オブジェクトを選択する
ことは、同時にインデックス・オブジェクトを選択する
ことであるから、インデックス・オブジェクトの持つビ
デオプログラム中で特定することのできる一の値が取得
されることになる。

【０１６１】インデックス・オブジェクトの一の値を得
るための具体的な方法として、インデックス・ピクチャ
・デコーダからインデックス・オブジェクトの値を取得
しようとするとき、ポインティング手段によるポインタ
座標値をインデックス・ピクチャ・デコーダに通知し、
その座標値をインデックス・ピクチャ・デコーダの制御
するフレーム（フィールド）合成メモリ上のアドレスに
変換し、該アドレスのデータを読み出すことによってイ
ンデックス・オブジェクトの持つ値を確定することがで
きる。

【０１６２】また、画像処理部から取得インデックス・
オブジェクトの値を取得しようとする場合、ポインティ
ング手段によるポインタはビデオ・オブジェクトを指示
することになるが、指示したビデオ・オブジェクトと同
じ位置にインデックス・ピクチャは投影されているた
め、表示画面上のポインティングカーソルはビデオ・オ
ブジェクトを指し示すと共にインデックス・ピクチャも
示すことになり、該ポインタ座標上のインデックス・オ
ブジェクトの値を取得することが可能である。

【０１６３】ビデオプログラム中で特定可能な一の値を
有するインデックス・オブジェクトを選択できること
は、ビデオ・オブジェクトの特定が可能であることを示
す。

【０１６４】請求項２の発明では、リンク・テーブル・
データと称する定義体で、インデックス・オブジェクト
の持つ一の値と関連付けて該ビデオ・オブジェクトに対
する付加情報（サブ・コンテンツ）を取得するためのア
クセス情報（リソース情報）を定義可能としている。

【０１６５】上記にて、ビデオプログラム中の特定ビデ
オ・オブジェクトを特定する方法について概要を述べ
た、下記にて図を用いて説明する。

【０１６６】図１でビデオプログラムとインデックス・
ピクチャとリンク・テーブルの各々の相互関係を示す。
例えばシーン１のビデオプログラム０１Ａ中には、人物
１０と端末２０、椅子３０の３種類の情報（サブ・コン
テンツ）を付加したい意図を持つ有意の被写体（ビデオ
・オブジェクト）が存在するほかに、机６０の一部や植
木５０等の情報を付加する意図を持たない無意のビデオ
・オブジェクトが存在する。ここで、有意のビデオ・オ
ブジェクトをビデオプログラムから抽出し、インデック
ス・ピクチャ０２Ａにあるように人物１０を示す領域に
対してある一の値を有する領域（インデックス・オブジ
ェクト）１０ａ、端末２０を同様に２０ａ、椅子３０を
同様に３０ａの３つのインデックス・オブジェクトの集
合から構成されるインデックス・ピクチャ０２Ａが生成
される。

【０１６７】このインデックス・ピクチャ０２Ａに対し
て各々のインデックス・オブジェクトに対するサブ・コ
ンテンツのアクセス情報（リソース情報）とインデック
ス・オブジェクトの持つ値、及びインデックス・オブジ
ェクト出現の継続時間情報を最低要素として構成される
リンク・テーブル１１（人物１０に対するリンク・テー
ブル・データ）、２１（端末２０に対するリンク・テー
ブル）、３１（椅子３０に対するリンク・テーブル）が
生成される。

【０１６８】ここで、端末２０のインデックス・オブジ
ェクト２０ａ及び椅子３０のインデックス・オブジェク
ト３０ａはシーン１からシーン３の内シーン１にのみ存
在しているので、リンク・テーブルの再生基準信号とし
ての開始及び終了時間情報は、シーン１の開始時刻信号
ｔｓ１とシーン１の終了時刻ｔｓ２となり、リンク・テ
ーブル２１及びリンク・テーブル３１の継続時間情報と
して定義される。

【０１６９】人物１０のインデックス・オブジェクト１
０ａはシーン１からシーン３まで継続しているので、図
１に示すリンク・テーブルの例ではリンク・テーブルの
再生基準信号としての開始及び終了時間情報は、シーン
１の開始時刻信号ｔｓ１とシーン３の終了時刻ｔｓ４と
なりリンク・テーブル１１として規定される。なお、こ
の場合でも、シーン１からシーン３までの各々のシーン
毎にリンク・テーブルの継続時間情報の定義を行うこと
も可能である。

【０１７０】また、何れのインデックス・オブジェクト
も、シーン途中から出現あるいは消失した場合は、その
出現、消失の時刻情報を該インデックス・オブジェクト
の開始時間情報及び終了時間情報として継続時間情報を
定義することもできる。

【０１７１】シーン２のビデオプログラム０１Ｂでは有
意のビデオ・オブジェクトとして人物１０のみが存在す
る。従ってこのシ−ンのインデックス・オブジェクト１
０ａに対するリンク・テーブル１１のみが存在する。

【０１７２】シーン３のビデオプログラム０１Ｃでは有
意のオブジェクトとして人物１０と人物４０が存在す
る。従ってこのシーンのインデックス・ピクチャ・スト
リーム１０ａに対するリンク・テーブル・データ１１と
インデックス・ピクチャ・ストリーム４０ａに対するリ
ンク・テーブル・データ４１が存在する。

【０１７３】次にインデックス・オブジェクトの持つ値
について説明する。インデックス・オブジェクトの持つ
値を定義する語長を、仮に８ビット長のバイナリ値とす
ると、ビデオプログラムの時系列上で指定した特定の一
画面において２５５種類のインデックス・オブジェクト
に対してユニークの値を付与することができる。この値
は上記で重複しない同一のビデオプログラム上で如何な
る任意画面においても同様に２５５種類のインデックス
・オブジェクトに対してもユニークの値を付与すること
が可能であることを示し、極端には１フレーム毎の画像
にそれぞれ２５５種類のインデックス・オブジェクトが
定義化のであることを示す、

【０１７４】このことはインデックス・オブジェクトの
持つ値を定義する語長が小さくても多くのインデックス
・オブジェクト定義可能、即ち多くのサブ・コンテンツ
の付加を可能にすむことを示すものである。

【０１７５】ここで、８ビット長のバイナリ値で２５５
種類のインデックス・オブジェクトに値を付与できると
したのは、インデックス・ピクチャのインデックス・オ
ブジェクトの存在しない領域を８ビット長のバイナリ値
が”００ｈ”（１６進表現）と仮定したためであるが、
このインデックス・オブジェクトの存在しない領域を選
択する操作を、他のプレゼンテーション・ツールの起動
を指示する操作と規定したり、音楽や背景等のビデオ・
オブジェクトあるいはインデックス・オブジェクトに依
存しないバックグラウンドに対するリンク情報の検索を
行う操作等に規定することもできる。

【０１７６】上記インデックス・オブジェクト値の説明
で、語長を８ｂｉｔとして説明したが、ビデオプログラ
ムのヘッダ情報あるいはリンク・テーブル・データをパ
ケット化する際のヘッダ情報等でインデックス・オブジ
ェクトの語長定義を行う構造の伝達形態とするか語長定
義を一義的に行うのであれば語長の制限はない。

【０１７７】請求項４の発明に依れば、各々のインデッ
クス・オブジェクトは、同一のビデオプログラム中で唯
一の値を持ち、該ビデオプログラムの何れの再生位置に
於いてもインデックス・オブジェクトとビデオ・オブジ
ェクトを関連付けすることができる。

【０１７８】請求項５〜請求項６の発明に依れば、各々
のインデックス・オブジェクトの値は、同一のビデオプ
ログラム中の時系列上の該インデックス・オブジェクト
が出現してから消失する時点で特定することができる値
であればよい。このことにより、該ビデオプログラムの
何れの再生位置に於いてもビデオプログラムのストリー
ム中で規定されるＰＴＳ、ＤＴＳ（Program Time Stam
p、Decoder Time Stamp)等の再生時間を管理する情報を
取得し参照することにより、該ビデオプログラムの何れ
の再生位置に於いてもインデックス・オブジェクトとビ
デオ・オブジェクトを関連付けできることを示す。

【０１７９】このように、ビデオプログラム中でサブ・
コンテンツを付加したい有意のビデオ・オブジェクト
は、インデックス・オブジェクトとリンク・テーブル・
データにより定義することができ、同時にリンク・テー
ブル・データに定義されたサブ・コンテンツの取得情報
（アクセス情報）を取得することができる。

【０１８０】サブ・コンテンツの取得、表示、記録に関
して、取得する媒体は放送網、通信網、パッケージ媒体
等その伝達媒体および形態に依存せず、取得する手段、
表示、記録については視聴者の所有する環境および、双
方向視聴装置に依存する。

【０１８１】以下に、双方向視聴システムに関する実施
例を図を参照して説明する。図３は、請求項９の発明の
第１の実施例を示すものである。

【０１８２】生成系１００について説明する。

【０１８３】ビデオプログラム供給部１１０から供給さ
れるビデオカメラやテレシネ装置、あるいはビデオテー
プやビデオサーバからのビデオ画像０１を、圧縮符号株
１２０およびインデックス・ピクチャ生成部１４０に供
給する。

【０１８４】ビデオ画像０１および音声は符号化圧縮部
１２０でＭＰＥＧ２あるいはＭＰＥＧ１あるいはその他
の圧縮符号化方式によりＡＶストリーム０１ａ（ＭＰＥ
Ｇ２トランスポートストリーム）が生成される。

【０１８５】インデックス・ピクチャ生成部１４０で
は、ビデオ画像０１からインデックス・オブジェクトと
なる被写体に対して輪郭抽出、色相マッチング、空間フ
ィルタリングや、その他の処理を施すことにより、その
ビデオ・オブジェクトを領域を持つ形状として抽出し、
その領域を占める画素に特定の同一の値を付与する事に
よりインデックス・オブジェクトを生成する。このとき
同一の画像中に複数の抽出対象となるビデオ・オブジェ
クトが存在しても、そのビデオ・オブジェクトから生成
された各々のインデックス・オブジェクトに付与する値
が異なっていれば同一の画像中に複数のインデックス・
オブジェクトの存在が可能である。

【０１８６】インデックス・ピクチャ生成部１４０で生
成されたインデックス・ピクチャ０２は圧縮符号化部１
５０でＭＰＥＧ２あるいはＭＰＥＧ１あるいはその他の
圧縮方式によりインデックス・ピクチャ・ストリーム０
２ａが生成される。この場合、好適にはビデオ画像０１
を符号化圧縮した方法と同一の方式による符号化圧縮方
式が望ましい

【０１８７】リンク・テーブル・データ生成部１８０で
は、インデックス・ピクチャ生成部１４０からインデッ
クス・オブジェクトの出現及び消失の時間およびインデ
ックス・オブジェクトに付与した値の情報０２ｂと、サ
ブ・コンテンツ制作部からのアクセス情報０４ｂ、ある
いは既存コンテンツからのアクセス情報０６ｂを取得
し、定義コードを含まない原始リンク・テーブル・デー
タ０３を生成する

【０１８８】原始リンク・テーブル・データとしたの
は、リンク・テーブル・データはこの後に各種伝達媒体
を経由して視聴者に伝達されるが、その伝達媒体特性に
適した定義コードを付加可能としたり各種の制御情報、
属性情報を定義コードに付加可能とするためである。

【０１８９】ただし、制作者が意図した場合にはリンク
・テーブル・データ生成部１８０で定義コードとして制
御コードやカテゴリコード、スポンサーコード、その他
の定義情報を付加できる。

【０１９０】サブ・コンテンツ制作部１６０では、ビデ
オプログラム供給部１１０から供給されるビデオ画像に
対する付加情報として、静止画や動画等の画像、音声、
あるいはテキスト形式のデータ及びそれらのデータを統
合してプレゼンテーションするためのＢＭＬ、ＸＭＬ、
ＨＴＭＬ、ＶＲＭＬ等のプレゼンテーションツールによ
り記述されたインターネット・コンテンツあるいはイン
ターネットで伝達可能なコンテンツあるいは、双方向視
聴装置で再生可能なフォーマットに適合させた画像、音
声、テキスト等のサブ・コンテンツ０４が制作され、各
種伝達媒体に適合する方式で圧縮符号化部１７０でサブ
・コンテンツ・データ０４ａが制作される。

【０１９１】上記で生成されたＡＶストリーム０１ａや
インデックス・ピクチャ・ストリーム０２ａ、リンク・
テーブル・データ０３，サブ・コンテンツ・データ０４
ａは多重化部１３０で各種伝達媒体毎に規定されたフォ
ーマットに従って多重化され、多重化ストリーム０５が
生成され伝達手段２００で視聴者に伝達される。伝達媒
体がコンピュータネットワーク２６０の場合、コンピュ
ータネットワークに接続されたサーバ装置１９０に蓄積
され視聴者の要求に基づき伝達される。

【０１９２】伝達媒体２００で、インデックス・ピクチ
ャ・ストリーム０２ａがＭＰＥＧ２圧縮方式あるいはＭ
ＰＥＧ１圧縮方式のサブセットとして規定されれば、現
行あるいは将来に規定されるであろう伝送方式でのＭＰ
ＥＧデータの伝送方式と全く変わりなく伝達を行うこと
ができる。

【０１９３】また、ＭＰＥＧ圧縮方式のサブセットとし
て規定されなくても、双方向視聴装置が対応していれ
ば、ＭＰＥＧ２圧縮方式あるいはＭＰＥＧ１圧縮方式で
規定されているプライベート・ストリーム領域に多重化
する事でインデックス・ピクチャ・ストリームあるいは
インデックス・ピクチャ・ストリームとリンク・テーブ
ル・データを複合しての伝達が可能である。この場合、
請求項１６の発明で示すところのＡＶストリーム０１ａ
とインデックス・ピクチャ・ストリーム０２ａの動き補
償データ（ＭｏｔｉｏｎＶｅｃｔｏｒ）を共有すること
によりインデックス・ピクチャ・ストリーム０２ａを付
加した事による多重化ストリーム０５の総量の増加を小
さく抑えることができる。

【０１９４】また、請求項１７の発明で提案するインデ
ックス・ピクチャ・ストリーム０２ａ、ＡＶストリーム
０１ａ及びリンク・テーブル・データ０３の各々にＡＶ
ストリームを基準とする再生基準信号を付加する事によ
り、ＡＶストリーム０１ａを基準としてインデックス・
ピクチャ・ストリーム０２ａ、リンク・テーブル・デー
タ０３それぞれの遅延時間が双方向視聴装置内再生復号
装置の同期再生の保証範囲内であれば、ＡＶストリーム
０１ａ、インデックス・ピクチャ・ストリーム０２ａ、
リンク・テーブル・データ０３は各々が別の伝達媒体に
よって伝達されても構わない即ち、伝達媒体の種類に依
存しないことを示す。

【０１９５】このことにより、同一のビデオプログラム
０１に対して複数の異なるインデックス・ピクチャ・ス
トリーム０２ａあるいはリンク・テーブル・データ０３
のを付与することが可能となり、同一のビデオプログラ
ムに異なる解釈のサブ・コンテンツを視聴者に提供可能
とするもので、視聴者によるサブ・コンテンツ取得の選
択範囲を拡大する事に有効である。

【０１９６】リンク・テーブル・データの多様性に関し
ては別図で説明する。

【０１９７】インデックス・ピクチャ０２を圧縮符号化
部１５０で圧縮符号化する際には、同一のインデックス
・オブジェクトの領域内は一の値であり直流成分しか存
在せず、またインデックス・オブジェクトの輪郭部分で
しか交流成分が発生しないことを考えると高圧縮率とな
ることが期待できる。また請求項１６に記載の発明では
動き補償データ（ＭｏｔｉｏｎＶｅｃｔｏｒ）の共用
を行うことからＡＶストリームとインデックス・ピクチ
ャ・ストリームのデータ総量を小さくすることに有効で
ある。

【０１９８】また、請求項７３、請求項７４の発明で提
案するように、インデックス・ピクチャ０２の標本化を
時間軸（３次元）あるいは平面（２次元）方向で実用上
の支障無い範囲で低下させることによってもインデック
ス・ピクチャ０２の圧縮率を高くすることができインデ
ックス・ピクチャ・ストリーム０２ａのデータ総量を小
さくすることに有効である。

【０１９９】多重化部１３０では伝達手段の持つ伝達特
性および該媒体から伝達されたビデオプログラムを視聴
する際の視聴特性に適したＡＶストリーム０１ａ、イン
デックス・ピクチャ・ストリーム０２ａ、及びリンク・
テーブル・データ０３、サブ・コンテンツ０４ａの多重
化が望ましい。

【０２００】デジタル放送を考えたとき、１周波数（送
信機、トランスポンダ）当たりで伝達可能な情報量は規
定（地上波で最大２３Ｍｂｐｓ、ＢＳ、ＣＳで最大５２
Ｍｂｐｓ）され、それを複数のチャンネル（番組）で分
割して伝送している。同様にＣＡＴＶ網に於いては伝達
路の伝送容量により同様の制限を受ける可能性がある。
従って、単一のチャネルに於ける付加情報のデータ量
は、ビデオプログラムの画質を重点に考えるならば少な
い方がよい。

【０２０１】また、ＨＤＤ装置を内蔵しないあるいは接
続しないタイムシフト機能のない双方向視聴装置の場合
サブ・コンテンツを検索、表示を行っている間はビデオ
プログラムの視聴ができず視聴欠損区間が発生すること
になる。視聴者参加型の双方向番組としてのビデオプロ
グラムを視聴する際にはサブ・コンテンツを閲覧してい
ると番組への参加機会を失う可能性がある。

【０２０２】さらに、ビデオプログラムの途中に広告が
挿入されている形態（現行の広告提供形態）の場合、広
告提供中にサブ・コンテンツを閲覧することを広告提供
者は嫌う（広告提供者が提供するサブ・コンテンツを除
いて）ことが予想される。

【０２０３】上記の事項から地上波あるいは衛星デジタ
ル放送あるいはＣＡＴＶ網によるビデオプログラムの放
送、配信には主に帯域による制限が大きいがＡＶストリ
ームとインデックス・ピクチャ・ストリームの多重化を
最低限としてリンク・テーブル・データの多重化を行う
程度が適当と思われる。

【０２０４】ＤＶＤやデジタルテープ等のパッケージ媒
体をを考えたとき、記憶容量が大きく、ビデオプログラ
ムが記録されているため視聴欠損部分が発生しないこ
と、またＤＶＤに於いては、ランダムアクセス性が高い
こと、

【０２０５】また、ビデオプログラムの内容は制作者に
とって作品という意向（テーマ、主張等）が強いことを
考えると付加されるサブ・コンテンツについても制作者
の意向を反映した内容が要求される可能性が高く、

【０２０６】従って、サブ・コンテンツの提供形態を考
えたときに、上記制作者の意図を反映した基本的なサブ
・コンテンツは同一の媒体による提供が望ましいと思わ
れる。

【０２０７】ただし、このような場合に於いても内容が
更新されると予想されるサブ・コンテンツに関しては、
他媒体（インターネット等）によるサブ・コンテンツの
取得を可能とする事が望ましい。

【０２０８】上記の事項から、ＤＶＤ、デジタル記録テ
ープ等のパッケージ媒体に於いては、ＡＶストリーム、
インデックス・ピクチャ・ストリーム、リンク・テーブ
ル・データ、サブ・コンテンツ等の情報を可能な限り多
く多重化することが望ましいと考えられる。

【０２０９】双方向システムにおける双方向視聴装置に
ついては別項「双方向視聴装置」で詳述する。

【０２１０】図５及び図６にて双方向視聴システムにお
ける双方向視聴装置３００の実施の形態について説明す
る。

【０２１１】ここで説明する実施例では、ＡＶストリー
ム、インデックス・ピクチャ・ストリームの符号化圧縮
方式としてＭＰＥＧ２方式を前提としているが、請求項
１８に記載した通り符号化圧縮はその方式を問わない。

【０２１２】上記「双方向視聴システム」で説明したよ
うに、各種伝達媒体のフォーマットに準じて多重化され
たＡＶストリーム０１ａとインデックス・ピクチャ・ス
トリーム０２ａ、リンク・テーブル・データ０３，サブ
・コンテンツ０４ａの内少なくともＡＶストリーム、イ
ンデックス・ピクチャ・ストリームが多重化された多重
化ストリーム０５は、

【０２１３】フロントエンド３０１にて各種伝達媒体
に適した物理的な記録、伝送形態からビットストリーム
に変換され、誤り訂正、暗号解除等の復号処理がなされ
る、

【０２１４】フロントエンド部の具体例としてデジタル
放送について説明すると、１，アンテナから入力した信
号は同調回路を経て復調回路にてＴＣ８ＰＳＫ、ＱＰＳ
Ｋ、ＢＰＳＫ（以上衛星デジタル放送）ＯＦＤＭ、ＤＱ
ＰＳＫ、ＱＰＳＫ、１６ＱＡＭ、６４ＱＡＭ（以上地上
波デジタル放送、但し階層により変調方式は異なる）復
調しエラー訂正部へ出力する。２，エラー訂正部はトレ
リス符号化、畳込み符号の復号を行いデスクランブラに
出力する。３，デスクランブラ部で暗号解除された多番
組多重化ストリーム（通称パーシャルストリーム）をト
ランスポート・デマルチプレクサにて選択された特定番
組のストリーム（ＭＰＥＧ２の場合トランスポートスト
リーム）を分離する。

【０２１５】フロントエンド部は以上の処理を各種伝達
媒体毎に規定された方法で行う。

【０２１６】ただし、多重化ストリーム０５がコンピュ
ータネットワーク２６０あるいはＣＡＴＶ網２３０のデ
ータ通信手段を経由して取得される場合、ネットワーク
に接続されたネットワーク接続装置（図５）３１３（Ｃ
ＡＴＶ網の場合、通称ケーブルモデム）により取得さ
れ、該多重化ストリーム０５はコントローラ（ＣＰＵ）
３１５により制御されＣＰＵＢｕｓ３１６を経てスト
リームＤＭＵＸ３０２あるいはＭＰＥＧ２デコーダ３０
３およびインデックス・ピクチャ・デコーダ３１１に供
給される。

【０２１７】インデックス・ピクチャ・ストリームの多
重化方法として、インデックス・ピクチャ・ストリーム
０２ａがＭＰＥＧ２のサブセットとして規定されていな
い場合、ストリームＤＭＵＸ３０２により多重化ストリ
ーム０５によりインデックス・ピクチャ・ストリーム０
２ｂが分離され、インデックス・ピクチャ・デコーダ３
１１に供給される。

【０２１８】あるいは、インデックス・ピクチャ・スト
リーム０２ａがＭＰＥＧ２のサブセットとして規定され
ている場合、ＭＰＥＧ２デコーダ３０３によりインデッ
クス・ピクチャ・ストリーム０２ｃが分離され、インデ
ックス・ピクチャ・デコーダ３１１に供給される。

【０２１９】多重化ストリーム０５にリンク・テーブル
・データ０３が重畳されている場合、ストリームＤＭＵ
Ｘ３０２により分離されＣＰＵＢｕｓ３１６によりコ
ントローラ（ＣＰＵ）３１５に供給される。

【０２２０】リンク・テーブル・データ０３がＭＰＥＧ
２のサブセットとして規定された場合、インデックス・
ピクチャ・ストリーム０２と同様にＭＰＥＧ２デコーダ
３０３により分離されＣＰＵＢｕｓ３１６によりコン
トローラ（ＣＰＵ）３１５に供給される。

【０２２１】分離されたＭＰＥＧ２ストリーム０１ｂ
（ＭＰＥＧ２トランスポートストリーム）はＭＰＥＧ２
デコーダ３０３によりＡＶストリームとコントロール情
報が分離され、ＡＶストリームはＡＶデコーダ３０４で
ビデオプログラムに伸張、復号されコントロール情報は
ＣＰＵＢｕｓ３１６よりコントローラ（ＣＰＵ）３１５
に供給されまた下位デコーダ（ＡＶデコーダおよびその
下位に属するデコーダ）の制御に使用される。

【０２２２】上記でＡＶストリームおよびインデックス
・ピクチャ・ストリームのデコードはハードウェアで行
っていたが、請求項７５に示すようにソフトウェアある
いはファームウェアによりビデオプログラムに伸張、復
号されるものでもよい。

【０２２３】インデックス・ピクチャ・ストリームは、
インデックス・ピクチャ・デコーダ３１１によりＡＶデ
コーダ３０４によるＡＶストリームのデコードと同期再
生され、ビデオ・オブジェクトの視認化処理のために画
像処理部３０５に入力される。

【０２２４】次に、画像処理３０５における画像処理の
実施形態について説明する。第一に考慮すべきは、視聴
者のビデオプログラム視聴を妨害しない、あるいは視聴
画質を劣化させないことを視聴者が選択可能にすること
にあり、このためには、サブ・コンテンツが取得可能で
あることを告知表示する効果付与の可否選択が必要であ
る。

【０２２５】視聴者がサブ・コンテンツが取得可能であ
ることの告知表示の効果付与を拒否した場合、告知表示
は行われず、表示されるビデオプログラムはその本来の
画質で表示され、視聴者の視聴感覚を妨げることはな
い。

【０２２６】視聴者がサブ・コンテンツが取得可能であ
ることの告知表示の効果付与を要求した場合（視聴者が
ビデオ・オブジェクトに付加されたサブ・コンテンツを
取得したいという欲求がある場合）、ビデオ・オブジェ
クトに対して下記に示す各種の方法によるサブ・コンテ
ンツ取得可能を告知する方法がある。

【０２２７】請求項６１の発明で示す実施例は、サブ・
コンテンツが付加されていることとを示すアイコンをビ
デオプログラムの視聴を妨げない位置に表示することに
よりサブ・コンテンツが取得可能であることを告知する
もので、具体的なアイコンの表示位置としては、表示画
面の四辺の適切な位置に表示することが望ましい。この
とき、請求項６３で示すようにリンク・テーブル・デー
タで定義されるサブ・コンテンツの属性定義によりアイ
コンの形状を変化させたり、属性毎にアイコンの表示位
置を指定することなども可能である。また、同様に視聴
者が指定した属性のサブ・コンテンツが有る場合のみア
イコンの表示を行う選択的表示を行うことが可能であ
る。

【０２２８】請求項５８の発明で示す実施例は、サブ・
コンテンツが付加されているビデオ・オブジェクトをイ
ンデックス・オブジェクトの形状により画像処理を施す
実施例で、画像処理の方法として、該ビデオ・オブジェ
クト部分にのみ輝度変調、色相変調、枠付け影付け等の
疑似立体視化等が考えられる。このときも、請求項６３
で示すようにリンク・テーブル・データで定義されるサ
ブ・コンテンツの属性定義により画像処理方式を変化さ
せたり、視聴者が指定した属性のサブ・コンテンツが有
る場合のみ該ビデオ・オブジェクトの画像処理を行う選
択的表示を行うことが可能である。

【０２２９】請求項５９の発明で示す実施例は、ポイン
ティング手段によるポインタがサブ・コンテンツが付加
されているビデオ・オブジェクトと重なったときあるい
はポインタが近づいたときにインデックス・オブジェク
トの形状により画像処理を施す実施例で、画像処理の方
法として、該ビデオ・オブジェクト部分にのみ輝度変
調、色相変調、枠付け影付け等の疑似立体視化等が考え
られる。このとき、請求項６１の実施例で示すリンク・
テーブル・データで定義されるサブ・コンテンツの属性
定義によりアイコンの形状を変化させたり、属性毎にア
イコンの表示位置を指定することなども可能であるし、
同様に視聴者が指定した属性のサブ・コンテンツが有る
場合のみアイコンの表示を行う選択的表示を行うことの
同時実施あるいは請求項６１のみの実施が可能である。
また、請求項６３で示すようにリンク・テーブル・デー
タに定義された属性に基づき視聴者の選択により画像処
理の実施、不実施の選択が可能である。

【０２３０】請求項６０の発明で示す実施例は、ポイン
ティング手段によるポインタがサブ・コンテンツが付加
されているビデオ・オブジェクトと重なったときあるい
はポインタが近づいたときにリンク・テーブル・データ
に定義されているビデオ・オブジェクト概要をＯＳＤ表
示する実施例で、表示方法としては、フキダシ形式にや
スクロールバーによる表示等各種考えられる。このと
き、請求項６３で示すようにＯＳＤ表示の有無はリンク
・テーブル・データで定義されるサブ・コンテンツの属
性定義により視聴者の選択可能とし、属性毎にＯＳＤの
表示形態や位置を指定することなども可能であるし、同
様に視聴者が指定した属性のビデオ・オブジェクトが有
る場合のみＯＳＤの表示を行う選択的表示を行うことが
可能である。また、集合オブジェクトの時はその構成オ
ブジェクト毎の表示を行ったり、集合オブジェクトのみ
の表示を行ったりすることを視聴者は選択可能にするこ
とが望ましい。

【０２３１】請求項６２の発明で示す実施例は、ポイン
ティング手段によるポインタがサブ・コンテンツが付加
されているビデオ・オブジェクトと重なったときあるい
はポインタが近づいたときにリンク・テーブル・データ
に定義されているサブ・コンテンツ概要をＯＳＤ表示す
る実施例で、表示方法としては、フキダシ形式にやスク
ロールバーによる表示等各種考えられる。このとき、請
求項６３で示すようにＯＳＤ表示の有無はリンク・テー
ブル・データで定義されるサブ・コンテンツの属性定義
により視聴者の選択可能とし、属性毎にＯＳＤの表示形
態や位置を指定することなども可能であるし、同様に視
聴者が指定した属性のサブ・コンテンツが有る場合のみ
ＯＳＤの表示を行う選択的表示を行うことが可能であ
る。また、集合オブジェクトの時はその構成オブジェク
ト毎のサブ・コンテンツ概要表示を行ったり、集合オブ
ジェクトのみのサブ・コンテンツ概要表示を行ったりす
ることを視聴者は選択可能にすることが望ましい。

【０２３２】インデックス・ピクチャ・デコーダ３１１
にでは、ストリームＤＭＵＸ３０２あるいはＭＰＥＧ２
デコーダ３０３から取得したインデックス・ピクチャ・
ストリーム０２ｂ、０２ｃをＡＶデコーダ３０４の同期
再生情報（図示しない）あるいはインデックス・ピクチ
ャ・ストリーム０２ｂ、０２ｃに付加された時刻制御情
報に基づきインデックス・ピクチャ・ストリームの復号
伸張を行い画像処理３０５へ出力する。

【０２３３】同期再生を行うときに請求項１６の発明で
示したＩ、Ｐ、Ｂの各フレームのタイミングとＭＶ（Ｍ
ｏｔｉｏｎＶｅｃｔｏｒ）を共用する場合にはＡＶデ
コーダ３０４からの同期再生情報は必須であり、

【０２３４】請求項７４、請求項７５の発明で示したイ
ンデックス・ピクチャ・ストリームのデータ量を減ずる
方法の場合にはインデックス・ピクチャ・ストリームに
時刻制御情報が付加されることが望ましい。

【０２３５】多重化ストリーム０５にリンク・テーブル
・データ、サブ・コンテンツが重畳されている場合、ス
トリームＤＭＵＸ３０２にて分離され、リンク・テーブ
ル・データ０３ｂはリンク・テーブル読み取りＩＦ３０
８を経てコントローラ（ＣＰＵ）３１５に読み込まれ、
サブ・コンテンツ・データ０４ｂはサブ・コンテンツ読
み取りＩＦ３０９を経てコントローラ（ＣＰＵ）３１５
に読みとられる。

【０２３６】リンク・テーブル読み取りＩＦおよびサブ
・コンテンツ読み取りＩＦは何れもその機能を示すため
に明示的に機能ブロックとして記載したが、リンク・テ
ーブル・データ、サブ・コンテンツ・データの何れもス
トリームＤＭＵＸからＣＰＵＢｕｓ３１６を経てコン
トローラ（ＣＰＵ）３１５に読みとられることも可能で
あるし、リンク・テーブル・データ、サブ・コンテンツ
・データの双方を読みとれる共通のＩＦによってコント
ローラ（ＣＰＵ）３１５に読み込まれることも可能であ
る。

【０２３７】リンク・テーブル・データあるいはサブ・
コンテンツ・データが多重化ストリーム０５に多重化さ
れず、他媒体から伝達される場合、各々の媒体に適した
ＩＦにより読みとられる。

【０２３８】例として、ネットワーク媒体からリンク・
テーブル・データあるいはサブ・コンテンツ・データを
取得しようとするときは、それぞれのデータはネットワ
ーク接続装置３１３により媒体から取得され、コントロ
ーラ（ＣＰＵ）３１５に伝達される。

【０２３９】ネットワーク接続装置３１３はリンク・テ
ーブル・データの取得あるいはサブ・コンテンツの取得
に用いられる。

【０２４０】ネットワーク接続装置３１３の接続対象ネ
ットワークとして、公衆網（ＩＳＤＮ網を含む）ｘＤＳ
Ｌ網、ＣＡＴＶ網、無線ＷＬＬ（ＷｉｒｅｌｅｓｓＬ
ｏｃａｌＬｏｏｐ）、ファイバ網等が現在接続可能で
あるが、それぞれのネットワークに適した物理レベル、
論理レベル、プロトコル等の網接続を実現するための要
件を満たす必要がある。

【０２４１】ネットワーク接続は、視聴者毎（端末設置
環境毎）にその環境が異なることが予想される、そのた
めネットワーク接続装置３１３は着脱可能なモジュール
構造として、容易に交換できる構造とすることも可能で
ある。

【０２４２】図６に請求項５４に記載のタイムシフト機
能の実現、あるいは放送、配信されたビデオプログラム
の記録、あるいは取得したサブ・コンテンツの音声、画
像等、比較的大データ量で、内容変化の無い、あるいは
少ないサブ・コンテンツを記録、あるいは視聴中にブッ
クマーク的に設定したサブ・コンテンツのリソース情報
等を記録するためにＨＤＤＩＦ３１７およびＨＤＤ
（ハードディスクドライブ）記憶装置３１８を備えるこ
とは視聴性及びサブ・コンテンツ取得の容易性を向上す
ることに有効である。、

【０２４３】ＨＤＤ記憶装置３１８を備えビデオプログ
ラムを記録（録画）する場合に著作権保護のためのコピ
ーマネジメントシステムをソフトウェアあるいはハード
ウェア、ファームウェアで構築することが可能であり、
望ましい。

【０２４４】図６に請求項５５に記載のタイムシフト機
能および請求項５７に記載の取得コンテンツのフォーマ
ット変換を行うためにＰＣと通信するために情報処理装
置接続手段３５０を備えた双方向視聴装置および請求項
４５に記載の着脱可能な外部記憶媒体３７１を接続する
ための外部記憶装置ＩＦ３７０を備えた双方向視聴装置
のブロック図を示す。

【０２４５】ＰＣを接続することによる利点は、上記請
求項５５及び請求項５７におけるサブ・コンテンツのフ
ォーマット変換にＰＣのプロッセサリソースを利用でき
るほか、サブ・コンテンツ中にテキスト（キャラクタコ
ード）表現が有った場合のフォントシステムの活用ある
いは、最新の仕様に交換することが容易な通信環境リソ
ースあるいは記録装置リソースの活用、あるいは、例え
ばアーカイバ構築を行う際の作成、管理ソフトウェアの
選択枝が多い事等が考えられる。

【０２４６】具体的な情報処置装置接続手段として、実
施あるいは提案されている通信方式として、ＩＥＥＥ１
３９４、ＵＳＢ２等があるがＩＥＥＥ１３９４規格で提
案されているアイソクロナス転送等の映像信号伝達での
等時性が確保された伝送方式が望ましい。

【０２４７】双方向視聴装置に具備したリンク・テーブ
ル・データの編集機能により視聴者独自のサブ・コンテ
ンツへのリンク情報を追加、編集したり、ＰＣあるいは
情報処理端末で同様の処理を行うことにより、該ビデオ
プログラムを再度視聴する際に追加、編集したリンク・
テーブル・データを参照してのサブ・コンテンツの取得
を行うことができる。この機能を実現するためには、外
部記録媒体への記録フォーマットは該双方向視聴装置で
のみ情報交換するものでなく、ＰＣあるいは他情報処理
装置で広く情報交換できる形態が望ましい。ここで、追
加、編集されたリンク・テーブル・データが編集者でけ
でなく第３者への提供が可能で有れば、リンク・テーブ
ル・データの多様性を確保する上で有効である。

【０２４８】コンテンツ変換３１２は請求項５６の発明
に示すサブ・コンテンツの表示フォーマット変換を実施
するためのブロックを明示的に示したものであるが、当
然この表示フォーマット変換機能はコントローラ（ＣＰ
Ｕ）３１５で実現可能である。

【０２４９】リモコン３６０およびリモコン受光部３１
４は双方向視聴装置の一般動作を制御するのみでなく、
ポインティング機能の有効／無効の設定を行い、またポ
インティングカーソルの移動操作、ビデオ・オブジェク
トの選択等の操作を行うために必要である。

【０２５０】リモコン３６０に設けられた各種スイッチ
を操作することにより、リモコン３６０からＩｒｄ（赤
外線）あるいは無線によりリモコン制御信号が発せら
れ、リモコン受信部３１４はリモコン復調しコントロー
ラ（ＣＰＵ）３１５へ伝達しコントローラ（ＣＰＵ）３
１５はその制御コードに基づいて装置の制御を行う。

【０２５１】その他にコントローラ（ＣＰＵ）３１５の
動作を規定するROM（非記載）ワークRAM（非記載）等が
から構成される双方向視聴装置である。

【０２５２】リンク・テーブル・データの多様性につい
て説明する。図１３で示すようにの第一のインデックス
・ピクチャ・ストリーム０２ａおよびリンク・テーブル
・データ０３の提供者として制作者Ａは、ビデオプログ
ラム供給部１１０から供給されるビデオプログラム０１
に対してインデックス・ピクチャ０２を生成しサブ・コ
ンテンツ０４を制作あるいは既存コンテンツ用意する。
このサブ・コンテンツ０４に対してリンクするためのリ
ンク・テーブル・データ０３を生成しビデオプログラム
０１ａと同期再生を確立可能な多重化、伝達方式でＡＶ
ストリーム０１ａ、インデックス・ピクチャ・ストリー
ム０２ａ、リンク・テーブル・データ０３の伝達を行
う。

【０２５３】図１３の例として、第２のリンク・テーブ
ル・データの提供者として制作者Ｂは制作者Ａの生成し
たインデックス・ピクチャ・ストリーム０２ａに対して
制作者Ｂの制作したサブ・コンテンツ０４＿Ｂを制作あ
るいは既存コンテンツ用意する。制作者Ｂは、インデッ
クス・ピクチャ・ストリーム０２ａにリンクするための
リンク・テーブル・データ０３＿Ｂを生成し、ビデオプ
ログラム０１ａと同期再生を確立可能な伝達方式でリン
ク・テーブル・データ０３＿Ｂの伝達を行う。

【０２５４】第３のリンク・テーブル・データ０３＿Ｃ
およびサブ・コンテンツ０４ａ＿Ｃの提供者としての制
作者Ｃはビデオプログラム供給部１１０から供給され
るビデオプログラム０１に対してインデックス・ピクチ
ャ０２＿Ｃを生成し、サブ・コンテンツ０４＿Ｃを制作
あるいは既存コンテンツ用意する。このサブ・コンテン
ツ０４＿Ｃをインデックス・オブジェクト（ビデオ・オ
ブジェクト）に対してリンクするためのリンクリンク・
テーブル・データ０３＿Ｃを生成しビデオプログラム０
１ａと同期再生を確立可能な伝達方式でインデックス・
ピクチャ・ストリーム０２ａ＿Ｃ、リンク・テーブル・
データ０３＿Ｃの伝達を行う。

【０２５５】請求項４４，請求項４６，請求項４８，請
求項５１，請求項５３の双方向視聴装置に於いては、視
聴者が取得したビデオプログラムのリンク・テーブル・
データを視聴者（制作者以外の人物）が編集可能として
いる。この機能を活用するためには、ビデオプログラム
になるべく多くインデックス・オブジェクトを定義し、
原始リンク・テーブル・データを付加することが望まし
い。ただし、この場合リンク・テーブル・データの総量
を押さえるために、原始リンク・テーブル・データとし
て最低限の情報（インデックス・オブジェクトの値、時
刻情報）のみといった簡略化されたフォーマットを規定
することが望ましい。

【０２５６】また、制作者が意図したリンク・テーブル
・データにおけるリソース情報の保護およびサブ・コン
テンツの原制作者の権利を保護するための機構が用意さ
れることが望ましい。

【０２５７】図１４にリンク・テーブル・データの多様
性を示す一例を説明する。この例では、視聴しているビ
デオプログラム０５に対して、ネットワーク（インター
ネット）２６０上に該ビデオプログラム０５に対して、
該ビデオプログラム０５の制作者とは異なる意図を持つ
制作者が作成したリンク・テーブル・データ（０３−１
〜０３−６の６種類）が存在し、該リンク・テーブル・
データを視聴者が検索サイトあるいはリンク・テーブル
・データの検索に特化した検索システムによりサーバ１
９０−１〜１９０−６から取得し視聴中のビデオプログ
ラム由来のリンク・テーブル・データではなく該ネット
ワークより取得したリンク・テーブル・データに基づい
てサブ・コンテンツを取得することが可能とする。

【０２５８】このとき、リンク・テーブル・データの取
得タイミングとしては、ビデオプログラムの再生基準信
号に則しても良いし予めダウンロードしておいても良
く、その選択は視聴者の自在とする。

【０２５９】図１３の説明で示す通り、同一のビデオプ
ログラム０１に対し制作者Ａ及びＢは同一のインデック
ス・ピクチャを用いて異なるリンク・テーブル・データ
を作成し、従って同一のビデオプログラムに異なるサブ
・コンテンツを提供可能とし、また、制作者Ｃはインデ
ックス・ピクチャも作成する事によって、制作者Ａが想
定しなかったビデオ・オブジェクトに対してもサブ・コ
ンテンツを提供する事ができる。

【０２６０】また、視聴者が生成、編集したリンク・テ
ーブル・データにより同一のビデオプログラムを再視聴
する際に視聴者定義によるサブ・コンテンツを取得する
ことができる。あるいは、ネットワーク（例えばインタ
ーネット）に接続されたサーバに蓄積されているまた、
図１４の説明で示す通り、ネットワーク上のサーバから
あるいは交換可能な記憶媒体から第三者の作成したリン
ク・テーブル・データを取得し、そのリンク・テーブル
・データに定義されたサブ・コンテンツを取得すること
もできる。これらのことは、視聴者のサブ・コンテンツ
要求選択肢を多様化することを可能にするもので、視聴
者のサブ・コンテンツ選択性（サブ・コンテンツ選択自
由度）を向上することともに、サブ・コンテンツ（ある
いはサブ・コンテンツを定義しているリンク・テーブル
・データ）を流通させることに有効である。

【０２６１】リンク・テーブル・データ中のアクセス情
報定義について説明する。リンク・テーブル・データで
規定されるサブ・コンテンツへのアクセス情報として
は、コンピュータ・ネットワーク、特にインターネット
上のサーバ装置からサブ・コンテンツを取得する場合、
サブ・コンテンツのリソースを特定するため、ＩＰ(Int
ernet Proticol)で規定されるＵＲＬ(Uniform Resouce
Location)及び必要に応じてＩＮ(Intellegent Network)
を使用するための呼制御情報が付加され、あるいは、公
衆網に接続された閉環境のネットワーク上のサーバ装置
からサブ・コンテンツを取得する場合には、サーバ装置
が設置されている端末装置の回線番号あるいはＩＮを使
用するための呼制御情報、及びサブ・コンテンツのリソ
ースを特定するファイル制御情報として階層構造情報や
ファイル名あるいは物理アドレス、論理アドレス等が付
加される。

【０２６２】また、ＤＶＤやＶｉｄｅｏＣＤ、ＣＤＲＯ
Ｍ、あるいはデジタル・ビデオ・テープ等のパッケージ
媒体からサブ・コンテンツを取得する場合は、サブ・コ
ンテンツが記録されている媒体を特定する情報（媒体の
名称や商品コード等の公的に整理された番号、記号、名
称等）（但し、ビデオプログラムの伝達媒体と同一の媒
体にサブ・コンテンツが記録されている場合は必須では
ない）及び、トラック番号、セクタ番号、あるいは階層
構造やファイル名、物理アドレス、論理アドレス等のサ
ブ・コンテンツのリソースを示す情報がアクセス情報と
して付加される。

【０２６３】地上波デジタル放送、衛星デジタル放送あ
るいはＣＡＴＶ網の定時プログラム配信からサブ・コン
テンツを取得する場合は、サブ・コンテンツのリソース
を特定するためのチャネル識別選択情報やパケット識別
選択情報、時刻情報等のサブ・コンテンツのリソースを
示す情報がアクセス情報として付加される。

【０２６４】ＣＡＴＶ網内に設置されたサーバ装置ある
いはＣＡＴＶ網のからインターネットへのブリッジ（Ｉ
Ｘ：ＩｎｔｅｒｎｅｔｅＸｃｈａｎｇｅ）を経由して
インターネット上のサーバ装置からサブ・コンテンツを
取得する場合、サブ・コンテンツのリソースを特定する
ＵＲＬ(Uniform Resouce Location)及び必要に応じてＩ
Ｎ（ＩｎｔｅｌｌｅｇｅｎｔＮｅｔｗｏｒｋ）を使用
するための呼制御情報が付加され、あるいは、網に接続
された閉環境のネットワーク上のサーバ装置からサブ・
コンテンツを取得する場合には、サーバ装置が設置され
ている端末装置へのアクセス情報あるいはＩＮ（Ｉｎｔ
ｅｌｌｅｇｅｎｔＮｅｔｗｏｒｋ）を使用するための
呼制御情報、及びサブ・コンテンツのリソースを特定す
る階層情報やファイル名あるいは物理アドレス、論理ア
ドレス等が付加される。

【０２６５】図１０でリンク・テーブル・データの実施
例を説明する。本発明で示すリンク・テーブル・データ
構造は柔軟性があり、現時点で一義的な構造定義を行う
ことが難しい、このため本出願では機能を実現するため
に最低限必要な構造を説明するものである。図１０−１
はリンク・テーブル・データ０３ａの最小構成の一例を
示すもので、規定された開始コードＰＲＥで開始されリ
ンク・テーブル・データの構造を定義する定義コードＤ
Ｃおよびインデックス・オブジェクトの持つ値ＩＯＶお
よび規定された終了コードＴＲＭで構成される。このリ
ンク・テーブル・データ構造の場合、インデックス・オ
ブジェクトの出現、消失を規定する時刻制御情報が含ま
れず、このことは、インデックス・オブジェクトの持つ
値が該ビデオプログラム上で同一であることを示すもの
であり、絶対インデックス・オブジェクト定義と仮称す
る。図１０−１の絶対インデックス・オブジェクト定義
の場合、リンク・テーブル・データにおいて時刻制御情
報を定義する領域を持たないのは、該ビデオプログラム
上で時刻制御を行う必要がないため時刻制御情報を省略
したためで、リンク・テーブル・データ長を短くするこ
とに有効である。またサブ・コンテンツのリソースを示
すアクセス情報ＲＬＶも含まれていない。従って、定義
コードＤＣには上述のリンク・テーブル・データの構造
を示すコードとして、あるいは制御対象毎に対応したビ
ットマップとしてリンク・テーブル・データ構造記述が
可能なＤＣ記述構造とすることが必要である。ＤＣに関
しては後述する説明においても、リンク・テーブル・デ
ータの機能を定義する際には何らかの記述を必要とす
る。

【０２６６】図１０−２はＲＬＶの定義領域を固定しブ
ランクコードを記述するもので、インデックス・オブジ
ェクトの定義を行う上では、上述の図１０−１で示すリ
ンク・テーブル・データと同一であるが、リンク・テー
ブル・データ長を固定長にすることでリンク・テーブル
・データの定義領域を確保することに有効であり、追記
録可能な光ディスク媒体あるいはデジタル記録テープ媒
体において、すでに記録されているリンク・テーブル・
データを編集する場合等リンク・テーブル・データ領域
を可変長で自由に確保できない時に有効である。このこ
とは、後述するリンク・テーブル・データに関してもＲ
ＬＶを未定義としリンク・テーブル・データ長を固定長
とするときに同様に有効である。

【０２６７】図１０−３はサブ・コンテンツのリソース
情報としてアクセス情報ＲＬＶが記述された絶対インデ
ックス・オブジェクト定義のリンク・テーブル・データ
構造を示すもので、サブ・コンテンツを定義した場合の
リンク・テーブル・データの最低構成要素を示すもので
ある。

【０２６８】図１０−４はインデックス・オブジェクト
の有効出現時間を規定するために時刻制御情報として開
始時間情報ＢＴＣと終了期間情報ＣＴＣをリンク・テー
ブル・データに規定した実施例である。このリンク・テ
ーブル・データ構造の場合、インデックス・オブジェク
トの出現、消失を規定する時刻制御情報を含み、このこ
とは、インデックス・オブジェクトをビデオプログラム
の特定の時間軸（シーン）においてインデックス・オブ
ジェクトの規定可能となることを示すものであり、相対
インデックス・オブジェクト定義と仮称する。

【０２６９】図１０−５はビデオ・オブジェクトの属性
を示すカテゴリコードをＤＣ２として定義コードＤＣに
内包する定義方法を示す実施例であるが、ＤＣ２で定義
するカテゴリコードに関してはＤＣに内包することに限
定せず別途属性設定領域を設けてもよい。

【０２７０】図１０−６はビデオ・オブジェクトが集合
インデックス・オブジェクトにより定義される実施例を
示すもので、時刻制御情報ＢＴＣ、ＣＴＣを共有するこ
とからビデオプログラム上で同一の時間軸上（シーン）
に出現するビデオ・オブジェクトについて規定するする
事ができる。具体的には、ＢＴＣからＣＴＣで定義され
る時間に出現するＩＯＶ、ＲＬＶ（１）からＩＯＶ、Ｒ
ＬＶ（４）の４種類のインデックス・オブジェクト定義
体から構成される集合インデックス・オブジェクト
（Ｇ）に対するリソース情報としてＲＬＶ（Ｇ）が定義
されることにより集合インデックス・オブジェクトによ
り構成されるビデオ・オブジェクトに対するサブ・コン
テンツが取得可能となる。また、視聴者のインデックス
・オブジェクト選択方法の設定如何により集合ビデオ・
オブジェクトを構成する要素としてのビデオ・オブジェ
クト（インデックス・オブジェクト）をサブ・コンテン
ツの取得条件とすることも可能である。

【０２７１】図１０−７はリンク・テーブル・データの
連結方式を提案する実施例を示すもので、一組のＰＲＥ
およびＴＲＭに挟まれて定義体が必要数連続する記述方
法を提案する実施例である。この場合、１つのシーンで
定義される複数のＩＯＶ、ＲＬＶを連結子ＣＵＰで結合
し一塊りの定義体として取り扱うことが可能となり、双
方向視聴装置に於ける処理の負荷を軽くすることに有効
な方法である。図１０−８はリンク・テーブル・データ
における各構成要素のデータ長を仮定した実施例であ
る。この実施例でほぼ確定しているのは時刻制御情報の
ＢＴＣ、ＣＴＣで６バイト長で２４時間をフレーム単位
で指定可能なデータ長（６バイト）となっている。ま
た、上記実施例では明示していないが、ビデオ・オブジ
ェクトやサブ・コンテンツの概要を記述するテキスト領
域を定義可能とすることが望ましく、また必要である。

【０２７２】図中の略号の意味を下記に示す。ＰＲＥ＝開始コード（Prefix）ＤＣ＝定義コード（Define Code）（ＤＣには制御コー
ド、カテゴリコード,スポンサーコード、地域コード等
を含む。）ＩＯＶ＝インデックス・オブジェクトの値（Index Obj
ect Value）ＴＲＭ＝終了コード（Teminate）ＢＴＣ＝開始時間情報（Beginning Time Code）ＣＴＣ＝終了時間情報（Complete Time Code）ＲＬＶ＝アクセス情報（Resouce Location Value）ＣＵＰ＝連結子（Coupler）

【０２７３】図４に表示されているビデオプログラムの
シーンとＡＶストリームとインデックス・ピクチャ・ス
トリームとリンク・テーブル・データの時系列上の関係
について説明する。時間軸ｔ１からｔ２のシーンを伸張
するＡＶストリームＡＶＴＳ１とＩＰＳ１に対して、リ
ンク・テーブル・データＬＴＤ１はシーン開始時間ｔ１
以前に伝達されている必要がある。同様に、リンク・テ
ーブル・データは該リンク・テーブル・データが定義す
るシーンに先んじて伝達されている必要がある。

【０２７４】次に、双方向視聴装置に於けるデコード装
置の請求項７２における実施例を図７を参照して説明す
る。請求項１６の発明によるＡＶストリームとインデッ
クス・ピクチャ・ストリームおよびコントロールデータ
が多重化されたＭＰＥＧ２ＴＳ０５ｂはＭＰＥＧ２デコ
ーダ３７１で各々に分離されＡｕｄｉｏ／Ｖｉｄｅｏの
ストリームはＡＶデコーダ３７２により復号再生され
る。

【０２７５】この時抽出された再生制御信号の１種類で
ある動き予測データ（ＭＶ：ＭｏｔｉｏｎＶｅｃｔｏ
ｒ）および再生基準信号３７８を参照しインデックス・
ピクチャデコーダ５７３はインデックス・ピクチャの同
期デコードを行う。なお、ＡＶデコーダ５７２およびイ
ンデックス・ピクチャ・デコーダ５７３に接続されるフ
ィールド（フレーム）再生メモリ５７５および５７５ａ
は図中は別デバイスであるが同一のデバイスとしてもよ
い。

【０２７６】ＡＶデコーダ５７２でデコードされた画像
データをインデックス・ピクチャ・デコーダ５７３で同
期デコードされたインデックス・ピクチャを変調データ
としてビデオ・オブジェクトの強調表示、立体視等の画
像処理およびコントローラ（ＣＰＵ）３１５からのＢｕ
ｓ３１６からホストＩＦ５７９を介して指定された表示
画面座標上に規定された形状のポインティングカーソル
の表示等を行う画像処理回路５７４を経てデジタルビデ
オ信号あるいはアナログビデオ信号として出力される。

【０２７７】この構成をＩＰ（Ｉｎｔｅｌｌｅｃｔｕａ
ｌＰｒｏｐｅｒｔｙ）として内包するＬＳＩとしての
デコード装置の場合、図中でデコード装置５７０とした
範囲外にあるフィールド（フレーム）再生メモリ５７
５、５７５ａも同時に内包できることはもちろんである
し、同様に範囲外に想定したコントローラ（図６、３１
５）を内包することも可能である。また、インデックス
・ピクチャ・ストリームがＡＶストリームと別の伝達媒
体から供給される場合においては、インデックス・ピク
チャ・ストリームは図６のコントローラ（ＣＰＵ）３１
５のＢｕｓ３１６からホストＩＦ５７９を介して上記請
求項７２で記載されるデコーダ装置に供給されてもよ
い。

【０２７８】デコード装置の他の実施例として図８に示
す例は、インデックス・ピクチャ・ストリームがＭＰＥ
Ｇ２ＴＳに含まれない場合で、多重化ストリームが同一
の媒体から伝達される場合に、ストリームＤＭＵＸ５７
６によりストリームが分離され、ＭＰＥＧ２ＴＳのデコ
ードを行うＭＰＥＧ２デコーダ５７１とＡＶストリーム
のデコードを行うＡＶ２デコーダ５７２とインデックス
・ピクチャ・デコーダ５７３及びＡＶデコーダから出力
される画像データとインデックス・ピクチャ・デコーダ
から出力される変調データにより画像処理を行う画像処
理回路５７４から構成されるデコード装置の構成例であ
る。

【０２７９】この場合も上記と同様にフィールド（フレ
ーム）合成メモリ５７５、５７５ａあるいはコントロー
ラ（図６、３１５）を内包したＬＳＩとしてのデコード
装置としても良い。

【０２８０】デコード装置の他の実施例ととして図９に
示す例は、インデックス・ピクチャ・ストリームが多重
化ストリームに含まれないか、本デコード装置の範囲外
で多重化ストリームから分離されている場合を示す例
で、上記構成のデコード装置にインデックス・ピクチャ
・ストリームの入力を設けたデコード装置の例である。

【０２８１】図１８にメニュー選択方式によるサブ・コ
ンテンツ取得のフローチャートを示す。視聴者がメニュ
ー選択方式による付加情報の取得を行おうとするとき通
常画面（ビデオプログラムを表示している画面）からメ
ニュー画面を表示させるためのメニュー表示操作を行
い、メニュー画面が表示される。

【０２８２】表示されたメニューは多くの場合階層化さ
れているから、目的とする付加情報の選択を行い更に表
示されたメニューを読み、表示されたカテゴリが目的と
する付加情報を含むカテゴリかの判断を行う。

【０２８３】目的とするカテゴリでなかった場合、目的
とするカテゴリが表示されるまでカテゴリ選択操作を繰
り返すが、カテゴリ選択メニュー表示の最下層まで表示
を実行しても目的とするカテゴリが無かった場合、目的
とするサブ・コンテンツの取得に失敗する。目的とする
カテゴリであった場合、該カテゴリの下位に属するコン
テンツ選択を行い、上記カテゴリ選択と同様の操作を繰
り返す。

【０２８４】この場合も同様にコンテンツ選択メニュー
表示の最下層まで表示を実行しても目的とするコンテン
ツが無かった場合、目的とするサブ・コンテンツの取得
に失敗する。目的とするコンテンツを選択すると該サブ
・コンテンツを取得し、表示することにより終了する。
図１９に本発明によるサブ・コンテンツ取得のフローチ
ャートを示す。この場合、ビデオプログラムの表示を、
本発明による告知方法は妨害しないので、既に告知を行
う設定がなされていると仮定する。ビデオプログラム画
像中に視聴者の興味を引くビデオ・オブジェクトが出現
したとき、リモコン装置のポインタ移動ボタンを操作し
て該ビデオ・オブジェクトをポインティングし、（必要
に応じてポーズさせることも含む）確定ボタンを押す
（クリックする概念でも良い）事によりビデオ・オブジ
ェクトを選択する。

【０２８５】複数のサブ・コンテンツが付加され、かつ
視聴者の嗜好等の告知の条件付けが行われていない場
合、選択されたビデオ・オブジェクトに付加されたコン
テンツあるいはビデオ・オブジェクトの概況がフキダシ
方式やプルダウン方式等で表示されるので目的とするコ
ンテンツが存在した場合表示されている概要を選択しサ
ブ・コンテンツを取得し表示される。

【０２８６】目的とするコンテンツが存在しないときは
終了する。

【０２８７】このとき、発明が解決しようとする課題の
項で述べたように目的とするコンテンツの有無が簡単に
判明するため視聴者の抱く不満は少ないと思われる。

【０２８８】単一のサブ・コンテンツのみが付加されて
いるとき、サブ・コンテンツやビデオ・オブジェクトの
概要表示は行わずサブ・コンテンツを取得し表示が行わ
れて終了しても良いし上記同様に概要表示を行って視聴
者選択としても良い。

【０２８９】いずれの場合もサブ・コンテンツ内部で階
層化されている場合はその操作環境に従った操作を行
う。

【０２９０】図２０にメニュー選択方式によるサブ・コ
ンテンツの取得に失敗する例を示す。上述のサブ・コン
テンツの取得フローでサブ・コンテンツの取得に失敗し
た原因としては目的とするサブ・コンテンツ用意されて
いなかったということで、作成者側に起因する失敗の例
であったが、ここでは、視聴者側にサブ・コンテンツ取
得失敗の原因が有る場合について説明する。

【０２９１】非常に単純な例として、野球の中継を視聴
中に特定の選手の”打率”を知りたいという欲求があっ
たとき。

【０２９２】操作として、先ずメニュー表示の操作を行
いメインメニュー（メインメニューにたまたま”打率”
の項目があったとして）の表示が行われる。

【０２９３】メインメニュー内の”打率”の項目を選択
し選手名の一覧が表示される。

【０２９４】ここで、表示されている選手名を選択しな
ければならないが、視聴者が選手名を知らない場合、こ
のステップで”打率”情報の取得は失敗する。

【０２９５】このように、非常に単純な原因で情報の取
得に失敗することが予想される。

【０２９６】図１７に請求項６７の発明における追跡機
能の実施例を説明する。図１７−１はある時間ｔにおけ
る源画像Ａとｔ１時間後の画像Ａ１におけるビデオ・オ
ブジェクトＯＢＪ１とＯＢＪ２の画像ＡおよびＡ１にお
ける位置関係を示す。

【０２９７】この時視聴者がＯＢＪ１に注目して、その
拡大および追跡表示を設定したとき、画角Ｂの大きさで
その領域を画像Ａより切り出して表示する。

【０２９８】表示形態としては、源画像にオーバーレイ
あるいはマルチフレームあるいは画角Ａへのフルスクリ
ーンでの表示等視聴者の設定により各種切り替えられる
ことが望ましい。

【０２９９】切り出した画像にのみ注目すると図１７−
２様に視聴者の注目している画像Ｂの画角でＯＢＪ１を
中心に映し出される。

【０３００】画像Ｂにおけるフレーミングは、例えばイ
ンデックス・ピクチャの形状によりＯＢＪ１の重心を求
め、ＯＢＪ１の画像Ａと画像Ａ１での移動ベクトルを求
めることにより大まかなフレーミングを決めることがで
きる。

【０３０１】この例では、画像Ａ中のＯＢＪ１は右下に
あり画像Ａ１においては左上にある、このことからＯＢ
Ｊ１の移動ベクトルは右下から左上となる。

【０３０２】人間の視覚特性は、注目物の移動方向に広
がり（空間）ある方が良好な印象を得ることから、画角
ＢへＯＢＪ１を表示する際には、画角Ｂの右寄りの位置
に表示されると視覚的に良好な印象が得られることがで
きる。

【０３０３】上記の画角Ｂに対するフレーミングの説明
は非常に簡略化したものであるが、フレーミングを自動
化、最適化するために各種提案されているアルゴリズム
を用いても良い。

【０３０４】この場合、当然であるが画像Ｂの解像度は
画像Ａに対して劣ることになる、従って視聴特性をなる
べく損なわないためには、画像ＡはＨＤＴＶあるいはそ
れ以上の高解像度による高品位映像であることが望まし
く、また画像の補完処理を実施し見かけ上の解像度向
上、画質改善を図ることが望ましい。

【０３０５】追跡機能の他の応用として、マルチアング
ル映像、マルチプレックス映像（タイムシフト映像）、
あるいは注目ビデオ・オブジェクト以外は全く関係の無
いビデオプログラム等の切り替えを行うことも他映像の
リンク・テーブル・データを監視する手段を用意すれば
可能である。

【０３０６】図１１に請求項３の発明によるリンク・テ
ーブル・データの絶対インデックス・オブジェクト定義
について説明する。

【０３０７】インデックス・オブジェクトＯｂｊｅｃｔ
１からｎまであり、ビデオ・オブジェクトのシーンが時
系列Ｎｏ，が１からｍまであるとき。

【０３０８】時系列Ｎｏ，１からｍまでの間、Ｏｂｊｅ
ｃｔ１からｎまでその値が変化しない。例えば、Ｏｂｊ
ｅｃｔ１に注目すると時系列Ｎｏ，１からｍまでその値
は’ｈ０１’（１６進表現）であり、同様にＯｂｊｅｃ
ｔ３は’ｈ０３’である。

【０３０９】このようにビデオプログラムの全編に亘っ
てあるいは、別途リンク・テーブル・データの定義を変
更するまで同一のインデックス・オブジェクト（ビデオ
・オブジェクト）に同一の値を付与する方法を絶対イン
デックス・オブジェクト定義とした。

【０３１０】図１２に請求項４の発明によるリンク・テ
ーブル・データの相対インデックス・オブジェクト定義
について説明する。

【０３１１】インデックス・オブジェクトＯｂｊｅｃｔ
１からｎまであり、ビデオ・オブジェクトのシーンが時
系列Ｎｏ，が１からｍまであったとき。

【０３１２】時系列Ｎｏ，１におけるＯｂｊｅｃｔ１
な’ｈ１１’時系列Ｎｏ，２にでは’ｈ２１’時系列Ｎ
ｏ，ｎでは’ｈ７４’というように、時系列Ｎｏ，によ
りインデックス・オブジェクトの値が異なり、同様にＯ
ｂｊｅｃｔ２に関しては、時系列Ｎｏ，未定義で’ｈ１
２’時系列Ｎｏ，ｎで’ｈ２１’となる。

【０３１３】何れの場合も同一の時系列Ｎｏ，では同一
のインデックス・ピクチャに対して異なる値が付与され
ていれば、該時系列Ｎｏ，でインデックス・オブジェク
ト（ビデオ・オブジェクト）は特定可能である。

【０３１４】このことから、Ｏｂｊｅｃｔｎの様に絶対
インデックス・オブジェクト定義的な定義も可能であ
る。

【０３１５】また、Ｏｂｊｅｃｔ３の様に間欠的に出現
するインデックス・オブジェクトに対して同一の値を付
与することも、他のインデックス・オブジェクトが同一
の時系列Ｎｏ，において同一のインデックス・オブジェ
クト値を持たない限り可能である。

【０３１６】このように、絶対インデックス・オブジェ
クト定義と相対インデックス・オブジェクト定義の混合
定義も可能とする。

【０３１７】図１５に請求項７及び請求項１０の発明に
よる集合インデックス・オブジェクト定義について説明
する。”自転車に乗っている女性”５０のビデオ・オブ
ジェクトは、顔（人物）５１，手袋５２，自転車５３、
ブーツ５４，服装５５の５種類のビデオ・オブジェクト
から構成されている。（もちろん”自転車に乗っている
女性”そのものを１つのインデックス・オブジェクトと
することもできる）

【０３１８】この構成要素５種類の個々が有意（サブ・
コンテンツを付加する意図のある）ビデオ・オブジェク
トであるとすると、「不可視の画素に同一のビデオプロ
グラム中で特定することのできる一の値を付与し、その
一の値で示される不可視の画素の集合で形成される形状
（インデックス・オブジェクト）から構成される」とい
う請求項１の構成に反することになり”自転車に乗って
いる女性”というビデオ・オブジェクトにサブ・コンテ
ンツを付加すると同時に上述５種類のインデックス・オ
ブジェクトにサブ・コンテンツを付加することが難しく
なる。

【０３１９】そこで、上述の５種類のビデオ・オブジェ
クトをまとめて１種類のビデオ・オブジェクトを新たに
認識可能とする方法が必要になる。

【０３２０】この問題の解決方法として、図１０−６で
示すリンク・テーブル・データ構成とすることが考えら
れ、このことにより、上述の５種類のインデックス・オ
ブジェクト（ビデオ・オブジェクト）へ各々のサブ・コ
ンテンツを付加するとともに、”自転車に乗っている女
性”５０というインデックス・オブジェクト（ビデオ・
オブジェクト）の集合体にサブ・コンテンツを付加する
ことが可能であることを示す。

【０３２１】図１０−６を再度詳述すると、（但し、図
１０−６は構成インデックス・オブジェクト数を４種類
としている）ＩＯＶ、ＲＬＶ（１）からＩＯＶ、ＲＬＶ
（４）までの４種類のインデックス・オブジェクトに対
する値と各々のサブ・コンテンツへのリソース情報はＢ
ＴＣ、ＣＴＣで規定される時間に、集合インデックス・
オブジェクトとして存在（ＤＣにて定義）し、集合イン
デックス・オブジェクトに付加されたサブ・コンテンツ
へのリソース情報としてＲＬＶ（Ｇ）を持つ事を定義し
ている。

【０３２２】このリンク・テーブル・データ構成及びＤ
Ｃでの定義を用いることにより、複数のインデックス・
オブジェクトから構成される上位のインデックス・オブ
ジェクトのサブ・コンテンツへのリソース情報の定義を
自在に行うことができる。

【０３２３】

【発明の効果】以上説明したように、本発明によれば、
視聴中のビデオプログラム動画中の逐次的に変化するビ
デオ・オブジェクトに対して多様なサブ・コンテンツを
付加することが可能で、サブ・コンテンツ取得を視聴者
の直感的な操作で行うことができ、且つサブ・コンテン
ツの取得選択性を高めると共に、リンク情報（リンク・
テーブル・データ）やサブ・コンテンツの伝達手段を多
様にする事により視聴者のサブ・コンテンツ選択取得性
を高めることができる。

【図面の簡単な説明】

【図１】「デジタルビデオシステム」、「ビデオ画像に
リンクされた情報の取得方法」の一実施例を示す説明図

【図２】双方向視聴システムの一実施例を示す（双方向
視聴装置は単独）

【図３】双方向視聴システムの一実施例を示す（双方向
視聴装置はＰＣと連帯）

【図４】リンク・テーブル・データの説明図

【図５】双方向視聴装置の一実施例を示すブロック図

【図６】双方向視聴装置の一実施例を示すブロック図

【図７】デコーダ装置一実施例を示すブロック図（デコ
ーダ制御情報の共有）

【図８】デコーダ装置一実施例を示すブロック図

【図９】デコーダ装置一実施例を示すブロック図

【図１０】リンク・テーブル・データ構造の一実施例を
示す説明図

【図１１】インデックス・オブジェクト値の説明図（絶
対値）

【図１２】インデックス・オブジェクト値の説明図（相
対値）

【図１３】リンク・テーブル・データ多様性の説明図

【図１４】リンク・テーブル・データ多様性の説明図

【図１５】集合インデックス・オブジェクト構造の一実
施例を示す説明図

【図１６】ビデオシステム生成部の一実施例を示すブロ
ック図

【図１７】オブジェクト追跡機能の一実施例を示す説明
図

【図１８】メニュー方式（従来の方式）による情報の取
得フローチャート

【図１９】本出願による情報の取得フローチャート

【図２０】従来の方法による情報取得の失敗例フローチ
ャート

【符号の説明】

０１ビデオプログラム０１Ａシーン１のビデオプログラム０１Ｂシーン２のビデオプログラム０１Ｃシーン３のビデオプログラム０２インデックス・ピクチャ０２Ａシーン１のインデックス・ピクチャ０２Ｂシーン２のインデックス・ピクチャ０２Ｃシーン３のインデックス・ピクチャ１０、２０，４０，４０，５０、６０ビデオ・オ
ブジェクト１０ａ、２０ａ、３０ａ、４０ａインデック
ス・オブジェクト０３リンク・テーブル・データ０４サブ・コンテンツ０５多重化ストリーム０６既存サブ・コンテンツ１００生成部１１０ビデオソース１２０ＡＶ符号化圧縮部１３０多重化部１４０インデックス・ピクチャ生成部１５０インデックス・ピクチャ符号化圧縮部１６０サブ・コンテンツ制作１７０サブ・コンテンツ符号化圧縮部（必須ではな
い）１８０リンク・テーブル・データ生成部１９０サーバ装置２００伝達手段２１０伝達媒体（衛星デジタル放送）２２０伝達媒体（地上波デジタル放送）２３０伝達媒体（ＣＡＴＶ網）２４０伝達媒体（光ディスク）２５０伝達媒体（デジタル記録テープ）２６０伝達媒体（ネットワーク（インターネットを
含む））３００双方向視聴装置３５０リモコン装置４００表示装置３０１フロントエンド３０２ストリームＤＭＵＸ３０３ＭＰＥＧ２デコーダ３０４ＡＶデコーダ３０５画像処理３０６Ａｕｄｉｏ出力３０７Ｖｉｄｅｏ出力３０８リンク・テーブル読みとりＩＦ３０９サブ・コンテンツ読みとりＩＦ３１０プログラムメモリ３１１インデックス・ピクチャ・デコーダ３１２コンテンツ変換３１３ネットワーク接続装置３１４リモコン受信部３１５コントローラ（ＣＰＵ）３１６ＣＰＵＢｕｓ３１７ＨＤＤＩＦ３１８ＨＤＤ３５０情報処理装置接続装置３７０外部記憶装置ＩＦ３７１外部記憶装置（着脱可能）

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０４Ｎ 7/32 Ｈ０４Ｎ 7/137 ＺＦターム(参考） 5C023 AA01 AA08 AA38 CA01 5C053 FA14 FA20 FA21 FA29 GA11 GB11 GB38 JA05 LA15 5C059 KK36 MA04 MB03 MB06 MB29 PP05 PP06 PP07 PP16 PP28 RC04 RC16 RC22 SS01 SS02 SS03 SS30 UA02 UA05 5C064 BA07 BB07 BC07 BC17 BC22 BC23 BC25 BD02 BD08

Claims

【特許請求の範囲】

【請求項１】デジタルビデオシステムにおいて、所定の
語長を有する不可視の画素により構成される不可視の画
像レイヤ（インデックス・ピクチャ）を有し、上記イン
デックス・ピクチャは、ビデオプログラム画像中で特定
の被写体（ビデオ・オブジェクト）の形状を示す領域を
形成する不可視の画素に同一のビデオプログラム中で特
定することのできる一の値を付与し、その一の値で示さ
れる不可視の画素の集合で形成される形状（インデック
ス・オブジェクト）から構成される、上記インデックス
・ピクチャとインデックス・ピクチャの生成源であるビ
デオプログラム映像を伝達する手段及び同期再生する手
段を有するデジタルビデオシステム。
【請求項２】デジタルビデオ信号において、所定の語長
を有する不可視の画素により構成される不可視の画像レ
イヤ（インデックス・ピクチャ）を有し、上記インデッ
クス・ピクチャはビデオプログラム画像中で特定の被写
体（ビデオ・オブジェクト）の形状を示す領域を形成す
る不可視の画素に同一のビデオプログラム中で特定する
ことのできる一の値を付与し、その一の値で示される不
可視の画素の集合で形成される形状（インデックス・オ
ブジェクト）から構成され、上記ビデオプログラム画像
中のビデオ・オブジェクトにリンク或いは付加しようと
する副情報（サブ・コンテンツ）へのアクセス情報を上
記インデックス・オブジェクトの持つ一の値に関連づけ
て定義するリンク・テーブル・データを有し、上記イン
デックス・ピクチャとインデックス・ピクチャの生成源
であるビデオプログラム映像を伝達する手段及び同期再
生する手段を有し、視聴中のビデオプログラムにインデ
ックス・オブジェクトが重畳されていることを明示的に
示す手段を備え、視聴者が再生されているビデオプログ
ラム中のインデックス・オブジェクトが重畳されている
ビデオ・オブジェクトを指示するポインティング手段を
有し、ポインティング手段により指定されたビデオ・オ
ブジェクトに対応するインデックス・オブジェクトが持
つ一の値からリンク・テーブル・データを参照する手段
を有し、参照されたリンク・テーブル・データに定義さ
れたサブ・コンテンツのアクセス情報に基づきサブ・コ
ンテンツを取得する手段を有し、取得したサブ・コンテ
ンツを表示或いは記録する手段を有するビデオ画像にリ
ンクされた情報の取得方式。
【請求項３】請求項２に記載のビデオ画像にリンクされ
た情報の取得方式において、同一のビデオ・オブジェク
ト或いは同一のサブ・コンテンツを取得する目的を有す
るビデオ・オブジェクトを示すインデックス・オブジェ
クトに該ビデオプログラム中で同一の固有値を付与した
ビデオ画像にリンクされた情報の取得方式。
【請求項４】請求項３に記載のビデオ画像にリンクされ
た情報の取得方式において同一のビデオプログラム中で
同一のビデオ・オブジェクト或いは同一のサブ・コンテ
ンツを取得する目的を有するビデオ・オブジェクトを示
すインデックス・オブジェクトに付与された固有値とサ
ブ・コンテンツのアクセス情報（リソース情報）を関連
づけて定義するリンク・テーブルを有するビデオ画像に
リンクされた情報の取得方式
【請求項５】請求項２に記載のビデオ画像にリンクされ
た情報の取得方式において、特定のビデオ・オブジェク
ト或いは同一のサブ・コンテンツを取得する目的を有す
るビデオ・オブジェクトを示すインデックス・オブジェ
クトに該ビデオプログラムの時系列上の一点で特定する
ことのできる固有の値を付与したビデオ画像にリンクさ
れた情報の取得方式
【請求項６】請求項５に記載のビデオ画像にリンクさ
れた情報の取得方式において、特定のビデオ・オブジェ
クト或いは同一のサブ・コンテンツを取得する目的を有
するビデオ・オブジェクトを示すインデックス・オブジ
ェクトに付与された該ビデオプログラムの時系列上の一
点で特定することのできる固有の値と、その時系列を特
定する情報とサブ・コンテンツのアクセス情報（リソー
ス情報）を関連づけて定義するリンク・テーブルを有す
るビデオ画像にリンクされた情報の取得方式
【請求項７】請求項４〜請求項６に記載のビデオ画像に
リンクされた情報の取得方式において、複数のインデッ
クス・オブジェクトに対するリンク・テーブル・データ
を連結してグループを生成する手段、あるいは複数のイ
ンデックス・オブジェクトに対するリンク・テーブル・
データ連結して新たなリンク・テーブル・データを生成
する手段を有するビデオ画像にリンクされた情報の取得
方式
【請求項８】請求項４〜請求項６および請求項７に記載
のビデオ画像にリンクされた情報の取得方式において、
リンク・テーブル・データにサブ・コンテンツの属性情
報を定義する手段を有するビデオ画像にリンクされた情
報の取得方式。
【請求項９】生成系として、ビデオプログラム画像中で
情報をリンク或いは付加しようとする被写体（ビデオ・
オブジェクト）の形状を抽出する手段、上記抽出された
ビデオ・オブジェクトの形状を示す領域を形成する不可
視の画素に、同一のビデオプログラムで特定することの
できる一の値を付与されたインデックス・オブジェクト
を生成する手段、上記同一のビデオプログラムで特定す
ることのできる一の値で示される不可視の画素の集合で
形成される形状（インデックス・オブジェクト）の集合
から構成される画像（インデックス・ピクチャ）を圧縮
符号化する手段から成るインデックス・ピクチャ・スト
リーム生成手段と、上記ビデオプログラム画像中のビデ
オ・オブジェクトにリンクしようとする情報（サブ・コ
ンテンツ）へのアクセス情報を上記インデックス・オブ
ジェクトの持つ一の値に関連づけて定義するリンク・テ
ーブルを生成するリンク・テーブル・データ生成手段
と、インデックス・ピクチャ・ストリームの生成する源
画像であるビデオプログラムを圧縮符号化するＡＶ（Ａ
ｕｄｉｏ／Ｖｉｄｅｏ）ストリーム生成手段から成る生
成手段と、伝達媒体として、衛星デジタル放送、地上波
デジタル放送の放送媒体、あるいはＤＶＤ、Ｖｉｄｅｏ
ＣＤ、ＣＤＲＯＭ、デジタル・ビデオ・テープ等のパッ
ケージ媒体、ＣＡＴＶ網またはインターネット等のコン
ピュータネットワーク網等の通信媒体により、上記ＡＶ
ストリーム、インデックス・ピクチャ・ストリーム、リ
ンク・テーブル・データ及びサブ・コンテンツの各々を
同一のあるいは異なる伝達媒体により視聴者の選択自在
に伝達する伝達手段と、再生系として、上記伝達手段に
より伝達されたＡＶストリームをデコード及びビデオ出
力する手段と、上記伝達手段により伝達されたインデッ
クス・ピクチャ・ストリームをＡＶストリームと同期再
生する手段と、デコード、再生されたビデオプログラム
の画像に対して、同期再生されたインデックス・オブジ
ェクトの形状により視覚効果を付与しビデオ出力する手
段と、視聴者が表示されている画像中の上記インデック
ス・オブジェクトの形状により視覚効果を付与されたビ
デオ・オブジェクトを指定するポインティング手段と、
選択されたビデオ・オブジェクトあるいはインデックス
・オブジェクトとリンク・データ・テーブルを関係付け
る手段と、選択されたインデックス・オブジェクトにリ
ンクされたサブ・コンテンツのアクセス情報をリンク・
テーブルから取得する手段と、サブ・コンテンツへのア
クセス情報に基づき各種伝達媒体を介してサブ・コンテ
ンツを取得しビデオ出力あるいは記憶装置に記録する手
段から成る再生手段、上記、生成手段、伝達手段、再生
手段から構成される双方向視聴システム。
【請求項１０】請求項９に記載の双方向視聴システムの
生成系において、複数のインデックス・オブジェクトの
集合から形成されるインデックス・オブジェクトを集合
インデックス・オブジェクトとして、集合を形成する各
々のインデックス・オブジェクト相互間の関係をグルー
プとしてあるいは見かけ上同一のインデックス・オブジ
ェクトとしてリンク・テーブル・データに定義する手段
を有する双方向視聴システム。
【請求項１１】請求項９に記載の双方向視聴システムの
生成系において、リンク・テーブルを生成する際に個別
のインデックス・オブジェクトあるいは集合インデック
ス・オブジェクトに、サブ・コンテンツの再生方法を定
義する制御コード、あるいはビデオプログラムを特定す
るプログラムコードあるいは内容、種別、制作者等の情
報を分類コード等を、リンク・テーブル・データに定義
コードとして定義する手段を有する双方向視聴システ
ム。
【請求項１２】請求項９に記載の双方向視聴システムに
おいて、同一のインデックス・オブジェクト或いは集合
インデックス・オブジェクトのリンク・テーブル・デー
タに複数のサブ・コンテンツを付加する手段を有するこ
とを特徴とする双方向視聴システム。
【請求項１３】請求項９に記載の双方向視聴システムに
おいて、請求項１０〜請求項１２に記載するインデック
ス・オブジェクトの構造定義手段を複合してリンク・テ
ーブル・データに定義する手段を有する事を特徴とする
双方向視聴システム。
【請求項１４】請求項９〜請求項１３に記載の双方向視
聴システムにおいて、ビデオプログラムの圧縮符号化と
インデックス・ピクチャの圧縮符号化に同一の方式によ
る圧縮符号化を行うことを特徴とする双方向視聴システ
ム。
【請求項１５】請求項１４に記載の双方向視聴システム
において、ビデオプログラムの圧縮符号化とインデック
ス・ピクチャの圧縮符号化方式として国際標準となって
いるＭＰＥＧ２方式を使用することを特徴とする双方向
視聴システム。
【請求項１６】請求項１５に記載の双方向視聴システム
において、ビデオプログラムの圧縮符号化とインデック
ス・ピクチャの圧縮符号化方式として国際標準となって
いるＭＰＥＧ２方式を使用し、ビデオプログラムとイン
デックス・ピクチャの各々の再生基準時間信号及び、
Ｉ，Ｐ，Ｂの各フレームの発生タイミングを同一とし、
かつ動き補償データを共有することを特徴とする双方向
視聴システム。
【請求項１７】請求項１４及び請求項１５に記載の双方
向視聴システムの生成系において、符号化圧縮されたＡ
Ｖストリームとインデックス・ピクチャ・ストリーム及
びリンク・テーブル・データの各々に再生基準時間信号
を付加する事を特徴とする双方向視聴システム。
【請求項１８】請求項９に記載の双方向視聴システムの
生成系において、ビデオプログラムの圧縮符号化にＭＰ
ＥＧ２方式を用い、インデックス・ピクチャの圧縮符号
化をＭＰＥＧ１方式或いはＤＶフォーマット等のフレー
ム内圧縮符号化方式、あるいは、直線や曲線、円、多角
形等の関数及びその組み合わせによる領域定義と定義さ
れた領域のフレーム間移動関数の組み合わせによる符号
化方式など、ＭＰＥＧ２以外の方式により圧縮符号化を
行うことを特徴とする双方向視聴システム。
【請求項１９】請求項９〜請求項１８に記載の双方向視
聴システムの伝達系において、再生基準時間信号を有す
るインデックス・ピクチャ・ストリームの伝達媒体とし
て地上波デジタル放送を使用する双方向視聴システム。
【請求項２０】請求項９〜請求項１８に記載の双方向視
聴システムの伝達系において、再生基準時間信号を有す
るインデックス・ピクチャ・ストリームの伝達媒体とし
て衛星デジタル放送を使用する双方向視聴システム。
【請求項２１】請求項９〜請求項１８に記載の双方向視
聴システムの伝達系において、再生基準時間信号を有す
るインデックス・ピクチャ・ストリームの伝達媒体とし
てＤＶＤ、ｖｉｄｅｏＣＤ、ＣＤＲＯＭ、デジタルビデ
オテープ等のパッケージ媒体を使用する双方向視聴シス
テム。
【請求項２２】請求項９〜請求項１８に記載の双方向視
聴システムの伝達系において、再生基準時間信号を有す
るインデックス・ピクチャ・ストリームの伝達媒体とし
てＣＡＴＶ網を使用する双方向視聴システム。
【請求項２３】請求項９〜請求項１８に記載の双方向視
聴システムの伝達系において、再生基準時間信号を有す
るインデックス・ピクチャ・ストリームの伝達媒体とし
てコンピュータネットワーク等の通信網を使用する双方
向視聴システム。
【請求項２４】請求項９〜請求項１８に記載の双方向視
聴システムの伝達系において、ＡＶストリーム、インデ
ックス・ピクチャ・ストリーム、リンク・テーブル・デ
ータ、サブ・コンテンツの内少なくともＡＶストリーム
及びインデックス・ピクチャ・ストリームの伝達媒体と
して地上波デジタル放送の同一のチャネルを使用する双
方向視聴システム。
【請求項２５】請求項９〜請求項１８に記載の双方向視
聴システムの伝達系において、ＡＶストリーム、インデ
ックス・ピクチャ・ストリーム、リンク・テーブル・デ
ータ、サブ・コンテンツの内少なくともＡＶストリーム
及びインデックス・ピクチャ・ストリームの伝達媒体と
して衛星デジタル放送の同一のチャネルを使用する双方
向視聴システム。
【請求項２６】請求項９〜請求項１８に記載の双方向視
聴システムの伝達系において、ＡＶストリーム、インデ
ックス・ピクチャ・ストリーム、リンク・テーブル・デ
ータ、サブ・コンテンツの内少なくともＡＶストリーム
及びインデックス・ピクチャ・ストリームの伝達媒体と
してＤＶＤ、ｖｉｄｅｏＣＤ、ＣＤＲＯＭ、デジタルビ
デオテープ等のパッケージ媒体で同一のパッケージを使
用する双方向視聴システム。
【請求項２７】請求項９〜請求項１８に記載の双方向視
聴システムの伝達系において、ＡＶストリーム、インデ
ックス・ピクチャ・ストリーム、リンク・テーブル・デ
ータ、サブ・コンテンツの内少なくともＡＶストリーム
及びインデックス・ピクチャ・ストリームの伝達媒体と
してＣＡＴＶ網の同一のチャネルを使用する双方向視聴
システム。
【請求項２８】請求項９〜請求項１８に記載の双方向視
聴システムの伝達系において、ＡＶストリーム、インデ
ックス・ピクチャ・ストリーム、リンク・テーブル・デ
ータ、サブ・コンテンツの内少なくともＡＶストリーム
及びインデックス・ピクチャ・ストリームの伝達媒体と
してコンピュータネットワーク等の通信網を使用する双
方向視聴システム。
【請求項２９】請求項９〜請求項２８に記載の双方向視
聴システムの伝達系において、再生基準時間信号を有す
るリンク・テーブル・データの伝達媒体として地上波デ
ジタル放送を使用する双方向視聴システム。
【請求項３０】請求項９〜請求項２８に記載の双方向視
聴システムの伝達系において、再生基準時間信号を有す
るリンク・テーブル・データの伝達媒体として衛星デジ
タル放送を使用する双方向視聴システム。
【請求項３１】請求項９〜請求項２８に記載の双方向視
聴システムの伝達系において、再生基準時間信号を有す
るリンク・テーブル・データの伝達媒体としてＤＶＤ、
ｖｉｄｅｏＣＤ、ＣＤＲＯＭ、デジタルビデオテープ等
のパッケージ媒体を使用する双方向視聴システム。
【請求項３２】請求項９〜請求項２８に記載の双方向視
聴システムの伝達系において、再生基準時間信号を有す
るリンク・テーブル・データの伝達媒体としてＣＡＴＶ
網を使用する双方向視聴システム。
【請求項３３】請求項９〜請求項２８に記載の双方向視
聴システムの伝達系において、再生基準時間信号を有す
るリンク・テーブル・データの伝達媒体としてコンピュ
ータネットワーク等の通信網を使用する双方向視聴シス
テム。
【請求項３４】請求項９〜請求項３３に記載の双方向視
聴システムの伝達系において、サブ・コンテンツの伝達
媒体として地上波デジタル放送を使用するする双方向視
聴システム。
【請求項３５】請求項９〜請求項３３に記載の双方向視
聴システムの伝達系において、サブ・コンテンツの伝達
媒体として衛星デジタル放送を使用する双方向視聴シス
テム。
【請求項３６】請求項９〜請求項３３に記載の双方向視
聴システムの伝達系において、サブ・コンテンツの伝達
媒体としてＤＶＤ、ｖｉｄｅｏＣＤ、ＣＤＲＯＭ等のパ
ッケージ媒体を使用する双方向視聴システム。
【請求項３７】請求項９〜請求項３３に記載の双方向
視聴システムの伝達系において、サブ・コンテンツの伝
達媒体としてＣＡＴＶ網を使用する双方向視聴システ
ム。
【請求項３８】請求項９〜請求項３３に記載の双方向視
聴システムの伝達系において、サブ・コンテンツの伝達
媒体としてコンピュータネットワーク等の通信網を使用
する双方向視聴システム。
【請求項３９】請求項９〜請求項３８に記載の双方向視
聴システムの伝達系において、ＡＶストリーム、インデ
ックス・ピクチャ・ストリーム、リンク・テーブル・デ
ータの各々のデータが、単独あるいは組み合わされて、
ＡＶストリーム（ビデオプログラム）と同期再生可能に
地上波デジタル放送、衛星デジタル放送等の放送媒体、
あるいはＤＶＤ、ＶｉｄｅｏＣＤ、ＣＤＲＯＭ、デジタ
ル記録テープ等のパッケージ媒体、ＣＡＴＶ網、コンピ
ュータネットワーク網等の通信媒体のいずれかにより視
聴者に伝達され、再生あるいは記録されることを特徴と
する双方向視聴システム。
【請求項４０】地上波デジタル放送、衛星デジタル放送
等の放送媒体から送信されるＡＶストリーム、インデッ
クス・ピクチャ・ストリーム、リンク・テーブル・デー
タ、サブ・コンテンツ・データの内、少なくともＡＶス
トリームを受信、デコード、出力する手段を有し、イン
デックス・ピクチャ・ストリーム、リンク・テーブル・
データをＡＶストリームが伝達された同一チャネルの放
送媒体或いは別チャネルによる放送媒体あるいはＤＶ
Ｄ、ＶｉｄｅｏＣＤ、ＣＤＲＯＭ、デジタル記録テープ
等のパッケージ媒体、ＣＡＴＶ網、コンピュータネット
ワーク網等の通信媒体のいずれかにより取得、デコード
或いは再生する手段を有し、上記画像中にリンクされた
情報を検索するデータにより画像中にリンクされた情報
の取得を、視聴者が指定する手段により、指定されたサ
ブ・コンテンツ・データを取得し、デコード、出力ある
いは再生出力あるいは記録する手段を有するデジタル放
送のＩＲＤ（Integreated Receiver/Decoder）あるい
はＳＴＢ（SetTop Box）装置としての双方向視聴装
置。
【請求項４１】ＤＶＤ、ＶｉｄｅｏＣＤ、ＣＤＲＯＭ等
のパッケージ媒体あるいは追記録可能なディスク媒体に
記録されたＡＶストリーム、インデックス・ピクチャ・
ストリーム、リンク・テーブル・データ、サブ・コンテ
ンツ・データの内、少なくともＡＶストリームを取得、
デコード、出力する手段を有し、インデックス・ピクチ
ャ・ストリーム、リンク・テーブル・データを上記パッ
ケージ媒体あるいは地上波デジタル放送、衛星デジタル
放送等の放送媒体、ＣＡＴＶ網、コンピュータネットワ
ーク網等の通信媒体のいずれかにより取得、デコードす
る手段を有し、上記画像中にリンクされた情報を検索す
るデータにより、画像中にリンクされた情報の取得を、
視聴者が指定する手段により、指定されたサブ・コンテ
ンツ・データを取得し、デコード、出力あるいは再生出
力、或いは他の情報処理装置への伝達、或いは記録する
手段を有するＤＶＤ、ＶｉｄｅｏＣＤ、ＣＤＲＯＭの再
生装置としての双方向視聴装置。
【請求項４２】ＣＡＴＶ網から配信されたＡＶストリー
ム、インデックス・ピクチャ・ストリーム、リンク・テ
ーブル・データ、サブ・コンテンツ・データの内、少な
くともＡＶストリームを取得、デコード、出力する手段
を有し、インデックス・ピクチャ・ストリーム、リンク
・テーブル・データを上記ＣＡＴＶ網、放送媒体、パッ
ケージ媒体、通信媒体等により取得、デコードする手段
を有し、上記画像中にリンクされた情報を検索するデー
タにより、画像中にリンクされた情報の取得を、視聴者
が指定する手段により、指定されたサブ・コンテンツ・
データを取得し、デコード、出力あるいは、他の情報処
理装置への伝達、或いは記録する手段を有するＣＡＴＶ
網のＳＴＢあるいはＩＲＤ装置としての双方向視聴装
置。
【請求項４３】コンピュータネットワーク網から供給さ
れたＡＶストリーム、インデックス・ピクチャ・ストリ
ーム、リンク・テーブル・データ、サブ・コンテンツ・
データの内、少なくともＡＶストリームを取得、デコー
ド、出力する手段を有し、インデックス・ピクチャ・ス
トリーム、リンク・テーブル・データを上記放送媒体、
パッケージ媒体、通信媒体等により取得、デコードする
手段を有し、上記画像中にリンクされた情報を検索する
データにより、画像中にリンクされた情報の取得を、視
聴者が指定する手段により、指定されたサブ・コンテン
ツ・データを取得し、デコード、出力あるいは、他の情
報処理装置への伝達、或いは記録する手段を有するコン
ピュータネットワーク端末装置としての双方向視聴装
置。
【請求項４４】請求項４０〜請求項４３および請求項４
６〜請求項５３に記載されるデジタル放送のＳＴＢ／Ｉ
ＲＤ装置、ＤＶＤ再生装置、ＣＡＴＶのＳＴＢ／ＩＲＤ
装置、コンピュータネットワーク端末装置等の双方向視
聴装置において、ビデオプログラムを特定する情報（プ
ログラムＩＤ）、リンク・テーブル・データ、サブ・コ
ンテンツの内、の少なくとも視聴者の選択したリンク・
テーブル・データあるいはリンク・テーブル・データ中
のサブ・コンテンツへのリソースデータを双方向視聴装
置の具備するあるいは外部に接続された記憶媒体に記録
する手段を有し、視聴者の操作により記録されているリ
ンク・テーブル・データあるいはリンク・テーブル・デ
ータ中のサブ・コンテンツへのリソースデータを読み出
す手段を有し、読み出されたリンク・テーブル・データ
あるいはリンク・テーブル・データ中のサブ・コンテン
ツへのリソースデータに基づきサブ・コンテンツを取
得、デコード、表示を行う、あるいは取得したサブ・コ
ンテンツを双方向視聴装置の具備するあるいは外部に接
続された記憶媒体に記録する手段を有する双方向視聴装
置。
【請求項４５】請求項４４の双方向視聴装置で、リンク
・テーブル・データあるいはリンク・テーブル・データ
中のサブ・コンテンツへのリソースデータあるいはリン
ク・テーブル・データとサブ・コンテンツを記録する記
録媒体を双方向視聴装置あるいは外部記憶装置から着脱
可能とする手段を有した双方向視聴装置。
【請求項４６】請求項４４〜請求項４５双方向視聴装置
において、記録されたリンク・テーブル・データあるい
は、リンク・テーブル・データとサブ・コンテンツを視
聴者が独自に編集、生成、記憶する手段を有し、該ビデ
オプログラムを再度再生する際に上記記憶した視聴者定
義によるリンク・テーブル・データを参照したサブ・コ
ンテンツの取得、表示し、あるいは取得したサブ・コン
テンツを双方向視聴装置の具備するあるいは外部の記憶
媒体に記録する手段を有する双方向視聴装置。
【請求項４７】ＡＶストリーム、インデックス・ピクチ
ャ・ストリーム、リンク・テーブル・データ、サブ・コ
ンテンツの内少なくともＡＶストリーム、インデックス
・ピクチャ・ストリームを上記放送媒体、パッケージ媒
体、通信媒体から取得し、再生および記録する手段を有
するデジタルビデオテープレコーダ（ＤＶＨＳ）装置と
しての双方向視聴装置。
【請求項４８】ＡＶストリーム、インデックス・ピクチ
ャ・ストリーム、リンク・テーブル・データ、サブ・コ
ンテンツの内少なくともＡＶストリーム、インデックス
・ピクチャ・ストリームを上記放送媒体、パッケージ媒
体、通信媒体から取得し、再生および記録する手段を有
し、記録したＡＶストリームのインデックス・ピクチャ
のインデックス・オブジェクトに対するリンク・テーブ
ル・データを生成、編集、追記録する手段を有するデジ
タルビデオテープレコーダ（ＤＶＨＳ）装置としての双
方向視聴装置
【請求項４９】ＡＶストリーム、インデックス・ピクチ
ャ・ストリーム、リンク・テーブル・データ、サブ・コ
ンテンツの内、少なくともＡＶストリーム、インデック
ス・ピクチャ・ストリームを上記放送媒体、パッケージ
媒体、通信媒体から取得する手段を有し、取得したＡＶ
ストリーム、インデックス・ピクチャ・ストリームの符
号化圧縮方式をＭＰＥＧ２圧縮方式からＤＶフォーマッ
トの圧縮符号化方式（フレーム内圧縮）に変換して記
録、再生する手段を有するＤＶレコーダ装置としての双
方向視聴装置。
【請求項５０】ＡＶストリーム、インデックス・ピクチ
ャ・ストリーム、リンク・テーブル・データ、サブ・コ
ンテンツの内、少なくともＡＶストリーム、インデック
ス・ピクチャ・ストリームを上記放送媒体、パッケージ
媒体、通信媒体から取得する手段を有し、取得したＡＶ
ストリーム、インデックス・ピクチャ・ストリームの符
号化圧縮方式をＭＰＥＧ２圧縮方式からＤＶフォーマッ
トの圧縮符号化方式（フレーム内圧縮）に変換して記
録、再生する手段を有し、リンク・テーブル・データあ
るいはサブ・コンテンツ・データを上記放送媒体、パッ
ケージ媒体、通信媒体等から取得し追記録及び再生する
手段を有するＤＶレコーダ装置としての双方向視聴装
置。
【請求項５１】ＡＶストリーム、インデックス・ピクチ
ャ・ストリーム、リンク・テーブル・データ、サブ・コ
ンテンツの内、少なくともＡＶストリーム、インデック
ス・ピクチャ・ストリーム、リンク・テーブル・データ
を上記放送媒体、パッケージ媒体、通信媒体から取得す
る手段を有し、取得したＡＶストリーム、インデックス
・ピクチャ・ストリームの符号化圧縮方式をＭＰＥＧ２
圧縮方式からＤＶフォーマットの圧縮符号化方式（フレ
ーム内圧縮）に変換して記録、再生する手段を有し、記
録されたリンク・テーブル・データあるいはサブ・コン
テンツ・データを編集、生成し記録再生する手段を有す
るＤＶレコーダ装置としての双方向視聴装置。
【請求項５２】ＡＶストリーム、インデックス・ピクチ
ャ・ストリーム、リンク・テーブル・データ、サブ・コ
ンテンツの内、少なくともＡＶストリーム、インデック
ス・ピクチャ・ストリームを上記放送媒体、パッケージ
媒体、通信媒体から取得し、光ディスク媒体に記録し再
生する手段を有するデジタル光ディスク・レコーダ（Ｄ
ＶＲ）装置としての双方向視聴装置。
【請求項５３】ＡＶストリーム、インデックス・ピクチ
ャ・ストリーム、リンク・テーブル・データ、サブ・コ
ンテンツの内、少なくともＡＶストリーム、インデック
ス・ピクチャ・ストリーム、リンク・テーブル・データ
を上記放送媒体、パッケージ媒体、通信媒体から取得
し、光ディスク媒体に記録し再生する手段を有し、記録
されたリンク・テーブル・データを編集、生成し記録、
再生する手段を有するデジタル光ディスク・レコーダ
（ＤＶＲ）装置としての双方向視聴装置。
【請求項５４】地上波デジタル放送、衛星デジタル放送
等の放送媒体あるいはＣＡＴＶ網から定時プログラム放
送されたビデオプログラムを受信したＡＶストリーム、
インデックス・ピクチャ・ストリーム、リンク・テーブ
ル・データ、サブ・コンテンツ等のデータを双方向視聴
装置に具備する記録媒体に記録可能で、記録されたＡＶ
ストリーム、インデックス・ピクチャ・ストリーム、リ
ンク・テーブル・データあるいはサブ・コンテンツ・デ
ータを等速を含む変速再生を行う手段を有するデジタル
放送あるいはＣＡＴＶ網のＩＲＤまたはＳＴＢとしての
双方向視聴装置。
【請求項５５】地上波デジタル放送、衛星デジタル放送
等の放送媒体、あるいはＣＡＴＶ網からの定時プログラ
ム放送されたビデオプログラムのＡＶストリーム、イン
デックス・ピクチャ・ストリーム、リンク・テーブル・
データあるいはサブ・コンテンツ等のデータの受信手段
と、パーソナル・コンピュータ（ＰＣ）あるいはインタ
ーネット接続端末等の情報処理装置間を上記受信したＡ
Ｖストリーム、インデックス・ピクチャ・ストリーム、
リンク・テーブル・データ、サブ・コンテンツデータ等
のデータを双方向同時伝送を行える伝送容量を持つ伝送
手段と、ＰＣあるいはインターネット接続端末等の情報
処理装置の具備する記憶装置を記憶媒体として書き込み
及び読み出しを行う手段と、読み出しを行ったＡＶスト
リーム、インデックス・ピクチャ・ストリーム、リンク
・テーブル・データの等速再生を含む変速再生手段から
構成されるデジタル放送あるいはＣＡＴＶ網のＩＲＤま
たはＳＴＢとしての双方向視聴装置。
【請求項５６】請求項４０〜請求項５５に記載の双方向
視聴装置おいて、上記放送媒体、通信媒体、パッケージ
媒体により伝達されたビデオプログラムの視聴中に視聴
者が選択したサブ・コンテンツを指定の手段により取得
し、、取得したサブ・コンテンツがコンピュータネット
ワークで一般的に使用されるプレゼンテーションツール
（ＸＭＬ、ＨＴＭＬ、Ｊａｖａ、ＶＲＭＬ、あるいは将
来規定されるマークアップランゲージ）で記述されるサ
ブ・コンテンツであれば、その構造を解析し、記述され
る画像、動画、音声等の情報を取得、再生（デコード）
し、記述された効果を付与し、記述された構造の表示フ
レームを構成し、あるいは双方向視聴システムの再生系
に接続された表示装置の特性に適した表示フレームを構
成し、タグあるいはホットスポット等で示される他コン
テンツへのリンク機能を表示フレームに配する手段を有
し、上記表示フレームを再生出力する手段を有する双方
向視聴装置。
【請求項５７】請求項４０〜請求項５５に記載の双方向
視聴装置において、ＡＶストリームを伝送するに十分な
通信容量を持つ接続手段でパーソナルコンピュータ（Ｐ
Ｃ）あるいはインターネット接続端末等の情報処理装置
と接続され、上記放送媒体、通信媒体、パッケージ媒体
により伝達されたビデオプログラムの視聴中に視聴者が
選択したサブ・コンテンツのアクセス情報をＰＣあるい
はインターネット接続端末等の情報処理装置へ送信する
手段を有し、ＰＣあるいはインターネット接続端末等の
情報処理装置は、受信したアクセス情報に基づき、ＰＣ
あるいはインターネット接続端末等の情報処理装置が具
備するサブ・コンテンツを取得する手段（コンピュータ
ネットワーク接続手段、インターネットを含む）によ
り、コンピュータネットワークから取得したコンピュー
タネットワークで一般的に使用されるプレゼンテーショ
ンツール（ＸＭＬ、ＨＴＭＬ、Ｊａｖａ、ＶＲＭＬ、あ
るいは将来規定されるマークアップランゲージ）で記述
されるサブ・コンテンツの構造を解析し、記述される画
像、動画、音声等の情報を取得、再生（デコード）し、
記述された効果を付与し、記述された構造の表示フレー
ムを構成し、あるいは上記双方向視聴システムの再生系
に接続された表示装置の特性に適した表示フレームを構
成し、タグあるいはホットスポット等で示される他コン
テンツへのリンク機能を表示フレームに配する手段を有
し、構成されたサブ・コンテンツを表す表示フレームを
ＭＰＥＧ２圧縮符号化方式あるいはＡＶストリームの圧
縮に使用している圧縮符号化方式に基づいて圧縮符号化
するフォーマット変換手段を有し、上記フォーマット変
換手段により生成した圧縮符号化されたサブ・コンテン
ツを上記接続手段でＰＣあるいはインターネット接続端
末等の情報処理装置から取得し、取得した圧縮符号化さ
れたサブ・コンテンツをＡＶストリームをデコードする
手段によりデコード、再生出力する手段を有する双方向
視聴装置。
【請求項５８】請求項４０〜請求項５７に記載の双方向
視聴装置において、デコードされたビデオプログラムの
画像に対して、デコードされたインデックス・オブジェ
クトの形状により、該ビデオ・オブジェクトに対して枠
付け、陰付け等により疑似立体視化あるいはハイライ
ト、フリック等による輝度変調、輝度変化等の視覚効果
を付与し表示する画像処理手段を有する双方向視聴装
置。
【請求項５９】請求項５８に記載の双方向視聴装置にお
いて、デコードされたビデオプログラムの画像に対し
て、ポインティング手段で表示されるカーソルが、デコ
ードされたインデックス・オブジェクトの存在する領域
に重なった時に該インデックス・オブジェクトの形状に
より、該ビデオ・オブジェクトに対して枠付け、陰付け
等により疑似立体視化あるいはハイライト、フリック等
による輝度変調、輝度変化等の視覚効果を付与しインデ
ックス・オブジェクトの存在を視聴者に告知する画像処
理手段を有する双方向視聴装置。
【請求項６０】請求項４０〜請求項５９に記載の双方向
視聴装置において、デコードされたビデオプログラムの
画像に対して、ポインティング手段で表示されるカーソ
ルが、デコードされたインデックス・オブジェクトの存
在する領域に重なった時にリンク・テーブル・データに
重畳されたサブ・コンテンツ概要をオンスクリーン表示
する手段を有する双方向視聴装置。
【請求項６１】請求項４０〜請求項６０に記載の双方向
視聴装置において、表示されているビデオプログラムの
画像にサブ・コンテンツを取得する情報が重畳されてい
ることを示すアイコンを視聴者の視聴を妨げない位置に
表示する手段を有する双方向視聴装置。
【請求項６２】請求項４０〜請求項６１に記載の双方向
視聴装置において、視聴者がポインティング手段で指定
したインデックス・オブジェクトのサブ・コンテンツ概
要をリンク・テーブル・データから取得しオン・スクリ
ーン・ディスプレイで文字あるいはアイコンで表示する
手段を有する双方向視聴装置。
【請求項６３】請求項４０〜請求項６２に記載の双方向
視聴装置において、リンク・テーブル・データに重畳さ
れたオブジェクトを体系的に分類した分類コードを視聴
者が指定する手段を有し、指定された分類コードが付加
されているインデックス・オブジェクトのみに視覚効果
やサブ・コンテンツ概要告知を行う手段あるいは指定外
の分類コードを持つインデックス・オブジェクトと異な
る手段の視覚効果を付与する手段を有する双方向視聴装
置。
【請求項６４】請求項４０〜請求項５３に記載の双方向
視聴装置において、体系化され各種のビデオプログラム
で共通に使用される分類コードの選択傾向を記憶し、選
択頻度の高い分類コードが付与されたインデックス・オ
ブジェクトを指定された場合に視覚効果で表示する、学
習手段を有する双方向視聴装置。
【請求項６５】請求項４０〜請求項６４に記載の双方向
視聴装置において、視聴者があらかじめ指定した分類コ
ードが付与されたインデックス・オブジェクトのサブ・
コンテンツを自動収集する手段と自動収集したサブ・コ
ンテンツを記憶する手段を有し、視聴者の操作により該
自動収集したサブ・コンテンツを表示、出力する手段を
有する双方向視聴装置。
【請求項６６】請求項４０〜請求項６５に記載の双方向
視聴装置において、デコードされたビデオプログラムの
画像に対して、デコードされたインデックス・オブジェ
クトのリンク・テーブル・データに重畳された再生画像
処理情報を奥行き情報として、各種提案されている立
体視化プロセスのアルゴリズムでインデックス・オブジ
ェクトで定義される領域の画像を、左右眼それぞれに対
する画素変移量を求め立体視画像を出力する手段及び立
体視化に伴う視角欠損領域を補完する手段を有する双方
向視聴装置。
【請求項６７】請求項４０〜請求項６６に記載の双方向
視聴装置において、選択されたインデックス・オブジェ
クトの近傍を含む領域を固定倍率あるいは任意の倍率で
拡大表示し、また、各種提案されている被写体追跡アル
ゴリズムにより移動する対象ビデオ・オブジェクトを追
跡表示する手段を有する双方向視聴装置。
【請求項６８】請求項９〜請求項１８に記載の双方向視
聴システムにおいて、ＡＶストリーム、インデックス・
ピクチャ・ストリーム、リンク・テーブル・データ、サ
ブ・コンテンツの内、少なくともＡＶストリームとイン
デックス・ピクチャ・ストリームの各々を関連づけて、
同一のチャネルから放送する衛星デジタル放送、地上波
デジタル放送の放送システムとする双方向視聴システ
ム。
【請求項６９】ＡＶデコーダでデコードしたデジタル
ビデオ信号およびＡＶストリームの再生同期信号および
インデックス・ピクチャ・ストリームを入力する手段、
インデックス・ピクチャ・ストリームをＡＶデコーダか
らの再生制御信号に同期してデコードする手段、視聴者
の指定したビデオ・オブジェクトに対するインデックス
・オブジェクトの値をを検出する手段、視聴者の指定し
たインデックス・オブジェクトの形状によりＡＶストリ
ームをデコードしたビデオプログラム画像中のビデオ・
オブジェクトに視覚効果を付与、あるいはＯＳＤ（Ｏｎ
ＳｃｒｅｅｎＤｉｓｐｌａｙ）をオーバーレイして
デジタルビデオ出力あるいはアナログビデオ出力する画
像処理手段、上位コントローラと制御信号の交換を行う
ホストインターフェイス手段から構成されるインデック
ス・ピクチャ・ストリームのデコード装置。
【請求項７０】ＭＰＥＧ２のＡＶストリームおよびイン
デックス・ピクチャ・ストリームの入力手段、ＡＶス
トリームをデコードする手段、インデックス・ピクチャ
・ストリームをＡＶデコーダからの再生制御信号に同期
してデコードする手段、視聴者の指定したビデオ・オブ
ジェクトに対応するインデックス・オブジェクトの値を
を検出する手段、視聴者の指定に基づきインデックス・
オブジェクトの形状によりＡＶストリームをデコードし
たビデオプログラム画像中のビデオ・オブジェクトに視
覚効果を与えデジタルビデオ出力あるいはアナログビデ
オ出力する画像処理手段、上位コントローラと制御信号
の交換を行うホストインターフェイス手段から構成され
るデコード装置。
【請求項７１】ＭＰＥＧ２のＡＶストリームおよびイン
デックス・ピクチャ・ストリームの入力手段、ＡＶス
トリームをデコードする手段、インデックス・ピクチャ
・ストリームをＡＶデコーダからの再生制御信号に同期
してデコードする手段、視聴者の指定したビデオ・オブ
ジェクトに対応するインデックス・オブジェクトの値を
を検出する手段、視聴者の指定に基づきインデックス・
オブジェクトの形状によりＡＶストリームをデコードし
たビデオプログラム画像中のビデオ・オブジェクトに視
覚効果を与えデジタルビデオ出力あるいはアナログビデ
オ出力する画像処理手段をＩＰ（Ｉｎｔｅｌｌｅｃｔｕ
ａｌＰｒｏｐｅｒｔｙ）コアとして内包したＬＳＩと
してのデコード装置。
【請求項７２】ＭＰＥＧ２のＡＶストリームおよびイン
デックス・ピクチャ・ストリームの入力手段、ＡＶス
トリームをデコードする手段、インデックス・ピクチャ
・ストリームをサブセットとしてあるいはプライベート
ストリームに多重化されたＭＰＥＧ２ＴＳ（トランスポ
ートストリーム）の入力手段、上記ＭＰＥＧ２ＴＳから
分離されたＡＶストリームをデコードする手段、上記Ｍ
ＰＥＧ２ＴＳから分離されたインデックス・ピクチャ・
ストリームをＡＶデコーダからの再生制御信号に同期し
てデコードする手段、ポインティング手段により視聴者
が指定したビデオ・オブジェクトに対応するインデック
ス・オブジェクトの値を検出する手段、視聴者の指定に
基づきインデックス・オブジェクトの形状によりＡＶス
トリームをデコードしたビデオプログラム画像中のビデ
オ・オブジェクトに視覚効果を与えデジタルビデオ出力
あるいはアナログビデオ出力する画像処理手段、上位コ
ントローラと制御信号の交換を行うホストインターフェ
イス手段から構成されるデコード装置およびＩＰ（Ｉｎ
ｔｅｌｌｅｃｔｕａｌＰｒｏｐｅｒｔｙ）コアとして
内包したＬＳＩとしてのデコード装置。
【請求項７３】ＡＶストリーム、インデックス・ピクチ
ャ・ストリーム、リンク・テーブル・データ、サブ・コ
ンテンツの内、少なくともＡＶストリームとインデック
ス・ピクチャ・ストリームを同期再生可能に記録したＤ
ＶＤ、ＶｉｄｅｏＣＤ、ＣＤＲＯＭ等の光ディスク、デ
ジタル記録テープ、磁気ディスク媒体、半導体により構
成されるストレージ記録媒体等のパッケージ媒体とする
伝達媒体あるいは記録媒体。
【請求項７４】請求項１４〜請求項１８に記載の双方向
視聴システムにおいて、インデックス・ピクチャの標本
化フレームレートを下げることにより、インデックス・
ピクチャ・ストリームの圧縮率を高めた双方向視聴シス
テム。
【請求項７５】請求項１４〜請求項１８に記載の双方向
視聴システムにおいて、インデックス・ピクチャの標本
化周波数を下げることにより、インデックス・ピクチャ
・ストリームの圧縮率を高めた双方向視聴システム。
【請求項７６】ビデオ・ストリーム、インデックス・ピ
クチャ・ストリームの内少なくともインデックス・ピク
チャ・ストリームをソフトウェア或いは画像処理半導体
とソフトウェアに依るファームウェア或いはＤＰＳ（デ
ジタル・シグナル・プロセッサ）とその制御ソフトウェ
ア（マイクロコード）及び上位制御プログラムによりＡ
Ｖストリームをデコードしたビデオプログラムにインデ
ックス・ピクチャ・ストリームの同期デコードおよびビ
デオプログラムへの重畳再生する手段を有する双方向視
聴装置。