JP2002149673A - データ処理装置およびデータ処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 メディアコンテンツの構成を表現する
構造記述データから、この構造記述データに記述されて
いるメディアセグメントを、さまざまな制約を加えて再
生する表現記述データを生成すること。 【解決手段】 本発明は、メディアコンテンツの構成
を記述した構造記述データから、構造記述データに記述
されているメディアセグメントの再生順序、再生のタイ
ミング、および同期情報を表現する表現記述データを生
成することで、メディアセグメントをさまざまな制約を
加えて再生できるようにした。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画や映像、音声
などの連続視聴覚情報であるメディアコンテンツの視
聴、再生、配送において、視聴者の嗜好や端末能力に合
わせた再生、配送を行うために、メディアコンテンツの
構成の記述から、再生を行う表現の記述への変換を行う
データ処理装置およびデータ処理方法に関するものであ
る。

【０００２】

【従来の技術】従来、メディアコンテンツの保存はファ
イル単位に行われており、メディアコンテンツの再生、
配送はメディアコンテンツを格納するファイル単位で行
われている。

【０００３】また、メディアコンテンツを複数の異なる
方式でデジタル化して複数のファイルに保存する場合
は、メディアコンテンツを再生する場合に復号処理が発
生する。そして、復号処理の処理量は、デジタル化の方
式により変わる。このため、メディアコンテンツを選ぶ
際には、メディアコンテンツを再生する端末の処理能力
に合わせたデジタル化方式でデジタル化されたメディア
コンテンツを選ぶ必要が生じる。この場合は、端末機器
の能力による表示メディアコンテンツの選択は、受け取
るユーザが、使用する端末の能力に合わせたメディアコ
ンテンツをファイル単位で選択して行っている。

【０００４】また、World Wide Webを用いた動画配信に
おいて、特定シーンのみの再生を行う方法として、特開
平１０−１１１８７２号公報に記載されたものが知られ
ている。図５０に特開平１０−１１１８７２号公報記載
の動画配信装置の構成図を示し、以下に説明する。

【０００５】この動画配信装置においては、予め、シー
ン情報入力部３９０３からシーン情報格納部３９０４
に、シーン番号、開始／終了フレームのタイムコード、
シーンに関するキーワード、動画ファイル名を入力して
おく。そして、シーン検索部３９０５が、シーン情報入
力部３９０３から入力された検索条件を用いて、シーン
情報格納部３９０４に格納されているシーン情報を検索
する。そして、シーン検索部３９０５は、検索した所望
のシーンのシーン番号を抽出してシナリオとして、シナ
リオ格納部３９０７に格納する。

【０００６】次に、シナリオ編集部３９０８が、必要に
応じて、抽出されたシーンの順序変更や不要なシーンの
削除を行う。そして、動画転送部３９０９が、動画ファ
イル格納部３９０２に格納された動画データを、シナリ
オ編集部３９０８が編集したシナリオに格納されている
シーン番号順に、動画再生部３９１０に転送して再生す
る。なお、動画ファイル格納部３９０２には、動画ファ
イル入力部３９０１から動画が入力される。

【０００７】

【発明が解決しようとする課題】しかしながら、従来
の、コンテンツの再生をファイル単位で行う方法では、
ファイルの格納されたコンテンツをすべて再生しなくて
はならない。よって、コンテンツの要約であるあらすじ
を見ることは不可能である。また、コンテンツの一部の
みを抽出したハイライトシーンや、視聴者が見たい場面
を検索する場合においても、コンテンツの先頭から参照
しなければならないという課題がある。

【０００８】また、特開平１０−１１１８７２号公報の
方法によれば、シーンカットの再生順序を指定できるた
め、コンテンツの先頭から参照することは不要となる。
しかし、この方法は、シナリオとしてシーンの再生の順
番をもっているだけである。このため、シーンの再生の
順番を並べ替える以外のことはできない。よって、複数
メディアを対応させて再生するなどの、複雑な再生がで
きないという問題がある。

【０００９】本発明の目的は、メディアコンテンツの構
成を表現する構造記述データから、この構造記述データ
に記述されているメディアセグメントを、さまざまな制
約を加えて再生するための表現記述データを生成するこ
とである。

【００１０】

【課題を解決するための手段】上記課題を解決するため
に、本発明は、メディアコンテンツの構成を記述した構
造記述データから、構造記述データに記述されているメ
ディアセグメントの再生順序、再生のタイミング、およ
び同期情報を表現する表現記述データを生成するように
した。

【００１１】このように、構造記述データから、幾つか
のメディアセグメントを選択してメディアセグメントの
再生順序、再生のタイミング、および同期情報を表現す
る表現記述データへ変換することにより、あらすじやハ
イライトシーン、視聴者の嗜好に合わせたシーン集の表
示形態を得ることができる。また、表現記述データが再
生順序、再生のタイミング、および同期情報を持つこと
により、複数のメディアを対応付けて再生することがで
きる。

【００１２】さらに、本発明は、構造記述データにメデ
ィアセグメントの代替データの集合を記憶し、メディア
セグメントおよび代替データの少なくとも一方の、再生
順序、再生のタイミング、および同期情報を表現する表
現記述データに変換するようにした。

【００１３】これにより、メディアコンテンツを配送す
るネットワークの容量や通信量、メディアコンテンツを
再生する端末の能力などに合わせて、メディアセグメン
トを再生するか代替データを再生するか切り替えられ
る。つまり、再生する端末の能力などに合わせたメディ
アを用いて、コンテンツの配送や再生が行える。

【００１４】さらに、本発明は、構造記述データに表現
されているメディアセグメントを再生する際に、メディ
アセグメントあるいは代替データのどちらを再生するか
を選択するメディア選択部を設けている。

【００１５】これにより、視聴者が端末の能力に合わせ
て、メディアセグメントあるいは代替データを選択しな
くても、メディア選択部により端末の能力に合わせてメ
ディアセグメントあるいは代替データを自動的に選択で
きる。

【００１６】さらに、本発明は、構造記述データに各メ
ディアセグメントの文脈内容に基づいたスコアをさらに
記述した。

【００１７】これにより、例えば、さまざまな再生時間
のハイライトシーン集などを生成でき、これの再生や配
送を容易に行うことができる。また、スコアをキーワー
ドで示される観点に基づくものとすることにより、キー
ワードを指定することによって、ユーザの好みに合わせ
たシーンだけを再生、配送することができる。

【００１８】

【発明の実施の形態】本発明の第１の態様にかかるデー
タ処理装置は、連続視聴覚情報であるメディアコンテン
ツの全体あるいは前記メディアコンテンツの部分の構成
を、前記メディアコンテンツを区分けした区分であるメ
ディアセグメントの時間情報の集合によって表現する構
造記述データを入力し、入力した前記構造記述データに
記述されている前記メディアセグメントの時間情報を取
得する解析部と、解析した前記メディアセグメントの時
間情報を用いて前記構造記述データを前記メディアセグ
メントの、再生順序、再生のタイミング、および同期情
報を表現する表現記述データに変換し出力する変換部
と、を具備した構成を採る。

【００１９】この構成により、メディアコンテンツの構
成に関する情報から、その再生に関する情報を生成する
ことができる。

【００２０】本発明の第２の態様は、第１の態様にかか
るデータ処理装置において、前記構造記述データは、前
記メディアセグメントの代替データの集合を有し、前記
変換部は、前記構造記述データを前記メディアセグメン
トおよび前記代替データの少なくとも一方の、再生順
序、再生のタイミング、および同期情報を表現する表現
記述データに変換する。

【００２１】これにより、メディアコンテンツの構成に
関する情報から、表示メディアの選択を含んだ再生に関
する情報を生成できる。

【００２２】本発明の第３の態様は、第２の態様にかか
るデータ処理装置において、前記構造記述データに表現
されている前記メディアセグメントを再生する際に、前
記メディアセグメントあるいは前記代替データのどちら
を再生するかを選択するメディア選択部を具備し、前記
変換部は、前記メディア選択部の選択に基づいて、前記
メディアセグメントもしくは前記代替データデータのど
ちらか一方の、再生順序、再生のタイミング、および同
期情報を表現する表現記述データを出力する。

【００２３】これにより、メディアコンテンツの構成に
関する情報から、表示メディアの選択を含んだ再生に関
する情報を生成できる。

【００２４】本発明の第４の態様は、第１の態様から第
３の態様のいずれかのデータ処理装置において、前記表
現記述データは、SMIL文書である。

【００２５】これにより、表現記述データを国際標準規
格のものにできるので、表現記述データに汎用性を持た
せることができる。

【００２６】本発明の第５の態様にかかるデータ処理装
置は、映像情報と音声情報とが同期した連続視聴覚情報
であるメディアコンテンツの構成を、前記メディアコン
テンツを区分けした区分であるメディアセグメントの集
合によって表現し、かつ前記メディアセグメントの時間
情報と前記メディアセグメントの文脈内容におけるスコ
アを記述した構造記述データと、前記構造記述データか
ら所定の前記メディアセグメントを選択するための選択
条件とを入力し、入力した前記構造記述データから前記
選択条件にあったスコアを持つ前記メディアセグメント
だけを選択する選択部と、前記選択部が選択した前記メ
ディアセグメントを、前記メディアセグメントの、再生
順序および再生のタイミングを表現する表現記述データ
に変換し出力する変換部と、を具備した構成を採る。

【００２７】この構成により、メディアコンテンツの構
成に関する情報から、条件にあったメディアセグメント
だけを選び出し、選び出したメディアセグメントのみの
再生に関する情報を生成できる。

【００２８】本発明の第６の態様は、第５の態様にかか
るデータ処理装置において、前記構造記述データは、前
記メディアセグメントの代替データの集合を有し、前記
変換部は、前記構造記述データを前記メディアセグメン
トおよび前記代替データの少なくとも一方の、再生順
序、再生のタイミング、および同期情報を表現する表現
記述データに変換する。

【００２９】これにより、メディアコンテンツの構成に
関する情報から、条件に合ったメディアセグメントだけ
を選び出し、選び出したメディアセグメントの表示メデ
ィアの選択を含んだ再生に関する情報を生成できる。

【００３０】本発明の第７の態様は、第６の態様のデー
タ処理装置において、前記選択部は、前記選択したメデ
ィアセグメントを再生する際に、前記メディアセグメン
トあるいは前記代替データのどちらを再生するかの選択
を行う。

【００３１】これにより、メディアコンテンツの構成に
関する情報から、あらすじやハイライトシーンを構成す
るメディアセグメントだけを選び出し、選び出したメデ
ィアセグメントの再生に関する情報を生成できる。

【００３２】本発明の第８の態様は、第５の態様から第
７の態様のいずれかのデータ処理装置において、前記ス
コアは、メディアコンテンツの文脈内容に基づいた該当
メディアセグメントの重要度である。

【００３３】これにより、メディアコンテンツの構成に
関する情報から、視聴者の嗜好を反映したあらすじやハ
イライトシーンを構成するメディアセグメントだけを選
び出し、選び出したメディアセグメントのみの再生に関
する情報を生成できる。

【００３４】本発明の第９の態様は、第５の態様から第
８の態様のいずれかのデータ処理装置において、前記メ
ディアセグメントにはキーワードで表現される観点が付
与され、前記スコアは前記観点に基づいた該当メディア
セグメントの重要度である。

【００３５】これにより、メディアコンテンツの構成に
関する情報から、視聴者の嗜好を反映したあらすじやハ
イライトシーンを構成するメディアセグメントだけを選
び出し、選び出したメディアセグメントのみの再生に関
する情報を生成できる。

【００３６】本発明の第１０の態様にかかるデータ処理
装置は、映像情報もしくは音声情報の少なくともどちら
か一方の連続視聴覚情報であるメディアコンテンツの構
成を、前記メディアコンテンツを区分けした区分である
メディアセグメントの集合によって表現し、かつ前記メ
ディアセグメントの時間情報と前記メディアセグメント
の文脈内容におけるスコアを記述した構造記述データ
と、前記構造記述データから所定の前記メディアセグメ
ントを選択するための選択条件とを入力し、入力した前
記構造記述データから前記選択条件にあったスコアを持
つ前記メディアセグメントだけを選択する選択部と、前
記選択部が選択した前記メディアセグメントを、前記メ
ディアセグメントの、再生順序、再生のタイミング、お
よび同期情報を表現する表現記述データに変換し出力す
る変換部と、を具備した構成を採る。

【００３７】この構成により、メディアコンテンツの構
成に関する情報から、条件にあったメディアセグメント
だけを選び出し、選び出したメディアセグメントのみの
再生に関する情報を生成できる。

【００３８】本発明の第１１の態様にかかるデータ処理
装置は、連続視聴覚情報であるメディアコンテンツの構
成を、前記メディアコンテンツを区分けした区分である
メディアセグメントの集合によって表現し、かつ前記メ
ディアセグメントの時間情報と前記メディアセグメント
の文脈内容におけるスコアを記述した構造記述データ
と、前記構造記述データから所定の前記メディアセグメ
ントを選択するための選択条件とを入力し、入力した前
記構造記述データから前記選択条件にあったスコアを持
つ前記メディアセグメントだけを選択する選択部と、前
記選択部が選択した前記メディアセグメントを、前記メ
ディアセグメントの、再生順序、再生のタイミング、お
よび同期情報を表現する表現記述データに変換し出力す
る変換部と、前記表現記述データと前記メディアコンテ
ンツを入力し、前記表現記述データの内容に応じて前記
メディアコンテンツを再生する再生部と、を具備した構
成を採る。

【００３９】この構成により、メディアコンテンツの構
成に関する情報から、条件にあったメディアセグメント
だけを選び出し、選び出したメディアセグメントのみを
再生できる。

【００４０】本発明の第１２の態様にかかるサーバ−ク
ライアントシステムは、第１１の態様の、前記選択部お
よび前記変換部を有するサーバと、第１１の態様の前記
再生部を有するクライアントと、前記サーバと前記クラ
イアントを接続するネットワークと、を具備し、前記サ
ーバと前記クライアントの間で前記表現記述データの通
信を行う。

【００４１】これにより、サーバ側でユーザの要求やネ
ットワークの状態、再生端末の能力などに合わせた要約
と再生メディアの選択を行い、クライアント側で必要な
メディアセグメントのみの再生が行え、また再生メディ
アの通信においても必要なデータだけを受け取ればよ
い、という作用を有する。

【００４２】本発明の第１３の態様にかかるサーバ−ク
ライアントシステムは、第１１の態様の前記選択部を有
するサーバと、第１１の態様の、前記変換部および前記
再生部を有するクライアントと、前記サーバと前記クラ
イアントを接続するネットワークと、を具備し、前記サ
ーバと前記クライアントの間で前記選択部が選択したメ
ディアセグメントだけを残した要約構造記述データの通
信を行う。

【００４３】これにより、サーバ側でユーザの要求やネ
ットワークの状態、再生端末の能力などに合わせた要約
を行い、クライアント側で様々な条件にあった適切な再
生メディアの選択を行い、必要なメディアセグメントの
みの再生が行え、また再生メディアの通信においても必
要なデータだけを受け取ればよい、という作用を有す
る。

【００４４】本発明の第１４の態様は、連続視聴覚情報
であるメディアコンテンツの全体あるいは前記メディア
コンテンツの部分の構成を、前記メディアコンテンツを
区分けした区分であるメディアセグメントの時間情報の
集合によって表現する構造記述データを入力し、入力し
た前記構造記述データに記述されている前記メディアセ
グメントの時間情報を取得し、解析した前記メディアセ
グメントの時間情報を用いて前記構造記述データを前記
メディアセグメントの、再生順序、再生のタイミング、
および同期情報を表現する表現記述データに変換し出力
することを特徴とするデータ処理方法である。

【００４５】本発明の第１５の態様は、映像情報と音声
情報とが同期した連続視聴覚情報であるメディアコンテ
ンツの構成を、前記メディアコンテンツを区分けした区
分であるメディアセグメントの集合によって表現し、か
つ前記メディアセグメントの時間情報と前記メディアセ
グメントの文脈内容におけるスコアを記述した構造記述
データと、前記構造記述データから所定の前記メディア
セグメントを選択するための選択条件とを入力し、入力
した前記構造記述データから前記選択条件にあったスコ
アを持つ前記メディアセグメントだけを選択し、選択し
た前記メディアセグメントを、前記メディアセグメント
の、再生順序および再生のタイミングを表現する表現記
述データに変換し出力することを特徴とするデータ処理
方法である。

【００４６】本発明の第１６の態様は、映像情報もしく
は音声情報の少なくともどちらか一方の連続視聴覚情報
であるメディアコンテンツの構成を、前記メディアコン
テンツを区分けした区分であるメディアセグメントの集
合によって表現し、かつ前記メディアセグメントの時間
情報と前記メディアセグメントの文脈内容におけるスコ
アを記述した構造記述データと、前記構造記述データか
ら所定の前記メディアセグメントを選択するための選択
条件とを入力し、入力した前記構造記述データから前記
選択条件にあったスコアを持つ前記メディアセグメント
だけを選択し、選択した前記メディアセグメントを、前
記メディアセグメントの、再生順序、再生のタイミン
グ、および同期情報を表現する表現記述データに変換し
出力することを特徴とするデータ処理方法である。

【００４７】本発明の第１７の態様は、コンピュータ
に、連続視聴覚情報であるメディアコンテンツの全体あ
るいは前記メディアコンテンツの部分の構成を、前記メ
ディアコンテンツを区分けした区分であるメディアセグ
メントの時間情報の集合によって表現する構造記述デー
タを入力させ、入力した前記構造記述データに記述され
ている前記メディアセグメントの時間情報を取得させ、
解析した前記メディアセグメントの時間情報を用いて前
記構造記述データを前記メディアセグメントの、再生順
序、前記メディアセグメントの再生のタイミング、およ
び前記メディアセグメントの同期情報を表現する表現記
述データに変換させ出力させることを特徴とするプログ
ラムである。

【００４８】本発明の第１８の態様は、コンピュータ
に、映像情報と音声情報とが同期した連続視聴覚情報で
あるメディアコンテンツの構成を、前記メディアコンテ
ンツを区分けした区分であるメディアセグメントの集合
によって表現し、かつ前記メディアセグメントの時間情
報と前記メディアセグメントの文脈内容におけるスコア
を記述した構造記述データと、前記構造記述データから
所定の前記メディアセグメントを選択するための選択条
件とを入力させ、入力した前記構造記述データから前記
選択条件にあったスコアを持つ前記メディアセグメント
だけを選択させ、選択した前記メディアセグメントを、
前記メディアセグメントの、再生順序および再生のタイ
ミングを表現する表現記述データに変換させ出力させる
ことを特徴とするプログラムである。

【００４９】本発明の第１９の態様は、コンピュータ
に、映像情報もしくは音声情報の少なくともどちらか一
方の連続視聴覚情報であるメディアコンテンツの構成
を、前記メディアコンテンツを区分けした区分であるメ
ディアセグメントの集合によって表現し、かつ前記メデ
ィアセグメントの時間情報と前記メディアセグメントの
文脈内容におけるスコアを記述した構造記述データと、
前記構造記述データから所定の前記メディアセグメント
を選択するための選択条件とを入力させ、入力した前記
構造記述データから前記選択条件にあったスコアを持つ
前記メディアセグメントだけを選択させ、選択した前記
メディアセグメントを、前記メディアセグメントの、再
生順序、再生のタイミング、および同期情報を表現する
表現記述データに変換させ出力させることを特徴とする
プログラムである。

【００５０】本発明の第２０の態様は、第１７の態様か
ら第１９の態様のいずれかに記載のプログラムを記憶し
たコンピュータ読み取り可能な記録媒体である。

【００５１】（実施の形態１）以下、本発明の実施の形
態１について添付図面を参照して説明する。まず、本発
明の実施の形態１にかかるデータ処理システムの構成に
ついて、図１を用いて説明する。図１は、実施の形態１
にかかるデータ処理システムの概念図である。

【００５２】実施の形態１にかかるデータ処理システム
は、メタデータのデータベース１００１と、要約エンジ
ン１００２と、記述コンバータ１００３と、再生機１０
０４と、メディアコンテンツのデータベース１００５
と、から構成される。また、図中、１００６で記される
ものはメタデータである内容記述であり、１００７で記
されるものは選択条件であり、１００８で記されるもの
は要約結果である要約内容記述であり、１００９で記さ
れるものは再生機１００４に指示を与える再生方法記述
であり、１０１０で記されるものはメディアコンテンツ
データである。

【００５３】また、メタデータとは、メディアコンテン
ツのタイトルや作成日時などの書誌事項や内容やシーン
構成などの、メディアコンテンツの付加的な情報を表す
データである。データベース１００１は、このようなメ
タデータのデータベースを表す。

【００５４】要約エンジン１００２は、データベース１
００１に格納されたメタデータの中から、メディアコン
テンツの内容や構成を表す構造記述データである内容記
述１００６を入力する。そして、要約エンジン１００２
は、入力した内容記述１００６から、ユーザが入力した
選択条件１００７に合ったシーンのみを選択する。さら
に、要約エンジン１００２は、内容記述１００６から選
択されたシーンに関するものだけを残し、それ以外を削
除した要約内容記述１００８を生成し出力する。

【００５５】また、内容記述１００６と要約内容記述１
００８は、メディアコンテンツの内容や構成を表す構造
記述データであり、記述されているシーン数は異なる
が、記述フォーマットは同じである。

【００５６】記述コンバータ１００３は、要約内容記述
１００８を入力し、要約内容記述１００８に記述されて
いるシーンを再生するときの、再生順序、再生開始のタ
イミング、同期情報などのメディアの再生形態を記述し
た表現記述データである再生方法記述１００９を生成
し、出力するものである。

【００５７】再生機１００４は、再生方法記述１００９
と、再生方法記述１００９に従って再生するデータであ
るメディアコンテンツデータ１０１０をメディアコンテ
ンツデータベース１００５から入力する。そして、再生
機１００４は、再生方法記述１００９に記述されている
再生順序、再生開始のタイミング、同期情報などに従い
メディアコンテンツデータ１０１０の再生を行うもので
ある。

【００５８】また、要約内容記述１００８と内容記述１
００６は同じフォーマットであるため、記述コンバータ
１００３は、内容記述１００６に対する再生方法記述
（表現記述データ）も同様に生成することができる。

【００５９】次に、内容記述１００６および要約内容記
述１００８に用いられている構造記述データについて、
図２（ａ）、図２（ｂ）、および図３を用いて説明す
る。

【００６０】図２（ａ）は、構造記述データをXMLで記
述するための定義であるDocument Type Definition(DT
D)である。また、図２（ｂ）は、MPEG1を例に動画と音
声が同期したメディアコンテンツに対する構造記述デー
タの例である。また、図３は、動画と音声がそれぞれ別
のメディアとなっているメディアコンテンツの構造記述
データの例である。

【００６１】本実施の形態では、構造記述データをコン
ピュータ上で表現する形態の一例として、Extensible M
arkup Language(XML)を用いている。

【００６２】XMLは、World Wide Web Consortium(W3C)に
よって標準化されたデータ記述言語であり、１９９８年
２月１０日にVer.1.0が勧告された。XML ver.1.0の仕様
書は、http://www.w3.org/TR/REC-xmlで得ることができ
る。

【００６３】まず、図２（ａ）を用いて、構造記述デー
タをXMLで記述するための定義であるDocument Type Def
inition(DTD)の説明をする。

【００６４】図中２０１に示すように、cotents要素
は、par要素とmediaObject要素で構成される。また、図
中２０２で示すように、contents要素は、キャラクタデ
ータで示されるtitle属性を持つようになっている。

【００６５】mediaObject要素はメディアを表すもので
ある。また、図中２０３に示すように、par要素は、複
数の子要素であるmediaObject要素から構成される。par
要素は、contents要素がaudioとvideo等の複数のmediaO
bject要素から構成される場合に、複数のmediaObject要
素を子要素として、同期させて再生することを表すもの
である。

【００６６】また、図中２０４に示すように、mediaObj
ect要素は、メディアセグメントを表すsegment要素から
構成される。また、図中２０５に示すように、mediaObj
ect要素は、そのtype属性によってメディアのタイプを
指定される。この例では、メディアのタイプとして音声
情報であるaudio、動画情報であるvideo、静止画情報で
あるimage、音声および動画が同期した情報であるaudio
video、音声および静止画の情報であるaudioimageとい
ったメディアのタイプが指定される。また、type属性の
指定がない場合は、type属性は、デフォルトでaudiovid
eoに設定される。

【００６７】また、図中２０６に示すように、mediaObj
ect要素は、format属性でMPEG1,MPEG2といったメディア
のフォーマットが指定される。また、図中２０７に示す
ように、mediaObject要素は、src属性でデータが保存さ
れている場所が指定される。src属性でUniform Resourc
e Locator (URL)を指定することにより、データが保存
されている場所を指定できる。

【００６８】また、図中２０８に示すように、segment
要素は、start属性およびend属性を有する。start属性
およびend属性は、segment要素の開始時間と、segment
要素の終了時間と、を示す。また、start属性およびend
属性は、mediaObject要素により指定されたメディア内
部での時間を示す。つまり、segment要素は、start属性
およびend属性により、mediaObject要素で指定されたメ
ディア内のどの部分に相当するかが指定される。

【００６９】なお、本実施の形態においては、メディア
セグメントの時間情報を開始時間と終了時間との組によ
って指定しているが、開始時間と継続時間との組によっ
て表してもよい。

【００７０】次に、MPEG1を例に動画と音声が同期した
メディアコンテンツに対する構造記述データの例につい
て、図２（ｂ）を用いて説明する。

【００７１】図２（ｂ）に示す構造記述データには、co
ntents要素にMovie etcというタイトルが指定されてい
る。そして、mediaObject要素のタイプにはaudiovideo
が、フォーマットとしてMPEG1が、保存場所として HYPE
RLINK http://mserv.com/MPEG/movie0.mpg http://mser
v.com/MPEG/movie0.mpgが指定されている。また、media
Object要素は、時刻00:00:00から00:01:00の時間情報を
持つsegment要素と、時刻00:01:0から00:02:00の時間情
報を持つsegment要素と、時刻00:03:00から00:04:00の
時間情報を持つsegment要素と、時刻00:04:00から00:0
5:00の時間情報を持つsegment要素と、を有する。つま
り、mediaObject要素は、時刻00:02:00から00:03:00を
除いた記述になっている。

【００７２】次に、動画と音声がそれぞれ別のメディア
となっているメディアコンテンツの構造記述データの例
について図３を用いて説明する。

【００７３】図３に示す構造記述データには、contents
要素にMovie etcというタイトルが指定されている。そ
して、図３の例では、contents要素が、videoのタイプ
のmediaObject要素と、audioのタイプのmediaObject要
素から構成されている。よって、par要素により、タイ
プがvideoのmediaObject要素と、タイプがaudioのmedia
Object要素との同期がとられている。

【００７４】タイプがvideoのmediaObject要素は、フォ
ーマットとしてMPEG1が、保存場所として HYPERLINK ht
tp://mserv.com/MPEG/movie0.mpg http://mserv.com/MP
EG/movie0v.mpvが指定されている。

【００７５】また、タイプがvideoのmediaObject要素
は、時刻00:00:00から00:01:00の時間情報を持つsegmen
t要素と、時刻00:01:0から00:02:00の時間情報を持つse
gment要素と、時刻00:03:00から00:04:00の時間情報を
持つsegment要素と、時刻00:04:00から00:05:00の時間
情報を持つsegment要素と、を有する。つまり、タイプ
がvideoのmediaObject要素は、時刻00:02:00から00:03:
00を除いた記述になっている。

【００７６】また、タイプがaudioのmediaObject要素
は、フォーマットとしてMPEG1が、保存場所として HYPE
RLINK http://mserv.com/MPEG/movie0.mpg http://mser
v.com/MPEG/movie0a.mp2が指定されている。また、タイ
プがaudioのmediaObject要素は、時刻00:00:00から00:0
1:00の時間情報を持つsegment要素と、時刻00:01:0から
00:02:00の時間情報を持つsegment要素と、時刻00:03:0
0から00:04:00の時間情報を持つsegment要素と、時刻0
0:04:00から00:05:00の時間情報を持つsegment要素と、
を有する。つまり、タイプがaudioのmediaObject要素
は、時刻00:02:00から00:03:00を除いた記述になってい
る。

【００７７】ところで、コンテンツが複数のメディアか
ら構成されている場合には、メディアセグメント間の再
生タイミングや同期を制御する必要がある。そこで、本
実施の形態では、記述コンバータ１００３が、構造記述
データで記述された要約内容記述１００８を、メディア
セグメントの再生順序、再生のタイミング、同期情報を
表現できる表現記述データで記述された再生方法記述１
００９に変換している。

【００７８】本実施の形態では、表現記述データとして、
Synchronized Multimedia Integration Language (SMI
L)を用いている。SMILは、複数のメディアに対して、そ
れらの表現の時間的な挙動や表示スクリーン上でのレイ
アウトなどを記述を目的として、W3Cによって標準化さ
れた記述言語である。１９９８年６月１５日にSMILのVe
r 1.0が勧告された。SMIL ver. 1.0の仕様書は、http:/
/www.w3.org/TR/REC-smilで得られる。

【００７９】このように、表現記述データに、標準化さ
れたSMILを用いることで、既存あるいはこれから開発さ
れるSMIL処理プログラムが利用できるので、汎用性がま
す。

【００８０】次に、XMLで記述された構造記述データ
を、メディアセグメントの再生順序、再生タイミング、
同期情報等の再生の形態を表現する表現記述データに変
換する処理について図４を用いて説明する。図４は、実
施の形態１にかかる記述コンバータが、構造記述データ
をSMILへ変換する手順を示すフロー図である。

【００８１】まず、処理を開始すると（ステップＳ４０
１）、ステップＳ４０２において、記述コンバータ１０
０３が構造記述データで記述された要約内容記述１００
８に要素par要素があるか否かを調べる。そして、記述
コンバータ１００３は、ステップＳ４０２においてpar
要素があると判断した場合には、ステップＳ４０６の処
理へ、par要素がないと判断した場合にはステップＳ４
０３の処理へ移行する。

【００８２】記述コンバータ１００３は、ステップＳ４
０３において、構造記述データで記述された要約内容記
述１００８のmediaObject要素の、type属性からメディ
アのタイプを、format属性からメディアのフォーマット
を、src属性からメディアデータのURLをそれぞれ取得す
る。次に、記述コンバータ１００３は、ステップＳ４０
４において、各segment要素の、start属性とend属性か
らメディアセグメントの時間情報を取得し、それを記憶
しておく。そして、記述コンバータ１００３は、ステッ
プＳ４０５において、ステップＳ４０３およびステップ
Ｓ４０５で取得した、メディアのフォーマット、メディ
アデータのURL、メディアセグメントの時間情報からSMI
L文書で記述された再生方法記述１００９を生成し、出
力する。

【００８３】一方、記述コンバータ１００３は、ステッ
プＳ４０６でおいて、par要素中の先頭のmediaObject要
素を取得する。次に、記述コンバータ１００３は、ステ
ップＳ４０７において、取得したmediaObject要素の、t
ype属性からメディアのタイプを、format属性からメディ
アのフォーマットを、src属性からメディアデータのURL
をそれぞれ取得する。そして、記述コンバータ１００３
は、ステップＳ４０８において、各segment要素の、sta
rt属性とend属性からメディアセグメントの時間情報を
取得し、それを記憶しておく。

【００８４】次に、記述コンバータ１００３は、ステッ
プＳ４０９で、par要素中にまだ調べていないmediaObje
ct要素があるかどうか調べる。そして、記述コンバータ
１００３は、まだ調べていないmediaObject要素があれ
ば、ステップＳ４１０においてその先頭のものを取得
し、ステップＳ４０７の処理に移行する。一方、記述コ
ンバータ１００３は、調べていないmediaObject要素が
なければステップＳ４１１の処理に移行する。

【００８５】次に、記述コンバータ１００３は、ステッ
プＳ４１１において、記憶しておいたsegment要素の時
間情報を用いて、異なるmediaObject要素に属し、かつ
時間に重なりのあるsegment要素をグループ化する。そ
して、記述コンバータ１００３は、ステップＳ４１２に
おいて、ステップＳ４０７およびステップＳ４０８で取
得したメディアのフォーマット、メディアデータのUR
L、メディアセグメントの時間情報からSMIL文書で記述
された再生方法記述１００９を生成し、出力する。

【００８６】次に、構造記述データである要約内容記述
１００８にpar要素がない場合に、記述コンバータ１０
０３が要約内容記述１００８からSMIL文書である再生方
法記述１００９を出力する、ステップＳ４０５における
処理について、図５を用いて説明する。図５は、実施の
形態１にかかる記述コンバータが構造記述データである
要約内容記述からSMIL文書である再生方法記述を出力す
るフロー図である。

【００８７】まず、記述コンバータ１００３は、SMILの
ヘッダを出力する（ステップＳ５０１）。

【００８８】SMIL文書は、図６に示すように、ヘッダ６
０１と本体６０２で構成されたものである。ヘッダ６０
１はhead要素で、本体６０２はbody要素で記述される。
すなわち、ヘッダ６０１は<head>と</head>とで囲まれ
た部分、本体６０２は<body>と</body>とで囲まれた部
分となる。

【００８９】ヘッダには作成者、作成日などの情報や、
映像を画面上のどこに表示し、テキストをどこに表示す
るかなどといったレイアウトなどを記述することができ
る。なお、ヘッダは省略することが可能である。

【００９０】次に、記述コンバータ１００３は、<seq>
と</seq>でメディアセグメント全体を囲う（ステップＳ
５０２）。これらはseq要素であり、<seq>と</seq>によ
り囲まれたメディアセグメントを、記述した順に処理、
すなわち再生あるいは表示することを表すものである。

【００９１】次に、記述コンバータ１００３は、<seq>
と</seq>で囲んだメディアセグメント毎に、以下の処理
を行う。

【００９２】まず、メディアタイプに合わせて、SMILの
audio要素、video要素、ref要素、img要素から対応する
要素を選択する（ステップＳ５０３）。なお、ref要素
とは、ソースのメディアを特定しない書き方として定義
されたものである。ref要素で指定したものは音声であ
っても、映像であっても、静止画であっても、映像と音
声が同期したものであってもよい。

【００９３】次に、記述コンバータ１００３は、ステッ
プＳ５０３で選択した要素のclip-begin属性とclip-end
属性の値を次のように設定する。すなわち、対応する要
約内容記述１００８のsegment要素の、start属性の値を
SMILのclip-begin属性の値に、end属性の値をclip-end
属性の値に設定する（ステップＳ５０４）。なお、clip
とは、時間的な区間のことをいう。

【００９４】次に、記述コンバータ１００３は、ステッ
プＳ５０３で選択した要素のsrc属性の値を、対応する
要約内容記述１００８のsegment要素の親要素であるmed
iaObject要素のsrc属性の値に設定する（ステップＳ５
０５）。この後、ステップＳ５０３で選択した要素の記
述を出力する。

【００９５】このようにして、記述コンバータ１００３
は、構造記述データである要約内容記述１００８からSM
ILで記述された表現記述データである再生方法記述１０
０９を生成する。

【００９６】図７に、記述コンバータ１００３が、図２
（ｂ）に示す構造記述データから出力したSMIL文書を示
す。図７は、実施の形態１にかかる記述コンバータが出
力したSMIL文書の例を示す図である。

【００９７】図７に示す文書の例では、 HYPERLINK htt
p://mserv.com/MPEG/movie0.mpg http://mserv.com/MPE
G/movie0.mpgの時刻00:00:00から00:01:00の情報、 HYP
ERLINK http://mserv.com/MPEG/movie0.mpg http://mse
rv.com/MPEG/movie0.mpgの時刻00:01:0から00:02:00の
情報、 HYPERLINK http://mserv.com/MPEG/movie0.mpgh
ttp://mserv.com/MPEG/movie0.mpgの時刻00:03:00から0
0:04:00の情報を持つ情報、 HYPERLINK http://mserv.c
om/MPEG/movie0.mpg http://mserv.com/MPEG/movie0.mp
gの時刻00:04:00から00:05:00の情報の順に処理され
る。なお、図７に示す例では、ヘッダは省略されてい
る。

【００９８】また、時間的に連続したクリップをひとつ
にまとめる処理を追加し、図８に示すSMIL文書を出力し
てもよい。

【００９９】図８に示す文書の例では、 HYPERLINK htt
p://mserv.com/MPEG/movie0.mpg http://mserv.com/MPE
G/movie0.mpgの時刻00:00:00から00:02:00の情報を持つ
情報、 HYPERLINK http://mserv.com/MPEG/movie0.mpg
http://mserv.com/MPEG/movie0.mpgの時刻00:03:00から
00:05:00の情報の順に処理される。つまり、図８に示し
た文書は、図７に示した文書の例と同じ処理を行う。

【０１００】次に、構造記述データである要約内容記述
１００８にpar要素がある場合に、記述コンバータ１０
０３が要約内容記述１００８からSMIL文書である再生方
法記述１００９を出力する、ステップＳ４１２における
処理について、図９を用いて説明する。図９は、実施の
形態１にかかる記述コンバータが構造記述データである
要約内容記述からSMIL文書である再生方法記述を出力す
るフロー図である。

【０１０１】まず、記述コンバータ１００３は、SMILの
ヘッダを出力する（ステップＳ９０１）。次に、記述コ
ンバータ１００３は、<seq>と</seq>でメディアセグメ
ント全体を囲う（ステップＳ９０２）。そして、記述コ
ンバータ１００３は、メディアセグメントのグループ
を、時間の早いグループ順に、SMILの<par>と</par>で
囲う（ステップＳ９０３）。

【０１０２】次に、記述コンバータ１００３は、同じme
diaObject要素に属するメディアセグメントが他にある
か判断し（ステップＳ９０４）、メディアセグメントが
他にある場合はそれらを<seq>と</seq>で囲う（ステッ
プＳ９０５）。そして、記述コンバータ１００３は、<s
eq>と</seq>で囲んだメディアセグメント毎に、以下の
処理を行う。

【０１０３】まず、メディアのタイプに合わせて、SMIL
のaudio要素、video要素、ref要素、img要素などから対
応する要素を選択する。次に、選択した要素のclip-big
en属性とclip-end属性の値を設定する（ステップＳ９０
６）。これは、要約内容記述１００８の、対応するsegm
ent要素のstart属性の値をSMILのclip-begin属性の値
に、end属性の値をclip-end属性の値に設定する（ステ
ップＳ９０７）。次に、選択した要素のsrc属性の値
を、対応する要約内容記述１００８のsegment要素の親
要素であるmediaObject要素のsrc属性の値に設定する
（ステップＳ９０８）。次に、選択した要素の記述を出
力する。

【０１０４】一方、記述コンバータ１００３は、同じme
diaObject属性に属するメディアセグメントがない場合
は<seq>と</seq>で囲わず、上記のメディアセグメント
毎に行った処理と同様の処理を行う。

【０１０５】このようにして、記述コンバータ１００３
は、構造記述データである要約内容記述１００８が複数
のメディアで構成されている場合であっても、複数のメ
ディアを同期させて処理する表現記述データである再生
方法記述１００９を生成する。

【０１０６】図１０に、図３に示す構造記述データから
出力されるSMIL文書を示す。図１０は、実施の形態１に
かかる記述コンバータが出力したSMIL文書の例を示す図
である。

【０１０７】図１０に示す文書の例では、videoである
HYPERLINK http://mserv.com/MPEG/movie0.mpg http://
mserv.com/MPEG/movie0v.mpvの時刻00:00:00から00:01:
00の情報とaudioである HYPERLINK http://mserv.com/M
PEG/movie0.mpg http://mserv.com/MPEG/movie0a.mp2の
時刻00:00:00から00:01:00の情報とを同期し、videoで
ある HYPERLINK http://mserv.com/MPEG/movie0.mpg ht
tp://mserv.com/MPEG/movie0v.mpvの時刻00:01:00から0
0:02:00の情報とaudioである HYPERLINK http://mserv.
com/MPEG/movie0.mpg http://mserv.com/MPEG/movie0a.
mp2の時刻00:01:00から00:02:00の情報を同期し、video
である HYPERLINK http://mserv.com/MPEG/movie0.mpg
http://mserv.com/MPEG/movie0v.mpvの時刻00:03:00か
ら00:04:00の情報とaudioである HYPERLINK http://mse
rv.com/MPEG/movie0.mpg http://mserv.com/MPEG/movie
0a.mp2の時刻00:03:00から00:04:00の情報を同期し、vi
deoである HYPERLINK http://mserv.com/MPEG/movie0.m
pg http://mserv.com/MPEG/movie0v.mpvの時刻00:04:00
から00:05:00の情報とaudioである HYPERLINK http://m
serv.com/MPEG/movie0.mpg http://mserv.com/MPEG/mov
ie0a.mp2の時刻00:04:00から00:05:00の情報とを同期
し、かつ同期した情報を記述した順番に処理するように
なっている。

【０１０８】また、図１１に示すように、時間的に連続
したクリップをひとつにまとめる処理を追加したSMIL文
書を出力してもよい。

【０１０９】また、SMIL文書のpar要素中の複数のクリ
ップを同期させるために、あるクリップの再生開始時間
を他のクリップの再生開始時間と異ならせる必要が出て
くる場合がある。例えば、audioとvideoが別のメディア
オブジェクトとなっており、videoのクリップはその人
間が映っている範囲で、audioのクリップはその人間が
話している声だけの場合が考えられる。この場合は、vi
deoに含まれる人間の口の動きの映像に合わせて、audio
は人間が話し始めるところから再生する必要がある。

【０１１０】つまり、各クリップの再生開始時間を計算
し、その時間がくれば再生を始めるようにする必要があ
る。SMILには、このような目的のために、audio要素、v
ideo要素、img要素、ref要素に、遅延情報を示すbegin
という属性が用意されている。そして、begin属性を用
いることで、クリップ毎に再生開始時間を異ならせるこ
とができる。

【０１１１】図１２は、クリップ毎に再生開始時間を異
ならせたSMIL文書の例を示した図である。図１２に示す
文書では、begin属性を用いることで、videoである HYP
ERLINK http://mserv.com/MPEG/movie0.mpg http://mse
rv.com/MPEG/movie0v.mpvの時刻00:00:00から00:01:00
の情報の再生時間に対して、audioである HYPERLINKhtt
p://mserv.com/MPEG/movie0.mpg http://mserv.com/MPE
G/movie0a.mp2の時刻00:00:10から00:000:40の情報を10
秒送らせて再生している。また、videoであるHYPERLINK
http://mserv.com/MPEG/movie0.mpg http://mserv.com
/MPEG/movie0v.mpvの時刻00:04:00から00:05:00の情報
に対して、audioである HYPERLINK http://mserv.com/M
PEG/movie0.mpg http://mserv.com/MPEG/movie0a.mp2の
時刻00:04:15から00:05:00の情報を15秒送らせて再生し
ている。

【０１１２】このように、begin属性を用いることで、
構造記述データに含まれる複数のメディア間の再生時間
をずらすことで、複数のメディアの同期をとることがで
きる。

【０１１３】以上のように、実施の形態１によれば、メ
ディアコンテンツの構成を表現する構造記述データか
ら、そのメディアコンテンツの再生形態を表現する表現
記述データへの変換が行える。これにより、メディアコ
ンテンツの配信において構造記述データを適当に処理、
あるいは選択することにより、ユーザや端末に合わせた
配信データを作成することができる。

【０１１４】また、実施の形態１によれば、構造記述デ
ータが複数のメディアから構成されていても、メディア
間で同期をとることができる。また、複数のメディア間
で再生タイミングをずらすことでも、メディア間の同期
をとることができる。

【０１１５】また、実施の形態１では、メディアコンテ
ンツの構成を表現する構造記述データから、そのメディ
アコンテンツの再生形態を表現する表現記述データへの
変換を、記述コンバータ１００３が行う形態で説明した
が、記述コンバータ１００３が行う処理をプログラムに
し、コンピュータに読み取らせて実行させる形態にして
もよい。

【０１１６】また、記述コンバータ１００３が行う処理
をコンピュータに実行させるプログラムを記憶媒体に格
納する形態であってもよい。

【０１１７】（実施の形態２）実施の形態２は、端末に
合わせたメディアコンテンツの再生、配信を行うため
に、構造記述データにメディアセグメントとその代替デ
ータを記述し、構造記述データをメディアセグメントま
たは代替データの再生形態を表現する表現記述データへ
の変換を行うものである。これにより、動画であるメデ
ィアセグメントの代表画像といったような代替データの
集合によって記述される構造記述データから、代替デー
タの表現記述データへの変換が行える。以下、実施の形
態２について説明する。

【０１１８】図１３、図１４、図１５に本実施の形態に
おける構造記述データの例を示す図である。実施の形態
２では、構造記述データをコンピュータ上で表現する一
例として、Extensible Markup Language(XML)を用いて
いる。図１３は、構造記述データをXMLで記述するため
のDTDである。また、図１４は、MPEG1を例に動画と音声
が同期したメディアコンテンツに対する構造記述データ
の例である。また、図１５は、動画と音声がそれぞれ別
のメディアとなっているメディアコンテンツの構造記述
データの例である。

【０１１９】まず、図１３を用いて、構造記述データを
XMLで記述するための定義であるDocument Type Definit
ion(DTD)の説明をする。

【０１２０】図中１３０１に示すように、contents要素
は、par要素とmediaObject要素で構成される。また、図
中１３０２で示すように、contents要素は、キャラクタ
データで示されるtitle属性を持つようになっている。
また、図中１３０３に示すように、par要素は、複数の
子要素であるmediaObject要素から構成される。

【０１２１】また、図中１３０４に示すように、mediaO
bject要素は、segment要素から構成される。また、図中
１３０５に示すように、mediaObject要素は、そのtype
属性によってメディアのタイプを指定される。この例で
は、メディアのタイプとして音声情報であるaudio、動
画情報であるvideo、静止画情報であるimage、音声およ
び動画が同期した情報であるaudiovideo、音声および静
止画の情報であるaudioimageといったメディアのタイプ
が指定される。また、type属性の指定がない場合は、ty
pe属性は、デフォルトでaudiovideoに設定される。

【０１２２】また、図中１３０６に示すように、mediaO
bject要素は、format要素で、動画に対してMPEG1やMPEG
2といったメディアのフォーマットが、静止画に対して
はgifやjpegといったフォーマットが指定される。ま
た、図中１３０７に示すように、mediaObject要素は、s
rc属性によりデータが保存されている場所が指定され
る。src属性でUniform Resource Locator (URL)を指定
することによりデータが保存されている場所を指定でき
る。

【０１２３】また、図中１３０８に示すように、start
属性により、segment要素の開始時間に対応する、media
Object要素で指定されたメディア内部における時間が指
定される。また、end属性により、segment要素の終了時
間に対応する、mediaObject要素で指定されたメディア
内部における時間が指定される。

【０１２４】なお、本実施の形態においては、メディア
セグメントの時間情報を開始時間と終了時間との組によ
って指定しているが、開始時間と継続時間との組によっ
て表してもよい。

【０１２５】また、図中１３０９に示すように、segmen
t要素は、alt要素を有する。alt要素は、該当メディア
セグメントの代替データを表すものである。そして、図
中１３１０に示すように、alt要素は、type属性によっ
てimageやaudioといったメディアのタイプが指定され
る。また、alt要素は、format属性によって、静止画像
であればgifやjpegといったメディアのフォーマットが
指定される。また、alt要素は、src属性により、保存さ
れている場所が指定される。

【０１２６】また、alt要素は各メディアセグメントに
複数指定可能とし、同じメディアの場合は、登場順に再
生することとする。

【０１２７】また、alt要素は子要素posを有する。そし
て、alt要素は、子要素posによって、src属性で指定さ
れたデータの中でどの区間であるかを指定できる。pos
要素のstart属性およびend属性は、それぞれsrc属性で
示されたメディア内部での開始時間、終了時間を表す。

【０１２８】なお、本実施の形態においては、時間情報
を開始時間と終了時間との組によって指定しているが、
開始時間と継続時間との組によって表してもよい。

【０１２９】次に、MPEG1を例に動画と音声が同期した
メディアコンテンツに対する構造記述データの例につい
て、図１４を用いて説明する。

【０１３０】図１４に示す構造記述データには、conten
ts要素にMovie etcというタイトルが指定されている。
そして、mediaObject要素のタイプにはaudiovideoが、
フォーマットとしてMPEG1が、保存場所として HYPERLIN
K http://mserv.com/MPEG/movie0.mpg http://mserv.co
m/MPEG/movie0.mpgが指定されている。また、mediaObje
ct要素は、時刻00:00:00から00:01:00の時間情報を持つ
segment要素と、時刻00:01:00から00:02:00の時間情報
を持つsegment要素と、時刻00:03:00から00:04:00の時
間情報を持つsegment要素と、時刻00:04:00から00:05:0
0の時間情報を持つsegment要素と、を有する。つまり、
mediaObject要素は、時刻00:02:00から00:03:00を除い
た記述になっている。

【０１３１】また、時刻00:00:00から00:01:00の時間情
報を持つsegment要素は、audiovideoの代替データであ
るalt要素により指示されている。時刻00:00:00から00:
01:00の時間情報を持つsegment要素は、タイプがimag
e、フォーマットがjpeg、保存場所が HYPERLINK http:/
/mserv.com/MPEG/movie0.mpg http://mserv.com/IMAGE/
s0.jpgであるalt要素と、タイプがaudio、フォーマット
がmpeg1、保存場所が HYPERLINK http://mserv.com/MPE
G/movie0.mpg http://mserv.com/MPEG/movie0.mp2、時
刻00:00:00から00:01:00の時間情報を持つalt要素と、
から構成されている。

【０１３２】また、時刻00:01:00から00:02:00の時間情
報を持つsegment要素は、タイプがimage、フォーマット
がjpeg、保存場所が HYPERLINK http://mserv.com/MPEG
/movie0.mpg http://mserv.com/IMAGE/s1.jpgであるalt
要素と、タイプがaudio、フォーマットがmpeg1、保存場
所が HYPERLINK http://mserv.com/MPEG/movie0.mpghtt
p://mserv.com/MPEG/movie0.mp2、時刻00:01:00から00:
01:30の時間情報を持つalt要素と、から構成されてい
る。

【０１３３】また、時刻00:03:00から00:04:00の時間情
報を持つsegment要素は、タイプがimage、フォーマット
がjpeg、保存場所が HYPERLINK http://mserv.com/MPEG
/movie0.mpg http://mserv.com/IMAGE/s3.jpgであるalt
要素と、タイプがaudio、フォーマットがmpeg1、保存場
所が HYPERLINK http://mserv.com/MPEG/movie0.mpghtt
p://mserv.com/MPEG/movie0.mp2、時刻00:03:00から00:
03:30の時間情報を持つalt要素と、から構成されてい
る。

【０１３４】また、時刻00:04:00から00:05:00の時間情
報を持つsegment要素は、タイプがimage、フォーマット
がjpeg、保存場所が HYPERLINK http://mserv.com/MPEG
/movie0.mpg http://mserv.com/IMAGE/s４.jpgであるal
t要素と、タイプがaudio、フォーマットがmpeg1、保存
場所が HYPERLINK http://mserv.com/MPEG/movie0.mpgh
ttp://mserv.com/MPEG/movie0.mp2、時刻00:04:00から0
0:05:00の時間情報を持つalt要素と、から構成されてい
る。

【０１３５】次に、動画と音声がそれぞれ別のメディア
となっているメディアコンテンツの構造記述データの例
について図１５を用いて説明する。

【０１３６】図１５に示す構造記述データには、conten
ts要素にMovie etcというタイトルが指定されている。
そして、図１５の例では、contents要素が、videoのタ
イプのmediaObject要素と、audioのタイプのmediaObjec
t要素から構成されている。よって、par要素により、タ
イプがaudioのmediaObject要素と、タイプがvideoのmed
iaObject要素との、同期がとられている。

【０１３７】タイプがvideoのmediaObject要素は、フォ
ーマットとしてMPEG1が、保存場所として HYPERLINK ht
tp://mserv.com/MPEG/movie0.mpg http://mserv.com/MP
EG/movie0v.mpvが指定されている。また、タイプがvide
oのmediaObject要素は、時刻00:00:00から00:01:00の時
間情報を持つsegment要素と、時刻00:01:0から00:02:00
の時間情報を持つsegment要素と、時刻00:03:00から00:
04:00の時間情報を持つsegment要素と、時刻00:04:00か
ら00:05:00の時間情報を持つsegment要素と、を有す
る。つまり、タイプがvideoのmediaObject要素は、時刻
00:02:00から00:03:00を除いた記述になっている。

【０１３８】また、時刻00:00:00から00:01:00の時間情
報を持つsegment要素は、videoの代替データであるalt
要素により指示されている。時刻00:00:00から00:01:00
の時間情報を持つsegment要素は、タイプがimage、フォ
ーマットがjpeg、保存場所がHYPERLINK http://mserv.c
om/MPEG/movie0.mpg http://mserv.com/IMAGE/s0.jpgで
あるalt要素が指示されている。また、時刻00:01:00か
ら00:02:00の時間情報を持つsegment要素は、タイプがi
mage、フォーマットがjpeg、保存場所が HYPERLINK htt
p://mserv.com/MPEG/movie0.mpg http://mserv.com/IMA
GE/s1.jpgであるalt要素が指示されている。また、時刻
00:03:00から00:04:00の時間情報を持つsegment要素
は、タイプがimage、フォーマットがjpeg、保存場所が
HYPERLINKhttp://mserv.com/MPEG/movie0.mpg http://m
serv.com/IMAGE/s3.jpgであるalt要素が指示されてい
る。また、時刻00:04:00から00:05:00の時間情報を持つ
segment要素は、タイプがimage、フォーマットがjpeg、
保存場所が HYPERLINK http://mserv.com/MPEG/movie0.
mpg http://mserv.com/IMAGE/s４.jpgであるalt要素が
指示されている。

【０１３９】また、タイプがaudioのmediaObject要素
は、フォーマットとしてMPEG1が、保存場所として HYPE
RLINK http://mserv.com/MPEG/movie0.mpg http://mser
v.com/MPEG/movie0a.mp2が指定されている。また、タイ
プがaudioのmediaObject要素は、時刻00:00:00から00:0
1:00の時間情報を持つsegment要素と、時刻00:01:0から
00:02:00の時間情報を持つsegment要素と、時刻00:03:0
0から00:04:00の時間情報を持つsegment要素と、時刻0
0:04:00から00:05:00の時間情報を持つsegment要素と、
を有する。つまり、タイプがaudioのmediaObject要素
は、時刻00:02:00から00:03:00を除いた記述になってい
る。

【０１４０】また、時刻00:00:00から00:01:00の時間情
報を持つsegment要素は、audioの代替データであるalt
要素により指示されている。時刻00:00:00から00:01:00
の時間情報を持つsegment要素は、タイプがaudio、フォ
ーマットがmpeg1、保存場所が HYPERLINK http://mser
v.com/MPEG/movie0.mpg http://mserv.com/MPEG/movie
0.mp2、時刻00:00:00から00:01:00の時間情報を持つalt
要素が指示されている。また、時刻00:01:00から00:02:
00の時間情報を持つsegment要素は、タイプがaudio、フ
ォーマットがmpeg1、保存場所が HYPERLINK http://mse
rv.com/MPEG/movie0.mpg http://mserv.com/MPEG/movie
0.mp2、時刻00:01:00から00:01:30の時間情報を持つalt
要素が指示されている。また、時刻00:03:00から00:04:
00の時間情報を持つsegment要素は、タイプがaudio、フ
ォーマットがmpeg1、保存場所が HYPERLINK http://mse
rv.com/MPEG/movie0.mpg http://mserv.com/MPEG/movie
0.mp2、時刻00:03:00から00:03:30の時間情報を持つalt
要素が指示されている。また、時刻00:04:00から00:05:
00の時間情報を持つsegment要素は、タイプがaudio、フ
ォーマットがmpeg1、保存場所が HYPERLINK http://mse
rv.com/MPEG/movie0.mpg http://mserv.com/MPEG/movie
0.mp2、時刻00:04:00から00:05:00の時間情報を持つalt
要素が指示されている。

【０１４１】本実施の形態においても、実施の形態１と
同様に、表現記述データとしてSMILを用いる。各メディ
アセグメント自身を再生するSMIL文書の出力は実施の形
態１と同様である。

【０１４２】以下に、記述コンバータ１００３が、代替
データを再生するSMIL文書を出力する処理について述べ
る。これは、実施の形態１における図４のフローチャー
トの中で、SMIL文書を出力するステップＳ４０５とステ
ップＳ４１２の処理が異なるだけである。よって、実施
の形態１と異なる処理について説明する。まず、ステッ
プＳ４０５の処理について、図１６を用いて説明する。

【０１４３】まず、記述コンバータ１００３は、SMILの
ヘッダを出力する（ステップ１６０１）。次に、記述コ
ンバータ１００３は、<seq>と</seq>でメディアセグメ
ント全体を囲う（ステップＳ１６０２）。そして、記述
コンバータ１００３は、囲ったメディアセグメント毎
に、メディアタイプの異なる代替データがあるか判断す
る（ステップＳ１６０３）。

【０１４４】そして、記述コンバータ１００３は、Ｓ１
６０３において、メディアタイプの異なる代替データが
ないという判断をすると、代替データが複数あるか判断
する（ステップＳ１６０４）。そして、記述コンバータ
１００３は、代替データが複数ある場合は、複数の代替
データを<seq>と</seq>で囲む（ステップＳ１６０
５）。一方、記述コンバータ１００３は、代替データが
ひとつの場合は<seq>と</seq>で囲まず、代替データ毎
に以下の処理をする。

【０１４５】次に、記述コンバータ１００３は、代替デ
ータのタイプに合わせて、SMILのaudio要素、video要
素、img要素などから対応する要素を選択する（ステッ
プＳ１６０６）。次に、記述コンバータ１００３は、al
t要素の子要素posの、start属性およびend属性が指定さ
れている場合は、start属性の値をSMILのclip-begin
に、end属性の値をclip-end属性に設定する（ステップ
Ｓ１６０７）。そして、記述コンバータ１００３は、代
替データ毎に、保存場所を示すsrc属性を設定する（ス
テップＳ１６０８）。

【０１４６】一方、記述コンバータ１００３は、Ｓ１６
０３において、メディアタイプの異なる代替データがあ
ると判断した場合は、同じ種類のメディアタイプで代替
データをグループ化する（ステップＳ１６０９）。

【０１４７】次に、記述コンバータ１００３は、グルー
プの再生終了の同期をとるために、継続時間の最も長い
代替データを調べる必要がある。よって、記述コンバー
タ１００３は、各グループ毎に、代替データのstart属
性,end属性の値から継続時間を計算する（ステップＳ１
６１０）。ただし、メディアタイプが静止画像（ｉｍａ
ｇｅ）の場合か、start属性、end属性が指定されていな
い場合は、その代替データの継続時間は０とする。

【０１４８】次に、記述コンバータ１００３は、最も継
続時間の長いグループに、再生終了の同期を合わせるよ
うにSMILのpar要素のendsync属性を設定し（ステップＳ
１６１１）、グループ全体を<par>と</par>で囲って
（ステップＳ１６１２）、各メディアタイプのグループ
毎にＳ１６０４の処理を行う。

【０１４９】endsync属性とは、<par>と</par>で囲んだ
複数メディアを並列(parallel)に再生・表示させる際
に、メディアによって継続時間が異なる場合に使用する
ものである。つまり、endsync属性とは、このような場
合にどのメディアに、全てのメディアの再生・表示の終
了を合わせるかを指定するものである。endsync属性に
おけるメディアの指定方法は幾つかあるが、本実施例で
はメディアのidによって指定する方法を用いている。具
体的には、あるタイプのメディアの属性に識別子である
idを付与する。そして、endsync属性＝idとすること
で、idが付与されたメディアの終了時間に合わせて、こ
のidが付与されたメディアと同一のグループ内のメディ
アが同期して終了するようになる。

【０１５０】これにより、静止画のように継続時間を持
たないメディアであって、durなどの属性によって表示
時間が指定されていないものに対しても、このメディア
の再生終了時間をidが付与されたメディアの再生時間と
同じにすることができる。例えば、音声のメディアが再
生されている間はずっと静止画を表示しつづけるような
ことができる。

【０１５１】図１７に、図１４に示す構造記述データか
ら、上記の処理により出力されるSMIL文書を示す。

【０１５２】図１７のSMIL文書には、複数のグループ１
７０１〜１７０４が記述されている。１７０１で記され
るグループには、タイプがimage、フォーマットがjpe
g、保存場所が HYPERLINK http://mserv.com/MPEG/movi
e0.mpg http://mserv.com/IMAGE/s0.jpgである代替デー
タと、タイプがaudio、フォーマットがmpeg1、保存場所
が HYPERLINK http://mserv.com/MPEG/movie0.mpg htt
p://mserv.com/MPEG/movie0.mp2、時刻00:00:00から00:
01:00の時間情報を持つ代替データと、から構成されて
いる。また、タイプがaudioの代替データには、id属性
としてa0が付与されている。そして、グループ１７０１
には、endsync属性にid(a0)が設定されている。これに
より、グループ１７０１に含まれる代替データの再生終
了時間は、タイプがaudioの代替データに合わせられ
る。つまり、タイプがimageの代替データは、タイプがa
udioの代替データの再生時間中、再生され続けることに
なる。

【０１５３】なお、グループ１７０２〜１７０４の説明
は省略する。

【０１５４】次に、ステップＳ４１２の処理について、
図１８を用いて説明する。まず、記述コンバータ１００
３は、SMILのヘッダを出力する（ステップＳ１８０
１）。次に、記述コンバータ１００３は、<seq>と</seq
>でメディアセグメント全体を囲う（ステップＳ１８０
２）。

【０１５５】そして、記述コンバータ１００３は、メデ
ィアセグメントのグループの、時間の早い順に、同じme
diaObject要素に属する代替データをグループ化し（ス
テップＳ１８０３）、グループ毎にstart属性とend属性
の値から継続時間を計算する（ステップ１８０４）。た
だし、メディアタイプが静止画像（image）の場合か、s
tart属性、end属性が指定されていない場合は、その代
替データの継続時間は０とする。

【０１５６】次に、記述コンバータ１００３は、最も継
続時間の長いグループに、再生終了の同期を合わせるよ
うに、SMILのpar要素のendsync属性を設定し、全体をそ
の<par>と</par>で囲う（ステップＳ１８０５）。

【０１５７】次に、記述コンバータ１００３は、代替デ
ータが複数あるか判断する（ステップＳ１８０６）。そ
して、記述コンバータ１００３は、代替データが複数あ
る場合は、複数の代替データを<seq>と</seq>で囲む
（ステップＳ１８０７）。一方、記述コンバータ１００
３は、代替データがひとつの場合は<seq>と</seq>で囲
まず、代替データ毎に以下の処理をする。

【０１５８】次に、記述コンバータ１００３は、代替デ
ータのタイプに合わせて、SMILのaudio要素、video要
素、img要素などから対応する要素を選択する（ステッ
プＳ１８０８）。次に、記述コンバータ１００３は、al
t要素の子要素posの、start属性およびend属性が指定さ
れている場合は、start属性の値をSMILのclip-begin属
性に、end属性の値をclip-end属性に設定する（ステッ
プＳ１８０９）。そして、記述コンバータ１００３は、
代替データ毎に、保存場所を示すsrc属性を設定する
（ステップＳ１８１０）。

【０１５９】なお、図１４に示す構造記述データから、
図１８に示す処理により出力されるSMIL文書は図１７と
同じものとなる。

【０１６０】また、SMIL文書においてpar要素の中の各
クリップを同期させるために、再生開始時間を異なるも
のとする必要が出てくる場合がある。この場合は、各ク
リップの再生開始時間を計算し、その時間がくれば再生
を始めるようにする必要がある。

【０１６１】SMILには、このような目的のために、audi
o要素,video要素,img要素,ref要素にbeginという属性が
用意されており、これらを用いることで実現できる。

【０１６２】以上のように、実施の形態２によれば、メ
ディアコンテンツの全体あるいは部分の構成を、メディ
アセグメントの時間情報と、該当メディアセグメントが
動画ならばその代表画像といったような代替データの集
合によって記述する構造記述データから、構造記述デー
タに記述されているメディアセグメントまたはその代替
データの再生順序、再生のタイミング、同期情報を表現
する表現記述データへの変換が行える。

【０１６３】これにより、メディアコンテンツの構成に
関する情報から、端末に合わせた表示メディアの再生に
関する情報を生成することができる。この結果、メディ
アコンテンツの配信において、端末に合わせた配信デー
タを作成することができる。

【０１６４】（実施の形態３）実施の形態３は、端末に
合わせたメディアコンテンツの再生、配信を行うため
に、構造記述データにメディアセグメントとその代替デ
ータと、端末に合わせてメディアセグメントと代替デー
タを切り替えるデータとを記述したものである。そし
て、この構造記述データを、メディアセグメントおよび
代替データを端末に合わせて切り替えて表現する表現記
述データへの変換を行うものである。

【０１６５】以下、本発明の実施の形態３について説明
する。実施の形態３の表現記述データには、メディアセ
グメントを再生する場合と、代替データを再生する場合
の二通りをひとつのSMIL文書に記述して出力するもので
ある。構造記述データとしては、図１４および図１５に
示したものを用いる。

【０１６６】本実施の形態によって出力される表現記述
データには、メディアセグメントを再生する場合と、代
替データを再生する場合とが、共に記述されている。こ
れを基にメディアコンテンツを再生するときは、メディ
アセグメントを再生する場合と、代替データを再生する
場合とのどちらを再生するか選択する必要がある。そこ
で、表現記述データの中に、選択するための条件を記述
するようにしている。

【０１６７】選択するための条件は、SMILにおけるswit
ch要素で記述できるため、本実施の形態においても、表
現記述データとしてSMIL文書を用いる。switch要素とは
複数のメディアから条件にあったひとつを選択するもの
である。選択は、switch要素の内容に書かれたメディア
順に評価され、最初に条件に合ったメディアが選択され
る。条件はswitch要素の内容に書かれたメディアの属性
に付けられており、system-bitrate、system-captionな
どがある。

【０１６８】本実施の形態においては、メディアコンテ
ンツを配送するネットワークの接続ビットレートを条件
とする。具体的には、接続ビットレートが５６ｋｂｐｓ
以上の場合はメディアセグメントを再生し、５６ｋｂｐ
ｓ未満の場合は代替データを再生することとする。

【０１６９】以下に、記述コンバータ１００３が、メデ
ィアセグメントもしくは代替データを再生するSMIL文書
を出力する処理について述べる。これは、実施の形態１
における図４のフローチャートの中で、SMIL文書を出力
するステップＳ４０５とステップＳ４１２の一部の処理
が異なるだけである。よって、ステップＳ４０５もしく
はステップＳ４１２に対応する処理について、図１９を
用いて説明する。

【０１７０】まず、記述コンバータ１００３は、ＳＭＩ
Ｌのヘッダを出力する（ステップ１９０１）。次に、記
述コンバータ１００３は、<switch>と</switch>でメデ
ィア全体を囲う（ステップＳ１９０２）。そして、記述
コンバータ１００３は、メディアセグメントを<seq>と<
/seq>で囲い（ステップＳ１９０３）、seq要素のsystem
-bitrate属性をsystem-bitrate="56000"に設定する（ス
テップＳ１９０４）。

【０１７１】system-bitrate属性はswitch要素内の条件
評価に用いられるもので、システムが利用可能な帯域を
１秒あたりのビット数で指定するものある。ここに記さ
れた値以上であればswitch要素が条件に合うと判定され
る。上記の例では、ビットレートが56000bps以上であれ
ば条件に合うと判定される。そして、この条件一致がsw
itch要素の中で最初の条件一致であれば、一致した条件
のメディアが選択される。

【０１７２】次に、記述コンバータ１００３は、図５に
示すＳ５０３〜Ｓ５０５もしくは図９に示すＳ９０３〜
Ｓ９０８の処理を行う（ステップＳ１９０５）。これに
より、メディアセグメントを再生するSMIL文書を出力す
る。

【０１７３】この場合、代替データを表すalt要素を無
視することにより、実施の形態１でのステップＳ４０５
あるいはステップＳ４１２の処理手順を用いることがで
きる。

【０１７４】次に、記述コンバータ１００３は、seq要
素のsystem-bitrate属性を設定せず、この代替データを
<seq>と</seq>で囲い（ステップＳ１９０６）、実施の
形態２で示した図１６のＳ１６０３〜Ｓ１６１２あるい
は、図１８のＳ１８０３〜Ｓ１８１０の処理手順を行う
（ステップＳ１９０７）。これにより、記述コンバータ
１００３は、代替データを再生するSMIL文書を出力す
る。

【０１７５】このようにして、メディアセグメントを再
生する場合と、代替データを再生する場合とのどちらを
再生するか選択できるSMIL文書が作成できる。

【０１７６】図２０に、実施の形態３により、出力され
るSMIL文書を示す。図２０に示すSMIL文書にはswitch要
素２０００が記述されていて、switch要素はふたつのse
q要素２００１、２００２を内容として持っている。ひ
とつのseq要素２００１は、<seq system-bitrate="5600
0">から最初の</seq>までの部分、もうひとつのseq要素
２００２はその下の<seq>から</seq>までの部分であ
る。このswitch要素が、<seq system-bitrate="56000">
を評価する。使用するシステムが利用可能なビットレー
トが56000bps以上であれば、この条件を満たすため、se
q要素２００１が選択される。システムが利用可能なビ
ットレートが56000bps未満であれば、seq要素２００１
は選択されず、seq要素２００２を評価する。

【０１７７】seq要素２００１はメディアセグメントを
再生することを示す部分であり、seq要素２００２は代
替データを再生することを示す部分である。よって、シ
ステムが利用可能なビットレートが56000bps以上であれ
ばメディアセグメントを再生し、56000bps未満であれば
代替データが再生されることになる。

【０１７８】なお、本実施の形態においては、メディア
セグメントあるいは代替データのどちらを再生するかの
選択の条件として、ネットワークの接続ビットレートを
用いたが、他の条件であってもよい。ただし、その場
合、SMILのswitch要素を用いることができない条件もあ
るため、SMILのswitch要素を拡張した表現記述データを
定義する必要がある。

【０１７９】また、構造記述データのaltを、図２１
（ａ）に示すように、ここで指定された代替データを使
う条件を記述するconditionという子要素を持つように
拡張し、condition要素で指定された条件によって、場
合分けをしてもよい。

【０１８０】図２１（ｂ）に、conditionという子要素
を用いた構造記述データを示す。図２１（ｂ）に記す構
造記述データは、narrow bandのときに一行上のデータ
を使うように、表現記述データを構成することを意味す
る。

【０１８１】また、SMIL文書においてpar要素の中の各
クリップを同期させるために、再生開始時間を異なるも
のとする必要が出てくる場合がある。この場合は、各ク
リップの再生開始時間を計算し、その時間がくれば再生
を始めるようにする必要がある。

【０１８２】SMILには、このような目的のために、audi
o要素,video要素,img要素,ref要素にbeginという属性が
用意されており、これらを用いることで実現できる。

【０１８３】以上のように、実施の形態３によれば、メ
ディアコンテンツの全体あるいは部分の構成を、メディ
アセグメントの時間情報と、該当メディアセグメントが
動画ならばその代表画像といったような代替データの集
合によって記述する構造記述データから、構造記述デー
タに記述されているメディアセグメントおよびその代替
データの再生順序、再生のタイミング、同期情報およ
び、メディアセグメントもしくは代替データのどちらか
を選択して再生することを示す情報を表現する表現記述
データへの変換が行える。これにより、メディアコンテ
ンツの構成に関する情報から、端末に合わせて、メディ
アセグメントもしくは代替データの選択を含んだ、再生
に関する情報を生成することができる。

【０１８４】（実施の形態４）実施の形態４は、映像情
報と音声情報とが同期した連続視聴覚情報（メディアコ
ンテンツ）に関して、あらすじやハイライトシーンのよ
うなメディアコンテンツの代表的な部分のみの再生、配
信を行うために、メディアコンテンツに対して、メディ
アコンテンツを区分けした各区分（メディアセグメン
ト）の集合によって該当メディアコンテンツの構成を表
現し、かつ各メディアセグメントの時間情報と該当メデ
ィアセグメントの文脈内容に基づいた重要度を記述した
ものである構造記述データと、文脈内容に基づいた重要
度のしきい値とを入力し、しきい値以上のメディアセグ
メントだけを構造記述データから選択するものである。
そして、構造記述データから選択したメディアセグメン
トを、再生形態として、メディアセグメントの再生順
序、再生のタイミングを表現する表現記述データに変換
し、出力するものである。

【０１８５】これにより、メディアコンテンツの構成に
関する情報から、重要度の高いメディアセグメントのみ
を選択することによって、あらすじやハイライトシーン
を構成するメディアセグメントだけを選び出し、選び出
したメディアセグメントのみに対して、再生に関する表
現記述データへの変換を行うことができるようにしたも
のである。

【０１８６】以下、本発明の実施の形態４について説明
する。実施の形態４は、メディアセグメントの代替デー
タが指定されていない構成に関するものである。図２２
に、実施の形態４におけるデータ処理装置のブロック図
を示す。図２２において、１５０１で示されるものは選
択手段である要約エンジンである。１５０２で記される
ものは変換手段である記述コンバータである。１５０３
で記されるものは入力データであり構造記述データであ
る内容記述であり、１５０４で記されるものは選択条件
であり、１５０５で記されるものは出力であり表現記述
データである再生方法記述である。

【０１８７】図２３に、実施の形態４で用いる構造記述
データのDTDを示す。図２３に示すDTDは、図２（ａ）で
示したDTDのsegment要素に、メディアセグメントの文脈
内容に基づく重要度を表すscore２３０１という属性を
加えたものである。この重要度は、正の整数値で表され
るものとし、１が最も重要度が低いとする。

【０１８８】次に、図２４に、実施の形態４の構造記述
データである内容記述１５０３の例を示す。

【０１８９】図中２４０１に示すように、各セグメント
には、重要度を示すscore属性が付与されている。

【０１９０】実施の形態４においては、選択条件１５０
４として、メディアセグメントの重要度を用いる。そし
て、要約エンジン１５０１は、メディアセグメントの重
要度があるしきい値以上であることを条件として、メデ
ィアセグメントの選択を行う。以下、選択手段である要
約エンジン１５０１の処理について、図２５のフローチ
ャートを用いて説明する。

【０１９１】まず、要約エンジン１５０１は、ステップ
Ｓ２５０１において、内容記述１５０３に記述された最
初のメディアセグメント、すなわちsegment要素の先頭
のものを取り出す。次に、要約エンジン１５０１は、ス
テップＳ２５０２において、取り出したメディアセグメ
ントのスコアである、segment要素のscore属性を取り出
し、それがしきい値以上であるかを調べる。そして、要
約エンジン１５０１は、最初のメディアセグメントのsc
ore属性がしきい値以上の場合はステップＳ２５０３の
処理に以降し、最初のメディアセグメントのscore属性
がしきい値未満の場合はステップＳ２５０４の処理に移
行する。

【０１９２】要約エンジン１５０１は、ステップＳ２５
０３では、該当メディアセグメントの開始時間と終了時
間であるsegment要素のstart属性,end属性の値を変換手
段である記述コンバータ１５０２に出力する。

【０１９３】また、要約エンジン１５０１は、ステップ
Ｓ２５０４では、未処理のメディアセグメントがあるか
どうかを調べる。そして、要約エンジン１５０１は、未
処理のメディアセグメントがある場合は、ステップＳ２
５０５の処理に以降し、未処理のメディアセグメントが
ない場合は処理を終了する。

【０１９４】要約エンジン１５０１は、ステップＳ２５
０５において、未処理のメディアセグメントのうち、先
頭のsegment要素を取り出し、ステップＳ２５０２へ移
行する。

【０１９５】変換手段である記述コンバータ１５０２の
処理は、実施の形態１で示した図４の構造記述データか
らＳＭＩＬへの変換の手順と同様であるので、詳細な説
明は省略する。

【０１９６】なお、実施の形態４においては要約エンジ
ン１５０１が、選択したメディアセグメントの要素の内
容を記述コンバータ１５０２へ出力し、記述コンバータ
１５０２はそれを用いて処理を行う構成であるが、要約
エンジン１５０１が選択されたメディアセグメントだけ
を残した中間的な構造記述データを作成し、記述コンバ
ータ１５０２がこの中間的な構造記述データを入力して
処理を行うものであってもよい。

【０１９７】図２６に、しきい値を４とした場合に図２
３の構造記述データである内容記述１５０３から生成さ
れる中間的な構造記述データの例を示す。

【０１９８】図中２６０１からわかるように、中間的な
構造記述データには、しきい値４以上のメディアセグメ
ントだけが選択されて記述されている。

【０１９９】また、選択条件として、メディアセグメン
トの重要度があるしきい値以上であることとしたが、選
択したメディアセグメントの再生時間の総和があるしき
い値以下であることとしてもよい。この場合は、要約エ
ンジン１５０１では、すべてのメディアセグメントをそ
の重要度の高い順にソートし、再生時間の総和がしきい
値以下で、かつ最大となるまで、ソートした先頭からメ
ディアセグメントを選択していく処理を行うようにす
る。また、メディアセグメントの重要度の条件と再生時
間の条件との組み合わせる形態であってもよい。

【０２００】以上のように、実施の形態４によれば、メ
ディアセグメントの文脈内容に基づいた重要度から、メ
ディアセグメントの選択を行うことにより、あらすじや
ハイライトシーン集などを構成し、それらの表現記述デ
ータの生成が行える。これにより、ユーザが希望する部
分だけのメディアコンテンツの再生、配信が行える。

【０２０１】なお、セグメントの重要度に合わせて、セ
グメントの再生時間を変化させた要約内容記述を作成し
てもよい。

【０２０２】（実施の形態５）実施の形態５は、実施の
形態４が映像情報と音声情報がひとつのメディアオブジ
ェクトになっているものに限定されているのに対し、複
数のメディアオブジェクトによる同期で構成されている
場合も含むようにしたものである。

【０２０３】以下、本発明の実施の形態５について述べ
る。実施の形態５は、メディアセグメントの代替データ
が指定されていない構成に関するものである。実施の形
態５におけるデータ処理装置のブロック図は図２２に示
したものと同様である。

【０２０４】実施の形態５においても、構造記述データ
１５０３のためのＤＴＤとして、図２３に示したものを
用いる。図２７に、実施の形態５における構造記述デー
タである内容記述１５０３の例を示す。

【０２０５】図２７に示す内容記述１５０３には、タイ
プがvideoのmediaObject要素２７０１と、タイプがaudi
oのmediaObject要素２７０２と、が記述されている。図
中２７０３に示すようにタイプがvideoのmediaObject要
素２７０１のセグメントには、重要度であるscore属性
が記述されている。また、図中２７０４に示すようにタ
イプがaudioのmediaObject要素２７０２のセグメントに
は、重要度であるscore属性が記述されている。

【０２０６】実施の形態５においても、選択条件１５０
４はメディアセグメントの重要度があるしきい値以上で
あることとする。この場合の選択手段である要約エンジ
ン１５０１の処理は、実施の形態４における要約エンジ
ン１５０１の処理を、各mediaObject要素毎に行うこと
となる。

【０２０７】図２８に実施の形態５における要約エンジ
ン１５０１の処理のフローチャートを示す。

【０２０８】まず、要約エンジン１５０１は、ステップ
Ｓ２８０１において、最初のmediaObject要素を取り出
す。次に、要約エンジン１５０１は、Ｓ２８０２におい
て、取り出したmediaObject要素の内容であるメディア
セグメントのうち先頭のものであるsegment要素を取り
出す。そして、要約エンジン１５０１は、ステップＳ２
８０３において、取り出したメディアセグメントのスコ
アを表すsegment要素のscore属性の値を取り出し、それ
がしきい値以上であるかどうかを調べる。

【０２０９】要約エンジン１５０１は、取り出したメデ
ィアセグメントがしきい値以上の場合はステップＳ２８
０４の処理に移行し、取り出したメディアセグメントが
しきい値未満の場合はステップＳ２８０５の処理に移行
する。そして、要約エンジン１５０１は、ステップＳ２
８０４で、該当メディアセグメントの開始時間と終了時
間であるsegment要素の、start属性およびend属性の値
を記述コンバータ１５０２に出力する。

【０２１０】次に、要約エンジン１５０１は、ステップ
Ｓ２８０５で、未処理のメディアセグメントがあるかど
うかを調べる。そして、要約エンジン１５０１は、未処
理のメディアセグメントがある場合はステップＳ２８０
６の処理に移行し、未処理のメディアセグメントない場
合はステップＳ２８０５の処理に移行する。

【０２１１】そして、要約エンジン１５０１は、ステッ
プＳ２８０６で、未処理のメディアセグメントのうち、
先頭のsegment要素を取り出し、ステップＳ２８０３の
処理に移行する。

【０２１２】一方、要約エンジン１５０１は、ステップ
Ｓ２８０７で、未処理のmediaObject要素がまだ残って
いるかどうかを調べ、まだ残っている場合はステップＳ
２８０８の処理に移行し、残っていない場合は処理を終
了する。そして、要約エンジン１５０１は、ステップＳ
２８０８で、未処理のmediaObject要素のうち、先頭のm
ediaObject要素を取り出し、ステップＳ２８０２の処理
に移行する。

【０２１３】実施の形態５の変換手段である記述コンバ
ータ１５０２も、各mediaObject要素毎の処理となる
が、実施の形態１に示した図４の構造記述データからＳ
ＭＩＬへの変換の手順の処理と同様の処理を行う。

【０２１４】なお、実施の形態５においては、要約エン
ジン１５０１が、選択したメディアセグメントの要素の
内容を記述コンバータ１５０２へ出力し、要約エンジン
１５０２はそれを用いて処理を行う構成であるが、要約
エンジン１５０１が選択されたメディアセグメントだけ
を残した中間的な構造記述データを作成し、記述コンバ
ータ１５０２はこの中間的な構造記述データを入力して
処理を行うものであってもよい。

【０２１５】図２９に、しきい値を４とした場合に図２
７の内容記述１５０３から生成される中間的な構造記述
データの例を示す。

【０２１６】図中２９０１からわかるように、タイプが
videoのmediaObject要素には、しきい値４以上のメディ
アセグメントだけが選択され記述されている。また、図
中２９０２からわかるように、タイプがaudioのmediaOb
ject要素にも、しきい値が４以上のメディアセグメント
だけが選択され記述されている。

【０２１７】また、SMIL文書においてpar要素の中の各
クリップに関し、同期させるために再生開始時間を異な
るものとする必要が出てくる場合がある。この場合は、
各クリップの再生開始時間を計算し、その時間がくれば
再生を始めるようにする必要がある。

【０２１８】SMILには、このような目的のために、audi
o要素,video要素,img要素,ref要素にbeginという属性が
用意されており、これらを用いることで実現できる。

【０２１９】以上のように、実施の形態５によれば、メ
ディアセグメントの文脈内容に基づいた重要度から、メ
ディアセグメントの選択を行うことにより、あらすじや
ハイライトシーン集などを構成し、それらの表現記述デ
ータの生成が行える。これにより、ユーザが希望する部
分だけのメディアコンテンツの再生、配信が行える。

【０２２０】（実施の形態６）発明の実施の形態６につ
いて説明する。実施の形態４がメディアセグメントの代
替データが指定されていないのに対し、実施の形態６は
メディアセグメントの代替データを指定したものであ
る。また、実施の形態６は、要約エンジンにおいてメデ
ィアセグメントを再生するか、代替データを再生するか
の選択を行わない構成に関するものである。

【０２２１】実施の形態６におけるデータ処理装置のブ
ロック図は図２２に示したものと同様である。

【０２２２】実施の形態６において用いる構造記述デー
タのDTDの例を図３０に示す。図中３００１に示すよう
に、図３０に示すDTDは、図１３で示したDTDのsegment
要素にメディアセグメントの文脈内容に基づく重要度を
表すscoreという属性を加えたものである。この重要度
は、正の整数値で表されるものとし、１が最も重要度が
低いとする。

【０２２３】図３１に、構造記述データである内容記述
１５０３の例を示す。図３１からわかるように、代替デ
ータで構成されるセグメントには、それぞれ重要度を示
すscore属性が記述されている。

【０２２４】実施の形態６における選択手段である要約
エンジン１５０１の処理は、実施の形態４における要約
エンジンの処理と同様である。だたし、実施の形態６に
おける選択手段である要約エンジン１５０１は、選択し
たメディアセグメントの出力する際に、segment要素のs
tart属性，end属性に加えて、子要素であるalt要素も出
力する。

【０２２５】また、実施の形態６における変換手段であ
る記述コンバータ１５０２の処理は、実施の形態１、実
施の形態２、実施の形態３に示した図４の構造記述デー
タからSMILへの変換の手順の処理と同様である。

【０２２６】なお、本実施の形態においては要約エンジ
ン１５０１が、選択したメディアセグメントの要素の内
容を記述コンバータ１５０２へ出力し、記述コンバータ
１５０２はそれを用いて処理を行う構成であるが、要約
エンジン１５０１が選択されたメディアセグメントだけ
を残した中間的な構造記述データを作成し、記述コンバ
ータ１５０２はこの中間的な構造記述データを入力して
処理を行うものであってもよい。

【０２２７】図３２に、しきい値を４とした場合に図３
１の構造記述データである内容記述１５０３から生成さ
れる中間的な構造記述データの例を示す。

【０２２８】図３２に記された構造記述データには、重
要度であるscore属性の値が４以上のセグメントと、こ
のセグメントの代替データのみを選択して記述してあ
る。

【０２２９】（実施の形態７）本発明の実施の形態７に
ついて説明する。実施の形態５がメディアセグメントの
代替データが指定されていないのに対し、実施の形態７
はメディアセグメントの代替データを指定したものであ
る。また、実施の形態７は、メディアセグメントの代替
データが指定されており、また要約エンジンにおいてメ
ディアセグメントを再生するか代替データを再生するか
の選択を行わない構成に関するものである。

【０２３０】実施の形態７におけるデータ処理装置のブ
ロック図は図２２に示したものと同様である。

【０２３１】実施の形態７においても、構造記述データ
である内容記述１５０３のためのDTDとして、図３０に
示したものを用いる。図３３に実施の形態７における構
造記述データである内容記述１５０３の例を示す。

【０２３２】実施の形態７における選択手段である要約
エンジン１５０１の処理は、実施の形態５における要約
エンジン１５０１の処理と同様である。だたし、実施の
形態７にかかる要約エンジン１５０１は、選択したメデ
ィアセグメントを出力する際に、segment要素のstart属
性，end属性に加えて、子要素であるalt要素も出力す
る。

【０２３３】また、実施の形態７における記述コンバー
タ１５０２の処理は、実施の形態１、実施の形態２、ま
たは実施の形態３に示した図４の構造記述データからSM
ILへの変換の手順の処理と同様である。

【０２３４】なお、本実施の形態においては要約エンジ
ン１５０１が、選択したメディアセグメントの要素の内
容を記述コンバータ１５０２へ出力し、記述コンバータ
１５０２はそれを用いて処理を行う構成であるが、要約
エンジン１５０１が選択されたメディアセグメントだけ
を残した中間的な構造記述データを作成し、記述コンバ
ータ１５０２はこの中間的な構造記述データを入力して
処理を行うものであってもよい。

【０２３５】図３４に示す構造記述データは、しきい値
を４とした場合に図３３の内容記述１５０３から生成さ
れる中間的な構造記述データの例である。

【０２３６】図３４に記された構造記述データには、重
要度であるscore属性の値が４以上のセグメントとこの
セグメントの代替データを、メディアのタイプ毎に分け
て記述してある（実施の形態８）実施の形態８は、映像
情報と音声情報とが同期した連続視聴覚情報（メディア
コンテンツ）のあらすじやハイライトシーンのようなメ
ディアコンテンツの代表的な部分のみを、端末にあった
表示メディアによって再生、配信を行うためのものであ
る。つまり、メディアコンテンツに対して、メディアコ
ンテンツを区分けした各区分（メディアセグメント）の
集合によって該当メディアコンテンツの構成を表現し、
かつ各メディアセグメントの時間情報と、該当メディア
セグメントの文脈内容に基づいた重要度を記述したもの
である構造記述データと、文脈内容に基づいた重要度の
しきい値とを入力とし、しきい値以上のメディアセグメ
ントだけを選択するものである。そして、選択したメデ
ィアセグメントの再生形態としてメディアセグメントあ
るいは該当メディアセグメントの代替データのどちらか
を選択して、その再生順序、再生のタイミングを表現す
る表現記述データに変換し出力するものである。

【０２３７】これにより、メディアコンテンツの構成に
関する情報から、重要度の高いメディアセグメントのみ
を選択することによって、あらすじやハイライトシーン
を構成するメディアセグメントだけを選び出し、選び出
したメディアセグメントのみの再生に関する表現記述デ
ータへの変換を行うことができる。よって、メディアコ
ンテンツを再生する端末の能力や配信するネットワーク
の状況に合わせたメディアの選択を実現することができ
る。

【０２３８】本発明に実施の形態８について説明する。
実施の形態６がメディアセグメントの代替データが指定
されており、メディアセグメントを再生するか代替デー
タを再生するかの選択を行わないものに対し、実施の形
態８は、メディアセグメントの代替データが指定されて
おり、メディアセグメントを再生するか代替データを再
生するかの選択を行うものである。実施の形態８におい
ては、選択手段が、メディアセグメント選択手段と、再
生メディア選択手段に分かれる。また、選択条件はセグ
メント選択条件と再生メディア選択条件に分かれる。

【０２３９】図３５に実施の形態８におけるデータ処理
装置のブロック図を示す。図３５において、２８０１で
記されるものはメディアセグメント選択手段である要約
エンジンである。また、２８００で記されるものは記述
コンバータである。また、記述コンバータ２８００は、
再生メディア選択手段である再生メディア選択部２８０
２と、変換手段である変換部２８０３とから構成されて
いる。

【０２４０】２８０４で記されるものは入力データであ
り構造記述データである内容記述を、２８０５で記され
るものはセグメント選択条件を、２８０６で記されるも
のは再生メディア選択条件を、２８０７で記されるもの
は出力であり表現記述データある再生方法記述を表す。

【０２４１】実施の形態８において、構造記述データで
ある内容記述２８０４は実施の形態６における内容記述
１５０３と同じものを用いる。すなわち、内容記述２８
０４は、図３０に示したＤＴＤを用いたもので、一例は
図３１に示されているものである。また、セグメント選
択条件２８０５は、実施の形態４あるいは実施の形態６
における選択条件１５０４と同様のものを用いる。この
場合、メディアセグメント選択手段である要約エンジン
２８０１の処理は、実施の形態６における要約エンジン
１５０１の処理と同様となる。

【０２４２】次に、再生メディア選択部２８０２の処理
について説明する。再生メディア選択部２８０２は、再
生メディア選択条件２８０６として、メディアコンテン
ツを配送するネットワークの接続ビットレートを条件と
する。すなわち、再生メディア選択部２８０２は、接続
ビットレートが５６ｋｂｐｓ以上の場合はメディアセグ
メントを再生し、５６ｋｂｐｓ未満の場合は代替データ
を再生することとする。再生メディア選択部２８０２
は、接続ビットレートを調べ、どちらを再生するかを判
定し、変換部２８０３へ通知する。

【０２４３】変換部２８０３は、メディアセグメント選
択手段である要約エンジン２８０１が選択したメディア
セグメントの要素と、再生メディア選択部２８０２が選
択した結果を入力し、再生メディア選択部２８０２の結
果に基づいて、SMILによる表現記述データである再生方
法記述２８０７を出力する。

【０２４４】変換部２８０３が内容記述２８０４をSMIL
に変換する処理は、実施の形態１あるいは実施の形態に
示した図４の構造記述データからSMILへの変換の手順の
処理と同様である。

【０２４５】なお、本実施の形態においては、要約エン
ジン２８０１が、選択したメディアセグメントの要素の
内容を変換部２８０３へ出力し、変換部２８０３はそれ
を用いて処理を行う構成であるが、要約エンジン２８０
１が選択されたメディアセグメントだけを残した中間的
な構造記述データを作成し、変換部２８０３はこの中間
的な構造記述データを入力して処理を行うものであって
もよい。

【０２４６】また、再生メディア選択条件２８０６とし
て、ネットワークのビットレートを用いたが、他に、再
生端末の能力や、ユーザからの要求などであってもよ
い。

【０２４７】（実施の形態９）本発明に実施の形態９に
ついて述べる。実施の形態７がメディアセグメントの代
替データが指定されており、メディアセグメントを再生
するか代替データを再生するかの選択を行わないものに
対し、実施の形態９は、メディアセグメントの代替デー
タが指定されており、メディアセグメントを再生するか
代替データを再生するかの選択を行うものである。ま
た、実施の形態９は、選択手段においてメディアセグメ
ントを再生するか代替データを再生するかの選択を行う
構成に関するものである。

【０２４８】実施の形態９においても、実施の形態８と
同様、選択手段が、メディアセグメント選択手段と、再
生メディア選択手段に分かれる。また、選択条件はセグ
メント選択条件と再生メディア選択条件に分かれる。し
たがって、本実施の形態におけるデータ処理装置のブロ
ック図は、図３５に示したものと同様となる。

【０２４９】実施の形態９において、構造記述データで
ある内容記述２８０４は実施の形態７における構造記述
データ１５０３と同じものを用いる。すなわち、内容記
述２８０４は図３０に示したDTDを用いたもので、内容
記述２８０４の一例は図３４に示されているものであ
る。また、セグメント選択条件２８０５は、実施の形態
８と同様のものを用いる。したがって、要約エンジン２
８０１の処理は、実施の形態７における要約エンジン１
５０１の処理と同様となる。

【０２５０】実施の形態９にかかる再生メディア選択部
２８０２の処理は、実施の形態８に記述したものと同様
のものを用いる。

【０２５１】変換部２８０３は、要約エンジン２８０１
が選択したメディアセグメントの要素と、再生メディア
選択部２８０２が選択した結果を入力し、再生メディア
選択部２８０２の結果に基づいて、SMILによる表現記述
データである再生方法記述２８０７を出力する。変換部
２８０３が行う構造記述データからSMILへの変換処理
は、実施の形態１あるいは実施の形態２に示した図４の
構造記述データからSMILへの変換の手順と同様である。

【０２５２】なお、本実施の形態においては、要約エン
ジン２８０１が、選択したメディアセグメントの要素の
内容を変換部２８０３へ出力し、変換部２８０３はそれ
を用いて処理を行う構成であるが、要約エンジン２８０
１が選択されたメディアセグメントだけを残した中間的
な構造記述データを作成し、変換部２８０３はこの中間
的な構造記述データを入力して処理を行うものであって
もよい。

【０２５３】また、再生メディア選択条件２８０６とし
て、ネットワークのビットレートを用いたが、他に、再
生端末の能力や、ユーザからの要求などであってもよ
い。

【０２５４】（実施の形態１０）実施の形態１０は、映
像情報と音声情報とが同期した連続視聴覚情報（メディ
アコンテンツ）に関して、ユーザの嗜好に合わせたメデ
ィアコンテンツの代表的な部分のみの再生、配信を行う
ためのものである。つまり、実施の形態１０は、メディ
アコンテンツに対して、メディアコンテンツを区分けし
た各区分（メディアセグメント）の集合によって該当メ
ディアコンテンツの構成を表現し、かつ各メディアセグ
メントの時間情報と、キーワードで表現される観点に基
づいた該当メディアセグメントの重要度とを記述したも
のである構造記述データと、ユーザの嗜好に合った観点
とその重要度のしきい値とを入力とし、しきい値以上の
メディアセグメントだけを選択するものである。そし
て、選択したメディアセグメントの再生形態としてメデ
ィアセグメントの再生順序、再生のタイミングを表現す
る表現記述データに変換し出力するものである。これに
より、メディアコンテンツの構成に関する情報から、該
当観点に基づく重要度がしきい値以上のメディアセグメ
ントだけを選び出し、選び出したメディアセグメントの
みの再生に関する表現記述データへの変換を行うもので
ある。この結果、観点に基づく重要度により、ユーザの
嗜好に合わせたハイライトシーン集などを構成でき、そ
の部分だけの再生、配送を行うことができるといった作
用を有する。

【０２５５】以下、発明の実施の形態１０について説明
する。実施の形態１０は、メディアセグメントの代替デ
ータが指定されていない構成に関するものである。実施
の形態１０におけるデータ処理装置のブロック図は図２
２に示したものと同様となる。

【０２５６】図３６に、実施の形態１０で用いる構造記
述データのDTDを示す。図中３６０１に示すように、図
３６に示すDTDは、図２（ａ）で示したDTDのsegment要
素に、キーワードで表現される観点に基づく重要度を表
すスコアを表すため、pointOfViewという要素を子要素
となるように加えたものである。

【０２５７】また、図中３６０２に示すように、pointO
fView要素は、viewPoint属性によって観点を表し、scor
e属性によってviewPoint属性で示した観点に基づく重要
度を表す。この重要度は、正の整数値で表されるものと
し、１が最も重要度が低いとする。また、ひとつのsegm
ent要素に複数のpointOfView要素をつけることができ
る。図３７に、実施の形態１０で用いる構造記述データ
である内容記述１５０３の例を示す。

【０２５８】図３７からわかるように、segment要素毎
に、pointOfView要素と、その属性であるviewPointと、
属性であるscoreが記述されている。

【０２５９】実施の形態１０においては、選択条件１５
０４は、ある観点に関して、メディアセグメントのその
観点に基づく重要度がしきい値以上であるとする。ま
た、選択条件１５０４となる観点は複数であっても構わ
ない。この場合の選択手段である要約エンジン１５０１
における処理のフローチャートを図３８に示す。

【０２６０】まず、要約エンジン１５０１は、ステップ
Ｓ３８０１において、先頭のメディアセグメントである
segment要素を取り出す。次に、要約エンジン１５０１
は、ステップＳ３８０２において、取り出したメディア
セグメントであるsegment要素の内容であるpointOfView
要素をすべて調べる。そして、要約エンジン１５０１
は、調べたpointOfView要素のviewPoint属性に、選択条
件１５０４で指定された観点が指定されているものがあ
るかどうかを調べる。

【０２６１】そして、要約エンジン１５０１は、選択条
件１５０４で指定された観点が指定されているものがあ
る場合は、選択条件１５０４で指定された観点に基づく
重要度としきい値を比べるために、ステップＳ３８０３
の処理に移行する。一方、要約エンジン１５０１は、選
択条件１５０４で指定された観点が指定されているもの
がない場合は、選択条件１５０４で指定された観点に基
づく重要度がつけられていないため、ステップＳ３８０
５の処理に移行する。

【０２６２】次に、要約エンジン１５０１は、ステップ
Ｓ３８０３において、選択条件１５０４で指定された観
点に基づく重要度がしきい値以上であるかを調べる。そ
して、選択条件１５０４は指定された観点に基づく重要
度がしきい値以上の場合は、ステップＳ３８０４の処理
に移行し、この重要度がしきい値未満の場合はステップ
Ｓ３８０５の処理に移行する。

【０２６３】そして、要約エンジン１５０１は、ステッ
プＳ３８０４において、該当メディアセグメントの開始
時間と終了時間を表す、segment要素のstart属性とend
属性の値を記述コンバータ１５０２に出力する。また、
要約エンジン１５０１は、ステップＳ３８０５におい
て、未処理のメディアセグメントがあるかどうかを調
べ、ある場合はステップＳ３８０６の処理に移行する。
一方、要約エンジン１５０１は、未処理のメディアセグ
メントがない場合は、処理を終了する。

【０２６４】また、要約エンジン１５０１は、ステップ
Ｓ３８０６では、未処理のメディアセグメントのうち、
先頭のsegment要素を取り出し、ステップＳ３８０２の
処理に移行する。

【０２６５】記述コンバータ１５０２の処理は、実施の
形態１に示した図４の構造記述データからSMILへの変換
の手順と同様である。

【０２６６】なお、実施の形態１０においては要約エン
ジン１５０１が、選択したメディアセグメントの要素の
内容を記述コンバータ１５０２へ出力し、記述コンバー
タ１５０２はそれを用いて処理を行う構成であるが、要
約エンジン１５０１が選択されたメディアセグメントだ
けを残した中間的な構造記述データを作成し、記述コン
バータ１５０２はこの中間的な構造記述データを入力し
て処理を行う形態であってもよい。

【０２６７】また、選択条件は、メディアセグメントの
ある観点に関する重要度があるしきい値以上であること
としたが、選択したメディアセグメントの再生時間の総
和があるしきい値以下であることでもよい。この場合、
要約エンジン１５０１は、すべてのメディアセグメント
を指定された観点に関する重要度の高い順にソートし、
再生時間の総和がしきい値以下で、かつ最大となるま
で、ソートした先頭からメディアセグメントを選択して
いく処理を行うこととなる。

【０２６８】また、要約エンジン１５０１は、指定され
た観点が複数ある場合は、各メディアセグメントに関し
て、指定された観点に関する重要度のうち最大のものを
とり、その値でソートしてもよいし、それらの総和や相
加平均をとり、その値でソートしてもよい。

【０２６９】また、メディアセグメントのある観点に関
する重要度の条件と再生時間の条件との組み合わせであ
ってもよい。

【０２７０】以上のように、実施の形態１０によれば、
メディアセグメントに付加された、キーワードで表現さ
れる観点に基づいた重要度から、ユーザの興味のあるメ
ディアセグメントだけの選択を行うことにより、ユーザ
の嗜好に合わせたあらすじやハイライトシーン集などを
構成し、それらの表現記述データの生成が行える。これ
により、ユーザが希望する部分だけのメディアコンテン
ツの再生、配信が行える。

【０２７１】（実施の形態１１）以下、本発明の実施の
形態１１について説明する。実施の形態１０が複数のタ
イプのメディアを持たないのに対し、実施の形態１１は
複数のタイプのメディアを有し、メディアセグメントの
代替データが指定されていない構成に関するものであ
る。実施の形態１１におけるデータ処理装置のブロック
図は図２２に示したものと同様である。

【０２７２】実施の形態１１においても、内容記述デー
タ１５０３のためのDTDとして、図３６に示したものを
用いる。また、図３９に実施の形態１１における構造記
述データである内容記述１５０３の例を示す。

【０２７３】図３９からわかるように、図３９に示す構
造記述データは、タイプの異なるmediaObject要素を有
し、segment要素毎に、pointOfView要素と、その属性で
あるviewPointおよび属性であるscoreが記述されてい
る。

【０２７４】実施の形態においても、選択条件１５０４
は、実施の形態１０と同様であり、ある観点に関して、
メディアセグメントのその観点に基づく重要度がしきい
値以上であることとする。また、選択条件１５０４とな
る観点は複数であっても構わない。この場合の要約エン
ジン１５０１の処理は、実施の形態１０における要約エ
ンジン１５０１の処理を、各mediaObject要素毎に行う
こととなる。図４０に、実施の形態１１における要約エ
ンジン１５０１の処理のフローチャートを示す。

【０２７５】まず、要約エンジン１５０１は、ステップ
Ｓ４００１において、最初のmediaObject要素を取り出
す。次に、要約エンジン１５０１は、ステップＳ４００
２において、取り出したmediaObject要素の内容のう
ち、先頭のメディアセグメントであるsegment要素を取
り出す。そして、要約エンジン１５０１は，ステップＳ
４００３において、取り出したメディアセグメントであ
るsegment要素の内容であるpointOfView要素をすべて調
べ、調べたpointOfView要素のviewPoint属性に、選択条
件１５０４で指定された観点が指定されているものがあ
るか調べる。

【０２７６】そして、要約エンジン１５０１は、調べた
pointOfView要素のviewPoint属性に、選択条件１５０４
で指定された観点が指定されているものがある場合は、
選択条件１５０４で指定された観点に基づく重要度とし
きい値とを比較するため、ステップＳ４００４の処理に
移行する。一方、要約エンジン１５０１は、調べたpoin
tOfView要素のviewPoint属性に、選択条件１５０４で指
定された観点が指定されているものがない場合は、選択
条件１５０４で指定された観点に基づく重要度がつけら
れていないため、ステップＳ４００６の処理に移行す
る。

【０２７７】要約エンジン１５０１は、ステップＳ４０
０４において、選択条件１５０４で指定された観点に基
づく重要度がしきい値以上であるかを調べる。また、要
約エンジン１５０１は、選択条件１５０４で指定された
観点に基づく重要度がしきい値以上の場合は、ステップ
Ｓ４００５の処理に移行し、選択条件１５０４で指定さ
れた観点に基づく重要度がしきい値未満の場合はステッ
プＳ４００６の処理に移行する。

【０２７８】要約エンジン１５０１は、ステップＳ４０
０５では、該当メディアセグメントの開始時間と終了時
間を表す、segment要素のstart属性とend属性の値を記
述コンバータ１５０２へ出力する。また、要約エンジン
１５０１は、ステップＳ４００６では、未処理のメディ
アセグメントがあるかどうかを調べ、未処理のメディア
セグメントがある場合はステップＳ４００７の処理に移
行する。また要約エンジン１５００は、未処理のメディ
アセグメントがない場合は、ステップＳ４００８の処理
に移行する。

【０２７９】要約エンジン１５０１は、ステップＳ４０
０８では未処理のmediaObject要素がまだ残っているか
どうかを調べ、残っている場合はステップＳ４００９の
処理に移行する。要約エンジン１５０１は、未処理のme
diaObject要素が残っていない場合は処理を終了する。

【０２８０】また、要約エンジン１５０１は、ステップ
Ｓ４００９では、未処理のmediaObject要素のうち、先
頭のmediaObject要素を取り出し、ステップＳ４００２
の処理に移行する。

【０２８１】実施の形態１１の記述コンバータ１５０２
も、各mediaObject要素毎の処理を行うが、それ以外
は、実施の形態１に示した図４の構造記述データからＳ
ＭＩＬへの変換の手順の処理と同様の処理を行う。

【０２８２】なお、実施の形態１１においては要約エン
ジン１５０１が、選択したメディアセグメントの要素の
内容を記述コンバータ１５０２へ出力し、記述コンバー
タ１５０２はそれを用いて処理を行う構成であるが、要
約エンジン１５０１が選択されたメディアセグメントだ
けを残した中間的な構造記述データを作成し、記述コン
バータ１５０２はこの中間的な構造記述データを入力し
て処理を行う形態であってもよい。

【０２８３】また、SMIL文書においてpar要素の中の各
クリップに関し、同期させるために再生開始時間を異な
るものとする必要が出てくる場合がある。この場合は、
各クリップの再生開始時間を計算し、その時間がくれば
再生を始めるようにする必要がある。

【０２８４】SMILには、このような目的のために、audi
o要素,video要素,img要素,ref要素にbeginという属性が
用意されており、これらを用いることで実現できる。

【０２８５】（実施の形態１２）本発明の実施の形態１
２について述べる。実施の形態１０がメディアセグメン
トの代替データが指定されていないのに対し、実施の形
態１２はメディアセグメントの代替データが指定されて
いるものである。また、実施の形態１２は、選択手段に
おいてメディアセグメントを再生するか代替データを再
生するかの選択を行わない構成に関するものである。実
施の形態１２におけるデータ処理装置のブロック図は図
２２に示したものと同様である。

【０２８６】実施の形態１２において用いる構造記述デ
ータのDTDの例を図４１に示す。図４１に示すDTDは、図
１３で示したDTDのsegment要素に、キーワードで表現さ
れる観点に基づく重要度を表すスコアを表すため、poin
tOfViewという要素を子要素となるように加えたもので
ある。pointOfView要素は、viewPoint属性によって観点
を表し、score属性によってviewPoint属性で示した観点
に基づく重要度を表す。この重要度は、正の整数値で表
されるものとし、１が最も重要度が低いとする。また、
ひとつのsegment要素に複数のpointOfView要素をつける
ことができる。図４２に内容記述データ１５０３の例を
示す。

【０２８７】図からもわかるように、図４２に示す内容
記述データには、DTDのsegment要素に、pointOfViewと
いう要素が子要素となるように加えられている。また、
pointOfView要素は、viewPoint属性とscore属性とが記
述されている。

【０２８８】実施の形態１２における要約エンジン１５
０１の処理は、実施の形態１０における要約エンジン１
５０１の処理と同様である。だたし、実施の形態１２に
おける要約エンジン１５０１の処理は、選択したメディ
アセグメントの出力する際に、segment要素のstart属性
とend属性に加えて、子要素であるalt要素も出力する。

【０２８９】また、実施の形態１２における記述コンバ
ータ１５０２の処理は、実施の形態１、実施の形態２、
あるいは実施の形態３に示した図４の構造記述データか
らＳＭＩＬへの変換の手順の処理と同様である。

【０２９０】なお、実施の形態においてはなお、実施の
形態１０においては要約エンジン１５０１が、選択した
メディアセグメントの要素の内容を記述コンバータ１５
０２へ出力し、記述コンバータ１５０２はそれを用いて
処理を行う構成であるが、要約エンジン１５０１が選択
されたメディアセグメントだけを残した中間的な構造記
述データを作成し、記述コンバータ１５０２はこの中間
的な構造記述データを入力して処理を行う形態であって
もよい。

【０２９１】（実施の形態１３）本発明の実施の形態１
３について述べる。実施の形態１１がメディアセグメン
トの代替データが指定されていないのに対し、実施の形
態１３はメディアセグメントの代替データが指定されて
いるものに関する。また、実施の形態１３は、選択手段
においてメディアセグメントを再生するか代替データを
再生するかの選択を行わない構成に関するものである。
実施の形態１３におけるデータ処理装置のブロック図は
図１５に示したものと同様である。

【０２９２】実施の形態１３においても、内容記述１５
０３のためのＤＴＤとして、図４１に示したものを用い
る。図４３、図４４に実施の形態１２における構造記述
データ１５０３の例を示す。

【０２９３】図からもわかるように、実施の形態１３の
構造記述データには、異なるタイプのmediaObject要素
を有し、mediaObject要素毎にsegment要素を有する。そ
して、segment要素毎に、pointOfView要素と、その属性
であるviewPointおよび属性であるscoreが記述されてい
る。

【０２９４】実施の形態１２における要約エンジン１５
０１の処理は、実施の形態１１における要約エンジンの
処理と同様である。だたし、実施の形態１２における要
約エンジン１５０１は、選択したメディアセグメントを
出力する際に、segment要素のstart属性とend属性に加
えて、子要素であるalt要素も出力する。

【０２９５】また、実施の形態１２における記述コンバ
ータ１５０２の処理は、実施の形態１、実施の形態２、
あるいは実施の形態３に示した図４の構造記述データか
らＳＭＩＬへの変換の手順の処理と同様である。

【０２９６】なお、実施の形態１１においては要約エン
ジン１５０１が、選択したメディアセグメントの要素の
内容を記述コンバータ１５０２へ出力し、記述コンバー
タ１５０２はそれを用いて処理を行う構成であるが、要
約エンジン１５０１が選択されたメディアセグメントだ
けを残した中間的な構造記述データを作成し、記述コン
バータ１５０２はこの中間的な構造記述データを入力し
て処理を行う形態であってもよい。

【０２９７】（実施の形態１４）本発明の実施の形態１
４について説明する。実施の形態１２が選択手段におい
てメディアセグメントを再生するか代替データを再生す
るかの選択を行わない構成に関するものであるのに対
し、実施の形態１４は選択手段においてメディアセグメ
ントを再生するか代替データを再生するかの選択を行う
構成に関するものである。実施の形態１４においては、
選択手段が、メディアセグメント選択手段と、再生メデ
ィア選択手段に分かれる。また、選択条件はセグメント
選択条件と再生メディア選択条件に分かれる。したがっ
て、実施の形態１４におけるデータ処理装置のブロック
図は、図３５に示したものと同様となる。

【０２９８】実施の形態１４において、内容記述データ
２８０４は実施の形態１２における内容記述１５０３と
同じものを用いる。すなわち、実施の形態１４の内容記
述データ２８０４は図４１に示したDTDを用いたもの
で、実施の形態１４の内容記述データ２８０４の一例は
図４２に示されているものである。

【０２９９】また、セグメント選択条件２８０５は、実
施の形態１０あるいは実施の形態１２における選択条件
１５０４と同様のものを用いる。この場合、要約エンジ
ン２８０１の処理は、実施の形態１２における要約エン
ジン１５０１の処理と同様となる。

【０３００】次に、再生メディア選択部２８０２の処理
について説明する。再生メディア選択部２８０２は、再
生メディア選択条件２８０６として、メディアコンテン
ツを配送するネットワークの接続ビットレートを条件と
する。すなわち、再生メディア選択部２８０２は、接続
ビットレートが５６ｋｂｐｓ以上の場合はメディアセグ
メントを再生し、５６ｋｂｐｓ未満の場合は代替データ
を再生することとする。再生メディア選択部２８０２
は、接続ビットレートを調べ、どちらを再生するかを判
定し、変換部２８０３へ通知する。

【０３０１】変換部２８０３は、メディアセグメント選
択手段である要約エンジン２８０１が選択したメディア
セグメントの要素と、再生メディア選択部２８０２が選
択した結果を入力し、再生メディア選択部２８０２の結
果に基づいて、SMILによる表現記述データである再生方
法記述２８０７を出力する。

【０３０２】変換部２８０３が内容記述２８０４をSMIL
に変換する処理は、実施の形態１あるいは実施の形態２
に示した図４の構造記述データからSMILへの変換の手順
の処理と同様である。

【０３０３】なお、本実施の形態においては、要約エン
ジン２８０１が、選択したメディアセグメントの要素の
内容を変換部２８０３へ出力し、変換部２８０３はそれ
を用いて処理を行う構成であるが、要約エンジン２８０
１が選択されたメディアセグメントだけを残した中間的
な構造記述データを作成し、変換部２８０３はこの中間
的な構造記述データを入力して処理を行うものであって
もよい。

【０３０４】また、再生メディア選択条件２８０６とし
て、ネットワークのビットレートを用いたが、他に、再
生端末の能力や、ユーザからの要求などであってもよ
い。

【０３０５】（実施の形態１５）本発明の実施の形態１
５について述べる。実施の形態１３が選択手段において
メディアセグメントを再生するか代替データを再生する
かの選択を行う構成に関するものであるのに対し、実施
の形態１５は選択手段においてメディアセグメントを再
生するか代替データを再生するかの選択を行う構成に関
するものである。実施の形態１５においても、実施の形
態８と同様、選択手段が、メディアセグメント選択手段
と、再生メディア選択手段に分かれる。また、選択条件
はセグメント選択条件と再生メディア選択条件に分かれ
る。したがって、本実施の形態におけるデータ処理装置
のブロック図は、図３５に示したものと同様となる。

【０３０６】実施の形態１５の構造記述データ２８０４
は実施の形態１３における構造記述データ１５０３と同
じものを用いる。すなわち、実施の形態１５の構造記述
データ２８０４は、図４１に示したＤＴＤを用いたもの
で、一例は図４３、図４４に示されているものである。

【０３０７】また、実施の形態１５のセグメント選択条
件２８０５は、実施の形態１４のセグメント選択条件２
８０５と同様のものを用いる。したがって、要約エンジ
ン２８０１の処理は、実施の形態１３における要約エン
ジン１５０１の処理と同様となる。

【０３０８】実施の形態１５にかかる再生メディア選択
部２８０２の処理は、実施の形態１４に記述した再生メ
ディア選択部２８０２と同様のものを用いる。

【０３０９】実施の形態１５の変換部２８０３は、要約
エンジン２８０１が選択したメディアセグメントの要素
と、再生メディア選択部２８０２が選択した結果を入力
し、再生メディア選択部２８０２の結果に基づいて、SM
ILによる表現記述データである再生方法記述２８０７を
出力する。

【０３１０】実施の形態１５の変換部２８０３が行うSM
ILへの変換処理は、実施の形態１あるいは実施の形態２
に示した図４の構造記述データからSMILへの変換の手順
と同様である。

【０３１１】なお、本実施の形態においては、要約エン
ジン２８０１が、選択したメディアセグメントの要素の
内容を変換部２８０３へ出力し、変換部２８０３はそれ
を用いて処理を行う構成であるが、要約エンジン２８０
１が選択されたメディアセグメントだけを残した中間的
な構造記述データを作成し、変換部２８０３はこの中間
的な構造記述データを入力して処理を行うものであって
もよい。

【０３１２】また、再生メディア選択条件２８０６とし
て、ネットワークのビットレートを用いたが、他に、再
生端末の能力や、ユーザからの要求などであってもよ
い。

【０３１３】（実施の形態１６）本発明の実施の形態１
６について説明する。図４５に、実施の形態１６におけ
るデータ処理装置のブロック図を示す。図４５におい
て、３８０１で記されるものは構造記述データデータベ
ースを、３８０２で記されるものは選択部を、３８０３
で記されるものは変換部を、３８０４で記されるものは
再生部を、３８０５で記されるものはメディアコンテン
ツデータベースを表す。また、３８０６で記されるもの
は構造記述データを、３８０８で記されるものは要約内
容記述データを、３８０９で記されるものは表現記述デ
ータを、３８１０で記されるものはメディアコンテンツ
データを表す。

【０３１４】また、選択部３８０２、変換部３８０３、
構造記述データ３８０６、選択条件３８０７および表現
記述データ３８０９は、実施の形態４から実施の形態１
５のいずれかに示したものと同様である。また、要約構
造記述データ３８０８は、実施の形態４から実施の形態
１５のいずれかに示した、選択されたメディアセグメン
トだけを残した中間的な構造記述データにあたるもので
ある。選択部３８０２、変換部３８０３は、コンピュー
タ上でプログラムを実行することにより実現できる。

【０３１５】再生部３８０４としては、表現記述データ
３８０９がSMILによって表現されているため、SMILプレ
ーヤを用いることができる。SMILプレーヤは、コンピュ
ータ上でプログラムを実行することにより実現でき、SM
ILプレーヤソフトウェアとしては、例えばReal Network
sのReal Playerなどフリーのソフトが流通している。

【０３１６】なお、実施の形態１６では、選択部３８０
２が要約構造記述データ３８０８を出力するものとした
が、実施の形態４から実施の形態１５のいずれかに示し
たように、要約構造記述データ３８０８を出力せず、選
択したメディアセグメントを出力する形態のものであっ
てもよい。

【０３１７】（実施の形態１７）発明の実施の形態１７
にかかるサーバ−クライアントシステムついて、図４６
を用いて説明する。実施の形態１７は、選択部３８０２
と変換部３８０３をサーバ４６０１側に備え、再生部３
８０４をクライアント４６０２側に備えたものである。
そして、実施の形態１７は、変換部３８０３と再生部３
８０４との接続をネットワーク４６０３上で行うもので
ある。これにより、実施の形態１７は、ネットワークを
通じて、表現記述データ３８０９を通信する構成のサー
バ−クライアントシステムとなる。

【０３１８】また、各処理部が行う処理内容は、コンピ
ュータで実行できるプログラムとして書かれ、サーバ４
６０１側とクライアント４６０２側内の記憶媒体に格納
され、それぞれ実行される。

【０３１９】なお、構造記述データベース３８０１のか
わりにメタデータデータベース１００１を、選択部３８
０２のかわりに要約エンジン１００２、１５０１、２８
０１を、変換部３８０３のかわりに記述コンバータ１０
０３、１５０２、２８００を、再生部３８０４のかわり
に再生機１００４を、メディアコンテンツデータベース
３８０５のかわりにメディアコンテンツデータベース１
００５を用いても良い。

【０３２０】なお、実施の形態１７は、図４７に示すよ
うにメディアコンテンツデータベース３８０５をサーバ
４６０１ａに備え、メディアコンテンツデータ３８１０
をネットワーク４６０３を介してクライアント４６０２
ａに送る形態であっても良い。

【０３２１】（実施の形態１８）本発明の実施の形態１
８にかかるサーバ−クライアントシステムついて述べ
る。

【０３２２】実施の形態１８について、図４８を用いて
説明する。実施の形態１８は、選択部３８０２をサーバ
４７０１側に備え、変換部３８０３と再生部３８０４を
クライアント４７０２側に備えたものである。また、実
施の形態１８は、選択部３８０２と変換部３８０３との
接続をネットワーク４６０３上で行う。これにより、実
施の形態１８は、ネットワークを通じて、要約構造記述
データ３８０８を通信する構成のサーバ−クライアント
システムとなる。

【０３２３】また、各処理部が行う処理内容は、コンピ
ュータで実行できるプログラムとして書かれ、サーバ４
７０１側とクライアント４７０２側内の記憶媒体に格納
され、それぞれ実行される。

【０３２４】なお、構造記述データベース３８０１のか
わりにメタデータデータベース１００１を、選択部３８
０２のかわりに要約エンジン１００２、１５０１、２８
０１を、変換部３８０３のかわりに記述コンバータ１０
０３、１５０２、２８００を、再生部３８０４のかわり
に再生機１００４を、メディアコンテンツデータベース
３８０５のかわりにメディアコンテンツデータベース１
００５を用いても良い。

【０３２５】なお、実施の形態１８は、図４９に示すよ
うに、メディアコンテンツデータベース３８０５をサー
バ４７０１ａに備え、メディアコンテンツデータ３８１
０をネットワーク４６０３を介してクライアント４７０
２ａに送る形態であっても良い。

【０３２６】

【発明の効果】以上説明したように、本発明によれば、
メディアセグメントによるメディアコンテンツの構成を
記述する構造記述データから、メディアコンテンツを再
生する形態を表現する表現記述データへの変換を行え
る。このため、メディアコンテンツの再生において、メ
ディアセグメント毎に再生するタイミング、同期情報な
どの制約を加えることができ、さまざまな再生が実現で
きる。

【０３２７】また、本発明によれば、メディアセグメン
トの代替データを構造記述データに記述しておくことに
より、メディアセグメント自体を再生するか、代替デー
タを再生するかの選択が行える。これにより、メディア
コンテンツを配送するネットワークの容量や通信量、メ
ディアコンテンツを再生する端末の能力などに合わせた
メディアで、コンテンツの配送や再生が行える。

【０３２８】また、本発明によれば、構造記述データに
各メディアセグメントの文脈内容に基づいたスコアをさ
らに記述することによって、例えば、さまざまな再生時
間のハイライトシーン集などの再生や配送を容易に行う
ことができ、また、スコアをキーワードで示される観点
に基づくものとすることにより、キーワードを指定する
ことによって、ユーザの好みに合わせたシーンだけを再
生、配送することができる。

【図面の簡単な説明】

【図１】本発明の実施の形態１にかかるデータ処理シス
テムの概念図

【図２】（ａ） 実施の形態１における構造記述データ
のＤＴＤを示す図 （ｂ） 実施の形態１における構造記述データの一例を
示す図

【図３】実施の形態１における構造記述データのもうひ
とつの一例を示す図

【図４】実施の形態１における構造記述データから表現
記述データへの変換のフロー図

【図５】実施の形態１にかかる記述コンバータが構造記
述データである要約内容記述からSMIL文書である再生方
法記述を出力するフロー図

【図６】SMIL文書の構成を示した図

【図７】実施の形態１における表現記述データの一例を
示す図

【図８】実施の形態１における表現記述データの一例を
示す図

【図９】実施の形態１にかかる記述コンバータが構造記
述データである要約内容記述からSMIL文書である再生方
法記述を出力するフロー図

【図１０】実施の形態１における表現記述データの一例
を示す図

【図１１】実施の形態１における表現記述データの一例
を示す図

【図１２】実施の形態１における表現記述データの一例
を示す図

【図１３】本発明の実施の形態２における構造記述デー
タのＤＴＤを示す図

【図１４】実施の形態２における構造記述データの一例
を示す図

【図１５】実施の形態２における構造記述データのもう
ひとつの一例を示す図

【図１６】実施の形態２にかかる記述コンバータが構造
記述データである要約内容記述からSMIL文書である再生
方法記述を出力するフロー図

【図１７】実施の形態２における表現記述データの一例
を示す図

【図１８】実施の形態２にかかる記述コンバータが構造
記述データである要約内容記述からSMIL文書である再生
方法記述を出力するフロー図

【図１９】実施の形態３における構造記述データから表
現記述データへの変換のフロー図

【図２０】実施の形態３における表現記述データの一例
を示す図

【図２１】（ａ） 実施の形態３における構造記述デー
タの拡張のDTDを示す図 （ｂ） 実施の形態３における構造記述データの拡張の
一例を示す図

【図２２】本発明の実施の形態４におけるデータ処理装
置のブロック図

【図２３】実施の形態４における構造記述データのＤＴ
Ｄを示す図

【図２４】実施の形態４における構造記述データの一例
を示す図

【図２５】実施の形態４における選択部の処理における
フロー図

【図２６】実施の形態４における中間的な構造記述デー
タの一例を示す図

【図２７】本発明の実施の形態５における構造記述デー
タの一例を示す図

【図２８】実施の形態５における選択部の処理における
フロー図

【図２９】実施の形態５における中間的な構造記述デー
タの一例を示す図

【図３０】本発明の実施の形態６における構造記述デー
タのＤＴＤを示す図

【図３１】実施の形態６における構造記述データの一例
を示す図

【図３２】実施の形態６における中間的な構造記述デー
タの一例を示す図

【図３３】本発明の実施の形態７における構造記述デー
タの一例を示す図

【図３４】実施の形態７における中間的な構造記述デー
タの一例を示す図

【図３５】本発明の実施の形態８におけるデータ処理装
置のブロック図

【図３６】本発明の実施の形態１０における構造記述デ
ータのＤＴＤを示す図

【図３７】実施の形態１０における構造記述データの一
例を示す図

【図３８】実施の形態１０における選択部の処理におけ
るフロー図

【図３９】本発明の実施の形態１１における構造記述デ
ータの一例を示す図

【図４０】実施の形態１１における選択部の処理におけ
るフロー図

【図４１】本発明の実施の形態１２における構造記述デ
ータのＤＴＤを示す図

【図４２】実施の形態１２における構造記述データの一
例を示す図

【図４３】本発明の実施の形態１３における構造記述デ
ータの一例を示す第１の図

【図４４】実施の形態１３における構造記述データの一
例を示す第２の図

【図４５】本発明の実施の形態１６におけるデータ処理
装置のブロック図

【図４６】本発明の実施の形態１７のサーバ−クライア
ントシステムのブロック図

【図４７】実施の形態１７のサーバ−クライアントシス
テムのその他の例のブロック図

【図４８】本発明の実施の形態１８のサーバ−クライア
ントシステムのブロック図

【図４９】実施の形態１８のサーバ−クライアントシス
テムのその他の例のブロック図

【図５０】従来の動画配信装置のブロック図

【符号の説明】

１００１ メタデータデータベース １００２、１５０１、２８０１ 要約エンジン １００３、１５０２、２８００ 記述コンバータ １００４ 再生機 １００５ メディアコンテンツデータベース ２８０１ メディアセグメント選択手段 ２８０２ 再生メディア選択部 ２８０３ 変換部 ３８０１ 構造記述データデータベース ３８０２ 選択部 ３８０３ 変換部 ３８０４ 再生部 ３８０５ メディアコンテンツデータベース ４６０１、４７０１ サーバ ４６０２、４７０２ クライアント ４６０３ ネットワーク

Claims (20)

【特許請求の範囲】
1. 【請求項１】 連続視聴覚情報であるメディアコンテン
   ツの全体あるいは前記メディアコンテンツの部分の構成
   を、前記メディアコンテンツを区分けした区分であるメ
   ディアセグメントの時間情報の集合によって表現する構
   造記述データを入力し、入力した前記構造記述データに
   記述されている前記メディアセグメントの時間情報を取
   得する解析部と、解析した前記メディアセグメントの時
   間情報を用いて前記構造記述データを前記メディアセグ
   メントの、再生順序、再生のタイミング、および同期情
   報を表現する表現記述データに変換し出力する変換部
   と、を具備したことを特徴するデータ処理装置。
2. 【請求項２】 前記構造記述データは、前記メディアセ
   グメントの代替データの集合を有し、前記変換部は、前
   記構造記述データを前記メディアセグメントおよび前記
   代替データの少なくとも一方の、再生順序、再生のタイ
   ミング、および同期情報を表現する表現記述データに変
   換することを特徴とする請求項１記載のデータ処理装
   置。
3. 【請求項３】 前記構造記述データに表現されている前
   記メディアセグメントを再生する際に、前記メディアセ
   グメントあるいは前記代替データのどちらを再生するか
   を選択するメディア選択部を具備し、前記変換部は、前
   記メディア選択部の選択に基づいて、前記メディアセグ
   メントもしくは前記代替データデータのどちらか一方
   の、再生順序、再生のタイミング、および同期情報を表
   現する表現記述データを出力することを特徴とする請求
   項２記載のデータ処理装置。
4. 【請求項４】 前記表現記述データは、SMIL文書である
   ことを特徴とする請求項１から請求項３のいずれかに記
   載のデータ処理装置。
5. 【請求項５】 映像情報と音声情報とが同期した連続視
   聴覚情報であるメディアコンテンツの構成を、前記メデ
   ィアコンテンツを区分けした区分であるメディアセグメ
   ントの集合によって表現し、かつ前記メディアセグメン
   トの時間情報と前記メディアセグメントの文脈内容にお
   けるスコアを記述した構造記述データと、前記構造記述
   データから所定の前記メディアセグメントを選択するた
   めの選択条件とを入力し、入力した前記構造記述データ
   から前記選択条件にあったスコアを持つ前記メディアセ
   グメントだけを選択する選択部と、前記選択部が選択し
   た前記メディアセグメントを、前記メディアセグメント
   の、再生順序および再生のタイミングを表現する表現記
   述データに変換し出力する変換部と、を具備したことを
   特徴とするデータ処理装置。
6. 【請求項６】 前記構造記述データは、前記メディアセ
   グメントの代替データの集合を有し、前記変換部は、前
   記構造記述データを前記メディアセグメントおよび前記
   代替データの少なくとも一方の、再生順序、再生のタイ
   ミング、および同期情報を表現する表現記述データに変
   換することを特徴とする請求項５に記載のデータ処理装
   置。
7. 【請求項７】 前記選択部は、前記選択したメディアセ
   グメントを再生する際に、前記メディアセグメントある
   いは前記代替データのどちらを再生するかの選択を行う
   ことを特徴とする請求項６に記載のデータ処理装置。
8. 【請求項８】 前記スコアは、メディアコンテンツの文
   脈内容に基づいた該当メディアセグメントの重要度であ
   ることを特徴とする請求項５から請求項７のいずれかに
   記載のデータ処理装置。
9. 【請求項９】 前記メディアセグメントにはキーワード
   で表現される観点が付与され、前記スコアは前記観点に
   基づいた該当メディアセグメントの重要度であることを
   特徴とする請求項５から請求項８のいずれかに記載のデ
   ータ処理装置。
10. 【請求項１０】 映像情報もしくは音声情報の少なくと
    もどちらか一方の連続視聴覚情報であるメディアコンテ
    ンツの構成を、前記メディアコンテンツを区分けした区
    分であるメディアセグメントの集合によって表現し、か
    つ前記メディアセグメントの時間情報と前記メディアセ
    グメントの文脈内容におけるスコアを記述した構造記述
    データと、前記構造記述データから所定の前記メディア
    セグメントを選択するための選択条件とを入力し、入力
    した前記構造記述データから前記選択条件にあったスコ
    アを持つ前記メディアセグメントだけを選択する選択部
    と、前記選択部が選択した前記メディアセグメントを、
    前記メディアセグメントの、再生順序、再生のタイミン
    グ、および同期情報を表現する表現記述データに変換し
    出力する変換部と、を具備したことを特徴とするデータ
    処理装置。
11. 【請求項１１】 連続視聴覚情報であるメディアコンテ
    ンツの構成を、前記メディアコンテンツを区分けした区
    分であるメディアセグメントの集合によって表現し、か
    つ前記メディアセグメントの時間情報と前記メディアセ
    グメントの文脈内容におけるスコアを記述した構造記述
    データと、前記構造記述データから所定の前記メディア
    セグメントを選択するための選択条件とを入力し、入力
    した前記構造記述データから前記選択条件にあったスコ
    アを持つ前記メディアセグメントだけを選択する選択部
    と、前記選択部が選択した前記メディアセグメントを、
    前記メディアセグメントの、再生順序、再生のタイミン
    グ、および同期情報を表現する表現記述データに変換し
    出力する変換部と、前記表現記述データと前記メディア
    コンテンツを入力し、前記表現記述データの内容に応じ
    て前記メディアコンテンツを再生する再生部と、を具備
    したことを特徴とするデータ処理装置。
12. 【請求項１２】 請求項１１記載の、前記選択部および
    前記変換部を有するサーバと、請求項１１記載の前記再
    生部を有するクライアントと、前記サーバと前記クライ
    アントを接続するネットワークと、を具備し、前記サー
    バと前記クライアントの間で前記表現記述データの通信
    を行うことを特徴とするサーバ−クライアントシステ
    ム。
13. 【請求項１３】 請求項１１記載の前記選択部を有する
    サーバと、請求項１１記載の、前記変換部および前記再
    生部を有するクライアントと、前記サーバと前記クライ
    アントを接続するネットワークと、を具備し、前記サー
    バと前記クライアントの間で前記選択部が選択したメデ
    ィアセグメントだけを残した要約構造記述データの通信
    を行うことを特徴とするサーバ−クライアントシステ
    ム。
14. 【請求項１４】 連続視聴覚情報であるメディアコンテ
    ンツの全体あるいは前記メディアコンテンツの部分の構
    成を、前記メディアコンテンツを区分けした区分である
    メディアセグメントの時間情報の集合によって表現する
    構造記述データを入力し、入力した前記構造記述データ
    に記述されている前記メディアセグメントの時間情報を
    取得し、解析した前記メディアセグメントの時間情報を
    用いて前記構造記述データを前記メディアセグメント
    の、再生順序、再生のタイミング、および同期情報を表
    現する表現記述データに変換し出力することを特徴とす
    るデータ処理方法。
15. 【請求項１５】 映像情報と音声情報とが同期した連続
    視聴覚情報であるメディアコンテンツの構成を、前記メ
    ディアコンテンツを区分けした区分であるメディアセグ
    メントの集合によって表現し、かつ前記メディアセグメ
    ントの時間情報と前記メディアセグメントの文脈内容に
    おけるスコアを記述した構造記述データと、前記構造記
    述データから所定の前記メディアセグメントを選択する
    ための選択条件とを入力し、入力した前記構造記述デー
    タから前記選択条件にあったスコアを持つ前記メディア
    セグメントだけを選択し、選択した前記メディアセグメ
    ントを、前記メディアセグメントの、再生順序および再
    生のタイミングを表現する表現記述データに変換し出力
    することを特徴とするデータ処理方法。
16. 【請求項１６】 映像情報もしくは音声情報の少なくと
    もどちらか一方の連続視聴覚情報であるメディアコンテ
    ンツの構成を、前記メディアコンテンツを区分けした区
    分であるメディアセグメントの集合によって表現し、か
    つ前記メディアセグメントの時間情報と前記メディアセ
    グメントの文脈内容におけるスコアを記述した構造記述
    データと、前記構造記述データから所定の前記メディア
    セグメントを選択するための選択条件とを入力し、入力
    した前記構造記述データから前記選択条件にあったスコ
    アを持つ前記メディアセグメントだけを選択し、選択し
    た前記メディアセグメントを、前記メディアセグメント
    の、再生順序、再生のタイミング、および同期情報を表
    現する表現記述データに変換し出力することを特徴とす
    るデータ処理方法。
17. 【請求項１７】 コンピュータに、連続視聴覚情報であ
    るメディアコンテンツの全体あるいは前記メディアコン
    テンツの部分の構成を、前記メディアコンテンツを区分
    けした区分であるメディアセグメントの時間情報の集合
    によって表現する構造記述データを入力させ、入力した
    前記構造記述データに記述されている前記メディアセグ
    メントの時間情報を取得させ、解析した前記メディアセ
    グメントの時間情報を用いて前記構造記述データを前記
    メディアセグメントの、再生順序、前記メディアセグメ
    ントの再生のタイミング、および前記メディアセグメン
    トの同期情報を表現する表現記述データに変換させ出力
    させることを特徴とするプログラム。
18. 【請求項１８】 コンピュータに、映像情報と音声情報
    とが同期した連続視聴覚情報であるメディアコンテンツ
    の構成を、前記メディアコンテンツを区分けした区分で
    あるメディアセグメントの集合によって表現し、かつ前
    記メディアセグメントの時間情報と前記メディアセグメ
    ントの文脈内容におけるスコアを記述した構造記述デー
    タと、前記構造記述データから所定の前記メディアセグ
    メントを選択するための選択条件とを入力させ、入力し
    た前記構造記述データから前記選択条件にあったスコア
    を持つ前記メディアセグメントだけを選択させ、選択し
    た前記メディアセグメントを、前記メディアセグメント
    の、再生順序および再生のタイミングを表現する表現記
    述データに変換させ出力させることを特徴とするプログ
    ラム。
19. 【請求項１９】 コンピュータに、映像情報もしくは音
    声情報の少なくともどちらか一方の連続視聴覚情報であ
    るメディアコンテンツの構成を、前記メディアコンテン
    ツを区分けした区分であるメディアセグメントの集合に
    よって表現し、かつ前記メディアセグメントの時間情報
    と前記メディアセグメントの文脈内容におけるスコアを
    記述した構造記述データと、前記構造記述データから所
    定の前記メディアセグメントを選択するための選択条件
    とを入力させ、入力した前記構造記述データから前記選
    択条件にあったスコアを持つ前記メディアセグメントだ
    けを選択させ、選択した前記メディアセグメントを、前
    記メディアセグメントの、再生順序、再生のタイミン
    グ、および同期情報を表現する表現記述データに変換さ
    せ出力させることを特徴とするプログラム。
20. 【請求項２０】 請求項１７から請求項１９のいずれか
    に記載のプログラムを記憶したコンピュータ読み取り可
    能な記録媒体。