JP2001084381A - マルチメディア・コンテンツの表現を生成する方法 - Google Patents

Abstract

(57)【要約】 【課題】 データ構造の複雑さとそれらの構造を処理す
る方法とのバランスをとる、マルチメディア・コンテン
ツの統語論的および意味論的属性を表したいという要望
が存在する。 【解決手段】 マルチメディア・コンテンツの空間的に
および時間的セグメンティングをまず行ってオブジェク
トを抽出することによりマルチメディア・コンテンツの
表現を生成する方法。特徴抽出がオブジェクトに対して
適用され、意味論的および統語論的属性、関係、ならび
に、コンテンツ・エンティティ２００の内包集合が生成
される。該コンテンツ・エンティティは符号化されてコ
ンテンツ・エンティティの有向非循環グラフが生成さ
れ、各有向非循環グラフによってマルチメディア・コン
テンツについてのある特定の解釈が表現される。 【効果】 エンティティの多くの構造的構成を内包要素
からなる構造的構成によって記述することが可能とな
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、一般にマルチメ
ディア・コンテンツの処理に関し、具体的にはマルチメ
ディア・コンテンツを表現し比較する方法に関するもの
である。

【０００２】

【従来の技術】マルチメディア・コンテンツの符号化お
よび復号化を行うための多くの規格が存在する。このコ
ンテンツには、１次元の音声信号、２次元空間を備えた
画像、３次元の時間を備えたビデオ・シーケンス、テキ
ストあるいはこれらの組合せを含むことができる。ま
た、オーディオおよびテキストの用の多数の規格が存在
する。

【０００３】画像については、もっとも良く知られてい
る規格はＪＰＥＧであり、ビデオ・シーケンスについて
は、最も広く用いられている規格としてＭＰＥＧ-１、
ＭＰＥＧ-２およびＨ.２６３が含まれる。これらの規格
は比較的低いレベルの仕様であり、画像の場合の空間的
圧縮およびビデオ・シーケンスの空間的ならびに時間的
圧縮を主として処理する仕様である。一般的な特徴とし
て、これらの規格ではフレーム・ベースで圧縮が行われ
る。これらの規格によって高い圧縮比が達成され広く利
用することができる。

【０００４】ＭＰＥＧ-４のようなより新しいビデオ符
号化規格("情報技術 -- オーディオ・ビジュアル・オブ
ジェクトの一般的符号化”(ＩＳＯ／ＩＥＣ ＦＤＩＳ１
４４９６-２(ＭＰＥＧ４ビジュアル)、１９９８年１１
月)参照)によって、別個のビデオ・オブジェクト平面
(ＶＯＰ)として任意の形状のオブジェクトの符号化およ
び復号化を行うことが可能である。この姿を現しつつあ
る規格は、双方向型ビデオのようなマルチメディア・ア
プリケーションを可能にすることを意図するものであ
る。そのようなビデオでは、自然の素材と人工的素材と
が統合され、世界中からアクセスを行うことができるよ
うになる。例えば、人々は、あるビデオから別のビデオ
へ動画を“カット・アンド・ペースト”したいと思うか
もしれない。このタイプのシナリオでは、マルチメディ
ア・コンテンツ中のオブジェクトは何らかのタイプのセ
グメンテーション・アルゴリズムによって特定されるも
のと仮定される(例えば、１９９９年６月４日にＬｉｎ
他により出願された米国特許出願第０９/３２６,７５０
号“オブジェクト表面を検索するための画像空間のソー
ティング方法”を参照されたい)。

【０００５】ＭＰＥＧ委員会が取り組んでいる最も最近
の標準化のための努力はＭＰＥＧ-７(正式名称“マルチ
メディア・コンテンツ記述用インターフェース”、("Ｍ
ＰＥＧ-７コンテキスト、オブジェクティブおよび技術
ロードマップ”ＩＳＯ／ＩＥＣ Ｎ２７２９、１９９９
年３月)参照)を画定するための努力である。本質的に
は、この規格計画は、様々なタイプのマルチメディア・
コンテンツを記述するために使用可能な１組の記述子と
記述方式とを一体化することである。これらの記述子と
記述方式はコンテンツ自身と関連づけられ、関心のある
データの高速で効率的な検索処理が特定のユーザーに対
して行われる。この規格は、従来の符号化規格と取り替
えることを意図するものではなく、他の標準的データフ
ォーマット、特にＭＰＥＧ-４上に構築されるものであ
ることに留意しなければならない。このような構築の理
由として、マルチメディア・コンテンツを分解して様々
なオブジェクトに変えることが可能であり、各オブジェ
クトをユニークな１組の記述子に割り当てることが可能
であるということが挙げられる。また、この規格はコン
テンツを保存するフォーマットに依存するものではな
い。ＭＰＥＧ-７記述子は圧縮データあるいは未圧縮デ
ータに拡張することができる。

【０００６】マルチメディア・コンテンツの記述子はい
くつかの方法で使用可能である(例えば“ＭＰＥＧ-７ア
プリケーション”、ＩＳＯ／ＩＥＣ Ｎ２７２８、１９
９９年３月)参照)。最も関心を引くものは、以下の説明
の目的であるデータベース検索用アプリケーションおよ
び検索用アプリケーションである。単純な利用環境で
は、ユーザーはある特定のオブジェクトの何らかの属性
を指定することができる。これらの属性は、この低いレ
ベルの表現の中に、特定のオブジェクトのテクスチャ、
動きならびに形状について記述する記述子を含むことが
できる。１９９９年６月４日にＬｉｎ他により出願され
た米国特許出願第０９/３２６,７５９号“画像空間をソ
ートしてオブジェクト形状を表す方法”に、形状を表現
し比較する方法についての記載がある。このタイプの記
述子の欠点の１つとして、オブジェクトのこの特徴を他
の低いレベルの特徴と効率的に組み合わせることが簡単
ではないということが挙げられる。このような低いレベ
ルの記述子に関する別の問題点として、一般に、オブジ
ェクトまたはマルチメディア・コンテンツの高いレベル
の解釈を行うことが困難であるということがある。従っ
て表現のレベルに限界が存在する。

【０００７】上述の欠点を解決してより高いレベルの表
現を得るために、いくつかの低いレベルの記述子を組み
合わせるもっと精巧な記述方式について考えることがで
きる。事実、これらの記述方式には他の記述方式が含ま
れる場合さえある("ＭＰＥＧ-７記述方式s(Ｖ０.５)"Ｉ
ＳＯ／ＩＥＣ Ｎ２８４４、１９９９年７月)。

【０００８】図１（ａ）に図示のように、マルチメディ
ア・コンテンツを表す一般的記述方式(ＤＳ)が提案され
ている。この一般的オーディオ・ビジュアルＤＳ１００
には別個の統語論的ＤＳ１０１、別個の意味論的ＤＳ１
０２が含まれる。統語論的構造とはコンテンツの物理的
および論理的信号面を指し、一方、意味論的構造とはコ
ンテンツの概念的意味を指す。ビデオ・シーケンスに対
して、特定のオブジェクトの色、形状および動きに統語
論的要素を関連づけることができる。一方、意味論的要
素は、マルチメディア・コンテンツ中のイベントの時や
場所または人名のような、低いレベルの記述子からは抽
出することのできない情報を指すことができる。別個の
統語論的および意味論的ＤＳに加えて、統語論的ＤＳと
意味論的ＤＳをリンクする統語論的−意味論的関係グラ
フＤＳ１０３が提案されている。

【０００９】このような方式に関する主要な問題点とし
て、統語論的ＤＳと意味論的ＤＳにより指定される関係
と属性とが独立しており、マルチメディア・コンテンツ
についての一貫したかつ意味のある解釈を生み出すこと
が関係グラフＤＳにとって負担になるということが挙げ
られる。さらに、上述のＤＳはツリーベースとグラフベ
ースのいずれかである。ツリーベースの表現は効率的検
索手段と比較手段とを与えるが、その表現能力に限定が
ある。独立した統語論的および意味論的ＤＳはツリー・
ベースである。これと対照的に、グラフ・ベースの表現
は多量の表現能力を与えるが、非常に複雑で、検索およ
び比較を行うには誤りを犯し易い。

【００１０】本発明のタスクとして、表現方式が、マル
チメディア・コンテンツを解釈する方法に限定されない
ことがきわめて重要である。また、この表現方式によっ
て効率的比較手段が提供されることが望ましい。人間の
ものの見方によって、多くの方法でマルチメディア・コ
ンテンツについての解釈が許容される。したがって、ど
の表現方式でもマルチメディア・コンテンツについての
複数の解釈が生じなければならない。関係グラフＤＳと
の関連で独立した統語論的ＤＳと意味論的ＤＳによって
マルチメディア・コンテンツについての複数の解釈が許
容できるとはいえ、このＤＳは比較を行うには効率的で
はない。

【００１１】上述のように、ＤＳが他のＤＳを含むこと
が可能である。同様に、一般的ＤＳには、統語論的Ｄ
Ｓ、意味論的ＤＳおよび統語論/意味論的関係グラフＤ
Ｓが含まれる。統語論的ＤＳ１０１が、セグメントＤＳ
１０５、領域ＤＳ１０６およびセグメント/領域関係グ
ラフＤＳ１０７を含むという提案がなされている。図１
（ｂ）に図示のように、セグメントＤＳと領域ＤＳを使
用してマルチメディア・コンテンツの時間的および空間
的ツリー構造をそれぞれ定義することができ、また、セ
グメント/領域関係グラフＤＳを用いてセグメントと領
域間の時空的関係について記述することができる。同様
に、図１（ｃ）に図示のように意味論的ＤＳ１０２に
は、イベントＤＳ１０８、オブジェクトＤＳ１０９およ
びイベント/オブジェクト関係グラフＤＳ１１０が含ま
れる。イベントＤＳとオブジェクトＤＳを用いて、イベ
ントツリーとオブジェクトツリーを定義することがで
き、これらのツリーによって時間的イベントと空間的オ
ブジェクトの意味論的インデックス・テーブルがそれぞ
れ定義される。イベント/オブジェクト関係グラフＤＳ
を用いて、イベントとオブジェクト間のいずれのタイプ
の時空的関係についても記述することができる。より高
いレベルのＤＳ、すなわち意味論的ＤＳならびに統語論
的ＤＳの場合と同じように、これらのより低いレベルの
ＤＳは表現能力と計算上の複雑さに関して同じ問題に悩
まされる。

【００１２】

【発明が解決しようとする課題】したがって、データ構
造の複雑さとそれらの構造を処理する方法とのバランス
をとる、マルチメディア・コンテンツの統語論的および
意味論的属性を表したいという要望が存在する。

【００１３】

【課題を解決するための手段】本発明はマルチメディア
・コンテンツの統語論的および意味論的属性を表す新し
い方法を提供するものである。本発明の１つの目的は、
要素の構造と表現能力に対する制約をそれらの要素を処
理する計算上の複雑さとのバランスをとる枠組みを用い
て、意味論的または統語論的記述方式に内包される既存
の属性を利用することである。

【００１４】本発明による方法は有向非循環グラフ(Ｄ
ＡＧ)に部分的に基づくものである。ＤＡＧがツリー・
ベースの表現とグラフ・ベースの表現との妥協(middle
ground)であることは周知である。さらに、ＤＡＧによ
って構成の新しい能力が与えられる。換言すれば、エン
ティティの多くの構造的構成を内包要素からなる構造的
構成によって記述することが可能となる。

【００１５】しかしながら最も重要なことは、これらの
構造的構成と、別のエンティティよって生み出される構
造的構成との間の類似度を容易に計算することができる
という点である。この構成の枠組みの範囲で、ＤＡＧに
よって、統語論的および意味論的要素の合成手段も提供
され、類似度の比較は、双方のタイプの記述間で切れ目
なく切り替えることができるようになされる。ある意味
では、これは、記述方式の統語論的部分と意味論的部分
との間の統合化と考えることができる。

【００１６】統合的に意味論的要素と統語論的要素とを
表す方法によって、マルチメディア・コンテンツの空間
的および時間的要素を統合化する手段も与えられる。本
発明は、以上述べた構成が統語論的要素と意味論的要素
の双方を内包する時空的構成であるという事実に依拠す
るものである。留意すべき重要な点は、本発明による構
成がＤＡＧ表現であり、この表現によって複数の解釈と
複雑さの少ない比較を容易に行うことが可能であるとい
うこと、ならびに、統語論的および意味論的双方の、時
空的属性を定義する構成がそれぞれのコンテンツ・エン
ティティの範囲内に内包されるということである。

【００１７】具体的には、上記方法によって、空間的お
よび時間的にマルチメディア・コンテンツのセグメンテ
ィングを第１に行ってオブジェクトを抽出することによ
り、マルチメディア・コンテンツの表現が生成される。
特徴抽出はオブジェクトに対して適用され、コンテンツ
・エンティティの意味論的および統語論的属性、関係お
よび内包集合が生成される。これらのコンテンツ・エン
ティティは符号化されてコンテンツ・エンティティの有
向非循環グラフが生成される。有向非循環グラフのノー
ドによってコンテンツ・エンティティが表され、エッジ
はセグメンテーション時の区切り(breaks)を表す。各有
向非循環グラフによって、マルチメディア・コンテンツ
ついてのある特定の解釈が表現される。

【００１８】１つの態様では、マルチメディア・コンテ
ンツは２次元画像であり、別の態様ではマルチメディア
・コンテンツは３次元ビデオ・シーケンスである。

【００１９】本発明のさらなる態様では、様々なマルチ
メディア・コンテンツが有向非循環グラフについて得ら
れる類似度スコアに基づいて比較される。

【００２０】

【発明の実施の形態】実施の形態１． 序論 マルチメディア・コンテンツを表現し比較する方法につ
いて説明を行う。これらの方法は新しい一般的データ構
造に基づくものであり、この構造には有向非循環グラフ
(ＤＡＧ)表現が含まれる。以下、本発明の方式でのオブ
ジェクトおよびＤＡＧ表現の利点について説明する。本
方式がマルチメディア・コンテンツについての複数の解
釈を推論しながら、他のマルチメディア・コンテンツと
比較して依然として効率的なものであり得るのはまさに
このＤＡＧ表現のためである。実際、確率尤度関数に関
してスコアを出してみると、その計算が扱いやすいだけ
でなく最適である。

【００２１】一般的データ構造についての記述のほか
に、この効率的表現を実現し、比較を行うことを可能に
する２つの重要な関数について説明する。第１の関数を
ＤＡＧ−Ｃｏｒｄｅｒ関数と呼ぶことにする。ＤＡＧ−
Ｃｏｒｄｅｒ関数は、オブジェクト中に内包される個々
のコンテンツ・エンティティを入力として受けとり、Ｄ
ＡＧ構成を生成する役割を行う。第２の関数はＯｂｊｅ
ｃｔ−Ｃｏｍｐａｒｅ関数である。Ｏｂｊｅｃｔ−Ｃｏ
ｍｐａｒｅ関数は、類似度スコアを判定することにより
２つのコンテンツ・エンティティを効率的に比較する関
数である。

【００２２】データ構造と上述の２つの関数について説
明した後、本発明の表現方式によって可能になる適用例
についてレビューを行い詳述する。最後に、特徴抽出、
データベース管理およびオブジェクト比較を行う統合化
したアプリケーション・システムについて説明を行う。

【００２３】コンテンツ・エンティティの一般的記述方
式 コンテンツ・オブジェクトを表す本発明の方式を導入す
るために、一般的オブジェクト・タイプを定義し、次い
で、このような一般的オブジェクト・タイプのインスタ
ンス生成に対する制約について定義する。

【００２４】図２に図示のように、コンテンツ・エンテ
ィティ(例えばビデオ・エンティティ２００)は本発明の
方式の主要部である。コンテンツ・エンティティは、内
包オブジェクトをまとめて関連づけるデータ・オブジェ
クトである。コンテンツ・エンティティは、再帰データ
構造から成り、属性(特性)部２０１、関係部２０２、Ｄ
ＡＧ構成部２０３、内包集合部２０４の４つの部分に分
けられる。

【００２５】属性部 属性部２０１は本発明の再帰記述方式の範囲内で基礎を
形成する部分である。属性とは、エンティティのいくつ
かの部分について詳細を与えたり、あるいは、全体とし
てエンティティの要約を与えることができる特性を内包
するソートされていない集合である。属性は、オブジェ
クトに対して包括的であり、色や動きのような統語論的
特性、あるいは、時や場所のようなオブジェクトの他の
意味論的特性を指す場合もある。これらの属性によっ
て、いかなる構造も持たない基本的、低いレベルの情報
が提供されるが、構造が追加された後、実際に類似度の
レベルに貢献するのはこれらの特性である。また、後程
説明するように、属性は、オブジェクト内に内包される
個々のエンティティを構成し解釈するのに役立つソーテ
ィング方法を定義することができる。これらの特性は、
これらの特性を内包するコンテンツ・エンティティ固有
の質であり、コンテンツ・エンティティ自身を通じてア
クセス可能/可視にすることが望ましいことに注意すべ
きである。

【００２６】一例として、飛行機の滑走路への着陸を示
すビデオ・シーケンスが、表題“飛行機(７６７)の着
陸”と共に、場所、日付、時刻および温度からなる意味
論的属性を内包する例がある。このマルチメディア・コ
ンテンツに付けることができるいくつかの統語論的属性
として降下軌道がある。飛行機のオブジェクトに付ける
ことができるものとして飛行機自身の色と形状がある。
ここで、本発明ではマルチメディア・コンテンツの属性
とオブジェクトの属性との間に重要な区別を行う。軌道
をマルチメディア・コンテンツの属性とする理由は、軌
道が地面と関連するものであるという理由に因るもので
ある。したがって、色と形状を飛行機の属性とすること
は意味をなすのに対して、軌道を飛行機のみの属性とす
るのは意味をなさない。

【００２７】関係部 関係部(Ｒ)２０２はコンテンツ・エンティティ(ＶＥ)間
の関係を詳述するオブジェクトである。これらの関係の
コンテキストはコンテンツ・エンティティを内包するこ
とにより与えられるということに留意することが重要で
ある。この理由は、異なる方法でセグメント化されるマ
ルチメディア・コンテンツは異なる関係を生成するとい
うことにある。本質的に、この関係は内包オブジェクト
と他のもの(例えば別のコンテンツ・エンティティ)との
間のハイパーリンクと考えることができる。関係を示す
タイプは包括的であり、関係のインスタンス生成は、コ
ンテンツ・エンティティ自身の範囲内でアクセス可能で
あるにすぎない。関係を示す有用な機能の１つとして、
検索を導くのに役に立て得るという点がある。本発明の
飛行機の着陸の例に戻ると、いくつかの関係を特定する
ことができる：飛行機が滑走路に着陸していて、照明灯
が飛行機を誘導しつつあり、滑走路はある特定の方向
で、ある特定の空港に位置する。

【００２８】これらの関係づけは、関連するオブジェク
トが、コンテンツ・エンティティによって完全には内包
されない場合があり、したがって、このオブジェクトは
類似度比較において考慮されないという点で、以下に記
述する内包とは異なるものである。しかし、関係づけに
よって、当該コンテンツ・エンティティに対してユーザ
ーが他の関連オブジェクトを検索することが可能にな
る。コンテンツ・エンティティ中のすべての関係は、コ
ンテンツ・エンティティの範囲内に内包される１つの引
数を有していなければならない。

【００２９】ＤＡＧ構成部 一般に、ＤＡＧ構成部２０３は有向非循環グラフ２０５
であり、該グラフにおいて、エッジ２０６はコンテンツ
・エンティティを表し、ノード２０７はセグメンテーシ
ョンにおける区切り点に対応する。このＤＡＧ構成によ
って、同じマルチメディア・コンテンツの複数の解釈の
推論を行うことが可能になる。ＤＡＧは１Ｄ空間を処理
するので、このコンテキストでのセグメンテーション
は、ある１Ｄ処理の境界の画定(delineation)を指す。
例えば、時空的マルチメディア・コンテンツについて考
える場合、時間的セグメンテーションは、いくつかの連
続イベントが始まり終了する時間的な点を画定する１Ｄ
処理となる。従って、本発明は、時間的アクションに対
応するＤＡＧ構成を有することができる。空間的領域で
は、画像にわたって左から右への処理の順序を定義する
ことができる。このようにして、左から右へのオブジェ
クト位置に対応するＤＡＧ構成を有することができる。
言うまでもなく、逆時計回りの空間的順序付けのような
他の順序付けを定義することもできる。このような順序
付けは全く異なる目的に役立てることができる。

【００３０】本明細書に参考文献として取り入れられて
いる米国特許出願第０９/３２６,７５０号および第０９
/３２６,７５９号において、Ｖｏｒｏｎｏｉソーティン
グ関数が、オブジェクト境界に関して外部画像空間およ
び内部画像空間に対してそれぞれ定義されている。内部
空間に対するこのソーティングは、オブジェクト形状の
スケルトン様表現を取得し、次いで、ＤＡＧ表現を利用
する半順序ツリー(ＰＯＴ)を形成するのに特に有用であ
った。

【００３１】しかしながら、ＤＡＧ構成を達成するため
の、２Ｄ画像あるいは３Ｄビデオ・シーケンスのソーテ
ィング方法は本発明の中心主題ではなく、ＤＡＧ構成を
利用して、特定のマルチメディア・コンテンツについて
のより高いレベルの解釈を推論する手法の方に本発明の
関心があることを強調したい。

【００３２】内包集合 内包集合部２０４には、コンテンツ・エンティティ部２
００内に時間的におよび／または空間的に厳密に内包さ
れる他のコンテンツ・エンティティを参照するポインタ
が含まれる。内包集合に対する制約として、１つのオブ
ジェクトは第１のオブジェクトを含む別のオブジェクト
を内包することができないという制約がある。すなわ
ち、内包の結果有向非循環グラフが生じる。コンテンツ
・エンティティは相互に排他的であることを必要としな
い。また、内包集合内には順序づけが存在しない。例え
ば、飛行機着陸のビデオ・シーケンスでは、内包集合に
は各コンテンツ・エンティティを参照するポインタが含
まれる。例えば、飛行機、滑走路、滑走路の照明灯、飛
行機の着地、無線通信などを参照するポインタが含まれ
る。

【００３３】ＤＡＧ−Ｃｏｄｅｒ関数 ＤＡＧ構成は、コンテンツ・エンティティに対して適用
された様々なＤＡＧ−Ｃｏｄｅｒ関数の結果として生じ
たものである。言い換えれば、内包集合の中にコンテン
ツ・エンティティおよびそれらのエンティティの関係が
与えられれば、様々なＤＡＧ−Ｃｏｄｅｒ関数によっ
て、マルチメディア・コンテンツについての様々な解釈
が生成される。この関数について以下さらに説明する。

【００３４】ＤＡＧ−Ｃｏｄｅｒ関数は、順序づけられ
たコンテンツ・エンティティの構成要素を生み出すこと
により、所定のコンテンツ・エンティティをその構成要
素にセグメントする関数である。ＤＡＧ−Ｃｏｄｅｒ関
数によってＤＡＧ構成部２０４が生成される。ＤＡＧ−
Ｃｏｄｅｒ関数はデータベースに対して包括的であり、
いずれのコンテンツ・エンティティに対しても適用する
ことができる。ＤＡＧ−Ｃｏｄｅｒ関数によって時空的
コンテンツ空間に対して異なる見方が与えられ、より扱
いやすいオブジェクト間の類似度計算が行われる。ＤＡ
Ｇ中のパスはコンテンツ・エンティティ２００について
の解釈を表す。このＤＡＧ表現は、任意のレベルで統語
論的情報と意味論的情報を入れ替えることが可能な記述
方式の枠組みになる。さらに、記述方式の複雑さがユー
ザーから隠される。

【００３５】ＤＡＧの中を通る複数のパス ＤＡＧ−Ｃｏｄｅｒ関数によって、このようなＤＡＧ構
成を介してマルチメディア・コンテンツについての複数
の解釈が生成される。この生成はＤＡＧの複数のパス構
造を介して行われる。以下、これらの複数のパスがマル
チメディア・コンテンツという観点から何を意味するか
に焦点を合わせる。

【００３６】図３〜図５は“野球ビデオ”エンティティ
３００の例に関して複数のパスを例示する図である。図
３では、コンテンツ・エンティティ３００には属性部３
０１、関係部３０２、ＤＡＧ構成部３０３、内包集合部
３０４が含まれる。図４では、コンテンツ・エンティテ
ィ３１０の中に属性部３１１、関係部３１２、ＤＡＧ構
成部３１３、内包集合部３１４が含まれる。

【００３７】例示のように、時間的ＤＡＧは同じイベン
トについて同値の解釈を表すことができる。例えば、図
３と図４に図示のように、野球ビデオでは、ピッチング
とヒッティングシーケンス、あるいはプレイが行われる
イニングを動き、色および／または活動のような統語論
的要素の観察を通じて認識可能にすることができる。し
かし、図５に図示のような表現に代替手段として、アナ
ウンサー３２０のコメントを示す属性３２１によってこ
のようなシーケンスまたはイベントを要約することが可
能である。この例から、マルチメディア・コンテンツに
ついての複数の時間的解釈が可能であることが明らかで
あり、また、そのような解釈が同時に生じることはあり
得ないということが明らかである。

【００３８】空間的ＤＡＧの場合、複数のパスは同値の
解釈を表すこともできる。また、ある意味ではより高い
レベルの表現能力を追加することができる。この追加さ
れたレベルの表現能力は、別々のオブジェクトを１つの
合成オブジェクトにグループ化し、次いで、様々な意味
論的意味を用いてこの合成オブジェクトの解釈を行うこ
とができると理解することにより達成される。一般に、
この新しい意味論的解釈は、全体として情報が考察され
るので前のものより高いレベルの解釈となる。

【００３９】一例として、ガソリンポンプ、給油所の接
客係ならびに自動車といういくつかのオブジェクトにつ
いて考察してみよう。個別には、これらのオブジェクト
は属性を示すそれ自身の設定値を有しており、その意味
論的意味は全く異なるものである。しかしながら、これ
らの個々のオブジェクトを一緒にまとめると、給油所と
解釈可能であることは明らかである。これらの複数のパ
スはＤＡＧ構造によって効率的に表現される。統語論的
側面では、例えばあるオブジェクトの形状についての様
々な解釈を同じ方法で演繹することができる。

【００４０】マルチメディア・コンテンツ記述の生成 図６は、マルチメディア・コンテンツ４０１から記述方
式４０９を生成する方法４００を例示する図である。マ
ルチメディア・コンテンツは２Ｄ画像または３Ｄビデオ
・シーケンスであってもよい。まず、空間的および時間
的セグメンテーション４１０がマルチメディア・コンテ
ンツに対して適用され、オブジェクト４１１が抽出され
る。次に、特徴抽出４２０がオブジェクトに対して適用
され、１組のすべてのコンテンツ・エンティティ４２９
が得られる。特徴抽出には属性抽出部４２１、内包抽出
部４２２、関係抽出部４２３が含まれる。ソーティング
４３１に従って、ＤＡＧ−Ｃｏｒｄｅｒ関数４３０はエ
ンティティ４２９のＤＡＧ構成を生成し、本発明による
マルチメディア・コンテンツ記述４０９が形成される。

【００４１】異なるマルチメディア・コンテンツの比較 図７は、２つの異なるマルチメディア・コンテンツ、コ
ンテンツ１(５０１)とコンテンツ２(５０２)とを比較す
る方法を図示する。この方法によって、２つの記述方
式、ＤＳ１(５０３)とＤＳ２(５０４)が生成される(４
００)。これらの記述は比較され(５１０)、類似度スコ
アが生成される(５０９)。２つのタイプのオブジェクト
が与えられれば、オブジェクト比較装置によって、２つ
のオブジェクトが同一である確率尤度という点から類似
度スコアが返されてくる。Ｏｂｊｅｃｔ−Ｃｏｍｐａｒ
ｅ関数５１０は、別のＯｂｊｅｃｔ−Ｃｏｍｐａｒｅ関
数を再帰的に呼び出すことができる。Ｏｂｊｅｃｔ−Ｃ
ｏｍｐａｒｅ関数は、本明細書に参考文献として取り入
れられている米国特許第０９/３２６,７５９に記載され
ているような、部分的に順序づけられたツリー(ＰＯＴ)
を比較するために用いるアルゴリズムと非常に類似して
いる。キー・ポイントについて以下レビューする。

【００４２】順序づけられたツリーを比較するために用
いるマッチング・アルゴリズムについて考察する。ツリ
ーは再帰構造を有するので、再帰的に最適の比較を行う
ことが可能であり、比較は単一のノード・ツリーに基づ
く。０〜１の範囲で本発明のツリーのスコアを出してみ
よう。２つの単一のノード・ツリーがスコア１に割り当
てられ、一方、単一ノード・ツリーと２つ以上のノード
を持つ任意のツリーがスコア０に割り当てられる。

【００４３】本発明の帰納的ステップに対して、各ノー
ドは一続きのエッジおよびエッジのそれぞれの子に対応
することに留意されたい。ツリーを比較するためには、
シーケンスの対応する子を再帰的に比較しながらシーケ
ンス間の最適の対応を見つければよい。このステップの
ために最長共通部分列(ＬＣＳ)を用いることができる。
Ｏｂｊｅｃｔ−Ｃｏｍｐａｒｅ関数による方法によっ
て、順序づけられたツリー比較の同じ複雑さで、効率的
で、ロバストで最適のオブジェクト比較を行うことが可
能になる。

【００４４】ＤＡＧの表現能力の特別な自由度を処理す
るために、ＤＡＧ−Ｃｏｍｐａｒｅアルゴリズムを利用
する(本明細書に参考文献として取り入れられている、
Ｌｉｎ他“オンライン手書き認識に適用した新しいニュ
ーラル構造としてのＤＡＧの符号化ならびに比較”(Ｉ
ＥＥＥ Ｔｒａｎｓ信号処理、１９９６年)参照)。２つ
のＤＡＧの間に２つの最適マッチングパスが得られる。
上記アルゴリズムが一般的なものであるのに対して、Ｄ
ＡＧ−ＣｏｍｐａｒｅはＬＣＳ検索と同程度の複雑さを
持つものである。最後に、内包階層に対する制約(ＤＡ
Ｇ同様)によってＰＯＴ-Ｃｏｍｐａｒｅアルゴリズムを
用いることが可能になるが、ＰＯＴは本発明の一般的コ
ンテンツ・エンティティのサブセットにすぎないという
ことを述べておくべきであろう。

【００４５】アプリケーション 上述のコンテンツ記述方式は、コンテンツ・エンティテ
ィ記述の表現手段のみならず、計算を行う上で効率的な
ロバストな類似度測定を提供するものでもあり、意味論
的および統語論的双方の様々な記述を切れ目なく統合す
ることができる。本発明による記述方式の範囲内で、コ
ンテンツ・エンティティ、その属性およびその関係によ
って、ＨＴＴＰ規格で利用可能となるような基本的ハイ
パーリンク・ネットワークが形成される。

【００４６】本発明のコンテンツ・エンティティの階層
とその記述に対して、本発明のグラフ構造を有向非循環
グラフに限定することにより、順序づけられたツリー比
較と同値であるコンテンツ・エンティティの間でロバス
トな比較を行うための計算上の複雑さ保持しながら、順
序づけられたツリーを介して特別の表現能力を与えるこ
とが可能となる。

【００４７】表現能力の自由度 コンテンツ・エンティティの厳密な階層は存在しない。
すなわち、内包が矛盾しない限り、どのオブジェクトで
も別のオブジェクトを厳密に内包することができる。ツ
リー階層の代わりに、コンテンツ・エンティティにわた
る内包関係によって有向非循環グラフが誘起される。矛
盾する内包を禁じることにより非循環性が保持される。
サイクルに対する制約によって、比較の効率的な再帰的
定式化が可能になる。

【００４８】ＤＡＧ構造に焦点を移すと、ＤＡＧ構成の
ＤＡＧ構造は以下のように対応づけられる。エッジはコ
ンテンツ・エンティティを表し、ノードは区切り点セグ
メンテーションに対応する。定義済みのトポロジーによ
る順序に従って、ＤＡＧの範囲の内包コンテンツ・エン
ティティ構成としてオブジェクトを構造化することがで
きる。一般的グラフ構造と比較したＤＡＧに対する制約
はそのトポロジーによる順序づけである。この順序は時
間的あるいは空間的なものであってもよいが１Ｄでなけ
ればならない。この順序に従い、連結性を遵守すること
により、ＤＡＧ構造の部分グラフによって新しいコンセ
プトへ導かれる。すなわち、順序づけられたパスはマル
チメディア・コンテンツについての特定の解釈(すなわ
ちその内含エンティティの順序づけられた部分集合とし
て表されたコンテンツ・エンティティの表示)を表すと
いうコンセプトへ導かれる。

【００４９】ＤＡＧは複数の順序づけられたパスを内包
することができるので、ＤＡＧはデータについての複数
の解釈のコンパクトな表現になる。ＤＡＧデータ構造は
並列パスというコンセプトを許容する。したがって、Ｄ
ＡＧによって、この並列構造による意味論的要素ならび
に統語論的要素の双方の統合が可能となる。意味論的要
素および統語論的要素は必ずしも同値ではない。しか
し、これらの並列構成に基づいて要素を配置することに
よりＤＡＧ構造のコンテキストの範囲でこれらの要素は
交換可能である。

【００５０】上記能力は一般的グラフ構造のサブセット
である。しかし、ほとんどのグラフ一致問題はまだオー
プンにされているので、これらの制約によってこれらの
表現構造の比較を行うことが可能になる。この順序づけ
によってＤＡＧ構成の表現能力が制約を受けるものの、
この順序づけによって、コンテンツ・エンティティのロ
バストな比較の中で要素の整列を処理することが可能と
なる。

【００５１】ユニバーサル・マルチメディア・アクセス 本発明の記述方式は、マルチメディア・コンテンツにつ
いての複数の解釈を表現し比較することが可能なので、
ユニバーサル・マルチメディア・アクセス(ＵＭＡ)のコ
ンセプトに最適である。図８に図示のようにＵＭＡの基
本的着想は、限定された通信、処理、記憶および表示能
力しか持たないクライアントの装置６０１が、ネットワ
ーク６０２を介して、サーバー装置６０４によって保持
される豊富なマルチメディア・コンテンツ６０３にアク
セスすることを可能にすることである。

【００５２】最近、マルチメディア・コンテンツをクラ
イアント装置に適合させることに焦点を絞ったいくつか
の解決策が存在する。２つの基本的方法でＵＭＡを提供
することができる。第１の方法は、マルチメディア・プ
レゼンテーションを有する様々なバージョンの媒体オブ
ジェクト(画像、ビデオ、オーディオ、グラフィックス
およびテキスト)の保存、処理、管理、選択および配信
による方法である。第２の方法は、テキストから音声へ
の変換、画像とビデオのコード変換(transcoding)、媒
体変換および要約を行う方法を利用する場合のように、
オンザフライで媒体オブジェクトを操作することによる
方法である。この方法によって、クライアント装置の通
信、処理、保存および表示能力の広い多様性に対するマ
ルチメディア・コンテンツの配信の適合が可能となる。

【００５３】本発明の記述方式は、上述の第１の項目に
よってＵＭＡのサポートを行うことができる。すなわ
ち、クライアント側の能力に依存して、サーバー側は、
マルチメディア・コンテンツについてのより入念な解釈
を送るか、あるいは、マルチメディア・コンテンツの簡
単な概要を送るだけにするかの選択を行うことができ
る。このように、マルチメディア・コンテンツについて
のいずれの解釈がクライアント側の装置に最適であるか
を決定するのに役立つ処理構造として本発明の記述方式
は機能する。コンテンツ・エンティティの属性の一部と
して、これらの要件には、マルチメディア・コンテンツ
中の各画像やビデオ・フレームのサイズ、ビデオ・フレ
ーム数のような項目、ならびに、リソース要件に属する
他の分野が含まれる。

【００５４】以上推奨実施例の挙げて本発明について説
明したが、本発明の精神と範囲の中で様々な他の適合お
よび改変を行うことが可能である。したがって、本発明
の真の精神と範囲においてすべてのこのような変更例お
よび改変例をカバーすることが添付の請求項の目的であ
る。

【図面の簡単な説明】

【図１】 従来技術による記述方式を示すブロック図で
ある。

【図２】 本発明による一般的コンテンツ・エンティテ
ィを表す記述方式のブロック図である。

【図３】 コンテンツ・エンティティ例を表す記述方式
のブロック図である。

【図４】 コンテンツ・エンティティ例を表す記述方式
のブロック図である。

【図５】 コンテンツ・エンティティ例を表す記述方式
のブロック図である。

【図６】 本発明による記述方式を生成する方法を示す
流れ線図である。

【図７】 本発明による記述方式を比較する方法を示す
流れ線図である。

【図８】 本発明によるサーバー上でマルチメディアに
アクセスするクライアントのブロック図である。

【符号の説明】

２００ ビデオ・エンティティ（ＶＥ）、２０１ 属性
(特性)部、２０２ 関係部、２０３ ＤＡＧ構成部、２
０４ 内包集合部。

───────────────────────────────────────────────────── フロントページの続き (71)出願人 597067574 201 ＢＲＯＡＤＷＡＹ， ＣＡＭＢＲＩ ＤＧＥ， ＭＡＳＳＡＣＨＵＳＥＴＴＳ 02139， Ｕ．Ｓ．Ａ. (72)発明者 イージョン・リン アメリカ合衆国、ニュージャージー州、プ リンストン、キング・ストリート 255エ イ (72)発明者 アンソニー・ヴェトロ アメリカ合衆国、ニューヨーク州、ステー トン・アイランド、レジス・ドライブ 113 (72)発明者 アジェイ・ディヴァカラン アメリカ合衆国、ニュージャージー州、ス コッチ・プレインズ、カントリー・クラ ブ・ブールバード 47 (72)発明者 スンユアン・クン アメリカ合衆国、ニュージャージー州、プ リンストン、ドッズ・レーン 257

Claims (20)

【特許請求の範囲】
1. 【請求項１】 マルチメディア・コンテンツの表現を生
   成する方法であって、 前記マルチメディア・コンテンツのセグメンティングを
   行ってオブジェクトを抽出するステップと、 前記オブジェクトの特徴を抽出し、関連づけて、コンテ
   ンツ・エンティティを生成するステップと、 各有向非循環グラフが前記マルチメディア・コンテンツ
   についての特定の解釈を表すものであって、前記コンテ
   ンツ・エンティティの符号化を行って、前記コンテンツ
   ・エンティティの有向非循環グラフを生成するステップ
   とを含むマルチメディア・コンテンツの表現を生成する
   方法。
2. 【請求項２】 前記マルチメディア・コンテンツが２次
   元画像である請求項１記載の方法。
3. 【請求項３】 前記マルチメディア・コンテンツが３次
   元ビデオ・シーケンスである請求項１記載の方法。
4. 【請求項４】 前記セグメンティングが空間的である請
   求項１記載の方法。
5. 【請求項５】 前記セグメンティングが時間的である請
   求項１記載の方法。
6. 【請求項６】 前記セグメンティングが空間的かつ時間
   的である請求項１記載の方法。
7. 【請求項７】 前記特徴がオブジェクトの属性と関係を
   含む請求項１記載の方法。
8. 【請求項８】 前記属性がオブジェクトの包括的な特性
   からなる順序づけられていない集合である請求項７記載
   の方法。
9. 【請求項９】 前記特性が意味論的ならびに統語論的で
   ある請求項８記載の方法。
10. 【請求項１０】 前記意味論的特性が、オブジェクト・
    タイプとイベント・タイプとを含み、前記統語論的特性
    が色と動きを含む請求項９記載の方法。
11. 【請求項１１】 有向非循環グラフのノードが前記コン
    テンツ・エンティティを表し、エッジが前記セグメンテ
    ーションにおける区切り点を表す請求項１記載の方法。
12. 【請求項１２】 前記有向非循環グラフが前記コンテン
    ツ・エンティティの空間的順序づけを表す請求項１記載
    の方法。
13. 【請求項１３】 前記有向非循環グラフが前記コンテン
    ツ・エンティティの時間的順序づけを表す請求項１記載
    の方法。
14. 【請求項１４】 前記コンテンツ・エンティティの内包
    集合を生成するステップをさらに含む請求項１記載の方
    法。
15. 【請求項１５】 前記内包集合が、ある特定のコンテン
    ツ・エンティティの中に空間的にならびに時間的に内包
    される他のコンテンツ・エンティティを参照するポイン
    タを含む請求項１４記載の方法。
16. 【請求項１６】 前記内包集合が順序づけられていない
    請求項１４記載の方法。
17. 【請求項１７】 第１のマルチメディア・コンテンツを
    表す第１の有向非循環グラフを含む第１の表現と、第２
    のマルチメディア・コンテンツを表す第２の有向非循環
    グラフを含む第２の表現とを生成する方法であって、 前記第１の有向非循環グラフと前記第２の有向非循環グ
    ラフとを比較して、前記第１のマルチメディア・コンテ
    ンツと前記第２のマルチメディア・コンテンツとの類似
    度スコアを判定するステップを含む請求項１記載の方
    法。
18. 【請求項１８】 前記比較ステップが、最長共通部分列
    を用いる請求項１７記載の方法。
19. 【請求項１９】 前記比較ステップが、パス・マッチン
    グを用いる請求項１７記載の方法。
20. 【請求項２０】 前記マルチメディア・コンテンツがサ
    ーバーコンピュータによって保持され、ネットワークに
    よって前記サーバーコンピュータと接続したクライアン
    ト側コンピュータによってアクセスされる請求項１記載
    の方法。