JP2006099761A - マルチメディアのコンテンツ検索方法 - Google Patents

Abstract

【課題】各マルチメディアアイテムに対する加重値を効果的に表現して、マルチメディアの検索及びブラウジング性能を向上させる加重値表現技法及び加重値表現技法を利用したマルチメディア検索方法を提供する。
【解決手段】マルチメディアのコンテンツ情報を示す各記述情報が、加重値の値を定義する基準を意味する加重値タイプ１０２と、該加重値タイプによって定義される基準による加重値１０３と、前記加重値タイプによって対象に付与された加重値が如何に信頼的であるかを意味する信頼度１０４と、を包含してマルチメディアデータを構成する。
【選択図】 図１Ａ

Description

本発明は、加重値表現構造（Weight Description Scheme、Weight DS）を使用したマルチメディア検索に係るもので、詳しくは、各マルチメディアアイテムに対する加重値を効果的に表現して、マルチメディアの検索及びブラウジング性能を向上させることができる、加重値表現構造を利用したマルチメディアのコンテンツ検索方法に関するものである。

一般に、コンテンツベースでイメージ検索を行うために、カラーヒストグラム及び部分領域カラーのような多様な特徴ディスクリプタが使用されているが、各イメージ毎にそれらイメージを区分するための主要特徴ディスクリプタが異なるため、該当イメージに適合した特徴ディスクリプタに加重値を設定する技術が研究されつつある。

従来のコンテンツベースのイメージ検索を行うためのシステムにおいて、各イメージの特徴に適した加重値を適用する技術の１例として、使用者が検索を行うとき、特徴ディスクリプタの加重値を自ら決めるように加重値を入力できるウインドウを使用者インタフェースとして用意しておき、そのインタフェースを利用して使用者が特徴ディスクリプタの加重値を入力する方法がある。
併し、上述した方法は、一般の使用者がイメージに適した特徴ディスクリプタの加重値を設定することが容易でないという不都合な点があった。

また、従来のコンテンツベースイメージ検索を行うための特徴ディスクリプタの加重値を表現する技術の他の例として、使用者フィードバックを使用した特徴ディスクリプタの加重値設定方法が使用されている。詳しくは、使用者がある状態で先ず検索を行った後、検索の結果リストから使用者が検索しようとしたイメージと類似したイメージであったか、又はそうでないイメージであったかを表示して、検索システムにフィードバックすることによって、そのフィードバックを使用してシステムが自動的に加重値を設定及び更新するようになっている。この方法は使用者のフィードバックを使用してシステムが自動的に特徴ディスクリプタの加重値を設定し得るというメリットがある。
以上のような従来の技術は、イメージなどの特定タイプのマルチメディア技術に適用された加重値表現構造の例を示している。

最近では、より一層複合的なマルチメディアに対するコンテンツベース検索及びブラウジングを要求しており、これらの要求に応じるために、綜合的なマルチメディア検索及びブラウジングを行うための加重値表現構造が必要とされている。
本発明は、このような従来技術の限界点を克服したもので、綜合的なマルチメディア構造及びそのマルチメディア構造に適合した効率的な加重値表現構造（Weight DS）を提示して、効果的なマルチメディア検索及びブラウジングを行い得る加重値表現構造及び該加重値表現構造を利用したマルチメディア検索方法を提供することを目的とする。

このような目的を達成するため、本発明に係る加重値表現構造及びこれを利用したマルチメディア検索方法においては、マルチメディアのコンテンツ情報を示す各表現構造が効果的に加重値を表現するように、加重値タイプ、加重値及び信頼度からなる加重値表現構造を備えることによって、効果的なマルチメディア検索及びブラウジングが可能なマルチメディアデータ表現構造を提供する。

そして、本発明に係る加重値表現構造及びこれを利用したマルチメディア検索方法においては、マルチメディアのコンテンツ表現構造がセグメント表現構造及びセグメント関係グラフ表現構造により構成され、前記コンテンツ表現構造は、1つ以上の加重値表現構造を追加的に含んで、各セグメント間の加重値又は各セグメント関係間の加重値を記述することによって、効果的なマルチメディア検索及びブラウジングが可能なマルチメディアデータ表現構造を提供する。

且つ、本発明に係る加重値表現構造及びこれを利用したマルチメディア検索方法においては、マルチメディアのコンテンツ表現構造が１つ以上のセグメント関係表現構造及び１つ以上のセグメントノード表現構造により構成されるセグメント関係グラフ表現構造を有し、前記各セグメント関係表現構造は、１つ以上の自己自身又はセグメントノード表現を含み、前記各セグメントノード表現構造は、１つ以上のセグメント、自己自身又はセグメント関係表現構造を含み、前記セグメント関係表現構造はさらに１つ以上の加重値表現構造を含むように、セグメント関係に関する加重値情報またはセグメントノードに関する加重値情報を表現することによって、及びセグメントノード表現構造が１つ以上の加重値表現構造を追加的に含むように各セグメント関係間の加重値又は各セグメントノード間の加重値を表現することによって、効果的なマルチメディア検索及びブラウジングが可能なマルチメディアデータ表現構造を提供する。

又、本発明は、マルチメディアのコンテンツ表現構造が複数のイベント情報及び複数のオブジェクト情報並びにそれら間の関係グラフ表現構造からなり、１つ以上の加重値表現構造を追加的に含むコンテンツ表現構造を含むように、各オブジェクト間の加重値、各イベント間の加重値、又は、各イベントとオブジェクト関係グラフ間の加重値を記述することによって、効果的なマルチメディア検索及びブラウジングが可能なマルチメディアデータ表現構造を提供する。

更に、本発明は、マルチメディアのイベントとオブジェクトの関係グラフ表現構造が１つ以上の加重値表現構造を追加的に含むように、各イベントとオブジェクト関係間の加重値、又は、各イベントとオブジェクトノード間の加重値を表現することによって、及びイベント又はオブジェクトノード表現構造が１つ以上の加重値表現構造を追加的に含むように、各イベント又はオブジェクト間の加重値を表現することによって、効果的なマルチメディア検索及びブラウジングが可能なマルチメディアデータ表現構造を提供する。

そして、本発明は、マルチメディア表現構造及び加重値表現構造並びにセグメント関係グラフ表現構造を使用して、マルチメディア要約ディスプレーを実現することができるマルチメディアディスプレー方法を提供する。
且つ、本発明は、マルチメディア構造及びコンテンツ情報と、加重値表現構造及びイベント／オブジェクト関係グラフ表現構造を使用して、動画像を人物関係中心に検索してディスプレーすることができるマルチメディアディスプレー方法を提供する。

本発明によれば、マルチメディアのコンテンツベース検索及びブラウジングを行うための構造に、各コンテンツ表現構造に対する効果的な加重値を記述することによって、一層高性能の検索及びブラウジングが可能になるという効果がある。
且つ、複雑なマルチメディアのコンテンツ表現構造に多様に対応し得る加重値表現構造を提示して、加重値を利用したマルチメディア検索及びブラウジングを行うためのデータ標準を期待し得るという効果がある。

以下、本発明の実施の形態を図面を用いて説明する。
図１は、本発明で共通に使用される加重値表現構造を示した図で、（Ａ）は加重値表現構造（ＤＳ）、（Ｂ）は前記（Ａ）をＸＭＬ形態に、それぞれ示した図である。
本発明に係るマルチメディアの加重値表現構造１０１は、図１に示したように、マルチメディアのコンテンツ情報を示す各表現構造（ＤＳ）が加重値を効果的に表現し得るように、加重値タイプ１０２、加重値１０３及び信頼度１０４により構成されることを特徴とする。

加重値タイプ１０２は、加重値の値を決める基準を意味する。その基準によっては同一対象であっても複数の加重値を有することができる。
例えば、イメージ検索に使用される各特徴ディスクリプタ間の加重値を記述するとき、同一対象であっても、使用者フィードバックによる学習によって生成された加重値と、イメージ生成者が直接指定した加重値との両加重値を同時に記述することができる。

このとき、両加重値がどのように生成されたものであるかの区分は、加重値タイプ１０２を使用して行うことができる。
例えば、使用者フィードバックによる学習によって生成された加重値の場合の加重値タイプを“ｒｅｌｅｖａｎｃｅ ｆｅｅｄｂａｃｋ”と、イメージ生成者が直接指定した加重値の場合の加重値タイプは“ｍａｎｕａｌ”と指定することができる。

信頼度１０４は、加重値タイプ１０２によって対象に付与された加重値が如何に信頼できる値かであることを示す。
例えば、加重値タイプが“ｒｅｌｅｖａｎｃｅ ｆｅｅｄｂａｃｋ”である場合は、そのｆｅｅｄｂａｃｋが如何に多くなされたかによって信頼度を与えることが可能で、加重値タイプが“ｍａｎｕａｌ”である場合は、加重値を与えた人が該当の対象に対して専門家であるか初心者であるかによってそれぞれ高値または低値の信頼度を与えることができる。

また、加重値１０３は、加重値の対象１０５及び加重値の値１０６により構成される。
例えば、図２に示したセグメント表現構造における各セグメントに対する加重値は、図３に示したように、各セグメントを参照する加重値対象と加重値の値のつながりとして表現される。

すなわち、図２の各セグメント２０１〜２０７の構造に対し、図３（Ａ）（Ｂ）のように、各セグメントｓｅｇ０、ｓｅｇ１０、ｓｅｇ１１、ｓｅｇ１００、ｓｅｇ１１０、ｓｅｇ１１１に対して、各セグメントを参照する加重値対象と加重値の値の連続により加重値が表現される。ここで、図３（Ａ）は、階層的構造に含まれた全セグメントの加重値を表現した場合、図３（Ｂ）は、階層的構造に含まれたセグメントの加重値を各レベルによって分けたセグメントグループ単位で表現した場合をそれぞれ示したものである。

このように、図２に示したセグメント表現構造において、各セグメントに対する加重値が、図３に示したように各セグメントを参照する加重値対象及び加重値の値の連続により表現される１例として、セグメント０（２０１）の場合は、そのセグメントを参照する加重値対象（WeightValueDS Reference='seg0'）、及び加重値の値（value=0.6）により表現されている。その他のセグメントに対しても加重値対象及び加重値の値により表現される。

併し、複数の加重値対象の順序が予め定義される場合は、加重値対象の情報を含まず、加重値の値のみにより構成されたｎ次元のベクトルにより加重値を表現することが可能で、このときは、予め定義された順序に従って各加重値の値を加重値対象にマッピングすることができるため、加重値対象を省略することができる。

一方、加重値対象の順序が予め定義されてない場合は、加重値対象と加重値の値により構成された対の集合により表現することもできる。

図４は、加重値表現構造を含むマルチメディアの構文表現構造（Syntactic DS）を示した図で、（Ａ）は表現構造（ＤＳ）を示した図、（Ｂ）は前記（Ａ）をＸＭＬ形態に示した図である。

すなわち、本発明に係るマルチメディア加重値表現構造は、マルチメディアのコンテンツベース検索及びブラウジングを行うために、マルチメディアの構造と関連したマルチメディアのコンテンツ表現構造である構文表現構造を含む。この構文表現構造が、各セグメントの表現構造を示すセグメント表現構造及び各セグメント間の関係を定義するセグメント関係グラフ表現構造を含むとき、前記構文表現構造は、１つ以上の加重値表現構造を追加的に含んで、各セグメント間の加重値または各セグメント関係間の加重値を記述する。

構文表現構造４０１は、加重値表現構造４０２、セグメント表現構造４０３及びセグメント関係グラフ表現構造４０４により構成される。
加重値表現構造４０２は、各セグメント、または、各セグメント関係グラフ間の加重値を表現する。
セグメント表現構造４０３は、図２に示したような階層的構造により構成することが可能で、このとき、セグメント表現構造は、図３（Ａ）に示したように階層的構造に含まれた全セグメントに対する加重値を表現することも可能で、または、図３（Ｂ）に示したように階層的構造に含まれたレベル別セグメントグループ単位で加重値を表現することもできる。

すなわち、セグメント表現構造が、子セグメント表現構造を持った階層的なセグメント表現構造を記述するとき、表現構造に含まれたある加重値表現構造が、階層的セグメント表現構造により表現された全セグメントに対する加重値を表現するか、または複数の加重値表現構造をそれぞれ階層的セグメント表現構造内に含むセグメントの子セグメント単位で加重値を表現することができる。
本発明の実施形態では、階層構造内に３個のセグメントグループが存在するため、３つの加重値表現構造として表現してある。
このようにして、加重値を付与する対象に対する情報を使用して多様な形態の加重値を表現することができる。

そして、図５は、加重値表現構造を含むセグメント関係グラフ表現構造を示したもので、図５（Ａ）は、加重値表現構造を含むセグメント関係グラフの表現構造（ＤＳ）を示した図、図５（Ｂ）は、前記（Ａ）をＸＭＬ形態に示した図である。

すなわち、本発明に係るマルチメディア表現構造は、図５に示したように、セグメント関係に関する加重値情報又はセグメントノードに関する加重値情報を表現することによってセグメント間の関係を表現している。そこでは、マルチメディアコンテンツ表現構造は、１つ以上のセグメント関係表現構造及び１つ以上のセグメントノード表現構造により構成されるセグメント関係グラフ表現構造を備え、各セグメント関係表現構造は、１つ以上の自己自身またはセグメントノードをそれぞれ含み、また、各セグメントノード表現構造は、１つ以上のセグメント、自己自身又はセグメント関係表現構造を含む。セグメント関係表現構造は、１つ以上の加重値表現構造を追加的に含む。また、マルチメディア表現構造は、さらに、１つ以上の加重値表現構造を追加的に含むようにセグメントに関する加重値を表現することによってもセグメント間の関係を表現している。

ここで、セグメント関係グラフ表現構造５０１は、１つ以上のセグメント関係表現構造５０２、加重値表現構造５０３及び１つ以上のセグメントノード表現構造５０４により構成されている。各セグメント関係表現構造５０２は、１つ以上の自己自身またはセグメントノードを含むことが可能である。また、各セグメントノード表現構造５０４は、１つ以上のセグメント、自己自身又はセグメント関係表現構造を含むことが可能で、その他に参照領域５０５、該当領域５０６、セグメント５０７、参照セグメント５０８及び加重値表現構造５０９情報を有する。このような構造を使用して階層的なセグメント関係グラフを生成することができる。

なお、前記セグメント関係グラフ表現構造に含まれた加重値表現構造５０３は、各セグメント関係間の加重値、または、各セグメントノード間の加重値を表現し、セグメントノード表現構造５０４に含まれた加重値表現構造５０９は、関係グラフに含まれる各セグメント間の加重値を表現する。

図６は、加重値表現構造を含むマルチメディアの内容を表現するセマンティック表現構造（Semantic DS）を示した図で、図６（Ａ）は、その表現構造を示した図、図６（Ｂ）は、前記（Ａ）をＸＭＬ形態に示した図である。
すなわち、本発明に係るマルチメディア加重値表現構造においては、図６に示したように、マルチメディアのコンテンツベース検索及びブラウジングを行うために、マルチメディアのセマンティック表現構造がマルチメディアのコンテンツと関連されたセマンティック表現構造６０１を含む。このセマンティック表現構造６０１は、イベントを記述する複数のイベント情報と、オブジェクトを記述する複数のオブジェクト情報と、それら間の関係を記述する１つ以上のイベント／オブジェクト関係グラフ表現構造とにより構成され、セマンティック情報は、さらに１つ以上の加重値表現構造を追加的に含んで、各オブジェクト間の加重値、各イベント間の加重値、または各イベント／オブジェクト関係グラフ間の加重値を表現する。

すなわち、セマンティック表現構造６０１は、加重値表現構造６０２、複数のオブジェクト表現構造６０３、イベント表現構造６０４及びイベント／オブジェクト関係グラフ表現構造６０５により構成される。

加重値表現構造６０２は、各イベント間の加重値、各オブジェクト間の加重値、または、各セグメント関係グラフ間の加重値を表現する。

オブジェクト表現構造６０３、イベント表現構造６０４及びイベント／オブジェクト関係グラフ表現構造６０５は、セグメント表現構造及びセグメント関係グラフ表現構造と同様に階層的に表現することができるが、このときも、加重値対象情報を使用して各階層構造の一部または全体単位で加重値を表現することができる。

すなわち、図６のマルチメディア加重値表現構造においては、オブジェクト（またはイベント）表現構造が子オブジェクト（またはイベント）表現構造を包含して階層的なオブジェクト（またはイベント）表現構造を表現するとき、セマンティック情報に含まれた１つの加重値表現構造が階層的オブジェクト（またはイベント）構造で表現された全オブジェクト（またはイベント）に対する加重値を表現するか、複数の加重値表現構造がそれぞれ階層的オブジェクト（またはイベント）構造内に含まれた１つのオブジェクト（またはイベント）の子オブジェクト（またはイベント）単位で加重値を表現することができる。

図７は、加重値表現構造を含むイベント／オブジェクト関係グラフ表現構造を示した図で、図７（Ａ）は、表現構造（ＤＳ）を示した図、図７（Ｂ）は、前記（Ａ）をＸＭＬ形態で示した図である。
すなわち、本発明に係るマルチメディア加重値表現構造においては、図７に示したように、各オブジェクトとイベント間の関係に関する加重値情報を表現するために、イベント／オブジェクト関係グラフ表現構造は、１つ以上のイベント／オブジェクト関係表現構造及び１つ以上のイベント／オブジェクトノード表現構造により構成され、各イベント／オブジェクト関係表現構造は、１つ以上の自己自身またはイベント／オブジェクトノードを含み、各イベント／オブジェクトノード表現構造は、１つ以上のオブジェクト、イベント、自己自身、またはイベント／オブジェクト関係表現構造で構成され、イベント／オブジェクト関係表現構造は、さらに、１つ以上の加重値表現構造を追加的に含み、各イベント／オブジェクト関係間の加重値、または各イベント／オブジェクトノード間の加重値を表現し、イベント／オブジェクトノード表現構造は、１つ以上の加重値表現構造を追加的に包含して、各イベントまたは各オブジェクト間の加重値を表現する。

図７の基本構造は、図５のセグメント関係グラフ表現構造と類似する。
ここで、イベント／オブジェクト関係グラフ表現構造７０１は、１つ以上のイベント／オブジェクト関係表現構造７０２、加重値表現構造７０３及び１つ以上のイベント／オブジェクトノード表現構造７０４により構成される。各イベント／オブジェクト関係表現構造７０２は、１つ以上の自己自身またはイベント／オブジェクトノードを含むことが可能である。各イベント／オブジェクトノード表現構造７０４は、１つ以上のオブジェクト、イベント、自己自身、またはイベント／オブジェクト関係表現構造を含むことが可能で、その他に参照オブジェクト表現構造７０５、オブジェクト表現構造７０６、イベント表現構造７０７、参照イベント表現構造７０８及び加重値表現構造７０９が含まれる。

ここで、イベント／オブジェクト関係グラフ表現構造７０１に含まれた加重値表現構造７０３は、各イベント／オブジェクト関係間の加重値又は各イベント／オブジェクトノード間の加重値を表現し、イベント／オブジェクトノード表現構造７０４に含まれた加重値表現構造７０９は、各イベント間の加重値または各オブジェクト間の加重値を表現する。

一方、上述したように、加重値表現構造を含むマルチメディアのコンテンツ表現構造において、含まれた加重値が階層的構造の特定部分を対象にして加重値を表現するか、または、オブジェクト及びイベントなどの各アイテム中１種類に対する加重値を表現するとき、どの部分に対する加重値であるかの区分、または、どのアイテムに対する加重値であるかの区分は、加重値表現構造に含まれた加重値の加重値対象を利用して行うことができる。

以下、上述した本発明に係るマルチメディアデータ構造として、加重値表現構造を含むマルチメディアのブラウジング及び検索方法、並びにマルチメディアディスプレー方法に対して説明する。

先ず、加重値表現構造を含むマルチメディア表現構造及びセグメント関係グラフ表現構造を使用した場合における、使用者依存的なキーフレームベース内容要約応用プログラム（Key-frame based summarization application）としてキーフレーム変換グラフ形態のブラウジングについて説明する。

本発明に係るマルチメディア加重値表現構造を含むマルチメディア要約ディスプレー方法においては、加重値表現構造、マルチメディア表現構造及びセグメント関係グラフ表現構造を使用してキーフレーム変換グラフをディスプレーするとき、使用者が所望する数だけのキーフレームを表現構造内の加重値表現構造で表現された各セグメント間の加重値順序に抽出する段階と、セグメント関係グラフ表現構造により抽出された各キーフレームを含む関係のみを抽出し、それらを利用してキーフレーム変換グラフを生成する段階と、を順次行う。

さらに、本発明に係るマルチメディア加重値表現構造を含むマルチメディア要約ディスプレー方法においては、加重値表現構造、マルチメディア表現構造及びセグメント関係グラフ表現構造を使用してキーフレーム変換グラフをディスプレーするとき、セグメント関係グラフ内の加重値表現構造で表現された各セグメント関係の加重値の高い順番にセグメント関係を抽出する。このとき、使用者所望のキーフレームの数に達するまで抽出する段階と、それら抽出されたセグメント関係グラフを利用して、キーフレーム変換グラフを生成する段階と、を順次行う。

以下、図８に基づいて、前記マルチメディア要約ディスプレー方法を詳しく説明する。
セグメントとは、時間軸を基準にした動画像の一定部分を意味する。動画像は連続したフレームにより構成され、例えば、１秒に３０フレームにより構成されると仮定すると、２秒のセグメントは連続した６０フレームにより構成される。従って、もし、セグメントの時間間隔が０であると、それは１つのフレームを意味し、結局、セグメント表現構造は１つのフレームを表現する。

このような性質を利用してマルチメディアのコンテンツ表現構造内のセグメント表現構造を使用して階層的キーフレーム構造を表現することが可能で、セグメント関係グラフ表現構造を使用してキーフレームの関係グラフを表現することができる。特に、関係が該当動画像においてキーフレームの時間的な順序関係を意味する場合、時間的な変換関係グラフを表現することができる。

すなわち、このようなマルチメディアコンテンツ表現構造内のセグメント表現構造及びセグメント関係グラフ表現構造を使用して、図８（Ａ）（Ｂ）に示したようなキーフレーム変換グラフ形態のブラウジングが可能になる。
このとき、キーフレーム変換グラフが複雑であると、使用者が内容を理解するための障害となり得るため、使用者はキーフレーム変換グラフのノード数を調節することができる。
すなわち、使用者は同じ構造を使用して、図８（Ａ）に示したような５個のキーフレームｆｒａｍｅ０〜ｆｒａｍｅ４を利用した変換グラフ、または、図８（Ｂ）に示したような１０個のキーフレームｆｒａｍｅ０、ｆｒａｍｅ０．１、ｆｒａｍｅ１、ｆｒａｍｅ１．１、ｆｒａｍｅ２、ｆｒａｍｅ２．１、ｆｒａｍｅ３、ｆｒａｍｅ３．１、ｆｒａｍｅ３．２、ｆｒａｍｅ４を利用した変換グラフを要求することができる。

また、このような要求が発生すると、表現構造内に含まれた加重値表現構造を使用して、加重値が高い順に使用者所望のフレーム数だけのキーフレームを利用してキーフレーム変換グラフを生成することができる。

同様に、使用者がおおまかなキーフレーム数を明示した場合、セグメント関係グラフ表現構造内に含まれた加重値表現構造を使用して、加重値が高い順に使用者所望のキーフレームに最も近いフレーム数を満足する関係のみを抽出し、それを利用してキーフレーム変換グラフを生成することができるが、このときは、単なるキーフレームの加重値ではなく、キーフレームの変換に対する加重値順であるため、全体的な内容の流れをより反映したキーフレーム変換グラフを提供することができるというメリットはあるが、使用者所望のキーフレーム数を正確に反映することができないという短所がある。

また、加重値表現構造を含むマルチメディアのセマンティック表現構造及びイベント／オブジェクト関係グラフ表現構造を利用した人物関係中心の動画像ブラウザーについて説明する。

本発明に係る動画像人物関係中心ディスプレー方法においては、上述した加重値表現構造、イベント／オブジェクト関係グラフ表現構造等のマルチメディアコンテンツ表現構造を使用して動画像を人物関係中心に検索してディスプレーするとき、マルチメディアコンテンツ表現構造内に含まれた加重値表現構造が表現する各オブジェクト間の加重値順に人物を羅列し、イベント／オブジェクト関係グラフ表現構造内に含まれた加重値表現構造が表現する各オブジェクト間の関係間の加重値順に二人の人物間の関係変換を羅列し、その選択された両人物間の関係を満足するイベント区間のキーフレームを羅列する。そのとき、その順番は、コンテンツ構造内に含まれた加重値表現構造が表現する各セグメント間の加重値順に決定される。

以下、図９に基づいて人物関係中心ディスプレー方法について説明する。
一般に、動画像のコンテンツは主要登場人物の関係中心に進行するため、各登場人物間の関係中心に動画像を検索及びブラウジングする方法が使用される。マルチメディアのコンテンツ構造にはオブジェクト（登場人物）及びイベント／オブジェクト関係グラフ表現構造が包含されているため、それらを使用するとこのような応用が可能になる。

このようなブラウザーの基本的な使用者インタフェースにおいては、図９に示したように、登場人物画面９０１は動画像に登場する人物を羅列し、人物関係画面９０２は前記登場人物画面９０１にて選択された登場人物と関係がある人物が羅列され、同時に選択された二人の人物については関係の変化が表現される。

また、主要場面画面９０３は、各登場人物と特定関係を満足するイベント区間を代表する各キーフレームが羅列される。
このとき、登場人物画面９０１に羅列される各登場人物の順序は、コンテンツ表現構造内に含まれた加重値表現構造を使用して決定することができる。すなわち、各オブジェクトの加重値が包含されているため、それを使用すると、各登場人物を主要人物順に羅列することができる。

更に、人物関係画面９０２で表現される各登場人物間の関係のディスプレー順序も、イベント／オブジェクト関係グラフ表現構造内に含まれた加重値表現構造を使用して決定することができる。
最後に、選択された関係を満足するキーフレーム順序は、上述したように各セグメント間の加重値を表現する表現構造内に含まれた加重値表現構造を使用して決定する。

本発明で共通的に使用される加重値表現構造を示した図である。 前記（Ａ）をＸＭＬ形態に示した図である。 セグメント表現構造を示した図である。 図２のセグメント表現構造において、各セグメントに対する加重値を表現した例示図である。 図２のセグメント表現構造において、各セグメントに対する加重値を表現した例示図である。 加重値表現構造を含むマルチメディアシンタックス表現構造を示した図で、（Ａ）は表現構造を示した図、（Ｂ）は前記（Ａ）をＸＭＬ形態に示した図である。 加重値表現構造を含むセグメント関係グラフ表現構造の表現構造を示した図である。 前記（Ａ）をＸＭＬ形態に示した図である。 加重値表現構造を含むマルチメディアコンテンツ表現構造の表現構造を示した図（Ａ）で（Ｂ）は前記（Ａ）をＸＭＬ形態に示した図である。 加重値表現構造を含むイベント／オブジェクト関係グラフ表現構造を示した表現構造を示した図である。 前記（Ａ）をＸＭＬ形態に示した図である。 （Ａ）（Ｂ）、マルチメディア表現構造内のセグメント表現構造及びセグメント関係グラフ表現構造を使用したキーフレーム変換グラフ形態（Ｋｅｙ−ｆｒａｍｅ ｔｒａｎｓｉｔｉｏｎ ｇｒａｐｈ）のブラウジングを説明するための図である。 人物関係中心動画像ブラウザーの１例を示した図である。

符号の説明

１０１…加重値表現構造、１０２…加重値タイプ、１０３…加重値、１０４…信頼度、１０５…加重値の対象、１０６…加重値の値、２０１〜２０７…セグメント、４０１…表現構造、４０２…加重値表現構造、４０３：セグメント表現構造、４０４、５０１…セグメント関係グラフ表現構造、５０２…セグメント関係表現構造、５０３…加重値表現構造、５０４…セグメントノード表現構造、５０５…参照領域、５０６…該当領域、５０７…セグメント、５０８…参照セグメント、５０９…加重値表現構造、６０１…コンテンツ情報、６０２…加重値表現構造、６０３…オブジェクト表現構造、６０４…イベント表現構造、６０５，７０１…イベント／オブジェクト関係グラフ表現構造、７０２…イベント／オブジェクト関係表現構造、７０３…加重値表現構造、７０４…イベント／オブジェクトノード表現構造、７０５…参照オブジェクト表現構造、７０６…オブジェクト表現構造、７０７…イベント表現構造、７０８…参照イベント表現構造、７０９…加重値表現構造、９０１…登場人物画面、９０２…人物関係画面、９０３…主要場面画面。

Claims (6)

1. マルチメディアのコンテンツの複数のセグメントに索引を付与することにより前記マルチメディアのコンテンツを検索する方法において、
   マルチメディアのコンテンツの複数のセグメントのそれぞれに、セグメント加重値を指定する過程と、
   前記マルチメディアのコンテンツの前記複数のセグメントの相互関係を表すセグメント関係の索引を生成する過程と、
   指定されたセグメント加重値とセグメント関係の索引に基づいて、前記マルチメディアの前記複数のセグメントの索引を生成する過程と
   を備えたことを特徴とするマルチメディアのコンテンツ検索方法。
2. 前記セグメントが、子セグメントを包含した階層的なセグメント表現構造として表されるとき、
   前記セグメント表現構造に含まれたセグメント加重値の表現構造が、階層的セグメント表現構造で表された全セグメントに対する加重値を表すか、または、複数の加重値の表現構造が、それぞれ階層的セグメント表現構造内に含まれているセグメントの子セグメント単位で加重値を表すことを特徴とする請求項１記載のマルチメディアのコンテンツ検索方法。
3. 各セグメント間の関係を表すために、セグメント関係の索引構造は、１つ以上のセグメント関係の索引構造及び／又は１つ以上のセグメントノード表現構造により構成され、各セグメント関係の索引構造は、１つ以上の自己自身またはセグメントノードを含み、各セグメントノード表現構造は、１つ以上のセグメント、自己自身又はセグメント関係の索引構造を含み、
   前記セグメント関係の索引構造は、１つ以上の加重値の表現構造を含んで、各セグメント関係間の加重値または各セグメントノード間の加重値を表し、
   さらに、前記セグメントノード表現構造は、１つ以上の加重値の表現構造を含んで、各セグメント間の加重値を表すことを特徴とする請求項１記載のマルチメディアのコンテンツ検索方法。
4. マルチメディアのコンテンツの複数のセグメントに索引を付与することにより前記マルチメディアのコンテンツを検索する方法において、
   マルチメディアのコンテンツの複数のセグメントのそれぞれに、オブジェクト加重値を指定する過程と、
   前記マルチメディアのコンテンツの前記複数のセグメントのそれぞれに、イベント加重値を指定する過程と、
   前記マルチメディアのコンテンツの複数の項目に呈示されたイベントとオブジェクトとの相互関係を表すイベント／オブジェクト関係の索引を生成する過程と、
   指定された、オブジェクト加重値とイベント加重値とイベント／オブジェクト関係の索引に基づいて、前記マルチメディアの前記複数のセグメントの索引を生成する過程と
   を備えたことを特徴とするマルチメディアのコンテンツ検索方法。
5. 前記オブジェクトまたはイベントが、子オブジェクト若しくは子イベントを包含した階層的なオブジェクト表現構造またはイベント表現構造を表すとき、
   前記コンテンツに含まれた各加重値の表現構造は、階層的オブジェクト表現構造またはイベント表現構造で表された全てのオブジェクトまたはイベントに対する加重値を表し、前記複数の加重値の表現構造は、それぞれ階層的オブジェクト表現構造内またはイベント表現構造内に含まれたオブジェクトの子オブジェクト単位又はイベントの子イベント単位で加重値を表すことを特徴とする請求項４記載のマルチメディアのコンテンツ検索方法。
6. 各オブジェクトとイベント間の関係を表現するために、イベント／オブジェクト関係の索引構造は、１つ以上のイベント／オブジェクト関係の索引構造及び／又は１つ以上のイベント／オブジェクトノード表現構造により構成され、各イベント／オブジェクト関係の索引構造は、１つ以上の自己自身またはイベント／オブジェクトノードを含んで構成され、各イベント／オブジェクトノード表現構造は、１つ以上のオブジェクト、イベント、自己自身、またはイベント／オブジェクト関係の索引構造を含んで構成され、
   前記イベント／オブジェクト関係の索引構造は、１つ以上の加重値の表現構造を含んで、各イベント／オブジェクト関係間の加重値、または各イベント／オブジェクトノード間の加重値を表し、
   前記イベント／オブジェクトノード表現構造は、１つ以上の加重値の表現構造を含んで、各イベントまたは各オブジェクト間の加重値を表すことを特徴とする請求項４記載のマルチメディアのコンテンツ検索方法。

Images