JP2005535948A - セマンティックブラウジングオプションを作成する方法およびデバイス - Google Patents

セマンティックブラウジングオプションを作成する方法およびデバイス Download PDF

Info

Publication number
JP2005535948A
JP2005535948A JP2004510221A JP2004510221A JP2005535948A JP 2005535948 A JP2005535948 A JP 2005535948A JP 2004510221 A JP2004510221 A JP 2004510221A JP 2004510221 A JP2004510221 A JP 2004510221A JP 2005535948 A JP2005535948 A JP 2005535948A
Authority
JP
Japan
Prior art keywords
image
subspace
semantic information
semantic
reduced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004510221A
Other languages
English (en)
Other versions
JP4733975B2 (ja
Inventor
シュタウダー ユルゲン
ニュネ ルワ
シュポー ベルトラン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2005535948A publication Critical patent/JP2005535948A/ja
Application granted granted Critical
Publication of JP4733975B2 publication Critical patent/JP4733975B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本発明は、セマンティックブラウジングオプションを作成するデバイスに関する。当該デバイスは、複数のイメージを含む入力データベース(2)から最初のイメージセット(9)を選択する手段を有しており、当該各イメージはセマンティックインフォメーションスペースからのセマンティックインフォメーションに関連付けされており、前記最初のイメージセットと関連付けされているセマンティックインフォメーションによってあらわされるセマンティックインフォメーションサブスペースを定める手段を有しており、当該デバイスはさらに、前記サブスペースから低減されたサブスペースを選択する手段(4)と、当該低減されたサブスペースのセマンティックインフォメーションと関連付けされたデータベースのイメージへのセマンティックリンクを作成する手段(4)と、前記低減されたサブスペースのセマンティックインフォメーションと関連付けされたデータベースの少なくとも1つのイメージ(10)を表示する手段(7)とをさらに有している。

Description

本発明は、セマンティックブラウジングオプションを作成する方法およびデバイスに関する。
再書込み可能な記憶デバイス(例えばハードディスクおよびDVD)の容量の増加並びに消費者ビデオ市場および写真市場におけるデジタル化に押されて、デジタル資料管理の問題は、職業的な市場から消費者市場に移っている。
ビデオおよび写真資料管理の課題の1つは、メディアからセマンティックインフォメーション(意味情報)を集めてデータアクセスを容易にすることである。職業的な市場では、最初の製品はセマンティックアクセスを提供する。
本発明は、消費者市場に対する個人的なビデオおよび写真資料へのセマンティックアクセスの問題に取り組む。
イメージブラウジングに対する公知の消費者ツールは通常、使用できるメタデータ(例えばデジタル化のデータおよびフィルム番号)または手動で加えられたキーワードおよび注釈(例えば出所/作者または場所/時間)に基づいている。第1のタイプのメタデータは、低い検索能力しか与えられず、第2のタイプのメタデータはマニュアルで挿入されなければならず、結果として生じる検索性能は、メタデータの質および量に強く依存する。
イメージブラウジングに対する消費者ツールの性能を高める1つの方法は、最近の専門的なツールから既知のように、自動的に識別されるセマンティックエレメント(例えば「人」または「室内シーン」または「山」)を加えることである。しかしこのような中心的な解決方法は、消費者電子製品に不慣れなユーザには向いていない。この市場ではイメージアクセスは、常に、明確な対象または事前に定められた作業の流れによって導かれるのではない。専門的なユーザは、明確に室内シーンにおける人物を探すが、経験のないユーザは初めに人物の写真を探し、幾つかの人物の写真を見た後に山のイメージを探す。なぜなら、これらの人物はユーザに山への旅行を思い出させるからである。テレビ鑑賞時の「ザッピング(zapping)」のように、ユーザはビデオ検索および写真検索を気晴らしのような感覚で認識している。当初の検索対象物は、検索のあいだに変わる。
本発明は、容易に理解できる視覚的な方法でユーザにセマンティックブラウジングオプションを提供する新しいデバイスに関する。
本発明は、セマンティックブラウジングオプションを作成するデバイスであり、
当該デバイスは、
・複数のイメージを含む入力されているデータベースから最初のイメージセットを選択する手段を有しており、ここで当該各イメージはセマンティックインフォメーションスペースからのセマンティックインフォメーションに関連付けされており、
・前記最初のイメージセットと関連付けされているセマンティックインフォメーションによってあらわされるセマンティックインフォメーションのサブスペースを定める手段を有している形式のデバイスにおいて、
・前記サブスペースから低減されたサブスペースを選択する手段と、
・当該低減されたサブスペースのセマンティックインフォメーションと関連付けされたデータベースのイメージへのセマンティックリンクを作成する手段と、
・前記低減されたサブスペースのセマンティックインフォメーションと関連付けされたデータベースの少なくとも1つのイメージを表示する手段とをさらに有していることを特徴とする。
「人物」のイメージまたは「室内シーン」のイメージまたは「山」のイメージを明確に検索することが提案される代わりに、「人物」、「室内」または「山」等の特定のセマンティッククラスをそれぞれ代表するイメージの自動選択によって、ブラウジングオプションがあらわされ、表示される。
このようなオプションは、イメージによって視覚的な暗黙の方法でユーザに提示されるので、ユーザはセマンティッククラスまたはカテゴリーまたはテーマを明確に選択することなく、オプションに従うことができる。このようなデバイスは、内容が知られていないイメージの検索において非常に有利であり、いかなる目的もなく、ただ楽しむためにイメージを見る場合に殊に便利である。
有利な実施形態では、最初のイメージセットを選択する手段は以下の手段の中から選ばれる。すなわち:
・固定されたバーンイン選択
・ランダム選択
・データベースの内容をあらわす系統的な選択
・グラフィカルユーザインターフェースを用いた対話式選択
・ユーザプロファイルを考慮した選択
の中から選ばれる。
従って、例えばユーザが特定のテーマに関連したイメージまたはプロファイルに従ったイメージを見たい場合、ユーザは最初のイメージセットに作用を及ぼすことができる。ユーザは例えば、自身の個人的な趣向、趣味を入力することができる。
これらの異なったモードは、同じアプリケーション内での選択であり、ユーザは例えばこれらのモードのうちの1つをボタンを選択することによって選ぶことができる。
有利な実施形態では、入力されたデータベースは、静止画像のセット、少なくとも1つのビデオシーケンスから抜き出されたイメージのセットおよびコミュニケーションリンクを通じて受信されたイメージのセットから選ばれる。
有利な実施形態では、低減されたサブスペース(reduced sub-space)を前記サブスペースから選択する手段は、前記低減されたサブスペースを事前に定められた判断基準に従って選択するように構成されている。
事前に定められた判断基準は、例えば優位ラベル(dominant labels)である。この判断基準は、ある実施形態では、直ぐにまたは適切に固定される。
この判断基準は、例えばユーザによって選択される。
有利な実施形態では、低減されたサブスペースを前述のサブスペースから選択する手段は、ユーザプロファイルに従って選択された事前に定められた判断基準に従って前記低減されたサブスペースを選択するように構成される。
ユーザは例えば、自身の特定の趣向または願望をいつでも、または一度、入力することができる。
有利な実施形態では、低減されたサブスペースを前記サブスペースから選択する手段は、前記事前に定められた判断基準をユーザとの対話に基づいて修正するように構成されている。
有利な実施形態では、このようなユーザとの対話とは、最初のイメージセットから少なくとも1つのイメージを選択することであり、低減されたサブスペースを選択する手段は、前記選択されたイメージと関連付けされているセマンティックインフォメーションによってあらわされた低減されたサブスペースを選択するように構成されている。
この種の実施桁形態はユーザとの対話を可能にし、デバイスはユーザの入力無しには完全に自動的に作動しない。
ユーザはイメージ(例えば特定のテーマまたは特定の人物に関連したイメージ)を選択することによって趣向を示すことができる。
「人物」または「室内シーン」または「山」等の検索キーワードを明確に示すことを提案する代わりに、ユーザは検索しているものに相応する複数のイメージをクリックすることができる。サーチ機能の機能性を確実にするために、このシステムはセマンティックラベル(例えば「人物」または「室内」)を自動的にデータベースのイメージに関連付けすることができる。
イメージをクリックすることによって、ユーザには、妥当なクラスネームの代わりに視覚的な刺激が与えられる。さらに、セマンティッククラスとは相通じない主観的な関連がユーザにイメージをクリックさせることがある。
有利な実施形態では、ユーザとの対話は、最初のイメージセットから少なくとも1つのイメージを選択することであり、低減されたサブスペースを選択する手段は、選択されたイメージと関連付けされているセマンティックインフォメーションを引いた、前記最初のイメージセットと関連付けされているセマンティックインフォメーションによってあらわされている低減されたサブスペースを選択するように構成されている。
趣向を示す代わりに、ユーザは表示させたくないイメージを選択することができる。ユーザが願望を有しているが、最初のイメージセット内で、検索したいイメージを見つけることができない場合にこれは非常に有利である。
有利な実施形態では、前記サブスペースから低減されたサブスペースを選択する手段は、前記サブスペースのセマンティックインフォメーションのクラスター分析および主なコンポーネントの分析およびヒストグラム分析から選択された方法によって、前記低減されたサブスペースを選択するようにされている。
この種の手段によって、最初のイメージセットのイメージに関係付けされたセマンティックインフォメーションが分析される。この分析によって、セマンティックインフォメーションの低減されたサブスペースが作成される。低減されたサブスペースのセマンティックインフォメーションに関係付けされた新たなイメージセットが作成される。
有利な実施形態では、セマンティッククラスのラベル、ワードおよびワードの組合せの中から選択されたエンティティがセマンティックインフォメーションスペースを規定する。
有利な実施形態では、低減されたサブスペースは、前記セマンティックインフォメーションサブスペースの少なくとも1つのディメンション(dimension)を有しており、この実施形態に相応するデバイスは、
・前記サブスペースのディメンションの少なくとも1つを選択する手段
・選択された各ディメンションに対して、少なくとも1つのデータベースのイメージを選択する手段を有しており、ここではこのイメージの関係づけされたセマンティックインフォメーションは、選択されたディメンションにおいて強い。
有利な実施形態では、前記サブスペースから低減されたサブスペースを選択する手段は、セマンティックグラフを使用するように構成されている。このセマンティックグラフはセマンティックインフォメーションスペースのディメンション間のセマンティックリンクを含む。
有利な実施形態では、前記サブスペースから低減されたサブスペースを選択する手段は、セマンティックグラフをセットアップするように構成されている。これはセマンティック構造、オントロジー、文法および他の言語関連知識から選択された情報構造化を用いて行われる。
有利な実施形態では、前記低減されたサブスペースのセマンティックインフォメーションに関係付けされたデータベースの少なくとも1つのイメージを表示する手段は、イメージボタンの形でイメージを表示するように構成されている。ここで各イメージボタンはデータベースのイメージに対する検索オプションを提供する。このイメージの関係づけされたセマンティックインフォメーションは、イメージボタンに関係付けされたのと同じディメンションにおいて強い。
この提案の種類はイメージボタンと称される。明確に示されたセマンティッククラスに対して決定を下す代わりに、経験のないユーザは、関心のある具体的なイメージに対して決定を下す。
ユーザの選択は、イメージのセマンティッククラスの名前だけでなく、より多くのものに基づくことが可能である。イメージボタンを表示することによって、ユーザは妥当なクラスネームの代わりに視覚的に刺激される。さらに、セマンティッククラスとは相通じない主体的な関連が、ユーザにイメージボタンによってあらわされたブラウジングオプションを選択させる。
イメージボタンの自動選択におけるエラーが目立たないということもこのようなシステムの利点である。例えばエラーによって、「山」のイメージボタンであったのに、「室内」イメージが表示されてしまっても、このエラーは目立たない。なぜならユーザは「山」のイメージボタンを予期していないからである。さらにイメージボタンに対するイメージの誤ったイメージ選択でさえも、前述したようにユーザに刺激を与えることがある。
有利な実施形態では、選択された最初のイメージセットおよび前記低減されたサブスペースのセマンティックインフォメーションに関連付けられているデータベースのイメージがディスプレイの少なくとも2つのウィンドウを用いて同時に表示される。
有利な実施形態では、選択された最初のイメージセットが、前記低減されたサブスペースのセマンティックインフォメーションに関係付けされているデータベースのイメージに置き換えられる。
すなわち本発明は、セマンティックブラウジングオプションを作成する方法に関しており、
・複数のイメージを含む入力データベースから最初のイメージセットを選択するステップを有しており、前記各イメージはセマンティックインフォメーションスペースからのセマンティックインフォメーションに関連付けされており、
・前記最初のイメージセットと関連付けされているセマンティックインフォメーションによってあらわされたセマンティックインフォメーションサブスペースを定めるステップを有している形式の方法において、さらに、
・前記サブスペースから低減されたサブスペースを選択するステップと、
・当該低減されたサブスペースのセマンティックインフォメーションと関連付けされたデータベースのイメージへのセマンティックリンクを作成するステップと、
・前記低減されたサブスペースのセマンティックインフォメーションと関連付けされたデータベースの少なくとも1つのイメージを表示するステップとを有していることを特徴とする。
前記方法は有利には、本発明に従ったデバイスのあらゆる実施形態において実行される。
すなわち本発明は、本発明に従ってセマンティックブラウジングオプションを作成する方法のステップを実行するためのプログラムインストラクチャーを含むコンピュータプログラム製品に関し、この場合に前記プログラムはコンピュータ上にロードされている。
本発明の他の特徴および利点は、添付図面によって示されている、本発明の実施形態(これは本発明を制限するものではない)の説明に記載されている。
図1には本発明のある実施形態を実現するシステムが示されており、
図2には本発明の他の実施形態を実現するシステムが示されており、
図3には本発明の実施形態を実現するグラフィカルユーザインターフェースを示すディスプレイの例が示されている。
イメージ索引付けおよびクラス分け手段1は、データベース2に接続されている。このデータベースは静止画像およびテキストメタデータを含んでいる。
データベース2は、静止画像およびビデオイメージまたはコミュニケーションリンクを通じて受信されたイメージのセットを蓄積することができる。このデータベースは例えばネットワーク内に分散されていてもよい。このデータベースは2つのデータベース(1つはイメージ用、1つはメタデータ用)から成っていてもよい。
メタデータは、種々異なるタイプであってもよい。メタデータはイメージによって運搬されるフリーテキストであり得る。メタデータは手動で編集されたキーワードであってもよい。メタデータは、オフラインまたはオンラインで索引および分類手段1によって作成されたセマンティッククラスラベル(例えば「室内」または「室外」または「人」または「山」または「街」)を含むことができる。このセマンティッククラスラベルは、索引付けおよびクラス分け手段1によってオフラインまたはオンラインで作成される。1つより多いクラスラベルを1つのイメージに割り当ててもよい。メタデータは、例えばクラスラベルナンバーにコード化可能である。用語「セマンティックインフォメーション」はこの文献において今後、メタデータをあらわすのに用いられる。
イメージ索引付けおよびクラス分け手段は、セマンティックインフォメーションをデータベース2内に蓄積されているデータに関係付ける役割を担っている。
データベース内に蓄積されているデータと関係付けされているセマンティックインフォメーションはセマンティックインフォメーションスペースをあらわす。
セマンティッククラスのセマンティックインフォメーションラベルまたはワードまたはワード組合せは、セマンティックインフォメーションスペースを定める。
データベース2は、最初のイメージセットを作成することができるモジュール3にも接続されている。最初のイメージセットを作成するモジュール3は、データベースから最初のイメージセットを選択することを可能にする。
有利な実施形態では、最初のイメージセットを作成するモジュール3は、データベース2のイメージの自動選択であり得る。この場合にこの選択は、例えばランダムな選択であり得る。これはユーザに分かり易い。
別の形態では、最初のイメージセットを作成するモジュール3は、ユーザがデータベース2の幾つかのイメージを選択することを可能にするユーザインターフェース内で実現される。このユーザインターフェースは良く知られており、ここではデータベースのイメージが表示され、マウスまたはキーパッドを用いてイメージのうちの幾つかをユーザが選択することができる。前記イメージ表示はグループに、またはイメージのディレクトリに編成され、より多くの数のイメージを扱うことが可能である。この場合には、最初の選択はイメージのグループまたはディレクトリである。
別の形態では、この選択は半自動化されている;すなわち、ユーザは、キーワードを示すことで幾つかのイメージテーマを選択することができる。
最初のデータセットと称される、選択されたデータと関連付けされたセマンティックインフォメーションは、データベースのセマンティックインフォメーションスペース全体のセマンティックインフォメーションのサブスペースをあらわす。
セマンティックリンクを作成するモジュール4は、最初のイメージセットを作成するモジュール3と接続されている。
このモジュールは、サブスペースから低減されたサブスペースを選択する。
低減されたサブスペースを選択するために、このモジュールは幾つかの方法を使用することができる。
第1の実施形態では、このモジュールは前記サブスペースと関係付けされたセマンティックインフォメーションのクラスター分析を行うことができる。
クラスター分析は、セマンティックインフォメーション内に含まれている言葉の別個の場所で実行される。クラスタは1つのワードまたはワード組合せ上に作成されたヒストグラムの計算によって見つけられる。
関係の無い要素を止める、または削除する等の事前処理も使用可能である。
優位なワードまたは優位なワード組合せがヒストグラムから抜き出される。この抜き出しは、セマンティックインフォメーションの構造を示すグラフによってガイドされる。セマンティックインフォメーションが階層的なクラスラベルから成る場合、このグラフは階層的であり得る。別の実施形態では、いかなる相互のセマンティックカバリングも有していない明確なクラスラベルの場合、このグラフはリンクを含まない。
セマンティックインフォメーションがフリーテキストを含む場合、このグラフはワードおよび/またはワード組合せ間にセマンティックリンクをあらわす。最終的に抜き出されたワードおよび/またはワード組合せは、低減されたインフォメーションサブスペースのディメンションを定める。
このモジュール4は、データベースのイメージへのセマンティックリンクを作成する。このイメージの関係付けされたセマンティックインフォメーションは、前記低減されたサブスペースのうちの1つと同じディメンションにおいて強い。
低減されたサブスペースに最も相応するデータベースのイメージがデータベースから抜き出される。一致対応(correspondence)は、距離測定によって形成され(formulated)、様々な方法で実現される。
有利な実施形態では、一致対応はデータベースのイメージを選択することによって形成される。これの関係づけされたセマンティックインフォメーションは前記低減されたサブスペースの全てのディメンションにおいて強い。表示されるべきイメージの数が多すぎる場合、ランダム選択またはランク付けが行われる。距離測定は、検索キーワードに関する選択されたイメージの関連性を定める少なくとも1つのパラメータを用いた精度の表記を含む。
モジュール4は、イメージボタンを作成するモジュール5と接続されている。このモジュールは、前記低減されたサブスペースのセマンティックインフォメーションと関連するデータベースのイメージに対する(図3のA1〜A6によってあらわされている)イメージボタンを作成する。
イメージボタン作成モジュール5は、グラフィカルユーザインターフェース6と接続されている。このユーザインターフェース6はイメージボタンをディスプレイ7上に表示する役割を担っている。ディスプレイ7は、最初のイメージセットも表示することができる。最初のイメージセットおよびイメージボタンは、ディスプレイ7の同じウインドウ上に表示される。
最適な実施形態では、最初のイメージセットもイメージボタンも同時に表示される。この場合には、イメージボタンの選択は自動であり、ユーザはイメージの選択に相互作用を及ぼさない。
別の実施形態では、グラフィカルユーザインターフェースは最初のイメージセットをイメージボタンによって置き換える。
イメージボタンは、データベースのイメージに対する検索オプションを提供する。このイメージの関連するセマンティックインフォメーションは、イメージボタンに関連付けされたのと同じディメンションにおいて強い。
ユーザはイメージボタンのうちの1つを、例えば単純なマウスクリックによって選択する。その後、データベースのイメージが表示される。このイメージの関係付けされたセマンティックインフォメーションは、イメージボタンと関連付けされているのと同じディメンションにおいて強い。
本発明のこのような実施形態によって、ユーザは明確な目的がなく、自由な方法でイメージを検索することができる。なぜならデバイスは、ユーザにいかなるパラメータを入力することも要求せずに完全に自動的にコントロールを行うことができるからである。
図2には、本発明の別の実施形態が示されている。
この種の実施形態によって、ユーザは表示したいテーマのフィードバック選択をすることができる。これは最初のイメージセットの幾つかのイメージを選択することによって行われる。
イメージのフィードバック選択モジュール8によって、低減されたサブスペースを選択する幾つかの判断基準を与えるために、ユーザは最初のイメージセットのうちの幾つかのイメージを選択することができる。ユーザはキーワードを入力する代わりに単純にイメージをクリックすることによってイメージを選択する。これによってシステムを容易に使用することができる。
関連するフィードバックシステムが存在する場合、色、テキストイメージレイアウトまたは形状のメジャーを用いて視覚的な相似性によってイメージ検索が行われる。本発明では、検索はテキスト形式のメタデータ(例えばワード「人物」または「山」)に基づいている。テキスト形式のメタデータを用いることによって、サーチ形式および検索の計算コストを格段に減らすことができる。
このような選択によってユーザは、最初のイメージセットのイメージの中で表示させたいテーマに関連した幾つかのイメージを選択することができる。
例えば、最初のイメージセットは山をあらわす画像、人物をあらわす別の画像、スイミングプールをあらわす別の画像、乳児をあらわす別の画像、山の中でゴルフをする人をあらあわす別の画像から成る。
ユーザがこれらのイメージの中から、乳児とゴルフをする人を選択した場合、イメージの低減されたサブスペースは例えば人物から成る。この選択はセマンティックインフォメーションに基づいており、イメージの選択において容易に行われる。低減されたサブスペースは、選択されたイメージと関連するセマンティックインフォメーションに基づいて、例えば上述したようなクラスター分析の技術を用いて作成される。
例えばユーザが、これらのイメージの中から、山をあらわす画像とゴルフをする人をあらわす画像を選択した場合、低減されたサブスペースは例えば山での人物を表示することである。
図3にはディスプレイ7の実施形態が示されている。
図3の上方には図示のように、ディスプレイ7上に表示されるべき第1の画像が示されている。
イメージボタンA1またはA2またはA3のうちの1つが選択されると、図示のように図3の下方部分がディスプレイ7上に表示される。
最初のイメージセット9、並びに一連のイメージボタンA1, A2, A3がディスプレイ7上に表示される。
イメージの数およびイメージボタンの数は説明用のものであって、詳細なものではない。
図1に相応する本発明の第1の実施形態において、イメージボタンA1、A2、A3は、第1のイメージセットが作成されるとすぐに表示される。
その後ユーザは、ユーザインターフェースを用いて(ここではマウス11によってあらわされている)、イメージボタンA1、A2、A3のうちの1つを選択することができる。
ユーザがイメージボタンA3を選択すると、図3の下方で示されているように、新たな内容10がディスプレイ7上に表示される。
イメージの新たなセット10がディスプレイ7上に表示される。これらのイメージはデータベースのイメージである。このイメージの関係付けされたセマンティックインフォメーションは、示されているイメージボタンA3と関係付けされているのと同じディメンションにおいて強い。
新たなイメージボタンA4、A5、A6も作成される。これらのイメージボタンは、イメージセット10から作成された低減されたサブスペースに関連付けされたセマンティックインフォメーションをあらわす。従って、ユーザは繰り返して新しいイメージセットおよび関連するイメージボタンを得ることができる。
このようなイメージは種々異なる判断基準に従って、ランダムに、特定のテーマに従って、ユーザの願望に従って配列される。
他のボタン、例えばビデオの選択、静止画像の選択、テーマの表示がディスプレイ7上に設けられてもよい。
本発明のある実施形態を実現するシステムを示す図である。
本発明の他の実施形態を実現するシステムを示す図である。
本発明の実施形態を実現するグラフィカルユーザインターフェースを示すディスプレイの例を示す図である。

Claims (18)

  1. セマンティックブラウジングオプションを作成するデバイスであって、
    ・複数のイメージを含む入力データベース(2)から最初のイメージセット(9)を選択する手段を有しており、当該各イメージはセマンティックインフォメーションスペースからのセマンティックインフォメーションに関連付けされており、
    ・前記最初のイメージセットと関連付けされているセマンティックインフォメーションによってあらわされるセマンティックインフォメーションサブスペースを定める手段を有している形式のデバイスにおいて、
    ・前記サブスペースから低減されたサブスペースを選択する手段(4)と、
    ・当該低減されたサブスペースのセマンティックインフォメーションと関連付けされたデータベースのイメージへのセマンティックリンクを作成する手段(4)と、
    ・前記低減されたサブスペースのセマンティックインフォメーションと関連付けされたデータベースの少なくとも1つのイメージを表示する手段(7)とをさらに有している、
    ことを特徴とするデバイス。
  2. 最初のイメージセットを選択する前記手段は、
    ・固定されたバーンイン選択
    ・ランダム選択
    ・データベースの内容をあらわす系統的な選択
    ・グラフィカルユーザインターフェースを用いた対話式選択
    ・ユーザプロファイルを考慮した選択
    の中から選択される、請求項1記載のデバイス。
  3. 前記入力データベース(2)は、静止画像のセットおよび少なくとも1つのビデオシーケンスから抜き出されたイメージのセットおよびコミュニケーションリンクを通じて受信されたイメージのセットから選択される、請求項1または2記載のデバイス。
  4. 前記サブスペースから低減されたサブスペースを選択する前記手段(4)は、事前に定められた判断基準に従って前記低減されたサブスペースを選択するように構成されている、請求項1から3までのいずれか1項に記載のデバイス。
  5. 前記サブスペースから低減されたサブスペースを選択する前記手段(4)は、ユーザプロファイルに従って選択された、事前に定められた判断基準に従って、前記低減されたサブスペースを選択するように構成されている請求項4記載のバイス。
  6. 前記サブスペースから低減されたサブスペースを選択する前記手段は、ユーザとの対話に基づいて前記事前に定められた判断基準を修正するように構成されている、請求項4または5記載のデバイス。
  7. 前記ユーザとの対話は、前記最初のイメージセットのイメージのうちの少なくとも1つを選択することであり、低減されたサブスペースを選択する前記手段は、前記選択されたイメージと関連付けされているセマンティックインフォメーションによってあらわされる低減されたサブスペースを選択する、請求項6記載のデバイス。
  8. 前記ユーザとの対話は、前記最初のイメージセットのイメージのうちの少なくとも1つを選択することであり、前記手段(4)は、前記選択されたイメージと関連付けられたセマンティックインフォメーションを引いた、前記最初のイメージセットと関連付けされた前記セマンティックインフォメーションによってあらわされる低減されたサブスペースを選択する、請求項6記載のデバイス。
  9. 前記サブスペースから低減されたサブスペースを選択する前記手段(4)は、前記サブスペースのセマンティックインフォメーショのクラスター分析および主なコンポーネントの分析およびヒストグラム分析から選択された方法によって、前記低減されたサブスペースを選択するように構成されている、請求項1から8までのいずれか1項記載のデバイス。
  10. セマンティッククラスのラベルおよびワードおよびワードの組合せから選択されたエンティティが前記セマンティックインフォメーションスペースを定める、請求項1から9までのいずれか1項記載のデバイス。
  11. 前記低減されたサブスペースは、前記セマンティックインフォメーションサブスペースの少なくとも1つのディメンションを含み、前記デバイスは、
    ・前記サブスペースのディメンションの少なくとも1つを選択する手段と、
    ・各選択されたディメンションに対して、データベースの少なくとも1つのイメージを選択する手段を有しており、ここで当該イメージの関連付けされたセマンティックインフォメーションは、選択されたディメンションにおいて強い、請求項1から10までのいずれか1項記載のデバイス。
  12. 前記サブスペースから低減されたサブスペースを選択する前記手段(4)は、前記セマンティックインフォメーションスペースのディメンション間のセマンティッリンクを含むセマンティックグラフを用いるように構成されている、請求項11記載のデバイス。
  13. 前記サブスペースから低減されたサブスペースを選択する前記手段(4)は、セマンティック構造およびオントロジーおよび文法および他の言語関連知識から選択された情報構造化を用いて、セマンティックグラフをセットアップするように構成されている、請求項12記載のデバイス。
  14. 前記低減されたサブスペースのセマンティックインフォメーションと関連付けされたデータベースの少なくとも1つのイメージを表示する前記手段(7)は、前記イメージをイメージボタン(A1−A6)の形で表示するように構成されており、
    各イメージボタン(A1−A6)はデータベースのイメージに対するブラウジングオプションを提示し、当該イメージの関係付けされたセマンティックインフォメーションは、前記イメージボタン(A1−A6)と関係付けされたのと同じディメンションにおいて強い、請求項11から13までのいずれか1項に記載されたデバイス。
  15. 前記選択された最初のイメージセットおよび前記低減されたサブスペースのセマンティックインフォメーションに関係付けされたデータベースのイメージは、ディスプレイ(7)の少なくとも2つのウィンドウを用いて同時に表示される、請求項1から14までのいずれか1項記載のデバイス。
  16. 前記選択された最初のイメージセットは、前記低減されたサブスペースのセマンティックインフォメーションに関係づけされたデータベースのイメージ(10)によって置き換えられる、請求項1から14までのいずれか1項記載のデバイス。
  17. セマンティックブラウジングオプションを作成する方法であって、
    ・複数のイメージを含む入力データベースから最初のイメージセットを選択するステップを有しており、前記各イメージはセマンティックインフォメーションスペースからのセマンティックインフォメーションに関連付けされており、
    ・前記最初のイメージセットと関連付けされているセマンティックインフォメーションによってあらわされたセマンティックインフォメーションサブスペースを定めるステップを有している形式の方法において、さらに、
    ・前記サブスペースから低減されたサブスペースを選択するステップと、
    ・当該低減されたサブスペースのセマンティックインフォメーションと関連付けされたデータベースのイメージへのセマンティックリンクを作成するステップと、
    ・前記低減されたサブスペースのセマンティックインフォメーションと関連付けされたデータベースの少なくとも1つのイメージを表示するステップとを有しており、
    有利には請求項1から16のいずれか1項に従ったデバイスにおいて実行される、
    ことを特徴とする方法
  18. 請求項17に記載されたセマンティックブラウジングオプション作成方法のステップを実行するためのプログラムインストラクションを含むコンピュータプログラム製品であり、前記プログラムはコンピュータ上にロードされている、コンピュータプログラム製品。
JP2004510221A 2002-05-30 2003-05-23 セマンティックブラウジングオプションを作成する方法およびデバイス Expired - Fee Related JP4733975B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP02291324A EP1367505A1 (en) 2002-05-30 2002-05-30 Method and device for creating semantic browsing options
EP02291324.8 2002-05-30
PCT/EP2003/005506 WO2003103266A2 (en) 2002-05-30 2003-05-23 Method and device for creating semantic browsing options

Publications (2)

Publication Number Publication Date
JP2005535948A true JP2005535948A (ja) 2005-11-24
JP4733975B2 JP4733975B2 (ja) 2011-07-27

Family

ID=29414830

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004510221A Expired - Fee Related JP4733975B2 (ja) 2002-05-30 2003-05-23 セマンティックブラウジングオプションを作成する方法およびデバイス

Country Status (5)

Country Link
US (1) US8510676B2 (ja)
EP (2) EP1367505A1 (ja)
JP (1) JP4733975B2 (ja)
AU (1) AU2003240713A1 (ja)
WO (1) WO2003103266A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011522306A (ja) * 2008-04-24 2011-07-28 イーストマン コダック カンパニー 積極的画像リマインド及び選択方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4270404B2 (ja) * 2007-01-16 2009-06-03 ソニー・エリクソン・モバイルコミュニケーションズ株式会社 携帯端末装置、表示制御装置、表示制御方法、及び表示制御プログラム
US8756114B2 (en) * 2007-06-05 2014-06-17 Intellectual Ventures Fund 83 Llc Method, medium, and system for generating offers for image bearing products
JP5059545B2 (ja) * 2007-10-23 2012-10-24 株式会社リコー 画像処理装置及び画像処理方法
US9104782B2 (en) * 2010-10-12 2015-08-11 Coldwell Banker Real Estate Llc System and method for searching real estate listings using imagery
US20160357366A1 (en) * 2015-06-07 2016-12-08 Apple Inc. Navigating Through Documents in a Document Viewing Application
US10666954B2 (en) 2018-06-19 2020-05-26 International Business Machines Corporation Audio and video multimedia modification and presentation
GB201911756D0 (en) * 2019-08-16 2019-10-02 Subfiber Oue Selecting items from a database

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11213000A (ja) * 1998-01-29 1999-08-06 Nippon Telegr & Teleph Corp <Ntt> インタラクティブ情報検索方法及び装置及びインタラクティブ情報検索プログラムを格納した記憶媒体
JPH11296528A (ja) * 1998-04-07 1999-10-29 Fujitsu Ltd ブラウジング検索装置及び記録媒体
JP2000331009A (ja) * 1999-05-18 2000-11-30 Nippon Telegr & Teleph Corp <Ntt> 映像検索方法および装置と映像検索プログラムを記録した記録媒体
US20020038299A1 (en) * 2000-03-20 2002-03-28 Uri Zernik Interface for presenting information

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5761655A (en) * 1990-06-06 1998-06-02 Alphatronix, Inc. Image file storage and retrieval system
US5493677A (en) * 1994-06-08 1996-02-20 Systems Research & Applications Corporation Generation, archiving, and retrieval of digital images with evoked suggestion-set captions and natural language interface
US6112201A (en) * 1995-08-29 2000-08-29 Oracle Corporation Virtual bookshelf
US5983237A (en) * 1996-03-29 1999-11-09 Virage, Inc. Visual dictionary
US5696964A (en) * 1996-04-16 1997-12-09 Nec Research Institute, Inc. Multimedia database retrieval system which maintains a posterior probability distribution that each item in the database is a target of a search
US6335742B1 (en) * 1997-07-24 2002-01-01 Ricoh Company, Ltd. Apparatus for file management and manipulation using graphical displays and textual descriptions
JP2000253337A (ja) * 1999-02-24 2000-09-14 Sony Corp 画面の制御方法および画面の制御装置および映像再生方法および映像再生装置および映像情報の記録方法および映像情報の記録装置およびコンピュータが読み取り可能な記録媒体
US6743576B1 (en) * 1999-05-14 2004-06-01 Cytokinetics, Inc. Database system for predictive cellular bioinformatics
US20020065813A1 (en) * 2000-04-18 2002-05-30 Scanlon Henry R. Image relationships derived from thresholding of historically tracked user data for facilitating image based searching
US6810149B1 (en) * 2000-08-17 2004-10-26 Eastman Kodak Company Method and system for cataloging images
WO2002019137A1 (en) * 2000-08-29 2002-03-07 Imageid Ltd. Indexing, storage & retrieval of digital images
US7099946B2 (en) * 2000-11-13 2006-08-29 Canon Kabushiki Kaishsa Transferring a media browsing session from one device to a second device by transferring a session identifier and a session key to the second device
US6629104B1 (en) * 2000-11-22 2003-09-30 Eastman Kodak Company Method for adding personalized metadata to a collection of digital images
US7356530B2 (en) * 2001-01-10 2008-04-08 Looksmart, Ltd. Systems and methods of retrieving relevant information
US6748398B2 (en) * 2001-03-30 2004-06-08 Microsoft Corporation Relevance maximizing, iteration minimizing, relevance-feedback, content-based image retrieval (CBIR)
US20020167538A1 (en) * 2001-05-11 2002-11-14 Bhetanabhotla Murthy N. Flexible organization of information using multiple hierarchical categories

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11213000A (ja) * 1998-01-29 1999-08-06 Nippon Telegr & Teleph Corp <Ntt> インタラクティブ情報検索方法及び装置及びインタラクティブ情報検索プログラムを格納した記憶媒体
JPH11296528A (ja) * 1998-04-07 1999-10-29 Fujitsu Ltd ブラウジング検索装置及び記録媒体
JP2000331009A (ja) * 1999-05-18 2000-11-30 Nippon Telegr & Teleph Corp <Ntt> 映像検索方法および装置と映像検索プログラムを記録した記録媒体
US20020038299A1 (en) * 2000-03-20 2002-03-28 Uri Zernik Interface for presenting information

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
上原 祐介,外5名: "MIRACLES:マルチメディア情報のパノラミック検索システム−Web検索への応用−", 電子情報通信学会技術研究報告, vol. 第100巻,第31号, JPN6009064004, 2 May 2000 (2000-05-02), JP, pages 17 - 24, ISSN: 0001485863 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011522306A (ja) * 2008-04-24 2011-07-28 イーストマン コダック カンパニー 積極的画像リマインド及び選択方法

Also Published As

Publication number Publication date
EP1367505A1 (en) 2003-12-03
WO2003103266A2 (en) 2003-12-11
AU2003240713A1 (en) 2003-12-19
US8510676B2 (en) 2013-08-13
JP4733975B2 (ja) 2011-07-27
EP1508104A2 (en) 2005-02-23
AU2003240713A8 (en) 2003-12-19
WO2003103266A3 (en) 2004-03-11
US20050246336A1 (en) 2005-11-03

Similar Documents

Publication Publication Date Title
Fujimoto et al. Manga109 dataset and creation of metadata
US11327936B1 (en) Facial based image organization and retrieval method
US9619469B2 (en) Adaptive image browsing
US7395511B1 (en) User interface and method to facilitate hierarchical specification of queries using an information taxonomy
US10096145B2 (en) Method and system for assembling animated media based on keyword and string input
US10031649B2 (en) Automated content detection, analysis, visual synthesis and repurposing
US7080098B2 (en) Medical multimedia database system
US8209338B2 (en) Interest-group discovery system
US7797328B2 (en) System and method of searching for story-based media
Obrador et al. Supporting personal photo storytelling for social albums
US20040098379A1 (en) Multi-indexed relationship media organization system
JP2003216650A (ja) 情報媒介システムのためのグラフィカルユーザインターフェイス
CN1598817A (zh) 计算及通讯应用中构造使用重大事件的模型的系统及方法
US20080085053A1 (en) Sampling image records from a collection based on a change metric
US20080010092A1 (en) Medical multimedia database system
US20120089597A1 (en) System and Method for Searching Real Estate Listings Using Imagery
Kovacs et al. Context-aware asset search for graphic design
JP4733975B2 (ja) セマンティックブラウジングオプションを作成する方法およびデバイス
Muehlbradt et al. What's in an ALT Tag? Exploring Caption Content Priorities through Collaborative Captioning
US20160188595A1 (en) Semantic Network Establishing System and Establishing Method Thereof
Wen et al. Visual background recommendation for dance performances using deep matrix factorization
US8725755B2 (en) Methods and apparatus or interactive name searching techniques
EP1260919A2 (en) A method of storing, retrieving and viewing data
JP4535072B2 (ja) 情報媒介装置、及びクライアント装置
US20160188603A1 (en) Quotation management platform

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090227

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090526

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090629

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091211

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100311

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20100803

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20100803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20100805

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100805

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100910

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20100913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20100913

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20101005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110309

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110401

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110425

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140428

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4733975

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees