JP2002207749A - 画像の統合された注釈及び検索のためのエージェント - Google Patents

画像の統合された注釈及び検索のためのエージェント

Info

Publication number
JP2002207749A
JP2002207749A JP2001311928A JP2001311928A JP2002207749A JP 2002207749 A JP2002207749 A JP 2002207749A JP 2001311928 A JP2001311928 A JP 2001311928A JP 2001311928 A JP2001311928 A JP 2001311928A JP 2002207749 A JP2002207749 A JP 2002207749A
Authority
JP
Japan
Prior art keywords
image
user
annotation
images
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001311928A
Other languages
English (en)
Other versions
JP3842994B2 (ja
Inventor
Henry Lieberman
リーバーマン ヘンリー
Elizabeth Rosenzweig
ローゼンツウェイグ エリザベス
Pushpinder Singh
シン プッシュピンダー
Mark D Wood
ディー ウッド マーク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eastman Kodak Co
Original Assignee
Eastman Kodak Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eastman Kodak Co filed Critical Eastman Kodak Co
Publication of JP2002207749A publication Critical patent/JP2002207749A/ja
Application granted granted Critical
Publication of JP3842994B2 publication Critical patent/JP3842994B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99933—Query processing, i.e. searching
    • Y10S707/99934—Query formulation, input preparation, or translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Digital Computer Display Output (AREA)

Abstract

(57)【要約】 【課題】 画像処理において、画像注釈及び画像検索の
ための機会を事前に能動的に発見するユーザインタフェ
ースエージェントを提供する。 【解決手段】 記憶画像の統合された検索及び注釈のた
めの方法は、該テキストにより表現される文脈を分離す
るためにユーザにより入力されたテキストが連続的に監
視されるユーザアプリケーションを実行することを含
む。文脈は、記憶画像と関連されるメタデータと整合さ
れ、１つ又は複数の整合された画像が提供される。整合
画像は検索され、テキストの近くに表示される。整合画
像との後続する関連についてある示唆される注釈を選択
する能力と共に、整合画像について示唆される注釈をユ
ーザに提供するために文脈を利用する。更なる拡張で
は、本方法は、整合された画像のうちの選択された１つ
をアプリケーションのテキストに挿入する能力をユーザ
に提供する。さらに、本方法は、整合画像についてのメ
タデータを自動的に更新することを提供する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は一般的な画像処理の
分野に関し、特に、データベースから選択された画像の
注釈及び検索に関する。
【０００２】
【従来の技術】デジタル写真の出現により、消費者は、
彼らの日常にわたる大量の画像を今や容易に蓄積するこ
とができる。これらの画像は、「シューボックス」（又
は等価な電子装置）に格納される。該画像は稀に見ら
れ、折りにアルバムに入れられるが数年間使用されず、
見られることもなく、通常は置きっぱなしにされる。
【０００３】この「シューボックス」の問題は、特に適
切である。これは、「シューボックス」が現在失われて
いる共有される記憶を伝達するための口をつけていない
源であるためである。（現像した又はコンピュータにダ
ウンロードされたフィルムから画像が戻った後に）画像
を最初に見た後、多くの人は、大きな略式の、書庫コレ
クションに彼らの画像を蓄積する。ハードコピー写真又
はプリント出力の場合、これらの写真は、便利なサイズ
にされたシューボックス又はアルバムに蓄積されること
がある。シューボックスにおける画像、又はフォルダ或
いは取り外し可能なメディアにおける等価な電子装置
は、特定の画像の検索、管理不可能な大量のコレクショ
ンのブラウジング、及びそれらの編成の困難さのため
に、（非常に稀に見るか又は）決して再び見ることはな
い。典型的に、雑な逆の年代順から離れた編成は、通常
決して実行されないユーザ側に関する努力を含む。結果
的に、検索は、多くの、大部分が関連性のない画像の労
力を要する再検討に通常基づいた特別な成果である。
【０００４】勿論、潜在的に、画像をテキストのラベル
で注釈してリレーショナルデータベースに格納し、キー
ワードで検索することができる。しかし、画像を自動的
に分析することができる点にコンピュータビジョンが到
達するまで、殆どの自動的な画像検索は、特定の画像に
手動で付された原文のキーワードに依存している。しか
し、キーワードで画像を注釈することは退屈な仕事であ
り、現在のインタフェースでは、通常の人は、将来の検
索を容易にするために全ての彼らの画像を注釈するため
の大量の正直な努力を当然の事として考えることができ
ない。加えて、画像を自動的に解釈することができたと
しても、画像の多くの突出した特徴はユーザの記憶にの
み存在し、画像を索引付けするために、どうにかしてマ
シンに伝達することが必要となる。したがって、画像の
原文注釈に基づいた検索は、予見しうる将来にとっても
依然として重要である。
【０００５】さらに、検索プリケーションそれ自身は、
ユーザが便利なライブラリから画像を探す場合に使用さ
れないことがあるほど扱い難い。たとえば、検索それ自
身は、オーバヘッドの開始、アプリケーションの終了及
びキーワードの入力のみであっても、それ自身が処理に
オーバヘッドを課すサーチエンジン又は他のアプリケー
ションを扱うことを含んでいる。このオーバヘッドのた
めに、画像を使用するための機会が見落とされるか、又
は無視されることがある。
【０００６】消費者の画像撮影の利用についての主な機
会は、画像及びイベントについて彼らが語る話を通して
人々を繋ぐことにある。画像は、言葉にはできないよう
なやり方で感情を伝達する。たとえば、最近出席した結
婚式を想像し、友人に送られるかも知れないイベントを
記述した結果的な電子メールのメッセージを考える。イ
ベントの画像及び関連する人々の画像、過去における場
所及びイベントの画像を含むことにより話を図示するこ
とができる場合、メールは大いに向上される。これを達
成するために何が必要とされるか？ここで、人がしなけ
ればならないことの例を示す。
【０００７】・結婚式における重要なイベントで画像を
撮影する。誓約の交換、ケーキカット、カップルのキッ
ス等。それぞれのディナーテーブル、人々のダンス、会
話等で画像を撮影する。
【０００８】・画像をコンピュータに取り込む。これ
は、以下を含む。カメラからの記憶媒体（メモリカー
ド、フロッピー（登録商標）ディスク）の取出し、及び
そのリーダへの挿入。ケーブルを有するリーダ装置又は
カメラをコンピュータへの可能な接続。通信ソフトウェ
アの起動又は転送を実行するためのモードの設定。画像
を転送すべきコンピュータ上の場所の選択。その画像が
何であるかを忘れないように画像セットについての名前
の選択。
【０００９】・画像表示／操作／カタログプログラム
（たとえば、Adobe PhotoshopTM,PicturePageTM）。画
像の初期操作、及び成功していない露光である「失敗
（duds）」の除去。その内容を記述するための個々の画
像のファイル名の可能な変更。画像のデータベースを有
する場合、個々の画像又は画像セットに対してキーワー
ドを付してもよい。画像上の画像操作(切取り、明るさ
調整等)の可能な実行。記憶のための画像のハードコピ
ーの可能なプリント出力、又は他への送出。他への画像
の可能な電子メーリング、又はＷｅｂページ上でのポス
ティング。
【００１０】・数週間又は数ヶ月後に、結婚式に関する
友人又は家族への電子メールメッセージを作成している
時に、該画像を使用したくなる。電子メールアプリケー
ションそれ自身の起動及び動作に加えて、画像ビューア
／カタログ／サーチアプリケーションの様な別のアプリ
ケーションを起動しなければならない。ファイルシステ
ムの周りをサーチし、ブラウジング又はファイル名によ
る検索のいずれかにより、関連する画像を含むフォルダ
を見つけるかも知れない。Ｗｅｂブラウザの起動、及び
ＵＲＬのタイプ入力、サーチエンジンの使用を必要とし
て、関連する画像が、あなた自身所有の又はあなたの知
人のＷｅｂページ上に記憶されているかも知れない。キ
ーワードを介して画像データベースをサーチするかも知
れない。必要に応じて、アプリケーション間でスイッチ
バック及びスイッチフォースする。画像を発見すること
に成功した場合、イメージアプリケーションから画像を
切取り、それを電子メールエディタに貼り付ける。
【００１１】たとえば、将来異なる人に関連する話を離
そうとする場合に、このインタラクションに関すること
は容易なことではなく、次回このタスクをより容易に行
うようにするものはない。この問題を緩和するための１
つのアプローチは、エージェントの使用によるものであ
る。エージェントとは、バックグランドでタスクを収集
又は処理するある情報を実行するプログラムである。典
型的に、エージェントは、非常に小さく及び上手く定義
されたタスクで与えられる。より詳細には、この関係に
おいて有効な２つのタイプのエージェントは、インタフ
ェースエージェント、すなわちインタラクティブインタ
フェースの動作において能動的にユーザを支持するソフ
トウェアであり、及び自律的なエージェント、すなわち
ユーザの介入なしに動作を行い、ユーザがアイドル状態
又は他の動作を行っている間のいずれであっても、同時
に動作するソフトウェアである。
【００１２】自律的なインタフェースエージェントは、
自然言語通信の分野を記憶拡張の分野に拡張している。
たとえば、1996年のProc.of the First International
Conference on the Practical Application of Intelli
gent Agents and Multi Agent Technologyに見られるB.
J.Rhodes等による論文“Remembrance Agent：A Continu
ously Running Automated Information Retrieval Syst
em”より、記憶エージェントは、ユーザのデータ入力を
監視するための連続的に動作する自動化された情報検索
システムを提供することにより、システムユーザを自動
的に支持することができる、ユーザの思考プロセスが知
られている。たとえば、システムは、ユーザのタイプ入
力動作の周りのウィンドウにおけるテキストを連続的に
監視する記憶エージェントを提供する。該エージェント
は、問合せテキスト及び参照文書に共通の言葉の頻度に
基づいて、電子メール書庫のような記憶された個人文書
のデータベースに対するウィンドウにおけるテキストの
整合を周期的に実行する。該エージェントは、ｋ個の最
も関連する入力について（ｋはユーザにより設定され
る）、ユーザのスクリーンの下部でのランク付けされた
リストの提案を現在の動作に与える。ユーザは、容易に
検索して入力テキストを見ることができる。記憶エージ
ェントは、書庫の人間による前処理を必要としない。し
かし、記憶エージェントは、記憶されたテキスト入力を
走査するために設計されており、画像マテリアルを検索
することをそれ自身に与えておらず、かかるマテリアル
の注釈を容易にしていない。
【００１３】Ｗｅｂブラウザのための自律的なインタフ
ェースエージェント（“Letizia”と呼ばれる）は、Int
ernational Joint Conference on Artificial Intellig
ence, Montreal 1995に見られる“Letizia：An Agent t
hat Assists Web Browsing”、及びProceeding of CHI'
97,Atlanta,GA,March 1997,pp.67-74に見られる“Auton
omous Interface Agents”を含むH.Liebermanによる幾
つもの論文において記載されている。Letiziaは、ユー
ザブラウザWorld Wide Webを支持するユーザインタフェ
ースエージェントである。Letiziaは、ユーザにより選
択されたＵＲＬを記録し、ユーザの興味のプロファイル
を編集するためにページを読む。結果的に、ユーザが典
型的なＷｅｂブラウザを動作する時、エージェントはユ
ーザの操作を追跡し、ユーザの現在の位置からのリンク
の同時で自動的な調査を行うことにより、興味の項目を
予想しようとする。エージェントは、ブラウザの動きか
らユーザの興味を学習的に推論することにより議論され
るベストファーストサーチから構成されるブラウザ方法
を自動化する。Letiziaは、エージェントブラウザのペ
ージがユーザの興味を引くと思われる独立なウィンドウ
を使用して、その結果を与えるために、ブラウザが所有
のインタフェースを使用する。しかし、記憶エージェン
トに関して、Letiziaは、画像マテリアルの検索のため
に設計されておらず、かかるマテリアルの注釈を容易に
はしない。
【００１４】J.Budzik及びK.Hammond等による論文“Wat
son：Anticipating and Contextualizing Information
Needs”，Proc Of the Sixty-second Annual Meeting o
f the American Society for Information Science(199
9）、Information Today，Inc.:Medford,N.J.,では、情
報管理アシスタント（“Watson”と呼ぶ）は、文書構造
の文脈において特定目的のサーチを実行するための機会
を検出する。たとえば、ユーザが彼らの文書において画
像なしで表題を挿入してそれを満たす時、Watsonは、表
題においてリストに載せられた言葉の停止を使用し、画
像サーチエンジンに対して問い合わせを形成する。ユー
ザは、表示されている画像をドラッグして文書にドロッ
プする。しかし、記憶エージェントに関して、かかるマ
テリアルの注釈を容易にするための努力が行われていな
い。
【００１５】認識構造と知覚構造とを混合することによ
り、より効果的な情報調査ツールを構築することができ
ることが認識されている。A.Kuchinskyによる論文“Mul
timedia Information Explolation”CHI98 Workshop on
Information Explolation,FX Palo Alto Laboratory,I
nc.:Palo Alto CA(1998)に見られるように、物語りのツ
ールがスタンドアローンとして扱われていないばかり
か、情報注釈及び検索についてのフレームワーク内に埋
め込まれていない場合、かかるツールは、ユーザからメ
タデータを引き出すための伝達手段として作用すること
ができる。しかし、この潜在的なパスフォワードの考察
は、電子メールのようなアプリケーションにおける画像
の文脈上の使用から分離し、ユーザからの考察的な学習
を提案していない。
【００１６】異なるアプローチを試みるための上述した
主張にもかかわらず、典型的なビューは、注釈及び検索
が２つの完全に分離した動作であることのままであり、
互いに及び画像が使用されるいずれかのアプリケーショ
ンから独立に動作するアプリケーションにより述べられ
る。これにより、ユーザには入力する負担が残され、専
用される時のアプリケーション、及び通常カットアンド
ペーストを介してあるアプリケーションから別のアプリ
ケーションへの詳細な転送データが残される。ユーザ
は、アプリケーション及び転送データに反して、彼ら自
身のタスクについて考えるようになる。電子メールメッ
セージの送出のようなそれぞれのユーザのタスクは、共
に作用するデータ、利用可能なツール、目的地等を含ん
でいる文脈を転送する。これらは、他のアプリケーショ
ンの文脈から自然に分離する傾向にある。
【００１７】
【発明が解決しようとする課題】結果的に、消費者の画
像撮影の典型的な使用との関連における原文注釈及び検
索処理を十分に自動化するよりもむしろ容易にすること
において、ユーザインタフェースエージェントのための
役割が必要とされる。エージェントの役割は、注釈及び
検索の自動的な実行にあるのみでなく、注釈及び検索の
ための機会を検出し、それらの機会にユーザに通知する
ことである。また、エージェントは、専用する時に動作
を完成することをできるだけ容易にするべきである。確
かに、ユーザの日常の作業の文脈において、画像注釈及
び画像検索のための機会を事前に能動的に発見するユー
ザインタフェースエージェントが特に必要とされてい
る。
【００１８】
【課題を解決するための手段】本発明は、上述した１つ
又は複数の問題を克服することに向けられる。要約する
と、本発明による１態様によれば、記憶された画像の統
合された検索及び注釈のための方法は、テキストにより
表現される文脈を分離するために、ユーザにより入力さ
れたテキストが連続的に監視されるユーザアプリケーシ
ョンを実行することを含んでいる。
【００１９】文脈は、記憶画像と関連するメタデータと
整合される。したがって、１つ又は複数の整合された画
像が提供され、該整合画像が検索され、該テキストの近
くに表示される。文脈は、整合画像との後続する関連に
ついてある示唆された注釈を選択する能力と共に、整合
画像について示唆された注釈をユーザに提供するために
利用される。さらなる拡張では、本方法は、整合画像の
うちの選択された１つをアプリケーションのテキストに
挿入する能力をユーザに提供する。さらに、本方法は、
整合された画像についてメタデータを自動的に更新する
ことを提供する。
【００２０】本発明により講じられるアプローチは、画
像の注釈、検索、及び１つのアプリケーションへの使用
を統合することを試みることである。ユーザ中心の設計
プロセスに従えば、最も重要なことは使用である。１実
施の形態では、テキスト編集、特に電子メールのメッセ
ージの編集では、画像ライブラリからの画像検索が使用
を自然に見つけるようなアプリケーションとして選択さ
れる。この実施の形態において、検索及び注釈アプリケ
ーションは統合され、分離アプリケーションを有するこ
との文脈の切り替えの混同が回避される。
【００２１】問題解決におけるいわゆる「知的な」の多
くは、実は、現在の問題解決の文脈において何が関連し
ており、何が重要であるかを識別するための能力であ
り、かんばん方式で使用するために利用するようにする
ための能力である。統合されたアプリケーションにおけ
るエージェントの仕事は、関連するテキスト及び画像に
ついて適切な文脈を利用できるようにし、及び便利にア
クセス可能にすることである。
【００２２】電子メールメッセージの編集のタスクにつ
いて、テキスト記述をタイプ入力することにより、その
文脈に関連する画像の検索が適切である意味に関する文
脈が設定される。この文脈はすなわち、人間の識別作用
に対応し、ユーザに個人的に価値がある点での情報を表
す文脈である。同様に、現在の文脈において存在するあ
るテクスチャ記述を適用するための文脈を画像が設定す
ることを考えると、注釈のための機会を設定する。これ
らの理由のために、本明細書ではインタフェースが記載
され、簡単なクリック操作のみで両方向について、これ
ら機会を利用する。
【００２３】本発明のこれら及び他の態様、目的、特徴
及び利点は、より明確に理解され、以下の好適な実施の
形態の詳細な記載及び特許請求の範囲のレビュー、及び
添付図面の参照により、評価される。
【００２４】本発明の利点は、１つの簡単なプロセスに
おける注釈と検索との結合であり、ユーザが時間を取る
ことを望まず、彼らの画像を注釈するためのエネルギー
を望まないという問題を述べている。このプロセスは退
屈であり、最も流通しているアプリケーションは扱い難
く、使用することが難しい。したがって、殆どの画像は
注釈されていない。加えて、互いに独立に動作し、他の
アプリケーションが使用される場合がある注釈と検索が
２つの分離した動作である定式的な視野では、ユーザに
とって高い経費の状況をつくり、注釈を実行しない理由
が追加される。
【００２５】本発明のさらなる利点は、使用する画像で
注釈と検索とを統合するための能力にあり、ユーザのテ
キストエディタ入力を再試行し、リアルタイムの画像推
薦及び注釈を提供する。
【００２６】より詳細には、本発明は、ユーザインタフ
ェースエージェントを提供する。該エージェントは、ユ
ーザの日常作業の文脈において、画像注釈及び画像検索
のための機会を先取りして探すことにより、ユーザを支
持する。本発明の１つの変形例は、ユーザの電子メール
エディタを代理し、連続的にタイプ入力を監視する。
【００２７】連続的に、ランク付けされたサーチは、画
像ライブラリから自動的に実行される。現在のテキスト
に関連する画像は、簡単なクリックで挿入することがで
きる。電子メールにおいて物語の話のために入力される
画像の記述は、画像注釈のための生の材料として継ぎ目
なく使用することができる。画像注釈及び検索プロセス
を完全に自動化していないが、本発明は、ユーザインタ
フェースの経費を大幅に低減することができ、良好に注
釈された画像ライブラリ、及び画像の使用についての機
会の喪失をより少なくすることができる。
【００２８】
【発明の実施の形態】処理エージェントを使用したデー
タ処理システムがよく知られているので、ここでの記載
は、本発明によるシステム及び方法の部分の構成、又は
より直接な協力に特に帰することに向けられる。本明細
書で特に示されていないか、又は記載されていない特性
は、当該技術分野において知られている特性から選択さ
れる。
【００２９】以下の記載では、本発明の好適な実施の形
態は、通常ソフトウェアとして実現されるが、かかるソ
フトウェアと等価なハードウェアで構成されてもよいこ
とは、当業者であれば容易に認識されよう。
【００３０】以下のマテリアルにおける本発明により記
載されるようなシステム及び方法を仮定した場合、本発
明の実現のために有用な、本明細書で特に示されず、示
唆されず又は記載されないソフトウェアは、典型的なも
のであり、かかる技術分野において通常の技術内のもの
である。
【００３１】本発明がコンピュータプログラムとして実
現される場合、プログラムは、典型的なコンピュータ読
み取り可能な記憶媒体に記憶されてもよい。該媒体は、
たとえば、磁気ディスク（たとえば、ハードディスクド
ライブ又はフロッピーディスク）又は磁気テープのよう
な磁気記憶媒体、光ディスク、光テープ又は機械読み取
り可能なバーコードのような光記憶媒体、ランダムアク
セスメモリ（ＲＡＭ）、又はリードオンリメモリ（ＲＯ
Ｍ）、又はコンピュータプログラムを記憶するために使
用されるいずれかの物理的装置或いは媒体のような固体
電子記憶装置、を備えていてもよい。
【００３２】はじめに図１を参照して、図１は、本発明
の例示的な実施の形態におけるソフトウェアアプリケー
ションの機能ブロック図である。たとえば、電子メール
テキストエディタであるユーザアプリケーション２は、
プロセッサユニット４上で動作する。該ユニットは、プ
ロセッサ、メモリ、電力供給、入力／出力回路、大容量
記憶装置、及びコンピュータにおいて見られる他の回路
及び装置を含んでいる典型的なパーソナルコンピュータ
であってもよい。
【００３３】加えて、注釈及び検索エージェント６は、
プロセッサユニット４上で動作する。必要条件ではない
が、この例示的な実施の形態において、２つのエージェ
ントが同じプロセッサユニット４上で動作するように示
されている。プロセッサユニット４は、グラフィカルユ
ーザインタフェース８及びピクチャアーカイブ１４に接
続されている。
【００３４】グラフィカルユーザインタフェース８は、
ディスプレイ１０を有する機能的インタフェースを提供
する。ディスプレイ１０は、ユーザへのビジュアルイン
タフェースとしての役割を果たし、限定されないが陰極
線管、マトリクスディスプレイ、ＬＣＤディスプレイ、
ＴＦＴディスプレイ等を含み、典型的にはキーボードで
あるがタッチスクリーン、文字認識システム、マウス、
トラックボール、タッチパッドのような他の入力装置、
或いはヒューマンインタフェース装置又は周辺装置とす
ることもできる入力装置１２を有しているコンピュータ
ビジュアルディスプレイ装置で一般に使用されるいずれ
かであってもよい。
【００３５】注釈及び検索アプリケーション６は、グラ
フィカルマテリアルデータベースと通信する。好適な実
施の形態において、データベースは、デジタルピクチャ
アーカイブ１４であり、該アーカイブは、スチル画像の
アーカイブを記憶する。代替的に又は加えて、データベ
ースは、動きビデオ系列を記憶するデジタルビデオデー
タベースを含むことができる。
【００３６】かかるデータベースは、サーチ機能により
アクセス可能な複数のデジタルグラフィカル及び／又は
画像マテリアルを備えている。典型的に、データベース
は、複数のインデックスにより索引付けされたリレーシ
ョナルデータベースである。かかるデータベースをサー
チするための典型的なアプローチは、１つ又は複数の優
先付けされたキーワードを設けることである。データベ
ースは、複数のヒットを列挙するサーチ結果でかかる要
求に応答する。
【００３７】アーカイブ１４のようなデータベースがよ
り洗練されたインデックス方法を使用してもよく、かか
るデータベースが本発明に適用することは、当業者には
理解される。たとえば、画像がキーワードよりもむしろ
画像コンテンツ記述子に基づいて索引付けされていても
よい。また、キーワードは、画像の周囲の状況、すなわ
ち、誰が、何を、何処で、何時、及び何処でといったパ
ラメータを記述していてもよい。コンテンツ記述子は、
デジタルグラフィカルマテリアル内のデータを現実に記
述する。かかる要素は、画像そのものから引き出され、
カラーヒストグラム、テクスチャデータ、解像度、明る
さ、コントラスト等を含んでいてもよい。
【００３８】フィルムスキャナ又はデジタルカメラのよ
うな典型的な画像発生装置のみならず、画像マテリアル
は、ストックフォトデータベース又はプライベートデー
タベースのような実在するデータベースから発生されて
もよい。また、公共の場は、かかるグラフィカル及び／
又は画像マテリアルの配信のために発展するであろうこ
とは予知できる。
【００３９】ピクチャアーカイブ１４は、パーソナルコ
ンピュータの大容量のメモリにおいて、プロセッサユニ
ット４と共に存在してもよいし、又はピクチャアーカイ
ブ１４がプロセッサユニット４の外部にあってもよい。
後者の場合、プロセッサユニット４は、ネットワークイ
ンタフェース１５を介して、ピクチャアーカイブ１４に
接続されていてもよい。
【００４０】ネットワークインタフェース１５は、プロ
セッサユニット４の外側にあるものとして例示されてい
るが、プロセッサユニット４の内側に配置されていてい
てもよい。ネットワークインタフェースは、プロセッサ
ユニット４をインターネットのような外部ネットワーク
にインタフェースするためのいずれかの装置、又は簡単
な電導回路とすることができる。しかし、利用されるネ
ットワークは、プライベートネットワーク、インターネ
ット、商業ネットワーク又はグラフィカルデータのデー
タベースを運営する他のネットワークとすることができ
る。
【００４１】ネットワークインタフェース装置１５に関
して、これは、本明細書で記載されるように、典型的な
ダイアルアップモデム、ＡＤＳＬモデム、ＩＳＤＮイン
タフェース、ケーブルモデム、ディレクトハードウェ
ア、無線モデム、光モデム、又はプロセッサユニット４
を外部ネットワークに相互接続するに適したいずれか他
の装置とすることができる。
【００４２】図２を参照して、注釈及び検索統合エージ
ェント（ＡＲＩＡ）６は、以下の幾つかの論理的なコン
ポーネントを備えている。ピクチャアーカイブ１４は、
先に記載されており、画像の表現及びそれらの関連する
メタデータを含んでいるピクチャオブジェクトの記憶を
提供する。メタデータは、画像に関連するキーワード又
は他のキー情報（たとえば、コンテンツ情報）を含んで
いる。
【００４３】自動インポートエージェント１６は、新た
なピクチャコンテンツについて、特定のソース入力を周
期的に走査し、このコンテンツをピクチャアーカイブ１
４に自動的に組込む。たとえば、特定のソース入力は、
たとえば、プロセッシングユニット４に取り付けられた
デジタルカメラからのフラッシュカードのような取り外
し可能なメモリ、又はネットワークインタフェース１５
にわたり外部データベースへの接続であってもよい。
【００４４】明らかに、通常の技術の１つである他のソ
ース入力は、本実施の形態に従い使用されてもよい。ピ
クチャデータベースビューア１８は、ディスプレイ１０
上のピクチャアーカイブ１４のコンテンツを見るために
ナビゲーションの容易さを提供し、小さな選択された画
像、及び関連するキーワードのようなその関連するメタ
データの両者を表示する。検索エージェント２０のよう
な他のエージェントは、表示されるビューを更新する。
または、ピクチャデータベースビューア１８により、ピ
クチャをドラッグ及びドロップすることができ、さもな
ければユーザアプリケーション２のウィンドウに移動す
ることができる。
【００４５】言語アナライザ２２は、ユーザアプリケー
ション２により発生された単語を分析し、アーカイブ１
４からの画像の選択のために、文脈情報を検索エージェ
ント２０に提供する。
【００４６】ユーザアプリケーション２０は、電子メー
ル、ウェブページポスティング、ワードプロセッシン
グ、プレゼンテーションソフトウェア、カレンダリング
等のような異なる形式をとる。以下の記載のために、電
子メールテキストエディタは、典型的な応用に使用され
る。
【００４７】言語アナライザ２２は、電子メールの応用
に入力されているユーザ入力を分析し、コンテンツ情報
を検索エージェント２０に提供する。典型的な使用にお
いて、冠詞、接続詞等のような共通の英語の単語は無視
される。検索エージェント２０は、言語アナライザ２２
から入力を受ける。検索エージェント２０は、文脈とし
て該入力を使用し、関連性に従いデータベース１４にお
ける画像をランク付けし、ピクチャデータベースビュー
ア１８によりディスプレイ１０上に示されるようなビュ
ーを更新する。
【００４８】ユーザが、画像を更新されたビューからア
プリケーションウィンドウにドラッグ及びドロップ、又
は移動するのに入力装置１２を援用する時、画像がドロ
ップされる周囲からの文脈は言語アナライザ２２により
分析され、ピクチャアーカイブ１４における画像に付属
するために自動的に提案されるキーワードが抽出され
る。
【００４９】実在する注釈は、ピクチャアーカイブ１４
においてもしあれば、言語アナライザ２２により抽出さ
れるキーワードの現在のセットにより、手動的又は自動
的に注釈される。たとえば、注釈エージェント２４は、
ピクチャデータベースビューア１８からユーザにより明
確に援用することができる。ユーザは、提案されたキー
ワードを受けるか、又は手動で編集して画像に対してキ
ーワードを付すことができる。代替的に又は加えて、注
釈エージェント２４は、ピクチャアーカイブ１４により
抽出されたキーワードの全てで自動的に増加する。
【００５０】後者の場合、自動的に抽出されたキーワー
ドは、自動的に抽出されたキーワードにより低い信頼度
を割当てることにより、手動により付加されたキーワー
ドから区別することができる。これらの構成要素は、注
釈及び検索統合エージェント６を構成し、このサブシス
テムは、電子メールアプリケーションのような１つ又は
複数のターゲットアプリケーションに統合されるように
設計される。
【００５１】図３は、注釈及び検索統合エージェント６
により実行される検索動作の基本的な論理フローを示し
ている。ステップ３０において、検索エージェント２０
は、言語アナライザ２２により抽出された新たな文脈を
受ける。文脈は、現実的に時間的（たとえば、「昨
日」、又は「日曜日」）であるか否かに依存する異なる
やり方で扱われてもよい。
【００５２】ステップ３２において、アーカイブ文脈が
時間的な参照であると判定された場合、次いで、ステッ
プ３４において、整合のためにピクチャアーカイブ１４
がサーチされる。たとえば、デジタル画像は、メタデー
タとして日付−時間スタンプを有して捕捉される。参照
される時間点、すなわち同じ日又は同じ月のいずれかに
整合する画像が発見された場合に、整合が行われる。
【００５３】整合する場合、次いで、ステップ３６にお
いて、参照時間点からの時間的な距離に従って画像はラ
ンク付けされる。ディスプレイ１０上のピクチャデータ
ベースビューア１８により示されるビューは、ステップ
３８に従い更新される。たとえば、高くランク付けされ
た画像は、より低くランク付けされた画像よりもリスト
の更に上の方に上げることができる。
【００５４】ステップ３２において、文脈が時間的な参
照ではないと判定された場合、次いで、ステップ４０に
おいて、特定の画像への関連性に従い画像はランク付け
され、ピクチャデータベースビューア１８により示され
るビューは、ステップ３８に従い更新される。画像のラ
ンク付けは、文脈において提供されているどの位のキー
ワードがピクチャオブジェクトに付されるキーワードに
整合するかにより判定される。考慮される文脈のサイズ
は、プログラム変数である。
【００５５】たとえば、抽出された文脈が単語「海岸」
及び「フロリダ」を含んでいる場合、それに付されてい
る両キーワードを有する画像は、高くランク付けされ、
それに付されているたった１個のキーワードを有する画
像が続いてランク付けされる。
【００５６】他のランク付けを定義することができる。
たとえば、空間的なランク付けである（ここでは、言語
アナライザ２２により抽出された文脈において高められ
る参照位置名からの距離に従い画像がランク付けされ
る）。さらには、手動で注釈された画像にはより高い信
頼度が割当てられるので、ランク付けもまた、抽出され
たキーワードが自動的に提供されるか、又は抽出された
キーワードが手動で選択されるか、を考慮することがで
きる。
【００５７】加えて、画像が時間的及び非時間的な参照
の混合を有していてもよいので、整合機能は、時間的な
文脈に従い整合される画像とキーワードの文脈に従い整
合される画像との交差に注目してもよい。この場合にお
いて、該交差を有する画像が検索及びランク付けされて
もよく、又は該交差を有する画像を両方の参照を有して
いない画像よりも高くランク付けすることができる。
【００５８】注釈及び検索統合エージェント６の例示的
な実現は、図４〜図６の画面構成において示されてい
る。最初の実現は、カスタムビルト（custom-built）画
像検索及び注釈アプリケーションを含んでいる窓５２に
結合される、標準Java Swing Text Editorのような標準
的なテキストエディタ５０を備えている。
【００５９】テキストエディタ５０の下には、ボックス
５４において、エディタのカーソル５６を囲んでいるテ
キストから取られた検索用語表示されている。テキスト
エディタ５０の右に、検索窓５８において検索された画
像６０の列が表示されている。この列は、動的に更新さ
れる。それぞれの画像６０の右に、該画像に付属する注
釈キーワードのリスト６２が現れている。
【００６０】ユーザは、テキストエディタ５０におい
て、自由にタイプ入力することができる。テキスト編集
操作は、図４において示されるように、注釈及び検索統
合エージェント６により記録される。注釈及び検索統合
エージェント６は、連続的に動作し、テキストエディタ
５０においてユーザのタイプ入力を観察する。
【００６１】注釈及び検索統合エージェント６への入力
は、言語アナライザ２２により分析され、テキストカー
ソル５６の周辺の文脈におけるキーワードを抽出する。
テキスト分析を実行する異なる典型的な方法が存在する
が、確かなアプローチは、情報検索の用語頻度−逆文書
頻度（ＴＦＩＤＦ）方法、のような、一般的な情報抽出
発見、一般的な単語除去（word elimination）を使用す
ることである。
【００６２】たとえば、ＴＦＩＤＦ方法は、あるユーザ
と通信している全ての人々によりその単語がどのくらい
希に使用されているかに関連して、ある人からの電子メ
ール通信を該単語がどのくらいよく特徴付けているかに
加えて、その言葉が問い合わせにおいてどのくらい重要
であるかを考慮している。
【００６３】カーソル５６への１つ又は複数のより近い
キーワードは、テキストエディタ窓５２の下のボックス
５４において連続的に表示される。ここでは、言語アナ
ライザ２２により考慮される文脈のサイズに依存して、
多数のキーワードが表示されている。キーワードは、ピ
クチャアーカイブ１４における画像データベースに問い
合わせするために使用され、画像６０のランク付けされ
たリストが、関連性の順に、列５８において右にグラフ
ィカルに表示される。キーワードは、キーストローク毎
に再計算される。
【００６４】たとえば、図４において示されるように、
ユーザは、テキストエディタに電子メールメッセージ、
“Dear Karen, Last Week Joe and kids made a birthd
ay”をタイプ入力することにより開始し、エージェント
はキーワード“birthday”を抽出する。さしあたり、少
なくとも１つの画像がこの単語で予め注釈されていると
仮定すると、この単語は、イベントの画像を検索するの
に十分なものであり、列５８におけるテキストエディタ
５０の右へ現れている。
【００６５】この時点で、電子メールメッセージについ
ての良好な例示となる画像６０ａを作る可能性が高く、
列５８における更新されたビューから画像をドラッグし
て、テキストエディタ５０のアプリケーション窓５２に
ドロップしてもよい。代替的に、たとえば、画像６０ａ
への簡単なクリックにより、画像をカーソル５６の点に
挿入することができる。
【００６６】次いで、図６において示されるような電子
メールに画像６０ａが挿入されて、ユーザは、テキスト
エディタに電子メールメッセージ、“Dear Karen, Last
Week Joe and kids made a birthday party for me. T
hey made me wear a party hat. I got a motorcycle f
or a present…”をタイプ入力し続け、注釈及び検索統
合エージェント６は、キーワード“party”、“hat”及
び“motorcycle”を抽出する。
【００６７】上述したように、画像がこれらの単語で注
釈されていると仮定すると、これらに単語は、このイベ
ントの画像を検索するのに十分なものである。該画像
は、列５８におけるテキストエディタ５０の右に現れて
いる。先のように、この時点で、電子メールメッセージ
について良好な例示となる１つ又は複数の画像を作る可
能性が高く、ドラッグ及びドロップ動作（又は画像上で
の１回のクリック）により、画像がカーソル５６の点で
エディタに挿入される。
【００６８】このインタラクションが、典型的な画像検
索からどのくらい異なるかを理解することは重要であ
る。たとえば、画像検索アプリケーションにスイッチす
る必要がない。キーワードの問い合わせをタイプする必
要がなく、ファイルダイアログボックスをプルダウンす
る必要がない。
【００６９】さらに、電子メールにおいて画像を使用す
るために、カットアンドペーストを必要としない。最も
重要なことは、全体のユーザインタラクションは、僅か
簡単な動き、すなわちワンクリックであることが好まし
い。勿論、所望の画像は、即時に現れない場合がある
が、その場合、適切な画像を発見するまでリストを通し
てスクロールし、ダイアログボックスを呼び出して他の
画像セット等をロードする。その場合であっても、典型
的なアプローチと比較して若干のインタラクションをな
お節約することができるが、重要なことは、最も可能性
のある場合が我々の指先での訂正であり、平均的なイン
タラクションがより低減される。
【００７０】検索を援用するために使用されるタイプ入
力されたテキストにおいて現れる他の種類の情報があ
る。１つの情報の種類は、時間的な参照である。多くの
場合、自動インポートエージェント１６によりインポー
トされる画像は、捕捉した日付及び時間を含んでおり、
注釈及び検索統合エージェント６は、かかる時間的な情
報を利用するために設計される。
【００７１】たとえば、タイプ入力“Last week”によ
り、システムは、先週に関連する日付の範囲を判定する
ことができ、該範囲と画像毎にタイムスタンプされた日
付とを比較することができ、該日付の範囲内の画像を検
索することができる。この能力には、特定及び相関的な
日付、間隔、「約」等を含んでいる時間参照の大量のボ
キャブラリが含まれる。
【００７２】別の情報の種類は、位置的な参照である。
デジタルカメラは、現在手に入れることができ、画像と
共にグローバルポジショニング（ＧＰＳ）データを捕捉
する。たとえば、“San Francisco”と位置をタイプ入
力することで、システムは、対応するＧＰＳ座標を探し
出し、この情報を画像が撮影された位置に関連付けし、
次いで同じ座標を有する画像を検索する。
【００７３】所望の画像が未だ注釈されていないと仮定
すると、たとえば、デジタルカメラで通常使用されるコ
ンパクトフラッシュカードのような画像記憶メディアを
挿入することにより、画像が自動インポートエージェン
ト１６により最初にロードされている場合の通りとな
る。
【００７４】フラッシュカードメディアがコンピュータ
に挿入されるとすぐに、注釈及び検索統合エージェント
６は、フラッシュカード上の画像をピクチャアーカイブ
１４に即時にロードする。注釈及び検索統合エージェン
ト６は起動して、数秒毎に到来する入力について、自動
的にポーリングされる。これは些細な事のように思える
が、ファイルダイアログボックスがポップアップされる
のを待ち、ファイルシステムにおいて画像を送るべき場
所を見つけ、該画像を何と呼ぶべきか及び次回検索する
ことができるように該呼び名を覚える、といった「画像
をロードする」動作を援用するための必要が無くなる。
挿入されたばかりの画像は、ユーザが直ぐに見ることを
望む可能性があるので検索ウィンドウ５８の一番上に即
時に移動される。
【００７５】上記タイプ入力された文字の開始文を例示
するために画像を通してスクロールして検索する一方
で、ユーザは、画像が、該画像を記述するために適切な
多くのキーワードを含んでいるテキストの隣のテキスト
エディタ５０において在位して今現れていることに注目
する。これは、次回に検索がより簡単になるように、存
在するテキストを使用して画像を注釈するための機会を
表している。
【００７６】たとえば、ユーザは、テキストエディタ５
０から単語“hat”、“party”等のいずれかを画像６０
ａにドラッグして、該画像に関する注釈を配置すること
ができる。たとえば、図６に示されるように、ユーザ
は、画像６０ａに注釈“hat”を加えるために選定され
る。
【００７７】図５において示されるように、注釈及び検
索統合エージェント６は、周囲のテキストから候補とな
るキーワードを提案するダイアログボックス７０（記述
子が画像の前に、後に現れることがあるが、通常閉じて
いる）を表示することにより、整合に応答することがで
きる。これにより、ユーザは、（ボックス７４をチェッ
クすることにより）１つ又は複数の適切なキーワードを
直ぐに選択することができ、関連のないキーワードを避
けることができる。次いで、選択されたキーワードは、
ＡＤＤボタン７６上をクリックすることにより、該画像
についての注釈に追加される。
【００７８】また一方、インタラクションは、注釈アプ
リケーション内又は外での文脈スイッチに加えて、タイ
プ入力及びカットアンドペースト又はキーワードの外部
リストからの選択、典型的な画像注釈アプリケーション
におけるものを基準にして合理化される。
【００７９】要約すると、注釈及び検索統合エージェン
トは、典型的な電子メールエディタ及び典型的な検索ア
プリケーションの結合であり、幾つかの特徴は、電子メ
ールのメッセージを作成する間に画像注釈及び検索のた
めに一般に使用される動作を実行するために、ユーザに
とってより便利なものとなっている。
【００８０】電子メールエディタにより、ユーザは、メ
ッセージをタイプ入力することができ、インターネット
のようなネットワークにわたり該メッセージを送出する
ことができる。画像検索アプリケーションは、画像のデ
ータベースを記憶しており、それぞれの画像とキーワー
ドのセットを関連付ける。これにより、ユーザは、新た
なキーワードを画像に付属させるか、存在するキーワー
ドを削除するか、又はキーワードのセットに基づいてデ
ータベースにおける画像のセットを検索するか、のいず
れかを行うことができる。
【００８１】キーワードのセットのそれぞれについて、
画像検索アプリケーションは、ユーザのキーワードに最
も整合したものが最初に現れる順序に順序化されたリス
トを戻す。画像と電子メールメッセージをより便利に結
合するために、注釈及び検索統合エージェントは、電子
メールメッセージにおいて最近タイプ入力されたキーワ
ードに基づいて、画像を検索する。
【００８２】画像は、画像検索アプリケーションから電
子メールアプリケーションにドラッグされてもよく、こ
の場合には、電子メールメッセージに挿入される。電子
メールメッセージからの単語は、電子メールアプリケー
ションから画像検索アプリケーションにおける画像にド
ラッグされてもよく、この場合には、それらの単語は、
画像検索アプリケーションデータベースにおける該画像
に関連付けられる。
【００８３】電子メールメッセージにおいて現れている
画像上で左クリックすると、画像を囲んでいる単語から
取られたキーワードのセットがチェックボックスにおい
て表示され、対応するボックスがチェックされると、該
単語は画像検索アプリケーションデータベースにおける
該画像と記憶される。
【図面の簡単な説明】
【図１】本発明の例示的な実施の形態における、注釈及
び検索エージェントを含むソフトウェアアプリケーショ
ンの機能ブロック図である。
【図２】本発明による注釈及び検索エージェントの機能
ブロック図である。
【図３】図２において示される注釈及び検索エージェン
トの基本的なロジックフローのフローチャートである。
【図４】本発明の実施の形態による注釈及び検索エージ
ェントのアプリケーションを示す、電子メールテキスト
エディタのメインウィンドウのスクリーンレイアウトの
例である。
【図５】図４において示されるメインウィンドウにおい
て現れるキーボードダイアログボックスの例である。
【図６】最後に電子メールが書かれ、送出準備がなされ
た図４において示されるメインウィンドウの例である。
【符号の説明】
２：ユーザアプリケーション ４：プロセッシングユニット ６：注釈及び検索統合ユニット ８：グラフィカルユーザインタフェース １０：ディスプレイ １２：入力装置 １４：ピクチャアーカイブ １５：ネットワークインタフェース １６：自動インポートエージェント １８：ピクチャデータベースビューア ２０：検索エージェント ２２：言語アナライザ ２４：（手動）注釈エージェント ３０：新たな文脈分析ステップ ３２：時間的な判定ステップ ３４：時間的なステップへのマッピング ３６：時間的なランク付けステップ ３８：更新ビューステップ ４０：キーワードランク付けステップ ５０：テキストエディタ ５２：窓 ５４：ボックス ５６：カーソル ５８：検索ウィンドウ ６０：画像 ６０ａ：選択された画像 ６２：注釈キーワードのリスト ７０：ダイアログボックス ７２：示唆される注釈 ７４：注釈選択チェックボックス ７６：ＡＤＤボタン
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 1/00 ２００ Ｇ０６Ｔ 1/00 ２００Ｅ (72)発明者 エリザベス ローゼンツウェイグ アメリカ合衆国 マサチューセッツ 02459 ニュートン アスルスタン・ロー ド 62 (72)発明者 プッシュピンダー シン アメリカ合衆国 マサチューセッツ 02138 ケンブリッジ マサチューセッ ツ・アヴニュ 1010 アパート 25 (72)発明者 マーク ディー ウッド アメリカ合衆国 ニューヨーク 14526 ペンフィールド ハリス・ロード 1671 Ｆターム(参考） 5B050 AA09 CA05 CA07 FA02 FA13 FA19 GA08 5B069 CA02 CA19 5B075 ND06 NK02 NK21 PP03 PP22 PQ02 5E501 AA02 AB16 AC23 AC33 CA02 CA03 CA04 CB02 CB09 CB10 DA01 EA05 EA08 EA13 EB15 FA06 FA07 FA08 FA14 FA25 FA26

Claims (1)

    【特許請求の範囲】
  1. 【請求項１】 テキストがユーザにより入力されるコン
    ピュータアプリケーションを含む記憶された画像の統合
    された検索及び注釈のための方法であって、 前記記憶画像に関連するメタデータを提供するステップ
    と、 テキストがユーザにより入力されるユーザアプリケーシ
    ョンを実行するステップと、 前記テキストにより表現される文脈を分離するために、
    前記アプリケーションにユーザによりタイプ入力された
    前記テキストを連続的に監視するステップと、 前記文脈と前記記憶画像に関連する前記メタデータとを
    整合し、１つ又は複数の整合された画像を提供するステ
    ップと、 前記整合画像を検索して表示するステップと、 前記整合画像との後続する関連についてある示唆される
    注釈を選択する能力と共に、前記整合画像について前記
    示唆される注釈をユーザに提供するために前記文脈を利
    用するステップと、を備える方法。
JP2001311928A 2000-10-10 2001-10-09 画像の統合された注釈及び検索のためのエージェント Expired - Fee Related JP3842994B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/685,112 US7028253B1 (en) 2000-10-10 2000-10-10 Agent for integrated annotation and retrieval of images
US685112 2000-10-10

Publications (2)

Publication Number Publication Date
JP2002207749A true JP2002207749A (ja) 2002-07-26
JP3842994B2 JP3842994B2 (ja) 2006-11-08

Family

ID=24750824

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001311928A Expired - Fee Related JP3842994B2 (ja) 2000-10-10 2001-10-09 画像の統合された注釈及び検索のためのエージェント

Country Status (4)

Country Link
US (1) US7028253B1 (ja)
EP (1) EP1197879B1 (ja)
JP (1) JP3842994B2 (ja)
DE (1) DE60112212T2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006114880A1 (ja) * 2005-04-22 2006-11-02 Yamatake Corporation 情報連携ウィンドウシステム
JP2009538462A (ja) * 2006-05-26 2009-11-05 ザイ コーポレイション オブ カナダ インコーポレイテッド テキスト形式の文書に絵的人工物を挿入する装置および方法
JP2010073114A (ja) * 2007-10-25 2010-04-02 Fuji Xerox Co Ltd 画像情報検索装置、画像情報検索方法およびそのコンピュータプログラム
US9684738B2 (en) 2013-05-23 2017-06-20 International Business Machines Corporation Text-based command generation
US11740787B2 (en) 2018-08-31 2023-08-29 Google Llc Methods and systems for positioning animated images within a dynamic keyboard interface

Families Citing this family (97)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1346295A4 (en) 2000-11-15 2005-01-12 Mark Frigon METHOD AND DEVICE FOR OBTAINING INFORMATION ON THE PRESENCE OF AT LEAST ONE OBJECT IN AN IMAGE
US6785688B2 (en) * 2000-11-21 2004-08-31 America Online, Inc. Internet streaming media workflow architecture
US8078545B1 (en) 2001-09-24 2011-12-13 Aloft Media, Llc System, method and computer program product for collecting strategic patent data associated with an identifier
US7305625B1 (en) 2001-09-24 2007-12-04 Aloft Media, Llc Data networking system and method for interfacing a user
US7287064B1 (en) * 2001-11-20 2007-10-23 Sprint Spectrum L.P. Method and system for determining an internet user's interest level
GB2383247A (en) * 2001-12-13 2003-06-18 Hewlett Packard Co Multi-modal picture allowing verbal interaction between a user and the picture
GB0129787D0 (en) * 2001-12-13 2002-01-30 Hewlett Packard Co Method and system for collecting user-interest information regarding a picture
US20030128389A1 (en) 2001-12-26 2003-07-10 Eastman Kodak Company Method for creating and using affective information in a digital imaging system cross reference to related applications
US20040205547A1 (en) * 2003-04-12 2004-10-14 Feldt Kenneth Charles Annotation process for message enabled digital content
US20060288006A1 (en) * 2003-10-23 2006-12-21 Xerox Corporation Methods and systems for attaching keywords to images based on database statistics
US7676739B2 (en) * 2003-11-26 2010-03-09 International Business Machines Corporation Methods and apparatus for knowledge base assisted annotation
JP2005285038A (ja) 2004-03-31 2005-10-13 Nec Corp 携帯電話機、そのメッセージ作成方法及びプログラム
US20060031201A1 (en) * 2004-08-06 2006-02-09 Microsoft Corporation Life moment tagging and storage
US20060080286A1 (en) * 2004-08-31 2006-04-13 Flashpoint Technology, Inc. System and method for storing and accessing images based on position data associated therewith
US7685209B1 (en) * 2004-09-28 2010-03-23 Yahoo! Inc. Apparatus and method for normalizing user-selected keywords in a folksonomy
JP4367355B2 (ja) * 2005-02-24 2009-11-18 セイコーエプソン株式会社 写真画像検索装置、写真画像検索方法、記録媒体、およびプログラム
JP4588642B2 (ja) * 2005-03-15 2010-12-01 富士フイルム株式会社 アルバム作成装置、アルバム作成方法、及びプログラム
US7734644B2 (en) * 2005-05-06 2010-06-08 Seaton Gras System and method for hierarchical information retrieval from a coded collection of relational data
US20060287996A1 (en) * 2005-06-16 2006-12-21 International Business Machines Corporation Computer-implemented method, system, and program product for tracking content
US7539934B2 (en) * 2005-06-20 2009-05-26 International Business Machines Corporation Computer-implemented method, system, and program product for developing a content annotation lexicon
US20070005592A1 (en) * 2005-06-21 2007-01-04 International Business Machines Corporation Computer-implemented method, system, and program product for evaluating annotations to content
US7702681B2 (en) * 2005-06-29 2010-04-20 Microsoft Corporation Query-by-image search and retrieval system
WO2007036832A2 (en) * 2005-09-30 2007-04-05 Koninklijke Philips Electronics N.V. Method and apparatus for browsing of images
US20070118509A1 (en) * 2005-11-18 2007-05-24 Flashpoint Technology, Inc. Collaborative service for suggesting media keywords based on location data
US7822746B2 (en) * 2005-11-18 2010-10-26 Qurio Holdings, Inc. System and method for tagging images based on positional information
US7584411B1 (en) * 2005-12-22 2009-09-01 Adobe Systems, Inc. Methods and apparatus to identify graphical elements
US7822846B1 (en) * 2006-01-26 2010-10-26 Sprint Spectrum L.P. Method and system for brokering media files
US9892196B2 (en) * 2006-04-21 2018-02-13 Excalibur Ip, Llc Method and system for entering search queries
US7467222B2 (en) * 2006-05-12 2008-12-16 Shutterfly, Inc. Image ranking for imaging products and services
US7783622B1 (en) 2006-07-21 2010-08-24 Aol Inc. Identification of electronic content significant to a user
US8631012B2 (en) * 2006-09-29 2014-01-14 A9.Com, Inc. Method and system for identifying and displaying images in response to search queries
US8661035B2 (en) * 2006-12-29 2014-02-25 International Business Machines Corporation Content management system and method
JP4270404B2 (ja) * 2007-01-16 2009-06-03 ソニー・エリクソン・モバイルコミュニケーションズ株式会社 携帯端末装置、表示制御装置、表示制御方法、及び表示制御プログラム
US8055271B2 (en) * 2007-02-05 2011-11-08 Yahoo! Inc. Intelligent location-to-cell mapping using annotated media
US7739304B2 (en) * 2007-02-08 2010-06-15 Yahoo! Inc. Context-based community-driven suggestions for media annotation
US20080229186A1 (en) * 2007-03-14 2008-09-18 Microsoft Corporation Persisting digital ink annotations as image metadata
US8189880B2 (en) * 2007-05-29 2012-05-29 Microsoft Corporation Interactive photo annotation based on face clustering
US20080313541A1 (en) * 2007-06-14 2008-12-18 Yahoo! Inc. Method and system for personalized segmentation and indexing of media
TW200905496A (en) * 2007-07-16 2009-02-01 Nanya Technology Corp Methods and systems for searching information, and machine readable medium thereof
US7849065B2 (en) * 2007-07-20 2010-12-07 Microsoft Corporation Heterogeneous content indexing and searching
US7725454B2 (en) * 2007-07-20 2010-05-25 Microsoft Corporation Indexing and searching of information including handler chaining
US10698886B2 (en) * 2007-08-14 2020-06-30 John Nicholas And Kristin Gross Trust U/A/D Temporal based online search and advertising
US20090199093A1 (en) * 2007-09-04 2009-08-06 Tridib Chakravarty Image Capture And Sharing System and Method
US8457416B2 (en) * 2007-09-13 2013-06-04 Microsoft Corporation Estimating word correlations from images
US8571850B2 (en) * 2007-09-13 2013-10-29 Microsoft Corporation Dual cross-media relevance model for image annotation
US20090164572A1 (en) * 2007-12-20 2009-06-25 Motorola, Inc. Apparatus and method for content item annotation
US20090287782A1 (en) * 2008-05-14 2009-11-19 Daniel Brian Odess Interactive Multimedia Timeline
US9529820B2 (en) * 2008-05-23 2016-12-27 International Business Machines Corporation Automated content tracking and conversion
US8150170B2 (en) * 2008-05-30 2012-04-03 Microsoft Corporation Statistical approach to large-scale image annotation
US8510646B1 (en) * 2008-07-01 2013-08-13 Google Inc. Method and system for contextually placed chat-like annotations
US8638858B2 (en) 2008-07-08 2014-01-28 Intellectual Ventures Fund 83 Llc Method, apparatus and system for converging images encoded using different standards
US8468178B2 (en) * 2008-08-05 2013-06-18 International Business Machines Corporation Providing location based information in a virtual environment
US8463053B1 (en) 2008-08-08 2013-06-11 The Research Foundation Of State University Of New York Enhanced max margin learning on multimodal data mining in a multimedia database
US8520979B2 (en) * 2008-08-19 2013-08-27 Digimarc Corporation Methods and systems for content processing
JP5051080B2 (ja) * 2008-09-25 2012-10-17 富士通株式会社 情報表示装置、情報表示方法、及びプログラム
US8131734B2 (en) * 2008-10-09 2012-03-06 Xerox Corporation Image based annotation and metadata generation system with experience based learning
US8024311B2 (en) * 2008-12-05 2011-09-20 Eastman Kodak Company Identifying media assets from contextual information
US8452794B2 (en) * 2009-02-11 2013-05-28 Microsoft Corporation Visual and textual query suggestion
US8244706B2 (en) * 2009-12-18 2012-08-14 International Business Machines Corporation Method and apparatus for semantic just-in-time-information-retrieval
US8661361B2 (en) 2010-08-26 2014-02-25 Sitting Man, Llc Methods, systems, and computer program products for navigating between visual components
US8780130B2 (en) 2010-11-30 2014-07-15 Sitting Man, Llc Methods, systems, and computer program products for binding attributes between visual components
US9715332B1 (en) 2010-08-26 2017-07-25 Cypress Lake Software, Inc. Methods, systems, and computer program products for navigating between visual components
US10397639B1 (en) 2010-01-29 2019-08-27 Sitting Man, Llc Hot key systems and methods
CN103109521B (zh) * 2010-09-21 2015-05-06 索尼爱立信移动通讯有限公司 增强消息的系统和方法
US9195679B1 (en) * 2011-08-11 2015-11-24 Ikorongo Technology, LLC Method and system for the contextual display of image tags in a social network
US8731339B2 (en) 2012-01-20 2014-05-20 Elwha Llc Autogenerating video from text
US9489636B2 (en) 2012-04-18 2016-11-08 Tagasauris, Inc. Task-agnostic integration of human and machine intelligence
US9225936B2 (en) * 2012-05-16 2015-12-29 International Business Machines Corporation Automated collaborative annotation of converged web conference objects
KR102100952B1 (ko) * 2012-07-25 2020-04-16 삼성전자주식회사 데이터 관리를 위한 방법 및 그 전자 장치
KR102072113B1 (ko) 2012-10-17 2020-02-03 삼성전자주식회사 사용자 단말 장치 및 제어 방법
US9317531B2 (en) * 2012-10-18 2016-04-19 Microsoft Technology Licensing, Llc Autocaptioning of images
KR102083209B1 (ko) * 2012-11-22 2020-03-02 삼성전자 주식회사 데이터 제공 방법 및 휴대 단말
US9098532B2 (en) 2012-11-29 2015-08-04 International Business Machines Corporation Generating alternative descriptions for images
US9552432B1 (en) * 2013-03-14 2017-01-24 EMC IP Holding Company LLC Lightweight appliance for content retrieval
US9165009B1 (en) 2013-03-14 2015-10-20 Emc Corporation Lightweight appliance for content storage
US10642928B2 (en) * 2013-06-03 2020-05-05 International Business Machines Corporation Annotation collision detection in a question and answer system
JP5916666B2 (ja) * 2013-07-17 2016-05-11 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ テキストによる視覚表現を含む文書を分析する装置、方法およびプログラム
GB2524074A (en) 2014-03-14 2015-09-16 Ibm Processing data sets in a big data repository
US10324733B2 (en) 2014-07-30 2019-06-18 Microsoft Technology Licensing, Llc Shutdown notifications
US10254942B2 (en) 2014-07-31 2019-04-09 Microsoft Technology Licensing, Llc Adaptive sizing and positioning of application windows
US10678412B2 (en) 2014-07-31 2020-06-09 Microsoft Technology Licensing, Llc Dynamic joint dividers for application windows
US10592080B2 (en) 2014-07-31 2020-03-17 Microsoft Technology Licensing, Llc Assisted presentation of application windows
US9787576B2 (en) 2014-07-31 2017-10-10 Microsoft Technology Licensing, Llc Propagating routing awareness for autonomous networks
US9836464B2 (en) * 2014-07-31 2017-12-05 Microsoft Technology Licensing, Llc Curating media from social connections
US9414417B2 (en) 2014-08-07 2016-08-09 Microsoft Technology Licensing, Llc Propagating communication awareness over a cellular network
US9514368B2 (en) 2014-11-14 2016-12-06 Telecommunications Systems, Inc. Contextual information of visual media
US10324975B2 (en) * 2014-12-19 2019-06-18 Smugmug, Inc. Bulk keyword management application
US10460015B1 (en) * 2015-03-27 2019-10-29 Open Text Corporation Assimilation in multi model webpage composition
US9872061B2 (en) 2015-06-20 2018-01-16 Ikorongo Technology, LLC System and device for interacting with a remote presentation
US10503738B2 (en) * 2016-03-18 2019-12-10 Adobe Inc. Generating recommendations for media assets to be displayed with related text content
US10223067B2 (en) * 2016-07-15 2019-03-05 Microsoft Technology Licensing, Llc Leveraging environmental context for enhanced communication throughput
WO2018222247A1 (en) * 2017-06-02 2018-12-06 Apple Inc. Device, method, and graphical user interface for annotating content
US10387487B1 (en) 2018-01-25 2019-08-20 Ikorongo Technology, LLC Determining images of interest based on a geographical location
US11163777B2 (en) 2018-10-18 2021-11-02 Oracle International Corporation Smart content recommendations for content authors
JP7380113B2 (ja) * 2019-11-15 2023-11-15 富士フイルムビジネスイノベーション株式会社 文書管理装置、文書管理システム及びプログラム
US11823476B2 (en) 2021-05-25 2023-11-21 Bank Of America Corporation Contextual analysis for digital image processing
CN115862831B (zh) * 2023-03-02 2023-05-12 山东远程分子互联网医院有限公司 一种智能在线预约诊疗管理系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06119405A (ja) * 1992-10-09 1994-04-28 Matsushita Electric Ind Co Ltd 画像検索装置
JPH08314953A (ja) * 1995-05-15 1996-11-29 Olympus Optical Co Ltd 画像検索表示装置及び仮名漢字変換装置
JPH10301953A (ja) * 1997-04-28 1998-11-13 Just Syst Corp 画像管理装置、画像検索装置、画像管理方法、画像検索方法およびそれらの方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69028643T2 (de) 1989-02-09 1997-02-20 Canon Kk Elektronisches Dateispeicherungssystem und Methode zum Auslesen von Bilddateninformation
US5404295A (en) * 1990-08-16 1995-04-04 Katz; Boris Method and apparatus for utilizing annotations to facilitate computer retrieval of database material
US5546502A (en) 1993-03-19 1996-08-13 Ricoh Company, Ltd. Automatic invocation of computational resources without user intervention
GB9315448D0 (en) 1993-07-26 1993-09-08 Rank Xerox Ltd Recording and retrieval of information relevant to the activities of a user
US5493677A (en) 1994-06-08 1996-02-20 Systems Research & Applications Corporation Generation, archiving, and retrieval of digital images with evoked suggestion-set captions and natural language interface
US6108674A (en) * 1994-06-28 2000-08-22 Casio Computer Co., Ltd. Image output devices which automatically selects and outputs a stored selected image in correspondence with input data
US5870770A (en) * 1995-06-07 1999-02-09 Wolfe; Mark A. Document research system and method for displaying citing documents
US5873107A (en) * 1996-03-29 1999-02-16 Apple Computer, Inc. System for automatically retrieving information relevant to text being authored
US6374260B1 (en) * 1996-05-24 2002-04-16 Magnifi, Inc. Method and apparatus for uploading, indexing, analyzing, and searching media content
US5909679A (en) 1996-11-08 1999-06-01 At&T Corp Knowledge-based moderator for electronic mail help lists
AUPO960197A0 (en) * 1997-10-03 1997-10-30 Canon Information Systems Research Australia Pty Ltd Multi-media editing method and apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06119405A (ja) * 1992-10-09 1994-04-28 Matsushita Electric Ind Co Ltd 画像検索装置
JPH08314953A (ja) * 1995-05-15 1996-11-29 Olympus Optical Co Ltd 画像検索表示装置及び仮名漢字変換装置
JPH10301953A (ja) * 1997-04-28 1998-11-13 Just Syst Corp 画像管理装置、画像検索装置、画像管理方法、画像検索方法およびそれらの方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
原田 将治: "画像検索のための形状特徴空間の構築", 電子情報通信学会技術研究報告, vol. 第９５巻 第３２２号, CSNG199900209002, 19 October 1995 (1995-10-19), JP, pages 7 - 12, ISSN: 0000761454 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006114880A1 (ja) * 2005-04-22 2006-11-02 Yamatake Corporation 情報連携ウィンドウシステム
JP2009538462A (ja) * 2006-05-26 2009-11-05 ザイ コーポレイション オブ カナダ インコーポレイテッド テキスト形式の文書に絵的人工物を挿入する装置および方法
JP2010073114A (ja) * 2007-10-25 2010-04-02 Fuji Xerox Co Ltd 画像情報検索装置、画像情報検索方法およびそのコンピュータプログラム
US9684738B2 (en) 2013-05-23 2017-06-20 International Business Machines Corporation Text-based command generation
US11740787B2 (en) 2018-08-31 2023-08-29 Google Llc Methods and systems for positioning animated images within a dynamic keyboard interface

Also Published As

Publication number Publication date
DE60112212T2 (de) 2006-05-24
EP1197879A2 (en) 2002-04-17
US7028253B1 (en) 2006-04-11
JP3842994B2 (ja) 2006-11-08
EP1197879B1 (en) 2005-07-27
DE60112212D1 (de) 2005-09-01
EP1197879A3 (en) 2003-07-09

Similar Documents

Publication Publication Date Title
JP3842994B2 (ja) 画像の統合された注釈及び検索のためのエージェント
US8812945B2 (en) Method of dynamically creating real time presentations responsive to search expression
US7734654B2 (en) Method and system for linking digital pictures to electronic documents
US7739597B2 (en) Interactive media frame display
US8984429B2 (en) Searching desktop objects in view of time based statistics
US8156123B2 (en) Method and apparatus for processing metadata
KR100489913B1 (ko) 문서표시시스템및전자사전
US7401078B2 (en) Information processing apparatus, document search method, program, and storage medium
US7162473B2 (en) Method and system for usage analyzer that determines user accessed sources, indexes data subsets, and associated metadata, processing implicit queries based on potential interest to users
US20040064455A1 (en) Software-floating palette for annotation of images that are viewable in a variety of organizational structures
US20140222785A1 (en) Methods and systems for managing data
US20040098379A1 (en) Multi-indexed relationship media organization system
US20060294476A1 (en) Browsing and previewing a list of items
US8452751B2 (en) Methods and systems for managing data
JP2010092476A (ja) 表示方法、システムおよび格納媒体
JP2001043231A (ja) ファイル管理システム、電子ファイリングシステムおよびファイルの階層構造表示方法
US20120078958A1 (en) System for Sequentially Displaying Different File Types In A Directory
US20090119283A1 (en) System and Method of Improving and Enhancing Electronic File Searching
JP2007280011A (ja) Ｗｅｂページ閲覧履歴の提示方法および装置
JP2000231570A (ja) インターネット情報処理装置、インターネット情報処理方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
US8875007B2 (en) Creating and modifying an image wiki page
US8290905B1 (en) Method and system for accessing interface design elements
Spink et al. Multimedia web queries: Implications for design
Raj et al. Cloud press: A next generation news retrieval system on the cloud
KR100831055B1 (ko) 온톨로지 기반의 정보 검색 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050524

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20050824

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20050829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060110

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20060410

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20060414

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060707

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060811

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090818

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100818

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110818

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110818

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120818

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120818

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130818

Year of fee payment: 7

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees