JP2010267292A - デジタル資産管理、ターゲットを定めたサーチ、及びデジタル透かしを使用するデスクトップサーチ - Google Patents

デジタル資産管理、ターゲットを定めたサーチ、及びデジタル透かしを使用するデスクトップサーチ Download PDF

Info

Publication number
JP2010267292A
JP2010267292A JP2010158011A JP2010158011A JP2010267292A JP 2010267292 A JP2010267292 A JP 2010267292A JP 2010158011 A JP2010158011 A JP 2010158011A JP 2010158011 A JP2010158011 A JP 2010158011A JP 2010267292 A JP2010267292 A JP 2010267292A
Authority
JP
Japan
Prior art keywords
metadata
image
watermark
search
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010158011A
Other languages
English (en)
Other versions
JP5702555B2 (ja
Inventor
Tony F Rodriguez
トニー, エフ. ロドリゲツ,
Sean Calhoon
ショーン カルフーン,
Scott J Carr
スコット, ジェー. カー,
Steven Gray
スティーヴン グレイ,
Alastair M Reed
アラステア, エム. リード,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Digimarc Corp
Original Assignee
Digimarc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Digimarc Corp filed Critical Digimarc Corp
Publication of JP2010267292A publication Critical patent/JP2010267292A/ja
Application granted granted Critical
Publication of JP5702555B2 publication Critical patent/JP5702555B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】透かし入りコンテンツに対するネットワークサーチを改善する方法及びシステムを提供する。
【解決手段】キーワードサーチを使用して、URL候補の領域を狭め、得られたURLリストを、デジタル透かしを求めてサーチする。顧客は、キーワード又はネットワークの位置を入力する。キーワード又はネットワークの位置情報は、透かしを使用可能なウェブブラウザに提供され、ブラウザが、それらキーワード又はネットワークの位置に関連した位置にアクセスする。この際、複数の分散された透かし使用可能なウェブブラウザを使用する。これらにより、デスクトップサーチ、並びに、自動メタデータ収集及び生成を促進する方法及びシステムを提供する。
【選択図】図1

Description

関連出願のデータ
本特許出願は、2005年4月19日に出願された米国特許仮出願第60/673,022号、2005年2月25日に出願された米国特許仮出願第60/656,642号、2004年6月24日に出願された米国特許仮出願第60/582,914号、及び2004年6月22日に出願された米国特許仮出願第60/582,280号の利益を主張するものである。
また、本特許出願は、2001年4月6日に出願された米国特許仮出願第60/282,205号の利益を主張する2002年4月5日に出願の米国特許出願第10/118,468号(米国2002−0188841A1として公開された)と、2000年1月13日に出願された米国特許出願第09/482,786号(許可された)と、2000年7月6日に出願された米国特許出願第09/612,177号(現在の米国特許第6,681,029号)に関連する出願である。ここで、米国特許出願第09/612,177号は、1996年11月12日に出願された米国特許出願第08/746,613号(現在の米国特許第6,122,403号)の継続出願である。この米国特許出願第08/746,613号は、1996年5月16日に出願された米国特許出願第08/649,419号(現在の米国特許第5,862,260号)及び1995年7月27日に出願された第08/508,083号(現在の米国特許第5,841,978号)の一部継続出願である。
本発明は、広くデジタル透かし処理に関するものである。幾つかの実施の形態において、本発明は、ネットワーク又はデスクトップの検索に関するものである。
背景及び概要
デジタルコンテンツが増加し続けるにつれて、デジタル資産の管理が益々困難な課題となっている。コンピュータネットワーキング及びデータベース技術の向上によって、会社が、画像及び他のメディアの大きな集合体を管理し、コンテンツを第三者に利用できるようにすることが可能になっている。ネットワーク通信は、強力なツールを提供してデータベースマネージャーが他の者とコンテンツを共有することを可能にするが、コンテンツが如何に使用されるかを制御及び追跡することを困難とし、また、コンテンツを効率的に共有することを困難にする。
本特許出願の譲受人による先の特許文書は、インターネットのようなコンピュータネットワークにおいてメディアオブジェクトファイルを自動的にサーチし、且つ、デジタル透かしによってスクリーニング(選別)するシステム及び方法を示している。例えば、本譲受人の米国特許第5,862,260号を参照されたい。インターネットコンテンツ又はリンクの自動サーチ及び収集を実行するために使用されるソフトウェアは、ウェブクローラー又はスパイダーと称されることがある。
デジタル透かし処理は、メディアコンテンツを変更してマシン読み取り可能なコードをデータコンテンツに埋め込むためのプロセスである。データは、埋め込まれたコードがユーザに感知されないか又は略感知されないが自動検出プロセスを介して検出できるように、変更される。最も一般的には、デジタル透かしは、画像、オーディオ信号及びビデオ信号のようなメディアに適用される。しかしながら、デジタル透かし処理は、ドキュメント(例えば、ライン、ワード又はキャラクタシフト、バックグランドテクスチャ等を介して)、ソフトウェア、多次元グラフィックモデル、及びオブジェクトの表面テクスチャを含む他の形式のデータにも適用できる。
デジタル透かし処理システムは、二つの主な要素、即ち、メディアコンテンツに透かしを埋め込む埋め込み部と、埋め込まれた透かしを検出して読み取る読み取り部を有している。埋め込み部は、空間的、時間的又は他の領域(例えば、フーリエ、離散的コサイン、又はウェーブレット変換領域)においてメディアコンテンツのデータサンプルを変更することによって透かしを埋め込む。読み取り部は、ターゲットコンテンツを分析して、透かしが存在するか否かを検出する。透かしが情報(例えば、メッセージ)をエンコードするアプリケーションでは、リーダーはこの情報を検出された透かしから抽出する。
ステガノグラフィー、データ隠蔽、及びデジタル透かし処理に関する本譲受人の研究は、例えば、米国特許第5,862,260号、第6,408,082号、及び第6,614,914号、並びに、公開された明細書WO9953428号及びWO0007356号(米国特許第6,449,377号及び第6,345,104号に対応する)に反映されている。非常に多数の他の手法が、当業者に知られている。当業者は、ステガノグラフィー、データ隠蔽、及びデジタル透かし処理に関する全範囲の文献に精通しているものと見なされる者である。本出願の主題は、米国特許第5,862,260号、第6,122,403号、2000年5月15日に出願された出願中の特許出願第09/571,422号、2000年7月20日に出願された第09/620,019号、及び2000年8月10日に出願された第09/636,102号に開示されたものに関連している。
米国特許第5,862,260号に説明され、且つ、デジマーク・コーポレーションによって(IMAGEBRIDGEという商標名で)市販されている透かしベースの情報検索の拡張として、透かしデコーダを採用し分散させて、透かしスクリーニングを実行し、インターネットを含むネットワーク上の透かし入りメディアオブジェクトを用いた情報交換を行うことが可能である。例えば、透かしデコーダは、インターネットのようなコンピュータネットワーク上の種々のロケーション、例えば、各サーチエンジンにより収集されたメディアオブジェクトをスクリーニングする複数のインターネットサーチエンジン、ファイアウオールで遭遇するメディアオブジェクトを選別するネットワークファイアウオール、スパイダーが通常届かないローカルエリアネットワーク及びデータベース、コンテンツフィルタ、クライアントベースのウェブブラウザ等に、に配備される。これら分布されたデコーダの各々は、スパイダースレッドとして動作し、透かし情報のログを取る(及び、恐らくはそれに対して作用する)。透かし情報の種類には、例えば、透かし入りメディアオブジェクトにおける透かしからデコードされた識別子、メディアオブジェクトカウント、メディアオブジェクトの位置(それらが見つかった場所)のアドレス、及び、その他のコンテクスト情報(例えば、いかにオブジェクトが使用されるか、誰がそれを使用するか、等々)がある。次いで、スパイダースレッドは、それらのログ又はレポートを中央スパイダープログラムへ送信し、このプログラムが、ログを収集して、情報をサーチ可能なデータベースのフィールドへ集約する。
しかし、インターネットは、広大である。一つの課題として、ウェブ全体にわたって透かし入りコンテンツを探索することがある。
従って、更なる改良を、インターネットの深部において透かしデータを更に探索するために提供する。
本発明の一側面によれば、ネットワークにおいて透かし入りコンテンツをサーチする方法が提供される。この方法は、透かし入りコンテンツに関連する一以上のキーワードを受け取るステップと、当該一以上のキーワードをネットワークサーチエンジンに提供するステップと、を含む。一以上のキーワードに関連するURLのリストがネットワークサーチエンジンから得られる。URLへのアクセスがなされ、各URLにアクセスする間に、各URLのコンテンツがデジタル透かしを求めて、分析される。少なくとも一つの透かし識別子、及びそれに対応するURLの位置は、それらが見つかったときに、報告される。
本発明の別の側面によれば、透かし入りコンテンツのネットワークサーチを管理するシステムが設けられる。この方法は、i)顧客からキーワード及びネットワークの位置情報のうち少なくとも一つを受け取るためのウェブサイトインタフェイスと、ii)複数の分散した透かし検出器と通信するウェブサイトインタフェイスと、iii)キーワード及びネットワークの位置情報を、分散した透かし検出器に伝達するためのコントローラと、iv)デジタル透かし及びそれに対応するネットワークの位置に関連する情報を保持するデータベースと、を含む。
更に別の側面によれば、ネットワークにおいて透かし入りコンテンツをサーチする方法が提供される。この方法は、可視パターンを受け取るステップと、その可視パターンに対応するコンテンツをネットワークにおいてサーチするステップと、を含む。可視パターンに対応するものとして特定されたコンテンツが、デジタル透かしのために分析される。デジタル透かしが見つかったときには、少なくとも一つの透かし識別子及びそれに対応するURLの位置が報告される。
別の課題は、ユーザのコンピュータ又はネットワークコンピュータにローカル記憶されたコンテンツを検出して管理することである。サーチツールが最近出現してきており、ユーザがファイルをサーチして、当該ファイルの一覧を自分のコンピュータ上に作成することを可能にしている。その例には、GoogleのGoogleデスクトップサーチ及びMicrosoftのMSNデスクトップサーチがある。改良を行うことによって、画像及びオーディオに関連するメタデータが最新のものであって、デスクトップサーチツールによって容易にインデックス付け可能なものであることを確実にする。
従って、本発明の更に別の側面によれば、画像又はオーディオファイルを受け取るステップと、画像又はオーディオファイルにおける知覚特徴を特定するステップと、当該知覚特徴に基づいて、画像又はオーディオファイルに対するメタデータを生成するステップと、を含む方法が提供される。
関連する実施の形態では、この方法は、更に、メタデータをデスクトップサーチインデックスでインデックス付けするステップを含む。
関連する別の実施の形態では、上記の特定するステップが、パターン認識、カラー分析、又は顔認識を含む。
本発明の更に別の側面によれば、電子処理回路によって実行するためにコンピュータメモリに記憶された実行可能な命令を有するデスクトップサーチツールが提供される。命令は、i.一以上のコンピュータディレクトリにおいて画像又はオーディオファイルをサーチし、ii.画像又はオーディオファイルを発見したときに、当該ファイルに埋め込まれたデジタル透かしのためにファイルを分析し、デジタル透かしが埋め込まれている場合には、複数ビットの識別子を復元し、iii.画像又はオーディオファイルからメタデータを得て、iv.リモートデータベースに複数ビットの識別子を用いて問合せを行い、ファイルメタデータが最新のものであるかどうか決定する、ための複数の命令を含む。
関連する実施の形態では、デスクトップサーチツールは、更に、ファイルメタデータが最新のものでないときにリモートデータベースからのメタデータを用いてファイルメタデータをリフレッシュするための命令を備える。
本発明の別の側面によれば、デスクトップサーチツールを制御する方法が提供される。この方法は、一以上のコンピュータディレクトリにおいて画像又はオーディオファイルをサーチするステップと、画像又はオーディオファイルが発見されたときに、当該ファイルを分析して、デジタル透かしが埋め込まれているかどうか決定するステップと、を含む。デジタル透かしが埋め込まれている場合には、デジタル透かしにより伝えられた複数ビットの識別子が当該ファイルから復元される。この方法は、更に、画像又はオーディオファイルからメタデータを得るステップと、複数ビットの識別子を用いてリモートデータベースに問合せを行い、ファイルメタデータが最新のものであるかどうかを決定するステップと、を含む。
本発明の更に別の側面によれば、画像又はオーディオに関連したメタデータを収集するための方法が提供される。この方法は、コンテンツ部分及びメタデータ部分を含む画像又はオーディオファイルを受け取るステップと、メタデータを分析して、コンテンツ部分が生成された時刻及び日付のうち少なくとも一方を決定するステップと、一以上のユーザソフトウェアアプリケーションに自動的にアクセスして、時刻及び日付のうち少なくとも一方に関連する情報を収集するステップと、当該情報をメタデータ部分に追加するステップと、を含む。
本発明の更に別の側面によれば、第1の画像又はオーディオファイルのためのメタデータを得る方法が提供される。この方法は、第1の画像又はオーディオファイルに対する生成時間の所定の時間枠内に生成された他の画像又はオーディオファイルを決定するステップと、当該他の画像又はオーディオファイルに関連するメタデータを収集するステップと、当該メタデータの少なくとも幾つかを第1の画像又はオーディオファイルに関連付けるステップと、を含む。
本発明の別の態様によれば、コンピュータを介して、画像又はオーディオファイル或いはファイルディレクトリに対してメタデータをオーサリングする(加える)方法が提供される。この方法は、ユーザが複数のカテゴリーのメタデータからあるカテゴリーのメタデータを選択できるようにするグラフィックユーザインタフェイスを提供するステップと、選択された時に、選択されたカテゴリーのメタデータを、マウスカーソル又はタッチスクリーンを介してディレクトリ内のファイル又はコンテンツに適用することによって、選択されたカテゴリーのメタデータを画像又はオーディオファイル若しくはファイルディレクトリに関連付けるステップと、を含む。
更に別の側面、特徴及び効果は、以下の詳細な説明及び添付図面から更に明らかとなるであろう。
ネットワークサーチを改善するためのシステムを示す図である。 デスクトップサーチツールを示す図である。 図2のデスクトップサーチツールと通信するメタデータレポジトリーを示す図である。 個人のメタデータプロフィールの画像への関連付けを示す図である。 自動的に収集又は生成されたメタデータを選択するためのグラフィックユーザインタフェイスを示す図である。 ユーザのデスクトップにおけるメタデータオーサリングツールを示す図である。 本発明の別の側面に基づくデスクトップインデックス付け方法を示すフローチャートである。 電子メモリを含む身分特定書類を示す図である。 身分特定書類の発行プロセスを示す図である。 関連のデジタル透かしプロセスを示す図である。
詳細な説明
<はじめに>
以下、コンテンツサーチ、インデックス付け、及びデスクトップサーチのためのシステム及びプロセスを説明する。これらの幾つかは、感知できないように埋め込まれたデジタル透かしを他のメカニズムと組み合せて使用して、スチール画像、ビデオ、オーディオ、グラフィック及びテキストを含むメディアコンテンツを特定してインデックス付けする。以下の幾つかのセクションでは、情報を自動的に生成及び収集し、情報をサーチ可能なインデックスでインデックス付けし、情報をメディアファイルに関連付けるための方法及びシステムを説明する。一つのセクションでは、電子回路と共に用いられる身分特定書類であって、デジタル透かし処理によって更に安全が図られた身分特定書類を説明する。
<より多くのインターネットのサーチ及び一体化サーチシステム>
ウェブサーチは、インターネットに対するブームであり続けている。例えば、幾つか挙げると、Google、Yahoo!及びMSNBCがある。ウェブサーチによって、ユーザは、インターネット上に分散された情報を検出することが可能である。しかしながら、現在のサーチシステムには、二つの大きな問題がある。第1に、ウェブクローラーは、サーチエンジン上でインデックス付けするための情報を検出するものであり、インターネットの約10−20%(寛大な推定)しかサーチしない。第2に、ウェブクローラーは、伝統的に、HTML(ハイパーテキストマークアップ言語)ウェブページのような表面的な情報しか探索せず、深部にある情報、例えば、ダウンロード可能なファイル、フラッシュメディア及びデータベース情報を、無視する。
我々は、インターネットを如何に効率的にサーチすべきかという問題に直面している。サーチするインターネットが多いほど、透かし入りコンテンツを探索する機会が高くなる。
第1の解決策は、クライアントベースのウェブブラウザの集団(Army)によって、透かし入りコンテンツを探索することである。
この第1の解決策の一つの実施の形態は、ユーザがインターネットを日常的にサーフィンするときに遭遇するコンテンツをサーチする。特定されると、透かし入りコンテンツ及びコンテンツの位置を中央位置へ報告することができる。このツールの能力は、透かし検出器が、数百又は数千(数百万のこともある)のブラウジングツールに組み込まれたときに発揮される。透かし入りコンテンツは、恐らくはパスワードで保護されているか又は制限されたウェブサイトに置かれており、ユーザがウェブサイトに入った後に、恐らくは、ユーザid又はパスワードを入れて、制限されたウェブサイトへのアクセスが可能になった後に、分析される。
幾つかの更なる詳細な事項について考える。デジタル透かしリーダーは、ユーザのインターネットブラウザ又はファイルブラウザ、例えば、ウインドウズ・エクスプローラに組み込まれる(又はそれと協働する)。透かしリーダーソフトウェア(例えば、プラグインであるか、アプリケーションプログラミングインタフェイスを介して一体化されるか、或いはオペレーティングシステムへのシェル拡張として)が装備されたウェブファイルブラウザを使用して、ユーザは、インターネット及び/又はコンテンツファイルをブラウズする。デジタル透かしリーダーは、ブラウザを通して遭遇するコンテンツを分析する。例えば、ユーザは、ESPN.com、CNN.comをアクセスし、次いで、LotsofImages.comにポストされた画像を見る。透かしリーダーは、ユーザがコンテンツをブラウズするときに種々のウェブページ及びウェブ画像を傍受する。(また、透かしリーダーは、ウェブベースのオーディオ及びビデオも検査するように構成することができる。) デジタル透かしリーダーは、透かし入りコンテンツを探す。透かし入りコンテンツを見つけてデコードすると、リーダーは、透かし識別子を取得する。この識別子は、数値識別子であってもよく、若しくは、テキスト又は他の識別情報を含んでいてもよい。透かしリーダーは、その識別子と、その透かし識別子が見つかったウェブの位置とを記憶する(又は直ちに報告する)。このレポートは、日付/タイムスタンプを含むこともできる。
中央サーバーは、位置のレポートを受け取ると、ウェブの位置にアクセスして、透かし入りコンテンツをサーチすることにより、透かし入りコンテンツの存在を任意に検証することができる。或いは、サーバーは、透かし入りコンテンツを、登録されたコンテンツ所有者に報告する。所有者は、例えば、識別子をその所有者に関連付けているデータベースを検索することによって、特定される。(所有者は、次いで、このレポートを使用して、著作権、商標又は他の知的財産の権利を施行する上での助けとすることができる。) また、中央サーバーは、ログ、言うなれば一連の管理情報を維持して、透かし入りコンテンツ(例えば、オーディオ、ビデオ、画像)が特定の日に特定のウェブの位置で見つかったことを証明することもできる。
透かしリーダーは、特定されたコンテンツをサーバーへ報告することに代えて、コンテンツ識別子及び位置を、透かし入りコンテンツの所有者に直接的に報告することができる。この実施の形態では、透かしは、コンテンツ所有者を特定する情報を含むか、又は当該情報にリンクする。透かしリーダーは、この情報を使用して、透かし識別子と、透かし識別子が見つかった位置とを報告するときに、メッセージ(例えば、自動eメール)を所有者へ適切に向ける。
第1の解決策の関連の実施の形態は、より受動的なものである。透かしリーダーは、ブラウザ(又はスクリーンセーバー)に組み込まれる。透かしリーダーに装備されたブラウザは、コンピュータがアイドル状態であるか又は非アクティブ状態にあるときに、透かし入りコンテンツをインターネットにおいてサーチする。例えば、ブラウザは、スクリーンセーバーが起動されたとき、又はコンピュータが所定の期間において非アクティブ状態であった後に、ウェブサイトを自動的にサーチする(例えば、そこにアクセスする)。
しかし、どのウェブサイトにブラウザがアクセスするのか?
ウェブブラウジングを管理するための多数の適切な解決策が存在する。
第1の実施の形態では、ブラウザ(又は協働ソフトウェア)は、中央サーバーと通信して、アクセスすべきウェブサイトのリストを得る。ブラウザは、リストをキャッシュ記憶し、コンピュータが非アクティブ状態にあるときに、当該リストに列挙されたウェブサイトにアクセスする。或いは、問合せを行ったブラウザにウェブサイトのリストを提供するのではなく、サーバーが、キーワードのリストをブラウザに提供する。これらキーワードは、サーチエンジン、例えば、Googleにプラグインされ、次いで、ブラウザが、得られたウェブサイトを、コンピュータが非アクティブ状態にある期間中にサーチする。ブラウザは、キーワードを受け容れて、サーチエンジンに自動的にアクセスし、そこで、得られたURLを収集してサーチするように構成することができる。或いは、中央サーバーは、サーチエンジンにアクセス(ヒット)して、キーワードをプラグインし、URLを収集することができる。(コンテンツ所有者は、中央サーバーと通信して、顧客がサーチしようとするウェブサイト又はキーワードのリストを与えることができる。)
非アクティブ状態にある期間中に動作するのではなく、透かしリーダーを装備したブラウザは、バックグランドプロセスとしてサーチを行うことができる。例えば、ブラウザは、コンピュータユーザがPowerPointプレゼンテーションを纏め上げたり、又はeメールをタイピングすることに集中している間に、ウェブサイトをサーチする。バックグランドプロセスは、ユーザがウェブブラウジング用のブラウザアイコンをクリックする場合に、又はユーザが付加的なコンピュータリソースを必要とする場合に、任意に中断される。実際に、本発明の一つの実施の形態は、透かしサーチに関連したアクティビティを監視するためのレギュレータ(例えば、ソフトウェアモジュール)を提供する。このレギュレータは、処理又はコンピュータリソースが所定のレベルに到達した場合に透かしサーチアクティビティを自動的に削減する。(また、ユーザが透かしサーチを続けるべきかどうか決定することを可能にするために、ポップウインドウをユーザに提示することも可能である。)
透かしリーダーがデータベース又はフラッシュメディア(或いは分析が困難な他のコンテンツ)に遭遇した場合には、当該透かしリーダーは、このような発見を中央サーバーに報告することができる。中央サーバーは、ウェブサイトに再アクセスして、このような階層構造のコンテンツを取り扱うことができる。例えば、中央サーバーは、データベース又はFlashMediaにおいて透かし入りコンテンツを探索することを可能にするアルゴリズムを使用してもよい。データベースの一例は、画像データベースである。データベースは、恐らくは、ファイル名又はメタデータに対するキーワードサーチにより、又はレコードごとのサーチを経て、捜索される。次いで、各レコード(又は特定のレコード)において、透かし入りコンテンツがサーチされる。
<ターゲットを定めたサーチ>
透かし検出を、ターゲットを定めたサーチと組み合わせると、効率が改善される。
例えば、コンテンツ所有者(例えば、ビーグル(Beagle)の受賞画像の著作権所有者)は、その画像が自分のウェブサイトからコピーされてインターネットに不法に配布されたことを発見するものとする。もちろん、コンテンツ所有者は、自分の画像を自分のウェブサイトにポスティングする前に、当該画像にデジタル透かしを埋め込んでいる。透かしは、画像識別情報、例えば、コンテンツ所有者の名前、画像識別子、データ著作権情報、等を保持し、又は当該情報にリンクしていることが好ましい。コンテンツ所有者は、更に、自分の海賊版画像が、模造品ドックフードの特定ブランド「Yumpsterlishious」にしばしば結び付けられていることを発見するものとする。「Yumpsterlishious」及び/又は「Beagle」にターゲットを定めたサーチ(例えば、サーチエンジンを経ての)が、例えば、1024個のURLのリストを発生するものとする。そして、1024個のURLの各々からのコンテンツを透かしリーダーで分析して、コンテンツ所有者の画像の無断コピーを検出する。疑わしい画像の位置(例えば、URL)は、法的執行のために著作権所有者へ転送することができる。もちろん、その他のキーワードとして、著者、写真家、芸術家、要旨、日付、等を含んでいてもよい。上述した例は、キーワードサーチ(又はターゲットを定めたサーチ)及びデジタル透かし分析を改善する。
ターゲットを定めた別のサーチは、コンテンツに関連するメタデータを使用する。サーチエンジン(又は、ウェブブラウザ、メディアプレーヤ等のメディアハンドラー)は、コンテンツメタデータにおけるキーワードを探す(例えば、ヘッダー、XMLタグ、等)。関連のメタデータ内にあるキーワードを含むコンテンツが(例えば、上述の例から「Beagle」を借りるために)、透かしリーダーによってサーチされて、当該コンテンツが埋め込まれた透かしを有するか否かを求める。或いは、オーディオ又はビデオファイルに関連するメタデータにおいてキーワードがサーチされ、キーワードが見つかった場合に、当該ファイルがデジタル透かしリーダーで更に分析される。この例は、メタデータにおけるキーワードを使用して、透かし検出のための有望な候補を特定する。
また、透かし検出を、いわゆるパターンマッチングと結合することもできる。パターンマッチングアルゴリズムは、公知であり、語彙又は画像ベースのマッチングをインターネットにおいてサーチする際に、このようなアルゴリズムを使用することができる。透かしデコーディングは、所定のパターン基準を満たすコンテンツについてのみ実行される。例えば、パターンマッチングサーチが、Xerloppy・Corporationの商標であるstylistic Xを含む全ての画像又はグラフィックに対して開始される。パターンマッチングサーチは、72のヒットを検出する。次いで、画像(又はグラフィックファイル)をサーチして、当該画像の中にデジタル透かしが埋め込まれているかどうかを決定する。
ターゲットを定めた更に別のサーチツールは、ネットワークトラフィックパターンを改善する。ルーター及びスイッチノードを監視して、インターネットトラフィックのトレンドを求める。透かし読み取りウェブクローラーが、当該トレンドに向けられる。例えば、特定のルーターを監視して、著作権付き(及び透かし入り)画像を含むウェブサイトにアクセスする前に、どこでトラフィックが発生したか又はどこからルーティングされたかを調べる。発生又はルーティングしたことが疑われるウェブサイトは、透かし入りコンテンツのサーチにおいてアクセス(クロール)される。
ターゲットを定めた更に別のサーチ方法は、不正な著作権付き資料が以前に見つかったウェブサイトを定常的に分析する。例えば、サーバーは、透かし入りコンテンツが以前に見つかったウェブサイトのリストを保持する。これらウェブサイトは、透かし入りコンテンツのサーチにおいて定常的にアクセス(クロール)される。
<統合サーチシステム>
図1は、統合サーチ方法を実施するシステム101を示している。「統合」という語は、手動サーチ及び自動サーチの両方を使用するよう動作可能なシステムを表わすために使用される。システム101の一つの目的は、インターネットのようなネットワークにおいてデジタル透かし入りコンテンツを特定することである。このシステムは、中央制御パネル又はインタフェイス102を備え、当該パネルを介してサーチ基準が与えられる。例えば、顧客は、検索語(例えば、「Beagle」)又は透かし入りコンテンツをサーチしようとする特定のウェブアドレスを、例えば、ウェブベースの顧客インタフェイス104を介して、入力することができる。検索語及び/又はURLは、インタフェイス102へ伝送される。インタフェイス102は、それら検索語及び/又はURLを、透かし検出器使用可能のウェブクローラー(又はサーチエージェント)120、又は分散透かし検出器使用可能のウェブクローラー(例えば、上述したウェブブラウザの集団からのソルジャー(soldier)へ送出する。その代替手段として、インタフェイス102は、検索語及び/又はURLを、ディレクテッド・サーチモジュール106に与える。ディレクテッド・サーチモジュール106は、デジタル透かし検出器を含むサーバーベースウェブクローラーである。ディレクテッド・サーチモジュール106は、透かし入りコンテンツのサーチにおいて対応のURLにアクセス(ヒット)する。
図1のシステムは、更に、オペレータがサーチを指令する手動サーチモジュール108を備えている。例えば、オペレータは、ウェブクローラー120に転送されるべきウェブサイトを入力するか、又は透かし入りコンテンツのサーチするためにウェブブラウザを特定のウェブサイトに向ける。或いは、モジュール108を使用して、サーチエンジン、例えば、Googleに接続し、ここで、キーワードが入力されて、得られたURLが、透かし検出器使用可能のウェブブラウザに与えられる。もちろん、サーチエンジンとの接続は、自動的であってもよい。
インタフェイス102はまた、モジュール110(これは、人間との何らかの対話を含んでもよい)と接続して、ウェブサイト、例えば、データベース及びFlashMediaを含むウェブサイトをより深く丹念に探索することを補助することが好ましい。モジュール110はまた、アクセスすべき更なるURLをシステムに与えることもできる。これらのURLは、ウェブクローラー120に直接与えられてもよいが、制御パネル102により制御されることが好ましい。
ウェブクローラー120からの結果(及び分散ウェブクローラーからの報告)は、顧客報告又は更なる分析のために、データベース130に与えられる。
<サーチエンジンのカテゴリー分け>
サーチエンジンは、ウェブクローラーを使用して、ウェブページをカテゴリー分けする。例えば、ウェブサイトのテキストをクローラーによって取得し、当該テキストを使用して、キーワードインデックスを生成する。ウェブサイト所有者は、URL及びキーワードをリストすることによってウェブサイトを登録することも可能である。改良として、登録又はカテゴリー分けプロセスに、デジタル透かし分析を含める。例えば、サーチエンジンのウェブクローラーは、デジタル透かしリーダーを使用し、デジタル透かしを求めてターゲットウェブサイトをスキャンする。デジタル透かしは、固有の識別子、及び恐らくはテキストを含む。識別子及び/又はテキストは、ターゲットウェブサイトのカタログを作成する際に、キーワードとして使用される。例えば、サーチエンジンは、ウェブアドレスを、透かし数値識別子、及び透かしによって伝えられるテキストに対応付け、ウェブサイトがデジタル透かしを含むことを示すことが可能である。透かしベースのキーワードは、ウェブサイトで見つかったテキスト又はHTMLから導出されたキーワードと共にサーチ可能である。
上記のカテゴリー分けの変形例として、コンテンツは、XMLタグを含むことができる。タグは、ウェブサイトのコンテンツの一以上のアイテムがデジタル透かしを含むことを示すフィールドを含むことができる。ウェブクローラー/サーチエンジンは、透かしをデコードする必要がなく、ウェブサイトがデジタル透かしを含むことをXMLフィールド(又はヘッダデータ)から決定する。ウェブクローラー又はそれに関連したサーチエンジンは、「透かしが存在する」という指示情報を、ウェブサイトに関連したキーワードとして含む。また、サーチエンジンのキーワードサーチは、「透かしが存在する」という情報と、関連のキーワード(例えば、「ビーグル」)とを含む全てのウェブサイトを含めることが可能である。それにより得られるウェブサイトリストにおいて、デジタル透かしをサーチすることができる。
<移動アプリケーション>
別のサーチツールは、複数の移動デバイスとの通信を促進し、種々の移動デバイスによって生成されるサーチ結果を改善する。例えば、23歳のジンジャーが土曜の夜にナイトクラブに行くとする。彼女は、彼女の好きな行きつけの場所にたどり着き、3人の親しい友人に出会う。音楽がかかり、会話が騒音と煙で妨げられる。しかし、ワイヤレス通信は、妨げられない。ジンジャーは、いつも通り、無線デバイス(例えば、ポケットPC、ブラックベリー、セルラー電話、等)を携帯している。彼女の装置は、例えば、BlueToothを使用可能であり、ジンジャーの友人が保持する同様のデバイスと容易に通信できる。(以前には、ジンジャー及び彼女の友人は、安全な通信を可能にするパスワード又は共有セキュリティプロトコルを確立していた。さもなければ、無線デバイスを持ってそばに立っている誰かが、彼等のデバイスにおけるコンテンツを傍受することができ得た。) ジンジャーのデバイスは、他のデバイスと通信して、それらが最近サーチを実行したかどうか調べ、そうであれば、サーチの性質が何であったかも調べる。ジンジャーは、サーチのトピック(キーとなる検索語又は識別子)を自分の無線デバイスにプリセットすることができる。サーチのトピックをプリセットするのではなく、ジンジャーの無線デバイスが、ジンジャーのウェブブラウジングの履歴又は過去のインターネットへの問合せに基づいて、サーチのトピックを自動的に生成することが可能である。一つの設定は、他のデバイスにより実行されたサーチの結果を単にコピーすることである。ジンジャーのデバイスは、これらのプリセットされたサーチトピックを使用して、他のデバイスを探索し、それらがジンジャーのサーチ用語に関連した何かを見つけたか否かを調べる。
1人の友人であるキムは、無名のオーストラリアのロックバンドであるAintitniceにより1980年代後半に創作されて演奏された音楽について、昨日、ターゲットを定めたサーチを行った。サーチ結果(及び恐らくはオーディオファイルのよう対応のコンテンツ)が、サーチ結果又は共有ディレクトリに記憶される。(サーチは、キムの移動デバイスで行う必要がなく、キムのホームコンピュータで行って、そのサーチ結果をキムの移動デバイスへ伝送することが可能である。) ジンジャーも、Aintitniceが好きであり、そのグループを自分の移動デバイスに検索語として入力している。ジンジャーの無線デバイスは、キムのデバイスとネゴシエーションして、サーチ結果及び/又はオーディオファイルも取得する。(オーディオファイルが権利保護されている場合には、ジンジャーのデバイスは、オンラインサーバーとネゴシエーションして、音楽を再生するために必要な権利を取得することが可能である。例えば、オーディオファイルは、オンラインサーバーにリンクするために使用されるデジタル透かしを含み得る。)
ジンジャー自身の選択(例えば、キムと友人であって且つAintitniceをプリセットする)並びに接近(例えば、ある友人とナイトクラブに通う)が、移動サーチを可能にしている。
この移動デバイスのサーチの幾つかの組み合せとして、例えば、以下のものがある。
A1.サーチを行う方法であって、
第1の移動デバイスから、第2の移動デバイスへ無線で問合せを行い、第2の移動デバイスが所定のサーチ基準に関連したインターネットサーチ結果を有するか否かを決定するステップと、
少なくともサーチ結果のサブセットを受け取るステップと、
を備える方法。
A2.A1の方法であって、第1のデバイスが問合せを行って、第2の移動デバイスが所定のサーチ基準に関連したコンテンツを有するか否かを決定する方法。
B1.サーチを行う方法であって、
第1のハンドヘルド移動デバイスにおいてサーチ基準を受け取るステップと、
第1のハンドヘルド移動デバイスによって第2のハンドヘルド移動デバイスを感知したときに、第2のハンドヘルド移動デバイスへ自動的に且つ無線で問合せを行って、第2のハンドヘルド移動デバイスが、サーチ基準に対応するコンテンツを記憶しているかどうか決定するステップと、
第2のハンドヘルド移動デバイスからサーチ基準に対応するコンテンツを受け取るステップと、
を備える方法。
上記セクションの幾つかの他の組み合せとして、以下のものがある。
C1.透かし入りコンテンツをネットワークにおいてサーチする方法であって、
可視パターンを表わすデータを受け取るステップと、
当該可視パターンに対応するコンテンツをネットワークにおいてサーチするステップと、
デジタル透かしのための可視パターンに対応するものとして特定されたコンテンツを分析するステップと、
デジタル透かしから、少なくとも一つの透かし識別子を取得するステップと、
デジタル透かしが見つかったときに、少なくとも一つの透かし識別子及びそれに対応するネットワーク位置を報告するステップと、
を備える方法。
C2.C1の方法であって、可視パターンが会社のロゴを含む、方法。
C3.透かし入りコンテンツをネットワークにおいてサーチする方法であって、
リモートサーバーにアクセスして、ネットワーク位置のリストを得るステップと、
コンピュータユーザが非アクティブ状態にある期間中に、当該ネットワーク位置で、デジタル透かしをサーチするステップと、
デジタル透かしが見つかったときに、少なくとも一つの透かし識別子及びそれに対応するネットワーク位置をリモートサーバーに報告するステップと、
を備える方法。
C4.透かし入りコンテンツをネットワークにおいてサーチする方法であって、
リモートサーバーにアクセスして、サーチ基準を取得するステップと、
コンピュータユーザがアクティブ状態にある期間中に、バックグランドプロセスとしてデジタル透かしをインターネットにおいてサーチするステップと、
デジタル透かしが見つかったときに、少なくとも一つの透かし識別子及びそれに対応するネットワーク位置をリモートサーバーに報告するステップと、
を備える方法。
C5.C4の方法であって、サーチ基準が、ユーザによりアクセスされたインターネットコンテンツをサーチするための命令を含む方法。
C6.C4の方法であって、サーチ基準がキーワードを含む方法。
C7.C6の方法であって、ネットワークサーチエンジンに自動的にアクセスするステップと、ネットワークサーチエンジンにキーワードを提供するステップと、そこから、キーワードに関連したURLのリストを取得するステップと、を備え、当該サーチがURLのサーチを含む方法。
C8.透かし入りコンテンツのネットワークサーチを管理するためのシステムであって、
顧客からキーワード及びネットワーク位置情報の少なくとも一つを受け取るためのウェブサイトインタフェイスと、
複数の分散された透かし検出器と通信するためのウェブサイトインタフェイスと、
複数の分散された透かし検出器へのキーワード及びネットワーク位置情報の伝送を制御するためのコントローラと、
デジタル透かし及びそれに対応するネットワーク位置に関連した情報を保持するためのデータベースと、
を備えるシステム。
C9.透かし入りコンテンツのネットワークサーチを管理するためのシステムであって、
遠隔の顧客からキーワード及びネットワーク位置情報の少なくとも一つを受け取るためのウェブサイトインタフェイスと、
デジタル透かし検出器を含み又はそれと協働するウェブブラウザと、
ウェブブラウザへキーワード及びネットワーク位置情報を伝送するためのコントローラであって、キーワードに関連した位置又はネットワーク位置をウェブブラウザがサーチするコントローラと、
デジタル透かし及びそれに対応するネットワーク位置に関連した情報を保持するためのデータベースと、
を備えるシステム。
<デスクトップサーチ>
本発明の別の側面は、効率的なメディア(例えば、オーディオ、画像及びビデオ)サーチ及びカタログ作成を可能にするデスクトップサーチツールである。このツールは、メタデータのリフレッシュ能力も提供することが可能である。
ユーザコンピュータ200(図2)に常駐するサーチツール201(例えば、ソフトウェアプログラム又はアプリケーション)を開始する。このサーチツールは、二つの主たるソフトウェア要素、即ちインデックシングツール202と、デスクトップサーチツール204と、を備えている。もちろん、これらツール202及び204は、個別の要素又はソフトウェアアプリケーションである必要はないが、ここでは、個々のファンクションの説明を容易にするために個別に参照する。ソフトウェアは、ソフトウェアプログラマーが利用可能な言語、例えば、C、C++、ビジュアル・ベーシック、Java、Python、Tcl、Perl、Scheme、Smalltalk及びRuby、等で書くことができる。
インデックスツール202は、画像、オーディオ又はビデオファイルのサーチのために、ユーザコンピュータ(又はホームネットワーク)を捜索する。インデックスツール202は、その検出結果を、一以上のインデックスでカタログ化する(例えば、インデックスを生成する)。「インデックス」とは、ワード、数字及びキャラクタ、並びにこれらに関連したファイル及び位置のサーチ可能なリスト又は集合を含むものである。次いで、ユーザは、キーワードを含むファイルを見つけたいときに、全コンピュータではなく、インデックスをサーチする。サーチは、デスクトップサーチツール204で実行される。ここでは、画像(image)及びビデオファイルの両方を「画像(imagery)」と称していることについて言及しておく。「画像」という用語の使用は、マルチメディアファイルもカバーするに足る広いものある。
デスクトップサーチツール204は、ユーザインタフェイス(例えば、デスクトップウインドウ又はHTMLベースのインタフェイス)を提供し、当該ユーザインタフェイス通してユーザは、特定の画像又はオーディオファイル或いはそれらに関連したメタデータを見つけるためのインデックスを問合せる。画像又はオーディオファイルは、通常、コンテンツ部分及びメタデータ部分により画成されている。
ユーザは、記憶エリアを選択して、サーチツール201によってサーチ及びカタログ化を行うことができることが好ましい。この記憶エリアとは、例えば、Cドライブ、あるファイル又はディレクトリ、及び/又は、取り外し可能な媒体(ジップドライブ、外部ハードドライブ、DVDドライブ、アタッチ型MP3プレーヤ、又はジャンプドライブ(フラッシュメモリ、USBドライブ))等である。もちろん、ユーザは、自分の全コンピュータ又はホームネットワークを選択することができる。サーチツール201は、バックグランドサーチモードに置かれることが好ましい。
バックグランドサーチモードで動作するときには、サーチツール202は、ユーザが他のアプリケーションにおいて作業を行う間に、コンピュータをサーチする(例えば、全ての到来するファイルを定常的に調べる通常のウィルス対策ソフトウェアに類似する)。このバックグランドモードは、新たなファイルがユーザのコンピュータ又はホームネットワークによって生成され又は受け取られるときに、新たなファイルをフィルタリングすることが好ましい。
説明を簡単にするために、画像ファイルに焦点を当てる。しかしながら、本発明の技術が画像又は画像ファイルに限定されるものでないことを理解されたい。むしろ、本発明の技術は、オーディオ及びリッチコンテンツ(例えば、マクロメディアフラッシュファイル)等にも適用できる。
本発明のインデックシングツールは、例えば、ファイル拡張子*.gif、*.jpg、*.bmp、*.tif、等により特定される画像ファイルをサーチする。(オーディオ又はビデオファイルをサーチする場合には、*.au、*.wmv、*.mpg、*.aac、*.mp3、*.swf、等をサーチしてもよい。)
画像が、検出されると、インデックス付けされる。これを行うために、画像は、メタデータ部分がもしあれば、当該メタデータ部分にアクセスするに足るよう開かれる(例えば、恐らくは、圧縮された画像部分にアクセスせずに)。メタデータは、サーチ可能なインデックスを含ませるように提供することが可能である。例えば、「Falls.jpg」と称する画像が、記述フレーズ“Picture of Falls taken near Silver Lake, Montana(モンタナ州シルバーレイク付近で撮影された滝の写真)”を含むメタデータを有するものと考える。ファイル名及び記述フレーズは、ファイル位置及び記述フレーズ内の他のメタデータと共に、デスクトップサーチインデックスに追加される。
この第1の実施の形態は、サーチツール201が、アプリケーションプログラムインタフェイスを通してデスクトップサーチインデックス(例えば、MSNデスクトップサーチ)と協働するときに最良に機能する。例えば、デスクトップサーチが画像ファイルに遭遇すると、当該デスクトップサーチがサーチツール201をコールするか、又は画像ファイル又はファイル位置をサーチツール201へ渡す。別の態様では、IFilterShopLLCからの画像サーチソフトウェア(www.ifiltershop.comにおいてオンラインで入手できる)をインデックスツール202の要素として使用する。IFilterShopソフトウェアは、画像において当該画像に関連したメタデータをサーチする上での助けとなる。このようなメタデータは、デスクトップサーチツール204によりサーチされるべきインデックスに追加される。
第2の実施の形態では、インデックスツール202は、サーチされた各画像ファイル用のHTMLファイル(又はXML、ワード、又は他のテキストサーチ可能なファイル)を生成する。HTMLファイルは、画像ファイルと同じディレクトリ、又はサーチツールにアクセス可能なディレクトリに記憶されることが好ましい。HTMLファイルは、画像ファイル名(「Falls.jpg」)、用語のリスト(「Picture of Falls taken near Silver Lake, Montana」)、及び他のメタデータ(時刻、撮影日付、カメラパラメータ、地球座標(geo-coordinates)、等)を含む。HTMLファイルは、同様のファイル名を、異なる拡張子(例えば、「Falls.dwm.html」)と共に有することが好ましい。HTMLファイルにJPEG画像のサムネイル表示を任意に含める(又は関連付ける)ことも可能である。
HTMLファイルは、サーチ可能である。例えば、インデックスツール202(又はGoogle及びMSNデスクトップサーチツール)は、メタデータ(例えば、テキスト)をHTMLファイルにおいてサーチすることができ、検出すると、サーチツールは、メタデータを、当該サーチツールのデスクトップインデックスに追加する。
<デジタル透かし>
上述したデスクトップサーチの第1及び第2の両実施の形態では、埋め込まれたデジタル透かしを求めて、画像ファイルがサーチされることが好ましい。即ち、インデックスツール202は、デジタル透かし検出器を備え、又はそれと協働する。検出した場合には、HTMLファイルに透かし指示子(例えば、テキスト、番号又はグラフィック指示子)が与えられて、画像ファイルが透かし入りであること、及び、如何なる情報が透かしによって保持されているか(例えば、複数ビット識別子又はメッセージ)が、示される。
従って、画像に埋め込まれたデジタル透かしは、デスクトップサーチツールによりサーチ可能となる。
透かしが画像内に検出されなかった場合には、透かしを必要に応じて当該画像に埋め込むことが可能である。
また、透かしは、以下に詳細に探求するように、画像とオンラインメタデータレポジトリー(格納装置)との間をリンクするための識別子としても使用できる。
<透かしベースのリフレッシュ>
2000年1月13日に出願された米国特許出願第09/482,786号、及びその親特許出願では、メタデータレポジトリーを参照し、ステガノグラフィー識別子を使用して、メタデータレポジトリーにアクセスしている。
それに関連する実施の形態をここで提供する。
メタデータは、その基礎をなすコンテンツと分離されることが不可避であるという前提でスタートする。コンテンツをスケーリングし、切り取り、編集し、変換し、送信することによって、メタデータがそのコンテンツから分離する機会が増加する。
デジタル透かしは、メタデータとコンテンツとの間に持続的リンクを与える。
本発明の一側面は、メタデータの「リフレッシュ」又は同期である。デスクトップサーチツール201は、インデックス付けプロセスの一部分として、メタデータレポジトリーを用いてチェックを行い、画像に関連したメタデータが現在のもの、即ち最新のものであることを確実にする。(明らかなように、これらのリフレッシュ又は同期技術は、Google及びYahoo!のようなインターネットサーチツールへと拡張することも可能である。サーチエンジンは、サーチの後又はその一部分において、検出された特定の画像、オーディオ、又はビデオに対してメタデータを設けたい(ポピュレートしたい)か否かをサーチャーに尋ねることができる。以下に述べる方法及びシステムは、このようなポピュレート動作に使用することができる。)
より詳細には、デスクトップサーチツール201は、メタデータレポジトリー210(図3)に問合せを行い、遭遇した画像に関連したメタデータがあるか否かを調べる。
レポジトリー210は、ユーザのコンピュータ200にローカルに記憶することも可能であるが、より好ましくは、レポジトリー210は、ネットワーク(例えば、インターネット又はセルラーネットワーク)を介してアクセスされる。
遭遇した画像にデジタル透かし識別子が埋め込まれている場合には、その透かし識別子がメタデータレポジトリー210に伝送される。この識別子を使用して、レポジトリー210を指し示し、当該識別子に関連した情報を検出する。この情報は、サーチツール201へインデックス付けのために伝送される。レポジトリーに記憶された情報は、画像メタデータに対してチェックされる。レポジトリー情報が最も現在のもの、即ち最新のものである場合には、当該情報がアクセスされてインデックス付けされる(また、恐らくは、ユーザのコンピュータに記憶され又はその画像に関連付けられる)。しかしながら、画像が最新のメタデータを含む場合には、画像メタデータがメタデータレポジトリーへコピーされ、透かし識別子に基づいてカタログ化されるのが好ましい。関連メタデータ「freshness(フレッシュさ)」は、例えば、メタデータタイムスタンプ又は「last updated(最後に更新された)」とのファイルインジケータによって決定することができる。或いは、ファイルメタデータが見つからない場合には(非フレッシュの別のケース)、レポジトリーからのメタデータがインデックス付けのために与えられて、画像ファイルに関連付けされる。
ユーザは、さほど信頼できるものではないので、新たなメタデータ又はフレッシュコンテンツを簡単に除外するために、ハッシュ又は他の縮小ビット識別子を使用して、コンテンツ及びメタデータの信憑性を検証することができる。例えば、ヘッダは、基礎となるコンテンツがEaglesによる歌であることを示す。ヘッダは、歌のハッシュを有して、コンテンツ及びヘッダ情報の検証を可能にする。ハッシュは、メタデータと共に、信頼性のある第三者のレポジトリーへ提供される。このハッシュが認証されて、メタデータ(及び歌)が信頼できるものと見なされる。
サーチツール201は、メタデータレポジトリー210を用いて周期的にチェックを行い、画像メタデータ(及びこのようなメタデータのインデックス)が最新のものであることを確実にする。また、グラフィックユーザインタフェイスによって選択可能なボタンを提供して、ユーザがメタデータレポジトリー210に連続的に(又は頻繁に)問合せするための特徴を選択することを可能とし、メタデータのフレッシュさを保障してもよい。
別の実施の形態として、サーチツール201は、遭遇した画像それ自体がレポジトリー210に記憶されているかどうか問合せする。記憶されていない場合には、サーチツールは、画像のコピーをレポジトリー210に提供する。そして、メタデータ及び画像の両方がレポジトリー210に記憶される。また、サーチインデックスを更新して、画像それ自体がレポジトリー210に記憶されたことを反映することが可能である。(ある場合には、画像は、それがレポジトリーにコピーされたときにユーザのコンピュータから除去される。) 画像の登録は、サーチツール201により自動的に行うことが可能である。例えば、登録は、ユーザのアカウントへの画像の関連付け、又は固有の識別子の割り当て(例えば、デジタル透かし、指紋、又はハッシュを介して)を含んでもよい。
透かしベースのメタデータ収集の幾つかの更なる実施例について考える。
駆け出しの写真家は、ディズニーランドでの休暇中にメモリカード一杯に写真を撮る。旅行に出る前に、写真家は、撮影する写真の幾つか又は全部に同じ識別子を用いた透かしを入れるために、カメラをプログラムしてした(セルラー電話に組み込まれたものかもしれない)。識別子は、データレポジトリー210において、キーワード又は情報(例えば、休暇の日付、場所、旅行の家族メンバー、オンラインジャーナル、等)に関連付けられている。サーチツール201は、ディズニーランドの写真内の透かし識別子に遭遇すると、付加的なメタデータをサーチするために、識別子を用いてデータレポジトリー210に問合を行う。キーワード又は情報がデータレポジトリー210から検索されて、デスクトップサーチのためにインデックス付けされる。このようにして、識別子を使用し、付加的なメタデータが生成される。また、メタデータを、サーチ可能なインデックスでインデックス付けすることも可能である。
ここで、レポジトリー210が公開されたレポジトリーであるとする。若い写真家は、ディズニーランドに広く関連した識別子を選択する。即ち、写真家は、ディズニーランドで休暇を取るときに人々が一般に使用する識別子を選択する。恐らくは、透かし識別子は、信頼性のあるメタデータブローカー、即ちキーメタデータ「グラウンド・ツルース(ground truths)」(例えば、場所、イベント、日付、等のような)に関連したメタデータを提供し又は得ることに関して信頼性のある者を通して得られる。メタデータブローカーは、次いで、識別子、又は識別子が関連付けられている場所/イベントに関連する一般的なメタデータを収集する。ユーザ識別子を、選択された識別子と共に使用して、若い写真家を特定する際の助けとすることができる。公開された又は信頼性のあるメタデータブローカーは、識別子に関連したデータレコードを設け(ポピュレートし)、又は取得する(例えば、人々がディズニーランドのお気に入りの記憶、演出、ミッキーマウスの真相を郵便で知らせ、又は信頼性のあるメタデータブローカーがメタデータそれ自体を得る、等々である)。サーチツール201は、ディズニーランドの写真における透かし識別子に遭遇すると、付加的なメタデータをサーチするために、識別子でデータレポジトリー210に問合せを行う。データレコードが検索され、デスクトップサーチのためにインデックス付けされる。(もちろん、公開識別子に代えて、半公開識別子を提供してもよい。例えば、家族の集いに参加する全てのメンバーが、同じ識別子を使用することができる。「同じ」という語の使用は、透かしが多数のペイロードフィールドを有する状況を含み、「同じ」識別子が所定のフィールドに含められる。このマルチペイロードフィールドの状況では、二つの透かしが同じ識別子を含んでもよいが、異なるフィールドに異なる情報が記憶されることがある。)
<メタデータの収集>
メタデータは、他の技術を使用して収集することも可能である。例えば、画像の位置は、関連する手がかりから推測することができる。「DisneyLand001」という名前の画像ファイルは、おそらく、ディズニーランドで撮影されたものである。ディズニーランドという語が、メタデータを収集するために、インターネットサーチエンジン又はデータレポジトリーに提供される。メタデータは、デスクトップサーチツールに提供され、当該ツールが画像ファイルのメタデータ部分を更新し、サーチ可能なデスクトップインデックスで新たなメタデータをインデックス付けする。
ディレクトリ構造体の名前、並びに/又は、日付及び時間情報を使用して、メタデータを収集することが可能である。例えば、サーチツール201が(例えば、メタデータフィールド、又は透かし日付/タイムスタンプから)2005年2月14日の午後8:30に写真が撮られたことが分かる場合には、当該サーチツールは、この情報を使用して、関連メタデータを収集することができる。恐らくは、サーチツールは、写真家のアウトルックカレンダー又は他のカレンダーソフトウェアに問合せを行い、その時間に何がスケジュールされていたか(ジェークとジェーンの「バレンタイン」日のディナー)を調べる。この情報は、デスクトップサーチツール201によってインデックス付けするために提供される。この情報は、インデックス付けのために提供されるだけでなく、画像ファイルにメタデータとして関連付けることも可能である。
或いは、ユーザが電子ジャーナル又はダイアリーを保持している場合には、当該ジャーナル又はダイアリー内のある日付を同様に問合せることが可能である。例えば、ジャーナルのエントリー内のワード又は用語が抽出され、インデックス付けされ、次いで、メタデータとして記憶される。さらに、サーチツールは、財務又は小切手帳ソフトウェア(例えば、マイクロソフト・マネー又はオンラインバンクステートメント)にアクセスして、この時間の付近の領収証やエントリーをチェックすることができる。(アウトルック、MSマネー、ワード及びエクセルとのインタフェイスは、このようなプログラム及びそれらのインタフェイスに関する公開情報を考えると、当業者にとって単純なことである。例えば、アウトルックは、おおよそ、マイクロソフト・ビジュアル・ベーシックで書かれたプログラムからのオートメーション技術を使用してアクセスすることが可能である。他の技術は、アプリケーションプログラムインタフェイス等を使用する。)
デスクトップサーチツール201はまた、追跡記録を使用して、メタデータを収集することも可能である。例えば、ユーザが、兄弟であるスコットからeメールされた写真を受け取るものとする。eメールの記録(誰からいつ受け取ったか)を写真に対するメタデータとして使用することができる。(上記説明から、全てのファイルは、受け取ったときにサーチできることを想起されたい。例えば、インデックスツール202は、アウトルックインボックスに新たな画像が受信されていることを認識する。eメール履歴及び画像がインデックスツール202により探索されて、この情報が収集される。)
インターネット履歴又はキャッシュも調べられる。例えば、インターネットサーチエンジンに入力された検索語は、ブラウザの履歴から引き出されるか、又はキャッシュ記憶されて、サーチによって検出された画像に対してメタデータとして使用される。
今日のカメラの多くは、GPSユニットを装備している。これらのユニットにより収集されたGPSデータは、ヘッダ又は透かし情報内に記憶することができる。サーチツール201は、GPSデータを使用して、関連メタデータを探索する。例えば、GPS座標が画像から抽出され、地理データベースに提供される。これら座標は、データベースをインデックス付けし、地理的位置に関連したメタデータを見つけるために使用される。メタデータは、都市の名前、経歴情報、現在の天気、ビルの仕様、関連する写真、等を含むことができる。
画像に関してなされる一般的な「推定」からメタデータを収集することも可能である。例えば、隣接写真におけるメタデータを見ることができる。例えば、三つの写真、即ちフォト1、フォト2及びフォト3を含むディレクトリについて考える。フォト2に対するメタデータを収集するときに、サーチツール201は、フォト1及びフォト3に関連するメタデータを見て、フォト2に対するメタデータを補う。それらの写真は、同じ又は略同じ時間に、同じ又は略同じ場所で撮影された見込みがある。同様に、タイムスタンプを使用して、5分又は10分の時間枠内のように互いに接近して撮影された画像を決定する。このようなタイムフレーム内の画像は、関連している見込みがある。この時間枠は、ユーザの好みで拡張することができる(例えば、ディズニーランドの休暇をカバーするために7日に拡張される)。これらの画像に関連したメタデータは、サーチツール201によって使用されるか、又はターゲット画像に関連付けられる。
GPSデータ及びタイムスタンプを使用して、更に別の情報を発生することが可能である。例えば、スポーツ熱狂者が、ダラスにおけるNCCA男子バスケットボール準決勝を観戦している間に、何枚かのスナップ写真を撮る。GPS座標及びタイムスタンプが写真に関連付けられる(例えば、埋め込まれた透かし又はヘッダ情報として)。GPSは、場所(例えば、スポーツアリーナ)を特定するために使用され、タイムスタンプは、スポーツアリーナにおけるイベント(バスケットボールゲーム)を特定するために使用される。これらの用語を検索語として使用して、そのイベントに関連した付加的なメタデータ、ストーリー、スコア、等を特定することができる。この情報は、画像への関連付けのために提供される。
<メタデータの発生>
画像に対するメタデータを自動的に発生することも可能である。
バイオメトリックセンサ(例えば、指紋スキャナ)を有する携帯電話について考える。(例えば、韓国の最大ワイヤレスネットワークオペレータの一つであるLGテレコムは、最近、バイオメトリック携帯電話LP3800を売り出した。他の製造者も、競合する携帯電話を提供している。)ユーザは、携帯電話によってスキャンするために自分の指を提示する。ユーザは、指紋で特定される。サーチツール201は、この指紋識別子を写真家のメタデータとして使用する。(例えば、サーチツール201は、携帯電話に問合せし(例えば、ワイヤレス又はBluetoothの傍受により)、写真を撮影した写真家が誰であるのかについて質問する。写真は、ファイル名又は他の識別子によって携帯電話のカメラに対して特定される。或いは、写真家の識別子が写真のメタデータに含まれている場合には、サーチツール201は、その識別子が誰に対応しているのかを調べるために携帯電話に問合せを行う。バイオメトリック識別子に以前に遭遇している場合には、サーチツールは、携帯電話と通話するのではなく、過去のセルラー電話質問結果を使用することができる。もちろん、人間の指紋(又はそこからのテンプレート)をメタデータそれ自体として使用することも可能である。
サーチツール201はまた、パターン認識又はカラー分析モジュールを有するか、又はそれと協働してもよい。メタデータは、画像パターン認識を介して発生される。例えば、サーチツール201は、パターン認識モジュールを用いて画像を分析する。その結果がメタデータとして使用される。(例えば、パターン認識モジュールは、木の写真を分析した後に、用語「木」を返送する。) 画像のカラー分析を行うことも可能であり、例えば、画像の三次元カラー空間ヒストグラムを計算することも可能である。ヒストグラムは、主要カラー(例えば、赤、ピンク、黄色、等)を特定する。主要カラーは、画像領域に基づくか、又は主要カラーを含む画像の割合に基づくことができる。或いは、最上位の三つ、又はその程度のカラーだけが、特定の画像に対してインデックス付けされる。デスクトップサーチツール204にタイプされた又は対話された要求がピンクの帽子をかぶった祖母の写真を要求しているものと想像することができよう。この問合せは、特に、用語「祖母(grandma)」及び「ピンク(pink)」を含む。用語「ピンク」は、カラー分析によって自動的に求められた主要カラーとしてピンクを有する写真を特定する。このサブセットは、メタデータとして祖母を含む全ての写真と照合される。それによって得られた写真のセットは、ユーザによる精査のために特定される。
他のメタデータを画像特性から推定することが可能である。「暗い」写真(カラー又はピクセル分析により求められる)は、その写真が夜又は室内で撮影されたことを暗示し得る。
パターン認識又はデジタル透かしではなく、サーチツール201は、指紋モジュールを含むか又はそれと協働してもよい。「指紋(fingerprint)」という語は、画像ハッシュのような画像の縮小ビット表示を意味するために使用している。「指紋」及び「ハッシュ」との語を、交換可能に使用することがある。指紋を生成し、これを使用してデータベースに問い合わせる。データベースでは、他の画像が指紋形成されている。例えば、エンパイアステートビルの異なる写真は、同様の(又は関連した)指紋を生じる。これらの写真及びそれに対応する指紋は、データベースにおいてインデックス付けされる。厳密な一致は頻繁には見られないかもしれないが、統計学的に関連していると見なされる指紋は、あり得る組合せとして返送される。これらの指紋に関連したメタデータも、返送することが可能である。(指紋及び透かしを効果的に結合することもできる。例えば、デジタル透かしをメタデータへの持続的リンクとして使用し、一方、指紋を識別に使用することができる。)
サーチツール201はまた、顔認識モジュールを含むか又はそれと協働することができる。顔認識ソフトウェアを使用して、画像に示された人々を識別する。顔認識ソフトウェアは、トレーニングすると、画像を分析して、そこに示された人々を識別できるか否かを調べる。示された人々の名前をインデックスして、画像に関連付けることができる。或いは、個人のプロフィール(名前、誕生日、家族関係等)を生成して、個人と関連付けることができる。次いで、顔認識ソフトウェアが個人を識別するときには、個人のプロフィールがメタデータとして画像に関連付けられる。(図4は、この方法の一実施例を示す。顔認識ソフトウェア401は、画像402を分析し、画像がジェーンを示すと決定する。プロフィールデータベース403に質問して、ジェーンのプロフィール404(例えば、名前、現在年齢、誕生日、等)を得、そしてプロフィール404がメタデータとして画像に関連付けられる。)
メタデータは、ユーザのホームドメイン内のサーチ装置によって発生することが可能である。例えば、サーチツール201は、カメラ及びGPSユニットを装備したユーザの携帯電話との通信を開始する(例えば、Bluetooth又はワイヤレス接続を介して)。サーチツール201は、カメラがどこで写真を撮影したかを問合せする。画像取得の地理的位置及び時間をメタデータとして使用することもできるし、又はメタデータを見つけるために使用することも可能である。携帯電話又は他のカメラに問合せするのではなく、サーチツールは、ユーザのTiVo装置、ゲームコンソール(例えば、Xbox又はPlayStation)、音楽プレーヤ(例えば、iPod又はMP3プレーヤ)又はPDAと対話することが可能である。これらのソースから収集された関連情報(例えば、ジャーナル、カレンダー、他の画像、音楽、ビデオゲーム、等)は、ユーザデスクトップ上の特定ファイル用のメタデータとして使用することができる。
<ユーザ選択>
サーチツール201(図2)は、好ましくは、一つ以上のユーザインタフェイス(例えば、ツール204により与えられる)を備え、当該インタフェイスを通して、ユーザは、ツール201と対話することが可能であり、ツール201によって見つけられるか又はインデックス付けされたメタデータと対話することができる。
例えば、ユーザは、好ましくは、サーチツール201が付加的なメタデータを検出しそうなインターネットベースのサイトを、デスクトップサーチツール204を通して、選択することができる。(ユーザは、URLをタイプ入力するか、又は所定のメタデータウェブサイトをハイライト処理することができる。)
ユーザはまた、このようなインタフェイスを通して、一以上のフィルタを設定できることも好ましい。「フィルタ」は、メタデータとして使用されるべき情報を制限又は選別するソフトウェアモジュール又はプロセスである。フィルタは、ユーザが意味のない可能性のあるメタデータを取り除くことを可能にする。例えば、一つのフィルタオプションは、ユーザのデスクトップから収集されたメタデータだけを画像に関連付けることを可能にする。別のオプションは、ユーザが、好ましい又は信頼性のあるものとしてメタデータのソースを設定することを可能にする。レポジトリー210から収集されたメタデータは、信頼性があるものと指定されてもよいが、画像ヘッダにおいて検出されたテキストの自動インターネットサーチによって収集されたメタデータは、信頼性がないことがある。関連フィルタオプションは、ユーザがメタデータのソースに基づいてメタデータを予めランク付けすることを可能にする。メタデータが充分なランクのものでない場合には、画像ファイルが新たなメタデータを含むように拡張されず、低いランクのメタデータは、インデックス付けされない。更に別のフィルタオプションは、ユーザによって承認されたメタデータだけを画像に関連付けることを可能にする。
収集又は発生されたメタデータは、ユーザによる再検討及び承認のためにインタフェイスを介して提示されることが好ましい。例えば、メタデータは、チェックボックスを備えたグラフィックウインドウ(図5を参照)を介して提示される。ユーザは、画像に関連付けしたいメタデータを単にチェックし、サーチツール201が、メタデータ部分を更新して、ユーザの選択を反映する。チェックボックスに代わりに、ユーザは、保持することを望むメタデータをハイライト表示することも可能である。
<ディレクトリビュー>
本発明の別の特徴は、ディレクトリビューである。ファイルは、しばしば、ディレクトリ及びフォルダによって配列されてグラフィック表示される。(あなたのコンピュータディレクトリの「My Documents」を単にクリックして、ファイルが如何に配列されているのかを参照されたい。)
この改良は、ファイルをそれらのメタデータに基づいて配列してグラフィック表示する。例えば、サーチツール201によって収集された情報に基づき、画像が、当該画像に関連したメタデータに従ってコンピュータディスプレイ上に配列されてグラフィック表示される。メタデータのカテゴリーは、ユーザの好みで変化し得るが、幾つかの例を以下に示す。
ユーザが、三つの広いメタデータカテゴリー、即ち休暇、プロフェッショナル、及び家族を選択する。
プログラム(又はオペレーティングシステム)は、サーチツール201によって提供されたインデックスを問合せする。画像を「休暇」画像として特定するメタデータを含む全ての画像は、休暇ディレクトリに関連付けられ、画像を「家族」として特定するメタデータを含む全ての画像は、家族ディレクトリに関連付けられる。
ユーザは、メタデータのカテゴリーを変更することにより「ファイルディレクトリ」ビューを変更することができる。ユーザはまた、サブディレクトリも確立することができる(例えば、休暇ディレクトリ内のディズニーランド及びナイアガラの滝のメタデータ表示)。
画像は、典型的なディレクトリツリー形態ではなく、メタデータ構造で配列されて表示される。ユーザがメタデータ要求を変更すると、デスクトップ配列も変更される。
ディレクトリビューの視覚表示はまた、例えば、メタデータ又はメディアの特定形式に関連したスタイルシートに基づいて変更することができる。スタイルシートは、家族のメンバーごとに(又はWindowsのログインプロフィール間で)変化し得る。音楽も、そのコンテンツに基づいて表示することができる。例えば、特定のリズム又はハーモニーをもつ音楽を、一意に、又はスタイルシートに基づく等によって、提示することが可能である。
上記のファイルディレクトリの多数の可能性のある組み合せの一つは、次のものを含む。
D1.コンピュータに記憶されて、コンピュータ上で動作するグラフィックユーザインタフェイスであって、
コンピュータディスプレイを通して、ファイルのグラフィック表示を提示する第1のモジュールと、
表示用に各ファイルに関連したメタデータを決定する第2のモジュールと、
表示用に上記ファイルを当該ファイルのメタデータに基づいてグラフィカルに編成する第3のモジュールと、
を備えるグラフィックユーザインタフェイス。
<メタデータオーサリング>
図6を参照して、メタデータオーサリングツール206(例えば、ソフトウェアアプリケーション)について説明する。オーサリングツール206は、ユーザがメタデータにアノテーション付けし、メタデータをマルチメディアコンテンツに関連付けることを可能にする。ほとんどの画像編集ソフトウェア(例えば、マイクロソフトからのデジタル・画像・スイート)は、メタデータオーサリング能力を提供するが、本明細書では、本発明による幾つかの改良を提供する。
一つの改良は、画像又は画像のグループに所定のメタデータを「ペイント」する能力である。例えば、ソフトウェアアプリケーションの設定において、異なるメタデータの選択、例えば、「休暇」、「家族」のような用語、又はプロフィール(「ジェーンの個人的プロフィール」)、等を可能にするメタデータツールバーが、本発明により提供される。メタデータツールバーからメタデータのカテゴリーを選択(クリック)することで、画像又はファイルディレクトリにメタデータをペイントすることができる。(メタデータを選択すると、マウスカーソルがペイントブラシとして現われるようになることが想像できよう。次いで、選択されたメタデータを画像に文字通り「ペイント」する。画像又はディレクトリアイコン表示(又はサムネイル)は、メタデータに関連したカラーを変化させて、メタデータが画像に添付されたというユーザフィードバックを提供することができる。)その舞台裏では、メタデータ及びターゲット画像のユーザ選択によって、画像ファイルのメタデータ部分にどのメタデータを追加すべきかがオーサリングツール206に伝えられる。メタデータ部分は、「ペインティング」を反映するように書き直されるか又は追加される。
<更に多くのデスクトップサーチ>
ここで、デスクトップサーチの話題に戻る。別の実施の形態では、画像(並びに/又は、オーディオ及びビデオ)サーチツール(例えば、C++で書かれたコンピュータプログラム)が、本発明により提供される。画像サーチツールは、ユーザの装置(例えば、コンピュータ、ネットワークサーバー、iPod、セルラー電話、等)に常駐し、画像をサーチするために、ファイル及びフォルダをアクセスする。例えば、サーチツールは、ファイル拡張子*.gif、*.jpg、*.bmp、*.tif、等により特定される画像ファイルをサーチする。(オーディオ又はビデオファイルをサーチする場合には、*.au、*.wmv、*.mpg、*.aac、*.mp3、*.swf、等をサーチしてもよい。) 別の実施例では、ユーザ(又はオペレーティングシステム)が画像ディレクトリを特定し、サーチツールがそれら特定されたディレクトリの各々を探索する。
図7を参照する。特定すると、サーチツールは、画像を開いて、埋め込まれたデジタル透かしを画像内でサーチする。サーチツールは、透かし検出器を含んでいてもよく、又はそれをコールしてもよい。透かし情報(例えば、複数ビットのペイロード)は、検出されると、第1のファイル、例えば、XMLファイルに与えられるか又はそれに含められる。第1のファイルは、同じファイル名を含むが、異なる拡張子を有することが好ましい。画像は、当該画像からメタデータ(例えば、EXIF情報、ヘッダ情報、又は他のメタデータ)を得るために更に評価される。メタデータは、第1のファイルに与えられるか、又はそれに含められる。第1のファイルは、画像(或いはオーディオ又はビデオ)に最初に含まれていたものと同じタグ又は識別子を有していてもよい。
デジタル透かしに遭遇すると、サーチツールは、一つ以上のオンラインメタデータレポジトリーに問合せを行って、画像に関連した付加的なメタデータが存在するか否かを決定することができる。このようなオンラインメタデータは、第1のファイルにダウンロードすることができる。もちろん、フィルタ又は基準を使用して、どのオンラインメタデータが受け容れられるかを制限することができる。例えば、信頼性のある又は確認されたソースによって署名されたメタデータのパケット又はグループだけを、第1のファイルに含むように受け容れることができる。或いは、異なるメタデータフィールド又はタグが、最後に変更されたインジケータ又はタイムスタンプインジケータを含むことができる。このように、オンラインメタデータが冗長なフィールド又はタグを含む場合には、最新バージョンのメタデータ(画像に関連付けられた又はオンラインの何れか)が使用される。さらに、ユーザは、メタデータのどのソースが信頼されるべきか、また、どのソースを含めるべきかを、指定することができる。
透かし識別子はまた、「双方向」メタデータポピュレーションを支援することも可能である。即ち、透かし識別子は、メタデータのオンラインレポジトリーにリンクすることができ、より詳細には、特定の画像又は関連メタデータにリンクすることができる。メタデータを、オンラインレポジトリーにアップロードして、透かし識別子を介して画像メタデータに関連付けることができる。(透かしベースのネットワークナビゲーションが、例えば、上述した本譲受人の米国特許出願第09/571、422号に説明されている。)
図7に戻る。次に、第2のファイル(例えば、HTML)が生成される。この第2のファイルの名前は、第1のファイル及び画像と同じファイル名を、異なるファイル拡張子と共に有することが好ましい。この第2のファイルは、第1のファイルからの情報を含むことが好ましい。例えば、第1のファイルが画像の記憶位置を含む場合には、第2のファイルが画像へのハイパーリンクを含むことができる(記憶位置に基づいて)。上記の幾つかの実施の形態で述べたように、第2のファイルは、画像の表示を含むこともでき、或いはビデオ又はオーディオの場合には、恐らくは、オーディオ又はビデオのサンプル又は断片を含むこともできる。第2のファイルは、第1のファイルからの情報の幾つか又は全部を含むようにユーザが構成することが可能である。これは、例えば、ユーザがカメラ設定のビューを制限したい場合に好都合である。(その舞台裏では、スタイルシート又は「スキン」と協働するXMLパーザーを使用して、第1のファイルを解釈し、第2のファイルをスタイルシートに基づいて設ける(ポピュレート)することができる。他の実施の形態では、その基礎となるコンテンツそれ自体を使用して、第2のファイルをいかにポピュレートするかを決定する。あるリズム又はメロディーを有するオーディオコンテンツは、第1の所定のスタイルに基づいて表示される一方、他の特性を有するコンテンツは、第2の異なるスタイルに基づいて表示される。)
HTMLファイルの生成は、通常、デスクトップサーチツール(例えば、Google又はYahoo、等)によるインデックス付けをトリガーする。メタデータがインデックスに追加され、画像のサーチを効果的なものとする。ある実施の形態では、もちろん、上記のサーチツールの機能がデスクトップサーチツールと一体化される。他の実施の形態では、サーチツールがデスクトップサーチツールにプラグインする。更に別の実施の形態では、サーチツールがプロキシーサーバー又はネットワークハブと協働する(又はそこから動作する)。
(ここで、あるデスクトップサーチツール、例えば、Googleデスクトップサーチツールは、あるファイル「タイプ」(例えば、JPEG、等)の登録を可能にすることに注意されたい。上述した第1のファイルに、固有のファイル拡張子(又はタイプ)を与えることができる。このように、デスクトップサーチツールには、冗長な結果を回避するためにインデックス付けの際に、第1のファイルを無視することを伝えることができる。)
画像サーチツールは、「最後に変更された」日付を比較して、特定の画像をインデックス付けすべきかどうかを決定することができる。例えば、画像の最後に変更された日付を、それに対応する第1のファイルの最後に変更された日付と比較することができる。画像の変更日付が第1のファイルのものより遅い場合には、画像を再び分析して、透かし及びメタデータを得る。第1のファイルは、それに対応する第2のファイルと共に更新される。
<ブログ>
透かしを使用して、いわゆるオンラインブログを支援し、且つそこにリンクすることが可能である。(ブログとは、ウェブサイトに発表される情報である。いわゆる「ブログスクリプト」は、誰かが情報をウェブサイトに投稿することを可能にする。)
デジタル透かしが埋め込まれた写真(或いはオーディオ又はビデオ)について考える。透かしリーダーは、透かしを抽出し、オンラインリソース(例えば、URL)へリンクする。改良点は、デジタル透かしがブログ又はブログスレッド(或いは会話)へリンクすることである。ブログは、例えば、ファイルとして記憶することができる。透かしが、例えば、Flickr(例えば、www.flickr.comを参照)に類似したオンラインフォトブログサイトのURLを含むか、又はそれを参照する場合について考える。透かしは、フリッカーにおける特定の写真又はアカウントにリンクし、恐らくは、特定のブログスレッドにもリンクすることが可能である。例えば、コンピュータ、モニタ及び椅子で完成されたホームオフィスを示す写真について考える。描画されているアイテムに関して、多数の異なるブログスレッド(又は会話)が投稿されることがある。(恐らくは、ある者は、椅子が好きであり、充分な腰部支持を提供するかどうかと考えている。会話又はスレッドは、この話題に関して続く。) おそらく、椅子を示すか、さもなければ、椅子又はスレッドにリンクされている画像領域を表わす透かしが、特定のスレッドにリンクするために使用される。個別の透かし(又は透かしコンポーネント)を画像に埋め込んで、特定のスレッドを表わすことが可能である。透かしペイロード又はコンポーネント情報は、ユーザに表示可能な主題ラインにリンクする識別子を有して、ユーザが考慮しようとするブログスレッドをユーザが取り上げることを可能にする。写真が多数のこのような透かしを含む場合には、対応の主題ラインの各々を、選択のために表示することができる。このようにして、透かしは、各ブログ及びブログスレッドのルートとなる。(恐らくは、ブログスレッドをスタートするための必須条件として、会話に透かし識別子又はコンポーネントが割り当てられ、コンポーネントが、ブログ又は応答が投稿されるときに、画像に、恐らくは特定領域に、埋め込まれる。)
他の実施の形態では、ブログにコメントする各個人に、識別子(又は特定の固有の透かし署名)が割り当てられる。個人の透かしは、写真についてブログをするか、さもなければ、コメントするときに、画像に埋め込まれる。
<ブログの詳細>
それらの本質において、「フォトブログ」は、単に写真を伴うブログである。ほとんどのケースでは、写真はアンカーである。それらは、注意を引き、トーンを設定し、ブックマークとして働く。(例えば、www.photoblog.orgを参照)
一方では、画像をウェブ上のログの一部分として単に投稿し、会話に対してユーモア、イラスト、ドキュメンテーション、又はアンカーを与えることができる。会話は、休暇地、個人、子供、家族、場所、又は、何らかの他の話題性及び写真向きのものに関することであってもよい。
デジタル透かしは、改良を伴う新たな工夫をもたらす。透かしは、写真をフォトブログのセンターピースとする。透かし入り写真は、ブログへのエージェント、及び繰り返し再訪問され得るポータルとなる。写真を、ブログ自体へのポインタとして配布することができる。写真は、受取人の注意を捕え、デジタル透かしを通して、ブログサーバー(又はブログが投稿されるネットワークリソース)へリンクバックする。ブログは、投稿されるか(例えば、ウェブサイトへ行って読まねばならない)、又はダウンロード可能である(例えば、古き良きニュースグループコンセプトのような種類)ことを想像することができる。写真をブログクライアント又は他のアプリケーションにドラッグ及びドロップすることにより、ブログをクライアント又はアプリケーションに追加する。(その舞台裏では、透かし検出器がドラッグ−ドロップされた写真から透かし識別子を読み取る。透かし識別子は、オンラインブログ(又は会話)へリンクするために使用される。例えば、識別子を使用して、ブログのファイル記憶位置、又はブログを投稿するネットワーク位置(例えば、URL)を特定する。ブログが取得されるか、又はその位置へダウンロードされる。他の場合には、ブログ全体をダウンロードするのではなく、ブログへのリンクがアプリケーション又はクライアントに記憶される。
ブログの開始について考える。ユーザは、ブログサイトへ画像をアップロードしてブログをスタートし、第1のエントリーを書き込む。このサイトは、画像に識別子を用いて自動的に透かしを入れ、写真をブログにリンクする(又はそれを既存のブログに追加する)。ブログが生成された状態で、ユーザは、(任意に)右クリックし、例えば、画像(及びブログ)を友人へ送信する。透かし入りフォトを含むeメールは、友人を招いて応答させる。友人は、透かし識別子を通してオリジナルブログへとリンクされる。
この機能は、デスクトップサーチツールと共に組み込むことができる。
デスクトップサーチツールが透かし入り画像に気付くと、その画像は、例えば、透かしに関連したオンラインブログサイトに問合せするか、又は透かしペイロードに保持された「ブログビット」を評価することによって、関連ブログがあるかどうか調べるためにチェックされる。(透かしペイロードは、多数のフィールドを含むことができ、それらの一つは、特定のブログサイトを特定するか又はそこにリンクする。) デスクトップサーチツール(又はフォトショップ、ウェブブラウザ等を含むフォト取り扱いソフトウェア)は、ユーザ指示を提供することが好ましい(例えば、「ゴー・ツー・ブログ(go to blog)」リンクが現れる)。ビューアは、透かし識別子を介してブログを読むようにナビゲートすることができる。画像は、ブログスレッドにリンクされるか、又は「ブックマーク」される。
透かしリーダー又はデスクトップサーチツールは、右クリック特徴を有し、当該特徴によって、ブログ可能な画像のブログエントリーへの追加を可能にする(透かしにより決定される特徴)。このようにして、画像は、ホームコンピュータ又は携帯電話における如何なる場所にも現われ、ブログスレッドを読み取ったり又はそこに追加したりするためのブログへのゲートウェイとして働く。
ブログと画像との基本的な関連付けは、例えば、写真がフォトレポジトリー又はオンラインサイトに登録されるときに行うことができる。写真を登録するか、又は写真に透かしを入れる動作が、ブログを生成することを可能とし、時間と共に、より一般的な仲介を、登録されている任意のブログに提供することを可能とする。いかなる画像も「ブログ可能」である。時間と共に、写真家は、マーケッティング又は通信の方法としてそれらのコレクションに関するブログを生成することができる。友人やクライアントと対話する手段として、プライベートな(例えば、パスワード又はバイオメトリック保護の)ブログを想像することができる。
透かしは、印刷に耐え得ることが好ましく、このようにして、印刷された画像と(写真)ブログとの間に関係が生成される。(ある実施の形態では、画像が印刷されるまでブログが生成されない。しかし、いずれの場合にも、透かし処理は、透かし処理ステップを通過する印刷に能力を加えて、独特のアイデンティティを与える。)
実際のアプリケーションとして、ウェブベースのユーザインタフェイスが生成される。ユーザは、透かし入り写真(又は単にその写真から抽出した透かし識別子)を、ウェブを介して、インタフェイスに与える。写真を受け取ると、ウェブサイトは、当該写真から透かし識別子を抽出する。透かし識別子は、それに関連した情報を検出するために、ベースベース(basebase)又はインデックスに提供される。例えば、写真が、一つ以上のテキストベースのブログに最初に関連付けられていたものとする。ブログの現在位置が検出され、インタフェイスを通してユーザに提供される。
上記のブログ実施の形態の幾つかの可能性のある組み合せとして、次のものがある。
E1.ブログをメディアに関連付ける方法であって、
デジタル透かしを画像又はオーディオに埋め込むステップと、
デジタル透かしの少なくとも一部分をネットワークホスト型ブログに関連付けるステップと、
を備える方法。
E2.E1の方法であって、透かしが複数のデータフィールドを備え、少なくとも一つのフィールドが、ブログがホストされるオンラインアドレスを含むか又はそれを指す、方法。
E3.E1の方法であって、ブログがオンライン会話を含むような方法。
E4.オンラインブログをメディアに関連付ける方法であって、
メディアからデジタル透かしをデコードするステップと、
透かしに関連したオンラインレポジトリーにアクセスするステップと、
メディアに関連したブログにアクセスするステップと、
を備える方法。
<身分特定書類上の電子メモリに記憶された透かし画像>
本特許文書の譲受人は、身分特定書類をデジタル透かしで安全化することに向けた多数の特許出願を提出している。それらの幾つかは、いわゆるスマートカード、例えば、電子メモリ及び/又は電子処理回路を含むドキュメントについて、構想を示し、開示している。例えば、米国特許第5,841,886号、第6,389,151号、第6,546,112号、第6,608,911号、特許出願公告第US2002−0009208A1号、及び第US2003−0178495A1号、米国特許出願第10/893,149号(US2005−0063027A1として公告された)、及び第10/686,495号(US2004−0181671A1として公告された)を参照されたい。関連する実施の形態及び改良について、以下に説明する。
図8を参照する。身分特定書類の電子メモリ回路に記憶されている画像に、デジタル透かしを埋め込む。画像は、書類の許可された所持者に対応することが好ましい。例えば、図8に示すドキュメント400は、パスポートブック、ビザ、運転免許証、等の身分特定書類を表わしている。ドキュメント400は、当該ドキュメント400の許可された所持者の写真表示410(「印刷画像」とも称される)と、ドキュメントの表面上の印刷物420と、集積回路(例えば、チップ)430とを備えている。チップ430は、電子メモリ及び処理回路の両方を備えることができる。チップ430は、受動的(例えば、内部電源なし)であってもよく、又は能動的(例えば、それ自身の電源を含む)であってもよい。チップは、非接触のものであることが好ましいが、ドキュメント400は、接触型のチップであってもよい。例えば、ISO規格14443及び7816−4に合致するような適切なチップが知られている。
一実施の形態では、集積回路430に画像が記憶される。この画像は、メモリスペースを節約する上で助けとなるように、例えば、JPEGファイルのように圧縮されることが好ましい。記憶された画像は、印刷画像410、又は印刷画像410の縮小ビット表示に対応することが好ましい。この画像には、デジタル透かしが埋め込まれる。
デジタル透かしは、ドキュメント、集積回路及び/又は許可されたドキュメント所持者に対応する情報と、相互に関係付けられていることが好ましい。
例えば、チップ430は、チップのスタティックメモリに記憶されたシリアル番号(例えば、96ビット)を有していてもよい。このシリアル番号、又はシリアル番号のハッシュ(例えば、縮小ビット表示)は、デジタル透かしメッセージコンポーネントとして使用される。ハッシュ又はシリアル番号は、チップ430に記憶された写真画像に埋め込まれる。
シリアル番号は、テーブル1に示すようなドキュメント番号、即ち以下の透かしメッセージと結合することができる。
Figure 2010267292

合成されたメッセージは、記憶された画像にステガノグラフィー式に埋め込まれる。従って、チップ及びドキュメントは、デジタル透かしを介して結合される。チップが交換されるか、別のドキュメントへ移動されるか、又は模倣された場合には、チップ430に記憶された画像に埋め込まれていなければならないシリアル番号又はドキュメント番号を検証することによって、変化を特定することができる。同様に、印刷画像410が変更、又は交換された場合にも、そこに埋め込まれた必要な透かしメッセージ(例えば、チップシリアル番号)を含まないであろう。
ドキュメントの検証は、自動的に行うことができる。例えば、シリアル番号がスタティックメモリから読み取られ(例えば、スマートカードリーダーを介して)、透かし入り画像が同様に検索され、デコードされる。シリアル番号及び透かしメッセージを比較して、それらが予想した通りに対応するかどうかを調べる。ドキュメント番号が透かしメッセージコンポーネントとして使用されている場合には、それも比較のために入力できる(例えば、OCR−Bテキストの読み取り、バーコード、磁気ストリップ又は手動入力を介して)。
ドキュメント番号又はシリアル番号に代えて、印刷、バーコード、磁気ストリップ、等に保持された他のテキスト又はメッセージを、透かしメッセージコンポーネントとして使用することが可能である。
図8に戻る。印刷画像410には、例えば、デジタル透かしの形態のデータをステガノグラフィー式に埋め込むことができる。デジタル透かしは、チップ430に保持された情報と相互に関係付けられていることが好ましい。例えば、印刷画像410に埋め込まれた透かしは、チップシリアル番号又はそのハッシュを含んでいてもよい。チップ430のメモリ容量に限度があって、記憶画像を含まないがシリアル番号は含むようなケースでは、印刷画像410の透かしは、チップとドキュメントとの間のリンクを与える。
更に別の実施の形態では、印刷画像410の第1の透かしが、チップ430の記憶画像に埋め込まれた第2の透かしにリンクされる。このリンクは、多数の異なる方法で達成可能である。例えば、各透かしは、情報、例えば、シリアル番号、ドキュメント番号、或いはドキュメントに印刷されるか又は保持された情報(例えば、バーコード)を、冗長に含む。別の実施例では、第1のデジタル透かしは、第2のデジタル透かしをデコード又は解読するためのキーを含む(又はその逆のことも言える)。更に別の実施例では、第1のメッセージ部分が第1のデジタル透かしによって伝えられ、第2のメッセージ部分が第2のデジタル透かしによって伝えられる。身分特定書類400を適切に認証するには、二つのメッセージ部分を連結することが必要とされる。別の実施例は、身分特定書類のどこかに印刷された第3のデジタル透かしを含む(例えば、バックグランドパターン、グラフィック、ゴースト画像、シール、等で)。三つのデジタル透かしの全てが、認証のためにリンクされるか、又は相互に関係付けられる。
更に別の実施の形態では、写真画像ではなく、異なるバイオメトリック画像又はテンプレートがチップに記憶される。例えば、バイオメトリックは、指紋画像又は網膜スキャンを含んでもよい。このようなバイオメトリックは、上述したように、透かしを入れてドキュメントにリンクすることができる。
ドキュメントを形成するためのワークフローの例を、図9A及び9Bに示す。身分特定書類(例えば、パスポート)の申請者は、申請書を埋めて、写真を用意する(ステップ500)。申請書は、処理機関へ提出され(例えば、州の当局、ステップ510)、当該機関が申請書を処理する(ステップ520)。もちろん、申請書は、郵送されてもよいし又は電子的に提出されてもよい。申請処理は、バックグランドチェックを含んでいてもよく、当該チェックとして、申請者が身分特定書類を詐欺的に取得しようと試みているのではないことを保証するためにデータベースをチェックしてもよい。申請が承認された場合には、申請者に対して書類が生成される。パスポートの場合には、ブランク「ブック」が得られる。このブランクブックは、ブック(以下、「ドキュメント」)番号を含む。この書類番号は、申請者又は申請者のファイルとマッチングされる(ステップ530)。ほとんどの場合に、ブックには、チップが既に固定(又は一体化)されている。そうでなければ、その後の段階でチップをドキュメントに取り付け又は一体化することができる。ドキュメントは、申請者を特定するように個人化される(ステップ540)。例えば、ドキュメントには、可変情報(例えば、名前、住所、性別、目の色、誕生日、等)が印刷される。又、この可変情報又はその一部分がバーコードとして記憶されるか、或いは磁気ストリップ又はチップに記憶される。又、写真表示もドキュメントに印刷され(又は取り付けられ)、チップに記憶される。
図9Bを参照する。申請者を表わすデジタル画像が透かし埋め込み装置に与えられる。(申請者が物理的な画像を用意した場合には、その画像が光学的にスキャンされ、デジタル表示が透かし埋め込み装置に与えられる。)メッセージ(例えば、スタティックメモリから読み取られたチップシリアル番号又はドキュメント番号、等)が埋め込み装置へ入力される。透かし埋め込み装置は、デジタル画像のコピーに所望のメッセージを埋め込む。埋め込み処理されたデジタル画像は、圧縮されて、チップに記憶される。必要に応じて、第2のメッセージをデジタル画像の別のコピーに埋め込み、次いで、書類の表面に印刷することができる。(もちろん、ある実施の形態では、同じメッセージを含む同じ埋め込み画像が、ドキュメントに印刷され且つオンチップに記憶される。)
図9Aに戻る。書類形成プロセスは、書類を検査する品質保証ステップ550を任意に含む。例えば、マシン読み取り可能な特徴(例えば、OCR、バーコード、磁気ストリップ、デジタル透かし、光学メモリ、電子チップ記憶)が読み取られ、そしてそれらが予想情報に一致するかどうかを調べるために検査される。相互相関関係(例えば、第1及び第2のデジタル透かし間の)をテストすることもできる。また、品質保証オペレータがドキュメントを目視検査してもよい。
このセクションに基づく幾つかの可能性のある組み合せとして、以下のものがある(これに限定されない)。
F1.電子メモリチップであって、当該電子メモリチップ内にシリアル番号が記憶されており、当該シリアル番号は、電子メモリチップを一意に特定し、更に、電子メモリチップが、身分特定書類の許可された所持者を表わすデジタル画像を含み、又、デジタル画像には、第1のデジタル透かしが埋め込まれており、更に、第1のデジタル透かしがシリアル番号の表示を含む、当該電子メモリチップと、
名前及び身分特定書類番号の少なくとも一方を含むテキストが印刷された第1の表面エリアと、
身分特定書類の許可された所持者の表示を含む写真画像が印刷された第2の表面エリアと、
を備える身分特定書類。
F2.F1の身分特定書類であって、第1のデジタル透かしがシリアル番号の縮小ビット表示を含む、身分特定書類。
F3.F2の身分特定書類であって、第1のデジタル透かしが身分特定書類番号の表示を更に含む、身分特定書類。
F4.F1の身分特定書類であって、第2の表面エリアに印刷された写真画像が第2のデジタル透かしを含む、身分特定書類。
F5.F4の身分特定書類であって、第1のデジタル透かし及び第2のデジタル透かしが相互依存している、身分特定書類。
F6.F5の身分特定書類であって、第2のデジタル透かしが、第1のデジタル透かしをデコード又は解読するためのキーを含む、身分特定書類。
F7.F5の身分特定書類であって、第1のデジタル透かしが、第2のデジタル透かしをデコード又は解読するためのキーを含む、身分特定書類。
F8.F4の身分特定書類であって、第1のデジタル透かし及び第2のデジタル透かしが互いに冗長であるか又は相関した情報を含む、身分特定書類。
F9.F1−F8のいずれか一つの身分特定書類であって、運転免許証及びパスポートの少なくとも一つを含む、身分特定書類。
F10.F4の身分特定書類であって、第3のデジタル透かしを含む第3の表面エリアを含む、身分特定書類。
F11.F1−F10のいずれか一つの身分特定書類であって、デジタル画像が電子メモリチップにおいて圧縮形態をとっている、身分特定書類。
F12.F1−F11のいずれか一つの身分特定書類であって、電子メモリチップが電子処理回路を含む、身分特定書類。
G1.電子メモリチップであって、当該電子メモリチップにはシリアル番号が記憶されており、当該シリアル番号は、電子メモリチップを一意に特定し、当該電子メモリチップにはデジタル画像が更に記憶されており、当該デジタル画像には第1のデジタル透かしが埋め込まれている、当該電子メモリチップと、
名前及び身分特定書類番号の少なくとも一方を含むテキストが印刷された第1の表面エリアと、
印刷画像又はグラフィックを含む第2の表面エリアであって、印刷画像又はグラフィックには第2のデジタル透かしが埋め込まれており、更に、第1のデジタル透かし及び第2のデジタル透かしは身分特定書類を認証するために相互に関係付けられている、第2の表面エリアと、
を備える身分特定書類。
G2.G1の身分特定書類であって、第1のデジタル透かし及び第2のデジタル透かしが、冗長な情報又は相関情報を含ませることによって、相互に関係付けられている身分特定書類。
G3.G2の身分特定書類であって、上記情報が少なくともシリアル番号の表示を含む、身分特定書類。
G4.G3の身分特定書類であって、上記情報が少なくともドキュメント番号の表示を更に含む、身分特定書類。
G5.G1の身分特定書類であって、第1のデジタル透かし及び第2のデジタル透かしがデコード又は解読キーを介して相互に関係付けられている、身分特定書類。
G6.G1の身分特定書類であって、デジタル画像が身分特定書類の許可された所持者のバイオメトリックを含む、身分特定書類。
上記セクションの更に別の実施の形態は、以下の通りである。もちろん、これらは、唯一の可能性のある組み合せではなく、単なる一例に過ぎない。
H1.デスクトップサーチツールを制御する方法であって、
画像又はオーディオファイルを一つ以上のコンピュータディレクトリにおいてサーチするステップと、
画像又はオーディオファイルが発見されたときに、埋め込まれたデジタル透かしについてそのファイルを分析し、デジタル透かしが埋め込まれている場合には、デジタル透かしに保持された複数ビットの識別子を復元するステップと、
画像又はオーディオファイルからメタデータを得るステップと、
複数ビットの識別子を用いてリモートデータベースに問合せを行って、ファイルメタデータが最新のものであるか否かを決定するステップと、
を備える方法。
H2.H1の方法であって、ファイルメタデータが最新のものでないときに、リモートデータベースからのメタデータでファイルメタデータをリフレッシュするステップを更に備える方法。
H3.H2の方法であって、タイムスタンプ又は最後に編集されたフィールドを使用して、ファイルメタデータが最新のものであるか否かを決定する方法。
H4.H1の方法であって、ファイルがリモートデータベースに記憶されていないときに、画像又はオーディオファイルをアップロードするステップを更に備える方法。
I1.透かし入りコンテンツをネットワークにおいてサーチする方法であって、
透かし入りコンテンツに関連した一つ以上のキーワードを受け取るステップと、
一つ以上のキーワードをネットワークサーチエンジンへ与えるステップと、
一つ以上のキーワードに関連したURLのリストをネットワークサーチエンジンから得るステップと、
デジタル透かしに関して、URLに関連したウェブサイトでコンテンツを分析するステップと、
デジタル透かしから少なくとも一つの透かし識別子を得るステップと、
少なくとも一つの透かし識別子及びそれに対応するURL位置を報告するステップと、
を備えた方法。
I2.I1の方法であって、透かし識別子及びURL位置をリモートサーバーへ報告する方法。
I3.I1の方法であって、透かし識別子及びURL位置を、透かし識別子に関連した著作権所有者へ直接報告する方法。
I4.I1の方法であって、一つ以上のキーワードが透かし識別子を含む、方法。
J1.透かし入りコンテンツをネットワークにおいてサーチする方法であって、
透かし入りコンテンツが記憶されているネットワークリソースに関連したネットワークトラフィックパターンを監視するステップと、
透かし入りコンテンツのサーチにおいてトラフィックパターンの方向に透かしリーダーを向けるステップと、
を備える方法。
K1.サーチエンジンによりコンテンツをカテゴリー分けする方法であって、
ウェブサイトに関連したメタデータであって、デジタル透かしの存在を反映するメタデータを検査するステップと、
ウェブサイトに関連したデジタル透かしインジケータの存在を提供するステップであって、デジタル透かしインジケータの存在がサーチエンジンを介してサーチ可能である、ステップと、
を備える方法。
L1.装置サーチ方法であって、
i.画像又はオーディオファイルを一以上の装置のディレクトリにおいてサーチするステップと、
ii.画像又はオーディオファイルが発見されたときに、埋め込まれたデジタル透かしについてそのファイルを分析し、デジタル透かしが埋め込まれている場合には、当該ファイルから透かし情報を復元するステップと、
iii.画像又はオーディオファイルからメタデータを得るステップと、
iv.透かし情報の少なくともある部分干及びメタデータの少なくともある部分を含む第1のファイルを生成するステップと、
v.第1のファイルから第2のファイルを生成するステップであって、第2のファイルは、透かし情報の少なくともある部分及びメタデータの少なくともある部分を含み、更に、第2のファイルの生成によって、装置のサーチツールによる第2のファイルのインデックシングをトリガーする、ステップと、
を備える方法。
L2.L1の方法であって、第1のファイルがXMLを含み、第2のファイルがHTMLを含む方法。
L3.L1の方法であって、装置が、携帯電話、ポータブル音楽プレーヤ、ゲームコンソール、及びコンピュータの少なくとも一つを含む、方法。
L4.L1の方法であって、上記の生成が少なくともスタイルシートを使用する、方法。
<結論考察>
特定の実施の形態を参照して、本技術の原理を図示して説明したが、この技術は、多数の他の異なる形態で実施できることが認識されよう。
上述した方法、プロセス、要素、モジュール、フィルタ、及びシステムは、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアの組み合せで実施することができる。例えば、透かしデータエンコードプロセスは、プログラム可能なコンピュータ又は特殊目的のデジタル回路で実施することができる。同様に、透かしデータのデコーディングは、ソフトウェア、ファームウェア、ハードウェア、或いはそれらソフトウェア、ファームウェア及びハードウェアの組み合せで実施することができる。
上述した方法、要素及びプロセス(例えば、デスクトップサーチツール、並びにメタデータ発生及び収集ツール)は、システムのメモリ(例えば、電子、光学又は磁気記憶装置のようなコンピュータ読み取り可能な媒体)から実行されるソフトウェアプログラム(例えば、C、C++、ビジュアル・ベーシック、Java、Python、Tcl、Perl、Scheme、Ruby、実行可能なバイナリーファイル、等)で実施することができる。
セクションの見出しは、読者の便宜のために設けたものである。一つの見出しのもとで見つかった特徴は、別の見出しのもとで見つかった特徴と組み合わせることができる。種々の実施例の組み合せ(例えば、C1、D1、等)は、一例として与えられたものに過ぎない。もちろん、上記の詳細な開示を考慮すると、他の多数の組み合せも考えられる。
「デスクトップ」という語の使用は、これに限定されるものと解釈されるべきでない。実際に、本発明の「デスクトップ」サーチモジュール、並びに本発明のメタデータ発生及び収集方法は、ラップトップ、ハンドヘルドコンピューティング装置、パーソナル(又はデジタル)ビデオレコーダー(例えば、シンクTiVo)、携帯電話、等に使用することができる。本発明では、本発明のメタデータインデックス又はサーチツールを、MP3プレーヤ、iPods、TiVo装置、ゲームコンソール(例えば、XBox)、等の消費者向け電子装置に記憶することもできる。このような装置間の通信は、無線であっても、有線であってもよい。
上述の詳細な実施の形態における要素及び特徴の特定の組み合せは、単なる例示に過ぎず、これらの教示は、本書及び上記で引用した特許文献における他の教示と交換及び置き換え可能である。
101…システム、102…インタフェイス、102…制御パネル、104…顧客インタフェイス、106…ディレクテッド・サーチモジュール、108…手動サーチモジュール、120…ウェブクローラー、130…データベース。

Claims (20)

  1. 画像又はオーディオファイルを受け取るステップと、
    前記画像又はオーディオファイルにおける知覚特徴を特定するステップと、
    前記知覚特徴に基づいて、前記画像又はオーディオファイルのためのメタデータを自動的に発生するステップと、
    を備える方法。
  2. 前記メタデータをデスクトップサーチ可能なインデックスでインデックス付けするステップを更に備える、請求項1に記載の方法。
  3. 前記特定するステップは、顔認識を含む、請求項1に記載の方法。
  4. 前記メタデータは、前記顔認識によって特定される画像に描かれている個人に関連したプロフィールを含む、請求項3に記載の方法。
  5. 前記プロフィールは、XML又はテキストファイルを含む、請求項4に記載の方法。
  6. 前記特定するステップは、パターン認識を含む、請求項1に記載の方法。
  7. 前記パターン認識によって特定されるパターンを表わすためのテキストを決定するステップと、前記テキストをデスクトップサーチインデックスでインデックス付けするステップと、を更に備える、請求項6に記載の方法。
  8. 前記画像は、ビデオを含む、請求項1に記載の方法。
  9. 前記知覚特徴は、カラーを含み、前記特定するステップは、カラー・空間ヒストグラムを伴うカラー分析を含む、請求項1に記載の方法。
  10. 前記メタデータを、前記画像又はオーディオファイルに添付するステップを更に備える、請求項1に記載の方法。
  11. 前記発生するステップは、前記知覚特徴、又は、前記知覚特徴の縮小ビット表示を用いてデータレポジトリーに問い合わせを行い、メタデータを得ることを含む、請求項1に記載の方法。
  12. 内部に実行可能な命令を記憶しており、該実行可能な命令が、請求項1に記載の方法を実施するための命令を含む、メモリ装置。
  13. 画像又はオーディオに関連したメタデータを収集する方法であって、
    コンテンツ部分及びメタデータ部分を含む画像又はオーディオファイルを受け取るステップと、
    前記メタデータを分析して、前記コンテンツ部分が生成されたときの時刻及び日付の少なくとも一方を決定するステップと、
    一つ以上のユーザソフトウェアアプリケーションに自動的にアクセスして、時刻及び日付の少なくとも一方に関連した情報を収集するステップと、
    前記情報を前記メタデータ部分に追加するステップと、
    を備える方法。
  14. 前記一つ以上のユーザソフトウェアアプリケーションは、カレンダー又はアポイントメントアプリケーションを含む、請求項13に記載の方法。
  15. 前記カレンダー又はアポイントメントアプリケーションは、財務、オンラインバンキング又は小切手帳アプリケーションを含む、請求項14に記載の方法。
  16. 前記一つ以上のユーザソフトウェアアプリケーションは、ワードプロセッサ又はスプレッドシートアプリケーションを含む、請求項13に記載の方法。
  17. 前記メタデータをサーチ可能なインデックスでカタログ化するステップを更に備える、請求項13に記載の方法。
  18. 前記一つ以上のユーザソフトウェアアプリケーションは、前記画像又はオーディオファイルと同じ場所にあるコンピューティング装置に記憶されている、請求項13に記載の方法。
  19. 前記一つ以上のユーザソフトウェアアプリケーションは、前記画像又はオーディオファイルから離れた場所にあるコンピューティング装置に記憶されている、請求項13に記載の方法。
  20. 前記コンピューティング装置は、携帯電話及びパーソナルコンピューティングアシスタント(PDA)の少なくとも一方を含む、請求項19に記載の方法。
JP2010158011A 2004-06-22 2010-07-12 デジタル資産管理、ターゲットを定めたサーチ、及びデジタル透かしを使用するデスクトップサーチ Active JP5702555B2 (ja)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US58228004P 2004-06-22 2004-06-22
US60/582,280 2004-06-22
US58291404P 2004-06-24 2004-06-24
US60/582,914 2004-06-24
US65664205P 2005-02-25 2005-02-25
US60/656,642 2005-02-25
US67302205P 2005-04-19 2005-04-19
US60/673,022 2005-04-19

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2007518107A Division JP5372369B2 (ja) 2004-06-22 2005-06-13 デジタル資産管理、ターゲットを定めたサーチ、及びデジタル透かしを使用するデスクトップサーチ

Publications (2)

Publication Number Publication Date
JP2010267292A true JP2010267292A (ja) 2010-11-25
JP5702555B2 JP5702555B2 (ja) 2015-04-15

Family

ID=35785547

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2007518107A Active JP5372369B2 (ja) 2004-06-22 2005-06-13 デジタル資産管理、ターゲットを定めたサーチ、及びデジタル透かしを使用するデスクトップサーチ
JP2010158011A Active JP5702555B2 (ja) 2004-06-22 2010-07-12 デジタル資産管理、ターゲットを定めたサーチ、及びデジタル透かしを使用するデスクトップサーチ

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2007518107A Active JP5372369B2 (ja) 2004-06-22 2005-06-13 デジタル資産管理、ターゲットを定めたサーチ、及びデジタル透かしを使用するデスクトップサーチ

Country Status (2)

Country Link
JP (2) JP5372369B2 (ja)
WO (1) WO2006009663A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012151535A (ja) * 2011-01-17 2012-08-09 Nippon Hoso Kyokai <Nhk> 電子透かし埋め込み装置、電子透かし埋め込みプログラム、電子透かし検出装置および電子透かし検出プログラム

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7450734B2 (en) 2000-01-13 2008-11-11 Digimarc Corporation Digital asset management, targeted searching and desktop searching using digital watermarks
US8953908B2 (en) 2004-06-22 2015-02-10 Digimarc Corporation Metadata management and generation using perceptual features
US8570586B2 (en) 2005-05-02 2013-10-29 Digimarc Corporation Active images through digital watermarking
US7916976B1 (en) 2006-10-05 2011-03-29 Kedikian Roland H Facial based image organization and retrieval method
JP2008165424A (ja) * 2006-12-27 2008-07-17 Sony Corp 画像検索装置および方法、撮像装置、並びにプログラム
JP4376933B2 (ja) 2007-12-07 2009-12-02 日立ソフトウエアエンジニアリング株式会社 印刷管理システム、及び印刷管理方法、並びにプログラム
US9152711B2 (en) 2008-06-27 2015-10-06 Kii Corporation Social mobile search
US8595503B2 (en) 2008-06-30 2013-11-26 Konica Minolta Laboratory U.S.A., Inc. Method of self-authenticating a document while preserving critical content in authentication data
US9074256B2 (en) * 2009-04-06 2015-07-07 Vanda Pharmaceuticals, Inc. Method of predicting a predisposition to QT prolongation
WO2010117931A1 (en) * 2009-04-06 2010-10-14 Vanda Pharmaceuticals, Inc. Method of treatment based on polymorphisms of the kcnq1 gene
EP2629211A1 (en) 2009-08-21 2013-08-21 Mikko Kalervo Väänänen Method and means for data searching and language translation
US8175617B2 (en) * 2009-10-28 2012-05-08 Digimarc Corporation Sensor-based mobile search, related methods and systems
US8788941B2 (en) * 2010-03-30 2014-07-22 Itxc Ip Holdings S.A.R.L. Navigable content source identification for multimedia editing systems and methods therefor
US9281012B2 (en) 2010-03-30 2016-03-08 Itxc Ip Holdings S.A.R.L. Metadata role-based view generation in multimedia editing systems and methods therefor
US8806346B2 (en) 2010-03-30 2014-08-12 Itxc Ip Holdings S.A.R.L. Configurable workflow editor for multimedia editing systems and methods therefor
US8463845B2 (en) 2010-03-30 2013-06-11 Itxc Ip Holdings S.A.R.L. Multimedia editing systems and methods therefor
CN103457962B (zh) * 2012-05-28 2018-03-23 腾讯科技(深圳)有限公司 访问微博相册的方法、微博客户端及系统
US9311640B2 (en) 2014-02-11 2016-04-12 Digimarc Corporation Methods and arrangements for smartphone payments and transactions

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11260045A (ja) 1998-03-13 1999-09-24 Sony Corp 再生システム、再生端末装置
JP2001143445A (ja) * 1999-09-08 2001-05-25 Sony United Kingdom Ltd 編集装置及び方法
JP2001155036A (ja) * 1999-09-08 2001-06-08 Sony United Kingdom Ltd ナビゲーション装置及びナビゲート方法
JP2001283235A (ja) * 2000-02-28 2001-10-12 Canon Inc フォント及びテーマ選択方法及び装置
JP2002238027A (ja) * 2000-12-07 2002-08-23 Sony United Kingdom Ltd ビデオ及びオーディオ情報処理
JP2003005771A (ja) * 2001-04-24 2003-01-08 Microsoft Corp デジタル信号内のオーディオコンテンツの認識装置
JP2003067397A (ja) * 2001-06-11 2003-03-07 Matsushita Electric Ind Co Ltd コンテンツ管理システム
JP2003264785A (ja) * 2002-01-16 2003-09-19 Eastman Kodak Co 撮像された画像中にメタデータを識別、取得する方法
JP2004505349A (ja) 2000-07-20 2004-02-19 ディジマーク コーポレイション ファイル共有で組み込まれたデータの使用
JP2004120420A (ja) * 2002-09-26 2004-04-15 Fuji Photo Film Co Ltd 画像整理装置およびプログラム
JP2004133536A (ja) * 2002-10-08 2004-04-30 Canon Inc メタデータ自動作成・更新装置、メタデータ自動作成・更新方法および該作成・更新方法を実現するためのプログラム
JP2004153764A (ja) * 2002-11-01 2004-05-27 Matsushita Electric Ind Co Ltd メタデータ制作装置及び検索装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11213014A (ja) * 1997-11-19 1999-08-06 Nippon Steel Corp データベースシステム、データベース検索方法及び記録媒体
US6389181B2 (en) * 1998-11-25 2002-05-14 Eastman Kodak Company Photocollage generation and modification using image recognition
KR100865247B1 (ko) * 2000-01-13 2008-10-27 디지맥 코포레이션 메타데이터를 인증하고 매체 신호들의 워터마크들 내에 메타데이터를 임베딩하는 방법
JP2002351878A (ja) 2001-05-18 2002-12-06 Internatl Business Mach Corp <Ibm> デジタルコンテンツ再生装置、データ取得システム、デジタルコンテンツ再生方法、メタデータ管理方法、電子透かし埋め込み方法、プログラム及び記録媒体
JP2003153217A (ja) 2001-11-09 2003-05-23 Canon Inc メタデータと記述対象データを管理するフォーマット
JP3933452B2 (ja) * 2001-11-27 2007-06-20 シャープ株式会社 情報の入手を支援する支援方法および支援サーバ
JP2003303210A (ja) 2002-04-11 2003-10-24 Canon Inc 情報処理方法、情報処理装置、および記録媒体
JP3971642B2 (ja) * 2002-04-23 2007-09-05 日本電信電話株式会社 コンテンツダウンロード方法および装置
JP2004046506A (ja) * 2002-07-11 2004-02-12 Hitachi Ltd 地方税電子申告システム、地方税電子申告方法、地方税申告状況検索方法、および地方税電子申告プログラム

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11260045A (ja) 1998-03-13 1999-09-24 Sony Corp 再生システム、再生端末装置
JP2001143445A (ja) * 1999-09-08 2001-05-25 Sony United Kingdom Ltd 編集装置及び方法
JP2001155036A (ja) * 1999-09-08 2001-06-08 Sony United Kingdom Ltd ナビゲーション装置及びナビゲート方法
JP2001283235A (ja) * 2000-02-28 2001-10-12 Canon Inc フォント及びテーマ選択方法及び装置
JP2004505349A (ja) 2000-07-20 2004-02-19 ディジマーク コーポレイション ファイル共有で組み込まれたデータの使用
JP2002238027A (ja) * 2000-12-07 2002-08-23 Sony United Kingdom Ltd ビデオ及びオーディオ情報処理
JP2003005771A (ja) * 2001-04-24 2003-01-08 Microsoft Corp デジタル信号内のオーディオコンテンツの認識装置
JP2003067397A (ja) * 2001-06-11 2003-03-07 Matsushita Electric Ind Co Ltd コンテンツ管理システム
JP2003264785A (ja) * 2002-01-16 2003-09-19 Eastman Kodak Co 撮像された画像中にメタデータを識別、取得する方法
JP2004120420A (ja) * 2002-09-26 2004-04-15 Fuji Photo Film Co Ltd 画像整理装置およびプログラム
JP2004133536A (ja) * 2002-10-08 2004-04-30 Canon Inc メタデータ自動作成・更新装置、メタデータ自動作成・更新方法および該作成・更新方法を実現するためのプログラム
JP2004153764A (ja) * 2002-11-01 2004-05-27 Matsushita Electric Ind Co Ltd メタデータ制作装置及び検索装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CSND199801050003; 渋井 晋平: 'MSソフト一朝一夕講座' Sofmap WORLD HYPER 第38巻, 19981001, p.122-125, 株式会社デジタルコミュニケーション *
JPN6012030141; 渋井 晋平: 'MSソフト一朝一夕講座' Sofmap WORLD HYPER 第38巻, 19981001, p.122-125, 株式会社デジタルコミュニケーション *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012151535A (ja) * 2011-01-17 2012-08-09 Nippon Hoso Kyokai <Nhk> 電子透かし埋め込み装置、電子透かし埋め込みプログラム、電子透かし検出装置および電子透かし検出プログラム

Also Published As

Publication number Publication date
JP2008510327A (ja) 2008-04-03
JP5372369B2 (ja) 2013-12-18
JP5702555B2 (ja) 2015-04-15
WO2006009663A1 (en) 2006-01-26

Similar Documents

Publication Publication Date Title
JP5702555B2 (ja) デジタル資産管理、ターゲットを定めたサーチ、及びデジタル透かしを使用するデスクトップサーチ
US10346462B2 (en) Metadata management and generation using perceptual features
US10235465B2 (en) Internet and database searching with handheld devices
US7450734B2 (en) Digital asset management, targeted searching and desktop searching using digital watermarks
US10417275B2 (en) Artificial intelligence assisted tagging of users in digital media online
US9665642B2 (en) Automatic identification of digital content related to a block of text, such as a blog entry
KR101443404B1 (ko) 페이퍼 및 전자 문서내의 주석의 캡처 및 디스플레이
US9740373B2 (en) Content sensitive connected content
US8745477B1 (en) Tool for managing online content
JP4602769B2 (ja) 文書セットのコンテンツ空間のナビゲーション
CA2416237C (en) A system and method for providing integrated management of electronic information
US20110119293A1 (en) Method And System For Reverse Pattern Recognition Matching
US20090254529A1 (en) Systems, methods and computer program products for content management
TW201142628A (en) Method and system for compiling a unique sample code for specific web content
TW201032075A (en) Collaborative bookmarking
JP5430618B2 (ja) 動的アイコンオーバーレイシステムおよび動的オーバーレイを作成する方法
EP1629399A2 (en) Method and apparatus for executing an instruction in a web page and for managing imported or exported data

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110311

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20110713

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20110715

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20110715

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120612

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120831

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130226

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130416

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130816

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20130826

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20130913

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140107

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140114

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20141007

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20141010

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20141111

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20141114

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20141211

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20141216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150220

R150 Certificate of patent or registration of utility model

Ref document number: 5702555

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250