JP2022500802A - 領域ベースのメタデータ索引付けを用いる画像管理 - Google Patents

Abstract

一実施形態は、装置からユーザ識別表示を受信することと、ストレージ装置に、画像の１つ又は複数の領域を特定する第１の自由形式のユーザ入力によって生成される第１のデータ、及び画像の１つ又は複数の領域を記述する第２の自由形式のユーザ入力を含む第２のデータを記憶することと、それぞれの第１のデータが、対応する第２のデータに関連して記憶される、対応する第２のデータを含むことと、プロセッサを使用して、ユーザ識別表示に少なくとも部分的に基づいて、第１のデータ及び第２のデータの少なくとも一部分を含むデータセットを選択することと、選択されたデータセットを表示するために提供することとを含む方法を提供する。他の実施形態も説明され、特許請求の範囲に記載されている。

Description

関連出願の相互参照
本出願は、「SYSTEM AND METHOD FOR IMAGE CONTENT AND CONTEXT IDENTIFICATION, COLLABORATION AND MANAGEMENT」と題する第６２７２９４１１号、「COMMUNITY BASED AUGMENTED IMAGE SYSTEM WITH ENHANCED PHOTO CONTENT」と題する第６２７２９４１６号、「COMMUNITY BASED MEMORY REFLECTION SYSTEM WITH ENHANCED PHOTO CONTENT」と題する第６２７２９４１５号、「PHOTO MANAGEMENT SYSTEM WITH OBJECT BASED IDENTIFICATION INDEX UTILIZING EMBEDDED METADATA」と題する第６２７２９４１４号など、それぞれが２０１８年９月１０日に出願された上記の米国仮特許出願の優先権を主張するものであり、その内容を参考として本明細書に援用する。

背景
デジタル画像を瞬時にキャプチャすることが標準となっている今日のデジタル時代では、広く分散した場所に雑然と記憶されたデジタル化画像が数多く存在する。過去一世紀において、又はさらに最近になって、標準的な撮影機器を使用して、数多くの画像が作成された。場合によっては、物理的な写真が、画像に表示されたシーン及び／又は人々をキャプチャしたままの唯一の媒体である。残念ながら、デジタル化されている場合でも、その多くがインターネットを介してアクセス可能な様々なメディア・ストレージ及び共有のネットワーク（たとえば、コンテンツ・ストレージ・ネットワーク、ソーシャル・ネットワークなど）は、ファイル名それ自体と各画像が属してもよいファイル・フォルダとは別にして、こうした画像に関連付けられてもよい情報が非常に限定される。ソーシャル・メディア・ネットワークなど、場合によっては、フェイス・タギングやジオタギングなど基本的なメタデータは、画像又はそのコンテンツの限定された記述を提供する場合がある。

概要
本明細書に記載の主題は、画像及びその領域についての情報索引付けに関する。この主題は、画像の各領域又は区域を詳細情報に関連付けることができるように、特定の領域たとえば特定の画素によって、画像についての情報に索引付けするように設計された、画像管理システム並びに関連する方法及び製品に関する。

先に述べたことは概要であり、いかなる形でも限定するものではない。例示的な各実施形態をさらによく理解するために、詳細な説明及び各図面を参照することができる。本発明の範囲は、特許請求の範囲によって規定される。

図面の簡単な説明
画像及び関連付けられたメタデータを作成、記憶、及び提供する例示的な方法を示す。 例示的な画像及び関連付けられた自由形式のユーザ入力を示す。 スクリプトつきのデータセットを提供する一例を示す。 メタデータ支援型の画像検索を実現する一例を示す。 画像関連のデータ・エンティティの例示的な論理構成を示す。 拡張可能なストレージ構造の一例を示す。 拡張現実用に領域固有のデータセットを提供する一例を示す。 画像用のコンテンツ識別子のグループ分けの一例を示す。 画像へのタグ付け／コメント付けするためのプロセス又はアプリケーションの一例を示す。 画像へのタグ付け／コメント付けするためのプロセス又はアプリケーションの一例を示す。 写真管理システムを用いる動作の基本的な流れを示す。 写真管理システムを用いる検索動作の基本的な流れを示す。 写真管理システムを用いる埋込み情報動作の基本的な流れを示す。 写真管理システムでの動作の詳細な説明を提示する。 ユーザ・インターフェースに表示されるピクチャの一例を示す。 ピクチャ・ディスプレイ用の例示的なインターフェースの各区域を示す。 ユーザ・インターフェースに表示されるピクチャの別の例を示す。 例示的なコンピューティング装置を示す。

詳細な説明
本明細書の各図において一般に説明し図示した例示的な実施形態の構成要素は、説明し図示した例に加えて、多種多様な異なる構成で構成及び設計されてもよいことが容易に理解されよう。したがって、以下の詳細な説明は、特許請求の範囲に記載の範囲を限定するものではなく、選択された例示的な実施形態を単に示す。本明細書の様々な場所で目にする「一実施形態では」などの語句は、必ずしも同じ実施形態を指す必要はない。さらに、１つ又は複数の実施形態において任意の適切な方式で、説明してある特徴、構造、又は特性を組み合わせてもよい。以下の説明では、十分に理解できるように数多くの具体的な詳細内容を提示しているが、具体的な詳細内容のうち１つ又は複数の内容がなくても、又は他の方法、構成要素、材料などを用いて、様々な実施形態を実施できることが当業者には理解されよう。他の例では、各実施形態の他の態様を曖昧にしないように、よく知られた構造、材料、又は動作を図示することはなく、又は詳細に説明することもない。

既存の画像管理システムは、所定の固定されたカテゴリの中から、しばしばシングル・ユーザによって選択される画像又は画像パーツ用の限定されたラベルを利用する。したがって、従来の手法では、結果として記述が限定された画像になる。画像ラベリング専用のソフトウェアは、画像パーツにラベルを付加するためのツールを提供するが、このようなソフトウェアは、ラベリング専用であり、過度に複雑であり、ラベルを付加しない他のアプリケーションと互換性がない。画像を記憶及び管理するのに使用される現在の手法のこうした欠点により、結果として画像の検索及び取得が最適ではなくなり、産業訓練、監査、及び同様の用途など、様々な状況において画像の有用性が限定される。さらに、既存の手法は、画像及び関連付けられたメタデータを保護することができ、特定のユーザに提示することができる粒度を制限する。

図１を参照すると、一実施形態は、画像及び領域固有のメタデータを作成、記憶、及び取得する方法を提供する。本明細書に記載の通り、画像に関連付けられた領域固有のメタデータは、現在不可能な画像での様々な使用を可能にする。

図１の例では、１０１において画像が得られ、たとえば、デジタル・カメラを搭載するスマートフォンなどの装置を使用してキャプチャされる。その後、１０２において受信される領域選択、及び１０３において受信される記述をユーザが入力するためのユーザ・インターフェースが提供される。図２を簡潔に参照すると、自由形式のユーザ入力２２０、２３０、２４０、２６０、及び２７０が、画像領域選択（２２０、２３０）及び領域記述（２４０、２６０、２７０）の形でユーザから提供されてもよいことが理解されよう。このユーザ入力は、あらかじめ定められていないという点で自由形式であり、すなわち、ユーザは、タッチ・スクリーン上のタッチ入力を介して提示される選択部分２２０、２３０、マウス入力装置を使用する強調表示など、自由形式の入力タイプを使用して画像の任意の部分を選択してもよい。

一実施形態では、たとえば、ユーザが１０２において自由形式のユーザ入力を実行する前に、１０１において得られる画像が画像処理を受けてもよい。たとえば、１０１においてキャプチャされる画像は、物体検出（バウンディング・ボックスの配置）及び／又は物体の認識若しくは識別（人工知能若しくは機械学習を使用して、バウンディング・ボックスにおいて識別される物体の包括的若しくは特定用途向けラベリング）を受けてもよい。こうした自動化ステップ、たとえば、物体検出及び／又は物体認識は、ユーザが１０２において自由形式のユーザ入力を作成するのを支援する際に使用してもよい。たとえば、一実施形態では、物体検出に基づく領域選択用の場所を提案してもよい。

同様に、領域記述２４０、２６０、２７０は、特定のカテゴリ又はフォーマットに限定されないという点で自由形式であり、すなわち、ユーザは、テキスト、オーディオ、画像、ハイパーリンク、又はこうした入力タイプの組合せを使用して、領域についての任意の記述を入力してもよい。この場合も、自動処理を適用して、ユーザが領域記述を提供するのを支援してもよい。たとえば、本明細書でさらに説明するように、人工知能による物体識別を使用して、提案されたラベル又はカテゴリ（任意選択としてサブカテゴリを含む）を提供して、記述的テキスト又はオーディオ形で自由形式のユーザ入力をユーザが作成するのを支援してもよい。

やはり図１を参照すると、一実施形態は、１０４に示すように、（たとえば、図２の領域２２０、２３０などの各領域を選択する）自由形式のユーザ入力と、自由形式の記述、たとえば図２の記述２４０、２６０、２７０とを関連付ける。この関連付けは、自動化されてもよく、又は半自動化されてもよい。たとえば、一実施形態は、記述入力区域、たとえばタイトル区域２４０又は自由形式の記述区域２５０（テキスト又はオーディオの入力区域）をアクティブにして、画像領域のユーザによる選択、たとえば図２の２２０の形で輪郭を描くことに対処してもよく、その結果、選択された領域２２０、２３０に関連して、記述的入力２６０、２７０が記憶される。さらに、一実施形態は、１０４において、複数の領域と同じ記述（又はその一部分）とを関連付けることができ、並びに、所与の領域において複数の記述を入力することができる。一例として、ユーザは、２つの領域選択、たとえば図２の選択２２０、２３０を提供し、同じ記述的テキスト２６０の一部分と各領域を具体的に関連付けてもよい。この関連付けは、たとえば、この例では２８０においてまとめて示してある差分カラー・ハイライトの使用を介して、表示インターフェースにおいて示してもよい。

一実施形態では、図８に示す例で説明するように、ユーザが提供するデータ・エントリ、たとえば、テキスト・データ・エントリと画像の各領域を整然と関連付ける、領域固有のコンテンツ識別子のグループ分けの提示及び／又は記憶の結果として、関連付けがなされてもよい。したがって、記述的データ（たとえば、テキスト、オーディオ、若しくは画像のデータ）、又はその一部分は、画像の特定の領域、たとえば画像の特定の画素座標に関連付けられる。画像の特定の領域は、たとえば、ユーザ入力２２０又は２３０によって境界が定められる画像など、ユーザによって選択される画像の画素であり、これらは、記述、たとえば自由形式の記述２６０、２７０と論理的に関連付けられる。

画像における領域及び関連付けられた記述的メタデータの特定を可能にすることによって、数多くの実用的な実施形態を形成してもよい。たとえば、１０５に示すように、ユーザは、ユーザＩＤと画像及び記述的メタデータとを関連付けて、データセットを形成してもよい。このデータセットは、画像、各領域のうち１つ若しくは複数の領域、及び１つ若しくは複数の記述的メタデータ・エントリ、又はこれらの適切な組合せを含んでもよい。１０５に示すように、ユーザＩＤは、データセットと直接に関連付けられてもよく、すなわち、ユーザＩＤ（ユーザ名とパスワードのペアなど）が、データセットへの直接のアクセスを可能にし、又は間接的に関連付けられてもよく、すなわち、ユーザＩＤが、データセットへの役割を許可されたアクセスとの関連付けを可能にする。他の例では、ユーザＩＤは、たとえば、ドメイン、ネットワーク・アドレス、地理的な場所、又は他のクレデンシャル情報若しくは識別情報から推定される。本明細書でさらに説明するように、（広く理解された）ユーザＩＤとデータセットとの関連付けは、後で使用するために、たとえば様々なアプリケーション向けのデータセットとして、画像及びメタデータを差分取得するために、１０６において記憶される。図１の例では、１０７においてユーザＩＤを受信し、このユーザＩＤを使用して、１０８において、このユーザＩＤについてデータセットについて関連付けが記憶されたかどうか判定する。記憶された場合は、１０９においてこのデータセットが提供される。記憶されていない場合は、このデータセットは提供されず、ユーザは再び、ユーザＩＤの入力を試みることができ、又は処理を終了してもよい。

具体例として、たとえば、タブレット又はスマートフォンなどでの装置画面に表示され、ユーザＩＤ又は他の識別データ（たとえば、図７について本明細書でさらに説明される画像識別子）の入力に応答して提示される画像２１０を含むデータセットが、図２に示してある。画像２１０は、強調表示された領域２２０、２３０に関連して表示されるようなメタデータ、並びに、タイトル区域２４０（「漏れているガスケット」）と、この例では記述的テキスト２６０及び記述的オーディオ２７０を含む記述的区域２５０とにおける自由形式の記述的メタデータに関連付けられる。記述的区域２５０は、領域２２０、２３０にそれぞれマッチするように色分けされた２８０である記述的テキスト２６０を表示する。

一実施形態では、たとえば図１の１０９において提供されるデータセットは、画像ではなくユーザＩＤに依存する。たとえば、１０５において、ユーザＩＤは、領域選択２２０、２３０のすべてよりも小さい領域選択、又は記述的メタデータ２６０、２７０のすべてよりも小さい記述的メタデータに関連付けられてもよい。具体例としては、第１のユーザＩＤは、そのユーザ向けに画像が表示されるときに、それぞれが強調されて表示されるように、領域２２０、２３０のそれぞれに関連付けられてもよい。しかし、第１のユーザＩＤは、テキスト記述２６０だけに限定されてもよい。その一方で、第２のユーザＩＤは、領域２２０と２３０の両方、及び自由形式の記述２６０と２７０の両方に関連していてもよく、すなわち、第２のユーザＩＤは又、オーディオ入力２７０（たとえば、オーディオ・ファイルへのリンク）にアクセスしてもよく、又それを提供されてもよい。これにより、たとえばユーザＩＤに基づいて、画像とともに戻されるデータのタイプ及び量に粒度が与えられる。当業者には容易に理解されるように、この粒度は、たとえば、ユーザの役割に基づいて機械の画像に関連付けられた技術的なデータへのアクセスを制限すること、グループのメンバーシップに基づいて人々の画像に関連付けられた識別情報へのアクセスを個人的に制限すること、検索クエリに応答してユーザの関心に基づくある特定の情報をフィルタリング及び表示することなど、数多くの実現可能な用途を有する。

図３を参照すると、この詳細な画像及びメタデータの例示的な使用法は、産業訓練又は監査プロセスなど、画像に焦点を当てたプログラムをユーザがスクリプティングすることを含む。図に示すように、ユーザは、画像の領域に注釈を付けるための入力を提示することができ、こうした入力は、たとえば入力２２０、２３０、２６０、２７０など、図２の例で概要を説明したものと同様に、３０１において受信される、たとえば、熟練の機械工は、タッチ・スクリーンの入力を提示して、修理すべきガスケットが漏れている機械の画像の区域２２０、２３０を強調表示したり、又は丸で囲んだりしてもよい。さらに、区域２２０、２３０を強調表示するか、又は丸で囲むための入力のうち１つ又は複数の入力を提示した後、ユーザは、こうした領域の記述、たとえば、領域２２０では画像に示してある、漏れているガスケットをテキストで記述すること、及び領域２３０では流体漏れが目に見えていることを特定することなどを提示してもよい。

データセット、たとえば産業訓練用のトレーニング・セットの一部分であるこのような各画像について、３０２に示すように、ユーザは、スクリプトに従って、領域固有の選択及び記述とトレーニング画像とを関連付けることができる。スクリプティングのプロセスは半自動でもよく、すなわち、スクリプト化されたトレーニング・プログラムに特定の画像及び記述を含めるための提案をユーザに案内することができる。たとえば、一実施形態は、漏れているガスケットを示す第１の画像をユーザがキャプチャするように促し、その適切な記述とともに、漏れているガスケットの位置、及び画像に含まれる、漏れている任意の流体をユーザが示すように促してもよい。同様にして、（漏れているガスケットを交換するための）メンテナンスを実施するユーザが機械の電源をオフにすることができる機械の区域を、第２の画像が示し、漏れているガスケットを露出させるために機械の領域に適用されるツールを、第３の画像が示し、新規のガスケットの適用を第４の画像が示し、新規のガスケットについて機械の再組立てを第５の画像が示し、それぞれ、適切な領域が強調表示され、関連付けられた記述を含むように、トレーニング又はメンテナンスのスクリプトがユーザによって記入されてもよい。したがって、一実施形態を使用して、スクリプト化され画像に焦点を当てたトレーニング・プログラムを形成してもよい。

本明細書に記載の通り、３０３に図示するように、このように形成されたスクリプト化プログラムは、適切なユーザＩＤに関連付けられてもよい。たとえば、トレーニング・プログラム又はメンテナンス・プログラムを作成するユーザは、トレーニング・プログラムをユーザの役割又はコミュニティに割り当てることによってユーザＩＤを関連付けてもよく、その結果、こうしたユーザはトレーニング・プログラム及び関連するデータセットにアクセスすることができる。このようなスクリプト化プログラムは他にも実現可能である。たとえば、スクリプトの一部として、ユーザに画像をキャプチャする（任意選択としては注釈を付ける）ように要求する、スクリプト化されて画像に焦点を当てた監査データセットを作成してもよい。この監査データセットは、特定のユーザに割り当てられ、クラウド・ストレージ位置に記憶され、他のユーザ、たとえばマネージャによってアクセスされて、要求された手順の遵守を確実にすることができる。たとえば、社会的プレゼンテーション用又は教育的プレゼンテーション用のスクリプト化スライド・ショーなど、他のスクリプト化プログラムがもちろん実現可能である。

図４に示すように、一実施形態によって、ユーザは、領域固有の記述を使用してさらに容易に画像を記述できるようになり、さらにこれを利用して、検索クエリ、画像収集、及び結果処理の改善を容易にすることができる。画像領域に関連した記述を収集及び編成することにより、このようなアプリケーションを容易にする固有の画像シグネチャが得られる。

画像検索については、一実施形態では、画像に関連付けられた豊富なデータセットが与えられている場合に柔軟である、４０１に示してある１つ又は複数の検索入力を受信する。たとえば、画像領域は（直接的又は間接的に）記述テキストに関連付けられるので、これによりユーザは、対象となるデータを記述しているとユーザが考えるキーワードのテキスト入力を使用して、又は対象となる写真の領域を選択して検索できるようになる。領域選択の例では、一実施形態は、領域選択と、検索するのに使用される記述用語のセットとを関連付ける。

４０２において、一実施形態では、検索入力に関連付けられたデータセットを識別する。一実施形態では、４０２において実行される識別は、画像の領域に対する記述的メタデータを利用することによって容易になる。一例として、たとえば図８に示すような特定のシーンの画像をユーザが事前に記述しているので、これにより、そのシーンに含まれる物体に関係するテキスト入力、たとえば人名、街路名、都市名などを含む検索クエリが、画像を戻すことができるようになる。さらに、ユーザが画像の領域を選択する場合、たとえば、画像に含まれる人物を選択する場合、一実施形態では、その領域選択を使用して、検索語、たとえば、その領域での記述的メタデータに含まれる人物の名前を識別し、その人物も含む他の画像を検索して戻してもよい。

一実施形態では、様々な技法を使用して、画像で索引付けされた検索可能な用語を拡張してもよい。たとえば、ユーザが画像領域についての記述的メタデータとしてオーディオ入力を含んでいた場合、一実施形態では、自然言語処理を使用し、記述的オーディオ入力を検索可能なテキストに変換することによって、オーディオをテキストに転記してもよい。一実施形態ではまた、記述を一般化するために単語拡張技法を使用してもよく、たとえば、ユーザによって記述的メタデータ・テキストに含まれる記述用語についての同義語を含んでもよい。

一実施形態ではまた、記述的メタデータを使用して、物体の３次元（３Ｄ）モデルを学習するための人工知能プログラムを利用してもよい。たとえば、一実施形態では、同じ領域固有の記述を共有する画像を利用して、様々な画像（又は、その領域）が、同じ物体のもの、たとえば様々な角度で見た同じ物体の画像であることを学習してもよい。具体例として、１人又は複数人のユーザが、同じ物体、たとえば機械の画像をキャプチャし、それぞれが、この機械を含む各領域を同じ又は同様の記述的メタデータを使用してラベル付けする場合、一実施形態では、記述的メタデータに基づいてこうした画像領域を関連付けることになる。画像の数、及び物体（たとえば、機械又はその一部分）を含む領域が指定される確度に応じて、一実施形態では、ある期間にわたって物体の形状の３Ｄモデルを学習することができる。これにより、一実施形態では、この３Ｄモデル・データを利用して、たとえばラベル付けされていない画像内の物体を識別できるようになり、又物体の学習済み３Ｄモデルに基づいて、仮想現実又は拡張現実の表示内に物体の仮想表示を提示するなど、他の機能を実行できるようになる。

この点に関しては、一実施形態では、ユーザが、画像の領域を正確に示して、領域固有のメタデータ記述を追加するのを支援してもよい。一実施形態では、領域は、たとえばグリッド・システムを使用して事前に画定されてもよく、ここでユーザは、画像内の適切なグリッド領域（たとえば、正方形、自動検出された物体のバウンディング・ボックスなど）を選択することによって、自由形式で領域固有のメタデータを提示する。本明細書に記載の通り、一実施形態では、手動入力、たとえばマウス、タッチ・スクリーン入力などを用いて、自由形式の入力を提示することができるようになる。さらに、一実施形態では、物体を選択するための境界適合を半自動処理することによって、領域選択が容易になる。一例として、一実施形態では、ユーザによる初期入力、たとえば１つ又は複数の元画素の表示を取得し、画像解析を使用して、この選択を段階的に拡張することによって、対象となる領域、たとえば人物、建物、道路などをユーザが正確に選択又は強調表示するのを支援する。たとえば、ユーザが個々の物体の元画素を初めに示す場合、境界適合処理は、たとえばグレースケール、カラーなどの画素値などの画質尺度を使用して、画像の外側に元画素を拡張して、その物体の論理的境界、たとえば対象となる画素値が閾値分だけ変化するポイントを見つける。識別された物体の境界が正確である場合、ユーザは、自動適合された境界を受け入れることができるが、正確でない場合には、さらなる入力、たとえば、現在示してある境界内での継続的又は反復的な手動選択によって、一実施形態では、プロセスを繰り返し、すなわち画像解析技法を使用して次の論理的境界を見つけて、段階的に外側へと進行する。このようにして、ユーザは、半自動の物体検出機能を制御する際に支援を受ける。理解されるように、関連データ、たとえばこの物体又は同様の物体ついての関連付けられたメタデータ記述を使用して、画像内の物体の境界を見つける半自動プロセスを、これから先の境界適合のために改善することができ、場合によっては、境界適合プロセスを完全に自動化してもよい。

本明細書に記載の各実施形態は、画像領域に関連付けられた豊富なデータセットを提供し、こうしたデータセットは、データセット、及びデータセットと他の画像関連エンティティとの関係に依存する様々なアプリケーションにおいて活用してもよい。図５に移ると、一実施形態では、ユーザ、コミュニティ、各瞬間、写真又は画像データ、領域データ、及びコメント又は記述データの間の論理関係を利用して、画像及び関連するメタデータに索引付けして、検索、トレーニング、及び協働セッション、並びに他のアプリケーションを容易にする。図に示すように、ユーザ・エンティティ５０１は、たとえば、役割に割り当てられ、又はたとえば仕事グループ、ソーシャル・ネットワーク・グループなどのグループに含まれる、ユーザのグループであるコミュニティに関連付けられてもよい。コミュニティ又は役割エンティティ５０２はさらに、瞬間データ５０３、すなわち１つ又は複数の写真又は画像、領域、及び関連付けられた記述的メタデータを含むデータセットに関連付けられる。瞬間データ５０３はさらに、写真又は画像データ５０４に関連付けられ、このデータはさらに、領域データ５０５及びコメントすなわち記述データ５０６に関連付けられる。この論理構造により、本明細書に記載の通り、画像に関係するいくつかの実現可能な機能が容易になる。

図６には、ユーザＩＤが、写真ＩＤ、領域ＩＤ、記述ＩＤ、及び各記述に直接関連付けられて記憶されている、関係記憶の一例が示してある。図６の例では、第１のユーザＩＤであるユーザＡが、写真ＩＤの列入力である写真ＩＤ１２３４に論理的に関連付けられた列に記憶される。第２のユーザであるユーザＢが、後続の行に記憶され、やはり写真ＩＤ１２３４に論理的に関連付けられる。しかし、ユーザＡは、記述ＩＤ００１に関連付けられ、ユーザＢは、記述ＩＤ００２に関連付けられる。したがって、ユーザＡは、テキストＡの記述にアクセスすることができ、ユーザＢは、オーディオＡの記述にアクセスすることができる。これにより、どのデータセット（たとえば、画像、領域、及び記述）が特定のユーザに戻されるかを、区別して取り扱うことが可能になる。

一例として、一実施形態は、たとえばソーシャル・ネットワークの一部分として、又はオンライン画像共有セッションなどのリアルタイムの協働セッションとともに、オンラインの協働セッションで使用されてもよい。図１を参照すると、ユーザＩＤ、たとえばユーザＡが１０７において受信される場合、一実施形態では、１０８において、ユーザＡが写真ＩＤ１２３４に関連付けられていることと、したがって、１０９において、たとえばブラウザ又はモバイル・アプリケーションにおいてユーザＡに提供できる特定の画像とを決定してもよい。同様に、ユーザＩＤ、たとえばユーザＢが１０７において受信される場合、一実施形態では、１０８において、同様にユーザＢが写真ＩＤ１２３４に関連付けられていると判定し、したがって、ユーザＡと同様の特定の画像をユーザＢに提示してもよい。たとえば、ユーザＡとユーザＢが特定の画像を同時に目にし、たとえばテキスト、音声、又はビデオの通信を介して互いに対話し、画像と対話し、たとえば画像の領域にさらに注釈を付けて記述するように、同じセッション中にこれを実行してもよい。本明細書に記載の通り、各ユーザは、提供された特定のデータセットを有してもよく、このデータセットは、同じリアルタイムの協働セッションの一部分として、別のユーザに提示されるデータセットと部分的に重なり合っていてもいなくてもよく、又は互いに異なる時点において提供されてもよい。図６の例では、ユーザＡとユーザＢには同じ画像が提供されてもよいが、各ユーザには、写真の同じ領域について様々な記述が提供されてもよい。これは、様々な理由で実行されてもよく、たとえば、場合によってはユーザＢがオーディオ・ベースの記述を好み、ユーザＡが機械の一部分を記述するある特定のデータにのみアクセスすることを許可されてもよく、ソーシャル・グループのユーザが、もっぱら画像の領域についてのある特定のテキスト記述を見ることができてもよい、などである。当業者には理解されるように、列及び行のレベルのセキュリティを適用することで、たとえば、ユーザＩＤ（又は他の識別子）をある特定のデータ・アクセスに制限することができる。

さらに、一実施形態では、画像についての追加情報に索引付けするために、たとえば図６に示すように、データベースの動的な拡張が可能になる。図６に示すように、追加の列Ｎ及び関連する行を含むことで示す通り、いくつかの追加の領域及び記述を加えることができる。一実施形態では、画像についての追加の領域選択及び関連する記述に対応するために、追加の列を含んでもよい。さらに、たとえば、ユーザＩＤとグループＩＤ（明示的には図示せず）及びこのグループＩＤに関連付けられた（アクセス可能な）テーブル・データとをリンクさせるために、他のデータ・テーブルへのリンクを含んでもよい。さらに、領域ＩＤなどデータベース内のエントリは、特定の画像についての画素座標など他のデータと論理的に関連付けられてもよく、これらは、別の列又は表テーブルに記憶されてもよい。

一実施形態の索引付け構造はまた、拡張現実（ＡＲ）又は仮想現実（ＶＲ）を含む様々なシーン・ベースの状況に適用されてもよい。拡張現実の非限定的な例において図７を参照すると、一実施形態では、たとえばヘッドマウント・ディスプレイ、ＡＲ若しくはＶＲのゴーグル若しくはヘッドセット、又はスマートフォンに関連付けられたカメラから、７０１においてキャプチャされた、キャプチャ済み画像データを分析してもよい。キャプチャされた画像は、７０２において受信され、その内容を識別するために分析されてもよい。たとえば、ヘッドセットから局所プロセッサ又は遠隔プロセッサにストリーミングされる画像は、この画像内の特定の領域又は物体の認識を容易にする、物体の検出や識別などの画像処理技法を使用して分析されてもよい。たとえば、目にしている部屋を示す位置ベースのデータ、見る方向を示すコンパス又は加速度計のデータなど、他のデータが、このプロセスを補い又は容易にしてもよい。

その後、７０３において決定されたように、画像識別（又は、領域識別若しくは物体識別）がデータセットに関連付けられる場合、７０４に示すように、ライブ画像との組合せのために、このデータセットをユーザのヘッドセット又は他のＡＲディスプレイ装置に提示して戻すことができる。たとえば、このデータセットは、ディスプレイでの画像を拡張する領域固有のメタデータを含む。具体例として図２を参照すると、図２に示してあるタイプの機械を目にするユーザは、たとえばクラウドベースの画像処理アプリケーションによって画像を分析して、特定の機械タイプ及び画角を識別してもよい。この画像識別を、他のデータ、たとえばユーザＩＤと組み合わせて使用して、適切なデータセット、たとえば、その特定の機械タイプのその特定の視点でのガスケット位置など、領域及び関連付けられた記述のセットを選択してもよい。この記述的な領域固有のメタデータは、たとえば７０４において、ＡＲ表示のためにユーザ装置に戻して提供される。これにより、ユーザは、ローカル装置を使用して機械を画像化し、前もって準備された記述的メタデータ、たとえば、その特定の機械タイプでのガスケットの位置など、たとえば検査や修理などにおいてガスケットの位置を見つけるのに有用な記述的メタデータを取得できるようになる。本明細書に記載の通り、画像又は画像コンテンツの識別は、機械学習又は人工知能を使用して実行して、たとえば画像内に含まれるこれまでにトレーニングされた物体を識別してもよい。この点に関しては、たとえば図５に関連して説明するように、領域ＩＤは、物体ＩＤの形をとってもよい。人工知能プログラムが、目にしている物体を識別することを徐々に学習するように、更新されたユーザ注釈を提示して、さらなる肯定的又は否定的なトレーニング例として使用してもよい。一実施形態では、たとえばＡＲシーンの拡張に使用するための画像メタデータは、任意の適切な識別子、たとえば画像識別子、地理的識別子などを使用して、事前に決定され、提供されてもよい。

図８に示すように、一実施形態では、領域固有の記述を追加するためのユーザ・インターフェース８０１を画像８００に設けて、画像８００をコンテンツ識別子のグループ分けに関連付ける。一実施形態では、様々なコンテンツ識別子のグループ分けを様々なタイプの写真に追加するためのユーザ・インターフェース８０１を設けてもよい。たとえば、一実施形態では、図８に示すような集合写真８００について、Ｄ（日付）、Ｎ（名前）、Ｌ（場所）、Ｒ（経路）、Ｓ（構造物）、Ｐ（ペット）、Ｅ（環境／イベント）、Ｉ（個人）、Ｔ（他の物）など、コンテンツ識別子のグループ分けを含んでもよい。もちろん、他のコンテンツ識別子のグループ分けも可能である。非限定的な例として、図８に示す画像８００は、コンテンツ識別子のグループ分けＥ１（環境／イベント）、Ｌ１（場所）、Ｉ１〜Ｉ４（個人）、Ｓ１〜Ｓ２（構造物）、Ｒ１（経路）、Ｔ１（物）がユーザ・インターフェース８０１に設けられた屋外の集合写真を含む。

コンテンツ識別子のグループ分けはそれぞれ、図に示すように、実現可能なデータ・エントリ・タイプのサブセットを含む。一実施形態では、ユーザは、既知のデータ・エントリ・タイプそれぞれについて、手動でテキストを入力する。図８の例では、Ｉ（個人）のコンテンツ識別子のグループ分けは、名前、ニックネーム、写真での年齢、生年月日、性別、Ｎ１との関係、商業／職業、雇用主、及び学校の、可能なデータ・エントリを含む。ユーザは、インターフェース８０１を介して、こうしたフィールドのうち任意のフィールドに手動でデータを入力してもよく、一実施形態では、それぞれの画像領域に関連付けられた画像メタデータとしてこのデータを記憶することになる。すなわち、一実施形態では、画像メタデータは、画像８００の特定の領域に関連付けられており、たとえば、そのメタデータに関連付けられた画像８００の各領域に近接して画像８００内に現れるコンテンツ識別子のグループ分け（Ｔ１、Ｒ１、Ｓ２、Ｅ１、Ｉ１、Ｉ２、Ｉ３、Ｉ４、Ｓ１、及びＬ１）によって図８の例に示してある。したがって、画像８００と対話するユーザは、たとえば、Ｉ１識別子の特徴又はそれに関連付けられた個人（画素のグループ）に触れることによって、一実施形態では、関連付けられたメタデータ、たとえば個人１の職業を決定し、たとえば同様に関連付けられた画像メタデータを用いて、それに関連付けられた画像又は他のデータを検索できるようになる。

一実施形態では、画像処理に基づいてユーザ・インターフェース８０１に表示するためのコンテンツ識別子のグループ分けを自動的に提案してもよく、たとえば、物体の検出及び識別を使用して、コンテンツ識別子のグループ分けをユーザが手動で選択してもよく、又は前述の組合せを使用してもよい。一実施形態では、画像内の物体又は領域に関連付けられた、手動選択済みのコンテンツ識別子のグループ分けを使用して、人工知能プログラム用、たとえば人工ニューラル・ネットワーク用のトレーニング・セットを作成する。これにより、肯定的なトレーニング画像と、それに関連付けられたコンテンツ・カテゴリの識別子及び／又はデータ・エントリのセットを提供することによって、このような人工知能プログラムのトレーニングを支援する。したがって、一実施形態では、物体のタイプが画像内に含まれているかどうか、及び、どのコンテンツ・カテゴリの識別子が、その物体のタイプに関連付けられているかを識別することについて、時間が経つにつれて改善することになる。したがって、より多くのコミュニティ・メンバーが注釈付きの画像を追加し、これらが肯定的なトレーニング例として使用されるように、画像処理が改善することになる。これにより、画像領域又は物体と、コンテンツ・カテゴリの識別子及び／又は関連付けられたデータ・エントリとの間の関連付けを自動的に識別する際の一実施形態を支援する。たとえば、一実施形態では、顔が、カテゴリＩタイプの識別子に関連付けられており、道路又は橋が、コンテンツＲタイプの識別子に関連付けられていることを学習することができる。さらには、たとえば一実施形態をトレーニングして、特定の物体タイプに関連付けられた記述的メタデータ、たとえば特定の機械モデルを使用して、この特定の物体タイプを認識するような改善も可能である。

学習済みのこうした関連付けを使用して、たとえば、学習済みの類似性に基づいて、ある特定の結果を促すことによって、画像検索を改善するなど、ある特定の機能を自動化又は改善することができる。一実施形態では、人工知能を利用して、画像のコンテンツ・カテゴリの識別子及び関連付けられたデータ・エントリを使用して、この画像を関連付けてもよい。一例として、画像のコンテンツ・カテゴリの識別子及び関連付けられたデータ・エントリが写真ゲノムを構成し、この写真ゲノムは、時間が経つにつれて（すなわち、コンテンツ・カテゴリ及び／又はデータ・エントリが追加、削除、又は修正されるにつれて）変化することができ、これによって、写真を互いに関連付けることができる。たとえば、同様のコンテンツ・カテゴリを有する画像は、同様のコンテンツを有すると推定することができる。同様に、コンテンツ・カテゴリの識別子データ・エントリを使用して、さらに洗練された類似性の採点を遂行することができる。一例として、同じコンテンツ・カテゴリの識別子、たとえばＲをそれぞれが有する２つの画像は、そのレベルの類似性を共有するが、同じコンテンツ・カテゴリの識別子、たとえばＲ、及びデータ・エントリ、たとえば経路７９を有する２つの画像は、さらに洗練されたレベルの類似性を共有する。理解できるように、２つの画像が共有するコンテンツ・カテゴリの識別子及びコンテンツ・カテゴリの識別子データ・エントリが多くなると、この２つの画像の関連性が強くなる。画像のこの特性は、たとえば画像検索、コンテンツ推奨など、様々な機能に活用することができる。当業者には理解されるように、画像の写真ゲノムは、様々な技法を使用して関連付け、類別し、クラスタ化し、又は他の方法で関係することができる。

図９及び図１０には、１つ又は複数のデータ処理構成要素及びキャプチャ装置の関連付けられたデータ・ストレージ構成要素（たとえば、アプリケーションのプロセッサ及び集積回路メモリ、デジタル信号プロセッサ、マイクロコントローラなど）及び／又はコンピュータ１８１０、及び／又はクラウド・コンピューティング／ストレージ・インフラストラクチャを構成し、又はプログラムして、列挙された動作及びその変形形態を実行する、コンテンツ識別のためのアプリケーション又はプロセスの実施形態が示してある。タグ付け、関連付け、及び／又はコメント付けのアプリケーションへの以下の言及は、タグ付け、関連付け、及び／又はコメント付けのプロセスと交換可能であり、これらは、コンテンツ識別アプリケーションを実行するときに、コンテンツ・キャプチャ装置及び／又はコンピュータ１８１０及び／又はクラウド・コンピューティング／ストレージ・インフラストラクチャを介して実行されるプロセス／アプリケーションである。

図９〜図１０に示すように、コンテンツ識別アプリケーションは、識別、選択、認識、及び／又は関連付けのステップを含む複数のステップを有してもよい。図９〜図１０をまとめて参照すると、１つ又は複数の識別ステップ９６０、１００２において、コンテンツ識別アプリケーションは、コンテンツを識別するためにコンテンツ・キャプチャ装置及び／又はコンピュータ１８１０を利用するユーザから、識別されたデジタル画像９０５を受け入れて処理してもよく（９６４）、コンテンツ・データベースに記憶するために、コンテンツ管理システムにおいて一意な識別子を画像９０５に割り当ててもよい。特定のデジタル画像９０５に関連付けられた一意な識別子は、サード・パーティのサーバ及び／又はコンピュータ１８１０上で実行されている他のアプリケーションによって識別されるいくつかのコンテンツを有してもよく、これはサード・パーティのデータ及び／又はストレージを介して、及び／又はキャプチャ装置のストレージ自体に記憶されてもよく、及び／又はコンテンツ識別アプリケーションに入るときに識別されるコンテンツはない。さらに、一意な識別子は、たとえばシリアル・ナンバー、英数字の識別子、バーコード、又は、デジタル画像９０５に示してある明／暗の画素の既定のサブセット若しくはその全体によって定義された画像ベースの２Ｄバーコードを含んでもよい。

図９の画像コンテンツ識別ステップ９６６〜９９０、及び図１０の１０１２〜１０１６において、コンテンツ識別アプリケーションは、画像９０５、１００５に表示された対象となる特定のコンテンツにおいてユーザを介して、選択された画像コンテンツ９８２、１０１４についてＩＤ情報を関連付けてもよい。図１０に示すように、ステップ１００６において、コンテンツ識別アプリケーションは、一般にデジタル画像内の物体／コンテンツを検出及び分析するのに使用される様々なアプリケーションによって実行されてもよいように、アップロードされたデジタル画像１００５内のコンテンツを特定し、特定されたコンテンツについての認識シグネチャを計算するようにさらに構成されてもよい。以下でさらに詳細に説明し、図８にも示すように、特定されたコンテンツは、顔、場所、構造物、街路、植物、動物、イベント、物などを含め、画像１００５の特定の部分に関連付けられた様々なコンテンツを含んでもよい。図８に示すように、このようなコンテンツはさらに、類別及び／又は分類されてもよく、画像１００５内での日付（Ｄ）、名前（Ｎ）、場所（Ｌ）、経路（Ｒ）、構造物（Ｓ）、ペット（Ｐ）、環境／イベント（Ｅ）、他の物（Ｔ）など、コンテンツ識別子のグループ分けが与えられてもよい。

図９に示すように、ステップ９７０〜９９０を介して、コンテンツ識別アプリケーションは、このコンテンツ識別アプリケーションを利用するユーザが、コンテンツ・フィールド９７０を選択して、ステップ９７６において画像コンテンツと選択されたコンテンツ・フィールドとを関連付けてもよいように、（たとえば、図８に示すように）コンテンツ識別可能な画像９６８を表示してもよい（９６６）。ユーザが識別したい画像内の情報についてのコンテンツ・フィールドを見つけない場合、このユーザは、特定用途向けコンテンツ・フィールド９７４を選択し、これにラベル付けしてもよい。或いは、当業者には理解されるように、たとえば図８のタッチ・スクリーン・ディスプレイ上に示すように、ユーザの指入力選択及び／又はマウス選択を介して、最初に画像物体を選択し、次いで、その選択された画像物体についての選択されたコンテンツ・フィールド内のＩＤ情報（たとえば、人物、住居など）を選択することによって、ユーザは開始してもよい。画像情報識別ステップ９７６〜９８２において、アプリケーションは、画像９０５内のコンテンツについてのＩＤ情報、ステップ９８０を介したユーザ入力を関連付け、たとえば１８３０又は１８７０などのコンピュータ読取り可能な記憶媒体に伝送するために、ステップ９８２を介してコンテンツ強化画像９８４を準備してもよい。追加の画像ＩＤ情報は、ステップ９９０を介して入力してもよい。

他の実施形態では、図１０のステップ１００８〜１０１１に示すように、コンテンツ識別アプリケーションは、特定されたコンテンツ認識シグネチャと、関連する記憶されたコンテンツ・シグネチャとを予備的にマッチさせることにより、コンテンツ・データベース及び／又はインフラストラクチャ及び／又はデジタル画像１００５内のデータにおける、記憶された／既知のコンテンツ・シグネチャに対して、この特定されたコンテンツ認識シグネチャを処理してもよい。ステップ１０１２において、コンテンツ識別アプリケーションを利用するユーザは、可能な場合は、既知のコンテンツ・フィールドについてのＩＤ情報の予備的マッチングの確度を検証してもよく、又は否定してもよい。画像情報識別ステップ１０１２〜１０１４において、このアプリケーションは、ステップ１０１２を介したユーザ検証、又はステップ１０１５を介したユーザ入力のいずれかによって、写真１００５内のコンテンツのＩＤ情報を関連付け、たとえば１８３０又は１８７０などのコンピュータ読取り可能な記憶媒体に伝送するためのコンテンツ強化画像１０１６を準備してもよい。図９でのステップ９９０と同様に、必要な場合、コンテンツについての追加ＩＤ情報を入力してもよい。

別の実施形態では、図２に示す実用的なアプリケーションによって示すように、コンテンツ識別用の１つ又は複数のステップ９６０〜９９０を実行してもよい。コンテンツ識別アプリケーションは、工業環境において１人又は複数人の工場労働者（図示せず）によって利用されて、（たとえば、図２において、工場労働者によってキャプチャされた機械の写真２１０として示すような）コンテンツ識別可能な画像９６８を表示してもよい（９６６）。画像９６８、２１０のこのような表示９６６は、たとえば、タブレット又はスマートフォンのコンピューティング装置などでの装置画面を介して表示されてもよい。コンテンツ識別アプリケーションを利用する工場労働者は、ステップ９７６において、画像コンテンツと選択されたコンテンツ・フィールドとを関連付けるように、（たとえば、タイトル区域２４０及び／又は記述的区域２５０として示す）コンテンツ・フィールド９７０を選択してもよい。図２に示す一実施形態では、工場労働者は、タイトル区域２４０として示してある特定用途向けコンテンツ・フィールド９７４を選択し、テキスト「漏れているガスケット」を入力してもよい。或いは、当業者には理解されるように、工場労働者は、最初に画像物体、たとえばユーザの指入力選択及び／又はマウス選択を介して、図２に示すガスケットの境界輪郭２２０に適合する形を選択し、次いで、ガスケットにおける選択されたコンテンツ・フィールド（たとえば、タイトル区域２４０）のＩＤ情報９８０を選択することによって開始してもよい。さらに、又は代替的に、工場労働者は、テキスト２６０又はオーディオ入力２７０を介して、ガスケットにおける記述的区域２５０を使用する情報識別ステップ９７６、９８２を使用して、画像２１０におけるＩＤ情報９８０をさらに埋め込み、このような自由形式の記述２６０、２７０と、色、数字など視覚的な識別特徴とを関連付けて、これと特定のそれぞれの領域２２０、２３０とを関連付けてもよい。一実施形態では、このような識別特徴は、特定用途向けのコンテンツ・フィールド及びラベル９７４を利用して、選択された画像物体（たとえば、ガスケット選択２２０）と、選択された各画像物体に関連付けられた特定のＩＤ情報２８０とを視覚的に接続するために、画像物体とそれに関するＩＤ情報とをさらに関係付ける。アプリケーションは、画像９６８、２１０内のコンテンツについてのＩＤ情報９８０（たとえば、メタデータ２６０）、ステップ９８０を介したユーザ入力を関連付け（９８２）、装置及び／又は、たとえば１８３０若しくは１８７０など他のコンピュータ読取り可能な記憶媒体への伝送及び／又は記憶のために、ステップ９８２を介してコンテンツ強化画像９８４を準備してもよい。

一実施形態では、コンテンツ識別アプリケーションの１つ又は複数のステップは、動作９６０、１００２において、スキャナ（カメラ／ＣＣＤとも呼ばれる）を使用して、写真をデジタルでキャプチャするためのユーザ・コマンドに応答して、動作を自動的に開始してもよい。本明細書では、写真を識別又はキャプチャすること、及びその変形形態は、物理的な写真又は他の物体など、ある物体からの光波であって、電荷結合デバイス（ＣＣＤ）又は相補型金属酸化膜半導体（ＣＭＯＳ）チップなどの電子撮像装置によって検知される光波を、画素からなるデジタル画像に変換するプロセスから生まれるものと理解されている。デジタル画像９０５、１００５は、デジタル画像ファイル・フォーマット（たとえば、ジョイント・フォトグラフィック・エキスパート・グループ（ＪＰＥＧ）、エクスチェンジャブル・イメージ・ファイル・フォーマット（Ｅｘｉｆ）、タグ付き画像ファイル形式（ＴＩＦＦ）、ポータブル・ネットワーク・グラフィックス（ＰＮＧ）、ＲＡＷ画像ファイル形式、グラフィックス・インターチェンジ・フォーマット（ＧＩＦ）、ＢＭＰファイル形式など）で、一過性又は永続性いずれかのメモリに記憶されてもよい。

別の実施形態では、識別ステップは、キャプチャ装置、又はこのような画像用の他の記憶位置に記憶された、これまでにキャプチャされた画像９０５、１００５上でコンテンツ識別アプリケーションが動作するように、ユーザによって手動で呼び出された後に動作を開始してもよい。

図１１は、たとえば図１８に示すようなコンピューティング・システムを使用して実行してもよい、例示的な実施形態を使用する動作の基本的な流れを示す図である。第１に、ユーザは、１１０１に示すように、システムへアクセスするように登録されるはずである。第２に、ユーザは、１１０２においてシステムにログインしてもよい。次いで、ユーザは、１１０３において写真をシステムにアップロードしてもよい。同じプロセスにおいて、ユーザは、１１０４において写真の価値を識別するために、写真に１つ又は複数のカテゴリを付与してもよい。その後、ユーザは、１１０５において、自分又は他のユーザにとって興味深い可能性のある写真の領域を強調表示し、領域座標のセットを用いてこの領域を選択してもよい。領域を選択した後、ユーザは、１１０６において、この領域にカテゴリを付与して、この領域の価値を識別してもよい。写真に関連付けられたメタデータが１１０７において更新されることになり、最終的に１１０８において写真がデータベースに記憶されることになる。

図１２には、関係する写真を検索するための例示的な実施形態の動作の基本的な流れが示してあり、これは、たとえば図１８に示すようなコンピューティング・システムを使用して実行してもよい。１２０１において、ユーザは、システムにログインし、１２０２において１つ又は１組のキーワードを入力することになる。１２０３、１２０４に示すように、キーボードに関連するカテゴリを含むあらゆる写真が、データベース内に見つかり、取得されることになる。次いで、システムは、１２０５において領域カテゴリを検索することになり、したがって、キーワードに類似した領域カテゴリを有するそうした写真が、１２０６において見つけられ、取得されることになる。１２０７に示すように、このようにして見つかったあらゆる写真が、その関連性に基づいて構成され、１２０８において適宜表示されることになる。

図１３には、システムを使用して、写真のメタデータに情報を追加し、したがってこの写真があらゆるユーザにとって価値を増すものになるようにする動作の基本的な流れが示してあり、この動作は、たとえば図１８に示すようなコンピューティング・システムを使用して実行してもよい。システムにアクセスするユーザは、１３０１に示すように、対象となる写真をまず選択することになる。次いで、ユーザは、１３０２において写真をカテゴリで識別することになる。このようなカテゴリは、写真全体に適用され、全体としてこの写真に適用される識別情報を伝達することになる。次いで、１３０３に示すように、ユーザは、コメントを用いて写真のカテゴリをさらに説明して、このカテゴリの意味を詳しく述べることを選択してもよい。次に、１３０４において、ユーザは、自分にとって興味深い可能性のある写真の特定の領域を識別してもよい。このような特定の領域は、建物、人物、物体、又は活動とすることができる。１３０５に示すように、各領域に領域カテゴリが追加されることになり、１３０６に示すように、このような領域カテゴリにさらなるコメントを追加することができる。最終的に、１３０７に示すように、写真のメタデータが新規のカテゴリ及び領域カテゴリで更新されることになり、１３０８に示すように、写真がデータベースに記憶されることになる。写真内の様々な価値を探している数多くのユーザにとって、このような写真は、ここでさらに検索しやすくなるはずである。

一実施形態では、データベースは写真を含み、この写真のそれぞれはメタデータによって記述される。さらに重要なことに、各写真は、領域座標によってさらに小さいセクションに分割することができる。こうした相対的に小さいセクションを使用して、大きな写真に含まれる特定の物体を識別し、その結果、各写真を正確にラベル付けして、写真内に存在するあらゆる物体を反映することができる。各写真領域に領域コメントを関連付けてもよく、その結果、特定の領域についての詳細な記述を入力することができる。続いて、この領域コメントは、任意のユーザによって検索可能になる。写真領域を領域カテゴリ内にさらに分類することができ、その結果、写真領域内の各物体をデータベース内で、さらに良好に編成及び管理することができる。

ユーザのプロファイルは、データベース内で管理されてもよく、このデータベースは写真へのアクセスも提供する。物体ベースの画像管理システムのユーザは、あらゆる写真を閲覧し、写真領域及び写真領域コメントを編集することができるようになる。これにより、特定の写真の価値に様々な洞察を加えることのできるユーザのコミュニティが形成される。各写真において識別及び分析できる物体の数が増えるので、このようなコミュニティは、関係するあらゆる人に、価値あるサービスを提供することができる。写真において何が価値あるかの考えはユーザごとに異なるので、複数の人々にとって、写真をさらに価値あるものにすることができる。

コミュニティ・ベースの写真管理の利点の一例は、以下の例によって説明することができる。ある卒業生が、自分の学生時代の集まりの写真を見つけ、卒業生コミュニティの残りの卒業生とその写真を共有しようとした。領域編集機能を使用して、写真において自分の知っているあらゆる人を識別している間に、自分の寮の４階で寮生活アドバイザを務めていた人を認識した。しかし、彼は、この人の名前を知らなかった。したがって、彼は単に、この特定の写真領域と「４階のＲＡ」の領域コメントとを関連付けた。この写真をふと目にした別の卒業生が、４階のＲＡを務めた人物を知っており、領域コメントが彼の実際の識別情報を反映していないことを知った。次いで、このような卒業生は、領域コメントを編集して、この人物を正しく識別できるようになる。したがって、協働メカニズムを通して、次に写真を正しくラベル付けして、対象となるあらゆる人物を識別してもよい。このような成果は、既存の画像共有システムでは、これまでのところ利用できない可能性がある。

別の例は、同じ写真内の追加の物体を識別することになる。集まりの写真において、卒業生の誰もが熱気球を知らず、又はそれを気にもかけていないが、この特定の熱気球は、別のメンバーにとっては何らかの価値があると仮定する。ユーザのうちある１人は、この特定の写真領域をここで検索できるように、年、場所、又は作製者（必要な場合）などの情報とともに、この熱気球にラベル付けする必要があると感じる場合もある。

ユーザのうちある１人は、何からの重要な思い出のために、この特定の熱気球を探してきて、ウェブ上で検索してきたが成功しなかったと仮定する。一実施形態のユーザが写真領域を識別した後、もともとは昔の大学の集まりを記念するだけのものであったこの画像が、ここで特定の気球を検索する際に現れるようになる。したがって、熱気球に興味のあるユーザは、ここでこの写真を見つけ、関連付けられたその他すべての写真領域のコメントを使用して、熱気球の所有者を特定するのに役立つことができる。１人のユーザによる対象の記述によって、あらゆる画像が制限されるので、オンラインでの現在の画像共有システムでは、このような成果は不可能である。ユーザのコミュニティに写真領域のタグ付け機能を付与することによって、通常は画像ストレージ・システムに関連付けられる偏りをなくすことができる。

図１４を見て分かるように、又本明細書に記載の通り、このシステムは、以下のセクション、すなわちクライアント・アプリケーション、プレゼンテーション層ＡＰＩ、ビジネス・ロジック、データ・アクセス、データベース、並びに最終レベルでは写真及びそれに関連付けられたメタデータに分割されてもよい。ユーザは、写真をアップロードしようとするとき、クライアント・アプリケーションが存在する装置から画像を選択し、それをシステムに渡してもよい。このような画像は、ユーザの装置に前もって記憶されていてもよく、この装置には、コンピュータ、携帯電話、又は他のモバイル装置が含まれ得る。実施形態によっては、画像は、ユーザの装置に関連付けられた画像キャプチャ手段を介して、リアルタイムにキャプチャされてもよい。

ユーザがシステムに渡したい画像を選択すると、プレゼンテーション層ＡＰＩが、直感的なインターフェースを提供して、アップロード手順の残りを通してユーザを案内することになる。続いて、ビジネス・ロジックがデータ・アクセスに画像を挿入することになる。このデータ・アクセスは、画像が記憶され、編成されることになる場所でもよいデータベースへの経路を提供する。このシステムは、アップロードされた画像にユーザが名前を付けるように促すことになり、この名前は、画像に付けられた写真ＩＤに変換されることになる。最終的に、この写真は、ＩＤに関連付けられ、写真に関連付けられた任意のメタデータとともにデータベースに記憶されてもよい。この写真ＩＤは、アップローダにとっては役に立ち、画像を要求するのに使用することができるが、画像の唯一の識別子ではない場合がある。写真とその写真ＩＤとを関連付けていない人によって画像を識別及び取得できるように、所与の各画像について可変の識別子を作成するのに、これは一実施形態の目的に沿うものである。

画像がアップロードされると、ユーザは、クライアント・アプリケーション（クライアント・アプリ）を使用して、写真にカテゴリを割り当ててもよい。一実施形態では、データベースへのアクセス権を有するどんなユーザも、アップロードされた写真にカテゴリを割り当てることが許可されることになり、その結果、写真の可能なあらゆる価値をユーザのコミュニティによって識別することができる。ファイル名のテキスト及びデータの価値は限定されており、各写真に利用可能な価値のあらゆる範囲を完全に反映することができないので、写真を単なるそのファイル名を超えて、カテゴリに関連付けることが重要になる場合がある。したがって、「カテゴリ」と呼ばれる別々の識別子が使用されて、画像をさらに識別することになる。

プレゼンテーション層ＡＰＩは、写真に埋め込まれた情報としてカテゴリを追加するための、包括的なユーザ・インターフェースを提供する。ビジネス・ロジックは、埋め込まれた情報モジュールから受信するカテゴリを、写真に挿入することになる。データベース内の写真について、写真カテゴリ・レコードが作成されることになり、このようなカテゴリが、写真のメタデータに追加されることになる。このようなデータは、システムへのアクセス権を有するあらゆる人に検索可能になる。既存のメタデータなしで写真がアップロードされることもある場合、システムは、写真に関連付けられた新規のメタデータ・ファイルを作成することになる。

一実施形態では、写真のあらゆる領域も識別及び分類することができる。写真は、花瓶又はトランプなど、識別及びラベル付けすることができる様々な物体を含んでもよい。一例では、熱気球は領域によって識別することができ、カテゴリは熱気球に関連付けることができる。したがって、写真は、ある特定の人物又はイベントだけでなく、物理的な物体にも関連付けられることになる。写真内のあらゆる物体は、１組の画素座標内に囲まれていてもよいので、あらゆる物体は、適切な座標によって識別することができる。したがって、写真は、画素座標によって識別される写真の物体に基づいて、このような領域によってさらに分類することができる。このような領域ベースのカテゴリは、メタデータ内の写真にも関連付けられることになり、写真の価値が高まる。

写真が適切にアップロードされ、カテゴリ情報が埋め込まれると、この写真は、そのメタデータに基づいて取得できるアイテムになる。すなわち、この画像は、そのカテゴリのいずれかがユーザの検索において現れると、取得されることになる。したがって、この画像は、そのファイル名だけで取得することがもはやできなくなり、他の方法で非表示になっているそのユーティリティに基づいてユーザからアクセス可能になることができる。カテゴリ内の関連付けられた画像を検索するには、ユーザは、プレゼンテーション層ＡＰＩからの検索モジュールを利用してもよい。ユーザは、キーワード又はフレーズを識別してもよく、ビジネス・ロジックは、写真のメタデータの一部分として存在することになる１組の写真の物体又はカテゴリをユーザに戻すことになる。次いで、ユーザは、キーワード又はフレーズに最も関連性の高いカテゴリを選択してもよく、ビジネス・ロジックは、選択された写真の物体又はカテゴリを含むメタデータを取得することになる。１組のメタデータがビジネス・ロジックに戻されると、この１組のメタデータに対して関連付けアルゴリズムが実行されて、一致するあらゆる写真を識別することになる。最終的に、一致するこうした写真がデータベースから再試行され、ユーザのクライアント・アプリケーションに戻されることになる。

上記プロセスが示すように、写真のあらゆる可能な価値を識別及び利用できるように、このシステムに渡されるあらゆる写真には、複数の識別子が与えられることになる。アーキテクチャ上の各要素は、写真の適切な記憶及び分析のための即時動作の役割を担うことになる。一実施形態では、ユーザのコミュニティはあらゆる写真にアクセスし、したがって、数多くの写真の物体を識別することができ、適用可能なカテゴリを埋め込むことができる。したがって、あらゆる写真は、関連付けられたメタデータによって提供される、かなりの検索能力及び価値を有することになる。

写真のメタデータ構造の一例が、図１５及び図１６に示してある。このシステムに、写真をアップロードしてもよい。ユーザは、この写真での１人の人物を知っており、この人物の名前はMike Toddである。したがって、この写真は、「Mike Todd」を識別するように、初めにラベル付けされてもよい。従来の画像管理システムでは、この写真のみが、Mike Toddに関係する用語を検索可能にする。この写真には数多くの人々が存在しており、他のユーザはこうした人々を知っている場合があるので、これは非常に紛らわしい。又は、このような写真において、知っている人物に会いたいはずである。しかし、既存の写真管理システムでは、「Mike Todd」が写真に存在していることを知らない限り、この写真を見つけることはないはずである。

一方で、一実施形態を使用すると、他のカテゴリを追加して、この写真をさらに識別することができる。所与の例では、ポーカー・ゲームを強調表示する領域が識別されてもよく、カテゴリがこのような領域にちなんで名付けられる。１人のユーザが「イベント：ポーカー・ナイト」の下でこの領域を識別し、別のユーザが「ゲーム：３カード・ポーカー」の下でこの領域を識別した。したがって、ここでこの写真は、「ポーカー・ナイト」又は「３カード・ポーカー」に関係する検索語の下で取得可能である。このようなシステムの有用性は、次のように説明することができる、すなわち、あるユーザは、写真の中の人物たちのうち１人を知っていることもあるが、誰がMike Toddなのか知らない。彼が知っていたのは、自分の友人が在学中にポーカーで遊んでいたこと、又は具体的には、３カード・ポーカーを楽しんでいたことだけである。ここで彼は、このシステムのユーザとして、このデータベース内で「ポーカー・ナイト」又は「３カード・ポーカー」を検索してもよい。このユーザにとって幸運なことに、この写真が現れることになる。従来のシステムの下では、この写真は、初めのうちユーザには未知の可能性がある属性に関連付けられていたので、このユーザは写真を見つけることができないはずである。

一実施形態では、このシステムはまた、写真内でインポートされたメタデータを検索できる場合がある。場合によっては、写真には、どんなユーザにも見えないか又は未知である可能性のある、埋め込まれた情報がある、しかし、このような埋め込まれたメタデータは、どこを見るべきか知っている人には見える場合がある。このシステムは、既存の任意のメタデータにおけるアップロードされた写真を徹底的に探し出し、それをデータベースにインポートできるようにする。このようなメタデータは、このシステムのユーザによって特に編成されてはいないので、別々の「インポートされたメタデータ」フィールドの下に表示されることになる。したがって、この写真を見ている任意のユーザは、インポートされたメタデータを使用して、写真及びそれに関連付けられた領域をさらに正確に分類できるようになる。

図１６には、一実施形態での画像表示のレイアウトが示してある。この写真のすぐ下には、主要な写真カテゴリ１６１０及びそれに関連付けられたコメント１６２０が存在する。写真をアップロードするユーザは、写真に適用可能な自分の価値観に従って写真にラベル付けできるようになり、及びカテゴリ・コメントを使用して、写真をより詳細に作成又は記述できるようになるはずである。画像が記憶されると、他のユーザは、カテゴリ１６３０及びカテゴリ・コメント１６４０を全体として写真に帰することもできる。次に、写真を各領域に分割し、特殊性をさらに際立たせて識別することができる。またしても、領域カテゴリを渡す人には、領域カテゴリ・コメントを提供して、ある特定の領域について詳述するための機能が与えられることになる。写真を最初にアップロードするユーザと、関連付けられた検索によって写真を見つけたユーザとを含むあらゆるユーザが、写真及びその領域の分類に寄与できるようになる。最後に、各写真に関連付けられたインポート済みのメタデータ１６５０が、他の情報とともに表示されて、有機的な情報フィールドを提供することになる。このような情報フィールドは、どのようにして写真をさらに識別できるかについての洞察を、他のユーザに提供することができる。一実施形態では、関連付けられた画像を見つけるために、上記フィールドでのあらゆるテキスト情報が、システムを通して検索可能になってもよい。

シナリオの別の例を図１７に示すことができる。これは、カーネギー・メロン大学のキャンパスでのある区域の写真である。この写真には様々な建物が見えており、それぞれが様々なユーザによって詳細に記述されていてもよい。たとえば、Hamerschlag Hallの輪郭を描く領域は１７１０で識別されてもよく、又この領域を反映するカテゴリは１７１１で追加されてもよい。さらに、建設された年及び位置を含め、この建物に関するさらなる情報も、この領域に添付される。ユーザのコミュニティは、この建物に関するさらなるコメント及び考察を提供することができる。このようなコメントは、通常なら建物へ個別に関連付けることができない追加の洞察を、その建物に提供する。別の例では、ユーザは、コーヒーの品質についての意見（１７２１）を述べたWean Hallの輪郭を描く領域についてコメントした（１７２０）。別のユーザは単に、コーヒーを販売する場所を検索していてもよく、このコメントのおかげでこの画像まで誘導されることになる。このユーザはここで、Wean Hallが美味しいコーヒーを販売する事実を秘かに知る。当業者には理解されるように、このタイプのアプリケーションは、このシステムの自然な利用でもよい。

一実施形態では、本明細書に記載の通り、写真内の領域の輪郭は、物体の境界アルゴリズムを利用して、領域内の対象となる物体にさらに適合することができる。たとえば、図１５での柱にぶら下がっている帽子は、その形状に応じて強調表示することができる。このような画素情報は、拡張部としてこのデータベースにさらに記憶することができ、したがって、このような輪郭を含む他の画像をさらに関連付けることができる。一実施形態では、写真は、カテゴリ、コメント、及び他のメタデータに加えて、画素調整によって検索可能である。

一実施形態では、システムは、ユーザがユーザ登録を利用し、システムにログインし、システムの外側の誰かにｅメール又は通信を送信し、関連付けられた写真を閲覧し、キーワード・ベースの写真検索を実行し、サード・パーティのリポジトリから写真及びメタデータをインポートし、ユーザの写真コレクションからある写真を削除し、ユーザのファイル・システムから写真を一括アップロードし、写真を閲覧し、写真に情報を埋め込み、写真にコメントを追加することができるようにする。上記機能のうち、アプリケーション・エージェントを利用して、関連付けられた写真を閲覧してもよい。検索エージェントを利用して、キーワード・ベースの写真検索を実行し、ＸＭＬパーサを利用して、サード・パーティのリポジトリから写真をインポートしてもよい。

適用可能な各機能が、各モジュールを通して実装される。別々のモジュールに機能を割り当てることにより、効率及びトラブルシューティング能力が改善するようにシステムを設計することができる。ユーザ管理モジュールでは、ユーザは、ユーザ登録、システム・ログイン、及びシステム外部のユーザとのｅメール管理を通してシステムと対話してもよい。ユーザ管理モジュールは特に、ユーザのプロファイル及び外部ユーザとの対話を統制する。このモジュールは、システム内の写真へのユーザのアクセスを規定し、外部リソースとユーザの対話を制御する。一実施形態では、ユーザ管理モジュールは、ユーザが写真アクセスに制限を課して、データの確度及び一貫性を維持できるようにする。さらなる一実施形態では、ユーザ管理モジュールは、ユーザがシステムの非ユーザを招待して、写真及びそれに関連付けられたメタデータを閲覧できるようにする。一実施形態では、ユーザ管理モジュールは、ユーザが友人又はグループとして互いを追加して、このシステムのソーシャル・メディアの価値を高めることができるようにする。

埋込み情報モジュールは、データベースに記憶された写真を閲覧し、写真に情報を埋め込み、このような写真にコメントを追加することによって、ユーザがシステムと対話できるようにする。埋込み情報モジュールは、ユーザと写真に添付されたメタデータとの間の対話を統制する。このモジュールを通して、写真は、単一のファイル名を有する単純な画像から、データ関連付けが無数の潜在的可能性を有する複雑なエンティティに変換されてもよい。写真に追加のデータ点を付加することによって、写真は、一画像であることを超えて、豊富な情報の結合体へと変わる。一実施形態では、埋込み情報モジュールは、ユーザが、音声からテキストへの技術を使用して、写真に情報を埋め込めるようにする。さらなる実施形態では、埋込み情報モジュールは、同様の写真に基づいて、同様のフィールドに断定的なテキストを追加してもよい。一実施形態では、写真内の各領域は、その領域座標の類似性に基づいて編成することができる。一実施形態では、写真管理システムは、写真内のある特定の物体の実際の形状に基づいて編成されることになる。

アップロード・モジュールは、サード・パーティのリポジトリから写真及びメタデータをインポートし、ユーザの写真コレクションから写真を削除し、ユーザのファイル・システムから一括アップロードすることによって、ユーザがシステムと対話できるようにする。このモジュールは、ユーザの装置からこのシステムのストレージ構成要素への写真の送出を統制する。一実施形態では、写真は、アップロードされた後、任意の潜在的なメタデータについてスキャンされてもよい。したがって、写真は、単なる画像ではなく、画像に結びついた関連情報の結合体でもよい。一実施形態では、ユーザがサード・パーティのリポジトリから事前記憶された写真をアップロードできるように、サード・パーティのユーザ・ファイル・システムをリンクすることができる。

検索モジュールは、ユーザが、関連付けられた写真を閲覧し、キーワード・ベースの写真検索を実行することができるようにする。写真は、写真全体又は写真の領域全体に基づいて、ここで数多くのカテゴリに関連付けられているので、従来のデータベースと比較して結果の量が増加することになる。一実施形態では、検索モジュールは、最も適切な結果が最も目に見えるように、検索結果を統制することができるようになる。一実施形態では、複数の検索判定基準を組み合わせて、特定の写真を特定することができる。さらなる一実施形態では、検索モジュールは、このシステムの外部にあるサード・パーティの写真ビューアに写真を表示できるようにする。

一実施形態では、検索モジュールは、ユーザが、検索とのその関連性に基づいて写真を格付けできるようにする。これにより、検索結果の編成がさらに良好になり、したがってユーザは、その結果を通してさらに容易に解析できるようになる。さらなる一実施形態では、検索モジュールは、自動的に実行され、変更の更新をユーザに通知するようにスケジュールすることができる検索エージェントを利用してもよい。

本明細書において述べるあらゆるモジュールは、連携して、首尾一貫したシステムを形成し、メタデータと写真のシームレスな統合を可能にして、包括的な索引付けシステムを提供し、これによってあらゆるユーザに無制限の関連性と検索機能を提供する。一実施形態では、写真管理システムは、フェイスブック、インスタグラム、ツイッター、リンクトイン、又は他の卒業生関係のウェブサイトなど、ソーシャル・メディア・ウェブサイトと一体化されて、拡張されたユーザ・コミュニティを実現することができる。この拡張されたユーザ・コミュニティを利用して、多数の写真での情報をロック解除することができ、その結果、画像は、百科事典のエントリと同様の情報の接続されたポートになる。一実施形態では、このシステムが提供されて、画像及びその関連付けられた領域に基づく情報のウェブを作成する。この写真管理システムでの写真は、どれだけ言葉を尽くしても説明しきれないものになり、こうした言葉は、コミュニティでのユーザ間の具体的な連結の形になる。

一実施形態を使用して、様々な垂直的市場向けの複数のフロントエンドをサポートするための、バックエンド機能を提供してもよい。たとえば、複数の組織又は企業実体が、フロントエンド・コンテンツのサポートにおいて単一のバックエンド・システムを利用することもできる。一実施形態を異なる学校によって使用して、インタラクティブな写真アーカイブを作成してもよい。それぞれの学校は、それ独自の卒業生ネットワークによって共有及びアクセスできる、個々の写真アーカイブを有することになるが、単一のプラットフォーム上でバックエンド・システムのサポートが提供されて、様々なフロントエンドにおいてデータの一致を確実にすることになる。

一例として、たとえば、ウェブ・インターフェース・ページに表示される画像の一部又はすべては、拡張画像システムへのアクセス可能性を示すための記号を用いて示されることになる。システムによる注釈においてこうした画像が有効になっているはずであり、したがって、ユーザは各写真に関連付けられた機能の可能性を理解できるはずである。拡張画像システムに関連付けられた写真は、他のシステムでは利用不能になる様々なインタラクティブ機能をユーザに提供することになる。

対象となる写真をユーザが選択すると、たとえば写真の隣のポップアップ・ウィンドウを介して、情報フィールドが提示されてもよい。この情報フィールドは、通常は写真に関連付けられた、単純な識別ファイル名を超えるコンテンツを含む。拡張画像システムによって有効化された写真は、この写真についての詳細情報を提供するメタデータの深さを有することになる。たとえば、写真の日付が表示されるが、このような日付は、通常は他のシステムでの写真に関連付けられることになる、アップロード、デジタル化、又は最終版の日付ではない。むしろ、このような日付は、このような写真が撮影された日付を実際に反映するメタデータの一部分である。これにより、ユーザは、このシステムにおいて写真を正確に検索できるようになる。一実施形態では、ユーザは、このようなパラメータを用いて検索することによって、データベース内の写真を閲覧してもよい。

一実施形態では、ユーザはまた、ズームインなどの写真閲覧機能を実行して、選択された写真をより良好に閲覧してもよい。ユーザにはまた、自分が知っている任意の情報で写真に注釈を付ける役に立つように、ログインする選択肢が与えられることになる。

たとえば、ユーザは、ログインして、注釈メタデータ、たとえば写真の場所を、たとえば「大聖堂の芝生」に修正してもよい。したがって、「大聖堂の芝生」で発生したイベントを検索する別のユーザは、データベースを検索することによって、この写真を特定することができるようになる。写真をアップロードする人物は、その写真を「大聖堂の芝生」に関連付けなくてもよいので、このシステムは、そのような情報を画像に関連付けることができるように、注釈を用いて写真を関連付けるための機能を提供する。さらに、ユーザは、写真の領域を強調表示して、さらなる情報を提供するように選択してもよい。一実施形態は、可能な限り多くの情報を写真内の様々な物体に関連付け、したがって、様々な物体に応じて、各画像間で情報のネットワークを接続することができる。さらに、ユーザは、他のユーザによって注釈が付けられた写真内の領域を閲覧するように選択してもよい。たとえば、熱気球が領域によって強調表示される場合、ユーザは、それを閲覧するように選択してもよい。

この領域、たとえば熱気球を選択すると、新規の情報フィールドが生成される。この新規の情報フィールドは、選択された熱気球についての追加情報を含む。拡張画像システムは、タグ付けする人だけに写真の注釈を制限するものではない。むしろ、このシステムは、写真の領域内のありとあらゆるものについての詳細情報を提供するように設計されており、したがって、ユーザは、情報フィールド内の注釈付きのコンテンツに目を通すことによって、他の写真又は情報を見つけてもよい。たとえば、熱気球に関する情報は、それだけには限定されないが、検索における所有者の名前、飛行計画、乗客の番号又は識別情報、パイロットの識別情報、ライセンス情報、製造者、及び年齢を含んでもよい。このすべての情報は、多くの様々なユーザに知られていてもよく、このシステムは、ユーザのコミュニティを利用して、選択された物体についての正確な情報を提供することになる。これにより、選択された物体に正確に注釈付けするためのピアレビュー済みコンテンツの供給システムが実現する。さらに、注釈付きの熱気球は、モデルや製造元などの詳細に至るまで、この特定の熱気球を含んでもよい他の写真にリンクされることになり、ユーザは、「どこか他の所で見つける」のリンク又は同様のインターフェース要素にアクセスすることによって、そのような熱気球を含む他の写真を見つけてもよい。

写真の複数の領域を識別し、それに注釈を付けることができる。たとえば、建物は領域によって識別されてもよく、表示された情報フィールドは、新規に選択された領域を反映するように変更される。選択された領域には様々なパラメータが関連付けられてもよく、このパラメータは情報フィールドに表示されることになる。このようなパラメータは、それだけには限定されないが、構造物の名前、建設データ、可能な場合は取り壊しの日付、居住者リスト、及び居住者アドバイザのリストを含んでもよい。このような領域に利用可能なこのレベルの詳細により、既存の他の画像システムでは単に利用できない豊富な情報を画像に埋め込むことができるようになる。熱気球の場合と同様に、強調表示された建物は、同じパラメータを含む他の写真に関係付けることができ、ユーザは、関係する写真をブラウズすることによって、そうした写真に移動して見てもよい。たとえば、同じ区域でのイベント中に撮影された別の写真を選択してもよく、情報フィールドが表示されて、写真を詳細に識別する。写真に関する全般的情報が提供される。選択された写真は、同じイベント中に同時に撮影されたものなので、一実施形態では、情報フィールドは、全体としての写真に関する同じ基本情報を表示する。

さらに、人物は、この人物の周りに輪郭を描かれた領域を有することによって識別されてもよい。この領域は、人物を識別し、情報フィールドは、システムのユーザによって提供される、この個人についての詳細情報を示すことになる。この人物は別のユーザによって識別されるので、このようなコンテンツが、他のユーザによって提供され、現在のユーザにとって利用可能である限り、この写真を閲覧するユーザは、写真についてのさらに詳細な情報を閲覧するように選択してもよい。

各情報フィールドに一覧表示されたあらゆるパラメータは、関連するページ、たとえば、ビデオ、画像、又はテキスト・データなど、関連するデータに対するサーバへのリンク又は呼出しにハイパーリンクを張られてもよいことに留意することが重要である。このように、情報フィールドは、単なる情報の受動的な表示ではない。むしろ、情報フィールドは、各パラメータに関連付けられたコンテンツについて、さらに多くを学ぶ方式をユーザに提供する。この場合、ユーザは、タグ付けされた人物の名前をクリックして、その人物についてさらに詳しく調べるように選択してもよい。選択された人物について、ある人物がさらに詳しく調べるように選択する場合、このユーザは、写真内で識別された人物専用のページに誘導されてもよい。

様々な実施形態を実装することに関連して、様々な装置を使用してもよいことが理解されよう。コンピュータ１８１０の形で、例示的なコンピューティング・システムが図１８に示してあり、このコンピュータは、ネットワーク化された環境で使用されて遠隔装置１８７０と通信してもよく、これを使用して、本明細書に記載されてきた各機能の多くを実装してもよい。例示的なコンピュータ１８１０の構成要素は、それだけには限定されないが、処理ユニット１８２０、システム・メモリ１８３０、及びこのシステム・メモリ１８３０を含む様々なシステム構成要素を処理ユニット１８２０に結合するシステム・バス１８２２を含む。コンピュータ１８１０は、様々なコンピュータ読取り可能な媒体を含んでもよく、又はそれにアクセスしてもよい。システム・メモリ１８３０には、リードオンリ・メモリ（ＲＯＭ）及び／又はランダム・アクセス・メモリ（ＲＡＭ）など、揮発性及び／又は不揮発性のメモリの形でのコンピュータ読取り可能な記憶媒体が含まれ得る。一例として、また限定することなく、システム・メモリ１８３０はまた、オペレーティング・システム、画像管理ソフトウェアなどのアプリケーション・プログラム、他のプログラム・モジュール、及びプログラム・データを含んでもよい。

ユーザは、入力インターフェース１８４０を介してコンピュータ１８１０とインターフェースする（たとえば、コマンド及び情報を入力する）ことができる。モニタ又は他のタイプの装置はまた、出力インターフェース１８５０などのインターフェースを介して、システム・バス１８２２に接続することができる。さらに、コンピュータはまた、たとえば、物理的に統合された、又はネットワーク・インターフェース１８６０を介して接続された、他の周辺の入力装置又は出力装置を含んでもよい。コンピュータ１８１０は、コンピュータ又はデータベースを含むが、それだけには限定されない、１つ又は複数の他の遠隔装置１８７０への論理接続を使用して、ネットワーク化された、又は分散された環境において動作してもよい。この論理接続には、ローカル・エリア・ネットワーク（ＬＡＮ）又は広域ネットワーク（ＷＡＮ）などのネットワークが含まれ得るが、他のネットワーク／バスも含まれ得る。

例示的な実施形態による、方法、機器（システム）、及びコンピュータ・プログラム製品（実行可能コードを記憶する持続的な媒体）の説明図及び／又はブロック図を参照して、各態様が本明細書に記載されている。説明図及び／又はブロック図の各要素、並びにその組合せは、コンピュータ・プログラム命令によって実施できることが理解されよう。こうしたコンピュータ・プログラム命令は、コンピュータ、又は他のプログラム可能なデータ処理機器のプロセッサに送られてマシンを生成し、その結果、コンピュータ又は他のプログラム可能なデータ処理機器のプロセッサを用いて実行される命令は、流れ図及び／又は１つ若しくは複数のブロック図のブロックで指定された機能／動作を実施するための手段を生成する。

当業者には理解されるように、各実施形態は、システム、方法、又はコンピュータ・プログラム製品として実装してもよい。したがって、各実施形態は、もっぱらハードウェアの実施形態、もっぱらソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、又は、本明細書ではすべて全体として「回路」、「モジュール」、若しくは「システム」と呼んでもよい、ソフトウェアとハードウェアの態様を組み合わせる実施形態の形をとってもよい。さらに、各態様は、コンピュータ読取り可能なプログラム・コードが実装された、１つ又は複数のコンピュータ・プログラム読取り可能な媒体に実装されたコンピュータ・プログラム製品の形をとってもよい。

１つ又は複数のコンピュータ読取り可能な媒体の任意の組合せを利用してもよい。コンピュータ読取り可能な媒体は、持続的なコンピュータ読取り可能な記憶媒体、たとえば、それだけには限定されないが、電子、磁気、光学、電磁、赤外線、若しくは半導体のシステム、機器、若しくは装置、又はそれらの任意の適切な組合せでもよい。持続的なコンピュータ読取り可能な記憶媒体のさらに具体的な例（限定的なリスト）には、１つ又は複数のワイヤを有する電気接続部、ポータブル・コンピュータ・ディスケット、ハードディスク、ランダム・アクセス・メモリ（ＲＡＭ）、リードオンリ・メモリ（ＲＯＭ）、消去可能なプログラマブル・リードオンリ・メモリ（ＥＰＲＯＭ又はフラッシュ・メモリ）、揮発性メモリ、不揮発性ストレージ、又はこれらの任意の適切な組合せが含まれる。

様々な実施形態向けの動作を実行するためのコンピュータ・プログラム・コードは、１つ又は複数のプログラミング言語の任意の組合せで書いてもよく、そうした言語には、JAVA、Smalltalk、C++などのオブジェクト指向のプログラミング言語、及び、「Ｃ」プログラミング言語又は同様のプログラミング言語など、従来の手続き型プログラミング言語が含まれる。プログラム・コードは、もっぱら単一のコンピュータ（装置）上で実行してもよく、部分的にはスタンドアロンのソフトウェア・パッケージとして単一のコンピュータ上で実行してもよく、部分的には単一のコンピュータ上、又部分的には遠隔コンピュータ上で実行してもよく、又はもっぱら遠隔コンピュータ若しくは遠隔サーバ上で実行してもよい。後者の状況では、遠隔コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）若しくは広域ネットワーク（ＷＡＮ）を含め、任意のタイプのネットワークを介して別のコンピュータに接続してもよく、又は、たとえばインターネット・サービス・プロバイダを使用してインターネットを介して接続してもよい。

添付図面を参照して、図示された例示的な実施形態を本明細書に説明してきたが、各実施形態は、そうした厳密で例示的な実施形態に限定されるものではなく、本開示の範囲又は精神から逸脱することなく、他の様々な変更形態及び修正形態が、そこで当業者によって影響を受けてもよいことを理解されたい。

Claims (46)

1. 装置からユーザ識別表示を受信することと、
   ストレージ装置に、画像の１つ又は複数の領域を特定する第１の自由形式のユーザ入力によって生成される第１のデータ、及び前記画像の前記１つ又は複数の領域を記述する第２の自由形式のユーザ入力を含む第２のデータを記憶することと、
   それぞれの第１のデータが、対応する第２のデータに関連して記憶される、前記対応する第２のデータを含むことと、
   プロセッサを使用して、前記ユーザ識別表示に少なくとも部分的に基づいて、前記第１のデータ及び前記第２のデータの少なくとも一部分を含むデータセットを選択することと、
   前記選択されたデータセットを表示するために提供することと
   を含む、方法。
2. 前記提供することが、協働セッションにおいて表示するための前記データセットを、複数の遠隔装置に提供することを含む、請求項１に記載の方法。
3. 前記第１の自由形式のユーザ入力が、前記画像の一群の画素を指定し、
   前記第２の自由形式のユーザ入力が、英数字の入力、オーディオ入力、及び画像入力のうちの１つ又は複数を含む、請求項１に記載の方法。
4. 前記第１のデータ、前記第２のデータ、及び前記画像のうちの１つ又は複数を、前記装置から受信することを含む、請求項１に記載の方法。
5. 前記提供することが、スクリプトに従って表示するための前記データセットを提供することを含む、請求項１に記載の方法。
6. 前記スクリプトがトレーニング・スクリプトを含み、
   前記第２のデータが、前記画像の前記１つ又は複数の領域に表示される物体に関係する技術データを含む、請求項５に記載の方法。
7. 前記ユーザ識別表示が、ユーザ名、役割、及びドメインからなる群から選択される、請求項１に記載の方法。
8. 第２のユーザ識別表示を受信することと、
   前記第２のユーザ識別表示に基づいて第２のデータセットを選択することと
   を含み、
   前記第２のデータセットが、第１のデータセットと異なる、請求項１に記載の方法。
9. 検索クエリを受信することと、
   プロセッサを使用して、少なくとも前記第２のデータに基づいて前記画像を識別することと、
   前記画像を含むクエリ結果を提供することと
   を含む、請求項１に記載の方法。
10. 前記第２のデータに含まれる１つ又は複数の用語と、１つ又は複数の他の用語とを関連付けることを含み、
    前記識別することが、前記１つ又は複数の他の用語を使用して、前記クエリ結果を提供することを含む、請求項９に記載の方法。
11. シーンを示すデータを受信することを含み、
    前記選択することが、前記シーンを示す前記データに少なくとも部分的に基づき、
    前記提供することが、前記選択されたデータセットを提供して、拡張現実表示内に含めることを含む、請求項１に記載の方法。
12. 前記第１のデータを得ることに関連して、前記第２のデータについての１つ又は複数のデータベース属性を作成することを含む、請求項１に記載の方法。
13. 前記作成することが、新規に作成されたタイプの第２のデータについて新規の属性を含むように、データベースを動的に拡張することを含む、請求項１２に記載の方法。
14. 前記ユーザ識別表示を前記受信することが、前記ユーザ識別表示を遠隔ユーザ装置から受信することを含む、請求項１に記載の方法。
15. 前記遠隔ユーザ装置から、前記第１のデータ及び前記第２のデータを受信することを含む、請求項１４に記載の方法。
16. 前記画像を前記遠隔ユーザ装置から受信することを含む、請求項１４に記載の方法。
17. ユーザ装置のカメラでキャプチャされた画像を得ることと、
    画像の１つ又は複数の領域を特定する第１の自由形式のユーザ入力によって生成される第１のデータ、及び前記画像の前記１つ又は複数の領域を記述する第２の自由形式のユーザ入力を、互いに関連して記憶することと、
    前記画像の前記１つ又は複数の領域に関係する一連の命令を含む追加データを記憶することと、
    ユーザ識別表示と、前記第１のデータ、前記第２の自由形式のユーザ入力、前記画像、及び前記追加データの少なくとも一部分を含むデータセットとの間の関連付けを記憶することと、
    前記関連付けを使用して、その後、要求に応答して、前記ユーザ識別表示を含む前記データセットを選択して、前記画像を閲覧することと
    を含む、方法。
18. 前記ユーザ識別表示が、ユーザ名、役割、及びドメインからなる群から選択される、請求項１７に記載の方法。
19. 前記関連付けが、複数のユーザ識別表示と複数のデータセットとの間の複数の関連付けを含む、請求項１７に記載の方法。
20. プロセッサと、
    前記プロセッサに動作可能に結合されたストレージ装置と、
    前記ストレージ装置に記憶され、前記プロセッサから実行可能なコードであって、
    画像の１つ又は複数の領域を特定する第１の自由形式のユーザ入力によって生成される第１のデータ、及び前記画像の前記１つ又は複数の領域を記述する第２の自由形式のユーザ入力を、互いに関連して記憶するコード、
    前記画像の前記１つ又は複数の領域に関係する一連の命令を含む追加データを記憶するコード、
    ユーザ識別表示と、前記第１のデータ、前記第２の自由形式のユーザ入力、前記画像、及び前記追加データの少なくとも一部分を含むデータセットとの間の関連付けを記憶するコード、及び
    前記関連付けを使用して、その後、要求に応答して前記データセットを選択して、前記ユーザ識別表示を含む前記画像を閲覧するコードを含むコードと
    を含む、システム。
21. 装置において、カメラを使用してキャプチャされた画像を受信することと、
    前記装置に関連付けられたプロセッサを使用して、前記画像に表示された１つ又は複数の物体を識別することと、
    前記装置に関連付けられたプロセッサを使用して、前記識別することの結果による識別表示に基づいてデータセットを選択することと、
    前記データセットが、画像の１つ又は複数の領域を特定する第１のデータ、及び前記画像の前記１つ又は複数の領域についての１つ又は複数の記述を含む第２のデータを含むことと、
    前記装置を使用して、前記データセットを別の装置に提供することと
    を含む、方法。
22. 前記第１のデータが、前記１つ又は複数の領域を特定する第１の自由形式のユーザ入力によって生成されるデータを含む、請求項２１に記載の方法。
23. 前記第２のデータが、前記画像の前記１つ又は複数の領域の前記記述を形成する第２の自由形式のユーザ入力を含む、請求項２２に記載の方法。
24. 前記別の装置が、ヘッドマウント・ディスプレイを備える、請求項２１に記載の方法。
25. 前記識別及び提供するステップが、実質的にリアルタイムに実行される、請求項２１に記載の方法。
26. 前記提供することが、拡張現実ディスプレイに出力するようにフォーマットされた前記データセットを提供することを含む、請求項２１に記載の方法。
27. 前記データセットが、前記画像内の物体及び領域のうちの１つ又は複数を特定するのに使用される物体識別子及び領域識別子のうちの１つ又は複数を含む、請求項２６に記載の方法。
28. 前記データセットが、前記１つ又は複数の記述を有する前記物体識別子及び前記領域識別子のうちの１つ又は複数を関連付けるデータを含む、請求項２７に記載の方法。
29. ディスプレイ装置に、画像をキャプチャするための命令を含む表示データを提供することと、
    前記ディスプレイ装置に、記述を入力するための命令を含む表示データを提供することと、
    カメラから画像を受信することと、
    入力装置から入力記述を受信することと、
    プロセッサを使用して、前記画像と前記入力記述を関連付けることと、
    ストレージ装置において、監査プログラムに関連付けて前記画像及び前記入力記述を記憶することと
    を含む、方法。
30. 画像領域の選択を含む検索クエリを受信することと、
    プロセッサを使用して、前記検索クエリで受信された前記画像領域の前記選択に少なくとも基づいて別の画像を識別することと、
    前記別の画像を含むクエリ結果を提供することと
    を含む、方法。
31. 前記識別することが、前記画像領域に関連付けられたテキスト・データを識別することと、前記テキスト・データを使用して前記別の画像を識別することとを含む、請求項３０に記載の方法。
32. ストレージ装置において、画像の１つ又は複数の領域を特定する第１のユーザ入力によって生成される第１のデータ、及び前記画像の前記１つ又は複数の領域を記述する第２のユーザ入力を含む第２のデータを記憶することと、
    それぞれの第１のデータが、対応する第２のデータに関連して記憶される、前記対応する第２のデータを含むことと、
    プロセッサを使用して、前記第１のデータ及び前記第２のデータの少なくとも一部分を使用する第２の画像を識別することであって、前記第２の画像が、前記第１のデータ及び前記第２のデータそれぞれと閾値類似性を共有する１つ又は複数の領域、及び１つ又は複数の対応する記述に関連付けられることと、
    前記第２の画像を提供することと
    を含む、方法。
33. ユーザ装置に、ユーザ・インターフェースを提供して、前記第２のデータを供給することを含む、請求項３２に記載の方法。
34. 前記ユーザ・インターフェースが、複数の所定のコンテンツ識別子カテゴリを表示する、請求項３３に記載の方法。
35. 前記複数の所定のコンテンツ識別子カテゴリが、前記画像のコンテンツを分析することに基づいて表示するように選択される、請求項３４に記載の方法。
36. 前記分析することが、物体検出及び物体識別表示のうちの１つ又は複数を含む、請求項３５に記載の方法。
37. 前記ユーザ・インターフェースが、前記画像の領域に関連付けられた複数の表示を示す、請求項３４に記載の方法。
38. 前記複数の表示のそれぞれが、対応する画像領域にそれぞれ関連付けられる、請求項３７に記載の方法。
39. それぞれの画像領域が、前記ユーザ・インターフェースのコンテンツ・カテゴリ識別子に関連付けられる、請求項３８に記載の方法。
40. 前記複数の所定のコンテンツ識別子カテゴリが、１つ又は複数のデータ・エントリ・フィールドを含む、請求項３４に記載の方法。
41. ユーザ装置に、表示用の画像データを提供することと、
    前記ユーザ装置に、前記画像データの表示に近いユーザ・インターフェースを提供することと、
    前記ユーザ・インターフェースが、
    画像の１つ又は複数の領域を特定する第１のユーザ入力によって生成される第１のデータ、及び
    前記画像の前記１つ又は複数の領域を記述する第２のユーザ入力を含む第２のデータを受信するように構成されることと、
    それぞれの第１のデータが、対応する第２のデータに関連して記憶される、前記対応する第２のデータを含むことと、
    前記第１のデータ及び前記第２のデータと関連して前記画像データを記憶することと
    を含む、方法。
42. 装置画面上に、物体を含む画像を表示することと、
    入力装置から、前記物体内の原点を示すデータを受信することと、
    プロセッサを使用して、前記原点に近い画素の１つ又は複数の画素値を分析することと、
    プロセッサを使用して、前記分析することに基づいて、前記物体の第１の境界を識別することと、
    前記装置画面上に、前記第１の境界を表示することと、
    前記第１の境界を拡張すべきであると示すデータを、前記入力装置から受信することと、
    その後、前記第１の境界の外側の画素値を分析することによって、第２の境界を分析及び識別することと、
    前記装置画面上に、前記第２の境界を表示することと
    を含む、方法。
43. 前記入力装置から、前記第２の境界が受け入れ可能であると示すデータを受信することを含む、請求項４２に記載の方法。
44. 前記第２の境界と物体識別表示とを関連付けることを含む、請求項４３に記載の方法。
45. 前記物体識別表示と記述的メタデータとを関連付けることを含む、請求項４４に記載の方法。
46. 前記記述的メタデータが、前記物体識別表示によって識別された物体を記述する、請求項４５に記載の方法。
    

Images