JP2007524952A - 画像処理システムおよび方法 - Google Patents

Abstract

デジタル画像の選択されたオブジェクトデータを含む画像データを受信し、電子認識プロセスにより、デジタル画像の選択されたオブジェクトデータと、画像記述子ライブラリデータと関連した画像オブジェクトライブラリデータとの間で認識適合が得られるかを判定する画像処理システムと方法が提供される。ユーザインタフェースは、デジタル画像の選択されたオブジェクトデータと画像記述子ライブラリデータとの間で認識適合が生じたら、画像記述子ライブラリデータに関連する選択可能な適合したオブジェクト記述子データを提示する。それを受けて、ユーザインタフェースは、画像記述子ライブラリデータがデジタル画像の選択されたオブジェクトデータと対応することを確認するためにユーザフィードバックデータを提供するか、または適合が生じなかったり誤った適合が生じると、画像関連記述子データを生成するために、入力された記述子データを提供する。

Description

本発明は一般に画像処理システム、特に、画像データを編成するための画像処理システムに関する。

昨今、デジタル画像、デジタルビデオおよびデジタルオーディオのライブラリといったマルチメディアライブラリが急増している。これは少なくとも一部には、例えばデジタルカメラや、デジタルビデオおよびデジタルボイスレコーダの普及により、画像、ビデオおよびオーディオのデジタル化が容易になったことと、これらのメディアに効率的にアクセスしかつ交換するための通信媒体としてインターネットが利用し易くなったことに起因する。このため、画像処理システムが、アーカイブ、インターネットコンテンツサイトなどだけでなく、これらのマルチメディアライブラリも編成して、これらのマルチメディアライブラリで画像データを閲覧し、検索し、取り出すことを可能にすることの重要性がますます増大している。

マルチメディアライブラリや他のアーカイブの急激な成長は特定の情報の検索をますますより困難なものにしている。この困難は少なくとも一部には、記述的なマルチメディアライブラリの効率的な作成を支援したり、これらのリソースの検索を容易にするためのツールが欠如していることに因るものである。利用できる情報が膨大な量に上るため、デジタル画像、ビデオまたはオーディオを保存し、後日それを再生することはそう単純ではない。このため斯かる膨大なマルチメディアライブラリを作成し、編成し、そして検索するための新たな技術が必要とされている。

マルチメディアライブラリを効率的に作成するのに伴う問題に加えて、そこから必要な情報を検索することに問題が存在する。テキストの検索では一般的にキーワードを使用する。加えて、マルチメディアライブラリはマルチメディアに関連する１つ以上のフィルタ基準（filter criteria）に基づいて検索された上で結果が表示される場合がある。例えば、第１および第２のフィルタ基準がデジタル画像に関連する記述的ファイル名に適用されることがある。しかしながら、マルチメディアライブラリ内のデジタル画像のコンテンツの包括的なリストは決して作成されなかったので、デジタル画像に関連する特定の記述的ファイル名は可能ではなかったと思われる。

マルチメディアデータベースの検索を容易にするための１つの方法として、例えば特定のデジタル画像またはビデオクリップをより効率的に検索するために、記述子がデジタル画像内のオブジェクトデータと手作業で関連付けされることがあるが、しかしながら、オブジェクトデータに関連する記述子は手作業で入力されなければならない。例えば、ユーザは一般的に画像内の各オブジェクトを外観し、次に表示画像と関連付けられる記述子を手作業で入力しなければならない。しかしながら、このプロセスは時間がかかり、非効率的で、法外にコスト高であって、その結果、多くの場合、実行されない。さらに、画像データと関連付けるための記述子を手作業で入力することから、記述子のスペルの間違いや同一の記述子でも様々なスペルがあることに起因して、選択されたオブジェクトが異なった記述子で保存される蓋然性が増大する。結果として、マルチメディアライブラリを作成するための斯かる方法によれば、検索はマルチメディアライブラリと以前手作業で関連付けられた記述子に制限され、それ故、記述子のスペルが間違ったままだったりそのオブジェクトに以前から何も記述子が関連付けられていなければ画像の抽出は不可能である。結果的に、マルチメディアデータベースの効率的で完全なサーチは不可能である。

本発明の第１の形態として画像処理方法が提供される。この画像処理方法は、
電子認識プロセスによって、デジタル画像の選択されたオブジェクトデータと、画像オブジェクトライブラリデータ（image object library data）との間で認識の適合が生じるかどうかを判定し、
デジタル画像の選択されたオブジェクトデータと画像オブジェクトライブラリデータとの間で認識の適合があると判定されたら、画像記述子ライブラリデータと関連付けられた選択可能な適合したオブジェクト記述子データを提示し、
画像記述子ライブラリデータがデジタル画像の選択されたオブジェクトデータと対応することを確認するため、選択可能な適合したオブジェクト記述子データを提示したことを受けてユーザフィードバックデータを受信し、
画像記述子ライブラリデータをデジタル画像と関連付けて画像関連（画像と関連付けられた）記述子ライブラリデータ（descriptor associated image library data）を生成する、ことから成る。

本発明の第２の形態として別の画像処理方法が提供される。この画像処理方法は、
デジタル画像を表現する画像データを受信し、
画像データを受信したことを受けて、デジタル画像の選択されたオブジェクトデータを生成し、
電子認識プロセスによって、デジタル画像の選択されたオブジェクトデータと、画像記述子ライブラリデータと関連した画像オブジェクトライブラリデータとの間で認識の適合が生じるかどうかを判定し、
デジタル画像の選択されたオブジェクトデータと画像オブジェクトライブラリデータとの間で認識の適合があると判定されたら、画像記述子ライブラリデータと関連付けられた選択可能な適合したオブジェクト記述子データを提示し、
画像記述子ライブラリデータがデジタル画像の選択されたオブジェクトデータと対応することを確認するため、選択可能な適合したオブジェクト記述子データを提示したことを受けてユーザフィードバックデータを受信し、
画像記述子ライブラリデータをデジタル画像と関連付けて画像関連記述子ライブラリデータを生成する、ことから成る。

本発明の第３の形態として画像処理システムが提供される。この画像処理システムは、
画像オブジェクトライブラリデータ、および画像オブジェクトライブラリデータと関連した画像記述子ライブラリデータを含むメモリと、
メモリと動作可能に結合しており、デジタル画像の選択されたオブジェクトデータ、画像オブジェクトライブラリデータおよび画像記述子ライブラリデータを受信し、それを受けて、電子認識プロセスによって、デジタル画像の選択されたオブジェクトデータと画像オブジェクトライブラリデータとの間で認識の適合が生じるかどうかを判定し、デジタル画像の選択されたオブジェクトデータと画像オブジェクトライブラリデータとの間で認識の適合があると判定されたら、画像記述子ライブラリデータに関連する選択可能な適合したオブジェクト記述子データを提示し、画像記述子ライブラリデータがデジタル画像の選択されたオブジェクトデータと対応することを確認するため、選択可能な適合したオブジェクト記述子データが提示されたことを受けてユーザフィードバックデータを受信し、画像記述子ライブラリデータをデジタル画像と関連付けて画像関連記述子ライブラリデータを生成する働きをするオブジェクト認識器（object recognizer）とを具備する。

本発明の第４の形態として別の画像処理方法が提供される。この画像処理方法は、
画像オブジェクトライブラリデータ、および画像オブジェクトライブラリデータと関連した画像記述子ライブラリデータを含むメモリと、
メモリに動作可能に結合しており、画像オブジェクトライブラリデータと画像記述子ライブラリデータを生成する働きをするライブラリアクセス回路（library access circuit）と、
ライブラリアクセス回路と動作可能に結合されており、デジタル画像の選択されたオブジェクトデータ、画像オブジェクトライブラリデータおよび画像記述子ライブラリデータを受信し、それを受けて、電子認識プロセスによって、デジタル画像の選択されたオブジェクトデータと画像オブジェクトライブラリデータとの間で認識の適合が生じるかどうかを判定し、デジタル画像の選択されたオブジェクトデータと画像オブジェクトライブラリデータとの間で認識の適合があると判定されたら、画像オブジェクトライブラリデータに関連する選択可能な適合したオブジェクト記述子データを生成する働きをするオブジェクト認識器と、
オブジェクト認識器に動作可能に結合しており、選択可能な適合したオブジェクト記述子データを表示し、それを受けて、画像記述子ライブラリデータがデジタル画像の選択されたオブジェクトデータと対応することを確認するためにユーザフィードバックデータをオブジェクト認識器に提供する働きをするユーザインタフェース（user interface）とを具備し、画像識別子ライブラリデータは画像関連記述子ライブラリデータを生成するためにデジタル画像の選択されたオブジェクトデータと関連付けられる、ことを特徴とする。

本発明の第５の形態として１つ以上の処理装置によって実行可能な命令を含むメモリが提供される。前記命令は、
電子認識プロセスによって、デジタル画像の選択されたオブジェクトデータと、画像記述子ライブラリデータと関連した画像オブジェクトライブラリデータとの間で認識の適合が生じるかどうかを判定することと、
デジタル画像の選択されたオブジェクトデータと画像オブジェクトライブラリデータとの間で認識の適合があると判定されたら、画像記述子ライブラリデータに関連する選択可能な適合したオブジェクト記述子データを提示することと、
画像記述子ライブラリデータがデジタル画像の選択されたオブジェクトデータと対応することを確認するために選択可能な適合したオブジェクト記述子データを提示したことを受けてユーザフィードバックデータを受信することと、
画像記述子ライブラリデータをデジタル画像と関連付けて画像関連記述子ライブラリデータを生成することを前記１つ以上の処理装置に実行させる。

本発明の画像処理システムおよび方法は、デジタル画像の選択されたオブジェクトデータを含む画像データを受信し、電子認識プロセスによって、デジタル画像の選択されたオブジェクトデータと画像オブジェクトライブラリデータとの間で認識の適合が生じるかどうかを判定する。画像オブジェクトライブラリデータはライブラリデータベースに保存され、画像記述子ライブラリデータと関連付けられている。ユーザインタフェースは、デジタル画像の選択されたオブジェクトデータと画像記述子ライブラリデータとの間で認識の適合があると判定されたら、画像記述子ライブラリデータと関連付けられた選択可能な適合したオブジェクト記述子データを提示する。ユーザインタフェースは、画像記述子ライブラリデータがデジタル画像の選択されたオブジェクトデータと対応することを確認するため、選択可能な適合したオブジェクト記述子データを提示したことを受けてユーザフィードバックデータを提供する。代わりに、画像記述子ライブラリデータとデジタル画像の選択されたオブジェクトデータとの間で認識の適合がなかったりまたは適合が誤っていたりした場合には、ユーザインタフェースは入力された記述子データを提供する。本発明の画像処理システムおよび方法は画像記述子ライブラリデータまたは入力された記述子データをデジタル画像と関連付けて画像関連記述子ライブラリデータを生成する。

本発明の画像処理システムはオブジェクト認識器とメモリを含む。メモリは少なくとも画像オブジェクトライブラリデータとこの画像オブジェクトライブラリデータと関連した画像記述子ライブラリデータを記憶する。画像オブジェクトライブラリデータは画像記述子ライブラリデータと既に関連付けられており、メモリに保存されている場合がある。オブジェクト認識器は、ホストプロセッサの一部、グラフィックス・コプロセッサ（graphics coprocessor）といったコプロセッサの一部、あるいはデジタル画像の選択されたオブジェクトデータに関して画像認識を実行するための任意の適切な装置の一部である場合がある。オブジェクト認識器は、デジタル画像の選択されたオブジェクトデータ、画像オブジェクトライブラリデータおよび画像記述子ライブラリデータを受信し、受信したことを受けて、デジタル画像の選択されたオブジェクトデータと画像オブジェクトライブラリデータとの間で認識の適合が生じるかどうかを判定する。デジタル画像の選択されたオブジェクトデータと画像オブジェクトライブラリデータとの間で認識の適合が得られる場合、オブジェクト認識器は画像オブジェクトライブラリデータに関連した選択可能な適合したオブジェクト記述子データを提示する。メモリはユーザフィードバックデータを受信したことを受けて画像関連記述子ライブラリデータを受信する。

他の利点として、本発明は迅速かつ効率的に、画像データに関連付けられた記述子のライブラリ（ここでは画像関連記述子ライブラリデータと称される）を生成する。オブジェクト認識器は、デジタル画像の選択されたオブジェクトデータを、既に画像記述子ライブラリデータと関連付けられた画像オブジェクトライブラリデータと照合することによって、画像認識を自動的に実行する。画像オブジェクトライブラリデータとデジタル画像の選択されたオブジェクトデータとの間で認識の適合が生じたら、オブジェクト認識器は画像記述子ライブラリデータに関連した選択可能な適合したオブジェクト記述子データをユーザに自動的に提示する。ユーザは、選択可能な適合したオブジェクト記述子データに関連した画像記述子ライブラリデータが実際にデジタル画像の選択されたオブジェクトデータと適合することを確認するためにユーザフィードバックデータを提供することがある。選択可能な適合したオブジェクト記述子データはオブジェクト認識器によって自動的に生成されるため、ユーザは、デジタル画像と関連付けるための選択可能な適合したオブジェクト記述子データから生成された利用可能な記述子のリストから選ぶだけでよい。代わりに、ユーザはデジタル画像と関連付けるためにプルダウンメニューから属性を選ぶだけでよい。結果として、オブジェクト認識器は、所望する画像データを後で検索することを容易にするために、迅速かつ効率的に画像関連記述子データのライブラリを生成することができる。

デジタル画像の選択されたオブジェクトデータと画像オブジェクトライブラリデータとの間で認識の適合がない場合には、ユーザはデジタル画像の選択されたオブジェクトデータと関連付けるために、入力された記述子データを提供することがあり、それにより新たな画像オブジェクトライブラリデータおよび対応する画像記述子ライブラリデータの生成が容易になる。例えば、選択可能な適合したオブジェクト記述子データは適合が生じない場合には最近のもしくは多く選択される記述子データを含むことがある。従って、画像処理システムは将来の自動認識のために新たな画像オブジェクトライブラリデータおよび関連する新たな画像記述子ライブラリデータを“学習”する。画像オブジェクトライブラリデータおよび記述子画像データのライブラリのサイズが大きくなるにつれ、デジタル画像の選択されたオブジェクトデータが既に以前、画像記述子ライブラリデータと関連付けられた蓋然性は大きくなる。それゆえ、ライブラリのサイズが大きくなるにつれ、画像処理システムは選択可能な適合したオブジェクト記述子データを生成する速度と効率性を増大させる。さらに、画像関連記述子データのライブラリの生成は特定の画像記述子ライブラリデータを検索する能力を更に改善する。

画像関連記述子ライブラリデータは、特定の画像関連記述子ライブラリデータの後の検索を容易にするため、コンテンツのテーブル、インデクスまたは任意の適切なデータベース構造といったユーザ定義リストにコンパイルされることがある。例えば、幾つかのデジタル画像は対応する画像記述子ライブラリデータと関連付けられる場合がある。従って、画像記述子ライブラリデータおよびデジタル画像は、特定のデジタル画像または関係するデジタル画像の検索を容易にするために、ユーザによってフォトアルバムといった形に編成されることがある。

図１に、オブジェクト認識器２０およびメモリ３０を含む画像処理システム１０のブロック図を示す。オブジェクト認識器２０は、当該分野では知られているように、任意の適切なハードウェアまたは市販の画像認識ソフトなど任意の適切なソフトウェアを含む場合がある。例えば、オブジェクト認識器２０はデジタル画像の中の１つ以上のオブジェクトの画像認識を当該分野において知られている少なくとも１つの特徴認識法（feature recognition characteristic）に基づいて実行することがある。

オブジェクト認識器２０は、マイクロプロセッサ、マイクロコントローラまたはデジタル信号プロセッサ（digital signal processor：ＤＳＰ）などの１つ以上の適切にプログラムされたプロセッサでよく、従って、実行されたときにオブジェクト認識器２０にここで述べる作業（オペレーション）を実行させるための命令を格納するメモリ３０といった関連付けられたメモリを含む。加えて、ここで使用されるオブジェクト認識器２０は、離散ロジック、状態マシン、またはハードウェア、ソフトウェア、ミドルウェアおよび／もしくはファームウェアの任意の他の適切な組み合わせを含むことがある。画像処理システム１０の様々な構成要素は複数のリンクで接続される。リンクは必要に応じて電気信号またはデータを搬送するための任意の適切なメカニズムでよい。

メモリ３０は、画像オブジェクトライブラリデータ４０、画像記述子ライブラリデータ５０および画像関連記述子ライブラリデータ６０を含む。例えば、画像オブジェクトライブラリデータ４０はデジタル画像内の例えば人や場所や物といった１つ以上のオブジェクトを表現することがある。画像記述子ライブラリデータ５０は、より詳しくは後述するように、人の名前などの記述子を画像オブジェクトライブラリデータ４０と関連付けることがある。

メモリ３０は、例えば、ＲＡＭ（random access memory）、ＲＯＭ（read-only memory）、光学メモリ、または例えばサーバを通じて現地もしくは遠隔地に置かれた任意の適切な記憶媒体でよい。加えて、メモリ３０は、インターネット、ＷＡＮ（wide area network)、ＬＡＮ(local area network）、ＷＷＡＮ（wireless wide access network）、ＷＬＡＮ（wireless local area network）、ＩＥＥＥ８０２．１１無線ネットワーク、ブルートュース（Bluetooth（登録商標））ネットワーク、赤外線通信ネットワーク、衛星通信ネットワーク、または任意の適切な通信インタフェースもしくはネットワークを通じて、無線基地局、交換システムまたは任意の適切なネットワーク要素によってアクセスできる場合がある。

１つの態様として、オブジェクト認識器２０はコンピュータ・システムまたは他のプロセッサベースのシステムの一部である場合がある。コンピュータ・システムまたは他のプロセッサベースのシステムは、中央処理ユニット、ビデオグラフィックス回路、システムメモリおよび他の適切な周辺回路を含むことがある。斯かるシステムにおいて、中央処理ユニットはホストプロセッサとして機能し、一方、ビデオグラフィックス回路（例えばグラフィックス・コプロセッサ）は疎結合コプロセッサ（loosely coupled coprocessor）として機能する。一例として、ビデオグラフィックス回路はＡＳＩＣ（application-specific integrated circuit）といった単一半導体ダイ上の集積回路である場合がある。加えて、ビデオグラフィックス回路は、限定はされないがＤＲＡＭ（dynamic random access memory）といったメモリを含む場合がある。このメモリはビデオグラフィックス回路と同じ半導体ダイ上に存在する場合がある、あるいはそれは別々になっており、基板レベルもしくはパッケージレベルのトレース（配線）を通じて接続されている場合がある。１つの態様として、オブジェクト認識器２０はホストプロセッサの一部である場合がある、あるいは代わりに、ビデオグラフィックス回路の一部である場合がある。同様に、メモリ３０は、システムメモリ、グラフィックスメモリまたは任意の他の適切なメモリの一部である場合がある。

図２に画像処理方法２００を示す。方法２００は図１の画像処理システム１０によって実行可能である。しかしながら、任意の他の適切な構造も使用される場合がある。方法２００は、ステップ２１０から始まる一連の作業として記述されるが、それらの作業は任意の適切な順序で実行されてよく、また任意の適切な組み合わせで繰り返されることがある、ということは理解されよう。

ステップ２２０に示すように、オブジェクト認識器２０は、既に述べたように、デジタル画像７０の選択されたオブジェクトデータと画像オブジェクトライブラリデータ４０との間で認識の適合が生じるかどうかを判定する。画像オブジェクトライブラリデータ４０は例えば方法２００によって既に画像記述子ライブラリデータ５０と関連付けられている場合がある。

ステップ２３０に示すように、デジタル画像７０の選択されたオブジェクトデータと画像オブジェクトライブラリデータ４０との間で認識の適合が得られる場合、オブジェクト認識器２０はデジタル画像７０の選択されたオブジェクトデータと関連付けるための可能性のある記述子データとして選択可能な適合したオブジェクト記述子データ８０を提示する。選択可能な適合したオブジェクト記述子データ８０は１つ以上の認識の適合が生じる場合に各認識適合に関連する画像記述子ライブラリデータ５０に基づく。例えば、オブジェクト認識器２０がデジタル画像７０の選択されたオブジェクトデータと画像オブジェクトライブラリデータ４０との間で２つ以上の適合を生じさせる場合、各適合ごとの対応する画像記述子ライブラリデータ５０が選択可能な適合したオブジェクト記述子データ８０としてユーザに提示されることがある。

ステップ２４０に示すように、メモリ３０は画像記述子ライブラリデータ５０がデジタル画像７０の選択されたオブジェクトデータと対応することを確認するためにユーザフィードバックデータ９０を受信する。画像記述子ライブラリデータ５０がデジタル画像７０の選択されたオブジェクトデータと対応することをユーザフィードバックデータ９０が確認した場合、画像記述子ライブラリデータ５０はそのデジタル画像と関連付けられることがある。例えば、デジタル画像７０の選択されたオブジェクトデータと画像オブジェクトライブラリデータ４０との間で２つ以上の適合が生じる場合、ユーザは所望の画像オブジェクトライブラリデータ４０に対応する画像記述子ライブラリデータ５０をデジタル画像７０の選択されたオブジェクトデータと関連付けるために画像関連記述子ライブラリデータ６０として選択する場合がある。１つの態様として、ユーザインタフェースはメニューに画像記述子ライブラリデータ５０を表示し、ユーザは画像記述子ライブラリデータ５０から記述子の１つを選択することによってユーザフィードバックデータ９０を提供する。

しかしながら、デジタル画像７０の選択されたオブジェクトデータと画像オブジェクトライブラリデータ４０との間で間違った適合が生じた場合、選択可能な適合したオブジェクト記述子データ８０はユーザには提供されない。その代わり、ユーザはデジタル画像７０の選択されたオブジェクトデータと関連付けるための画像関連記述子ライブラリデータ６０として、入力された記述子データ３４８（図３との関連で後述される）を提供する。例えば、ユーザは画像関連記述子ライブラリデータ６０を生成するために手作業で記述子データを入力することがある。代わりに、ユーザは選択肢として事前に選び出された記述子のリストのプルダウンメニューから選択する場合がある。１つの態様として、ユーザは最も多くの場合にデジタル画像の中でキャプチャされた家族構成員の名前を入力する場合、ユーザは名前のプルダウンメニューから単に選択するだけでデジタル画像７０の選択されたオブジェクトデータと迅速かつ効率的に関連付けるようにすることがある。

ステップ２５０に示すように、オブジェクト認識器２０は画像関連記述子ライブラリデータ６０をデジタル画像７０と関連付けることがある。既に述べたように、画像関連記述子ライブラリデータ６０はメモリ３０の中でデジタル画像７０の選択されたオブジェクトデータとリンクされることがある。既に述べたように、認識の適合がなかったりあるいは誤った認識の適合が生じた場合、入力された記述子データ３４８がデジタル画像と関連付けられることがある。

図３に図１に関して既に議論された画像処理システム１０において本発明の実施の別の一形態としてオブジェクト認識器２０を採用するプロセッサ３００を更に含む画像処理システムのブロック図を示す。画像処理システム１０は、オブジェクト検出器３１０、ユーザインタフェース３２０、入力装置３３０、表示装置３４０およびライブラリアクセス回路３５０を更に具備する。メモリ３０はライブラリ画像データ３４２および画像関連記述子ライブラリデータ６０を更に含む。

プロセッサ３００は、マイクロプロセッサ、マイクロコントローラまたはデジタル信号プロセッサ（ＤＳＰ）といった、１つ以上の適切にプログラムされたプロセッサでよく、それ故、実行されたときにここで述べる作業（オペレーション）をプロセッサ３００に実行させる命令を含むメモリ３０といった関連付けられたメモリを含む。加えて、ここで使用されるプロセッサ３００は、離散ロジック、状態マシンまたは、ハードウェア、ソフトウェア、ミドルウェアおよび／またはファームウェアの任意の他の適切な組み合わせを含むことがある。

オブジェクト検出器３１０は画像データ３４６を解析して、画像データ３４６内に２つ以上のオブジェクトが存在する場合に画像データ３４６内のオブジェクトの１つを選択し、それを受けて、選択されたオブジェクトに基づいてデジタル画像７０の選択されたオブジェクトデータを生成する。例えば、ユーザは数個のオブジェクトから、複数の人物の画像の中の第１の人物といった１つのオブジェクトを選択する場合がある。結果として、オブジェクト検出器３１０は、デジタル画像７０の選択されたオブジェクトデータとして異なったオブジェクトを選択し、既に述べたオブジェクト認識方法２００を実行するためにオブジェクト認識器２０に提供することがある。オブジェクト検出器３１０はオブジェクト認識器２０の外部に存在する場合がある、あるいは代わりに、オブジェクト認識器２０が画像データ３４６を直に受信することができるようにオブジェクト認識器２０内に組み込まれる場合がある。

ライブラリアクセス回路３５０はオブジェクト認識器２０をメモリ３０と繋ぐ。ライブラリアクセス回路３５０は従って、画像オブジェクトライブラリデータ４０、画像記述子ライブラリデータ５０および画像データ３４６を生成するため、メモリ２０にアクセスする。

オブジェクト検出器３１０は画像データ３４６を受信し、それを受けて、デジタル画像７０の選択されたオブジェクトデータを生成することがある。画像データ３４６は、静止画、写真画、ビデオフィルムやビデオチップといった動画などの画像を表現する場合がある。１つの態様として、画像データ３４６は１つまたは複数のオブジェクトを含む画像を表現することがある。ライブラリアクセス回路３５０はメモリ３０に保存されたライブラリ画像データ３４２から順次データを生成することに基づいて画像データ３４６を生成することがある。

オブジェクト認識器２０は、デジタル画像７０の選択されたオブジェクトデータと画像オブジェクトライブラリデータ４０との間で認識の適合が生じると、画像関連記述子ライブラリデータ６０をライブラリアクセス回路３５０に提供する。同様に、デジタル画像７０の選択されたオブジェクトデータと画像オブジェクトライブラリデータ４０との間に認識の適合が生じないときには、ユーザはユーザインタフェース３２０を通じて、入力された記述子データ３４８をライブラリアクセス回路３５０に提供することがある。それを受けて、ライブラリアクセス回路３５０は画像関連記述子ライブラリデータ６０と入力された記述子データ３４８をメモリ３０に保存する。

ユーザインタフェース３２０は、オブジェクト認識器２０、表示装置３４０、入力回路３３０およびライブラリアクセス回路３５０と結合している。入力装置３３０は入力データ３５２をプロセッサ３００に提供する。ユーザインタフェース３２０は認識の適合が生じたときに選択可能な適合したオブジェクト記述子データ８０をオブジェクト認識器２０から受信する。ユーザインタフェース３２０は選択可能な適合したオブジェクト記述子データ８０を選択可能な適合したオブジェクト記述子データ８０を表示するための表示データ３５６として表示装置３４０に提供する。既に言及したように、２つ以上の認識の適合が生じたために２つ以上のオブジェクト記述子が選択可能な適合したオブジェクト記述子データ８０に提供される場合には、表示装置３４０は適合したオブジェクト記述子をユーザが選択するための選択可能なマークされたオブジェクト記述子データ８０として適切に提供することがある。結果として、このときユーザは適切な入力データ３５２をメモリ３０に保存するための画像関連記述子ライブラリデータ６０としてライブラリアクセス回路３５０に提供することによってオブジェクト記述子を選択することがある。

図４に１つ以上のオブジェクトに対してオブジェクト認識方法２００を実行し、少なくとも１つの記述子と選択的に少なくとも１つの副記述子を画像関連記述子ライブラリデータ６０としてデジタル画像と関連付けるための方法４００を示す。方法４００はオブジェクト認識器２０によって実行されることがある。しかしながら、任意の適切な構造も利用されてよい。方法４００はステップ４１０から始まる一連の作業（オペレーション）として記述されるが、しかしそれらの作業は任意の適切な順序で実行されることがあり、かつ任意の適切な組み合わせで繰り返されることがあることも認識されよう。

ステップ４２０に示すように、オブジェクト認識器２０、または代わりにオブジェクト検出器３１０は、画像データ３４６を受信することがある。既に述べたように、画像データ３４６はメモリ３０に保存されたライブラリ画像データ３４２と関連している場合がある。ライブラリ画像データ３４２は外部画像データ３５４を、例えばデジタルカメラ、ビデオカメラ、メモリカード、インターネットまたは外部画像データ３５４を提供するための他の適切なソースから受信することがある。

ステップ４３０に示すように、オブジェクト検出器３１０は受信された画像データ３４６の中の少なくとも１つのオブジェクトを識別する。既に述べたように、オブジェクト検出器３１０は当該分野で知られている画像認識法を受信された画像データ３４６に対して実行することによってオブジェクト認識を実行することがある。既に言及したように、オブジェクト検出器３１０は画像データ３４６内の複数のオブジェクトを検出し、オブジェクト認識器２０によって順次処理されるよう一度に１つのオブジェクトを選択することがある。代わりに、オブジェクト認識器２０が逐次処理よりも高速に画像データ３４６のオブジェクト認識を実行するために、オブジェクト検出器３１０は複数のオブジェクトをオブジェクト認識器２０に同時に提供する場合がある。１つの態様として、オブジェクト検出は、オブジェクト認識器２０によって画像認識が実行されると同時に、オブジェクト認識器２０によって実行されることがある。

ステップ４４０に示すように、オブジェクト検出器３１０はステップ４３０で検出された１つ以上のオブジェクトから少なくとも１つのオブジェクトを選択し、デジタル画像７０の選択されたオブジェクトデータをオブジェクト認識器２０へ提供する。代わりに、ユーザがオブジェクト認識器２０によって処理するためのオブジェクトを選択することがある。オブジェクト検出器３１０は処理するための第１のオブジェクトを選択し、次いでオブジェクト認識器２０によって処理するため残りのオブジェクトを順次選択する。

ステップ４５０に示すように、オブジェクト認識器２０は画像記述子ライブラリデータ５０をデジタル画像７０と関連付けて画像関連記述子ライブラリデータ６０を生成するか、あるいはユーザはデジタル画像７０と関連付けるため入力された記述子データ３４８を提供して方法２００に関して既に説明したように画像関連記述子ライブラリデータ６０を生成することがある。ユーザはデジタル画像と関連付けるために新しい記述子を入力された記述子データ３４８として追加して画像関連記述子ライブラリデータ６０を生成する場合もある。

ステップ４６０に示すように、方法２００は少なくとも１つの副記述子（subdescriptor）をデジタル画像と関連付けて画像関連記述子ライブラリデータ６０を生成するために繰り返されることがある。例えば、ステップ４５０に関して既に述べたように、画像関連記述子ライブラリデータ６０は、記述子が人物の属性タイプを有することを示す人物属性データといった記述子タイプ属性と関連している場合がある。従って、図５との関連で後述するように、副記述子データは、表情属性データ５１８や活動属性データ５２２といった人物属性データ５１０と関連している場合がある。他の例示的な属性の関連付けも記述される。ユーザはデジタル画像７０と関連付けるため新しい副記述子を入力された記述子データ３４８として追加して画像関連記述子ライブラリデータ６０を生成することがある。

ステップ４７０に示すように、ユーザが第２のまたは任意のその次に選択された副記述子といった別の副記述子を選択する場合、画像関連記述子ライブラリデータ６０はデジタル画像７０の選択されたオブジェクトデータとの更なる関連付けのため他の副記述子データと関連付けられる場合がある。例えば、オブジェクト認識器２０は、デジタル画像７０の選択されたオブジェクトデータに関連する副記述子データが画像オブジェクトライブラリデータ４０と適合するかどうかを判定するため、ステップ４６０におけるその他の選択されたオブジェクトデータ７０について認識解析を実行する場合がある。オブジェクト認識器２０が副記述子データを画像オブジェクトデータ４０と適合させた場合、オブジェクト認識器２０は選択可能な適合したオブジェクト記述子データ８０を適切な副記述子データ選択肢と共にユーザインタフェース３２０に提供する。既に説明したように、ユーザは選択可能な適合したオブジェクト記述子データ８０に提供された副記述子データ選択肢から選択することがある。

ステップ４８０に示すように、別の副記述子が選択されない場合、オブジェクト認識器２０は別の記述子が選ばれるべきかどうかを判定する。例えば、ユーザが別の記述子を画像データ３４６内のオブジェクトと関連付けたいと思っている場合、ユーザは記述子データを提供するか、あるいはステップ４５０に関して既に説明したようにユーザによって選択された別のオブジェクトについて画像認識をオブジェクト認識器２０に実行させることがある。

ステップ４９０に示すように、ユーザが画像データ３４６内において、第２のオブジェクト、第３のオブジェクト等々といった別のオブジェクトを識別する場合、オブジェクト認識器２０はデジタル画像内の識別された他のオブジェクトに対応するデジタル画像７０の選択されたオブジェクトデータを受信する。結果として、任意の画像関連記述子ライブラリデータ６０および任意の望ましい副記述子データを識別された他のオブジェクトに対応するデジタル画像７０の選択されたオブジェクトデータと関連付けるために処理はステップ４４０に戻る。オブジェクト認識器２０は既に議論したようにステップ４５０においてデジタル画像７０の選択されたオブジェクトデータについて画像認識を実行する。例えば、ユーザが画像データ３４６内の新しいオブジェクトを識別する場合、ユーザはデジタル画像７０の選択されたオブジェクトデータと関連付けるための新しい記述子も識別することがある。ユーザがデジタル画像７０の選択されたオブジェクトデータと関連付けるための新しい副記述子を追加したいと思う場合、ユーザは画像関連記述子ライブラリデータ６０と関連付けるため新しい副記述子をライブラリアクセス回路３５０とメモリ３０へ入力された記述子データ３４８と同定することがある。例えば、新しく追加された画像関連記述子ライブラリデータ６０および任意の関連副記述子データは、新しい画像記述子ライブラリデータ５０の学習を容易にするために、デジタル画像と関連付けられることがある。

ステップ４９２に示すように、ユーザが画像関連記述子ライブラリデータ６０と関連付けるため別のデジタル画像を選択する場合、斯かる他のデジタル画像の処理はステップ４２０に戻る。新しいデジタル画像が選ばれない場合、現下のデジタル画像に対する画像処理は終了する。ステップ４９４に示すように、画像関連記述子ライブラリデータ６０はメモリ３０に保存される。ステップ４９４で処理が終了するものとして示されているが、方法４００はステップ４１０を含む任意の適切な段階で処理を継続する場合がある。

図５に本発明の実施形態の一例としてユーザインタフェーススクリーン５００と一部の可能な付随するプルダウンメニューを例示する。ユーザインタフェーススクリーン５００は、オブジェクト５０２、５０３、５０４、５０６、５０７および５０８を含む画像データを示している。１つの態様として、各オブジェクト５０２、５０３、５０４、５０６、５０７および５０８は、オブジェクト認識器２０が受信した画像データの選択されたオブジェクトデータ７０を代表している。それを受けて、オブジェクト検出器３１０またはオブジェクト認識器２０はオブジェクト５０２、５０３、５０４、５０６、５０７および５０８を識別する。斯かる形態によれば、画像関連記述子ライブラリデータ６０は人物（person）属性データ５１０、場所（place）属性データ５１２および事物（thing）属性データ５１４を含むことがある。

一例として、ユーザは画像データ５１５からオブジェクト５０２を選び、オブジェクト５０２を画像記述子ライブラリデータ５０または入力された記述子データ３４８と関連付けて人物属性データ５１０といった画像関連記述子ライブラリデータ６０を生成することがある。次にユーザは更に副記述子を例えば名前属性データ５１６を追加することによって人物属性データ５１０と関連付けることがある。図５に示すように、画像認識方法２００を実行する際、選択可能な適合したオブジェクト記述子データ８０に関連する名前属性データ５１６は、ジョン（John）、マット（Matt）、クリス（Chris）およびティム（Tim）５１７を含むプルダウンメニューの中の名前といった選択肢を含む場合がある。従って、ユーザは、名前属性データ５１６としてジョン（John）、マット（Matt）、クリス（Chris）およびティム（Tim）５１７を含むプルダウンメニューの中の名前の１つを選択することによって、名前属性データ５１６と関連付けるための所望の名前を選択する場合がある。さらに、ユーザは表情属性データ５１８といった追加の副記述子データを選択する場合がある。本実施例によれば、表情属性データ５１８は、微笑み、号泣、驚き、おしゃべり５２０を含むプルダウンメニューを含むことがある。他の適切な（人物的）特徴に対応する他の表情属性データ５１８も含まれる場合がある。

別の態様として、人物属性データ５１０は活動（activity）属性データ５２２と関連付けられる場合がある。例えば、活動属性データ５２２は、歩行、起立、睡眠およびラニング５２４などのプルダウンメニューを含むことがある。属性のプルダウンメニュー選択肢５２４はもっと多数、少数、あるいは任意の数の属性プルダウンメニュー選択肢を含むことがある。ユーザは必要に応じて人物属性データ５１０と関連付けるための新たな属性データ５２６を追加する場合がある。ユーザは新たな属性データ５２６を既に述べたように新たな特定のプルダウンメニュー属性５２８と関連付けることができる。

場所属性データ５１２は景観（landscape）属性データ５３０と関連付けられる場合がある。景観属性データ５３０は、市街地、郊外、森および砂漠５３２といったプルダウンメニューの中の景観属性選択肢を含むことがある。場所属性データ５１２は同様に天候属性データ５３４と関連付けられることがある。例えば、天候属性データ５３４は、プルダウンメニューの中に、雨天、晴天および曇り５３６といった天候属性選択肢を含むことがある。加えて、場所属性データ５１２は季節属性データ５３８と関連付けられることがある。季節属性データ５３８はプルダウンメニューの中に春、夏、秋、冬５４０といった属性選択肢を含むことがある。さらに、場所属性データ５１２は更に照明（lighting）属性データ５４２と関連付けられることがある。照明属性データ５４２は、プルダウンメニューの中に、屋内の照明、昼間の照明、夜間の照明５４４といった照明属性選択肢を含む場合がある。さらに、ユーザが場所属性データ５１２と関連付けるための新しい副記述子を入力したいと思えば、ユーザは新しい属性データ５４５を追加することがある。ユーザは新しい属性データ５４５をプルダウンメニューの中の新しい属性選択肢５４６と関連付けることができる。

事物属性データ５１４はプルダウンメニューの中の動物属性データ５４８と関連付けられる場合がある。動物属性データ５４８は、犬、猫および鳥５５０といった動物属性と関連付けられることがある。事物属性データ５１４は更に建物属性データ５５２と関連付けられることがある。建物属性データ５５２はプルダウンメニューの中に更に、住宅、超高層ビルまたは任意の適切なタイプの建物もしくは構造物５５４を含む場合がある。ユーザは別の副記述子をこの事物属性データ５１４と関連付けたいと思えば、ユーザは新しい属性データ５５６を選択することができる。ユーザは新しい属性データ５５６をプルダウンメニューの中の新しい属性選択肢５５８と関連付けることができる。

画像関連記述子ライブラリデータ６０はイベント属性データといった任意の他の適切なタイプの属性データを含むことがある。例えば、ユーザは更に副記述子を例えばパーティ属性データ、家族イベント属性データおよび休暇属性データを追加することによってイベント属性データと関連付けることがある。

図６に本発明の別の実施形態による例示的な画像処理システム６００のブロック図を示す。図６は、プロセッサ３００、マウス６１６とキーボード６１８を含む入力装置３３０、デジタルカメラ６１０、ビデオカメラ６１２、およびインターネット６１４を含む。画像処理システム６００の様々な構成要素は複数のリンクで繋がっている。リンクは電気信号またはデータを搬送するためのそれぞれに応じた任意の適切な機構でよい。

斯かる実施形態によれば、外部の画像データ３５４は、当該分野では周知のように、デジタルカメラ６１０、ビデオカメラ６１２、およびインターネット６１４から提供されることがある。既に述べたように、画像データ３４６はメモリ３０からも提供されることがある。入力装置３３０は入力データ３５２をプロセッサ３００に提供するためのマウス６１６およびキーボード６１８を具備してよい。斯かる実施形態によれば、図３のユーザインタフェース３２０はプロセッサ３００に組み込まれてよいが、ユーザインタフェース３２０はプロセッサ３００の外部にある場合がある。画像処理システム６００は、図６に図示された要素よりも多いまたは少ない他の要素を含むことがある。

他の利点として、本発明は迅速かつ効率的に画像関連記述子ライブラリデータ６０を生成する。オブジェクト認識器２０は、デジタル画像７０の選択されたオブジェクトデータを、既に画像記述子ライブラリデータ５０と関連付けられた画像オブジェクトライブラリデータ４０と照合することによって、画像認識を自動的に実行する。画像オブジェクトライブラリデータ４０とデジタル画像７０の選択されたオブジェクトデータとの間で認識の適合が生じたら、オブジェクト認識器２０は画像記述子ライブラリデータ５０と関連付けられた選択可能な適合したオブジェクト記述子データ８０をユーザに自動的に提示する。ユーザは、選択可能な適合したオブジェクト記述子データ８０に関連した画像記述子ライブラリデータが実際にデジタル画像の選択されたオブジェクトデータと適合することを確認するためにユーザフィードバックデータを提供することがある。選択可能な適合したオブジェクト記述子データ８０はオブジェクト認識器２０によって自動的に生成されるため、ユーザは、デジタル画像と関連付けるための選択可能な適合したオブジェクト記述子データから生成された利用可能な記述子のリストから選ぶだけでよい。代わりに、ユーザはデジタル画像と関連付けるためにプルダウンメニューから属性を選ぶだけでよい。結果として、オブジェクト認識器２０は、所望する画像データを後で検索することを容易にするために、迅速かつ効率的に画像関連記述子データ６０のライブラリを生成することができる。

デジタル画像７０の選択されたオブジェクトデータと画像オブジェクトライブラリデータ４０との間で認識の適合がない場合には、ユーザはデジタル画像７０の選択されたオブジェクトデータと関連付けるために、入力された記述子データを提供することがあり、それにより新たな画像オブジェクトライブラリデータ４０および対応する画像記述子ライブラリデータ５０の生成が容易になる。例えば、選択可能な適合したオブジェクト記述子データ８０は適合が生じない場合には最近のもしくは多く選択される記述子データを含むことがある。従って、画像処理システム１０、６００は将来の自動認識のために新たな画像オブジェクトライブラリデータ４０および関連する新たな画像記述子ライブラリデータ５０を“学習”する。画像オブジェクトライブラリデータ４０および画像記述子ライブラリデータ５０のサイズが大きくなるにつれ、デジタル画像７０の選択されたオブジェクトデータが既に以前に画像記述子ライブラリデータ５０と関連付けられた蓋然性は大きくなる。それゆえ、ライブラリのサイズが大きくなるにつれ、画像処理システム１０は選択可能な適合したオブジェクト記述子データ８０を生成する速度と効率性を増大させる。さらに、選択可能な適合したオブジェクト記述子データ８０の生成は特定の画像記述子ライブラリデータ５０を検索する能力を更に増大もしくは改善する。

本発明の実施の他の変形もしくは変更形態並びにその様々な態様については当業者にとっては明らかであること、また、本発明はここで述べた特定の実施形態に限定されないことは理解されよう。ゆえに本願特許請求の範囲の各請求項によって宣明された本発明の開示された基本原理の範囲に包含される任意かつ全ての変更、変形、および均等形態が本願においてカバーされることが意図されている。

本発明の実施の一形態による画像処理システムを例示したブロック図である。 本発明の実施の一形態による画像処理システムの方法の一連の手続を例示したフロー図である。 本発明の実施の別の一形態による画像処理システムを例示したブロック図である。 本発明の実施の別の一形態による画像処理システムの方法の一連の手続を例示したフロー図である。 本発明の実施の一形態によるユーザインタフェーススクリーンを例示した図である。 本発明の実施の更に別の一形態による画像処理システムを例示したブロック図である。

Claims (20)

1. 電子認識プロセスによって、デジタル画像（７０；３５４）の選択されたオブジェクトデータと、画像オブジェクトライブラリデータ（４０）との間で認識の適合が生じるかどうかを判定し、
   デジタル画像（７０；３５４）の選択されたオブジェクトデータと画像オブジェクトライブラリデータ（４０）との間で認識の適合があると判定されたら、画像記述子ライブラリデータ（５０）と関連付けられた選択可能な適合したオブジェクト記述子データ（８０）を提示し、
   画像記述子ライブラリデータ（５０）がデジタル画像（７０；３５４）の選択されたオブジェクトデータと対応することを確認するため、選択可能な適合したオブジェクト記述子データ（８０）を提示したことを受けてユーザフィードバックデータ（９０）を受信し、
   画像記述子ライブラリデータ（５０）をデジタル画像（７０；３５４）と関連付けて画像関連記述子ライブラリデータ（６０）を生成する、ことから成ることを特徴とする画像処理方法。
2. デジタル画像（７０；３５４）と関連付けるための入力された記述子データを受信し、
   （ａ）デジタル画像（７０；３５４）の選択されたオブジェクトデータと画像オブジェクトライブラリデータ（５０）との間で認識の適合がないと判定されること、および（ｂ）画像記述子ライブラリデータ（５０）がデジタル画像（７０；３５４）の選択されたオブジェクトデータと対応しないことをユーザフィードバックデータが示していることのうち少なくとも一方の条件が成り立つときは、入力された記述子を受信したことを受けて記述子画像ライブラリデータ（６０）を生成する、ことを含むことを特徴とする請求項１に記載の画像処理方法。
3. デジタル画像（７０；３５４）の選択されたオブジェクトデータはデジタル画像（７０；３５４）内の複数のオブジェクトを表現するものであって、当該方法は、
   電子認識プロセスによって、デジタル画像（７０；３５４）内の複数のオブジェクトの各オブジェクトと画像オブジェクトライブラリデータ（５０）との間で認識の適合が生じるかどうかを判定し、
   画像オブジェクトライブラリデータ（５０）とデジタル画像（７０；３５４）内の対応する複数のオブジェクトとの間で認識の適合があると判定されたら、画像記述子ライブラリデータ（５０）と関連付けられた選択可能な適合したオブジェクト記述子データ（８０）を提示し、
   選択可能な適合したオブジェクト記述子データ（８０）に関連する画像記述子ライブラリデータ（５０）がデジタル画像（７０；３５４）内の対応する複数のオブジェクトと適合することを確認するため、選択可能な適合したオブジェクト記述子データ（８０）を提示したことを受けてユーザフィードバックデータを受信し、
   画像記述子ライブラリデータ（５０）を対応する複数のオブジェクトの各オブジェクトごとにデジタル画像（７０；３５４）と関連付けて対応する画像関連記述子ライブラリデータ（６０）を生成する、ことを更に含むことを特徴とする請求項１または２に記載の画像処理方法。
4. 画像関連記述子ライブラリデータ（６０）はデジタル画像（７０；３５４）の選択されたオブジェクトデータに関連する副記述子データを含むことを特徴とする請求項１乃至３のいずれか一項に記載の画像処理方法。
5. 画像関連記述子ライブラリデータ（６０）は、人物属性データ（５１０）、場所属性データ、事物属性データおよびイベント属性データの少なくとも１つから選ばれる、ことを特徴とする請求項１乃至４のいずれか一項に記載の画像処理方法。
6. 人物属性データ（５１０）は、名前属性データ（５１６）、表情属性データ（５１８）および活動属性データ（５２２）の少なくとも１つと関連しており、場所属性データは、景観属性データ、天候属性データ、季節属性データおよび照明属性データの少なくとも１つから選択され、事物属性データは、動物属性データおよび建物属性データの少なくとも１つから選択され、イベント属性データは、パーティ属性データ、家族イベント属性データおよび休暇属性データから選択される、ことを特徴とする請求項５に記載の画像処理方法。
7. ユーザおよび電子オブジェクト認識器の少なくとも一方が、デジタル画像、およびデジタル画像の一部分の少なくとも一方を選んだことを受けて、デジタル画像（７０；３５４）の選択されたオブジェクトデータを生成することを含む、ことを特徴とする請求項１乃至６のいずれか一項に記載の画像処理方法。
8. デジタル画像（７０；３５４）を表現する画像データを受信し、
   画像データを受信したことを受けて、デジタル画像の選択されたオブジェクトデータを生成することを更に含む、ことを特徴とする請求項１乃至７のいずれか一項に記載の画像処理方法。
9. 複数のデジタル画像の各画像が、対応する画像関連記述子ライブラリデータ（６０）と関連するように、画像データは複数のデジタル画像を表現するものであって、当該方法は、
   対応する複数のデジタル画像の各画像に関連した画像関連記述子ライブラリデータ（６０）を保存し、
   対応する複数のデジタル画像の各画像に関連した画像関連記述子ライブラリデータを含む、コンテンツのテーブル、インデクスおよびフォトアルバムの少なくとも１つを生成する、ことを含むことを特徴とする請求項８に記載の画像処理方法。
10. ユーザおよび電子オブジェクト認識器の少なくとも一方が、デジタル画像、およびデジタル画像の一部分の少なくとも一方を選んだことに基づいて、デジタル画像の選択されたオブジェクトデータを生成することを含む、ことを特徴とする請求項８または９に記載の画像処理方法。
11. 画像オブジェクトライブラリデータ（４０）、および画像オブジェクトライブラリデータ（４０）と関連した画像記述子ライブラリデータ（５０）を含むメモリ（３０）と、
    メモリ（３０）と動作可能に結合しており、デジタル画像（７；３５４）の選択されたオブジェクトデータ、画像オブジェクトライブラリデータ（４０）および画像記述子ライブラリデータ（５０）を受信し、それを受けて、電子認識プロセスによって、デジタル画像（７；３５４）の選択されたオブジェクトデータと画像オブジェクトライブラリデータ（４０）との間で認識の適合が生じるかどうかを判定し、デジタル画像（７；３５４）の選択されたオブジェクトデータと画像オブジェクトライブラリデータ（４０）との間で認識の適合があると判定されたら、画像記述子ライブラリデータ（４０）に関連する選択可能な適合したオブジェクト記述子データ（８０）を提示し、画像記述子ライブラリデータ（５０）がデジタル画像（７；３５４）の選択されたオブジェクトデータと対応することを確認するため、選択可能な適合したオブジェクト記述子データ（８０）が提示されたことを受けてユーザフィードバックデータ（９０）を受信し、画像記述子ライブラリデータ（５０）をデジタル画像（７；３５４）と関連付けて画像関連記述子ライブラリデータ（６０）を生成する働きをするオブジェクト認識器（２０）とを具備する、ことを特徴とする画像処理システム（１０；６００）。
12. メモリ（３０）は、デジタル画像（７；３５４）と関連付けるために、入力された記述子データを受信し、（ａ）デジタル画像（７；３５４）の選択されたオブジェクトデータと画像オブジェクトライブラリデータ（５０）との間で認識の適合がないと判定されること、および（ｂ）画像記述子ライブラリデータ（５０）がデジタル画像（７；３５４）の選択されたオブジェクトデータと対応しないことをユーザフィードバックデータ（９０）が示していること、のうち少なくとも一方の条件が成り立つときは、画像関連記述子ライブラリデータ（６０）を生成する働きをする、ことを特徴とする請求項１１に記載の画像処理システム。
13. オブジェクト認識器（２０）に動作可能に結合しており、選択可能な適合したオブジェクト記述子データ（６０）を受信し、それを受けて、選択可能な適合したオブジェクト記述子データ（６０）を表示する働きをするユーザインタフェース（３２０）を含む、ことを特徴とする請求項１１または１２に記載の画像処理システム。
14. メモリ（３０）とオブジェクト認識器（２０）とに動作可能に結合しており、デジタル画像（７；３５４）を表現する画像データを受信し、それを受けて、デジタル画像（７；３５４）の選択されたオブジェクトデータをオブジェクト認識器に提供する働きをするオブジェクト検出器（３１０）を含む、ことを特徴とする請求項１１乃至１３のいずれか一項に記載の画像処理システム。
15. デジタル画像の選択されたオブジェクトデータは、ユーザおよびオブジェクト認識器の少なくとも一方が、デジタル画像、およびデジタル画像の一部分の少なくとも一方を選んだことを受けて生成される、ことを特徴とする請求項１１乃至１４のいずれか一項に記載の画像処理システム。
16. ライブラリアクセス回路（３５０）とユーザインタフェース（３２０）とを更に含み、
    ライブラリアクセス回路（３５０）は、メモリ（３０）に動作可能に結合しており、画像オブジェクトライブラリデータ（４０）と画像記述子ライブラリデータ（５０）を生成する働きをし、オブジェクト認識器（２０）は、ライブラリアクセス回路（３５）と動作可能に結合されており、デジタル画像（７；３５４）の選択されたオブジェクトデータ、画像オブジェクトライブラリデータ（４０）および画像記述子ライブラリデータ（５０）を受信し、それを受けて、電子認識プロセスによって、デジタル画像（７；３５４）の選択されたオブジェクトデータと画像オブジェクトライブラリデータ（５０）との間で認識の適合が生じるかどうかを判定し、デジタル画像（７；３５４）の選択されたオブジェクトデータと画像オブジェクトライブラリデータ（５０）との間で認識の適合があると判定されたら、画像オブジェクトライブラリデータ（５０）に関連する選択可能な適合したオブジェクト記述子データ（６０）を生成する働きをし、
    ユーザインタフェース（３２０）は、オブジェクト認識器（２０）に動作可能に結合しており、選択可能な適合したオブジェクト記述子データ（６０）を表示し、それを受けて、画像記述子ライブラリデータ（５０）がデジタル画像（７；３５４）の選択されたオブジェクトデータと対応することを確認するためにユーザフィードバックデータ（９０）をオブジェクト認識器（２０）に提供する働きをし、画像識別子ライブラリデータ（５０）は画像関連記述子ライブラリデータ（６０）を生成するためにデジタル画像（７；３５４）の選択されたオブジェクトデータと関連付けられる、ことを特徴とする請求項１１乃至１５のいずれか一項に記載の画像処理システム。
17. ライブラリアクセス回路（３５０）は、デジタル画像（７；３５４）と関連付けるために、入力された記述子データを受信し、それを受けて、（ａ）デジタル画像（７；３５４）の選択されたオブジェクトデータと画像オブジェクトライブラリデータ（４０）との間で認識の適合がないと判定されること、および（ｂ）画像記述子ライブラリデータ（５０）がデジタル画像（７；３５４）の選択されたオブジェクトデータと対応しないことをユーザフィードバックデータ（９０）が示していること、のうち少なくとも一方の条件が成り立つときは、画像関連記述子ライブラリデータ（６０）を生成する、ことを特徴とする請求項１６に記載の画像処理システム。
18. ライブラリアクセス回路（３５０）とオブジェクト認識器（２０）とに動作可能に結合されており、デジタル画像（７；３５４）を表現する画像データを受信し、それを受けて、デジタル画像の選択されたオブジェクトデータをオブジェクト認識器（２０）に提供する働きをするオブジェクト検出器（３１０）を含む、ことを特徴とする請求項１６または１７に記載の画像処理システム。
19. １つ以上の処理装置（３００）によって実行可能な命令を含むメモリ（３０）であって、前記命令は、
    電子認識プロセスによって、デジタル画像（７；３５４）の選択されたオブジェクトデータと、画像記述子ライブラリデータ（５０）と関連した画像オブジェクトライブラリデータ（４０）との間で認識の適合が生じるかどうかを判定することと、
    デジタル画像（７；３５４）の選択されたオブジェクトデータと画像オブジェクトライブラリデータ（４０）との間で認識の適合があると判定されたら、画像記述子ライブラリデータ（５０）に関連する選択可能な適合したオブジェクト記述子データ（８０）を提示することと、
    画像記述子ライブラリデータ（５０）がデジタル画像（７；３５４）の選択されたオブジェクトデータと対応することを確認するために選択可能な適合したオブジェクト記述子データを提示したことを受けてユーザフィードバックデータ（９０）を受信することと、
    画像記述子ライブラリデータ（５０）をデジタル画像（７；３５４）と関連付けて画像関連記述子ライブラリデータ（６０）を生成することを前記１つ以上の処理装置（３００）実行させる、ことを特徴とするメモリ。
20. デジタル画像（７；３５４）と関連付けるために、入力された記述子データを受信し、それを受けて、（ａ）デジタル画像（７；３５４）の選択されたオブジェクトデータと画像オブジェクトライブラリデータ（４０）との間で認識の適合がないと判定されること、および（ｂ）画像記述子ライブラリデータ（５０）がデジタル画像（７；３５４）の選択されたオブジェクトデータと対応しないことをユーザフィードバックデータ（９０）が示していること、のうち少なくとも一方の条件が成り立つときは、画像関連記述子ライブラリデータ（６０）を生成することを前記１つ以上の処理装置（３００）に実行させる、実行可能な命令を更に含む、ことを特徴とする請求項１９に記載のメモリ。

Images