JP2012510128A - 画像検索装置およびその方法 - Google Patents

Abstract

画像検索の方法および装置の実施形態が提供される。例示的な画像検索方法には、要求を受け取ってウェブページを返すことであって、返されたウェブページが画像をアップロードすることおよび画像に対する注釈内容を追加することを許可する、要求を受け取ってウェブページを返すことと、画像および画像に対する注釈内容を受け取って格納することと、画像に対する注釈内容を画像検索エンジンへ検索インデックスとして提供することと、が含まれる。開示された方法およびサーバを使用することにより、画像内の情報に関連した、より多くの検索を提供することができる。さらに、画像内の商品に関連したより多くの情報を閲覧者に提供することができるため、より多くのオンライン取引を容易にすることができると考えられる。

Description

本開示はコンピュ−タネットワーク技術の分野に関し、特に画像検索を可能にする装置およびその方法に関する。

ユーザがテキストベースの検索を行うことを可能にすることに加えて、画像ベースの検索もまた現在ウェブ上で可能である。従って、ユーザは、ウェブサイトに接続しさえすれば、画像検索を行うことができる。

グーグル（登録商標）、ヤフー（登録商標）、およびＭＳＮ（登録商標）といった従来のウェブ検索エンジンはすでに画像検索サービスを提供している。この種の検索は、主に画像のファイル名に基づいてインデックスを構築することにより問い合わせ機能を実行し、そのため、通常のテキストのキーワード検索またはファイル名に基づくキーワード検索に類似している。このファイル名ベースの検索方法は典型的な検索要求を満たすことはできるかもしれないが、それでもなお画像の情報に関するさらなる検索を提供することはできない。

本開示の種々の実施形態は、画像の情報に関するより多くの検索を可能にするための画像検索方法および装置を提供することを目的としている。

前述の技術的課題を解決するために、本開示の実施形態は画像検索方法および装置を提供し、それらの例示的な実施態様を以下に記述する。

一態様において、画像検索方法は、
サーバがクライアントからの要求を受け取り、要求に応じてウェブページを提供することであって、ウェブページは画像がアップロードされ、注釈内容が画像に対して送信されることを許可する、ことと、
サーバが画像および画像に対する注釈内容を受け取り格納することと、
サーバが画像に対する注釈内容を、画像検索エンジンに検索インデックスとして提供することと、
を含む。

好ましくは、上記方法は、画像の一部分に対してフレームラベルを加えることをさらに含んでもよい。

好ましくは、サーバが画像および画像に対する注釈を受け取り格納することが、
画像の一部分に対して追加されたフレームラベルをサーバにより受け取り格納すること、を含んでもよい。

好ましくは、画像に対する注釈内容を格納することが、
注釈内容をデータベース中に格納し、注釈内容を画像と関連付けること、または
注釈内容を画像の補助情報中に格納し、画像を格納すること、
を含んでもよい。

好ましくは、画像がｊｐｇあるいはｊｐｅｇフォーマットである場合、注釈内容を画像の補助情報中に格納し、画像を格納することが、
注釈内容をエクスチェンジャブルイメージファイルフォーマット（Ｅｘｉｆ）の仕様に従ってユーザコメントタグ中に格納し、画像を格納すること、を含んでもよい。

好ましくは、画像および画像に対する注釈内容を受け取った後で、サーバにより格納する前に、上記方法が、
ユーザにより送信された注釈内容を調査すること、をさらに含んでもよい。

好ましくは、上記方法は、質疑応答（question and answer）のフォーマットおよび注釈内容送信に対する採点ルール（scoring rule）を予め整理しておくこと、をさらに含んでもよい。

好ましくは、質疑応答のフォーマットおよび注釈内容送信に対する採点ルールを予め整理しておくという状況下で、注釈内容をデータベース中に格納し、サーバにより注釈内容を画像と関連付けることが、
データベース中に採点後に検出された最良の注釈内容を格納し、最良の注釈内容を画像と関連付けることと、
注釈内容を画像の補助情報中に格納し、画像を格納することと、
により達成されてもよく、これは、データベース中に、画像の関連情報として採点後に検出された最良の注釈内容を格納し、画像を格納することにより達成されてもよい。

好ましくは、注釈内容が商品の販売者のＵＲＬアドレスを含む場合、注釈内容をデータベース中に格納し、注釈内容を画像と関連付けることが、
注釈内容中のＵＲＬによりリンクされたウェブページ上の商品情報のデータベース中に格納し、それとともに画像を関連付けることと、
注釈内容を画像の補助情報中に格納することと、
をさらに含んでもよく、画像を格納することは、
画像の補助情報中に、注釈内容中のＵＲＬによりリンクされたウェブページ上の商品情報を格納し、画像を格納すること、をさらに含んでもよい。

好ましくは、注釈内容が以下の要素、すなわち、
生地、材料、仕様、生産地、単価および画像中の商品の使用、画像中の商品の販売者のＵＲＬアドレス、販売者への問い合せ方法、または商品に関するコメント、
のうちの１つまたは複数の組み合わせを含んでもよい。

別の態様において、画像検索方法は、
要求を受け取り、要求に応じてウェブページを提供することであって、ウェブページが画像を含み、画像に対する注釈内容の送信を可能にする、ことと、
画像に対する注釈内容を受け取り格納することと、
画像に対する注釈内容を、画像検索エンジンに検索インデックスとして提供することと、
を含む。

好ましくは、この方法は、ウェブページ中の画像の一部分に対するフレームラベルを加えること、をさらに含んでもよい。

好ましくは、注釈内容を受け取り格納することが、画像の一部分に対して追加されたフレームラベルを受け取り格納することを含んでもよい。

好ましくは、画像に対する注釈内容を格納することが、
注釈内容をデータベース中に格納し、注釈内容を画像と関連付けること、または
注釈内容を画像の補助情報中に格納し、画像を格納すること、
を含んでもよい。

好ましくは、画像がｊｐｇあるいはｊｐｅｇフォーマットである場合、注釈内容を画像の補助情報中に格納し、画像を格納することが、
注釈内容を、Ｅｘｉｆ仕様に従ってユーザコメントタグ中に格納し、画像を格納すること、を含んでもよい。

好ましくは、画像に対する注釈内容を受け取った後で、格納前に、上記方法は、ユーザにより送信された注釈内容を調査すること、をさらに含んでもよい。

好ましくは、上記方法は、質疑応答のフォーマットおよび注釈内容送信に対する採点ルールを予め整理しておくこと、をさらに含んでもよい。

好ましくは、質疑応答のフォーマットおよび注釈内容送信に対する採点ルールを予め整理しておくという状況下で、注釈内容をデータベース中に格納し、注釈内容と画像との間の関連付けを設定することが、
データベース中に、採点後に検出された最良の注釈内容を格納すること、および最良の注釈内容をと画像と関連付けること
により達成され、
注釈内容を画像の補助情報中に格納し、画像を格納することが、
採点後に検出された最良の注釈内容を、画像の補助情報中に格納すること
を介して達成される。

好ましくは、注釈内容が商品の販売者のＵＲＬアドレスを含む場合、注釈内容をデータベース中に格納し、注釈内容を画像と関連付けることが、
データベース中に、注釈内容中のＵＲＬによりリンクされたウェブページ上の商品情報を格納すること、およびそれとともに画像を関連付けること、
をさらに含んでもよく、注釈内容を画像の補助情報中に格納し、画像を格納することが、
画像の補助情報中に、注釈内容中のＵＲＬによりリンクされたウェブページ上の商品情報を格納し、画像を格納すること
をさらに含んでもよい。

好ましくは、注釈内容が、
生地、材料、生産地、単価および画像中の商品の使用、画像中の商品の販売者のＵＲＬアドレス、販売者への問い合わせ方法あるいは商品についてのコメント、
のうちの１つまたは複数の組み合わせを含んでもよい。

一態様において、画像検索を可能にする装置が、
クライアントからの要求を受け取り、要求に対応してクライアントにウェブページを提供するウェブページ応答ユニットであって、返されたウェブページが、画像がアップロードされること、注釈内容が画像に対して送信されることを可能にするウェブページ応答ユニットと、
画像および画像に対する注釈内容を受け取り格納する格納ユニットと、
画像に対する注釈内容を、画像検索エンジンに検索インデックスとして提供する検索エンジンインターフェースと、
を含んでもよい。

好ましくは、返したウェブページ中の画像の一部分に対してフレームラベルが追加されてもよい。

好ましくは、格納ユニットが、画像の一部に対して追加されたフレームラベルを受け取り格納してもよい。

好ましくは、格納ユニットが、データベースおよび関連付けユニットを含んでもよく、データベースが注釈内容を格納し、関連付けユニットがデータベース中に格納されている注釈内容をそれに対応する画像に関連付ける。

好ましくは、その装置が画像の補助情報中の注釈内容を書き込むように注釈パーサをさらに含んでもよい。

それに対応して、格納ユニットが注釈内容を有する補助情報を有する画像を格納してもよい。

好ましくは、検索エンジンから注釈内容を検索する要求を受け取ると、注釈パーサが画像の補助情報から注釈内容を解析し、注釈内容をユーザクライアントに返す、または検索を介してユーザクライアントに注釈内容を返してもよい。

好ましくは、上記装置が、注釈内容が採点ルールを満たした場合、採点後に最良の注釈内容を選択する最良の注釈内容選択ユニットを、さらに含んでもよい。

それに対応して、データベースが最良の注釈内容を格納してもよく、関連付けユニットがデータベース中に格納してある最良の注釈内容を画像と関連付けしてもよい。

好ましくは、上記装置が、注釈内容中のＵＲＬによりリンクされたウェブページ上の商品情報を解析するＵＲＬリンク解析ユニットをさらに含んでもよい。

それに対応して、データベースが注釈内容中のＵＲＬによりリンクされたウェブページ上の商品情報を格納してもよい。

好ましくは、上記装置が、注釈内容中のＵＲＬによりリンクされたウェブページ上の商品情報を解析するＵＲＬリンク解析ユニットをさらに含んでもよい。

それに対応して、注釈パーサが画像の補助情報中に、注釈内容中のＵＲＬによりリンクされたウェブページ上の商品情報を書き込んでもよい。

別の態様において、画像検索装置が、
クライアントからの要求を受け取り、要求に応じてクライアントにウェブページを提供するウェブページ対応ユニットであって、返されたウェブページが画像を含み、画像に対する注釈内容が送信されるのを可能にするウェブページ対応ユニットと、
画像に対する注釈内容を受け取り格納する格納ユニットと、
画像に対する注釈内容を、画像検索エンジンに検索インデックスとして提供する検索エンジンインターフェースと、
を含んでもよい。

好ましくは、返されたウェブページ中の画像の一部分に対してフレームラベルが追加されてもよい。

好ましくは、格納ユニットが、画像の一部分に対して追加されたフレームラベルを受け取り格納してもよい。

好ましくは、格納ユニットがデータベースおよび関連付けユニットを含んでもよく、データベースが注釈内容を格納し、関連付けユニットが、データベース中に格納された注釈内容をそれに対応する画像と関連付ける。

好ましくは、その装置が画像の補助情報中に注釈内容を書き込む注釈パーサを、さらに含んでもよい。

それに対応して、格納ユニットが、注釈内容を有する補助情報を有する画像を格納してもよい。

好ましくは、検索エンジンから注釈内容を検索する要求を受け取ると、注釈パーサが画像の補助情報から注釈内容を解析し、注釈内容をユーザクライアントに返す、または検索エンジンを介して注釈内容をユーザクライアントに返してもよい。

好ましくは、注釈内容が採点ルールを満たしたとき、採点した後、その装置が採点後の最良の注釈内容を選択する最良の注釈内容選択ユニットをさらに含んでもよい。

それに対応して、データベースが最良の注釈内容を格納してもよく、関連付けユニットがデータベース中に格納した最良の注釈内容を画像と関連付けてもよい。

好ましくは、上記装置が、注釈内容中のＵＲＬによりリンクされたウェブページ上の商品情報を解析するＵＲＬリンク解析ユニットをさらに含んでもよい。

それに対応して、データベースが、注釈内容中のＵＲＬによりリンクされたウェブページ上の商品情報を格納してもよい。

好ましくは、上記装置が、注釈内容中のＵＲＬによりリンクされたウェブページ上の商品情報を解析するＵＲＬリンク解析ユニットをさらに含んでもよい。

それに対応して、注釈パーサが、注釈内容中のＵＲＬによりリンクされたウェブページ上の商品情報を画像の補助情報中に書き込んでもよい。

本開示の様々な実施形態において提供された技術計画による図に示されるように、どの計画が使用されるかに関わらず、画像の情報に関するより多くの検索が提供される。一実施形態において、サーバが要求を受け取り、画像をアップロードすることを許可するウェブページを返し、画像に対して注釈内容を追加し、画像および画像に対する注釈内容を受け取り格納し、画像に対する注釈内容を画像検索エンジンに検索インデックスとして提供する。別の実施形態において、サーバが要求を受け取り、画像を含んだウェブページを返し、画像に対して注釈内容を追加することを許可し、画像に対する注釈内容を受け取り格納し、画像に対する注釈内容を画像検索エンジンに検索インデックスとして提供する。加えて、画像中の商品に関する追加情報が提供されることにより、さらなる商取引が成立される可能性がある。

本開示の例示的な実施形態の技術計画をより明らかに理解するために、例示的な実施形態を説明する添付の図面について以下に簡潔に説明する。添付の図面は、本開示の一部の例示的な実施形態を構成するものに過ぎないことを理解されたい。

本開示に従った第１の例示的な方法のフローチャートである。 本開示に従ったテキストボックスおよび送信ボタンを含むウェブページの概略図である。 本開示に従ったフレームラベルの概略図である。 本開示の第１の例示的な方法に従った、サーバの観点からのフローチャートである。 本開示に従った第２の例示的な方法のフローチャートである。 本開示の第２の例示的な方法に従ったサーバの全体像のフローチャートである。 本開示に従った第１または第２の例示的な方法の実施により得られた結果の表示を示す図である。 本開示に従った第１または第２の例示的な方法の実施によるウェブページ上の全商品を含む画像の結果の表示を示す図である。 本開示に従った第１の例示的なサーバの概略図である。 本開示に従った第２の例示的なサーバの概略図である。

画像検索方法および装置を、以下に提供する例示的な実施形態を使用して説明する。

当業者が本開示の技術計画をより良く理解することを可能にするために、本開示の例示的な実施形態における技術計画を、それぞれの実施形態と関連する添付図を通じ、以下に明瞭で完全な様式で説明する。本明細書に記載の例示的な実施形態は、本開示の実施形態の全てではなく、一部のみを構成していることを理解すべきである。

一般に、ウェブにはユーザクライアント（例、ユーザ端末装置）、ネットワーク、およびサーバ（ウェブサーバなど）が含まれる。ユーザクライアントは、デスクトップ、ラップトップ、ウェブ閲覧機能（例、携帯情報端末、ＰＤＡ）を有するスマートデバイス、モバイルインターネットデバイス（ＭＤＩ）またはウルトラモバイルパソコン（ＵＭＰＣ）など、といったウェブユーザ端末でもよい。このユーザクライアントは、ウェブ環境において（例えば、典型的にはインターネット環境）ある特定のサービスを提供するように別のプロセス（例、サーバにより提供されるプロセス）を要求してもよい。

一般にサーバは、ウェブ（例えば、典型的にはインターネット）といった通信媒体を介してアクセスされるリモートコンピューティング装置である。さらに、一般にサーバはウェブ上で複数のユーザクライアントにサービスを提供できる。サービスを提供するプロセスは、ユーザクライアントから要求を受け取ること、ユーザクライアントに関連したデータを収集すること、および情報を返すこと、などを含む。基本的には、サーバがコンピュータネットワークにおいて情報提供者としての役割を果たす。通常サーバは、サービスを提供する側であり、そのサービス内容はサービスプロバイダにより構成されてもよい。このサービスプロバイダの一例は、ウェブサービス会社のウェブサイトである。

本開示の第１の例示的な実施形態に従った画像検索方法を以下に説明する。図１はこの例示的な実施形態のフローチャートを示す。図１に示すように、この実施形態は、以下の操作を含んでいる。

Ｓ１０１：ユーザクライアントがネットワークを介してサーバに要求を送信し、ウェブページが開かれるように要求する。
通常、ユーザクライアントは、ユニフォームリソースロケータ（ＵＲＬ）をブラウザのアドレス欄に入力することによってウェブページを開くか、またはＵＲＬリンクを介してウェブページに誘導される。基本的に、ユーザクライアントが、例えば、ある特定のウェブサイトのサーバ等のサーバに要求を送信し、ウェブサイトのウェブページを開く。

Ｓ１０２：サーバが要求されたウェブページをユーザクライアントに返す。
一実施形態では、サーバがユーザクライアントに画像を返されたウェブページの上にアップロードすることを許可し、アップロードされた画像に対して注釈を追加してもよい。

さらに、別の実施形態では、画像の部分に対してフレームラベルを追加する機能が、サーバによって返されたウェブページ中にさらに提供されてもよい。「注釈付け」技術がＪａｖａＳｃｒｉｐｔの実装に存在し、ＪａｖａＳｃｒｉｐｔのオブジェクトおよび方法を介して実装される。

特に、非同期ＪａｖａＳｃｒｉｐｔおよびＸＭＬ（ＡＪＡＸ）を使用した特定の技術は、この機能を達成するように活用されてもよい。ＡＪＡＸは、インタラクティブなウェブページのアプリケーションを作るウェブページ開発技術である。ＡＪＡＸアプリケーションは、上記の技術をオペーレーティングプラットフォームとしてサポートするウェブブラウザを使用する。現在、これらのブラウザは、Ｉｎｔｅｒｎｅｔ Ｅｘｐｌｏｒｅｒ、Ｍｏｚｉｌｌａ Ｆｉｒｅｆｏｘ、Ｏｐｅｒａ、Ｋｏｎｑｕｅｒｏｒ、およびＭａｃ ＯＳのＳａｆａｒｉを含む。Ｙａｈｏｏは、Ｙａｈｏｏ！Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ（ＹＵＩ）と呼ばれるＡＪＡＸのツールキットを公開した時に、一連のＡＪＡＸデザインパターンを開示した。ヤフーのこれらのツールキットは、ＹａｈｏｏがいくつかのＷｅｂ２．０のウェブサイトを取得した後に公開したＡＪＡＸのツールキットであり、より完全なコード注釈と豊富で詳細なドキュメンテーションを有する。ＹＵＩコンポーネントの数は連続的に増加しているので、ＹＵＩは、ＡＪＡＸとして、その中では低レベルのＪａｖａＳｃｒｉｐｔ（接続、イベント、Ｄｏｍ、動画、ｄｎｄを含む）のパッケージ後に得られるツールキットであるそうしたコンポーネントを含む。さらに、現在ＡｕｔｏＣｏｍｐｌｅｔｅ、Ｃａｌｅｎｄａｒ、Ｃｏｎｔａｉｎｅｒ、Ｍａｎｕ、ＳｌｉｄｅｒおよびＴｒｅｅＶｉｅｗから成る、高レベルのＪａｖａＳｃｒｉｐｔのＡｃｔｉｖｅＸコントロールのグループが含まれる。比較的先駆的なウェブサイトであるｈｔｔｐ：／／ｗｗｗ．ｆｏｔｏｎｅｔｅｓ．ｎｅｔ、有名なＦｌｉｃｋｒウェブサイトおよびＣｈｉｎａｒｅｎウェブサイトでさえ、全て画像に対して同様のフレームラベル付け機能を提供している。

したがって、ユーザクライアントが、これらの技術の１つまたは複数を使用してＪａｖａ対応ブラウザ上の画像にフレームラベルを追加してもよい。特に、これらの技術は、ユーザクライアントに画像の一部に対するフレームラベル付け機能を提供するために使われてもよい。

Ｓ１０３：ユーザクライアントは、画像および画像に対して追加された注釈内容をサーバに送信する。
画像をアップロードすることに加えて、ユーザクライアントは、ウェブページ中に提供されたテキストボックスを介して画像に対して注釈内容を追加してもよい。

図２に示すように、一実施形態では、ユーザクライアントが、画像に注釈を付けるために画像に対する注釈内容として、テキスト入力をテキスト入力ボックスに入力することを許可するように、テキスト入力ボックスおよび送信ボタンをウェブページ中の画像近くに提供してもよい。画像の注釈内容としてテキストボックス中にテキスト入力を入力した後、ユーザクライアントが、画像の注釈内容としてテキスト入力を、画像とともに、サーバに送信するために送信ボタンをクリックする。単純に入力し、画像の追加された注釈内容もまたサーバに送信される。

注釈内容は、ユーザクライアントにより書かれた説明であってもよく、例えば、特に生地、材料、生産地、単価、商品の機能および使用、商品の販売者のオンラインストアのＵＲＬアドレス、販売者への問い合わせ方法、および／または商品へのコメントなどの画像中に示された商品に関するものであってもよいことに留意されたい。

Ｓ１０３において、画像に対する注釈内容を追加するだけではなく、ユーザクライアントは、提供されたフレームラベル付け機能を使って画像にフレームラベルをさらに追加し、かつフレームラベルをサーバに送信してもよい。一実施形態では、フレームラベルを画像および注釈内容と共にサーバに送信できる。

図３は、フレームラベルの直観的な例を示す。例えば、ユーザクライアントが「追加」または「フレームラベルを追加」と表示されたボタンをクリックすると、ウェブページ中の画像の下に、デフォルトのフレームが画像上に現れる。一実施形態では、ユーザクライアントがフレームを画像上の目的の位置に移動し、フレームのサイズまたは縦横比等を調整してもよい。さらに、別の実施形態では、注釈はフレームの横に提供されてもよく、テキスト入力は注釈ボックス内部に追加されてもよい。

そのため、ユーザクライアントがフレームにラベル付けし、ウェブページ注の画像に対する注釈内容を追加したい場合、注釈内容をフレームラベルの注釈ボックスに追加してもよい。

一実施形態では、フレームラベルの権限管理はサーバにより行われているかもしれないが、フレームラベル付け操作をユーザクライアントにてＪａｖａＳｃｒｉｐｔにより実行できる。

オンライン取引プラットフォーム（例、ビジネス間すなわちＢ２Ｂウェブサイト、ビジネス消費者間すなわちＢ２Ｃウェブサイト、および消費者間すなわちＣ２Ｃウェブサイト）に関して、フレームの内容は典型的にはユーザクライアントによりフレーム表示された商品（画像中の）である。フレームラベルの注釈内容内部には、上述したように、例えば商品の説明書、および／または販売者のオンラインストアのＵＲＬアドレスがある可能性がある。

サーバの受信の観点から、様々な実施形態において、Ｓ１０３は、画像を送信し、かつ特定のユーザにより画像に対して注釈内容だけでなくフレームラベルを追加する動作、別のユーザにより同じ画面に対して異なる注釈内容を送信する動作、または複数回、同じユーザにより同じ画像に対して異なる注釈内容を送信する動作を含んでいてもよい、ということに留意されたい。一実施形態では、複数回同じユーザにより、同じ画像に対して異なる注釈内容を送信することが、同じ画面に対する複数の注釈内容およびフレームラベルを、複数回に分けて送信すること含んでもよい。

従来のウェブページ技術では、ユーザクライアントがウェブページの画像に対して注釈内容を追加する、または閲覧されたウェブページの画像に対して（注釈内容に加えて）フレームラベルを追加した後、それらをサーバに送信する動作は、画像、注釈内容およびフレームラベル（含まれる場合）をサーバへ送信することを伴う。その画像がウェブページに以前存在したかどうか、または現在の閲覧イベント中にクライアントからアップロードされたかどうかに関わらず、画像が送信の中に含まれることが留意される。一方で、その画像がウェブページに以前存在していた場合、本開示の実施形態は、画像を再送信せずに、画像に対する注釈内容およびフレームラベル（含まれる場合）のみをサーバに送信する追加オプションを提供する。このことが、同じ内容（つまりこの場合、ウェブページの画像）がサーバとユーザクライアント間を往復する送信を避け、これにより帯域幅処理能力をセーブし、ユーザの閲覧経験の向上となる速いインタラクションをもたらす。

Ｓ１０４：サーバが、画像およびユーザクライアントから受け取った画像に対する注釈内容を格納する。
様々な実施形態に従ったサーバによる画像に対する注釈内容を格納するいくつかの実装方法を、以下に説明する。

１．一実施形態では、サーバが注釈内容をデータベース中に格納し、注釈内容を画像と関連付ける。

この方法は容易で実行可能であり、比較的拡張性および保全性がある。現在、ＦｌｉｃｋｒおよびＹｕｐｏｏといった画像ウェブサイトがこの計画を採用している。

当業者であれば、本明細書に記載のデータベースがサーバと接続された別個の装置、またはサーバ中のソフトウェア実装データベースといったサーバ中のコンポーネントでもよいとが理解できる。このような方法は、ユーザクライアントにより注釈を付けられる内容のサイズを制限しないため、大量の情報の格納を可能にする。

２．別の実施形態では、サーバが注釈策内容を画像の補助情報中に格納し、その後、画像を格納する。

例えば、画像がｊｐｇまたはｊｐｅｇフォーマットである場合、そのファイルの特性（つまりＥｘｉｆ仕様に準ずる）はユーザコメントに対する予約タグを含む。ｊｐｇまたはｊｐｅｇフォーマットの基準において、このタグは予約され、定義されないため、制限がなく、開発者により定義される。以下の表は、ｊｐｇ画像フォーマットに関するＥｘｉｆ仕様の一部を示した表である。

表１の太字の行に示されるように、ｊｐｇフォーマットのＥｘｉｆ特性はユーザコメントに対する予約タグを有する。このタグは未定義タイプで、長さに制限がないため、ユーザまたは開発者による内容の追加を許可する。

このタグは注釈内容が、画像の補助情報中に格納されることを許可する。

同様に、ｂｍｐまたはｐｎｇフォーマットの画像のような他のフォーマットの画像が、画像の各補助情報中に格納される注釈内容を有することができる。簡略にするため、本明細者では詳細を記載しない。

一実施形態では、上述したように、送信した内容が画像に対するフレームラベルをさらに含む場合、サーバは、画像およびユーザクライアントから受け取った画像に対する注釈内容を格納するだけではなく、画像に対するフレームラベルも格納する。特に、サーバは、上記２つの方法の１つを介してフレームラベル内部に注釈内容をさらに格納してもよい。

一実施形態では、上記２つの方法が、ＵＲＬリンクを格納し、表形式中に格納した情報を有してもよい。一般に、オンライン取引プラットフォーム（例、Ｂ２Ｂタイプ、Ｂ２ＣタイプまたはＣ２Ｃタイプのウェブサイト）といったショッピングウェブサイトに対しては、商品が購入できるアドレスが格納されている場合がある。さらに、情報を分類別に表形式中に格納することができる。さらに、これらの２つの方法はどちらもユーザまたは開発者による開発をサポートするので、さらに多くの種類の情報格納を提供する。

一実施形態では、サーバは後者の方法によって、注釈パーサを作ることが必要である。注釈が格納されたら、注釈サーバは注釈内容を画像の補助情報中に書き込む。したがって、一実施形態では、表示されるように要求された画像がクライアントに返され（例、以下に記載のＳ１０５の動作が実行された後）検索エンジンが対応注釈内容を検索するように要求を送信する場合、注釈パーサが画像の補助情報から注釈内容を解析し、注釈内容をユーザクライアントに返す、または注釈内容を、検索エンジンを介してユーザクライアントに返す。

Ｓ１０５：サーバが、画像の注釈内容を、画像検索エンジンに提供された検索インデックスとして使用する。
一実施形態では、画像検索エンジンは、ウェブサイトの別個の装置を使用して実装される。代わりに、画像検索エンジンがサーバ中に組み込まれてもよい。この種の展開は、スケール、実装された機能、および関連するウェブサイトのニーズ次第である。他の実施形態では、他の妥当な方法もまた使用されてよい。

大多数の既存の画像検索技術は画像名を使用して画像検索を行っている。文字数およびフォーマット、その他によって、画像名は各画像のファイル名と同様に制限されている。例えば、ウインドウズオペレーティングシステムにおいて、拡張子および分離記号を含めた合計文字数は、一般に２５５バイトを超えてはならない。それに加えて、ファイル名がＵＲＬリンクを提供することはできず、フォーマット済みの内容を有することもできない。結果として、大量の情報をファイル名中に格納することはできない。

Ｓ１０５において、画像に対する注釈内容が検索インデックスとして使用されている。一実施形態では、データベースが、例えば逆インデックスの設定などの、インデックスの特定の順序付けを実行し、より速くより包括的である、さらに多くの検索問合せを可能にする。そのため、検索結果はそれに関連したさらに豊富な内容を有することができる。問い合わせを受け、問い合わせに関連したキーワードを基にした結果を得、加えてインデックスを介して検索した検索エンジンを有すると、全注釈内容および結果に含まれる関連した画像が、問い合わせた当事者に返される。いくつかの実施形態では、返される結果により多くの画像および情報を提供するために、画像をサムネイルサイズで画像を提供し、注釈内容の特定の選ばれた数の文字が返される。

検索後に返された画像については、ユーザがその中の情報、具体的には注釈内容中の販売者のＵＲＬアドレス、またはフレームラベルによって表示された商品が売られている場所の販売者のアドレスを見ることができる。ユーザは、商品の販売者のウェブページへ案内するアドレスをクリックすることができ、それによりユーザと販売者間の取引につながる。一実施形態では、ＵＲＬアドレスのニーズが、完全なリンクしたアドレスの形ではなく、リンクしたアドレス（例えば、通常ＴａｏＢａｏ．ｃｏｍに現れる販売者のテキストまたはアイコン）を含むアイコンまたはテキストとして現れる。さらに、販売者とのインスタントメッセージングのためのアイコン（例えば、通常ＴａｏＢａｏ．ｃｏｍで見られる販売者のポートレートなど）がさらに含まれてもよい。ユーザがポートレートをクリックすると、インスタントメッセージングのアプリケーションが起動し、販売者とリアルタイムの交信が可能になる。代わりの方法として、インスタントメッセージングアプリケーションがウェブページで開き、販売者とインスタントメッセージングが可能になってもよい。

一実施形態では、Ｓ１０３とＳ１０４との間に含まれてもよい追加動作を以下に説明する。

Ｓ１０３’：サーバがユーザにより送信された注釈内容を調査する。
調査は、以下の方法、すなわち注釈内容の合法性の調査と、最良の注釈内容の調査とのうちのいずれか１つ、または２つの組み合わせを含む。

注釈内容の合法性の調査は、一実施形態に従った下記のものを含む。上述したように、同じ画像に対してユーザにより注釈内容を追加する、または複数の注釈内容を送信する動作の間、所定の非合法単語語彙に含まれる単語を含む注釈内容が取り除かれる。このことが注釈内容を、国の法律および社会科学などに適合するように徹底させる。

最良の注釈内容の調査に関して、最良の注釈内容は、一実施形態では、人間オペレータにより選択されてもよい。例えば、画像中の商品は複数の注釈内容により説明されてもよい。異なる注釈内容は異なる詳細および異なる正確さを有するかもしれない。職員は手作業で他の注釈内容を削除しながら最良の注釈内容を選択する。

一実施形態では、サーバが所与の画像に対する複数の注釈内容を送信する動作をサポートしてもよい。別の実施形態では、ユーザクライアントによるより多くのより良い注釈内容の送信を促進させるように、サーバが質疑応答のフォーマットおよび注釈内容送信に対する採点ルールを提供してもよい。

一実施形態では、ウェブサイトが、ユーザにより送信された注釈内容を２つのタイプ、すなわち質問タイプおよび回答タイプ、に分割してもよい。注釈内容を送信する場合、ユーザは注釈内容が属するタイプ、すなわち質問タイプまたは回答タイプ、を選択してもよい。まず、質問のタイプの例をあげる。画像中の商品を見ると、ユーザが画像中の商品のフレームラベル付けを行い、商品のブランドおよび値段を尋ねる注釈を追加する。さらに、サーバにより提供されたウェブページが、商品についての質問を尋ねたとき、ユーザが商品に関連するカテゴリを選択してもよいという商品カテゴリの選択をさらに有してもよい。他のユーザが画像中の質問に回答し、画像および注釈内容を見た場合、回答タイプの注釈内容に属するとしてこれらの答えを選択してもよい。一実施形態では、質問に回答する過程の間に、サーバが提供されたウェブページ中の商品カテゴリの選択を設定してもよい。商品に関連した質問に回答した場合、質問に回答した人が商品に関連したカテゴリを選択できる。答えを見ると、質問を出したユーザが回答を評価する事ができ（例えば、もし複数の回答がある場合）、より良い回答をしたユーザがより良い点を獲得する。さらに重要なことには、より多くのより豊富な画像に対する注釈内容が、より良い注釈内容が目立つように、構造的なメカニズムを介して奨励される。さらに、この構造的なメカニズムがさらに客観的で合理的な注釈内容の収集を促進する。

一実施形態では、サーバが質疑応答のフォーマットおよび注釈内容送信に対する採点ルールを、より多くの注釈内容を提供するユーザについて整理する場合、送信された注釈内容がＳ１０３’の動作の説明に従って調査されてもよい。

上記の説明の詳細を説明するために、実用的な状況が用いられ、かつこのように提供される。オンライン取引プラットフォーム上では、購入者は特定の画像中の特定の商品、例えば、Ｊａｙ ＣｈｏｕがＣＤ＜＜Ｉ ａｍ ｖｅｒｙ ｂｕｓｙ＞＞のカバーで着用していたシャツ、とは知らないかもしれず、その商品の情報を得たいかもしれない。ユーザはウェブ上の画像（つまり、Ｊａｙ Ｃｈｏｕの＜＜Ｉ ａｍ ｖｅｒｙ ｂｕｓｙ＞＞のＣＤのカバー）を広げ、注釈内容（例、注釈内容は質問タイプであり、画像中のシャツの商品情報を問い合わせる）を追加してもよい。ユーザが、商品の情報を知りたいという自分の欲求を直観的に指摘するように、画像中のシャツをさらにフレーム化し、ラベル付けしてもよい。さらに、質問している間、ユーザは、例えば服／シャツといったウェブページの商品に関連したカテゴリを選択してもよい。画像を見ると、他のユーザまたは販売者が画像中のシャツの注釈内容を追加し続けるかもしれない。例えば、注釈内容が回答タイプであった場合、注釈内容は、質問（例、シャツのブランド、生地、材料、およびスタイルといった情報）への回答を含んでもよく、ＵＲＬアドレスといった商品の販売者のアドレスをさらに含んでもよい。他のユーザまたは販売者もまた、注釈内容を追加する場合あるいは質問に回答する場合に、商品に関連するカテゴリを選択してもよい。その上、いずれかの興味のあるユーザが、検索を介してこの画像を入手し、画像に関連した質疑応答を得て、取引を完了するために注釈内容中の販売者のＵＲＬリンクを介して商品の取引のウェブページに入るかもしれない。

サーバにより処理できる作業は、サーバが質疑応答のフォーマットおよび注釈内容の送信の採点ルールを整理できるコンテキスト中にあり、下記で説明する。

注釈内容を送信する場合、質問者は注釈内容が属するカテゴリ、すなわち質問タイプ、を選択してもよい。特に、質問者はウェブページ上の画像中の商品にフレームのレベル付けを行い、注釈内容を追加し、商品のブランドおよび販売価格について質問する。一実施形態では、サーバにより提供されたウェブページは商品カテゴリの選択があってもよい。そのため、商品についての質問する場合、質問者が商品に関連するカテゴリを選択してもよい。画像および注釈内容を見ると、他の回答者（場合によっては商品の販売者を含む）が画像中の質問に回答し、回答タイプの注釈内容に属した対応する答を選択する。一実施形態では、回答者が質問に回答する場合、サーバにより提供されたウェブページには、商品カテゴリの選択があってもよい。このようにして、回答者が商品に関連したカテゴリを選択してもよい。送信された質問は幾人かの回答者により回答されてよい。同様に、同じ質問に対して数多くの回答を受け取るかもしれない。回答者により回答された注釈内容を見た後、質問者は回答にスコアを提供する。複数の回答がある場合には、各回答にはサーバにより提供された採点ルールに従って作られた応答スコアがあり、回答の１つに最高スコアが付く。これらの回答のスコアはサーバにより検出することができる。そのため、サーバが最高スコアの回答を計算し最良の回答とし、そしてそれが、送信した質問の回答になるように処理され、画像中の商品に対する注釈中に表示される。

一実施形態では、Ｓ１０４における第１の方法が次の方法で実施される。サーバが、データベース中に最良の注釈内容を格納する。その最良の注釈内容は、最良のスコアを持つ注釈内容であり、採点後に検出され、画像を持つ最良の注釈内容と関連付ける。

別の実施形態では、Ｓ１０４における第２の方法が以下のように実施される。サーバが画像の補助情報中に最良の注釈内容を格納する。その最良の注釈内容は、最高スコアを持つ注釈内容であり、採点後に検出され、画像を格納する。

さらに、サーバにより検出された注釈内容（上記最良の注釈内容を含む）は、商品の販売者のアドレスといったＵＲＬアドレスを含んでいる可能性が高い。サーバは、注釈内容中のＵＲＬアドレスによりリンクされたウェブページを見つけるかもしれない。例えば、ＵＲＬアドレスによりリンクされたウェブページは、商品を説明しているウェブページである。商品説明を有するウェブページについては、ウェブページ上の各商品説明はサーバにより入手可能である。例えば、ＴａｏＢａｏ．ｃｏｍ上の販売者ストア中の商品説明は、ＴａｏＢａｏ．ｃｏｍのサーバにより入手できるかもしれない。一実施形態では、第１の方法は、Ｓ１０４において、さらに（１）サーバが、注釈内容中のＵＲＬによりリンクされたウェブページ中の商品情報をデータベース中にさらに格納し、商品情報を画像と関連付けること、または（２）サーバが、注釈内容中のＵＲＬによりリンクした商品情報を画像の補助情報中にさらに格納し、画像を格納することを含んでもよい。

一実施形態では、多くの場合、ウェブページ中の商品説明が特殊なフォーマットを有する。例えば、ＴａｏＢａｏ．ｃｏｍ上の商品説明のウェブページには、具体的なカテゴリ品目が説明された「トレジャーディテールズ」がある。例えば、以下の様々なカテゴリの品目は、ＴａｏＢａｏ．ｃｏｍ上の服に関するウェブページのトレジャーディテールズ中に説明されている。ある「シャツ」の様々なカテゴリの品目の説明の一例を以下の表に示す。
デザイン：長袖 スタイル：韓国風
ブランド：他 価格帯：３１〜７０ドル
襟：立ち襟 パターン：純色
シーズン：春夏秋 生地：他
色：白 サイズ：フリーサイズ
服の丈：ミディアムロング（服の丈：５０〜７０ｃｍ）

ある「携帯電話」の様々なカテゴリの品目の説明の一例を以下の表に示す。
ブランド：ｉＰｈｏｎｅ アップルモデル番号：ｉＰｈｏｎｅ ８Ｇ
（３Ｇバージョン）
携帯電話の価格帯：3001〜5000ドル 携帯電話のリリース時期：２００８
ネットワークタイプ：３Ｇ 外観：棒状
スクリーンカラー：１．６ミリオン 品質：新品
リング：ＭＰ３リング カメラ解像度：０．２Ｍ
スマートフォンか：スマートフォン オペレーティングシステム：ｉＰｈｏｎｅ

上記の特定のカテゴリの品目は、販売者が商品情報を記入した場合、サーバにより提供されたオプションに基づいて販売者が選んだオプションである可能性があることに留意されたい。そのため、サーバはウェブページのＵＲＬによりリンクされたアドレスを介してウェブページ上の商品情報に関連する特定のフォーマット済みの説明を簡単に入手することが可能であり、上記（１）または（２）の方法に従って、これらの特定のフォーマット済みの説明を処理する。これらの情報説明は、検索後に画像が閲覧され入手された場合、他のユーザが画像中の商品を理解するのに大変役立つ。

上記取引の具体化は、Ｂ２Ｂタイプ、Ｂ２ＣタイプおよびＣ２Ｃタイプのオンライン取引に大切な意味をもつことに留意されたい。始めに、既存のオンライン取引プラットフォームは単に商品に対するテキスト検索を提供しているだけである。ユーザが商品に関する情報を知らない場合、商品を説明するために適切な言い回しを使用することは難しい。同様に、ユーザにとってもテキスト検索を介して所望の商品を見つけることは難しい。ある意味、この種類の方法は商品を理解し購入するユーザのニーズを満足させることに失敗する。対照的に、本開示の例示的な方法はオンライン取引プラットフォームが、ユーザによる画像中に表示してある商品の認識を介して商品情報を即座に提供し、さらなる取引活動が行われる、該商品を販売する場所のアドレスをユーザに導くことを可能にする。その結果、情報不足により取引を妨げる要素はかなり減り、したがって、直観的なユーザの経験を強化する。次いで、販売者のみがその商品の画像を表示することができ、それだけでなく商品情報を事前に集め、かつ提供することができる。購入要求を送信したユーザにとっては、テキストの形で直観的に商品を実感することは難しく、そのため、取引を完結から妨げる。しかしながら、本開示の例示的な方法は、販売者または他のユーザが画像中の商品に関連した商品情報を提供することを可能にし、そのため、販売者と購入者間の取引が完結するのを促進する。

第１の例示的な実施形態をサーバの全体像から以下に説明する。図４は一実施形態に従ったフローチャートを示す。

Ｓ４０１：サーバが要求を受け取り、ウェブページを返す。一実施形態では、ユーザクライアントは、画像をアップロードすることおよび／または画像に対する注釈内容を返されたウェブページ中に追加することが許可される。

別の実施形態ではさらに、Ｓ４０１において、返されたウェブページに、画像の部分に対するフレームラベルを追加することが許可される。同様に、ユーザクライアントがこの技術を使用してブラウザ上の画像に対してフレームラベルを加えてもよい。特に、この技術を介して、画像の特定部分に対するフレームラベル付けの機能がユーザクライアントに提供される。

Ｓ４０２：サーバが画像および画像に対する注釈内容を受け取り格納する。

注釈内容に対するテキストは、画像中の商品に関連して、ユーザクライアントにより書かれた説明であってもよく、特に例えば、生地、材料、生産地、単価、商品の機能および使用、商品の販売者のオンラインストアのＵＲＬアドレス、販売者の連絡方法および商品へのコメント、またはそれらの組み合せなどである。

フレームの内容は、典型的には、ユーザクライアントによりフレーム化された（画像中の）商品である。上記に記載したように、フレームラベルの注釈内容の内部は、例えば、上記のように、商品の説明および／または販売者のオンラインストアのＵＲＬアドレスであってもよい。

一実施形態では、ユーザクライアントがウェブページ中の画像に対してフレームラベル付けを行い、注釈内容を追加する場合、注釈内容がフレームラベルの注釈ボックス内部に追加されてもよい。

様々な実施形態では、例えば、サーバは、送信された画像および注釈内容だけでなく、特定のサーバにより追加された画像に対するフレームラベルも、異なるユーザにより、または同じユーザから複数回送信された同じ画像に対する異なる注釈内容も、受け取ってもよいことに留意されたい。一実施形態では、注釈内容を同じユーザから複数回受け取ることは、同じ画像に対して複数の注釈内容およびフレームラベルを複数回にわたり別個に受け取ることを、さらに含んでもよい。

サーバにより画像に対する注釈内容を格納する２つの実装方法を以下に説明する。

１．一実施形態では、サーバが注釈内容をデータベース中に格納し、注釈内容と画像との間の関連付けを確立する。

２．別の実施形態では、サーバが注釈内容を画像の補助情報中に格納し、次いで画像を格納する。

例えば、画像がｊｐｇまたはｊｐｅｇフォーマットである場合、サーバが注釈内容をＥｘｉｆ仕様に従ってユーザコメントとして格納してよい。

Ｓ４０３：サーバが画像に対する注釈内容を検索インデックスとして見なし、注釈内容を画像検索エンジンに提供する。

一実施形態では、Ｓ４０２とＳ４０３との間に含まれてもよい追加機能を以下に説明する。
Ｓ４０２’：サーバがユーザにより送信された注釈内容を調査する。

一実施形態では、サーバが、質疑応答のフォーマットおよびユーザクライアントにより提供された、より多くのよりよい注釈内容を促進するための注釈内容送信に対する採点ルールを整理してもよい。

一実施形態では、サーバが質疑応答のフォーマットおよび注釈内容送信に対するスコアリングルールを整理する場合、サーバが、注釈内容をデータベース中に格納し、注釈内容を画像と関連付けることは、サーバが、データベース中に、採点して検出された最良の注釈内容を格納し、最良の注釈内容を画像と関連付ける手順を用いて実装してもよい。

一実施形態では、サーバが注釈内容を画像の補助情報中に格納し、画像を格納することは、サーバが、画像の補助情報中に、採点後に検出された最良の注釈内容を格納し、かつ画像を格納する手順を用いて実装してもよい。

一実施形態では、注釈内容が商品の販売者のＵＲＬアドレスを含む場合、注釈内容をデータベース中に格納し、注釈内容をサーバによる画像と関連付けることは、データベース中に、注釈内容中のＵＲＬによりリンクされたウェブページ中の商品情報を格納し、商品情報をサーバによる画像と関連付けることを含んでもよい。

一実施形態では、注釈内容を画像の補助情報中に格納し、サーバにより画像を格納することが、画像の補助情報中に、注釈内容中のＵＲＬによりリンクした商品情報を格納し、かつサーバにより画像を格納することを含んでもよい。

本開示に従った画像検索の第２の例示的な方法を以下に説明する。第１の例示的な実施形態の部分と同等あるいは類似の第２の例示的な実施形態の部分についての説明は、第１の例示的な実施形態中の各説明中で見られる。第２の実施形態は、第１の例示的な実施形態との相違点に焦点を当てる。

図５は、この例示的な実施形態のフローチャートを示す。図５に示されるように、例示的な実施形態は、以下を含む。

Ｓ５０１：ユーザクライアントがネットワークを介してサーバに要求を送信し、ウェブページが開かれるように要求する。

Ｓ５０２：サーバがユーザクライアントに、画像を含む要求されたウェブページを返す。

一実施形態では、サーバにより返されたウェブページは画像を含み、ユーザクライアントに画像に対して注釈内容を追加することを許可する。

別の実施形態では、画像に対してフレームラベルを追加する機能が、サーバにより返されたウェブページ中にさらに提供される。

さらに別の実施形態では、ユーザクライアントが、ウェブページ中に提供されたテキストボックスを介して画像に対して注釈内容を追加してもよい。

Ｓ５０３において、画像に対して注釈内容を加えるほかに、ユーザクライアントがフレームラベルをさらに加えてもよい。

Ｓ５０３において、画像に対して注釈内容を加えるほかに、ユーザクライアントが、ウェブページ中に提供されたフレームラベル付け機能を使用した画像にフレームラベルをさらに加え、かつサーバにフレームラベルを送信してもよい。例えば、フレームラベルは注釈内容と一緒にサーバに送信できる。

ユーザクライアントがフレームラベル付けを実行し、ウェブページ中の画像に対して注釈内容を追加する場合、一実施形態では、注釈内容がフレームラベルの注釈ボックス内部に追加されてもよい。

従来のウェブページ技術では、ウェブページ中の画像に対する注釈内容をユーザクライアントが追加した後、または画像に対するフレームラベル（注釈内容に加えて）を閲覧したウェブページ中に追加した後に、サーバにそれらを送信する動作が、画像、注釈内容およびフレームラベル（含まれる場合）をサーバへ送信することを含む。画像が以前ウェブページ中に存在していたかどうか、または現在の閲覧事象中のユーザクライアントからアップロードされているかどうかに関わらず、画像が送信に含まれていることに留意されたい。一方で、開示された実施形態中で使用されている最新のウェブページ技術は、ウェブページ中に画像が以前存在した場合、画像を再送信することなく画像に対する注釈内容およびフレームラベル（含まれる場合）のみをサーバに送信することを可能にする。このことは同じ内容（すなわちこの場合、ウェブページ中の画像）がサーバとユーザクライアントとの間を往復送信することを回避し、それによって帯域幅を節約し、ユーザのブラウジング経験の向上のための速いインタラクションをもたらす。上述したＡＪＡＸ技術はこれらの技術の１つである。

Ｓ５０４：サーバが、ユーザクライアントから受け取った画像に対する注釈内容を格納する。

第１の例示的な実施形態と同様に、サーバが画像に対する注釈内容を格納するのに以下の手順が用いられてもよい。

１．一実施形態では、サーバが注釈内容をデータベース中に格納し、注釈内容を画像と関連付ける。

２．別の実施形態では、サーバが注釈内容を画像の補助情報中に格納し、次いで画像を格納する。

上述したように、送信した内容が画像に対するフレームラベルをさらに含む場合、サーバがユーザクライアントから送信された画像に対する注釈内容を格納するだけではなく、画像に対するフレームラベルもまた格納する。特に、上記２つの方法を介して、サーバがフレームラベル内部に注釈内容をさらに含んでもよい。

上記２つの方法はＵＲＬリンクを格納し、表形式中に格納した情報を有してもよい。

特に、サーバは後者の方法中に注釈パーサを作る必要がある。一実施形態では、注釈が格納された場合、注釈パーサが画像の補助情報中に注釈内容を書き込む。ディスプレイに対して要求された画像がユーザクライアントに返され（例、Ｓ５０５の動作を実行した後）、検索エンジンが対応する注釈内容を検索する要求を送信した場合、注釈パーサが画像の補助情報から注釈内容を解析し、注釈内容をユーザクライアントに返す、あるいは、検索エンジンを介して注釈内容をユーザクライアントに返す。

Ｓ５０５：サーバが画像に対する注釈内容を画像検索エンジンに提供された検索インデックスと見なす。

一実施形態では、Ｓ５０３とＳ５０４との間に、含まれてもよい追加作業を下記に説明する。

Ｓ５０３’：サーバがユーザにより送信された注釈内容を調査する。
この時点における調査は、以下の意味、すなわち、注釈内容の合法性の調査と、最良の注釈内容の調査とのいずれか１つ、または２つの組み合わせを含む。

一実施形態では、サーバが質疑応答のフォーマットおよび、注釈内容送信に対する採点ルールをより多くの注釈内容を提供するユーザについて整理する場合、送信された注釈内容が調査されてもよい。

第１の例示的な実施形態と同様に、サーバが質疑応答のフォーマットおよび注釈内容送信に対する採点ルールを整理する場合、注釈内容をデータベースに格納すること、およびサーバにより注釈内容を画像と関連付けることは、データベース中に採点で検出された最良の注釈内容を格納すること、およびサーバにより最良の注釈内容を画像と関連付けることにより実装してもよい。

一実施形態では、注釈内容を画像の補助情報中に格納すること、およびサーバにより画像を格納することは、画像の補助情報中に採点後に検出された最良の注釈内容を格納すること、およびサーバにより画像を格納することにより実装してもよい。

第一の例示的な実施形態と同様に、注釈内容が商品の販売者のＵＲＬアドレスを含む場合、注釈内容をデータベース中に格納し、サーバにより注釈内容を画像と関連付けることは、データベース中に、注釈内容中のＵＲＬによりリンクされたウェブ中の商品情報を格納すること、およびサーバにより商品情報を画像と関連付けること、を含んでもよい。

一実施形態では、注釈内容を画像の補助情報中に格納し、サーバにより画像を格納することは、画像の補助情報中に、注釈内容中のＵＲＬによりリンクされた商品情報の画像を格納すること、およびサーバにより画像を格納すること、を含んでもよい。

一方では、ＡＪＡＸといった技術が使用された場合に、第２の例示的な実施形態が特定の状況を参照し、他方では、ユーザが画像についての質問への回答を提供する場合、状況に焦点を当てることが知られている。特に後者の状況に、画像はサーバにより以前受け取られているかもしれず（例、以前、一部のユーザにより画像がアップロードされていた）、またはサーバ上の画像かもしれない、ということから、サーバによりが画像をすでに格納しているかもしれないことが明白である。実際には、ユーザクライアントによる注釈内容または画像に対するフレームラベルを追加すると、サーバは、画像を繰り返し受け取り格納せずに画像に対する注釈内容およびフレームラベルを得ればよい。ＡＪＡＸの技術がウェブページ中に使用される場合、サーバに画像を繰り返し送信することなく、ユーザは注釈内容およびフレームラベルをサーバに送信するのみでもよい。

第２の例示的な実施形態をサーバの視点から下記に説明する。図６はかかる説明のフローチャートを示す。

Ｓ６０１：サーバが要求を受け取り、ウェブページを返す。返されたウェブページは、画像を含み、画像に対する注釈内容の追加を可能にする。

Ｓ６０１において、返されたウェブページでは、クライアントユーザが、一実施形態中の画像の一部分に対してフレームラベルを追加することが許可される。同様に、ユーザクライアントはこの技術を使用してブラウザ上の画像に対してフレームラベルを追加してもよい。特に、この技術を介して、ユーザクライアントは画像の特定部分に対するフレームラベル付けの機能が提供される。

Ｓ６０２：サーバが画像に対する注釈内容を受け取り格納する。

注釈内容に対するテキスト入力は、画像中の商品に関連するユーザクライアントにより書き込まれた説明でもよく、具体的には、例えば、生地、材料、生産地、単価、商品の機能および使用、商品の販売者のオンラインストアのＵＲＬアドレス、販売者の連絡方法および商品に対するコメント、またはそれらの組み合せなどである。

フレームの内容は、典型的にはユーザクライアントによりフレーム化された商品（画像中の）である。上述したように、フレームラベルの注釈内容内部に、例えば商品の説明および販売者のオンラインストアのＵＲＬアドレスがあってもよい。

一実施形態では、ユーザクライアントがウェブページ中の画像に対するフレームラベル付けを行い、かつ注釈内容を追加する場合、注釈内容がフレームラベルの注釈ボックス内部に追加されてもよい。

サーバが受け取ったものは、例えば、特定のユーザにより追加された画像に対する注釈内容およびフレームラベル、異なるユーザまたは同じユーザから複数回送信された同じ画像に対する異なる注釈内容であってもよいことに留意されたい。明らかに、後者は同じ画像に対する複数の注釈内容およびフレームラベルを複数回に分けて送信することをさらに含んでいてもよい。

サーバにより画像に対して注釈内容を格納する２つの実装方法を下記に説明する。
１．一実施形態では、サーバが注釈内容をデータベース中に格納し、注釈内容を画像と関連付ける。
２．別の実施形態では、サーバが注釈内容を画像の補助情報中に格納し、画像を格納する。
例えば、画像がｊｐｇまたはｊｐｅｇフォーマットである場合、サーバが注釈内容をＥｘｉｆ仕様に従ってユーザコメントとして格納してもよい。

Ｓ６０３：サーバが画像に対する注釈内容を検索インデックスと見なし、注釈内容を画像検索エンジンに提供する。

一実施形態では、Ｓ６０２とＳ６０３との間で、追加の動作は、
Ｓ６０２’：サーバがユーザにより送信された注釈内容を調査すること
を含んでもよい。

一実施形態では、サーバが質疑応答のフォーマットおよび、ユーザクライアントにより提供されたより多くのより良い注釈内容を促進するための注釈内容送信に対する採点ルールを整理してもよい。

サーバが質疑応答のフォーマットおよび注釈内容送信に対する採点ルールを整理する場合、注釈内容をデータベース中に格納すること、およびサーバにより注釈内容を画像に関連付けることは、
データベース中に、採点で検出された最良の注釈内容を格納すること、およびサーバにより最良の注釈内容を画像と関連付けること
により実施されてもよい。

一実施形態では、注釈内容を画像の補助情報中に格納すること、およびサーバにより画像を格納することは、
画像の補助情報中に、採点後に検出された最良の注釈内容を格納すること、およびサーバにより画像を格納すること
により実施されてもよい。

一実施形態では、注釈内容が商品の販売者のＵＲＬアドレスを含む場合、注釈内容をデータベース中に格納すること、およびサーバにより注釈内容を画像に関連付けることは、
データベース中に注釈内容中のＵＲＬによりリンクされたウェブページ中の商品情報を格納すること、およびサーバにより商品情報を画像に関連付けること
を含んでもよい。

一実施形態では、注釈内容を画像の補助情報中に格納すること、およびサーバにより画像を格納することは、
画像の補助情報中に、注釈内容中のＵＲＬによりリンクされる商品情報を格納すること、およびサーバにより画像を格納すること
を含んでもよい。

図７は、本開示の第１および第２の例示的な方法を実行した結果表示を示す。図７に示したように、検索エンジンを介して検索をすると、ユーザはＪａｙ Ｃｈｏｕの＜＜Ｉ ａｍ ｖｅｒｙ ｂｕｓｙ＞＞のカバー画像を見ることができる。画像にはすでにフレームラベルと注釈内容がある。１つのフレームラベルは、ユーザのマウスカーソルが置かれた画像中のシャツのフレームラベルである。ウェブページ技術が注釈内容の画面を自動的に提供する。注釈内容の内部にそのシャツの情報、販売者とのインスタントメッセージングへリンクするアイコンおよび価格がある。他のフレームラベルも画像上でも見ることができる。マウスカーソルがフレームラベル上に置かれた場合、ウェブページ技術が各注釈内容の画面を自動的に提供する。さらに、画像に関する全ての質問が画像の一番下に列挙される。このウェブページを閲覧するユーザはこれらの質問に回答を追加してもよい。

図７で示した画像は実際多くのフレームラベルを有する。図８はその画像中の商品に対する全ての注釈内容を示している。注釈内容の各々は、各商品の簡単な情報、価格および各販売者とのインスタントメッセージングにリンクするアイコンを含んでいる。特定のキーワード検索（例、特定の商品のキーワード）を介して画像を得ると、ユーザが画像中の複数の商品の情報を得る場合があり、したがって、購買者により購入の可能性を延長し、さらなる取引が完結されるように促進している。

サーバなど、本開示に従った画像検索を可能にする第１の例示的な装置を、下記に説明する。図９は、一実施形態に従った係るサーバの概略図を示している。
図９に示したように、サーバは、
要求を受け取ってウェブページを返すように構成されたウェブページ応答ユニット９１であって、返されたウェブページが画像をアップロードすること、および画像に対する注釈内容を追加することを可能にする、ウェブページ応答ユニット９１と、
画像および画像に対する注釈内容を受け取り、格納するように構成された、格納ユニット９２と、
画像に対する注釈内容を検索インデックスとなるように見なし、注釈内容を画像検索エンジンとなるように提供するように構成された、検索エンジンインターフェース９３と
を含む。

一実施形態では、返されたウェブページ中に画像の部分に対してフレームラベルを追加する機能がさらに可能になる。

一実施形態では、格納ユニット９２は、さらに、画像の部分に対して追加されたフレームラベルを受け取り格納するように構成される。

一実施形態では、格納ユニット９２が、データベース９２１および関連付けユニット９２２を含んでいる。データベース９２１が注釈内容を格納する。関連付けユニット９２２がデータベース中に格納された注釈内容を、それに対応する画像に関連付ける。

一実施形態では、サーバは、注釈内容を画像の補助情報中に書き込む注釈パーサ９４をさらに含む。
それに応じて、格納ユニット９２が、注釈内容を有する補助情報を有する画像を格納する。

一実施形態では、検索エンジンから注釈内容を検索する要求を受け取ると、注釈パーサ９４が画像の補助情報から注釈内容を解析し、注釈内容をユーザクライアントに返す、または検索エンジンを介して注釈内容をユーザクライアントに返す。

一実施形態では、サーバは、最良の注釈内容選択ユニットをさらに含む。このユニットは、注釈内容が採点ルールを満たした場合、採点後に、最良の注釈内容、または最高スコアを持つ注釈内容を選択するように構成されている。
それに応じて、データベース９２１が、最良の注釈内容を格納し、関連付けユニット９２２がデータベース９２１中に格納された最良の注釈内容を画像と関連付ける。

一実施形態では、サーバは、ＵＲＬリンク解析ユニットをさらに含む。このユニットは注釈内容中のＵＲＬによりリンクされたウェブページ上の商品情報を解析するように構成される。
それに応じて、データベース９２１が、注釈内容中のＵＲＬによりリンクされたウェブページ上の商品情報を格納するようにさらに使用される。

一実施形態では、サーバは、ＵＲＬリンク解析ユニットをさらに含む。このユニットは、注釈内容中のＵＲＬリンクによりリンクされたウェブページ上の商品情報を解析するように構成されている。
それに応じて、注釈パーサ９４が、画像の補助情報中に、注釈内容中のＵＲＬによりリンクされるウェブページ上の商品情報の画像を書き込むようにさらに構成される。

このサーバを使用した画像検索方法は、上記に記載した第１の例示的な方法に類似しており、簡略にするために本明細書では繰り返し説明しない。

本開示に従った画像検索の第２の例示的なサーバを下記に説明する。図１０は、かかる装置の概略図を示している。
図１０に示したように、この装置は、
要求を受け取ってウェブページを返すように構成された、ウェブページ応答ユニット１０１であって、返されたウェブページが画像を含み、画像に対する注釈内容の追加を可能にするウェブページ応答ユニット１０１と、
画像に対する注釈内容を受け取り格納するように構成された、格納ユニット１０２と、
画像に対する注釈内容を、画像検索エンジンに提供される検索インデックスになると見なすように構成された、検索エンジンインターフェース１０３と、
を含む。

一実施形態では、返されたウェブページ中の画像の部分に対してフレームラベルを追加することがさらに可能になる。

一実施形態では、格納ユニット１０２は、画像の部分に対して追加されたフレームラベルを受け取り格納するようにさらに使用される。

一実施形態では、格納ユニット１０２は、データベース１０２１および関連付けユニット１０２２を含む。

データベース１０２１は、注釈内容を格納するように構成される。関連付けユニット１０２２は、データベース１０２１中に格納された注釈内容とそれに対応する画像を関連付けるように構成される。

一実施形態では、サーバは、注釈内容を画像の補助情報中に書き込むように構成された注釈パーサ１０４をさらに含む。
それに応じて、格納ユニット１０は、が注釈内容を有する補助情報を有する画像を格納する。

一実施形態では、検索エンジンから注釈内容を検索する要求を受け取ると、注釈パーサ１０４は、画像の補助情報から注釈内容を解析し、注釈内容をユーザクライアントに返す、または検索エンジンを介して注釈内容をユーザクライアントに返す。

一実施形態では、サーバは、最良の注釈内容選択ユニットをさらに含む。このユニットは、注釈内容が採点ルールを満たした場合スコアリング後に、最良の注釈内容、または最高スコアを有する注釈内容を選択するように構成される。
それに応じて、データベース１０２１が、最良の注釈内容を格納し、関連付けユニット１０２２が、データベース中に格納された最良の注釈内容を画像と関連付ける。

一実施形態では、サーバは、ＵＲＬリンク解析ユニットをさらに含む。このユニットは、注釈内容中のＵＲＬによりリンクされたウェブページ上の商品情報を解析するように構成される。
それに応じて、データベース１０２１が、注釈内容中のＵＲＬによりリンクされたウェブページ上の商品情報を格納するようにさらに構成される。

一実施形態では、サーバは、ＵＲＬリンク解析ユニットをさらに含む。このユニットは、注釈内容中のＵＲＬによりリンクされたウェブページ上の商品情報を解析するように構成される。
それに応じて、注釈パーサ１０４が、画像の補助情報中に、注釈内容中のＵＲＬによりリンクされたウェブページ上の商品情報を書き込むようにさらに構成される。

このサーバを使用した画像検索方法は、上述の第２の例示的な方法に類似しており、簡略にするために本明細書では繰り返し説明しない。

上記の例示的な実施形態中に示されているように、画像に関連したより多くの情報検索が第１の例示的な実施形態（サーバが要求を受け取り、画像をアップロードすることおよび画像に対して注釈内容を追加することを可能にするウェブページを返し、画像および画像に対する注釈内容を受け取り格納し、画像に対する注釈内容が、画像検索エンジンに提供される検索インデックスになると見なす）または第２の例示的な実施形態（サーバが要求を受け取り、画像を含むウェブページを返し、画像に対して注釈内容を追加することを可能にし、画像に対する注釈内容を受け取り格納し、画像に対する注釈内容が画像検索エンジンに提供される検索インデックスになると見なす）が使用されるかどうかに関わらず提供される。さらに、画像中の商品に関連したより多くの情報が閲覧者に提供できるので、オンライン取引がより良く誘発される。

上述の例示的な実施形態から、当業者であれば、開示された方法および装置がソフトウェアおよびユニバーサルハードウエアプラットフォームを使用して実装されてもよいことを明確に理解することができる。この理解に基づき、本開示の技術計画、または現行の技術に貢献している部分は、ＲＯＭ／ＲＡＭ、ディスクおよびドライブといった格納メディア中に格納されるソフトウェア製品の形で実装されてもよい。ソフトウェアは、様々な例示的な実施形態中に、または現在の開示の例示的な実施形態の特定の部分に記載の方法を実行するようにコンピュータデバイス（例、パソコン、サーバまたはネットワークデバイス）への命令を含む。

開示された方法および装置は、汎用または特殊用途のコンピュータシステムの環境または設定において使用されてもよい。例としては、パソコン、サーバコンピュータ、手持ち機器または携帯機器、テーブルデバイス、マルチプロセッサシステム、マイクロプロセッサに基づくシステム、セットアップボックス、プログラム顧客電子装置、ネットワークＰＣ、小型コンピュータ、大型コンピュータまたは上述の任意のシステムまたは装置を含む分散コンピューティング環境が挙げられる。

本開示は、プログラムモジュールといったコンピュータにより実行されるコンピュータ実行可能命令の一般コンテキストの内部に記載されていてもよい。一般に、プログラム構造は、特定の作業を実行するためまたは特定の抽象データ型を実装するために、ルーチン、プログラム、オブジェクト、モジュールおよびデータ構造などを含む。開示された方法およびサーバは分散コンピューティング環境中に実装されてもよい。分散コンピューティング環境では、作業は通信網を介して接続されるリモート処理装置により実行される。分散コンピューティング環境では、プログラムモジュールが、ローカルまたはリモートコンピュータの記憶媒体（記憶装置を含む）にあってもよい。

本開示は例示的な実施形態を使用して説明されているが、当業者は、本開示の精神および範囲から逸脱することなく多くの異なる方法で開示された実施形態を変更または修正可能であることが理解される。

Claims (38)

1. クライアントから要求を受け取ることと、
   前記要求に応じて前記クライアントにウェブページを提供することであって、前記ウェブページは、画像がアップロードされることおよび前記画像に対して注釈内容を送信することを許可するように構成され、前記ウェブページは、前記画像の一部に対してフレームラベルが追加されることを許可するようにさらに構成される、提供することと、
   前記クライアントから前記画像および前記画像に対する前記注釈内容を受け取ることと、
   前記画像および前記画像に対する前記注釈内容を格納することと、
   前記画像に対する前記注釈内容を、画像検索エンジンに検索インデックスとして提供することと、
   を含む、画像検索方法。
2. 前記フレームラベルは、前記画像における商品の記述、または前記商品の販売者の情報のうちの少なくとも１つを含む、請求項１に記載の方法。
3. 前記画像の一部に対して追加された前記フレームラベルを受け取り、格納することをさらに含む、請求項２に記載の方法。
4. 前記画像に対する前記注釈内容を格納することは、
   前記注釈内容をデータベース中に格納し、前記注釈内容を前記画像と関連付けること、または、
   前記注釈内容を前記画像の補助情報中に格納し、前記画像を格納すること
   のうちの１つを含む、請求項１に記載の方法。
5. 前記画像ハ、ｊｐｇまたはｊｐｅｇフォーマットであり、前記注釈内容を前記画像の前記補助情報中に格納することは、エクスチェンジャブルイメージファイルフォーマット（Ｅｘｉｆ）の仕様に従って、ユーザコメントタグ中に前記注釈内容を格納することを含む、請求項４に記載の方法。
6. 前記注釈内容を格納する前に前記クライアントにより送信された前記画像に対する前記注釈内容を調査することをさらに含む、請求項１に記載の方法。
7. 質疑応答のフォーマットおよび前記送信された注釈内容に対する採点ルールを予め整理することをさらに含む、請求項４に記載の方法。
8. 前記注釈内容を前記データベース中に格納し、前記注釈内容を前記画像と関連付けることは、
   前記データベース中に最高スコアを有する前記注釈内容を格納することと、
   前記最高スコアを持つ前記注釈内容を前記画像と関連付けるとことと、
   を含み、
   前記注釈内容を前記画像の前記補助情報中に格納し、前記画像を前記サーバにより格納することは、
   前記最高スコアを持つ前記注釈内容を前記画像の前記補助情報中に格納することと、
   前記画像を格納することと、
   を含む、請求項７に記載の方法。
9. 前記注釈内容を前記データベース中に格納し、前記注釈内容を前記画像と関連付けることは、
   前記注釈内容中の商品の販売者のユニフォームリソースロケータ（ＵＲＬ）リンクによりリンクされたウェブページ上の商品情報を前記データベース中に格納し、前記注釈内容が前記ＵＲＬリンクを含む場合、前記注釈内容を前記画像と関連付けること、
   を含み、
   前記注釈内容を前記画像の前記補助情報中に格納すること、および前記画像を格納することは、
   前記注釈内容中の前記ＵＲＬリンクによりリンクされたウェブページ上の商品情報を、前記画像の前記補助情報中に格納することと、
   前記画像を格納することと、
   を含む、請求項４に記載の方法。
10. 前記注釈内容が、前記画像中の商品の生地、前記画像中の前記商品の素材、前記画像中の前記商品の仕様、前記画像中の前記商品の生産地、前記画像中の前記商品の単価、前記画像中の前記商品の使用、前記画像中の前記商品の前記販売者のＵＲＬアドレス、前記販売者への問い合わせ方法、または前記商品に関するコメントのうちの１つ以上の組み合わせを含む、請求項１に記載の方法。
11. クライアントから要求を受け取ることと、
    前記要求に対応して前記クライアントにウェブページを提供することであって、前記ウェブページが画像を含み、前記画像に対する注釈内容が送信されることを可能にするように構成される、ウェブページを提供することと、
    前記画像に対する前記注釈内容を受け取ることと、
    前記画像に対する前記注釈内容を格納することと、
    前記画像に対する前記注釈内容を画像検索エンジンに検索インデックスとして提供することと、
    を含む、画像検索方法。
12. 前記クライアントに提供された前記ウェブページが、フレームラベルが前記画像の一部分に対して追加されることを許可するようにさらに構成される、請求項１１に記載の方法。
13. 前記画像の一部分に対して追加される前記フレームラベルを受け取り、格納することをさらに含む、請求項１２に記載の方法。
14. 前記画像に対して前記注釈内容を格納することは、
    前記注釈内容をデータベース中に格納し、前記注釈内容を前記画像と関連付けること、または、
    前記注釈内容を前記画像の補助情報中に格納し、前記画像を格納すること
    のうちの１つを含む、請求項１１に記載の方法。
15. 前記画像は、ｊｐｇまたはｊｐｅｇフォーマットであり、前記注釈内容を前記画像の前記補助情報中に格納することは、前記エクスチェンジャブルイメージファイルフォーマット（Ｅｘｉｆ）の仕様に従って、前記注釈内容をユーザコメントタグ中に格納することを含む、請求項１４に記載の方法。
16. 前記注釈内容を格納する前に、前記クライアントにより送信された前記画像に対する前記注釈内容を調査することをさらに含む、請求項１１に記載の方法。
17. 質疑応答のフォーマットおよび前記送信された注釈内容に対する採点ルールを前もって整理することをさらに含む、請求項１１に記載の方法。
18. 前記注釈内容を前記データベース中に格納し、前記注釈を前記画像と関連付けることは、
    前記データベース中に最高スコアを持つ前記注釈内容を格納することと、
    前記最高スコアを持つ前記注釈内容を前記画像と関連付けることと、
    を含み、
    前記注釈内容を前記画像の前記補助情報中に格納し前記画像を格納することは、
    前記最高スコアを持つ前記注釈内容を前記画像の前記補助情報中に格納することと、
    前記画像を格納することと、
    を含む、請求項１４に記載の方法。
19. 前記注釈内容を前記データベース中に格納し、前記注釈内容を前記画像と関連付けることは、
    前記注釈内容中の前記商品の販売者のユニフォームリソースロケータ（ＵＲＬ）リンクによりリンクされたウェブページ上の商品情報を前記データベース中に格納することと、前記注釈内容が前記ＵＲＬリンクを含む場合、前記注釈内容を前記画像と関連付けることと、
    を含み、
    前記注釈内容を前記画像の前記補助情報中に格納し、前記画像を格納することは、
    前記注釈内容中の前記ＵＲＬリンクによりリンクされたウェブページ上の商品情報を前記画像の前記補助情報中に格納することと、
    前記画像を格納することと、
    を含む、請求項１４に記載の方法。
20. 前記注釈内容が、前記画像中の商品の生地、前記画像中の前記商品の材料、前記画像中の前記商品の仕様、前記画像中の前記商品の生産地、前記画像中の前記商品の単価、前記画像中の前記商品の使用、前記画像中の前記商品の前記販売者のＵＲＬアドレス、前記販売者への問い合わせ方法、または前記商品に関するコメントのうちの１つ以上の組み合わせを含む、請求項１１に記載の方法。
21. クライアントから要求を受け取り、前記要求に応じてウェブページを返すように構成されるウェブページ応答ユニットであって、前記返されたウェブページが、アップロードされる画像および前記画像に対して送信される注釈内容を許可する、ウェブページ応答ユニットと、
    前記画像および前記画像に対する前記注釈内容を受け取って格納するように構成される、格納ユニットと、
    前記注釈内容を画像検索エンジンに検索インデックスとして提供するように構成される、検索エンジンインターフェースと、
    を備えた、画像検索を可能にする装置。
22. 前記ウェブページは、前記クライアントに前記画像の一部分に対してフレームラベルを追加することを許可するようにさらに構成される、請求項２１に記載の装置。
23. 前記格納ユニットは、前記画像の一部分に対して追加された前記フレームラベルを受け取って格納するようにさらに構成される、請求項２２に記載の装置。
24. 前記格納ユニットは、
    データベースと、
    関連付けユニットと、
    を備え、
    前記データベースが、前記注釈内容を格納するように構成され、
    前記関連付けユニットが、前記データベース中に格納された前記注釈内容を、それに対応する前記画像と関連付けるように構成される、請求項２１に記載の装置。
25. 前記注釈内容を前記画像の補助情報中に書き込むように構成される注釈パーサをさらに備え、前記格納ユニットが前記注釈内容を有する前記補助情報を有する前記画像を格納する、請求項２１に記載の装置。
26. 前記検索エンジンから前記注釈内容を検索する要求を受け取ると、前記注釈パーサは、前記画像の前記補助情報から前記注釈内容を解析し、前記注釈内容をユーザクライアントに返すか、または検索エンジンを介して前記注釈内容を前記ユーザクライアントに返す、請求項２５に記載の装置。
27. 採点ルールに従って採点後に最高スコアを持つ前記注釈内容を選択するように構成された、最良の注釈内容選択ユニットをさらに備え、
    前記データベースが、最高スコアを持つ前記注釈内容を格納し、前記関連付けユニットが、前記データベース中に格納された最高スコアを持つ前記注釈内容を前記画像と関連付ける、請求項２４に記載の装置。
28. 前記注釈内容中のＵＲＬリンクによりリンクされたウェブページ上の商品情報を解析するように構成された、ユニフォームリソースロケータ（ＵＲＬ）リンク解析ユニットをさらに備え、
    前記データベースが、前記注釈内容中の前記ＵＲＬリンクによりリンクされた前記ウェブページ上の前記商品情報を格納するようにさらに構成される、請求項２４に記載の装置。
29. 前記注釈内容中のＵＲＬリンクによりリンクされたウェブページ上の商品情報を解析するように構成された、ＵＲＬリンク解析ユニットをさらに備え、
    前記注釈パーサが、前記注釈内容中の前記ＵＲＬリンクによりリンクされた前記ウェブページ上の前記商品情報を前記画像の前記補助情報中に書き込むようにさらに構成される、請求項２４に記載の装置。
30. 要求を受け取り、前記要求に応じてウェブページを返すように構成されるウェブページ応答ユニットであって、前記返されたウェブページが画像を備え、注釈内容が前記画像に対して送信されることを許可し、フレームレベルが前記画像の一部分に対して追加されることを許可するように構成される、ウェブページ応答ユニットと、
    前記画像に対する前記注釈内容を受け取って格納するように構成される、格納ユニットと、
    前記注釈内容を画像検索エンジンに検索インデックスとして提供するように構成される、検索エンジンインターフェースと、
    を備えた、画像検索を可能にする装置。
31. 前記フレームラベルが、前記画像中の製品の記述、または前記商品の販売者の情報のうちの少なくとも１つを含む、請求項３０に記載の装置。
32. 前記格納ユニットが、前記画像の一部分に対して追加された前記フレームラベルを受け取って格納するようにさらに構成される、請求項３１に記載の装置。
33. 前記格納ユニットが、
    データベースと、
    関連付けユニットと、
    を備え、
    前記データベースが、前記注釈内容を格納するように構成され、
    前記関連付けユニットが、前記データベース中に格納された前記注釈内容を、それに対応する前記画像と関連付けるように構成された、請求項３０に記載の装置。
34. 前記注釈内容を、前記画像の補助情報中に書き込むように構成される前記注釈パーサをさらに備え、
    前記格納ユニットが、前記注釈内容を有する前記補助情報を有する前記画像を格納する、請求項３０に記載の装置。
35. 前記検索エンジンから前記注釈内容を検索する要求を受け取ると、前記注釈パーサが、前記画像の前記補助情報から前記注釈内容を解析し、前記注釈内容をユーザクライアントに返すか、または検索エンジンンを介して前記注釈内容を前記ユーザクライアントに返す、請求項３４に記載の装置。
36. 採点ルールに従って採点された後に最高スコアを持つ前記注釈内容を選択するように構成された、最良の注釈内容選択ユニットをさらに備え、
    前記データベースが前記最良の注釈内容を格納し、前記関連付けユニットが、前記データベース中に格納された前記最高スコアを持つ前記注釈内容を前記画像と関連付ける、請求項３４に記載の装置。
37. 前記注釈内容中のＵＲＬリンクによりリンクされたウェブページ上の商品情報を解析するように構成された、ユニフォームリソースロケータ（ＵＲＬ）リンク解析ユニットをさらに備え、
    前記データベースが、前記注釈内容中の前記ＵＲＬによりリンクされた前記ウェブページ上の前記商品情報を格納するように、さらに構成される、請求項３３に記載の装置。
38. 前記注釈内容中のＵＲＬリンクによりリンクされたウェブページ上の商品情報を解析するように構成された、ＵＲＬリンク解析ユニットをさらに備え、
    前記注釈パーサが、前記注釈内容中の前記ＵＲＬリンクによりリンクされた前記ウェブページ上の前記商品情報を、前記画像の前記補助情報中に書き込むようにさらに構成される、請求項３３に記載の装置。

Images