JP2008250790A - 情報提供サーバおよびプログラム - Google Patents

Abstract

【課題】カメラ付携帯端末で撮影した広告チラシ上の商品写真を元に、商品や流通小売業の情報を提供する商品情報提供システムを提供する。
【解決手段】情報提供サーバ１５と画像認識サーバ１７、メーカ側端末２１、流通小売業端末３１が通信ネットワーク６０で接続され、情報提供サーバ１５の情報登録手段１５１は、メーカ側端末２１から商品写真および商品情報を写真データＤＢ１３１および画像付帯情報ＤＢ１３３に登録させる。また、流通小売業者端末３１から、発行する媒体の情報を媒体情報ＤＢ１３７に、掲載する商品の流通小売業者による情報を掲載情報ＤＢ１３５に、流通小売業者のロゴ写真と企業情報を画像付帯情報ＤＢ１３３に登録させる。ユーザがカメラ付携帯電話４１で撮影した商品や流通小売業者のロゴ写真を情報提供サーバ１５に送ると、情報提供制御手段１５９は、商品情報、掲載情報、企業情報等をデータベースから抽出してユーザに提供する。
【選択図】図１

Description

本発明は、カメラ付携帯端末で撮影しネットワークを介して送られる広告チラシに掲載された商品等の写真を認識し、情報を提供する情報提供システムおよび情報提供サーバ、プログラムに関する。

ユーザに商品情報を提供する従来のシステムとして、商品等に添付されたバーコードをユーザ端末で読み取り、サーバと接続し、サーバがその商品の情報を返送するものがある（特許文献１および特許文献２）。
特開２００６−２５９９０９号公報 特開２００５−２５６８４号公報 特開２００１−２８２８２５号公報

特許文献１に記載された商品情報提供システムは、商品等に添付されたバーコードに含まれるメールアドレスをユーザの携帯端末で読み取り、そのメールアドレスにメールを送信し、そのメールを受信したサーバが、商品に対応する商品情報を返信するものである。

また、特許文献２に記載された商品情報提供システムは、ユーザの携帯端末でバーコード写真を撮影してサーバに送り、サーバがそのバーコード写真から商品を特定し、該当する商品を取り扱っている地域の店舗情報や価格の比較情報、店舗内の商品位置等の情報をユーザの携帯端末とやりとりしながら提供するものである。

しかしながら、上述の商品情報提供システムは、バーコードを対象としており、例えば、流通小売業が制作する広告チラシの掲載商品について商品情報を提供しようとする場合、各商品についてバーコードをチラシ上に掲載しなければならず、チラシの意匠上、問題がある。

また、特許文献３に記載の情報検索方法、情報検索サーバを利用すれば、ユーザは、携帯端末のカメラで撮影した画像データをサーバに送信すれば、その画像に関連付けられた情報を得ることができる。画像データとしては印刷物上の商品情報を撮影したものを用いることができるので、例えば、商品を特定するバーコードをチラシ上に印刷するなどの必要はない。
しかしながら、いずれの技術も、問い合わせに対して単純に用意された情報を返すだけであり、利用者の多様な情報要求に応えられるものとはいえない。

本発明は、このような問題に鑑みてなされたもので、その目的とするところは、カメラ付携帯端末で利用者が撮影した広告チラシ上の少なくとも１枚の写真を元に、その写真に関する情報や複数の写真の関連から得られる情報を利用者の要望に応じて的確に提供する情報提供サーバを提供することである。

前述した課題を解決するための第１の発明は、登録画像の特徴情報を登録画像識別情報と対応付けて記録しておき、画像データをキーにした検索要求を受けると、該画像データの特徴情報を抽出して該画像データに最も類似する登録画像の識別情報を返信する画像認識サーバを利用して、利用者からネットワークを介して送りつけられる画像データに応答して該画像データに関連する情報を返信する情報提供サーバであって、各登録画像についてその識別情報、付帯情報を含む情報を１レコードとした画像付帯情報データベースと、情報媒体を表す登録画像に関して、登録画像の識別情報と、媒体の識別情報および当該媒体に関連する情報を含む情報を１レコードとした媒体情報データベースと、情報媒体を表すものではない登録画像が表すアイテムと該アイテムとのある関係を有する情報媒体についての対応を表すデータベースであって、アイテムを表す画像の識別情報、媒体の識別情報、両者を結びつける関係を記述する情報である掲載情報、を含む情報を１レコードとした掲載情報データベースの各データベースを記憶管理する記憶手段と、利用者から送信される画像データを含む検索要求を受付けて、前記画像認識サーバを利用し、受信した画像データに該当する登録画像識別情報を得た上で、前記画像付帯情報データベース、媒体情報データベースおよび掲載情報データベースを検索して、利用者が送信した画像データに関連する情報を作成する情報提供制御手段と、を備えて、利用者が送信した画像データに対応する登録画像の識別情報と、該識別された登録画像に関する情報を提供することを特徴とする情報提供サーバである。

前記画像付帯情報データベースの１レコードには、掲載情報参照の可否を表す掲載情報参照フラグも含めて記録する構成としたものであって、前記情報提供制御手段は、前記画像付帯情報データベースから登録画像の付帯情報を該登録画像識別情報で特定されるレコードから抽出する際、併せて掲載情報参照フラグをチェックし、参照可である場合は、引き続き、該登録画像識別情報をキーにして掲載情報データベースを参照し、ヒットした各レコードのそれぞれの掲載情報と該登録画像についての付帯情報に基づいて、前記利用者が送信した画像データに関連する情報を作成する。

また、前記掲載情報データベースの１レコードには、掲載情報被参照の可否を表す掲載情報被参照フラグも含めて記録する構成としたものであって、前記情報提供制御手段は、前記画像付帯情報データベースからアイテムを表す登録画像の付帯情報を該アイテム画像識別情報で特定されるレコードから抽出する際、併せて掲載情報参照フラグをチェックし、参照可である場合は、引き続き、該アイテム画像識別情報をキーにして掲載情報データベースを参照し、ヒットした各レコードのうち掲載情報被参照が可であるレコードについてのそれぞれの掲載情報と該アイテム画像についての付帯情報に基づいて、前記利用者が送信した画像データに関連する情報を作成する。

さらに、利用者が２枚以上の画像データを送りつけた場合に、利用者から送信される画像データを含む検索要求を、一度検索結果として得られた登録画像の画像識別情報が付加された形式で受付け、新たに受付けた画像データと再度受付けた画像識別情報（以下第１識別情報）の組合せに応じた情報を提供することが好ましい。
このとき、前記情報提供制御手段は、まず新たに受信した画像データをキーにして画像認識サーバに検索要求して、受信画像データの画像識別情報を第２識別情報として得たうえで、媒体情報データベースを参照して第１識別情報、第２識別情報が情報媒体を表す引き別情報かどうかを決定し、１）第１識別情報、第２識別情報のいずれも情報媒体を表す登録画像でない場合は、画像付帯情報データベースから第１識別情報、第２識別情報により特定されるレコードに記録されている情報に基づいて利用者に返信する情報を作成し、２）第１識別情報、第２識別情報のいずれか一方だけが情報媒体を表す登録画像である場合には、対応する情報媒体の識別情報ともう一方の識別情報との組み合わせをキーにして掲載情報データベースを検索し、抽出されたレコードに記録されている情報に基づいて利用者に返信する情報を作成し、３）両者とも情報媒体を表す識別情報である場合は、第２識別情報に対応する情報媒体の識別情報で特定される媒体情報データベースのレコードに記録されている情報に基づいて利用者に返信する情報を作成する。

ここで、前記掲載情報データベースは、その各レコードに付帯情報参照可否を表すフラグを含めた構成としたものであって、前記情報提供制御手段は、第１識別情報、第２識別情報のいずれか一方だけが情報媒体を表す登録画像である場合において、対応する情報媒体の識別情報ともう一方の識別情報との組み合わせをキーにして掲載情報データベースを検索し、抽出されたレコードに記録されている情報に基づいて利用者に返信する情報を作成する際、併せて該レコードの付帯情報参照可否フラグをチェックし、参照可能であれば、該レコードに関わる登録画像の付帯情報を画像付帯情報データベースから抽出してその内容も含めて利用者に提供する情報を作成する。

また、前記画像付帯情報データベースは、その各レコードに付帯情報参照可否のフラグを含めた構成としたものであって、前記情報提供制御手段は、
掲載情報データベースのレコードから付帯情報参照する際に、前記画像付帯情報データベースの対象登録画像のレコードが付帯情報被参照可能である登録画像の付帯情報だけを付加して利用者に提供する情報を作成する。

第２の発明は、コンピュータを請求項１から請求項６に記載の情報提供サーバとして機能させるコンピュータで読取り可能なプログラムである。

以下、図面に基づいて本発明の好適な実施形態について詳細に説明する。
図１は、本発明の実施形態にかかる商品情報提供システムのシステム構成図である。

本実施形態にかかる商品情報提供システムは、商品写真提供者（メーカ）２０と、媒体発行者（流通小売業者）３０、サービス提供者１０、サービス利用者４０の参加によるシステムである。
サービス提供者１０は情報提供サーバ１５と画像認識サーバ１７を備え、情報提供サーバ１５にはデータベース１３が、画像認識サーバ１７には画像データデータベース１３１が接続される。
また、商品写真提供者である例えばメーカ２０と、広告チラシ等の媒体発行者である例えば流通小売業者３０は、それぞれ端末２１、３１を備える。
そして情報提供サーバ１５、画像認識サーバ１７、端末２１、３１は、通信ネットワーク６０を介して接続される。
一方、サービス利用者４０はカメラ付携帯電話等の携帯端末４１を持っており、通信ネットワーク６０を介して情報提供サーバ１５と接続可能である。

データベース１３は、画像付帯情報データベース１３３、掲載情報データベース１３５、媒体情報データベース１３７からなる。
画像データデータベース１３１は、商品写真データと、流通小売業者３０を特定可能な写真データが格納される。
画像付帯情報データベース１３３は、画像データデータベース１３１に写真が格納されている商品および流通小売業者の情報を格納する。
掲載情報データベース１３５は、流通小売業者が発行する媒体に掲載する商品の小売価格等の流通小売業者による販売情報を格納する。
さらに、媒体情報データベース１３７は、流通小売業者が発行する媒体に関する情報を格納する。

メーカ等の商品写真提供者２０は、端末２１から通信ネットワーク６０を介して情報提供サーバ１５に接続し、商品写真データと各商品の情報、すなわち、仕様や情報提供リンク先のＵＲＬ等を登録する。商品写真データは、情報提供サーバ１５に通信ネットワーク６０を介して接続されている画像認識サーバ１７に接続された画像データデータベース１３１に格納される。各商品の情報は、情報提供サーバ１５に接続されている画像付帯情報データベース１３３に格納される。

ここで、画像認識サーバ１７について説明する。
画像認識サーバ１７は、検索キーとして与えられた画像データの特徴量を計算して、予め記録されている基準画像の特徴量との類似度を測り、最も類似度の高い基準画像を特定する画像識別情報を検索結果として返す装置である。
基準画像の特徴量は、基準画像を特定する識別情報と関係付けられて画像認識サーバ１７内部にデータベースの形式で格納される。このように与えられた画像を検索キーとして受け付け、対応する基準画像を特定する情報を検索結果として返す装置・技術は、特開２０００−２８５１４１号公報他多数公表されているように既存技術である。

使用する画像特徴量としては、類似度を計算するアルゴリズムや使用目的に応じて、色のヒストグラム、エッジ特徴、テクスチャ特徴などさまざまなものが用いられている。
そこで、本発明では、画像認識サーバ１７およびそこに用いる画像認識アルゴリズムはこのような既存技術のうちから任意に選択したものを用いることとする。

画像データデータベース１３１は、画像認識サーバ１７が基準画像として取り扱う画像のオリジナルデータを記録管理するデータベースである。
画像認識サーバ１７は、画像データデータベース１３１に新しい画像が登録されると、所定のタイミングで前記画像認識アルゴリズムにより必要となる画像特徴量を算出し、これを、画像データデータベース１３１上で該新規画像に付与された画像識別情報と関係付けて画像認識サーバ１７内の特徴量データベース（図示せず）に保持する。

尚、画像認識サーバ１７および画像データデータベース１３１は、サービス提供者１０とは別の第２のサービス提供者が提供する構成であってもよい。

また、媒体発行者３０は、例えば、新聞の折込みチラシ等の広告印刷物を制作し、サービス利用者４０に供給する流通小売業者等である。

媒体発行者３０は、まず、端末３１から通信ネットワーク６０を介して情報提供サーバ１５に接続し、媒体発行者３０である例えば流通小売業者を特定可能な企業ロゴ等の写真データと企業情報や店舗情報等の媒体発行者の情報を登録する。写真データは、情報提供サーバ１５に通信ネットワーク６０を介して接続されている画像認識サーバ１７に接続された画像データデータベース１３１に格納される。媒体発行者の情報は、情報提供サーバ１５に接続されている画像付帯情報データベース１３３に格納される。

また、媒体発行者３０は、端末３１から通信ネットワーク６０を介して情報提供サーバ１５に接続し、画像データデータベース１３１や画像付帯情報データベース１３３の情報を検索して広告チラシ４３を制作する。
このとき、まず、発行する広告チラシ４３等の媒体についての情報を、端末３１から通信ネットワーク６０を介して情報提供サーバ１５に接続し、媒体情報データベース１３７に登録する。

広告チラシ４３の制作時には、広告チラシ４３に掲載する商品写真や流通小売業者を識別可能な企業ロゴ等の写真は、画像データデータベース１３１のなかから選択して使用する。また、媒体発行者３０は、広告チラシ４３に掲載する各商品について、流通小売業者である媒体発行者３０が提供する情報を、端末３１から通信ネットワーク６０を介して情報提供サーバ１５に接続し、掲載情報データベース１３５に登録する。

データベース１３、画像データデータベース１３１の構成、およびデータの登録等の詳細については後述する。

広告チラシ４３には、商品写真４３１や流通小売業者を識別可能な媒体象徴写真４３３、商品の説明や販売価格等が印刷される。
制作され、印刷された広告チラシ４３は、新聞の折込み広告やダイレクトメール等によりサービス利用者４０に配布される。

サービス利用者４０が広告チラシ４３を見て、掲載商品や流通小売業者の情報をさらに詳しく得ようと考えたとする。
このとき、サービス利用者４０は、カメラ付携帯電話４０のカメラを使用して広告チラシ４３に掲載されている商品写真４３１や媒体象徴写真４３３を撮影し、通信ネットワーク６０を介して情報提供サーバ１５にアクセスし、撮影写真データを送る。

情報提供サーバ１５は、画像認識サーバ１７を起動し、送られてきた撮影写真データを、画像データデータベース１３１を使用して識別し、識別された商品あるいは流通小売業者に関する情報をサービス利用者４０の携帯電話４１に返送する。
情報提供サーバ１５の情報提供処理の詳細については後述する。

図２は、情報提供サーバ１５および画像認識サーバ１７のハードウエア構成概略図である。
サーバ１５、１７は、制御部５１、入出力インタフェース５３、入力部５５、表示部５７、記憶部５９、通信部６１、データベース６５等からなり、それらがバス６３に接続されている。

制御部５１は、プログラムの実行を行うＣＰＵ（central processing unit）と、プログラム命令あるいはデータ等を格納するためのＲＡＭ(random access
memory)、ＲＯＭ(read only memory)等で構成される。
情報提供サーバ１５の場合、制御部５１は、記憶部５９等に格納されたプログラムに従って、バス６３を介して接続された各装置を駆動制御するとともに、各データベース１３、１３１の登録処理手段（１５３、１５５、１５７）や、サービス利用者４０への情報提供制御手段（１５９）等を実行する。
登録処理手段（１５３、１５５、１５７）と情報提供制御手段（１５９）については後述する。

画像認識サーバ１７の場合、制御部５１は、記憶部５９等に格納された画像認識プログラムに従って、画像認識処理を実行する。

情報提供サーバ１５の記憶部５９には、登録処理手段（１５３、１５５、１５７）と情報提供制御手段（１５９）の実行プログラムと、各構成部分を駆動制御するプログラム、各種制御データ等が格納されている。
一方、画像認識サーバ１７の記憶部５９には、画像認識手段の実行プログラムと、各構成部分を駆動制御するプログラム、各種の制御データ等が格納されている。
これらのプログラム・コードは、制御部５１により必要に応じて読み出され、ＲＡＭに移され、ＣＰＵに読み出されて各種機能として実行される。

入出力インタフェース５３には、プリンタ装置やＣＤ−ＲＯＭ駆動装置等が接続される。
入力部５５は、キーボードやマウス等による入力装置の処理、表示部５７は、ディスプレイ装置等の表示装置の処理を実行する。

通信部６１は、インターネット等の通信機能を持ち、ネットワーク６０を介して、サーバ１５、１７をメーカ側端末（商品写真提供者）２１や流通小売業者側端末（媒体発行社）３１と接続する機能を持つ。
データベース６５は、ハードディスク装置等で構成され、情報提供サーバ１５の場合、画像付帯情報データベース１３３、掲載情報データベース１３５、媒体情報データベース１３７が、画像認識サーバ１７の場合、画像データデータベース１３１として機能する。

メーカ側端末２１及び流通小売業側端末３１は、パーソナルコンピュータやワークステーション等であり、どちらも図３に示すようなハードウエア構成をとる。
すなわち、例えば、制御部２３１、入出力インタフェース２３３、入力部２３５、表示部２３７、記憶部２３９、通信部２４１がバス２４３で接続された構成である。
通信部２４１は、インターネット等の通信機能を持ち、ネットワーク６０を介して情報提供サーバ１５および画像認識サーバ１７と接続可能である。

図４は、情報提供サーバ１５の機能構成図である。
情報提供サーバ１５は、画像付帯情報登録手段１５３、媒体情報登録手段１５５、および掲載情報登録手段１５７からなる情報登録手段１５１と、情報提供制御手段１５９を備える。

情報登録手段１５１は、各データベース（１３１、１３３、１３５、１３７）にメーカ側端末２１または流通小売業者側端末３１から情報を登録するための手段である。
すなわち、画像付帯情報登録手段１５３は、メーカ側端末２１からの商品写真データと商品情報、および、流通小売業者側端末３１からの流通小売業者を識別可能な写真データと流通小売業者の情報の登録制御を行なう。写真データは画像データデータベース１３１に格納され、商品の情報と流通小売業者の情報は、画像付帯情報データベース１３３に格納される。
写真データ（カラー画像データ）とその画像付帯情報（商品の情報あるいは流通小売業者の情報）は、メーカ側端末２１または流通小売業者側端末３１から送信されると、画像付帯情報登録手段１５３はこれをいったん受けるが、写真データについては、画像認識サーバ１７に登録要求する。画像認識サーバ１７では、これを受けて写真データを画像データデータベース１３１に登録し、その時付与される登録識別情報を返信する。画像付帯情報登録手段１５３は、これを受けて、この登録識別情報を対応する画像付帯情報の写真ＩＤとして、画像付帯情報とともに１つのレコードとして画像付帯情報データベース１３３に登録する。

また、媒体情報登録手段１５５は、流通小売業者３０が制作する広告チラシ４３の媒体情報を、流通小売業者側端末３１から登録する制御を行なう。媒体情報は、媒体情報データベース１３７に格納される。
さらに、掲載情報登録手段１５７は、広告チラシ４３に掲載する商品についての流通小売業者３０の提供情報を掲載情報データベース１３５に登録する制御を行なう。
これらの情報登録手段１５１の詳細については後述する。

一方、情報提供制御手段１５９は、サービス利用者４０のカメラ付携帯電話４１からの写真付のアクセスを受けて、適切な情報をサービス利用者４０のカメラ付携帯端末４１に返送する処理を行う。
すなわち、情報提供制御手段１５９は、まず、カメラ付携帯電話４１からのアクセスを受けて、撮影写真データを受け取り、撮影写真データをキーとして画像認識サーバ１７に検索要求することにより、撮影写真データが何の写真かを識別させる。
そして、情報提供制御手段１５９は、画像認識サーバ１７から送られる写真の識別情報を元に、画像付帯情報データベース１３３、掲載情報データベース１３５、媒体情報データベース１３７を参照して、適切な情報を携帯電話４１に返送する。
以上の情報提供制御手段１５９の詳細については後述する。

次に、情報登録手段１５１について図５〜図９に沿って説明する。
図５は、情報登録手段１５１の処理の流れを示すフローチャート、図６は、画像データデータベース１３１、画像付帯情報データベース１３３、媒体情報データベース１３７、掲載情報データベース１３５のデータ構成を示す図、図７〜図９は、各情報の登録画面例を示す図である。

図５に沿って情報登録手段１５１の処理の流れを説明する。
商品写真提供者であるメーカ２０が、メーカ端末２１から通信ネットワーク６０を介して情報提供サーバ１５にアクセスすると、情報提供サーバ１５は、画像付帯情報登録手段１５３を起動する。

画像付帯情報登録手段１５３は、通信ネットワーク６０を介してメーカ端末２１に、例えば図７に示す商品情報登録画面２１１を提示し、メーカ２０に商品写真データ１３１３や商品情報１３３３、情報提供設定１３３５、１３３７を入力させる（ステップ２０１）。
商品写真データ１３１３は、例えば、商品写真ファイルを指定させることにより入力可能にする。
また、商品情報１３３３は、例えば、「スペック」、「リンク先」といったタイトルや、商品情報の種別、スペックやリンク先等の内容を入力させる。

さらに、情報提供設定１３３５、１３３７では、商品情報や流通小売業者によるその商品の販売情報を携帯端末４３に提供する際に、提供しても良いかどうかの可否を設定させる。
「掲載情報も合わせて提供する」を「はい」にすると、画像付帯情報である商品情報１３３３をサービス利用者４０に提供する際、流通小売業者３０によるその商品についての掲載情報も提供することができる。
また、「掲載情報からの参照を許可する」を「はい」にすると、掲載情報をサービス利用者４０に提供する際に、商品情報１３３３も参照し、提供することができる。

ステップ２０１により端末２１から商品写真データ１３１３と商品情報１３３３、情報提供設定１３３５、１３３７が情報登録処理手段１５１の画像付帯情報登録手段１５３に送られると、画像付帯情報登録手段１５３は、これらの情報を画像データデータベース１３１および画像付帯情報データベース１３３に格納する（ステップ１５０１）。

図６（ａ）は、画像データデータベース１３１のデータ構成を、図６（ｂ）は、画像付帯情報データベース１３３のデータ構成を示す図である。
商品写真データ１３１３には写真ＩＤ１３１１が付与されて画像データデータベース１３１に格納される。
また、画像付帯情報データベース１３３には、写真ＩＤ１３１１に対応して、スペック、リンク先等の商品情報（画像付帯情報）１３３３と、情報提供設定である付帯情報被参照１３３５および掲載情報参照１３３７の可否を示す情報が格納される。

例えば、付帯情報被参照１３３５が「○」の場合には、同商品の掲載情報を提供するときに付帯情報（商品情報１３３３）も提供してよいことを示し、「×」の場合には、付帯情報（商品情報１３３３）は提供しないことを示す。
また、掲載情報参照１３３７が「○」の場合には、付帯情報（商品情報１３３３）を提供するときに同商品についての掲載情報も参照してよいことを示し、「×」の場合には、掲載情報は参照しないことを示す。
以上で、１つの商品についての画像付帯情報登録処理１５３の処理が完了する。
各メーカが各商品について端末２１から登録することが可能である。

次に、媒体発行者である流通小売業者３０が端末３１から通信ネットワーク６０を介して情報提供サーバ１５にアクセスすると、情報提供サーバ１５は、媒体情報登録手段１５５を起動する。

媒体情報登録手段１５５は、通信ネットワーク６０を介して流通小売業者の端末３１に、例えば図８に示す媒体情報登録画面３１１を提示し、流通小売業者３０に媒体の基本情報１３７７や媒体象徴写真データ４３３、画像付帯情報１３３３等を入力させる（ステップ３０１）。

媒体基本情報１３７７は媒体名や発行日時、媒体の有効期限等であり、端末３１のキーボード等の入力部２３５から入力させる。
媒体象徴写真データは、流通小売業者を識別可能にする企業ロゴなどの写真データであり、ファイル名から指定させたり、既に画像データデータベース１３１に登録されている写真データのなかから選択させることにより入力可能にする。
画像付帯情報１３３３としては、流通小売業者の企業情報やリンク先等であり、タイトルおよび情報の種別、内容等を端末３１のキーボード等の入力部２３５から入力させる。

流通小売業者３０は、媒体情報入力を完了すると、画面下部の登録ボタンを押して入力を終了する。これによって、媒体情報登録画面３１１で入力された媒体の基本情報１３７７、媒体象徴写真データ４３３、画像付帯情報１３３３が、情報提供サーバ１５の媒体情報登録手段１５５に送られる。
ステップ３０１によって媒体基本情報１３７７、媒体象徴写真データ４３３、画像付帯情報１３３３が媒体情報登録手段１５５に送られると、媒体情報登録手段１５５は、媒体象徴写真データ４３３を画像データデータベース１３１に、媒体基本情報を媒体情報データベース１３７に、画像付帯情報１３３３を画像付帯情報データベース１３３に格納する（ステップ１５０２）。

図６（ｃ）は、画像データデータベース１３１のデータ格納例を、図６（ｄ）は、画像付帯情報データベース１３３のデータ格納例を、図６（e）は、媒体情報データベース１３７のデータ格納例を示している。
図６（ｃ）に示すように、媒体象徴写真データ４３３は、商品写真データと同様に写真ＩＤ１３１１を付与されて画像データデータベース１３１に格納される。
また、企業情報等の画像付帯情報１３３３は、図６（ｄ）に示すように、商品情報と同様に画像付帯情報として格納される。
情報提供設定については、付帯情報被参照１３３５を「○」にすることで、媒体象徴写真データ４３３が撮影され携帯電話４１から情報提供サーバ１５に送られた場合に、企業情報の参照が可能になる。
一方、提携情報参照１３３７については、写真が商品ではなく媒体象徴写真なので、そこから掲載情報を参照できないように「×」にしておく。

一方、媒体情報１３７７は、図６（e）に示すように、媒体ＩＤ１３７１を付して媒体情報データベース１３７に格納される。媒体情報データベース１３７のデータ構成は、媒体ＩＤ１３７１、媒体名１３７３、媒体象徴写真データ４３３に付与された写真ＩＤ１３１１、発行日、有効期限等の媒体情報１３７７よりなる。

次に、流通小売業者３０は、端末３１から通信ネットワーク６０を介して情報提供サーバ１５にアクセスし、広告チラシを制作する処理を実行する。
このとき、情報提供サーバ１５は、掲載情報登録手段１５７を起動する。そして、作成する広告チラシ４３に掲載する写真（商品４３１および媒体象徴写真４３３）を端末３１により流通小売業者３０に選択させる処理を行う（ステップ３０２）

まず、掲載情報登録手段１５７は、通信ネットワーク６０を介して端末３１に、例えば、図９に示すような媒体選択画面３１５を提示する。媒体選択画面３１５には、前述した媒体情報登録手段１５５によって媒体情報データベース１３７に格納された各媒体の媒体ＩＤ１３７１と媒体名１３７３の一覧が表示される。
流通小売業者３０は、今回作成する媒体（広告チラシ４３）、例えば、媒体ＩＤ１３７１「ａ」、媒体名１３７３「○○カメラ××店」を選択する。

次に、掲載情報登録手段１５７は、通信ネットワーク６０を介して、端末３１に、例えば、図９に示すような掲載写真一覧画面３１７を提示する。
掲載写真一覧画面３１７には、前述の媒体選択画面３１５により選択された今回作成する媒体（広告チラシ４３）の、例えば媒体名１３７３「○○カメラ××店」や媒体情報１３７７「発行日」等が表示されている。
また、掲載写真一覧画面３１７には、（画像認識サーバ１７を介して検索をかけた結果得られる）画像データデータベース１３１に登録されている画像の一覧が表示される。尚、この一覧は、図示しない補助的な検索条件入力インタフェースに検索条件を入力させることにより、画像データデータベース１３１に登録されている画像のうちの指定された検索条件に該当するものの一覧であってもよい。
そして、掲載情報登録手段１５７は、この一覧の中から流通小売業者３０に端末３１から掲載写真を選択させる（ステップ１５０３）。そして選択された写真の一覧を掲載写真一覧画面３１７に表示するが、このとき掲載情報登録手段１５７は、（画像認識サーバ１７を介して）選択された写真画像データを画像データデータベース１３１から抽出しておく。

次に、掲載情報登録手段１５７は、掲載写真一覧画面３１７に表示されている掲載する商品写真ごとに、掲載情報を登録させるために、例えば、図９に示すような掲載情報登録画面３１３を端末３１に表示し、流通小売業者３０に掲載情報を入力させる（ステップ３０３）。
ここでは、例えば、掲載写真一覧画面３１７で１番目の写真（タイトル「あ１２３」）が選択され、この商品写真についての掲載情報を登録するものとする。

掲載情報登録画面３１３には、掲載情報を登録する商品写真の写真ＩＤ「１１１１」、タイトル「あ１２３」とともに商品写真が表示されている。
そして、その下の掲載情報（１３５１）および情報提供設定（１３５３、１３５５）の入力画面により、掲載情報等を流通小売業者３０に入力させる。
掲載情報１３５１は、広告チラシ４３に掲載する商品写真について、流通小売業者３０が提供する情報で、例えば、広告チラシ４３には載せない特別価格や、キャンペーン情報などである。
掲載情報入力部では、媒体名１３７３や、掲載情報のタイトル（例えば「特別価格」）、情報の種別（ＵＲＬかテキストか）、掲載情報の内容（例えば特別価格の「９９９９円」）等を入力させる。

さらに、情報提供設定入力部では、商品情報１３３３や掲載情報１３５１の参照関係を設定する。
例えば、「商品情報も合わせて提供する」を「はい」にすれば、掲載情報１３５１をサービス利用者４０に提供する際に、商品情報も合わせて提供できる。
一方、「商品情報からの参照を許可する」を「はい」にすれば、商品情報１３３３をサービス利用者４０に提供する際に、掲載情報を参照して合わせて提供できる。

これらの入力が完了し、流通小売業者３０が登録ボタンを押すと、掲載情報登録画面３１３に入力された情報が、情報提供サーバ１５の掲載情報登録手段１５７に送られる。
このとき、掲載情報登録手段１５７は、保持している選択された写真画像データを端末３１に送付し（ステップ１５０４）、端末３１から送られてきた掲載情報は掲載情報データベース１３５に格納する（ステップ１５０５）。

図６（ｆ）は、提携情報データベース１３５のデータ構成例を示す図である。同図に示すように、商品写真ごとに、掲載情報が格納される。
すなわち、写真ＩＤ１３１１、媒体ＩＤ１３７１、掲載情報１３５１、および情報の参照関係である付帯情報参照１３５３および掲載情報被参照１３５５の各データよりなる。
同一の写真（例えば写真ＩＤ１３１１「１１１１」）が複数の媒体（例えば媒体ＩＤ「ａ」、「ｂ」、「ｃ」）に掲載されるので、媒体ごとに掲載情報１３５１や情報の参照関係が登録され、格納されている。

掲載情報１３５１は、例えば、特別価格、キャンペーン、プレゼント等の情報である。
また、情報の参照関係である付帯情報参照１３５３が「○」であれば、商品の掲載情報１３５１をサービス利用者４０に提供する際に、同商品の画像付帯情報（商品情報１３３３）も提供することを、「×」ならば画像付帯情報１３３３は提供しないことを意味する。
また、掲載情報被参照１３５５が「○」であれば、その商品の画像付帯情報（商品情報１３３３）をサービス利用者４０に提供する際に、同商品についての掲載情報１３５１を参照し、提供することを許可することを、「×」ならば、掲載情報１３５１の参照を許可せず、同商品の掲載情報は提供しないことを意味する。

掲載情報登録手段１５７は、広告チラシ４３に掲載される商品ごとにステップ３０３およびステップ１５０５の処理を繰り返し、掲載されるすべての商品について掲載情報データベース１３５に掲載情報１３５１および情報の参照関係（１３５３、１３５５）等を格納する。

以上の処理（ステップ１５０１〜ステップ１５０５）により、情報登録手段１５１の処理が完了する。

次に、以上の処理により登録された情報をサービス利用者４０に提供する方法およびその処理の流れについて説明する。
図１０は、サービス利用者４０への情報提供の内容を説明する図、図１１、図１２、図１３は、情報提供サーバ１５の情報提供制御手段１５９による処理の流れを示すフローチャートである。

サービス利用者４０が、例えば、手にした広告チラシ４３に掲載されている商品について、更に詳しい情報を必要とする場合に、サービス利用者４０は、カメラ付携帯電話４１等の携帯端末でチラシ４１に掲載されている写真を撮影し、これを情報提供サーバ１５に通信ネットワーク６０を介して送る。
図１０に示すように、商品の写真や（図１０(ａ)）、広告チラシ４３に掲載されている流通小売業者のロゴ写真（図１０（ｂ））等の写真を情報提供サーバ１５に送ることができる。

ここで、携帯端末４１から情報提供サーバ１５に写真を送る方法を説明する。この方法は２通りあり、どちらの方法を採ってもよい。
すなわち、第１の方法は、専用アプリケーションを使用する方法である。例えば、広告チラシ４３に専用アプリケーションをダウンロードするためのＵＲＬを掲載しておき、携帯端末４１がこのＵＲＬをアクセスすることにより、専用アプリケーションをダウンロードできるようにしておく。
この専用アプリケーションは、携帯端末４１と情報提供サーバ１５間の通信手続きおよび情報の表示を行なう。

第２の方法は、電子メールにより携帯端末４１と情報提供サーバ１５間の通信を行うものである。
この場合、広告チラシ４３に、情報提供サーバ１５が受け付ける電子メールアドレスを掲載しておき、携帯端末４１がこのアドレスに写真データのファイルを添付した電子メールを送り、この電子メールの返信機能を使用することにより、情報提供サーバ１５と携帯端末４１間の情報の送受信を行なう。
以上２通りの通信方法のどちらを採用してもよい。

図１０に沿って、本実施形態の商品情報提供システムが提供する情報の例を説明する。
まず、サービス利用者４０がカメラ付携帯電話４１から上記２通りのいずれかの方法で商品写真を情報提供サーバ１５に送ると（図１０（ａ））、情報提供サーバ１５は、商品写真を画像認識サーバ１７に認識させ、識別された商品（商品１）についての商品情報（画像付帯情報）１３３３を携帯電話４１に返送し、携帯電話４１のディスプレイに表示させる（図１０（ａ−１））。商品情報１３３３は、商品１の仕様やメーカ等のＵＲＬ等である。

さらに、画像付帯情報データベース１３３の商品１（例えば、写真ＩＤ「１１１１」）の掲載情報参照１３３７のデータが参照可能（「○」）の場合は、掲載情報データベース１３５において写真ＩＤの項目が「１１１１」であるレコードを探索し、さらにそのレコードの掲載情報被参照１３５５が可能（「○」）であるレコードの掲載情報１３５１（写真ＩＤ「１１１１」の媒体「ａ」および媒体「ｂ」の掲載情報）を参照し、携帯電話４１に返送し、商品１の商品情報１３３３とともに携帯電話４１のディスプレイに表示させる（図１０（ａ−２））。

一方、サービス利用者４０が流通業者のロゴ写真を情報提供サーバ１５に送ると（図１０（ｂ））、情報提供サーバ１５は、その写真を画像認識サーバ１７で認識させ、識別された流通小売業者（写真ＩＤ「ａａａａ」）についての画像付帯情報１３３３（企業情報ａ）を携帯電話４１に返送し、携帯電話４１のディスプレイに表示させる。

また、サービス利用者４０は、図１０(ａ)のように商品写真を送信し、商品情報１３３３を得た後、再び、２枚目の写真を情報提供サーバに送ることができる（図１０（ｃ）、（ｄ））。
２枚目の写真が流通小売業者のロゴ写真であった場合には、情報提供サーバ１５は、２枚目の写真を画像認識サーバ１７で認識させ、識別された流通小売業者による１枚目の写真の掲載情報１３５１（写真ＩＤ１３１１「１１１１」についての媒体「ａ」についての掲載情報）を携帯電話４１に返送し、携帯電話４１のディスプレイに表示させる（図１０（ｃ−１））。
このとき、掲載情報データベース１３５の付帯情報参照１３５３が可能（「○」）の場合には、その商品（商品１）についての商品情報１３３３を掲載情報１３５１と合わせて携帯電話４１に返送し、携帯電話４１のディスプレイに表示させる（図１０（ｃ−２））。

一方、２枚目の写真も商品写真であった場合には、情報提供サーバ１５は、２枚目の写真を画像認識サーバ１７で認識させ、識別された商品（商品２）についての商品情報１３３３を１枚目（商品１）の商品情報１３３３とともに携帯電話４１に返送し、携帯電話４１のディスプレイに表示させる。
このとき、掲載情報データベース１３５の付帯情報参照１３５３が可能（「○」）の場合には、その商品（商品２）についての商品情報１３３３も掲載情報１３５１と合わせて携帯電話４１に返送し、携帯電話４１のディスプレイに表示させる（図１０（ｄ））。

以上のように、情報提供サーバ１５の情報提供制御手段１５９は、サービス利用者４０がカメラ付携帯電話４１から送ってくる写真の内容によって提供する情報を選択して携帯電話４１に提供することが可能である。

図１１、図１２、図１３に沿って、情報提供制御手段１５９の処理の流れを説明する。
まず、サービス利用者４０がカメラ付携帯電話４１で写真（写真１）を撮影し、情報提供サーバ１５に送信する（ステップ４０１）。
情報提供制御手段１５９は、サービス利用者４０からの写真（写真１）を受け取り、撮影写真データをキーとして画像認識サーバ１７に検索要求することにより、撮影写真データが何の写真かを識別させる（ステップ１５９１）。
画像認識サーバ１７は、写真（写真１）を識別し、写真ＩＤ（写真１ＩＤ）を情報提供サーバ１５の情報提供制御手段１５９に送る（ステップ１７１）。

情報提供制御手段１５９は、画像認識サーバ１７から受け取った写真ＩＤ（写真１ＩＤ）をキーに画像付帯情報データベース１３３を検索し、画像付帯情報１３３３を抽出する（ステップ１５９２）。
また、写真付帯データベース１３３の掲載情報参照１３３７の項を参照し、掲載情報参照可能か否かを判断する（ステップ１５９３）。可能な場合（掲載情報参照１３３７が「○」）には(ステップ１５９３のｙｅｓ)、写真ＩＤ（写真１ＩＤ）をキーに掲載情報データベース１３５を検索し、掲載情報被参照（１３５５）可能（「○」）の掲載情報１３５１を抽出し、先に画像付帯情報データベース１３３から抽出した画像付帯情報１３３３と結合する（ステップ１５９４）。

例えば、写真１ＩＤが「１１１１」の場合（図６）、ステップ１５９２で画像付帯情報データベース１３３から「商品情報１」を抽出し、ステップ１５９３において掲載情報参照１３３７が「○」なので、掲載情報データベース１３５を参照し、写真ＩＤ「１１１１」と一致するレコードのなかの掲載情報被参照１３５５が「○」となっているレコードの掲載情報１３５１を抽出する（ステップ１５９４）。
すなわち、写真ＩＤ「１１１１」について媒体「ａ」および媒体「ｂ」の掲載情報が抽出され、商品情報１３３３と結合される。

情報提供制御手段１５９は、ステップ１５９４で結合された画像付帯情報１３３３と掲載情報１３５１を写真１ＩＤとともにサービス利用者４０の携帯電話４１に返送する（ステップ１５９５）。
ここで、ステップ１５９３でｎｏ（掲載情報参照不可）の場合は、画像付帯情報１３３３と写真１ＩＤをサービス利用者４０の携帯電話４１に返送する。
サービス利用者４０の携帯電話４１には、情報提供制御手段１５９が送信した画像付帯情報１３３３と携帯情報１３５１が図１０（ａ）のように表示される（ステップ４０２）。

一方、サービス利用者４０からの写真１が流通小売業者のロゴ写真であった場合にも、情報提供制御手段１５９は上述のステップ１５９１〜ステップ１５９５を実行する。
これにより、ステップ１５９２で画像付帯情報データベース１３３を参照し、画像認識サーバ１７によって識別されたロゴ写真の写真ＩＤ（例えば「ａａａａ」）をキーにロゴ写真の画像付帯情報１３３３である企業情報（企業情報ａ）等が抽出される。
また、ロゴ写真の場合、画像付帯情報データベース１３３の掲載情報参照１３３７を不可（×）にしておくことで、ステップ１５９３はｎｏとなり、ステップ１５９５により、画像付帯情報１３３３である企業情報ａと写真１ＩＤ（「ａａａａ」）がサービス利用者４０に送られ、企業情報ａが携帯電話４１のディスプレイに表示される（図１０（ｂ））。

サービス利用者４０は、１枚目の写真１で携帯電話４１のディスプレイに表示される情報を見たうえで、２枚目の写真（写真２）を撮影し、情報提供サーバ１５に送ることが可能である。

サービス利用者４０がカメラ付携帯電話４１で２枚目の写真（写真２）を撮影し、情報提供サーバ１５に送信する（ステップ４０３）。このとき、写真（写真２）のデータとともに、１枚目の写真（写真１）の写真ＩＤ（写真１ＩＤ）も併せて送られる。

情報提供制御手段１５９は、サービス利用者４０からの写真（写真２）を受け取り、撮影写真データをキーとして画像認識サーバ１７に検索要求することにより、撮影写真データが何の写真かを識別させる（ステップ１５９６）。
画像認識サーバ１７は、写真（写真２）を識別し、写真ＩＤ（写真２ＩＤ）を情報提供サーバ１５の情報提供制御手段１５９に送る（ステップ１７２）。

情報提供制御手段１５９は、画像認識サーバ１７から受け取った写真ＩＤ（写真２ＩＤ）をキーに媒体情報データベース１３７を検索し、写真２の媒体ＩＤ１３７１を抽出する（ステップ１５９７）。
このとき、２枚目の写真２が流通小売業者の媒体象徴写真（ロゴ）であれば媒体情報データベース１３７中に写真ＩＤ１３１１の値が写真２ＩＤと一致するレコードが存在する。このレコードの媒体ＩＤの値を写真２の媒体ＩＤ１３７１とすることができる（ステップ１５９８のｙｅｓ）。一方、媒体情報データベース１３７の中に写真２ＩＤの情報が存在しない場合（ステップ１５９８のｎｏ）は、写真２は商品写真であると考えられる。

写真２が流通小売業者のロゴである場合（ステップ１５９８のｙｅｓ）には、掲載情報データベース１３５をまず写真１ＩＤ１３１１（例えば「１１１１」）で検索し、抽出されたもののなかから、さらに、写真２の媒体ＩＤ１３７１（例えば「ａ」）に対応する掲載情報１３５１を抽出する（ステップ１５９９）。ここでは写真１ＩＤ「１１１１」、媒体ＩＤ「ａ」の掲載情報１３５１「特別価格」が抽出される。

また、同じ写真１ＩＤ「１１１１」、媒体ＩＤ「ａ」の付帯情報参照１３５３の項を参照し、画像付帯情報（商品情報）１３３３が参照可能か否かを判定する（ステップ１６００）。
付帯情報を参照可能（「○」）な場合（ステップ１６００のｙｅｓ）、写真１ＩＤ（「１１１１」）をキーに画像付帯情報データベース１３３を検索し、付帯情報被参照１３３５が可能な場合（「○」）には写真１の画像付帯情報１３３３である商品情報１を抽出し、掲載情報１３５１と結合する（ステップ１６０１）。
付帯情報が参照できない場合（×）は、ステップ１６０２に進む。

一方、ステップ１５９８で、媒体情報データベース１３７に写真２ＩＤがない場合（ステップ１５９８のｎｏ）、写真２は商品写真（商品２）であると考えられる。

この場合、情報提供制御手段１５９は、まず、写真１が商品写真か、あるいは媒体写真かを判断する。
まず、写真１ＩＤをキーに媒体情報ＤＢ１３７を検索し、写真１の媒体ＩＤ１３７１を抽出する（ステップ１６２１）。
そして、写真１ＩＤが媒体情報ＤＢ１３７にあるか否かを判定する（ステップ１６２２）。
写真１ＩＤが媒体情報ＤＢ１３７にあれば（ステップ１６２２のｙｅｓ）、写真１は媒体写真、写真２は商品写真と考えられる。一方、写真１ＩＤが媒体情報ＤＢ１３７になければ（ステップ１６２２のｎｏ）、写真１および写真２はどちらも商品写真と考えられる。

ステップ１６２２がｙｅｓの場合（写真１は媒体写真、写真２は商品写真）、掲載情報データベース１３５を、写真２ＩＤおよび写真１の媒体ＩＤ１３７１をキーとして検索し、掲載情報を抽出する（ステップ１６２３）。
さらに、掲載情報データベース１３５のそのレコードの付帯情報参照フラグ（１３５３）を判断する（ステップ１６２４）。
付帯情報参照フラグが参照可能（「○」）ならば（ステップ１６２４のｙｅｓ）、画像付帯情報データベース１３３を写真２ＩＤをキーに検索し、付帯情報被参照１３３５が可能な場合に（「○」）、写真２の画像付帯情報１３３３を抽出し、掲載情報１３５１と結合する（ステップ１６２５）。そして、ステップ１６０２に進む。
付帯情報が参照できない場合（×）は、ステップ１６０２に進む。

一方、ステップ１６２２でｎｏの場合は、写真１および写真２が商品写真であると考えられる。
この場合、情報提供制御手段１５９は、まず、写真１ＩＤをキーに画像付帯情報データベース１３３を検索し、商品１についての画像付帯情報１３３３を抽出する（ステップ１６１１）。これによって、商品１の商品情報が抽出される。
また、次に、画像付帯情報データベース１３３の写真１ＩＤの掲載情報参照１３３７が参照可能か否かを判定する（ステップ１６１２）。
掲載情報参照が可能な（「○」）場合、写真１ＩＤをキーに掲載情報データベース１３５を検索し、掲載情報被参照１３５５が可能な（「○」）掲載情報１３５１を抽出し、商品１の商品情報と結合する（ステップ１６１３）。
掲載情報参照が不可能（「×」）の場合は、ステップ１６１２をスキップし、ステップ１６１４に進む。

次に、写真２ＩＤをキーに画像付帯情報データベースを検索し、商品２についての画像付帯情報１３３３を抽出する（ステップ１６１４）。これによって、商品２の商品情報が抽出される。
また、次に、画像付帯情報データベース１３３の写真２ＩＤの掲載情報参照１３３７が参照可能か否かを判定する（ステップ１６１５）。
掲載情報参照が可能な（「○」）場合、写真２ＩＤをキーに掲載情報データベース１３５を検索し、掲載情報被参照１３５５が可能な（「○」）掲載情報１３５１を抽出し、商品２の商品情報と結合する（ステップ１６１６）。
掲載情報参照が不可能（「×」）の場合は、ステップ１６１６をスキップし、ステップ１６０２に進む。
以上の処理により、商品１および商品２の商品情報と、商品１および商品２について掲載可能な掲載情報が結合される。

情報提供制御手段１５９は、結合された画像付帯情報１３３３と掲載情報１３５１を写真１ＩＤおよび写真２ＩＤとともにサービス利用者４０に送信する（ステップ１６０２）。
サービス利用者４０の携帯電話４１には、情報提供制御手段１５９が送信した画像付帯情報１３３３と携帯情報１３５１が図１０（ｃ）または図１０（ｄ）のように表示される（ステップ４０４）。

以上の処理により、広告チラシ４３に掲載されている商品や流通小売業者についてのより詳しい情報を、メーカや流通小売業者の意図に合わせて適切にサービス利用者４０に提供することが可能になる。
尚、図１２、図１３のフローチャートでは、写真２が媒体象徴写真であって同時に写真１ＩＤも媒体象徴写真のＩＤである場合にはステップ１５９９で何も検索されないので、利用者には、単に写真１ＩＤおよび写真２ＩＤが返されることになる。そこで、１つの変形実施例として、ステップ１５９９の直前に、写真１が商品写真か、あるいは媒体写真かを判断する処理（ステップ１６２１、１６２２と同じ処理）を挿入して、写真１が商品写真である場合のみ図１２のとおりステップ１５９９以下の処理を実行させ、写真１ＩＤが媒体象徴画像のＩＤである場合には、写真２ＩＤをキーにして画像付帯情報データベース１３３を検索して得られる画像付帯情報を抽出して、ステップ１６０２の処理に続けるというフローにしてもよい。このようにすれば、利用者が新たに送付した媒体象徴画像の関連情報だけは利用者に提供できる。
また、他の変形例としては、情報提供サーバ１５は、サービス利用者から２つの画像を同時に１つの検索要求で受け付けられるようにすることも可能である。すなわち、図１１のステップ１５９１で、検索要求に２つの画像データが含まれていることが分かったならば、２つの写真画像のうちの任意の一つを写真１とし、写真１についての写真１ＩＤを画像認識サーバ１７に問い合わせて（ステップ１７１）、写真ＩＤを受けた後、他方の画像を写真２としてステップ１５９６以下の処理を実行するように情報提供制御手段１５９を構成すればよい。
また、いずれの形態においても、利用者に返信する写真ＩＤは、利用者の検索要求に含まれた画像データに対応するＩＤだけを返すようにしてもよい。

尚、本発明は、前述した実施の形態に限定されるものではなく、種々の改変が可能であり、それらも、本発明の技術範囲に含まれる。

本実施形態に係る本発明の商品情報提供システムの構成図 情報提供サーバ１５および画像認識サーバ１７のハードウエア構成図 メーカ側端末２１および流通小売業側端末３１のハードウエア構成図 情報提供サーバ１５の機能構成図 情報提供サーバ１５の情報登録手段１５１の処理の流れを示すフローチャート 各データベース１３１、１３３、１３５、１３７のデータ構成例を示す図 商品情報登録画面の例を示す図 媒体情報登録画面の例を示す図 掲載情報登録画面の例を示す図 情報提供サーバ１５が提供する情報例を示す図 情報提供サーバ１５の情報提供制御手段１５９の処理の流れを示すフローチャート（その１） 情報提供サーバ１５の情報提供制御手段１５９の処理の流れを示すフローチャート（その２） 情報提供サーバ１５の情報提供制御手段１５９の処理の流れを示すフローチャート（その３）

符号の説明

１０………サービス提供者
１５………情報提供サーバ
１７………画像認識サーバ
１３１………画像データデータベース
１３３………画像付帯情報データベース
１３５………掲載情報データベース
１３７………媒体情報データベース
２０………商品写真提供者（メーカ）
２１………メーカ側端末
３０………媒体発行者（流通小売業者）
３１………流通小売業側端末
４０………サービス利用者
４１………カメラ付携帯電話
４３………広告チラシ
４３１………商品写真
４３３………媒体象徴写真（流通小売業者ロゴ）
１５１………情報登録手段
１５３………画像付帯情報登録手段
１５５………媒体情報登録手段
１５７………掲載情報登録手段
１５９………情報提供制御手段

Claims (8)

1. 登録画像の特徴情報を登録画像識別情報と対応付けて記録しておき、画像データをキーにした検索要求を受けると、該画像データの特徴情報を抽出して該画像データに最も類似する登録画像の識別情報を返信する画像認識サーバを利用して、利用者からネットワークを介して送りつけられる画像データに応答して該画像データに関連する情報を返信する情報提供サーバであって、
   各登録画像についてその識別情報、付帯情報を含む情報を１レコードとした画像付帯情報データベースと、
   情報媒体を表す登録画像に関して、登録画像の識別情報と、媒体の識別情報および当該媒体に関連する情報を含む情報を１レコードとした媒体情報データベースと、
   情報媒体を表すものではない登録画像が表すアイテムと該アイテムとのある関係を有する情報媒体についての対応を表すデータベースであって、アイテムを表す画像の識別情報、媒体の識別情報、両者を結びつける関係を記述する情報である掲載情報、を含む情報を１レコードとした掲載情報データベースの各データベースを記憶管理する記憶手段と、
   利用者から送信される画像データを含む検索要求を受付けて、前記画像認識サーバを利用し、受信した画像データに該当する登録画像識別情報を得た上で、前記画像付帯情報データベース、媒体情報データベースおよび掲載情報データベースを検索して、利用者が送信した画像データに関連する情報を作成する情報提供制御手段と、
   を備えて、利用者が送信した画像データに対応する登録画像の識別情報と、該識別された登録画像に関する情報を提供することを特徴とする情報提供サーバ。
2. 請求項１に記載の情報提供サーバであって、
   前記画像付帯情報データベースの１レコードには、掲載情報参照の可否を表す掲載情報参照フラグも含めて記録する構成としたものであって、
   前記情報提供制御手段は、
   前記画像付帯情報データベースから登録画像の付帯情報を該登録画像識別情報で特定されるレコードから抽出する際、併せて掲載情報参照フラグをチェックし、参照可である場合は、引き続き、該登録画像識別情報をキーにして掲載情報データベースを参照し、ヒットした各レコードのそれぞれの掲載情報と該登録画像についての付帯情報に基づいて、前記利用者が送信した画像データに関連する情報を作成するものであることを特徴とする情報提供サーバ。
3. 請求項２に記載の情報提供サーバであって、
   前記掲載情報データベースの１レコードには、掲載情報被参照の可否を表す掲載情報被参照フラグも含めて記録する構成としたものであって、
   前記情報提供制御手段は、
   前記画像付帯情報データベースからアイテムを表す登録画像の付帯情報を該アイテム画像識別情報で特定されるレコードから抽出する際、併せて掲載情報参照フラグをチェックし、参照可である場合は、引き続き、該アイテム画像識別情報をキーにして掲載情報データベースを参照し、ヒットした各レコードのうち掲載情報被参照が可であるレコードについてのそれぞれの掲載情報と該アイテム画像についての付帯情報に基づいて、前記利用者が送信した画像データに関連する情報を作成するものであることを特徴とする情報提供サーバ。
4. 利用者から送信される画像データを含む検索要求を、一度検索結果として得られた登録画像の画像識別情報が付加された形式で受付け、新たに受付けた画像データと再度受付けた画像識別情報（以下第１識別情報）の組合せに応じた情報を提供する請求項１、請求項２、請求項３のいずれか一項に記載の情報提供サーバであって、
   前記情報提供制御手段は、
   まず新たに受信した画像データをキーにして画像認識サーバに検索要求して、受信画像データの画像識別情報を第２識別情報として得たうえで、媒体情報データベースを参照して第１識別情報、第２識別情報が情報媒体を表す識別情報かどうかを決定し、
   第１識別情報、第２識別情報のいずれも情報媒体を表す登録画像でない場合は、画像付帯情報データベースから第１識別情報、第２識別情報により特定されるレコードに記録されている情報に基づいて利用者に返信する情報を作成し、
   第１識別情報、第２識別情報のいずれか一方だけが情報媒体を表す登録画像である場合には、対応する情報媒体の識別情報ともう一方の識別情報との組み合わせをキーにして掲載情報データベースを検索し、抽出されたレコードに記録されている情報に基づいて利用者に返信する情報を作成する、
   ことを特徴とする情報提供サーバ。
5. 利用者から送信される２個の画像データを含む検索要求を受付けて、２つの画像の組み合わせに応じた情報を提供する請求項１、請求項２、請求項３のいずれか一項に記載の情報提供サーバであって、
   前記情報提供制御手段は、
   まず、受信した画像データのそれぞれをキーにして画像認識サーバに検索要求して、それぞれの画像の画像識別情報を得、その一方を第１識別情報とし、もう一方を第２識別情報と定めたうえで、媒体情報データベースを参照して第１識別情報、第２識別情報が情報媒体を表す識別情報かどうかを決定し、
   １）第１識別情報、第２識別情報のいずれも情報媒体を表す登録画像でない場合は、画像付帯情報データベースから第１識別情報、または第２識別情報により特定されるレコードに記録されている情報に基づいて利用者に返信する情報を作成し、
   ２）第１識別情報、第２識別情報のいずれか一方だけが情報媒体を表す登録画像である場合には、対応する情報媒体の識別情報ともう一方の識別情報との組み合わせをキーにして掲載情報データベースを検索し、抽出されたレコードに記録されている情報に基づいて利用者に返信する情報を作成する、
   ことを特徴とする情報提供サーバ。
6. 請求項４または請求項５に記載の情報提供サーバであって、
   前記掲載情報データベースは、その各レコードに付帯情報参照可否を表すフラグを含めた構成としたものであって、
   前記情報提供制御手段は、
   第１識別情報、第２識別情報のいずれか一方だけが情報媒体を表す登録画像である場合において、対応する情報媒体の識別情報ともう一方の識別情報との組み合わせをキーにして掲載情報データベースを検索し、抽出されたレコードに記録されている情報に基づいて利用者に返信する情報を作成する際、併せて該レコードの付帯情報参照可否フラグをチェックし、参照可能であれば、該レコードに関わる登録画像の付帯情報を画像付帯情報データベースから抽出してその内容も含めて利用者に提供する情報を作成することを特徴とする情報提供サーバ。
7. 請求項６に記載の情報提供サーバであって、
   前記画像付帯情報データベースは、その各レコードに付帯情報参照可否のフラグを含めた構成としたものであって、
   前記情報提供制御手段は、
   掲載情報データベースのレコードから付帯情報参照する際に、前記画像付帯情報データベースの対象登録画像のレコードが付帯情報被参照可能である登録画像の付帯情報だけを付加して利用者に提供する情報を作成することを特徴とする情報提供サーバ。
8. コンピュータを請求項１から請求項７に記載の情報提供サーバとして機能させるコンピュータで読取り可能なプログラム。

Images