JP2013167973A - 検索装置、検索方法、検索プログラム、及びそのプログラムを記憶するコンピュータ読取可能な記録媒体 - Google Patents

Abstract

【課題】撮影画像から商品を検索する際の精度を上げることを目的とする。
【解決手段】検索装置は、ユーザ端末により指定された撮影画像と、該撮影画像に関連付けられた位置情報とを取得する取得部と、撮影画像を解析して、検索対象が写っている検索対象領域から第１の検索条件を抽出すると共に、該検索対象の周辺にある周辺物が写っている１以上の周辺領域から第２の検索条件を抽出する解析部と、店舗に関連付けられた場所を示す店舗情報と該店舗で取り扱われている商品を示す商品情報とを記憶する記憶部を第１の検索条件、第２の検索条件、及び位置情報を用いて参照することで、検索対象に対応する商品情報を抽出する検索部と、検索部により抽出された商品情報をユーザ端末に送信する送信部とを備える。
【選択図】図８

Description

本発明の一形態は、撮影画像から商品情報を検索するための装置、方法、プログラム、及び記録媒体に関する。

従来から、撮影画像から商品を特定してその商品の情報をユーザに提示する手法が知られている。例えば下記特許文献１には、顧客が端末で商品のリアルタイム画像を見ながら商品を購入できる遠隔商品販売システムが記載されている。このシステムでは、通信端末がＷｅｂカメラに撮影されている陳列商品のリアルタイム画像の送信要求を行うと、通信サーバが、リアルタイム画像を含む商品案内情報データを通信端末で表示させるために送信する。表示されたリアルタイム画像の中から特定商品の画像部分が選択されると、通信端末はその商品の注文情報データを生成して通信サーバに送信する。この際に、通信端末はリアルタイム画像中で選択された位置を示す座標位置データも通信サーバに送信し、通信サーバはそのデータも用いて商品を特定する。

特開２００３−９９６２９号公報

しかし、商品の検索条件として用いる撮影画像の画質が粗かったり、その画像が適切に撮影されていなかったりすると（例えば、被写体がぼやけていたり傾いて写ったりする場合）、たとえ上記特許文献１のように位置情報を用いたとしても、商品検索の精度が下がる可能性がある。例えば、被写体と全く異なる種類の商品が多く検索されてしまう場合が有り得る。

そこで、撮影画像から商品を検索する際の精度を上げることが要請されている。

本発明の一形態に係る検索装置は、ユーザ端末により指定された撮影画像と、該撮影画像に関連付けられた位置情報とを取得する取得部と、撮影画像を解析して、検索対象が写っている検索対象領域から第１の検索条件を抽出すると共に、該検索対象の周辺にある周辺物が写っている１以上の周辺領域から第２の検索条件を抽出する解析部と、店舗に関連付けられた場所を示す店舗情報と該店舗で取り扱われている商品を示す商品情報とを記憶する記憶部を第１の検索条件、第２の検索条件、及び位置情報を用いて参照することで、検索対象に対応する商品情報を抽出する検索部と、検索部により抽出された商品情報をユーザ端末に送信する送信部とを備える。

本発明の一形態に係る検索方法は、検索装置により実行される検索方法であって、ユーザ端末により指定された撮影画像と、該撮影画像に関連付けられた位置情報とを取得する取得ステップと、撮影画像を解析して、検索対象が写っている検索対象領域から第１の検索条件を抽出すると共に、該検索対象の周辺にある周辺物が写っている１以上の周辺領域から第２の検索条件を抽出する解析ステップと、店舗に関連付けられた場所を示す店舗情報と該店舗で取り扱われている商品を示す商品情報とを記憶する記憶部を第１の検索条件、第２の検索条件、及び位置情報を用いて参照することで、検索対象に対応する商品情報を抽出する検索ステップと、検索ステップにおいて抽出された商品情報をユーザ端末に送信する送信ステップとを含む。

本発明の一形態に係る検索プログラムは、ユーザ端末により指定された撮影画像と、該撮影画像に関連付けられた位置情報とを取得する取得部と、撮影画像を解析して、検索対象が写っている検索対象領域から第１の検索条件を抽出すると共に、該検索対象の周辺にある周辺物が写っている１以上の周辺領域から第２の検索条件を抽出する解析部と、店舗に関連付けられた場所を示す店舗情報と該店舗で取り扱われている商品を示す商品情報とを記憶する記憶部を第１の検索条件、第２の検索条件、及び位置情報を用いて参照することで、検索対象に対応する商品情報を抽出する検索部と、検索部により抽出された商品情報をユーザ端末に送信する送信部とをコンピュータに実行させる。

本発明の一形態に係るコンピュータ読取可能な記録媒体は、ユーザ端末により指定された撮影画像と、該撮影画像に関連付けられた位置情報とを取得する取得部と、撮影画像を解析して、検索対象が写っている検索対象領域から第１の検索条件を抽出すると共に、該検索対象の周辺にある周辺物が写っている１以上の周辺領域から第２の検索条件を抽出する解析部と、店舗に関連付けられた場所を示す店舗情報と該店舗で取り扱われている商品を示す商品情報とを記憶する記憶部を第１の検索条件、第２の検索条件、及び位置情報を用いて参照することで、検索対象に対応する商品情報を抽出する検索部と、検索部により抽出された商品情報をユーザ端末に送信する送信部とをコンピュータに実行させる検索プログラムを記憶する。

このような形態によれば、撮影画像のうち、検索対象（検索しようとする商品）が写っている領域だけでなくその周辺の領域からも検索条件が抽出され、これら二種類の検索条件と、撮影画像に関連付けられている位置情報とに基づいて商品情報が検索される。このように、検索対象に関する情報（第１の検索条件）及び位置情報に加えて周辺物に関する情報（第２の検索条件）も用いることで商品を検索する手がかりが増えるので、商品検索の精度を上げることができる。

別の形態に係る検索装置では、検索部が、位置情報で示される場所に関連付けられている店舗で取り扱われており、且つ第１及び第２の検索条件に対応する商品情報を抽出してもよい。

さらに別の形態に係る検索装置では、記憶部が、所定の場所における複数の商品間の近接度を示す近接度情報を更に記憶しており、検索部が、第１の検索条件により抽出された候補商品情報で示される候補商品と、第２の検索条件により抽出された周辺商品情報で示される周辺商品との近接度を近接度情報により特定し、該近接度に基づいて該候補商品情報から検索対象に対応する商品情報を抽出してもよい。ここで、近接度とは所定の場所における商品同士の陳列位置の近さを示す値である。場所毎の商品の陳列に着目して検索対象を検索することで、その場所で写された商品の検索精度を上げることができる。

さらに別の形態に係る検索装置では、検索部が、１以上の周辺領域のそれぞれについて、候補商品との近接度が所定の閾値以上である周辺商品が存在する場合に、該候補商品を示す候補商品情報を、検索対象に対応する商品情報として抽出してもよい。

さらに別の形態に係る検索装置では、検索部が、検索部が、１以上の周辺領域のそれぞれについて、候補商品と周辺商品との近接度の平均が所定の閾値以上である場合に、該候補商品を示す候補商品情報を、検索対象に対応する商品情報として抽出してもよい。

さらに別の形態に係る検索装置では、検索部が、商品の属性が第１及び第２の検索条件の双方に対応する商品情報を、検索対象に対応する商品情報として抽出してもよい。商品属性が第１の検索条件だけでなく周辺領域から得られた第２の検索条件にも当てはまる商品情報を抽出することで商品情報が更に絞り込まれるので、商品検索の精度を上げることができる。

さらに別の形態に係る検索装置では、周辺物が、商品情報で示される商品以外の有体物を含んでもよい。このように、商品以外の有体物から得られる検索条件を用いることで商品を検索する手がかりが増えるので、商品検索の精度を上げることができる。

さらに別の形態に係る検索装置では、商品情報が、商品の販売時期を示す情報を含み、取得部が、撮影画像に関連付けられた時期情報を更に取得し、検索部が、更に時期情報を用いて記憶部を参照することで、検索対象に対応する商品情報を抽出してもよい。このように、時期情報も用いることで商品を検索する手がかりが更に増えるので、商品検索の精度を上げることができる。

さらに別の形態に係る検索装置では、送信部が、抽出された商品情報で示される商品を店舗から購入するためのユーザ・インタフェースを含むウェブページをユーザ端末に送信してもよい。この場合には、ユーザは検索結果が表示されたウェブページを介して商品を購入することができる。

さらに別の形態に係る検索装置では、撮影画像が、販売対象として陳列されている商品、又は屋外の媒体に表示されている商品を写した画像であってもよい。

さらに別の形態に係る検索装置は、商品が写っている準備用画像を画像解析して商品情報と照合するとともに、該準備用画像の撮影場所を示す場所情報を取得することで、該商品を取り扱う店舗と該撮影場所とが関連付けられた該店舗情報を設定する関連場所設定部を更に備えてもよい。この場合には、商品検索に用いる店舗情報を整備することができる。

本発明の一側面によれば、撮影画像から商品を検索する際の精度を上げることができる。

検索システムの全体構成を示す図である。 地図情報（パノラマ画像）の表示例を示す図である。 地図情報（パノラマ画像）の表示例を示す図である。 店舗情報の一例を示す図である。 商品情報の一例を示す図である。 近接度情報の一例を示す図である。 実施形態に係るＥＣサーバのハードウェア構成を示す図である。 実施形態に係るＥＣサーバの機能構成を示すブロック図である。 近接度情報を用いた検索の例を示す図である。 近接度情報を用いた検索の例を示す図である。 近接度情報を用いた検索の例を示す図である。 近接度情報を用いた検索の例を示す図である。 近接度情報を用いた検索の例を示す図である。 図１に示す検索システムでの処理を示すシーケンス図である。 実施形態に係る検索プログラムの構成を示す図である。

以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。下記の実施形態では、本発明に係る検索装置を電子商取引サーバ（ＥＣサーバ）に適用する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。

まず、図１〜１３を用いて、検索システム１の機能及び構成を説明する。検索システム１は、仮想商店街のウェブサイト（ＥＣサイト）における各種機能を実行するコンピュータシステムである。ユーザ（一般消費者）はそのサイトを介して商品を検索し、さらに購入手続を行うことができる。店舗は販売する商品を仮想商店街に登録し、ユーザが購入した商品をそのユーザに配送する。なお、商品の種類は限定されず、任意の有体物でもよいし、サービスなどの無体物でもよい。検索システム１は、商品検索機能を有するＥＣサーバ１０の他に、データベース群（記憶部）２０、地図サーバ３０、地図データベース３１、店舗端末Ｔｓ、及びユーザ端末Ｔｕを備えている。これらの装置は通信ネットワークＮを介して互いに接続されている。

ユーザはユーザ端末Ｔｕを操作して地図サーバ３０から地図情報を入手することができる。ユーザが入手する地図情報は、ユーザが指定した施設又は地域の平面的な地図だけでなく、図２に示すような、その施設又は地域の風景を写した３６０度のパノラマ画像も含んでいる。これにより、ユーザはその施設の周辺又はその地域が実際にどのような場所であるかを容易に想像することができる。このような地図サービスとして、例えばグーグル社のストリートビューが挙げられる。図２の例では、画面の左側に百貨店Ａの住所が表示され、右側にその百貨店Ａのパノラマ画像が表示されている。

ユーザはユーザ端末Ｔｕをさらに操作して、画面上に表示されたパノラマ画像をスクロールしたり画像を拡大又は縮小したりすることができる。そして、ユーザはそのパノラマ画像に写っている商品を指定して、その商品情報をＥＣサイトから入手することができ、その商品を気に入ればそのサイトで商品を購入することもできる。図３は、百貨店Ａのウィンドウが拡大表示されて、そのウィンドウに展示されている服が選択されている状態を示している（枠Ｈ参照）。この場合には、その服の画像から商品が推定されて、その商品情報がユーザ端末Ｔｕ上に表示されることになる。

しかし、パノラマ画像の被写体は一般にぼやけていたり、画質が粗かったり、傾いて写っていたりするので、検索対象の画像を商品情報の画像と照合するだけでは商品検索の精度が下がってしまう。そこで本実施形態では、その検索精度を上げるために、検索対象以外の被写体の情報（周辺物の情報）も用いて商品情報を絞り込む。

ユーザは、地図サーバ３０から提供された地図情報（パノラマ画像）からではなく、自身で撮影した１枚の写真又は動画像の１フレームから検索対象を指定して、商品情報を検索することもできる。撮影時に被写体がぼやけたり傾いて写ったりすることが有り得るが、パノラマ画像の場合と同様に周辺物の情報を用いることで、商品情報が絞り込まれる。

ＥＣサーバ１０は、ユーザ端末Ｔｕからのリクエストに応じて、ＥＣサイト内の各種ウェブページ（例えばメインページや商品ページ、店舗ページなど）の提供、商品検索、購入処理（在庫更新や決済、ユーザへのポイント付与などを含む）などを実行するコンピュータシステムである。商品検索では、ＥＣサーバ１０は上記のように周辺物の情報も用いた処理を実行する。その他に、ＥＣサーバ１０は、店舗端末Ｔｓからのリクエストに応じて、商品情報の更新（商品の登録や削除、在庫の追加など）を実行する。

データベース群２０は、検索システム１で必要な各種データベースの集まりである。

地図サーバ３０は、地図情報をユーザに提供するコンピュータシステムである。地図情報は、施設や地域の名称と、その位置（例えば緯度経度）と、その施設又は地域のパノラマ画像とを含む。地図サーバ３０は、ユーザ端末Ｔｕからの要求に応じて地図データベース３１から対応する地図情報を抽出し、その情報をユーザ端末Ｔｕに送信する。

地図サーバ３０により提供される地図情報は、施設や地域そのものを示すものに限定されず、施設の内部（例えば実店舗の内部）を示すより詳細な情報であってもよい。この場合には、パノラマ画像は施設内の映像であり、施設の位置は、必要に応じてフロアマップなども用いてより詳細に定義される。施設内部の詳細な地図情報も用いる場合には、上記ストリートビューのような屋外の地図情報を管理するサーバとは別に、各施設のサーバが自己の屋内の地図情報を管理し、これら二種類のサーバが連携して屋内外の地図情報をシームレスにユーザ端末Ｔｕに提供してもよい。

店舗端末Ｔｓは、仮想商店街に参加している店舗の運営者が所有するコンピュータである。店舗端末Ｔｓの種類は限定されず、例えば据置型又は携帯型のパーソナルコンピュータでもよいし、高機能携帯電話機（スマートフォン）や携帯電話機、携帯情報端末（ＰＤＡ）などの携帯端末でもよい。検索システム１内に存在する店舗端末Ｔｓの台数は限定されない。

ユーザ端末Ｔｕは、ユーザ（一般消費者）が所有するコンピュータである。店舗端末Ｔｓと同様に、ユーザ端末Ｔｕの種類も限定されず、例えば据置型又は携帯型のパーソナルコンピュータでもよいし、高機能携帯電話機（スマートフォン）や携帯電話機、携帯情報端末（ＰＤＡ）などの携帯端末でもよい。検索システム１内に存在するユーザ端末Ｔｕの台数も限定されない。

以上を前提として、ＥＣサーバ１０の詳細を説明する。まず、このＥＣサーバ１０によりアクセスされる各種データベースについて詳しく説明する。

店舗データベース２１は、仮想商店街内の店舗（仮想店舗）に関する店舗情報を記憶する手段である。店舗情報は、店舗を一意に特定するための店舗ＩＤと、その店舗の各種属性を示す属性情報とを含んでいる。属性情報は店舗の名称及びカテゴリと、仮想商店街におけるその店舗のウェブページのＵＲＬとを含む。加えて、属性情報は仮想店舗に関連する現実世界での場所を示す位置情報（関連場所の位置情報）を含んでいる。属性情報は少なくともその位置情報を含むが、これ以外に任意の属性を含めることが可能である。

位置情報は、仮想店舗と同系列の実店舗の位置を示してもよいし、系列が仮想店舗のものとは全く異なるが該仮想店舗の商品を陳列している実店舗の位置を示してもよい。あるいは、位置情報は、仮想店舗で取り扱われている商品を販売している売店又は自動販売機の位置を示してもよい。あるいは、位置情報は仮想店舗の商品の屋外広告の位置を示してもよい。このように、関連場所の位置情報は、仮想店舗そのものに関連している必要はなく、仮想店舗で取り扱われている商品が陳列されていたり表示されたりしている場所を示すものであれば何でもよい。位置情報は緯度経度で表されてもよいし、緯度経度などを用いて定義される任意の形状のエリアで示されてもよいし、住所で表されてもよい。また、一つの仮想店舗に関連する場所は複数存在し得るので、複数の関連場所の位置情報が一つの店舗ＩＤに関連付けられていてもよい。

関連場所の位置情報は、後述するＥＣサーバ１０の関連場所設定部１１の学習機能により設定又は更新されてもよい。

店舗情報の例を図４に示す。この図から例えば、店舗ＩＤが「Ｓ００１」である仮想店舗が「ＡＢショップ」であり、その店舗のカテゴリが「ファッション」であり、関連場所の位置情報が（ｘ１１，ｙ１１）及び（ｘ１２，ｙ１２）などの複数の緯度経度を含んでいることがわかる。

商品データベース２２は、各仮想店舗が販売する商品に関する商品情報を記憶する手段である。商品情報は、商品を提供する仮想店舗の店舗ＩＤと、商品を一意に特定する商品ＩＤと、その商品の各種属性を示す属性情報とを含んでいる。属性情報は商品の名称やブランド、価格、画像データ、在庫数、カテゴリ、販売時期と、商品ページのＵＲＬとを含んでいるが、属性情報に含める情報は限定されない。商品情報は、店舗端末Ｔｓから送信された指示に基づいて新規登録、更新、あるいは削除される。

商品情報の例を図５に示す。この例では、店舗ＩＤが「Ｓ００１」に対して、商品ＩＤが「Ｔ００１」である「商品Ａ」や、商品ＩＤが「Ｔ００２」である「商品Ｂ」が関連付けられている。

近接度データベース２３は近接度情報を記憶する手段である。近接度情報は、現実世界の特定の位置（例えば実店舗や売店、自動販売機など）において、互いに異なる種類の商品同士がどれだけ近くに陳列されているかを示す情報である。近接度情報は、店舗情報の一項目である関連場所の位置情報と、その位置情報で示される場所の名前と、２種類の商品を示す二つの商品ＩＤ（基準商品ＩＤ及び対応商品ＩＤ）と、その場所における当該二商品の陳列位置の近さ（近接度）とを含んでいる。なお、場所名は省略可能してもよい。近接度はあくまでも陳列位置の近さを示す指標なので、基準商品ＩＤ及び対応商品ＩＤで示される２種類の商品のカテゴリが全く異なる場合があり得る。

近接度は、商品同士が近くに陳列される可能性が高いほど大きくなる。本実施形態では近接度を０から１の範囲で数値化している。この場合に、ある２種類の商品が常に近くに存在すればそれらの商品についての近接度は１．０となる。また、２種類の商品が常に離れた位置（１枚の写真に両商品が写る可能性が無いような位置）に存在すれば、その近接度は０となる。

近接度情報の例を図６に示す。この例から、位置情報（ｘ１，ｙ１）で示される実店舗Ｅにおいて、商品Ａと商品Ｂとが近い位置に陳列される可能性や、商品Ｃと商品Ｙとが近い位置に陳列される可能性が非常に高いことが分かる。また、実店舗Ｅでは商品Ａと商品Ｘとはあまり近くに陳列されないことも分かる。

商品の陳列方法は様々であるので、ある２種類の商品についての近接度は場所毎に異なる。例えば、コンビニエンス・ストアでは雑誌とジュースとが近くに陳列されることはほとんど無いが、駅の売店ではそれらの商品が近くに陳列されている場合が比較的多い、ということができる。また、コンビニエンス・ストアでは新聞紙とコピー機とが近くに陳列される場合が比較的多いが、駅の売店ではその可能性がほとんど無い、ということもできる。

なお、近接度は他の指標により表されてもよい。また、近接度が０である場合には近接度データベース２３にレコードを作成しなくてもよい。

データベース群２０内の各データベース及び各情報の構成は図４〜６に示すものに限定されず、各データベースに対して任意の正規化又は冗長化を行ってよい。

なお、データベース群２０は、ユーザ情報（会員情報）を記憶するユーザデータベースや、各ユーザの購入履歴を記憶する購入履歴データベースなども含むが、商品検索に直接関連しないこれらのデータベースについては、詳細な説明を省略する。

次に、ＥＣサーバ１０の機能及び構成を説明する。ＥＣサーバ１０のハードウェア構成を図７に示す。この図に示すように、ＥＣサーバ１０は、オペレーティングシステムやアプリケーション・プログラムなどを実行するＣＰＵ１０１と、ＲＯＭ及びＲＡＭで構成される主記憶部１０２と、ハードディスクなどで構成される補助記憶部１０３と、ネットワークカードなどで構成される通信制御部１０４と、キーボードやマウスなどの入力装置１０５と、ディスプレイなどの出力装置１０６とを備えている。

後述するＥＣサーバ１０の各機能的構成要素は、ＣＰＵ１０１や主記憶部１０２の上に所定のソフトウェアを読み込ませ、ＣＰＵ１０１の制御の下で通信制御部１０４や入力装置１０５、出力装置１０６などを動作させ、主記憶部１０２や補助記憶部１０３におけるデータの読み出し及び書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶部１０２や補助記憶部１０３内に格納される。なお、図７ではＥＣサーバ１０が１台のコンピュータで構成されているように示しているが、ＥＣサーバ１０の機能を複数台のコンピュータに分散させてもよい。

本実施形態では、ＥＣサーバ１０は、ユーザから送られてきた静止画に写っている商品を判定し、対応する商品情報を検索してそのユーザに提供する。このような検索を実行するために、ＥＣサーバ１０は機能的構成要素として関連場所設定部１１、受信部（取得部）１２、解析部１３、検索部１４、及び送信部１５を備えている。これらの機能的構成要素を図８に示す。

関連場所設定部１１は、店舗データベース２１に記憶されている店舗情報に対して関連場所の位置情報を設定する手段である。

関連場所設定部１１は、画像認識により商品を高精度に特定できるほどにその商品が写っている画像データ（準備用画像）と、その画像データに対応する場所を示す場所情報とを取得する。例えば、関連場所設定部１１はＥＣサーバ１０の管理者等により入力された画像データ及び場所情報を受け付ける。続いて、関連場所設定部１１はその画像データに対して画像解析（画像認識）を行い、被写体と商品データベース２２内の商品情報とを照合することで、その画像に写っている商品を特定する。

続いて、関連場所設定部１１は店舗データベース２１及び商品データベース２２を参照して、特定された商品の取扱店舗を示す店舗情報に、入力された場所情報に対応する位置情報を追加する。例えば、場所情報が特定のコンビニエンス・ストアを示す情報であれば、関連場所設定部１１はその店の場所を示す位置情報を生成して、特定された商品の取扱店舗の店舗情報にその位置情報を追加する。特定された商品が複数の仮想店舗で取り扱われていれば、各仮想店舗の店舗情報に、そのコンビニエンス・ストアの位置情報が追加される。このような処理により、商品検索に用いる店舗情報を整備することができる。

受信部１２は、ユーザにより指定された静止画データ（撮影画像）と、その静止画データに関連付けられている位置情報とをユーザ端末Ｔｕから受信する手段である。この静止画データは、販売対象として実店舗や自動販売機などに陳列されている商品、又は屋外の媒体（例えば掲示板や車体など）に表示されている商品を写した画像のデータである。したがって、雑誌や新聞に掲載されている商品画像は、本実施形態における撮影画像の範囲外である。

ユーザは商品検索に用いる１枚の静止画を任意の方法で指定することができる。例えば、ユーザは地図サーバ３０から提供されてウェブブラウザ上に表示されたパノラマ画像の１フレームを撮影画像として指定してもよい。また、ユーザは自身で撮影した１枚の写真を撮影画像として指定してもよい。あるいは、ユーザは自身で撮影した動画像の１フレームを撮影画像として指定してもよい。ユーザは、撮影画像を指定する際に、ユーザ端末Ｔｕにインストールされている画像編集ソフトウェアを用いてその画像を編集してもよい。例えば、ユーザは原画像から人などの動体を省く操作を行うことで最終的な撮影画像を生成してもよい。

ユーザは、静止画を指定すると、その静止画内の被写体の中から特定したい商品（検索対象）を選択する。この選択方法は限定されない。例えば、ユーザは静止画内の特定の部分をクリック又はタップすることで商品を選択してもよい。この場合には、ユーザ端末Ｔｕはクリック又はタップされた箇所の座標を静止画データと関連付けて保持する。別の方法として、ユーザは特定しようとする商品の周囲をなぞる操作を行うことで商品を選択してもよい。この場合には、ユーザ端末Ｔｕはその操作により囲まれたエリア（例えば図３における枠Ｈ）を示す座標を静止画データと関連付けて保持する。

このようなユーザ操作により静止画データ及び検索対象（座標情報）が指定されると、ユーザ端末Ｔｕはその静止画データに対応する位置情報を取得する。この位置情報は、静止画に写っている場所を示す情報である。静止画データが地図サーバ３０から提供されたパノラマ画像であれば、ユーザ端末Ｔｕは、そのパノラマ画像に関連付けられており、そのパノラマ画像と共に地図サーバ３０からユーザ端末Ｔｕに提供された位置情報（住所や緯度経度など）を取得する。静止画データがユーザ自身により撮影され記録される場合には、ユーザ端末Ｔｕはその撮影時にＧＰＳ（Global Positioning System）等により算出した位置情報をその静止画データと関連付ける。あるいは、ユーザ端末Ｔｕはユーザにより入力された位置情報を受け付けてもよい。

ユーザ端末Ｔｕは取得した静止画データ、座標情報、及び位置情報を含む検索要求をＥＣサーバ１０に送信する。あるいは、ユーザ端末Ｔｕは、静止画データに対応する時期情報を更に含む検索要求をＥＣサーバ１０に送信してもよい。時期情報は、販売時期により商品を絞り込むための検索条件であり、具体的には、撮影画像の撮影日時であってもよいし、ユーザにより入力された販売時期であってもよい。受信部１２はユーザ端末Ｔｕから受信した検索要求を受信し、その検索要求に含まれている情報を解析部１３に出力する。

なお、ユーザが検索対象を指定することなく撮影画像を送った場合、すなわち検索要求に座標情報が含まれていない場合には、受信部１２はユーザに検索対象を問い合わせてもよい。この場合には、受信部１２はそのための問合せメッセージをユーザ端末Ｔｕに送信し、その問合せに応じてユーザ端末Ｔｕから送られてきた座標情報を受信する。

解析部１３は、静止画データを解析することで、商品情報を検索するための条件（検索条件）を抽出する手段である。解析部１３は、特徴点抽出やＯＣＲ（Optical Character Recognition）などの従来技術を用いて、静止画に写っている複数の被写体から複数の検索条件を抽出する。解析部１３は、画像データと比較するための画像オブジェクトを抽出してもよいし、商品名などのようにテキスト形式で示される項目と比較するための文字列を抽出してもよい。抽出される画像オブジェクトは、物体の形状のみで表されてもよいし、形状だけでなく色や模様、文字列（例えばラベルに表示された文字列）などにより表されてもよい。

解析部１３は一つの被写体から複数の検索条件を抽出してもよく、例えば、静止画に写っている一つのペットボトルから、そのペットボトルそのものの画像オブジェクトと、そのペットボトルのラベルから特定した商品名の文字列とを抽出してもよい。あるいは、解析部１３は抽出された画像オブジェクトから検索条件を推定してもよい。例えば、解析部１３は飲料の自動販売機の画像オブジェクトに基づいて商品のサイズが５００ｍｌ又は３５０ｍｌであると推定し、このサイズを検索条件として抽出してもよい。

続いて、解析部１３は座標情報を参照して、複数の被写体のうち、ユーザにより検索対象として選択された一個の被写体の領域を検索対象領域として特定し、１以上存在する他の被写体の領域を周辺領域として特定する。検索対象領域から抽出された検索条件は「第１の検索条件」であり、周辺領域から抽出された検索条件は「第２の検索条件」である。解析部１３は第１及び第２の検索条件を位置情報と共に検索部１４に出力する。検索要求が時期情報を含んでいる場合には、解析部１３は時期情報も検索部１４に出力する。

検索部１４は、第１及び第２の検索条件と位置情報とを用いてデータベース群２０を参照することで、検索対象に対応する商品情報を検索する手段である。この検索の際に、検索部１４は、入力された位置情報（静止画に関連付けられた位置情報）と一致又は近似する位置情報（関連場所の位置情報）を有する店舗情報を店舗データベース２１から抽出することで、静止画に写っている場所に対応する店舗ＩＤを特定する。そして、検索部１４は、その店舗ＩＤを有し、且つ商品属性が第１の検索条件に一致又は類似する商品情報（候補商品情報）を商品データベース２２から抽出することで、検索対象として指定された商品を推定する。検索要求が時期情報を含んでいる場合には、検索部１４は、特定された店舗ＩＤを有し、商品属性が第１の検索条件に一致又は類似し、且つ販売時期がその時期情報に対応する商品情報を候補商品情報として商品データベース２２から抽出する。

なお、「類似する商品」とは、形状や色などが被写体と似ている画像データを有する商品や、商品情報のテキスト項目（例えば商品名やブランド名、商品カテゴリなど）と被写体から抽出された文字列との間で語句の類似関係や包含関係がある商品などのことを指す。また、「販売時期が時期情報に対応する」とは、販売時期と時期情報で示される時期（指定時期）と一致すること、販売時期が指定時期を含むこと、あるいは販売時期が指定時期に含まれることをいう。

第１の検索条件が文字列であれば、検索部１４はその文字列と商品情報の任意のテキスト項目の値とを比較する。第１の検索条件が画像オブジェクトであれば、検索部１４はその画像オブジェクトと商品情報の画像データとを比較するが、この比較のために、例えば下記参考文献１，２に記載の手法が利用可能である。

（参考文献１）増田真樹、““フォト検索”搭載のAmazon公式アプリが人気”、［ｏｎｌｉｎｅ］、２０１０年６月７日、［２０１０年８月２４日検索］、インターネット＜URL: http://techwave.jp/archives/51461554.html＞
（参考文献２）“アマゾン iPhone向けアプリを無料提供 カメラを使った「フォト検索」も”、［ｏｎｌｉｎｅ］、２０１０年６月１８日、［２０１０年８月２４日検索］、インターネット＜URL: http://web-tan.forum.impressrd.jp/e/2010/06/18/8185＞

第１の検索条件に一致又は類似する商品情報（候補商品情報）を抽出すると、検索部１４は第２の検索条件、すなわちユーザが指定した被写体の周辺から得られた情報を用いて、その商品情報を絞り込む。この絞込方法は一つに限定されるものではなく、下記のように様々なものが考えられる。

第１の方法として、検索部１４は抽出された商品情報（候補商品情報）の中から第２の検索条件に一致又は類似するものを選択することで、商品情報を絞り込んでもよい。第２の検索条件が文字列であれば、検索部１４はその文字列と商品情報の任意のテキスト項目の値とを比較することで、その条件に対応する商品情報を選び出す。第２の検索条件が画像オブジェクトであれば、検索部１４はその画像オブジェクトと商品情報の画像データとを例えば上記参考文献１又は２の手法により比較することで、その条件に対応する商品情報を選び出す。

例えば、検索部１４は第１の検索条件である画像オブジェクトを用いて抽出された商品情報から、テキスト項目で示される任意の商品属性（例えば商品名やブランド名、商品カテゴリなど）が第２の検索条件に対応するものを選び出してもよい。また、検索部１４はテキスト項目で示される任意の商品属性（例えば商品名やブランド名、商品カテゴリなど）が第１の検索条件に対応する商品情報から、第２の検索条件で示される画像オブジェクトと一致又は類似するものを選び出してもよい。第１及び第２の検索条件が共に画像オブジェクトである場合や、共に文字列である場合もあり得る。

このように、商品属性が第１の検索条件だけでなく周辺領域から得られた第２の検索条件にも当てはまる商品情報を抽出することで商品情報が更に絞り込まれるので、商品検索の精度を上げることができる。

第２の方法として、検索部１４は近接度情報を参照して商品情報を絞り込んでもよい。具体的には、検索部１４は商品属性が第２の検索条件に一致又は類似する商品情報（周辺商品情報）を商品データベース２２から抽出することで、検索対象以外の被写体（すなわち、ユーザが指定した被写体の周囲に写っている物）がどの商品であるかを推定する。推定された周辺商品が複数の仮想店舗で取り扱われている場合にはその商品について商品情報のレコードが複数個抽出されるが、その場合には検索部１４はその重複を除去すればよい。

続いて、検索部１４は、静止画に写っている商品（検索対象商品及び周辺商品）に関する近接度情報を参照して、検索対象である可能性が高い商品を推定する。この処理において検索部１４は、関連場所の位置情報が、入力された位置情報と一致又は最も近似する近接度情報（すなわち、撮影場所に対応する近接度情報）を用いる。検索部１４は、その近接度情報を参照して、候補商品情報で示される一の検索対象商品と、周辺商品情報で示される一の周辺商品との近接度を、検索対象商品及び周辺商品のすべての組み合わせについて特定する。続いて、検索部１４は候補商品情報のうち近接度に基づく条件を満たすものを選び出す。

近接度情報を用いる処理の一例を図９〜１３を用いて説明する。図９に示すように、ある撮影場所における写真Ｄの被写体Ｐが検索対象であり、被写体Ｑ，Ｒが周辺商品であるとする。そして、被写体Ｐから商品Ｐ１，Ｐ２，Ｐ３が推定され、被写体Ｑから商品Ｑ１，Ｑ２，Ｑ３が推定され、被写体Ｒから商品Ｒ１，Ｒ２が推定されたものとする。そして、その撮影場所及び推定された商品に関する近接度情報が図１０に示すとおりであったとする。したがって、検索対象の商品Ｐ１，Ｐ２，Ｐ３と、周辺商品Ｑ１，Ｑ２，Ｑ３、Ｒ１，Ｒ２との近接度は図１１のようにまとめることができる。

この場合に検索部１４は、被写体Ｑの少なくとも一つの商品との近接度、及び被写体Ｒの少なくとも一つの商品との近接度の双方が所定の閾値以上である検索対象商品を選択してもよい。例えばその閾値を０．６とすれば、図１２に示すように検索部１４は商品Ｐ１，Ｐ３を選択する。商品Ｐ２が選択されないのは、被写体Ｑから推定された少なくとも一つの商品（商品Ｑ１，Ｑ２）との近接度は高いものの、被写体Ｒから推定された商品のいずれとも近接度が低いからである。

あるいは、検索部１４は周辺物に関する各被写体についての近接度の平均を求めた上で、その近接度がすべて所定の閾値以上である検索対象商品を選択してもよい。例えばその閾値を０．６とすれば、図１３に示すように検索部１４は商品Ｐ１を選択し、被写体Ｒから推定された商品との近接度の平均が閾値未満である商品Ｐ２と、被写体Ｑ，Ｒの双方について近接度の平均が閾値未満である商品Ｐ３とを取り除く。

図１２や図１３の例において選択した商品数が多いようであれば、検索部１４は近接度の平均が高い上位ｎ個の検索対象商品のみを最終的に選択してもよい。なお、近接度情報を用いた絞込みの方法は上記のものに限定されず、検索部１４は任意の手法で近接度情報に基づく絞込みを行ってよい。

このように、場所毎の商品の陳列に着目し、近接度情報を用いて商品を検索することで、その場所で写された商品の検索精度を上げることができる。

検索部１４は、上記第１及び第２の方法以外の手法を用いて、検索対象の商品に対応する商品情報を検索してもよい。検索部１４は最終的に抽出した商品情報を検索結果として送信部１５に出力する。

送信部１５は、その検索結果を含むウェブページを生成し、検索要求を送ってきたユーザ端末Ｔｕにそのウェブページを送信する手段である。検索結果はある一つの仮想店舗において取り扱われている１以上の商品を示している。したがって、送信部１５は、検索された商品を表示するとともに、その商品の購入手続を行うためのユーザ・インタフェース（例えば商品の購入ページへのリンクなど）を含むウェブページを生成及び送信してもよい。ユーザはそのページを操作して、検索対象として指定した被写体に対応する１以上の商品から所望のものを購入することができる。あるいは、ユーザは検索結果の画面を実店舗のスタッフに見せて、商品の問合せや商品の取寄せの依頼を行うことも可能である。

次に、図１４を用いて、ＥＣサーバ１０の動作を説明するとともに本実施形態に係る検索方法について説明する。

まず、ユーザ端末Ｔｕがユーザの操作に応じて静止画データ（撮影画像）を取得する（ステップＳ１１）。ユーザ端末Ｔｕは地図サーバ３０にアクセスすることで得た静止画データを取得してもよいし（ステップＳ１２）、自機により撮影及び生成された静止画データを取得してもよい。さらに、ユーザ端末Ｔｕは位置情報、及び検索対象の座標情報を取得し、必要に応じて時期情報も取得する（ステップＳ１３）。続いて、ユーザ端末Ｔｕは取得したこれらの情報を検索要求としてＥＣサーバ１０に送信する（ステップＳ１４）。

ＥＣサーバ１０では、受信部１２がその検索要求を受信する（取得ステップ）。続いて、解析部１３がその要求に含まれている静止画データを特徴点抽出やＯＣＲなどを用いて解析することで、検索対象領域から第１の検索条件を抽出するともに、周辺領域から第２の検索条件を抽出する（ステップＳ１５、解析ステップ）。

続いて、検索部１４が、検索要求から抽出された静止画データ以外の情報（少なくとも位置情報及び座標情報を含み、場合によっては時期情報を更に含む）と、第１及び第２の検索条件とを用いて商品情報を検索する。まず、検索部１４は、位置情報及び第１の検索条件を用いて商品データベース２２を検索することで、検索対象に対応する商品情報を抽出する（ステップＳ１６、検索ステップ）。具体的には、検索部１４は位置情報に基づいて特定した店舗ＩＤと、第１の検索条件とに対応する商品情報を商品データベース２２から抽出する。続いて、検索部１４は抽出した商品情報を第２の検索条件を用いて絞り込む（ステップＳ１７、検索ステップ）。この際に検索部１４は、抽出された商品情報のうち商品属性が第２の検索条件に対応するものを選択する上記第１の方法を用いたり、近接度情報を参照して商品情報を絞り込む上記第２の方法を用いたりすることができる。

このような二段階の検索処理により商品情報が抽出されると、送信部１５がその情報を検索結果としてユーザ端末Ｔｕに送信し（ステップＳ１８、送信ステップ）、ユーザ端末Ｔｕはその検索結果を受信して画面に表示する（ステップＳ１９）。この後、ユーザは必要に応じて、表示された商品の購入手続をユーザ端末Ｔｕ及びＥＣサイトを介して行うことができる。

次に、図１５を用いて、コンピュータをＥＣサーバ１０として機能させるための検索プログラムＰ１を説明する。

検索プログラムＰ１は、メインモジュールＰ１０、関連場所設定モジュールＰ１１、受信モジュールＰ１２、解析モジュールＰ１３、検索モジュールＰ１４、及び送信モジュールＰ１５を備えている。

メインモジュールＰ１０は、検索機能を統括的に制御する部分である。関連場所設定モジュールＰ１１、受信モジュールＰ１２、解析モジュールＰ１３、検索モジュールＰ１４、及び送信モジュールＰ１５を実行することにより実現される機能はそれぞれ、上記の関連場所設定部１１、受信部１２、解析部１３、検索部１４、及び送信部１５の機能と同様である。

検索プログラムＰ１は、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、半導体メモリ等の有形の記録媒体に固定的に記録された上で提供される。また、検索プログラムＰ１は、搬送波に重畳されたデータ信号として通信ネットワークを介して提供されてもよい。

以上説明したように、本実施形態によれば、撮影画像のうち、検索対象領域だけでなくその周辺の領域からも検索条件が抽出され、これら二種類の検索条件と、撮影画像に関連付けられている位置情報とに基づいて商品情報が検索される。このように、検索対象に関する情報（第１の検索条件）及び位置情報に加えて周辺物に関する情報（第２の検索条件）も用いることで商品を検索する手がかりが増えるので、商品検索の精度を上げることができる。また、商品情報を絞り込むことができるので、検索時間を短縮したり、ユーザ端末Ｔｕへ送る検索結果のデータ量を低減したりすることも可能になる。

静止画データとして得られる撮影画像は、地図サーバ３０から提供されるパノラマ画像であったり、ユーザにより撮影された写真であったりするので、雑誌に載るような商品の鮮明な画像とは異なり、被写体がぼやけていたり傾いて写っていたりすることがある。しかし、本実施形態のように、検索対象領域だけでなく周辺領域からも検索条件を抽出すれば、検索対象領域のみから検索条件を抽出する場合よりも検索の精度やスピードが向上する。

例えば、ユーザが酒屋の店頭のパノラマ画像から酒瓶を選択した場合に、値札から値段を抽出したり、周辺に写っている他の商品との大きさに基づいて瓶の大きさを特定したりした上で、これらの検索条件から商品情報が抽出される。撮影画像の画質が低い場合には検索結果として酒以外の商品が検索され得る。しかし、このような場合にはユーザは被写体そのものに完全に合致する商品を特定しようとするわけではなく、おおよその検索結果が得られれば足りると考えるので、本実施形態による検索手法は有効である。

別の例で、撮影画像に写っている自動販売機のジュースをユーザが選択した場合には、その周辺物である自動販売機の画像からメーカを特定したり、自動販売機内に並んでいる他の商品から缶またはペットボトルの大きさを特定したりした上で、これらの検索条件から商品情報が抽出される。このように、仮想店舗で取り扱われる商品以外の有体物（例えば自動販売機など）から得られる検索条件を用いた場合でも、検索の手がかりを増やして、商品検索の精度を上げることができる。

本実施形態において検索条件として時期情報も用いれば、商品を検索する手がかりが更に増えるので、商品検索の精度を上げることができる。

以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。

上記実施形態ではユーザに検索対象を指定させたが、ＥＣサーバは、ユーザにその指定をさせることなく、撮影画像内の各被写体について商品検索を実行してもよい。例えば図９に示す撮影画像Ｄを受信した場合には、検索部は、被写体Ｐを検索対象（被写体Ｑ，Ｒは周辺物）として検索をするだけでなく、被写体Ｑを検索対象（被写体Ｐ，Ｒは周辺物）とする検索と、被写体Ｒを検索対象（被写体Ｐ，Ｑは周辺物）とする検索も実行する。送信部は、被写体Ｐ，Ｑ，Ｒのそれぞれについての検索結果をユーザ端末に送信する。

上記実施形態では、検索機能を有するＥＣサーバ１０が地図サーバ３０とは別に設けられていたが、一つのサーバが検索機能及び地図提供機能の双方を備えていてもよい。また、本発明は仮想商店街における商品検索だけでなく、単独で構築されている仮想店舗における商品検索に対しても適用することができる。

上記実施形態における関連場所設定部１１は省略可能である。あるいは、その構成要素をＥＣサーバ１０とは異なるサーバ上に設けてもよい。

１…検索システム、１０…ＥＣサーバ、１１…関連場所設定部、１２…受信部、１３…解析部、１４…検索部、１５…送信部、２０…データベース群、２１…店舗データベース、２２…商品データベース、２３…近接度データベース、３０…地図サーバ、３１…地図データベース、Ｐ１…検索プログラム、Ｐ１０…メインモジュール、Ｐ１１…関連場所設定モジュール、Ｐ１２…受信モジュール、Ｐ１３…解析モジュール、Ｐ１４…検索モジュール、Ｐ１５…送信モジュール、Ｔｓ…店舗端末、Ｔｕ…ユーザ端末。

Claims (14)

1. ユーザ端末により指定された撮影画像と、該撮影画像に関連付けられた位置情報とを取得する取得部と、
   前記撮影画像を解析して、検索対象が写っている検索対象領域から第１の検索条件を抽出すると共に、該検索対象の周辺にある周辺物が写っている１以上の周辺領域から第２の検索条件を抽出する解析部と、
   店舗に関連付けられた場所を示す店舗情報と該店舗で取り扱われている商品を示す商品情報とを記憶する記憶部を前記第１の検索条件、前記第２の検索条件、及び前記位置情報を用いて参照することで、前記検索対象に対応する商品情報を抽出する検索部と、
   前記検索部により抽出された商品情報を前記ユーザ端末に送信する送信部と
   を備える検索装置。
2. 前記検索部が、前記位置情報で示される場所に関連付けられている店舗で取り扱われており、且つ前記第１及び第２の検索条件に対応する商品情報を抽出する、
   請求項１に記載の検索装置。
3. 前記記憶部が、所定の場所における複数の商品間の近接度を示す近接度情報を更に記憶しており、
   前記検索部が、前記第１の検索条件により抽出された候補商品情報で示される候補商品と、前記第２の検索条件により抽出された周辺商品情報で示される周辺商品との近接度を前記近接度情報により特定し、該近接度に基づいて該候補商品情報から前記検索対象に対応する商品情報を抽出する、
   請求項１又は２に記載の検索装置。
4. 前記検索部が、前記１以上の周辺領域のそれぞれについて、前記候補商品との近接度が所定の閾値以上である前記周辺商品が存在する場合に、該候補商品を示す候補商品情報を、前記検索対象に対応する商品情報として抽出する、
   請求項３に記載の検索装置。
5. 前記検索部が、前記１以上の周辺領域のそれぞれについて、前記候補商品と前記周辺商品との近接度の平均が所定の閾値以上である場合に、該候補商品を示す候補商品情報を、前記検索対象に対応する商品情報として抽出する、
   請求項３に記載の検索装置。
6. 前記検索部が、商品の属性が前記第１及び第２の検索条件の双方に対応する商品情報を、前記検索対象に対応する商品情報として抽出する、
   請求項１又は２に記載の検索装置。
7. 前記周辺物が、前記商品情報で示される商品以外の有体物を含む、
   請求項６に記載の検索装置。
8. 前記商品情報が、商品の販売時期を示す情報を含み、
   前記取得部が、前記撮影画像に関連付けられた時期情報を更に取得し、
   前記検索部が、更に時期情報を用いて前記記憶部を参照することで、前記検索対象に対応する商品情報を抽出する、
   請求項１〜７のいずれか一項に記載の検索装置。
9. 前記送信部が、前記抽出された商品情報で示される商品を前記店舗から購入するためのユーザ・インタフェースを含むウェブページを前記ユーザ端末に送信する、
   請求項１〜８のいずれか一項に記載の検索装置。
10. 前記撮影画像が、販売対象として陳列されている商品、又は屋外の媒体に表示されている商品を写した画像である、
    請求項１〜９のいずれか一項に記載の検索装置。
11. 商品が写っている準備用画像を画像解析して前記商品情報と照合するとともに、該準備用画像の撮影場所を示す場所情報を取得することで、該商品を取り扱う店舗と該撮影場所とが関連付けられた該店舗情報を設定する関連場所設定部を更に備える請求項１〜１０のいずれか一項に記載の検索装置。
12. 検索装置により実行される検索方法であって、
    ユーザ端末により指定された撮影画像と、該撮影画像に関連付けられた位置情報とを取得する取得ステップと、
    前記撮影画像を解析して、検索対象が写っている検索対象領域から第１の検索条件を抽出すると共に、該検索対象の周辺にある周辺物が写っている１以上の周辺領域から第２の検索条件を抽出する解析ステップと、
    店舗に関連付けられた場所を示す店舗情報と該店舗で取り扱われている商品を示す商品情報とを記憶する記憶部を前記第１の検索条件、前記第２の検索条件、及び前記位置情報を用いて参照することで、前記検索対象に対応する商品情報を抽出する検索ステップと、
    前記検索ステップにおいて抽出された商品情報を前記ユーザ端末に送信する送信ステップと
    を含む検索方法。
13. ユーザ端末により指定された撮影画像と、該撮影画像に関連付けられた位置情報とを取得する取得部と、
    前記撮影画像を解析して、検索対象が写っている検索対象領域から第１の検索条件を抽出すると共に、該検索対象の周辺にある周辺物が写っている１以上の周辺領域から第２の検索条件を抽出する解析部と、
    店舗に関連付けられた場所を示す店舗情報と該店舗で取り扱われている商品を示す商品情報とを記憶する記憶部を前記第１の検索条件、前記第２の検索条件、及び前記位置情報を用いて参照することで、前記検索対象に対応する商品情報を抽出する検索部と、
    前記検索部により抽出された商品情報を前記ユーザ端末に送信する送信部と
    をコンピュータに実行させる検索プログラム。
14. ユーザ端末により指定された撮影画像と、該撮影画像に関連付けられた位置情報とを取得する取得部と、
    前記撮影画像を解析して、検索対象が写っている検索対象領域から第１の検索条件を抽出すると共に、該検索対象の周辺にある周辺物が写っている１以上の周辺領域から第２の検索条件を抽出する解析部と、
    店舗に関連付けられた場所を示す店舗情報と該店舗で取り扱われている商品を示す商品情報とを記憶する記憶部を前記第１の検索条件、前記第２の検索条件、及び前記位置情報を用いて参照することで、前記検索対象に対応する商品情報を抽出する検索部と、
    前記検索部により抽出された商品情報を前記ユーザ端末に送信する送信部と
    をコンピュータに実行させる検索プログラムを記憶するコンピュータ読取可能な記録媒体。

Images