JP2009140058A - 情報提供プログラム、情報提供装置、及び情報提供方法 - Google Patents

Abstract

【課題】ユーザが所望する情報を含めたより有用な情報を、ユーザに対してより分かりやすく提供すること等が可能な情報提供プログラム、情報提供装置、及び情報提供方法を提供する。
【解決手段】本発明は、コンピュータを、物体領域の検出対象となる第１の画像を取得する第１画像取得手段、ユーザが所望する物体領域を有する第２の画像を登録する第２画像登録手段、前記第２の画像における前記物体領域と同一又は類似する範囲内にある対応物体領域を、前記第１の画像から検出する物体領域検出手段、及び、前記検出された対応物体領域と当該対応物体領域の周りの所定範囲内の周辺領域を表す情報を前記ユーザに対して提示する提示手段として機能させる。
【選択図】図３

Description

本発明は、ユーザが所望する物体領域を有する画像における該物体領域と同一又は類似する範囲内にある対応物体領域を、他の画像から検出し、その情報をユーザに対して提供する技術の分野に関する。

近年、インターネットの普及によりスーパーなどの多くの店舗がＷｅｂページ上でチラシの画像を公開している。チラシには、例えば店舗で販売される商品の安売り情報や特売情報等の消費者にとって短期間に有用な商品情報が掲載されており、その掲載のタイミングは店舗によって定期であったり、不定期であったりする。

ところで、消費者は、例えば、多くの店舗のチラシを見て、所望する商品を探し出し、それらの価格を比較して最も安い店舗で当該商品を購入することが多々ある。このような消費者であるユーザが、Ｗｅｂページ上でチラシを閲覧する場合、自身のパーソナルコンピュータ（以下、「ＰＣ」という）等の端末装置から各店舗のサイト（Ｗｅｂサーバ）にアクセスして当該Ｗｅｂページを取得する必要がある。

しかし、チラシに掲載される商品情報の更新タイミングは店舗によって様々であり、商品情報の更新を見逃さないように、ユーザが端末装置から各店舗のサイトに頻繁にアクセスしてチェックすることは、ユーザにとって大きな負担となる。また、商品情報が更新されていた場合に、ユーザが、その中から自身が所望する商品を探し出すことも、チラシの枚数（チラシが表示されるＷｅｂページの数）が多ければ負担となる。

従って、Ｗｅｂページにおいてユーザが所望する商品の商品情報が更新された場合に、それを自動的に検索してユーザに通知できる仕組みがあれば、上記ユーザの負担を解消できる。これを実現するためには、例えば、特許文献１に開示された類似画像検索技術を利用して、利用者の所望する商品の画像と類似する画像が掲載されたＷｅｂページを検索することが考えられる。
特開２００６−３３１４６０号公報

しかしながら、上述したチラシの場合、商品の価格が、当該商品の画像領域に重なることが多いなどにより、一部が欠如した画像領域をマッチングする技術が必要であるため、従来の類似画像検索技術を必ずしも適用できるとは限らない。また、仮に、従来の類似画像検索技術を適用できたとしても、ユーザの所望する商品と類似する商品の画像領域を表示するだけでは、例えば、当該商品の周りに表示された価格などをユーザが即時に確認することは困難であるという問題があった。

本発明は、このような問題等に鑑みてなされたものであり、その課題の一例は、ユーザが所望する情報を含めたより有用な情報を、ユーザに対してより分かりやすく提供すること等が可能な情報提供プログラム、情報提供装置、及び情報提供方法を提供することを目的とする。

上記課題を解決するために、請求項１に記載の情報提供プログラムの発明は、コンピュータを、物体領域の検出対象となる第１の画像を取得する第１画像取得手段、ユーザが所望する物体領域を有する第２の画像を登録する第２画像登録手段、前記第２の画像における前記物体領域と同一又は類似する範囲内にある対応物体領域を、前記第１の画像から検出する物体領域検出手段、及び、前記検出された対応物体領域と当該対応物体領域の周りの所定範囲内の周辺領域を表す情報を前記ユーザに対して提示する提示手段として機能させることを特徴とする。

この発明によれば、ユーザが所望する物体領域の周りに表示されたユーザが所望する情報を含めたより有用な情報を、ユーザに対してより分かりやすく提供することができる。

請求項２に記載の発明は、請求項１に記載の情報提供プログラムにおいて、前記第１画像取得手段は、互いに異なる複数の第１の画像を取得し、前記物体領域検出手段は、前記複数の第１の画像の夫々について前記物体領域の検出を行うことを特徴とする。

この発明によれば、複数の第１の画像の夫々について検出された物体領域と当該対応物体領域の周りの所定範囲内の周辺領域を表す情報をユーザに対して提示することができる。

請求項３に記載の発明は、請求項１又は２に記載の情報提供プログラムにおいて、前記第１画像取得手段は、ユーザにより指定あるいは選択されたＵＲＬに従って所定のサーバ装置にネットワークを介してアクセスして前記第１の画像を取得することを特徴とする。

この発明によれば、ユーザは、所望のＵＲＬを指定あるいは選択するだけで自動的に第１の画像が取得されるので、第１の画像の登録が容易である。

請求項４に記載の発明は、請求項３に記載の情報提供プログラムにおいて、前記第１画像取得手段は、ユーザにより指定あるいは選択されたＵＲＬに従って前記サーバ装置に定期的にアクセスすることにより、更新された前記第１の画像を取得することを特徴とする。

この発明によれば、第１の画像は、ユーザにより指定あるいは選択されたＵＲＬに従って定期的に取得されるので、ユーザが第１の画像を１度指定すればよく、また、最新の第１の画像を常に取得することができる。

請求項５に記載の発明は、請求項１乃至４の何れか一項に記載の情報提供プログラムにおいて、前記第２画像登録手段は、前記第１画像取得手段により過去に取得され登録されていた第１の画像をユーザに提示し、当該第１の画像において当該ユーザにより指定された物体領域を有する画像を、前記第２の画像として登録することを特徴とする。

この発明によれば、過去に登録された第１の画像の中から物体領域を指定することができるので、第２の画像の登録が容易である。

請求項６に記載の発明は、請求項１乃至４の何れか一項に記載の情報提供プログラムにおいて、前記第２画像登録手段は、ユーザにより指定あるいは選択されたＵＲＬに従って所定のサーバ装置にネットワークを介してアクセスして前記第１の画像を取得し、当該第１の画像をユーザに提示し、当該第１の画像において当該ユーザにより指定された物体領域を有する画像を、前記第２の画像として登録することを特徴とする。

この発明によれば、ユーザは、指定あるいは選択したＵＲＬに従って取得された第１の画像の中から物体領域を指定することができるので、第２の画像の登録が容易である。

請求項７に記載の発明は、請求項１乃至４の何れか一項に記載の情報提供プログラムにおいて、前記第２画像登録手段は、ユーザにより指定された画像を前記第２の画像として登録することを特徴とする。

この発明によれば、予め保存している画像を第２の画像として容易に登録することができる。

請求項８に記載の発明は、請求項１乃至７の何れか一項に記載の情報提供プログラムにおいて、前記物体領域検出手段は、前記第２画像登録手段により登録された第２の画像における物体領域を複数に分割し、当該分割した各分割領域と同一又は類似する範囲内にある対応分割領域を、前記第１の画像から検出することにより前記対応物体領域を検出することを特徴とする。

この発明によれば、第１の画像における物体領域の一部に対応物体領域の検出精度を低下させるような部分が入っているような場合であっても、精度良く対応物体領域を検出することができる。

請求項９に記載の発明は、請求項８に記載の情報提供プログラムにおいて、前記物体領域検出手段は、前記検出された対応分割領域の数に基づいて、前記対応物体領域の有無を判定することを特徴とする。

この発明によれば、物体領域と対応物体領域との類似度を明確にすることができる。

請求項１０に記載の発明は、請求項１乃至９の何れか一項に記載の情報提供プログラムにおいて、前記第１の画像は、Ｗｅｂページで公開されているチラシ画像であり、前記第２の画像における物体領域は商品が表示される領域であることを特徴とする。

請求項１１に記載の発明は、請求項１０に記載の情報提供プログラムにおいて、前記周辺領域は、前記商品の価格が表示される部分を含むように特定されることを特徴とする。

この発明によれば、ユーザが所望する商品の周りに表示された商品の価格を、ユーザに対してより分かりやすく提示することができる。

請求項１２に記載の発明は、請求項１乃至１１の何れか一項に記載の情報提供プログラムにおいて、前記提示手段は、前記対応物体領域が複数検出された場合に、少なくとも各対応物体領域に係る画像を、所定の順序で並べて表示させることを特徴とする。

この発明によれば、各対応物体領域に係る画像が所定の順序で並べられて表示されるので、ユーザは求める画像を容易に閲覧することができる。

請求項１３に記載の発明は、請求項１乃至９の何れか一項に記載の情報提供プログラムにおいて、前記第１の画像は、Ｗｅｂページで公開されているチラシ画像であり、前記第２の画像における物体領域は商品が表示される領域であり、前記コンピュータを、前記対応物体領域と前記周辺領域の少なくとも何れか一方に表示される商品の価格を文字認識する文字認識手段として更に機能させ、前記提示手段は、前記検出された対応物体領域と当該対応物体領域の周りの所定範囲内の周辺領域を表す情報と共に、前記認識された商品の価格を提示することを特徴とする。

この発明によれば、ユーザが所望する商品の周りに表示された商品の価格を、ユーザに対してより分かりやすく提示することができる。

請求項１４に記載の発明は、請求項１乃至９の何れか一項に記載の情報提供プログラムにおいて、前記第１の画像は、Ｗｅｂページで公開されている任意の画像であり、前記第２の画像における物体領域は商品に付されている物体が表示される領域であることを特徴とする。

この発明によれば、物体領域の周りの周辺領域が特定されることにより、物体が付されている商品をユーザに対して提示することができ、ユーザに対して全体を把握させることができる。

請求項１５に記載の発明は、請求項１乃至１４の何れか一項に記載の情報提供プログラムにおいて、前記第１の画像には、その有効期限を示す情報が付与されており、前記第１画像取得手段は、前記有効期限が経過していない前記第１の画像のみを取得することを特徴とする。

このように発明によれば、有効期限が経過した第１の画像を、ユーザが所望する物体領域の検出対象外とすることができる。

請求項１６に記載の発明は、請求項１乃至１５の何れか一項に記載の情報提供プログラムにおいて、先ずは類似度が最大となる前記対応物体領域の粗い探索を行い、その後、当該粗い探索により探索された対応物体領域が前記物体領域と同一又は類似する範囲内にあるどうかの細かい類似判定を行うことにより、最終的に前記対応物体領域を検出する。

この発明によれば、高速且つ正しい類似判定を期待することができる。

請求項１７に記載の発明は、物体領域の検出対象となる第１の画像を取得する第１画像取得手段と、ユーザが所望する物体領域を有する第２の画像を登録する第２画像登録手段と、前記第２の画像における前記物体領域と同一又は類似する範囲内にある対応物体領域を、前記第１の画像から検出する物体領域検出手段と、前記検出された対応物体領域と当該対応物体領域の周りの所定範囲内の周辺領域を表す情報を前記ユーザに対して提示する提示手段と、を備えることを特徴とする。

請求項１８に記載の発明は、物体領域の検出対象となる第１の画像を取得する第１画像取得工程と、ユーザが所望する物体領域を有する第２の画像を登録する第２画像登録工程と、前記第２の画像における前記物体領域と同一又は類似する範囲内にある対応物体領域を、前記第１の画像から検出する物体領域検出工程と、前記検出された対応物体領域と当該対応物体領域の周りの所定範囲内の周辺領域を表す情報を前記ユーザに対して提示する提示工程と、を備えることを特徴とする。

本発明によれば、第２の画像における物体領域と同一又は類似する範囲内にある対応物体領域を第１の画像から検出し、検出された対応物体領域と当該対応物体領域の周りの所定範囲内の周辺領域を表す情報をユーザに対して提示するように構成したので、物体の周りに表示されたユーザが所望する情報を含めたより有用な情報を、ユーザに対してより分かりやすく提供することができる。

以下、図面を参照して本発明の最良の実施形態について詳細に説明する。なお、以下に説明する実施の形態は、検索画像提供システムに対して本発明を適用した場合の実施形態である。

本実施形態に係る検索画像提供システムは、後述する「ちらしアンテナ」機能により、ユーザにより指定あるいは選択された、チラシの画像をＷｅｂページで公開する店舗の情報と、所望の商品が表示される商品画像を登録しておき、自動的に、上記店舗のチラシ画像を含むＷｅｂページを取得（収集）し、上記登録された商品画像に係る商品が掲載されているチラシ画像があった場合に、その情報をユーザに提供（通知）するようになっている。
［Ｉ．検索画像提供システムの構成及び機能］
先ず、本実施形態に係る検索画像提供システムの構成及び機能について、図１等を用いて説明する。

図１は、本実施形態に係る検索画像提供システムの概要構成例を示す図である。

図１に示すように、検索画像提供システムＳは、ユーザにより使用される端末装置（以下、「ユーザ端末」という）１、サーバ装置の一例としてのチラシ画像提供サーバ２、及び情報提供装置の一例としての検索画像提供サーバ３等を備えて構成されている。なお、図１の例では、説明の便宜上、ユーザ端末１及びチラシ画像提供サーバ２は夫々一つずつ示しているが、実際に夫々複数存在する。

ユーザ端末１は、例えばインターネットサービスプロバイダのサーバを通じて、インターネット等のネットワークＮＷ（通信回線及びルーター等の中継機器等により構成される）に接続可能になっており、当該ネットワークＮＷに接続する際、固有のアドレスが割り当てられるようになっている。

また、ユーザ端末１にはブラウザ（ソフト）がインストールされており、当該ユーザ端末１が当該ブラウザにより所定のＵＲＬ（Uniform Resource Locator）を指定あるいは選択（以下、選択も指定の一種とする）することでネットワークＮＷを介して所定のＷｅｂサーバにアクセスし当該ＵＲＬからＷｅｂページのデータ（例えば、ＨＴＭＬ（HyperText Markup Language）で記述されるデータ、及びページ上に埋め込まれる画像のデータを含む）を取得し、当該Ｗｅｂページをディスプレイ上に表示するようになっている。なお、ユーザ端末１とＷｅｂサーバ（店舗情報提供サーバ２及び画像検索提供サーバ３を含む）間のデータ送受信は、例えばＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）等が用いられる。また、ユーザ端末１としては、ＰＣ、ＰＤＡ等が適用可能である。

チラシ画像提供サーバ２及び検索画像提供サーバ３は、固有のＩＰアドレスが割り当てられネットワークＮＷに常時接続されており、ユーザ端末１からの要求に応じて情報提供を行うＷｅｂサーバの機能を有している。

また、チラシ画像提供サーバ２は、複数の店舗のチラシ画像を管理している。各店舗には、固有のＵＲＬが対応付けられ、言い換えれば、各店舗のＷｅｂページ毎にそのＵＲＬが異なる。これにより、ユーザ端末１（ブラウザ）で所望の店舗に対応するＵＲＬを指定すれば、その店舗のチラシ画像を含むＷｅｂページがユーザ端末１のディスプレイ上に表示されることになる。また、チラシ画像提供サーバ２は、検索画像提供サーバ３からの要求に応じて当該要求された店舗のチラシ画像を含むＷｅｂページを提供するようになっている。

一方、検索画像提供サーバ３は、チラシ画像提供サーバ２から例えば定期的又は不定期に、店舗のチラシ画像を含むＷｅｂページを取得し、ユーザ端末１により登録された商品画像に係る商品が掲載されているチラシ画像があった場合に、その情報をユーザ端末１に提供するようになっている。

図２は、検索画像提供サーバ３の概要構成例を示す図である。

図２に示すように、検索画像提供サーバ３は、通信部３１、記憶部３２、及びシステム制御部３３等を備えて構成されている。

通信部３１は、ネットワークＮＷに接続して、ユーザ端末１又はチラシ画像提供サーバ２との通信状態（セッション）を制御する。

記憶部３２は、例えば、ハードディスクドライブ等からなり、オペレーティングシステム（Ｏ／Ｓ），各種プログラムおよびデータ等を記憶する。ここで、記憶部３２に記憶されるプログラムには、検索画像提供アプリケーションプログラム（本発明の情報提供プログラムを有する）等が含まれる。

また、記億部３２には、ユーザ情報登録データベース（ＤＢ）３２ａ、店舗情報登録データベース３２ｂ、商品画像登録データベース３２ｃ、及びチラシ画像登録データベース３２ｄが構築されている。

ユーザ情報登録データベース３２ａには、当該システムを利用するための会員登録されたユーザ（ユーザ端末１のユーザ）に固有のユーザＩＤ、パスワード、及び携帯電話機の電子メールアドレス等のユーザ情報が、ユーザ毎に判別可能に登録されている。

店舗情報登録データベース３２ｂには、チラシ画像（本発明における第１の画像の一例）をＷｅｂページで公開する店舗であってユーザにより指定された店舗の情報（例えば、店舗固有のＵＲＬ（言い換えれば、当該店舗のチラシ画像を含むＷｅｂページのＵＲＬ（Uniform Resource Locator）））が、例えばユーザＩＤに対応付けられてユーザ毎に判別可能に登録されている。なお、各ユーザ毎に複数の店舗のＵＲＬが登録可能である。

商品画像登録データベース３２ｃには、ユーザにより指定された商品画像（本発明における第２の画像の一例）（画像ファイル）が、例えばユーザＩＤに対応付けられてユーザ毎に判別可能に登録されている。かかる商品画像には、ユーザが所望する商品の外観が表示される。なお、各ユーザ毎に複数の商品画像が登録可能である。

チラシ画像登録データベース３２ｄには、チラシ画像提供サーバ２から取得（収集）されたチラシ画像（画像ファイル）が、例えばユーザＩＤに対応付けられてユーザ毎に判別可能に登録されている。また、チラシ画像登録データベース３２ｄには、ユーザ毎に、チラシ画像からの当該ユーザが所望する商品（上記商品画像登録データベース３２ｃに登録された商品画像における商品）の検出結果を示す商品検出結果情報が当該チラシ画像に対応付けられて登録される。

システム制御部３３は、ＣＰＵ（Central Processing Unit）３３ａ，ＲＯＭ（Read Only Memory）３３ｂ，及びメインメモリと画像メモリとして使用されるＲＡＭ（Random Access Memory）３３ｃ等を備えて構成されている。そして、システム制御部３３は、上記検索画像提供アプリケーションプログラムを実行することにより、本発明における第１画像取得手段、第２画像登録手段、物体領域検出手段、文字認識手段、及び提示手段等として機能し、検索画像提供サーバ３が「ちらしアンテナ」機能を有するようになっている。

図３は、検索画像提供サーバ３のちらしアンテナ機能に係る機能ブロック例を示す図である。

図３の例では、ちらしアンテナ機能は、インターフェース部３３１（本発明における第２画像登録手段及び提示手段の一例）、クローラ部３３２（本発明における第１画像取得手段の一例）、及び商品検出部３３３（本発明における物体領域検出手段及び文字認識手段の一例）を備えている。

インターフェース部３３１は、ネットワークＮＷを介して接続されたユーザ端末１からのログイン要求（ユーザＩＤ及びパスワードを含む）に応じてログイン処理を行うようになっており、当該ログイン要求に含まれるユーザＩＤ及びパスワードがユーザ情報登録データベース３２ａに登録されている場合にはログインを許可するようになっている。

そして、インターフェース部３３１は、当該ログインが許可されたユーザが所望する商品が表示される領域（本発明における物体領域の一例、以下、「商品領域」という）を有する商品画像（画像ファイル）を、当該ユーザのユーザ端末１からの要求に応じて、当該ユーザのユーザＩＤに対応付けて商品画像登録データベース３２ｃに登録するようになっている。ここで、商品画像上における商品領域は、例えば、ユーザ端末１のディスプレイ上に表示された商品画像上でユーザが例えばマウスのドラッグ機能を用いて指定することができる。また、商品画像は、後述するクローラ部３３２により過去に取得されチラシ画像登録データベース３２ｄに登録されているチラシ画像、又はチラシ画像提供サーバ２に現に登録されているチラシ画像から抽出し利用することができる。或いは、当該商品画像は、ユーザが過去に取得しユーザ端末１に保存していたものをアップロードすることで利用することもできる。

また、インターフェース部３３１は、当該ログインが許可されたユーザにより指定された店舗の情報（例えば、店舗に対応するＵＲＬ）を、当該ユーザのユーザ端末１からの要求に応じて、当該ユーザのユーザＩＤに対応付けて店舗情報登録データベース３２ｂに登録するようになっている。

更に、インターフェース部３３１は、ユーザにより指定された店舗のチラシ画像からの当該ユーザが所望する商品の検出結果を示す商品検出結果情報を、例えばユーザ端末１を通じて当該ユーザに対して提示（例えばディスプレイに表示させる或いはスピーカから音声出力させることなどにより提示）するようになっている。かかる商品検出結果情報の具体例としては、後述する商品検出部３３３により商品画像から検出された、上記商品領域と同一又は類似する範囲内にある対応商品領域（本発明における対応物体領域の一例）と当該対応商品領域の周りの所定範囲内の周辺領域を表す情報等が挙げられる。

なお、商品検出結果情報は、現在接続されており且つログインが許可されたユーザのユーザ端末１に対しては検索画像提供サーバ３から直接送信されるが、ユーザ端末１が検索画像提供サーバ３に接続されていない場合、商品検出結果情報を含む電子メールが当該ユーザ端末１のユーザの携帯電話機の電子メールアドレス宛に送信されるように構成すれば、当該ユーザは携帯電話機を用いて電子メールで当該商品検出結果情報を直ちに把握することができるので効果的である。

次に、クローラ部３３２は、上記商品領域の検出対象となるチラシ画像を取得し、チラシ画像登録データベース３２ｄに登録するようになっている。例えば、クローラ部３３２は、ユーザ端末１からの指示又はバッチ処理により、ユーザ端末１のユーザにより指定され店舗情報登録データベース３２ｂに登録された店舗のＵＲＬに従ってチラシ画像提供サーバ２にネットワークＮＷを介してアクセスして当該チラシ画像を取得（ユーザ毎に取得）する。

また、クローラ部３３２は、例えば所謂クローリング機能を用いて、当該チラシ画像提供サーバ２に定期的にアクセスすることにより、チラシ画像の更新をチェックして更新されている場合にはそのチラシ画像を取得するように構成すれば、常に最新のチラシ画像を取得できるのでより効果的である。

なお、当該チラシ画像はユーザ毎に取得され、当該ユーザ毎に判別可能にチラシ画像登録データベース３２ｄに登録されることになる。

次に、商品検出部３３３は、あるユーザについて、商品画像登録データベース３２ｃに登録された商品画像における商品領域と同一又は類似する範囲内にある対応商品領域を、上記クローラ部３３２により取得されたチラシ画像から検出（抽出）する処理を行うようになっている。例えば、商品検出部３３３は、取得されたチラシ画像に対応付けられるユーザＩＤをキーとしてこれに対応する１又は複数の商品画像を商品画像登録データベース３２ｃから取得して、当該チラシ画像から上記対応商品領域を検出する処理を行う。かかる処理が行われるタイミングは、クローラ部３３２がチラシ画像を取得した際（直ちに）であっても良いし、或いは当該チラシ画像がチラシ画像登録データベース３２ｄに登録された後所定時間後であっても良い。

なお、商品画像における商品領域と同一又は類似する範囲内にある対応商品領域の検出には、公知の様々な類似画像検索技術を適用することができるが、本実施形態においては、後述するが、チラシ画像からより精度良く対応商品領域を検出する手法を採用している。
［II．検索画像提供システムの動作］
次に、本実施形態に係る検索画像提供システムの動作について説明する。

（II−１．事前登録）
チラシ画像からの対応商品領域検出を行うためには、店舗の情報及び商品画像を事前登録する必要がある。

先ず、店舗の情報の登録について、図４及び図５を参照して説明する。

図４は、ユーザ端末１のディスプレイ上に表示された店舗情報登録画面の一例を示す図であり、図５は、検索画像提供サーバ３のシステム制御部３３における店舗の情報の登録処理を示すフローチャートである。

図４に示す店舗情報登録画面（Ｗｅｂページ）は、検索画像提供サーバ３に接続されたユーザ端末１からのログイン要求に応じてログインが許可された後に、当該ユーザ端末１のユーザの操作にしたがって表示される。図４の画面例において、ユーザが、店の選択欄５１近傍の矢印ボタン５１ａを例えばマウスでクリックすると、予め用意（検索画像提供サーバ３側で用意）された店舗の名称の一覧５１ｂがプルダウン表示され、当該ユーザはこの中から所望の店舗の名称を指定（選択）することができる。図４の例では、店舗「ＣＣＣ」が選択されている。そして、ユーザが所望の店舗の名称を指定した後、次へボタン５１ｃを例えばマウスでクリックすると、例えば登録確認画面を経て、当該指定された店舗の名称を示す情報等が検索画像提供サーバ３に送信されることになる。

一方、上記一覧５１ｂにユーザが所望する店舗の名称が表示されていない場合、図４の画面例において、ユーザは所望の店舗のＷｅｂページのＵＲＬと店舗の名称を例えばキーボードによりＵＲＬ入力欄５２と店舗の名称入力欄５３に入力し、次へボタン５２ａを例えばマウスでクリックすると、例えば登録確認画面を経て、当該入力されたＵＲＬと店舗の名称を示す情報等が検索画像提供サーバ３に送信されることになる。

図５に示す登録処理は、検索画像提供サーバ３が、ユーザ端末１から上記店舗の名称を示す情報等を受信した場合に開始される。すなわち、例えば、図４の店舗情報登録画面において、ユーザからの指定に基づいて、ユーザ端末１からなんらかの情報が送信されてきたとき、開始される。当該登録処理が開始されると、システム制御部３３（インターフェース部３３１）は、予め用意されていた店舗の名称からの登録であるか否かを判別し（ステップＳ１）、予め用意されていた店舗の名称からの登録である場合には（ステップＳ１：ＹＥＳ）、予め用意されている店舗リストを参照して、上記受信された店舗の名称を示す情報に対応付けられているＵＲＬを特定して当該ＵＲＬを店舗の情報として当該ユーザ端末１のユーザのユーザＩＤに対応付けて店舗情報登録データベース３２ｂに登録し（ステップＳ２）、当該処理を終了する。すなわち、例えば、図４の例において、ユーザが、店の選択欄５１近傍の矢印ボタン５１ａを例えばマウスでクリックすることで、予め用意（検索画像提供サーバ３側で用意）された店舗の名称の一覧５１ｂから所望の店舗の名称を指定（選択）した場合、この処理が実行される。

一方、予め用意されていた店舗の名称からの登録でない場合（ステップＳ１：ＮＯ）、システム制御部３３（インターフェース部３３１）は、受信されたＵＲＬと店舗の名称の組を上記店舗リストに新たに登録する（ステップＳ３）。すなわち、例えば、図４の例において、ユーザが、所望の店舗のＷｅｂページのＵＲＬを例えばキーボードによりＵＲＬ入力欄５２に入力し、次へボタン５２ａを例えばマウスでクリックした場合に、この処理が実行される。これにより、新たに登録された店舗の名称は、次回以降、ユーザ端末１においてプルダウン表示される一覧５１ｂに追加表示されることになる。

次いで、システム制御部３３（インターフェース部３３１）は、上記受信されたＵＲＬを店舗の情報として当該ユーザ端末１のユーザのユーザＩＤに対応付けて店舗情報登録データベース３２ｂに登録し（ステップＳ４）、当該処理を終了する。

次に、商品画像の登録について、図６及び図７を参照して説明する。

図６は、ユーザ端末１のディスプレイ上に表示された商品画像登録画面の一例を示す図であり、図７は、検索画像提供サーバ３のシステム制御部３３における商品画像登録処理を示すフローチャートである。

図６に示す商品画像登録画面（Ｗｅｂページ）は、検索画像提供サーバ３に接続されたユーザ端末１からのログイン要求に応じてログインが許可された後に、当該ユーザ端末１のユーザの操作にしたがって表示される。ユーザが過去に取得しユーザ端末１に保存していた商品画像（既にユーザにより指定された商品領域が表された商品画像）を登録したい場合、図６の画面例において、当該ユーザは、ファイル名入力欄６１近傍の参照ボタン６１ａを例えばマウスでクリックして所望する商品画像のファイル名を指定することができる。そして、ユーザが所望する商品画像のファイル名を指定した後、次へボタン６１ｂを例えばマウスでクリックすると、例えば登録確認画面を経て、当該指定された商品画像のファイル等が検索画像提供サーバ３に送信されることになる。

一方、ユーザがチラシ画像提供サーバ２に現に登録されているチラシ画像から商品画像を抽出したい場合、図６の画面例において、当該ユーザは所望の店舗のＷｅｂページあるいは画像のＵＲＬを例えばキーボードによりＵＲＬ入力欄６２に入力（指定）し、領域指定へボタン６２ａを例えばマウスでクリックすると、当該入力されたＵＲＬ等が検索画像提供サーバ３に送信されることになる。

一方、ユーザが過去に取得されたチラシ画像から商品画像を抽出したい場合、図６の画面例において、当該ユーザは過去のチラシを見るボタン６３を例えばマウスでクリックすると、当該過去のチラシ一覧要求が検索画像提供サーバ３に送信されることになる。

図７に示す登録処理は、検索画像提供サーバ３が、商品画像登録画面（Ｗｅｂページ）データのユーザ端末１への送信後、当該ユーザ端末１から情報を受信した場合に開始される。当該登録処理が開始されると、システム制御部３３（インターフェース部３３１）は、受信した情報の内容に応じた処理を行う（ステップＳ１１）。例えば、商品画像のファイルが受信された場合には（ステップＳ１１：商品画像ファイル受信）（例えば、図６のファイル名入力欄６１近傍の参照ボタン６１ａを例えばマウスでクリックして所望する商品画像のファイル名が指定された場合には）、システム制御部３３（インターフェース部３３１）は、当該受信された商品画像（ファイル）を当該ユーザ端末１のユーザのユーザＩＤに対応付けて商品画像登録データベース３２ｃに登録し（ステップＳ１２）、当該処理を終了する。

一方、上記ステップＳ１１において例えばＵＲＬが受信された場合には（ステップＳ１１：ＵＲＬ受信）（例えば、図６の画面例において、ＵＲＬ入力欄６２にＵＲＬを入力（指定）し、領域指定へボタン６２ａを例えばマウスでクリックした場合には）、システム制御部３３（インターフェース部３３１）は、当該ＵＲＬに従ってチラシ画像提供サーバ２にネットワークＮＷを介してアクセスして例えば最新のチラシ画像を取得し（ステップＳ１３）、当該チラシ画像を含む領域指定画面のＷｅｂページデータをユーザ端末１に送信（ステップＳ１４）して表示させることにより当該チラシ画像をユーザに提示する。そして、当該ユーザ端末１のディスプレイ上に表示されたチラシ画像において当該ユーザにより商品領域が指定（例えば、マウスにより指定）された場合には、当該指定された商品領域を示す情報が検索画像提供サーバ３に送信され、それが検索画像提供サーバ３により受信される（ステップＳ１５）。そして、システム制御部３３（インターフェース部３３１）は、当該チラシ画像においてユーザにより指定された商品領域を有する商品画像を切り出し（例えば商品領域を囲む矩形状の画像）、これを商品画像として当該ユーザ端末１のユーザのユーザＩＤに対応付けて商品画像登録データベース３２ｃに登録し（ステップＳ１６）、当該処理を終了する。

一方、上記ステップＳ１１において例えば過去のチラシ一覧要求が受信された場合には（ステップＳ１１：チラシ一覧要求受信）（例えば、図６の画面例において、過去のチラシを見るボタン６３が例えばマウスによりクリックされた場合には）、システム制御部３３（インターフェース部３３１）は、当該ユーザ端末１のユーザのユーザＩＤに対応付けてチラシ画像登録データベース３２ｄに登録されているチラシ画像のファイル名（例えば店舗の名称及び日付からなる）や画像一覧を当該ユーザ端末１に送信する（ステップＳ１７）して表示させる。こうして表示されたチラシ画像のファイル名一覧中からユーザにより所望のチラシ画像のファイル名が選択されると、システム制御部３３（インターフェース部３３１）は、当該ファイル名を受け付け（ステップＳ１８）、当該選択されたチラシ画像を含む領域指定画面のＷｅｂページデータをユーザ端末１に送信（ステップＳ１４）して表示させることにより当該チラシ画像をユーザに提示する。そして、当該ユーザ端末１のディスプレイ上に表示されたチラシ画像において当該ユーザにより商品領域が指定（例えばマウスにより指定）された場合には、上記と同様、ステップＳ１５及びＳ１６の処理が行われる。

ここで、チラシ画像における商品領域の指定について説明する。

図８は、ユーザ端末１のディスプレイ上に表示された領域指定画面の一例を示す図である。図８（Ａ）に示すように領域指定画面に表示されたチラシ画像上で、ユーザは、ユーザ端末１の例えばマウスでポインタを合わせ所望の商品の縁部分をなぞる（ドラッグする）ことにより、線Ｌを引くことで当該線Ｌにより囲まれた領域を商品領域Ｒとして指定することができる。

ただし、図８（Ａ）に示すように、ユーザが指定したい商品領域Ｒ内に不要領域ＯＲが混入していることがあり、このような不要領域ＯＲが混入した画像を用いて対応商品領域の検出を行うと、検出精度を下げる要因となるため、ユーザは、図８（Ｂ）に示すように、このような不要領域ＯＲが除外された商品領域ＲＺを指定すると良い。

なお、商品領域の指定は、図８に示したように、商品の縁部分をなぞる方法の他にも、物体領域上に引いた手がかりと、背景領域上に引いた手がかりから、物体領域を抽出する技術である、例えばLazy Snappingのロジック等の公知技術（詳細は、Y. Li, J. Sun, C. K. Tang and H. Y. Shum, “Lazy Snapping, ” ACM Transactions on Graphics (TOG), Vol.23, Issue.3, pp.303-308, Aug.2004.を参照）等を利用することができる。

図９は、Lazy Snappingにより商品領域を指定した例を示す図である。図９に示すように、Lazy Snappingによれば、商品領域ＲＺ内に数本線ＬＺ及び商品領域ＲＺ外の背景領域に数本線ＢＬを引くだけで商品領域を抽出、指定することができ、線を１本追加する度に、逐次的に商品領域の再抽出が行われるため、ユーザは抽出結果を見ながら線の追加、削除を行うことができ、インタラクティブな商品領域の指定が可能となる。

以上のようにして、各ユーザは、複数の商品画像を商品画像登録データベース３２ｃに登録することができ、当該登録されている複数の商品画像の中から、必要に応じてどれを適用し、どれを不適用にするかを選択することができる。

図１０は、ユーザ端末１のディスプレイ上に表示された商品画像適用／不適用設定画面の一例を示す図であり、図１１は、検索画像提供サーバ３のシステム制御部３３における商品画像適用／不適用設定処理を示すフローチャートである。

図１０に示す商品画像適用／不適用設定画面（Ｗｅｂページ）は、検索画像提供サーバ３に接続されたユーザ端末１からのログイン要求に応じてログインが許可された後に、当該ユーザ端末１のユーザの操作にしたがって表示される。図１０の画面例には、当該ユーザにより登録された複数の商品画像が表示されており、各商品画像の近傍には、当該商品画像の適用／不適用を設定するためのチェックボックス９１が表示されている。

ユーザは、このように表示された商品画像のうち適用したい商品画像に対応するチェックボックス９１を例えばマウスでクリックしてチェックを入れ、逆に不適用にしたい商品画像に対応するチェックボックス９１のチェックを外し、設定を更新するボタン９２を例えばマウスでクリックすると、各商品画像の適用／不適用を示す情報等が検索画像提供サーバ３に送信されることになる。

図１１に示す設定処理は、検索画像提供サーバ３が、各商品画像の適用／不適用を示す情報を受信した場合に開始される。当該設定処理が開始されると、システム制御部３３（インターフェース部３３１）は、受信された各商品画像の適用／不適用を示す情報に基づいて、当該ユーザ端末１のユーザのユーザＩＤに対応付けられて商品画像登録データベース３２ｃに登録されている商品画像に対して付加されている適用又は不適用を示す情報を更新し（ステップＳ２１）、当該処理を終了する。こうして、不適用となった商品画像については、対応商品領域の検出の際に使用されないことになる。

（II−２．チラシ画像の取得）
次に、チラシ画像の取得について、図１２を参照して説明する。

図１２は、検索画像提供サーバ３のシステム制御部３３におけるチラシ画像の取得処理を示すフローチャートである。

図１２に示す処理は、例えばクローリング機能により定期的に開始される。なお、この場合、当該処理は、ユーザ端末１が検索画像提供サーバ３に接続されていない場合であっても実行される。

図１２に示す処理が開始されると、システム制御部３３（クローラ部３３２）は、ユーザ情報登録データベース３２ａからユーザＩＤを一つ特定し、当該ユーザＩＤに対応付けられて登録されている店舗のＵＲＬを店舗情報登録データベース３２ｂから取得する（ステップＳ３１）。

次いで、システム制御部３３（クローラ部３３２）は、当該取得した店舗のＵＲＬの一つを特定し当該ＵＲＬに従ってチラシ画像提供サーバ２にネットワークＮＷを介してアクセスして、例えば更新されているチラシ画像がある場合には、当該チラシ画像を取得し（ステップＳ３２）、チラシ画像登録データベース３２ｄに登録する。なお、当該ＵＲＬを基にフラッシュやＰＤＦのデータを取得しても良い。

次いで、システム制御部３３（クローラ部３３２）は、未だ特定していない店舗のＵＲＬがあるか否かを判別し（ステップＳ３３）、ある場合には（ステップＳ３３：ＹＥＳ）、ステップＳ３２に戻り、次の店舗のＵＲＬを特定して上記と同様の処理を行う。一方、未だ特定していない店舗のＵＲＬがない場合には（ステップＳ３３：ＮＯ）、当該処理を終了する。

なお、このチラシ画像の取得処理は、登録されている全てのユーザについて実行されることになる。

また、図１２の処理では、ユーザＩＤ毎に指定されたＵＲＬのチラシ画像が取得されているが、複数のユーザが夫々同じＵＲＬを指定しているような場合（すなわちＵＲＬが重複している場合）には、一旦取得したチラシ画像を参照すればよいので、上記ステップＳ３２の処理をスキップするようにしてもよい。さらに別の処理方法を記載すると、図１２の処理とせずとも、各ユーザが指定したＵＲＬを取得して、同一のＵＲＬの画像を何度も取得しないように整理した上で、ＵＲＬに対応するチラシ画像を取得するようにしてもよい。このようにすることで、重複しているＵＲＬに対するチラシ画像取得の処理を省略することができ、効率がよい。

また、各チラシ画像に有効期限を示す情報が付与されている場合には、システム制御部３３（クローラ部３３２）は、上記ステップＳ３２において有効期限が経過していないチラシ画像のみをチラシ画像提供サーバ２に要求して取得するように構成しても良い。或いは、システム制御部３３（クローラ部３３２）は、有効期限を示す情報が付加されたチラシ画像をチラシ画像提供サーバ２から取得した場合には、有効期限が経過していないチラシ画像のみをチラシ画像登録データベース３２ｄに登録するように構成しても良い。このように構成すれば、有効期限が経過したチラシ画像を、ユーザが所望する商品の検索対象外とすることができ、有効期限内のチラシ画像から検出された商品をユーザに提示することができる。

（II−３．チラシ画像からの対応商品領域の検出）
次に、チラシ画像からの対応商品領域の検出について、図１３を参照して説明する。

図１３は、検索画像提供サーバ３のシステム制御部３３における対応商品領域検出処理を示すフローチャートである。

図１３に示す処理は、例えば、図１２に示すチラシ画像の取得処理においてチラシ画像を取得された場合に開始される。

図１３に示す処理が開始されると、システム制御部３３（商品検出部３３３）は、商品画像登録データベース３２ｃを参照して、チラシ画像が取得されたユーザのユーザＩＤを一つ特定し、上記特定したユーザＩＤに対応付けられた商品画像のうち採用が付加されている商品画像を一つ取得する（ステップＳ４１）。

次いで、システム制御部３３（商品検出部３３３）は、上記特定されたユーザＩＤについて上記クローラ部３３２により取得されたチラシ画像をチラシ画像登録データベース３２ｄから一つ取得する（ステップＳ４２）。

次いで、システム制御部３３（商品検出部３３３）は、対応商品領域検出の前処理を行う（ステップＳ４３）。この前処理においては、先ず、上記取得された商品画像における商品領域（ユーザにより指定された領域）内から例えば内接四角形が切り出される。

図１４は、商品領域から切り出された内接四角形の一例を示す図である。このように内接四角形を切り出す理由は、商品領域が図１４に示すように複雑な図形のままで対応商品領域の検出が行われると処理時間がかかるため、当該処理時間を短縮すべく切り出し後の商品領域を用いるのである。ただし、このような内接四角形の切り出しは、商品領域自体が単純な図形（例えば、四角形）であれば行わなくても良い。

次に、当該前処理においては、切り出された内接四角形の商品領域が複数（例えば、５つ）に分割され、当該分割された分割領域を有する部分画像が複数生成（部分画像の組）される。なお、分割数は、特に５つでなくとも良い。また、分解領域は互いに重なりあっても良い。

図１５は、分割された５つの部分画像の一例を示す図である。図１５の例では、切り出された四角形の領域のうち、左上の領域が部分画像Ｒ０として、右上の領域が部分画像Ｒ１として、左下の領域が部分画像Ｒ２として、右下の領域が部分画像Ｒ３として、中央の領域が部分画像Ｒ４として、夫々生成されている。このように部分画像を生成する理由は、チラシ画像における商品領域（例えば、四角形の領域）の一部が価格（値段）表示などによって遮蔽されることがあり、そのままで対応商品領域の検出が行われると検出精度を下げるため、当該検出精度を向上させるべく部分画像を用いるのである。これにより、遮蔽されている部分に対応する部分画像では検出ミスしても、他の遮蔽されていない部分に対応する部分画像では正しい結果を得ることができる。

次いで、システム制御部３３（商品検出部３３３）は、画像マッチング処理（画像探索処理ともいう）を行う（ステップＳ４４）。この画像マッチング処理において、システム制御部３３（商品検出部３３３）は、先ず、上記生成された各部分画像Ｒ０〜Ｒ４の色の分散値を求める。色の分散値が閾値より小さい部分画像は、以後の対応部分領域（本発明における対応分割領域の一例）の探索及び類似判定には使用されない（色の分散値によるフィルタリング）。この理由は、色の分散値が小さい画像とはほぼ単色で平坦な画像であると言え、そのような画像を探索や類似判定に用いると、チラシ画像の背景や価格表示などの単色で平坦な部分領域において類似度が高くなりやすく、誤検出率が高くなるからである。

そして、当該画像マッチング処理において、システム制御部３３（商品検出部３３３）は、部分画像の組における色の分散値が閾値以上の部分画像のうち、一つの部分画像（例えば、図１５に示す部分画像Ｒ０）を特定し、上記取得したチラシ画像内で、当該特定した部分画像の位置をずらしながら（設定により、部分画像を、回転、拡大、縮小させる）、当該部分画像（部分画像における領域）と最も類似（同一となる場合もある）する対応部分領域を探索し、その位置を検出する。本実施形態においては、このような対応部分領域の探索を、２段階で行うようになっており、１段階目にアクティブ探索法、２段階目にテンプレートマッチング法を用いている。つまり、システム制御部３３（商品検出部３３３）は、アクティブ探索法とテンプレートマッチング法を用いて先ずは類似度が最大となる対応部分領域の粗い探索を行う。そして、その後、後述するように、システム制御部３３（商品検出部３３３）は、当該粗い探索により探索された対応部分領域が部分画像（部分画像における領域）と同一又は類似する範囲内にあるどうかの細かい類似判定を行うことにより、最終的に対応部分領域を検出することになる。

なお、アクティブ探索法は、処理は高速であるが正確さがやや低い一方、テンプレートマッチング法は、処理は遅いが正確な位置を得ることができるので、アクティブ探索法で大体の位置を検出し、その周辺領域でテンプレートマッチング法を用いることで効率よく正確な結果を得ることができる。また、チラシ画像は店舗によって、画像サイズが１辺２０００（ｐｘ）以上の大きな画像も珍しくなく、探索は画像サイズに比例して処理時間が増大するので、この２段階の手順を踏むことは、処理時間の観点からも望ましい。

ここで、アクティブ探索法とテンプレートマッチング法の原理を簡単に説明する。

アクティブ探索法とは、色ヒストグラム間類似度を用いてテンプレートを大きくスキップさせながら高速にマッチングを行い、参照画像（本実施形態における部分画像に相当）と類似度が最大となる入力画像（本実施形態におけるチラシ画像に相当）内の位置を検出する手法である。本実施形態においては、同じ商品であってもチラシ画像毎の色の輝度や、多少の色の変化に対応するために、色ヒストグラムの分割は粗くしている。具体的には、ＲＧＢ色空間のＲＧＢ各軸を３分割することで、２７分割した色空間をヒストグラム化して、類似度計算を行っている。また、アクティブ探索法による探索の結果である類似度が最大の位置でも、その値が閾値を超えなかった場合は、チラシ画像内の部分画像と類似する対応部分領域はないと判定することになる。

一方、テンプレートマッチング法とは、参照画像（本実施形態における部分画像に相当）と入力画像（本実施形態におけるチラシ画像に相当）上から切り出した部分領域（本実施形態における対応部分領域に相当）との類似性を距離計算により算出し、距離が最小となる部分領域の位置を、最も参照画像に類似した位置として検出する手法である。距離計算は、対応する画素間の画素値を用いて計算し、距離は差の絶対値の和や、差の２乗など様々な手法で求められる。ただし、テンプレートマッチング法をそのまま使用すると、計算時間が膨大になるので、適応的ウンドウスキップ法と残差逐次検定法を組み合わせた高速テンプレートマッチング法（詳細は、川西 隆仁,久野 和樹,木村 昭悟,黒住 隆行,柏野 邦夫,高木 茂.サブテンプレート間距離を用いた適応的ウインドウスキップによる高速テンプレートマッチング法.電子情報通信学会論文誌,J88-D2(8):1389-1397,2005.を参照）を利用すると良い。なお、テンプレートマッチング法も、アクティブ探索法同様、探索の結果である距離が最小の位置であっても、その値が閾値を超えなかった場合には、チラシ画像内に部分画像と類似する対応部分領域はないと判定することになる。

なお、本実施形態においては、対応部分領域の探索を、アクティブ探索法とテンプレートマッチング法の２段階で行うように構成したが、アクティブ探索法とテンプレートマッチング法の何れか一方だけを用いて対応部分領域の探索を行うように構成しても構わない。また、アクティブ探索法とテンプレートマッチング法に限定されるものではなく、アクティブ探索法とテンプレートマッチング法以外の手法で対応部分領域の探索を行うように構成しても良い。

そして、以上の対応部分領域の探索の結果、システム制御部３３（商品検出部３３３）は、チラシ画像内に当該部分画像と類似する対応部分領域があった（検出した）か否かを判定し（ステップＳ４５）、あったと判定した場合には（ステップＳ４５：ＹＥＳ）、ステップＳ４７に進み、ないと判定した場合には（ステップＳ４５：ＮＯ）、ステップＳ４６に進む。

なお、ステップＳ４４で一つの対応部分領域が探索されてもそこで処理を進めず、次の対応部分領域を探索する、つまり、一つのチラシ画像における別々の箇所で複数の対応部分領域を探索し検出するように構成すればより効率的であり、この場合、夫々の対応部分領域について、ステップＳ４７以降の処理が行われる。ステップＳ４６では、システム制御部３３（商品検出部３３３）は、上記ステップＳ４３で分割された部分画像の組のうちの全て（ただし、色の分散値が閾値未満の部分画像は除く）が特定されたか否かを判別し、全ての部分画像が特定されていない場合には（ステップＳ４６：ＮＯ）、ステップＳ４４に戻り、未だ特定していない次の部分画像（例えば、図１５に示す部分画像Ｒ１）を特定し、上記と同様の対応商品領域の探索を行う。一方、全ての部分画像が特定された場合には（ステップＳ４６：ＹＥＳ）、ステップＳ５２に進む。

ステップＳ４７では、システム制御部３３（商品検出部３３３）は、ステップＳ４５の処理で、当該部分画像と類似すると判断された対応部分領域について、詳細に類似しているか否かを判定する。この類似判定において、システム制御部３３（商品検出部３３３）は、上記探索で検出されたチラシ画像上の対応部分領域が、探索に用いられた部分画像（例えば、図１５に示す部分画像Ｒ０）と本当に類似しているかどうかを、例えばＤＣＴ照合法を用いて最終的に判定する。つまり、システム制御部３３（商品検出部３３３）は、上述した画像マッチング処理における粗い探索により探索された対応部分領域が、対応する部分画像と本当に類似しているかの細かい類似判定を行うことにより、最終的に対応部分領域を検出することになる。

ただし、当該判定を行う前に、対応部分領域における色の分散値によるフィルタリングと、対応部分領域のサイズによるフィルタリングが行われる。色の分散値によるフィルタリングにより、色の分散値が閾値より小さい場合、類似判定の対象外とされステップＳ４６に移行される。また、対応部分領域のサイズによるフィルタリングにより、対応部分領域のサイズが所定のサイズ（例えば１５×１５（ｐｘ））未満と小さい場合にも、類似判定の対象外とされステップＳ４６に移行される。

ここで、ＤＣＴ照合法の原理を簡単に説明する。

ＤＣＴ照合法では、先ず、照合する２つの画像を夫々２次元離散コサイン変換（ＤＣＴ）し、ＤＣＴ係数ベクトルを求める。そして、正規化したＤＣＴ係数ベクトルを比較して距離を求め、その距離が閾値より小さければ２つの画像は類似していると判定し、大きければ類似していないと判定する。なお、ＤＣＴ係数は全て使用するのではなく、低周波成分のみを使用することが望ましい。本実施形態において、部分画像と、探索で得た対応部分領域が類似しているかどうかの最終的な判定としてＤＣＴ照合法を利用しているのは、画像探索処理では、主に色情報を用いて類似度最大部分の部分領域を検出（探索）しており、形状情報が考慮されていないからである。そこで、形状情報であるＤＣＴ係数ベクトルを用いた照合を行うことによって、より高速且つ正しい類似判定が期待することができる。

なお、ＤＣＴ照合法に限定されるものではなく、ＤＣＴ照合法以外の手法で最終的な対応物体領域の検出を行うように構成しても構わない。

ステップＳ４７において、上記探索で検出されたチラシ画像上の対応部分領域を詳細に類似判定した結果、類似であると判定されなかった場合（ステップＳ４７：ＮＯ）、ステップＳ４６に移行され、上述したように、システム制御部３３（商品検出部３３３）は、上記ステップＳ４３で分割された部分画像の組のうちの全て（ただし、色の分散値が閾値未満の部分画像は除く）が特定されたか否かを判別し、全ての部分画像が特定されていない場合には（ステップＳ４６：ＮＯ）、ステップＳ４４に戻り、未だ特定していない次の部分画像（例えば、図１５に示す部分画像Ｒ１）を特定し、上記と同様の対応商品領域の探索を行う。一方、全ての部分画像が特定された場合には（ステップＳ４６：ＹＥＳ）、ステップＳ５２に進む。

一方、ステップＳ４７において、上記探索で検出されたチラシ画像上の対応部分領域を詳細に類似判定した結果、類似であると判定された場合（ステップＳ４７：ＹＥＳ）、ステップＳ４８において、システム制御部３３（商品検出部３３３）は、当該部分画像と本当に類似していると判断された対応部分領域を除く他の４つの対応部分領域（例えば、部分画像Ｒ０以外の部分画像Ｒ１〜Ｒ４に対応する領域）に対して、他部分画像類似判定処理を行う。

なお、ステップＳ４７を無くして、ステップＳ４５でＹＥＳの場合にステップＳ４８に進むようにし、ステップＳ４８で、上記探索で検出されたチラシ画像上の対応部分領域及び当該対応部分領域から一意に決まる対応部分領域について類似判定するように構成しても良いが、上記ステップＳ４７のように、先ずは探索で検出されたチラシ画像上の対応部分領域を詳細に類似判定した結果、類似であると判定された場合にはじめて他の部分画像に対応する対応部分領域について詳細に類似判定することで処理の迅速化を図ることができる。

ステップＳ４８の他部分画像類似判定処理において、システム制御部３３（商品検出部３３３）は、上記探索で検出されたチラシ画像上の対応部分領域から一意に決まる対応部分領域（上記部分画像の組のうち、探索に用いられた部分画像以外の部分画像に対応）が、探索に用いられた部分画像等と本当に類似しているかどうかを、上記探索で検出されたチラシ画像上の対応部分領域の場合と同様、例えばＤＣＴ照合法を用いて最終的に判定する。ただし、この場合も、当該判定を行う前に、対応部分領域における色の分散値によるフィルタリングと、対応部分領域のサイズによるフィルタリングが行われる。色の分散値によるフィルタリングにより、色の分散値が閾値より小さい対応部分領域については類似判定の対象外される。また、対応部分領域のサイズによるフィルタリングにより、対応部分領域のサイズが所定のサイズ（例えば１５×１５（ｐｘ））未満と小さい場合には、精度を確保するために、当該対応部分領域については類似判定の対象外される。

図１６は、チラシ画像上において類似判定される対応部分領域の一例を示す図である。図１６の例では、図１５に示す部分画像Ｒ０が探索に用いられて対応部分領域ＣＲ０の位置が検出された場合の例を示しており、他の部分画像Ｒ１〜Ｒ４に対応する対応部分領域ＣＲ１〜ＣＲ４の位置は部分画像Ｒ０の座標等から一意に決定される。そして、図１６の例では、対応部分領域ＣＲ０と部分画像Ｒ０、対応部分領域ＣＲ１と部分画像Ｒ１、対応部分領域ＣＲ２と部分画像Ｒ２、対応部分領域ＣＲ３と部分画像Ｒ３、及び対応部分領域ＣＲ４と部分画像Ｒ４との類似判定が夫々行われ、その結果、対応部分領域ＣＲ０〜ＣＲ２及びＣＲ４が類似と判定されたが、対応部分領域ＣＲ３については価格表示による遮蔽があるため、類似と判定されていない。

次いで、システム制御部３３（商品検出部３３３）は、上記類似判定の結果に対する評価処理を行う（ステップＳ４９）。この評価処理において、システム制御部３３（商品検出部３３３）は、上記対応分割領域の数に基づいて、上記商品画像における商品領域と同一又は類似範囲内にある対応商品領域の有無を判定する。例えば、システム制御部３３（商品検出部３３３）は、類似と判定された対応部分領域の数（以下、「スコア」という）を算出し、当該算出したスコアが閾値以上であった場合には、対応商品領域が有と決定する。当該閾値が３である場合、図１６の例では、類似と判定された対応部分領域のスコアは４であるので、対応商品領域の有と判定される。

次いで、システム制御部３３（商品検出部３３３）は、対応商品領域が有であるか否かを判別し（ステップＳ５０）、有である場合には（ステップＳ５０：ＹＥＳ）、ステップＳ５１に進み、無である場合には（ステップＳ５０：ＮＯ）、ステップＳ４６に戻る。

この場合のステップＳ４６では、上述したように、システム制御部３３（商品検出部３３３）は、上記ステップＳ４３で分割された部分画像の組のうちの全て（ただし、色の分散値が閾値未満の部分画像は除く）が特定されたか否かを判別し、全ての部分画像が特定されていない場合には（ステップＳ４６：ＮＯ）、ステップＳ４４に戻り、未だ特定していない次の部分画像（例えば、図１５に示す部分画像Ｒ１）を特定し、上記と同様の対応商品領域の探索を行う。

このように、例えば図１５に示す部分画像Ｒ０を探索に用いた（ステップＳ４４）ときは対応商品領域が検出できなかった場合（ステップＳ５０：ＮＯ）に、ステップＳ４６に戻り更にステップＳ４６でＮＯとなりステップＳ４４に戻って、次の部分画像（例えばＲ１）を探索に用いて再度上記と同様の処理を行うことにより、例えば部分画像Ｒ０では検出できなかった対応商品領域を検出することが可能となる。例えば、一つのチラシ画像内の別々の箇所（例えば、チラシ画像の右上と、チラシ画像の左下など）に検出対象の商品に類似している画像があった場合に、はじめの部分画像Ｒ０を用いて探索された対応部分領域を含む商品領域（例えば、チラシ画像の右上）は結果的にスコアが低く（例えば、価格表示等が当該領域の一部に入り込んでいること等による）検出対象とはならなかったが、次の部分画像Ｒ１を用いて探索された対応部分領域を含む商品領域（例えば、チラシ画像の左下）は結果的にスコアが高く検出対象となるなどが挙げられる。

一方、全ての部分画像が特定された場合には（ステップＳ４６：ＹＥＳ）、ステップＳ５２に進む。

ステップＳ５１では、システム制御部３３（商品検出部３３３）は、上記分割画像の基となった商品領域に対応する対応商品領域を検出（抽出）し、更に、当該対応商品領域の周りの所定範囲内の周辺領域を特定する。例えば商品の価格が表示される部分を含むように当該対応商品領域の縁部分から予め設定された座標範囲（矩形状であっても良いし、円形状であっても良い）内が当該周辺領域として特定される。あるいは、マッチした画像の周りを予めユーザが指定した大きさ分拡張した領域を含む領域として特定してもよい。

図１７は、検出された対応商品領域と、特定された周辺領域の一例を示す図である。図１７の例では、対応商品領域ＣＲを囲む、商品の価格が表示される部分が周辺領域ＡＲとして特定されている。

なお、ここで、システム制御部３３（商品検出部３３３）は、対応商品領域と周辺領域の少なくとも何れか一方に表示される商品の価格を文字認識（例えば、ＯＣＲ等で）することにより、当該商品の価格を認識すればより効果的である。

次いで、ステップＳ５２では、システム制御部３３（商品検出部３３３）は、店舗のチラシ画像からの商品の検出結果を示す商品検出結果情報を当該チラシ画像に対応する店舗の名称及び登録日付（例えば、取得（クローリング）された日時）、並びに有効期限と共に、上記特定されたユーザＩＤ及び当該チラシ画像に対応付けてチラシ画像登録データベース３２ｄに登録する。例えば、ステップＳ５１を経た場合、上記検出された対応商品領域及び上記特定された周辺領域を表す情報（例えば、チラシ画像における対応商品領域及び周辺領域の座標や、チラシ画像から当該対応商品領域及び周辺領域が切り出された検出結果画像）並びに上記評価処理において算出されたスコアを示す評価情報、更には当該商品の価格を認識できた場合には当該価格を示す価格情報が、商品検出結果情報として登録される。更には当該チラシ又は商品の有効期限が認識された場合には当該有効期限を示す有効期限情報が商品検出結果情報として登録される。

なお、上記ステップＳ４４及びＳ４５の処理により複数の対応部分領域が探索、検出され、且つ、ステップＳ５０で当該複数の対応商品領域が検出できた場合には、夫々の対応商品領域及び夫々の対応商品領域の周りの周辺領域を表す情報等が商品検出結果情報として登録されることになる。

一方、対応商品領域が検出できなかった場合（ステップＳ５０でＮＯ、又はステップＳ４６でＹＥＳの場合）、対応商品領域が検出不可を示す情報が商品検出結果情報として登録される。

次いで、システム制御部３３（商品検出部３３３）は、上記特定されたユーザＩＤについて取得されたチラシ画像の全てが特定されたか否かを判別し（ステップＳ５３）、全て特定されていない場合には（ステップＳ５３：ＮＯ）、ステップＳ４２に戻り、未だ特定されていないチラシ画像を特定して上記と同じ商品画像を用いて上記と同様の処理を行う。一方、全てのチラシ画像が特定された場合には（ステップＳ５３：ＹＥＳ）、ステップＳ５４に進む。

ステップＳ５４では、システム制御部３３（商品検出部３３３）は、上記特定されたユーザＩＤに対応つけられた商品画像のうち採用が付加されている商品画像の全てが特定されたか否かを判別し、全て特定されていない場合には（ステップＳ５４：ＮＯ）、ステップＳ４１に戻り、未だ特定されていない商品画像を特定してこれを用いて上記と同様の処理を行う。一方、全ての商品画像が特定された場合には（ステップＳ５４：ＹＥＳ）、当該処理が終了する。

なお、上記対応商品領域検出処理は、登録されている全てのユーザについて実行されることになる。

（II−４．商品検出結果情報の提示）
次に、商品検出結果情報の提示について、図１８を参照して説明する。

図１８は、検索画像提供サーバ３のシステム制御部３３における商品検出結果情報提示処理を示すフローチャートである。

図１８に示す処理は、例えば、検索画像提供サーバ３に接続されたユーザ端末１からのログイン要求に応じてログインが許可された後に、当該ユーザ端末１のユーザの操作にしたがって当該ユーザ端末１から商品検出結果要求が受信された場合に開始される。

図１８に示す処理が開始されると、システム制御部３３（インターフェース部３３１）は、当該商品検出結果要求を送信したユーザ端末１のユーザのユーザＩＤに対応付けられた商品検出結果情報、店舗の名称及び登録日付、並びに有効期限をチラシ画像登録データベース３２ｄから取得する（ステップＳ６１）。

次いで、システム制御部３３（インターフェース部３３１）は、商品検出結果情報等を含む商品検出結果表示Ｗｅｂページのデータを生成し、これを当該ユーザ端末１に送信し（ステップＳ６２）、当該処理を終了する。これにより、当該ユーザ端末１のディスプレイ上には商品検出結果情報が表示され、かかる情報がユーザに対して提示されることになる。

なお、対応商品領域が検出されなかったチラシ画像についての商品検出結果情報は、ユーザ端末１に送信しないように構成しても良い。

また、一つの商品画像について複数のチラシ画像から対応商品領域が検出されていた場合には、各検出結果画像（対応物体領域及びその周辺領域が切り出された画像）が所定の順序で並べられて表示されるＷｅｂページのデータが生成される。かかる順序としては、登録順、或いは各商品検出結果情報に含まれる評価情報に示されるスコアの高い順（つまり、類似度が高い順）、更には、各商品検出結果情報に価格情報が含まれる（上述した処理で商品の価格を認識できた場合）場合には商品の価格が安い順などが挙げられる。

図１９は、ユーザ端末１のディスプレイ上に表示された商品検出結果画面の一例を示す図である。

図１９に示す商品検出結果画面（Ｗｅｂページ）には、ある商品画像と、これに対応する複数の検出結果画像がスコアの高い順に並べて表示されている。このように検出結果画像がスコアにしたがってソートされて表示されることで、ユーザは求める画像を容易に閲覧することができる。また、図１９の商品検出結果画面において各検出結果画像の近傍にはこれに対応する店舗の名称に加えて商品価格も表示されている。これにより、ユーザは、同じ商品の価格を複数の店舗間で比較することができる。更に、図１９の商品検出結果画面において各検出結果画像の近傍には日付に加えて有効期限も表示されている。この日付は、例えばチラシ画像が取得（クローリング）された日を示しており、有効期限は、チラシの有効期限、または、その商品の有効期限（販売期限）を示している。これにより、ユーザは、上記有効期限を容易に把握することができる。なお、有効期限が経過しているチラシ画像から検出された検出結果画像は表示されないよう、システム制御部３３が制御しても良い。

なお、ユーザが複数の商品画像を登録している場合、当該ユーザが商品画像の切り替え指示をユーザ端末１上で行うことで、検索画像提供サーバ３から別の商品画像についての商品検出結果情報が送信され、商品検出結果画面（Ｗｅｂページ）に表示されることになる。

また、図１９の例では、チラシ画像中の一部が切り出された検出結果画像を表示させるように構成したが、別の例として、チラシ画像を表示させると共に当該チラシ画像上における検出結果画像部分を強調表示させる（例えば、検出結果画像の部分の縁を囲む線を表示したり検出結果画像の部分をハッチング表示したりする）ように構成しても良い。

なお、上記実施形態において、プログラムなどで動的に作成されるＷｅｂページの場合、そのＵＲＬも動的になる場合がある。そのためユーザが指定したＵＲＬが動的なＷｅｂページの場合には、必ずしも常時存在するとは限らない。しかし、そのような動的なＷｅｂページをリンクとする例えばメニューのようなＷｅｂページのＵＲＬを指定し、そこから予め決めた階層分のリンクをクローリング対象として全て含めることで、このような動的なＷｅｂページを指定することができる。

図２０は、静的ページ（Ｗｅｂページ）にリンクされた動的ページ（Ｗｅｂページ）の階層関係の一例を示す図である。図２０の例において、ユーザは静的ページのＵＲＬを指定しておけば、これにリンクされる支店Ａ及びＢの動的ページにさらにリンクされる動的ページ（チラシページ）までクローリングの対象として取得することが可能となる。
［III．効果等］
以上説明したように、上記実施形態によれば、ユーザが所望する商品領域を有する商品画像を予め登録しておき、商品領域の検出対象となるチラシ画像を取得し、商品画像における商品領域と同一又は類似する範囲内にある対応商品領域を当該チラシ画像から検出し、検出された対応商品領域と当該対応商品領域の周りの所定範囲内の周辺領域を表す情報をユーザ端末１を通じてユーザに対して提示するように構成したので、商品の周りに表示された価格などのユーザが所望する情報を含めたより有用な情報を、ユーザに対してより分かりやすく提供することができる。

また、上記実施形態において、ユーザが、例えば財布についているブランドタグを商品領域として指定した場合、当該タグに対応する対応商品領域がチラシ画像から検出することになるが、これに加え、当該タグの周りの周辺領域が特定されることにより、当該周辺領域に含まれる財布（タグに付随する財布）をユーザに対して提示できるので、ユーザは、当該タグが財布（商品）に付されているものか、或いはバッグ（商品）に付されているものかを判断することができ、例えば財布とブランドタグを含む商品全体の画像を確認することができる。

このように、対応商品領域の検出は指定された範囲でするものの、検出結果として表示するときには、当該対応商品領域より広い範囲のより有用な領域を表示させることができる。

また、ユーザは、所望のＵＲＬを指定するだけで自動的にチラシ画像提供サーバ２からチラシ画像が取得されるので、チラシ画像の登録が容易である。

また、チラシ画像は、ユーザにより指定されたＵＲＬに従って定期的にクローリングさせることにより取得されるので、ユーザが毎回チラシ画像を指定する手間が省け、また、最新のチラシ画像を常に取得することができ、これを商品の検出対象として用いることができる。

また、ユーザにより指定されたＵＲＬより、予め設定した階層のリンクをたどってクローリングすることができるため、例えばリンクが動的に作成されたチラシページへのリンクであったとしても、そのチラシページ上に表示されるチラシ画像を獲得することができる。また、ユーザは、過去に登録されたチラシ画像の中から商品領域を指定することができるので、商品画像の登録が容易である。

また、ユーザは、指定したＵＲＬに従って取得されたチラシ画像の中から商品領域を指定することができるので、商品画像の登録が容易である。

また、ユーザは、予め自身のユーザ端末１に保存している商品画像を検索画像提供サーバ３にアップデートすることで商品画像に加えることができるので、商品画像の登録が容易である。

また、上記実施形態によれば、商品画像における商品領域を複数に分割し、当該分割された各部分画像に類似する対応部分領域をチラシ画像から検出することにより対応商品領域を検出するようにしたので、チラシ画像における商品領域の一部に価格や日付が入っているような場合であっても、これが入っていない残りの部分画像により、精度良く対応商品領域を検出することができる。これは、例えば、一部が変形してしまうような画像検索には有用である。

また、上記実施形態によれば、対応商品領域が複数検出された場合に、例えば検出結果画像を、ユーザ端末１において例えばスコア順、又は価格順で並べて表示させるようにしたので、ユーザは求める画像を容易に閲覧することができる。

なお、上記実施形態においては、画像検索対象を「チラシ画像」として説明したが、これに限らず、複数の画像を含む画像であれば、本発明を適用することができる。例えば、Ｗｅｂページを画像とみなして検索対象とし、Ｗｅｂページに埋め込まれている個々の画像や、ＷｅｂページにリンクされているＵＲＬを辿ってその先の画像まで検索対象とすることで、例えば、ユーザの所望する商品が指定したドメインの店舗で取り扱いがあるか否かを検出し、ユーザに検出結果を提供することができる。

なお、上記実施形態においては、本発明の情報提供プログラムを検索画像提供サーバ３において実行させるように構成したが、別の例として、当該情報提供プログラムをユーザ端末１のようなスタンドアローン型のコンピュータにインストールして実行させるように構成しても良い（この場合、図３に示す機能ブロックが当該スタンドアローン型のコンピュータで実現され上述した処理が行われる）。

また、上記実施形態においては、ユーザが所望する物体領域として、商品が表示される商品領域を例にとって説明したが、その他の物が表示される領域に対しても適用可能である。

本実施形態に係る検索画像提供システムの概要構成例を示す図である。 検索画像提供サーバ３の概要構成例を示す図である。 検索画像提供サーバ３のちらしアンテナ機能に係る機能ブロック例を示す図である。 ユーザ端末１のディスプレイ上に表示された店舗情報登録画面の一例を示す図である。 検索画像提供サーバ３のシステム制御部３３における店舗の情報の登録処理を示すフローチャートである。 ユーザ端末１のディスプレイ上に表示された商品画像登録画面の一例を示す図である。 検索画像提供サーバ３のシステム制御部３３における商品画像登録処理を示すフローチャートである。 ユーザ端末１のディスプレイ上に表示された領域指定画面の一例を示す図である。 Lazy Snappingにより商品領域を指定した例を示す図である。 ユーザ端末１のディスプレイ上に表示された商品画像適用／不適用設定画面の一例を示す図である。 検索画像提供サーバ３のシステム制御部３３における商品画像適用／不適用設定処理を示すフローチャートである。 検索画像提供サーバ３のシステム制御部３３におけるチラシ画像の取得処理を示すフローチャートである。 検索画像提供サーバ３のシステム制御部３３における対応商品領域検出処理を示すフローチャートである。 商品領域から切り出された内接四角形の一例を示す図である。 分割された５つの部分画像の一例を示す図である。 チラシ画像上において類似判定される対応部分領域の一例を示す図である。 検出された対応商品領域と、特定された周辺領域の一例を示す図である。 検索画像提供サーバ３のシステム制御部３３における商品検出結果情報提示処理を示すフローチャートである。 ユーザ端末１のディスプレイ上に表示された商品検出結果画面の一例を示す図である。 静的ページ（Ｗｅｂページ）にリンクされた動的ページ（Ｗｅｂページ）の階層関係の一例を示す図である。

符号の説明

１ ユーザ端末
２ チラシ画像提供サーバ
３ 検索画像提供サーバ
３１ 通信部
３２ 記憶部
３３ システム制御部
３２ａ ユーザ情報登録データベース
３２ｂ 店舗情報登録データベース
３２ｃ 商品画像登録データベース
３２ｄ チラシ画像登録データベース
３３１ インターフェース部
３３２ クローラ部
３３３ 商品検出部
ＮＷ ネットワーク
Ｓ 検索画像提供システム

Claims (18)

1. コンピュータを、
   物体領域の検出対象となる第１の画像を取得する第１画像取得手段、
   ユーザが所望する物体領域を有する第２の画像を登録する第２画像登録手段、
   前記第２の画像における前記物体領域と同一又は類似する範囲内にある対応物体領域を、前記第１の画像から検出する物体領域検出手段、及び、
   前記検出された対応物体領域と当該対応物体領域の周りの所定範囲内の周辺領域を表す情報を前記ユーザに対して提示する提示手段として機能させることを特徴とする情報提供プログラム。
2. 請求項１に記載の情報提供プログラムにおいて、
   前記第１画像取得手段は、互いに異なる複数の第１の画像を取得し、
   前記物体領域検出手段は、前記複数の第１の画像の夫々について前記物体領域の検出を行うことを特徴とする情報提供プログラム。
3. 請求項１又は２に記載の情報提供プログラムにおいて、
   前記第１画像取得手段は、ユーザにより指定あるいは選択されたＵＲＬに従って所定のサーバ装置にネットワークを介してアクセスして前記第１の画像を取得することを特徴とする情報提供プログラム。
4. 請求項３に記載の情報提供プログラムにおいて、
   前記第１画像取得手段は、ユーザにより指定あるいは選択されたＵＲＬに従って前記サーバ装置に定期的にアクセスすることにより、更新された前記第１の画像を取得することを特徴とする情報提供プログラム。
5. 請求項１乃至４の何れか一項に記載の情報提供プログラムにおいて、
   前記第２画像登録手段は、前記第１画像取得手段により過去に取得され登録されていた第１の画像をユーザに提示し、当該第１の画像において当該ユーザにより指定された物体領域を有する画像を、前記第２の画像として登録することを特徴とする情報提供プログラム。
6. 請求項１乃至４の何れか一項に記載の情報提供プログラムにおいて、
   前記第２画像登録手段は、ユーザにより指定あるいは選択されたＵＲＬに従って所定のサーバ装置にネットワークを介してアクセスして前記第１の画像を取得し、当該第１の画像をユーザに提示し、当該第１の画像において当該ユーザにより指定された物体領域を有する画像を、前記第２の画像として登録することを特徴とする情報提供プログラム。
7. 請求項１乃至４の何れか一項に記載の情報提供プログラムにおいて、
   前記第２画像登録手段は、ユーザにより指定された画像を前記第２の画像として登録することを特徴とする情報提供プログラム。
8. 請求項１乃至７の何れか一項に記載の情報提供プログラムにおいて、
   前記物体領域検出手段は、前記第２画像登録手段により登録された第２の画像における物体領域を複数に分割し、当該分割した各分割領域と同一又は類似する範囲内にある対応分割領域を、前記第１の画像から検出することにより前記対応物体領域を検出することを特徴とする情報提供プログラム。
9. 請求項８に記載の情報提供プログラムにおいて、
   前記物体領域検出手段は、前記検出された対応分割領域の数に基づいて、前記対応物体領域の有無を判定することを特徴とする情報提供プログラム。
10. 請求項１乃至９の何れか一項に記載の情報提供プログラムにおいて、
    前記第１の画像は、Ｗｅｂページで公開されているチラシ画像であり、前記第２の画像における物体領域は商品が表示される領域であることを特徴とする情報提供プログラム。
11. 請求項１０に記載の情報提供プログラムにおいて、
    前記周辺領域は、前記商品の価格が表示される部分を含むように特定されることを特徴とする情報提供プログラム。
12. 請求項１乃至１１の何れか一項に記載の情報提供プログラムにおいて、
    前記提示手段は、前記対応物体領域が複数検出された場合に、少なくとも各対応物体領域に係る画像を、所定の順序で並べて表示させることを特徴とする情報提供プログラム。
13. 請求項１乃至９の何れか一項に記載の情報提供プログラムにおいて、
    前記第１の画像は、Ｗｅｂページで公開されているチラシ画像であり、前記第２の画像における物体領域は商品が表示される領域であり、
    前記コンピュータを、前記対応物体領域と前記周辺領域の少なくとも何れか一方に表示される商品の価格を文字認識する文字認識手段として更に機能させ、
    前記提示手段は、前記検出された対応物体領域と当該対応物体領域の周りの所定範囲内の周辺領域を表す情報と共に、前記認識された商品の価格を提示することを特徴とする情報提供プログラム。
14. 請求項１乃至９の何れか一項に記載の情報提供プログラムにおいて、
    前記第１の画像は、Ｗｅｂページで公開されている任意の画像であり、前記第２の画像における物体領域は商品に付されている物体が表示される領域であることを特徴とする情報提供プログラム。
15. 請求項１乃至１４の何れか一項に記載の情報提供プログラムにおいて、
    前記第１の画像には、その有効期限を示す情報が付与されており、
    前記第１画像取得手段は、前記有効期限が経過していない前記第１の画像のみを取得することを特徴とする情報提供プログラム。
16. 請求項１乃至１５の何れか一項に記載の情報提供プログラムにおいて、
    前記物体領域検出手段は、先ずは類似度が最大となる前記対応物体領域の粗い探索を行い、その後、当該粗い探索により探索された対応物体領域が前記物体領域と同一又は類似する範囲内にあるどうかの細かい類似判定を行うことにより、最終的に前記対応物体領域を検出することを特徴とする情報提供プログラム。
17. 物体領域の検出対象となる第１の画像を取得する第１画像取得手段と、
    ユーザが所望する物体領域を有する第２の画像を登録する第２画像登録手段と、
    前記第２の画像における前記物体領域と同一又は類似する範囲内にある対応物体領域を、前記第１の画像から検出する物体領域検出手段と、
    前記検出された対応物体領域と当該対応物体領域の周りの所定範囲内の周辺領域を表す情報を前記ユーザに対して提示する提示手段と、
    を備えることを特徴とする情報提供装置。
18. 物体領域の検出対象となる第１の画像を取得する第１画像取得工程と、
    ユーザが所望する物体領域を有する第２の画像を登録する第２画像登録工程と、
    前記第２の画像における前記物体領域と同一又は類似する範囲内にある対応物体領域を、前記第１の画像から検出する物体領域検出工程と、
    前記検出された対応物体領域と当該対応物体領域の周りの所定範囲内の周辺領域を表す情報を前記ユーザに対して提示する提示工程と、
    を備えることを特徴とする情報提供方法。

Images