JP2008077447A - 画像検索を利用した情報提供システム - Google Patents

Abstract

【課題】本発明の課題は、携帯端末装置をそのまま使用して、情報誌の記事を撮影した画像を用いて、記事の関連情報を検索して表示させるシステムを提供することである。
【解決手段】
印刷媒体の画像部を含む領域を撮影した撮影画像データを添付する電子メールを、問合サーバ装置に送信して、返信された所在情報を含む電子メールを受信して、この所在情報をＷＥＢサーバ装置に送信して、返信されたＷＥＢページを表示する携帯端末装置と、携帯端末装置から受信した電子メールの撮影画像データを用いて、データベース検索クエリを構成して、画像検索サーバ装置に発行して、返信された所在情報を受信して、これを含む電子メールを作成して、返信する問合サーバ装置と、問合サーバ装置から、データベース検索クエリを受け付けて、所在情報データベースを検索して、所在情報を抽出して、返信する画像検索サーバ装置と、から構成される情報提供システムである。
【選択図】図１

Description

本発明は、画像を用いて検索した情報を、携帯端末装置（たとえば、携帯電話）に提供するシステムに関するものである。

従来から、無料誌などの情報誌に掲載された店舗紹介記事の関連情報（たとえば、店舗予約申込書など）を、インターネットを用いて、携帯端末装置に配信するサービスが提供されている。

たとえば、特許文献１では、求人情報誌の二次元コードを、携帯電話で撮影して、ＵＲＬを復号して、インターネットの該当サイトに接続して、求人情報や求職情報を取得させる技術が開示されている。（従来技術１）
特開２００６−３９７８５号公報（３〜４ページ、図１）また、非特許文献１では、携帯電話で、画像を撮影して、撮影画像の特徴データを求めて、これを該当ＷＥＢサイトに送信させて、特徴データに対応する情報を、携帯電話に表示させる技術が開示されている。（従来技術２） オリンパス株式会社新事業企画部、"Sync★R（シンクる）"、サービス概要−特長（Sync★Rの概要）、オリンパス株式会社、[online]、[平成１８年９月１日検索]、インターネット＜http://gwmj.jp/＞

ところで、従来技術１では、二次元コードを印刷することによって、求人情報誌の１ページに掲載できる文字や画像の情報量が削減されてしまうという問題点があった。さらに、従来技術１では、情報誌に、二次元コードを印刷するために、美観が損なわれるという不具合があった。
また、従来技術２では、撮影画像から特徴データを求めて、該当ＷＥＢサイトに送信するための専用アプリケーションプログラムを、事前に、携帯電話に登録していた。そのために、プログラムのダウンロードやインストール作業の手間を要するという欠点があった。

本発明はこのような従来技術を考慮してなされたものであって、本発明の課題は、携帯端末装置をそのまま使用して、情報誌の記事を撮影した画像を用いて、記事の関連情報を検索して表示させるシステムを提供することである。

本発明は、以下のような解決手段により、前記課題を解決する。すなわち、請求項１の発明は、携帯端末装置と、問合サーバ装置と、画像検索サーバ装置と、がネットワーク接続されて、構成される画像検索を利用した情報提供システムであって、画像部を含む領域を持つ印刷媒体を用いる画像検索を利用した情報提供システムであって、前記携帯端末装置は、記憶手段と、印刷媒体の画像部を含む領域を撮影して、撮影データを記憶手段に、記録する撮影手段と、前記記憶手段に記録された撮影データを用いて、撮影画像データを作成して、これを添付する電子メールを作成する電子メール作成手段と、前記作成された電子メールを、問合サーバ装置に、送信する電子メール送信手段と、所在情報を含む電子メールを受信する電子メール受信手段と、前記受信した電子メールに含まれる所在情報を、ＷＥＢサーバ装置に、送信して、返信されるＷＥＢページデータを受信して、表示する携帯ＷＥＢブラウザと、を備える端末装置であって、前記問合サーバ装置は、電子メールを受信する電子メール受信手段と、受信した電子メールに含まれる撮影画像データを用いて、これを含んだデータベース検索クエリを構成して、画像検索サーバ装置に、発行するデータベース問合せ手段と、画像検索サーバ装置から、抽出された所在情報を含む問合せ結果を受信する問合せ結果受信手段と、前記受信した問合せ結果から、所在情報を読み出して、これを含む電子メールを作成する電子メール作成手段と、前記作成された所在情報を含む電子メール送信する電子メール送信手段と、を備えるサーバ装置であって、画像検索サーバ装置は、問合サーバ装置から、データベース検索クエリを受け付けて、これを用いて、所在情報データベースを検索して、所在情報を抽出する検索手段と、前記抽出された所在情報を含む問合せ結果を作成して、問合サーバ装置に、送信する問合せ結果送信手段と、を備えるサーバ装置である、ことを特徴とする画像検索を利用した情報提供システムである。

ここで、特別なプログラムのダウンロードやインストール作業をすることなく、既存のカメラ付形態電話を用いて、記事を撮影することで、記事に関連する情報を入手することができる。

請求項２の発明は、コンピュータに組込むことによって、コンピュータを請求項１に記載の画像検索を利用した情報提供システムとして動作させるコンピュータプログラムである。

請求項３の発明は、請求項２に記載のコンピュータプログラムを記録したコンピュータ読取り可能な記録媒体である。

本願発明によれば、印刷媒体は、美観を損なうことなく、限られた紙面に、読者が可読な情報のみを掲載することで、紙面を最大限に有効活用することが可能となる。また、携帯端末装置にプログラムをインストールすることなく、既存のカメラ付携帯端末装置のままで、情報誌の記事を撮影することで、この記事に関連する情報を入手することが可能である。

（実施例）
以下、図面等を参照しながら、本発明の実施の形態について、更に詳しく説明する。

図１は、画像検索を利用した情報提供システム１の概要を説明する図である。画像検索を利用した情報提供システム１は、携帯端末装置３００と、問合サーバ装置１００と、メール・サーバ装置６００と、画像検索サーバ装置７００と、がネットワーク接続されて、構成される。

携帯端末装置３００は、カメラを備える。携帯端末装置３００は、たとえば、カメラ付き携帯電話である。携帯端末装置３００は、携帯ＷＥＢブラウザを備える。携帯端末装置３００は、撮影した画像を電子メールに添付して、問合サーバ装置１００に、送信する。携帯端末装置３００は、問合サーバ装置１００から、所在情報（＝ＵＲＬ：Uniform Resource Locatorの略）を含む電子メールを受信する。
携帯端末装置３００は、電子メールに含まれるＵＲＬの携帯ＷＥＢサーバ装置（図示せず）に接続する。

問合サーバ装置１００は、メール・サーバ装置６００に、自分宛メールが来ているかどうかを問い合わせて、自分宛メールがあれば、電子メールを受信する。問合サーバ装置１００は、電子メールに添付されている撮影した画像を、画像検索サーバ装置７００に送信する。問合サーバ装置１００は、画像検索サーバ装置７００による検索結果としてのＵＲＬを、画像検索サーバ装置７００から、受信する。問合サーバ装置１００は、そのＵＲＬを含む電子メールを作成して、電子メール送信元の携帯電話へ返信する。

画像検索サーバ装置７００は、送り付けられた画像に対応するＵＲＬを、検索する。なお、画像検索サーバ装置７００には、たとえば、非特許文献１に記載のサーバ装置が、ある。

また、携帯ＷＥＢサーバ装置（図示せず）は、携帯端末装置３００からのＵＲＬのアクセスに応じて、携帯端末装置の携帯ＷＥＢブラウザで、閲覧可能なＷＥＢページデータを提供する。

図２は、画像検索を利用した情報提供システム１の大まかな処理の流れを説明する。携帯端末装置３００は、情報誌の小組を撮影して、その撮影画像データを、電子メールに添付して、問合サーバ装置１００に送信する（図２（１））。

ここで、小組とは、箱形状に組版体裁された単位をいう。１ページは、複数の小組を組み合わせて、編集される。たとえば、無料誌などの情報誌の１ページは、それぞれの店舗紹介記事が小組に編集されて、掲載されている。

メール・サーバ装置６００は、撮影画像データが添付された電子メールを受け付けて、保持する（同（２））。

問合サーバ装置１００は、メール・サーバ装置６００に、自分宛メールを問い合わせる（同（１１））。メール・サーバ装置６００は、問合サーバ装置１００から、メールの問い合わせを受け付けて、保持されている電子メールを参照して、問い合わせの宛先に対応する電子メールを返信する（同（１２））。問合サーバ装置１００は、メール・サーバ装置６００から、電子メールを受信する（同（１３））。受信した電子メールに含まれる撮影画像データを用いて、撮影画像データを検索キーに含んだデータベース検索クエリを構成して、画像検索サーバ装置７００に、送信する（同（２１））。

画像検索サーバ装置７００は、データベース検索クエリを受け付けて、所在情報データベースを検索して、ＵＲＬを抽出する（同（２２））。画像検索サーバ装置７００は、抽出されたＵＲＬを、問合サーバ装置１００に、送信する（同（２３））。問合サーバ装置１００は、画像検索サーバ装置７００から、ＵＲＬを、受信して、たとえば、このＵＲＬを埋め込んだハイパーリンクを持つ電子メールを作成して、携帯端末装置３００に、送信する（同（２４））。

携帯端末装置３００は、ハイパーリンクを持つ電子メールを受け付けて、これを表示して、携帯端末装置の利用者がハイパーリンクを選択することで、このハイパーリンクに埋め込まれたＵＲＬを、携帯ＷＥＢサーバ装置８００に、送信する（同（３１））。

携帯ＷＥＢサーバ装置８００は、携帯端末装置３００から、ＵＲＬを受け付けて、携帯端末装置で閲覧可能なＷＥＢページデータを返信する（同（３２））。携帯端末装置３００は、携帯ＷＥＢサーバ装置８００から、ＷＥＢページデータを受け付けて、携帯ＷＥＢブラウザを用いて、これを表示する（同（３３））。

このように、携帯端末装置のメール送信機能を利用して、情報誌の所望の記事の関連情報を、入手することが可能である。

図３は、画像検索を利用した情報提供システム１の詳細な構成図である。画像検索を利用した情報提供システム１は、携帯端末装置３００と、問合サーバ装置１００と、メール・サーバ装置６００と、画像検索サーバ装置７００と、携帯ＷＥＢサーバ装置８００と、がネットワーク接続されて、構成される。

携帯端末装置３００は、撮影手段３１０と、電子メール作成手段３３０と、電子メール送信手段３１５と、電子メール受信手段３５５と、携帯ＷＥＢブラウザ３８５と、記憶手段３９０と、を備える。

撮影手段３１０は、印刷媒体の小組を撮影して、撮影データを記憶手段３９０に、記録する。

電子メール作成手段３３０は、前記記憶手段３９０に記録された撮影データを用いて、撮影画像データを作成して、これを含む電子メールを作成する。電子メール送信手段３１５は、前記作成された電子メールを、問合サーバ装置１００に、送信する。

電子メール受信手段３５５は、所在情報（たとえば、ＵＲＬ）を含む電子メールを受信して、これを表示して、選択された所在情報を、携帯ＷＥＢサーバ装置８００に、送信する。

携帯ＷＥＢブラウザ３８５は、携帯ＷＥＢサーバ装置８００から返信されるＷＥＢページデータ８９７を受信して、表示する。

問合サーバ装置１００は、電子メール受信手段１２５と、データベース問合せ手段１３５と、問合せ結果受信手段１４５と、電子メール作成手段１５０と、電子メール送信手段１５５と、を備える。

電子メール受信手段１２５は、メール・サーバ装置６００から、電子メールを受信する。

データベース問合せ手段１３５は、受信した電子メールに含まれる撮影画像データを用いて、これを含んだデータベース検索クエリを構成して、画像検索サーバ装置７００に、発行する。

問合せ結果受信手段１４５は、画像検索サーバ装置から、抽出された所在情報を含む問合せ結果を受信する。

電子メール作成手段１５０は、前記受信した問合せ結果から、所在情報を読み出して、これを含む電子メールを作成する。電子メール送信手段１５５は、前記作成された所在情報を含む電子メール送信する。

画像検索サーバ装置７００は、検索手段７３５と、問合せ結果送信手段７４５と、記憶手段７９０と、を備える。記憶手段７９０は、所在情報データベース７９９を記憶する。

所在情報データベース７９９は、所在情報を含むデータベースである。

検索手段７３５は、問合サーバ装置１００から、データベース検索クエリを受け付けて、これを用いて、所在情報データベース７９９を検索して、所在情報を抽出する。問合せ結果送信手段７４５は、前記抽出された所在情報を含む問合せ結果を作成して、問合サーバ装置に、送信する。

メール・サーバ装置６００は、電子メール保持手段６３５と、電子メール送信手段６４５と、を備える。

電子メール保持手段６３５は、携帯端末装置３００から、電子メールを受け付けて、これを、保持する。電子メール送信手段６４５は、電子メールを、問合サーバ装置１００に、送信する。

前記携帯ＷＥＢサーバ装置８００は、ＷＥＢページデータ返信手段８８５と、記憶手段８９０と、を備える。記憶手段８９０は、ＷＥＢページデータ８９７を記憶する。

ＷＥＢページデータ８９７は、所在情報に対応付けられたデータである。

ＷＥＢページデータ返信手段８８５は、携帯端末装置３００から、所在情報を受け付けて、これに対応付けられたＷＥＢページデータ８９７を返信する。

電子メール受信手段１２５と、データベース問合せ手段１３５と、問合せ結果受信手段１４５と、電子メール作成手段１５０と、電子メール送信手段１５５と、電子メール作成手段３３０と、電子メール送信手段３１５と、電子メール受信手段３５５と、携帯ＷＥＢブラウザ３８５と、電子メール保持手段６３５と、電子メール送信手段６４５と、検索手段７３５と、問合せ結果送信手段７４５と、ＷＥＢページデータ返信手段８８５と、は、コンピュータプログラムである。

所在情報データベース７９９と、ＷＥＢページデータ８９７と、は、コンピュータプログラムが可読なデータである。撮影手段３１０は、デジタル・カメラである。記憶手段３９０と、記憶手段７９０と、記憶手段８９０と、は、半導体メモリや磁気メモリである。

図４は、印刷媒体の説明図である。印刷媒体２００は、少なくとも1つの小組から構成される。小組は、名称部と説明文部と写真部を含んでいる。

店舗紹介の情報誌の小組では、たとえば、名称部には、店舗名が記述されていて、場合によっては、店舗のロゴも、記述される。説明文部には、店舗の紹介文が記述されていて、地図や店舗のロゴが含まれることもある。写真部には、店舗の写真が掲載されている。

図５は、検索画像が表示された携帯端末装置３００の画面の例である。携帯端末装置の画面３００ａには、印刷媒体２００の1つの小組を撮影した画像が表示されている。

図６は、所在情報データベース７９９の形式を説明する図である。所在情報データベース７９９は、画像ＩＤ７９９ａと、所在情報７９９ｂと、から構成される。

画像ＩＤ７９９ａは、ユニークな文字列である。所在情報７９９ｂは、ＵＲＬである。

図７は、携帯端末装置３００の使用例である。携帯端末装置３００は、情報誌２００の小組された店舗情報を、撮影して、小組撮影画面３００ａを表示させて、確認をする（図７（１））。

携帯端末装置３００は、店舗情報を掲載した小組の撮影画像を、問合サーバ装置宛に、メール送信して、ＵＲＬがハイパーリンクされた店舗名を含むメールを受信して、メール画面３００ｂを表示する（同（２））。

携帯端末装置３００では、ＵＲＬがハイパーリンクされた店舗名が携帯端末装置の利用者によってクリックされて、携帯端末装置３００は、店舗予約のＷＥＢページを受信して、店舗予約画面３００ｃを表示する（同（３））。携帯端末装置３００は、店舗予約画面３００ｃに、利用者によって記入された予約情報を、送信する（同（４））。

以上では、小組を撮影対象にして説明したが、小組の中に含まれる写真や店舗のロゴ、地図などを撮影対象にしてもよい。

なお、画像検索を利用した情報提供システム１において、メール・サーバ装置６００は、必須ではない。

以上詳しく説明したように、本願発明によれば、印刷媒体は、美観を損なうことなく、限られた紙面に、読者が可読な情報のみを掲載することで、紙面を最大限に有効活用することが可能となった。また、携帯端末装置にプログラムをインストールすることなく、既存のカメラ付携帯端末装置のままで、情報誌の記事を撮影することで、この記事に関連する情報を入手することが可能となった。

画像検索を利用した情報提供システム１の全体構成図 画像検索を利用した情報提供システム１の大まかな処理の流れ 画像検索を利用した情報提供システム１の詳細な構成図 小組体裁の印刷媒体の例 検索画像が表示された携帯端末装置の画面の例 所在情報データベース５９９の形式 携帯端末装置３００の使用例

符号の説明

１ 画像検索を利用した情報提供システム
１００ 問合サーバ装置
１３０ 電子メール作成手段
１３５ 電子メール送信手段
１４５ 電子メール送信要求手段
１５５ データベース問合せ手段
１６５ 問合せ結果受信手段
２００ 印刷媒体
３００ 携帯端末装置
３００ａ 携帯端末装置の画面
３１０ 撮影手段
３３０ 電子メール作成手段
３３５ 電子メール送信手段
３４５ メール受信手段
３８５ 携帯ＷＥＢブラウザ
３９０ 記憶手段
３９１ 電子メール
６００ メール・サーバ装置
６３５ 電子メール保持手段
６４５ 電子メール返信手段
７００ 画像検索サーバ装置
７１０ 検索手段
７６５ 問合せ結果送信手段
７９０ 記憶手段
７９９ 所在情報データベース
７９９ａ 画像ＩＤ
７９９ｂ 所在情報
８００ 携帯ＷＥＢサーバ装置
８８５ ＷＥＢページデータ返信手段
８９０ 記憶手段
８９７ ＷＥＢページデータ

Claims (3)

1. 携帯端末装置と、問合サーバ装置と、画像検索サーバ装置と、がネットワーク接続されて、構成される画像検索を利用した情報提供システムであって、
   画像部を含む領域を持つ印刷媒体を用いる画像検索を利用した情報提供システムであって、
   前記携帯端末装置は、
   記憶手段と、
   印刷媒体の画像部を含む領域を撮影して、撮影データを記憶手段に、記録する撮影手段と、
   前記記憶手段に記録された撮影データを用いて、撮影画像データを作成して、これを添付する電子メールを作成する電子メール作成手段と、
   前記作成された電子メールを、問合サーバ装置に、送信する電子メール送信手段と、
   所在情報を含む電子メールを受信する電子メール受信手段と、
   前記受信した電子メールに含まれる所在情報を、ＷＥＢサーバ装置に、送信して、返信されるＷＥＢページデータを受信して、表示する携帯ＷＥＢブラウザと、
   を備える端末装置であって、
   前記問合サーバ装置は、
   電子メールを受信する電子メール受信手段と、
   受信した電子メールに含まれる撮影画像データを用いて、これを含んだデータベース検索クエリを構成して、画像検索サーバ装置に、発行するデータベース問合せ手段と、
   画像検索サーバ装置から、抽出された所在情報を含む問合せ結果を受信する問合せ結果受信手段と、
   前記受信した問合せ結果から、所在情報を読み出して、これを含む電子メールを作成する電子メール作成手段と、
   前記作成された所在情報を含む電子メール送信する電子メール送信手段と、
   を備えるサーバ装置であって、
   画像検索サーバ装置は、
   問合サーバ装置から、データベース検索クエリを受け付けて、これを用いて、所在情報データベースを検索して、所在情報を抽出する検索手段と、
   前記抽出された所在情報を含む問合せ結果を作成して、問合サーバ装置に、送信する問合せ結果送信手段と、
   を備えるサーバ装置である、
   ことを特徴とする画像検索を利用した情報提供システム。
2. コンピュータに組込むことによって、コンピュータを請求項１に記載の画像検索を利用した情報提供システムとして動作させるコンピュータプログラム。
3. 請求項２に記載のコンピュータプログラムを記録したコンピュータ読取り可能な記録媒体。
   

Images