JP2011253424A - 画像認識装置及び画像認識方法並びに情報提供システム - Google Patents

Abstract

【課題】１つの画像に含まれる種々の情報を複合的に認識・解析し、多様化したニーズに対し迅速で適切なサービスを提供し得る画像認識装置・方法を提供する。
【解決手段】携帯端末１にて撮影した画像をシステムサーバ２にて取得・解析し、撮影画像に対応したサービスをユーザ１０に提供する。システムサーバ２は、取得画像から特徴点等の画像内情報を抽出する画像内情報抽出部１１と、画像の撮影場所や時間等の状況情報を取得するシチュエーション情報取得部１２と、画像データが画像内情報と関連付けられた状態で格納されたデータベース部１７と、画像内情報に基づいて画像データを検索するデータ検索部１３と、状況情報に基づいて画像データを絞り込む状況判断部１４と、絞り込まれた画像データに対応するサービス情報を抽出するサービス選択部１５と、を有する。
【選択図】図１

Description

本発明は、携帯端末（携帯電話やモバイル端末、携帯ゲーム機等）のカメラ等によって撮影された画像を所定条件に基づいて迅速に認識・判別する画像認識装置・方法に関し、特に、撮影された画像に含まれる物品や人物、動植物、風景等を認識し、それに対応した情報を適宜ユーザに提供する情報提供システムに適用して有効な技術に関する。

画像認識技術の分野では、従来より、パターン認識や文字認識、画像マッチングなど、種々の方式が開発、採用されている。例えば、パターン認識としては、バーコードやＱＲコードなどの識別子を用いたものや、典型的な形状に基づき人物や動物等を認識するデジタルカメラや防犯システムの顔認識などが知られている。また、文字認識としては、ドキュメント管理や名刺管理等に使用されているＯＣＲ（Optical Character Reader：光学式文字読取装置)が、画像マッチングとしては、銀行等のセキュリティシステムにおける指紋認証や網膜認証などが知られている。

特開2009-80635号公報 特開2008-242712号公報 特開2005-4453号公報

一方、これまでの画像認識技術は、各分野ごとに、専門的に特化しながら発展してきており、例えば「顔認識」であれば、より正確に人物を特定できるように、また、「文字認識」であれば、従来のホワイトペーパー上の文字認識から、画像の景色や背景に含まれる文字の認識へと、認識対象に特化して技術の発展が図られてきた。また、画像認識技術の研究・進化は発展途上の分野でもあり、ハードウエアの進歩や、通信環境等のインフラの整備により、従来の技術が大きく発展したり、既存あるいは想定されるサービスが多様化したりする可能性がある。

しかしながら、前述のように、従来の画像認識技術は、専門的に特化した形態であるため、単体サービスを目的としたシステムには有効であるものの、種々の認識対象を含む複合的なサービスには対応しておらず、処理速度に問題が生じる可能性がある。特に、画像認識技術の進化は、技術的・専門的に深化する傾向があり、必ずしもユーザのライフスタイルとは一致せず、多様化したサービスに対応していない、というのが現状であった。

本発明の目的は、１つの画像に含まれる種々の情報を複合的に認識・解析し、多様化したニーズに対し迅速で適切なサービスを提供し得る画像認識装置・方法を提供することにある。

本発明の画像認識装置は、コンピュータを利用した画像認識装置であって、前記コンピュータは、取得した画像の中から、前記画像に含まれる所定の画像内情報を抽出する画像内情報抽出部と、前記画像を撮影した場所及び／又は時間と、前記画像が送信された場所及び／又は前記画像が取得された時間のうち、少なくとも何れか１つを含む状況情報を取得するシチュエーション情報取得部と、前記画像内情報と関連付けられた状態で画像データが格納されたデータベース部と、前記画像内情報抽出部にて抽出した前記画像内情報に基づいて、前記データベース部から、前記画像データを検索するデータ検索部と、前記シチュエーション情報取得部にて取得した前記状況情報に基づいて、前記データ検索部にて検索・取得された前記画像データを絞り込む状況判断部と、を有することを特徴とする。

前記画像認識装置において、前記状況判断部により、前記シチュエーション情報取得部にて取得した前記状況情報に基づいて、前記画像の撮影された状況及び／又は前記画像が送信された状況を示す画像環境情報を作成し、該画像環境情報に基づいて、前記データ検索部にて検索・取得された画像データを絞り込み、前記データベース部に、前記画像データに対応する前記画像環境情報が、前記各画像データごとに格納されたサービスデータベースを設けても良い。

また、前記データベース部に、前記画像データに付随するサービス情報の内容が、前記各画像データごとに格納されたサービスデータベースを設け、前記コンピュータに、前記サービスデータベースから、前記状況判断部にて絞り込まれた前記画像データに対応するサービス情報を抽出するサービス選択部をさらに設けても良い。この場合、前記画像内情報抽出部に、取得した前記画像の中から、該画像に含まれる所定のパターンを抽出するパターン抽出部を、前記データベース部に、前記パターン及び前記パターンごとに設定されたキーワードが格納されたパターンデータベースをそれぞれ設けると共に、前記コンピュータに、前記パターン抽出部にて抽出された前記パターンに基づいて、前記パターンデータベースからキーワードを選択し、前記データ検索部にて検索・取得された画像データを、前記キーワードに置き換えるキーワード変換部をさらに設け、前記サービス選択部によって、前記キーワードを用いて、前記画像データに対応するサービス情報を抽出するようにしても良い。

さらに、前記画像内情報抽出部により、前記画像内情報として、前記画像の特徴点とその個数、該画像中の文字、該画像の色調を抽出すべく、前記画像内情報抽出部内に、前記特徴点とその個数を抽出する特徴点抽出部と、前記画像中の文字を抽出する文字認識部と、前記画像の色調を抽出する色調抽出部と、を設けても良い。この場合、前記データ検索部により、前記画像内情報のうち、前記特徴点の個数、前記画像中の文字、及び、前記画像の色調に基づいて、前記データベース部から前記画像データを検索する第１次絞り込み検索と、前記第１次絞り込み検索によって検索された前記画像データから、前記特徴点に基づいて、前記画像データをさらに検索する第２次絞り込み検索と、を実行させても良い。

一方、本発明の画像認識方法は、コンピュータを利用した画像認識方法であって、取得した画像の中から、前記画像に含まれる所定の画像内情報を抽出するステップと、前記画像を撮影した場所及び／又は時間と、前記画像が送信された場所及び／又は前記画像が取得された時間のうち、少なくとも何れか１つを含む状況情報を取得するステップと、前記画像内情報に基づいて、前記画像データを検索するステップと、前記状況情報に基づいて、前記画像の撮影された状況及び／又は前記画像が送信された状況を示す画像環境情報を作成するステップと、前記画像環境情報に基づいて、検索・取得された前記画像データを絞り込むステップと、を有することを特徴とする。

また、本発明の他の画像認識方法は、コンピュータを利用した画像認識方法であって、取得した画像の中から、前記画像に含まれる所定の画像内情報を抽出するステップと、前記画像を撮影した場所及び／又は時間と、前記画像が送信された場所及び／又は前記画像が取得された時間のうち、少なくとも何れか１つを含む状況情報を取得するステップと、前記画像内情報に基づいて、前記画像データを検索するステップと、取得した前記画像の中から、該画像に含まれる所定のパターンを抽出するステップと、前記パターン抽出部にて抽出された前記パターンに基づいて、キーワードを選択するステップと、前記画像内情報に基づいて検索・取得された前記画像データを、前記キーワードに置き換えるステップと、前記キーワードを用いて、前記画像データに付随するサービス情報を検索するステップと、前記状況情報に基づいて、前記画像の撮影された状況及び／又は前記画像が送信された状況を示す画像環境情報を作成するステップと、前記画像環境情報に基づいて、検索・取得された前記サービス情報を絞り込むステップと、を有することを特徴とする。

前記画像認識方法において、前記画像内情報として、前記画像の特徴点とその個数、該画像中の文字、該画像の色調を抽出し、前記画像内情報のうち、前記特徴点の個数、前記画像中の文字、及び、前記画像の色調に基づいて、前記画像データを検索する第１次絞り込み検索と、前記第１次絞り込み検索によって検索された前記画像データから、前記特徴点に基づいて、前記画像データをさらに検索する第２次絞り込み検索と、を実行するようにしても良い。

加えて、本発明の情報提供システムは、ユーザが携帯端末にて撮影した画像を、コンピュータを利用したシステムサーバにて取得・解析し、前記ユーザの前記携帯端末に対し、前記画像に対応したサービスを提供する情報提供システムであって、前記コンピュータは、取得した前記画像の中から、前記画像に含まれる所定の画像内情報を抽出する画像内情報抽出部と、前記画像を撮影した場所及び／又は時間と、前記画像が送信された場所及び／又は前記画像が取得された時間のうち、少なくとも何れか１つを含む状況情報を取得するシチュエーション情報取得部と、前記画像内情報と関連付けられた状態で画像データが格納されると共に、前記画像データに基づいて提供されるサービスの内容が前記各画像データごとに格納されたデータベース部と、前記画像内情報抽出部にて抽出した前記画像内情報に基づいて、前記データベース部から、前記画像データを検索するデータ検索部と、前記シチュエーション情報取得部にて取得した前記状況情報に基づいて、前記データ検索部にて検索・取得された前記画像データを絞り込む状況判断部と、前記データベース部から、前記状況判断部にて絞り込まれた前記画像データに対応するサービス情報を抽出するサービス選択部と、前記サービス選択部にて抽出したサービス情報に基づくサービスを前記携帯端末に送信するデータ送受信部と、を有することを特徴とする。

前記情報提供システムにおいて、前記画像内情報抽出部に、取得した前記画像の中から、該画像に含まれる所定のパターンを抽出するパターン抽出部を、前記データベース部に、前記パターン及び前記パターンごとに設定されたキーワードが格納されたパターンデータベースをそれぞれ設けると共に、前記コンピュータに、前記パターン抽出部にて抽出された前記パターンに基づいて、前記パターンデータベースからキーワードを選択し、前記データ検索部にて検索・取得された画像データを、前記キーワードに置き換えるキーワード変換部をさらに設け、前記サービス選択部により、前記キーワードを用いて、前記画像データに対応するサービス情報を抽出するようにしても良い。

本発明の画像認識装置によれば、コンピュータを利用した画像認識装置にて、取得した画像の中から画像に含まれる所定の画像内情報を抽出する画像内情報抽出部と、状況情報を取得するシチュエーション情報取得部と、画像内情報に基づいて画像データを検索するデータ検索部と、状況情報に基づいて画像データを絞り込む状況判断部と、を設けることにより、１つの画像に含まれる種々の情報を複合的に認識・解析することができる。従って、専門的に特化し単体サービスを目的とした従来の画像認識技術とは異なり、種々の認識対象を含む複合的なサービスに迅速に対応することが可能となる。

本発明の画像認識方法によれば、コンピュータを利用した画像認識方法にて、取得した画像の中から画像に含まれる所定の画像内情報を抽出するステップと、状況情報を取得するステップと、画像内情報に基づいて画像データを検索するステップと、状況情報に基づいて画像環境情報を作成するステップと、画像環境情報に基づいて、検索・取得された前記画像データを絞り込むステップと、を設けることにより、１つの画像に含まれる種々の情報を複合的に認識・解析することができる。従って、専門的に特化し単体サービスを目的とした従来の画像認識技術とは異なり、種々の認識対象を含む複合的なサービスに迅速に対応することが可能となる。

本発明の情報提供システムによれば、携帯端末にて撮影した画像を、コンピュータを利用したシステムサーバにて取得・解析し、ユーザの携帯端末に対し、撮影画像に対応したサービスを提供する情報提供システムにて、取得した画像の中から画像に含まれる所定の画像内情報を抽出する画像内情報抽出部と、状況情報を取得するシチュエーション情報取得部と、画像内情報と関連付けられた状態で画像データが格納され、画像データに基づいて提供されるサービスの内容が各画像データごとに格納されたデータベース部と、抽出した画像内情報に基づいて、データベース部から、画像データを検索するデータ検索部と、状況情報に基づいて、検索・取得された画像データを絞り込む状況判断部と、データベース部から、絞り込まれた画像データに対応するサービス情報を抽出するサービス選択部と、抽出したサービス情報に基づくサービスを携帯端末に送信するデータ送受信部と、を設けることにより、１つの画像に含まれる種々の情報を複合的に認識・解析し、当該画像に関連するサービスをユーザに対し的確に提供することが可能となる。従って、従来の画像認識技術を用いた情報提供システムとは異なり、ユーザに対し、種々の認識対象を含む複合的なサービスを迅速に提供することが可能となる。

本発明による画像認識装置・方法を用いた情報提供システムの全体構成を示す説明図である。 画像内情報抽出部内の構成を示すブロック図である。 シチュエーション情報取得部内の構成を示すブロック図である。 データベース部内の構成を示すブロック図である。 当該情報提供システムにおける処理手順を示すフローチャートである。 画像ＤＢ内の画像データと、サービスＤＢの「画像環境情報」と「サービス情報」の一例を示す説明図である。 雑誌の表紙の一例を示す説明図である。

以下、本発明の実施例を図面に基づいて詳細に説明する。図１は、本発明による画像認識装置・方法を用いた情報提供システムの全体構成を示す説明図である。図１に示すように、当該情報提供システムは、携帯電話やモバイル端末等の携帯端末１と、情報提供サイドに設けられたシステムサーバ（画像認識装置）２とから構成されており、システムサーバ２は、電話回線やインターネット回線等を介して、携帯端末１と接続されている。図１のシステムでは、ユーザ１０が携帯端末１にて撮影した画像（写真（静止画像）や動画）をシステムサーバ２に送信すると、システムサーバ２は、送られてきた画像から人物や物体、色調、文字等を複合的に認識すると共に、撮影時の状況(場所や時間等)を解析し、ユーザ１０が求める最適な情報を携帯端末１に提供する。

システムサーバ２はコンピュータを用いた構成となっており、システムサーバ２内には、制御処理部（ＣＰＵ）３と、データ格納部４、データ送受信部５、及び、タイマ６が設けられている。制御処理部３には、画像内情報抽出部１１、シチュエーション情報取得部１２、データ検索部１３、状況判断部１４、サービス選択部１５、キーワード変換部１６の各機能手段が設けられている。データ格納部４には、データベース部１７、ＲＯＭ１８、ＲＡＭ１９が設けられている。制御処理部３やデータ格納部４、データ送受信部５は、それぞれバスライン７によって接続されており、システムサーバ２は、データ送受信部５を介して、携帯端末１との間でデータのやり取りを行う。

画像内情報抽出部１１は、撮影された画像の中から、人物や物体等に関する種々の情報を抽出する。また、シチュエーション情報取得部１２は、画像を撮影した場所（位置情報）や時間、画像の送信時間や送信場所など、各画像に付属する状況情報を取得する。データ検索部１３は、画像内情報抽出部１１にて抽出した情報を用いて、データベース部１７内に格納された画像や文字情報等から、ユーザが求めるデータを検索する。状況判断部１４は、シチュエーション情報取得部１２にて取得した状況情報に基づいて、画像の撮影された状況や環境を判断し、画像の撮影された状況や画像が送信された状況等を示す画像環境情報を作成する。サービス選択部１５は、状況判断部１４にて作成された画像環境情報に基づいて、データ検索部１３にて検索、取得されたデータから、ユーザに提供するサービスを絞り込む。

ＲＯＭ１８は、不揮発性の記憶手段であり、画像内情報抽出部１１等の機能手段によって実行される処理に関するプログラムが格納されている。ＲＡＭ１９は、データの読み書きが可能な記憶手段であり、各機能手段による処理によって取得されたり、認識されたりしたデータ等が一時的に格納される。データ送受信部５は、携帯端末１から画像等を取得すると共に、データ検索部１３や状況判断部１４、サービス選択部１５によって検索・取得された情報やサービスを携帯端末１に送信する。

図２は、画像内情報抽出部１１内の構成を示すブロック図である。図２に示すように、画像内情報抽出部１１内にはさらに、特徴点抽出部２１、文字認識部２２、パターン抽出部２３、色調抽出部２４が設けられており、画像認識エンジンが複数種類配置された構成となっている。特徴点抽出部２１は、得られた画像の持つ固有の特徴点を抽出すると共に、その画像の持つ特徴点の数を把握する機能手段である。

特徴点抽出部２１では、例えば、当該画像は「右上に特に明るい部分がある」とか、「下部の色が白から赤に変わっている」など、各画像の特徴点を抽出し、特徴点数をカウントする。この場合、特徴点抽出部２１は、画像の中から特徴として認識されるポイント(曲がり角、色の変わり目など)を特徴点として抽出し、その周辺の色情報を一定の次元数のヒストグラムに変換する。次に、特徴点を抽出した後、互いに隣接しあう別の特徴点の結びつけを行い、一つあるいは複数の特徴点のパターンを算出する(この特徴点パターンは、カテゴライズされたり、色調抽出部２４における色味の算出にて使用したりする)。

文字認識部２２は、いわゆるＯＣＲエンジンと同様に、画像の背景等に存在する文字を抽出・認識する機能手段である。また、パターン抽出部２３は、花や犬猫等の動物、看板、自動車などの特徴的な形状パターンを画像内から抽出し、画像内の物体を認識する機能手段である。当該システムでは、花や動物等の特徴的形状パターンが、予めデータ化されてデータベース部１７に格納されている。パターン抽出部２３は、画像内からこれらと同様の特徴を持つ部位を抽出し、画像内に、人間の顔や猫、花などが存在することを推認する。

色調抽出部２４は、画像内から色を抽出し、当該画像に含まれる色彩をカテゴライズする機能手段である。すなわち、画像の「色調」を検出する部位であり、例えば、取得した画像内に「赤が多く含まれている（赤っぽい）」とか、「青っぽい」、「黒っぽい」、など、画像を「色彩」の観点から分類して特徴付ける。色調抽出部２４では、一つの画像の各点（ドット）から色情報(R,G,B)を抽出し、それを予め定められた段階に分割／保持する（黒・白・赤・青・緑・紫・黄色・水色等）。同時に階調も保持し、この色分割のなかで、画像内に占める割合が一番高い色を画像の色味とする。従って、色調抽出部２４では、同じ赤でも、濃く暗い赤から、薄く明るい赤まで、画像の色調を細かに検出でき、全体に明るい画像であるとか、暗い画像であるとかなども把握できる。また、上記「特徴点」と組み合わせて、ある複数の特徴点の集まりの中での色味情報の算出を行う。これにより、あるエリアの中にある物体の色味情報だけを抜き出すことができる。この色味情報は、後述する第２次絞り込み検索におけるデータ照合に使用される。

図３は、シチュエーション情報取得部１２内の構成を示すブロック図である。図３に示すように、シチュエーション情報取得部１２内には、位置情報取得部３１と、時間情報取得部３２が設けられている。位置情報取得部３１は、状況情報として、携帯端末１から送られてきた画像に含まれている撮影位置情報や、ユーザが画像を送信した場所（携帯端末１の画像送信時の現在位置）を示す送信位置情報を取得する。昨今の携帯端末やデジタルカメラには、ＧＰＳ機能や高度計機能が搭載されているものも多く、それらによって撮影された映像には、各画像の撮影位置情報（例えば、北緯Ｘ°，東経Ｙ°，高度Ｚｍ）などが含まれている。位置情報取得部３１は、これらのデータを画像から抽出し、各画像の撮影位置を特定・取得する。また、ユーザが画像を送信した場所も、携帯端末１のＧＰＳ機能を利用して、送信位置情報として取得される。

時間情報取得部３２は、画像が送信されてきた時刻（着信時刻）や、撮影された時刻を画像データから取得する。着信時刻は、システムサーバ２内のタイマ６を用いて取得される。画像の撮影時刻は、画像に含まれている時間情報を抽出し、特定・取得する。通常、携帯端末１やデジタルカメラにて撮影された画像には、撮影時刻を示す時間情報（タイムスタンプ）が付されている。時間情報取得部３２は、このタイムスタンプを画像から抽出し、各画像の撮影時刻を特定・取得する。

図４は、データベース部１７内の構成を示すブロック図である。図４に示すように、データベース部１７内には、画像ＤＢ４１と、画像内情報ＤＢ４２、パターンＤＢ４３、サービスＤＢ４４が設けられている。画像ＤＢ４１内には、種々の画像データが、特徴点や特徴点数、文字情報、色調などの「画像情報」と関連付けられた状態で格納されている。画像内情報ＤＢ４２内には、特徴点ＤＢ５１、文字情報ＤＢ５２、色調ＤＢ５３が設けられている。特徴点ＤＢ５１には、前述の画像特徴点の典型例（特徴点データ）が格納されている。文字情報ＤＢ５２には、ＯＣＲ用の文字データが格納されている。色調ＤＢ５３には、色調把握用の色データが格納されている。

パターンＤＢ４３には、花や動物等の特徴的形状パターンを示すパターンデータが格納されている。パターンＤＢ４３では、例えば、「眉，目，鼻，口」等の配置に基づいて形成された人間の顔のパターンデータや、「輪郭，耳，鼻」等の形に基づいて形成された猫のパターンデータなどが格納されている。パターン抽出部２３は、画像内からそのパターンを抽出し、画像内に人間の顔や猫が存在すること推認する。また、花であれば、パターンデータとして、いくつかの花弁形状がパターン化されて格納されており、衣服であれば、シャツやパンツなど形状がパターン化されて格納されている。パターン抽出部２３は、これらデータに基づいて、画像内に花や衣服などが存在することを推認する。

サービスＤＢ４４には、画像ＤＢ４１内の各画像データに対応する「サービス情報」、「画像環境情報」、「キーワード」が格納されている。「サービス情報」や「画像環境情報」、「キーワード」は、画像ＤＢ４１内の各画像データに関連付けられており、携帯端末１からの画像を解析・認識し、画像が特定されると、このサービスＤＢ４４から、当該画像に関連するサービス情報等が選択・抽出される。サービスＤＢ４４内のデータは、静止画像や文字情報、各種ホームページのＵＲＬ（商品の紹介ページや購入ページ，辞書・辞典等のページ等）には限られず、動画や音声データなども適宜含まれる。

次に、このような情報提供システムでは、以下のような手順でユーザ所望の情報が提供される。図５は、当該情報提供システムにおける処理手順を示すフローチャートである。ここではまず、ステップＳ１にて、携帯端末１にて撮影した画像をシステムサーバ２が取得する。画像を取得したシステムサーバ２は、当該画像から、画像内情報とシチュエーション情報を取得する（ステップＳ２,Ｓ３；順不同）。

画像内情報の取得は、画像内情報ＤＢ４２を参照しつつ、画像内情報抽出部１１によって行われる。画像内情報抽出部１１の特徴点抽出部２１、文字認識部２２、色調抽出部２４の各機能手段は、各エンジンにより、画像の特徴点及び特徴点数、文字、色調の各情報を取得する。この際、特徴点としては、通常、３００〜４００個程度かそれ以上の特徴が抽出される。また、シチュエーション情報の取得は、シチュエーション情報取得部１２によって行われ、位置情報取得部３１、時間情報取得部３２により、画像の撮影場所や高度、撮影時刻、送信場所、着信時間などの情報が取得される。画像内情報抽出部１１やシチュエーション情報取得部１２にて取得された各情報は、ＲＡＭ１９に格納される。

ステップＳ２,Ｓ３にて画像内情報を取得した後、ステップＳ４に進み、画像内情報を用いて、まず、第１次絞り込み検索を行う。第１次絞り込み検索は、データ検索部１３によって行われ、データベース部１７の画像ＤＢ４１から、ステップＳ２,Ｓ３にて取得した画像の特徴点数、文字、色調に適合する画像データを抽出する。Ｓ４では、画像ＤＢ４１中のデータから、「特徴点数」が近似するもの、同じ「文字」が含まれるもの、「色調」が近似するもの、を抽出する。例えば、取得した画像の特徴点数が３００個の場合、２５０〜３５０個の特徴点数を有する画像データを抽出し、「文字」や「色調」などを掛け合わせて、データを絞り込む。この際、当該システムでは、通常の画像認識システムのように、個々の画像の一致不一致を見るのではなく、画像データに含まれる「画像情報」をＤＢ検索するため、Ｓ４では非常に高速にてデータの絞り込みを行うことができる。

ステップＳ４にて、第１次絞り込み検索として、このような高速プレサーチを行った後、ステップＳ５に進み、第２次絞り込み検索として、画像の特徴点や色味から画像データを絞り込む。第２次絞り込み検索もまた、データ検索部１３によって行われ、Ｓ４の第１次絞り込み検索にて得られた画像データをさらに絞り込む。Ｓ５にて絞り込まれた画像データは、ＲＡＭ１９に格納される。

このＳ５の第２次絞り込み検索では、画像の特徴点を個々のデータごとに比較・照合し、特徴点や色味が一致する画像データを抽出する。すなわち、データ検索部１３は、抽出した特徴点同士の比較を行い、特徴点の集まりとして保持しているパターンが、近似パターンとして選択可能かどうかを判断する。この判断は、画像同士の全ての特徴点／ヒストグラムの近似を算出するため、非常に計算に時間を有するが、既に第１次絞り込みを行っておりデータ数が限られているため、従来の画像認識システムに比して、最終的な絞り込みに達するまでの時間は大幅に短縮される。また、あるエリア内に存在する物体の色味情報だけを抜き出し、その比較・照合も行い、画像の中で一番頻度の高い色味段階がマッチングするか否か、また、その割合がある一定以上であるかを判断する。

ステップＳ４,Ｓ５にて第１次・第２次の絞り込み検索を実行した後、ステップＳ６に進み、本システムにおける情報提供が、「画像マッチングサービス」であるかどうかが確認される。この場合、「画像マッチングサービス」とは、クライアント（画像提供側）の希望により、Ｓ５にて絞り込まれた画像データについて、所定の結果のみを提供するサービスを言う。画像マッチングサービスを行うシステムでは、画像ＤＢ４１に画像データを登録する際、「サービス情報」として、一定の出力が格納されており、例えば、所定の衣服の画像が認識された場合には、その衣服を取り扱っているサイトを表示したり、所定の人物が認識された場合には、その人物の公式サイトを表示したりするサービスが提供される。

なお、ユーザに提供された画像取得（撮影）用アプリケーションが特定サービス（クライアント）専用でない場合は、クライアント指定のＵＲＬではなく所定の情報を出力する。例えば、クライアント専用ではない映画情報提供アプリケーションがユーザに提供されている場合、ユーザの撮影画像が映画ポスターのときは、ＤＶＤジャケット（クライアントであるレンタル会社提供の画像データ）とマッチングさせるが、クライアント指定のＵＲＬではなく、映画の詳細情報を出力する。

本システムにおける情報提供が「画像マッチングサービス」であるか否かは、システム設定時に決定され、画像マッチングサービスである場合は、Ｓ６にてＹＥＳとなり、ステップＳ７に進んで、状況判断が実行される。この状況判断は、状況判断部１４によって行われ、Ｓ２,Ｓ３にて取得された画像内情報とシチュエーション情報に基づいて、画像の撮影された状況や環境、画像の送信位置等を判断し、「画像環境情報」を形成する。この「画像環境情報」もまた、ＲＡＭ１９に格納される。

ステップＳ７にて、状況判断部１４は、例えば、画像内情報のうち色調抽出部２４にて検出した画像の明暗状態と、撮影位置や撮影時間、送信位置等に基づき、当該画像が屋内で撮影されたものか、屋外で撮影されたものか、どこで送信されているか、などを判断し、「画像環境情報」を作成する。すなわち、画像背景が黒っぽく（暗め）であり、撮影場所が市街地、着信時間が夜間の場合には、自宅等の屋内で撮影された可能性が高いため「屋内撮影」と判断し、送信位置も合わせて、「屋内撮影」，「夜間」，「市街地送信」，「東京」のような「画像環境情報」を作成する。

これに対し、画像背景が白っぽく（明るめ）であり、撮影場所が山間部、着信時間が昼間の場合には、郊外の野外で撮影された可能性が高いため「屋外撮影」と判断し、送信位置も合わせて、「屋外撮影」，「昼間」，「山間部送信」，「那須高原」のような「画像環境情報」を作成する。一方、送信場所が高度の低い市街地で昼間であっても、撮影時間と着信時間との間に差があり、撮影場所の高度が高い場合には、山間部にて撮影した画像を市街部にて送信しているケースが想定される。その場合、「画像環境情報」としては、「屋外撮影」，「昼間」，「市街地送信」，「宇都宮」が作成される。

ここで、山間部を判断するためには、次の２種類の方法を使用する。まず、第１の方法としては、緯度・経度により、山間部をある程度大まかに規定する境界線マップを作成・保持し、取得した緯度・経度が境界線内か否かで判断する方法がある。また、第２の方法としては、各地域の標準高度を地域情報と一緒にデータ化（例えば、宇都宮駅周辺は海抜５０ｍｍ）し、取得した緯度・経度からその地域を特定する。そして、データ上に保持されている標準高度と取得した高度を比較し、明らかな差（例えば、１００ｍｍ以上）があれば山間部と判断する。これらの方法の何れかを使用するかの判断は、サービスで求められる処理速度と位置情報取得時の制度により判断し、スピードが求められる場合は第２の方法を優先し、取得精度が高ければ第１の方法を使用する。なお、地域に関する状況判断は、送信場所の位置情報ではなく、撮影画像の位置情報を優先して使用する。また、海岸部の場合は、前記の第１方法を使用する（第２の方法は海抜０ｍ近傍のため使用不可）。

また、屋内／屋外については、デジタルカメラで使用されているエンジンを使用する。また、対象物による想定値（昼間の人物ならばこの程度の明るさなど）も合わせて使用する。時間軸に関しては、撮影時刻や受信時刻等のタイムをそのまま使用する。そして、これらの状況を、各撮影画像や画像送信時刻、受信時刻を考慮して判断して「画像環境情報」を取得し、サービス毎・対象物毎にこの情報に優先順位を付け、提供情報を選択し、出力する。

ステップＳ７にて状況判断を実行し、「画像環境情報」を得た後、ステップＳ８に進む。ステップＳ８では、先に得た「画像環境情報」等に基づき、Ｓ４,Ｓ５にて絞り込んだ画像データから、サービス選択部１５により、提供すべきサービスが抽出される。前述のように、画像ＤＢ４１の各画像データには、サービスＤＢ４４の「画像環境情報」と「サービス情報」が関連付けられている。図６は、画像ＤＢ４１内の画像データと、サービスＤＢ４４の「画像環境情報」と「サービス情報」の一例を示す説明図である。

図６に示すように、サービスＤＢ４４には、後述するキーワード検索にて使用する「キーワード」と、「画像環境情報」、「サービス情報」が含まれており、画像ＤＢ４１内の画像データと関連付けられている。例えば、図６における「画像Ａ（花の画像）」には、
検索用データ(1)＝キーワード：「花」,「コスモス」
画像環境情報：「屋内撮影」,「市街地送信」,「東京」
サービス情報：「販売ショップサイト（東京）」
検索用データ(2)＝キーワード：「花」,「コスモス」
画像環境情報：「屋外撮影」，「山間部送信」
サービス情報：「図鑑」
検索用データ(3)＝キーワード：「花」,「コスモス」
画像環境情報：「屋外撮影」，「市街地送信」
サービス情報：「図鑑」
などの検索用データが数多く含まれている。画像ＤＢ４１には、このような検索用データを含む画像データが数百万件格納されている。

サービス選択部１５は、Ｓ５にて絞り込まれた画像データについて、このようなサービスＤＢ４４から、先の「画像環境情報」に基づいて関連データを検索し、提供するサービスを抽出する。先の例で言えば、「屋内撮影」，「夜間」，「市街地送信」，「東京」のような「画像環境情報」を有する画像に対しては、それに適合するデータ(1)が抽出される。なお、「画像マッチングサービス」の情報提供システムでは、クライアントの要請により、ある画像に対しては一定のサービスが提供され、例えば、前述のデータでは、画像Ａ（花の画像）に対して、地域に関する画像環境情報のみが参照され、当該クライアントの「販売ショップサイト（東京）」が抽出される。従って、「画像環境情報」として「大阪」が含まれている場合には、画像Ａのデータから、当該クライアントの「販売ショップサイト（大阪）」が抽出される。

この他にも、例えば、送信位置による判断例としては、撮影対象が「阪神タイガースのロゴ」や「阪神タイガースの選手背番号」、「甲子園球場の外観写真」などであり、取得位置情報が「甲子園近辺（緯度・経度より判断）」の場合には、「現在の試合詳細（テキスト＆動画）」や「選手の今試合の成績」を表示したり、「甲子園開催試合のチケット予約サイト」や「阪神球団のＨＰ」を表示したりすることもできる。

また、時間による判断例としては、提供サービスが観光ガイドで、周辺情報（食べる）を出力する場合、撮影対象が観光スポット（例えば、金沢兼六園）のときは、兼六園近辺のお店の情報を出力し、その際、送信時間が朝・昼の場合は、ランチメニューのお店を出力し、送信時間が夕方・夜の場合は、ナイトスポット（居酒屋・バーなど）を出力することもできる。この時間軸による判断は、お店そのもの写真（現地撮影あるいはガイドブックから）でも有効であり、この場合も、送信時間が朝・昼ならばランチメニューを、夕方・夜ならばディナーメニューを出力するなどの対応を行う。

ステップＳ８にてサービス情報を抽出した後、ステップＳ９に進み、先に抽出したデータ(1)に含まれるサービス情報、すなわち、「販売ショップサイト（東京）」が出力される。そして、出力されたサービス情報を携帯端末１に送信し、ルーチンを抜ける。これにより、ユーザ１０が撮影した画像に基づき、それと関連する所定のサービス（販売ショップサイトの提示）が実施され、システムサーバ２から携帯端末１に対し、文字データや音声データが送られ、適宜、表示、再生される。

一方、ステップＳ６にて、本システムにおける情報提供が「画像マッチングサービス」でない場合は、ステップＳ１１に進み、画像内情報がさらに分析される。ステップＳ１１では、画像内情報抽出部１１のパターン抽出部２３によって、画像内情報から物体のパターンが抽出される。パターン抽出は、パターンＤＢ４３を参照して行われ、撮影画像内から、認知科学的観点に基づいてパターン分析が行われ、人物や花、動物、看板、ロゴ、自動車等が抽出される。この際、パターン抽出部２３は、画像から抽出された色調情報も参照する。

ステップＳ１１にてパターン抽出を行った後、ステップＳ１２に進み、抽出したパターンをキーワードに変換する。パターンＤＢ４３のパターンには、各パターンごとにキーワードが付されており、キーワード変換部１６は、抽出されたパターンからキーワードを取り出し、Ｓ５にて絞り込まれた画像データを「キーワード」に置き換える。例えば、花のパターンならキーワード「花」、人間のパターンなら「人物」のように、パターンをキーワード化する。

パターンをキーワード化した後、ステップＳ１３に進み、サービス選択部１５により、当該キーワードを用いて、画像データに付随するサービスを絞り込む。すなわち、画像データに基づき、検索キーワードを新たに提供し、Ｓ５にて絞り込まれた画像データから、変換したキーワード（例えば「花」）を用いて、提供するサービスの内容を絞り込む。前述のように、サービスＤＢ４４には、各画像データに関連する「キーワード」が含まれており、サービス選択部１５は、Ｓ５にて絞り込まれた画像データから、サービスＤＢ４４を用いて、対象となるキーワード（「花」）を含むサービスを検索、抽出する。

ステップＳ１３にてキーワードによるサービスの絞り込みを行った後、ステップＳ１４にて、状況判断部１４による状況判断を実行する。Ｓ１４の状況判断は、ステップＳ７と同様に行われ、取得画像の「状況情報」から、例えば、「屋外撮影」，「山間部送信」のような「画像環境情報」を作成し、ステップＳ１５にて、これに対応するデータ(2)から提供すべきサービス（「図鑑」）を抽出する。そして、ステップＳ１６に進み、絞り込んだサービス情報（ここでは、「図鑑」）を出力し、それを携帯端末１に送信してルーチンを抜ける。これにより、ユーザ１０が撮影した画像に基づき、ユーザの状況に応じた最適なサービス（図鑑の提示）が実施され、システムサーバ２から携帯端末１に対し、文字データや音声データが送られ、適宜、表示、再生される。

そこで、一例として、当該情報提供システム（「画像マッチングサービス」ではない）を用いて、図７のような雑誌の表紙を撮影した場合について説明する。まず、ユーザ１０が携帯端末１にて図７の表紙を撮影し、システムサーバ２に送信すると、システムサーバ２は、その画像をインターネット回線を介して取得する（ステップＳ１）。次に、システムサーバ２は、ステップＳ２,Ｓ３にて、画像内情報として、例えば、
画像の特徴：「周囲が暗く中央が明るい」等
特徴点数：１００
文字：「ＸＹＺ」,「サプライズプライス特集」等、
色調：全体に赤っぽい（周囲に赤；図７ではハッチングにて表示）
を取得する。

また、シチュエーション情報としては、
撮影位置情報：北緯３５度４１分，東経１３９度４６分
送信位置情報：北緯３５度４１分，東経１３９度４６分
高度情報：海抜３０ｍ
撮影時刻時間：２０１０年５月２０日 １４:００
着信時刻情報：２０１０年５月２０日 １４:１０
を取得する。

次に、ステップＳ４（第１次絞り込み検索）にて、データベース部１７の画像ＤＢ４１から、画像の特徴点数、文字、色調に適合する画像データを抽出する。ここでは、「特徴点数」が５０〜１５０個あり、文字「ＸＹＺ」を含み、「色調」が全体に赤っぽい、画像データが抽出される。第１次絞り込み検索の後、Ｓ４にて絞り込んだ画像データに対して、第２次絞り込み検索が行われる（Ｓ５）。これにより、第１次絞り込み検索が行われた画像データから、図７の表紙と概ね一致する画像データが抽出される。なお、雑誌の表紙であれば、通常、このレベルにて、ほぼひとつの画像データに絞り込まれる。

第２次絞り込み検索の後、当該情報提供システムは「画像マッチングサービス」ではないことから、ステップＳ６からＳ１１に進み、パターン抽出が行われる。ここでは、表紙の画像から「人物」の存在が抽出され、キーワードとして「人物」が抽出・選択される（Ｓ１２）。一方、サービスＤＢ４４内には、画像データに対応して、キーワード「人物」と共に、その「人物名」もデータとして含まれている。そこで、図７の表紙画像においては、キーワードとして、「人物」と共に「人物名（例えば、モデル名：ＡＢＣＤ）」が使用され、第２次絞り込み検索後の画像データから、サービスＤＢ４４を用いて、提供されるサービスが抽出される（Ｓ１３）。

ここで、図７の表紙画像から、「ＸＹＺ」という文字が雑誌名を意味することは、ユーザは容易に認識できる。従って、「ＸＹＺ」なる雑誌の情報が得たい場合には、「ＸＹＺ」をキーワードとしてインターネット検索が容易に行える。しかしながら、モデルに関する情報は当該写真しかなく、ユーザは、この人物を調べるための情報を表紙からは入手できない。すなわち、モデル名を知りたい場合には、ネット検索を行うキーワードがなく、表紙のみではその要望を満たすことはできない。

これに対し、当該情報提供システムは、表紙画像から人物を認識し、それを人物名（モデル名）に変換して情報を提供する。ユーザに対しては、まず、その人物名が提供され、併せて、その人物に関する情報も提供される。従って、ユーザは、本システムにより、それまで不明であった人物名が明らかとなり、提供された人物関連情報の他にも情報を得たい場合には、その人物名にて改めて検索を行うことも可能となる。つまり、当該情報提供システムでは、ユーザが認識、取得しづらい情報に注視し、それを的確に提供することにより、検索キーワード提供の新しい形を構築している。

キーワードによってサービスを絞り込んだ後、状況判断を実行し（Ｓ１４）、サービス内容を絞り込む（Ｓ１５）。例えば、「屋内」,「夜間」のような「画像環境情報」の場合には、ユーザは手持ちの雑誌の表紙を自宅にて撮影、送信していることが推認される。従って、ユーザは、雑誌の内容に関する情報は既に有していると考えられ、提供するサービスとしては、「モデル」に関する情報や、「モデルが着用している衣服」に関する情報、「モデル着用品の販売サイト」などが選択される。

また、「屋内」,「昼間」のような「画像環境情報」の場合には、例えば、ＯＬが銀行の待ち時間等に雑誌を見るシーンや、昼食時の雑誌購買などが想定される。従って、ユーザは、「サプライズプライス特集」の情報を得たい、と考えていることが推認され、提供するサービスとして、その特集に関する情報も付加する。そして、「画像環境情報」を用いて絞り込んだ各種サービスを、リスト形式等にて携帯端末１に送信する。

本発明は前記実施例に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。
例えば、前述の実施例では、花の画像から販売ショップや図鑑の情報を提供するサービスや、雑誌表紙画像からモデル名や特集内容を提供するサービスを例にとって、本発明による情報提供サービスを説明したが、その適用対象は前述のものには限定されず、次のようなシステムにも適用可能である。なお、前述の実施例における処理はあくまでも基本処理であり、提供するサービスにより、適宜例外事項等が発生する場合がある。

（１）存在証明
保安や見回り等のセキュリティシステムやスタンプラリーなどにおいて、所定の場所の目標や看板等を撮影し、その場所に送信者が存在することを証明するシステムにも使用できる。この場合、システムサーバ側では、携帯端末にて送られてきた画像を認識・解析し、これが登録されている画像と一致している場合には、送信者の存在証明を発行（発信）するサービスを行う。

（２）マニュアルサービス
美術館や博物館等における作品解説や、家電・家具等の説明書や動画マニュアルの提供、社内教育などの現場ツールにも使用できる。美術館や博物館等では、情報を得たい作品や展示物の画像をシステムサーバ側に送信すると、システムサーバはその画像を認識・解析し、ユーザ側に解説等の関連情報を送信する。家電・家具等の場合は、当該家電製品の画像やマニュアルから取得した画像を送信すると、関連する取扱説明書や、組み立て手順を示した動画などがユーザ側に送信される。社内教育等では、各現場にて、設備や機械、部品等を撮影して送信すると、重いマニュアル等を持ち運ぶことなく、設備等に関連する情報をその場で取得することができる。

（３）学習サービス
課外授業等の現場ツールとしても使用できる。この場合、例えば、野外活動時に花や昆虫、鳥、雲、風景などを撮影し、それをシステムサーバ側に送信することにより、携帯端末側にて図鑑や地図などが表示される。これにより、野外活動の現場にて、花や昆虫、鳥、雲などの名前や、各生物の生態などの情報を即座に得ることができる。また、キャンプ時の道具の取り扱いや、素材写真からクッキングレシピを提供することも可能である。さらに、不明な英単語や日本語を撮影して送ることにより、辞書を表示することもでき、電子辞書のような使い方や外国人向けガイド・メニューも可能である。

（４）ショッピングツール
通販雑誌や各種マガジンとの連携により、コマースサービスも提供できる。例えば、通販雑誌のカタログから製品写真を撮り、それをシステムサーバ側に送信することにより、携帯端末側に、通販サイトや商品取扱店のＨＰを提示したり、画像を送った衣服を着用したモデルの動画を送信したりすることもできる。

（５）テレビ番組連携ツール
ショッピングツール（前記（４））の機能をテレショッピングやドラマ等と連携させることもできる。つまり、本発明は、画像のみならず、動画にも対応可能であり、例えば、ユーザが、番組内の商品やタレントを撮影しシステムサーバ側に送信することにより、ダイレクトにテレショップに電話コールできたり、携帯端末側にテレゴング等のアンケートページを表示させたりすることができる。また、スポンサーのＨＰへの遷移も可能となる。

（６）予約システム
タウン情報誌などの店舗画像や店舗実写真からクーポンを提供したり、予約サイトに連携させたりするサービスも可能である。その際、写真の位置情報から、地図や近隣の関連するお店の情報などを提供することもできる。

（７）観光ガイド
散策中に、お店等の外観写真や看板写真をシステムサーバ側に送信することにより、携帯端末側に、そのお店のお薦めメニューやクーポン、あるいは、現在の空席情報などのオンタイム情報を提供することも可能である。本発明は、現場ツールとしてのサービスが大きなメリットのひとつであり、大手観光ガイド誌に載らないような現地の情報（現地観光協会主催等）や口コミにも対応可能である。

（８）その他のサービス
番組表やテレビガイドなとから画像（あるいは、番組タイトルや出演者名）を取得し、番組内容や出演者プロフィールを提供したり、所定番組の開始時間に注意喚起を行うリマインダ機能を提供したりすることもできる。また、配水管等の修理業者のサービスとして、現場写真からラフ見積表を提供することもできる。

１ 携帯端末
２ システムサーバ（画像認識装置）
３ 制御処理部（ＣＰＵ）
４ データ格納部
５ データ送受信部
６ タイマ
７ バスライン
１０ ユーザ
１１ 画像内情報抽出部
１２ シチュエーション情報取得部
１３ データ検索部
１４ 状況判断部
１５ サービス選択部
１６ キーワード変換部
１７ データベース部
１８ ＲＯＭ
１９ ＲＡＭ
２１ 特徴点抽出部
２２ 文字認識部
２３ パターン抽出部
２４ 色調抽出部
３１ 位置情報取得部
３２ 時間情報取得部
４１ 画像データベース
４２ 画像内情報データベース
４３ パターンデータベース
４４ サービスデータベース
５１ 特徴点データベース
５２ 文字情報データベース
５３ 色調データベース

Claims (11)

1. コンピュータを利用した画像認識装置であって、
   前記コンピュータは、
   取得した画像の中から、前記画像に含まれる所定の画像内情報を抽出する画像内情報抽出部と、
   前記画像を撮影した場所及び／又は時間と、前記画像が送信された場所及び／又は前記画像が取得された時間のうち、少なくとも何れか１つを含む状況情報を取得するシチュエーション情報取得部と、
   前記画像内情報と関連付けられた状態で画像データが格納されたデータベース部と、
   前記画像内情報抽出部にて抽出した前記画像内情報に基づいて、前記データベース部から、前記画像データを検索するデータ検索部と、
   前記シチュエーション情報取得部にて取得した前記状況情報に基づいて、前記データ検索部にて検索・取得された前記画像データを絞り込む状況判断部と、を有することを特徴とする画像認識装置。
2. 請求項１記載の画像認識装置において、
   前記状況判断部は、前記シチュエーション情報取得部にて取得した前記状況情報に基づいて、前記画像の撮影された状況及び／又は前記画像が送信された状況を示す画像環境情報を作成し、該画像環境情報に基づいて、前記データ検索部にて検索・取得された画像データを絞り込み、
   前記データベース部は、前記画像データに対応する前記画像環境情報が、前記各画像データごとに格納されたサービスデータベースを有することを特徴とする画像認識装置。
3. 請求項１又は２記載の画像認識装置において、
   前記データベース部は、前記画像データに付随するサービス情報の内容が、前記各画像データごとに格納されたサービスデータベースを有し、
   前記コンピュータは、
   前記サービスデータベースから、前記状況判断部にて絞り込まれた前記画像データに対応するサービス情報を抽出するサービス選択部をさらに有することを特徴とする画像認識装置。
4. 請求項３記載の画像認識装置において、
   前記画像内情報抽出部は、取得した前記画像の中から、該画像に含まれる所定のパターンを抽出するパターン抽出部を有し、
   前記データベース部は、前記パターン及び前記パターンごとに設定されたキーワードが格納されたパターンデータベースを有し、
   前記コンピュータは、
   前記パターン抽出部にて抽出された前記パターンに基づいて、前記パターンデータベースからキーワードを選択し、前記データ検索部にて検索・取得された画像データを、前記キーワードに置き換えるキーワード変換部をさらに有し、
   前記サービス選択部は、前記キーワードを用いて、前記画像データに対応するサービス情報を抽出することを特徴とする画像認識装置。
5. 請求項１〜４の何れか１項に記載の画像認識装置において、
   前記画像内情報抽出部は、前記画像内情報として、前記画像の特徴点とその個数、該画像中の文字、該画像の色調を抽出し、
   前記特徴点とその個数を抽出する特徴点抽出部と、
   前記画像中の文字を抽出する文字認識部と、
   前記画像の色調を抽出する色調抽出部と、を有することを特徴とする画像認識装置。
6. 請求項５記載の画像認識装置において、
   前記データ検索部は、
   前記画像内情報のうち、前記特徴点の個数、前記画像中の文字、及び、前記画像の色調に基づいて、前記データベース部から前記画像データを検索する第１次絞り込み検索と、
   前記第１次絞り込み検索によって検索された前記画像データから、前記特徴点に基づいて、前記画像データをさらに検索する第２次絞り込み検索と、を実行することを特徴とする画像認識装置。
7. コンピュータを利用した画像認識方法であって、
   取得した画像の中から、前記画像に含まれる所定の画像内情報を抽出するステップと、
   前記画像を撮影した場所及び／又は時間と、前記画像が送信された場所及び／又は前記画像が取得された時間のうち、少なくとも何れか１つを含む状況情報を取得するステップと、
   前記画像内情報に基づいて、前記画像データを検索するステップと、
   前記状況情報に基づいて、前記画像の撮影された状況及び／又は前記画像が送信された状況を示す画像環境情報を作成するステップと、
   前記画像環境情報に基づいて、検索・取得された前記画像データを絞り込むステップと、を有することを特徴とする画像認識方法。
8. コンピュータを利用した画像認識方法であって、
   取得した画像の中から、前記画像に含まれる所定の画像内情報を抽出するステップと、
   前記画像を撮影した場所及び／又は時間と、前記画像が送信された場所及び／又は前記画像が取得された時間のうち、少なくとも何れか１つを含む状況情報を取得するステップと、
   前記画像内情報に基づいて、前記画像データを検索するステップと、
   取得した前記画像の中から、該画像に含まれる所定のパターンを抽出するステップと、
   前記パターン抽出部にて抽出された前記パターンに基づいて、キーワードを選択するステップと、
   前記画像内情報に基づいて検索・取得された前記画像データを、前記キーワードに置き換えるステップと、
   前記キーワードを用いて、前記画像データに付随するサービス情報を検索するステップと、
   前記状況情報に基づいて、前記画像の撮影された状況及び／又は前記画像が送信された状況を示す画像環境情報を作成するステップと、
   前記画像環境情報に基づいて、検索・取得された前記サービス情報を絞り込むステップと、を有することを特徴とする画像認識方法。
9. 請求項７又は８記載の画像認識方法において、
   前記画像内情報として、前記画像の特徴点とその個数、該画像中の文字、該画像の色調を抽出し、
   前記画像内情報のうち、前記特徴点の個数、前記画像中の文字、及び、前記画像の色調に基づいて、前記画像データを検索する第１次絞り込み検索と、
   前記第１次絞り込み検索によって検索された前記画像データから、前記特徴点に基づいて、前記画像データをさらに検索する第２次絞り込み検索と、を実行することを特徴とする画像認識方法。
10. ユーザが携帯端末にて撮影した画像を、コンピュータを利用したシステムサーバにて取得・解析し、前記ユーザの前記携帯端末に対し、前記画像に対応したサービスを提供する情報提供システムであって、
    前記コンピュータは、
    取得した前記画像の中から、前記画像に含まれる所定の画像内情報を抽出する画像内情報抽出部と、
    前記画像を撮影した場所及び／又は時間と、前記画像が送信された場所及び／又は前記画像が取得された時間のうち、少なくとも何れか１つを含む状況情報を取得するシチュエーション情報取得部と、
    前記画像内情報と関連付けられた状態で画像データが格納されると共に、前記画像データに基づいて提供されるサービスの内容が前記各画像データごとに格納されたデータベース部と、
    前記画像内情報抽出部にて抽出した前記画像内情報に基づいて、前記データベース部から、前記画像データを検索するデータ検索部と、
    前記シチュエーション情報取得部にて取得した前記状況情報に基づいて、前記データ検索部にて検索・取得された前記画像データを絞り込む状況判断部と、
    前記データベース部から、前記状況判断部にて絞り込まれた前記画像データに対応するサービス情報を抽出するサービス選択部と、
    前記サービス選択部にて抽出したサービス情報に基づくサービスを前記携帯端末に送信するデータ送受信部と、を有することを特徴とする情報提供システム。
11. 請求項１０記載の情報提供システムにおいて、
    前記画像内情報抽出部は、取得した前記画像の中から、該画像に含まれる所定のパターンを抽出するパターン抽出部を有し、
    前記データベース部は、前記パターン及び前記パターンごとに設定されたキーワードが格納されたパターンデータベースを有し、
    前記コンピュータは、
    前記パターン抽出部にて抽出された前記パターンに基づいて、前記パターンデータベースからキーワードを選択し、前記データ検索部にて検索・取得された画像データを、前記キーワードに置き換えるキーワード変換部をさらに有し、
    前記サービス選択部は、前記キーワードを用いて、前記画像データに対応するサービス情報を抽出することを特徴とする情報提供システム。

Images