JP2005107978A - 撮影機能付き情報端末による情報検索装置、及び、情報検索方法 - Google Patents

Abstract

【課題】 本発明の目的は、入力手段が限定されている情報端末、特に携帯端末におけるデータベースの検索条件入力が容易化される情報検索装置を提供することにある。
【解決手段】 情報検索装置は、端末通信部とサーバ通信部と画像認識部と変換データベースと情報変換部とを具備している。端末通信部は、撮影機能を備える端末と通信する。サーバ通信部は、情報提供サーバと通信する。画像認識部は、撮影されて端末から送信される被写体画像データを画像認識して画像識別子を出力する。変換データベースは、画像識別子に検索情報を関連付けて記憶する。情報変換部は、画像認識部から出力される画像識別子に関連付けられる検索情報を、サーバ通信部を介して情報提供サーバに送信する。情報検索装置は、情報提供サーバから返信される提供情報を、サーバ通信部を介して受信し、受信した提供情報を、端末通信部を介して端末に送信する。
【選択図】 図１

Description

本発明は、撮影機能を備える情報端末による情報検索システムに関し、特に、画像情報を入力して情報を検索するシステムに関する。

データベースから情報を取り出す場合、通常は文字による検索条件を入力していた。近年、携帯電話機等の携帯端末が普及し、電子メールの送受信、インターネットアクセスに使用されている。このような携帯端末では文字入力する機能が限定的であり、文字入力は不便であった。また、情報をデータベースから検索して利用するときに、入力する条件が文字（文章）で表現し難いこともあった。

このようなデータベースの検索におけるユーザインタフェースは改良されてきている。特開平１０−２８９２４３号公報では、データベース検索のユーザインタフェースを向上させる技術が知られている。これによれば、データベースには、複数の人物の画像データ、およびそれら各人物に関連する情報とが互いに対応づけられて格納されている。携帯端末のユーザは、ある人物に関連する情報を得たい場合には、携帯端末が備える電子カメラ（画像入力部）を用いてその人物を撮影し、検索依頼とともにその画像データをホスト装置に送る。検索部は、受信した画像データを検索キーとしてデータベースにアクセスし、受信した画像データと一致または類似する画像データに対応する情報を取り出す。このようにしてユーザインタフェースを向上させる技術である。

また、データベースの膨大な情報量から検索の範囲を限定する技術が知られている。特開２００２−２４５０７１号公報によれば、撮影時における位置情報と画像情報という２種類の情報を基に撮影画像の場所を直接的に特定する仕組みを提供する技術が知られている。全国のあらゆるアングルからの画像のデータベースを構築しておき、このデータベースと画像情報をそれぞれ参照することにより、その場所名を特定するものである。全国各地の画像情報となると、膨大な情報量で、非常な計算機負荷と演算時間を要するので、画像情報に位置情報を組み合わせることにより、簡単に参照できるようにした。さらに画像の特徴量を抽出して、特徴量で参照を行うことにより、伝送データ量や検索時間を節約する。

また、特開２００２−３２８９２５号公報によれば、データベースの検索結果の出力におけるユーザインタフェースに関する技術が知られていた。所望する商品を容易に購入できるようにする商品検索システム、商品検索装置及び商品検索方法を実現しようとするものである。商品検索システム、商品検索装置及び商品検索方法において、情報処理装置は端末から送信された画像に基づいて、当該画像と一致又は類似する商品画像に応じた商品の販売元がそれぞれ開設するサイトについてのネットワーク上のアドレスを当該端末に送信するようにした。

特開平１０−２８９２４３号公報 特開２００２−２４５０７１号公報 特開２００２−３２８９２５号公報

本発明の目的は、入力手段が限定されている情報端末、特に携帯端末におけるデータベースの検索条件入力が容易化される情報検索装置を提供することにある。

本発明の他の目的は、文字で表現し難い対象物に関する検索条件を入力することができる情報検索装置を提供することにある。

また、本発明の他の目的は、処理時間を短縮する情報検索装置を提供することにある。

さらに、本発明の他の目的は、データベースが検索された結果の利用の自由度を向上させる情報検索装置を提供することにある。

以下に、［発明を実施するための最良の形態］で使用される番号・符号を用いて、課題を解決するための手段を説明する。これらの番号・符号は、［特許請求の範囲］の記載と［発明を実施するための最良の形態］との対応関係を明らかにするために付加されたものである。ただし、それらの番号・符号を、［特許請求の範囲］に記載されている発明の技術的範囲の解釈に用いてはならない。

本発明の観点では、情報検索装置（１０）は、変換データベース（１７）とサーバ通信部（１９）と端末通信部（１１）と画像認識部（１２）情報変換部（１６）とを具備している。変換データベース（１７）は、画像識別子と検索情報を記憶する。サーバ通信部（１９）は、情報提供サーバ（２２）と通信する。端末通信部（１１）は、撮影機能を備える端末（２１）と通信する。画像認識部（１２）は、前記端末（２１）から送信される被写体画像データを画像認識して画像識別子を出力する。情報変換部（１６）は、前記画像認識部（１２）から出力される前記画像識別子に基づいて前記変換データベースを検索して前記検索情報を取得する。情報変換部（１６）は、前記取得された検索情報を前記サーバ通信部（１９）を介して前記情報提供サーバ（２２）に送信する。前記サーバ通信部（１９）は、前記検索情報の受信に応答して前記情報提供サーバ（２２）から返信される提供情報を受信する。前記端末通信部（１１）は、前記受信された提供情報を前記端末（２１）に送信する。

本発明の情報検索装置（１０）の前記画像認識部（１２）は、前記被写体画像データのうちの指定される範囲を画像認識する。

本発明の情報検索装置（１０）の前記画像認識部（１２）は、前記指定される範囲に含まれる文字を認識する。

本発明の情報検索装置（１０）の前記端末通信部（１１）は、前記指定される範囲に関連付けられる前記被写体画像データを受信する入力ポートを備える。

本発明の情報検索装置（１０）の前記端末通信部（１１）は、雑誌表紙、映画ポスター、ＣＤジャケット、商品の外観、商品のロゴマークなど被写体の種別に関連付けられる前記被写体画像データを受信する入力ポートを備える。

本発明の情報検索装置（１０）の前記端末通信部（１１）は、前記提供情報の情報形態（音声、動画、テキストなど）に関連付けられる前記被写体画像データを受信する入力ポートを備える。

本発明において、前記被写体画像データは複数の画像を含み、情報検索装置（１０）は、それぞれの画像が認識された結果に基づいて、情報提供サーバ（２２）に検索情報を送信する。

本発明の他の観点では、情報検索方法は、画像識別子と検索情報を記憶する変換データベースを備える情報検索装置において、サーバ通信ステップと端末通信ステップと画像認識ステップと情報変換ステップとを具備する。サーバ通信ステップは、情報提供サーバと通信する。端末通信ステップは撮影機能を備える端末と通信する。画像認識ステップは、前記端末から送信される被写体画像データを画像認識して画像識別子を出力する。情報変換ステップは、前記画像認識ステップで出力される前記画像識別子に基づいて前記変換データベースを検索して前記検索情報を取得し、前記取得された検索情報を前記サーバ通信ステップを介して前記情報提供サーバに送信する。前記サーバ通信ステップは、前記検索情報の受信に応答して前記情報提供サーバから返信される提供情報を受信する。前記端末通信ステップは、前記受信された提供情報を前記端末に送信する。

本発明の情報検索方法の前記画像認識ステップは、前記被写体画像データのうちの指定される範囲を画像認識する。

本発明の情報検索方法の前記画像認識ステップは、前記指定される範囲に含まれる文字を認識する。

本発明の情報検索方法の前記端末通信ステップは、前記指定される範囲に関連付けられる前記被写体画像データを受信する入力ポートを備える。

本発明の情報検索方法の前記端末通信ステップは、被写体の種別に関連付けられる前記被写体画像データを受信する入力ポートを備える。

本発明の情報検索方法の前記端末通信ステップは、前記提供情報の情報形態に関連付けられる前記被写体画像データを受信する入力ポートを備える。

本発明の情報検索方法の前記被写体画像データは、複数の画像を含む。

本発明によれば、撮影機能を備える端末から画像による検索条件を入力することができ、入力手段が限定されている情報端末、特に携帯端末におけるデータベースの検索条件入力が容易化される情報検索装置を提供することができる。

また、本発明によれば、文字で表現し難い対象物に関する検索条件、あるいは対象物の名称などが不明瞭である場合でも検索条件を入力できる情報検索装置を提供することができる。

さらに、本発明によれば、画像認識の認識する範囲を限定することができ、画像認識に要する処理時間を短縮することができ、その上画像認識の認識率の向上も図れる情報検索装置を提供することができる。

また、本発明によれば、ユーザ自身により検索結果を示すメディアの形態を選択することができ、検索された結果の利用の自由度を向上させる情報検索装置を提供することができる。

図1を参照して本発明の情報検索システムの構成を説明する。情報検索装置１０は、端末２１と通信ネットワーク２５を介して、情報提供サーバ２２と通信ネットワーク２６を介して接続されている。情報検索装置１０は、ワークステーションに例示される情報処理装置である。情報検索装置１０は、端末通信部１１、画像認識部１２、認識位置データベース１３、被写体種別データベース１４、情報変換部１６、変換データベース１７、提供情報形態データベース１８、サーバ通信部１９を具備する。

端末通信部１１は、ユーザが取り扱う端末２１から送信される被写体画像データを受信し、画像認識部１２に送る。端末通信部１１は、入力ポートを備える。入力ポートは、端末２１と電気的あるいは論理的に１対１で通信する単位であり、インターネット接続であれば、ＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）が割り当てられる単位、電話回線接続であれば、電話番号が割り当てられる単位、電子メールの場合は電子メールアドレスが割り当てられる単位とする。つまり、入力ポートは、ユーザが端末２１から情報検索装置１０に被写体画像データを送信するときの送信先に該当する。

また、端末通信部１１は、情報提供サーバ２２により配信され、サーバ通信部１９により受信される提供情報を端末２１に送信する。

画像認識部１２は、端末通信部１１から送られる被写体画像データと受信した入力ポートの情報に基づいて、画像認識する。画像認識部１２は、入力ポートの情報に基づいて、認識位置データベース１３を検索して認識範囲を設定する。さらに画像認識部１２は、被写体種別データベース１４を検索して被写体の種別を決定し、画像認識する条件を設定する。画像認識結果が得られると、画像認識部１２は、画像認識結果である画像識別子を情報変換部１６に出力する。

認識位置データベース１３は、図２に示されるように、入力ポート３１と画像認識する認識範囲３２とを関連付けて記憶している。認識範囲３２は、矩形とすると左上角と右下角の座標で示すことができる。座標系は、画像データの全体に対する絶対座標、或いは画像データの特徴点を基準とする相対座標で示す。

被写体種別データベース１４は、図４に示されるように、入力ポート４１と被写体の種別４２とを関連付けて記憶している。被写体の種別４２は、雑誌の表紙、映画ポスター、ＣＤジャケット、商品の外観、商品のロゴマークなどのカテゴリを示す。

情報変換部１６は、画像認識部１２が出力する画像識別子に基づいて変換データベース１７を検索し、情報提供サーバ２２に依頼する検索情報を設定する。また、入力ポートの情報に基づいて提供情報形態データベース１８を検索し、情報提供サーバ２２から配信される情報の情報形態（音声、動画、テキストなど）を設定する。設定された検索情報と情報形態は、サーバ通信部１９を介して情報提供サーバ２２に送信される。

変換データベース１７は、図５に示されるように、画像識別子４５と検索情報４６とを関連付けて記憶する。検索情報４６は、検索先のサーバを示す検索先４７、検索の条件などを示すパラメータを列挙するパラメータ４８等検索するために必要な情報を示す。

提供情報形態データベース１８は、図６に示されるように、入力ポート５１と提供情報形態５２とを関連付けて記憶する。提供情報形態５２は、情報提供サーバ２２によって配信される情報の形態（音声、動画、テキストなど）を示す。つまり、データベースを検索した結果がどのようなメディアで提供されるかを示す。

サーバ通信部１９は、情報提供サーバ２２と通信ネットワーク２６を介して通信する。サーバ通信部１９は、情報変換部１６が設定した検索情報と情報形態とを情報提供サーバ２２に送信し、情報提供サーバ２２が配信する提供情報を受信する。受信した提供情報は、端末通信部１１を介して端末２１に送信される。

端末２１は、カメラ付き携帯電話機などの携帯端末であり、撮影機能を備えている。端末２１を操作するユーザは、検索する対象物を端末２１を使用して撮影し、撮影された被写体画像データを通信ネットワーク２５を介して情報検索装置１０に送信する。送信された被写体画像データが、検索する条件を示し、送信先が検索条件のオプションを示す。

情報提供サーバ２２は、情報検索装置１０から送信される検索情報に基づいて、内蔵するデータベースを検索し、検索結果を通信ネットワーク２６を介して情報検索装置１０に配信する。

通信ネットワーク２５は、端末２１と情報検索装置１０とを接続するネットワークである。通信ネットワーク２６は、情報提供サーバ２２と情報検索装置１０とを接続するネットワークである。

図３を参照して雑誌の表紙の画像を例として認識範囲について説明する。雑誌の表紙の画像３５には、雑誌の名称を示す領域３６と発行日などを示す領域３７がある。雑誌の名称と発行日が判別できると、雑誌が特定される。よって、雑誌を特定するには、雑誌の名称を示す領域３６と発行日などを示す領域３７を画像認識するとよい。領域３６、領域３７の座標を画像内の絶対座標で示すと、入力画像をそのまま画像認識することができるため、画像処理は１度の実行でよい。領域３６、領域３７の座標を雑誌表紙の画像３５の境界からの相対座標で示すと、撮影された対象物の画像がフレーム（画面）からずれていても正しい座標を示すことができる。このとき、雑誌表紙の画像３５の境界を検出した後に領域３６、領域３７を決定するため、処理量は増加するが、認識の精度は向上する。

また、図３のように２ヵ所の認識範囲がある場合、２枚の画像として扱うこともできる。逆に、図３の画像を領域３６の部分と領域３７の部分に分けて撮影され、２回に分割送信された画像を１枚の画像として扱うことも可能である。

図７を参照して情報検索装置の動作を説明する。ユーザは、検索したい対象物を端末２１を使用して撮影する（ステップＳ１１）。撮影された被写体画像データは、端末２１から情報検索装置１０に通信ネットワーク２５を介して送信される（ステップ１２）。

情報検索装置１０は、端末通信部１１で被写体画像データを受信する。端末通信部１１は、被写体画像データと共に受信した入力ポートの情報を画像認識部１２に出力する。画像認識部１２は、受信した入力ポートの情報に基づいて被写体種別データベース１４を検索し、被写体の種別（雑誌表紙、映画ポスター、ＣＤジャケット、商品の外観、商品のロゴマークなど）を取り出す。取り出した被写体の種別により画像認識する対象を限定する。被写体の種別が判別できると認識対象の比較対象数が限定でき、画像認識の精度向上、画像認識時間の短縮ができる（ステップＳ１５）。

情報検索装置１０は、被写体画像データを受信した入力ポートの情報に基づいて認識位置データベース１３を検索し、画像の認識する範囲を取り出す。取り出した範囲により画像認識する範囲が設定される。画像認識する範囲が限定されると認識処理量が減少するため、画像認識時間の短縮、画像認識の精度向上ができる（ステップＳ１６）。

被写体の種別と認識範囲を設定された被写体画像データは、画像認識部１２で認識される。画像識別子が認識結果として情報変換部１６に出力される。認識範囲にある画像が文字である場合、文字画像に特化した文字認識を行うと更に認識精度の向上が期待できる。文字認識であれば文字コード出力も可能であり、画像認識部１２は、文字列の比較によって対象物の特定ができる（ステップＳ１８）。

情報変換部１６は、入力ポートの情報に基づいて提供情報形態データベース１８を検索し、情報提供サーバ２２によって配信される情報の形態（音声、動画、テキストなど）を取り出す（ステップＳ２０）。

情報変換部１６は、画像識別子に基づいて変換データベース１７を検索し、検索先サーバのアドレスや検索パラメータ等の検索情報を取り出す。検索情報のパラメータとしてステップＳ２０で取り出した提供情報形態を付加する（ステップＳ２２）。

情報変換部１６で設定された検索情報は、変換データベース１７から取り出した検索先である情報提供サーバ２２に、サーバ通信部１９を介して送信される（ステップＳ２５）。

情報提供サーバ２２は、受信した検索情報に基づいて、該当する提供情報を検索する（ステップＳ２６）。検索された提供情報は、通信ネットワーク２６を介して情報検索装置１０に送信される（ステップＳ２７）。

情報提供サーバ２２が送信した提供情報をサーバ通信部１９で受信した情報検索装置１０は、端末通信部１１を介して端末２１に受信した提供情報を送信する（ステップＳ２９）。

提供情報を受信した端末２１は、情報が画像であれば画面に表示したり、情報が音声であればスピーカから音声出力する。このようにしてユーザは、提供情報を利用する（ステップＳ３０）。

なお、情報変換部１６では、提供情報形態により検索先が異なる場合もある。その場合、変換データベース１７は、画像識別子４５と、検索情報４６、提供情報形態５２または入力ポート５１とを対応付けるデータベースを使用する。

このような情報検索装置１０を利用すると、店頭で見かけた音楽ＣＤのさわり部分を携帯電話機で聞くことができるようになる。ユーザは、店頭の音楽ＣＤのジャケットをカメラ付き携帯電話機で撮影する。音楽ＣＤのジャケットを画像認識し、音声で結果を配信するように設定されている入力ポートに向けて、ユーザは撮影した画像を送信する。情報検索装置１０は、受信した音楽ＣＤジャケットの画像を認識し、その音楽ＣＤの情報を保有している情報提供サーバ２２に音声（音楽）情報を配信するように依頼する。情報提供サーバ２２は、データベースを検索して、指定された音楽を情報検索装置１０に返送する。情報検索装置１０は、返送された音声（音楽）データを端末１１に送信する。端末１１は、受信した音声（音楽）データを再生し、ユーザはその再生された音楽を楽しむ。

音楽ＣＤを発行しているレーベルなどがはっきりしている場合は、発行しているレーベルが指定されている入力ポートに向けて送信する。そのレーベルに限定された音楽ＣＤのジャケットの情報で画像認識されるため、撮影したものと異なる音楽ＣＤとして認識されることが少なくなる。また、他のレーベルのものと照合しなくても良くなるため、処理量が減少し、処理時間が短縮する。これは、応答時間（検索時間）が短縮されたことになり、ユーザにとって待ち時間が短縮されて、ストレスなく利用できるようになる。

また、雑誌など書籍の場合は、ユーザが雑誌の表紙の画像を情報検索装置１０に送信すると、その目次、記事の概略等を知ることができる。ユーザは、雑誌の表紙を撮影し、情報検索装置１０に送信する。送信先は、雑誌を発行している会社と雑誌が指定されている入力ポートとする。雑誌を指定すると、図３のような雑誌名と発行月の部分が画像認識の範囲に設定される。また、雑誌名や発行月は、文字であるため、文字のデザインが特殊でない限り文字認識により、雑誌名、発行月が特定される。情報検索装置１０は、雑誌名、発行月を検索条件として雑誌発行元の情報提供サーバ２２に送信する。雑誌発行元の情報提供サーバ２２は、該当する雑誌の目次、特集の項目等をテキストデータで配信する。配信データを受信したユーザは、端末２１に表示される雑誌の目次、特集の項目等を確認し、雑誌を購入する。情報の提供は、その商品の広告でもあり、ユーザの購買欲を高めることができる。

さらに、ユーザが、映画のポスターを撮影して情報検索装置１０に送信すると、その映画の予告編を見ることができる。街頭で映画のポスターを見て、どのような内容であるか確認する場合、ユーザはそのポスターを撮影し、情報検索装置１０に送信する。ポスターは画像認識され、該当する配給映画会社の情報提供サーバ２２に検索情報が送信される。情報提供サーバ２２から該当する映画の予告編等が配信される。ユーザは端末２１で内容を確認し、観覧する映画を決定する。

このような利用方法では、端末２１としてカメラ付き携帯電話機を使用すると手軽に利用できるが、デジタルカメラで撮影した画像を送信しても同様の効果が得られる。

発明を実施するための最良の形態に係る情報検索システムの構成を示す図である。 同認識位置データベースの構成を示す図である。 同認識範囲を説明する図である。 同被写体種別データベースの構成を示す図である。 同変換データベースの構成を示す図である。 同提供情報形態データベースの構成を示す図である。 同情報検索装置の動作を示すフローチャートである。

符号の説明

１０ 情報検索装置
１１ 端末通信部
１２ 画像認識部
１３ 認識位置データベース
１４ 被写体種別データベース
１６ 情報変換部
１７ 変換データベース
１８ 提供情報形態データベース
１９ サーバ通信部
２１ 端末
２２ 情報提供サーバ
２５、２６ 通信ネットワーク
３５ 雑誌の表紙画像
３６、３７ 画像の領域

Claims (14)

1. 画像識別子と検索情報を記憶する変換データベースと、
   情報提供サーバと通信するサーバ通信部と、
   撮影機能を備える端末と通信する端末通信部と、
   前記端末から送信される被写体画像データを画像認識して画像識別子を出力する画像認識部と、
   前記画像認識部から出力される前記画像識別子に基づいて前記変換データベースを検索して前記検索情報を取得し、前記取得された検索情報を前記サーバ通信部を介して前記情報提供サーバに送信する情報変換部と
   を具備し、
   前記サーバ通信部は、前記検索情報の受信に応答して前記情報提供サーバから返信される提供情報を受信し、前記端末通信部は、前記受信された提供情報を前記端末に送信する情報検索装置。
2. 前記画像認識部は、前記被写体画像データのうちの指定される範囲を画像認識する
   請求項１に記載の情報検索装置。
3. 前記画像認識部は、前記指定される範囲に含まれる文字を認識する
   請求項２に記載の情報検索装置。
4. 前記端末通信部は、前記指定される範囲に関連付けられる前記被写体画像データを受信する入力ポートを備える
   請求項２または請求項３に記載の情報検索装置。
5. 前記端末通信部は、被写体の種別に関連付けられる前記被写体画像データを受信する入力ポートを備える
   請求項１から請求項４のいずれかに記載の情報検索装置。
6. 前記端末通信部は、前記提供情報の情報形態に関連付けられる前記被写体画像データを受信する入力ポートを備える
   請求項１から請求項５のいずれかに記載の情報検索装置。
7. 前記被写体画像データは、複数の画像を含む請求項１から請求項６のいずれかに記載の情報検索装置。
8. 画像識別子と検索情報を記憶する変換データベースと、
   情報提供サーバと通信するサーバ通信ステップと、
   撮影機能を備える端末と通信する端末通信ステップと、
   前記端末から送信される被写体画像データを画像認識して画像識別子を出力する画像認識ステップと、
   前記画像認識ステップで出力される前記画像識別子に基づいて前記変換データベースを検索して前記検索情報を取得し、前記取得された検索情報を前記サーバ通信ステップを介して前記情報提供サーバに送信する情報変換ステップと
   を具備し、
   前記サーバ通信ステップは、前記検索情報の受信に応答して前記情報提供サーバから返信される提供情報を受信し、前記端末通信ステップは、前記受信された提供情報を前記端末に送信する情報検索方法。
9. 前記画像認識ステップは、前記被写体画像データのうちの指定される範囲を画像認識する
   請求項８に記載の情報検索方法。
10. 前記画像認識ステップは、前記指定される範囲に含まれる文字を認識する
    請求項９に記載の情報検索方法。
11. 前記端末通信ステップは、前記指定される範囲に関連付けられる前記被写体画像データを受信する入力ポートを備える
    請求項９または請求項１０に記載の情報検索方法。
12. 前記端末通信ステップは、被写体の種別に関連付けられる前記被写体画像データを受信する入力ポートを備える
    請求項８から請求項１１のいずれかに記載の情報検索方法。
13. 前記端末通信ステップは、前記提供情報の情報形態に関連付けられる前記被写体画像データを受信する入力ポートを備える
    請求項８から請求項１２のいずれかに記載の情報検索方法。
14. 前記被写体画像データは、複数の画像を含む請求項８から請求項１３のいずれかに記載の情報検索方法。

Images