JP2004234465A

JP2004234465A - Retrieval server, mobile terminal and information providing system

Info

Publication number: JP2004234465A
Application number: JP2003023873A
Authority: JP
Inventors: Naoaki Kodaira; 直朗小平
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2003-01-31
Filing date: 2003-01-31
Publication date: 2004-08-19

Abstract

<P>PROBLEM TO BE SOLVED: To enable a user to receive information provision services easily at a mobile terminal. <P>SOLUTION: The user of the mobile terminal 101 is artificially determined so as to be discriminable by a person or an apparatus using an imaging means 201, and also the image information of the portion is acquired by the imaging means 201 when photographing a portion including a pattern defined as a retrieval key. An image recognition means 202 recognizes the pattern by performing the recognition processing of the image information. The recognition results are added to an information retrieval request, and transmitted to a retrieval server 102 by a recognition information transmission means 203. An information retrieval means 205 in the retrieval server 102 retrieves the information to be provided on the basis of the recognition results. The retrieved information is transmitted to the mobile terminal 101 by the information transmission means 207, and displayed by an information display means 204. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像手段を有する携帯端末が当該撮像手段により取得される画像を利用して情報を取得するのに好適な検索サーバ、携帯端末及び情報提供システムに関する。
【０００２】
【従来の技術】
最近、携帯電話機やＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）に代表される携帯端末の普及に伴い、ユーザがインターネット等の通信により様々な情報（ここでの情報とはサービスを含むものとする）を得る機会が多くなってきている。そのような情報をユーザにアピールする手段の１つにメールによるものがある。しかし、不特定多数にメールを送付することは、必要のないユーザにとっては不快であり、さらに通信トラフィックを増大させる原因となるため、社会問題になっている。
【０００３】
また、印刷された広告にＵＲＬ（ＵｎｉｆｏｒｍＲｅｓｏｕｒｃｅＬｏｃａｔｏｒ）に代表されるウェブ（Ｗｅｂ）アドレス等を記載し、このアドレスにユーザがアクセスすることを促す手法も知られている。しかし、この手法では、ユーザはアドレス等をいちいち入力する必要がある。通常、携帯端末は入力機能が簡素化されていることが多いため、簡単に入力することは難しい。このため、ユーザが携帯端末から情報にアクセスしにくい原因となっている。
【０００４】
また、最近は、携帯端末からのアドレス等の入力を不要とした情報提供システムも提案されている（例えば、特許文献１参照）。このシステム（以下、先行技術と称する）では、ＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ：全地球測位システム）受信機とデジタルカメラ（撮像手段）を搭載した携帯端末（クライアント装置）が利用される。カメラは、屋外を移動中のユーザが情報を得たいと欲する対象物を含む風景物を当該ユーザの操作で撮影するのに用いられる。このカメラでの撮影により取得された風景物の画像情報（風景情報）は、ＧＰＳ受信機により取得された位置情報と共に所定の情報提供サーバ（センターシステム）に送出される。情報提供サーバは、風景情報及び位置情報と蓄積された映像情報とをもとに、風景情報の示す風景物の中の対象物を特定し、その対象物に関する情報を、当該風景情報の送出元の携帯端末に送信する。これにより携帯端末のユーザは、自身の視野内にある対象物に関する情報をアドレス等の入力操作を行うことなく取得できる。
【０００５】
【特許文献１】
特開２００２−１０８８７３号公報（段落００２７）
【０００６】
【発明が解決しようとする課題】
上記したように先行技術においては、ユーザが屋外を移動中に情報を得たいと欲する対象物を見つけた場合に、その対象物に関する情報を取得するには、次の操作を行うだけでよい。つまりユーザは、対象物を含む風景物を携帯端末に搭載されたカメラで撮影し、取得された画像情報とＧＰＳ受信機により取得され位置情報を情報提供サーバ（センターシステム）に送出するための操作を行うだけでよい。
【０００７】
しかし、上記先行技術では、ユーザが取得できる情報は、ユーザの視野内に入っている風景物に含まれる対象物に限られる。つまり上記先行技術では、ユーザの視野内に入らない対象物、例えばユーザから遠隔の地にある対象物の情報を取得することはできない。また、上記先行技術では、対象物が複数の店舗を含むビルの場合、ビル自体の情報を必要とするのか、ビル内の特定の店舗の情報を必要とするのか情報提供サーバ側では識別できない。このため、情報提供サーバと携帯端末との間で、ユーザが必要とする情報を特定するための手順を必要とする。
【０００８】
本発明は上記事情を考慮してなされたものでその目的は、人または装置により識別可能なように人為的に定められ、且つ検索キーとして定義されたパターンを含む部分を携帯端末に搭載された撮像手段を用いてユーザが撮影することにより、当該撮像手段により取得される画像に含まれる上記パターンに関係する情報をユーザが得られるようにすることにある。
【０００９】
【課題を解決するための手段】
本発明の１つの観点によれば、被写体を撮影して画像情報を取得する撮像手段を有する携帯端末からの情報検索要求に応じて情報を提供する検索サーバが提供される。この検索サーバは、上記携帯端末の撮像手段で撮影されることにより取得された、人または装置により識別可能なように人為的に定められ、且つ検索キーとして定義されたパターンを含む部分の画像情報に対する画像認識結果が付加された情報検索要求を当該携帯端末から受けた場合、上記認識結果に基づいて、提供する情報を検索する情報検索手段と、この情報検索手段により検索された情報を上記携帯端末に送信する情報送信手段とを備えている。
【００１０】
このような構成の検索サーバにおいては、携帯端末から画像認識結果が付加された情報検索要求を受け取ると、当該認識結果に基づいて、当該認識結果に対応する情報が提供する情報として検索され、検索要求元の携帯端末に返される。したがって携帯端末のユーザは、印刷物等に、自身が欲しい情報の検索キーとなるパターン（例えば、文字、バーコード、或いはロゴ、トレードマーク等の図形）を発見した場合に、当該パターンを含む部分を携帯端末に搭載された撮像手段で撮影し、その撮影の結果、当該撮像手段により取得された画像情報の認識処理を当該携帯端末で行わせて、その認識結果が付加された情報検索要求を当該検索サーバに送信させるだけで、その認識結果に対応する情報、つまり自身が欲しい情報を検索サーバから例えば携帯端末の表示画面を介して受け取ることができる。つまりユーザは、煩わしい手入力すること無しで簡単に情報を入手することが可能となる。
【００１１】
ここで、上記検索サーバに、上記情報検索手段により検索された情報を上記携帯端末の表示画面を介して当該端末のユーザに提供するのに適した情報に加工する情報加工手段を追加するならば、よりユーザにとって見やすい情報を提供できる。そのためには、上記携帯端末から検索サーバに送信される情報検索要求に、当該携帯端末の表示仕様に関する情報が付加情報として付加されていると良い。
【００１２】
また、上記携帯端末から検索サーバに送信される情報検索要求に、当該携帯端末の位置情報または当該携帯端末のユーザの個人情報が付加情報として付加される構成であれば、上記情報検索手段が、上記認識結果及び付加情報に基づいて当該認識結果に対応し且つ当該付加情報で示される携帯端末の位置またはユーザの個人情報に関係する情報を検索する構成とすると良い。このようにすると、検査サーバはよりユーザに適した情報を提供することができる。
【００１３】
また、携帯端末に搭載された撮像手段により取得された画像情報に含まれる上記パターンの認識を検索サーバ側で行う構成とするならば、携帯端末での負荷を軽減できる。
【００１４】
なお、本発明は、撮像手段を搭載し、当該撮像手段で撮影されることにより取得された、人または装置により識別可能なように人為的に定められ、且つ検索キーとして定義されたパターンを含む部分の画像情報に対する画像認識結果が付加された情報検索要求を、上記構成の検索サーバに送信する携帯端末に係る発明としても成立する。また本発明は、上記構成の携帯端末及び検索サーバを備えた情報提供システムに係る発明としても成立する。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態につき図面を参照して説明する。
［第１の実施形態］
図１は本発明の第１の実施形態に係る情報提供システムの構成を示すブロック図である。
【００１６】
図１において、携帯端末１０１は、有線または無線により検索サーバ１０２と接続される。携帯端末１０１は携帯電話機、或いはＰＤＡ等の可搬型の電子機器（クライアント機器）である。携帯端末１０１は、撮像手段２０１と、画像認識手段２０２と、認識情報送信手段２０３と、情報表示手段２０４とから構成される。検索サーバ１０２は、情報検索手段２０５と、情報加工手段２０６と、情報送信手段２０７とから構成される計算機（サーバ計算機）である。
【００１７】
撮像手段２０１は、被写体を撮影してデジタルの画像情報を取得する。ここでは撮像手段２０１は、印刷物から、人または装置により識別可能なように人為的に定められ、且つ検索キーとして定義されたパターン（例えば、文字、バーコードまたは図形）を含む印刷部分を撮影するに用いられる。撮像手段２０１は、例えばデジタルカメラである。
【００１８】
図２乃至図４は、撮像手段２０１による撮影の対象となる印刷物の一例を示す。図２は印刷物に印刷された上記パターンがロゴ２１の例を、図３は上記パターンがトレードマーク３１の例を、そして図４は上記パターンが文字（文字列）４１の例を示す。図２、図３及び図４の例の場合、ユーザは、それぞれ破線２２、３２及び４２で囲まれた部分（破線枠内の部分）を含む領域を撮影する。この破線２２、３２及び４２も印刷されており、ユーザが撮影する際の指標、更にはパターン切り出しのための指標としても利用できる。なお、破線２２、３２及び４２は必ずしも必要ない。また、ユーザが撮影する際の指標として、破線の枠に代えて、撮影すべきパターン（文字、バーコードまたは図形）の色を他の部分と変えるようにしても良い。
【００１９】
画像認識手段２０２は、撮像手段２０１によって取得された画像情報に含まれている上記パターンを認識するための画像認識処理を行う。即ち画像認識手段２０２は、撮像手段２０１によって取得された画像情報を２値のデータ（２値画像）に変換して、認識すべき箇所を特定する。次に画像認識手段２０２は、特定された箇所のパターンが、文字、バーコードまたは図形（例えば、ロゴもしくはトレードマーク等の標識）のいずれであるか判別し、その判別結果に応じて文字認識処理、バーコード認識処理または画像情報圧縮処理を行う。
【００２０】
図５は画像認識手段２０２の処理手順を示すフローチャートである。この図５のフローチャートを参照して、画像認識手段２０２による画像認識処理を説明する。
【００２１】
画像認識手段２０２はまず、撮像手段２０１により取得された画像情報が正しい領域を撮影することにより得られたものであるかを判定するために、背景領域が単色であるか判定する（ステップＳ１）。この判定は例えば次のように行われる。まず、入力画像のヒストグラム及び色の鮮やかさの指標である彩度のヒストグラムから、予め設定されている閾値以上を示すピークとなる値が求められる。ピーク数が複数ある場合、背景領域が単色（つまり一様）でないと判定される。単色でない場合、画像認識手段２０２は情報表示手段２０４を介してユーザに再度画像の撮り直しを要求する。
【００２２】
次に画像認識手段２０２は、取得された画像情報の示す画像がカラー画像であるか判定する（ステップＳ２）。この判定のためには、例えばＲＧＢ値を彩度に変換し、その値と予め設定されている閾値とを比較すれば良い。カラー画像でない場合、画像認識手段２０２は画像の２値化処理を行う（ステップＳ３）。これに対し、カラー画像である場合には、画像認識手段２０２は、色を識別して２値化処理（カラー２値化処理）を行う（ステップＳ４）。色を識別するためには、例えば、各画素の色相を計算し、ヒストグラムを計測することにより、パターン（文字、ロゴ、トレードマーク等）と下地の色（背景色）を推定すれば良い。
【００２３】
画像認識手段２０２は、２値化処理（ステップＳ３またはＳ４）を終了すると、形状特徴量を抽出する（ステップＳ５）。形状特徴量の例としては、パターンのサイズ、或いは画素分布状態などが知られている。パターンのサイズは、例えば、２値画像に対してラベリング処理を行い、当該パターンの外接矩形を求めることで計測可能である。また、画素分布状態の情報は射影処理を行うことで取得可能である。
【００２４】
画像認識手段２０２は、抽出された形状特徴量をもとに、撮像手段２０１によりら取得された画像がバーコードであるか判定する（ステップＳ６）。バーコードと判定された場合、画像認識手段２０２は２値画像を対象にバーコード認識処理を行い、その結果として例えば英数字列（英数字の文字コード列）を得る（ステップＳ７）。
【００２５】
一方、バーコードではない場合、画像認識手段２０２は２値画像を対象に文字認識処理を行う（ステップＳ８）。画像認識手段２０２は、文字認識処理によって得られる各々の文字に対する類似度の平均が予め定められた一定以上の値（閾値）を満たしている場合（ステップＳ９）、文字であると判定して、対応する文字コードを出力する。これに対し、類似度が一定以上の値を満たしていない場合（ステップ９）、画像認識手段２０２はロゴやトレードマークといった図形（標識）であると判定する。この場合、画像認識手段２０２は、検索サーバ１０２に対し、図形と判定された２値画像情報を一種の画像認識結果として認識情報送信手段２０３により送信させる。その際、画像認識手段２０２は、送信データ量の削減のために画像情報圧縮を行う（ステップＳ１０）。
【００２６】
以上の結果、撮像手段２０１により取得された画像情報がバーコードを含むならば英数字列を表す文字コード列が、文字（文字列）を含むならば対応する文字コード（文字コード列）が、トレードマークやロゴといった図形を含むならば圧縮画像情報が、画像認識結果として画像認識手段２０２から認識情報送信手段２０３に出力される。
【００２７】
なお、２値画像を対象とする文字認識処理（ステップＳ８）の結果、ロゴやトレードマークといった図形であると判定された場合（ステップＳ９）、画像情報を圧縮する処理（ステップＳ１０）に代えて、図形認識処理を行うようにしても良い。図６は、この図形認識処理を含む画像認識手段２０２の処理手順を示すフローチャートであり、図５のフローチャートと同一部分には同一符号を付してある。
【００２８】
図６のフローチャートの特徴は、２値画像を対象とする文字認識処理（ステップＳ８）の結果、次のステップＳ９において、ロゴやトレードマークといった図形であると判定された場合の処理にある。この場合、画像認識手段２０２は、図６のフローチャートとは異なり、図形認識処理を行う（ステップＳ１１）。即ち画像認識手段２０２は、文字認識処理（ステップＳ８）で用いられた２値画像と予め登録されている図形データベースとのパターンマッチング処理を行い、マッチングのとれた図形（標識）に対応付けられているコードを出力する。
【００２９】
図７は、撮像手段２０１によって撮影される印刷物の他の例を示す。図７は、ロゴ７１と識別マーク７２とが混在している例である。この識別マーク７２は、図１の情報提供システムに対応した印刷パターンであると予め定義されているものとする。この識別マーク７２の意味をユーザに周知させることにより、当該マーク７２に近傍に印刷されているパターンが情報提供システム（内の検索サーバ１０２）によって提供される情報（ここでの情報とはサービスを含むものとする）の検索キーとなり得ることをユーザに理解させることができ、より見やすい印刷物をユーザに提供できる。また、情報提供システムが、図１とは異なって複数の検索サーバ１０２で運用される場合、検索サーバ１０２毎に識別マークを用意するならば、携帯端末１０１内の画像認識手段２０２によって認識される識別マークの種別に応じて認識情報送信手段２０３が送信する認識結果の送信先を決定することも可能となる。特に主たる画像認識処理を検索サーバ１０２側で行うシステムとする場合、携帯端末１０１側では識別マークのみを認識して、画像情報（例えば圧縮された画像情報）を対応する検索サーバ１０２に送信すれば良い。この場合、上記第１の実施形態と比べて携帯端末１０１での処理の負荷を軽減できる。また、携帯端末１０１の画像認識手段２０２にて図６のフローチャートに示すような画像認識処理を行う場合には、ロゴ７１と識別マーク７２とに画像を分割することで、別々に識別をすることが可能となる。
【００３０】
さて、画像認識手段２０２の画像認識結果は認識情報送信手段２０３に出力される。認識情報送信手段２０３は、画像認識手段２０２の画像認識結果を受け取ると、当該画像認識結果が付加された情報検索要求を検索サーバ１０２へ送信する。携帯端末１０１内の認識情報送信手段２０３から検索サーバ１０２への情報検索要求の送信経路としては、有線ＬＡＮ、無線ＬＡＮ、または携帯電話回線等がある。また、画像認識結果に、図７を参照して説明した検索サーバ１０２に対応する識別マークの認識結果が含まれている場合、当該認識結果により特定される検索サーバ１０２へ情報検索要求が送信される。この際、画像認識結果以外の付加情報も送信することが可能である。付加情報には、例えば、携帯端末１０１の位置情報、携帯端末１０１の画面サイズや表示可能なカラー数などの、当該携帯端末１０１の仕様に関する当該携帯端末１０１に固有の情報（例えば表示能力、つまりディスプレイの仕様に関する情報）、或いは携帯端末１０１のユーザの個人情報が適用可能である。携帯端末１０１の位置情報には、当該携帯端末１０１にＧＰＳ受信機が搭載されているならば、当該ＧＰＳ受信機により取得される位置情報を利用すれば良い。
【００３１】
検索サーバ１０２内の情報検索手段２０５は、携帯端末１０１内の認識情報送信手段２０３から送信された情報検索要求を受け取ると、当該要求に付加されている画像認識結果を利用して、当該認識結果に対応する情報を検索する。即ち情報検索手段２０５は、バーコードの認識結果である場合、認識された英数字列と予め対応付けられている情報を図示せぬ情報データベースから検索する。
【００３２】
情報検索手段２０５には図形認識機能が付加されている。そのため情報検索手段２０５は、トレードマークやロゴといった図形の認識結果、つまり図形を含む圧縮画像の場合、当該圧縮画像を伸張して予め登録されている図形データベースとのパターンマッチング処理を行うことで当該図形を認識（特定）する。情報検索手段２０５は、認識された図形（トレードマーク、或いはロゴ）と予め対応付けられている情報を情報データベースから検索する。なお、図形データベースによっては、圧縮画像のままでパターンマッチング処理を行うことも可能である。
【００３３】
また情報検索手段２０５は、文字（文字列）の認識結果の場合、認識された文字（文字列）と予め対応付けられている情報を情報データベースから検索する。また、認識された文字列がＷｅｂアドレスの場合、情報検索手段２０５は当該Ｗｅｂアドレスを用いてインターネットにアクセスし、そのアドレスで示されるロケーションに格納されている情報を取得する。この情報検索手段２０５によるＷｅｂアドレスを用いた情報取得も、Ｗｅｂアドレスを検索キーとする一種の情報検索とみなすことができる。また、図６のフローチャートの例のように、既に携帯端末１０１内の画像認識手段２０２において図形に対するパターンマッチングが行われている場合、情報検索手段２０５は次のように動作する。まず、情報検索手段２０５は、携帯端末１０１内の認識情報送信手段２０３から、画像認識結果として、認識された図形を示すコードを受け取る。そこで情報検索手段２０５は、受け取った認識結果、つまり認識された図形を示すコードと対応付けられている情報と予め対応付けられている情報を情報データベースから検索する。
【００３４】
ここで、情報検索手段２０５の具体例を、企業が広告のために利用する場合で説明する。まず、検索サーバ１０２の情報データベースには、広告したい情報が、検索キーとなる文字列、バーコードの示す英数字列、或いはトレードマークやロゴ等の図形（標識）と対応付けて予め登録されている。また、電車の吊り広告、更には新聞、雑誌の広告の一部には、上記検索キーに対応するパターン、例えば図２に示すロゴ２１、図３に示すトレードマーク３１、図４に示す文字列４１（ここではＷｅｂアドレス）または図示せぬバーコードが印刷される。
【００３５】
広告に興味を持ったユーザは、当該広告に含まれている、検索キーとなるパターン（ロゴ２１、トレードマーク３１、文字列４１またはバーコード）が印刷されている部分を携帯端末１０１の撮像手段２０１で撮影する。この場合、撮像手段２０１により取得される画像情報を対象とする画像認識処理が画像認識手段２０２により行われ、その画像認識結果が付加された情報検索要求が検索サーバ１０２に送信される。この画像認識結果が検索サーバ１０２に予め登録されていた検索キーと一致した場合、検索サーバ１０２は、当該検索キーと対応付けられている情報を携帯端末１０１を介してユーザに提供することができる。
【００３６】
さて、携帯端末１０１から検索サーバ１０２に送信される情報検索要求に画像認識結果だけでなく、携帯端末１０１の位置情報が付加されている場合、検索サーバ１０２は、例えば企業がチェーン展開している最も近い店舗を携帯端末１０１を介して地図によってユーザに示すことも可能となる。また、ユーザの個人情報が携帯端末１０１に登録されていて、当該個人情報が画像認識結果と共に情報検索要求に付加されて携帯端末１０１から検索サーバ１０２に送信された場合、ユーザの好みに合った検索フィルタリングも可能となる。また、検索サーバ１０２にユーザ毎に検索履歴を残すことで、個人の好みにより適合する検索システムを構築できる。
【００３７】
検索サーバ１０２内の情報検索手段２０５は、携帯端末１０１から送信された画像認識結果をもとに情報を検索（取得）すると、その情報を情報加工手段２０６に渡す。情報加工手段２０６は、情報検索手段２０５から渡された情報を、携帯端末１０１にてユーザが見やすく或いは使いやすくなるように加工する。この加工のために、携帯端末１０１内の認識情報送信手段２０３から画像認識結果と共に送信される付加情報が利用される。つまり、情報加工手段２０６での情報加工処理は、認識情報送信手段２０３から付加情報が送信されることを前提として行われる。付加情報に、例えば携帯端末１０１の画面サイズ、更には表示可能なカラー数の情報が含まれているものとする。この場合、情報加工手段２０６は、検索サーバ１０２から当該携帯端末１０１に送信される検索結果の画像情報のサイズを、拡大縮小処理またはフォントサイズの調整により当該携帯端末１０１の画面サイズに合わせ、更に表示可能なカラー数に合わせて画像を例えば減色する。また、付加情報にユーザの好みの表示方法を示す情報が含まれている場合、それに合わせることも可能である。
【００３８】
検索サーバ１０２内の情報加工手段２０６により加工された検索結果の情報は当該検索サーバ１０２内の情報送信手段２０７に渡される。情報送信手段２０７は、この検索結果の情報を携帯端末１０１に送信する。この情報送信手段２０７から携帯端末１０１への検索結果の情報の送信経路としては、携帯端末１０１内の認識情報送信手段２０３から検索サーバ１０２への情報検索要求の送信経路と同様に、有線ＬＡＮ、無線ＬＡＮ、または携帯電話回線等がある。
【００３９】
携帯端末１０１内の情報表示手段２０４は、検索サーバ１０２内の情報送信手段２０７から送信された情報を表示し、ユーザに提示する。情報表示手段２０４は、液晶ディスプレイに代表されるフラットパネルディスプレイである。
【００４０】
このように、図１の情報提供システムにおいて、ユーザは、広告等の印刷物上に、自身が欲しい情報の検索キーとなるパターン、例えば、文字、バーコードまたは図形（ロゴ、トレードマーク等）を発見すると、携帯端末１０１に搭載された撮像手段２０１で、当該文字、バーコードまたは図形（ロゴ、トレードマーク等）を含む印刷部分を撮影する。これにより、検索キーとなる文字、バーコードまたは図形を含む印刷部分の画像情報が取得され、当該画像情報を対象として画像認識手段２０２により画像認識処理が行われる。この画像認識処理での認識結果（が付加された情報検索要求）を携帯端末１０１（内の認識情報送信手段２０３）から検索サーバ１０２に送ると、当該検索サーバ１０２側では認識結果に基づく情報検索が行われる。検索された情報は、携帯端末１０１のユーザが見やすく或いは使い易くなるように情報加工手段２０６で加工され、携帯端末１０１の表示画面を通してユーザに提供される。よって、ユーザは煩わしい手入力すること無しで簡単に情報を入手することが可能となり、情報提供側も最適で高品位な情報を送信することが可能となる。なお、携帯端末１０１において、画像認識手段２０２による画像認識処理を行わせ、その認識結果を検索サーバ１０２に送信させるためには、ユーザの操作（例えばメニュー選択操作）で携帯端末１０１を予め情報提供要求モードに設定し、この状態で撮像手段２０１を操作して検索キーとなるパターンを含む印刷部分を撮影するか、或いは、撮影後に情報提供要求モードに設定すれば良い。
【００４１】
［第２の実施形態］
図８は本発明の第２の実施形態に係る情報提供システムの構成を示すブロック図である。なお、図１と同一部分には同一符号を付して詳細な説明を省略する。
【００４２】
図８のシステムの特徴は、図１中の検索サーバ１０２に相当する検索サーバ３０２に、認識結果修正手段２１０が設けられている点である。認識結果修正手段２１０は、携帯端末１０１から送られた認識結果を図示せぬデータベースと比較することによって修正する機能を有する。
【００４３】
以下、認識結果修正手段２１０の具体的な処理内容について説明する。まず、情報検索手段２０５での情報検索のための検索キーとして用いられる認識結果が文字（文字列）で且つＷｅｂアドレスであるものとする。この認識結果（Ｗｅｂアドレス）が必ずしも正しいとは限らない。つまり、携帯端末１０１内の画像認識手段２０２における画像認識処理（文字認識処理）で誤認識が発生した場合、、誤った文字認識結果である、実際には存在しないＷｅｂアドレスが検索サーバ３０２に送信される可能性がある。その場合、情報検索手段２０５ではそのアドレスのサイトから情報を取得することができない。その結果、ユーザは検索サーバ１０２から携帯端末１０１の表示画面を介して検索不可能の情報を受け取ることになり、例えば再度画像（文字）認識させ送信させる操作を行わなければならない。認識結果修正手段２１０は、このような不具合を解決するために設けられている。
【００４４】
今、携帯端末１０１から検索サーバ１０２に送られた認識結果の示すＷｅｂアドレスを用いたインターネットアクセスで、情報が取得できないものとする。つまり、携帯端末１０１から送られた認識結果を検索キーとする情報検索で、当該検索キーが存在しないために情報が検索できないものとする。この場合、情報検索手段２０５から認識結果修正手段２１０に情報検索に失敗した検索キーとしての認識結果情報（ここではＷｅｂアドレス）が渡される。認識結果修正手段２１０は、この認識結果情報、つまりＷｅｂアドレスを、予め登録されているデータベースと比較することによって最も類似したＷｅｂアドレスを検索する。そして認識結果修正手段２１０は、認識結果情報を、この最も類似したＷｅｂアドレスに自動修正して、情報検索手段２０５へ返す。情報検索手段２０５は、修正された認識結果情報を用いて再度の情報検索を行う。これにより、ユーザが携帯端末１０１に対して画像を再認識させてその認識結果を検索サーバ３０２へ再送させる操作をしなくて済むことから、通信コスト及び情報取得に要する時間を低減できる。また、認識結果修正手段２１０により検索された類似のＷｅｂアドレスの候補を携帯端末１０１に送信して、ユーザに選択させるようにしても良い。
【００４５】
［第３の実施形態］
図９は本発明の第３の実施形態に係る情報提供システムの構成を示すブロック図である。なお、図１と同一部分には同一符号を付して詳細な説明を省略する。
【００４６】
図９のシステムの第１の特徴は、図１中の携帯端末１０１に相当する携帯端末４０１に画像認識手段２０２が設けられておらず、代わり画像情報送信手段２２０が設けられている点である。図９のシステムの第２の特徴は、図１中の検索サーバ１０２に相当する検索サーバ４０２に、図１中の携帯端末１０１が有していた画像認識手段２０２に相当する画像認識手段２２２が設けられている点である。この画像認識手段２２２の処理機能自体は図１中の画像認識手段２０２と同様である。
【００４７】
図９のシステムにおいて、携帯端末４０１内の画像情報送信手段２２０は、撮像手段２０１によって取得された画像情報を情報検索要求に付加して検索サーバ４０２へ送信する。ここで画像情報送信手段２２０は、画像情報をそのまま送信しても良いし、通信コスト削減のために当該画像情報を圧縮して送信しても良い。このように図９のシステムでは、携帯端末４０１側では画像認識処理が行われない。この画像認識処理は、検索サーバ４０２内の画像認識手段２２２に委ねられる。画像認識手段２２２における画像認識処理には、図１中の画像認識手段２０２における画像認識処理と同様に、例えば図５のフローチャートに示す手順が適用される。画像認識手段２２２での画像認識結果は、同じ検索サーバ４０２内の情報検索手段２０５に渡される。情報検索手段２０５は、この認識結果を検索キーとする情報検索を行う。
【００４８】
このように、図９のシステムでは、携帯端末４０１に搭載された撮像手段２０１により取得された画像の認識処理が、携帯端末４０１側ではなくて検索サーバ４０２側で行われる。したがって、携帯端末４０１が、携帯電話機などに代表される演算処理能力が高くない端末である場合、検索サーバ４０２側で画像認識処理を行うことで、携帯端末４０１の負荷を低減することができる。
【００４９】
［第４の実施形態］
図１０は本発明の第４の実施形態に係る情報提供システムの構成を示すブロック図である。なお、図１と同一部分には同一符号を付して詳細な説明を省略する。
【００５０】
図１０のシステムの特徴は、図１中の携帯端末１０１及び検索サーバ１０２に加えて、認識情報更新サーバ１０３が設けられている点である。認識情報更新サーバ１０３は、認識情報更新手段２３０から構成される。認識情報更新手段２３０は、携帯端末１０１内の画像認識手段２０２に保存されている、当該画像認識手段２０２において画像情報を認識する際に用いられる情報（認識情報）、例えば文字認識処理や図形認識処理などを実行させるためのプログラム（ソフトウェア）、更には認識辞書といった情報を更新する。この認識情報の更新処理は、例えば認識情報更新手段２３０から携帯端末１０１内の画像認識手段２０２に対する有線または無線を用いた通信により行われる。これにより、画像認識手段２０２における図形認識処理で用いられる新たなパターンを追加したり、図形に対応付けられているコードを変更することが可能となる。また、図７中の識別マーク７２に相当する、検索サーバを特定するために用いられる識別マークや当該識別マークに関連付けられているデータを追加または修正することで、検索サーバの追加や変更が可能となる。
【００５１】
なお、本発明は、上記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【００５２】
【発明の効果】
以上詳述したように本発明によれば、携帯端末のユーザは、印刷物等で、自身が欲しい情報の検索キーとなるパターン（例えば、文字、バーコード、或いはロゴ、トレードマーク等の図形）を発見した場合、当該パターンを含む部分を携帯端末に搭載された撮像手段で撮影し、当該撮像手段により取得された画像情報に対する認識結果、または当該画像情報が付加された情報検索要求を当該検索サーバに送信させるだけで、そのパターンに対応する情報、つまり自身が欲しい情報を検索サーバから例えば携帯端末の表示画面を介して受け取ることができる。つまりユーザは、携帯端末に搭載された撮像手段を利用して、煩わしい手入力すること無しで簡単に情報を入手することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る情報提供システムの構成を示すブロック図。
【図２】図１中の撮像手段２０１による撮影の対象となる印刷物の一例を示す図。
【図３】図１中の撮像手段２０１による撮影の対象となる印刷物の他の例を示す図。
【図４】図１中の撮像手段２０１による撮影の対象となる印刷物の更に他の例を示す図。
【図５】図１中の画像認識手段２０２の処理手順を示すフローチャート。
【図６】図１中の画像認識手段２０２の処理手順の変形例を示すフローチャート。
【図７】図１中の撮像手段２０１による撮影の対象となる印刷物の更に他の例を示す図。
【図８】本発明の第２の実施形態に係る情報提供システムの構成を示すブロック図。
【図９】本発明の第３の実施形態に係る情報提供システムの構成を示すブロック図。
【図１０】本発明の第４の実施形態に係る情報提供システムの構成を示すブロック図。
【符号の説明】
１０１，４０１…携帯端末、１０２，３０２，４０２…検索サーバ、１０３…認識情報更新サーバ、２０１…撮像手段、２０２，２２２…画像認識手段、２０３…認識情報送信手段、２０４…情報表示手段、２０５…情報検索手段、２０６…情報加工手段、２０７…情報送信手段、２１０…認識結果修正手段、２２０…画像情報送信手段、２３０…認識情報更新手段。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a search server, a mobile terminal, and an information providing system suitable for a mobile terminal having an imaging unit to obtain information using an image obtained by the imaging unit.
[0002]
[Prior art]
2. Description of the Related Art Recently, with the spread of mobile terminals typified by mobile phones and PDAs (Personal Digital Assistants), users have more opportunities to obtain various types of information (this information includes services) through communication such as the Internet. Is coming. One of the means for appealing such information to a user is by e-mail. However, sending e-mails to unspecified large numbers is uncomfortable for users who do not need them, and further increases communication traffic, which is a social problem.
[0003]
There is also known a method of describing a web (Web) address typified by a URL (Uniform Resource Locator) in a printed advertisement and prompting a user to access the address. However, in this method, the user needs to input an address or the like one by one. Usually, the input function of a mobile terminal is often simplified, so that it is difficult to input easily. For this reason, it is difficult for the user to access the information from the portable terminal.
[0004]
Recently, an information providing system that does not require input of an address or the like from a portable terminal has been proposed (for example, see Patent Document 1). In this system (hereinafter, referred to as prior art), a mobile terminal (client device) equipped with a GPS (Global Positioning System) receiver and a digital camera (imaging means) is used. The camera is used by a user who is traveling outdoors to photograph a landscape including an object that the user wants to obtain information by an operation of the user. Image information (scenery information) of a landscape object obtained by shooting with this camera is sent to a predetermined information providing server (center system) together with position information obtained by a GPS receiver. The information providing server identifies an object in the landscape indicated by the landscape information based on the landscape information and the position information and the stored video information, and transmits information on the object to the transmission source of the landscape information. To your mobile device. Thereby, the user of the portable terminal can acquire information on the object within his / her own field of view without performing an input operation such as an address.
[0005]
[Patent Document 1]
JP-A-2002-108873 (paragraph 0027)
[0006]
[Problems to be solved by the invention]
As described above, in the related art, when a user finds an object that he or she wants to obtain information while traveling outdoors, the user only needs to perform the following operation in order to acquire information on the object. In other words, the user takes an image of a landscape including the target with a camera mounted on the mobile terminal, and sends the acquired image information and the position information acquired by the GPS receiver to the information providing server (center system). Just do.
[0007]
However, in the above-described prior art, information that can be obtained by a user is limited to an object included in a landscape that is within the field of view of the user. That is, in the above-described prior art, it is not possible to acquire information on an object that does not enter the field of view of the user, for example, an object that is remote from the user. Further, in the above-described prior art, when the object is a building including a plurality of stores, the information providing server cannot identify whether the information of the building itself is required or the information of a specific store in the building is required. For this reason, a procedure is required between the information providing server and the portable terminal to specify information required by the user.
[0008]
The present invention has been made in view of the above circumstances, and its object is to provide a portable terminal with a part including a pattern that is artificially determined to be identifiable by a person or a device and that is defined as a search key. An object of the present invention is to allow a user to obtain information related to the pattern included in an image acquired by the imaging unit by photographing the image using the imaging unit.
[0009]
[Means for Solving the Problems]
According to one aspect of the present invention, there is provided a search server that provides information in response to an information search request from a mobile terminal having an imaging unit that captures a subject to obtain image information. The search server is configured to obtain image information of a portion which is obtained by being photographed by the imaging means of the portable terminal, is artificially determined so as to be identifiable by a person or a device, and includes a pattern defined as a search key. When an information search request to which an image recognition result is added is received from the mobile terminal, information search means for searching for information to be provided based on the recognition result, and information searched by the information search means are transmitted to the mobile terminal. Information transmitting means for transmitting to the terminal.
[0010]
In a search server having such a configuration, upon receiving an information search request to which an image recognition result is added from a mobile terminal, the search server searches for information corresponding to the recognition result based on the recognition result, and searches the information. Returned to the requesting mobile device. Therefore, when a user of a portable terminal finds a pattern (for example, a character, a barcode, or a graphic such as a logo or a trademark) serving as a search key for desired information in a printed matter or the like, a part including the pattern is determined. The mobile terminal captures an image by using the imaging unit mounted on the mobile terminal. As a result of the shooting, the mobile terminal performs a process of recognizing the image information acquired by the imaging unit. Just by transmitting the information to the search server, information corresponding to the recognition result, that is, information desired by the user can be received from the search server via a display screen of a portable terminal, for example. That is, the user can easily obtain information without troublesome manual input.
[0011]
Here, if the information processing means for processing the information searched by the information searching means into information suitable for providing to the user of the terminal via the display screen of the portable terminal is added to the search server, Thus, it is possible to provide information that is more easily seen by the user. For this purpose, it is preferable that information relating to the display specifications of the mobile terminal is added as additional information to the information search request transmitted from the mobile terminal to the search server.
[0012]
Further, if the information search request transmitted from the mobile terminal to the search server, the position information of the mobile terminal or the personal information of the user of the mobile terminal is added as additional information, the information search means, Preferably, based on the recognition result and the additional information, a search is made for information corresponding to the recognition result and related to the position of the mobile terminal or the personal information of the user indicated by the additional information. By doing so, the inspection server can provide information more suitable for the user.
[0013]
In addition, if the configuration is such that the above-described pattern included in the image information acquired by the imaging means mounted on the mobile terminal is recognized on the search server side, the load on the mobile terminal can be reduced.
[0014]
Note that the present invention includes a pattern that is provided with an image pickup unit and that is obtained by being photographed by the image pickup unit, is artificially determined so as to be identifiable by a person or a device, and is defined as a search key. The present invention also holds as an invention related to a mobile terminal that transmits an information search request in which an image recognition result for a part of image information is added to a search server having the above configuration. Further, the present invention is also realized as an invention relating to an information providing system including the portable terminal and the search server having the above configuration.
[0015]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[First Embodiment]
FIG. 1 is a block diagram showing the configuration of the information providing system according to the first embodiment of the present invention.
[0016]
In FIG. 1, a mobile terminal 101 is connected to a search server 102 by wire or wirelessly. The mobile terminal 101 is a portable electronic device (client device) such as a mobile phone or a PDA. The mobile terminal 101 includes an imaging unit 201, an image recognition unit 202, a recognition information transmission unit 203, and an information display unit 204. The search server 102 is a computer (server computer) including an information search unit 205, an information processing unit 206, and an information transmission unit 207.
[0017]
The imaging unit 201 captures a subject and acquires digital image information. Here, the imaging unit 201 captures an image of a printed portion including a pattern (for example, a character, a barcode, or a graphic) that is artificially determined so as to be identifiable by a person or a device and that is defined as a search key from the printed matter. Used for The imaging unit 201 is, for example, a digital camera.
[0018]
2 to 4 show an example of a printed material to be photographed by the imaging unit 201. FIG. 2 shows an example of the logo 21 as the pattern printed on the printed matter, FIG. 3 shows an example of the trademark 31 as the pattern, and FIG. 4 shows an example of the character (character string) 41 as the pattern. In the case of the examples of FIGS. 2, 3 and 4, the user takes an image of an area including portions surrounded by broken lines 22, 32 and 42 (portions within the broken line frame). The broken lines 22, 32, and 42 are also printed, and can be used as an index when the user shoots an image, and further, as an index for cutting out a pattern. Note that the broken lines 22, 32, and 42 are not necessarily required. In addition, as an index when the user takes an image, the color of the pattern (character, barcode, or figure) to be imaged may be changed to another part instead of the dashed frame.
[0019]
The image recognition unit 202 performs an image recognition process for recognizing the pattern included in the image information acquired by the imaging unit 201. That is, the image recognizing unit 202 converts the image information acquired by the image capturing unit 201 into binary data (binary image), and specifies a portion to be recognized. Next, the image recognizing unit 202 determines whether the specified pattern is a character, a barcode, or a graphic (for example, a sign such as a logo or a trade mark). , Barcode recognition processing or image information compression processing.
[0020]
FIG. 5 is a flowchart showing the processing procedure of the image recognition means 202. The image recognition processing by the image recognition means 202 will be described with reference to the flowchart of FIG.
[0021]
First, the image recognizing unit 202 determines whether the background region is a single color in order to determine whether the image information acquired by the imaging unit 201 is obtained by photographing a correct region (step S1). . This determination is performed, for example, as follows. First, a peak value that is equal to or greater than a preset threshold value is determined from a histogram of an input image and a saturation histogram that is an index of color vividness. When there are a plurality of peak numbers, it is determined that the background area is not monochrome (that is, uniform). If the image is not monochrome, the image recognizing unit 202 requests the user to retake the image again via the information display unit 204.
[0022]
Next, the image recognition unit 202 determines whether the image indicated by the obtained image information is a color image (Step S2). For this determination, for example, an RGB value may be converted into saturation, and the value may be compared with a preset threshold. If the image is not a color image, the image recognition means 202 performs binarization processing of the image (step S3). On the other hand, if the image is a color image, the image recognition unit 202 identifies the color and performs a binarization process (color binarization process) (step S4). To identify the color, for example, the hue of each pixel is calculated and the histogram is measured to estimate the pattern (character, logo, trademark, etc.) and the background color (background color).
[0023]
When the binarization process (step S3 or S4) is completed, the image recognition unit 202 extracts a shape feature amount (step S5). Examples of the shape feature amount include a pattern size, a pixel distribution state, and the like. The size of a pattern can be measured, for example, by performing a labeling process on a binary image and obtaining a circumscribed rectangle of the pattern. Further, the information on the pixel distribution state can be obtained by performing a projection process.
[0024]
The image recognition unit 202 determines whether the image acquired by the imaging unit 201 is a barcode based on the extracted shape feature amount (step S6). If it is determined that the image is a barcode, the image recognition means 202 performs a barcode recognition process on the binary image, and obtains, for example, an alphanumeric string (alphanumeric character code string) as a result (step S7).
[0025]
On the other hand, if it is not a barcode, the image recognition means 202 performs a character recognition process on the binary image (step S8). If the average of the similarities of the respective characters obtained by the character recognition processing satisfies a predetermined value (threshold) equal to or more than a predetermined value (step S9), the image recognition unit 202 determines that the character is a character, Output the corresponding character code. On the other hand, when the similarity does not satisfy a value equal to or more than a certain value (step 9), the image recognition unit 202 determines that the image is a graphic (marker) such as a logo or a trademark. In this case, the image recognizing unit 202 causes the recognizing information transmitting unit 203 to transmit the binary image information determined as a figure to the search server 102 as a kind of image recognition result. At this time, the image recognizing unit 202 performs image information compression to reduce the amount of transmission data (Step S10).
[0026]
As a result, if the image information acquired by the imaging unit 201 includes a barcode, a character code string representing an alphanumeric string is included. If the image information includes a character (character string), a corresponding character code (character code string) is assigned. If the image includes a graphic such as a trademark or a logo, the compressed image information is output from the image recognition unit 202 to the recognition information transmission unit 203 as an image recognition result.
[0027]
Note that, as a result of the character recognition process for the binary image (step S8), when it is determined that the image is a graphic such as a logo or a trademark (step S9), the image information is compressed instead of the process (step S10). Alternatively, a graphic recognition process may be performed. FIG. 6 is a flowchart showing the processing procedure of the image recognizing means 202 including the graphic recognition processing, and the same parts as those in the flowchart of FIG.
[0028]
A feature of the flowchart in FIG. 6 is that, as a result of the character recognition processing for the binary image (step S8), it is determined in the next step S9 that the image is determined to be a graphic such as a logo or a trademark. In this case, unlike the flowchart of FIG. 6, the image recognition unit 202 performs a figure recognition process (step S11). That is, the image recognizing unit 202 performs a pattern matching process between the binary image used in the character recognition process (step S8) and a pre-registered graphic database, and associates the binary image with the matched graphic (marker). Output code
[0029]
FIG. 7 shows another example of a printed matter photographed by the imaging unit 201. FIG. 7 shows an example in which a logo 71 and an identification mark 72 are mixed. It is assumed that the identification mark 72 is defined in advance as a print pattern corresponding to the information providing system of FIG. By making the meaning of the identification mark 72 known to the user, the pattern printed in the vicinity of the mark 72 can be provided by the information providing system (the search server 102 in the information providing system). The user can understand that the search key can be used as a search key, and it is possible to provide the user with a printed material that is easier to read. Also, when the information providing system is operated by a plurality of search servers 102 differently from FIG. 1, if an identification mark is prepared for each search server 102, it is recognized by the image recognition means 202 in the portable terminal 101. It is also possible to determine the destination of the recognition result transmitted by the recognition information transmitting means 203 according to the type of the identification mark. In particular, when the search server 102 performs the main image recognition processing on the search server 102 side, the mobile terminal 101 recognizes only the identification mark and transmits image information (for example, compressed image information) to the corresponding search server 102. good. In this case, the processing load on the mobile terminal 101 can be reduced as compared with the first embodiment. When performing image recognition processing as shown in the flowchart of FIG. 6 by the image recognition unit 202 of the mobile terminal 101, the image is divided into the logo 71 and the identification mark 72, so that the identification is performed separately. Becomes possible.
[0030]
The image recognition result of the image recognition unit 202 is output to the recognition information transmission unit 203. Upon receiving the image recognition result of the image recognition unit 202, the recognition information transmitting unit 203 transmits to the search server 102 an information search request to which the image recognition result has been added. The transmission path of the information search request from the recognition information transmission unit 203 in the mobile terminal 101 to the search server 102 includes a wired LAN, a wireless LAN, a mobile phone line, and the like. When the image recognition result includes the recognition result of the identification mark corresponding to the search server 102 described with reference to FIG. 7, an information search request is transmitted to the search server 102 specified by the recognition result. You. At this time, additional information other than the image recognition result can be transmitted. The additional information includes, for example, information specific to the mobile terminal 101 regarding the specifications of the mobile terminal 101, such as position information of the mobile terminal 101, the screen size of the mobile terminal 101, and the number of displayable colors (for example, display capability, that is, Information relating to the specifications of the display) or personal information of the user of the mobile terminal 101 is applicable. If the mobile terminal 101 has a GPS receiver, the position information acquired by the GPS receiver may be used as the position information of the mobile terminal 101.
[0031]
When the information search means 205 in the search server 102 receives the information search request transmitted from the recognition information transmission means 203 in the mobile terminal 101, the information search means 205 uses the image recognition result added to the request to perform the recognition result. Search for information corresponding to. That is, when the information is a barcode recognition result, the information search unit 205 searches the information database (not shown) for information previously associated with the recognized alphanumeric string.
[0032]
The information retrieval means 205 is provided with a graphic recognition function. Therefore, the information search unit 205 expands the compressed image and performs pattern matching with a previously registered graphic database in the case of a recognition result of a graphic such as a trademark or a logo, that is, in the case of a compressed image including the graphic. Recognize (specify) a figure. The information search means 205 searches the information database for information previously associated with the recognized figure (trademark or logo). It should be noted that depending on the graphic database, it is also possible to perform the pattern matching process with the compressed image as it is.
[0033]
In the case of a character (character string) recognition result, the information search unit 205 searches the information database for information previously associated with the recognized character (character string). If the recognized character string is a Web address, the information search unit 205 accesses the Internet using the Web address and obtains information stored at the location indicated by the address. The information acquisition by the information search means 205 using the Web address can be regarded as a kind of information search using the Web address as a search key. Also, as in the example of the flowchart in FIG. 6, when pattern matching for a figure has already been performed in the image recognition unit 202 in the mobile terminal 101, the information search unit 205 operates as follows. First, the information search unit 205 receives a code indicating a recognized figure as an image recognition result from the recognition information transmitting unit 203 in the mobile terminal 101. Therefore, the information search unit 205 searches the information database for information that is previously associated with the received recognition result, that is, the information associated with the code indicating the recognized figure.
[0034]
Here, a specific example of the information search means 205 will be described in the case where a company uses it for advertisement. First, in the information database of the search server 102, information to be advertised is registered in advance in association with a character string serving as a search key, an alphanumeric string indicated by a barcode, or a graphic (marker) such as a trademark or logo. I have. Also, a pattern corresponding to the search key, for example, a logo 21 shown in FIG. 2, a trademark 31 shown in FIG. 3, and a character string shown in FIG. 41 (here, a Web address) or a barcode (not shown) is printed.
[0035]
The user who is interested in the advertisement can use the imaging unit of the mobile terminal 101 to print the part (logo 21, trade mark 31, character string 41, or barcode) printed as a search key included in the advertisement. Shoot at 201. In this case, an image recognition process for the image information obtained by the imaging unit 201 is performed by the image recognition unit 202, and an information search request to which the image recognition result is added is transmitted to the search server 102. When the image recognition result matches the search key registered in advance in the search server 102, the search server 102 can provide information associated with the search key to the user via the mobile terminal 101. .
[0036]
By the way, when not only the image recognition result but also the location information of the mobile terminal 101 is added to the information search request transmitted from the mobile terminal 101 to the search server 102, the search server 102 is, for example, a chain of companies. The closest store can also be shown to the user by a map via the mobile terminal 101. In addition, when the personal information of the user is registered in the mobile terminal 101 and the personal information is added to the information search request together with the image recognition result and transmitted from the mobile terminal 101 to the search server 102, the personal information matches the user's preference. Search filtering is also possible. In addition, by leaving a search history for each user in the search server 102, a search system that is more suitable for personal preference can be constructed.
[0037]
When the information search means 205 in the search server 102 searches (acquires) information based on the image recognition result transmitted from the mobile terminal 101, the information is passed to the information processing means 206. The information processing unit 206 processes the information passed from the information search unit 205 so that the user can easily view or use the information on the mobile terminal 101. For this processing, additional information transmitted together with the image recognition result from the recognition information transmitting unit 203 in the mobile terminal 101 is used. That is, the information processing by the information processing unit 206 is performed on the assumption that the additional information is transmitted from the recognition information transmitting unit 203. It is assumed that the additional information includes, for example, information on the screen size of the mobile terminal 101 and the number of colors that can be displayed. In this case, the information processing unit 206 adjusts the size of the image information of the search result transmitted from the search server 102 to the mobile terminal 101 to the screen size of the mobile terminal 101 by scaling processing or font size adjustment. For example, the image is reduced in color according to the number of colors that can be displayed. Further, when the additional information includes information indicating a user's favorite display method, it is possible to match the information.
[0038]
The information of the search result processed by the information processing means 206 in the search server 102 is passed to the information transmission means 207 in the search server 102. The information transmitting unit 207 transmits the information of the search result to the mobile terminal 101. As a transmission route of the information of the search result from the information transmitting unit 207 to the portable terminal 101, similarly to the transmission route of the information search request from the recognition information transmitting unit 203 in the portable terminal 101 to the search server 102, a wired LAN, There are a wireless LAN, a mobile phone line, and the like.
[0039]
The information display means 204 in the mobile terminal 101 displays the information transmitted from the information transmission means 207 in the search server 102 and presents it to the user. The information display means 204 is a flat panel display represented by a liquid crystal display.
[0040]
As described above, in the information providing system of FIG. 1, the user finds a pattern, for example, a character, a barcode, or a figure (logo, trade mark, etc.) on a printed matter such as an advertisement, which is a search key for desired information. Then, the printing unit including the character, barcode, or graphic (logo, trade mark, or the like) is photographed by the imaging unit 201 mounted on the mobile terminal 101. As a result, image information of a printed portion including a character, a barcode, or a figure serving as a search key is obtained, and the image recognition unit 202 performs image recognition processing on the image information. When the recognition result (the information search request to which the identification information is added) in the image recognition processing is transmitted from the portable terminal 101 (the recognition information transmitting unit 203 in the mobile terminal) to the search server 102, the search server 102 side performs the information search based on the recognition result. Is performed. The searched information is processed by the information processing means 206 so that the user of the mobile terminal 101 can easily view or use the information, and is provided to the user through the display screen of the mobile terminal 101. Therefore, the user can easily obtain information without troublesome manual input, and the information providing side can transmit optimal and high-quality information. In order to cause the mobile terminal 101 to perform image recognition processing by the image recognition unit 202 and transmit the recognition result to the search server 102, the mobile terminal 101 is provided with information in advance by a user operation (for example, a menu selection operation). A request mode may be set, and in this state, the imaging unit 201 may be operated to photograph a print portion including a pattern serving as a search key, or may be set to an information provision request mode after photographing.
[0041]
[Second embodiment]
FIG. 8 is a block diagram showing the configuration of the information providing system according to the second embodiment of the present invention. The same parts as those in FIG. 1 are denoted by the same reference numerals, and detailed description is omitted.
[0042]
A feature of the system in FIG. 8 is that a search result correction unit 210 is provided in a search server 302 corresponding to the search server 102 in FIG. The recognition result correcting means 210 has a function of correcting by comparing the recognition result sent from the mobile terminal 101 with a database (not shown).
[0043]
Hereinafter, the specific processing contents of the recognition result correction unit 210 will be described. First, it is assumed that the recognition result used as a search key for information search in the information search means 205 is a character (character string) and a Web address. This recognition result (Web address) is not always correct. That is, when erroneous recognition occurs in image recognition processing (character recognition processing) in the image recognition means 202 in the mobile terminal 101, an erroneous character recognition result, a non-existent Web address, is transmitted to the search server 302. Could be done. In that case, the information search means 205 cannot acquire information from the site of the address. As a result, the user receives unsearchable information from the search server 102 via the display screen of the mobile terminal 101, and has to perform, for example, an image (character) recognition and transmission operation again. The recognition result correcting means 210 is provided to solve such a problem.
[0044]
Now, it is assumed that information cannot be obtained by Internet access using the Web address indicated by the recognition result sent from the mobile terminal 101 to the search server 102. That is, in the information search using the recognition result sent from the mobile terminal 101 as a search key, it is assumed that the information cannot be searched because the search key does not exist. In this case, recognition result information (here, a Web address) as a search key for which the information search has failed is passed from the information search unit 205 to the recognition result correction unit 210. The recognition result correcting means 210 searches the most similar Web address by comparing the recognition result information, that is, the Web address with a database registered in advance. Then, the recognition result correcting means 210 automatically corrects the recognition result information to the most similar Web address, and returns it to the information searching means 205. The information search means 205 performs another information search using the corrected recognition result information. This eliminates the need for the user to make the mobile terminal 101 re-recognize the image and retransmit the recognition result to the search server 302, thereby reducing the communication cost and the time required for acquiring information. Alternatively, similar Web address candidates searched for by the recognition result correcting unit 210 may be transmitted to the mobile terminal 101 so that the user can select it.
[0045]
[Third Embodiment]
FIG. 9 is a block diagram showing the configuration of the information providing system according to the third embodiment of the present invention. The same parts as those in FIG. 1 are denoted by the same reference numerals, and detailed description is omitted.
[0046]
The first feature of the system in FIG. 9 is that a mobile terminal 401 corresponding to the mobile terminal 101 in FIG. 1 is not provided with the image recognizing unit 202, but is provided with an image information transmitting unit 220 instead. . A second feature of the system in FIG. 9 is that a search server 402 corresponding to the search server 102 in FIG. 1 has an image recognition unit 222 corresponding to the image recognition unit 202 included in the mobile terminal 101 in FIG. It is a point provided. The processing function itself of the image recognition means 222 is the same as that of the image recognition means 202 in FIG.
[0047]
In the system of FIG. 9, the image information transmitting unit 220 in the mobile terminal 401 adds the image information acquired by the image capturing unit 201 to the information search request and transmits it to the search server 402. Here, the image information transmitting unit 220 may transmit the image information as it is, or may compress and transmit the image information in order to reduce the communication cost. As described above, in the system of FIG. 9, the image recognition processing is not performed on the portable terminal 401 side. This image recognition processing is entrusted to the image recognition means 222 in the search server 402. For example, the procedure shown in the flowchart of FIG. 5 is applied to the image recognition processing in the image recognition means 222, similarly to the image recognition processing in the image recognition means 202 in FIG. The result of image recognition by the image recognizing means 222 is passed to the information retrieving means 205 in the same retrieval server 402. The information search means 205 performs an information search using the recognition result as a search key.
[0048]
As described above, in the system of FIG. 9, recognition processing of an image acquired by the imaging unit 201 mounted on the mobile terminal 401 is performed not on the mobile terminal 401 side but on the search server 402 side. Therefore, when the mobile terminal 401 is a terminal having a low arithmetic processing capability, such as a mobile phone, the load on the mobile terminal 401 can be reduced by performing image recognition processing on the search server 402 side.
[0049]
[Fourth embodiment]
FIG. 10 is a block diagram showing the configuration of the information providing system according to the fourth embodiment of the present invention. The same parts as those in FIG. 1 are denoted by the same reference numerals, and detailed description is omitted.
[0050]
A feature of the system in FIG. 10 is that a recognition information update server 103 is provided in addition to the mobile terminal 101 and the search server 102 in FIG. The recognition information updating server 103 includes a recognition information updating unit 230. Recognition information updating means 230 stores information (recognition information) stored in image recognition means 202 in portable terminal 101 and used when image recognition means 202 recognizes image information, such as character recognition processing and graphic recognition. A program (software) for executing processing and the like, and information such as a recognition dictionary are updated. The process of updating the recognition information is performed by, for example, communication from the recognition information updating unit 230 to the image recognizing unit 202 in the portable terminal 101 using a wired or wireless communication. This makes it possible to add a new pattern used in the graphic recognition processing in the image recognition means 202 or change the code associated with the graphic. Also, by adding or modifying an identification mark corresponding to the identification mark 72 in FIG. 7 and used to identify the search server and data associated with the identification mark, the search server can be added or changed. It becomes.
[0051]
Note that the present invention is not limited to the above embodiments, and can be variously modified in an implementation stage without departing from the scope of the invention. Further, the above embodiments include inventions at various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. For example, even if some components are deleted from all the components shown in the embodiment, the problems described in the column of the problem to be solved by the invention can be solved, and the effects described in the column of the effect of the invention can be solved. Is obtained, a configuration from which this configuration requirement is deleted can be extracted as an invention.
[0052]
【The invention's effect】
As described in detail above, according to the present invention, a user of a portable terminal can use a pattern (for example, a character, a barcode, or a graphic such as a logo or a trademark) as a search key for desired information in a printed matter or the like. If it is found, a part including the pattern is photographed by an imaging unit mounted on the mobile terminal, and a recognition result of the image information acquired by the imaging unit or an information search request to which the image information is added is sent to the search server. , The information corresponding to the pattern, that is, the information desired by the user, can be received from the search server via, for example, a display screen of a portable terminal. That is, the user can easily obtain information by using the imaging means mounted on the portable terminal without troublesome manual input.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an information providing system according to a first embodiment of the present invention.
FIG. 2 is a view showing an example of a printed matter to be photographed by an imaging unit 201 in FIG. 1;
FIG. 3 is a diagram showing another example of a printed matter to be photographed by the imaging unit 201 in FIG. 1;
FIG. 4 is a view showing still another example of a printed matter to be photographed by the imaging unit 201 in FIG. 1;
FIG. 5 is a flowchart showing a processing procedure of an image recognition unit 202 in FIG. 1;
FIG. 6 is a flowchart illustrating a modification of the processing procedure of the image recognition unit 202 in FIG. 1;
FIG. 7 is a diagram showing still another example of a printed matter to be photographed by the imaging unit 201 in FIG. 1;
FIG. 8 is a block diagram showing a configuration of an information providing system according to a second embodiment of the present invention.
FIG. 9 is a block diagram showing a configuration of an information providing system according to a third embodiment of the present invention.
FIG. 10 is a block diagram showing a configuration of an information providing system according to a fourth embodiment of the present invention.
[Explanation of symbols]
101, 401: portable terminal, 102, 302, 402: search server, 103: recognition information update server, 201: imaging means, 202, 222 ... image recognition means, 203: recognition information transmission means, 204: information display means, 205 ... information search means, 206 ... information processing means, 207 ... information transmission means, 210 ... recognition result correction means, 220 ... image information transmission means, 230 ... recognition information update means.

Claims

A search server that provides information in response to an information search request from a mobile terminal having an imaging unit that captures an image of a subject and obtains image information,
An image recognition result for a portion of the image information obtained by being photographed by the imaging means of the portable terminal, which is artificially determined so as to be identifiable by a person or a device and includes a pattern defined as a search key, is obtained. An information search unit configured to search for information to be provided based on the recognition result when the added information search request is received from the mobile terminal;
An information transmission unit for transmitting information retrieved by the information retrieval unit to the portable terminal;

A search server that provides information in response to an information search request from a mobile terminal having an imaging unit that captures an image of a subject and obtains image information,
Information obtained by being photographed by the imaging means of the portable terminal, artificially determined so as to be identifiable by a person or a device, and added with image information of a portion including a pattern defined as a search key When a search request is received from the mobile terminal, an image recognition unit that recognizes the pattern included in the image information,
Information search means for searching for information to be provided based on the image recognition result of the image recognition means;
An information transmission unit for transmitting information retrieved by the information retrieval unit to the portable terminal;

2. The information processing apparatus according to claim 1, further comprising an information processing unit configured to process the information retrieved by the information retrieval unit into information suitable for providing to a user of the terminal via a display screen of the portable terminal. The search server according to claim 2.

The information search request has information about display specifications of the portable terminal added thereto as additional information, and the information processing means processes the information retrieved by the information search means in accordance with the additional information. The search server according to claim 3, characterized in that:

In the information search request, position information of the mobile terminal or personal information of a user of the mobile terminal is added as additional information, and the information search unit performs the recognition result based on the recognition result and the additional information. 4. The search server according to claim 3, wherein the search server searches for information related to a position of the mobile terminal or personal information of the user indicated by the additional information.

When the information retrieval based on the image recognition result by the information retrieval unit fails, the information processing apparatus further includes a recognition result correction unit that corrects the recognition result to information similar to the recognition result based on a database registered in advance. And
2. The search server according to claim 1, wherein the information search unit searches the provided information again based on the recognition result after the correction by the recognition result correction unit.

In a portable terminal having an imaging unit for capturing an image of a subject and acquiring image information,
For the image information of a portion that is obtained by being photographed by the imaging means and is artificially determined so as to be identifiable by a person or a device and includes a pattern defined as a search key, Image recognition means for recognizing the included pattern;
Recognition information transmitting means for transmitting an information search request to which a search result is added with an image recognition result by the image recognition means,
When information searched for by the information search by the search server based on the image recognition result added to the information search request sent to the search server is transmitted from the search server to the mobile terminal, the search is performed. A mobile terminal comprising: an information display unit that displays the information.

The mobile terminal according to claim 7, wherein the image recognition unit performs at least one of character recognition, barcode recognition, and graphic recognition.

The recognition information transmitting unit, when the image recognition result by the image recognition unit includes information indicating one of the identification marks for identifying each of the plurality of search servers, The mobile terminal according to claim 7, wherein the information search request to which the image recognition result is added is transmitted to a search server corresponding to the information.

An information providing system, comprising: a mobile terminal having an imaging unit that captures an image of a subject to obtain image information; and a search server that provides information in response to an information search request from the mobile terminal.
The mobile terminal,
For the image information of a portion that is obtained by being photographed by the imaging means and is artificially determined so as to be identifiable by a person or a device and includes a pattern defined as a search key, Image recognition means for recognizing the included pattern;
Recognition information transmitting means for transmitting an information search request to which a search result is added with an image recognition result by the image recognition means,
The information retrieved by the information retrieval by the retrieval server based on the image recognition result added to the information retrieval request transmitted to the retrieval server by the recognition information transmitting means is transmitted from the retrieval server to the portable terminal. Information display means for displaying the searched information,
The search server,
Information search means for searching for information to be provided based on the recognition result added to the information search request transmitted from the recognition information transmission means of the mobile terminal;
An information providing system, comprising: an information transmission unit that transmits information retrieved by the information retrieval unit to the mobile terminal.

11. The information providing system according to claim 10, further comprising a recognition information updating server including a recognition information updating unit that updates information used for image recognition in said image recognition unit.

An information providing system, comprising: a mobile terminal having an imaging unit that captures an image of a subject to obtain image information; and a search server that provides information in response to an information search request from the mobile terminal.
The mobile terminal,
An information search request obtained by being photographed by the imaging means and artificially determined so as to be identifiable by a person or a device and to which image information of a portion including a pattern defined as a search key is added. Image information transmitting means for transmitting to the search server;
The information searched by the information search by the search server using the image information added to the information search request transmitted to the search server by the image information transmitting means is transmitted from the search server to the mobile terminal. Information display means for displaying the searched information,
The search server,
Targeting the image information added to the information search request transmitted from the image information transmitting unit of the mobile terminal, an image recognizing unit that recognizes the pattern included in the image information,
Information search means for searching for information to be provided based on an image recognition result by the image recognition means;
An information providing system, comprising: an information transmission unit that transmits information retrieved by the information retrieval unit to the mobile terminal.