JP2004145416A - 画像認識用サーバ、画像認識用携帯端末装置、画像認識方法、画像認識用プログラム、画像認識用プログラムを記録した記録媒体 - Google Patents

Abstract

【課題】携帯端末のデジタルカメラにより物体を撮影してその物体に関する情報を即座に閲覧することを可能とする。
【解決手段】携帯端末装置１は、デジタルカメラとする画像入力手段１０１で画像を入力し、データ通信手段１０３で画像を画像認識用サーバ２に送信する。サーバ２は、データ通信手段２０１で携帯端末装置から送信された画像を受信し、物体抽出・部類識別手段２０２で画像中に存在する物体の部類を識別し、情報提供手段２０２では識別された物体の部類に基づき情報提供を行い、この情報を携帯端末装置に送信する。携帯端末装置は、データ通信手段でサーバからの提供情報を受信し、検索結果データ表示手段・表示画面１０４で受信した検索結果データを表示する。画像送信に際して、付随情報入力手段１０３で入力した付随情報もサーバに送信することも含む。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、物体に関する情報を取得するために、その物体の画像をデジタルカメラで取得し、該画像中に存在する物体を画像処理により抽出して識別し、その識別結果を用いてデータベースを検索する画像認識装置および方法に関するものである。対象とする物体は、部類が定義されているものであればどのようなものでもよく、例としては人間の顔、手、文字、機械部品、植物の葉や花、きのこ、魚、昆虫などの動植物がある。
【０００２】
【従来の技術】
先行技術として魚の電子図鑑がある（例えば、非特許文献１を参照）。
【０００３】
この電子図鑑は、図鑑としての閲覧機能のほか、魚の体形、色、模様、生息域などのキー情報を与えることにより魚の検索機能を持つ。
【０００４】
【非特許文献１】
株式会社シンフォレスト発売、“おさかな図鑑　全六集”、［ｏｎｌｉｎｅ］、株式会社シンフォレスト、［平成１４年９月３０日検索］、インターネット、＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｓｙｎｆｏｒｅｓｔ．ｃｏ．ｊｐ／ｃｄｒｏｍ／ｓｚ−００１／ｉｎｄｅｘ．ｈｔｍｌ＞
【０００５】
【発明が解決しようとする課題】
しかし、従来の検索方法では、検索しようとする物体のキー情報は人間が判断しなければならず、画像を入力して自動的に抽出することは不可能である。
【０００６】
また、画像に含まれる物体を抽出し識別する処理は計算量が大きいが、携帯端末は計算能力が低いため、実用的な処理時間内に携帯端末で実行する技術は従来なかった。
【０００７】
さらに、現在の携帯端末では十分なデータベース容量を持ことが困難であり、この点も従来の問題点であった。
【０００８】
本発明の目的は、利用者が携帯端末のカメラで撮影した画像に含まれる物体を抽出し識別し、その物体に関する情報をデータベースから検索して携帯端末で閲覧することを可能とする画像認識用サーバ、画像認識用携帯端末装置、画像認識方法、プログラムおよびこのプログラムを記録した記録媒体を提供することにある。
【０００９】
【課題を解決するための手段】
近年、屋内外でデジタルカメラで撮影した画像をワイヤレスで送信する技術が一般に普及を始めており、デジタルカメラとデータ通信機能を内蔵した携帯電話はその代表例である。また「Ｂｌｕｅ　Ｔｏｏｔｈ」のような、携帯機器間で近距離の無線データ通信を行う技術も普及しつつあり、これに対応したデジタルカメラと携帯端末を組み合わせれば、デジタルカメラで撮影した画像を携帯端末を通じてワイヤレスで送信することが可能となる。
【００１０】
そこで、本発明は、計算能力の高い計算機をサーバとして、それに画像に含まれる物体を抽出し識別する処理を行う機能と、識別結果を用いてデータベースを検索する機能と、携帯端末とデータ通信を行う機能を持たせることにより、このサーバと携帯端末を組み合わせ、計算量の大きい、画像に含まれる物体を抽出し識別する処理は計算能力の高いサーバ上で行い、携帯端末には負荷をかけないようにするもので、以下の画像認識用サーバ、画像認識用携帯端末装置、画像認識方法、プログラムおよび記録媒体を特徴とする。
【００１１】
（画像認識用サーバの発明）
（１）携帯端末装置から送信された画像を受信する画像受信手段と、該画像受信手段で受信した画像中に存在する単数もしくは複数の物体の部類を識別する部類識別手段と、該部類識別手段によって識別された単数もしくは複数の物体の部類に基づき情報提供を行う情報提供手段と、該情報提供手段から提供された情報を前記携帯端末装置に送信する対携帯端末装置データ送信手段とを有することを特徴とする画像認識用サーバ。
【００１２】
（２）上記（１）において、
前記携帯端末装置は、前記画像に加えて付随情報を自動または手入力により取得する付随情報取得手段と、前記画像受信手段に加えて前記携帯端末装置から送信された付随情報を受信する付随情報受信手段を有し、前記部類識別手段では画像に加えて該付随情報も使用することを特徴とする画像認識用サーバ。
【００１３】
（３）上記（１）または（２）において、
前記情報提供手段は、識別された部類に関する名称や特徴や写真や該部類に関する情報をデータベースで検索し、該検索結果と識別された部類に基づいて作成した検索結果データを前記対携帯端末装置データ送信手段によって携帯端末装置に提供することを特徴とする画像認識用サーバ。
【００１４】
（４）上記（３）において、
前記部類識別手段は、複数の部類候補を挙げ、前記情報提供手段は前記各部類候補に関する名称や特徴や写真や各部類に関する情報をデータベースで検索し、該検索結果と各部類候補に基づいて作成した検索結果データを前記携帯端末装置データ送信手段によって携帯端末装置に送信処理することを特徴とする画像認識用サーバ。
【００１５】
（５）上記（１）〜（４）のいずれか１項において、
画像認識サーバおよび携帯端末装置がアクセス可能なネットワーク内の他の装置のデータ保存手段に前記検索結果データを格納し、
携帯端末装置に対しては該検索結果データを送信するのではなく、該検索結果データを格納した前記データ保存手段のアドレスを送信することを特徴とする画像認識用サーバ。
【００１６】
（６）上記（１）〜（５）のいずれか１項において、
携帯端末装置からその識別コードもしくは利用者の識別コードを受信し、該識別コードを用いて利用者の料金算定を行うことを特徴とする画像認識用サーバ。
【００１７】
（画像認識用携帯端末装置の発明）
（７）画像を入力する画像入力手段と、該画像を画像認識用サーバに送信する画像送信手段と、画像認識用サーバの提供情報を受信するデータ受信手段と、受信した検索結果データの一部または全てを表示する検索結果データ表示手段と表示画面を有し、
検索結果データ表示手段の行う処理として、検索結果データの全てを表示画面に表示しきれない場合には、携帯端末装置を操作して検索結果データのうちの表示させたい部分を選択することにより、選択された部分を切り替えて表示画面に表示することを特徴とする画像認識用携帯端末装置。
【００１８】
（８）上記（７）において、
検索結果データが複数の部類候補に基づいて作成されている場合、検索結果データ表示手段は、可能性の高い部類候補順に、複数の部類候補に関する検索結果データの一部または全てを表示画面に一覧表示することを特徴とする画像認識用携帯端末装置。
【００１９】
（画像認識方法の発明）
（９）携帯端末装置から送信された画像を受信する画像受信過程と、該画像受信過程で受信した画像中に存在する単数もしくは複数の物体の部類を識別する部類識別過程と、該部類識別過程によって識別された単数もしくは複数の物体の部類に基づき情報提供を行う情報提供過程と、該情報提供過程から提供された情報を前記携帯端末装置に送信する対携帯端末装置データ送信過程とを有することを特徴とする画像認識方法。
【００２０】
（１０）上記（９）において、
前記携帯端末装置は、前記画像に加えて付随情報を自動または手入力により取得する付随情報取得過程と、前記画像受信過程に加えて前記携帯端末装置から送信された付随情報を受信する付随情報受信過程を有し、前記部類識別過程では画像に加えて該付随情報も使用することを特徴とする画像認識方法。
【００２１】
（１１）上記（９）または（１０）において、
前記情報提供過程は、識別された部類に関する名称や特徴や写真や該部類に関する情報をデータベースで検索し、該検索結果と識別された部類に基づいて作成した検索結果データを前記対携帯端末装置データ送信過程によって携帯端末装置に提供することを特徴とする画像認識方法。
【００２２】
（１２）上記（１１）において、
前記部類識別過程は、複数の部類候補を挙げ、前記情報提供過程は前記各部類候補に関する名称や特徴や写真や各部類に関する情報をデータベースで検索し、該検索結果と各部類候補に基づいて作成した検索結果データを前記携帯端末装置データ送信過程によって携帯端末装置に送信処理することを特徴とする画像認識方法。
【００２３】
（１３）上記（９）〜（１２）のいずれか１項において、
画像認識サーバおよび携帯端末装置がアクセス可能なネットワーク内の他の装置のデータ保存過程に前記検索結果データを格納し、
携帯端末装置に対しては該検索結果データを送信するのではなく、該検索結果データを格納した前記データ保存過程のアドレスを送信することを特徴とする画像認識方法。
【００２４】
（１４）上記（９）〜（１３）のいずれか１項において、
携帯端末装置からその識別コードもしくは利用者の識別コードを受信し、該識別コードを用いて利用者の料金算定を行うことを特徴とする画像認識方法。
【００２５】
（１５）画像を入力する画像入力過程と、該画像を画像認識用サーバに送信する画像送信過程と、画像認識用サーバの提供情報を受信するデータ受信過程と、受信した検索結果データの一部または全てを表示する検索結果データ表示過程と表示画面を有し、
検索結果データ表示過程の行う処理として、検索結果データの全てを表示画面に表示しきれない場合には、携帯端末装置を操作して検索結果データのうちの表示させたい部分を選択することにより、選択された部分を切り替えて表示画面に表示することを特徴とする画像認識方法。
【００２６】
（１６）上記（１５）において、
検索結果データが複数の部類候補に基づいて作成されている場合、検索結果データ表示過程は、可能性の高い部類候補順に、複数の部類候補に関する検索結果データの一部または全てを表示画面に一覧表示することを特徴とする画像認識方法。
【００２７】
（プログラムの発明）
上記の（９）〜（１６）のいずれか１つの画像認識方法を、コンピュータで実行可能に構成したことを特徴とする画像認識用プログラム。
【００２８】
（記録媒体の発明）
（１８）上記の（９）〜（１６）のいずれか１つの画像認識方法を、コンピュータで実行可能に構成したプログラムを記録したことを特徴とする記録媒体。
【００２９】
【発明の実施の形態】
〔実施形態１〕
図１は、木発明の実施形態１を示すブロック図である。同図において、画像入力手段１０１は、本実施形態では携帯端末１に内蔵されたデジタルカメラとする。ここで携帯端末とは、携帯電話、ＰＨＳ、ＰＤＡ（携帯情報端末）、ノートパソコンを意味する。操作手段１０２は、キーボード、携帯電話の操作キーやプッシュボタン、電子ペンなどである。
【００３０】
付属情報入力手段１０３は、ＧＰＳ（グローバル・ポジショニング・システム）、高度計、水深計、方位磁針、温度計、湿度計、気圧計、風力計、風向計、時計、カレンダー、ジャイロなど、位置情報、気象情報、時間情報、姿勢情報などを計測する機器、またはこれらの情報を手入力するのに用いるキーボード、携帯電話の操作キーやプッシュボタン、電子ペンなどである。
【００３１】
検索結果データ表示手段・表示画面１０４は、液晶ディスプレイのような小型の表示装置である。
【００３２】
なお、携帯端末１は、複数存在し、各々の識別子とそれらの所有者の情報がサーバ２内に記録されているものとする。また、各携帯端末にはその携帯端末の識別コードが記録されているものとする。以下、図２に示す処理手順Ｓ１〜Ｓ９を参照して動作例を説明する。
【００３３】
まず、利用者は携帯端末１に内蔵されるデジタルカメラ１０１で物体を撮影する（Ｓ１）。このとき、必要に応じて付随情報入力手段１０３により、緯度経度、高度、水深、方角などの位置情報や、天気、気温、湿度、気圧、風向、風速などの気象情報や、時刻、日時、季節などの時間情報や、撮影時の携帯端末の向き、姿勢などの姿勢情報などの付随情報も同時に取得される（Ｓ２）。携帯端末として携帯電話やＰＨＳが用いられる場合、位置情報として該携帯端末が所属している基地局エリア情報も使用することができる。
【００３４】
手入力によりこれら付随情報を取得する時には、キーボード、携帯電話の操作キーやプッシュボタン、電子ペンなどが用いられる。手入力の際には、使用者の名前、住所、性別などの個人情報や、撮影場所、物体を取得した場所、物体の形、大きさ、色、模様など部類識別に役立つ情報も入力することができる。
【００３５】
次に、操作手段１０２によって、画像および付随情報をサーバ２に送信するよう、データ通信手段１０５に指示を出す。これを受けてデータ通信手段１０５は画像、付随情報、携帯端末の識別コードをサーバ２に送る（Ｓ３）。通信経路としては例えばＬＡＮや公衆網などを用いることができる。
【００３６】
サーバ２はデータ通信手段２０１によってそれらを受信する（Ｓ４）。データ通信手段２０１は、携帯端末の識別コードを利用者管理テーブル２０４に送る（Ｓ５）。また、受信した画像と付随情報を物体抽出・部類識別手段２０２に送る。そして、物体抽出・部類識別手段２０２は物体を抽出し、画像と付随情報から該物体の部類を識別する（Ｓ６）。この識別結果の部類情報を情報提供手段２０３に送る。このとき、該物体の部類候補を一つに絞るだけでなく、可能性の高い複数個の候補を挙げる方法もある。この場合、可能性の高さについては、例えば、識別処理時の評価値（マッチング度合いなど）を利用できる。
【００３７】
なお、物体抽出・部類識別手段２０２の具体例として、以下の文献に示される方法がある。
【００３８】
（ａ）人間の顔の識別
赤松ほか、「濃淡画像のマッチングによるロバストな正面顔の識別法、フーリエスペクトルのＫＬ展開の応用」、電子情報通信学会論文誌、Ｖｏｌ．Ｊ７６−Ｄ−１１，Ｎｏ．７，ｐｐ．１３６３−１３７３（１９９３）
この文献では、濃淡画像のマッチングによる正面顔画像の識別に関して、顔の造作を基準点として切り出された照合パターンを識別に有効な低次元の特徴ベクトルとして表現する方法を提案しており、顔の姿勢や照明条件の変動に対して安定した識別能力を持つことができる。
【００３９】
（ｂ）機械部品の識別
斎藤文彦、「２次元ハフ空間を用いた六角ナット高速認識法」、画像電子学会誌、第２４巻、第５号、ｐｐ．６１９−６２９（１９９５）
この文献では、Ｈｏｕｇｈ変換により位置、大きさ、傾きの異なる画像内の六角ナットを抽出する方法を提案しており、六角ナットの形状を利用することにより、Ｈｏｕｇｈ変換の際に必要となるメモリ空間を削減し、認識に要する処理時間を短縮することができる。
【００４０】
（ｃ）花、葉による植物の識別
齋藤剛史、「花と葉による野草の自動認識」、電子情報通信学会論文誌、Ｖｏｌ．Ｊ８４−Ｄ−ＩＩ，Ｎｏ．７，ｐｐ．１４１９−１４２９（２００１）
この文献では、１つの野草について真上かそれに近い斜め上の角度から撮影した花画像と葉画像の２枚を１セツトとして用い、野草を自動認識する。クラスタリング法を用いて各画像から対象物（花、葉）を抽出し、花画像から１０個、葉画像から１１個の特徴量を求め、区分的線形識別関数により認識を行う。
【００４１】
（ｄ）魚の認識
平岡透ほか、「輪郭線及びテクスチャ情報に基づく画像認識法−魚画像認識への応用」、信学技報、ＰＲＭＵ９６−１４８，ｐｐ．５５−６２（１９９７−０１）
この文献では、輪郭線情報としてＰ型記述子のパワースペクトルを、テクスチャ情報としては濃度共起行列から作られる行列の要素を用い、これらを統合し、拡大・縮小、平行移動、ある角度の回転に関し不変な画像の識別法を提案している。特に、認識対象として点画像を取り上げている。
【００４２】
次に、情報提供手段２０３では、識別された部類情報を用いてデータベースを検索し、識別部類の名称、特徴、絵、写真などの検索結果データを取得する。対象が動植物の場合には、検索結果データとして食用の可否、近似種、料理法、育成方法なども考えられる。
【００４３】
この検索結果データはデータ通信手段２０１に送られる（Ｓ７）。また、処理が成功したことを利用者管理テーブル２０４に送る。それを受けて利用者管理テーブル２０４は既にデータ通信手段２０１から受け取っている携帯端末の識別コードの記録欄にこの処理のデータ通信回数やデータ通信量などを記録する。従量制課金方法ではこの記録をもとに料金を計算する。また、データ通信手段２０１は検索結果データを携帯端末１に送る。
【００４４】
なお、料金算定方法としては、・各利用者のデータ通信回数やデータ通信量など、その利用状況に応じて課金する従量制課金方法、・一定の期間当たり一定の料金を課金する定額制課金方法、・従量制課金方法と定額性課金方法とを組み合わせた方法とすることができる。
【００４５】
携帯端末１のデータ通信手段１０５は、サーバ２からの検索結果データを受信し（Ｓ８）、検索結果データ表示手段・表示画面１０４により表示する（Ｓ９）。検索結果データが複数個の部類候補にもとづく場合、表示画面に検索結果データのすべてが表示できないことが想定される。このとき、例えば各部類候補の名称や写真など、その一部のみを表示画面に一覧表示する方法が考えられる。
【００４６】
このような方法で一覧表示された部類候補に対し、操作手段１０２により任意の部類を選択することで、選択した部類のより詳細な検索結果データが表示される。なお、端末装置における提供情報（検索結果データ）の表示方法としては、検索結果データが複数の部類候補に基づいて作成されている場合、可能性の高い部類候補順に、複数の部類候補に関する検索結果データの一部または全てを表示画面に一覧表示する方法がある。この表示方法の場合、可能性の高さについては、例えば、識別処理時の評価値（マッチング度合いなど）を利用できる。
【００４７】
〔実施形態２〕
図３は本発明の実施形態２を示すブロック図である。同図において、画像入力手段１０１０は、本実施形態では携帯端末１０に内蔵されたデジタルカメラとする。ここで、携帯端末とは、携帯電話、ＰＨＳ、ＰＤＡ（携帯情報端末）、ノートパソコンを意味する。操作手段１０２０は、キーボード、携帯電話の操作キーやプッシュボタン、電子ペンなどである。
【００４８】
付随情報入力手段１０３０は、ＧＰＳ（グローバル・ポジショニング・システム）、高度計、水深計、方位磁針、温度計、湿度計、気圧計、風力計、風向計、時計、カレンダー、ジャイロなど、位置情報、気象情報、時間情報、姿勢情報などを計測する機器、またはこれらの情報を手入力するのに用いるキーボード、携帯電話の操作キーやプッシュボタン、電子ペンなどである。
【００４９】
検索結果データ表示手段・表示画面１０４０は、液晶ディスプレイのような小型の表示装置である。
【００５０】
なお、携帯端末は複数存在し、各々の識別子とそれらの所有者の情報がサーバ２０内に記録されているものとする。また、各携帯端末にはその携帯端末の識別コードが記録されているものとする。以下、図４に示す処理手順Ｓ１１〜Ｓ２２を参照して動作例を説明する。
【００５１】
まず、利用者は携帯端末１０に内蔵されるデジタルカメラ１０１０で物体を撮影する（Ｓ１１）。このとき、必要に応じて付随情報入力手段１０３０により、緯度経度、高度、水深、方角などの位置情報や、天気、気温、湿度、気圧、風向、風速などの気象情報や、時刻、日時、季節などの時間情報や、撮影時の携帯端末の向き、姿勢などの姿勢情報などの付随情報も同時に取得される（Ｓ１２）。
【００５２】
手入力によりこれらの情報を取得する時には、キーボード、携帯電話の操作キーやプッシュボタン、電子ペンなどが用いられる。手入力の際には、使用者の名前、住所、性別などの個人情報や、撮影場所、物体を取得した場所、物体の形、大きさ、色、模様など部類識別に役立つ情報も入力することができる。
【００５３】
次に、操作手段１０２０によって、データ通信手段１０５０にその画像データを送信するように指示を出す。これを受けてデータ通信手段１０５０は、画像、付随情報、携帯端末の識別コードをサーバ２０に送る（Ｓ１３）。通信経路としては例えばＬＡＮや公衆網などを用いる。
【００５４】
サーバ２０はデータ通信手段２０１０によってそれらを受信する（Ｓ１４）。データ通信手段２０１０は、携帯端末の識別コードを利用者管理テーブル２０４０に送る（Ｓ１５）。また、受信した画像と付随情報を物体抽出・部類識別手段２０２０に送る。そして、物体抽出・部類識別手段２０２０は受信した画像から物体を抽出し、画像と付随情報から該物体の部類を識別する（Ｓ１６）。この識別結果の部類情報を情報提供手段２０３０に送る。このとき、該物体の部類候補を一つに絞るだけでなく、可能性の高い複数個の候補を挙げる方法もある。
【００５５】
利用者管理テーブル２０４０は、既にデータ通信手段２０１０から受けとっている携帯端末の識別コードの記録欄にこの処理のデータ通信回数やデータ通信量などを記録する。従量制課金方法ではこの記録をもとに料金を計算する。また、データ通信手段２０１０は、データ保存装置３０に検索結果データを送り、保存するように指示する（Ｓ１７）。
【００５６】
なお、料金算定方法としては、・各利用者のデータ通信回数やデータ通信量など、その利用状況に応じて課金する従量制課金方法、・一定の期間当たり一定の料金を課金する定額制課金方法、・従量制課金方法と定額性課金方法とを組み合わせた方法とすることができる。
【００５７】
データ保存装置３０は、データ通信手段３０１０で検索結果データを受信し（Ｓ１８）、データ保存手段３０２０に記録する（Ｓ１９）。このデータ保存手段３０２０はハードディスクや半導体メモリ等で構成できる。そして、データ通信手段３０１０はデータ保存手段３０２０に記録したアドレスを携帯端末１０との間で送受信する（Ｓ２０）。このアドレスの記述法としては、例えばデータ保存装置３０がインターネットに接続され、携帯端末１０からのアクセスがインターネット経由で行われる場合にはＵＲＬを用いることができる。サーバ２０はこのアドレスを携帯端末１０に送る。
【００５８】
携帯端末１０は、データ保存装置３０とのデータ送受信でアドレス（この例ではＵＲＬ）を受信し（Ｓ２１）、このアドレスを用いて、データ保存装置３０における該当データが保存されている個所に格納された検索結果データにアクセスし、これをダウンロードしてデータ表示手段１０４０で表示する（Ｓ２２）。
【００５９】
なお、本発明による画像認識方式は、コンピュータとプログラムによっても実現でき、該プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。
【００６０】
【発明の効果】
以上、詳細に説明したように、本発明によれば、携帯端末は画像を入力してサーバに送信する機能と、サーバから送られてきた検索結果の情報を表示する機能だけを持てばよく、計算量の大きい画像からの物体の抽出・認識は計算能力の高いサーバが実行するため、利用者は携帯端末のデジタルカメラにより物体を撮影してその物体に関する情報を即座に閲覧することが可能となるという顕著な効果を奏するものである。
【００６１】
また、実施形態２に示したように、検索結果データを別のデータ保存装置に保停し、ＵＲＬなど用いてアクセスする場合、不特定多数のユーザが検索結果データにアクセスすることが可能となる。
【図面の簡単な説明】
【図１】本発明の実施形態１を説明するブロック構成図。
【図２】本発明の実施形態１の処理フローチャート。
【図３】本発明の実施形態２を説明するブロック構成図。
【図４】本発明の実施形態２の処理フローチャート。
【符号の説明】
１…携帯端末装置
１０１…画像入力手段
１０２…操作手段
１０３…付随情報入力手段
１０４…検索結果データ表示手段・表示画面
１０５…データ通信手段
２…サーバ
２０１…データ通信手段
２０２…物体抽出・部類識別手段
２０３…処理実行手段
２０４…利用者管理テーブル
１０…携帯端末装置
１０１０…画像入力手段
１０２０…操作手段
１０３０…付随情報入力手段
１０４０…検索結果データ表示手段・表示画面
１０５０…データ通信手段
２０…サーバ
２０１０…データ通信手段
２０２０…物体抽出・部類識別手段
２０３０…処理実行手段
２０４０…利用者管理テーブル
３０…データ保存装置
３０１０…データ通信手段
３０２０…データ保存手段

Claims (18)

1. 携帯端末装置から送信された画像を受信する画像受信手段と、該画像受信手段で受信した画像中に存在する単数もしくは複数の物体の部類を識別する部類識別手段と、該部類識別手段によって識別された単数もしくは複数の物体の部類に基づき情報提供を行う情報提供手段と、該情報提供手段から提供された情報を前記携帯端末装置に送信する対携帯端末装置データ送信手段とを有することを特徴とする画像認識用サーバ。
2. 請求項１において、
   前記携帯端末装置は、前記画像に加えて付随情報を自動または手入力により取得する付随情報取得手段と、前記画像受信手段に加えて前記携帯端末装置から送信された付随情報を受信する付随情報受信手段を有し、前記部類識別手段では画像に加えて該付随情報も使用することを特徴とする画像認識用サーバ。
3. 請求項１または２において、
   前記情報提供手段は、識別された部類に関する名称や特徴や写真や該部類に関する情報をデータベースで検索し、該検索結果と識別された部類に基づいて作成した検索結果データを前記対携帯端末装置データ送信手段によって携帯端末装置に提供することを特徴とする画像認識用サーバ。
4. 請求項３において、
   前記部類識別手段は、複数の部類候補を挙げ、前記情報提供手段は前記各部類候補に関する名称や特徴や写真や各部類に関する情報をデータベースで検索し、該検索結果と各部類候補に基づいて作成した検索結果データを前記携帯端末装置データ送信手段によって携帯端末装置に送信処理することを特徴とする画像認識用サーバ。
5. 請求項１〜４のいずれか１項において、
   画像認識サーバおよび携帯端末装置がアクセス可能なネットワーク内の他の装置のデータ保存手段に前記検索結果データを格納し、
   携帯端末装置に対しては該検索結果データを送信するのではなく、該検索結果データを格納した前記データ保存手段のアドレスを送信することを特徴とする画像認識用サーバ。
6. 請求項１〜５のいずれか１項において、
   携帯端末装置からその識別コードもしくは利用者の識別コードを受信し、該識別コードを用いて利用者の料金算定を行うことを特徴とする画像認識用サーバ。
7. 画像を入力する画像入力手段と、該画像を画像認識用サーバに送信する画像送信手段と、画像認識用サーバの提供情報を受信するデータ受信手段と、受信した検索結果データの一部または全てを表示する検索結果データ表示手段と表示画面を有し、
   検索結果データ表示手段の行う処理として、検索結果データの全てを表示画面に表示しきれない場合には、携帯端末装置を操作して検索結果データのうちの表示させたい部分を選択することにより、選択された部分を切り替えて表示画面に表示することを特徴とする画像認識用携帯端末装置。
8. 請求項７において、
   検索結果データが複数の部類候補に基づいて作成されている場合、検索結果データ表示手段は、可能性の高い部類候補順に、複数の部類候補に関する検索結果データの一部または全てを表示画面に一覧表示することを特徴とする画像認識用携帯端末装置。
9. 携帯端末装置から送信された画像を受信する画像受信過程と、該画像受信過程で受信した画像中に存在する単数もしくは複数の物体の部類を識別する部類識別過程と、該部類識別過程によって識別された単数もしくは複数の物体の部類に基づき情報提供を行う情報提供過程と、該情報提供過程から提供された情報を前記携帯端末装置に送信する対携帯端末装置データ送信過程とを有することを特徴とする画像認識方法。
10. 請求項９において、
    前記携帯端末装置は、前記画像に加えて付随情報を自動または手入力により取得する付随情報取得過程と、前記画像受信過程に加えて前記携帯端末装置から送信された付随情報を受信する付随情報受信過程を有し、前記部類識別過程では画像に加えて該付随情報も使用することを特徴とする画像認識方法。
11. 請求項９または１０において、
    前記情報提供過程は、識別された部類に関する名称や特徴や写真や該部類に関する情報をデータベースで検索し、該検索結果と識別された部類に基づいて作成した検索結果データを前記対携帯端末装置データ送信過程によって携帯端末装置に提供することを特徴とする画像認識方法。
12. 請求項１１において、
    前記部類識別過程は、複数の部類候補を挙げ、前記情報提供過程は前記各部類候補に関する名称や特徴や写真や各部類に関する情報をデータベースで検索し、該検索結果と各部類候補に基づいて作成した検索結果データを前記携帯端末装置データ送信過程によって携帯端末装置に送信処理することを特徴とする画像認識方法。
13. 請求項９〜１２のいずれか１項において、
    画像認識サーバおよび携帯端末装置がアクセス可能なネットワーク内の他の装置のデータ保存過程に前記検索結果データを格納し、
    携帯端末装置に対しては該検索結果データを送信するのではなく、該検索結果データを格納した前記データ保存過程のアドレスを送信することを特徴とする画像認識方法。
14. 請求項９〜１３のいずれか１項において、
    携帯端末装置からその識別コードもしくは利用者の識別コードを受信し、該識別コードを用いて利用者の料金算定を行うことを特徴とする画像認識方法。
15. 画像を入力する画像入力過程と、該画像を画像認識用サーバに送信する画像送信過程と、画像認識用サーバの提供情報を受信するデータ受信過程と、受信した検索結果データの一部または全てを表示する検索結果データ表示過程と表示画面を有し、
    検索結果データ表示過程の行う処理として、検索結果データの全てを表示画面に表示しきれない場合には、携帯端末装置を操作して検索結果データのうちの表示させたい部分を選択することにより、選択された部分を切り替えて表示画面に表示することを特徴とする画像認識方法。
16. 請求項１５において、
    検索結果データが複数の部類候補に基づいて作成されている場合、検索結果データ表示過程は、可能性の高い部類候補順に、複数の部類候補に関する検索結果データの一部または全てを表示画面に一覧表示することを特徴とする画像認識方法。
17. 請求項９〜１６のいずれか１つの画像認識方法を、コンピュータで実行可能に構成したことを特徴とする画像認識用プログラム。
18. 請求項９〜１６のいずれか１つの画像認識方法を、コンピュータで実行可能に構成したプログラムを記録したことを特徴とする記録媒体。

Images