JP2006259893A - 物体認識システム，コンピュータプログラム，および端末装置 - Google Patents

Abstract

【課題】 カメラなどの撮影装置によって撮影した画像などの情報を認識して，その認識結果に応じて，マルチメディア情報を配信，あるいはプログラムを実行することの可能な物体認識システムを提供する。
【解決手段】 登録端末１００は，物体情報が入力される物体情報入力部と，入力された物体の画像を解析して画像情報を取得する解析部を含み，認識端末２００は，物体の画像が入力される画像入力部と，入力された画像を解析して画像情報を取得する解析部を含み，管理サーバ３００は，登録端末から送られる物体情報および画像情報を蓄積する物体情報データベースと，認識端末から送られる画像情報と，物体情報データベースに格納された物体情報とを比較して関連付けるデータ管理部を含む。
【選択図】 図１

Description

本発明は，物体認識システムおよびその関連技術にかかり，特に，画像などの入力される情報を認識して，その認識結果に対応した情報を配信，あるいはプログラムを実行する物体認識システムおよびその関連技術に関する。本発明は，例えばカメラ付き携帯電話などを利用して実現されるものである。

入力される画像情報などを認識して，その認識結果に対応した情報を配信，あるいはプログラムを実行する，物体認識システムが知られている。従来の物体認識システムとして，例えば，特開２００４−３０５４６号公報（特許文献１），特開１９９６−２７２９４６号公報（特許文献２），特開１９９４−３０１７２６号公報（特許文献３）に開示された技術がある。

特許文献１には，バーコードを認識して携帯電話および個人向け情報端末に商品情報を提供するシステムが提案されている。特許文献２には，カメラで認識した物体の名前や属性を出力する方法が提案されている。特許文献３には，物体を認識して，類似した物体と関連するＵＲＬの候補を携帯電話に電予メールで送信するシステムが提案されている。

特開２００４−３０５４６号公報 特開１９９６−２７２９４６号公報 特開１９９４−３０１７２６号公報

しかしながら，従来の物体認識システムでは，物体にバーコード等の識別コードを付加しなければならず，コストの増大や商品の外観を損ねる等といった問題点があった。また，物体の情報を文字情報としてしか提供できない等といった問題点があった。

本発明は，従来の物体認識システムが有する上記問題点に鑑みてなされたものであり，本発明の目的は，カメラなどの撮影装置によって撮影した画像などの情報を認識して，その認識結果に応じて，マルチメディア情報を配信，あるいはプログラム（ビジュアルチャット，ＵＲＬ移動など）を実行することの可能な，新規かつ改良された物体認識システムおよびその関連技術を提供することである。

上記課題を解決するため，本発明の第１の観点によれば，物体情報を登録する登録端末（１００）と，物体を認識する認識端末（２００）と，前記物体情報を管理する管理サーバ（３００）と，前記登録端末および前記認識端末と前記管理サーバとを接続するネットワーク（４００）と，を含み，前記認識端末で物体を認識し，その物体に関連付けられた物体情報を取得する物体認識システム（１０）が提供される。

本発明の物体認識システムにおいて，前記登録端末（１００）は，前記物体情報が入力される物体情報入力部（１３０）と，前記物体情報と関連付けるための物体の画像が入力される画像入力部（１１０）と，前記入力された画像を解析して画像情報（解析データ）を取得する解析部（１２０）と，前記物体情報および前記画像情報を前記管理サーバに送るための通信部（１４０）と，を含み；前記認識端末（２００）は，物体の画像が入力される画像入力部（２１０）と，前記入力された画像を解析して画像情報（解析データ）を取得する解析部（２２０）と，前記画像情報を前記管理サーバに送るための通信部（２３０）と，前記管理サーバから送られる前記物体情報に応じた出力動作を行う出力部（２５０）と，を含み；前記管理サーバ（３００）は，前記登録端末および前記認識端末と通信を行う通信部（３１０，３２０）と，前記登録端末から送られる前記物体情報および前記画像情報を蓄積する物体情報データベース（３４０）と，前記認識端末から送られる画像情報と，前記物体情報データベースに格納された物体情報とを比較して関連付けるデータ管理部（３３０）と，を含むことを特徴とする（請求項１）。

かかる物体認識システムによれば，登録端末および認識端末に画像を解析して画像情報を取得する解析部を含むことによって，画像として撮影された物体を認識し，管理サーバにおいて解析データ同士を比較して関連付けることができる。そして，関連付けられた物体情報としてさまざまな形式のコンテンツを取得することができる。さらに，ネットワークで接続された管理サーバで物体情報を一元的に管理することによって，複数の登録端末で協同して物体情報データベースを構築することが可能である。これにより，広範囲かつ最適なコンテンツを取得することができる。また，このような物体情報データベースによれば，大容量の物体情報を管理することができ，動画のようなマルチメディア情報配信の利用などが可能となる。

本発明の物体認識システムではさまざまな応用が可能であるが，いくつかの応用例を挙げれば以下の通りである。

前記認識端末は，さらに，ユーザの情報が入力されるユーザ情報入力部（２６０）を含むようにしてもよい（請求項２）。かかる構成によれば，本システムの利用に当たり，ユーザの情報を認識端末から入力することができる。かかるユーザ情報入力部は，例えば携帯端末の各種キー（数字，英字，和文字等を入力可能なキー）である。また，ユーザの情報とは，ユーザの個人情報（例えば，氏名，電話番号，会員番号，パスワード等）や，ユーザの意思で入力される情報（例えば，課金への同意等）などである。

前記認識端末は，さらに，端末情報を制御する端末情報制御部（２４０）を含み，前記管理サーバは，さらに，前記認識端末のライセンス情報を管理するライセンス情報データベースを含むようにしてもよい（請求項３）。かかる構成によれば，本システムの利用に当たり，ライセンスの有無を設定することによって認識端末に課金等を行うことができ，一つのビジネスモデルとしての利用が可能となる。この際，認識端末がライセンスを有することの認証は，端末情報制御部を介して端末情報を管理サーバに送るようにすることで，容易に認証を行うことが可能である。

前記管理サーバは，さらに，前記物体情報データベースから複数の物体情報の候補を選出する候補選出部（３６０）を含むようにしてもよい（請求項４）。かかる構成によれば，認識端末から送られる物体の解析データに対して，管理サーバにおいて複数の物体情報の候補を選出することが可能である。そして，例えばサムネイル形式で複数の物体情報を認識端末に送ることによって，認識端末のニーズに合った最適な物体情報を取得することができる。また仮に，認識端末における解析の精度や，管理サーバにおける物体情報の関連づけの精度が高精度のものでない場合でも，複数の物体情報を認識端末に送ることによってその弱点を補うことができる。このことは，認識端末や管理サーバの機能を必ずしも高精度にしなくても良いことを意味し，システム導入のコストを抑えることができる。

物体情報の具体例としては例えば以下のようなマルチメディア情報やプログラムなどがあるが，本発明はこれらに限定されず，あらゆる情報に適用可能である。

（例１）前記認識端末が認識する物体は，音楽記録媒体（例えば，ＣＤ等）またはその包装（例えば，ＣＤのジャケット等）またはその広告（ポスター等）であり，前記物体情報は音楽記録媒体に関連する情報である（請求項５）。音楽記録媒体に関連する情報とは，例えばＣＤに収録された楽曲を紹介するような情報（コンテンツ）である。例えば，ＣＤのサンプル音楽（楽曲の一部または音質を低下等させたもの）や，アーティストの情報（写真，動画など）などである。これらは，音楽記録媒体の販売促進等に用いられる。

（例２）前記認識端末が認識する物体は，動画記録媒体（例えば，ＤＶＤやビデオテープ等）またはその包装（例えば，ＤＶＤやビデオテープのジャケット等）またはその広告（ポスター等）であり，前記物体情報は前記動画記録媒体に関連する情報である（請求項６）。動画記録媒体に関連する情報とは，例えばＤＶＤやビデオテープに収録された動画を紹介するような情報（コンテンツ）である。例えば，ＤＶＤのサンプル映像（動画の一部または画質を低下等させたもの）や，アーティストの情報（写真，動画など）などである。これらは，動画記録媒体の販売促進等に用いられる。

（例３）前記認識端末が認識する物体は，プログラムの記録媒体（例えば，ＣＤ−ＲＯＭ等）またはその包装（販売用の梱包など）またはその広告（販売促進用のパンフレット等）であり，前記物体情報は前記プログラムに関連する情報である（請求項７）。プログラムに関連する情報とは，例えば，プログラムの試用版やプログラム起動に伴う動作紹介（デモンストレーション）等である。これらは，プログラムの販売促進等に用いられる。

前記認識端末の画像入力部には，動画が入力され，前記認識端末の解析部は，前記動画を解析して動画情報を取得し，前記認識端末の出力部は，前記動画情報に応じた，前記物体情報の出力動作を行うようにしてもよい（請求項８）。ここで画像入力部に入力される動画とは，例えば，認識端末のユーザが画像入力部に対してする動作であり，指を動かす動作や声を発する動作などである。解析部はこのような動画を解析し，出力部は動画情報に応じた出力動作を行う。例えば，ユーザが指を動かすと出力を停止したり，早送り／巻き戻しをしたり，次の物体情報を出力したりする。また，物体情報に関連付けられた商品（例えば，ＣＤ等）の販売動作に遷移するなどすることも可能である。

前記画像情報は，前記物体の外観（外形，色など）の特徴を表す情報であってもよい（請求項９）。認識端末のユーザは，物体の外観（外形，色など）をそのまま入力（例えば，カメラ付き携帯電話で撮影するなど）すればよく，本システムを容易に利用することが可能である。また，管理サーバにおいても，物体の外観（外形，色など）の特徴同士を比較することができるので，物体の認識精度を向上させることが可能である。

前記登録端末の通信部は，前記画像情報に加えさらに前記画像を前記管理サーバに送るようにしてもよい（請求項１０）。かかる構成によれば，管理サーバにおいて，物体の画像そのものを把握できるので，物体情報の管理効率を向上させることができる。

前記物体情報は，前記物体に関連するウェブページのＵＲＬ情報であり，前記出力部は，前記ＵＲＬ情報に基づいて前記ウェブページを出力するようにしてもよい（請求項１１）。

上記課題を解決するため，本発明の第２の観点によれば，物体の画像が入力される画像入力部（２１０）と，前記入力された画像を解析して画像情報（解析データ）を取得する解析部（２２０）と，前記画像情報を，前記物体に関連付けられた物体情報を管理する管理サーバ（３００）に送るための通信部（２３０）と，前記管理サーバから送られる前記物体情報に応じた出力動作を行う出力部（２５０）と，を含むことを特徴とする，端末装置が提供される（請求項１４）。より具体的には，かかる端末装置は，ユーザが携帯可能な携帯電話やＰＤＡ等である。

かかる端末装置によれば，画像を解析して画像情報を取得する解析部を含むことによって，画像として撮影された物体を認識し，管理サーバにおいて解析データ同士を比較して関連付けることができる。そして，関連付けられた物体情報としてさまざまな形式のコンテンツを取得することができる。例えば，動画のようなマルチメディア情報配信の利用などが可能となる。

本発明にかかる端末装置においても，上記と同様の応用が可能である。

例えば，前記認識端末の画像入力部には，動画が入力され，前記認識端末の解析部は，前記動画を解析して動画情報を取得し，前記認識端末の出力部は，前記動画情報に応じた，前記物体情報の出力動作を行うようにしてもよい（請求項１５）。ここで画像入力部に入力される動画とは，例えば，認識端末のユーザが画像入力部に対してする動作であり，指を動かす動作や声を発する動作などである。

また，前記画像情報は，前記物体の外観（外形，色など）の特徴を表す情報であってもよい（請求項１６）。

前記物体情報は，前記物体に関連するウェブページのＵＲＬ情報であり，前記出力部は，前記ＵＲＬ情報に基づいて前記ウェブページを出力するようにしてもよい（請求項１７）。

また，本発明の他の観点によれば，コンピュータを，上記登録端末または認識端末として機能させるためのコンピュータプログラムが提供される（請求項１２，１３）。また，そのコンピュータプログラムを記録した，コンピュータにより読み取り可能な記録媒体が提供される。ここで，コンピュータプログラムはいかなるプログラム言語により記述されていてもよい。また，記録媒体としては，例えば，ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，フレキシブルディスクなど，コンピュータプログラムを記録可能な記録媒体として現在一般に用いられている記録媒体，あるいは将来用いられるいかなる記録媒体をも採用することができる。

なお上記において，構成要素に付随して括弧書きで記した参照符号は，理解を容易にするため，後述の実施形態および図面における対応する構成要素を一例として記したに過ぎず，本発明がこれに限定されるものではない。

以上のように，本発明によれば，認識端末，登録端末に画像データを解析する解析部を装備することによって，画像として撮影された物体を認識し，対応する出力データを文字情報以外で取得できるので従来手法に比べて応用範囲が広い。また，物体情報データベースが端末ではなくネットワークで接続された管理サーバに格納されているため，多人数で共同して情報データベースを作成していくことができるというメリットがある。これにより，百科事典のようなシステムとして利用できる。また，物体情報データベースを管理サーバ側に設置することによって，大容量のデータが格納可能となり，動画のようなマルチメディア情報配信への利用などが可能となる。

以下に添付図面を参照しながら，本発明にかかる物体認識システム，コンピュータプログラム，および端末装置の好適な実施形態について詳細に説明する。なお，本明細書および図面において，実質的に同一の機能構成を有する構成要素については，同一の符号を付することにより重複説明を省略する。

（第１の実施形態）
本発明の第１の実施形態について説明する。

（第１の実施形態の構成）
本実施形態にかかる物体認識システム１０は，図１に示したように，管理サーバ３００に必要な情報を登録する登録端末１００と，画像データを取得して認識する認識端末２００と，管理サーバ３００を含んで構成されている。管理サーバ３００と登録端末１００および認識端末２００とは，ネットワーク４００によって接続されている。ネットワーク４００は，例えば，インターネット網４１０と，認識端末２００をインターネット網４１０に接続するための携帯電話交換網４２０を含む。以下に，各システム構成要素について説明する。

（登録端末１００）
登録端末１００は，例えばＰＣカメラを取り付けたコンピュータ等を想定した端末であり，図２に示したように，画像入力部１１０と，解析部１２０と，登録データ入力部１３０と，通信部１４０と，出力部１５０を含んで構成されている。登録端末１００は物体認識システム１０内に任意数存在し，現実的には極めて多数の登録端末１００が存在する。なお，本発明においては，登録端末１００は必ずしも複数存在することを必要としないが，複数の登録端末１００が存在することにより，複数の登録端末１００で協同して物体情報データベース３４０を構築することが可能である。

画像入力部１１０は，撮影された画像データが入力される機能部であり，例えばＰＣカメラである。

解析部１２０は，画像入力部１１０から入力された画像を解析する機能部である。ここで解析とは，物体の形や色などの特徴を表すエッジや濃淡値，色情報などを画像処理によって抽出し，他のデータと比較できる共通のデータ形式に変換することを意味する。ここで共通のデータ形式とは，例えば，物体の特徴点の座標データなど，特定長さのビット列とすることができる。なお，解析部１２０（および後述の認識端末２００の解析部２２０）の解析により得られたデータのことを「解析データ」という。

解析部１２０には，画像の特徴を抽出するものであれば，様々な手法が利用可能である。例えば，文献「電予情報通信学会誌Ｄ−II，Vol.J80-D-II
No.8，多様な姿勢を有する入力画像からの個人識別」で述べられている階層的ガボールフイルタを利用したり，文献「Journal of Cognitive Neuroscience Vol.3 Number 1，Eigenface for Recognition」で述べられている主成分分析の手法などを利用したりすることが可能である。

登録データ入力部１３０は，物体情報として登録される出力データ（マルチメディア情報（画像，動画像，音楽など）あるいは実行プログラム）が入力される機能部である。本実施形態では，出力データを登録端末１００とは別のところで作成し，登録端末１００に入力する場合を想定して説明するが，出力データを登録端末１００で作成するようにしてもよい。この場合，登録データ入力部の代わりに，出力データを作成する出力データ作成部（例えば，画像データ生成部，動画データ生成部，音楽データ生成部，プログラム作成部など）を備えることができる。

上述のように，登録端末１００が管理サーバ３００に対して登録する出力データとは，例えば，マルチメディア情報（画像，動画像，音楽など）や実行プログラムなどである。いくつかの例を挙げると以下の通りである。
・ＣＤに収録された楽曲を紹介するようなデータ（コンテンツ）である。例えば，ＣＤのサンプル音楽（楽曲の一部または音質を低下等させたもの）や，アーティストの情報（写真，動画など）などである。これらは，ＣＤの販売促進等に用いられる。
・ＤＶＤやビデオテープに収録された動画を紹介するようなデータ（コンテンツ）である。例えば，ＤＶＤのサンプル映像（動画の一部または画質を低下等させたもの）や，アーティストの情報（写真，動画など）などである。これらは，ＤＶＤやビデオテープの販売促進等に用いられる。
・プログラムの試用版やプログラム起動に伴う動作紹介（デモンストレーション）等である。これらは，プログラムの販売促進等に用いられる。

通信部１４０は，管理サーバ３００との通信を行う機能部である。本実施形態では，通信部１４０を介して，解析部１２０から出力される画像の解析データと，登録データ入力部１３０に入力された出力データとが，通信部１４０を介して管理サーバ３００に送信される。

このとき必要に応じて，解析される前の画像も管理サーバ３００に送信される。また，既に登録されている物体情報を更新したい場合や削除したい場合には，入力時に命令を付加して送信する。さらに，物体によっては撮影される角度によって異なる形状をとるものもあるため，一つの出力データについて複数の解析データを登録することも可能である。さらに，ライセンスの有無を設定する場合には入力情報として与えることも可能である。このとき，管理サーバはライセンスの設定をライセンス情報データベース３５０として，あるいは物体情報データベース３４０のデータ自体に設定する。

出力部１５０は，各種データを出力する機能部であり，データ出力を制御する出力制御部や，画像等を出力表示する表示部（例えばコンピュータの液晶表示画面）などを含む。本実施形態では，出力部２５０は，例えば，通信情報を表示させることができ，管理サーバ３００から送られてきた登録成功，失敗の結果などを表示することが可能である。

以上説明した登録端末１００の各機能部は，例えば，汎用のコンピュータにコンピュータプログラムを組み込むことにより実現可能である。かかるコンピュータプログラムは，ＣＤ−ＲＯＭ等の記録媒体に記録された形で市場に流通させることが可能である。また，ネットワークを介したダウンロードにより入手することも可能である。

（認識端末２００）
認識端末２００は，例えばカメラ付き携帯電話等を想定した端末であり，図３に示したように，画像入力部２１０と，解析部２２０と，通信部２３０と，端末情報制御部２４０と，出力部２５０と，ユーザ情報入力部２６０を含んで構成される。認識端末２００は物体認識システム１０内に任意数存在する。

画像入力部２１０は，撮影された画像データが入力される機能部であり，例えばカメラ付き携帯電話のカメラ部である。

解析部２２０は，画像入力部２１０から入力されたデータを解析する機能部である。解析部２２０による解析の方法は登録端末１００の解析部１２０と実質的に同様である。

通信部２３０は，管理サーバ３００との通信を行う機能部である。本実施形態では，通信部２３０を介して，解析部２２０で解析されたデータが管理サーバ３００に送信される。

端末情報制御部２４０は，ライセンス許可を確認するための端末情報（端末の製造番号や電話番号）を管理制御する機能部である。認識端末２００では，必要に応じて，ライセンスの有無を認証するための端末情報（端末の製造番号や電話番号）を端末情報制御部２４０から取り出し，管理サーバ３００に送信する。端末情報制御部２４０を介して端末情報を管理サーバ３００に送るようにすることで，容易に認証を行うことが可能である。

出力部２５０は，管理サーバ３００から送信されてくる出力データに応じた出力動作を行う機能部である。出力部２５０は，データ出力を制御する出力制御部や，画像等を出力表示する表示部（例えばカメラ付き携帯電話の液晶表示画面）などを含む。出力データに応じた出力動作とは，出力データがマルチメディアデータの場合には，そのマルチメディアデータの再生等を行う。また，出力データがウェブページに接続するためのＵＲＬ情報の場合には，そのＵＲＬに移動するなどの動作を行う。

ユーザ情報入力部２６０は，各種情報を文字・数字等で入力するための機能部であり，例えば携帯電話の各種キー（数字，英字，和文字等を入力可能なキー）である。また，ユーザの情報とは，ユーザの個人情報（例えば，氏名，電話番号，会員番号，パスワード等）や，ユーザの意思で入力される情報（例えば，課金への同意等）などである。本実施形態では，ユーザ情報入力部２６０は，ライセンスの有無を確認するためのパスワードの入力や，課金の意思表示の確認等を行うために用いられる。

以上説明した認識端末２００の各機能部は，例えば，汎用のカメラ付き携帯電話やＰＤＡにコンピュータプログラムを組み込むことにより実現可能である。かかるコンピュータプログラムは，カメラ付き携帯電話やＰＤＡに予め組み込まれた形で市場に流通してもよく，また，ネットワークを介したダウンロードにより事後的に組み込むことも可能である。

（管理サーバ３００）
管理サーバ３００は，図４に示したように，登録端末通信部３１０と，認識端末通信部３２０と，データ管理部３３０と，物体情報データベース３４０と，ライセンス許可情報データベース３５０を含んで構成されている。

登録端末通信部３１０は，登録端末１００との間で通信を行う機能部である。登録端末１００から送信されてきたデータ（解析データ等）が登録端末通信部３１０を介してデータ管理部３３０に渡される。

認識端末通信部３２０は，認識端末２００との間で通信を行う機能部である。認識端末２００から送信されてきたデータ（解析データ等）が認識端末通信部３２０を通してデータ管理部３３０に渡される。なお，登録端末通信部３１０と認識端末通信部３２０とを区別することは必ずしも必要ではなく，登録端末通信部３１０および認識端末通信部３２０の機能を併せ持つ一つの通信部として構成してもよい。

データ管理部３３０は，登録端末通信部３１０および認識端末通信部３２０から送られるデータを管理するとともに，物体情報データベース３４０およびライセンス許可情報データベース３５０の管理を行う機能部である。

データ管理部３３０は，登録端末１００から送られるデータに，既に登録されている解析データと比較して矛盾および重複がないかを確認して，問題なければ物体情報データベース３４０に情報を登録する。登録情報内容の修正・追加を行うことも可能である。登録が成功あるいは失敗した結果は，登録端末１００に送られる。また，登録端末１００から解析される前の画像が送られてくる場合がある。この解析前画像を解析データや出力データとともに物体情報データベース３４０に登録することにより，管理サーバ３００の管理者が視覚的な確認などを行うことが可能である。

データ管理部３３０では，解析データを物体情報データベース３４０内に登録してある各解析データと照合して，最も一致しているものを対応づけする。この際，登録端末１００から登録された物体の解析データと，認識端末２００から送られる物体の解析データとを比較する。物体の外観（外形，色など）の特徴同士を比較することができるので，物体の認識精度を向上させることが可能である。そして，対応付けられた出力データを認識端末通信部３２０から，送られてきた認識端末２００に送り返す。

物体情報データベース３４０には，上述のように各物体の解析データ（物体の画像を解析部２２０で解析したデータ）と物体ＩＤ，物体ＩＤと関連付けられた出力データ（マルチメディア情報（画像，動画像，音楽など）あるいは実行プログラム）が格納されている。物体ＩＤは物体情報の管理のためのＩＤであり，例えば情報量に応じて任意に設定可能である。例えば，物体情報データベース３４０への登録順に通し番号で物体ＩＤを設定してもよく，あるいは，情報のカテゴリーに応じて階層的な物体ＩＤを設定することも可能である。

ライセンス情報データベース３５０には，ユーザのライセンスの有無に関する情報等が格納されている。ライセンスの設定は，例えば，ユーザ単位，配布するコンテンツ単位など任意に設定可能である。また，課金に関する情報（課金の有無，課金の単位，課金額など）もライセンス情報データベース３５０で管理することができる。

本実施形態は以上のように構成されている。
次いで，本実施形態の動作について，図５を参照しながら説明する。

（登録端末１００−管理サーバ３００間の動作）
まず，登録端末１００から管理サーバ３００の物体情報データベース３４０に必要な情報を登録する動作（ステップＳ１０２〜Ｓ１１０）について説明する。

＜解析データおよび出力データ取得（ステップＳ１０２）＞
ユーザは登録端末１００における画像入力部１１０から画像を入力として与える。入力された画像は解析部１２０で解析し，物体情報を得る。次いで，ユーザは物体情報として登録したい出力データ（マルチメディア情報（画像，動画像，音楽など）あるいは実行プログラム）を登録データ入力部１３０から入力する。

＜解析データおよび出力データ送信（ステップＳ１０４）＞
解析部１２０から出力される画像の解析データと登録データ入力部１３０から入力された出力データは，通信部１４０を介して管理サーバ３００に送られる。このとき必要に応じて，解析部１２０で解析される前の画像も管理サーバ３００も送信する。

また，すでに管理サーバ３００の物体情報データベース３４０に登録されている物体情報を更新したい場合や削除したい場合には，登録データ入力時にその旨の命令を付加して送信する。さらに，物体によっては撮影される角度によって異なる形状をとるものもあるため，一つの出力データについて複数の解析データを登録することも可能である。ライセンスの有無を設定する場合には入力情報として与える。このとき，管理サーバ３００はライセンスの設定をライセンス情報データベース３５０に登録，あるいは物体情報データベース３４０のデータ自体に設定する。

＜解析データおよび出力データ登録（ステップＳ１０６）＞
管理サーバ３００では，登録端末１００から送られてきた解析データと出力データが登録端末通信部３２０を介してデータ管理部３３０に送られる。データ管理部３３０では，登録端末１００から送られたデータをすでに登録されているデータと比較して，矛盾および重複がないかを確認し，問題なければ物体情報データベース３４０にデータを登録する。この際，登録情報内容の修正・追加を行うことも可能である。また，登録端末１００から解析される前の画像が送られてくる場合がある。この解析される前の画像を解析データや出力データとともに物体情報データベース３４０に登録することにより，管理者が視覚的な確認などを行うことが可能である。

＜登録結果の送信（ステップＳ１０８）＞
登録が成功あるいは失敗した結果は登録端末１００に送られる。

＜登録結果の表示（ステップＳ１１０）＞
登録端末１００の出力部１５０では，管理サーバ３００から送られてきた登録成功，失敗の結果を表示する。

（認識端末２００−管理サーバ３００間の動作）
次いで，認識端末２００から管理サーバ３００への動作（ステップＳ１１２〜Ｓ１２０）について説明する。

＜画像撮影および解析（ステップＳ１１２）＞
認識端末２００では，撮影された画像データが画像入力部２１０から入力され，解析部２２０で解析される。解析の方法は登録端末１００と実質的に同様である。

＜解析データ送信（ステップＳ１１４）＞
解析されたデータは通信部２３０を介して管理サーバ３００に送信される。また，認識端末２００では，必要に応じて，ライセンス許可を確認するための端末情報（端末の製造番号や電話番号）を端末情報制御部２４０から管理サーバ３００に送信する。

＜データ照合（ステップＳ１１６）＞
管理サーバ３００内の物体情報データベース３４０には，各物体の解析データ（入力チータを解析部で解析したデータ）と物体ＩＤ，物体ＩＤと関連付けられた出力データが格納されている。管理サーバ３００では，認識端末２００から送信されてきた解析データが認識端末通信部３２０を介してデータ管理部３３０に渡される。データ管理部３３０では，解析データを物体情報データベース内に登録してある各解析データと照合して，最も一致しているものを対応付けする。

＜出力データ送信（ステップＳ１１８）＞
対応付けられた出力データを認識端末通信部３２０から認識端末２００に送信する。

出力データに配布の許可不許可がある場合には，認識端末情報を物体情報と照会してライセンスの有無を確認してから配布する。このとき，課金サーバを設けて管理サーバ３００と連携し，ライセンスがないユーザに課金することにより，配布を許可してもよい。課金をする場合には，ライセンスがないという意味のメッセージを送信し，課金をしても情報を取得するかどうかの問い合わせをする。また，データ自体にライセンス情報が設定されている場合にも同様に，認識端末の認識端来情報を用いてライセンスの有無を確認し，ライセンスがない場合には「許可がありません」などのメッセージを認識端末に送信する。

＜出力データの出力（ステップＳ１２０）＞
認識端末２００では，管理サーバ３００から送信されてくる出力データが通信部２３０を介して通して出力部１５０に送られ，動作の種類に応じた出力形式で出力される。認識端末２００にライセンス許可がなく，課金という条件つきで配信するかどうかの問い合わせがあった場合には，ユーザ情報入力部２６０からユーザの意思表示を受け付け，管理サーバ３００に送信する。ユーザの意思表示を受けて，許可の場合には管理サーバ３００から出力データが配布される。

（第１の実施形態の効果）
以上説明したように，本実施形態によれば，登録端末１００および認識端末２００に画像を解析して画像情報を取得する解析部１２０，２２０を含むことによって，画像として撮影された物体を認識し，管理サーバ３００において解析データ同士を比較して関連付けることができる。そして，関連付けられた物体情報としてさまざまな形式のコンテンツを取得することができる。さらに，ネットワーク４００で接続された管理サーバ３００で物体情報を一元的に管理することによって，複数の登録端末で協同して物体情報データベース３４０を構築することが可能である。これにより，広範囲かつ最適なコンテンツを取得することができる。また，このような物体情報データベース３４０によれば，大容量の物体情報を管理することができ，動画のようなマルチメディア情報配信の利用などが可能となる。

本実施形態の具体例として，以下のような応用が可能である。
（１）ＣＤのジャケットをカメラ付き携帯電話で撮影し，そのＣＤに含まれる音楽をカメラ付き携帯電話で試聴・購入する場合
（２）ＤＶＤのジャケットをカメラ付き携帯電話で撮影し，そのＤＶＤに含まれる内容の予告編をカメラ付き携帯電話で見る場合
（３）映画のポスターをカメラ付き携帯電話で撮影し，割引クーポンを取得する場合
（４）商品または商品カタログをカメラ付き携帯電話で撮影し，その商品に関連する情報を取得したり，関連するウェブページに移動したりする場合。ここで商品とは，商店のショーウインドウなどに展示された商品のほか，町中を走る車など，あらゆる物体を含む。
（５）植物・動物などの情報を多人数で登録・参照し，サーバ経由の百科事典のように使用する場合
（６）電化製品を撮影し，その説明書（画像・音声付）をダウンロードする場合
（７）会社ロゴを撮影し，その電話番号やその会社のウェブページにアクセスする情報（ＵＲＬ等）を取得する場合

（第２の実施形態）
本発明の第２の実施形態について説明する。
本実施形態では，システム全体の構成は第１の実施形態（図１）と実質的に同様であり，管理サーバの構成に特徴を有する。

（第２の実施形態の構成）
図６は本実施形態にかかる管理サーバの構成図である。
本実施形態にかかる管理サーバ３０５は，第１の実施形態の管理サーバ３００（図４）に，さらに候補選出部３６０を含むことを特徴としている。候補選出部３６０は，物体情報データベース３４０から物体の候補を選出する機能部である。なお，図６においては，候補選出部３６０は，登録端末通信部３１０および認識端末通信部３２０とデータ管理部３３０との間に接続されているが，データ管理部３３０と物体情報データベース３４０との間に接続するようにしてもよい。

（第２の実施形態の動作）
第１の実施形態と異なる動作についてのみ説明する。
本実施形態では，物体情報データベース３４０には，物体ＩＤとサムネイル画像が格納されている。候補選出部３６０は物体情報データベース３４０から物体の候補を選出する（図５のステップＳ１１６に相当）。認識端末通信部３２０は選出された物体のサムネイル画像（物体情報の一覧表示画像）と物体ＩＤとを認識端末２００へ送信する（図５のステップＳ１１８に相当）。

認識端末２００では，サムネイル画像を確認し，情報を取得したい物体を選択する（図５のステップＳ１２０に相当）。選択した物体の物体ＩＤを通信部２３０から送信する。

データ管理部３３０は対応テーブルと物体ＩＤとを照合して，物体情報データベース３４０から情報を取得して，認識端末通信部３２０から認識端末２００へ出力データを送信する。なお，本システムにおいて認識端末２００のユーザにライセンス設定および課金を実施する場合には，この出力データの取得の際に課金することが可能である。

（第２の実施形態の効果）
以上説明したように，本実施形態によれば，第１の実施形態の効果に加えて，配信前に対象物を確認できるため，誤配信を防ぐ，ユーザが気に入るかどうか判断できるといった利点がある。また仮に，認識端末２００における解析の精度や，管理サーバ３００における物体情報の関連づけの精度が高精度のものでない場合でも，複数の物体情報を認識端末２００に送ることによってその弱点を補うことができる。このことは，認識端末２００や管理サーバ３００の機能を必ずしも高精度にしなくても良いことを意味し，システム導入のコストを抑えることができる。

（第３の実施形態）
本実施形態は，上記第１，第２の実施形態における認識端末２００の動作に関するものであり，認識端末２００により出力される出力データの制御に特徴を有するものである。以下に，図３を参照しながら説明する。

本実施形態では，認識端末２００は，例えば動画撮影機能付き携帯電話等を想定した端末であり，画像入力部２１０で画像（静止画）のみならず動画も入力できることを特徴とする。また，解析部２２０では，画像入力部２１０に入力される動画から，物体の動きを検出する機能を有する。

その他の構成については，上記第１，第２の実施形態と実質的に同様であるので，重複説明を省略する。

（第３の実施形態の動作）
図５に示した，登録端末１００から管理サーバ３００の物体情報データベース３４０に必要な情報を登録する動作（図５のステップＳ１０２〜Ｓ１１０），および，認識端末２００から管理サーバ３００への動作（図５のステップＳ１１２〜Ｓ１２０）については，第１，第２の実施形態と実質的に同様である。

認識端末２００では，管理サーバ３００から送信されてくる出力データが通信部２３０を介して通して出力部１５０に送られ，動作の種類に応じた出力形式で出力される。この際，画像入力部２１０から所定の動画を入力することにより，解析部２２０でその物体の動きを検出して，その動きをトリガとして出力データを変化させることができる。例えば，出力データが音楽の場合，ユーザが画像入力部２１０に向けて指を動かすことにより，出力される音楽を早送り／巻き戻ししたり，その音楽コンテンツの購入動作を行ったりすることができる。

（第３の実施形態の効果）
以上説明したように，本実施形態によれば，画像入力部２１０に対する物体の動き（例えば，ユーザの指の動きや声を発する動作など）をトリガとした動作を行うことができる。

以上，添付図面を参照しながら本発明にかかる物体認識システム，コンピュータプログラム，および端末装置の好適な実施形態について説明したが，本発明はかかる例に限定されない。当業者であれば，特許請求の範囲に記載された技術的思想の範疇内において各種の変更例または修正例に想到し得ることは明らかであり，それらについても当然に本発明の技術的範囲に属するものと了解される。

上述のように本発明は，認識端末，登録端末に画像データを解析する解析部を装備することによって，画像として撮影される物体であれば認識され，文字情報だけでなく対応するマルチメディア情報や各ブログラムなどを出力できるので従来手法に比べて応用範囲が広い。また，第１〜第３の実施形態における各構成要素は各々組み合わせ可能である。また，本発明は第１〜第３の実施形態で説明した例以外にも様々な応用が可能である。

図７は，本発明を適用可能なビジネスモデル例である。以下に流れを説明する。
（１）コンテンツ配布者１１００はＡＳＰサイト１３０に対して，コンテンツの登録を依頼し，登録料を払う。
（２）ユーザ端末１２００ではカメラでコンテンツ取得のための画像を撮影し，ＡＳＰサイト１３００に特徴情報を送信する。
（３）ＡＳＰサイト１３００では受信した特徴と物体情報データベース（図示せず。上記実施形態と実質的に同様のもの。）との比較を行う。比較の結果，最も近いデータから，出力データをユーザ端末１２００へ送信する。あるいは，関連した動作（プログラム実行）をする。
（４）キャリア１５００はＡＳＰサイト１３００の使用料をユーザ端末１２００のユーザから代行回収し，ＡＳＰサイト１３００に配分する。

また他の応用例として，画像入力部から入力される物体の向きを変えた場合に，異なる物体情報が得られるようにしてもよい。上記実施形態における認識端末をカメラ付き携帯電話で実現した場合，カメラ付き携帯で物体の向きを変えて撮影すると，それに対応して異なる物体情報が得られるようにすることができる。また例えば，第２の実施形態の応用例として，画像入力部から入力される物体の向きを変えた場合に，異なるサムネイル画像を認識端末へ送信するようにしてもよい。

また，認識端末のユーザに課金を実施する場合には，課金のための専用のサーバ（課金サーバ）をシステム内に設けるようにしてもよい。

本発明は，物体認識システムおよびその関連技術に利用可能であり，特に，画像などの入力される情報を認識して，その認識結果に対応した情報を配信，あるいはプログラムを実行する物体認識システムおよびその関連技術に利用可能である。本発明は，例えばカメラ付き携帯電話などを利用して実現されるものである。

第１の実施形態にかかる物体認識システムの構成を示す説明図である。 第１の実施形態にかかる登録端末の構成を示す説明図である。 第１の実施形態にかかる認識端末の構成を示す説明図である 第１の実施形態にかかる管理サーバの構成を示す説明図である。 第１の実施形態の動作を示す説明図である。 第２の実施形態にかかる管理サーバの構成を示す説明図である。 ビジネスモデル例を示す説明図である。

符号の説明

１０ 物体認識システム
１００ 登録端末
１１０ 画像入力部
１２０ 解析部
１３０ 登録データ入力部
１４０ 通信部
１５０ 出力部
２００ 認識端末（第１の実施形態）
２０５ 認識端末（第３の実施形態）
２１０ 画像入力部
２２０ 解析部
２３０ 通信部
２４０ 端末情報制御部
２５０ 出力部
２６０ ユーザ情報入力部
３００ 管理サーバ（第１の実施形態）
３０５ 管理サーバ（第２の実施形態）
３１０ 登録端末通信部
３２０ 認識端末通信部
３３０ データ管理部
３４０ 物体情報データベース
３５０ ライセンス情報データベース
３６０ 候補選出部

Claims (17)

1. 物体情報を登録する登録端末と，物体を認識する認識端末と，前記物体情報を管理する管理サーバと，前記登録端末および前記認識端末と前記管理サーバとを接続するネットワークと，を含み，前記認識端末で物体を認識し，その物体に関連付けられた物体情報を取得する物体認識システムであって，
   前記登録端末は，
   前記物体情報が入力される物体情報入力部と，
   前記物体情報と関連付けるための物体の画像が入力される画像入力部と，
   前記入力された画像を解析して画像情報を取得する解析部と，
   前記物体情報および前記画像情報を前記管理サーバに送るための通信部と，
   を含み；
   前記認識端末は，
   物体の画像が入力される画像入力部と，
   前記入力された画像を解析して画像情報を取得する解析部と，
   前記画像情報を前記管理サーバに送るための通信部と，
   前記管理サーバから送られる前記物体情報に応じた出力動作を行う出力部と，
   を含み；
   前記管理サーバは，
   前記登録端末および前記認識端末と通信を行う通信部と，
   前記登録端末から送られる前記物体情報および前記画像情報を蓄積する物体情報データベースと，
   前記認識端末から送られる画像情報と，前記物体情報データベースに格納された物体情報とを比較して関連付けるデータ管理部と，
   を含むことを特徴とする，物体認識システム。
2. 前記認識端末は，さらに，ユーザの情報が入力されるユーザ情報入力部を含むことを特徴とする，請求項１に記載の物体認識システム。
3. 前記認識端末は，さらに，端末情報を制御する端末情報制御部を含み，
   前記管理サーバは，さらに，前記認識端末のライセンス情報を管理するライセンス情報データベースを含むことを特徴とする，請求項１または２に記載の物体認識システム。
4. 前記管理サーバは，さらに，前記物体情報データベースから複数の物体情報の候補を選出する候補選出部を含むことを特徴とする，請求項１〜３のいずれかに記載の物体認識システム。
5. 前記認識端末が認識する物体は，音楽記録媒体またはその包装またはその広告であり，
   前記物体情報は前記音楽記録媒体に関連する情報であることを特徴とする，請求項１〜４のいずれかに記載の物体認識システム。
6. 前記認識端末が認識する物体は，映像記録媒体またはその包装またはその広告であり，
   前記物体情報は前記映像記録媒体に関連する情報であることを特徴とする，請求項１〜５のいずれかに記載の物体認識システム。
7. 前記認識端末が認識する物体は，プログラムの記録媒体またはその包装またはその広告であり，
   前記物体情報は前記プログラムに関連する情報であることを特徴とする，請求項１〜６のいずれかに記載の物体認識システム。
8. 前記認識端末の画像入力部には，ユーザの動作が入力され，
   前記認識端末の解析部は，前記ユーザの動作を解析して動作情報を取得し，
   前記認識端末の出力部は，前記動作情報に応じた，前記物体情報の出力動作を行うことを特徴とする，請求項１〜７のいずれかに記載の物体認識システム。
9. 前記画像情報は，前記物体の外観の特徴を表す情報であることを特徴とする，請求項１〜８のいずれかに記載の物体認識システム。
10. 前記登録端末の通信部は，前記画像情報に加えさらに前記画像を前記管理サーバに送ることを特徴とする，請求項１〜９のいずれかに記載の物体認識システム。
11. 前記物体情報は，前記物体に関連するウェブページのＵＲＬ情報であり，
    前記出力部は，前記ＵＲＬ情報に基づいて前記ウェブページを出力することを特徴とする，請求項１〜９のいずれかに記載の物体認識システム。
12. コンピュータを，請求項１〜１１に記載の登録端末として機能させるためのコンピュータプログラム。
13. コンピュータを，請求項１〜１１に記載の認識端末として機能させるためのコンピュータプログラム。
14. 物体の画像が入力される画像入力部と，
    前記入力された画像を解析して画像情報を取得する解析部と，
    前記画像情報を，前記物体に関連付けられた物体情報を管理する管理サーバに送るための通信部と，
    前記管理サーバから送られる前記物体情報に応じた出力動作を行う出力部と，
    を含むことを特徴とする，端末装置。
15. 前記認識端末の画像入力部には，ユーザの動作が入力され，
    前記認識端末の解析部は，前記ユーザの動作を解析して動作情報を取得し，
    前記認識端末の出力部は，前記動作情報に応じた，前記物体情報の出力動作を行うことを特徴とする，請求項１４に記載の端末装置。
16. 前記画像情報は，前記物体の外観の特徴を表す情報であることを特徴とする，請求項１４または１５に記載の端末装置。
17. 前記物体情報は，前記物体に関連するウェブページのＵＲＬ情報であり，
    前記出力部は，前記ＵＲＬ情報に基づいて前記ウェブページを出力することを特徴とする，請求項１４〜１６のいずれかに記載の端末装置。

Images