JP2007286569A - 情報提供装置、情報提供システムおよび情報提供方法 - Google Patents

Abstract

【課題】ユーザの現在する位置から視覚的な情報を提供するとともに、視覚的な情報とは別の情報を、視覚的な情報と関連させて提供する。
【解決手段】ＣＰＵ１０は、情報送信装置２から取得した視覚的に認識困難な情報に基づいて視覚的に認識可能な映像情報を生成した上、取得した静止画と視覚的に認識可能な映像情報とを合成して表示する。情報の合成位置は情報送信装置２の発したパイロット信号の検出位置の近傍にすれば、静止画における各情報送信装置２の被写体像とその情報送信装置２の発信した情報との関係が視覚的に分かりやすい。また、情報同士の関連性を強調するＧＵＩを、ユーザが選択した所望の種類に応じて表示すれば、情報が合成されていることが直感的に分かりやすい。
【選択図】 図６

Description

本発明は撮像素子により各種の情報を取得し提供する技術に関する。

従来、撮影された風景画像から、位置情報を取得し、その位置に関連した情報を得る技術が存在する。特許文献１〜３はかかる技術に関連するものである。

また近年、単一のコントローラで所望の機器を直感的に分かりやすく制御するための技術が様々開発されている。例えば非特許文献１によると、携帯電話に搭載されたカスタムイメージセンサを用い、通常画像をリアルタイムに撮像しながら、機器からＩＤを受信する。受信したＩＤは撮像した背景画像上に重ねてディスプレイ上に表示される。ユーザはディスプレイ上で対象機器とそのＩＤを視認しながら操作することができる。
特開２００３−３３０９５３号公報 特開２００３−３２３４４０号公報 特開２００２−２４７０４５号公報 「部分領域高速読出し機能をもつ低消費電力ＩＤ受信ＣＭＯＳイメージセンサを用いた情報家電マルチリモコン「オプトナビ」システムの提案」、映像情報メディア学会誌Ｖｏｌ．５９、Ｎｏ１２、ｐｐ．１８３０〜１８４０（２００５）

特許文献１〜３、非特許文献１のいずれも、ユーザが現在する位置で視覚的に得られる情報について、それと関連する情報を分かりやすく提示するための具体的手段を開示していない。本発明はこのような問題点に鑑みてなされたもので、ユーザの現在する位置から視覚的な情報を提供するとともに、視覚的な情報とは別の情報を、視覚的な情報と関連させて提供することを目的とする。

また、本発明は、ユーザの現在位置から提供する視覚的な情報が煩雑とならないよう、ユーザが必要とする情報を選択して提供できるようにすることを目的とする。

また、本発明は、ユーザの現在位置から、詳細な情報を煩雑にならないよう必要に応じて提供することを目的とする。

また、本発明は、ユーザの現在位置から提供される視覚的な情報を、ユーザが視覚的に認識するのが困難な場合、さらに分かりやすく知覚できる形で提供することを目的とする。

本発明に係る情報提供装置は、視覚的に認識可能な情報と視覚的に認識困難な情報とを光学的に提供する機器を被写体とし、視覚的に認識可能な情報を含む画像と視覚的に認識困難な情報とを撮像素子により継続的に取得する取得部と、取得部の取得した視覚的に認識困難な情報を視覚的に認識可能な映像情報に変換し、視覚的に認識可能な情報を含む画像上に映像情報を重畳して表示装置に表示する表示制御部と、視覚的に認識可能な情報と映像情報との関連づけを視覚的に示す映像の種類を設定する表示設定部と、を備え、表示制御部は表示設定部の設定した種類に応じて関連づけを視覚的に示す映像を画像上に表示するよう表示装置を制御する。

こうすると、機器から提供された元々視覚的に認識可能な情報と元々見えなかった情報の双方を、同じ画像上で視覚的に見せることができ、情報の内容とその情報の提供元とを一致ないし関連させて把握できる。

また、視覚的に認識困難な情報を視覚的に認識可能な情報とともに視覚でき、自分が現在する場所で視覚的に得られる情報に加え、その視覚的に得られた情報に関連する情報も、関連づけを視覚的に示す映像で、明確に把握することができる。

しかも、関連づけを視覚的に示す映像の種類を好みにあわせて選ぶことができるから、情報の内容とその情報の提供元とを関連させて把握するのがさらに容易になる。

関連づけを視覚的に示す映像は、画像における視覚的に認識可能な情報の近傍へ映像情報を配置した映像、画像における視覚的に認識可能な情報と映像情報との間に位置する線の映像、画像における視覚的に認識可能な情報からの吹き出し枠の映像および吹き出し枠内に配置された映像情報、画像における視覚的に認識可能な情報からの映像情報の湧き出しを表す映像または画像における視覚的に認識可能な情報と映像情報との交互を表示する映像のうち少なくともいずれか１つを含む。

画像または映像情報の少なくとも一方を、視覚的に認識可能な情報に映像情報が視覚的に関連づけられた状態であるいは視覚的に関連づけられない状態で記録する記録部をさらに備えてもよい。

すなわち、元々視覚的に認識困難であった情報を、映像情報として、画像に関連づけて記録することができる。

視覚的に認識可能な情報に映像情報が視覚的に関連づけられた状態で画像を記録するか否か、視覚的に認識困難な情報を個別に記録するか否かまたは画像を個別に記録するか否かを設定する記録設定部をさらに備え、記録部は記録設定部の設定に応じ、視覚的に認識可能な情報に映像情報が視覚的に関連づけられた状態で画像を記録するか、視覚的に認識可能な情報に映像情報が視覚的に関連づけられない状態で画像および視覚的に認識困難な情報をそれぞれ個別に記録するか、視覚的に認識困難な情報を個別に記録するかまたは画像を個別に記録してもよい。

こうすると、視覚的に認識可能な情報をどのような形式で記録するのか、選択肢が増す。

表示部における映像情報の移動先の位置を設定する移動設定部をさらに備え、表示部は移動設定部の設定した移動先の位置に映像情報を移動して表示してもよい。

このように、映像情報の位置を自由に移動できるようにしておくことで、映像情報によって観たい対象物が妨げられることがない。

映像情報を表示するか否かを設定する表示可否設定部をさらに備え、表示部は表示可否設定部の設定に応じて映像情報を表示するかまたは非表示にしてもよい。

このように、映像情報を非表示にできるようにしておくことで、映像情報によって観たい対象物が妨げられることがない。

本発明に係る情報提供システムは、視覚的に認識可能な情報と視覚的に認識困難な情報とを光学的に提供する情報提供部と、情報提供部を被写体とし、視覚的に認識可能な情報を含む画像と視覚的に認識困難な情報とを撮像素子により継続的に取得する取得部と、取得部の取得した視覚的に認識困難な情報を視覚的に認識可能な映像情報に変換し、視覚的に認識可能な情報を含む画像上に映像情報を重畳して表示装置に表示する表示制御部と、視覚的に認識可能な情報と映像情報との関連づけを視覚的に示す映像の種類を設定する表示設定部と、を備え、表示制御部は表示設定部の設定した種類に応じて関連づけを視覚的に示す映像を画像上に表示するよう表示装置を制御する。

本発明に係る情報提供方法は、視覚的に認識可能な情報と視覚的に認識困難な情報とを光学的に提供する機器を被写体とし、視覚的に認識可能な情報を含む画像と視覚的に認識困難な情報とを撮像素子により継続的に取得するステップと、取得された視覚的に認識困難な情報を視覚的に認識可能な映像情報に変換し、視覚的に認識可能な情報を含む画像上に映像情報を重畳して表示装置に表示するステップと、視覚的に認識可能な情報と映像情報との関連づけを視覚的に示す映像の種類を設定するステップと、設定された種類に応じて関連づけを視覚的に示す映像を画像上に表示するステップと、を含む。

本発明に係る情報提供装置は、視覚的に認識可能な情報と視覚的に認識困難な情報と視覚的に認識困難な情報を分類する分類情報とを光学的に提供する機器を被写体とし、視覚的に認識可能な情報を含む画像と視覚的に認識困難な情報と分類情報とを撮像素子により継続的に取得する取得部と、取得部の取得した視覚的に認識困難な情報のうち、表示すべき情報の分類情報を設定する表示分類設定部と、表示分類設定部の設定した分類情報で分類される視覚的に認識困難な情報を、視覚的に認識可能な映像情報に変換し、画像上に映像情報を重畳して表示装置に表示する表示制御部と、を備える。

この発明によると、選択された分類情報で分類される視覚的に認識困難な情報が映像情報に変換して表示される。ユーザが希望する分類に属する情報だけを提示できるから、必要な情報と不要な情報が混在してユーザが混乱するといったことがない。

本発明に係る情報提供装置は、視覚的に認識可能な情報と視覚的に認識困難な情報と視覚的に認識可能な情報の関連情報の提供元を指定する情報であるトリガ情報とを光学的に提供する機器を被写体とし、視覚的に認識可能な情報を含む画像と視覚的に認識困難な情報とトリガ情報を撮像素子により継続的に取得する取得部と、取得部の取得した視覚的に認識困難な情報を視覚的に認識可能な映像情報に変換し、視覚的に認識可能な情報を含む画像上に映像情報またはトリガ情報のうち少なくとも一方を関連づけて表示装置に表示する表示制御部と、表示装置に表示されたトリガ情報のうち、所望のトリガ情報を選択する情報選択部と、情報選択部が選択したトリガ情報で指定される提供元から関連情報を取得して提供する関連情報提供部と、を備える。

この発明によると、店舗内の映像や音声のリアルタイム配信など、大容量かつリアルタイムの関連情報の提供を受ける際には、全てを視覚的に認識困難な情報から取得せずとも、必要に応じて所望の情報提供元を指定するトリガ情報を選択することで、効率的に情報提供元から関連情報を得ることができる。

こうすると、現在位置から視覚的に得られた電話番号情報を自分でいちいち入力してアクセスする必要がない。

トリガ情報はコンテンツデータの配信元のアドレスを含み、関連情報提供部は、情報選択部が選択したトリガ情報に含まれるコンテンツデータの配信元のアドレスに接続して関連情報を取得する通信部を備えてもよい。

こうすると、現在位置から視覚的に得られた電話番号情報を自分でいちいち入力して電話をかける必要がない。

一例として、コンテンツデータは、視覚的に認識可能な情報の提供元に関連する映像または音声のうち少なくとも一方を含む。

トリガ情報は視覚的に認識可能な情報の提供元の電話番号を含み、関連情報提供部は、情報選択部が選択したトリガ情報に含まれる電話番号に接続して少なくとも通話音声を送受信する通話部を備えてもよい。

本発明に係る情報提供装置は、視覚的に認識可能な情報と視覚的に認識困難な情報とを光学的に提供する機器を被写体とし、視覚的に認識可能な情報を含む画像と視覚的に認識困難な情報とを撮像素子により継続的に取得する取得部と、取得部の取得した視覚的に認識困難な情報を視覚的に認識可能な映像情報に変換し、視覚的に認識可能な情報を含む画像上に映像情報を重畳して表示装置に表示する表示制御部と、撮像素子の有効画素領域における所定位置から取得された視覚的に認識困難な情報を聴覚的に認識可能な音声情報に変換して音声再生装置から再生する音声制御部と、を備える。

この発明によると、撮像素子の有効画素領域における所定位置から取得された視覚的に認識困難な情報を聴覚的に認識可能な音声情報に変換して音声再生装置から再生するから、視覚的に認識困難な情報を映像情報にして表示しても、ユーザが何らかの理由でよく視認できない場合は便利である。

一例として、所定位置は、撮像素子の有効画素領域のうち表示装置の中央部分に相当する位置を含む。

こうすると、ユーザは、撮像素子の有効画素領域および表示装置の中央部分に存在する情報に関連する情報を、音声で認識することができる。音声で再生する情報を変えたければ、有効画素領域の中央部分で捉える情報を変えるだけでよい。

本発明に係る情報提供装置は、視覚的に認識可能な情報と視覚的に認識困難な情報とを光学的に提供する機器を被写体とし、視覚的に認識可能な情報を含む画像と視覚的に認識困難な情報とを撮像素子により継続的に取得する取得部と、機器が視覚的に認識可能な情報を提供する領域を認識する領域認識部と、取得部の取得した視覚的に認識困難な情報を視覚的に認識可能な映像情報に変換し、視覚的に認識可能な情報を含む画像上における領域認識部の認識した領域に適合するように映像情報を重畳して表示装置に表示する表示制御部と、を備える。

こうすると、視覚的に認識困難な情報は、映像情報に変換された上、情報の発信元である機器の表示領域と適合するように表示されるから、映像情報が情報の発信元にあわせて整理されて、見安くなるし、情報の内容とその情報の提供元とを一致させて把握できる。

本発明に係る情報提供システムは、視覚的に認識可能な情報と視覚的に認識困難な情報と視覚的に認識困難な情報を分類する分類情報とを光学的に提供する情報提供部と、情報提供部を被写体とし、視覚的に認識可能な情報を含む画像と視覚的に認識困難な情報と分類情報とを撮像素子により継続的に取得する取得部と、取得部の取得した視覚的に認識困難な情報のうち、表示すべき情報の分類情報を設定する表示分類設定部と、表示分類設定部の設定した分類情報で分類される視覚的に認識困難な情報を、視覚的に認識可能な映像情報に変換し、画像上に映像情報を重畳して表示装置に表示する表示制御部と、を備える。

本発明に係る情報提供システムは、視覚的に認識可能な情報と視覚的に認識困難な情報と視覚的に認識可能な情報の関連情報の提供元を指定する情報であるトリガ情報とを光学的に提供する情報提供部と、情報提供部を被写体とし、視覚的に認識可能な情報を含む画像と視覚的に認識困難な情報とトリガ情報を撮像素子により継続的に取得する取得部と、取得部の取得した視覚的に認識困難な情報を視覚的に認識可能な映像情報に変換し、視覚的に認識可能な情報を含む画像上に映像情報またはトリガ情報のうち少なくとも一方を関連づけて表示装置に表示する表示制御部と、表示装置に表示されたトリガ情報のうち、所望のトリガ情報を選択する情報選択部と、情報選択部が選択したトリガ情報で指定される提供元から関連情報を取得して提供する関連情報提供部と、を備える。

本発明に係る情報提供システムは、視覚的に認識可能な情報と視覚的に認識困難な情報とを光学的に提供する情報提供部と、情報提供部を被写体とし、視覚的に認識可能な情報を含む画像と視覚的に認識困難な情報とを撮像素子により継続的に取得する取得部と、取得部の取得した視覚的に認識困難な情報を視覚的に認識可能な映像情報に変換し、視覚的に認識可能な情報を含む画像上に映像情報を重畳して表示装置に表示する表示制御部と、撮像素子の有効画素領域における所定位置から取得された視覚的に認識困難な情報を聴覚的に認識可能な音声情報に変換して音声再生装置から再生する音声制御部と、を備える。

本発明に係る情報提供システムは、視覚的に認識可能な情報と視覚的に認識困難な情報とを光学的に提供する情報提供部と、情報提供部を被写体とし、視覚的に認識可能な情報を含む画像と視覚的に認識困難な情報とを撮像素子により継続的に取得する取得部と、機器が視覚的に認識可能な情報を提供する領域を認識する領域認識部と、取得部の取得した視覚的に認識困難な情報を視覚的に認識可能な映像情報に変換し、視覚的に認識可能な情報を含む画像上における領域認識部の認識した領域に適合するように映像情報を重畳して表示装置に表示する表示制御部と、を備える。

本発明に係る情報提供方法は、視覚的に認識可能な情報と視覚的に認識困難な情報と視覚的に認識困難な情報を分類する分類情報とを光学的に提供する機器を被写体とし、視覚的に認識可能な情報を含む画像と視覚的に認識困難な情報と分類情報とを撮像素子により継続的に取得するステップと、取得された視覚的に認識困難な情報のうち、表示すべき情報の分類情報を設定するステップと、設定された分類情報で分類される視覚的に認識困難な情報を、視覚的に認識可能な映像情報に変換し、画像上に映像情報を重畳して表示装置に表示するステップと、を含む。

本発明に係る情報提供方法は、視覚的に認識可能な情報と視覚的に認識困難な情報と視覚的に認識可能な情報の関連情報の提供元を指定する情報であるトリガ情報とを光学的に提供する機器を被写体とし、視覚的に認識可能な情報を含む画像と視覚的に認識困難な情報とトリガ情報を撮像素子により継続的に取得するステップと、取得された視覚的に認識困難な情報を視覚的に認識可能な映像情報に変換し、視覚的に認識可能な情報を含む画像上に映像情報またはトリガ情報のうち少なくとも一方を関連づけて表示装置に表示するステップと、表示装置に表示されたトリガ情報のうち、所望のトリガ情報を選択するステップと、選択されたトリガ情報で指定される提供元から関連情報を取得して提供するステップと、を含む。

本発明に係る情報提供方法は、視覚的に認識可能な情報と視覚的に認識困難な情報とを光学的に提供する機器を被写体とし、視覚的に認識可能な情報を含む画像と視覚的に認識困難な情報とを撮像素子により継続的に取得するステップと、取得された視覚的に認識困難な情報を視覚的に認識可能な映像情報に変換し、視覚的に認識可能な情報を含む画像上に映像情報を重畳して表示装置に表示するステップと、撮像素子の有効画素領域における所定位置から取得された視覚的に認識困難な情報を聴覚的に認識可能な音声情報に変換して音声再生装置から再生するステップと、を含む。

本発明に係る情報提供方法は、視覚的に認識可能な情報と視覚的に認識困難な情報とを光学的に提供する機器を被写体とし、視覚的に認識可能な情報を含む画像と視覚的に認識困難な情報とを撮像素子により継続的に取得するステップと、機器が視覚的に認識可能な情報を提供する領域を認識するステップと、取得された視覚的に認識困難な情報を視覚的に認識可能な映像情報に変換し、視覚的に認識可能な情報を含む画像上における領域認識部の認識した領域に適合するように映像情報を重畳して表示装置に表示するステップと、を含む。

本発明によると、機器から提供された元々視覚的に認識可能な情報と元々見えなかった情報の双方を、同じ画像上で視覚的に見せることができ、情報の内容とその情報の提供元とを一致ないし関連させて把握できる。

図１は本発明の好ましい第１の実施形態に係る情報提供システムの概略構成図である。このシステムは、携帯型の情報表示装置１と、情報表示装置１に対して光学的に情報を提供する１または複数の情報送信装置２とを含む。

図２は情報送信装置２の詳細な構成図である。情報送信装置２は、表示部３１、表示制御部３２、表示動作記憶部３３、情報記憶部３４、情報入力部３５および情報制御部３６を備える。

表示部３１は、ＬＥＤ発光体や液晶等を活用した電光掲示板やディスプレイなどの情報表示装置で構成することができる。

表示制御部３２は、表示動作制御部３３に予め記憶された発光パターンに従って表示部２１の発光体の明滅を制御することで、所望の情報表示を制御する。表示する情報は、情報記憶部３４から提供される。

情報入力部３５は、外部のパソコンやサーバなどから、表示部３１に表示されるべき任意の情報の入力を受け付ける。入力される情報は、文字情報、書式つき文字情報、画像情報などが挙げられる。情報入力部３５から入力された情報は、情報制御部３６の指令に応じて、ＨＤＤなどの記憶媒体で構成された情報記憶部３４に記憶される。

情報制御部３６は、ユーザから入力されたり定時に自動的に発行されたりする情報表示開始指示に応じて、情報記憶部３４に記憶された情報を読出し、これを表示制御部３２に提供する。表示制御部３２と情報記憶部３４とは単一の経路で直接的に接続されている必然性はなく、ネットワーク経由で接続されてもよい。

表示制御部３２は、情報記憶部３４から読み出された情報を表示部３１に表示すべく、表示部３１の発光体の明滅を制御する。これにより、表示部３１上に視覚的に認識可能な情報が映し出される。映し出す情報としては、例えば、駅、レストラン、喫茶店の名称などが挙げられる。表示部３１を大型の表示装置で構成すれば、看板のような役割を果たし、多少離れた所からでも容易に識別できる。

なお、規則的に変化する情報、例えば直近の電車の到着時刻や曜日ごとの開店時間を表示したい場合は、現在日時に対応した情報を読み出すプログラムを情報制御部３６に実行させればよい。また、不規則に変化する情報や突発的に表示させたい情報、例えば電車の遅延時間については、その都度情報入力部３５に必要な情報を入力し、即時に表示制御部３２に提供すればよい。

表示制御部３２は、表示部３１の発光体の一部または全部（好ましくは視覚的に認識可能な情報を映し出す部分と重複しない部分の発光体）の明滅の周波数を制御し、情報記憶部３４から読み出された所定の情報を、視覚的に認識困難な光学的信号として表示部３１から継続的に発信する。表示部３１から、いずれの情報を視覚的に認識困難な光学的信号として出力するか、あるいは視覚的に識別可能な映像情報として出力するかは、ユーザ操作などに応じて情報制御部３６が指定する。

例えば、表示部３１がＬＥＤ式の電光看板であれば、輝度にもよるが、一般人から見て、約６０Ｈｚ以上のＬＥＤの明滅は認識困難である。そこで、６０Ｈｚ〜数百ＨｚでＬＥＤを明滅させることで、視覚的に認識困難な光学的信号を発信する。周波数を上げると光学的信号で伝送できる情報量も増え、好都合である。ただし、明るい場所ではフリッカーに対して敏感になるという人間の視覚特性があるから、約７０〜数百Ｈｚ程度の周波数で光学的信号を発信することが好ましい。

表示制御部３２は、表示部３１における視覚的に認識困難な情報の発信部分の位置を知らせる低周波数のパイロット信号を光学的信号に重畳するよう表示部３１を制御する。表示部３１の発光装置がＬＥＤであり、元々低周波数での輝度の変調（輝度のレベルの変化）が入っていれば、その輝度の変調を利用してパイロット信号を重畳するとよい。一般の人々は電光掲示板の明滅には慣れているから、輝度の変調によるパイロット信号の発信には違和感を覚えないであろう。

この他に、特定色を発光する部分（ＬＥＤは単色のものは波長を指定できる）の輝度を低周波数で一定値以上に変調するなどの方法が考えられる。この場合、太陽その他の光源からの反射光を、受信側でパイロット信号と誤検出するおそれがあるため、情報表示装置１側で検出輝度の変調の上限を設けておくのが好ましい。

図３は、情報表示装置１の機能ブロック図である。この図で示す各ブロックは、携帯可能な軽量かつ小型の筐体に搭載されており、ユーザは携帯性のある情報表示装置１を携帯して様々な場所に移動できる。情報表示装置１は、携帯電話やＰＤＡなどの各種の携帯型情報端末機器と一体に構成してもよい。

情報表示装置１は、撮像レンズ、ＣＭＯＳやＣＣＤなどの固体撮像素子、ドライバが固体撮像素子から読み取ったアナログ画像をデジタル信号に処理するためのアナログフロントエンド回路、アナログフロントエンド回路からのデジタル画像信号を処理するＤＳＰ（Digital Signal Processor）等の信号処理回路などを含んだカメラ部２０、ワンチップマイコンなどで構成されカメラ部２０の撮像動作を制御するカメラ制御部２１を含む。

また、情報表示装置１は、各部の動作制御を統括するＣＰＵ１０、各種データやプログラムを記憶するＲＯＭ１２、ＣＰＵ１０の処理に必要な各種データを記憶するＲＡＭ１１を備えている。

ＲＯＭ１２には、ＣＰＵ１０が操作部１４への操作に応じて各ブロックを制御するための制御プログラムおよび撮像した映像と受信した情報との関係を視覚的に表示するＧＵＩを、複数存在する情報送信装置２ごとに格納する。

撮像レンズには、例えば光学２倍ズームレンズが用いられ、操作部１４から入力される倍率変更操作に応じてモータドライバが撮像レンズを望遠（テレ）側又は広角（ワイド）側に進退駆動することで光学ズーム倍率が変更される。撮像レンズの倍率は上記に限定されない。撮像レンズには絞りが設けられており、モータドライバを介して絞りを制御して適正な露光量を得る。

操作部１４によって撮影モードが設定されると、ＣＰＵ１０は、動画（スルー画）を表示部１３に表示させ、撮影画角を確認可能にする。即ち、固体撮像素子は、撮像レンズの受光面に結像された被写体光をその光量に応じた量の信号電荷に変換する。このようにして蓄積された各画素の信号電荷は、ＣＰＵ１０の指令に従いタイミングジェネレータから与えられる駆動パルスに基づき、信号電荷に応じた電圧信号（画像信号）としてドライバによって順次個別に読み出され、アナログフロントエンド回路でデジタル信号に変換されてそれぞれ信号処理回路に加えられる。

信号処理回路は、ゲイン調整回路及びＡ／Ｄ変換器を含み、輝度・色差信号生成回路、ガンマ補正回路、シャープネス補正回路、コントラスト補正回路、ホワイトバランス補正回路、撮影画像に対する輪郭補正を含む画像処理を行う輪郭処理部、画像のノイズ低減処理を行うノイズ低減処理部等を含む画像処理手段であり、ＣＰＵ１０からのコマンドに従って画像信号を処理する。

信号処理回路に入力された画像データは、輝度信号（Ｙ信号）及び色差信号（Ｃｒ、Ｃｌ信号）に変換されるとともに、ガンマ補正等の所定の処理が施された後、ＶＲＡＭに格納される。

撮影画像を表示部１３にモニタ出力する場合、ＶＲＡＭからＹＣ信号が読み出され、表示制御部２６に送られる。表示制御部２６は、入力されたＹＣ信号を表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換して表示部１３に出力する。

所定のフレームレートで処理された各フレームのＹＣ信号は、ＶＲＡＭのＡ領域とＢ領域とに交互に書き込まれ、ＶＲＡＭのＡ領域及びＢ領域のうち、ＹＣ信号が書き込まれている方の領域以外の領域から、書き込まれているＹＣ信号が読み出される。このようにしてＶＲＡＭ内のＹＣ信号が定期的に書き換えられ、そのＹＣ信号から生成される映像信号が表示部１３に供給されることにより、撮像中の映像がリアルタイムに表示部１３に表示される。ユーザは、表示部１３に表示される映像（スルー）によって撮影画角を確認できる。

ここで、操作部１４に設けられた撮影キーが押下されると、記憶用の撮影動作がスタートする。撮影キーの押下に応動して取得された画像データは信号処理回路において輝度／色差信号（Ｙ／Ｃ信号）に変換され、ガンマ補正等の所定の処理が施された後、ＲＡＭ１１に格納される。

ＲＡＭ１１に格納されたＹ／Ｃ信号は、圧縮伸長処理回路によって所定のフォーマットに従って圧縮された後、メモリカード２７にExifファイルなどの所定フォーマットの画像ファイルとして記憶される。画像ファイルはフラッシュメモリ２８に記憶することもできる。

操作部１４によって再生モードが設定されると、メモリカード２８に記憶されている最終の画像ファイル（最後に記憶されたファイル）の圧縮データが読み出される。最後の記憶に係るファイルが静止画ファイルの場合、この読み出された画像圧縮データは、圧縮伸長処理回路を介して非圧縮のＹＣ信号に伸長され、ＶＲＡＭに保存される。ＶＲＡＭに保存されたＹＣ信号は、表示制御部２６に加えられる。表示制御部２６は、入力するＹＣ信号からＮＴＳＣ方式のＲＧＢカラー複合映像信号を作成し、これを表示部１３に出力する。これにより、表示部１３にはメモリカード２７に記憶されている最終コマのコマ画像が表示される。

その後、操作部１４に設けられた十字キーの右キーが押されると、順方向にコマ送りされ、十字キーの左キーが押されると、逆方向にコマ送りされる。そして、コマ送りされたコマ位置の画像ファイルがメモリカード２７から読み出され、上記と同様にしてコマ画像が表示部１３に再生される。尚、最終コマのコマ画像が表示されている状態で順方向にコマ送りされると、メモリカード２７に記憶されている１コマ目の画像ファイルが読み出され、１コマ目のコマ画像が表示部１３に再生される。

記憶させる画像ファイルの画素数は、例えば、2832×2128（６Ｍ）、2048×1536（３Ｍ）、1280×960（１Ｍ）、640×480（ＶＧＡ）の何れかであり、記憶画質と記憶画素数との組合せによって撮影画像のデータ量（ファイルサイズ）が変化する。

情報表示装置１は、例えば非特許文献１に示すようにカメラ付き携帯電話やデジタルカメラで構成することができる。

カメラ部２０が情報送信装置２を被写体として撮像すると、画像と合わせて、各情報送信装置２が光学的に発信した情報を取得できる。

カメラ制御部２１は、外部の情報送信装置２から入射した光学信号に重畳されている情報をデジタルデータに変換してＣＰＵ１０に出力する。

また、情報表示装置１は、移動体通信電波、IrDA、Bluetooth、無線ＬＡＮ、Wireless USBなどの無線信号を情報送信装置２との間で送受信する無線送受信部１７と、受信した無線信号をデータに変換してＣＰＵ１０に送信したり、あるいはＣＰＵ１０から指示された遠隔制御信号を無線信号に重畳する無線制御部１６、ＴＣＰ／ＩＰその他の規格に従って情報送信装置２その他の機器とネットワーク経由で通信する外部インターフェース部１５を備える。

基本的に情報送信装置２から情報表示装置１への情報の提供は光学的な通信で行われる。ただし、大容量の情報を情報送信装置２から得たい場合は、ネットワーク経由で情報送信装置２にアクセスし、所望の情報を取得する態様もありうる。

情報表示装置１は、音声を発するスピーカなどの拡声手段、音声を受けて電気信号に変換するマイクなどの受話手段、拡声手段への出力音声や受話手段からの入力音声を、ＣＤＭＡ方式などの通信方式に従い、携帯電話基地局を介して相手方の端末と送受信する通信手段を含む送受話部１９、拡声手段の発話内容を制御する音声制御部１８を備える。音声制御部１８は、送受話部１９から入力された音声信号から、ＣＰＵ１０の指定した特定の音声パターンを認識する機能を有する。

ＣＰＵ１０は、送受話部１９の受けた音声に応じて各ブロックの制御を行うこともできる。すなわち、各ブロックの制御は、操作部１４への入力操作に限られず、音声入力でも行える。

図４は情報表示装置１の実行するガイドナビモード処理の流れを示すフローチャートである。

まず、Ｓ１では、ＣＰＵ１０は、操作部１４あるいは送受話部１９に入力された撮像指示に応じ、カメラ制御部２１に画像取得動作の開始を指令する。カメラ制御部２１は、カメラ部２０を制御して画像を取得し、ＲＡＭ１１に記憶する。

Ｓ２では、ＣＰＵ１０は、カメラ部２０の取得した画像から少なくとも１つの情報送信装置２のパイロット信号が検出されたか否かを判断する。少なくとも１つのパイロット信号が検出されたと判断した場合はＳ３に移行し、パイロット信号が１つも検出されなかったと判断した場合はＳ１に戻る。

Ｓ３では、ＣＰＵ１０は、パイロット信号の検出位置に基づき、情報発信位置を特定する。

Ｓ４では、ＣＰＵ１０は、情報発信位置部分に関しては高フレームレートで、それ以外の部分は低フレームレートで再び画像取得動作を行う。情報取得のフレームレートを増やせば、それだけ伝送できる情報を多くできる。

Ｓ５では、信号処理回路による画像データの各種処理を行う。同時に、ＣＰＵ１０は、情報発信位置部分に重畳されている情報を抽出する。以下、この抽出された情報のことを抽出情報と称することもある。

Ｓ６では、ＣＰＵ１０は、抽出情報に基づいて視覚的に認識可能な映像情報を生成した上、取得した画像と抽出情報とを合成して表示する。情報の合成位置はパイロット信号の検出位置の近傍にすれば、画像における各情報送信装置２の被写体像とその情報送信装置２の発信した情報との関係が視覚的に分かりやすい。また、情報とともにその情報を強調するＧＵＩをあわせて表示すれば、情報が合成されていることが直感的に分かりやすい。

図５は、情報表示装置１で撮影された映像が表示部１３で表示される様子を示す。

まず図５（ａ）に示すように、ユーザが携帯型の情報表示装置１とともに町中を自由に移動し、情報表示装置１のカメラ部２０で、ある駅前周辺を正面から捉えたとする。情報表示装置１は、画像から、駅の電光式看板である情報送信装置２−１、レストランの電光式看板である情報送信装置２−２、およびカフェの電光式看板である情報送信装置２−３が視覚的に認識困難に発信した情報を抽出できたものとする。

すると、図５（ｂ）に示すように、各情報送信装置２−１〜２−３の発信した情報が、各情報の抽出された情報発信位置の近傍に合成される。ここでは、表示部１３は、情報送信装置２−１の情報発信位置の近傍に列車の到着時刻を示す情報２−１−１、情報送信装置２−２の情報発信位置の近傍にレストランの営業時間を示す情報２−２−１、情報送信装置２−３の情報発信位置の近傍にカフェの営業時間およびおすすめメニューを示す情報２−３−１を表示している。ユーザは、自分の観た情報送信装置２から得られた情報を、情報送信装置２が視覚的に表示している情報と関連させて観ることができ、情報の意味を素早く理解できる。

＜第２実施形態＞
第１実施形態の情報送信装置２によって発信されてきた情報を、情報の発信元の情報送信装置２との関係がよく分かるように表示を工夫することも可能である。

例えば図６に示すように、情報送信装置２−３の情報発信位置の近傍にカフェの営業時間およびおすすめメニューを示す情報２−２−３を表示する際、情報送信装置２−３の被写体像と情報２−３−１との間に線Ｌを引く。こうすると情報の発信元と情報との関係が明確になり、特に情報が多数入り組んで表示された場合は重宝する。

あるいは図７に示すように、情報送信装置２−１から得られた情報２−１−１を、情報送信装置２−１の情報発信位置からの吹き出し枠で囲って示してもよい。

あるいは図８に示すように、報送信装置２−１から得られた情報２−１−１を、情報送信装置２−１の情報発信位置から湧き出すように表示してもよい。

あるいは図９（ａ）および（ｂ）に示すように、報送信装置２−１から得られた情報２−１−１を、情報送信装置２−１の情報発信位置に重ねた表示と、重ねない表示とを交互に切り替えてもよい。

さらに、上記のような表示の方式をユーザが任意に設定し、設定された方式で情報を情報送信装置２と関連づけて表示するようにしてもよい。

まず、情報表示装置１は、図１０に示すような表示方式設定画面で、どの方式で情報を表示させるかを、予めユーザに選択させる。ここでは「近傍に表示」（図５（ｂ）参照）、「近傍に線引きで表示」（図６参照）、「吹き出し表示」（図７参照）、「湧き出し表示」（図８参照）、「被写体との交互表示」（図９参照）、および情報を表示しない「表示しない」のうちいずれか１つの表示方式を選択できる。

図１１は情報表示装置１の実行するガイドナビモード処理の流れを示すフローチャートである。

Ｓ１〜Ｓ５は第１実施形態と同様である。ただし、Ｓ１０では、表示方式設定画面でいずれかの表示方式が設定されているか否かを判断する。いずれかの表示方式が設定されている場合はＳ１１に移行し、設定された表示方式で情報を表示する。いずれの表示方式も設定されていない場合はＳ１に戻る。

このように、自分の好みにあわせた形式で、情報送信装置２の映像と情報とを関連づけて表示させることができる。

＜第３実施形態＞
いったん情報送信装置２から情報を取得した場合、その情報を情報表示装置１に記録しておきたい場合がある。この場合、自分の好みにあった記録形式で情報を記録できるようにしておくと、取得した情報の整理がしやすい。

例えば、カメラ２０で得られた撮影画像と情報とを合成した映像を画像として記録したり、あるいは撮影画像と情報とは別個に記録する記録形式が挙げられる。

図１２に示すような記録方式設定画面で、どの方式で情報を記録させるかを、予めユーザに選択させる。ここでは、撮影画像と情報とを合成した映像を画像として記録する「ガイドナビ情報含め記録」、撮影画像のみを記録する「撮影画像のみ記録」、または情報送信装置２から得られた情報のみを記録する「ガイドナビ情報のみ記録」のいずれか１つを選択できる。

記録方式設定画面は、スルー画が表示部１３に表示された状態で撮影キーが押下されると表示される。この際、撮影キーが押下された時点で得られたスルー画をフリーズさせて、すなわち記録されるべき画像を表示した上で、記録方式設定画面と合成してもよい。

図１３は情報表示装置１の実行するガイドナビ撮影モード処理の流れを示すフローチャートである。

Ｓ２１では、撮影キーが押下されたか否かを判断する。撮影キーが押下された場合はＳ２２に移行する。

Ｓ２２では、画像取得動作を開始する。カメラ部２０から得られた画像はＲＡＭ１１に記憶される。

Ｓ２３では、記録方式設定画面を表示し、この画面を介して記録方式の設定を受け付ける。記録方式設定画面で設定された記録方式が、「ガイドナビ情報含め記録」、「撮影画像のみ記録」または「ガイドナビ情報のみ記録」のいずれであるかを判断する。「ガイドナビ情報含め記録」が設定されていればＳ２４、「撮影画像のみ記録」が設定されていればＳ２５、「ガイドナビ情報のみ記録」が設定されていればＳ２６に移行する。

Ｓ２４では、抽出情報から生成された映像情報を、画像における情報発信位置に相当する位置の付近に合成する。合成された画像はＲＡＭ１１に記憶される。

Ｓ２５では、ＲＡＭ１１の画像を、所定の形式で圧縮し、メモリカード２７に記録する。

Ｓ２６では、各情報送信装置２から受信した情報を、情報の種類に合ったフォーマット（例えば情報が文書だけであればテキストファイル）で記録する。なお、画像を別途記録してもよい。また、Ｓ２６の終了後は、Ｓ２１に戻ってもよい。

以上の処理によれば、ユーザの設定した記録形式に応じて、情報送信装置２から得た情報だけ、あるいはその情報の取得された情報送信装置２の画像を関連づけた画像、あるいは画像だけ、あるいは画像と情報を別個に記録することができる。

ユーザは、携帯型の情報表示装置１とともに町中を自由に移動している最中、情報表示装置１のカメラ部２０で情報送信装置２から捉えることのできた情報と今見ている風景を含めてそのまま画像データとして記録したい場合は「ガイドナビ情報含め記録」、情報送信装置２から得られた情報は不要で、記念写真のように単に画像を記録しておきたいときは「撮影画像のみ記録」、情報送信装置２から得られた情報そのものを記録しておきたいときは「ガイドナビ情報のみ記録」を設定すればよい。

＜第４実施形態＞
第３実施形態では、撮影キーの押下の都度記録形式を設定する必要があるため煩雑である。このため、予め設定された記録形式を、変更があるまで保持し、その保持された記録形式に従って画像または情報を記録してもよい。

例えば図１４に示すように、情報表示装置１の各種動作の設定項目の１つとして、記録形式を設定する項目「ガイドナビ保存」を追加する。この「ガイドナビ保存」項目を選ぶと、さらに、図１０と同様の記録方式設定画面を設定項目と並列して表示する。ただし、ここでの記録方式設定画面は、「毎回選択」という設定項目が設けられており、これが選択されると、第３実施形態のように撮影キーが押下されるごとに記録方式設定画面が表示されるものとする。

図１５は情報表示装置１の実行するガイドナビ撮影モード処理の流れを示すフローチャートである。

Ｓ３１では、撮影キーが押下されたか否かを判断する。撮影キーが押下された場合はＳ３２に移行する。

Ｓ３２では、画像取得動作を開始する。カメラ部２０から得られた画像はＲＡＭ１１に記憶される。

Ｓ３３では、記録方式設定画面で記録方式が設定されているか否かを判断する。記録方式が設定されている場合はＳ３４、設定されていない場合はＳ３８へ移行する。

Ｓ３４では、記録方式設定画面で設定された記録方式が、「ガイドナビ情報含め記録」、「撮影画像のみ記録」、「ガイドナビ情報のみ記録」または「毎回選択」のいずれであるかを判断する。「ガイドナビ情報含め記録」が設定されていればＳ３６、「撮影画像のみ記録」が設定されていればＳ３５、「ガイドナビ情報のみ記録」が設定されていればＳ３７に移行する。

Ｓ３５では、各情報送信装置２から受信した情報の映像を、ＲＡＭ１１に記憶した画像の情報発信位置付近に合成し、ＲＡＭ１１に記憶する。

Ｓ３６では、ＲＡＭ１１の画像を、所定の形式で圧縮し、メモリカード２７に記録する。

Ｓ３７では、各情報送信装置２から受信した情報を、情報の種類に合ったフォーマット（例えば情報が文書だけであればテキストファイル）で記録する。なお、画像を別途記録してもよい。また、Ｓ３７の終了後は、Ｓ３１に戻ってもよい。

Ｓ３８では、記録したい抽出情報の選択、および選択された抽出情報の記録形式の選択を個別に受け付け、選択された抽出情報を選択された記録形式で個別に記録する。これは、Ｓ２３と同様の動作である。

以上の処理により、予め記録方式を設定して撮影キーの押下の度に記録形式を選択しないようにするか、あるいは撮影キーの押下の度に記録形式を選択するか、いずれも設定できる。

＜第５実施形態＞
本発明の情報送信装置２は、第１〜４実施形態のような日常生活の活動範囲だけでなく、観光地や美術館などに設置しても有効に活用できる。一般に観光地などでは、案内図や遺跡などの説明図があるが、その前は人だかりがあり目当ての対象物に関する説明が見られない場合がある。

そこで、図１６に示すように、案内図や遺跡などの対象物５０の近傍に設置された情報送信装置２から、対象物５０の説明を含んだ情報２−１を光学的に発信する。ユーザは対象物５０が眺望できる位置まで情報表示装置１を携帯しつつ移動し、情報表示装置１のカメラ部２０で対象物５０を捉えることで情報２−１を受信し、自分の手元にある表示部１３に表示されたその情報をじっくりと見て、対象物５０をよく理解することができる。

この際、表示部１３のスルー画像に映し出された対象物５０の映像と、情報２−１とが重複し、見づらくなったり、第３実施形態のように記念写真として記録したい場合は、情報２−１が邪魔になる。

そのため、図１７のように、操作部１４の操作に応じて、表示部１３における情報２−１の表示位置を任意に移動して表示する。

例えば、図１７（ａ）のように、情報２−１が情報送信装置２の近傍の、対象物５０と重複した位置に表示されていたとする。

この場合、図１７（ｂ）に示すようにまず移動させたい情報２−１を操作部１４を介して選択する。選択が確定すると情報２−１が太枠やブリンクや半透明化などで強調表示される。

図１７（ｃ）に示すように、この状態で操作部１４の方向指示スイッチを押下すると、これに連動して情報２−１の表示位置が移動する。この図では表示部１３の上部から下部にかけて移動している状態を示している。

情報の移動中であることを分かりやすく示すため、情報が選択された状態での強調表示と移動中の強調表示とは異なるものとすることがよい。例えば図１７（ｂ）の情報２−１の選択時では枠の色を赤、図１７（ｃ）の情報２−１の移動時では枠の色を青にするとよい。

所望の位置への移動が完了すれば、操作部１４の操作を止め、対象物５０と情報２−１の表示が互いに妨げられないようにすることができる。

図１８は情報表示装置１によるガイドナビ移動モード処理の流れを示すフローチャートである。

まず、Ｓ４１では、操作部１４の方向指示スイッチなどにより移動すべき情報２−１が選択されたか否かを判断する。情報２−１が選択された場合はＳ４２に移行する。

Ｓ４３では、選択された情報２−１が分かりやすくなるよう、情報２−１の表示形式を変更する。例えば情報２−１を太枠で囲んだり、ブリンクさせたり、半透明化させるなどして強調表示するとよい。

Ｓ４４では、情報２−１が選択された状態で、さらに操作部１４の実行スイッチの押下により、移動したい情報２−１の選択が確定されたか否かを判断する。情報２−１の選択が確定された場合はＳ４５に移行し、確定されない場合はＳ４１に戻る。

Ｓ４５では、選択された情報２−１の表示形式をさらに変更する。例えば表示枠の色を変えたり、ブリンクの周期を変えたり、情報２−１の半透明化の透明度を変えたりする。これにより、移動させる情報２−１が確定したことを示す。

Ｓ４６では、情報２−１が選択された状態で、さらに操作部１４の方向指示スイッチの押下により、情報２−１の移動先が指定されたか否かを判断する。情報２−１の移動方向が指定された場合はＳ４７に移行する。

Ｓ４７では、現在位置から操作部１４で指示された移動先に、表示部１３における情報２−１を囲む表示枠を変更する。枠だけを情報２−１に先行して移動するため、誤って情報２−１を移動し、やりなおしを強いられる面倒が起こりにくい。

Ｓ４８では、操作部１４の実行スイッチの押下により、情報２−１の移動先を表示枠の移動先とすることが確定されたか否かを判断する。情報２−１の移動先が確定された場合はＳ４９に移行し、確定されない場合はＳ４６に戻る。

Ｓ４９では、先行して移動した枠の位置まで情報２−１の表示位置を移動する。

なお、情報２−１の移動後、再び方向スイッチを押下することで、何度でも移動させることができる。

＜第６実施形態＞
第３実施形態のように「ガイドナビ情報含め記録」を設定していると、被写体のみを画像として即座に記録したい場合、設定を変更しない限り情報も一緒に記録されてしまうか、設定の変更に手間取ってシャッターチャンスを逃してしまうことが考えられる。あるいは、第１〜第５実施形態のような、情報送信装置２からの情報の表示そのものが邪魔な場合もある。

そこで、本実施形態では、情報の表示／非表示と情報の記録／非記録を一挙に選択できるようにする。

図１９は情報表示装置１によるガイドナビモード処理の流れを示すフローチャートである。

Ｓ５１〜Ｓ５５はＳ１〜Ｓ５と同様であるため説明は省略する。

Ｓ５６では、情報を表示するか否かの選択を操作部１４から受け付ける。表示する選択がされた場合はＳ５７、表示しない選択がされた場合はＳ５８へ移行する。

Ｓ５７では、取得した画像と抽出した情報の映像とを合成して表示する。

Ｓ５８では、情報の合成は行わず、取得した画像を表示する。

Ｓ５９では、操作部１４の表示スイッチが押下されて情報の表示が指示されたか否かを判断する。情報の表示が指示された場合はＳ６０、指示されない場合はＳ５１へ戻る。

Ｓ６０では、情報の表示と非表示を入れ換える。すなわち、Ｓ５７でスルー画像と情報との合成表示がされていれば、情報の合成を停止する。あるいは、Ｓ５８で情報の合成を行わないままスルー画像が表示されていれば、情報とスルー画像とを合成して表示する。

図２０は情報の表示と非表示を入れ換える状態を示す。図２０（ａ）のように、情報２−１がスルー画と合成されて表示された状態で、操作部１４の表示スイッチ１４ａが押下されれば、図２０（ｂ）のように、情報がスルー画に合成されないまま表示される。

一方、図２０（ｂ）のように情報がスルー画に合成されないまま表示された状態で、表示スイッチ１４ａが押下されれば、図２０（ａ）のように情報２−１がスルー画と合成されて状態で表示される。

このように、表示スイッチ１４ａを押下するごとに、情報２−１の表示と非表示とを簡単に切り替えることができる。

そして、撮影キーが押下されると、情報の表示と非表示の指定に応じて、情報が合成された画像または情報が合成されない画像が記録される。この際、記録方式設定画面で設定された記録形式は無視され、表示スイッチ１４ａによる情報の表示と非表示の指定に応じた形式での記録が優先される。

＜第７実施形態＞
情報送信装置２は、看板のように大きくない構成であれば、様々な物体に設置しうる。

例えば図２１（ａ）で示すように、サッカーなどの競技選手の身体から可視的な情報を発信する部材、例えばＬＥＤで構成された電光式のゼッケンなど競技の妨げにならない部材で情報送信装置２を構成しておく。情報送信装置２の情報記憶部３４に記憶される情報は、各競技者の名称、所属チーム、ポジションなど、競技者に関する固有の情報とする。

ユーザが情報表示装置１を競技場に持参し、目当ての競技者をカメラ部２０の画角に捉えると、図２１（ｂ）に示すように、表示部１３では、各競技者に装着された情報送信装置２−１〜２−３から受信した情報、例えば３名の競技者６０−１〜６０−３の氏名２−１−１〜２−３−１が、スルー画像における各競技者６０−１〜６０−３の近傍に表示される。ユーザは、競技を観戦しながら、各競技者に関する情報を自分の手元にある携帯型の情報表示装置１で観ることができるから、どの競技者がどのような人物であるかがよく分かり、観戦がより楽しくなる。

あるいは図２２に示すように、競技の妨げにならないよう構成された情報送信装置２を運動会の競技者などに装着し、各競技者の氏名などの情報を発信してもよい。

ただし、情報送信装置２が競技中にチカチカ光って競技が妨げられる可能性がある。この例に限らず、可視光で不都合な場合、情報発信は、赤外光のような可視域外光、特に近赤外光で行うとよい。近赤外光であれば、一般的な撮像装置をそのまま、あるいは軽微な改変を行うことで受信装置を構成することが可能であり、コスト的なメリットがある。また、近赤外光はわずかに視覚できるものもあることから、情報提供システムの動作チェックが視覚的に容易に行える。

＜第８実施形態＞
図２３に示すように、ユーザが情報表示装置１を携帯して多数の情報送信装置２が存在している場所に移動し、現在位置周辺の情報送信装置２をカメラ部２０の画角に捉えた場合、多数の情報送信装置２の各々が、互いに何の制約も受けず、それぞれ独立別個に情報を表示部３１から情報表示装置１に向けて発信することになる。そうすると、情報表示装置１の表示部１３には、多数の抽出情報が一挙に表示されるか、あるいは表示しきれなくなり、ユーザはそのような表示を見て混乱し、必要な情報を得るのに時間がかかってしまう。

本実施形態ではこのような問題点を考慮し、多数の情報送信装置２からランダムに提供される情報のうち、ユーザが真に必要とする情報だけを取捨選択・整理して情報表示装置１に表示できるようにする。

すなわち、情報送信装置２の情報記憶部３４に記憶された情報には、その情報の分類を示すジャンル情報が付加されており、表示制御部３２は、情報表示開始指示に応じて、情報記憶部３４に記憶された情報およびその情報に付加された（あるいは対応する）ジャンル情報を読み出し、これを表示制御部３２に提供する。表示制御部３２は、情報記憶部３４から読み出された情報およびその情報に付加されたジャンル情報を、ともに視覚的に認識困難な光学的信号として表示部３１から継続的に発信する。

ユーザが情報表示装置１のカメラ部２０を所望の表示部３１に向けると、情報送信装置２の可視的な情報が映像として表示部１３に表示される。同時に情報表示装置１は、表示部３１からから発信された情報およびその情報に付加されたジャンル情報をカメラ部２０によって取得し、各情報に付加されたジャンル情報に基づいて各情報を分類し、分類の結果をいったんＲＡＭ１１に記憶する。

一方、情報表示装置１のＣＰＵ１０は、ユーザが表示を希望する所望のジャンルの指定を予め操作部１４の操作によって受け付けておく。

図２４はユーザ所望のジャンルの指定を受け付けるジャンル選択画面の一例を示す。この画面は、図１４の設定項目の１つである「ガイドナビジャンル設定」を選択すると現れる。情報表示装置１は、ジャンル選択画面に表示されたジャンル（「現在割引中の店」、携帯充電可能な店」といったジャンル）のうち、どのジャンルの情報を表示させるかを、予めユーザに選択させる。ただし、「全部表示（指定しない）」で示されるジャンルは、全てのジャンルを指定することと同義である。

なお、ジャンル選択画面で選択できるジャンルは図示のものに限定されず、「空席のある店」、「たばこＯＫの店」などでもよく、要するに、情報送信装置２のジャンル情報に対応したジャンルを網羅していればあれば何でもよい。

ＣＰＵ１０は、ＲＡＭ１１に記憶された情報のうち、ジャンル選択画面からユーザが任意に指定したジャンルに対応するジャンル情報が付加された情報を抽出し、抽出された情報を表示部１３に表示する。

図２５は第８実施形態に係るガイドナビモード処理の流れを示すフローチャートである。

Ｓ７１〜Ｓ７４は第１実施形態のＳ１〜Ｓ４と同様である。

Ｓ７５では、信号処理回路による画像データの各種処理を行う。同時に、ＣＰＵ１０は、情報発信位置部分に重畳されている情報およびジャンル情報を抽出する。

Ｓ７６では、ＣＰＵ１０は、ジャンル選択画面で、「全部表示（指定しない）」で示されるジャンルが選択されているか、あるいはそれ以外の特定のジャンルが選択されているかを判断する。特定のジャンルが選択されている場合はＳ７７に移行し、「全部表示（指定しない）」で示されるジャンルが選択されている場合はＳ７８に移行する。

Ｓ７７では、ＣＰＵ１０は、ジャンル選択画面で選択されたジャンルに対応するジャンル情報の付加された抽出情報に基づいて視覚的に認識可能な映像情報を生成した上、取得した画像と抽出情報とを合成して表示部１３に表示する。

Ｓ７８は第１実施形態のＳ６と同様、すべての抽出情報を表示部１３に表示する。

図２６は一例として、ジャンル選択画面で「喫茶／カフェ」が選択された場合に、表示部１３に表示された抽出情報の様子を示す。表示部１３には、実際の映像と、喫茶店の看板である情報送信装置１−Ａから発信された情報１−Ｂとが合成して表示されている。情報１−Ｂは、情報送信装置１−Ａの映像からの吹き出し枠で囲って示されており、両者の対応関係も分かる。

ユーザは、携帯型の情報表示装置１のカメラ部２０が「喫茶／カフェ」の看板と一体構成された情報送信装置２の表示部３１を画角内に捉えるように情報表示装置１の向きと位置を調節するだけで、自分が必要とする「喫茶／カフェ」に関する情報だけを選別して見ることができるから、図２３のような煩雑な画面情報から自分の望む情報を見つけ出す手間が省けるし、実際の画像と発信された情報との関連性もさらに把握しやすい。

しかも、情報表示装置１は携帯性があるから、所望の情報送信装置２が眺望できる位置まで情報表示装置１を持参しさえすれば、後は所望の情報送信装置２に対してカメラ部２０の画角を設定するだけで、自分の現在位置から自分の望むジャンルの詳細情報を容易に得ることができる。

＜第９実施形態＞
図２６のような所望のジャンルの情報をたどり、さらに詳細な情報を取得できるようにすると便利である。

そこで、情報送信装置２は、情報表示装置１の備える特定機能の駆動を指定する基準となる情報（トリガ情報）を発信し、ユーザが所望のトリガ情報を選択することで、トリガ情報で指定された特定機能を駆動し、情報表示装置１が、情報送信装置２その他の情報発信源から、詳細な情報を取得できるようにする。

情報表示装置１の備える機能の一例を挙げると、音声制御部１８による特定の相手方への電話（携帯テレビ電話を含む）発呼、無線送受信部１７による特定の通信ネットワークの相手方（Ｗｅｂサーバ、Ｗｅｂカメラを含む）との通信、近接範囲内の目的地への道案内、音声制御部１８による情報送信装置２からの情報の音声信号への変換と送受話部１９への出力（情報読み上げ機能）を含む。

この場合、トリガ情報の一例を挙げると、電話発呼の相手方の電話番号、通信ネットワークの相手方のアドレス（道案内データの取得元のアドレスを含む）、映像情報としても音声情報としても共通して使える形式の情報（例えばテキストデータ）を含む。

情報表示装置１は、情報送信装置２から受信したトリガ情報を表示し、その中から、特定のトリガ情報を選択させる。

例えば、図２７に示すように、情報表示装置１のカメラ部２０が「居酒屋」の看板と一体構成された情報送信装置２の表示部３１を画角内に捉えることで、「居酒屋」の看板と「居酒屋」ジャンル情報の付加された情報Ｉ−１が表示部１３に表示されているとする。

図２８に示すように、操作部１４の操作によって情報Ｉ−１がクリックされると、情報Ｉ−１に予め付加されたトリガ情報Ｉ−２（もしくはトリガ情報を表象するアイコンその他の情報でも可）の全てが一覧表示される。情報表示装置１とトリガ情報との関連性を示す映像もあわせて表示するとよい。

この図では、トリガ情報として、ある情報送信装置２−Ａのスポンサーである居酒屋の電話番号Ｔ−１、居酒屋のＷｅｂページのアドレス（ＵＲＬ）Ｔ−２、居酒屋内に設置されたＷｅｂカメラからのストリーミング映像の送信元のアドレスＴ−３、居酒屋内に設置されたＷｅｂマイクからの音声の送信元のアドレスＴ−３、あるいはストリーミング映像および音声の両方の送信元のアドレスＴ−４が、居酒屋の情報送信装置２−Ａの実際の映像と関連づけられて表示されている。

ユーザは、操作部１４の操作によって、トリガ情報の一覧Ｉ−２に表示された任意のトリガ情報のうち、所望のトリガ情報を選択することができる。

図２９〜３１は、トリガ情報の一覧Ｉ−２からいずれかのトリガ情報Ｔ−１〜Ｔ−５が選択された場合における情報表示装置１の動作の一例を示す。

図２９（ａ）に示すように、電話番号Ｔ−１が指定されることで、情報表示装置１が電話番号Ｔ−１に発呼する。情報表示装置１の発呼先である居酒屋の電話１００で着信に応答すると、情報表示装置１のユーザと居酒屋の電話１００への着信に応答した店員との間で、予約状況の確認や申し込みなどの通話を行うことができる。ユーザは情報表示装置１を「居酒屋」の看板に向けるだけで電話番号を入手でき、いちいち手入力して発呼する必要がない。

図３０（ａ）に示すように、アドレスＴ−２が指定されることで、情報表示装置１がアドレスＴ−２アクセスすると、そのアドレスから情報表示装置１に、クーポン券などを示したＷｅｂページが送信される。図３０（ｂ）に示すように、情報表示装置１はこのＷｅｂページを受信すると、画像と抽出情報との合成表示する代わりに、Ｗｅｂページを表示部１３に表示する。ユーザは情報表示装置１を居酒屋まで携帯し、これを居酒屋の店員に示すことで、飲食料金の割引や各種の特典を受けることができる。

図３１（ａ）に示すように、アドレスＴ−３が指定されることで、情報表示装置１がアドレスＴ−３にアクセスし、そのアドレスから情報表示装置１に、居酒屋店内を画角に収めるＷｅｂカメラ１００の撮像した映像が、情報表示装置１に配信される。図３１（ｂ）に示すように、情報表示装置１はＷｅｂカメラ１００からの配信映像を受信すると、画像と抽出情報との合成表示をする代わりに、配信映像を表示部１３に表示する。ユーザは現在位置から動かなくても、情報表示装置１に表示されたこの映像から、居酒屋の現在の混み具合などの状況が一目で分かる。

図３２（ａ）に示すように、アドレスＴ−４が指定されることで、情報表示装置１がアドレスＴ−２にアクセスすると、居酒屋店内で発生している音を集音するＷｅｂマイク２００から、情報表示装置１に、店内の音声が配信される。図３１（ｂ）に示すように、情報表示装置１はこの配信音声を受信すると、送受話部１９から再生する。ユーザは現在位置から動かなくても、情報表示装置１から再生される音声から、居酒屋の現在の混み具合などの状況が分かる。

なお図示しないが、アドレスＴ−５が指定されることで、情報表示装置１には、Ｗｅｂカメラ１００からの映像とＷｅｂマイク２００からの音声とが同時に配信され、映像と音の双方が再生される。

こうすると、多数の情報を一挙に提示してユーザに煩雑さを与えることがなくなるし、ユーザの真に必要とする詳細な情報を、携帯性のある情報表示装置１を介して提供することができる。

＜第１０実施形態＞
ユーザは携帯性のある情報表示装置１を携帯して様々な場所に移動できるから、前述の図２３に示したように、多数の情報送信装置２が存在するような場所にユーザが移動した場合、多数の情報送信装置２の各々が、互いに何の制約も受けず、それぞれ独立別個に情報を表示部３１から情報表示装置１に向けて発信することになる。そうすると、情報表示装置１の表示部１３には、多数の情報が一挙に表示されるか、あるいは表示しきれなくなり、ユーザはそのような表示を見て混乱し、必要な情報を得るのに時間がかかってしまう。

本実施形態ではこのような問題点を考慮し、不特定多数の情報送信装置２から受信した情報を、なるべく整理して表示する。

すなわち、情報表示装置１は、カメラ部２０が画角に捉えた情報送信装置２の映像から、視覚的に認識困難な情報の発信元である表示部３１の表示領域を、例えば外周によって認識し、認識した表示部３１の表示領域と適合するように、例えば認識した外周の内部に収まる位置に、視覚的に認識可能な情報を配置する。このような配置をするか否かは、例えば図３３に示すような動作設定画面で、「発信元に重ねて表示」項目を選択することで任意に設定できる。

ここで、情報表示装置１が表示部３１の平面的形状の１つである外周を容易に認識できるよう、少なくとも表示部３１の外周部分を光学的に示すＬＥＤ発光体などの発光装置を配列することが好ましい。

例えば図３４（ａ）に示すように、表示部３１の全面に発光装置を兼ねた表示装置を配置してもよい。あるいは図３４（ｂ）に示すように、表示部３１の最外周に発光装置を配置し、その内部のある一定領域全面に表示装置を配置してもよい。あるいは図３４（ｃ）に示すように、表示部３１の最外周に発光装置を配置し、その内部には一定の文字の形状で表示装置を配列してもよい。このように、少なくとも表示部３１の最外周部分に発光装置が配置されていれば、その内部の表示装置の配列は任意である。

図３５（ａ）は、情報表示装置２−１の表示部３１の平面的形状の一例である矩形の外周を示しており、図３５（ｂ）は、表示部３１の平面的形状に適合するよう、矩形の外周内に配置された情報２−１−１の一例を示す。

こうすると、図７や図８と異なり、表示部３１からの視覚的に認識可能な情報が抽出情報で覆われる可能性はあるものの、ユーザが携帯型の情報表示装置１とともに自由に移動したときに得られる多数の抽出情報によって表示部１３の表示が煩雑になることは防げる。

なお、ユーザの現在位置からの眺望ないしカメラ部２０の画角によっては、図３６（ａ）に示すように、異なる表示部３１の平面的形状が互いに重複して表示部３１の外周の一部が隠れる領域Ｒが存在し、表示部３１の外周の一部を認識できないこともある。この場合は、図３６（ｂ）に示すように、認識できた表示部３１の外周の一部の形状から、重複領域Ｒ中の隠れた外周を推測し、推測した外周Ｌで認識できない外周部分を補完する。この後、補完された外周の中に収まるよう、抽出情報２−１−１を配置すればよい。

あるいは、図３６（ｃ）に示すように、表示部３１の一部が、電柱や木などの一般的な障害物Ｈで隠れてしまっていても、上記と同様に隠れた外周を推測して補完し、図３５（ｄ）に示すように、補完された外周の中に収まるよう、抽出情報２−１−１を配置すればよい。こうすることで、異なる表示部３１同士が重なっていても、あるいは表示部３１の一部が障害物で隠れていても、表示部３１の外周の中に収まるよう抽出情報を配置し、不特定多数の抽出情報同士が視覚的に干渉しあって見づらくなることを防げる。また、ユーザが情報表示装置１を携帯して障害物のない眺望の得られる位置までわざわざ移動して、所望の表示部３１に対するカメラ部２０の画角の再設定を強いる必要もなくなる。

＜第１１実施形態＞
上述したように、情報表示装置１は、情報送信装置２から光学的に受信した視覚的に認識困難な情報を、視覚的に認識可能な映像情報に変換して表示部１３に表示する。しかし、ユーザの負っている視覚的な問題あるいは表示部１３の表示サイズの制約から、映像情報がよく視覚できないことが考えられる。

このようなユーザを想定した補助機能として、情報表示装置１の音声制御部１８は、情報送信装置２から光学的に受信した視覚的に認識困難な情報を、音声に変換し、出力してもよい。好適には、視覚的に認識困難な情報は、情報表示装置１側で映像情報または音声情報のいずれにも変換できるデータ構造、例えばテキストデータが好ましい。

ただし、不特定多数の情報送信装置２からの情報を全て音声に変換すると、ユーザが混乱するため、特定の情報送信装置２からの情報のみを音声に変換する。

例えば、図３７（ａ）に示すように、音声制御部１８は、情報発信位置がカメラ部２０の画角中の特定位置、例えば中央部分に存在するような情報送信装置２の情報のみを音声に変換する。

そうすると、図３７（ｂ）に示すように、送受話部１９から、特定の抽出情報が音声の形で再生されるから、映像情報が見えなくても、聴覚的に認識できる。

つまりユーザは、所望の情報送信装置２が眺望できる位置まで情報表示装置１を携帯し、所望の情報送信装置をカメラ部２０の画角中央で捉えるように情報表示装置１の位置と向きを調節すると、画角中央で捉えた情報送信装置２から発信された抽出情報を聴覚的に認識できる。

なお、音声の読み上げ機能はトリガ情報の１つに含めることができるから、予めトリガ情報の指定で音声の読み上げ機能が起動されており、かつ画角中の特定位置から情報が発信されている場合に限り、その特定位置からの情報のみを音声に変換するようにしてもよい。こうすると、必要に応じて音声読み上げ機能を活用することができる。

情報提供システムの概略構成図 情報送信装置のブロック構成図 情報表示装置の構成図 第１実施形態に係るガイドナビモード処理の流れを示すフローチャート 情報表示装置で撮影された映像が表示部で表示される様子を示す図 情報送信装置とその情報送信装置の発信した情報との関連性を、線によって視覚的に認識可能に表示した状態を示す図 情報送信装置とその情報送信装置の発信した情報との関連性を、吹き出し枠によって視覚的に認識可能に表示した状態を示す図 情報送信装置とその情報送信装置の発信した情報との関連性を、湧き出し表示によって視覚的に認識可能に表示した状態を示す図 情報送信装置とその情報送信装置の発信した情報との関連性を、交互表示によって視覚的に認識可能に表示した状態を示す図 表示方式設定画面の一例を示す図 第２実施形態に係るガイドナビモード処理の流れを示すフローチャート 撮影の際に表示される記録方式設定画面の一例を示す図 第３実施形態に係るガイドナビ撮影モード処理の流れを示すフローチャート 設定項目の一部として表示される記録方式設定画面の一例を示す図 第４実施形態に係るガイドナビ撮影モード処理の流れを示すフローチャート 対象物の近傍に設置された情報送信装置から、対象物の説明を含んだ情報を光学的に発信することで、情報表示装置に対象物の説明を表示した状態を示す図 情報の表示位置が移動される様子を示す図 ガイドナビ移動モード処理の流れを示すフローチャート 第６実施形態に係るガイドナビモード処理の流れを示すフローチャート 情報の表示と非表示を入れ換える状態を示す図 競技選手の電光式ゼッケンで構成した情報送信装置から発信された情報が情報表示装置で表示される様子を示す図 競技選手に装着した情報送信装置から発信された情報が情報表示装置で表示される様子を示す図 多数の抽出情報が一挙に表示された状態を例示した図 ジャンル選択画面の一例を示す図 第８実施形態に係るガイドナビモード処理の流れを示すフローチャート ジャンル選択画面で「喫茶／カフェ」が選択された場合に、表示された抽出情報の様子を示す図 「居酒屋」ジャンル情報の付加された情報Ｉ−１だけが表示部１３に表示されている状態を示す図 トリガ情報が一覧表示された状態を示す図 トリガ情報の１つである電話番号が指定されたときの動作を示す図 トリガ情報の１つであるＷｅｂページのアドレスが指定されたときの動作を示す図 トリガ情報の１つであるＷｅｂカメラのアドレスが指定されたときの動作を示す図 トリガ情報の１つであるＷｅｂマイクのアドレスが指定されたときの動作を示す図 動作設定画面で「発信元に重ねて表示」項目が選択された状態を示す図 少なくとも表示部の最外周部分に発光装置が配置されている状態を示す図 情報表示装置の表示部の平面的形状の一例を示す図 表示部の平面的形状が互いに重複した場合の情報表示の様子を示す図 カメラ部の画角中の特定位置から発信された情報を音声で再生している様子を示す図

符号の説明

１：情報表示装置、２：情報送信装置、１０：ＣＰＵ、１１：ＲＡＭ、１２：ＲＯＭ、１３：表示部、１４：操作部、１６：無線制御部、１７：無線送受信部、１８：音声制御部、１９：送受話部、２０：カメラ部、２１：カメラ制御部

Claims (24)

1. 視覚的に認識可能な情報と視覚的に認識困難な情報とを光学的に提供する機器を被写体とし、前記視覚的に認識可能な情報を含む画像と前記視覚的に認識困難な情報とを撮像素子により継続的に取得する取得部と、
   前記取得部の取得した視覚的に認識困難な情報を視覚的に認識可能な映像情報に変換し、前記視覚的に認識可能な情報を含む画像上に前記映像情報を重畳して表示装置に表示する表示制御部と、
   前記視覚的に認識可能な情報と前記映像情報との関連づけを視覚的に示す映像の種類を設定する表示設定部と、
   を備え、
   前記表示制御部は前記表示設定部の設定した種類に応じて前記関連づけを視覚的に示す映像を前記画像上に表示するよう前記表示装置を制御する情報提供装置。
2. 前記関連づけを視覚的に示す映像は、前記画像における前記視覚的に認識可能な情報の近傍へ前記映像情報を配置した映像、前記画像における前記視覚的に認識可能な情報と前記映像情報との間に位置する線の映像、前記画像における前記視覚的に認識可能な情報からの吹き出し枠の映像および前記吹き出し枠内に配置された前記映像情報、前記画像における前記視覚的に認識可能な情報からの前記映像情報の湧き出しを表す映像または前記画像における前記視覚的に認識可能な情報と前記映像情報との交互を表示する映像のうち少なくともいずれか１つを含む請求項１に記載の情報提供装置。
3. 前記画像または前記映像情報の少なくとも一方を、前記視覚的に認識可能な情報に前記映像情報が視覚的に関連づけられた状態であるいは視覚的に関連づけられない状態で記録する記録部をさらに備える請求項１または２に記載の情報提供装置。
4. 前記視覚的に認識可能な情報に前記映像情報が視覚的に関連づけられた状態で前記画像を記録するか否か、前記視覚的に認識困難な情報を個別に記録するか否かまたは前記画像を個別に記録するか否かを設定する記録設定部をさらに備え、
   前記記録部は前記記録設定部の設定に応じ、前記視覚的に認識可能な情報に前記映像情報が視覚的に関連づけられた状態で前記画像を記録するか、前記視覚的に認識可能な情報に前記映像情報が視覚的に関連づけられない状態で前記画像および前記視覚的に認識困難な情報をそれぞれ個別に記録するか、前記視覚的に認識困難な情報を個別に記録するかまたは前記画像を個別に記録する請求項３に記載の情報提供装置。
5. 前記表示部における前記映像情報の移動先の位置を設定する移動設定部をさらに備え、
   前記表示部は前記移動設定部の設定した移動先の位置に前記映像情報を移動して表示する請求項１〜４のいずれかに記載の情報提供装置。
6. 前記映像情報を表示するか否かを設定する表示可否設定部をさらに備え、
   前記表示部は前記表示可否設定部の設定に応じて前記映像情報を表示するかまたは非表示にする請求項１〜５のいずれかに記載の情報提供装置。
7. 視覚的に認識可能な情報と視覚的に認識困難な情報とを光学的に提供する情報提供部と、
   前記情報提供部を被写体とし、前記視覚的に認識可能な情報を含む画像と前記視覚的に認識困難な情報とを撮像素子により継続的に取得する取得部と、
   前記取得部の取得した視覚的に認識困難な情報を視覚的に認識可能な映像情報に変換し、前記視覚的に認識可能な情報を含む画像上に前記映像情報を重畳して表示装置に表示する表示制御部と、
   前記視覚的に認識可能な情報と前記映像情報との関連づけを視覚的に示す映像の種類を設定する表示設定部と、
   を備え、
   前記表示制御部は前記表示設定部の設定した種類に応じて前記関連づけを視覚的に示す映像を前記画像上に表示するよう前記表示装置を制御する情報提供システム。
8. 視覚的に認識可能な情報と視覚的に認識困難な情報とを光学的に提供する機器を被写体とし、前記視覚的に認識可能な情報を含む画像と前記視覚的に認識困難な情報とを撮像素子により継続的に取得するステップと、
   取得された視覚的に認識困難な情報を視覚的に認識可能な映像情報に変換し、前記視覚的に認識可能な情報を含む画像上に前記映像情報を重畳して表示装置に表示するステップと、
   前記視覚的に認識可能な情報と前記映像情報との関連づけを視覚的に示す映像の種類を設定するステップと、
   設定された種類に応じて前記関連づけを視覚的に示す映像を前記画像上に表示するステップと、
   を含む情報提供方法。
9. 視覚的に認識可能な情報と視覚的に認識困難な情報と前記視覚的に認識困難な情報を分類する分類情報とを光学的に提供する機器を被写体とし、前記視覚的に認識可能な情報を含む画像と前記視覚的に認識困難な情報と前記分類情報とを撮像素子により継続的に取得する取得部と、
   前記取得部の取得した視覚的に認識困難な情報のうち、表示すべき情報の分類情報を設定する表示分類設定部と、
   前記表示分類設定部の設定した分類情報で分類される視覚的に認識困難な情報を、視覚的に認識可能な映像情報に変換し、前記画像上に前記映像情報を重畳して表示装置に表示する表示制御部と、
   を備える情報提供装置。
10. 視覚的に認識可能な情報と視覚的に認識困難な情報と前記視覚的に認識可能な情報の関連情報の提供元を指定する情報であるトリガ情報とを光学的に提供する機器を被写体とし、前記視覚的に認識可能な情報を含む画像と前記視覚的に認識困難な情報と前記トリガ情報を撮像素子により継続的に取得する取得部と、
    前記取得部の取得した視覚的に認識困難な情報を視覚的に認識可能な映像情報に変換し、前記視覚的に認識可能な情報を含む画像上に前記映像情報または前記トリガ情報のうち少なくとも一方を関連づけて表示装置に表示する表示制御部と、
    前記表示装置に表示されたトリガ情報のうち、所望のトリガ情報を選択する情報選択部と、
    前記情報選択部が選択したトリガ情報で指定される提供元から前記関連情報を取得して提供する関連情報提供部と、
    を備える情報提供装置。
11. 前記トリガ情報はコンテンツデータの配信元のアドレスを含み、
    前記関連情報提供部は、前記情報選択部が選択したトリガ情報に含まれるコンテンツデータの配信元のアドレスに接続して前記関連情報を取得する通信部を備える請求項１０に記載の情報提供装置。
12. 前記コンテンツデータは、前記視覚的に認識可能な情報の提供元に関連する映像または音声のうち少なくとも一方を含む請求項１１に記載の情報提供装置。
13. 前記トリガ情報は前記視覚的に認識可能な情報の提供元の電話番号を含み、
    前記関連情報提供部は、前記情報選択部が選択したトリガ情報に含まれる電話番号に接続して少なくとも通話音声を送受信する通話部を備える請求項１０〜１２のいずれかに記載の情報提供装置。
14. 視覚的に認識可能な情報と視覚的に認識困難な情報とを光学的に提供する機器を被写体とし、前記視覚的に認識可能な情報を含む画像と前記視覚的に認識困難な情報とを撮像素子により継続的に取得する取得部と、
    前記取得部の取得した視覚的に認識困難な情報を視覚的に認識可能な映像情報に変換し、前記視覚的に認識可能な情報を含む画像上に前記映像情報を重畳して表示装置に表示する表示制御部と、
    前記撮像素子の有効画素領域における所定位置から取得された視覚的に認識困難な情報を聴覚的に認識可能な音声情報に変換して音声再生装置から再生する音声制御部と、
    を備える情報提供装置。
15. 前記所定位置は、前記撮像素子の有効画素領域のうち前記表示装置の中央部分に相当する位置を含む請求項１４に記載の情報提供装置。
16. 視覚的に認識可能な情報と視覚的に認識困難な情報とを光学的に提供する機器を被写体とし、前記視覚的に認識可能な情報を含む画像と前記視覚的に認識困難な情報とを撮像素子により継続的に取得する取得部と、
    前記機器が視覚的に認識可能な情報を提供する領域を認識する領域認識部と、
    前記取得部の取得した視覚的に認識困難な情報を視覚的に認識可能な映像情報に変換し、前記視覚的に認識可能な情報を含む画像上における前記領域認識部の認識した領域に適合するように前記映像情報を重畳して表示装置に表示する表示制御部と、
    を備える情報提供装置。
17. 視覚的に認識可能な情報と視覚的に認識困難な情報と前記視覚的に認識困難な情報を分類する分類情報とを光学的に提供する情報提供部と、
    前記情報提供部を被写体とし、前記視覚的に認識可能な情報を含む画像と前記視覚的に認識困難な情報と前記分類情報とを撮像素子により継続的に取得する取得部と、
    前記取得部の取得した視覚的に認識困難な情報のうち、表示すべき情報の分類情報を設定する表示分類設定部と、
    前記表示分類設定部の設定した分類情報で分類される視覚的に認識困難な情報を、視覚的に認識可能な映像情報に変換し、前記画像上に前記映像情報を重畳して表示装置に表示する表示制御部と、
    を備える情報提供システム。
18. 視覚的に認識可能な情報と視覚的に認識困難な情報と前記視覚的に認識可能な情報の関連情報の提供元を指定する情報であるトリガ情報とを光学的に提供する情報提供部と、
    前記情報提供部を被写体とし、前記視覚的に認識可能な情報を含む画像と前記視覚的に認識困難な情報と前記トリガ情報を撮像素子により継続的に取得する取得部と、
    前記取得部の取得した視覚的に認識困難な情報を視覚的に認識可能な映像情報に変換し、前記視覚的に認識可能な情報を含む画像上に前記映像情報または前記トリガ情報のうち少なくとも一方を関連づけて表示装置に表示する表示制御部と、
    前記表示装置に表示されたトリガ情報のうち、所望のトリガ情報を選択する情報選択部と、
    前記情報選択部が選択したトリガ情報で指定される提供元から前記関連情報を取得して提供する関連情報提供部と、
    を備える情報提供システム。
19. 視覚的に認識可能な情報と視覚的に認識困難な情報とを光学的に提供する情報提供部と、
    前記情報提供部を被写体とし、前記視覚的に認識可能な情報を含む画像と前記視覚的に認識困難な情報とを撮像素子により継続的に取得する取得部と、
    前記取得部の取得した視覚的に認識困難な情報を視覚的に認識可能な映像情報に変換し、前記視覚的に認識可能な情報を含む画像上に前記映像情報を重畳して表示装置に表示する表示制御部と、
    前記撮像素子の有効画素領域における所定位置から取得された視覚的に認識困難な情報を聴覚的に認識可能な音声情報に変換して音声再生装置から再生する音声制御部と、
    を備える情報提供システム。
20. 視覚的に認識可能な情報と視覚的に認識困難な情報とを光学的に提供する情報提供部と、
    前記情報提供部を被写体とし、前記視覚的に認識可能な情報を含む画像と前記視覚的に認識困難な情報とを撮像素子により継続的に取得する取得部と、
    前記機器が視覚的に認識可能な情報を提供する領域を認識する領域認識部と、
    前記取得部の取得した視覚的に認識困難な情報を視覚的に認識可能な映像情報に変換し、前記視覚的に認識可能な情報を含む画像上における前記領域認識部の認識した領域に適合するように前記映像情報を重畳して表示装置に表示する表示制御部と、
    を備える情報提供システム。
21. 視覚的に認識可能な情報と視覚的に認識困難な情報と前記視覚的に認識困難な情報を分類する分類情報とを光学的に提供する機器を被写体とし、前記視覚的に認識可能な情報を含む画像と前記視覚的に認識困難な情報と前記分類情報とを撮像素子により継続的に取得するステップと、
    取得された視覚的に認識困難な情報のうち、表示すべき情報の分類情報を設定するステップと、
    設定された分類情報で分類される視覚的に認識困難な情報を、視覚的に認識可能な映像情報に変換し、前記画像上に前記映像情報を重畳して表示装置に表示するステップと、
    を含む情報提供方法。
22. 視覚的に認識可能な情報と視覚的に認識困難な情報と前記視覚的に認識可能な情報の関連情報の提供元を指定する情報であるトリガ情報とを光学的に提供する機器を被写体とし、前記視覚的に認識可能な情報を含む画像と前記視覚的に認識困難な情報と前記トリガ情報を撮像素子により継続的に取得するステップと、
    取得された視覚的に認識困難な情報を視覚的に認識可能な映像情報に変換し、前記視覚的に認識可能な情報を含む画像上に前記映像情報または前記トリガ情報のうち少なくとも一方を関連づけて表示装置に表示するステップと、
    前記表示装置に表示されたトリガ情報のうち、所望のトリガ情報を選択するステップと、
    選択されたトリガ情報で指定される提供元から前記関連情報を取得して提供するステップと、
    を含む情報提供方法。
23. 視覚的に認識可能な情報と視覚的に認識困難な情報とを光学的に提供する機器を被写体とし、前記視覚的に認識可能な情報を含む画像と前記視覚的に認識困難な情報とを撮像素子により継続的に取得するステップと、
    取得された視覚的に認識困難な情報を視覚的に認識可能な映像情報に変換し、前記視覚的に認識可能な情報を含む画像上に前記映像情報を重畳して表示装置に表示するステップと、
    前記撮像素子の有効画素領域における所定位置から取得された視覚的に認識困難な情報を聴覚的に認識可能な音声情報に変換して音声再生装置から再生するステップと、
    を含む情報提供方法。
24. 視覚的に認識可能な情報と視覚的に認識困難な情報とを光学的に提供する機器を被写体とし、前記視覚的に認識可能な情報を含む画像と前記視覚的に認識困難な情報とを撮像素子により継続的に取得するステップと、
    前記機器が視覚的に認識可能な情報を提供する領域を認識するステップと、
    取得された視覚的に認識困難な情報を視覚的に認識可能な映像情報に変換し、前記視覚的に認識可能な情報を含む画像上における前記領域認識部の認識した領域に適合するように前記映像情報を重畳して表示装置に表示するステップと、
    を含む情報提供方法。
    

Images