JP2010147527A - 通信端末および情報発信源特定プログラム - Google Patents

Abstract

【構成】携帯端末１０は、カメラ制御回路３６およびイメージセンサ３８を備え、可視光通信源を含むスルー画像およびスルー静止画像を撮影する。また、可視光通信源を含むスルー静止画像は、ＬＣＤモニタ２６によって表示される。ＣＰＵ２０は、スルー静止画像に対してラスタスキャンを行い、スルー静止画像に含まれる可視光通信源の位置を特定し、特定した位置に基づいて、可視光通信源に対応するアイコン（ＩＣ）をＬＣＤモニタ２６に表示する。
【効果】使用者は、可視光通信を行うための可視光通信源に対応するアイコン（ＩＣ）を認識し、可視光通信源を容易に特定できる。
【選択図】図１

Description

この発明は、通信端末に関し、特にたとえばデータ通信を行う、通信端末に関する。

従来、特にたとえばデータ通信を行う、通信端末が知られており、この種の装置の一例が、特許文献１に開示されている。この背景技術の情報通信システムは、ＰＣサーバ、コントロールユニット、情報ユニットおよび携帯端末から構成されており、ＰＣサーバは、コントロールユニットに対して、情報ユニットにデータを出力させるように、指令を出す。この情報ユニットには複数の光ビーコンが配列されており、各光ビーコンは、自らを識別するＩＤデータを、点滅パターンに替えて発光することで、携帯端末に所定のデータを含むＩＤデータを送信する。そして、携帯端末は、各光ビーコンの点滅パターンに替えられた複数のＩＤデータをＩＤ認識カメラによって撮影することにより、複数のＩＤデータを受信することができる。
特開２００４−３４９７６６［H04L 1/00, H04B 10/10, H04B 10/105, H04B 10/22, H03M 5/12］

しかし、特許文献１における情報通信システムでは、携帯端末が複数の光ビーコンを撮影する場合に、ＩＤデータを受信する光ビーコンを１つに絞る（選択する）事ができない。また、従来の無線ＬＡＮのように画像に光ビーコンのリストを表示し、任意の光ビーコンを選択可能なＧＵＩを携帯端末に表示することで、ＩＤデータを受信する光ビーコンを決定方法が考えられるが、以下の問題が新たに発生する。

まず、携帯端末におけるインターフェースでは、複数の操作キーを利用してＧＵＩを操作するが多いため、そのＧＵＩの操作が煩雑である。さらに、表示されたリストと光ビーコンとを対応付けるために、リストに含まれる情報や表示される情報が多くなってしまい、ＧＵＩの操作が分かりづらくなってしまう。

それゆえに、この発明の主たる目的は、新規な、通信端末およびこのような通信端末のプロセサに適用される情報発信源特定プログラムを提供することである。

この発明の他の目的は、可視光通信源を容易に特定することが可能な通信端末およびこのような通信端末のプロセサに適用される情報発信源特定プログラムを提供することである。

この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために記述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。

第１の発明は、情報発信用光源を含む画像を撮影する撮影手段、撮影手段によって撮影された画像を表示する表示装置、画像に含まれる光源の位置を特定する特定手段、および特定手段によって特定された光源の位置にアイコンを表示するアイコン表示手段を備える、通信端末である。

第１の発明では、通信端末（１０）の撮影手段（３６，３８）は、被写界に存在する情報発信用光源（可視光通信源）を含む画像（スルー画像、スルー静止画像）を撮影し、その撮影された画像は、ＬＣＤモニタなどの表示装置（２６）に表示される。特定手段（２０，Ｓ１１）は、表示装置に表示される画像において、光源の位置（座標）を特定し、アイコン表示手段（２０，Ｓ１７）は、特定された光源に位置に基づいて、アイコンを表示する。これによって、表示装置には、光源に対応するアイコンが表示されるようになる。

第１の発明によれば、可視光通信を行うための光源に対応するアイコンを表示することで、使用者に、可視光通信源を容易に特定させることができる。なお、本発明のアイコンには、図形、文言、記号、数字またはこれらの任意の組み合わせ等も含まれる。また、アイコンとしてプログラムと連動するものの他、プログラムと連動しない単なる表示であってもよい。

第２の発明は、第１の発明に従属し、光源から光信号を受信する受信手段、および設定手段によって設定された光源から送信される光信号に基づいて、関連情報を表示する関連情報表示手段を備える。

第２の発明では、イメージセンサ、カメラ制御回路およびＣＰＵから構成される受信手段は、光源を撮影することで、光源からのインデックス情報などを含む光信号を受信する。関連情報表示手段（２０，Ｓ１５，Ｓ１７）は、光信号に含まれるインデックス情報に基づいて、アイコン内の種類表示領域（６０）に、受信した情報（データ）の種類を示す関連情報を表示する。また、情報の種類とは、テキストデータ、音楽データおよび画像データなどである。

第２の発明によれば、使用者は、可視光通信源から発信される情報の種類を容易に把握できるようになる。

第３の発明は、第１の発明または第２の発明に従属し、表示装置に設けられ、タッチ反応領域内のタッチ操作を検出するタッチ操作検出手段、およびタッチ操作検出手段によって検出されたタッチ操作がアイコンを選択する操作であるとき、アイコンに対応する光源からの光信号を取得するように設定する設定手段をさらに備える。

第３の発明では、表示装置に設けられるタッチ操作検出手段（３４）は、タッチ反応領域内において、タッチおよびスライドなどのタッチ操作を検出する。そして、設定手段（２０，Ｓ４７）は、表示されたアイコンを選択するタッチ操作がされると、選択されたアイコンに対応する光源からの光信号を取得するように設定する。

第３の発明によれば、可視光通信によって情報を取得する光源を任意に選択できるようになる。

第４の発明は、第３の発明に従属し、設定手段によって設定された光源から送信される光信号に応じたデータを表示するデータ表示手段をさらに備える。

第４の発明では、データ表示手段（２０，Ｓ４９）は、設定された可視光通信源がテキストデータを発信している場合に、テキストビューワ機能などによって、テキストデータの内容を表示する。

第４の発明によれば、使用者は、可視光通信源から発信された情報（データ）の内容を確認できるようになる。

第５の発明は、第１の発明ないし第４の発明のいずれかに従属し、光源は、可視光を放射する。

第５の発明では、蛍光灯およびＬＥＤ照明などの光源から可視光（５４ａ，５４ｂ，５４ｃ）が放射される。

第５の発明によれば、使用者は、被写界に存在する可視光を認識して、情報発信用光源を撮影することができる。

第６の発明は、情報発信用光源を含む画像を撮影する撮影手段（３６，３８）および撮影手段によって撮影された画像を表示する表示装置（２６）を備える、通信端末のプロセサを、画像に含まれる光源の位置を特定する特定手段（Ｓ１１）、および特定手段によって特定された光源の位置にアイコンを表示するアイコン表示手段（Ｓ１７）として機能させる、情報発信源特定プログラムである。

第６の発明でも、第１の発明と同様に、可視光通信を行うための光源に対応するアイコンを表示することで、使用者に可視光通信源の位置を容易に特定させることができるようになる。

この発明によれば、使用者は、表示装置に表示されるアイコンによって、可視光通信源を容易に特定できるようになる。

この発明の上述の目的、その他の目的、特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１を参照して、通信端末１０は、ＣＰＵ（プロセサまたはコンピュータと呼ばれることもある。）２０、キー入力装置２２およびタッチパネル制御回路３２によって制御されるタッチパネル（タッチ操作検出手段）３４を含む。ＣＰＵ２０は、ＣＤＭＡ方式に対応する無線通信回路１４を制御して発呼信号を出力する。出力された発呼信号は、アンテナ１２から送出され、基地局を含む移動通信網に送信される。通話相手が応答操作を行うと、通話可能状態が確立される。

通話可能状態に移行した後にキー入力装置２２またはタッチパネル３４によって通話終了操作が行われると、ＣＰＵ２０は、無線通信回路１４を制御して、通話相手に通話終了信号を送信する。通話終了信号の送信後、ＣＰＵ２０は、通話処理を終了する。先に通話相手から通話終了信号を受信した場合も、ＣＰＵ２０は、通話処理を終了する。また、通話相手によらず、移動通信網から通話終了信号を受信した場合も、ＣＰＵ２０は通話処理を終了する。

通信端末１０が起動している状態で通話相手からの発呼信号がアンテナ１２によって捉えられると、無線通信回路１４は、着信をＣＰＵ２０に通知する。ＣＰＵ２０は、ＬＣＤドライバ２４によって表示装置であるＬＣＤモニタ２６を制御し、着信通知に記述された発信元情報をＬＣＤモニタ２６に表示させる。また、ＣＰＵ２０は、図示しない着信通知用のスピーカから着信音を出力させる。

通話可能状態では、次のような処理が実行される。通話相手から送られてきた変調音声信号（高周波信号）は、アンテナ１２によって受信される。受信された変調音声信号は、無線通信回路１４によって復調処理および復号処理を施される。これによって得られた受話音声信号は、スピーカ１８から出力される。マイク１６によって取り込まれた送話音声信号は、無線通信回路１４によって符号化処理および変調処理を施される。これによって、生成された変調音声信号は、上述と同様、アンテナ１２を利用して通話相手に送信される。

タッチパネル３４は、ＬＣＤモニタ２６の画面内の任意の位置を使用者が指示するためのポインティングデバイスである。タッチパネル３４は、その上面を指で、押したり、スライドしたり（撫でたり）、触られたりすることにより操作されると、その操作を検出する。そして、タッチパネル３４がタッチを検出すると、タッチパネル制御回路３２は、その操作の位置を特定し、操作された操作位置の座標データをＣＰＵ２０に出力する。つまり、使用者は、タッチパネル３４の上面を指で、押したり、スライドしたり（擦ったり）、触れたりすることによって、操作の方向や図形などを通信端末１０に入力することができる。

また、タッチパネル３４は、指がタッチパネル３４の表面に接近して生じた電極間の静電容量の変化を検出する静電容量方式と呼ばれる方式で、１本または複数本の指がタッチパネル３４に触れたことを検出する。具体的には、このタッチパネル３４には、透明フィルムなどに電極パターンを形成することで、指が接近して生じた電極間の静電容量の変化を検出する、投影型の静電容量方式が採用されている。なお、検出方式には、表面型の静電容量方式が採用されてもよいし、抵抗膜方式、超音波方式、赤外線方式および電磁誘導方式などであってもよい。

ここで、使用者がタッチパネル３４の上面を指で触れる操作を「タッチ」と言うことにする。一方、タッチパネル３４から指を離す操作を「リリース」と言うことにする。また、タッチパネル３４の表面を擦る操作を「スライド」と言うことにする。そして、タッチによって示された座標を「タッチ点」、リリースによって示された操作の終了位置の座標を「リリース点」と言うことにする。さらに、使用者がタッチパネル３４の上面をタッチして、続けてリリースする操作を「タッチアンドリリース」と言うことにする。そして、タッチ、リリース、スライドおよびタッチアンドリリースなどのタッチパネル３４に対して行う操作を、総じて「タッチ操作」と言うことにする。なお、タッチパネル３４に対する操作は、指だけに限らずペンなどの先が細い形状をした棒で行うようにしてもよい。また、操作を行うために、専用のタッチペンなどを備えるようにしてもよい。そして、指を使ってタッチする場合のタッチ点は、タッチパネル３４に触れている指の面積における重心がタッチ点となる。

また、通信端末１０は、カメラアプリケーションを実行することが可能である。カメラアプリケーションは、オートフォーカス処理によって、被写体にピントの合った写真画像データを記憶する。具体的には、キー入力装置２２またはタッチパネル３４によってカメラアプリケーションを実行する操作が行われると、ＣＰＵ２０は、カメラ制御回路３６にカメラアプリケーションを実行するために必要な命令を与える。カメラ制御回路３６は、イメージセンサ３８およびフォーカスレンズ４０を制御し、イメージセンサ３８によって取得された披写界の光学像を写真画像データに変換する。そして、ＣＰＵ２０は、カメラ制御回路３６から得られる、被写体にピントを合わせた写真画像データを圧縮画像データに変換してフラッシュメモリ２８に記憶する。また、このカメラアプリケーションでは、撮影する写真画像のサイズをＷＱＶＧＡ（２４０×４００）、ＶＧＡ（６４０×４８０）およびＵＸＧＡ（１６００×１２００）から選択することが可能である。もちろん、本発明のカメラアプリケーションにて、撮影する写真画像のサイズは、これらに限定されるものではなく、適宜他のサイズであってもよい。

また、カメラアプリケーションが実行された状態では、被写界のリアルタイム動画像（以下、スルー画像と言う）をＬＣＤモニタ２６に表示させる処理を行う。具体的には、ＣＰＵ２０は、カメラ制御回路３６に内蔵されるイメージセンサドライバを起動させ、露光動作および指定された読み出し領域に対応する電荷読み出し動作をイメージセンサドライバに命令する。

イメージセンサドライバは、イメージセンサ３８の撮像面の露光と当該露光によって生成された電荷の読み出しとを実行する。この結果、生画像信号が、イメージセンサ３８から出力される。また、イメージセンサ３８から出力された生画像信号は、カメラ制御回路３６に入力される。カメラ制御回路３６は、入力された生画像信号に対して、色分離、白バランス調整、ＹＵＶ変換などの処理を施しＹＵＶ形式の画像データを生成する。そして、ＣＰＵ２０は、ＹＵＶ形式の画像データが入力される。なお、ＹＵＶ形式の画像データにおいて、Ｙは輝度を意味し、Ｕは青色から輝度を引いた色差を意味し、Ｖは赤色から輝度を引いた色差を意味する。つまり、ＹＵＶ形式の画像データは、輝度信号（Ｙ）データと青色の色差信号（Ｕ）データと赤色の色差信号（Ｖ）データとから構成される。

このＹＵＶ形式の画像データは、ＣＰＵ２０によってＲＡＭ３０に一旦格納される。ＹＵＶ形式の画像データがＲＡＭ３０に格納されると、格納されたＹＵＶ形式の画像データは、ＣＰＵ２０を介して、ＲＡＭ３０からＬＣＤドライバ２４に与えられる。また同時に、ＣＰＵ２０は、ＲＡＭ３０に格納されたカメラ設定の表示位置に対応する間引き読み出し命令をＬＣＤドライバ２４に発行する。そして、ＬＣＤドライバ２４は、ＣＰＵ２０から発行された間引き読み出し命令に従ってＹＵＶ形式の画像データをＬＣＤモニタ２６に出力する。よって、被写界を表す低解像度のスルー画像がＬＣＤモニタ２６に再現される。

なお、スルー画像の更新周期は１０００ｆｐｓであり、イメージセンサ３８は、高速で生画像信号を出力することができるＣＭＯＳイメージセンサである。

図２（Ａ），（Ｂ）は通信端末１０の外観を示す図解図である。また、図２（Ａ）は通信端末１０の表面外観図であり、図２（Ｂ）は通信端末１０の裏面外観図である。図２（Ａ）を参照して、通信端末１０は、板状に形成されたケースＣを有する。図２（Ａ）では図示しないマイク１６およびスピーカ１８は、ケースＣに内蔵される。内蔵されたマイク１６に通じる開口ＯＰ２は、ケースＣの長さ方向一方の主面に設けられ、内蔵されたスピーカ１８に通じる開口ＯＰ１は、ケースＣの長さ方向他方の主面に設けられる。つまり、使用者は、開口ＯＰ１を通じてスピーカ１８から出力される音を聞き、開口ＯＰ２を通じてマイク１６に音声を入力する。

キー入力装置２２は、通話キー２２ａ、メニューキー２２ｂおよび終話キー２２ｃの３種類のキーを含み、それぞれのキーは、ケースＣの主面に設けられる。ＬＣＤモニタ２６は、モニタ画面がケースＣの主面に露出するように取り付けられる。さらにＬＣＤモニタ２６の上面には、タッチパネル３４が設けられる。

使用者は、通話キー２２ａを操作することで応答操作を行い、終話キー２２ｃを操作することで通話終了操作を行う。さらに、使用者は、メニューキー２２ｂを操作することで、メニュー画面をＬＣＤモニタ２６に表示させる。そして、終話キー２２ｃを長押しすることで通信端末１０の電源オン／オフ操作を行うことができる。

また、図２（Ｂ）を参照して、図２（Ｂ）では図示しないイメージセンサ３８およびフォーカスレンズ４０は、ケースＣに内蔵されており、内蔵されたイメージセンサ３８およびフォーカスレンズ４０に通じる開口ＯＰ３は、ケースＣの長さ方向他方の他面に設けられる。つまり、使用者は、ＬＣＤモニタ２６の裏側に設けられた開口ＯＰ３を被写体に向けることで、被写体を含むスルー画像をＬＣＤモニタ２６によって確認することができる。なお、開口ＯＰ３は、透明なプラスチックカバーなどで覆われていてもよい。

ここで、本実施例では、情報発信用光源である可視光通信源を、撮影手段である、カメラ制御回路３６およびイメージセンサ３８によって撮影することで可視光通信を行う。なお、ＣＰＵ２０によって制御されるカメラ制御回路３６およびイメージセンサ３８は、可視光通信における受信手段として機能する。

具体的には、スルー画像に含まれる所定値以上の輝度で発光（放射）する光源に対して、可視光通信源であるか否かを判断し、可視光通信源であれば、アイコンをＬＣＤモニタ２６に表示する。そして、表示されたアイコンをタッチアンドリリースなどのタッチ操作によって選択することで、情報（データ）を受信する可視光通信源を決定することができる。

まず、スルー画像に含まれる可視光通信源を検出する手順について説明する。ここでは、スルー画像内において可視光通信源を検出するために、左上端からラスタスキャンを行い、所定値以上の輝度の可視光を検出する。また、ラスタスキャンがされるスルー画像は、動画ではなく任意に選択された静止画である。以下、スルー画像を構成する各静止画像を、スルー静止画像と言うことにする。

図３（Ａ）は、カメラアプリケーションによって撮影されたスルー画像を表示するＬＣＤモニタ２６の表示例を示す図解図である。図３（Ａ）を参照して、ＬＣＤモニタ２６は、状態表示領域５０および機能表示領域５２を含む。状態表示領域５０には、アンテナ１２による電波受信状態、充電池の残電池容量および現在日時などが表示される。そして、機能表示領域５２には、カメラアプリケーションによって撮影されたスルー画像が表示されている。

図３（Ａ）に示すスルー画像には、複数の光源が含まれており、複数の光源のそれぞれは、光信号を含む可視光を発光している。以下、複数の光源のそれぞれが発光した可視光を、可視光５４ａ、可視光５４ｂおよび可視光５４ｃと言うことにする。また、図３（Ａ）に示す可視光５４ａおよび可視光５４ｂは、ほぼ同じ輝度である。しかし、可視光５４ｃの輝度は、可視光５４ａおよび可視光５４ｂの輝度より低い。なお、複数の光源は、蛍光灯であるが、ＬＥＤ照明および有機ＥＬ照明などの可視光通信に利用可能な照明であれば、他の照明器具であってもよい。

なお、図３（Ａ）では、可視光５４ａ、可視光５４ｂおよび可視光５４ｃは、簡単のため円で示されている。また、図３（Ａ）で示す状態表示領域５０、機能表示領域５２および可視光５４ａ−５４ｃについては、他の図面でも同様であるため、他の図面では簡単のために、詳細な説明を省略する。

そして、スルー静止画像に対してラスタスキャンがされ、所定値以上の輝度で発光する光源が探索される。さらに、ラスタスキャンによって所定位置以上の輝度で発光する光源が発見されると、集中サンプリングによって可視光通信源であるか否かが判断される。なお、ラスタスキャンでは、１画素ごとに輝度信号データに基づいて、所定値以上の輝度であるか否かを判断することで、所定値以上の輝度の可視光を探索する。たとえば、可視光５４ａの輝度が所定位置以上であれば、可視光５４ａの上部Ｓ（図３（Ｂ）参照）まで探索されると、可視光５４ａの上部Ｓから一定の範囲において集中サンプリングが行われる。

図３（Ｂ）は、図３（Ａ）領域Ａにおいて、集中サンプリングが行われる様子を示す図解図である。図３（Ｂ）を参照して、ラスタスキャンによる現在の探索位置を示す上部Ｓが或る一辺の中点となるようにして、四角形の集中サンプリング領域ＣＳＡが設定される。つまり、上部Ｓを基準として、集中サンプリング領域ＣＳＡが設定される。そして、集中サンプリング領域ＣＳＡ内のみ、スルー画像を更新し、可視光５４ａが可視光通信に必要な周期で点滅しているか否かを判断する。

なお、集中サンプリング領域ＣＳＡ内のみ、更新されるスルー画像はＬＣＤモニタ２６には表示されない。また、集中サンプリング領域ＣＳＡの形状は、四角形としたが、他の図形であってもよい。さらに、可視光通信では、可視光の点滅が識別できれば通信可能なため、集中サンプリング領域ＣＳＡに可視光が全て含まれている必要はない。

そして、可視光通信に必要な周期で点滅していれば、発信される情報（データ）のインデックス情報を取得すると共に、集中サンプリング領域ＣＳＡ内で、所定位置以上の輝度が検出される領域の重心を算出する。これは、算出した重心の座標に基づいて、アイコンを表示するためである。

たとえば、図３（Ｂ）において、可視光５４ａが可視光通信に必要な周期で点滅していれば、可視光５４ａの中心が重心Ｇとして算出され、取得したインデックス情報と共に、ＲＡＭ３０に記憶される。そして、集中サンプリング領域ＣＳＡにおいて、集中サンプリングが終了すると、算出された重心Ｇおよび取得されたインデックス情報に基づいて、アイコンＩＣａ（図４参照）が表示される。

このように、使用者は、被写界に存在する可視光を認識して、光源を撮影することができる。そして、使用者は、複数の光源が含まれるスルー画像において、可視光通信を行うための可視光通信源を認識することができる。

また、アイコンＩＣａが描画されると、上部Ｓからラスタスキャンを再開する。このとき、集中サンプリング領域ＣＳＡの領域座標をＲＡＭ３０に一時記憶しておき、集中サンプリング領域ＣＳＡがラスタスキャンされないようにする。そして、ラスタスキャンが再開されるときには、最新のスルー静止画像を利用する。つまり、最初にラスタスキャンを開始するために選択された任意のスルー静止画像は、最新のスルー静止画像に更新される。

図４は、ラスタスキャンが終了した後に表示されるＬＣＤモニタ２６に表示されるスルー画像を示す。図４を参照して、可視光５４ａにはアイコンＩＣａが重ねて表示され、可視光５４ｂにはアイコンＩＣｂが重ねて表示される。つまり、ＬＣＤモニタ２６には、可視光５４ａを発光する光源とアイコンＩＣａとが対応付けて表示され、可視光５４ｂを発光する光源とアイコンＩＣｂとが対応付けて表示される。なお、アイコンＩＣａおよびアイコンＩＣｂのそれぞれを区別する必要がない場合には、アイコンＩＣと言うことにする。

また、可視光５４ｃは、所定値以上の輝度でなかったため、アイコンＩＣが重ねて表示されない。ただし、可視光５４ｃを発光する光源が可視光通信源である場合に、使用者が、可視光５４ｃを発光する光源に近づき、スルー画像内に含まれる可視光５４ｃの輝度を所定値以上にすると、アイコンＩＣが重ねて表示されるようになる。

そして、ラスタスキャンが終了すると、再び任意に選択されたスルー静止画像に対してラスタスキャンを行う。これは、使用者が撮影する被写界は、常に変化するため、スルー画像に含まれる光源を表示する位置も変化するからである。つまり、スルー画像に含まれる光源を表示する位置の変化に応じて、表示するアイコンＩＣの表示位置も変化させるためである。

ここで、図４に示すアイコンＩＣａに対してタッチアンドリリースのタッチ操作が行われると、アイコンＩＣａに対応する可視光５４ａを発光する可視光通信源と可視光通信を行い、取得した情報（データ）に応じてＬＣＤモニタ２６の表示を切り替える。

図５は、可視光通信によって取得したデータをＬＣＤモニタ２６に表示する一実施例を示す図解図である。図５を参照して、可視光５４ａを発光する可視光通信源から天気予報のテキストデータが発信されている場合に、アイコンＩＣａに対してタッチアンドリリースされると、機能表示領域５２は天気予報のテキスト（文字列）が表示される。具体的には、アイコンＩＣａを表示するために用いた重心Ｇの座標に基づいて、集中サンプリングを行う。そして、可視光５４ａを発光する可視光通信源から発信されたテキストデータを受信すると、ＲＡＭ３０に一時記憶させ、その一時記憶したテキストデータを通信端末１０が備えるテキストビューワ機能によってＬＣＤモニタ２６に表示させる。これによって、使用者は、複数のアイコンＩＣを任意に選択するこができる。そして、使用者は、可視光通信源から発信された情報（データ）の内容を確認できるようになる。

なお、ＬＣＤモニタ２６は、図５で示すテキストビューワ機能を終了させる操作がされると、図４に示すスルー画像の表示に戻る。

また、本実施例では、可視光通信によって受信したデータに応じて、表示されるアイコンＩＣの種類（関連情報）が変化する。以下、アイコンＩＣの種類について、図６（Ａ）−（Ｂ）を利用して、説明する。

図６（Ａ）−（Ｃ）は、アイコンＩＣの種類を示す画像データの一例を示す図解図である。図６（Ａ）を参照して、アイコンＩＣ内の種類表示領域６０ａ内には、アルファベットの「Ｔ」が表示される。これは、テキスト（Ｔｅｘｔ）データの頭文字である「Ｔ」であり、図６（Ａ）に示すアイコンＩＣは、可視光通信によって得られるデータの種類がテキストデータであることを使用者に示す。続いて、図６（Ｂ）を参照して、アイコンＩＣの種類表示領域６０ｂ内には、三角形が描画される。これは、音楽プレイヤなどの再生キーに描画される三角形を意味する。つまり、図６（Ｂ）に示すアイコンＩＣは、可視光通信によって得られたデータの種類が音楽データであることを使用者に示す。続いて、図６（Ｃ）を参照して、アイコンＩＣ内の種類表示領域６０ｃ内には、図柄が描画されている。つまり、図６（Ｃ）に示すアイコンＩＣは、可視光通信によって得られるデータの種類が画像データであることを使用者に示す。なお、種類表示領域６０ａ−６０ｃのそれぞれを区別する必要がない場合には、種類表示領域６０と言うことにする。

たとえば、図４を参照して、アイコンＩＣａおよびアイコンＩＣｂに含まれる種類表示領域６０内には、アルファベットの「Ｔ」が表示されている。これは、アイコンＩＣａおよびアイコンＩＣｂのそれぞれに対応する可視光５４ａおよび可視光５４ｂを発光する各可視光通信源がテキストデータを発信していることを示す。このように、使用者は、アイコンＩＣを確認することで、可視光通信源が発信する情報（データ）の種類を容易に把握することができる。

なお、アイコンＩＣは、３種類だけに限らず４種類以上のさまざまな種類のアイコンの画像を備えるようにしてもよい。また、図６（Ａ）−（Ｃ）で示した種類表示領域６０に表示（描画）される文字列、図形および図柄は、他の文字列、図形および図柄であってもよい。また、可視光通信によって得られたデータの種類が特定できない場合には、種類表示領域６０を含まないアイコンＩＣが表示される。

ここで、表示されるアイコンＩＣの種類は、ＲＡＭ３０内に記憶される可視光通信源データに基づいて決定される。図７は、可視光通信源データのデータ構造を示す図解図である。図７を参照して、可視光通信源データは、「ＮＯ」の列、「座標」の列および「インデックス情報」の列から構成される。「ＮＯ」の列には、探索によって発見された順番を示す数字列が記憶されており、「１」は最初に発見された可視光通信源であることを示す。「座標」の列には、ＬＣＤモニタ２６内の表示座標における可視光通信源の位置を示す。つまり、「座標」の列には、算出した重心の座標が記憶される。なお、ＬＣＤモニタ２６の表示座標およびタッチパネル３４のタッチ位置座標の原点は左上端とする。つまり、横座標は左上端から右上端に進むにつれて大きくなり、縦座標は左上端から左下端に進むにつれて大きくなる。

「インデックス情報」の列は、さらに「拡張子」の列などを含む。「拡張子」の列には、可視光通信源から発信されるデータの種類を示す拡張子が記憶される。たとえば、テキストデータを示す拡張子である「ｔｘｔ」や、音楽データを示す拡張子である「ｗａｖ」などが、「拡張子」の列に記憶される。また、図示はされていないが、画像データを示す拡張子である「ｊｐｇ」も「拡張子」の列に記憶される。

たとえば、図４に示す可視光５４ａが、「ＮＯ」の列における「１」に対応する場合には、
（Ｘ，Ｙ）の座標は重心Ｇ（図３（Ｂ）参照）の座標であり、可視光５４ａを発光する可視光通信源から発信されるインデックス情報には、「ｔｘｔ」の拡張子データが含まれることが分かる。そして、表示されるアイコンＩＣの種類は、「拡張子」の列に基づいて決定される。つまり、図４に示すように、重心Ｇの座標（Ｘ，Ｙ）に基づいて、図６（Ａ）に示すアイコンＩＣが表示される
なお、インデックス情報には、可視光通信源が発信する情報（データ）のファイル名や、メタデータなどが含まれていてもよい。また、音楽データを示す拡張子としては、「ｗａｖ」だけに限らず、「ｍｐ３」および「ｍｉｄ」を含んでもよい。さらに、画像データを示す拡張子としては、「ｇｉｆ」および「ｂｍｐ」を含んでもよい。

ここで、ＬＣＤモニタ２６の表示を構成する複数のレイヤについて説明する。具体的には、２つのレイヤ（最下層、最上層）が重ねて設けられ、仮想空間において、始点側（使用者）に最上層が設けられ、始点から離れる方向に、最下層が配置される。本実施例では、最下層にはスルー画像が表示され、最上層にアイコンＩＣが表示される。これによって、図４に示すように、可視光５４ａに重なるようにアイコンＩＣａを容易に描画することができるようになる。なお、ＬＣＤモニタ２６の表示を構成するレイヤは３つ以上であってもよい。

図８は、ＲＡＭ３０のメモリマップを示す図解図である。図８を参照して、ＲＡＭ３０のメモリマップ３００には、プログラム記憶領域３０２およびデータ記憶領域３０４が含まれる。プログラムおよびデータの一部は、フラッシュメモリ２８から一度に全部または必要に応じて部分的にかつ順次的に読み出され、ＲＡＭ３０に記憶されてからＣＰＵ２０などで処理される。

プログラム記憶領域３０２は、通信端末１０を動作させるためのプログラムを記憶する。通信端末１０を動作させるためのプログラムは、可視光通信源探索プログラム３１０および光源選択プログラム３１２などによって構成される。

可視光通信源探索プログラム３１０は、スルー静止画像に対してラスタスキャンを行い可視光通信源を探索するプログラムである。光源選択プログラム３１２は、表示されたアイコンＩＣが選択されたときに、アイコンＩＣに対応する可視光通信源から情報（データ）を取得するプログラムである。

なお、図示は省略するが、通信端末１０を動作させるためのプログラムは、カメラアプリケーションプログラム、テキストビューワ機能プログラム、音楽プレイヤ機能プログラムおよび画像ビューワ機能プログラムなどを含む。

データ記憶領域３０４には、タッチバッファ３２０、スルー画像バッファ３２２、ラスタスキャンバッファ３２４、集中サンプリングバッファ３２６および可視光通信バッファ３２８が設けられる。また、データ記憶領域３０４には、タッチ座標マップデータ３３０、アイコンデータ３３２および可視光通信源データ３３４が記憶されるとともに、タッチフラグ３３６が設けられる。

タッチバッファ３２０は、タッチパネル３４によって検出されたタッチなどの入力結果を一時記憶するためのバッファであり、たとえばタッチ点およびリリース点の座標データを一時的に記憶する。スルー画像バッファ３２２は、カメラ制御回路３６から読み出されたＹＵＶ形式の画像データが一時的に記憶（一旦格納）されるバッファである。ラスタスキャンバッファ３２４は、スルー静止画像に対してラスタスキャンを行う場合に、そのスルー静止画像と現在の探索位置を示す座標とを一時的に記憶するためのバッファである。

集中サンプリングバッファ３２６は、集中サンプリング領域ＣＳＡを設定するための基準となる座標および集中サンプリング領域ＣＳＡの領域を示す座標（領域座標）を一時的に記憶するためのバッファである。可視光通信バッファ３２８は、可視光通信によって取得した情報（データ）を一時的に記憶するためのバッファである。

タッチ座標マップデータ３３０は、タッチパネル制御回路３２が特定するタッチパネル３４に対するタッチ点などの座標を、ＬＣＤモニタ２６の表示位置と対応付けるためのデータである。つまり、ＣＰＵ２０は、タッチ座標マップデータ３３０に基づいて、タッチパネル３４に対して行われたタッチ操作の結果をＬＣＤモニタ２６の表示に対応付けることができる。アイコンデータ３３２は、図６（Ａ）−（Ｃ）に示すアイコンの画像データである。

可視光通信源データ３３４は、図７に示した可視光通信源データであり、座標およびインデックス情報から構成される。タッチフラグ３３６は、タッチパネル３４にタッチしているか（触れているか）否かを判断するフラグである。たとえば、タッチフラグ３３６は、１ビットのレジスタで構成される。タッチフラグ３３６が成立（オン）されると、レジスタにはデータ値「１」が設定され、タッチフラグ３３６が不成立（オフ）されると、レジスタにはデータ値「０」が設定される。

なお、図示は省略するが、データ記憶領域３０４には、画像ファイルなどが記憶されるとともに、通信端末１０の動作に必要な他のカウンタやフラグも設けられる。また、各フラグは、初期状態で「０」が設定される。

ＣＰＵ２０は、ＳｙｍｂｉａｎまたはＬｉｎｕｘなどのリアルタイムＯＳの制御下で、図９に示す可視光源探索処理および図１０に示す光源選択処理などを含む複数のタスクを並列的に実行する。

たとえば、使用者がスルー画像を取得する操作を行うと、ステップＳ１では、スルー画像を取得する。つまり、カメラ制御回路３６から出力されたＹＵＶ形式の画像データをスルー画像バッファ３２２に一時記憶させる。続いて、ステップＳ３では、スルー静止画像をラスタスキャンする。つまり、スルー画像バッファ３２２に一時的に記憶されたスルー画像から任意に選択されたスルー静止画像をラスタスキャンバッファ３２４に一時的に記憶させ、そのスルー静止画像に対してラスタスキャンを開始する。

続いて、ステップＳ５では、所定値以上の輝度を検出したか否かを判断する。つまり、ラスタスキャンによって、スルー静止画像の１画素ごとに所定値以上の輝度であるか否かを判断する。ステップＳ５で“ＮＯ”であれば、つまり所定値以上の輝度を検出できなければ、ステップＳ２１に進む。一方、ステップＳ５で“ＹＥＳ”であれば、つまり所定値以上の輝度を検出すれば、ステップＳ７で集中サンプリングを行う。つまり、図３（Ａ），（Ｂ）のように、所定値以上の輝度が検出された画素の座標に基づいて、集中サンプリング領域ＣＳＡを設定し、その集中サンプリング領域ＣＳＡにおいて、スルー画像を更新する。

続いて、ステップＳ９では、可視光通信源か否かを判断する。つまり、設定された集中サンプリング領域ＣＳＡ内に含まれる光源が、可視光通信を行うための周波数で点滅しているか否かを判断する。ステップＳ９で“ＮＯ”であれば、つまり可視光通信源でなければ、ステップＳ２１に進む。一方、ステップＳ９で“ＹＥＳ”であれば、つまり可視光通信であれば、ステップＳ１１で可視光通信源の位置を算出する。たとえば、図３（Ｂ）に示すように、可視光通信源の位置として集中サンプリング領域ＣＳＡ内で重心Ｇの座標を算出する。ステップＳ１３では、近くに可視光通信源が在るか否かを判断する。つまり、ステップＳ１１で算出された重心の座標が、可視光通信源データ３４４内の「座標」の列に記憶される各座標において、閾値以内の距離に含まれるか否かを判断する。

具体的には、ステップＳ１１で算出された重心の座標と可視光通信源データ３４４内の「座標」の列に記憶される各座標との距離を三平方の定理によって算出する。そして、算出された距離のそれぞれが、閾値以下であるか判断される。なお、ステップＳ１１の処理を実行するＣＰＵ２０は、特定手段として機能する。

ステップＳ１３で“ＮＯ”あれば、つまり近くに可視光通信源がなければ、ステップＳ１５で、インデックス情報を取得する。つまり、可視光通信源から発信されるインデックス情報を受信し、ステップＳ１１で算出された重心の座標と、受信したインデックス情報とを可視光通信源データ３４４として記憶する。続いて、ステップＳ１７では、インデックス情報に基づいて、アイコンを表示する。つまり、可視光通信源データ３３４における「拡張子」の列において、最後に記憶された拡張子を読み出し、その読み出した拡張子に基づいてアイコンの種類を決定する。

たとえば、図７を参照して、「ＮＯ」の列において「１」が記憶される列が最後に記憶された行であれば、最後に記憶された拡張子は「ｔｘｔ」となり、ＣＰＵ２０は、アイコンＩＣの種類を図６（Ａ）に示すテキストのアイコンＩＣに決定する。さらに、「ｔｘｔ」に対応する「座標」の列には、重心Ｇの座標である（Ｘ，Ｙ）が記憶されるため、図４に示すように、アイコンＩＣａがＬＣＤモニタ２６に表示される。

なお、ステップＳ１７の処理を実行するＣＰＵ２０は、アイコン表示手段として機能し、ステップＳ１５およびステップＳ１７の処理を実行するＣＰＵ２０は、関連情報表示手段として機能する。

また、ステップＳ１３で“ＹＥＳ”であれば、つまり近くに可視光通信源があればステップＳ１９で、近くの可視光通信源の座標を更新し、ステップＳ１７に進む。つまり、近くの可視光通信源は、前回のラスタスキャンによって検出された可視光通信源であると判断される。そのため、ステップＳ１９では、再度インデックス情報を取得せず、可視光通信源の座標を更新する。たとえば、新たに算出された座標が（Ｘ’，Ｙ’）であり、図７に示す座標（Ｘ，Ｙ）との距離が閾値以内であれば、（Ｘ，Ｙ）の座標が（Ｘ’，Ｙ’）の座標に更新される。

ステップＳ２１では、ラスタスキャンが終了したか否かを判断する。つまり、所定値以上の輝度であるか否かを判断する画素の座標が、ＬＣＤモニタ２６の表示座標の右下端の座標であるか否かを判断する。ステップＳ２１で“ＮＯ”であれば、つまりラスタスキャンが終了していなければ、ラスタスキャンバッファ３２４から、ラスタスキャンによる現在の探索位置を示す座標を読み出して、ステップＳ３に戻る。そして、ステップＳ３では、読み出された座標からラスタスキャンを再開する。一方、ステップＳ２１で“ＹＥＳ”であれば、つまりラスタスキャンを終了すれば、ステップＳ１に戻る。

図１０は、先に説明した可視光通信源探索処理と並列的に処理される、光源選択処理を示すフロー図である。ＣＰＵ２０は、ステップＳ４１でタッチされたか否かを判断する。つまり、タッチフラグ３３６がオンになったか否かを判断する。ステップＳ４１で“ＮＯ”であれば、つまりタッチフラグ３３６がオフであれば、ステップＳ４１の処理を繰り返し実行する。一方、ステップＳ４１で“ＹＥＳ”であれば、つまりタッチフラグ３３６がオンであれば、ステップＳ４３でタッチ点を記憶する。つまり、タッチフラグ３３６がオンになることで検出されたタッチ点をタッチバッファ３２０に一時的に記憶させる。

続いて、ステップＳ４５では、アイコンＩＣが操作されたか否かを判断する。つまり、アイコンＩＣの表示座標内にタッチ点が含まれるか否かを判断する。ステップＳ４５で“ＮＯ”であれば、つまりアイコンＩＣが操作されなければ、ステップＳ５１に進む。一方、ステップＳ４５で“ＹＥＳ”であれば、つまりアイコンＩＣが操作されれば、ステップＳ４７で選択されたアイコンＩＣに対応する光源からデータを取得する。たとえば、図４に示すアイコンＩＣａが操作されると、集中サンプリング領域ＣＳＡを新たに設定し、アイコンＩＣａに対応する可視光通信源から発信される情報を受信する。そして、取得したデータを可視光通信バッファ３２８に一時的に記憶する。なお、アイコンＩＣの表示領域を集中サンプリング領域ＣＳＡとしてもよい。また、ステップＳ４７の処理を実行するＣＰＵ２０は、設定手段として機能する。

続いて、ステップＳ４９では、取得したデータに応じた処理を行い、光源選択処理を終了する。つまり、可視光通信バッファ３２８に一時的に記憶されたデータを読み出し、ＬＣＤモニタ２６に表示する。たとえば、取得（受信）したデータがテキストデータであれば、テキストビューワ機能によって、取得したテキストデータの内容をＬＣＤモニタ２６に表示する。また、取得したデータが音楽データであれば、音楽プレイヤ機能によって音楽データを再生する。さらに、取得したデータが画像データであれば、画像ビューワ機能によって画像データをＬＣＤモニタ２６に表示する。なお、ステップＳ４９の処理を実行するＣＰＵ２０は、データ表示手段として機能する。

また、ステップＳ４５で“ＮＯ”と判断されると、ステップＳ５１ではタッチに対応する処理を実行する。たとえば、タッチ点が示す座標を中心とする、スルー画像の拡大表示や縮小表示を行う。

なお、本実施例では、可視光通信源を発見する度に、アイコンＩＣを表示するようにしていたが、ラスタスキャンが終了してから、まとめてアイコンＩＣを表示するようにしてもよい。具体的には、図９に示す可視光通信源探索処理内のステップＳ１７をステップＳ２１で“ＹＥＳ”と判断された後に実行されるようにすればよい。これによって、ラスタスキャンが終了してから、インデックス情報に基づいて各アイコンＩＣが表示されるようになる。

以上の説明から分かるように、携帯端末１０は、カメラ制御回路３６およびイメージセンサ３８を備え、可視光通信源を含むスルー画像およびスルー静止画像を撮影する。また、可視光通信源を含むスルー静止画像は、ＬＣＤモニタ２６によって表示される。ＣＰＵ２０は、スルー静止画像に対してラスタスキャンを行い、スルー静止画像に含まれる可視光通信源の位置を特定し、特定した位置に基づいて、可視光通信源に対応するアイコンＩＣをＬＣＤモニタ２６に表示する。

これによって、使用者は、可視光通信を行うための可視光通信源に対応するアイコンＩＣを認識し、可視光通信源を容易に特定することができるようになる。

なお、本実施例では、スルー画像の更新周期は１０００ｆｐｓとしたが、ＣＰＵ２０の処理負荷を軽減させるために６０ｆｐｓとし、集中サンプリングを行うときのみ、更新周期を１０００ｆｐｓとするようにしてもよい。

また、赤外線光を撮影可能なイメージセンサ３８を備えることで、赤外線を発光する光源を利用して、可視光通信を行うようにしてもよい。また、イメージセンサ３８は、ＣＭＯＳイメージセンサではなく、ＣＣＤイメージセンサであってもよい。

また、インデックス情報の代わりに、拡張子の情報が含まれるヘッダ情報などを受信するようにしてもよい。さらに、拡張子の情報が含まれるインデックス情報が、可視光通信源から発信されていなければ、拡張子を含むファイル名からアイコンＩＣの種類を決定するようにしてもよい。

また、通信端末１０の通信方式には、ＣＤＭＡ方式に限らず、Ｗ‐ＣＤＭＡ方式、ＴＤＭＡ方式、ＰＨＳ方式およびＧＳＭ方式などを採用してもよい。通信端末１０のみに限らず、カメラアプリケーションを備えるＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｅｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）などの携帯情報端末などであってもよい。さらに、カメラアプリケーションを備えない通信端末１０に対して、ＷＥＢカメラやモバイルカメラなどを取り付け、カメラアプリケーションのソフトをインストールすることで、可視光通信を行えるようにしてもよい。

図１は本発明の通信端末を示すブロック図である。 図２は図１に示す通信端末の外観を示す図解図である。 図３は図１に示すＣＰＵによるラスタスキャンの処理の一例を示す図解図である。 図４は図１に示すＬＣＤモニタに表示されるスルー画像の位置表示例を示す図解図である。 図５は図１に示すＬＣＤモニタに表示されるデータの一例を示す図解図である。 図６は図１に示すＬＣＤモニタに表示されるアイコンの種類を示す図解図である。 図７は図１に示すＲＡＭに記憶される可視光通信源データの構成の一例を示す図解図である。 図８は図１に示すＲＡＭのメモリマップの一例を示す図解図である。 図９は図１に示すＣＰＵの可視光通信源探索処理を示すフロー図である。 図１０は図１に示すＣＰＵの光源選択処理を示すフロー図である。

符号の説明

１０ … 通信端末
２０ … ＣＰＵ
２２ … キー入力装置
２６ … ＬＣＤモニタ
３０ … ＲＡＭ
３４ … タッチパネル
３６ … カメラ制御回路
３８ … イメージセンサ

Claims (6)

1. 情報発信用光源を含む画像を撮影する撮影手段、
   前記撮影手段によって撮影された画像を表示する表示装置、
   前記画像に含まれる光源の位置を特定する特定手段、および
   前記特定手段によって特定された光源の位置にアイコンを表示するアイコン表示手段を備える、通信端末。
2. 前記光源から光信号を受信する受信手段、および
   前記設定手段によって設定された光源から送信される光信号に基づいて、関連情報を表示する関連情報表示手段を備える、請求項１記載の通信端末。
3. 前記表示装置に設けられ、タッチ反応領域内のタッチ操作を検出するタッチ操作検出手段、および
   前記タッチ操作検出手段によって検出されたタッチ操作が前記アイコンを選択する操作であるとき、前記アイコンに対応する光源からの光信号を取得するように設定する設定手段をさらに備える、請求項１または２記載の通信端末。
4. 前記設定手段によって設定された光源から送信される光信号に応じたデータを表示するデータ表示手段をさらに備える、請求項３記載の通信端末。
5. 前記光源は、可視光を放射する、請求項１ないし４のいずれかに記載の通信端末。
6. 情報発信用光源を含む画像を撮影する撮影手段および前記撮影手段によって撮影された画像を表示する表示装置を備える、通信端末のプロセサを、
   前記画像に含まれる光源の位置を特定する特定手段、および
   前記特定手段によって特定された光源の位置にアイコンを表示するアイコン表示手段として機能させる、情報発信源特定プログラム。

Images