JP2015136140A - communication terminal and communication program - Google Patents
communication terminal and communication program Download PDFInfo
- Publication number
- JP2015136140A JP2015136140A JP2015033644A JP2015033644A JP2015136140A JP 2015136140 A JP2015136140 A JP 2015136140A JP 2015033644 A JP2015033644 A JP 2015033644A JP 2015033644 A JP2015033644 A JP 2015033644A JP 2015136140 A JP2015136140 A JP 2015136140A
- Authority
- JP
- Japan
- Prior art keywords
- visible light
- icon
- image
- data
- light source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Optical Communication System (AREA)
- Telephone Function (AREA)
Abstract
Description
この発明は、通信端末に関し、特にたとえばデータ通信を行う、通信端末に関する。 The present invention relates to a communication terminal, and more particularly to a communication terminal that performs data communication, for example.
従来、特にたとえばデータ通信を行う、通信端末が知られており、この種の装置の一例が、特許文献1に開示されている。この背景技術の情報通信システムは、PCサーバ、コントロールユニット、情報ユニットおよび携帯端末から構成されており、PCサーバは、コントロールユニットに対して、情報ユニットにデータを出力させるように、指令を出す。この情報ユニットには複数の光ビーコンが配列されており、各光ビーコンは、自らを識別するIDデータを、点滅パターンに替えて発光することで、携帯端末に所定のデータを含むIDデータを送信する。そして、携帯端末は、各光ビーコンの点滅パターンに替えられた複数のIDデータをID認識カメラによって撮影することにより、複数のIDデータを受信することができる。
2. Description of the Related Art Conventionally, communication terminals that perform data communication, for example, are known, and an example of this type of device is disclosed in
しかし、特許文献1における情報通信システムでは、携帯端末が複数の光ビーコンを撮影する場合に、IDデータを受信する光ビーコンを1つに絞る(選択する)事ができない。また、従来の無線LANのように画像に光ビーコンのリストを表示し、任意の光ビーコンを選択可能なGUIを携帯端末に表示することで、IDデータを受信する光ビーコンを決定する方法が考えられるが、以下の問題が新たに発生する。
However, in the information communication system in
まず、携帯端末におけるインターフェースでは、複数の操作キーを利用してGUIを操作することが多いため、そのGUIの操作が煩雑である。さらに、表示されたリストと光ビーコンとを対応付けるために、リストに含まれる情報や表示される情報が多くなってしまい、GUIの操作が分かりづらくなってしまう。 First, in an interface in a mobile terminal, since the GUI is often operated using a plurality of operation keys, the operation of the GUI is complicated. Furthermore, since the displayed list and the optical beacon are associated with each other, information included in the list and displayed information increase, and it becomes difficult to understand the operation of the GUI.
それゆえに、この発明の主たる目的は、新規な、通信端末およびこのような通信端末のプロセサに適用される情報発信源特定プログラムを提供することである。 Therefore, a main object of the present invention is to provide a novel communication terminal and an information source specifying program applied to a processor of such a communication terminal.
この発明の他の目的は、可視光通信源を容易に特定することが可能な通信端末およびこのような通信端末のプロセサに適用される情報発信源特定プログラムを提供することである。 Another object of the present invention is to provide a communication terminal capable of easily specifying a visible light communication source and an information transmission source specifying program applied to a processor of such a communication terminal.
この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために記述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。 The present invention employs the following configuration in order to solve the above problems. The reference numerals in parentheses, supplementary explanations, and the like indicate the corresponding relationship with the embodiments described in order to help understanding of the present invention, and do not limit the present invention.
第1の発明は、情報発信用光源を含む画像を撮影する撮影手段、撮影手段によって撮影された画像を表示する表示装置、画像に含まれる光源の位置を特定する特定手段、および特定手段によって特定された光源の位置にアイコンを表示するアイコン表示手段を備える、通信端末である。 According to a first aspect of the present invention, there is provided a photographing means for photographing an image including a light source for information transmission, a display device for displaying an image photographed by the photographing means, a specifying means for specifying a position of a light source included in the image, and a specifying means The communication terminal includes icon display means for displaying an icon at the position of the light source.
第1の発明では、通信端末(10)の撮影手段(36,38)は、被写界に存在する情報発信用光源(可視光通信源)を含む画像(スルー画像、スルー静止画像)を撮影し、その撮影された画像は、LCDモニタなどの表示装置(26)に表示される。特定手段(20,S11)は、表示装置に表示される画像において、光源の位置(座標)を特定し、アイコン表示手段(20,S17)は、特定された光源の位置に基づいて、アイコンを表示する。これによって、表示装置には、光源に対応するアイコンが表示されるようになる。 In the first invention, the imaging means (36, 38) of the communication terminal (10) captures an image (through image, through still image) including an information transmission light source (visible light communication source) existing in the object scene. The photographed image is displayed on a display device (26) such as an LCD monitor. The specifying means (20, S11) specifies the position (coordinates) of the light source in the image displayed on the display device, and the icon display means (20, S17) displays an icon based on the specified position of the light source. indicate. As a result, an icon corresponding to the light source is displayed on the display device.
第1の発明によれば、可視光通信を行うための光源に対応するアイコンを表示することで、使用者に、可視光通信源を容易に特定させることができる。なお、本発明のアイコンには、図形、文言、記号、数字またはこれらの任意の組み合わせ等も含まれる。また、アイコンとしてプログラムと連動するものの他、プログラムと連動しない単なる表示であってもよい。 According to the first aspect, by displaying the icon corresponding to the light source for performing visible light communication, the user can easily identify the visible light communication source. Note that the icons of the present invention include graphics, words, symbols, numbers, or any combination thereof. In addition to an icon linked to the program, a simple display not linked to the program may be used.
第2の発明は、第1の発明に従属し、光源から光信号を受信する受信手段、および設定手段によって設定された光源から送信される光信号に基づいて、関連情報を表示する関連情報表示手段を備える。 The second invention is dependent on the first invention, and the related information display for displaying the related information based on the optical signal transmitted from the light source set by the receiving means and the setting means for receiving the optical signal from the light source. Means.
第2の発明では、イメージセンサ、カメラ制御回路およびCPUから構成される受信手段は、光源を撮影することで、光源からのインデックス情報などを含む光信号を受信する。関連情報表示手段(20,S15,S17)は、光信号に含まれるインデックス情報に基づいて、アイコン内の種類表示領域(60)に、受信した情報(データ)の種類を示す関連情報を表示する。また、情報の種類とは、テキストデータ、音楽データおよび画像データなどである。 In the second invention, the receiving means including the image sensor, the camera control circuit, and the CPU receives the optical signal including the index information from the light source by photographing the light source. The related information display means (20, S15, S17) displays related information indicating the type of received information (data) in the type display area (60) in the icon based on the index information included in the optical signal. . The information types include text data, music data, image data, and the like.
第2の発明によれば、使用者は、可視光通信源から発信される情報の種類を容易に把握できるようになる。 According to the second aspect, the user can easily grasp the type of information transmitted from the visible light communication source.
第3の発明は、第1の発明または第2の発明に従属し、表示装置に設けられ、タッチ反応領域内のタッチ操作を検出するタッチ操作検出手段、およびタッチ操作検出手段によって検出されたタッチ操作がアイコンを選択する操作であるとき、アイコンに対応する光源からの光信号を取得するように設定する設定手段をさらに備える。 A third invention is dependent on the first invention or the second invention, and is provided in the display device, the touch operation detecting means for detecting the touch operation in the touch reaction area, and the touch detected by the touch operation detecting means. When the operation is an operation of selecting an icon, setting means is further provided for setting so as to acquire an optical signal from a light source corresponding to the icon.
第3の発明では、表示装置に設けられるタッチ操作検出手段(34)は、タッチ反応領域内において、タッチおよびスライドなどのタッチ操作を検出する。そして、設定手段(20,S47)は、表示されたアイコンを選択するタッチ操作がされると、選択されたアイコンに対応する光源からの光信号を取得するように設定する。 In the third invention, the touch operation detecting means (34) provided in the display device detects touch operations such as touch and slide in the touch reaction area. And a setting means (20, S47) will set so that the optical signal from the light source corresponding to the selected icon may be acquired, if the touch operation which selects the displayed icon is performed.
第3の発明によれば、可視光通信によって情報を取得する光源を任意に選択できるようになる。 According to the third invention, it is possible to arbitrarily select a light source for acquiring information by visible light communication.
第4の発明は、第3の発明に従属し、設定手段によって設定された光源から送信される光信号に応じたデータを表示するデータ表示手段をさらに備える。 A fourth invention is dependent on the third invention, and further comprises data display means for displaying data corresponding to the optical signal transmitted from the light source set by the setting means.
第4の発明では、データ表示手段(20,S49)は、設定された可視光通信源がテキストデータを発信している場合に、テキストビューワ機能などによって、テキストデータの内容を表示する。 In the fourth invention, the data display means (20, S49) displays the contents of the text data by the text viewer function or the like when the set visible light communication source is transmitting the text data.
第4の発明によれば、使用者は、可視光通信源から発信された情報(データ)の内容を確認できるようになる。 According to the fourth aspect, the user can check the content of information (data) transmitted from the visible light communication source.
第5の発明は、第1の発明ないし第4の発明のいずれかに従属し、光源は、可視光を放射する。 A fifth invention is dependent on any one of the first to fourth inventions, and the light source emits visible light.
第5の発明では、蛍光灯およびLED照明などの光源から可視光(54a,54b,54c)が放射される。 In the fifth invention, visible light (54a, 54b, 54c) is radiated from a light source such as a fluorescent lamp and LED illumination.
第5の発明によれば、使用者は、被写界に存在する可視光を認識して、情報発信用光源を撮影することができる。 According to the fifth aspect, the user can recognize the visible light existing in the object scene and photograph the information transmission light source.
第6の発明は、情報発信用光源を含む画像を撮影する撮影手段(36,38)および撮影手段によって撮影された画像を表示する表示装置(26)を備える、通信端末のプロセサを、画像に含まれる光源の位置を特定する特定手段(S11)、および特定手段によって特定された光源の位置にアイコンを表示するアイコン表示手段(S17)として機能させる、情報発信源特定プログラムである。 According to a sixth aspect of the present invention, there is provided a communication terminal processor including an imaging unit (36, 38) for imaging an image including an information transmission light source and a display device (26) for displaying an image captured by the imaging unit. An information transmission source specifying program that functions as specifying means (S11) for specifying the position of the included light source and icon display means (S17) for displaying an icon at the position of the light source specified by the specifying means.
第6の発明でも、第1の発明と同様に、可視光通信を行うための光源に対応するアイコンを表示することで、使用者に可視光通信源の位置を容易に特定させることができるようになる。 In the sixth invention, similarly to the first invention, by displaying an icon corresponding to the light source for performing visible light communication, the user can easily identify the position of the visible light communication source. become.
この発明によれば、使用者は、表示装置に表示されるアイコンによって、可視光通信源を容易に特定できるようになる。 According to the present invention, the user can easily identify the visible light communication source by the icon displayed on the display device.
この発明の上述の目的、その他の目的、特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。 The above object, other objects, features, and advantages of the present invention will become more apparent from the following detailed description of embodiments with reference to the drawings.
図1を参照して、通信端末10は、CPU(プロセサまたはコンピュータと呼ばれることもある。)20、キー入力装置22およびタッチパネル制御回路32によって制御されるタッチパネル(タッチ操作検出手段)34を含む。CPU20は、CDMA方式に対応する無線通信回路14を制御して発呼信号を出力する。出力された発呼信号は、アンテナ12から送出され、基地局を含む移動通信網に送信される。通話相手が応答操作を行うと
、通話可能状態が確立される。
Referring to FIG. 1,
通話可能状態に移行した後にキー入力装置22またはタッチパネル34によって通話終了操作が行われると、CPU20は、無線通信回路14を制御して、通話相手に通話終了信号を送信する。通話終了信号の送信後、CPU20は、通話処理を終了する。先に通話相手から通話終了信号を受信した場合も、CPU20は、通話処理を終了する。また、通話相手によらず、移動通信網から通話終了信号を受信した場合も、CPU20は通話処理を終了する。
When a call end operation is performed by the
通信端末10が起動している状態で通話相手からの発呼信号がアンテナ12によって捉えられると、無線通信回路14は、着信をCPU20に通知する。CPU20は、LCDドライバ24によって表示装置であるLCDモニタ26を制御し、着信通知に記述された発信元情報をLCDモニタ26に表示させる。また、CPU20は、図示しない着信通知用のスピーカから着信音を出力させる。
When the call signal from the other party is captured by the
通話可能状態では、次のような処理が実行される。通話相手から送られてきた変調音声信号(高周波信号)は、アンテナ12によって受信される。受信された変調音声信号は、無線通信回路14によって復調処理および復号処理を施される。これによって得られた受話音声信号は、スピーカ18から出力される。マイク16によって取り込まれた送話音声信号は、無線通信回路14によって符号化処理および変調処理を施される。これによって、生成された変調音声信号は、上述と同様、アンテナ12を利用して通話相手に送信される。
In the call ready state, the following processing is executed. The modulated audio signal (high frequency signal) sent from the other party is received by the
タッチパネル34は、LCDモニタ26の画面内の任意の位置を使用者が指示するためのポインティングデバイスである。タッチパネル34は、その上面を指で、押したり、スライドしたり(撫でたり)、触られたりすることにより操作されると、その操作を検出する。そして、タッチパネル34がタッチを検出すると、タッチパネル制御回路32は、その操作の位置を特定し、操作された操作位置の座標データをCPU20に出力する。つまり、使用者は、タッチパネル34の上面を指で、押したり、スライドしたり(擦ったり)、触れたりすることによって、操作の方向や図形などを通信端末10に入力することができる。
The
また、タッチパネル34は、指がタッチパネル34の表面に接近して生じた電極間の静電容量の変化を検出する静電容量方式と呼ばれる方式で、1本または複数本の指がタッチパネル34に触れたことを検出する。具体的には、このタッチパネル34には、透明フィルムなどに電極パターンを形成することで、指が接近して生じた電極間の静電容量の変化を検出する、投影型の静電容量方式が採用されている。なお、検出方式には、表面型の静電容量方式が採用されてもよいし、抵抗膜方式、超音波方式、赤外線方式および電磁誘導方式などであってもよい。
The
ここで、使用者がタッチパネル34の上面を指で触れる操作を「タッチ」と言うことにする。一方、タッチパネル34から指を離す操作を「リリース」と言うことにする。また、タッチパネル34の表面を擦る操作を「スライド」と言うことにする。そして、タッチによって示された座標を「タッチ点」、リリースによって示された操作の終了位置の座標を「リリース点」と言うことにする。さらに、使用者がタッチパネル34の上面をタッチして、続けてリリースする操作を「タッチアンドリリース」と言うことにする。そして、タッチ、リリース、スライドおよびタッチアンドリリースなどのタッチパネル34に対して行う操作を、総じて「タッチ操作」と言うことにする。なお、タッチパネル34に対する操作は、指だけに限らずペンなどの先が細い形状をした棒で行うようにしてもよい。また、操作を行うために、専用のタッチペンなどを備えるようにしてもよい。そして、指を
使ってタッチする場合のタッチ点は、タッチパネル34に触れている指の面積における重心がタッチ点となる。
Here, an operation in which the user touches the upper surface of the
また、通信端末10は、カメラアプリケーションを実行することが可能である。カメラアプリケーションは、オートフォーカス処理によって、被写体にピントの合った写真画像データを記憶する。具体的には、キー入力装置22またはタッチパネル34によってカメラアプリケーションを実行する操作が行われると、CPU20は、カメラ制御回路36にカメラアプリケーションを実行するために必要な命令を与える。カメラ制御回路36は、イメージセンサ38およびフォーカスレンズ40を制御し、イメージセンサ38によって取得された披写界の光学像を写真画像データに変換する。そして、CPU20は、カメラ制御回路36から得られる、被写体にピントを合わせた写真画像データを圧縮画像データに変換してフラッシュメモリ28に記憶する。また、このカメラアプリケーションでは、撮影する写真画像のサイズをWQVGA(240×400)、VGA(640×480)およびUXGA(1600×1200)から選択することが可能である。もちろん、本発明のカメラアプリケーションにて、撮影する写真画像のサイズは、これらに限定されるものではなく、適宜他のサイズであってもよい。
The
また、カメラアプリケーションが実行された状態では、被写界のリアルタイム動画像(以下、スルー画像と言う)をLCDモニタ26に表示させる処理を行う。具体的には、CPU20は、カメラ制御回路36に内蔵されるイメージセンサドライバを起動させ、露光動作および指定された読み出し領域に対応する電荷読み出し動作をイメージセンサドライバに命令する。
Further, in a state where the camera application is executed, a process of displaying a real-time moving image of the object scene (hereinafter referred to as a through image) on the
イメージセンサドライバは、イメージセンサ38の撮像面の露光と当該露光によって生成された電荷の読み出しとを実行する。この結果、生画像信号が、イメージセンサ38から出力される。また、イメージセンサ38から出力された生画像信号は、カメラ制御回路36に入力される。カメラ制御回路36は、入力された生画像信号に対して、色分離、白バランス調整、YUV変換などの処理を施しYUV形式の画像データを生成する。そして、CPU20は、YUV形式の画像データが入力される。なお、YUV形式の画像データにおいて、Yは輝度を意味し、Uは青色から輝度を引いた色差を意味し、Vは赤色から輝度を引いた色差を意味する。つまり、YUV形式の画像データは、輝度信号(Y)データと青色の色差信号(U)データと赤色の色差信号(V)データとから構成される。
The image sensor driver performs exposure of the imaging surface of the
このYUV形式の画像データは、CPU20によってRAM30に一旦格納される。YUV形式の画像データがRAM30に格納されると、格納されたYUV形式の画像データは、CPU20を介して、RAM30からLCDドライバ24に与えられる。また同時に、CPU20は、RAM30に格納されたカメラ設定の表示位置に対応する間引き読み出し命令をLCDドライバ24に発行する。そして、LCDドライバ24は、CPU20から発行された間引き読み出し命令に従ってYUV形式の画像データをLCDモニタ26に出力する。よって、被写界を表す低解像度のスルー画像がLCDモニタ26に再現される。
The YUV format image data is temporarily stored in the
なお、スルー画像の更新周期は1000fpsであり、イメージセンサ38は、高速で生画像信号を出力することができるCMOSイメージセンサである。
Note that the through image update cycle is 1000 fps, and the
図2(A),(B)は通信端末10の外観を示す図解図である。また、図2(A)は通信端末10の表面外観図であり、図2(B)は通信端末10の裏面外観図である。図2(A)を参照して、通信端末10は、板状に形成されたケースCを有する。図2(A)では図示しないマイク16およびスピーカ18は、ケースCに内蔵される。内蔵されたマイク16に通じる開口OP2は、ケースCの長さ方向一方の主面に設けられ、内蔵されたスピ
ーカ18に通じる開口OP1は、ケースCの長さ方向他方の主面に設けられる。つまり、使用者は、開口OP1を通じてスピーカ18から出力される音を聞き、開口OP2を通じてマイク16に音声を入力する。
2A and 2B are illustrative views showing the appearance of the
キー入力装置22は、通話キー22a、メニューキー22bおよび終話キー22cの3種類のキーを含み、それぞれのキーは、ケースCの主面に設けられる。LCDモニタ26は、モニタ画面がケースCの主面に露出するように取り付けられる。さらにLCDモニタ26の上面には、タッチパネル34が設けられる。
The
使用者は、通話キー22aを操作することで応答操作を行い、終話キー22cを操作することで通話終了操作を行う。さらに、使用者は、メニューキー22bを操作することで、メニュー画面をLCDモニタ26に表示させる。そして、終話キー22cを長押しすることで通信端末10の電源オン/オフ操作を行うことができる。
The user performs a response operation by operating the call key 22a, and performs a call end operation by operating the call end key 22c. Further, the user operates the menu key 22b to display the menu screen on the
また、図2(B)を参照して、図2(B)では図示しないイメージセンサ38およびフォーカスレンズ40は、ケースCに内蔵されており、内蔵されたイメージセンサ38およびフォーカスレンズ40に通じる開口OP3は、ケースCの長さ方向他方の他面に設けられる。つまり、使用者は、LCDモニタ26の裏側に設けられた開口OP3を被写体に向けることで、被写体を含むスルー画像をLCDモニタ26によって確認することができる。なお、開口OP3は、透明なプラスチックカバーなどで覆われていてもよい。
Referring to FIG. 2B, the
ここで、本実施例では、情報発信用光源である可視光通信源を、撮影手段である、カメラ制御回路36およびイメージセンサ38によって撮影することで可視光通信を行う。なお、CPU20によって制御されるカメラ制御回路36およびイメージセンサ38は、可視光通信における受信手段として機能する。
Here, in this embodiment, visible light communication is performed by photographing a visible light communication source, which is an information transmission light source, by a
具体的には、スルー画像に含まれる所定値以上の輝度で発光(放射)する光源に対して、可視光通信源であるか否かを判断し、可視光通信源であれば、アイコンをLCDモニタ26に表示する。そして、表示されたアイコンをタッチアンドリリースなどのタッチ操作によって選択することで、情報(データ)を受信する可視光通信源を決定することができる。
Specifically, it is determined whether or not the light source that emits (emits) light with a luminance equal to or higher than a predetermined value included in the through image is a visible light communication source. Displayed on the
まず、スルー画像に含まれる可視光通信源を検出する手順について説明する。ここでは、スルー画像内において可視光通信源を検出するために、左上端からラスタスキャンを行い、所定値以上の輝度の可視光を検出する。また、ラスタスキャンがされるスルー画像は、動画ではなく任意に選択された静止画である。以下、スルー画像を構成する各静止画像を、スルー静止画像と言うことにする。 First, a procedure for detecting a visible light communication source included in a through image will be described. Here, in order to detect a visible light communication source in the through image, a raster scan is performed from the upper left end, and visible light having a luminance of a predetermined value or more is detected. In addition, the through image to be raster scanned is not a moving image but an arbitrarily selected still image. Hereinafter, each still image constituting the through image is referred to as a through still image.
図3(A)は、カメラアプリケーションによって撮影されたスルー画像を表示するLCDモニタ26の表示例を示す図解図である。図3(A)を参照して、LCDモニタ26は、状態表示領域50および機能表示領域52を含む。状態表示領域50には、アンテナ12による電波受信状態、充電池の残電池容量および現在日時などが表示される。そして、機能表示領域52には、カメラアプリケーションによって撮影されたスルー画像が表示されている。
FIG. 3A is an illustrative view showing a display example of the
図3(A)に示すスルー画像には、複数の光源が含まれており、複数の光源のそれぞれは、光信号を含む可視光を発光している。以下、複数の光源のそれぞれが発光した可視光を、可視光54a、可視光54bおよび可視光54cと言うことにする。また、図3(A)に示す可視光54aおよび可視光54bは、ほぼ同じ輝度である。しかし、可視光54cの輝度は、可視光54aおよび可視光54bの輝度より低い。なお、複数の光源は、蛍
光灯であるが、LED照明および有機EL照明などの可視光通信に利用可能な照明であれば、他の照明器具であってもよい。
The through image illustrated in FIG. 3A includes a plurality of light sources, and each of the plurality of light sources emits visible light including an optical signal. Hereinafter, visible light emitted from each of the plurality of light sources is referred to as
なお、図3(A)では、可視光54a、可視光54bおよび可視光54cは、簡単のため円で示されている。また、図3(A)で示す状態表示領域50、機能表示領域52および可視光54a−54cについては、他の図面でも同様であるため、他の図面では簡単のために、詳細な説明を省略する。
In FIG. 3A,
そして、スルー静止画像に対してラスタスキャンがされ、所定値以上の輝度で発光する光源が探索される。さらに、ラスタスキャンによって所定位置以上の輝度で発光する光源が発見されると、集中サンプリングによって可視光通信源であるか否かが判断される。なお、ラスタスキャンでは、1画素ごとに輝度信号データに基づいて、所定値以上の輝度であるか否かを判断することで、所定値以上の輝度の可視光を探索する。たとえば、可視光54aの輝度が所定位置以上であれば、可視光54aの上部S(図3(B)参照)まで探索されると、可視光54aの上部Sから一定の範囲において集中サンプリングが行われる。
Then, a raster scan is performed on the through still image, and a light source that emits light with a luminance equal to or higher than a predetermined value is searched. Further, when a light source that emits light with a luminance of a predetermined position or higher is found by raster scanning, it is determined by concentrated sampling whether the light source is a visible light communication source. In the raster scan, the visible light having the luminance equal to or higher than the predetermined value is searched by determining whether the luminance is higher than the predetermined value based on the luminance signal data for each pixel. For example, if the luminance of the
図3(B)は、図3(A)領域Aにおいて、集中サンプリングが行われる様子を示す図解図である。図3(B)を参照して、ラスタスキャンによる現在の探索位置を示す上部Sが或る一辺の中点となるようにして、四角形の集中サンプリング領域CSAが設定される。つまり、上部Sを基準として、集中サンプリング領域CSAが設定される。そして、集中サンプリング領域CSA内のみ、スルー画像を更新し、可視光54aが可視光通信に必要な周期で点滅しているか否かを判断する。
FIG. 3B is an illustrative view showing a state in which concentrated sampling is performed in region A in FIG. Referring to FIG. 3B, a rectangular concentrated sampling area CSA is set such that the upper part S indicating the current search position by the raster scan is the midpoint of a certain side. That is, the concentrated sampling area CSA is set with the upper part S as a reference. Then, the through image is updated only in the concentrated sampling area CSA, and it is determined whether or not the
なお、集中サンプリング領域CSA内のみ、更新されるスルー画像はLCDモニタ26には表示されない。また、集中サンプリング領域CSAの形状は、四角形としたが、他の図形であってもよい。さらに、可視光通信では、可視光の点滅が識別できれば通信可能なため、集中サンプリング領域CSAに可視光が全て含まれている必要はない。
Note that the updated through image is not displayed on the
そして、可視光通信に必要な周期で点滅していれば、発信される情報(データ)のインデックス情報を取得すると共に、集中サンプリング領域CSA内で、所定位置以上の輝度が検出される領域の重心を算出する。これは、算出した重心の座標に基づいて、アイコンを表示するためである。 And if it blinks with the period required for visible light communication, while acquiring the index information of the transmitted information (data), the center of gravity of the area where the luminance above the predetermined position is detected in the concentrated sampling area CSA Is calculated. This is because an icon is displayed based on the calculated coordinates of the center of gravity.
たとえば、図3(B)において、可視光54aが可視光通信に必要な周期で点滅していれば、可視光54aの中心が重心Gとして算出され、取得したインデックス情報と共に、RAM30に記憶される。そして、集中サンプリング領域CSAにおいて、集中サンプリングが終了すると、算出された重心Gおよび取得されたインデックス情報に基づいて、アイコンICa(図4参照)が表示される。
For example, in FIG. 3B, if the
このように、使用者は、被写界に存在する可視光を認識して、光源を撮影することができる。そして、使用者は、複数の光源が含まれるスルー画像において、可視光通信を行うための可視光通信源を認識することができる。 As described above, the user can recognize the visible light existing in the object scene and photograph the light source. And the user can recognize the visible light communication source for performing visible light communication in the through image including a plurality of light sources.
また、アイコンICaが描画されると、上部Sからラスタスキャンを再開する。このとき、集中サンプリング領域CSAの領域座標をRAM30に一時記憶しておき、集中サンプリング領域CSAがラスタスキャンされないようにする。そして、ラスタスキャンが再開されるときには、最新のスルー静止画像を利用する。つまり、最初にラスタスキャンを開始するために選択された任意のスルー静止画像は、最新のスルー静止画像に更新される。
When the icon ICa is drawn, the raster scan is restarted from the upper part S. At this time, the area coordinates of the concentrated sampling area CSA are temporarily stored in the
図4は、ラスタスキャンが終了した後に表示されるLCDモニタ26に表示されるスルー画像を示す。図4を参照して、可視光54aにはアイコンICaが重ねて表示され、可視光54bにはアイコンICbが重ねて表示される。つまり、LCDモニタ26には、可視光54aを発光する光源とアイコンICaとが対応付けて表示され、可視光54bを発光する光源とアイコンICbとが対応付けて表示される。なお、アイコンICaおよびアイコンICbのそれぞれを区別する必要がない場合には、アイコンICと言うことにする。
FIG. 4 shows a through image displayed on the
また、可視光54cは、所定値以上の輝度でなかったため、アイコンICが重ねて表示されない。ただし、可視光54cを発光する光源が可視光通信源である場合に、使用者が、可視光54cを発光する光源に近づき、スルー画像内に含まれる可視光54cの輝度を所定値以上にすると、アイコンICが重ねて表示されるようになる。
Further, since the
そして、ラスタスキャンが終了すると、再び任意に選択されたスルー静止画像に対してラスタスキャンを行う。これは、使用者が撮影する被写界は、常に変化するため、スルー画像に含まれる光源を表示する位置も変化するからである。つまり、スルー画像に含まれる光源を表示する位置の変化に応じて、表示するアイコンICの表示位置も変化させるためである。 When the raster scan is completed, the raster scan is performed again on the arbitrarily selected through still image. This is because the scene where the user shoots constantly changes, so the position for displaying the light source included in the through image also changes. That is, the display position of the icon IC to be displayed is also changed in accordance with the change in the position where the light source included in the through image is displayed.
ここで、図4に示すアイコンICaに対してタッチアンドリリースのタッチ操作が行われると、アイコンICaに対応する可視光54aを発光する可視光通信源と可視光通信を行い、取得した情報(データ)に応じてLCDモニタ26の表示を切り替える。
Here, when a touch-and-release touch operation is performed on the icon ICa shown in FIG. 4, visible light communication is performed with a visible light communication source that emits
図5は、可視光通信によって取得したデータをLCDモニタ26に表示する一実施例を示す図解図である。図5を参照して、可視光54aを発光する可視光通信源から天気予報のテキストデータが発信されている場合に、アイコンICaに対してタッチアンドリリースされると、機能表示領域52は天気予報のテキスト(文字列)が表示される。具体的には、アイコンICaを表示するために用いた重心Gの座標に基づいて、集中サンプリングを行う。そして、可視光54aを発光する可視光通信源から発信されたテキストデータを受信すると、RAM30に一時記憶させ、その一時記憶したテキストデータを通信端末10が備えるテキストビューワ機能によってLCDモニタ26に表示させる。これによって、使用者は、複数のアイコンICを任意に選択するこができる。そして、使用者は、可視光通信源から発信された情報(データ)の内容を確認できるようになる。
FIG. 5 is an illustrative view showing an embodiment in which data acquired by visible light communication is displayed on the
なお、LCDモニタ26は、図5で示すテキストビューワ機能を終了させる操作がされると、図4に示すスルー画像の表示に戻る。
Note that when the
また、本実施例では、可視光通信によって受信したデータに応じて、表示されるアイコンICの種類(関連情報)が変化する。
以下、アイコンICの種類について、図6(A)−(B)を利用して、説明する。
In this embodiment, the type (related information) of the displayed icon IC changes according to data received by visible light communication.
Hereinafter, the types of icon ICs will be described with reference to FIGS.
図6(A)−(C)は、アイコンICの種類を示す画像データの一例を示す図解図である。図6(A)を参照して、アイコンIC内の種類表示領域60a内には、アルファベットの「T」が表示される。これは、テキスト(Text)データの頭文字である「T」であり、図6(A)に示すアイコンICは、可視光通信によって得られるデータの種類がテキストデータであることを使用者に示す。続いて、図6(B)を参照して、アイコンICの種類表示領域60b内には、三角形が描画される。これは、音楽プレイヤなどの再生キーに描画される三角形を意味する。つまり、図6(B)に示すアイコンICは、可視光通信によって得られたデータの種類が音楽データであることを使用者に示す。続いて、図6
(C)を参照して、アイコンIC内の種類表示領域60c内には、図柄が描画されている。つまり、図6(C)に示すアイコンICは、可視光通信によって得られるデータの種類が画像データであることを使用者に示す。なお、種類表示領域60a−60cのそれぞれを区別する必要がない場合には、種類表示領域60と言うことにする。
FIGS. 6A to 6C are illustrative views showing an example of image data indicating the type of icon IC. Referring to FIG. 6A, alphabet “T” is displayed in
Referring to (C), a symbol is drawn in the
たとえば、図4を参照して、アイコンICaおよびアイコンICbに含まれる種類表示領域60内には、アルファベットの「T」が表示されている。これは、アイコンICaおよびアイコンICbのそれぞれに対応する可視光54aおよび可視光54bを発光する各可視光通信源がテキストデータを発信していることを示す。このように、使用者は、アイコンICを確認することで、可視光通信源が発信する情報(データ)の種類を容易に把握することができる。
For example, referring to FIG. 4, alphabet “T” is displayed in type display area 60 included in icon ICa and icon ICb. This indicates that each visible light communication source that emits
なお、アイコンICは、3種類だけに限らず4種類以上のさまざまな種類のアイコンの画像を備えるようにしてもよい。また、図6(A)−(C)で示した種類表示領域60に表示(描画)される文字列、図形および図柄は、他の文字列、図形および図柄であってもよい。また、可視光通信によって得られたデータの種類が特定できない場合には、種類表示領域60を含まないアイコンICが表示される。 Note that the icon IC is not limited to only three types, and may include four or more types of icon images. Moreover, the character string, figure, and symbol displayed (drawn) in the type display area 60 shown in FIGS. 6A to 6C may be other character strings, graphics, and symbols. If the type of data obtained by visible light communication cannot be specified, an icon IC that does not include the type display area 60 is displayed.
ここで、表示されるアイコンICの種類は、RAM30内に記憶される可視光通信源データに基づいて決定される。図7は、可視光通信源データのデータ構造を示す図解図である。図7を参照して、可視光通信源データは、「NO」の列、「座標」の列および「インデックス情報」の列から構成される。「NO」の列には、探索によって発見された順番を示す数字列が記憶されており、「1」は最初に発見された可視光通信源であることを示す。「座標」の列には、LCDモニタ26内の表示座標における可視光通信源の位置を示す。つまり、「座標」の列には、算出した重心の座標が記憶される。なお、LCDモニタ26の表示座標およびタッチパネル34のタッチ位置座標の原点は左上端とする。つまり、横座標は左上端から右上端に進むにつれて大きくなり、縦座標は左上端から左下端に進むにつれて大きくなる。
Here, the type of icon IC to be displayed is determined based on visible light communication source data stored in the
「インデックス情報」の列は、さらに「拡張子」の列などを含む。「拡張子」の列には、可視光通信源から発信されるデータの種類を示す拡張子が記憶される。たとえば、テキストデータを示す拡張子である「txt」や、音楽データを示す拡張子である「wav」などが、「拡張子」の列に記憶される。また、図示はされていないが、画像データを示す拡張子である「jpg」も「拡張子」の列に記憶される。 The “index information” column further includes an “extension” column and the like. In the “extension” column, an extension indicating the type of data transmitted from the visible light communication source is stored. For example, “txt” which is an extension indicating text data, “wav” which is an extension indicating music data, and the like are stored in the “extension” column. Although not shown, “jpg”, which is an extension indicating image data, is also stored in the “extension” column.
たとえば、図4に示す可視光54aが、「NO」の列における「1」に対応する場合には、(X,Y)の座標は重心G(図3(B)参照)の座標であり、可視光54aを発光する可視光通信源から発信されるインデックス情報には、「txt」の拡張子データが含まれることが分かる。そして、表示されるアイコンICの種類は、「拡張子」の列に基づいて決定される。つまり、図4に示すように、重心Gの座標(X,Y)に基づいて、図6(A)に示すアイコンICが表示される なお、インデックス情報には、可視光通信源が発信する情報(データ)のファイル名や、メタデータなどが含まれていてもよい。また、音楽データを示す拡張子としては、「wav」だけに限らず、「mp3」および「mid」を含んでもよい。さらに、画像データを示す拡張子としては、「gif」および「bmp」を含んでもよい。
For example, when the
ここで、LCDモニタ26の表示を構成する複数のレイヤについて説明する。具体的には、2つのレイヤ(最下層、最上層)が重ねて設けられ、仮想空間において、始点側(使用者)に最上層が設けられ、始点から離れる方向に、最下層が配置される。本実施例では、最下層にはスルー画像が表示され、最上層にアイコンICが表示される。これによって
、図4に示すように、可視光54aに重なるようにアイコンICaを容易に描画することができるようになる。なお、LCDモニタ26の表示を構成するレイヤは3つ以上であってもよい。
Here, a plurality of layers constituting the display of the
図8は、RAM30のメモリマップを示す図解図である。図8を参照して、RAM30のメモリマップ300には、プログラム記憶領域302およびデータ記憶領域304が含まれる。プログラムおよびデータの一部は、フラッシュメモリ28から一度に全部または必要に応じて部分的にかつ順次的に読み出され、RAM30に記憶されてからCPU20などで処理される。
FIG. 8 is an illustrative view showing a memory map of the
プログラム記憶領域302は、通信端末10を動作させるためのプログラムを記憶する。通信端末10を動作させるためのプログラムは、可視光通信源探索プログラム310および光源選択プログラム312などによって構成される。
The
可視光通信源探索プログラム310は、スルー静止画像に対してラスタスキャンを行い可視光通信源を探索するプログラムである。光源選択プログラム312は、表示されたアイコンICが選択されたときに、アイコンICに対応する可視光通信源から情報(データ)を取得するプログラムである。
The visible light communication
なお、図示は省略するが、通信端末10を動作させるためのプログラムは、カメラアプリケーションプログラム、テキストビューワ機能プログラム、音楽プレイヤ機能プログラムおよび画像ビューワ機能プログラムなどを含む。
Although illustration is omitted, programs for operating the
データ記憶領域304には、タッチバッファ320、スルー画像バッファ322、ラスタスキャンバッファ324、集中サンプリングバッファ326および可視光通信バッファ328が設けられる。また、データ記憶領域304には、タッチ座標マップデータ330、アイコンデータ332および可視光通信源データ334が記憶されるとともに、タッチフラグ336が設けられる。
In the
タッチバッファ320は、タッチパネル34によって検出されたタッチなどの入力結果を一時記憶するためのバッファであり、たとえばタッチ点およびリリース点の座標データを一時的に記憶する。スルー画像バッファ322は、カメラ制御回路36から読み出されたYUV形式の画像データが一時的に記憶(一旦格納)されるバッファである。ラスタスキャンバッファ324は、スルー静止画像に対してラスタスキャンを行う場合に、そのスルー静止画像と現在の探索位置を示す座標とを一時的に記憶するためのバッファである。
The
集中サンプリングバッファ326は、集中サンプリング領域CSAを設定するための基準となる座標および集中サンプリング領域CSAの領域を示す座標(領域座標)を一時的に記憶するためのバッファである。可視光通信バッファ328は、可視光通信によって取得した情報(データ)を一時的に記憶するためのバッファである。
The
タッチ座標マップデータ330は、タッチパネル制御回路32が特定するタッチパネル34に対するタッチ点などの座標を、LCDモニタ26の表示位置と対応付けるためのデータである。つまり、CPU20は、タッチ座標マップデータ330に基づいて、タッチパネル34に対して行われたタッチ操作の結果をLCDモニタ26の表示に対応付けることができる。アイコンデータ332は、図6(A)−(C)に示すアイコンの画像データである。
The touch coordinate
可視光通信源データ334は、図7に示した可視光通信源データであり、座標およびインデックス情報から構成される。タッチフラグ336は、タッチパネル34にタッチして
いるか(触れているか)否かを判断するフラグである。たとえば、タッチフラグ336は、1ビットのレジスタで構成される。タッチフラグ336が成立(オン)されると、レジスタにはデータ値「1」が設定され、タッチフラグ336が不成立(オフ)されると、レジスタにはデータ値「0」が設定される。
The visible light
なお、図示は省略するが、データ記憶領域304には、画像ファイルなどが記憶されるとともに、通信端末10の動作に必要な他のカウンタやフラグも設けられる。また、各フラグは、初期状態で「0」が設定される。
Although illustration is omitted, the
CPU20は、SymbianまたはLinux(登録商標)などのリアルタイムOSの制御下で、図9に示す可視光源探索処理および図10に示す光源選択処理などを含む複数のタスクを並列的に実行する。
The
たとえば、使用者がスルー画像を取得する操作を行うと、ステップS1では、スルー画像を取得する。つまり、カメラ制御回路36から出力されたYUV形式の画像データをスルー画像バッファ322に一時記憶させる。続いて、ステップS3では、スルー静止画像をラスタスキャンする。つまり、スルー画像バッファ322に一時的に記憶されたスルー画像から任意に選択されたスルー静止画像をラスタスキャンバッファ324に一時的に記憶させ、そのスルー静止画像に対してラスタスキャンを開始する。
For example, when the user performs an operation of acquiring a through image, the through image is acquired in step S1. That is, the YUV format image data output from the
続いて、ステップS5では、所定値以上の輝度を検出したか否かを判断する。つまり、ラスタスキャンによって、スルー静止画像の1画素ごとに所定値以上の輝度であるか否かを判断する。ステップS5で“NO”であれば、つまり所定値以上の輝度を検出できなければ、ステップS21に進む。一方、ステップS5で“YES”であれば、つまり所定値以上の輝度を検出すれば、ステップS7で集中サンプリングを行う。つまり、図3(A),(B)のように、所定値以上の輝度が検出された画素の座標に基づいて、集中サンプリング領域CSAを設定し、その集中サンプリング領域CSAにおいて、スルー画像を更新する。 Subsequently, in step S5, it is determined whether or not luminance of a predetermined value or more is detected. That is, it is determined by raster scanning whether or not the brightness of each pixel of the through still image is equal to or higher than a predetermined value. If “NO” in the step S5, that is, if a luminance of a predetermined value or more cannot be detected, the process proceeds to a step S21. On the other hand, if “YES” in the step S5, that is, if a luminance of a predetermined value or more is detected, concentrated sampling is performed in a step S7. That is, as shown in FIGS. 3A and 3B, a concentrated sampling area CSA is set based on the coordinates of a pixel in which a luminance of a predetermined value or more is detected, and the through image is updated in the concentrated sampling area CSA. To do.
続いて、ステップS9では、可視光通信源か否かを判断する。つまり、設定された集中サンプリング領域CSA内に含まれる光源が、可視光通信を行うための周波数で点滅しているか否かを判断する。ステップS9で“NO”であれば、つまり可視光通信源でなければ、ステップS21に進む。一方、ステップS9で“YES”であれば、つまり可視光通信であれば、ステップS11で可視光通信源の位置を算出する。たとえば、図3(B)に示すように、可視光通信源の位置として集中サンプリング領域CSA内で重心Gの座標を算出する。ステップS13では、近くに可視光通信源が在るか否かを判断する。つまり、ステップS11で算出された重心の座標が、可視光通信源データ344内の「座標」の列に記憶される各座標において、閾値以内の距離に含まれるか否かを判断する。 Subsequently, in step S9, it is determined whether the source is a visible light communication source. That is, it is determined whether or not the light source included in the set concentrated sampling area CSA is blinking at a frequency for performing visible light communication. If “NO” in the step S9, that is, if it is not a visible light communication source, the process proceeds to a step S21. On the other hand, if “YES” in the step S9, that is, if the visible light communication is performed, the position of the visible light communication source is calculated in a step S11. For example, as shown in FIG. 3B, the coordinates of the center of gravity G are calculated in the concentrated sampling area CSA as the position of the visible light communication source. In step S13, it is determined whether there is a visible light communication source nearby. That is, it is determined whether or not the coordinates of the center of gravity calculated in step S11 are included in the distance within the threshold in each coordinate stored in the column of “coordinates” in the visible light communication source data 344.
具体的には、ステップS11で算出された重心の座標と可視光通信源データ344内の「座標」の列に記憶される各座標との距離を三平方の定理によって算出する。そして、算出された距離のそれぞれが、閾値以下であるか判断される。なお、ステップS11の処理を実行するCPU20は、特定手段として機能する。 Specifically, the distance between the coordinates of the center of gravity calculated in step S11 and each coordinate stored in the column of “coordinates” in the visible light communication source data 344 is calculated by the three-square theorem. And it is judged whether each of the calculated distance is below a threshold value. In addition, CPU20 which performs the process of step S11 functions as a specific means.
ステップS13で“NO”あれば、つまり近くに可視光通信源がなければ、ステップS15で、インデックス情報を取得する。つまり、可視光通信源から発信されるインデックス情報を受信し、ステップS11で算出された重心の座標と、受信したインデックス情報とを可視光通信源データ344として記憶する。続いて、ステップS17では、インデックス情報に基づいて、アイコンを表示する。つまり、可視光通信源データ334における「拡張子」の列において、最後に記憶された拡張子を読み出し、その読み出した拡張子に
基づいてアイコンの種類を決定する。
If “NO” in the step S13, that is, if there is no visible light communication source nearby, the index information is acquired in a step S15. That is, the index information transmitted from the visible light communication source is received, and the coordinates of the center of gravity calculated in step S11 and the received index information are stored as visible light communication source data 344. Subsequently, in step S17, an icon is displayed based on the index information. That is, in the “extension” column in the visible light
たとえば、図7を参照して、「NO」の列において「1」が記憶される列が最後に記憶された行であれば、最後に記憶された拡張子は「txt」となり、CPU20は、アイコンICの種類を図6(A)に示すテキストのアイコンICに決定する。さらに、「txt」に対応する「座標」の列には、重心Gの座標である(X,Y)が記憶されるため、図4に示すように、アイコンICaがLCDモニタ26に表示される。
For example, referring to FIG. 7, if the column in which “1” is stored in the “NO” column is the last stored row, the last stored extension is “txt”, and the
なお、ステップS17の処理を実行するCPU20は、アイコン表示手段として機能し、ステップS15およびステップS17の処理を実行するCPU20は、関連情報表示手段として機能する。
The
また、ステップS13で“YES”であれば、つまり近くに可視光通信源があればステップS19で、近くの可視光通信源の座標を更新し、ステップS17に進む。つまり、近くの可視光通信源は、前回のラスタスキャンによって検出された可視光通信源であると判断される。そのため、ステップS19では、再度インデックス情報を取得せず、可視光通信源の座標を更新する。たとえば、新たに算出された座標が(X’,Y’)であり、図7に示す座標(X,Y)との距離が閾値以内であれば、(X,Y)の座標が(X’,Y’)の座標に更新される。 If “YES” in the step S13, that is, if there is a visible light communication source nearby, the coordinates of the nearby visible light communication source are updated in a step S19, and the process proceeds to a step S17. That is, it is determined that the nearby visible light communication source is a visible light communication source detected by the previous raster scan. Therefore, in step S19, the index information is not acquired again, and the coordinates of the visible light communication source are updated. For example, if the newly calculated coordinates are (X ′, Y ′) and the distance from the coordinates (X, Y) shown in FIG. 7 is within a threshold, the coordinates of (X, Y) are (X ′, Y ′). , Y ′).
ステップS21では、ラスタスキャンが終了したか否かを判断する。つまり、所定値以上の輝度であるか否かを判断する画素の座標が、LCDモニタ26の表示座標の右下端の座標であるか否かを判断する。ステップS21で“NO”であれば、つまりラスタスキャンが終了していなければ、ラスタスキャンバッファ324から、ラスタスキャンによる現在の探索位置を示す座標を読み出して、ステップS3に戻る。そして、ステップS3では、読み出された座標からラスタスキャンを再開する。一方、ステップS21で“YES”であれば、つまりラスタスキャンを終了すれば、ステップS1に戻る。
In step S21, it is determined whether or not the raster scan is completed. That is, it is determined whether or not the coordinates of the pixel for determining whether or not the luminance is equal to or higher than a predetermined value are the coordinates of the lower right corner of the display coordinates of the
図10は、先に説明した可視光通信源探索処理と並列的に処理される、光源選択処理を示すフロー図である。CPU20は、ステップS41でタッチされたか否かを判断する。つまり、タッチフラグ336がオンになったか否かを判断する。ステップS41で“NO”であれば、つまりタッチフラグ336がオフであれば、ステップS41の処理を繰り返し実行する。一方、ステップS41で“YES”であれば、つまりタッチフラグ336がオンであれば、ステップS43でタッチ点を記憶する。つまり、タッチフラグ336がオンになることで検出されたタッチ点をタッチバッファ320に一時的に記憶させる。
FIG. 10 is a flowchart showing a light source selection process that is processed in parallel with the visible light communication source search process described above. CPU20 judges whether it was touched by step S41. That is, it is determined whether or not the
続いて、ステップS45では、アイコンICが操作されたか否かを判断する。つまり、アイコンICの表示座標内にタッチ点が含まれるか否かを判断する。ステップS45で“NO”であれば、つまりアイコンICが操作されなければ、ステップS51に進む。一方、ステップS45で“YES”であれば、つまりアイコンICが操作されれば、ステップS47で選択されたアイコンICに対応する光源からデータを取得する。たとえば、図4に示すアイコンICaが操作されると、集中サンプリング領域CSAを新たに設定し、アイコンICaに対応する可視光通信源から発信される情報を受信する。そして、取得したデータを可視光通信バッファ328に一時的に記憶する。なお、アイコンICの表示領域を集中サンプリング領域CSAとしてもよい。また、ステップS47の処理を実行するCPU20は、設定手段として機能する。
Subsequently, in step S45, it is determined whether or not the icon IC has been operated. That is, it is determined whether or not the touch point is included in the display coordinates of the icon IC. If “NO” in the step S45, that is, if the icon IC is not operated, the process proceeds to a step S51. On the other hand, if “YES” in the step S45, that is, if the icon IC is operated, data is acquired from the light source corresponding to the icon IC selected in the step S47. For example, when the icon ICa shown in FIG. 4 is operated, a concentrated sampling area CSA is newly set, and information transmitted from a visible light communication source corresponding to the icon ICa is received. Then, the acquired data is temporarily stored in the visible
続いて、ステップS49では、取得したデータに応じた処理を行い、光源選択処理を終了する。つまり、可視光通信バッファ328に一時的に記憶されたデータを読み出し、LCDモニタ26に表示する。たとえば、取得(受信)したデータがテキストデータであれ
ば、テキストビューワ機能によって、取得したテキストデータの内容をLCDモニタ26に表示する。また、取得したデータが音楽データであれば、音楽プレイヤ機能によって音楽データを再生する。さらに、取得したデータが画像データであれば、画像ビューワ機能によって画像データをLCDモニタ26に表示する。なお、ステップS49の処理を実行するCPU20は、データ表示手段として機能する。
Subsequently, in step S49, processing according to the acquired data is performed, and the light source selection processing is terminated. That is, the data temporarily stored in the visible
また、ステップS45で“NO”と判断されると、ステップS51ではタッチに対応する処理を実行する。たとえば、タッチ点が示す座標を中心とする、スルー画像の拡大表示や縮小表示を行う。 If “NO” is determined in the step S45, a process corresponding to the touch is executed in a step S51. For example, the through image is enlarged or reduced with the coordinate indicated by the touch point as the center.
なお、本実施例では、可視光通信源を発見する度に、アイコンICを表示するようにしていたが、ラスタスキャンが終了してから、まとめてアイコンICを表示するようにしてもよい。具体的には、図9に示す可視光通信源探索処理内のステップS17をステップS21で“YES”と判断された後に実行されるようにすればよい。これによって、ラスタスキャンが終了してから、インデックス情報に基づいて各アイコンICが表示されるようになる。 In this embodiment, the icon IC is displayed every time a visible light communication source is found. However, the icon IC may be displayed collectively after the raster scan is completed. Specifically, step S17 in the visible light communication source search process shown in FIG. 9 may be executed after “YES” is determined in step S21. Thus, after the raster scan is completed, each icon IC is displayed based on the index information.
以上の説明から分かるように、携帯端末10は、カメラ制御回路36およびイメージセンサ38を備え、可視光通信源を含むスルー画像およびスルー静止画像を撮影する。また、可視光通信源を含むスルー静止画像は、LCDモニタ26によって表示される。CPU20は、スルー静止画像に対してラスタスキャンを行い、スルー静止画像に含まれる可視光通信源の位置を特定し、特定した位置に基づいて、可視光通信源に対応するアイコンICをLCDモニタ26に表示する。
As can be seen from the above description, the
これによって、使用者は、可視光通信を行うための可視光通信源に対応するアイコンICを認識し、可視光通信源を容易に特定することができるようになる。 As a result, the user can recognize the icon IC corresponding to the visible light communication source for performing visible light communication, and can easily identify the visible light communication source.
なお、本実施例では、スルー画像の更新周期は1000fpsとしたが、CPU20の処理負荷を軽減させるために60fpsとし、集中サンプリングを行うときのみ、更新周期を1000fpsとするようにしてもよい。
In this embodiment, the through image update cycle is set to 1000 fps, but may be set to 60 fps in order to reduce the processing load on the
また、赤外線光を撮影可能なイメージセンサ38を備えることで、赤外線を発光する光源を利用して、可視光通信を行うようにしてもよい。また、イメージセンサ38は、CMOSイメージセンサではなく、CCDイメージセンサであってもよい。
Further, by providing the
また、インデックス情報の代わりに、拡張子の情報が含まれるヘッダ情報などを受信するようにしてもよい。さらに、拡張子の情報が含まれるインデックス情報が、可視光通信源から発信されていなければ、拡張子を含むファイル名からアイコンICの種類を決定するようにしてもよい。 Further, header information including extension information may be received instead of the index information. Further, if the index information including the extension information is not transmitted from the visible light communication source, the type of the icon IC may be determined from the file name including the extension.
また、通信端末10の通信方式には、CDMA方式に限らず、W‐CDMA方式、TDMA方式、PHS方式およびGSM(登録商標)方式などを採用してもよい。通信端末10のみに限らず、カメラアプリケーションを備えるPDA(Personal Degital Assistant)などの携帯情報端末などであってもよい。さらに、カメラアプリケーションを備えない通信端末10に対して、WEBカメラやモバイルカメラなどを取り付け、カメラアプリケーションのソフトをインストールすることで、可視光通信を行えるようにしてもよい。
Further, the communication method of the
10 通信端末
20 CPU
22 キー入力装置
26 LCDモニタ
30 RAM
34 タッチパネル
36 カメラ制御回路
38 イメージセンサ
10
22
34
Claims (4)
前記撮影手段によって撮影された画像を表示する表示部、
前記画像に含まれる情報発信用光源の位置を特定する特定手段、
前記情報発信用光源から発信されるデータを受信する受信部、および
前記特定手段によって特定された情報発信用光源の位置にアイコンを表示させるアイコン表示手段、
前記アイコンが操作されると、前記アイコンに対応するデータを再生する再生部、
を備える、通信端末。 Shooting department,
A display unit for displaying an image photographed by the photographing means;
A specifying means for specifying a position of a light source for transmitting information included in the image;
A receiver for receiving data transmitted from the information transmission light source; and icon display means for displaying an icon at the position of the information transmission light source specified by the specifying means;
When the icon is operated, a playback unit that plays back data corresponding to the icon,
A communication terminal.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015033644A JP2015136140A (en) | 2015-02-24 | 2015-02-24 | communication terminal and communication program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015033644A JP2015136140A (en) | 2015-02-24 | 2015-02-24 | communication terminal and communication program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013167799A Division JP2013258751A (en) | 2013-08-12 | 2013-08-12 | Communication terminal and information transmission source identifying program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015136140A true JP2015136140A (en) | 2015-07-27 |
Family
ID=53767679
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015033644A Pending JP2015136140A (en) | 2015-02-24 | 2015-02-24 | communication terminal and communication program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015136140A (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006085669A (en) * | 2004-08-20 | 2006-03-30 | Felica Networks Inc | Information providing system, information providing apparatus, information providing method, portable terminal, information outputting method, and computer program |
JP2007295490A (en) * | 2006-04-27 | 2007-11-08 | Kyocera Corp | Visible optical communication apparatus, and visible light receiving method |
JP2008236239A (en) * | 2007-03-19 | 2008-10-02 | Toshiba Corp | Visible light communication apparatus |
JP2008281561A (en) * | 2007-05-11 | 2008-11-20 | Samsung Electronics Co Ltd | Navigation system and method using visible light communication |
-
2015
- 2015-02-24 JP JP2015033644A patent/JP2015136140A/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006085669A (en) * | 2004-08-20 | 2006-03-30 | Felica Networks Inc | Information providing system, information providing apparatus, information providing method, portable terminal, information outputting method, and computer program |
JP2007295490A (en) * | 2006-04-27 | 2007-11-08 | Kyocera Corp | Visible optical communication apparatus, and visible light receiving method |
JP2008236239A (en) * | 2007-03-19 | 2008-10-02 | Toshiba Corp | Visible light communication apparatus |
JP2008281561A (en) * | 2007-05-11 | 2008-11-20 | Samsung Electronics Co Ltd | Navigation system and method using visible light communication |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2010147527A (en) | Communication terminal, and program for identifying information transmission source | |
KR101432177B1 (en) | Portable device and method for processing the photography the same, and photography processing system having it | |
JP5848932B2 (en) | Mobile terminal, folder management program, and folder management method | |
CN112231025A (en) | UI component display method and electronic equipment | |
CN110545476B (en) | Video synthesis method and device, computer equipment and storage medium | |
JP5791448B2 (en) | Camera device and portable terminal | |
WO2022143883A1 (en) | Photographing method and system, and electronic device | |
CN114185503B (en) | Multi-screen interaction system, method, device and medium | |
US20160196284A1 (en) | Mobile terminal and method for searching for image | |
CN112130788A (en) | Content sharing method and device | |
CN111897465B (en) | Popup display method, device, equipment and storage medium | |
JP2010252266A (en) | Image arrangement apparatus | |
WO2023029916A1 (en) | Annotation display method and apparatus, terminal device, and readable storage medium | |
JP2013258751A (en) | Communication terminal and information transmission source identifying program | |
CN113805825B (en) | Method for data communication between devices, device and readable storage medium | |
CN117785340A (en) | Card sharing method and device | |
JP2015136140A (en) | communication terminal and communication program | |
WO2014050882A1 (en) | Electronic device, control method, and control program | |
CN116709018B (en) | Zoom bar segmentation method and electronic equipment | |
JP2013041348A (en) | Portable terminal, auxiliary information display program, and auxiliary information display method | |
WO2024159925A1 (en) | Screen mirroring method, screen mirroring system, and electronic device | |
KR102584682B1 (en) | Information display methods and devices | |
CN109194966B (en) | Method and device for acquiring payload of SEI (solid electrolyte interface) message and storage medium | |
JP5415830B2 (en) | Mobile terminal, electronic camera and continuous shooting program | |
CN114816171A (en) | List display method, terminal device and computer-readable storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151104 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160112 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160202 |