JP2006325166A - Information communication system, information communication equipment, information communication method and program - Google Patents

Information communication system, information communication equipment, information communication method and program Download PDF

Info

Publication number
JP2006325166A
JP2006325166A JP2005148813A JP2005148813A JP2006325166A JP 2006325166 A JP2006325166 A JP 2006325166A JP 2005148813 A JP2005148813 A JP 2005148813A JP 2005148813 A JP2005148813 A JP 2005148813A JP 2006325166 A JP2006325166 A JP 2006325166A
Authority
JP
Japan
Prior art keywords
information
imaging
color
transmission
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005148813A
Other languages
Japanese (ja)
Inventor
Yutaka Matsunobu
豊 松延
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Hitachi Mobile Communications Co Ltd
Original Assignee
Casio Hitachi Mobile Communications Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Hitachi Mobile Communications Co Ltd filed Critical Casio Hitachi Mobile Communications Co Ltd
Priority to JP2005148813A priority Critical patent/JP2006325166A/en
Publication of JP2006325166A publication Critical patent/JP2006325166A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an information communication system, information communication equipment and an information communication method capable of calibrating characteristics of an imaging part on the transmitting side before communication even when variation by every manufacturer, for example, color expression capability of a display and an LED on the communication partner's side is not known in advance. <P>SOLUTION: In the information communication system, a transmitter displays image data for calibration on a transmitting side image display part 230 at the time of starting the communication. A receiver picks up image data for calibration and displays recognition result images on a receiving side display part 230. The transmitter picks up the recognition result images, determines a calibration factor or a function 235 for calibrating output characteristics of the transmitting side image display part 230 and calibrates the output characteristics of the transmitting side image display part 230. Next, the receiver displays the image data for calibration on the receiving side image display part 230 at the time of starting the communication. The transmitter picks up the image data for calibration, determines the calibration coefficient and the function 225 for calibrating the output characteristics of the transmitting side imaging part 220 and calibrates the output characteristics of the transmitting side imaging part 220. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

この発明は、情報通信システム、情報通信装置、及び、情報通信方法に関し、特に可視光を情報伝送媒体として用いる情報通信システム、情報通信装置、及び、情報通信方法に関する。   The present invention relates to an information communication system, an information communication apparatus, and an information communication method, and particularly to an information communication system, an information communication apparatus, and an information communication method that use visible light as an information transmission medium.

近年、カメラ付き携帯電話、カメラ付き携帯情報端末のように、カメラ付き画像表示装置が普及している。これらのカメラ付き画像表示装置の一般的な使用方法は、カメラで人物や風景などの写真や動画を撮像して保存したり、撮像した写真や動画をメールで送受信する等、である。   In recent years, camera-equipped image display devices have become widespread, such as camera-equipped mobile phones and camera-equipped personal digital assistants. A general method of using these camera-equipped image display devices is to capture and store a photograph or a moving picture of a person or a landscape with a camera, or to send / receive the captured photograph or moving picture by e-mail.

さらに、非特許文献1のように、街頭等に設置された情報端末装置と携帯電話機との間で、可視光を用いた情報通信を行う技術が発表されている。これによれば、情報端末装置を送信手段、カメラを受信手段として動作させ、主な利用用途として、携帯電話機をパソコンのマウス代わりに使用することが考えられている。このような通信方法によれば、情報端末装置とカメラ付き携帯電話機とを非接触で容易に接続することができる。
日本経済新聞、2004年3月12日、朝刊17ページ
Furthermore, as in Non-Patent Document 1, a technology for performing information communication using visible light between an information terminal device installed on a street or the like and a mobile phone has been announced. According to this, it is considered that the information terminal device is operated as a transmission unit and the camera is used as a reception unit, and the mobile phone is used instead of a personal computer mouse as a main usage. According to such a communication method, the information terminal device and the camera-equipped mobile phone can be easily connected without contact.
Nikkei, March 12, 2004, 17 pages of morning edition

しかし、情報端末装置やカメラ付き携帯電話機では、搭載しているディスプレイによって発光色特性にばらつきがあり、ある装置のディスプレイで表示した画像データが、異なる表示デバイスを搭載する他の装置では別の画像データとしてカメラ付き携帯電話機で認識されてしまう可能性がある。   However, in information terminal devices and camera-equipped mobile phones, the emission color characteristics vary depending on the display installed, and the image data displayed on the display of one device differs from that on other devices equipped with different display devices. The data may be recognized by the mobile phone with camera.

このような可視光を用いた情報通信を行うためには、カメラ付き携帯電話機に搭載されているカメラ装置とディスプレイ装置との出力特性とに整合性を持たせることが必要であるが、一般に、カメラ付き画像表示装置では、ディスプレイ装置としてLCD(Liquid Crystal Display)が多く用いられており、LCDに使用される偏光フィルターの特性やバックライトの特性では、製造工程で一つ一つ微妙にばらつきが発生する。
一方、カメラ装置についてはCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)が多く用いられているが、CCDやCMOSに使用される撮像素子の特性にもばらつきが発生する。
In order to perform such information communication using visible light, it is necessary to provide consistency between the output characteristics of the camera device and the display device mounted on the camera-equipped mobile phone, LCD (Liquid Crystal Display) is often used as a display device in camera-equipped image display devices, and the characteristics of polarizing filters and backlights used in LCDs vary slightly from production to production. appear.
On the other hand, CCDs (Charge Coupled Devices) and CMOSs (Complementary Metal Oxide Semiconductors) are often used for camera devices, but variations also occur in the characteristics of image sensors used in CCDs and CMOSs.

特許文献1には、カメラ付き画像表示装置において、基準となるカメラを必要とせずに、自らのカメラ装置が撮像する画像の色の出力特性を校正(キャリブレーション)する装置が開示されている。
しかし、この方法では、ディスプレイ装置の出力特性のばらつきが考慮されていない。また、この方法では、自らのディスプレイ装置が持つ出力特性と、自らのカメラ装置が撮像する画像の出力特性との校正を行う。そのため、携帯端末機を使用した双方向の通信において可視光を用いるためには不十分な装置である。
Patent Document 1 discloses an apparatus for calibrating (calibrating) an output characteristic of a color of an image captured by its own camera apparatus without requiring a reference camera in an image display apparatus with a camera.
However, this method does not take into account variations in the output characteristics of the display device. Further, in this method, calibration is performed between the output characteristics of the own display device and the output characteristics of the image captured by the own camera device. Therefore, the apparatus is insufficient for using visible light in bidirectional communication using a portable terminal.

特許文献2には、携帯端末機の機種の違いに関わらず、本来の色でカラー画像の表示が行われるようにする方法が開示されている。この方法によれば、ネットワークコンピュータ上のデータベースから基準となるカラー画像データを取得し、携帯端末機のディスプレイ装置の出力特性を校正することができる。
しかし、この方法では、カメラ装置の出力特性のばらつきが考慮されていない。また、この方法では、ネットワークコンピュータ上のデータベースに携帯端末機を接続するための手間がかかる。ネットワークコンピュータ上のデータベース上で携帯端末機のシリアル番号単位で管理を行うため、データベースの管理が複雑である。そのため、携帯端末機を使用した双方向の通信において可視光を用いるためには不十分な方法である。
Patent Document 2 discloses a method for displaying a color image in the original color regardless of the model of the portable terminal. According to this method, reference color image data can be obtained from a database on a network computer, and the output characteristics of the display device of the portable terminal can be calibrated.
However, this method does not take into account variations in the output characteristics of the camera device. In addition, this method requires time and labor for connecting the portable terminal to the database on the network computer. Since management is performed in units of serial numbers of mobile terminals on a database on a network computer, database management is complicated. Therefore, it is an insufficient method for using visible light in bidirectional communication using a portable terminal.

一方、可視光を用いて文字データを送受信するためには、文字コードと色データとを予め関連づけておく必要がある。つまり、可視光通信を行うための携帯端末機には、色データを用いて暗号化/復号化できる機能が備えられている必要がある。   On the other hand, in order to transmit / receive character data using visible light, it is necessary to associate character codes with color data in advance. That is, a portable terminal for performing visible light communication needs to have a function capable of encryption / decryption using color data.

特許文献3には、色彩や濃淡をマトリックス状に表示することによって、情報を暗号化/復号化する方法が開示されている。
しかし、この方法では、色彩や濃淡をマトリックス状に表示した画像を、予め印字して貼り付けておく必要がある。このため、携帯端末機を使用した双方向の通信をリアルタイムで行うためには不十分である。
Patent Document 3 discloses a method for encrypting / decrypting information by displaying colors and shades in a matrix.
However, in this method, it is necessary to print and paste an image in which colors and shades are displayed in a matrix. For this reason, it is insufficient for performing bidirectional communication using a portable terminal in real time.

特許文献4には、文字コードと色データとを対応付けて、文字データを画像データに暗号化する方法が開示されている。
しかし、この方法は、文字データを暗号化して得られた画像データを印刷し、携帯端末機のカメラで読み取る方法である。そのため、リアルタイムの通信を行うためには、このまま用いることはできない。
Patent Document 4 discloses a method of encrypting character data into image data by associating character codes with color data.
However, this method is a method of printing image data obtained by encrypting character data and reading it with a camera of a portable terminal. Therefore, it cannot be used as it is for real-time communication.

この発明は、上記実情に鑑みてなされたものであり、例えばカメラ機能付き携帯電話のような、撮像部を備えた携帯端末機で可視光通信を行う場合に表示部もしくはLEDの点灯色の発光特性、カメラの撮像特性等を考慮し、ユーザにとってストレスの無い情報通信システム、情報通信装置、情報通信方法及びプログラムを提供することを目的とする。
特開2004−120540 特開2002−359746 特開2001−195536 特開2004−186974
The present invention has been made in view of the above circumstances. For example, when visible light communication is performed in a mobile terminal having an imaging unit, such as a mobile phone with a camera function, light emission of a display unit or an LED lighting color is performed. It is an object of the present invention to provide an information communication system, an information communication apparatus, an information communication method, and a program that are free from stress for a user in consideration of characteristics, camera imaging characteristics, and the like.
JP 2004-120540 A JP2002-359746 JP 2001-195536 A JP 2004-186974 A

上記目的を達成するため、本発明の第1の観点に係る情報通信システムは、
送信すべき情報を、時系列的に変化する発光色データへ変換する変換手段と、この変換手段によって得られた発光色データが表す光を発光することにより前記情報を送信する送信手段とを備えた送信装置と、この送信装置が発光する光を連続的に撮像する撮像手段と、この撮像手段によって連続的に撮像された光の発光態様に基づいて前記情報を復元する復元手段とを備えた受信装置とで構成された情報通信システムであって、
前記送信装置は、前記情報を送信する前に、各色の光と、これらの各色を示す情報とを前記受信装置へ送信するよう前記送信手段を制御する送信制御手段を備えるとともに、
前記受信装置は、前記各色の光及びこれらの各色を示す情報を連続的に撮像するよう前記撮像手段を制御する撮像制御手段と、この撮像制御手段によって撮像された前記各色の光及びこれらの各色を示す情報に基づいて、前記撮像手段によって撮像される発光色の撮像特性を校正する校正手段と、を備える
ことを特徴とする。
In order to achieve the above object, an information communication system according to the first aspect of the present invention provides:
Conversion means for converting information to be transmitted into emission color data that changes in time series, and transmission means for transmitting the information by emitting light represented by the emission color data obtained by the conversion means. A transmission device, an imaging means for continuously imaging light emitted by the transmission device, and a restoration means for restoring the information based on a light emission mode of light continuously imaged by the imaging means. An information communication system configured with a receiving device,
The transmission device includes transmission control means for controlling the transmission means to transmit light of each color and information indicating each color to the reception device before transmitting the information,
The receiving device includes: an imaging control unit that controls the imaging unit so as to continuously capture the light of each color and information indicating each color; the light of each color captured by the imaging control unit and each of these colors And calibrating means for calibrating the imaging characteristics of the luminescent color imaged by the imaging means based on the information indicating the above.

また、本発明の第2の観点に係る情報通信システムは、
光を撮像する撮像手段を備えた装置を複数備え、各該装置間で情報通信を行う情報通信システムであって、
前記装置は夫々、
送信すべき情報を、時系列的に変化する発光色データへ変換する変換手段と、
この変換手段によって得られた発光色データが表す光を発光することにより前記情報を送信する送信手段と、
撮像手段によって連続的に撮像された発光態様に基づいて情報を復元する復元手段と、
前記情報を送信する前に、各色の光及びこれらの各色を示す情報を通信相手の装置に送信するよう前記送信手段を制御する送信制御手段と、
前記送信手段が送信した各色の光及びこれらの各色を示す情報に応答した前記通信相手の装置が当該応答の結果を表す発光情報を送信したとき当該発光情報を撮像するよう、前記撮像手段を制御する撮像制御手段と、
この撮像手段によって撮像された発光情報を復元し、復元された発光情報に基づいて、前記送信手段の発光色特性を校正する校正手段と、
を備えたことを特徴とする。
An information communication system according to the second aspect of the present invention is:
An information communication system comprising a plurality of devices equipped with imaging means for imaging light and performing information communication between the devices,
Each of the devices is
Conversion means for converting information to be transmitted into emission color data that changes in time series;
Transmitting means for transmitting the information by emitting light represented by the emission color data obtained by the conversion means;
Restoring means for restoring information on the basis of the light emission mode continuously imaged by the imaging means;
Before transmitting the information, transmission control means for controlling the transmission means to transmit light of each color and information indicating each of these colors to a communication partner device;
The imaging unit is controlled so that the communication partner device that responds to the light of each color transmitted by the transmission unit and the information indicating each color transmits the light emission information indicating the result of the response to capture the light emission information. Imaging control means for
Reconstructing the light emission information imaged by this imaging means, and based on the reconstructed light emission information, calibration means for calibrating the light emission color characteristics of the transmission means,
It is provided with.

また、本発明の第3の観点に係る情報通信装置は、
送信すべき情報を、時系列的に変化する発光色データへ変換する変換手段と、この変換手段によって得られた発光色データが表す光を発光することにより前記情報を送信する送信手段と、光を撮像する撮像手段と、を備えた情報通信装置において、
前記情報を送信する前に、各色の光と、これらの各色を示す情報とを通信相手の装置に送信するよう前記送信手段を制御する送信制御手段と、
前記送信手段が送信した各色の光及びこれらの各色を示す情報に応答した前記通信相手の装置が当該応答の結果を表す発光情報を送信したとき当該発光情報を撮像するよう、前記撮像手段を制御する撮像制御手段と、
この撮像手段によって撮像された発光情報を復元し、復元された発光情報に基づいて、前記送信手段の発光色特性を校正する校正手段と、
を備えたことを特徴とする。
An information communication apparatus according to the third aspect of the present invention is
Conversion means for converting information to be transmitted into emission color data that changes in time series, transmission means for transmitting the information represented by the emission color data obtained by the conversion means, and light In an information communication device comprising imaging means for imaging
Before transmitting the information, transmission control means for controlling the transmission means to transmit light of each color and information indicating each of these colors to a communication partner device;
The imaging unit is controlled so that the communication partner device that responds to the light of each color transmitted by the transmission unit and the information indicating each color transmits the light emission information indicating the result of the response to capture the light emission information. Imaging control means for
Reconstructing the light emission information imaged by this imaging means, and based on the reconstructed light emission information, calibration means for calibrating the light emission color characteristics of the transmission means,
It is provided with.

また、本発明の第4の観点に係る情報通信方法は、
送信すべき情報を、時系列的に変化する発光色データへ変換する変換ステップと、この変換ステップにて得られた発光色データが表す光を発光することにより前記情報を送信する第1の送信ステップと、からなる情報通信方法であって、
前記情報を送信する前に、各色の光と、これらの各色を示す発光情報とを通信相手に送信する第2の送信ステップと、
この第2の送信ステップにて送信された各色の光及びこれらの各色を示す情報に応答した前記通信相手が当該応答の結果を表す発光情報を送信したとき、当該発光情報を撮像する撮像ステップと、
この撮像ステップにて撮像された発光情報を復元し、復元された発光情報に基づいて、前記送信ステップにて発光される発光色の特性を校正する校正ステップと、
を含むことを特徴とする。
An information communication method according to the fourth aspect of the present invention includes:
A conversion step for converting information to be transmitted into emission color data that changes in time series, and a first transmission for transmitting the information by emitting light represented by the emission color data obtained in the conversion step An information communication method comprising steps,
Before transmitting the information, a second transmission step of transmitting light of each color and light emission information indicating each of these colors to a communication partner;
An imaging step for imaging the light emission information when the communication partner responding to the light of each color transmitted in the second transmission step and the information indicating each color transmits the light emission information indicating the result of the response; ,
A calibration step for restoring the emission information captured in this imaging step and calibrating the characteristics of the emission color emitted in the transmission step based on the restored emission information;
It is characterized by including.

また、本発明の第5の観点に係るプログラムは、
コンピュータの制御に従って光を発光する発光装置、及び当該コンピュータの制御に従って光を撮像する撮像装置が接続された当該コンピュータを、
送信すべき情報を、時系列的に変化する発光色データへ変換する変換手段と、
この変換手段によって得られた発光色データが表す光を発光することにより前記情報を送信する送信手段と、
前記情報を送信する前に、各色の光と、これらの各色を示す情報とを通信相手の装置に送信するよう前記送信手段を制御する送信制御手段と、
前記送信手段が送信した各色の光及びこれらの各色を示す情報に応答した前記通信相手の装置が当該応答の結果を表す発光情報を送信したとき当該発光情報を撮像するよう、前記撮像装置を制御する撮像制御手段と、
この撮像装置によって撮像された発光情報を復元し、復元された発光情報に基づいて、前記送信手段の発光色特性を校正する校正手段と、
して機能させるためのものであることを特徴とする。
A program according to the fifth aspect of the present invention is:
A light emitting device that emits light according to the control of the computer, and the computer to which an imaging device that images light according to the control of the computer is connected;
Conversion means for converting information to be transmitted into emission color data that changes in time series;
Transmitting means for transmitting the information by emitting light represented by the emission color data obtained by the conversion means;
Before transmitting the information, transmission control means for controlling the transmission means to transmit light of each color and information indicating each of these colors to a communication partner device;
Controls the imaging device to capture the light emission information when the communication partner device responding to the light of each color transmitted by the transmission means and the information indicating each color transmits the light emission information indicating the result of the response Imaging control means for
Reconstructing the light emission information imaged by this imaging device, and based on the reconstructed light emission information, calibration means for calibrating the light emission color characteristics of the transmission means,
It is for making it function.

この発明によれば、それぞれカラー表示が可能なディスプレイ、もしくは、LED等の発行部材と、撮像部材とを備えた装置間で行われる光通信システムにおいて、情報を送信する相手側のディスプレイやLEDの、例えば色彩表現能力のメーカー毎のバラツキを事前に知らなくても、通信前にディスプレイやLED、撮像部材の特性を校正することができるので、ユーザにとってストレスのない情報通信システム、情報通信装置、情報通信方法及びプログラムを提供することができる。   According to the present invention, in an optical communication system performed between a display capable of color display or an apparatus including an issuance member such as an LED and an imaging member, the display or LED of the other party that transmits information For example, it is possible to calibrate the characteristics of the display, the LED, and the imaging member before communication without knowing in advance the variation in color expression capability for each manufacturer. An information communication method and program can be provided.

本発明の実施形態に係る携帯端末機について、図面を用いて説明する。
本実施形態では、携帯端末機として、カメラ付き携帯電話機50を使用している。
図1は、カメラ付き携帯電話機50を開いた状態で正面から眺めた状態を表す正面図である。図2(a)は、カメラ付き携帯電話機50の蓋部53を表す平面図であり、カメラ付き携帯電話機50を閉じた状態において、蓋部53を眺めた状態を表している。図2(b)は、カメラ付き携帯電話機50の本体部51を表す平面図であり、カメラ付き携帯電話機50を閉じた状態において、本体部51を眺めた状態を表している。
A mobile terminal according to an embodiment of the present invention will be described with reference to the drawings.
In this embodiment, a camera-equipped mobile phone 50 is used as the mobile terminal.
FIG. 1 is a front view illustrating a state in which the camera-equipped mobile phone 50 is viewed from the front with the camera-mounted mobile phone 50 open. FIG. 2A is a plan view showing the lid portion 53 of the camera-equipped mobile phone 50, and shows a state in which the lid portion 53 is viewed in a state where the camera-equipped cellular phone 50 is closed. FIG. 2B is a plan view showing the main body 51 of the camera-equipped mobile phone 50, and shows a state in which the main body 51 is viewed in a state where the camera-equipped mobile phone 50 is closed.

本図に示されるように、カメラ付き携帯電話機50は、本体部51とヒンジ部52と蓋部53を備える。本体部51と蓋部53とは、ヒンジ部52によって連結されている。ヒンジ部52の内部には、本体部51に固定された、本図に図示されない固定軸が設けられている。この固定軸の回りに、本体部51に対して蓋部53が回転し、蓋部53と本体部51とが開閉可能となっている。   As shown in the figure, the camera-equipped mobile phone 50 includes a main body 51, a hinge 52, and a lid 53. The main body 51 and the lid 53 are connected by a hinge 52. Inside the hinge part 52, a fixed shaft (not shown in the figure) fixed to the main body part 51 is provided. The lid 53 rotates with respect to the main body 51 around the fixed axis, and the lid 53 and the main body 51 can be opened and closed.

蓋部53の正面には、スピーカ122およびメイン画像表示装置125が配置されている。スピーカ122は、カメラ付き携帯電話機50が受信した通信音の音声信号に基づく音声等を出力する。メイン画像表示装置125は、LCD等の低消費電力型のディスプレイデバイスにより構成され、各種のメッセージ、各種のメニューリスト等を表示する。   A speaker 122 and a main image display device 125 are disposed in front of the lid portion 53. The speaker 122 outputs sound or the like based on the communication sound signal received by the camera-equipped mobile phone 50. The main image display device 125 includes a low power consumption display device such as an LCD, and displays various messages, various menu lists, and the like.

本体部51には、マイク123、テンキー127、電源キー128、十字キー129、決定キー130、クリアキー131、送信キー132が設けられている。また、蓋部53には、撮像装置124、サブ画像表示装置126が設けられている。以下、詳述する。   The main body 51 is provided with a microphone 123, a numeric keypad 127, a power key 128, a cross key 129, an enter key 130, a clear key 131, and a transmission key 132. The lid 53 is provided with an imaging device 124 and a sub image display device 126. Details will be described below.

十字キー129は、メイン画像表示装置125に表示されたカーソルを移動させ、又は、カメラによる撮影時のフォーカスを移動させるための操作キーである。文字等の入力を可能とする画面では、入力操作を行うためのカーソルがメイン画像表示装置125に表示されるが、このカーソルを十字キー129の操作により移動させることができる。
また、カメラによる撮影を行う場合に、十字キー129の操作により、いわゆるズーム撮影を行うことができる。即ち、十字キー129を操作して撮像装置124の照準を移動させ、撮影対象に対する撮影倍率を変更することができる。この撮影倍率の変更は、ユーザがメイン画像表示装置125により撮影対象を確認しつつ、十字キー129を操作して撮像装置124の照準を移動させ、所望の倍率になるように撮像装置124の位置決めをすることによって行う。
The cross key 129 is an operation key for moving the cursor displayed on the main image display device 125 or moving the focus at the time of shooting by the camera. On the screen that allows input of characters and the like, a cursor for performing an input operation is displayed on the main image display device 125, and this cursor can be moved by operating the cross key 129.
In addition, when shooting with a camera, so-called zoom shooting can be performed by operating the cross key 129. That is, by operating the cross key 129, the aim of the imaging device 124 can be moved to change the shooting magnification for the shooting target. This change in the shooting magnification is performed by the user operating the cross key 129 to move the aim of the imaging device 124 while confirming the shooting target with the main image display device 125, and positioning the imaging device 124 so that the desired magnification is obtained. By doing.

決定キー130は、選択した内容を決定する入力を行うための操作キーである。例えば、決定キー130を操作することにより、メイン画像表示装置125に表示された文字の中からカーソルの操作等で選択した文字の入力を決定する等を行うことができる。
また、決定キー130は、カメラ撮影時において、カメラのシャッターキーとして機能する。即ち、撮影画面で決定キー130を操作することにより、メイン画像表示装置125に表示されている画像を撮影画像として取り込むことができる。
The enter key 130 is an operation key for performing input for determining the selected content. For example, by operating the determination key 130, it is possible to determine the input of the character selected by operating the cursor from the characters displayed on the main image display device 125.
Further, the enter key 130 functions as a shutter key of the camera at the time of camera shooting. In other words, by operating the enter key 130 on the shooting screen, the image displayed on the main image display device 125 can be captured as a shot image.

クリアキー131は、キャンセル指示用の操作キーであり、他の操作キーを操作して入力した操作内容を取り消すための操作キーである。クリアキー131以外の操作キーにより入力した操作内容について、決定キー130によって決定する前であれば、クリアキー131の操作によって取り消すことができる。   The clear key 131 is an operation key for canceling instructions, and is an operation key for canceling the operation content input by operating other operation keys. If it is before it determines with the determination key 130 about the operation content input with operation keys other than the clear key 131, it can cancel by operation of the clear key 131. FIG.

送信キー132は、他の電話機に発信を行い得る状態に設定するための操作キーである。この送信キー132の操作により発信可能な状態とした後に、発信先(通話する相手方)の電話番号を入力することができる。   The transmission key 132 is an operation key for setting a state in which a call can be made to another telephone. After enabling the transmission by operating the transmission key 132, the telephone number of the transmission destination (the other party to call) can be input.

電源キー128は、電源をオン/オフするための操作キーと、通話を終了するための通話オフキーを兼ねている。電源キー128を通話中に押すと、携帯電話機50は相手方の電話機との通信動作を終了する。また、電源キー128を長押しすると、電源オフされた状態から電源オン、または電源オンされた状態から電源オフする。   The power key 128 serves as an operation key for turning on / off the power and a call off key for ending the call. When the power key 128 is pressed during a call, the cellular phone 50 ends the communication operation with the other party's phone. Further, when the power key 128 is pressed and held, the power is turned on when the power is turned off, or the power is turned off when the power is turned on.

テンキー127には、0から9までの一桁の数字を表す数字キー、四則演算を表す+、−、×、÷の記号、#、*の記号等を表すキーが配置されている。数字キーを操作することにより、通話を希望する相手方の電話番号を入力することができる。また、各キーには、対応する文字が割り当てられており、各キーを対応する回数押下することにより、任意の文字を入力し、例えば、メール用の文書を作成することも可能である。   On the numeric keypad 127, there are arranged a numeric key representing a single digit number from 0 to 9, a key representing +, −, ×, ÷ symbols representing four arithmetic operations, a symbol representing #, *, and the like. By operating the numeric keys, the telephone number of the other party who wants to talk can be input. Also, a corresponding character is assigned to each key, and by pressing each key the corresponding number of times, an arbitrary character can be input, for example, a mail document can be created.

マイク123は、ユーザの発声音を受音し、音声信号に変換して出力する。   The microphone 123 receives a user's uttered sound, converts it into an audio signal, and outputs it.

撮像装置124は、撮影対象の画像を携帯電話機50内に設けられる撮像部の撮像センサに結像させるレンズを含む。   The imaging device 124 includes a lens that forms an image to be captured on an imaging sensor of an imaging unit provided in the mobile phone 50.

サブ画像表示装置126は、LCD等の低消費電力型のディスプレイデバイスにより構成され、各種のメッセージ等を表示する。メイン画像表示装置125と異なり、ユーザは蓋部53を閉じた状態でも電話やメールの着信等の状態を知ることができる。   The sub image display device 126 is configured by a low power consumption type display device such as an LCD, and displays various messages. Unlike the main image display device 125, the user can know the status of incoming calls and mails even when the lid 53 is closed.

次に、携帯電話機50の信号処理回路について説明する。
図3に示されるように、カメラ付き携帯電話機50は、CPU(Central Processing Unit)210、データ受信部224、データ送信部234備えている。このほか、カメラ付き携帯電話機50は、ROM(Read Only Memory)290、RAM(Random Access Memory)291、I/Oインタフェース292、バッテリー293、外部記録装置294、通信制御部295、音声出力部296、音声入力部297、操作入力部298を備えている。以下、詳述する。
Next, the signal processing circuit of the mobile phone 50 will be described.
As shown in FIG. 3, the camera-equipped mobile phone 50 includes a CPU (Central Processing Unit) 210, a data reception unit 224, and a data transmission unit 234. In addition, the camera-equipped mobile phone 50 includes a ROM (Read Only Memory) 290, a RAM (Random Access Memory) 291, an I / O interface 292, a battery 293, an external recording device 294, a communication control unit 295, an audio output unit 296, A voice input unit 297 and an operation input unit 298 are provided. Details will be described below.

データ受信部224は、画像の撮像、およびキャリブレーションを行う。データ受信部224、撮像部220、撮像モジュール221、撮像校正部222、撮像変換部223を含む。   The data receiving unit 224 performs image capturing and calibration. A data receiving unit 224, an imaging unit 220, an imaging module 221, an imaging calibration unit 222, and an imaging conversion unit 223 are included.

撮像モジュール221は、撮像対象の画像データを得るための制御を行う。撮像モジュール221は、画像データを得るための撮像センサを備える。この撮像センサのセンサ面に、撮像対象の二次元画像が撮像装置124を通して撮像される。撮像センサはセンサ面に撮像された二次元画像を取り込み、その画像データを得る。例えば、この撮像モジュール221に組み込まれる撮像センサとして、二次元のCCDセンサ、CMOSセンサを用いることができる。   The imaging module 221 performs control for obtaining image data to be imaged. The imaging module 221 includes an imaging sensor for obtaining image data. A two-dimensional image to be imaged is captured through the imaging device 124 on the sensor surface of the imaging sensor. The imaging sensor captures a two-dimensional image captured on the sensor surface and obtains the image data. For example, a two-dimensional CCD sensor or CMOS sensor can be used as an imaging sensor incorporated in the imaging module 221.

撮像センサが得た画像データは、撮像変換部223に入力される。撮像変換部223は、撮像した画像データをデジタルデータに変換する。また、撮像変換部223は、例えばMPEG/JPEG規格に基づいた画像の暗号化/復号化処理および圧縮/解凍処理を行う。変換された画像データは、RAM291に保存される。
さらに、撮像変換部223は、携帯電話機50によって可視光通信を行う場合、受信データの復号化を行う機能を有する。例えば、本実施形態では、時系列的な色の変化を伴った画像に暗号化されたデータを、元のデータに変換する機能を有する。
Image data obtained by the imaging sensor is input to the imaging conversion unit 223. The imaging conversion unit 223 converts captured image data into digital data. The imaging conversion unit 223 performs image encryption / decryption processing and compression / decompression processing based on, for example, the MPEG / JPEG standard. The converted image data is stored in the RAM 291.
Furthermore, the imaging conversion unit 223 has a function of decoding received data when performing visible light communication using the mobile phone 50. For example, the present embodiment has a function of converting data encrypted into an image with a time-series color change into original data.

撮像変換部223によって変換された画像データは、撮像校正部222に入力される。撮像校正部222は、画像データのフレア補正、ガンマ補正を行い、撮像画像の色階調の調整を行う。また、撮像校正部222は、撮像モジュール221からの指示により、個々の撮像センサがもつ出力特性に従って画像の色調整を行う。例えば、デジタル化された画像情報がR,G,Bの3原色で表現され、Rの輝度が本来の色より大きい場合、撮像校正部222は、撮像された画像データのRの輝度を小さくする調整を行う。この時行う調整値の大きさは、RAM291に保存されている撮像部220の校正係数又は関数225にしたがって決められる。校正係数又は関数225については後述する。このように調整された画像データは、RAM291に保存される。   The image data converted by the imaging conversion unit 223 is input to the imaging calibration unit 222. The imaging calibration unit 222 performs flare correction and gamma correction on the image data, and adjusts the color gradation of the captured image. In addition, the imaging calibration unit 222 performs image color adjustment according to the output characteristics of each imaging sensor in accordance with an instruction from the imaging module 221. For example, when the digitized image information is expressed by three primary colors R, G, and B, and the luminance of R is larger than the original color, the imaging calibration unit 222 reduces the luminance of R of the captured image data. Make adjustments. The magnitude of the adjustment value to be performed at this time is determined according to the calibration coefficient or function 225 of the imaging unit 220 stored in the RAM 291. The calibration coefficient or function 225 will be described later. The image data adjusted in this way is stored in the RAM 291.

データ送信部234は、画像の表示、およびキャリブレーションを行う。データ送信部234は、画像表示部230、画像表示モジュール231、画像表示校正部232、画像表示変換部233を含む。さらに、画像表示部230は、メイン画像表示装置125、サブ画像表示装置126を含む。   The data transmission unit 234 performs image display and calibration. The data transmission unit 234 includes an image display unit 230, an image display module 231, an image display calibration unit 232, and an image display conversion unit 233. Further, the image display unit 230 includes a main image display device 125 and a sub image display device 126.

画像表示モジュール231は、画像データや文字データに基づく画像を、メイン画像表示装置125およびサブ画像表示装置126に表示するための制御を行う。例えば、メイン画像表示装置125およびサブ画像表示装置126として、LCDを用いることができる。画像表示モジュール231は、メイン画像表示装置125およびサブ画像表示装置126に、それぞれ別の画像を同時に出力することができる。   The image display module 231 performs control for displaying an image based on image data or character data on the main image display device 125 and the sub image display device 126. For example, an LCD can be used as the main image display device 125 and the sub image display device 126. The image display module 231 can simultaneously output different images to the main image display device 125 and the sub image display device 126.

メイン画像表示装置125またはサブ画像表示装置126に表示する画像データは、CPU210によって画像表示モジュール231に入力される。さらに、表示する画像データは、画像表示変換部233に入力される。画像表示変換部233は、入力された画像データを再生するために復号化し、RAM291に保存する。
さらに、画像表示変換部233は、携帯電話機50を用いて可視光通信を行う場合、送信データの暗号化を行う機能を有する。例えば、本実施形態では、任意の文字データを、時系列的な色の変化を伴った画像データに変換する機能を有する。
Image data to be displayed on the main image display device 125 or the sub image display device 126 is input to the image display module 231 by the CPU 210. Further, the image data to be displayed is input to the image display conversion unit 233. The image display conversion unit 233 decodes the input image data for reproduction and stores it in the RAM 291.
Further, the image display conversion unit 233 has a function of encrypting transmission data when performing visible light communication using the mobile phone 50. For example, the present embodiment has a function of converting arbitrary character data into image data with time-sequential color change.

画像表示変換部233によって変換された画像データは、画像表示校正部232に入力される。画像表示校正部232は、画像データのガンマ補正を行う。画像表示校正部232は、画像表示モジュール231からの指示により、個々の画像表示装置が持つ出力特性に従って、表示する色の調整を行う。例えば、デジタル化された画像データがR,G,Bの3原色で表現され、メイン画像表示装置125が持つ表示特性ではRの輝度が本来の色より小さい場合、画像表示校正部232は表示する画像データのRの輝度を大きくする調整を行う。この時行う調整値の大きさは、RAM291に保存されている校正係数又は関数235にしたがって決められる。画像表示部230の校正係数又は関数235については後述する。このように校正された画像データは、メイン画像表示装置125またはサブ画像表示装置126に表示される。   The image data converted by the image display conversion unit 233 is input to the image display calibration unit 232. The image display calibration unit 232 performs gamma correction on the image data. In response to an instruction from the image display module 231, the image display calibration unit 232 adjusts the color to be displayed according to the output characteristics of each image display device. For example, when the digitized image data is expressed in three primary colors of R, G, and B, and the display characteristic of the main image display device 125 has a luminance of R smaller than the original color, the image display calibration unit 232 displays. Adjustment to increase the luminance of R of the image data is performed. The magnitude of the adjustment value performed at this time is determined according to the calibration coefficient or function 235 stored in the RAM 291. The calibration coefficient or function 235 of the image display unit 230 will be described later. The image data calibrated in this way is displayed on the main image display device 125 or the sub image display device 126.

ROM290は、携帯電話機50の全体の制御に必要なオペレーティングシステムやプログラムを保存する。   The ROM 290 stores an operating system and programs necessary for overall control of the mobile phone 50.

CPU210は、ROM290に保存された制御プログラムに従って、携帯電話機50の全体の制御を行う。CPU210は、制御の必要に応じて、各部に制御信号およびデータを送信、または、各部から応答信号およびデータを受信する。   The CPU 210 controls the entire mobile phone 50 in accordance with a control program stored in the ROM 290. CPU210 transmits a control signal and data to each part, or receives a response signal and data from each part as needed for control.

I/Oインタフェース292は、外部機器との間でデータの入出力を行う。例えば、USB(Universal Serial Bus)接続により、携帯電話機50とパーソナルコンピュータとを接続する。   The I / O interface 292 performs data input / output with an external device. For example, the mobile phone 50 and the personal computer are connected by USB (Universal Serial Bus) connection.

バッテリー293は、携帯電話機50を駆動させるための電源である。   The battery 293 is a power source for driving the mobile phone 50.

外部記録装置294は、例えば、miniSD(登録商標)カード等の外部記録媒体との接続を行い、データの入出力を行う。   The external recording device 294 is connected to an external recording medium such as a miniSD (registered trademark) card and inputs / outputs data.

RAM291は、電話やメールに使用するアドレス帳、通話の履歴、各種機能の設定値等を保存する。また、撮像部220によって撮像されデジタル化された画像データ、撮像校正部222によって調整された画像データ、および、撮像変換部223によって復号化された画像データを保存する。また、画像表示部230で表示する画像データ、画像表示校正部232で調整された画像データ、および、画像表示変換部233によって暗号化された画像データを保存する。
また、RAM291は、本発明による可視光通信に必要な、撮像部220の校正係数又は関数225と、画像表示部230の校正係数又は関数235とを保存する。
また、RAM291は、本発明による可視光通信に必要な、文字コード・点灯パターン対応表255と、文字コード・色データ対応表245とを保存する。
The RAM 291 stores an address book used for telephone calls and mails, a call history, setting values for various functions, and the like. Further, the image data captured and digitized by the imaging unit 220, the image data adjusted by the imaging calibration unit 222, and the image data decoded by the imaging conversion unit 223 are stored. Further, the image data displayed by the image display unit 230, the image data adjusted by the image display calibration unit 232, and the image data encrypted by the image display conversion unit 233 are stored.
The RAM 291 stores the calibration coefficient or function 225 of the imaging unit 220 and the calibration coefficient or function 235 of the image display unit 230 necessary for visible light communication according to the present invention.
The RAM 291 stores a character code / lighting pattern correspondence table 255 and a character code / color data correspondence table 245 necessary for visible light communication according to the present invention.

通信制御部295は、携帯電話機50が送信機となる場合、音声入力部297により入力された信号を変調を行う。また、携帯電話機50が受信機となる場合、入力された信号を復調する。   The communication control unit 295 modulates the signal input by the voice input unit 297 when the mobile phone 50 is a transmitter. Further, when the mobile phone 50 becomes a receiver, the input signal is demodulated.

音声出力部296は、携帯電話機50が送信機となる場合、復調された通話音をスピーカ122に出力する。   The audio output unit 296 outputs the demodulated call sound to the speaker 122 when the mobile phone 50 is a transmitter.

音声入力部297は、ユーザの発声音等をマイク123によって集音し、音声信号に変換する。   The voice input unit 297 collects a user's voice and the like by the microphone 123 and converts it into a voice signal.

操作入力部298は、テンキー127、電源キー128、十字キー129、決定キー130、クリアキー131、送信キー132、等の操作キーの操作信号が入力される。操作入力部298は、操作信号に対応するキーコード信号をCPU210に出力する。CPU210は、キーコード信号に基づき、操作内容を決定する。   The operation input unit 298 receives operation signals of operation keys such as a numeric keypad 127, a power key 128, a cross key 129, an enter key 130, a clear key 131, and a transmission key 132. The operation input unit 298 outputs a key code signal corresponding to the operation signal to the CPU 210. The CPU 210 determines the operation content based on the key code signal.

次に、携帯電話機50による、可視光通信方法の概略を説明する。
図4は、送信装置410と受信装置420とにいずれも同じカメラ付き携帯電話機を使用した場合の概念図である。この場合、可視光通信に必要な、データ受信用の撮像装置は、カメラ413,423である。また、データ送信用の画像表示装置は、サブディスプレイ412,422である。また、操作案内用のディスプレイとして、メインディスプレイ411,421を用いる。
Next, an outline of a visible light communication method using the mobile phone 50 will be described.
FIG. 4 is a conceptual diagram when the same camera-equipped mobile phone is used for both the transmission device 410 and the reception device 420. In this case, imaging devices for data reception necessary for visible light communication are the cameras 413 and 423. The image display devices for data transmission are sub-displays 412 and 422. In addition, main displays 411 and 421 are used as operation guidance displays.

可視光通信を行う場合、送信側ユーザは、矢印415のように、カメラ413で受信装置420のサブディスプレイ422を常に撮像する。また、送信側ユーザは、矢印416のように、サブディスプレイ412を受信装置420に常に対面させておく。
同様に、受信側ユーザは、矢印425のように、カメラ423で送信装置410のサブディスプレイ412を常に撮像する。また、受信側ユーザは、矢印426のように、サブディスプレイ422を送信装置410に常に対面させておく。
When performing visible light communication, the transmission-side user always images the sub-display 422 of the reception device 420 with the camera 413 as indicated by an arrow 415. In addition, the transmission-side user always keeps the sub display 412 facing the reception device 420 as indicated by an arrow 416.
Similarly, the receiving user always captures an image of the sub display 412 of the transmission apparatus 410 with the camera 423 as indicated by an arrow 425. Also, the receiving user always keeps the sub-display 422 facing the transmission device 410 as indicated by an arrow 426.

図4では、便宜上(a)を送信側、(b)を受信側としたが、逆に、(b)を送信側、(a)を受信側に用いることも可能である。
このように、通信相手側に対面させたディスプレイの表示によってデータ送信を行い、カメラでの撮像によってデータ受信を行うことで、可視光通信を行うことができる。
尚、携帯電話機50のデザインは任意に変更することができる。例えば、本実施形態では、メインディスプレイとサブディスプレイの2つを用いているが、メインディスプレイを回転させて通信相手側に対面させ、1つのディスプレイを使用するようにしてもよい。
In FIG. 4, for convenience, (a) is the transmitting side and (b) is the receiving side, but conversely, (b) can be used for the transmitting side and (a) can be used for the receiving side.
In this manner, visible light communication can be performed by performing data transmission by display on the display facing the communication partner and receiving data by imaging with a camera.
The design of the mobile phone 50 can be arbitrarily changed. For example, in the present embodiment, two main displays and sub-displays are used. However, the main display may be rotated to face the communication partner, and one display may be used.

次に、携帯電話機50による、可視光通信の流れを図5、図6を共に参照して説明する。
図5は、可視光通信の流れを、送信側と受信側とに分けて説明したフローチャートである。図6は、可視光通信を開始する場合の動作を説明したフローチャートである。
Next, the flow of visible light communication by the mobile phone 50 will be described with reference to both FIG. 5 and FIG.
FIG. 5 is a flowchart illustrating the flow of visible light communication separately for the transmission side and the reception side. FIG. 6 is a flowchart for explaining the operation when starting visible light communication.

まず、送信装置410は、受信装置420に対して調整し、例えば、可視光通信の開始を要求し(ステップS511)、受信装置420からの通信許可信号を待機する(ステップS512)。一方、受信装置420は、送信装置410からの通信開始要求を待機している(ステップS521)。この通信開始要求は、光のON/OFFによる2値の信号によって行われる。例えば、送信側サブディスプレイ412の一部又は全部を白色で点灯するか、または、消灯するか、の2値を用いて通信する(以下、2値通信と呼ぶ)。   First, the transmission device 410 makes adjustments to the reception device 420, for example, requests the start of visible light communication (step S511), and waits for a communication permission signal from the reception device 420 (step S512). On the other hand, the receiving device 420 waits for a communication start request from the transmitting device 410 (step S521). This communication start request is made by a binary signal based on ON / OFF of light. For example, communication is performed using two values of whether a part or all of the transmission side sub-display 412 is turned on in white or turned off (hereinafter referred to as binary communication).

通信開始要求を表す点灯パターンは、本実施形態において、可視光通信を行う際に共通な点灯パターンであり、予め決められている。例えば、図6(a)は、通信開始要求を表す点灯パターンの例である。この信号は、例えば白色点灯(1)又は消灯(0)を表す1表示単位の時系列的な連続で表現される。図6(a)の場合、「10101010」の8表示単位と、「00000000」の8表示単位と、の連続で表現される。   The lighting pattern indicating the communication start request is a common lighting pattern when performing visible light communication in the present embodiment, and is determined in advance. For example, FIG. 6A is an example of a lighting pattern representing a communication start request. This signal is expressed in time series of one display unit representing, for example, white lighting (1) or extinguishing (0). In the case of FIG. 6A, 8 display units of “10101010” and 8 display units of “00000000” are continuously expressed.

図6(d)は、通信開始要求時において、送信装置410と受信装置420との動作を図式化したものである。
まず、(d−1)に示すように、送信装置410は、サブディスプレイ412に通信開始要求を表す点灯パターンを表示する(ステップS521)。
次に、(d−2)に示すように、受信装置420は、当該点灯パターンをカメラ423で撮像して通信開始要求を認識する。次に、(d−2)に示すように、通信許可するか否かの判定をする(ステップS522)。受信装置420は、通信を許可する場合(ステップS522でYesの場合)、(d−3)に示すように、サブディスプレイ422に通信許可を表す点灯パターンを表示する。一方、受信装置420は、通信を許可しない場合(ステップS522でNoの場合)、可視光通信を終了する。
一方、送信装置410は、当該点灯パターンをカメラ413で撮像しつつ、待機する(ステップS512)。送信装置410は、入力を常時判別し続け、許可と認識した時点(ステップS513でYesの場合)で、可視光通信を開始する。
ここで、通信許可信号も、点灯(1)又は消灯(0)を表す1表示単位の時系列的な連続で表現される。通信許可信号の点灯パターンは、通信開始要求信号の点灯パターンとは異なる。
FIG. 6D schematically illustrates the operations of the transmission device 410 and the reception device 420 when a communication start request is made.
First, as illustrated in (d-1), the transmission device 410 displays a lighting pattern indicating a communication start request on the sub-display 412 (step S521).
Next, as illustrated in (d-2), the reception device 420 captures the lighting pattern with the camera 423 and recognizes the communication start request. Next, as shown in (d-2), it is determined whether or not communication is permitted (step S522). When the communication is permitted (Yes in step S522), the receiving device 420 displays a lighting pattern indicating communication permission on the sub-display 422 as shown in (d-3). On the other hand, if the receiving device 420 does not permit communication (No in step S522), the receiving device 420 ends the visible light communication.
On the other hand, the transmission device 410 stands by while capturing the lighting pattern with the camera 413 (step S512). The transmission device 410 always determines the input, and starts visible light communication when it is recognized as permitted (Yes in step S513).
Here, the communication permission signal is also expressed in a time-series sequence of one display unit indicating lighting (1) or light extinction (0). The lighting pattern of the communication permission signal is different from the lighting pattern of the communication start request signal.

図6(a)のような点灯パターンを用いた2値通信を行う場合、送信装置410と受信装置420とのディスプレイ装置およびカメラ装置の性能によって、1表示単位の発光時間を長くするかあるいは短くする必要がある。これは、送信装置410の性能と受信装置420の性能とに合った通信レートを決めることに相当する。
図6(b)は、通信レートを調整した結果の例である。この調整では、送信装置410が点灯させる光の1表示単位あたりの発光時間を長くしただけである。このように、この通信レートの調整によって、点灯パターンそのものは変化しない。
When performing binary communication using the lighting pattern as shown in FIG. 6A, the light emission time of one display unit is lengthened or shortened depending on the performance of the display device and the camera device of the transmission device 410 and the reception device 420. There is a need to. This corresponds to determining a communication rate that matches the performance of the transmission device 410 and the performance of the reception device 420.
FIG. 6B is an example of a result of adjusting the communication rate. In this adjustment, only the light emission time per display unit of the light to be turned on by the transmission device 410 is lengthened. Thus, the lighting pattern itself does not change by adjusting the communication rate.

また、本実施形態では、点灯(1)又は消灯(0)を表す1表示単位の時系列的な連続のパターンを、複数種類定義している。
例えば、上記のような8表示単位を使用して、図6(c)のように、文字コード・点灯パターン対応表255を定義する。この場合、理論上252通り(通信開始要求信号、通信許可信号、全部1、全部0は除く)の定義が可能である。実際には、通信精度を高めるために、類似したパターンを使用しないこと、等の理由により、使用できるのは半分以下になる場合がある。しかし、数字10種類、アルファベット26種類、#、*などのいくつかの記号を表現するためには十分である。
In the present embodiment, a plurality of types of time-sequential continuous patterns of one display unit representing lighting (1) or extinguishing (0) are defined.
For example, the character code / lighting pattern correspondence table 255 is defined as shown in FIG. In this case, 252 theoretical definitions (excluding communication start request signals, communication permission signals, all 1s, all 0s) are possible. In practice, in order to improve communication accuracy, the number of usable patterns may be less than half due to reasons such as not using a similar pattern. However, it is sufficient for expressing several symbols such as 10 numbers, 26 alphabets, #, *, and the like.

これらの表現を使用すれば、画像表示部230と撮像部220の校正をするための最低限の通信が可能になる。例えば、調整をする色を(R,G,B)で表現し、調整を行う色が何であるか、等の情報を予め送受信することができる。   If these expressions are used, the minimum communication for calibrating the image display unit 230 and the imaging unit 220 becomes possible. For example, the color to be adjusted can be expressed by (R, G, B), and information such as what color to adjust can be transmitted and received in advance.

また、例えば、通信開始要求時に送信装置410のシリアルナンバーを送受信することによって、受信装置420は、RAM291上に保存している校正係数又は関数225,235等を参照して、通信許可/不許可の認証を行うようにしてもよい。
また、この2値通信において、1つの点灯パターンに8表示単位以上を使用してもよい。
In addition, for example, by transmitting / receiving the serial number of the transmission device 410 when a communication start request is made, the reception device 420 refers to the calibration coefficient stored in the RAM 291 or the functions 225, 235, etc. You may make it authenticate.
In this binary communication, eight display units or more may be used for one lighting pattern.

次に、受信装置420によって通信開始が許可された場合(ステップS513でYesの場合)、これを送信装置410が識別した以降について説明する。
まず、送信装置410は、受信装置420に送信側画像表示部230の校正(キャリブレーション)を開始することを要求する。画像表示校正部232は、以後、送信装置410と受信装置420とで協働して、送信側画像表示部230のキャリブレーションを行う(ステップS514,ステップS524)。本実施形態では、送信装置410のサブディスプレイ412のキャリブレーションを行う。これにより、送信装置410のサブディスプレイ412の出力特性は、受信装置420のカメラ423の出力特性に合うように校正する。送信側画像表示部230のキャリブレーションの詳細については後述する。
Next, when the start of communication is permitted by the receiving apparatus 420 (Yes in step S513), the process after the transmission apparatus 410 identifies this will be described.
First, the transmission device 410 requests the reception device 420 to start calibration of the transmission-side image display unit 230. Thereafter, the image display calibration unit 232 performs calibration of the transmission-side image display unit 230 in cooperation with the transmission device 410 and the reception device 420 (steps S514 and S524). In the present embodiment, calibration of the sub display 412 of the transmission device 410 is performed. Thereby, the output characteristic of the sub display 412 of the transmission apparatus 410 is calibrated so as to match the output characteristic of the camera 423 of the reception apparatus 420. Details of calibration of the transmission-side image display unit 230 will be described later.

次に、送信装置410は、受信装置420に対して、送信側撮像部220のキャリブレーションを開始することを要求する。撮像校正部222は、送信側撮像部220のキャリブレーションを行う(ステップS515,ステップS525)。本実施形態では、送信側のカメラ413のキャリブレーションを行う。これにより、送信装置410のカメラ413の出力特性は、受信装置420のサブディスプレイ422の出力特性に合うように校正される。送信側撮像部220のキャリブレーションの詳細については後述する。撮像部220のキャリブレーションが終わると、受信装置420は、送信装置410から送信メッセージが送信されるのを待機する(ステップS526)。   Next, the transmission device 410 requests the reception device 420 to start calibration of the transmission-side imaging unit 220. The imaging calibration unit 222 calibrates the transmission side imaging unit 220 (step S515, step S525). In the present embodiment, the transmission side camera 413 is calibrated. As a result, the output characteristics of the camera 413 of the transmission apparatus 410 are calibrated to match the output characteristics of the sub display 422 of the reception apparatus 420. Details of calibration of the transmission side imaging unit 220 will be described later. When the calibration of the imaging unit 220 ends, the reception device 420 waits for a transmission message to be transmitted from the transmission device 410 (step S526).

ここで、キャリブレーションの詳細について説明する。画像表示部230と撮像部220のキャリブレーションが行われると、送信装置410と受信装置420とは、画像表示部230と撮像部220の安定した出力特性によって、多種の色を識別することが可能となる。つまり、送信装置410と受信装置420との間の高い色分解能によって、精度の高い可視光による通信が可能となる。したがって、多種の色を用いて、データの暗号化/復号化が可能となる。本実施形態では、画像表示変換部233がデータの暗号化を行い、撮像変換部223がデータの復号化を行う。   Here, the details of calibration will be described. When the image display unit 230 and the imaging unit 220 are calibrated, the transmission device 410 and the reception device 420 can identify various colors based on stable output characteristics of the image display unit 230 and the imaging unit 220. It becomes. In other words, highly accurate visible light communication is possible due to the high color resolution between the transmission device 410 and the reception device 420. Therefore, data can be encrypted / decrypted using various colors. In this embodiment, the image display conversion unit 233 performs data encryption, and the imaging conversion unit 223 performs data decryption.

図5(b)のフローチャートに戻り、画像表示部230と撮像部220のキャリブレーションの終了後、送信側のユーザは、メインディスプレイ411に表示される手順に従って、任意のメッセージを編集する(ステップS516)。画像表示変換部233は、ユーザによる送信メッセージの編集終了後、送信メッセージの暗号化を行う(ステップS517)。暗号化によって、送信メッセージは、送信装置410と受信装置420とで認識可能な色を用いた信号に変換される。   Returning to the flowchart of FIG. 5B, after the calibration of the image display unit 230 and the imaging unit 220 is completed, the user on the transmission side edits an arbitrary message according to the procedure displayed on the main display 411 (step S516). ). The image display conversion unit 233 encrypts the transmission message after the user finishes editing the transmission message (step S517). Through the encryption, the transmission message is converted into a signal using a color that can be recognized by the transmission device 410 and the reception device 420.

ここでの暗号化について詳細に説明する。例えば、本実施形態では、赤色(R),緑色(G),青色(B)の3原色を256階調(0〜255)で区別する。認識可能な色として、R,G,Bの階調の組み合わせによって定義される複数種類の色を用いる。   The encryption here will be described in detail. For example, in this embodiment, three primary colors of red (R), green (G), and blue (B) are distinguished by 256 gradations (0 to 255). A plurality of types of colors defined by combinations of R, G, and B gradations are used as recognizable colors.

例えば、本実施形態では、赤色(R)、緑色(G)、青色(B)、橙色(O)、黄色(Y)、黄緑色(M)、紫色(P)、白色(W)の8色を用いる。さらに、使用する色と文字コードとを対応づけておく。例えば、「A」の文字コードを(R,G,B)=(255,0,0)に、「B」の文字コードを(R,G,B)=(255,255,0)のように対応づける。図7(a)は文字コード・色データ対応表245の例である。   For example, in this embodiment, eight colors of red (R), green (G), blue (B), orange (O), yellow (Y), yellow-green (M), purple (P), and white (W) Is used. Further, the color to be used is associated with the character code. For example, the character code “A” is (R, G, B) = (255, 0, 0), and the character code “B” is (R, G, B) = (255, 255, 0). Associate with. FIG. 7A shows an example of the character code / color data correspondence table 245.

さらに、1つの文字コードを表す色階調に幅(色領域)を持たせる。例えば、階調0〜15は0に、階調16〜47は32に、階調48〜79は64に、階調80〜111は96に、階調112〜143は128に、階調144〜175は160に、階調176〜207は192に、階調208〜231は224に、階調232〜255は255に対応づけておく。図7(b)は、図7(a)の対応表に、色領域の幅を持たせた対応表である。これにより、撮像装置で読み取った色に読み取り誤差が生じた場合でも復号化ができる。   Further, the color gradation representing one character code is given a width (color region). For example, gradations 0 to 15 are 0, gradations 16 to 47 are 32, gradations 48 to 79 are 64, gradations 80 to 111 are 96, gradations 112 to 143 are 128, gradation 144 ˜175 are associated with 160, gradations 176 to 207 with 192, gradations 208 to 231 with 224, and gradations 232 to 255 with 255. FIG. 7B is a correspondence table in which the width of the color area is added to the correspondence table of FIG. As a result, decoding can be performed even when a reading error occurs in the color read by the imaging apparatus.

別な方法として、例えば、階調0〜15は0に、階調48〜79は64に、階調112〜143は128に、階調176〜207は192に、階調232〜255は255に対応づけて、途中の、階調16〜47、階調80〜111、階調144〜175、階調208〜231を未使用にする。このように、対応領域と非対応領域を設け、読み取った色が非対応領域である場合は読み込みエラーとして再読み取りを行うようにしてもよい。これにより、復号化の精度を高めることができる。   As another method, for example, gradations 0 to 15 are 0, gradations 48 to 79 are 64, gradations 112 to 143 are 128, gradations 176 to 207 are 192, and gradations 232 to 255 are 255. Corresponding to, gradations 16 to 47, gradations 80 to 111, gradations 144 to 175, gradations 208 to 231 in the middle are made unused. As described above, a corresponding area and a non-corresponding area may be provided, and if the read color is a non-corresponding area, re-reading may be performed as a reading error. Thereby, the precision of decoding can be improved.

別な方法として、複数の色データを用いて文字コードに対応づけることも可能である。図7(c)は、異なる3色の組み合わせを用いて、文字コードに対応づけた例である。これにより、少ない種類の色の組み合わせを用いて、多くの文字コードと色データとの対応づけができる。   As another method, it is possible to associate a character code with a plurality of color data. FIG. 7C shows an example in which character codes are associated with combinations of different three colors. As a result, it is possible to associate many character codes with color data using a small number of color combinations.

このような文字コード・色データ対応表245を用いれば、可視光を用いて、送信メッセージを暗号化/復号化することができる。
例えば、文字データ・色データ対応表245として図7(c)を用いた場合、メッセージ「B1#」は「RWOBYROPG」に暗号化することができる。
By using such a character code / color data correspondence table 245, the transmitted message can be encrypted / decrypted using visible light.
For example, when FIG. 7C is used as the character data / color data correspondence table 245, the message “B1 #” can be encrypted as “RWOBYROPG”.

例えば、デリミタとして黒(K)を用い、「RWO(K)BYR(K)OPG」のように暗号化してもよい。   For example, black (K) may be used as a delimiter, and encryption may be performed like “RWO (K) BYR (K) OPG”.

以上までが暗号化についての詳細の説明である。   The above is the detailed description of encryption.

ここで、図6(b)のフローチャートに戻って、上述した方法により暗号化された送信メッセージは、送信装置410のサブディスプレイ412に、時系列的に連続した色データとして表示される(ステップS518)。その後、次の送信メッセージがあれば(ステップS519でYesの場合)、ステップS516に戻って、同様の処理が実行される。受信装置420は、この時系列的に連続した色データを撮像することによって、メッセージを受信する(ステップS527)。受信したメッセージは、受信装置420の撮像変換部233によって、RAM291に保存された文字コード・色データ対応表245に従って復号化される(ステップS528)。復号化されたメッセージは、受信装置420のメインディスプレイ422に表示される(ステップS529)。その後、受信メッセージがあれば(ステップS530でYesの場合)、ステップS526に戻って同様の処理が実行される。   Here, returning to the flowchart of FIG. 6B, the transmission message encrypted by the above-described method is displayed on the sub-display 412 of the transmission apparatus 410 as continuous color data in time series (step S518). ). Thereafter, if there is a next transmission message (Yes in step S519), the process returns to step S516 and the same processing is executed. The receiving device 420 receives the message by imaging the time-series continuous color data (step S527). The received message is decoded in accordance with the character code / color data correspondence table 245 stored in the RAM 291 by the imaging conversion unit 233 of the receiving device 420 (step S528). The decrypted message is displayed on the main display 422 of the receiving device 420 (step S529). Thereafter, if there is a received message (Yes in step S530), the process returns to step S526 and the same processing is executed.

このように、送信装置410は、任意の文字データを可視光を用いて色データに暗号化し、受信装置420に送信することができる。また、受信装置420は、当該色データを元の文字データに復号化して受信することができる。つまり、送信側ユーザは任意の文字データを送信でき、受信側のユーザは受信したメッセージを読むことができる。   As described above, the transmission device 410 can encrypt arbitrary character data into color data using visible light and transmit the encrypted data to the reception device 420. The receiving device 420 can receive the color data by decoding the original color data. That is, the transmission side user can transmit arbitrary character data, and the reception side user can read the received message.

次に、送信側画像表示部230のキャリブレーションの詳細について説明する。
図8は、画像表示部230のキャリブレーションを行う時の、送信装置410側の動作のフローチャートである。また、図9は、画像表示部230のキャリブレーションを行う時の、受信装置420側の動作のフローチャートである。また、図10は、送信装置410と受信装置420の動作を図式化したものである。
Next, details of calibration of the transmission-side image display unit 230 will be described.
FIG. 8 is a flowchart of the operation on the transmission device 410 side when the image display unit 230 is calibrated. FIG. 9 is a flowchart of the operation on the receiving apparatus 420 side when the image display unit 230 is calibrated. FIG. 10 shows the operations of the transmission device 410 and the reception device 420 schematically.

まず、画像表示部230のキャリブレーションが開始されると、送信装置410はサブディスプレイ412に校正開始要求信号850を表示する(ステップS811)。前述の通り、この校正開始要求信号850は、点灯又は消灯の2値を用いた信号である。送信装置410は、受信装置420からの校正開始許可信号860を待つ(ステップS812)。   First, when calibration of the image display unit 230 is started, the transmission apparatus 410 displays a calibration start request signal 850 on the sub-display 412 (step S811). As described above, the calibration start request signal 850 is a signal using binary values of lighting or extinguishing. The transmission device 410 waits for a calibration start permission signal 860 from the reception device 420 (step S812).

一方、受信装置420は、まず色を判別するために、iに赤を指定する初期値の1を指定する(ステップS921)。次に、送信装置410のディスプレイ412に校正開始要求信号850が表示されるのを待機している(ステップS911)。受信装置420は、校正開始要求信号850を受信すると、校正を許可する場合(ステップS912でYesの場合)、校正開始許可信号860を表示する。一方、許可しない場合(ステップS912でNoの場合)、キャリブレーションを終了する。   On the other hand, the receiving apparatus 420 first designates 1 as an initial value for designating red in order to determine the color (step S921). Next, it waits for the calibration start request signal 850 to be displayed on the display 412 of the transmission apparatus 410 (step S911). When receiving the calibration start request signal 850, the reception device 420 displays the calibration start permission signal 860 when the calibration is permitted (Yes in step S912). On the other hand, if not permitted (No in step S912), the calibration is terminated.

次に、校正の開始が許可されると(ステップS813でYesの場合)、送信装置410は校正開始信号870を表示する(ステップS814)。さらに、キャリブレーション動作に入る(ステップS815)。受信装置420は、校正開始信号870を受け取ると(ステップS912でYesの場合)、送信側画像表示部230のキャリブレーション動作に入る(ステップS916)。   Next, when the start of calibration is permitted (Yes in step S813), the transmission device 410 displays a calibration start signal 870 (step S814). Further, the calibration operation is started (step S815). When receiving the calibration start signal 870 (Yes in step S912), the receiving device 420 enters the calibration operation of the transmission-side image display unit 230 (step S916).

画像表示部230のキャリブレーションは、予め決められた色を対象に行われる。例えば、本実施形態では、赤(R)、緑(G)、青(B)の3色を用いて行われる。   Calibration of the image display unit 230 is performed for a predetermined color. For example, in this embodiment, it is performed using three colors of red (R), green (G), and blue (B).

次に、送信装置410は、例えば、i=1で指定され、最初に調整を行う色が赤(R)であることを、点灯/消灯による2値通信で受信装置420に送信する(ステップS822)。この時、例えば、図6(c)のように予め決められた文字コード・点灯パターン対応表255を用いて送信する。さらに、送信装置410は、サブディスプレイ412に調整を行う赤色を表示する(ステップS823)。送信装置410は、受信装置420からの認識結果信号890を待つ(ステップS824)。   Next, the transmission apparatus 410 transmits, for example, information that is specified by i = 1 and the color to be adjusted first is red (R) to the reception apparatus 420 by binary communication by turning on / off (step S822). ). At this time, for example, transmission is performed using a predetermined character code / lighting pattern correspondence table 255 as shown in FIG. Further, the transmission device 410 displays red for adjustment on the sub-display 412 (step S823). The transmission device 410 waits for the recognition result signal 890 from the reception device 420 (step S824).

一方、受信装置420は、送信装置410のサブディスプレイ412を撮像し、点灯/消灯による2値通信により、調整を行う色が赤(R)であることを認識する(ステップS922)。さらに、受信装置420は、送信装置410のサブディスプレイ412を撮像し、調整対象色である赤の画像を撮像する(ステップS923)。
受信装置420は、撮像した画像の認識結果信号890をサブディスプレイ422に表示する(ステップS925)。例えば、受信装置420のカメラ423によって撮像された色が(R,G,B)=(240,10,10)である場合、点灯/消灯による2値通信により、この情報を送信装置410に送信する。
On the other hand, the receiving device 420 images the sub display 412 of the transmitting device 410 and recognizes that the color to be adjusted is red (R) by binary communication by turning on / off (step S922). Further, the reception device 420 images the sub display 412 of the transmission device 410, and captures a red image that is an adjustment target color (step S923).
The receiving device 420 displays the recognition result signal 890 of the captured image on the sub display 422 (step S925). For example, when the color imaged by the camera 423 of the receiving device 420 is (R, G, B) = (240, 10, 10), this information is transmitted to the transmitting device 410 by binary communication by turning on / off. To do.

送信装置410の画像表示校正部232は、自らが調整を行う色に関する情報880の色データと、受信装置420による認識結果信号890の色データとを比較する(ステップS826)。
同様に、他の調整対象色についても比較を行う。例えば、本実施形態では、赤(R)のほかに、緑(G)、青(B)についても比較を行う(ステップS829、ステップS830)。
The image display calibration unit 232 of the transmission device 410 compares the color data of the information 880 relating to the color to be adjusted by itself with the color data of the recognition result signal 890 by the reception device 420 (step S826).
Similarly, the other adjustment target colors are also compared. For example, in this embodiment, in addition to red (R), green (G) and blue (B) are also compared (steps S829 and S830).

画像表示校正部232は、自らが調整を行う色に関する情報880の色データと、受信側420による認識結果信号890の色データとにずれがあると判断した場合(ステップ827でYesの場合)、画像表示部230の出力特性を、受信側420による認識結果信号890の色データに合わせるようにキャリブレーションを行う(ステップS828)。   When the image display proofreading unit 232 determines that there is a difference between the color data of the information 880 relating to the color to be adjusted by itself and the color data of the recognition result signal 890 by the receiving side 420 (Yes in Step 827), Calibration is performed so that the output characteristic of the image display unit 230 matches the color data of the recognition result signal 890 by the receiving side 420 (step S828).

例えば、ステップS822で送信した、自らが調整を行う色に関する情報880の色データが(R,G,B)=(255,0,0)であるとする。また、受信側420によって撮像された色データが(R,G,B)=(240,10,10)であるとする。この場合、画像表示校正部232は、Rを15階調上げ、GとBを10階調下げるように、画像表示部230のキャリブレーションを行う。   For example, it is assumed that the color data of the information 880 relating to the color to be adjusted by itself transmitted in step S822 is (R, G, B) = (255, 0, 0). Further, it is assumed that the color data captured by the receiving side 420 is (R, G, B) = (240, 10, 10). In this case, the image display calibration unit 232 calibrates the image display unit 230 so that R is increased by 15 gradations and G and B are decreased by 10 gradations.

このように、画像表示部230は、送信側410の画像表示部230と、受信装置420の撮像部220との出力特性を合わせるための、校正係数又は関数235を得る。校正係数又は関数235は、RAM291に保存される。
したがって、一度キャリブレーションを行えば、二度目からその受信装置420との間でのキャリブレーションを省略することができる。さらに、校正係数又は関数235を保存することによって、表示する画像を常に同じ画質に保つことができる。また、校正係数又は関数235は、いつでも修正されることが可能である。
As described above, the image display unit 230 obtains the calibration coefficient or function 235 for matching the output characteristics of the image display unit 230 on the transmission side 410 and the imaging unit 220 of the reception device 420. The calibration coefficient or function 235 is stored in the RAM 291.
Therefore, once calibration is performed, calibration with the receiving apparatus 420 from the second time can be omitted. Furthermore, by storing the calibration coefficient or function 235, the displayed image can always be kept at the same image quality. Also, the calibration factor or function 235 can be modified at any time.

例えば、校正係数又は関数235の修正履歴を保存し、ユーザは保存した複数の設定値の中から適宜選択できるようにしてもよい。   For example, a calibration coefficient or a correction history of the function 235 may be stored so that the user can appropriately select from a plurality of stored setting values.

例えば、校正係数又は関数235の修正履歴から、将来の校正係数又は関数235を推定し、自動でキャリブレーションを行うようにしてもよい。   For example, a future calibration coefficient or function 235 may be estimated from the correction history of the calibration coefficient or function 235, and calibration may be automatically performed.

このように、画像表示部230のキャリブレーションを行うことにより、送信装置410の画像表示部230と、受信側420の撮像部220との出力特性を合わせることができる。これにより、精度の高い可視光通信が可能となる。   In this way, by performing calibration of the image display unit 230, the output characteristics of the image display unit 230 of the transmission device 410 and the imaging unit 220 of the reception side 420 can be matched. Thereby, visible light communication with high accuracy becomes possible.

次に、送信側撮像部220のキャリブレーションの詳細について説明する。
図11は、撮像部220のキャリブレーションを行う時の、送信装置410側の動作フローチャートである。また、図12は、撮像部230のキャリブレーションを行う時の、受信装置420側の動作フローチャートである。また、図13は、送信装置410と受信装置420の動作を図式化したものである。
Next, details of calibration of the transmission side imaging unit 220 will be described.
FIG. 11 is an operation flowchart on the transmission apparatus 410 side when the imaging unit 220 is calibrated. FIG. 12 is an operation flowchart on the receiving device 420 side when the imaging unit 230 is calibrated. FIG. 13 schematically illustrates the operations of the transmission device 410 and the reception device 420.

まず、撮像部220のキャリブレーションが開始されると、送信装置410はサブディスプレイ412に校正開始要求信号1150を表示する(ステップS1111)。この校正開始要求信号1150は、点灯又は消灯の2値を用いた信号である。送信装置410は、受信装置420からの校正開始許可信号1160を待つ(ステップS1112)。   First, when calibration of the imaging unit 220 is started, the transmission device 410 displays a calibration start request signal 1150 on the sub-display 412 (step S1111). This calibration start request signal 1150 is a signal using binary values of lighting or extinguishing. The transmission device 410 waits for a calibration start permission signal 1160 from the reception device 420 (step S1112).

一方、受信装置420は、送信装置410のディスプレイ412に校正開始要求信号1150が表示されるのを待機している(ステップS1211)。受信装置420は、校正開始要求信号1150を認識すると、校正を許可する場合には校正開始許可信号1160を表示する(ステップS1213)。許可しない場合(ステップS1212でNoの場合)は、キャリブレーションを終了する。   On the other hand, the receiving apparatus 420 waits for the calibration start request signal 1150 to be displayed on the display 412 of the transmitting apparatus 410 (step S1211). Receiving the calibration start request signal 1150, the receiving device 420 displays the calibration start permission signal 1160 when the calibration is permitted (step S1213). If not permitted (No in step S1212), the calibration is terminated.

次に、校正の開始が許可された場合(ステップS1113でYesの場合)、送信側410は校正開始信号1170を表示する(ステップS1114)。さらに、キャリブレーション動作に入る(ステップS1115)。
一方、受信側420は、校正開始信号1170を認識すると(ステップS1215でYesの場合)、送信側撮像部220のキャリブレーション動作に入る(ステップS1216)。
Next, when the start of calibration is permitted (Yes in step S1113), the transmission side 410 displays a calibration start signal 1170 (step S1114). Further, the calibration operation is started (step S1115).
On the other hand, when the reception side 420 recognizes the calibration start signal 1170 (Yes in step S1215), the reception side 420 enters the calibration operation of the transmission side imaging unit 220 (step S1216).

ここで、撮像部220のキャリブレーションは、画像表示部230のキャリブレーションと同様に、予め決められた色を対象に行われる。例えば、本実施形態では、赤(R)、緑(G)、青(B)の3色に対して行われる。   Here, the calibration of the imaging unit 220 is performed on a predetermined color as in the case of the calibration of the image display unit 230. For example, in the present embodiment, the process is performed for three colors of red (R), green (G), and blue (B).

次に、受信装置420は、例えば、最初に調整を行う色が赤(R)であることを点灯/消灯による2値通信で送信装置410に送信する(ステップS1222)。この時、例えば、図6(c)のように予め決められた文字コード・点灯パターン対応表255を用いて送信する。さらに、受信装置420は、サブディスプレイ422に調整を行う赤色を表示する(ステップS1223)。その後、受信装置420は、送信装置410から、赤色を表示する調整が終わったことを示す信号1190を待つ(ステップS1224)。   Next, for example, the reception device 420 transmits that the color to be adjusted first is red (R) to the transmission device 410 by binary communication by turning on / off (step S1222). At this time, for example, transmission is performed using a predetermined character code / lighting pattern correspondence table 255 as shown in FIG. Further, the receiving device 420 displays red for adjustment on the sub-display 422 (step S1223). Thereafter, the receiving apparatus 420 waits for a signal 1190 indicating that the adjustment to display red is finished from the transmitting apparatus 410 (step S1224).

一方、送信側410は、受信装置420のサブディスプレイ422を撮像し、点灯/消灯による2値通信により、調整を行う色が赤(R)であることを受信する(ステップS1122)。さらに、送信装置410は、受信装置420のサブディスプレイ422を撮像し、調整対象色である赤の画像を撮像する(ステップS1123)。   On the other hand, the transmission side 410 images the sub-display 422 of the reception device 420 and receives that the color to be adjusted is red (R) by binary communication by turning on / off (step S1122). Further, the transmission device 410 captures the sub display 422 of the reception device 420 and captures a red image that is an adjustment target color (step S1123).

次に、送信装置410の撮像校正部222は、受信装置420から2値通信で受信した調整を行う色に関する情報1180の色データと、自らのカメラ413が撮像した画像の色データとを比較する(ステップS1125)。
同様に、他の調整対象色についても比較を行う。例えば、本実施形態では、、赤(R)と同様に、緑(G)、青(B)についても比較を行う(ステップS1129、ステップS1130)。
Next, the imaging calibration unit 222 of the transmission apparatus 410 compares the color data of the information 1180 relating to the color to be adjusted received from the reception apparatus 420 by binary communication with the color data of the image captured by the camera 413 itself. (Step S1125).
Similarly, the other adjustment target colors are also compared. For example, in the present embodiment, similarly to red (R), comparison is performed for green (G) and blue (B) (steps S1129 and S1130).

一方、撮像校正部222は、受信装置420から受信した、調整を行う色に関する情報1180の色データと、自らのカメラ413が撮像した画像の色データとにずれがあると判断した場合(ステップS1126でYesの場合)、撮像校正部222は、撮像部220の出力特性を、受信装置420による調整を行う色に関する情報1180の色データに合わせるようにキャリブレーションを行う(ステップS1127)。   On the other hand, when the imaging calibration unit 222 determines that there is a difference between the color data of the information 1180 related to the color to be adjusted received from the receiving device 420 and the color data of the image captured by the camera 413 (step S1126). In the case of “Yes”, the imaging calibration unit 222 performs calibration so that the output characteristics of the imaging unit 220 are matched with the color data of the information 1180 regarding the color to be adjusted by the receiving device 420 (step S1127).

例えば、ステップS1122で受信した、調整を行う色に関する情報1180の色データが(R,G,B)=(255,0,0)であるとする。また、自らのカメラ413によって撮像した色データが(R,G,B)=(240,10,10)であるとする。この場合、撮像校正部222は、Rを15階調上げ、GとBを10階調下げるように、撮像部220のキャリブレーションを行う。   For example, it is assumed that the color data of the information 1180 relating to the color to be adjusted received in step S1122 is (R, G, B) = (255, 0, 0). Further, it is assumed that the color data captured by the camera 413 is (R, G, B) = (240, 10, 10). In this case, the imaging calibration unit 222 calibrates the imaging unit 220 so that R is increased by 15 gradations and G and B are decreased by 10 gradations.

このように、撮像部220は、送信装置410の撮像部220と、受信装置420の画像表示部230との出力特性を合わせるための、校正係数又は関数225を得る。校正係数又は関数225は、RAM291に保存される。
したがって、一度キャリブレーションを行えば、二度目からその受信装置との間のキャリブレーションを省略することができる。さらに、校正係数又は関数225を保存することによって、表示する画像を常に同じ画質に保つことができる。また、校正係数又は関数225は、いつでも修正されることが可能である。
As described above, the imaging unit 220 obtains the calibration coefficient or function 225 for matching the output characteristics of the imaging unit 220 of the transmission device 410 and the image display unit 230 of the reception device 420. The calibration coefficient or function 225 is stored in the RAM 291.
Therefore, once calibration is performed, calibration with the receiving apparatus can be omitted from the second time. Further, by storing the calibration coefficient or function 225, the displayed image can always be kept at the same image quality. Also, the calibration factor or function 225 can be modified at any time.

例えば、校正係数又は関数225の修正履歴を保存し、ユーザは保存した複数の設定値の中から適宜選択できるようにしてもよい。   For example, a calibration coefficient or a correction history of the function 225 may be stored so that the user can appropriately select from a plurality of stored setting values.

例えば、校正係数又は関数225の修正履歴から、将来の校正係数又は関数225を推定し、自動でキャリブレーションを行うようにしてもよい。   For example, a future calibration coefficient or function 225 may be estimated from the correction history of the calibration coefficient or function 225, and the calibration may be automatically performed.

このように、撮像部220のキャリブレーションを行うことにより、送信装置410の撮像部220と、受信装置420の画像表示部230との出力特性を合わせることができる。これにより、精度の高い可視光通信が可能となる。   In this way, by performing calibration of the imaging unit 220, output characteristics of the imaging unit 220 of the transmission device 410 and the image display unit 230 of the reception device 420 can be matched. Thereby, visible light communication with high accuracy becomes possible.

尚、撮像部220の校正係数又は関数225と、画像表示部230の校正係数又は関数235とは、それぞれ単独に設定されるのではなく、両者を関連づけて同時に設定されるようにするのが望ましい。   It should be noted that the calibration coefficient or function 225 of the imaging unit 220 and the calibration coefficient or function 235 of the image display unit 230 are not set independently, but are preferably set in association with each other. .

次に、可視光通信を行う場合の操作画面について説明する。
図14は、可視光通信を開始時に、キャリブレーションを行う画面の例である。この画面は、メインディスプレイ411に表示される。
Next, an operation screen for performing visible light communication will be described.
FIG. 14 is an example of a screen for performing calibration when starting visible light communication. This screen is displayed on the main display 411.

まず、ROM290に保存された、可視光通信を行うためのアプリケーションを起動すると、図14(a)のように、受信装置420と通信を行うためのメニューが表示される。このメニューでユーザが受信装置420に接続することを選択すると、メインディスプレイ411は、図14(b)のように、受信装置420を撮像する画面に移行する。   First, when an application stored in the ROM 290 for performing visible light communication is activated, a menu for performing communication with the receiving device 420 is displayed as shown in FIG. When the user selects to connect to the receiving device 420 in this menu, the main display 411 shifts to a screen for imaging the receiving device 420 as shown in FIG.

次に、可視光通信アプリケーションは、図14(c)のように、受信装置420のサブディスプレイ422とカメラ423の撮像位置が、受信装置420との可視光通信が可能になる位置になるように照準を合わせることを促す。送信側ユーザは、照準を合わせるために、送信装置410のサブディスプレイ412とカメラ413との向きを調節する。   Next, in the visible light communication application, as illustrated in FIG. 14C, the imaging position of the sub display 422 and the camera 423 of the receiving device 420 is set to a position where visible light communication with the receiving device 420 is possible. Encourage aiming. The transmission-side user adjusts the orientation of the sub-display 412 and the camera 413 of the transmission device 410 in order to aim.

例えば、送信側ユーザが照準を合わせるために送信装置410の向きを変えるのではなく、メインディスプレイ411内に表示される照準線を移動させるようにしてもよい。   For example, the aiming line displayed in the main display 411 may be moved instead of changing the orientation of the transmission device 410 in order for the transmission-side user to aim.

送信側ユーザが照準を合わせると、図14(d)のように、送信装置410の画像表示部230と撮像部220のキャリブレーションを開始する。この時行われる通信は、点灯または消灯による2値通信である。送信装置410は、キャリブレーションが正常終了すると、図14(e)のようにメッセージ送受信の待機状態となる。キャリブレーションが異常終了した場合は、図14(f)のようにエラー画面になる。この場合、キャリブレーションを再実行する必要がある。   When the transmission-side user aims, the calibration of the image display unit 230 and the imaging unit 220 of the transmission device 410 is started as shown in FIG. Communication performed at this time is binary communication by turning on or off. When the calibration is normally completed, the transmission device 410 enters a message transmission / reception standby state as shown in FIG. If calibration ends abnormally, an error screen is displayed as shown in FIG. In this case, it is necessary to re-execute calibration.

図15は、受信装置420にメッセージを送信する画面の例である。送信側ユーザは、図14(e)の待機状態において、図15(a)のように、サブメニューを起動する。さらに、メッセージを作成することを選択すると、図15(b)のように、メッセージ作成画面に移行する。送信側ユーザは、メッセージ作成後、受信装置420にメッセージを送信する。この時行われる通信は、可視光通信である。   FIG. 15 is an example of a screen for transmitting a message to the receiving device 420. The transmission-side user activates the submenu as shown in FIG. 15A in the standby state of FIG. Further, when selecting to create a message, the screen moves to a message creation screen as shown in FIG. The transmission-side user transmits a message to the reception device 420 after creating the message. Communication performed at this time is visible light communication.

以上、この発明の実施形態を説明したが、本発明による可視光通信方法は、専用のシステムによらず、通常のカメラ付き携帯端末機を用いて実現可能である。   Although the embodiment of the present invention has been described above, the visible light communication method according to the present invention can be realized by using a normal mobile terminal with a camera, without using a dedicated system.

例えば、本実施形態では、携帯電話機50のメインディスプレイとサブディスプレイの2つを用いているが、メインディスプレイを回転させて通信相手側に対面させることによって、1つのディスプレイを使用するようにしてもよい。
また、携帯電話機の代わりに、デジタルカメラやPDA(Personal Digital Assistance)等を用いてもよい。
For example, in the present embodiment, the main display and the sub display of the mobile phone 50 are used, but it is also possible to use a single display by rotating the main display to face the communication partner side. Good.
Further, a digital camera, a PDA (Personal Digital Assistance), or the like may be used instead of the mobile phone.

例えば、本実施形態では、可視光通信に用いる可視光として8色のみ用いているが、8色以上用いてもよい。これによってデータ送受信における転送レートを向上させることができる。   For example, in the present embodiment, only eight colors are used as visible light used for visible light communication, but eight or more colors may be used. Thereby, the transfer rate in data transmission / reception can be improved.

例えば、本実施形態では、可視光通信の開始時に必ずキャリブレーションを行っているが、通信相手のシリアルナンバー等の固有情報を併せて送受信し、認証済みの通信相手と可視光通信する場合にはキャリブレーションを省略できるようにしてもよい。   For example, in the present embodiment, calibration is always performed at the start of visible light communication, but when transmitting and receiving unique information such as the serial number of the communication partner together with visible light communication with the authenticated communication partner Calibration may be omitted.

また、データ送信用のサブディスプレイの使い方を改良することも可能である。
例えば、図7(c)の文字コード・色データ対応表245では、1つの文字コードに対して、時系列的に連続した3色の組み合わせの1つに対応させているが、サブディスプレイの表示領域を3つ以上に分割し、3色以上を同時に表示させるようにしてもよい。これによって、可視光通信の通信レートを大きくすることができ、さらに多くの文字コードを使用することができる。
It is also possible to improve the usage of the sub-display for data transmission.
For example, in the character code / color data correspondence table 245 in FIG. 7C, one character code is associated with one of the combinations of three colors that are continuous in time series. The region may be divided into three or more and three or more colors may be displayed simultaneously. Thereby, the communication rate of visible light communication can be increased, and more character codes can be used.

例えば、本実施形態では、文字コード・色データ対応表245および文字コード・点灯パターン対応表255を全端末共通のものとしているが、ネットワーク上のサーバからダウンロードして更新可能としてもよい。また、通信する相手によって、文字コード・色データ対応表245および文字コード・点灯パターン対応表255を選択できるようにしてもよい。これによって、可視光通信におけるセキュリティを高めることができる。   For example, in this embodiment, the character code / color data correspondence table 245 and the character code / lighting pattern correspondence table 255 are common to all terminals, but may be updated by downloading from a server on the network. Further, the character code / color data correspondence table 245 and the character code / lighting pattern correspondence table 255 may be selectable depending on the communication partner. Thereby, security in visible light communication can be enhanced.

例えば、本実施形態では、本発明による可視光通信を、メッセージの送受信のために使用しているが、携帯電話、デジタルカメラ、PDA等の製造・出荷段階において、表示装置および撮像装置の品質安定を目的としたキャリブレーションのために用いてもよい。   For example, in the present embodiment, the visible light communication according to the present invention is used for message transmission / reception. However, the quality of the display device and the imaging device is stabilized in the manufacturing / shipping stage of a mobile phone, a digital camera, a PDA, etc. It may be used for calibration aimed at.

本発明の一実施形態に係る携帯電話機の正面部分の外観を示す図である。It is a figure which shows the external appearance of the front part of the mobile telephone which concerns on one Embodiment of this invention. 携帯電話機を閉じた状態の背面側を示す平面図である。It is a top view which shows the back side of the state which closed the mobile telephone. カメラ付き携帯端末機の信号処理に係るブロック図である。It is a block diagram which concerns on the signal processing of the portable terminal with a camera. 本発明の一実施形態を概念的に示す図である。It is a figure which shows one Embodiment of this invention notionally. 可視光通信を行う場合の、データ送信側およびデータ受信側の動作を説明するフローチャートである。It is a flowchart explaining operation | movement of the data transmission side and data reception side in the case of performing visible light communication. 可視光通信を開始する場合の動作を説明する図である。(a)、(b)は2値通信の実施例である。(c)は2値通信を行うための、文字コード・点灯パターン対応表の例である。(d)は可視光通信開始時の動作を概念的に示す図である。It is a figure explaining the operation | movement in the case of starting visible light communication. (A), (b) is an example of binary communication. (C) is an example of a character code / lighting pattern correspondence table for binary communication. (D) is a figure which shows notionally the operation | movement at the time of visible light communication start. 可視光通信を行う場合に使用する、文字コード・色データ対応表の例である。It is an example of a character code / color data correspondence table used when performing visible light communication. 画像表示部の校正(キャリブレーション)をする場合の動作のうち、送信装置側の動作を説明するフローチャートである。It is a flowchart explaining operation | movement by the side of a transmission apparatus among operation | movement in the case of calibrating (calibration) of an image display part. 画像表示部の校正をする場合の動作のうち、受信装置側の動作を説明するフローチャートである。It is a flowchart explaining the operation | movement by the side of a receiver among the operation | movement in the case of calibrating an image display part. 画像表示部の校正をする場合の動作の流れを概念的に示す図である。It is a figure which shows notionally the flow of operation | movement in the case of calibrating an image display part. 撮像部の校正をする場合の動作のうち、送信装置側の動作を説明するフローチャートである。It is a flowchart explaining operation | movement by the side of a transmission apparatus among operation | movement in the case of calibrating an imaging part. 撮像部の校正をする場合の動作のうち、受信装置側の動作を説明するフローチャートである。It is a flowchart explaining the operation | movement by the side of a receiver among the operations in the case of calibrating an imaging part. 撮像部の校正をする場合の動作の流れを概念的に示す図である。It is a figure which shows notionally the flow of operation | movement in the case of calibrating an imaging part. 可視光通信を行うために用いる、ディスプレイに表示されるアプリケーション画面の例である。It is an example of the application screen displayed on a display used in order to perform visible light communication. 可視光通信を行うために用いる、ディスプレイに表示されるアプリケーション画面の例である。It is an example of the application screen displayed on a display used in order to perform visible light communication.

符号の説明Explanation of symbols

50・・・携帯電話、51・・・携帯電話の本体部、52・・・携帯電話のヒンジ部、53・・・携帯電話の蓋部、121・・・アンテナ、122・・・スピーカ、123・・・マイク、124・・・撮像装置、125・・・メイン画像表示装置(メインディスプレイ)、126・・・サブ画像表示装置(サブディスプレイ)、127・・・テンキー、128・・・電源キー、129・・・十字キー、130・・・決定キー、131・・・リアキー、132・・・送信キー、210・・・CPU、220・・・撮像部、221・・・撮像モジュール、222・・・撮像校正部、223・・・撮像変換部、224・・・データ受信部、225・・・撮像部の校正係数又は関数 、230・・・画像表示部、231・・・画像表示モジュール、232・・・画像表示校正部、233・・・画像表示変換部、234・・・データ送信部、235・・・画像表示部の校正係数又は関数、245・・・文字コード・色データ対応表、255・・・文字コード・点灯パターン対応表、290・・・ROM、291・・・RAM、292・・・I/Oインターフェース、293・・・バッテリー、294・・・外部記録装置、295・・・通信制御部、296・・・音声出力部、297・・・音声入力部、298・・・操作入力部、410・・・可視光通信を行う場合の送信装置、411・・・送信装置側の操作案内用画像表示装置(メインディスプレイ)、412・・・送信装置側の画像表示装置(サブディスプレイ)、413・・・送信装置側の撮像装置(カメラ)、415・・・送信装置側がデータ受信のために撮像する向きを表す矢印、416・・・送信装置側がデータ送信のために画像表示する向きを表す矢印、420・・・可視光通信を行う場合の受信装置、421・・・受信装置側の操作案内用画像表示装置(メインディスプレイ)、422・・・受信装置側の画像表示装置(サブディスプレイ)、423・・・受信装置側の撮像装置(カメラ)、425・・・受信装置側がデータ受信のために撮像する向きを表す矢印、426・・・受信装置側がデータ送信のために画像表示する向きを表す矢印、850・・・画像表示部のキャリブレーション時の、校正開始要求信号、860・・・画像表示部のキャリブレーション時の、校正開始許可信号、870・・・画像表示部のキャリブレーション時の、校正開始信号、880・・・画像表示部のキャリブレーション時の、調整を行う色に関する信号、890・・・画像表示部のキャリブレーション時の、受信側の認識結果信号、1150・・・撮像部のキャリブレーション時の、校正開始要求信号、1160・・・撮像部のキャリブレーション時の、校正開始許可信号、1170・・・撮像部のキャリブレーション時の、校正開始信号、1180・・・撮像部のキャリブレーション時の、調整を行う色に関する信号、1190・・・撮像部のキャリブレーション時の、校正終了信号   DESCRIPTION OF SYMBOLS 50 ... Mobile phone, 51 ... Main part of mobile phone, 52 ... Hinge part of mobile phone, 53 ... Cover part of mobile phone, 121 ... Antenna, 122 ... Speaker, 123 ... Microphone, 124 ... Imaging device, 125 ... Main image display device (main display), 126 ... Sub image display device (sub display), 127 ... Numeric keypad, 128 ... Power key 129: Cross key, 130: Enter key, 131: Rear key, 132 ... Transmission key, 210 ... CPU, 220 ... Imaging unit, 221 ... Imaging module, 222 .. Imaging calibration unit, 223 ... Imaging conversion unit, 224 ... Data reception unit, 225 ... Calibration coefficient or function of imaging unit, 230 ... Image display unit, 231 ... Image display module, 23 2 ... image display calibration unit, 233 ... image display conversion unit, 234 ... data transmission unit, 235 ... calibration coefficient or function of image display unit, 245 ... character code / color data correspondence table 255 ... Character code / lighting pattern correspondence table, 290 ... ROM, 291 ... RAM, 292 ... I / O interface, 293 ... Battery, 294 ... External recording device, 295 ... ..Communication control unit, 296 ... sound output unit, 297 ... sound input unit, 298 ... operation input unit, 410 ... transmitting device when performing visible light communication, 411 ... sending device Operation display image display device (main display), 412... Transmission device side image display device (sub display), 413... Transmission device side imaging device (camera), 415. ,..., An arrow indicating the direction of image capturing for data reception, 416... An arrow indicating the direction of image display on the transmission device side, 420... Receiving device when performing visible light communication, 421. Image display device for operation guidance on the receiving device side (main display), 422 ... Image display device on the receiving device side (sub-display), 423 ... Imaging device on the receiving device side (camera), 425 ... Arrow indicating the direction in which the receiving device side captures an image for data reception, 426... Arrow indicating the direction in which the receiving device displays an image for data transmission, 850..., Calibration start when calibrating the image display unit Request signal, 860... Calibration start permission signal during calibration of image display unit, 870... Calibration start signal during calibration of image display unit, 880. Signal relating to color to be adjusted at the time of calibration of image display unit, 890... Recognition result signal on reception side at the time of calibration of image display unit, 1150... Calibration at the time of calibration of imaging unit Start request signal, 1160... Calibration start permission signal at the time of image capturing unit calibration, 1170... Calibration start signal at the time of image capturing unit calibration, 1180... Adjustment at the time of image capturing unit calibration Signal relating to color to be performed, 1190... Calibration end signal at the time of calibration of the imaging unit

Claims (5)

送信すべき情報を、時系列的に変化する発光色データへ変換する変換手段と、この変換手段によって得られた発光色データが表す光を発光することにより前記情報を送信する送信手段とを備えた送信装置と、この送信装置が発光する光を連続的に撮像する撮像手段と、この撮像手段によって連続的に撮像された光の発光態様に基づいて前記情報を復元する復元手段とを備えた受信装置とで構成された情報通信システムであって、
前記送信装置は、前記情報を送信する前に、各色の光と、これらの各色を示す情報とを前記受信装置へ送信するよう前記送信手段を制御する送信制御手段を備えるとともに、
前記受信装置は、前記各色の光及びこれらの各色を示す情報を連続的に撮像するよう前記撮像手段を制御する撮像制御手段と、この撮像制御手段によって撮像された前記各色の光及びこれらの各色を示す情報に基づいて、前記撮像手段によって撮像される発光色の撮像特性を校正する校正手段と、を備える
ことを特徴とする情報通信システム。
Conversion means for converting information to be transmitted into emission color data that changes in time series, and transmission means for transmitting the information by emitting light represented by the emission color data obtained by the conversion means. A transmission device, an imaging means for continuously imaging light emitted by the transmission device, and a restoration means for restoring the information based on a light emission mode of light continuously imaged by the imaging means. An information communication system configured with a receiving device,
The transmission device includes transmission control means for controlling the transmission means to transmit light of each color and information indicating each color to the reception device before transmitting the information,
The receiving device includes: an imaging control unit that controls the imaging unit so as to continuously capture the light of each color and information indicating each color; the light of each color captured by the imaging control unit and each of these colors An information communication system comprising: calibration means for calibrating the imaging characteristics of the luminescent color imaged by the imaging means based on the information indicating.
光を撮像する撮像手段を備えた装置を複数備え、各該装置間で情報通信を行う情報通信システムであって、
前記装置は夫々、
送信すべき情報を、時系列的に変化する発光色データへ変換する変換手段と、
この変換手段によって得られた発光色データが表す光を発光することにより前記情報を送信する送信手段と、
撮像手段によって連続的に撮像された発光態様に基づいて情報を復元する復元手段と、
前記情報を送信する前に、各色の光及びこれらの各色を示す情報を通信相手の装置に送信するよう前記送信手段を制御する送信制御手段と、
前記送信手段が送信した各色の光及びこれらの各色を示す情報に応答した前記通信相手の装置が当該応答の結果を表す発光情報を送信したとき当該発光情報を撮像するよう、前記撮像手段を制御する撮像制御手段と、
この撮像手段によって撮像された発光情報を復元し、復元された発光情報に基づいて、前記送信手段の発光色特性を校正する校正手段と、
を備えたことを特徴とする情報通信システム。
An information communication system comprising a plurality of devices equipped with imaging means for imaging light and performing information communication between the devices,
Each of the devices is
Conversion means for converting information to be transmitted into emission color data that changes in time series;
Transmitting means for transmitting the information by emitting light represented by the emission color data obtained by the conversion means;
Restoring means for restoring information on the basis of the light emission mode continuously imaged by the imaging means;
Before transmitting the information, transmission control means for controlling the transmission means to transmit light of each color and information indicating each of these colors to a communication partner device;
The imaging unit is controlled so that the communication partner device that responds to the light of each color transmitted by the transmission unit and the information indicating each color transmits the light emission information indicating the result of the response to capture the light emission information. Imaging control means for
Reconstructing the light emission information imaged by this imaging means, and based on the reconstructed light emission information, calibration means for calibrating the light emission color characteristics of the transmission means,
An information communication system comprising:
送信すべき情報を、時系列的に変化する発光色データへ変換する変換手段と、この変換手段によって得られた発光色データが表す光を発光することにより前記情報を送信する送信手段と、光を撮像する撮像手段と、を備えた情報通信装置において、
前記情報を送信する前に、各色の光と、これらの各色を示す情報とを通信相手の装置に送信するよう前記送信手段を制御する送信制御手段と、
前記送信手段が送信した各色の光及びこれらの各色を示す情報に応答した前記通信相手の装置が当該応答の結果を表す発光情報を送信したとき当該発光情報を撮像するよう、前記撮像手段を制御する撮像制御手段と、
この撮像手段によって撮像された発光情報を復元し、復元された発光情報に基づいて、前記送信手段の発光色特性を校正する校正手段と、
を備えたことを特徴とする情報通信装置。
Conversion means for converting information to be transmitted into emission color data that changes in time series, transmission means for transmitting the information represented by the emission color data obtained by the conversion means, and light In an information communication device comprising imaging means for imaging
Before transmitting the information, transmission control means for controlling the transmission means to transmit light of each color and information indicating each of these colors to a communication partner device;
The imaging unit is controlled so that the communication partner device that responds to the light of each color transmitted by the transmission unit and the information indicating each color transmits the light emission information indicating the result of the response to capture the light emission information. Imaging control means for
Reconstructing the light emission information imaged by this imaging means, and based on the reconstructed light emission information, calibration means for calibrating the light emission color characteristics of the transmission means,
An information communication apparatus comprising:
送信すべき情報を、時系列的に変化する発光色データへ変換する変換ステップと、この変換ステップにて得られた発光色データが表す光を発光することにより前記情報を送信する第1の送信ステップと、からなる情報通信方法であって、
前記情報を送信する前に、各色の光と、これらの各色を示す発光情報とを通信相手に送信する第2の送信ステップと、
この第2の送信ステップにて送信された各色の光及びこれらの各色を示す情報に応答した前記通信相手が当該応答の結果を表す発光情報を送信したとき、当該発光情報を撮像する撮像ステップと、
この撮像ステップにて撮像された発光情報を復元し、復元された発光情報に基づいて、前記送信ステップにて発光される発光色の特性を校正する校正ステップと、
を含むことを特徴とする情報通信方法。
A conversion step for converting information to be transmitted into emission color data that changes in time series, and a first transmission for transmitting the information by emitting light represented by the emission color data obtained in the conversion step An information communication method comprising steps,
Before transmitting the information, a second transmission step of transmitting light of each color and light emission information indicating each of these colors to a communication partner;
An imaging step for imaging the light emission information when the communication partner responding to the light of each color transmitted in the second transmission step and the information indicating each color transmits the light emission information indicating the result of the response; ,
A calibration step for restoring the emission information captured in this imaging step and calibrating the characteristics of the emission color emitted in the transmission step based on the restored emission information;
An information communication method comprising:
コンピュータの制御に従って光を発光する発光装置、及び当該コンピュータの制御に従って光を撮像する撮像装置が接続された当該コンピュータを、
送信すべき情報を、時系列的に変化する発光色データへ変換する変換手段と、
この変換手段によって得られた発光色データが表す光を発光することにより前記情報を送信する送信手段と、
前記情報を送信する前に、各色の光と、これらの各色を示す情報とを通信相手の装置に送信するよう前記送信手段を制御する送信制御手段と、
前記送信手段が送信した各色の光及びこれらの各色を示す情報に応答した前記通信相手の装置が当該応答の結果を表す発光情報を送信したとき当該発光情報を撮像するよう、前記撮像装置を制御する撮像制御手段と、
この撮像装置によって撮像された発光情報を復元し、復元された発光情報に基づいて、前記送信手段の発光色特性を校正する校正手段と、
して機能させるためのプログラム。
A light emitting device that emits light according to the control of the computer, and the computer to which an imaging device that images light according to the control of the computer is connected;
Conversion means for converting information to be transmitted into emission color data that changes in time series;
Transmitting means for transmitting the information by emitting light represented by the emission color data obtained by the conversion means;
Before transmitting the information, transmission control means for controlling the transmission means to transmit light of each color and information indicating each of these colors to a communication partner device;
Controls the imaging device to capture the light emission information when the communication partner device responding to the light of each color transmitted by the transmission means and the information indicating each color transmits the light emission information indicating the result of the response Imaging control means for
Reconstructing the light emission information imaged by this imaging device, and based on the reconstructed light emission information, calibration means for calibrating the light emission color characteristics of the transmission means,
Program to make it function.
JP2005148813A 2005-05-20 2005-05-20 Information communication system, information communication equipment, information communication method and program Pending JP2006325166A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005148813A JP2006325166A (en) 2005-05-20 2005-05-20 Information communication system, information communication equipment, information communication method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005148813A JP2006325166A (en) 2005-05-20 2005-05-20 Information communication system, information communication equipment, information communication method and program

Publications (1)

Publication Number Publication Date
JP2006325166A true JP2006325166A (en) 2006-11-30

Family

ID=37544465

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005148813A Pending JP2006325166A (en) 2005-05-20 2005-05-20 Information communication system, information communication equipment, information communication method and program

Country Status (1)

Country Link
JP (1) JP2006325166A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008245231A (en) * 2007-03-28 2008-10-09 M Soft:Kk Mobile visible-light communication device
JP2012157039A (en) * 2012-03-19 2012-08-16 M Soft:Kk Visible light communication device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008245231A (en) * 2007-03-28 2008-10-09 M Soft:Kk Mobile visible-light communication device
JP2012157039A (en) * 2012-03-19 2012-08-16 M Soft:Kk Visible light communication device

Similar Documents

Publication Publication Date Title
KR101814151B1 (en) Mobile device, display apparatus and control method thereof
CN102006470B (en) Photographing apparatus and communication establishing method
CN102812707A (en) Mobile telephone set generating small amount of heat and having video-phone function
US7508420B2 (en) Image processing apparatus
US20060262142A1 (en) Method for displaying special effects in image data and a portable terminal implementing the same
KR20040085546A (en) Portable terminal having a camera and taking a photograph method using that
JP2008060948A (en) Communication system and imaging apparatus
JP2006325166A (en) Information communication system, information communication equipment, information communication method and program
JP3706824B2 (en) Image data transmission method, communication apparatus, image data transmission program, and storage medium
KR20070075581A (en) Method and mobile communication terminal for making image call list by using captured image
JP2005223855A (en) Mobile terminal and server device
KR100593298B1 (en) Apparatus and method for previewing high pixel image
US20090028430A1 (en) Image date display method and mobile terminal using the same
KR20040029751A (en) Method of compounding background picture and taken picture in wireless telephone having camera
KR100800835B1 (en) Device and method for using camera in wireless telephone by personal computer camera
KR20090018507A (en) Method and device for outputting video data
JP2005099907A (en) Fingerprint reading device, fingerprint reading situation display method used for the same device and its program
KR100871730B1 (en) Mobile communication terminal capable of video communicating
JP2002101327A (en) Image pickup device and method, storage medium, communication unit and method, and storage medium
JP2006148776A (en) Non-contact data transmitting apparatus, non-contact data receiving apparatus and non-contact data transmitting method
JP2000122773A (en) Terminal equipment
JP2003249982A (en) Mobile terminal and image recording method
KR100657425B1 (en) Apparatus and method for control image of on screen display by automatic in mobile communication terminal
JP2006197217A (en) Videophone and image data transmission method
JP4242851B2 (en) Videophone communication method and terminal device