JP2009130725A - Visible light communication system and optical receiving device therefor - Google Patents
Visible light communication system and optical receiving device therefor Download PDFInfo
- Publication number
- JP2009130725A JP2009130725A JP2007304839A JP2007304839A JP2009130725A JP 2009130725 A JP2009130725 A JP 2009130725A JP 2007304839 A JP2007304839 A JP 2007304839A JP 2007304839 A JP2007304839 A JP 2007304839A JP 2009130725 A JP2009130725 A JP 2009130725A
- Authority
- JP
- Japan
- Prior art keywords
- light
- blinking
- dimensional
- visible light
- light receiving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
この発明は、例えば看板やポスタに表示されている情報に関連する追加情報を、可視光を用いてユーザに伝える可視光通信システムとその光受信装置に関する。 The present invention relates to a visible light communication system that transmits additional information related to information displayed on, for example, a signboard or poster, to a user using visible light, and an optical receiver thereof.
例えば商店街やコミュニティ施設では、広告宣伝や告知等の目的で看板やポスターが多く設置または掲示されている。ところが、看板やポスタは広告宣伝や告知の概要を提示するものに過ぎず、詳細な内容を提示することは困難である。そこで、最近では看板や掲示板の近くに情報表示装置を設置し、この情報表示装置に詳細な内容を追加情報として表示させるシステムが種々提案されている。 For example, in shopping streets and community facilities, many signboards and posters are installed or posted for the purpose of advertising and announcements. However, signboards and posters are merely a summary of advertisements and announcements, and it is difficult to present detailed contents. Therefore, various systems have recently been proposed in which an information display device is installed near a signboard or a bulletin board and detailed information is displayed as additional information on the information display device.
例えば、追加情報を二次元コードに変換してその画像を情報表示装置に表示させ、この表示された二次元コードの画像をカメラで撮影してその撮像画像を復号して追加情報をユーザに提示するものがある(例えば、特許文献1を参照。)。
また別の提案として、追加情報を光の点滅パターンに変換してこの点滅パターンに従い光源を点滅させ、この光源の点滅をカメラ等の受光装置により受光してその受光信号から光源の点滅パターンを検出し追加情報を復号するものもある(非特許文献1を参照。)。
For example, the additional information is converted into a two-dimensional code, the image is displayed on the information display device, the image of the displayed two-dimensional code is captured by the camera, the captured image is decoded, and the additional information is presented to the user (For example, refer to Patent Document 1).
As another proposal, the additional information is converted into a flashing pattern of light, the light source flashes according to this flashing pattern, the flashing of the light source is received by a light receiving device such as a camera, and the flashing pattern of the light source is detected from the received light signal. However, there is also one that decodes additional information (see Non-Patent Document 1).
ところが、看板やポスタは必ずしもユーザが接近可能な場所に設置されるとは限らず、屋根やビルの屋上等のようにユーザが近づくことが困難な場所に設置される場合がある。このような場合、看板やポスタの近くに設置された情報表示装置に前記特許文献1に開示された二次元コード画像を表示すると、当該二次元コード画像をユーザがカメラにより撮影してその撮像画像から二次元コードを精度良く復号するには、二次元コード画像を情報表示装置とユーザとの間の距離の二乗に相当するサイズに拡大して表示する必要がある。このため、画面サイズの大きい特殊な情報表示装置を設置しなければならず、システムの大型化とコストアップを招く。
However, signboards and posters are not necessarily installed at locations where the user can access, and may be installed at locations where it is difficult for the user to approach, such as roofs and rooftops of buildings. In such a case, when the two-dimensional code image disclosed in
一方、非特許文献1に記載された技術を採用したシステムでは、追加情報を短時間に効率良くユーザに伝達するには光源の点滅周期を短く設定しなければならない。このように点滅周期を短くすると、受光素子の露光時間の短い特殊な受光装置が必要となり、ユーザの費用負担が大きくなる。
On the other hand, in a system that employs the technique described in Non-Patent
この発明は上記事情に着目してなされたもので、その目的とするところは、特殊な光送受信装置を必要とすることなく可視光により正確な情報伝送を可能にした可視光通信システムとその光受信装置を提供することにある。 The present invention has been made paying attention to the above circumstances, and its object is to provide a visible light communication system that enables accurate information transmission by visible light without the need for a special light transmitting / receiving device, and its light To provide a receiving apparatus.
上記目的を達成するためにこの発明に係わる可視光通信ステムは、光源から可視光を発光する光送信装置と、上記光送信装置から発光された可視光を受光する光受信装置とを具備する可視光通信システムにあって、先ず光送信装置には、複数の光源が一次元方向に配列された発光アレイと、通知対象の情報を上記発光アレイにおける光源の配列構造に応じて当該複数の光源の点滅パターンに変換する手段と、上記変換された点滅パターンに従い、上記複数の光源をそれぞれ予め定めた点滅インターバル期間に点滅させることにより、上記通知対象の情報により変調された可視光を発光させる手段を備える。 In order to achieve the above object, a visible light communication system according to the present invention includes a light transmitting device that emits visible light from a light source and a light receiving device that receives visible light emitted from the light transmitting device. In an optical communication system, first, an optical transmission device includes a light emitting array in which a plurality of light sources are arranged in a one-dimensional direction, and information to be notified of the plurality of light sources according to the arrangement structure of the light sources in the light emitting array. Means for converting to a flashing pattern, and means for emitting visible light modulated by the information to be notified by flashing the plurality of light sources in a predetermined flashing interval period according to the converted flashing pattern. Prepare.
一方、光受信装置には、二次元画像を受光可能でかつ上記発光アレイにおける複数の光源の配列方向と直交する方向に受光位置を移動可能に構成された受光面を有する受光ユニットを設ける。この受光ユニットは、上記複数の光源から発光された可視光を、上記受光位置を移動させながら上記点滅インターバル期間にわたり継続して上記受光面で受光することにより、上記複数の光源から上記点滅インターバル期間に発光された可視光の点滅パターンを上記光源の配列方向と直交する方向に展開した二次元受光画像を得る。そして光受信装置は、上記受光ユニットにより得られた二次元受光画像から、上記点滅インターバル期間に発光された可視光の点滅パターンを抽出し、この抽出された点滅パターンを上記複数の光源の配列構造に応じて上記通知対象の情報に変換する。 On the other hand, the light receiving device is provided with a light receiving unit having a light receiving surface configured to receive a two-dimensional image and to move a light receiving position in a direction orthogonal to an arrangement direction of a plurality of light sources in the light emitting array. The light receiving unit continuously receives the visible light emitted from the plurality of light sources over the blinking interval period while moving the light receiving position, thereby receiving light from the plurality of light sources to the blinking interval period. A two-dimensional light-receiving image is obtained in which the blinking pattern of visible light emitted in the direction is developed in a direction orthogonal to the arrangement direction of the light sources. Then, the light receiving device extracts a blinking pattern of visible light emitted during the blinking interval period from the two-dimensional light reception image obtained by the light receiving unit, and uses the extracted blinking pattern as an array structure of the plurality of light sources. The information is converted into the information to be notified.
したがって、光送信装置は一次元配列された複数の光源をそれぞれ点滅動作させることにより情報を送信しているため、二次元コード画像を表示する場合のようにユーザとの間の離間距離を考慮して二次元コード画像の表示サイズを拡大する必要がなく、これにより情報送信側における画像表示スペース及び表示装置を小型化することができる。また光受信装置では、可視光の点滅インターバル期間に撮像方向が走査されることにより、光送信装置の複数の光源から点滅インターバル期間に発光された可視光の点滅パターンが、光源の配列方向と直交する方向に展開されて二次元受光画像として受光される。このため、光源から発光された点滅する可視光を受光面の受光位置を固定して受光する場合に比べ、受光ユニットの露光時間或いはシャッタ速度を遅くすることが可能となり、これにより汎用で安価なカメラを使用することが可能となる。 Therefore, since the optical transmission device transmits information by blinking each of a plurality of light sources arranged one-dimensionally, the distance from the user is taken into consideration as in the case of displaying a two-dimensional code image. Therefore, it is not necessary to increase the display size of the two-dimensional code image, and thereby the image display space and the display device on the information transmission side can be reduced in size. Also, in the optical receiver, the imaging direction is scanned during the blinking interval period of visible light, so that the blinking pattern of visible light emitted from the plurality of light sources of the optical transmission device during the blinking interval period is orthogonal to the arrangement direction of the light sources. And is received as a two-dimensional received light image. For this reason, it is possible to reduce the exposure time or shutter speed of the light receiving unit compared to the case where the flashing visible light emitted from the light source is received with the light receiving position of the light receiving surface fixed. It becomes possible to use a camera.
また、この発明は次のような具体的構成を備えることを特徴とする。
すなわち、上記受光ユニットに、二次元画像を受光可能な受光面を有する受光センサと、この受光センサの撮像方向を変化させる駆動機構部と、走査制御手段とを設ける。そして、この走査制御手段により、撮像操作に応動して上記駆動機構部を駆動制御することにより上記受光センサの撮像方向を上記点滅インターバル期間に予め設定した角度範囲で走査する。
In addition, the present invention is characterized by having the following specific configuration.
That is, the light receiving unit is provided with a light receiving sensor having a light receiving surface capable of receiving a two-dimensional image, a drive mechanism unit that changes the imaging direction of the light receiving sensor, and a scanning control unit. The scanning control means scans the imaging direction of the light receiving sensor in the angle range set in advance in the blinking interval period by driving and controlling the drive mechanism in response to the imaging operation.
このように構成すると、ユーザが撮像操作を行うと、この操作に応動して受光センサの撮像方向が点滅インターバル期間に設定角度分だけ走査される。このため、撮像操作を行うだけで、光発光装置から発光された1つの点滅インターバル期間の可視光を1枚の二次元画像として自動的に撮像することが可能となる。このため、光発光装置から発光された可視光の点滅パターンを常に正確に識別することが可能となる。 With this configuration, when the user performs an imaging operation, the imaging direction of the light receiving sensor is scanned by the set angle during the blinking interval period in response to the operation. For this reason, it is possible to automatically capture visible light of one blinking interval emitted from the light emitting device as a single two-dimensional image simply by performing an imaging operation. For this reason, the blinking pattern of visible light emitted from the light emitting device can always be accurately identified.
また、受光ユニットに手ぶれ補正手段をさらに備え、この手ぶれ補正手段により、光送信装置から発光された可視光を受光する期間に受光面で受光される二次元受光画像に対し手ぶれ補正処理を行うことも特徴とする。このように構成すると、点滅インターバル期間という比較的長い期間にわたりカメラのシャッタが開放される場合にも、手ぶれ成分が補正されて高品質の二次元受光画像データを得ることができる。 In addition, the light receiving unit further includes a camera shake correction unit, and the camera shake correction unit performs a camera shake correction process on the two-dimensional light reception image received by the light receiving surface during the period of receiving the visible light emitted from the optical transmission device. Also features. With such a configuration, even when the shutter of the camera is opened for a relatively long period such as the blinking interval period, the camera shake component is corrected, and high-quality two-dimensional received image data can be obtained.
要するにこの発明によれば、特殊な光送受信装置を必要とすることなく可視光により正確な情報伝送を可能にした可視光通信システムとその光受信装置を提供することができる。 In short, according to the present invention, it is possible to provide a visible light communication system and an optical receiver thereof that enable accurate information transmission using visible light without requiring a special optical transmitter / receiver.
以下、図面を参照してこの発明に係わる実施形態を説明する。
図1は、この発明の一実施形態に係わる可視光通信システムの概略構成図である。このシステムは、例えば看板又は広告掲示板として用いられる光送信装置と、ユーザが所持する光受信装置としての携帯端末MSとから構成される。
Embodiments according to the present invention will be described below with reference to the drawings.
FIG. 1 is a schematic configuration diagram of a visible light communication system according to an embodiment of the present invention. This system includes an optical transmission device used as, for example, a signboard or an advertising bulletin board, and a mobile terminal MS as an optical reception device possessed by the user.
光送信装置DUは、広告表示エリアDEを備え、この広告表示エリアDEには静止画像等のように表示内容が固定された広告情報又は告知情報が表示される。なお、広告表示エリアDEを一般的な看板又は掲示板とし、これに広告画像を直接記載するかまたはポスタを貼り付けるようにしてもよい。また、上記光送信装置DUの上記広告表示エリアDEと隣接する場所には、発光アレイ41が設置されている。発光アレイ41は、例えば発光ダイオード(LED;Light Emitting Diode)からなる複数の光源(図では6個の場合を例示)41a〜41fを垂直方向に一次元配列したものとなっている。
The optical transmission device DU includes an advertisement display area DE, and advertisement information or notification information whose display content is fixed, such as a still image, is displayed in the advertisement display area DE. The advertisement display area DE may be a general signboard or bulletin board, and an advertisement image may be directly written or a poster may be pasted thereon. A
図2は、上記光送信装置DUの回路構成を示すブロック図である。光送信装置DUは、通信ユニット1と、制御ユニット2と、記憶ユニット3と、発光ユニット4とを備えている。通信ユニット1は、図示しない管理サーバとの間で通信ネットワークを介して通信を行うために用いられる。
FIG. 2 is a block diagram showing a circuit configuration of the optical transmitter DU. The optical transmission device DU includes a
制御ユニット2は、この発明を実施するための制御機能として、データ受信制御部21と、点滅パターン変換部22と、発光制御部23とを備える。これらの制御機能21,223はいずれも、アプリケーション・プログラムを中央処理ユニット(CPU;Central Processing Unit)に実行させることにより実現される。
The
データ受信制御部21は上記通信ユニット1を制御して、管理サーバから通信ネットワークを介して伝送される表示データ及び追加データを受信し、この受信した表示データ及び追加データを記憶ユニット3に格納する。表示データは、上記広告表示エリアDEに静止画像として表示される。追加データは、上記表示データに含まれないより詳細な情報をユーザに通知するためのもので、発光ユニット4から可視光により発光される。
The data
点滅パターン変換部22は、上記記憶ユニット3から上記追加データを読み出し、この追加データを先ず“0”と“1”により表される2ビットのデータ列に変換する。次に、このデータ列を、発光アレイ41におけるLED41a〜41fの配列構造を表す情報に基づいて、LED41a〜41fの点滅パターンを表すデータに変換する。
発光制御部23は、上記点滅パターン変換部22により変換された点滅パターンを表すデータに基づいて、LED41a〜41fの点滅動作と点滅周期を指定する発光駆動制御データを生成し、この発光駆動制御データを1つの点滅インターバル期間に発光ユニット4に供給する。
The blinking pattern conversion unit 22 reads the additional data from the
The light
発光ユニット4は、先に述べた発光アレイ41と、発光駆動回路42とから構成される。発光駆動回路42は、上記発光制御部23から供給された発光駆動制御データに従いLED41a〜41fの発光駆動信号を生成し、これらの発光駆動信号を1つの点滅インターバル期間にLED41a〜41fに供給して当該LED41a〜41fを点滅発光させる。
The
一方、携帯端末MSは次のように構成される。図3はその回路構成を示すブロック図である。
すなわち、携帯端末MSは、アンテナ51を有する無線ユニット5と、制御ユニット6と、記憶ユニット7と、音声通信ユニット8と、カメラユニット9と、表示デバイス10と、入力デバイス11と、バッテリを備えた電源ユニット(図示せず)を備えている。
On the other hand, the mobile terminal MS is configured as follows. FIG. 3 is a block diagram showing the circuit configuration.
That is, the mobile terminal MS includes a
無線ユニット5は、図示しない移動通信用基地局との間で無線信号を送受信するために用いられる。記憶ユニット7は、記憶媒体として例えばNAND型フラッシュメモリを使用し、電話帳データや送受信履歴、移動通信用の各種アプリケーション・プログラムを格納すると共に、カメラユニット9により撮像された画像データを保存するために用いられる。音声通信ユニット8は、スピーカ81とマイクロホン82を備え、音声通信を行う場合の受話器及び送話器として使用される。
The
表示デバイス10は、液晶表示器(LCD;Liquid Crystal Display)からなり、通信相手端末の電話番号やアドレス、送受信メールデータ、受信電界強度やバッテリ残量等の端末の動作状態を表すピクトデータ等、通常の移動通信動作に係わる情報を表示するために用いられ、さらにカメラユニット9の撮像パラメータや撮像画像データを表示するためにも使用される。入力デバイス11は、ダイヤルキーと複数の機能キーを備える。機能キーには、カメラユニット9を動作させるためのキーも含まれる。
The
ところで、カメラユニット9は、撮像素子としてCCD又はCMOSを使用したカメラ91と、このカメラ91の撮像方向を可変制御するためのカメラ駆動機構部92とを備えている。このうちカメラ駆動機構部92は小型モータと伝達機構とからなり、制御ユニット6の制御の下で、カメラ91の撮像方向を一定速度でパン操作する。
Incidentally, the
制御ユニット6は、CPU(Central Processing Unit)、DSP(Digital Signal Processor)及びRAM(Random Access Memory)等の作業用メモリを備えたもので、この発明に係わる機能を実現するための機能として、撮像制御部61と、点滅パターン抽出部62と、データ変換部63と、表示制御部64を備えている。なお、これらの機能はいずれも、アプリケーション・プログラムを上記CPUに実行させることにより実現される。
The control unit 6 includes a working memory such as a CPU (Central Processing Unit), a DSP (Digital Signal Processor), and a RAM (Random Access Memory). As a function for realizing the functions according to the present invention, the imaging unit 6 A
撮像制御部61は、前記LED41a〜41fから発光される可視光を受光するための撮像モード、つまり追加データ撮像モードが起動された状態で、入力デバイス11において撮像操作が行われた場合に、先ずカメラ91の露光時間(シャッタ速度)を前記光送信装置DUの点滅インターバル期間より長い値に設定する。次に、この露光時間の設定後にカメラ91を起動すると共に、カメラ駆動機構部92を動作させて上記カメラ91の撮像方向を前記点滅インターバル期間に水平方向に一定角度パンさせる。そして、上記パン走査期間にカメラ91により撮像された、上記LED41a〜41fの点滅発光を時間軸から二次元平面上に展開した二次元画像データを取り込む。
The
点滅パターン抽出部62は、上記撮像制御部61によりカメラ91から取り込まれた二次元画像データについて画像処理を行って、例えば領域ごとの画像濃度を判定し、これにより点滅パターンを抽出する。なお、点滅パターンの抽出方法としては、LED41a〜41fが点灯したとき及び消灯したときの受光画像を基準画像として予め記憶しておき、上記二次元画像にデータ対し上記基準画像をもとに画像のパターン認識を行うことにより点滅パターンを抽出する方法も使用できる。
The blinking
データ変換部63は、予め記憶しておいた前記発光ユニット4のLED41a〜41fの配列構造を表す情報を記憶ユニット7から読み出し、この配列構造を表す情報に基づいて、上記点滅パターン抽出部62により抽出された点滅パターンを表すデータを二値データ列に変換し、この二値データ列をもとに追加データを再生する。
The
表示制御部64は、上記撮像制御部61により撮像された二次元画像データ及び上記データ変換部63により再生された追加データを、表示デバイス10に表示させる。なお、上記追加データを記憶ユニット7に保存しておき、入力デバイス11において表示操作が行われた場合に、当該記憶ユニット7から読み出して表示デバイス10に表示させる処理も行う。
The
次に、以上のように構成された可視光通信システムの動作を説明する。
先ず、光送信装置DUでは以下のような動作が行われる。図4はその制御手順と制御内容を示すフローチャートである。
制御ユニット2は、ステップ4aにより追加データの到来を監視している。この状態で図示しない管理サーバから、広告表示エリアDEに表示された広告データに関連する追加データが送られたとする。そうすると制御ユニット2は、ステップ4aからステップ4bに移行してデータ受信制御部21により上記追加データを受信し、この受信した追加データをステップ4cにより記憶ユニット3に格納する。
Next, the operation of the visible light communication system configured as described above will be described.
First, the optical transmitter DU performs the following operation. FIG. 4 is a flowchart showing the control procedure and control contents.
The
上記追加データの受信及び格納処理が終了すると制御ユニット2は、ステップ4dにおいて、点滅パターン変換部22により上記記憶ユニット3から追加データを所定のワード数分ずつ読み出し、この読み出した追加データを以下の処理により点滅パターンに変換する。図6はその変換処理の一例を示す図である。
When the process of receiving and storing the additional data is completed, the
すなわち、先ず上記読み出した追加データ6a(この例では「あいうえお」)を、“0”と“1”の2ビットにより表される二値データ列6bに変換する。次に、記憶ユニット3から、予め記憶してある発光アレイ41のLED41a〜41fの配列構造を表す情報6cを読み出し、この配列構造を示す情報6cに基づいて上記二値データ6bをLED41a〜41fの点滅パターンを表すデータ6dに変換する。例えば、いま上記二値データ6bが36ビットで、かつ発光アレイ41のLED41a〜41fの数が6個であるため、上記二値データ列6bを6ビットずつに分け、これらの6ビットを順にLED41a〜41fに割り当てる。
That is, first, the read additional data 6a (in this example, “aiueo”) is converted into a
続いて制御ユニット2はステップ4eに移行し、発光制御部23により、上記変換された点滅パターンに従いLED41a〜41fの点灯/消灯動作とその点滅周期を指定する発光駆動制御データを生成し、この発光駆動制御データを点滅インターバル期間に発光ユニット4に供給する。この結果、発光駆動回路42から各LED41a〜41fに対し、上記発光駆動制御データに応じた発光駆動信号が供給され、これによりLED41a〜41fは上記点滅パターンで点滅動作する。例えば、図7に示すように各LED41a〜41fは、点滅インターバル期間においてt0,t1,t2,t3,t4,t5の各タイミングで、上記発光駆動制御データにより指定された点滅パターンに従い点滅動作する。
Subsequently, the
なお、記憶ユニット3に追加データの未送信のワードが格納されている場合、制御ユニット2は上記点滅インターバル期間終了後に上記未送信のワードを所定ワード数分読み出して点滅パターンに変換し、次の点滅インターバル期間において上記変換された点滅パターンに従いLED41a〜41fを点滅駆動する。以後同様に、残りのワードについても点滅パターンへの変換処理を行って、その次の点滅インターバル期間にLED41a〜41fを点滅駆動する。
In addition, when the unsent word of the additional data is stored in the
一方、携帯端末MSでは次のように追加データの受信復号処理が行われる。図5はその制御手順と制御内容を示すフローチャートである。
すなわち、上記広告表示エリアDEに表示された広告情報に関連する追加データを取得しようとする場合、ユーザは入力デバイス11において追加データ撮像モードの設定操作を行う。
On the other hand, the mobile terminal MS performs additional data reception decoding processing as follows. FIG. 5 is a flowchart showing the control procedure and control contents.
That is, when acquiring additional data related to the advertisement information displayed in the advertisement display area DE, the user performs an additional data imaging mode setting operation on the input device 11.
携帯端末MSの制御ユニット6は、ステップ5aで上記追加データ撮像モードの設定操作を検出すると、ステップ5bにより撮像操作(シャッタ操作)を監視する。そして、シャッタが押されるとステップ5cに移行し、撮像制御部61によりカメラ91の露光時間(シャッタ速度)を前記光送信装置DUで設定された点滅インターバル期間より長い値に設定する。
When the control unit 6 of the portable terminal MS detects the setting operation of the additional data imaging mode in
続いて制御ユニット6は、ステップ5dにおいて、カメラ91を起動して撮像動作を開始させると共に、カメラ駆動機構部92を動作させて上記カメラ91の撮像方向を前記点滅インターバル期間に一定速度で所定角度分だけ水平方向にパンさせる。この結果、カメラ91の撮像方向は、例えば図1に示すように発光アレイ41に対し左から右へ水平方向に一定速度でパン走査される。したがって、カメラ91の受光面には、上記パン走査期間にLED41a〜41fから発光された可視光の受光像が、時間軸から二次元平面上に展開された状態に形成される。図8の7aはこの二次元受光画像の一例を示すものである。制御ユニット6は、ステップ5eで上記二次元受光画像データを取り込み、表示デバイス10に表示させる。
Subsequently, in
次に制御ユニット6は、ステップ5fに移行し、点滅パターン抽出部62により上記二次元受光画像データに対し画像処理を行って領域ごとの画像濃度を判定し、これにより点滅パターンを抽出する。例えば図8の例では、二次元受光画像データ7aにおいて点灯画像部分と消灯画像部分が検出されて、これらがそれぞれ二値データの“1”,“0”に置き換えられる。
Next, the control unit 6 proceeds to step 5f, and the blink
続いて制御ユニット6は、ステップ5gに移行し、データ変換部63において発光ユニット4のLED41a〜41fの配列構造を表す情報を記憶ユニット7から読み出し、この配列構造を表す情報に基づいて、上記点滅パターン抽出部62により抽出された点滅パターンを表す二値データを直列の二値データ列に変換し、この二値データ列をもとに追加データを再生する。例えば、図9に示すように、上記抽出された点滅パターンを表すデータ9aをLED41aに対応するものから順に並べ替えて直列の二値データ列9bに変換し、さらにこの二値データ列9bを追加データ(「あいうえお」)9cに変換する。
そして制御ユニット6は、上記変換された追加データをステップ5hにより記憶ユニット7に保存すると共に、ステップ5iにより表示デバイス10に表示させる。
Subsequently, the control unit 6 proceeds to Step 5g, and the
Then, the control unit 6 stores the converted additional data in the
なお、携帯端末MSにおけるユーザの撮像操作タイミングによっては、カメラ91の撮像動作期間が光送信装置DUの点滅インターバル期間に同期するとは限らない。そこで、携帯端末MSで点滅パターンから追加データを再生する際に、制御ユニット6において、正しい追加データが再生されるまで、点滅パターンの二値データの並べ替えと追加データへの変換処理を繰り返すようにするとよい。
Note that the imaging operation period of the
また、追加データが複数の点滅インターバル期間にわたって送信されている場合、制御ユニット6は、上記複数の点滅インターバル期間においてカメラ92の撮像方向を水平方向にパンしながら光送信装置DUの発光アレイ41の発光をそれぞれ撮像し、その各二次元受光画像データを統合することにより追加データを再生する。
When the additional data is transmitted over a plurality of blinking interval periods, the control unit 6 controls the
以上述べたようにこの実施形態では、光送信装置DUにおいて、発光アレイ41におけるLED41a〜41fの配列構造に基づいて、追加データを点滅パターンを表すデータに変換し、この変換された点滅パターンに従い上記LED41a〜41fを発光駆動して可視光を発光させる。一方、携帯端末MSには、カメラ91とその撮像方向を可変するための駆動機構部92を設ける。そして、カメラ91の露光時間(シャッタ速度)を上記光送信装置DUの点滅インターバル期間より長い値に設定した後、駆動機構部92により上記カメラ91の撮像方向を上記点滅インターバル期間に水平方向に一定角度パンさせ、これにより上記パン走査期間にLED41a〜41fから発光された可視光の受光像を二次元平面上に展開した二次元受光画像を得る。続いて、この二次元受光画像データから点滅パターンを抽出し、この抽出された点滅パターンから追加データを再生して、表示デバイス10に表示するようにしている。
As described above, in this embodiment, in the optical transmission device DU, based on the arrangement structure of the
したがって、光送信装置DUは一次元配列された複数のLED41a〜41fをそれぞれ点滅動作させることにより情報を送信しているため、二次元コード画像を表示する場合のようにユーザとの間の離間距離を考慮して二次元コード画像の表示サイズを拡大する必要がなく、これにより情報送信側における画像表示スペース及び表示装置を小型化することができる。
Therefore, since the optical transmission device DU transmits information by blinking each of the plurality of
また携帯端末MSでは、上記したように可視光の点滅インターバル期間にカメラ91の撮像方向をパン走査することにより、光送信装置DUのLED41a〜41fから上記点滅インターバル期間に発光された可視光を二次元受光画像として受光している。このため、上記可視光の点滅周期が短くても、カメラ91のシャッタ速度を高速化することなく上記可視光をもれなく受光することができる。このため、携帯端末などに設けられている、シャッタ速度の遅い安価なカメラを使用することが可能となる。
In the portable terminal MS, the visible light emitted from the
なお、この発明は上記実施形態に限定されるものではない。例えば、前記実施形態では発光アレイ41におけるLED41a〜41fの配列方向を垂直方向とし、携帯端末MSではカメラ91を水平方向にパン走査する場合を例にとって述べた。しかし、発光アレイ41におけるLED41a〜41fの配列方向は水平方向としてもよく、この場合には携帯端末MSにおいてカメラ91の撮像方向を上下方向にチルト走査するように構成すればよい。
The present invention is not limited to the above embodiment. For example, in the above-described embodiment, the case where the
また、カメラユニット9に手ぶれ補正機能を設け、光送信装置DUから発光された可視光を受光する期間に、上記手ぶれ補正機能により撮像画像の手ぶれ補正を行うようにしてもよい。この機能は、点滅インターバル期間にわたりシャッタを開放する本発明においては、高品質の二次元受光画像データを得る上できわめて有効である。
Further, the
さらに、前記実施形態では、光受信装置として携帯端末を使用した場合を例にとって説明したが、ディジタルカメラや、カメラを備えたその他の電子機器を使用してもよい。その他、発光アレイにおける光源の配列数、追加データを点滅パターンに変換する際の規則、光源の種類、光送信装置及び光受信装置の構成とその制御手順及び制御内容等についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。 Furthermore, although the case where a portable terminal is used as the optical receiving device has been described as an example in the embodiment, a digital camera or other electronic device including a camera may be used. In addition, the number of light sources in the light emitting array, the rules for converting additional data into a blinking pattern, the types of light sources, the configurations of the light transmitting device and the light receiving device, their control procedures, and the control contents, etc. Various modifications can be made without departing from the scope of the present invention.
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。 In short, the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. Further, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, you may combine suitably the component covering different embodiment.
DU…光送信装置、MS…携帯端末、DE…広告表示エリア、1…光送信装置の通信インタフェース、2…光送信装置の制御ユニット、3…光送信装置の記憶ユニット、21…データ受信制御部、22…点滅パターン変換部、23…発光制御部、4…発光ユニット、41…発光アレイ、42…発光駆動回路、5…携帯端末の無線ユニット、51…アンテナ、6…携帯端末の制御ユニット、61…撮像制御部、62…点滅パターン抽出部、63…データ変換部、64…表示制御部、7…携帯端末の記憶ユニット、8…音声通信ユニット、81…スピーカ、82…マイクロホン、9…カメラユニット、91…カメラ、92…カメラ駆動機構部、10…表示デバイス、11…入力デバイス。
DU: Optical transmission device, MS: Mobile terminal, DE: Advertisement display area, 1 ... Communication interface of optical transmission device, 2 ... Control unit of optical transmission device, 3 ... Storage unit of optical transmission device, 21 ... Data reception control unit , 22 ... blinking pattern conversion unit, 23 ... light emission control unit, 4 ... light emission unit, 41 ... light emission array, 42 ... light emission drive circuit, 5 ... wireless unit of portable terminal, 51 ... antenna, 6 ... control unit of portable terminal, DESCRIPTION OF
Claims (4)
前記光送信装置は、
複数の光源が一次元方向に配列された発光アレイと、
通知対象の情報を、前記発光アレイにおける光源の配列構造に応じて当該複数の光源の点滅パターンに変換する手段と、
前記変換された点滅パターンに従い、前記複数の光源をそれぞれ予め定めた点滅インターバル期間に点滅させることにより、前記通知対象の情報により変調された可視光を発光させる手段と
を備え、
前記光受信装置は、
二次元画像を受光可能でかつ前記発光アレイにおける複数の光源の配列方向と直交する方向に受光位置を移動可能に構成された受光面を有し、前記複数の光源から発光された可視光を、前記受光位置を移動させながら前記点滅インターバル期間にわたり継続して前記受光面で受光することにより、前記複数の光源から前記点滅インターバル期間に発光された可視光の点滅パターンを前記光源の配列方向と直交する方向に展開した二次元受光画像を得る受光ユニットと、
前記受光ユニットにより得られた二次元受光画像から、前記点滅インターバル期間に発光された可視光の点滅パターンを抽出する手段と、
前記抽出された点滅パターンを、前記複数の光源の配列構造に応じて前記通知対象の情報に変換する手段と
を備えることを特徴とする可視光通信システム。 A visible light communication system comprising: an optical transmitter that emits visible light from a light source; and an optical receiver that receives visible light emitted from the optical transmitter;
The optical transmitter is
A light emitting array in which a plurality of light sources are arranged in a one-dimensional direction;
Means for converting the information to be notified into a blinking pattern of the plurality of light sources according to the arrangement structure of the light sources in the light emitting array;
Means for emitting visible light modulated by the information to be notified by flashing each of the plurality of light sources in a predetermined flashing interval period according to the converted flashing pattern,
The optical receiver is
It has a light receiving surface configured to receive a two-dimensional image and is capable of moving a light receiving position in a direction orthogonal to an arrangement direction of a plurality of light sources in the light emitting array, and visible light emitted from the plurality of light sources, By continuously receiving light on the light receiving surface over the blinking interval period while moving the light receiving position, the blinking pattern of visible light emitted from the plurality of light sources during the blinking interval period is orthogonal to the arrangement direction of the light sources. A light receiving unit for obtaining a two-dimensional received light image developed in the direction of
Means for extracting a blinking pattern of visible light emitted during the blinking interval period from the two-dimensional received light image obtained by the light receiving unit;
A visible light communication system comprising: means for converting the extracted blinking pattern into information to be notified according to an arrangement structure of the plurality of light sources.
二次元画像を受光可能でかつ前記発光アレイにおける複数の光源の配列方向と直交する方向に受光位置を移動可能に構成された受光面を有し、前記複数の光源から発光された可視光を、前記受光位置を移動させながら前記点滅インターバル期間にわたり継続して前記受光面で受光することにより、前記複数の光源から前記点滅インターバル期間に発光された可視光の点滅パターンを前記光源の配列方向と直交する方向に展開した二次元受光画像を得る受光ユニットと、
前記受光ユニットにより得られた二次元受光画像から、前記点滅インターバル期間に発光された可視光の点滅パターンを抽出する手段と、
前記抽出された点滅パターンを、前記複数の光源の配列構造に応じて前記通知対象の情報に変換する手段と
を具備することを特徴とする光受信装置。 The light source has a light emitting array in which a plurality of light sources are arranged in a one-dimensional direction, information to be notified is converted into a blinking pattern according to the arrangement structure of the plurality of light sources in the light emitting array, and the plurality of light sources are converted according to the converted blinking pattern. A light receiving device that receives visible light emitted from a light emitting device that blinks the light source in a predetermined blinking interval period,
It has a light receiving surface configured to be able to receive a two-dimensional image and to move a light receiving position in a direction orthogonal to an arrangement direction of a plurality of light sources in the light emitting array, and visible light emitted from the plurality of light sources, By continuously receiving light on the light receiving surface over the blinking interval period while moving the light receiving position, a blinking pattern of visible light emitted from the plurality of light sources during the blinking interval period is orthogonal to the arrangement direction of the light sources. A light receiving unit for obtaining a two-dimensional light reception image developed in the direction of
Means for extracting a blinking pattern of visible light emitted during the blinking interval period from the two-dimensional light-receiving image obtained by the light-receiving unit;
Means for converting the extracted blinking pattern into information to be notified according to an arrangement structure of the plurality of light sources;
二次元画像を受光可能な受光面を有する受光センサと、
この受光センサの撮像方向を変化させる駆動機構部と、
撮像操作に応動して前記駆動機構部を駆動制御して、前記受光センサの撮像方向を前記点滅インターバル期間に予め設定した角度範囲で走査する走査制御手段と
を備えることを特徴とする請求項2記載の光受信装置。 The light receiving unit is
A light receiving sensor having a light receiving surface capable of receiving a two-dimensional image;
A drive mechanism for changing the imaging direction of the light receiving sensor;
3. A scanning control unit that drives and controls the drive mechanism in response to an imaging operation, and scans the imaging direction of the light receiving sensor in an angle range set in advance in the blinking interval period. The optical receiver described.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007304839A JP2009130725A (en) | 2007-11-26 | 2007-11-26 | Visible light communication system and optical receiving device therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007304839A JP2009130725A (en) | 2007-11-26 | 2007-11-26 | Visible light communication system and optical receiving device therefor |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009130725A true JP2009130725A (en) | 2009-06-11 |
Family
ID=40821187
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007304839A Pending JP2009130725A (en) | 2007-11-26 | 2007-11-26 | Visible light communication system and optical receiving device therefor |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009130725A (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8538276B2 (en) | 2009-09-02 | 2013-09-17 | Kabushiki Kaisha Toshiba | Method and apparatus for visible light communication with image processing |
JP2016538794A (en) * | 2013-09-18 | 2016-12-08 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | Visible light source, mobile terminal, and controller based position determination method |
US9928763B2 (en) | 2016-03-08 | 2018-03-27 | Panasonic Intellectual Property Management Co., Ltd. | Guide display device and guide system |
US10396894B2 (en) | 2011-11-04 | 2019-08-27 | The University Court Of The University Of Edinburgh | Communication apparatus and method |
CN112771841A (en) * | 2018-10-04 | 2021-05-07 | 索尼互动娱乐股份有限公司 | Sensor module, electronic device, visual sensor calibration method, object detection method, and program |
CN115225788A (en) * | 2022-05-26 | 2022-10-21 | 西安邮电大学 | Underwater high-speed imaging and high-speed communication cooperative work system and method |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07254037A (en) * | 1994-03-14 | 1995-10-03 | Nippondenso Co Ltd | Two-dimensional code |
JP2005318005A (en) * | 2004-04-26 | 2005-11-10 | Sony Corp | Information processing apparatus |
JP2006085594A (en) * | 2004-09-17 | 2006-03-30 | Nec Corp | Visible light information providing device and system, visible light information reader, visible light information providing method, its program and computer readable information recording medium with the program recorded |
-
2007
- 2007-11-26 JP JP2007304839A patent/JP2009130725A/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07254037A (en) * | 1994-03-14 | 1995-10-03 | Nippondenso Co Ltd | Two-dimensional code |
JP2005318005A (en) * | 2004-04-26 | 2005-11-10 | Sony Corp | Information processing apparatus |
JP2006085594A (en) * | 2004-09-17 | 2006-03-30 | Nec Corp | Visible light information providing device and system, visible light information reader, visible light information providing method, its program and computer readable information recording medium with the program recorded |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8538276B2 (en) | 2009-09-02 | 2013-09-17 | Kabushiki Kaisha Toshiba | Method and apparatus for visible light communication with image processing |
US10396894B2 (en) | 2011-11-04 | 2019-08-27 | The University Court Of The University Of Edinburgh | Communication apparatus and method |
JP2016538794A (en) * | 2013-09-18 | 2016-12-08 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | Visible light source, mobile terminal, and controller based position determination method |
US9800334B2 (en) | 2013-09-18 | 2017-10-24 | Huawei Technologies Co., Ltd. | Positioning method based on visible light source, mobile terminal, and controller |
US9928763B2 (en) | 2016-03-08 | 2018-03-27 | Panasonic Intellectual Property Management Co., Ltd. | Guide display device and guide system |
CN112771841A (en) * | 2018-10-04 | 2021-05-07 | 索尼互动娱乐股份有限公司 | Sensor module, electronic device, visual sensor calibration method, object detection method, and program |
US11659286B2 (en) | 2018-10-04 | 2023-05-23 | Sony Interactive Entertainment Inc. | Sensor module, electronic device, vision sensor calibration method, subject detection method, and program |
CN115225788A (en) * | 2022-05-26 | 2022-10-21 | 西安邮电大学 | Underwater high-speed imaging and high-speed communication cooperative work system and method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8913885B2 (en) | Information provision system, server, terminal device, information provision method, display control method and recording medium | |
US8731301B1 (en) | Display adaptation based on captured image feedback | |
JP4258491B2 (en) | Information receiving apparatus, information transmission system, information receiving method, and information receiving program | |
JP4610511B2 (en) | Visible light receiving apparatus and visible light receiving method | |
US20160191159A1 (en) | Information processing method for generating encoded signal for visible light communication | |
JP6429288B2 (en) | Transmitter, transmission method and program | |
WO2015098108A1 (en) | Information processing program, receiving program and information processing device | |
JP2011254317A (en) | Transmission device, transmission method, reception device, reception method, communication system and communication method | |
JP2007295490A (en) | Visible optical communication apparatus, and visible light receiving method | |
US8033469B2 (en) | Apparatus for performing multimedia-based data transmission and associated method | |
JP2009130725A (en) | Visible light communication system and optical receiving device therefor | |
JP2014138324A (en) | Information service system, server system, terminal device, information service method, and program | |
JP2008227952A (en) | Optical communication system, optical communication method and optical communication apparatus | |
JP4178419B2 (en) | Information display device, display control method, and display control program | |
US9401964B2 (en) | Information conveyance effect measuring system, information conveyance effect measuring method, determination device, determination method, and recording medium | |
JP4640483B2 (en) | Imaging apparatus and program | |
JP2018032885A (en) | Information processing program, receiving program, and information processing device | |
JP5178549B2 (en) | Information notification method and program | |
CN104239842B (en) | A kind of methods, devices and systems for realizing visual identity | |
JP2010003264A (en) | Information presentation control device and information presentation control method | |
TW201501030A (en) | System and method for obtaining information displaying on an digital signage | |
JP6707342B2 (en) | Transmission method, transmission device, and program | |
JP2010034805A (en) | Interphone system | |
JP5879839B2 (en) | Image projection system | |
JP2016178403A (en) | Information output device, information output method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110823 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20111220 |