JP2012043302A - 可視光情報処理装置、可視光情報処理方法及びそのプログラム - Google Patents

Abstract

【課題】例えば車車間通信システムなどにおいては、複数の可視光により送信される情報を確実に受信して処理できる可視光情報処理の実現が求められる。
【解決手段】本実施形態によれば、可視光情報処理装置は、検出部と、復調部と、情報処理部とを備えた構成である。検出部は、画像センサから入力される画像データから複数の可視光信号を検出する。復調部は、前記検出部により検出される可視光信号から送信情報を復調する。情報処理部は、前記復調された送信情報に関連する情報処理を実行する。
【選択図】図１

Description

本発明の実施形態は、多重化可視光通信に適用する可視光情報処理技術に関する。

近年、可視光を変調、復調してデータの送受信を行なう可視光通信技術の開発が推進されている。このような可視光通信技術を利用して、例えば道路を走行する車両（自動車）と車両との間で情報を通信する車車間通信システムが提案されている。

車車間通信システムで使用される可視光通信装置としては、ＬＥＤ（light emitting diode）から構成されるテールランプなどを可視光の発光源とし、ＰＤ（photodiode）で当該可視光を検出して情報を復調するフォトダイオード通信方式が適用できる。また、ビデオカメラなどに含まれる画像センサを利用して、画像センサにより得られた画像データからテールランプなどから発光される可視光（信号光源）を検出する画像センサ通信方式（イメージセンサ通信方式）が適用できる。

特開２００５−１８２２６８号公報 特開２００８−９８７７７号公報 特開２０１０−１０３９７９号公報

可視光通信技術を利用する車車間通信システムでは、例えば、前方を走行する車両から可視光に重畳された交通情報を受信した車両が、当該交通情報を可視光送信により後続車両に伝達するような車車間通信が可能である。

このような車車間通信において、例えば、後続車両が、通信対象の直前の先行車両から可視光送信により情報を受信するときに、当該先行車両が急減速または方向変更を行なう場合がある。このような場合、その先行車の前方にある車両（前々方車両）から同時に可視光による情報が発信されると、後続車両は、混信などにより情報の受信が不可能になる事態が想定される。

そこで、例えば車車間通信システムなどにおいては、複数の可視光により送信される情報を確実に受信して処理できる可視光情報処理の実現が求められる。

本実施形態によれば、可視光情報処理装置は、検出手段と、復調手段と、情報処理手段とを備えた構成である。検出手段は、画像センサ手段から入力される画像データから複数の可視光信号を検出する。復調手段は、前記検出手段により検出される可視光信号から送信情報を復調する。情報処理手段は、前記復調された送信情報に関連する情報処理を実行する。

実施形態に関する可視光情報処理装置の構成を示すブロック図。 実施形態に関する可視光情報処理装置と車両の搭載機器との関係を説明するための図。 実施形態の変形例に関する可視光情報処理装置と車両の搭載機器との関係を説明するための図。 実施形態に関する可視光送信情報のフォーマットの一例を示す図。 実施形態に関する可視光情報処理の概略的手順を説明するためのフローチャート。 実施形態に関する実施形態に関する可視光情報処理の具体的手順を説明するためのフローチャート。 他の実施形態に関する可視光情報処理装置の構成を示すブロック図。

以下図面を参照して、実施形態を説明する。

［可視光情報処理装置の構成］
図１は、本実施形態に関する可視光情報処理装置１０の構成を説明するためのブロック図である。本実施形態では、可視光情報処理装置１０は、車載器の一種として車両（自動車）２００に搭載されている（図２を参照）。

可視光情報処理装置１０は、マイクロプロセッサ（ＣＰＵ）１１と、メモリ１２と、画像メモリ１３と、可視光データ送信制御部１４と、可視光データ受信制御部１５と、及びインターフェース１６〜１８とを有する。

ＣＰＵ１１は、メモリ１２に格納されているソフトウェアに基づいて、後述する多重化可視光通信の制御処理や、車車間通信に関係する情報処理（情報の作成、編集、削除、選択などの処理）を実行する情報処理部である。メモリ１２は、ＣＰＵ１１が実行するソフトウェア以外に、画像処理用ソフトウェア、及び情報処理により得られる各種情報を格納する。

画像メモリ１３はインターフェース１６を介して、画像センサ２０Ａ，２０Ｂから入力される時系列の画像データを記録する。インターフェース１６は、画像センサ２０Ａ，２０Ｂから入力される画像信号を時系列の画像データに変換し、画像メモリ１３に順次記録する。可視光データ受信制御部１５は、画像メモリ１３に格納された画像データをフレーム毎に画像処理し、当該画像処理により抽出された可視光信号から情報を復調する復調処理を実行する。

ここで、可視光データ受信制御部１５は、後述するように、多重化可視光通信により送信された複数の可視光信号を検出し、当該各可視光信号に対応する情報を復調するデータ受信処理を実行する。本実施形態では、車両のランプなどから発光される可視光の中で、可視光通信で情報が重畳されている可視光（信号光源）を可視光信号と表記し、通常の照明や方向指示などの可視光と区別する。

可視光データ送信制御部１４は、ＣＰＵ１１により作成される送信用情報を複数の可視光信号に変調する多重化可視光送信制御を実行する。インターフェース１７は、可視光データ送信制御部１４からの各可視光信号を、車両２００に搭載されたテールランプ２１やフロントランプ２２に出力する。これにより、テールランプ２１やフロントランプ２２は、送信用情報を重畳した可視光信号を発光する。

インターフェース１８は、可視光データ受信制御部１５により受信された情報や、ＣＰＵ１１により作成された情報を表示装置２４に出力する。表示装置２４は、運転席に設けられたディスプレイや音声出力機器などが一体化されたヒューマン・マシン・インターフェース（ＨＭＩ）を構成する機器である。なお、表示装置２４は、例えばカーナビゲーション装置と一体化された機器でもよい。運転者は、表示装置２４のディスプレイ上に表示される情報を視覚的に確認できる。

また、インターフェース１８は、車両２０の運転者により操作されるランプ制御信号出力装置２３から、テールランプ２１やフロントランプ２２の点灯と消灯を指示する指示信号を入力する。可視光データ送信制御部１４及びインターフェース１７は、ランプ制御信号出力装置２３から入力される指示信号に応じてテールランプ２１やフロントランプ２２を点灯し、送信用情報が重畳された各可視光信号により点滅制御する。これにより、可視光データ送信制御部１４は、各可視光信号による多重化可視光送信を実行できる。

図２（Ｂ）は、図２（Ａ）に示すような車両２００に搭載された可視光情報処理装置１０と、これ以外の搭載機器との関係を示す図である。図２（Ｂ）に示すように、本実施形態では、可視光情報処理装置１０は、車両２００の前方を撮像するビデオカメラに含まれる画像センサ２０Ａに接続し、前方の車両のテールランプなどから発光される可視光１００を入力する。画像センサ２０Ａは、ＣＭＯＳ、ＣＣＤ、あるいはピンフォトダイオードアレイなどの素子が２次元配列されたイメージセンサである。

さらに、可視光情報処理装置１０は、ＬＥＤから構成されるテールランプ２１として、
２個の方向指示ランプ（ウィンカー及びハザードランプ）２１Ａ、２個のブレーキランプ（ポジショニングランプを兼用）２１Ｂ、及び２個のバックランプ２１Ｃのそれぞれに接続している。

［可視光情報処理］
以下、図４から図６を参照して、本実施形態の可視光情報処理を説明する。

まず、図５のフローチャートを参照して、本実施形態の可視光情報処理の概略を説明する。

ここでは、図２（Ｂ）に示すように、位置関係で後続の車両２００が、前方を走行中の車両から発光された可視光１００を受光する（ステップＳ１）。車両２００に搭載されたビデオカメラの画像センサ２０Ａは、受光した可視光１００の発光源（テールランプなど）を含む画像信号を可視光情報処理装置１０に伝送する。前方を走行中の車両は、複数のランプ毎に高速点滅制御を実行し、複数の送信情報を重畳（変調）させた多重化可視光信号を送信できる。

可視光情報処理装置１０では、画像センサ２０Ａから入力される画像信号は、インターフェース１６を介して、時系列の画像データに変換されて画像メモリ１３に順次記録される。可視光データ受信制御部１５は、画像処理により、可視光１００から可視光信号と通常の可視光とを識別し、多重化可視光送信による複数の可視光信号を検出する（ステップＳ２）。さらに、可視光データ受信制御部１５は、検出された各可視光信号から送信情報を復調する（ステップＳ３）。

ＣＰＵ１１は、復調された各送信情報を取得し、当該各送信情報を解読する（ステップＳ４）。さらに、ＣＰＵ１１は、各送信情報に関連する所定の情報処理を実行する（ステップＳ５）。即ち、ＣＰＵ１１は、インターフェース１８を介して、表示すべき送信情報を表示装置２４に出力する。これにより、運転者は、表示装置２４のディスプレイ上に表示される送信情報により、例えば前方を走行中の車両の速度低下を確認し、前方の道路が渋滞状況であることを推測できる。

また、ＣＰＵ１１は、受信した送信情報に新たな情報を追加または送信情報から不要情報を削除して、送信用情報を作成する。可視光データ送信制御部１４及びインターフェース１７は、テールランプ２１を点滅制御し、送信用情報で変調した可視光信号を後続の車両に送信する。ここで、複数のテールランプ２１Ａ〜２１Ｃのいずれかを点滅制御することで、複数の送信用情報で変調した多重化可視光信号を後続の車両に送信できる。

次に、図４及び図６のフローチャートを参照して、本実施形態の可視光情報処理を具体的に説明する。

前述したように、画像センサ２０Ａから入力される画像信号は、インターフェース１６を介して、時系列の画像データに変換されて、画像メモリ１３に順次記録される（ステップＳ１１）。可視光データ受信制御部１５は、画像メモリ１３に格納された画像データをフレーム毎に画像処理し、前方を走行する先行車両を認識する（ステップＳ１２）。さらに、可視光データ受信制御部１５は、画像処理により認識した先行車両で、可視光を発光しているブレーキランプなどの各テールランプを個別に識別する（ステップＳ１３）。

次に、可視光データ受信制御部１５は、画像フレーム毎の画像処理により点滅状態の識別結果に基づいて、ランプ毎に可視光信号を送信する可視光通信状態であるか否かを判定する（ステップＳ１４）。この場合、ランプの点滅パターンが特定パターンの場合に、可視光通信として認識する。なお、可視光通信ではなく、通常の発光であるランプからの可視光は無視する。

可視光データ受信制御部１５は、可視光通信のランプ毎に可視光受信処理を実行する（ステップＳ１５）。即ち、可視光データ受信制御部１５は、ランプ毎の各可視光信号に重畳されている各送信情報を復調する（ステップＳ１６）。なお、当然ながら、同一の先行車両から同時に複数の送信情報を送信する多重化可視光送信が行なわれた場合に、可視光データ受信制御部１５は複数の送信情報を復調する。従って、単一のランプの点滅制御による可視光送信の場合には、可視光データ受信制御部１５は当該可視光信号から単一の送信情報を復調することになる。

ＣＰＵ１１は、復調された各送信情報を解読し、以下の情報処理を実行する（ステップＳ１７）。ここで、各送信情報は、例えば図４に示すようなフォーマットから構成されている。即ち、各送信情報は、フレームのスタート部（ＳＯＦ）４０、ＩＤ情報４１、属性情報４２、データ本体４３、及びフレームのエンド部（ＥＯＦ）４４を含む。ＩＤ情報４１は、例えば車両を識別する識別情報である。このＩＤ情報４１により、ＣＰＵ１１は、各送信情報が同一車両から送信されたものであるか、異なる車両から送信された別々の送信情報であるかを認識できる。属性情報４２は、送信情報の種類を示す情報であり、例えば車両の進路、方向変更、速度、ブレーキ操作、車両の位置などの種類を示す。データ本体４３は情報の内容であり、属性情報４２で示す種類が例えば速度であれば、速度値データである。

ＣＰＵ１１は、インターフェース１８を介して、解読した各送信情報を表示装置２４に出力する（ステップＳ１８）。これにより、表示装置２４のディスプレイ上には、例えば先行車両の方向変更や速度情報などの送信情報が表示される。ここで、ＣＰＵ１１は、例えば運転者からの指示に応じて可視光送信処理に移行する（ステップＳ１９のＮＯ）。

ＣＰＵ１１は、例えば受信した各送信情報の属性情報４２に基づいて、各送信情報に関連する情報を可視光送信（多重化可視光送信を含む）する関連送信処理を実行する（ステップＳ２０のＹＥＳ）。なお、ＣＰＵ１１は、関連送信処理ではなく、前述の先行車両と同様に通常の可視光送信（多重化可視光送信を含む）を実行してもよい（ステップＳ２５）。

関連送信処理では、ＣＰＵ１１は、後続する車両に対して、先行車両から受信した各送信情報に基づいて送信用情報を作成する（ステップＳ２１）。次に、ＣＰＵ１１は、作成した送信用情報に対して、新たに情報を追加または不要な情報を削除する編集処理を実行する（ステップＳ２２）。

具体的には、ＣＰＵ１１は、前述の送信情報に含まれるＩＤ情報４１に基づいて、直前の先行車両以外に、更に前方の先行車両からの送信情報を受信したと判定した場合には、当該送信情報を作成した送信用情報に追加する。この場合、ＣＰＵ１１は、追加した送信情報を表示装置２４に出力して、ディスプレイ上に表示させるように制御する。また、自車両の進路や方向変更、減速などが発生した場合、ＣＰＵ１１は、先行車両からの送信情報に基づいて作成した送信用情報に自車両の状態を示す情報を追加する。また、ＣＰＵ１１は、受信した送信情報の中で、後続車両の運転には不要である情報、例えば直前の先行車両の方向変更などの情報を不要情報として削除する。

次に、ＣＰＵ１１は、作成及び編集した送信用情報をランプ毎に選定する（ステップＳ２３）。具体的には、図２（Ｂ）に示すように、テールランプ２１からランプ２１Ａ〜２１Ｃの組み合わせを選択し、選択された各ランプの点滅制御による各可視光に重畳させる送信用情報を割り当てる。可視光データ送信制御部１４及びインターフェース１７は、ＣＰＵ１１によりランプ毎に選定された各送信用情報で変調した可視光信号を発光するように、各ランプの点滅制御を実行する（ステップＳ２４）。これにより、複数の送信用情報が重畳された多重化可視光信号を後続の車両に送信することができる。

なお、可視光データ送信制御部１４及びインターフェース１７は、車両２０の運転者により操作されるランプ制御信号出力装置２３からの指示信号に応じてテールランプ２１が発光状態になるときに、選択された各ランプの点滅制御を実行して多重化可視光送信を実行する。従って、車両２０の運転者の運転操作が優先されており、多重化可視光送信により運転に影響を与えるようなことはない。

以上のように本実施形態によれば、画像センサ通信方式による可視光通信技術を利用して、車車間での多重化可視光通信（空間多重化可視光通信）システムを実現することができる。従って、位置関係が後続の車両は、直前の先行車両及び前々方の先行車両から同時に可視光送信により複数の情報が発信された場合でも、各情報を確実に受信することが可能となる。

さらに、当該車両は、多重化可視光送信により受信した各送信情報に関連する送信用情報を作成及び編集し、テールランプなどの複数のランプを点滅制御することで、自車両の後続車両に各送信用情報を多重化可視光送信により送信する関連送信を行なうことができる。これにより、自車両の後続車両に対して、先行車両から取得した速度低下を示す速度情報やブレーキ操作などの情報に基づいて、例えば前方の道路で交通渋滞が発生していることを示すような有用な情報を提供することが可能となる。また、本実施形態では、関連送信として多重化可視光送信により送信する情報は、不要な情報を削除するなどの編集処理がなされる。従って、関連送信として、無駄な少ない効率的な可視光通信を実現できる効果もある。

（変形例）
図３は、本実施形態の変形例を示す図である。可視光情報処理装置１０の構成及び動作は、図１に示す本実施形態の場合と同様のため説明を省略する。

図３に示すように、可視光情報処理装置１０は、車両２００の後方を撮像するビデオカメラに含まれる画像センサ２０Ｂに接続される構成でもよい。この変形例では、可視光情報処理装置１０は、ＬＥＤから構成されるフロントランプ２２として、２個のヘッドライト２２Ａ、２個の車幅灯２２Ｂ、２個の方向指示ランプ２２Ｃ及び２個のフォッグランプ２２Ｄのそれぞれに接続している。

本変形例の構成であれば、車両２００は、可視光情報処理装置１０により、先行車両に対して、フロントランプ２２のランプ毎に情報が重畳されている各可視光信号を送信する多重化可視光送信を行なうことができる。また、車両２００は、画像センサ２０Ｂ及び可視光情報処理装置１０により、後続車両からの多重化可視光信号を受信する多重化可視光通信が可能となる。

［他の実施形態］
図７は、他の実施形態に関する図である。なお、可視光情報処理装置１０の構成及び動作は、図１に示す本実施形態の場合と同様のため説明を省略する。

この実施形態は、いわゆる路車間通信に適用する場合である。路車間通信とは、道路を走行中の車両と、道路の路肩などに設置された路側装置との間で行なう無線通信である。この実施形態では、図７に示すように、路側装置は、道路照明灯（または防犯灯など）７１と、可視光通信装置７２とからなる。可視光通信装置７２は、照明機器７０の発光を制御（点滅制御）することで、例えば交通情報などを可視光７００に重畳して発信させる。

走行中の車両２００は、前方を撮影するカメラの画像センサ２０Ａ及び可視光情報処理装置１０により、受光した可視光７００から交通情報などを復調し受信することができる。この場合、路側装置は、道路照明灯（または防犯灯など）７１に予め設けられた複数のＬＥＤ発光源を制御することにより、前述のような多重化可視光送信を行なうことができる。

従って、発光源の点滅制御方式、通信プロトコル、送信データのフォーマット（図４を参照）などが統一されていることにより、同一の車両２００において、画像センサ通信方式による多重化可視光通信により、車車間通信と同時並行して路車間通信を行なうことが可能となる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１０…可視光情報処理装置、１１…マイクロプロセッサ（ＣＰＵ）、
１２…メモリ、１３…画像メモリ、１４…可視光データ送信制御部
１５…可視光データ受信制御部、１６〜１８…インターフェース、
２０Ａ，２０Ｂ…画像センサ、２１…テールランプ、２２…フロントランプ、
２３…ランプ制御信号出力装置、２４…表示装置、
２００…車両（自動車）。

Claims (10)

1. 画像センサ手段から入力される画像データから複数の可視光信号を検出する検出手段と、
   前記検出手段により検出される各可視光信号から送信情報を復調する復調手段と、
   前記復調された送信情報に関連する情報処理を実行する情報処理手段と
   を具備したことを特徴とする可視光情報処理装置。
2. 前記検出手段は、
   前記画像センサ手段から出力される時系列の複数の画像データを記憶する記憶手段と、
   前記各画像データに基づいて多重化可視光送信により送信される複数の可視光信号を識別する手段と
   を有することを特徴とする請求項１に記載の可視光情報処理装置。
3. 前記情報処理手段は、
   前記送信情報に関連する送信用情報を作成する手段と、
   前記送信用情報に対して新たな情報を追加または不要情報を削除する編集処理を実行する手段と
   を含むことを特徴とする請求項１または請求項２のいずれか１項に記載の可視光情報処理装置。
4. 前記検出手段は、
   前記各画像データに基づいて可視光の点滅パターンが特定パターンの場合に、当該可視光が可視光信号であると認識するように構成されていることを特徴とする請求項１または請求項２のいずれか１項に記載の可視光情報処理装置。
5. 前記情報処理手段は、
   前記復調手段により復調された送信情報に含まれるＩＤ情報に基づいて、同一車両から多重化可視光送信により送信される送信情報と、異なる車両から多重化可視光送信により送信される送信情報とを同時受信したことを認識する手段を含むことを特徴とする請求項１に記載の可視光情報処理装置。
6. 前記情報処理手段は、
   前記復調手段により復調された送信情報に含まれる属性情報に基づいて、当該送信情報の種類を認識する手段を含むことを特徴とする請求項１に記載の可視光情報処理装置。
7. 複数の発光源から送信用情報で変調した各可視光信号を送信する多重化可視光送信手段を含み、
   前記情報処理手段は、
   前記多重化可視光送信手段を制御し、前記送信情報に関連した前記送信用情報を多重化可視光送信するように構成されている請求項１または請求項３のいずれか１項に記載の可視光情報処理装置。
8. 画像センサ手段及び複数の発光源を搭載した車両に設けられた可視光情報処理装置であって、
   前記画像センサ手段から、他の車両から発光された可視光に応じた画像データを入力して記憶する手段と、
   前記画像データから複数の可視光信号を検出する検出手段と、
   前記検出手段により検出される各可視光信号から送信情報を復調し、前記他の車両から多重化可視光送信された送信情報を受信する手段と、
   前記受信された送信情報に関連する送信用情報を作成する情報処理手段と、
   前記複数の発光源から前記送信用情報で変調した各可視光信号を送信する多重化可視光送信手段と
   を具備したことを特徴とする可視光情報処理装置。
9. 画像センサ手段から入力される画像データから複数の可視光信号を検出する処理と、
   前記検出手段により検出される各可視光信号から送信情報を復調する処理と、
   前記復調された送信情報に関連する情報処理を実行する処理と
   を実行することを特徴とする可視光情報処理方法。
10. コンピュータにより実行されるプログラムであって、
    画像センサ手段から入力される画像データから複数の可視光信号を検出する手段と、
    前記検出手段により検出される各可視光信号から送信情報を復調する手段と、
    前記復調された送信情報に関連する情報処理を実行する手段と
    して前記コンピュータを動作させることを特徴とするプログラム。

Images