JP2012054689A - 可視光データ処理装置、可視光通信システム、可視光データ処理方法及びそのプログラム - Google Patents

Abstract

【課題】画像センサ通信方式の可視光通信において、車両の走行速度を考慮した確実な可視光通信を実現することが求められる。
【解決手段】本実施形態によれば、可視光データ処理装置は、メモリと、注目領域設定部と、取得部と備えた構成である。前記メモリは、時系列の複数の画像データを記憶する。前記注目領域設定部は、前記画像データについて、通信対象である可視光の発光位置を含む注目領域を連続的に設定する。前記取得部は、前記メモリに記憶された前記各画像データから、前記注目領域設定部により設定される注目領域の画像データを取得する。
【選択図】図１

Description

本発明の実施形態は、画像センサを利用する可視光データ処理技術に関する。

近年、可視光を変調、復調してデータの送受信を行なう可視光通信技術の開発が推進されている。可視光通信技術には、ビデオカメラなどに含まれる画像センサを利用して、画像センサにより得られた画像データから通信対象の信号光源（例えば点滅する照明光）を検出し、送信用データであるビット列データを復調する画像センサ通信方式（イメージセンサ通信方式）がある。

ところで、可視光通信では、通常では、照明機器から発光する照明光（可視光）を高速に点滅させることで、可視光を変調したデータ送信が行なわれる。画像センサ通信方式では、カメラの画像センサから、高速に点滅する照明光の画像データを高いフレームレートで読み出す必要がある。この場合、画像センサ全体の情報を高いフレームレートで読み出すと、画像センサから出力される画像データが膨大になるため、通信対象となる照明光を含む部分画像データを高いフレームレートで読み出す方法が用いられる。

特開２００８−２４５２３１号公報

前述の画像センサ通信方式の可視光通信を利用する路車間通信システムでは、カメラ及び可視光通信装置が車載装置として車両（自動車）に搭載される。また、路側装置としては、道路の路肩に設置された照明灯や情報表示板が用いられて、発光源から発光される可視光に重畳された送信データを送信する可視光通信装置が設けられる。

車両に搭載された可視光通信装置は、走行中にカメラにより撮影された画像データから、通信対象の照明灯や情報表示板の発光源（点滅する信号光源）の位置を捕捉し、その位置に対応する部分画像データを読み出して、送信用データであるビット列データを復調する。しかしながら、車両の走行速度が高速である場合に、可視光通信装置は、一連の処理に要する時間内にビット列データの復調が完了せずに、路側装置から送信されたデータを受信できないことがある。従って、画像センサ通信方式の可視光通信を利用する路車間通信では、車両の走行速度を考慮した確実な可視光通信を実現することが求められる。

本実施形態によれば、可視光データ処理装置は、記憶手段と、設定手段と、取得手段とを備えた構成である。前記記憶手段は、時系列の複数の画像データを記憶する。前記設定手段は、前記画像データについて、通信対象である可視光の発光位置を含む注目領域を連続的に設定する。前記取得手段は、前記記憶手段に記憶された前記各画像データから、前記設定手段により設定される注目領域の画像データを取得する。

実施形態に関する可視光通信システムの構成を示すブロック図。 実施形態に関する車両と発光源の位置関係を説明するための図。 実施形態に関するカメラにより撮影された画像を説明するための図。 実施形態に関する画像中の消失点と初期捕捉領域を説明するための図。 実施形態に関する注目領域の移動を説明するための図。 実施形態に関する可視光通信装置の構成を説明するための機能ブロック図。 実施形態に関する可視光通信装置の動作を説明するためのフローチャート。 実施形態の変形例を説明するための図。 他の実施形態に関する可視光通信装置の部分的構成を説明するための機能ブロック図。

以下図面を参照して、実施形態を説明する。

［可視光通信装置の構成］
図１は、可視光通信システムの構成を説明するためのブロック図である。

図１に示すように、本実施形態のシステムは、データ送信側の路側装置と、データ受信側の可視光通信装置２０とからなる。路側装置は、街路灯１１に設置された照明機器１０と送信制御装置１２を有し、例えば道路の路肩に設置されている。図２に示すように、街路灯１１は、道路２１０に沿って一定間隔で設置されている。送信制御装置１２は、例えば、道路２１０の所定範囲内の複数の街路灯１１のそれぞれと接続する構成である。

送信制御装置１２は、照明機器１０から発光する照明光（可視光）１００に送信用データを重畳して送信する可視光送信を制御する。送信制御装置１２は、例えば、内蔵する記憶装置に予め格納されている送信用データを取り出して、照明光１００を送信用データで変調して送信する。また、送信制御装置１２は、例えば、ネットワークに接続し、ネットワークから配信される送信用データを照明光１００に送信用データを重畳して送信する。

一方、図２に示すように、データ受信側の可視光通信装置２０は、道路２１０を走行する車両２００に搭載されている車載器の一種である。ここでは、車両２００は、図２の右側から左側に向けて走行する場合を想定する。

図１に示すように、本実施形態では、車両２００は、可視光通信装置２０と共に、カメラ２６、カーナビゲーション装置（カーナビ装置と略す）２７、及び制御情報入力装置２８を搭載している。

可視光通信装置２０は、コントローラ２１、メモリ２２、及びデータの入出力を制御するインターフェース（Ｉ／Ｆ）２３〜２５を有する可視光データ処理装置から構成されている。

コントローラ２１は、本実施形態の可視光受信処理に必要な画像処理用ソフトウェアを実装したコンピュータから構成されており、可視光データ処理装置のメイン構成要素である。メモリ２２は、カメラ２６により撮影された画像データ、画像処理結果、及び各種の制御情報を格納する。

インターフェース２３は、カメラ２６と接続し、カメラ２６の画像センサから出力される画像信号をデジタルの画像データに変換し、コントローラ２１に転送する。インターフェース２４は、車両２００の車載器に含まれるカーナビ装置２７に接続し、コントローラ２１から出力される可視光通信により取得した受信データを伝送する。また、インターフェース２５は、車両２００の車載器に含まれる制御情報入力装置２８に接続し、例えば、車両２００の移動速度を示す速度情報を入力し、コントローラ２１に転送する。

カメラ２６はビデオカメラであり、車両２００の走行方向を撮影する向きに取り付けられており、ＣＭＯＳ素子またはＣＣＤのような画像センサを内蔵する。カメラ２６は、コントローラ２１により設定されるフレームレートと画像データ出力範囲に基づいて、撮影して得られる映像データ（動画像データ）、即ち連続する時系列画像データを可視光通信装置２０に出力する。本実施形態では、カメラ２６は、照明機器１０から発光される可視光１００の信号光源（点滅される照明光）を含む撮影対象の時系列画像データを出力する。

図６は、可視光通信装置２０の具体的構成を説明するための機能ブロック図である。

図６に示すように、画像メモリ６１はメモリ２２の記憶領域の一部である。画像メモリ６１以外の各機能部６０、６２〜７０は、コントローラ２１により実現される。即ち、画像入力部６０は、カメラ２６の画像センサから出力される時系列画像データを入力して、画像メモリ６１に順次記録する。画像出力制御部７０は、カメラ２６の画像センサから出力される時系列画像データのフレームレート及び出力範囲を制御する。

輝度値算出部６２は、画像メモリ６１から時系列画像データを順次読み出し、注目領域設定部６９により設定された注目領域内の輝点の輝度値を算出し、時系列データとして輝度値データを算出する。ビット列デコード部６３は、時系列データである輝度値データからビット列データを復号（復調）する。データ解読部６４は復号化されたビット列データを解読し、例えば文字列データに変換して受信データとして出力する。出力制御部６５はインターフェース２４であり、受信データをカーナビ装置２７に出力する。

本実施形態では、初期捕捉領域設定部６７は、初期捕捉領域を注目領域設定部６９に設定した後、該当部分の画像データを画像メモリ６１から検索し、高速に点滅する輝点を検出する。初期捕捉領域設定部６７は、その検出した位置を注目領域の初期値として注目領域設定部６９に設定する。速度場算出部６６は、画像メモリ６１から連続する時系列画像データを入力し、通信対象の照明光（信号光源）の動きを速度ベクトルとして算出する。注目領域予測部６８は、現在の注目領域の位置と速度ベクトルに基づいて、次の注目領域の位置を予測し、それを注目領域設定部６９に設定する。

［可視光通信装置の動作］
以下、図２から図７を参照して、本実施形態の可視光通信装置２０の動作を説明する。

まず、走行中の車両２００に取り付けられたカメラ２６により撮影される映像が、画像入力部６０により時系列画像データとして、可視光通信装置２０に入力される（ステップＳ１）。カメラ２６の画像センサは、レンズに結像された映像を出力する。ここで、車両２００が所定の速度で道路２１０を走行している場合、カメラ２６により撮影される映像は、撮影対象の全ての物体が消失点（vanishing point）３１０からオプティカルフロー（optical flow）３００のように放射状に見える。

消失点３１０は遠近法における無限遠点である。オプティカルフロー３００とは、周知の画像認識方法における移動する物体の各点が移動する様子をベクトルで表現した分布を意味する。画像認識処理では、オプティカルフロー３００を算出することにより、移動物体の移動方向及び速度などの３次元的な運動の認識処理が行なわれる。

画像入力部６０は、入力される時系列画像データを画像メモリ６１に格納する（ステップＳ２）。即ち、画像入力部６０は、カメラ２６の画像センサから出力される指定のフレーム数分の画像データを連続的に画像メモリ６１に格納する。可視光通信装置２０は、画像メモリ６から注目領域の時系列画像データを高フレームレートで読み出し、可視光１００に重畳されている送信用データを再生する。即ち、輝度値算出部６２、ビット列デコード部６３及びデータ解読部６４の一連の処理系（便宜的にデータ再生系と呼ぶ）により、送信用データを復調し、受信データとして出力する。

ここで、注目領域４００とは、通信対象の可視光１００の信号源、即ち高速に点滅する照明光を含む画像データの領域である。本実施形態では、図４に示すように、注目領域４００の設定処理の初期処理として、初期捕捉領域設定部６７は、図４に示すように、消失点３１０を含む位置に初期捕捉領域として注目領域４００を注目領域設定部６９に設定する。さらに、初期捕捉領域設定部６７は、当該初期捕捉領域４００の時系列画像データを連続的に画像メモリ６１から取り込み、高速に点滅する輝点を検出する。初期捕捉領域設定部６７は、その検出した位置を注目領域４００の初期値として注目領域設定部６９に設定する（ステップＳ３）。

次に、注目領域設定部６９は、図５に示すように、通信対象の可視光１００の信号源、即ち高速に点滅する照明光を含む位置に注目領域４００を設定する。データ再生系は、前述したように、画像メモリ６に格納された時系列画像データから、設定された注目領域４００の画像データを読み出す（取得する）。データ再生系は、注目領域４００の画像データから可視光１００に重畳されている送信用データを復調（再生）する（ステップＳ６〜Ｓ８）。

以下、データ再生系の処理は、例えば前述の先行技術文献に記載されているような一連の処理からなる。即ち、輝度値算出部６２は、画像メモリ６１から時系列画像データを順次読み出し、注目領域設定部６９により設定された注目領域内の輝点の輝度値を算出する（ステップＳ６）。輝度値は、照明光（信号光源）の点滅、即ち送信用データのパルス信号のオン、オフに対応する。輝度値算出部６２は、算出した輝度値の時系列データとして輝度値データを出力する。

ビット列デコード部６３は、輝度値データである時系列データからビット列データを復号する（ステップＳ７）。なお、ビット列デコード部６３は、例えば、１フレーム分の輝度値データから、送信用データのプリアンブルの位置、データサイズ、データ本体であるデータビット列のサイズを算出する処理も実行する。

データ解読部６４は復号化されたビット列データを解読し、例えば文字列データに変換して受信データとして出力する（ステップＳ８）。出力制御部６５はインターフェース２４であり、データ解読部６４からの受信データをカーナビ装置２７に出力する。カーナビ装置２７は、例えば、受信データである文字列データをディスプレイ上に表示する。

このようデータ再生処理の実行時においても、車両２００は走行中であるため、通信対象となる照明光（信号光源）の撮影画像中の位置は、時々刻々と変化する。この場合、図５に示すように、通信対象の照明光の位置は、注目領域４００の移動方向５００に応じて変化することが確認されている。従って、注目領域４００の移動位置を予測することにより、通信対象の照明光の位置変化を予測することが可能である。以下、注目領域４００の移動位置の予測処理について説明する。

速度場算出部６６は、画像メモリ６１から連続する時系列画像データを読み出し、当該連続する時系列画像データから、車両２００の移動速度に基づいた通信対象の照明光の動き（位置移動）を速度ベクトルとして算出する速度場算出処理を実行する（ステップＳ４）。なお、当該速度場算出処理は、動画解析処理の分野では周知であり、前述したオプティカルフロー３００を速度ベクトル集合として表現して算出できる。

注目領域予測部６８は、現在の注目領域４００の位置と、速度場算出部６６により算出された速度ベクトルに基づいて、次の注目領域４００の位置を予測し、それを注目領域設定部６９に設定する（ステップＳ５）。ここで、画像出力制御部７０は、カメラ２６の画像センサから出力される時系列画像データの中で、注目領域設定部６９により設定される注目領域４００の画像データのみが高フレームレートで画像メモリ６１に格納されるように制御する。換言すれば、注目領域予測部６８は、次の注目領域４００の位置を予測することで、通信対象の照明光の位置移動に応じて注目領域設定部６９に対して注目領域４００の再設定（注目領域４００の設定更新）を実行させる。

以上要するに本実施形態の可視光通信装置２０は、走行中の車両２００に取り付けられたカメラ２６の画像センサから、通信対象の照明光（信号光源）を含む時系列画像データを連続的に入力し、当該照明光の点滅状態に対応するパルスのオン、オフで変調されたデータビット列を復号する。これにより、可視光通信装置２０は、通信対象の照明光である可視光に含まれる送信用データを受信データとして再生する。具体的には、可視光通信装置２０は、入力される時系列画像データ中から通信対象の照明光を含む注目領域４００を設定し、画像メモリ６から設定された注目領域４００の時系列画像データを読み出し、読み出された時系列画像データに対するデータ再生処理という一連の処理を繰り返す（ステップＳ３、Ｓ６〜Ｓ８）。

本実施形態の可視光通信では、通信対象の照明光（信号光源）を発光するデータ送信側の路側装置は固定であるが、データ受信側の車両２００は相対的に高速移動している。このため、車両２００の移動速度に基づいて、入力される時系列画像データ中において通信対象の照明光の位置が移動することになる。本実施形態の可視光通信装置２０は、通信対象の照明光の位置移動を速度ベクトルで算出することで、注目領域４００の位置変化を予測して追従させる処理を行なう。換言すれば、本実施形態の可視光通信装置２０は、通信対象の照明光の位置を確実に捕捉する機能及びその位置移動に応じて追従する機能を有する。従って、データ受信側の車両２００は相対的に高速走行している場合でも、データ送信側の照明光（信号光源）の位置を常時追従しながら捕捉することで、可視光である照明光に含まれる送信用データを確実に受信することができる。

なお、本実施形態は、データ送信側の路側装置と、データ受信側の車両２００との路車間可視光通信に適用した場合について説明したが、図８に示すように、データ送信側の車両８００と、データ受信側の車両２００との車車間可視光通信にも適用可能である。

この変形例では、データ送信側の車両８００は、送信用データを出力する可視光通信装置８１０を車載器として搭載し、このデータ送信用データを重畳する可視光１００を発光する発光源８２０を有する。データ受信側の車両２００は、カメラ２６の画像センサにより、データ送信側の車両８００から送信された可視光１００を受光する。データ受信側の可視光通信装置２０は、受光した可視光１００に応じた時系列画像データを入力し、前述したような一連の可視光受信処理を実行する。

また、本実施形態の可視光通信装置２０は、カーナビ装置２７とは別の車載器として説明したが、カーナビ装置２７と一体的に構成されてもよい。

［他の実施形態］
図９は、他の実施形態に関する可視光通信装置２０の部分的構成を示す機能ブロック図である。なお、図９に示す以外の構成は、図１及び図６に示すものと同様のため説明を省略する。

図９に示すように、可視光通信装置２０は、コントローラ２１により実現される判断部９０を有し、制御情報入力装置２８から車両２００の制御情報２８０を入力する。制御情報入力装置２８は、図１に示すように、車両２００の車載器に含まれて、インターフェース２５を介して、車両２００の移動速度を示す速度情報やブレーキ操作情報などを可視光通信装置２０に入力する。判断部９０は、入力される制御情報２８０の速度情報に基づいて、車両２００の移動速度が相対的に高速の場合には、前述の速度場算出部６６及び注目領域設定部６９の機能を有効にする。従って、車両２００の高速移動の場合には、可視光通信装置２０は、図６及び図７を参照して説明した一連の処理を実行する。一方、判断部９０は、入力される制御情報２８０の速度情報に基づいて、車両２００の移動速度が相対的に低速または停止の場合には、前述の速度場算出部６６の機能を無効にする。

このような判断部９０の機能により、車両２００が低速または停止の場合には、入力される時系列画像データ中において、通信対象の照明光の位置変化は少ない。従って、注目領域４００の移動位置の予測処理や注目領域設定部６９の再設定処理も不要となるため、速度場算出部６６の機能を無効にできる。これにより、車両２００の高速移動の場合と比較して、コントローラ２１の処理負荷の低減化を図ることができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０…照明機器、１１…街路灯、１２…送信制御装置、
２０…可視光通信装置、２１…コントローラ、２２…メモリ、
２３〜２５…インターフェース（Ｉ／Ｆ）、２６…カメラ（画像センサ）、
２７…カーナビゲーション装置、２８…制御情報入力装置、
６０…画像入力部、６１…画像メモリ、６２…輝度値算出部、
６３…ビット列デコード部、６４…データ解読部、６５…出力制御部、
６６…速度場算出部、６７…初期捕捉領域設定部、６８…注目領域予測部、
６９…注目領域設定部、７０…画像出力制御部、１００…照明光（可視光）、
２００…車両、２１０…道路。

Claims (10)

1. 時系列の複数の画像データを記憶する記憶手段と、
   前記画像データについて、通信対象である可視光の発光位置を含む注目領域を連続的に設定する設定手段と、
   前記記憶手段に記憶された前記各画像データから、前記設定手段により設定される注目領域の画像データを取得する取得手段と
   を具備したことを特徴とする可視光データ処理装置。
2. 移動体に搭載される画像センサ手段を利用し、前記取得された注目領域の画像データから前記可視光に含まれるデータを復調する可視光通信装置に適用し、
   前記記憶手段は、
   前記画像センサ手段から入力される時系列の画像データを記憶するように構成されていることを特徴とする請求項１に記載の可視光データ処理装置。
3. 前記記憶手段に記憶された前記時系列の画像データ中での前記通信対象の可視光の発光位置の移動に応じた速度場を算出する速度場算出手段と、
   前記速度場算出手段の算出結果に基づいて、前記発光位置の移動に応じた次の注目領域の位置を予測する予測手段とを有し、
   前記設定手段は、
   前記予測手段により予測された注目領域を連続的に設定するように構成されていることを特徴とする請求項１または請求項２のいずれか１項に記載の可視光データ処理装置。
4. 前記設定手段は、
   前記注目領域の初期注目領域として、前記前記時系列の画像データ中から検出される消失点の位置を含む初期捕捉領域を設定するように構成されていることを特徴とする請求項１または請求項２のいずれか１項に記載の可視光データ処理装置。
5. 前記移動体の速度情報を取得する手段と、
   前記速度情報に基づいて、前記移動体の移動状態が相対的に低速または停止の場合には、前記設定手段に対して注目領域を連続的に設定する機能を無効にするように構成されていることを特徴とする請求項２に記載の可視光通信装置。
6. 送信用データを出力し、発光手段から当該送信用データを重畳した可視光を発光させる可視光送信装置と、
   前記可視光に含まれる送信用データを受信する可視光受信装置とを有する可視光通信システムであって、
   前記可視光受信装置は、
   移動体に搭載される画像センサ手段から入力される時系列の複数の画像データを記憶する記憶手段と、
   前記画像データについて、通信対象である可視光の発光位置を含む注目領域を設定し、前記移動体の移動に応じて移動する注目領域を連続的に設定する設定手段と、
   前記記憶手段に記憶された前記各画像データから、前記設定手段により設定される注目領域の画像データを取得する取得手段と、
   前記取得された画像データから前記送信用データを復調する手段と
   を具備したことを特徴とする可視光通信システム。
7. 前記可視光送信装置は、
   前記発光手段として前記移動体である車両が走行する道路に設置された照明機器を制御し、前記照明機器から発光する照明光を前記送信用データを重畳した可視光として発光させるように構成されている請求項６に記載の可視光通信システム。
8. 時系列の複数の画像データを記憶手段に記憶する処理と、
   前記画像データについて、通信対象である可視光の発光位置を含む注目領域を連続的に設定する処理と、
   前記記憶手段に記憶された前記各画像データから、前記設定される注目領域の画像データを取得する処理と
   を実行することを特徴とする可視光データ処理方法。
9. 前記記憶手段に記憶された前記時系列の画像データ中での前記通信対象の可視光の発光位置の移動に応じた速度場を算出する処理と、
   前記速度場算出結果に基づいて、前記発光位置の移動に応じた次の注目領域の位置を予測する処理とを有し、
   前記設定する処理は、
   前記予測された注目領域を連続的に設定するように構成されていることを特徴とする請求項８に記載の可視光データ処理方法。
10. コンピュータにより実行されるプログラムであって、
    時系列の複数の画像データを記憶手段に記憶する手段と、
    前記画像データについて、通信対象である可視光の発光位置を含む注目領域を連続的に設定する手段と、
    前記記憶手段に記憶された前記各画像データから、前記設定される注目領域の画像データを取得する手段と
    して前記コンピュータを動作させることを特徴とするプログラム。

Images