JP2010212920A - 可視光通信装置及び方法 - Google Patents

Abstract

【課題】 撮像範囲内に複数の通信用光源が含まれる場合であっても、受信者の所望する通信信号のみを迅速に取得することのできる可視光通信装置を提供する。
【解決手段】 通信用光源を検出する通信用光源検出部１４は、撮像部１２で得られた撮像画像を解析して、通信用光源の位置及び面積情報を出力する。変動量算出部１５において、検出された通信用光源のフレーム間の対応関係を検出するとともに、通信用光源の通信用光源の位置及び面積の変動量を算出する。優先度判定部１６において、位置及び面積の変動量に応じて、通信用光源の処理優先度を設定する。通信信号検出部１９において通信用光源からの光通信信号が検出され、通信情報が出力される。表示制御部２０では、処理優先度が高い通信用光源に対応する通信情報のみを撮像画像に合成し、出力表示させる。
【選択図】 図１

Description

本発明は、移動体に搭載され、可視光に重畳された光通信信号を受信する可視光通信装置及び方法に関する。

道路交通の安全性を向上させる上で、渋滞や工事中といった交通情報を運転手に迅速に伝達することが重要である。そこで、信号機からの交通整理信号や、前方を走行する他車両からのブレーキランプからの可視光に通信信号を重畳させ、交通情報のメッセージを車両に送信することが検討されている。受信側の車両では、受信した可視光から通信信号を抽出し、これを復号化してメッセージを取得する。

このような可視光通信の例として、特許文献１に記載の交差点安全走行システムでは、車両に搭載されたカメラで信号送信機を撮像することで、当該信号送信機からの可視光に重畳された通信信号を受信する。そして、各信号送信機には固有のＩＤが付されており、このＩＤに基づき信号送信機を判別することで、カメラによる撮像範囲に複数の信号送信機が含まれる場合であっても、車両の進行方向に相対する信号送信機を識別することができる。

また、特許文献２に記載の可視光通信装置では、各通信用光源からの信号光を拡散符号とすることで、複数の通信用光源が検出された場合に、受信者によって選択された通信用光源からの信号光のみを受信するようにしている。
特開２００８−３３６１７号公報 特開２００７―２７４０５２号公報

特許文献１のシステムでは、信号送信機を設置するたびに新たなＩＤを設定する必要がある。また、信号送信機の他に、走行中の車両との間で可視光通信を行う場合には、さらに多くのＩＤを用意する必要が生じることから、ＩＤの設定に多くの時間と手間を要する。さらに、撮像範囲内に複数の通信用光源が含まれる場合には、撮像範囲内の全ての通信用光源からの信号光を受信するとともに、これらをＩＤに応じて識別する必要が生じることから、通信装置におけるデータ処理量が膨大になり、その結果、通信情報を迅速に取得できなくなるおそれが生じる。

また、特許文献２記載の光通信装置では、受信者が自ら受信すべき通信用光源を選択する必要がある。走行中の車両で交通情報を受信する場合、信号機や他車両の状況が絶えず変化することから、メッセージを受信すべき通信用光源を頻繁に選択する必要があるところ、運転中の受信者が通信用光源を選択し、所望の交通情報を迅速に取得することは困難である。

本発明は、従来の問題を解決するためになされたものであり、その目的は、撮像範囲内に複数の通信用光源が含まれる場合であっても、受信者の所望する通信信号を迅速に取得することのできる可視光通信装置を提供することにある。

本発明の別の目的は、通信用光源との間で可視光通信を行う際のデータ処理量を低減することのできる可視光通信装置を提供することにある。

本発明の可視光通信装置は、移動体の周囲を撮像する撮像部と、前記撮像画像から可視光域の光通信信号を発する通信用光源を検出するとともに、前記通信用光源の特徴情報を算出する通信用光源検出部と、複数の撮像画像に基づき前記通信用光源の特徴情報の変動量を算出する変動量算出部と、前記通信用光源が複数検出された場合には、前記通信用光源の前記特徴情報の変動量に基づき前記通信用光源の処理優先度を設定する優先度設定部と、前記処理優先度に基づいて、前記通信用光源からの前記光通信信号の処理を行う通信信号処理部とを備えた構成を有する。

走行中の車両などの移動体で通信情報を受信する場合には、受信すべき情報は当該移動体から最も近い通信用光源から発せられる場合が多い。本発明の構成により、通信用光源の特徴情報の変動量が大きいものを自車量から最も近い通信用光源と定めることにより、当該最も近い通信用光源から取得した通信情報が優先的に表示されるから、受信者は、通信用光源の選択という煩わしい操作をすることなく、所望の交通情報を迅速に取得することが可能となる。

本発明の可視光通信装置において、前記通信用光源検出部は、前記通信用光源のタイプに基づき設定された前記撮像画像の処理領域において、前記通信用光源の検出を行う。

この構成により、撮像画像の処理領域が制限されるから、通信時におけるデータ処理量を抑制することができ、よって通信情報の検出漏れを防止することができる。

本発明の可視光通信装置において、前記変動量算出部は、複数の撮像画像における前記通信用光源の対応関係を算出する。

この構成により、移動体の移動に伴って通信用光源の位置が変化する場合であっても、同一の通信用光源からの通信信号を適切に取得することができる。

本発明の可視光通信装置において、前記通信信号処理部は、前記通信用光源からの光通信信号を検出して通信情報を生成する通信信号検出部と、前記処理優先度に基づいて前記通信情報の表示制御を行う表示制御部を備えた構成を有する。

この構成により、処理優先度に応じて、取得した通信情報を撮像画像と重ねて表示し、あるいは表示しないことが可能となる。

本発明の可視光通信装置において、前記通信信号処理部は、前記処理優先度に基づいて、光通信信号を検出すべき前記通信用光源を設定し、設定された前記通信用光源からの前記光通信信号を検出して通信情報を生成する。

この構成により、処理優先度の低い通信用光源からの通信信号の検出を省略できるから、データ処理量の抑制を図ることができる。

本発明の可視光通信装置において、前記通信信号検出部は前記通信用光源の特徴情報に基づいて、前記光通信信号を検出する領域を設定する。

この構成により、例えば移動体の移動に伴って通信用光源の位置が変化する場合であっても、同一の通信用光源からの通信信号を適切に受信することができる。

本発明の可視光通信装置において、特徴情報は、前記撮像画像における前記通信用光源の位置情報と面積情報の少なくとも１つである。

この構成により、例えば位置及び面積の変動量が最も大きな通信用光源を、移動体に最も近い通信用光源として設定することができる。

本発明の別の態様としての可視光通信方法は、移動体の周囲を撮像して得られた撮像画像から、可視光域の光通信信号を発する通信用光源および前記通信用光源の特徴情報を算出し、複数の撮像画像に基づき前記通信用光源の前記特徴情報の変動量を算出し、前記通信用光源が複数検出された場合には、前記通信用光源の前記特徴情報の変動量に基づき前記通信用光源の処理優先度を設定し、前記処理優先度に基づいて、前記通信用光源からの光通信信号の処理を行う。この構成によっても上記の本発明の利点が好適に得られる。

上記のように、本発明は、通信用光源の特徴情報に基づいて設定された処理優先度に基づき、通信用光源からの通信信号を処理するようにしたから、通信用光源の位置がリアルタイムで変化する状況であっても、ユーザが所望する通信情報を迅速に取得することができ、さらに通信時におけるデータ処理量を抑制できるという優れた効果を有する。

以下、本発明の実施の形態の車両用光通信装置について、図面を用いて説明する。本実施の形態では、車両に用いられる可視光通信装置を例として説明するが、可視光通信装置を搭載する移動体は車両に限定されず、飛行体等であってもよい。

図１は、本発明の第１の実施の形態に係る車両用光通信装置１０のブロック図である。車両用光通信装置１０は、移動体としての図示しない車両に搭載されており、車両内に設置された図示しない電子制御ユニット（Electrical Control Unit）を介して、車両内に設置された表示部１１に電気的に接続される。

車両用光通信装置１０は、車両周辺の画像を撮影する撮像部１２と、撮像で得られた画像の処理領域を設定する領域指定部１３と、処理領域内における撮像画像を解析して通信用光源を検出する通信用光源検出部１４と、複数の撮像フレーム間における、撮像画像内の通信用光源の位置および面積の対応関係及び変動量を算出する変動量算出部１５と、通信用光源の位置及び面積の変動量より通信用光源の処理優先度を決定する優先度判定部１６と、撮像画像より通信用光源からの光通信信号を検出し、通信情報を生成する通信信号検出部１９と、撮像画像に前記通信情報を重畳表示させる表示制御部２０とを備える。

撮像部１２は、レンズ等の光学系と、光学系を通して得られた被写体からの可視光を電気信号に変換する撮像素子を備える。撮像素子は、後述する通信用光源からの通信信号のパルスの変化を検出できる程度の高いフレームレートを有する。撮像素子は、例えば車両の前部に取り付けられ、車両前方の画像を撮影して画像データを生成し、これを領域指定部１３および表示制御部２０へ出力する。

図２は、撮像部１２による撮像で得られた画像の一例を示したものである。撮像画像２１には、車両２２，２３のテールランプ２４，２５，街灯２６，２７、信号機２８といった可視光を発する通信用光源が含まれる。これらの通信用光源から発せられる可視光には、渋滞や事故といった交通情報の信号が、例えばパルス幅変調やパルスコード変調の方式により重畳されている。

領域指定部１３は、撮像で得られた画像から、光通信信号を受信すべきタイプの通信用光源が含まれる領域を設定する。本実施の形態では、通信用光源のタイプの例として、車両２２，２３、街灯２６，２７及び信号機２８が挙げられるが、これに限られることはない。

例えば、図３に示すように、前方を走行する車両２２，２３との間で可視光通信を行う場合には、撮像で得られた画像２１のうち、当該車両が含まれる割合の高い画面中央部２９（図中、楕円形状の太線で囲まれた領域）を処理領域として設定する。また、街灯２６，２７や信号機２８といった、道路に固定された通信用光源との間で通信を行う場合には、当該固定物の含まれる割合の高い画面周辺部３０（図中、略凹形状の太線で囲まれた領域）を処理領域として設定する。

通信対象としての通信用光源のタイプについては、車両の走行前および停車時において、ユーザにより予め設定されることが好ましい。あるいは、走行中に検出された通信用光源が少ない場合（例えば、前方に車両がほとんどない状況）には、自動的に通信用光源のタイプを切り替えるように制御しても良い。

通信用光源検出部１４は、撮像画像の設定領域２９，３０において、領域指定部１３を介して撮像部１２から入力された連続する２フレームの撮像画像を比較して、例えば輝度が著しく変化する領域の有無を検出する。通信用光源検出部１４は、このような領域が検出された場合には、当該領域には通信用光源が含まれると判定する。

例えば、図３において画面中央下部２９の領域を処理領域として設定した場合、テールランプ２４，２５からの可視光には、交通用信号がパルス情報として重畳されているから、撮像部１２において高速のフレームレートで撮像することにより、輝度情報の急激な変動をパルスの有無として検出することができる。

通信用光源検出部１４は、通信用光源を検出した場合、撮像画像のうち通信用光源が占める画素と、それ以外の画素とで２値化した後にラベリング処理を施すことで、通信用光源の領域の座標情報（領域情報）を取得する。そして、通信用光源検出部１４は、検出された通信用光源の領域の面積（画素数）を算出し、通信用光源の領域における重心座標を算出することで、当該通信用光源の位置情報を算出する。算出された通信用光源の領域情報、位置情報及び面積情報は、撮像画像のフレーム番号と対応づけられて記憶される。

変動量算出部１５は、複数のフレーム画像間における通信用光源の対応関係を算出する対応関係算出部１８を備える。通信用光源検出部１４において通信用光源が検出された場合に、当該フレームと直近の所定数のフレームの中に、２値化処理が施された通信用光源が重複する領域があるか否かを、フレーム差分の手法により検出する。対応関係算出部１８は、通信用光源が重複する領域があると検出した場合には、これらの通信用光源は同一であると判定し、同一の光源ＩＤを付して対応づける。

図４の例で示すように、設定領域２９内で通信用光源２４ａ、２５ａが検出された場合に、対応関係検出部１８は直近のフレーム（例えば５フレーム前）の画像解析で得られた通信用光源２４ｂ、２５ｂの領域情報に基づき、通信用光源２４ａ、２４ｂおよび通信用光源２５ａ，２５ｂが重複することを検出する。このとき、対応関係検出部１８は、当該通信用光源２４ａ、２４ｂおよび通信用光源２５ａ，２５ｂが、それぞれ対応する通信用光源であると判定する。

通信用光源の対応関係が検出されると、変動量算出部１５は、対応する２フレームの面積情報および位置情報に基づき、通信用光源２４ａ、２４ｂおよび通信用光源２５ａ，２５ｂの面積および位置の変動量を算出する。算出された変動量情報は光源ＩＤと対応づけられて、優先度判定部１６および通信信号検出部１９に送られる。

対応関係算出部１８は、直近の所定数のフレームにおいて、検出された通信用光源と重複する通信用光源が存在しないと判定した場合には、検出された通信用光源は新規のものであると判断し、新たな光源ＩＤを付する。また、ある光源ＩＤに対応する通信用光源が所定時間検出されなかった場合には、対応関係算出部１８は、当該通信用光源が処理領域外に達したと判定し、当該ＩＤに対応する通信用光源の位置情報及び面積情報を消去する。

優先度判定部１６は、変動量算出部１５において算出された通信用光源の面積及び位置情報の変動量に基づき、通信用光源の処理優先度を算出する。自車両から最も近い場所にある通信用光源では、画像上での座標及び面積の変動量は大きいことから、優先度判定部１６は、位置変動量及び面積変動量の合計が大きいと判定された順に通信用光源の処理優先度を設定する。処理優先度の情報は、光源ＩＤと対応づけられて表示制御部１８へ送られる。

処理優先度を設定するに際しては、位置変動量と面積変動量の合計による以外にも、例えば位置変動量と面積変動量の重み付け関数を定義し、その関数値の大小に応じて処理優先度を設定することができる。また、位置変動量と面積変動量の一方のみを用いて、処理優先度を設定してもよい。

通信信号検出部１９は、変動量算出部１５を介して入力される、複数フレーム分の撮像画像及び通信用光源の座標情報に基づき、全ての光源ＩＤに対応する通信用光源からの可視光に重畳されたパルス状の通信信号を検出する。通信用光源の領域における画素データの変動は、通信用光源からのパルスデータと対応することから、通信信号検出部１９において画素データの変化に基づき、通信用光源からの通信信号を検出することができる。検出された通信信号は、通信情報に復号されて表示制御部２０に送られる。

表示制御部２０では、通信信号検出部１９からの通信メッセージと、優先度判定部１６からの処理優先度情報と、撮像部１２からの撮像画像データが入力される。表示制御部２０は、撮像部１２からの画像に対し、処理優先度の高い光源ＩＤに対応する通信用光源に、通信信号検出部１７からの通信情報を組み合わせた合成画像を生成し、これを表示部１１へと送る。

これら通信信号検出部１９及び表示制御部２０は、本発明における通信信号処理部１７に相当するものである。

上記構成による、第１の実施の形態の車両用光通信装置１０の動作について、図５のフローチャートを用いて説明する。

可視光通信用光源から交通情報の受信を行う場合には、撮像部１２において自車両の前方の画像を連続的に撮像する（Ｓ１１）。撮像により得られた画像は、処理領域指定部１３に送られ、予め定められた通信用光源のタイプ（例えば車両のテールランプ）に応じて、撮像画像の処理領域が設定される（Ｓ１２）。

通信用光源検出部１４において、処理領域における２フレームの撮像画像を比較して、輝度が急激に変動する領域の有無を検出する（Ｓ１３）。かかる領域が検出された場合には、当該領域が通信用光源であると判定し、その領域情報、面積情報及び位置情報を算出する（Ｓ１４）。通信用光源が検出されなかった場合には、次フレームの撮像画像に対して通信用光源の有無を検出する。

通信用光源が検出された場合には、変動量算出部１８において、フレーム間差分の方法により、対応する通信用光源の有無が判定される。そして、対応する通信用光源がある場合には、面積及び位置情報の変動量を算出する（Ｓ１５）。この変動量の情報に基づき、優先度判定部１６において、通信用光源の処理優先度が設定される（Ｓ１６）。

通信用光源の処理優先度の設定と並行して、通信信号検出部１９では、複数フレームの撮像画像のうち、通信用光源に対応する領域の点滅を検出することで、通信用光源からのパルス状の通信信号を検出する。そして、各通信信号を復号して、通信情報を取得する（Ｓ１８）。

通信情報は表示制御部２０に送られ、ここで処理優先度の大小に応じて、撮像画像との合成処理が施される（Ｓ１９）。例えば、図６に示すように、２つの車両のテールランプ２４，２５が通信用光源として検出された場合に、面積・位置の変動量が大きい（すなわち、自車両に最も近い）右側のテールランプ２４の処理優先度を１番とし、左側のテールランプ２５の処理優先度を２番と設定する。そして、表示制御部２０は、優先度が１番のテールランプ２４からの通信メッセージ３１のみを撮像画像に重畳し、その結果、合成画像が表示部１１に表示される。

このように、上記第１の実施の形態に係る車両用光通信装置によれば、通信用光源の面積及び位置の変動量に基づいて処理優先度を設定し、優先度の大小に応じて受信した通信情報の表示制御を行うようにしたので、自車両の周囲状況がリアルタイムで変化する状況下でも、ユーザの所望する通信情報を確実かつ迅速に取得することができる。

次に、本発明の第２の実施の形態について説明する。図７に示すように、第２の実施の形態に係る車両用光通信装置４０は、優先度の大小に応じて通信信号の処理を行うか否かを判断する通信信号検出部４２と、これに接続された表示制御部４３とを備える。これら通信信号検出部４２及び表示制御部４３は、通信信号処理部４１を構成する。なお、図７において、上記第１の実施の形態に挙げられたものと同一の構成要素については、同一の符号を付して詳細な説明を省略する。

通信信号検出部４２は、優先度判定部１６から送られる通信用光源の処理優先度情報に基づき、処理優先度が高い通信用光源からの光通信信号のみを検出し、これを復号化して通信情報を生成する。表示制御部４３では、撮像部１２から送られる画像に、通信信号検出部４２からの通信情報を合成して表示用画像を生成し、これを表示部１１へ送る。

この第２の実施の形態にかかる車両用光通信装置によれば、処理優先度の大小に応じて通信信号の受信の可否を判断するようにしたので、自車両の周囲状況がリアルタイムで変化する状況下でも、ユーザの所望する通信情報を確実かつ迅速に取得することができる。さらに、処理優先度が低い場合には通信用光源からの光通信信号の処理を省略したので、データ処理量を抑制することができる。

上記実施形態では、フレーム間差分により通信用光源の対応関係を検出しているが、これ以外の手法を用いることもできる。例えば、検出された通信用光源の重心座標を中心とする一定範囲の画像に対して、パターンマッチング等の手法を用いることにより、対応する通信用光源を検出しても良い。

上記実施形態では、優先度の大小に応じて通信情報の表示・非表示を定めているが、これ以外の表示態様も可能である。例えば、優先度が高い通信用光源からの通信情報を大きな文字で表示し、あるいは装飾文字として表示しても良い。これにより、ユーザは優先度が高い通信情報を容易に識別することができる。

上記実施形態では、撮像部１２において得られた全体画像に対して処理領域を設定しているが、予め処理領域を設定しておき、撮像部１２では処理領域に対応する画素のみを部分的に駆動させても良い。これにより、処理すべき画素データの量が減少するから、撮像部１２のフレームレートを向上させることができる。

上記実施形態では、交通情報を車両内の表示装置に表示出力しているが、モニタ以外の外部情報機器、例えば車両に設置された無線送信機器を介して、後方を走行する車両に送信することもできる。あるいは、得られたメッセージに符合化処理を施すとともに、テールランプ等の可視光源からの光に重畳させ、後方の車両に交通情報を送信することもできる。

また、上記実施形態では、交通情報を車両に設置された表示部１１に表示出力しているが、車両内に備えられたスピーカを介して交通情報を音声出力しても良い。

以上に本発明の好適な実施の形態を説明した。しかし、本発明は上述の実施の形態に限定されず、当業者が本発明の範囲内で上述の実施の形態を変形可能なことはもちろんである。

以上のように、本発明にかかる可視光通信装置は、複数の通信用可視光源が含まれる場合にも所望の通信情報を迅速に検出できるという効果を有し、例えば可視光通信用の車載カメラ装置等として有用である。

本発明の第１の実施形態における車両用光通信装置のブロック図 撮像画像の一例を示す説明図 通信用光源の処理領域を示す説明図 自車両の移動により、通信用光源の位置及び面積が変化した様子を示す説明図 車両用光通信装置の動作を示すフローチャート 撮像画像に通信情報が重畳された画面を示す説明図 本発明の第２の実施形態における車両用光通信装置のブロック図

１０，４０ 車両用光通信装置
１２ 撮像部
１３ 領域指定部
１４ 通信用光源検出部
１５ 変動量算出部
１６ 優先度判定部
１９，４２ 通信信号検出部
２０，４３ 表示制御部
２４，２５，２６，２７、２８ 通信用光源

Claims (8)

1. 移動体に搭載される光通信装置であって、
   前記移動体の周囲を撮像して撮像画像を生成する撮像部と、
   前記撮像画像から可視光域の光通信信号を発する通信用光源を検出するとともに、前記通信用光源の特徴情報を算出する通信用光源検出部と、
   複数の前記撮像画像に基づき、前記通信用光源の特徴情報の変動量を算出する変動量算出部と、
   前記通信用光源が複数検出された場合には、前記通信用光源の前記特徴情報の変動量に基づき前記通信用光源の処理優先度を設定する優先度設定部と、
   前記処理優先度に基づいて、前記通信用光源からの前記光通信信号の処理を行う通信信号処理部とを備えた可視光通信装置。
2. 前記通信用光源検出部は、前記通信用光源のタイプに基づき設定された前記撮像画像の処理領域において、前記通信用光源の検出を行う請求項１記載の可視光通信装置。
3. 前記変動量算出部は、複数の前記撮像画像における前記通信用光源の対応関係を算出する請求項１または請求項２記載の可視光通信装置。
4. 前記通信信号処理部は、前記通信用光源からの光通信信号を検出して通信情報を生成する通信信号検出部と、前記処理優先度に基づいて前記通信情報の表示制御を行う表示制御部を備えた請求項１ないし請求項３のいずれかに記載の可視光通信装置。
5. 前記通信信号処理部は、前記処理優先度に基づいて前記光通信信号を検出すべき前記通信用光源を設定し、設定された前記通信用光源からの前記光通信信号を検出して通信情報を生成する請求項１ないし請求項３のいずれかに記載の可視光通信装置。
6. 前記通信信号処理部は、前記通信用光源の前記特徴情報に基づいて、前記光通信信号を検出する領域を設定する請求項１ないし請求項５のいずれかに記載の可視光通信装置。
7. 前記特徴情報は、前記撮像画像における前記通信用光源の位置情報と面積情報の少なくとも１つである請求項１ないし請求項６のいずれかに記載の可視光通信装置。
8. 移動体において光通信信号を受信する方法であって、
   前記移動体の周囲を撮像して得られた撮像画像から、可視光域の光通信信号を発する通信用光源および前記通信用光源の特徴情報を算出し、
   複数の前記撮像画像に基づき前記通信用光源の前記特徴情報の変動量を算出し、
   前記通信用光源が複数検出された場合には、前記通信用光源の前記特徴情報の変動量に基づき前記通信用光源の処理優先度を設定し、
   前記処理優先度に基づいて、前記通信用光源からの前記光通信信号の処理を行う可視光通信方法。