JP2019182256A - 配光制御装置、投光システム及び配光制御方法 - Google Patents

Abstract

【課題】可視光画像の中に部分的に可視光が当たっていない暗領域がある場合であっても、可視光の配光制御が正しく行われているか否かを判断できる配光制御装置、投光システム及び配光制御方法を提供する。【解決手段】配光制御装置６０は、可視光と近赤外光の双方に感応する撮像装置２０により特定の被写体を含む撮像領域を撮像して得られた画像のうち、少なくとも可視光を含む画像に基づいて暗部の位置を求めるとともに、少なくとも近赤外光を含む画像に基づいて近赤外光を含む画像の中に含まれる特定の被写体の位置を求め、暗部の位置と特定の被写体の位置との対応関係に基づいて、特定の被写体における暗部の位置を識別する識別部６１と、識別部６１の識別結果に基づいて、特定の被写体における暗部の位置が適切か否かを判断する判断部６２とを有する。【選択図】図１

Description

本発明は、配光制御装置、投光システム及び配光制御方法に関する。

従来、夜間等の暗所において、近赤外光を人に照射して、人の位置を認識する技術がある（例えば特許文献１参照）。近赤外光の反射光は近赤外光カメラで受光され、その受光結果を基に、人の位置が認識される。その認識結果を基に、人に眩しくないように可視光の配光制御が行われる。

特開２０１７−３９４７８号公報

しかしながら、可視光が正しく配光制御されているかを判定するには、可視光カメラで得られた可視光画像に基づいて判定する必要がある。可視光画像に基づいて、人全体で人を認識する技術によれば、人を認識することができないことがある。なぜなら、可視光画像の中の人に部分的に可視光が当たっていない暗領域がある場合、人としての認識をできないからである。そうすると、可視光画像を基にしか配光制御の状態を検出できないにも拘わらず、可視光画像の中の人を認識できず、人の位置も認識できないことが起こり得る。このため、可視光の配光制御が正しく行われているか否かを判断できないという問題があった。

本発明は、上記課題に鑑みてなされたもので、可視光画像の中に部分的に可視光が当たっていない暗領域がある場合であっても、可視光の配光制御が正しく行われているか否かを判断できる配光制御装置、投光システム及び配光制御方法を提供することを目的とする。

本発明に係る配光制御装置は、可視光と近赤外光の双方に感応する撮像装置により特定の被写体を含む撮像領域を撮像して得られた画像のうち、少なくとも前記可視光を含む画像に基づいて暗部の位置を求めるとともに、少なくとも前記近赤外光を含む画像に基づいて前記近赤外光を含む画像の中に含まれる特定の被写体の位置を求め、前記暗部の位置と前記特定の被写体の位置との対応関係に基づいて、前記特定の被写体における前記暗部の位置を識別する識別部と、前記識別部の識別結果に基づいて、前記特定の被写体における前記暗部の位置が適切か否かを判断する判断部とを有することを特徴とする。

本発明に係る投光システムは、本発明に係る配光制御装置と、前記撮像装置と、前記撮像領域に含まれる一部領域が前記暗部となるように前記一部領域を前記可視光の非照射範囲とし、それ以外の領域に前記可視光を照射する可視光投光器と、前記撮像領域に前記近赤外光を照射する近赤外光投光器とを有することを特徴とする投光システム。

本発明に係る配光制御方法は、可視光と近赤外光の双方に感応する撮像装置により特定の被写体を含む撮像領域を撮像して得られた画像のうち、少なくとも前記可視光を含む画像に基づいて暗部の位置を求めるとともに、少なくとも前記近赤外光を含む画像に基づいて前記近赤外光を含む画像の中に含まれる特定の被写体の位置を求め、前記暗部の位置と前記特定の被写体の位置との対応関係に基づいて、前記特定の被写体における前記暗部の位置を識別する識別ステップと、前記識別ステップの識別結果に基づいて、前記特定の被写体における前記暗部の位置が適切か否かを判断する判断ステップとを有する。

この発明によれば、可視光画像の中に部分的に可視光が当たっていない暗領域がある場合であっても、可視光の配光制御が正しく行われているか否かを判断できる。

配光制御装置を適用した投光システムを構成するハードウェア要素を示すハードウェアブロック図である。 歩行者を特定の被写体として含む撮像領域の一例を示す説明図である。 配光制御装置で行われる一連の処理の流れを示すフローチャートである。 前方カメラにより特定の被写体を含む撮像領域を撮像して得られた画像のうち、少なくとも可視光を含む画像の一例である。 前方カメラにより特定の被写体を含む撮像領域を撮像して得られた画像のうち、少なくとも近赤外光を含む画像の一例である。 前方カメラにより特定の被写体を含む撮像領域を撮像して得られた画像のうち、少なくとも可視光を含む画像を部分的に拡大して示す説明図である。 配光制御装置で行われる配光制御処理において可視光が遮光されている部位の変形例１を示す説明図である。 配光制御装置で行われる配光制御処理において可視光が遮光されている部位の変形例２を示す説明図である。 配光制御装置で行われる配光制御処理において可視光が遮光されている部位の変形例３を示す説明図である。

以下、本発明に係る配光制御装置、投光システム及び配光制御方法の具体的な実施形態について、図面を参照して説明する。

（配光制御装置を適用した投光システムの構成の説明）
図１は、配光制御装置６０を適用した投光システム１０を構成するハードウェア要素を示すハードウェアブロック図である。まず、配光制御装置を適用した投光システムの構成について図１を用いて説明する。

投光システム１０は、図１に示す車両１に実装される。投光システム１０が搭載される車両１を以下では「自車両」と称する。

投光システム１０は、前方カメラ２０（撮像装置）と、ロービームユニット３０（可視光投光器）と、ハイビームユニット４０（可視光投光器）と、近赤外光投光器５０と、配光制御装置６０と、表示部７０とを有する。

前方カメラ２０は、自車両の前方に向けて自車両の前部に取り付けられる。前方カメラ２０は、近赤外光と可視光の双方に感応する。前方カメラ２０は、被写体を観測する光学系２１と、撮像素子２２と、信号処理部２３等を有する。

光学系２１は、レンズやミラー等の光学素子から構成されて、被写体から出射した光又は被写体で反射した光を撮像素子２２に導く。

撮像素子２２は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（Charge Coupled Device）イメージセンサ等の光電変換素子が用いられる。撮像素子２２は、光学系２１を通して観測された被写体の像が結像して、入力した光をその輝度に応じた電圧信号に光電変換する。その光電変換された電圧信号は撮像素子２２の内部に備えられた不図示のアンプやＡＤ（Analog-to-Digital）コンバータ等を通してデジタル化される。

撮像素子２２は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）と、Ｃ（透明）の光の強度を示す画素が撮像面に配置される。画素の上には、透過する波長帯域が異なる４種類のフィルタ（赤色フィルタＲ、緑色フィルタＧ、青色フィルタＢ、透明フィルタＣ）が配列される。赤色フィルタＲは赤色波長帯の光を透過する。緑色フィルタＧは緑色波長帯の光を透過する。青色フィルタＢは青色波長帯の光を透過する。透明フィルタＣは近赤外光を含む全光を透過する。

信号処理部２３は、電圧信号の輝度レベル等を検波する。信号処理部２３では、その検波した情報に基づいて、電圧信号に対し公知のＧａｉｎ処理及びガンマ処理の他、各種カメラ信号処理が実施される。各種カメラ信号処理としては、例えば、ホワイトバランス処理、ＲＧＢベイヤ配列フィルタに対応した補間処理、色信号処理等が含まれる。

ロービームユニット３０は、例えば、ハロゲンランプ、ＨＩＤ（High Intensity Discharge）ランプ、ＬＥＤ（Light Emitting Diode）ランプ等により形成され、例えば歩行者等の特定の被写体を含む撮像領域Ａ１（図２）に可視光を照射する。ロービームユニット３０は、オン／オフの切り替えが可能であり、オン時に可視光を照射する。

ハイビームユニット４０は、例えば、複数のＬＥＤを備えたものを適用可能であり、ロービームユニット３０よりも上向きの光軸で撮像領域Ａ２（図２）に可視光を照射する。ハイビームユニット４０は、撮像領域Ａ２（図２）に含まれる一部領域が暗部Ｄとなるように当該一部領域を可視光の非照射範囲とし、それ以外の領域に可視光を照射する。暗部Ｄとは、例えば、Ｒ（赤）、Ｇ（緑）、Ｂ（青）で表現される可視光の強度を示す画素の階調値が所定の閾値以下となる部位をいう。一部領域とは、例えば撮像領域Ａ２（図２）に映り込んだ被写体が歩行者等の人の場合、人の目や顔の領域である。このようにして、ハイビームユニット４０は、撮像領域Ａ２（図２）に対して部分的に可視光の照射や非照射を切り替える。

近赤外光投光器５０は、例えば、ハロゲンランプ、ＬＥＤ、半導体レーザ等で形成され、ロービームユニット３０よりも上向きの光軸で撮像領域Ａ２（図２）に近赤外光を照射する。近赤外光投光器５０は、オン／オフの切り替えが可能であり、オン時に近赤外光を照射する。

配光制御装置６０の内部には、例えば、周辺デバイスを含めたマイクロプロセッサ及びプログラム、必要な処理を実行するＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、画像処理や信号処理を行う専用ＡＳＩＣ（Application Specific Integrated Circuit）等のモジュールが実装されている。

配光制御装置６０には、表示部７０及びシステム制御部８０が接続される。配光制御装置６０には、システム制御部８０を介して、前方カメラ２０、ロービームユニット３０、ハイビームユニット４０及び近赤外光投光器５０が接続される。配光制御装置６０は、システム制御部８０を介して、ロービームユニット３０、ハイビームユニット４０及び近赤外光投光器５０の点灯状態を制御する。

配光制御装置６０は、図１に示すように、識別部６１、判断部６２、設定部６３及び記憶部６４を有する。識別部６１、判断部６２、設定部６３及び記憶部６４の詳細は後述する。

表示部７０は、例えば矩形状のフラットパネルディスプレイ（液晶、有機ＥＬ、プラズマ等）であり、自車両の運転手が視認できる位置に配置される。

システム制御部８０は、信号処理部２３における検波情報を基に、前方カメラ２０に対してシャッタ速度や絞り値等の露出制御を行う。

図２は、歩行者を特定の被写体として含む撮像領域の一例を示す説明図である。図２では、撮像領域Ａ１と撮像領域Ａ２を区別するために、撮像領域Ａ２を斜線で示している。

図２中に示す破線は、撮像領域Ａ１と撮像領域Ａ２とを仕切る境界線ＢＬを示している。撮像領域Ａ１は、境界線ＢＬよりも下側に配置される。撮像領域Ａ１は、ロービームユニット３０の出射口（不図示）と一対一に対応している。

撮像領域Ａ２は、境界線ＢＬよりも上側に配置される。撮像領域Ａ２は、ハイビームユニット４０の出射口（不図示）と一対一に対応している。同様に、撮像領域Ａ２は、近赤外光投光器５０の出射口（不図示）とも一対一に対応している。これにより、撮像領域Ａ２には、近赤外光と可視光の双方が照射される。

（配光制御装置６０で行われる一連の処理の流れ）
次に、配光制御装置６０で行われる一連の処理の流れを、図３に示すフローチャートと、図１、図２、図４、図５に示す説明図とを用いて説明する。

図４は、前方カメラ２０により特定の被写体を含む撮像領域Ａ２を撮像して得られた画像のうち、少なくとも可視光を含む画像ＩＶの一例である。図４中に示す破線は、撮像領域Ａ１と撮像領域Ａ２とを仕切る境界線ＢＬを示している。

図５は、前方カメラ２０により特定の被写体を含む撮像領域Ａ２を撮像して得られた画像のうち、少なくとも近赤外光を含む画像ＩＮの一例である。図５中に示す破線は、撮像領域Ａ１と撮像領域Ａ２とを仕切る境界線ＢＬを示している。

配光制御装置６０で行われる一連の処理は、撮像領域Ａ２に可視光及び近赤外光の双方が照射されている期間に限って行われる。

撮像素子２２（図１）は、撮像領域Ａ２に照射された近赤外光の反射光を受光し電圧信号に光電変換する。信号処理部２３（図１）は、例えば、画素毎に、色の全部を検知する電圧信号Ｃから、Ｒ、Ｇ、Ｂの成分の電圧信号を引き算して、近赤外光の成分を得る。このようにして得られたＲ、Ｇ、Ｂの各成分及び近赤外光の成分は信号処理部２３から識別部６１に出力される。

（ステップＳ１）
ここでは、前提として、ハイビームユニット４０は、撮像領域Ａ２（図２）に含まれる一部領域が暗部Ｄとなるように当該一部領域を可視光の非照射範囲とする。この例では、撮像領域Ａ２（図２）のうち、歩行者である人が存在するべき領域の任意の位置に暗部Ｄがある。

識別部６１は、前方カメラ２０により特定の被写体を含む撮像領域を撮像して得られた画像のうち、少なくとも可視光を含む画像ＩＶ（図４）に基づいて暗部Ｄ（図４）の位置を求める。

図４に示す例では、暗部Ｄは真っ黒になっている。このため、画像ＩＶ（図４）には、歩行者の手足は映り込んでいるものの、人の体の多くの部分が映り込んでいない。それゆえ、識別部６１は、少なくとも可視光を含む画像ＩＶ（図４）を基にしか配光制御の状態を検出できないにも拘わらず、画像ＩＶ（図４）の中の人を認識できず、人の位置も認識できないことが起こり得る。

（ステップＳ２）
次に、識別部６１は、少なくとも近赤外光を含む画像ＩＮ（図５）に基づいて近赤外光を含む画像ＩＮ（図５）の中に含まれる特定の被写体の位置を求める。具体的に、画像ＩＮ（図５）は人の全体が見えるので、人の位置は容易に識別可能である。

（ステップＳ３）
次に、識別部６１は、暗部Ｄの位置と特定の被写体の位置との対応関係に基づいて、特定の被写体における暗部の位置を識別する。対応関係とは、例えば、可視光を含む映像と、近赤外光を含む画像が同一カメラで得られているので座標での対応関係をいう。その対応関係に基づいて、識別部６１は、歩行者の目の位置を識別する。

（ステップＳ４）
次に、判断部６２は、識別部６１の識別結果に基づいて、特定の被写体における暗部Ｄ（図４）の位置が適切か否かを判断する。具体的に、判断部６２は、歩行者である人の目が存在するべき位置に暗部Ｄ（図４）が存在しているか否かを判断する。

特定の被写体における暗部Ｄ（図４）の位置が適切な場合、すなわち、人の目が存在するべき位置に暗部Ｄ（図４）が存在していると判断された場合（ステップＳ４におけるＹＥＳ）、配光制御装置６０で行われる一連の処理が終了する。

一方、特定の被写体における暗部Ｄ（図４）の位置が不適切な場合、すなわち、例えば図６に示すように暗部Ｄが人の目ではなく腹の位置に存在する場合（ステップＳ４におけるＮＯ）、処理はステップＳ５に移行する。

（ステップＳ５）
設定部６３は、可視光の照射範囲が適切になるような照射範囲に対応した制御信号を生成してハイビームユニット４０に出力する。この制御信号は、特定の被写体における暗部Ｄの位置を変化させて適切な位置に配光制御するための信号である。ハイビームユニット４０は、判断部６２の判断結果（ステップＳ４におけるＮＯ）に基づいて、撮像領域Ａ２に含まれる一部領域（例えば図６に示す腹以外の領域）が暗部Ｄとなるように腹以外の領域を可視光の非照射範囲とし、それ以外の領域に可視光を照射する。

この後、処理はステップＳ１に戻り、配光制御装置６０で行われる一連の処理が再び実行される。処理の結果、特定の被写体における暗部Ｄの位置が適切なものとなった場合、すなわち、人の目が存在するべき位置に暗部Ｄ（図４）が存在するものとなった場合、その状態が維持される。

ここで、配光制御装置６０で行われる一連の処理は、所定の間隔をおいて周期的に実施される。本実施形態では、ハイビームユニット４０による配光制御が行われている期間に限って、一連の処理が実施される。したがって、例えばロービームユニット３０による配光制御が継続中でも、ハイビームユニット４０による配光制御が終了した時点で一連の処理は終了する。

本実施形態では、暗部Ｄの位置と特定の被写体の位置との対応関係に基づいて、特定の被写体における暗部Ｄの位置が識別され特定される。したがって、少なくとも可視光を含む画像ＩＶ（図４）の中に部分的に可視光が当たっていない暗部Ｄがある場合であっても、可視光の配光制御が正しく行われているか否かを判断できる。

本実施形態では、可視光が照射される撮像領域Ａ２と近赤外光が照射される撮像領域Ａ２とは全く同じである。したがって、画像ＩＶ（図４）の中に含まれる暗部Ｄの位置は、画像ＩＮ（図５）の中に含まれる暗部Ｄの位置と一致する。そのため、識別部６１は、画像ＩＶ（図４）から人の目の部分が消えてしまったとしても、画像ＩＮ（図５）に含まれる暗部Ｄの位置を求めることによって、画像ＩＶ（図４）に含まれる人の目の位置を特定することができる。

表示部７０は、少なくとも可視光を含む画像ＩＶ（図４）を運転手の注意喚起用の画像として表示可能である。この表示により、運転手は、画像ＩＶ（図４）を通じて、歩行者のどの部分に可視光が照射されているか又はどの部分に可視光が照射されていないかを確認することができる。例えば、運転手は、画像ＩＶ（図４）を通じて、歩行者の目に可視光が照射されていないことを確認することができる。

上記実施形態では、近赤外光と可視光の双方に感応する単一の前方カメラ２０で撮像した１枚の画像に基づいて可視光及び近赤外光の配光制御が行われる。その配光制御の基で可視光及び近赤外光を照射して得られた画像は、視差の無い前方カメラ２０で撮像される。その撮像された画像に基づいて、特定の被写体における暗部Ｄの位置が適切か否かの判断処理が行われる。このような判断処理は、位置合わせを伴わない１枚の画像で行うからこそ簡便かつ迅速に行われる。

以上、本発明の実施形態を図面により詳述したが、実施形態は本発明の例示にしか過ぎないものであるため、本発明は実施形態の構成にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。

上記実施形態では、画素の上には、透過する波長帯域が異なる４種類のフィルタ（赤色フィルタＲ、緑色フィルタＧ、青色フィルタＢ、透明フィルタＣ）が配列される例を示した。しかし、フィルタの配列は特に限定されず、４種類のフィルタがどのように配置されてもよい。

上記実施形態では、識別部６１は歩行者の目の位置を識別する例を示した。しかし、これに限られない。例えば、識別部６１は自車両の対向車の運転手の頭の位置を識別してもよい（図７）。

また例えば、識別部６１は、自車両の対向車の運転席に座った運転手の頭の位置と助手席に座った同乗者の頭の位置を識別してもよく（図８）、オートバイの運転手の頭の位置を識別してもよい（図９）。
い。

上記実施形態では、ハイビームユニット４０は、複数のＬＥＤを備えたものを適用する例を示した。しかし、これに限られない。例えば、単一の光源から自車両の前方を照らす光を遮断する複数のシャッタ等を設けて、撮像領域Ａ２（図２）への可視光の照射や非照射を切り替え可能に構成してもよい。

１０・・・投光システム
２０・・・前方カメラ（撮像装置）
３０・・・ロービームユニット（可視光投光器）
４０・・・ハイビームユニット（可視光投光器）
５０・・・近赤外光投光器
６０・・・配光制御装置
６１・・・識別部
６２・・・判断部
６３・・・設定部
７０・・・表示部
Ａ１、Ａ２・・・撮像領域
Ｄ・・・暗部
ＩＮ、ＩＶ・・・画像

Claims (8)

1. 可視光と近赤外光の双方に感応する撮像装置により特定の被写体を含む撮像領域を撮像して得られた画像のうち、少なくとも前記可視光を含む画像に基づいて暗部の位置を求めるとともに、少なくとも前記近赤外光を含む画像に基づいて前記近赤外光を含む画像の中に含まれる前記特定の被写体の位置を求め、前記暗部の位置と前記特定の被写体の位置との対応関係に基づいて、前記特定の被写体における前記暗部の位置を識別する識別部と、
   前記識別部の識別結果に基づいて、前記特定の被写体における前記暗部の位置が適切か否かを判断する判断部と
   を有することを特徴とする配光制御装置。
2. 請求項１に記載の配光制御装置において、
   前記判断部の判断結果に基づいて、前記可視光の照射範囲が適切になるような照射範囲に対応した制御信号を生成して出力する設定部を備えることを特徴とする配光制御装置。
3. 請求項１又は請求項２に記載の配光制御装置において、
   前記判断部は、
   前記撮像領域に前記可視光及び前記近赤外光の双方が照射されている期間に限って、前記識別部の識別結果に基づいて、前記特定の被写体における前記暗部の位置が前記適切か否かを判断することを特徴とする配光制御装置。
4. 請求項１乃至請求項３の何れか一項に記載の配光制御装置と、
   前記撮像装置と、
   前記判断部の判断結果に基づいて、前記撮像領域に含まれる一部領域が前記暗部となるように前記一部領域を前記可視光の非照射範囲とし、それ以外の領域に前記可視光を照射する可視光投光器と、
   前記撮像領域に前記近赤外光を照射する近赤外光投光器と
   を有することを特徴とする投光システム。
5. 請求項４に記載の投光システムにおいて、
   前記画像を表示する表示部を有することを特徴とする投光システム。
6. 可視光と近赤外光の双方に感応する撮像装置により特定の被写体を含む撮像領域を撮像して得られた画像のうち、少なくとも前記可視光を含む画像に基づいて暗部の位置を求めるとともに、少なくとも前記近赤外光を含む画像に基づいて前記近赤外光を含む画像の中に含まれる前記特定の被写体の位置を求め、前記暗部の位置と前記特定の被写体の位置との対応関係に基づいて、前記特定の被写体における前記暗部の位置を識別する識別ステップと、
   前記識別ステップの識別結果に基づいて、前記特定の被写体における前記暗部の位置が適切か否かを判断する判断ステップと
   を有することを特徴とする配光制御方法。
7. 請求項６に記載の配光制御方法において、
   前記判断ステップの判断結果に基づいて、前記可視光の照射範囲に対応した制御信号を生成して出力する照射範囲設定ステップを備えることを特徴とする配光制御方法。
8. 請求項６又は請求項７に記載の配光制御方法において、
   前記判断ステップでは、
   前記撮像領域に前記可視光及び前記近赤外光の双方が照射されている期間に限って、前記識別ステップの識別結果に基づいて、前記特定の被写体における前記暗部の位置が前記適切か否かを判断することを特徴とする配光制御方法。