JP2020093600A - 反射光検出装置、反射光検出方法およびプログラム - Google Patents

Abstract

【課題】自車両の照灯の反射光を適切に検出する。【解決手段】反射光検出装置１０は、自車両の照灯により照らされる車外を可視光で撮像した可視光画像と、可視光画像の撮像範囲からの赤外線を撮像した赤外線画像と、可視光画像の撮像範囲に含まれる対象物までの距離情報とを取得する取得部１２と、可視光画像における輝度が第１基準値以上であり、赤外線画像における輝度が第２基準値以下であり、距離が第３基準値以下である条件を満たす可視光画像の撮像範囲に含まれる特定領域を特定する特定部１４と、特定部１４により特定領域が特定される場合に所定の信号を出力する出力部１８と、を備える。【選択図】図２

Description

本発明は、反射光検出装置、反射光検出方法およびプログラムに関する。

自車両の前方に位置する対向車を検出し、対向車に向けてハイビームが照らされないように車両の前照灯の配光を自動的に制御する技術が知られている。また、人や動物等の熱源を赤外線カメラで検知し、人や動物等にもハイビームが照らされないように前照灯の配光を制御する技術が提案されている（例えば、特許文献１参照）。

特開２０１３−８６７３９号公報

本発明者は、自車両の照灯の反射光によって自車両の運転者が感じる眩しさに着目し、自車両の運転者が感じる眩しさを軽減できればより好ましいと考えた。

本発明は、上述の事情に鑑みてなされたものであり、自車両の照灯の反射光を適切に検出する技術を提供することを目的とする。

本発明のある態様の反射光検出装置は、自車両の照灯により照らされる車外を可視光で撮像した可視光画像と、可視光画像の撮像範囲からの赤外線を撮像した赤外線画像と、可視光画像の撮像範囲に含まれる対象物までの距離を測定した距離情報とを取得する取得部と、可視光画像における輝度が第１基準値以上であり、赤外線画像における輝度が第２基準値以下であり、距離が第３基準値以下である条件を満たす可視光画像の撮像範囲に含まれる特定領域を特定する特定部と、特定部により特定領域が特定される場合に所定の信号を出力する出力部と、を備える。

本発明の別の態様は、反射光検出方法である。この方法は、自車両の照灯により照らされる車外を可視光で撮像した可視光画像と、可視光画像の撮像範囲からの赤外線を撮像した赤外線画像と、可視光画像の撮像範囲に含まれる対象物までの距離を測定した距離情報とを取得するステップと、可視光画像における輝度が第１基準値以上であり、赤外線画像における輝度が第２基準値以下であり、距離が第３基準値以下である条件を満たす可視光画像の撮像範囲に含まれる特定領域を特定するステップと、特定領域が特定される場合に所定の信号を出力するステップと、を備える。

なお、以上の構成要素の任意の組合せや本発明の構成要素や表現を、方法、装置、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。

本発明によれば、自車両の照灯の反射光を適切に検出できる。

自車両の前照灯の照明光が前方の物体により反射される様子を模式的に示す図である。 実施の形態に係る反射光検出装置の機能構成を模式的に示すブロック図である。 可視光画像を模式的に示す図である。 赤外線画像を模式的に示す図である。 特定領域の特定方法を模式的に示す図である。 実施の形態に係る反射光検出方法を示すフローチャートである。

以下、本発明の実施の形態について、図面を参照しつつ説明する。かかる実施の形態に示す具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

図１は、自車両５０の前照灯３２の照明光５２が前方の物体により反射される様子を模式的に示す図である。図１では、信号待ちなどのために停車している前方車両６０に接近して自車両５０が停車している状態を示している。前照灯３２からの照明光５２は、主に前方車両６０の後部に入射し、そのうちの特定箇所６２（反射箇所ともいう）にて強く反射されている。特定箇所６２からの反射光５４が運転者５６の目に向かうと、運転者５６は眩しさを感じる。このような状況下において、前照灯３２を一時的に消灯したり、前照灯３２の光量を一時的に低減したり、照明光５２が反射箇所６２に入射しないように前照灯３２の配光パターンを変更したりすれば、運転者５６が感じる眩しさを軽減できると考えられる。

本実施の形態では、自車両５０の照灯の反射光５４が眩しい状況を適切に検知することで、運転者５６が感じる眩しさを低減しうる技術を提供する。具体的には、自車両５０に設けられる可視光カメラ２２および赤外線カメラ２４が撮像する画像と、自車両５０に設けられる距離センサ２６が測定する距離情報とに基づいて、反射光５４が眩しい状況を検知する。

図２は、反射光検出装置１０の機能構成を模式的に示すブロック図である。図示する各機能ブロックは、ハードウェア的には、コンピュータのＣＰＵやメモリをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックとして描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組み合わせによっていろいろなかたちで実現できることは、当業者には理解されるところである。

反射光検出装置１０は、車載ネットワーク４０を介して自車両５０に搭載される各種機器と接続される。車載ネットワーク４０には、可視光カメラ２２、赤外線カメラ２４、距離センサ２６、車載センサ２８、照灯制御装置３０などが接続される。車載ネットワーク４０は、例えばＣＡＮ（Controller Area Network）やイーサネット（登録商標）により構成される。反射光検出装置１０の機能構成を詳述する前に周辺機器について説明する。

可視光カメラ２２は、自車両５０の周辺を撮像するよう構成され、例えば、前照灯３２の照明光５２により照らされる車外を可視光で撮像する。可視光カメラ２２の設置位置は問わないが、例えば車内のリアビューミラーの近傍に可視光カメラ２２を取り付けることができる。可視光カメラ２２は、いわゆるドライブレコーダ用のカメラであってもよい。可視光カメラ２２は、車両の室外のみを撮像するように構成されてもよいし、車両の室外および室内の双方を撮像するように構成されてもよい。

赤外線カメラ２４は、自車両５０の周辺からの赤外線を撮像するよう構成され、可視光カメラ２２の撮像範囲の少なくとも一部からの赤外線を撮像するよう配置される。赤外線カメラ２４は、いわゆる赤外線サーモグラフィであり、自車両５０の周辺の温度分布を画像化し、自車両５０の周辺に存在する熱源を特定できるようにする。赤外線カメラ２４は、波長２μｍ〜５μｍ程度の中赤外線を検出するよう構成されてもよいし、波長８μｍ〜１４μｍ程度の遠赤外線を検出するよう構成されてもよい。赤外線カメラ２４の設置位置は問わないが、例えば自車両５０のフロントバンパー付近に取り付けることができる。赤外線カメラ２４は、熱源からの赤外線を精度良く検出できるように車外に設けられることが望ましい。

距離センサ２６は、自車両５０の周辺に存在する対象物までの距離を測定する。距離センサ２６の一例としては、超音波センサやレーダセンサであり、可視光カメラ２２の撮像範囲に含まれる対象物までの距離を測定するよう構成される。距離センサ２６の別の例は、ライダ（ＬｉＤＡＲ；Light Detection and Ranging）であり、可視光カメラ２２の撮像範囲の少なくとも一部の距離画像を取得するよう構成される。距離センサ２６の設置位置は問わないが、例えば自車両５０のフロントバンパー付近や車内のリアビューミラーの近傍に取り付けることができる。距離センサ２６は、可視光カメラ２２に近傍に設けられてもよく、可視光カメラ２２と一体化されたセンサモジュールを構成してもよい。

車載センサ２８は、車両に関する情報や車両の周辺状況に関する情報を取得するための機器である。車載センサ２８には、外気温センサ、車速センサ、舵角センサ、加速度センサ、ジャイロセンサ、位置情報センサ（ＧＰＳセンサ）などが挙げられるが、これらに限定されるものではない。

照灯制御装置３０は、自車両５０の前照灯３２の動作を制御する。照灯制御装置３０は、例えば、前照灯３２のオンオフや、前照灯３２の上向き点灯（ハイビーム）および下向き点灯（ロービーム）の切替などをする。照灯制御装置３０は、前照灯３２の照射範囲、照射照度および照射方向の少なくとも一つを制御できるように構成されてもよい。照灯制御装置３０は、例えば、前照灯３２が照射可能な照射範囲の一部のみに照明光５２が照らされるようにしたり、照明光５２の照射方向を上下左右に移動させたり、照明光５２の照度を段階的に変化させたりしてもよい。

つづいて、反射光検出装置１０の機能構成を詳述する。反射光検出装置１０は、取得部１２、特定部１４、抽出部１６、出力部１８を備える。

取得部１２は、自車両５０の周辺状況に関する情報を取得する。取得部１２は、可視光カメラ２２により撮像された可視光画像と、赤外線カメラ２４により撮像された赤外線画像と、距離センサ２６により測定された距離情報とを取得する。

図３は、可視光画像を模式的に示す図であり、図１に示す状況下で自車両５０の前方を撮像した可視光画像を示す。図示されるように、可視光画像には前方車両６０の後部や信号機７０が含まれるとともに、運転者５６が眩しさを感じる反射箇所６２やブレーキランプ６４Ｌ，６４Ｒが含まれている。可視光画像では、ランプが点灯しているブレーキランプ６４Ｌ，６４Ｒや信号機７０、自車両５０の前照灯３２の照明光５２が強く反射している反射箇所６２などが明るく写し出される。

図４は、赤外線画像を模式的に示す図であり、図１に示す状況下で自車両５０の前方を撮像した赤外線画像を示す。赤外線画像では、主に熱源となる温度の高い部分が明るく画像化されるが、熱の検知感度は距離の二乗に反比例する。そのため、熱源であっても自車両５０からの距離が大きい場合には赤外線画像において暗く画像化される。ランプが点灯しているブレーキランプ６４Ｌ，６４Ｒや、排気ガスが排出される前方車両６０のマフラー６６などは自車両５０からの距離が近いために明るく写し出される。一方、信号機７０は、自車両５０からの距離が遠いため、暗く写し出される。

特定部１４は、取得部１２が取得する画像や距離情報に基づいて、運転者５６が眩しさを感じていると推定される「特定領域」を特定する。特定部１４は、可視光画像の輝度が第１基準値以上であり、赤外線画像の輝度が第２基準値以下であり、距離が第３基準値以下である条件を満たす領域を「特定領域」として特定する。言いかえれば、ランプなどの発光源（熱源）ではないものの、可視光の強度が高く、自車両５０の近傍（例えば５ｍ以内）にある対象物が位置する箇所を「特定領域」として特定する。

特定部１４は、可視光カメラ２２、赤外線カメラ２４および距離センサ２６の少なくとも一つの撮像範囲（測定範囲）または画角が異なる場合、実空間における撮像対象（測定対象）が一致するように補正処理を施してもよい。例えば、図１に示す例では、可視光カメラ２２および距離センサ２６が自車両５０の天井付近に設置される一方、赤外線カメラ２４が自車両５０の底部付近に設置されている。そこで、可視光カメラ２２および赤外線カメラ２４の撮像する画像の撮像範囲や画角が互いに一致するように、可視光画像および赤外線画像の少なくとも一方に対して補正処理を施してもよい。

図５は、特定領域の特定方法を模式的に示す図であり、図３および図４の画像に含まれる反射箇所６２（装飾部品やバンパー、ボディパネルなど）、ブレーキランプ６４Ｌ，６４Ｒ、マフラー６６および信号機７０の判定結果を示す。反射箇所６２は、可視光画像において高輝度であり、赤外線画像において低輝度であり、かつ、自車両５０からの距離が近い（２ｍ〜３ｍ程度）ため、上述の条件を全て満たしている。そのため、反射箇所６２が存在する領域は「特定領域」として特定される。

一方、ブレーキランプ６４Ｌ，６４Ｒは、可視光画像において輝度が高く、赤外線画像において輝度が高いため、発光源が存在する領域として判定される。マフラー６６は、可視光画像において輝度が低く、赤外線画像において輝度が高いため、発光源ではない熱源が存在する領域として判定される。信号機７０は、可視光画像において輝度が高く、赤外線画像において輝度が低いが、自車両５０からの距離が遠いために自車両５０の照明光の反射によって眩しさが生じている領域ではないと判定される。このように、ブレーキランプ６４Ｌ，６４Ｒ、マフラー６６および信号機７０は、いずれも上述の三つの条件を全て満たしていないため、特定領域として特定されずに「非特定領域」となる。なお、前方車両６０のウインカーやバックランプなどについても、ブレーキランプと同様に「非特定領域」として判定することができる。

特定部１４は、車両周辺の明るさに応じて第１基準値を可変としてもよい。例えば、市街地や道路灯が多いために夜間でも明るい場所では、第１基準値を相対的に大きな値とし、郊外や道路灯が少ないために夜間に暗闇となる場所では、第２基準値を相対的に小さな値としてもよい。特定部１４は、自車両５０に設けられる照度センサの値に基づいて第１基準値を可変としてもよいし、取得部１２が取得する可視光画像の輝度に基づいて第１基準値を可変としてもよい。

特定部１４は、車外の気温に基づいて第２基準値を可変としてもよい。例えば、夏季や日中などの外気温が相対的に高い状況下では、第２基準値を相対的に大きな値とし、冬季や夜間などの外気温が相対的に低い状況下では、第２基準値を相対的に小さな値としてもよい。特定部１４は、例えば自車両５０に設けられる外気温センサの計測値に基づいて第２基準値を可変とすることができる。

特定部１４は、取得した赤外線画像の輝度差に基づいて第２基準値を可変としてもよい。例えば、ブレーキランプ６４Ｌ，６４Ｒの光源が消費電力の小さいＬＥＤであって点灯直後の場合には、相対的に温度が低く、赤外線画像において低輝度となるために発光源として抽出することが困難になることが考えられる。そこで、可視光画像において高輝度であり、かつ、赤外線画像において相対的に高輝度となる領域を発光源であるとみなし、発光源とみなされた領域の赤外線画像における輝度から所定値を引いた値を第２基準値としてもよい。つまり、赤外線画像における各領域の輝度差（相対値）に基づいて特定領域を特定してもよい。この場合、発光源とみなされた領域よりも赤外線画像において輝度がさらに低い（つまり温度が低い）と判定される領域のみが特定領域の候補となりうる。

抽出部１６は、取得部１２が取得する可視光画像に基づいて、可視光画像の撮像範囲に含まれる物体を抽出する。抽出部１６は、可視光画像をパターン認識などの画像解析技術を用いて特定の物体を抽出する。抽出部１６は、前照灯３２の照明光５２の反射により運転者５６が眩しさを感じる原因となりうる物体を抽出する。抽出部１６は、例えば前方車両や路面やガードレールなどに設置される反射板、駐車場の壁面、道路標識などを物体として抽出する。

出力部１８は、特定部１４により特定領域が特定される場合、運転者５６が眩しさを感じている状況であることを示す所定の信号を出力する。出力部１８は、特定部１４により特定される特定領域に抽出部１６が抽出する特定の物体が存在する場合にのみ所定の信号を出力してもよい。例えば、抽出部１６により前方車両や駐車場の壁面が存在するとされた領域と特定部１４により特定された特定領域とが一致する場合に所定の信号が出力されてもよい。

出力部１８は、照灯制御装置３０に制御信号を出力してもよい。出力部１８は、前照灯３２の照射範囲、照射照度および照射方向の少なくとも一つを変化させるための制御信号を出力してもよい。出力部１８は、特定部１４により特定される特定領域（例えば反射箇所６２）に向けて照明光５２が照射されないように照射範囲や照射方向を変化させるための信号を出力してもよい。出力部１８は、前照灯３２を消灯させたり、前照灯３２の照度を低減させるための信号を出力してもよい。出力部１８は、可視光画像における特定領域の輝度が第１基準値未満となるように前照灯３２の照射範囲、照射照度および照射方向の少なくとも一つを変化させるための制御信号を出力してもよい。

出力部１８は、自車両５０が停車している場合にのみ所定の信号を出力してもよい。例えば、車速センサからの情報に基づいて自車両５０が停車していると判定される場合にのみ前照灯３２の照射範囲、照射照度および照射方向の少なくとも一つを変化させるための制御信号を出力してもよい。これにより、自車両５０の走行中に前照灯３２の照射態様が変化するのを防ぐことができる。出力部１８は、自車両５０の車速が所定以下である場合にのみ所定の信号を出力してもよく、例えば自車両５０が駐車動作をしていると想定される５ｋｍ／ｈ以下の車速の場合に所定の信号を出力してもよい。

出力部１８は、特定領域が特定されなくなった場合、例えば、特定領域に含まれる対象物までの距離が第３基準値を超える値に変化した場合に所定の信号の出力を解除してもよい。例えば、信号待ちの状態において前方車両６０が前進して自車両５０からの距離が離れた場合に所定の信号の出力を解除してもよい。出力部１８は、所定の信号の出力を解除する代わりに、運転者５６が眩しさを感じている状況が解消されたことを示す別の信号を出力してもよい。

図６は、実施の形態に係る反射光検出方法を示すフローチャートである。前照灯３２がオンである場合（Ｓ１０のＹ）、可視光画像、赤外線画像および距離情報を取得する（Ｓ１２）。可視光画像、赤外線画像および距離情報に基づいて特定領域の有無を判定し、特定領域が特定されれば（Ｓ１４のＹ）、所定の信号を出力する（Ｓ１６）。前照灯３２がオフである場合（Ｓ１０のＮ）にはＳ１２〜Ｓ１６の処理をスキップし、特定領域が特定されない場合（Ｓ１４のＮ）にはＳ１６の処理をスキップする。図６の処理フローは、自車両５０の車速が停車していると判定される場合や車速が所定値以下であると判定される場合にのみ実行されてもよい。

本実施の形態によれば、可視光画像に基づいて単に眩しい領域を特定するのではなく、赤外線画像に基づいて熱源ではない領域を特定し、距離情報に基づいて自車両に近い領域を特定するため、前照灯３２の照明光５２の反射が眩しい領域を精度良く特定できる。これにより、自車両の前照灯３２の動作を変えることで眩しさを制御しうる状況を適切に特定し、前照灯３２の照射範囲、照射照度および照射方向の少なくとも一つを変化させることで眩しさを軽減または解消することができる。例えば、対向車両の照灯が原因で眩しさが発生しているにも拘わらず、自車両５０の前照灯３２の動作を変化させるといった不適切な制御を防ぐことができる。したがって、本実施の形態によれば、自車両５０の照灯の反射光を適切に検出して適切な対策を取ることができる。

以上、本発明を上述の実施の形態を参照して説明したが、本発明は上述の実施の形態に限定されるものではなく、各表示例に示す構成を適宜組み合わせたものや置換したものについても本発明に含まれるものである。

上述の実施の形態では、自車両の前照灯の反射光の眩しさを検出する場合について示した。変形例においては、自車両の前方や後方に設けられるフォグランプといった補助灯の反射光の眩しさを検出するよう構成されてもよい。

上述の実施の形態では、運転者の眩しさを検出する場合について示した。変形例においては、走行中の前照灯の照射範囲や照射方向を変化させるために上述の特定領域の特定方法を部分的に利用してもよい。例えば、対向車の前照灯を検知して対向車に向けてハイビームが照射されないように前照灯の動作を制御する場合に、可視光画像の輝度が第１基準値以上であり、赤外線画像の輝度が第２基準値を超える領域を対向車が存在する候補領域として特定してもよい。一方で、可視光画像の輝度が第１基準値以上であり、赤外線画像の輝度が第２基準値以下である領域を対向車が存在する候補領域から除外してもよい。

１０…反射光検出装置、１２…取得部、１４…特定部、１６…抽出部、１８…出力部、２２…可視光カメラ、２４…赤外線カメラ、２６…距離センサ、３０…照灯制御装置、３２…前照灯、５０…自車両、５２…照明光、５４…反射光、５６…運転者、６０…前方車両、６２…反射箇所。

Claims (8)

1. 自車両の照灯により照らされる車外を可視光で撮像した可視光画像と、前記可視光画像の撮像範囲からの赤外線を撮像した赤外線画像と、前記可視光画像の撮像範囲に含まれる対象物までの距離を測定した距離情報とを取得する取得部と、
   前記可視光画像における輝度が第１基準値以上であり、前記赤外線画像における輝度が第２基準値以下であり、前記距離が第３基準値以下である条件を満たす前記可視光画像の撮像範囲に含まれる特定領域を特定する特定部と、
   前記特定部により前記特定領域が特定される場合に所定の信号を出力する出力部と、を備えることを特徴とする反射光検出装置。
2. 前記可視光画像をパターン認識により解析し、前記可視光画像の撮像範囲に含まれる物体を抽出する抽出部をさらに備え、
   前記出力部は、前記特定領域に特定の物体が存在する場合に前記所定の信号を出力することを特徴とする請求項１に記載の反射光検出装置。
3. 前記特定部は、車外の明るさに応じて前記第１基準値を可変とすることを特徴とする請求項１または２に記載の反射光検出装置。
4. 前記特定部は、車外の温度に応じて前記第２基準値を可変とすることを特徴とする請求項１から３のいずれか一項に記載の反射光検出装置。
5. 前記出力部は、前記特定部により前記特定領域が特定される場合に前記照灯の照射範囲、照射照度および照射方向の少なくとも一つを変化させるための制御信号を前記照灯の制御装置に出力することを特徴とする請求項１から４のいずれか一項に記載の反射光検出装置。
6. 前記出力部は、前記特定部により特定される前記特定領域における前記可視光画像の輝度が前記第１基準値未満となるように前記照灯の照射範囲、照射照度および照射方向の少なくとも一つを変化させるための制御信号を前記照灯の制御装置に出力することを特徴とする請求項５に記載の反射光検出装置。
7. 自車両の照灯により照らされる車外を可視光で撮像した可視光画像と、前記可視光画像の撮像範囲からの赤外線を撮像した赤外線画像と、前記可視光画像の撮像範囲に含まれる対象物までの距離を測定した距離情報とを取得するステップと、
   前記可視光画像における輝度が第１基準値以上であり、前記赤外線画像における輝度が第２基準値以下であり、前記距離が第３基準値以下である条件を満たす前記可視光画像の撮像範囲に含まれる特定領域を特定するステップと、
   前記特定領域が特定される場合に所定の信号を出力するステップと、を備えることを特徴とする反射光検出方法。
8. 自車両の照灯により照らされる車外を可視光で撮像した可視光画像と、前記可視光画像の撮像範囲からの赤外線を撮像した赤外線画像と、前記可視光画像の撮像範囲に含まれる対象物までの距離を測定した距離情報とを取得する機能と、
   前記可視光画像における輝度が第１基準値以上であり、前記赤外線画像における輝度が第２基準値以下であり、前記距離が第３基準値以下である条件を満たす前記可視光画像の撮像範囲に含まれる特定領域を特定する機能と、
   前記特定領域が特定される場合に所定の信号を出力する機能と、をコンピュータに実現させることを特徴とするプログラム。

Images