JP2021063800A - 車載の異常検出装置 - Google Patents

Abstract

【課題】車両の周囲の物体を検出ために使用される光センサとカメラとのどちらが異常であっても異常を検出する。【解決手段】車載の異常検出装置は、相関値算出部と異常判定部とを備えている。Ｓ４００〜Ｓ４０６、Ｓ４１４において相関値算出部は、光センサが車両の周囲に光を照射して反射する反射光を受光して検出する反射強度画像と、光センサが光を照射しないときに光センサが車両の周囲の光を受光して検出する背景光画像との少なくとも一方と、カメラが撮影する車両の周囲の撮影画像との相関値を算出する。Ｓ４０８、Ｓ４１６、Ｓ４１８において異常判定部は、相関値算出部が算出する相関値が所定範囲から外れている場合、光センサとカメラとのどちらかが異常であると判定する。【選択図】図７

Description

本開示は、車両の周囲の物体を検出するために使用される光センサとカメラとのどちらかに異常が発生していることを検出する技術に関する。

車両の周囲の物体を検出するために使用される光センサとカメラとのどちらかに異常が発生していることを検出する技術が知られている。例えば、下記の特許文献１には、光センサの発光部からビーム光を照射してから対象物で反射する反射光を受光部の複数の受光素子で受光するまでの時間に基づいて、対象物までの距離を測定する技術が記載されている。受光部は、画素毎に測定した距離に基づき、距離画像を出力する。さらに、受光部は、受光した反射光の光強度に基づいて第１明度画像を出力する。

また、特許文献１には、カメラが撮影する撮影画像の各画素について、対象物の表面の明度に応じた第２明度画像を取得する技術が記載されている。
そして、特許文献１に記載された技術では、第１明度画像の各画素の明度を各画素の距離に基づいて補正し、補正された第１明度画像の画素と第２明度画像の画素との明度差が閾値以上の場合、対応する距離画像の画素を誤差画素として検出している。

特開２０１４−０７０９３６号公報

特許文献１に記載されている技術では、カメラは正常であり、カメラが撮影する第２明度画像に異常がないことを前提にしている。しかしながら、発明者の詳細な検討の結果、以下の課題が見出された。

すなわち、カメラが正常であることを前提にしているので、カメラが異常の場合、異常を検出できない。
本開示の１つの局面は、車両の周囲の物体を検出するために使用される光センサとカメラとのどちらが異常であっても異常を検出する技術を提供することが望ましい。

本開示の１つの態様による車載の異常検出装置（４０）は、車両の周囲の物体を検出するために使用される光センサ（２０）とカメラ（１０）とのどちらかに異常が発生していることを検出する異常検出装置であって、相関値算出部（４２、Ｓ４００〜Ｓ４０６、Ｓ４１４）と、異常判定部（４４、Ｓ４０８、Ｓ４１６、Ｓ４１８）と、を備えている。

相関値算出部は、光センサが車両の周囲に光を照射して反射する反射光を受光して検出する反射強度画像（３００）と、光センサが光を照射しないときに光センサが車両の周囲の光を受光して検出する背景光画像（３１０）との少なくとも一方と、カメラが撮影する車両の周囲の撮影画像（３２０）との相関値を算出する。

異常判定部は、相関値算出部が算出する相関値が所定範囲から外れている場合、光センサとカメラとのどちらかが異常であると判定する。
このような構成によれば、光センサとカメラとのどちらが異常であっても、異常を検出
できる。

第１実施形態の異常検出装置の構成を示すブロック図。 発光部を示す模式図。 受光部を示す模式図。 小領域に分割された反射強度画像または背景光画像と撮影画像とを示す模式図。 異常な小領域を示す模式図。 解像度を高くした受光部を示す模式図。 異常検出処理を示すフローチャート。 第２実施形態の発光部を示すブロック図。

以下、図を参照しながら、本開示の実施形態を説明する。
［１．第１実施形態］
［１−１．構成］
図１に示す車載の異常検出システム２は、カメラ１０と、ＳＰＡＤ−ＬｉＤＡＲ２０と、異常検出装置４０と、を備える。ＳＰＡＤ−ＬｉＤＡＲ２０は、発光部２２と、受光部２４と、距離画像検出部２６と、反射強度画像検出部２８と、背景光画像検出部３０と、を備える。ＳＰＡＤは、Single Photon Avalanche Diodeの略であり、ＬｉＤＡＲは、Light Detection and Rangeの略である。

異常検出装置４０は、相関値算出部４２と、異常判定部４４と、解像度調整部４６と、を備える。異常検出装置４０は、図示しない物体検出装置が車両の周囲の物体を検出するために使用するカメラ１０とＳＰＡＤ−ＬｉＤＡＲ２０とのどちらかに異常が発生していることを検出する。以下、ＳＰＡＤ−ＬｉＤＡＲを単にＬｉＤＡＲとも言う。

ＬｉＤＡＲ２０の発光部２２は、例えば、車両の周囲の任意の方向として車両の進行方向である前方の所定領域を検出領域として、ボイスコイル等を使用する図示しない駆動部により、一定のフレームレートで水平方向に走査しつつ間欠的にパルス状のレーザ光を照射する。

図２に示すように、発光部２２は、４個のＬＤ１０２〜１０８を有するＬＤ部１００を備える。ＬＤ部１００の４個のＬＤ１０２〜１０８により、垂直方向に長いレーザ光が車両前方の所定領域に対して、水平方向に走査されて照射される。ＬＤは、Laser Diodeの略である。

受光部２４は、発光部２２が照射したレーザ光が物体で反射される反射光と、太陽光または照明等の光源の光、ならびに光源の光が物体で反射される反射光である背景光とを受光する。

図３に示すように、受光部２４は、２次元的に配列された複数の画素２０２を受光面２００に備えている。各画素は、複数の受光素子２１０を備えている。図３では、１個の画素２０２は、６×８の配列による４８個の受光素子２１０で構成されている。受光素子２１０は、受光強度に応じた電流値を有する受光信号を出力する。

受光素子２１０には、アバランシェフォトダイオードとして、ガイガーモードで動作するＳＰＡＤが使用されている。受光素子２１０として、例えば、ＳＰＡＤ以外のアバランシェフォトダイオードまたはフォトダイオード等を用いてもよい。

ＬｉＤＡＲ２０の距離画像検出部２６は、発光部２２がレーザ光を照射してから受光部２４が反射光を受光するまでの時間に基づいて、物体までの距離を画素２０２毎に検出し、車両前方の所定領域の全体画像として距離画像を検出する。

反射強度画像検出部２８は、発光部２２が照射するレーザ光の反射光を受光部２４が画素２０２毎に受光する強度を検出し、車両前方の所定領域の全体画像として反射強度画像を検出する。

背景光画像検出部３０は、発光部２２がレーザ光を照射しない間に、受光部２４が画素２０２毎に受光する背景光の強度を検出し、車両前方の所定領域の全体画像として背景光画像を検出する。尚、本実施形態では、反射光の強度と背景光の強度とは、輝度によりグレーススケールで表される。

図４に示すように、反射強度画像検出部２８が検出する反射強度画像３００と、背景光画像検出部３０が検出する背景光画像３１０とは、それぞれ小領域３０２、３１２に分割される。そして、カメラ１０が撮影する撮影画像３２０は、小領域３０２、３１２に対応する小領域３２２に分割される。画像を水平方向と垂直方向とに分割する分割数は、１以上の任意の数であり、適宜設定される。分割数が１の場合は分割しないことを意味する。

尚、小領域３０２、３１２、３２２は、反射強度画像３００と背景光画像３１２と撮影画像３２０との重複する領域において分割される。
異常検出装置４０の相関値算出部４２は、反射強度画像検出部２８が検出する反射強度画像３００と背景光画像検出部３０が検出する背景光画像３１０との少なくとも一方と、カメラ１０が撮影する撮影画像３２０との対応する小領域３０２、３１２、３２２について、相関関数により相関値を算出する。小領域３０２、３１２、３２２における相関値は、例えば各画素の相関値の合計で表される。

異常判定部４４は、相関値算出部４２が算出する小領域３０２、３１２、３２２の相関値と所定範囲とを比較し、相関値が所定範囲から外れている場合、カメラ１０とＬｉＤＡＲ２０とのどちらかが異常であると判定する。カメラ１０とＬｉＤＡＲ２０との異常の原因として、例えば、カメラ１０本体とＬｉＤＡＲ２０本体の故障、またはカメラ１０とＬｉＤＡＲ２０との検出部への塵または汚れの付着、またはカメラ１０とＬｉＤＡＲ２０との画素不良、などが考えられる。

異常判定部４４は、相関値と比較される所定範囲を次のようにして決定する。異常判定部４４は、例えば、これまで相関値算出部４２が算出してきた相関値のデータを記憶しておき、相関値の標準偏差σを算出する。そして、異常判定部４４は、相関値の絶対値に対して、５σ以内を所定範囲として決定する。

また、異常判定部４４は、カメラ１０とＬｉＤＡＲ２０とのどちらかが異常であると判定すると、カメラ１０のレンズとＬｉＤＡＲ２０の光透過部とにクリーニング装置が設置されている場合、クリーニング装置を作動させる。クリーニング装置を作動させることにより、汚れが除去されて相関値が所定範囲内になれば、異常原因は汚れであると判断できる。クリーニング装置を作動させても相関値が所定範囲から外れる場合、異常原因は汚れ以外であると判断できる。

またカメラ１０とＬｉＤＡＲ２０とのどちらが異常かを、次のように判定してもよい。
異常判定部４４は、相関値が所定範囲から外れている小領域において、撮影画像３２０の各画素、ならびに反射強度画像３００と背景光画像３１０との少なくとも一方の各画素
について輝度の時間履歴をチェックする。異常判定部４４は、カメラ１０とＬｉＤＡＲ２０との両方の装置のうち、時間履歴において輝度が変化しない装置を異常であると判定する。

また、異常判定部４４は、相関値が所定範囲から外れている小領域において、撮影画像３２０、ならびに反射強度画像３００と背景光画像３１０との少なくとも一方をエッジ処理した時間履歴をチェックする。異常判定部４４は、カメラ１０とＬｉＤＡＲ２０との両方の装置のうち、時間履歴においてエッジ数が継続して所定値以上の装置を異常であると判定する。

カメラ１０とＬｉＤＡＲ２０とのうち異常な装置が特定されると、物体検出装置は、カメラ１０とＬｉＤＡＲ２０とのうち異常な装置を使用せず正常な装置を使用して車両の周囲の物体を検出する。

また、特定の小領域について、カメラ１０とＬｉＤＡＲ２０とのうちどちらかの装置が異常で、他の小領域については両方の装置が正常の場合、異常が発生している小領域については正常な装置を使用し、他の小領域については両方の装置を使用して物体を検出してもよい。

特定の小領域に異常が発生した装置については、異常を示すダイアグコードをフラッシュメモリ等に記憶しておくことにより、物体検出装置の異常箇所を特定して異常箇所の交換等を行うことができる。

また、全ての小領域において相関値が所定範囲から外れている場合、カメラ１０とＬｉＤＡＲ２０とに電力を供給する電力経路に異常があるか、ＬｉＤＡＲ２０の発光部２２全体の発光不良と考えられる。この場合も、異常を示すダイアグコードをフラッシュメモリ等に記憶しておくことにより、物体検出装置の異常箇所を特定して異常箇所の交換等を行うことができる。

また、異常判定部４４は、ＬＤ部１００の４個のＬＤ１０２〜１０８のいずれかからレーザ光が照射される範囲の全ての小領域について、相関値が常に所定範囲から外れている場合、該当するＬＤ１０２〜１０８が発光不良であると判定する。この場合も、異常を示すダイアグコードをフラッシュメモリ等に記憶しておくことにより、物体検出装置の異常箇所を特定して異常箇所の交換等を行うことができる。

解像度調整部４６は、相関値が所定範囲から外れているのでカメラ１０とＬｉＤＡＲ２０とのどちらかが異常であると判定されると、異常と判定された小領域の反射強度画像３００と背景光画像３１０との解像度を高くするようにＬｉＤＡＲ２０に指示する。

通常、ＬｉＤＡＲ２０が検出する反射強度画像３００と背景光画像３１０との解像度は、カメラ１０が撮影する撮影画像３２０の解像度よりも低い。そこで、異常と判定された小領域の反射強度画像３００と背景光画像３１０との解像度を高くすることにより、小領域の反射強度画像３００と背景光画像３１０との解像度を撮影画像３２０に近づけることができる。

以下、異常と判定された小領域の反射強度画像３００と背景光画像３１０との解像度を高くする解像度向上方式（１）〜（３）について説明する。
（１）検出領域の縮小
例えば、図５に示すように、反射強度画像３００と背景光画像３１０とにおいて斜線の小領域３０２、３１２の相関値が所定範囲から外れている場合、解像度調整部４６は、斜
線の小領域３０２、３１２に対応する水平方向の検出領域だけを、車両前方の所定領域を走査するときと同じフレームレートで再度走査するようにＬｉＤＡＲ２０に指示する。

フレームレートが同じであれば、検出領域が狭くなることにより、異常と判定された小領域３０２、３１２の解像度は高くなる。
反射強度画像３００の解像度を高くする場合、発光部２２からレーザ光が照射され、レーザ光の反射光を受光部２４が受光することにより小領域が走査される。背景光画像３１０の解像度を高くする場合、発光部２２からレーザ光は照射されず、受光部２４が背景光を受光することにより小領域が走査される。

解像度調整部４６の指示により解像度が高くなった小領域については、相関値算出部４２により再度相関値が算出される。そして、相関値算出部４２により再度算出される相関値が所定範囲から外れている場合、異常判定部４４は、カメラ１０とＬｉＤＡＲ２０とのどちらかが異常であると判定する。

（２）走査角度の調整
解像度調整部４６は、図５において斜線の小領域３０２、３１２に対応する水平方向の検出領域の走査角度間隔を、車両前方の所定領域を走査するときの通常の走査角度間隔よりも小さくし、他の小領域３０２、３１２に対応する水平方向の検出領域の走査角度間隔を通常よりも大きくして、再度所定領域を走査するようにＬｉＤＡＲ２０に指示する。

走査角度間隔が小さくなることにより、異常と判定された斜線の小領域３０２、３１２の解像度は高くなる。尚、走査角度間隔を変更しても、車両前方の所定領域に対する走査回数が同じになるように走査角度間隔を設定することが望ましい。

（３）１画素当たりのＳＰＡＤ数の減少
解像度調整部４６は、異常と判定された小領域において、１画素当たりに割り当てられているＳＰＡＤ数を減少して再度走査するようにＬｉＤＡＲ２０に指示する。１画素当たりのＳＰＡＤ数が減少することにより、異常と判定された小領域の画素数が増加するので、解像度が高くなる。

例えば、図６に示すように、受光部２４の受光面２００において、６×８のＳＰＡＤ２１０で１個の画素２０２が構成されている場合、３×８のＳＰＡＤ２１０で１個の画素２０４を構成することにより、図６において縦方向、つまり垂直方向の解像度が高くなる。水平方向のＳＰＡＤ数を減少することにより、水平方向の解像度を高くしてもよい。

［１−２．処理］
次に、異常検出装置４０が実行する異常検出処理について、図７のフローチャートを用いて説明する。図７のフローチャートが示す異常検出処理は、物体検出処理の数サイクルに１度、あるいは車両のスタートスイッチがオンになったときに１度、実行される。

図７のＳ４００において相関値算出部４２は、車両の周囲の明るさが所定値以上であるか否かを判定する。
例えば、受光センサを備えている場合、車両の周囲の明るさが所定値以上であるか否かを、受光センサの検出値と所定値とを比較して判定してもよい。

あるいは、受光センサを備えているか否かに拘わらず、車両の周囲の明るさが所定値以上であるか否かを、反射強度画像が明るいか暗いか、ならびに背景光画像が明るいか暗いかに基づいて判定してもよい。

反射強度画像が明るいか暗いかは、受光部２４が画素毎に受光する反射光の平均値が所定値以上であるか否かに基づいて決定される。同様に、背景光画像が明るいか暗いかは、受光部２４が画素毎に受光する背景光の平均値が所定値以上であるか否かに基づいて決定される。反射強度画像と背景光画像とのそれぞれが明るいか暗いかを判定するときに使用される所定値は、同じでもよいし異なっていてもよい。

反射強度画像が明るく、背景光画像が暗い場合、車両の周囲の明るさは所定値未満であり、車両の周囲は暗いと判定される。反射強度画像と背景光画像との両方が明るい場合、車両の周囲の明るさは所定値以上であり、車両の周囲は明るいと判定される。

また、反射強度画像と背景光画像との両方が暗い場合、後段で求められるカメラ１０の撮影画像と、反射強度画像または背景光画像との相関値が所定範囲を外れていれば、ＬｉＤＡＲ２０の故障と判定される。

Ｓ４００の判定がＹｅｓである、つまり、車両の周囲の明るさが所定値以上である場合、Ｓ４０２において相関値算出部４２は、カメラ１０が撮影する撮影画像との相関値を算出する画像として背景光画像をＬｉＤＡＲ２０から取得する。これは、車両の周囲の明るさが所定の明るさ以上であれば、背景光の強度が十分に大きく、背景光画像の各画素の強度も充分に大きいと判断できるからである。

Ｓ４００の判定がＮｏである、つまり、車両の周囲の明るさが所定の明るさ未満である場合、Ｓ４０４において相関値算出部４２は、カメラ１０が撮影する撮影画像との相関値を算出する画像として反射強度画像をＬｉＤＡＲ２０から取得する。これは、車両の周囲の明るさが所定の明るさ未満であれば、背景光の強度が小さく、背景光画像の各画素の強度も小さいので、背景光画像の強度よりも反射強度画像の強度の方が大きいと判断できるからである。

Ｓ４０６において相関値算出部４２は、Ｓ４０２またはＳ４０４で取得された背景光画像または反射強度画像の一方と、カメラ１０が撮影する撮影画像との相関値を、分割された小領域毎に相関関数により算出する。

Ｓ４０８において異常判定部４４は、今回の小領域において算出された相関値が所定範囲内か否かを判定する。相関値が大きい方が相関が強い場合は、所定範囲内か否かは相関値が所定値以上であるか否かによって判定される。相関値が小さい方が相関が強い場合は、所定範囲内か否かは相関値が所定値以下であるか否かによって判定される。

Ｓ４０８の判定がＮｏである、つまり今回の小領域において算出された相関値が所定範囲から外れている場合、処理はＳ４１２に移行する。
Ｓ４０８の判定がＹｅｓである、つまり今回の小領域において算出された相関値が所定範囲内の場合、Ｓ４１０において異常判定部４４は、全ての小領域についてＳ４０８の判定が実行されたか否かを判定する。

Ｓ４１０の判定がＮｏである、つまりＳ４０８の判定が実行されていない小領域が存在する場合、処理はＳ４０６に移行する。Ｓ４１０の判定がＹｅｓである、つまり全ての小領域についてＳ４０８の判定が実行された場合、カメラ１０とＬｉＤＡＲ２０とのどちらも異常は発生しておらず正常であると判断され、本処理は終了する。

Ｓ４１２において解像度調整部４６は、相関値が所定範囲から外れている小領域について、Ｓ４０２またはＳ４０４で採用された背景光画像または反射強度画像の解像度を、例えば前述した解像度向上方式（１）〜（３）に基づいて高くするようにＬｉＤＡＲ２０に
指示する。

Ｓ４１４において相関値算出部４２は、小領域において、解像度が高くなった背景光画像または反射強度画像とカメラ１０による撮影画像との相関値を算出する。
Ｓ４１６において異常判定部４４は、今回の小領域において再度算出された相関値が、所定範囲内か否かを判定する。Ｓ４１６の判定がＹｅｓである、つまり再度算出された相関値が所定範囲内の場合、異常判定部４４は、カメラ１０とＬｉＤＡＲ２０とに異常はないと判断し、処理をＳ４１０に移行する。

Ｓ４１６の判定がＮｏである、つまり再度算出された相関値が所定範囲から外れている場合、Ｓ４１８において異常判定部４４は、カメラ１０とＬｉＤＡＲ２０とのどちらかが異常であると確定する。この場合、カメラ１０とＬｉＤＡＲ２０とを使用した物体検出処理は中止される。

［１−３．効果］
以上説明した上記実施形態によれば、以下の効果を得ることができる。
（１ａ）ＬｉＤＡＲ２０が検出する反射強度画像または背景光画像の一方とカメラ１０が撮影する撮影画像との相関値を算出することにより、ＬｉＤＡＲ２０とカメラ１０とのどちらが異常であっても異常を検出できる。

（１ｂ）小領域において算出された反射強度画像または背景光画像の一方と撮影画像との相関値により仮異常と判定されると、仮異常と判定された小領域において、反射強度画像または背景光画像のうち撮影画像と相関値を算出する方の画像の解像度を高めて再度画像が検出される。これにより、解像度が高くなった反射強度画像または背景光画像の一方を使用して、撮影画像との相関値を高精度に算出できるので、異常判定を高精度に実行できる。

（１ｃ）仮異常と判定された小領域だけを検出領域とする場合、画像全体ではなく、仮異常と判定された小領域についてだけ、ＬｉＤＡＲ２０に指示して反射強度画像または背景光画像のうち撮影画像と相関値を算出する方の画像の解像度を高めて再度画像が検出される。そして、画像全体ではなく、仮異常と判定された小領域について、反射強度画像または背景光画像のうち解像度が高くなった画像と撮影画像との相関値が算出される。これにより、異常判定に要する処理負荷を低減できる。

（１ｄ）車両の周囲の明るさに基づいて、反射強度画像または背景光画像のうち、カメラ１０が撮影する撮影画像との相関値を算出する画像を選択するので、反射強度画像と背景光画像との両方と撮影画像との相関値を算出して異常判定する場合に比べ、異常判定の処理負荷を低減できる。

上記実施形態では、ＬｉＤＡＲ２０が光センサに対応する。
［２．第２実施形態］
［２−１．第１実施形態との相違点］
図８に示す第２実施形態の発光部２２のＬＤ部１１０は、通常使用される第１のＬＤ部１２０に加え、予備の第２のＬＤ部１３０を備えている点で、第１実施形態と異なる。他の第２実施形態の基本的な構成は図１に示す第１実施形態と同様である。なお、第１実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。

［２−２．処理］
図８に示すように、第２実施形態の発光部２２は、通常、第１のＬＤ部１２０の４個のＬＤ１２２〜１２８からレーザ光を照射し、第２のＬＤ部１３０のＬＤ１３２〜１３８か
らレーザ光を照射しない。図８では、使用するＬＤ１２２〜１２８、１３２〜１３８を白、使用しないＬＤ１２２〜１２８、１３２〜１３８を斜線で示している。

異常判定部４４は、第１のＬＤ部１２０の４個のＬＤ１２２〜１２８のうち、例えばＬＤ１２２からレーザ光が照射される範囲の全ての小領域について相関値が常に所定範囲から外れている場合、該当するＬＤ１２２が発光不良であると判定する。

この場合、異常判定部４４は、該当する異常なＬＤ１２２に代えて、異常なＬＤ１２２と隣り合う第２のＬＤ部１３０のＬＤ１３２からレーザ光を照射するように、発光部２２に指示する。

［２−３．効果］
第２実施形態では、第１実施形態の効果に加え、以下の効果を得ることができる。
（２ａ）第１のＬＤ部１２０の４個のＬＤ１２２〜１２８のうち、例えばＬＤ１２２に発光不良が発生すると、異常なＬＤ１２２に代えて隣り合う第２のＬＤ部１３０のＬＤ１３２からレーザ光を照射するので、物体検出装置による物体検出を正常に継続できる。

［３．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。

（３ａ）上記実施形態では、車両の周囲の明るさに基づいて、反射強度画像または背景光画像のうち、カメラ１０が撮影する撮影画像との相関値を算出する画像が選択された。これに対し、車両の周囲の明るさに拘わらず、反射強度画像と背景光画像との両方と撮影画像との相関値を算出して異常判定してもよい。この場合、反射強度画像と背景光画像とのうち少なくとも一方の画像と撮影画像との相関値が所定範囲内であれば、カメラ１０とＬｉＤＡＲ２０とは正常であると判定される。

（３ｂ）上記実施形態では、全体画像を分割した小領域毎に算出される反射強度画像または背景光画像の一方と撮影画像との相関値に基づいて、異常判定が実行された。これに対し、全体画像を分割せず、反射強度画像または背景光画像の一方、あるいは反射強度画像と背景光画像との両方と、撮影画像との全体画像同士の相関値を算出して異常判定を実行してもよい。

この場合、異常判定を実行する前に、全体画像について、反射強度画像または背景光画像の一方、あるいは反射強度画像と背景光画像との両方の解像度を高めてから撮影画像との相関値を算出してもよい。

（３ｃ）上記実施形態では、光センサであるＬｉＤＡＲ２０の発光部２２は、車両の進行方向である前方の所定領域に対して、水平方向に走査しつつ間欠的にパルス状のレーザ光を照射して、受光部２４が物体で反射される反射光を受光した。

これに対し、車両の進行方向である前方の所定領域に対して高出力のレーザ光を照射し、２次元受光素子アレイで反射光を受光してもよい。これにより、発光部からの１回の照射で、車両の進行方向である前方の所定領域に存在する物体が検出される。

この場合、反射強度画像または背景光画像の一方と撮影画像との相関値が所定範囲を外れていると判定されると、解像度調整部４６は、例えば、１画素当たりに割り当てられているＳＰＡＤ数を減少して再度光を照射するように光センサに指示する。１画素当たりのＳＰＡＤ数が減少することにより、前方の所定領域に対応する画素数が増加するので、解
像度が高くなる。

（３ｄ）上記実施形態では、光センサであるＬｉＤＡＲ２０の発光部２２は、車両の進行方向である前方の所定領域に対して、垂直方向に長いレーザ光を水平方向に走査して照射した。これに対し、光センサ２０の発光部２２の構成によっては、水平方向と垂直方向との両方向に走査してレーザ光を照射してもよい。

（３ｅ）本開示に記載の異常検出装置４０およびその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサおよびメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の異常検出装置４０およびその手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の異常検出装置４０およびその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサおよびメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されてもよい。異常検出装置４０に含まれる各部の機能を実現する手法には、必ずしもソフトウェアが含まれている必要はなく、その全部の機能が、一つあるいは複数のハードウェアを用いて実現されてもよい。

（３ｆ）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加または置換してもよい。

（３ｇ）上述した異常検出装置４０の他、当該異常検出装置４０を構成要素とするシステム、当該異常検出装置４０としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実体的記録媒体、異常検出方法など、種々の形態で本開示を実現することもできる。

１０：カメラ、２０：ＬｉＤＡＲ（光センサ）、４０：異常検出装置、４２：相関値算出部、４４：異常判定部、４６：解像度調整部、２０２、２０４：画素、２１０：受光素子、３００：反射強度画像、３１０：背景光画像、３２０：撮影画像、３０２、３１２、３２２：小領域

Claims (8)

1. 車両の周囲の物体を検出するために使用される光センサ（２０）とカメラ（１０）とのどちらかに異常が発生していることを検出する車載の異常検出装置（４０）であって、
   前記光センサが前記車両の周囲に光を照射して反射する反射光を受光して検出する反射強度画像（３００）と、前記光センサが光を照射しないときに前記光センサが前記車両の周囲の光を受光して検出する背景光画像（３１０）との少なくとも一方と、前記カメラが撮影する前記車両の周囲の撮影画像（３２０）との相関値を算出するように構成された相関値算出部（４２、Ｓ４００〜Ｓ４０６、Ｓ４１４）と、
   前記相関値算出部が算出する前記相関値が所定範囲から外れている場合、前記光センサと前記カメラとのどちらかが異常であると判定するように構成された異常判定部（４４、Ｓ４０８、Ｓ４１６、Ｓ４１８）と、
   を備える異常検出装置。
2. 請求項１に記載の異常検出装置であって、
   前記光センサの受光部（２４）の受光素子（２１０）としてＳＰＡＤが使用されている、
   異常検出装置。
3. 請求項１または２に記載の異常検出装置であって、
   前記異常判定部（Ｓ４０８）は、前記相関値が前記所定範囲から外れている場合、前記光センサまたは前記カメラのどちらかが仮異常であると判定するように構成されており、
   前記異常判定部が前記光センサと前記カメラとのどちらかが仮異常であると判定すると、前記光センサに指示して前記反射強度画像および前記背景光画像の解像度を高くするように構成された解像度調整部（４６、Ｓ４１２）をさらに備え、
   前記相関値算出部（Ｓ４１４）は、前記解像度調整部により前記解像度が高くなった前記反射強度画像と前記背景光画像との少なくとも一方と前記撮影画像との前記相関値を再度算出するように構成されており、
   前記異常判定部（Ｓ４１６、Ｓ４１８）は、前記相関値算出部が再度算出した前記相関値が前記所定範囲から外れている場合、前記光センサと前記カメラとのどちらかが異常であると確定するように構成されている、
   異常検出装置。
4. 請求項３に記載の異常検出装置であって、
   前記異常判定部が前記光センサと前記カメラとのどちらかが仮異常であると判定すると、前記解像度調整部は、前記光センサに検出領域を狭くするように指示することにより前記解像度を高くするように構成されている、
   異常検出装置。
5. 請求項３に記載の異常検出装置であって、
   前記異常判定部が前記光センサと前記カメラとのどちらかが仮異常であると判定すると、前記解像度調整部は、前記相関値が前記所定範囲から外れている検出領域の前記解像度を高くし、他の検出領域の前記解像度を低くするように前記光センサに指示するように構成されている、
   異常検出装置。
6. 請求項２を引用する請求項３に記載の異常検出装置であって、
   前記異常判定部が前記光センサと前記カメラとのどちらかが仮異常であると判定すると、前記解像度調整部は、前記光センサに１画素（２０２、２０４）当たりのＳＰＡＤ数を少なくするように指示することにより前記解像度を高くするように構成されている、
   異常検出装置。
7. 請求項１から６のいずれか１項に記載の異常検出装置であって、
   前記相関値算出部は、前記相関値を算出する前記反射強度画像と前記背景光画像との少なくとも一方と前記撮影画像とを複数の小領域（３０２、３１２、３２２）に分割し、前記反射強度画像と前記背景光画像との少なくとも一方と前記撮影画像との対応する前記小領域の前記相関値を算出するように構成されており、
   前記異常判定部は、前記相関値算出部が算出する前記小領域の前記相関値が前記所定範囲から外れている場合、前記光センサと前記カメラとのどちらかが異常であると判定するように構成されている、
   異常検出装置。
8. 請求項１から７のいずれか１項に記載の異常検出装置であって、
   前記相関値算出部（Ｓ４００〜Ｓ４０４）は、前記車両の周囲の明るさが所定値以上の場合、前記背景光画像と前記撮影画像との前記相関値を算出し、前記車両の周囲の明るさが所定値未満の場合、前記反射強度画像と前記撮影画像との前記相関値を算出するように構成されている、
   異常検出装置。

Images