JP2022020511A

JP2022020511A - 車両の周辺検知装置

Info

Publication number: JP2022020511A
Application number: JP2020124054A
Authority: JP
Inventors: 一輝堀場; Kazuteru Horiba; 充広木下; Mitsuhiro Kinoshita; 広樹齋藤; Hiroki Saito
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2020-07-20
Filing date: 2020-07-20
Publication date: 2022-02-01
Anticipated expiration: 2040-07-20
Also published as: JP7298562B2; CN113960623A; US20220018964A1; DE102021118175A1

Abstract

【課題】車両の周辺に赤外線を投光して、その反射光を撮像して周辺の観測を行う装置に於いて、単に観測範囲に赤外線を均一に照射する場合よりも対象の認識能や位置等の検出能を向上する。【解決手段】車両１０の周辺検知装置１は、車両の周辺に赤外線を投光する赤外線投光器１６ｆ、Ｌ、Ｒ、ｂと、赤外線にて照明された範囲を撮像する赤外線カメラ１４ｆ、Ｌ、Ｒ、ｂと、赤外線カメラの撮像した画像を処理する画像処理手段とを含む。周辺検知装置は、赤外線を実質的に均一に照射する均一照射モードと赤外線を所定のパターンにて照射するパターン照射モードとを切換えて赤外線を出射する。均一照射モードでは、赤外線の投光された範囲の対象にて反射された赤外線による輝度分布の画像を生成し、パターン照射モードでは、赤外線の投光された範囲の対象にて反射された赤外線によるパターン分布の画像を生成し、パターン分布画像に基づいて対象まで距離を検出する。【選択図】図１

Description

本発明は、自動車等の車両の周辺の状況を検知するための装置に係り、より詳細には、赤外線を用いて車両の周辺の物体などの対象を検知する装置に係る。

車両の運転支援制御や自動運転制御等のために、車両の周辺の状況、例えば、人、他車、障害物等の有無と位置などを認識し把握する際、夜間など、周囲の明るさが十分でない場合には、車両の周囲へ赤外線を投光し、その反射光を赤外線カメラ等で観測するといったことが行われている。例えば、特許文献１に於いては、車両の周辺に向けて赤外光を照射し、車両の周辺の赤外光画像を撮像し、画像内の対象物を認識する構成に於いて、その対象物の存在する領域の輝度に基づいて、より輝度の低い領域の輝度を調節し、赤外光が照射されていない領域に於ける認識性能を向上する構成が提案されている。特許文献２に於いては、赤外光のパターンを車両の前方に投影して、そのパターンの画像を撮像して、アクティブステレオ法により、撮像された領域の幾何情報を取得し、車両の位置姿勢の推定に用いる構成が開示されている。

特開２０１９－２０４９８８特開２０１９－１２５１１２

カメラ画像を用いて車両周辺の移動物/路側物を認識する場合、例えば、車載の魚眼カメラなどを用いて、車両の前方/側方/後方の画像を撮影し、セマンティックセグメンテーション(Semantic Segmentation)などのディープラーニングのアルゴリズムを用いた画像認識技術により、撮影された画像内の対象物を認識し、その対象物の位置や大きさを検出し、更に、それらの情報から速度なども検出するといったことが行われる。このような画像処理・認識技術が用いられる場合、日中の明るい環境下での画像或いは夜間でも前照灯で照らされている領域の画像は、可視光の十分な輝度にて得られるので、上記の如き、対象物の認識、位置、大きさ、速度などの検出（位置等の検出）は、比較的精度良く達成される。一方、夜間や日陰など、可視光で十分な輝度の画像が得られない環境下に於いては、上記の如く、投光器により赤外線を観測したい範囲に照射し、その反射光で得られた赤外線画像を用いて、同様の対象物の認識、位置等の検出が試みられる。しかしながら、一般に、赤外線による観測画像に於ける画像処理・認識技術の対象物の認識と位置等の検出の性能或いはそれらの結果の精度は、画像の鮮明さ、輝度の低さ或いは色情報が得られないなどの理由で、可視光画像の場合に比して十分でない場合がある。また、通常用いられる車載の赤外線投光器の場合、その搭載スペース、最大出力、消費電力などのハードウェア制約から、観測したい範囲に均一に照射した場合には、赤外線の照射距離は、数メートル程度であり、カメラ自体が認識可能な距離範囲全域の対象物の認識、位置等の検出が十分な程度にて達成できない場合がある。そこで、赤外線による車両周辺の観測に於いて、もし対象物の認識能や位置等の検出能を、利用する赤外線投光器や検出するカメラなどはそのままで、向上することができれば、有用であろう。この点に関し、上記に触れたアクティブステレオ法を用いると、その検出画像に於ける対象物の像自体を把握することは困難であるが、車両から検出画像内の各点までの距離を検出することが可能である。従って、上記の赤外線による車両周辺の観測に於いてアクティブステレオ法による情報を取り込むことができれば、対象物の認識能や位置等の検出能が向上できると考えられる。

かくして、本発明の主な課題は、車両の周辺に赤外線を投光して、その反射光を撮像して得られた画像により車両周辺の観測を行う装置に於いて、単に観測範囲に赤外線を均一に照射する場合よりも対象物の認識能や位置等の検出能を向上することのできる構成を提供することである。

また、本発明のもう一つの課題は、上記の如き赤外線を用いて車両周辺の観測を行う装置に於いて、用いる赤外線投光器や検出するカメラは、そのままで、車両周辺の赤外線画像と共に、画像内の各点までの距離の検出を可能にする構成を提供することである。

本発明によれば、上記の課題は、車両の周辺検知装置であって、
前記車両の周辺に於ける所定の範囲に赤外線を投光する赤外線投光器と、
前記赤外線にて照明された前記所定の範囲を撮像する赤外線カメラと、
前記赤外線カメラの撮像した画像を処理する画像処理手段と
を含み、
前記赤外線投光器が、前記赤外線を発光する赤外線光源と、前記赤外線を実質的に均一に前記所定の範囲に照射する均一照射モードと前記赤外線を所定のパターンにて前記所定の範囲に照射するパターン照射モードとを切換えて前記赤外線を出射する赤外線出射手段とを含み、
前記画像処理手段が、前記均一照射モードにて前記赤外線が前記所定の範囲に投光されているときに、前記赤外線カメラにより得られた前記所定の範囲に存在する対象にて反射された前記赤外線による前記所定の範囲の輝度分布の画像を生成する輝度分布画像生成手段と、前記赤外線出射手段に於いて前記パターン照射モードにて前記赤外線が前記所定の範囲に投光されているときには、前記赤外線カメラにて撮像された前記所定の範囲に存在する対象にて反射された前記赤外線による前記所定の範囲のパターン分布の画像を生成し、前記パターン分布の画像に基づいて前記所定の範囲に於ける前記対象までの距離を検出する対象測距手段とを含む装置によって達成される。

上記の構成に於いて、赤外線を投光する「車両の周辺に於ける所定の範囲」とは、車両の前方、左右側方及び／又は後方などの任意に設定された範囲であってよく、例えば、運転支援制御や自動運転制御のために監視が要求される範囲であってよい。「赤外線投光器」は、赤外線光源と、上記の「均一照射モード」と「パターン照射モード」とを実現するための赤外線出射手段とを有するところ、赤外線光源から出力される赤外線の強度、波長等は、この分野で通常使用する赤外線投光器のものと同様であってよい。「均一照射モード」に於いては、所定の範囲に対して、実質的に均一に照射されるところ、ここで、「実質的に均一に」とは、照射される赤外線の場所による強度のムラが、その赤外線の反射光を撮影して得られる画像の生成に於いて許容できる程度となっている状態である。「パターン照射モード」に於いては、所定の範囲に対して、赤外線を所定のパターンにて照射するところ、具体的には、例えば、赤外線が、スポット状、スリット状、ドット格子状、スリット格子状などの任意に設定されてよい所定のパターンにて強度が強くなるように或いはドットやスリットなどのパターン上のみで赤外線が伝播するように赤外線が投光される。「赤外線カメラ」は、赤外線に対して感度を有するこの分野で通常使用される赤外線画像を撮像できるものであってよい。「画像処理手段」は、任意の態様にて達成されてよく、例えば、コンピュータ装置であってよく、「輝度分布画像生成手段」、「対象測距手段」は、コンピュータ装置のプログラムに従った作動により達成可能である。所定の範囲に存在する「対象」とは、赤外線の反射により赤外線カメラにより撮像される画像に於いて検出可能な人、車両、路上又は路端の物体、表示、標識などであってよい。「輝度分布の画像」は、画像内の各画素の輝度が対象に於ける赤外線の反射光の強度に対応した画像、即ち、対象を通常の態様にて赤外線で撮像して得られる画像である。一方、上記の「パターン分布の画像」とは、上記の如く、画像内の各画素の輝度が、対象に対して所定のパターンにて赤外線を対象に照射した際の反射光の強度に対応した画像である。「パターン分布の画像」は、対象の表面に照射された赤外線のパターンが赤外線カメラの画像に於いて対象の凹凸に応じて変形するように撮像される。

本発明の装置の構成によれば、赤外線投光器に於いて、赤外線出射手段が設けられ、赤外線を実質的に均一に所定の範囲に照射する均一照射モードと、所定の範囲に対して赤外線を所定のパターンにて照射するパターン照射モードとにて赤外線が投光され、赤外線カメラは、均一照射モードのときには、所定の範囲が概ね一様に赤外線にて照らされた状態の画像を撮像し、パターン照射モードのときには、所定の範囲が所定のパターンにて照らされた状態の画像が撮像されることとなる。そして、均一照射モードの場合には、通常の態様の赤外線画像が得られる一方、パターン照射モードの場合には、対象までの距離及び対象の凹凸に応じてパターンの変形した赤外線画像が得られ、かかるパターンの変形から対象の表面上の各点までの距離が算出され、対象までの距離、対象の形状の情報を得ることが可能となり、対象の認識能の向上も期待される。そして、かかる本発明の装置の構成は、一組の赤外線投光器と赤外線カメラとで達成可能であるので、即ち、同一の赤外線投光器と赤外線カメラとをそのまま用いて、車両周辺の所定の範囲の全体的な赤外線画像を取得し、更に、対象の位置、形状などの情報をより高精度にて認識することを可能にする。

上記の構成に於いて、パターン照射モードの場合に、パターン分布の画像を用いた所定の範囲に於ける対象までの距離の検出は、典型的には、例えば、アクティブステレオ法を用いて達成されてよい。その場合、赤外線投光器と赤外線カメラの対象までの視差により、より具体的には、赤外線投光器から投光される赤外線の光線の角度と、赤外線カメラに於いて検出された対象上の赤外線の光線の反射点の角度と、赤外線投光器と赤外線カメラとの配置位置の距離とを用いて、対象上の反射点までの距離が算出される。従って、かかる演算を行うための手段が画像処理手段に於いて構成されてよい。アクティブステレオ法の具体的なアルゴリズムは、当業者に於いて任意に構成されてよい。

また、上記の構成に於いて、均一照射モードとパターン照射モードとは、交互に実行されてよい。従って、赤外線出射手段は、好ましくは、均一照射モードとパターン照射モードとを交互に切換えて実行できるよう構成されていてよい。赤外線出射手段に於いては、より具体的には、光源と赤外線の出射口との間にて出射口から伝播する赤外線の光線の断面形状を制御する光線制御手段が配置され、かかる光線制御手段は、光線の断面形状が出射口から伝播と共に拡大又は発散するよう光線の断面形状を形成する第一の状態と、出射口から伝播する光線の断面方向の面に於いて所定のパターン形状の部位のみに光線が通過するよう光線の断面形状を形成する第二の状態を有し、均一照射モードに於いて、第一の状態となり、パターン照射モードに於いて、第二の状態となるよう構成されていてよい。なお、上記の如き光線制御手段は、任意のＭＥＭＳ技術を用いたミラーデバイス（ＭＥＭＳミラーデバイス）にて実現されてよく、その場合、第一の状態と第二の状態との切換が迅速に達成可能となるので、車両周辺の所定の範囲の全体的な赤外線画像と対象の位置、形状などの情報とが交互に迅速に取得することが可能となる。

更に上記の構成に於いて、パターン照射モードにて車両周辺の所定の範囲内の対象までの距離を検出する場合に於いて、かかる距離は、対象上に於ける赤外線の反射した輝点が赤外線カメラにて検出できれば、検出可能であるので、一般に、均一照射モードに於いて鮮明に像が捉えられる距離よりも遠くの位置の距離まで検出可能である。特に、光線制御手段に於いて、均一照射モードにて所定の範囲内を一様に照射する場合に比して、パターン照射モードにて所定のパターン形状の部位の輝度を相対的に高くすることが可能となっている場合（均一照射モードでは光源から赤外線の光線を発散させるため、単位面積当たりの光量は距離が長くなるほど低減するが、パターン照射モードでは、光源から赤外線の光線を所定のパターン形状の部位のみに集光できるので、対象上の各点の光量を高くすることも可能である。）、赤外線カメラに於いて、均一照射モードにて観測可能な距離よりも遠くにある輝点を検知することが可能となり、従って、均一照射モードでは赤外線の光線が届かない範囲を超えて、対象の距離を検出することも可能となる。

かくして、上記の本発明によれば、車両の周辺に赤外線を投光して、その反射光を撮像して得られた画像により車両周辺の観測を行う装置であって、一組の赤外線投光器と赤外線カメラにて、車両周辺の所定の範囲の全体的な赤外線画像だけでなく、所定の範囲内に存在する対象の位置、形状などの情報をより高精度に得ることが可能となる。本発明の構成によれば、或る所定の範囲内に於いて、赤外線投光器と赤外線カメラが一組あればよいので、全体的な赤外線画像を得るための設備と、対象の位置、形状などの情報を得るための設備とを別々に用意する場合に比して、設備に要する空間を小さくでき、部品点数も少なくでき、コストも低減できることが期待される。また、全体的な赤外線画像に於ける対象の像の情報と対象の位置、形状などの情報とを組み合わせることで、より高精度に対象についての認識結果を得ることに利用されてもよい。本発明の装置は、従前の車両の周辺に赤外線を投光して、その反射光を撮像して得られた画像により車両周辺の観測を行う装置に比して、より高精度の観測が達成できることが期待されるので、車両の運転支援制御や自動運転制御などに於いて、夜間や照度の低い環境下での車両の周囲の状況を把握するために有利に採用されてよい。

本発明のその他の目的及び利点は、以下の本発明の好ましい実施形態の説明により明らかになるであろう。

図１（Ａ）は、本発明による車両の周辺検知装置の好ましい実施形態が搭載される車両の模式図である。図１（Ｂ）は、本発明による車両の周辺検知装置の実施形態の構成をブロック図の形式にて表した図である。図２（Ａ）、（Ｂ）は、本実施形態の車両の周辺検知装置の赤外線投光器に於ける赤外線の光線の制御の態様を模式的に表わした図である。（Ａ）は、均一照射モードにて赤外線を投光する状態であり、（Ｂ）は、パターン照射モードにて赤外線を投光する状態である。図３（Ａ）は、本実施形態の車両の周辺検知装置に於いて、均一照射モードにて赤外線を投光する場合に赤外線カメラの画面に対象の全体的な像が撮像されている状態を模式的に表わした図である。図３（Ｂ）は、本実施形態の車両の周辺検知装置に於いて、パターン照射モードにて赤外線を投光する場合に赤外線カメラの画面に赤外線のスポットが撮像されている状態を模式的に表わした図であり、図３（Ｃ）は、パターン照射モードにてアクティブステレオ法により、赤外線のスポットが観測された対象までの距離を検出する処理を説明する図である。図４は、本実施形態の車両の周辺検知装置の作動をフローチャートの形式に表した図である。

１０…車両
１２ＦＬ，ＦＲ，ＲＬ，ＲＲ…車輪
１４ｆ、Ｌ、Ｒ、ｂ…赤外線カメラ
１６ｆ、Ｌ、Ｒ、ｂ…赤外線投光器
１６ａ…光源
１６ｃ…光線制御デバイス
１６ｏ…赤外線出射口
１８…照度計
２０…電子制御装置
ｏｂ…対象
Ｈ…発散光
Ｐ…パターン光
ｐｐ…赤外線スポット
ＯＬ…光線

装置の構成
図１（Ａ）を参照して、本実施形態の車両の周辺検知装置１は、左右前輪１２ＦＬ、１２ＦＲと、左右後輪１２ＲＬ、１２ＲＲを有する自動車等の車両１０に搭載される。本実施形態の車両の周辺検知装置１に於いては、車両１０の前方、左右側方、後方をそれぞれ赤外線により観測するべく、赤外線カメラ１４ｆ、Ｌ、Ｒ、ｂと赤外線投光器１６ｆ、Ｌ、Ｒ、ｂとが、それぞれ、組になって、車両１０の対応する面に設けられてよい。そして、赤外線カメラ１４ｆ～ｂと赤外線投光器１６ｆ～ｂの作動制御と赤外線カメラ１４ｆ～ｂにて撮像された画像の処理を実行する電子制御装置２０が設けられる。また、車両１０にその周辺の照度を検出する照度計１８が設けられ、それにより検出された照度値が画像処理装置２０へ入力されるようになっていてよい。

上記の構成に於いて、赤外線カメラ１４ｆ、Ｌ、Ｒ、ｂは、この分野で通常用いられる形式の赤外線に於いて感度を有する撮像カメラであってよい。特に、より広い範囲の像が捉えられるように、カメラは、周辺からの光を魚眼レンズにて集光し結像する魚眼カメラであってよい。

赤外線投光器１６ｆ～ｂは、この分野で通常用いられる赤外線を発光する光源と、その赤外線の光線の断面形状を制御する光線制御デバイスと、その断面形状が制御された赤外線光線を出射する出射口とを有する。光源としては、この分野で赤外線発光のために通常用いられているＬＥＤ光源、レーザー光源などが用いられてよい。赤外線の波長は、赤外線画像の撮影に通常用いられる波長が選択されてよい。光線制御デバイスは、後により詳細に説明される如く、観測範囲を概ね一様に照らすように赤外線を投光する均一照射モードと、観測範囲に対して光線の断面が所定のパターン形状となるパターン光として赤外線を投光するパターン照射モードとを実現するよう構成されたデバイスであり、かかる光線制御デバイスは、例えば、任意のＭＥＭＳ技術を用いたミラーデバイス（ＭＥＭＳミラーデバイス）を用いて達成可能である。

上記の電子制御装置２０は、コンピュータにより実現されてよく、通常の形式の、双方向コモン・バスにより相互に連結されたＣＰＵ、ＲＯＭ、ＲＡＭ及び入出力ポート装置を有するコンピュータ及び駆動回路を含んでいてよい。以下に説明される電子制御装置２０に於ける各部の構成及び作動は、それぞれ、プログラムに従ったコンピュータの作動により実現されてよい。

図１（Ｂ）を参照して、観測制御装置２０に於いては、概して述べれば、赤外線投光器１６ｆ～ｂと赤外線カメラ１４ｆ～ｂの動作を制御する観測制御部分と、赤外線カメラ１４ｆ～ｂにより得られた画像の処理を実行する画像処理部分とが構成される。観測制御部分に於いては、赤外線撮像指示部、撮像モード指示部及び光線制御指示部が設けられ、画像処理部分に於いては、画像信号受信部、画像生成部、測距部及び画像認識処理部が設けられてよい。より詳細には、観測制御部分に於いて、赤外線撮像指示部は、照度計１８にて検出される車両周辺の照度値を受信して、かかる照度値が所定の値（可視光認識可能照度）を下回ると、赤外線投光器１６ｆ～ｂと赤外線カメラ１４ｆ～ｂの各々に対して、赤外線撮像実行の指示を与えるよう構成される。撮像モード指示部は、赤外線撮像の指示に応答して、後に説明される如く、赤外線の撮像モードを均一照射モードとパターン照射モードのうちのいずれかに決定し、その指示を光線制御指示部と画像処理部分の画像生成部へ与えるよう構成される。光線制御指示部は、撮像モード指示部からの撮影モードの指示に応じて、赤外線投光器に於ける光線制御デバイスへ制御指令を与え、光線制御デバイスの状態を制御するよう構成される。一方、画像処理部分に於いては、画像生成部が画像信号受信部に於いて受信された赤外線カメラ１４ｆ～ｂからの輝度信号から画像データを生成するよう構成される。ここに於いて、画像生成部は、撮像モード指示部からの撮像モードの指示に応じて、撮影モードが均一照射モードのときには、撮像された範囲の輝度分布で構成される輝度分布画像（通常の赤外線画像）を生成し、撮像モードがパターン照射モードのときには、後に説明される如く、パターン画像、即ち、所定のパターンにて照射された赤外線光線が当たった部位の像に対応する画素のみ有意な輝度が与えられている画像を生成する。測距部は、パターン画像を用いて、後に説明される如く、アクティブステレオ法に従って撮像された範囲の対象までの距離を算出するよう構成される。そして、画像認識部は、画像生成部の生成した輝度分布画像と測距部にて得られた撮像範囲の対象の距離情報とを参照して、種々の態様にて画像内の対象を認識し、その認識結果を運転支援制御や自動運転制御に於いて利用されるべく、対応する制御装置へ送出するようになっていてよい。

装置の作動
（１）概要
概して述べれば、本実施形態の赤外線を用いた車両の周辺検知装置は、夜間など、車両周辺の照度が低くなったときに、観測した範囲に赤外線を投光して、その反射光による周囲の像を赤外線カメラにて撮像して、車両周囲の状況を検知する赤外線撮像技術を利用した装置である。かかる赤外線撮像技術に於いて、「発明の概要」に於いても説明されている如く、従前では、観測画像に於ける画像処理・認識技術の対象物の認識と位置等の検出の性能或いはそれらの結果の精度は、可視光画像の場合に比して十分でない場合があり、通常用いられる車載の赤外線投光器にて観測したい範囲に均一に照射した場合、赤外線の照射距離は、数メートル程度であり、カメラ自体が認識可能な距離範囲全域の対象物の認識、位置等の検出が十分な程度にて達成できない場合があった。その理由の一つは、赤外線投光器にて観測範囲に均一に照射する際には、赤外線の光線は発散光して出射されることとなり、出射後の赤外線の光線に於いて単位面積当たりに照射される強度は、出射口の距離が長くなるほど低減し、対象に於ける反射光に於いて十分な強度が得られなくなってしまうことによる。

そこで、本実施形態に於いては、赤外線投光器から均一に赤外線光線を照射して車両周辺の像を撮像する態様と共に、赤外線投光器から所定のパターンにて赤外線光線を出射し、観測範囲内の対象に於ける所定のパターンの赤外線光線で照射された部位の像を赤外線カメラで撮像し、赤外線投光器と赤外線カメラとの視差により、アクティブステレオ法により、赤外線光線の反射した対象までの距離を算出し、得られた距離情報を車両周辺の検知・認識に利用できるようにすることが試みられる。かかる本実施形態の構成に於いては、車載の赤外線投光器として、通常用いられる光源に加えて、均一照射モードとパターン照射モードとを切換えて実現するべく光線制御デバイスを採用した構成のものを用い、赤外線カメラとして、通常用いられるカメラを用いることで、通常の赤外線画像に加えて、観測範囲に於ける対象までの距離情報から対象の位置、対象の凹凸形状の情報が得られることとなり、車両周辺の検知・認識の精度の向上への寄与が期待される。

（２）撮像モード
本実施形態の装置では、撮像モードとして、上記の如く、観測範囲を赤外線にて概ね一様に照らすように投光器から赤外線を投光する均一照射モードと、観測範囲を所定のパターンの赤外線光線にて照射するように投光器から赤外線を投光するパターン照射モードとの二つのモードが実行される。かかるモードの切換は、図２（Ａ）、（Ｂ）に模式的に描かれている如く、赤外線光線が所望の態様にて出射口１６ｏから出射するように、赤外線投光器の光源１６ａからの赤外線光線の断面形状を光線制御デバイス１６ｃに於いて適宜制御することにより達成される。一方、赤外線カメラは、いずれのモードに於いても受光面の各画素に到達する輝度を検出すればよく、モードによって異なることなく作動されてよい。

（ａ）均一照射モード
図２（Ａ）を参照して、均一照射モードに於いては、出射口１６ｏから出射される赤外線光線が観測範囲全域に概ね一様に広がる発散光Ｈとなるように、光線制御デバイス１６ｃにて赤外線投光器の光源１６ａからの赤外線光線ＯＬの断面形状が調整される。具体的には、発散光Ｈ状の赤外線光線は、光線制御デバイス１６ｃを用いて、赤外線投光器の光源１６ａからの赤外線光線ＯＬの断面を光学的に拡張することにより、或いは、観測範囲全域を網羅するように細い赤外線光線ＯＬを高速にて走査することにより達成可能である。なお、均一照射モードに於いて、観測範囲全域が広過ぎると、単位面積当たりの光量が低減して十分な輝度にて画像を撮像できなくなるので、適当な輝度が得られるように観測範囲の大きさが調節されてよい。

そして、均一照射モードに於いて、赤外線カメラには、赤外線にて概ね一様に照らされた車両の周辺の対象の像が撮像され、画像生成部では、赤外線カメラから送信されてくる輝度信号を用いて、図３（Ａ）に模式的に描かれている如く、観測範囲内の対象ｏｂの表面全域の赤外線の反射光の強度に応じた輝度分布の画像、即ち、通常の赤外線画像が生成される。通常の光量にて赤外線の投光をした場合、画像に於いては、車両から数メートルの範囲の対象の像が認識可能となる。

（ｂ）パターン照射モード
パターン照射モードに於いては、図２（Ｂ）に模式的に描かれている如く、出射口１６ｏから出射される赤外線光線が観測範囲の一部のみを所定のパターン形状にて照射するパターン光Ｐとなるように、光線制御デバイス１６ｃにて赤外線投光器の光源１６ａからの赤外線光線ＯＬの断面形状が調整される。発散光Ｈ状の赤外線光線は、光線制御デバイス１６ｃを用いて、赤外線投光器の光源１６ａからの赤外線光線ＯＬの断面を、所定のパターン形状、例えば、スポット状、スリット状、ドット格子状、スリット格子状が形成されるように変形又は調整することにより、或いは、観測範囲が所定のパターン形状にて照射されるように細い赤外線光線ＯＬを高速にて走査することにより達成可能である。

そして、パターン照射モードに於いて、赤外線カメラには、観測範囲内の対象に於ける、所定のパターン形状にて赤外線光線が当たった部位のみが有意な輝度を有する像が撮像され、画像生成部では、赤外線カメラから送信されてくる輝度信号を用いて、図３（Ｂ）に模式的に描かれている如く、観測範囲内の対象の表面ｏｂのうち、所定のパターン形状にて赤外線光線ｐｐが当たった部位のみに対応する画素に有意な輝度値が与えられているパターン画像が生成される。

ここで生成されるパターン画像に関して、赤外線投光器から投光された所定のバターンの赤外線光線の反射点の像を赤外線カメラで撮像する構成に於いて、赤外線投光器と赤外線カメラとの位置が離れている場合には、赤外線投光器と赤外線カメラとの間に赤外線光線の反射点までの視差があるので、パターン画像上の赤外線光線のパターン光が当たった各点（スポット）ｐｐの像の位置は、車両から各点までの距離によって変化することとなる。かくして、その視差により、車両の表面（赤外線投光器と赤外線カメラが設置された表面）から赤外線光線のパターンに於ける各点ｐｐまでの距離を検出することが可能である（アクティブステレオ法）。具体的には、図３（Ｃ）に模式的に描かれている如く、対象ｏｂ上の赤外線光線のスポットが当たった或る点ｐｐまでの距離ｌは、赤外線投光器１６と赤外線カメラ１４との間の距離ｄ、赤外線投光器１６と赤外線カメラ１４とを結ぶ線と赤外線投光器１６及び赤外線カメラ１４からの点ｐｐの方向との成す角α、βを用いて、
ｌ＝ｄ（１／tanα＋１／tanβ） …（１）
により与えられる。パターン画像上の撮像された赤外線光線のスポットの各点についての角度α、βは、赤外線投光器から光線を出射するとき角度、及び、パターン画像上での各点の像の位置からそれぞれ決定できるので、それらの角度を用いて、パターン画像上の撮像された赤外線光線のスポットの各点までの距離が算出され、これにより、観察範囲内の対象ｏｂの位置或いは更に対象のｏｂの形状が検出できることとなる。なお、検出された距離の情報は、例えば、画像の各画素に対して距離を付与した距離分布画像として表されてよい。

ところで、上記のパターン照射モードに於いて距離の検出可能な範囲は、均一照射モードに於ける観測可能範囲の数メートルよりも長くなることが期待される。例えば、パターン照射モードにて赤外線光線を投光する際には、局所的に赤外線光線を照射することとなるので、光線制御デバイスによる光線断面形状の制御態様によっては、赤外線光線の照射された点に於ける光強度を均一照射モードの場合よりも相対的に高くすることが可能となる。その場合、より遠くまで、より高い強度にて赤外線光線が届くこととなり、かくして、より遠くの位置に在る対象に於ける赤外線光線の反射点を撮像可能となるので、より遠くの位置に在る対象までの距離が検出できることが期待される。また、赤外線光線の照射された点に於ける光強度が均一照射モードの場合と変わらない場合であっても、パターン照射モードに於いては、画像上で対象に於ける赤外線光線の反射点の位置のみが検出できればよく、かかる反射点の位置は、均一照射モードに於ける画像に於いて対象の像を認識する場合に要求される像の鮮明さ（輝度のコントラスト）がなくても検出されるので、均一照射モードで認識可能な対象の位置よりも遠くにある対象の位置も検出できることが期待される。

上記の如く、均一照射モードで得られた観測範囲の赤外線による輝度分布画像と、パターン照射モードで得られた観測範囲の対象までの距離の情報は、図１（Ｂ）の説明に関連して述べた如く、画像認識部に於いて、種々の態様にて画像内の対象を認識する処理に於いて利用されてよい。特に、パターン照射モードで得られた観測範囲の対象までの距離の情報は、均一照射モードによる輝度分布画像では認識できない距離にある対象の認識も可能となることが期待される。

（３）処理過程
既に述べた如く、本実施形態の車両の周辺検知装置に於いては、照度計に計測された車両周辺の照度値が所定値を下回ると、赤外線による車両周辺の観測が実行される。かかる観測に於いては、均一照射モードが実行され、その後、光線制御デバイスが切換えられて、パターン照射モードが実行されてよい。

図４のフローチャートを参照して、具体的な装置の処理過程に於いては、まず、照度計から車両周辺の照度値が取得され（ステップ１）、照度値が可視光認識可能照度値を上回っているか否かが判定される（ステップ２）。可視光認識可能照度とは、可視光による撮像されたカメラ画像に於いて対象を認識するのに必要な最低の照度である。車両周辺の照度値が可視光認識可能照度値を上回っているときには、車外の可視光の環境下に於けるカメラ画像が取得され、その画像に於いて、対象の認識が実行されてよい（ステップ３）。

一方、車両周辺の照度値が可視光認識可能照度値を下回っているときには、赤外線による車両周辺の観測が選択され、まず、均一照射モードによる赤外線画像の取得が指令される（ステップ４）。これにより、光線制御デバイスは、均一照射モードによる赤外線の投光をする状態（第一の状態）に制御され、この状態にて、車両周辺の観測範囲への赤外線の投光と赤外線カメラによる観測範囲の撮像が実行される（ステップ５）。なお、観測範囲は、車両の前方、左右側方及び後方であってよく、その場合には、赤外線投光器１６ｆ～ｂ、赤外線カメラ１４ｆ～ｂに制御指令が送られるが、車両の前方が前照灯にて照明されているときには、それによる可視光の観測が可能であるので、その場合には、赤外線による観測範囲は、車両の左右側方及び後方のみでよく、赤外線画像の取得指令は、赤外線投光器１６Ｒ、Ｌ、ｂ、赤外線カメラ１４Ｒ、Ｌ、ｂに与えられてよい。そして、赤外線カメラは、受光面の各画素の輝度をカメラ信号として、画像処理部へ送信し、画像生成部に於いて、観測範囲全域の輝度分布の画像、即ち、通常の赤外線画像が生成される（ステップ６－画像生成部は、輝度分布画像生成手段として機能する。）。

上記の如く、均一照射モードによる赤外線画像の取得が為されると、パターン照射モードによる赤外線画像の取得が指令され（ステップ７）、これにより、光線制御デバイスは、パターン照射モードによる赤外線の投光をする状態（第二の状態）に制御され、この状態にて、車両周辺の観測範囲への赤外線の投光と赤外線カメラによる観測範囲の撮像が実行される（ステップ５８）。なお、このモードに於いても、観測範囲は、車両の前方、左右側方及び後方であってよく、その場合には、赤外線投光器１６ｆ～ｂ、赤外線カメラ１４ｆ～ｂに制御指令が送られるが、車両の前方が前照灯にて照明されているときには、その可視光による観測が可能であるので、その場合には、赤外線による観測範囲は、車両の左右側方及び後方のみでよく、赤外線画像の取得指令は、赤外線投光器１６Ｒ、Ｌ、ｂ、赤外線カメラ１４Ｒ、Ｌ、ｂに与えられてよい。そして、赤外線カメラは、受光面の各画素の輝度をカメラ信号として、画像処理部へ送信し、画像生成部に於いて、上記の如き観測範囲のパターン画像が生成される（ステップ９）。しかる後、測距部は、かかるパターン画像を用いて観測範囲内の対象上の赤外線光線の反射点までの距離を算出する（ステップ１０）。具体的には、例えば、観測範囲内に所定のパターンにて投光された赤外線光線の出射角度（図３（Ｃ）中のα）を記録しておき、また、パターン画像内の赤外線光線の反射点の像の各々の位置から、対応する反射点の像のカメラへの入射角度（図３（Ｃ）中のβ）を決定し（各画素の位置が像の方向の角度に対応している。）、それらの出射角度と入射角度と投光器とカメラとの距離とから式（１）を用いて、観測範囲内の対象に於ける赤外線光線の各反射点まで距離が算出されてよい。

かくして、観測範囲全域の輝度分布の画像と観測範囲内の対象までの距離情報が得られると、画像認識処理部は、かかる画像と情報を用いて、任意の態様にて観測範囲内の対象の認識を実行するようになっていてよい（ステップ１１）。そして、認識結果は、車両の運転支援制御や自動運転制御のために利用されてよい。

上記の本実施形態の車両の周辺検知装置に於いて、理解されるべきことは、観測範囲全域の輝度分布の画像と観測範囲内の対象までの距離情報の取得のためのパターン画像との撮像に、別々の赤外線投光器と赤外線カメラを準備する必要はなく、それらの画像は、光線制御デバイスの状態を切換えることにより、同一の赤外線投光器と赤外線カメラを用いて撮像可能であるという点である。かかる構成により、装置の寸法が比較的に小さく抑えることができ、費用の節約も期待される。また、本実施形態の装置によれば、通常の赤外線画像による観測の場合に比して、より容易に観測範囲内の対象までの距離情報が得られる点でも有利である。通常の赤外線画像からでも、深層学習などの機械学習や複雑な解析手法を用いれば、観測範囲内の対象までの距離が検出可能な場合があるが、その場合には、一般に演算負荷を高くなり、演算に要する時間やコストが大きくなる可能性がある。一方、本実施形態の場合に、パターン照射モードに於ける測距に要する処理は、比較的簡単で、低負荷にて達成され、これにより、測距のために要する演算時間やコストが抑制できることが期待される。即ち、容易に、通常の赤外線画像に、対象までの距離情報を付与したデータの取得が達成されることとなる。

以上の説明は、本発明の実施の形態に関連してなされているが、当業者にとつて多くの修正及び変更が容易に可能であり、本発明は、上記に例示された実施形態のみに限定されるものではなく、本発明の概念から逸脱することなく種々の装置に適用されることは明らかであろう。

Claims

車両の周辺検知装置であって、
前記車両の周辺に於ける所定の範囲に赤外線を投光する赤外線投光器と、
前記赤外線にて照明された前記所定の範囲を撮像する赤外線カメラと、
前記赤外線カメラの撮像した画像を処理する画像処理手段と
を含み、
前記赤外線投光器が、前記赤外線を発光する赤外線光源と、前記赤外線を実質的に均一に前記所定の範囲に照射する均一照射モードと前記赤外線を所定のパターンにて前記所定の範囲に照射するパターン照射モードとを切換えて前記赤外線を出射する赤外線出射手段とを含み、
前記画像処理手段が、前記均一照射モードにて前記赤外線が前記所定の範囲に投光されているときに、前記赤外線カメラにより得られた前記所定の範囲に存在する対象にて反射された前記赤外線による前記所定の範囲の輝度分布の画像を生成する輝度分布画像生成手段と、前記赤外線出射手段に於いて前記パターン照射モードにて前記赤外線が前記所定の範囲に投光されているときには、前記赤外線カメラにて撮像された前記所定の範囲に存在する対象にて反射された前記赤外線による前記所定の範囲のパターン分布の画像を生成し、前記パターン分布の画像に基づいて前記所定の範囲に於ける対象まで距離を検出する測距手段とを含む装置。
請求項１の装置であって、前記赤外線出射手段が、前記均一照射モードと前記パターン照射モードとを交互に切換えるよう構成されている装置。
請求項１又は２の装置であって、前記測距手段が前記パターン分布の画像からアクティブステレオ法を用いて前記所定の範囲に於ける対象まで距離を検出する装置。
請求項１乃至３のいずれかの装置であって、前記赤外線出射手段が、前記光源と前記赤外線の出射口との間にて配置され、前記出射口から伝播する前記赤外線の光線の断面形状を制御する光線制御手段を有し、該光線制御手段が、前記光線の断面形状が前記出射口から伝播と共に拡大するよう光線の断面形状を形成する第一の状態と、前記出射口から伝播する前記光線の断面方向の面に於いて前記所定のパターン形状の部位のみに光線が通過するよう光線の断面形状を形成する第二の状態を有し、前記均一照射モードに於いて、前記第一の状態となり、前記パターン照射モードに於いて、前記第二の状態となるよう構成されている装置。
請求項４の装置であって、前記光線制御手段が、ＭＥＭＳミラーデバイスである装置。