JP2023039777A - 障害物検出装置、障害物検出方法および障害物検出プログラム - Google Patents

Abstract

【課題】路面高さを精度よく推定して物体の位置を精度よく補正し、障害物を精度よく検出できる障害物検出技術を提供する。【解決手段】障害物検出装置１０は、撮像装置３０から車両の周囲の撮像画像を取得する情報取得部２１と、撮像画像上の特徴点の３次元位置を表す３次元推定画像を作成し車両の周囲の物体の３次元位置を推定する３次元推定部２２と、撮像画像上の物体を少なくとも路面クラスを含む１以上のクラスに分類した属性画像を作成する画像分類部２３と、３次元推定画像と属性画像とを融合して特徴点とクラスとを対応付けし路面クラスに対応付けられた特徴点である路面点を抽出する路面点抽出部２４と、路面点に基づいて車両の周囲の路面の高さを推定する路面高さ推定部２６と、路面の高さに基づいて車両の周囲の物体の３次元位置を補正する補正部２７と、車両の周囲の物体の３次元位置に基づいて障害物を検出する障害物検出部２８とを備える。【選択図】 図１

Description

本発明は、車両の周囲の撮像画像に基づいて障害物を検出する障害物検出装置、障害物検出方法および障害物検出プログラムに関する。

近年、自動運転への市場の期待が高まっており、自動で駐車するアプリケーションなども市場で求められている。自動で駐車を行う等を目的として車両を制御するためには、車両の周辺の状況を把握する必要があるため、車体の周辺に撮像装置が設けられる。車両を適切に制御するために、撮像装置により撮像された撮像画像を用いて障害物を検出する障害物検出システムが開発されている。例えば、特許文献１では、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）により推定した物体の３次元位置に基づいて、物体の高さが所定よりも高い場合に障害物として検出する。

米国特許第１０３１８８２６号明細書

撮像画像を用いて静止立体物としての障害物認識を行う場合、撮像装置の搭載情報であるキャリブレーション値を用いて画像変換や幾何計算を行う。このため、障害物の高さを推定するためには、キャリブレーション値の精度が確保されていることが重要であり、その中でも、撮像装置の搭載高さの精度は特に重要である。撮像装置の搭載高さにずれが生じると、路面高さにずれが生じ、車両の周囲の物体の３次元位置の推定結果に影響を及ぼす。撮像装置の搭載高さは、車両のエアサスペンションや積載量の影響を受けて一時的に変動することがあり、この場合、障害物の高さを適切に検出できないことが懸念される。

上記に鑑み、本発明は、路面高さを精度よく推定して物体の位置を精度よく補正し、障害物を精度よく検出できる障害物検出技術を提供することを目的とする。

本発明は、撮像装置により撮像された車両の周囲の撮像画像に基づいて、前記車両の周囲の障害物を検出する障害物検出装置を提供する。この障害物検出装置は、前記車両の周囲の撮像画像を取得する情報取得部と、前記撮像画像上の特徴点の３次元位置を表す３次元推定画像を作成し、前記３次元推定画像に基づいて前記車両の周囲の物体の３次元位置を推定する３次元推定部と、前記撮像画像上の物体を少なくとも路面クラスを含む１以上のクラスに分類した属性画像を作成する画像分類部と、前記３次元推定画像と前記属性画像とを融合して前記特徴点と前記クラスとを対応付けし、前記路面クラスに対応付けられた前記特徴点である路面点を抽出する路面点抽出部と、前記路面点に基づいて前記車両の周囲の路面の高さを推定する路面高さ推定部と、推定された前記路面の高さに基づいて、前記車両の周囲の物体の３次元位置を補正する補正部と、前記車両の周囲の物体の３次元位置に基づいて、前記車両の周囲の障害物を検出する障害物検出部と、を備える。

本発明に係る障害物検出装置によれば、路面点抽出部は、３次元推定部により作成された３次元推定画像と、画像分類部により作成された属性画像とを融合することにより、３次元推定画像における特徴点と、属性画像におけるクラスとを対応付けする。路面点抽出部は、さらに、路面点クラスに対応付けられた特徴点を路面点として抽出するため、精度よく路面点を抽出できる。路面点高さ推定部は、上記のように精度よく抽出された路面点に基づいて、路面の高さを推定するため、精度よく路面高さを推定できる。補正部は、精度よく推定された路面点高さに基づいて、車両の周囲の物体の３次元位置を補正するため、物体の３次元位置の精度を確保することができ、障害物検出部は、適宜補正された高精度の物体の３次元位置に基づいて、高精度に障害物を検出することができる。障害物検出装置によれば、車両のエアサスペンションや積載量の影響を受けて、撮像装置の搭載高さが一時的に変動する場合にも、路面高さを精度よく推定して物体の位置を精度よく補正し、障害物を精度よく検出できる。

また、本発明は、撮像装置により撮像された車両の周囲の撮像画像に基づいて、前記車両の周囲の障害物を検出する障害物検出装置に適用される障害物検出方法を提供することもできる。この障害物検出方法は、前記車両の周囲の撮像画像を取得する情報取得ステップと、前記撮像画像上の特徴点の３次元位置を表す３次元推定画像を作成し、前記３次元推定画像に基づいて前記車両の周囲の物体の３次元位置を推定する３次元推定ステップと、前記撮像画像上の物体を少なくとも路面クラスを含む１以上のクラスに分類した属性画像を作成する画像分類ステップと、前記３次元推定画像と前記属性画像とを融合して前記特徴点と前記クラスとを対応付けし、前記路面クラスに対応付けられた前記特徴点である路面点を抽出する路面点抽出ステップと、前記路面点に基づいて前記車両の周囲の路面の高さを推定する路面高さ推定ステップと、推定された前記路面の高さに基づいて、前記車両の周囲の物体の３次元位置を補正する補正ステップと、前記車両の周囲の物体の３次元位置に基づいて、前記車両の周囲の障害物を検出する障害物検出ステップと、を含む。

また、本発明は、撮像装置により撮像された車両の周囲の撮像画像に基づいて、前記車両の周囲の障害物を検出するために、記憶媒体に格納され、プロセッサに実行させる処理を含む障害物検出プログラムを提供することもできる。この障害物検出プログラムに係る前記処理は、前記車両の周囲の撮像画像を取得する情報取得ステップと、前記撮像画像上の特徴点の３次元位置を表す３次元推定画像を作成し、前記３次元推定画像に基づいて前記車両の周囲の物体の３次元位置を推定する３次元推定ステップと、前記撮像画像上の物体を少なくとも路面クラスを含む１以上のクラスに分類した属性画像を作成する画像分類ステップと、前記３次元推定画像と前記属性画像とを融合して前記特徴点と前記クラスとを対応付けし、前記路面クラスに対応付けられた前記特徴点である路面点を抽出する路面点抽出ステップと、前記路面点に基づいて前記車両の周囲の路面の高さを推定する路面高さ推定ステップと、推定された前記路面の高さに基づいて、前記車両の周囲の物体の３次元位置を補正する補正ステップと、前記車両の周囲の物体の３次元位置に基づいて、前記車両の周囲の障害物を検出する障害物検出ステップと、を含む。

上記の障害物検出方法および障害物検出プログラムによれば、障害物検出装置と同様に、車両のエアサスペンションや積載量の影響を受けて、撮像装置の搭載高さが一時的に変動する場合にも、路面高さを精度よく推定して物体の位置を精度よく補正し、障害物を精度よく検出できる。

第１実施形態に係る障害物検出装置を含む車両用の障害物検出システムを示す図。 撮像画像と３次元推定画像とＳＳ画像との間の画像処理について説明する図。 路面点の度数分布に基づく路面高さの推定を説明する図。 第１実施形態に係る画像認識／障害物検出処理のフローチャート。 第２実施形態に係る画像認識／障害物検出処理のフローチャート。

（第１実施形態）
図１は、車両に搭載され、車両の周辺の障害物を検出する障害物検出システムを示す。障害物検出システムは、撮像装置３０と、障害物検出装置１０と、表示装置としてのディスプレイ１７とを備えている。

撮像装置３０は、フロントカメラ３１、リアカメラ３２、左側カメラ３３、右側カメラ３４を含む。フロントカメラ３１、リアカメラ３２、左側カメラ３３、および右側カメラ３４は、それぞれ単眼のデジタルカメラである。なお、以下、フロントカメラ３１、リアカメラ３２、左側カメラ３３、および右側カメラ３４を簡略化してカメラ３１、３２、３３、３４と称することがある。カメラ３１、３２、３３、３４には、それぞれの視野角がそれぞれ１８０度に設定されている広角レンズ（具体的には、魚眼レンズ）が採用されている。

フロントカメラ３１は、例えば、車両の進行方向前端（例えば、ラジエータグリル）に取り付けられており、車両の進行方向前方を撮像する。リアカメラ３２は、車両の進行方向後端に取り付けられており、車両の後方を撮像する。左側カメラ３３は、例えば、車両の左ドアミラーに取り付けられており、車両の車両幅方向左側を撮像する。右側カメラ３４は、例えば、車両の右ドアミラーに取り付けられており、車両幅方向右側を撮像する。

カメラ３１、３２、３３、３４は、それぞれ、車両の周囲を撮像して、この撮像画像を示す画像データを障害物検出装置１０の映像信号入力部１１に出力する。映像信号入力部１１は、カメラ３１、３２、３３、３４のそれぞれから出力される画像情報を取得して、取得した画像情報を画像処理部１３に出力する。

障害物検出装置１０は、マイクロコンピュータ等を主体として構成されており、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏおよびこれらの構成を接続する車載通信バス４０と等を備えている。具体的には、障害物検出装置１０は、映像信号入力部１１、通信インタフェイス（通信Ｉ／Ｆ）１２、画像処理部１３、映像信号出力部１４，メモリ１５、電源部１６を備えている。

通信Ｉ／Ｆ１２は、車載通信バス４０を介して車速センサ、舵角センサ、ソナー、シフトレンジ等に接続されており、車両の車速、舵角、シフトレンジ、ソナー情報等の車両情報を取得する。より具体的には、例えば、車速センサから、車両の速度である自車速度Ｖｃに応じた信号が入力される。舵角センサから、車両の運転者によるステアリング操作に基づく車両の操舵角θｓに応じた信号が入力される。ソナーから、超音波を探査波として車両周辺の障害物の探査した探査結果を示す信号が入力される。シフトレンジから、オートマチックトランスミッションのレンジ情報が入力される。このことにより、自車速度Ｖｃ、操舵角θｓ、探査波による車両周囲の探査結果、およびシフトレンジ情報が入力される。

メモリ１５は、記憶部に相当し、ＲＡＭ、ＲＯＭ、書き込み可能な不揮発性記憶媒体等を含んでいる。メモリ１５は、画像処理部１３によって実行されるコンピュータプログラムを記憶している。

電源部１６は、車両の電源スイッチがオンされたときに、画像処理部１３がプログラムを実行するための電力を画像処理部１３に供給する。映像信号出力部１４は、画像処理部１３によって処理された画像情報をディスプレイ１７に出力する。

画像処理部１３は、画像認識／障害物検出処理部２０を有している。画像認識／障害物検出処理部２０は、情報取得部２１，３次元推定部２２，セマンティックセグメンテーション（Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ：ＳＳ）部２３，路面点抽出部２４，判定部２５，路面高さ推定部２６，補正部２７，障害物検出部２８を備えている。画像処理部１３は、メモリ１５に予め記憶されているコンピュータプログラムを実行することにより、画像認識／障害物検出処理を実行する。

情報取得部２１は、映像信号入力部１１から入力された車両の周囲の撮像画像を取得する。例えば、図２に示すように、撮像装置３０において撮像された魚眼レンズによる撮像画像５０を取得する。撮像画像５０には、空５１ａ、立体静止物５１ｂ，５１ｃ、道路５２ａ、道路５２ａ上の白線５２ｂ，５２ｃ、タイヤ止め５３ａ～５３ｄが撮像されている。また、情報取得部２１は、通信Ｉ／Ｆ１２から入力された車両情報を取得する。

３次元推定部２２は、撮像画像上の特徴点の３次元位置を表す３次元推定画像を作成し、３次元推定画像に基づいて車両の周囲の物体の３次元位置を推定する。３次元推定部２２は、図２に示すように、撮像画像５０をＳｆＭにより画像変換して、３次元推定画像としてのＳｆＭ画像６０を作成する。撮像画像５０からＳｆＭ画像６０への画像変換を示す変換ｆ１は、ＳｆＭ順変換ルックアップテーブル（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ：ＬＵＴ）を用いた座標変換により実行できる。ＳｆＭ画像６０から撮像画像５０への画像変換を示す変換ｆ２は、ＳｆＭ順変換ＬＵＴの逆行列であるＳｆＭ逆変換ＬＵＴを用いた座標変換により実行できる。

ＳｆＭ画像６０においては、特徴点６１～６３が表示される。撮像画像５０とＳｆＭ画像６０とを比較すると、特徴点６１は、立体静止物５１ｂ，５１ｃ上に表示された特徴点であり、特徴点６２は、道路５２ａおよび白線５２ｂ，５２ｃ上に表示された特徴点であり、特徴点６３は、タイヤ止め５３ａ～５３ｄ上に表示された特徴点である。

ＳＳ部２３は、撮像画像上の物体を少なくとも路面クラスを含む１以上のクラスに分類した属性画像を作成する画像分類部の一例である。図２に示すように、撮像画像５０をＳＳにより画像変換して、属性画像としてのＳＳ画像７０を作成する。撮像画像５０からＳＳ画像７０への画像変換を示す変換ｆ３は、ＳＳ順変換ＬＵＴを用いた座標変換により実行できる。ＳＳ画像７０から撮像画像５０への画像変換を示す変換ｆ４は、ＳＳ順変換ＬＵＴの逆行列であるＳＳ逆変換ＬＵＴを用いた座標変換により実行できる。

ＳＳ画像７０においては、クラス分類として、背景クラス７１、路面クラス７２、タイヤ止め／縁石クラス７３が色分けされ、分割されている。空５１ａおよび立体静止物５１ｂ，５１ｃは、背景クラス７１に分類され、道路５２ａおよび白線５２ｂ，５２ｃは、路面クラスに分類され、タイヤ止め５３ａ～５３ｄは、タイヤ止め／縁石クラス７３に分類されている。

路面点抽出部２４は、３次元推定画像と属性画像とをフュージョン（融合）して特徴点とクラスとを対応付けし、路面クラスに対応付けられた特徴点である路面点を抽出する。ＳｆＭ画像６０とＳＳ画像７０とのフュージョンは、例えば、ＳｆＭ画像６０に対し変換ｆ２を実行し、さらに、変換ｆ３を実行することにより実現できる。

ＳｆＭ画像６０とＳＳ画像７０とのフュージョンにより、ＳｆＭ画像６０における特徴点６１～６３は、それぞれ、ＳＳ画像７０における背景クラス７１、路面クラス７２、タイヤ止め／縁石クラス７３に対応付けされる。路面クラス７２に対応付けされた特徴点６２が路面点として抽出される。

判定部２５は、路面点についての各種判定を実行する。例えば、路面点の個数が所定の第１閾値Ｘ１以上であるか否かを判定するように構成されていてもよい。または、路面高さの推定に用いた路面点の個数が所定の第２閾値未満である場合には、推定信頼度が低いと判定し、路面高さの推定に用いた路面点の個数が所定の第２閾値以上である場合には、推定信頼度が高いと判定するように構成されていてもよい。第２閾値は、第１閾値と同じ値であってもよいし、異なる値であってもよい。

路面高さ推定部２６は、路面点に基づいて車両の周囲の路面の高さを推定する。例えば、図３に示すように、抽出した複数の路面点について、路面点高さの度数分布を作成し、度数分布の頂点となる路面高さｈ１を路面高さとして推定するように構成されていてもよい。

路面高さ推定部２６は、図３に示すような路面点の高さの度数分布について、その信頼性を判定し、度数分布が信頼できると判定した場合に、路面高さの度数分布に基づいて路面の高さを推定するように構成されていてもよい。例えば、度数分布が正規分布と見なせる場合には、度数分布が信頼できると判定し、路面高さを推定してもよい。路面高さの推定精度をより向上させることができる。

路面高さ推定部２６は、判定部２５により、抽出された路面点の数が所定の第１閾値以上であると判定された場合に、路面の高さを推定するように構成されていてもよい。路面高さの推定精度をより向上させることができる。

路面高さ推定部２６は、所定の期間継続して路面クラスに対応付けられた路面点に基づいて路面の高さを推定するように構成されていてもよい。路面高さの推定精度をより向上させることができる。この場合、例えば、判定部２５は、路面点が所定の期間継続して路面クラスに対応付けられていることを判定可能に構成されていてもよい。また、路面点抽出部２４は、所定の期間継続して路面クラスに対応付けられた路面点のみを抽出するように構成されていてもよい。

路面高さ推定部２６は、判定部２５により、路面高さの推定に用いた路面点の個数が所定の第２閾値未満である場合には、推定信頼度が低いという情報とともに路面高さの推定結果を提供するように構成されていてもよい。また、路面高さ推定部２６は、判定部２５により、路面高さの推定に用いた路面点の個数が所定の第２閾値以上である場合には、推定信頼度が高いという情報とともに路面高さの推定結果を提供するように構成されていてもよい。路面高さの推定値を提供可能な状況を広げる一方で、推定信頼度という情報を提供することにより、様々な状況下で障害物検出や車両制御を適切に実行することが可能となる。

補正部２７は、推定された路面の高さに基づいて、車両の周囲の物体の３次元位置を補正する。３次元推定部２２によって物体の高さがｚであると推定され、路面高さ推定部２６により、路面の高さがｈであると推定された場合、補正部２７は、物体の高さをｚ－ｈに補正する。

補正部２７は、路面高さ推定部２６により推定された路面高さの経時変化に基づき、撮像装置３０の搭載情報を補正するように構成されていてもよい。例えば、路面高さのずれが一定期間継続している場合には、撮像装置の搭載ずれが生じているとして、撮像装置の搭載情報を補正することにより、画像認識／障害物検出処理ごとに物体の３次元位置を補正することを回避して、処理負荷を軽減できる。

障害物検出部２８は、車両の周囲の物体の３次元位置に基づいて、車両の周囲の障害物を検出する。補正部２７により物体の３次元位置が補正された場合には、補正後の３次元位置に基づいて、障害物を検出する。障害物検出部２８は、さらに、障害物が検出された場合には、車両が障害物に接触することを避けるために、車両の駆動源、ブレーキ装置を制御する処理を行う。

ディスプレイ１７は、車室内に配置され、画像処理部１３から映像信号出力部１４を通して入力される画像情報に基づいて、画像を乗員に対して表示する。これにより、障害物検出システムでは、画像処理部１３によって処理された画像を視認できる。

図１に示す障害物検出システムでは、障害物検出装置１０の画像処理部１３がメモリ１５に記憶されたコンピュータプログラムである障害物検出プログラムを実行することにより、車両の周辺の障害物を検出して車両を制御する。図４に、画像処理部１３が実行する画像認識／障害物検出処理のフローチャートを示す。このフローチャートに示す処理は、所定の間隔で継続して実行される。

ステップＳ１０１では、画像情報と、車両情報とを取得する。画像情報としては、映像信号入力部１１を介して撮像装置３０から車両の周囲の撮像画像を取得する。車両情報としては、通信Ｉ／Ｆ１２を介して取得可能な自車速度Ｖｃ等の各種車両情報を取得する。その後、ステップＳ１０２に進む。

ステップＳ１０２では、ステップＳ１０１において取得した情報に基づいて、ＳｆＭによる３次元推定を実行する。具体的には、撮像画像上の特徴点の３次元位置を表す３次元推定画像を作成し、３次元推定画像に基づいて車両の周囲の物体の３次元位置を推定する。図２に示すように、撮像画像５０を画像情報として取得した場合には、ＳｆＭ順変換ＬＵＴによる座標変換（変換ｆ１）を行い、ＳｆＭ画像６０を作成する。作成したＳｆＭ画像６０に基づいて、車両の周囲の物体の３次元位置を推定する。その後、ステップＳ１０３に進む。

ステップＳ１０３では、ステップＳ１０１において取得した情報に基づいて、ＳＳによる画像分類を実行する。具体的には、撮像画像上の物体を少なくとも路面クラスを含む１以上のクラスに分類した属性画像を作成する。図２に示すように、撮像画像５０を画像情報として取得した場合には、ＳＳ順変換ＬＵＴによる座標変換（変換ｆ３）を行い、ＳＳ画像７０を作成する。その後、ステップＳ１０４に進む。

ステップＳ１０４では、ステップＳ１０２において作成したＳｆＭ画像と、ステップＳ１０３において作成したＳＳ画像とをフュージョン（融合）する。これにより、ＳｆＭ画像上の特徴点と、ＳＳ画像上のクラスとを対応付けする。図２に示すように、ＳｆＭ画像６０とＳＳ画像７０とをフュージョンする場合、例えば、まず、ＳｆＭ逆変換ＬＵＴによる座標変換（変換ｆ２）を行い、さらに、ＳＳ順変換ＬＵＴによる座標変換（変換ｆ３）を行う。これによって、ＳｆＭ画像６０上の特徴点と、ＳＳ画像７０上のクラスとを対応付けすることができる。その後、ステップＳ１０５に進む。

ステップＳ１０５では、ステップＳ１０４において、路面クラスに対応付けられた特徴点である路面点を抽出する。図２に示すように、路面クラス７２に対応付けされた特徴点６２が路面点として抽出され、蓄積される。その後、ステップＳ１０６に進む。

ステップＳ１０６では、ステップＳ１０５において抽出され、蓄積された路面点の数が所定の第１閾値Ｘ１以上であるか否かについて判定する。第１閾値Ｘ１は、例えば、図３に示すような度数分布が正規分布となるような個数を実験的または経験的に求めた値であってもよい。路面点の数≧Ｘ１であると判定された場合には、ステップＳ１０８に進む。路面点の数＜Ｘ１であると判定された場合には、ステップＳ１１０に進む。

ステップＳ１０８では、Ｓ１０５において抽出され、蓄積された路面点に基づいて、車両の周囲の路面の高さを推定する。具体的には、例えば図３に示すように、抽出した複数の路面点について、路面点高さの度数分布を作成し、度数分布の頂点となる路面高さｈ１を路面高さとして推定する。その後、ステップＳ１０９に進む。

ステップＳ１０９では、ステップＳ１０８において推定された路面の高さに基づいて、ステップＳ１０２において推定された３次元推定結果を補正し、車両の周囲の物体の３次元位置を補正する。例えば、ステップＳ１０２において物体の高さがｚ１であると推定され、ステップＳ１０８において、路面の高さがｈ１であると推定された場合には、物体の高さをｚ１－ｈ１に補正する。その後、ステップＳ１１０に進む。

ステップＳ１１０では、外部に出力する点を生成する。具体的には、車両の周囲の物体の３次元位置を表す点と、車両の周囲の物体の３次元位置に基づいて検出された障害物を表す点とを生成する。ステップＳ１０２において推定された物体の３次元位置についてステップＳ１０９に示す補正が行われた場合には、補正後の３次元位置に基づいて、障害物検出や外部に出力する点の作成が行われる。ステップＳ１０９に示す補正が行われなかった場合には、ステップＳ１０２において推定された物体の３次元位置（補正なしの３次元位置）に基づいて、障害物検出や外部に出力する点の作成が行われる。その後、ステップＳ１１１に進み、ディスプレイ１７等に対する外部出力を実行した後、処理を終了する。

上記のとおり、この障害物検出プログラムに係る処理は、車両の周囲の撮像画像を取得する情報取得ステップ（ステップＳ１０１に相当する）と、撮像画像上の特徴点の３次元位置を表す３次元推定画像を作成し、３次元推定画像に基づいて車両の周囲の物体の３次元位置を推定する３次元推定ステップ（ステップＳ１０２に相当する）と、撮像画像上の物体を少なくとも路面クラスを含む１以上のクラスに分類した属性画像を作成する画像分類ステップ（ステップＳ１０３に相当する）と、３次元推定画像と属性画像とを融合して特徴点とクラスとを対応付けし、路面クラスに対応付けられた特徴点である路面点を抽出する路面点抽出ステップ（ステップＳ１０４，Ｓ１０５に相当する）と、路面点についての各種判定を実行する判定ステップ（ステップＳ１０６に相当する）と、路面点に基づいて車両の周囲の路面の高さを推定する路面高さ推定ステップ（ステップＳ１０８に相当する）と、推定された路面の高さに基づいて、車両の周囲の物体の３次元位置を補正する補正ステップ（ステップＳ１０９に相当する）と、車両の周囲の物体の３次元位置に基づいて、車両の周囲の障害物を検出する障害物検出ステップ（ステップＳ１１０に相当する）と、を含む。

また、この障害検出プログラムを実行することにより、障害物検出装置１０は、上記の各ステップを含む障害検出方法を実行することができる。

ステップＳ１０２において作成されたＳｆＭ画像６０と、ステップＳ１０３において作成されたＳＳ画像７０は、ステップＳ１０４においてフュージョン（融合）される。ステップＳ１０４では、さらに、ＳｆＭ画像６０における特徴点と、ＳＳ画像７０におけるクラスとの対応付けが行われる。ステップＳ１０５では、さらに、路面点クラスに対応付けられた特徴点を路面点として抽出する。このため、精度よく路面点を抽出できる。さらに、ステップＳ１０６において、路面点の数が所定の第１閾値Ｘ１以上であると判定された場合に、ステップＳ１０８において、図３に示すような路面点の度数分布に基づいて、路面高さｈ１が推定される。ステップＳ１０８では、路面点高さ推定部は、ステップＳ１０２～Ｓ１０５において精度よく抽出された路面点が、所定の第１閾値Ｘ１以上蓄積された場合に、路面の高さを推定するため、精度よく路面高さを推定できる。ステップＳ１０９では、精度よく推定された路面点高さに基づいて、ステップＳ１０２において推定された車両の周囲の物体の３次元位置を補正するため、物体の３次元位置の精度を確保することができる。その結果、ステップＳ１１０において、適宜補正された高精度の物体の３次元位置に基づいて、高精度に障害物を検出することができる。

（第２実施形態）
図５に、第２実施形態に係る画像処理部１３が実行する画像認識／障害物検出処理のフローチャートを示す。このフローチャートに示す処理は、所定の間隔で継続して実行される。図５に示すフローチャートは、ステップＳ２０７，Ｓ２１２，Ｓ２１３に示す処理を含む点において図４に示すフローチャートと相違する。図５に示すステップＳ２０１～Ｓ２０６，Ｓ２０８～Ｓ２１１に示す処理は、図４に示すステップＳ１０１～Ｓ１０６，Ｓ１０８～Ｓ１１１に示す処理と同様であるため、説明を省略する。

ステップＳ２０６において、路面点の数≧Ｘ１であると判定された場合には、ステップＳ２０７に進む。ステップＳ２０７では、Ｓ２０５において抽出され、蓄積された路面点を用いて、路面点の高さの度数分布である路面点分布を作成する。さらに、路面点分布が適切であるか否かを判定する。具体的には、路面点分布が正規分布であると見なせる場合に、路面点分布は適切であると判定し、ステップＳ２０８に進む。路面点分布が正規分布であると見なせない場合に、路面点分布は不適切であると判定し、ステップＳ２１０に進む。

ステップＳ２１１において、外部出力を実行した後、ステップＳ２１２に進む。ステップＳ２１２では、路面の高さずれが一定期間継続しているか否かを判定する。継続している場合には、ステップＳ２１３に進み、カメラ３１～３４の搭載情報を補正する。継続していない場合には、ステップＳ２１３を実行することなく、そのまま処理を終了する。

図５に示す画像認識／障害物検出処理によれば、ステップＳ２０６において路面点の数が第１閾値Ｘ１以上であると判定した後に、さらに、ステップＳ２０７において、路面点分布が適正であると判定した場合に、ステップＳ２０８，Ｓ２０９に示す路面高さ推定ステップと補正ステップとを実行するため、より信頼性の高い路面点に基づいてより精度よく路面高さを推定でき、ひいては、物体の３次元位置をより精度よく補正できる。

また、ステップＳ２１２、Ｓ２１３において、ステップＳ２０８において推定された路面高さの経時変化に基づき、撮像装置３０の搭載情報を補正する。ステップＳ２１２において、路面高さのずれが一定期間継続していると判定された場合には、撮像装置の搭載ずれが生じている可能性が高い。この場合、ステップＳ２１３において、撮像装置の搭載情報を補正することにより、画像認識／障害物検出処理ごとに物体の３次元位置を補正することを回避して、処理負荷を軽減できる。ステップＳ２１２において、路面高さのずれが一定期間継続していないと判定された場合には、車両のエアサスペンションや積載量の影響を受けて、撮像装置の搭載高さが一時的に変動している可能性が高い。この場合、ステップＳ２１３を実行しないで、そのまま処理を終了する。

上記の各実施形態によれば、下記の効果を得ることができる。

障害物検出装置１０は、撮像装置３０により撮像された車両の周囲の撮像画像に基づいて、車両の周囲の障害物を検出する。障害物検出装置１０は、情報取得部２１と、３次元推定部と、画像分類部（例えばＳＳ部２３）と、路面点抽出部２４と、路面高さ推定部２６と、補正部２７と、障害物検出部２８とを備えている。

情報取得部２１は、車両の周囲の撮像画像（例えば、撮像画像５０）を取得する。３次元推定部２２は、撮像画像上の特徴点の３次元位置を表す３次元推定画像（例えば、ＳｆＭ画像６０）を作成し、３次元推定画像に基づいて車両の周囲の物体の３次元位置を推定する。画像分類部は、撮像画像上の物体を少なくとも路面クラスを含む１以上のクラスに分類した属性画像（例えば、ＳＳ画像７０）を作成する。路面点抽出部２４は、３次元推定画像と属性画像とを融合して特徴点とクラスとを対応付けし、路面クラスに対応付けられた特徴点である路面点を抽出する。このため、路面点を精度よく路面点を抽出できる。路面高さ推定部２６は、路面点に基づいて車両の周囲の路面の高さを推定する。補正部２７は、推定された路面の高さに基づいて、車両の周囲の物体の３次元位置を補正する。障害物検出部２８は、車両の周囲の物体の３次元位置に基づいて、車両の周囲の障害物を検出する。このため、精度よく路面高さの推定とこれに基づく補正とを実行でき、物体の３次元位置の精度を確保できる。その結果、高精度に障害物を検出できる。障害物検出装置１０によれば、車両のエアサスペンションや積載量の影響を受けて、撮像装置の搭載高さが一時的に変動する場合にも、路面高さを精度よく推定して物体の位置を精度よく補正し、障害物を精度よく検出できる。

路面高さ推定部２６は、路面点の高さの度数分布の信頼性を判定し、度数分布が信頼できると判定した場合に、路面高さの度数分布に基づいて路面の高さを推定するように構成されていてもよい。路面高さの推定精度をより向上させることができる。

路面高さ推定部２６は、抽出された路面点の数が所定の第１閾値以上である場合に、路面の高さを推定するように構成されていてもよい。路面高さの推定精度をより向上させることができる。

路面高さ推定部２６は、所定の期間継続して路面クラスに対応付けられた路面点に基づいて路面の高さを推定するように構成されていてもよい。路面高さの推定精度をより向上させることができる。

路面高さ推定部２６は、路面高さの推定に用いた路面点の個数が所定の第２閾値未満である場合には、推定信頼度が低いという情報とともに路面高さの推定結果を提供するように構成されていてもよい。また、路面高さ推定部２６は、路面高さの推定に用いた路面点の個数が所定の第２閾値以上である場合には、推定信頼度が高いという情報とともに路面高さの推定結果を提供するように構成されていてもよい。路面高さの推定値を提供可能な状況を広げる一方で、推定信頼度という情報を提供することにより、様々な状況下で障害物検出や車両制御を適切に実行することが可能となる。

補正部２７は、路面高さ推定部により推定された路面高さの経時変化に基づき、撮像装置の搭載情報を補正するように構成されていてもよい。例えば、路面高さのずれが一定期間継続している場合には、撮像装置の搭載ずれが生じているとして、撮像装置の搭載情報を補正することにより、画像認識／障害物検出処理ごとに物体の３次元位置を補正することを回避して、処理負荷を軽減できる。

また、上記の障害物検出装置１０に適用される障害物検出方法は、車両の周囲の撮像画像を取得する情報取得ステップと、撮像画像上の特徴点の３次元位置を表す３次元推定画像を作成し、３次元推定画像に基づいて車両の周囲の物体の３次元位置を推定する３次元推定ステップと、撮像画像上の物体を少なくとも路面クラスを含む１以上のクラスに分類した属性画像を作成する画像分類ステップと、３次元推定画像と属性画像とを融合して特徴点とクラスとを対応付けし、路面クラスに対応付けられた特徴点である路面点を抽出する路面点抽出ステップと、路面点に基づいて車両の周囲の路面の高さを推定する路面高さ推定ステップと、推定された路面の高さに基づいて、車両の周囲の物体の３次元位置を補正する補正ステップと、車両の周囲の物体の３次元位置に基づいて、車両の周囲の障害物を検出する障害物検出ステップと、を含む。この障害物検出方法は、障害物検出装置１０について説明した各実施形態に対応するステップをさらに含んでいてもよい。

また、障害物検出装置１０は、記憶媒体（例えばメモリ１５）に格納され、プロセッサ（例えば画像処理部１３）に実行させる処理を含む障害物検出プログラムを実行することにより、撮像装置３０により撮像された車両の周囲の撮像画像に基づいて、車両の周囲の障害物を検出する。

この障害物検出プログラムに係る処理は、車両の周囲の撮像画像を取得する情報取得ステップと、撮像画像上の特徴点の３次元位置を表す３次元推定画像を作成し、３次元推定画像に基づいて車両の周囲の物体の３次元位置を推定する３次元推定ステップと、撮像画像上の物体を少なくとも路面クラスを含む１以上のクラスに分類した属性画像を作成する画像分類ステップと、３次元推定画像と属性画像とを融合して特徴点とクラスとを対応付けし、路面クラスに対応付けられた特徴点である路面点を抽出する路面点抽出ステップと、路面点に基づいて車両の周囲の路面の高さを推定する路面高さ推定ステップと、推定された路面の高さに基づいて、車両の周囲の物体の３次元位置を補正する補正ステップと、車両の周囲の物体の３次元位置に基づいて、車両の周囲の障害物を検出する障害物検出ステップと、を含む。この障害物検出プログラムに係る処理は、障害物検出装置１０について説明した各実施形態に対応するステップをさらに含んでいてもよい。

本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の制御部及びその手法は、一つ以上の専用ハードウエア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の制御部及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウエア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

１０…障害物検出装置、２１…情報取得部、２２…３次元推定部、２３…ＳＳ部、２４…路面点抽出部、２６…路面高さ推定部、２７…補正部、２８…障害物検出部

Claims (9)

1. 撮像装置（３０）により撮像された車両の周囲の撮像画像に基づいて、前記車両の周囲の障害物を検出する障害物検出装置（１０）であって、
   前記車両の周囲の撮像画像を取得する情報取得部（２１）と、
   前記撮像画像上の特徴点の３次元位置を表す３次元推定画像を作成し、前記３次元推定画像に基づいて前記車両の周囲の物体の３次元位置を推定する３次元推定部（２２）と、
   前記撮像画像上の物体を少なくとも路面クラスを含む１以上のクラスに分類した属性画像を作成する画像分類部（２３）と、
   前記３次元推定画像と前記属性画像とを融合して前記特徴点と前記クラスとを対応付けし、前記路面クラスに対応付けられた前記特徴点である路面点を抽出する路面点抽出部（２４）と、
   前記路面点に基づいて前記車両の周囲の路面の高さを推定する路面高さ推定部（２６）と、
   推定された前記路面の高さに基づいて、前記車両の周囲の物体の３次元位置を補正する補正部（２７）と、
   前記車両の周囲の物体の３次元位置に基づいて、前記車両の周囲の障害物を検出する障害物検出部（２８）と、を備える障害物検出装置。
2. 前記路面高さ推定部は、前記路面点の高さの度数分布の信頼性を判定し、前記度数分布が信頼できると判定した場合に、前記路面高さの度数分布に基づいて前記路面の高さを推定する請求項１に記載の障害物検出装置。
3. 前記路面高さ推定部は、抽出された前記路面点の数が所定の第１閾値以上である場合に、前記路面の高さを推定する請求項１または２に記載の障害物検出装置。
4. 前記路面高さ推定部は、所定の期間継続して路面クラスに対応付けられた前記路面点に基づいて前記路面の高さを推定する請求項１～３のいずれかに記載の障害物検出装置。
5. 前記路面高さ推定部は、路面高さの推定に用いた前記路面点の個数が所定の第２閾値未満である場合には、推定信頼度が低いという情報とともに路面高さの推定結果を提供する請求項１～４のいずれかに記載の障害物検出装置。
6. 前記路面高さ推定部は、路面高さの推定に用いた前記路面点の個数が所定の第２閾値以上である場合には、推定信頼度が高いという情報とともに路面高さの推定結果を提供する請求項１～５のいずれかに記載の障害物検出装置。
7. 前記補正部は、前記路面高さ推定部により推定された路面高さの経時変化に基づき、前記撮像装置の搭載情報を補正する請求項１～６のいずれかに記載の障害物検出装置。
8. 撮像装置（３０）により撮像された車両の周囲の撮像画像に基づいて、前記車両の周囲の障害物を検出する障害物検出装置に適用される障害物検出方法であって、
   前記車両の周囲の撮像画像を取得する情報取得ステップと、
   前記撮像画像上の特徴点の３次元位置を表す３次元推定画像を作成し、前記３次元推定画像に基づいて前記車両の周囲の物体の３次元位置を推定する３次元推定ステップと、
   前記撮像画像上の物体を少なくとも路面クラスを含む１以上のクラスに分類した属性画像を作成する画像分類ステップと、
   前記３次元推定画像と前記属性画像とを融合して前記特徴点と前記クラスとを対応付けし、前記路面クラスに対応付けられた前記特徴点である路面点を抽出する路面点抽出ステップと、
   前記路面点に基づいて前記車両の周囲の路面の高さを推定する路面高さ推定ステップと、
   推定された前記路面の高さに基づいて、前記車両の周囲の物体の３次元位置を補正する補正ステップと、
   前記車両の周囲の物体の３次元位置に基づいて、前記車両の周囲の障害物を検出する障害物検出ステップと、を含む障害物検出方法。
9. 撮像装置（３０）により撮像された車両の周囲の撮像画像に基づいて、前記車両の周囲の障害物を検出するために、記憶媒体（１５）に格納され、プロセッサ（１３）に実行させる処理を含む障害物検出プログラムであって、
   前記処理は、
   前記車両の周囲の撮像画像を取得する情報取得ステップと、
   前記撮像画像上の特徴点の３次元位置を表す３次元推定画像を作成し、前記３次元推定画像に基づいて前記車両の周囲の物体の３次元位置を推定する３次元推定ステップと、
   前記撮像画像上の物体を少なくとも路面クラスを含む１以上のクラスに分類した属性画像を作成する画像分類ステップと、
   前記３次元推定画像と前記属性画像とを融合して前記特徴点と前記クラスとを対応付けし、前記路面クラスに対応付けられた前記特徴点である路面点を抽出する路面点抽出ステップと、
   前記路面点に基づいて前記車両の周囲の路面の高さを推定する路面高さ推定ステップと、
   推定された前記路面の高さに基づいて、前記車両の周囲の物体の３次元位置を補正する補正ステップと、
   前記車両の周囲の物体の３次元位置に基づいて、前記車両の周囲の障害物を検出する障害物検出ステップと、を含む障害物検出プログラム。

Images