JP2019067115A - 路面検出装置 - Google Patents

路面検出装置 Download PDF

Info

Publication number
JP2019067115A
JP2019067115A JP2017191566A JP2017191566A JP2019067115A JP 2019067115 A JP2019067115 A JP 2019067115A JP 2017191566 A JP2017191566 A JP 2017191566A JP 2017191566 A JP2017191566 A JP 2017191566A JP 2019067115 A JP2019067115 A JP 2019067115A
Authority
JP
Japan
Prior art keywords
road surface
information
parallax
gradient
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017191566A
Other languages
English (en)
Other versions
JP6849569B2 (ja
Inventor
尚秀 内田
Naohide Uchida
尚秀 内田
健 田邊
Ken Tanabe
健 田邊
裕丈 石神
Hirotake Ishigami
裕丈 石神
正樹 桑原
Masaki Kuwabara
正樹 桑原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Toyota Motor Corp
Original Assignee
Denso Corp
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp, Toyota Motor Corp filed Critical Denso Corp
Priority to JP2017191566A priority Critical patent/JP6849569B2/ja
Priority to US16/144,556 priority patent/US10953885B2/en
Publication of JP2019067115A publication Critical patent/JP2019067115A/ja
Application granted granted Critical
Publication of JP6849569B2 publication Critical patent/JP6849569B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09Taking automatic action to avoid collision, e.g. braking and steering
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • B60W40/076Slope angle of the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • G06T7/41Analysis of texture based on statistical description of texture
    • G06T7/42Analysis of texture based on statistical description of texture using transform domain methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】車両前方に存在する路面を表す情報を精度よく検出する路面検出装置を提供する。【解決手段】路面検出装置は、ステレオカメラを用いて車両前方の領域を撮像する撮像手段と、撮像手段によって撮像された撮像画像に基づいて当該撮像画像を構成する各画素の視差を含む視差情報を算出する視差情報算出手段と、視差情報に基づいて撮像画像の画素のうち路面に対応している画素を抽出し、抽出した画素が有する情報に基いて3次元座標軸において路面を表す情報を路面情報として取得する路面情報取得手段と、路面の勾配を二次関数で近似した路面勾配式を路面を表す情報に基いて算出する路面勾配式算出手段と、路面勾配式の二次の項の係数の絶対値が所定の係数閾値より大きいか否かを判定する勾配変化判定手段と、勾配変化判定手段により絶対値が係数閾値より大きいと判定された場合、路面を表す情報を無効化する無効化手段と、を備える。【選択図】図6

Description

本発明は、車両前方に存在する路面を検出する(即ち、路面を表す情報を取得する)路面検出装置に関する。
従来から、運転支援の一態様として、車両前方に存在する障害物に車両が衝突することを回避したり、衝突による衝撃を軽減したりするための衝突回避制御が行われている。衝突回避制御は、車両の前方に当該車両が衝突する可能性がある障害物が存在する場合、運転者に警報を発生する警報制御、車両に自動的に制動力を付与する自動制動制御、及び/又は、車両の操舵輪の転舵角を自動的に変更する自動操舵制御を実行する制御である。
衝突回避制御の1つである自動操舵制御が実行される際は、障害物との衝突を回避するための経路である回避経路が予め設定され、当該回避経路に沿って車両が走行するように車両が制御される。回避経路が車両の走行路面として不適切な領域に設定されると自動操舵制御が適切に行われなくなるため、車両の走行に適した路面を精度よく検出できる装置の開発が望まれている。
例えば、特許文献1に開示される路面検出装置(以下、「従来装置」と称する。)は、車両前方の撮像画像から得られた視差画像に基づいて、当該視差画像を構成する各視差点が、路面に対応する視差点(以下、「路面視差点」と称する。)であるか否かを推定する。そして、従来装置は、車速及びヨーレート等に基づいて車両が走行すると予想される経路である走行予想経路を推定し、路面視差点の走行予想経路までの距離に応じて路面視差点に重み付けを行う。具体的には、走行予想経路までの距離が近いほど重みを大きくする。従来装置は、重み付けが行われた路面視差点に基づいて路面検出を行う。なお、特許文献1では、路面視差点は「路面候補点」と、走行予想経路は「進行軌跡」とそれぞれ記載されている。
走行予想経路に近い領域は、走行予想経路から遠い領域よりも、道路である可能性が高い。このため、従来装置の構成によれば、走行予想経路に近い路面視差点の重みを、走行予想経路から遠い路面視差点の重みよりも大きくすることにより、走行予想経路に近い路面視差点が路面の検出に与える影響を相対的に大きくすることができ、路面を精度よく検出することができると記載されている。
特開2016−206776号公報
しかしながら、従来装置の構成では、実際には路面ではない領域を路面として誤検出してしまう可能性がある。即ち、例えば、除雪作業により雪が障害物を覆うように積みあげられ、積み上げられた雪が路面となだらかにつながっている場合、積み上げられた雪の勾配変化が比較的に大きくても(勾配が比較的急に変化していても)、従来装置は、積み上げられた雪を障害物としてではなく、路面として検出することがある。別言すれば、路面であるか否かの判定対象となる対象物の勾配変化が比較的に大きくても、当該対象物の外形形状によっては、従来装置は、当該対象物を障害物ではなく路面として検出することがある。この場合、自動操舵制御により、実際には路面ではない領域に回避経路が設定されてしまう可能性があり、適切な自動操舵制御を実行できない可能性がある。
本発明は、上述した問題に対処するためになされたものである。即ち、本発明の目的の一つは、車両前方に存在する路面を表す情報を精度よく検出することが可能な路面検出装置を提供することにある。
本発明による路面検出装置(以下、「本発明装置」と称する。)は、
車両に搭載されており、
ステレオカメラを用いて車両前方の領域を撮像する撮像手段(11、ステップ602)と、
前記撮像手段(11)によって撮像された撮像画像に基づいて当該撮像画像を構成する各画素の視差を含む視差情報を算出する視差情報算出手段(ステップ604)と、
前記視差情報に基づいて前記撮像画像の前記画素のうち路面に対応している画素を抽出し、前記抽出した画素が有する情報に基いて3次元座標軸において路面を表す情報を路面情報として取得する路面情報取得手段(ステップ608)と、
前記路面の勾配を二次関数で近似した路面勾配式(y=a・z+b・z+c)を前記路面を表す情報に基いて算出する路面勾配式算出手段(ステップ610)と、
前記路面勾配式の二次の項の係数の絶対値(|a|)が所定の係数閾値(Cth)より大きいか否かを判定する勾配変化判定手段(ステップ612)と、
前記勾配変化判定手段により前記絶対値(|a|)が前記係数閾値(Cth)より大きいと判定された場合(ステップ612:Yes)、前記路面を表す情報を無効化する無効化手段(ステップ614)と、
を備える。
本発明装置では、路面勾配式算出手段が、路面情報取得手段によって取得された路面を表す情報(路面情報)に基づいて、路面の勾配を二次関数で近似した路面勾配式を算出する。そして、勾配変化判定手段が、当該路面勾配式の二次(即ち、最高次数)の項の係数の絶対値が所定の係数閾値より大きいか否かを判定する。路面勾配式の二次の項の係数には、路面の勾配変化が反映される。具体的には、路面が車両の現在位置に対して上方に盛り上がっている場合、その勾配変化が大きくなるほど(勾配が急に変化するほど)、当該係数は大きくなる。一方、路面が車両の現在位置に対して下方に落ち窪んでいる場合、その勾配変化が大きくなるほど(勾配が急に変化するほど)、当該係数は小さくなる。このため、当該係数の絶対値が係数閾値より大きいか否かを判定することにより、路面の勾配が急に変化しているか否か(即ち、車両の走行路面として適切であるか否か)を判定することができる。本発明装置では、勾配変化判定手段が当該係数の絶対値が係数閾値より大きいと判定した場合、無効化手段が路面を表す情報を無効化する。これにより、勾配が急に変化しており、走行路面として適切ではない路面を表す情報が検出されることを抑制できる。結果として、車両前方に存在する路面を表す情報を精度よく検出することができる。なお、「路面を表す情報を無効化する」とは、「路面が検出されていない」という最終検出結果を出力可能な状態にすることを意味するものであり、路面を表す情報を消去することを必ずしも意味するものではない(但し、路面を表す情報を消去することを排除するものでもない。)。
尚、上記説明においては、発明の理解を助けるために、実施形態に対応する発明の構成に対して、実施形態で用いた符号を括弧書きで添えているが、発明の各構成要件は前記符号によって規定される実施形態に限定されるものではない。
本発明の実施形態に係る路面検出装置(以下、「実施装置」と称する。)及び実施装置に接続された衝突回避制御装置の概略構成図である。 視差投票マップの平面図である。 視差投票マップの斜視図である。 各ブロックに属性が設定された視差投票マップを示す図である。 車両の位置を基準としたときの路面視差点の奥行き方向(z方向)の距離と高さ方向(y方向)の距離との関係を規定したグラフであり、グラフ上の点群を二次関数で近似した路面勾配式を示す図である。 ある演算タイミングにおいて勾配変化判定が行われる前の路面及び障害物の検出結果を示す図である。 図5Aに対応した図であり、ある演算タイミングにおいて勾配変化判定を実施後、路面情報が無効化された状態を示す図である。 実施装置の路面検出ECUのCPUが実行するルーチンを示すフローチャートである。
図1は、本発明の実施形態に係る路面検出装置(以下、「実施装置」とも称する。)及び実施装置に接続された衝突回避制御装置の概略システム構成図である。以下では、実施装置が搭載された車両を「自車両」と称して他車両と区別する。
実施装置は、路面検出ECU10と、路面検出ECU10に接続されたカメラセンサ11と、を備える。路面検出ECU10は、衝突回避制御装置13に接続されている。ECUは、「Electirc Control Unit」の略であり、マイクロコンピュータを主要部として備える。マイクロコンピュータは、CPUとROM及びRAM等の記憶装置とを含む。CPUはROMに格納されたインストラクション(プログラム、ルーチン)を実行することによって、各種機能を実現する。以下、路面検出ECU10を、単に「ECU10」と称する。
カメラセンサ11は、自車両前方を撮像する車載ステレオカメラ装置(図示省略)を備える。車載ステレオカメラ装置は、自車両のルーフ前端部の車幅方向中央付近に設けられ、車両前後軸より左側に配置される左カメラと、車両前後軸より右側に配置される右カメラと、を有する。左カメラは所定時間が経過する毎に主として自車両の前方左側の領域を撮像し、撮像した左画像を表す左画像信号をECU10に出力する。同様に、右カメラは所定時間が経過する毎に主として自車両の前方右側の領域を撮像し、撮像した右画像を表す右画像信号をECU10に出力する。
ECU10は、以下に述べる手順で、所定時間が経過する毎に(即ち、所定の演算周期毎に)自車両前方に存在する路面を検出する。即ち、まず、ECU10は、カメラセンサ11から出力された左画像信号及び右画像信号に基づいて視差画像を生成する。次に、ECU10は、その視差画像を構成する各画素(以下、当該画素を「視差点」とも称する。後述。)が、路面に対応する視差点(以下、「路面視差点」と称する。)であるか、路面以外の障害物等に対応する視差点であるかを推定する。続いて、ECU10は、路面視差点を3次元座標変換し、座標変換された路面視差点を、路面を表す情報として取得する。次いで、ECU10は、路面を表す情報に基づいて、当該路面の勾配を二次関数で近似した路面勾配式を算出し、路面勾配式の二次の項の係数の絶対値が所定の係数閾値より大きいか否かを判定する勾配変化判定を行う。ECU10は、勾配変化判定の判定結果に基づいて、上記の手順で取得された路面を表す情報を無効化するか否かを決定する。路面を表す情報を無効化すると決定した場合、ECU10は、「路面は検出されていない(路面を表す情報は無効である)」という最終検出結果を衝突回避制御装置13に出力する。一方、路面を表す情報を無効化しないと決定した場合、ECU10は、当該路面を表す情報を最終検出結果として衝突回避制御装置13に出力する。これにより、路面が検出される。
衝突回避制御装置13は、図示しない他のECUと接続されており、当該他のECUから、自車両前方に存在する障害物の有無、並びに、障害物が存在する場合には自車両に対する当該障害物の相対位置、相対方位及び相対速度を取得する。衝突回避制御装置13は、これらの情報に基づいて当該障害物までの衝突予測時間(自車両が当該障害物に衝突するまでに要すると予測される時間)を算出し、衝突予測時間に基づいて衝突回避制御を実行するか否かを判定する。ここで、衝突回避制御は、自車両の前方に当該車両と衝突する可能性がある障害物が存在する場合、運転者に警報を発生する警報制御、自車両に自動的に制動力を付与する自動制動制御、及び/又は、自車両の操舵輪の転舵角を自動的に変更する自動操舵制御を実行する制御である。
衝突回避制御を実行すると判定した場合、衝突回避制御装置13は、ECU10から送信された最終検出結果に基づいて、衝突回避制御のうちの何れの制御(即ち、警報制御、自動制動制御及び/又は自動操舵制御)を実行するかを決定する。具体的には、ECU10は、「路面は検出されていない(路面を表す情報は無効である)」という最終検出結果を取得した場合、自動操舵制御以外の2つの制御のうちの少なくとも1つを実行する。一方、ECU10は、路面を表す情報を最終検出結果として取得した場合、自動操舵制御を含む3つの制御のうちの少なくとも1つを実行する。例えば、ECU10は、衝突予測時間に基づいて制御の種類を決定する。
(作動の詳細)
次に、実施装置の作動の詳細について説明する。なお、視差画像の生成方法及び路面視差点の推定方法は周知であるため、これらについては簡単な説明に留める。詳細については、特開2016−206776号公報(米国特許出願公開第2016305785号明細書)を参照されたい。
<視差画像の生成>
実施装置のECU10は、自車両の図示しないエンジンスイッチ(イグニッション・キー・スイッチ)がオン状態へと変更されてからオフ状態へと変更されるまでの期間(以下、「エンジンオン期間」とも称する。)、所定時間(演算周期)が経過する毎に、カメラセンサ11から出力された左画像信号及び右画像信号に基づいて視差画像を生成する。視差画像の生成には、例えば、Semi-Global Matchingの手法が用いられ得る。視差画像を構成する各画素(視差点)には、当該画素の視差を含む視差情報が対応付けられている。
<路面視差点の推定>
ECU10は、エンジンオン期間中、所定時間が経過する毎に、視差画像中の各視差点が路面視差点であるか、路面視差点以外の視差点であるかを推定する。以下、推定方法の一例を簡単に説明する。図2Aは視差投票マップ20の平面図を示し、図2Bは視差投票マップ20の斜視図を示す。視差投票マップ20は、そのRAMに予め設けられている。図2A及び図2Bに示すように、視差投票マップ20は、横方向の辺が視差画像の横方向(車幅方向)の位置に対応し、縦方向の辺が視差画像の縦方向の位置に対応し、奥行き方向の辺が視差の大きさに対応するように配列された複数の直方体形状のブロック22を備える。
ECU10は、視差投票マップ20の各ブロック22に、路面又は路面以外の属性を設定する。具体的には、ECU10は、視差画像中の各視差点を、視差点の位置(横方向の位置及び縦方向の位置)と視差の大きさとに基づいて、視差投票マップ20の対応するブロック22に投票(分類)する。そして、ECU10は、視差投票マップ20の各ブロック22について、視差の平均値、視差の偏差、視差画像の縦方向における視差点の座標の平均値及び視差画像の縦方向における視差点の座標の偏差を算出する。
ECU10は、視差投票マップ20のブロック22内に、同程度の視差(距離)を有する視差点が、視差画像の縦方向における狭い範囲に分布し、視差が減少するにつれて(自車両からの距離が増大するにつれて)視差画像の縦方向における視差点の位置が滑らかに上昇している場合、当該視差点の集合は路面を示していると判定する。具体的には、視差点の縦方向における分布が所定の第1閾値未満であるという条件、及び、視差点の視差方向の分布が所定の第2閾値以上であるという条件を満たしている場合、図3に示すように、ECU10は、当該視差点が分類されているブロック22に路面の属性を設定する。以下では、路面の属性に設定されたブロック22を「路面ブロック22a」と称する。一方、視差点の分布が上記2つの条件を満たさないブロック22には路面以外の属性(例えば、障害物)を設定する。図3のブロック22のうち路面ブロック22a以外のブロックには路面以外の属性が設定されている。
ECU10は、路面ブロック22aに分類された視差点を路面視差点として推定し、路面ブロック22a以外のブロック22に分類された視差点を路面視差点以外の視差点として推定する。ECU10は、視差画像中における路面視差点の座標(u,v)をそのRAMに格納する。なお、u及びvは視差画像中の視差点の座標の横方向及び縦方向の成分をそれぞれ表す。
<路面情報の取得>
ECU10は、エンジンオン期間中、所定時間が経過する毎に、路面視差点に基づいて路面を表す情報を路面情報として取得する。具体的には、ECU10は、視差画像中の路面視差点の座標(u,v)を以下の式(1)乃至式(3)に則って3次元座標(z,x,y)に変換する。ここで、z、x、yは、それぞれ奥行き方向(車両前後軸方向)の成分、横方向(車幅方向)の成分、高さ方向の成分を表す。なお、この高さ方向は、視差画像及び視差投票マップ20の縦方向に対応する。加えて、式中のBはカメラセンサ11の左カメラと右カメラとの距離(光軸間距離)を表し、fは両カメラの焦点距離を表し、dは視差点に対応付けられた視差情報に含まれる視差を表す。この3次元座標の点群が路面を表す情報に相当する。即ち、ECU10は、視差画像中の路面視差点を3次元座標に変換することにより、路面を表す情報を取得する。ECU10は、変換された路面視差点の3次元座標をそのRAMに格納する。

z=B・f/d…(1)
x=u・f/z…(2)
y=v・f/z…(3)
<路面勾配式の算出>
ECU10は、エンジンオン期間中、所定時間が経過する毎に、路面を表す情報に基づいて、自車両前方に存在する路面の勾配を二次関数で近似した路面勾配式を算出する。具体的には、ECU10は、図4に示すように、自車両の位置を基準としたときの路面視差点の奥行き方向(z方向)の距離と高さ方向(y方向)の距離との関係を規定したグラフを作成する。このグラフは、横軸がz方向を表し、縦軸がy方向を表しており、視差投票マップ20内の全ての路面視差点の座標のz成分及びy成分をプロットすることにより作成される。
ECU10は、路面視差点をグラフにプロットすると、最小二乗法のM推定を用いてグラフ上の点群を二次関数(y=a・z+b・z+c。a、b、cはM推定によって算出される定数。)で近似し、この近似式を路面勾配式として算出する。なお、上記の説明から明らかなように、路面勾配式は路面視差点の座標のz成分(奥行き方向の成分)とy成分(高さ方向の成分)に基づいて決定される式であり、x成分(横方向の成分)は考慮されない。即ち、路面勾配式は、「奥行き方向の距離が同一の地点における路面の高さは横方向に亘って略一定である」という前提の下で作成される。なお、グラフ上の点群を近似する手法はM推定に限られず、例えばL推定やR推定が用いられてもよいし、最小二乗法以外の手法が用いられてもよい。ECU10は、算出された路面勾配式をそのRAMに格納する。
<勾配変化判定>
路面勾配式(y=a・z+b・z+c)の二次の項(最高次数の項)の係数aには、路面の勾配変化が反映される。路面が自車両の現在位置に対して上方に盛り上がっている場合、その勾配変化が大きくなるほど(勾配が急に変化するほど)係数aは大きくなる。一方、路面が自車両の現在位置に対して下方に落ち窪んでいる場合、その勾配変化が大きくなるほど(勾配が急に変化するほど)係数aは小さくなる(即ち、係数aが負の値となって、係数aの絶対値が大きくなる。)。路面の勾配が上方又は下方にあまりに急に変化する場合、当該路面は自車両の走行路面として適切とは言えない。そこで、ECU10は、路面勾配式を利用して、エンジンオン期間中、所定時間が経過する毎に、自車両前方に存在する路面の勾配変化が走行路面として適切であるか否かを判定する勾配変化判定を行う。
具体的には、ECU10は、路面勾配式(y=a・z+b・z+c)の二次の項の係数の絶対値|a|が所定の係数閾値Cthより大きいか否かを判定する。絶対値|a|が係数閾値Cthより大きい(|a|>Cth)と判定した場合、CPUは、路面の勾配は自車両前方に向かうにつれて急に変化しているため(急激に急になっているため)、その勾配変化は走行路面として適切ではないと判定する。一方、絶対値|a|が係数閾値Cth以下である(|a|≦Cth)と判定した場合、CPUは、路面の勾配は自車両前方に向かうにつれて急には変化していないため、その勾配変化は走行路面として適切であると判定する。ECU10は、この判定結果をそのRAMに格納する。なお、係数閾値Cthは、実験又はシミュレーション等によって算出され得る。
<路面情報の無効化>
ECU10は、エンジンオン期間中、所定時間が経過する毎に、勾配変化判定の判定結果に基づいて、路面情報を無効化するか否かを決定する。具体的には、ECU10は、ある演算タイミングにおいて勾配変化判定により路面の勾配変化が走行路面として適切ではないと判定した場合、路面情報には「実際に路面である可能性が低い領域を示す情報」が含まれていると判定し、当該路面情報を無効化する。この場合、ECU10は、「当該演算タイミングにおいて路面は検出されていない(当該路面情報は無効である)」という最終的な検出結果を衝突回避制御装置13に出力する。一方、ECU10は、ある演算タイミングにおいて勾配変化判定により路面の勾配変化が走行路面として適切であると判定した場合、路面情報には「実際に路面である可能性が低い領域を示す情報」が含まれていない判定し、当該路面情報を無効化しない。この場合、ECU10は、この路面情報を当該演算タイミングにおいて検出された路面情報であると見なし、当該路面情報を最終的な検出結果として衝突回避制御装置13に出力する。ECU10は、路面情報の最終的な検出結果をそのRAMに格納する。
この点について、図5A及び図5Bを参照して具体的に説明する。図5Aは、ある演算タイミングにおいて勾配変化判定が行われる前の路面14及び障害物15の検出結果を示す図である。即ち、路面14は、上記<路面情報の取得>において取得された路面情報に対応する領域である。一方、障害物15は公知の手法を用いて検出された障害物である。障害物15の検出方法は周知であるため、その詳細な説明は省略する(詳細な説明については、特開2013−161434号公報を参照。)。図5Aに示すように、この撮像画像には除雪作業により障害物を覆うように積み上げられた雪が写っており、実際に路面である領域となだらかにつながっている。当該演算タイミングにおいては、この積み上げられた雪の一部が路面14として検出されている。
ECU10は、当該演算タイミングにおいて路面14の路面勾配式を算出し、当該路面勾配式に基づいて勾配変化判定を行う。本例では、積み上げられた雪の勾配変化が比較的大きいため、路面勾配式の二次の項の係数の絶対値|a|は、係数閾値Cthより大きい。このため、ECU10は、当該演算タイミングにおいて路面14の勾配変化は走行路面として適切ではないと判定し、路面14を表す情報を無効化する(即ち、路面14を表す情報には実際に路面である可能性が低い領域を示す情報が含まれていると判定する。)。図5Bは、図5Aに対応した図であり、当該演算タイミングにおいて勾配変化判定を実施後、路面14を表す情報が無効化された状態を示す。図5Bに示すように、当該演算タイミングにおいては、路面は検出されていない。この状態が、当該演算タイミングにおける路面の最終的な検出結果を示している。
(実際の作動)
次に、ECU10の実際の作動について説明する。ECU10のCPUは、エンジンオン期間中、図6にフローチャートにより示したルーチンを所定時間(演算周期)が経過する毎に実行するようになっている。
CPUは、エンジンスイッチがオン状態へと変更されると、図6のステップ600から処理を開始して以下のステップ602乃至610の処理を順に行う。
ステップ602:CPUは、カメラセンサ11から左画像信号及び右画像信号を受信する。即ち、左画像及び右画像を含む撮像画像を取得する。
ステップ604:CPUは、撮像画像から視差画像を生成する。
ステップ606:CPUは、視差画像中の各視差点が路面視差点であるか、路面視差点以外の視差点であるかを推定する。
ステップ608:CPUは、路面視差点に基づいて路面情報を取得する。
ステップ610:CPUは、路面情報に基づいて路面勾配式を算出する。
次いで、CPUは、ステップ612に進み、路面勾配式の二次の項の係数の絶対値|a|が所定の係数閾値Cthより大きいか否かを判定する勾配変化判定を行う。|a|>Cthが成立すると判定した場合、CPUは、ステップ612にて「Yes」と判定し(即ち、路面の勾配変化は走行経路として適切ではないと判定し)、以下のステップ614及びステップ616の処理を行う。
ステップ614:CPUは、ステップ608にて取得された路面情報には実際に路面である可能性が低い領域を示す情報が含まれていると判定し、当該路面情報を無効化する。
ステップ616:CPUは、「当該演算タイミングにおいて路面は検出されていない(当該路面情報は無効である)」という最終的な検出結果を衝突回避制御装置13に出力する。この結果、衝突回避制御装置13は、衝突回避制御として自動操舵制御を選択せず、警報制御及び自動制動制御の少なくとも一方を実行する。
これに対し、ステップ612にて|a|≦Cthが成立すると判定した場合、CPUは、ステップ612にて「No」と判定し(即ち、路面の勾配変化は走行経路として適切であると判定し)、以下のステップ618の処理を行う。
ステップ618:CPUは、ステップ608にて取得された路面情報を、当該演算タイミングにおいて検出された路面情報であると見なし、当該路面情報を最終的な検出結果として衝突回避制御装置13に出力する。
CPUは、ステップ616又はステップ618の処理を終了すると、ステップ620に進み、本ルーチンを一旦終了する。
実施装置の作用効果について説明する。実施装置のECU10は、自車両前方に存在する路面の勾配を二次関数で近似した路面勾配式を算出し、当該路面勾配式の二次(即ち、最高次数)の項の係数の絶対値|a|が係数閾値Cthより大きいか否かを判定する。路面勾配式の二次の項の係数aには、路面の勾配変化が反映される。具体的には、路面が車両の現在位置に対して上方に盛り上がっている場合、その勾配変化が大きくなるほど(勾配が急に変化するほど)係数aは大きくなる。一方、路面が車両の現在位置に対して下方に落ち窪んでいる場合、その勾配変化が大きくなるほど(勾配が急に変化するほど)係数aは小さくなる。このため、当該係数の絶対値|a|が係数閾値Cthより大きいか否かを判定することにより、路面の勾配が急に変化しているか否か(即ち、車両の走行路面として適切であるか否か)を判定することができる。本発明装置は、|a|>Cthが成立すると判定した場合、当該演算タイミングにおいて取得された路面情報を無効化する。これにより、勾配が急に変化しており、走行路面として適切ではない路面情報が検出されることを抑制できる。結果として、車両前方に存在する路面を表す情報を精度よく検出することができる。
加えて、従来の路面検出装置(以下、「従来装置」と称する。)には以下のような問題があった。即ち、一般に、従来装置は、障害物を検出した場合、当該障害物よりも車両の進行方向における奥側の領域(以下、単に「奥側の領域」と称する。)を、路面であるか否かの判定対象とはしないように構成されている。例えば、従来装置は、縁石を障害物として検出した場合、縁石よりも奥側の領域を路面であるか否かの判定対象とはしないように構成されている。
ここで、例えば、除雪作業により雪が障害物を覆うように積みあげられ、積み上げられた雪が路面となだらかにつながっている場合、積み上げられた雪の勾配変化が比較的に大きくても、従来装置は、積み上げられた雪を障害物としてではなく、路面として検出することがある。これにより、雪が積み上げられる前は路面であるか否かの判定対象ではなかった領域(即ち、障害物の奥側に位置している領域)が、路面であるか否かの判定対象となる。このため、当該障害物よりも奥側の領域が比較的平坦であれば、従来装置は、この奥側の領域も路面として検出し、その結果、実際には路面ではない領域を路面として誤検出してしまう可能性がある。
例えば、カーブ形状の道路の脇に縁石が設置されており、当該縁石に雪が積み上げられ、積み上げられた雪が路面として検出されると、その奥側の領域(実際には路面ではない領域)も路面であるか否かの判定対象となる。ここで、当該奥側の領域が比較的平坦な場合、当該領域は路面として検出される。この結果、自動操舵制御により、実際には路面ではない領域に回避経路が設定されてしまう可能性があり、適切な自動操舵制御を実行できない可能性があった。
これに対し、本発明装置は、路面の勾配変化に基づいて当該路面を表す情報を無効化するか否かを決定する。このため、例えば、障害物を覆うように雪が積み上げられ、その結果、障害物の外形形状が変化しても、その積み上げられた雪の勾配変化は比較的に大きいと考えられるため、積み上げられた雪が路面として最終的に検出される可能性は極めて低くなる。ここで、積み上げられた雪が障害物として検出された場合、上述したように障害物よりも奥側の領域は路面であるか否かの判定対象とはならないため、それより奥側の領域が路面として検出されることがなくなり、実際には路面ではない領域が路面として検出される可能性を大幅に低減することができる。一方、積み上げられた雪が不明領域として検出された場合、仮に、それより奥側の領域が路面として検出されたとしても、自動操舵制御が実行される際に、当該不明領域を超えて回避経路が設定される可能性は極めて低い。このため、この場合も、実際には路面ではない領域が路面として検出される可能性を大幅に低減することができる。
以上、本発明の実施形態に係る車両制御装置について説明したが、本発明はこれらに限定されるものではなく、本発明の目的を逸脱しない限りにおいて種々の変更が可能である。
例えば、上記の実施形態では、ある演算タイミングにおいて勾配変化判定により|a|>Cthが成立したと判定された場合、実施装置は路面情報を無効化し、「当該演算タイミングにおいて路面は検出されていない(当該路面情報は無効である)」という最終判定結果を衝突回避制御装置13に出力するが、この構成に限られない。例えば、実施装置は、上記演算タイミングにおいて路面情報を無効化した後、3次元座標に変換された路面視差点のz−yグラフにおける分布形状に基づいて、勾配変化が急である路面視差点群を特定してもよい。そして、当該路面視差点群を除去し、残りの路面視差点群(即ち、勾配変化が急ではない路面視差点群)が存在する場合、当該路面視差点群を最終的な路面情報として衝突回避制御装置13に出力してもよい。別言すれば、実施装置は、勾配変化判定により路面情報を無効化した場合、路面の再検出を行ってもよい。この構成によれば、勾配変化が急であると判定された場合にも走行可能な路面が検出され易くなるため、路面が検出されないことに起因して自動操舵制御が選択されなくなることを抑制でき、より適切な運転支援制御を行うことができる。
加えて、実施装置は、路面情報を取得するに際し、路面視差点に以下のように重み付けを行ってもよい。即ち、車速及びヨーレート等に基づいて、自車両が走行すると予想される経路である走行予想経路を推定し、路面視差点の走行予想経路までの距離に応じて、当該距離が近くなるほど路面視差点の重みが大きくなるように重み付けを行ってもよい(詳細は特開2016−206776号公報を参照)。そして、実施装置は、重み付けされた路面視差点に基づいて、上述した方法で3次元座標変換することにより路面情報を取得し、当該路面情報に基づいて勾配変化判定を行ってもよい。
10:路面検出ECU、11:カメラセンサ、13:衝突回避制御装置、14:路面、15:障害物、20:視差投票マップ、22:ブロック、22a:路面ブロック

Claims (1)

  1. 車両に搭載された路面検出装置であって、
    ステレオカメラを用いて車両前方の領域を撮像する撮像手段と、
    前記撮像手段によって撮像された撮像画像に基づいて当該撮像画像を構成する各画素の視差を含む視差情報を算出する視差情報算出手段と、
    前記視差情報に基づいて前記撮像画像の前記画素のうち路面に対応している画素を抽出し、前記抽出した画素が有する情報に基いて3次元座標軸において路面を表す情報を路面情報として取得する路面情報取得手段と、
    前記路面の勾配を二次関数で近似した路面勾配式を前記路面を表す情報に基いて算出する路面勾配式算出手段と、
    前記路面勾配式の二次の項の係数の絶対値が所定の係数閾値より大きいか否かを判定する勾配変化判定手段と、
    前記勾配変化判定手段により前記絶対値が前記係数閾値より大きいと判定された場合、前記路面を表す情報を無効化する無効化手段と、
    を備えた、
    路面検出装置。

JP2017191566A 2017-09-29 2017-09-29 路面検出装置 Active JP6849569B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017191566A JP6849569B2 (ja) 2017-09-29 2017-09-29 路面検出装置
US16/144,556 US10953885B2 (en) 2017-09-29 2018-09-27 Road surface detecting apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017191566A JP6849569B2 (ja) 2017-09-29 2017-09-29 路面検出装置

Publications (2)

Publication Number Publication Date
JP2019067115A true JP2019067115A (ja) 2019-04-25
JP6849569B2 JP6849569B2 (ja) 2021-03-24

Family

ID=65895919

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017191566A Active JP6849569B2 (ja) 2017-09-29 2017-09-29 路面検出装置

Country Status (2)

Country Link
US (1) US10953885B2 (ja)
JP (1) JP6849569B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020203287A1 (ja) 2019-03-29 2020-10-08 三井化学東セロ株式会社 電子装置の製造方法および粘着性フィルム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11059480B2 (en) * 2019-04-26 2021-07-13 Caterpillar Inc. Collision avoidance system with elevation compensation
CN115205809B (zh) * 2022-09-15 2023-03-24 北京中科慧眼科技有限公司 路面凹凸度检测方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003312412A (ja) * 2002-04-23 2003-11-06 Toyota Motor Corp 駐車支援装置および自動操舵装置
JP2015075800A (ja) * 2013-10-07 2015-04-20 日立オートモティブシステムズ株式会社 物体検出装置及びそれを用いた車両
JP2016206776A (ja) * 2015-04-17 2016-12-08 トヨタ自動車株式会社 路面検出装置
JP2016205887A (ja) * 2015-04-17 2016-12-08 トヨタ自動車株式会社 路面勾配検出装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5441549B2 (ja) * 2009-07-29 2014-03-12 日立オートモティブシステムズ株式会社 道路形状認識装置
JP5752618B2 (ja) 2012-02-10 2015-07-22 トヨタ自動車株式会社 ステレオ視差算出装置
JP6110256B2 (ja) * 2013-08-21 2017-04-05 株式会社日本自動車部品総合研究所 対象物推定装置および対象物推定方法
JP6269838B2 (ja) * 2014-08-04 2018-01-31 日産自動車株式会社 自己位置算出装置及び自己位置算出方法
JP2017199178A (ja) * 2016-04-27 2017-11-02 Kyb株式会社 路面状態検出装置
JP6712775B2 (ja) * 2016-08-12 2020-06-24 パナソニックIpマネジメント株式会社 路面推定装置、車両制御装置、路面推定方法、およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003312412A (ja) * 2002-04-23 2003-11-06 Toyota Motor Corp 駐車支援装置および自動操舵装置
JP2015075800A (ja) * 2013-10-07 2015-04-20 日立オートモティブシステムズ株式会社 物体検出装置及びそれを用いた車両
JP2016206776A (ja) * 2015-04-17 2016-12-08 トヨタ自動車株式会社 路面検出装置
JP2016205887A (ja) * 2015-04-17 2016-12-08 トヨタ自動車株式会社 路面勾配検出装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020203287A1 (ja) 2019-03-29 2020-10-08 三井化学東セロ株式会社 電子装置の製造方法および粘着性フィルム

Also Published As

Publication number Publication date
US20190100215A1 (en) 2019-04-04
JP6849569B2 (ja) 2021-03-24
US10953885B2 (en) 2021-03-23

Similar Documents

Publication Publication Date Title
US10345443B2 (en) Vehicle cruise control apparatus and vehicle cruise control method
JP6936098B2 (ja) 対象物推定装置
JPWO2017158958A1 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
WO2016117603A1 (ja) 車両の走行制御装置及び走行制御方法
JP6985089B2 (ja) 立体物接地判定装置
JP2010003254A (ja) 画像処理装置
JP6363518B2 (ja) 区画線認識装置
JP6769477B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP6816401B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP6722084B2 (ja) 物体検出装置
JP6547785B2 (ja) 物標検出装置
JP6815963B2 (ja) 車両用外界認識装置
US8160300B2 (en) Pedestrian detecting apparatus
JP4948996B2 (ja) 車両の運転支援装置
JP6849569B2 (ja) 路面検出装置
JP7071154B2 (ja) 道路境界検出装置
JP2020148470A (ja) 路面検出装置
JP6609292B2 (ja) 車外環境認識装置
EP3287948B1 (en) Image processing apparatus, moving body apparatus control system, image processing method, and program
US20230004169A1 (en) Apparatus and Method for Controlling Mobile Body
US10857998B2 (en) Vehicle control device operating safety device based on object position
JP5717416B2 (ja) 運転支援制御装置
JP4703963B2 (ja) 車外監視装置、及び、この車外監視装置を備えた走行制御装置
JP6259239B2 (ja) 車両用白線認識装置
EP3540643A1 (en) Image processing apparatus and image processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210304

R151 Written notification of patent or utility model registration

Ref document number: 6849569

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250