JP2019028653A - 物体検出方法及び物体検出装置 - Google Patents

物体検出方法及び物体検出装置 Download PDF

Info

Publication number
JP2019028653A
JP2019028653A JP2017146357A JP2017146357A JP2019028653A JP 2019028653 A JP2019028653 A JP 2019028653A JP 2017146357 A JP2017146357 A JP 2017146357A JP 2017146357 A JP2017146357 A JP 2017146357A JP 2019028653 A JP2019028653 A JP 2019028653A
Authority
JP
Japan
Prior art keywords
time
image
road surface
feature points
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017146357A
Other languages
English (en)
Other versions
JP6939198B2 (ja
Inventor
健夫 宮阪
Takeo Miyasaka
健夫 宮阪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2017146357A priority Critical patent/JP6939198B2/ja
Publication of JP2019028653A publication Critical patent/JP2019028653A/ja
Application granted granted Critical
Publication of JP6939198B2 publication Critical patent/JP6939198B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】路面の検出精度を向上させることができる物体検出方法を提供する。【解決手段】画像センサにより第1時刻における車両の周囲の画像を取得し(S101)、画像中の複数の特徴点を抽出し(S103)、車両から第1時刻における複数の特徴点に対応する対象までの距離を取得し(S105)、第1時刻における距離及び画像の複数の特徴点の垂直座標の関係から、第1時刻の路面平面を検出し(S111)、第1時刻から第2時刻までの間の画像センサの運動を検出し(S106)、センサの運動を用いて、第1時刻の路面平面から第2時刻の路面平面を設定する(S109)。【選択図】図6

Description

本発明は、物体検出方法及び物体検出装置に関する。
特許文献1は、ステレオカメラの撮像画像から視差画像を生成し、横軸を視差画像の各画素の視差値、縦軸を視差画像の垂直方向の座標として画素の頻度を分布させたVマップから、直線を検出することにより路面に対応する画素を抽出する方法を開示する。
特開2015−179302号公報
しかしながら、特許文献1は、例えばステレオカメラが先行車に近づいた場合等、画像に路面が十分映らない場合において、Vマップにおける直線の検出が困難となるため、路面の検出に失敗する可能性がある。
本発明は、上記問題点を鑑み、路面の検出精度を向上させることができる物体検出方法及び物体検出装置を提供することを目的とする。
本発明の一態様によれば、画像センサにより第1時刻における車両の周囲の画像を取得し、画像中の複数の特徴点を抽出し、車両から第1時刻における複数の特徴点に対応する対象までの距離を取得し、第1時刻における距離及び画像の複数の特徴点の垂直座標の関係から、第1時刻の路面平面を検出し、第1時刻から第2時刻までの間の画像センサの運動を検出し、センサの運動を用いて、第1時刻の路面平面から第2時刻の路面平面を設定することを特徴とする物体検出方法及び物体検出装置が提供される。
本発明によれば、路面の検出精度を向上させることができる物体検出装置方法及び物体検出装置を提供できる。
本発明の実施形態に係る物体検出装置を備える運転支援装置の概略構成例を示す図である。 本発明の実施形態に係る物体検出装置を説明するブロック図である。 画像と、画像の水平座標及び視差の関係を示すu−d画像を図示した一例である。 視差及び画像の垂直座標の関係を示すd−v画像を図示した一例である。 d−v画像から直線検出を行う例を説明する図である。 本発明の実施形態に係る物体検出方法の一例を説明するフローチャートである。
以下、図面を参照して、本発明の実施形態を説明する。図面の記載において、同一又は類似の部分には同一又は類似の符号を付し、重複する説明を省略する。各図面は模式的なものであり、現実のものとは異なる場合が含まれる。以下に示す実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、下記の実施形態に例示した装置や方法に特定するものでない。本発明の技術的思想は、特許請求の範囲に記載された技術的範囲内において、種々の変更を加えることができる。
(運転支援装置)
本発明の実施形態に係る運転支援装置1は、物体検出装置10、車両挙動センサ群20、車両走行コントローラ30及び車両制御アクチュエータ群40を備える。物体検出装置10は、車両の周囲に存在する物体を検出し、検出結果を車両走行コントローラ30に出力したり検出結果に応じた情報を乗員に提示したりする。物体検出装置10は、周囲環境センサ群11、コントローラ12及びユーザインタフェース(I/F)装置13を備える。
運転支援装置1は、車両(以下、「自車両」と表記する)に搭載され、自車両の周囲の走行環境に基づき自車両を自動的に操舵、駆動、制動の少なくとも1つの制御を行う走行支援制御、又は運転者が関与せずに自車両を自動で運転する自動運転制御を行う。走行支援制御は、先行車追従制御や車線逸脱防止制御であってもよい。
周囲環境センサ群11は、自車両の周囲環境、例えば自車両の周囲の物体を検出するセンサ群である。自車両の周囲環境は、少なくとも自車両の前方の環境を含み得る。例えば周囲環境センサ群11は、ステレオカメラ50及びレーダ53を備える。
ステレオカメラ50は、自車両の周囲のステレオ画像を自車両の周囲環境の情報として生成する。ステレオカメラ50は、ステレオカメラ50の撮影方向と直交する方向に沿って互いの視野が重なるように配置された第1画像センサ51と、第2画像センサ52を備える。例えば、第1画像センサ51はステレオカメラ50の撮影方向を向いたときに左側に配置され、第2画像センサ52は右側に配置されてよい。ステレオカメラ50は、例えば、光軸が自車両、即ち自車両が走行する路面に対して平行になるように前方に向けて、画角内に自車両が走行する路面が含まれるように設置される。
レーダ53としては、ミリ波レーダ、超音波レーダ又はレーザレンジファインダ(LRF)等の測距レーダが使用可能である。レーダ53は、自車両の周囲に存在する物体の有無、自車両に対する物体の相対位置を、自車両の周囲環境の情報として検出する。周囲環境センサ群11は、検出した周囲環境の情報(周囲環境情報)をコントローラ12と車両走行コントローラ30へ出力する。
コントローラ12は、ステレオカメラ50が生成したステレオ画像から物体を検出する処理を実行する電子制御ユニット(ECU)である。コントローラ12は、プロセッサ55と、記憶装置56等の周辺部品を含む。プロセッサ55は、例えばCPU(Central Processing Unit)、やMPU(Micro-Processing Unit)であってよい。なお、汎用の半導体集積回路中に設定される機能的な論理回路でコントローラ12を実現してもよい。例えば、コントローラ12はフィールド・プログラマブル・ゲート・アレイ(FPGA)等のプログラマブル・ロジック・デバイス(PLD)等を有していてもよい。
記憶装置56は、半導体記憶装置、磁気記憶装置及び光学記憶装置のいずれかを備えてよい。記憶装置56は、レジスタ、キャッシュメモリ、主記憶装置として使用されるROM(Read Only Memory)及びRAM(Random Access Memory)等のメモリを含んでよい。記憶装置56には、プロセッサ55上で実行されて、物体を検出する処理をコントローラ12に実行させるためのコンピュータプログラムが記憶される。
ユーザインタフェース装置13は、コントローラ12による制御に応じて所定の情報を乗員に提示する。ユーザインタフェース装置13は、音により情報を乗員に提示するスピーカやブザー等の発音装置であってもよく、画像や文字、光等により情報を運転者に提示するディスプレイ装置やランプ等の視覚信号出力装置であってもよい。ユーザインタフェース装置13が乗員に提示する情報は、例えば乗員に対する警報信号である。ユーザインタフェース装置13は、自車両のステアリングホイールや座席に振動を付与するバイブレータや、アクセルペダルやステアリングホイール等に反力を与えるアクチュエータであってもよく、これら振動や反力を警報信号として与えてもよい。
車両挙動センサ群20は、自車両の車両挙動を検出するセンサ群である。車両挙動センサ群20は、車速センサ21、加速度センサ22、ジャイロセンサ23及び操舵角センサ24を備える。車速センサ21は、自車両の車輪速を検出し、車輪速に基づき自車両の速度を算出する。加速度センサ22は、自車両の前後方向の加速度及び車幅方向の加速度を検出する。ジャイロセンサ23は、ロール軸、ピッチ軸及びヨー軸を含む3軸回りの自車両の角速度を検出する。操舵角センサ24は、操舵操作子であるステアリングホイールの現在の回転角度(操舵操作量)である現在操舵角を検出する。これら車速、加速度、角速度及び操舵角の情報を、総称して「車両挙動情報」と表記することがある。車両挙動センサ群20は、車両挙動情報を車両走行コントローラ30へ出力する。
車両走行コントローラ30は、自車両の自動運転制御又は運転支援制御を行うECUである。車両走行コントローラ30は、プロセッサと、記憶装置等の周辺部品とを含む。車両走行コントローラ30のプロセッサは例えばCPUやMPUであってよい。なお、汎用の半導体集積回路中に設定される機能的な論理回路で車両走行コントローラ30を実現してもよい。例えば、車両走行コントローラ30は、FPGA等のPLD等を有していてもよい。車両走行コントローラ30の記憶装置は、記憶媒体として半導体記憶装置、磁気記憶装置及び光学記憶装置のいずれかを備えてよい。車両走行コントローラ30の記憶装置は、レジスタ、キャッシュメモリ、主記憶装置として使用されるROM及びRAM等のメモリを含んでよい。
車両走行コントローラ30は、周囲環境センサ群11から出力された周囲環境情報と、車両挙動センサ群20から出力された車両挙動情報とに基づき車両制御アクチュエータ群40を駆動することにより、自車両の走行支援制御又は自動運転制御を実行する。更に車両走行コントローラ30は、コントローラ12から出力される警報信号に応じて、コントローラ12が検出した物体との接触を回避するための走行支援制御又は自動運転制御を行う。例えば車両走行コントローラ30は、自動ブレーキによる減速や停車、又は物体を回避する自動操舵を実施する。
車両制御アクチュエータ群40は、車両走行コントローラ30からの制御信号に応じて、自車両の走行を制御する。車両制御アクチュエータ群40は、ステアリングアクチュエータ41、アクセル開度アクチュエータ42及びブレーキ制御アクチュエータ43を備える。ステアリングアクチュエータ41は、自車両の操舵方向及び操舵量を制御する。アクセル開度アクチュエータ42は、自車両のアクセル開度を制御する。ブレーキ制御アクチュエータ43は、自車両のブレーキ装置の制動動作を制御する。
コントローラ12は、図2に示すように、画像補正部61及び62と、特徴点抽出部63及び64と、距離算出部60と、オプティカルフロー算出部65と、3次元座標算出部66と、センサ運動検出部67と、対象判定部68と、路面平面設定部69と、路面平面メモリ70と、路面抽出部71等の論理ブロックを機能的又は物理的なハードウェア資源として備える。コントローラ12を構成する各部は、単一のハードウェアから構成されてもよく、それぞれ別個のハードウェアから構成されてもよい。画像補正部61及び62と、特徴点抽出部63及び64と、オプティカルフロー算出部65と、3次元座標算出部66と、センサ運動検出部67と、対象判定部68と、路面平面設定部69と、路面抽出部71の各機能は、コントローラ12のプロセッサ55が、記憶装置56に格納されたコンピュータプログラムを実行することによって実現されてよい。
ステレオカメラ50を構成する第1画像センサ51と第2画像センサ52は、自車両の周囲のステレオ画像を所定周期で逐次撮影する。第1画像センサ51と第2画像センサ52は同期しており、同時刻の画像が取得される。以下、第1画像センサ51の撮像画像を「第1画像」と表記し、第2画像センサ52の撮像画像を「第2画像」と表記することがある。画像補正部61には第1画像が逐次入力され、画像補正部62には第2画像が逐次入力される。
画像補正部61及び62は、第1画像及び第2画像の補正処理をそれぞれ行う。例えば画像補正部61及び62は、第1画像及び第2画像のレンズ歪みを補正してよい。画像補正部61及び62は、第1画像及び第2画像のエピポーラ線が互いに平行になるようにアフィン変換等の補正処理を行う。画像補正部61及び62は、第1画像センサ51及び第2画像センサ52の共通の視野内の実空間における同一点の像が、第1画像及び第2画像の同一走査線上に位置するように変換する平行化を行ってよい。
特徴点抽出部63及び64は、第1画像及び第2画像のそれぞれにおいて、それぞれ周囲の画素と区別可能な特徴を持つ画素である複数の特徴点を抽出する。特徴点の抽出には、例えば非特許文献「Jianbo Shi and Carlo Tomasi, "Good Features to Track," 1994 IEEE Conference on Computer Vision and Pattern Recognition (CVPR'94), 1994, pp. 593 - 600.」に記載の手法を用いてよい。第1画像で抽出された特徴点は、オプティカルフロー算出部65に一時的に記憶される。
距離算出部60は、過去の特徴点に対応する実空間中の対象と同一の対象に対応する現在の特徴点を、関連する特徴点として検出する。距離算出部60は、互いに関連する第1画像の特徴点と第2画像の特徴点との視差(ずれ量)から、ステレオカメラ50(自車両)から特徴点に対応する対象までの距離を算出する。その他、距離算出部60は、特徴点抽出部63,64の少なくともいずれかにより抽出された特徴点に対応する対象までの距離を、ステレオカメラ50に限らず、レーダ53を用いて算出するようにしてもよい。例えば、距離算出部60は、第1画像センサにより取得される画像の各画素と、レーダ53により検出される対象の方位とを予め対応させておくことにより、画像上の特徴点までの距離を算出することができる。
オプティカルフロー算出部65は、第1画像で抽出された各特徴点の動きベクトルの分布であるオプティカルフローを算出する。オプティカルフロー算出部65は、現時点より所定期間前の過去の第1画像で抽出された特徴点と、現時点の第1画像で抽出された特徴点と関連付けする。以下、過去の第1画像で検出された特徴点を「過去の特徴点」と表記し、現時点の第1画像で検出された特徴点を「現在の特徴点」と表記することがある。
オプティカルフロー算出部65は、過去の特徴点に対応する実空間中の対象と同一の対象に対応する現在の特徴点を、関連する特徴点として検出する。オプティカルフロー算出部65は、互いに関連する過去の特徴点と現在の特徴点の組み合わせをオプティカルフローとして抽出する。オプティカルフローの抽出には、例えば非特許文献「Bruce D. Lucas and Takeo Kanade. An Iterative Image Registration Technique with an Application to Stereo Vision. International Joint Conference on Artificial Intelligence, pages 674-679, 1981」に記載の手法を用いてよい。
3次元座標算出部66は、互いに関連する第1画像の特徴点と第2画像の特徴点との視差(ずれ量)を算出する。3次元座標算出部66は、第1画像の特徴点に対応する実空間中の対象と同一の対象に対応する第2画像の特徴点を、関連する特徴点として検出する。第1画像及び第2画像には、画像補正部61及び62による平行化処理を施されているため、空間中の同一点の像が第1画像及び第2画像の同一走査線上に位置する。したがって、1次元の探索処理により互いに関連する特徴点を探索できる。特徴点の視差は、ステレオカメラ50から特徴点に対応する対象までの距離に対応し、視差が大きい程、対象までの距離は短い。
3次元座標算出部66は、算出した視差と、第1画像センサ51と第2画像センサ52の画角、取り付け位置、光軸方向等のパラメータとに基づき、ステレオカメラ50から互いに関連する特徴点に対応する実空間内の対象までの距離及び方位を算出する。3次元座標算出部66は、互いに関連する特徴点のそれぞれに対応する対象の距離及び方位から、ステレオカメラ50を基準とする特徴点の3次元座標を算出する。3次元座標算出部66は、特徴点に対応する対象までの距離として、距離算出部60により算出された距離を使用してもよい。
センサ運動検出部67は、ステレオカメラ50(第1画像センサ51)の運動、即ち、3軸並進運動及び3軸回転運動を検出(推定)する。3軸並進運動は、自車両の前後方向、車幅方向、上下方向の運動である。3軸回転運動は、ロール軸、ピッチ軸及びヨー軸を含む3軸回りの回転運動である。
センサ運動検出部67は、例えば、時系列の第1画像及び第2画像に基づいてステレオカメラ50の運動を検出してもよい。センサ運動検出部67は、所定期間前の過去の複数の特徴点の3次元座標と現在の特徴点の複数の特徴点とから、ステレオカメラ50の運動を検出し得る。即ち、センサ運動検出部67は、過去の複数の特徴点の3次元座標とそれぞれ関連する現在の第1画像中の特徴点を、オプティカルフロー算出部65が算出したオプティカルフローに基づいて選択する。センサ運動検出部67は、過去の複数の特徴点の3次元座標とそれぞれ関連する現時点の特徴点の第1画像上の位置を求める。センサ運動検出部67は、過去の複数の特徴点の3次元座標のそれぞれが、現在の画像上のそれぞれの位置に投影された場合に、画像上の位置誤差が最小になるステレオカメラ50の3軸並進運動及び3軸回転運動を検出する。センサ運動検出部67は、過去の複数の特徴点の3次元座標と現在の複数の特徴点の3次元座標とからステレオカメラ50の3軸並進運動及び3軸回転運動を検出するようにしてもよい。
ステレオカメラ50の運動の検出方法として、例えば非特許文献「Geiger, Andreas, Julius Ziegler, and Christoph Stiller. "Stereoscan: Dense 3d reconstruction in real-time." Intelligent Vehicles Symposium (IV), 2011 IEEE. Ieee, 2011.」に記載の方法を用いてよい。また、センサ運動検出部67は、単位時刻前に検出した運動を用いて、現在のステレオカメラ50の運動を検出してもよい。
このように、画像を用いてステレオカメラ50の運動を求めることの利点として、車両挙動センサ群20を用いないため、ステレオカメラ50と車両挙動センサ群20との間の同期が不要になることが挙げられる。よって、高速なステレオカメラ50を用いることにより、短いサンプリング周期でステレオカメラ50の運動を検出することが可能となる。
対象判定部68は、3次元座標算出部により視差が算出された複数の特徴点のそれぞれの、第1画像における水平座標及び特徴点に対応する対象までの距離の関係から、特徴点に対応する対象が路面候補か否かを判定する。例えば、対象判定部68は、図3に示すように、各特徴点を、横軸を第1画像Jの水平座標u、縦軸を視差dとするu−d画像Kに投影する。対象判定部68は、第1画像Jの水平座標uを示す横軸及び視差dを示す縦軸を一定の大きさのセルに区切ったグリッドマップを用意し、第1画像Jの各特徴点について、その水平座標u及び視差dに対応するセルに投票する。各セルに投票された特徴点の数が記録されることで、u−d画像Kが生成される。
図3に示すu−d画像Kおいて、濃い色で示されるほど、投票された特徴点の数が多いことを意味する。また、視差dは距離に対応しており、視差dの値が小さい、即ち図3のu−d画像Kにおいて上方に位置するほど、対象までの距離が遠いことを意味する。立体物が路面に対して垂直に立っていると仮定すると、立体物の特徴点は、同一の視差を有するため、水平座標uが同一の特徴点であれば同一のセルに投票される。よって、対象判定部68は、1つのセルに投票された特徴点の数が所定の閾値N以上の場合、該当する特徴点を立体物候補としてラベリングし、閾値N未満の場合、該当する特徴点を路面候補としてラベリングする。なお、図3に示す第1画像Jにおいて、立体物候補となった特徴点が含まれる領域の明度を高く表現している。
路面平面設定部69は、対象判定部68により路面候補と判定された複数の特徴点のそれぞれの、特徴点に対応する対象までの距離及び第1画像における垂直座標の関係から、自車両が走行する路面平面を検出する。例えば、路面平面設定部69は、図4に示すように、路面候補と判定された各特徴点を、横軸を視差d、縦軸を第1画像の垂直座標vとするd−v画像Lに投影する。路面平面設定部69は、視差dを示す横軸及び第1画像の垂直座標vを示す縦軸を一定の大きさに区切ったグリッドマップを用意し、第1画像Jの各特徴点について、その視差d及び垂直座標vに対応するセルに投票する。各セルに投票された特徴点の数が記録されることで、d−v画像Lが生成される。
図4に示すd−v画像Lにおいて、プロットは、特徴点が投票されたセルであることを意味する。また、視差dの値が小さい、即ち図4のd−v画像Lにおいて左方に位置するほど、対象までの距離が遠いことを意味する。路面がステレオカメラ50の撮影方向に対して平行且つ平面であると仮定すると、路面に対応する特徴点は、図4に示すように、右下がりの直線上に並ぶ。路面平面設定部69は、この直線の方程式を路面平面として検出することで自車両が走行する路面の平面を検出する。
d−v画像Lにおける直線検出の方法は、例えば非特許文献「Martin A. Fischler & Robert C. Bolles (June 1981). "Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography" . Comm. of the ACM. 24 (6): 381-395.」に記載されるRANSAC法を用いてもよい。
図5に示すように、d−v画像Lにおいて、垂直方向に延伸するように投票された複数の特徴点Pは、路面から垂直方向に延伸して存在する立体物に対応する。RANSAC法では、このような特徴点Pを外れ値として除去し、直線を当てはめることで直線Mを検出する。この場合、路面に対応する特徴点が一定以上抽出されないと、直線検出が成功しない。よって、例えば自車両と先行車との距離が短く、ステレオカメラ50により路面が撮影されない場合等、路面平面の検出に失敗してしまう。また、ステレオカメラ50により撮影される路面の領域が少ない場合、路面平面と他の平面との判別が困難となる。
これに対して、路面平面設定部69は、過去に検出された路面平面から、センサ運動検出部67により検出されたステレオカメラ50の運動を用いて現在の路面平面を設定(推定)する。このため、路面平面メモリ70は、路面平面設定部69により検出された路面平面を逐次循環的に記憶する。路面平面設定部69は、路面平面メモリ70から、所定期間前の過去の路面平面を読み出し、センサ運動検出部67により検出された過去から現在までのステレオカメラ50の運動を用いて現在の路面平面を設定する。
更に、路面平面設定部69は、d−v画像Lにおいて、設定された路面平面を示す直線上のセルに所定値αの投票を行う。路面平面設定部69は、所定値αの投票がされたd−v画像Lにおいて直線検出を行うことにより、現在の路面平面として検出する。検出された路面平面は、路面平面メモリ70に記憶され、所定期間後の路面平面設定に使用される。これにより、現在の第1画像に路面が写っていない場合や、写っている路面が少ない場合であっても、過去に検出された路面平面を用いることにより、現在の路面平面を検出することができる。
路面抽出部71は、d−v画像Lにおいて、路面平面設定部69により検出された路面平面を示す直線上に投票された特徴点を路面の点として抽出し、第1画像において路面を示す特徴点が分布する領域を路面領域として抽出する。また、路面抽出部71は、第1画像において路面領域に位置する特徴点を路面点、他の特徴点を立体物点として外部に出力する。路面抽出部71から出力された路面点及び立体物点の情報は、例えば、画像認識のための画像領域の限定や、走行可能領域の特定、対象の自車両への接近に対する警報の出力等に使用することができる。
また例えば、路面抽出部71は、ステレオカメラ50(第1画像センサ)により取得された画像において、パターン認識等により道路標示や車線境界線等の路面標示を検出し、路面標示に対応する特徴点を用いて、路面領域から自車両が走行する走行可能領域を抽出するようにしてもよい。或いは、路面抽出部71は、縁石に対応する特徴点を用いて、路面領域から自車両が走行する走行可能領域を抽出するようにしてもよい。縁石は、ステレオカメラ50やレーダ53により取得される距離データにより検出されればよい。
(物体検出方法)
次に、図6のフローチャートを参照して、本発明の実施形態に係る物体検出装置10を用いた物体検出方法の一例を説明する。図6に示す一連の処理は、例えば所定の単位時刻を周期として繰り返し実行される。なお周期は、必ずしも一定とは限らず、例えば周囲環境に応じて可変であってもよい。
先ず、ステップS101において、ステレオカメラ50は、自車両の前方のステレオ画像を所定の周期で取得する。ステップS102において、画像補正部61及び62は、ステレオ画像に含まれる第1画像及び第2画像の各レンズ歪み等を補正する補正処理をそれぞれ行う。ステップS103において、特徴点抽出部63及び64は、第1画像及び第2画像それぞれにおいて特徴点を検出し、検出した特徴点を記憶装置56に記憶する。
ステップS104において、オプティカルフロー算出部65は、第1画像で抽出された各特徴点のオプティカルフローを算出する。具体的には、オプティカルフロー算出部65は、物体検出装置10の起動後の初回のステップS104ではオプティカルフローを算出せず、2回目以降のステップS104において、前回、即ち1周期前のステップS103において抽出された過去の特徴点と、今回のステップS103において抽出された現在の特徴点とを関連付け、互いに関連する特徴点の動きベクトルの分布をオプティカルフローとして算出する。
ステップS105において、3次元座標算出部66は、互いに関連する第1画像の特徴点と第2画像の特徴点との視差を算出し、視差から算出される、各特徴点に対応する対象の、ステレオカメラ50に対する相対距離及び方位から、各特徴点の3次元座標を算出する。
ステップS106において、センサ運動検出部67は、ステレオカメラ50の3軸並進運動及び3軸回転運動を検出する。センサ運動検出部67は、初回のステップS106では、ステレオカメラ50の運動を検出しない。センサ運動検出部67は、2回目以降のステップS106において、前回のステップS105において算出された過去の複数の特徴点の3次元座標と、今回のステップS103において抽出された現在の複数の特徴点とから、ステレオカメラ50の運動を検出する。
ステップS107において、対象判定部68は、ステップS105で算出されたステレオ画像の視差から、複数の特徴点のそれぞれの、第1画像における水平座標u及び特徴点に対応する対象までの距離の関係を示すu−d画像Kを生成する。
ステップS108において、対象判定部68は、u−d画像Kにおいて投票された特徴点の数、即ち、第1画像における水平座標u及び視差dが互いに類似する特徴点の数が所定の閾値N以上の特徴点を立体物候補、閾値N未満の特徴点を路面候補と判定する。
ステップS109において、路面平面設定部69は、過去の路面平面から、ステレオカメラ50の運動を用いて現在の路面平面を設定する。即ち、路面平面設定部69は、初回のステップS109において路面平面を設定しない。2回目以降のステップS109における路面平面の設定については後述する。
ステップS110において、路面平面設定部69は、ステップS108で路面候補と判定された特徴点のそれぞれの、特徴点に対応する対象までの距離及び第1画像における垂直座標vの関係を示すd−v画像を生成する。
ステップS111において、路面平面設定部69は、ステップS110で生成されたd−v画像から、直線検出を行うことにより、路面平面を検出する。路面平面設定部69により検出された路面平面は、路面平面メモリ70に逐次記憶される。
ステップS112において、路面抽出部71は、ステップS111で検出された路面平面を示す直線上に投票された特徴点が分布する第1画像における領域を路面領域として抽出する。ステップS113において、路面抽出部71は、ステップS112で抽出された路面領域に含まれる特徴点を路面点、他の特徴点を立体物点として外部に出力する。
2回目以降のステップS109においては、路面平面設定部69は、前回のステップS111で路面平面メモリ70に記憶された路面平面から、今回のステップS106で検出されたステレオカメラ50の運動を用いて、現在の路面平面を設定する。そして、次のステップS110において、路面平面設定部69は、d−v画像Lにおいて、設定された路面平面を示す直線上のセルに所定値αの投票を行った上で、現在の路面平面を示す直線検出を行う。
以上のように、物体検出装置10によれば、第1時刻から第2時刻までのステレオカメラ50の運動を用いて、第1時刻の路面平面から第2時刻の路面平面を設定することができる。これにより、自車両と先行車との距離が短い場合等、第2時刻においてステレオカメラ50から路面が見えない場面であっても、第2時刻においてステレオカメラ50から見えるであろう路面平面を過去の情報を用いて設定することが可能となるため、路面の検出精度を向上させることができる。
また物体検出装置10によれば、各特徴点の視差d(距離に対応)及び第1画像における垂直座標の関係を示す第2時刻のd−v画像、第1時刻から第2時刻までのステレオカメラ50の運動、並びに、第1時刻の路面平面より、第2時刻の路面平面を設定することができる。これにより、第2時刻においてステレオカメラ50から路面が完全に見えない場面であっても、第2時刻においてステレオカメラ50から見えるであろう路面平面を過去の情報を用いて補足して設定することが可能となるため、路面の検出精度を向上させることができる。
また、物体検出装置10によれば、第1時刻における特徴点の3次元座標と、第2時刻における特徴点の3次元座標とから、ステレオカメラ50の運動を検出するため、車両挙動センサ群20により検出された運動を用いる必要がない。よって、ステレオカメラ50と車両挙動センサ群20との間の同期が不要であり、高速なステレオカメラ50を用いることが容易となる。
また、物体検出装置10によれば、ステレオカメラ50から特徴点に対応する対象までの距離を互いに関連する特徴点の視差から算出する。このため、他のレーダ53により検出された距離データを用いる必要がない。よって、ステレオカメラ50とレーダ53との間の同期が不要であり、高速なステレオカメラ50を用いることが容易となる。
また、物体検出装置10によれば、各特徴点の視差d(距離に対応)及び第1画像における垂直座標の関係を示すd−v画像から、立体物に対応する特徴点を除去して、直線を路面平面として検出する。よって、直線検出の精度が向上されるため、路面の検出精度が向上される。
また、物体検出装置10によれば、各特徴点の第1画像における水平座標u及び視差d(距離に対応)の関係を示すu−d画像から、路面候補を抽出し、路面候補から生成されたd−v画像を用いて路面平面を検出する。よって、予め粗分離された路面候補の特徴のみを用いて路面平面の検出を行うことが可能であるため、路面の検出精度が向上される。
また、物体検出装置10によれば、路面標示や縁石に対応する特徴点を用いて路面領域から自車両の走行可能領域を抽出することができる。これにより、自動運転制御や走行支援制御における走行可能領域の検出精度を向上させることができる。
(その他の実施形態)
上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面は本発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。
例えば、上述の実施形態において、センサ運動検出部67は、画像の特徴点の変化に基づいてステレオカメラ50の運動を検出したが、他の方法によりステレオカメラ50の運動を検出するようにしてもよい。例えば、センサ運動検出部67は、車両挙動センサ群20により取得される自車両の3軸並進運動及び3軸回転運動から、ステレオカメラ50の設置条件を用いてステレオカメラ50の運動を検出するようにしてもよい。また、センサ運動検出部67は、少なくともピッチ軸回りの運動を検出するようにしても、路面平面設定部69は、路面平面を高精度に設定可能である。検出する運動の軸を低減することにより、ステレオカメラ50の運動検出及び路面平面設定における処理負荷を低減することができる。
また、路面平面設定部69は、対象判定部68により判定された路面候補の数や割合が一定以下の場合において限定的に、路面平面メモリ70から、所定期間前の過去の路面平面を読み出し、センサ運動検出部67により検出された過去から現在までのステレオカメラ50の運動を用いて現在の路面平面を設定するようにしてもよい。これにより、路面平面設定部69の処理負荷を低減することができる。
その他、上記の実施形態において説明される各構成を任意に応用した構成等、本発明はここでは記載していない様々な実施形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。
10 物体検出装置
12 コントローラ
50 ステレオカメラ
51 第1画像センサ
52 第2画像センサ
61,62 画像補正部
63,64 特徴点抽出部
65 オプティカルフロー算出部
66 3次元座標算出部
67 センサ運動検出部
68 対象判定部
69 路面平面設定部
70 路面平面メモリ
71 路面抽出部

Claims (9)

  1. 車両に搭載された画像センサにより第1時刻における前記車両の周囲の画像を取得し、
    前記第1時刻の前記画像中の複数の特徴点を抽出し、
    前記車両から前記第1時刻における前記複数の特徴点に対応する対象までの距離を取得し、
    前記第1時刻における、前記距離及び前記画像の前記複数の特徴点の垂直座標の関係から、前記第1時刻の路面平面を検出し、
    前記第1時刻から、前記第1時刻より後の第2時刻までの間の前記画像センサの運動を検出し、
    前記画像センサの運動を用いて、前記第1時刻の路面平面から前記第2時刻の路面平面を設定する
    ことを特徴とする物体検出方法。
  2. 前記画像センサにより前記第2時刻における前記車両の周囲の画像を取得し、
    前記第2時刻の前記画像中の前記複数の特徴点を抽出し、
    前記車両から前記第2時刻における前記複数の特徴点に対応する対象までの距離を取得し、
    前記第2時刻における、前記複数の特徴点までの距離及び前記画像の前記複数の特徴点の垂直座標の関係、前記画像センサの運動、及び、前記第1時刻の路面平面から、前記第2時刻の路面平面を設定する
    ことを特徴とする請求項1に記載の物体検出方法。
  3. 前記画像センサにより第2時刻における前記車両の周囲の画像を取得し、
    前記第2時刻の前記画像中の前記複数の特徴点を抽出し、
    前記第2時刻における、前記車両から前記複数の特徴点に対応する対象までの距離を取得し、
    前記第1時刻の前記複数の特徴点のそれぞれの前記距離から、前記第1時刻の前記複数の特徴点の3次元座標を算出し、
    前記第2時刻の前記複数の特徴点のそれぞれの前記距離から、前記第2時刻の前記複数の特徴点の3次元座標を算出し、
    前記第1時刻の3次元座標と前記第2時刻の3次元座標とから、前記画像センサの運動を検出することを特徴とする請求項1又は2に記載の物体検出方法。
  4. 前記画像センサは、他の画像センサと共にステレオカメラを構成し、
    前記距離は、前記ステレオカメラの視差により取得されることを特徴とする請求項1乃至3のいずれか1項に記載の物体検出方法。
  5. 前記第1時刻の前記複数の特徴点のそれぞれの、前記距離及び前記画像における垂直座標の関係から、路面から垂直方向に延伸して存在する立体物に対応する前記特徴点を除去し、前記第1時刻の路面平面を検出することを特徴とする請求項1乃至4の何れか1項に記載の物体検出方法。
  6. 前記第1時刻の前記複数の特徴点のそれぞれの、前記画像における水平座標及び前記距離の関係から、路面候補となる前記特徴点を抽出し、
    前記路面候補の、前記距離及び前記画像における垂直座標の関係から、前記第1時刻の路面平面を検出することを特徴とする請求項1乃至5の何れか1項に記載の物体検出方法。
  7. 前記画像中から路面標示に対応する前記特徴点を抽出し、
    前記路面標示に対応する前記特徴点を用いて、前記第2時刻の路面平面から前記車両が走行する走行可能領域を抽出することを特徴とする請求項1乃至6の何れか1項に記載の物体検出方法。
  8. 前記第1時刻の前記複数の特徴点のそれぞれの前記距離から、縁石に対応する前記特徴点を抽出し、
    前記縁石に対応する前記特徴点を用いて、前記第2時刻の路面平面から前記車両が走行する走行可能領域を抽出することを特徴とする請求項1乃至6の何れか1項に記載の物体検出方法。
  9. 第1時刻における車両の周囲の画像を取得する画像センサと、
    前記第1時刻の前記画像中の複数の特徴点を抽出する特徴点抽出部と、
    前記車両から前記第1時刻における前記複数の特徴点に対応する対象までの距離を取得する距離算出部と、
    前記第1時刻における、前記距離及び前記画像の前記複数の特徴点の垂直座標の関係から、前記第1時刻の路面平面を検出する路面平面設定部と、
    前記第1時刻から、前記第1時刻より後の前記第2時刻までの間の前記画像センサの運動を検出するセンサ運動検出部と、
    を備え、
    前記路面平面設定部は、前記画像センサの運動を用いて、前記第1時刻の路面平面から前記第2時刻の路面平面を設定することを特徴とする物体検出装置。
JP2017146357A 2017-07-28 2017-07-28 物体検出方法及び物体検出装置 Active JP6939198B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017146357A JP6939198B2 (ja) 2017-07-28 2017-07-28 物体検出方法及び物体検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017146357A JP6939198B2 (ja) 2017-07-28 2017-07-28 物体検出方法及び物体検出装置

Publications (2)

Publication Number Publication Date
JP2019028653A true JP2019028653A (ja) 2019-02-21
JP6939198B2 JP6939198B2 (ja) 2021-09-22

Family

ID=65476303

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017146357A Active JP6939198B2 (ja) 2017-07-28 2017-07-28 物体検出方法及び物体検出装置

Country Status (1)

Country Link
JP (1) JP6939198B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020197388A (ja) * 2019-05-30 2020-12-10 アルパイン株式会社 路面検出システム、パーソナルモビリティ及び路面検出方法
CN112882014A (zh) * 2021-01-20 2021-06-01 东风汽车集团股份有限公司 凸台凹坑识别方法及系统
WO2022163721A1 (ja) * 2021-01-27 2022-08-04 株式会社小糸製作所 ゲーティングカメラ、車両用センシングシステム、車両用灯具
WO2024005356A1 (ko) * 2022-06-29 2024-01-04 삼성전자 주식회사 이미지 표시를 위한 전자 장치 및 그 동작 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014130429A (ja) * 2012-12-28 2014-07-10 Ricoh Co Ltd 撮像装置及び立体物領域検出用プログラム
JP2015011619A (ja) * 2013-07-01 2015-01-19 株式会社リコー 情報検出装置、移動体機器制御システム、移動体及び情報検出用プログラム
JP2015184929A (ja) * 2014-03-24 2015-10-22 株式会社東芝 立体物検出装置、立体物検出方法、および立体物検出プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014130429A (ja) * 2012-12-28 2014-07-10 Ricoh Co Ltd 撮像装置及び立体物領域検出用プログラム
JP2015011619A (ja) * 2013-07-01 2015-01-19 株式会社リコー 情報検出装置、移動体機器制御システム、移動体及び情報検出用プログラム
JP2015184929A (ja) * 2014-03-24 2015-10-22 株式会社東芝 立体物検出装置、立体物検出方法、および立体物検出プログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020197388A (ja) * 2019-05-30 2020-12-10 アルパイン株式会社 路面検出システム、パーソナルモビリティ及び路面検出方法
JP7258432B2 (ja) 2019-05-30 2023-04-17 アルパイン株式会社 路面検出システム、パーソナルモビリティ及び路面検出方法
CN112882014A (zh) * 2021-01-20 2021-06-01 东风汽车集团股份有限公司 凸台凹坑识别方法及系统
CN112882014B (zh) * 2021-01-20 2023-08-22 东风汽车集团股份有限公司 凸台凹坑识别方法及系统
WO2022163721A1 (ja) * 2021-01-27 2022-08-04 株式会社小糸製作所 ゲーティングカメラ、車両用センシングシステム、車両用灯具
WO2024005356A1 (ko) * 2022-06-29 2024-01-04 삼성전자 주식회사 이미지 표시를 위한 전자 장치 및 그 동작 방법

Also Published As

Publication number Publication date
JP6939198B2 (ja) 2021-09-22

Similar Documents

Publication Publication Date Title
Barth et al. Estimating the driving state of oncoming vehicles from a moving platform using stereo vision
JP7005978B2 (ja) 軌跡推定方法及び軌跡推定装置
US10825186B2 (en) Information processing device, information processing method, and computer program product
JP5023186B2 (ja) 3dワーピング手法と固有対象物運動(pom)の検出の組み合わせに基づく対象物の動き検出システム
JP6939198B2 (ja) 物体検出方法及び物体検出装置
JP2018523865A (ja) 情報処理方法、デバイス、および端末
Oeljeklaus et al. A fast multi-task CNN for spatial understanding of traffic scenes
KR102056147B1 (ko) 자율주행차량을 위한 거리 데이터와 3차원 스캔 데이터의 정합 방법 및 그 장치
JP2016157197A (ja) 自己位置推定装置、自己位置推定方法およびプログラム
JP2011253302A (ja) 車両用危険度算出装置
CN114419098A (zh) 基于视觉变换的运动目标轨迹预测方法及装置
Johnson et al. Real-time side-slip angle measurements using digital image correlation
CN113366488A (zh) 具有自动对象标记方法和设备的自主驾驶数据集生成
JP2024019629A (ja) 予測装置、予測方法、プログラムおよび車両制御システム
JP7179687B2 (ja) 障害物検知装置
JP7081098B2 (ja) 走行環境認識装置、走行環境認識方法、プログラム
JP7031157B2 (ja) 物体検出方法及び物体検出装置
WO2018123640A1 (ja) 撮像装置
JP2020076714A (ja) 位置姿勢推定装置
JP7552608B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US20230154013A1 (en) Computer vision system for object tracking and time-to-collision
CN112613335B (zh) 识别装置、识别方法及存储介质
JP7205049B2 (ja) 移動ベクトル算出方法及び移動ベクトル算出装置
Gavriilidis et al. Multisensor data fusion for advanced driver assistance systems-the Active Safety Car project
Mason et al. The golem group/university of california at los angeles autonomous ground vehicle in the darpa grand challenge

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190401

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200512

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210709

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210803

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210816

R151 Written notification of patent or utility model registration

Ref document number: 6939198

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151