JP2020012742A

JP2020012742A - 物体検知装置

Info

Publication number: JP2020012742A
Application number: JP2018135482A
Authority: JP
Inventors: 琢馬大里; Takuma Osato; 春樹的野; Haruki Matono; 裕史大塚; Yasushi Otsuka
Original assignee: Hitachi Automotive Systems Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2018-07-19
Filing date: 2018-07-19
Publication date: 2020-01-23
Anticipated expiration: 2038-07-19
Also published as: EP3825648A4; CN112400094B; WO2020017336A1; EP3825648A1; CN112400094A; JP7064400B2

Abstract

【課題】画像垂直方向にずれが発生した場合においても視差の算出精度を確保しつつ、かつ性能劣化や処理コストの増大を抑制する物体検知を提供する。【解決手段】複数の画像を得る撮像部と、撮像部から取得した画像から視差画像を生成する視差画像生成部と、視差画像の各視差の信頼度をマッチングウィンドウ内のエッジ向きを用いて算出する信頼度算出部と、信頼度算出を実施するか否かの判定を行う信頼度算出実施判定部と、信頼度算出実施判定部で信頼度を算出すると判定した場合に視差画像と信頼度を用いて物体を検知する物体検知部と、を備える。【選択図】図１

Description

本発明は、物体検知装置に関する。

本技術分野の背景技術として、ＷＯ１３／０６２０８７号公報（特許文献１）がある。該公報の要約欄には、「視点画像の一方に入力される測定点と、視点画像の他方に設定される対応点とのズレを抑えて３次元測定の精度を高める。左視点画像（６Ｌ）に３次元測定の基準となる測定点（７）を入力する。測定点（７）から右視点画像６（Ｒ）に向かって水平に延ばした延長線上に対応点（８ａ）が設定される。キャリブレーションで位置調整したときに左右の視点画像（６Ｌ，６Ｒ）に垂直ズレＤが生じ、各視点画像（６Ｌ，６Ｒ）の測定点（７），対応点（８ａ）を通る直線（２４，２７）が水平線と小さい角度θで交差している場合には、真の対応点（８）とは大きく離れた位置に対応点（８ａ）が誤設定される。これを防ぐために、角度θが閾値Ｓ以下になる左右の視点画像（６Ｌ，６Ｒ）は、３次元測定に適していないと判定して警告する。」と記載されている。

ＷＯ１３／０６２０８７号公報

前記特許文献１では、測定点近傍で直線検出を実施し、直線の傾きに応じて警告を発生する手段が記載されている。しかしながら、高精度な視差を必要としない場合にも処理を実行するため、物体を未検知とする恐れがある、処理コストが増大する、などの問題があった。

本発明の目的は、画像垂直方向にずれが発生した場合においても視差の算出精度を確保しつつ、かつ性能劣化や処理コストの増大を抑制することのできる物体検知装置を提供することである。

上記目的を達成するために、本発明は、複数の画像を得る撮像部と、前記撮像部から取得した画像から視差画像を生成する視差画像生成部と、前記視差画像の各視差の信頼度をマッチングウィンドウ内のエッジ向きを用いて算出する信頼度算出部と、前記信頼度算出を実施するか否かの判定を行う信頼度実施判定部と、前記信頼度実施判定部で信頼度を算出すると判定した場合に視差画像と信頼度を用いて物体を検知する物体検知部と、を備える。

本発明によれば、画像垂直方向にずれが発生した場合においても視差の算出精度を確保しつつ、かつ性能劣化や処理コストの増大を抑制することのできる物体検知装置を提供することができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

ステレオカメラに垂直方向ずれが生じた場合の視差誤差に関する説明図車載ステレオカメラの構成を示す説明図物体検知装置の構成を示す説明図視差の排除に伴う跳ね返りの説明図実施例１における信頼度算出実施判定部のフローチャート測距限界距離に関する説明図物体検知限界距離に関する説明図信頼度算出部のフローチャート信頼度とエッジ角度の関係の説明図物体検知部のフローチャート実施例２における物体検知部のフローチャート

対象の三次元位置を推定する手段として、ステレオカメラシステムが良く知られている。ステレオカメラシステムは、カメラを複数の位置に配置して同一対象物を異なる複数の視点から撮像し、得られた画像における見え方のずれ、すなわち視差から対象物体までの距離を算出する。2台のカメラを用いた一般的なステレオカメラシステムでは、この変換は以下の数式１で表される。

ここで、Z[mm]は対象物体までの距離、f[mm]は焦点距離、w[mm/px]は画素ピッチ、B[mm]はカメラ間の距離（基線長）、D[px]は視差を表す。

視差を算出するにあたっては、複数の位置から撮像された画像を水平に並べ、左画像内の特定の点に対して右画像内で同一の点が撮像されている位置を探索する。この探索を効率よく実施するため、一般には平行化処理を事前に実施する。

平行化とは、画像の縦方向の位置合わせを意味する。すなわち、左右画像で同一の点は同一の高さに撮像されているよう画像を校正する処理である。平行化された画像では、対応点を探索する際に、ある横一列のみを探索すればよく、処理効率が高い。しかしながら、組み立て時の誤差や経年劣化によって平行化するためのパラメタに変化が生じ、平行化処理を実施した左右画像であっても垂直方向にずれを有することがある。このとき、特に斜め方向の直線が撮像されているような領域においては、異なる高さに良く似たテクスチャが撮像されているため、誤った対応点を検出し三次元位置に誤差が生じてしまう。

図１は、垂直方向にdj[px]のずれを生じたときの視差誤差dD[px]の説明図である。左画像100LAと右画像100RAは高さずれが発生していない場合を示す。左画像100LAにおける探索対象121に対して、同一の物体が撮像されている位置を右画像100RAから探索してマッチングしたマッチング対象122との画像位置のずれ量を視差として得る。

一方、左画像100LBと右画像100RBは高さずれが発生した場合を示す。同様の探索対象121に対してマッチング対象123との画像位置のずれ量を視差として得る。このとき122と123の位置のずれが視差誤差dD[px]として発生する。水平に対する直線の傾きをθ[rad]とすれば、視差誤差dDは以下の数式２で表される。

すなわち、ある垂直ずれdjが発生したとき、視差誤差dDは直線の傾きθの関数となり、θが0に近づく、すなわち水平に近づくほどdDは大きくなることがわかる。よって、水平に近い角度θ方向にエッジを持つ視差を排除することで、大きな誤差を含む可能性のある視差を排除することができる。

また、ここで数式１より、視差誤差dDが発生したときの距離誤差dZ[mm]は以下の数式３で表される。

f,B,wはカメラによって固定であるから、視差誤差dDに伴う距離誤差dZは、視差Dが小さいほど大きくなることがわかる。一方で、dDに対してDが十分に大きい場合にはdZは小さくなるため、物体の検知や測距に対する影響は無視できる。
以下、図面を用いて実施例を説明する。

まず、図２を用いて物体検知装置を搭載したステレオカメラを用いた車両制御システムの概要を説明する。車両２００にステレオカメラ２０１が搭載される。ステレオカメラ２０１には物体検知装置が搭載されており、例えば前方の物体２１０までの距離や相対速度を計測して車両制御部２０２に送信する。車両制御部は受け取った距離や相対速度からブレーキやアクセル、ステアリングを制御する。

次に、図３を用いて本発明の物体検知装置の概要を説明する。

図３は本発明の第１の実施形態における物体検知装置の構成を示す。物体検知装置は、ステレオカメラ３１０、メモリ３２０、ＣＰＵ３３０、画像処理部３４０、外部出力部３５０などを備える。ステレオカメラ３１０はステレオカメラの左撮像部３１１と右撮像部３１２とを備え、ステレオカメラ３１０を搭載した車両の前方を撮像する。撮像された画像を画像処理部３４０によって処理し、画像処理部３４０の視差画像生成部（図示せず）によって生成された視差情報に基づいて物体の検知を行う。信頼度算出実施判定部３４１において信頼度に応じた視差の棄却が必要か否かを判断し、必要であると判断された場合に信頼度算出部３４２において視差の信頼度を算出し、物体検知部３４３において視差と信頼度に基づいて立体物の検知を行う。検知結果は外部通信部３５０から処理装置の画部に送信され、車載ステレオカメラであればアクセルやブレーキ、ステアリングなど車両制御の判断に利用される。

以下、信頼度算出実施判定部３４１の詳細について説明する。

本実施例において課題とする、視差ずれの影響が特に大きくなる状況のひとつは、ステレオカメラ３１０から遠方を監視する場合である。よって、遠方を監視する必要のあるシーンでは、エッジ角度を用いた信頼度の算出及び信頼度を用いた視差の排除によって距離精度を向上したり、物体の誤検知を抑制する。遠方を監視する必要のないシーンでは、信頼度の算出及び信頼度を用いた視差の排除を実施しないことで、物体の未検知などの跳ね返りを抑制しつつ、処理コストを削減する。

物体の未検知が発生するようなケースを図４に示している。カメラ画像４００が正対したガードレール４１０を撮像している場合、領域４２０においてはほぼ水平方向の直線のみで構成された物体が撮像されている。特に制限なく水平に近いエッジを持つ視差を排除した場合、領域４２０においてはほとんどの視差が排除され、ガードレールを検知出来ない恐れがある。なお、ここではガードレールを一例として示したが、背面から見た車両など水平に近いエッジが多く含まれる物体であれば、同様に視差の排除による未検知につながる可能性がある。

次に、信頼度算出実施判定部３４１の処理フローの一例を図５に示している。遠方を監視する必要があるか否かをＳ５０１からＳ５０６で判定し、Ｓ５０７・Ｓ５０８で判定結果に応じてフラグを立てる。

（Ｓ５０１）後段の処理であるＳ５０２で用いる距離閾値ＴＨ１を算出する。算出手段については後述する。

（Ｓ５０２）処理時刻ｔに対して時刻ｔ−１以前の物体検知結果を参照し、閾値ＴＨ１より近傍に物体を検知していた場合、信頼度算出を実施しないと判定する。例えば自車正面の近傍に物体を検知している場合、遠方における物体の検知結果は自車両の制御に影響を与えないためである。

（Ｓ５０３）後段の処理であるＳ５０４で用いる移動速度閾値ＴＨ２を算出する。算出手段については後述する。

（Ｓ５０４）ステレオカメラの移動速度が閾値ＴＨ２より低い場合、信頼度算出を実施しないと判定する。車などの移動体にステレオカメラを搭載して、検知結果を元に制御を行うとき、高速で移動するほど遠方の物体を検知し制御に反映する必要がある。低速で移動している場合は、遠方の検知結果が制御に影響を及ぼす可能性は低く、遠方の監視は不要である。

（Ｓ５０５）後段の処理であるＳ５０６で用いる曲率閾値ＴＨ３を算出する。算出手段については後述する。

（Ｓ５０６）想定進行路の曲率が閾値ＴＨ３より高い場合、信頼度算出を実施しないと判定する。自車が左右方向にカーブ走行する場合、正面遠方で物体を検知したとしても検知位置を走行しないため、制御に影響を及ぼす可能性は低いため、遠方の監視が不要となる。曲率の算出手段については、例えば車両であれば舵角やヨーレートを用いて物理モデルから算出してもよいし、白線や道路端検知機能を用いて算出してもよいし、あるいはＧＰＳと地図情報を元に走行予定路の曲率を算出してもよい。曲率の算出にあたっては、少なくともこれらいずれかの算出手法に限らず、これら算出手法と同様に算出が可能な公知の手法を採用した構成であればよい。また、複数の閾値を用いたり、重み付け平均などによって算出した閾値を用いて判定を実施してもよい。

各種判定処理の結果、いずれかにおいて信頼度算出を実施すべきでないと判断された場合、Ｓ５０８において信頼度算出実施フラグをOFFにし、信頼度算出処理は実施されない。

各種判定処理の閾値の算出方法について説明する。視差に誤差が発生した場合、物体検知には２種類の悪影響が発生する可能性がある。
第一に、測距の誤りである。数式３に示した通り、視差の誤差に伴う測距誤差は遠方ほど大きい。図６に測距に使える視差の限界距離の算出方法を説明する図を示している。ステレオカメラの搭載された車両６０１に対して、点線で示した物体６０２を配置したとき、ある視差誤差によって実際には黒丸で示した位置６０３に物体があるように測距を誤る。このときの距離と測距誤差の関係を、図６下部のグラフに符号６０５で示している。この測距誤差が許容値を越えるところを測距限界距離DIST_MAX_a[m]とする。許容値は例えば実際の距離に対して５％以内と設定すると符号６０４のように表され、符号６０４と符号６０５の交わる点が測距限界となる。
第二に、高さあるいは左右方向の位置の誤りである。視差の誤差はカメラの光学中心方向の位置誤差を発生させるため、例えば高さ方向についての誤差dYは、実際のカメラに対する高さYに対して以下の数式４で表される。

この誤差が大きい場合、地面から得られた視差に対して障害物があると誤検知してしまう可能性がある。図７に高さ方向の誤差に起因する物体検知の限界距離の算出方法を説明する図を示している。ステレオカメラ７０１に対して、点線で示した道路面上の観測点７０２に対して、ある視差誤差によって実際には黒丸で示した位置７０３に物体があるように位置の測定を誤る。このときの距離と高さ方向誤差の関係を、図７下部のグラフに符号７０４で示している。この高さ誤差が許容値を越えるところを物体検知限界距離DIST_MAX_b[m]とする。許容値は例えば後段の物体検知機能が路面から50[cm]以上の高さを持つ視差のグループだけを物体として検知する仕様であれば、許容値50[cm]として符号７０５のように表され、符号７０４と符号７０５の交わる点が物体検知限界となる。測距限界距離と物体検知限界距離は機能に応じて別々に使ってもよいが、ここでは簡単のため２つの値を比較し、より近傍側の限界値をDIST_MAX[m]として、視差を物体検知に用いることのできる限界距離として設定する。各判定処理では、DIST_MAXより遠方で物体検知を実施するべきかどうかを判定し、遠方で物体検知をする必要があった場合には信頼度による視差の排除が必要であるとして、信頼度算出を実施するようフラグを立てればよい。

図５のＳ５０２では、前フレームまでで検知している物体の距離がDIST_MAXより近傍であれば視差の排除の必要はない。

Ｓ５０４では、例えば衝突回避のための緊急ブレーキ機能向けであれば、移動体のブレーキ性能とからDIST_MAXだけ離れた物体に対して衝突回避の出来る最大の移動速度を算出することができる。この速度より低速で移動している場合には、視差の排除の必要はない。

Ｓ５０６であれば、DIST_MAXだけ進んだときにステレオカメラの画角外を走行する最小の曲率を算出することができ、この曲率よりも進行路の曲率が大きい場合、DIST_MAXより遠方の物体が見えたとしてもその位置を走行することはなく、視差の排除の必要はない。

各種判定処理は互いに独立であるので、全てを判定する必要はなく、この順序で実施する必要もない。実施時の構成要素に合わせて必要な判定だけを実施すればよい。

次に、信頼度算出部３４２の詳細について説明する。

本実施例は、水平に近い斜め線の撮像された位置における視差の排除が目的である。ステレオカメラではある点の視差を算出するにあたって、点の周辺領域をマッチングブロックとして指定し、マッチングブロック内の画像情報を元に左右画像のマッチングを行う。よってマッチングブロック内の画像情報のエッジを算出し、エッジ角度に応じて信頼度を算出すればよい。

信頼度算出部のフローチャートを図８に示している。Ｓ８０１において、マッチングブロック内のエッジ向きを検出する。一般的なエッジ検出手段としては、Sobelフィルタなどが挙げられる。Sobelフィルタとは、ある注目画素を中心とした3×3の9つの画素値に対して以下の数式５，６ような行列を乗算し、結果を合計することでエッジを検出するフィルタである。

EdgeHは水平方向のエッジ強度、EdgeVは垂直方向のエッジ強度である。この２つの値を用いて、最終的なエッジの強度Ｓと向きφは以下の数式７，８で表現される。

以上の計算によって、１画素ごとにエッジ情報が算出される。なお、視差の信頼度は１画素だけでなくマッチングブロック全体に対して考える必要があるが、後段の信頼度算出と合わせて述べる。

次に、Ｓ８０２において視差の信頼度を算出する。例えば簡単のために信頼度を信頼できる・できないの１・０で表現する場合には、マッチングブロック内において角度φが水平方向±αの範囲内である画素の数を数え、閾値以上であるときに信頼度０とすればよい。あるいは、前述の通りエッジ角度が水平に近いほど誤差は大きくなることから、エッジ角度に応じて信頼度を変化させてもよい。図９（ａ）のようにエッジ角度は０°で信頼度が最も低くなり、９０°で最も高くなる。更に、距離に変換したときの影響度を考えると、同じエッジ角度であっても視差値が小さい時は信頼度が低くなり、大きい時には信頼度が高くなる。図９（ｂ）のように、同じエッジ角度であっても視差値が小さいほど信頼度を低く設定することができる。この関係を、例えば、以下のような数式９で表現することが考えられる。Dmax[px]は視差の取りうる最大値である。

上記数式９における、下記数式１０は、エッジの角度に関する項である。

ここで用いるφは、１画素だけのエッジ角度でなく、マッチングブロックの代表的な角度とする必要がある。算出方法としては、一定角度ごとのヒストグラムを作成してピーク位置を代表的な角度とする、ピークとなった範囲に投票された全エッジからエッジ強度を用いた重みづけ平均をとる、などの手法が考えられる。

上記数式９における、下記数式１１は、視差の大小に関する項である。

後段の物体検知機能の要求仕様に依るため、信頼度の算出はこの数式１１に限ったものではないが、エッジ角度が水平の時は低く・垂直の時は高くなり、視差が小さい時は低く・大きいときは高くなるような関数として設計する。

次に、物体検知部３４３の詳細について説明する。

物体検知部３４３では、視差情報と視差情報に対応する画像座標から、実空間における点の座標を算出する。それぞれの点について点同士の距離を算出し、近傍にある点同士をグルーピングし、一つの立体物として検知する。本実施例における物体検知部のフローチャートを図１０に示している。

（Ｓ１００１）信頼度が算出済みであるかを判定する。これは信頼度算出部実施判定部３４１の結果を参照し、視差を排除するべきでないシーンとして信頼度の算出が未実施であった場合、視差だけを用いた立体物検知を実施するためである。以下、Ｓ１００２，Ｓ１００３で、視差全体に対するループ処理を実施する。

（Ｓ１００２）信頼度が閾値以上の視差を物体検知に使って良い視差と判定する。

（Ｓ１００３）視差を登録し、物体検知に用いて良い視差点群データを生成する。

（Ｓ１００４）視差の登録が終わった後に、実空間において近傍にある点同士をグルーピングする。

（Ｓ１００５）グルーピングした結果から距離や物体の縦横サイズを算出し、物体検知結果として整形して出力する。

上記した実施例１の物体検知装置によれば、ステレオカメラシステムにおいて画像垂直方向にずれが発生した場合においても視差の算出精度を確保しつつ、かつ性能劣化や処理コストの増大を抑制することのできる物体検知装置を提供することができる。

実施例２は実施例１の変形例であり、物体検知部３４３において視差を信頼度に応じて複数種類に分類する実施の形態を示す。実施例１で示した通り、視差の誤差による影響としては、（１）奥行き方向のずれに起因するものであって、正しく物体を検知したが距離を誤るケースと、（２）高さあるいは左右方向のずれに起因するものであって、物体のない領域において物体を誤検知するケースが存在し、それぞれの特性に応じて限界距離を設定することができる。それぞれの限界距離を考慮して信頼度を算出することで、物体検知部３４３において視差を測距に用いて良い視差、物体検知に用いて良い視差、いずれにも用いてはならない視差に分類し利用することができる。本実施例における物体検知部３４３のフローチャートを図１１に示している。実施例１では測距誤差が大きい視差も物体検知には用いないようにしていたが、本実施例では物体検知の段階では該視差を利用し、測距の際に排除するフローとなる。

（Ｓ１１０２）、（Ｓ１１０３）図１０のＳ１００２、Ｓ１００３とは異なる閾値で信頼度を参照し、測距に用いてよい視差を登録する。

（Ｓ１１０５）検知した物体の位置・速度を算出する際に、測距用視差として登録された視差だけを用いて推定することで、視差を過分に排除することによる未検知を抑制しつつ、測距精度を向上することができる。

上記した物体検知装置によれば、ステレオカメラシステムにおいて、視差の排除によって検知すべき物体を未検出とすることのない物体検知装置を提供することができる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

３１０撮像部、３４２信頼度算出部、３４１信頼度算出実施判定部、３４３物体検知部

Claims

複数の画像を得る撮像部と、
前記撮像部から取得した画像から視差画像を生成する視差画像生成部と、
前記視差画像の各視差の信頼度をマッチングウィンドウ内のエッジ向きを用いて算出する信頼度算出部と、
前記信頼度算出を実施するか否かの判定を行う信頼度算出実施判定部と、
前記信頼度算出実施判定部で信頼度を算出すると判定した場合に視差画像と信頼度を用いて物体を検知する物体検知部と、
を備えた物体検知装置。
請求項１記載の物体検知装置であって、
前記信頼度算出部は、前記マッチングウィンドウ内のエッジ向きと得られた視差値を用いて前記信頼度を算出する物体検知装置。
請求項１記載の物体検知装置であって、
前記信頼度算出実施判定部は、前記物体の検知情報か、自車の移動速度情報か、前記自車の前方の走行路情報のうちいずれかを用いて前記信頼度を算出するか否かの判定を行う物体検知装置。
請求項１記載の物体検知装置であって、
前記物体検知部は、前記信頼度に応じて前記視差画像を物体検知用の視差と測距用の視差に分類する物体検知装置。