JP2016148962A - 物体検知装置 - Google Patents

Abstract

【課題】本発明は、検出された物体の位置の精度を考慮して周囲環境に応じた適切な制御を行うのに資する物体検知装置を提供することを目的とする。【解決手段】複数の撮像部から取得された複数の視差画像から視差情報を生成する視差情報生成部と、前記視差画像に含まれる物体を検出する物体検出部と、前記視差情報に基づいて前記物体の位置情報を生成する位置情報生成部と、前記位置情報の精度に関する位置精度情報を、前記視差情報の生成状況に基づいて生成する位置精度情報生成部と、を備えることを特徴とする。【選択図】図１

Description

本発明は、物体検知装置に関し、また、ステレオカメラを利用して自車両の周囲に存在する立体物を検知し、検知した立体物と自車両の挙動から自車両が立体物に衝突する可能性を判断し、警報や車両制御の出力もしくは実施する車載周囲環境検知装置に関する。

車両に設置されたカメラにより車両周囲環境を認識するアプリケーションの製品化が増加傾向にある。その中でも、認識した物体を利用し、未然に事故を防止する予防安全技術や、自律走行を目指した車両制御技術への応用が期待されている。車両制御に利用される認識技術には、当然に高い信頼性が必要とされる。

立体物を検出した後に、検出した物体の信頼性を得る技術として、特許文献１がある。この装置は、ステレオカメラによって生成された距離画像を利用して立体物を検出し、検出された物体の時系列の安定性もしくは輪郭形状を評価尺度して信頼度を計算する物体検出装置がある。

特開２００８−４５９７４号公報

このように、従来技術では、対象物が何かを判別する際の信頼性について検討されている。

ところで、信頼性は、対象物が何かの判別以外にも重要であり、例えば検出された物体の位置する信頼性や精度も重要である。上記従来技術は、位置情報に関する精度を取り扱ったものではない。

そこで、本発明は、検出された物体の位置の精度を考慮して周囲環境に応じた適切な制御を行うのに資する物体検知装置を提供することを目的とする。

本発明は、複数の撮像部から取得された複数の視差画像から視差情報を生成する視差情報生成部と、前記視差画像に含まれる物体を検出する物体検出部と、前記視差情報に基づいて前記物体の位置情報を生成する位置情報生成部と、前記位置情報の精度に関する位置精度情報を、前記視差情報の生成状況に基づいて生成する位置精度情報生成部と、を備えることを特徴とする。

或いは、本発明は、複数の撮像部から取得された複数の視差画像から視差情報を生成する視差情報生成部と、前記複数の視差画像に含まれるステレオマッチングされた撮像対象物に関する視差である有効視差の量を一軸上に投影し、投影された有効視差の量のヒストグラムに基づいて、前記撮像部の光軸方向に重複する複数の物体を区別して検出する物体検出部と、を備えることを特徴とする。

本発明によれば、物体の位置の精度を考慮して周囲環境に応じた適切な制御に資することができる。

本発明の実施形態に係る物体検知装置のブロック図。 歩行者検知部のブロック図。 位置情報生成部のブロック図。 精度情報生成部のブロック図。 表示・警報・制御部のブロック図。 歩行者との衝突可能性判定方法を示す図。 瞬間値位置精度から現在の歩行者位置精度の算出方法を示す図。 ＴＴＣ秒後の歩行者位置精度の算出方法を示す図。 制御レベルテーブルを示す図。 予測位置精度とオフセット幅に基づく制御テーブルを示す図。 密度計算部の処理概要を示す図。 周囲分離度計算部の処理概要を示す図。 歩行者位置に誤差がのりやすいシーンの説明図。 投影ヒストグラムを利用した位置の高精度化の説明図。 付着物解析方法を示す図。 光源解析方法を示す図。 歩行者移動予測方法を示す図。 歩行者衝突防止処理のフロー図。

以下、本発明の実施形態について図面を用いて説明する。

図１に、ステレオカメラを利用した歩行者検知装置の構成を示す。歩行者検知装置は、ステレオカメラ撮像部１００と、視差画像生成部２００と、歩行者検知部３００と、位置情報生成部５００と、位置精度情報生成部４００と、表示・警報・制御部６００とを備える。

ステレオカメラ撮像部１００は、車両の前方を撮影するステレオカメラを備える。視差画像生成部２００は、ステレオカメラの左右画像の小領域ごとのマッチングにより視差画像を生成する。歩行者検知部３００は、この視差画像を利用して立体物を抽出し、抽出した立体物候補を時系列にトラッキングし、時系列に安定的に立体物候補が抽出されている場合に、視差形状及び、現画像から抽出したエッジによる輪郭形状が歩行者らしいかどうかを識別する。位置情報生成部５００は、検知した歩行者の３次元位置を生成する位置精度情報生成部４００は、この位置情報の精度を表す位置精度情報を視差画像の結果より生成する。表示・警報・制御部６００は、これら歩行者の検知結果、位置情報、位置精度情報を利用して、自車両の予防安全に関する表示、警報、制御を実施する。

図２は、歩行者検知部３００の詳細な構成を示す。立体物抽出部３１０では、視差画像から似た視差にある視差のかたまりを四角形の枠で抽出することで、一つの塊と思われる立体物としての区切りを抽出する。これにより、連続して視差が安定的に抽出されている物体に関しては１つの塊の立体物として抽出することが可能である。更に、抽出された立体物候補から画像上で近距離かつ視差が似ている物体を統合するかどうかを判定することで、画像にテクスチャが不足していることでマッチングがうまくいかなかった無効視差が多い物体が分割された立体として抽出されてしまった立体物候補を一つの塊として統合しなおす。反対に、抽出された立体物候補から歩行者が隠れていないかどうかを再度探索し、歩行者や車両、２輪車などを含めて立体物候補を立体物抽出部３１０にて抽出する。

次に、立体物抽出部３１０にて抽出された立体物を、トラッキング部３２０にて、時系列にトラッキングする。自車両の挙動を考慮して前回のフレームから今回のフレームの予測した画像上での立体物位置と立体物大きさ、予測した立体物の視差値とある閾値以内で類似した位置、大きさ、視差値にいるかどうか、及び前回のフレームの画像上での位置と今回のフレームの画像上での位置が類似しているかどうかを比較することで立体物のトラッキングを実施する。

立体物が一度識別されてしまえば、対象物体が車両であり、時速何ｋｍ／ｈで移動しているなどの予測情報を利用した高精度なトラッキングも可能であるが、初期のトラッキング開始時には対象物の動きが不明であるため、立体物の大まかなトラッキングを実施、立体物が時系列に安定して抽出されるような物体であるかどうかを判定する。

次に、識別部３３０では、上記の立体物の中から歩行者サイズの物体に関しては歩行者判定を実施し、歩行者かどうかを判定する。識別部３３０では、まず、立体物候補の中から縦横比、視差から距離に換算し奥行き距離に応じた画像上での歩行者らしいサイズであるかどうかを簡単に判定し、明らかに歩行者候補のとしてのサイズとは異なるような立体物は処理負荷を考慮して識別対象外とする。

次に、歩行者サイズの立体物に対して、視差画像からの奥行き形状が歩行者らしいかどうかを判定する。これには、パターンマッチングやテンプレートマッチングの手法が用いられる。更に原画像の輪郭情報を利用した歩行者形状が歩行者らしいかどうかを大まかに判定することで明らかに歩行者とは異なる立体物を識別候補対象外とする。これは歩行者を識別するための識別器の処理負荷が高いため、ある程度の候補の絞り込みを先に行うことで、全体としての歩行者識別の処理負荷を軽減している。事前に行った歩行者の判定で絞り込まれた歩行者候補に対してのみ、歩行者識別器で歩行者かどうかの判定を実施する。識別器では、抽出された立体物候補の枠を格子状に分割した枠内の、エッジ角度の分布状況から歩行者識別を実施することで、歩行者かどうかの最終判断を実施する。

次に図３に歩行者の位置情報生成部５００について示す。位置情報計算部５１０では、検出された歩行者に関して歩行者の枠内の視差画像の平均値を利用した位置情報の平均値を算出する。背景の視差情報を含まないように、近距離の視差とは大きく異なる視差、遠景の視差を省いた視差画像の平均値を算出してもよい。

次に、精度情報を考慮した位置情報の再計算を精度情報考慮位置情報再計算部５２０にて実施する。詳細は、位置精度情報の生成処理の説明でも記すが、歩行者に対するノイズ要因の領域を位置精度情報生成部５００にて判定する。歩行者検知の際に利用した長方形の検知枠内において歩行者であろう領域と他立体物が入り込んで誤差要因となりそうな領域を判別する。この検知枠内における歩行者であろう領域を位置精度情報生成部５００から情報を取得し、精度情報考慮位置情報再計算部５２０では、歩行者と思われる領域に絞り込み視差情報を探索して位置情報を再度取得しなおすことでより精度の良い歩行者位置を抽出する。

次に、取得した歩行者の位置を時系列に解析し、歩行者の移動先を移動情報予測部５３０にて予測する。図１７の上段の図にて説明する。２フレーム前から時系列に歩行者の位置が取得できた場合、Ｔ−２［ｆｒａｍｅ］から現在Ｔ［ｆｒａｍｅ］までの歩行者位置が取得できていたとする。この時、歩行者の移動方向は、Ｔ−２からＴ［ｆｒａｍｅ］の歩行者位置情報を利用すれば、歩行者の移動先を予測することができる。図１７右上の破線矢印が、歩行者位置から予測した歩行者の移動予測先となる。

しかし、実際には、上記手法のまま移動先を予測するとＴ−２［ｆｒａｍｅ］は歩行者検知枠に車両の一部が入っており歩行者位置に誤差が入っていたため、その情報をそのまま利用して、移動予測してしまった場合、実際には図１７右の実線矢印に示すように真横に歩行者が動いていたにも関わらず、図１７右上の点線矢印が示す右上方向に歩行者が移動していると予測を間違える場合が存在する。

このため、位置精度情報生成部５００にて取得される位置精度情報の瞬間値を利用して移動予測を実施する。図１７右下の位置精度情報を利用した移動予測（ａ）に示すように、位置精度情報を利用して精度がわるい位置は移動予測するためのデータの対象外として取り扱う。このように位置精度情報に応じて、移動予測するデータに利用するかどうかを判定することで、誤差が大きい可能性が高いとされる位置精度が悪いデータを対象外とすることで、（ａ）に示すように誤差の大きい位置データを対象外とし、実際の移動と予測がかなり誤差少なく求められる。

また、下記に示すように位置精度の高低で利用と不利用を選ぶ方法でなく、精度が低い場合には、精度が低いことを考慮した予想を行うような手法でも良い。
図１７右下（ｂ）に示すように、位置精度情報が高く精度が高いと予想される場合にはある一点に高い投票値を、位置精度情報が低く精度が低いと予想される場合にはある一点ではなく周囲に低めの投票値を投票する。これにより、図１７（ｂ）に示すように、誤差の大きさに応じて投票範囲が広くなるような投票結果となる。移動予測には、これらの点を結ぶような線を探索し、線上の投票値が最も高くなるような線を探索する。このようにすることで位置の誤差を精度情報から考慮した移動予測を実施することで、誤差の小さな移動予測を可能とする。

このように位置精度情報を利用することで、位置自体の精度を向上させることができない場合にも、時系列情報の中から位置精度の高い情報をより優先した移動予測の計算を実施することで移動予測の精度を上げることが可能である。

本実施形態の効果は飛び出し歩行者の位置精度だけでなく、横断中の歩行者や、歩道を歩く歩行者であっても歩行者周囲の立体物や背景などが位置に与える誤差の大きさを位置精度情報で表現することが可能となり、移動予測などをより正しく計算することが可能となる。また、位置精度情報が極端に悪い場合には、歩行者として検知可能であっても、制御などには利用できないとして、その瞬間の位置情報を使わない方法もありうる。これにより誤差の影響を軽減した移動予測が可能となる。

また、移動情報予測部５３０では、移動情報だけでなく、時系列の瞬間値位置精度情報をフィルタリングして現在の位置精度情報とする。現在の位置精度情報は、時系列にどのような位置精度情報を利用して予測した行動予測の結果であるかを示す。図７の計算式に示すように、瞬間値の位置精度情報を利用してフィルタリングすることで現在の位置精度情報を計算する。位置精度情報生成部において、位置精度自体を補正した結果の位置を出力した場合には、位置精度情報も補正した結果に対する位置精度情報を瞬間値の位置精度情報として出力する。

次に図４にて精度情報生成部４００の概要と構成要素を簡単に説明する。図４に示すように精度情報生成部４００では、さまざまな情報から位置精度に関する情報を取得し、最終的に精度情報取得部４９０において歩行者候補位置の位置精度に関する情報を取得し、歩行者位置生成部３００にその情報を渡す。位置精度情報だけを渡すような構成の場合には、直接情報を表示・警報・制御部へ渡しても同様の効果が得られる。

ただし、ここでは、位置精度情報生成部５００得られた情報を基に、位置情報生成部において、位置情報の再計算を精度情報考慮位置情報再計算部４２０にて実施することを想定するため、位置情報生成部４００に、精度情報を含めた歩行者位置に関する情報を渡す。精度情報生成部４００内部の処理の詳細は、後ほど説明する。

最後に、図５で、表示・警報・制御部６００を説明する。ＴＴＣ計算部６１０では、図６に示すように、自車速とヨーレートを利用して自車両の走行進路を算出する。次に、検出した歩行者の移動予測情報と、自車両の走行進路予測情報から、二つの行動予測経路が交わる交点を抽出し、その地点へ車両が移動するまでにかかる時間ＴＴＣを計算する。この場合は、その歩行者と衝突するしないにかかわらずＴＴＣとして時間を計算する。移動していない静止歩行者には歩行者位置を点として考え、車両走行進路の線と歩行者静止位置の点の距離がある一定距離内にある場合にのみＴＴＣ（衝突余裕時間）の計算を実施する。このようにＴＴＣ計算部６１０では、検知された歩行者と衝突すると仮定した場合のＴＴＣを計算する。なお、移動方向から明らかに衝突しないことが明らかである歩行者などは制御、警報の対象外となるため、計算自体を省略しても良い。

次に、上記計算したＴＴＣ秒後に歩行者がいると予測される場所を算出して衝突可能性を判定する。図６にその計算の一例を示す。歩行者は自車両走行進路を横断するようなケースであり、歩行者、自車両共に直進するケースを示す。歩行者がいる奥行きにまで自車両が達するまでの時間ＴＴＣが求められているので、このＴＴＣ秒後における歩行者位置を推定する。これによりＴＴＣ秒後の自車両中心位置と歩行者のオフセット幅αを考慮して、歩行者位置から衝突の可能性を判定する。既に、歩行者が車両走行車線を渡りきっている場合や、歩行者の移動が遅く先に車両が通り過ぎるような場合も考えられるので、歩行者の位置と速度情報が衝突可能性の判定には重要となってくる。

静止歩行者に関しても同様にここで詳細な可能性を判定する。車両制御に利用するかどうかの判定を実施するために、車両予測進路からオフセット幅αに存在する歩行者の衝突の可能性を判断する。

次に、上記ＴＴＣ計算部において衝突の可能性が判定されており、衝突の可能性ありと判定された車両に関しては、ＴＴＣ秒後の位置精度情報を計算し、その精度に応じた出力内容を出力判定部６２０にて判定する。精度が高い場合には、より積極的に衝突を回避する制御を実施し、反対に、精度が低い場合には、間違えて車両制御を実施、例えば衝突コースに車両がいないにもかかわらず急ブレーキなどをかけると、後続車両からの衝突などの危険性もあるため、弱い車両制御にとどめるもしくは警報のみに制御を切り替えるなどを実施する。

ＴＴＣ秒後の歩行者位置の精度は、図８に示すように現在の位置精度情報から衝突予測時間ＴＴＣの長さに比例して低下するような計算処理を行う。これはＴＴＣの時間が長いほど、歩行者の移動方向が変化する可能性や移動速度が変化する可能性など、予測位置が間違える可能性が高くなる。このため現在の歩行者位置精度を、時間長さに比例して精度を低下させてＴＴＣ秒後の衝突時位置精度情報を予測する。

ただし、いくら衝突コースに歩行者が存在したとしても、ドライバーがこの後の瞬間にブレーキを踏めば十分に衝突を回避できるような状況においては車両制御を実施しない。ドライバーがブレーキを踏むことで衝突回避が明らかな対象物には車両制御を実施しない。そうでなければ、ドライバーが想定外のシーンで急ブレーキがかかり、最悪なケースでは後続車からの衝突なども考えられなくもない。また、後続車からの衝突がなかったとしてもドライバーにとって不必要と感じる制御がしばしば入るようでは、ドライバーからすれば不要なものとなってしまう。このタイミングでブレーキ制御しなければ、衝突回避が困難である場合に限り衝突回避の急ブレーキをかける。実際は衝突余裕時間や、衝突時の位置精度情報も計算は可能であるが、現状ではドライバーがブレーキを事前に踏むことを想定して、衝突する可能性はないと判定し、位置精度情報についても精度が最も低い０と判定する。

次に出力判定部６２０では、ＴＴＣ計算部６１０で計算された衝突時位置精度情報と、車両予測進路からのオフセット幅αを基にして出力内容を判定する。

図９に車両の制御レベルを示す。衝突予測時刻における歩行者の位置を示すオフセット幅や位置精度に応じて、制御レベルを変更する。精度が高くなおかつオフセット幅が小さいほど、衝突の可能性が高いと考えより強い制御である制御レベルを上げる。図９に示すように、制御レベル１はいわゆる制御ではなく単にディスプレイに無音で歩行者が車両近傍に存在することを表示する。もし、歩行者の検知位置や予測位置が間違えていた場合に、ユーザの運転を妨げないために、表示のみにとどめる。

次に、制御レベル２では、衝突の可能性はあるが、歩行者の予測位置がずれている可能性や、歩行者の近距離を車両が通過する可能性なども考慮し、車両の加速を抑制し、緊急ブレーキの準備をするものの、通常のドライバーの運転を妨げるような制御内容とはしない。制御レベル３では、緊急ブレーキはかけないものの、衝突の可能性が極めて高いと判断し、ユーザに歩行者がいることを警報で通知するとともに衝突回避の前準備を実施する。ユーザがブレーキ操作した場合の応答速度を速めるためのブレーキ油圧上昇や、歩行者の位置精度が上昇した場合の緊急ブレーキがより早く作動するために油圧上昇、加速抑制などを実施する。最後に、制御レベル４では、確実に歩行者と衝突すると考えて、自車両を緊急停止させるために、ブレーキを作動させるとともに音声でドライバーに歩行者の存在を知らせる。

出力判定部６２０では、図１０の歩行者予測位置精度とオフセット幅に基づいて、制御レベルの判定を実施する。自車両予測進路と歩行者予測位置との差分であるオフセット幅が長くなるにつれて歩行者と自車両の衝突可能性が低下するため、制御レベルを落とす。また、予測位置精度についても同様であり、予測した歩行者位置は自車両との衝突することが確実であっても、その歩行者位置自体に誤差がのっている可能性が高いと考え制御レベルを落とした出力内容に判定する。

この判定結果を利用して、出力部６３０では、表示部６３１、警報部６３２， 制御部６３３，にそれぞれ動作内容を指示する。表示部６３１では、ディスプレイもしくは、車両メータパネル部分に歩行者の存在を表示する。歩行者と車両の位置関係をディスプレイ上に簡易的に表示しても良い。警報部６３２では、出力部からの指示に基づいて、歩行者衝突可能性が高いことを知らせる音を鳴らす。制御部６３３では、実際にブレーキをかけるために車両停止の命令を送信する。

次に、図４を用いて、精度情報生成部４００の詳細説明を説明する。

＜密度計算部４１０＞
密度計算部４１０では、図１１に示すように、歩行者検知部で抽出された歩行者候補の画像上での枠内部に対して、有効視差の密度を計算する。
ここで、有効視差とは、ステレオマッチングされた前記物体の部位に関する視差である。また、ステレオマッチングとは、視差画像を照合して複数の視差画像に含まれる同一の撮像対象物又は物体の対応部位又は共通部位を対応付けることである。これにより、複数の視差画像に含まれる撮像対象物や物体の対応部位又は共通部位に関する視差である有効視差が得られる。

左右ステレオの画像で歩行者候補を含む小領域の画像のマッチングを実施し、画像的な特徴量を含む同一物体がその領域内に入っている場合には、左右で視差分だけずれた位置で同一物体が見えているために画像特徴も類似しておりマッチングする。このときマッチングが成功した小領域の値を有効視差とし、マッチングに失敗し、左右カメラの画像上を探索してもマッチングする場所を探せなかった小領域の値を無効視差とする。

枠内の有効視差数を枠の面積で割った以下の式を有効視差密度とし、この密度が高いほど、枠内の有効視差数が多く、歩行者位置が信頼できると考える。
有効視差密度 ＝ 枠内の有効視差数／枠面積
また、上記の式の枠内の有効視差数の中から、更に、簡易的に抽出した歩行者位置から近傍である視差値のみに絞ることで、枠内に入る有効視差を持った遠景領域の視差を省いた値で有効視差密度を算出しても良い。ただし、この場合、あきらかに視差値のことなる遠景の視差を対象外としてカウントすることは難しくないが、枠内に入っている歩行者と近距離にある立体物などを省くことは、視差値が近いために難しい。

＜周囲分離度計算部４２０＞
図１２に周囲分離度の計算の概要を示す。歩行者の位置精度を抽出するにあたって歩行者を抽出した枠内に他の物体が入り込んでいるような場合には、他立体物の視差値の影響を受けて歩行者位置に誤差がのる可能性が高くなる。このため歩行者の周囲に他立体物が存在しないかどうかをチェックすることで、歩行者以外の視差値が歩行者位置を抽出する際の誤差要因になっていないかをチェックする。

図１２に示すように検知した歩行者枠を左右に広げて、その領域内のすべての有効視差を画像縦方向に投影する。この際に有効視差に絞るだけでなく、大まかに算出した歩行者位置から大きく離れた視差値を持つ画素は遠景であるとして、対象外としても良い。
このように画像縦方向に投影した有効視差ヒストグラムを利用して、周囲物体との分離度を計算する。

歩行者枠内で最もヒストグラムの山が高い位置の±ｘｄｉｓの範囲のヒストグラム総計Ｍを算出する。次に、その山から左右にヒストグラムの高さが低くなる谷の位置を探索すし、この左の谷の位置の±ｘｄｉｓにおけるヒストグラム総計Ｖ１と、この右の谷の位置の±ｘｄｉｓにおけるヒストグラム総計Ｖ２とを算出する。

図１２に示す山のＭと左右の谷のＶ１，Ｖ２を比較して、山に対する谷が小さいほど周囲との分離度が高いと考え、分離度が高いほど、歩行者位置に誤差要因である他物体の視差情報が入る可能性が低いと考える。
分離度を求める具体的な数式は以下のとおりである。
分離度 ＝ （Ｖ１＋Ｖ２）／（２ｘＭ）
図１３に、実際に分離度の高い例と低い例を示す。歩行者の検出枠内に異なる視差の物体が入り込んだだめに、枠内の視差の平均を歩行者位置としてとらえるような手法では誤差がのることを示す一例である。

図１３左側のシーン（Ａ）では、車両から飛び出しそうな歩行者の体が半分ほど見えているために、歩行者としての形状などで、歩行者識別が可能な場合も十分にありうる。このため、すぐに歩行者検知した場合には、その枠内の視差のみを使うと、図１３左中ほどの絵に示すように、車体側面の、見る角度によっては車両背面含めた視差を歩行者の視差だと間違えて歩行者位置を算出するために、平均して求めた視差、奥行きには大きな誤差がのることになる。このような状況において、分離度を算出すると、図１３左下に示すように、歩行者と車両の隙間があまりないような視差のヒストグラムとなり、分離度が低いものとなる。分離度が低い場合には、誤視差が入り込みやすい状況であることを考慮して、視差情報取得部４９０では、位置精度が低い可能性が高いと考える。

シーン（Ｂ）は、シーン（Ｃ）とシーン（Ａ）との中間であり分離度もその中間であるシーンである。シーン（Ｃ）について説明する。シーン（Ｃ）となると歩行者は車体から離れているために、ヒストグラムにも山と谷の位置がはっきりとわかり、歩行者の周囲に立体物が無いことがあきらかにわかり、この場合の分離度は高く、歩行者位置精度も高いと判定する。

また、分離度を利用して、歩行者の位置精度を向上させる方式についても説明する。まず、図１３（Ｃ）に示すような周囲との分離が明らかである場合には、歩行者以外の視差情報の誤差要因を受けているとは考えにくいために、精度高く歩行者位置が算出されており位置補正の必要がないと解釈する。

しかしながら、（Ｂ）に示すような場合には、歩行者検知した枠内に車両と歩行者が重複している部分があることが分かるため、この谷の位置を利用して歩行者と車両を分割して歩行者位置の精度算出を実施する。

実際には、Ｖ１／ＭとＶ２／Ｍである閾値以上の大きさの場合には、周囲と物体が入り込んだ検知枠になっている可能性が高いと考える。図１４に実際に補正する場合の概略を図示している。Ｖ１／Ｍが閾値以上の大きさでありＶ１の中央の位置の谷の位置から、Ｖ２はそもそも枠外でありなおかつＶ２／Ｍがあきらかに閾値以下であるため、右側は分離の補正をする必要がないと考える。このため、枠の内部の左端をＶ１の谷の位置、右端はもともと歩行者の検知枠の右端の位置の間の視差画像を利用して距離情報を生成することで、位置情報の精度向上を図る。

＜原画テクスチャ解析部４３０＞
原画のテクスチャ解析を行い現画像でのセグメンテーションを実施する。原画の歩行者検知枠の周囲を含めた拡大領域を４分割し、４分割した部分領域の内部の画像の均一性を評価する。均一と判定された場合は、同一セグメンテーションの一部であると考え、不均一と判定されれば更に４分割を繰り返す。これにより、入力画像を木構造に分割し、木構造の終端ノードに対応する隣接部分画像の類似性を評価し、類似すると判定されれば隣接する領域が同一セグメンテーションに属すると考え領域統合する。この処理を統合する領域がなくなるまで繰り返す。

このように原画をベースにセグメンテーションで分割し、セグメンテーション別の視差の平均値を求める。大きく視差が変化する領域は、そもそも対象外である、駐車車両と歩行者のように比較的近距離かつ視差の値が近い物体で、ことなるセグメンテーションに分割された領域を対象として参照する。この際に、歩行者検知枠の中から歩行者以外と思われるセグメンテーション領域の視差情報を排除して距離情報を算出することで歩行者の位置精度を向上させることが可能である。特に、このセグメンテーションは、人工物などの同一物体は同一のテクスチャの傾向が強い物体の方がうまくセグメンテーションがきれる。このため、歩行者のセグメンテーションが成功しているかどうかよりも、歩行者検知枠内に入り込んだ建築物や、車両などの人工物のセグメンテーションの視差情報を排除するために利用する。

原画テクスチャ解析部４３０は、周囲分離度計算部４２０で周囲と分離していないことがわかった場合にのみ実施してもよい。また、このセグメンテーションで、歩行者検知枠内に入り込んだ別のセグメンテーションが多いほど位置情報の精度がわるいと計算する。

また、周囲分離度計算部４２０で周囲と分離していないことがわかった場合、かつ、原画のテクスチャがすくなくうまくセグメンテーションに分割できていなさそうな場合には、内部のエッジ強度が極端に弱いことを考慮し、歩行者検知枠内の視差密度が低い要因であると考え位置精度が低いと判定しても良い。

＜飛び出し領域優先部４４０＞
周囲分離度計算部４２０で周囲と分離していないことがわかった場合にのみ利用しても良い。立体物の陰から分離してくる物体であることが明らかな場合、飛び出し方向が歩行者の体の一部であり、飛び出しとは反対側のからだが遮蔽物となる立体物の一部を含んだ歩行者検知枠になっている可能性が高い。このような場合には、誤差がのったままでの状態でも良いので右方向に動く歩行者か、左に動く歩行者か静止している歩行者かの３種類の動きに分類する。立体物の陰から飛び出してくる移動中の歩行者であることがわかれば、歩行者の進行方向半分の視差のみを利用することで、精度を向上する手法も考えられる。分離度やテクスチャ解析などでも歩行者と歩行者を遮蔽する立体物の分離がうまくいかなかった場合にのみ動作させる処理であり、実際に遮蔽物の立体物と歩行者を分離できたわけではないが少なくとも遮蔽領域の割合が減る可能性が高く、位置精度を向上できるわりあいが高いという予想から実施する。

＜付着物解析部４５０＞
原画のテクスチャ解析の手法により、検知枠内の視差情報がすくない場合の位置精度が低下していることは判断可能である。しかしながら、視差情報があるにも関わらず、位置精度が低下するケースも実際には起こりうる。

次に、図１５を用いて付着物解析部４５０を説明する。図１５を利用して泥のように背景の様子を遮る付着物を検知する付着物解析部の概要を説明する。泥のように背景が見えづらく、周囲と比較し輝度が暗くなり続け、輝度変化が小さな領域を検出するロジックである。付着物解析部４５０は撮影画像の画像領域を図９（ｂ）に示されるように複数のブロックＡ（ｘ，ｙ）に分割する。

次に、付着物解析部４５０は、撮影画像の各画素の輝度を検出する。そして、付着物解析部４５０は、各ブロックＡ（ｘ，ｙ）ごとにそのブロックＡ（ｘ，ｙ）に含まれる各画素の輝度の総和Ｉ_t（ｘ，ｙ）を算出する。付着物解析部４５０は、現フレームの撮影画像について算出したＩ_t（ｘ，ｙ）と前フレームの撮影画像について同様に算出したＩ_t-1（ｘ，ｙ）との差ΔＩ（ｘ，ｙ）を各ブロックＡ（ｘ，ｙ）ごとに算出する。

付着物解析部４５０は、このΔＩ（ｘ，ｙ）が周囲のブロックと比較して小さいブロックＡ（ｘ，ｙ）を検出して、そのブロックＡ（ｘ，ｙ）に対応するスコアＳＡ（ｘ，ｙ）を所定値、たとえば、１増加させる。

付着物解析部４５０は、撮影画像中の全画素について上述の判定を行った後、各ブロックＡ（ｘ，ｙ）のスコアＳＡ（ｘ，ｙ）を初期化してからの経過時間ｔＡを取得する。そして、付着物検知部２４０は、各ブロックＡ（ｘ，ｙ）のスコアＳＡ（ｘ，ｙ）を、その経過時間ｔＡで除して、スコアＳＡ（ｘ，ｙ）の時間平均ＳＡ（ｘ，ｙ）／ｔＡを算出する。

このような付着物が付着した状態では、付着物と背景の部分に誤視差が発生する場合や、視差情報自体が得られない場合がある。このため歩行者検知枠の内部に閉める付着物領域がある閾値以上となった場合には、位置精度情報をその割合に応じて低下させる。

＜光源解析部４６０＞
図１６に示すように、逆光や反射などで画面上が高輝度になり、背景が見えなくなるような領域が発生してしまうなどの問題がある。光の反射などのような場合には、誤視差が発声する可能性もあり、逆光の場合には、反対にその周囲のみ視差がでないような場合がある。このため、図１６にあるような高輝度領域は正しい視差が出ている可能性が低いと判断し、歩行者検知枠内の高輝度領域の割合に応じて位置精度情報を低下させる。

＜精度情報取得部４９０＞
密度計算結果、分離度計算結果、テクスチャ解析結果、飛び出し領域優先の使用有無、付着物解析結果、光源解析結果を利用して、瞬間値の位置精度情報を取得する。分離度計算などにおいて位置補正を実施した場合には、初期の位置精度情報ではなく、一補正した状態での位置精度情報を取得する。

次に、図１８を用いて、歩行者衝突防止処理フローを説明する。

ステップＳ０１では、ステレオカメラ撮像部１００において、自車両前方を撮像する。

ステップＳ０２では、視差画像生成部２００において、上記、ステレオカメラの撮像部１００で撮像された画像を利用してステレオマッチング処理を実施、視差画像を生成する。

ステップＳ０３では、立体物抽出部３１０において、現フレームの視差画像から立体物候補を抽出する。

ステップＳ０４では、トラッキング部３２０において、上記、現フレームの立体物候位置、と１フレーム前の立体物候補位置、立体物の速度情報、車両挙動などから少なくとも２つ以上の情報を利用し、フレームごとに独立して抽出されるステップＳ０３処理における立体物候補のトラッキングを実施する。時系列に立体物候補をトラッキングすることで、１フレームだけ立体物候補が現れたようなノイズ要因などは削除することができる。

ステップＳ０５では、トラッキングにより誤抽出した立体物候補を削除し、このなかから歩行者候補となりうるサイズの歩行者候補の立体物を、識別部３３０において簡易選定する。サイズが大きすぎるもの、小さすぎるものは、歩行者にはなりえないと判定しステップＳ０７へ、歩行者候補となりうる立体物はステップＳ０６へ、処理を進める。

ステップＳ０６では、このトラッキングできた歩行者候補の立体物に対してのみ、識別部３３０ において歩行者識別を実施する。現画像から生成されたエッジ画像や、視差情報などを利用して歩行者識別を実施する。歩行者ではないと識別された歩行者候補の立体物は、歩行者以外と判別された立体物候補としてステップＳ０７で追加登録する。識別器において歩行者として識別された場合には、ステップＳ０８へ処理を進める。なお、本実施形態では、歩行者候補以外の車両検知や標識検知などは取り扱わないため、歩行者以外の立体物候補として抽出し、そのあとの処理の説明を省略する。

ステップＳ０８では、歩行者として識別された物体は、位置情報計算部５１０において立体物候補抽出時の枠内の視差値を観測し、歩行者位置を生成する。

ステップＳ０９では、位置情報生成後に、位置精度情報生成部４００において、歩行者位置の精度情報を取得、また、歩行者位置の精度向上が可能かなどを判定し、精度向上可能だと判定した場合には、ステップＳ０８へフィードバックし、再度、精度情報考慮位置情報生成部５２０において位置情報を生成する。精度向上は不可と判断された場合、つまり精度が比較的良く精度向上の必要性がないと判定された場合と精度が悪いが精度向上する方法がないと判断された場合は、そのままステップＳ１０へ進む。

ステップＳ１０では、これら歩行者の位置情報、及び位置精度情報を利用して、移動情報予測部５３０において歩行者の移動先を予測する。

ステップＳ１１では、上記、歩行者の移動予測と自車挙動予測から、歩行者と自車両の衝突を予測し、衝突しそうな場合には、その位置精度情報と歩行者位置におうじて、表示、警報、制御を実施する。

以上のように、本実施形態に係る物体検知装置によれば、物体の位置の精度を考慮して周囲環境に応じた適切な制御に資することができる。

また、この物体検知装置は、車両に設置されたステレオカメラを利用して生成した距離画像から立体物を抽出し、抽出した立体物の位置情報を獲得し、獲得した位置情報の精度情報と位置情報を補正することが可能かどうかを詳細に解析する。位置情報の補正が可能である場合には再度、位置情報と位置精度情報を獲得し、これらの結果を用いて立体物の位置と速度を推定し、自車挙動から衝突可能性をより適切に判定することで、制御の遅れや誤制御の発生などを改善することが可能となる。 また、物体の位置は常に正確に特定することは容易ではない一方で、周囲環境に応じた制御を行うのに、正確な位置のみしか検出結果として用いないのでは、周囲環境の認識を行う上で適切ではない。その点、本実施形態に係る物体検知装置は、検出された物体の位置の検出状態を考慮して位置情報を利用するものである。位置情報の精度に応じて適切に車両を制御することができる。

なお、本発明に係る物体検知装置は、上記実施形態に限定されるものではなく、その趣旨を脱しない範囲で適宜変更が可能である。

例えば上記では、検知される物体が主に歩行者である例を説明したが、これに限定されるものではなく、自転車車両、２輪車両、４輪車両、動物その他の移動体であっても良く、移動体以外にも、電柱、信号機等の柱状物や壁などの地上固定物であってもよい。

１００ ステレオカメラ撮像部
２００ 視差画像生成部
３００ 歩行者検知部
３１０ 立体物抽出部
３２０ トラッキング部
３３０ 識別部
４００ 位置精度情報生成部
４１０ 密度計算部
４２０ 周囲分離度計算部
４３０ 原画テクスチャ解析部
４４０ 飛び出し領域優先部
４５０ 付着物解析部
４６０ 光源解析部
４９０ 精度情報取得部
５００ 位置情報生成部
５１０ 位置情報計算部
５２０ 精度情報考慮 位置情報再計算部
５３０ 移動情報予測部
６００ 表示・警報・制御部
６１０ ＴＴＣ計算部
６２０ 出力判定部
６３０ 出力部
６３１ 表示部
６３２ 警報部
６３３ 制御部

Claims (13)

1. 複数の撮像部から取得された複数の視差画像から視差情報を生成する視差情報生成部と、
   前記視差画像に含まれる物体を検出する物体検出部と、
   前記視差情報に基づいて前記物体の位置情報を生成する位置情報生成部と、
   前記位置情報の精度に関する位置精度情報を、前記視差情報の生成状況に基づいて生成する位置精度情報生成部と、を備えることを特徴とする物体検知装置。
2. 請求項１記載の物体検知装置において
   前記位置情報生成部は、前記物体に対応する物体領域内でステレオマッチングされた前記物体の部位に関する視差である有効視差に基づいて前記位置情報を生成し、
   前記位置精度情報生成部は、前記物体に対応する物体領域及び該物体領域に隣接する隣接領域を含む拡大領域に含まれる有効視差の量を、前記物体領域及び前記隣接領域間に沿う一軸上に投影したヒストグラムに基づいて、前記位置精度情報を生成することを特徴とする物体検知装置。
3. 請求項１記載の物体検知装置において
   前記位置情報生成部は、前記物体に対応する物体領域内でステレオマッチングされた前記物体の部位に関する視差である有効視差に基づいて前記位置情報を生成し、
   前記位置精度情報生成部は、前記物体を含む物体領域の面積と、前記物体領域に含まれる有効視差が得られる有効視差領域の面積との割合に基づいて前記位置精度情報を生成することを特徴とする物体検知装置。
4. 請求項１記載の物体検知装置において、
   前記位置情報生成部は、前記物体に対応する物体領域内でステレオマッチングされた前記物体の部位に関する視差である有効視差に基づいて前記位置情報を生成し、
   前記位置精度情報生成部は、複数の視差画像の少なくとも一つの単一視差画像中で前記物体を含む物体領域に対応する対応領域の特徴点情報に基づいて前記位置精度情報を生成することを特徴とする物体検知装置。
5. 請求項１記載の物体検知装置において、
   前記複数の視差画像に含まれるステレオマッチングされた撮像対象物に関する視差である有効視差の中から、前記物体を含む物体領域内の有効視差であって前記物体の距離に相当する有効視差を抽出し、抽出された有効視差に基づいて前記位置情報及び前記位置精度情報を生成することを特徴とする物体検知装置。
6. 請求項１記載の物体検知装置において、
   前記物体の位置情報の精度が低く、かつ物体の時系列な位置から求まる前記物体の移動方向が自己の進路の方向に接近する場合には、前記物体に対応する物体領域内でステレオマッチングされた前記物体の部位に関する視差である有効視差のうち、前記物体の移動方向の前方部分の視差情報に基づいて、前記物体の位置、及び前記位置精度情報を生成することを特徴とする物体検知装置。
7. 請求項１記載の物体検知装置において、
   物体検出部は歩行者を検出するように構成され、
   前記歩行者が他の物体と前記撮像部の光軸方向に重複して撮像される場合に、前記歩行者と前記他の物体とを分離し、前記歩行者のうち前記他の物体と分離された部分の前記視差情報に基づいて前記歩行者の前記位置情報及び前記位置精度情報を生成することを特徴とする物体検知装置。
8. 請求項１記載の物体検知装置において、
   前記位置精度情報生成部は、前記物体を含む物体領域と、光によって白飛びしている白飛び領域との重複の程度に基づいて、前記位置精度情報を生成することを特徴とする物体検知装置。
9. 請求項１記載の物体検知装置において、
   前記位置精度情報生成部は、前記物体を含む物体領域と、前記撮像部の撮像領域を遮るように付着物が付着した付着物領域との重複の程度に基づいて、前記位置精度情報を生成することを特徴とする物体検知装置。
10. 請求項１記載の物体検知装置において、
    車両に搭載され、
    前記位置情報及び前記位置精度情報に基づいて、前記車両の制御レベルを変更することを特徴とする物体検知装置。
11. 複数の撮像部から取得された複数の視差画像から視差情報を生成する視差情報生成部と、
    前記複数の視差画像に含まれるステレオマッチングされた撮像対象物に関する視差である有効視差の量を一軸上に投影し、投影された有効視差の量のヒストグラムに基づいて、前記撮像部の光軸方向に重複する複数の物体を区別して検出する物体検出部と、を備えることを特徴とする物体検知装置。
12. 請求項１１記載の物体検知装置において、
    前記物体検出部は、検出された物体の一つに対して物体領域を設定し、該物体領域及び該物体領域に隣接する隣接領域を含む拡大領域に含まれる有効視差の量のヒストグラムに基づいて、前記物体を区別することを特徴とする物体検知装置。
13. 請求項１２記載の物体検知装置において、
    前記ヒストグラムが有する谷部と該谷部に隣接する周囲部との量の程度に基づいて、前記物体を他の物体と区別することを特徴とする物体検知装置。