JP2017054311A - 物体検出装置 - Google Patents

Abstract

【課題】撮影画像を用いて物体の種類をより精度よく判定できる物体検出装置を提供することを主たる目的とするものである。【解決手段】物体検出装置１０は、自車両の進行方向を撮影した撮影画像を画像処理することで自車両の周囲に存在する物体としての歩行者又は二輪車を検出する物体検出部１１と、撮影画像を解析することで物体検出部１１により検出された物体の種類を仮判定する物体判定部１４と、搬送波の反射波を用いて物体の移動速度を取得する速度取得部１２とを備え、物体判定部１４は、速度取得部１２で取得した物体の移動速度を用いて、仮判定された物体の種類を本判定する。【選択図】 図１

Description

本発明は、自車両の周囲に存在する物体を検出する物体検出装置に関する。

自車両の進行方向を撮影した撮影画像を画像処理することで、自車両の周囲に存在する物体を検出するとともに、撮影画像を解析することで物体の種類を特定することが行われている。しかし、撮影画像を用いて物体の種類を特定する場合には、その物体の形状等によって、物体の種類が誤判定される可能性がある。そこで従来から、撮影画像の解析方法を工夫することで、物体の種類の判定精度が向上されるようにしている。

例えば特許文献１には、乗員ありの横向き二輪車の検出精度を向上させることについて記載されている。詳しくは、乗員ありの横向き二輪車を表す画像では、上部に人が存在し、下部に二輪車が存在する。そして二輪車が存在する下部は、二つの車輪が存在し、その左右対称性が強い。一方、人が存在する上部は、前傾姿勢をしていたり、手や足が進行方向に出ていたりして左右対称性が無い。そこでこのような特徴を利用して、横向きの二輪車を示す画像を上下で分割し、下部分のみ左右対称性を考慮した特徴量を採用することにより、横向きの二輪車の識別精度が向上されるようにしている。

特開２０１２−２４３１５５号公報

しかし、特許文献１の場合には、二輪車の一部が他の物体で隠れる等により、二輪車の左右対称性が正しく抽出されない場合には、乗員ありの横向き二輪車として正しく認識されないおそれがある。

また、自車両と同一車線を走行している二輪車の場合、すなわち乗員ありの縦向き二輪車の場合には、二輪車の左右対称性を検出することができないため、特許文献１の構成を適用することはできない。

そしてこれらの場合において、二輪車が正しく検出されない場合には、乗員ありの二輪車と歩行者とを誤判定するおそれがある。

本発明は上記に鑑みてなされたものであり、撮影画像を用いて物体の種類をより精度よく判定できる物体検出装置を提供することを主たる目的とするものである。

本発明は、自車両の進行方向を撮影した撮影画像を画像処理することで自車両の周囲に存在する物体としての歩行者又は二輪車を検出する物体検出部と、前記撮影画像を解析することで前記物体検出部により検出された前記物体の種類を仮判定する仮判定部と、搬送波の反射波を用いて前記物体の移動速度を取得する速度取得部と、前記速度取得部で取得した前記物体の移動速度を用いて、前記仮判定部で判定された前記物体の種類を本判定する本判定部と、を備えることを特徴とする。

本発明によれば、撮影画像のみを用いて物体の種類を特定する場合と比べて、物体の移動速度を加味して物体の種類を特定することで、物体の種類の判定精度を高めることができる。

物体検出装置の概略構成図。 乗員あり二輪車に関する説明図。 物体検出処理のフローチャート。 第２実施形態の物体検出処理のフローチャート。 第３実施形態の物体検出処理のフローチャート。

以下、各実施形態を図面に基づいて説明する。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、図中、同一符号を付しており、同一符号の部分についてはその説明を援用する。

（第１実施形態）
本実施形態に係る物体検出装置１０は、車両（自車両）に搭載され、自車両の前方に存在する物体を検出する。物体検出装置１０で検出された物体の情報は、自車両との衝突回避等の各種車両制御に用いられる。例えば、プリクラッシュセーフティシステム（ＰＣＳ：Pre-Crash safety system）、アダプティブクルーズコントロール（ＡＣＣ：Adaptive cruise control）等の各種車両制御に用いられる。

図１において、物体検出装置１０は、車載カメラ２１、レーダ装置２２、車速センサ２３および運転支援装置３０と通信可能に接続されている。

車載カメラ２１は、画像センサからなり、所定時間毎に自車両の前方に向かって所定範囲で広がる領域を撮像して撮影画像を取得する。レーダ装置２２は、ミリ波やレーザ等の指向性のある電磁波を送受信する。そして電磁波を反射した物体との距離、方位および相対速度等の情報を、物標の位置情報として取得する。車速センサ２３は、自車両の車輪に動力を伝達する回転軸に設けられており、その回転軸の回転速度に基づいて、自車両の速度である自車速を求める。

物体検出装置１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インターフェース等で構成されており、画像物標生成部１１、レーダ物標生成部１２、物体検出部１３、物体判定部１４を備えている。

画像物標生成部１１は、車載カメラ２１から入力された撮影画像に含まれる検出対象の物標を画像処理（パタンマッチング処理）で抽出する。なお、検出対象の物標としては、先行車、乗員ありの二輪車（以下、二輪車と称する）、歩行者、その他の障害物等が挙げられる。なお二輪車には自転車、自動二輪車が含まれている。

例えば、画像物標生成部１１は、予め用意された検出対象の物標を表す画像データ（テンプレート）と撮影画像内の所定領域との一致の度合いを算出し、その一致の度合いが高ければ検出対象の物標であると判定する。そして、物標を抽出した場合には、物標の種類、物標との距離、方位および相対速度、物標の横幅等の情報を含む画像物標ＧＴを生成して物体検出部１３に出力する。

レーダ物標生成部１２は、レーダ装置２２から入力された物標の位置情報を用いてレーダ物標ＬＴを生成し、物体検出部１３に出力する。

物体検出部１３は、画像物標生成部１１から入力された画像物標ＧＴと、レーダ物標生成部１２から入力されたレーダ物標ＬＴとが同一の物体から生成されたものであるかを判定する。例えば、レーダ物標ＬＴで特定される物標の位置情報を用いて、撮影画像内に所定の画像探索範囲を設定する。そしてその画像探索範囲内に画像物標ＧＴが含まれていれば、そのレーダ物標ＬＴと画像物標ＧＴとは同一の物体から生成されたものであると判定する。

運転支援装置３０は、車載機器として、警報音や案内音を出力するスピーカ、シートベルト、ブレーキ等を備えている。運転支援装置３０は、物体検出装置１０により検出された物体に対する運転支援が必要であるか否かを判定し、運転支援が必要であると判定した場合に各種車載機器を作動させる。

例えば、運転支援装置３０は、物体と自車両との衝突余裕時間ＴＴＣ（Time to Collision）を算出する。衝突余裕時間ＴＴＣとは、このままの自車速度で走行した場合に、何秒後に物体に衝突するかを示す評価値であり、ＴＴＣが小さいほど、衝突の危険性は高くなり、ＴＴＣが大きいほど衝突の危険性は低くなる。衝突余裕時間ＴＴＣは、物体と自車両との進行方向の距離を、物体との相対速度で除算する等の方法で算出できる。物体との相対速度は、先行車両の車速から自車速を減算して求められる。なお、相対加速度を加味して衝突余裕時間ＴＴＣを算出してもよい。

そして、衝突余裕時間ＴＴＣが車載機器の作動時間以下であれば、該当する車載機器を作動させる。なお各車載機器の作動時間は物体の種類に応じて設定される。例えば、物体が歩行者の場合の作動時間と、物体が二輪車の場合の作動時間とでは、二輪車の場合の方が早めの作動時間に設定されている。

ところで、撮影画像を画像処理して物体を特定する場合には、物体の種類が誤判定されるおそれがある。例えば、二輪車が歩行者であると誤判定されるおそれがある。すなわち、図２（ａ）に示すように、自車両Ｍの進行方向に対して直交する方向（横向き）に二輪車Ｂが走行している場合には、二輪車Ｂの車輪の一部が他の物体で隠れている等により、パタンマッチングで二輪車の車輪部分が正しく抽出されないことが生じうる。二輪車の部分が正しく検出されず、上側の歩行者の部分のみが検出されると、物体が二輪車ではなく歩行者であると誤判定されてしまう。

また図２（ｂ）に示すように、自車両の進行方向と同方向（縦向き）に二輪車が走行している場合には、そもそも二輪車の特徴である車輪部分を画像処理で検出することが困難となる。そのためこの場合にも、パタンマッチングで二輪車の部分が正しく検出されず、歩行者の部分のみが検出されると、物体が二輪車ではなく歩行者であると誤判定されてしまう。

一方、二輪車と歩行者との移動速度Ｖ（対地速度）は異なり、歩行者の移動速度Ｖに比べて、二輪車の移動速度Ｖの方が大きい傾向がある。そこで本実施形態ではこの点に着目し、物体検出部１３で検出された物体が歩行者である場合に、物体判定部１４により、物体の移動速度Ｖが所定の第１閾値Ｔｈ１よりも大きいか否かを判定する。

なお、物体の移動速度Ｖはレーダ物標ＬＴから求められる物体の相対速度と、車速センサ２３で検出される自車速との差分で求められる。また、第１閾値Ｔｈ１は、歩行者と二輪車との移動速度Ｖを区別できる速度に設定されていればよく、例えば１０〜１５ｋｍ／ｈに設定することができる。

そして物体判定部１４は、物体検出部１３が物体として歩行者を検出し、且つ物体の移動速度Ｖが第１閾値Ｔｈ１よりも大きければ、物体は二輪車であると判定する。物体の移動速度Ｖが第１閾値Ｔｈ１よりも小さければ、物体は歩行者であると判定する。このように、物体として歩行者が検出された際に、物体の移動速度を加味して物体の種類を再度判定することで、二輪車が歩行者であると誤判定されることを抑制できる。

次に、本実施形態の物体の種類の判定処理について、図３のフローチャートを用いて説明する。本処理は、物体検出装置１０が所定周期で繰り返し実施する。

まず、レーダ物標ＬＴを検出し（Ｓ１１）、画像物標ＧＴを検出する（Ｓ１２）。次に、レーダ物標ＬＴと画像物標ＧＴとが同一物体であるか否かを判定する（Ｓ１３）。Ｓ１３を肯定した場合には、物体の種類が二輪車であるか否かを仮判定する（Ｓ１４）。本処理は、画像物標ＧＴから求められる物体の種類に基づき判定する。Ｓ１４を肯定した場合には、物体は二輪車であると本判定する（Ｓ１５）。

一方、Ｓ１４を否定した場合、すなわち撮影画像から認識される物体が二輪車ではない場合には、物体の種類が歩行者であるか否かを判定する（Ｓ１６）。Ｓ１６で物体の種類が歩行者であると仮判定した場合には、レーダ物標ＬＴから求められる物体の移動速度Ｖが第１閾値Ｔｈ１よりも小さいか否かを判定する（Ｓ１７）。Ｓ１７で、物体の移動速度Ｖが第１閾値Ｔｈ１よりも大きいと判定した場合には、Ｓ１５に進み、物体は二輪車であると本判定する。

Ｓ１７で、物体の移動速度Ｖが第１閾値Ｔｈ１よりも小さいと判定した場合には、物体の移動速度Ｖが第２閾値Ｔｈ２よりも小さいか否かを判定する（Ｓ１８）。ここで、第２閾値Ｔｈ２は第１閾値Ｔｈ１よりも小さい値に設定されている。Ｓ１８を肯定した場合には、物体の種類が歩行者であると本判定する（Ｓ１９）。なおＳ１３，Ｓ１６，Ｓ１８を否定した場合には処理を終了する。

なお図３では、Ｓ１８で第１閾値Ｔｈ１よりも小さい第２閾値Ｔｈ２と、物体の移動速度Ｖとを比較して物体が歩行者であるか否かを判定しているが、第１閾値Ｔｈ１と第２閾値Ｔｈ２とは同じ値であってもよく、この場合には、Ｓ１８の処理が省略されてもよい。

上記によれば以下の優れた効果を奏することができる。

・撮影画像のみを用いて物体の種類を特定する場合と比べて、物体の移動速度を加味して物体の種類を特定することで、物体の種類の判定精度を高めることができる。

・物体が歩行者であると判定され、且つ移動速度が第１閾値Ｔｈ１よりも大きいことを条件に、物体が二輪車であると判定するようにしたため、二輪車が歩行者であると誤判定されることを抑制できる。

・物体が歩行者であると判定され、且つ移動速度が第２閾値Ｔｈ２よりも小さいことを条件に、物体が歩行者であると判定するようにしたため、物体が歩行者であることの判定精度が高められる。

・二輪車が自車両の進行方向に移動している状態、すなわち二輪車が縦向きに走行している場合には、画像処理で二輪車の特徴となる車輪部分の抽出が困難となるため、二輪車が歩行者として誤判定される可能性が高くなる。この際に、物体の移動速度を用いて物体の種類の本判定を行うことで、二輪車の特徴部分の抽出が困難な状況においても、乗員ありの二輪車を正しく判定することができる。

上記実施形態を例えば次のように変更してもよい。なお以下の説明において上述の構成を同様の構成については同じ図番号を付し、詳述は省略する。

（第２実施形態）
二輪車には、自転車と、自動二輪車とが存在し、それぞれで移動速度Ｖが異なる。このことを考慮して、移動速度Ｖと複数の閾値とを比較して、歩行者、自転車および自動二輪車を区別して判定するようにしてもよい。

図４のフローチャートを用いて説明すると、Ｓ１３でレーダ物標ＬＴと画像物標ＧＴとが同一物体であると判定した場合には、物体が自転車又は自動二輪車であるか否かを判定する（Ｓ２１）。物体が自転車又は自動二輪車であると判定した場合には、物体の移動速度が第３閾値Ｔｈ３よりも小さいか否かを判定する（Ｓ２２）。第３閾値Ｔｈ３は、第１閾値Ｔｈ１よりも大きい値であって、自動二輪車と自転車とを区別できる速度に設定される。例えば、第３閾値Ｔｈ３は３０〜４０ｋｍ／ｈ等に設定することができる。

Ｓ２２で物体の移動速度が第３閾値Ｔｈ３よりも小さいと判定した場合には、物体は自転車であると本判定する（Ｓ２３）。Ｓ２２で物体の移動速度が第３閾値Ｔｈ３よりも大きいと判定した場合には、物体は自動二輪車であると本判定する（Ｓ２４）。

一方、Ｓ２１を否定した場合には、物体が歩行者であるか否かを判定する（Ｓ２５）。Ｓ２５を肯定した場合には、物体の移動速度が第３閾値Ｔｈ３よりも小さいか否かを判定する（Ｓ２６）。Ｓ２６で、物体の移動速度Ｖが第３閾値Ｔｈ３よりも大きいと判定した場合には、物体は歩行者ではなく自動二輪車であると本判定する（Ｓ２９）。Ｓ２１で物体の移動速度が第３閾値Ｔｈ３よりも小さいと判定した場合には、Ｓ２７に進み、物体の移動速度Ｖが第１閾値Ｔｈ１よりも小さいか否かを判定する。そして、物体の移動速度Ｖが第１閾値Ｔｈ１よりも小さければ、歩行者であると本判定する（Ｓ２８）。物体の移動速度Ｖが第１閾値Ｔｈ１よりも大きければ、Ｓ２３に進み、物体は自転車であると本判定する（Ｓ２３）。

以上のように、歩行者、自転車と並びに自動二輪車とでは移動速度が異なることを加味することで、物体が歩行者、自転車及び自動二輪車のいずれであるかを区別して判定することができる。

（第３実施形態）
撮影画像の画像処理で、歩行者が二輪車であると誤判定される可能性もある。そこで二輪車であると仮判定された場合にも、移動速度Ｖを用いて二輪車であるか否かを本判定するとよい。

図５のフローチャートにおいて、Ｓ１４で二輪車であると仮判定した場合に、Ｓ３０に進み、物体の移動速度Ｖが第１閾値Ｔｈ１よりも大きいか否かを判定する。Ｓ３０で移動速度Ｖが第１閾値Ｔｈ１よりも大きいと判定した場合には、物体は二輪車であると本判定する（Ｓ３２）。Ｓ３０で移動速度Ｖが第１閾値Ｔｈ１よりも小さいと判定した場合には、物体は歩行者であると本判定する（Ｓ３１）。

以上のように、物体が二輪車であると仮判定され、且つ移動速度が第１閾値Ｔｈ１よりも小さければ歩行者であると本判定するようにしたため、歩行者が二輪車であると誤判定されることを回避できる。また物体が二輪車であると仮判定され、且つ移動速度が第１閾値Ｔｈ１よりも大きければ二輪車であると本判定するようにしたため、二輪車である場合の判定精度が高められる。

（その他の実施形態）
・上記の各処理において、物体の種類の仮判定と、物体の移動速度Ｖの判定処理との順番を入れ替えてもよい。例えば図３の処理において、Ｓ１７で物体の移動速度が第１閾値Ｔｈ１よりも小さいか否かの処理を先に実施する。そしてＳ１７を肯定した場合には、Ｓ１６の物体の種類が歩行者であると仮判定されたか否かを判定する。そして物体が歩行者であると仮判定されていれば、Ｓ１９に進み、物体は歩行者であると本判定する。

・上記の各処理において、物体の種類の仮判定の成否を、本判定で確認する構成であってもよい。例えば、物体が歩行者であると仮判定された際に、物体の移動速度Ｖとの比較によりその仮判定が正しいか否か、すなわち物体が歩行者であるかの判定のみが行われてもよい。同様に、物体が二輪車であると仮判定された際に、物体の移動速度Ｖとの比較によりその仮判定が正しいか否か、すなわち物体が二輪車であるかの判定のみが行われてもよい。

・物体の移動速度Ｖがゼロの場合も想定される。物体の移動速度Ｖがゼロの場合には、物体の種類に応じて各車載機器の作動時間を異なる値に設定する必要性が低くなる。そこで、例えば図３のフローチャートのＳ１３でレーダ物標ＬＴと画像物標ＧＴとが同一物体であると判定した際に、物体の移動速度Ｖがゼロであるか否かを判定する。そして物体の移動速度Ｖがゼロであると判定した場合には、Ｓ１３〜Ｓ１９の処理を行わないようにしてもよい。

・上記では、物体検出装置１０と運転支援装置３０とを別構成とした例を示したが、運転支援装置３０が物体検出装置１０を備える構成であってもよい。

・上記において、レーダ物標ＬＴと画像物標ＧＴとが同一の物体であると判定された場合には、レーダ物標ＬＴと画像物標ＧＴを統合（フュージョン）してフュージョン物標ＦＴを生成し、フュージョン物標ＦＴを用いて物体の位置情報（距離、方位等）を特定するようにしてもよい。すなわち、レーダ装置２２は物標までの距離の検出精度が画像センサに比べて高い。これに対して、車載カメラ２１は物標の横方向（横幅や方位など）の検出精度がレーダ装置２２に比べて高い。このことを利用して、車載カメラ２１とレーダ装置２２との両方を用いて物標の位置情報を取得する。そして、各検出項目（距離、方位等）をより精度よく検出するいずれか一方のセンサによる出力を各検出項目における検出結果として用いる。以上により、物体の位置の検出精度を向上できる。

１０…物体検出装置、１１…画像物標生成部、１２…レーダ物標生成部、１３…物体検出部、１４…物体判定部、２１…車載カメラ、２２…レーダ装置。

Claims (6)

1. 自車両の進行方向を撮影した撮影画像を画像処理することで自車両の周囲に存在する物体としての歩行者又は二輪車を検出する物体検出部（１１）と、
   前記撮影画像を解析することで前記物体検出部により検出された前記物体の種類を仮判定する仮判定部（１４）と、
   搬送波の反射波を用いて前記物体の移動速度を取得する速度取得部（１２）と、
   前記速度取得部で取得した前記物体の移動速度を用いて、前記仮判定部で判定された前記物体の種類を本判定する本判定部（１４）と、
   を備えることを特徴とする物体検出装置。
2. 前記本判定部は、前記仮判定部により前記物体が歩行者であると判定され、且つ前記移動速度が所定の第１閾値よりも大きければ前記物体は乗員ありの二輪車であると判定する請求項１に記載の物体検出装置。
3. 前記本判定部は、前記仮判定部により前記物体が歩行者であると判定され、且つ前記移動速度が所定の第２閾値よりも小さければ前記物体は歩行者であると判定する請求項１又は２に記載の物体検出装置。
4. 前記本判定部は、前記仮判定部により前記物体が二輪車であると判定され、且つ前記移動速度が所定の第１閾値よりも大きければ前記物体は乗員ありの二輪車であると判定する請求項１に記載の物体検出装置。
5. 前記本判定部は、前記仮判定部により前記物体が二輪車であると判定され、且つ前記移動速度が所定の第２閾値よりも小さければ前記物体は歩行者であると判定する請求項１又は４に記載の物体検出装置。
6. 前記本判定部は、前記移動速度が前記第１閾値よりも大きい第３閾値よりも小さければ前記物体は乗員ありの自転車であると判定し、前記移動速度が前記第３閾値よりも大きければ前記物体は乗員ありの自動二輪車であると判定する請求項２又は４に記載の物体検出装置。

Images