JP2014021524A

JP2014021524A - 物体認識装置

Info

Publication number: JP2014021524A
Application number: JP2012156437A
Authority: JP
Inventors: Yoji Sasabuchi; 洋治笹渕; Hiroyuki Koike; 弘之小池
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2012-07-12
Filing date: 2012-07-12
Publication date: 2014-02-03
Anticipated expiration: 2032-07-12
Also published as: JP5806647B2

Abstract

【課題】検出された物体が特定の物体であるか否か早期に判別する。
【解決手段】物体認識装置１は、レーダ装置２により検知された物体が移動物標であるか否かを判別する移動物標判別部１２と、カメラユニット３により撮像された画像から特定の物体を抽出する物体抽出部１３と、移動物標判別部１２の判別結果と物体抽出部１３の抽出結果とに基づいてレーダ装置２により検知された物体が前記特定の物体であるか否かを判別する特定物判別部１４と、を備える。レーダ装置２により検知された物体が移動物標であると判別された場合には、レーダ装置２により検知された物体が移動物標ではないと判別された場合に比べて、特定物判別部１４における前記特定の物体であるとする肯定判定をされ易くする。
【選択図】図１

Description

この発明は、自車両の周辺に存在する物体を認識する物体認識装置に関するものである。

自車両の周辺、例えば自車両の進行方向前方に存在する歩行者や車両等の物体を認識する物体認識装置として、レーダ装置とカメラの両方を用いて両者の検出結果を利用して物体の存在および物体の種類を判別するものがある。

特許文献１には、レーダ装置の送信出力を大小に切り替え、大きい送信出力のときに受信された反射波に基づく検出結果から、小さい送信出力のときに受信された反射波に基づく検出結果を取り除くことにより、車両以外の物体を抽出し、抽出された物体に対してカメラで撮像された画像に基づいてパターンマッチング処理を行い、歩行者であるか否かを判別する技術が記載されている。

特開２００５−１５７７６５号公報

しかしながら、特許文献１に開示されている技術では、レーダ装置だけでは物体が車両なのか歩行者なのか判別することができないので、大きい送信出力のときに受信された反射波に基づく検出結果から、小さい送信出力のときに受信された反射波に基づく検出結果を取り除いた際に、歩行者をノイズとして取り除いてしまう可能性がある。

また、特許文献１に開示された技術とは別の技術として、レーダ装置で検出された物体に対してカメラで撮像された画像に基づいてパターンマッチング処理を行って、物体が車両や歩行者であるか否かを判別する方法も考えられるが、この場合には一般に、複数回、カメラにより物体が認識されなければ、物体が車両や歩行者であると確定されないので、確定されるまでに時間がかかってしまう。その結果、この判別結果に基づいて行う種々の制御作動タイミングが遅れる虞がある。

そこで、この発明は、検出された物体が特定の物体であるか否か早期に判別することができる物体認識装置を提供するものである。

この発明に係る物体認識装置では、上記課題を解決するために以下の手段を採用した。
請求項１に係る発明は、自車両周辺の所定範囲に向けて電磁波を発信するとともに、該電磁波が自車両周辺に存在する物体により反射されて生じる反射波を受信する発受信手段（例えば、後述する実施形態におけるレーダ装置２）と、自車両周辺の所定範囲を撮像する撮像手段（例えば、後述する実施形態におけるカメラユニット３）と、前記発受信手段により検知された物体が移動物標であるか否かを判別する移動物標判別手段（例えば、後述する実施形態における移動物標判別部１２）と、前記撮像手段により撮像された画像から特定の物体を抽出する物体抽出手段（例えば、後述する実施形態における物体抽出部１３）と、前記移動物標判別手段の判別結果と前記物体抽出手段の抽出結果とに基づいて前記発受信手段により検知された物体が前記特定の物体であるか否かを判別する特定物判別手段（例えば、後述する実施形態における特定物判別部１４）と、を備え、前記発受信手段により検知された物体が移動物標であると前記移動物標判別手段により判別された場合には、前記発受信手段により検知された物体が移動物標ではないと前記移動物標判別手段により判別された場合に比べて、前記特定物判別手段における前記特定の物体であるとする肯定判定をされ易くすることを特徴とする物体認識装置（例えば、後述する実施形態における物体認識装置１）である。

請求項２に係る発明は、請求項１に記載の発明において、前記特定物判別手段は、前記発受信手段により物体が検知されたときに該物体に対して付与され増加する障害物信頼度と、前記物体が前記物体抽出手段により前記特定の物体として抽出されたときに付与され増加する認識信頼度と、を加算した値が所定値以上の場合に前記物体が前記特定の物体であると判別するものであり、前記移動物標判別手段により前記物体が移動物標であると判別された場合の前記障害物信頼度の増加量が、前記移動物標判別手段により前記物体が移動物標ではないと判別された場合の前記障害物信頼度の増加量に比べて大きいことを特徴とする。

請求項１および請求項２に係る発明によれば、発受信手段により検知された物体が移動物標であると判別された場合には、発受信手段により検知された物体が移動物標ではないと判別された物体に対するよりも、物体が特定の物体であると早期に確定することができる。その結果、前記特定の物体に対して自車両が取り得る各種の制御作動タイミングを早めることができる。

この発明に係る物体認識装置の一実施形態におけるブロック図である。前記実施形態の物体認識装置における特定物判別処理を示すフローチャートである。レーダ装置による物体検知の一例を示す図である。カメラユニットによる物体検知の一例を示す図である。カメラユニットによる物体検知から特定物を早期に確定した状態の一例を示す図である。物体が特定物であると確定するまでの信頼度の増加状態を示す図であり、（Ａ）は物体が移動物である場合であり、（Ｂ）は物体が静止物である場合である。

以下、この発明に係る物体認識装置の実施形態を図１から図６の図面を参照して説明する。
図１に示すように、この実施形態の物体認識装置１は、例えば駆動源としての内燃機関２１の駆動力を、オートマチックトランスミッション（ＡＴ）あるいは無段自動変速機（ＣＶＴ）等のトランスミッション（Ｔ／Ｍ）２２を介して車両の駆動輪に伝達して走行する車両に搭載されている。この車両は、物体認識装置１のほかに、ブレーキアクチュエータ２３、ステアリングアクチュエータ２４、報知装置２５、とを備えている。

物体認識装置１は、レーダ装置（発受信手段）２と、カメラユニット（撮像手段）３と、自車両状態センサ４と、電子制御装置１０と、を備えている。
レーダ装置２は、例えばレーザ光やミリ波等の電磁波を自車両の進行方向前方に向けて発信すると共に、この発信した電磁波が自車両の外部の物体（例えば、構造物、歩行者、他車両等）によって反射されたときに生じた反射波を受信し、発信した電磁波と受信した電磁波（反射波）とを混合してビート信号を生成し、電子制御装置１０へ出力する。

カメラユニット３は、ＣＣＤカメラやＣＭＯＳカメラ等からなるカメラ３ａと、画像処理部３ｂとを備えて構成されている。画像処理部３ｂは、カメラ３ａにより撮像して得た自車両の進行方向前方の外界の画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる画像データを生成して電子制御装置１０へ出力する。

自車両状態センサ４は、自車両の車両情報として、例えば自車両の速度（車速）を検出する車速センサや、ヨーレート（車両重心の上下方向軸回りの回転角速度）を検出するヨーレートセンサや、操舵角（運転者が入力した操舵角度の方向と大きさ）や操舵角に応じた実舵角（転舵角）を検出する舵角センサや、操舵トルクを検出する操舵トルクセンサや、例えば人工衛星を利用して車両の位置を測定するためのＧＰＳ（Global Positioning System）信号等の測位信号や自車両の外部の情報発信装置から発信される位置信号等、さらには、適宜のジャイロセンサや加速度センサ等の検出結果に基づいて自車両の現在位置および進行方向を検出する位置センサや、アクセルペダルの踏み込み量を検出するセンサや、ブレーキペダルの踏み込み状態を検知するセンサ等を備えて構成されている。自車両状態センサ４は、検出した情報に応じた車両情報信号を電子制御装置１０へ出力する。

電子制御装置１０は、物体検出部１１、移動物標判別部（移動物標判別手段）１２と、物体抽出部（物体抽出手段）１３と、特定物判別部（特定物判別手段）１４と、車両制御部１５と、を備えている。

物体検出部１１は、レーダ装置２から入力されるビート信号に基づいて、電磁波を反射した物体の位置、速度、反射レベル等を算出し、算出したこれらの情報を移動物標判別部１２へ出力する。なお、物体の速度は、時間差を持ってレーダ装置２により検出され物体の位置情報に基づいて算出される自車両との相対速度と、自車両の速度とから算出することができる。

移動物標判別部１２は、物体検出部１１から入力された物体の速度に基づいて、該物体が移動している物体（移動物標）であるか、移動していない物体すなわち静止物（移動物標でない物体）であるかを判別し、その判別結果を特定物判別部１４へ出力する。
また、物体検出部１１は、算出された物体の速度（または相対速度）に基づいて該物体の所定時間後の予測位置を算出し、この予測位置情報を物体抽出部１３へ出力する。

物体抽出部１３には、カメラユニット３から画像データが入力されるとともに、物体検出部１１から物体の予測位置情報が入力される。物体抽出部１３は、カメラユニット３から入力される画像データ上に、入力した予測位置情報に基づき例えば予測位置を中心にして所定の大きさの領域（以下、統合範囲と称す）を設定する。

さらに、物体抽出部１３は、設定された統合範囲に含まれる画素の輝度値に基づいてエッジ抽出により画像データ上の物体を抽出し、抽出した物体に対して、予め記憶しておいた人体および車両のモデル画像とパターンマッチング処理を行い、抽出した物体が人体または車両のモデル画像とマッチングするか否かを判別する。そして、物体抽出部１３は、その判別結果を特定物判別部１４へ出力する。

特定物判別部１４は、移動物標判別部１２から入力した判別結果、すなわち移動物標か静止物かの判別結果と、物体抽出部１３から入力した判別結果、すなわち画像データ上で抽出した物体が人体または車両のモデル画像とマッチングしたか否かの判別結果とに基づいて、検出された物体が歩行者または車両であるか否かを判別する。この実施形態において「特定の物体」とは、歩行者または車両である。

車両制御部１５は、特定物判別部１４における判別結果に応じて、例えば特定物判別部１４により歩行者または車両と判別された物体が自車両と接触する可能性がある場合には、接触を回避するように自車両の走行を制御する。例えば、車両制御部１５は、内燃機関２１の駆動力を制御する制御信号およびトランスミッション２２の変速動作を制御する制御信号およびブレーキアクチュエータ２３による減速動作を制御する制御信号およびステアリングアクチュエータ２４による自車両の操舵機構（図示略）の操向動作を制御する制御信号のうちの少なくとも何れかの制御信号を出力し、接触回避動作として自車両の減速制御または操向制御を実行する。
また、車両制御部１５は、歩行者または車両との接触可能性の大きさに応じて、報知装置２５による警報の出力タイミングおよび出力内容の少なくとも何れかを制御する。

次に、特定物判別部１４において実行される特定物判別処理を説明する。
この物体認識装置１では、レーダ装置２によって物体の存在を検知した場合に、カメラユニット３で得た画像データ上に該物体の予測位置に基づいて統合範囲を設定し、該統合範囲において抽出した物体に対してパターンマッチング処理を行い、マッチングした場合に歩行者候補あるいは車両候補としてカウントし、この一連の処理を所定時間毎に複数回実行してカウント値を積算していき、その積算値が所定の確定閾値に達したときに歩行者あるいは車両であると確定する。
なお、レーダ装置２により物体が複数検出された場合には、検出された各物体毎に画像データ上に統合範囲を設定して物体を抽出し、パターンマッチング処理を行って、物体毎に歩行者候補あるいは車両候補のカウント値を積算し、物体毎の積算値に基づいて該物体が歩行者あるいは車両であるか否かを確定する。

ところで、レーダ装置２による物体検知においては、静止物であると判定される物体は、自車両の走行に影響を与えない上方または下方に存在する上下方物またはノイズである可能性が高く、一方、移動物であると判定される物体は、上下方物やノイズである可能性が低い。ここで、上下方物とは、例えば高所に設置されている看板や道路上に存在する背の低い静止物などを言う。

このことから、移動物標判別部１２において移動物標と判別された物体は、移動物標判別部１２において静止物と判別された物体と比較すると、カメラユニット３の画像データ上の物体に対してパターンマッチング処理を行った場合にマッチングする確率が高く、歩行者または車両である可能性が高いと言える。換言すると、移動物標判別部１２において移動物標と判別された物体は、移動物標判別部１２において静止物と判別された物体よりも、歩行者または車両と確定される検知認識信頼度が高いと言える。

そこで、この物体認識装置１では、移動物標判別部１２により移動物標であると判別された物体（換言すると、レーダ装置２による物体検知において移動物であると判別された物体）に対しては、移動物標判別部１２により静止物であると判別された物体（換言すると、レーダ装置２による物体検知において静止物であると判別された物体）に対するよりも、該物体が歩行者または車両であるとする肯定判定の確定をされ易くした。

次に、この実施形態における特定物判別処理について、図２のフローチャートに従って説明する。
図２のフローチャートに示す特定物判別処理ルーチンは、電子制御装置１０によって一定時間毎に繰り返し実行される。
まず、ステップＳ１０１において、レーダ装置２により自車両の進行方向前方に存在する物体を検出し、反射波の反射レベルを検出するとともに、該物体の位置、速度を算出する。
次に、ステップＳ１０２に進み、ステップＳ１０１において算出された物体の速度に基づいて、検出された物体が移動物標か否かを判別する。

図３は、レーダ装置２による物体検知の一例を示した図であり、図中符号Ｖは自車両を示し、図中符号Ｘａ，Ｘｂ，Ｘｃ，Ｘｄ，Ｘｅはレーダ装置２により検出された物体を示している。図３において、物体Ｘａ，Ｘｂ，Ｘｃは静止物と判別された物体を示し、物体Ｘｄ，Ｘｅは移動物標と判別された物体を示している。ただし、レーダ装置２では検出された物体が何であるかまで判別することはできない。

ステップＳ１０２における判定結果が「ＮＯ」である場合には、レーダ装置２により検出された物体は静止物であるので、ステップＳ１０３に進み、障害物信頼度の前回値Ｒ_ｎ−１に「１」を加算した値を、障害物信頼度の今回値Ｒ_ｎとして更新する（Ｒ_ｎ＝Ｒ_ｎ−１＋１）。なお、障害物信頼度Ｒ_ｎの初期値は０とする。
一方、ステップＳ１０２における判定結果が「ＹＥＳ」である場合には、レーダ装置２により検出された物体は移動物標であるので、ステップＳ１０４に進み、障害物信頼度の前回値Ｒ_ｎ−１に「２」を加算した値を、障害物信頼度の今回値Ｒ_ｎとして更新する（Ｒ_ｎ＝Ｒ_ｎ−１＋２）。つまり、レーダ装置２により検出された物体が移動物標であると判別された場合には、静止物であると判別された場合に比べて、障害物信頼度の増加量を大きくする。

ステップＳ１０３，Ｓ１０４からステップＳ１０５に進み、カメラユニット３の画像データに基づいて、該画像データ上に設定した統合範囲内で物体の抽出を行うとともに、該物体の横移動速度（自車両の車幅方向と平行な方向への移動速度）と、横移動加速度を検出する。なお、物体の横移動速度は、時間差を持ってカメラユニット３で得た複数の画像データ上の物体の位置情報に基づいて算出することができる。また、物体の横移動加速度は横移動速度を時間微分することにより算出することができる。

次に、ステップＳ１０６に進み、ステップＳ１０５で検出された物体に対してパターンマッチング処理を行い、パターンマッチング処理の結果、人または車両らしき物であるか否かを判定する。
図４は、カメラユニット３による物体検知の一例を示した図であり、画像データ上の各物体毎の統合範囲に物体が抽出された場合を示している。つまり、レーダ装置２により検出された物体Ｘａ〜Ｘｅが、カメラユニット３の画像データ上でも検出された場合を示している。なお、図４において符号Ｖは自車両を示す。
図４において、物体Ｘｃ，Ｘｄはパターンマッチング処理により歩行者と判定された物体であり、物体Ｘｅはパターンマッチング処理により車両と判定された物体であり、物体Ｘａ，Ｘｂはパターンマッチング処理により歩行者あるいは車両ではないと判定された物体を示している。すなわち、物体Ｘｃは静止している歩行者らしき物体であり、物体Ｘｄは移動している歩行者らしき物体であり、物体Ｘｅは移動している車両らしき物体ということになる。

ステップＳ１０６における判定結果が「ＮＯ」である場合には、物体が人または車両らしき物ではないので、ステップＳ１０７に進み、認識信頼度の前回値Ｃ_ｎ−１に「０」を加算した値を、認識信頼度の今回値Ｃ_ｎとして更新する（Ｃ_ｎ＝Ｃ_ｎ−１＋０）。なお、認識信頼度Ｃ_ｎの初期値は０とする。
一方、ステップＳ１０６における判定結果が「ＹＥＳ」である場合には、物体が人または車両らしき物であるので、ステップＳ１０８に進み、認識信頼度の前回値Ｃ_ｎ−１に「１」を加算した値を、認識信頼度の今回値Ｃ_ｎとして更新する（Ｃ_ｎ＝Ｃ_ｎ−１＋１）。
つまり、カメラユニット３により検出された物体が人または車両らしいものであると判定された場合にのみ、認識信頼度を増加する。

ステップＳ１０７，Ｓ１０８からステップＳ１０９に進み、認識信頼度の今回値Ｃｎが１以上であり、且つ、障害物信頼度の今回値Ｒｎと認識信頼度の今回値Ｃｎとの和である総信頼度Ｒｎ＋Ｃｎが物体検知／認識確定閾値Ｎを越えているか否かを判定する。
ステップＳ１０９における判定結果が「ＮＯ」である場合には、ステップＳ１１０に進み、物体検知／認識確定フラグを「０」とする。
一方、ステップＳ１０９における判定結果が「ＹＥＳ」である場合にはステップＳ１１１に進み、物体検知／認識確定フラグを「１」として、本ルーチンの実行を一旦終了する。これにより、レーダ装置２およびカメラユニット３によって検出された物体を、歩行者または車両であると確定する。

図５は、物体Ｘｃが未だ歩行者と確定されず、物体Ｘｄが歩行者と確定され、物体Ｘｅが車両と確定された状態を示している。つまり、図５において丸で囲われた物体が、特定物である歩行者または車両と確定された物体である。

この特定物判別処理は、前記ステップＳ１０１〜Ｓ１１１の一連の処理を１サイクルとして、レーダ装置２により検出された各物体毎に並行して実行され、物体毎に歩行者または車両の確定判定が行われる。

この特定物判別処理では、前記サイクルを複数回実行した際に、ステップＳ１０６の処理においてカメラユニット３の画像データ上で抽出された物体が歩行者または車両らしき物であると一度でも判定されない限り、レーダ装置２によって該物体が何回検出されたとしても、該物体は歩行者または車両であると確定されない。

また、この特定物判別処理では、１サイクルにおいて、レーダ装置２により検出された物体が静止物である場合には障害物信頼度が１度数だけ増加し、移動物標である場合には障害物信頼度が倍の２度数増加する。また、１サイクルにおいて、カメラユニット３の画像データ上で抽出された物体が歩行者または車両らしき物であると判定された場合には認識信頼度が１度数だけ増加し、歩行者または車両らしき物でないと判定された場合には認識信頼度は増加しない。
したがって、レーダ装置２により検出された物体が移動物標であると判別された場合には、静止物であると判別された場合に比べて、物体が歩行者または車両であるとする肯定判定の確定が行われ易くなる。

例えば、Ｓ１０２において肯定判定（移動物標）され、さらにステップＳ１０６において肯定判定（歩行者または車両らしき物）された場合には、障害物信頼度の増加量「２」と認識信頼度の増加量「１」が加わるので、１サイクルでの総信頼度の増加量は「３」となる。以下の説明の都合上、このように判定されるサイクルを、Ａタイプのサイクルと称す。
これに対して、Ｓ１０２において否定判定（静止物）され、ステップＳ１０６において肯定判定（歩行者または車両らしき物）された場合には、障害物信頼度の増加量「１」と認識信頼度の増加量「１」が加わるので、１サイクルでの総信頼度の増加量は「２」となる。以下の説明の都合上、このように判定されるサイクルを、Ｂタイプのサイクルと称す。
したがって、Ａタイプのサイクルの方が、Ｂタイプのサイクルよりも、総信頼度を物体検知／認識確定閾値Ｎに到達し易くする。

図６は、物体が特定物であると確定するまでの信頼度の増加状態を横軸に時間軸をとって示した図であり、図６（Ａ）はＡタイプのサイクルが連続した場合を示し、図６（Ｂ）はＢタイプのサイクルが連続した場合を示している。この図からも、Ａタイプのサイクルの方が、Ｂタイプのサイクルよりも、短い時間で、総信頼度が物体検知／認識確定閾値Ｎに達するのがわかる。

以上説明したように、この実施形態の物体認識装置１によれば、レーダ装置２による物体検知において移動物であると判別された物体に対しては、レーダ装置２による物体検知において静止物であると判別された物体に対するよりも、該物体が特定物（歩行者または車両）であるとする肯定判定を早期に確定することができる。
その結果、例えば、歩行者または車両との接触回避のための自車両の走行制御の作動タイミングを早めることができ、該走行制御を早期に実行することができるようになる。

〔他の実施形態〕
なお、この発明は前述した実施形態に限られるものではない。
例えば、前述した実施形態では、レーダ装置２により検出された物体が移動物標であると判別された場合の障害物信頼度の増加量を「２」としたが、この増加量を「１．５」あるいは「３」などとしてもよい。要は、移動物標ではないと判別された場合の障害物信頼度の増加量よりも大きい値であればよく、適宜の値に設定することが可能である。
また、前述した実施形態では、特定の物体を歩行者または車両としているが、特定の物体に、犬や猫等の動物などを加えることも可能である。
物体の検知方向は自車両の進行方向前方に限るものではなく、自車両の前後方向の後方や、自車両の側方であってもよい。

物体認識装置により特定の物体として確定した物体を用いる制御は、自車両と物体との接触回避のための走行制御に限定されるものではなく、特定の物体を先行車両とし、自車両を先行車両に追従して走行させる追従走行制御等、特定の物体に対して自車両が取り得る各種の制御が可能である。

各実施形態における各構成及びそれらの組み合わせ等は一例であり、本発明の趣旨から逸脱しない範囲内で、構成の付加、省略、置換、およびその他の変更が可能である

１物体認識装置
２レーダ装置（発受信手段）
３カメラユニット（撮像手段）
１２移動物標判別部（移動物標判別手段）
１３物体抽出部（物体抽出手段）
１４特定物判別部（特定物判別手段）

Claims

自車両周辺の所定範囲に向けて電磁波を発信するとともに、該電磁波が自車両周辺に存在する物体により反射されて生じる反射波を受信する発受信手段と、
自車両周辺の所定範囲を撮像する撮像手段と、
前記発受信手段により検知された物体が移動物標であるか否かを判別する移動物標判別手段と、
前記撮像手段により撮像された画像から特定の物体を抽出する物体抽出手段と、
前記移動物標判別手段の判別結果と前記物体抽出手段の抽出結果とに基づいて前記発受信手段により検知された物体が前記特定の物体であるか否かを判別する特定物判別手段と、
を備え、
前記発受信手段により検知された物体が移動物標であると前記移動物標判別手段により判別された場合には、前記発受信手段により検知された物体が移動物標ではないと前記移動物標判別手段により判別された場合に比べて、前記特定物判別手段における前記特定の物体であるとする肯定判定をされ易くすることを特徴とする物体認識装置。
前記特定物判別手段は、前記発受信手段により物体が検知されたときに該物体に対して付与され増加する障害物信頼度と、前記物体が前記物体抽出手段により前記特定の物体として抽出されたときに付与され増加する認識信頼度と、を加算した値が所定値以上の場合に前記物体が前記特定の物体であると判別するものであり、
前記移動物標判別手段により前記物体が移動物標であると判別された場合の前記障害物信頼度の増加量が、前記移動物標判別手段により前記物体が移動物標ではないと判別された場合の前記障害物信頼度の増加量に比べて大きいことを特徴とする請求項１に記載の物体認識装置。