JP2011099683A - 物体検出装置 - Google Patents

Abstract

【課題】カメラとレーダ等の複数のセンサを用いて物体を検出する物体検出装置において、複数のセンサから得られる情報を利用して検出精度を向上する。
【解決手段】光、電波、超音波の少なくとも一つの信号により物体を計測する少なくとも二つの計測部と、該計測部から得られる出力信号を処理する処理部２を具備する物体検出装置１において、前記少なくとも二つの計測部は、少なくとも二つの互いに異なる計測原理で構成される計測部であって、前記複数の計測部から得られる複数の出力信号を、共通の処理系のメモリに格納する取込手段を具備し、前記出力信号を、前記複数の計測部から得られる出力信号を共通の処理部２で処理する。
【選択図】図１

Description

本発明は、歩行者や車等の物体を検出する物体検出装置に関する。

物体検出装置を車両に搭載して、先行車の車速に合わせて自車の車速を制御するアダプティブ・クルーズ・コントロール、あるいは障害物に衝突する危険性がある際に衝突の被害を軽減するようにブレーキを制御するプリクラッシュ・セーフティ・システムが製品化されている。

また、物体検出装置は、道路に取り付けて、道路の交通流等を監視する監視システム等に利用されている。

従来の物体検出装置には、ミリ波やレーザ光を照射し、その反射波から物体を検出して距離を求めるレーダ、あるいはカメラから得られる画像を処理して、物体を検出する画像処理部、等がある。

さらに、検出性能を向上させるために、レーダとカメラの検出結果を融合するシステム（以下「センサフュージョン」という）が開発されている。従来のセンサフュージョン技術は、まず、レーダ装置でレーダ受信信号を処理して物体を検出し、その結果を画像処理部が受信して画像処理することにより、検出対象の横位置の精度向上や、物体の識別を行うものが開発されている。また、レーダ装置と画像処理部の両者で物体を検出し、検出した結果をコントロールユニットが受信して検出結果を統合するシステムが開発されている。

従来、このような目的のために開発された技術として、特許文献１に記載されたものが知られている。この特許文献１に記載された技術は、ミリ波レーダを用いて物体を検出し、その検出結果とともに受信波のパワーをミリ波レーダが出力し、その物体検出結果と受信波のパワーをカメラが受信して、パワーと画像上の輝度パターンの特徴を用いて物体の横位置とサイズを求めるものである。この特許文献１に記載されている従来技術では、物体の検出結果に加え、受信波のパワーを出力することで、カメラとミリ波レーダの統合処理の精度を向上させたものである。

また、特許文献２は、２周波ＣＷ方式のミリ波レーダの従来技術を示す。

特開２００１−２９６３５７号公報 特開２００１−１２４８４８号公報

特許文献１の手法では、物体の検出結果と受信波のパワーを出力することにより検出性能を向上させたものではあるが、レーダの物体検出結果とその物体から反射された受信波のパワーという限られた情報のみをカメラユニットで受信していたため、ミリ波レーダで物体の検出に失敗した場合等に、性能を向上させることができなかった。

また、特許文献１の手法では、ミリ波レーダのユニットとカメラのユニットが必要であり、コストが高くなるという問題があった。さらに、ミリ波レーダの検出結果をカメラに送信していたため、カメラの情報を用いてミリ波レーダの性能を向上させることはできなかった。ミリ波レーダのユニットとカメラのユニットが別体であり、検出結果と受信波のパワーのみを転送していたため、センサ間の同期が取れていないという問題もあった。
本発明は、従来の技術の上記の問題点を解決することを課題としてなされたものである。

上記課題を解決するために、本発明の物体検出装置は、主として次のような構成を採用するものである。

光、電波、超音波の少なくとも一つの信号により物体を計測する少なくとも二つの計測部と、該計測部から得られる出力信号を処理する処理部を具備する物体検出装置において、前記少なくとも二つの計測部は、少なくとも二つの互いに異なる計測原理で構成される計測部であって、前記複数の計測部から得られる複数の出力信号を、共通の処理系のメモリに格納する取込手段を具備し、前記出力信号を、前記複数の計測部から得られる出力信号を共通の処理部で処理することを特徴とする。

本発明は、上記の構成に基づいて、レーダとカメラ等のデータを共通の処理部に取り込み処理することで、処理の途中結果を用いてセンサフュージョン処理を行うことができるので、検出精度を高めることができる。

本発明に係る物体検出装置の実施例１のシステム構成を示すブロック図である。 実施例１の取り付け構成図の一例である。 実施例１における３次元座標系を示す図である。 実施例１におけるレーダ送受信部と処理部のシステム構成を示すブロック図である。 実施例１における機能ブロック図である。 ミリ波レーダにより物体までの距離と相対速度を求める原理を示す図である。 実施例１において、レーダ受信信号の処理結果の一例を示す図である。 実施例１において、（ａ）撮像画像、および（ｂ）物体候補検出結果とフーリエ変換結果の一例を示す図である。 実施例１において、物体検出機能の一連の処理の流れを示すフローチャートである。 実施例１において、画像・レーダ受信信号照合部の処理の流れを示すフローチャートである。 本発明に係る物体検出装置の実施例２のシステム構成を示すブロック図である。 実施例２の取り付け構成図の一例である。 ステレオカメラの原理を示す図である。 実施例２における、ステレオカメラとレーダのセンシング範囲の一例を示す図である。 実施例２における、処理タイミングの一例を示す図である。 実施例３のシステム構成図を示すブロック図である。 実施例３の取り付け構成図の一例である。 実施例３のセンシング領域の一例を示す図である。 実施例３における、（ａ）撮像画像、および（ｂ）物体候補検出結果（俯瞰画像）とフーリエ変換結果の一例を示す図である。 実施例１における、レーザレーダの処理を示すブロック図である。 実施例１における、画像から歩行者の特徴量を算出する例を示す図である。

本発明を実施するための形態である実施例について、以下、図面を参照して説明する。ただし、本発明は、多くの異なる態様で実施することが可能であり、以下に記載する実施例に限定して解釈されるべきではない。

（実施例１）
本発明に係る装置は、図１に示すような物体検出装置1に適用されるものである。実施例１の物体検出装置1は、第１の計測部として撮像手段であるカメラ3aを備え、第２の計測部としてレーダ送受信部4aを備え、カメラ3aとレーダ送受信部4aとから得られる信号を処理して、車両前方の物体を検出する機能を実現するものである。

このとき、図１に示された物体検出装置1は、カメラ3aと処理部2を一体のカメラユニット21で構成し、レーダ送受信部4aを別体としているが、レーダ送受信部4aと処理部2を一体にしてもよいし、また、カメラ3aとレーダ送受信部4aと処理部2の三者を一体化してもよいし、これらの三者を別体の構成としてもよい。いずれの構成であっても処理部2を共通とすることで、レーダ送受信部4aから得られる信号と、カメラ3aから得られる信号を、同じ処理部2で処理することができるので、処理部2の数を減らすことができる。

図１に示された物体検出装置1は、例えば図２に示されるように、車両に取り付けられる。ここでは、レーダ送受信部4aを車両のフロントグリル部に、カメラ3aと処理部2を車両の車室内のルームミラー部に取り付け、レーダ送受信部4aと処理部2の間を伝送手段4cにより接続し、レーダの受信信号や、受信信号をフーリエ変換処理して得られる周波数スペクトル信号等を伝送する。なお、実施例１では、レーダの受信信号を伝送する処理を例として説明するが、伝送する信号は、周波数スペクトル信号やそれに類する信号であってもよい。

実施例１を装備した車両は、図３に示すように、車両正面方向をＺ軸、車両横方向をＸ軸、鉛直方向をＹ軸とする３次元座標系を設定し、以下、この座標系に従って表記するものとする。

レーダ送受信部4aは、フロントバンパ部等に取り付けてもよく、カメラユニット21もフロントグリル部やバンパ部等に取り付けてもよい。カメラ3aとレーダ送受信部4aと処理部2の三者をすべて別体の構成とする場合には、処理部2をシートの下等の車内下方に配置して車内スペースを有効利用することが可能となるし、レーダ送受信部4aをフロントグリル部等に配置することにより、レーダから照射される電波等をフロントガラスが遮断する場合であっても、物体の検出を可能とする。また、カメラ3aを車室内に配置するようにして、レンズ等に付着する水滴や汚れの影響を低減することができる。さらに、レーダの受信信号や周波数スペクトルの伝送に伝送手段を用いることにより、取り付け位置が異なる場合や変更する場合であっても、同一の処理部のメモリに信号を取り込むことができる。このとき、メモリは一つである必要はなく、ＣＰＵ6等からアクセス可能な複数のメモリを具備し、複数のメモリに分割して格納する構成としてもよい。

また、レーダ送受信部4aとカメラユニット21と処理部2の三者を一体の構成とし、車室内やフロントグリル部等に設置するようにしてもよい。一体化することは、伝送手段や電源ケーブル等の配線が減少し、取付け作業も容易化される。

レーダ送受信部は、ミリ波レーダで構成される。ただし、ミリ波であることは、本発明における必須の条件ではなく、超音波やレーザ等を用いてもよい。ミリ波レーダとしては、例えば特許文献２に記載されている変調方式が２周波ＣＷ方式のものを利用する。図４は、２周波ＣＷ方式のミリ波レーダを本発明に適用した際のブロック図の一例を示す。ただし、２周波ＣＷ方式のレーダは必須の要件ではなく、ＦＭＣＷ(Frequency Modulated Continuous Wave)方式等のレーダを用いてもよい。

図６の（ａ）及び（ｂ）は、２周波ＣＷ方式により距離と相対速度の検知（測定）原理である。図６の（ａ）及び（ｂ）に示すように、中心周波数f0を中心に、例えば上下数百kHz程度の周波数差の二つの周波数f1, f2で切り替えて送信信号を生成する。送信した電波が物体に反射されて戻ってきた受信信号には、二つの周波数成分f1, f2に対応するドップラーシフト周波数分fd1, fd2だけ周波数がシフトする。このとき、ターゲットとの距離ｄおよび相対速度ｖは、両受信信号の位相差φ、すなわち(f1＋fd1)-(f2＋fd2)と片方のドップラーシフト周波数fd1を用いて、次式で求められる。

ここで、ｃ：光速、φ：位相、fd1：周波数f1の送信波のドップラーシフト周波数、fd2：周波数f2の送信波のドップラーシフト周波数である。

相対速度の異なる先行車が複数存在すれば、ミキシング信号には、これらに対応した様々なドップラーシフト周波数成分が含まれている（図７（ａ））。これらは、フーリエ変換により図７（ｂ）に示すように、周波数領域の信号に変換して周波数スペクトル解析を行うと、各相対速度のターゲットに対応したスペクトルピークデータが得られ、各相対速度ｖに対応したターゲットを分離することができる。そして、各スペクトルピークの実部と虚部の比から、位相差φを求めることができ、上記の式（１）から各ターゲットとの距離を得ることができる。

図４は、２周波ＣＷ方式のミリ波レーダを用いた実施例１のレーダ送受信部と処理部のシステムブロック図を示す。変調信号発生部18は、制御信号発生手段により発生し送信された電波照射タイミング（ただし、レーザレーダの場合は光照射タイミング、超音波線センサの場合は超音波照射タイミング）、周波数変調タイミング、受信信号の取込タイミング等を含む変調制御信号Shに基づいて変調信号を発生し、発信器11は変調信号発生部18からの変調信号を受けて二つの周波数f1, f2の信号を切替えて生成し、この二つの周波数f1, f2のミリ波を、送信アンテナ12から送信する。

物体により反射されて戻ってきた反射波は、受信アンテナ13で受信される。受信信号は送信信号とミキサ14においてミキシングされ、伝送手段4cにより処理部2まで伝送される。この伝送手段4cは、光ファイバケーブルや電気信号を伝送するケーブル等により構成される。ミキシング信号は、変調制御信号Shに同期して動作するスイッチ回路15でスイッチされ、それぞれＬＰＦ（ローパスフィルタ）17を介して、位相検波器に取り込まれる。そして、位相検波器により位相差φが検出され、位相差φを用いて距離ｄが算出される。

実際には、アナログ回路のみではなく、ＤＳＰ（デジタルシグナルプロセッサ）やＣＰＵ等を用いたデジタル回路による信号処理演算を用いて実現される。図１の物体検出装置1では、処理部と一体となっているカメラ3aから得られる画像信号の取込手段であるＶＩＮ3ｂによりデジタルデータに変換し、レーダ送受信部4aから得られるレーダ受信信号を伝送手段4ｃで伝送すると共に、レーダ受信信号の取込手段であるＲＩＮ4ｂによりデジタルに変換してメモリ9に格納し、そこからＣＰＵ6に取り込まれて処理される構成となっている。ただし、図４に示された構成は必須ではなく、例えば伝送手段4ｃとミキサ14の間でフーリエ変換を行い、フーリエ変換の結果として得られる周波数スペクトル信号、周波数スペクトルを変換して得られる周波数スペクトルと類似した信号、周波数スペクトルを処理して得られる平均や分散などの統計値等を伝送手段4ｃに伝送する構成でもよい。

このとき、カメラ3aは、制御信号発生手段20で生成した垂直同期信号や水平同期信号等に基づいて、シャッタースピード調整、ゲインコントロール調整、画像取込等のタイミングを決定する。この垂直同期信号等のカメラ3aで用いる制御信号と、レーダ送受信部4aで用いる変調制御信号Shとを連動して生成することで、カメラ3aの動作タイミングとレーダ送受信部4aの動作タイミングを連動させることが可能となり、動作するタイミングを同時に、又はタイミング差を一定にすることができる。

制御信号発生手段20は、ＣＰＵにより直接制御されて動作するか、あるいはメモリ9の中の制御用の記憶領域に設定された値に基づいて動作する構成となっている。

メモリ9のプログラムＲＯＭ10に、画像とミリ波受信信号を処理して物体を検出すると共に物体までの距離と相対速度を算出する物体検出プログラムが格納されており、エンジンを始動すると、ＣＰＵ6がこのプログラムを実行して物体検出機能を実現するもので、具体的には、図５の機能ブロック図に示された物体候補検出部30、フーリエ変換部31、画像・レーダ受信信号照合部32、物体検出部33の各機能を発揮するのである。

物体候補検出部30は、カメラ3aにより撮像された画像をＶＩＮ3ｂによりメモリ9に格納したところの画像データを処理して、物体を検出すると共に、その物体までの距離を求める機能を有するものである。

フーリエ変換部31は、レーダ送受信部4aにより受信したレーダ受信信号を、ＲＩＮ4bによりメモリ9に取り込んだところのデータを、フーリエ変換処理してレーダ受信信号を周波数領域のスペクトル情報データに変換する機能を有するものである。
画像・レーダ受信信号照合部32は、物体候補検出部30により得られた物体の位置と、フーリエ変換部31により得られた周波数領域のスペクトル情報とを照合して、物体の有無を判定する機能を有するものである。

物体検出部33は、画像・レーダ受信信号照合部32により物体が存在すると判定された場合に、画像とレーダ受信信号とを用いて物体の３次元位置、物体の大きさ、物体と自車との相対速度の少なくともいずれか一つを算出し、その結果をＣＡＮ通信等により出力する機能を有するものである。

物体検出装置1において、画像を撮像すると共にミリ波を送受信して、物体を検出し、その結果を出力するまでの一連の処理の流れを、以下、図９が示すフローチャートを参照しながら説明する。

図９のフローチャートが示す処理は、図示しないイグニッションスイッチがオンとなったときにスタートし、イグニッションスイッチがオフとなるまで繰り返し行われる。ここでは、自車両が走行中であるか停止中であるかに関わらず、この処理は実施される。ただし、自車両が走行中であるか、停止中であるかを判別して、処理の実施を決定するように構成してもよい。

まず、イグニッションスイッチがオンとなると、物体検出装置1により物体検出プログラムが実行され、初期化フラグをＯＮに設定する（ステップ１０２）。次に、初期化フラグがＯＮか否かを判定し（ステップ１０３）、初期化フラグがＯＮの場合は過去の物体検出結果をリセットする等の初期化処理を実施し（ステップ１０４）、初期化フラグをＯＦＦに設定する（ステップ１０５）。

その後、物体候補検出処理のミリ波レーダのみでは物体の検出が難しい物体等を画像処理により検出する。ただし、この段階での物体検出結果には誤りが含まれる可能性があるため、検出した物体を「物体候補」とする（ステップ１０６）。ここでは、物体候補として歩行者を検出する。検出方法は、公知の手法により検出することができる。

次に、レーダ受信信号を高速フーリエ変換アルゴリズム等により周波数領域の信号に変換する（ステップ１０７）。図７（ａ）が示すようなレーダ受信信号を高速フーリエ変換すると、図７（ｂ）のような周波数スペクトルを得ることができる。通常は、この周波数スペクトルを処理して、各相対速度に対応するスペクトルのピークを検出することにより、物体を検出する。しかしながら、歩行者等を検出対象とすると、歩行者から反射してくるレーダ受信信号は反射強度が弱く、ピークを検出することが難しい。また、２周波ＣＷ方式を用いた場合、図７（ｂ）が示すように、周波数スペクトルの周波数軸が相対速度に対応するため、歩行者のように左右の腕や左右の脚で相対速度が異なる検出対象では、ピークがきれいに現れないといった問題がある。

その後、画像・レーダ受信信号照合部32において、ステップ１０６で検出した物体候補と、ステップ１０７で変換した周波数領域のデータを比較して、物体の有無を判定する（ステップ１０８）。この処理の詳細については、後述する。

そして、ステップ１０９では、レーダ受信信号を用いて物体までの距離と相対速度を算出し、画像データを用いて物体の横位置と大きさを求める。

最後にステップ１１０では、物体までの距離、物体との相対速度、物体の横位置、物体の大きさの少なくともいずれか一つを、ＣＡＮ通信により図示しない制御用コントローラ等に送信する。

次に、画像・レーダ受信信号照合部32の処理の一例について、以下、図１０に示すフローチャートを参照して説明する。まず、ステップ２０１において、閾値Th1以上のスペクトルピークを検出する。図８が示す例では、先行車に対応するスペクトルピークを検出している。そして、ステップ２０２において、スペクトルピークの有無を判定し、スペクトルピークありと判定した場合は、位相差φを求める（ステップ２０３）。その後、物体までの距離と相対速度を算出し（スペック２０４）、物体までの距離を用いて画像処理の処理領域を決定する（ステップ２０５）。

ステップ２０５で設定した処理領域内において、スペクトルピークに対応する物体を、テンプレートマッチング等を用いた画像処理により検出し（ステップ２０６）、ステップ２０７において、画像処理により物体を検出できたか否かを判定し、物体検出ありと判定される場合、検出した物体を検出結果リストに追加する（ステップ２０８）。物体検出なしと判定される場合には、ステップ２０８の処理は行わずにステップ２０９に移行する。

ステップ２０９においては、物体候補検出部30により物体候補を検出したか否かを判定し、物体候補なしの場合は処理を終了する。物体候補ありの場合には、次のステップ２１０において、歩行者の速度域に対応する周波数領域中の閾値Th2以上であって閾値Th1以下のスペクトルピークを検出する。そして、スペクトルピーク数が閾値ThN以上存在するか否かを判定し（ステップ２１１）、ThN以上存在する場合は、物体候補が歩行者であったと判定し、検出結果リストに追加する（ステップ２１２）。

これに対し、スペクトルピークが一つ存在する場合は、物体候補は剛体と推定され、また、スペクトルピークが一つも見つからない場合には、画像処理の誤検出と推定されるので、これらの場合には、ステップ２１１の判定において、スペクトルピークが複数存在しない場合となり、歩行者の検出結果リストに追加することなく、処理を終了する。

この画像・レーダ受信信号照合部32の処理の一例のように、物体候補が存在する場合、弱いスペクトルピークが存在するか否かを判定することにより、歩行者を精度良く検出することができる。また、物体候補検出部30により検出した物体候補の相対速度や距離等に対応する周波数領域の信号をフーリエ変換処理する際の分解能を上げることでレーダ受信信号の検出性能を向上させることができる。

また、実施例１において、画像とレーダ受信信号とを共通の処理部で処理することができるため、対象物の画像から得られる輝度パターンとレーダ受信信号から得られる周波数スペクトルパターン等の特徴量について、ニューラルネットワーク等で予め歩行者等の特徴を学習して得られたデータと比較して、画像・レーダ受信信号照合部32がニューラルネットワーク等で対象を識別することができる。

例えば、図２１に示された例で説明すると、画像中にウィンドウＷhを設定し、ウィンドウ内の画像から輝度勾配方向を求め、輝度勾配のヒストグラムＨｉを作成したものを画像から得られるＭ次元の特徴量ベクトルＦｉとする。ただし、Ｌは輝度勾配方向数とする。図２１の例では、輝度勾配方向数を、８方向と輝度変化が閾値以下の輝度勾配なしの９段階としているので、Ｌ＝９となる。

図２１の例は、ウィンドウＷｈ内の画素全ての輝度勾配方向から一つのヒストグラムＨｉを作成している例であるが、ウィンドウＷｈ内を複数のグリッドに分割し、グリッド毎に輝度勾配方向のヒストグラムＨｉｎ（ｎ＝１〜Ｍ）を作成し、それらの系列を特徴量ベクトルＩｆとしてもよい。ただし、Ｍはグリッド数である。

周波数スペクトルから、歩行者が取りうる相対速度に対応する周波数のスペクトル強度の平均Ｍｒと分散Ｓｒを求め、ＭｒとＳｒをレーダから得られるＮ次元の特徴ベクトルＦｒとする。ただし、この例では、ＭｒとＳｒの二次元であるためＮ＝２である。そして、ＦｉとＦｒを合わせたＬ＋Ｎ次元の特徴ベクトルＦｆとする。

そして、予め学習用のデータベース中の歩行者の画像領域にウィンドウＷｈを設定して特徴量Ｆｆを求めるとともに、学習用のデータベース中の歩行者以外の画像領域にウィンドウＷｈを設定して特徴量Ｆｆを求めて、得られた特徴量Ｆｆの系列を用いてニューラルネットワーク等により学習を行っておく。

実際に走行した際には、ウィンドウＷｈの画像上を走査して順次特徴量Ｆｆを算出して、ニューラルネットワークに入力して歩行者か否かを識別する。ただし、特徴量として輝度勾配方向や周波数スペクトルのスペクトル強度の平均、分散を用いることは、本発明において必須の要件ではなく、その他の情報を特徴量として用いてもよい。また、学習、識別に、ニューラルネットワーク以外の手法を用いてもよい。

実施例１の物体検出装置1は、すべての処理をＣＰＵ6により実行する構成となっているが、ＬＳＩ等を用いて画像処理やフーリエ変換等の処理の一部または全てを処理するようにしてもよい。

以上説明したように、実施例１の物体検出装置1では、車載カメラ3aおよびレーダ送受信部4aにより得られるデータを、ＶＩＮ3bおよびＲＩＮ4bが伝送手段4cを介して共通のメモリ9に取り込むことにより、処理部を共通化して物体候補検出結果やフーリエ変換結果等の処理の途中段階での結果を比較することができるので、認識性能を向上できると共に部品点数を減らすことができる。

また、レーダ送受信部4aとＲＩＮ4bとの間に伝送手段4cを設けることにより、レーダ送受信部4aを車両のフロントグリル部分に、カメラ3aおよび処理部2を車室内のルームミラー付近等に配置することができるので、ミリ波がフロントガラスを透過しない場合や、カメラをフロントグリル部に取り付けた際と比較して、レンズに付着する汚れや水滴の影響による性能低下の影響を抑制することができる。

また、実施例１では処理部2をカメラ3aと同じ位置に取り付ける構成としたが、処理部2を助手席のシートの下等の車内下方の位置に配置する構成としてもよい。ただし、カメラ3aと異なる位置に配置する場合は、画像の信号を伝送する伝送手段が別途必要になる。

また、本発明を適用した物体検出装置1では、物体候補検出結果やフーリエ変換結果等の処理の途中結果で、画像とレーダの情報を統合することができるため、ミリ波レーダで検出が難しい歩行者を画像情報と照合して検出できる利点がある。特に、２周波ＣＷ方式を用いると、歩行者の腕や脚等のそれぞれの相対速度に対応する周波数に弱いピークが現れる。この弱いピークが存在するという情報と、カメラ画像からの物体候補検出処理の検出結果とから、物体候補が歩行者と判定することができる。つまり、物体候補が存在し、かつミリ波から得られる周波数スペクトルの歩行者の相対速度に対応する周波数領域に弱いピークが存在する場合に、歩行者が存在すると判定するのである。このように対象物の相対速度の情報を得ることができるセンサを用いると、相対速度の情報を用いて車等の剛体と、歩行者等の非剛体を識別できるのである。

実施例１では、ミリ波レーダの場合に関して説明したが、超音波レーダを用いた場合も、ミリ波よりも波長の長い超音波を用いるが同様の構成で実現でき、他の計測部と共通のメモリ9に受信信号を格納することで、ミリ波レーダの場合と同様の効果が得られる。レーザレーダを用いた場合であっても、図２０に示すように、制御信号発生手段から出力される制御信号Srに基づいて、タイミング制御器22がレーザ光の照射タイミングを制御し、パルスレーザドライバ23の制御の下で投光部24からレーザ光を照射する。そして、対象により反射したレーザ光を受光部25で受信し、伝送手段4cを介して処理部2に伝送する。処理部2では、光往復時間算出部でレーザ光を投光してから反射したレーザ光を受信するまでの時間を求めることで、距離ｄを得る。

このように、レーザレーダの場合であっても、レーダ受信信号を処理部2のメモリ9に取り込むことができるので、物体の検出結果だけでなくレーダをスキャンした際に得られる三次元データ群を用いてフュージョン処理を行うことができる。この場合、例えば画像・レーダ受信信号照合部が、レーザレーダから得られる三次元データ群を画像上に投影し、画像の輝度パターンと画像上に投影されたレーザレーダの三次元データ群とを用いて三次元データをグルーピングすることにより、物体を精度良く検出することができる。

また、画像から得られる輝度パターンとレーダ受信信号から得られる三次元データとを特徴量として用いて、学習用のデータから得られる特徴量によりニューラルネットワーク等で予め歩行者等の特徴を学習しておき、画像・レーダ受信信号照合部32がニューラルネットワーク等により対象を識別する構成とすることもできる。

（実施例２）
実施例２について、図面を参照しながら詳細に説明する。
図１１は、実施例２の物体検出装置を示す。物体検出装置1の計測部が二つのカメラ（カメラ3a-1とカメラ3a-2）と、一つのレーダ送受信部4aとからなり、各計測部から得られる信号を処理して車両前方の物体を検出する機能を実現する。なお、カメラを三つ以上備えてもよく、レーダ送受信部を二つ以上備えてもよい。

図１１に示す例では、カメラ3a-1, 3a-2と処理部2を一体化し、レーダ送受信部4aを別体で構成するが、カメラを別体としてレーダ送受信部と処理部を一体化してもよいし、あるいはカメラとレーダ送受信部と処理部の三者を一体化してもよいし、これらの三者をすべて別体の構成としてもよい。

また、実施例２では、制御信号発生手段をＬＳＩ8により実現する構成となっており、ＬＳＩ8から発せられる垂直同期信号と水平同期信号を、カメラ3a-1とカメラ3a-2に入力し、二つのカメラで同時に画像を撮像する。このとき、制御信号生成手段２０からレーダ送受信部にレーダ制御用の信号を入力し、レーダ送受信部の動作タイミングなどを制御可能な構成となっている。

図１２は、実施例２の物体検出装置を車体に取付けた例を示す。図１２に示された例において、カメラ3a-1とカメラ3a-2と処理部2は、車室内のルームミラー付近に取り付けられて、車両の前方の映像を取得し、レーダ送受信部4aは、グリル付近に取り付けられて、車両前方に向かってミリ波等の信号を送信するのであり、また、受信したレーダ受信信号を伝送手段4cを介して処理部2に伝送する構成となっている。ただし、この構成は、実施例２の一例であって、これに限定されるものではない。

実施例２では、視野が重なったカメラを二つ以上用いることにより、カメラから得られる画像を処理して解像度の高い３次元計測ができるため、精度の良い物体検出を実現することができる。このように、３次元計測を行なう二つのカメラを、以下、「ステレオカメラ」という。

ステレオカメラは、図１３に示すように、複数のカメラで同一計測点を撮像した際に生じる見え方の違い（以下「視差」という。）を用いて、三角測量の原理で距離を求めることができる構成となっている。例えば、対象までの距離をＺ、カメラ間の距離をＢ、カメラの焦点距離をf、視差をδとすると、距離Ｚは式（３）で求めることができる。ただし、単位は、例えばすべてミリメートルとする。

ステレオカメラは、画素毎の３次元座標を求めることができる等の利点がある反面、式（３）から分かるように距離Ｚが視差δと反比例の関係にあるため、遠方の計測点となると視差が小さくなり距離測定性能が低下するという課題がある。

そこで、図１４が示すように、ミリ波レーダで、例えば２００ｍ先までの物体を検出し、ステレオカメラで６０ｍ先までの物体を検出するという構成にすることにより、遠方と近距離の物体の両方を検出できるようになる。

ＦＭＣＷ方式等のレーダでスキャンしない構成とする場合には、ガードレール等の静止物がレーダの視野内に入り難いようにビームの幅を狭くする。このとき、遠方の検出対象は先行車等の移動物のみでよい場合は、２周波ＣＷ方式を用いると静止物体と先行車を速度で分離できるため、ミリ波レーダのレーダでスキャンせず、かつ一つの受信アンテナという簡単な構成にしても、先行車を検出することができ、レーダ部分のコストを抑制することができる。

遠方の先行車を検出できれば、アダプティブ・クルーズ・コントロールシステムに利用することができる。静止物体は、ステレオカメラにより６０ｍ先から検出できれば、プリクラッシュ・ブレーキシステムで必要な範囲をカバーできる。

ステレオカメラを用いると、分解能の高い３次元データを得ることができるため、物体候補検出部、画像・レーダ受信信号照合部、物体検出部でこの３次元データを用いることで、一つのカメラの場合よりも精度の良い物体検出を実現することができる。また、３次元データにより物体を検出できるため、形状が不明の道路上の落下物等の物体を検出できるという利点がある。

また、実施例２では、制御信号発生手段20により、カメラ3a-1とカメラ3a-2で同時に撮像するための垂直同期信号と水平同期信号を発生すると共に、取り込みタイミングを制御する制御信号を送信する。また、ミリ波レーダの変調制御、レーダ送信タイミング、レーダ受信信号を取り込むタイミング等を制御する変調制御信号を発生することで、画像信号とレーダ受信信号の取り込み順序、取り込み間隔、処理順序、処理間隔等を制御する。

このとき、制御信号生成手段が垂直同期信号と水平同期信号等を生成して、カメラ3a-1, 3a-2およびレーダ送受信部4aに垂直同期信号と水平同期信号等を送信し、変調制御、ミリ波レーダの照射タイミング等は、レーダ送受信部4a内でタイマー等を用いて決定してもよい。

図１５は、制御信号に基づいてカメラ3a-1, 3a-2およびレーダ送受信部4aの動作タイミングと、得られたデータを処理するタイミングを決定した例を示す。図１５に示された例では、ｎフレーム目の処理を実線で、ｎ＋１フレーム目の処理を破線で示す。まず、画像垂直同期信号１で露光を開始し、次に変調制御信号１でミリ波レーダの送受信処理等を実施してミリ波のレーダ受信信号をメモリに取り込む。

次の画像垂直同期信号２のタイミングで、画像をメモリに取り込むと同時に、メモリ9上に既に格納されているレーダ受信信号をＣＰＵ6やＬＳＩ8等によりフーリエ変換処理（ミリ波処理）する。そして、ミリ波処理が終了し、かつ、画像取込が終了すれば、画像処理により物体候補を検出するとともに、画像・レーダ受信信号照合処理（センサフュージョン処理）で画像とレーダ受信信号を照合し、物体を検出する。

そしてセンサフュージョン処理が終了する前であっても、画像垂直同期信号３のタイミングで、次のフレームのために画像の露光を行う。また、メモリ9はＬＳＩ8等内に設けられたバッファ等でもよく、ＣＰＵ6やＬＳＩ8からアクセス可能なＲＡＭ等で実現してもよい。さらに、メモリ9に格納する前に、ＬＳＩ8等により処理した後に信号をメモリ9に格納する構成としてもよい。

以上説明したように、実施例２の物体検出装置1では、車載カメラ3a-1, 3a-2およびレーダ送受信部4aにより得られるデータを、ＶＩＮ3ｂ-1, 3b-2およびＲＩＮ4bが共通のメモリ9にデータを取り込むことで、処理部2を共通化し、物体候補検出結果やフーリエ変換結果等の処理の途中結果を比較して認識性能を向上できるとともに、部品点数を減らすことができる。特に、ステレオカメラを用いるとカメラでも距離を計測することができるため、物体候補検出処理や物体・レーダ受信信号照合処理の精度を向上することができる。

ＦＭ−ＣＷ方式等のレーダでは、レーダ受信信号をフーリエ変換して得られる周波数スペクトルの周波数軸が物体までの距離に相当し、またステレオカメラで物体の候補までの距離が求まるため、ステレオカメラで算出した物体候補までの距離と、レーダ受信信号を処理して得られる物体までの距離情報を、つき合わせて物体の存在を確定することができる。

２周波ＣＷ方式等のレーダでは、レーダ受信信号をフーリエ変換して得られる周波数スペクトルの周波数軸が、物体とレーダ装置との相対速度に相当するため、ステレオカメラで物体候補までの距離に加えて、相対速度を求めることにより、ステレオカメラで算出した物体候補と物体検出装置との相対速度と、レーダ受信信号を処理して得られる物体と物体検出装置との相対速度情報を、つき合わせて物体の存在を確定することができる。

また、実施例２では、処理部2をカメラ3a-1, 3a-2と同じ位置に取り付ける構成としたが、処理部を助手席のシートの下等の車内下方の位置に配置する構成としてもよい。ただし、カメラ3a-1, 3a-2と異なる位置に配置する場合は、画像の信号を伝送する伝送手段が別途必要になる。

さらに、ステレオカメラを用いると、ステレオカメラとレーダから得られる両方の信号から三次元データを取得できるため、ステレオカメラは比較的近距離の先行車や歩行者、静止物などを検出し、遠方はレーダの信号から先行車等を検出する構成とすることができる。このとき、レーダの受信アンテナを一つにして、カメラとセンサフュージョン処理することで遠方の検出性能を向上させることもでき、特にステレオカメラを用いればレーダを簡単な構成にしても、一つのカメラのときよりも精度の良い物体検出結果を得ることができる。

また、ステレオカメラを用いると、物体候補検出部が、一つのカメラの場合よりも精度良く物体の候補を検出できると同時に、精度良く物体の距離、相対速度を求めることができる。その結果、画像・レーダ受信信号照合部32が、一つのカメラの場合よりも精度の良いフュージョン処理を行うことができる。

また、ステレオカメラを用いると解像度の高い三次元データを得ることができるため、画像から得られる輝度パターンに加え、大きさや形といった形状パターンと、レーダ受信信号から得られる周波数スペクトルパターン等を特徴量として用いて、学習用のデータから得られる特徴量によりニューラルネットワーク等で予め歩行者等の特徴を学習しておき、画像・レーダ受信信号照合部32がニューラルネットワーク等により対象を識別する構成とすることもできる。

以上、ミリ波レーダとステレオカメラを用いた場合について説明したが、ミリ波レーダの替りにレーザレーダを用いてもよい。その場合、例えば画像・レーダ受信信号照合部32が、レーザレーダから得られる三次元データ群、およびステレオカメラから得られる視差データもしくは視差データを処理して得られる三次元データ群を、同じ座標系の空間に投影して、レーザレーダとステレオカメラから得られる三次元データ群をグルーピングして、物体を精度良く検出することができる。

また、ステレオカメラから得られる輝度パターン、大きさ、形等の形状パターンと、レーダ受信信号から得られる三次元データとを特徴量として用いて、学習用のデータから得られる特徴量によりニューラルネットワーク等で予め歩行者等の特徴を学習しておき、画像・レーダ受信信号照合部32がニューラルネットワーク等により対象を識別する構成とすることもできる。

（実施例３）
実施例３について、図面を参照して詳細に説明する。
図１６は、実施例３の物体検出装置を示す。ここでは、物体検出装置1が、計測部として異なる方向を撮像する４つのカメラ3a-3, 3a-4, 3a-5, 3a-6と、二つのレーダ送受信部4a-1, 4a-2とを備え、各計測部から得られる信号を処理して車両周辺の物体を検出すると共に車両周辺の情報をドライバに提示する機能を実現する。なお、カメラ数４、レーダ数２という個数は、これに限定されるものではない。

実施例３では、前方、後方、右側方、左側方に、それぞれ一つのカメラが取り付けられており、前方と後方にそれぞれレーダ送受信部が取り付けられている。図１７に示すように、フロントのカメラ3a-3はフロントグリル部分等に、リアカメラ3a-4はナンバープレート部分等に取り付けられ、サイドのカメラ3a-5, 3a-6は、ドアミラー部分等に取り付けられて、図１８に示すように、車両の周囲を撮像できるようになっている。図１８には、処理部と伝送手段を図示していないが、車室内等に設置された処理部2と各センサを伝送手段3c-3〜3c-6および4c-1, 4c-2により接続する。

図１６の実施例３では、カメラとレーダ送受信部と処理部をそれぞれ別体で構成しているが、カメラと処理部を一体、レーダ送受信部と処理部を一体、またはカメラとレーダ送受信部と処理部の三者を一体の構成としてもよい。また、実施例３では、制御信号発生手段20をＬＳＩ8により実現しており、ＬＳＩ8が垂直同期信号と水平同期信号等をカメラ3a-3、カメラ3a-4、カメラ3a-5、カメラ3a-6に入力し、二つのカメラで同時に画像を撮像する。また、変調の制御やレーダの送信タイミング等を制御するための変調制御信号をレーダ送受信部4a-1およびレーダ送受信部4a-2に入力し、レーダ送受信部の動作タイミングを制御可能な構成となっている。

実施例３では、各カメラで得られる画像を俯瞰変換し合成することで、車両の真上から見た画像等を生成し、ドライバに画像を提示することで、死角によるドライバの認知漏れを補助する機能を有するものである。さらに、画像を提示するだけでなく、車両前進時や車両後退時に、車両が接触する可能性がある物体が存在する場合には、警報を発するか、衝突しないように自動的にブレーキもしくはステアリングを制御する機能を有する。車両の前方と後方にそれぞれレーダを取り付けることで、物体の検出性能を向上させることができる。

実施例３においても、処理部を共通化することで、画像の処理の途中結果とレーダ受信信号の処理の途中結果とを比較することができ、物体検出性能を向上することができると共に、部品点数を低減することができる。

実施例３においても、２周波ＣＷ方式のレーダと組み合わせることもできる。図１９は、ＦＭＣＷ方式と組み合わせた例を示す。ＦＭＣＷ方式では、周波数スペクトルの周波数軸が距離に対応する。カメラ3a-3、カメラ3a-4、カメラ3a-5、カメラ3a-6から得られる画像を道路真上から見下ろしたように俯瞰変換し合成することで、図１９（ａ）のような画像がフロントカメラにより撮像されるシーンにおいて、図１９（ｂ）の左のような俯瞰画像を得ることができる。このとき、立体物は歪んで変換される。

ＦＭＣＷ方式により得られる周波数スペクトルは図１９（ｂ）の右に示す。この俯瞰画像を処理して歩行者を物体候補として検出し、その物体候補に対応する周波数付近のみを閾値を低く設定することで、反射強度の弱い物体を高精度に検出することができる。

また、俯瞰画像や俯瞰変換処理前の画像から得られる輝度パターンとレーダ受信信号から得られる周波数スペクトルパターン等を特徴量として用いて、学習用のデータから得られる特徴量により、ニューラルネットワーク等で予め歩行者等の特徴を学習しておき、画像・レーダ受信信号照合部32がニューラルネットワーク等により対象を識別する構成とすることもできる。

以上、本発明の実施例１から実施例３では、カメラとミリ波レーダで計測部を構成した例を説明したが、計測部をレーザレーダとミリ波レーダ、２周波ＣＷ方式のミリ波レーダとＦＭ−ＣＷ方式のミリ波レーダ、超音波レーダとレーザレーダ等の組み合わせでもよい。これらの組み合わせにより、異なった計測原理の計測部から得られる信号を同一の処理系で処理することで、処理の途中結果を比較して物体を検出できるため、性能の良い物体検出装置を実現することができる。例えば、カメラで物体候補を検出する替わりに、レーザレーダで物体候補を検出してもよい。また、ニューラルネットワーク等で物体を識別する際も、カメラの輝度パターンの替わりにレーザレーダから得られる三次元データや三次元データを処理して得られる大きさ等の形状パターンと、ミリ波レーダのレーダ受信信号から得られる周波数スペクトルパターンを特徴量として用いて、物体を識別することができる。

1 物体検出装置
2 処理部
3a カメラ
3b 第１の取り込み手段（ＶＩＮ）
3c 伝送手段
4a レーダ送受信部
4b 第２の取込手段（ＲＩＮ）
4c 伝送手段
6 ＣＰＵ
7 データＲＯＭ
8 ＬＳＩ
9 メモリ
10 プログラムＲＯＭ
11 発信器
12 送信アンテナ
13 受信アンテナ
14 ミキサ
15 スイッチ回路
17 ローパスフィルタ
20 制御信号発生手段
21 カメラユニット
30 物体候補検出部
31 フーリエ変換部
32 画像・レーダ受信信号照合部
33 物体検出部

Claims (14)

1. 光、電波、超音波の少なくとも一つの信号により物体を計測する少なくとも二つの計測部と、該計測部から得られる出力信号を処理する処理部を具備する物体検出装置において、
   前記少なくとも二つの計測部は、少なくとも二つの互いに異なる計測原理で構成される計測部であって、
   前記複数の計測部から得られる複数の出力信号を、共通の処理系のメモリに格納する取込手段を具備し、
   前記出力信号を、前記複数の計測部から得られる出力信号を共通の処理部で処理することを特徴とする物体検出装置。
2. 請求項１に記載された物体検出装置において、
   前記複数の計測部は、画像データ、レーダ受信信号、レーダ受信信号を処理して得られる周波数スペクトル信号若しくは周波数スペクトル信号に類する信号若しくは周波数スペクトル信号を処理して得られる平均値や分散などの統計値、画像データを処理して得られる三次元データ若しくは三次元データに類するデータの少なくとも一つの出力信号を出力することを特徴とする物体検出装置。
3. 請求項１に記載された物体検出装置において、
   前記複数の計測部の作動タイミングを制御する制御信号を発生させる制御信号発生手段を更に具備し、
   前記複数の計測部から同時若しくは所定の時間差で得られる出力信号を共通の処理系のメモリに格納することを特徴とする物体検出装置。
4. 請求項３に記載された物体検出装置において、
   前記制御信号発生手段は、前記複数の計測部中の一つの計測部を制御する前記制御信号を、前記複数の計測部中の他の計測部を制御するための制御信号に基づいて生成することを特徴とする物体検出装置。
5. 請求項１から４のいずれかの請求項に記載された物体検出装置において、
   少なくとも一つの伝送手段を具備し、
   前記少なくとも二つの計測部及び前記処理部の、少なくとも一つの部を他の部と異なる位置に配置することを特徴とする物体検出装置。
6. 請求項１から５のいずれかの請求項に記載された物体検出装置において、
   前記複数の計測部は、画像データ及びレーダ受信信号を出力するものであって、
   前記処理部は、前記画像データを処理して得られる物体が存在する可能性がある位置、速度、物体の種別（種類）のうちの少なくともいずれか一つと、前記レーダ受信信号を処理して得られる周波数スペクトル信号とから、物体を検出して物体の種別、距離、横位置、サイズ、相対速度のうちの少なくともいずれか一つを決定することを特徴とする物体検出装置。
7. 請求項１から６のいずれかの請求項に記載された物体検出装置において、
   前記複数の計測部は、画像データ及びレーダ受信信号を出力するものであって、
   前記画像データを処理して物体の候補を検出する物体候補検出部と、
   前記レーダ受信信号を処理して周波数領域に変換するフーリエ変換部と、
   前記物体候補検出部で検出した物体候補と前記フーリエ変換部により得られる周波数スペクトルとを照合する画像・レーダ受信信号照合部と、
   前記画像・レーダ受信信号照合部の結果から物体までの距離、物体の横位置、物体の大きさ、物体の相対速度のうちの少なくとも一つを求める物体検出部と、
   を具備することを特徴とする物体検出装置。
8. 請求項１から７のいずれかの請求項に記載された物体検出装置において、
   前記計測部は、一つの撮像手段と一つのレーダ送受信部とから構成され、
   前記取込手段は、前記撮像手段から得られる画像データ、及び前記レーダ送受信部から得られるレーダ受信信号若しくはレーダ受信信号を処理して得られる周波数スペクトル信号を、一つの処理部に取り込むことを特徴とする物体検出装置。
9. 請求項８に記載された物体検出装置を車両に搭載し、
   前記レーダ送受信部を車両のフロントグリル部若しくはフロントバンパ部に取付けると共に、前記撮像手段と前記処理部を、車室内のルームミラー部に取付けた配置、又は
   前記レーダ送受信部と前記処理部を、車両のフロントグリル部若しくはフロントバンパ部に取付けると共に、前記撮像手段を車室内のルームミラー部に取り付けた配置、又は、
   前記レーダ送受信部をフロントグリル部若しくはフロントバンパ部に取付け、前記撮像手段を車室内のルームミラー部に取付け、前記処理部を車内下方に取り付けた配置、のいずれかの配置で車両に装備されることを特徴とする物体検出装置。
10. 請求項１から７のいずれかの請求項に記載された物体検出装置において、
    前記計測部は、少なくとも二つの撮像手段と少なくとも一つのレーダ送受信部とから構成され、
    前記取込手段は、前記撮像手段から得られる少なくとも一つの画像データ若しくは二つの画像データを処理して得られる視差データと、前記レーダ送受信部から得られるレーダ受信信号若しくはレーダ受信信号を処理して得られる周波数スペクトル信号を、同一の処理部に取り込むことを特徴とする物体検出装置。
11. 請求項１０に記載された物体検出装置を車両に搭載して、
    前記レーダ送受信部を車両のフロントグリル部若しくはフロントバンパ部に取付けると共に前記二つの撮像手段と前記処理部を車室内のルームミラー部に取り付ける配置、又は
    前記レーダ送受信部と前記処理部を車両のフロントグリル部若しくはフロントバンパ部に取付けると共に前記二つの撮像手段を車室内のルームミラー部に取付ける配置、又は
    前記レーダ送受信部をフロントグリル部若しくはフロントバンパ部に取付け、前記二つの撮像手段を車室内のルームミラー部に取付け、前記処理部を車内下方に取り付けた配置、
    のいずれかの配置で車両に装備されることを特徴とする物体検出装置。
12. 請求項１から７のいずれかの請求項に記載された物体検出装置において、
    前記計測部は、少なくとも一つの撮像手段と少なくとも一つのレーダ送受信部とから構成され、
    前記計測部は、それぞれ車両前方又は後方又は側方を監視するように車両に取付けられ、
    前記取込手段は、前記撮像手段から得られる少なくとも一つの画像データと、前記レーダ送受信部から得られる少なくとも一つのレーダ受信信号若しくはレーダ受信信号を処理して得られる周波数スペクトル信号を、同一の処理部に取り込むことを特徴とした物体検出装置。
13. 請求項１２に記載された物体検出装置を車両に搭載して、
    前記少なくとも一つのレーダ送受信部を車両のフロントグリル部若しくはフロントバンパ部若しくはリアバンパ部に取付け、
    前記少なくとも一つの撮像手段を、フロントグリル部若しくはフロントバンパ部若しくはリアバンパ部若しくはリアナンバープレート部若しくはサイドミラー部に取付ける配置、
    前記処理部を、車室内、又はエンジンルーム内、又は前記レーダ送受信部若しくは前記撮像手段と同じ位置に取付けられることを特徴とする物体検出装置。
14. 請求項１から１３のいずれかの請求項に記載された物体検出装置において、
    前記計測部のうちの少なくとも一つが２周波ＣＷ方式のレーダ送受信部で構成され、
    前記レーダ送受信部のレーダ受信信号を処理して得られる相対速度に対応した周波数スペクトル信号と、前記計測部のうちの他の計測部から得られる画像信号とを処理して、車両のような剛体と人のような非剛体とを識別することを特徴とする物体検出装置。

Images