JP2005175603A - レーダを用いた障害物の表示方法及び表示システム - Google Patents

Abstract

【課題】 この発明は、車載したカメラとミリ波レーダにより、先方の障害物との距離、大きさなどを測定し、車両の危害を未然に防止することを目的としたものである。
【解決手段】 この発明は、車両から障害物を検出表示する方法において、レーダ装置によって検出された障害物の位置情報をカメラ画像上に重ねて表示する際に、レーダ平面とカメラ画像平面との射影変換を利用して表示することを特徴とした障害物の表示方法により目的を達成した。
【選択図】 図２

Description

この発明は、車両の走行時の危害を未然に防止する為に、車両前方の障害物の距離及び位置を迅速正確に把握し、対応することを目的としたレーダを用いた障害物の表示方法及び表示システムに関するものである。

前記と同一目的を達成する技術として、カメラによる画像情報と、レーダによる距離情報を利用して障害物の位置と形状を特定しようとする技術が知られている。

例えば、レーダを用いた画像処理システムがあるが、このシステムは、画像処理により検出した先行車両に対し、レーダで検出した距離情報を加えたものである。これにより先行車両として画像を抽出した物体までの距離を画像上で確認できる。

また他の発明としては、走行環境認識装置として、先行車両を検出するとともに、検出した車両を枠で囲み、検出した物体の距離により枠の色を変えて分かりやすくしている。
特開平９−２６４９５４ 特開平１０−１８７９３０

前記従来例の前者は、一番危険とされる悪条件、例えば雨のときの歩行者、霧の中の先行車両、夜間のヘッドライトのあまり届かない前方の左右の障害物など、画像処理では特定自体が難しいなどの問題点があった。また、後者は、レーダの検出結果に基づいて、前記画像情報内に前記先行車両の存在を表す車両領域を設定する手段を設けたものであるが、レーダの情報の中で画像情報を枠で囲んでも、前記のような環境においては、画像情報が不明確となり、ドライバーに有利ではないなどの問題点があった。

前記問題点に鑑み、この発明は、車載カメラで取り込んだ画像上にレーダ装置（例えばミリ波レーダ）の信号を委ねて表示する方法及びシステムにより前記問題点を解決するもので、歩行者、自転車、自動車、車椅子などを悪条件下でも検出し、画像上にわかりやすく表示することにより事故を未然に防止することができる。

また、前記の表示を出力として、警報器を作動させ、或いは、車両の速度を自動的に制限するなど、運転者の手動情報以外に、自動制御システムにつなげることにより危害を未然に防止することができる。

即ちこの発明は、車両から障害物を検出表示する方法において、レーダ装置によって検出された障害物の位置情報をカメラ画像上に重ねて表示する際に、レーダ平面とカメラ画像平面との射影変換を利用して表示することを特徴とした障害物の表示方法であり、レーダ装置をミリ波レーダとしたものである。

また、レーダ装置により検出された障害物について、障害物の巾を巾とし、距離を高さとするボックスに変換して、カメラ画像上に重ねて表示するものであり、ボックスは、半透明の着色表示とし、複数の障害物は夫々異色に彩色したものであり、ボックスには相対速度の矢印を表示するものである。

次にシステムの発明は、車両に設置したカメラとレーダによりその前方にある障害物を検出表示するシステムにおいて、カメラにより撮影した画像をモニタに表示する手段、レーダの送受信手段、レーダの信号処理手段、レーダの信号を前記画像に射影し表示する手段、レーダで検出した物体の巾を巾とし、距離を高さとしたボックスを前記画像に重ねて表示する手段、該ボックスを半透明、かつ物体毎に異色彩色する手段、前記画像及びボックスをモニタ表示する手段とを組み合わせたことを特徴とするレーダを用いた障害物の表示システムである。

この発明の特徴の１つは、カメラとレーダ（以下、ミリ波レーダとして説明する）とのキャリブレーションにあるから、カメラの取付位置、角度、ミリ波レーダの取付位置、角度及びカメラとミリ波レーダの相対位置、角度を正確に設置しなくても、ミリ波レーダ信号の情報を、カメラ画像上に射影できればよいのである。従って、カメラとミリ波レーダの設置精度だけでなく、経年変化による位置の誤差、カメラ修理（レンズ系の交換）等により生成した誤差などを簡単なキャリブレーションにより吸収することができるからである。

また、他の特徴は、ミリ波レーダ計測信号をセグメンテーションして得られた物体の情報を画像上に表示する方法で、カメラ画像上にボックス表示する点である。このボックス表示は、レーダ計測信号をもとにしているが、ミリ波レーダ計測信号をもとにすれば、雨や霧で見えにくい物体、夜間などヘッドライトの光が届かない左右の薄暗い空間にある物体なども、明確にボックス表示できる特徴がある。

従来ボックス表示の思想は知られていたが、従来のボックス表示は、すべてカメラ画像に基づくものであったから、前記のようにカメラ画像が不明瞭になった場合には、画像処理によって障害物を特定できないため、ボックス表示自体ができなくなる。然るにこの発明は、前記のようにミリ波レーダをもとにするので、カメラ画像の不明瞭化に関係なく、正確かつ明瞭なボックス表示ができる。従って、運転者に正確、確実に把握され、適切に対応することができる。

この発明は、前記のように、レーダ装置を使用するものであるが、レーダ装置としてミリ波レーダを用いれば、その簡単な信号処理と、その情報のカメラ画像への簡単な計算結果に基づく重ね合わせ表示であり、エッジ抽出、テンプレート抽出などのＣＰＵ負荷の大きな画像処理を必要としないため、システムを簡素化できるので、全システムを低廉に構築できる効果がある。

また、外部環境が悪い場合（例えば雨、霧又はヘッドライトが届かない場所など）でも、ミリ波レーダで計測した物体の情報に基づき、画像上にボックス表示することにより、例えば画面に「ぼんやり」写った障害物をクローズアップできるため、安全性が高い処理システムを構築できる効果がある。

次にカメラ固定位置、ミリ波レーダ固定位置、カメラとミリ波レーダの相対位置などがずれても、簡単なキャリブレーションにより、ミリ波レーダ座標系のカメラ座標系への射影変換行列が算出できるため、経年変化に影響を受けないという効果がある。従って、カメラの交換による特性（画角、焦点距離、様々な収差、レンズ系固定位置）が変わっても、容易にキャリブレーションが可能であるために、メンテナンス性が良いなどの諸効果がある。

この発明は、例えば図１のように、自動車ヘッドライト付近にラインスキャン式のミリ波レーダを設置し、フロントガラスの上部付近にカメラ（単数又は複数）を設置し、次の手順により使用される（図１）。

この発明に用いるのは、カメラ（例えばＣＣＤカメラ、ＣＭＯＳカメラなど）及びミリ波レーダのハードウェアと、カメラ画像の取り込み部、ミリ波レーダ信号の取り込み部、カメラ画像表示部、ミリ波レーダのセグメンテーション部、ミリ波レーダの画像上への表示部、カメラの内部パラメータ計算部、カメラとレーダのキャリブレーション部のソフトウェアにより構成されている。

前記ハード構成と、ソフト構成により、次の手順で実施できる（図２）。

まずカメラの内部パラメータの算出のためのキャリブレーションとして、カメラは自動的に補正されると共に、リフレクタをカメラとミリ波レーダでそれぞれ映し出し、ミリ波レーダ座標系の全ての座標をカメラ座標系の１平面上に射影する射影変換行列を求める（図３）。

前記は、ミリ波レーダの座標系と、カメラの座標系から、２つの座標系の回転行列Ｒ、カメラ内部パラメータ行列Ａなど、必要な演算を行って、変換行列Ｈを求めることにより、ミリ波レーダ座標系上の点の位置と、カメラ座標系上の点の位置との関係を求めることができる。前記行列Ｈは、ミリ波レーダ及びカメラのＮ個の観測点から算出することができる（図３）。

次に、毎秒１０〜３０フレームの間隔でカメラから画像を入力し、モニターに表示する。

また、１０フレーム間隔（１００ｍｓｅｃ）でミリ波レーダからの反射信号を入力し、継続された対象物の位置と、相対速度を算出する。

前記は３次元セグメンテーションとし（図４）、フレーム間処理方法として、セグメントの引継ぎを行う（図５）。

前記セグメンテーションにより得られた計測点の位置情報を、前記キャリブレーションで得られた射影変換行列により、画像上５、６、７、８にプロットする。この点は、カメラを複数設置し、切り替えながら画像を表示した場合でも、全ての画像に対して、ミリ波の反射した位置の所に点５ｂ、６ｂ、７ｂ、８ｂが表示される（図６）。

前記セグメントの巾を横軸に、その距離を縦軸にして、点の上にボックス５ａ、６ａ、７ａ、８ａを表示する。

前記ボックスは着色半透明が好ましい。このようにすることによって、物件が重なった場合にも全体を確認できると共に、夫々の物体の大きさと、速度差を確認し、適切に確認することができる。

この発明においては、前記のように、セグメンテーションで得られたミリ波レーダ計測点の位置情報を画像上にプロットし、これに基づいてボックスを描くので、周囲の環境に関係なく、明瞭なボックスを提供し、これに基づき正確かつ迅速に対処して、危害を未然に防止することができる。

この発明の表示方法の実施例を図面について説明する。この発明は、車両１のボンネットの先端部にラインスキャン式のミリ波レーダ器２（送受信その他）を設置すると共に、前記車両１のフロントガラスの上部へ、カメラ３を設置し、車両の適所へ画像処理その他の機器を設置したもので、表示手段は次の通りである。

〈キャリブレーション〉
（１） カメラの内部パラメータの算出のためのキャリブレーションにより、カメラの焦点距離、レンズ収差、光軸中心、アスペクト比などを補正する（自動的）。

（２） カメラ座標系とミリ波レーダ座標系のキャリブレーションとして、リフレクタをカメラとミリ波レーダでそれぞれ映し出し、ミリ波レーダ座標系の全ての座標をカメラ座標系の１平面上に射影する射影変換行列を求める。前記ミリ波レーダは旋回方向と奥行き方向の２次元、カメラの座標系は３次元であるが、射影する平面４は２次元となる（図３）。

前記ミリ波レーダの座標系を（Ｘｒ，Ｙｒ，Ｚｒ）、カメラの座標系を（Ｘｃ，Ｙｃ，Ｚｃ）とすると、ミリ波レーダ空間上の（Ｘｒ，Ｙｒ，Ｚｒ）と画像面上の（ｕ，ｖ）の関係は、２つの座標系の回転行列Ｒ、平行移動ベクトルｔ、カメラの内部パラメータ行列Ａを用いて、式１で表される。
［式１］

但し、射影変換行列Ｐは、３×４の行列でｒａｎｋＰ＝３、ωは未知の定数。この発明では、ミリ波レーダで得られるデータが平面上にあることを利用し、ミリ波レーダ平面から画像平面への射影関係を得ることにより、キャリブレーションを行う。前記式１でＹｒ＝０とすると、式２で表される。
［式２］

この変換行列Ｈを求めることにより、パラメータＲ，ｔ，Ａを求めることなく、ミリ波レーダ座標系上の点の位置とカメラ座標系上の点の位置との関係を求めることができる。

この行列Ｈは、ミリ波レーダ及びカメラのＮ個の観測点から算出できる。

レーダ計測点（Ｘｒｌ，Ｚｒｌ）、・・・、（ＸｒＮ，ＺｒＮ）
画像計測点（ｕｌ，ｖｌ）、・・・（ｕＮ，ｖＮ）とおくと、式３、式４となる。
［式３］

［式４］

前記において、|ｈ|＝１のもとでのｈの最小二乗解は、Ｂ^ＴＢの最小固有値に対応する固有ベクトルとして得られる。

〈走行中のセグメンテーション〉
（１） １０〜３０フレームでカメラから画像を入力し、モニターに表示する。

（２） １０フレームでミリ波レーダから反射信号を入力し、計測された対象物の位置と相対速度を算出する。

（３） ミリ波レーダで計測した信号の確からしさを判断するため、セグメンテーションを行う。セグメンテーションは、一般的には、そのフレーム単独のセグメンテーションと、今までのセグメンテーションとの関連から処理するセグメンテーションの２つがあり、前記を特にプリセグメンテーションという。このプリセグメンテーションは、公知技術では、ミリ波レーダ信号の２次元、若しくは３次元の位置データから計算している。

（４） この発明のセグメンテーションの特徴の１つは、旋回と奥行き方向の２次元に、相対速度を加えた３次元にしているところである。前記プリセグメンテーションで、単一フレームを扱うと、位置情報だけでは、近づいてくる物体と離れていく物体とが同一物体として判断されてしまう危険性がある。相対速度をプリセグメンテーションで利用することにより、これらが区別できるため、この時点でのセグメンテーションのミスがなくなる。

（５） この発明のもう１つのセグメンテーションは、セグメンテーションの引継ぎにある。ひとつ前のフレームのセグメントと、現在のフレームのセグメントが複数重なっていたとき、どちらのセグメントを引き継ぐかという問題が発生する。ここで、重なっている計測点が多い方を引き継ぐという方法がある。しかし、大きなセグメントと小さなセグメントが介在した場合、前のフレームのセグメントとの重なり数だけで判断すると、一方のセグメントに集約されてしまう。そこで、前記セグメンテーションは、前のセグメントとの重なり数から算出した結果を総合して、セグメントの引継ぎを決定する。これにより、大きなセグメントと小さなセグメントが介在するような状態でも、フレーム間のセグメントの引継ぎが問題なく行われる。

（６） 例えばセグメントの対象とする次元は次のようになる。

旋回方向、距離、相対速度の３次元の空間距離からセグメンテーションを行う（図４）。

（７） また、フレーム間処理方法は次のようになる。

前のフレームのセグメントＭ、Ｌと、現在のセグメントＫ、Ｌの引継ぎを、そのリンク数から考えた場合、順方向ではＭ→Ｋに、Ｎ→Ｋに引継ぎ、逆方向ではＫ←Ｍから、Ｌ←Ｎから引き継ぐことになる。このとき、順方向ではセグメントのオーバーラップがあるが、逆方向ではセグメントのオーバーラップのない逆方向の引継ぎを採用する。前のフレームのセグメントをＭ、Ｌとし、現在のセグメントをＫ、Ｌとして、セグメントの引継ぎを行う場合、セグメント間のリンク数の多さから判定すると、順方向ではＭ→Ｋに、Ｎ→Ｋに引継ぎ、逆方向ではＫ←Ｍから、Ｌ←Ｎから引き継ぐことになる。順方向では、セグメントのオーバーラップがあるが、逆方向ではない。従って、セグメントのオーバーラップのない逆方向の引継ぎを採用する。

双方から見たリンク数による結果を総合して引継ぎ先を決定することにより精度を向上することができる。従って、前フレーム⇔現フレームということになる（図５）。

〈走行中の画像表示〉
（１） セグメンテーションで得られたレーダ計測点の位置情報を、前記キャリブレーションで得られた射影変換行列により、画像上にプロットする。この点は、カメラを複数設置し、切り替えながら画像を表示した場合でも、全ての画像に対して、ミリ波レーダの反射した位置のところに表示される（複数のカメラ画像に対応）（図６）。

（２） 次に、表示した点の集まり（セグメント）の巾を横軸に、その距離を縦軸にして、前記点の上にボックスを表示する。物体の巾が広いとボックスの巾が広くなり、物体までの距離が近いとボックスの高さが高くなる。このボックス表示により、画像上で危険度を瞬間的に判断することができる。

（３） 前記ボックスは、色のついた半透明とする（ラップした時背後のボックスが見える）。従って、雨や霧、あるいはヘッドライトの灯りの余り届かない左右の領域で、画像上での検出が難しいときでも、ミリ波レーダで検出した物体を前記手法で表示することにより、ドライバーに危険を喚起することができる。色付きの半透明なボックス上に物体が見えるため、ドライバーに喚起した後であれば、その物体が何であるか判断でき、危険回避を誘導できる。前記ボックスの色は、セグメント毎に異なるようにする。

（４） 画像上に表示している点群（セグメント）の下に、矢印を表示する。この矢印は、セグメントが自車両に近づいてきた場合、その危険を喚起するためのものである。矢印の長さは、相対速度によることとする（図７）。

この発明の表示システムの実施例を説明する（図２、７）。

図２において、ＣＣＤカメラで撮影した画像データは、入出力部９（Ｉ／Ｏ部）を介してバッファ１０（Ｂｕｆｆｅｒ）に一時保存する。この場合に１０フレーム／秒〜３０フレーム／秒の間隔で保存する。次にミリ波レーダ２の信号（物体までの位置、物体との相対速度、反射信号強度）は、１０フレーム／秒の間隔で入出力部９（Ｉ／Ｏ部）を介してバッファ１０に一時保存する。

次にバッファ１０の出力を受信する制御部１１は、必要に応じてバッファの逐次変わる画像データとミリ波レーダを読み取り、データ記憶部に保存する。一般的には、画像は３０フレーム／秒で取り込むことによりスムースな表示ができる。一方ミリ波レーダは１０フレーム／秒で取り込む。

前記制御部１１では、データ記憶部１３に保存された画像データや、ミリ波レーダデータを再度読み取り、演算処理部１２に渡す。

前記演算処理部１２では、制御部１１からもらった画像データの画像処理、制御部１１からもらったミリ波レーダデータの信号処理などの高速演算処理を行う。

演算処理部１２は、一般にはＤＳＰや専用ＬＳＩが用いられる。次に制御部１１は、演算処理部１２で計算された画像データやミリ波レーダデータを表示制御１４に送る。該表示制御１４では、一定の間隔で画像を表示したり、その上にミリ波レーダデータなどの表示を重ね合わせるなどの処理を行う。また表示制御１４は、複数のカメラからの表示を切り替えるなどの管理も行う。また通信制御１５は、制御部１１で危険と判断し場合、警報を鳴らす為に、衝突警報１６にＣＡＮバス等を介して知らせる。またブレーキ制御１７を行う場合には、ＣＡＮバス等を介してブレーキ制御システムに知らせる。この知らせを受けた場合には、前記ブレーキ制御システムは自動的に衝突警報１６を鳴らしたり、ブレーキをかけたりして、危害を未然に防止する。

前記表示制御１４を経て走行モニタ１に画像とブロックを表示する。また通信制御部２０は自動車の他のシステムとの通信を、ＣＡＮバス等を介して行うものとする。

前記実施例は、ＣＣＤカメラによる画像を処理して表示すると共に、ミリ波レーダによる情報を演算処理し、前記画像上へ物体毎に異なる半透明色彩でブロック表示する。

前記ブロック表示は、巾を物体の巾とし、高さを距離とし、矢示の長さを相対速度で表示する（図７）。

従って、物体の巾が大きいほど、距離が近いほど、大きいボックスとして表われる。

前記図７において、人物５は近いので高いボックス５ａで表示される。また、自転車６はやや遠いので、ボックス６ａは巾広く、高さは人物より低くなる。

同様にして自動車７、８とボックス７ａ、８ａは夫々距離が遠いので逐次小さく表される。

前記において、ボックス６ａ、７ａ、８ａは半透明であるから、全体の大きさは認識することができる。

前記実施例によれば、カメラで得た画像は、カメラ画像表示部と、カメラの内部パラメータ計算部で画像処理され、カメラとミリ波レーダのキャリブレーション部で合体してモニターに表示される。

また、ミリ波レーダは、ミリ波レーダ信号取り込み部、ミリ波レーダのセグメンテーション部、ミリ波レーダの画像上への射影変換表示部、カメラとミリ波レーダのボックス表示部を経てモニターに表示される。

前記において、各種演算処理の出力は警報器（その他の制御系）に入力し、警報を発したり、自動制御したりして、危害を未然に防止することができる。

この発明の実施例のカメラとレーダの車載図。 同じくハードウェアのブロック図。 同じくカメラとレーダの座標系を示す図。 同じく３次元セグメンテーションの図。 同じくセグメンテーションされたミリ波レーダ信号の画像上へのプロット図。 同じくカメラ画像と障害物のミリ波レーダのプロットとの関係を示す図。 同じくボックス表示と相対速度表示の図。

符号の説明

１ 車両
２ ミリ波レーダ器
３ カメラ
４ 画面
５ 人物
６ 自転車
７、８ 自動車

Claims (6)

1. 車両から障害物を検出表示する方法において、レーダ装置によって検出された障害物の位置情報をカメラ画像上に重ねて表示する際に、レーダ平面とカメラ画像平面との射影変換を利用して表示することを特徴とした障害物の表示方法。
2. レーダ装置をミリ波レーダとしたことを特徴とする請求項１記載のレーダを用いた障害物の表示方法。
3. レーダ装置により検出された障害物について、障害物の巾を巾とし、距離を高さとするボックスに変換して、カメラ画像上に重ねて表示することを特徴とした請求項１に記載のレーダを用いた障害物の表示方法。
4. ボックスは、半透明の着色表示とし、複数の障害物は夫々異色に彩色したことを特徴とした請求項３記載のレーダを用いた障害物の表示方法。
5. ボックスには相対速度の矢印を表示することを特徴とした請求項３記載のレーダを用いた障害物の表示方法。
6. 車両に設置したカメラとレーダによりその前方にある障害物を検出表示するシステムにおいて、カメラにより撮影した画像をモニタに表示する手段、レーダの送受信手段、レーダの信号処理手段、レーダの信号を前記画像に射影し表示する手段、レーダで検出した物体の巾を巾とし、距離を高さとしたボックスを前記画像に重ねて表示する手段、該ボックスを半透明、かつ物体毎に異色彩色する手段、前記画像及びボックスをモニタ表示する手段とを組み合わせたことを特徴とするレーダを用いた障害物の表示システム。

Images