JP3862015B2

JP3862015B2 - Automotive radar equipment

Info

Publication number: JP3862015B2
Application number: JP2002311680A
Authority: JP
Inventors: 剛治堀部
Original assignee: Omron Corp
Current assignee: Omron Corp
Priority date: 2002-10-25
Filing date: 2002-10-25
Publication date: 2006-12-27
Anticipated expiration: 2022-10-25
Also published as: JP2004144671A; US20040080449A1; US6831591B2

Abstract

A radar device mounted to a vehicle includes a camera for obtaining images including the road surface in front of or behind the vehicle on which it is mounted, a sensor having for obtaining at least positional information on a target object of detection such as another vehicle in front or behind and a control unit for correcting the direction of the center axis of the sensor based on the image obtained by the camera. The control unit detects a line segment along a lane in which the vehicle is traveling, detects a vector indicative of the direction on a road-fixed coordinate system of the obtained line segment, and controls correction of horizontal and vertical directions of the center axis of the sensor so as to coincide with the direction of the detected vector.

Description

【０００１】
【発明の属する技術分野】
本発明は、車両に搭載されるレーダ装置に関する。
【０００２】
【従来の技術】
近年、自動車においては、運転の容易性や安全性を向上させるために、先行車等の監視機能や先行車への追従走行機能などが設けられる場合がある。そして、このような機能を実現するために、レーザレーダやミリ波レーダのようなセンサもち、自車両の前方又は後方に存在する検出対象（先行車やガードレールなどの障害物）の少なくとも位置情報を取得するためのレーダ装置が、車両に搭載される。
このような車載用レーダ装置では、カーブ走行時などにも先行車を見逃さないよう、走査範囲の中心軸或いは検出範囲の中心軸（以下、場合により光軸という）を適宜補正するのが好ましく、そのための技術として、従来では特許文献１に開示されたものがある。
これは、カーブ走行している先行車やレーンの中央を走行していない先行車の見逃しに対応し、カーブの曲率や自車及び先行車の横方向位置から先行車を見逃さないように光軸を補正するものである。
【０００３】
【特許文献１】
特開平９−２１８２６５号公報
【０００４】
【発明が解決しようとする課題】
ところが、上記従来技術は、勾配のない平坦な道路や高速道路のようにカーブ曲率が略一定であることを想定しているものである。このため、道路が平坦でありカーブ曲率が略一定である場合には、先行車を見逃すことが少なくなるが、市街地のように勾配がある場合やカーブ曲率が細かく変化する場合には、従来技術のように光軸を補正しても、先行車を見逃してしまう。というのは、従来技術は、カーブの曲率や自車及び先行車の横方向位置に基づいて補正すべき光軸の方向を特定するものであり、垂直方向（上下方向）に光軸を補正できない（垂直方向の光軸の理想的な向きを特定できない）ため、光軸の垂直方向位置はあくまで一定であって、勾配があると先行車が検出エリアから上下方向に外れてしまい検出不可能となる恐れがある。また従来技術は、例えばＳ字カーブであっても一定の曲率であるとして最適な光軸を求めて補正するため、曲率が細かく変化する場合には、横方向（水平方向）に大きな誤差（求められた光軸方向と実際に最適な光軸方向との差）を生じて、先行車が補正後の検出エリアから横方向に外れてしまい易いからである。
そこで本発明は、勾配又はＳ字カーブなどがあってもセンサの中心軸を最適な方向に補正して先行車を見逃し難い車載用レーダ装置を提供することを目的としている。
【０００５】
【課題を解決するための手段】
この発明による車載用レーダ装置は、自車両の前方又は後方に存在する検出対象の少なくとも位置情報を取得するためのセンサをもつ車載用レーダ装置であって、
自車両の前方又は後方の路面を含む画像を取得するための撮像手段と、この撮像手段により得られた画像に基づいて前記センサの中心軸の向きを補正するための制御手段とを備え、
前記制御手段は、
前記画像から自車両が走行しているレーンに沿った線分を検出する線分検出部と、この線分検出部により得られた線分の実座標上の方向ベクトルを求める方向ベクトル検出部と、この方向ベクトル検出部により得られた方向ベクトルに一致するように前記中心軸の向きを上下左右に補正する制御を実行する補正制御部とを有することを特徴とするものである。
【０００６】
ここで、「検出対象」とは、基本的には先行車両又は後続車両（四輪車以外のバイク等も含む）を意味するが、車両以外の障害物（ガードレール等）が含まれてもよい。
また、「センサ」とは、例えば電磁波や音波などを検出エリアに照射し、その反射波に基づいて検出対象を検出するもの（具体的には、レーザレーダやミリ波レーダなど）である。なおこのセンサは、必ずしも走査型である必要はなく、非走査型（但し、指向性があり、特定の検出エリアが存在するもの）でもよい。
また、「センサの中心軸」とは、検出エリアの中心軸であり、走査型の場合には走査範囲の中心軸を意味する。
また、「自車両が走行しているレーンに沿った線分」とは、自車両が走行しているレーンの片側又は両側にある路面上のマーク（白線や黄線、二重線や破線など）、ガードレール、中央分離帯、防護壁、歩道との境界部分などの画像を構成する線（いわゆるエッジ）、或いはこれら画像の経時変化から得られるオプティカルフローであり、自車両が走行しているレーンの接線方向のものである。
【０００７】
なお、上記線分の検出（画像からの抽出）は、白線などの濃淡（明暗）のはっきりしたものであれば、いわゆるエッジ抽出により相当の信頼性で実現できる。但し、路面の汚れや道路周辺の建造物などの画像成分を排除して確実に上記線分を検出できる信頼性を向上させるためには、或いは検出のしきい値を下げて濃淡のはっきりしないもの（例えば中央分離帯などのエッジ）も相当の信頼性で検出できるようにするには、上記線分を検出する画像中の位置や領域、或いは線分の角度範囲等を予めあり得る条件に限定しておくのが好ましい。例えば、図５（ｃ）に示すように、画像フレームの左下を原点としてフレーム下辺から反時計回りに３０°〜６０°の角度範囲と、画像フレームの右下を原点としてフレーム下辺の延長線から反時計回りに１２０°〜１５０°の角度範囲に、上記線分を検出する領域や角度を限定してもよい。自車が走行しているレーンの両側の縁部（レーンを区画する白線や中央分離帯等）の位置や方向が、このような条件に納まるように、撮像手段（カメラ）の撮像方向や画角を設定することは容易かつ自然であり、その場合、このような条件から外れるものを検出範囲から除けば、前述した所定の線分のみをより確実かつ容易に検出できるからである。
【０００８】
本発明の車載用レーダ装置によれば、自車両の前方又は後方の画像における自車両が走行しているレーンに沿った線分の実座標上での方向にセンサの中心軸が補正されるため、曲率が一定でない道路や勾配のある道路状況でも、検出すべき検出対象（特に先行車又は後続車）を見逃し難い。例えば、自車両から所定距離離れた位置（画像における上下方向の所定位置）の白線などよりなる線分を検出し、この線分の実座標上の方向にセンサの中心軸を補正すれば、自車両がその時点で走行している直近の道路の曲率や勾配にとらわれず、自車両の前方又は後方の道路方向（３次元的方向）に対応させて、センサの中心軸を上下左右に補正することができるからである。特に本発明では、前方又は後方の道路の勾配に応じてセンサの中心軸方向が上下するため、従来行われていなかった上下方向の補正も可能となり、勾配のある道路でも先行車等を見逃し難くなる。
なお、Ｓ字カーブやアップダウンのある道路状況に良好に対応するには、後述する態様のように、前記線分を複数検出して、各線分の方向から、自車両の前方又は後方の道路全体を見渡すことができる最適な方向ベクトルを特定することが好ましい。
【０００９】
次に、この発明の好ましい態様は、前記線分検出部が、前記線分として、自車両が走行しているレーンの両側にあるものを一対以上求める機能を有し、
前記方向ベクトル検出部が、対をなす前記線分の延長線の交点として前記画像上の消失点を求め、この消失点から前記方向ベクトルを求めるものである。
このような態様であると、撮像手段として一つのカメラを設けた簡単な構成でも、後述する形態例に示すように、簡単な処理で前記方向ベクトルを求めることができる。
【００１０】
なお、上述したように消失点から前記方向ベクトルを求める場合、さらに次のような態様とすることが好ましい。
即ち、第１の態様は、前記撮像手段により得られた画像を、複数の小領域に分割する領域分割部を備え、
前記線分検出部が、前記線分の検出を前記小領域毎に実行して、前記線分の対を複数検出し、
前記方向ベクトル検出部が、これら複数の線分の対に基づいて前記画像上の消失点を複数求め、これら消失点の中から、最も手前側に位置する一対の線分上の点及び各消失点を頂点とする画像上の三角形領域と、自車両が走行しているレーンの画像上の領域（以下、場合により道路領域という）との共通領域の面積が最大となる消失点を選択し、この選択した消失点から前記方向ベクトルを求めるものである。なお、上記道路領域は、例えば上記複数の線分によって囲まれた領域として求めることができる。
【００１１】
次に第２の態様は、前記線分検出部が、前記画像の下辺に沿った最下帯状領域にある前記線分の対を検出し、
前記方向ベクトル検出部は、前記最下帯状領域にある前記線分の対に基づいて前記画像上の消失点を求め、この消失点を所定の矩形領域において離散化することによって画像上の複数の座標を決定し、これら座標の中から、前記最下帯状領域にある一対の線分上の点及び各座標を頂点とする画像上の三角形領域と、自車両が走行しているレーンの画像上の領域との共通領域の面積が最大となる座標を選択し、この選択した座標から前記方向ベクトルを求める構成であり、前記矩形領域は前記離散化前の消失点を中心とする規定の大きさの矩形領域であることを特徴とするものである。
【００１２】
これら第１の態様又は第２の態様であると、複数の消失点（或いは、一つの消失点を離散化してなる複数の座標）の中から、道路全体を最もよく見渡せる点の方向にセンサの中心軸が補正されるので、Ｓ字カーブなどの複雑に曲率が変化する道路状況、或いはアップダウンの激しい道路状況でも、検出すべき検出対象（特に先行車又は後続車）をより見逃し難い。
加えて、第２の態様の場合には、消失点を１点しか計算しないので、計算負荷が軽減される利点がある。
【００１３】
なお、上記第１の態様では、前記方向ベクトル検出部が、前記センサにより得られた検出対象（少なくとも、先行車又は後続車）の位置情報に基づき、当該検出対象が画像上で前記線分と重なる又は重なる可能性のある小領域を特定し、この小領域を前記消失点を求める対象から排除する構成が好ましい。このようにすれば、例えば先行車などがレーンの縁（レーンとレーンの境界含む）にいることによって、その位置の線分が適正に検出できず、補正ができなくなること、或いは良好な補正ができなくなることを防止できる。
【００１４】
また本発明の補正は、自車の走行中或いはイグニションスイッチのオン時などに、常時（例えば周期的に）行ってもよいが、次のようにして必要なときだけ行い、処理の効率化を図るようにしてもよい。即ち、検出対象の水平方向位置が変化したと検知したこと、自車両の速度が変化したと検知したこと、自車両が水平に対して傾いたと検知したこと、及び自車両が車線変更したと検知したことのうち、何れか一つ又は複数の条件が成立したことを起因として、前記制御処理手段が前記中心軸の向きを補正する新たな制御を開始する態様としてもよい。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
（第１形態例）
図１は、本例の車載用レーダ装置の構成を説明する図であって、図１（ａ）は全体構成を示すブロック図、図１（ｂ）は画像処理ユニットを説明する機能ブロック図である。
【００１６】
まず、全体構成について説明する。
本装置は、図１（ａ）に示すように、カメラ１（撮像手段）と、センサ２と、画像処理ユニット３と、コントローラ４とよりなる。
カメラ１は、例えばＣＣＤ又はＣＭＯＳなどの周知のデバイスよりなる撮像手段であり、この場合、１個だけ設置されている。またカメラ１は、例えば自車前方の路面を含む画像が得られるように、自車の前方斜め下（或いは後方斜め下）に向けて搭載される（図６参照）。
センサ２は、例えばレーザレーダである。
画像処理ユニット３は、マイクロコンピュータ（以下、マイコンという）を含む回路よりなり、カメラ１により得られた画像からセンサ２の光軸の最適方向を求めて出力する。
コントローラ４は、図示省略したアクチュエータを制御して、画像処理ユニット３が出力した最適方向にセンサ２の光軸を変化させるもので、やはりマイコンを含む回路よりなる。なお、画像処理ユニット３とコントローラ４は、一体のユニットとして構成することもできる。
【００１７】
次に、画像処理ユニット３の詳細を説明する。画像処理ユニット３は、機能的に図１（ｂ）に示す要素（歪補正部１１、帯領域分割部１２、白線検出部１３、消失点検出部１４、及び走査領域算出部１５）を有する。
ここで、歪補正部１１は、後述する図２のステップＳ１に対応するもので、カメラ１のレンズの歪の影響を排除すべく、カメラ１により得られた画像データを補正するものである。
帯領域分割部１２は、後述する図２のステップＳ２に対応するもので、曲率が一定でないＳ字カーブなどの道路状況にも的確に対応するため、線分を含む複数の小領域（この場合、横長の帯状領域）に画像を分割する。
白線検出部１３は、後述する図２のステップＳ３〜Ｓ５に対応するもので、自車が走行している道路上のレーン両側の白線（黄線や破線を含めてもよい）を、領域毎の直線状の線分として検出する。
消失点検出部１４は、後述する図２のステップＳ６に対応するもので、領域毎に検出された線分から画像上の消失点を求める。
走査領域算出部１５は、後述する図２のステップＳ８〜Ｓ１３に対応するもので、領域毎に算出された消失点から最適な光軸方向を求める。
【００１８】
次に、本装置の動作（主に画像処理ユニット３の処理内容）について、図２により説明する。
画像処理ユニット３は、次の一連の処理（ステップＳ１〜Ｓ１４）を例えば周期的に繰り返す。
即ち、まずステップＳ１において、カメラ１の画像データを読み取り、歪補正を行う。具体的には、例えば数１に示す関係式により画素座標を（ｘ，ｙ）から（ｘ´，ｙ´）に変換する。なお。数１におけるκは負の定数である。
【００１９】
【数１】

【００２０】
次いでステップＳ２では、例えば図３（ａ）に示す如く、道路を含むように画像を横長の帯状領域（Ｎ個）に分割するための画像データの設定を行う。道路を含むようにとは、例えば図３（ａ）に示す如く、道路の画像が存在する画像フレームの下側の領域を少なくとも含むようにという意味である。またこの場合、帯状領域の横幅は画像全体の横幅と同等とし、帯状領域の縦幅は画像の下側の領域をＮ等分した幅とする。なお本例では、Ｎ＝７、即ち７個の帯状領域１〜７に分割する。また、ここでの帯状領域は、本発明の小領域に相当する。
【００２１】
次に、帯状領域毎にステップＳ３〜Ｓ６の処理を行う。
まず、ステップＳ３で、エッジ抽出用フィルタを使ってエッジ抽出を行う。エッジ抽出用フィルタとしては、例えば数２に示すような右向きＳｏｂｅｌフィルタを用いる。なお数２において、ｆ（ｘ，ｙ）は、画像上の座標（ｘ，ｙ）の画素濃度値を意味し、ｇ（ｘ，ｙ）はフィルタ処理後の値（隣接画素同士の濃度値の差分）を意味する。
【００２２】
【数２】

【００２３】
次いでステップＳ４では、白線候補抽出を行う。白線候補抽出とは、数２で計算されたｇ（ｘ，ｙ）よりなるエッジ画像に対して、所定のしきい値（２５６階調の場合には、例えば１２８）により２値化処理を行い、道路両側の白線の内側の座標（白線候補点）を求める。具体的には、前記エッジ画像を左から右に向かって移動したとき、しきい値を超え、さらにその後左右方向の幅が規定幅Ｂ以内においてしきい値を下回る座標が存在すれば、その時の最初の座標（しきい値を超えた座標）が左側の白線の左端と推定され、その時の後の座標（しきい値を下回った座標）が左側の白線の右端（左側の白線の内側）と推定される。また、同様の処理で右側の白線の左端（右側の白線の内側）を求め、これら白線の内側の座標を白線候補点として求める。なお通常、これら白線候補点は、帯状領域の縦方向の画素数分だけ複数求まる。またここで、規定幅Ｂによる制限は、実際の白線幅に相当する幅を大きく超えるものを排除し、白線のエッジだけを信頼性高く検出するためのものである。
なお、この白線候補抽出では、路面の汚れや道路周辺の建造物などの画像成分（輪郭線など）を誤って白線として検出しないように、白線を検出する画像中の位置や領域、或いは角度範囲等を予めあり得る条件に限定しておくのが好ましい。例えば、既述した図５（ｃ）に示すような限定条件を設定して、上記白線候補抽出を行うのがよい。
【００２４】
次にステップＳ５では、上記白線候補点に対してＨｏｕｇｈ変換を行い、最も適合する２直線を、小領域毎の各白線の内側の接線（本発明の線分或いはその延長線）としてを求める。
Ｈｏｕｇｈ変換とは、画像上（ｘ−ｙ平面上）の候補点の座標（ｘ，ｙ）に対して、数３で示すρ−θ平面上のＨｏｕｇｈ曲線を求め、このＨｏｕｇｈ曲線の交点の座標から画像上の直線を抽出する処理である。この場合、最も適合する２直線は、前述した複数の白線候補点から得られた複数のＨｏｕｇｈ曲線が多く交差する二つの交点（ρａ，θａ）及び（ρｂ，θｂ）を求めれば特定できる。数３の式においてρとθの値が決まれば、画像上の直線が特定できるからである。なお図５（ｂ）は、（ｘ，ｙ）と（ρ，θ）の位置関係を示す。
【００２５】
【数３】

【００２６】
次に、ステップＳ６では、ステップＳ５で得られた前記二つの直線のデータから画像上の消失点の座標を算出する。消失点は前記二つの直線の交点であるから、前述したデータ（ρａ，θａ）及び（ρｂ，θｂ）から、数４の式によって求まる。
【００２７】
【数４】

【００２８】
次に、ステップＳ７では、ステップＳ３〜Ｓ６の実行回数がＮ未満であるか否か（即ち、全ての帯状領域についてステップＳ３〜Ｓ６の処理が完了していないか否か）を判定し、Ｎ未満であればステップＳ３に戻って次の帯状領域について処理を繰り返す。そして、Ｎ以上であれば（全ての帯状領域について処理完了であれば）、ステップＳ８に進む。
なお図３（ｂ）は、以上の処理により求められた消失点の例を示す図である。図中、太線が道路の白線を示し、破線が各小領域毎に求められた白線の内側（線分）を延長した直線であり、▲１▼〜▲６▼の符号が消失点を示す（この場合７番目の消失点▲７▼は求められなかった）。
【００２９】
次にステップＳ８では、道路領域検出を行う。道路領域検出は、例えばステップＳ３〜Ｓ４の処理により得られた白線の内側の座標に基づいて、二つの白線で囲まれた道路領域（例えば、図４（ａ）に斜線で示す領域）を検出する。
次に、帯状領域毎にステップＳ９〜Ｓ１０の処理を行う。
まず、ステップＳ９では、最大Ｎ個存在する各消失点を上側の頂点とし、手前両側の白線上の点を下側の頂点とする底辺が一定の三角形領域を検出する。即ち、帯状領域１については、例えば図４（ｂ）に斜線で示すように、ステップＳ６で帯状領域１について求められた消失点を上側の頂点とし、ステップＳ５で帯状領域１について求められた両側の直線（両白線の内縁側の線）の下端を下側の頂点（底辺の両端点）とする三角形の領域を検出する。また、帯状領域２以降についても、同様に各消失点を上側の頂点とし、帯状領域１について求められた両側の直線の下端を下側の頂点とする三角形の領域を検出する。なお、図４（ｂ）の場合には、両白線の下端内側が画像フレームの下側両隅部に位置しているため、上記三角形の底辺が画像フレームの下辺に一致しているが、必ずしもこのようになるとは限らない。例えば、両白線の下端が画像フレームの横幅よりも内側にある場合には、上記三角形の底辺は画像フレームの横幅（下辺の長さ）よりも短い線分となる。また、上記三角形の下側の頂点は、必ずしも帯状領域１における白線の内縁側の下端である必要はなく、例えば帯状領域１における白線の上端の点（帯状領域１と帯状領域２の境界上の点）でもよいし、帯状領域１における白線の外縁側の点でもよい。また、帯状領域１内に白線が存在しない場合等には、例えば一つ上の帯状領域２における白線上の点を、上記三角形の下側の頂点としてもよい。
【００３０】
次にステップＳ１０では、ステップＳ８で求めた道路領域と、ステップＳ９で求めた三角形領域とのＡＮＤ面積（重複部分の面積）を求める。
次にステップＳ１１では、ステップＳ７と同様に、全ての帯状領域についてステップＳ９〜Ｓ１０の処理が完了したか否かを判定し、全ての帯状領域について処理完了であればステップＳ１２に進み、そうでなければステップＳ９に戻る。そしてステップＳ１２では、ステップＳ１０で求めたＡＮＤ面積が最大となる帯状領域Ｎｍａｘを求める。なお以降では、この帯状領域Ｎｍａｘとして帯状領域６が求められたと仮定して説明を進める。
【００３１】
次にステップＳ１３では、上記帯状領域Ｎｍａｘ（帯状領域６）の消失点の座標（Ｘ６，Ｙ６）を道路座標系（ｘｒ，ｙｒ，ｚｒ）に変換し、前記消失点の道路座標上での方向ベクトルＶ６を求める。なお、センサ２（レーザレーダなど）は、通常車両のラジエター（バンパの上）に取り付けられるため、センサ２の座標系は厳密には道路座標系とは若干異なるが、センサ２の方向を補正する場合、センサ２の座標系と道路座標系を同一視し、道路座標系のデータでその方向を補正しても特に問題ない。
【００３２】
図６に示すように、各座標系の符号と方向の関係を定めた場合、道路座標系（ｘｒ，ｙｒ，ｚｒ）とカメラ座標系（ｘｃ，ｙｃ，ｚｃ）と画像座標系（Ｘ，Ｙ）の間には、次の数５及び数６に示す関係式が成り立つ。ここで、Ｒは３×３の行列、Ｔは３×１の行列を表す。また、ＲとＴは、カメラキャリブレーションで予め設定しておく。また、数６におけるＦは、カメラ１の焦点距離である。
【００３３】
【数５】

【００３４】
【数６】

【００３５】
このため、次のようすれば、消失点の座標（Ｘ６，Ｙ６）を道路座標系（ｘｒ，ｙｒ，ｚｒ）に変換できる。
即ち、数６の（Ｘ，Ｙ）に（Ｘ６，Ｙ６）を代入し、数７に示すようにカメラ座標系（ｘｃ，ｙｃ，ｚｃ）にまず変換する。なお、数７においてはｚｃ＝ｋとしている。
【００３６】
【数７】

【００３７】
次に、数７の式を数５の式に代入すれば、数８に示す式のように道路座標系（ｘｒ，ｙｒ，ｚｒ）に変換できる。なお、数８の式におけるｋの値は、適当な拘束条件を適用して、算出すればよい。例えば、レーザレーダの測定可能距離（例えば、１５０ｍ）を数８の式のｚｒに代入してｋを求め、この値に設定すればよい。
【００３８】
【数８】

【００３９】
そして、上述したように求めた前記消失点の道路座標系での座標から、単位ベクトルを求めれば、それが方向ベクトルＶ６である。
最後に、ステップＳ１４では、上記方向ベクトルＶ６から、光軸の最適位置を求めてコントローラ４に出力する。これを受けて、コントローラ４は、指令された最適位置に光軸を動かし、光軸の向きが方向ベクトルＶ６に一致するように補正される。
なお、図５（a）はレーザレーダ２の走査範囲（走査領域）を示す図である。ここで、座標原点Ｏは、通常状態（補正なしの状態）での走査の中心座標である。また、（−Ｓｘ，Ｓｘ）と（−Ｓｙ，Ｓｙ）が通常状態での走査範囲であり、（−Ｓｘmax，Ｓｘmax）と（−Ｓｙmax，Ｓｙmax）が最大の走査範囲を示す。即ち、レーザレーダ２の走査範囲の中心（光軸）をｘｌ方向（横方向）に動かすことができる最大補正量はＳｘmax−Ｓｘであり、ｙｌ方向（上下方向）に動かすことができる最大補正量はＳｙmax−Ｓｙである。
【００４０】
したがって、前述の単位ベクトルＶ６の成分（ｘｒ，ｙｒ，ｚｒ）から、数９に示す関係式により求まるｘｌ方向とｙｌ方向の光軸位置（ｘＬ，ｙＬ）が、光軸の最適位置となる。
【００４１】
【数９】

【００４２】
以上説明したレーダ装置によれば、自車両の前方又は後方の画像における自車両が走行しているレーンに沿った線分（この場合、白線の内側エッジ）の実座標上での方向にセンサの中心軸が補正されるため、曲率が一定でない道路や勾配のある道路状況でも、検出すべき検出対象（特に先行車又は後続車）を見逃し難い。特に本形態例の場合には、画像を領域分割して得られた複数の消失点の中から、道路全体を最もよく見渡せる消失点の方向にセンサの中心軸が補正されるので、Ｓ字カーブなどの複雑に曲率が変化する道路状況、或いはアップダウンの激しい道路状況でも、検出すべき検出対象をより見逃し難い。
また本発明は、消失点を求めて方向ベクトルを定めているため、撮像手段として一つのカメラを設けた簡単な構成でも、上述したような簡単な処理で前記方向ベクトルを求めることができる。
【００４３】
（第２形態例）
次に、第２形態例を説明する。この形態例は、画像処理ユニット３の処理内容の一部に特徴を有し、他は第１形態例と同様である。図８は、本例の処理内容を示すフローチャートである。なお、第１形態例（図２）と同様のステップには同符号を付して重複する説明を省略する（後述の第３形態例も同様）。
この場合、消失点は、最下の帯状領域１（Ｎ＝１）のみについて求められる（ステップＳ３〜Ｓ６）。
そして、ステップＳ８（道路領域検出）の次のステップＳ２１では、図７（ａ）に示すように、Ｎ＝１のときの消失点を、この消失点を中心とする上下左右の矩形領域に離散化してなる画像上の複数（Ｄ個）の座標（点）を決定する。例えば図７（ａ）では、Ｎ＝１のときの消失点を中心に、規定の間隔で左右に５列と上下に３列の点（この場合、Ｄ＝１５）を生成している。
【００４４】
次いでステップＳ２２〜Ｓ２６では、図２のステップＳ９〜Ｓ１３と同様に、Ｄ個存在する各座標を上側の頂点とし、手前両側の白線上の点を下側の頂点とする画像上の三角形領域と、ステップＳ８で求めた道路領域との共通領域の面積が最大となる座標を選択し、この選択された座標から前記方向ベクトルを求める。
この第２形態例によれば、第１形態例と同様の加えて、次のような効果がある。即ち、この第２の態様の場合には、消失点を１点しか計算しないので、計算負荷が軽減される利点がある。
【００４５】
（第３形態例）
次に、第３形態例を説明する。この形態例も、画像処理ユニット３の処理内容の一部に特徴を有する。但し本例の場合には、図１（ａ）に破線で示すように、レーザレーダ２による検出結果の情報（少なくとも、他車両の位置情報）が、例えばコントローラ４から画像処理ユニット３に入力される構成となっている必要がある。
図９は、本例の処理内容を示すフローチャートである。
この場合、ステップＳ２の次に、ステップＳ３１が設けられている。このステップＳ３１では、消失点を求めようとする帯状領域に他車両が存在していて、他車両が線分と重なっている可能性があるか否かを、レーザレーダ２による検出結果の情報に基づいて判断する。そして、他車両が存在していれば、ステップＳ３〜Ｓ６をスキップしてステップＳ７に進み、その帯状領域についての消失点の算出は実行しない。
【００４６】
なお、帯状領域に他車両が存在しているか否かの判定は、例えば次のようにして行う。即ち、レーザレーダ２による検出結果の情報（他車両の位置情報）に基づいて、他車両が存在する画像上の位置を求め、その位置の近傍でヒストグラムを形成し、他車両の画像上での概略の幅寸法や高さ寸法を定めて他車両が存在する画像上の領域を特定する。そして、例えばこの領域と各帯状領域との重複割合を算出し、所定の割合以上重複している帯状領域には他車両が存在していると判定すればよい。
【００４７】
本形態例によれば、先行車等が存在する帯状領域が前記方向ベクトル（消失点）を求めるための処理対象から除外される。例えば、図７（ｂ）に示すような画像が得られたときには、領域４及び５が除外される。このため、図７（ｂ）に示すように、先行車などがレーンの縁（レーンとレーンの境界含む）にいることによって、その位置の線分（この場合、白線のエッジ）がその先行車等に隠れて適正に検出できず、補正ができなくなること、或いは良好な補正ができなくなることを防止できる。
【００４８】
なお、本発明は上記形態例に限られず、各種の態様や変形が有り得る。
例えば、上記形態例における画像処理ユニット３は、図１（ｃ）に示すような構成でよい。図１（ｃ）は、画像処理ユニット３の上位概念的機能ブロック図であり、この場合画像処理ユニット３は、前処理部２１と、領域分割部２２と、線分検出部２３と、方向ベクトル検出部２４と、演算部２５とよりなる。
前処理部２１は、図１（ｂ）の歪補正部１１に対応するもので、ここでは、前述のレンズの歪補正（幾何学的補正）に加え、ガンマ補正やコントラスト強調などの輝度補正、メディアンフィルタなどのノイズ除去を、必要に応じて行ってもよい。
【００４９】
また、領域分割部２２は、横長の帯状領域に画像を分割する態様に限られず、例えば縦長の帯状領域に画像を分割する態様、或いは格子状に画像を分割するものであってもよい。なお、このように画像を分割する場合、対をなす線分の組（レーンの両側に存在し、同一の消失点に向かうもの）をどのように対応付けるかが問題となるが、例えば、画像の左右対称位置にある領域でそれぞれ検出された線分を、一対の線分として選択すればよい。即ち、例えば縦長の帯状領域に分割する場合、画像における最も左側の帯状領域で検出された線分と、最も右側の帯状領域で検出された線分の延長線の交点として一つ目の消失点を特定し、画像における左から２番目の帯状領域で検出された線分と、右から２番目の帯状領域で検出された線分の延長線の交点として二番目の消失点を特定する、といったように順次消失点を求めればよい。
また、画像を分割する際の分割幅は必ずしも均等又は一定でなくてよい。また、分割数Ｎは、前記形態例のようにＮ＝７以外でもよいし、可変でもよい。
【００５０】
また、線分検出部２３は、図１（ｂ）の白線検出部１３に対応するが、この白線検出部１３の態様に限られず、既述したように、白線以外にも、ガードレールなどの画像を構成する線、或いはこれら画像の経時変化から得られるオプティカルフローを、本発明の線分として検出するものであってもよい。
また、方向ベクトル検出部２４は、図１（ｂ）の消失点検出部１４及び走査領域算出部１５の一部に対応するが、消失点を求めないで線分の方向ベクトルを特定する態様もあり得る。例えば、複数のカメラを設置して、三角測量の原理で線分上の点の３次元位置を求め、実座標における線分の方向を計算してもよい。このような態様であると、単独の線分で（いいかえると、線分毎に）方向ベクトルが定まる（即ち、前記形態例のように線分の対を検出する必要がない）。
また演算部２５は、算出された方向ベクトルから最適な光軸方向を求めるもので、図１（ｂ）の走査領域算出部１５に対応する。
【００５１】
また前記形態例では、画像を分割して得られた複数の線分から複数の方向ベクトル（消失点）を求め、この中から、前述した三角形領域と道路領域の重複部分が最大となる方向ベクトルを選択しているが、複数の線分から最終的な方向ベクトルを選択して光軸を補正する態様は、このようなものに限定されない。例えば、自車両から比較的遠く離れた位置（画像における上方領域）の白線よりなる線分と、自車両に近い位置（画像における下方領域）の白線よりなる線分といったように、前記線分を道路の長手方向に複数検出し、これらの平均的方向にセンサの中心軸を補正する態様（消失点を求めない態様含む）でもよい。平均的方向が、必ずしも最良の方向とはならないが、従来のように一定の曲率であるとして光軸を補正する場合に比較すれば、道路全体を見渡すことができ、先行車等を見逃し難い。
【００５２】
また、前記形態例では、画像処理ユニット３とコントローラ４が本発明の制御手段を構成しており、前述したように例えば図２の処理を周期的に行って光軸の補正を常時定期的に行っているが、既述したように、必要なとき（例えば先行車の水平位置が変化したことが検知されたとき）だけ、光軸補正を行う態様でもよい。
また、前記第３形態例では、他車両が存在している小領域は他車両が線分と重なっている可能性があるとして、そのような小領域を全て、方向ベクトル（消失点）を求める処理対象から除外している。しかし、他車両が存在している小領域でも、そこで他車両が線分と重なっていないと判定できる場合（例えば、その他車両が画像の下側の左右方向中央位置にあって、レーンの端に存在しないと判定できる場合など）には、処理対象からその小領域を除外しない構成（即ち、他車両が線分と重なっている小領域のみを除外する態様）でもよい。
【００５３】
【発明の効果】
本発明の車載用レーダ装置によれば、自車両の前方又は後方の画像における自車両が走行しているレーンに沿った線分の実座標上での方向にセンサの中心軸が補正されるため、曲率が一定でない道路や勾配のある道路状況でも、検出すべき検出対象（特に先行車又は後続車）を見逃し難い。
【図面の簡単な説明】
【図１】車載用レーダ装置の構成を説明する図である。
【図２】光軸補正処理（第１形態例）のフローチャートである。
【図３】画像の領域分割及び消失点を説明する図である。
【図４】画像における道路領域及び三角形領域を説明する図である。
【図５】レーザレーダの走査範囲などを説明する図である。
【図６】各座標系の符号と方向の関係を示す図である。
【図７】他の形態例を説明する図である。
【図８】光軸補正処理（第２形態例）のフローチャートである。
【図９】光軸補正処理（第３形態例）のフローチャートである。
【符号の説明】
１カメラ（撮像手段）
２レーザレーダ（センサ）
３画像処理ユニット（制御手段）
４コントローラ（制御手段、補正制御部）
２３線分検出部
２４方向ベクトル検出部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a radar device mounted on a vehicle.
[0002]
[Prior art]
In recent years, an automobile may be provided with a monitoring function for a preceding vehicle, a follow-up traveling function for a preceding vehicle, and the like in order to improve ease of driving and safety. In order to realize such a function, a sensor such as a laser radar or a millimeter wave radar is used, and at least position information of a detection target (an obstacle such as a preceding vehicle or a guardrail) existing in front of or behind the host vehicle is obtained. A radar device for acquisition is mounted on the vehicle.
In such an on-vehicle radar device, it is preferable to appropriately correct the central axis of the scanning range or the central axis of the detection range (hereinafter sometimes referred to as the optical axis) so that the preceding vehicle is not missed even during curve driving, As a technique for that purpose, there has been conventionally disclosed in Patent Document 1.
This corresponds to the oversight of a preceding vehicle that is driving on a curve or a preceding vehicle that is not traveling in the center of the lane, and the optical axis is set so as not to miss the preceding vehicle from the curvature of the curve and the lateral position of the vehicle and the preceding vehicle. Is to correct.
[0003]
[Patent Document 1]
JP-A-9-218265
[0004]
[Problems to be solved by the invention]
However, the above prior art assumes that the curve curvature is substantially constant like a flat road without a gradient or a highway. For this reason, when the road is flat and the curve curvature is substantially constant, it is less likely to miss the preceding vehicle, but when there is a gradient like in an urban area or when the curve curvature changes finely, the prior art Even if the optical axis is corrected like this, the preceding vehicle is missed. This is because the prior art specifies the direction of the optical axis to be corrected based on the curvature of the curve and the lateral position of the host vehicle and the preceding vehicle, and cannot correct the optical axis in the vertical direction (vertical direction). (The ideal direction of the optical axis in the vertical direction cannot be specified). Therefore, the vertical position of the optical axis is constant, and if there is a gradient, the preceding vehicle will deviate from the detection area in the vertical direction and cannot be detected. There is a fear. Further, since the conventional technique obtains and corrects the optimum optical axis on the assumption that the curvature is constant even for an S-curve, for example, when the curvature changes finely, a large error (obtained in the horizontal direction) is obtained. This is because a preceding vehicle is likely to deviate from the corrected detection area in the lateral direction due to a difference between the optical axis direction and the actually optimal optical axis direction.
Therefore, an object of the present invention is to provide an on-vehicle radar device that corrects the central axis of a sensor in an optimal direction even if there is a gradient or an S-curve, and makes it difficult to overlook a preceding vehicle.
[0005]
[Means for Solving the Problems]
An in-vehicle radar device according to the present invention is an in-vehicle radar device having a sensor for acquiring at least position information of a detection target existing in front of or behind the own vehicle,
Imaging means for acquiring an image including a road surface in front of or behind the host vehicle, and control means for correcting the orientation of the central axis of the sensor based on the image obtained by the imaging means,
The control means includes
A line segment detection unit for detecting a line segment along the lane in which the vehicle is traveling from the image, and a direction vector detection unit for obtaining a direction vector on the actual coordinates of the line segment obtained by the line segment detection unit; And a correction control unit that executes control for correcting the direction of the central axis vertically and horizontally so as to coincide with the direction vector obtained by the direction vector detection unit.
[0006]
Here, “detection target” basically means a preceding vehicle or a succeeding vehicle (including a motorcycle other than a four-wheeled vehicle), but may include an obstacle (such as a guardrail) other than the vehicle. .
The “sensor” is a device that irradiates a detection area with, for example, electromagnetic waves or sound waves and detects a detection target based on the reflected wave (specifically, a laser radar, a millimeter wave radar, or the like). This sensor does not necessarily need to be a scanning type, and may be a non-scanning type (however, having directivity and having a specific detection area).
The “center axis of the sensor” is the center axis of the detection area, and in the case of the scanning type, means the center axis of the scanning range.
In addition, “a line segment along the lane in which the host vehicle is traveling” means a mark (white line, yellow line, double line, broken line, etc.) on one or both sides of the lane in which the host vehicle is traveling. ), Guard rails, median strips, protective walls, borders with sidewalks, etc., lines that make up images (so-called edges), or optical flows obtained from changes over time in these images, the lane in which the vehicle is traveling The tangential direction.
[0007]
Note that the detection of the line segment (extraction from the image) can be realized with considerable reliability by so-called edge extraction as long as the white line or the like is clear (light and dark). However, in order to improve the reliability of reliably detecting the line segment by eliminating image components such as dirt on the road surface and buildings around the road, or by lowering the detection threshold, the shading is not clear In order to be able to detect a certain amount of reliability (for example, an edge such as a median strip), the position and area in the image where the line segment is detected or the angle range of the line segment is limited to possible conditions. It is preferable to keep it. For example, as shown in FIG. 5 (c), from an angle range of 30 ° to 60 ° counterclockwise from the lower left side of the frame with the lower left of the image frame as the origin, and from an extension line of the lower side of the frame with the lower right of the image frame as the origin. You may limit the area | region and angle which detect the said line segment to the angle range of 120 degrees-150 degrees counterclockwise. The imaging direction and image of the imaging means (camera) are set so that the positions and directions of the edges on both sides of the lane in which the vehicle is traveling (white lines and median strips that divide the lane) are within these conditions. This is because it is easy and natural to set the angle, and in this case, only those predetermined line segments described above can be detected more reliably and easily by removing those that do not satisfy these conditions from the detection range.
[0008]
According to the on-vehicle radar device of the present invention, the center axis of the sensor is corrected in the direction on the actual coordinates of the line segment along the lane in which the host vehicle is traveling in the front or rear image of the host vehicle. It is difficult to miss a detection target (especially a preceding vehicle or a subsequent vehicle) to be detected even on a road with a non-constant curvature or a road with a slope. For example, if a line segment composed of a white line or the like at a predetermined distance from the vehicle (predetermined vertical position in the image) is detected and the center axis of the sensor is corrected in the actual coordinate direction of the line segment, The center axis of the sensor is corrected up, down, left, and right according to the road direction (three-dimensional direction) in front of or behind the vehicle, regardless of the curvature or gradient of the nearest road on which the vehicle is traveling at that time. Because it can. In particular, according to the present invention, since the central axis direction of the sensor moves up and down according to the gradient of the road ahead or behind, it is possible to correct the vertical direction, which has not been performed in the past, and it is difficult to overlook the preceding vehicle etc. even on a road with a gradient. Become.
In order to satisfactorily cope with road conditions with S-curves and ups and downs, a plurality of the line segments are detected and roads ahead or behind the host vehicle are detected from the direction of each line segment, as will be described later. It is preferable to identify an optimal direction vector that can be seen over.
[0009]
Next, a preferred aspect of the present invention has a function in which the line segment detection unit obtains one or more pairs on both sides of the lane on which the host vehicle is traveling as the line segment,
The direction vector detection unit obtains a vanishing point on the image as an intersection of the extension lines of the pair of lines, and obtains the direction vector from the vanishing point.
With such a mode, even with a simple configuration in which one camera is provided as an imaging unit, the direction vector can be obtained by a simple process as shown in a form example described later.
[0010]
In addition, when obtaining the direction vector from the vanishing point as described above, it is preferable to further adopt the following aspect.
That is, the first aspect includes an area dividing unit that divides the image obtained by the imaging unit into a plurality of small areas,
The line segment detection unit performs detection of the line segment for each of the small regions, and detects a plurality of pairs of the line segments,
The direction vector detection unit obtains a plurality of vanishing points on the image based on the plurality of line segment pairs, and from these vanishing points, a point on a pair of line segments located closest to each other and each vanishing point Select the vanishing point that maximizes the area of the common area between the triangular area on the image with the point at the top and the area on the image of the lane in which the vehicle is traveling (hereinafter referred to as the road area in some cases) The direction vector is obtained from the selected vanishing point. The road area can be obtained as an area surrounded by the plurality of line segments, for example.
[0011]
Next, in a second aspect, the line segment detection unit detects the pair of line segments in the lowest strip region along the lower side of the image,
The direction vector detection unit obtains a vanishing point on the image based on the line segment pair in the lowermost band-like region, and calculates the vanishing point. By discretizing in a given rectangular area A plurality of coordinates on the image are determined, and from these coordinates, a point on a pair of line segments in the bottom belt-shaped area and a triangular area on the image having each coordinate as a vertex, and the host vehicle travels. Select the coordinate that maximizes the area of the common area with the area on the image of the lane that is present, and obtain the direction vector from this selected coordinate The rectangular area is a rectangular area having a specified size centered on the vanishing point before the discretization. Is.
[0012]
In the first aspect or the second aspect, the sensor is arranged in the direction of the point where the entire road can be best viewed from among a plurality of vanishing points (or a plurality of coordinates obtained by discretizing one vanishing point). Since the central axis is corrected, it is difficult to overlook the detection target (especially the preceding vehicle or the succeeding vehicle) to be detected even in a road situation where the curvature changes in a complicated manner such as an S-curve or a road situation where the up / down is severe.
In addition, in the case of the second mode, since only one vanishing point is calculated, there is an advantage that the calculation load is reduced.
[0013]
In the first aspect, the direction vector detection unit may detect the detection target as the line segment on the image based on the position information of the detection target (at least the preceding vehicle or the following vehicle) obtained by the sensor. A configuration in which a small region that overlaps or possibly overlaps is specified, and the small region is excluded from the object for which the vanishing point is to be obtained is preferable. In this way, for example, if the preceding vehicle is at the edge of the lane (including the lane-to-lane boundary), the line segment at that position cannot be detected properly and correction cannot be made, or good correction can be made. It can be prevented from becoming impossible.
[0014]
The correction according to the present invention may be performed constantly (for example, periodically) while the host vehicle is running or the ignition switch is turned on. However, the correction is performed only when necessary in the following manner to improve processing efficiency. You may make it show. That is, detecting that the horizontal position of the detection target has changed, detecting that the speed of the host vehicle has changed, detecting that the host vehicle has tilted with respect to the horizontal, and detecting that the host vehicle has changed lanes Of these, the control processing means may start a new control for correcting the direction of the central axis because one or more conditions are satisfied.
[0015]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(First embodiment)
FIG. 1 is a diagram for explaining the configuration of the on-vehicle radar device of this example. FIG. 1A is a block diagram showing the overall configuration, and FIG. 1B is a functional block diagram showing an image processing unit. is there.
[0016]
First, the overall configuration will be described.
As shown in FIG. 1A, this apparatus includes a camera 1 (imaging means), a sensor 2, an image processing unit 3, and a controller 4.
The camera 1 is an imaging unit made of a known device such as a CCD or a CMOS, for example. In this case, only one camera 1 is installed. Moreover, the camera 1 is mounted toward the front lower side (or the rear lower side) of the host vehicle so that an image including the road surface in front of the host vehicle can be obtained (see FIG. 6).
The sensor 2 is a laser radar, for example.
The image processing unit 3 includes a circuit including a microcomputer (hereinafter referred to as a microcomputer), and obtains and outputs an optimum direction of the optical axis of the sensor 2 from an image obtained by the camera 1.
The controller 4 controls an actuator (not shown) to change the optical axis of the sensor 2 in the optimum direction output from the image processing unit 3, and is also composed of a circuit including a microcomputer. The image processing unit 3 and the controller 4 can be configured as an integral unit.
[0017]
Next, details of the image processing unit 3 will be described. The image processing unit 3 functionally includes the elements (distortion correction unit 11, band region division unit 12, white line detection unit 13, vanishing point detection unit 14, and scanning region calculation unit 15) illustrated in FIG.
Here, the distortion correction unit 11 corresponds to step S1 of FIG. 2 to be described later, and corrects image data obtained by the camera 1 so as to eliminate the influence of lens distortion of the camera 1.
The band area dividing unit 12 corresponds to step S2 in FIG. 2 to be described later, and a plurality of small areas including line segments (in this case) in order to accurately correspond to road conditions such as an S-shaped curve whose curvature is not constant. The image is divided into horizontally long belt-like regions).
The white line detection unit 13 corresponds to steps S3 to S5 in FIG. 2 described later, and white lines on both sides of the lane on the road on which the vehicle is traveling (which may include a yellow line or a broken line) are displayed for each region. It is detected as a straight line segment.
The vanishing point detection unit 14 corresponds to step S6 in FIG. 2 described later, and obtains a vanishing point on the image from the line segment detected for each region.
The scanning area calculation unit 15 corresponds to steps S8 to S13 in FIG. 2 described later, and obtains the optimum optical axis direction from the vanishing point calculated for each area.
[0018]
Next, the operation of this apparatus (mainly the processing contents of the image processing unit 3) will be described with reference to FIG.
The image processing unit 3 repeats the following series of processes (steps S1 to S14), for example, periodically.
That is, first, in step S1, image data from the camera 1 is read and distortion correction is performed. Specifically, for example, the pixel coordinates are converted from (x, y) to (x ′, y ′) by the relational expression shown in Formula 1. Note that. Κ in Equation 1 is a negative constant.
[0019]
[Expression 1]

[0020]
Next, in step S2, for example, as shown in FIG. 3A, image data for dividing the image into horizontally long belt-like regions (N) so as to include a road is set. “To include a road” means to include at least a lower region of an image frame where a road image exists, as shown in FIG. 3A, for example. In this case, the width of the band-like area is equal to the width of the entire image, and the width of the band-like area is a width obtained by dividing the lower area of the image into N equal parts. In this example, N = 7, that is, it is divided into seven strip regions 1-7. Further, the belt-like region here corresponds to a small region of the present invention.
[0021]
Next, the processing of steps S3 to S6 is performed for each band-like region.
First, in step S3, edge extraction is performed using an edge extraction filter. As the edge extraction filter, for example, a right-facing Sobel filter as shown in Equation 2 is used. In Equation 2, f (x, y) means a pixel density value at coordinates (x, y) on the image, and g (x, y) is a value after filtering (the density value of adjacent pixels). Difference).
[0022]
[Expression 2]

[0023]
Next, in step S4, white line candidate extraction is performed. White line candidate extraction is performed by performing binarization processing on an edge image composed of g (x, y) calculated by Equation 2 using a predetermined threshold value (for example, 128 in the case of 256 gradations). The coordinates (white line candidate points) inside the white line on both sides of the road are obtained. Specifically, when the edge image is moved from the left to the right, if there is a coordinate that exceeds the threshold, and then the width in the left-right direction is less than the threshold within the specified width B, then The first coordinate (coordinate exceeding the threshold) is estimated as the left edge of the left white line, and the later coordinate (coordinate below the threshold) at that time is the right edge of the left white line (inside the left white line) Presumed. Further, the left end of the right white line (inside the right white line) is obtained by the same processing, and the coordinates inside these white lines are obtained as white line candidate points. Normally, a plurality of white line candidate points are obtained by the number of pixels in the vertical direction of the belt-like region. Here, the restriction by the specified width B is for excluding those that greatly exceed the width corresponding to the actual white line width, and for detecting only the edge of the white line with high reliability.
In this white line candidate extraction, the position, region, or angle range in the image where the white line is detected so that image components such as dirt on the road surface and buildings around the road (such as contour lines) are not erroneously detected as white lines. It is preferable to limit the conditions to possible conditions in advance. For example, the white line candidate extraction may be performed by setting a limiting condition as shown in FIG.
[0024]
Next, in Step S5, Hough transformation is performed on the white line candidate point, and the two most suitable straight lines are obtained as tangent lines (the line segment of the present invention or its extension line) inside each white line for each small area.
The Hough transform refers to the coordinates of the candidate point on the image (on the xy plane), the Hough curve on the ρ-θ plane expressed by Equation 3, and the coordinates of the intersection of the Hough curve. Is a process of extracting a straight line on the image from the image. In this case, the most suitable two straight lines can be specified by obtaining two intersections (ρa, θa) and (ρb, θb) where a plurality of Hough curves obtained from the plurality of white line candidate points described above intersect. This is because if the values of ρ and θ are determined in Equation 3, a straight line on the image can be specified. FIG. 5B shows the positional relationship between (x, y) and (ρ, θ).
[0025]
[Equation 3]

[0026]
In step S6, the coordinates of the vanishing point on the image are calculated from the data of the two straight lines obtained in step S5. Since the vanishing point is an intersection of the two straight lines, the vanishing point is obtained by the equation (4) from the data (ρa, θa) and (ρb, θb) described above.
[0027]
[Expression 4]

[0028]
Next, in step S7, it is determined whether or not the number of executions of steps S3 to S6 is less than N (that is, whether or not the processing of steps S3 to S6 has been completed for all the band-like regions). If it is less, the process returns to step S3 and the process is repeated for the next strip region. If it is N or more (if processing is completed for all strip regions), the process proceeds to step S8.
FIG. 3B is a diagram illustrating an example of vanishing points obtained by the above processing. In the figure, the thick line indicates the white line of the road, the broken line is a straight line obtained by extending the inside (line segment) of the white line obtained for each small area, and the symbols (1) to (6) indicate the vanishing point ( In this case, the seventh vanishing point (7) was not obtained).
[0029]
Next, in step S8, road area detection is performed. For road area detection, for example, a road area surrounded by two white lines (for example, an area indicated by diagonal lines in FIG. 4A) is detected based on the coordinates inside the white line obtained by the processing in steps S3 to S4. To do.
Next, the processing of steps S9 to S10 is performed for each band-like region.
First, in step S9, a triangular region having a fixed base is detected with each of the vanishing points existing at a maximum of N as upper vertices and the points on the white lines on both sides in front are lower vertices. That is, for the belt-like region 1, for example, as indicated by hatching in FIG. 4B, the vanishing point obtained for the belt-like region 1 in step S6 is the upper vertex, and both sides obtained for the belt-like region 1 in step S5. A triangular area having the lower end of the straight line (the inner side of both white lines) as the lower apex (both end points of the base) is detected. Similarly, for the band-like area 2 and later, a triangular area having the vanishing points as upper vertices and the lower ends of both straight lines obtained for the band-like area 1 as lower vertices is detected. In the case of FIG. 4B, since the bottom inner sides of both white lines are located at both lower corners of the image frame, the bottom of the triangle coincides with the lower side of the image frame. This is not always the case. For example, when the lower ends of both white lines are inside the width of the image frame, the base of the triangle is a line segment shorter than the width of the image frame (the length of the lower side). Further, the lower vertex of the triangle does not necessarily need to be the lower end on the inner edge side of the white line in the band-like region 1, for example, the upper point of the white line in the band-like region 1 (on the boundary between the band-like region 1 and the band-like region 2). Point) or a point on the outer edge side of the white line in the belt-like region 1. Further, when there is no white line in the band-like region 1, for example, a point on the white line in the upper band-like region 2 may be set as the lower vertex of the triangle.
[0030]
Next, in step S10, an AND area (area of overlapping portions) between the road region obtained in step S8 and the triangular region obtained in step S9 is obtained.
Next, in step S11, as in step S7, it is determined whether or not the processing in steps S9 to S10 has been completed for all the strip-shaped regions. If the processing has been completed for all the strip-shaped regions, the process proceeds to step S12. If not, the process returns to step S9. In step S12, a belt-like region Nmax that maximizes the AND area obtained in step S10 is obtained. In the following description, it is assumed that the belt-like region 6 is obtained as the belt-like region Nmax.
[0031]
In step S13, the vanishing point coordinates (X6, Y6) of the band-like region Nmax (band-like region 6) are converted into a road coordinate system (xr, yr, zr), and the vanishing point direction on the road coordinates is converted. The vector V6 is obtained. Since the sensor 2 (laser radar or the like) is usually attached to a radiator (on the bumper) of the vehicle, the sensor 2 coordinate system is slightly different from the road coordinate system, but the direction of the sensor 2 is corrected. In this case, there is no particular problem even if the coordinate system of the sensor 2 and the road coordinate system are regarded as the same and the direction is corrected with the data of the road coordinate system.
[0032]
As shown in FIG. 6, when the relationship between the sign and direction of each coordinate system is defined, the road coordinate system (xr, yr, zr), the camera coordinate system (xc, yc, zc), and the image coordinate system (X, Y) ), The following relational expressions shown in

Equations

5 and 6 hold. Here, R represents a 3 × 3 matrix, and T represents a 3 × 1 matrix. R and T are set in advance by camera calibration. Further, F in Equation 6 is the focal length of the camera 1.
[0033]
[Equation 5]

[0034]
[Formula 6]

[0035]
Therefore, the vanishing point coordinates (X6, Y6) can be converted into the road coordinate system (xr, yr, zr) as follows.
That is, (X6, Y6) is substituted into (X, Y) in Equation 6, and first converted into the camera coordinate system (xc, yc, zc) as shown in Equation 7. In Equation 7, zc = k.
[0036]
[Expression 7]

[0037]
Next, by substituting Equation 7 into Equation 5, it can be converted into a road coordinate system (xr, yr, zr) as shown in Equation 8. In addition, what is necessary is just to calculate the value of k in Formula 8 by applying an appropriate constraint condition. For example, the measurable distance of the laser radar (for example, 150 m) may be substituted for zr in the equation 8 to obtain k and set to this value.
[0038]
[Equation 8]

[0039]
And if a unit vector is calculated | required from the coordinate in the road coordinate system of the said vanishing point calculated | required as mentioned above, it will be the direction vector V6.
Finally, in step S14, the optimum position of the optical axis is obtained from the direction vector V6 and output to the controller 4. In response to this, the controller 4 moves the optical axis to the commanded optimum position and corrects the direction of the optical axis to coincide with the direction vector V6.
FIG. 5A is a diagram showing a scanning range (scanning region) of the laser radar 2. Here, the coordinate origin O is the center coordinate of scanning in a normal state (state without correction). Further, (-Sx, Sx) and (-Sy, Sy) are scanning ranges in the normal state, and (-Sxmax, Sxmax) and (-Symax, Symax) are the maximum scanning ranges. That is, the maximum correction amount that can move the center (optical axis) of the scanning range of the laser radar 2 in the xl direction (lateral direction) is Sxmax−Sx, and the maximum correction amount that can be moved in the yl direction (vertical direction). Is Symax-Sy.
[0040]
Therefore, the optical axis position (xL, yL) in the xl direction and the yl direction obtained from the component (xr, yr, zr) of the unit vector V6 by the relational expression shown in Equation 9 is the optimal position of the optical axis.
[0041]
[Equation 9]

[0042]
According to the radar device described above, the sensor is oriented in the direction on the real coordinates of the line segment (in this case, the inner edge of the white line) along the lane in which the host vehicle is traveling in the front or rear image of the host vehicle. Since the central axis is corrected, it is difficult to miss a detection target (especially a preceding vehicle or a subsequent vehicle) to be detected even on a road with a constant curvature or a road with a slope. In particular, in the case of the present embodiment, the center axis of the sensor is corrected in the direction of the vanishing point where the entire road can be best viewed from among the plurality of vanishing points obtained by dividing the image into regions. It is difficult to overlook a detection target to be detected even in a road situation where the curvature changes in a complicated manner or a road situation where the up-down is intense.
Further, according to the present invention, since the direction vector is determined by obtaining the vanishing point, the direction vector can be obtained by a simple process as described above even with a simple configuration in which one camera is provided as an imaging unit.
[0043]
(Second embodiment)
Next, a second embodiment will be described. This embodiment is characterized by a part of the processing contents of the image processing unit 3, and the other is the same as the first embodiment. FIG. 8 is a flowchart showing the processing contents of this example. Note that the same steps as those in the first embodiment (FIG. 2) are denoted by the same reference numerals and redundant description is omitted (the same applies to the third embodiment described later).
In this case, a vanishing point is calculated | required only about the lowest strip | belt-shaped area | region 1 (N = 1) (step S3-S6).
Then, in step S21 following step S8 (road area detection), as shown in FIG. 7A, the vanishing point when N = 1 is discretely divided into upper, lower, left and right rectangular areas centering on this vanishing point. A plurality of (D) coordinates (points) on the resulting image are determined. For example, in FIG. 7 (a), five columns on the left and right and three columns on the top and bottom (D = 15 in this case) are generated at a specified interval, centered on the vanishing point when N = 1.
[0044]
Next, in steps S22 to S26, as in steps S9 to S13 of FIG. 2, each of the D coordinates is set as an upper vertex, and a triangular area on the image having points on the white lines on both sides in front as lower vertices. Then, a coordinate that maximizes the area of the common area with the road area obtained in step S8 is selected, and the direction vector is obtained from the selected coordinates.
According to the second embodiment, in addition to the same effects as the first embodiment, the following effects can be obtained. In other words, in the case of the second mode, only one vanishing point is calculated, so that there is an advantage that the calculation load is reduced.
[0045]
(Third embodiment)
Next, a third embodiment will be described. This embodiment is also characterized by a part of the processing contents of the image processing unit 3. However, in the case of this example, as indicated by a broken line in FIG. 1A, information on the detection result by the laser radar 2 (at least the position information of the other vehicle) is input from the controller 4 to the image processing unit 3, for example. It is necessary to have a configuration.
FIG. 9 is a flowchart showing the processing contents of this example.
In this case, step S31 is provided after step S2. In this step S31, information on the detection result by the laser radar 2 indicates whether or not there is another vehicle in the belt-like region where the vanishing point is to be obtained and the other vehicle may overlap the line segment. Judgment based on. If another vehicle exists, steps S3 to S6 are skipped and the process proceeds to step S7, and the vanishing point is not calculated for the band-like region.
[0046]
The determination as to whether or not another vehicle is present in the belt-like region is performed as follows, for example. That is, the position on the image where the other vehicle exists is obtained based on the information of the detection result by the laser radar 2 (position information of the other vehicle), a histogram is formed in the vicinity of the position, and the image on the other vehicle is displayed. An approximate width dimension and height dimension are determined to specify an area on the image where another vehicle exists. Then, for example, the overlapping ratio between this area and each belt-like area may be calculated, and it may be determined that another vehicle exists in the belt-like area overlapping a predetermined ratio or more.
[0047]
According to this embodiment, a belt-like region where a preceding vehicle or the like exists is excluded from the processing target for obtaining the direction vector (vanishing point). For example, when an image as shown in FIG. 7B is obtained, the

regions

4 and 5 are excluded. For this reason, as shown in FIG. 7B, when the preceding vehicle or the like is at the edge of the lane (including the boundary between the lanes), the line segment at that position (in this case, the edge of the white line) becomes the preceding vehicle. Therefore, it is possible to prevent a situation in which the detection cannot be performed properly due to being hidden, and the correction cannot be performed, or the favorable correction cannot be performed.
[0048]
In addition, this invention is not restricted to the said example of a form, There can exist various aspects and deformation | transformation.
For example, the image processing unit 3 in the above embodiment may be configured as shown in FIG. FIG. 1C is a high-level functional block diagram of the image processing unit 3. In this case, the image processing unit 3 includes a preprocessing unit 21, a region division unit 22, a line segment detection unit 23, and a direction vector. The detection unit 24 and the calculation unit 25 are included.
The pre-processing unit 21 corresponds to the distortion correction unit 11 in FIG. 1B, and here, in addition to the above-described lens distortion correction (geometric correction), brightness correction such as gamma correction and contrast enhancement, Noise removal such as a median filter may be performed as necessary.
[0049]
The area dividing unit 22 is not limited to an aspect in which an image is divided into horizontally long belt-like areas, and may be an aspect in which an image is divided into vertically long belt-like areas, or an image that is divided into a grid. In addition, when dividing an image in this way, it becomes a problem how to associate a pair of line segments (one that exists on both sides of the lane and goes to the same vanishing point). What is necessary is just to select the line segment each detected in the area | region in a left-right symmetric position as a pair of line segment. That is, for example, when dividing into vertically long strip regions, the first vanishing point is the intersection of the line segment detected in the leftmost strip region in the image and the extended line segment detected in the rightmost strip region. And the second vanishing point is identified as the intersection of the line segment detected in the second belt-like region from the left in the image and the line extension detected in the second belt-like region from the right, etc. Thus, the vanishing point may be obtained sequentially.
Further, the division width when dividing the image is not necessarily equal or constant. Further, the division number N may be other than N = 7 as in the above-described embodiment, or may be variable.
[0050]
The line segment detection unit 23 corresponds to the white line detection unit 13 in FIG. 1B, but is not limited to the form of the white line detection unit 13, and as described above, in addition to the white line, an image of a guardrail or the like. Or an optical flow obtained from the temporal change of these images may be detected as the line segment of the present invention.
In addition, the direction vector detection unit 24 corresponds to a part of the vanishing point detection unit 14 and the scanning area calculation unit 15 in FIG. 1B, but an aspect of specifying the direction vector of the line segment without obtaining the vanishing point is also possible. possible. For example, a plurality of cameras may be installed, the three-dimensional position of the point on the line segment may be obtained by the principle of triangulation, and the direction of the line segment in the actual coordinates may be calculated. In such a mode, the direction vector is determined by a single line segment (in other words, for each line segment) (that is, it is not necessary to detect a pair of line segments as in the above-described embodiment).
The calculation unit 25 obtains an optimum optical axis direction from the calculated direction vector, and corresponds to the scanning region calculation unit 15 in FIG.
[0051]
In the embodiment, a plurality of direction vectors (vanishing points) are obtained from a plurality of line segments obtained by dividing the image, and a direction vector that maximizes the overlapping portion of the above-described triangle area and road area is determined from these. Although selected, the aspect of correcting the optical axis by selecting the final direction vector from a plurality of line segments is not limited to this. For example, the line segment composed of a white line at a position relatively far from the own vehicle (upper region in the image) and a line segment composed of a white line at a position close to the own vehicle (lower region in the image) A mode (including a mode in which the vanishing point is not obtained) may be employed in which a plurality of detections are performed in the longitudinal direction of the road and the central axis of the sensor is corrected in these average directions. Although the average direction is not necessarily the best direction, the entire road can be looked over and it is difficult to overlook the preceding vehicle, etc., as compared with the case where the optical axis is corrected assuming that the curvature is constant as in the prior art.
[0052]
In the embodiment, the image processing unit 3 and the controller 4 constitute the control means of the present invention. As described above, for example, the process of FIG. However, as described above, the optical axis correction may be performed only when necessary (for example, when it is detected that the horizontal position of the preceding vehicle has changed).
Further, in the third embodiment, it is assumed that there is a possibility that the other vehicle overlaps the line segment in the small area where the other vehicle exists, and the direction vector (vanishing point) is obtained for all such small areas. Excluded from processing. However, even in a small area where other vehicles exist, if it can be determined that the other vehicles do not overlap the line segment (for example, the other vehicle is at the center in the horizontal direction below the image and In the case where it can be determined that it does not exist, a configuration in which the small area is not excluded from the processing target (that is, only a small area where another vehicle overlaps the line segment) may be used.
[0053]
【The invention's effect】
According to the on-vehicle radar device of the present invention, the center axis of the sensor is corrected in the direction on the actual coordinates of the line segment along the lane in which the host vehicle is traveling in the front or rear image of the host vehicle. It is difficult to miss a detection target (especially a preceding vehicle or a subsequent vehicle) to be detected even on a road with a non-constant curvature or a road with a slope.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a configuration of an in-vehicle radar device.
FIG. 2 is a flowchart of an optical axis correction process (first embodiment).
FIG. 3 is a diagram for explaining region division and vanishing points of an image.
FIG. 4 is a diagram illustrating a road area and a triangular area in an image.
FIG. 5 is a diagram for explaining a scanning range of a laser radar and the like.
FIG. 6 is a diagram showing the relationship between the sign and direction of each coordinate system.
FIG. 7 is a diagram illustrating another example.
FIG. 8 is a flowchart of an optical axis correction process (second embodiment).
FIG. 9 is a flowchart of optical axis correction processing (third embodiment).
[Explanation of symbols]
1 Camera (imaging means)
2 Laser radar (sensor)
3 Image processing unit (control means)
4 Controller (control means, correction control unit)
23 Line segment detector
24 direction vector detector

Claims

An in-vehicle radar device having a sensor for acquiring at least position information of a detection target existing in front of or behind the host vehicle;
Imaging means for acquiring an image including a road surface in front of or behind the host vehicle;
Control means for correcting the orientation of the central axis of the sensor based on the image obtained by the imaging means,
The control means includes
A line segment detector for detecting a line segment along the lane in which the vehicle is traveling from the image;
A direction vector detection unit for obtaining a direction vector on the real coordinates of the line segment obtained by the line segment detection unit;
An in-vehicle radar device comprising: a correction control unit that executes control for correcting the direction of the central axis vertically and horizontally so as to coincide with the direction vector obtained by the direction vector detection unit.

The line segment detection unit has a function of obtaining one or more pairs on both sides of the lane in which the host vehicle is traveling as the line segment,
The in-vehicle radar according to claim 1, wherein the direction vector detection unit obtains a vanishing point on the image as an intersection of the extension lines of the pair of lines, and obtains the direction vector from the vanishing point. apparatus.

An area dividing unit that divides the image obtained by the imaging unit into a plurality of small areas;
The line segment detection unit performs detection of the line segment for each of the small areas, detects a plurality of pairs of the line segments,
The direction vector detection unit obtains a plurality of vanishing points on the image based on the plurality of line segment pairs, and from these vanishing points, a point on a pair of line segments located closest to each other and each vanishing point A vanishing point that maximizes the area of the common area between the triangular area on the image with the point at the apex and the area on the image of the lane in which the host vehicle is traveling is selected, and the direction vector is determined from the selected vanishing point. The on-vehicle radar device according to claim 2, wherein:

The line segment detection unit detects a pair of the line segments in a lowermost band-like region along the lower side of the image,
The direction vector detection unit obtains a vanishing point on the image based on the line segment pair in the lowermost belt-like region, and discretizes the vanishing point in a predetermined rectangular region to thereby generate a plurality of points on the image. The coordinates are determined, and from these coordinates, a point on the pair of line segments in the lowermost belt-like area, a triangular area on the image having each coordinate as a vertex, and an image of the lane in which the vehicle is traveling The coordinate having the maximum area of the common area with the area is selected, and the direction vector is obtained from the selected coordinates. The rectangular area has a specified size centered on the vanishing point before the discretization. The in-vehicle radar device according to claim 2, wherein the in-vehicle radar device is a rectangular region .

The direction vector detection unit
Based on the position information of the detection target obtained by the sensor, a small area where the detection target overlaps or possibly overlaps the line segment on the image is specified, and the small area is excluded from the objects for which the vanishing point is calculated. The on-vehicle radar device according to claim 3.

The control means includes
Detecting that the horizontal position of the detection target has changed, detecting that the speed of the host vehicle has changed, detecting that the host vehicle has tilted with respect to the horizontal, and detecting that the host vehicle has changed lanes 6. The vehicle-mounted device according to claim 1, wherein a new control for correcting the direction of the central axis is started when one or more of the conditions are satisfied. Radar equipment.