JP2004144671A

JP2004144671A - Car-mounted radar device

Info

Publication number: JP2004144671A
Application number: JP2002311680A
Authority: JP
Inventors: Koji Horibe; 堀部　剛治
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 2002-10-25
Filing date: 2002-10-25
Publication date: 2004-05-20
Anticipated expiration: 2022-10-25
Also published as: JP3862015B2; US20040080449A1; US6831591B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide a car-mounted radar device hardly missing a leading vehicle by correcting the optical axis of a laser radar 2 in an optimum direction even if a road is sloping or S-curved. <P>SOLUTION: This device is provided with a camera 1 for acquiring an image including a road surface ahead of or in the rear of an own vehicle, a line segment detection part 23 for detecting line segments along a lane where the own vehicle runs from the image, and a direction vector detection part 24 for finding a direction vector on actual coordinates of the line segment acquired by the detection part 23. The direction of the optical axis is corrected vertically and horizontally so as to coincide with the direction vector acquired by the detection part 24. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、車両に搭載されるレーダ装置に関する。
【０００２】
【従来の技術】
近年、自動車においては、運転の容易性や安全性を向上させるために、先行車等の監視機能や先行車への追従走行機能などが設けられる場合がある。そして、このような機能を実現するために、レーザレーダやミリ波レーダのようなセンサもち、自車両の前方又は後方に存在する検出対象（先行車やガードレールなどの障害物）の少なくとも位置情報を取得するためのレーダ装置が、車両に搭載される。
このような車載用レーダ装置では、カーブ走行時などにも先行車を見逃さないよう、走査範囲の中心軸或いは検出範囲の中心軸（以下、場合により光軸という）を適宜補正するのが好ましく、そのための技術として、従来では特許文献１に開示されたものがある。
これは、カーブ走行している先行車やレーンの中央を走行していない先行車の見逃しに対応し、カーブの曲率や自車及び先行車の横方向位置から先行車を見逃さないように光軸を補正するものである。
【０００３】
【特許文献１】
特開平９−２１８２６５号公報
【０００４】
【発明が解決しようとする課題】
ところが、上記従来技術は、勾配のない平坦な道路や高速道路のようにカーブ曲率が略一定であることを想定しているものである。このため、道路が平坦でありカーブ曲率が略一定である場合には、先行車を見逃すことが少なくなるが、市街地のように勾配がある場合やカーブ曲率が細かく変化する場合には、従来技術のように光軸を補正しても、先行車を見逃してしまう。というのは、従来技術は、カーブの曲率や自車及び先行車の横方向位置に基づいて補正すべき光軸の方向を特定するものであり、垂直方向（上下方向）に光軸を補正できない（垂直方向の光軸の理想的な向きを特定できない）ため、光軸の垂直方向位置はあくまで一定であって、勾配があると先行車が検出エリアから上下方向に外れてしまい検出不可能となる恐れがある。また従来技術は、例えばＳ字カーブであっても一定の曲率であるとして最適な光軸を求めて補正するため、曲率が細かく変化する場合には、横方向（水平方向）に大きな誤差（求められた光軸方向と実際に最適な光軸方向との差）を生じて、先行車が補正後の検出エリアから横方向に外れてしまい易いからである。
そこで本発明は、勾配又はＳ字カーブなどがあってもセンサの中心軸を最適な方向に補正して先行車を見逃し難い車載用レーダ装置を提供することを目的としている。
【０００５】
【課題を解決するための手段】
この発明による車載用レーダ装置は、自車両の前方又は後方に存在する検出対象の少なくとも位置情報を取得するためのセンサをもつ車載用レーダ装置であって、
自車両の前方又は後方の路面を含む画像を取得するための撮像手段と、この撮像手段により得られた画像に基づいて前記センサの中心軸の向きを補正するための制御手段とを備え、
前記制御手段は、
前記画像から自車両が走行しているレーンに沿った線分を検出する線分検出部と、この線分検出部により得られた線分の実座標上の方向ベクトルを求める方向ベクトル検出部と、この方向ベクトル検出部により得られた方向ベクトルに一致するように前記中心軸の向きを上下左右に補正する制御を実行する補正制御部とを有することを特徴とするものである。
【０００６】
ここで、「検出対象」とは、基本的には先行車両又は後続車両（四輪車以外のバイク等も含む）を意味するが、車両以外の障害物（ガードレール等）が含まれてもよい。
また、「センサ」とは、例えば電磁波や音波などを検出エリアに照射し、その反射波に基づいて検出対象を検出するもの（具体的には、レーザレーダやミリ波レーダなど）である。なおこのセンサは、必ずしも走査型である必要はなく、非走査型（但し、指向性があり、特定の検出エリアが存在するもの）でもよい。
また、「センサの中心軸」とは、検出エリアの中心軸であり、走査型の場合には走査範囲の中心軸を意味する。
また、「自車両が走行しているレーンに沿った線分」とは、自車両が走行しているレーンの片側又は両側にある路面上のマーク（白線や黄線、二重線や破線など）、ガードレール、中央分離帯、防護壁、歩道との境界部分などの画像を構成する線（いわゆるエッジ）、或いはこれら画像の経時変化から得られるオプティカルフローであり、自車両が走行しているレーンの接線方向のものである。
【０００７】
なお、上記線分の検出（画像からの抽出）は、白線などの濃淡（明暗）のはっきりしたものであれば、いわゆるエッジ抽出により相当の信頼性で実現できる。但し、路面の汚れや道路周辺の建造物などの画像成分を排除して確実に上記線分を検出できる信頼性を向上させるためには、或いは検出のしきい値を下げて濃淡のはっきりしないもの（例えば中央分離帯などのエッジ）も相当の信頼性で検出できるようにするには、上記線分を検出する画像中の位置や領域、或いは線分の角度範囲等を予めあり得る条件に限定しておくのが好ましい。例えば、図５（ｃ）に示すように、画像フレームの左下を原点としてフレーム下辺から反時計回りに３０°〜６０°の角度範囲と、画像フレームの右下を原点としてフレーム下辺の延長線から反時計回りに１２０°〜１５０°の角度範囲に、上記線分を検出する領域や角度を限定してもよい。自車が走行しているレーンの両側の縁部（レーンを区画する白線や中央分離帯等）の位置や方向が、このような条件に納まるように、撮像手段（カメラ）の撮像方向や画角を設定することは容易かつ自然であり、その場合、このような条件から外れるものを検出範囲から除けば、前述した所定の線分のみをより確実かつ容易に検出できるからである。
【０００８】
本発明の車載用レーダ装置によれば、自車両の前方又は後方の画像における自車両が走行しているレーンに沿った線分の実座標上での方向にセンサの中心軸が補正されるため、曲率が一定でない道路や勾配のある道路状況でも、検出すべき検出対象（特に先行車又は後続車）を見逃し難い。例えば、自車両から所定距離離れた位置（画像における上下方向の所定位置）の白線などよりなる線分を検出し、この線分の実座標上の方向にセンサの中心軸を補正すれば、自車両がその時点で走行している直近の道路の曲率や勾配にとらわれず、自車両の前方又は後方の道路方向（３次元的方向）に対応させて、センサの中心軸を上下左右に補正することができるからである。特に本発明では、前方又は後方の道路の勾配に応じてセンサの中心軸方向が上下するため、従来行われていなかった上下方向の補正も可能となり、勾配のある道路でも先行車等を見逃し難くなる。
なお、Ｓ字カーブやアップダウンのある道路状況に良好に対応するには、後述する態様のように、前記線分を複数検出して、各線分の方向から、自車両の前方又は後方の道路全体を見渡すことができる最適な方向ベクトルを特定することが好ましい。
【０００９】
次に、この発明の好ましい態様は、前記線分検出部が、前記線分として、自車両が走行しているレーンの両側にあるものを一対以上求める機能を有し、
前記方向ベクトル検出部が、対をなす前記線分の延長線の交点として前記画像上の消失点を求め、この消失点から前記方向ベクトルを求めるものである。
このような態様であると、撮像手段として一つのカメラを設けた簡単な構成でも、後述する形態例に示すように、簡単な処理で前記方向ベクトルを求めることができる。
【００１０】
なお、上述したように消失点から前記方向ベクトルを求める場合、さらに次のような態様とすることが好ましい。
即ち、第１の態様は、前記撮像手段により得られた画像を、複数の小領域に分割する領域分割部を備え、
前記線分検出部が、前記線分の検出を前記小領域毎に実行して、前記線分の対を複数検出し、
前記方向ベクトル検出部が、これら複数の線分の対に基づいて前記画像上の消失点を複数求め、これら消失点の中から、最も手前側に位置する一対の線分上の点及び各消失点を頂点とする画像上の三角形領域と、自車両が走行しているレーンの画像上の領域（以下、場合により道路領域という）との共通領域の面積が最大となる消失点を選択し、この選択した消失点から前記方向ベクトルを求めるものである。なお、上記道路領域は、例えば上記複数の線分によって囲まれた領域として求めることができる。
【００１１】
次に第２の態様は、前記線分検出部が、前記画像の下辺に沿った最下帯状領域にある前記線分の対を検出し、
前記方向ベクトル検出部は、前記最下帯状領域にある前記線分の対に基づいて前記画像上の消失点を求め、この消失点をこの消失点を中心とする上下左右の矩形領域に離散化してなる画像上の複数の座標を決定し、これら座標の中から、前記最下帯状領域にある一対の線分上の点及び各座標を頂点とする画像上の三角形領域と、自車両が走行しているレーンの画像上の領域との共通領域の面積が最大となる座標を選択し、この選択した座標から前記方向ベクトルを求めるものである。
【００１２】
これら第１の態様又は第２の態様であると、複数の消失点（或いは、一つの消失点を離散化してなる複数の座標）の中から、道路全体を最もよく見渡せる点の方向にセンサの中心軸が補正されるので、Ｓ字カーブなどの複雑に曲率が変化する道路状況、或いはアップダウンの激しい道路状況でも、検出すべき検出対象（特に先行車又は後続車）をより見逃し難い。
加えて、第２の態様の場合には、消失点を１点しか計算しないので、計算負荷が軽減される利点がある。
【００１３】
なお、上記第１の態様では、前記方向ベクトル検出部が、前記センサにより得られた検出対象（少なくとも、先行車又は後続車）の位置情報に基づき、当該検出対象が画像上で前記線分と重なる又は重なる可能性のある小領域を特定し、この小領域を前記消失点を求める対象から排除する構成が好ましい。このようにすれば、例えば先行車などがレーンの縁（レーンとレーンの境界含む）にいることによって、その位置の線分が適正に検出できず、補正ができなくなること、或いは良好な補正ができなくなることを防止できる。
【００１４】
また本発明の補正は、自車の走行中或いはイグニションスイッチのオン時などに、常時（例えば周期的に）行ってもよいが、次のようにして必要なときだけ行い、処理の効率化を図るようにしてもよい。即ち、検出対象の水平方向位置が変化したと検知したこと、自車両の速度が変化したと検知したこと、自車両が水平に対して傾いたと検知したこと、及び自車両が車線変更したと検知したことのうち、何れか一つ又は複数の条件が成立したことを起因として、前記制御処理手段が前記中心軸の向きを補正する新たな制御を開始する態様としてもよい。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
（第１形態例）
図１は、本例の車載用レーダ装置の構成を説明する図であって、図１（ａ）は全体構成を示すブロック図、図１（ｂ）は画像処理ユニットを説明する機能ブロック図である。
【００１６】
まず、全体構成について説明する。
本装置は、図１（ａ）に示すように、カメラ１（撮像手段）と、センサ２と、画像処理ユニット３と、コントローラ４とよりなる。
カメラ１は、例えばＣＣＤ又はＣＭＯＳなどの周知のデバイスよりなる撮像手段であり、この場合、１個だけ設置されている。またカメラ１は、例えば自車前方の路面を含む画像が得られるように、自車の前方斜め下（或いは後方斜め下）に向けて搭載される（図６参照）。
センサ２は、例えばレーザレーダである。
画像処理ユニット３は、マイクロコンピュータ（以下、マイコンという）を含む回路よりなり、カメラ１により得られた画像からセンサ２の光軸の最適方向を求めて出力する。
コントローラ４は、図示省略したアクチュエータを制御して、画像処理ユニット３が出力した最適方向にセンサ２の光軸を変化させるもので、やはりマイコンを含む回路よりなる。なお、画像処理ユニット３とコントローラ４は、一体のユニットとして構成することもできる。
【００１７】
次に、画像処理ユニット３の詳細を説明する。画像処理ユニット３は、機能的に図１（ｂ）に示す要素（歪補正部１１、帯領域分割部１２、白線検出部１３、消失点検出部１４、及び走査領域算出部１５）を有する。
ここで、歪補正部１１は、後述する図２のステップＳ１に対応するもので、カメラ１のレンズの歪の影響を排除すべく、カメラ１により得られた画像データを補正するものである。
帯領域分割部１２は、後述する図２のステップＳ２に対応するもので、曲率が一定でないＳ字カーブなどの道路状況にも的確に対応するため、線分を含む複数の小領域（この場合、横長の帯状領域）に画像を分割する。
白線検出部１３は、後述する図２のステップＳ３〜Ｓ５に対応するもので、自車が走行している道路上のレーン両側の白線（黄線や破線を含めてもよい）を、領域毎の直線状の線分として検出する。
消失点検出部１４は、後述する図２のステップＳ６に対応するもので、領域毎に検出された線分から画像上の消失点を求める。
走査領域算出部１５は、後述する図２のステップＳ８〜Ｓ１３に対応するもので、領域毎に算出された消失点から最適な光軸方向を求める。
【００１８】
次に、本装置の動作（主に画像処理ユニット３の処理内容）について、図２により説明する。
画像処理ユニット３は、次の一連の処理（ステップＳ１〜Ｓ１４）を例えば周期的に繰り返す。
即ち、まずステップＳ１において、カメラ１の画像データを読み取り、歪補正を行う。具体的には、例えば数１に示す関係式により画素座標を（ｘ，ｙ）から（ｘ´，ｙ´）に変換する。なお。数１におけるκは負の定数である。
【００１９】
【数１】

【００２０】
次いでステップＳ２では、例えば図３（ａ）に示す如く、道路を含むように画像を横長の帯状領域（Ｎ個）に分割するための画像データの設定を行う。道路を含むようにとは、例えば図３（ａ）に示す如く、道路の画像が存在する画像フレームの下側の領域を少なくとも含むようにという意味である。またこの場合、帯状領域の横幅は画像全体の横幅と同等とし、帯状領域の縦幅は画像の下側の領域をＮ等分した幅とする。なお本例では、Ｎ＝７、即ち７個の帯状領域１〜７に分割する。また、ここでの帯状領域は、本発明の小領域に相当する。
【００２１】
次に、帯状領域毎にステップＳ３〜Ｓ６の処理を行う。
まず、ステップＳ３で、エッジ抽出用フィルタを使ってエッジ抽出を行う。エッジ抽出用フィルタとしては、例えば数２に示すような右向きＳｏｂｅｌフィルタを用いる。なお数２において、ｆ（ｘ，ｙ）は、画像上の座標（ｘ，ｙ）の画素濃度値を意味し、ｇ（ｘ，ｙ）はフィルタ処理後の値（隣接画素同士の濃度値の差分）を意味する。
【００２２】
【数２】

【００２３】
次いでステップＳ４では、白線候補抽出を行う。白線候補抽出とは、数２で計算されたｇ（ｘ，ｙ）よりなるエッジ画像に対して、所定のしきい値（２５６階調の場合には、例えば１２８）により２値化処理を行い、道路両側の白線の内側の座標（白線候補点）を求める。具体的には、前記エッジ画像を左から右に向かって移動したとき、しきい値を超え、さらにその後左右方向の幅が規定幅Ｂ以内においてしきい値を下回る座標が存在すれば、その時の最初の座標（しきい値を超えた座標）が左側の白線の左端と推定され、その時の後の座標（しきい値を下回った座標）が左側の白線の右端（左側の白線の内側）と推定される。また、同様の処理で右側の白線の左端（右側の白線の内側）を求め、これら白線の内側の座標を白線候補点として求める。なお通常、これら白線候補点は、帯状領域の縦方向の画素数分だけ複数求まる。またここで、規定幅Ｂによる制限は、実際の白線幅に相当する幅を大きく超えるものを排除し、白線のエッジだけを信頼性高く検出するためのものである。
なお、この白線候補抽出では、路面の汚れや道路周辺の建造物などの画像成分（輪郭線など）を誤って白線として検出しないように、白線を検出する画像中の位置や領域、或いは角度範囲等を予めあり得る条件に限定しておくのが好ましい。例えば、既述した図５（ｃ）に示すような限定条件を設定して、上記白線候補抽出を行うのがよい。
【００２４】
次にステップＳ５では、上記白線候補点に対してＨｏｕｇｈ変換を行い、最も適合する２直線を、小領域毎の各白線の内側の接線（本発明の線分或いはその延長線）としてを求める。
Ｈｏｕｇｈ変換とは、画像上（ｘ−ｙ平面上）の候補点の座標（ｘ，ｙ）に対して、数３で示すρ−θ平面上のＨｏｕｇｈ曲線を求め、このＨｏｕｇｈ曲線の交点の座標から画像上の直線を抽出する処理である。この場合、最も適合する２直線は、前述した複数の白線候補点から得られた複数のＨｏｕｇｈ曲線が多く交差する二つの交点（ρａ，θａ）及び（ρｂ，θｂ）を求めれば特定できる。数３の式においてρとθの値が決まれば、画像上の直線が特定できるからである。なお図５（ｂ）は、（ｘ，ｙ）と（ρ，θ）の位置関係を示す。
【００２５】
【数３】

【００２６】
次に、ステップＳ６では、ステップＳ５で得られた前記二つの直線のデータから画像上の消失点の座標を算出する。消失点は前記二つの直線の交点であるから、前述したデータ（ρａ，θａ）及び（ρｂ，θｂ）から、数４の式によって求まる。
【００２７】
【数４】

【００２８】
次に、ステップＳ７では、ステップＳ３〜Ｓ６の実行回数がＮ未満であるか否か（即ち、全ての帯状領域についてステップＳ３〜Ｓ６の処理が完了していないか否か）を判定し、Ｎ未満であればステップＳ３に戻って次の帯状領域について処理を繰り返す。そして、Ｎ以上であれば（全ての帯状領域について処理完了であれば）、ステップＳ８に進む。
なお図３（ｂ）は、以上の処理により求められた消失点の例を示す図である。図中、太線が道路の白線を示し、破線が各小領域毎に求められた白線の内側（線分）を延長した直線であり、▲１▼〜▲６▼の符号が消失点を示す（この場合７番目の消失点▲７▼は求められなかった）。
【００２９】
次にステップＳ８では、道路領域検出を行う。道路領域検出は、例えばステップＳ３〜Ｓ４の処理により得られた白線の内側の座標に基づいて、二つの白線で囲まれた道路領域（例えば、図４（ａ）に斜線で示す領域）を検出する。
次に、帯状領域毎にステップＳ９〜Ｓ１０の処理を行う。
まず、ステップＳ９では、最大Ｎ個存在する各消失点を上側の頂点とし、手前両側の白線上の点を下側の頂点とする底辺が一定の三角形領域を検出する。即ち、帯状領域１については、例えば図４（ｂ）に斜線で示すように、ステップＳ６で帯状領域１について求められた消失点を上側の頂点とし、ステップＳ５で帯状領域１について求められた両側の直線（両白線の内縁側の線）の下端を下側の頂点（底辺の両端点）とする三角形の領域を検出する。また、帯状領域２以降についても、同様に各消失点を上側の頂点とし、帯状領域１について求められた両側の直線の下端を下側の頂点とする三角形の領域を検出する。なお、図４（ｂ）の場合には、両白線の下端内側が画像フレームの下側両隅部に位置しているため、上記三角形の底辺が画像フレームの下辺に一致しているが、必ずしもこのようになるとは限らない。例えば、両白線の下端が画像フレームの横幅よりも内側にある場合には、上記三角形の底辺は画像フレームの横幅（下辺の長さ）よりも短い線分となる。また、上記三角形の下側の頂点は、必ずしも帯状領域１における白線の内縁側の下端である必要はなく、例えば帯状領域１における白線の上端の点（帯状領域１と帯状領域２の境界上の点）でもよいし、帯状領域１における白線の外縁側の点でもよい。また、帯状領域１内に白線が存在しない場合等には、例えば一つ上の帯状領域２における白線上の点を、上記三角形の下側の頂点としてもよい。
【００３０】
次にステップＳ１０では、ステップＳ８で求めた道路領域と、ステップＳ９で求めた三角形領域とのＡＮＤ面積（重複部分の面積）を求める。
次にステップＳ１１では、ステップＳ７と同様に、全ての帯状領域についてステップＳ９〜Ｓ１０の処理が完了したか否かを判定し、全ての帯状領域について処理完了であればステップＳ１２に進み、そうでなければステップＳ９に戻る。
そしてステップＳ１２では、ステップＳ１０で求めたＡＮＤ面積が最大となる帯状領域Ｎｍａｘを求める。なお以降では、この帯状領域Ｎｍａｘとして帯状領域６が求められたと仮定して説明を進める。
【００３１】
次にステップＳ１３では、上記帯状領域Ｎｍａｘ（帯状領域６）の消失点の座標（Ｘ６，Ｙ６）を道路座標系（ｘｒ，ｙｒ，ｚｒ）に変換し、前記消失点の道路座標上での方向ベクトルＶ６を求める。なお、センサ２（レーザレーダなど）は、通常車両のラジエター（バンパの上）に取り付けられるため、センサ２の座標系は厳密には道路座標系とは若干異なるが、センサ２の方向を補正する場合、センサ２の座標系と道路座標系を同一視し、道路座標系のデータでその方向を補正しても特に問題ない。
【００３２】
図６に示すように、各座標系の符号と方向の関係を定めた場合、道路座標系（ｘｒ，ｙｒ，ｚｒ）とカメラ座標系（ｘｃ，ｙｃ，ｚｃ）と画像座標系（Ｘ，Ｙ）の間には、次の数５及び数６に示す関係式が成り立つ。ここで、Ｒは３×３の行列、Ｔは３×１の行列を表す。また、ＲとＴは、カメラキャリブレーションで予め設定しておく。また、数６におけるＦは、カメラ１の焦点距離である。
【００３３】
【数５】

【００３４】
【数６】

【００３５】
このため、次のようすれば、消失点の座標（Ｘ６，Ｙ６）を道路座標系（ｘｒ，ｙｒ，ｚｒ）に変換できる。
即ち、数６の（Ｘ，Ｙ）に（Ｘ６，Ｙ６）を代入し、数７に示すようにカメラ座標系（ｘｃ，ｙｃ，ｚｃ）にまず変換する。なお、数７においてはｚｃ＝ｋとしている。
【００３６】
【数７】

【００３７】
次に、数７の式を数５の式に代入すれば、数８に示す式のように道路座標系（ｘｒ，ｙｒ，ｚｒ）に変換できる。なお、数８の式におけるｋの値は、適当な拘束条件を適用して、算出すればよい。例えば、レーザレーダの測定可能距離（例えば、１５０ｍ）を数８の式のｚｒに代入してｋを求め、この値に設定すればよい。
【００３８】
【数８】

【００３９】
そして、上述したように求めた前記消失点の道路座標系での座標から、単位ベクトルを求めれば、それが方向ベクトルＶ６である。
最後に、ステップＳ１４では、上記方向ベクトルＶ６から、光軸の最適位置を求めてコントローラ４に出力する。これを受けて、コントローラ４は、指令された最適位置に光軸を動かし、光軸の向きが方向ベクトルＶ６に一致するように補正される。
なお、図５（ａ）はレーザレーダ２の走査範囲（走査領域）を示す図である。ここで、座標原点Ｏは、通常状態（補正なしの状態）での走査の中心座標である。また、（−Ｓｘ，Ｓｘ）と（−Ｓｙ，Ｓｙ）が通常状態での走査範囲であり、（−Ｓｘｍａｘ，Ｓｘｍａｘ）と（−Ｓｙｍａｘ，Ｓｙｍａｘ）が最大の走査範囲を示す。即ち、レーザレーダ２の走査範囲の中心（光軸）をｘｌ方向（横方向）に動かすことができる最大補正量はＳｘｍａｘ−Ｓｘであり、ｙｌ方向（上下方向）に動かすことができる最大補正量はＳｙｍａｘ−Ｓｙである。
【００４０】
したがって、前述の単位ベクトルＶ６の成分（ｘｒ，ｙｒ，ｚｒ）から、数９に示す関係式により求まるｘｌ方向とｙｌ方向の光軸位置（ｘＬ，ｙＬ）が、光軸の最適位置となる。
【００４１】
【数９】

【００４２】
以上説明したレーダ装置によれば、自車両の前方又は後方の画像における自車両が走行しているレーンに沿った線分（この場合、白線の内側エッジ）の実座標上での方向にセンサの中心軸が補正されるため、曲率が一定でない道路や勾配のある道路状況でも、検出すべき検出対象（特に先行車又は後続車）を見逃し難い。特に本形態例の場合には、画像を領域分割して得られた複数の消失点の中から、道路全体を最もよく見渡せる消失点の方向にセンサの中心軸が補正されるので、Ｓ字カーブなどの複雑に曲率が変化する道路状況、或いはアップダウンの激しい道路状況でも、検出すべき検出対象をより見逃し難い。
また本発明は、消失点を求めて方向ベクトルを定めているため、撮像手段として一つのカメラを設けた簡単な構成でも、上述したような簡単な処理で前記方向ベクトルを求めることができる。
【００４３】
（第２形態例）
次に、第２形態例を説明する。この形態例は、画像処理ユニット３の処理内容の一部に特徴を有し、他は第１形態例と同様である。図８は、本例の処理内容を示すフローチャートである。なお、第１形態例（図２）と同様のステップには同符号を付して重複する説明を省略する（後述の第３形態例も同様）。
この場合、消失点は、最下の帯状領域１（Ｎ＝１）のみについて求められる（ステップＳ３〜Ｓ６）。
そして、ステップＳ８（道路領域検出）の次のステップＳ２１では、図７（ａ）に示すように、Ｎ＝１のときの消失点を、この消失点を中心とする上下左右の矩形領域に離散化してなる画像上の複数（Ｄ個）の座標（点）を決定する。例えば図７（ａ）では、Ｎ＝１のときの消失点を中心に、規定の間隔で左右に５列と上下に３列の点（この場合、Ｄ＝１５）を生成している。
【００４４】
次いでステップＳ２２〜Ｓ２６では、図２のステップＳ９〜Ｓ１３と同様に、Ｄ個存在する各座標を上側の頂点とし、手前両側の白線上の点を下側の頂点とする画像上の三角形領域と、ステップＳ８で求めた道路領域との共通領域の面積が最大となる座標を選択し、この選択された座標から前記方向ベクトルを求める。
この第２形態例によれば、第１形態例と同様の加えて、次のような効果がある。即ち、この第２の態様の場合には、消失点を１点しか計算しないので、計算負荷が軽減される利点がある。
【００４５】
（第３形態例）
次に、第３形態例を説明する。この形態例も、画像処理ユニット３の処理内容の一部に特徴を有する。但し本例の場合には、図１（ａ）に破線で示すように、レーザレーダ２による検出結果の情報（少なくとも、他車両の位置情報）が、例えばコントローラ４から画像処理ユニット３に入力される構成となっている必要がある。
図９は、本例の処理内容を示すフローチャートである。
この場合、ステップＳ２の次に、ステップＳ３１が設けられている。このステップＳ３１では、消失点を求めようとする帯状領域に他車両が存在していて、他車両が線分と重なっている可能性があるか否かを、レーザレーダ２による検出結果の情報に基づいて判断する。そして、他車両が存在していれば、ステップＳ３〜Ｓ６をスキップしてステップＳ７に進み、その帯状領域についての消失点の算出は実行しない。
【００４６】
なお、帯状領域に他車両が存在しているか否かの判定は、例えば次のようにして行う。即ち、レーザレーダ２による検出結果の情報（他車両の位置情報）に基づいて、他車両が存在する画像上の位置を求め、その位置の近傍でヒストグラムを形成し、他車両の画像上での概略の幅寸法や高さ寸法を定めて他車両が存在する画像上の領域を特定する。そして、例えばこの領域と各帯状領域との重複割合を算出し、所定の割合以上重複している帯状領域には他車両が存在していると判定すればよい。
【００４７】
本形態例によれば、先行車等が存在する帯状領域が前記方向ベクトル（消失点）を求めるための処理対象から除外される。例えば、図７（ｂ）に示すような画像が得られたときには、領域４及び５が除外される。このため、図７（ｂ）に示すように、先行車などがレーンの縁（レーンとレーンの境界含む）にいることによって、その位置の線分（この場合、白線のエッジ）がその先行車等に隠れて適正に検出できず、補正ができなくなること、或いは良好な補正ができなくなることを防止できる。
【００４８】
なお、本発明は上記形態例に限られず、各種の態様や変形が有り得る。
例えば、上記形態例における画像処理ユニット３は、図１（ｃ）に示すような構成でよい。図１（ｃ）は、画像処理ユニット３の上位概念的機能ブロック図であり、この場合画像処理ユニット３は、前処理部２１と、領域分割部２２と、線分検出部２３と、方向ベクトル検出部２４と、演算部２５とよりなる。
前処理部２１は、図１（ｂ）の歪補正部１１に対応するもので、ここでは、前述のレンズの歪補正（幾何学的補正）に加え、ガンマ補正やコントラスト強調などの輝度補正、メディアンフィルタなどのノイズ除去を、必要に応じて行ってもよい。
【００４９】
また、領域分割部２２は、横長の帯状領域に画像を分割する態様に限られず、例えば縦長の帯状領域に画像を分割する態様、或いは格子状に画像を分割するものであってもよい。なお、このように画像を分割する場合、対をなす線分の組（レーンの両側に存在し、同一の消失点に向かうもの）をどのように対応付けるかが問題となるが、例えば、画像の左右対称位置にある領域でそれぞれ検出された線分を、一対の線分として選択すればよい。即ち、例えば縦長の帯状領域に分割する場合、画像における最も左側の帯状領域で検出された線分と、最も右側の帯状領域で検出された線分の延長線の交点として一つ目の消失点を特定し、画像における左から２番目の帯状領域で検出された線分と、右から２番目の帯状領域で検出された線分の延長線の交点として二番目の消失点を特定する、といったように順次消失点を求めればよい。
また、画像を分割する際の分割幅は必ずしも均等又は一定でなくてよい。また、分割数Ｎは、前記形態例のようにＮ＝７以外でもよいし、可変でもよい。
【００５０】
また、線分検出部２３は、図１（ｂ）の白線検出部１３に対応するが、この白線検出部１３の態様に限られず、既述したように、白線以外にも、ガードレールなどの画像を構成する線、或いはこれら画像の経時変化から得られるオプティカルフローを、本発明の線分として検出するものであってもよい。
また、方向ベクトル検出部２４は、図１（ｂ）の消失点検出部１４及び走査領域算出部１５の一部に対応するが、消失点を求めないで線分の方向ベクトルを特定する態様もあり得る。例えば、複数のカメラを設置して、三角測量の原理で線分上の点の３次元位置を求め、実座標における線分の方向を計算してもよい。このような態様であると、単独の線分で（いいかえると、線分毎に）方向ベクトルが定まる（即ち、前記形態例のように線分の対を検出する必要がない）。
また演算部２５は、算出された方向ベクトルから最適な光軸方向を求めるもので、図１（ｂ）の走査領域算出部１５に対応する。
【００５１】
また前記形態例では、画像を分割して得られた複数の線分から複数の方向ベクトル（消失点）を求め、この中から、前述した三角形領域と道路領域の重複部分が最大となる方向ベクトルを選択しているが、複数の線分から最終的な方向ベクトルを選択して光軸を補正する態様は、このようなものに限定されない。例えば、自車両から比較的遠く離れた位置（画像における上方領域）の白線よりなる線分と、自車両に近い位置（画像における下方領域）の白線よりなる線分といったように、前記線分を道路の長手方向に複数検出し、これらの平均的方向にセンサの中心軸を補正する態様（消失点を求めない態様含む）でもよい。平均的方向が、必ずしも最良の方向とはならないが、従来のように一定の曲率であるとして光軸を補正する場合に比較すれば、道路全体を見渡すことができ、先行車等を見逃し難い。
【００５２】
また、前記形態例では、画像処理ユニット３とコントローラ４が本発明の制御手段を構成しており、前述したように例えば図２の処理を周期的に行って光軸の補正を常時定期的に行っているが、既述したように、必要なとき（例えば先行車の水平位置が変化したことが検知されたとき）だけ、光軸補正を行う態様でもよい。
また、前記第３形態例では、他車両が存在している小領域は他車両が線分と重なっている可能性があるとして、そのような小領域を全て、方向ベクトル（消失点）を求める処理対象から除外している。しかし、他車両が存在している小領域でも、そこで他車両が線分と重なっていないと判定できる場合（例えば、その他車両が画像の下側の左右方向中央位置にあって、レーンの端に存在しないと判定できる場合など）には、処理対象からその小領域を除外しない構成（即ち、他車両が線分と重なっている小領域のみを除外する態様）でもよい。
【００５３】
【発明の効果】
本発明の車載用レーダ装置によれば、自車両の前方又は後方の画像における自車両が走行しているレーンに沿った線分の実座標上での方向にセンサの中心軸が補正されるため、曲率が一定でない道路や勾配のある道路状況でも、検出すべき検出対象（特に先行車又は後続車）を見逃し難い。
【図面の簡単な説明】
【図１】車載用レーダ装置の構成を説明する図である。
【図２】光軸補正処理（第１形態例）のフローチャートである。
【図３】画像の領域分割及び消失点を説明する図である。
【図４】画像における道路領域及び三角形領域を説明する図である。
【図５】レーザレーダの走査範囲などを説明する図である。
【図６】各座標系の符号と方向の関係を示す図である。
【図７】他の形態例を説明する図である。
【図８】光軸補正処理（第２形態例）のフローチャートである。
【図９】光軸補正処理（第３形態例）のフローチャートである。
【符号の説明】
１　カメラ（撮像手段）
２　レーザレーダ（センサ）
３　画像処理ユニット（制御手段）
４　コントローラ（制御手段、補正制御部）
２３　線分検出部
２４　方向ベクトル検出部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a radar device mounted on a vehicle.
[0002]
[Prior art]
2. Description of the Related Art In recent years, a vehicle may be provided with a function of monitoring a preceding vehicle or the like, a function of following a preceding vehicle, or the like, in order to improve the ease and safety of driving. In order to realize such a function, a sensor such as a laser radar or a millimeter-wave radar is provided, and at least position information of a detection target (an obstacle such as a preceding vehicle or a guardrail) existing in front of or behind the own vehicle is obtained. A radar device for acquiring is mounted on a vehicle.
In such an in-vehicle radar device, it is preferable to appropriately correct the central axis of the scanning range or the central axis of the detection range (hereinafter, sometimes referred to as an optical axis) so that the preceding vehicle is not missed even when traveling on a curve, As a technique for that, there is a technique disclosed in Patent Document 1 conventionally.
This corresponds to oversight of a preceding vehicle traveling on a curve or a preceding vehicle not traveling in the center of the lane, and avoids overlooking the preceding vehicle based on the curvature of the curve and the lateral position of the own vehicle and the preceding vehicle. Is to be corrected.
[0003]
[Patent Document 1]
JP-A-9-218265
[0004]
[Problems to be solved by the invention]
However, the above-mentioned prior art assumes that the curvature of a curve is substantially constant like a flat road or a highway without a slope. For this reason, when the road is flat and the curve curvature is substantially constant, it is less likely to miss the preceding vehicle.However, when there is a slope like in an urban area or when the curve curvature changes finely, the conventional technology is not used. Even if the optical axis is corrected like this, the preceding vehicle is missed. This is because the prior art specifies the direction of the optical axis to be corrected based on the curvature of the curve and the lateral position of the own vehicle and the preceding vehicle, and cannot correct the optical axis in the vertical direction (up and down direction). (The ideal direction of the optical axis in the vertical direction cannot be specified.) Therefore, the position of the optical axis in the vertical direction is constant, and if there is a gradient, the preceding vehicle will fall out of the detection area in the vertical direction and it will not be detected. Could be. Further, in the related art, for example, an S-shaped curve is determined as having a constant curvature and an optimum optical axis is obtained and corrected. Therefore, when the curvature changes finely, a large error (calculation) occurs in the horizontal direction (horizontal direction). (The difference between the determined optical axis direction and the actually optimal optical axis direction), and the preceding vehicle is likely to deviate laterally from the corrected detection area.
Accordingly, it is an object of the present invention to provide an in-vehicle radar device in which the center axis of a sensor is corrected in an optimal direction even when there is a gradient or an S-shaped curve, and it is difficult to miss a preceding vehicle.
[0005]
[Means for Solving the Problems]
An on-vehicle radar device according to the present invention is an on-vehicle radar device having a sensor for acquiring at least positional information of a detection target existing in front of or behind a host vehicle,
An imaging unit for acquiring an image including a road surface in front of or behind the host vehicle, and a control unit for correcting the direction of the center axis of the sensor based on the image obtained by the imaging unit,
The control means includes:
A line segment detection unit that detects a line segment along the lane in which the host vehicle is traveling from the image, and a direction vector detection unit that determines a direction vector on the actual coordinates of the line segment obtained by the line segment detection unit. A correction control unit that executes control for correcting the direction of the central axis up, down, left, and right so as to match the direction vector obtained by the direction vector detection unit.
[0006]
Here, the “detection target” basically means a preceding vehicle or a following vehicle (including a motorcycle other than a four-wheeled vehicle), but may include an obstacle (a guardrail or the like) other than the vehicle. .
The “sensor” is, for example, one that irradiates a detection area with an electromagnetic wave or a sound wave and detects a detection target based on the reflected wave (specifically, a laser radar, a millimeter-wave radar, or the like). Note that this sensor is not necessarily a scanning type, and may be a non-scanning type (however, one having directivity and having a specific detection area).
The “center axis of the sensor” is the center axis of the detection area, and in the case of the scanning type, means the center axis of the scanning range.
The “line segment along the lane on which the vehicle is running” is a mark on the road surface on one or both sides of the lane on which the vehicle is running (white line, yellow line, double line, broken line, etc.). ), Lines (so-called edges) constituting an image such as a guardrail, a median strip, a protective wall, a boundary with a sidewalk, or an optical flow obtained from a temporal change of these images, and a lane in which the vehicle is traveling. In the tangential direction.
[0007]
Note that the detection of the line segment (extraction from the image) can be realized with considerable reliability by so-called edge extraction, as long as the density (brightness and darkness) such as a white line is clear. However, in order to improve the reliability of reliably detecting the above line segment by eliminating image components such as dirt on the road surface and buildings around the road, or by lowering the threshold value of the detection, the shading is not clear. In order to be able to detect even the edges of the median strip, for example, with considerable reliability, the position and area in the image for detecting the line segment, the angle range of the line segment, and the like are limited to possible conditions in advance. It is preferable to keep it. For example, as shown in FIG. 5 (c), an angle range of 30 ° to 60 ° counterclockwise from the lower side of the frame with the lower left of the image frame as the origin, and an extension line of the lower side of the frame with the lower right of the image frame as the origin. The area and angle for detecting the line segment may be limited to an angle range of 120 ° to 150 ° counterclockwise. The imaging direction and image of the imaging means (camera) are adjusted so that the positions and directions of the edges (white line and median strip dividing the lane, etc.) on both sides of the lane in which the vehicle is traveling fall under such conditions. This is because it is easy and natural to set the angle, and in this case, by excluding an object that deviates from such a condition from the detection range, only the above-described predetermined line segment can be more reliably and easily detected.
[0008]
According to the on-vehicle radar device of the present invention, the central axis of the sensor is corrected in the direction on the actual coordinates of the line along the lane in which the host vehicle is running in the image ahead or behind the host vehicle. In addition, it is difficult to miss a detection target (particularly, a preceding vehicle or a following vehicle) to be detected even on a road having an uneven curvature or a road with a gradient. For example, if a line segment such as a white line at a position (a predetermined position in the vertical direction in the image) at a predetermined distance from the vehicle is detected, and the center axis of the sensor is corrected in the direction of the actual coordinates of the line segment, The center axis of the sensor is corrected up, down, left, and right in accordance with the road direction (three-dimensional direction) ahead or behind the host vehicle, regardless of the curvature or gradient of the nearest road on which the vehicle is currently traveling. Because you can do it. In particular, in the present invention, since the center axis direction of the sensor moves up and down according to the gradient of the road ahead or behind, correction in the vertical direction, which has not been performed conventionally, is also possible, and it is difficult to miss a preceding vehicle or the like even on a sloped road. Become.
In addition, in order to properly cope with an S-shaped curve or an up-down road condition, as described later, a plurality of the line segments are detected, and from the direction of each line segment, a road ahead or behind the own vehicle is detected. It is preferable to identify the optimal direction vector that can overlook the whole.
[0009]
Next, in a preferred aspect of the present invention, the line segment detection unit has a function of obtaining, as the line segment, one or more pairs on both sides of the lane in which the own vehicle is traveling,
The direction vector detection unit obtains a vanishing point on the image as an intersection of the extension lines of the pair of line segments, and obtains the direction vector from the vanishing point.
In such a mode, even in a simple configuration in which one camera is provided as an imaging unit, the direction vector can be obtained by a simple process as shown in an embodiment described later.
[0010]
When the direction vector is obtained from the vanishing point as described above, it is preferable to adopt the following mode.
That is, the first aspect includes an area dividing unit that divides an image obtained by the imaging unit into a plurality of small areas,
The line segment detection unit executes the detection of the line segment for each of the small areas, detects a plurality of pairs of the line segment,
The direction vector detection unit obtains a plurality of vanishing points on the image based on the plurality of pairs of line segments, and among these vanishing points, a point on a pair of line segments located closest to the foreground and each vanishing point. A vanishing point that maximizes the area of the common region between the triangular region on the image having the point as the vertex and the region on the image of the lane in which the vehicle is traveling (hereinafter, sometimes referred to as a road region), The direction vector is obtained from the selected vanishing point. The road area can be obtained, for example, as an area surrounded by the plurality of line segments.
[0011]
Next, in a second aspect, the line segment detection unit detects the pair of line segments in a lowermost band-like region along a lower side of the image,
The direction vector detection unit obtains a vanishing point on the image based on the pair of line segments in the lowermost band-like area, and discretizes the vanishing point into upper, lower, left, and right rectangular areas around the vanishing point. A plurality of coordinates on the image are determined, and from these coordinates, a point on a pair of line segments in the lowermost band-like region and a triangular region on the image having each coordinate as a vertex, and a vehicle traveling by itself. The coordinates at which the area of the common region with the region on the image of the lane is maximized are selected, and the direction vector is obtained from the selected coordinates.
[0012]
According to the first mode or the second mode, the sensor is set in the direction of the point where the entire road can be best seen from a plurality of vanishing points (or a plurality of coordinates obtained by discretizing one vanishing point). Since the central axis is corrected, it is more difficult to overlook a detection target (particularly, a preceding vehicle or a following vehicle) to be detected even in a road condition in which the curvature changes complicatedly such as an S-shaped curve or a road condition in which ups and downs are severe.
In addition, in the case of the second mode, since only one vanishing point is calculated, there is an advantage that the calculation load is reduced.
[0013]
In the first aspect, the direction vector detection unit may determine that the detection target is the same as the line segment on an image based on position information of the detection target (at least, a preceding vehicle or a following vehicle) obtained by the sensor. It is preferable that a small area that overlaps or is likely to overlap is specified, and this small area is excluded from the target for calculating the vanishing point. In this way, for example, when the preceding vehicle is at the edge of the lane (including the boundary between lanes), the line segment at that position cannot be detected properly, and correction cannot be performed, or good correction cannot be performed. It can be prevented from becoming impossible.
[0014]
The correction of the present invention may be performed at all times (for example, periodically) while the vehicle is running or when the ignition switch is turned on. However, the correction is performed only when necessary as described below to improve the processing efficiency. You may make it aim. That is, it is detected that the horizontal position of the detection target has changed, that the speed of the own vehicle has changed, that the own vehicle has tilted with respect to the horizontal, and that the own vehicle has changed lanes. The control processing means may start a new control for correcting the direction of the central axis due to the fact that any one or a plurality of conditions are satisfied.
[0015]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(First Embodiment)
1A and 1B are diagrams illustrating the configuration of the on-vehicle radar device according to the present embodiment. FIG. 1A is a block diagram illustrating the entire configuration, and FIG. 1B is a functional block diagram illustrating an image processing unit. is there.
[0016]
First, the overall configuration will be described.
As shown in FIG. 1A, the present apparatus includes a camera 1 (imaging means), a sensor 2, an image processing unit 3, and a controller 4.
The camera 1 is an image pickup unit composed of a well-known device such as a CCD or a CMOS. In this case, only one camera is provided. In addition, the camera 1 is mounted facing obliquely downward (or obliquely downward rearward) of the vehicle so as to obtain an image including a road surface in front of the vehicle (see FIG. 6).
The sensor 2 is, for example, a laser radar.
The image processing unit 3 includes a circuit including a microcomputer (hereinafter, referred to as a microcomputer), and obtains and outputs an optimal direction of the optical axis of the sensor 2 from an image obtained by the camera 1.
The controller 4 controls an actuator (not shown) to change the optical axis of the sensor 2 in the optimal direction output by the image processing unit 3, and is also composed of a circuit including a microcomputer. Note that the image processing unit 3 and the controller 4 may be configured as an integrated unit.
[0017]
Next, details of the image processing unit 3 will be described. The image processing unit 3 functionally includes the elements shown in FIG. 1B (a distortion correction unit 11, a band region division unit 12, a white line detection unit 13, a vanishing point detection unit 14, and a scanning region calculation unit 15).
Here, the distortion correction unit 11 corresponds to step S1 in FIG. 2 described below, and corrects image data obtained by the camera 1 so as to eliminate the influence of distortion of the lens of the camera 1.
The band area dividing unit 12 corresponds to step S2 in FIG. 2 described below. In order to accurately cope with a road condition such as an S-shaped curve having a non-uniform curvature, a plurality of small areas including line segments (in this case, , The image is divided into horizontally long band-like regions.
The white line detection unit 13 corresponds to steps S3 to S5 in FIG. 2 described below, and detects white lines (may include a yellow line or a broken line) on both sides of the lane on the road on which the vehicle is traveling, for each region. Is detected as a straight line segment.
The vanishing point detector 14 corresponds to step S6 in FIG. 2 described later, and obtains a vanishing point on an image from a line segment detected for each region.
The scanning area calculation unit 15 corresponds to steps S8 to S13 in FIG. 2 described later, and obtains an optimal optical axis direction from vanishing points calculated for each area.
[0018]
Next, the operation of the present apparatus (mainly the processing contents of the image processing unit 3) will be described with reference to FIG.
The image processing unit 3 repeats the next series of processing (steps S1 to S14), for example, periodically.
That is, first, in step S1, image data of the camera 1 is read and distortion correction is performed. Specifically, for example, the pixel coordinates are converted from (x, y) to (x ′, y ′) by the relational expression shown in Expression 1. In addition. In Expression 1, κ is a negative constant.
[0019]
(Equation 1)

[0020]
Next, in step S2, as shown in FIG. 3A, for example, image data for dividing an image into a horizontally long band-like area (N pieces) so as to include a road is set. To include a road means to include at least a lower region of an image frame where a road image exists, as shown in FIG. 3A, for example. In this case, the width of the band-shaped region is equal to the width of the entire image, and the length of the band-shaped region is a width obtained by equally dividing the lower region of the image by N. In this example, N = 7, that is, the image is divided into seven band-shaped regions 1 to 7. Further, the band-shaped region here corresponds to the small region of the present invention.
[0021]
Next, the processing of steps S3 to S6 is performed for each band-shaped area.
First, in step S3, edge extraction is performed using an edge extraction filter. As the edge extraction filter, for example, a rightward Sobel filter as shown in Expression 2 is used. In Equation 2, f (x, y) means the pixel density value at the coordinates (x, y) on the image, and g (x, y) is the value after filtering (the density value of the adjacent pixels). Difference).
[0022]
(Equation 2)

[0023]
Next, in step S4, white line candidate extraction is performed. White line candidate extraction is performed by performing a binarization process on an edge image composed of g (x, y) calculated by Expression 2 using a predetermined threshold value (for example, 128 in the case of 256 gradations). Then, the coordinates inside the white lines on both sides of the road (white line candidate points) are obtained. More specifically, when the edge image is moved from left to right, if there is a coordinate exceeding the threshold, and further, if there is a coordinate whose width in the left-right direction is less than the threshold within a specified width B, the coordinate at that time is displayed. The first coordinate (coordinate exceeding the threshold) is estimated to be the left end of the left white line, and the subsequent coordinates (coordinates below the threshold) are assumed to be the right end of the left white line (inside the left white line) Presumed. Further, the left end of the right white line (inside the right white line) is obtained by the same processing, and the coordinates inside these white lines are obtained as white line candidate points. Usually, a plurality of these white line candidate points are obtained for the number of pixels in the vertical direction of the band-shaped area. Here, the limitation by the specified width B is for excluding a width significantly exceeding the width corresponding to the actual white line width, and detecting only the edge of the white line with high reliability.
In this white line candidate extraction, a position, an area, or an angle range in an image in which a white line is detected is set so that an image component (such as a contour line) such as dirt on a road surface or a building around the road is not erroneously detected as a white line. It is preferable to limit the conditions to possible conditions in advance. For example, it is preferable to set the above-described limiting condition as shown in FIG. 5C and perform the white line candidate extraction.
[0024]
Next, in step S5, Hough transform is performed on the white line candidate points, and the two best matching straight lines are determined as tangents (the line segment of the present invention or an extension thereof) of each white line for each small area.
The Hough transform is to find a Hough curve on a ρ-θ plane expressed by Equation 3 with respect to coordinates (x, y) of a candidate point on an image (on an xy plane), and to obtain coordinates of an intersection of the Hough curves. This is a process of extracting a straight line on the image from. In this case, the most suitable two straight lines can be specified by obtaining two intersections (ρa, θa) and (ρb, θb) where a plurality of Hough curves obtained from the above-described plurality of white line candidate points intersect with each other. This is because if the values of ρ and θ are determined in the equation (3), a straight line on the image can be specified. FIG. 5B shows the positional relationship between (x, y) and (ρ, θ).
[0025]
[Equation 3]

[0026]
Next, in step S6, the coordinates of the vanishing point on the image are calculated from the data of the two straight lines obtained in step S5. Since the vanishing point is the intersection of the two straight lines, the vanishing point is obtained from the above-mentioned data (ρa, θa) and (ρb, θb) by the equation (4).
[0027]
(Equation 4)

[0028]
Next, in step S7, it is determined whether or not the number of executions of steps S3 to S6 is less than N (that is, whether or not the processing of steps S3 to S6 has not been completed for all band-shaped areas). If it is less, the process returns to step S3 and the process is repeated for the next band-like region. If it is equal to or more than N (if processing is completed for all band-shaped areas), the process proceeds to step S8.
FIG. 3B is a diagram showing an example of a vanishing point obtained by the above processing. In the figure, a thick line indicates a white line of a road, a broken line indicates a straight line extending inside the white line (line segment) obtained for each small area, and signs of (1) to (6) indicate vanishing points ( In this case, the seventh vanishing point {7} was not found).
[0029]
Next, in step S8, road area detection is performed. The road area detection detects a road area surrounded by two white lines (for example, an area indicated by oblique lines in FIG. 4A) based on the coordinates inside the white line obtained by the processing of steps S3 to S4. I do.
Next, the processing of steps S9 to S10 is performed for each band-shaped area.
First, in step S9, a triangular region having a fixed base with a maximum of N vanishing points as upper vertices and points on white lines on both front sides as lower vertices is detected. That is, for the band-like region 1, as shown by the hatched portion in FIG. 4B, for example, the vanishing point obtained for the band-like region 1 in step S6 is set as the upper vertex, and both sides obtained for the band-like region 1 in step S5. (A line on the inner edge side of both white lines) is detected as a triangular area having a lower vertex (both end points on the bottom side). Similarly, for the band-shaped region 2 and thereafter, a triangular region having each vanishing point as the upper vertex and the lower end of the straight line on both sides obtained for the band-shaped region 1 as the lower vertex is detected. In addition, in the case of FIG. 4B, since the lower inner sides of both white lines are located at the lower corners of the image frame, the bottom of the triangle coincides with the lower side of the image frame. This is not always the case. For example, when the lower ends of both white lines are inside the horizontal width of the image frame, the base of the triangle is a line segment shorter than the horizontal width (length of the lower side) of the image frame. The lower vertex of the triangle does not necessarily need to be the lower end of the inner edge of the white line in the belt-shaped region 1. For example, the upper end point of the white line in the belt-shaped region 1 (on the boundary between the belt-shaped region 1 and the belt-shaped region 2). Point) or a point on the outer edge side of the white line in the belt-shaped region 1. Further, when there is no white line in the band-shaped region 1, for example, a point on the white line in the upper band-shaped region 2 may be set as the lower vertex of the triangle.
[0030]
Next, in step S10, an AND area (area of an overlapping portion) between the road area obtained in step S8 and the triangular area obtained in step S9 is obtained.
Next, in step S11, similarly to step S7, it is determined whether or not the processing in steps S9 to S10 has been completed for all the band-shaped regions. If the processing has been completed for all the band-shaped regions, the process proceeds to step S12. If not, the process returns to step S9.
Then, in step S12, a band-shaped region Nmax in which the AND area obtained in step S10 is maximized is obtained. In the following, description will be made on the assumption that the band-shaped region 6 has been obtained as the band-shaped region Nmax.
[0031]
Next, in step S13, the coordinates (X6, Y6) of the vanishing point of the band-shaped area Nmax (band-shaped area 6) are converted into a road coordinate system (xr, yr, zr), and the direction of the vanishing point on the road coordinates is calculated. Find the vector V6. Since the sensor 2 (laser radar, etc.) is usually mounted on a radiator (on a bumper) of the vehicle, the coordinate system of the sensor 2 is slightly different from the road coordinate system, but the direction of the sensor 2 is corrected. In this case, there is no particular problem if the coordinate system of the sensor 2 and the road coordinate system are regarded as the same, and the direction is corrected by the data of the road coordinate system.
[0032]
As shown in FIG. 6, when the relationship between the sign and the direction of each coordinate system is determined, the road coordinate system (xr, yr, zr), the camera coordinate system (xc, yc, zc), and the image coordinate system (X, Y) ), The following relational expressions shown in

Expressions

5 and 6 hold. Here, R represents a 3 × 3 matrix, and T represents a 3 × 1 matrix. Further, R and T are set in advance by camera calibration. F in Equation 6 is the focal length of the camera 1.
[0033]
(Equation 5)

[0034]
(Equation 6)

[0035]
Therefore, the coordinates of the vanishing point (X6, Y6) can be converted into the road coordinate system (xr, yr, zr) as follows.
That is, (X6, Y6) is substituted for (X, Y) in equation (6), and is first converted to the camera coordinate system (xc, yc, zc) as shown in equation (7). In Equation 7, zc = k.
[0036]
(Equation 7)

[0037]
Next, by substituting equation (7) into equation (5), it is possible to convert to the road coordinate system (xr, yr, zr) as in equation (8). It should be noted that the value of k in Equation 8 may be calculated by applying an appropriate constraint condition. For example, k can be obtained by substituting the measurable distance (for example, 150 m) of the laser radar into zr in the equation (8), and set to this value.
[0038]
(Equation 8)

[0039]
When a unit vector is obtained from the coordinates of the vanishing point in the road coordinate system obtained as described above, the unit vector is the direction vector V6.
Finally, in step S14, the optimum position of the optical axis is obtained from the direction vector V6 and output to the controller 4. In response to this, the controller 4 moves the optical axis to the commanded optimal position and corrects the direction of the optical axis so that it matches the direction vector V6.
FIG. 5A is a diagram showing a scanning range (scanning area) of the laser radar 2. Here, the coordinate origin O is the center coordinate of scanning in a normal state (a state without correction). Further, (-Sx, Sx) and (-Sy, Sy) are the scanning range in the normal state, and (-Sxmax, Sxmax) and (-Symax, Symax) are the maximum scanning range. That is, the maximum correction amount that can move the center (optical axis) of the scanning range of the laser radar 2 in the xl direction (lateral direction) is Sxmax-Sx, and the maximum correction amount that can be moved in the yl direction (vertical direction). Is Symax-Sy.
[0040]
Therefore, the optical axis position (xL, yL) in the xl direction and the yl direction determined by the relational expression shown in Expression 9 from the component (xr, yr, zr) of the unit vector V6 becomes the optimal position of the optical axis.
[0041]
(Equation 9)

[0042]
According to the radar device described above, the sensor in the direction on the real coordinates of the line segment (in this case, the inner edge of the white line) along the lane in which the host vehicle is traveling in the image ahead or behind the host vehicle. Since the central axis is corrected, it is difficult to miss a detection target (particularly, a preceding vehicle or a following vehicle) to be detected even on a road having an uneven curvature or a road with a gradient. In particular, in the case of the present embodiment, the central axis of the sensor is corrected in the direction of the vanishing point that can best overlook the entire road from among a plurality of vanishing points obtained by dividing the image into regions, so that the S-shaped curve It is more difficult to overlook a detection target to be detected even in a road condition in which the curvature changes in a complicated manner or a road condition in which the up-down is severe.
Further, in the present invention, since the direction vector is determined by obtaining the vanishing point, the direction vector can be obtained by the above-described simple processing even with a simple configuration in which one camera is provided as the imaging means.
[0043]
(Second embodiment)
Next, a second embodiment will be described. This embodiment has a feature in a part of the processing content of the image processing unit 3, and the other is the same as the first embodiment. FIG. 8 is a flowchart showing the processing content of this example. Note that the same steps as those in the first embodiment (FIG. 2) are denoted by the same reference numerals, and redundant description is omitted (the same applies to a third embodiment described later).
In this case, the vanishing point is obtained only for the lowest band-like area 1 (N = 1) (steps S3 to S6).
Then, in step S21 following step S8 (road area detection), as shown in FIG. 7A, the vanishing point when N = 1 is discretely divided into upper, lower, left, and right rectangular areas around the vanishing point. A plurality of (D) coordinates (points) on the converted image are determined. For example, in FIG. 7 (a), five rows horizontally and three rows vertically (in this case, D = 15) are generated at prescribed intervals around the vanishing point when N = 1.
[0044]
Next, in steps S22 to S26, similar to steps S9 to S13 in FIG. 2, a triangular area on an image in which each of the D coordinates exists as an upper vertex, and points on the white line on both sides in front are lower vertices. Then, the coordinates at which the area of the common region with the road region determined at step S8 is maximized are selected, and the direction vector is determined from the selected coordinates.
According to the second embodiment, the following effects are obtained in addition to the same effects as in the first embodiment. That is, in the case of the second mode, only one vanishing point is calculated, and thus there is an advantage that the calculation load is reduced.
[0045]
(Third embodiment)
Next, a third embodiment will be described. This embodiment also has a feature in a part of the processing content of the image processing unit 3. However, in the case of this example, as indicated by a broken line in FIG. 1A, information of the detection result by the laser radar 2 (at least the position information of another vehicle) is input from the controller 4 to the image processing unit 3, for example. It is necessary to have a configuration that
FIG. 9 is a flowchart showing the processing content of this example.
In this case, step S31 is provided after step S2. In this step S31, whether or not there is another vehicle in the belt-like area for which the vanishing point is to be obtained and whether or not the other vehicle may overlap with the line segment is determined by the information of the detection result by the laser radar 2. Judge based on. If another vehicle exists, the process skips steps S3 to S6 and proceeds to step S7, and does not execute the calculation of the vanishing point for the band-shaped region.
[0046]
The determination as to whether or not another vehicle exists in the belt-shaped area is performed, for example, as follows. That is, based on the information of the detection result by the laser radar 2 (position information of another vehicle), the position on the image where the other vehicle is present is obtained, a histogram is formed near the position, and the histogram is formed on the image of the other vehicle. An approximate width dimension and height dimension are determined, and an area on the image where another vehicle exists is specified. Then, for example, the overlap ratio between this region and each band-shaped region may be calculated, and it may be determined that another vehicle exists in the band-shaped region overlapping by a predetermined ratio or more.
[0047]
According to the present embodiment, the belt-like area where the preceding vehicle or the like exists is excluded from the processing target for obtaining the direction vector (vanishing point). For example, when an image as shown in FIG. 7B is obtained,

regions

4 and 5 are excluded. For this reason, as shown in FIG. 7B, when the preceding vehicle or the like is at the edge of the lane (including the boundary between lanes), the line segment at that position (in this case, the edge of the white line) becomes the preceding vehicle. It is possible to prevent that the detection cannot be performed properly and the correction cannot be performed, or that the correction cannot be properly performed.
[0048]
Note that the present invention is not limited to the above-described embodiment, and may have various aspects and modifications.
For example, the image processing unit 3 in the above embodiment may have a configuration as shown in FIG. FIG. 1C is a high-level conceptual functional block diagram of the image processing unit 3. In this case, the image processing unit 3 includes a preprocessing unit 21, a region division unit 22, a line segment detection unit 23, and a direction vector. It comprises a detection unit 24 and a calculation unit 25.
The pre-processing unit 21 corresponds to the distortion correction unit 11 in FIG. 1B. Here, in addition to the above-described lens distortion correction (geometric correction), luminance correction such as gamma correction and contrast enhancement, Noise removal such as a median filter may be performed as necessary.
[0049]
Further, the region dividing unit 22 is not limited to a mode in which an image is divided into a horizontally long band-shaped region, and may be, for example, a case in which an image is divided into a vertically long band-shaped region, or a case in which an image is divided into a lattice. When the image is divided in this manner, how to associate a pair of line segments forming a pair (existing on both sides of the lane and going to the same vanishing point) is a problem. The line segments detected in the regions at the left-right symmetry positions may be selected as a pair of line segments. That is, for example, when the image is divided into a vertically long band, the first vanishing point is defined as the intersection of the line detected in the leftmost band in the image and the extension of the line detected in the rightmost band. Is specified, and the second vanishing point is specified as the intersection of the line detected in the second band from the left in the image and the extension of the line detected in the second band from the right. The vanishing points may be obtained in this manner.
Further, the division width at the time of dividing an image is not necessarily equal or constant. Further, the number of divisions N may be other than N = 7 as in the above-described embodiment, or may be variable.
[0050]
Further, the line segment detection unit 23 corresponds to the white line detection unit 13 in FIG. 1B, but is not limited to the aspect of the white line detection unit 13, and as described above, in addition to the white line, an image of a guardrail or the like may be used. Or an optical flow obtained from a temporal change of these images may be detected as a line segment of the present invention.
The direction vector detection unit 24 corresponds to a part of the vanishing point detection unit 14 and the scanning area calculation unit 15 in FIG. 1B, but a mode in which a direction vector of a line segment is specified without finding a vanishing point is also available. possible. For example, a plurality of cameras may be installed, the three-dimensional position of a point on a line segment may be obtained by the principle of triangulation, and the direction of the line segment in real coordinates may be calculated. In such an embodiment, the direction vector is determined by a single line segment (in other words, for each line segment) (that is, there is no need to detect a pair of line segments as in the above embodiment).
The calculation unit 25 calculates the optimum optical axis direction from the calculated direction vector, and corresponds to the scanning area calculation unit 15 in FIG.
[0051]
Further, in the above embodiment, a plurality of direction vectors (vanishing points) are obtained from a plurality of line segments obtained by dividing the image, and a direction vector in which the overlapping portion of the above-described triangular region and the road region is the largest is obtained. Although selected, the manner of correcting the optical axis by selecting a final direction vector from a plurality of line segments is not limited to this. For example, the line segment includes a white line at a position relatively far from the host vehicle (upper region in the image) and a white line at a position closer to the host vehicle (lower region in the image). A mode in which a plurality of detections are performed in the longitudinal direction of the road and the center axis of the sensor is corrected in the average direction (including a mode in which the vanishing point is not determined) may be used. Although the average direction is not always the best direction, it is possible to look over the entire road and hardly miss a preceding vehicle or the like, as compared with the conventional case where the optical axis is corrected assuming a constant curvature.
[0052]
Further, in the above embodiment, the image processing unit 3 and the controller 4 constitute the control means of the present invention. As described above, for example, the processing of FIG. However, as described above, the optical axis correction may be performed only when necessary (for example, when a change in the horizontal position of the preceding vehicle is detected).
In the third embodiment, the direction vector (vanishing point) is obtained for all such small areas, assuming that the small area where the other vehicle is present may possibly overlap the line segment. Excluded from processing. However, even in a small area where another vehicle is present, when it can be determined that the other vehicle does not overlap with the line segment (for example, when the other vehicle is located at the lower left and right center position in the image and is located at the end of the lane In the case where it can be determined that the small area does not exist, the configuration may be such that the small area is not excluded from the processing target (that is, only the small area where another vehicle overlaps the line segment) may be used.
[0053]
【The invention's effect】
According to the on-vehicle radar device of the present invention, the central axis of the sensor is corrected in the direction on the actual coordinates of the line along the lane in which the host vehicle is running in the image ahead or behind the host vehicle. In addition, it is difficult to miss a detection target (particularly, a preceding vehicle or a following vehicle) to be detected even on a road having an uneven curvature or a road with a gradient.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a configuration of a vehicle-mounted radar device.
FIG. 2 is a flowchart of an optical axis correction process (first embodiment).
FIG. 3 is a diagram illustrating region division and vanishing points of an image.
FIG. 4 is a diagram illustrating a road area and a triangle area in an image.
FIG. 5 is a diagram illustrating a scanning range and the like of a laser radar.
FIG. 6 is a diagram illustrating a relationship between a sign and a direction of each coordinate system.
FIG. 7 is a diagram for explaining another embodiment.
FIG. 8 is a flowchart of an optical axis correction process (second embodiment).
FIG. 9 is a flowchart of an optical axis correction process (third embodiment).
[Explanation of symbols]
1 camera (imaging means)
2 Laser radar (sensor)
3 Image processing unit (control means)
4 Controller (control means, correction control unit)
23 Line segment detector
24 Direction vector detector

Claims

An on-vehicle radar device having a sensor for acquiring at least positional information of a detection target existing in front of or behind the own vehicle,
Imaging means for acquiring an image including a road surface in front of or behind the own vehicle,
Control means for correcting the direction of the center axis of the sensor based on the image obtained by the imaging means,
The control means includes:
A line segment detection unit that detects a line segment along the lane in which the vehicle is traveling from the image,
A direction vector detection unit that obtains a direction vector on the actual coordinates of the line segment obtained by the line segment detection unit,
An on-vehicle radar device comprising: a correction control unit that executes control for correcting the direction of the center axis up, down, left, and right so as to match the direction vector obtained by the direction vector detection unit.

The line segment detection unit has a function of obtaining, as the line segment, one or more pairs on both sides of the lane in which the own vehicle is traveling,
The on-vehicle radar according to claim 1, wherein the direction vector detection unit obtains a vanishing point on the image as an intersection of extension lines of the paired line segments, and obtains the direction vector from the vanishing point. apparatus.

The image obtained by the imaging means, comprising an area dividing unit for dividing into a plurality of small areas,
The line segment detection unit performs the detection of the line segment for each of the small areas, detects a plurality of pairs of the line segment,
The direction vector detection unit obtains a plurality of vanishing points on the image based on the plurality of pairs of line segments, and among these vanishing points, a point on a pair of line segments located closest to the foreground and each vanishing point. A vanishing point in which the area of the common area between the triangular area on the image having the point as the vertex and the area on the image of the lane in which the own vehicle is running is maximized is selected. 3. The on-vehicle radar device according to claim 2, wherein:

The line segment detection unit detects the pair of line segments in a lowermost band-shaped region along a lower side of the image,
The direction vector detection unit obtains a vanishing point on the image based on the pair of line segments in the lowermost band-like area, and discretizes the vanishing point into upper, lower, left, and right rectangular areas around the vanishing point. A plurality of coordinates on the image are determined, and from these coordinates, a point on a pair of line segments in the lowermost band-like region and a triangular region on the image having each coordinate as a vertex, and a vehicle traveling by itself. 3. The on-vehicle radar device according to claim 2, wherein a coordinate at which an area of a common region with a region on the image of the lane is maximized is selected, and the direction vector is obtained from the selected coordinate.

The direction vector detector,
Based on the position information of the detection target obtained by the sensor, a small area where the detection target overlaps or is likely to overlap with the line segment on the image is specified, and this small area is excluded from the target for obtaining the vanishing point. The on-vehicle radar device according to claim 3, wherein:

The control means includes:
Detecting that the horizontal position of the detection target has changed, detecting that the speed of the own vehicle has changed, detecting that the own vehicle has tilted with respect to the horizontal, and detecting that the own vehicle has changed lanes The vehicle-mounted vehicle according to any one of claims 1 to 5, wherein a new control for correcting the direction of the center axis is started due to one or more of the conditions being satisfied. Radar equipment.