JP2012146135A - 境界検出装置、および境界検出プログラム - Google Patents

境界検出装置、および境界検出プログラム Download PDF

Info

Publication number
JP2012146135A
JP2012146135A JP2011004121A JP2011004121A JP2012146135A JP 2012146135 A JP2012146135 A JP 2012146135A JP 2011004121 A JP2011004121 A JP 2011004121A JP 2011004121 A JP2011004121 A JP 2011004121A JP 2012146135 A JP2012146135 A JP 2012146135A
Authority
JP
Japan
Prior art keywords
boundary
candidate
captured image
reference value
candidates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011004121A
Other languages
English (en)
Other versions
JP5304804B2 (ja
Inventor
Hiroki Nakano
広樹 中野
Katsuhiko Hibino
克彦 日比野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2011004121A priority Critical patent/JP5304804B2/ja
Priority to US13/347,825 priority patent/US8682033B2/en
Publication of JP2012146135A publication Critical patent/JP2012146135A/ja
Application granted granted Critical
Publication of JP5304804B2 publication Critical patent/JP5304804B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】境界検出装置において、路面への写り込みがある場合でも精度よく走行車線の境界を検出することができるようにする。
【解決手段】車線境界検出装置においては、自車両の周囲を撮像した撮像画像から複数のエッジ成分を抽出し、複数のエッジ成分の配置に基づいて走行領域の境界となる曲線(直線を含む)の候補を境界候補として抽出する。そして、抽出した各境界候補の所定の部位における接線と、撮像画像における鉛直線とのなす角を演算し、このなす角が角度基準値未満の境界候補における確からしさをより低く設定し(S380)、境界候補の中から最も確からしい境界候補を走行領域の境界に設定する。この構成では、走行領域の境界となるべき曲線の確からしさを相対的に高くし、走行領域の境界として設定され易くすることができるので、撮像画像路面への写り込みがある場合でも精度よく走行車線の境界を検出することができる。
【選択図】図3

Description

本発明は、車両に搭載され、自車両が走行する走行領域の境界を検出する境界検出装置、および境界検出プログラムに関する。
上記の境界検出装置として、エッジ成分(エッジ点)を検出し、検出したエッジ成分から走行車線の境界(白線)を検出するものが知られている(例えば、特許文献1参照)。
特許第3589293号公報
しかしながら、上記境界検出装置では、路面に写り込んだ周辺物体(建物や電柱等)を走行車線の境界と誤認識する虞があった。そこでこのような問題点を鑑み、境界検出装置において、路面への写り込みがある場合でも精度よく走行車線の境界を検出することができるようにすることを本発明の目的とする。
かかる目的を達成するために成された第1の構成の境界検出装置において、エッジ抽出手段は、自車両の周囲を撮像した撮像画像から複数のエッジ成分を抽出し、境界候補抽出手段は、複数のエッジ成分の配置に基づいて走行領域の境界となる曲線(直線を含む)の候補を境界候補として抽出する。そして、確からしさ設定手段は、抽出した各境界候補の所定の部位における接線と、撮像画像における鉛直線とのなす角を演算し、このなす角が角度基準値未満の境界候補における確からしさをより低く設定し、境界設定手段は、境界候補の中から最も確からしい境界候補を走行領域の境界に設定する。
すなわち、本発明の境界検出装置では、撮像画像中において、走行領域の境界となる曲線は鉛直方向からある程度の角度を有する方向に延びていることが多いのに対して、路面へ写り込む物体となる曲線は鉛直方向とほぼ一致する方向に延びることが多いという特徴に着目し、境界候補となる曲線と撮像画像における鉛直線とのなす角が角度基準値未満の境界候補における確からしさをより低く設定した上で境界候補を検出している。
このような境界検出装置によれば、走行領域の境界となるべき曲線の確からしさを相対的に高くし、走行領域の境界として設定され易くすることができるので、撮像画像路面への写り込みがある場合でも精度よく走行車線の境界を検出することができる。
なお、本発明においてエッジ成分とは、撮像画像を構成する多数の画素のうちの隣接する画素間において輝度基準値以上の輝度変化がある領域を表す。
ところで、上記境界検出装置においては、第2の構成のように、確からしさ設定手段は、前述のなす角が角度基準値以下の値に設定された除外基準値未満の境界候補を境界候補から除外するようにしてもよい。つまり、確からしさを0に設定するようにしてもよい。
このような境界検出装置によれば、除外基準値未満の境界候補を写り込んだ物体であるものと断定して除外するので、走行車線の境界を検出する精度を向上させることができる。なお、角度基準値と除外基準値とは同じ値であってもよいし、異なる値であってもよい。
また、上記境界検出装置においては、第3の構成のように、境界設定手段は、除外されなかった境界候補を構成する各エッジ成分についてハフ変換を行うことで新たな境界候補を検出し、これらの新たな境界候補のうちの最も確からしい境界候補を選択するようにしてもよい。
このような境界検出装置によれば、除外されなかった境界候補を構成する各エッジ成分についてハフ変換を行い新たな境界候補を検出するので、精度のよい境界候補を利用して走行領域の境界を検出することができる。なお、本発明において境界候補抽出手段がハフ変換を利用して境界候補を抽出している場合には、境界設定手段によるハフ変換と合わせて2度のハフ変換を行うようにすればよい。
さらに、上記境界検出装置においては、第4の構成のように、前述のなす角が角度基準値未満の境界候補の数または割合が予め設定された抽出判断基準値以上の場合、この撮像画像を利用した境界設定手段による走行車線の境界の設定を禁止する抽出禁止手段を備えていてもよい。なお、本発明において境界候補の割合とは、全ての境界候補の数に対する、なす角が角度基準値未満の境界候補の数を表す。
このような境界検出装置によれば、前述のなす角が角度基準値未満の境界候補の数または割合が抽出判断基準値以上の場合、すなわち、撮像画像中に多くの写り込みがある場合、撮像画像自体の信頼性が低いものとして、この撮像画像の利用を禁止することができる。この場合、例えば、撮像画像を利用しない方法(レーザレーダを利用する方法等)で走行車線の境界を検出するようにすればよい。
また、上記境界検出装置においては、第5の構成のように、抽出禁止手段が境界の設定を禁止する場合、撮像画像に対応付けてこの撮像画像の信頼性が低い旨を示すフラグを立てる低信頼性フラグ設定手段を備えていてもよい。
このような境界検出装置によれば、撮像画像中の写り込みが多い場合、撮像画像の信頼性が低い旨を記録することができる。
なお、本発明の低信頼性フラグ設定手段は、「前記なす角が角度基準値未満の境界候補の数または割合が予め設定された抽出判断基準値以上の場合に、(当該撮像画像を利用した前記境界設定手段による走行車線の境界の設定を禁止することなく)前記撮像画像に対応付けて該撮像画像の信頼性が低い旨を示すフラグを立てる」ようにしてもよい。この構成であれば、本構成で得られる走行領域の端部の情報を利用するか利用しないかを、この情報を受けた装置がフラグによって判断することができる。
さらに、上記境界検出装置においては、第6の構成のように、前述のなす角が角度基準値未満の境界候補の数または割合が予め設定されたウェット基準値以上の場合、走行領域がウェット状態である旨を出力するウェット出力手段、を備えていてもよい。
このような境界検出装置によれば、撮像画像中の写り込みがある程度(ウェット基準値以上)検出された場合に、走行領域がウェット状態である旨を出力することができる。よって、この出力を得た他の装置が本構成で得られる走行領域の端部の情報を利用するか利用しないかをこの出力に応じて判断することができる。なお、抽出判断基準値とウェット基準値との大小関係は不問であり、それぞれ任意の値を設定することができる。
また、上記境界検出装置においては、撮像画像における鉛直線の方向と、車両における鉛直方向とをそれぞれ取得し、これらの方向が一致するように撮像画像における鉛直線の方向を補正する補正手段、を備えていてもよい。
このような境界検出装置によれば、撮像画像の鉛直方向と車両における鉛直方向とに狂いが生じている場合であっても、これを補正することができる。よって、道路領域の境界を検出する精度を向上させることができる。
本発明の補正手段では、例えば、撮像を行う撮像手段(カメラ)の取付時の傾きを補正したり、車両の走行中におけるロール角(左右方向の傾き)補正したりすればよい。
また、上記目的を達成するために成された第8の構成としての境界検出プログラムにおいては、コンピュータを上記何れか1項に記載の境界検出装置を構成する各手段として機能させるための境界検出プログラムであることを特徴とする。
このような境界検出プログラムによれば、少なくとも請求項1に記載の境界検出装置と同様の効果を享受することができる。
車両に搭載された境界検出システム1の構成を示すブロック図である。 境界検出処理を示すフローチャート(a)、および白線候補抽出処理を示すフローチャート(b)である。 確からしさ判定処理を示すフローチャートである。 撮像画像から白線候補を抽出する処理を示す説明図である。 信頼性判定処理を示すフローチャートである。 ウェット判定処理を示すフローチャートである。
以下に本発明にかかる実施の形態を図面と共に説明する。
[本実施形態の構成]
図1は、車両に搭載された境界検出システム1の構成を示すブロック図であり、(a)は全体構成、(b)は主要部となる車線境界検出装置の詳細構成である。図1(a)に示すように、境界検出システム1は、車線境界検出装置10(境界検出装置)と車両制御ECU20とを備えている。
車線境界検出装置10は、自車両が走行中の車線(走行領域)の境界(以下「車線境界」という)となる位置等を示す境界パラメータを生成する機能を有する。また、車両制御ECU20は、車線境界検出装置10とは車載LANを介して接続され、その車載LANを介して車線境界検出装置10から取得する境界パラメータに基づき、自車両が走行中の車線を逸脱する可能性を求めて、その旨をドライバに報知する各種処理を実行する機能を有する。
車線境界検出装置10は、図1(b)に示すように、CCDカメラ11と、アナログ・デジタル変換器(ADC)12と、画像メモリ13と、CPU14と、ROM15と、RAM16と、通信IC17とを備えている。CCDカメラ11は、車両の進行方向(車両前方)の路面を撮像するように配置されている。
ADC12は、CCDカメラ11から出力されるアナログの画像信号をデジタルの画像データに変換する。画像メモリ13は、ADC12によって得られた画像データを格納する。
CPU14は、画像メモリ13に記憶されている画像データに基づいて、境界パラメータを生成する処理等を実行する。なお、ROM15は、CPU14が実行する処理のプログラムなどを記憶しており、RAM16はCPU14の作業領域として機能する。
通信IC17は、CPU14での処理結果等を、車載LANを介して外部へ出力する。 車両制御ECU20は、車線境界検出装置10と同様に、CPU,ROM,RAM,通信ICを備える他、当該ECU20に直結されたセンサ等から検出信号を取り込んだり、制御対象に対する制御信号を出力したりするためのIOポート等を備えている。
ここでは、制御対象として、警報音を発生させるスピーカが少なくとも接続されている。なお、車両制御ECU20は、車両が走行レーンから逸脱しないように操舵トルクを制御する操舵トルク制御装置等の交通事故を防止するための装置として機能するように構成されていてもよい。
[本実施形態の処理]
次に、CPU14が実行する境界検出処理(境界検出プログラムによる処理の内容)を、図2以下に示すフローチャートに沿って説明する。本処理は、例えば、イグニションスイッチ等の車両の電源がON状態にされると開始され、その後、一定時間毎(例えば100ms毎)に繰り返し実施される処理である。
図2(a)は境界検出処理を示すフローチャート、図2(b)は境界検出処理のうちの白線候補抽出処理を示すフローチャート、図3は境界検出処理のうちの確からしさ判定処理を示すフローチャートである。また、図5は境界検出処理のうちの信頼性判定処理を示すフローチャート、図6は境界検出処理のうちのウェット判定処理を示すフローチャートである。
境界検出処理においては、図2(a)に示すように、白線候補抽出処理(S110)、確からしさ設定処理(S120)、信頼性判定処理(S130)、ウェット判定処理(S140)を順に実施し、これらの処理が終了すると境界検出処理を終了する。
白線候補抽出処理は、撮像画像から白線候補(走行領域の境界となる可能性がある境界候補)を抽出する処理である。詳細には、図2(b)に示すように、まず、CCDカメラ11からこのカメラ11による撮像画像を取得し(S210)、この撮像画像中に含まれるエッジ成分を検出する(S220:エッジ抽出手段)。
エッジ成分とは、撮像画像を構成する多数の画素のうちの隣接する画素間において輝度基準値以上の輝度変化がある領域を表し、一般的にはエッジ点とも呼ばれる。なお、エッジ成分を検出する処理は周知であるため説明を省略する。
続いて、各エッジ成分の配置に基づいて走行領域の境界となる曲線(直線を含む)の候補を周知のハフ変換を行うことで境界候補として抽出する(S240:境界候補抽出手段)。このような処理が終了すると、白線候補抽出処理を終了する。
次に、確からしさ判定処理について説明する。確からしさ判定処理は、白線候補の方向(接線方向)によって白線候補の確からしさを設定する処理である。確からしさ判定処理は、図3に示すように、まず、自車両の振動方向を検出するとともに(S310:補正手段)、自車両のロール角(左右方向の傾き)の情報を取得する(S320:補正手段)。
ここで、自車両の振動方向は、撮像画像中のある物体(例えば建物等の固定物体)を複数フレーム分監視し、この物体が揺れる方向を特定することで求めることができる。詳細には、車両の直進中(ヨーレート等で特定可能)における振動方向を検出し、この方向と撮像画像の鉛直方向とを比較することで、CCDカメラ11の設置時の傾きを検出することができる。また、自車両のロール角は、例えば各車輪近傍において車高を測定する複数の車高センサ(図示省略)からの情報に基づいて求めることができる。
続いて、撮像画像における鉛直方向と、この車両における鉛直方向(直進時の振動方向)とが一致するように撮像画像における鉛直線の方向を補正する(S330:補正手段)。この処理では、CCDカメラ11の設置時の傾きとロール角との和の分だけ撮像画像における鉛直線の方向を補正する。
そして、抽出された白線候補のうちの1つを選択する(S340)。次いで、白線候補を構成するエッジ成分が並ぶ向き(白線候補の方向)を検出する(S350)。この処理では、白線候補として直線を抽出していれば、その直線の方向を検出し、白線候補として曲線を抽出していれば、所定の部位(例えば10m前方に相当する部位等)における接線の方向を検出する。
続いて、画像座標系において、白線候補の方向と、撮像画像における鉛直線の方向とのなす角を演算し(S360)、このなす角と予め設定された角度基準値とを比較する(S370)。ここで、角度基準値は、走行領域の境界となる曲線は鉛直方向からある程度の角度を有する方向に延びていることが多いのに対して、路面へ写り込む物体となる曲線は鉛直方向とほぼ一致する方向に延びることが多いという特徴に着目し、路面へ写り込む物体となる曲線を除去するために、例えば約10deg程度の値に設定されたものである。
S350〜S370の処理の具体例を、図4を用いて説明する。図4は撮像画像から白線候補を抽出する処理を示す説明図であり、(a)は撮像画像の模式図、(b)は実際の撮像画像、(c)は境界候補の除去の有無を示す説明図である。
CCDカメラ11による撮像画像は、例えば図4(a)に示すようになるが、撮像画像のうちの道路が写ると予想される領域を、白線候補の抽出を行う抽出領域50として設定しておく。この抽出領域50には、白線として、サイドライン51や中央線52が含まれるとともに、天候によっては電柱や建物が道路に写り込んだ不要対象物53が含まれる。
抽出領域50におけるエッジ成分を抽出すると、図4(b)の各点に示すようにエッジ成分が得られる。これらのエッジ成分の向き(曲線の場合は道路から所定距離(実験的に最適な距離が設定される。)に対応する画素における接線方向)を検出すると、図4(c)に示すような破線または一点鎖線で示す複数の直線が得られる。
これらの直線において、撮像画像における鉛直線の方向とのなす角を演算し、このなす角と角度基準値とを比較すると、図4(c)の例では、サイドライン51および中央線52のみが角度基準値以上となり(一点鎖線)、全ての不要対象物53が角度基準値未満となる(破線)。
図3に戻り、白線候補の方向と撮像画像における鉛直線の方向とのなす角が角度基準値以上であれば(S370:NO)、直ちに後述するS410の処理に移行する。また、白線候補の方向と撮像画像における鉛直線の方向とのなす角が角度基準値未満であれば(S370:YES)、白線候補の方向が撮像画像における鉛直線の方向に近い旨を示す鉛直フラグを立てる(S380:確からしさ設定手段)。鉛直フラグを立てられた白線候補は、走行領域の境界である確からしさが低いものとされる。
続いて、全ての白線候補を選択したか否かを判定する(S410)。何れかの白線候補を選択していなければ(S410:NO)、未選択の白線候補のうちの1つを選択し(S420)、S350の処理に戻る。
また、全ての白線候補を選択していれば(S410:YES)、鉛直フラグが立てられた白線候補をカウントした値(A)を求め(S430)、このカウントした値(A)を全白線候補数で除した値(B)を演算する(S440)。このような処理が終了すると確からしさ判定処理を終了する。
次に、信頼性判定処理について説明する。信頼性判定処理は、エッジ成分の抽出を行った撮像画像の信頼性の高さを判定するための処理である。信頼性判定処理は、図5に示すように、まず、S440で演算された値(B)と、抽出判断基準値とを比較する(S510:抽出禁止手段)。
ここで、抽出判断基準値は、白線候補の全数に対する鉛直フラグが立てられた白線候補の数の比率(絶対数でもよい)によって道路領域の境界を検出する際の撮像画像の信頼性を判断するための値である。例えば、鉛直フラグが立てられた白線候補の比率が8割を超えると撮像画像の信頼性が低いと判断される。
S440で演算された値(B)が抽出判断基準値以上であれば(S510:YES)、信頼性が低い旨のフラグを立てて、この旨を出力し(S520:低信頼性フラグ設定手段)、信頼性判定処理を終了する。また、S440で演算された値(B)が抽出判断基準値未満であれば(S510:NO)、信頼性が充分高いものとして、鉛直フラグが立てられた白線候補近傍のエッジ成分を除去する(S530:確からしさ設定手段)。
この処理では、例えば、白線候補が通過する画素から数画素程度の範囲内に位置するエッジ成分を除去(或いは以後の処理で無視)するようにすればよい。続いて、除去されなかったエッジ成分について、再度ハフ変換を行うことによって白線候補を抽出し(S540)、このハフ変換によって得られる最も確からしい白線候補を抽出する(S550:境界設定手段)。
なお、撮像画像の中央を基準として、左右の領域のそれぞれから1つずつ最も確からしい白線候補を抽出するようにしてもよい。続いて、抽出した白線候補を「推定白線位置(道路領域の境界)」に設定し、この推定白線位置を含む情報を境界パラメータとして出力し(S560)、信頼性判定処理を終了する。
次に、ウェット判定処理について説明する。ウェット判定処理は、路面が濡れているか否かを判定する処理である。
ウェット判定処理では、図6に示すように、まず、S440で演算された値(B)と、ウェット基準値とを比較する(S610:ウェット出力手段)。ここで、ウェット基準値は、撮像画像中の写り込みの有無によって路面が濡れているか否かを判定するための値であり、例えば5割程度の値に設定される。
S440で演算された値(B)がウェット基準値以上であれば(S610:YES)、路面が濡れている旨を出力し(S620:ウェット出力手段)、ウェット判定処理を終了する。また、S440で演算された値(B)がウェット基準値未満であれば(S610:NO)、路面が濡れていない旨を出力し(S630)、ウェット判定処理を終了する。
[本実施形態による効果]
以上のように詳述した境界検出システム1の車線境界検出装置10において、CPU14は、自車両の周囲を撮像した撮像画像から複数のエッジ成分を抽出し、複数のエッジ成分の配置に基づいて走行領域の境界となる曲線(直線を含む)の候補を境界候補として抽出する。そして、抽出した各境界候補の所定の部位における接線と、撮像画像における鉛直線とのなす角を演算し、このなす角が角度基準値未満の境界候補における確からしさをより低く設定し、境界候補の中から最も確からしい境界候補を走行領域の境界に設定する。
すなわち、本発明の車線境界検出装置10では、撮像画像中において、走行領域の境界となる曲線は鉛直方向からある程度の角度を有する方向に延びていることが多いのに対して、路面へ写り込む物体となる曲線は鉛直方向とほぼ一致する方向に延びることが多いという特徴に着目し、境界候補となる曲線と撮像画像における鉛直線とのなす角が角度基準値未満の境界候補における確からしさをより低く設定した上で境界候補を検出している。
このような車線境界検出装置10によれば、走行領域の境界となるべき曲線の確からしさを相対的に高くし、走行領域の境界として設定され易くすることができるので、撮像画像路面への写り込みがある場合でも精度よく走行車線の境界を検出することができる。
また、車線境界検出装置10においてCPU14は、前述のなす角が角度基準値以下の値に設定された除外基準値未満の境界候補を境界候補から除外する。つまり、確からしさを0に設定する。
このような車線境界検出装置10によれば、除外基準値未満の境界候補を写り込んだ物体であるものと断定して除外するので、走行車線の境界を検出する精度を向上させることができる。
また、車線境界検出装置10においてCPU14は、除外されなかった境界候補を構成する各エッジ成分についてハフ変換を行うことで新たな境界候補を検出し、これらの新たな境界候補のうちの最も確からしい境界候補を選択する。
このような車線境界検出装置10によれば、除外されなかった境界候補を構成する各エッジ成分についてハフ変換を行い新たな境界候補を検出するので、精度のよい境界候補を利用して走行領域の境界を検出することができる。本実施形態においては、CPU14が2度のハフ変換を行っている。
さらに、車線境界検出装置10においてCPU14は、前述のなす角が角度基準値未満の境界候補の数または割合が予め設定された抽出判断基準値以上の場合、この撮像画像を利用したCPU14による走行車線の境界の設定を禁止する。
このような車線境界検出装置10によれば、前述のなす角が角度基準値未満の境界候補の数または割合が抽出判断基準値以上の場合、すなわち、撮像画像中に多くの写り込みがある場合、撮像画像自体の信頼性が低いものとして、この撮像画像の利用を禁止することができる。この場合、例えば、撮像画像を利用しない方法(レーザレーダを利用する方法等)で走行車線の境界を検出するようにすればよい。
また、上記車線境界検出装置10においてCPU14は、境界の設定を禁止する場合、撮像画像の信頼性が低い旨を示すフラグを立てる。このような車線境界検出装置10によれば、撮像画像中の写り込みが多い場合、撮像画像の信頼性が低い旨を記録することができる。
さらに、上記車線境界検出装置10においてCPU14は、前述のなす角が角度基準値未満の境界候補の数または割合が予め設定されたウェット基準値以上の場合、走行領域がウェット状態である旨を出力する。
このような車線境界検出装置10によれば、撮像画像中の写り込みがある程度(ウェット基準値以上)検出された場合に、走行領域がウェット状態である旨を出力することができる。よって、この出力を得た他の装置が本構成で得られる走行領域の端部の情報を利用するか利用しないかをこの出力に応じて判断することができる。なお、抽出判断基準値とウェット基準値との大小関係は不問であり、それぞれ任意の値を設定することができる。
また、上記車線境界検出装置10においてCPU14は、撮像画像における鉛直線の方向と、車両における鉛直方向とをそれぞれ取得し、これらの方向が一致するように撮像画像における鉛直線の方向を補正する。
このような車線境界検出装置10によれば、撮像画像の鉛直方向と車両における鉛直方向とに狂いが生じている場合であっても、これを補正することができる。よって、道路領域の境界を検出する精度を向上させることができる。
[その他の実施形態]
本発明の実施の形態は、上記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。
例えば、上記実施形態において、S370の処理で利用する角度基準値とS510の処理で利用する抽出判断基準値(除外基準値)とは同じ値であってもよいし、異なる値であってもよい。
なお、本発明のCPU14は、「なす角が角度基準値未満の境界候補の数または割合が予め設定された抽出判断基準値以上の場合に、(この撮像画像を利用したCPU14による走行車線の境界の設定を禁止することなく)撮像画像の信頼性が低い旨を示すフラグを立てる」ようにしてもよい。この構成であれば、本構成で得られる走行領域の端部の情報を利用するか利用しないかを、この情報を受けた装置がフラグによって判断することができる。
また、S220の処理とS240の処理との間において、画像座標系を平面(路面)座標系に変換する処理を実施してもよい(S230)。このようにすると、平面座標系において処理を行う他のアプリケーション(例えば、衝突するか否かの判定を行うアプリケーション等)による処理を容易にすることができる。なお、上記のように座標系を変換した場合には、S360の処理では、平面座標系での値を画像座標系に換算して角度(なす角)を演算すればよい。
また、S530の処理では、エッジ成分を除去する代わりに、該当するエッジ成分に対する確からしさを低く設定してもよい。例えば、これらのエッジ成分に対しては、確からしさを他のエッジ成分の半分に設定し、この確からしさを考慮してS540の処理にてハフ変換を行うようにしてもよい。この場合、新たな白線候補を抽出する際に、確からしさが低く設定されたエッジ成分の位置が考慮されにくくなるので、上記実施形態と同様に、道路領域の境界を検出する精度を向上させることができる。
さらに、本実施形態は、道路領域の境界や路面上の横断歩道等のペイントを検出する他の処理と組み合わせて利用することができる。この場合、各処理で得られた境界やペイント等の位置に対して所定の係数を乗じて足し合わせる手法等を利用して、境界を検出する際の信頼性を向上させることができる。また、この際には、上記実施形態での低信頼性フラグの有無によって上記処理にて得られた境界の位置に乗じる係数を変更するようにしてもよい。
1…境界検出システム、10…車線境界検出装置、11…CCDカメラ、12…ADC、13…画像メモリ、14…CPU、15…ROM、16…RAM、20…車両制御ECU、17…通信IC。

Claims (8)

  1. 車両に搭載され、自車両が走行する走行領域の境界を検出する境界検出装置であって、
    自車両の周囲を撮像した撮像画像から複数のエッジ成分を抽出するエッジ抽出手段と、
    前記複数のエッジ成分の配置に基づいて走行領域の境界となる曲線(直線を含む)の候補を境界候補として抽出する境界候補抽出手段と、
    前記抽出した各境界候補の所定の部位における接線と、前記撮像画像における鉛直線とのなす角を演算し、該なす角が角度基準値未満の境界候補における確からしさをより低く設定する確からしさ設定手段と、
    前記境界候補の中から最も確からしい境界候補を前記走行領域の境界に設定する境界設定手段と、
    を備えたことを特徴とする境界検出装置。
  2. 請求項1に記載の境界検出装置において、
    前記確からしさ設定手段は、前記なす角が前記角度基準値以下の値に設定された除外基準値未満の境界候補を境界候補から除外すること
    を特徴とする境界検出装置。
  3. 請求項2に記載の境界検出装置において、
    前記境界設定手段は、除外されなかった境界候補を構成する各エッジ成分についてハフ変換を行うことで新たな境界候補を検出し、該新たな境界候補のうちの最も確からしい境界候補を選択すること
    を特徴とする境界検出装置。
  4. 請求項1〜請求項3の何れか1項に記載の境界検出装置において、
    前記なす角が角度基準値未満の境界候補の数または割合が予め設定された抽出判断基準値以上の場合、当該撮像画像を利用した前記境界設定手段による走行車線の境界の設定を禁止する抽出禁止手段、を備えたこと
    を特徴とする境界検出装置。
  5. 請求項4に記載の境界検出装置において、
    前記抽出禁止手段が前記境界の設定を禁止する場合、前記撮像画像に対応付けて該撮像画像の信頼性が低い旨を示すフラグを立てる低信頼性フラグ設定手段、を備えたこと
    を特徴とする境界検出装置。
  6. 請求項1〜請求項5の何れか1項に記載の境界検出装置において、
    前記なす角が角度基準値未満の境界候補の数または割合が予め設定されたウェット基準値以上の場合、前記走行領域がウェット状態である旨を出力するウェット出力手段、を備えたこと
    を特徴とする境界検出装置。
  7. 請求項1〜請求項6の何れか1項に記載の境界検出装置において、
    前記撮像画像における鉛直線の方向と、当該車両における鉛直方向とをそれぞれ取得し、これらの方向が一致するように撮像画像における鉛直線の方向を補正する補正手段、を備えたこと
    を特徴とする境界検出装置。
  8. コンピュータを請求項1〜請求項7の何れか1項に記載の境界検出装置を構成する各手段として機能させるための境界検出プログラム。
JP2011004121A 2011-01-12 2011-01-12 境界検出装置、および境界検出プログラム Expired - Fee Related JP5304804B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011004121A JP5304804B2 (ja) 2011-01-12 2011-01-12 境界検出装置、および境界検出プログラム
US13/347,825 US8682033B2 (en) 2011-01-12 2012-01-11 Boundary detection device for vehicles

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011004121A JP5304804B2 (ja) 2011-01-12 2011-01-12 境界検出装置、および境界検出プログラム

Publications (2)

Publication Number Publication Date
JP2012146135A true JP2012146135A (ja) 2012-08-02
JP5304804B2 JP5304804B2 (ja) 2013-10-02

Family

ID=46455277

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011004121A Expired - Fee Related JP5304804B2 (ja) 2011-01-12 2011-01-12 境界検出装置、および境界検出プログラム

Country Status (2)

Country Link
US (1) US8682033B2 (ja)
JP (1) JP5304804B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9422001B2 (en) 2013-02-19 2016-08-23 Denso Corporation Lane line departure prevention apparatus

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6212880B2 (ja) * 2013-03-04 2017-10-18 株式会社デンソー 物標認識装置
JP6193819B2 (ja) * 2014-07-11 2017-09-06 株式会社Soken 走行区画線認識装置
DE112015006622T5 (de) * 2015-06-15 2018-03-29 Mitsubishi Electric Corporation Fahrspurbestimmungsvorrichtung und Fahrspurbestimmungsverfahren
CN107895375B (zh) * 2017-11-23 2020-03-31 南京莱斯电子设备有限公司 基于视觉多特征的复杂道路线提取方法
US20190286921A1 (en) * 2018-03-14 2019-09-19 Uber Technologies, Inc. Structured Prediction Crosswalk Generation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63142478A (ja) * 1986-12-05 1988-06-14 Nissan Motor Co Ltd 白線検出装置
JP2001041741A (ja) * 1999-07-30 2001-02-16 Fuji Heavy Ind Ltd ステレオ式車外監視装置
JP2002352225A (ja) * 2001-05-23 2002-12-06 Toshiba Corp 障害物検出装置及びその方法
JP2003168198A (ja) * 2001-11-30 2003-06-13 Toyota Motor Corp 車両用走路判定装置および車両制御装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06149359A (ja) 1992-11-02 1994-05-27 Matsushita Electric Ind Co Ltd 走行レーン検出装置
US6002983A (en) * 1997-08-27 1999-12-14 Delphi Technologies, Inc. Angle extent estimation method for a motor vehicle object detection system
JP3589293B2 (ja) 2000-12-06 2004-11-17 住友電気工業株式会社 道路の白線検出方法
US8699754B2 (en) * 2008-04-24 2014-04-15 GM Global Technology Operations LLC Clear path detection through road modeling
DE102009003697A1 (de) * 2009-03-30 2010-10-07 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Fahrspurerkennung

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63142478A (ja) * 1986-12-05 1988-06-14 Nissan Motor Co Ltd 白線検出装置
JP2001041741A (ja) * 1999-07-30 2001-02-16 Fuji Heavy Ind Ltd ステレオ式車外監視装置
JP2002352225A (ja) * 2001-05-23 2002-12-06 Toshiba Corp 障害物検出装置及びその方法
JP2003168198A (ja) * 2001-11-30 2003-06-13 Toyota Motor Corp 車両用走路判定装置および車両制御装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9422001B2 (en) 2013-02-19 2016-08-23 Denso Corporation Lane line departure prevention apparatus

Also Published As

Publication number Publication date
JP5304804B2 (ja) 2013-10-02
US20120177250A1 (en) 2012-07-12
US8682033B2 (en) 2014-03-25

Similar Documents

Publication Publication Date Title
JP4858574B2 (ja) 物体検出装置
WO2013141226A1 (ja) 走行区画線を認識する装置および方法
JP5656732B2 (ja) 衝突確率演算装置、および衝突確率演算プログラム
JP5304804B2 (ja) 境界検出装置、および境界検出プログラム
JP6220327B2 (ja) 走行区画線認識装置、走行区画線認識プログラム
US9704404B2 (en) Lane detection apparatus and operating method for the same
JP4558758B2 (ja) 車両用障害物認識装置
JP6163453B2 (ja) 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム
JP2011175468A (ja) 区画線検出装置
JP5986949B2 (ja) 境界線認識装置
US11151395B2 (en) Roadside object detection device, roadside object detection method, and roadside object detection system
JP5233696B2 (ja) レーン境界線検出装置、境界線検出プログラム、および逸脱警報装置
JP2011243161A (ja) 車線境界検出装置、車線境界検出プログラム
WO2014019132A1 (en) System and method for detecting obstacles using a single camera
JP5090313B2 (ja) 路面標示認識装置
JP5097681B2 (ja) 地物位置認識装置
JP2007066003A (ja) 停止線検出装置
JP2010146470A (ja) 走行レーン検出装置および走行レーン検出プログラム
JP5012522B2 (ja) 路側境界面検出装置
JP2016197018A (ja) 衝突回避支援装置
JP5931691B2 (ja) 白線検出装置および白線検出方法
JP2010006270A (ja) 車両挙動検出装置
JP2012208559A (ja) 駐車支援装置
JP5472137B2 (ja) 境界検出装置、および境界検出プログラム
JP2007286873A (ja) 車載周辺他車検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120524

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130108

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130301

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130528

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130610

LAPS Cancellation because of no payment of annual fees