JP2022060118A - 区画線認識装置 - Google Patents

区画線認識装置 Download PDF

Info

Publication number
JP2022060118A
JP2022060118A JP2020168136A JP2020168136A JP2022060118A JP 2022060118 A JP2022060118 A JP 2022060118A JP 2020168136 A JP2020168136 A JP 2020168136A JP 2020168136 A JP2020168136 A JP 2020168136A JP 2022060118 A JP2022060118 A JP 2022060118A
Authority
JP
Japan
Prior art keywords
light
light streak
lane marking
search
streak
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020168136A
Other languages
English (en)
Inventor
健作 夏目
Kensaku Natsume
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Subaru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Subaru Corp filed Critical Subaru Corp
Priority to JP2020168136A priority Critical patent/JP2022060118A/ja
Priority to US17/493,385 priority patent/US11749002B2/en
Publication of JP2022060118A publication Critical patent/JP2022060118A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/60Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/88Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】カメラユニットで撮像した画像に光の筋が映り込まれても、この光の筋を排除して、区画線を適切に生成できるようにする。【解決手段】前方走行環境認識部13は、カメラ部11で撮像した画像に、1フレーム前の画像で認識した走行車線を区画する区画線L(n-1)に基づいて区画線探索領域Adを設定し(S2)、区画線探索領域Ad内における輝度変化から区画線Lを認識するに際し、区画線探索領域Adに隣接して画像に映り込まれる光の筋を探索する光筋探索領域Asを設定し(S3)、光筋探索領域Asを縦方向に横切る光の筋Saが探索されたか否かを調べ(S5,S6)、横切る光の筋Saが探索された場合、光の筋Saが区画線探索領域Adに達しているか否かを判定し(S8)、光の筋Saが区画線探索領域に達していると判定した場合、光の筋Saに対し、区画線の探索を禁止するマスク処理を施す(S9)。【選択図】図4

Description

本発明は、自車両に搭載した撮像部で撮像した画像に映り込む光の筋をマスクする区画線認識装置に関する。
従来、車載カメラ(撮像部)で撮像した自車両前方の画像に基づいて、自車両が走行している車線の左右を区画する区画線や隣接車線の外側区画線を認識する区画線認識装置が知られている。区画線認識装置で認識した区画線は、運転支援制御装置において読込まれ、車線中央維持(ALK:Active Lane Keep)制御においては、自車両が左右の区画線の中央を走行するように操舵制御を行う。又、車線逸脱抑制(LDP:Lane Departure Prevention)制御で、自車両が区画線を逸脱すると予測した場合、当該区画線の内側に沿って走行するように操舵トルクを付与する。
このように、区画線の認識は運転支援制御において重要である。そのため、区画線を正確に認識するための技術が種々提案されており、例えば、特許文献1(特開2019-79470号公報)には、以下に示すような技術が開示されている。
すなわち、先ず、ステレオ画像の探索ライン上において輝度の変化に基づいて検出したエッジ点から区画線の開始点と終了点とを抽出する。次いで、抽出した区画線の開始点と終了点とで推定される区画線推定区間と区画線推定区間以外の路面との輝度差、及び、区画線推定区間と路面との間で輝度が遷移する遷移区間の長さに基づいて区画線の開始点及び終了点が、区画線に対応する実際のエッジ点であるか否かを、予め設定された評価基準に従って検証する。そして、評価の結果、区画線の開始点及び終了点に対応する区画線は実在しない可能性が高いと判定した場合は、当該区画線の開始点及び終了点を除外するようにしている。
特開2019-79470号公報
ところで、例えば、路面が濡れている状態での夜間走行において、先行車のテールランプ、対向車のヘッドライトや道路照明等の明かりが路面に投射され、その反射光が車載カメラで撮像した画像に光の筋として映り込まれる場合がある。
この光の筋が上述した区画線開始点と区画線終了点との間に重畳した場合、上述した評価基準に従って区画線開始点及び区画線終了点が実際の区画線に対応するエッジ点であるか否かを正確に判定することが困難となる。
本発明は、上記事情に鑑み、車載カメラで撮像した画像に光の筋が映り込まれた場合であっても、この光の筋を排除して区画線を適切に生成することのできる区画線認識装置を提供することを目的とする。
本発明は、自車両に搭載されて該自車両前方の走行環境を撮像する撮像部と、該撮像部で撮像した画像に1フレーム前の画像に基づいて探索した車線を区画する区画線に基づいて今回の区画線を探索するための区画線探索領域を設定する区画線探索領域設定部と、有し、該区画線探索領域設定部で設定した該区画線探索領域内における輝度変化から前記今回の区画線を認識する区画線認識装置において、前記区画線探索領域に隣接して前記撮像部で撮像した該画像に映り込まれる光の筋を探索する光筋探索領域を設定する光筋探索領域設定部と、該光筋探索領域設定部で設定した該光筋探索領域を前記画像の縦方向に横切る該光の筋が探索されたか否かを調べる光筋判定部と、該光筋判定部で前記光筋探索領域を縦方向に横切る前記光の筋が探索されたと判定した場合、前記光の筋が前記区画線探索領域設定部で設定した前記区画線探索領域に達しているか否かを判定する光筋到達判定部と、該光筋到達判定部で前記光の筋が前記区画線探索領域に達していると判定した場合、前記光の筋に対してマスク処理を施すマスク処理部とを備える。
本発明によれば、撮像部による走行環境を撮像した画像に設定した区画線を探索する区画線探索領域に、画像に映り込まれる光筋を探索する光筋探索領域を隣接して設定し、この光筋探索領域を縦方向に横切る光の筋が探索されたか否かを調へ、縦方向に横切る光の筋が探索された場合、光の筋が区画線探索領域に達しているか否かを判定し、この光筋が区画線探索領域に達していると判定した場合、この光の筋に対してマスク処理を施すようにしたので、画像に光の筋が映り込まれた場合であっても、この光の筋を排除して区画線を適切に生成することができる。
運転支援システムの構成を示す機能ブロック図 路面から反射する光がカメラ部に入射する状態を示す側面図 路面から反射する光がカメラ部に入射する状態を示す俯瞰図 区画線生成処理ルーチンを示すフローチャート 撮像した画像から区画線の位置を推定する態様を示す説明図 図5で推定した区画線を基準として区画線領域を設定する態様を示す説明図 図6で設定した区画線領域に光筋探索領域を設定する態様を示す説明図 図7で設定した光筋探索領域のエッジ検出を行う態様を示す説明図 図8で光筋探索領域にエッジを検出した場合に、同輝度画像を探索する態様を示す説明図 図9で探索した同輝度画像の領域を区画線探索禁止領域に設定する態様を示す説明図 区画線探索領域で区画線の開始点と終了点とを検出する態様を示す説明図 正常な区画線を検出した状態を示す説明図 撮像した画像に基づいて設定した光筋探索領域に光の筋候補点をプロットする態様を示す説明図 (a)は画像探索方向における輝度の分布を示す説明図、(b)は(a)に示す輝度の分布と輝度の微分値との関係を示す説明図
以下、図面に基づいて本発明の一実施形態を説明する。図1に示す運転支援システム1は自車両Mに搭載されている。この運転支援システム1は、撮像部としてのカメラユニット2と操舵制御ユニット3とを備え、この両ユニット2,3がCAN(Controller Area Network)通信等の車内通信回線4を通じて双方向通信可能に接続されている。この操舵制御ユニット3、及び後述するカメラユニット2の前方走行環境認識部13はCPU、ROM、RAMなどを備えたマイクロコンピュータ、及び、その周辺機器で構成されており、ROMにはシステム毎に設定されている動作を実現するための制御プログラムや固定データ等が記憶されている。
又、カメラユニット2は、カメラ部11と画像処理部12と前方走行環境認識部13とを有している。カメラ部11はメインカメラ11aとサブカメラ11bとからなるステレオカメラであり、両カメラ11a,11bは、例えばルームミラー上方であって、フロントガラスに近接する位置の車幅方向中央から左右に、所定基線長で等間隔に設置されている。又、この各カメラ11a,11bにCCDやCMOS等の撮像素子が設けられており、この両撮像素子によって自車両Mの走行車線を含む車両前方の走行環境が撮像される。このカメラ部11は、メインカメラ11aで基準画像を撮像し、サブカメラ11bで比較画像を撮像する。
両カメラ11a,11bで撮像した一対のアナログ画像は画像処理部12で所定に画像処理された後、前方走行環境認識部13へ出力される。前方走行環境認識部13では、画像処理部12からの基準画像データと比較画像データとに基づき、例えば、以下に示す各種画像処理等を行う。
すなわち、前方走行環境認識部13では、先ず、基準画像から例えば4×4画素の小領域を順次抽出し、それぞれの小領域の輝度或いは色のパターンを比較画像と比較して対応する領域を見つけ出し、基準画像の全体に渡る距離分布を求める。更に、前方走行環境認識部13は、基準画像上の各画素について隣接する画素との輝度差を調べ、これらの輝度差が閾値を超えているものをエッジ点として抽出すると共に、抽出した画素(エッジ点)に距離情報を付与することで、距離画像(距離情報を備えたエッジ点の分布画像)を生成する。
そして、前方走行環境認識部13は、生成した距離画像に対して周知のグルーピング処理を行い、予め記憶しておいた3次元的な枠(ウインドウ)と比較することで、自車両Mが走行する車線(自車走行車線)の左右を区画する区画線、隣接する車線(隣接車線)の外側の区画線、側壁、立体物等を認識する。
ここで、本実施形態において認識対象とする区画線は、例えば、単一の車線区画線や車線区画線の内側に視線誘導線等が併設された多重線(二重線等)のように、道路上に延在して自車走行レーンを区画するレーンマーカの総称である。各区画線の形態としては、実線、破線等を問わず、更に、黄色線等をも含む。又、本実施形態の区画線認識においては、道路上に実在する区画線が二重区画線等であっても、左右それぞれ単一の近似式(1次以上の直線或いは曲線近似式)によって近似して認識するものとする。
そして、前方走行環境認識部13は、生成した区画線等に関するデータを操舵制御ユニット3へ出力する。操舵制御ユニット3は、前方走行環境認識部13からの区画線等に関するデータに基づき、自車両Mの操舵支援を行う。この前方走行環境認識部13の入力側には、自車両Mの車速(自車速)を検出する車速センサ21、自車両Mに作用するヨーレートを検出するヨーレートセンサ22、ステアリングの操舵角を検出する操舵角センサ23等、操舵制御を行う際に必要とする各種パラメータを検出する各種センサ、スイッチ類が接続されている。
又、この操舵制御ユニット3の出力側に操舵アクチュエータ24が接続されている。この操舵アクチュエータ24は操舵制御ユニット3からの制御信号に従い、操舵輪を所定の操舵角に動作させるものである。尚、操舵アクチュエータ24としては、電動モータや油圧モータによるパワーステアリングが知られている。
操舵制御ユニット3は、カメラユニット2の前方走行環境認識部13で生成した区画線に基づいて、車線中央維持(ALK:Active Lane Keep)制御、及び車線逸脱抑制(LDP:Lane Departure Prevention)制御等の各種操舵に関する制御を実行する。ここで、ALK制御は、自車両Mが走行する左右の区画線を認識し、その中央を走行するように操舵制御を行うものである。又、LDP制御は、自車両Mが走行する左右の区画線に対する自車両Mの横位置を求め、当該横位置が区画線を横切ると予測した場合、自車両Mが区画線と平行になるように操舵制御を行うことで車線逸脱を防止するものである。
ところで、例えば、図2、図3に示すように、路面が濡れている状態での夜間走行において、先行車や並走車のブレーキランプ、ウインカーの点滅、街灯やトンネル内照明等の光源Gからの光が路面Rに投射され、その反射光が各カメラ11a,11bにノイズ成分として入射される場合がある。又、視線誘導標(デリネータ)、標識やパイロン等、自車両Mのヘッドライトからの光が反射されて各カメラ11a,11bにノイズ成分として入射される場合がある。更に、路面にペイントされた文字からの反射光、フロントガラスに投射された光等も各カメラ11a,11bにノイズ成分として入射される場合がある。
その際、図6に示すように、各カメラ11a,11bの少なくとも一方に入射されたノイズ成分を含む光が、垂直方向へ延びる光の筋(縦筋)Saとして画像に映り込まれてしまう場合がある。そして、図6に示すように、画像に映り込まれた光の筋Saが区画線の近傍に重畳されると、前方走行環境認識部13は、この光の筋Saを区画線と誤認識してしまう可能性がある。
そのため、上述した前方走行環境認識部13は、このようなノイズ成分を含む光の筋Saを検出した場合、その領域をマスクし、区画線探索禁止領域を設定することで、ノイズ成分である光の筋Saを除去し、区画線を高い精度で生成するようにしている。
前方走行環境認識部13で実行する区画線の生成処理は、具体的には、図4に示す区画線生成処理ルーチンに従って行われる。このルーチンは、カメラ部11で撮像する画像の1フレーム毎に実行される。尚、本実施形態では、3車線を例示して説明する。この場合、便宜的に左側の車線から順に第1車線、第2車線、第3車線と称する。又、自車両Mは第2車線を走行しているものとする。
更に、図3に示すように、本実施形態によるカメラユニット2は、自車両Mが第2車線を走行している場合、第2車線の区画線Ll,Lrを認識できることは勿論、隣接する第1車線と第3車線の外側の区画線Lol,Lorを認識できる視野角、及び分解能を有している。尚、以下において、特に区別する必要がない場合は、各区画線Ll,Lr,Lol,Lorを「L」と総称する。又、以下に示す図5~図13に示す符号iは水平画素数、jは垂直画素数を示す。
先ず、ステップS1において、図5に示すように、1フレーム前の画像で認識した第2車線の左右を区画する区画線Ll(n-1),Lr(n-1)、及び第1車線と第3車線の外側を区画する区画線Lol(n-1),Lor(n-1)に基づき、この各区画線L(n-1)にヨーレートセンサ22で検出したヨーレートを加味して、今回のフレーム画像上に推定区画線dl,dr,dol、dor(以下、特に区別する必要がない場合は「d」と総称する)を設定する。
次いで、ステップS2へ進み、各推定区画線dに区画線探索領域Adl,Adr,Adol,Ador(以下、特に区別する必要がない場合は「Ad」と総称する)をそれぞれ設定する。尚、このステップでの処理が、本発明の区画線探索領域設定部に対応している。
ここで、図6を参照して、区画線探索領域Adの設定方法について説明する。先ず、各推定区画線dの線幅の中心を求める。次いで、この中心から各推定区画線dの区画線幅の幅方向に予め設定されたオフセット幅ΔEずつオフセットさせて探索領域を特定する。尚、図6では、推定区画線dl,drにのみオフセット幅ΔEの記号が付されているが、推定区画線dol,dorに設定する区画線探索領域Adol,Adorについても同様に行う。
そして、この特定した探索領域を基準画像上の座標に変換して、区画線探索領域Adをそれぞれ設定する。尚、以下において、図7~図9、及び図13では説明を容易にするため、画像上に映し出されている本来の区画線の画像を省略して説明する。
その後、ステップS3へ進み、図7に示すように、区画線探索領域Adに隣接して光筋探索領域Asl,Asr,Asll,Aslr,Asrl,Asrr(以下、特に区別する必要がない場合は、「As」と総称する)を設定し、ステップS4へ進む。
この各光筋探索領域Asは、カメラユニット2で撮像した画像に基づいて生成する区画線に基づいて自車両Mを操舵制御するに際し、少なくとも当該操舵制御に影響を与える前方の領域、すなわち、操舵制御を行う際に必要とする区画線情報を取得するための距離範囲に設定されている。尚、このステップS3での処理が、本発明の光筋探索領域設定部に対応している。
次いで、ステップS4へ進むと、区画線の生成が数回前のフレームから安定して継続されているか否かを、RAM等の一時記憶部に記憶されている前回以前のフレームでの区画線の生成状況に基づいて判定する。そして、区画線の生成が安定的に継続していると判定した場合は、ステップS5へ進む。又、区画線の生成が断続的であり、不安定な場合はルーチンを抜ける。そもそも、区画線の生成が不安定な状態では、操舵制御を含む運転支援制御を行うことができず、しかも、区画線の探索位置や光筋探索領域Asの設定が不安定になるため、光筋の探索は行わない。
そして、ステップS5へ進むと、各光筋探索領域Asでの光の筋Saのエッジ検出を開始する。光の筋Saのエッジ検出に際しては、先ず、基準画面上に設定した各光筋探索領域As内において、水平方向に延在する複数の画素列からなる探索ライン毎に、下から上方へ輝度変化を調べる。尚、図8に、光筋探索領域Asrlを矢印で示す方向に探索する態様を代表として示す。
本来、区画線探索領域Adと平行に設定されている各光筋探索領域Asに区画線が検出されることはない。一方、光の筋Saは縦筋であるため、何れかの光筋探索領域Asを横切ることになる。
すなわち、例えば、図13に示すように、自車両Mが第2車線を走行しており、その右側に設定した区画線探索領域Adrに光の筋Saが重畳されている場合、この光の筋Saは、第3車線に設定した光筋探索領域Asrl,Asrrを縦方向に横切る。
そのときの輝度変化には、光筋探索領域Asrl,Asrr内で、予め設定した負の変化を検出する閾値を超えて明から暗に変化するような立ち下がりの変化と、予め設定した正の閾値を超えて暗から明に変化するような立ち上がりの変化とが存在し、この変化をエッジとして探索する。
そして、前方走行環境認識部13は、探索したエッジを座標上に光筋候補点Psとしてプロットし、ステップS6へ進む。尚、図においては、画素の輝度の変化量を微分値で示している。
ステップS6では、各光筋探索領域Asの何れかでエッジを示す光筋候補点Psが検出されたか否かを調べる。そして、光筋候補点Psが検出されていると判定した場合、ステップS7へ進む。又、光筋探索領域Asの何れにも光筋候補点Psが検出されていないと判定した場合は、ステップS10へジャンプする。尚、このステップS5,S6での処理が、本発明の光筋判定部に対応している。
ステップS7へ進むと、光筋候補点Psで挟まれた水平方向の幅内の輝度と同程度の輝度を有する画像を、下方(垂直方向)へ、図9に矢印で示すように探索する。そして、ステップS8へ進み、この光の筋Saを検出した輝度画像が区画線探索領域Adに達しているか否かを調べる。尚、ステップS6,S7での処理が、本発明の光筋到達判定部に対応している。
エッジ探索は光筋探索領域Asでのみ行うが、光の筋Saを検出した輝度と同程度の輝度の探索は、区画線探索領域Ad等、光筋探索領域As以外も対象とする。すなわち、区画線は区画線探索領域Adにほぼ沿って延在しているため、垂直方向から区画線探索領域Ad内に映り込む輝度画像はノイズ(光の筋Sa)と考えられる。
そして、輝度画像が区画線探索領域Adに達していると判定した場合は、ステップS9へ進む。又、輝度画像が区画線探索領域Adの手前で切れていると判定した場合は、ルーチンを抜ける。光の筋Saを検出した輝度画像が区画線探索領域Adに入りこむ手前で切れていると判定した場合、後述する区画線探索において、光の筋Saを区画線と誤認識することはないので、マスク処理を施すことなくステップS10へジャンプする。
尚、このステップS8での処理は省略しても良い。すなわち、光の筋Saが区画線探索領域Adに入りこむ手前で切れていて、後述するステップS9で、その領域にマスク処理が施されたとしても、このマスク処理が施された領域は、区画線探索領域Adと重ならないので、結果的に、後述するステップS10での処理に支承を来すことはない。
そして、ステップS9へ進むと、光の筋Saを検出した輝度画像に対応するマスク領域Msaを設定し、このマスク領域Msaの画素を黒画素に変換する等のマスク処理を行い(図10参照)、ステップS10へ進む。その結果、マスク処理にてマスクされた区画線探索領域Adは、区画線探索が禁止される。尚、このステップS9での処理が、本発明のマスク処理部に対応している。
その後、ステップS6、或いはステップS9からステップS10へ進むと、区画線探索領域Ad内において、区画線Lを示すエッジの開始点、及び終了点の探索を行う。この区画線Lの探索は、図11に矢印で示すように区画線探索領域Ad内で、水平方向に延在する複数の探索ラインに対し、探索ライン毎に下から上方へ向けて輝度変化を調べて行う。その際、区画線探索領域Adの探索ライン上にマスクパターンMsaによってマスク処理された画素が検出された場合、当該画素以降の探索ラインの探索は終了し、一つ上の行へ進んで探索ラインでの探索を行う。
この区画線Lの開始点、及び終了点の探索方法は種々知られている。図14(a),(b)にその一例を示す。同図では、水平方向の探索ラインにおいて、自車両Mが走行している車線(第2車線)を中心として、外側に向けて画像を探索し、自車両Mが走行している自車(第2車線)の内側における画素の輝度が外側の輝度に対して相対的に低く、且つ、その変化量を示す輝度の微分値が+側の設定閾値(dBth)以上となるエッジ点を区画線開始点として抽出する。又、内側の画素の輝度が外側の画素の輝度に対して相対的に高く、且つ、その変化量を示す輝度の微分値が-側の設定閾値(-dBth)以下となるエッジ点を区画線終了点として抽出する。
次いで、ステップS11へ進み、区画線開始点、及び区画線終了点を区画線候補点として画像上にプロットし、画像の下から上方へ続く各区画線候補点の点列に基づき、各区画線のエッジ(境界)を表す近似線を求め、この近似線にて、今回の1フレームの区画線を生成してルーチンを抜ける。尚、各区画線候補点から区画線のエッジの近似線を求める方法、及びこの近似線に基づいて区画線を生成する方法については周知であるため、ここでの説明は省略する。
図12には、自車両Mが走行する第2車線の右側区画線の内側に区画線候補点Pbをプロットし、この区画線候補点Pbの点列に基づいて内側エッジに近似線Lpを設定する態様が例示されている。その際、この区画線候補点Pbに光の筋Saが連続されていても、探索の際には、この光の筋Saの領域にマスク処理が施されて探索が禁止される。そのため、この光の筋Saが区画線開始点、或いは区画線終点と誤認識されることはない。その結果、この区画線開始点、或いは区画線終点により区画線候補点Pbを適切に検出することができる。
一方、操舵制御ユニット3は、前方走行環境認識部13で生成した区画線に基づいて、周知のALK制御、及びLDP制御等の各種操舵に関する制御を実行する。
このように、本実施形態によれば、光筋探索領域Asを1フレーム画像毎に設定し、区画線を認識するに際しては、先ず、光筋探索領域Asを探索して、この光筋探索領域Asを縦方向に横切る輝度変化を有するエッジを探索する。次いで、このエッジを光筋候補点Psとして設定し、この光筋候補点Psで挟まれた領域と同程度の輝度を有する画像が光筋探索領域Asに達しているか否かを調べる。そして、この光筋候補点Psで挟まれた領域の画像度と同程度の輝度を有する画像が光筋探索領域Asに達している場合、この画像に対してマスク処理を施して、区画線探索を禁止する。マスク処理を行うことで、カメラ部11で撮像した画像に光の筋Saが映り込まれた場合であっても、この光の筋Saを事前に排除することができる。その結果、実在する区画線に沿った区画線を適切に生成することができる。
尚、本発明は、上述した実施形態に限るものではなく、例えば光の筋Saは、路面Rからのみならず、街灯等から直接入射するものも含まれる。
1…運転支援システム、
2…カメラユニット、
3…操舵制御ユニット、
4…車内通信回線、
11…カメラ部、
11a…メインカメラ、
11b…サブカメラ、
12…画像処理部、
13…前方走行環境認識部、
21…車速センサ、
22…ヨーレートセンサ、
23…操舵角センサ、
24…操舵アクチュエータ、
Ad(Adl,Adr,Adol,Ador)…区画線探索領域、
As(Asl,Asr,Asll,Aslr,Asrl,Asrr)…光筋探索領域、
G…光源、
L(Ll,Lr,Lol,Lor)…区画線、
Lp…近似線、
M…自車両、
Msa…マスク領域、
Pb…区画線候補点、
Ps…光筋候補点、
R…路面、
Sa…光の筋、
d(dl,dr,dol)…推定区画線、
ΔE…オフセット幅

Claims (4)

  1. 自車両に搭載されて該自車両前方の走行環境を撮像する撮像部と、
    該撮像部で撮像した画像に1フレーム前の画像に基づいて探索した車線を区画する区画線に基づいて今回の区画線を探索するための区画線探索領域を設定する区画線探索領域設定部と、
    を有し、該区画線探索領域設定部で設定した該区画線探索領域内における輝度変化から前記今回の区画線を認識する区画線認識装置において、
    前記区画線探索領域に隣接して前記撮像部で撮像した該画像に映り込まれる光の筋を探索する光筋探索領域を設定する光筋探索領域設定部と、
    該光筋探索領域設定部で設定した該光筋探索領域を前記画像の縦方向に横切る該光の筋が探索されたか否かを調べる光筋判定部と、
    該光筋判定部で前記光筋探索領域を縦方向に横切る前記光の筋が探索されたと判定した場合、前記光の筋が前記区画線探索領域設定部で設定した前記区画線探索領域に達しているか否かを判定する光筋到達判定部と、
    該光筋到達判定部で前記光の筋が前記区画線探索領域に達していると判定した場合、前記光の筋に対してマスク処理を施すマスク処理部と
    を備えることを特徴とする区画線認識装置。
  2. 前記マスク処理部で前記光の筋をマスクする前記マスク処理が施された場合、前記区画線探索領域設定部で設定する前記区画線探索領域では前記マスク処理が施された領域での前記区画線の探索を禁止する
    ことを特徴とする請求項1記載の区画線認識装置。
  3. 前記光筋判定部は、前記光筋探索領域設定部で設定した前記光筋探索領域において少なくとも1以上の探索ライン毎に輝度変化を調べて、前記光の筋が探索されたか否かを判定する
    ことを特徴とする請求項1或いは2記載の区画線認識装置。
  4. 前記光筋到達判定部は、前記光筋判定部で前記光の筋が探索されたと判定した場合、前記光の筋を前記画像の下方向へ前記光筋探索領域設定部で設定した前記光筋探索領域を超えて探索する
    ことを特徴とする請求項1~3の何れか1項に記載の区画線認識装置。
JP2020168136A 2020-10-04 2020-10-04 区画線認識装置 Pending JP2022060118A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020168136A JP2022060118A (ja) 2020-10-04 2020-10-04 区画線認識装置
US17/493,385 US11749002B2 (en) 2020-10-04 2021-10-04 Lane line recognition apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020168136A JP2022060118A (ja) 2020-10-04 2020-10-04 区画線認識装置

Publications (1)

Publication Number Publication Date
JP2022060118A true JP2022060118A (ja) 2022-04-14

Family

ID=80931540

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020168136A Pending JP2022060118A (ja) 2020-10-04 2020-10-04 区画線認識装置

Country Status (2)

Country Link
US (1) US11749002B2 (ja)
JP (1) JP2022060118A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102023113198A1 (de) 2022-05-27 2023-11-30 Subaru Corporation Haltelinien-Erkennungseinrichtung

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0935197A (ja) * 1995-07-14 1997-02-07 Aisin Seiki Co Ltd 車輌認識方法
US8750567B2 (en) * 2012-04-09 2014-06-10 GM Global Technology Operations LLC Road structure detection and tracking
JP7007856B2 (ja) 2017-10-27 2022-01-25 株式会社Subaru 車両用白線認識装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102023113198A1 (de) 2022-05-27 2023-11-30 Subaru Corporation Haltelinien-Erkennungseinrichtung

Also Published As

Publication number Publication date
US11749002B2 (en) 2023-09-05
US20220108553A1 (en) 2022-04-07

Similar Documents

Publication Publication Date Title
JP5679461B2 (ja) 有効車線区分線を確定する方法及び装置
JP5680573B2 (ja) 車両の走行環境認識装置
US10956757B2 (en) Image processing device, outside recognition device
US8543254B1 (en) Vehicular imaging system and method for determining roadway width
US20120277990A1 (en) Method and apparatus for determining a plausible lane for guiding a vehicle and an automobile
CN102806867A (zh) 图像处理装置及配光控制方法
JP2009122859A (ja) 物体検出装置
US20140152432A1 (en) Method for Detecting a Traffic Lane by Means of a Camera
CN111824129A (zh) 图像处理装置及图像处理方法
JP2010170255A (ja) レーン境界線検出装置、境界線検出プログラム、および逸脱警報装置
JP2022060118A (ja) 区画線認識装置
KR101511586B1 (ko) 터널 인식에 의한 차량 제어장치 및 제어방법
JP2006344133A (ja) 道路区画線検出装置
JP6354356B2 (ja) 前方状況判定装置
US20220292686A1 (en) Image processing apparatus, image processing method, and computer-readable storage medium storing program
JP2940296B2 (ja) 駐車車両検出方法
US11663834B2 (en) Traffic signal recognition method and traffic signal recognition device
US11679769B2 (en) Traffic signal recognition method and traffic signal recognition device
US10217006B2 (en) Method and device for detecting objects in the dark using a vehicle camera and a vehicle lighting system
KR101622051B1 (ko) 차량 분별 시스템 및 방법
JP6254870B2 (ja) 車外環境認識装置
JP6941677B2 (ja) 画像認識装置
RU2779798C1 (ru) Способ распознавания светофора и устройство распознавания светофора
US20230386224A1 (en) Stop line recognition device
CN116977980A (zh) 一种车辆交通路口通行检测方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230904

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20240613