JP2014203344A - 境界線認識装置 - Google Patents

境界線認識装置 Download PDF

Info

Publication number
JP2014203344A
JP2014203344A JP2013080477A JP2013080477A JP2014203344A JP 2014203344 A JP2014203344 A JP 2014203344A JP 2013080477 A JP2013080477 A JP 2013080477A JP 2013080477 A JP2013080477 A JP 2013080477A JP 2014203344 A JP2014203344 A JP 2014203344A
Authority
JP
Japan
Prior art keywords
line
boundary line
candidate
frequency
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013080477A
Other languages
English (en)
Other versions
JP5986949B2 (ja
Inventor
和寿 石丸
Kazuhisa Ishimaru
和寿 石丸
俊輔 鈴木
Shunsuke Suzuki
俊輔 鈴木
哲哉 高藤
Tetsuya Takato
哲哉 高藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Soken Inc
Original Assignee
Denso Corp
Nippon Soken Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp, Nippon Soken Inc filed Critical Denso Corp
Priority to JP2013080477A priority Critical patent/JP5986949B2/ja
Priority to US14/783,060 priority patent/US9672429B2/en
Priority to PCT/JP2014/059967 priority patent/WO2014168083A1/ja
Publication of JP2014203344A publication Critical patent/JP2014203344A/ja
Application granted granted Critical
Publication of JP5986949B2 publication Critical patent/JP5986949B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】多重境界線がのこぎり線の場合でも、適切な境界線を認識することが可能な、境界線認識装置を提供する。【解決手段】走路を撮影するカメラ10と、カメラ10により撮影された画像の輝度に基づいて、エッジ点を抽出するエッジ点抽出部32と、抽出したエッジ点の連なりに基づいて、走路を区切る境界線の候補線を抽出する候補線抽出部33と、候補線抽出部33により抽出された候補線に属するエッジ点に基づいて、境界線の幅を特定するパラメータについてのエッジ点の度数分布を算出する度数算出部34と、度数算出部34により算出された度数分布に基づいて、パラメータについての候補線が境界線である確率分布を算出する確率算出部35と、確率算出部35により算出された確率分布に基づいて、境界線を認識する境界線認識部37と、を備える。【選択図】 図1

Description

本発明は、車両に搭載されたカメラにより撮影された画像に基づいて、車両が走行する走路を区切る境界線を認識する境界線認識装置に関する。
車両の走行路逸脱防止やステアリング自動制御を目的として、車両に搭載したカメラにより撮影した画像を処理して、車両が走行する走路を区切る境界線を認識する境界線認識装置が提案されている。このような境界線認識装置として、特に、多重境界線から車両の制御目標となる適切な境界線を識別する境界線認識装置が提案されている。
例えば、特許文献1では、多重境界線検出領域において検出した各境界線候補の種類を判定し、種類が判定された各境界線候補が、多重境界線を構成するために位置的にどのような相対関係で並んでいるかを決定している。さらに、多重境界線が設けられた区画に自車両が進入する前に検出していた境界線と、最も連続性の高い境界線候補を判別し、境界線を確定している。
特開2010−205175号公報
多重境界線が外側の実線境界線と内側の破線境界線とから構成され、実線境界線と破線境界線の間の距離が短く、破線同士の間隔が広い、いわゆるのこぎり線の場合、画像の解像度が低いと実線境界線と破線境界線の間のエッジが検出されないことがある。すなわち、多重境界線がのこぎり線の場合、実線境界線の幅の部分と、実線境界線の幅に破線境界線の破線の幅を加えた幅の部分とから構成された境界線候補が検出されることがある。
しかしながら、特許文献1は、境界線候補の幅のばらつき程度が所定値以上である境界線候補を除外するため、多重境界線がのこぎり線の場合に境界線を確定できないおそれがある。また、特許文献1は、多重境界線がのこぎり線の場合に、境界線を確定できたとしても、のこぎり線の形状に合わせて横方向の位置が変化する境界線を確定するおそれがある。それゆえ、境界線を確定できたとしても、確定した境界線に基づいて車両を自動制御した場合に、車両がふらつくおそれがある。
本発明は、上記実情に鑑み、多重境界線がのこぎり線の場合でも、適切な境界線を認識することが可能な、境界線認識装置を提供することを主たる目的とする。
上記課題を解決するため、請求項1に記載の発明は、境界線認識装置であって、車両に搭載されて走路を撮影するカメラと、前記カメラにより撮影された画像の輝度に基づいて、エッジ点を抽出するエッジ点抽出部と、抽出したエッジ点の連なりに基づいて、前記走路を区切る境界線の候補線を抽出する候補線抽出部と、前記候補線抽出部により抽出された候補線に属する前記エッジ点に基づいて、前記境界線の幅を特定するパラメータについての前記エッジ点の度数分布を算出する度数算出部と、前記度数算出部により算出された前記度数分布に基づいて、前記パラメータについての前記候補線が前記境界線である確率分布を算出する確率算出部と、前記確率算出部により算出された前記確率分布に基づいて、前記境界線を認識する境界線認識部と、を備える。
請求項1に記載の発明によれば、車両に搭載されたカメラにより撮影された画像の輝度から、走路を区切る境界線のエッジ点が抽出され、抽出されたエッジ点の連なりから境界線の候補線が抽出される。さらに、抽出された候補線に属するエッジ点に基づいて、境界線幅を特定するパラメータについてのエッジ点の度数分布が算出される。すなわち、境界線幅に対応するエッジ点の度数分布が算出される。
また、算出された度数分布に基づいて、境界線幅を特定するパラメータについての候補線が境界線である確率分布が算出される。そして、算出された確率分布に基づいて、前記候補線から前記境界線が認識される。すなわち、エッジ点の度数に基づいて各候補線の幅が境界線幅として有効な確率が算出され、その確率に基づいて境界線として有効な候補線が認識される。したがって、多重境界線がのこぎり線の場合でも、その中から境界線として有効な幅の候補線を選択し、適切な境界線を認識することができる。
境界線認識装置の構成を示すブロック図。 のこぎり線を示す図。 候補線幅についてのエッジ点の度数分布を示す図。 候補線幅についての候補線が境界線である確率分布を示す図。 候補線幅ついての候補線が境界線である確率分布を適用する前と適用した後を示す図。 外側エッジ線及び内側エッジ線の位置についてのエッジ点の度数分布を示す図。 外側エッジ線及び内側エッジ線の位置についての候補線が境界線である確率分布を示す図。
以下、境界線認識装置を車両に搭載した各実施形態について、図面を参照しつつ説明する。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、図中、同一符号を付しており、同一符号の部分についてはその説明を援用する。
(第1実施形態)
図1を参照して、本実施形態に係る境界線認識装置50の構成を説明する。境界線認識装置50は、カメラ10と、車両情報取得装置20と、画像処理装置30と、を備える。
カメラ10は、例えばCCDカメラであり、車両前方の走路を撮影できるように、例えばルームミラーの裏側に、車両前方を向いて固定されている。カメラ10は、車両前方の走路を撮影し、撮影した画像情報を画像処理装置30に出力する。
車両情報取得装置20は、ヨーレートセンサ21及び車速センサ22を備える。車両情報取得装置20は、ヨーレートセンサ21により検出される自車両の旋回方向への角速度(ヨーレート)と、車速センサ22により検出される車速とから、走路中央の曲率を算出し、算出した走路の曲率を画像処理装置30に出力する。画像処理装置30は、算出された走路の曲率を境界線の位置の予測に用いる。
画像処理装置30は、CPU、ROM、RAM、I/O、及びこれらを接続するバスライン等からなるマイクロコンピュータとして構成されている。本実施形態では、CPUがROMに記憶されたプログラムを実行することで、輝度情報取得部31、エッジ点抽出部32、候補線抽出部33、度数算出部34、確率算出部35、境界線特徴算出部36、境界線認識部37の機能を実現している。
輝度情報取得部31は、カメラ10が取得した画像の車線境界線を検出するために必要な所定範囲の色情報を輝度に変換して、輝度情報を取得する。エッジ点抽出部32は、輝度変換された所定範囲において、画像の水平方向且つ車両から離れる方向に、輝度が急激に増加するアップエッジ点及び輝度が急激に減少するダウンエッジ点を探索し、複数のエッジ点を抽出する。
候補線抽出部33は、抽出したアップエッジ点及びダウンエッジ点の連なりにハフ変換等の変換を行い、自車両が走行する走路の左右両側を区切る境界線の候補線を複数抽出する。抽出される候補線は、外側エッジ線と内側エッジ線とのペアから構成される。外側エッジ線には、高輝度から低輝度に変化するダウンエッジ点が含まれ、内側エッジ線には、低輝度から高輝度に変化するアップエッジ点が含まれる。
度数算出部34は、車両が所定距離走行するごとに、候補線抽出部33により抽出された候補線に属するエッジ点に基づいて、境界線の幅を特定するパラメータについてのエッジ点の度数分布を算出する。すなわち、度数算出部34は、車両が所定距離走行する間にカメラ10により撮影された画像に基づいて、境界線幅を特定するパラメータについてのエッジ点の度数分布を算出する。本実施形態では、境界線の幅を特定するパラメータを候補線の幅とする。度数算出部34は、抽出された候補線の幅に対する候補線に属するエッジ点の度数の分布を算出する。度数算出部34により算出される度数分布については、後で詳しく述べる。
確率算出部35は、度数算出部34により算出された度数分布に基づいて、境界線幅を特定するパラメータについての候補線が境界線である確率分布を算出する。本実施形態では、候補線幅についての候補線が境界線である確率分布を算出する。確率算出部35により算出される確率分布については、後で詳しく述べる。
境界線特徴算出部36は、候補線抽出部33により抽出された候補線が境界線の複数の特徴をそれぞれ備えている度合いに基づいて、候補線が境界線である確率を算出する。詳しくは、境界線の複数の特徴のそれぞれについて、特徴を備えている度合いを算出し、特徴を備えている度合いが大きいほど、候補線が境界線である確率を高く算出する。境界線の特徴としては、候補線に含まれるエッジ点数が所定数よりも多いこと、候補線の長さが所定値よりも長いこと、エッジ点のエッジ強度が所定値よりも大きいこと等が挙げられる。
境界線認識部37は、候補線抽出部33により抽出された複数の候補線のそれぞれについて、候補線幅及び確率算出部35により算出された確率分布から算出した境界線である確率と、境界線特徴算出部36により境界線の複数の特徴のそれぞれについて算出された境界線である確率と、を統合する。境界線認識部37は、統合した候補線が境界線である確率に基づいて、尤も境界線らしい候補線を選択して、選択した候補線を境界線として認識する。詳しくは、統合された確率が境界線として判定できる判定値よりも高い候補線のうち、車両の右側と左側とで対になっている候補線であり、且つ最も確率が高い候補線を選択する。
境界線認識部37により境界線として認識された候補線の内側エッジ線は、制御目標に設定され、車両についての種々の制御が実行される。車両を自動制御する場合は、境界線として認識された候補線の内側エッジ線の形状に基づいて、車両の操舵量の設定が行われる。また、車両を走行路内に維持させる場合は、境界線として認識された候補線の内側エッジ線の外へ車両がはみ出したときに、警報音が出力される。
次に、境界線がのこぎり線の場合に算出される度数分布について説明する。図2に示すように、のこぎり線は、外側の実線境界線、内側の破線境界線から構成される多重境界線であり、実線境界線と破線境界線との間の距離が短い又はなく、破線同士の間隔が破線の長さと比較して長くなっている。それゆえ、画像の解像度によっては、実線境界線と破線境界線との間のエッジは検出されないことがある。ここでは、実線境界線と破線境界線との間のエッジが検出されていないとする。
この場合、実線境界線の外側輪郭に対応する外側エッジ線と、実線境界線の内側輪郭に対応する内側エッジ線と、破線境界線の内側輪郭に対応する内側エッジ線とが抽出される。すなわち、実線境界線に対応する外側エッジ線及び内側エッジ線のペアからなる候補線と、実線境界線に対応する外側エッジ線及び破線境界線に対応する内側エッジ線のペアからなる候補線と、が抽出される。そして、実線境界線に対応する外側エッジ線及び内側エッジ線からなる候補線に属するエッジ点の数は、実線境界線に対応する外側エッジ線及び破線境界線に対応する内側エッジ線からなる候補線に属するエッジ点の数よりも多くなる。
また、実線境界線の幅をa、実線境界線の幅と破線境界線の幅とを合わせた幅をbとする。実線境界線に対応する外側エッジ線に含まれるエッジ点と、実線境界線に対応する内側エッジ線に含まれるエッジ点との間隔、すなわち、実線境界線に対応する外側エッジ線と内側エッジ線とからなる候補線の幅は、aに近い幅になる。一方、実線境界線に対応する外側エッジ線に含まれるエッジ点と、破線境界線に対応する内側エッジ線に含まれるエッジ点との間隔、すなわち実線境界線に対応する外側エッジ線と破線境界線に対応する内側エッジ線とからなる候補線の幅は、bに近い幅になる。したがって、境界線がのこぎり線の場合に算出される度数分布は、図3に示すように、候補線幅aに対応するエッジ点の度数が最大の極大度数、すなわち最大度数を示し、候補線幅bに対応するエッジ点の度数が最大度数よりも小さい極大度数を示す分布になる。
なお、実線境界線と破線境界線との間のエッジが検出された場合、実線境界線と破線境界線との間のエッジ線は外側エッジ線となる。よって、この場合、a、bの幅の候補線以外に、破線境界線の幅に近い幅の候補線が抽出され、度数分布は、候補線幅b、及び破線境界線の幅において、最大の極大度数とは異なる極大度数を示す分布になる。
次に、確率算出部35により、図3の度数分布に基づいて算出される確率分布について説明する。境界線として認識したいのは、最大の極大度数示す幅の候補線、すなわち実線境界線に対応する候補線である。これに対し、2番目や3番目に大きい極大度数を示す幅の候補線は、境界線として認識されないようにしたい。そこで、候補線幅についての確率分布を度数分布と同じ分布形状にはしないで、度数分布において最大の極大度数とは異なる極大度数を示す候補線幅bを含む第1所定範囲において、度数に対する候補線が境界線である確率を低下させる。なお、第1所定範囲は、度数分布において、候補線幅bを中心として度数が高くなっている候補線幅の範囲である。
一方、最大の極大度数を示す候補線幅aの候補線は、境界線として認識されやすくしたいので、度数分布において最大の極大度数を示す候補線幅aを含む第2所定範囲において、候補線が境界線である確率を最大にする。さらに、候補線幅がaから離れるほど候補線が境界線として認識されにくくするために、度数分布において最大の極大度数を示す候補線幅aから離れるほど、候補線が境界線である確率を低くする。なお、第2所定範囲は、度数分布において、候補線幅aを中心として最大度数に近い度数を示す候補線幅の範囲である。
上記のようにして確率算出部35により算出された確率分布は、図4に示すように、候補線幅aを中心とした第2所定範囲において最大確率を示し、候補線幅aから離れるほど低い確率を示し、候補線幅bを中心とした第1所定範囲において最低確率を示す。この確率分布を用いることにより、のこぎり線のうち実線境界線に対応する候補線が境界線として認識されやすくなり、それ以外の候補線が境界線として認識されにくくなる。
図5(a)(b)に、車両の右側の境界線がのこぎり線の場合に、境界線認識部37により認識した境界線の一例を示す。図5(a)は、候補線幅及び確率算出部35により算出された確率分布から算出した境界線である確率を、統合した境界線である確率に反映していない場合に、認識した境界線を示す図である。一方、図5(b)は、候補線幅及び確率算出部35により算出された確率分布から算出した境界線である確率を、統合した境界線である確率に反映した場合に、認識した境界線を示す図である。図5(a)(b)において、実線は、境界線として認識した候補線の内側エッジ線を示しており、四角点は、画像の上部領域において境界線のエッジ点として認識されているエッジ点を示している。
図5(a)では、画像の上部領域において右側境界線に四角点がないことから、実線境界線の内側エッジ点が認識されていない。境界線として認識した候補線の内側エッジ線は、破線境界線の内側から実線境界線の内側に向かって延びている。すなわち、実線境界線に破線境界線が重なっている部分では、実線境界線の幅と破線境界線の幅を合わせた幅の候補線を境界線として認識し、実線境界線に破線境界線が重なっていない部分では、実線境界線に対応する候補線を境界線として認識している。よって、認識される走路の幅が変化するので、認識した候補線を制御目標とすると、車両の制御が不安定になるおそれがある。
これに対して、図5(b)では、画像の上部領域において右側境界線に四角点があることから、実線境界線の内側エッジ点が認識されている。境界線として認識した候補線の内側エッジ線は、実線境界線の内側に沿って延びている。すなわち、実線境界線に破線境界線が重なっている部分でも、実線境界線に対応する候補線を境界線として認識しており、実線境界線の幅と破線境界線の幅を合わせた幅の候補線を境界線として認識していない。よって、認識される走路の幅は一定となるので、認識した候補線を制御目標として、安定した車両の制御を実行できる。
以上説明した第1実施形態によれば、以下の効果を奏する。
・候補線に属するエッジ点の度数に基づいて各候補線の幅が境界線幅として有効な確率が算出され、その確率に基づいて境界線として有効な候補線が認識される。したがって、多重境界線がのこぎり線の場合でも、その中から境界線として有効な幅の候補線を選択し、適切な境界線を認識することができる。
・度数分布において最大の極大度数とは異なる極大度数を示す候補線幅の値を含む第1所定範囲において、候補線が境界線である確率を低下させることにより、2番目や3番目に大きい極大度数を示す幅の候補線が、境界線として認識されにくくなる。よって、多重境界線がのこぎり線の場合には、破線境界線の幅、又は実線境界線の幅と破線境界線の幅を合わせた幅を含む所定範囲の幅の候補線が、境界線として認識されにくくなる。したがって、多重境界線がのこぎり線の場合でも、境界線を誤認識することを抑制できる。ひいては、車両を走路内に安定して維持することができる。
・度数分布において最大度数を示すパラメータの値を含む第2所定範囲において、候補線が境界線である確率を最大にすることにより、最大度数を示す候補線幅に近い幅を有する候補線が、境界線として認識されやすくなる。よって、多重境界線がのこぎり線の場合には、実線境界線の幅を含む所定範囲の幅の候補線が境界線として認識されやすくなる。したがって、多重境界線がのこぎり線の場合でも、適切な境界線を認識することができる。
・最大の極大度数を示す候補線幅の値において、候補線が境界線である確率が最も高くなり、その値から離れるほど、候補線が境界線として認識されにくくなる。したがって、多重境界線がのこぎり線の場合でも、より適切に境界線を認識することができる。
・境界線幅を特定するパラメータを候補線幅とすることで、候補線幅に対するエッジ点の度数分布を算出でき、ひいては候補線幅に対する候補線が境界線である確率分布を算出できる。
・所定距離走行する間に蓄積された画像に基づいて度数分布が算出されるので、ある程度の度数が確保された時点で度数分布を算出することができる。このため、度数分布の信頼性を向上させることができ、精度の高い確率分布を算出することができる。
・候補線の幅に基づいた確率と、境界線の複数の特徴のそれぞれを備えている度合いに基づいた確率とが統合されて、境界線が認識される。したがって、多重境界線がのこぎり線の場合でも、高精度に適切な境界線を認識することができる。
(第2実施形態)
次に、第2実施形態について第1実施形態と異なる点について説明する。第2実施形態では、境界線の幅を特定するパラメータを、画像の水平方向における外側エッジ線の位置、及び内側エッジ線の位置とする。度数算出部34は、車両が所定距離走行するごとに、画像の水平方向における外側エッジ線の位置及び内側エッジ線の位置についてのエッジ点の度数分布を算出する。また、確率算出部35は、度数算出部34により算出された度数分布に基づいて、画像の水平方向における外側エッジ線の位置及び内側エッジ線の位置についていの候補線が境界線である確率分布を算出する。
次に、境界線がのこぎり線の場合に、算出される度数分布について説明する。ここでは、実線境界線と破線境界線との間のエッジが検出されていないとする。また、画像の水平方向において、実線境界線の外側輪郭が、外縁からの距離cの位置にあるとし、実線境界線の内側輪郭が、外縁から距離dの位置にあるとする。さらに、画像の水平方向において、破線境界線の内側輪郭が、外縁から距離eの位置にあるとする。なお、外縁とは、エッジ点探索範囲の左右の端、又は画像の左右の端をいう。
まず、外側エッジ線に属するエッジ点について説明する。この場合、実線境界線に対応する外側エッジ線に属するエッジ点の水平方向における位置は、外縁からの距離cの付近になる。よって、度数算出部34により算出される外側エッジ線の位置についてのエッジ点の度数分布は、図6において実線で示すように、距離cで最大の極大度数を示す分布になる。一方、実線境界線と破線境界線との間のエッジが検出されていないため、破線境界線に対応する外側エッジ線に属するエッジ点は検出されていない。
なお、実線境界線と破線境界線との間のエッジ点が検出された場合、外側エッジ線の位置についての度数分布は、距離cで最大度数を示し、距離dで最大の極大度数とは異なる極大度数を示す分布になる(図示なし)。実線境界線に対応する外側エッジ線に属するエッジ点の数は、実線境界線と破線境界線との間の外側エッジ線(破線境界線の外側エッジ線)に属するエッジ点の数よりも多いので、距離cで最大度数を示し、距離dで2番目に大きい極大度数を示す。
続いて、内側エッジ線に属するエッジ点について説明する。実線境界線に対応する内側エッジ線に属するエッジ点の水平方向における位置は、外縁から距離dの付近になり、破線境界線に対応する内側エッジ線に属するエッジ点の水平方向における位置は、外縁から距離eの付近になる。よって、度数算出部34により算出される内側エッジ線の位置についてのエッジ点の度数分布は、図6において一点鎖線で示すように、距離dで最大の極大度数を示し、距離eで最大の極大度数とは異なる極大度数を示す分布になる。実線境界線に対応する内側エッジ線に属するエッジ点の数は、破線境界線に対応する内側エッジ線に属するエッジ点の数よりも多いので、距離dで最大度数を示し、距離eで2番目に大きい極大度数を示す。
そして、外側エッジ線の位置についての度数分布において最大度数を示す距離cと、内側エッジ線の位置についての度数分布において最大度数を示す距離dとの間隔が、図3の度数分布において最大度数を示した候補線幅a、すなわち実線境界線の幅になる。また、距離cと距離eとの間隔が、図3の度数分布において最大度数とは異なる極大度数を示す候補線幅b、すなわち実線境界線の幅と破線境界線幅を合わせた幅になる。
次に、確率算出部35により、図6の度数分布に基づいて算出される確率分布について説明する。最大の極大度数を示す幅の候補線、すなわち実線境界線に対応する候補線を境界線として認識されやすくし、最大度数と異なる極大度数を示す幅の候補線は、境界線として認識されないようにしたい。
図6で示す外側エッジ線に属するエッジ点の度数分布は、距離cにおける最大の極大度数のみを有し、最大の極大度数とは異なる極大度数は有さない。そこで、外側エッジ線の位置についての確率分布は、図7において実線で示すように、度数分布において最大の極大度数を示す距離cを含む第2所定範囲において、候補線が境界線である確率を最大にし、外側エッジ線の位置が距離cから離れるほど、候補線が境界線である確率を低くする。
なお、実線境界線と破線境界線との間に外側エッジ線が抽出された場合は、距離dで最大度数とは異なる極大度数を示すので、距離dを含む第1所定範囲(図示なし)において、度数に対する候補線が境界線である確率を低下させる。この場合の第1所定範囲は、度数分布において、距離dを中心として度数が高くなっている実線境界線と破線境界線との間の範囲であり、第2所定範囲は、度数分布において、距離cを中心として最大度数に近い度数を示す外側エッジ線の位置の範囲である。この場合の第1所定範囲は、後述する内側エッジ線の度数分布における第2所定範囲に重なる。
同様にして、内側エッジ線の位置についての確率分布は、図7において一点鎖線で示すように、度数分布において最大度数と異なる極大度数を示す距離eを含む第1所定範囲において、度数に対する候補線が境界線である確率を低下させる。また、度数分布において最大度数を示す距離dを含む第2所定範囲において、候補線が境界線である確率を最大にし、内側エッジ線の位置が距離dから離れるほど、候補線が境界線である確率を低くする。なお、第1所定範囲は、度数分布において、距離eを中心として度数が高くなっている内側エッジ線の位置の範囲であり、第2所定範囲は、度数分布において、距離dを中心として最大度数に近い度数を示す内側エッジ線の位置の範囲である。
図7に示す確率分布を用いることにより、距離cの位置にある外側エッジ線と距離dの位置にある内側エッジ線とからなる候補線、すなわち、のこぎり線のうち実線境界線が境界線として認識されやすくなる。また、距離cの位置にある外側エッジ線と距離eの位置にある内側エッジ線とからなる候補線は、境界線として認識されにくくなる。
以上説明した第2実施形態によれば、画像の水平方向における外側エッジ線及び内側エッジ線の位置をパラメータとして、候補線幅を特定することができる。よって、候補線幅に対応するエッジ点の度数分布を算出でき、ひいては、候補線幅に対する候補線が境界線である確率分布を算出できる。
(他の実施形態)
本発明は上記実施形態の記載内容に限定されず、以下のように変更して実施してもよい。
・度数算出部34は、車両が所定時間走行する条件を加えてカメラ10により撮影された画像に基づいて、度数分布を算出してもよい。このようにしても、ある程度の度数が確保された時点で度数分布を算出することができるので、度数分布の信頼性を向上させることができる。
・図1において破線の矢印で示すように、候補線抽出部33は、エッジ点抽出部32により抽出されたエッジ点の連なり、及び確率算出部35により算出された確率分布に基づいて、候補線を抽出するようにしてもよい。エッジ点の連なりに加えて、算出された確率分布を用いることにより、ノイズの抽出を抑制し、境界線の候補線をより正確に抽出することができる。その結果、境界線を認識する精度を向上させることができる。
・第2実施形態において、確率算出部35は、外側エッジ線の位置及び内側エッジ線の位置から候補線幅を特定し、図4に示すような候補線幅についての候補線が境界線である確率分布を算出してもよい。さらに、境界線特徴算出部36にて、候補線に含まれているエッジ点数が多いほど車線境界線として選択しやすくなるように設定しておけば、のこぎり線においてより精度よく境界線を選択できる。
・確率算出部35は、候補線が境界線である確率を、度数分布において最大の極大度数を示すパラメータの値を含む第2所定範囲において最大とし、第2所定範囲以外において最小としてもよい。すなわち、確率分布を不連続な二値に設定してもよい。
・一般に車両の制御目標とするのは、境界線として認識した候補線の内側エッジ線であるので、第1実施形態において、確率算出部35は、度数分布において最大度数を示す候補線幅aの候補線の内側エッジ線が認識されやすくなる確率分布を、算出してもよい。また、第2実施形態において、確率算出部35は、外側エッジ線の位置についての確率分布を算出せず、内側エッジ線の位置についての確率分布だけを算出してもよい。
10…カメラ、30…画像処理装置、32…エッジ点抽出部、33…候補線抽出部、34…度数算出部、35…確率算出部、37…境界線認識部。

Claims (10)

  1. 車両に搭載されて走路を撮影するカメラ(10)と、
    前記カメラにより撮影された画像の輝度に基づいて、エッジ点を抽出するエッジ点抽出部(32)と、
    抽出したエッジ点の連なりに基づいて、前記走路を区切る境界線の候補線を抽出する候補線抽出部(33)と、
    前記候補線抽出部により抽出された候補線に属する前記エッジ点に基づいて、前記境界線の幅を特定するパラメータについての前記エッジ点の度数分布を算出する度数算出部(34)と、
    前記度数算出部により算出された前記度数分布に基づいて、前記パラメータについての前記候補線が前記境界線である確率分布を算出する確率算出部(35)と、
    前記確率算出部により算出された前記確率分布に基づいて、前記境界線を認識する境界線認識部(37)と、を備える境界線認識装置(50)。
  2. 前記確率算出部は、前記度数分布において最大の極大度数とは異なる極大度数を示す前記パラメータの値を含む第1所定範囲において、前記度数に対する前記候補線が前記境界線である確率を低下させる請求項1に記載の境界線認識装置。
  3. 前記確率算出部は、前記度数分布において最大の極大度数を示す前記パラメータの値を含む第2所定範囲において、前記候補線が前記境界線である確率を最大とする請求項1又は2に記載の境界線認識装置。
  4. 前記確率算出部は、前記度数分布において最大の極大度数を示す前記パラメータの値から離れるほど、前記候補線が前記境界線である確率を低くする請求項1〜3のいずれかに記載の境界線認識装置。
  5. 前記候補線抽出部は、前記エッジ点の連なり及び前記確率算出部により算出された前記確率分布に基づいて、前記候補線を抽出する請求項1〜4のいずれかに記載の境界線認識装置。
  6. 前記パラメータは、前記候補線の幅である請求項1〜5のいずれかに記載の境界線認識装置。
  7. 前記パラメータは、前記画像の水平方向における前記候補線の外側エッジ線及び内側エッジ線の位置である請求項1〜5のいずれかに記載の境界線認識装置。
  8. 前記度数算出部は、前記車両が所定距離走行する間に前記カメラにより撮影された画像に基づいて、前記度数分布を算出する請求項1〜7のいずれかに記載の境界線認識装置。
  9. 前記度数算出部は、前記車両が所定時間走行する間に前記カメラにより撮影された画像に基づいて、前記度数分布を算出する請求項1〜7のいずれかに記載の境界線認識装置。
  10. 前記境界線認識部は、前記確率分布から算出される確率と、前記候補線が境界線の複数の特徴をそれぞれ備えている度合いに基づいて算出される確率とを統合して、前記境界線を認識する請求項1〜9のいずれかに記載の境界線認識装置。
JP2013080477A 2013-04-08 2013-04-08 境界線認識装置 Expired - Fee Related JP5986949B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013080477A JP5986949B2 (ja) 2013-04-08 2013-04-08 境界線認識装置
US14/783,060 US9672429B2 (en) 2013-04-08 2014-04-04 Boundary line recognizer device
PCT/JP2014/059967 WO2014168083A1 (ja) 2013-04-08 2014-04-04 境界線認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013080477A JP5986949B2 (ja) 2013-04-08 2013-04-08 境界線認識装置

Publications (2)

Publication Number Publication Date
JP2014203344A true JP2014203344A (ja) 2014-10-27
JP5986949B2 JP5986949B2 (ja) 2016-09-06

Family

ID=51689492

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013080477A Expired - Fee Related JP5986949B2 (ja) 2013-04-08 2013-04-08 境界線認識装置

Country Status (3)

Country Link
US (1) US9672429B2 (ja)
JP (1) JP5986949B2 (ja)
WO (1) WO2014168083A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016091202A (ja) * 2014-10-31 2016-05-23 株式会社豊田中央研究所 自己位置推定装置及び自己位置推定装置を備えた移動体
JP2016173711A (ja) * 2015-03-17 2016-09-29 株式会社日本自動車部品総合研究所 走行区画線認識装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5986949B2 (ja) 2013-04-08 2016-09-06 株式会社日本自動車部品総合研究所 境界線認識装置
JP2016146162A (ja) 2014-12-04 2016-08-12 株式会社リコー 運転判定装置、運転判定プログラム、演算システム、検知装置、検知システム、検知方法及びプログラム
CN107636751B (zh) * 2015-06-15 2021-06-04 三菱电机株式会社 行驶车道判别装置和行驶车道判别方法
EP3217374A1 (en) * 2016-03-10 2017-09-13 Volvo Car Corporation Method and system for estimating a boundary of a road technical field
CN106227726B (zh) * 2016-06-30 2020-01-21 北京航空航天大学 一种基于车辆轨迹数据的路径提取方法
DE102019134320A1 (de) * 2019-12-13 2021-06-17 Connaught Electronics Ltd. Verfahren und System zum Erfassen von Fahrspurbegrenzungen

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007264955A (ja) * 2006-03-28 2007-10-11 Fuji Heavy Ind Ltd 車線位置検出装置
JP2007316767A (ja) * 2006-05-23 2007-12-06 Denso Corp 車両用レーンマーク認識装置
JP2011095846A (ja) * 2009-10-27 2011-05-12 Fujitsu Ltd 車両位置検出装置、車両位置検出方法、及び車両位置検出プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3780848B2 (ja) * 2000-12-27 2006-05-31 日産自動車株式会社 車両の走行路認識装置
JP3630100B2 (ja) * 2000-12-27 2005-03-16 日産自動車株式会社 車線検出装置
JP4093208B2 (ja) * 2004-05-28 2008-06-04 トヨタ自動車株式会社 車両用走路判定装置
US8311283B2 (en) * 2008-07-06 2012-11-13 Automotive Research&Testing Center Method for detecting lane departure and apparatus thereof
JP5577608B2 (ja) 2009-03-05 2014-08-27 日産自動車株式会社 車線認識装置及び方法
JP5986949B2 (ja) 2013-04-08 2016-09-06 株式会社日本自動車部品総合研究所 境界線認識装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007264955A (ja) * 2006-03-28 2007-10-11 Fuji Heavy Ind Ltd 車線位置検出装置
JP2007316767A (ja) * 2006-05-23 2007-12-06 Denso Corp 車両用レーンマーク認識装置
JP2011095846A (ja) * 2009-10-27 2011-05-12 Fujitsu Ltd 車両位置検出装置、車両位置検出方法、及び車両位置検出プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016091202A (ja) * 2014-10-31 2016-05-23 株式会社豊田中央研究所 自己位置推定装置及び自己位置推定装置を備えた移動体
JP2016173711A (ja) * 2015-03-17 2016-09-29 株式会社日本自動車部品総合研究所 走行区画線認識装置

Also Published As

Publication number Publication date
JP5986949B2 (ja) 2016-09-06
US9672429B2 (en) 2017-06-06
US20160042236A1 (en) 2016-02-11
WO2014168083A1 (ja) 2014-10-16

Similar Documents

Publication Publication Date Title
JP5986949B2 (ja) 境界線認識装置
JP6536064B2 (ja) 走行軌跡選定装置、走行軌跡選定方法
JP6220327B2 (ja) 走行区画線認識装置、走行区画線認識プログラム
JP6096723B2 (ja) 走行区画線認識装置及び走行区画線認識プログラム
US20150269445A1 (en) Travel division line recognition apparatus and travel division line recognition program
US10539418B2 (en) Target detection apparatus and method
JP6468136B2 (ja) 走行支援装置及び走行支援方法
WO2016159364A1 (ja) 歩行者判定装置
EP2919159A2 (en) Image processing device and image processing method
US9589213B2 (en) Apparatus for recognizing turnoff from vehicle roadway
US9665780B2 (en) Travel division line recognition apparatus and travel division line recognition program
US20170151943A1 (en) Method, apparatus, and computer program product for obtaining object
US20140002658A1 (en) Overtaking vehicle warning system and overtaking vehicle warning method
US20150235090A1 (en) Lane-line recognition apparatus
JP6165120B2 (ja) 走行区画線認識装置
JP6105524B2 (ja) 走行区画線認識装置及び走行区画線認識プログラム
JP5805619B2 (ja) 境界線認識装置
JP2012146135A (ja) 境界検出装置、および境界検出プログラム
WO2016158491A1 (ja) 衝突回避支援装置
JP2017123009A (ja) 区画線認識装置
JP6087687B2 (ja) 走行支援装置
JP6105279B2 (ja) 分岐路判定装置、境界線認識装置
JP6564682B2 (ja) 対象物検出装置、対象物検出方法、及び、対象物検出プログラム
JP2015215235A (ja) 物体検出装置及び物体検出方法
JP2016004447A (ja) 移動情報推定装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150914

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160712

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160808

R150 Certificate of patent or registration of utility model

Ref document number: 5986949

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees