JP2020205041A - 車道検出装置及び方法、電子機器 - Google Patents

車道検出装置及び方法、電子機器 Download PDF

Info

Publication number
JP2020205041A
JP2020205041A JP2020092983A JP2020092983A JP2020205041A JP 2020205041 A JP2020205041 A JP 2020205041A JP 2020092983 A JP2020092983 A JP 2020092983A JP 2020092983 A JP2020092983 A JP 2020092983A JP 2020205041 A JP2020205041 A JP 2020205041A
Authority
JP
Japan
Prior art keywords
lane
image
roadway
unit
input image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020092983A
Other languages
English (en)
Inventor
ブゥ・シアオイェヌ
Xiaouyan Bu
ハヌ・ゼォジン
Zejing Han
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JP2020205041A publication Critical patent/JP2020205041A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

【課題】本発明は、車道検出装置及び方法、電子機器を提供する。【解決手段】まず、語義分割に基づいて前処理を行って2値画像における干渉物体を除去することで、車線検出の正確性を向上させ、各種の道路シーンに適用することができ、そして、語義分割の結果に基づいて自動で全ての車道を含む車道領域画像を抽出することで、自動で透視変換を行って車線の捜索及びフィッティングを実行し、多車道の検出を実現することができ、さらに、複数の入力画像の検出結果を統合することで、車線検出の正確性及び完全性をより一層向上させることができる。【選択図】図１

Description

本発明は、情報技術分野に関する。
車道検出が交通ビデオ監視及び自動運転において非常に重要で且つ挑戦性のあるタスクである。一般的に言えば、車線を検出することで車道を検出するときに、多くのファクターの影響を受けることがある。例えば、車道上で移動する車両、車道間の緑化帯（グリーンベルト）、車道領域を抽出する正確性などにより、車線の検出結果の不正確さを引き起こすことができる。
車線を検出するときに、良く用いられ方法の1つとしては、ハフ変換（Hough transformation）に基づいて車線を検出する方法がある。該方法では、まず、オリジナル画像に対して前処理を行って2値画像を取得し、その後、手動で目標車道領域を抽出し、ハフ変換により車線を検出し、最後に、車線の傾き（Slope）の正負を判断することにより、左右車線を区別する。
また、スライディングウィンドウによる捜索（サーチ）に基づく方法も車線の検出のために提案されている。該方法では、まず、手動で透視変換領域を設けて透視変換によりオリジナル画像を上面図画像に変換し、その後、スライディングウィンドウを用いて車線の画素を捜索し、カーブフィッティングにより車道曲線を生成し、最後に、上面図画像をオリジナル角度に逆変換する。
本発明の発明者は次のようなことを発見した。即ち、上述の従来の方法のうち、ハフ変換に基づく方法は、手動で画像から目標車道領域を抽出する必要がある。また、該方法は、車線の傾きの正負を判断することで左右車線を区別する。よって、該方法は、単車道の検出にのみ適用される。また、車線検出の正確性も、移動する車両、緑化帯などの干渉物体の影響を受けやすい。
また、スライディングウィンドウによる捜索に基づく方法について言えば、それは、手動で透視変換領域を設ける必要があるという制限があるため、異なる道路シーンに適用することができない。さらに、該方法は、車線の数及び位置を特定することができず、単車線の検出にのみ適用され、即ち、上面図画像の左半分及び右半分でそれぞれ車線を捜索することしかできない。
本発明の実施例は、車道検出装置及び方法、電子機器を提供する。まず、語義分割に基づいて前処理を行って2値画像における干渉物体を除去することで、車線検出の正確性を向上させ、各種の道路シーンに適用することができ、そして、語義分割の結果に基づいて全ての車道を含む車道領域画像を自動で抽出することで、自動で透視変換を行って車線の捜索及びフィッティングを実行し、多車道の検出を実現することができ、さらに、複数の入力画像の検出結果を統合することで、車線検出の正確性及び完全性をより一層向上させることができる。
本発明の実施例の第一側面によれば、車道検出装置が提供され、前記装置は、
検出ユニットであって、複数の入力画像に対してそれぞれ検出を行い、各入力画像の車道検出結果を得るもの；及び
統合ユニットであって、各入力画像の車道検出結果に基づいて、車道の統合検出結果を得るものを含み、
そのうち、前記検出ユニットは、
分割ユニットであって、語義分割に基づいて前記入力画像における各類別の物体の領域を確定するもの；
前処理ユニットであって、前記入力画像における各類別の物体の領域に基づいて、前記入力画像の2値画像における干渉物体を除去し、前処理後の2値画像を得るもの；
抽出ユニットであって、前記入力画像における各類別の物体の領域に基づいて、前処理後の2値画像から車道領域画像を抽出するもの；
変換ユニットであって、抽出された前記車道領域画像に対して透視変換を行い、上面視画像を得るもの；
捜索ユニットであって、上面視画像に対して車線の捜索及びフィッティングを行い、前記上面視画像における車線を確定するもの；及び
逆変換ユニットであって、車線が確定された上面視画像に対して逆透視変換を行い、逆透視変換の結果に基づいて前記入力画像の車線を確定することで、前記入力画像の車道検出結果を得るものを含む。
本発明の実施例の第二側面によれば、電子機器が提供され、前記電子機器は、本発明の実施例の第一側面に記載の装置を含む。
本発明の実施例の第三側面によれば、車道検出方法が提供され、前記方法は、
複数の入力画像に対してそれぞれ検出を行い、各入力画像の車道検出結果を取得し；及び
各入力画像の車道検出結果に基づいて、車道の統合検出結果を取得することを含み、
そのうち、前記複数の入力画像のうちの１つの入力画像に対して検出を行うことは、
語義分割に基づいて前記入力画像における各類別の物体の領域を確定し；
前記入力画像における各類別の物体の領域に基づいて、前記入力画像の2値画像における干渉物体を除去し、前処理後の2値画像を取得し；
前記入力画像における各類別の物体の領域に基づいて、前処理後の2値画像から車道領域画像を抽出し；
抽出された前記車道領域画像に対して透視変換を行い、上面視画像を取得し；
上面視画像に対して車線の捜索及びフィッティングを行い、前記上面視画像における車線を確定し；及び
車線が確定された上面視画像に対して逆透視変換を行い、逆透視変換の結果に基づいて前記入力画像の車線を確定することで、前記入力画像の車道検出結果を得ることを含む。
本発明の有益な効果は次の通りであり、即ち、まず、語義分割に基づいて前処理を行って2値画像における干渉物体を除去することで、車線検出の正確性を向上させ、各種の道路シーンに適用することができ、そして、語義分割の結果に基づいて自動で全ての車道を含む車道領域画像を抽出することで、自動で透視変換を行って車線の捜索及びフィッティングを実行し、多車道の検出を実現することができ、さらに、複数の入力画像の検出結果を統合することで、車線検出の正確性及び完全性をより一層向上させることができる。
本発明の実施例1における車道検出装置を示す図である。 本発明の実施例1における検出ユニット102を示す図である。 本発明の実施例1における入力画像に対して語義分割を行った後の様子を示す図である。 本発明の実施例1における前処理ユニット112を示す図である。 本発明の実施例1における入力画像の2値画像を示す図である。 本発明の実施例1における前処理後の2値画像を示す図である。 本発明の実施例1における抽出ユニット113を示す図である。 本発明の実施例1における車道の所在する領域の抽出を示す図である。 本発明の実施例1における修正後の車道領域画像を示す図である。 本発明の実施例1における透視変換後の上面視画像を示す図である。 本発明の実施例1における捜索ユニット115を示す図である。 本発明の実施例1における上面視画像の累積画素値のヒストグラムを示す図である。 本発明の実施例1におけるスライディングウィンドウによる捜索を示す図である。 本発明の実施例1における車線の類型の確定方法を示す図である。 本発明の実施例1における車道検出結果を示す図である。 本発明の実施例2における電子機器を示す図である。 本発明の実施例2における電子機器のシステム構成を示すブロック図である。 本発明の実施例3における車道検出方法を示す図である。 本発明の実施例3におけるステップ1801で複数の画像のうちの1つの入力画像に対して検出を行う方法を示す図である。
以下、添付した図面を参照しながら、本発明を実施するための好ましい実施例について詳細に説明する。
本発明の実施例は、車道検出装置を提供する。図1は、本発明の実施例1における車道検出装置を示す図である。図2は、本発明の実施例1における検出ユニット102を示す図である。図1及び図2に示すように、車道検出装置100は、以下のものを含む。
検出ユニット110：複数の入力画像に対してそれぞれ進行検出、各入力画像の車道検出結果を取得し；及び
統合ユニット120：各入力画像の車道検出結果に基づいて、車道の統合検出結果を取得する。
そのうち、検出ユニット110は、以下のものを含む。
分割ユニット111：語義分割に基づいて入力画像における類別の物体の領域を確定し；
前処理ユニット112：入力画像における各類別の物体の領域に基づいて、入力画像の2値画像における干渉物体を除去し、前処理後の2値画像を取得し；
抽出ユニット113：入力画像における各類別の物体の領域に基づいて、前処理後の2値画像から車道領域画像を抽出し；
変換ユニット114：抽出された車道領域画像に対して透視変換を行い、上面視画像を取得し；
捜索ユニット115：上面視画像に対して車線の捜索及びフィッティングを行い、上面視画像における車線を確定し；及び
逆変換ユニット116：車線が確定された上面視画像に対して逆透視変換を行い、逆透視変換の結果に基づいて入力画像の車線を確定することで、入力画像の車道検出結果を取得する。
上述の実施例から分かるように、まず、語義分割に基づいて前処理を行って2値画像における干渉物体を除去することで、車線検出の正確性を向上させ、各種の道路シーンに適用することができ、そして、語義分割の結果に基づいて自動で全ての車道を含む車道領域画像を抽出することで、自動で透視変換を行って車線の捜索及びフィッティングを実行し、多車道の検出を実現することができ、さらに、複数の入力画像の検出結果を統合することで、車線検出の正確性及び完全性をより一層向上させることができる。
本実施例では、検出ユニット110は、複数の入力画像に対してそれぞれ検出を行い、各入力画像の車道検出結果を取得する。本実施例では、例えば、複数の入力画像は、同一のシーンを撮像した監視ビデオにおける連続した複数のフレーム、又は、監視ビデオにおける不連続的な（間隔有り）複数のフレームであっても良い。
本実施例では、複数の入力画像の数が実際のニーズに応じて設定されても良い。
本実施例では、検出ユニット110は、それぞれ、複数の入力画像のうちの各入力画像に対して検出を行うことができるが、その検出の順序については、限定しない。
検出ユニット110が各入力画像に対して行う検出方法は、同じである。以下、検出ユニット110が複数の入力画像のうちの1つの入力画像に対して行う検出方法について説明する。
図2に示すように、分割ユニット111は、語義分割に基づいて、入力画像における各類別の物体の領域を確定する。
本実施例では、分割ユニット111は、語義分割を行うときに、従来の方法、例えば、DeepLab V3に基づく語義分割の方法を使用しても良い。
図3は、本発明の実施例1における入力画像に対しての語義分割後の様子を示す図である。図3に示すように、語義分割後に、入力画像における異なる類別の物体を異なる色で示すことで、各類別の物体の所在する領域を確定することができる。このようにして、車道上で移動する車両、道路間の緑化帯などの干渉物体の所在する領域を確定することができる。
本実施例では、前処理ユニット112は、分割ユニット111の入力画像に対しての分割結果、即ち、入力画像における各類別の物体の領域に基づいて、入力画像の2値画像における干渉物体を除去し、前処理後の2値画像を取得する。
図4は、本発明の実施例1における前処理ユニット112を示す図である。図4に示すように、前処理ユニット112は、以下のものを含む。
2値化ユニット401：入力画像の2値画像を取得し；及び
除去ユニット402：各類別の物体のうちの干渉物体の所在する領域に基づいて、2値画像から干渉物体を除去し、前処理後の2値画像を取得する。
本実施例では、2値化ユニット401は、従来の方法により2値画像を得ることができる。
図5は、本発明の実施例1における入力画像の2値画像を示す図である。図5に示すように、車線、車両、緑化帯などの物体の画素値が“1”に設定され、例えば、車線間の車道部分などの物体の画素値が“0”に設定される。
除去ユニット402は、分割ユニット111の入力画像に対しての分割結果、即ち、各類別の物体のうちの干渉物体の所在する領域に基づいて、2値画像から干渉物体を除去し、前処理後の2値画像を取得する。
図6は、本発明の実施例1における前処理後の2値画像を示す図である。図3で確定された車道上で移動する車両、道路間の緑化帯などの干渉物体の所在する領域に基づいて、これらの干渉物体を図5に示す2値画像から除去し、即ち、これら物体の画素値を“0”に設定することで、図6に示す前処理後の2値画像を取得する。
本実施例では、除去する必要のある干渉物体に含まれる物体の類型が実際の応用シーンに応じて確定されても良く、車線の検出に影響し得る全ての物体が干渉物体とされ得る。本実施例では、干渉物体は、例えば、車道上で移動する車両、道路間の緑化帯、街路灯などを含んでも良い。
本実施例では、抽出ユニット113は、分割ユニット111の入力画像に対しての分割結果、即ち、入力画像における各類別の物体の領域に基づいて、前処理後の2値画像から車道領域画像を抽出する。
本実施例では、抽出される車道領域画像の形状は、変換ユニット114が透視変換を行う要求に応じて確定されても良く、例えば、抽出される車道領域画像は、台形である。
図7は、本発明の実施例1における抽出ユニット113を示す図である。図7に示すように、抽出ユニット113は、以下のものを含む。
第一抽出ユニット701：各類別の物体のうちの車道の所在する領域に基づいて、前処理後の2値画像における車道の所在する領域の画像を抽出し；及び
修正ユニット702：車道の所在する領域の画像を修正し、車道領域画像を得る。
図8は、本発明の実施例1における車道の所在する領域の抽出を示す図である。図8に示すように、第一抽出ユニット701は、図3で確定された道路領域に基づいて、図6に示す2値画像から、車道の所在する領域の画像、即ち、枠801により示される部分を確定（抽出）する。
修正ユニット702は、第一抽出ユニット701により抽出された車道の所在する領域の画像を修正し、例えば、抽出された画像の形状を充填及び拡張により完全な台形に修正する。図9は、本発明の実施例1における修正後の車道領域画像を示す図である。図9に示すように、図8において枠801により示される部分に対して延伸及び拡張を行うことで、完全な台形領域901を取得しており、台形領域901の画像は、修正後の車道領域画像である。
抽出ユニット113が車道領域画像を抽出した後に、変換ユニット114は、抽出された車道領域画像に対して透視変換（perspective transformation）を行い、上面視画像を取得する。
本実施例では、変換ユニット114は、従来の方法を採用して透視変換を行うことができる。
例えば、以下の公式（1）及び（2）に基づいて透視変換を行う。
Figure 2020205041
そのうち、(u,v)は、車道領域画像中の画素の座標であり、(x=x'/w'，y=y'/w')は、上面視画像中の画素の座標であり、w'及びwは、座標変換係数であり、Tは、透視変換行列であり、a11，……，a33は、透視変換行列の要素である。
図10は、本発明の実施例1における透視変換後の上面視画像である。図9における台形領域901の画像に対して透視変換を行った後に、図10に示す上面視画像を取得することができる。
変換ユニット114により上面視画像を取得した後、捜索ユニット115は、上面視画像に対して車線の捜索及びフィッティングを行うことで、上面視画像における車線を確定する。以下、捜索ユニット115の構造及び捜索方法について例示的に説明する。
図11は、本発明の実施例1における捜索ユニット115を示す図である。図11に示すように、捜索ユニット115は、以下のものを含む。
計算ユニット1101：上面視画像の累積画素値のヒストグラムを計算し；
第一確定ユニット1102：ヒストグラムにおける波形数（波形の数）に基づいて、上面視画像における車線数（車線の数）を確定し；
第一捜索ユニット1103：スライディングウィンドウを用いて、上面視画像における各車線に対して捜索を行い、非ゼロ画素を検出し；及び
フィッティングユニット1104：検出された非ゼロ画素に対してフィッティングを行い、上面視画像における車線を確定する。
本実施例では、計算ユニット1101は、上面視画像の累積画素値のヒストグラムを計算する。図12は、本発明の実施例1における上面視画像の累積画素値のヒストグラムを示す図である。図12に示すように、横座標は、上面視画像の幅方向の座標を示し、縦座標は、累積画素値を示す。
第一確定ユニット1102は、ヒストグラム中の波形数に基づいて、上面視画像における車線数を確定し、言い換えれば、ヒストグラム中の波形の数は、上面視画像中の車線の数に対応する。また、振幅（amplitude）が所定閾値よりも小さい波形を除去することで、ノイズの干渉を除去しても良い。
例えば、図12に示すように、ヒストグラムには、4つの波形があり、これは、上面視画像中の車線数が4であることを意味する。
第一捜索ユニット1103は、スライディングウィンドウを用いて、上面視画像中の各車線に対して捜索を行い、非ゼロ画素を検出する。
本実施例では、第一捜索ユニット1103は、各車線に対してそれぞれ捜索を行い、また、各車線に対しての捜索プロセスは、並列に実行されても良く、逐一に実行されても良く、本発明の実施例は、車線の捜索順序について限定しない。以下、第一捜索ユニット1103が1つの車線を捜索する方法について例示的に説明する。
例えば、第一捜索ユニット1103は、1つの車線に対して捜索を行うときに、まず、捜索の開始点を確定し、例えば、ヒストグラムの、該車線に対応する波形のピークの所在する位置の画素点を開始点とし；その後、上下方向上でスライディングウィンドウを移動してグリッド捜索（grid search）を行い、捜索済みの領域内の全ての非ゼロの画素点を確定する。そのうち、スライディングウィンドウ中で検出された全ての非ゼロの画素点の平均座標を、移動する次の1つのスライディングウィンドウの開始点とする。
本実施例では、スライディングウィンドウのサイズは、実際の状況に基づいて確定されても良い。例えば、スライディングウィンドウの幅は、上面視画像の幅の、例えば、1/10（所定比）であり、スライディングウィンドウの高さは、上面視画像の高さをスライディングウィンドウ移動の回数で除算した結果であっても良い。
フィッティングユニット1104は、第一捜索ユニット1103が検出した非ゼロ画素に対してフィッティングを行い、上面視画像における車線を確定する。
例えば、フィッティングユニット1104は、該車線上の検出された全ての非ゼロの画素点に対して、2次多項式フィッティングを用いて、該車線のフィッティング曲線のパラメータを取得することで、該車線の形状を確定する。
図13は、本発明の実施例1におけるスライディングウィンドウによる捜索を示す図である。図13に示すように、左側の一番目の車線と例とし、1つのスライディングウィンドウを用いて下から上へ捜索を行い、非ゼロの画素点を検出する。なお、図13における複数のスライディングウィンドウが実際に表すのは、1つのスライディングウィンドウの移動プロセスである。
本実施例では、捜索ユニット115は、検出された非ゼロの画素点に基づいて、上面視画像中の各車線の形状及び位置を確定し、また、捜索ユニット115が確定した車線に基づいて、さらに、各車線の類型を確定することもできる。
例えば、図2に示すように、検出ユニット110は、さらに、以下のものを含んでも良い。
第二確定ユニット117：上面視画像中で確定された車線に基づいて、各車線中の線分の長さ及び／又は線分間の間隔の長さを確定し；及び
第三確定ユニット118：各車線中の線分の長さ及び／又は線分間の間隔の長さに基づいて、各車線の類型を確定する。
本実施例では、車線の類型は、例えば、実線及び点線を指す。
このようにして、各車線の類型を検出することで、実線と点線を区別することができる。
本実施例では、第二確定ユニット117は、上面視画像中で確定された車線に基づいて、各車線中の線分の長さ及び／又は線分間の間隔の長さを確定する。
例えば、捜索ユニット115は、検出された非ゼロの画素点に基づいて、上面視画像中の各車線を確定した場合、連続した非ゼロの画素点が線分を構成しており、この場合、各線分の長さを確定することができ、また、隣接する線分間の間隔の長さを確定することもできる。
第三確定ユニット118は、各車線中の線分の長さ及び／又は線分間の間隔の長さに基づいて、各車線の類型を確定し、例えば、車線中の線分の長さ及び／又は線分間の間隔の長さが次の条件のうちの少なくとも1つの条件を満たしたときに、該車線を実線と確定し、そうでないときに、該車線を点線と確定し、即ち、車線中の最も長い線分と最も短い線分との比が第一閾値L1よりも大きく、車線中の最も長い線分の長さが第二閾値L2よりも小さく；及び、車線中の全ての線分間の間隔の平均値が第三閾値L3よりも小さい。
本実施例では、第一閾値L1、第二閾値L2及び第三閾値L3の具体的な値は、実際のニーズに応じて設定されても良い。
図14は、本発明の実施例1における1つの車線の類型の確定方法を示す図である。図14に示すように、該方法は、
ステップ1401：1つの車線中の各線分の長さを計算し；
ステップ1402：該車線中の最も長い線分と最も短い線分との比が第一閾値L1よりも大きいかを判断し、判断結果が“はい”のときに、ステップ1407に進入し、判断結果が“いいえ”のときに、ステップ1403に進入し；
ステップ1403：該車線中の最も長い線分の長さが第二閾値L2よりも小さいかを判断し、判断結果が“はい”のときに、ステップ1407に進入し、判断結果が“いいえ”のときに、ステップ1404に進み；
ステップ1404：該車線中の各線分間の間隔の長さを計算し；
ステップ1405：該車線中の全ての線分間の間隔の平均値が第三閾値L3よりも小さいかを判断し、判断結果が“はい”のときに、ステップ1407に進入し、判断結果が“いいえ”のときに、ステップ1406に進入し；
ステップ1406：該車線を点線と確定し；及び
ステップ1407：該車線を実線と確定する。
本実施例では、捜索ユニット115が上面視画像中の各車線の位置及びその類型を確定した後に、車線の位置及び類型に基づいて、対応する車線をマークすることができる。その後、逆変換ユニット116は、車線が確定された上面視画像に対して逆透視変換を行い、逆透視変換の結果に基づいて、入力画像の車線を確定することで、該入力画像の車道検出結果を取得する。
逆変換ユニット116は、従来の方法を用いて、上面視画像に対して逆透視変換を行っても良い。
例えば、以下の公式（3）を用いて、上面視画像に対して逆透視変換を行う。
Figure 2020205041
そのうち、(u，v)は、逆透視変換後の画像中の画素の座標を示し、(x=x'/w'，y=y'/w')は、上面視画像中の画素の座標を示し、w'及びwは、座標変換係数であり、T(-1)は、透視変換行列Tの逆行列である。
上面視画像に対して逆透視変換を行った後に、逆透視変換後の画像を入力画像に重畳（overlap）し、該入力画像の車道検出結果、例えば、車線がマークされている入力画像を得ても良い。
図15は、本発明の実施例1における車道検出結果を示す図である。図15に示すように、入力画像中の各車線について、その類型に従ってマークしている。
本実施例では、車線に対しての検出により、車道に対しての検出を実現することができ、また、隣接する2つの車線によって1つの車道を構成することができる。
以上、検出ユニット110が複数の入力画像のうちの1つの入力画像に対して行う検出プロセスについて説明した。複数の入力画像の場合、それぞれ、上述の検出を行うことで、各入力画像の車道検出結果を取得し、その後、統合ユニット120は、各入力画像の車道検出結果に基づいて、車道の統合検出結果を得ることができる。
例えば、統合ユニット120は、全部（全ての数）の車線が検出された入力画像の車道検出結果を統合することで、車道の統合検出結果を取得する。
例えば、複数の入力画像がそれぞれ入力画像1、入力画像2、……、入力画像8で計8つの入力画像であり、そのうち、入力画像1、3、4、6、7、8から4つの車線が検出され、入力画像2、5から3つの車線が検出されるとする。この場合、入力画像2、5の車道検出結果を除去し、即ち、全部の車線が検出された入力画像の車道検出結果を残す。
本実施例では、統合ユニット120は、全部の車線が検出された各入力画像中の各車線上の非ゼロ画素点に対して重畳加算を行い、重畳加算後の車線、即ち、統合検出結果を得ることができる。
また、各車線の類型を確定した場合、統合ユニット120は、各入力画像中の、同一の車線についてそれぞれ確定された車線類型の比に基づいて、該車線の類型を確定することができる。
例えば、全部の車線が検出された入力画像1、3、4、6、7、8において、一番左側の車線について、入力画像1、3、6、7、8の検出結果が実線であり、入力画像4の検出結果が点線であるので、該車線を実線と検出する比が5/6であり、所定閾値0.5を超えているため、該車線を実線と確定することができる。
上述の実施例から分かるように、まず、語義分割に基づいて前処理を行って2値画像における干渉物体を除去することで、車線検出の正確性を向上させ、各種の道路シーンに適用することができ、また、語義分割の結果に基づいて自動で全ての車道を含む車道領域画像を抽出することで、自動で透視変換を行って車線の捜索及びフィッティングを実行し、多車道の検出を実現することができ、さらに、複数の入力画像の検出結果を統合することで、車線検出の正確性及び完全性をより一層向上させることができる。
本発明の実施例は、さらに、電子機器を提供する。図16は、本発明の実施例2における電子機器を示す図である。図16に示すように、電子機器1600は、車道検出装置1601を含み、該車道検出装置1601の構造及び機能は、実施例1中の記載と同じであるため、ここでは、その詳しい説明を省略する。
図17は、本発明の実施例2における電子機器のシステム構成を示す図である。図17に示すように、電子機器1700は、中央処理装置1701及び記憶器1702を含んでも良く、該記憶器1702は、該中央処理装置1701に接続される。該図は、例示に過ぎず、さらに、該構造に対して他の類型の構造を用いて補充又は代替を行うことで、電気通信機能又は他の機能を実現することもできる。
図17に示すように、該電子機器1700は、さらに、入力ユニット1703、表示器1704、電源1705などを含んでも良い。
1つの実施方式では、実施例1に記載の車道検出装置の機能が該中央処理装置1701に集積されても良い。そのうち、該中央処理装置1701は、次のように構成されても良く、即ち、複数の入力画像に対してそれぞれ検出を行い、各入力画像の車道検出結果を取得し；及び、各入力画像の車道検出結果に基づいて、車道の統合検出結果を取得し、そのうち、複数の入力画像のうちの1つの入力画像に対して検出を行うことは、語義分割に基づいて、入力画像における各類別の物体の領域を確定し；入力画像における各類別の物体の領域に基づいて、入力画像の2値画像における干渉物体を除去し、前処理後の2値画像を取得し；入力画像における各類別の物体の領域に基づいて、前処理後の2値画像から車道領域画像を抽出し；抽出された車道領域画像に対して透視変換を行い、上面視画像を取得し；上面視画像に対して車線の捜索及びフィッティングを行い、上面視画像における車線を確定し；及び、車線が確定された上面視画像に対して逆透視変換を行い、逆透視変換の結果に基づいて入力画像の車線を確定することで、入力画像の車道検出結果を取得することを含む。
例えば、入力画像における各類別の物体の領域に基づいて、前処理後の2値画像から車道領域画像を抽出することは、各類別の物体のうちの車道の所在する領域に基づいて、前処理後の2値画像中の車道の所在する領域の画像を抽出し；及び、車道の所在する領域の画像に対して修正を行い、車道領域画像を得ることを含む。
例えば、上面視画像に対して車線の捜索及びフィッティングを行い、上面視画像における車線を確定することは、上面視画像の累積画素値のヒストグラムを計算し；ヒストグラム中の波形数に基づいて、上面視画像における車線数を確定し；スライディングウィンドウを用いて上面視画像中の各車線に対して捜索を行い、非ゼロ画素を検出し；及び、検出された非ゼロ画素に対してフィッティングを行い、上面視画像における車線を確定することを含む。
例えば、複数の入力画像のうちの1つの入力画像に対して検出を行うことは、さらに、上面視画像中で確定された車線に基づいて、各車線中の線分の長さ及び／又は線分間の間隔の長さを確定し；及び、各車線中の線分の長さ及び／又は線分間の間隔の長さに基づいて、各車線の類型を確定することを含む。
例えば、各車線中の線分の長さ及び／又は線分間の間隔の長さに基づいて、各車線の類型を確定することは、車線中の線分の長さ及び／又は線分間の間隔の長さが次の条件のうちの少なくとも1つの条件を満足するときに、車線を実線と確定し、そうでないときに、車線を点線と確定し、即ち、車線中の最も長い線分と最も短い線分との比が第一閾値よりも大きく；車線中の最も長い線分の長さが第二閾値よりも小さく；及び、車線中の全ての線分間隔の平均値が第三閾値よりも小さい。
例えば、各入力画像の車道検出結果に基づいて、車道の統合検出結果を得ることは、全部の車線が検出された入力画像の車道検出結果を統合して、車道の統合検出結果を得ることを含む。
例えば、各入力画像の車道検出結果に基づいて、車道の統合検出結果を得ることは、各入力画像中の、同一車線についてそれぞれ確定された車線類型の比に基づいて、車線の類型を確定することを含む。
他の実施方式では、実施例1に記載の車道検出装置が該中央処理装置1701と別々で配置されても良く、例えば、該車道検出装置を、該中央処理装置1701に接続されるチップとして構成し、該中央処理装置1701の制御により、該車道検出装置の機能を実現しても良い。
本実施例では、該電子機器1700は、図17中の全ての部品を含む必要がない。
図17に示すように、該中央処理装置1701は、制御器又は操作コントローラと称される場合があり、マイクロプロセッサ又は他の処理器装置及び／又は論理装置を含んでも良く、該中央処理装置1701は、入力を受信して該電子機器1700の各部品の操作を制御することができる。
該記憶器1702は、例えば、バッファ、フレッシュメモリ、ＨＤＤ、移動可能な媒体、揮発性記憶器、不揮発性記憶器又は他の適切な装置のうちの1つ又は複数であっても良い。該中央処理装置1701は、該記憶器1702に記憶されたプログラムを実行することで、情報の記憶、処理などを実現することができる。他の部品の機能は、従来と同様であるから、ここでは、その詳しい説明を省略する。該電子機器1700の各部品は、ハードウェア、ファームウェア、ソフトウェア又はその組み合わせにより実現されても良いが、これらは、全て、本発明の範囲に属する。
上述の実施例から分かるように、まず、語義分割に基づいて前処理を行って2値画像における干渉物体を除去することで、車線検出の正確性を向上させ、各種の道路シーンに適用することができ、そして、語義分割の結果に基づいて自動で全ての車道を含む車道領域画像を抽出することで、自動で透視変換を行って車線の捜索及びフィッティングを実行し、多車道の検出を実現することができ、さらに、複数の入力画像の検出結果を統合することで、車線検出の正確性及び完全性をより一層向上させることができる。
本発明の実施例は、さらに、車道検出方法を提供し、該方法は、実施例1の車道検出装置に対応する。図18は、本発明の実施例3における車道検出方法を示す図である。図18に示すように、該方法は、以下のステップを含む。
ステップ1801：複数の入力画像に対してそれぞれ検出を行い、各入力画像の車道検出結果を取得し；及び
ステップ1802：各入力画像の車道検出結果に基づいて、車道の統合検出結果を得る。
図19は、本発明の実施例3におけるステップ1801で複数の画像のうちの1つの入力画像に対して検出を行う方法を示す図である。図19に示すように、該方法は、以下のステップを含む。
ステップ1901：語義分割に基づいて、入力画像における各類別の物体の領域を確定し；
ステップ1902：入力画像における各類別の物体の領域に基づいて、入力画像の2値画像における干渉物体を除去し、前処理後の2値画像を取得し；
ステップ1903：入力画像における各類別の物体の領域に基づいて、前処理後の2値画像から車道領域画像を抽出し；
ステップ1904：抽出された車道領域画像に対して透視変換を行い、上面視画像を取得し；
ステップ1905：上面視画像に対して車線の捜索及びフィッティングを行い、上面視画像における車線を確定し；及び
ステップ1906：車線が確定された上面視画像に対して逆透視変換を行い、逆透視変換の結果に基づいて入力画像の車線を確定することで、入力画像の車道検出結果を取得する。
本実施例では、上述の各ステップの具体的な実現方法については、実施例1中の記載を参照することができ、ここでは、その詳しい説明を省略する。
上述の実施例から分かるように、まず、語義分割に基づいて前処理を行って2値画像における干渉物体を除去することで、車線検出の正確性を向上させ、各種の道路シーンに適用することができ、そして、語義分割の結果に基づいて自動で全ての車道を含む車道領域画像を抽出することで、自動で透視変換を行って車線の捜索及びフィッティングを実行し、多車道の検出を実現することができ、さらに、複数の入力画像の検出結果を統合することで、車線検出の正確性及び完全性をより一層向上させることができる。
本発明の実施例は、さらに、コンピュータ可読プログラムを提供し、そのうち、車道検出装置又は電子機器中で前記プログラムを実行するときに、前記プログラムは、コンピュータに、前記車道検出装置又は電子機器中で実施例3に記載の車道検出方法を実行させる。
本発明の実施例は、さらに、コンピュータ可読プログラムを記憶した記憶媒体を提供し、そのうち、前記コンピュータ可読プログラムは、コンピュータに、車道検出装置又は電子機器中で実施例3に記載の車道検出方法を実行させる。
また、本発明の実施例で説明した前記方法、装置などは、ハードウェア、処理器により実行されるソフトウェアモジュール、又は両者の組み合わせにより実現することができる。例えば、図1及び図2に示す機能ブロック図における１つ又は複数の機能及び／又は機能ブロック図における１つ又は複数の機能の組み合わせは、コンピュータプログラムにおける各ソフトウェアモジュールに対応しても良く、各ハードウェアモジュールに対応しても良い。また、これらのソフトウェアモジュールは、それぞれ、図18及び図19に示す各ステップに対応することができる。これらのハードウェアモジュールは、例えば、FPGA（field-programmable gate array）を用いてこれらのソフトウェアモジュールを固化して実現することができる。
また、本発明の実施例による装置、方法などは、ソフトウェアにより実現されても良く、ハードェアにより実現されてもよく、ハードェア及びソフトウェアの組み合わせにより実現されても良い。本発明は、このようなコンピュータ可読プログラムにも関し、即ち、前記プログラムは、ロジック部品により実行される時に、前記ロジック部品に、上述の装置又は構成要素を実現させることができ、又は、前記ロジック部品に、上述の方法又はそのステップを実現させることができる。さらに、本発明は、上述のプログラムを記憶した記憶媒体、例えば、ハードディスク、磁気ディスク、光ディスク、ＤＶＤ、フレッシュメモリなどにも関する。
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。

Claims (10)

  1. 車道検出装置であって、
    複数の入力画像に対してそれぞれ検出を行い、各入力画像の車道検出結果を取得する検出ユニット；及び
    各入力画像の車道検出結果に基づいて、車道の統合検出結果を得る統合ユニットを含み、
    前記検出ユニットは、
    語義分割に基づいて前記入力画像における各類別の物体の領域を確定する分割ユニット；
    前記入力画像における各類別の物体の領域に基づいて、前記入力画像の2値画像における干渉物体を除去し、前処理後の2値画像を取得する前処理ユニット；
    前記入力画像における各類別の物体の領域に基づいて、前処理後の2値画像から車道領域画像を抽出する抽出ユニット；
    抽出された前記車道領域画像に対して透視変換を行い、上面視画像を取得する変換ユニット；
    上面視画像に対して車線の捜索及びフィッティングを行い、前記上面視画像における車線を確定する捜索ユニット；及び
    車線が確定された上面視画像に対して逆透視変換を行い、逆透視変換の結果に基づいて前記入力画像の車線を確定することで、前記入力画像の車道検出結果を得る逆変換ユニットを含む、装置。
  2. 請求項1に記載の装置であって、
    前記前処理ユニットは、
    前記入力画像の2値画像を得る2値化ユニット；及び
    各物体のうちの干渉物体の所在する領域に基づいて、前記2値画像から前記干渉物体を除去し、前処理後の2値画像を取得する除去ユニットを含む、装置。
  3. 請求項1に記載の装置であって、
    前記抽出ユニットは、
    各類別の物体のうちの車道の所在する領域に基づいて、前処理後の2値画像中の車道の所在する領域の画像を取得する第一抽出ユニット；及び
    前記車道の所在する領域の画像に対して修正を行い、前記車道領域画像を得る修正ユニットを含む、装置。
  4. 請求項1に記載の装置であって、
    前記捜索ユニットは、
    前記上面視画像の累積画素値のヒストグラムを計算する計算ユニット；
    前記ヒストグラム中の波形数に基づいて、前記上面視画像における車線数を確定する第一確定ユニット；
    スライディングウィンドウを用いて、前記上面視画像中の各車線に対して捜索を行い、非ゼロ画素を検出する第一捜索ユニット；及び
    検出された非ゼロ画素に対してフィッティングを行い、前記上面視画像における車線を確定するフィッティングユニットを含む、装置。
  5. 請求項1に記載の装置であって、
    前記検出ユニットは、さらに、
    前記上面視画像中で確定された車線に基づいて、各車線中の線分の長さ及び／又は線分間の間隔の長さを確定する第二確定ユニット；及び
    各車線中の線分の長さ及び／又は線分間の間隔の長さに基づいて、各車線の類型を確定する第三確定ユニットを含む、装置。
  6. 請求項5に記載の装置であって、
    前記第三確定ユニットは、車線中の線分の長さ及び／又は線分間の間隔の長さが以下の条件のうちの少なくとも1つの条件を満足する場合、前記車線を実線と確定し、そうでない場合、前記車線を点線と確定し、
    即ち、
    前記車線中の最も長い線分と最も短い線分との比が第一閾値よりも大きく；
    前記車線中の最も長い線分の長さが第二閾値よりも小さく；及び
    前記車線中の全ての線分間の間隔の平均値が第三閾値よりも小さい
    という条件である、装置。
  7. 請求項1に記載の装置であって、
    前記統合ユニットは、全部の車線が検出された入力画像の車道検出結果を統合して車道の統合検出結果を取得する、装置。
  8. 請求項5に記載の装置であって、
    前記統合ユニットは、各入力画像中の、同一の車線についてそれぞれ確定された車線類型の比に基づいて、前記車線の類型を確定する、装置。
  9. 請求項1-8のうちの任意の1項に記載の車道検出装置を含む電子機器。
  10. 車道検出方法であって、
    複数の入力画像に対してそれぞれ検出を行い、各入力画像の車道検出結果を取得し；及び
    各入力画像の車道検出結果に基づいて、車道の統合検出結果を得ることを含み、
    前記複数の入力画像のうちの1つの入力画像に対して検出を行うことは、
    語義分割に基づいて前記入力画像における各類別の物体の領域を確定し；
    前記入力画像における各類別の物体の領域に基づいて、前記入力画像の2値画像における干渉物体を除去し、前処理後の2値画像を取得し；
    前記入力画像における各類別の物体の領域に基づいて、前処理後の2値画像から車道領域画像を抽出し；
    抽出された前記車道領域画像に対して透視変換を行い、上面視画像を取得し；
    上面視画像に対して車線の捜索及びフィッティングを行い、前記上面視画像における車線を確定し；及び
    車線が確定された上面視画像に対して逆透視変換を行い、逆透視変換の結果に基づいて前記入力画像の車線を確定することで、前記入力画像の車道検出結果を得ることを含む、方法。
JP2020092983A 2019-06-14 2020-05-28 車道検出装置及び方法、電子機器 Pending JP2020205041A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910513841.5 2019-06-14
CN201910513841.5A CN112084822A (zh) 2019-06-14 2019-06-14 车道检测装置及方法、电子设备

Publications (1)

Publication Number Publication Date
JP2020205041A true JP2020205041A (ja) 2020-12-24

Family

ID=73733771

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020092983A Pending JP2020205041A (ja) 2019-06-14 2020-05-28 車道検出装置及び方法、電子機器

Country Status (3)

Country Link
US (1) US11126867B2 (ja)
JP (1) JP2020205041A (ja)
CN (1) CN112084822A (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112927283B (zh) * 2021-01-29 2023-05-05 成都安智杰科技有限公司 测距方法及装置、存储介质及电子设备
CN112949398B (zh) * 2021-01-29 2023-05-05 成都安智杰科技有限公司 车道线检测方法、测距方法及对应装置
CN113449629B (zh) * 2021-06-25 2022-10-28 重庆卡佐科技有限公司 基于行车视频的车道线虚实识别装置、方法、设备及介质
US20230213945A1 (en) * 2021-12-30 2023-07-06 Nvidia Corporation Obstacle to path assignment for autonomous systems and applications
CN116486354B (zh) * 2022-07-13 2024-04-16 阿波罗智能技术(北京)有限公司 车道线处理方法、装置、设备以及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101621370B1 (ko) * 2014-08-13 2016-05-17 고려대학교 산학협력단 도로에서의 차선 검출 방법 및 장치
KR102421855B1 (ko) * 2017-09-28 2022-07-18 삼성전자주식회사 주행 차로를 식별하는 방법 및 장치
TWI641516B (zh) * 2018-03-06 2018-11-21 國立交通大學 車道線偵測方法
CN108921089A (zh) * 2018-06-29 2018-11-30 驭势科技（北京）有限公司 车道线检测方法、装置和系统及存储介质
CN109002795B (zh) * 2018-07-13 2021-08-27 清华大学 车道线检测方法、装置及电子设备
WO2020047302A1 (en) * 2018-08-29 2020-03-05 Buffalo Automation Group Inc. Lane and object detection systems and methods
CN109711341B (zh) * 2018-12-27 2021-03-09 宽凳（北京）科技有限公司 一种虚拟车道线识别方法及装置、设备、介质

Also Published As

Publication number Publication date
US20200394422A1 (en) 2020-12-17
CN112084822A (zh) 2020-12-15
US11126867B2 (en) 2021-09-21

Similar Documents

Publication Publication Date Title
JP2020205041A (ja) 車道検出装置及び方法、電子機器
US20200026930A1 (en) Lane line detection method and apparatus
US8902053B2 (en) Method and system for lane departure warning
Kuo et al. Vision-based vehicle detection for a driver assistance system
JP5867596B2 (ja) 立体物検出装置及び立体物検出方法
US7646311B2 (en) Image processing for a traffic control system
US8155381B2 (en) Vehicle headlight detecting method and apparatus, and region-of-interest segmenting method and apparatus
KR101279712B1 (ko) 실시간 차선 검출 장치 및 방법과 이에 관한 기록매체
JP6226368B2 (ja) 車両監視装置、および車両監視方法
US9747507B2 (en) Ground plane detection
CN105303157A (zh) 延伸用于avm停止线检测的检测范围的算法
US20200134326A1 (en) Advanced driver assistance system and method
KR101178508B1 (ko) 차량 충돌 경보 시스템 및 방법
Devane et al. Lane detection techniques using image processing
JP2020095623A (ja) 画像処理装置および画像処理方法
JP5189556B2 (ja) 車線検出装置
JP2020095628A (ja) 画像処理装置および画像処理方法
JP2020095619A (ja) 画像処理装置および画像処理方法
Yinka et al. Performance of drivable path detection system of autonomous robots in rain and snow scenario
Gu et al. Robust road lane detection using extremal-region enhancement
US11250290B2 (en) Image processing device and image processing method
US11145041B2 (en) Image processing device and method predicting areas in which to search for parking space delimiting lines
JP7359541B2 (ja) 画像処理装置および画像処理方法
JP2022008108A (ja) 道路領域確定装置及び方法、電子機器
JP7142131B1 (ja) 車線検出装置、車線検出方法および車線検出プログラム