JP2012248168A - Lane mark recognition device - Google Patents
Lane mark recognition device Download PDFInfo
- Publication number
- JP2012248168A JP2012248168A JP2011121929A JP2011121929A JP2012248168A JP 2012248168 A JP2012248168 A JP 2012248168A JP 2011121929 A JP2011121929 A JP 2011121929A JP 2011121929 A JP2011121929 A JP 2011121929A JP 2012248168 A JP2012248168 A JP 2012248168A
- Authority
- JP
- Japan
- Prior art keywords
- lane mark
- candidate image
- image
- unit
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、車両に搭載されたカメラの撮像画像に基づいて、道路に設けられたレーンマークを認識するレーンマーク認識装置に関する。 The present invention relates to a lane mark recognition device for recognizing a lane mark provided on a road based on a captured image of a camera mounted on a vehicle.
従来より、車載カメラにより撮像された車両前方の道路の画像から、道路に設けられた走行車線区分用の白線等のレーンマークを認識するレーンマーク認識装置が知られている（例えば、特許文献１参照）。 2. Description of the Related Art Conventionally, a lane mark recognition device that recognizes a lane mark such as a white line for traveling lane classification provided on a road from an image of a road ahead of the vehicle captured by an in-vehicle camera is known (for example, Patent Document 1). reference).
特許文献１に記載されたレーンマーク認識装置においては、カラーカメラにより撮像された画像から、レーンマークの色（白、黄）の画素を抽出することによって、異なる色のレーンマーク（白線、黄線）を精度良く検出できるようにしている。 In the lane mark recognition device described in Patent Document 1, lane marks (white line, yellow line) of different colors are extracted by extracting pixels of the lane mark color (white, yellow) from an image captured by a color camera. ) Can be detected with high accuracy.
雨天での夜間走行時等においては、先行車のテールライト、対向車のヘッドライト、信号機ライト等の照明光が路面に直線状に移り込む場合がある。そして、このような路面への映り込みを、レーンマークであると誤認識すると、レーンマークの検出精度が低下してしまう。 When traveling in the rain at night, illumination light such as a taillight of a preceding vehicle, a headlight of an oncoming vehicle, or a traffic light may move linearly onto the road surface. If such reflection on the road surface is erroneously recognized as a lane mark, the detection accuracy of the lane mark is lowered.
本発明はかかる背景を鑑みてなされたものであり、路面への映り込みの影響により、レーンマークの検出精度が低下することを抑制したレーンマーク認識装置を提供することを目的とする。 The present invention has been made in view of such a background, and an object of the present invention is to provide a lane mark recognition apparatus that suppresses a decrease in lane mark detection accuracy due to the influence of reflection on a road surface.
本発明は上記目的を達成するためになされたものであり、車両に搭載されたカメラにより撮像された該車両周囲の画像に基づいて、道路に設けられたレーンマークを認識するレーンマーク認識装置の改良に関する。 The present invention has been made to achieve the above object, and is a lane mark recognition device that recognizes lane marks provided on a road based on an image around the vehicle captured by a camera mounted on the vehicle. Regarding improvements.
そして、前記カメラの撮像画像から、線状のレーンマークの候補画像を抽出するレーンマーク候補画像抽出部と、前記レーンマーク候補画像抽出部により抽出されたレーンマークの候補画像のうち、前記車両の上下方向に相当する第１方向に、所定範囲内の間隔をもって延びる複数の特定の候補画像を、レーンマークの認識対象から除外する特定候補画像除外部と、前記特定候補画像除外部によりレーンマークの認識対象から除外されなかったレーンマークの候補画像に基づいて、レーンマークを認識するレーンマーク認識部とを備えたことを特徴とする（第１発明）。 A lane mark candidate image extracting unit that extracts a linear lane mark candidate image from the captured image of the camera; and the lane mark candidate image extracted by the lane mark candidate image extracting unit; A specific candidate image excluding unit that excludes a plurality of specific candidate images extending from the recognition target of the lane mark in a first direction corresponding to the vertical direction, and a lane mark by the specific candidate image excluding unit. A lane mark recognition unit for recognizing a lane mark based on a candidate image of a lane mark that has not been excluded from recognition targets (first invention).
第１発明において、前記車両の対向車のヘッドライトや前走車のテールライトの照明光の路面への映り込みは、前記車両の上下方向に延びる２本の平行な直線状となる。そのため、前記カメラの撮像画像おいては、これらの映り込みの画像部分は、前記車両の上下方向に相当する前記第１方向に延びる複数の直線状の画像部分となる。 In the first aspect of the invention, the reflected light of the headlight of the oncoming vehicle and the taillight of the preceding vehicle on the road surface is two parallel straight lines extending in the vertical direction of the vehicle. Therefore, in the captured image of the camera, these reflected image portions are a plurality of linear image portions extending in the first direction corresponding to the vertical direction of the vehicle.
そこで、前記特定候補画像除外部は、前記レーンマーク候補画像抽出部により抽出されたレーンマークの候補画像のうち、前記第１方向に所定範囲内の間隔をもって延びる複数の特定の候補画像を、レーンマークの認識対象から除外する。そして、前記レーンマーク認識部は、前記特定候補画像除外部によりレーンマークの認識対象から除外されなかった候補画像に基づいて、レーンマークを認識する。これにより、他車両のライトの照明光の路面への映り込みが直線状のレーンマークと誤認識されることを防止して、レーンマークの検出精度が低下することを抑制することができる。 Therefore, the specific candidate image excluding unit extracts a plurality of specific candidate images extending in the first direction at intervals within a predetermined range from the lane mark candidate images extracted by the lane mark candidate image extracting unit. Exclude from mark recognition. The lane mark recognition unit recognizes a lane mark based on the candidate image that has not been excluded from the lane mark recognition target by the specific candidate image exclusion unit. Accordingly, it is possible to prevent the reflection of the illumination light of the light of the other vehicle from being mistakenly recognized as a linear lane mark, and to prevent the detection accuracy of the lane mark from being lowered.
また、第１発明において、前記カメラはカラーカメラであり、前記特定候補画像除外部は、前記レーンマーク候補画像抽出部により抽出されたレーンマークの候補画像のうち、色がレーンマークと異なる特定の候補画像をレーンマークの認識対象から除外することを特徴とする（第２発明）。 In the first invention, the camera is a color camera, and the specific candidate image excluding unit is a specific image having a color different from the lane mark among the candidate images of the lane mark extracted by the lane mark candidate image extracting unit. Candidate images are excluded from lane mark recognition targets (second invention).
第２発明によれば、信号機の赤又は緑色のライトの照明光等が路面に映り込んだときに、前記カラーカメラの撮像画像におけるこの映り込みの画像部分が、レーンマークの認識対象とされることが回避される。そのため、信号機の赤又は緑色のライトの照明光等の路面への映り込みが、直線状のレーンマークと誤認識されることを防止して、レーンマークの検出精度が低下することを抑制することができる。 According to the second invention, when the illumination light or the like of the red or green light of the traffic light is reflected on the road surface, the image portion of the reflected image in the captured image of the color camera is set as a lane mark recognition target. It is avoided. Therefore, it is possible to prevent the reflection of the illumination light of the red or green light of the traffic light from being mistakenly recognized as a straight lane mark, and to suppress the deterioration of the detection accuracy of the lane mark. Can do.
また、前記第１発明又は第２発明において、前記車両の走行速度を検知する車速検知部を備え、前記特定候補画像除外部は、前記カメラによる時系列の撮像画像から、前記第１方向に延びるレーンマークの候補画像の位置変化量を算出し、該位置変化量が、静止物を想定して前記車両の走行速度に基づいて設定された変化量判定範囲から外れた特定の候補画像を、レーンマークの認識対象から除外することを特徴とする（第３発明）。 In the first invention or the second invention, a vehicle speed detection unit that detects a traveling speed of the vehicle is provided, and the specific candidate image exclusion unit extends in a first direction from a time-series captured image by the camera. A position change amount of a candidate image of a lane mark is calculated, and a specific candidate image whose position change amount is out of a change amount determination range set based on the traveling speed of the vehicle assuming a stationary object It is excluded from the recognition target of the mark (third invention).
第３発明において、前記車両の対向車や前走車は移動しているため、対向車や前走車のライトの映り込みの画像部分の位置の変化量は、静止物であるレーンマークの画像部分の位置の変化量と相違する。そこで、前記特定候補画像除外部は、前記第１方向に延びるレーンマークの候補画像の位置の変化量が、静止物を想定して前記車両の走行速度に基づいて設定された前記変化量判定範囲から外れた特定の候補画像を、レーンマークの認識対象から除外する。これにより、二輪車の単灯のヘッドライトやテールライトの照明光の道路への移り込みがレーンマークと誤認識されることを防止して、レーンマークの検出精度が低下することを抑制することができる。 In the third invention, since the oncoming vehicle and the preceding vehicle of the vehicle are moving, the amount of change in the position of the image portion of the reflected light of the oncoming vehicle and the preceding vehicle is the image of the lane mark that is a stationary object. It differs from the amount of change in the position of the part. Therefore, the specific candidate image exclusion unit includes the change amount determination range in which the change amount of the position of the candidate image of the lane mark extending in the first direction is set based on the traveling speed of the vehicle assuming a stationary object. A specific candidate image that is out of the range is excluded from lane mark recognition targets. As a result, it is possible to prevent the lane mark detection accuracy from being mistakenly recognized as a lane mark by preventing the movement of the illumination light of a single headlight or taillight of a motorcycle from being a lane mark. it can.
また、前記第１発明から第３発明のいずれかにおいて、雨天を検知する雨天検知部を備え、前記特定候補画像除外部は、前記雨天検知部により雨天であることが検知されているときに限定して、前記特定の候補画像をレーンマークの認識対象から除外する処理を行うことを特徴とする（第４発明）。 Further, in any one of the first to third inventions, it is provided with a rain detection unit that detects rain, and the specific candidate image exclusion unit is limited to the case where the rain detection unit detects that it is rainy. Then, a process of excluding the specific candidate image from the recognition target of the lane mark is performed (fourth invention).
第４発明によれば、道路への移り込みが発生する可能性が高い雨天時に限定して、前記特定候補画像除外部による前記特定のレーンマークの候補画像をレーンマークの認識対象から除外する処理を行うことにより、晴天時或いは曇天時におけるレーンマーク認識に要する計算負荷を低減することができる。 According to the fourth invention, the process of excluding the candidate image of the specific lane mark from the recognition target of the lane mark by the specific candidate image excluding unit only in rainy weather when the possibility of moving to the road is high By performing the above, it is possible to reduce the calculation load required for lane mark recognition in fine weather or cloudy weather.
本発明のレーンマーク認識装置の実施形態について、図１〜図４を参照して説明する。 An embodiment of a lane mark recognition apparatus of the present invention will be described with reference to FIGS.
図１を参照して、レーンマーク認識装置１０は、カラーカメラ１１、雨滴センサ１２、及び速度センサ１３が備えられた車両１に搭載されている。 Referring to FIG. 1, a lane mark recognition device 10 is mounted on a vehicle 1 provided with a color camera 11, a raindrop sensor 12, and a speed sensor 13.
レーンマーク認識装置１０は、カラーカメラ１１からアナログ値で出力される画像データの各画素の輝度レベルをデジタル値に変換し、各画素の輝度のデジタルデータを、水平方向（ｘ軸）及び垂直方向（ｙ軸）の２次元座標（ｘ−ｙ座標）にマッピングして、画像メモリ２１に保持させる画像取得部２０と、画像メモリ２１に保持されたデジタルの画像データ（以下、原画像データという）に基づいて、道路に設けられた線状のレーンマーク（白線、黄線等）を認識する演算部３０とを備えている。 The lane mark recognition device 10 converts the luminance level of each pixel of the image data output as an analog value from the color camera 11 into a digital value, and converts the digital data of the luminance of each pixel into the horizontal direction (x-axis) and the vertical direction. An image acquisition unit 20 that is mapped to two-dimensional coordinates (xy coordinates) of (y-axis) and held in the image memory 21, and digital image data (hereinafter referred to as original image data) held in the image memory 21 And a calculation unit 30 for recognizing linear lane marks (white line, yellow line, etc.) provided on the road.
演算部３０は、ＣＰＵ、メモリ等により構成された電子ユニットであり、メモリに保持されたレーンマーク認識用のプログラムをＣＰＵで実行することにより、演算部３０は、原画像データからレーンマークの候補画像（レーンマークの画像部分である可能性のある画像部分）を抽出するレーンマーク候補画像抽出部３１、レーンマークの候補画像のうち、後述する特定条件を満たすもの（特定候補画像）を除外する特定候補画像除外部３２、特定候補画像として除外されなかった候補画像に基づいて、道路のレーンマークを認識するレーンマーク認識部３３、速度センサ１３から入力される速度検出信号から車両１の走行速度を検知する車速検知部３４、及び雨滴センサ１２から入力される雨滴検出信号から雨天を検知する雨天検知部３５として機能する。 The calculation unit 30 is an electronic unit composed of a CPU, a memory, and the like. By executing a lane mark recognition program held in the memory by the CPU, the calculation unit 30 can select lane mark candidates from the original image data. A lane mark candidate image extraction unit 31 that extracts an image (an image part that may be an image part of a lane mark), and excludes a lane mark candidate image that satisfies a specific condition described later (specific candidate image). The specific candidate image excluding unit 32, the lane mark recognizing unit 33 for recognizing the lane mark of the road based on the candidate image not excluded as the specific candidate image, and the traveling speed of the vehicle 1 from the speed detection signal input from the speed sensor 13 A vehicle speed detector 34 for detecting rain and a rainy weather detector 35 for detecting rain from a raindrop detection signal input from the raindrop sensor 12. Functions in.
以下、図２に示したフローチャートに従って、レーンマーク認識装置１０によるレーンマークの認識処理について説明する。レーンマーク認識装置１０は、所定の制御サイクル毎に図２に示したフローチャートによる処理を繰り返し実行して、道路に設けられた線状のレーンマーク（白線、黄線等）を認識する。 Hereinafter, the lane mark recognition process by the lane mark recognition apparatus 10 will be described with reference to the flowchart shown in FIG. The lane mark recognizing device 10 repeatedly executes the processing according to the flowchart shown in FIG. 2 for each predetermined control cycle to recognize linear lane marks (white line, yellow line, etc.) provided on the road.
図２のＳＴＥＰ１及びＳＴＥＰ２は画像取得部２０による処理である。画像取得部２０は、ＳＴＥＰ１で、カラーカメラ１１から出力される道路の映像信号を入力し、ＳＴＥＰ２で、この映像信号のカラー成分（Ｒ値，Ｇ値，Ｂ値）をデモザイキングして、各画素のデータとしてＲ値，Ｇ値，Ｂ値を有するカラー画像を取得する。そして、このカラー画像のデータを、原画像データとして画像メモリ２１に保持する。 STEP 1 and STEP 2 in FIG. 2 are processes by the image acquisition unit 20. In STEP 1, the image acquisition unit 20 inputs a road video signal output from the color camera 11. In STEP 2, the image acquisition unit 20 performs demosaicing on the color components (R value, G value, B value) of each video signal. A color image having R value, G value, and B value as pixel data is acquired. The color image data is stored in the image memory 21 as original image data.
続くＳＴＥＰ３〜ＳＴＥＰ４はレーンマーク候補画像抽出部３１による処理である。レーンマーク候補画像抽出部３１は、ＳＴＥＰ３で、原画像データの各画素のカラー成分を輝度に変換する処理を行って、多値画像（グレースケール画像）を生成する。そして、レーンマーク候補画像抽出部３１は、多値画像からエッジ点（輝度が暗から明に急激に変化する正のエッジ点、及び輝度が明から暗に急激に変化する負のエッジ点）を抽出する。 Subsequent STEP 3 to STEP 4 are processes by the lane mark candidate image extraction unit 31. In STEP 3, the lane mark candidate image extraction unit 31 performs a process of converting the color component of each pixel of the original image data into luminance to generate a multi-value image (grayscale image). Then, the lane mark candidate image extraction unit 31 obtains edge points from the multi-valued image (positive edge points at which the luminance changes rapidly from dark to bright, and negative edge points at which the luminance changes rapidly from light to dark). Extract.
次のＳＴＥＰ４で、レーンマーク候補画像抽出部３１は、抽出したエッジ点のそれぞれに対してハフ変換等の直線抽出処理を行って、レーンマークの候補画像となる直線群を抽出する。このレーンマークの候補画像の抽出は、例えば特開平１１−２１９４３５号公報に記載された従来の手法によるので、ここでは詳細な説明を省略する。 In the next STEP 4, the lane mark candidate image extraction unit 31 performs straight line extraction processing such as Hough transform on each of the extracted edge points, and extracts a straight line group that becomes a lane mark candidate image. The extraction of the lane mark candidate images is performed by a conventional method described in, for example, Japanese Patent Application Laid-Open No. 11-219435, and thus detailed description thereof is omitted here.
続くＳＴＥＰ５〜ＳＴＥＰ９、及びＳＴＥＰ２０，ＳＴＥＰ３０，ＳＴＥＰ４０は、特定候補画像除外部３２による処理である。ＳＴＥＰ５で、特定候補画像除外部３２は、雨天検知部３５により雨天が検知されているか否かを判断する。そして、雨天が検知されているときＳＴＥＰ６に進み、雨天が検知されていないときにはＳＴＥＰ１０に分岐して処理を終了する。 Subsequent STEP 5 to STEP 9 and STEP 20, STEP 30, and STEP 40 are processes performed by the specific candidate image excluding unit 32. In STEP 5, the specific candidate image exclusion unit 32 determines whether or not rain is detected by the rain detection unit 35. Then, when rainy weather is detected, the process proceeds to STEP6, and when rainy weather is not detected, the process branches to STEP10 and the process is terminated.
ＳＴＥＰ６で、特定候補画像除外部３２は、カラーカメラ１１により撮像された時系列画像間で、レーンマークの候補画像の同一性判定処理を行って、各候補画像の水平及び垂直方向の位置の変化量を算出する。 In STEP 6, the specific candidate image excluding unit 32 performs the identity determination process of the candidate images of the lane marks between the time series images captured by the color camera 11, and changes in the horizontal and vertical positions of the candidate images. Calculate the amount.
次のＳＴＥＰ７で、特定候補画像除外部３２は、垂直方向（ｙ軸方向）に所定範囲内の間隔をもって延びる複数の候補画像（以下、第１特定候補画像という）が存在するか否かを判断する。なお、この所定範囲は、撮像画像における候補画像の位置に応じた車両の画像部分の幅を想定して設定される。 In the next STEP 7, the specific candidate image excluding unit 32 determines whether there are a plurality of candidate images (hereinafter referred to as first specific candidate images) extending in the vertical direction (y-axis direction) with an interval within a predetermined range. To do. The predetermined range is set assuming the width of the image portion of the vehicle according to the position of the candidate image in the captured image.
そして、第１特定候補画像が存在するときはＳＴＥＰ２０に分岐し、特定候補画像除外部３２は、第１特定候補画像をレーンマークの認識対象から除外してＳＴＥＰ８に進む。一方、第１特定候補画像が存在しないときにはＳＴＥＰ８に進む。 If the first specific candidate image exists, the process branches to STEP 20, and the specific candidate image excluding unit 32 excludes the first specific candidate image from the recognition target of the lane mark and proceeds to STEP 8. On the other hand, when the first specific candidate image does not exist, the process proceeds to STEP8.
ここで、図３（ａ）及び図３（ｂ）を参照して、第１特定候補画像をレーンマークの認識対象から除外することによる効果について説明する。図３（ａ）は、カラーカメラ１１のｔ1時点（時刻ｔ＝ｔ1）での撮像画像から得られた多値画像であり、雨で濡れた路面に、対向車４０のヘッドライトの照明光が垂直方向（ｙ軸方向）に延びて映り込んでいる。 Here, with reference to FIG. 3A and FIG. 3B, an effect obtained by excluding the first specific candidate image from the recognition target of the lane mark will be described. FIG. 3A is a multi-valued image obtained from the captured image at the time t1 (time t = t1) of the color camera 11, and the illumination light of the headlight of the oncoming vehicle 40 is on the road surface wet with rain. Reflected in the vertical direction (y-axis direction).
図３（ｂ）は、図３（ａ）の多値画像から抽出されたエッジ点を白で表した２値画像であり、ヘッドライトの映り込みの画像部分が、垂直方向（ｙ軸方向）に延びるレーンマークの候補画像Ｖ1(t1)，Ｖ2(t1)として抽出されている。 FIG. 3B is a binary image in which edge points extracted from the multi-valued image of FIG. 3A are represented in white, and the image portion of the headlight reflection is in the vertical direction (y-axis direction). Are extracted as lane mark candidate images V1 (t1) and V2 (t1).
そして、垂直方向に延びた近接する候補画像Ｖ1(t1)とＶ2(t1)を、第１特定候補画像として、レーンマークの認識対象から除外することによって、図３（ａ）に示したような雨天状況下で、レーンマーク認識部３３により、対向車のヘッドライトの照明光の映り込みの画像部分に基づいて、レーンマークの位置が誤って認識されることを防止することができる。 Then, the adjacent candidate images V1 (t1) and V2 (t1) extending in the vertical direction are excluded from the lane mark recognition targets as the first specific candidate images, as shown in FIG. Under rainy conditions, the lane mark recognition unit 33 can prevent the position of the lane mark from being erroneously recognized based on the image portion of the reflected illumination light of the headlight of the oncoming vehicle.
次のＳＴＥＰ８で、特定候補画像除外部３２は、ＳＴＥＰ４で抽出したレーンマークの候補画像のうち、赤又は緑色（レーンマークと異なる色）の候補画像（以下、第２特定候補画像という）があるか否かを判断する。そして、第２特定候補画像があるときはＳＴＥＰ３０に分岐し、特定候補画像除外部３２は、第２特定候補画像をレーンマークの認識対象から除外してＳＴＥＰ９に進む。一方、第２特定候補画像がないときにはＳＴＥＰ９に進む。 In the next STEP 8, the specific candidate image excluding unit 32 has a candidate image (hereinafter referred to as a second specific candidate image) of red or green (a color different from the lane mark) among the lane mark candidate images extracted in STEP 4. Determine whether or not. If there is the second specific candidate image, the process branches to STEP 30, and the specific candidate image excluding unit 32 excludes the second specific candidate image from the recognition target of the lane mark and proceeds to STEP 9. On the other hand, when there is no second specific candidate image, the process proceeds to STEP9.
ここで、赤又は緑色の候補画像（第２特定候補画像）は、信号機ライトの照明光の路面への映り込みの画像部分であると想定される。そこで、第２特定候補画像をレーンマークの認識対象から除外することによって、レーンマーク認識部３３により、信号機ライトの路面の映り込みの画像部分に基づいて、レーンマークの位置が誤って認識されることを防止することができる。 Here, the red or green candidate image (second specific candidate image) is assumed to be an image portion of the illumination light of the traffic light reflected on the road surface. Therefore, by excluding the second specific candidate image from the recognition target of the lane mark, the lane mark recognition unit 33 erroneously recognizes the position of the lane mark based on the image portion of the traffic light reflected on the road surface. This can be prevented.
ＳＴＥＰ９で、特定候補画像除外部３２は、カラーカメラ１１により撮像された時系列の撮像画像から、上下方向（ｙ軸方向）に延びる候補画像の変化量が、速度センサ１３による速度検出信号から車速検知部３４により検知された車両１の走行速度に基づいて設定された変化量判定範囲から外れたレーンマークの候補画像（以下、第３特定候補画像という）があるか否かを判断する。 In STEP 9, the specific candidate image excluding unit 32 detects the amount of change in the candidate image extending in the vertical direction (y-axis direction) from the time-series captured image captured by the color camera 11 from the speed detection signal from the speed sensor 13. It is determined whether or not there is a lane mark candidate image (hereinafter referred to as a third specific candidate image) that is outside the change amount determination range set based on the traveling speed of the vehicle 1 detected by the detection unit 34.
そして、第３特定候補画像があるときはＳＴＥＰ４０に分岐し、特定候補画像除外部３２は、第３特定候補画像をレーンマークの認識対象から除外してＳＴＥＰ１０に進む。一方、第３特定候補画像が存在しないときにはＳＴＥＰ１０に進む。 If there is a third specific candidate image, the process branches to STEP 40, and the specific candidate image excluding unit 32 excludes the third specific candidate image from the recognition target of the lane mark and proceeds to STEP 10. On the other hand, when there is no third specific candidate image, the process proceeds to STEP10.
ここで、図４（ａ）及び図４（ｂ）を参照して、第３特定候補画像をレーンマークの認識対象から除外することによる効果について説明する。図４（ａ）は、図３（ａ）のｔ1の次の制御サイクルでの撮像時点であるｔ2（ｔ＝ｔ2）での、カラーカメラ１１の撮像画像から得られた多値画像であり、対向車４０が車両１に接近している。 Here, with reference to FIG. 4A and FIG. 4B, an effect obtained by excluding the third specific candidate image from the recognition target of the lane mark will be described. FIG. 4A is a multi-valued image obtained from the image captured by the color camera 11 at t2 (t = t2), which is the image capturing time point in the next control cycle of t1 in FIG. The oncoming vehicle 40 is approaching the vehicle 1.
図４（ｂ）は図４（ａ）の多値画像から抽出されたエッジ点を白で表した２値画像であり、対向車４０のヘッドライトの照明光の映り込みの画像部分が、垂直方向（ｙ軸方向）に延びるレーンマークの候補画像Ｖ1(t2)，Ｖ2(t2)として抽出されている。 FIG. 4B is a binary image in which the edge points extracted from the multi-valued image of FIG. 4A are represented in white, and the image portion of the reflected light of the headlight of the oncoming vehicle 40 is vertical. Extracted as lane mark candidate images V1 (t2) and V2 (t2) extending in the direction (y-axis direction).
そして、図３（ｂ）と図４（ｂ）間（ｔ1〜ｔ2間）における候補画像Ｖ1の位置変化量は、ｘ軸方向がΔｘ1＝ｘ1(t1)−ｘ1(t2)、ｙ軸方向がΔｙ1＝ｙ1(t1)−ｙ1(t2)となっている。同様に、候補画像Ｖ2の位置変化量は、ｘ軸方向がΔｘ2＝ｘ2(t1)−ｘ2(t2)、ｙ軸方向がΔｙ2＝ｙ2(t1)−ｙ2(t2)となっている。 The positional change amount of the candidate image V1 between FIG. 3B and FIG. 4B (between t1 and t2) is Δx1 = x1 (t1) −x1 (t2) in the x-axis direction and in the y-axis direction. Δy1 = y1 (t1) −y1 (t2). Similarly, the positional change amount of the candidate image V2 is Δx2 = x2 (t1) −x2 (t2) in the x-axis direction and Δy2 = y2 (t1) −y2 (t2) in the y-axis direction.
ここで、真のレーンマークは静止物であるので、その画像部分のｔ1〜ｔ2間での位置変化量は、車両１の走行速度に応じた一定値となる。それに対して、対向車や前走車は移動しているので、そのライト類等の道路への映り込みの画像部分のｔ1〜ｔ2間での変化量は、前記一定値を中心として設定された前記変化量判定範囲から外れたものとなる。 Here, since the true lane mark is a stationary object, the position change amount between t1 and t2 of the image portion becomes a constant value according to the traveling speed of the vehicle 1. On the other hand, since the oncoming vehicle and the preceding vehicle are moving, the amount of change between t1 and t2 of the image portion of the light reflected on the road is set around the constant value. This is out of the change amount determination range.
そこで、第３特定候補画像をレーンマークの認識対象から除外することによって、二輪車等の単灯のヘッドライトやテールライトの道路への映り込みの画像部分を、レーンマークの画像部分と誤認識して、レーンマークの位置を誤って認識することを防止することができる。 Therefore, by excluding the third specific candidate image from the recognition target of the lane mark, the image portion of the single headlight or taillight reflected on the road such as a motorcycle is erroneously recognized as the lane mark image portion. Thus, it is possible to prevent erroneous recognition of the position of the lane mark.
なお、本実施の形態では、図２に示したフローチャートに示したように、特定候補画像除外部３２により、第１特定候補画像〜第３特定候補画像をレーンマークの認識対象から除外したが、少なくとも第１特定候補画像をレーンマークの認識対象から除外することによって、本発明の効果を得ることができる。 In the present embodiment, as shown in the flowchart shown in FIG. 2, the specific candidate image excluding unit 32 excludes the first specific candidate image to the third specific candidate image from the recognition target of the lane mark. By excluding at least the first specific candidate image from the recognition target of the lane mark, the effect of the present invention can be obtained.
また、本実施の形態では、カラーカメラ１１を用いた例を示したが、赤色又は緑色の第２特定候補画像を認識対象から除外する処理を行わない場合には、白黒カメラを用いてもよい。 In the present embodiment, an example using the color camera 11 has been described. However, when the process of excluding the red or green second specific candidate image from the recognition target is not performed, a monochrome camera may be used. .
また、本実施の形態おいて、雨天検知部３５は、雨滴センサ１２の雨滴検出信号に基づいて雨天を検知したが、通信により天候情報を取得して雨天を検知するようにしてもよい。 Moreover, in this Embodiment, although the rain detection part 35 detected rainy weather based on the raindrop detection signal of the raindrop sensor 12, you may make it acquire rainy information by communication and may detect rainy weather.
１…車両（自車両）、１０…レーンマーク認識装置、１１…カラーカメラ、１２…雨滴センサ、１３…速度センサ、３０…画像処理ユニット、３１…レーンマーク候補画像抽出部、３２…特定候補画像除外部、３３…レーンマーク認識部、３４…車速検知部、３５…雨天検知部。 DESCRIPTION OF SYMBOLS 1 ... Vehicle (own vehicle), 10 ... Lane mark recognition apparatus, 11 ... Color camera, 12 ... Raindrop sensor, 13 ... Speed sensor, 30 ... Image processing unit, 31 ... Lane mark candidate image extraction part, 32 ... Specific candidate image Exclusion unit, 33 ... Lane mark recognition unit, 34 ... Vehicle speed detection unit, 35 ... Rain detection unit.
Claims (4)
前記カメラの撮像画像から、線状のレーンマークの候補画像を抽出するレーンマーク候補画像抽出部と、
前記レーンマーク候補画像抽出部により抽出されたレーンマークの候補画像のうち、前記車両の上下方向に相当する第１方向に、所定範囲内の間隔をもって延びる複数の特定の候補画像を、レーンマークの認識対象から除外する特定候補画像除外部と、
前記特定候補画像除外部によりレーンマークの認識対象から除外されなかったレーンマークの候補画像に基づいて、レーンマークを認識するレーンマーク認識部と
を備えたことを特徴とするレーンマーク認識装置。 In a lane mark recognition device that recognizes a lane mark provided on a road based on an image around the vehicle imaged by a camera mounted on the vehicle,
A lane mark candidate image extraction unit that extracts a candidate image of a linear lane mark from the captured image of the camera;
Among the lane mark candidate images extracted by the lane mark candidate image extraction unit, a plurality of specific candidate images extending at intervals within a predetermined range in a first direction corresponding to the up and down direction of the vehicle. A specific candidate image exclusion unit to be excluded from recognition targets;
A lane mark recognition apparatus, comprising: a lane mark recognition unit that recognizes a lane mark based on a lane mark candidate image that has not been excluded from a lane mark recognition target by the specific candidate image exclusion unit.
前記カメラはカラーカメラであり、
前記特定候補画像除外部は、前記レーンマーク候補画像抽出部により抽出されたレーンマークの候補画像のうち、色がレーンマークと異なる特定の候補画像をレーンマークの認識対象から除外することを特徴とするレーンマーク認識装置。 The lane mark recognition apparatus according to claim 1,
The camera is a color camera;
The specific candidate image excluding unit excludes, from the lane mark candidate images extracted by the lane mark candidate image extracting unit, a specific candidate image having a color different from that of the lane mark from the lane mark recognition target. Lane mark recognition device.
前記車両の走行速度を検知する車速検知部を備え、
前記特定候補画像除外部は、前記カメラによる時系列の撮像画像から、前記第１方向に延びるレーンマークの候補画像の位置変化量を算出し、該位置変化量が、静止物を想定して前記車両の走行速度に基づいて設定された変化量判定範囲から外れた特定の候補画像を、レーンマークの認識対象から除外することを特徴とするレーンマーク認識装置。 In the lane mark recognition apparatus according to claim 1 or 2,
A vehicle speed detector for detecting the traveling speed of the vehicle;
The specific candidate image exclusion unit calculates a position change amount of a candidate image of a lane mark extending in the first direction from a time-series captured image by the camera, and the position change amount is assumed to be a stationary object. A lane mark recognition apparatus, wherein a specific candidate image that is out of a change amount determination range set based on a traveling speed of a vehicle is excluded from lane mark recognition targets.
雨天を検知する雨天検知部を備え、
前記特定候補画像除外部は、前記雨天検知部により雨天であることが検知されているときに限定して、前記特定の候補画像をレーンマークの認識対象から除外する処理を行うことを特徴とするレーンマーク認識装置。 In the lane mark recognition device according to any one of claims 1 to 3,
It has a rain detection unit that detects rain,
The specific candidate image excluding unit performs a process of excluding the specific candidate image from the recognition target of the lane mark only when the rain detecting unit detects that it is raining. Lane mark recognition device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011121929A JP5289509B2 (en) | 2011-05-31 | 2011-05-31 | Lane mark recognition device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011121929A JP5289509B2 (en) | 2011-05-31 | 2011-05-31 | Lane mark recognition device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012248168A true JP2012248168A (en) | 2012-12-13 |
| JP5289509B2 JP5289509B2 (en) | 2013-09-11 |
Family
ID=47468517
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011121929A Active JP5289509B2 (en) | 2011-05-31 | 2011-05-31 | Lane mark recognition device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5289509B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015205642A (en) * | 2014-04-22 | 2015-11-19 | 本田技研工業株式会社 | Travel support device |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63142478A (en) * | 1986-12-05 | 1988-06-14 | Nissan Motor Co Ltd | White line detector |
| JP2006209209A (en) * | 2005-01-25 | 2006-08-10 | Honda Elesys Co Ltd | Lane mark extraction device |
| JP2007094919A (en) * | 2005-09-30 | 2007-04-12 | Mitsubishi Electric Corp | Traffic flow measurement device |
| JP2009065360A (en) * | 2007-09-05 | 2009-03-26 | Denso Corp | Image processor, image processor for vehicle, image display device for vehicle and vehicle controller |
-
2011
- 2011-05-31 JP JP2011121929A patent/JP5289509B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63142478A (en) * | 1986-12-05 | 1988-06-14 | Nissan Motor Co Ltd | White line detector |
| JP2006209209A (en) * | 2005-01-25 | 2006-08-10 | Honda Elesys Co Ltd | Lane mark extraction device |
| JP2007094919A (en) * | 2005-09-30 | 2007-04-12 | Mitsubishi Electric Corp | Traffic flow measurement device |
| JP2009065360A (en) * | 2007-09-05 | 2009-03-26 | Denso Corp | Image processor, image processor for vehicle, image display device for vehicle and vehicle controller |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015205642A (en) * | 2014-04-22 | 2015-11-19 | 本田技研工業株式会社 | Travel support device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5289509B2 (en) | 2013-09-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106951879B (en) | Multi-feature fusion vehicle detection method based on camera and millimeter wave radar | |
| Wu et al. | Lane-mark extraction for automobiles under complex conditions | |
| JP4607193B2 (en) | Vehicle and lane mark detection device | |
| KR102058001B1 (en) | Traffic lane correction system, traffic lane correction apparatus and correction method | |
| US9405980B2 (en) | Arrow signal recognition device | |
| CA2614247C (en) | Vehicle and lane mark recognition apparatus | |
| US20150278615A1 (en) | Vehicle exterior environment recognition device | |
| KR101589814B1 (en) | Apparatus for recognizing of object in coast and method thereof | |
| CN104834889A (en) | Marking line detection system and marking line detection method | |
| JP5402828B2 (en) | Lane boundary detection device, lane boundary detection program | |
| JP6457278B2 (en) | Object detection apparatus and object detection method | |
| CN108460800B (en) | Container image positioning method and system | |
| JP2007179386A (en) | Method and apparatus for recognizing white line | |
| WO2014002692A1 (en) | Stereo camera | |
| CN111046741A (en) | Method and device for identifying lane line | |
| JP5289509B2 (en) | Lane mark recognition device | |
| Zong et al. | Traffic light detection based on multi-feature segmentation and online selecting scheme | |
| JP2010286995A (en) | Image processing system for vehicle | |
| JP6431299B2 (en) | Vehicle periphery monitoring device | |
| JP2012221272A (en) | Image processing system and image processing method | |
| JP4842301B2 (en) | Pedestrian detection device and program | |
| WO2014050285A1 (en) | Stereo camera device | |
| JP5345999B2 (en) | Lane mark recognition device | |
| Gu et al. | Robust road lane detection using extremal-region enhancement | |
| JP2014010765A (en) | Mobile object detector, image type sensor, and computer program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130517 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130528 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130604 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5289509 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |