JP2006024105A - Road marking detection device for vehicle - Google Patents

Road marking detection device for vehicle Download PDF

Info

Publication number
JP2006024105A
JP2006024105A JP2004203300A JP2004203300A JP2006024105A JP 2006024105 A JP2006024105 A JP 2006024105A JP 2004203300 A JP2004203300 A JP 2004203300A JP 2004203300 A JP2004203300 A JP 2004203300A JP 2006024105 A JP2006024105 A JP 2006024105A
Authority
JP
Japan
Prior art keywords
road
detection
sign
vehicle
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004203300A
Other languages
Japanese (ja)
Other versions
JP4234071B2 (en
Inventor
Hiroshi Mashita
博 間下
Shinkichi Asanuma
信吉 浅沼
Hideki Kaseyama
秀樹 加世山
Hideaki Nakamichi
英明 中道
Original Assignee
Honda Motor Co Ltd
本田技研工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd, 本田技研工業株式会社 filed Critical Honda Motor Co Ltd
Priority to JP2004203300A priority Critical patent/JP4234071B2/en
Publication of JP2006024105A publication Critical patent/JP2006024105A/en
Application granted granted Critical
Publication of JP4234071B2 publication Critical patent/JP4234071B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a road marking detection device for a vehicle capable of improving accuracy of recognizing road markings. <P>SOLUTION: In the image data inputted from an external photographing camera 11, a detection line setting part 24 sets a plurality of detection lines D<SB>1</SB>, ..., D<SB>k</SB>, ..., D<SB>n</SB>(the setting number n is an arbitrary natural number where the natural number k is 1≤k≤n) in the width direction of the running route R at predetermined intervals in the running route R of an own vehicle detected by a road shape recognition part 23. A brightness detection part 25 detects a change in brightness such as luminance and lightness in the length direction for each of the detection lines D<SB>1</SB>, ..., D<SB>k</SB>, ..., D<SB>n</SB>. A road marking recognition part 26 detects the presence of the predetermined road markings such as a stop line, and the distance to the road marking based on the position of changes in brightness in the length direction for each of the detection lines D<SB>1</SB>, ..., D<SB>k</SB>, ..., D<SB>n</SB>detected by the brightness detection part 25. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、車両の路面標識検出装置に関する。   The present invention relates to a vehicle road sign detection device.
従来、例えばナビゲーション装置の地図データを構成する各地点の座標値に基づき、自車両の現在位置から交差点や一時停止地点までの距離を算出し、自車両の乗員に交差点や一時停止地点が存在することを報知したり、減速等の運転操作の実行を促す警報を出力するナビゲーション装置が知られている(例えば、特許文献1、特許文献2参照)。
また、従来、例えば車載カメラの撮影画像に対する画像処理により自車両の進行方向における停止線の有無を検出する際に、車載ナビゲーションの地図データに基づき所定交差点(例えば、信号のない交差点等)の有無を判定することで、停止線の検出精度を向上させる装置が知られている(例えば、特許文献3参照)。
特開平10−47981号公報 特開2000−46574号公報 特開2004−86363号公報
Conventionally, for example, the distance from the current position of the host vehicle to an intersection or a temporary stop point is calculated based on the coordinate values of each point constituting the map data of the navigation device, and the intersection or temporary stop point exists in the passenger of the own vehicle. There is known a navigation device that outputs a warning that prompts the user to perform a driving operation such as deceleration or the like (see, for example, Patent Document 1 and Patent Document 2).
In addition, conventionally, for example, when detecting the presence or absence of a stop line in the traveling direction of the host vehicle by image processing on a captured image of the in-vehicle camera, the presence / absence of a predetermined intersection (for example, an intersection without a signal) based on the map data of the in-vehicle navigation An apparatus that improves the detection accuracy of a stop line by determining the above is known (see, for example, Patent Document 3).
JP 10-47981 A JP 2000-46574 A JP 2004-86363 A
しかしながら、上記従来技術に係るナビゲーション装置において、地図データやGPS(Global Positioning System)信号等の測位信号に基づく算出処理によって自車両の現在位置から交差点や一時停止地点までの距離を検出する場合には、所望の算出精度を確保することが困難であり、例えば車両を一時停止地点で一時停止させる際に、この一時停止地点を超えないように停止させることができなくなる虞がある。
また、上記従来技術に係る装置において、撮影画像の画像処理に基づき停止線の有無を検出する場合には、例えば予め記憶している所定パターン(例えば輪郭等)に基づき画像データ上の検索を行い、所定パターンとの類似性に応じて検知対象物を抽出する等の煩雑な処理が必要となることに加えて、このような画像処理では、たとえ所定交差点の有無の判定結果を参照したとしても、停止線と、他の路面標識(例えば、ゼブラライン等)あるいは他の路面標識の一部とを明確に識別することが困難であるという問題が生じる。
本発明は上記事情に鑑みてなされたもので、停止線等の路面標識の認識精度を向上させることが可能な車両の路面標識検出装置を提供することを目的とする。
However, in the navigation device according to the above prior art, when detecting the distance from the current position of the vehicle to an intersection or a temporary stop point by calculation processing based on a positioning signal such as map data or a GPS (Global Positioning System) signal. It is difficult to ensure the desired calculation accuracy. For example, when the vehicle is temporarily stopped at the temporary stop point, it may not be possible to stop the vehicle so as not to exceed the temporary stop point.
In addition, when detecting the presence or absence of a stop line based on image processing of a captured image in the apparatus according to the related art described above, for example, a search on image data is performed based on a predetermined pattern (for example, a contour or the like) stored in advance. In addition to the need for complicated processing such as extraction of the detection object according to the similarity to the predetermined pattern, in such image processing, even if the determination result of the presence or absence of the predetermined intersection is referred to The problem is that it is difficult to clearly distinguish the stop line from other road markings (for example, a zebra line) or a part of other road markings.
The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a vehicle road sign detection device capable of improving the recognition accuracy of road signs such as stop lines.
上記課題を解決して係る目的を達成するために、請求項1に記載の本発明の車両の路面標識検出装置は、自車両の進行方向の走行路を含む所定領域を撮影する撮影手段(例えば、実施の形態での外界撮像カメラ11)と、前記撮影手段により撮影された撮影画像において、前記走行路に沿って伸びる複数の検知ラインを設定する検知ライン設定手段(例えば、実施の形態での検知ライン設定部24)と、該検知ラインの長さ方向における明るさの変化を検知する明るさ検知手段(例えば、実施の形態での明るさ検知部25)と、該明るさ検知手段の検知結果に基づき、前記走行路上の路面標識を認識する路面標識認識手段(例えば、実施の形態での路面標識認識部26)とを備えることを特徴としている。   In order to solve the above-described problems and achieve the object, the vehicle road surface sign detection device according to the first aspect of the present invention is a photographing means for photographing a predetermined area including a traveling road in the traveling direction of the host vehicle (for example, The detection line setting means (for example, in the embodiment) sets a plurality of detection lines extending along the travel path in the photographed image photographed by the external imaging camera 11) and the photographing means in the embodiment. Detection line setting unit 24), brightness detection means for detecting a change in brightness in the length direction of the detection line (for example, brightness detection unit 25 in the embodiment), and detection by the brightness detection means It is characterized by comprising road surface sign recognition means (for example, road surface sign recognition unit 26 in the embodiment) for recognizing the road surface sign on the traveling road based on the result.
上記構成の車両の路面標識検出装置によれば、撮影手段により撮影された撮影画像に対して、例えば各種の路面標識を検知対象物とした特徴量算出および形状判別等の煩雑な認識処理を実行する必要無しに、撮影画像上に設定した検知ラインの長さ方向における明るさの変化を検知するだけの単純な処理によって所望の路面標識の存在を容易に検知することができる。   According to the road surface sign detection device for a vehicle having the above-described configuration, for example, complicated recognition processing such as feature amount calculation and shape determination using various road surface signs as detection objects is performed on the captured image captured by the image capturing unit. Without the need to do so, it is possible to easily detect the presence of a desired road sign by a simple process that only detects a change in brightness in the length direction of the detection line set on the captured image.
さらに、請求項2に記載の本発明の車両の路面標識検出装置では、前記路面標識認識手段は、前記明るさ検知手段により検知された複数の検知ラインの長さ方向における明るさの変化位置に基づき、前記走行路上の路面標識を認識することを特徴としている。   Furthermore, in the vehicle road surface sign detecting device according to the second aspect of the present invention, the road surface sign recognizing means is arranged at a brightness change position in the length direction of the plurality of detection lines detected by the brightness detecting means. Based on this, the road surface sign on the traveling road is recognized.
上記構成の車両の路面標識検出装置によれば、複数の検知ラインの長さ方向における明るさの変化位置が所望の路面標識の形状を成すか否かを判定することで所望の路面標識の有無を容易に検知することができる。しかも、予め撮影手段により撮影された撮影画像上の適宜の位置に対して、自車両からの実際の距離の情報を記憶しておくことで、所望の路面標識の存在に加えて、認識した路面標識までの距離を検知することができる。   According to the vehicle road sign detection device having the above-described configuration, the presence / absence of a desired road sign is determined by determining whether or not the brightness change position in the length direction of the plurality of detection lines forms a desired road sign shape. Can be easily detected. Moreover, by storing information on the actual distance from the host vehicle at an appropriate position on the captured image previously captured by the imaging means, in addition to the presence of the desired road surface sign, the recognized road surface The distance to the sign can be detected.
さらに、請求項3に記載の本発明の車両の路面標識検出装置は、予め走行路の半径あるいは曲率を含む走行路の形状を記憶する自車両に搭載されたデータ記憶手段(例えば、実施の形態での地図データ記憶部14)または自車両の外部から前記走行路の形状を取得するデータ取得手段を備え、前記検知ライン設定手段は、前記データ取得手段により取得された前記走行路の形状に応じて前記複数の検知ラインの設定数を設定することを特徴としている。   Furthermore, the road surface sign detection device for a vehicle according to the third aspect of the present invention is a data storage means (for example, an embodiment) mounted on the host vehicle that stores in advance the shape of the traveling road including the radius or curvature of the traveling road. Data acquisition means for acquiring the shape of the travel road from the outside of the host vehicle or the map data storage section 14) in the vehicle, the detection line setting means according to the shape of the travel road acquired by the data acquisition means The set number of the plurality of detection lines is set.
上記構成の車両の路面標識検出装置によれば、例えばカーブ形状等の走行路の形状に応じて、適切な設定数の検知ラインを設定することができ、隣り合う検知ライン間の間隔が過剰に狭くなってしまったり、所望の路面標識の線幅を超えて過剰に広くなってしまうことを防止することができる。   According to the road surface sign detection device for a vehicle having the above configuration, for example, an appropriate number of detection lines can be set according to the shape of the traveling road such as a curve shape, and the interval between adjacent detection lines is excessive. It can be prevented that it becomes narrow or excessively widens beyond the line width of the desired road marking.
さらに、請求項4に記載の本発明の車両の路面標識検出装置では、前記検知ライン設定手段は、前記走行路の半径が小さくなることに伴い、あるいは、前記走行路の曲率が大きくなることに伴い、前記複数の検知ラインの設定数を減少させることを特徴としている。   Furthermore, in the road marking device for a vehicle according to the fourth aspect of the present invention, the detection line setting means is configured such that the radius of the travel path decreases or the curvature of the travel path increases. Along with this, the set number of the plurality of detection lines is reduced.
上記構成の車両の路面標識検出装置によれば、隣り合う検知ライン間の間隔が過剰に狭くなってしまうことを防止することができる。   According to the road surface sign detection device for a vehicle having the above configuration, it is possible to prevent an interval between adjacent detection lines from becoming excessively narrow.
さらに、請求項5に記載の本発明の車両の路面標識検出装置では、前記検知ライン設定手段は、前記走行路の幅方向に所定間隔をおいて前記複数の検知ラインを設定することを特徴としている。   Furthermore, in the road marking device for a vehicle according to the fifth aspect of the present invention, the detection line setting means sets the plurality of detection lines at a predetermined interval in the width direction of the travel path. Yes.
上記構成の車両の路面標識検出装置によれば、例えば検知対象とされる所望の路面標識の線幅等に応じて、隣り合う検知ライン間の間隔を適切に設定することができる。   According to the road surface sign detection device for a vehicle having the above configuration, an interval between adjacent detection lines can be appropriately set according to, for example, the line width of a desired road surface sign to be detected.
さらに、請求項6に記載の本発明の車両の路面標識検出装置では、前記路面標識は停止線であることを特徴としている。   Furthermore, in the vehicle road surface sign detection device of the present invention according to claim 6, the road surface sign is a stop line.
上記構成の車両の路面標識検出装置によれば、相対的に重要度が高い停止線を的確に検知することができる。   According to the road surface sign detection device for a vehicle having the above-described configuration, it is possible to accurately detect a stop line having a relatively high importance.
さらに、請求項7に記載の本発明の車両の路面標識検出装置では、前記検知ライン設定手段は、隣り合う前記検知ライン間の間隔を、前記停止線以外の路面標識の走行路幅方向の線幅よりも小さな値に設定することを特徴としている。   Furthermore, in the road marking device for a vehicle according to the seventh aspect of the present invention, the detection line setting means sets the interval between the adjacent detection lines as a line in the traveling road width direction of the road marking other than the stop line. It is characterized by being set to a value smaller than the width.
上記構成の車両の路面標識検出装置によれば、停止線以外の路面標識であっても的確に検知することができる。   According to the road surface sign detection device for a vehicle having the above configuration, even road surface signs other than the stop line can be accurately detected.
さらに、請求項8に記載の本発明の車両の路面標識検出装置では、前記路面標識認識手段は、前記明るさ検知手段により検知された複数の検知ラインの長さ方向における明るさの変化位置が、所定数以上の検知ラインにおいて同等の距離位置である場合に、前記走行路上の路面標識は停止線であると認識することを特徴としている。   Furthermore, in the road marking device for a vehicle of the present invention according to claim 8, the road marking recognition unit has a brightness change position in a length direction of a plurality of detection lines detected by the brightness detection unit. The road surface marker on the traveling road is recognized as a stop line when the distance is equivalent in a predetermined number or more of detection lines.
上記構成の車両の路面標識検出装置によれば、複数の検知ラインの長さ方向における明るさの変化位置が、所定数以上の検知ラインにおいて同等の距離位置である場合には、走行路の幅方向に伸びる単一の線状領域からなる停止線を検知したと判断することができる。   According to the vehicle road surface sign detection device having the above configuration, when the change positions of the brightness in the length direction of the plurality of detection lines are equal distance positions in a predetermined number or more of detection lines, the width of the traveling road It can be determined that a stop line composed of a single linear region extending in the direction is detected.
さらに、請求項9に記載の本発明の車両の路面標識検出装置では、前記路面標識認識手段は、前記明るさ検知手段により検知された単一の検知ラインの長さ方向における複数の明るさの変化位置において、隣り合う前記変化位置間の間隔が所定値以内である場合に、前記走行路上の路面標識は停止線であると認識することを特徴としている。   Furthermore, in the vehicle road sign detection device according to the ninth aspect of the present invention, the road surface sign recognition means has a plurality of brightnesses in the length direction of a single detection line detected by the brightness detection means. In the change position, when the interval between the adjacent change positions is within a predetermined value, the road surface marker on the traveling road is recognized as a stop line.
上記構成の車両の路面標識検出装置によれば、単一の検知ラインの長さ方向において複数の明るさの変化位置が検知される場合であっても、隣り合う変化位置間の間隔が所定値以内である場合には、走行路の幅方向に伸びる単一の線状領域からなる停止線を検知したと判断することができる。   According to the vehicle road sign detection device having the above-described configuration, even when a plurality of brightness change positions are detected in the length direction of a single detection line, the interval between adjacent change positions is a predetermined value. If it is within the range, it can be determined that a stop line composed of a single linear region extending in the width direction of the travel path has been detected.
また、請求項10に記載の本発明の車両の路面標識検出装置は、自車両の進行方向の走行路を含む所定領域であって、前記走行路に沿って互いに異なる前記所定領域を撮影する複数の撮影手段(例えば、実施の形態での外界撮像カメラ11,…,11)と、前記複数の撮影手段により撮影された複数の撮影画像毎に、明るさの変化を検知する明るさ検知手段(例えば、実施の形態での明るさ検知部25)と、該明るさ検知手段の検知結果に基づき、前記走行路上の路面標識を認識する路面標識認識手段(例えば、実施の形態での路面標識認識部26)とを備えることを特徴としている。   According to a tenth aspect of the present invention, there is provided a road surface sign detection apparatus for a vehicle according to the present invention, wherein a plurality of predetermined areas including a traveling path in the traveling direction of the host vehicle are photographed along the traveling path. Image capturing means (for example, the external imaging cameras 11,..., 11 in the embodiment) and a brightness detection means for detecting a change in brightness for each of a plurality of captured images captured by the plurality of image capturing means ( For example, the road surface sign recognition means (for example, road surface sign recognition in the embodiment) that recognizes the road surface sign on the travel road based on the detection result of the brightness detection unit 25) in the embodiment and the brightness detection means. 26).
上記構成の車両の路面標識検出装置によれば、複数の撮影手段の各検知対象エリアを、例えば自車両の走行路の長さ方向に沿った互いに異なる領域に設定することで、走行路の長さ方向に対する解像度を増大させることができ、例えば停止線等の相対的に単純な形状の路面標識に限らす、相対的に複雑な形状の路面標識を検知することができる。   According to the road surface sign detection device for a vehicle having the above configuration, the detection target areas of the plurality of photographing units are set in different areas along the length direction of the travel path of the host vehicle, for example, thereby increasing the length of the travel path. It is possible to increase the resolution with respect to the vertical direction, and it is possible to detect a road sign having a relatively complicated shape, for example, a road sign having a relatively simple shape such as a stop line.
以上説明したように、請求項1に記載の本発明の車両の路面標識検出装置によれば、撮影手段により撮影された撮影画像に対して、例えば各種の路面標識を検知対象物とした特徴量算出および形状判別等の煩雑な認識処理を実行する必要無しに、撮影画像上に設定した検知ラインの長さ方向における明るさの変化を検知するだけの単純な処理によって所望の路面標識の存在を容易に検知することができる。
さらに、請求項2に記載の本発明の車両の路面標識検出装置によれば、所望の路面標識の有無を容易に検知することができ、しかも、予め撮影手段により撮影された撮影画像上の適宜の位置に対して、自車両からの実際の距離の情報を記憶しておくことで、所望の路面標識の存在に加えて、認識した路面標識までの距離を検知することができる。
As described above, according to the road surface sign detection device for a vehicle of the present invention described in claim 1, for example, a feature amount using various road signs as a detection target with respect to a photographed image photographed by the photographing means. Presence of the desired road surface marker can be detected by simply detecting the change in brightness in the length direction of the detection line set on the captured image without having to perform complicated recognition processing such as calculation and shape discrimination. It can be easily detected.
Furthermore, according to the road surface sign detection device for a vehicle of the present invention as set forth in claim 2, it is possible to easily detect the presence or absence of a desired road surface sign, and to appropriately detect on a photographed image photographed in advance by photographing means. By storing the information of the actual distance from the host vehicle for the position, it is possible to detect the distance to the recognized road sign in addition to the presence of the desired road sign.
さらに、請求項3に記載の本発明の車両の路面標識検出装置によれば、例えばカーブ形状等の走行路の形状に応じて、適切な設定数の検知ラインを設定することができ、隣り合う検知ライン間の間隔が過剰に狭くなってしまったり、所望の路面標識の線幅を超えて過剰に広くなってしまうことを防止することができる。
さらに、請求項4に記載の本発明の車両の路面標識検出装置によれば、隣り合う検知ライン間の間隔が過剰に狭くなってしまうことを防止することができる。
Furthermore, according to the road surface sign detection device for a vehicle according to the third aspect of the present invention, an appropriate set number of detection lines can be set according to the shape of the traveling road such as a curved shape, for example. It is possible to prevent the interval between the detection lines from being excessively narrowed or excessively widening beyond the line width of a desired road surface sign.
Furthermore, according to the vehicle road surface sign detection device of the present invention described in claim 4, it is possible to prevent the interval between adjacent detection lines from becoming excessively narrow.
さらに、請求項5に記載の本発明の車両の路面標識検出装置によれば、例えば検知対象とされる所望の路面標識の線幅等に応じて、隣り合う検知ライン間の間隔を適切に設定することができる。
さらに、請求項6に記載の本発明の車両の路面標識検出装置によれば、相対的に重要度が高い停止線を的確に検知することができる。
Furthermore, according to the road surface sign detection device for a vehicle of the present invention described in claim 5, the interval between adjacent detection lines is appropriately set according to, for example, the line width of the desired road sign to be detected. can do.
Furthermore, according to the vehicle road surface sign detection device of the present invention described in claim 6, it is possible to accurately detect a stop line having a relatively high importance.
さらに、請求項7に記載の本発明の車両の路面標識検出装置によれば、停止線以外の路面標識であっても的確に検知することができる。
さらに、請求項8に記載の本発明の車両の路面標識検出装置によれば、停止線を適切に検知することができる。
さらに、請求項9に記載の本発明の車両の路面標識検出装置によれば、単一の検知ラインの長さ方向において複数の明るさの変化位置が検知される場合であっても、停止線を適切に検知することができる。
また、請求項10に記載の本発明の車両の路面標識検出装置によれば、複数の撮影手段の各検知対象エリアを、例えば自車両の走行路の長さ方向に沿った互いに異なる領域に設定することで、走行路の長さ方向に対する解像度を増大させることができ、例えば停止線等の相対的に単純な形状の路面標識に限らす、相対的に複雑な形状の路面標識を検知することができる。
Furthermore, according to the road marking device for a vehicle according to the seventh aspect of the present invention, even a road marking other than a stop line can be accurately detected.
Furthermore, according to the road marking device for a vehicle of the present invention described in claim 8, the stop line can be detected appropriately.
Furthermore, according to the vehicle road surface sign detection device of the present invention described in claim 9, even if a plurality of brightness change positions are detected in the length direction of the single detection line, the stop line is detected. Can be detected appropriately.
According to the vehicle road surface sign detection device of the present invention as set forth in claim 10, the detection target areas of the plurality of photographing means are set to different areas along the length direction of the traveling path of the host vehicle, for example. By doing so, the resolution with respect to the length direction of the traveling road can be increased. For example, a road sign having a relatively complicated shape, such as a stop line, is detected. Can do.
以下、本発明の一実施形態に係る車両の路面標識検出装置について添付図面を参照しながら説明する。
本実施の形態による車両の路面標識検出装置10は、例えば、外界撮像カメラ11と、自車両情報検出部13と、地図データ記憶部14と、処理装置15と、報知装置17とを備えて構成されている。
Hereinafter, a road surface sign detection device for a vehicle according to an embodiment of the present invention will be described with reference to the accompanying drawings.
A vehicle road sign detection device 10 according to the present embodiment includes, for example, an external imaging camera 11, a host vehicle information detection unit 13, a map data storage unit 14, a processing device 15, and a notification device 17. Has been.
外界撮像カメラ11は、例えば可視光領域にて撮像可能なCCDカメラやC−MOSカメラ等からなるカメラ本体および画像処理部とを備えて構成されている。
カメラ本体は、例えばフロントウィンドウの車室内側でルームミラー近傍の位置に配置され、フロントウィンドウ越しに自車両の進行方向前方の所定検知範囲の外界を撮影する。
画像処理部は、カメラにより撮影して得た画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる画像データを生成して処理装置15へ出力する。
The external imaging camera 11 includes, for example, a camera body and an image processing unit made up of a CCD camera, a C-MOS camera, or the like that can image in the visible light region.
The camera body is disposed, for example, in the vicinity of the room mirror on the vehicle interior side of the front window, and images the outside of a predetermined detection range ahead of the traveling direction of the host vehicle through the front window.
The image processing unit performs predetermined image processing such as filtering and binarization processing on the image obtained by photographing with the camera, generates image data including pixels of a two-dimensional array, and supplies the processing device 15 with the image data. Output.
自車両情報検出部13は、自車両情報として、例えば自車両の走行速度(車速)を検出する車速センサや、例えば人工衛星を利用して車両の位置を測定するためのGPS(Global Positioning System)信号等の測位信号や自車両の外部の情報発信装置から発信される位置信号や例えば道路上に配置された基点マーカとの磁気作用等、さらには、適宜のジャイロセンサや加速度センサ等の検出結果に基づいて自車両の現在位置や進行方向を検出する位置センサや、ヨー角(車両重心の上下方向軸回りの回転角度)やヨーレート(車両重心の上下方向軸回りの回転角速度)や操舵角(運転者が入力した操舵角度の方向と大きさ)を検出する各センサや、方向指示器やアクセル、ブレーキのオン/オフ状態を検知する各センサ等を備えて構成されている。   The own vehicle information detection unit 13 is, for example, a vehicle speed sensor that detects the traveling speed (vehicle speed) of the own vehicle, or a GPS (Global Positioning System) that measures the position of the vehicle using an artificial satellite, for example. Positioning signals such as signals, position signals transmitted from information transmission devices outside the host vehicle, magnetic action with, for example, a base point marker placed on the road, and further detection results of an appropriate gyro sensor, acceleration sensor, etc. Based on the position sensor that detects the current position and traveling direction of the host vehicle, the yaw angle (rotational angle around the vertical axis of the vehicle center of gravity), yaw rate (rotational angular velocity around the vertical axis of the vehicle center of gravity) and steering angle ( Each sensor detects the direction and magnitude of the steering angle input by the driver, and includes a direction indicator, an accelerator, and each sensor that detects the on / off state of the brake.
地図データ記憶部14は、例えばハードディスク装置等の磁気ディスク装置や、例えばCD−ROMやCD−RやMOやDVD等の光ディスク装置等のコンピュータ読み取り可能な記憶媒体からなる。そして、地図データ記憶部14は、例えばナビゲーション装置(図示略)や表示装置において地図を表示するための地図データとして、例えば道路の幅員データや複数の道路の交差角度や交差点の形状や位置等の道路情報を格納している。   The map data storage unit 14 includes a computer-readable storage medium such as a magnetic disk device such as a hard disk device or an optical disk device such as a CD-ROM, CD-R, MO, or DVD. The map data storage unit 14 includes, for example, road width data, intersection angles of a plurality of roads, intersection shapes and positions, and the like as map data for displaying a map on a navigation device (not shown) or a display device. Stores road information.
処理装置15は、例えば、自車両位置情報抽出部21と、自車両速度情報抽出部22と、道路形状認識部23と、検知ライン設定部24と、明るさ検知部25と、路面標識認識部26と、走行支援判定部27とを備えて構成されている。   The processing device 15 includes, for example, a host vehicle position information extraction unit 21, a host vehicle speed information extraction unit 22, a road shape recognition unit 23, a detection line setting unit 24, a brightness detection unit 25, and a road surface sign recognition unit. 26 and a driving support determination unit 27.
自車両位置情報抽出部21は、自車両情報検出部13にて検出した自車両情報から自車両の現在の位置情報を抽出する。
自車両速度情報抽出部22は、自車両情報検出部13にて検出した自車両情報から自車両の現在の速度情報を抽出する。
なお、自車両位置情報抽出部21および自車両速度情報抽出部22は、必要に応じて、例えば自車両情報検出部13での検出動作に要する時間を考慮して自車両の位置情報や速度情報の変動を補正し、自車両の現在の位置情報や速度情報を推定可能である。
The own vehicle position information extraction unit 21 extracts the current position information of the own vehicle from the own vehicle information detected by the own vehicle information detection unit 13.
The own vehicle speed information extraction unit 22 extracts the current speed information of the own vehicle from the own vehicle information detected by the own vehicle information detection unit 13.
In addition, the own vehicle position information extraction unit 21 and the own vehicle speed information extraction unit 22 consider the time required for the detection operation in the own vehicle information detection unit 13 as necessary, for example, the position information and speed information of the own vehicle. The current position information and speed information of the host vehicle can be estimated.
道路形状認識部23は、地図データ記憶部14に格納された地図データと、外界撮像カメラ11から入力される画像データとに基づき、自車両の進行方向の道路形状、例えば直線路やカーブ形状や交差点等の有無、道路の車線数等を検出する。
ここで、地図データ記憶部14に格納された地図データは、例えば、地図表示用のデータや車両の現在位置に基づくマップマッチングの処理に必要とされる道路座標データに加えて、経路探索や経路誘導等の処理に必要とされるデータ、例えば交差点等の所定位置の緯度及び経度に係るノードデータと、各ノード間の道路に係るリンクデータとを備えている。
The road shape recognition unit 23 is based on the map data stored in the map data storage unit 14 and the image data input from the external imaging camera 11, for example, the road shape in the traveling direction of the host vehicle, such as a straight road or a curve shape, Detects the presence of intersections, the number of road lanes, etc.
Here, the map data stored in the map data storage unit 14 includes, for example, route search and route in addition to map display data and road coordinate data required for map matching processing based on the current position of the vehicle. Data necessary for processing such as guidance, for example, node data related to the latitude and longitude of a predetermined position such as an intersection, and link data related to a road between the nodes are provided.
例えば、自車両の進行方向前方の道路上にカーブ形状および交差点が存在する場合、例えば図2に示すように、複数のノードデータN1,…,N4と、各ノード間を接続するリンクデータL1,L2,L3とが設定され、さらに、例えば交差点の位置を示すノードデータN2に対しては、緯度及び経度に加えて、信号の有無や複数の道路の交差角度や形状等の交差点情報が付加され、各リンクデータL1,L2,L3には、例えば道路種別(例えば、国道、県道等)、道路幅員情報(例えば、幅員データ等)、道路構造情報(例えば、車線数等)が付加されている。さらに、例えばカーブ形状に対応するリンクデータL1に対しては、緯度及び経度からなる形状補間点C1,C2で設定されている。
そして、道路形状認識部23は、地図データに含まれるノードデータとリンクデータとに基づき、例えば図2に示すように、曲率Rや極性や旋回角やカーブの長さ等のカーブの形状を認識すると共に、自車両Pの現在位置から交差点までの距離CL等を検知する。
For example, when a curve shape and an intersection exist on the road ahead of the traveling direction of the host vehicle, for example, as shown in FIG. 2, a plurality of node data N1,..., N4 and link data L1, L2 and L3 are set, and for example, for node data N2 indicating the position of the intersection, in addition to latitude and longitude, intersection information such as presence / absence of a signal and intersection angles and shapes of a plurality of roads is added. Each link data L1, L2, L3 is added with, for example, a road type (eg, national road, prefectural road, etc.), road width information (eg, width data, etc.), road structure information (eg, number of lanes, etc.). . Furthermore, for example, for the link data L1 corresponding to the curve shape, the shape interpolation points C1 and C2 composed of latitude and longitude are set.
Then, the road shape recognition unit 23 recognizes the shape of the curve such as the curvature R, the polarity, the turning angle, and the length of the curve based on the node data and the link data included in the map data as shown in FIG. In addition, the distance CL from the current position of the host vehicle P to the intersection is detected.
検知ライン設定部24は、外界撮像カメラ11から入力される画像データ上において、例えば図3(a)に示すように、道路形状認識部23にて検知された自車両の走行路R内に、この走行路Rに沿って伸びる複数の検知ラインD,…,D,…,D(設定数nは任意の自然数であって、自然数kは1≦k≦n)を、例えば走行路Rの幅方向に所定間隔(例えば、30cm間隔等)をおいて設定する。
ここで、検知ライン設定部24は、隣り合う複数の検知ラインD,…,D,…,D間の間隔を、停止線以外の路面標識(例えば、最高速度等の規制標識等)の走行路幅方向の線幅よりも小さな値に設定する。
さらに、検知ライン設定部24は、検知された走行路Rの形状に応じて複数の検知ラインD,…,D,…,Dの設定数nを設定する。
例えば図4に示すように、走行路Rがカーブ形状である場合には、画像データ上において走行路Rの遠方ほど各検知ラインD,…,D,…,D間の間隔が狭くなることから、例えば直線路等に比べて、各検知ラインD,…,D,…,Dの設定数nを低減するようになっている。つまり、検知ライン設定部24は、走行路Rの半径が小さくなることに伴い、あるいは、走行路Rの曲率が大きくなることに伴い、複数の検知ラインD,…,D,…,Dの設定数nを減少させる。
For example, as shown in FIG. 3A, the detection line setting unit 24 includes, on the image data input from the external imaging camera 11, in the traveling path R of the host vehicle detected by the road shape recognition unit 23. A plurality of detection lines D 1 ,..., D k ,..., D n (set number n is an arbitrary natural number, and natural number k is 1 ≦ k ≦ n) extending along the traveling path R, for example, the traveling path A predetermined interval (for example, an interval of 30 cm) is set in the width direction of R.
Here, the detection line setting unit 24 sets the interval between a plurality of adjacent detection lines D 1 ,..., D k ,..., D n to road signs other than the stop line (for example, regulation signs such as maximum speed). It is set to a value smaller than the line width in the traveling road width direction.
Furthermore, sensing line setting unit 24, a plurality of sensing lines D 1 in accordance with the shape of the detected travel path R, ..., D k, ..., sets the set number n of D n.
For example, as shown in FIG. 4, when the traveling path R is curve-shaped, far more each sensing line D 1 of the travel path R on the image data, ..., D k, ..., narrow spacing between D n from becoming, for example, as compared to the straight path and the like, each sensing line D 1, ..., D k, ..., it is adapted to reduce the set number n of D n. That is, the detection line setting unit 24 has a plurality of detection lines D 1 ,..., D k ,..., D as the radius of the travel path R decreases or the curvature of the travel path R increases. reduce the n set number n of.
明るさ検知部25は、検知ライン設定部24にて設定された各検知ラインD,…,D,…,D毎に対して、各検知ラインD,…,D,…,Dの長さ方向における明るさ(例えば、輝度や明度等)の変化を検知する。
例えば明るさ検知部25は、図3(b)に示すように、各検知ラインD,…,D,…,Dの長さ方向における適宜の位置を所定の基準位置からの画素数によって記述し、この画素数に応じた輝度の変化(例えば、輝度の増大および減少等)を検知する。即ち、基準位置からの画素数は自車両(特に、外界撮像カメラ11)からの距離に相当し、輝度の変化が生じている位置の自車両からの距離を検知することとなる。
なお、図3(b)においては、各検知ラインD,…,D,…,Dの輝度に対して、走行路内における各検知ラインD,…,D,…,Dの幅方向の位置に応じたオフセットが設定されている。また、この画像データ上の画素数と、この画素数に対応する実際の走行路上の位置に対する所定の基準位置からの距離とに対しては、例えば図3(c)に示すように、予め実測データ等に基づき算出された所定の対応関係が記憶されている。
Brightness detection unit 25, each sensing line D 1 is set at the detection line setting unit 24, ..., D k, ..., with respect to each D n, each sensing line D 1, ..., D k, ..., A change in brightness (for example, luminance, brightness, etc.) in the length direction of D n is detected.
For example brightness detection unit 25, as shown in FIG. 3 (b), each sensing line D 1, ..., D k, ..., the number of pixels from a predetermined reference position appropriate position in the length direction of the D n And a change in luminance according to the number of pixels (for example, an increase or decrease in luminance) is detected. That is, the number of pixels from the reference position corresponds to the distance from the own vehicle (particularly, the external imaging camera 11), and the distance from the own vehicle at the position where the luminance change occurs is detected.
Incidentally, in FIG. 3 (b), each sensing line D 1, ..., D k, ..., each sensing line D 1 in the luminance of the D n, the travel path, ..., D k, ..., D n An offset corresponding to the position in the width direction is set. Further, for example, as shown in FIG. 3C, the number of pixels on the image data and the distance from the predetermined reference position to the actual position on the traveling path corresponding to the number of pixels are measured in advance. A predetermined correspondence calculated based on data or the like is stored.
路面標識認識部26は、明るさ検知部25にて検知された各検知ラインD,…,D,…,Dの長さ方向における明るさの変化に基づき、路面標識(例えば、停止線等)の有無を検知する。
例えば、路面標識認識部26は、図3(b)に示すように、各検知ラインD,…,D,…,D毎に所定値以上の輝度の増大が検知される画素数に対応する位置が、所定数以上の検知ラインにおいて同等の距離位置である場合には、走行路の幅方向に沿って伸びる停止線Sを検知したと判断する。
ただし、路面標識認識部26は、例えば図5(a),(b)に示すように、所定数以上の検知ラインに亘って同等の距離位置に相対的に高い輝度の領域が検知された場合であっても、走行路の長さ方向に沿った、この領域の長さWが所定値以上である場合には、停止線Sの線幅を超える日照領域Q等を検知したと判断する。また、複数の検知ラインの同等の距離位置に相対的に高い輝度の領域が検知された場合でも、これらの検知ライン間の距離が所定値を超えて離れている場合には、例えば図8(b)に示すように、横断歩道の存在を予告する菱形標識Tを検知したと判断する。つまり、所定数以上の検知ラインに亘って同等の距離位置に相対的に高い輝度の領域が検知された場合、さらに、各検知ラインの長さ方向で隣り合う明るさの変化位置間の間隔が所定の値以内である場合には、停止線Sを検知したと判断する。
Road sign recognition unit 26, each sensing line D 1 is detected by the brightness detection unit 25, ..., D k, ..., based on a change in brightness in the length direction of the D n, road markings (e.g., stop The presence or absence of a line etc. is detected.
For example, the road sign recognition unit 26, as shown in FIG. 3 (b), each sensing line D 1, ..., D k, ..., the number of pixels of a predetermined value or more brightness enhancement of is detected for each D n When the corresponding position is an equivalent distance position in a predetermined number or more of detection lines, it is determined that a stop line S extending along the width direction of the travel path has been detected.
However, as shown in FIGS. 5A and 5B, for example, the road surface sign recognition unit 26 detects a relatively high luminance area at the same distance position over a predetermined number of detection lines or more. Even so, if the length W of this area along the length direction of the travel path is equal to or greater than a predetermined value, it is determined that a sunshine area Q or the like exceeding the line width of the stop line S has been detected. Further, even when a relatively high luminance region is detected at an equivalent distance position of a plurality of detection lines, when the distance between these detection lines is more than a predetermined value, for example, FIG. As shown in b), it is determined that a rhombus sign T for detecting the presence of a pedestrian crossing has been detected. That is, when a region with relatively high luminance is detected at an equal distance position over a predetermined number of detection lines or more, the interval between adjacent brightness change positions in the length direction of each detection line is further increased. If it is within the predetermined value, it is determined that the stop line S has been detected.
走行支援判定部27は、路面標識認識部26にて認識された自車両の進行方向前方に存在する路面標識と、道路形状認識部23にて検知された自車両の進行方向の道路形状と、自車両位置情報抽出部21にて抽出された自車両の現在の位置情報と、自車両速度情報抽出部22にて抽出された自車両の現在の速度情報とに基づき、走行支援レベルを設定し、この走行支援レベルに応じて、報知装置17を作動させる。例えば、走行支援判定部27は、路面標識認識部26にて路面標識として停止線の存在が検知された状態で、自車両の現在位置から停止線までの距離および自車両の現在の速度が、停止線で自車両が停止するために要する所定の閾値に近い値となることに伴い、走行支援レベルが高くなるように設定する。   The driving support determination unit 27 includes a road surface sign that exists in front of the traveling direction of the host vehicle recognized by the road surface recognition unit 26, a road shape in the traveling direction of the host vehicle detected by the road shape recognition unit 23, and Based on the current position information of the own vehicle extracted by the own vehicle position information extracting unit 21 and the current speed information of the own vehicle extracted by the own vehicle speed information extracting unit 22, a driving support level is set. The notification device 17 is operated according to the driving support level. For example, in the state in which the presence of a stop line is detected as a road surface marker by the road surface sign recognition unit 26, the driving support determination unit 27 determines the distance from the current position of the host vehicle to the stop line and the current speed of the host vehicle. The driving support level is set to be higher in accordance with a value close to a predetermined threshold required for the host vehicle to stop at the stop line.
報知装置17は、例えば、視覚的伝達装置と、聴覚的伝達装置とを備えて構成されている。
視覚的伝達装置は、例えば表示装置等であって、走行支援判定部27から入力される走行支援レベルに応じて、例えば表示装置に情報を表示したり、所定の表示灯を点滅させる。
聴覚的伝達装置は、例えばスピーカ等であって、走行支援判定部27から入力される走行支援レベルに応じて、所定の報知音や音声等を出力する。
The notification device 17 includes, for example, a visual transmission device and an audio transmission device.
The visual transmission device is, for example, a display device or the like, and displays information on the display device or blinks a predetermined display lamp according to the driving support level input from the driving support determination unit 27, for example.
The auditory transmission device is, for example, a speaker or the like, and outputs a predetermined notification sound, voice, or the like according to the driving support level input from the driving support determination unit 27.
本実施の形態による車両の路面標識検出装置10は上記構成を備えており、次に、この車両の路面標識検出装置10の動作について添付図面を参照しながら説明する。   The vehicle road sign detection device 10 according to the present embodiment has the above-described configuration. Next, the operation of the vehicle road sign detection device 10 will be described with reference to the accompanying drawings.
先ず、図6に示すステップS01においては、外界撮像カメラ11から出力される画像データを取得する。
次に、ステップS02においては、自車両の現在の位置情報と、地図データ記憶部14に格納されている地図データとに基づき、自車両の進行方向前方に所定の道路形状(例えば、交差点等)が存在するか否かを検知する。
次に、ステップS03においては、検知された道路形状の自車両の走行路内に、この走行路に沿って伸びる複数の検知ラインD,…,D,…,Dを、例えば走行路の幅方向に所定間隔(例えば、30cm間隔等)をおいて設定する。
次に、ステップS04においては、設定された各検知ラインD,…,D,…,D毎に対して、各検知ラインD,…,D,…,Dの長さ方向における明るさ(例えば、輝度や明度等)の変化を検知する
First, in step S01 shown in FIG. 6, image data output from the external imaging camera 11 is acquired.
Next, in step S02, based on the current position information of the host vehicle and the map data stored in the map data storage unit 14, a predetermined road shape (for example, an intersection or the like) ahead of the traveling direction of the host vehicle. Whether or not exists is detected.
Next, in step S03, the traveling path of the own vehicle detected road shape, a plurality of sensing lines D 1 extending along the travel path, ..., D k, ..., a D n, for example, the travel path Are set at a predetermined interval (for example, an interval of 30 cm) in the width direction.
Next, in step S04, the sensing line D 1 is set, ..., D k, ..., with respect to each D n, each sensing line D 1, ..., D k, ..., the length direction of the D n Detect changes in brightness (for example, brightness, brightness, etc.)
そして、ステップS05においては、検知された各検知ラインD,…,D,…,Dの長さ方向における明るさの変化に基づき、路面標識(例えば、停止線等)の有無を検知する。
次に、ステップS06においては、検知した路面標識の画像データ上の位置と、実際の走行路上の位置との所定の対応関係を示すデータからなるテーブル等を参照して、検知した路面標識までの実際の距離を算出する。
次に、ステップS07においては、自車両の走行情報として、例えば位置情報および速度情報等を取得する。
Then, in step S05, the sensing line D 1 is detected, ..., D k, ..., based on changes in brightness in the length direction of the D n, detecting the presence or absence of road markings (e.g., stop lines etc.) To do.
Next, in step S06, a table including data indicating a predetermined correspondence between the position of the detected road sign on the image data and the actual position on the road is referred to and the detected road sign is detected. Calculate the actual distance.
Next, in step S07, for example, position information and speed information are acquired as the travel information of the host vehicle.
次に、ステップS08においては、認識された自車両の進行方向前方に存在する路面標識と、検知された自車両の進行方向の道路形状と、取得した自車両の現在の位置情報および速度情報等とに基づき、走行支援レベルを設定する。
そして、ステップS09においては、設定された走行支援レベルが所定支援レベルよりも高いか否かを判定する。
この判定結果が「NO」の場合には、一連の処理を終了する。
一方、この判定結果が「YES」の場合には、ステップS10に進み、設定された走行支援レベルに応じて報知装置17を作動させ、一連の処理を終了する。
これにより、例えば図7に示す自車両Aのように、自車両の進行方向前方に存在する路面標識(例えば、停止線S等)に対する所定の手前位置において、例えば交差点の存在を報知したり、例えば減速操作の実行を促す警報等が出力される。
Next, in step S08, the recognized road surface sign in front of the traveling direction of the host vehicle, the detected road shape in the traveling direction of the host vehicle, the acquired current position information and speed information of the host vehicle, and the like. Based on the above, the driving support level is set.
In step S09, it is determined whether or not the set driving support level is higher than a predetermined support level.
When the determination result is “NO”, the series of processes is terminated.
On the other hand, if this determination is “YES”, the flow proceeds to step S 10, the notification device 17 is operated according to the set travel support level, and the series of processes is ended.
Accordingly, for example, as in the case of the own vehicle A shown in FIG. 7, for example, the presence of an intersection is notified at a predetermined front position with respect to a road sign (for example, the stop line S or the like) that exists in front of the traveling direction of the own vehicle, For example, an alarm prompting execution of a deceleration operation is output.
上述したように、本実施の形態による車両の路面標識検出装置10によれば、外界撮像カメラ11から入力される画像データに対して、例えば各種の路面標識を検知対象物とした特徴量算出および形状判別等の煩雑な認識処理を実行する必要無しに、画像データ上に設定した複数の検知ラインD,…,D,…,D毎の長さ方向における明るさの変化を検知するだけの単純な処理によって所望の路面標識の存在および認識した路面標識までの距離を容易に検知することができる。
しかも、画像データ上において明るさの変化を検知する範囲、つまり複数の検知ラインD,…,D,…,Dを設定する範囲を走行路内に限定することで、例えば走行路外に存在するガードレール等の路面標識以外の物体を誤検知してしまうことを容易に防止することができる。
As described above, according to the road surface sign detection device 10 for a vehicle according to the present embodiment, for example, feature amount calculation using various road signs as detection objects for image data input from the external imaging camera 11 and Detects a change in brightness in the length direction for each of a plurality of detection lines D 1 ,..., D k ,..., D n set on the image data without having to perform complicated recognition processing such as shape discrimination. Only by simple processing, the presence of a desired road sign and the distance to the recognized road sign can be easily detected.
Moreover, the range for detecting a change in brightness in the image data, that is, multiple sensing line D 1, ..., D k, ..., by limiting to the traveling path of the range of setting the D n, for example travel path outside It is possible to easily prevent an object other than a road surface sign such as a guard rail from being erroneously detected.
なお、上述した実施の形態においては、路面標識として停止線Sを検知する場合について説明したが、これに限定されず、例えば図8(a),(b)に示す横断歩道または自転車横断帯の存在を示す菱形標識T等の他の路面標識を検知するように設定してもよい。例えば図8(a),(b)に示す菱形標識Tに対しては、相対的に高い輝度の領域が所定数以上の検知ラインに亘る同等の距離位置には検知されないことから、先ず、停止線S以外の路面標識であると判断される。そして、これらの相対的に高い輝度の領域の位置分布が所定形状(例えば、菱形等)に沿った分布となることが検知されることで、横断歩道の存在を示す菱形標識Tを検知したと判断される。   In the above-described embodiment, the case where the stop line S is detected as a road surface sign has been described. However, the present invention is not limited to this. For example, a crosswalk or a bicycle crossing belt shown in FIGS. You may set so that other road surface signs, such as the rhombus sign T which shows presence, may be detected. For example, for the diamond-shaped sign T shown in FIGS. 8A and 8B, since a relatively high luminance area is not detected at an equal distance position over a predetermined number or more of detection lines, the stop is first performed. It is determined that it is a road surface sign other than the line S. And when the position distribution of these relatively high brightness areas is detected to be a distribution along a predetermined shape (for example, a rhombus), a rhombus sign T indicating the presence of a pedestrian crossing is detected. To be judged.
なお、上述した実施の形態においては、単一の外界撮像カメラ11から出力される画像データに基づき路面標識を認識するとしたが、これに限定されず、例えば複数の外界撮像カメラ11,…,11を備え、これら複数の外界撮像カメラ11,…,11から出力される複数の画像データに基づき路面標識を認識してもよい。
この場合には、複数の外界撮像カメラ11,…,11の各検知対象エリアを、例えば自車両の走行路の長さ方向に沿った互いに異なる領域に設定することで、走行路の長さ方向に対する解像度を増大させることができ、例えば停止線等に比べて、相対的に複雑な形状の路面標識を検知することができる。
In the above-described embodiment, the road surface marker is recognized based on the image data output from the single external imaging camera 11. However, the present invention is not limited to this. For example, a plurality of external imaging cameras 11,. , And the road surface sign may be recognized based on a plurality of image data output from the plurality of external imaging cameras 11.
In this case, the detection target areas of the plurality of external imaging cameras 11,..., 11 are set in different areas along the length direction of the travel path of the host vehicle, for example, thereby the length direction of the travel path. For example, a road sign having a relatively complicated shape can be detected as compared with a stop line or the like.
なお、上述した実施の形態において、車両の路面標識検出装置10は、地図データ記憶部14を備えるとしたが、これに限定されず、例えば自車両の外部に設置された地図データサーバから適宜のタイミングで通信により地図データを取得する地図データ取得部を備えてもよい。   In the above-described embodiment, the road surface sign detection device 10 of the vehicle is provided with the map data storage unit 14. However, the present invention is not limited to this. For example, an appropriate map data server installed outside the host vehicle may be used. You may provide the map data acquisition part which acquires map data by communication at timing.
本発明の一実施形態に係る車両の路面標識検出装置の構成図である。It is a lineblock diagram of the road surface marker detection device of vehicles concerning one embodiment of the present invention. 自車両の進行方向前方の道路上に存在するカーブ形状および交差点を示す地図データのノードデータおよびリンクデータの一例を示す図である。It is a figure which shows an example of the node data and link data of the map data which show the curve shape and intersection which exist on the road ahead of the advancing direction of the own vehicle. 図3(a)は、道路形状認識部にて検知された自車両の走行路内に設定した複数の検知ラインD,…,D,…,Dの一例を示す図であり、図3(b)は、各検知ラインD,…,D,…,Dの長さ方向における輝度の変化の一例を示す図であり、図3(c)は、画像データ上の所定の基準位置から適宜の位置までの画素数と、この画素数に対応する実際の走行路上での距離との間の所定の対応関係の一例を示す図である。FIG. 3A is a diagram illustrating an example of a plurality of detection lines D 1 ,..., D k ,..., D n set in the traveling path of the host vehicle detected by the road shape recognition unit. 3 (b) is a diagram showing an example of a change in luminance in the length direction of each detection line D 1 ,..., D k ,..., D n , and FIG. It is a figure which shows an example of the predetermined | prescribed correspondence relationship between the number of pixels from a reference position to a suitable position, and the distance on the actual driving | running route corresponding to this pixel number. 道路形状認識部にて検知されたカーブ形状内に設定した複数の検知ラインD,…,D,…,Dの一例を示す図である。A plurality of sensing lines D 1 is set to the road shape recognition unit at the detected curve shape, ..., D k, ..., a diagram illustrating an example of a D n. 図5(a)は、道路形状認識部にて検知された自車両の走行路内に設定した複数の検知ラインD,…,D,…,Dの一例を示す図であり、図5(b)は、各検知ラインD,…,D,…,Dの長さ方向における輝度の変化の一例を示す図である。5 (a) is a plurality of sensing lines D 1 is set to the traveling path of the own vehicle detected by the road shape recognition unit, ..., D k, ..., a diagram showing an example of a D n, FIG. . 5 (b), each sensing line D 1, ..., D k, ..., a diagram illustrating an example of a change in luminance in the longitudinal direction of the D n. 図1に示す車両の路面標識検出装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the road surface marker detection apparatus of the vehicle shown in FIG. 進行方向前方の交差点に向かい接近する自車両の相対位置の変化の一例を示す図である。It is a figure which shows an example of the change of the relative position of the own vehicle which approaches toward the intersection ahead of the advancing direction. 図8(a)は、道路形状認識部にて検知された自車両の走行路内に設定した複数の検知ラインD,…,D,…,Dの一例を示す図であり、図8(b)は、各検知ラインD,…,D,…,Dの長さ方向における輝度の変化の一例を示す図である。FIG. 8A is a diagram showing an example of a plurality of detection lines D 1 ,..., D k ,..., D n set in the traveling path of the host vehicle detected by the road shape recognition unit. . 8 (b), each sensing line D 1, ..., D k, ..., a diagram illustrating an example of a change in luminance in the longitudinal direction of the D n.
符号の説明Explanation of symbols
10 車両の路面標識検出装置
11 外界撮像カメラ(撮影手段)
14 地図データ記憶部(データ記憶手段)
24 検知ライン設定部(検知ライン設定手段)
25 明るさ検知部(明るさ検知手段)
26 路面標識認識部(路面標識認識手段)

DESCRIPTION OF SYMBOLS 10 Road surface sign detection apparatus 11 Vehicle imaging camera (photographing means)
14 Map data storage (data storage means)
24 detection line setting section (detection line setting means)
25 Brightness detector (brightness detector)
26 Road surface sign recognition unit (road surface sign recognition means)

Claims (10)

  1. 自車両の進行方向の走行路を含む所定領域を撮影する撮影手段と、
    前記撮影手段により撮影された撮影画像において、前記走行路に沿って伸びる複数の検知ラインを設定する検知ライン設定手段と、
    該検知ラインの長さ方向における明るさの変化を検知する明るさ検知手段と、
    該明るさ検知手段の検知結果に基づき、前記走行路上の路面標識を認識する路面標識認識手段とを備えることを特徴とする車両の路面標識検出装置。
    Photographing means for photographing a predetermined area including a traveling path in the traveling direction of the own vehicle;
    Detection line setting means for setting a plurality of detection lines extending along the travel path in the photographed image photographed by the photographing means;
    Brightness detection means for detecting a change in brightness in the length direction of the detection line;
    A road surface sign detection device for a vehicle, comprising: road surface sign recognition means for recognizing a road surface sign on the traveling road based on a detection result of the brightness detection means.
  2. 前記路面標識認識手段は、前記明るさ検知手段により検知された複数の検知ラインの長さ方向における明るさの変化位置に基づき、前記走行路上の路面標識を認識することを特徴とする請求項1に記載の車両の路面標識検出装置。 The road surface sign recognition means recognizes a road surface sign on the travel road based on a brightness change position in a length direction of a plurality of detection lines detected by the brightness detection means. The road surface sign detection device for a vehicle according to 1.
  3. 予め走行路の半径あるいは曲率を含む走行路の形状を記憶する自車両に搭載されたデータ記憶手段または自車両の外部から前記走行路の形状を取得するデータ取得手段を備え、
    前記検知ライン設定手段は、前記データ取得手段により取得された前記走行路の形状に応じて前記複数の検知ラインの設定数を設定することを特徴とする請求項1または請求項2に記載の車両の路面標識検出装置。
    A data storage means mounted in the host vehicle for storing the shape of the driving path including the radius or curvature of the driving path in advance, or a data acquisition means for acquiring the shape of the driving path from the outside of the host vehicle;
    3. The vehicle according to claim 1, wherein the detection line setting unit sets the set number of the plurality of detection lines according to the shape of the travel path acquired by the data acquisition unit. Road surface sign detection device.
  4. 前記検知ライン設定手段は、前記走行路の半径が小さくなることに伴い、あるいは、前記走行路の曲率が大きくなることに伴い、前記複数の検知ラインの設定数を減少させることを特徴とする請求項3に記載の車両の路面標識検出装置。 The detection line setting unit decreases the number of detection lines set as the radius of the travel path decreases or as the curvature of the travel path increases. Item 4. A road surface sign detection device for a vehicle according to Item 3.
  5. 前記検知ライン設定手段は、前記走行路の幅方向に所定間隔をおいて前記複数の検知ラインを設定することを特徴とする請求項1から請求項4の何れか1つに記載の車両の路面標識検出装置。 The road surface of the vehicle according to any one of claims 1 to 4, wherein the detection line setting means sets the plurality of detection lines at a predetermined interval in a width direction of the traveling road. Label detection device.
  6. 前記路面標識は停止線であることを特徴とする請求項1から請求項5の何れか1つに記載の車両の路面標識検出装置。 The road surface sign detection apparatus for a vehicle according to any one of claims 1 to 5, wherein the road sign is a stop line.
  7. 前記検知ライン設定手段は、隣り合う前記検知ライン間の間隔を、前記停止線以外の路面標識の走行路幅方向の線幅よりも小さな値に設定することを特徴とする請求項6に記載の車両の路面標識検出装置。 The said detection line setting means sets the space | interval between the said adjacent detection lines to a value smaller than the line width of the road surface width direction of road surface signs other than the said stop line, It is characterized by the above-mentioned. Vehicle road sign detection device.
  8. 前記路面標識認識手段は、前記明るさ検知手段により検知された複数の検知ラインの長さ方向における明るさの変化位置が、所定数以上の検知ラインにおいて同等の距離位置である場合に、前記走行路上の路面標識は停止線であると認識することを特徴とする請求項6または請求項7に記載の車両の路面標識検出装置。 The road surface sign recognizing means is configured to perform the traveling when the brightness change positions in the length direction of the plurality of detection lines detected by the brightness detection means are equivalent distance positions in a predetermined number or more of detection lines. The road surface sign detection apparatus for a vehicle according to claim 6 or 7, wherein the road surface sign on the road is recognized as a stop line.
  9. 前記路面標識認識手段は、前記明るさ検知手段により検知された単一の検知ラインの長さ方向における複数の明るさの変化位置において、隣り合う前記変化位置間の間隔が所定値以内である場合に、前記走行路上の路面標識は停止線であると認識することを特徴とする請求項6から請求項8の何れか1つに記載の車両の路面標識検出装置。 The road surface sign recognizing means has a plurality of brightness change positions in a length direction of a single detection line detected by the brightness detection means, and an interval between adjacent change positions is within a predetermined value. The road surface sign detection apparatus for a vehicle according to any one of claims 6 to 8, wherein the road surface sign on the traveling road is recognized as a stop line.
  10. 自車両の進行方向の走行路を含む所定領域であって、前記走行路に沿って互いに異なる前記所定領域を撮影する複数の撮影手段と、
    前記複数の撮影手段により撮影された複数の撮影画像毎に、明るさの変化を検知する明るさ検知手段と、
    該明るさ検知手段の検知結果に基づき、前記走行路上の路面標識を認識する路面標識認識手段とを備えることを特徴とする車両の路面標識検出装置。
    A plurality of photographing means for photographing the predetermined areas that are different from each other along the traveling path, which are predetermined areas including the traveling path in the traveling direction of the host vehicle;
    Brightness detection means for detecting a change in brightness for each of a plurality of captured images captured by the plurality of imaging means;
    A road surface sign detection device for a vehicle, comprising: road surface sign recognition means for recognizing a road surface sign on the traveling road based on a detection result of the brightness detection means.
JP2004203300A 2004-07-09 2004-07-09 Vehicle road surface sign detection device Expired - Fee Related JP4234071B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004203300A JP4234071B2 (en) 2004-07-09 2004-07-09 Vehicle road surface sign detection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004203300A JP4234071B2 (en) 2004-07-09 2004-07-09 Vehicle road surface sign detection device

Publications (2)

Publication Number Publication Date
JP2006024105A true JP2006024105A (en) 2006-01-26
JP4234071B2 JP4234071B2 (en) 2009-03-04

Family

ID=35797318

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004203300A Expired - Fee Related JP4234071B2 (en) 2004-07-09 2004-07-09 Vehicle road surface sign detection device

Country Status (1)

Country Link
JP (1) JP4234071B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009072507A1 (en) * 2007-12-05 2009-06-11 Nec Corporation Pavement marker recognition device, pavement marker recognition method and pavement marker recognition program
US20110135155A1 (en) * 2009-12-09 2011-06-09 Fuji Jukogyo Kabushiki Kaisha Stop line recognition device
CN110766949A (en) * 2018-07-27 2020-02-07 浙江宇视科技有限公司 Violation snapshot method and device

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009072507A1 (en) * 2007-12-05 2009-06-11 Nec Corporation Pavement marker recognition device, pavement marker recognition method and pavement marker recognition program
JP4973736B2 (en) * 2007-12-05 2012-07-11 日本電気株式会社 Road marking recognition device, road marking recognition method, and road marking recognition program
US9123242B2 (en) 2007-12-05 2015-09-01 Nec Corporation Pavement marker recognition device, pavement marker recognition method and pavement marker recognition program
US20110135155A1 (en) * 2009-12-09 2011-06-09 Fuji Jukogyo Kabushiki Kaisha Stop line recognition device
US8638990B2 (en) * 2009-12-09 2014-01-28 Fuji Jukogyo Kabushiki Kaisha Stop line recognition device
CN110766949A (en) * 2018-07-27 2020-02-07 浙江宇视科技有限公司 Violation snapshot method and device

Also Published As

Publication number Publication date
JP4234071B2 (en) 2009-03-04

Similar Documents

Publication Publication Date Title
JP6189815B2 (en) Traveling line recognition system
JP4680131B2 (en) Own vehicle position measuring device
US8346473B2 (en) Lane determining device, lane determining method and navigation apparatus using the same
JP4321821B2 (en) Image recognition apparatus and image recognition method
JP2006208223A (en) Vehicle position recognition device and vehicle position recognition method
EP2269883A1 (en) Lane judgement equipment and navigation system
JP2006209511A (en) Image recognition device and method, position specification device using it, vehicle controller, and navigation device
JP6129268B2 (en) Vehicle driving support system and driving support method
EP3315911B1 (en) Vehicle position determination device and vehicle position determination method
JP4775658B2 (en) Feature recognition device, vehicle position recognition device, navigation device, feature recognition method
JP2013019680A (en) Traveling control device
JP2007257299A (en) Vehicle external recognition system
JP2007257303A (en) Traffic light recognition system
KR101281629B1 (en) Driving guidance system using sensors
JP2007257301A (en) Sign recognition system for vehicle
JP4234071B2 (en) Vehicle road surface sign detection device
US10339803B2 (en) Method for operating an assistance system of a motor vehicle and assistance system
JP2007071539A (en) On-vehicle navigation device
JP4953015B2 (en) Own vehicle position recognition device, own vehicle position recognition program, and navigation device using the same
JP2004295597A (en) Stop line detecting device for vehicle
JP2017102607A (en) Drive support device
JP4977218B2 (en) Self-vehicle position measurement device
JP2017009554A (en) Vehicle location determination device and vehicle location determination method
JP2019212188A (en) Road sign recognition device
JP2007183846A (en) Sign recognition apparatus for vehicle, and vehicle controller

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061128

A977 Report on retrieval

Effective date: 20080807

Free format text: JAPANESE INTERMEDIATE CODE: A971007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080902

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081021

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Effective date: 20081202

Free format text: JAPANESE INTERMEDIATE CODE: A01

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081210

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111219

Year of fee payment: 3

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees