KR101178507B1 - Pavement marking recogniton system and method - Google Patents
Pavement marking recogniton system and method Download PDFInfo
- Publication number
- KR101178507B1 KR101178507B1 KR1020100078831A KR20100078831A KR101178507B1 KR 101178507 B1 KR101178507 B1 KR 101178507B1 KR 1020100078831 A KR1020100078831 A KR 1020100078831A KR 20100078831 A KR20100078831 A KR 20100078831A KR 101178507 B1 KR101178507 B1 KR 101178507B1
- Authority
- KR
- South Korea
- Prior art keywords
- road
- histogram
- road marking
- candidate region
- image
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
본 발명은 도로 표식 인식 방법 및 시스템에 관한 것으로, 본 발명에 따른 방법은 도로를 촬영한 영상에서 도로 표식 후보 영역을 검출하는 단계, 도로 표식 후보 영역에 해당하는 픽셀을 제1 방향을 가지는 라인 별로 카운팅하여 제1 히스토그램을 구하는 단계, 도로 표식 후보 영역에 해당하는 픽셀을 제2 방향을 가지는 라인 별로 카운팅하여 제2 히스토그램을 구하는 단계, 제1 히스토그램과 제2 히스토그램을 이용하여 도로 표식 후보 영역의 특징 벡터를 구하는 단계, 그리고 특징 벡터를 이용하여 도로 표식 후보 영역의 도로 표식 종류를 판단하는 단계를 포함한다. 본 발명에 의하면 도로 표식 인식을 신경망을 통해 수행할 수 있고, 도로 표식 인식에 소요되는 시간 및 비용을 줄이면서도 도로 표식 인식을 정확하게 수행할 수 있다.The present invention relates to a method and a system for recognizing road markings. The method according to the present invention includes detecting a road marking candidate region from an image of a road, and each pixel having a first direction for pixels corresponding to the road marking candidate region. Counting a first histogram by counting a pixel, and counting a pixel corresponding to the road marker candidate area for each line having a second direction to obtain a second histogram, and using a first histogram and a second histogram Obtaining a vector, and determining the type of road marker in the road marker candidate region by using the feature vector. According to the present invention, road marking recognition can be performed through a neural network, and road marking recognition can be accurately performed while reducing the time and cost required for road marking recognition.
Description
본 발명은 도로 표식 인식 시스템 및 방법에 관한 것으로, 보다 상세하게는 수평 히스토그램 및 수직 히스토그램을 기초로 구해지는 도로 표식에 대응되는 특성 벡터를 신경망에 입력하여 도로 상에 표시된 표식을 인식할 수 있는 시스템 및 방법에 관한 것이다.The present invention relates to a system and method for recognizing road markers, and more particularly, to a system capable of recognizing a marker displayed on a road by inputting a characteristic vector corresponding to a road marker obtained based on a horizontal histogram and a vertical histogram into a neural network. And to a method.
Global Positioning System(GPS)는 네비게이션 시스템에서 차량의 위치를 확인하는데 이용된다. 그런데 GPS는 대략 10M 정도의 위치 오차를 가지기 때문에 차량이 도로 상에서 어느 차선을 주행하는지 등의 주행 상황을 정확하게 알기 어렵기 때문에 네비게이션 시스템은 운전자에게 주행 도로에 대한 정보, 일방 통행 또는 유턴(U-TURN) 가능 여부 등에 대한 안내를 하기 어렵다.Global Positioning System (GPS) is used to locate a vehicle in a navigation system. However, since the GPS has a position error of about 10M, it is difficult to know exactly which lane the vehicle is driving on the road, so the navigation system provides the driver with information about the driving road, one-way or U-turn. ) It is difficult to provide guidance on the availability.
그런데 최근 들어 차량에 카메라를 장착하여 차량 주변 영상을 획득하고 이를 처리하여 사용자에게 차량 운행과 관련된 부가 정보를 제공하는 기술에 대한 개발이 점차 늘어나고 있다. 한편 차량이 주행하는 도로 상에는 도 9에 나타낸 것과 같은 도로 표식 등이 표시되어 있다.Recently, however, the development of a technology for acquiring an image of a vehicle surrounding by installing a camera in a vehicle and processing the same to provide additional information related to driving a vehicle to a user is increasing. On the other hand, road signs and the like as shown in Fig. 9 are displayed on the road on which the vehicle travels.
따라서 본 발명이 해결하려는 과제는 도로 상의 표식을 인식하여 차량이 주행하는 도로가 어떠한 종류인지 파악하고 그에 맞추어 운전자에게 적절한 안내를 제공할 수 있도록 지원하기 위한 도로 표식 인식 시스템 및 방법을 제공하는 것이다.Accordingly, an object of the present invention is to provide a road marking recognition system and method for supporting a driver to recognize a mark on a road, to identify what kind of road a vehicle runs, and to provide an appropriate guide to the driver accordingly.
이러한 기술적 과제를 해결하기 위한 본 발명의 한 실시예에 따른 도로 표식 인식 방법은, 도로를 촬영한 영상에서 도로 표식 후보 영역을 검출하는 단계, 상기 도로 표식 후보 영역에 해당하는 픽셀을 제1 방향을 가지는 라인 별로 카운팅하여 제1 히스토그램을 구하는 단계, 상기 도로 표식 후보 영역에 해당하는 픽셀을 제2 방향을 가지는 라인 별로 카운팅하여 제2 히스토그램을 구하는 단계, 상기 제1 히스토그램과 상기 제2 히스토그램을 이용하여 상기 도로 표식 후보 영역의 특징 벡터를 구하는 단계, 그리고 상기 특징 벡터를 이용하여 상기 도로 표식 후보 영역에 대한 도로 표식 종류를 판단하는 단계를 포함한다.According to an aspect of the present invention, there is provided a method for recognizing a road marking candidate region in an image photographing a road, and selecting a pixel corresponding to the road marking candidate region in a first direction. Obtaining a first histogram by counting lines having a line number, counting a pixel corresponding to the road marking candidate area by a line having a second direction, and obtaining a second histogram, by using the first histogram and the second histogram Obtaining a feature vector of the road marking candidate region, and determining a type of road marking for the road marking candidate region by using the feature vector.
상기 제1 방향은 상기 도로를 촬영한 영상에서 수평 방향이고, 상기 제2 방향은 상기 도로를 촬영한 영상에서 수직 방향일 수 있다.The first direction may be a horizontal direction in the image photographing the road, and the second direction may be a vertical direction in the image photographing the road.
상기 도로를 촬영한 영상에서 주행 도로의 좌우 차선을 인식하는 단계를 더 포함할 수 있다.The method may further include recognizing the left and right lanes of the driving road in the image photographing the road.
상기 도로 표식 후보 영역 검출은 상기 좌우 차선 사이에서 수행될 수 있다.The road marking candidate area detection may be performed between the left and right lanes.
상기 제1 방향은 상기 도로를 촬영한 영상에서 수평 방향이고, 상기 제2 방향은 실제 도로에서 상기 좌우 차선과 평행한 방향에 대응될 수 있다.The first direction may be a horizontal direction in the image of the road, and the second direction may correspond to a direction parallel to the left and right lanes on an actual road.
상기 제1 히스토그램 및 상기 제2 히스토그램을 미리 정해진 상기 특징 벡터의 차원에 따라 샘플링하여 상기 특징 벡터를 구할 수 있다.The feature vector may be obtained by sampling the first histogram and the second histogram according to a predetermined dimension of the feature vector.
상기 도로 표식 후보 영역에 대한 도로 표식 종류 판단은 학습된 신경망으로 수행될 수 있다.The road marking type determination for the road marking candidate region may be performed by the learned neural network.
본 발명의 실시예에 따른 컴퓨터로 읽을 수 있는 매체는 상기한 방법 중 어느 하나를 컴퓨터에 실행시키기 위한 프로그램을 기록한다.A computer-readable medium according to an embodiment of the present invention records a program for causing a computer to execute any one of the above methods.
본 발명의 실시예에 따른 도로 표식 인식 시스템은, 도로를 촬영한 영상에서 도로 표식 후보 영역을 검출하는 도로 표식 후보 영역 검출부, 상기 도로 표식 후보 영역에 대한 수평 히스토그램 및 수직 히스토그램을 구하는 히스토그램 생성부, 상기 수평 히스토그램 및 수직 히스토그램을 이용하여 상기 도로 표식 후보 영역의 특징 벡터를 구하는 특징 벡터 생성부, 그리고 상기 특징 벡터를 이용하여 상기 도로 표식 후보 영역의 도로 표식 종류를 판단하는 도로 표식 종류 판단부를 포함한다.In accordance with another aspect of the present invention, there is provided a road marking recognition system comprising: a road marking candidate region detecting unit detecting a road marking candidate region from an image of a road, a histogram generating unit obtaining a horizontal histogram and a vertical histogram of the road marking candidate region; A feature vector generation unit for obtaining a feature vector of the road marker candidate region using the horizontal histogram and a vertical histogram; and a road marker type determination unit for determining a road marker type of the road marker candidate region using the feature vector. .
상기 도로 표식 후보 영역 검출부는, 상기 도로를 촬영한 영상에서 좌우 차선을 인식하고, 상기 도로 표식 후보 영역 검출은 주행 도로의 좌우 차선 사이에서 수행할 수 있다.The road marking candidate area detection unit may recognize left and right lanes in the image photographing the road, and the road marking candidate area detection may be performed between left and right lanes of a driving road.
상기 수평 방향 히스토그램은 상기 도로 표식 후보 영역에 해당하는 픽셀을 상기 도로를 촬영한 영상에서 수평 방향을 가지는 라인 별로 카운팅하여 구하고, 상기 수직 방향 히스토그램은 상기 도로 표식 후보 영역에 해당하는 픽셀을 실제 도로에서 상기 좌우 차선과 평행한 방향에 대응되는 방향을 가지는 라인 별로 카운팅하여 구할 수 있다.The horizontal histogram is obtained by counting pixels corresponding to the road marking candidate area for each line having a horizontal direction in the image of the road image, and the vertical histogram is a pixel corresponding to the road marking candidate area on an actual road. Counting may be performed for each line having a direction corresponding to a direction parallel to the left and right lanes.
본 발명에 의하면, 도로 표식 인식을 신경망을 통해 수행할 수 있고, 도로 표식 인식에 소요되는 시간 및 비용을 줄이면서도 도로 표식 인식을 정확하게 수행할 수 있다.According to the present invention, road marking recognition can be performed through a neural network, and road marking recognition can be accurately performed while reducing time and cost required for road marking recognition.
도 1은 본 발명의 한 실시예에 따른 도로 표식 인식 시스템을 설명하기 위해 제공되는 블록도이다.
도 2는 도 1의 도로 표식 인식 시스템을 보다 상세하게 나타낸 블록도이다.
도 3은 도 1의 도로 표식 인식 시스템의 동작을 설명하기 위해 제공되는 흐름도이다.
도 4(a)는 도로 전방 촬영 영상을 예시한 사진이고, 도 4(b)는 도로 전방 촬영 영상에서 검출된 도로 표식 후보 영역을 예시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 도로 표식 후보 영역 검출 방법을 설명하기 위해 제공되는 도면이다.
도 6은 본 발명의 일 실시예에 따른 수평 히스토그램 및 수직 히스토그램을 생성하는 방법을 설명하기 위해 제공되는 도면이다.
도 7은 본 발명의 다른 실시예에 따른 수직 히스토그램을 생성하는 방법을 설명하기 위해 제공되는 도면이다.
도 8은 본 발명의 일 실시예에 따른 수형 히스토그램, 수직 히스토그램 및 특성 벡터를 예시한 도면이다.
도 9는 도로 상에 표시되는 도로 표식 종류를 예시한 도면이다.1 is a block diagram provided to explain a road marking recognition system according to an embodiment of the present invention.
FIG. 2 is a block diagram illustrating the road marking recognition system of FIG. 1 in more detail.
FIG. 3 is a flowchart provided to explain an operation of the road marking recognition system of FIG. 1.
4 (a) is a photograph illustrating a road front photographing image, and FIG. 4 (b) is a diagram illustrating a road marking candidate region detected in the road front photographing image.
5 is a view provided to explain a method for detecting a road marking candidate region according to an embodiment of the present invention.
6 is a view provided to explain a method of generating a horizontal histogram and a vertical histogram according to an embodiment of the present invention.
7 is a view provided to explain a method of generating a vertical histogram according to another embodiment of the present invention.
8 illustrates a vertical histogram, a vertical histogram, and a characteristic vector according to an embodiment of the present invention.
9 is a diagram illustrating types of road markings displayed on a road.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention.
도 1은 본 발명의 한 실시예에 따른 도로 표식 인식 시스템을 설명하기 위해 제공되는 블록도이다.1 is a block diagram provided to explain a road marking recognition system according to an embodiment of the present invention.
도 1을 참고하면, 먼저 도로 표식 인식 시스템(200)은 차량(도시하지 않음)에 설치된 카메라 모듈(100)로부터 획득된 영상을 전달받고, 이를 기초로 도로 상에 표시된 도로 표식의 종류를 파악하는 기능을 수행한다.Referring to FIG. 1, first, the road
카메라 모듈(100)은 차량의 전방에 설치되어 차량 전방 도로에 대한 영상을 획득하는 기능을 수행한다. 카메라 모듈(100)은 획득된 영상을 실시간으로 도로 표식 인식 시스템(200)에 전달한다. 카메라 모듈(100)은 광각 렌즈 또는 어안 렌즈와 같이 화각이 큰 렌즈를 구비할 수 있으며 핀홀 카메라를 포함한다. 카메라 모듈(100)은 60°에서 120°정도의 넓은 화각을 가지는 렌즈를 통해 3차원의 피사체를 2차원의 영상으로 획득할 수 있다.The
도 2는 도 1의 도로 표식 인식 시스템을 보다 상세하게 나타낸 블록도이다.FIG. 2 is a block diagram illustrating the road marking recognition system of FIG. 1 in more detail.
그러면 도 2를 참고하여 본 발명에 따른 도로 표식 인식 시스템에 대해 보다 자세하게 설명한다.2 will be described in more detail with respect to the road marking recognition system according to the present invention.
도 2를 참고하면, 도로 표식 인식 시스템(200)은 도로 표식 후보 영역 검출부(210), 히스토그램 생성부(230), 특징 벡터 생성부(250) 및 도로 표식 종류 판단부(270)를 포함할 수 있다.2, the road
도로 표식 후보 영역 검출부(210)는 카메라 모듈(100)로부터 도로를 촬영한 영상을 전달받아 도로 표식 후보 영역을 검출하는 기능을 수행한다.The road marking candidate region detection unit 210 receives the image photographing the road from the
히스토그램 생성부(230)는 도로 표식 후보 영역에 대한 수평 히스토그램 및 수직 히스토그램을 구하는 기능을 수행한다.The histogram generator 230 calculates a horizontal histogram and a vertical histogram of the road marking candidate region.
특징 벡터 생성부(250)는 도로 표식 후보 영역에 대한 수평 히스토그램 및 수직 히스토그램을 이용하여 도로 표식 후보 영역의 특징 벡터를 구하는 기능을 수행한다.The feature vector generator 250 calculates a feature vector of the road marker candidate region by using a horizontal histogram and a vertical histogram of the road marker candidate region.
도로 표식 종류 판단부(270)는 도로 표식 후보 영역에 대한 특징 벡터를 이용하여 도로 표식 후보 영역의 종류를 판단하는 기능을 수행한다.The road marking type determination unit 270 determines a type of the road marking candidate area by using the feature vector of the road marking candidate area.
도 3은 도 1의 도로 표식 인식 시스템의 동작을 설명하기 위해 제공되는 흐름도이다.FIG. 3 is a flowchart provided to explain an operation of the road marking recognition system of FIG. 1.
그러면 도 3을 참고하여 본 발명에 따른 도로 표식 인식 시스템의 동작에 대해 보다 자세하게 설명한다.3 will be described in more detail with respect to the operation of the road marking recognition system according to the present invention.
도 3을 참고하면, 먼저 도로 표식 후보 영역 검출부(210)는 카메라 모듈(100)로부터 도로를 촬영한 영상을 전달받는다(S305).Referring to FIG. 3, first, the road marking candidate region detection unit 210 receives an image photographing a road from the camera module 100 (S305).
이후 도로 표식 후보 영역 검출부(210)는 도로를 촬영한 영상에서 좌우 차선을 검출할 수 있다(S310). 영상으로부터 차선을 추출하는 방법은 허프 변환(hough transform)을 이용할 수 있다. 허프 변환은 2차원 영상 좌표에서 특정 점들을 이용하여 직선을 검출하는 알고리즘이다. 허프 변환 외에도 다른 알고리즘을 이용하여 차선을 검출하는 것도 가능하다.Thereafter, the road marking candidate region detection unit 210 may detect left and right lanes from an image of the road (S310). A method of extracting a lane from an image may use a hough transform. Hough transform is an algorithm for detecting a straight line using specific points in two-dimensional image coordinates. In addition to the Hough transform, it is also possible to detect the lane using another algorithm.
다음으로 도로 표식 후보 영역 검출부(210)는 검출된 좌우 차선 사이의 영역에서 도로 표식 후보 영역을 검출한다(S315). 일반적으로 도로 표식은 주행 도로의 좌우 차선 사이에 항상 위치하고 검은색 아스팔트 위에 하얀색으로 표시되는 점을 이용하여 도로 표식 후보 영역을 검출할 수 있다.Next, the road marking candidate area detection unit 210 detects the road marking candidate area in the area between the detected left and right lanes (S315). In general, the road marking is always located between the left and right lanes of the driving road, and the road marking candidate area may be detected by using a point displayed in white on black asphalt.
도 4(a)는 도로 전방 촬영 영상을 예시한 사진이고, 도 4(b)는 도로 전방 촬영 영상에서 검출된 도로 표식 후보 영역을 예시한 도면이다.4 (a) is a photograph illustrating a road front photographing image, and FIG. 4 (b) is a diagram illustrating a road marking candidate region detected in the road front photographing image.
도 4(a) 및 도 4(b)를 참고하면, 도로 표식 후보 영역 검출부(210)는 붉은 색 실선으로 나타낸 좌우 차선(41, 42)의 사이 영역(A)에서 도로 표식 후보 영역(B)을 검출한다. 따라서 전체 영상에 대해서 도로 표식 후보 영역을 검출하는 것보다 이미지 처리 효율을 높일 수 있다.Referring to FIGS. 4A and 4B, the road marking candidate area detection unit 210 may display the road marking candidate area B in an area A between the left and
좌우 차선의 사이 영역에서 도로 표식 후보 영역을 검출하기 위해 다음과 같은 방법이 이용될 수 있다.The following method may be used to detect the road marking candidate area in the area between the left and right lanes.
도 5는 본 발명의 일 실시예에 따른 도로 표식 후보 영역 검출 방법을 설명하기 위해 제공되는 도면이다.5 is a view provided to explain a method for detecting a road marking candidate region according to an embodiment of the present invention.
도 5를 참고하면, 위에서 설명한 것과 같이 도로 표식은 검은색 아스팔트 위에 하얀색으로 표시되기 때문에 도 5(a)에 나타낸 것과 같은 이미지 픽셀 값을 가지게 된다. 여기서 X축은 도로 전방 영상에서 수평 방향에 대응된다.Referring to FIG. 5, as described above, the road markings are displayed in white on black asphalt, and thus have image pixel values as shown in FIG. 5 (a). Here, the X axis corresponds to the horizontal direction in the road ahead image.
따라서 도로 전방 영상에 대해 아래 수학식으로 나타내는 것과 같은 마스크 행렬(H)을 적용하여 각 픽셀에 대한 수평 에지 값(E)을 구하면 도 5(b)에 나타낸 것과 같은 수평 에지 값의 분포를 가지게 된다.Therefore, if the horizontal edge value E for each pixel is obtained by applying the mask matrix H as shown in the following equation for the road ahead image, the horizontal edge value as shown in FIG. .
여기서 Exy는 (x,y) 픽셀의 수평 에지 값(E)이고, Ixy는 (x,y) 픽셀의 이미지 픽셀 값이다.Where E xy is the horizontal edge value (E) of (x, y) pixels and I xy is the image pixel value of (x, y) pixels.
도 5(b)에 나타낸 수평 에지 값의 분포를 참고하면, 도로 표식과 아스팔트 사이의 경계 부분에서 수평 에지 값이 로컬 최대와 로컬 최소를 가지게 된다. 따라서 이를 기초로 도 5(c)에 나타낸 것과 같이 로컬 최대와 로컬 최소 사이 영역에 대해서는 이미지 픽셀 값을 1로, 그외 영역에 대해서는 이미지 픽셀 값을 0으로 처리함으로써 도로 표식 후보 영역을 구할 수 있다. 한편 위에서 설명한 방법 외에도 좌우 차선의 사이 영역에서 도로 표식 후보 영역을 검출하는 다른 방법을 이용하는 것도 가능하다.Referring to the distribution of the horizontal edge values shown in FIG. 5 (b), the horizontal edge values have a local maximum and a local minimum at the boundary portion between the road marking and the asphalt. Accordingly, as shown in FIG. 5C, the road marking candidate region can be obtained by processing the image pixel value as 1 for the region between the local maximum and the local minimum and 0 for the other regions. Meanwhile, in addition to the above-described method, it is also possible to use another method of detecting the road marking candidate area in the area between the left and right lanes.
다시 도 3을 참고하면, 히스토그램 생성부(230)는 단계(S315)에서 검출된 도로 표식 후보 영역에 대한 수평 히스토그램 및 수직 히스토그램을 생성한다(S320). 본 발명에 따른 실시예에서 수평 히스토그램 및 수직 히스토그램을 생성하는 방법에 대해 도 6 및 도 7을 참고하여 자세히 설명한다.Referring to FIG. 3 again, the histogram generator 230 generates a horizontal histogram and a vertical histogram of the road marking candidate region detected in step S315 (S320). A method of generating a horizontal histogram and a vertical histogram in an embodiment according to the present invention will be described in detail with reference to FIGS. 6 and 7.
도 6은 본 발명의 일 실시예에 따른 수평 히스토그램 및 수직 히스토그램을 생성하는 방법을 설명하기 위해 제공되는 도면이고, 도 7은 본 발명의 다른 실시예에 따른 수직 히스토그램을 생성하는 방법을 설명하기 위해 제공되는 도면이다.6 is a view provided to explain a method of generating a horizontal histogram and a vertical histogram according to an embodiment of the present invention, and FIG. 7 is a view to explain a method of generating a vertical histogram according to another embodiment of the present invention. It is a drawing provided.
도 6을 참고하면, 수평 히스토그램은 도 4(b)의 도로 표식 후보 영역(B)에 해당하는 픽셀을 제1 방향을 가지는 라인(lx) 별로 카운팅하여 구할 수 있다. 여기서 제1 방향은 도로를 촬영한 영상에서 수평 방향(X축 방향)에 해당한다.Referring to FIG. 6, the horizontal histogram may be obtained by counting pixels corresponding to the road marking candidate region B of FIG. 4B for each line l x having a first direction. Here, the first direction corresponds to a horizontal direction (X-axis direction) in the image of the road.
한편 수직 히스토그램은 도 4(b)의 도로 표식 후보 영역(B)에 해당하는 픽셀을 제2 방향을 가지는 라인(ly) 별로 카운팅하여 구할 수 있다. 여기서 제2 방향은 도로를 촬영한 영상에서 수직 방향(Y축 방향)으로 정해질 수 있다. The vertical histogram may be obtained by counting pixels corresponding to the road marking candidate region B of FIG. 4B for each line l y having a second direction. The second direction may be determined in a vertical direction (Y-axis direction) in the image of the road.
그런데 도 4(a)에 예시한 것처럼 도로 전방을 촬영한 영상에서 차량과 가까운 부분이 차량에서 먼 부분보다 크게 나타나기 때문에 영상에서 수직 방향으로 카운팅하면 실제 도로 상에서는 경사지게 카운팅된다. 따라서 실제 도로 상에 표시된 도로 표식의 특성을 왜곡되게 반영할 가능성이 있다. 이를 해결하기 위해 수직 히스토그램은 도 7에 나타낸 것과 같이 영상에서 좌우 차선이 만나는 소실점(Pv)을 지나는 라인(lv) 별로 도 4(b)의 도로 표식 후보 영역(B)에 해당하는 픽셀을 카운팅하는 것이 보다 바람직하다. 그 이유는 좌우 차선이 만나는 소실점(Pv)을 지나는 라인들은 실제 도로 상에서 좌우 차선에 평행한 방향을 가지기 때문이다.However, as illustrated in FIG. 4A, since the portion closer to the vehicle is larger than the portion farther from the vehicle in the image photographing the road front, counting in the vertical direction in the image is counted inclined on the actual road. Therefore, it is possible to distort the characteristics of the road markings displayed on the actual road. To solve this problem, the vertical histogram counts pixels corresponding to the road marking candidate area B of FIG. 4B for each line l v passing through the vanishing point Pv where the left and right lanes meet in the image, as shown in FIG. 7. It is more preferable to do. This is because the lines passing through the vanishing point P v where the left and right lanes meet have a direction parallel to the left and right lanes on the actual road.
도 8은 본 발명의 일 실시예에 따른 수형 히스토그램, 수직 히스토그램 및 특성 벡터를 예시한 도면이다.8 illustrates a vertical histogram, a vertical histogram, and a characteristic vector according to an embodiment of the present invention.
도 8(a) 및 도 8(b)는 위에서 설명한 것과 같은 방법에 의해 도 4(b)의 도로 표식 후보 영역(B)에 대해 구해진 수평 히스토그램 및 수직 히스토그램으로써 가로 축은 스캔 라인수이고 세로 축은 픽셀 개수를 나타낸다. 그리고 수평 히스토그램은 60개의 스캐 라인에 대해 구해졌고, 수직 히스토그램은 80개의 스캔 라인에 대해 구해졌다.8 (a) and 8 (b) are horizontal histograms and vertical histograms obtained for the road marking candidate area B of FIG. 4 (b) by the same method as described above, where the horizontal axis is the number of scan lines and the vertical axis is the pixel. Indicates the number. Horizontal histograms were obtained for 60 scan lines and vertical histograms were obtained for 80 scan lines.
다시 도 3을 참고하면, 특징 벡터 생성부(250)는 단계(S320)에서 생성된 수평 히스토그램 및 수직 히스토그램을 이용하여 도로 표식 후보 영역의 특징 벡터를 구한다(S325). 여기서 특징 벡터는 도로 표식 후보 영역의 특성을 나타내는 N-차원의 열 벡터로 정의할 수 있으며, 수평 히스토그램 및 수직 히스토그램에서 추출되는 수평 히스토그램 벡터 및 수직 히스토그램 벡터를 연결하여 구할 수 있다.Referring back to FIG. 3, the feature vector generator 250 obtains a feature vector of the road marking candidate region using the horizontal histogram and the vertical histogram generated in step S320 (S325). The feature vector may be defined as an N-dimensional column vector representing characteristics of the road marking candidate region, and may be obtained by connecting a horizontal histogram vector and a vertical histogram vector extracted from the horizontal histogram and the vertical histogram.
예를 들어 특징 벡터의 차원이 60으로 미리 정해져 있다고 가정하면, 수평 히스토그램 및 수직 히스토그램을 각각 30개의 구간으로 나누고 각 구간의 최대값으로부터 각각 수평 히스토그램 벡터 및 수직 히스토그램 벡터를 추출할 수 있다. 한편 실시예에 따라 특징 벡터의 차원은 달라질 수 있으며, 수평 히스토그램 벡터 및 수직 히스토그램 벡터의 차원도 서로 다를 수 있다.For example, assuming that the dimension of the feature vector is predetermined as 60, the horizontal histogram and the vertical histogram may be divided into 30 sections, and the horizontal histogram vector and the vertical histogram vector may be extracted from the maximum values of the sections. According to an exemplary embodiment, the dimension of the feature vector may vary, and the dimensions of the horizontal histogram vector and the vertical histogram vector may be different from each other.
도 8(c)는 위에서 설명한 방법에 의해 도 8(a) 및 도 8(b)의 수평 히스토그램 및 수직 히스토그램으로부터 구해진 60-차원의 특징 벡터가 예시되어 있으며, 특징 벡터의 좌측 부분은 수평 히스토그램에 대응되고 우측 부분은 수직 히스토그램에 대응된다.Fig. 8 (c) illustrates a 60-dimensional feature vector obtained from the horizontal and vertical histograms of Figs. 8 (a) and 8 (b) by the method described above, and the left portion of the feature vector is shown in the horizontal histogram. The right part corresponds to the vertical histogram.
마지막으로 도로 표식 종류 판단부(270)는 단계(S325)에서 구해진 특징 벡터를 이용하여 도로 표식 후보 영역의 종류를 판단한다(S330). 보다 자세하게는 도로 표식 종류 판단부(270)는 학습된 신경망을 이용하여 도로 표식 후보 영역의 종류를 판단할 수 있다. 예를 들어 60-차원의 특징 벡터를 입력 받아 도 9에서 예시한 것과 같은 11 종류의 도로 표식 중 하나에 대응되는 11-차원의 바이폴라(bipolar) 벡터를 출력할 수 있는 신경망이 이용될 수 있다.Finally, the road marking type determination unit 270 determines the type of the road marking candidate region using the feature vector obtained in step S325 (S330). In more detail, the road marking type determination unit 270 may determine the type of the road marking candidate region by using the learned neural network. For example, a neural network capable of receiving a 60-dimensional feature vector and outputting an 11-dimensional bipolar vector corresponding to one of 11 types of road markers as illustrated in FIG. 9 may be used.
본 발명의 실시예는 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터로 읽을 수 있는 매체를 포함한다. 이 매체는 앞서 설명한 도로 표식 인식 방법을 실행시키기 위한 프로그램을 기록한다. 이 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이러한 매체의 예에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기 매체, CD 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 자기-광 매체, 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치 등이 있다. 또는 이러한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.Embodiments of the present invention include a computer-readable medium having program instructions for performing various computer-implemented operations. This medium records a program for executing the road marking recognition method described above. The medium may include program instructions, data files, data structures, etc., alone or in combination. Examples of such media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD and DVD, programmed instructions such as floptical disk and magneto-optical media, ROM, RAM, And a hardware device configured to store and execute the program. Or such medium may be a transmission medium, such as optical or metal lines, waveguides, etc., including a carrier wave that transmits a signal specifying a program command, data structure, or the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the preferred embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements of those skilled in the art using the basic concepts of the present invention defined in the following claims are also provided. It belongs to the scope of rights.
Claims (11)
상기 도로 표식 후보 영역에 해당하는 픽셀을 제1 방향을 가지는 라인 별로 카운팅하여 제1 히스토그램을 구하는 단계,
상기 도로 표식 후보 영역에 해당하는 픽셀을 제2 방향을 가지는 라인 별로 카운팅하여 제2 히스토그램을 구하는 단계,
상기 제1 히스토그램과 상기 제2 히스토그램을 이용하여 상기 도로 표식 후보 영역의 특징 벡터를 구하는 단계, 그리고
상기 특징 벡터를 이용하여 상기 도로 표식 후보 영역에 대한 도로 표식 종류를 판단하는 단계를 포함하는 도로 표식 인식 방법.Detecting a road marking candidate region from a road image;
Obtaining a first histogram by counting pixels corresponding to the road marking candidate region for each line having a first direction;
Obtaining a second histogram by counting pixels corresponding to the road marking candidate region for each line having a second direction;
Obtaining a feature vector of the road marking candidate region using the first histogram and the second histogram, and
And determining a road marking type for the road marking candidate region by using the feature vector.
상기 제1 방향은 상기 도로를 촬영한 영상에서 수평 방향이고, 상기 제2 방향은 상기 도로를 촬영한 영상에서 수직 방향인 도로 표식 인식 방법.The method of claim 1,
The first direction is a horizontal direction in the image of the road photographed, the second direction is a road marking recognition method in the vertical direction in the image of the road.
상기 도로를 촬영한 영상에서 주행 도로의 좌우 차선을 인식하는 단계를 더 포함하는 도로 표식 인식 방법.The method of claim 1,
And recognizing left and right lanes of a driving road in the image of the road.
상기 도로 표식 후보 영역 검출은 상기 좌우 차선 사이에서 수행되는 도로 표식 인식 방법.In claim 3,
The road marking candidate region detection is performed between the left and right lanes.
상기 제1 방향은 상기 도로를 촬영한 영상에서 수평 방향이고, 상기 제2 방향은 실제 도로에서 상기 좌우 차선과 평행한 방향에 대응되는 도로 표식 인식 방법.In claim 3,
And the first direction is a horizontal direction in the image of the road, and the second direction corresponds to a direction parallel to the left and right lanes on an actual road.
상기 제1 히스토그램 및 상기 제2 히스토그램을 미리 정해진 상기 특징 벡터의 차원에 따라 샘플링하여 상기 특징 벡터를 구하는 도로 표식 인식 방법.The method of claim 1,
And sampling the first histogram and the second histogram according to a predetermined dimension of the feature vector to obtain the feature vector.
상기 도로 표식 후보 영역에 대한 도로 표식 종류 판단은 학습된 신경망으로 수행되는 도로 표식 인식 방법.The method of claim 1,
The road marker recognition method for the road marker candidate region is performed by a learned neural network.
상기 도로 표식 후보 영역에 대한 수평 히스토그램 및 수직 히스토그램을 구하는 히스토그램 생성부,
상기 수평 히스토그램 및 수직 히스토그램을 이용하여 상기 도로 표식 후보 영역의 특징 벡터를 구하는 특징 벡터 생성부, 그리고
상기 특징 벡터를 이용하여 상기 도로 표식 후보 영역에 대한 도로 표식 종류를 판단하는 도로 표식 종류 판단부를 포함하고,
상기 수평 방향 히스토그램은 상기 도로 표식 후보 영역에 해당하는 픽셀을 상기 도로를 촬영한 영상에서 수평 방향을 가지는 라인 별로 카운팅하여 구하고, 상기 수직 방향 히스토그램은 상기 도로 표식 후보 영역에 해당하는 픽셀을 실제 도로에서 주행 도로의 좌우 차선과 평행한 방향에 대응되는 방향을 가지는 라인 별로 카운팅하여 구하는 도로 표식 인식 시스템.A road marker candidate region detector for detecting a road marker candidate region from a road image;
A histogram generator for obtaining a horizontal histogram and a vertical histogram of the road marking candidate region;
A feature vector generator for obtaining a feature vector of the road marking candidate region using the horizontal histogram and the vertical histogram;
A road marker type determination unit determining a road marker type for the road marker candidate region by using the feature vector;
The horizontal histogram is obtained by counting pixels corresponding to the road marking candidate area for each line having a horizontal direction in the image of the road image, and the vertical histogram is a pixel corresponding to the road marking candidate area on an actual road. A road marking recognition system that is calculated by counting each line having a direction corresponding to a direction parallel to the left and right lanes of the driving road.
상기 도로 표식 후보 영역 검출부는,
상기 도로를 촬영한 영상에서 좌우 차선을 인식하고, 상기 도로 표식 후보 영역 검출은 상기 주행 도로의 좌우 차선 사이에서 수행하는 도로 표식 인식 시스템.In claim 9,
The road marking candidate area detection unit,
Recognizing left and right lanes from the image of the road, the road marker candidate area detection is performed between the left and right lanes of the driving road.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100078831A KR101178507B1 (en) | 2010-08-16 | 2010-08-16 | Pavement marking recogniton system and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100078831A KR101178507B1 (en) | 2010-08-16 | 2010-08-16 | Pavement marking recogniton system and method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20120016461A KR20120016461A (en) | 2012-02-24 |
| KR101178507B1 true KR101178507B1 (en) | 2012-09-07 |
Family
ID=45838725
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100078831A KR101178507B1 (en) | 2010-08-16 | 2010-08-16 | Pavement marking recogniton system and method |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101178507B1 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9802599B2 (en) | 2016-03-08 | 2017-10-31 | Ford Global Technologies, Llc | Vehicle lane placement |
| KR101878490B1 (en) * | 2017-03-10 | 2018-07-13 | 만도헬라일렉트로닉스(주) | System and method for recognizing a lane |
| KR20190087338A (en) * | 2019-02-27 | 2019-07-24 | 주식회사 스트리스 | Method for Automatic Construction of Numerical Digital Map and High Definition Map |
| US10685241B2 (en) | 2016-11-07 | 2020-06-16 | Samsung Electronics Co., Ltd. | Method and apparatus for indicating lane |
| US11780444B2 (en) | 2018-10-04 | 2023-10-10 | Samsung Electronics Co., Ltd. | Driving assistance apparatus and image processing method |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102203410B1 (en) * | 2014-10-20 | 2021-01-18 | 삼성에스디에스 주식회사 | Method and Apparatus for Setting Region of Interest |
| KR101716973B1 (en) * | 2015-11-23 | 2017-03-15 | (주)베라시스 | Apparatus and method for detecting vehicle on road using stereo image |
| CN107301383B (en) * | 2017-06-07 | 2020-11-24 | 华南理工大学 | Road traffic sign identification method based on Fast R-CNN |
| CN107368787B (en) * | 2017-06-16 | 2020-11-10 | 长安大学 | Traffic sign identification method for deep intelligent driving application |
| CN109002764B (en) * | 2018-06-19 | 2021-05-11 | 长安大学 | Traffic sign image recognition model construction and recognition method |
| CN108777071A (en) * | 2018-07-04 | 2018-11-09 | 深圳智达机械技术有限公司 | A kind of highway patrol robot |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005100001A (en) * | 2003-09-24 | 2005-04-14 | Aisin Seiki Co Ltd | Road surface travel lane detection device |
| JP2010514025A (en) | 2006-12-18 | 2010-04-30 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ | Device, method and computer program for confirming road signs in images |
-
2010
- 2010-08-16 KR KR1020100078831A patent/KR101178507B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005100001A (en) * | 2003-09-24 | 2005-04-14 | Aisin Seiki Co Ltd | Road surface travel lane detection device |
| JP2010514025A (en) | 2006-12-18 | 2010-04-30 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ | Device, method and computer program for confirming road signs in images |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9802599B2 (en) | 2016-03-08 | 2017-10-31 | Ford Global Technologies, Llc | Vehicle lane placement |
| US10685241B2 (en) | 2016-11-07 | 2020-06-16 | Samsung Electronics Co., Ltd. | Method and apparatus for indicating lane |
| KR101878490B1 (en) * | 2017-03-10 | 2018-07-13 | 만도헬라일렉트로닉스(주) | System and method for recognizing a lane |
| US10460179B2 (en) | 2017-03-10 | 2019-10-29 | Mando Hella Electronics Corporation | System and method for recognizing a lane |
| US11780444B2 (en) | 2018-10-04 | 2023-10-10 | Samsung Electronics Co., Ltd. | Driving assistance apparatus and image processing method |
| KR20190087338A (en) * | 2019-02-27 | 2019-07-24 | 주식회사 스트리스 | Method for Automatic Construction of Numerical Digital Map and High Definition Map |
| KR102113068B1 (en) * | 2019-02-27 | 2020-05-20 | 주식회사 스트리스 | Method for Automatic Construction of Numerical Digital Map and High Definition Map |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20120016461A (en) | 2012-02-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101178507B1 (en) | Pavement marking recogniton system and method | |
| CN109658504B (en) | Map data annotation method, device, equipment and storage medium | |
| CN108694882B (en) | Method, device and equipment for labeling map | |
| US9123242B2 (en) | Pavement marker recognition device, pavement marker recognition method and pavement marker recognition program | |
| US10395126B2 (en) | Sign based localization | |
| JP5407898B2 (en) | Object detection apparatus and program | |
| US9488483B2 (en) | Localization using road markings | |
| US8483442B2 (en) | Measurement apparatus, measurement method, and feature identification apparatus | |
| US9076047B2 (en) | System and method for recognizing parking space line markings for vehicle | |
| JP3367170B2 (en) | Obstacle detection device | |
| US20200082182A1 (en) | Training data generating method for image processing, image processing method, and devices thereof | |
| JP2005136946A (en) | Camera based position recognization apparatus and method for road vehicle | |
| JP2007265038A (en) | Road image analysis device and road image analysis method | |
| EP3324359B1 (en) | Image processing device and image processing method | |
| Cao et al. | Amateur: Augmented reality based vehicle navigation system | |
| CN109635737A (en) | Automobile navigation localization method is assisted based on pavement marker line visual identity | |
| JP6361313B2 (en) | Vehicle detection method and apparatus | |
| CN115273039B (en) | Small obstacle detection method based on camera | |
| CN108399360B (en) | Continuous obstacle detection method, device and terminal | |
| TWI682361B (en) | Method and system for road image reconstruction and vehicle positioning | |
| KR102003387B1 (en) | Method for detecting and locating traffic participants using bird's-eye view image, computer-readerble recording medium storing traffic participants detecting and locating program | |
| WO2020194570A1 (en) | Sign position identification system and program | |
| KR101706455B1 (en) | Road sign detection-based driving lane estimation method and apparatus | |
| KR102568111B1 (en) | Apparatus and method for detecting road edge | |
| JP2004326559A (en) | Lane mark detector |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20150629 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20160810 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20170824 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20180801 Year of fee payment: 7 |
|
| FPAY | Annual fee payment |
Payment date: 20190808 Year of fee payment: 8 |