KR102143641B1 - Automatic Lane Painting Device Using Vision Sensors - Google Patents

Automatic Lane Painting Device Using Vision Sensors Download PDF

Info

Publication number
KR102143641B1
KR102143641B1 KR1020200014570A KR20200014570A KR102143641B1 KR 102143641 B1 KR102143641 B1 KR 102143641B1 KR 1020200014570 A KR1020200014570 A KR 1020200014570A KR 20200014570 A KR20200014570 A KR 20200014570A KR 102143641 B1 KR102143641 B1 KR 102143641B1
Authority
KR
South Korea
Prior art keywords
lane
vehicle
front camera
road
painting
Prior art date
Application number
KR1020200014570A
Other languages
Korean (ko)
Inventor
조형오
조현우
최동삼
Original Assignee
(주)라인테크
조형오
조현우
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)라인테크, 조형오, 조현우 filed Critical (주)라인테크
Priority to KR1020200014570A priority Critical patent/KR102143641B1/en
Application granted granted Critical
Publication of KR102143641B1 publication Critical patent/KR102143641B1/en

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01C—CONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
    • E01C23/00—Auxiliary devices or arrangements for constructing, repairing, reconditioning, or taking-up road or like surfaces
    • E01C23/16—Devices for marking-out, applying, or forming traffic or like markings on finished paving; Protecting fresh markings
    • E01C23/20—Devices for marking-out, applying, or forming traffic or like markings on finished paving; Protecting fresh markings for forming markings in situ
    • E01C23/22—Devices for marking-out, applying, or forming traffic or like markings on finished paving; Protecting fresh markings for forming markings in situ by spraying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

The present invention relates to an automatic lane painting apparatus using visual sensors, which is able to automatically and precisely paint a lane on a road by using multiple sensors. To this end, according to the present invention, the automatic lane painting apparatus using vision sensors comprises: a front camera installed on a front side of the vehicle to photograph the vehicle and to acquire a real-time image; a lane painting unit placed on a lower side or one side of the vehicle to paint the lane by matching the position of the lane; a control unit installed in the vehicle to receive the real-time image acquired through the front camera, to convert the image into data, and to control the operation of the lane painting unit; and a display unit which outputs the real-time image photographed through the front camera. The lane painting unit includes a rear camera for acquiring the position information by recognizing the lane. The control unit includes a plurality of sensors which recognize the driving direction of the vehicle and the lane. Through the plurality of sensors, the recognition rates of the driving direction of the vehicle and the lane are corrected.

Description

비전센서를 이용한 자동 차선 도색 장치{Automatic Lane Painting Device Using Vision Sensors}Automatic Lane Painting Device Using Vision Sensors

본 발명은 비전센서를 이용한 자동 차선 도색 장치에 관한 것으로, 더욱 상세하게는 도로를 따라 주행하는 과정에서 기존 도색된 차선을 인식하고, 인식된 차선 정보에 기초하여 차선을 도색하는 비전센서를 이용한 자동 차선 도색 장치에 관한 것이다.The present invention relates to an automatic lane painting device using a vision sensor, and more specifically, an automatic lane painting device using a vision sensor that recognizes an existing painted lane while driving along a road, and paints a lane based on the recognized lane information. It relates to a lane painting device.

일반적으로 도로에는 차량의 주행 방향과 차량 간의 간격을 안내하기 위한 소정 폭의 차선이 도색되는데, 이러한 차선은 외부 환경에 장기간 노출되게 됨에 따라 시인성이 떨어지게 되며, 이에 따라 기존에 도색된 차선을 따라 재도색을 하게 된다.In general, lanes of a predetermined width are painted on roads to guide the driving direction of the vehicle and the gap between vehicles.These lanes are exposed to the external environment for a long period of time, resulting in poor visibility. You will be painting.

그러나 차선을 도색하는 과정에서 기존에 도색된 차선과 정확하게 일치하도록 도색되지 않는 경우가 많고, 이 경우 차선의 폭이 규정과 다르게 넓어지거나 또는 운전자에게 혼동을 주게 되는 문제가 있다.However, in the process of painting a lane, there are many cases in which the paint is not painted to exactly match the previously painted lane, and in this case, there is a problem in that the width of the lane is widened differently from the regulations or confusion to the driver.

따라서 차선을 도색할 때에는 기존에 도색된 차선과 동일한 위치에 도색되는 것이 중요한데, 이를 위한 종래 기술로는 공개특허공보 제2019-0088647호의 무인차량을 이용한 자동화 차선 도색 시스템(이하 '특허문헌'이라 한다)이 개시되어 있다.Therefore, when painting a lane, it is important to paint in the same position as the previously painted lane. As a prior art for this, an automated lane painting system using an unmanned vehicle of Korean Patent Publication No. 2019-0088647 (hereinafter referred to as'patent document'). ) Is disclosed.

상기 특허문헌에 개시된 차선 도색 시스템은, 무인차량의 전방 또는 바닥면에 차선과 근접하게 설치되는 촬영장치를 이용하여 차선상태를 판별하고, 무인차량에 탑재된 위치인식장치를 이용하여 차량의 위치정보를 생성하는 영상 및 위치인식부; 영상 및 위치인식부에서 전송된 영상정보와 전자지도 상의 차선정보를 비교하여 무인차량의 위치를 파악하고, 수집된 영상정보와 차선 DB에 저장된 정형화된 차선정보를 비교하여 차선의 색상과 마모도를 포함하는 도장상태를 분석하는 차선분석부; 및 차선분석부에 의해 분석된 정보를 바탕으로 무인차량의 운행 방향을 조절하여 도색할 위치에 무인차량의 위치를 둔 후, 무인차량의 내부에 장착된 도료노즐을 개방시켜 도색작업을 수행하는 도색장치부를 포함한다.The lane painting system disclosed in the above patent document determines the state of the lane using a photographing device installed in front of or close to the lane of the unmanned vehicle, and uses a position recognition device mounted on the unmanned vehicle to provide location information of the vehicle. An image and a location recognition unit that generates a; The image information transmitted from the image and location recognition unit is compared with the lane information on the electronic map to determine the location of the unmanned vehicle, and the collected image information and the standardized lane information stored in the lane DB are compared to include the color and wear of the lane. A lane analysis unit that analyzes the painting condition to be performed; And painting, which adjusts the driving direction of the unmanned vehicle based on the information analyzed by the lane analysis unit, places the unmanned vehicle at the position to be painted, and then opens the paint nozzle installed inside the unmanned vehicle to perform painting. It includes a device part.

그러나 상기 특허문헌에 개시된 차선 도색 시스템은 무인차량의 위치를 전자지도 상의 정보와 위치인식부를 통해 전송된 영상정보를 통해 파악하는 것으로, 이 과정에서 무인차량의 주행 오차가 발생할 수 있고, 이 경우 무인차량이 차선을 따라 정확하게 주행하지 못하게 된다.However, the lane painting system disclosed in the above patent document identifies the location of the unmanned vehicle through information on the electronic map and image information transmitted through the location recognition unit, and driving errors of the unmanned vehicle may occur in this process. Vehicles will not be able to drive accurately along the lane.

이렇게 무인차량이 차선을 따라 정확하게 주행하지 못하게 됨에 따라 잘못된 위치에 차선이 도색될 수 있고, 또한 차선의 폭이 기준과 다르게 넓거나 좁게 도색되거나 잘못된 위치에 도색되는 등의 문제가 발생된다.In this way, as the driverless vehicle cannot accurately drive along the lane, the lane may be painted at an incorrect position, and the width of the lane may be painted wide or narrow different from the standard, or painted at the wrong position.

따라서 차선을 따라 차량이 정확하게 자동 주행하면서 훼손된 차선을 정확하게 도색할 수 있는 차선 도색 장치의 개발이 요구된다.Therefore, there is a need to develop a lane painting device capable of accurately painting damaged lanes while a vehicle accurately automatically runs along a lane.

KR 10-1483009 B1 (2015. 01. 09.)KR 10-1483009 B1 (2015.01.09.) KR 10-1974602 B1 (2019. 04. 25.)KR 10-1974602 B1 (2019. 04. 25.) KR 10-2018-0092078 A (2018. 08. 17.)KR 10-2018-0092078 A (2018.08.17.) KR 10-2019-0088647 A (2019. 07. 29.)KR 10-2019-0088647 A (2019. 07. 29.)

본 발명은 상기와 같은 종래의 차선 도색 장치가 가지는 문제점을 해결하기 위해 안출된 것으로, 본 발명이 해결하고자 하는 과제는 다양한 센서를 이용하여 도로의 차선을 자동으로 정확하게 도색할 수 있는 비전센서를 이용한 자동 차선 도색 장치를 제공하는 것이다.The present invention was conceived to solve the problem of the conventional lane painting apparatus as described above, and the problem to be solved by the present invention is to use a vision sensor that can automatically and accurately paint a lane of a road using various sensors. It is to provide an automatic lane painting device.

상기의 과제를 해결하기 위한 본 발명에 따른 비전센서를 이용한 자동 차선 도색 장치는, 상기 차량의 전방 쪽에 설치되면서 상기 차선을 촬영하여 실시간 영상을 획득하는 전방카메라; 상기 차량의 하부 또는 일측에 위치되면서 상기 차선의 위치에 맞추어 도색하는 차선도색유닛; 상기 차량에 설치되면서 상기 전방카메라를 통해 획득되는 실시간 영상을 수신 후 데이터로 변환 해 상기 차선도색유닛의 동작을 제어하는 제어부; 및 상기 전방카메라를 통해 촬영되는 실시간 영상이 출력되는 디스플레이부를 포함하고, 상기 차선도색유닛에는, 상기 차선을 인식하여 위치 정보를 획득하는 후방카메라가 구비되며, 상기 제어부에는, 상기 차량의 주행 방향과 상기 차선을 감지하는 복수 개의 센서가 설치되고, 상기 복수 개의 센서를 통해 상기 차량의 주행 방향과 상기 차선의 인식률이 보정되는 것을 특징으로 한다.An automatic lane painting apparatus using a vision sensor according to the present invention for solving the above problem includes: a front camera installed at the front side of the vehicle and photographing the lane to obtain a real-time image; A lane painting unit positioned below or at one side of the vehicle and painted according to the position of the lane; A control unit installed in the vehicle and configured to control an operation of the lane painting unit by receiving a real-time image acquired through the front camera and converting it into data; And a display unit for outputting a real-time image captured by the front camera, wherein the lane painting unit is provided with a rear camera that recognizes the lane and obtains location information, and the control unit includes a driving direction of the vehicle and A plurality of sensors for detecting the lane are installed, and a driving direction of the vehicle and a recognition rate of the lane are corrected through the plurality of sensors.

그리고 본 발명은 상기 복수 개의 센서가 상기 차량의 주행 방향을 감지함과 동시에 상기 차선의 위치를 검출하는 IMU 센서; 상기 도로 상의 상기 차선을 인식하는 조도 센서; 및 선택된 범위의 파장을 이용하여 상기 도로 상에 도색된 상기 차선의 특정 재료를 인식하는 다중스펙트럼 센서를 포함하고, 상기 제어부는, 상기 조도 센서 및 상기 다중스펙트럼 센서를 통해 인식되는 차선의 정보를 병합하여 훼손된 상기 차선의 정보를 보정하는 것을 또 다른 특징으로 한다.In addition, the present invention includes an IMU sensor configured to detect the position of the lane while the plurality of sensors detect the driving direction of the vehicle; An illuminance sensor for recognizing the lane on the road; And a multispectral sensor that recognizes a specific material of the lane painted on the road by using a wavelength of a selected range, wherein the control unit merges information of the lane recognized through the illumination sensor and the multispectral sensor. It is another feature of correcting the damaged lane information.

또한, 본 발명은 상기 제어부가 상기 전방카메라를 통해 촬영된 상기 도로 및 상기 차선의 영상을 상기 전방카메라가 설치된 각도에 기초하여 영상을 상기 도로와 수직이 되는 방향이 되도록 소정 각도를 적용하여 버드아이뷰 영상을 생성하고, 상기 후방카메라에서 검출된 영상에 이진화 알고리즘을 적용하여 도로 영역과 차선 영역을 구분하며, 구분된 차선 영역의 특징점을 추출한 다음, 추출된 특징점에 기초하여 라인을 추적하여 상기 차선의 훼손 부분을 보완하는 것을 또 다른 특징으로 한다.In addition, in the present invention, the controller applies a predetermined angle so that the image of the road and the lane photographed through the front camera is in a direction perpendicular to the road based on the angle at which the front camera is installed. A view image is generated, and a binarization algorithm is applied to the image detected by the rear camera to separate the road area and the lane area, extracting the feature points of the separated lane area, and then tracking the line based on the extracted feature points. Another feature is that it compensates for the damaged part of.

이에 더해 본 발명은 상기 제어부가 상기 전방카메라를 통해 촬영된 영상에 가상의 차선가이드를 병합하여 상기 디스플레이부를 통해 출력하고, 상기 차선가이드는, 상기 차선을 따라 소정의 직선 길이를 가지도록 형성되는 제1 측면바; 일단이 상기 제1 측면바의 일측면에 연결되면서 타단이 상기 제1 측면바와 직교하도록 소정 길이를 가지는 연결바; 및 일단이 상기 연결바의 타단에 연결되면서 타단이 상기 제1 측면바와 평행하도록 소정의 직선 길이를 가지는 제2 측면바를 포함하며, 상기 제1 측면바와 상기 제2 측면바 사이의 폭은, 상기 차선의 폭 보다 소정 폭 넓게 형성되는 것을 또 다른 특징으로 한다.In addition, according to the present invention, the control unit merges a virtual lane guide into an image photographed through the front camera and outputs it through the display unit, and the lane guide is formed to have a predetermined straight length along the lane. 1 side bar; A connection bar having one end connected to one side of the first side bar and having a predetermined length so that the other end is orthogonal to the first side bar; And a second side bar having one end connected to the other end of the connection bar and having a predetermined straight length such that the other end is parallel to the first side bar, and a width between the first side bar and the second side bar is the lane Another feature is that it is formed wider than the width of a predetermined width.

그리고 본 발명은 상기 제어부가 상기 제1, 2 측면바와 상기 차선 사이의 좌우측 이격거리를 이용하여 상기 차선이 상기 차선가이드의 정 중앙에 위치되도록 하는 것을 또 다른 특징으로 한다.In addition, the present invention is further characterized in that the control unit uses the left and right separation distance between the first and second side bars and the lane so that the lane is located in the center of the lane guide.

본 발명에 따르면, 전방카메라를 통해 촬영된 영상을 버드아이뷰 영상으로 변환하고, 후방카메라에서 검출된 영상에 이진화 알고리즘을 적용하여 도로와 차선 영역을 구분하며, 구분된 차선 영역의 특징점을 추출한 다음 특징점의 라인 추적을 통해 훼손된 차선을 보완하여 인식하고 솔레노이드 밸브를 이용하여 차선이 정확하게 인식된 경우에만 노즐을 작동시키므로 기존에 도색된 차선에 맞추어 정확하게 차선을 인식하여 도색할 수 있다.According to the present invention, an image captured by a front camera is converted into a bird's eye view image, a binarization algorithm is applied to an image detected by a rear camera to distinguish road and lane areas, and feature points of the divided lane areas are extracted. Since the damaged lane is recognized by complementing and recognizing the damaged lane through line tracking of the feature point, and operating the nozzle only when the lane is correctly recognized using the solenoid valve, the lane can be accurately recognized and painted according to the previously painted lane.

또한, 조도 센서와 다중스펙트럼 센서를 이용하여 차선을 인식하고, 이렇게 인식된 차선 정보를 서로 병합하여 훼손된 차선의 정보를 추가 보완하므로 차선의 위치, 폭 및 방향(각도) 등을 더욱 정확하게 감지할 수 있다.In addition, lanes are recognized using an illuminance sensor and a multispectral sensor, and the information on damaged lanes is additionally supplemented by merging the detected lane information, so that the position, width, and direction (angle) of the lanes can be more accurately detected. have.

도 1은 본 발명에 따른 비전센서를 이용한 자동 차선 도색 장치의 예를 보인 구성도.
도 2는 본 발명에 따른 가상의 차선가이드가 디스플레이를 통해 출력되는 예를 보인 도면.
도 3은 본 발명에 따른 전방카메라를 통해 획득된 영상이 버드아이뷰로 변환되는 예를 보인 도면.
도 4는 본 발명에 따른 차선도색유닛의 예를 보인 사시도.
도 5는 도 4의 평면도.
도 6은 본 발명에 따른 차선도색유닛의 높이가 조절되어 도색되는 차선의 폭이 조절되는 예를 보인 도면.
도 7은 본 발명에 따른 분사노즐의 설치 각도가 조절되어 도색되는 차선의 방향이 조절되는 예를 보인 도면.
도 8은 본 발명에 따른 제어부의 예를 보인 구성도.
도 9는 본 발명에 따른 제어부가 전방카메라를 통해 촬영된 영상에 기초하여 차선을 추출하고, 이에 기초하여 차선도색유닛을 제어하는 예를 보인 구성도.1 is a block diagram showing an example of an automatic lane painting apparatus using a vision sensor according to the present invention.
2 is a view showing an example in which a virtual lane guide according to the present invention is output through a display.
3 is a diagram showing an example in which an image acquired through a front camera according to the present invention is converted into a bird's eye view.
Figure 4 is a perspective view showing an example of a lane painting unit according to the present invention.
Figure 5 is a plan view of Figure 4;
6 is a view showing an example in which the width of the painted lane is adjusted by adjusting the height of the lane painting unit according to the present invention.
7 is a view showing an example in which the direction of the painted lane is adjusted by adjusting the installation angle of the injection nozzle according to the present invention.
8 is a block diagram showing an example of a control unit according to the present invention.
9 is a block diagram showing an example in which a control unit according to the present invention extracts a lane based on an image captured through a front camera and controls a lane painting unit based thereon.

이하에서는 본 발명의 바람직한 실시예를 도시한 첨부도면에 따라 상세하게 설명한다.Hereinafter will be described in detail in accordance with the accompanying drawings showing a preferred embodiment of the present invention.

본 발명은 다양한 센서를 이용하여 도로의 차선을 자동으로 정확하게 도색 할 수 있는 비전센서를 이용한 자동 차선 도색 장치를 제공하고자 하는 것으로, 이러한 본 발명은 도 1에 도시된 바와 같이 전방카메라(20), 차선도색유닛(30), 제어부(40) 및 디스플레이부(50)를 포함한다.The present invention is to provide an automatic lane painting apparatus using a vision sensor that can automatically and accurately paint a lane of a road using various sensors, and the present invention provides a front camera 20, as shown in FIG. It includes a lane painting unit 30, a control unit 40, and a display unit 50.

전방카메라(20)는 차량(1)의 전방 쪽에 설치되어 차선가이드(10)의 위쪽에서 차선가이드(10)와 차선(2A)을 중첩 촬영하여 실시간으로 영상을 획득하는 구성이다.The front camera 20 is installed on the front side of the vehicle 1 to obtain an image in real time by superimposing the lane guide 10 and the lane 2A above the lane guide 10.

이러한 전방카메라(20)에서 촬영된 영상은 후술되는 제어부(40)를 통해 도 3에 도시된 바와 같이 전방카메라(20)의 설치각도(A1)에 기초하여 도로(2)와 수직이 되는 가상카메라(VC)의 설치각도(A2)를 구하고, 해당 설치각도(A2)만큼 전방카메라(20)에서 촬영된 영상에 변환 각도가 적용되어 버드아이뷰(bird's eye view)가 생성되게 된다.The image captured by the front camera 20 is a virtual camera that is perpendicular to the road 2 based on the installation angle A1 of the front camera 20 as shown in FIG. 3 through a control unit 40 to be described later. The installation angle (A2) of (VC) is obtained, and the conversion angle is applied to the image captured by the front camera 20 by the installation angle (A2), thereby creating a bird's eye view.

이때 더욱 정확한 차선(2A) 정보를 획득하기 위해 전방카메라(20)를 통해 촬영된 영상과 후술되는 후방카메라(33)를 통해 촬영된 영상을 병합하여 왜곡된 영상이 보정된 다음, 버드아이뷰로 변환되게 된다.At this time, in order to obtain more accurate lane (2A) information, the distorted image is corrected by merging the image captured through the front camera 20 and the image captured through the rear camera 33 to be described later, and then converted into a bird-eye view. It will be.

차선도색유닛(30)은 차량(1)의 저면 쪽 또는 일측에 설치되어 도로(2)의 차선(2A)을 따라 도료를 분사하고, 이를 통해 차선(2A)을 도색하는 구성이다.The lane painting unit 30 is installed on the bottom or one side of the vehicle 1 to spray paint along the lane 2A of the road 2 and paint the lane 2A through this.

이러한 차선도색유닛(30)은 도 4 및 도 5에 도시된 바와 같이 차량(1)의 전후 방향으로 소정 길이를 가지는 설치프레임(31)과, 상기 설치프레임(31)의 전방 쪽에 설치되는 소정 크기의 장착대(32)와, 상기 장착대(32)에 설치되면서 전방카메라(20)와 후방 쪽으로 소정 거리 이격되어 차선(2A)을 도로(2)와 수직이 되는 방향에서 촬영하는 후방카메라(33)와, 상기 설치프레임(31)에 설치되면서 상기 차선(2A)과 직교하는 방향으로 소정 길이를 가지도록 설치되는 한 쌍의 가이드봉(34)과, 상기 한 쌍의 가이드봉(34) 사이를 연결하면서 한 쌍의 가이드봉(34)을 따라 슬라이딩 이동 가능하게 설치되는 소정 크기의 슬라이더(35)와, 상기 설치프레임(31)에 설치되어 슬라이더(35)를 관통하여 나사 결합되는 소정 길이의 스크루축(36A)을 회전 동작시키는 구동모터(36) 및 상기 슬라이더(35)의 저면 쪽에 설치되어 후술되는 제어부(40)의 제어에 의해 차선(2A)을 따라 도료를 분사하는 분사장치(37)를 포함한다.The lane painting unit 30 includes an installation frame 31 having a predetermined length in the front and rear direction of the vehicle 1, as shown in FIGS. 4 and 5, and a predetermined size installed on the front side of the installation frame 31. And a rear camera 33 that photographs the lane 2A in a direction perpendicular to the road 2 by being spaced a predetermined distance from the front camera 20 and the rear side while being installed on the mounting table 32 ), and a pair of guide rods 34 installed to have a predetermined length in a direction orthogonal to the lane 2A while being installed on the installation frame 31, and between the pair of guide rods 34 A slider 35 having a predetermined size installed to be slidably movable along a pair of guide rods 34 while being connected, and a screw having a predetermined length installed on the installation frame 31 and screwed through the slider 35 A drive motor 36 for rotating the shaft 36A and an injection device 37 installed on the bottom side of the slider 35 to spray paint along the lane 2A under control of a control unit 40 to be described later. Include.

이때 슬라이더(35)는 구동모터(36)가 회전 동작되는 것에 의해 스크루축(36A)이 회전 동작되면서 관통 결합된 슬라이더(35)가 한 쌍의 가이드봉(34)을 따라 차선(2A)의 길이 방향과 직교하는 방향으로 이동되도록 구성될 수 있고, 이에 의해 차선(2A)의 위치에 맞추어 슬라이더(35)가 적절하게 위치 이동되면서 차선(2A)이 도색될 수 있다.At this time, the slider 35 is the length of the lane 2A along the pair of guide rods 34 while the screw shaft 36A is rotated by the driving motor 36 and the screw shaft 36A is rotated. It may be configured to move in a direction orthogonal to the direction, whereby the slider 35 is appropriately moved in accordance with the position of the lane 2A, so that the lane 2A may be painted.

또한, 분사장치(37)는 도 6에 도시된 바와 같이 슬라이더(35)의 저면 쪽에 상하 수직 방향으로 소정 길이를 가지도록 설치되는 실린더(37A)와, 상기 실린더(37B)에 설치되어 하단이 인입출 동작되는 피스톤(37B)과, 상기 피스톤(37B)의 저면에 설치되는 분사노즐(37B)을 포함한다.In addition, as shown in Fig. 6, the injection device 37 includes a cylinder 37A installed to have a predetermined length in the vertical direction on the bottom side of the slider 35, and the lower end is installed on the cylinder 37B. It includes a piston (37B) to be ejected, and a spray nozzle (37B) installed on the bottom of the piston (37B).

그리고 설치프레임(31)의 상부 쪽에는 실린더유닛, 액추에이터 등의 상하 높이 조절장치(31A)가 설치되고, 이를 통해 차선(2A)의 폭(W)에 맞추어 분사장치(37)의 높이(H)가 전체적으로 조절되면서 도색되는 차선(2A)의 폭이 조절되게 된다.In addition, on the upper side of the installation frame 31, a vertical height adjustment device 31A such as a cylinder unit and an actuator is installed, through which the height (H) of the injection device 37 according to the width (W) of the lane 2A As is adjusted as a whole, the width of the painted lane 2A is adjusted.

이러한 예로서, 제어부(40)에는 분사노즐(37C)을 통해 분사되는 도료의 분사각(θ)과 분사노즐(37C)의 높이(H)에 따른 분사 폭(W2)에 대한 데이터가 미리 저장되고, 이러한 데이터에 기초하여 감지된 차선(2A)의 폭(W)이 현재 설정된 분사 폭(W2) 보다 작은 경우 높이조절장치(31A) 및 피스톤(37B)의 인입출 동작을 이용하여 분사노즐(37C)의 높이를 설정된 높이(H1)만큼 하강시키게 된다.As this example, the control unit 40 stores data on the spray angle (θ) of the paint sprayed through the spray nozzle (37C) and the spray width (W2) according to the height (H) of the spray nozzle (37C) in advance, and , If the width (W) of the detected lane 2A based on this data is smaller than the currently set injection width (W2), the injection nozzle (37C) by using the withdrawal operation of the height adjustment device (31A) and the piston (37B) ) Is lowered by the set height (H1).

이와 반대로 감지된 차선(2A)의 폭(W)이 현재 설정된 분사 폭(W2) 보다 큰 경우 높이조절장치(31A) 및 피스톤(37B)의 인입출 동작을 이용하여 분사노즐(37C)의 높이를 설정된 높이만큼 상승시키게 된다.On the contrary, if the detected width (W) of the lane 2A is larger than the currently set injection width (W2), the height of the injection nozzle (37C) is increased by using the withdrawal operation of the height adjustment device (31A) and the piston (37B). It is raised by the set height.

이때 높이조절장치(31A)는 분사노즐(37C)의 높이를 설정된 높이에 맞추어 대략적으로 조절하는 기능을 하고, 실린더(37A) 및 피스톤(37B)은 대략적으로 맞춰진 높이를 보다 정교하게 맞추어 분사 폭(W2)과 차선 폭(W)이 서로 정확하게 일치되도록 맞추는 기능을 한다.At this time, the height adjustment device 31A functions to approximately adjust the height of the injection nozzle 37C according to the set height, and the cylinder 37A and the piston 37B more precisely match the roughly aligned height to the injection width ( It functions to match W2) and lane width (W) to match each other accurately.

이에 더해 분사노즐(37C) 또는 실린더(37A) 쪽에는 도 7에 도시된 바와 같이 분사노즐(37C)의 방향을 조절하기 위한 회전장치(도시하지 않음)가 설치되고, 이러한 회전 장치를 통해 분사노즐(37C) 또는 실린더(37A)의 설치 각도가 조절되면서 직선뿐만 아니라 도로(2)의 커브를 따라 적절한 곡면을 가지도록 차선(2A)이 도색될 수 있다.In addition, a rotation device (not shown) for adjusting the direction of the injection nozzle 37C is installed on the side of the injection nozzle 37C or the cylinder 37A, and through such a rotation device, the injection nozzle The lane 2A may be painted so as to have an appropriate curved surface along the curve of the road 2 as well as a straight line while the installation angle of the 37C or the cylinder 37A is adjusted.

위에서는 슬라이더(35)가 구동모터(36)와 스크루축(36A)의 구성을 통해 동작되는 것으로 설명되었으나, 이와 달리 랙과 피니언, 벨트와 풀리 등과 같이 공지된 다양한 동력전달구성으로 변경되어 구성될 수 있고, 또한 분사장치(37)가 실린더(37A)와 피스톤(37B)의 구성을 통해 높이가 조절되는 것으로 설명되었으나, 이와 달리 이송가이드가 설치된 다음 모터 등의 구성을 이용하여 분사장치(37)가 이송가이드를 따라 높이가 조절되도록 변경되어 구성될 수 있다.In the above, it has been described that the slider 35 is operated through the configuration of the drive motor 36 and the screw shaft 36A, but unlike this, it will be changed to various known power transmission configurations such as racks and pinions, belts and pulleys. In addition, it has been described that the height of the injection device 37 is adjusted through the configuration of the cylinder 37A and the piston 37B, but unlike this, the injection device 37 using a configuration such as a motor after the transfer guide is installed. Can be configured to be changed to adjust the height along the transport guide.

제어부(40)는 차량(1)에 설치되어 전방카메라(20)를 통해 획득되는 실시간 영상에 가상의 차선 가이드(10)를 포함하여 디스플레이부(50)로 전송하고, 후방카메라(33)를 통해 획득되는 차선(2A)의 위치 정보에 맞추어 차선도색유닛(30)의 동작을 제어하는 구성이다.The control unit 40 transmits a real-time image installed in the vehicle 1 and acquired through the front camera 20 to the display unit 50 including the virtual lane guide 10, and transmits it to the display unit 50 through the rear camera 33. This is a configuration for controlling the operation of the lane painting unit 30 according to the acquired location information of the lane 2A.

이러한 제어부(40)는 도 8 및 도 9에 도시된 바와 같이 차량(1)의 주행을 자동제어하기 위해 주행 방향을 감지하는 IMU 센서(S1)와, 상기 도로(2) 상의 차선(2A)을 인식하는 조도 센서(S2) 및 선택된 범위의 파장을 이용하여 도로(2) 상에 도색된 차선(2A)의 특정 재료를 인식하는 다중스펙트럼 센서(S3)를 포함하고, MCU에서는 IMU 센서(S1), 조도 센서(S2) 및 다중스펙트럼 센서(S3)와 전방카메라(20)를 통해 입력되는 정보를 융합(병합)하여 차량(1)의 주행과 차선도색유닛(30)의 동작을 제어하게 된다.As shown in Figs. 8 and 9, the control unit 40 includes an IMU sensor S1 that detects a driving direction and a lane 2A on the road 2 in order to automatically control the driving of the vehicle 1 It includes an illuminance sensor S2 to recognize and a multispectral sensor S3 that recognizes a specific material of the lane 2A painted on the road 2 using a wavelength of a selected range, and an IMU sensor S1 in the MCU. , The driving of the vehicle 1 and the operation of the lane painting unit 30 are controlled by fusion (merging) information input through the illuminance sensor S2 and the multispectral sensor S3 and the front camera 20.

여기서 조도 센서(S2)는 도로(2)의 밝기 차이를 이용하여 차선(2A)을 인식하는 것으로, 이러한 조도 센서(S2)를 통해 대부분의 차선(2A)을 인식하는 데에 어려움이 없으나, 차선(2A)이 심하게 훼손되거나 햇빛과 도로(2)의 재질 등에 따라 빛 흡수율의 차이가 큰 경우에는 조도 센서(S2)만으로 차선(2A)을 정확하게 인식하는 데에 어려움이 있고, 따라서 조도 센서(S2)와 함께 다중스펙트럼 센서(S3)를 통해 특정 성분의 도료가 투과(인지)되는지 여부를 판단하여 차선(2A) 정보를 보정(보완)하게 된다.Here, the illuminance sensor S2 recognizes the lane 2A by using the difference in brightness of the road 2, and there is no difficulty in recognizing most of the lanes 2A through the illuminance sensor S2. If (2A) is severely damaged or the difference in light absorption rate is large depending on the material of the sunlight and the road (2), it is difficult to accurately recognize the lane (2A) only with the illuminance sensor (S2), and therefore, the illuminance sensor (S2) ) Together with the multi-spectral sensor S3 to determine whether or not the paint of a specific component is transmitted (recognized) to correct (complement) information on the lane 2A.

또한, 전방카메라(20)를 통해 생성된 영상(버드아이뷰 영상)에는 가상의 차선가이드(10)가 병합되어 디스플레이부(50)를 통해 출력되게 된다.In addition, the virtual lane guide 10 is merged into the image (bird's eye view image) generated through the front camera 20 and is output through the display unit 50.

이때 가상의 차선가이드(10)는 도 2 및 도 3에 도시된 바와 같이 차량(1)의 전방 쪽으로 소정의 직선 길이를 가지도록 돌출되는 제1 측면바(11)와, 일단이 상기 제1 측면바(11)의 일측면에 연결되면서 타단이 제1 측면바(11)와 직교하도록 소정 길이를 가지는 연결바(12) 및 일단이 상기 연결바(12)의 타단에 연결되면서 타단이 제1 측면바(11)와 평행하도록 소정의 직선 길이를 가지는 제2 측면바(13)를 포함한다.At this time, the virtual lane guide 10 includes a first side bar 11 protruding toward the front of the vehicle 1 to have a predetermined straight length, as shown in FIGS. 2 and 3, and one end of the first side A connecting bar 12 having a predetermined length so that the other end is orthogonal to the first side bar 11 while being connected to one side of the bar 11 and one end is connected to the other end of the connecting bar 12, so that the other end is connected to the first side bar. It includes a second side bar 13 having a predetermined straight length so as to be parallel to the bar 11.

이때 제1 측면바(11)와 제2 측면바(13) 사이의 폭(W1)은 차선(2A)의 폭(W) 보다 소정 폭 넓게 형성되고, 이에 의해 제1 측면바(11)와 차선(2A)의 좌측면 사이에는 소정의 좌측 이격거리(G1)가 형성되며, 제2 측면바(13)와 차선(2A)의 우측면 사이에는 소정의 우측 이격거리(G2)가 형성되게 된다.At this time, the width W1 between the first side bar 11 and the second side bar 13 is formed to be wider than the width W of the lane 2A, whereby the first side bar 11 and the lane A predetermined left separation distance G1 is formed between the left side of 2A, and a predetermined right separation distance G2 is formed between the second side bar 13 and the right side of the lane 2A.

이러한 좌, 우측 이격거리(G1, G2)를 통해 후술되는 제어부(40)는 좌, 우측 이격거리(G1, G2)가 동일하면 차량(1)이 차선(2A)을 따라 정확하게 주행하고 있는 것으로 판단할 수 있고, 이와 다르게 좌, 우측 이격거리(G1, G2)가 다르면 상대적으로 값이 작은 방향으로 차량(1)이 치우쳐져 주행하고 있는 것으로 판단할 수 있으며, 따라서 좌, 우측 이격거리(G1, G2)가 서로 같게 유지되도록 차량(1)의 주행 방향을 제어하는 것으로 차량(1)이 차선(2A)을 따라 정확하게 주행할 수 있게 된다.The control unit 40, which will be described later through the left and right separation distances G1 and G2, determines that the vehicle 1 is driving accurately along the lane 2A if the left and right separation distances G1 and G2 are the same. Unlike this, if the left and right separation distances (G1, G2) are different, it can be determined that the vehicle 1 is traveling in a relatively small direction, and thus the left and right separation distances (G1, G2) By controlling the driving direction of the vehicle 1 so that G2) remains the same, the vehicle 1 can accurately travel along the lane 2A.

이때 좌, 우측 이격거리(G1, G2)는 후술되는 전방카메라(20)를 통해 실시간으로 촬영되는 영상을 변환하여 얻어지는 버드아이뷰 영상으로부터 차선(2A) 및 차선가이드(10)의 거리를 계산하는 것으로 정확하게 거리를 구할 수 있게 된다.At this time, the left and right separation distances (G1, G2) are calculated by calculating the distance between the lane 2A and the lane guide 10 from the bird's eye view image obtained by converting the image captured in real time through the front camera 20 to be described later. With that, you can accurately find the distance.

또한, 후방카메라(33)를 통해 검출된 영상은 이진화 알고리즘이 적용되어 도로 영역과 차선 영역이 구분되는데, 이때 심하게 훼손된 차선(2A) 부분은 이진화 알고리즘 적용 시 해당 영역이 도로 영역으로 잘못 인식될 수 있고, 따라서 이진화 알고리즘이 적용된 다음 차선 영역의 차선 영역의 특징점을 추출한 다음, 추출된 특징점에 기초하여 라인을 추적(직선 또는 곡면)하여 차선 영역의 훼손 부분을 보완하여 인식하게 된다.In addition, the image detected through the rear camera 33 is divided into a road area and a lane area by applying a binarization algorithm. In this case, when the binarization algorithm is applied, the area of the lane 2A that is severely damaged may be incorrectly recognized as a road area. Therefore, after the binarization algorithm is applied, a feature point of the lane area of the lane area is extracted, and then a line is tracked (straight line or curved surface) based on the extracted feature point to compensate and recognize the damaged portion of the lane area.

이와 같이 제어부(40)는 조도 센서(S2), 다중스펙트럼 센서(S3) 및 후방카메라(33)를 통해 서로 다른 방법으로 획득된 차선(2A) 정보를 이용하여 훼손된 차선(2A)을 상호 보완하게 되고, 이를 통해 차선(2A)을 도색하기 위한 차선의 폭(W)과 방향 등이 더욱 정확하게 설정될 수 있다.In this way, the control unit 40 complements the damaged lane 2A using information on the lane 2A obtained in different ways through the illuminance sensor S2, the multispectral sensor S3, and the rear camera 33. In this way, the width W and direction of the lane for painting the lane 2A may be more accurately set.

그리고 제어부(40)는 전방카메라(20)를 통해 획득된 영상과 IMU 센서(S1)를 통해 제1, 2 측면바(11, 13)와 차선(2A) 사이의 좌우측 이격거리(G1, G2)가 동일하게 유지되도록 차량(1)의 주행을 제어하게 되고, 이에 의해 차선(2A)이 차선가이드(10)의 정 중앙에 위치되게 되면서 차선도색유닛(30)의 슬라이더(35)가 가이드봉(34)을 따라 이동 가능한 적정의 범위 내에서 차선(2A)이 위치될 수 있다.And the control unit 40 is the left and right separation distances (G1, G2) between the first and second side bars 11 and 13 and the lane 2A through the image acquired through the front camera 20 and the IMU sensor S1. The driving of the vehicle 1 is controlled so that the same is maintained, whereby the lane 2A is positioned in the center of the lane guide 10, and the slider 35 of the lane painting unit 30 is moved to the guide bar ( The lane 2A may be located within an appropriate range capable of moving along 34).

디스플레이부(50)는 전방카메라(20)를 통해 촬영되는 실시간 영상이 출력되는 구성으로, 이를 통해 차량(1)의 운전석에 탑승한 탑승자가 차량(1)의 주행 방향 등을 디스플레이부(50)를 통해 출력되는 영상을 통해 확인하면서 차선(2A)의 도색 작업을 진행하고, 이에 의해 필요에 따라 탑승자가 자율주행을 수동으로 전환하거나 도색 작업을 정지시킬 수 있게 된다.The display unit 50 is a configuration in which a real-time image photographed through the front camera 20 is output, and through this, the occupant in the driver's seat of the vehicle 1 displays the driving direction of the vehicle 1, etc. The painting process of the lane 2A is carried out while checking through the image output through the image, whereby the occupant can manually switch the autonomous driving or stop the painting process as necessary.

이상 설명한 바와 같이 본 발명은 전방 카메라에서 촬영된 영상을 버드아이뷰로 변환되도록 하여 작업자의 주행을 보조하는 가이드 디스플레이 역할을 하도록 ㅎ하, 후방 카메라를 통해 촬영된 영상에는 이진화 알고리즘을 적용하여 도로와 차선 영역이 구분도록 하며, 훼손된 차선의 경우 구분된 차선 영역의 특징점을 추출한 다음 특징점의 라인 추적을 통해 상기 훼손된 차선이 보완되어 인식되므로 기존 도색된 차선을 정확하게 인식할 수 있다.As described above, the present invention converts the image captured by the front camera into a bird-eye view to serve as a guide display to assist the operator's driving. Haha, the image captured by the rear camera is applied with a binarization algorithm to In the case of a damaged lane, a feature point of a divided lane area is extracted, and then the damaged lane is compensated and recognized through line tracking of the feature point, so that an existing painted lane can be accurately recognized.

위에서는 설명의 편의를 위해 바람직한 실시예를 도시한 도면과 도면에 나타난 구성에 도면부호와 명칭을 부여하여 설명하였으나, 이는 본 발명에 따른 하나의 실시예로서 도면상에 나타난 형상과 부여된 명칭에 국한되어 그 권리범위가 해석되어서는 안 될 것이며, 발명의 설명으로부터 예측 가능한 다양한 형상으로의 변경과 동일한 작용을 하는 구성으로의 단순 치환은 통상의 기술자가 용이하게 실시하기 위해 변경 가능한 범위 내에 있음은 지극히 자명하다고 볼 것이다.In the above, for convenience of explanation, the drawings showing the preferred embodiments and the configurations shown in the drawings have been described with reference numerals and names, but this is an embodiment according to the present invention and It is limited and the scope of the rights should not be interpreted, and the simple substitution with a configuration that has the same action as the change to various predictable shapes from the description of the invention is within the range that can be changed for easy implementation by a skilled person. You will see it extremely self-evident.

1: 차량 2: 도로
2A: 차선 10: 차선가이드
11: 제1 측면바 12: 연결바
13: 제2 측면바 20: 전방카메라
30: 차선도색유닛 31: 설치프레임
31A: 높이조절장치 32: 장착대
33: 후방카메라 34: 가이드봉
35: 슬라이더 36: 구동모터
36A: 스크루축 37: 분사장치
37A: 실린더 37B: 피스톤
37C: 분사노즐 40: 제어부
50: 디스플레이부 A1: 전방카메라의 설치각도
A2: 가상카메라의 각도 G1: 좌측 이격거리
G2: 우측 이격거리 H, H1: 분사노즐의 높이
S1: IMU 센서 S2: 조도 센서
S3: 다중스펙트럼 센서 VC: 가상카메라
W: 차선 폭 W1: 가이드바 폭
W2: 분사 폭1: vehicle 2: road
2A: lane 10: lane guide
11: first side bar 12: connecting bar
13: second side bar 20: front camera
30: lane painting unit 31: installation frame
31A: height adjustment device 32: mount
33: rear camera 34: guide rod
35: slider 36: drive motor
36A: screw shaft 37: injection device
37A: cylinder 37B: piston
37C: injection nozzle 40: control unit
50: display unit A1: installation angle of the front camera
A2: Angle of virtual camera G1: Left separation distance
G2: Right separation distance H, H1: Height of spray nozzle
S1: IMU sensor S2: Illuminance sensor
S3: Multispectral sensor VC: Virtual camera
W: Lane width W1: Guide bar width
W2: spraying width

Claims (5)

차량(1)에 장착되어 도로(2)를 따라 주행하는 과정에서 차선(2A)을 도색하도록 구성되는 장치에 있어서,
상기 차량(1)의 전방 쪽에 설치되면서 상기 차선(2A)을 촬영하여 실시간 영상을 획득하는 전방카메라(20);
상기 차량(1)의 하부 또는 일측에 위치되면서 상기 차선(2A)의 위치에 맞추어 도색하는 차선도색유닛(30);
상기 차량(1)에 설치되면서 상기 전방카메라(20)를 통해 획득되는 실시간 영상을 수신 후 데이터로 변환해 상기 차선도색유닛(30)의 동작을 제어하는 제어부(40); 및
상기 전방카메라(20)를 통해 촬영되는 실시간 영상이 출력되는 디스플레이부(50);
를 포함하고,
상기 차선도색유닛(30)에는,
상기 차선(2A)을 인식하여 위치 정보를 획득하는 후방카메라(33)가 구비되며,
상기 제어부(40)에는,
상기 차량(1)의 주행 방향과 상기 차선(2A)을 감지하는 복수 개의 센서가 설치되고,
상기 복수 개의 센서를 통해 상기 차량(1)의 주행 방향과 상기 차선(2A)의 인식률이 보정되며,
상기 복수 개의 센서는,
상기 차량(1)의 주행 방향을 감지함과 동시에 상기 차선(2A)의 위치를 검출하는 IMU 센서(S1);
상기 도로(2) 상의 상기 차선(2A)을 인식하는 조도 센서(S2); 및
선택된 범위의 파장을 이용하여 상기 도로(2) 상에 도색된 상기 차선(2A)의 특정 재료를 인식하는 다중스펙트럼 센서(S3);
를 포함하고,
상기 제어부(40)는,
상기 조도 센서(S2) 및 상기 다중스펙트럼 센서(S3)를 통해 인식되는 차선(2A)의 정보를 병합하여 훼손된 상기 차선(2A)의 정보를 보정하고,
상기 전방카메라(20)를 통해 촬영된 상기 도로(2) 및 상기 차선(2A)의 영상을 상기 전방카메라(20)가 설치된 각도(A1)에 기초하여 영상을 상기 도로(2)와 수직이 되는 방향이 되도록 소정 각도(A2)를 적용하여 버드아이뷰 영상을 생성하며, 상기 후방카메라(33)에서 검출된 영상에 이진화 알고리즘을 적용하여 도로 영역과 차선 영역을 구분하고, 구분된 차선 영역의 특징점을 추출한 다음, 추출된 특징점에 기초하여 라인을 추적하여 상기 차선(2A)의 훼손 부분을 보완하며,
상기 후방카메라(33)는,
상기 전방카메라(20)의 후방 쪽으로 소정 거리 이격되어 상기 차선(2A)을 상기 도로(2)와 수직이 되는 방향에서 촬영하도록 설치되고,
상기 제어부(40)는,
상기 전방카메라(20)를 통해 촬영된 영상에 가상의 차선가이드(10)를 병합하여 상기 디스플레이부(50)를 통해 출력하고,
상기 차선가이드(10)는,
상기 차선(2A)을 따라 소정의 직선 길이를 가지도록 형성되는 제1 측면바(11);
일단이 상기 제1 측면바(11)의 일측면에 연결되면서 타단이 상기 제1 측면바(11)와 직교하도록 소정 길이를 가지는 연결바(12); 및
일단이 상기 연결바(12)의 타단에 연결되면서 타단이 상기 제1 측면바(11)와 평행하도록 소정의 직선 길이를 가지는 제2 측면바(13);
를 포함하며,
상기 제1 측면바(11)와 상기 제2 측면바(13) 사이의 폭(W1)은,
상기 차선(2A)의 폭 보다 소정 폭 넓게 형성되어, 상기 제1 측면바(11)와 상기 차선(2A)의 좌측면 사이에는 좌측 이격거리(G1)가 형성되고, 상기 제2 측면바(13)와 상기 차선(2A)의 우측면 사이에는 우측 이격거리(G2)가 형성되며,
상기 제어부(40)는,
상기 좌, 우측 이격거리(G1, G2)가 동일하면 상기 차선(2A)을 따라 정확하게 주행하고 있는 것으로 판단하고, 상기 좌, 우측 이격거리(G1, G2)가 서로 다르면 상대적으로 값이 작은 방향으로 상기 차량(1)이 치우쳐 주행하고 있는 것으로 판단하여 상기 좌, 우측 이격거리(G1, G2)가 서로 같게 유지되도록 상기 차량(1)의 주행 방향을 제어하는 것을 특징으로 하는 비전센서를 이용한 자동 차선 도색 장치.
In the device mounted on the vehicle 1 and configured to paint the lane 2A in the course of driving along the road 2,
A front camera 20 installed at the front side of the vehicle 1 and photographing the lane 2A to obtain a real-time image;
A lane painting unit 30 positioned below or at one side of the vehicle 1 to paint according to the position of the lane 2A;
A control unit (40) installed in the vehicle (1) and configured to control an operation of the lane painting unit (30) by receiving a real-time image obtained through the front camera (20) and converting it into data; And
A display unit 50 for outputting a real-time image captured through the front camera 20;
Including,
In the lane painting unit 30,
A rear camera 33 for acquiring location information by recognizing the lane 2A is provided,
In the control unit 40,
A plurality of sensors for detecting the driving direction of the vehicle 1 and the lane 2A are installed,
The driving direction of the vehicle 1 and the recognition rate of the lane 2A are corrected through the plurality of sensors,
The plurality of sensors,
An IMU sensor (S1) that detects the driving direction of the vehicle 1 and detects the position of the lane 2A;
An illuminance sensor S2 for recognizing the lane 2A on the road 2; And
A multispectral sensor S3 for recognizing a specific material of the lane 2A painted on the road 2 using a wavelength of a selected range;
Including,
The control unit 40,
The information of the damaged lane 2A is corrected by merging the information of the lane 2A recognized through the illuminance sensor S2 and the multispectral sensor S3,
The image of the road 2 and the lane 2A photographed through the front camera 20 becomes perpendicular to the road 2 based on the angle A1 at which the front camera 20 is installed. A bird's eye view image is generated by applying a predetermined angle (A2) to be a direction, and a binarization algorithm is applied to the image detected by the rear camera 33 to separate the road area and the lane area, and the feature points of the separated lane area After extracting, traces a line based on the extracted feature points to compensate for the damaged portion of the lane 2A,
The rear camera 33,
It is installed to photograph the lane 2A in a direction perpendicular to the road 2 by being spaced a predetermined distance toward the rear of the front camera 20,
The control unit 40,
A virtual lane guide 10 is merged with the image captured through the front camera 20 and output through the display unit 50,
The lane guide 10,
A first side bar 11 formed to have a predetermined straight length along the lane 2A;
A connecting bar 12 having one end connected to one side of the first side bar 11 and having a predetermined length so that the other end is perpendicular to the first side bar 11; And
A second side bar (13) having one end connected to the other end of the connection bar (12) and having a predetermined straight length such that the other end is parallel to the first side bar (11);
Including,
The width W1 between the first side bar 11 and the second side bar 13 is,
It is formed to be wider than the width of the lane 2A, so that a left separation distance G1 is formed between the first side bar 11 and the left side of the lane 2A, and the second side bar 13 ) And the right side of the lane 2A, a right separation distance G2 is formed,
The control unit 40,
If the left and right separation distances G1 and G2 are the same, it is determined that the vehicle is driving accurately along the lane 2A, and if the left and right separation distances G1 and G2 are different from each other, the value is relatively small. An automatic lane using a vision sensor, characterized in that controlling the driving direction of the vehicle 1 so that the left and right separation distances G1 and G2 are maintained equal to each other by determining that the vehicle 1 is driving biased Painting device.
삭제delete 삭제delete 삭제delete 청구항 1에 있어서,
상기 제어부(40)는,
상기 제1, 2 측면바(11, 13)와 상기 차선(2A) 사이의 좌우측 이격거리(G1, G2)를 이용하여 상기 차선(2A)이 상기 차선가이드(10)의 정 중앙에 위치되도록 하는 것을 특징으로 하는 비전센서를 이용한 자동 차선 도색 장치.The method according to claim 1,
The control unit 40,
Using the left and right separation distances G1 and G2 between the first and second side bars 11 and 13 and the lane 2A, the lane 2A is positioned in the center of the lane guide 10 Automatic lane painting device using a vision sensor, characterized in that.
KR1020200014570A 2020-02-07 2020-02-07 Automatic Lane Painting Device Using Vision Sensors KR102143641B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200014570A KR102143641B1 (en) 2020-02-07 2020-02-07 Automatic Lane Painting Device Using Vision Sensors

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200014570A KR102143641B1 (en) 2020-02-07 2020-02-07 Automatic Lane Painting Device Using Vision Sensors

Publications (1)

Publication Number Publication Date
KR102143641B1 true KR102143641B1 (en) 2020-08-11

Family

ID=72048058

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200014570A KR102143641B1 (en) 2020-02-07 2020-02-07 Automatic Lane Painting Device Using Vision Sensors

Country Status (1)

Country Link
KR (1) KR102143641B1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102368351B1 (en) * 2021-07-26 2022-03-02 한국건설기술연구원 the eco-friendly road pavement cutting apparatus with eccentric control function
CN114622469A (en) * 2022-01-28 2022-06-14 南通威而多专用汽车制造有限公司 Automatic old wire laying control system and control method thereof
KR102409259B1 (en) 2021-08-23 2022-06-15 조현우 Lane Guide Device for Lane-Painted Vehicles
KR102466004B1 (en) 2022-05-11 2022-11-11 (주)라인테크 Lane Painting System using Deep Learning Technology
CN115369734A (en) * 2022-10-10 2022-11-22 山东国丰建设发展有限公司 Road marking machine for road traffic facilities
KR102499258B1 (en) 2022-07-27 2023-02-15 (주)라인테크 Two-component (5 types) AI Lane Automatic Painting Device

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101483009B1 (en) 2014-07-08 2015-01-16 (주)라인테크 Apparatus for printing lane and method for printing lane using the same
JP2015523256A (en) * 2012-04-27 2015-08-13 グーグル・インク Safe maneuvering on the road by maintaining a safe distance from other vehicles
KR20160150532A (en) * 2015-06-22 2016-12-30 동국대학교 산학협력단 Character painting apparatus for road and method thereof
KR20180020458A (en) * 2016-08-18 2018-02-28 동국대학교 산학협력단 Lane repainting apparatus and method
KR20180092078A (en) 2017-02-08 2018-08-17 경 곤 김 Method and apparatus for repainting traffic lane
KR20180092765A (en) * 2017-02-10 2018-08-20 영남대학교 산학협력단 Apparatus and method for identifying lanes by using top view image
KR20190054656A (en) * 2017-11-14 2019-05-22 현대모비스 주식회사 Apparatus for detecting lane and method thereof
KR20190088647A (en) 2018-01-19 2019-07-29 한국해양대학교 산학협력단 Automatic Lane Painting System Using Unmanned Vehicles
KR20190104477A (en) * 2019-08-20 2019-09-10 엘지전자 주식회사 Method for charging battery of autonomous vehicle and apparatus therefor

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015523256A (en) * 2012-04-27 2015-08-13 グーグル・インク Safe maneuvering on the road by maintaining a safe distance from other vehicles
KR101483009B1 (en) 2014-07-08 2015-01-16 (주)라인테크 Apparatus for printing lane and method for printing lane using the same
KR20160150532A (en) * 2015-06-22 2016-12-30 동국대학교 산학협력단 Character painting apparatus for road and method thereof
KR20180020458A (en) * 2016-08-18 2018-02-28 동국대학교 산학협력단 Lane repainting apparatus and method
KR101974602B1 (en) 2016-08-18 2019-05-03 동국대학교 산학협력단 Lane repainting apparatus and method
KR20180092078A (en) 2017-02-08 2018-08-17 경 곤 김 Method and apparatus for repainting traffic lane
KR20180092765A (en) * 2017-02-10 2018-08-20 영남대학교 산학협력단 Apparatus and method for identifying lanes by using top view image
KR20190054656A (en) * 2017-11-14 2019-05-22 현대모비스 주식회사 Apparatus for detecting lane and method thereof
KR20190088647A (en) 2018-01-19 2019-07-29 한국해양대학교 산학협력단 Automatic Lane Painting System Using Unmanned Vehicles
KR20190104477A (en) * 2019-08-20 2019-09-10 엘지전자 주식회사 Method for charging battery of autonomous vehicle and apparatus therefor

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102368351B1 (en) * 2021-07-26 2022-03-02 한국건설기술연구원 the eco-friendly road pavement cutting apparatus with eccentric control function
KR102409259B1 (en) 2021-08-23 2022-06-15 조현우 Lane Guide Device for Lane-Painted Vehicles
CN114622469A (en) * 2022-01-28 2022-06-14 南通威而多专用汽车制造有限公司 Automatic old wire laying control system and control method thereof
KR102466004B1 (en) 2022-05-11 2022-11-11 (주)라인테크 Lane Painting System using Deep Learning Technology
KR102499258B1 (en) 2022-07-27 2023-02-15 (주)라인테크 Two-component (5 types) AI Lane Automatic Painting Device
CN115369734A (en) * 2022-10-10 2022-11-22 山东国丰建设发展有限公司 Road marking machine for road traffic facilities

Similar Documents

Publication Publication Date Title
KR102143641B1 (en) Automatic Lane Painting Device Using Vision Sensors
US10493917B2 (en) Vehicular trailer backup assist system
EP1752947B1 (en) Lane boundary recognition apparatus for vehicle
US10202147B2 (en) Vehicle control system with adaptive wheel angle correction
US7421095B2 (en) Traffic lane marking line recognition system for vehicle
US7415134B2 (en) Traffic lane marking line recognition system for vehicle
US7415133B2 (en) Traffic lane marking line recognition system for vehicle
Lipski et al. A fast and robust approach to lane marking detection and lane tracking
EP2100778A1 (en) Parking assistance device, component for parking assistance device, parking assistance method, parking assistance program, method and program for calculating vehicle travel parameter, device for calculating vehicle travel parameter, and component for device for calculating vehicle travel parameter
US9783111B2 (en) Method and apparatus for vehicle driving assistance
DE19713884A1 (en) Process for regulating lighting range and / or lighting direction
US20130257274A1 (en) Apparatus for controlling head lamp for vehicle
CA2954296C (en) Device for automatic re-striping of horizontal road markings
US20200285913A1 (en) Method for training and using a neural network to detect ego part position
CN106985142A (en) A kind of double vision for omni-directional mobile robots feels tracking device and method
EP1775691B1 (en) Lane boundary recognition apparatus for vehicle
EP2463621A1 (en) Distance calculation device for vehicle
JP2006012191A (en) Lane marking recognition device for vehicle
KR102409259B1 (en) Lane Guide Device for Lane-Painted Vehicles
KR102466004B1 (en) Lane Painting System using Deep Learning Technology
JP3227247B2 (en) Roadway detection device
EP3800576A1 (en) Object detection device, vehicle, and object detection process
KR20050011054A (en) Locomotion methode of mobile robot using floor image informations
KR20040067584A (en) Steering angle of the vehicle due to a travelling deviation revision / speed control data creation system and method
KR102599168B1 (en) Lane Painting Guidance System for Lane Painting Vehicles using HUD

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant