KR20220135362A - Devices and methods for collecting datasets required for learning of an End-to-End deep learning network to implement autonomous driving - Google Patents
Devices and methods for collecting datasets required for learning of an End-to-End deep learning network to implement autonomous driving Download PDFInfo
- Publication number
- KR20220135362A KR20220135362A KR1020210040903A KR20210040903A KR20220135362A KR 20220135362 A KR20220135362 A KR 20220135362A KR 1020210040903 A KR1020210040903 A KR 1020210040903A KR 20210040903 A KR20210040903 A KR 20210040903A KR 20220135362 A KR20220135362 A KR 20220135362A
- Authority
- KR
- South Korea
- Prior art keywords
- learning
- vehicle
- autonomous driving
- road
- steering value
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 자율주행을 위한 End-to-End 딥러닝 네트워크의 학습을 위한 데이터셋 수집 장치 및 방법에 관한 것으로, 보다 상세하게는, End-to-End 기반 자율주행 시스템, 특히 차량에 전면에 달린 이미지 센서로부터 얻은 영상데이터와 현재 차량의 조향데이터 입력을 통해 학습시킨 자율주행 머신러닝 네트워크를 위한 데이터셋 수집 시스템에 관한 것이다.The present invention relates to a dataset collection apparatus and method for learning an end-to-end deep learning network for autonomous driving, and more particularly, to an end-to-end-based autonomous driving system, in particular, It relates to a data set collection system for an autonomous driving machine learning network trained through input of image data obtained from image sensors and steering data of the current vehicle.
본 발명은 자율주행 로봇의 위치 측위와 제어의 정확도 향상을 위한 기술 개발(연구과제고유번호: 202000000001924; 사업무주부처: 사회맞춤형 산학협력선도대학(LINC+)육성사업 / 사회맞춤형 산학협력선도대학(LINC+)육성사업 / 경기도비 지원 기술개발과제; 연구사업명:사회맞춤형 산학협력선도대학(LINC+)육성사업 / 사회맞춤형 산학협력선도대학(LINC+)육성사업 / 경기도비 지원 기술개발과제; 주관기관: 경기도청; 연구관리전문기관: 경기도청; 연구기간: 2020.06.01~2021.01.31)관한 것 이다.The present invention is a technology development for improving the accuracy of positioning and control of autonomous driving robots (Research project number: 202000000001924; Department of business: Social-tailored industry-academic cooperation leading university (LINC+) fostering project / Society-tailored leading university in industry-academic cooperation (LINC+) )Fostering project / Technology development project to support Gyeonggi-do expenses; Research project name: Social-tailored industry-academic cooperation leading university (LINC+) fostering project / Social-tailored industry-academic cooperation leading university (LINC+) fostering project / Gyeonggi-do funding support technology development project; Host institution: Gyeonggi Provincial Government ; Research management institution: Gyeonggi Provincial Government; Research period: 2020.06.01~2021.01.31).
현재 End-to-End 기반 자율주행 학습을 위해 실환경이나 가상환경(CARLA, GAZEBO 시뮬레이터 등)에서 사람이 직접 조이스틱이나 키보드를 이용하여 운전하여 데이터를 수집하고 있다.Currently, for end-to-end-based autonomous driving learning, data is collected by driving in real or virtual environments (CARLA, GAZEBO simulator, etc.) by using a joystick or keyboard.
기존 발명된 특허 중 머신러닝 프로세스 기반 시스템 특허인 "게임 엔진 기반의 머신 러닝 학습이미지 생성 장치 및 방법"(특허출원 10-2017-0151750)의 경우 다양한 게임 관련 이미지를 생성하여 머신 러닝 프로세스의 학습 성능을 강화할 수 있는 게임 엔진 기반의 머신 러닝 학습이미지 생성 장치 및 방법에 관한 것이다. 그러나 자율주행을위한 End-to-End 머신러닝 학습의 경우 이미지에 상응하는 차량의 조향 값이 필요하다.Among the existing patents, the machine learning process-based system patent, "Game engine-based machine learning learning image generation apparatus and method" (patent application 10-2017-0151750), generates various game-related images to improve the learning performance of the machine learning process. It relates to an apparatus and method for generating a machine learning learning image based on a game engine that can enhance However, in the case of end-to-end machine learning for autonomous driving, the steering value of the vehicle corresponding to the image is required.
기존 발표된 논문 중 "자율주행 차량의 학습 데이터 자동 생성 시스템 개발"의 경우, 국내 실정에 맞게 국내 도로 상황을 모사한 시뮬레이터 환경 안에 날씨와 조도, 차량의 종류와 대수, 센서의 위치를 다양화하여 학습데이터를 수집하도록 하였다. 그러나 상기 논문은 이미지를 통해 조향 값을 얻는 학습이 아닌 물체를 검출해내기 위한 방법에 대해 다루고 있어, 상기 기술로는 조향 값을 구해낼 수 없다.In the case of "Development of a system for automatically generating learning data for autonomous vehicles" among previously published papers, the weather and illumination, types and number of vehicles, and the location of sensors were diversified in a simulator environment that mimics the domestic road conditions according to the domestic situation. Learning data was collected. However, the above paper deals with a method for detecting an object rather than learning to obtain a steering value through an image, so the steering value cannot be obtained with the above technique.
이에 따라, 자율주행을 위한 End-to-End 머신러닝 학습의 경우 이미지에 상응하는 차량의 조향 값이 필요하며, 차량의 자율주행을 학습하기 위해서는 차량에 달린 카메라로부터 얻은 이미지와 그에 대응하는 차량의 조향값이 필요하다.Accordingly, in the case of end-to-end machine learning learning for autonomous driving, the steering value of the vehicle corresponding to the image is required. steering value is required.
이를 얻기위해 사람이 직접 차를 운전하여 조향값을 얻어야 되는데, 사람마다 운전 스타일이나 숙련도가 달라 얻은 데이터셋 값이 다양하게 나타나며 이로 인해 자율주행 학습에 있어 문제가 발생할 수 있다. 또한 A 라는 사람이 운전하여 얻은 데이터셋으로 정확도를 측정했을 때, 정확도가 높더라도 A가 운전한 데이터셋에 Overfiting되었는지 알 방법이 없어 딥러닝 네트워크의 정확도가 높다는 보장을 할 수 없다. 또한 사람이 직접 데이터셋을 얻을 경우 최소 1시간이상 주행을 해야되므로 데이터셋 수집에 상당한 시간이 소요되는 문제가 발생한다. 따라서, 사용자에 의해 제작된 가상의 3D 맵에서 이미지 뿐만 아니라 차량의 조향 값까지 고려한 시스템 개발이 필요하다.In order to obtain this, a person must directly drive a car to obtain the steering value, but the data set values obtained vary from person to person due to different driving styles or proficiency, which can cause problems in self-driving learning. Also, when the accuracy is measured with the dataset obtained by driving person A, even if the accuracy is high, there is no way to know whether A has overfitted the dataset driven by A, so the accuracy of the deep learning network cannot be guaranteed. In addition, when a person directly obtains a data set, it takes a considerable amount of time to collect the data set because the vehicle must be driven for at least an hour. Therefore, it is necessary to develop a system that considers not only the image in the virtual 3D map produced by the user but also the steering value of the vehicle.
본 발명은 상기와 같은 문제를 해결하기 위하여 고안된 것으로, 자율주행을 위한 End-to-End 딥러닝 네트워크 학습을 위한 데이터셋 수집 시스템을 개발하는 것이다. 차량의 자율주행을 학습하기위해 차량에 달린 카메라로부터 얻은 이미지와 그에 대응하는 차량의 조향값이 필요하며, 이를 위해 맵을 정형화시켜 현재 차량의 정보와 도로의 곡률을 통해 waypoint와 차량의 조향값을 구해내고, 그에 대응하는 이미지를 수집하여 자율주행 End-to-End 학습을 위해 데이터셋을 수집해 시스템을 개발하고자 한다.The present invention is designed to solve the above problems, and is to develop a data set collection system for end-to-end deep learning network learning for autonomous driving. In order to learn the autonomous driving of a vehicle, the image obtained from the camera on the vehicle and the steering value of the corresponding vehicle are required. We are trying to develop a system by collecting data sets for self-driving end-to-end learning by collecting images corresponding to the rescue operation.
상기와 같은 목적을 달성하기 위하여 본 발명의 일 실시예에 따른 3D 맵 생성 단계; 맵의 정보 수집 단계; 차량의 pose 생성 단계; 시뮬레이션 주행 단계; 이미지 수집 및 조향 값 수집 단계; 이미지 증강 모듈 단계; 를 포함할 수 있다.3D map generation step according to an embodiment of the present invention in order to achieve the above object; information gathering step of the map; generating a pose of the vehicle; simulation driving phase; image acquisition and steering value collection step; image augmentation module step; may include.
본 발명의 실시예에 따라, Gazebo 시뮬레이션 상에서 차량 주행을 위한 레이싱맵을 생성하기 위해 정형화된 도로 모델을 제작하고, 정형화된 도로들을 이어붙여 하나의 큰 레이싱맵을 제작한다.According to an embodiment of the present invention, a standardized road model is produced to generate a racing map for vehicle driving on a Gazebo simulation, and a single large racing map is produced by connecting the standardized roads.
본 발명의 실시예에 따라, 1. 제작된 Gazebo world를 실행하여 ROS 토픽형태로 도로정보를 publish하고 수집부를 통해 도로의 정보를 수집한다.According to an embodiment of the present invention, 1. Run the produced Gazebo world to publish road information in the form of a ROS topic, and collect road information through a collection unit.
본 발명의 실시예에 따라, 수집된 도로의 정보를 통해 차량의 waypoint 및 조향 값 생성한다.According to an embodiment of the present invention, a waypoint and steering value of a vehicle are generated through the collected road information.
본 발명의 실시예에 따라, 생성된 waypoint를 Gazebo world에서 실행시켜 시뮬레이션 주행을 한다.According to an embodiment of the present invention, the generated waypoint is executed in the Gazebo world to perform simulation driving.
본 발명의 실시예에 따라, 가상환경에서 차량을 주행시키며 이때 주행 이미지 수집한다.According to an embodiment of the present invention, a vehicle is driven in a virtual environment, and driving images are collected at this time.
본 발명의 실시예에 따라, 실시간 주행이미지와 조향값을 매칭시킨다.According to an embodiment of the present invention, a real-time driving image and a steering value are matched.
본 발명의 실시예에 따라, 이미지 증강 모듈을 통해 밝기, 색상 등 데이터를 다양화시켜 딥러닝 네트워크의 과적합을 방지한다.According to an embodiment of the present invention, data such as brightness and color are diversified through an image augmentation module to prevent overfitting of a deep learning network.
상기 과정을 통해 자율주행을 위한 End-to-End 학습 데이터셋을 만들 수 있다.Through the above process, an end-to-end learning dataset for autonomous driving can be created.
본 발명에 따른 자율주행을 위한 End-to-End 딥러닝 네트워크 학습을 위한 데이터셋 수집 시스템은 맵을 정형화시켜 사용자가 원하는 맵을 구현하고, 실시간 차량의 정보와 도로의 곡률을 분석해 waypoint를 만들어 차량의 조향 값을 구해 그에 대응하는 이미지를 수집하여 자율주행 End-to-End 학습을 위해 데이터셋을 수집하는 시스템이다.The dataset collection system for end-to-end deep learning network learning for autonomous driving according to the present invention implements the map desired by the user by standardizing the map, and creates a waypoint by analyzing real-time vehicle information and road curvature. It is a system that collects the data set for autonomous driving end-to-end learning by obtaining the steering value of , and collecting the corresponding image.
자율주행을 목적으로하는 딥러닝 네트워크 학습시 필요한 데이터셋을 원하는 형태의 맵 제작과 차량의 속력값 변화를 통해 대량으로 얻을 수 있으며 사람이 직접 운전하지 않아도 되는 편리함이 있다. 본 시스템으로 얻은 데이터셋은 수식을 통해 계산된 조향값을 사용하므로 학습시킨 딥러닝 네트워크 모델에 직접적으로 성능 비교가 가능하다.When learning a deep learning network for the purpose of autonomous driving, the necessary dataset can be obtained in large quantities by making a map in the desired shape and changing the speed value of the vehicle, and there is the convenience of not requiring a human to drive. Since the dataset obtained by this system uses the steering value calculated through the formula, the performance can be directly compared to the trained deep learning network model.
도 1은 본 발명의 실시예에 따른 자율주행을 위한 End-to-End 딥러닝 네트워크의 학습을 위한 데이터셋 수집 블록 구성도를 나타내는 도면이다.
도 2a는 r=50m 좌회전도로를 나타내는 도면이다.
도 2b는 50m 직선도로를 나타내는 도면이다.
도 3은 GAZEBO GUI를 이용해 사용자가 원하는 모양으로 타일처럼 이어붙여 만든 레이싱맵을 나타내는 도면이다.
도 4는 각 도로의 model의 정보가 ROS 토픽형태로 publish된 것을 나타내는 도면이다.
도 5는 사분면 별 x,y 증감 알고리즘을 나타내는 도면이다.
도 6은 waypoint대로 주행중인 차량의 실시간 이미지를 나타내는 도면이다.
도 7은 Ackermann 차량의 steering 값 계산 방법을 나타내는 도면이다.
도 8은 velocity와 도로 거리 간의 관계도를 나타내는 도면이다.
도 9는 본 발명을 통해 수집된 이미지를 나타내는 도면이다.
도 10은 이미지 증강 모듈을 통해 얻은 이미지를 나타내는 도면이다.
도 11은 본 발명의 자율주행 학습 데이터셋을 사용해 End-to-End 딥러닝 네트워크를 학습시켜 얻은 이미지를 나타내는 도면이다.
도 12는 본 발명을 통해 얻은 조향 값 및 pose 값을 나타내는 도면이다.
도 13a는 테스트 트랙1의 레이싱맵을 나타내는 도면이다.
도 13b는 본 발명을 통해 테스트 트랙1을 주행한 결과를 나타내는 도면이다.
도 14a는 테스트 트랙2의 레이싱맵을 나타내는 도면이다.
도 14b은 본 발명을 통해 테스트 트랙2을 주행한 결과를 나타내는 도면이다.1 is a diagram showing a block diagram of a dataset collection for learning of an end-to-end deep learning network for autonomous driving according to an embodiment of the present invention.
2A is a view showing a left turn road at r=50m.
2B is a view showing a 50m straight road.
3 is a view showing a racing map made by pasting together like tiles in a shape desired by a user using the GAZEBO GUI.
4 is a diagram showing that information on the model of each road is published in the form of a ROS topic.
5 is a diagram illustrating an x,y increase/decrease algorithm for each quadrant.
6 is a diagram illustrating a real-time image of a vehicle driving according to a waypoint.
7 is a diagram illustrating a method of calculating a steering value of an Ackermann vehicle.
8 is a diagram illustrating a relationship between velocity and road distance.
9 is a view showing images collected through the present invention.
10 is a diagram illustrating an image obtained through an image augmentation module.
11 is a diagram illustrating an image obtained by learning an end-to-end deep learning network using the autonomous driving learning dataset of the present invention.
12 is a view showing a steering value and a pose value obtained through the present invention.
13A is a diagram illustrating a racing map of
13B is a view showing the result of driving the
14A is a diagram illustrating a racing map of
14B is a view showing the result of driving the
도 1은 본 발명의 실시예에 따른 자율주행을 위한 End-to-End 딥러닝 네트워크의 학습을 위한 데이터셋 수집 블록 구성도이다.1 is a block diagram of a dataset collection for learning of an end-to-end deep learning network for autonomous driving according to an embodiment of the present invention.
본 발명은 오픈소스 시뮬레이션 가상환경인 GAZEBO9 과 로봇운영체제 Robot Operating System (ROS)를 사용하여 구현하였다.The present invention was implemented using the open source simulation virtual environment GAZEBO9 and the robot operating system Robot Operating System (ROS).
GAZEBO9 가상환경을 실행하기위해선 world 파일이 필요하며 world 파일안에는 여러 model 파일들이 존재한다.A world file is required to run the GAZEBO9 virtual environment, and several model files exist in the world file.
우선 차량주행을 위한 world를 만들기위해 도로 model을 제작한다. 도로 model을 제작할 때 직선도로의 경우 도로의길이, 곡선도로의 경우 도로의 반지름이 필요하다. 이때 곡선도로의 형태는 1/4원의 형태이며 도로와 도로가 맞닿는 부분의 폭은 같아야 한다. 곡선도로의 형태가 1/4원인 이유는 모델을 타일처럼 이어붙이기 편하도록 하기 위함이며 도로 폭이 같아야 하는 이유 또한 마찬가지다.First, a road model is created to create a world for vehicle driving. When making a road model, in the case of a straight road, the length of the road, and in the case of a curved road, the radius of the road is required. At this time, the shape of the curved road is in the form of a quarter circle, and the width of the part where the road meets the road should be the same. The reason why the shape of the curved road is 1/4 is to make it easy to connect the model like a tile, and the same is the reason why the road width should be the same.
도 2a와 도 2b는 도로의 속성이 반영된 도로의 model 이름이다.2A and 2B are model names of roads in which properties of roads are reflected.
도로의 model의 이름은 도 2a와 도 2b같이 도로의 속성이 반영되도록 작성된다.The name of the road model is written to reflect the road properties as shown in FIGS. 2A and 2B .
정형화시킨 도로는 GAZEBO GUI를 이용해 사용자가 원하는 모양으로 타일처럼 이어 붙일 수 있다. 따라서 원하는 모양의 도로를 타일처럼 이어 붙여 하나의 큰 레이싱맵을 만든다.The standardized road can be connected like a tile in the shape desired by the user using the GAZEBO GUI. Therefore, the roads of the desired shape are connected like tiles to make one large racing map.
도 3은 원하는 모양의 도로를 타일처럼 이여 붙여 만들어진 하나의 큰 레이싱맵이다.3 is a large racing map made by attaching a desired shape of a road like a tile.
도 3과 같이 정형화시킨 도로의 개수를 추가하여 다양한 형태의 레이싱맵을 만들 수 있게되고 많은 학습 데이터셋을 얻을 수 있다.By adding the standardized number of roads as shown in FIG. 3 , various types of racing maps can be created, and many learning datasets can be obtained.
도 4는 각 도로의 model 정보가 ROS 토픽형태로 publish된 것이다.4 shows that model information of each road is published in the form of a ROS topic.
맵을 제작한뒤 GAZEBO9 world를 실행하게되면 도 4와 같이 각 도로의 model의 정보가ROS 토픽형태(ex. curved_left_100m, straight_50m) 로 publish 된다. 이렇게 publish 된 토픽을 수신부에서 subscribe하여 waypoint를 구할 수 있게 된다.When GAZEBO9 world is executed after making a map, the model information of each road is published in ROS topic format (ex. curved_left_100m, straight_50m) as shown in FIG. 4 . By subscribing to this published topic in the receiver, waypoints can be obtained.
publish 되는 타일의 정보를 수신부에서 subscribe 하여 각 도로 모델들의 구조(형태, 길이, 반지름)를 얻을 수 있고, 현재차량의 속도와를 고려하여 waypoint(position, orientation)를 자동생성한다. waypoint는 결국 도로의 형태와 동일하므로 waypoint 생성 알고리즘은 수학식 1과 같이좌표 회전변환을 사용하여 구현하였다.By subscribing to the published tile information from the receiver, the structure (shape, length, radius) of each road model can be obtained, and waypoints (position, orientation) are automatically created in consideration of the current vehicle speed. Since the waypoint is ultimately the same as the shape of the road, the waypoint generation algorithm was implemented using the coordinate rotation transformation as shown in
도 5는 사분면 별 x,y 증감 알고리즘이다.5 is an x,y increase/decrease algorithm for each quadrant.
일반 좌표축의 x,y와 로봇의 x,y축 계산방식이 다르기 때문에, 이를 고려하여 도 5와 같은 방식으로 알고리즘을 구현하였다.Since the calculation method of the x and y of the general coordinate axis and the calculation method of the x, y axis of the robot are different, the algorithm was implemented in the same manner as in FIG. 5 in consideration of this.
좌회전의 방향이 좌표 회전변환의 정방향과 같으므로 초기위치는 (0,0)으로 생각한다. 계산 방식은 수학식 2와 같다.Since the direction of the left rotation is the same as the forward direction of the coordinate rotation transformation, the initial position is considered to be (0,0). The calculation method is the same as in
위 알고리즘을 사용하면 어떠한 도로를 다양하게 이어 붙여도 차량의 waypoint가 계산이 가능하다.Using the above algorithm, it is possible to calculate the waypoint of a vehicle by connecting various roads.
도 6은 waypoint대로 주행 중인 차량의 실시간 이미지이다.6 is a real-time image of a vehicle driving according to a waypoint.
생성된 waypoint는 GAZEBO world 파일인 .world 확장자에 맞는 문법으로 자동 생성되며 생성된 텍스트를 .world 파일에 삽입하여 실행하면 도 6과 같이 GAZEBO9 가상환경 차량이 해당 waypoint로 주행 하는 것을 볼 수 있다.The created waypoint is automatically created with the grammar suitable for the .world extension, which is the GAZEBO world file, and when the generated text is inserted into the .world file and executed, you can see the GAZEBO9 virtual environment vehicle driving to the corresponding waypoint as shown in FIG. 6 .
생성된 차량의 waypoint를 사용하여 Gazebo 환경에서 차량을 주행시키며 실시간 이미지를 수집하고 다음 수학식 3을 통해 얻은 그에 대응하는 steering 값을 기록한다.Using the created vehicle's waypoint, driving the vehicle in the Gazebo environment, collecting real-time images, and recording the corresponding steering value obtained through
여기서 r은 도로의 반지름을 의미하며 v는 차량의 선형속도, w는 차량의 각속도를 나타낸다.Here, r is the radius of the road, v is the linear speed of the vehicle, and w is the angular speed of the vehicle.
도 7은 Ackermann 차량의 steering 값 계산 방법을 나타낸 모식도이다.7 is a schematic diagram illustrating a method of calculating a steering value of an Ackermann vehicle.
radius와 v, w와의 상관관계는 그림 6과 같으며 각도를 θ도로의 반지름을 r 움직인 거리를 l이라고 했을 때 
즉 l은 linear velocity v, θ는 angular velocity w, r은 radius r이라고 할 수 있으며 도 7의 Ackermann 차량의 경우 [수학식 3]의 (1)로 steering 값이 계산가능하다.That is, l is the linear velocity v, θ is the angular velocity w, and r is the radius r, and in the case of the Ackermann vehicle of FIG. 7, the steering value can be calculated by (1) of [Equation 3].
도 8은 velocity와 도로 거리 간의 관계도를 나타낸 것이다.8 is a diagram illustrating a relationship between velocity and road distance.
도 9와 같이 얻은 이미지는 이미지 증강 모듈을 통해 밝기, 색상 등을 변형시켜 도 10과 같이 이미지를 증강할 수 있다.The image obtained as shown in FIG. 9 may be augmented as shown in FIG. 10 by changing brightness, color, etc. through the image augmentation module.
본 발명을 통해 얻은 자율주행 학습 데이터셋을 사용해 End-to-End 딥러닝 네트워크를 학습시킨 결과, 도 11부터 도 14b와 같이 사람이 직접 주행한 데이터셋과 다를바 없이 네트워크 학습이 잘 된 것을 확인할 수 있었다.As a result of learning the end-to-end deep learning network using the autonomous driving learning dataset obtained through the present invention, as shown in FIGS. could
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였으나 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.Embodiments of the present invention have been described above with reference to the accompanying drawings, but those of ordinary skill in the art to which the present invention pertains know that the present invention can be implemented in other specific forms without changing the technical spirit or essential features thereof. You will understand. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive.
Claims (2)
현재 차량의 정보와 도로의 곡률을 통해 waypoint를 만들어 조향값을 구해내고,
그에 대응하는 이미지를 수집하여 자율주행 End-to-End 학습을 위해 데이터셋을 수집하는 시스템.Create a map that users want by standardizing the map,
Through the current vehicle information and the curvature of the road, a waypoint is created to obtain the steering value,
A system that collects corresponding images and collects datasets for autonomous driving end-to-end learning.
커브길의 경우 4사분면으로 나누어 좌회전 및 우회전의 waypoint를 계산해내는 방법을 구현하는 시스템.The method of claim 1,
In the case of a curved road, a system that implements a method of calculating the waypoints for left and right turns by dividing it into four quadrants.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210040903A KR20220135362A (en) | 2021-03-30 | 2021-03-30 | Devices and methods for collecting datasets required for learning of an End-to-End deep learning network to implement autonomous driving |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210040903A KR20220135362A (en) | 2021-03-30 | 2021-03-30 | Devices and methods for collecting datasets required for learning of an End-to-End deep learning network to implement autonomous driving |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220135362A true KR20220135362A (en) | 2022-10-07 |
Family
ID=83595885
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210040903A KR20220135362A (en) | 2021-03-30 | 2021-03-30 | Devices and methods for collecting datasets required for learning of an End-to-End deep learning network to implement autonomous driving |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20220135362A (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101947650B1 (en) | 2017-11-14 | 2019-05-20 | 국방과학연구소 | Apparatus and method for generating learning image in game engine-based machine learning |
-
2021
- 2021-03-30 KR KR1020210040903A patent/KR20220135362A/en unknown
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101947650B1 (en) | 2017-11-14 | 2019-05-20 | 국방과학연구소 | Apparatus and method for generating learning image in game engine-based machine learning |
Non-Patent Citations (1)
| Title |
|---|
| "Développement d'un système de génération de données d'apprentissage automatique pour les véhicules autonomes", Journal of the Korean ITS Society, 19: 5, 162-177, Seung-Je Yoon, Ji-Won Jeong, Jun Hong, Kyung-Il Lim, Jae-Hwan Kim, Hyeong-Joo Kim (2020) |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11126891B2 (en) | Systems and methods for simulating sensor data using a generative model | |
| US11231283B2 (en) | Localization with neural network based image registration of sensor data and map data | |
| JP2021531462A (en) | Intelligent navigation methods and systems based on topology maps | |
| CN108303994B (en) | Group control interaction method for unmanned aerial vehicle | |
| CN110073362A (en) | System and method for lane markings detection | |
| CN110146097A (en) | Method and system for generating automatic driving navigation map, vehicle-mounted terminal and server | |
| JP2020123317A (en) | Method and device for controlling travel of vehicle | |
| CN104850120B (en) | Wheeled mobile robot air navigation aid based on IHDR autonomous learning frameworks | |
| US20210073345A1 (en) | Systems and methods for inferring simulated data | |
| CN107202592A (en) | A kind of vehicle-mounted real scene navigation System and method for | |
| WO2022083487A1 (en) | Method and apparatus for generating high definition map and computer-readable storage medium | |
| CN106157624A (en) | Many granularities road shunting visual analysis methods based on traffic location data | |
| CN113189613A (en) | Robot positioning method based on particle filtering | |
| Liu et al. | Ground camera images and uav 3d model registration for outdoor augmented reality | |
| CN103759724A (en) | Indoor navigation method based on decorative lighting characteristic and system | |
| US20200380085A1 (en) | Simulations with Realistic Sensor-Fusion Detection Estimates of Objects | |
| KR20220135362A (en) | Devices and methods for collecting datasets required for learning of an End-to-End deep learning network to implement autonomous driving | |
| Bastani et al. | Inferring and improving street maps with data-driven automation | |
| US20210217209A1 (en) | Systems and methods for location-based information processing with augmented reality (ar) system | |
| WO2020182297A1 (en) | Learnable localization using images | |
| CN110068824A (en) | A kind of sensor pose determines method and apparatus | |
| CN107869991A (en) | Acquisition method and device, the computer equipment and computer-readable recording medium of indoor location data | |
| EP3948660A1 (en) | System and method for determining location and orientation of an object in a space | |
| EP3786854A1 (en) | Methods and systems for determining driving behavior | |
| CN106643727A (en) | Method for constructing robot navigation map |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| N231 | Notification of change of applicant |