KR20180055292A - Integration method for coordinates of multi lidar - Google Patents
Integration method for coordinates of multi lidar Download PDFInfo
- Publication number
- KR20180055292A KR20180055292A KR1020160152957A KR20160152957A KR20180055292A KR 20180055292 A KR20180055292 A KR 20180055292A KR 1020160152957 A KR1020160152957 A KR 1020160152957A KR 20160152957 A KR20160152957 A KR 20160152957A KR 20180055292 A KR20180055292 A KR 20180055292A
- Authority
- KR
- South Korea
- Prior art keywords
- coordinate system
- camera
- lidar
- coordinates
- vehicle
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000010354 integration Effects 0.000 title abstract description 11
- 238000012937 correction Methods 0.000 claims abstract description 16
- 239000011159 matrix material Substances 0.000 claims description 34
- 230000001131 transforming effect Effects 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G01S17/023—
-
- G01S17/936—
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
본 발명은 다중 라이다 좌표계 통합 방법에 관한 것으로서, 차량에 다수개의 라이다 센서를 장착하여 차량 주변 물체를 다수의 라이다에서 동시 검출함으로써 검출율을 높일 수 있도록 다중으로 장착된 라이다의 좌표계를 하나의 카메라 좌표계로 통합하는 방법에 관한 것이다.The present invention relates to a multi-ladder coordinate system integration method, and more particularly, to a multi-ladder coordinate system integration method in which a plurality of ladder sensors are mounted on a vehicle, To a single camera coordinate system.
자율주행 자동차란 운전자의 개입 없이 주변 환경을 인식하고, 주행 상황을 판단하여, 차량을 제어함으로써 스스로 주어진 목적지까지 주행하는 자동차를 말한다.An autonomous vehicle is a vehicle that recognizes the surrounding environment without the driver's intervention, determines the driving situation, and controls the vehicle to travel to a given destination by itself.
최근에는 이러한 자율주행 자동차가 교통사고를 줄이고, 교통 효율성을 높이며, 연료를 절감하고, 운전을 대신해줌으로써 편의를 증대시킬 수 있는 미래 개인 교통 수단으로 주목 받고 있다.In recent years, such autonomous vehicles have attracted attention as a means of future personal transportation that can reduce the number of traffic accidents, improve transportation efficiency, reduce fuel consumption, and increase the convenience of driving.
이러한 자율주행 자동차에서는 자동차, 보행자와 같은 장애물을 인식하고, 차선, 정지선, 횡단보도, 신호등과 같은 도로상의 표식을 인식하는 기술이 기본이 되며, 이를 위해 레이다, 라이다, 스테레오 카메라 등의 센서가 이용되고 있다.In such autonomous vehicles, it is essential to recognize obstacles such as automobiles and pedestrians and to recognize the markings on the road such as lanes, stop lines, crosswalks, and traffic lights. For this purpose, sensors such as radar, .
자동차가 안정적으로 자율주행하기 위해서는 이러한 환경을 정확하게 인식하는 것이 가장 중요하기 때문에 환경을 정확하게 감지할 수 있는 센서와 감지 방법에 대한 연구가 활발하게 이루어 지고 있다.Since it is most important to accurately recognize such environments in order for a car to autonomously travel, researches on sensors and sensing methods that can accurately detect the environment have been actively conducted.
라이다 센서는 카메라 센서보다 물체 검출률 및 거리 정확성은 높지만, 검출에 대한 신뢰성은 낮다. Lidar sensor has higher object detection rate and distance accuracy than camera sensor, but has low reliability for detection.
이에 비해, 카메라 센서는 라이다 센서보다 물체 검출 결과에 대한 신뢰성은 높으나, 물체까지의 거리에 대한 정확성 및 실제 존재하는 물체에 대한 검출률은 다소 떨어지는 특성을 갖는다.On the other hand, the camera sensor has higher reliability than the Lada sensor, but the accuracy of the distance to the object and the detection rate of the actual object are somewhat lower.
따라서, 라이다 센서와 카메라 센서를 상호 보완적으로 이용하여 물체의 존재 여부를 감지하면, 자동차 주변의 환경을 보다 정확하게 감지할 수 있다.Accordingly, when the presence of an object is detected by using the Lada sensor and the camera sensor as complementary, it is possible to more accurately detect the environment around the automobile.
그러나, 종래에는 라이다 센서와 카메라 센서를 단순 병합하여 차량을 인식하는 기술만이 개시되어 있을 뿐이고, 2D로 검출하는 라이다 센서를 하나만 이용하기 때문에 객체 판단을 위한 데이터가 부족하였으며, 이에 따라 복잡한 지형물이나 물체에 대한 검출률이 높지 않았다.However, in the related art, only a technique of recognizing a vehicle by simply merging a Lada sensor and a camera sensor has been disclosed, and since there is only one Lada sensor for detecting in 2D, data for object determination is insufficient, The detection rate for the terrain or object was not high.
이에 본 발명은 상기한 문제점을 해결하기 위하여, 차량에 다수개의 라이다 센서를 장착하여 하나의 객체를 여러 라이다에서 동시 검출함으로써 검출률을 높일 수 있도록 다중으로 장착된 라이다의 좌표계를 하나의 카메라 좌표계와 통합하는 방법을 제공하는데 그 목적이 있다.In order to solve the above-described problem, the present invention has been made to solve the above-mentioned problems, and it is an object of the present invention to provide a coordinate system of Lada, which is mounted in multiple ways so as to increase the detection rate by simultaneously mounting a plurality of Lada sensors on a vehicle, And a method of integrating it with a coordinate system.
본 발명에 따른 차량의 일측에 장착된 카메라 센서와 차량에 장착되어 차량 주변의 상황을 감지하는 n개의 라이다에서 추출된 이미지의 좌표를 통합하는 다중 라이다 좌표계 통합 방법에 있어서, 상기 카메라 센서에서 이미지 데이터를 생성하고, 상기 n개의 라이다에서 각각 n개의 라이다 데이터를 생성하는 단계; 상기 이미지 데이터를 카메라 좌표계에 표시하고, 좌표 통합장치가 상기 n개의 라이다 데이터를 각각 n개의 라이다 좌표계에 표시하는 단계; 상기 좌표 통합장치가 상기 카메라 좌표계와 상기 n개의 라이다 좌표계 간의 보정 파라미터를 순차적으로 각각 추출하는 단계; 및 상기 좌표 통합장치가 상기 n개의 라이다 좌표계에 대해 각각 추출된 보정 파라미터를 이용하여 상기 n개의 라이다 좌표계에 표시된 라이다 데이터를 상기 카메라 좌표계로 변환하는 단계; 를 포함한다.A method for integrating a multi-ladder coordinate system integrating a camera sensor mounted on one side of a vehicle according to the present invention and coordinates of an image extracted from n ladies mounted on the vehicle and sensing a situation around the vehicle, Generating image data, and generating n rows of data from each of the n rows; Displaying the image data in a camera coordinate system, and the coordinate integrator displaying the n pieces of Raidata data in n coordinate systems respectively; Sequentially extracting correction parameters between the camera coordinate system and the n-coordinate system of R, respectively; And converting the Ladder data displayed in the n-coordinate system into the camera coordinate system using the correction parameters extracted for the n-coordinate system by the coordinate integrating device; .
본 발명에서 상기 보정 파라미터는, 상기 카메라 좌표계와 상기 n개의 라이다 좌표계 각각에 대한 회전 행렬(R)과 이동 행렬(T)을 포함한다.In the present invention, the correction parameter includes a rotation matrix R and a movement matrix T for each of the camera coordinate system and the n-dimensional Lattice coordinate system.
본 발명에서 상기 n번째 라이다 좌표계에 표시된 라이다 데이터를 상기 카메라 좌표계로 변환하는 수식은 아래와 같으며,In the present invention, the formula for transforming the Lattice data in the n-th coordinate system into the camera coordinate system is as follows,
위의 수식에서 
본 발명에 따르면 다수개의 2D 라이다 데이터와 카메라 센서 데이터를 융합하는 것만으로 고가의 3D 라이다를 적용한 효과를 줄 수 있어 상대적으로 저가의 장비를 이용해 물체 인식의 정확성을 확보할 수 있다.According to the present invention, it is possible to obtain an effect of applying expensive 3D ladder merely by merely fusing a plurality of 2D ladder data and camera sensor data, so that the accuracy of object recognition can be secured by using relatively low-cost equipment.
또한, 날씨에 따라 물체 인식의 정확성이 떨어지는 카메라 센서 데이터와 객체 인식이 불안정한 2D 라이다 데이터의 단점을 보완함으로써 물체 검출의 신뢰성을 높일 수 있다. In addition, reliability of object detection can be improved by supplementing the disadvantages of camera sensor data, which is less accurate in object recognition depending on the weather, and 2D Lai data, which is unstable in object recognition.
도 1은 본 발명의 일 실시 예에 따른 카메라 센서와 다중 라이다가 적용된 자율주행 차량의 예시이다.
도 2는 본 발명의 일 실시 예에 따른 좌표 통합장치를 이용한 다중 라이다 좌표계 통합 방법에 대한 예시이다.
도 3은 본 발명의 일 실시 예에 따른 다중 라이다 좌표계 통합 방법의 흐름도이다.FIG. 1 illustrates an example of an autonomous vehicle to which a camera sensor and multiple sensors are applied according to an exemplary embodiment of the present invention.
FIG. 2 is a diagram illustrating an example of a method of integrating a multi-line coordinate system using a coordinate integrating apparatus according to an embodiment of the present invention.
3 is a flowchart of a method of integrating a multiple Raid coordinate system according to an embodiment of the present invention.
이하에서, 본 발명의 바람직한 실시예가 첨부된 도면들을 참조하여 설명할 것이다. 또한 본 발명을 설명함에 있어서 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings. In the following description, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.
도 1은 본 발명의 일 실시 예에 따른 카메라 센서와 다중 라이다가 적용된 자율주행 차량의 예시이다.FIG. 1 illustrates an example of an autonomous vehicle to which a camera sensor and multiple sensors are applied according to an exemplary embodiment of the present invention.
도 1을 참조하면 자율주행 차량(10)의 정면 범퍼에 카메라 센서(110)가 장착되어 있고, 카메라 센서(110) 바로 옆에 제1 라이다(120)가 장착되어 있으며, 차량의 상부 양측으로 제2 라이다(130)와 제3 라이다(140)가 장착된 것을 확인할 수 있다.Referring to FIG. 1, a camera sensor 110 is mounted on a front bumper of an autonomous vehicle 10, and a first R 120 is mounted next to a camera sensor 110. It can be seen that the second RL 130 and the third RL 140 are installed.
즉, 차량의 주변 환경을 인식하기 위해 카메라 센서 한 개와 라이다 세 개가 장착되어 있는 것이다.In other words, one camera sensor and three Lada sensors are installed to recognize the surroundings of the vehicle.
이러한 자율주향 차량(10)에서 각각의 라이다에서 인식된 물체는 각각의 라이다 좌표계에 따라 그 위치가 상이하게 나타날 수 있으므로 좌표를 하나로 통일시켜야 한다.In the autonomous vehicle 10, since the positions of the objects recognized in each row may be different according to the respective Raid coordinate system, the coordinates must be unified into one.
이를 위해 카메라 센서(110)의 좌표계를 이용하여 각각의 라이다 좌표계를 카메라 센서의 좌표계로 변환하여 통합하는 과정이 필요하다.To accomplish this, it is necessary to convert each Lada coordinate system into a coordinate system of the camera sensor using the coordinate system of the camera sensor 110 and integrate them.
도 1에서 보면 카메라 센서(110)의 좌표계는 X축과 Z축이 평면을 구성하고 있으며, Y축이 세로축을 구성하고 있는데 반해, 제1 내지 제3 라이다(120, 130, 140)는 X축과 Z축이 평면을 구성하고 있어 카메라 센서(110)와 동일하지만 Y축의 방향이 마이너스 방향을 향하고 있어 좌표계의 변환이 필요한 상태이다.1, the coordinate system of the camera sensor 110 includes the X-axis and the Z-axis as planes, and the Y-axis as the vertical axis. Axis and the Z-axis constitute a plane, which is the same as the camera sensor 110, but the direction of the Y-axis is directed to the minus direction, so that it is necessary to change the coordinate system.
또한, 제1 내지 제3 라이다(120, 130, 140)의 위치 및 장착 방향이 카메라 센서(110)의 위치와 차이가 있기 때문에 이를 고려하여 좌표계를 매칭시켜야 한다.In addition, since the positions of the first to third lines 120, 130, and 140 and the mounting direction are different from the positions of the camera sensor 110, the coordinate system must be matched in consideration of this.
이러한 다중 라이다의 좌표 통합을 위해 좌표 통합장치(미도시)가 구성되며, 좌표 통합장치는 카메라 센서(110) 및 제1 내지 제3 라이다(120, 130, 140)로부터 센싱된 이미지를 수신받아 각각의 좌표계에 매칭시키고, 좌표계를 통합하여 통합된 좌표계에 물체의 이미지를 정확하게 표시한다.A coordinate integrating device (not shown) is configured for coordinate integration of the multiple lidar, and the coordinate integrating device receives the sensed image from the camera sensor 110 and the first through third LIRs 120, 130, And the coordinate system is integrated to accurately display the image of the object in the integrated coordinate system.
이러한 좌표 통합장치는 예컨데 마이크로 컴퓨터 또는 디지털 시그널 프로세서 등의 이미지 프로세싱이 가능한 제어장치 또는 칩으로 구현되는 것이 바람직하다.Such a coordinate integrating device is preferably implemented as a control device or a chip capable of image processing such as a microcomputer or a digital signal processor.
이러한 좌표 통합장치를 이용한 다중 라이다 좌표계 통합 방법에 대해 예시를 통해 좀더 구체적으로 살펴보도록 한다.The method of integrating a multi-ladder coordinate system using such a coordinate integrating apparatus will be described in more detail through an example.
도 2는 본 발명의 일 실시 예에 따른 좌표 통합장치를 이용한 다중 라이다 좌표계 통합 방법에 대한 예시이다.FIG. 2 is a diagram illustrating an example of a method of integrating a multi-line coordinate system using a coordinate integrating apparatus according to an embodiment of the present invention.
도 2를 참조하면 점 P의 위치는 카메라 센서(110) 및 제1 내지 제3 라이다(120, 130, 140)에서 각각의 좌표계에 따라 각각 다른 좌표값으로 표시된다.Referring to FIG. 2, the position of the point P is represented by different coordinate values according to the respective coordinate systems in the camera sensor 110 and the first to third R-lines (120, 130, 140).
카메라 센서(110)의 좌표계인 카메라 좌표계에서 점 P의 위치는 아래와 같이 표시될 수 있다.The position of the point P in the camera coordinate system, which is the coordinate system of the camera sensor 110, can be displayed as follows.
제1 내지 제3 라이다(120, 130, 140)의 좌표계인 제1 내지 제3 라이다 좌표계에서 점 P의 위치는 아래와 같이 표시된다.The positions of the point P in the coordinate system of the first to third coordinate system (120, 130, 140) are indicated as follows.
이렇게 각각의 좌표계에 따라 다른 값으로 표시된 점 P의 위치는 좌표계 변환을 통해 하나의 좌표계로 표시될 수 있는데 이를 위해 필요한 것이 보정 파라미터이다.Thus, the position of the point P indicated by different values according to each coordinate system can be represented by one coordinate system through the coordinate system transformation, and the correction parameter is necessary for this.
보정 파라미터는 각각 다른 좌표계를 어느 하나의 좌표계로 통일시키기 위한 변수로써, 회전 행렬과 이동 행렬을 포함한다.The correction parameters are variables for unifying different coordinate systems into one coordinate system, and include a rotation matrix and a movement matrix.
회전 행렬이란 도 2에서 제1 라이다(120)의 좌표계인 제1 라이다 좌표계와 카메라 센서(110)의 좌표계인 카메라 좌표계를 예로 들면, 두개의 좌표계는 X축과 Z축의 방향이 같지만 Y축의 방향은 180도 뒤집힌 상태이다.2, the first coordinate system is the first coordinate system of the first coordinate system 120. In the coordinate system and the camera coordinate system of the camera sensor 110, the two coordinate systems have the same direction of the X axis and the Z axis, The direction is turned 180 degrees.
따라서 어느 하나의 좌표계를 기준으로 다른 하나의 좌표계를 회전시켜야 하는데 이때 필요한 행렬이 회전 행렬이다.Therefore, one coordinate system must be rotated based on one of the coordinate systems, and the matrix required is a rotation matrix.
이러한 회전 행렬은 3개의 축을 가진 3차원 축의 회전을 위해 3×3 형태의 행렬로 표시되며, 이러한 회전 행렬을 구하는 공식은 기 공지된 기술이므로 상세하게 설명하지 않는다.This rotation matrix is represented by a matrix of 3 × 3 form for rotation of a three-dimensional axis having three axes. The formula for obtaining such a rotation matrix is a well-known technique and will not be described in detail.
좌표 통합장치는 카메라 센서(110)의 좌표계인 카메라 좌표계를 기준으로 제1 내지 제3 라이다(120, 130, 140)의 좌표계인 제1 라이다 좌표계, 제2 라이다 좌표계, 제3 라이다 좌표계를 각각 변환해야 하므로, 회전 행렬은 각각의 라이다 좌표계에 대해서 총 3개가 구해지고 각각 R1, R2, R3로 표시된다.The coordinate integrating device is a first coordinate system of the first to third coordinate system (120, 130, 140) based on the camera coordinate system, which is the coordinate system of the camera sensor 110. The coordinates coordinate system, the second coordinate system, Since each of the coordinate systems must be transformed, a total of three rotation matrices are obtained for each of the coordinate systems of R, and represented by R1, R2, and R3, respectively.
이동 행렬이란 도 2에서 제2 라이다(130)의 좌표계인 제1 라이다 좌표계와 카메라 센서(110)의 좌표계인 카메라 좌표계를 예로 들면, 제2 라이다(130)는 차량의 상부에 위치해 있으며, 카메라 센서(110)는 차량의 정면 범퍼에 장착되어 있어 그 장착 위치에 따른 거리 차이가 발생한다.The moving matrix is the first coordinate system of the second RL 130 in FIG. 2. The second RL 130 is located at the upper portion of the vehicle, for example, the coordinate system and the camera coordinate system of the camera sensor 110 , The camera sensor 110 is mounted on the front bumper of the vehicle, and a distance difference occurs depending on the mounting position.
이동 행렬은 이러한 거리 차이를 보정하기 위한 파라미터로써, 카메라 좌표계를 기준으로 제2 라이다 센서(130)의 장착 위치를 표시하면 그것이 카메라 좌표계와 제2 라이다 좌표계의 이동 행렬이 된다.The movement matrix is a parameter for correcting such a distance difference. When the installation position of the second LR sensor 130 is indicated based on the camera coordinate system, it is a movement matrix of the camera coordinate system and the second LR coordinate system.
이러한 이동 행렬은 거리의 차이를 X축, Y축, Z축에 대해 각각 표시한 행렬이므로, 3×1 형태의 행렬로 표시된다.Since the movement matrix is a matrix in which the difference in distance is expressed with respect to the X-axis, the Y-axis, and the Z-axis, the movement matrix is represented by a 3x1 matrix.
좌표 통합장치는 카메라 센서(110)의 좌표계인 카메라 좌표계를 기준으로 제1 내지 제3 라이다(120, 130, 140)의 좌표계인 제1 라이다 좌표계, 제2 라이다 좌표계, 제3 라이다 좌표계를 각각 변환해야 하므로, 이동 행렬은 회전 행렬과 마찬가지로 각각의 라이다 좌표계에 대해서 총 3개가 구해지고 각각 T1, T2, T3로 표시된다.The coordinate integrating device is a first coordinate system of the first to third coordinate system (120, 130, 140) based on the camera coordinate system, which is the coordinate system of the camera sensor 110. The coordinates coordinate system, the second coordinate system, Since the coordinate system must be transformed, the moving matrix, like the rotation matrix, is obtained in total for three coordinate systems of R, respectively, and is represented by T1, T2, and T3, respectively.
이렇게 좌표 통합장치에 의해 보정 파라미터가 추출되면, 좌표 통합장치는 보정 파라미터를 이용하여 제1 내지 제3 라이다(120, 130, 140)의 좌표계인 제1 라이다 좌표계, 제2 라이다 좌표계, 제3 라이다 좌표계에 따라 각각 표시된 점 P의 위치 
예를 들어 제3 라이다(140)의 좌표계인 제3 라이다 좌표계에 표시된 점 P의 위치를 카메라 좌표계로 변환하고자 할 때, 
제1 라이다(120), 제2 라이다(130)에 대해서도 마찬가지의 방법을 통해 점 P의 위치를 카메라 좌표계에 표시할 수 있으며, 이를 통해 점 P의 위치를 정합하여 카메라 센서(110)를 통해 획득한 영상과 제1 내지 제3 라이다(120, 130, 140)를 통해 감지된 데이터를 통합하여 3차원 상의 장애물을 정확하게 추출할 수 있게 된다.The position of the point P can be displayed in the camera coordinate system by using the same method for the first R 120 and the second R 130 and the position of the point P is matched to the camera sensor 110 And three-dimensional obstacles can be accurately extracted by integrating the sensed data through the first through third lines 120, 130, and 140, respectively.
본 발명에서는 카메라 센서 1개와 라이다 3개가 적용된 자율주행 차량에 대한 예시를 들어 다중 라이다 좌표계 통합 방법에 대하여 설명하였지만 카메라 센서와 라이다의 갯수는 본 발명의 예시에 한정되지 않으며, 다른 실시예에서 갯수를 달리하여 적용될 수 있다.Although the present invention has been described with respect to an example of a multi-ladder coordinate system for an autonomous vehicle having one camera sensor and three ladder cameras, the number of camera sensors and ladder is not limited to the example of the present invention, Can be applied in different numbers.
따라서 본 발명의 수학식 1을 n개의 라이다가 적용된 다른 실시예에서도 적용할 수 있도록 표현하여야 한다.Therefore, Equation (1) of the present invention should be expressed so as to be applicable to other embodiments to which n ladder is applied.
수학식 1을 n번째 라이다 좌표계에 표시된 데이터를 카메라 좌표계로 변환하는 일반적인 수식으로 표현하면 아래의 수학식 2로 나타낼 수 있다.
수학식 2에서 
또한, 반대로 카메라 좌표계에 표시된 데이터를 라이다 좌표계로 변환하는 수식도 제공될 수 있는데 이를 수학식 3으로 나타내었다.Conversely, an equation for converting the data displayed in the camera coordinate system into the Lade coordinate system may be provided.
이러한 수식을 이용하여 좌표 통합장치가 다중 라이다 좌표계를 통합하는 방법을 단계적으로 살펴본다.Using these formulas, we will step-by-step through the method of integrating multiple ladder coordinate systems with the coordinate integrator.
도 3은 본 발명의 일 실시 예에 따른 다중 라이다 좌표계 통합 방법의 흐름도이다.3 is a flowchart of a method of integrating a multiple Raid coordinate system according to an embodiment of the present invention.
도 3을 참조하면, 차량의 일측에 장착된 카메라 센서와 차량에 장착되어 차량 주변의 상황을 감지하는 n개의 라이다에서 추출된 이미지의 좌표를 통합하는 다중 라이다 좌표계 통합 방법은 먼저, 카메라 센서에서 이미지 데이터를 생성하고, n개의 라이다에서 각각 n개의 라이다 데이터를 생성하는 단계를 수행한다(S101).Referring to FIG. 3, a multi-ray coordinate system integration method integrating camera sensors mounted on one side of a vehicle and coordinates of images extracted from n lines installed on the vehicle and sensing the surroundings of the vehicle, , And generates n pieces of RL data each in n rows (S101).
다음으로, 생성된 이미지 데이터를 카메라 센서의 좌표계인 카메라 좌표계에 표시하고, n개의 라이다 데이터를 각각 n개의 라이다의 좌표계인 n개의 라이다 좌표계에 표시한다(S103).Next, the generated image data is displayed on the camera coordinate system, which is the coordinate system of the camera sensor, and n ladder data are displayed in the coordinate system of n ladas, each of which is the coordinate system of n ladas (S103).
다음으로, 카메라 좌표계와 n개의 라이다 좌표계 간의 회전 행렬과 이동 행렬을 포함하는 보정 파라미터를 추출한다(S105).Next, a correction parameter including a rotation matrix and a movement matrix between the camera coordinate system and n Lada coordinate systems is extracted (S105).
보정 파라미터는 카메라 센서와 n개의 라이다의 장착 위치 및 방향에 따라 구해지며, 한번 계산되면, 장착 위치 및 방향이 변하지 않는 한 고정되는 파라미터이다.The correction parameters are determined according to the mounting position and orientation of the camera sensor and n ladders and, once calculated, are fixed parameters as long as the mounting position and orientation do not change.
회전 행렬 R과 이동 행렬 T는 n개의 라이다 좌표계마다 각각 별도로 추출된다.The rotation matrix R and the movement matrix T are extracted separately for each coordinate system.
보정 파라미터가 구해지면, n개의 라이다 좌표계에 대해 각각 추출된 보정 파라미터를 이용하여 상기한 수학식 2에 따라 n개의 라이다 좌표계에 표시된 라이다 데이터를 상기 카메라 좌표계로 변환한다(S107).When the correction parameters are obtained, the Ladder data displayed in the n-coordinate system is converted into the camera coordinate system using the correction parameters extracted for the n-coordinate system in step S107.
이러한 카메라 좌표계와 라이다 좌표계 간의 변환 방법을 통해 서로 다른 지점에서 인식한 차량 주변의 물체를 정확하게 맵핑하여 물체 인식의 정확도를 높일 수 있다.Through the conversion method between the camera coordinate system and the Lada coordinate system, the objects around the vehicle recognized at different points can be accurately mapped and the accuracy of object recognition can be improved.
이상에서 설명한 본 발명은 바람직한 실시 예들을 통하여 상세하게 설명되었지만, 본 발명은 이러한 실시 예들의 내용에 한정되는 것이 아님을 밝혀둔다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면, 비록 실시 예에 제시되지 않았지만 첨부된 청구항의 기재 범위 내에서 다양한 본 발명에 대한 모조나 개량이 가능하며, 이들 모두 본 발명의 기술적 범위에 속함은 너무나 자명하다 할 것이다. 이에, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.While the invention has been shown and described with reference to certain preferred embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments. Those skilled in the art will appreciate that various modifications, additions and substitutions are possible, without departing from the scope of the appended claims, The genius will be so self-evident. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.
110 : 카메라 센서
120 : 제1 라이다
130 : 제2 라이다
140 : 제3 라이다
10 : 자율주행 차량110: Camera sensor 120:
130: The second one is 140: The third one.
10: Autonomous vehicle
Claims (4)
상기 카메라 센서에서 이미지 데이터를 생성하고, 상기 n개의 라이다에서 각각 n개의 라이다 데이터를 생성하는 단계;
상기 이미지 데이터를 카메라 좌표계에 표시하고, 상기 n개의 라이다 데이터를 각각 n개의 라이다 좌표계에 표시하는 단계;
상기 카메라 좌표계와 상기 n개의 라이다 좌표계 간의 보정 파라미터를 순차적으로 각각 추출하는 단계; 및
상기 n개의 라이다 좌표계에 대해 각각 추출된 보정 파라미터를 이용하여 상기 n개의 라이다 좌표계에 표시된 라이다 데이터를 상기 카메라 좌표계로 변환하는 단계; 를 포함하는 다중 라이다 좌표계 통합 방법.A method for integrating a multi-ladder coordinate system integrating coordinates of an image extracted from a camera sensor mounted on one side of a vehicle and n ladies mounted on the vehicle and detecting a situation around the vehicle,
Generating image data from the camera sensor, generating n pieces of data each of n in the n rows;
Displaying the image data in a camera coordinate system and displaying the n ladder data in n coordinate systems respectively;
Sequentially extracting correction parameters between the camera coordinate system and the n-coordinate system; And
Transforming the Ladder data displayed in the n-coordinate system into the camera coordinate system using the extracted correction parameters for the n-coordinate system; The method comprising:
상기 보정 파라미터는,
상기 카메라 좌표계와 상기 n개의 라이다 좌표계 각각에 대한 회전 행렬(R)과 이동 행렬(T)을 포함하는 다중 라이다 좌표계 통합 방법.The method according to claim 1,
The correction parameter may include:
And a rotation matrix (R) and a movement matrix (T) for each of the camera coordinate system and the n Lada coordinate system.
상기 n번째 라이다 좌표계에 표시된 라이다 데이터를 상기 카메라 좌표계로 변환하는 수식은 아래와 같으며,
위의 수식에서
The formula for converting the Ladear data displayed in the n-th coordinate system into the camera coordinate system is as follows,
In the above formula
상기 카메라 좌표계에 표시된 이미지 데이터를 상기 n번째 라이다 좌표계로 변환하는 수식은 아래와 같으며,
위의 수식에서
The formula for converting the image data displayed in the camera coordinate system into the n-th coordinate system is as follows,
In the above formula
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160152957A KR20180055292A (en) | 2016-11-16 | 2016-11-16 | Integration method for coordinates of multi lidar |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160152957A KR20180055292A (en) | 2016-11-16 | 2016-11-16 | Integration method for coordinates of multi lidar |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20180055292A true KR20180055292A (en) | 2018-05-25 |
Family
ID=62299877
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160152957A KR20180055292A (en) | 2016-11-16 | 2016-11-16 | Integration method for coordinates of multi lidar |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20180055292A (en) |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102029850B1 (en) * | 2019-03-28 | 2019-10-08 | 세종대학교 산학협력단 | Object detecting apparatus using camera and lidar sensor and method thereof |
| CN110386074A (en) * | 2019-06-25 | 2019-10-29 | 天津大学 | A kind of system and device for unmanned engineer operation equipment vision |
| KR102054455B1 (en) * | 2018-09-28 | 2019-12-10 | 재단법인대구경북과학기술원 | Apparatus and method for calibrating between heterogeneous sensors |
| WO2020036295A1 (en) * | 2018-08-17 | 2020-02-20 | 에스케이텔레콤 주식회사 | Apparatus and method for acquiring coordinate conversion information |
| WO2020067751A1 (en) * | 2018-09-28 | 2020-04-02 | 재단법인대구경북과학기술원 | Device and method for data fusion between heterogeneous sensors |
| KR20200053001A (en) | 2018-10-29 | 2020-05-18 | 주식회사 스프링클라우드 | Interface apparatus and method for adjusting the camera viewing angle of an autonomous vehicle |
| KR20200054370A (en) | 2018-11-06 | 2020-05-20 | 주식회사 스프링클라우드 | Apparatus and method for automatically calibrating integrated sensor of autonomous vehicle |
| CN111242799A (en) * | 2019-12-10 | 2020-06-05 | 国网通用航空有限公司 | High-voltage line tower center coordinate extraction numbering method and medium based on airborne LiDAR point cloud |
| KR102145557B1 (en) * | 2019-02-21 | 2020-08-18 | 재단법인대구경북과학기술원 | Apparatus and method for data fusion between heterogeneous sensors |
| KR20200132065A (en) * | 2019-05-15 | 2020-11-25 | 주식회사 씨에스아이비젼 | System for Measuring Position of Subject |
| CN112255623A (en) * | 2020-10-29 | 2021-01-22 | 广东杜尼智能机器人工程技术研究中心有限公司 | Automatic calibration method for multi-line laser radar of sweeper |
| CN112348901A (en) * | 2020-11-27 | 2021-02-09 | 苏州感测通信息科技有限公司 | Vehicle-mounted sensor data processing system and method |
| WO2021056132A1 (en) * | 2019-09-23 | 2021-04-01 | Beijing Voyager Technology Co., Ltd. | Systems and methods for calibrating a camera and a lidar |
| KR20210037955A (en) | 2019-09-30 | 2021-04-07 | 인포뱅크 주식회사 | Apparatus and method for tracking moving objects |
| KR20210040217A (en) * | 2019-10-02 | 2021-04-13 | 고려대학교 산학협력단 | EXTRINSIC CALIBRATION METHOD OF PLURALITY OF 3D LiDAR SENSORS FOR AUTONOMOUS NAVIGATION SYSTEM |
| KR20210098594A (en) * | 2020-01-31 | 2021-08-11 | 경북대학교 산학협력단 | Device for acquriing vehicle position information and controlling mmthod thereof |
| WO2021182793A1 (en) * | 2020-03-12 | 2021-09-16 | 주식회사 멀티플아이 | Method and apparatus for calibrating different types of sensors using single checkerboard |
| KR20210133583A (en) * | 2020-04-29 | 2021-11-08 | 주식회사 모빌테크 | Apparatus for building map using gps information and lidar signal and controlling method thereof |
| CN113625236A (en) * | 2021-06-30 | 2021-11-09 | 嘉兴聚速电子技术有限公司 | Multi-radar data fusion method and device, storage medium and equipment |
| US11199614B1 (en) | 2020-07-08 | 2021-12-14 | Beijing Voyager Technology Co., Ltd | Lidar and image calibration for autonomous vehicles |
| KR102343020B1 (en) | 2020-11-25 | 2021-12-23 | 재단법인 지능형자동차부품진흥원 | Apparatus for calibrating position signal of autonomous vehicle using road surface image information |
| KR20230003803A (en) * | 2021-06-30 | 2023-01-06 | 주식회사 모빌테크 | Automatic calibration through vector matching of the LiDAR coordinate system and the camera coordinate system |
| KR20230115026A (en) * | 2022-01-26 | 2023-08-02 | 부경대학교 산학협력단 | SLAM system and method for vehicles using bumper mounted dual lidar |
| CN113625236B (en) * | 2021-06-30 | 2024-05-24 | 嘉兴聚速电子技术有限公司 | Multi-radar data fusion method, device, storage medium and equipment |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007171092A (en) * | 2005-12-26 | 2007-07-05 | Ishikawajima Harima Heavy Ind Co Ltd | Marker for three-dimensional measurement, and three-dimensional measurement method using the same |
| KR100901311B1 (en) * | 2009-03-13 | 2009-06-05 | 국방과학연구소 | Autonomous mobile platform |
| KR101486308B1 (en) * | 2013-08-20 | 2015-02-04 | 인하대학교 산학협력단 | Tracking moving objects for mobile robots control devices, methods, and its robot |
| KR101672732B1 (en) * | 2014-12-24 | 2016-11-07 | 한국항공우주연구원 | Apparatus and method for tracking object |
-
2016
- 2016-11-16 KR KR1020160152957A patent/KR20180055292A/en active Search and Examination
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007171092A (en) * | 2005-12-26 | 2007-07-05 | Ishikawajima Harima Heavy Ind Co Ltd | Marker for three-dimensional measurement, and three-dimensional measurement method using the same |
| KR100901311B1 (en) * | 2009-03-13 | 2009-06-05 | 국방과학연구소 | Autonomous mobile platform |
| KR101486308B1 (en) * | 2013-08-20 | 2015-02-04 | 인하대학교 산학협력단 | Tracking moving objects for mobile robots control devices, methods, and its robot |
| KR101672732B1 (en) * | 2014-12-24 | 2016-11-07 | 한국항공우주연구원 | Apparatus and method for tracking object |
Cited By (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11954871B2 (en) | 2018-08-17 | 2024-04-09 | Sk Telecom Co., Ltd. | Apparatus and method for acquiring coordinate conversion information |
| KR20200020465A (en) * | 2018-08-17 | 2020-02-26 | 에스케이텔레콤 주식회사 | Apparatus and method for acquiring conversion information of coordinate system |
| CN112567264A (en) * | 2018-08-17 | 2021-03-26 | Sk电信有限公司 | Apparatus and method for acquiring coordinate transformation information |
| WO2020036295A1 (en) * | 2018-08-17 | 2020-02-20 | 에스케이텔레콤 주식회사 | Apparatus and method for acquiring coordinate conversion information |
| WO2020067751A1 (en) * | 2018-09-28 | 2020-04-02 | 재단법인대구경북과학기술원 | Device and method for data fusion between heterogeneous sensors |
| KR102054455B1 (en) * | 2018-09-28 | 2019-12-10 | 재단법인대구경북과학기술원 | Apparatus and method for calibrating between heterogeneous sensors |
| US11971961B2 (en) | 2018-09-28 | 2024-04-30 | Daegu Gyeongbuk Institute Of Science And Technology | Device and method for data fusion between heterogeneous sensors |
| KR20200053001A (en) | 2018-10-29 | 2020-05-18 | 주식회사 스프링클라우드 | Interface apparatus and method for adjusting the camera viewing angle of an autonomous vehicle |
| KR20200054370A (en) | 2018-11-06 | 2020-05-20 | 주식회사 스프링클라우드 | Apparatus and method for automatically calibrating integrated sensor of autonomous vehicle |
| KR102145557B1 (en) * | 2019-02-21 | 2020-08-18 | 재단법인대구경북과학기술원 | Apparatus and method for data fusion between heterogeneous sensors |
| KR102029850B1 (en) * | 2019-03-28 | 2019-10-08 | 세종대학교 산학협력단 | Object detecting apparatus using camera and lidar sensor and method thereof |
| KR20200132065A (en) * | 2019-05-15 | 2020-11-25 | 주식회사 씨에스아이비젼 | System for Measuring Position of Subject |
| CN110386074A (en) * | 2019-06-25 | 2019-10-29 | 天津大学 | A kind of system and device for unmanned engineer operation equipment vision |
| CN112840232A (en) * | 2019-09-23 | 2021-05-25 | 北京嘀嘀无限科技发展有限公司 | System and method for calibrating camera and lidar |
| WO2021056132A1 (en) * | 2019-09-23 | 2021-04-01 | Beijing Voyager Technology Co., Ltd. | Systems and methods for calibrating a camera and a lidar |
| CN112840232B (en) * | 2019-09-23 | 2024-03-22 | 北京航迹科技有限公司 | System and method for calibrating cameras and lidar |
| KR20210037955A (en) | 2019-09-30 | 2021-04-07 | 인포뱅크 주식회사 | Apparatus and method for tracking moving objects |
| KR20210040217A (en) * | 2019-10-02 | 2021-04-13 | 고려대학교 산학협력단 | EXTRINSIC CALIBRATION METHOD OF PLURALITY OF 3D LiDAR SENSORS FOR AUTONOMOUS NAVIGATION SYSTEM |
| CN111242799A (en) * | 2019-12-10 | 2020-06-05 | 国网通用航空有限公司 | High-voltage line tower center coordinate extraction numbering method and medium based on airborne LiDAR point cloud |
| CN111242799B (en) * | 2019-12-10 | 2024-01-16 | 国网电力空间技术有限公司 | High-voltage line tower center coordinate extraction numbering method and medium based on airborne LiDAR point cloud |
| KR20210098594A (en) * | 2020-01-31 | 2021-08-11 | 경북대학교 산학협력단 | Device for acquriing vehicle position information and controlling mmthod thereof |
| WO2021182793A1 (en) * | 2020-03-12 | 2021-09-16 | 주식회사 멀티플아이 | Method and apparatus for calibrating different types of sensors using single checkerboard |
| KR20210133583A (en) * | 2020-04-29 | 2021-11-08 | 주식회사 모빌테크 | Apparatus for building map using gps information and lidar signal and controlling method thereof |
| US11199614B1 (en) | 2020-07-08 | 2021-12-14 | Beijing Voyager Technology Co., Ltd | Lidar and image calibration for autonomous vehicles |
| WO2022011048A1 (en) * | 2020-07-08 | 2022-01-13 | Beijing Voyager Technology Co., Ltd. | Lidar and image calibration for autonomous vehicles |
| CN112255623B (en) * | 2020-10-29 | 2024-01-09 | 广东杜尼智能机器人工程技术研究中心有限公司 | Automatic calibration method for multi-line laser radar of sweeping vehicle |
| CN112255623A (en) * | 2020-10-29 | 2021-01-22 | 广东杜尼智能机器人工程技术研究中心有限公司 | Automatic calibration method for multi-line laser radar of sweeper |
| KR102343020B1 (en) | 2020-11-25 | 2021-12-23 | 재단법인 지능형자동차부품진흥원 | Apparatus for calibrating position signal of autonomous vehicle using road surface image information |
| CN112348901A (en) * | 2020-11-27 | 2021-02-09 | 苏州感测通信息科技有限公司 | Vehicle-mounted sensor data processing system and method |
| KR20230003803A (en) * | 2021-06-30 | 2023-01-06 | 주식회사 모빌테크 | Automatic calibration through vector matching of the LiDAR coordinate system and the camera coordinate system |
| CN113625236A (en) * | 2021-06-30 | 2021-11-09 | 嘉兴聚速电子技术有限公司 | Multi-radar data fusion method and device, storage medium and equipment |
| CN113625236B (en) * | 2021-06-30 | 2024-05-24 | 嘉兴聚速电子技术有限公司 | Multi-radar data fusion method, device, storage medium and equipment |
| KR20230115026A (en) * | 2022-01-26 | 2023-08-02 | 부경대학교 산학협력단 | SLAM system and method for vehicles using bumper mounted dual lidar |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20180055292A (en) | Integration method for coordinates of multi lidar | |
| JP7073315B2 (en) | Vehicles, vehicle positioning systems, and vehicle positioning methods | |
| CN108572663B (en) | Target tracking | |
| US11860640B2 (en) | Signal processing device and signal processing method, program, and mobile body | |
| US10878288B2 (en) | Database construction system for machine-learning | |
| US11458912B2 (en) | Sensor validation using semantic segmentation information | |
| US20190353784A1 (en) | Vehicle navigation based on aligned image and lidar information | |
| US9740942B2 (en) | Moving object location/attitude angle estimation device and moving object location/attitude angle estimation method | |
| US20180273031A1 (en) | Travel Control Method and Travel Control Apparatus | |
| CN108139211B (en) | Apparatus and method for measurement and program | |
| CN110945379A (en) | Determining yaw error from map data, laser, and camera | |
| CN112074885A (en) | Lane sign positioning | |
| WO2019181284A1 (en) | Information processing device, movement device, method, and program | |
| JP7190261B2 (en) | position estimator | |
| CN111226094A (en) | Information processing device, information processing method, program, and moving object | |
| TWI754808B (en) | Vehicle, vehicle positioning system, and vehicle positioning method | |
| US20230222671A1 (en) | System for predicting near future location of object | |
| CN103608217A (en) | Retrofit parking assistance kit | |
| US20230237783A1 (en) | Sensor fusion | |
| KR20170068937A (en) | Autonomous driving vehicle navigation system using the tunnel lighting | |
| CN112753212A (en) | Image scan line time stamping | |
| JP5910180B2 (en) | Moving object position and orientation estimation apparatus and method | |
| US20220205804A1 (en) | Vehicle localisation | |
| Li et al. | Pitch angle estimation using a Vehicle-Mounted monocular camera for range measurement | |
| CN109987082A (en) | Controller of vehicle, control method for vehicle and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment |