KR20190001086A - Sliding windows based structure-less localization method using inertial and single optical sensor, recording medium and device for performing the method - Google Patents
Sliding windows based structure-less localization method using inertial and single optical sensor, recording medium and device for performing the method Download PDFInfo
- Publication number
- KR20190001086A KR20190001086A KR1020170080502A KR20170080502A KR20190001086A KR 20190001086 A KR20190001086 A KR 20190001086A KR 1020170080502 A KR1020170080502 A KR 1020170080502A KR 20170080502 A KR20170080502 A KR 20170080502A KR 20190001086 A KR20190001086 A KR 20190001086A
- Authority
- KR
- South Korea
- Prior art keywords
- sliding window
- state variable
- inertial
- optical sensor
- sensor signal
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
- G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/265—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network constructional aspects of navigation devices, e.g. housings, mountings, displays
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Navigation (AREA)
Abstract
Description
본 발명은 관성 및 단일 광학 센서를 이용한 슬라이딩 윈도우 기반 비-구조 위치 인식 방법, 이를 수행하기 위한 기록 매체 및 장치에 관한 것으로서, 더욱 상세하게는 단일 광학 센서와 관성 센서를 결합하는 방식은 슬라이딩 윈도우 방식에 기반하되 특징점의 3차원 위치 정보가 필요없는 다중 시점 기하에 기반한 제약조건을 최소화하도록 최적화를 수행하여 대상의 위치 및 자세를 제공하는 기술에 관한 것이다.The present invention relates to a sliding window-based non-structural position recognition method using inertial and single optical sensors, a recording medium and an apparatus for performing the same, and more particularly, And optimizing the constraint based on the multi-viewpoint geometry that does not require three-dimensional position information of the feature points, thereby providing a position and an attitude of the object.
모바일 로봇 혹은 드론, 무인 자동차와 같은 시스템에서 위치 인식은 매우 중요하다. 자신의 위치를 정확히 알아야 주변의 환경 정보와 연계하여 다음 움직임을 결정할 수 있기 때문이다. 이것은 가상 현실이나 증강 현실 시스템에서도 마찬가지이다. 착용자 혹은 사용자의 위치를 정확히 인식하여야만 기기의 화면에 정확한 정보를 출력할 수 있기 때문이다.Position recognition is very important in systems such as mobile robots, drones, and unmanned vehicles. This is because it is necessary to know precisely the position of the user in order to determine the next movement in connection with the surrounding environment information. This also applies to virtual reality or augmented reality systems. This is because it is necessary to accurately recognize the wearer or the user's position so that the correct information can be outputted to the screen of the apparatus.
일반적으로, 단일 광학 센서와 관성 센서를 결합하는 방식은 슬라이딩 윈도우 방식에 기반한다. 광학 센서가 영상을 촬영할 때마다 슬라이딩 윈도우에 항법 정보와 추적되고 있는 특징점 정보를 저장하고, 정해진 슬라이딩 윈도우의 길이에 다다르면, 슬라이딩 윈도우에 저장된 항법 정보와 특징점 정보를 이용하여 특징점의 3차원 위치를 추정한다. In general, the manner of combining a single optical sensor and an inertial sensor is based on a sliding window approach. The navigation information and the tracked feature point information are stored in the sliding window every time the optical sensor captures an image, and when the length of the predetermined sliding window is reached, the 3D position of the feature point is estimated using the navigation information and the feature point information stored in the sliding window do.
슬라이딩 윈도우에 저장된 항법 정보와 특징점의 3차원 위치 정보를 초기 값으로 설정하고, 그 정보를 이용하여 특징점을 이미지에 재투영하여 실제 획득된 이미지 상의 특징점과의 재투영 오차를 최소화하도록 최적화를 수행한다. 하지만, 이 과정에서 매핑을 수행하지 않는 위치 인식 시스템에서는 필요없는 특징점들의 3차원 위치도 같이 구해야 하는 단점이 존재한다. The navigation information stored in the sliding window and the 3D position information of the minutiae are set as initial values and the minutiae point is re-projected to the image using the information to optimize the re-projection error with respect to the minutiae on the actually obtained image . However, there is a disadvantage that the 3D position of the unnecessary feature points must also be obtained in the position recognition system which does not perform the mapping in this process.
단일 카메라/ 관성 센서 결합 위치 인식 시스템은 일반적으로 재투영 오차를 최소화하도록 최적화를 수행한다. 최적화를 수행하는 방식에는 여러가지 방식이 있으나, 이와 같이 재투영 오차를 최소화하기 위해서는 슬라이딩 윈도우 내의 카메라 위치, 자세와 특징점의 위치를 최적화할 변수로 생각하여 최적화를 수행한다. A single camera / inertial sensor coupled position recognition system generally performs optimization to minimize re-projection errors. There are various schemes for performing the optimization, but in order to minimize the re-projection error, optimization is performed by considering the position of the camera, the position of the camera, and the position of the minutiae in the sliding window as optimization variables.
재투영 오차 최소화 기반 위치인식 시스템은 예측과 보정으로 나뉘게 된다. 먼저 시스템에 장착된 관성센서 정보를 적분하여 위치, 속도, 자세의 항법 정보를 계산하며, 이와 동시에 관성센서 오차 정보에 기반하여 계산한 항법 정보의 불확실성을 계산한다. The minimization of the redistribution error is based on the location recognition system. First, the inertial sensor information integrated in the system is integrated to calculate the navigation information of position, velocity, and attitude. At the same time, the uncertainty of the navigation information calculated based on the inertial sensor error information is calculated.
또한, 카메라에서 이미지를 획득할 때마다, 슬라이딩 윈도우에 위치, 자세 정보와 불확실성 정보, 그리고 추출된 특징점 정보를 저장한다. 슬라이딩 윈도우가 다 찰 때까지, 위의 과정을 반복하며, 슬라이딩 윈도우가 다 차게 되면, 맨 앞의 윈도우의 정보를 버리고, 맨 뒤에 새롭게 들어온 정보를 추가한다. 이 때, 들어온 특징점들 사이의 연관관계는 획득되어 있는 것으로 가정한다. Also, whenever the camera acquires an image, it stores position, attitude information, uncertainty information, and extracted feature point information in the sliding window. Repeat the above steps until the sliding window is full, and when the sliding window is full, discard the information of the first window and add the new information to the rear. At this time, it is assumed that the correlation between the incoming minutiae points is acquired.
슬라이딩 윈도우에 존재하는 항법 정보와 특징점 정보 사이의 기하학적 제약 조건에 근거하여 재투영 오차가 최소화되도록, 슬라이딩 윈도우 내의 항법 정보와 특징점 3차원 위치를 최적화를 통해 구해낸다. 최적화를 통해 구해진 슬라이딩 윈도우 내의 정보를 이용하여 관성 항법 시스템의 항법 정보를 보정한다. Based on the geometric constraint between navigation information and minutia information present in the sliding window, navigation information within the sliding window and three-dimensional location of the minutiae are optimized through optimization so that the re-projection error is minimized. The navigation information of the inertial navigation system is corrected using the information in the sliding window obtained through the optimization.
재투영 오차는 도 1과 같이 영상에 나타난 특징점의 3차원 위치를 슬라이딩 윈도우 내의 항법 정보와 결합하여 영상에 재투영한 위치와 영상에서 추출된 실제 특징점 위치와의 차이를 말한다. 예를 들어, 길이 N의 슬라이딩 윈도우에서 M개의 특징점 추적 결과를 이용할 경우, 최적화하여야 할 변수의 개수는 6xN+3xM 개이다. The re-projection error refers to the difference between the position where the 3D position of the feature point shown in the image is combined with the navigation information in the sliding window and the position of the re-projection on the image and the actual feature point extracted from the image as shown in FIG. For example, when M feature point tracking results are used in a sliding window of length N, the number of variables to be optimized is 6xN + 3xM.
하지만, 위치 인식 시스템은 매핑 시스템과 달리 특정점 정보를 구해야 할 필요가 없다. 기존 시스템에서 특징점 정보는 항법 정보를 구하기 위하여 어쩔 수 없이 같이 구해야 하는 변수이다. 하지만, 일반적으로 영상에서 추적되는 특징점의 개수는 슬라이딩 윈도우의 길이에 비해 매우 크기 때문에, 이는 연산량에 큰 영향을 끼치게 된다.However, the position recognition system does not need to obtain specific point information unlike the mapping system. In the existing system, the minutiae information is a variable that must be sought together to obtain navigation information. However, since the number of feature points tracked in an image is generally larger than the length of a sliding window, this greatly affects the amount of computation.
기존의 재투영 오차 최소화 기반 광학/관성 결합 위치 인식 시스템의 경우, 슬라이딩 윈도우 내의 변수를 최적화하기 위해서 특징점들의 3차원 위치도 같이 추정해야 한다는 단점을 가지고 있다. 이와 같이 3차원 위치를 이용하여 재투영 오차를 최소화하는 경우, 특징점의 수의 3배에 달하는 3차원 위치 정보를 추가로 추정해야 하며, 이 과정에 많은 연산량이 추가로 요구된다. 또한, 직선 운동을 할 경우, 3차원 위치 추정에 많은 오차가 발생하게 되어 최적화 결과의 품질이 낮아진다. In the case of the optical / inertial coupled position recognition system based on the existing re-projection error minimization, the 3D position of the feature points is also estimated in order to optimize the variables in the sliding window. In the case of minimizing the re-projection error using the three-dimensional position, it is necessary to further estimate the three-dimensional position information which is three times the number of the feature points, and a large amount of calculation is additionally required in this process. In addition, when linear motion is performed, many errors occur in the three-dimensional position estimation and the quality of the optimization result is lowered.
이에, 본 발명의 기술적 과제는 이러한 점에서 착안된 것으로 본 발명의 목적은 다중 시점 기하에 기반한 제약조건을 이용한 최적화를 수행하여 연산량을 줄이고 안정성이 강화된 관성 및 단일 광학 센서를 이용한 슬라이딩 윈도우 기반 비-구조 위치 인식 방법을 제공하는 것이다.SUMMARY OF THE INVENTION Accordingly, the present invention has been made in view of the above problems, and it is an object of the present invention to provide a sliding window-based nonlinear optical sensor using an inertial and single optical sensor with reduced computational complexity by performing optimization using constraint conditions based on multi- And to provide a method of recognizing the structure position.
본 발명의 다른 목적은 상기 관성 및 단일 광학 센서를 이용한 슬라이딩 윈도우 기반 비-구조 위치 인식 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 기록 매체를 제공하는 것이다.Another object of the present invention is to provide a recording medium on which a computer program for performing a sliding window-based non-structural location recognition method using the inertial and single optical sensors is recorded.
본 발명의 또 다른 목적은 상기 관성 및 단일 광학 센서를 이용한 슬라이딩 윈도우 기반 비-구조 위치 인식 방법을 수행하기 위한 장치를 제공하는 것이다.It is still another object of the present invention to provide an apparatus for performing a sliding window-based non-structural location recognition method using the inertial and single optical sensors.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 관성 및 단일 광학 센서를 이용한 슬라이딩 윈도우 기반 비-구조 위치 인식 방법은, 관성 센서 신호를 연속시간 관성 항법 시스템 모델에 적용하여 시간에 따라 전파하여 관성 항법 상태변수를 결정하는 단계; 상기 관성 항법 시스템 모델을 이용하여 오차 상태 변수 칼만필터(error-state Kalman filter, ESKF)를 구성하여 항법 정보를 예측하는 단계; 광학 센서 신호가 입력되면, 새롭게 입력된 영상에서 특징점을 추출하고, 추출된 특징점들을 이전 프레임에 들어온 영상과 정합하는 슬라이딩 윈도우 내의 영상 간의 특징점 추출 및 정합을 수행하는 단계; 슬라이딩 윈도우를 갱신하는 단계; 카메라의 상태변수 사이의 다중기하 제약 조건 및 슬라이딩 윈도우 내의 특징점 정합 관계에 기반한 최적화를 통해 카메라 상태변수를 추정하는 단계; 및 추정된 카메라 상태변수를 측정치로 이용하여 상기 관성 항법 시스템 모델의 상태변수를 보정하는 단계를 포함한다.In order to accomplish the object of the present invention, a sliding window-based non-structural position recognition method using an inertial and single optical sensor according to an embodiment of the present invention applies an inertial sensor signal to a continuous time inertial navigation system model, Determining an inertial navigation state variable; Estimating navigation information by constructing an error-state Kalman filter (ESKF) using the inertial navigation system model; Extracting a feature point from a newly input image and performing feature point extraction and matching between images in a sliding window matching the extracted feature points with an image input in a previous frame; Updating a sliding window; Estimating a camera state variable through optimization based on a multiple geometry constraint between state variables of a camera and a feature point matching relationship in a sliding window; And correcting the state variable of the inertial navigation system model using the estimated camera state variable as a measurement value.
본 발명의 실시예에서, 상기 관성 항법 시스템 모델을 이용하여 오차 상태 변수 칼만필터(ESKF)를 구성하여 항법 정보를 예측하는 단계는, 상태 변수를 명목(nominal) 상태 변수와 오차(error) 상태 변수로 나누는 단계; 명목 상태 변수는 비선형 시스템 모델을 이용하여 전파하는 단계; 및 오차 상태 변수는 선형화 모델을 이용하여 추정하는 단계를 포함할 수 있다.In the embodiment of the present invention, the step of predicting the navigation information by constructing the error state variable Kalman filter (ESKF) using the inertial navigation system model may include: determining a state variable as a nominal state variable and an error state variable ; Propagating the nominal state variable using a nonlinear system model; And error state variables may be estimated using a linearization model.
본 발명의 실시예에서, 상기 슬라이딩 윈도우를 갱신하는 단계는, 시간 상 가장 최신의 광학 센서 신호의 위치 및 자세 정보와 불확실성을 저장하는 단계; 및 시간 상 가장 오래된 광학 센서 신호와 연관된 정보를 버리는 단계를 포함할 수 있다.In an embodiment of the present invention, updating the sliding window comprises: storing position and orientation information and uncertainty of the most recent optical sensor signal in time; And discarding information associated with the oldest optical sensor signal in time.
본 발명의 실시예에서, 상기 슬라이딩 윈도우 내의 영상 간의 특징점 추출 및 정합을 수행하는 단계는, FAST(Features from Accelerated Segment Test) 코너 추출기와 KLT 추적기(Kanade-Lucas-Tomasi feature tracker)를 사용할 수 있다.In the embodiment of the present invention, the step of extracting and matching feature points between the images in the sliding window may use FAST (feature from Accelerated Segment Test) corner extractor and KLT (Kanade-Lucas-Tomasi feature tracker).
상기한 본 발명의 다른 목적을 실현하기 위한 일 실시예에 따른 컴퓨터로 판독 가능한 저장 매체에는, 관성 및 단일 광학 센서를 이용한 슬라이딩 윈도우 기반 비-구조 위치 인식 방법을 수행하기 위한 컴퓨터 프로그램이 기록되어 있다. A computer program for performing a sliding window-based non-structural location recognition method using inertial and single optical sensors is recorded in a computer-readable storage medium according to an embodiment for realizing the above-mentioned object of the present invention .
상기한 본 발명의 또 다른 목적을 실현하기 위한 일 실시예에 따른 관성 및 단일 광학 센서를 이용한 슬라이딩 윈도우 기반 비-구조 위치 인식 장치는, 관성 센서 신호를 연속시간 관성 항법 시스템 모델에 적용하여 시간에 따라 전파하여 관성 항법 상태변수를 결정하는 상태변수 결정부; 상기 관성 항법 시스템 모델을 이용하여 오차 상태 변수 칼만필터(error-state Kalman filter, ESKF)를 구성하여 항법 정보를 예측하는 항법 정보 예측부; 광학 센서 신호가 입력되면, 새롭게 입력된 영상에서 특징점을 추출하고, 추출된 특징점들을 이전 프레임에 들어온 영상과 정합하는 슬라이딩 윈도우 내의 영상 간의 특징점 추출 및 정합을 수행하는 정합 관계 추출부; 슬라이딩 윈도우를 갱신하는 슬라이딩 갱신부; 카메라의 상태변수 사이의 다중기하 제약 조건 및 슬라이딩 윈도우 내의 특징점 정합 관계에 기반한 최적화를 통해 카메라 상태변수를 추정하는 상태변수 추정부; 및 추정된 카메라 상태변수를 측정치로 이용하여 상기 관성 항법 시스템 모델의 상태변수를 보정하는 상태변수 보정부를 포함한다.According to an embodiment of the present invention, a sliding window-based non-structural position recognition apparatus using an inertial sensor and a single optical sensor applies an inertial sensor signal to a continuous-time inertial navigation system model, A state variable determining unit for determining an inertial navigation state variable by propagating the signal; A navigation information predicting unit for predicting the navigation information by constructing an error-state Kalman filter (ESKF) using the inertial navigation system model; A matching relation extracting unit for extracting a feature point from a newly input image and performing feature point extraction and matching between images in a sliding window matching the extracted feature points with an image input in a previous frame, A sliding update unit updating the sliding window; A state variable estimator for estimating camera state variables through optimization based on multiple geometry constraints between camera state variables and feature point mappings in a sliding window; And a state variable correction unit for correcting the state variable of the inertial navigation system model using the estimated camera state variable as a measurement value.
본 발명의 실시예에서, 상기 항법 정보 예측부는, 상태 변수를 명목(nominal) 상태 변수와 오차(error) 상태 변수로 나누고, 명목 상태 변수는 비선형 시스템 모델을 이용하여 전파하고, 오차 상태 변수는 선형화 모델을 이용하여 추정할 수 있다.In an embodiment of the present invention, the navigation information predicting unit divides the state variable into a nominal state variable and an error state variable, propagates the nominal state variable using a nonlinear system model, Can be estimated using a model.
본 발명의 실시예에서, 상기 갱신부는, 시간 상 가장 최신의 광학 센서 신호의 위치 및 자세 정보와 불확실성을 저장하고, 시간 상 가장 오래된 광학 센서 신호와 연관된 정보를 버릴 수 있다.In an embodiment of the present invention, the updating unit may store position and orientation information and uncertainty of the most recent optical sensor signal in time, and discard information associated with the oldest optical sensor signal in time.
본 발명의 실시예에서, 상기 정합 관계 추출부는, FAST(Features from Accelerated Segment Test) 코너 추출기와 KLT 추적기(Kanade-Lucas-Tomasi feature tracker)를 사용할 수 있다.In an embodiment of the present invention, the matching relation extracting unit may use a FAST (Features from Accelerated Segment Test) corner extractor and a KLT-tracker (Kanade-Lucas-Tomasi feature tracker).
본 발명의 실시예에서, 상기 관성 센서 신호는 3차원의 벡터의 가속도계 데이터와 자이로 데이터를 포함할 수 있다.In an embodiment of the present invention, the inertial sensor signal may include accelerometer data and gyro data of a three-dimensional vector.
이와 같은 관성 및 단일 광학 센서를 이용한 슬라이딩 윈도우 기반 비-구조 위치 인식 방법에 따르면, 다중 시점 기하 제약조건을 이용하여 3차원 위치의 추정없이 최적화를 수행하기 때문에 기존의 재투영 오차 최소화 기반 방식보다 연산량이 적어지며, 직선운동의 경우도 더 강인한 추정이 가능하다.According to the sliding window based non-structural position recognition method using inertia and single optical sensor, since the optimization is performed without estimating the three-dimensional position using the multi-view geometry constraint, , And a stronger estimation is also possible in the case of linear motion.
도 1은 종래의 재투영 오차 개념을 설명하기 위한 도면이다.
도 2는 본 발명에 따른 위치 인식 시스템의 도면이다.
도 3은 본 발명의 일 실시예에 따른 관성 및 단일 광학 센서를 이용한 슬라이딩 윈도우 기반 비-구조 위치 인식 장치의 블록도이다.
도 4는 종래의 재투영 오차 최소화 기반 상태변수 추정과 본 발명에 따른 다중 기하 제약 조건 오차 최소화 기반 상태변수 추정을 그래프 모델로 표현한 도면이다.
도 5는 본 발명의 관성 및 단일 광학 센서를 이용한 슬라이딩 윈도우 기반 비-구조 위치 인식 방법에 따른 무인 자동차용 위치 인식 결과의 위성 이미지이다.
도 6은 본 발명의 일 실시예에 따른 관성 및 단일 광학 센서를 이용한 슬라이딩 윈도우 기반 비-구조 위치 인식 방법의 흐름도이다.FIG. 1 is a view for explaining the conventional concept of re-projection error.
2 is a diagram of a position recognition system in accordance with the present invention.
3 is a block diagram of a sliding window-based non-structural location sensing device using inertial and single optical sensors in accordance with an embodiment of the present invention.
FIG. 4 is a graphical representation of a state variable estimation based on minimization of re-projection error and a state variable estimation based on minimization of a multiple geometry constraint error according to the present invention.
FIG. 5 is a satellite image of a position recognition result for an unmanned vehicle according to a sliding window-based non-structural position recognition method using inertia and single optical sensor of the present invention.
6 is a flow diagram of a sliding window-based non-structural location recognition method using inertial and single optical sensors in accordance with an embodiment of the present invention.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.The following detailed description of the invention refers to the accompanying drawings, which illustrate, by way of illustration, specific embodiments in which the invention may be practiced. These embodiments are described in sufficient detail to enable those skilled in the art to practice the invention. It should be understood that the various embodiments of the present invention are different, but need not be mutually exclusive. For example, certain features, structures, and characteristics described herein may be implemented in other embodiments without departing from the spirit and scope of the invention in connection with an embodiment. It is also to be understood that the position or arrangement of the individual components within each disclosed embodiment may be varied without departing from the spirit and scope of the invention. The following detailed description is, therefore, not to be taken in a limiting sense, and the scope of the present invention is to be limited only by the appended claims, along with the full scope of equivalents to which such claims are entitled, if properly explained. In the drawings, like reference numerals refer to the same or similar functions throughout the several views.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다. Hereinafter, preferred embodiments of the present invention will be described in more detail with reference to the drawings.
도 2는 본 발명에 따른 위치 인식 시스템의 도면이다. 도 3은 본 발명의 일 실시예에 따른 관성 및 단일 광학 센서를 이용한 슬라이딩 윈도우 기반 비-구조 위치 인식 장치의 블록도이다.2 is a diagram of a position recognition system in accordance with the present invention. 3 is a block diagram of a sliding window-based non-structural location sensing device using inertial and single optical sensors in accordance with an embodiment of the present invention.
본 발명에서 제안하는 다중 시점 제약조건 최소화 기반 광학/관성 결합 위치 인식 시스템(1)은 특징점의 3차원 위치 정보가 필요없는 다중 시점 기하에 기반한 제약조건을 최소화하도록 최적화를 수행하기 때문에 3차원 위치를 구할 필요가 없으며, 최적화에 필요한 변수의 수도 줄어들게 된다. The multi-view constraint minimization-based optical / inertia coupled position recognition system (1) proposed in the present invention optimizes the constraint conditions based on the multi-view geometry which does not require the three-dimensional position information of the feature points, There is no need to obtain, and the number of variables needed for optimization is reduced.
또한, 재투영 방식은 광학센서가 전진 방향 움직임을 취할 경우, 취약하다고 알려져 있으나, 다중 시점 기하에 기반한 제약조건은 전진 방향 움직임에 강인한 것으로 알려져 있다. 따라서, 본 발명을 이용하면, 연산량 측면이나 안정성 측면에서 기존 시스템의 한계를 극복할 수 있다.Also, the re-projection method is known to be vulnerable when the optical sensor takes a forward movement, but constraints based on multiple view geometry are known to be robust to forward movement. Therefore, by using the present invention, it is possible to overcome the limitations of the existing system in terms of calculation amount and stability.
도 2를 참조하면, 다중 시점 제약조건 최소화 기반 광학/관성 결합 위치 인식 시스템(1)은 관성 센서(10), 광학 센서(30) 및 상기 관성 센서(10)와 상기 광학 센서(30)로부터 신호를 수신하여 위치를 인식하는 관성 및 단일 광학 센서를 이용한 슬라이딩 윈도우 기반 비-구조 위치 인식 장치(50, 이하 장치)를 포함한다.2, a multi-view constrained minimization based optical / inertial coupled
상기 관성 센서(10)와 상기 광학 센서(30) 사이의 기하학적 관계는 교정과정을 통하여 미리 획득할 수 있다. 상기 관성 센서(10)와 상기 광학 센서(30)는 상기 장치(50)와 별도로 구성되거나 상기 장치(50)에 부착되거나 일부 모듈일 수 있다.The geometric relationship between the
상기 관성 센서(10)의 신호는 가속도계 데이터와 자이로 데이터로 구성되며, 각각 3차원의 벡터이다. 상기 관성 센서(10)는 단일 센서일 수 있고, 상기 광학 센서(30)는 카메라일 수 있다. 카메라는 다중 시점의 단일 카메라이거나 단일 시점의 복수개의 카메라일 수 있다.The signal of the
상기 장치(50)는 이동성을 갖거나 고정될 수 있다. 상기 장치(50)는, 서버(server) 또는 엔진(engine) 형태일 수 있으며, 디바이스(device), 기구(apparatus), 단말(terminal), UE(user equipment), MS(mobile station), 무선기기(wireless device), 휴대기기(handheld device) 등 다른 용어로 불릴 수 있다. The
상기 장치(50)는 운영체제(Operation System; OS), 즉 시스템을 기반으로 다양한 소프트웨어를 실행하거나 제작할 수 있다. 상기 운영체제는 소프트웨어가 장치의 하드웨어를 사용할 수 있도록 하기 위한 시스템 프로그램으로서, 안드로이드 OS, iOS, 윈도우 모바일 OS, 바다 OS, 심비안 OS, 블랙베리 OS 등 모바일 컴퓨터 운영체제 및 윈도우 계열, 리눅스 계열, 유닉스 계열, MAC, AIX, HP-UX 등 컴퓨터 운영체제를 모두 포함할 수 있다.The
도 3을 참조하면, 상기 장치(50)는 상태변수 결정부(510), 항법 정보 예측부(520), 정합 관계 추출부(530), 슬라이딩 갱신부(540), 상태변수 추정부(550) 및 상태변수 보정부(미도시)를 포함한다.Referring to FIG. 3, the
상기 상태변수 결정부(510)는 관성 센서 신호를 이용하여 연속시간 관성 항법 시스템 모델에 따라 시간에 따라 전파하여 관성 항법 상태변수를 결정한다.The state
상기 상태변수 결정부(510)의 관성 항법 시스템은 관성 센서 신호를 이용하여 아래의 수학식 1의 연속시간 관성 항법 시스템 모델에 따라 시간에 따라 전파하여 관성 항법 상태변수를 결정한다. The inertial navigation system of the state
[수학식 1][Equation 1]
관성항법 상태변수는 아래의 수학식 2와 같다. 아래의 수학식 3은 관성 센서 신호의 일반적인 모델이다.The inertial navigation state variable is shown in Equation 2 below. Equation 3 below is a general model of the inertial sensor signal.
[수학식 2]&Quot; (2) "
[수학식 3]&Quot; (3) "
상기 항법 정보 예측부(520)는 상기 관성 항법 시스템 모델을 이용하여 오차 상태 변수 칼만필터(error-state Kalman filter, ESKF)를 구성하여 항법 정보를 예측한다.The navigation
상기 항법 정보 예측부(520)의 항법 정보 예측은 수학식 1의 관성 항법 시스템 모델을 이용하여 오차 상태 변수 칼만필터(error-state Kalman filter, ESKF)를 구성하여 수행한다. 오차 상태 변수 칼만 필터는 비선형 추정기인 확장 칼만 필터(extended Kalman filter, EKF)를 간접(indirect) 구조로 구현한 것이다. The navigation information prediction of the navigation
오차 상태 변수 칼만 필터는 상태 변수를 명목(nominal) 상태 변수와 오차(error) 상태 변수로 나눈 후, 명목 상태 변수는 아래의 수학식 4의 비선형 시스템 모델을 이용하여 전파하고, 오차 상태 변수는 아래의 수학식 5의 선형화 모델을 이용하여 추정한다. The error state variable Kalman filter divides the state variable into a nominal state variable and an error state variable. The nominal state variable then propagates using the nonlinear system model of Equation (4) below, (5) < / RTI >
[수학식 4]&Quot; (4) "
[수학식 5]&Quot; (5) "
오차 상태 변수는 초기 값으로 0을 가지기 때문에 실제로는 오차 상태 변수의 불확실성만을 전파한다. 측정치 보정을 통하여 오차 상태 변수가 추정되면, 아래의 수학식 6과 같이 이를 명목 상태 변수에 보정한다. 이후 오차 상태 변수는 다시 0으로 초기화된다.Since the error state variable has an initial value of 0, it actually propagates only the uncertainty of the error state variable. If an error state variable is estimated through measurement correction, it is corrected to a nominal state variable as shown in Equation (6) below. The error state variable is then reset to zero.
[수학식 6]&Quot; (6) "
항법 정보 예측 블록에서는 수학식 5의 선형화 모델과 시스템 오차인 w k의 공분산 Q k를 이용하여 아래의 수학식 7과 같이 오차 상태 변수의 불확실성을 전파한다.Navigation information in the prediction block to propagate uncertainty in error state variables, such as Equation (7) below, using the covariance Q k of w k linearized model and the system error of the expression (5).
[수학식 7]&Quot; (7) "
여기서, P k +1은 측정치 보정 없이 관성 센서 신호만을 이용하여 전파된 공분산이며, 는 측정치 보정이 된 공분산을 의미한다.Where P k +1 is the covariance propagated using only the inertial sensor signal without measurement correction, Means a covariance that has been subjected to measurement correction.
광학 센서 신호가 새롭게 들어오면, 상기 정합 관계 추출부(530)에서 새롭게 들어온 영상에서 특징점을 추출하고, 이를 이전 프레임에 들어온 영상과 정합하여 슬라이딩 윈도우 내의 영상 간의 특징점 연관관계를 갱신하고, 시간 상 가장 오래된 영상 정보를 버린다. When the optical sensor signal is newly inputted, the matching
특징점 추출 및 정합은 사용자의 환경에 맞추어 다양한 방식을 사용할 수 있다. 본 발명의 실시예에서는 FAST(features from accelerated segment test) 코너 추출기와 KLT 추적기(Kanade-Lucas-Tomasi feature tracker)를 사용하여 특징점 추출 및 정합을 수행하였다. Extraction and matching of feature points can be performed in various ways according to the user's environment. In the embodiment of the present invention, feature point extraction and matching are performed using FAST (features from accelerated segment test) corner extractor and KLT tracker (Kanade-Lucas-Tomasi feature tracker).
또한, 광학 센서 신호가 새롭게 들어와 상기 정합 관계 추출부(530)의 특징점 추출 및 연관이 이루어지면, 상기 슬라이딩 갱신부(540)의 슬라이딩 윈도우가 갱신된다. 갱신 방식은 FIFO(first input first output) 방식에 따라, 가장 최신의 광학 센서 신호가 들어올 때의 위치 및 자세 정보와 불확실성을 따로 저장하고 가장 오래된 광학 센서 신호와 연관된 정보를 버린다. In addition, when the optical sensor signal newly comes in and the
따라서, 현재 시간 k에서 길이가 N인 슬라이딩 윈도우 내의 정보는 아래의 수학식 8 및 수학식 9와 같다.Therefore, the information in the sliding window having the length N at the current time k is expressed by the following Equations (8) and (9).
[수학식 8]&Quot; (8) "
[수학식 9]&Quot; (9) "
상기 상태변수 추정부(550)는 카메라의 상태변수 사이의 다중기하 제약 조건 및 슬라이딩 윈도우 내의 특징점 정합 관계에 기반한 최적화를 통해 카메라 상태변수를 추정한다.The state
본 발명에 따른 다중기하 제약 조건 오차 최소화 기반 상태변수 추정은 수학식 9의 상태변수와 슬라이딩 윈도우 내의 특징점 정합 관계를 이용하여 수행한다. 재투영 오차 최소화 기반 상태변수 추정과 다중 기하 제약 조건 오차 최소화 기반 상태변수 추정을 그래프 모델로 표현하면 도 4와 같다. The multi-geometry constraint error minimization-based state variable estimation according to the present invention is performed using the state variable of Equation (9) and the feature point matching relationship in the sliding window. FIG. 4 is a graphical representation of state variable estimation based on minimization of re-projection error and state variable estimation based on minimization of multiple geometric constraint error.
도 4를 참조하면, 회색 원은 특징점의 3차원 위치를, 주황색 네모는 카메라 상태변수를 의미하며, 검정색 네모는 영상의 특징점 위치를, 핑크색 다이아몬드는 다중 기하 제약 조건을 의미한다. Referring to FIG. 4, gray circles represent three-dimensional positions of feature points, orange squares represent camera state variables, black squares represent image feature points, and pink diamonds represent multiple geometry constraints.
도 4에서 확인할 수 있듯이, 다중 기하 제약 조건을 사용하면, 특징점의 3차원 위치와 상관없이 카메라 상태변수 사이의 제약조건에 기반한 최적화를 통해 카메라 상태변수의 추정이 가능하다.As can be seen from FIG. 4, using the multiple geometry constraints, camera state variables can be estimated through optimization based on constraints between camera state variables, regardless of the three-dimensional position of the feature points.
다중 기하 제약 조건 오차 최소화 기반 상태변수 추정은 아래위 수학식 10과 같은 MAP(Maximum-A-Posteriori) 추정기로 수행할 수 있다.The minimization of the multi-geometry constraint error-based state variable estimation can be performed by a Maximum-A-Posteriori (MAP) estimator as shown in Equation (10) below.
[수학식 10]&Quot; (10) "
여기서, 는 카메라 상태변수의 모음을 의미하고, Z는 모든 특징점 연관관계이다.here, Denotes a collection of camera state variables, and Z denotes all feature point associations.
[수학식 11]&Quot; (11) "
수학식 10은 수학식 11과 같이 분해하여 모델링을 수행한 후, 음 로그 가능도(Negative Log-likelihood)를 이용하여 아래의 수학식 12와 같은 비용 함수(cost function)를 설정한다. 여기서, N은 슬라이딩 윈도우의 길이, N k 는 다중 기하 제약 조건의 조합의 수이다.Equation (10) is decomposed and modeled as shown in Equation (11), and then a cost function as shown in Equation (12) below is set using Negative Log-likelihood. Where N is the length of the sliding window and N k is the number of combinations of multiple geometry constraints.
[수학식 12]&Quot; (12) "
여기서, 함수 h는 다중 기하 제약 조건 오차 모델인 수학식 13 이다.Here, the function h is Equation (13) which is a multi-geometry constraint error model.
[수학식 13]&Quot; (13) "
수학식 12와 같이 비용 함수를 설정하면, 수학식 10의 MAP 문제의 해는 비선형 최소 자승법(nonlinear least square)을 이용하여 구할 수 있다.If the cost function is set as shown in Equation (12), the solution of the MAP problem in Equation (10) can be obtained by using a nonlinear least squares method.
위의 과정을 통하여 카메라 상태변수를 최적화하여 추정하였으면, 이 정보를 측정치로 사용하여 관성항법 시스템의 상태변수를 보정한다. 이 과정은 오차 상태변수 칼만 필터의 측정치 갱신을 이용한다. 이는 상태변수 보정부(미도시)로부터 수행될 수 있고, 상기 상태변수 보정부(미도시)는 상기 상태변수 결정부(510) 및 상기 상태변수 추정부(550)의 일부 또는 내부 구성일 수 있다.If the camera state variable is estimated optimally through the above procedure, the state variable of the inertial navigation system is corrected using this information as a measurement value. This process uses the update of the measurement of the Kalman filter with the error state variable. The state variable correcting unit (not shown) may be implemented as part of the state
영상 시스템으로부터 얻어지는 정보는 모두 상대적인 것이므로 위에서 추정한 카메라 상태변수 사이의 상대 움직임 정보를 추출한다. 그리고 이를 이용하여 아래의 수학식 14의 비선형 측정치 모델을 이용하여 측정치 갱신을 수행한다.Since the information obtained from the image system is all relative, the relative motion information between the camera state variables estimated above is extracted. Then, a measurement value update is performed using the nonlinear measurement model of Equation (14) below.
[수학식 14]&Quot; (14) "
여기서, s는 0에서 N-1까지의 정수로 슬라이딩 윈도우에서의 위치를 의미한다.Here, s is an integer from 0 to N-1, which means the position in the sliding window.
수학식 14의 각 파라미터는 아래의 수학식 15와 같다.Each parameter in the equation (14) is expressed by the following equation (15).
[수학식 15]&Quot; (15) "
본 발명은 무인자동차에 응용 가능하다. 무인자동차에 장착된 단일 광학 센서와 내장되어 있는 관성 센서 시스템을 결합하여 GPS의 사용이 제한된 고층빌딩 지역에서도 정밀한 위치 인식이 가능하다. The present invention is applicable to unmanned vehicles. By combining a single optical sensor mounted on an unmanned vehicle and an inertial sensor system, accurate positioning is possible even in high-rise building areas where the use of GPS is limited.
본 발명의 성능을 검증하기 위하여 KITTI Raw dataset의 IMU 데이터와 흑백 영상을 사용하였다. KITTI dataset은 토요타 자동차 기술원(TI)과 독일의 KIT(Karlsruhe Institute of Technology)가 공동으로 자동차에 적용 가능한 영상 기반 알고리즘들의 성능벤치마크용으로 제공하는 데이터셋이다. In order to verify the performance of the present invention, the IMU data of the KITTI Raw dataset and the monochrome image were used. KITTI dataset is a data set provided by Toyota Motor Corporation (TI) and KIT (Karlsruhe Institute of Technology) in Germany for performance benchmarking of image-based algorithms applicable to automobiles.
본 실시예에서는 시가지 주행을 통하여 데이터를 획득한 경우에 대하여 성능의 검증을 수행하였다. 저장된 영상으로부터 특징점 정보를 획득하기 위하여 FAST(Features from Accelerated Segment Test) 기법을 이용하여 모서리를 추출하고, KLT(Kanade-Lucas-Tomasi) 추적기를 이용하여 특징점을 슬라이딩 윈도우내에서 추적하였다. 추적된 다수의 특징점 정보는 슬라이딩 윈도우에 구분되어 저장되고, 그와 동시에 관성 센서 시스템으로부터 계산된 위치, 자세 정보를 받아 슬라이딩 윈도우에 저장한다. In this embodiment, performance verification is performed for data acquired through a city driving. In order to obtain the feature point information from the stored images, edges were extracted using FAST (Features from Accelerated Segment Test) technique and feature points were tracked in the sliding window using KLT (Kanade-Lucas-Tomasi) tracker. The tracked multiple feature point information is divided and stored in the sliding window, and at the same time, the position and attitude information calculated from the inertial sensor system is received and stored in the sliding window.
슬라이딩 윈도우가 다 찬 후에는, 매 순간마다 다중 시점 기하 제약 조건을 이용한 최적화를 수행하여 위치 인식을 수행한다. 구현 및 분석은 Mathworks사의 Matlab을 이용하여 구현하였으며, 구글의 위성 지도에 고정밀 GPS를 이용한 궤적과 본 발명시스템을 이용하여 위치인식을 수행한 결과를 도 5에 나타내었다.After the sliding window is complete, the position recognition is performed by performing optimization using multiple viewpoint geometry constraints at each moment. The implementation and analysis are implemented using Matlab of Mathworks. The result of the position recognition using the high-precision GPS and the system of the present invention is shown in FIG. 5.
도 5에서 확인되는 바와 같이, 초록선으로 나타낸 실측자료와 본 발명에 따른 위치 인식 결과(붉은선 표시)가 거의 동일함을 확인할 수 있다. 이러한 결과는 본 발명에 따른 다중 시점 제약조건 최소화 기반 광학/관성 결합 위치 인식의 정확도가 높음을 증명한다.As can be seen from FIG. 5, it can be confirmed that the actual data indicated by the green line and the location recognition result (indicated by the red line) according to the present invention are almost the same. These results demonstrate that the accuracy of the optical / inertial coupled position recognition based on the minimization of the multi-view constraint according to the present invention is high.
본 발명에서 제안하는 다중 시점 제약조건 최소화 기반 광학/관성 결합 위치 인식 시스템은 다중 시점 기하 제약조건을 이용하여 3차원 위치의 추정없이 최적화를 수행하기 때문에 기존의 재투영 오차 최소화 기반 방식보다 연산량이 적어지며, 직선운동의 경우도 더 강인한 추정이 가능하다.The multi-view constraint minimization-based optical / inertial coupled position recognition system proposed in the present invention performs optimization without estimating the three-dimensional position using the multi-view geometry constraint, so that the computation amount is smaller than the existing re- And a stronger estimation is also possible in the case of linear motion.
도 6은 본 발명의 일 실시예에 따른 관성 및 단일 광학 센서를 이용한 슬라이딩 윈도우 기반 비-구조 위치 인식 방법의 흐름도이다.6 is a flow diagram of a sliding window-based non-structural location recognition method using inertial and single optical sensors in accordance with an embodiment of the present invention.
본 실시예에 따른 관성 및 단일 광학 센서를 이용한 슬라이딩 윈도우 기반 비-구조 위치 인식 방법은, 도 3의 장치(50)와 실질적으로 동일한 구성에서 진행될 수 있다. 따라서, 도 3의 장치(50)와 동일한 구성요소는 동일한 도면부호를 부여하고, 반복되는 설명은 생략한다. 또한, 본 실시예에 따른 관성 및 단일 광학 센서를 이용한 슬라이딩 윈도우 기반 비-구조 위치 인식을 수행하기 위한 소프트웨어(애플리케이션)에 의해 실행될 수 있다.The sliding window-based non-structural location recognition method using inertial and single optical sensors according to the present embodiment may proceed in substantially the same configuration as the
도 6을 참조하면, 본 실시예에 따른 관성 및 단일 광학 센서를 이용한 슬라이딩 윈도우 기반 비-구조 위치 인식 방법은, 관성 센서 신호를 연속시간 관성 항법 시스템 모델에 적용하여 시간에 따라 전파하여 관성 항법 상태변수를 결정한다(단계 S10). Referring to FIG. 6, a sliding window based non-structural position recognition method using an inertial and single optical sensor according to the present embodiment applies an inertial sensor signal to a continuous time inertial navigation system model, (Step S10).
이후, 상기 관성 항법 시스템 모델을 이용하여 오차 상태 변수 칼만필터(error-state Kalman filter, ESKF)를 구성하여 항법 정보를 예측 한다(단계 S30).Then, an error-state Kalman filter (ESKF) is constructed using the inertial navigation system model to predict navigation information (step S30).
오차 상태 변수 칼만 필터는 비선형 추정기인 확장 칼만 필터(extended Kalman filter, EKF)를 간접(indirect) 구조로 구현한 것이다. 오차 상태 변수 칼만 필터는 상태 변수를 명목(nominal) 상태 변수와 오차(error) 상태 변수로 나눈 후, 명목 상태 변수는 상기 수학식 4의 비선형 시스템 모델을 이용하여 전파하고, 오차 상태 변수는 상기 수학식 5의 선형화 모델을 이용하여 추정한다. The error state parameter Kalman filter is an indirect structure of the extended Kalman filter (EKF), which is a nonlinear estimator. The error state variable Kalman filter divides the state variable into a nominal state variable and an error state variable and then propagates the nominal state variable using the nonlinear system model of Equation (4) Estimate using the linearization model of Equation 5.
광학 센서 신호가 입력되면, 새롭게 입력된 영상에서 특징점을 추출하고, 추출된 특징점들을 이전 프레임에 들어온 영상과 정합하는 슬라이딩 윈도우 내의 영상 간의 특징점 추출 및 정합을 수행한다(단계 S50).When the optical sensor signal is input, feature points are extracted from the newly input image, and feature points are extracted and matched between the images in the sliding window matching the extracted feature points with the image input in the previous frame (step S50).
특징점 추출 및 정합은 사용자의 환경에 맞추어 다양한 방식을 사용할 수 있다. 본 발명의 실시예에서는 FAST(features from accelerated segment test) 코너 추출기와 KLT 추적기(Kanade-Lucas-Tomasi feature tracker)를 사용하여 특징점 추출 및 정합을 수행할 수 있다. Extraction and matching of feature points can be performed in various ways according to the user's environment. In the embodiment of the present invention, feature point extraction and matching can be performed using a FAST (feature from accelerated segment test) corner extractor and a KLT tracker (Kanade-Lucas-Tomasi feature tracker).
또한, 광학 센서 신호가 새롭게 들어와 특징점 추출 및 연관이 이루어지면, 슬라이딩 윈도우를 갱신한다(단계 S70).Further, when the optical sensor signal newly comes in and the minutiae point extraction and association are made, the sliding window is updated (step S70).
갱신 방식은 FIFO(first input first output) 방식에 따라, 가장 최신의 광학 센서 신호가 들어올 때의 위치 및 자세 정보와 불확실성을 따로 저장하고 가장 오래된 광학 센서 신호와 연관된 정보를 버린다. According to the first input first output (FIFO) method, the update method separately stores position and attitude information and uncertainty when the latest optical sensor signal is input, and discards information associated with the oldest optical sensor signal.
카메라의 상태변수 사이의 다중기하 제약 조건 및 슬라이딩 윈도우 내의 특징점 정합 관계에 기반한 최적화를 통해 카메라 상태변수를 추정한다(단계 S70).The camera state variable is estimated through optimization based on the multi-geometry constraint between the state variables of the camera and the feature point matching in the sliding window (step S70).
본 발명에 따른 다중기하 제약 조건 오차 최소화 기반 상태변수 추정은 수학식 9의 상태변수와 슬라이딩 윈도우 내의 특징점 정합 관계를 이용하여 수행한다. The multi-geometry constraint error minimization-based state variable estimation according to the present invention is performed using the state variable of Equation (9) and the feature point matching relationship in the sliding window.
다중 기하 제약 조건을 사용하면, 특징점의 3차원 위치와 상관없이 카메라 상태변수 사이의 제약조건에 기반한 최적화를 통해 카메라 상태변수의 추정이 가능하다.Using multiple geometry constraints, it is possible to estimate camera state variables through optimization based on constraints between camera state variables, regardless of the 3D location of feature points.
추정된 카메라 상태변수를 측정치로 이용하여 상기 관성 항법 시스템 모델의 상태변수를 보정한다(단계 S90). 이 과정은 오차 상태변수 칼만 필터의 측정치 갱신을 이용한다.The state variable of the inertial navigation system model is corrected using the estimated camera state variable as a measurement value (step S90). This process uses the update of the measurement of the Kalman filter with the error state variable.
본 발명에서 제안하는 다중 시점 제약조건 최소화 기반 광학/관성 결합 위치 인식 시스템은 다중 시점 기하 제약조건을 이용하여 3차원 위치의 추정없이 최적화를 수행하기 때문에 기존의 재투영 오차 최소화 기반 방식보다 연산량이 적어지며, 직선운동의 경우도 더 강인한 추정이 가능하다.The multi-view constraint minimization-based optical / inertial coupled position recognition system proposed in the present invention performs optimization without estimating the three-dimensional position using the multi-view geometry constraint, so that the computation amount is smaller than the existing re- And a stronger estimation is also possible in the case of linear motion.
이와 같은, 관성 및 단일 광학 센서를 이용한 슬라이딩 윈도우 기반 비-구조 위치 인식 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. Such sliding window based non-structural location recognition methods using inertial and single optical sensors may be implemented in applications or implemented in the form of program instructions that may be executed through various computer components and recorded on a computer readable recording medium have. The computer-readable recording medium may include program commands, data files, data structures, and the like, alone or in combination.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이며, 또한 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. The program instructions recorded on the computer-readable recording medium are those specially designed and constructed for the present invention and may also be those known and used by those skilled in the computer software field.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Examples of program instructions include machine language code such as those generated by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules for performing the processing according to the present invention, and vice versa.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the present invention as defined by the following claims. You will understand.
본 발명은 위치인식 시스템 구축에 관한 것으로 가상현실 및 증강현실과 관련된 기술 개발을 진행함에 있어 대상의 위치 및 자세를 제공한다. 본 기술은 무인 자율 주행용 위치 인식 장비뿐 아니라 영화, 광고, 애니메이션, 게임, 의학 등과 같은 산업 전반에 걸쳐 사용될 수 있으며, 상용화가 진행됨에 따라 직접적으로 가상현실 및 증강현실과 연동하여 사용할 수 있을 것으로 예상된다.The present invention relates to the construction of a location recognition system, and provides a location and an attitude of an object in the progress of technology development related to virtual reality and augmented reality. This technology can be used not only for autonomous navigation devices but also for all industries such as movie, advertisement, animation, game, medicine, etc., and can be directly used with virtual reality and augmented reality as commercialization progresses It is expected.
1: 다중 시점 제약조건 최소화 기반 광학/관성 결합 위치 인식 시스템
10: 관성 센서
30: 광학 센서
50: 관성 및 단일 광학 센서를 이용한 슬라이딩 윈도우 기반 비-구조 위치 인식 장치
510: 상태변수 결정부
520: 항법 정보 예측부
530: 정합 관계 추출부
540: 슬라이딩 갱신부
550: 상태변수 추정부1: Multi-view constraint minimization based optical / inertial coupled position recognition system
10: inertia sensor
30: Optical sensor
50: Sliding window based non-structural position recognition device using inertial and single optical sensor
510: state variable determining unit
520: navigation information prediction unit
530: matching relation extracting unit
540: Sliding update unit
550: state variable estimating unit
Claims (10)
상기 관성 항법 시스템 모델을 이용하여 오차 상태 변수 칼만필터(error-state Kalman filter, ESKF)를 구성하여 항법 정보를 예측하는 단계;
광학 센서 신호가 입력되면, 새롭게 입력된 영상에서 특징점을 추출하고, 추출된 특징점들을 이전 프레임에 들어온 영상과 정합하는 슬라이딩 윈도우 내의 영상 간의 특징점 추출 및 정합을 수행하는 단계;
슬라이딩 윈도우를 갱신하는 단계;
카메라의 상태변수 사이의 다중기하 제약 조건 및 슬라이딩 윈도우 내의 특징점 정합 관계에 기반한 최적화를 통해 카메라 상태변수를 추정하는 단계; 및
추정된 카메라 상태변수를 측정치로 이용하여 상기 관성 항법 시스템 모델의 상태변수를 보정하는 단계를 포함하는, 관성 및 단일 광학 센서를 이용한 슬라이딩 윈도우 기반 비-구조 위치 인식 방법.
Applying the inertial sensor signal to a continuous time inertial navigation system model and propagating it over time to determine an inertial navigation state variable;
Estimating navigation information by constructing an error-state Kalman filter (ESKF) using the inertial navigation system model;
Extracting a feature point from a newly input image and performing feature point extraction and matching between images in a sliding window matching the extracted feature points with an image input in a previous frame;
Updating a sliding window;
Estimating a camera state variable through optimization based on a multiple geometry constraint between state variables of a camera and a feature point matching relationship in a sliding window; And
And using the estimated camera state variable as a measure to correct the state variable of the inertial navigation system model.
상태 변수를 명목(nominal) 상태 변수와 오차(error) 상태 변수로 나누는 단계;
명목 상태 변수는 비선형 시스템 모델을 이용하여 전파하는 단계; 및
오차 상태 변수는 선형화 모델을 이용하여 추정하는 단계를 포함하는, 관성 및 단일 광학 센서를 이용한 슬라이딩 윈도우 기반 비-구조 위치 인식 방법.
The method of claim 1, wherein the step of predicting the navigation information comprises constructing an error-state variable Kalman filter (ESKF) using the inertial navigation system model,
Dividing the state variable into a nominal state variable and an error state variable;
Propagating the nominal state variable using a nonlinear system model; And
A sliding window based non-structural location recognition method using inertial and single optical sensors, comprising the step of estimating error state variables using a linearization model.
시간 상 가장 최신의 광학 센서 신호의 위치 및 자세 정보와 불확실성을 저장하는 단계; 및
시간 상 가장 오래된 광학 센서 신호와 연관된 정보를 버리는 단계를 포함하는, 관성 및 단일 광학 센서를 이용한 슬라이딩 윈도우 기반 비-구조 위치 인식 방법.
2. The method of claim 1, wherein updating the sliding window comprises:
Storing position and attitude information and uncertainty of the latest optical sensor signal in time; And
And discarding information associated with the oldest optical sensor signal in time. ≪ RTI ID = 0.0 > A < / RTI >
FAST(Features from Accelerated Segment Test) 코너 추출기와 KLT 추적기(Kanade-Lucas-Tomasi feature tracker)를 사용하는, 관성 및 단일 광학 센서를 이용한 슬라이딩 윈도우 기반 비-구조 위치 인식 방법.
2. The method of claim 1, wherein the extracting and matching of feature points between images in the sliding window comprises:
A sliding window based non-structural location recognition method using an inertial and single optical sensor using a FAST (Correction Segment Test) corner extractor and a Kanade-Lucas-Tomasi feature tracker.
A computer-readable recording medium on which a computer readable recording medium for performing a sliding window-based non-structural location recognition method using inertial and single optical sensors according to any one of claims 1 to 4.
상기 관성 항법 시스템 모델을 이용하여 오차 상태 변수 칼만필터(error-state Kalman filter, ESKF)를 구성하여 항법 정보를 예측하는 항법 정보 예측부;
광학 센서 신호가 입력되면, 새롭게 입력된 영상에서 특징점을 추출하고, 추출된 특징점들을 이전 프레임에 들어온 영상과 정합하는 슬라이딩 윈도우 내의 영상 간의 특징점 추출 및 정합을 수행하는 정합 관계 추출부;
슬라이딩 윈도우를 갱신하는 슬라이딩 갱신부;
카메라의 상태변수 사이의 다중기하 제약 조건 및 슬라이딩 윈도우 내의 특징점 정합 관계에 기반한 최적화를 통해 카메라 상태변수를 추정하는 상태변수 추정부; 및
추정된 카메라 상태변수를 측정치로 이용하여 상기 관성 항법 시스템 모델의 상태변수를 보정하는 상태변수 보정부를 포함하는, 관성 및 단일 광학 센서를 이용한 슬라이딩 윈도우 기반 비-구조 위치 인식 장치.
A state variable determining unit that applies an inertial sensor signal to a continuous time inertial navigation system model and propagates the signal based on time to determine an inertial navigation state variable;
A navigation information predicting unit for predicting the navigation information by constructing an error-state Kalman filter (ESKF) using the inertial navigation system model;
A matching relation extracting unit for extracting a feature point from a newly input image and performing feature point extraction and matching between images in a sliding window matching the extracted feature points with an image input in a previous frame,
A sliding update unit updating the sliding window;
A state variable estimator for estimating camera state variables through optimization based on multiple geometry constraints between camera state variables and feature point mappings in a sliding window; And
And a state variable correction unit for correcting the state variable of the inertial navigation system model using the estimated camera state variable as a measurement value.
상태 변수를 명목(nominal) 상태 변수와 오차(error) 상태 변수로 나누고, 명목 상태 변수는 비선형 시스템 모델을 이용하여 전파하고, 오차 상태 변수는 선형화 모델을 이용하여 추정하는, 관성 및 단일 광학 센서를 이용한 슬라이딩 윈도우 기반 비-구조 위치 인식 장치.
7. The navigation system according to claim 6,
Inertial and single optical sensors, which divide state variables into nominal and error state variables, nominal state variables propagate using a nonlinear system model, and error state variables are estimated using a linearization model, A sliding window based non - structural location - aware device.
시간 상 가장 최신의 광학 센서 신호의 위치 및 자세 정보와 불확실성을 저장하고, 시간 상 가장 오래된 광학 센서 신호와 연관된 정보를 버리는, 관성 및 단일 광학 센서를 이용한 슬라이딩 윈도우 기반 비-구조 위치 인식 장치.
7. The apparatus of claim 6,
A sliding window based non-structural position sensing device using an inertial and single optical sensor that stores position and orientation information and uncertainty of the most up-to-date optical sensor signal in time and discards information associated with the oldest optical sensor signal in time.
FAST(Features from Accelerated Segment Test) 코너 추출기와 KLT 추적기(Kanade-Lucas-Tomasi feature tracker)를 사용하는, 관성 및 단일 광학 센서를 이용한 슬라이딩 윈도우 기반 비-구조 위치 인식 장치.
7. The apparatus according to claim 6, wherein the matching-
A sliding window-based non-structural location-aware device using an inertial and single optical sensor, using FAST (Corresponding Accelerated Segment Test) corner extractor and KLT tracker (Kanade-Lucas-Tomasi feature tracker).
상기 관성 센서 신호는 3차원의 벡터의 가속도계 데이터와 자이로 데이터를 포함하는, 관성 및 단일 광학 센서를 이용한 슬라이딩 윈도우 기반 비-구조 위치 인식 장치.
The method according to claim 6,
Wherein the inertial sensor signal comprises accelerometer data of a three-dimensional vector and gyro data.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170080502A KR101985344B1 (en) | 2017-06-26 | 2017-06-26 | Sliding windows based structure-less localization method using inertial and single optical sensor, recording medium and device for performing the method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170080502A KR101985344B1 (en) | 2017-06-26 | 2017-06-26 | Sliding windows based structure-less localization method using inertial and single optical sensor, recording medium and device for performing the method |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190001086A true KR20190001086A (en) | 2019-01-04 |
KR101985344B1 KR101985344B1 (en) | 2019-06-04 |
Family
ID=65017687
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170080502A KR101985344B1 (en) | 2017-06-26 | 2017-06-26 | Sliding windows based structure-less localization method using inertial and single optical sensor, recording medium and device for performing the method |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101985344B1 (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109764880A (en) * | 2019-02-19 | 2019-05-17 | 中国科学院自动化研究所 | The vision inertia ranging method and system of close coupling vehicle wheel encoder data |
CN111141290A (en) * | 2020-01-08 | 2020-05-12 | 广州视源电子科技股份有限公司 | Robot positioning method, positioning device, robot apparatus, and storage medium |
CN111929699A (en) * | 2020-07-21 | 2020-11-13 | 北京建筑大学 | Laser radar inertial navigation odometer considering dynamic obstacles and mapping method and system |
CN113838129A (en) * | 2021-08-12 | 2021-12-24 | 高德软件有限公司 | Method, device and system for obtaining pose information |
KR20220023046A (en) * | 2020-08-20 | 2022-03-02 | 한국과학기술원 | Method, apparatus and computer program for multi-matching based realtime vision-aided navigation |
CN117739972A (en) * | 2024-02-18 | 2024-03-22 | 中国民用航空飞行学院 | Unmanned aerial vehicle approach stage positioning method without global satellite positioning system |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011141221A (en) * | 2010-01-08 | 2011-07-21 | Toyota Motor Corp | Positioning device and positioning method |
KR20140053712A (en) | 2012-10-26 | 2014-05-08 | (주)하기소닉 | The localization method for indoor mobile robots by sensor fusion |
KR20150079098A (en) | 2013-12-31 | 2015-07-08 | 한국과학기술원 | Filtering Methods of spatiotemporal 3D Vector for Robust visual odometry |
KR20160122709A (en) * | 2013-12-30 | 2016-10-24 | 구글 테크놀로지 홀딩스 엘엘씨 | Methods and systems for determining elstimation of motion of a device |
-
2017
- 2017-06-26 KR KR1020170080502A patent/KR101985344B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011141221A (en) * | 2010-01-08 | 2011-07-21 | Toyota Motor Corp | Positioning device and positioning method |
KR20140053712A (en) | 2012-10-26 | 2014-05-08 | (주)하기소닉 | The localization method for indoor mobile robots by sensor fusion |
KR20160122709A (en) * | 2013-12-30 | 2016-10-24 | 구글 테크놀로지 홀딩스 엘엘씨 | Methods and systems for determining elstimation of motion of a device |
KR20150079098A (en) | 2013-12-31 | 2015-07-08 | 한국과학기술원 | Filtering Methods of spatiotemporal 3D Vector for Robust visual odometry |
Non-Patent Citations (2)
Title |
---|
Indelman, Vadim. "Bundle adjustment without iterative structure estimation and its application to navigation." Position Location and Navigation Symposium (PLANS), 2012 IEEE/ION. IEEE, 2012. |
Mourikis, Anastasios I., and Stergios I. Roumeliotis. "A multi-state constraint Kalman filter for vision-aided inertial navigation." Robotics and automation, 2007 IEEE international conference on. IEEE, 2007. |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109764880A (en) * | 2019-02-19 | 2019-05-17 | 中国科学院自动化研究所 | The vision inertia ranging method and system of close coupling vehicle wheel encoder data |
CN111141290A (en) * | 2020-01-08 | 2020-05-12 | 广州视源电子科技股份有限公司 | Robot positioning method, positioning device, robot apparatus, and storage medium |
CN111141290B (en) * | 2020-01-08 | 2023-09-26 | 广州视源电子科技股份有限公司 | Positioning method, positioning device, equipment and storage medium of robot |
CN111929699A (en) * | 2020-07-21 | 2020-11-13 | 北京建筑大学 | Laser radar inertial navigation odometer considering dynamic obstacles and mapping method and system |
KR20220023046A (en) * | 2020-08-20 | 2022-03-02 | 한국과학기술원 | Method, apparatus and computer program for multi-matching based realtime vision-aided navigation |
CN113838129A (en) * | 2021-08-12 | 2021-12-24 | 高德软件有限公司 | Method, device and system for obtaining pose information |
CN113838129B (en) * | 2021-08-12 | 2024-03-15 | 高德软件有限公司 | Method, device and system for obtaining pose information |
CN117739972A (en) * | 2024-02-18 | 2024-03-22 | 中国民用航空飞行学院 | Unmanned aerial vehicle approach stage positioning method without global satellite positioning system |
CN117739972B (en) * | 2024-02-18 | 2024-05-24 | 中国民用航空飞行学院 | Unmanned aerial vehicle approach stage positioning method without global satellite positioning system |
Also Published As
Publication number | Publication date |
---|---|
KR101985344B1 (en) | 2019-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101985344B1 (en) | Sliding windows based structure-less localization method using inertial and single optical sensor, recording medium and device for performing the method | |
JP7326720B2 (en) | Mobile position estimation system and mobile position estimation method | |
CN109087359B (en) | Pose determination method, pose determination apparatus, medium, and computing device | |
US9798929B2 (en) | Real-time pose estimation system using inertial and feature measurements | |
CN107888828B (en) | Space positioning method and device, electronic device, and storage medium | |
US9709404B2 (en) | Iterative Kalman Smoother for robust 3D localization for vision-aided inertial navigation | |
CN110084832B (en) | Method, device, system, equipment and storage medium for correcting camera pose | |
CN112197770B (en) | Robot positioning method and positioning device thereof | |
US9243916B2 (en) | Observability-constrained vision-aided inertial navigation | |
EP3400507B1 (en) | System and method for fault detection and recovery for concurrent odometry and mapping | |
US10247556B2 (en) | Method for processing feature measurements in vision-aided inertial navigation | |
CN107748569B (en) | Motion control method and device for unmanned aerial vehicle and unmanned aerial vehicle system | |
WO2017163596A1 (en) | Autonomous navigation using visual odometry | |
CN109461208B (en) | Three-dimensional map processing method, device, medium and computing equipment | |
US20210183100A1 (en) | Data processing method and apparatus | |
CN107167826B (en) | Vehicle longitudinal positioning system and method based on variable grid image feature detection in automatic driving | |
WO2020253260A1 (en) | Time synchronization processing method, electronic apparatus, and storage medium | |
CN104501814A (en) | Attitude and position estimation method based on vision and inertia information | |
CN114001733B (en) | Map-based consistent efficient visual inertial positioning algorithm | |
CN113066127B (en) | Visual inertial odometer method and system for calibrating equipment parameters on line | |
US20230041382A1 (en) | Electronic device and method for tracking object thereof | |
CN112950710A (en) | Pose determination method and device, electronic equipment and computer readable storage medium | |
WO2020135183A1 (en) | Method and apparatus for constructing point cloud map, computer device, and storage medium | |
CN114022556A (en) | Positioning initialization method, device and computer readable storage medium | |
CN116958452A (en) | Three-dimensional reconstruction method and system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |