WO2021241847A1 - 시각 특징 맵 생성 방법 및 시스템 - Google Patents

시각 특징 맵 생성 방법 및 시스템 Download PDF

Info

Publication number
WO2021241847A1
WO2021241847A1 PCT/KR2021/001955 KR2021001955W WO2021241847A1 WO 2021241847 A1 WO2021241847 A1 WO 2021241847A1 KR 2021001955 W KR2021001955 W KR 2021001955W WO 2021241847 A1 WO2021241847 A1 WO 2021241847A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature
feature points
image
visual
map
Prior art date
Application number
PCT/KR2021/001955
Other languages
English (en)
French (fr)
Inventor
전준호
Original Assignee
네이버랩스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 네이버랩스 주식회사 filed Critical 네이버랩스 주식회사
Publication of WO2021241847A1 publication Critical patent/WO2021241847A1/ko
Priority to US18/070,256 priority Critical patent/US20230108621A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present disclosure relates to a method and system for generating a visual feature map, and more particularly, to a method and system for generating a visual feature map including visual information and geometric information.
  • the present disclosure provides a method for generating a visual feature map, a computer program stored in a recording medium, and an apparatus (system) for solving the above problems.
  • a position estimation method and apparatus (system) capable of recognizing the position and posture of a vehicle using an image captured by a camera are provided.
  • the present disclosure may be implemented in various ways including a method, an apparatus (system), or a computer program stored in a readable storage medium.
  • a method of generating a visual feature map performed by at least one processor includes receiving a first image, detecting a first set of feature points from the first image, and a first set of feature points extracting each visual feature descriptor, receiving a first set of three-dimensional point cloud data associated with a location where the first image was taken, and using the first set of three-dimensional point cloud data to obtain each of the first set of feature points and determining a three-dimensional coordinate value.
  • a computer program stored in a computer-readable recording medium is provided for executing the above-described method for generating a visual feature map according to an embodiment of the present disclosure in a computer.
  • a system for generating a visual feature map includes a memory and at least one processor connected to the memory and configured to execute at least one computer-readable program included in the memory.
  • the at least one program receives a first image, detects a first set of feature points from the first image, extracts a visual feature descriptor of each of the first set of feature points, and a first image associated with a location where the first image was captured. and instructions for receiving a set of three-dimensional point cloud data and determining a three-dimensional coordinate value of each of the first set of feature points by using the first set of three-dimensional point cloud data.
  • a location estimation method performed by at least one processor includes receiving an image, detecting a first set of feature points from the image, and calculating a visual feature descriptor of each of the first set of feature points. extracting, receiving a pre-stored second set of feature points - each of the second set of feature points includes an associated visual feature descriptor and a three-dimensional coordinate value, or includes an associated visual feature descriptor, a three-dimensional coordinate value, and photographing direction information including - performing feature matching by comparing the visual feature descriptors of the first set of feature points with the visual feature descriptors of the second set of feature points, and three-dimensionality associated with the feature points that succeeded in feature matching among the feature points of the second set and estimating precise location information at which the image was captured and precise photographing direction information of the image based on the coordinate value or the three-dimensional coordinate value and the photographing direction information.
  • a computing device includes a memory and at least one processor connected to the memory and configured to execute at least one computer-readable program included in the memory.
  • the at least one program is configured to receive an image, detect a first set of feature points from the image, extract a visual feature descriptor of each of the first set of feature points, receive a pre-stored second set of feature points - a second set each of the feature points of the first set includes the associated visual feature descriptor and the three-dimensional coordinate value, or includes the associated visual feature descriptor, the three-dimensional coordinate value, and the photographing direction information;
  • the feature matching is performed by comparing the visual feature descriptors of the feature points, and the image is captured based on the three-dimensional coordinate value or the three-dimensional coordinate value and the shooting direction information associated with the feature points that have succeeded in feature matching among the feature points of the second set. It includes instructions for estimating location information and precise shooting direction information of the image.
  • the visual feature map since the visual feature map includes relatively low-capacity data compared to the geometric information map, a map of a large space in a city unit may be stored in an autonomous vehicle or the like without separate communication.
  • it can contribute to the development of a relatively inexpensive autonomous driving platform because the precise location and posture of the vehicle can be estimated using only images captured by the vehicle by using the visual feature map stored in the vehicle in advance.
  • the vehicle posture (or The processing speed and accuracy can be greatly improved by performing position/position estimation using only feature points that match the image shooting direction).
  • the vehicle can quickly estimate the current position and posture of the vehicle with high accuracy by using an inexpensive image sensor, a low-cost GPS module, or the like without an expensive high-precision GPS module.
  • FIG. 1 is a diagram illustrating an example in which an MMS vehicle acquires 3D point cloud data using a LiDAR sensor according to an embodiment of the present disclosure.
  • FIG. 2 is a flowchart illustrating a method for map generation and location/posture estimation between an MMS vehicle, an information processing system, and a vehicle according to an embodiment of the present disclosure
  • FIG. 3 is a block diagram illustrating an internal configuration of a computing device and an information processing system according to an embodiment of the present disclosure.
  • FIG. 4 is a diagram illustrating an example of detecting feature points in an image according to an embodiment of the present disclosure.
  • FIG. 5 is a flowchart illustrating an example of a method for generating a local map according to an embodiment of the present disclosure.
  • FIG. 6 is a flowchart illustrating a method of updating a local map according to an embodiment of the present disclosure.
  • FIG. 7 is a diagram illustrating an example of generating a global map by performing feature matching according to an embodiment of the present disclosure.
  • FIG. 8 is a diagram illustrating an example of visually displaying a 3D point cloud map and a visual feature map generated according to an embodiment of the present disclosure.
  • FIG. 9 is a diagram illustrating an example of estimating a position and posture of a vehicle according to an embodiment of the present disclosure.
  • FIG. 10 is a flowchart illustrating an exemplary position/posture estimation method according to an embodiment of the present disclosure.
  • 'module' or 'unit' used in the specification means a software or hardware component, and 'module' or 'unit' performs certain roles.
  • 'module' or 'unit' is not meant to be limited to software or hardware.
  • a 'module' or 'unit' may be configured to reside on an addressable storage medium or configured to reproduce one or more processors.
  • a 'module' or 'unit' refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, and properties. , procedures, subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, database, data structures, tables, arrays or at least one of variables.
  • Components and 'modules' or 'units' are the functions provided therein that are combined into a smaller number of components and 'modules' or 'units' or additional components and 'modules' or 'units' can be further separated.
  • a 'module' or a 'unit' may be implemented with a processor and a memory.
  • 'Processor' should be construed broadly to include general purpose processors, central processing units (CPUs), microprocessors, digital signal processors (DSPs), controllers, microcontrollers, state machines, and the like.
  • a 'processor' may refer to an application specific semiconductor (ASIC), a programmable logic device (PLD), a field programmable gate array (FPGA), or the like.
  • ASIC application specific semiconductor
  • PLD programmable logic device
  • FPGA field programmable gate array
  • 'Processor' refers to a combination of processing devices, such as, for example, a combination of a DSP and a microprocessor, a combination of a plurality of microprocessors, a combination of one or more microprocessors in combination with a DSP core, or any other such configuration. You may. Also, 'memory' should be construed broadly to include any electronic component capable of storing electronic information.
  • RAM random access memory
  • ROM read-only memory
  • NVRAM non-volatile random access memory
  • PROM programmable read-only memory
  • EPROM erase-programmable read-only memory
  • a memory is said to be in electronic communication with the processor if the processor is capable of reading information from and/or writing information to the memory.
  • a memory integrated in the processor is in electronic communication with the processor.
  • '3D point cloud data' may be 3D data obtained from the surface of an object using a LiDAR sensor or the like.
  • each point in the 3D point cloud data may have an associated 3D coordinate value.
  • a three-dimensional coordinate value may be expressed in a UTM coordinate system.
  • a 'distinctiveness score' may be a score indicating a degree to which a visual feature descriptor of a keypoint is differentiated from other keypoints.
  • the identification score of the feature point may be calculated using a pre-generated deep learning model. For example, an object with a high frequency of appearance during road driving, such as a road surface or sky, may be given a low discrimination score, and an object with a low frequency of occurrence while driving on a road, such as a road sign or road layout, may be given a high discrimination score. .
  • a 'local map' may refer to a visual feature map generated based on feature points that have succeeded in feature matching among feature points extracted from images captured by the MMS vehicle.
  • the local map may be updated based on feature points extracted from images continuously captured by the MMS vehicle.
  • the 'global map' may refer to a visual feature map generated based on feature points that have succeeded in feature matching more than a predetermined number of times among feature points included in the local map.
  • the global map may be generated based on feature points that have succeeded in feature matching by a predetermined ratio or more among feature points included in the local map.
  • a Mobile Mapping System (MMS) vehicle 110 acquires 3D point cloud data using a Light Detection And Ranging (LiDAR) sensor 120 according to an embodiment of the present disclosure; It is a drawing showing In an embodiment, the MMS vehicle 110 drives in an area requiring map generation and uses the lidar sensor 120 to obtain geometric information (eg, 3D point cloud data) around the vehicle (front, rear, side, etc.) ) can be obtained.
  • the MMS vehicle 110 receives fine location information of the MMS vehicle 110 using an expensive high-precision GPS module (not shown), an Inertial Measurement Unit (IMU) sensor (not shown), or the like. and a three-dimensional coordinate value may be assigned to each point in the three-dimensional point cloud data.
  • 3D coordinate values of points in 3D point cloud data may be expressed in a Universal Transverse Mercator (UTM) coordinate system.
  • UDM Universal Transverse Mercator
  • the LiDAR sensor 120 may include various types of LiDAR sensors.
  • the MMS vehicle 110 obtains geometric information of the road surface 130 using the 2D lidar sensor(s), and uses the 3D lidar sensor(s) to obtain the road sign 140, the building ( 150) and plants 160, etc., may obtain geometric information of non-road areas (ie, areas other than roads).
  • the MMS vehicle 110 may use pre-stored road information to classify a surrounding road area and a non-road area.
  • the road information may be information extracted from an aerial photograph.
  • the MMS vehicle 110 may continuously capture images using an image sensor (not shown) while driving in an area requiring map generation.
  • the MMS vehicle 110 may detect feature points from each captured image and extract a visual feature descriptor of each detected feature point.
  • the feature point is at a low level (such as brightness information of pixels included in a photographed image, gradient of brightness information, edge information, corner information, blob information, color information, etc.) low-level) information.
  • the visual feature descriptor of the key point may be extracted based on the low-level image information in the area around the key point.
  • the position of the feature point may be expressed as three-dimensional coordinates, and the visual feature descriptor may be expressed as a three-dimensional or higher vector.
  • the visual feature descriptor may be expressed as a 64-dimensional or 128-dimensional vector.
  • the MMS vehicle 110 may be configured to use only feature points having a distinctiveness score greater than or equal to a preset threshold using a deep learning model.
  • the discriminating score is a value that the deep learning model predicts from the input image of a score on the degree to which the visual feature descriptor of the corresponding feature is differentiated from other feature points.
  • a low identification score is given to an object with a high frequency of appearance during road driving, such as the road surface 130 , the building 150 , the sky 170 , and the like, and a road sign 140 , a road layout, etc.
  • An object with a low appearance frequency may be given a high discrimination score.
  • the MMS vehicle 110 may determine the three-dimensional coordinate values of the extracted feature points based on the three-dimensional point cloud data obtained using the lidar sensor 120 or the like.
  • the MMS vehicle 110 may be configured to use only feature points located within a preset distance (eg, within 150 m). If the distance from the MMS vehicle 110 is long, the error of the three-dimensional coordinate value is large, the resolution of the image is lowered, and the extracted visual feature descriptor describes an excessively wide area, so the accuracy may be reduced. Accordingly, the MMS vehicle 110 may calculate the distance between the image sensor and the extracted feature point, and may exclude the long-distance feature point.
  • the MMS vehicle 110 may recognize the posture of the vehicle at the time of capturing the image.
  • an expensive high-precision GPS module (not shown), an IMU sensor (not shown), etc. may be used to recognize the posture of the MMS vehicle 110 , and the recognized posture information may be used as the corresponding image capturing direction information.
  • the posture information (or photographing direction information) of the MMS vehicle 110 may be expressed as a roll, a pitch, and a yaw value.
  • the image capturing direction information is stored together with the visual feature descriptor, and feature points that match the vehicle posture (or image capturing direction) in the process of estimating the vehicle location later
  • the processing speed and accuracy can be greatly improved by performing position estimation using
  • Feature points extracted for each image may be stored together with associated visual feature descriptors, 3D coordinate values, and photographing direction information.
  • a visual feature map is generated based on feature points (including a visual feature descriptor, a three-dimensional coordinate value, and photographing direction information) extracted from images captured by the MMS vehicle 110 while driving. can do. A detailed method of generating the visual feature map will be described later.
  • the MMS vehicle 110 generates the visual feature map, it is not limited thereto.
  • the MMS vehicle 110 transmits a photographed image, acquired 3D point cloud data, location information received from GPS, shooting direction information, etc. to an external device (eg, a server), and the external device receives A visual feature map may be generated based on one data.
  • an external device may receive data from a plurality of MMS vehicles 110 to generate a visual feature map.
  • the MMS vehicle 210 may collect data while driving (eg, autonomously driving) in an area requiring map generation ( 212 ).
  • the collected data 214 may include 3D point cloud data obtained while the MMS vehicle 210 is driving on a road, a photographed image, location/posture information of the MMS vehicle 210 according to time, etc. can
  • the collected data 214 may include feature points detected from the captured image. In this case, each feature point may have an associated visual feature descriptor, a three-dimensional coordinate value, and image capturing direction information.
  • the MMS vehicle 210 may transmit the collected data 214 to the information processing system 220 in real time or periodically.
  • the information processing system 220 may generate 222 a visual feature map.
  • the information processing system 220 detects a feature point from the received image, a visual feature descriptor associated with each feature point, a three-dimensional coordinate value,
  • a visual feature map may be generated by extracting image capturing direction information ( 222 ).
  • the information processing system 220 is configured to, based on the received data 214 , A visual feature map may be generated ( 222 ).
  • the vehicle 230 may transmit the map request 232 to the information processing system 220 to estimate the current location/posture when driving on the road.
  • the vehicle 230 may be a general passenger car that is not equipped with an expensive, high-precision GPS module mounted on the MMS vehicle 210 .
  • the vehicle 230 may be any vehicle 230 equipped with an image sensor for image capturing, and may optionally include a low-cost GPS module.
  • the information processing system 220 may transmit the map data 234 to the vehicle 230 .
  • the information processing system 220 may transmit the stored full map data 234 to the vehicle 230 .
  • the map request 232 includes location information, and the information processing system 220 transfers a portion of the entire map data 234 to the vehicle 230 based on the location information included in the map request 232 . can be sent to For example, the information processing system 220 may transmit the map data 234 within a 150 m radius of the current location (approximate location) of the vehicle 230 to the vehicle 230 .
  • the vehicle 230 may use an image sensor while driving on a road to capture images of the surrounding area, such as front and rear ( 236 ). Thereafter, the vehicle 230 may detect feature points from the captured image using the same method used for generating the visual feature map, and extract a visual feature descriptor of each detected feature point. By comparing the extracted visual feature descriptors with visual feature descriptors of feature points included in the received map data 234 , the vehicle 230 may estimate a precise position and posture ( 238 ). For example, the vehicle 230 identifies visual feature descriptors in the map data 234 that are similar to the visual feature descriptors extracted from the captured image, and 3D coordinate values and image capturing direction information associated with the identified visual feature descriptors. A precise position and attitude of the vehicle 230 may be estimated based on 238 .
  • the vehicle 230 receives the map data 234 from the information processing system 220 and performs location/position estimation, but is not limited thereto.
  • an image captured by the vehicle 230 may be transmitted to the information processing system 220 , and the location/position of the vehicle 230 may be estimated based on the image received by the information processing system 220 .
  • the information processing system 220 may transmit the estimated position/posture information to the vehicle 230 .
  • the vehicle 230 may estimate the current position and attitude using a map pre-stored in the vehicle 230 ( 238 ) without transmitting the map request 232 to the information processing system 220 .
  • the vehicle 230 can quickly estimate the current position and posture of the vehicle 230 with high accuracy using a low-cost image sensor, low-cost GPS module, or the like without an expensive high-precision GPS module.
  • the computing device 310 may refer to any device capable of image processing and capable of wired/wireless communication, and may include, for example, the MMS vehicle 210 and the vehicle 230 of FIG. 2 .
  • the computing device 310 may include a memory 3 12 , a processor 314 , a communication module 316 , and an input/output interface 318 .
  • the information processing system 220 may include a memory 342 , a processor 344 , a communication module 346 , and an input/output interface 348 . As shown in FIG.
  • computing device 310 and information processing system 220 are configured to communicate information and/or data via network 330 using respective communication modules 316 and 346 , respectively.
  • the input/output device 320 may be configured to input information and/or data to or output information and/or data generated from the computing device 310 through the input/output interface 318 .
  • the memories 312 and 342 may include any non-transitory computer-readable recording medium.
  • the memories 312 and 342 are non-volatile mass storage devices such as random access memory (RAM), read only memory (ROM), disk drives, solid state drives (SSDs), flash memory, and the like. (permanent mass storage device) may be included.
  • a non-volatile mass storage device such as a ROM, SSD, flash memory, disk drive, etc. may be included in the computing device 310 or the information processing system 220 as a separate persistent storage device distinct from the memories 312 and 342 .
  • an operating system and at least one program code may be stored in the memories 312 and 342 .
  • the separate computer-readable recording medium may include a recording medium directly connectable to the computing device 310 and the information processing system 220, for example, a floppy drive, disk, tape, DVD/CD- It may include a computer-readable recording medium such as a ROM drive and a memory card.
  • the software components may be loaded into the memories 312 and 342 through the communication modules 316 and 346 rather than the computer-readable recording medium. For example, at least one program is loaded into the memories 312 and 342 based on a computer program installed by files provided through the network 330 by developers or a file distribution system that distributes installation files of applications. can be
  • the processors 314 and 344 may be configured to process instructions of a computer program by performing basic arithmetic, logic, and input/output operations. Instructions may be provided to the processor 314 , 344 by the memory 312 , 342 or the communication module 316 , 346 . For example, the processors 314 and 344 may be configured to execute received instructions according to program code stored in a recording device, such as the memories 312 and 342 .
  • the communication modules 316 and 346 may provide a configuration or function for the computing device 310 and the information processing system 220 to communicate with each other via the network 330 , and the computing device 310 and/or information processing
  • the system 220 may provide a configuration or function for communicating with another computing device 310 or another system (eg, a separate cloud system, etc.).
  • a request or data generated by the processor 314 of the computing device 310 according to program code stored in a recording device such as the memory 312 is information through the network 330 under the control of the communication module 316 . may be passed to the processing system 220 .
  • a control signal or command provided under the control of the processor 344 of the information processing system 220 is transmitted through the communication module 346 and the network 330 through the communication module 316 of the computing device 310 . may be received by the computing device 310 .
  • the input/output interface 318 may be a means for interfacing with the input/output device 320 .
  • an input device may include a device such as a camera, keyboard, microphone, mouse, etc., including an audio sensor and/or an image sensor
  • an output device may include a device such as a display, speaker, haptic feedback device, etc.
  • the input/output interface 318 may be a means for an interface with a device in which a configuration or function for performing input and output, such as a touch screen, is integrated into one.
  • the processor 314 of the computing device 310 processes instructions of a computer program loaded into the memory 312 , the information and/or data provided by the information processing system 220 or other computing device is used.
  • a service screen and the like configured by doing this may be displayed on the display through the input/output interface 318 .
  • the input/output device 320 is not included in the computing device 310 , but is not limited thereto, and may be configured as one device with the computing device 310 .
  • the input/output interface 348 of the information processing system 220 is a means for interfacing with a device (not shown) for input or output that is connected to the information processing system 220 or that the information processing system 220 may include. can be In FIG.
  • the input/output interfaces 318 and 348 are illustrated as elements configured separately from the processors 314 and 344, but the present invention is not limited thereto, and the input/output interfaces 318 and 348 may be configured to be included in the processors 314 and 344. have.
  • the computing device 310 and the information processing system 220 may include more components than those of FIG. 3 . However, there is no need to clearly show most of the prior art components. According to an embodiment, the computing device 310 may be implemented to include at least a portion of the above-described input/output device 320 . In addition, the computing device 310 includes a global positioning system (GPS) module, a 2D and 3D lidar (LiDAR) sensor, a wheel encoder, an Inertial Measurement Unit (IMU), a transceiver, various sensors, a database, and the like. The same may further include other components.
  • GPS global positioning system
  • LiDAR 2D and 3D lidar
  • IMU Inertial Measurement Unit
  • the processor 314 of the computing device 310 may be configured to detect a feature point from an image and extract a visual feature descriptor of the detected feature point.
  • a program code associated therewith may be loaded into the memory 312 of the computing device 310 . While the program code is being executed, the processor 314 of the computing device 310 receives information and/or data provided from the input/output device 320 via the input/output interface 318 or via the communication module 316 to the information processing system. Information and/or data may be received from 220 , and the received information and/or data may be processed and stored in memory 312 . In addition, such information and/or data may be provided to the information processing system 220 through the communication module 316 .
  • the processor 314 may receive an image, image, input or selected text, etc. through an input device such as an image sensor, a lidar sensor, a GPS module, an IMU sensor, a touch screen, a keyboard, and an audio sensor connected to the input/output interface 318 .
  • the received image, 3D point cloud data, location information, vehicle posture information (or image shooting direction information), text, etc. are stored in the memory 312 or information is processed through the communication module 316 and the network 330 . may be provided to the system 220 .
  • the processor 314 transmits the captured image, 3D point cloud data, location information, and vehicle posture information (or image capturing direction information) received through the input device through the network 330 and the communication module 316 .
  • the processor 314 may detect a feature point from the captured image, extract a visual feature descriptor associated with the detected feature point, a three-dimensional coordinate value, image capturing direction information, and the like, and provide it to the information processing system 220 . .
  • the processor 344 of the information processing system 220 may be configured to manage, process, and/or store information and/or data received from a plurality of computing devices and/or a plurality of external systems.
  • the processor 344 may generate a map database (eg, a visual feature map) based on data received from the computing device 310 . Additionally or alternatively, the processor 344 may transmit a map database or the like to the computing device 310 .
  • the image 400 may be an image 400 in which an MMS vehicle (eg, 210 in FIG. 2 ) or a vehicle (eg, 230 in FIG. 2 ) is photographed in a forward direction while driving on a road.
  • the MMS vehicle or the processor of the vehicle may detect feature points from the image 400 .
  • the feature points may be displayed as dots on the image 400 .
  • the processor may extract a visual feature descriptor of each feature point.
  • the visual feature descriptor may be a 128-dimensional vector representing visual information (eg, low-level information) around the feature point.
  • the processor may detect only the feature points having an identification score greater than or equal to a preset threshold. Additionally or alternatively, the processor may detect only feature points located within a preset distance.
  • An MMS vehicle that collects data for generating a map and a vehicle requiring position/position estimation may be configured to detect feature points in the same or similar manner and extract visual feature descriptors of the feature points. For example, the MMS vehicle may detect feature points located within a preset distance while having an identification score greater than or equal to a preset threshold.
  • the vehicle requiring position/posture estimation is not equipped with an expensive sensor such as a lidar sensor, it is possible to detect a feature point having an identification score greater than or equal to a preset threshold. By detecting the feature points in the above manner, only useful feature points differentiated from other feature points can be used for map generation and/or vehicle position/position estimation.
  • the local map generation method 500 may be performed by an MMS vehicle (eg, a processor of the MMS vehicle). In another embodiment, the local map generation method 500 may be performed by an information processing system (eg, a processor of the information processing system). In another embodiment, the information processing system and the MMS vehicle may perform the steps of the local map generation method 500 separately.
  • the local map generation method 500 may be initiated by the processor receiving the first image and the second image ( S510 ).
  • the processor may receive an image from an image sensor.
  • the processor may receive an image from an external device through the communication module.
  • the first image and the second image may be images taken sequentially while driving the MMS vehicle.
  • the processor may also receive photographing direction information of each image.
  • the photographing direction information of the image is vehicle posture information, and may be expressed as a roll, a pitch, and a yaw value.
  • the processor may detect a first set of feature points and a second set of feature points from the first image and the second image, respectively ( S520 ).
  • the processor may detect a plurality of feature points from the first image, and identify feature points located within a preset distance from among the plurality of detected feature points. Additionally or alternatively, the processor may detect a plurality of feature points from the first image, calculate an identity score of each of the detected feature points, and identify feature points having an identity score greater than or equal to a preset threshold among the plurality of feature points. .
  • the second set of feature points may be detected in the same manner as the first set of feature points.
  • the processor may extract a visual feature descriptor of each feature point of the first set and a visual feature descriptor of each feature point of the second set ( S530 ).
  • the processor may receive a first set of 3D point cloud data associated with a location where the first image was captured, and receive a second set of 3D point cloud data associated with a location where the second image was captured ( S540 ).
  • the 3D point cloud data of the first set and the second set may include 3D coordinate values of a surface of an object around a location where the first image and the second image are captured, respectively.
  • the processor uses a 2D LiDAR sensor to obtain geometric information of a road surface around a location where each image was taken, and uses a 3D LiDAR sensor to obtain geometric information of a non-road area around a location where each image was taken can be obtained.
  • the processor may determine a 3D coordinate value of each of the feature points of the first set and the second set ( S550 ). For example, the processor projects a first set of three-dimensional point cloud data associated with the first image on a first image in which the first set of feature points are detected, and a three-dimensional coordinate value of each of the first set of feature points can be decided. For example, the processor may determine the coordinate value of each feature point based on the coordinate value of the point cloud data projected onto each feature point. For example, if a first point of the point cloud data is projected onto the first feature point, the processor may determine the coordinate value of the first feature point as the coordinate value of the first point. The processor may determine the three-dimensional coordinate value of each feature point of the second set in the same manner as the feature point of the first set.
  • the processor may perform feature matching by comparing the visual feature descriptors of the first set of feature points with the visual feature descriptors of the second set of feature points ( S560 ).
  • the visual feature descriptors of the two feature points must have the highest similarity, and the similarity must be higher than the degree of similarity with other feature points by at least a predetermined difference. For example, if the similarity between the visual feature descriptors of the feature point A and the feature point B is 0.9, and the similarity between the visual feature descriptors of the feature point A and C is the second highest, 0.4, the similarity between the feature point A and the feature point B is the highest.
  • the processor may determine that feature point A and feature point B have succeeded in feature matching.
  • a predetermined difference eg, 0.4
  • the processor may determine that feature point A and feature point B have failed feature matching.
  • the processor may generate a local map (eg, an initial local map) including feature points that have succeeded in feature matching among the second set of feature points ( S570 ). Specifically, the processor receives the photographing direction information of the second image, associates the visual feature descriptor, the three-dimensional coordinate value, and the photographing direction information for each of the characteristic points that succeeded in characteristic matching among the characteristic points of the second set, and stores it in the local map.
  • the visual feature descriptor extracted from the image varies depending on the image capturing direction, by associating the visual feature descriptor with the capturing direction information and storing it in a local map, it is possible to increase the accuracy of estimating the vehicle position/posture in the future.
  • FIG. 5 after the processor receives the first image and the second image, it is illustrated that the feature points of each image are detected, the visual feature descriptors of the feature points are extracted, and the three-dimensional coordinate value of each feature point is determined, but limited thereto. doesn't happen For example, after the processor receives the first image, detects feature points from the first image, extracts visual feature descriptors of the feature points, and determines a three-dimensional coordinate value of each feature point, receives the second image, 2 It is possible to detect feature points from the image, extract visual feature descriptors of the feature points, and determine a three-dimensional coordinate value of each feature point.
  • FIG. 6 is a flowchart illustrating a method 600 of updating a local map according to an embodiment of the present disclosure.
  • the method 600 of updating the local map may be initiated by the processor receiving the third image ( S610 ).
  • the third image may be a subsequent image of the first image and the second image.
  • the processor may also receive information about the shooting direction of the third image.
  • the processor may detect a third set of feature points from the third image ( S620 ). Also, the processor may extract a visual feature descriptor of each of the feature points of the third set ( S630 ). In this case, the processor detects a third set of feature points from the third image in the same way as detecting the feature points from the first and second images and extracting the visual feature descriptors, and extracts the visual feature descriptors of each of the third set of feature points can do.
  • the processor may receive a third set of 3D point cloud data associated with a location where the third image was captured ( S640 ).
  • the third set of 3D point cloud data may include 3D coordinate values of a surface of an object around a location where the third image was captured.
  • the processor may determine a three-dimensional coordinate value of each feature point of the third set ( S650 ).
  • the processor projects the third set of three-dimensional point cloud data associated with the third image on the third image in which the third set of feature points are detected, and the three-dimensional coordinate value of each of the third set of feature points can be decided
  • the processor may perform feature matching by comparing the visual feature descriptors of the feature point of the third set with the visual feature descriptors of the feature points in the pre-generated local map (eg, the initial local map of FIG. 5 ). Based on the result of performing the feature matching, the processor may determine whether each of the feature points of the third set succeeds in feature matching with the feature points in the local map ( S660 ). The processor may update the feature points in the local map based on the feature points that have succeeded in feature matching among the feature points of the third set ( S670 ). Here, updating the feature point in the local map may mean updating information related to the feature point stored in the local map.
  • the processor may update the local map by calculating an average value of visual feature descriptors of a pair of feature points that have succeeded in feature matching. Additionally, the processor may update the local map by calculating an average value of photographing direction information of a pair of feature points that have succeeded in feature matching. Alternatively, the processor may associate photographing direction information of a feature point pair that has succeeded in feature matching and store it together in a local map.
  • the processor is configured to: Visual feature descriptors of feature points that fail to match the feature point in the local map among the feature points of the third set and visual feature descriptors of the immediately preceding image (eg, the visual feature of the feature point of the second set of the second image) descriptors) to perform feature matching, and to determine whether feature matching succeeds (S680).
  • the processor may add feature points that have succeeded in feature matching to the local map ( S690 ).
  • a visual feature descriptor, a three-dimensional coordinate value, and photographing direction information may be associated with each of the feature points that have succeeded in feature matching and stored in the local map. Feature points newly added to the local map through feature matching can be used for feature matching with subsequent images.
  • the processor may sequentially receive and process images captured by the MMS vehicle while driving in an area requiring map generation. Specifically, the processor generates a local map based on the received feature matching 722 between the current image 720 and the local map 730 and the feature matching 724 between the current image 720 and the immediately preceding image 710 . 730 may be updated or a new feature point may be added to the local map 730 . Also, the global map 740 may be generated by using the trackable feature points 732 among the feature points included in the local map 730 .
  • the processor may detect feature points from the current image 720 , extract a visual feature descriptor of each feature point, and determine a 3D coordinate value of each feature point. Also, the processor may receive photographing direction information of the current image 720 . Thereafter, the processor may perform feature matching 722 by comparing the visual feature descriptors of the feature points of the current image 720 with the visual feature descriptors of the feature points included in the local map 730 .
  • the processor may update the local map 730 based on the feature points that have succeeded in feature matching 722 among the feature points of the current image 720 . For example, if the feature point A of the current image 720 and the feature point B in the local map 730 succeed in feature matching 722 , the processor determines the pair of features (feature point A and feature point B) that succeeded in feature matching 722 . An average value of the visual feature descriptors may be calculated, and the visual feature descriptor of the feature point B in the local map 730 may be updated with the calculated average value.
  • the processor calculates an average value of photographing direction information of a feature point pair (feature point A and feature point B) that has succeeded in feature matching 722, and updates the photographing direction information of feature point B in the local map 730 to the calculated average value.
  • the processor may store the photographing direction information of the feature point A of the current image 720 that has succeeded in the feature matching 722 in association with the photographing direction information of the feature point B in the local map 730 .
  • the processor may perform feature matching 724 between feature points that fail feature matching 722 among the feature points of the current image 720 and feature points of the immediately preceding image 710 .
  • the processor may compare the visual feature descriptors of the feature points of the current image 720 , which fail the feature matching 722 , with the visual feature descriptors of the feature points of the immediately preceding image 710 .
  • the processor may add the feature points that have succeeded in feature matching 724 to the local map 730 .
  • one or more feature points that have succeeded in feature matching 724 may be stored in the local map 730 by associating them with each visual feature descriptor, three-dimensional coordinate value, and shooting direction information. have.
  • the processor may repeatedly perform the above-described processing on images that are continuously received. Accordingly, the feature points included in the local map 730 may be continuously updated, or a new feature point may be added to the local map 730 . In this process, the processor may remove from the local map 730 a feature point that fails to match a feature a predetermined number of times (eg, 10 times) or more among the feature points included in the local map 730 . For example, a feature point in the local map 730 that fails feature matching with respect to 10 received images may be removed.
  • a predetermined number of times eg, 10 times
  • the processor may generate the global map 740 based on a feature point that has succeeded in feature matching more than a predetermined number of times (eg, 10 times) among the feature points included in the local map 730 .
  • a feature point in the local map 730 that has succeeded in feature matching with respect to 10 received images may be added to the global map 740 as a trackable feature point 732 .
  • the number of successes or failures in feature matching may be counted continuously or discontinuously.
  • the processor may remove feature points in the local map 730 or add them to the global map 740 based on a predetermined ratio (eg, 50% or more of 20 images) rather than a predetermined number of times. have.
  • the finally generated global map 740 may be used as a visual feature map.
  • the local map 730 can include only feature points suitable for feature matching, and by adding only feature points trackable in the local map 730 to the global map 740, a visual feature map can be created with a very small capacity. can create That is, by removing most of the information unnecessary for position estimation and generating a visual feature map with minimal visual information (visual feature descriptor) and geometric information (three-dimensional coordinate values) necessary for position estimation, a large-scale space with a very small capacity can represent a map of
  • FIG. 8 is an example visually illustrating a 3D point cloud map 810 and a visual feature map 820 generated according to an embodiment of the present disclosure.
  • the processor may acquire 3D point cloud data around the MMS vehicle driving by using the lidar sensor.
  • the processor may receive precise location information of the MMS vehicle using an expensive high-precision GPS module, an IMU sensor, or the like, and assign a 3D coordinate value to 3D point cloud data obtained using the lidar sensor.
  • the 3D point cloud map 810 is an example in which 3D coordinate values of points in 3D point cloud data of an area in which the MMS vehicle travels are expressed in the UTM coordinate system.
  • the 3D point cloud map 810 may include all 3D point cloud data extracted from road areas and non-road areas around the MMS vehicle.
  • the visual feature map 820 is an example of a global map generated according to the method of FIGS. 5 to 7 . That is, it is an example in which the MMS vehicle detects feature points from images sequentially photographed while driving on a road, and displays the three-dimensional coordinate values of the trackable feature points among the detected feature points in the UTM coordinate system. No matter how many 3D point cloud data and visual feature descriptors are included in the visual feature map 820 , it is impossible to accurately estimate the location of the vehicle unless it is uniquely matched during feature matching. Accordingly, it is preferable to generate the visual feature map 820 using only traceable feature points that are identifiable and that are robust to changes in viewpoint. Each point in the visual feature map 820 may include an associated visual feature descriptor, a three-dimensional coordinate value, and photographing direction information.
  • a map representing a large-scale space with minimal information is generated.
  • the generated visual feature map 820 has a relatively low amount of data compared to the geometric information map, a map of a large space in a city unit can be stored in an autonomous driving vehicle or the like without separate communication.
  • a relatively inexpensive autonomous driving platform can be provided because the precise location and posture of the vehicle can be estimated based on the image captured by the vehicle by using the visual feature map 820 stored in advance in the vehicle.
  • the vehicle 910 is a diagram illustrating an example of estimating the position and posture of the vehicle 910 according to an embodiment of the present disclosure.
  • the vehicle 910 may be a general passenger car that is not equipped with an expensive, high-precision GPS module mounted on the MMS vehicle (eg, 210 of FIG. 2 ).
  • the vehicle 910 may be any vehicle 910 equipped with an image sensor for image capturing, and may optionally include a low-cost GPS module.
  • the vehicle 910 may receive a visual feature map from an external device (eg, a map server). At this time, the vehicle 910 may receive a part of the visual feature map (eg, map data around the vehicle 910 ) based on the approximate location information of the vehicle 910 received from the low-cost GPS module. have. For example, when the visual feature map is a set of map data representing a range of 20 m * 20 m, the vehicle 910 may receive map data within a radius of about 150 m based on the approximate location information.
  • vehicle 910 may use a visual feature map pre-stored in its internal memory.
  • the vehicle 910 may use some of the pre-stored visual feature maps for location/posture estimation based on the approximate location information of the vehicle 910 received from the low-cost GPS module.
  • the vehicle 910 may take an image while driving on a road. Thereafter, the vehicle 910 may detect feature points from the captured image and extract visual feature descriptors of the detected feature points. In this case, the vehicle 910 may detect the feature point and extract the visual feature descriptor using the same method used to generate the visual feature map.
  • the vehicle 910 may estimate the current position and posture of the vehicle 910 by comparing the visual feature descriptors of the feature points included in the visual feature map with the visual feature descriptors of the feature points detected from the image. In an embodiment, the vehicle 910 identifies a pair of similar visual feature descriptors among visual feature descriptors included in the visual feature map and visual feature descriptors extracted from the captured image, and when a sufficient number of pairs are identified, EPnP (Efficient)
  • the position and attitude of the vehicle 910 may be estimated using a perspective-n-point algorithm or the like. In this case, a three-dimensional coordinate value in a visual feature map associated with a pair of similar visual feature descriptors, photographing direction information, and the like may be used.
  • the vehicle 910 performs position/posture estimation using only the feature points detected from the image captured in a direction similar to the current image capturing direction of the vehicle 910 among the feature points included in the visual feature map.
  • the vehicle 910 estimates current image capturing direction information based on a change in approximate location information received from a low-cost GPS module, and visualizes feature points having the same/similar capturing direction information as the corresponding capturing direction information.
  • the image capturing direction information of the vehicle 910 may be estimated based on existing movement information of the vehicle 910 on the premise that the vehicle 910 moves according to a physical law. Through such a configuration, the accuracy of estimating the position and posture of the vehicle 910 can be greatly improved.
  • the vehicle 910 detects feature points from the captured image, extracts visual feature descriptors of the detected feature points, and compares them with visual feature descriptors in the visual feature map, but is not limited thereto.
  • the vehicle 910 transmits a photographed image to an external device (eg, an information processing system such as 220 in FIG. 2 ), the external device detects feature points in the received image, and
  • the position and posture of the vehicle 910 may be estimated by extracting visual feature descriptors.
  • the vehicle 910 may continuously capture images while driving and continuously perform position/position estimation.
  • the position/posture estimation method 1000 may be performed by a vehicle (eg, a processor of the vehicle). In another embodiment, the position/posture estimation method 1000 may be performed by an information processing system (eg, a processor of the information processing system). In another embodiment, the information processing system and the vehicle may separately perform the steps of the method 1000 for estimating position/position.
  • a vehicle eg, a processor of the vehicle
  • an information processing system e.g, a processor of the information processing system
  • the information processing system and the vehicle may separately perform the steps of the method 1000 for estimating position/position.
  • the position/posture estimation method 1000 may be initiated when the processor receives an image (S1010).
  • the processor may receive an image from an image sensor.
  • the image may be an image captured while the vehicle is driving.
  • the processor may detect a first set of feature points from the image (S1020). In an embodiment, the processor detects a plurality of feature points from the image, calculates an identification score of each of the detected plurality of characteristic points, and then identifies the characteristic points having an identification score greater than or equal to a preset threshold among the plurality of characteristic points to form the first set of feature points can be detected. Also, the processor may extract a visual feature descriptor of each of the first set of feature points ( S1030 ). In this case, the processor may detect the feature points in the image in the same manner as used to generate the visual feature map, and extract visual feature descriptors of the feature points.
  • the processor may receive the pre-stored second set of feature points (eg, feature points in the pre-stored visual feature map) ( S1040 ).
  • each of the second set of feature points may include an associated visual feature descriptor, a three-dimensional coordinate value, photographing direction information, and the like.
  • the processor may receive coarse location information in which an image was captured, and estimate the coarse location information in which the image was captured.
  • the approximate image capturing direction information may be estimated based on a change in the approximate position information received from the GPS module during a predetermined time period before capturing an image.
  • the processor may extract the second set of feature points from the visual feature map including the third set of feature points based on the approximate location information and the approximate photographing direction information.
  • each of the feature points of the third set may include an associated visual feature descriptor, a three-dimensional coordinate value, and photographing direction information.
  • the processor may perform feature matching by comparing the visual feature descriptors of the first set of feature points with the visual feature descriptors of the second set of feature points ( S1050 ). As a result of the feature matching, the processor can estimate precise location information and precise shooting direction information of the image based on the three-dimensional coordinate values associated with the feature points that have succeeded in feature matching among the feature points of the second set. There is (S1060). In another embodiment, the processor may estimate precise location information of an image and precise photographing direction information of the image based on the three-dimensional coordinate value and photographing direction information associated with the characteristic points that have succeeded in characteristic matching among the second set of characteristic points. have.
  • the above-described method for generating a visual feature map and a method for estimating position/position may be provided as a computer program stored in a computer-readable recording medium for execution by a computer.
  • the medium may continuously store a computer executable program, or may be a temporary storage for execution or download.
  • the medium may be various recording means or storage means in the form of a single or several hardware combined, it is not limited to a medium directly connected to any computer system, and may exist distributedly on a network.
  • examples of the medium include a hard disk, a magnetic medium such as a floppy disk and a magnetic tape, an optical recording medium such as CD-ROM and DVD, a magneto-optical medium such as a floppy disk, and those configured to store program instructions, including ROM, RAM, flash memory, and the like.
  • examples of other media may include recording media or storage media managed by an app store for distributing applications, sites supplying or distributing other various software, and servers.
  • the processing units used to perform the techniques include one or more ASICs, DSPs, digital signal processing devices (DSPDs), programmable logic devices (PLDs). ), field programmable gate arrays (FPGAs), processors, controllers, microcontrollers, microprocessors, electronic devices, and other electronic units designed to perform the functions described in this disclosure. , a computer, or a combination thereof.
  • a general purpose processor may be a microprocessor, but in the alternative, the processor may be any conventional processor, controller, microcontroller, or state machine.
  • a processor may also be implemented as a combination of computing devices, eg, a combination of a DSP and a microprocessor, a plurality of microprocessors, one or more microprocessors in conjunction with a DSP core, or any other configuration.
  • the techniques may include random access memory (RAM), read-only memory (ROM), non-volatile random access memory (NVRAM), PROM (on computer readable media such as programmable read-only memory), erasable programmable read-only memory (EPROM), electrically erasable PROM (EEPROM), flash memory, compact disc (CD), magnetic or optical data storage devices, etc. It may be implemented as stored instructions. The instructions may be executable by one or more processors, and may cause the processor(s) to perform certain aspects of the functionality described in this disclosure.
  • aspects of the subject matter in this disclosure may be implemented in a plurality of processing chips or devices, and storage may be similarly affected across the plurality of devices.
  • Such devices may include PCs, network servers, and portable devices.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Navigation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 개시는 시각 특징 맵 생성 방법에 관한 것이다. 일 예의 시각 특징 맵 생성 방법은, 제1 이미지를 수신하는 단계, 제1 이미지로부터 제1 세트의 특징점을 검출하는 단계, 제1 세트의 특징점 각각의 시각 특징 기술자를 추출하는 단계, 제1 이미지가 촬영된 위치와 연관된 제1 세트의 3차원 점군 데이터를 수신하는 단계 및 제1 세트의 3차원 점군 데이터를 이용하여 제1 세트의 특징점 각각의 3차원 좌표값을 결정하는 단계를 포함한다.

Description

시각 특징 맵 생성 방법 및 시스템
본 개시는 시각 특징 맵 생성 방법 및 시스템에 관한 것으로, 구체적으로 시각 정보와 기하 정보를 포함하는 시각 특징 맵 생성 방법 및 시스템에 관한 것이다.
최근 차량의 위치에 기반하여 서비스를 제공하는 사업 모델이 늘어나고 있다. 대표적으로, 차량 네비게이션 서비스가 제공되고 있으며, 서비스 사용자가 꾸준히 증가하고 있다. 이러한 서비스에서 차량의 위치를 정확하게 파악하는 것이 중요하다. 특히, 자율 주행 자동차의 도입으로 차량의 위치 추정 기술의 정확도를 높이기 위한 연구가 활발히 진행되고 있다.
이러한 환경에서 정밀한 위치 추정은 주로 라이다(LiDAR) 센서, 레이더(RADAR) 센서, 고정밀 GPS 모듈, IMU 센서 등의 고가의 장비가 요구되는 문제가 있다. 이러한 고가의 센서는 자율 주행 자동차의 대중화에 걸림돌이 되고 있다. 따라서, 고가의 센서에 대한 의존도를 낮추고, 차량의 위치를 높은 정확도로 추정할 수 있는 기술이 요구된다.
본 개시는 상기와 같은 문제점을 해결하기 위한 시각 특징 맵 생성 방법, 기록 매체에 저장된 컴퓨터 프로그램 및 장치(시스템)를 제공한다. 또한, 카메라로 촬영한 이미지를 이용하여 차량의 위치 및 자세를 인식할 수 있는 위치 추정 방법 및 장치(시스템)가 제공된다.
본 개시는 방법, 장치(시스템) 또는 판독 가능 저장 매체에 저장된 컴퓨터 프로그램을 포함한 다양한 방식으로 구현될 수 있다.
본 개시의 일 실시예에 따르면, 적어도 하나의 프로세서에 의해 수행되는 시각 특징 맵 생성 방법은 제1 이미지를 수신하는 단계, 제1 이미지로부터 제1 세트의 특징점을 검출하는 단계, 제1 세트의 특징점 각각의 시각 특징 기술자를 추출하는 단계, 제1 이미지가 촬영된 위치와 연관된 제1 세트의 3차원 점군 데이터를 수신하는 단계 및 제1 세트의 3차원 점군 데이터를 이용하여 제1 세트의 특징점 각각의 3차원 좌표값을 결정하는 단계를 포함한다.
본 개시의 일 실시예에 따른 상술한 시각 특징 맵 생성 방법을 컴퓨터에서 실행하기 위해 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램이 제공된다.
본 개시의 일 실시예에 따른 시각 특징 맵 생성 시스템은, 메모리 및 메모리와 연결되고, 메모리에 포함된 컴퓨터 판독 가능한 적어도 하나의 프로그램을 실행하도록 구성된 적어도 하나의 프로세서를 포함한다. 적어도 하나의 프로그램은, 제1 이미지를 수신하고, 제1 이미지로부터 제1 세트의 특징점을 검출하고, 제1 세트의 특징점 각각의 시각 특징 기술자를 추출하고, 제1 이미지가 촬영된 위치와 연관된 제1 세트의 3차원 점군 데이터를 수신하고, 제1 세트의 3차원 점군 데이터를 이용하여 제1 세트의 특징점 각각의 3차원 좌표값을 결정하기 위한 명령어들을 포함한다.
본 개시의 일 실시예에 따르면, 적어도 하나의 프로세서에 의해 수행되는 위치 추정 방법은 이미지를 수신하는 단계, 이미지로부터 제1 세트의 특징점을 검출하는 단계, 제1 세트의 특징점 각각의 시각 특징 기술자를 추출하는 단계, 미리 저장된 제2 세트의 특징점을 수신하는 단계 - 제2 세트의 특징점 각각은 연관된 시각 특징 기술자 및 3차원 좌표값을 포함하거나, 연관된 시각 특징 기술자, 3차원 좌표값 및 촬영 방향 정보를 포함함 -, 제1 세트의 특징점의 시각 특징 기술자들과 제2 세트의 특징점의 시각 특징 기술자들을 비교하여 특징 매칭을 수행하는 단계 및 제2 세트의 특징점 중 특징 매칭에 성공한 특징점들과 연관된 3차원 좌표값, 또는 3차원 좌표값과 촬영 방향 정보에 기초하여 이미지가 촬영된 정밀한 위치 정보 및 이미지의 정밀한 촬영 방향 정보를 추정하는 단계를 포함한다.
본 개시의 일 실시예에 따른 상술한 위치 추정 방법을 컴퓨터에서 실행하기 위해 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램이 제공된다.
본 개시의 일 실시예에 따른 컴퓨팅 장치는, 메모리 및 메모리와 연결되고, 메모리에 포함된 컴퓨터 판독 가능한 적어도 하나의 프로그램을 실행하도록 구성된 적어도 하나의 프로세서를 포함한다. 적어도 하나의 프로그램은, 이미지를 수신하고, 이미지로부터 제1 세트의 특징점을 검출하고, 제1 세트의 특징점 각각의 시각 특징 기술자를 추출하고, 미리 저장된 제2 세트의 특징점을 수신하고 - 제2 세트의 특징점 각각은 연관된 시각 특징 기술자 및 3차원 좌표값을 포함하거나, 연관된 시각 특징 기술자, 3차원 좌표값 및 촬영 방향 정보를 포함함 -, 제1 세트의 특징점의 시각 특징 기술자들과 제2 세트의 특징점의 시각 특징 기술자들을 비교하여 특징 매칭을 수행하고, 제2 세트의 특징점 중 특징 매칭에 성공한 특징점들과 연관된 3차원 좌표값, 또는 3차원 좌표값과 촬영 방향 정보에 기초하여 이미지가 촬영된 정밀한 위치 정보 및 이미지의 정밀한 촬영 방향 정보를 추정하기 위한 명령어들을 포함한다.
본 개시의 다양한 실시예에서는 추후 차량 위치 추정 과정에서 쓰이지 않고 방해가 되는 정보를 제거하고 시각 특징 맵을 생성할 수 있다.
본 개시의 다양한 실시예에서는 위치 추정에 불필요한 대부분의 정보를 제거하고, 위치 인식에 필요한 최소한의 시각 정보(시각 특징 기술자)와 기하 정보(3차원 좌표값)를 가진 시각 특징 맵을 생성함으로써, 매우 적은 용량으로 대규모 공간의 맵을 표현할 수 있다.
본 개시의 다양한 실시예에서는 시각 특징 맵이 기하 정보 맵에 비해 상대적으로 저용량의 데이터를 포함하므로, 도시 단위의 넓은 공간의 맵을 별도의 통신 없이 자율 주행 차량 등에 저장할 수 있다. 또한, 차량에 미리 저장된 시각 특징 맵을 이용하여, 차량에서 촬영한 이미지만을 이용하여 차량의 정확한 위치와 자세를 추정할 수 있기 때문에 상대적으로 저렴한 자율주행 플랫폼 개발에 기여할 수 있다.
본 개시의 다양한 실시예에서는 이미지에서 추출되는 시각 특징 기술자는 이미지 촬영 방향에 따라 달라지므로, 시각 특징 기술자와 촬영 방향 정보를 연관시켜 국소 맵에 저장함으로써, 추후 차량 위치 추정 과정에서 차량의 자세(또는 이미지 촬영 방향)와 일치하는 특징점들만 이용해 위치/자세 추정을 수행하여 처리 속도와 정확도를 크게 높일 수 있다.
본 개시의 다양한 실시예에서는 차량은 고가의 고정밀 GPS 모듈 없이, 저가의 이미지 센서, 저가 GPS 모듈 등을 이용하여 차량의 현재 위치와 자세를 높은 정확도로 신속하게 추정할 수 있다.
본 개시의 실시예들은, 이하 설명하는 첨부 도면들을 참조하여 설명될 것이며, 여기서 유사한 참조 번호는 유사한 요소들을 나타내지만, 이에 한정되지는 않는다.
도 1은 본 개시의 일 실시예에 따라 MMS 차량이 LiDAR 센서를 이용하여 3차원 점군 데이터를 획득하는 예시를 나타내는 도면이다.
도 2는 본 개시의 일 실시예에 따라 MMS 차량, 정보 처리 시스템 및 차량 사이에서 지도 생성 및 위치/자세 추정이 수행되는 방법을 나타내는 흐름도이다.
도 3은 본 개시의 일 실시예에 따른 컴퓨팅 장치 및 정보 처리 시스템의 내부 구성을 나타내는 블록도이다.
도 4는 본 개시의 일 실시예에 따라 이미지에서 특징점들을 검출하는 예시를 나타내는 도면이다.
도 5는 본 개시의 일 실시예에 따른 국소 맵 생성 방법의 예시를 나타내는 흐름도이다.
도 6은 본 개시의 일 실시예에 따른 국소 맵을 업데이트하는 방법을 나타내는 흐름도이다.
도 7은 본 개시의 일 실시예에 따라 특징 매칭을 수행하여 전역 맵을 생성하는 예시를 나타내는 도면이다.
도 8은 본 개시의 일 실시예에 따라 생성된 3차원 점군 맵 및 시각 특징 맵을 시각적으로 표시한 예시를 나타내는 도면이다.
도 9는 본 개시의 일 실시예에 따라 차량의 위치 및 자세를 추정하는 예시를 나타내는 도면이다.
도 10은 본 개시의 일 실시예에 따른 예시적인 위치/자세 추정 방법을 나타내는 흐름도이다.
이하, 본 개시의 실시를 위한 구체적인 내용을 첨부된 도면을 참조하여 상세히 설명한다. 다만, 이하의 설명에서는 본 개시의 요지를 불필요하게 흐릴 우려가 있는 경우, 널리 알려진 기능이나 구성에 관한 구체적 설명은 생략하기로 한다.
첨부된 도면에서, 동일하거나 대응하는 구성요소에는 동일한 참조부호가 부여되어 있다. 또한, 이하의 실시예들의 설명에 있어서, 동일하거나 대응되는 구성요소를 중복하여 기술하는 것이 생략될 수 있다. 그러나, 구성요소에 관한 기술이 생략되어도, 그러한 구성요소가 어떤 실시예에 포함되지 않는 것으로 의도되지는 않는다.
개시된 실시예의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 개시는 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 개시가 완전하도록 하고, 본 개시가 통상의 기술자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 개시된 실시예에 대해 구체적으로 설명하기로 한다. 본 명세서에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 관련 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서, 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서에서의 단수의 표현은 문맥상 명백하게 단수인 것으로 특정하지 않는 한, 복수의 표현을 포함한다. 또한, 복수의 표현은 문맥상 명백하게 복수인 것으로 특정하지 않는 한, 단수의 표현을 포함한다. 명세서 전체에서 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.
또한, 명세서에서 사용되는 '모듈' 또는 '부'라는 용어는 소프트웨어 또는 하드웨어 구성요소를 의미하며, '모듈' 또는 '부'는 어떤 역할들을 수행한다. 그렇지만, '모듈' 또는 '부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '모듈' 또는 '부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서, '모듈' 또는 '부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 또는 변수들 중 적어도 하나를 포함할 수 있다. 구성요소들과 '모듈' 또는 '부'들은 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '모듈' 또는 '부'들로 결합되거나 추가적인 구성요소들과 '모듈' 또는 '부'들로 더 분리될 수 있다.
본 개시의 일 실시예에 따르면, '모듈' 또는 '부'는 프로세서 및 메모리로 구현될 수 있다. '프로세서'는 범용 프로세서, 중앙 처리 장치(CPU), 마이크로프로세서, 디지털 신호 프로세서(DSP), 제어기, 마이크로제어기, 상태 머신 등을 포함하도록 넓게 해석되어야 한다. 몇몇 환경에서, '프로세서'는 주문형 반도체(ASIC), 프로그램가능 로직 디바이스(PLD), 필드 프로그램가능 게이트 어레이(FPGA) 등을 지칭할 수도 있다. '프로세서'는, 예를 들어, DSP와 마이크로프로세서의 조합, 복수의 마이크로프로세서들의 조합, DSP 코어와 결합한 하나 이상의 마이크로프로세서들의 조합, 또는 임의의 다른 그러한 구성들의 조합과 같은 처리 디바이스들의 조합을 지칭할 수도 있다. 또한, '메모리'는 전자 정보를 저장 가능한 임의의 전자 컴포넌트를 포함하도록 넓게 해석되어야 한다. '메모리'는 임의 액세스 메모리(RAM), 판독-전용 메모리(ROM), 비-휘발성 임의 액세스 메모리(NVRAM), 프로그램가능 판독-전용 메모리(PROM), 소거-프로그램가능 판독 전용 메모리(EPROM), 전기적으로 소거가능 PROM(EEPROM), 플래쉬 메모리, 자기 또는 광학 데이터 저장장치, 레지스터들 등과 같은 프로세서-판독가능 매체의 다양한 유형들을 지칭할 수도 있다. 프로세서가 메모리로부터 정보를 판독하고/하거나 메모리에 정보를 기록할 수 있다면 메모리는 프로세서와 전자 통신 상태에 있다고 불린다. 프로세서에 집적된 메모리는 프로세서와 전자 통신 상태에 있다.
본 개시에서 '3차원 점군 데이터(3D point cloud data)'는 라이다(LiDAR) 센서 등을 이용하여 객체의 표면으로부터 획득된 3차원 데이터일 수 있다. 일 실시예에서, 3차원 점군 데이터 내의 각 점은 연관된 3차원 좌표값을 가질 수 있다. 예를 들어, 3차원 좌표값은 UTM 좌표계로 표현될 수 있다.
본 개시에서 '식별성 점수(distinctiveness score)'는 특징점(keypoint)의 시각 특징 기술자가 다른 특징점과 차별화되는 정도를 나타내는 대한 점수일 수 있다. 일 실시예에서, 미리 생성된 딥러닝 모델을 이용하여 특징점의 식별성 점수를 산출할 수 있다. 예를 들어, 도로 표면, 하늘 등과 같이 도로 주행 중에 등장 빈도가 높은 객체에 낮은 식별성 점수가 부여되고, 도로 표지판, 도로 레이아웃 등과 같이 도로 주행 중에 등장 빈도가 낮은 객체에 높은 식별성 점수가 부여될 수 있다.
본 개시에서 '국소 맵(local map)'은 MMS 차량이 촬영한 이미지들로부터 추출된 특징점들 중 특징 매칭에 성공한 특징점들에 기초하여 생성되는 시각 특징 맵을 지칭할 수 있다. 일 실시예에서, 국소 맵은 MMS 차량이 연속적으로 촬영하는 이미지들로부터 추출되는 특징점들에 기초하여 업데이트될 수 있다.
본 개시에서 '전역 맵'은 국소 맵에 포함된 특징점 중 미리 정해진 횟수 이상 특징 매칭에 성공한 특징점들에 기초하여 생성되는 시각 특징 맵을 지칭할 수 있다. 일 실시예에서, 전역 맵은 국소 맵에 포함된 특징점 중 미리 정해진 비율 이상 특징 매칭에 성공한 특징점들에 기초하여 생성될 수 있다.
도 1은 본 개시의 일 실시예에 따라 MMS(Mobile Mapping System) 차량(110)이 LiDAR(Light Detection And Ranging) 센서(120)를 이용하여 3차원 점군 데이터(3D point cloud data)를 획득하는 예시를 나타내는 도면이다. 일 실시예에서, MMS 차량(110)은 지도 생성이 필요한 영역을 주행하며 라이다 센서(120)를 이용하여 차량 주변(전방, 후방, 측면 등)의 기하 정보(예를 들어, 3차원 점군 데이터)를 획득할 수 있다. 이 경우, MMS 차량(110)은 고가의 고정밀 GPS 모듈(미도시), IMU(Inertial Measurement Unit) 센서(미도시) 등을 이용하여 MMS 차량(110)의 정밀한 위치 정보(fine location information)를 수신하고, 3차원 점군 데이터 내의 각 점에 3차원 좌표값을 부여할 수 있다. 예를 들어, 3차원 점군 데이터 내의 점들의 3차원 좌표값은 UTM(Universal Transverse Mercator) 좌표계로 표현될 수 있다.
일 실시예에서, 라이다(LiDAR) 센서(120)는 다양한 종류의 라이다 센서를 포함할 수 있다. 예를 들어, MMS 차량(110)은 2D 라이다 센서(들)를 이용하여 도로 표면(130)의 기하 정보를 획득하고, 3D 라이다 센서(들)를 이용하여 도로 표지판(140), 건물(150), 식물(160) 등의 비도로 영역(즉, 도로 이외의 영역)의 기하 정보를 획득할 수 있다. 이를 위해, MMS 차량(110)은 미리 저장된 도로 정보를 이용하여 주위의 도로 영역과 비도로 영역을 구분할 수 있다. 예를 들어, 도로 정보는 항공 사진에서 추출된 정보일 수 있다.
추가적으로, MMS 차량(110)은 지도 생성이 필요한 영역을 주행하며 이미지 센서(미도시)를 이용하여 이미지를 연속적으로 촬영할 수 있다. MMS 차량(110)은 촬영되는 각 이미지로부터 특징점들을 검출하고, 검출된 각 특징점의 시각 특징 기술자(visual feature descriptor)를 추출할 수 있다. 예를 들어, 특징점은 촬영된 이미지에 포함된 픽셀들의 밝기 정보, 밝기 정보의 그라디언트(gradient), 에지(edge) 정보, 코너(corner) 정보, 블랍(blob) 정보, 색 정보 등과 같은 로우 레벨(low-level) 정보에 기초하여 검출될 수 있다. 이 경우, 특징점의 주위 영역 내의 로우 레벨 이미지 정보에 기초하여 해당 특징점의 시각 특징 기술자를 추출할 수 있다. 특징점의 위치는 3차원 좌표로 표현될 수 있고, 시각 특징 기술자는 3차원 이상의 벡터로 표현될 수 있다. 예컨대 시각 특징 기술자는 64차원이나 128차원의 벡터로 표현될 수 있다.
일 실시예에서, MMS 차량(110)은 딥러닝 모델을 이용하여 미리 설정된 임계치 이상의 식별성 점수(distinctiveness score)를 가지는 특징점만 사용하도록 구성될 수 있다. 여기서, 식별성 점수는 해당 특징점의 시각 특징 기술자가 다른 특징점과 차별화되는 정도에 대한 점수를 딥러닝 모델이 입력 이미지로부터 예측한 값이다. 예를 들어, 도로 표면(130), 건물(150), 하늘(170) 등과 같이 도로 주행 중에 등장 빈도가 높은 객체에 낮은 식별성 점수가 부여되고, 도로 표지판(140), 도로 레이아웃 등과 같이 도로 주행 중에 등장 빈도가 낮은 객체에 높은 식별성 점수가 부여될 수 있다. 이와 같은 구성에 의해, 다른 특징점들과 특징 매칭을 수행하지 않고도 특징점이 유용한지 알 수 있고, 추후 차량 위치 추정 과정(예, localization)에서 쓰이지 않고 방해가 되는 정보를 제거할 수 있다.
촬영된 이미지로부터 특징점을 검출한 후, MMS 차량(110)은 라이다 센서(120) 등을 이용하여 획득된 3차원 점군 데이터에 기초하여 추출된 특징점들의 3차원 좌표값을 결정할 수 있다. 일 실시예에서, MMS 차량(110)은 미리 설정된 거리 이내(예를 들어, 150 m 이내)에 위치하는 특징점만 사용하도록 구성될 수 있다. MMS 차량(110)과의 거리가 멀면 3차원 좌표값의 오차가 크고, 영상의 해상력이 떨어지며, 추출된 시각 특징 기술자가 너무 넓은 영역을 기술하게 되어 정확도가 떨어질 수 있다. 따라서, MMS 차량(110)은 이미지 센서와 추출된 특징점 사이의 거리를 산출하고, 먼 거리의 특징점을 제외할 수 있다.
일 실시예에서, MMS 차량(110)은 이미지를 촬영한 시점의 차량의 자세를 인식할 수 있다. 예를 들어, 고가의 고정밀 GPS 모듈(미도시), IMU 센서(미도시) 등을 이용하여 MMS 차량(110)의 자세를 인식하고, 인식된 자세 정보를 해당 이미지 촬영 방향 정보로 사용할 수 있다. 이 경우, MMS 차량(110)의 자세 정보(또는 촬영 방향 정보)는 롤(Roll), 피치(pitch), 요(yaw) 값으로 표현될 수 있다. 이미지에서 추출되는 시각 특징 기술자는 이미지가 촬영되는 시점에 따라 달라지기 때문에 이미지 촬영 방향 정보를 시각 특징 기술자와 함께 저장하고, 추후 차량 위치 추정 과정에서 차량의 자세(또는 이미지 촬영 방향)와 일치하는 특징점만 이용해 위치 추정을 수행함으로써 처리 속도와 정확도를 크게 높일 수 있다.
각 이미지 별로 추출되는 특징점들은 각각 연관된 시각 특징 기술자, 3차원 좌표값 및 촬영 방향 정보와 함께 저장될 수 있다. 일 실시예에서, MMS 차량(110)이 주행하며 촬영한 이미지들로부터 추출된 특징점들(시각 특징 기술자, 3차원 좌표값 및 촬영 방향 정보 포함)에 기초하여 시각 특징 맵(visual feature map)을 생성할 수 있다. 시각 특징 맵을 생성하는 자세한 방식은 후술된다.
위에서는 MMS 차량(110)이 시각 특징 맵을 생성하는 것으로 설명되었으나 이에 한정되지 않는다. 예를 들어, MMS 차량(110)은 촬영된 이미지, 획득한 3차원 점군 데이터, GPS로부터 수신한 위치 정보, 촬영 방향 정보 등을 외부 장치(예를 들어, 서버)로 전송하고, 외부 장치가 수신한 데이터에 기초하여 시각 특징 맵을 생성할 수 있다. 또한, 도 1에서는 하나의 MMS 차량(110)이 도시되었으나, 외부 장치는 복수의 MMS 차량(110)으로부터 데이터를 수신하여 시각 특징 맵을 생성할 수도 있다.
도 2는 본 개시의 일 실시예에 따라 MMS 차량(210), 정보 처리 시스템(220) 및 차량(230) 사이에서 지도 생성 및 위치/자세 추정이 수행되는 방법을 나타내는 흐름도이다. 도시된 바와 같이, MMS 차량(210)은 지도 생성이 필요한 영역을 주행(예를 들어, 자율 주행)하며 데이터를 수집할 수 있다(212). 일 실시예에서, 수집된 데이터(214)는 MMS 차량(210)이 도로를 주행하며 획득한 3차원 점군 데이터, 촬영한 이미지, 시간에 따른 MMS 차량(210)의 위치/자세 정보 등을 포함할 수 있다. 다른 실시예에서, 수집된 데이터(214)는 촬영 이미지로부터 검출된 특징점들을 포함할 수 있다. 이 경우, 각 특징점은 연관된 시각 특징 기술자, 3차원 좌표값 및 이미지 촬영 방향 정보를 가질 수 있다. MMS 차량(210)은 수집된 데이터(214)를 실시간으로 또는 주기적으로 정보 처리 시스템(220)으로 전송할 수 있다.
MMS 차량(210)으로부터 수신한 데이터(214)에 기초하여, 정보 처리 시스템(220)은 시각 특징 맵을 생성할 수 있다(222). MMS 차량(210)으로부터 3차원 점군 데이터, 촬영 이미지 및 위치 정보를 수신하는 경우, 정보 처리 시스템(220)은 수신된 이미지로부터 특징점을 검출하고, 각 특징점과 연관된 시각 특징 기술자, 3차원 좌표값, 그리고 이미지 촬영 방향 정보를 추출하여 시각 특징 맵을 생성할 수 있다(222). 대안적으로, MMS 차량(210)으로부터 시각 특징 기술자, 3차원 점군 데이터 및 이미지 촬영 방향 정보를 포함하는 특징점의 세트를 수신하는 경우, 정보 처리 시스템(220)은 수신된 데이터(214)에 기초하여 시각 특징 맵을 생성할 수 있다(222).
일 실시예에서, 차량(230)은 도로 주행 시 현재 위치/자세를 추정하기 위하여 정보 처리 시스템(220)에 맵 요청(232)을 전송할 수 있다. 차량(230)은 MMS 차량(210)에 장착되는 고가의 고정밀 GPS 모듈을 장착하지 않은 일반적인 승용차일 수 있다. 예를 들어, 차량(230)은 이미지 촬영을 위한 이미지 센서를 장착한 임의의 차량(230)일 수 있으며, 저가의 GPS 모듈을 선택적으로 포함할 수 있다.
맵 요청(232)을 수신하는 것에 응답하여, 정보 처리 시스템(220)은 맵 데이터(234)를 차량(230)으로 전송할 수 있다. 일 실시예에서, 정보 처리 시스템(220)은 저장된 전체 맵 데이터(234)를 차량(230)으로 전송할 수 있다. 다른 실시예에서, 맵 요청(232)이 위치 정보를 포함하고, 정보 처리 시스템(220)이 맵 요청(232)에 포함된 위치 정보에 기초하여 전체 맵 데이터(234) 중 일부를 차량(230)으로 전송할 수 있다. 예를 들어, 정보 처리 시스템(220)이 차량(230)의 현재 위치(대략적인 위치) 반경 150 m 내의 맵 데이터(234)를 차량(230)으로 전송할 수 있다.
차량(230)은 도로를 주행하면서 이미지 센서를 이용하여 전방, 후방 등의 주변 이미지를 촬영할 수 있다(236). 이 후, 차량(230)은 시각 특징 맵을 생성할 때 사용된 것과 동일한 방법을 사용하여 촬영된 이미지로부터 특징점들을 검출하고, 검출된 각 특징점의 시각 특징 기술자를 추출할 수 있다. 추출된 시각 특징 기술자를 수신된 맵 데이터(234)에 포함된 특징점들의 시각 특징 기술자들과 비교함으로써, 차량(230)은 정밀한 위치 및 자세를 추정할 수 있다(238). 예를 들어, 차량(230)은 촬영 이미지로부터 추출된 시각 특징 기술자들과 유사한 맵 데이터(234) 내의 시각 특징 기술자들을 식별하고, 식별된 시각 특징 기술자들과 연관된 3차원 좌표값 및 이미지 촬영 방향 정보에 기초하여 차량(230)의 정밀한 위치와 자세를 추정할 수 있다(238).
도 2에서는 차량(230)이 정보 처리 시스템(220)으로부터 맵 데이터(234)를 수신하여 위치/자세 추정을 수행하는 것으로 도시되었으나, 이에 한정되지 않는다. 예를 들어, 차량(230)이 촬영한 이미지를 정보 처리 시스템(220)으로 전송하고, 정보 처리 시스템(220)이 수신한 이미지에 기초하여 차량(230)의 위치/자세를 추정할 수 있다. 이 경우, 정보 처리 시스템(220)은 추정된 위치/자세 정보를 차량(230)으로 전송할 수 있다. 대안적으로, 차량(230)은 정보 처리 시스템(220)으로 맵 요청(232)을 전송하지 않고, 차량(230)에 미리 저장된 맵을 이용하여 현재 위치 및 자세를 추정할 수 있다(238). 상술한 구성에 의해, 차량(230)은 고가의 고정밀 GPS 모듈 없이, 저가의 이미지 센서, 저가 GPS 모듈 등을 이용하여 차량(230)의 현재 위치와 자세를 높은 정확도로 신속하게 추정할 수 있다.
도 3은 본 개시의 일 실시예에 따른 컴퓨팅 장치(310) 및 정보 처리 시스템(220)의 내부 구성을 나타내는 블록도이다. 컴퓨팅 장치(310)는 이미지 처리가 가능하고 유/무선 통신이 가능한 임의의 장치를 지칭할 수 있으며, 예를 들어, 도 2의 MMS 차량(210), 차량(230) 등을 포함할 수 있다. 도시된 바와 같이, 컴퓨팅 장치(310)는 메모리(3 12), 프로세서(314), 통신 모듈(316) 및 입출력 인터페이스(318)를 포함할 수 있다. 이와 유사하게, 정보 처리 시스템(220)은 메모리(342), 프로세서(344), 통신 모듈(346) 및 입출력 인터페이스(348)를 포함할 수 있다. 도 3에 도시된 바와 같이, 컴퓨팅 장치(310) 및 정보 처리 시스템(220)은 각각의 통신 모듈(316, 346)을 이용하여 네트워크(330)를 통해 정보 및/또는 데이터를 통신할 수 있도록 구성될 수 있다. 또한, 입출력 장치(320)는 입출력 인터페이스(318)를 통해 컴퓨팅 장치(310)에 정보 및/또는 데이터를 입력하거나 컴퓨팅 장치(310)로부터 생성된 정보 및/또는 데이터를 출력하도록 구성될 수 있다.
메모리(312, 342)는 비-일시적인 임의의 컴퓨터 판독 가능한 기록매체를 포함할 수 있다. 일 실시예에 따르면, 메모리(312, 342)는 RAM(random access memory), ROM(read only memory), 디스크 드라이브, SSD(solid state drive), 플래시 메모리(flash memory) 등과 같은 비소멸성 대용량 저장 장치(permanent mass storage device)를 포함할 수 있다. 다른 예로서, ROM, SSD, 플래시 메모리, 디스크 드라이브 등과 같은 비소멸성 대용량 저장 장치는 메모리(312, 342)와는 구분되는 별도의 영구 저장 장치로서 컴퓨팅 장치(310) 또는 정보 처리 시스템(220)에 포함될 수 있다. 또한, 메모리(312, 342)에는 운영체제와 적어도 하나의 프로그램 코드가 저장될 수 있다.
이러한 소프트웨어 구성요소들은 메모리(312, 342)와는 별도의 컴퓨터에서 판독 가능한 기록매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독가능한 기록매체는 이러한 컴퓨팅 장치(310) 및 정보 처리 시스템(220)에 직접 연결가능한 기록 매체를 포함할 수 있는데, 예를 들어, 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록매체를 포함할 수 있다. 다른 예로서, 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록매체가 아닌 통신 모듈(316, 346)을 통해 메모리(312, 342)에 로딩될 수도 있다. 예를 들어, 적어도 하나의 프로그램은 개발자들 또는 어플리케이션의 설치 파일을 배포하는 파일 배포 시스템이 네트워크(330)를 통해 제공하는 파일들에 의해 설치되는 컴퓨터 프로그램에 기반하여 메모리(312, 342)에 로딩될 수 있다.
프로세서(314, 344)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(312, 342) 또는 통신 모듈(316, 346)에 의해 프로세서(314, 344)로 제공될 수 있다. 예를 들어, 프로세서(314, 344)는 메모리(312, 342)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.
통신 모듈(316, 346)은 네트워크(330)를 통해 컴퓨팅 장치(310)와 정보 처리 시스템(220)이 서로 통신하기 위한 구성 또는 기능을 제공할 수 있으며, 컴퓨팅 장치(310) 및/또는 정보 처리 시스템(220)이 다른 컴퓨팅 장치(310) 또는 다른 시스템(일례로 별도의 클라우드 시스템 등)과 통신하기 위한 구성 또는 기능을 제공할 수 있다. 일례로, 컴퓨팅 장치(310)의 프로세서(314)가 메모리(312) 등과 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청 또는 데이터는 통신 모듈(316)의 제어에 따라 네트워크(330)를 통해 정보 처리 시스템(220)으로 전달될 수 있다. 역으로, 정보 처리 시스템(220)의 프로세서(344)의 제어에 따라 제공되는 제어 신호나 명령이 통신 모듈(346)과 네트워크(330)를 거쳐 컴퓨팅 장치(310)의 통신 모듈(316)을 통해 컴퓨팅 장치(310)에 수신될 수 있다.
입출력 인터페이스(318)는 입출력 장치(320)와의 인터페이스를 위한 수단일 수 있다. 일 예로서, 입력 장치는 오디오 센서 및/또는 이미지 센서를 포함한 카메라, 키보드, 마이크로폰, 마우스 등의 장치를, 그리고 출력 장치는 디스플레이, 스피커, 햅틱 피드백 디바이스(haptic feedback device) 등과 같은 장치를 포함할 수 있다. 다른 예로, 입출력 인터페이스(318)는 터치스크린 등과 같이 입력과 출력을 수행하기 위한 구성 또는 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 컴퓨팅 장치(310)의 프로세서(314)가 메모리(312)에 로딩된 컴퓨터 프로그램의 명령을 처리함에 있어서 정보 처리 시스템(220)이나 다른 컴퓨팅 장치가 제공하는 정보 및/또는 데이터를 이용하여 구성되는 서비스 화면 등이 입출력 인터페이스(318)를 통해 디스플레이에 표시될 수 있다. 도 3에서는 입출력 장치(320)가 컴퓨팅 장치(310)에 포함되지 않도록 도시되어 있으나, 이에 한정되지 않으며, 컴퓨팅 장치(310)와 하나의 장치로 구성될 수 있다. 또한, 정보 처리 시스템(220)의 입출력 인터페이스(348)는 정보 처리 시스템(220)과 연결되거나 정보 처리 시스템(220)이 포함할 수 있는 입력 또는 출력을 위한 장치(미도시)와의 인터페이스를 위한 수단일 수 있다. 도 3에서는 입출력 인터페이스(318, 348)가 프로세서(314, 344)와 별도로 구성된 요소로서 도시되었으나, 이에 한정되지 않으며, 입출력 인터페이스(318, 348)가 프로세서(314, 344)에 포함되도록 구성될 수 있다.
컴퓨팅 장치(310) 및 정보 처리 시스템(220)은 도 3의 구성요소들보다 더 많은 구성요소들을 포함할 수 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 일 실시예에 따르면, 컴퓨팅 장치(310)는 상술된 입출력 장치(320) 중 적어도 일부를 포함하도록 구현될 수 있다. 또한, 컴퓨팅 장치(310)는 GPS(Global Positioning system) 모듈, 2D 및 3D 라이다(LiDAR) 센서, 휠 인코더(Wheel Encoder), IMU(Inertial Measurement Unit), 트랜시버(transceiver), 각종 센서, 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수 있다.
일 실시예에 따르면, 컴퓨팅 장치(310)의 프로세서(314)는 이미지로부터 특징점을 검출하고, 검출된 특징점의 시각 특징 기술자를 추출하도록 구성될 수 있다. 이 때, 이와 연관된 프로그램 코드가 컴퓨팅 장치(310)의 메모리(312)에 로딩될 수 있다. 프로그램 코드가 동작되는 동안에, 컴퓨팅 장치(310)의 프로세서(314)는 입출력 장치(320)로부터 제공된 정보 및/또는 데이터를 입출력 인터페이스(318)를 통해 수신하거나 통신 모듈(316)을 통해 정보 처리 시스템(220)으로부터 정보 및/또는 데이터를 수신할 수 있으며, 수신된 정보 및/또는 데이터를 처리하여 메모리(312)에 저장할 수 있다. 또한, 이러한 정보 및/또는 데이터는 통신 모듈(316)을 통해 정보 처리 시스템(220)에 제공할 수 있다.
프로세서(314)는 입출력 인터페이스(318)와 연결된 이미지 센서, 라이다 센서, GPS 모듈, IMU 센서, 터치 스크린, 키보드, 오디오 센서 등의 입력 장치를 통해 이미지, 영상, 입력되거나 선택된 텍스트 등을 수신할 수 있으며, 수신된 이미지, 3차원 점군 데이터, 위치 정보, 차량 자세 정보(또는 이미지 촬영 방향 정보), 텍스트 등을 메모리(312)에 저장하거나 통신 모듈(316) 및 네트워크(330)를 통해 정보 처리 시스템(220)에 제공할 수 있다. 일 실시예에서, 프로세서(314)는 입력 장치를 통해 수신한 촬영 이미지, 3차원 점군 데이터, 위치 정보, 차량 자세 정보(또는 이미지 촬영 방향 정보)를 네트워크(330) 및 통신 모듈(316)을 통해 정보 처리 시스템(220)에 제공할 수 있다. 대안적으로, 프로세서(314)는 촬영 이미지로부터 특징점을 검출하고, 검출된 특징점과 연관된 시각 특징 기술자, 3차원 좌표값, 이미지 촬영 방향 정보 등을 추출하여 정보 처리 시스템(220)에 제공할 수 있다.
정보 처리 시스템(220)의 프로세서(344)는 복수의 컴퓨팅 장치 및/또는 복수의 외부 시스템으로부터 수신된 정보 및/또는 데이터를 관리, 처리 및/또는 저장하도록 구성될 수 있다. 일 실시예에서, 프로세서(344)는 컴퓨팅 장치(310)로부터 수신한 데이터에 기초하여, 지도 데이터베이스(예를 들어, 시각 특징 맵)를 생성할 수 있다. 추가적으로 또는 대안적으로, 프로세서(344)는 지도 데이터베이스 등을 컴퓨팅 장치(310)로 전송할 수 있다.
도 4는 본 개시의 일 실시예에 따라 이미지(400)에서 특징점들을 검출하는 예시를 나타내는 도면이다. 이미지(400)는 MMS 차량(예를 들어, 도 2의 210) 또는 차량(예를 들어, 도 2의 230)이 도로를 주행하며 전방 방향을 촬영한 이미지(400)일 수 있다. MMS 차량 또는 차량의 프로세서는 이미지(400)로부터 특징점들을 검출할 수 있다. 도시된 바와 같이, 특징점들은 이미지(400) 상에 점으로 표시될 수 있다. 특징점들이 검출된 후, 프로세서는 각 특징점의 시각 특징 기술자를 추출할 수 있다. 예를 들어, 시각 특징 기술자는 특징점 주위의 시각 정보(예를 들어, 로우 레벨 정보)를 나타내는 128차원의 벡터일 수 있다.
일 실시예에서, 프로세서는 미리 설정된 임계치 이상의 식별성 점수를 가지는 특징점만 검출할 수 있다. 추가적으로 또는 대안적으로, 프로세서는 미리 설정된 거리 이내에 위치하는 특징점만 검출할 수 있다. 맵을 생성하기 위한 데이터를 수집하는 MMS 차량과 위치/자세 추정이 필요한 차량은 동일, 유사한 방식으로 특징점들을 검출하고, 특징점들의 시각 특징 기술자들을 추출하도록 구성될 수 있다. 예를 들어, MMS 차량은 미리 설정된 임계치 이상의 식별성 점수를 가지면서 미리 설정된 거리 이내에 위치하는 특징점들을 검출할 수 있다. 반면, 위치/자세 추정이 필요한 차량은 라이다 센서 등과 같은 고가의 센서가 장착되어 있지 않으므로, 미리 설정된 임계치 이상의 식별성 점수를 가지는 특징점을 검출할 수 있다. 위와 같은 방식에 의해 특징점들을 검출함으로써, 다른 특징점들과 구분되는 유용한 특징점들만 맵 생성 및/또는 차량 위치/자세 추정시에 사용할 수 있다.
도 5는 본 개시의 일 실시예에 따른 국소 맵 생성 방법(500)의 예시를 나타내는 흐름도이다. 일 실시예에서, 국소 맵 생성 방법(500)은 MMS 차량(예를 들어, MMS 차량의 프로세서)에 의해 수행될 수 있다. 다른 실시예에서, 국소 맵 생성 방법(500)은 정보 처리 시스템(예를 들어, 정보 처리 시스템의 프로세서)에 의해 수행될 수 있다. 또 다른 실시예에서, 정보 처리 시스템과 MMS 차량이 국소 맵 생성 방법(500)의 단계들을 나누어 수행할 수 있다.
도시된 바와 같이, 국소 맵 생성 방법(500)은 프로세서가 제1 이미지 및 제2 이미지를 수신함으로써 개시될 수 있다(S510). 예를 들어, 프로세서는 이미지 센서로부터 이미지를 수신할 수 있다. 대안적으로, 프로세서는 통신 모듈을 통해 외부 장치로부터 이미지를 수신할 수 있다. 제1 이미지 및 제2 이미지는 MMS 차량이 주행하며 순차적으로 촬영한 이미지일 수 있다. 일 실시예에서, 프로세서는 각 이미지의 촬영 방향 정보도 함께 수신할 수 있다. 예를 들어, 이미지의 촬영 방향 정보는 차량의 자세 정보로서, 롤(Roll), 피치(pitch), 요(yaw) 값으로 표현될 수 있다.
이미지를 수신하는 것에 응답하여, 프로세서는 제1 이미지 및 제2 이미지로부터 제1 세트의 특징점과 제2 세트의 특징점을 각각 검출할 수 있다(S520). 일 실시예에서, 프로세서는 제1 이미지로부터 복수의 특징점을 검출하고, 검출된 복수의 특징점 중 미리 설정된 거리 이내에 위치하는 특징점들을 식별할 수 있다. 추가적으로 또는 대안적으로, 프로세서는 제1 이미지로부터 복수의 특징점을 검출하고, 검출된 복수의 특징점 각각의 식별성 점수를 산출하고, 복수의 특징점 중 미리 설정된 임계치 이상의 식별성 점수를 가지는 특징점들을 식별할 수 있다. 제2 세트의 특징점은 제1 세트의 특징점을 검출한 것과 동일한 방식으로 검출될 수 있다. 이미지로부터 특징점을 검출한 후, 프로세서는 제1 세트의 특징점 각각의 시각 특징 기술자와 제2 세트의 특징점 각각의 시각 특징 기술자를 추출할 수 있다(S530).
또한, 프로세서는 제1 이미지가 촬영된 위치와 연관된 제1 세트의 3차원 점군 데이터를 수신하고, 제2 이미지가 촬영된 위치와 연관된 제2 세트의 3차원 점군 데이터를 수신할 수 있다(S540). 예를 들어, 제1 세트 및 제2 세트의 3차원 점군 데이터는 각각 제1 이미지 및 제2 이미지가 촬영된 위치 주변 사물 표면의 3차원 좌표값을 포함할 수 있다. 일 실시예에서, 프로세서는 2D LiDAR 센서를 이용하여 각 이미지가 촬영된 위치 주변의 도로 표면의 기하 정보를 획득하고, 3D LiDAR 센서를 이용하여 각 이미지가 촬영된 위치 주변의 비도로 영역의 기하 정보를 획득할 수 있다.
제1 세트 및 제2 세트의 3차원 점군 데이터를 이용하여, 프로세서는 제1 세트 및 제2 세트의 특징점 각각의 3차원 좌표값을 결정할 수 있다(S550). 예를 들어, 프로세서는 제1 세트의 특징점이 검출된 제1 이미지 상에 제1 이미지와 연관된 제1 세트의 3차원 점군 데이터를 투사(projection)하여, 제1 세트의 특징점 각각의 3차원 좌표값을 결정할 수 있다. 예를 들어, 프로세서는 각 특징점 상에 투사된 점군 데이터의 좌표값에 기초하여, 각 특징점의 좌표값을 결정할 수 있다. 예를 들어, 제1 특징점 상에 점군 데이터 중 제1 포인트가 투사되었다면, 프로세서는 제1 특징점의 좌표값을 제1 포인트의 좌표값으로 결정할 수 있다. 프로세서는 제2 세트의 특징점 각각의 3차원 좌표값을 제1 세트의 특징점과 동일한 방식으로 결정할 수 있다.
그 후, 프로세서는 제1 세트의 특징점의 시각 특징 기술자들과 제2 세트의 특징점의 시각 특징 기술자들을 비교하여 특징 매칭(feature matching)을 수행할 수 있다(S560). 여기서 특징 매칭에 성공하기 위해 두 특징점의 시각 특징 기술자들이 가장 높은 유사도를 가지고, 그 유사도가 다른 특징점과의 유사도에 비해 미리 정해진 차이 이상 높아야 한다. 예를 들어, 특징점 A와 특징점 B의 시각 특징 기술자들의 유사도가 0.9로 가장 높고, 특징점 A와 특징점 C의 시각 특징 기술자들의 유사도가 0.4로 두번째로 높은 경우, 특징점 A와 특징점 B의 유사도가 가장 높으면서 다른 특징점과의 유사도에 비해 미리 정해진 차이(예를 들어, 0.4) 이상 높으므로, 프로세서는 특징점 A와 특징점 B가 특징 매칭에 성공하였다고 판단할 수 있다. 반면, 특징점 A와 특징점 B의 시각 특징 기술자들의 유사도가 0.9로 가장 높고, 특징점 A와 특징점 C의 시각 특징 기술자들의 유사도가 0.7로 두번째로 높은 경우, 특징점 A와 특징점 B의 유사도가 가장 높지만 다른 특징점과의 유사도에 비해 미리 정해진 차이(예를 들어, 0.4) 이상 높지 않으므로, 프로세서는 특징점 A와 특징점 B가 특징 매칭에 실패하였다고 판단할 수 있다.
특징 매칭 수행 후, 프로세서는 제2 세트의 특징점 중 특징 매칭에 성공한 특징점들을 포함하는 국소 맵(예를 들어, 초기 국소 맵)을 생성할 수 있다(S570). 구체적으로, 프로세서는 제2 이미지의 촬영 방향 정보를 수신하고, 제2 세트의 특징점 중 특징 매칭에 성공한 특징점들 각각에 대해서 시각 특징 기술자, 3차원 좌표값 및 촬영 방향 정보를 연관시켜 국소 맵에 저장할 수 있다. 이미지에서 추출되는 시각 특징 기술자는 이미지 촬영 방향에 따라 달라지므로, 시각 특징 기술자와 촬영 방향 정보를 연관시켜 국소 맵에 저장함으로써, 추후 차량 위치/자세 추정의 정확도를 높일 수 있다.
도 5에서는 프로세서가 제1 이미지와 제2 이미지를 수신한 후에, 각 이미지의 특징점들을 검출하고, 특징점들의 시각 특징 기술자들을 추출하고, 각 특징점의 3차원 좌표값을 결정하는 것으로 도시되었으나, 이에 한정되지 않는다. 예를 들어, 프로세서가 제1 이미지를 수신하고, 제1 이미지로부터 특징점들을 검출하고, 특징점들의 시각 특징 기술자들을 추출하고, 각 특징점의 3차원 좌표값을 결정한 후에, 제2 이미지를 수신하고, 제2 이미지로부터 특징점들을 검출하고, 특징점들의 시각 특징 기술자들을 추출하고, 각 특징점의 3차원 좌표값을 결정할 수 있다.
도 6은 본 개시의 일 실시예에 따른 국소 맵을 업데이트하는 방법(600)을 나타내는 흐름도이다. 도시된 바와 같이, 국소 맵을 업데이트하는 방법(600)은 프로세서가 제3 이미지를 수신함으로써 개시될 수 있다(S610). 제3 이미지는 제1 이미지 및 제2 이미지의 후속 이미지일 수 있다. 일 실시예에서, 프로세서는 제3 이미지의 촬영 방향 정보도 함께 수신할 수 있다.
프로세서는 제3 이미지로부터 제3 세트의 특징점을 검출할 수 있다(S620). 또한, 프로세서는 제3 세트의 특징점 각각의 시각 특징 기술자를 추출할 수 있다(S630). 이 경우, 프로세서는 제1 및 제2 이미지로부터 특징점들을 검출하고 시각 특징 기술자들을 추출한 것과 동일한 방식으로 제3 이미지로부터 제3 세트의 특징점을 검출하고, 제3 세트의 특징점 각각의 시각 특징 기술자를 추출할 수 있다.
또한, 프로세서는 제3 이미지가 촬영된 위치와 연관된 제3 세트의 3차원 점군 데이터를 수신할 수 있다(S640). 예를 들어, 제3 세트의 3차원 점군 데이터는 제3 이미지가 촬영된 위치 주변 사물 표면의 3차원 좌표값을 포함할 수 있다. 제3 세트의 점군 데이터를 이용하여, 프로세서는 제3 세트의 특징점 각각의 3차원 좌표값을 결정할 수 있다(S650). 예를 들어, 프로세서는 제3 세트의 특징점이 검출된 제3 이미지 상에 제3 이미지와 연관된 제3 세트의 3차원 점군 데이터를 투사(projection)하여, 제3 세트의 특징점 각각의 3차원 좌표값을 결정할 수 있다.
그 후, 프로세서는 제3 세트의 특징점의 시각 특징 기술자들과 미리 생성된 국소 맵(예를 들어, 도 5의 초기 국소 맵) 내의 특징점들의 시각 특징 기술자들을 비교하여 특징 매칭을 수행할 수 있다. 특징 매칭 수행 결과에 기초하여, 프로세서는 제3 세트의 특징점 각각이 국소 맵 내의 특징점들과 특징 매칭에 성공했는지 여부를 판정할 수 있다(S660). 프로세서는 제3 세트의 특징점 중 특징 매칭에 성공한 특징점들에 기초하여, 국소 맵 내의 특징점을 업데이트할 수 있다(S670). 여기서 국소 맵 내의 특징점을 업데이트한다는 것은, 국소 맵에 저장된 특징점과 연관된 정보를 업데이트하는 것일 수 있다. 예를 들어, 프로세서는 특징 매칭에 성공한 특징점 쌍의 시각 특징 기술자들의 평균값을 산출하여, 국소 맵을 업데이트할 수 있다. 추가적으로, 프로세서는 특징 매칭에 성공한 특징점 쌍의 촬영 방향 정보의 평균값을 산출하여, 국소 맵을 업데이트할 수 있다. 대안적으로, 프로세서는 특징 매칭에 성공한 특징점 쌍의 촬영 방향 정보를 연관시켜 국소 맵에 함께 저장할 수 있다.
추가적으로, 프로세서는 제3 세트의 특징점 중 국소 맵 내의 특징점과 특징 매칭에 실패한 특징점들의 시각 특징 기술자들과 직전 이미지의 시각 특징 기술자들(예를 들어, 제2 이미지의 제2 세트의 특징점의 시각 특징 기술자들)을 비교하여 특징 매칭을 수행하고, 특징 매칭 성공 여부를 판정할 수 있다(S680). 특징 매칭을 수행한 결과, 프로세서는 특징 매칭에 성공한 특징점들을 국소 맵에 추가할 수 있다(S690). 구체적으로, 특징 매칭에 성공한 특징점들 각각에 대해서 시각 특징 기술자, 3차원 좌표값 및 촬영 방향 정보를 연관시켜 국소 맵에 저장할 수 있다. 특징 매칭을 통하여 국소 맵에 새롭게 추가된 특징점들은 후속 이미지와의 특징 매칭 시 사용될 수 있다.
도 7은 본 개시의 일 실시예에 따라 특징 매칭(722, 724)을 수행하여 전역 맵(740)을 생성하는 예시를 나타내는 도면이다. 일 실시예에서, 프로세서는 MMS 차량이 지도 생성이 필요한 영역을 주행하며 촬영한 이미지들을 순차적으로 수신하고 처리할 수 있다. 구체적으로, 프로세서는 수신되는 현재 이미지(720)와 국소 맵(730) 사이의 특징 매칭(722), 그리고 현재 이미지(720)와 직전 이미지(710) 사이의 특징 매칭(724)에 기초하여 국소 맵(730)을 업데이트하거나 국소 맵(730)에 새로운 특징점을 추가할 수 있다. 또한, 국소 맵(730)에 포함된 특징점 중 추적 가능한 특징점(732)을 이용하여 전역 맵(740)을 생성할 수 있다.
일 실시예에서, 프로세서는 현재 이미지(720)로부터 특징점들을 검출하고, 각 특징점의 시각 특징 기술자를 추출하고, 각 특징점의 3차원 좌표값을 결정할 수 있다. 또한, 프로세서는 현재 이미지(720)의 촬영 방향 정보를 수신할 수 있다. 그 후, 프로세서는 현재 이미지(720)의 특징점들의 시각 특징 기술자들과 국소 맵(730)에 포함된 특징점들의 시각 특징 기술자들을 비교하여 특징 매칭(722)을 수행할 수 있다.
프로세서는 현재 이미지(720)의 특징점 중 특징 매칭(722)에 성공한 특징점들에 기초하여 국소 맵(730)을 업데이트할 수 있다. 예를 들어, 현재 이미지(720)의 특징점 A와 국소 맵(730) 내의 특징점 B가 특징 매칭(722)에 성공한 경우, 프로세서는 특징 매칭(722)에 성공한 특징점 쌍(특징점 A와 특징점 B)의 시각 특징 기술자들의 평균값을 산출하고, 국소 맵(730) 내의 특징점 B의 시각 특징 기술자를 산출된 평균값으로 업데이트 할 수 있다. 추가적으로, 프로세서는 특징 매칭(722)에 성공한 특징점 쌍(특징점 A와 특징점 B)의 촬영 방향 정보의 평균값을 산출하고, 국소 맵(730) 내의 특징점 B의 촬영 방향 정보를 산출된 평균값으로 업데이트 할 수 있다. 대안적으로, 프로세서는 특징 매칭(722)에 성공한 현재 이미지(720)의 특징점 A의 촬영 방향 정보를 국소 맵(730) 내의 특징점 B의 촬영 방향 정보와 연관시켜 저장할 수 있다.
그 후, 프로세서는 현재 이미지(720)의 특징점들 중 특징 매칭(722)에 실패한 특징점들과 직전 이미지(710)의 특징점들 사이의 특징 매칭(724)을 수행할 수 있다. 예를 들어, 프로세서는 현재 이미지(720)의 특징점들 중 특징 매칭(722)에 실패한 특징점들의 시각 특징 기술자들과 직전 이미지(710)의 특징점들의 시각 특징 기술자들을 비교할 수 있다. 이 때, 프로세서는 특징 매칭(724)에 성공한 특징점들을 국소 맵(730)에 추가할 수 있다. 구체적으로, 현재 이미지(720)의 특징점들 중 특징 매칭(724)에 성공한 하나 이상의 특징점들을, 각각의 시각 특징 기술자, 3차원 좌표값 및 촬영 방향 정보와 연관시켜, 국소 맵(730)에 저장할 수 있다.
프로세서는 연속하여 수신되는 이미지들에 대해 상술한 처리를 반복적으로 수행할 수 있다. 이에 따라 국소 맵(730)에 포함된 특징점은 계속해서 업데이트 되거나, 새로운 특징점이 국소 맵(730)에 추가될 수 있다. 이 과정에서, 프로세서는 국소 맵(730)에 포함된 특징점들 중 미리 정해진 횟수(예를 들어, 10회) 이상 특징 매칭에 실패한 특징점을 국소 맵(730)에서 제거할 수 있다. 예를 들어, 수신되는 이미지 10장에 대해서 특징 매칭에 실패한 국소 맵(730) 내의 특징점은 제거될 수 있다.
반면, 프로세서는 국소 맵(730)에 포함된 특징점들 중 미리 정해진 횟수(예를 들어, 10회) 이상 특징 매칭에 성공한 특징점에 기초하여 전역 맵(740)을 생성할 수 있다. 예를 들어, 수신되는 이미지 10장에 대해서 특징 매칭에 성공한 국소 맵(730) 내의 특징점은 추적 가능한 특징점(732)으로서 전역 맵(740)에 추가될 수 있다. 특징 매칭에 성공하거나 실패한 횟수는 연속적 또는 비연속적으로 카운팅될 수 있다. 다른 실시예에서, 프로세서는 미리 정해진 횟수가 아닌 미리 정해진 비율(예를 들어, 20개의 이미지 중 50% 이상)에 기초하여 국소 맵(730) 내의 특징점을 제거하거나 전역 맵(740)에 추가할 수 있다.
최종적으로 생성되는 전역 맵(740)은 시각 특징 맵으로써 사용될 수 있다. 위와 같은 구성에 의해, 국소 맵(730)은 특징 매칭에 적합한 특징점만을 포함할 수 있고, 국소 맵(730)에서 추적 가능한 특징점만을 전역 맵(740)에 추가함으로써, 매우 적은 용량으로 시각 특징 맵을 생성할 수 있다. 즉, 위치 추정에 불필요한 대부분의 정보를 제거하고, 위치 추정에 필요한 최소한의 시각 정보(시각 특징 기술자)와 기하 정보(3차원 좌표값)를 가진 시각 특징 맵을 생성함으로써, 매우 적은 용량으로 대규모 공간의 맵을 표현할 수 있다.
도 8은 본 개시의 일 실시예에 따라 생성된 3차원 점군 맵(810) 및 시각 특징 맵(820)을 시각적으로 나타낸 예시이다. 일 실시예에서, 프로세서는 라이다 센서를 이용하여 MMS 차량이 주행하는 주변의 3차원 점군 데이터를 획득할 수 있다. 또한, 프로세서는 고가의 고정밀 GPS 모듈, IMU 센서 등을 이용하여 MMS 차량의 정밀한 위치 정보를 수신하고, 라이다 센서를 이용하여 획득되는 3차원 점군 데이터에 3차원 좌표값을 부여할 수 있다. 3차원 점군 맵(810)은 MMS 차량이 주행한 지역의 3차원 점군 데이터 내의 점들의 3차원 좌표값을 UTM 좌표계로 표현한 예시이다. 예를 들어, 3차원 점군 맵(810)은 MMS 차량 주변의 도로 영역 및 비도로 영역으로부터 추출된 모든 3차원 점군 데이터를 포함할 수 있다.
시각 특징 맵(820)은 도 5 내지 도 7의 방식에 따라 생성된 전역 맵의 예시이다. 즉, MMS 차량이 도로를 주행하면서 순차적으로 촬영한 이미지로부터 특징점들을 검출하고, 검출된 특징점들 중 추적 가능한 특징점들의 3차원 좌표값을 UTM 좌표계로 표시한 예시이다. 시각 특징 맵(820)이 아무리 많은 3차원 점군 데이터 및 시각 특징 기술자를 포함하더라도, 특징 매칭 시 유니크(unique)하게 매칭되지 않으면 정확한 차량의 위치 추정이 불가능하다. 따라서, 식별성이 있으면서 시점 변화에 강인한 추적 가능한 특징점들만을 이용하여 시각 특징 맵(820)을 생성하는 것이 바람직하다. 시각 특징 맵(820) 내의 각 점은 연관된 시각 특징 기술자, 3차원 좌표값, 그리고 촬영 방향 정보를 포함할 수 있다.
도시된 바와 같이, 3차원 점군 맵(810)에 포함된 3차원 점군 데이터 중 일부(추적 가능한 특징점들)를 이용하여 시각 특징 맵(820)을 생성함으로써, 최소한의 정보로 대규모 공간을 나타내는 맵을 생성할 수 있다. 이와 같이 생성된 시각 특징 맵(820)은 기하 정보 맵에 비해 상대적으로 저용량의 데이터를 가지므로, 도시 단위의 넓은 공간의 맵을 별도의 통신 없이 자율 주행 차량 등에 저장할 수 있다. 또한 차량에 미리 저장된 시각 특징 맵(820)을 이용하여, 차량에서 촬영한 이미지에 기초하여 차량의 정확한 위치와 자세를 추정할 수 있기 때문에 상대적으로 저렴한 자율주행 플랫폼을 제공할 수 있다.
도 9는 본 개시의 일 실시예에 따라 차량(910)의 위치 및 자세를 추정하는 예시를 나타내는 도면이다. 차량(910)은 MMS 차량(예를 들어, 도 2의 210)에 장착되는 고가의 고정밀 GPS 모듈을 장착하지 않은 일반적인 승용차일 수 있다. 예를 들어, 차량(910)은 이미지 촬영을 위한 이미지 센서를 장착한 임의의 차량(910)일 수 있으며, 저가의 GPS 모듈을 선택적으로 포함할 수 있다.
일 실시예에서, 차량(910)은 외부 장치(예를 들어, 맵 서버)로부터 시각 특징 맵을 수신할 수 있다. 이때, 차량(910)은 저가의 GPS 모듈로부터 수신한 차량(910)의 대략적인 위치 정보에 기초하여, 시각 특징 맵 중 일부(예를 들어, 차량(910) 주변의 맵 데이터)를 수신할 수 있다. 예를 들어, 시각 특징 맵이 20 m * 20 m 범위를 나타내는 맵 데이터의 집합인 경우, 차량(910)은 대략적인 위치 정보에 기초하여 주변 반경 약 150 m 내의 맵 데이터를 수신할 수 있다. 따라서, 차량(910)의 위치 추정에 필요한 시각 특징 기술자의 검색 범위를 쉽게 줄일 수 있고, 맵 데이터를 수신한 후에는 외부 장치와 추가적인 통신을 필요로 하지 않으므로, 외부 장치와의 통신을 최소화할 수 있다. 대안적으로, 차량(910)은 내부 메모리에 미리 저장된 시각 특징 맵을 이용할 수 있다. 이 경우, 차량(910)은 저가의 GPS 모듈로부터 수신한 차량(910)의 대략적인 위치 정보에 기초하여, 미리 저장된 시각 특징 맵 중 일부를 위치/자세 추정을 위해 사용할 수 있다.
차량(910)의 위치 및 자세 추정을 위해, 차량(910)은 도로를 주행하며 이미지를 촬영할 수 있다. 그 후, 차량(910)은 촬영된 이미지로부터 특징점들을 검출하고, 검출된 특징점들의 시각 특징 기술자들을 추출할 수 있다. 이 경우, 차량(910)은 시각 특징 맵을 생성하는데 사용된 것과 동일한 방식을 사용하여 특징점을 검출하고, 시각 특징 기술자를 추출할 수 있다.
차량(910)은 시각 특징 맵에 포함된 특징점들의 시각 특징 기술자들과 이미지로부터 검출된 특징점들의 시각 특징 기술자들을 비교하여, 차량(910)의 현재 위치 및 자세를 추정할 수 있다. 일 실시예에서, 차량(910)은 시각 특징 맵에 포함된 시각 특징 기술자들과 촬영 이미지로부터 추출된 시각 특징 기술자들 중 유사한 시각 특징 기술자들의 쌍을 식별하고, 충분한 수의 쌍이 식별되면 EPnP(Efficient Perspective-n-Point) 알고리즘 등을 이용하여 차량(910)의 위치와 자세를 추정할 수 있다. 이 때, 유사한 시각 특징 기술자들의 쌍과 연관된 시각 특징 맵 내의 3차원 좌표값, 촬영 방향 정보 등이 이용될 수 있다.
추가적으로 또는 대안적으로, 차량(910)은 시각 특징 맵에 포함된 특징점 중 차량(910)의 현재 이미지 촬영 방향과 유사한 방향에서 촬영된 이미지로부터 검출된 특징점만을 이용하여, 위치/자세 추정을 수행할 수 있다. 예를 들어, 차량(910)은 저가의 GPS 모듈로부터 수신되는 대략적인 위치 정보의 변화에 기초하여 현재 이미지 촬영 방향 정보를 추정하고, 해당 촬영 방향 정보와 동일/유사한 촬영 방향 정보를 가지는 특징점들을 시각 특징 맵에서 식별하여, 식별된 특징점들을 이용하여 촬영된 이미지와 특징 매칭을 수행할 수 있다. 여기서, 차량(910)의 이미지 촬영 방향 정보는 차량(910)이 물리 법칙에 따라 이동한다는 전제 하에, 차량(910)의 기존 이동 정보에 기초하여 추정될 수 있다. 이와 같은 구성을 통해, 차량(910)의 위치 및 자세 추정의 정확도를 크게 향상시킬 수 있다.
앞에서는 차량(910)이 촬영 이미지로부터 특징점들을 검출하고, 검출된 특징점들의 시각 특징 기술자들을 추출하여, 시각 특징 맵 내의 시각 특징 기술자들과 비교하는 것으로 설명되었으나, 이에 한정되지 않는다. 예를 들어, 차량(910)은 촬영한 이미지를 외부 장치(예를 들어, 도2의 220와 같은 정보 처리 시스템)로 전송하고, 외부 장치가 수신된 이미지에서 특징점들을 검출하고, 검출된 특징점들의 시각 특징 기술자들을 추출하여 차량(910)의 위치 및 자세를 추정할 수 있다. 또한, 차량(910)은 주행하면서 이미지를 연속적으로 촬영하고, 위치/자세 추정을 계속적으로 수행할 수 있다.
도 10은 본 개시의 일 실시예에 따른 예시적인 위치/자세 추정 방법(1000)을 나타내는 흐름도이다. 일 실시예에서, 위치/자세 추정 방법(1000)은 차량(예를 들어, 차량의 프로세서)에 의해 수행될 수 있다. 다른 실시예에서, 위치/자세 추정 방법(1000)은 정보 처리 시스템(예를 들어, 정보 처리 시스템의 프로세서)에 의해 수행될 수 있다. 또 다른 실시예에서, 정보 처리 시스템과 차량이 위치/자세 추정 방법(1000)의 단계들을 나누어 수행할 수 있다.
도시된 바와 같이, 위치/자세 추정 방법(1000)은 프로세서가 이미지를 수신함으로써 개시될 수 있다(S1010). 예를 들어, 프로세서는 이미지 센서로부터 이미지를 수신할 수 있다. 이미지는 차량이 주행하며 촬영한 이미지일 수 있다.
이미지를 수신하는 것에 응답하여, 프로세서는 이미지로부터 제1 세트의 특징점을 검출할 수 있다(S1020). 일 실시예에서, 프로세서는 이미지로부터 복수의 특징점을 검출하고, 검출된 복수의 특징점 각각의 식별성 점수를 산출한 후, 복수의 특징점 중 미리 설정된 임계치 이상의 식별성 점수를 가지는 특징점들을 식별함으로써 제1 세트의 특징점을 검출할 수 있다. 또한, 프로세서는 제1 세트의 특징점 각각의 시각 특징 기술자를 추출할 수 있다(S1030). 이 때, 프로세서는 시각 특징 맵을 생성하는데 사용된 것과 동일한 방식으로 이미지에서 특징점들을 검출하고, 특징점들의 시각 특징 기술자들을 추출할 수 있다.
그 후, 프로세서는 미리 저장된 제2 세트의 특징점(예를 들어, 미리 저장된 시각 특징 맵 내의 특징점들)을 수신할 수 있다(S1040). 여기서, 제2 세트의 특징점 각각은 연관된 시각 특징 기술자, 3차원 좌표값, 촬영 방향 정보 등을 포함할 수 있다. 일 실시예에서, 프로세서는 이미지가 촬영된 대략적인 위치 정보(coarse location information)를 수신하고, 대략적인 이미지 촬영 방향 정보를 추정할 수 있다. 대략적인 이미지 촬영 방향 정보는 이미지를 촬영하기 이전의 미리 정해진 시간 구간 동안 GPS 모듈로부터 수신되는 대략적인 위치 정보의 변화에 기초하여 추정될 수 있다. 이 경우, 프로세서는 대략적인 위치 정보 및 대략적인 촬영 방향 정보에 기초하여 제3 세트의 특징점을 포함하는 시각 특징 맵으로부터 제2 세트의 특징점을 추출할 수 있다. 여기서, 제3 세트의 특징점 각각은 연관된 시각 특징 기술자, 3차원 좌표값 및 촬영 방향 정보를 포함할 수 있다.
프로세서는 제1 세트의 특징점의 시각 특징 기술자들과 제2 세트의 특징점의 시각 특징 기술자들을 비교하여 특징 매칭을 수행할 수 있다(S1050). 특징 매칭 결과, 프로세서는 제2 세트의 특징점 중 특징 매칭에 성공한 특징점들과 연관된 3차원 좌표값에 기초하여 이미지가 촬영된 정밀한 위치 정보(fine location information) 및 이미지의 정밀한 촬영 방향 정보를 추정할 수 있다(S1060). 다른 실시예에서, 프로세서는 제2 세트의 특징점 중 특징 매칭에 성공한 특징점들과 연관된 3차원 좌표값 및 촬영 방향 정보에 기초하여 이미지가 촬영된 정밀한 위치 정보 및 이미지의 정밀한 촬영 방향 정보를 추정할 수 있다.
상술한 시각 특징 맵 생성 방법과 위치/자세 추정 방법은 컴퓨터에서 실행하기 위해 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램으로 제공될 수 있다. 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
본 개시의 방법, 동작 또는 기법들은 다양한 수단에 의해 구현될 수도 있다. 예를 들어, 이러한 기법들은 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합으로 구현될 수도 있다. 본원의 개시와 연계하여 설명된 다양한 예시적인 논리적 블록들, 모듈들, 회로들, 및 알고리즘 단계들은 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양자의 조합들로 구현될 수도 있음을 통상의 기술자들은 이해할 것이다. 하드웨어 및 소프트웨어의 이러한 상호 대체를 명확하게 설명하기 위해, 다양한 예시적인 구성요소들, 블록들, 모듈들, 회로들, 및 단계들이 그들의 기능적 관점에서 일반적으로 위에서 설명되었다. 그러한 기능이 하드웨어로서 구현되는지 또는 소프트웨어로서 구현되는지의 여부는, 특정 애플리케이션 및 전체 시스템에 부과되는 설계 요구사항들에 따라 달라진다. 통상의 기술자들은 각각의 특정 애플리케이션을 위해 다양한 방식들로 설명된 기능을 구현할 수도 있으나, 그러한 구현들은 본 개시의 범위로부터 벗어나게 하는 것으로 해석되어서는 안된다.
하드웨어 구현에서, 기법들을 수행하는 데 이용되는 프로세싱 유닛들은, 하나 이상의 ASIC들, DSP들, 디지털 신호 프로세싱 디바이스들(digital signal processing devices; DSPD들), 프로그램가능 논리 디바이스들(programmable logic devices; PLD들), 필드 프로그램가능 게이트 어레이들(field programmable gate arrays; FPGA들), 프로세서들, 제어기들, 마이크로제어기들, 마이크로프로세서들, 전자 디바이스들, 본 개시에 설명된 기능들을 수행하도록 설계된 다른 전자 유닛들, 컴퓨터, 또는 이들의 조합 내에서 구현될 수도 있다.
따라서, 본 개시와 연계하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 및 회로들은 범용 프로세서, DSP, ASIC, FPGA나 다른 프로그램 가능 논리 디바이스, 이산 게이트나 트랜지스터 로직, 이산 하드웨어 컴포넌트들, 또는 본원에 설명된 기능들을 수행하도록 설계된 것들의 임의의 조합으로 구현되거나 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 대안으로, 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수도 있다. 프로세서는 또한, 컴퓨팅 디바이스들의 조합, 예를 들면, DSP와 마이크로프로세서, 복수의 마이크로프로세서들, DSP 코어와 연계한 하나 이상의 마이크로프로세서들, 또는 임의의 다른 구성의 조합으로서 구현될 수도 있다.
펌웨어 및/또는 소프트웨어 구현에 있어서, 기법들은 랜덤 액세스 메모리(random access memory; RAM), 판독 전용 메모리(read-only memory; ROM), 비휘발성 RAM(non-volatile random access memory; NVRAM), PROM(programmable read-only memory), EPROM(erasable programmable read-only memory), EEPROM(electrically erasable PROM), 플래시 메모리, 컴팩트 디스크(compact disc; CD), 자기 또는 광학 데이터 스토리지 디바이스 등과 같은 컴퓨터 판독가능 매체 상에 저장된 명령들로서 구현될 수도 있다. 명령들은 하나 이상의 프로세서들에 의해 실행 가능할 수도 있고, 프로세서(들)로 하여금 본 개시에 설명된 기능의 특정 양태들을 수행하게 할 수도 있다.
이상 설명된 실시예들이 하나 이상의 독립형 컴퓨터 시스템에서 현재 개시된 주제의 양태들을 활용하는 것으로 기술되었으나, 본 개시는 이에 한정되지 않고, 네트워크나 분산 컴퓨팅 환경과 같은 임의의 컴퓨팅 환경과 연계하여 구현될 수도 있다. 또 나아가, 본 개시에서 주제의 양상들은 복수의 프로세싱 칩들이나 장치들에서 구현될 수도 있고, 스토리지는 복수의 장치들에 걸쳐 유사하게 영향을 받게 될 수도 있다. 이러한 장치들은 PC들, 네트워크 서버들, 및 휴대용 장치들을 포함할 수도 있다.
본 명세서에서는 본 개시가 일부 실시예들과 관련하여 설명되었지만, 본 개시의 발명이 속하는 기술분야의 통상의 기술자가 이해할 수 있는 본 개시의 범위를 벗어나지 않는 범위에서 다양한 변형 및 변경이 이루어질 수 있다. 또한, 그러한 변형 및 변경은 본 명세서에 첨부된 특허청구의 범위 내에 속하는 것으로 생각되어야 한다.

Claims (17)

  1. 적어도 하나의 프로세서에 의해 수행되는 시각 특징 맵(visual feature map) 생성 방법으로서,
    제1 이미지를 수신하는 단계;
    상기 제1 이미지로부터 제1 세트의 특징점을 검출하는 단계;
    상기 제1 세트의 특징점 각각의 시각 특징 기술자(visual feature descriptor)를 추출하는 단계;
    상기 제1 이미지가 촬영된 위치와 연관된 제1 세트의 3차원 점군 데이터(3D point cloud data)를 수신하는 단계; 및
    상기 제1 세트의 3차원 점군 데이터를 이용하여 상기 제1 세트의 특징점 각각의 3차원 좌표값을 결정하는 단계
    를 포함하는, 시각 특징 맵 생성 방법.
  2. 제1항에 있어서,
    상기 제1 이미지가 촬영된 위치와 연관된 제1 세트의 3차원 점군 데이터를 수신하는 단계는,
    2D LiDAR(Light Detection And Ranging) 센서를 이용하여 상기 제1 이미지가 촬영된 위치 주변의 도로 표면의 기하 정보를 획득하는 단계
    를 포함하는, 시각 특징 맵 생성 방법.
  3. 제2항에 있어서,
    상기 제1 이미지가 촬영된 위치와 연관된 제1 세트의 3차원 점군 데이터를 수신하는 단계는,
    3D LiDAR 센서를 이용하여 상기 제1 이미지가 촬영된 위치 주변의 비도로 영역의 기하 정보를 획득하는 단계
    를 더 포함하는, 시각 특징 맵 생성 방법.
  4. 제1항에 있어서,
    상기 제1 이미지로부터 제1 세트의 특징점을 검출하는 단계는,
    상기 제1 이미지로부터 복수의 특징점을 검출하는 단계;
    상기 복수의 특징점 중 미리 설정된 거리 이내에 위치하는 특징점들을 식별하는 단계; 및
    상기 식별된 특징점들을 상기 제1 세트의 특징점으로 검출하는 단계
    를 포함하는, 시각 특징 맵 생성 방법.
  5. 제1항에 있어서,
    상기 제1 이미지로부터 제1 세트의 특징점을 검출하는 단계는,
    상기 제1 이미지로부터 복수의 특징점을 검출하는 단계;
    상기 복수의 특징점 각각의 식별성 점수(distinctiveness score)를 산출하는 단계;
    상기 복수의 특징점 중 미리 설정된 임계치 이상의 식별성 점수를 가지는 특징점들을 식별하는 단계; 및
    상기 식별된 특징점들을 상기 제1 세트의 특징점으로 검출하는 단계
    를 포함하는, 시각 특징 맵 생성 방법.
  6. 제1항에 있어서,
    제2 이미지를 수신하는 단계;
    상기 제2 이미지로부터 제2 세트의 특징점을 검출하는 단계;
    상기 제2 세트의 특징점 각각의 시각 특징 기술자를 추출하는 단계;
    상기 제2 이미지가 촬영된 위치와 연관된 제2 세트의 3차원 점군 데이터를 수신하는 단계;
    상기 제2 세트의 3차원 점군 데이터를 이용하여 상기 제2 세트의 특징점 각각의 3차원 좌표값을 결정하는 단계;
    상기 제1 세트의 특징점의 시각 특징 기술자들과 상기 제2 세트의 특징점의 시각 특징 기술자들을 비교하여 제1 특징 매칭(feature matching)을 수행하는 단계; 및
    상기 제2 세트의 특징점 중 상기 제1 특징 매칭에 성공한 특징점들을 포함하는 국소 맵을 생성하는 단계
    를 더 포함하는, 시각 특징 맵 생성 방법.
  7. 제6항에 있어서,
    상기 제2 세트의 특징점 중 상기 제1 특징 매칭에 성공한 특징점들을 포함하는 국소 맵을 생성하는 단계는,
    상기 제2 이미지의 촬영 방향 정보를 수신하는 단계; 및
    상기 제2 세트의 특징점 중 상기 제1 특징 매칭에 성공한 특징점들 각각에 대해서 시각 특징 기술자, 3차원 좌표값 및 상기 촬영 방향 정보를 연관시키는 단계
    를 포함하는, 시각 특징 맵 생성 방법.
  8. 제6항에 있어서,
    제3 이미지를 수신하는 단계;
    상기 제3 이미지로부터 제3 세트의 특징점을 검출하는 단계;
    상기 제3 세트의 특징점 각각의 시각 특징 기술자를 추출하는 단계;
    상기 제3 이미지가 촬영된 위치와 연관된 제3 세트의 3차원 점군 데이터를 수신하는 단계;
    상기 제3 세트의 3차원 점군 데이터를 이용하여 상기 제3 세트의 특징점 각각의 3차원 좌표값을 결정하는 단계;
    상기 제3 세트의 특징점의 시각 특징 기술자들과 상기 국소 맵 내의 특징점들의 시각 특징 기술자들을 비교하여 제2 특징 매칭을 수행하는 단계; 및
    상기 제3 세트의 특징점 중 상기 제2 특징 매칭에 성공한 특징점들에 기초하여 상기 국소 맵을 업데이트하는 단계
    를 더 포함하는, 시각 특징 맵 생성 방법.
  9. 제8항에 있어서,
    상기 제3 세트의 특징점 중 상기 제2 특징 매칭에 성공한 특징점들에 기초하여 상기 국소 맵을 업데이트하는 단계는,
    상기 제2 특징 매칭에 성공한 특징점 쌍의 시각 특징 기술자들의 평균값을 산출하는 단계
    를 포함하는, 시각 특징 맵 생성 방법.
  10. 제8항에 있어서,
    상기 제3 세트의 특징점 중 상기 제2 특징 매칭에 실패한 특징점들의 시각 특징 기술자들과 상기 제2 세트의 특징점의 시각 특징 기술자들을 비교하여 제3 특징 매칭을 수행하는 단계; 및
    상기 제3 특징 매칭에 성공한 특징점들을 상기 국소 맵에 추가하는 단계
    를 더 포함하는, 시각 특징 맵 생성 방법.
  11. 제8항에 있어서,
    상기 국소 맵에 포함된 특징점들 중 미리 정해진 횟수 이상 특징 매칭에 실패한 특징점을 상기 국소 맵에서 제거하는 단계
    를 더 포함하는, 시각 특징 맵 생성 방법.
  12. 제8항에 있어서,
    상기 국소 맵에 포함된 특징점들 중 미리 정해진 횟수 이상 특징 매칭에 성공한 특징점에 기초하여 전역 맵을 생성하는 단계
    를 더 포함하는, 시각 특징 맵 생성 방법.
  13. 제1항 내지 제12항 중 어느 한 항에 따른 시각 특징 맵 생성 방법을 컴퓨터에서 실행하기 위해 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램.
  14. 적어도 하나의 프로세서에 의해 수행되는 위치 추정 방법으로서,
    이미지를 수신하는 단계;
    상기 이미지로부터 제1 세트의 특징점을 검출하는 단계;
    상기 제1 세트의 특징점 각각의 시각 특징 기술자를 추출하는 단계;
    미리 저장된 제2 세트의 특징점을 수신하는 단계 - 상기 제2 세트의 특징점 각각은 연관된 시각 특징 기술자 및 3차원 좌표값을 포함하거나, 연관된 시각 특징 기술자, 3차원 좌표값 및 촬영 방향 정보를 포함함 -;
    상기 제1 세트의 특징점의 시각 특징 기술자들과 상기 제2 세트의 특징점의 시각 특징 기술자들을 비교하여 특징 매칭을 수행하는 단계; 및
    상기 제2 세트의 특징점 중 상기 특징 매칭에 성공한 특징점들과 연관된 3차원 좌표값, 또는 3차원 좌표값과 촬영 방향 정보에 기초하여 상기 이미지가 촬영된 정밀한 위치 정보(fine location information) 및 상기 이미지의 정밀한 촬영 방향 정보를 추정하는 단계
    를 포함하는, 위치 추정 방법.
  15. 제14항에 있어서,
    상기 미리 저장된 제2 세트의 특징점을 수신하는 단계는,
    상기 이미지가 촬영된 대략적인 위치 정보(coarse location information)를 수신하는 단계;
    상기 이미지의 대략적인 촬영 방향 정보를 추정하는 단계; 및
    상기 대략적인 위치 정보 및 상기 대략적인 촬영 방향 정보에 기초하여 제3 세트의 특징점을 포함하는 시각 특징 맵으로부터 상기 제2 세트의 특징점을 추출하는 단계 - 상기 제3 세트의 특징점 각각은 연관된 시각 특징 기술자, 3차원 좌표값 및 촬영 방향 정보를 포함함 -
    를 포함하는, 위치 추정 방법.
  16. 제15항에 있어서,
    상기 이미지의 대략적인 촬영 방향 정보를 추정하는 단계는,
    상기 이미지를 촬영하기 이전의 미리 정해진 시간 구간 동안 GPS 모듈로부터 수신되는 대략적인 위치 정보의 변화에 기초하여 상기 이미지의 대략적인 촬영 방향 정보를 추정하는 단계
    를 포함하는, 위치 추정 방법.
  17. 제14항에 있어서,
    상기 이미지로부터 제1 세트의 특징점을 검출하는 단계는,
    상기 이미지로부터 복수의 특징점을 검출하는 단계;
    상기 복수의 특징점 각각의 식별성 점수를 산출하는 단계;
    상기 복수의 특징점 중 미리 설정된 임계치 이상의 식별성 점수를 가지는 특징점들을 식별하는 단계; 및
    상기 식별된 특징점들을 상기 제1 세트의 특징점으로 검출하는 단계
    를 더 포함하는, 위치 추정 방법.
PCT/KR2021/001955 2020-05-28 2021-02-16 시각 특징 맵 생성 방법 및 시스템 WO2021241847A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/070,256 US20230108621A1 (en) 2020-05-28 2022-11-28 Method and system for generating visual feature map

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0064244 2020-05-28
KR1020200064244 2020-05-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/070,256 Continuation US20230108621A1 (en) 2020-05-28 2022-11-28 Method and system for generating visual feature map

Publications (1)

Publication Number Publication Date
WO2021241847A1 true WO2021241847A1 (ko) 2021-12-02

Family

ID=78745006

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/001955 WO2021241847A1 (ko) 2020-05-28 2021-02-16 시각 특징 맵 생성 방법 및 시스템

Country Status (3)

Country Link
US (1) US20230108621A1 (ko)
KR (1) KR102383499B1 (ko)
WO (1) WO2021241847A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7264028B2 (ja) * 2019-12-05 2023-04-25 トヨタ自動車株式会社 情報提供システム、情報提供方法、情報端末及び情報表示方法
KR102536364B1 (ko) * 2022-08-01 2023-05-30 주식회사 플로틱 로케이션 코드 맵핑 방법
WO2024085573A1 (ko) * 2022-10-17 2024-04-25 주식회사 브이알크루 크라우드 소싱 기반 3차원 지도 갱신 방법 및 장치
KR20240064332A (ko) * 2022-11-04 2024-05-13 네이버랩스 주식회사 3차원 모델을 이용한 거리뷰 영상 사이의 특징점 매칭쌍 자동 취득 방법 및 시스템
WO2024101833A1 (ko) * 2022-11-08 2024-05-16 네이버랩스 주식회사 3차원 모델 및 거리뷰 영상을 이용한 시각 특징맵 생성 방법 및 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4273119B2 (ja) * 2003-10-21 2009-06-03 和郎 岩根 ナビゲーション装置
KR20110011424A (ko) * 2009-07-28 2011-02-08 주식회사 유진로봇 이동 로봇의 위치 인식 및 주행 제어 방법과 이를 이용한 이동 로봇
KR20150047950A (ko) * 2013-10-25 2015-05-06 한국전자통신연구원 특징 선택 방법을 이용한 비주얼 기술자 추출 방법 및 시스템
US20160104289A1 (en) * 2014-10-09 2016-04-14 Caterpillar Inc. Real-time range map generation
US9349180B1 (en) * 2013-05-17 2016-05-24 Amazon Technologies, Inc. Viewpoint invariant object recognition

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019073795A1 (ja) * 2017-10-10 2019-04-18 ソニー株式会社 情報処理装置、自己位置推定方法、プログラム、及び、移動体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4273119B2 (ja) * 2003-10-21 2009-06-03 和郎 岩根 ナビゲーション装置
KR20110011424A (ko) * 2009-07-28 2011-02-08 주식회사 유진로봇 이동 로봇의 위치 인식 및 주행 제어 방법과 이를 이용한 이동 로봇
US9349180B1 (en) * 2013-05-17 2016-05-24 Amazon Technologies, Inc. Viewpoint invariant object recognition
KR20150047950A (ko) * 2013-10-25 2015-05-06 한국전자통신연구원 특징 선택 방법을 이용한 비주얼 기술자 추출 방법 및 시스템
US20160104289A1 (en) * 2014-10-09 2016-04-14 Caterpillar Inc. Real-time range map generation

Also Published As

Publication number Publication date
US20230108621A1 (en) 2023-04-06
KR102383499B1 (ko) 2022-04-08
KR20210147855A (ko) 2021-12-07

Similar Documents

Publication Publication Date Title
WO2021241847A1 (ko) 시각 특징 맵 생성 방법 및 시스템
AU2019419781B2 (en) Vehicle using spatial information acquired using sensor, sensing device using spatial information acquired using sensor, and server
WO2019240452A1 (ko) 실 공간에서 관심지점 관련 정보를 자동으로 수집 및 업데이트하는 방법 및 시스템
CN110095752B (zh) 定位方法、装置、设备和介质
EP2450667B1 (en) Vision system and method of analyzing an image
WO2021187793A1 (ko) 카메라와 레이더 센서 융합 기반 3차원 객체 검출을 위한 전자 장치 및 그의 동작 방법
WO2019225817A1 (ko) 차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능 기록매체
WO2021006441A1 (ko) 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법
WO2019139243A1 (ko) 자율주행을 위한 고정밀 지도의 업데이트 장치 및 방법
WO2021230466A1 (ko) 차량 위치 결정 방법 및 시스템
JP7088136B2 (ja) 標示物認識システム及び標示物認識方法
CN110998684B (zh) 图像收集系统、图像收集方法、图像收集装置、记录介质
WO2021060778A1 (ko) 3차원 공간에 대응되는 맵을 생성하는 차량 및 방법
WO2020159076A1 (ko) 랜드마크 위치 추정 장치와 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능한 기록매체
WO2020071619A1 (ko) 정밀 지도 업데이트 장치 및 방법
WO2020141694A1 (en) Vehicle using spatial information acquired using sensor, sensing device using spatial information acquired using sensor, and server
JP2020038632A5 (ko)
WO2019132504A1 (ko) 목적지 안내 장치 및 방법
WO2017213289A1 (ko) 차량용 사고영상 기록장치의 차량 속도 측정 장치 및 방법
KR102106029B1 (ko) 간판 검출 성능 향상을 위한 방법 및 시스템
JP2014145666A (ja) 走行案内システム、走行案内方法及びコンピュータプログラム
WO2023136495A1 (ko) 시각적 측위방법, 이를 이용하는 제어서버 및 건물
WO2020045345A1 (ja) 標示物認識システム及び標示物認識方法
WO2024096309A1 (ko) Poi 변화 자동 탐지를 위한 방법, 컴퓨터 장치, 및 컴퓨터 프로그램
WO2022240254A1 (ko) 실외 이동 로봇의 보도 주행을 위한 2차원 위상 지도

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21814191

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 15.05.2023)

122 Ep: pct application non-entry in european phase

Ref document number: 21814191

Country of ref document: EP

Kind code of ref document: A1