KR100550430B1 - Apparatus and method for guiding route of vehicle using three-dimensional information - Google Patents

Apparatus and method for guiding route of vehicle using three-dimensional information Download PDF

Info

Publication number
KR100550430B1
KR100550430B1 KR1020030051816A KR20030051816A KR100550430B1 KR 100550430 B1 KR100550430 B1 KR 100550430B1 KR 1020030051816 A KR1020030051816 A KR 1020030051816A KR 20030051816 A KR20030051816 A KR 20030051816A KR 100550430 B1 KR100550430 B1 KR 100550430B1
Authority
KR
South Korea
Prior art keywords
map
information
moving object
matching
camera
Prior art date
Application number
KR1020030051816A
Other languages
Korean (ko)
Other versions
KR20050013000A (en
Inventor
이한성
조항신
최현우
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020030051816A priority Critical patent/KR100550430B1/en
Publication of KR20050013000A publication Critical patent/KR20050013000A/en
Application granted granted Critical
Publication of KR100550430B1 publication Critical patent/KR100550430B1/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3635Guidance using 3D or perspective road maps
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13Receivers

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Instructional Devices (AREA)
  • Navigation (AREA)

Abstract

카메라로 이동체의 주행 전방을 촬영하고, 그 촬영한 영상신호를 이용하여 지도 정보를 3차원 정보로 변환하며, 그 3차원 정보와 카메라가 촬영한 이동체의 주행전방의 영상신호를 함께 표시패널에 표시하면서 이동체의 주행을 안내한다.A camera photographs the driving front of the moving object, converts map information into 3D information using the captured video signal, and displays the 3D information and the video signal of the front of the moving object photographed by the camera together on the display panel. While guiding the movement of the moving object.

GPS 위성이 송신하는 위치정보를 안테나를 통해 수신하는 GPS 수신부와, 이동체에 설치되어 이동체의 주행방향 및 주행거리를 검출하는 센서부와, 디지털 지도와 지명 정보를 포함하는 지도 정보를 저장하고 있는 지도정보 저장부와, 이동체에 설치되어 이동체의 주행전방의 영상을 촬영하는 카메라와, 사용자의 조작에 따른 동작명령을 입력하는 키 입력부와, GPS 수신부 및 센서부의 출력신호로 이동체의 현재위치를 검출하고 검출한 이동체의 현재위치를 지도정보 저장부에 저장된 디지털 지도에 맵 매칭시키며 디지털 지도에 맵 매칭시킨 맵 매칭 정보와 카메라가 촬영한 영상 및 지도정보 저장부에 저장된 지도 정보를 이용하여 3차원 정보를 추출하며 추출한 3차원 정보와 카메라가 촬영한 영상의 표시를 제어하여 이동체의 주행을 안내하는 주행안내 제어부와, 주행안내 제어부의 제어에 따라 카메라가 촬영한 영상 및 3차원 정보를 표시부에 표시하는 표시 구동부로 구성된다.A GPS receiver which receives the position information transmitted by the GPS satellite through an antenna, a sensor unit installed in the moving object to detect the driving direction and the traveling distance of the moving object, and a map storing the digital map and the map information including the place name information. The current position of the moving object is detected by an information storage unit, a camera mounted on the moving object to photograph an image of the front and rear of the moving object, a key input unit for inputting an operation command according to a user's operation, and an output signal of the GPS receiver and sensor unit. Map the detected current position of the moving object to the digital map stored in the map information storage unit, and map matching information to the digital map, map images stored by the camera and map information stored in the map information storage unit. Driving plan that guides the moving object by controlling the display of extracted 3D information and image taken by camera Under the control of the control and driving guidance control unit it is configured to image and three-dimensional information that the camera is taken with a display driver for displaying on a display unit.

네비게이션, 3차원정보, 카메라, 특징 포인트, 대응 포인트, 맵 매칭정보Navigation, 3D Information, Camera, Feature Point, Correspondence Point, Map Matching Information

Description

3차원 정보를 이용한 이동체의 주행 안내장치 및 방법{Apparatus and method for guiding route of vehicle using three-dimensional information}Apparatus and method for guiding route of vehicle using three-dimensional information}

도 1은 본 발명의 주행 안내장치에 따른 네비게이션 시스템의 구성을 보인 블록도.1 is a block diagram showing the configuration of a navigation system according to the driving guidance apparatus of the present invention.

도 2는 도 1의 주행안내 제어부의 구성을 보인 블록도.FIG. 2 is a block diagram illustrating a configuration of a driving guide control unit of FIG. 1.

도 3은 도 2의 3차원 정보 변환수단의 일 실시 예의 구성을 보인 블록도.3 is a block diagram showing the configuration of an embodiment of the three-dimensional information conversion means of FIG.

도 4는 본 발명의 주행 안내장치에서 3차원 정보 계산수단이 특징 포인트와 대응 포인트의 교점을 구하는 것을 설명하기 위한 도면.4 is a view for explaining that the three-dimensional information calculation means to obtain the intersection of the feature point and the corresponding point in the driving guide device of the present invention.

도 5는 도 2의 3차원 정보 변환수단의 다른 실시 예의 구성을 보인 블록도.5 is a block diagram showing the configuration of another embodiment of the three-dimensional information conversion means of FIG.

도 6은 본 발명의 주행 안내방법을 보인 신호흐름도.6 is a signal flow diagram showing a driving guidance method of the present invention.

도 7은 도 6의 3차원 정보변환의 일 실시 예를 보인 신호흐름도.7 is a signal flow diagram showing an embodiment of the three-dimensional information conversion of FIG.

도 8은 도 6의 3차원 정보변환의 다른 실시 예를 보인 신호흐름도.8 is a signal flow diagram showing another embodiment of the three-dimensional information conversion of FIG.

* 도면의 주요 부분에 대한 부호의 설명 *Explanation of symbols on the main parts of the drawings

100 : GPS용 위성 110 : 안테나100: GPS satellite 110: antenna

120 : GPS 수신부 130 : 센서부120: GPS receiver 130: sensor

140 : 지도정보 저장부 150, 500, 510 : 카메라140: map information storage unit 150, 500, 510: camera

160 : 키 입력부 170 : 주행안내 제어부160: key input unit 170: driving guide control unit

180 : 표시 구동부 190 : 표시부180: display driver 190: display unit

200 : 이동체 위치 검출수단 210 : 맵 매칭수단200: moving position detection means 210: map matching means

220 : 3차원 정보 변환수단 230, 240 : 제 1 및 제 2 스위칭 수단220: three-dimensional information conversion means 230, 240: first and second switching means

250 : 영상 매칭수단 300, 520, 530 : 특징 포인트 추출수단250: image matching means 300, 520, 530: feature point extraction means

310 : 저장 수단 320 : 특징 포인트 추적수단310: storage means 320: feature point tracking means

330 : 특징 포인트 매칭수단 340, 550 : 3차원 정보 계산수단330: feature point matching means 340, 550: three-dimensional information calculation means

540 : 스테레오 매칭수단540: stereo matching means

본 발명은 네비게이션 시스템에 있어서, 카메라로 촬영한 소정의 영상신호와, GPS(Global Positioning System) 수신신호 및 센서부의 출력신호로 검출한 이동체의 현재위치를 디지털 지도 데이터에 맵 매칭한 맵 매칭정보와, 지도 정보 메모리에 저장된 지도 정보를 이용하여 3차원 정보를 생성하고, 그 생성한 3차원 정보를 카메라로 촬영한 소정의 영상신호에 매칭시켜 표시패널에 표시하면서 이동체의 주행을 안내하는 3차원 정보를 이용한 이동체의 주행 안내장치 및 방법에 관한 것이다.The present invention provides a navigation system comprising: map matching information obtained by mapping a predetermined video signal captured by a camera, a current position of a moving object detected by a GPS (Global Positioning System) signal, and an output signal of a sensor unit to map-matched digital map data; 3D information is generated using the map information stored in the map information memory, and the generated 3D information is matched to a predetermined video signal photographed by a camera and displayed on the display panel to guide driving of the moving object. It relates to a driving guide device and a method of using a moving object.

위치기반 서비스의 기술발전에 따라 차량 등을 비롯한 소정의 이동체의 현재 위치를 표시하고, 그 이동체의 현재위치로부터 목적지까지의 주행경로를 탐색하여 최적의 주행경로를 안내하는 여러 가지 네비게이션 시스템들이 개발되어 시판되고 있다.With the development of location-based services, various navigation systems have been developed that display the current location of certain moving objects, including vehicles, and search the driving route from the current location of the moving object to the destination to guide the optimal driving route. It is commercially available.

이러한 이들 네비게이션 시스템은 통상적으로 표시패널의 화면에 2차원 지도를 표시하고, 그 2차원 지도에 이동체의 주행방향을 화살표로 표시하거나 또는 이동체의 현재위치를 표시하면서 이동체의 주행경로를 안내하고 있다.Such a navigation system typically displays a two-dimensional map on a screen of a display panel, and guides the traveling route of the moving object while displaying the moving direction of the moving object on the two-dimensional map by an arrow or displaying the current position of the moving object.

최근에는 컴퓨터의 성능 확장과 더불어 조감도(bird's eye view)와 같이 가상의 3차원 효과를 가지는 3차원적인 지도를 이동체의 현재 위치와 함께 표시패널의 화면에 표시하는 고가의 3차원 네비게이션 시스템들이 많이 등장하고 있으나, 이들 3차원 네비게이션 시스템에서 3차원적인 지도의 표시는 극히 초보적인 수준의 3차원 효과만을 나타내는데 그치고 있는 실정이다.In recent years, many expensive 3D navigation systems have been introduced that display a 3D map with a virtual 3D effect such as a bird's eye view along with the current position of the moving object on the display panel. However, the display of the three-dimensional map in these three-dimensional navigation system only shows a very basic three-dimensional effect.

즉, 현재 시판되고 있는 3차원 네비게이션 시스템들은 2차원 지도를 표시패널에 표시할 경우에 건물 등에 강제로 그림자를 삽입하여 마치 3차원 지도인 듯한 효과가 나타나게 하거나, 또는 정확한 3차원 시점(visual point)으로의 좌표이동을 고려하지 않고, 단순히 2차원 지도를 이미지 워핑(image warping) 등으로 비스듬하게 변환하여 표시패널의 화면에 표시한 후 그 위에 건물 및 도로 등의 형상을 3차원으로 모델링하여 지명과 함께 표시하는 것이다.In other words, 3D navigation systems currently on the market forcibly insert shadows in buildings, etc. when displaying a 2D map on a display panel to produce an effect as if it is a 3D map or an accurate 3D visual point. Without considering the movement of coordinates, the two-dimensional map is simply converted to image warping and beveled and displayed on the screen of the display panel, and then the shape of buildings and roads is modeled in three dimensions. To display together.

그러나 상기한 바와 같은 종래의 3차원적인 지도의 표시는 건물이나 도로 등의 형상을 실제와 동일하게 3차원으로 모델링하는 데에는 한계가 있는 것으로서 운전자가 이동체를 운전하면서 실제로 보는 것과 많은 차이가 있고, 이로 인하여 2차원 지도를 통해 이동체의 주행을 안내할 때보다 오히려 사용자의 혼란을 가중시켰으며, 또한 건물이나 도로를 철거 및 신축을 할 경우에 새로운 3차원 모델링 작업 을 통해 업데이트해야 되는 등의 여러 가지 문제점이 있었다.However, the display of the conventional three-dimensional map as described above has a limitation in modeling the shape of a building or a road in three dimensions in the same manner as in the real world, and there are many differences from the driver actually seeing while driving a moving object. As a result, the user's confusion is increased rather than guiding the moving of the moving object through the 2D map, and when the building or road is to be demolished and newly constructed, it has to be updated through a new 3D modeling work. There was this.

그러므로 본 발명의 목적은 이동체의 운전자가 실제로 보는 것과 동일한 영상신호를 표시패널에 표시하면서 이동체의 주행을 안내하는 3차원 정보를 이용한 이동체의 주행 안내장치 및 방법을 제공하는데 있다.It is therefore an object of the present invention to provide a traveling guide apparatus and method for moving objects using three-dimensional information for guiding driving of the moving object while displaying the same image signal as the driver of the moving object actually sees on the display panel.

본 발명의 다른 목적은 카메라로 이동체의 주행 전방을 촬영하고, 그 촬영한 영상신호를 이용하여, 지명이나 건물의 명칭 등과 같은 지도 정보를 3차원 정보로 변환하며, 그 변환한 3차원 정보와 카메라가 촬영한 이동체의 주행전방의 영상신호를 함께 표시패널에 표시하면서 이동체의 주행을 안내하는 3차원 정보를 이용한 이동체의 주행 안내장치 및 방법을 제공하는데 있다.Another object of the present invention is to photograph the driving front of the moving object with a camera, and converts the map information such as the name of the place or the name of the building into three-dimensional information by using the captured image signal, the converted three-dimensional information and the camera The present invention provides a traveling guide apparatus and a method using a three-dimensional information for guiding the traveling of the moving object while displaying the image signal of the front of the moving object taken on the display panel together.

이러한 목적을 가지는 본 발명의 3차원 정보를 이용한 이동체의 주행 안내장치는, GPS 위성이 송신하는 위치정보를 안테나를 통해 수신하는 GPS 수신부와, 이동체에 설치되어 이동체의 주행방향 및 주행거리를 검출하는 센서부와, 디지털 지도와 지명 정보를 포함하는 지도 정보를 저장하고 있는 지도정보 저장부와, 이동체에 설치되어 이동체의 주행전방의 영상을 촬영하는 카메라와, 사용자의 조작에 따른 동작명령을 입력하는 키 입력부와, 상기 GPS 수신부 및 센서부의 출력신호로 이동체의 현재위치를 검출하고 검출한 이동체의 현재위치를 상기 지도정보 저장부에 저장된 디지털 지도에 맵 매칭시키며 디지털 지도에 맵 매칭시킨 맵 매칭 정보와 상기 카메라가 촬영한 영상 및 상기 지도정보 저장부에 저장된 지도 정보를 이용하여 3차원 정보를 추출하며 추출한 3차원 정보와 상기 카메라가 촬영한 영상의 표시 를 제어하여 이동체의 주행을 안내하는 주행안내 제어부와, 상기 주행안내 제어부의 제어에 따라 상기 카메라가 촬영한 영상 및 3차원 정보를 표시부에 표시하는 표시 구동부로 구성됨을 특징으로 한다.The traveling guide apparatus of a mobile body using the three-dimensional information of the present invention having the above object is a GPS receiver for receiving position information transmitted by a GPS satellite through an antenna, and installed in the mobile body to detect the traveling direction and the traveling distance of the mobile body. A sensor unit, a map information storage unit for storing map information including digital maps and name information, a camera installed in the moving object to capture an image of the front and rear surfaces of the moving object, and inputting an operation command according to a user's operation Map matching information for detecting a current position of a moving object by a key input unit, an output signal of the GPS receiver and a sensor unit, and matching the detected current position of the moving object to a digital map stored in the map information storage unit and performing a map matching with a digital map; Extracting 3D information by using the image photographed by the camera and the map information stored in the map information storage unit A display unit for controlling the display of the extracted 3D information and the image captured by the camera to guide the moving of the moving object, and displaying the image and 3D information captured by the camera under the control of the driving guide control unit. Characterized in that it comprises a display drive unit.

상기 주행안내 제어부는, 상기 GPS 수신부가 수신한 GPS 수신신호 및 상기 센서부의 검출신호로 이동체의 현재위치를 검출하는 이동체 위치 검출수단과, 상기 이동체 위치 검출수단이 검출한 이동체의 현재위치를 상기 지도정보 저장부에 저장된 지도정보에 맵 매칭시키는 맵 매칭수단과, 상기 맵 매칭수단의 맵 매칭정보를 기준 위치로 하여 지도 데이터 저장부에서 독출한 지도 정보를 상기 카메라가 촬영한 영상신호에 따른 3차원 정보로 변환하는 3차원 정보 변환수단과, 상기 맵 매칭수단의 맵 매칭정보를 상기 카메라의 촬영 영상신호에 매칭시켜 상기 표시 구동부로 출력하는 영상 매칭수단으로 구성되고, 상기 맵 매칭수단의 맵 매칭정보 또는 상기 3차원 정보 변환수단이 변환한 3차원 정보를 스위칭하여 상기 영상 매칭수단에 선택적으로 입력시키는 제 1 스위칭 수단과, 상기 지도정보 저장부에서 독출되는 지도정보 또는 상기 카메라의 촬영 영상신호를 스위칭하여 상기 영상 매칭수단에 선택적으로 입력시키는 제 2 스위칭 수단을 더 포함하는 것을 특징으로 한다.The driving guide control unit includes: a moving object position detecting means for detecting a current position of a moving object by a GPS reception signal received by the GPS receiving unit and a detection signal of the sensor unit, and a current position of the moving object detected by the moving object position detecting means. Map matching means for map matching map information stored in an information storage unit, and map information read from a map data storage unit using map matching information of the map matching means as a reference position, according to an image signal captured by the camera; 3D information converting means for converting the information into image information, and image matching means for matching the map matching information of the map matching means with the photographed video signal of the camera and outputting the same to the display driver, and the map matching information of the map matching means. Or selectively switching the 3D information converted by the 3D information converting means to the image matching means. Is characterized in that it further comprises a first switching means and second switching means for switching the map information or the photographed image signal of the camera is read out from the map information storage unit for selectively input to the image matching means.

또한 상기 3차원 정보 변환수단은, 상기 카메라의 촬영 영상신호에서 복수의 특징 포인트를 추출하는 특징 포인트 추출수단과, 상기 특징 포인트 추출부가 추출한 복수의 특징 포인트를 저장하는 저장수단과, 상기 카메라의 촬영 영상신호에서 상기 저장수단에 저장된 이전 영상의 특징 포인트를 추적하여 찾는 특징 포인트 추적수단과, 상기 특징 포인트 추적수단이 추적한 특징 포인트를 매칭시켜 기본 매트 릭스를 구하는 특징 포인트 매칭수단과, 상기 특징 포인트 매칭수단이 구한 기본 매트릭스를 이용하여 상기 맵 매칭수단의 맵 매칭정보에 따른 이동체의 현재위치를 기준으로 하는 지도정보에 대한 3차원 정보를 계산하는 3차원 정보 계산수단으로 구성됨을 특징으로 한다.The three-dimensional information converting means may include feature point extracting means for extracting a plurality of feature points from the photographed video signal of the camera, storage means for storing the feature points extracted by the feature point extracting unit, and photographing of the camera. A feature point tracking means for tracking and finding feature points of a previous image stored in the storage means in a video signal, and feature point matching means for matching a feature point tracked by the feature point tracking means to obtain a basic matrix; And three-dimensional information calculating means for calculating three-dimensional information on the map information based on the current position of the moving object according to the map matching information of the map matching means using the basic matrix obtained by the matching means.

그리고 본 발명의 3차원 정보를 이용한 이동체의 주행 안내방법은, GPS 수신부의 수신신호 및 센서부의 검출신호를 주행안내 제어부의 이동체 위치 검출수단이 입력받고, 입력받은 GPS 수신부의 수신신호 및 센서부의 검출신호로 이동체의 현재위치를 검출하며, 검출한 이동체의 현재위치를 지도정보 저장부에 저장된 디지털 지도에 맵 매칭시키며, 카메라의 촬영 영상신호를 주행안내 제어부가 입력받고 상기 이동체의 현재위치를 디지털 지도에 맵 매칭시킨 맵 매칭정보와 상기 카메라의 촬영 영상신호로 지도정보 저장부에서 독출되는 지도정보를 3차원 정보로 변환하며, 변환한 3차원 정보를 상기 카메라의 촬영 영상신호에 매칭시킨 후 표시 구동부를 통해 표시부에 표시하는 것을 특징으로 한다.In addition, the driving guidance method of the moving object using the three-dimensional information of the present invention, the receiving signal of the GPS receiver and the detection signal of the sensor unit is received by the moving position detection means of the driving guide control unit, the received signal and the detection unit of the GPS receiver unit The current position of the moving object is detected by a signal, maps the detected current position of the moving object to a digital map stored in the map information storage unit, and a driving guidance controller receives a camera image signal and receives a digital map of the current position of the moving object. Map matching information mapped to a map and the captured image signal of the camera is converted into map information read from the map information storage unit into 3D information, and the display driving unit after matching the converted 3D information with the captured image signal of the camera Characterized in that the display on the display.

또한 본 발명의 3차원 정보를 이용한 이동체의 주행 안내방법은, 키 입력부의 동작명령에 따라 GPS 수신부 및 센서부의 출력신호로 이동체의 현재위치를 검출하고, 상기 검출한 이동체의 현재위치를 지도정보 저장부에 저장된 디지털 지도에 맵 매칭시키며, 디지털 지도에 맵 매칭시킨 맵 매칭정보와 카메라가 촬영한 영상 및 상기 지도정보 저장부에 저장된 지도정보를 이용하여 3차원 정보를 추출하며, 상기 추출한 3차원 정보와 상기 카메라가 촬영한 영상의 표시를 제어하면서 이동체의 주행을 안내하는 것을 특징으로 한다. In addition, the driving guidance method of the moving object using the three-dimensional information of the present invention, according to the operation command of the key input unit detects the current position of the moving object by the output signal of the GPS receiver and the sensor unit, and stores the current position of the detected moving object map information Map matching to the digital map stored in the unit, and extracts 3D information using map matching information matched to the digital map, an image taken by the camera, and map information stored in the map information storage unit, and extracts the 3D information. And guiding driving of the moving object while controlling the display of the image photographed by the camera.                         

상기 3차원 정보 추출은, 하나의 카메라의 촬영 영상신호에서 특징 포인트 추출수단이 복수의 특징 포인트를 추출하여 저장수단에 저장하고, 저장한 복수의 특징 포인트를 특징 포인트 추적수단이 카메라의 촬영 영상신호의 다음 장면에서 추적하여 복수의 특징 포인트에 각기 대응되는 복수의 대응 포인트들을 추출하며, 추출한 특징 포인트 및 대응 포인트를 특징 포인트 매칭수단이 매칭시켜 교점을 검출하고, 검출한 교점에 따른 기본 매트릭스를 추출하며, 검출한 기본 매트릭스와, 상기 맵 매칭정보를 이용하여 3차원 정보 계산수단이 지도정보 저장부에서 독출되는 지도정보를 3차원 정보로 변환하는 것을 특징으로 한다.The three-dimensional information extraction is characterized in that the feature point extracting means extracts a plurality of feature points from the captured video signal of one camera and stores the plurality of feature points in the storage means. A feature point matching means matches the extracted feature points with corresponding feature points by extracting a plurality of corresponding points corresponding to the plurality of feature points by tracking in the next scene of the feature, and extracting a base matrix according to the detected intersection points. The 3D information calculating means converts the map information read from the map information storage unit into 3D information using the detected basic matrix and the map matching information.

또한 상기 3차원 정보 추출은, 두 개의 카메라의 촬영 영상신호에서 2개의 특징 포인트 추출수단이 각기 복수의 특징 포인트를 추출하고, 상기 추출한 복수의 특징 포인트들 중에서 스테레오 매칭수단이 상호간에 대응되는 특징 포인트의 교점을 검출하고, 검출한 교점에 따른 기본 매트릭스를 추출하며, 추출한 기본 매트릭스와, 상기 맵 매칭정보를 이용하여 3차원 정보 계산수단이 지도정보 저장부에서 독출되는 지도정보를 3차원 정보로 변환하는 것을 특징으로 한다.The three-dimensional information extraction may include two feature point extracting means for extracting a plurality of feature points from the captured image signals of two cameras, and stereo matching means corresponding to each other among the extracted feature points. Detects the intersection points, extracts the base matrix according to the detected intersection points, and converts the map information read from the map information storage unit into 3D information by using the extracted base matrix and the map matching information. Characterized in that.

이하, 첨부된 도면을 참조하여 본 발명의 3차원 정보를 이용한 이동체의 주행 안내장치 및 방법을 상세히 설명한다.Hereinafter, with reference to the accompanying drawings will be described in detail a driving guide device and method of the moving body using the three-dimensional information of the present invention.

도 1은 본 발명의 본 발명의 주행 안내장치에 따른 네비게이션 시스템의 구성을 보인 블록도이다. 이에 도시된 바와 같이 GPS 위성(100)이 송신하는 위치정보를 안테나(110)를 통해 수신하는 GPS 수신부(120)와, 이동체에 설치되어 이동체의 주행방향 및 주행거리를 검출하는 센서부(130)와, 디지털 지도와 지명 정보 등을 비롯한 각종 지도 정보를 저장하고 있는 지도정보 저장부(140)와, 이동체에 설치되어 이동체의 주행전방의 영상을 촬영하는 카메라(150)와, 사용자의 조작에 따른 동작명령을 입력하는 키 입력부(160)와, 상기 GPS 수신부(120) 및 센서부(130)의 출력신호로 이동체의 현재위치를 검출하고 검출한 이동체의 현재위치를 상기 지도정보 저장부(140)에 저장된 디지털 지도에 맵 매칭시키며 디지털 지도에 맵 매칭시킨 맵 매칭 정보와 상기 카메라(150)가 촬영한 영상신호 및 상기 지도정보 저장부(140)에 저장된 지도 정보를 이용하여 3차원 정보를 변환하며 변환한 3차원 정보와 상기 카메라(150)가 촬영한 영상신호의 표시를 제어하여 이동체의 주행을 안내하는 주행안내 제어부(170)와, 상기 주행안내 제어부(170)의 제어에 따라 상기 카메라(150)가 촬영한 영상신호 및 3차원 정보를 표시부(190)에 표시하는 표시 구동부(180)로 구성하였다.1 is a block diagram showing the configuration of a navigation system according to the driving guidance apparatus of the present invention. As shown therein, the GPS receiver 120 receives the position information transmitted by the GPS satellite 100 through the antenna 110, and the sensor unit 130 installed in the moving object detects the driving direction and the traveling distance of the moving object. And a map information storage unit 140 for storing various map information including digital maps and name information, a camera 150 installed in the moving object to photograph an image of the front and rear surfaces of the moving object, and a user's operation. The map information storage unit 140 detects the current position of the moving object using the key input unit 160 for inputting an operation command, and output signals of the GPS receiver 120 and the sensor unit 130. Map matching to the digital map stored in the digital map, map matching information to the digital map, the image signal taken by the camera 150 and map information stored in the map information storage unit 140 to convert the three-dimensional information The driving guide control unit 170 which guides the moving of the moving object by controlling the display of the converted 3D information and the image signal photographed by the camera 150, and the camera 150 under the control of the driving guide control unit 170. The display driver 180 displays the image signal and the 3D information photographed by the display unit 190 on the display unit 190.

상기 주행안내 제어부(170)는, 도 2에 도시된 바와 같이 상기 GPS 수신부(120)가 수신한 GPS 수신신호 및 상기 센서부(130)의 검출신호로 이동체의 현재위치를 검출하는 이동체 위치 검출수단(200)과, 상기 이동체 위치 검출수단(200)이 검출한 이동체의 현재위치를 상기 지도정보 저장부(140)에 저장된 지도정보에 맵 매칭시키는 맵 매칭수단(210)과, 상기 맵 매칭수단(210)의 맵 매칭정보를 기준 위치로 하여 지도정보 저장부(140)에서 독출한 지도 정보를 상기 카메라(150)가 촬영한 영상신호에 따른 3차원 정보로 변환하는 3차원 정보 변환수단(220)과, 상기 맵 매칭수단(210)의 맵 매칭정보 또는 상기 3차원 정보 변 환수단(220)이 변환한 3차원 정보를 스위칭하여 하나를 선택하는 제 1 스위칭 수단(230)과, 상기 카메라(150)의 촬영 영상신호와 상기 지도정보 저장부(140)에 저장된 지도정보를 스위칭하여 하나를 선택하는 제 2 스위칭 수단(240)과, 상기 제 1 및 제 2 스위칭 수단(230)(240)의 스위칭에 따라 선택한 3차원 정보를 영상신호에 매칭시키거나 또는 맵 매칭정보와 지도정보를 매칭시켜 상기 표시 구동부(180)로 출력하는 영상 매칭수단(250)으로 구성하였다.As shown in FIG. 2, the driving guide control unit 170 detects the current position of the moving object by the GPS reception signal received by the GPS receiver 120 and the detection signal of the sensor unit 130. 200, map matching means 210 for map matching the current position of the moving object detected by the moving object position detecting means 200 to the map information stored in the map information storage 140, and the map matching means ( Three-dimensional information converting means 220 for converting the map information read from the map information storage unit 140 into three-dimensional information according to an image signal photographed by the camera 150 using the map matching information of 210 as a reference position. And first switching means 230 for selecting one by switching map matching information of the map matching means 210 or three-dimensional information converted by the three-dimensional information converting means 220, and the camera 150. Captured video signal and stored in the map information storage unit 140. Second switching means 240 for switching the map information to select one, and matching the 3D information selected according to the switching of the first and second switching means 230 and 240 to an image signal or a map. The image matching means 250 is configured to match the matching information with the map information and output the matching information to the display driver 180.

상기 3차원 정보 변환수단(220)은, 도 3에 도시된 바와 같이 상기 카메라(150)의 촬영 영상신호에서 복수의 특징 포인트를 추출하는 특징 포인트 추출수단(300)과, 상기 특징 포인트 추출수단(300)이 추출한 복수의 특징 포인트를 저장하는 저장수단(310)과, 상기 카메라(150)의 촬영 영상신호에서 상기 저장수단(310)에 저장된 이전 영상신호의 특징 포인트를 추적하는 특징 포인트 추적수단(320)과, 상기 특징 포인트 추적수단(320)이 추적한 특징 포인트를 매칭시켜 기본 매트릭스를 구하는 특징 포인트 매칭수단(330)과, 상기 맵 매칭수단(210)의 맵 매칭정보에 따른 이동체의 현재위치를 기준으로 상기 특징 포인트 매칭수단(330)이 구한 기본 매트릭스를 이용하여 지도정보 저장부(140)에서 독출된 지도정보의 3차원 정보를 계산하는 3차원 정보 계산수단(340)으로 구성하였다.As shown in FIG. 3, the three-dimensional information converting means 220 includes feature point extracting means 300 for extracting a plurality of feature points from the captured image signal of the camera 150, and the feature point extracting means ( Storage means 310 for storing a plurality of feature points extracted by the 300, and feature point tracking means for tracking feature points of the previous video signal stored in the storage means 310 in the captured image signal of the camera 150 ( 320, the feature point matching means 330 for obtaining a basic matrix by matching the feature points tracked by the feature point tracking means 320, and the current position of the moving object according to the map matching information of the map matching means 210. It consists of a three-dimensional information calculation means 340 for calculating the three-dimensional information of the map information read from the map information storage unit 140 using the base matrix obtained by the feature point matching means 330 on the basis of It was.

이와 같이 구성된 본 발명의 주행 안내장치는 GPS 위성(100)이 송신하는 위치정보를 안테나(110)를 통해 GPS 수신부(120)가 수신하여 주행안내 제어부(170)로 입력시키고, 센서부(130)는 이동체의 주행에 따른 주행속도 및 주행 방향 등을 검출하여 주행안내 제어부(170)로 입력시키며, 카메라(150)는 이동체의 전방을 촬영 하여 주행안내 제어부(170)로 입력시키게 된다.The driving guide apparatus of the present invention configured as described above receives the position information transmitted from the GPS satellite 100 by the GPS receiver 120 through the antenna 110 and inputs it to the driving guide controller 170, and the sensor unit 130. Detects a traveling speed and a driving direction according to the movement of the moving object and inputs it to the driving guide control unit 170, and the camera 150 captures the front of the moving object and inputs the driving guide control unit 170.

그러면, 주행안내 제어부(170)는, 상기 GPS 수신부(120)가 수신한 GPS 수신신호와 센서부(130)의 검출신호로 이동체 위치 검출수단(200)이 이동체의 현재위치를 검출하고, 그 검출한 이동체의 현재위치를 맵 매칭수단(210)이 지도정보 저장부(140)로부터 독출한 지도정보 즉, 디지털 지도에 정확히 맵 매칭시키며, 그 맵 매칭시킨 맵 매칭정보는 3차원 정보 변환수단(220)으로 입력됨과 아울러 제 1 스위칭 수단(230)의 고정단자(b1)에 인가된다.Then, the driving guide control unit 170, the moving object position detecting means 200 detects the current position of the moving object by the GPS reception signal received by the GPS receiver 120 and the detection signal of the sensor unit 130, the detection The map matching means 210 accurately maps the current position of a moving object to the map information read out from the map information storage unit 140, that is, the digital map, and the map matching information corresponding to the map is 3D information converting means 220. And is applied to the fixed terminal (b1) of the first switching means (230).

상기 3차원 정보 변환수단(220)은 도 3에 도시된 바와 같이 카메라(150)가 촬영한 영상신호를 특징 포인트 추출수단(300)이 입력받아 복수의 특징 포인트(feature points)들을 추출한다. 여기서, 복수의 특징 포인트들의 추출은 촬영된 영상신호에서 건물의 모서리 부위 등과 같은 코너(corner) 포인트를 추출하는 것으로서 'Harris 코너 검출 알고리즘' 또는 'Susan 코너 검출 알고리즘' 등을 이용하여 복수의 코너 포인트를 추출하여 저장수단(310)에 저장한다.As illustrated in FIG. 3, the 3D information converting unit 220 receives a video signal captured by the camera 150 and receives the feature point extracting unit 300 to extract a plurality of feature points. Here, the extraction of the plurality of feature points extracts corner points, such as corners of buildings, from the captured image signal, and uses a corner corner detection algorithm or Susan corner detection algorithm. Extract and store in the storage means (310).

통상적으로 카메라의 촬영 영상신호에서 동일 평면상에 놓여 있지 않은 일반적인 위치에 있는 7개의 포인트를 취득하고, 취득한 7개의 포인트를 추적할 경우에 3차원 영상신호로 복원할 수 있다. 그러나 실제로 3차원 영상신호를 복원할 경우에 7개의 포인트들이 모두 동일한 평면상에 존재하지 않고, 또한 일반적인 위치에 위치하는 것이 어렵다. 그러므로 실제로는 7개 이상 예를 들면, 수십 개 이상의 특징 포인트들을 추출해야 되는 것으로서 본 발명의 특징 포인트 추출수단(300)은 카메라(150)가 촬영한 매 장면의 영상신호에서 수십 개의 특징 포인트를 추출하고, 추 출한 특징 포인트를 저장수단(310)에 저장한다.Normally, seven points at a general position that are not on the same plane of the photographed video signal of the camera are acquired, and when the acquired seven points are tracked, the three-dimensional video signal can be restored. However, when actually restoring the 3D video signal, all seven points do not exist on the same plane, and it is difficult to be located at a general position. Therefore, in practice, the feature point extracting means 300 of the present invention needs to extract seven or more, for example, several dozen or more feature points, and extracts dozens of feature points from the video signal of every scene photographed by the camera 150. Then, the extracted feature points are stored in the storage means 310.

그리고 하나의 카메라(150)로 촬영한 영상신호를 3차원으로 복원하기 위해서는 연속되는 영상신호들을 이용해야 되고, 그 연속되는 영상신호들 사이에서 일치되는 특징 포인트를 찾아야 되는 것으로서 하나의 영상신호에서의 소정의 특징 포인트가 연속되는 다음 영상신호에서 어느 위치로 옮겨졌는지를 추적해야 된다. 이를 위하여 본 발명에서는 특징 포인트 추적수단(320)이 저장수단(310)에 저장된 특정 포인트를 입력받고, 그 입력받은 특징 포인트가 카메라(150)로부터 입력되는 다음 영상신호 내에서 어느 위치로 옮겨졌는지를 추적하게 된다.In order to reconstruct the video signal captured by one camera 150 in three dimensions, continuous video signals must be used, and feature points corresponding to the consecutive video signals must be found. It is necessary to track to which position the predetermined feature point is moved in the next successive video signal. To this end, in the present invention, the feature point tracking unit 320 receives a specific point stored in the storage unit 310, and to which position the received feature point is moved within the next video signal input from the camera 150. To be tracked.

특징 포인트 추적수단(320)의 특징 포인트의 추적은 각각의 특징 포인트에 대하여 다음 영상신호에서 일정 크기의 윈도우(window)를 형성하고, 그 윈도우 내에서 크로스 상관관계(cross correlation)가 최대(maximize)인 대응 포인트를 찾는다.The tracking of the feature points of the feature point tracking means 320 forms a window of a certain size in the next video signal for each feature point, and the cross correlation within the window is maximized. We look for corresponding correspondence point.

상기 특징 포인트 추적수단(320)이 특징 포인트를 추적하여 그 특징 포인트에 대응되는 대응 포인트를 찾으면, 특징 포인트 매칭수단(330)이 상기 특징 포인트와 대응 포인트들의 좌표로부터 두 영상신호에서의 특징 포인트들 및 대응 포인트들의 대응관계를 나타내는 기본 매트릭스(fundamental matrix)를 구한다.When the feature point tracking means 320 tracks the feature point and finds a corresponding point corresponding to the feature point, the feature point matching means 330 determines the feature points in the two image signals from the coordinates of the feature point and the corresponding points. And a fundamental matrix representing correspondences of corresponding points.

일반적인 위치에 있지 않고, 동일 평면상에 존재하는 포인트들이 많을 경우에 정확한 기본 매트릭스를 구하기가 어렵다. 그러므로 본 발명의 특징 포인트 매칭수단(330)에서는 기본 매트릭스의 계산에 방해가 되는 필요 없는 포인트(outlier point)를 제거하는 알고리즘인 RANSAC(RANdom SAmpling Consensus)를 사용하여 기 본 매트릭스를 구한다.If there are many points that are not in a general position and exist on the same plane, it is difficult to obtain an accurate basic matrix. Therefore, the feature point matching means 330 of the present invention obtains the basic matrix by using RANSAC (RANdom SAmpling Consensus), which is an algorithm for removing outlier points that do not interfere with the calculation of the base matrix.

상기 특징 포인트 매칭수단(330)에서 기본 매트릭스가 구해지면, 3차원 정보 계산수단(340)이 상기 구한 기본 매트릭스를 이용하여, 각각의 특징 포인트와 그 특징 포인트에 대응되는 대응 포인트에 대한 3차원 교점을 구하고, 그 구한 3차원 교점에 대한 3차원 좌표를 계산한 후 계산한 3차원 좌표들에 따라, 지도정보 저장부(140)에서 독출되는 2차원의 지도정보를 3차원 정보로 변환한다.When the base matrix is obtained from the feature point matching means 330, the 3D information calculation means 340 uses the obtained base matrix, and the 3D intersection point of each feature point and a corresponding point corresponding to the feature point is obtained. After calculating the 3D coordinates for the obtained 3D intersection, the 2D map information read from the map information storage unit 140 is converted into 3D information according to the calculated 3D coordinates.

즉, 3차원 정보 계산수단(340)에서의 3차원 좌표 계산은, 도 4에 도시된 바와 같이 상기 구한 기본 매트릭스를 이용하여, 바로 전에 촬영한 영상(400)에 대하여 카메라(150)의 중심위치 즉, 영상(400)을 촬영한 시점(402)으로부터 소정의 특징 포인트(404)를 지나는 백 프로젝티드 선(back projected ray)(406)과, 다음에 촬영한 영상(410)에 대하여 시점(412)으로부터 상기 특징 포인트(404)에 대응되는 대응 포인트(414)를 지나는 백 프로젝티드 선(414)이 상호간에 만나는 3차원 교점(420)을 구하고, 그 구한 교점(420)에 대하여 3각 측량(triangulation)으로 맵 매칭정보에 따른 이동체의 현재위치를 기준으로 하는 3차원좌표를 구한다. 그리고 복수의 특징 포인트(404)와, 그 복수의 특징 포인트(404)에 대응되는 복수의 대응 포인트(414)들 각각에 대한 교점의 3차원 좌표가 모두 구해지면, 각 교점의 3차원 좌표를 이용하여 지도정보 저장부(140)로부터 독출되는 각각의 지도정보를 3차원 정보로 변환한다.That is, the three-dimensional coordinate calculation in the three-dimensional information calculation means 340, the center position of the camera 150 with respect to the image 400 taken immediately before using the obtained basic matrix as shown in FIG. That is, the back projected ray 406 passing through the predetermined feature point 404 from the time point 402 at which the image 400 was captured, and the view point 412 for the next image 410 captured. ), The three-dimensional intersection 420 where the back projected line 414 passing through the corresponding point 414 corresponding to the feature point 404 meet each other, and triangulation (420) with respect to the obtained intersection 420 triangulation) to obtain a three-dimensional coordinate based on the current position of the moving object according to the map matching information. When the three-dimensional coordinates of the intersection points for each of the plurality of feature points 404 and the plurality of corresponding points 414 corresponding to the plurality of feature points 404 are obtained, the three-dimensional coordinates of the respective intersection points are used. Each map information read from the map information storage unit 140 is converted into three-dimensional information.

이와 같이 3차원 변환수단(220)의 3차원 정보 계산수단(340)에서 변환된 3차원 정보는 제 1 스위칭 수단(230)의 고정단자(a1)에 인가된다.The three-dimensional information converted by the three-dimensional information calculating means 340 of the three-dimensional converting means 220 is applied to the fixed terminal a1 of the first switching means 230.

이와 같은 상태에서 사용자가 키 입력부(160)를 조작하여 3차원 표시를 명령할 경우에 제 1 스위칭 수단(230) 및 제 2 스위칭 수단(240)은 가동단자가 고정단자(a1)(a2)에 각기 접속된다.In this state, when the user manipulates the key input unit 160 to command a three-dimensional display, the first switching means 230 and the second switching means 240 have movable terminals connected to the fixed terminals a1 and a2. Each is connected.

그러면, 상기 3차원 정보 변환수단(220)에서 출력되는 3차원 정보와 카메라(150)가 촬영한 영상신호가 제 1 스위칭 수단(230) 및 제 2 스위칭 수단(240)을 각기 통해 영상 매칭수단(250)으로 입력되는 것으로서 영상 매칭수단(250)은 카메라(150)가 촬영한 영상신호에 상기 3차원 정보를 각각의 좌표에 매칭시켜 합성하고, 그 합성한 영상신호 및 3차원 정보는 표시 구동부(180)를 통해 표시부(190)에 표시된다.Then, the three-dimensional information output from the three-dimensional information conversion means 220 and the image signal photographed by the camera 150 through the first switching means 230 and the second switching means 240 through the image matching means ( The image matching means 250 inputs the image signal captured by the camera 150 to match the coordinates of the three-dimensional information to the respective coordinates, and the synthesized image signal and the three-dimensional information are combined with the display driver. The display unit 190 displays the display unit 190 through 180.

그리고 사용자가 키 입력부(160)를 조작하여 2차원 디지털 지도의 표시를 명령할 경우에 제 1 스위칭 수단(230) 및 제 2 스위칭 수단(240)은 가동단자가 고정단자(b1)(b2)에 각기 접속된다.When the user commands the display of the two-dimensional digital map by manipulating the key input unit 160, the first switching means 230 and the second switching means 240 have the movable terminals at the fixed terminals b1 and b2. Each is connected.

그러면, 상기 맵 매칭수단(210)에서 출력되는 맵 매칭정보와 지도정보 저장부(140)로부터 독출되는 지도정보 즉, 디지털 지도가 제 1 스위칭 수단(230) 및 제 2 스위칭 수단(240)을 각기 통해 영상 매칭수단(250)으로 입력되는 것으로서 영상 매칭수단(250)은 통상의 방법으로 디지털 지도에 맵 매칭 정보에 따른 이동체의 위치를 삽입한 후 표시 구동부(180)로 출력하여 표시부(190)에 표시된다.Then, the map matching information output from the map matching means 210 and the map information read from the map information storage unit 140, that is, the digital map, respectively, the first switching means 230 and the second switching means 240, respectively. The image matching means 250, which is input to the image matching means 250 through the conventional method, inserts the position of the moving object according to the map matching information into the digital map and outputs it to the display driver 180 to the display 190. Is displayed.

도 5는 도 2의 3차원 정보 변환수단(220)의 다른 실시 예의 구성을 보인 블록도이다. 이에 도시된 바와 같이 상호간에 소정의 간격을 유지하면서 이동체에 설치되어 이동체의 주행 전방의 영상을 각기 촬영하는 제 1 카메라(500) 및 제 2 카 메라(410)와, 상기 제 1 카메라(500) 및 제 2 카메라(410)의 촬영 영상신호에서 특징 포인트를 추출하는 제 1 특징 포인트 추출수단(520) 및 제 2 특징 포인트 추출수단(530)과, 상기 제 1 및 제 2 특징 포인트 추출수단(520)(530)이 각기 추출한 특징 포인트를 매칭시켜 기본 매트릭스를 구하는 스테레오 매칭수단(540)과, 상기 맵 매칭수단(210)의 맵 매칭정보에 따른 이동체의 현재위치를 기준으로 상기 스테레오 매칭수단(540)이 구한 기본 매트릭스를 이용하여 지도정보 저장부(140)에서 독출된 지도정보의 3차원 정보를 계산하는 3차원 정보 계산수단(550)으로 구성하였다.5 is a block diagram showing the configuration of another embodiment of the three-dimensional information conversion means 220 of FIG. As shown in FIG. 1, the first camera 500 and the second camera 410 are installed on the movable body while maintaining a predetermined distance therebetween, respectively, and photograph the moving front image of the movable body, respectively, and the first camera 500. And first feature point extracting means 520 and second feature point extracting means 530 for extracting feature points from the captured video signal of the second camera 410, and the first and second feature point extracting means 520. Stereo matching means (540) for obtaining a basic matrix by matching feature points extracted by 530, and the stereo matching means (540) based on the current position of the moving object based on map matching information of the map matching means (210). 3D information calculation means 550 for calculating 3D information of the map information read from the map information storage unit 140 using the obtained basic matrix.

이와 같이 구성된 본 발명의 3차원 정보 변환수단(220)의 다른 실시 예는 이동체가 주행을 할 경우에 상호간에 소정의 간격을 유지하면서 이동체에 설치되어 있는 제 1 및 제 2 카메라(500)(510)가 각기 이동체의 주행 전방을 촬영하고, 촬영한 영상신호는 제 1 및 제 2 특징 포인트 추출수단(520)(530)으로 각기 입력된다.According to another embodiment of the three-dimensional information converting means 220 of the present invention configured as described above, the first and second cameras 500 and 510 installed in the movable body while maintaining a predetermined interval therebetween when the movable body is traveling. 2) respectively photograph the traveling front of the moving object, and the captured image signal is input to the first and second feature point extracting means 520 and 530, respectively.

상기 제 1 및 제 2 특징 포인트 추출수단(520)(530)은 상기 입력되는 제 1 및 제 2 카메라(500)(510)의 촬영 영상신호에서 각기 복수의 특징 포인트들을 추출하고, 제 1 및 제 2 특징 포인트 추출수단(520)(530)이 각기 추출한 복수의 특징 포인트들을 스테레오 매칭수단(540)으로 입력된다.The first and second feature point extracting means 520 and 530 extract a plurality of feature points from the captured image signals of the first and second camera 500 and 510, respectively. The plurality of feature points extracting means 520 and 530 are input to the stereo matching means 540 respectively.

그러면, 상기 스테레오 매칭수단(540)은, 상기 특징 포인트 매칭수단(330)과 마찬가지로 제 1 및 제 2 특징 포인트 추출수단(520)(530)이 각기 추출한 복수의 특징 포인트들 중에서 상호간에 대응되는 특징 포인트의 교점을 검출하여 그 특징 포인트들의 대응관계를 나타내는 기본 매트릭스를 구하고, 그 구한 기본 매트릭스 를 이용하여 3차원 정보 계산수단(550)이 상기 구한 기본 매트릭스를 이용하여, 각각의 특징 포인트와 그 특징 포인트에 대응되는 대응 포인트에 대한 3차원 교점을 구한 후 그 구한 3차원 교점에 대한 3차원 좌표를 계산한 후 계산한 3차원 좌표들에 따라, 지도정보 저장부(140)에서 독출되는 2차원의 지도정보를 3차원 정보로 변환한다.Then, the stereo matching means 540, like the feature point matching means 330, the feature corresponding to each other among the plurality of feature points extracted by the first and second feature point extraction means (520, 530), respectively By detecting the intersection of the points, a basic matrix representing the correspondence of the feature points is obtained, and each feature point and the feature are obtained by using the obtained base matrix by the 3D information calculating means 550 using the obtained base matrix. After obtaining the three-dimensional intersection of the corresponding point corresponding to the point, after calculating the three-dimensional coordinates of the obtained three-dimensional intersection, the two-dimensional read out of the map information storage unit 140 according to the calculated three-dimensional coordinates Convert map information into 3D information.

도 6은 하나의 카메라(150)를 이용하여 이동체의 주행 전방을 촬영하면서 이동체의 주행을 안내하는 본 발명의 주행 안내방법의 일 실시 예를 보인 신호흐름도이다. 이에 도시된 바와 같이 단계(600)에서 GPS 수신부(120)가 수신하는 수신신호와 센서부(130)가 검출하는 검출신호를 주행안내 제어부(170)가 입력받고, 단계(602)에서 상기 입력받은 GPS 수신신호 및 센서부(130)의 검출신호를 이용하여 이동체 위치 검출수단(200)이 이동체의 현재위치를 검출하며, 단계(604)에서 상기 검출한 이동체의 현재위치를 지도정보 저장부(140)에 저장된 디지털 지도에 맵 매칭시킨다.6 is a signal flow diagram illustrating an embodiment of a driving guidance method of the present invention for guiding driving of a moving body while photographing a traveling front of the moving body using one camera 150. As shown in FIG. 6, the driving guide control unit 170 receives the received signal received by the GPS receiver 120 and the detection signal detected by the sensor unit 130 in step 600, and the input signal is received in step 602. The moving object position detecting means 200 detects the current position of the moving object by using the GPS received signal and the detection signal of the sensor unit 130, and in step 604 the map information storage unit 140 stores the current position of the detected moving object. Map matching to the digital map stored in).

다음 단계(606)에서는 주행안내 제어부(170)가 카메라(150)(500, 510)의 촬영 영상신호를 입력하고, 단계(608)에서 상기 이동체의 현재위치를 디지털 지도에 맵 매칭시킨 맵 매칭정보와 상기 카메라(150)(500, 510)의 촬영 영상신호를 이용하여 지도정보 저장부(140)에서 독출되는 지도정보를 3차원 정보로 변환한 후 단계(610)에서 상기 변환한 3차원 정보를 카메라(150)(500)의 촬영 영상신호에 매칭시키고, 표시 구동부(180)를 통해 표시부(190)에 표시하여 이동체의 주행을 안내한다.In the next step 606, the driving guide control unit 170 inputs the captured image signal of the camera 150 (500, 510), and in step 608 map matching information for map matching the current position of the moving object to the digital map And convert the map information read from the map information storage unit 140 into 3D information using the captured image signals of the cameras 150, 500 and 510, and then convert the converted 3D information in step 610. Matched to the photographed video signal of the camera 150, 500, and displayed on the display unit 190 through the display driver 180 to guide the driving of the moving object.

상기 단계(608)에서의 3차원 정보 변환은, 도 7에 도시된 바와 같이 단계(700)에서 주행안내 제어부(170)의 특징 포인트 추출수단(300)이 하나의 카메라(150)의 촬영 영상신호에서 복수의 특징 포인트를 추출하여 저장수단(310)에 저장하고, 그 저장수단(310)에 저장한 복수의 특징 포인트를 특징 포인트 추적수단(320)이 카메라(150)의 촬영 영상신호의 다음 장면에서 추적하여 복수의 특징 포인트에 각기 대응되는 복수의 대응 포인트들을 추출한다.As shown in FIG. 7, the three-dimensional information conversion in step 608 is performed by the feature point extracting means 300 of the driving guide control unit 170 in step 700. Extracts a plurality of feature points in the storage means 310 and stores the plurality of feature points in the storage means 310, and then the feature point tracking means 320 next scenes of the captured image signal of the camera 150. Trace to extract a plurality of corresponding points respectively corresponding to the plurality of feature points.

다음 단계(704)에서는 특징 포인트 매칭수단(330)이 상기 특징 포인트와 그 특징 포인트에 대응되는 대응 포인트를 매칭시켜 교점을 검출하고, 검출한 교점에 따른 기본 매트릭스를 추출하며, 단계(706)에서 3차원 정보 계산수단(340)이 상기 검출한 기본 매트릭스와, 상기 맵 매칭정보를 이용하여 지도정보 저장부(140)에서 독출되는 지도정보를 3차원 정보로 변환한다.In the next step 704, the feature point matching means 330 matches the feature point with the corresponding point corresponding to the feature point, detects an intersection point, extracts a basic matrix according to the detected intersection point, and in step 706 The 3D information calculating unit 340 converts the map information read from the map information storage unit 140 into 3D information using the detected base matrix and the map matching information.

도 8은 상기 단계(608)에서 3차원 정보 변환을 수행하는 다른 실시 예를 보인 신호흐름도이다. 이에 도시된 바와 같이 단계(800)에서 두 개의 카메라(500)(510)가 각기 촬영하는 촬영 영상신호에서 제 1 및 제 2 특징 포인트 추출수단(520)(530)이 각기 복수의 특징 포인트를 추출하고, 단계(802)에서 스테레오 매칭부(540)가 상기 추출한 특징 포인트들 중에서 상호간에 대응되는 특징 포인트들의 교점을 검출하고, 검출한 교점에 따른 기본 매트릭스를 추출한다.8 is a signal flow diagram illustrating another embodiment of performing 3D information conversion in step 608. As shown in FIG. 800, the first and second feature point extracting means 520 and 530 extract a plurality of feature points, respectively, from the captured image signal respectively photographed by the two cameras 500 and 510 in step 800. In operation 802, the stereo matching unit 540 detects an intersection of feature points corresponding to each other among the extracted feature points, and extracts a basic matrix according to the detected intersection.

다음 단계(804)에서는 3차원 정보 계산수단(550)이 상기 검출한 기본 매트릭스와, 상기 맵 매칭정보를 이용하여 지도정보 저장부(140)에서 독출되는 지도정보를 3차원 정보로 변환한다.In the next step 804, the three-dimensional information calculation means 550 converts the map information read from the map information storage unit 140 into three-dimensional information by using the detected basic matrix and the map matching information.

한편, 상기에서는 본 발명을 특정의 바람직한 실시 예에 관련하여 도시하고 설명하였지만, 이하의 특허청구범위에 의해 마련되는 본 발명의 정신이나 분야를 이탈하지 않는 한도 내에서 본 발명이 다양하게 개조 및 변화될 수 있다는 것을 당 업계에서 통상의 지식을 가진 자는 용이하게 알 수 있다.On the other hand, while the present invention has been shown and described with respect to specific preferred embodiments, various modifications and changes of the present invention without departing from the spirit or field of the invention provided by the claims below It can be easily understood by those skilled in the art.

이상에서 설명한 바와 같이 본 발명은 카메라의 촬영 영상신호를 이용하여 3차원 정보를 생성하고, 그 생성한 3차원 정보와 카메라의 촬영 영상신호를 매칭시켜 표시패널에 표시하면서 이동체의 주행을 안내하는 것으로서 건물이나 도로 등에 대한 별도의 3차원 모델링 과정을 수행하지 않아도 되고, 이동체의 운전자가 실제로 보는 영상과 동일한 영상을 표시하면서 이동체의 주행을 안내하여 이동체의 주행을 운전자에게 정확하게 안내할 수 있다.As described above, the present invention generates three-dimensional information by using the photographed video signal of the camera, and matches the generated three-dimensional information with the photographed video signal of the camera to display on the display panel to guide the driving of the moving object. It is not necessary to perform a separate three-dimensional modeling process for a building or a road, and the driving of the moving body can be accurately guided to the driver by displaying the same image as the image of the moving object actually seen by the driver.

Claims (8)

GPS 위성이 송신하는 위치정보를 안테나를 통해 수신하는 GPS 수신부;A GPS receiver for receiving position information transmitted by a GPS satellite through an antenna; 이동체에 설치되어 상기 이동체의 주행방향 및 주행거리를 검출하는 센서부;A sensor unit installed at a moving body to detect a driving direction and a traveling distance of the moving body; 디지털 지도와 지명 정보가 포함된 지도 정보를 저장한 지도정보 저장부;A map information storage unit for storing map information including digital maps and name information; 상기 이동체에 설치되어 상기 이동체의 주행전방의 영상을 촬영하는 카메라;A camera installed in the moving body to take an image of the front and rear of the moving body; 사용자의 조작에 따른 동작명령을 입력하는 키 입력부;A key input unit for inputting an operation command according to a user's operation; 상기 키 입력부의 동작명령에 따라 상기 GPS 수신부 및 센서부의 출력신호로 이동체의 현재위치를 검출하고 검출한 이동체의 현재위치를 상기 지도정보 저장부에 저장된 디지털 지도에 맵 매칭시키며 디지털 지도에 맵 매칭시킨 맵 매칭 정보와 상기 카메라가 촬영한 영상을 사용하여 상기 지도정보 저장부에 저장된 지도 정보를 3차원 정보로 변환하고 변환한 3차원 정보와 상기 카메라가 촬영한 영상의 표시를 제어하여 이동체의 주행을 안내하는 주행안내 제어부;According to an operation command of the key input unit, the GPS receiver and the sensor output signals to detect the current position of the moving object, and map the detected current position of the moving object to the digital map stored in the map information storage unit. The map matching information and the image taken by the camera are used to convert the map information stored in the map information storage unit into three-dimensional information, and control the display of the converted three-dimensional information and the image taken by the camera to drive the moving object. A driving guide controller for guiding; 상기 주행안내 제어부의 제어에 따라 상기 3차원 정보와 상기 카메라가 촬영한 영상을 표시부에 표시하는 표시 구동부로 된 3차원 정보를 이용한 이동체의 주행 안내장치.And a three-dimensional information including a display driver for displaying the three-dimensional information and the image photographed by the camera on a display unit under the control of the traveling guide controller. 제 1 항에 있어서, 상기 주행안내 제어부는;According to claim 1, The driving guide control unit; 상기 GPS 수신부가 수신한 GPS 수신신호 및 상기 센서부의 검출신호로 이동 체의 현재위치를 검출하는 이동체 위치 검출수단;Moving object position detecting means for detecting the current position of the moving object by the GPS receiving signal received by the GPS receiving part and the detection signal of the sensor part; 상기 이동체 위치 검출수단이 검출한 이동체의 현재위치를 상기 지도정보 저장부에 저장된 지도정보에 맵 매칭시키는 맵 매칭수단;Map matching means for map-matching the current position of the moving object detected by the moving object position detecting means with the map information stored in the map information storage unit; 상기 맵 매칭수단의 맵 매칭정보를 기준 위치로 하여 지도 데이터 저장부에서 독출한 지도 정보를 상기 카메라가 촬영한 영상신호에 따른 3차원 정보로 변환하는 3차원 정보 변환수단;Three-dimensional information conversion means for converting map information read from a map data storage unit into three-dimensional information according to an image signal photographed by the camera, using the map matching information of the map matching means as a reference position; 상기 맵 매칭수단의 맵 매칭정보를 상기 카메라의 촬영 영상신호에 매칭시켜 상기 표시 구동부로 출력하는 영상 매칭수단으로 구성됨을 특징으로 하는 3차원 정보를 이용한 이동체의 주행 안내장치.And an image matching means for matching the map matching information of the map matching means to the captured image signal of the camera and outputting the image matching means to the display driver. 제 2 항에 있어서,The method of claim 2, 상기 맵 매칭수단의 맵 매칭정보 또는 상기 3차원 정보 변환수단이 변환한 3차원 정보를 스위칭하여 상기 영상 매칭수단에 선택적으로 입력시키는 제 1 스위칭 수단; 및First switching means for selectively switching the map matching information of the map matching means or the three-dimensional information converted by the three-dimensional information converting means to selectively input the image matching means; And 상기 지도정보 저장부에서 독출되는 지도정보 또는 상기 카메라의 촬영 영상신호를 스위칭하여 상기 영상 매칭수단에 선택적으로 입력시키는 제 2 스위칭 수단을 더 포함하는 것을 특징으로 하는 3차원 정보를 이용한 이동체의 주행 안내장치.And a second switching means for selectively switching the map information read from the map information storage unit or the photographed image signal of the camera to selectively input the image matching means to the image matching means. Device. 제 2 항에 있어서, 상기 3차원 정보 변환수단은;The method of claim 2, wherein the three-dimensional information conversion means; 상기 카메라의 촬영 영상신호에서 복수의 특징 포인트를 추출하는 특징 포인 트 추출수단;Feature point extraction means for extracting a plurality of feature points from the captured video signal of the camera; 상기 특징 포인트 추출부가 추출한 복수의 특징 포인트를 저장하는 저장수단;Storage means for storing a plurality of feature points extracted by the feature point extractor; 상기 카메라의 촬영 영상신호에서 상기 저장수단에 저장된 이전 영상의 특징 포인트를 추적하여 찾는 특징 포인트 추적수단;Feature point tracking means for tracking and finding feature points of a previous image stored in the storage means in the captured image signal of the camera; 상기 특징 포인트 추적수단이 추적한 특징 포인트를 매칭시켜 기본 매트릭스를 구하는 특징 포인트 매칭수단;Feature point matching means for matching a feature point tracked by the feature point tracking means to obtain a basic matrix; 상기 특징 포인트 매칭수단이 구한 기본 매트릭스를 이용하여 상기 맵 매칭수단의 맵 매칭정보에 따른 이동체의 현재위치를 기준으로 하는 지도정보에 대한 3차원 정보를 계산하는 3차원 정보 계산수단으로 구성됨을 특징으로 하는 3차원 정보를 이용한 이동체의 주행 안내장치.And three-dimensional information calculating means for calculating three-dimensional information on the map information based on the current position of the moving object according to the map matching information of the map matching means by using the basic matrix obtained by the feature point matching means. Travel guide device of the moving object using the three-dimensional information. GPS 수신부의 수신신호 및 센서부의 검출신호를 주행안내 제어부의 이동체 위치 검출수단이 입력받아 이동체의 현재위치를 검출하는 위치 검출과정;A position detection process of detecting a current position of the moving object by receiving the received signal of the GPS receiving unit and the detecting signal of the sensor unit from the moving object position detecting means of the driving guide control unit; 상기 위치 검출과정에서 검출한 이동체의 현재위치를 지도정보 저장부에 저장된 디지털 지도에 맵 매칭시키는 맵 매칭과정;A map matching step of map matching the current position of the moving object detected in the location detection process to a digital map stored in a map information storage unit; 카메라가 촬영한 영상신호를 주행안내 제어부가 입력받고 상기 맵 매칭과정의 맵 매칭정보와 상기 카메라가 촬영한 영상신호를 이용하여, 지도정보 저장부에서 독출되는 지도정보를 3차원 정보로 변환하는 3차원 정보 변환과정; 및The driving guide control unit receives an image signal captured by the camera and converts the map information read from the map information storage unit into 3D information using the map matching information of the map matching process and the image signal captured by the camera. Dimensional information conversion process; And 상기 3차원 정보 변환과정에서 변환한 3차원 정보를 상기 카메라가 촬영한 영상신호에 매칭시킨 후 표시 구동부를 통해 표시부에 표시하는 표시과정으로 이루어진 3차원 정보를 이용한 이동체의 주행 안내방법.And a display process of matching the 3D information converted in the 3D information conversion process to the image signal photographed by the camera and displaying the 3D information on the display unit through a display driving unit. 키 입력부의 동작명령에 따라 GPS 수신부 및 센서부의 출력신호로 이동체의 현재위치를 검출하는 위치 검출과정;A position detection process of detecting a current position of the moving object by output signals of the GPS receiver and the sensor according to an operation command of the key input unit; 상기 검출한 이동체의 현재위치를 지도정보 저장부에 저장된 디지털 지도에 맵 매칭시키는 맵 매칭과정;A map matching process of map matching the detected current position of the moving object to a digital map stored in a map information storage unit; 디지털 지도에 맵 매칭시킨 맵 매칭정보와 카메라가 촬영한 영상을 사용하여 상기 지도정보 저장부에 저장된 지도정보를 3차원 정보로 변환하는 3차원 정보 변환과정; 및A three-dimensional information conversion process of converting map information stored in the map information storage unit into three-dimensional information by using map matching information matched with a digital map and an image photographed by a camera; And 상기 변환한 3차원 정보와 상기 카메라가 촬영한 영상의 표시를 제어하면서 이동체의 주행을 안내하는 안내과정으로 이루어진 3차원 정보를 이용한 이동체의 주행 안내방법.And a guide process for guiding driving of the moving object while controlling the display of the converted 3D information and the image captured by the camera. 제 5 항 또는 제 6 항에 있어서, 상기 3차원 정보 변환과정은;The method of claim 5 or 6, wherein the three-dimensional information conversion process; 하나의 카메라가 촬영한 영상신호에서 특징 포인트 추출수단이 복수의 특징 포인트를 추출하여 저장수단에 저장하는 제 10 과정;A tenth step of extracting, by the feature point extracting means, the plurality of feature points from the image signal photographed by one camera and storing them in the storage means; 상기 10 과정에서 저장한 복수의 특징 포인트를 특징 포인트 추적수단이 카메라의 촬영 영상신호의 다음 장면에서 추적하여 복수의 특징 포인트에 각기 대응되는 복수의 대응 포인트들을 추출하는 제 11 과정;An eleventh step of extracting a plurality of corresponding points respectively corresponding to the plurality of feature points by the feature point tracking unit tracking the plurality of feature points stored in the step 10 in a next scene of the captured video signal of the camera; 상기 제 10 과정에서 추출한 특징 포인트와 상기 제 11 과정에서 추출한 대응 포인트를 특징 포인트 매칭수단이 매칭시켜 교점을 검출하고, 검출한 교점에 따른 기본 매트릭스를 추출하는 제 12 과정;A twelfth step of detecting intersection points by the feature point matching means matching the feature points extracted in the tenth step and the corresponding points extracted in the eleventh step, and extracting a basic matrix according to the detected intersection points; 상기 제 12 과정에서 검출한 기본 매트릭스와, 상기 맵 매칭정보를 이용하여 3차원 정보 계산수단이 지도정보 저장부에서 독출되는 지도정보를 3차원 정보로 변환하는 제 13 과정으로 이루어지는 것을 특징으로 하는 3차원 정보를 이용한 이동체의 주행 안내방법.And a thirteenth step of converting map information read from the map information storage unit into three-dimensional information by using the basic matrix detected in the twelfth step and the map matching information. Driving guidance method of moving object using dimensional information. 제 5 항 또는 제 6 항에 있어서, 3차원 정보 변환과정은;The method of claim 5 or 6, wherein the three-dimensional information conversion process; 두 개의 카메라가 촬영한 영상신호에서 2개의 특징 포인트 추출수단이 각기 복수의 특징 포인트를 추출하는 제 20 과정;A twentieth step of extracting a plurality of feature points from two feature point extracting means, respectively, from image signals captured by two cameras; 상기 제 20 과정에서 각기 추출한 복수의 특징 포인트들 중에서 스테레오 매칭수단이 상호간에 대응되는 특징 포인트의 교점을 검출하고, 검출한 교점에 따른 기본 매트릭스를 추출하는 제 21 과정; 및A twenty-first step of detecting an intersection of feature points corresponding to each other by stereo matching means among a plurality of feature points extracted in the twentieth step, and extracting a basic matrix according to the detected intersection points; And 상기 제 21 과정에서 추출한 기본 매트릭스와, 상기 맵 매칭정보를 이용하여 3차원 정보 계산수단이 지도정보 저장부에서 독출되는 지도정보를 3차원 정보로 변환하는 제 22 과정으로 이루어지는 것을 특징으로 하는 3차원 정보를 이용한 이동체의 주행 안내방법.A three-dimensional process comprising a twenty-second process of converting map information read from a map information storage unit into three-dimensional information by using the basic matrix extracted in the twenty-first step and the map matching information; Driving guide method of the moving object using the information.
KR1020030051816A 2003-07-26 2003-07-26 Apparatus and method for guiding route of vehicle using three-dimensional information KR100550430B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020030051816A KR100550430B1 (en) 2003-07-26 2003-07-26 Apparatus and method for guiding route of vehicle using three-dimensional information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020030051816A KR100550430B1 (en) 2003-07-26 2003-07-26 Apparatus and method for guiding route of vehicle using three-dimensional information

Publications (2)

Publication Number Publication Date
KR20050013000A KR20050013000A (en) 2005-02-02
KR100550430B1 true KR100550430B1 (en) 2006-02-13

Family

ID=37224731

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020030051816A KR100550430B1 (en) 2003-07-26 2003-07-26 Apparatus and method for guiding route of vehicle using three-dimensional information

Country Status (1)

Country Link
KR (1) KR100550430B1 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100668969B1 (en) * 2005-06-23 2007-01-12 엘지전자 주식회사 Method for guiding road using camera image
KR100761664B1 (en) * 2005-12-16 2007-10-01 주식회사 대우일렉트로닉스 Car navigation device
KR100809359B1 (en) * 2005-12-20 2008-03-05 주식회사 엔지스테크널러지 Vehicle navigation device offering 3d map data and operating method of the device
KR100940043B1 (en) * 2007-11-16 2010-02-04 주식회사 케이티 Mobile terminal for supporting road guide service and method thereof
KR100922544B1 (en) * 2007-12-17 2009-10-21 한국전자통신연구원 Live video compositing system by using realtime camera tracking and its method
KR100952248B1 (en) * 2007-12-26 2010-04-09 엘지전자 주식회사 Mobile terminal and its navigation method
KR102077498B1 (en) * 2013-05-13 2020-02-17 한국전자통신연구원 Movement path extraction devices of mutual geometric relations fixed camera group and the method
KR102462502B1 (en) 2016-08-16 2022-11-02 삼성전자주식회사 Automated driving method based on stereo camera and apparatus thereof
KR102153928B1 (en) * 2018-07-06 2020-09-10 주식회사 싸인랩 Real time location tracking system

Also Published As

Publication number Publication date
KR20050013000A (en) 2005-02-02

Similar Documents

Publication Publication Date Title
JP6763448B2 (en) Visually enhanced navigation
US10848732B2 (en) Free viewpoint movement display device
EP2208021B1 (en) Method of and arrangement for mapping range sensor data on image sensor data
US8395490B2 (en) Blind spot display apparatus
KR101633620B1 (en) Feature registration apparatus for image based localization and method the same
EP3096290A1 (en) Method and system for determining camera pose
JP2005268847A (en) Image generating apparatus, image generating method, and image generating program
JP6950832B2 (en) Position coordinate estimation device, position coordinate estimation method and program
JP2004198211A (en) Apparatus for monitoring vicinity of mobile object
JP2011529569A (en) Computer apparatus and method for displaying navigation data in three dimensions
KR101544021B1 (en) Apparatus and method for generating 3d map
Fiala et al. Visual odometry using 3-dimensional video input
JP2007147341A (en) Method and apparatus for creating three-dimensional data
JP5267330B2 (en) Image processing apparatus and method
JP2008128827A (en) Navigation device, navigation method, and program thereof
KR100550430B1 (en) Apparatus and method for guiding route of vehicle using three-dimensional information
JP2010152139A (en) Map information creation device, map information creation method, instrument for measuring position of moving body, and method of measuring position of moving body
KR20180068483A (en) System and method for building a location information database of road sign, apparatus and method for estimating location of vehicle using the same
JP4752319B2 (en) Image recognition apparatus and image recognition method
KR20060036259A (en) System and method for real image based navigation
US20230314154A1 (en) Navigation Using Computer System
CN113011212B (en) Image recognition method and device and vehicle
JP2009276266A (en) Navigation device
Trusheim et al. Cooperative image orientation considering dynamic objects
JP3753306B2 (en) Mobile navigation system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20101223

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee