JP2008139295A - Device and method for intersection guide in vehicle navigation using camera - Google Patents

Device and method for intersection guide in vehicle navigation using camera Download PDF

Info

Publication number
JP2008139295A
JP2008139295A JP2007290003A JP2007290003A JP2008139295A JP 2008139295 A JP2008139295 A JP 2008139295A JP 2007290003 A JP2007290003 A JP 2007290003A JP 2007290003 A JP2007290003 A JP 2007290003A JP 2008139295 A JP2008139295 A JP 2008139295A
Authority
JP
Japan
Prior art keywords
intersection
information
turn
vehicle
navigation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007290003A
Other languages
Japanese (ja)
Inventor
Gee Ju Chae
チェ、ゲ‐ジュ
Seong Ik Cho
チョ、ソン‐イク
Tae Hyun Hwang
ホワン、テ‐ヒュン
Original Assignee
Korea Electronics Telecommun
韓國電子通信研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR1020060110117A priority Critical patent/KR100815153B1/en
Application filed by Korea Electronics Telecommun, 韓國電子通信研究院 filed Critical Korea Electronics Telecommun
Publication of JP2008139295A publication Critical patent/JP2008139295A/en
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3632Guidance using simplified or iconic instructions, e.g. using arrows
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096855Systems involving transmission of navigation instructions to the vehicle where the output is provided in a suitable form to the driver
    • G08G1/096861Systems involving transmission of navigation instructions to the vehicle where the output is provided in a suitable form to the driver where the immediate route instructions are output to the driver, e.g. arrow signs for next turn

Abstract

<P>PROBLEM TO BE SOLVED: To provide an intersection guide device in vehicle navigation using a camera, in which the center point of the intersection is determined based on a vehicle forward picture acquired with a camera and a traffic sign recognized in the forward picture, and the turn-by-turn information of the vehicle is overlaid on the center point, thereby minimization of the disturbance of the driver and correct road guidance for him in the intersection. <P>SOLUTION: The device includes an intersection recognition means for determining whether the vehicle approaches the intersection within a previously set distance or not, based on the present position information of the vehicle and the intersection position information obtained by a navigation information means, an intersection center point recognition means for recognizing the center point of the intersection based on the traffic sign recognition information obtained by a picture recognition means, a control means for changing the turn-by-turn information represented by the center point of the intersection, the intersection position information, and the present position, corresponding to the approach of the vehicle to the intersection, and a direction display means for overlaying the turn-by-turn information changed by the control means on the forward picture to present the overlaid information via a picture output means. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、カメラを用いた車両用ナビゲーションの交差点案内装置及びその方法に関し、より詳細には、カメラを用いて獲得した車両前方映像と、当該前方映像から認識された交通標識を用いて交差点の中心点を求め、車両のターンバイターン(Turn−By−Turn:TBT)情報とをオーバーレイすることにより、交差点での運転者の混乱を最小化し、かつ正確な道案内をする、カメラを用いた車両用ナビゲーションの交差点案内装置及びその方法に関する。   The present invention relates to a vehicle navigation intersection guidance apparatus using a camera and a method thereof, and more particularly, to a vehicle front image acquired using a camera and a traffic sign recognized from the front image. Using a camera that finds the center point and overlays the turn-by-turn (TBT) information of the vehicle to minimize driver confusion at the intersection and provide accurate guidance The present invention relates to an intersection guidance apparatus and method for vehicle navigation.
また、本発明は、カメラを用いて、車両の位置から交差点の位置までの距離及び交差点のターンバイターン情報に対応する画面に表示される座標情報を予め格納し、走行中において、車両の位置から交差点の位置までの距離及び交差点のターンバイターン情報に対応する前記座標情報に基づき、実際に撮影された映像にオーバーレイ表示する、カメラを用いた車両用ナビゲーションの交差点案内装置及びその方法に関する。   Further, the present invention stores in advance the coordinate information displayed on the screen corresponding to the distance from the vehicle position to the intersection position and the turn-by-turn information of the intersection using the camera, The present invention relates to a vehicle navigation intersection guide device using a camera and an overlay method for displaying an overlay on an actually captured image based on the coordinate information corresponding to the distance from the vehicle to the position of the intersection and the turn-by-turn information of the intersection.
本発明は、情報通信部及び情報通信研究振興院のIT新成長動力核心技術開発事業の一環として行われた研究から導かれたものである[課題管理番号:2005−S−114、課題名:テレマティクス用実感コンテンツの構築/管理技術開発]。   The present invention is derived from research conducted as part of the IT New Growth Dynamic Core Technology Development Project of the Information Communication Department and the Information Communication Research Promotion Agency [Problem Management Number: 2005-S-114, Project Name: Realistic content construction / management technology development for telematics].
従来の車両用ナビゲーションは、衛星を介して現在位置情報を得るGPS(Global Positioning System)受信機を用いて、走行中の地域の地図、現在位置、及び経路を画面上に表示し、運転者の所望する目的地を容易に見つけ出すことができるようにする。   Conventional vehicle navigation uses a GPS (Global Positioning System) receiver that obtains current position information via a satellite to display a map of the area in which the vehicle is running, the current position, and a route on the screen. Make it easy to find the desired destination.
以下、従来の車両用ナビゲーションの交差点案内方式について説明する。図1は、従来の車両用ナビゲーションの交差点案内方式を示すフローチャートである。   Hereinafter, a conventional intersection guidance method for vehicle navigation will be described. FIG. 1 is a flowchart showing a conventional intersection guidance method for vehicle navigation.
同図に示すように、従来の車両用ナビゲーションは、目的地及び主要経由地情報を設定した後、走行を開始する(S1、S2)。従来の車両用ナビゲーションは、GPS受信機を用いて現在位置を確認し、交差点に接近すると(S3)、交差点との距離を抽出し、設定距離以内に接近しているか否かを確認する(S4、S5)。このとき、従来の車両用ナビゲーションは、車両が交差点との設定距離以内に接近すると、方向情報メッセージを送出し、交差点での走行方向を矢印で案内する(S6、S7)。その後、従来の車両用ナビゲーションは、交差点を通過して一定距離を走行すると(S8)、交差点案内を終了する(S9)。   As shown in the figure, the conventional vehicle navigation starts traveling after setting the destination and main waypoint information (S1, S2). Conventional vehicle navigation confirms the current position using a GPS receiver and, when approaching an intersection (S3), extracts the distance from the intersection and confirms whether or not the vehicle is within a set distance (S4). , S5). At this time, when the vehicle approaches within a set distance from the intersection, the conventional vehicle navigation sends a direction information message and guides the traveling direction at the intersection with arrows (S6, S7). Thereafter, when the conventional vehicle navigation vehicle travels a certain distance through the intersection (S8), the intersection guidance is terminated (S9).
一般的に、従来の車両用ナビゲーションは、地図を基にしているが、運転者に提供する地図データの容量が膨大で、製作費用が高くなる短所がある。特に、従来の車両用ナビゲーションは、地図を基にしているため、運転者が見る走行画面と一致しない場合も発生する。これに対し、日本では、建物などの地図データを3次元(3D)情報として提供する車両用ナビゲーションが提案された。しかし、前記3次元の車両用ナビゲーションは、全国の主要交差点の建物を3次元情報として構築しなければならないため、主な建物や道標を中心に構築するほかなく、実際の走行画面との違いから可読性が低下する短所がある。   In general, conventional vehicle navigation is based on a map, but has a disadvantage that the volume of map data provided to the driver is enormous and the production cost is high. In particular, since conventional vehicle navigation is based on a map, it may occur when the vehicle does not match the traveling screen that the driver sees. On the other hand, in Japan, vehicle navigation that provides map data such as buildings as three-dimensional (3D) information has been proposed. However, the three-dimensional vehicle navigation system must construct the main intersections throughout the country as three-dimensional information, so it must be built around the main buildings and signposts. There is a disadvantage that readability is reduced.
上のような地図に基づく車両用ナビゲーションの短所を克服するために提案されたビデオに基づく車両用ナビゲーションは、カメラを用いて運転者の走行画面を撮影し、走行画面に交差点での方向情報を提供する。すなわち、前記ビデオに基づく車両用ナビゲーションは、運転者の走行画面に交差点での方向情報を表示する。   The video-based vehicle navigation system proposed to overcome the disadvantages of the map-based vehicle navigation system described above uses a camera to capture the driver's driving screen and displays the direction information at the intersection on the driving screen. provide. That is, the vehicular navigation based on the video displays the direction information at the intersection on the driving screen of the driver.
しかしながら、従来のビデオに基づく車両用ナビゲーションは、道路の地形データを用いて方向情報を表示するが、前記道路の地形データを構築する費用及び時間がかかるうえに、更新時間も長いとの問題がある。また、従来のビデオに基づく車両用ナビゲーションは、正確なGPS情報とカメラの姿勢情報とを仮定することにより、GPS情報の受信が円滑でない都心では使用できない短所がある。すなわち、従来のビデオに基づく車両用ナビゲーションは、GPS情報がなければ、所期の目的の達成は困難である。   However, conventional vehicle navigation based on video displays direction information using road terrain data. However, there is a problem that it takes time and cost to construct the road terrain data and the update time is long. is there. Further, conventional vehicle navigation based on video has a disadvantage that it cannot be used in a city center where reception of GPS information is not smooth by assuming accurate GPS information and camera posture information. That is, it is difficult to achieve the intended purpose of conventional video navigation based on video without GPS information.
そこで、本発明は、上記のような問題を解決し、かつ上記のような必要性に鑑みてなされたものであって、その目的は、カメラを用いて獲得した車両前方映像と、当該前方映像から認識された交通標識を用いて交差点の中心点を求め、車両のターンバイターン情報とをオーバーレイすることにより、交差点での運転者の混乱を最小化し、かつ正確な道案内をする、カメラを用いた車両用ナビゲーションの交差点案内装置及びその方法を提供することにある。   Therefore, the present invention has been made in view of the above-described necessity and solves the above-described problems, and the object thereof is to obtain a vehicle front image acquired using a camera, and the front image. The center of the intersection is obtained using the traffic sign recognized from the vehicle, and the vehicle turn-by-turn information is overlaid to minimize the driver's confusion at the intersection and to provide accurate directions. An object of the present invention is to provide an intersection guidance device for vehicle navigation and a method thereof.
また、本発明の目的は、カメラを用いて、車両の位置から交差点の位置までの距離及び交差点のターンバイターン情報に対応する画面に表示される座標情報を予め格納し、走行中において、車両の位置から交差点の位置までの距離及び交差点のターンバイターン情報に対応する前記座標情報に基づき、実際に撮影された映像にオーバーレイ表示する、カメラを用いた車両用ナビゲーションの交差点案内装置及びその方法を提供することにある。   Another object of the present invention is to store in advance the coordinate information displayed on the screen corresponding to the distance from the position of the vehicle to the position of the intersection and the turn-by-turn information of the intersection using a camera, Crossing guidance device for vehicle navigation using a camera, and method thereof, overlaid on the actually captured image based on the coordinate information corresponding to the distance from the position of the vehicle to the position of the intersection and the turn-by-turn information of the intersection Is to provide.
本発明の他の目的及び長所は、下記の説明により理解することができ、本発明の実施形態により更に明確になるはずである。また、本発明の目的及び長所は、特許請求の範囲に示す手段及びその組み合わせにより実現可能であることが容易にわかるであろう。   Other objects and advantages of the present invention can be understood from the following description, and should be further clarified by embodiments of the present invention. It will be readily apparent that the objects and advantages of the invention can be realized by means of the means recited in the claims and combinations thereof.
上記の目的を達成するための本発明は、映像入力手段、映像出力手段、GPS受信手段、車両の走行経路上に位置する交差点位置情報及びターンバイターン情報を格納する航法情報手段、及び前方映像から交通標識を認識する映像認識手段を備える車両用ナビゲーションの交差点案内装置において、前記GPS受信手段で測定された車両の現在位置情報と、航法情報手段からの交差点位置情報とを用いて、予め設定された距離以内の交差点に接近しているか否かを判断する交差点確認手段と、該交差点確認手段で予め設定された距離以内の交差点への接近が判断されることにより、前記映像認識手段からの交通標識認識情報を用いて交差点の中心点を確認する交差点中心確認手段と、該交差点中心確認手段で確認された交差点の中心点、前記航法情報手段の交差点位置情報、及び前記GPS受信手段で確認された現在位置を用いて表すターンバイターン情報を、車両の交差点への接近に応じて変動させる制御手段と、該制御手段で変動したターンバイターン情報を前方映像にオーバーレイすることにより、前記映像出力手段を介して提供する方向表示手段とを備える。   In order to achieve the above object, the present invention includes a video input means, a video output means, a GPS receiving means, navigation information means for storing intersection position information and turn-by-turn information located on the travel route of the vehicle, and a forward video. In an intersection guidance apparatus for vehicle navigation provided with image recognition means for recognizing traffic signs from the vehicle, preset using the current position information of the vehicle measured by the GPS receiving means and the intersection position information from the navigation information means An intersection confirmation unit that determines whether or not the vehicle is approaching an intersection within a predetermined distance, and an approach to an intersection within a preset distance by the intersection confirmation unit is An intersection center confirmation means for confirming the center point of the intersection using the traffic sign recognition information, the center point of the intersection confirmed by the intersection center confirmation means, The control means for changing the intersection position information of the legal information means and the turn-by-turn information expressed by using the current position confirmed by the GPS receiving means according to the approach of the vehicle to the intersection, and the control means Directional display means provided via the video output means by overlaying turn-by-turn information on the forward video.
また、本発明は、カメラによって実際に撮影された車両の前方映像を用いた車両用ナビゲーションの交差点案内方法において、走行経路が設定されると、車両の走行経路上にある交差点を抽出して前記交差点のターンバイターン情報を生成する第1ステップと、車両の走行に伴い、車両の現在位置から交差点の位置までの距離を確認して交差点のターンバイターン情報を提供するため、予め設定された臨界距離に接近すると、交通標識に対する認識情報があるか否かを確認する第2ステップと、交通標識に対する認識情報があれば、当該交通標識認識情報を用いて、前方映像における交差点の中心点を確認する第3ステップと、車両の現在位置を用いて表されたターンバイターン情報を、車両の交差点への接近に応じて変動させる第4ステップと、該変動したターンバイターン情報を前方映像にオーバーレイ表示し、交差点を所定の距離走行した後、交差点のターンバイターン情報の提供を終了する第5ステップとを含む。   Further, the present invention provides a vehicle navigation intersection guide method using a front image of a vehicle actually captured by a camera. When a travel route is set, the intersection on the travel route of the vehicle is extracted and The first step of generating turn-by-turn information of the intersection, and in order to provide the turn-by-turn information of the intersection by checking the distance from the current position of the vehicle to the position of the intersection as the vehicle travels When approaching the critical distance, the second step of confirming whether or not there is recognition information for the traffic sign, and if there is recognition information for the traffic sign, use the traffic sign recognition information to determine the center point of the intersection in the forward image. A third step to confirm and a fourth step to vary the turn-by-turn information represented by using the current position of the vehicle according to the approach of the vehicle to the intersection. When the turn-by-turn information the change was overlaid on the front image, after a traveling a predetermined distance intersections, and a fifth step of ending provision of intersection of turn-by-turn information.
更に、本発明の他の実施形態は、映像入力手段、映像出力手段、GPS受信手段、及び車両の走行経路上に位置する交差点位置情報及びターンバイターン情報を格納する航法情報手段を備える車両用ナビゲーションの交差点案内装置において、車両の位置から交差点の位置までの距離及びターンバイターン情報に基づき、前記映像出力手段の画面に表示される座標情報を格納する座標情報格納手段と、前記GPS受信手段で確認された車両の現在位置から航法情報手段で確認された交差点の位置までの距離及び前記航法情報手段で確認された交差点のターンバイターン情報に対応する前記座標情報格納手段で確認された座標情報を用いて、ターンバイターン情報を、前記映像入力手段で実際に撮影した前方映像にオーバーレイする制御手段とを備える。   Furthermore, another embodiment of the present invention is for a vehicle comprising video input means, video output means, GPS receiving means, and navigation information means for storing intersection position information and turn-by-turn information located on the travel route of the vehicle. In the navigation intersection guidance apparatus, coordinate information storage means for storing coordinate information displayed on the screen of the video output means based on the distance from the vehicle position to the intersection position and turn-by-turn information, and the GPS receiving means The coordinates confirmed by the coordinate information storage means corresponding to the distance from the current position of the vehicle confirmed by the navigation information means to the position of the intersection confirmed by the navigation information means and the turn-by-turn information of the intersection confirmed by the navigation information means Control means for overlaying turn-by-turn information on the forward video actually captured by the video input means using the information; Provided.
また、本発明の他の実施形態は、カメラによって実際に撮影された車両の前方映像を用いた車両用ナビゲーションの交差点案内方法において、車両の走行に伴い、予め設定された経路上における交差点案内地点なのか否かを確認する第1ステップと、交差点案内地点として確認されると、車両の現在位置から交差点の位置までの距離及びターンバイターン情報を確認する第2ステップと、車両の現在位置から交差点の位置までの距離及びターンバイターン情報に基づき、画面に表示するための座標情報を確認する第3ステップと、前記車両の現在位置から交差点の位置までの距離及びターンバイターン情報に基づき、確認された座標情報に実際に撮影された映像をオーバーレイ表示する第4ステップと、車両が交差点を一定距離以上走行すると、交差点案内を終了する第5ステップとを含む。   According to another embodiment of the present invention, in a vehicle navigation intersection guide method using a front image of a vehicle actually captured by a camera, an intersection guide point on a route set in advance as the vehicle travels. A first step for confirming whether or not the vehicle is present, a second step for confirming the distance and turn-by-turn information from the current position of the vehicle to the position of the intersection when confirmed as an intersection guide point, and the current position of the vehicle Based on the distance to the position of the intersection and the turn-by-turn information, the third step of confirming the coordinate information to be displayed on the screen, based on the distance from the current position of the vehicle to the position of the intersection and the turn-by-turn information, A fourth step of overlaying the actually captured image on the confirmed coordinate information, and the vehicle traveling more than a certain distance at the intersection , And a fifth step to end the intersection guidance.
上述した目的、特徴及び長所は、添付された図面に関する以下の詳細な説明を通じてより明確になるはずであり、それにより、本発明の属する技術分野における通常の知識を有する者が本発明の技術的思想を容易に実施することができる。また、本発明の説明において、本発明に係る公知技術に対する具体的な説明が本発明の要旨を不明瞭にする可能性があると判断された場合、その詳細な説明を省略する。以下、添付された図面を参照して本発明の好ましい実施形態を詳細に説明する。   The above-described objects, features, and advantages will become more apparent through the following detailed description of the accompanying drawings, so that those skilled in the art to which the present invention pertains can The idea can be easily implemented. Further, in the description of the present invention, when it is determined that a specific description of a known technique according to the present invention may obscure the gist of the present invention, a detailed description thereof will be omitted. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
図2Aは、本発明の一実施形態に係るカメラを用いた車両用ナビゲーションの交差点案内装置(以下、「交差点案内装置」とする。)を示す構成図である。   FIG. 2A is a configuration diagram showing an intersection guide device for vehicle navigation using a camera according to an embodiment of the present invention (hereinafter referred to as “intersection guide device”).
同図に示すように、本発明に係る交差点案内装置は、映像入力部200、映像出力部210、GPS受信部220、航法情報部230、映像認識部240、交差点確認部250、交差点中心確認部260、方向表示部270、及び制御部280を備える。   As shown in the figure, the intersection guidance device according to the present invention includes a video input unit 200, a video output unit 210, a GPS receiving unit 220, a navigation information unit 230, a video recognition unit 240, an intersection confirmation unit 250, and an intersection center confirmation unit. 260, a direction display unit 270, and a control unit 280.
映像入力部200は、車両に装着されたカメラを用いて車両の前方映像を撮影する。このとき、前記映像入力部200は、通常の映像処理方法を用いて、撮影された映像のぶれ、ノイズなどを除去する。また、前記映像入力部200は、撮影された映像を通常の映像処理方法に従って処理した後、映像出力部210及び映像認識部240に提供する。   The video input unit 200 captures a front video of the vehicle using a camera mounted on the vehicle. At this time, the video input unit 200 removes blurring, noise, and the like of the shot video using a normal video processing method. The video input unit 200 processes the captured video according to a normal video processing method, and then provides the video to the video output unit 210 and the video recognition unit 240.
映像出力部210は、映像入力部200からの撮影された映像をリアルタイムで出力する。このとき、前記映像出力部210は、液晶表示装置(Liquid Crystal Display:LCD)のような車両内に搭載された自体のディスプレイ画面や車両用コンピュータ、個人携帯端末、テレマティクス端末などを介して映像を出力することにより、運転者に走行中の前方映像を提供する。   The video output unit 210 outputs the captured video from the video input unit 200 in real time. At this time, the video output unit 210 displays a video via its own display screen mounted in the vehicle such as a liquid crystal display (LCD), a vehicle computer, a personal portable terminal, a telematics terminal, or the like. By outputting, a front image during traveling is provided to the driver.
更に、映像出力部210は、制御部280を介して、方向表示部270から伝達された交差点のターンバイターン情報と、映像入力部200で撮影された前方映像とをともにオーバーレイすることにより、交差点での車両の走行方向を表示する。   Furthermore, the video output unit 210 overlays the turn-by-turn information of the intersection transmitted from the direction display unit 270 via the control unit 280 and the front image captured by the video input unit 200, thereby overlapping the intersection. Displays the traveling direction of the vehicle at.
GPS受信部220は、通常のGPS位置測定方式に従って車両の現在位置を測定する。すなわち、前記GPS受信部220は、衛星から伝送される信号を受信して車両の現在位置を正確に確認することができる。このとき、前記GPS受信部220は、確認された車両の現在位置情報であるGPS情報を制御部280に提供する。   The GPS receiving unit 220 measures the current position of the vehicle according to a normal GPS position measurement method. That is, the GPS receiving unit 220 can accurately check the current position of the vehicle by receiving a signal transmitted from a satellite. At this time, the GPS receiving unit 220 provides the control unit 280 with GPS information that is the current position information of the confirmed vehicle.
航法情報部230は、車両の走行経路上に位置する道路情報、交差点位置情報、交差点でのターンバイターン情報、交通標識(すなわち、信号灯、標示板など)の属性情報といった航法情報を管理する。このとき、前記航法情報部230は、これらの情報を確認し得る最小容量の大きさを有する電子地図の形態で格納及び管理することが好ましい。   The navigation information unit 230 manages navigation information such as road information located on the travel route of the vehicle, intersection position information, turn-by-turn information at the intersection, and attribute information of traffic signs (that is, signal lights, sign boards, etc.). At this time, it is preferable that the navigation information unit 230 stores and manages the information in the form of an electronic map having a minimum capacity capable of confirming the information.
映像認識部240は、映像入力部200から提供された映像から交通標識を認識する。   The video recognition unit 240 recognizes a traffic sign from the video provided from the video input unit 200.
また、前記映像認識部240は、交通標識を認識するため、交通標識の色情報、交通標識の位置情報(すなわち、標識が道路上にあるといった情報など)、交通標識の形状(すなわち、球状、四角形状など)などを用いて認識する。ここで、前記映像認識部240は、交通標識を認識するため、様々な方式による検出方法の適用が可能であり、当業者であれば容易に理解することができるため、これに関する詳細な説明は省略する。   In addition, the image recognition unit 240 recognizes traffic signs in order to recognize traffic sign color information, traffic sign position information (that is, information that the sign is on the road, etc.), traffic sign shape (that is, spherical, (Square shape etc.) etc. Here, since the image recognition unit 240 recognizes traffic signs, it can be applied to various detection methods and can be easily understood by those skilled in the art. Omitted.
交差点確認部250は、運転者に走行経路上に位置する交差点のターンバイターン情報を提供するための臨界距離情報(以下、「交差点認識距離情報」とする。)が制御部280から伝達されると、前記交差点認識距離情報を用いて、走行中の車両が走行経路上に位置する交差点に接近しているか否かを判断する。すなわち、前記交差点確認部250は、走行中の車両が交差点認識距離以内に接近しているか否かを判断する。一例として、前記交差点確認部250は、GPS受信部220により確認された車両の現在位置情報と、航法情報部230により確認された交差点位置情報とを対比し、交差点認識距離に接近しているか否かを確認する。   The intersection confirmation unit 250 receives from the control unit 280 critical distance information (hereinafter referred to as “intersection recognition distance information”) for providing the driver with turn-by-turn information of an intersection located on the travel route. And using the intersection recognition distance information, it is determined whether or not the traveling vehicle is approaching an intersection located on the traveling route. That is, the intersection confirmation unit 250 determines whether the traveling vehicle is approaching within the intersection recognition distance. As an example, the intersection confirmation unit 250 compares the current position information of the vehicle confirmed by the GPS reception unit 220 with the intersection position information confirmed by the navigation information unit 230, and determines whether or not the intersection recognition distance is approaching. To check.
その後、前記交差点確認部250は、車両が交差点認識距離以内に接近すると、交差点中心確認部260及び方向表示部270に通知する。   Thereafter, when the vehicle approaches within the intersection recognition distance, the intersection confirmation unit 250 notifies the intersection center confirmation unit 260 and the direction display unit 270.
交差点中心確認部260は、交差点確認部250から車両が交差点認識距離以内に接近していることを知らせる信号が入力されると、映像認識部240で認識された交通標識認識情報が制御部280から伝達される。このとき、前記交差点中心確認部260は、交通標識認識情報に含まれている交差点までの距離に応じたピクセル情報及び交通標識の高さ情報を用いて、前方映像における交差点の中心点を確認する。   When the intersection center confirmation unit 260 receives a signal indicating that the vehicle is approaching within the intersection recognition distance from the intersection confirmation unit 250, the traffic sign recognition information recognized by the video recognition unit 240 is received from the control unit 280. Communicated. At this time, the intersection center confirmation unit 260 confirms the center point of the intersection in the forward image using the pixel information corresponding to the distance to the intersection included in the traffic sign recognition information and the height information of the traffic sign. .
具体的に、前記交差点中心確認部260は、映像認識部240で認識された交通標識の信号灯を用いて、前方映像における交差点の中心点を、下記のように確認する。   Specifically, the intersection center confirmation unit 260 confirms the center point of the intersection in the forward image using the traffic light signal lights recognized by the image recognition unit 240 as follows.
ここで、交差点の中心点は、映像座標(x,y)である。前記交差点の中心点は、前方映像において信号灯の位置を確認し、信号灯の高さだけ下がった地点に位置する。このため、前記x座標を前方映像の中心点に置き、前記y座標は比例式を用いて計算する。付加的に、前記x座標は、現在の車線の中心点の座標を求め得る場合、車線の中心点の座標としてあてることもできる。   Here, the center point of the intersection is the image coordinates (x, y). The center point of the intersection is located at a point where the position of the signal lamp is confirmed in the front image and lowered by the height of the signal lamp. Therefore, the x coordinate is placed at the center point of the front image, and the y coordinate is calculated using a proportional expression. Additionally, the x-coordinate can be assigned as the coordinates of the center point of the lane when the coordinates of the center point of the current lane can be obtained.
図2Bは、本発明の交差点中心確認部260において、信号灯を用いて交差点の中心点を確認する比例式を誘導するための説明図である。   FIG. 2B is an explanatory diagram for deriving a proportional expression for confirming the center point of an intersection using a signal lamp in the intersection center confirmation unit 260 of the present invention.
同図による比例式において、「カメラが捕らえた信号灯の大きさ」を誘導するための比例式は、下記[数1]のとおりである。ここで、前記「カメラが捕らえた信号灯の大きさ」を映像に表すため、上記[数1]を用いて計算された「カメラが捕らえた信号灯の大きさ」に「ピクセルサイズ」をかけて求める。これを下記[数2]に示す。
In the proportional expression shown in the figure, the proportional expression for deriving “the size of the signal light captured by the camera” is as shown in [Formula 1] below. Here, in order to represent the “size of the signal lamp captured by the camera” in the video, the “size of the signal lamp captured by the camera” calculated using the above [Equation 1] is multiplied by “pixel size”. . This is shown in the following [Equation 2].
このとき、前記信号灯の高さは、通常、固定値(例えば、5mなど)に設定され、前記ピクセルサイズは、カメラの物理的なセルの大きさを表すため、容易に確認することができる。   At this time, the height of the signal lamp is normally set to a fixed value (for example, 5 m), and the pixel size represents the size of a physical cell of the camera, and can be easily confirmed.
一方、交差点の中心点のy座標は、上記[数2]で求められた「カメラが捕らえた信号灯の大きさ」及び「信号灯のy座標」を用いて、下記[数3]のように計算される。
On the other hand, the y-coordinate of the center point of the intersection is calculated as shown in the following [Equation 3] using the “size of the signal lamp captured by the camera” and the “y-coordinate of the signal lamp” obtained in the above [Equation 2]. Is done.
これとは異なり、前記交差点中心確認部260は、他車両の干渉や天気などのような要因により、映像認識部240で交通標識の認識に失敗した場合、及び車両が交差点認識距離以内に接近していない状態の場合、航法情報部230から交通標識の位置情報を抽出し、前方映像における交差点の中心点(すなわち、映像座標)を確認する。このとき、前記交差点中心確認部260は、確認された交差点の中心点に関する情報を方向表示部270に提供する。一例として、前記交差点中心確認部260は、航法情報部230から「(x,y)」のような交差点の中心点である映像座標を確認することができる。   In contrast to this, the intersection center confirmation unit 260 may detect when the image recognition unit 240 fails to recognize a traffic sign due to interference with other vehicles, weather, or the like, and when the vehicle approaches within the intersection recognition distance. If not, the position information of the traffic sign is extracted from the navigation information unit 230, and the center point of the intersection in the front image (that is, the image coordinates) is confirmed. At this time, the intersection center confirmation unit 260 provides the direction display unit 270 with information on the confirmed center point of the intersection. As an example, the intersection center confirmation unit 260 can confirm the image coordinates that are the center point of the intersection such as “(x, y)” from the navigation information unit 230.
方向表示部270は、交差点確認部250で車両の交差点認識距離以内への接近が確認されると、制御部280を介して提供された交差点のGPS情報と、これに対応するターンバイターン情報とを映像出力部210に伝達する。更に付け加えると、前記方向表示部270は、ターンバイターン情報を映像出力部210に伝達することにより、映像出力部210を介して、車両の交差点における走行すべきターンバイターン情報を、映像入力部200のカメラによって撮影された前方映像にオーバーレイして運転者に提供できるようにする。   When the intersection confirmation unit 250 confirms that the vehicle is within the intersection recognition distance, the direction display unit 270 displays the GPS information of the intersection provided via the control unit 280, and turn-by-turn information corresponding to the GPS information. Is transmitted to the video output unit 210. In addition, the direction display unit 270 transmits the turn-by-turn information to the video output unit 210, thereby providing the video input unit with the turn-by-turn information to be traveled at the intersection of the vehicle via the video output unit 210. It is possible to overlay the front image captured by the 200 cameras and provide it to the driver.
特に、前記方向表示部270は、GPS受信部220の現在位置情報と、航法情報部230の交差点位置情報とを用いることにより、距離に応じて大きさが変化する車両の走行方向を示す表示を、ターンバイターン情報とともに、映像出力部210に提供する。すなわち、前記方向表示部270は、GPS受信部220の現在位置情報「(x,y,z)」と、航法情報部230の交差点位置情報「(x1,y1,z1)」とを用いて、3次元における2点間の距離を求め、交差点中心確認部260の交差点の中心点の映像位置において、距離に応じて大きさが変化する車両の走行方向を示す表示を、ターンバイターン情報とともに、映像出力部210に提供する。   In particular, the direction display unit 270 uses the current position information of the GPS receiving unit 220 and the intersection position information of the navigation information unit 230 to display an indication of the traveling direction of the vehicle whose size changes according to the distance. And the video output unit 210 together with the turn-by-turn information. That is, the direction display unit 270 uses the current position information “(x, y, z)” of the GPS receiving unit 220 and the intersection position information “(x1, y1, z1)” of the navigation information unit 230, The distance between two points in three dimensions is obtained, and in the video position of the center point of the intersection of the intersection center confirmation unit 260, a display showing the traveling direction of the vehicle whose size changes according to the distance, along with turn-by-turn information, This is provided to the video output unit 210.
GPS受信部220の現在位置から交差点中心確認部260の交差点の中心点までの距離に応じて大きさが変化する車両の走行方向を示す表示を、ターンバイターン情報とともに、映像出力部210に提供する。   Provided to the video output unit 210, along with turn-by-turn information, a display showing the traveling direction of the vehicle whose size changes according to the distance from the current position of the GPS receiving unit 220 to the center point of the intersection of the intersection center confirmation unit 260 To do.
制御部280は、映像入力部200、映像出力部210、GPS受信部220、航法情報部230、映像認識部240、交差点確認部250、交差点中心確認部260、及び方向表示部270を制御する。   The control unit 280 controls the video input unit 200, the video output unit 210, the GPS reception unit 220, the navigation information unit 230, the video recognition unit 240, the intersection confirmation unit 250, the intersection center confirmation unit 260, and the direction display unit 270.
また、前記制御部280は、航法情報部230を用いて、交差点の案内地点及び次の交差点の位置、道路の曲率などを、通常の方式に従って計算することにより、交差点認識距離情報を予め設定する。このとき、前記制御部280は、交差点認識距離に関する情報を交差点確認部250に伝達し、当該交差点確認部250で車両が交差点に接近しているか否かを判断できるようにする。   In addition, the control unit 280 uses the navigation information unit 230 to preset intersection recognition distance information by calculating the guide point of the intersection, the position of the next intersection, the curvature of the road, and the like according to a normal method. . At this time, the control unit 280 transmits information regarding the intersection recognition distance to the intersection confirmation unit 250 so that the intersection confirmation unit 250 can determine whether the vehicle is approaching the intersection.
更に、制御部280は、航法情報部230を用いて通常の経路案内を行う。すなわち、前記制御部280は、車両の出発時に、出発地から目的地までの経路と、当該経路に沿った主要経由地に対する最適な走行経路とを、通常の方式に従って設定する。特に、前記制御部280は、航法情報部230を用いて、走行経路上に位置する交差点を抽出及び設定し、このとき抽出された交差点のターンバイターン情報及びGPS情報もともに生成する。これにより、前記制御部280は、抽出された交差点のGPS情報に対応するターンバイターン情報を方向表示部270に提供することにより、最終的に映像出力部210を介して出力される前方映像にターンバイターン情報をオーバーレイした後に出力できるようにする。   Further, the control unit 280 performs normal route guidance using the navigation information unit 230. That is, at the time of departure of the vehicle, the control unit 280 sets a route from the departure point to the destination and an optimum travel route for the main route along the route according to a normal method. In particular, the control unit 280 uses the navigation information unit 230 to extract and set an intersection located on the travel route, and generates turn-by-turn information and GPS information of the extracted intersection at this time. Accordingly, the control unit 280 provides turn-by-turn information corresponding to the extracted GPS information of the intersection to the direction display unit 270 so that the front image finally output through the video output unit 210 is displayed. Enable output after overlaying turn-by-turn information.
ここで、前記制御部280は、車両が走行経路上にある交差点に接近するにつれ、車両の現在位置から交差点の中心点までの距離をターンバイターン情報に反映して提供する。一般的に、車両の現在位置から交差点の中心点までの距離は、車両が走行経路上にある交差点に接近するにつれて短くなる。これにより、前記制御部280は、車両が走行経路上にある交差点に接近するにつれ(すなわち、車両の現在位置から交差点の中心点までの距離が短くにつれ)、これを映像出力部210を介して出力される前方映像のターンバイターン情報に反映する。   Here, as the vehicle approaches the intersection on the travel route, the control unit 280 reflects and provides the distance from the current position of the vehicle to the center point of the intersection in the turn-by-turn information. In general, the distance from the current position of the vehicle to the center of the intersection becomes shorter as the vehicle approaches an intersection on the travel route. As a result, the control unit 280 passes the image via the video output unit 210 as the vehicle approaches the intersection on the travel route (that is, as the distance from the current position of the vehicle to the center point of the intersection decreases). It is reflected in the turn-by-turn information of the forward video that is output.
例えば、前記制御部280は、交差点中心確認部260で確認された交差点の中心点の座標(x,y)と、GPS受信部220で測定された車両の現在位置の映像における座標(x1,y1)とを用いて、2つの座標を結ぶ線を平面に投影させ、ターンバイターン情報を表す。ここで、前方映像の中心点を基準とする座標平面上において、横軸をx軸、縦軸をy軸とすると、前記車両の現在位置の座標(x1,y1)は、前方映像の表す前記座標平面において座標(前方映像の中心点のx座標、前方映像の中心点のy軸の最下位の座標)で示すことが好ましい。   For example, the control unit 280 may determine the coordinates (x, y) of the intersection center point confirmed by the intersection center confirmation unit 260 and the coordinates (x1, y1) in the image of the current position of the vehicle measured by the GPS reception unit 220. ) To project a line connecting two coordinates onto a plane to represent turn-by-turn information. Here, on the coordinate plane with the center point of the front image as a reference, if the horizontal axis is the x axis and the vertical axis is the y axis, the coordinates (x1, y1) of the current position of the vehicle are the above-mentioned representing the front image It is preferable to indicate the coordinates on the coordinate plane (the x coordinate of the center point of the front image, the lowest coordinate of the y axis of the center point of the front image).
これにより、前記制御部280は、車両が走行経路上にある交差点に接近するにつれ、交差点の中心点と車両の現在位置との距離も短くなり、前方映像の中心点のx座標が一定で、かつ前方映像の中心点のy座標が距離に応じて変動し、ターンバイターン情報を自然に表す。   As a result, as the vehicle approaches the intersection on the travel route, the distance between the center point of the intersection and the current position of the vehicle is shortened, and the x coordinate of the center point of the front image is constant. In addition, the y-coordinate of the center point of the front image varies according to the distance, and naturally represents turn-by-turn information.
また、制御部280は、GPS受信部220の現在位置情報を用いて交差点を一定距離以上走行した後、方向表示部270を介して映像出力部210に表す交差点のターンバイターン情報に対する案内を終了し、通常の方式による経路案内を引き続き行う。   In addition, the control unit 280 uses the current position information of the GPS receiving unit 220 to travel the intersection more than a certain distance, and then finishes the guidance for the turn-by-turn information of the intersection represented in the video output unit 210 via the direction display unit 270. The route guidance by the normal method is continued.
図3A及び図3Bは、本発明の一実施形態に係る交差点案内装置において、距離に応じたターンバイターン情報を表す前方映像の出力画面の一例を示す図である。   3A and 3B are diagrams illustrating an example of an output screen of a front video representing turn-by-turn information according to a distance in the intersection guide device according to the embodiment of the present invention.
前記図3Aは、車両が前方100mにある交差点に接近している場合を示しており、前記図3Bは、車両が前方50mにある交差点に接近している場合を示している。   FIG. 3A shows a case where the vehicle is approaching an intersection 100 m ahead, and FIG. 3B shows a case where the vehicle is approaching an intersection 50 m ahead.
これらの図に示すように、前記ターンバイターン情報は、実際に撮影された前方映像にオーバーレイ表示される。すなわち、図3Aは、図3Bのように、前記ターンバイターン情報が上から下に下がっていることがわかる。   As shown in these figures, the turn-by-turn information is displayed as an overlay on the actually captured front image. That is, FIG. 3A shows that the turn-by-turn information is lowered from top to bottom as in FIG. 3B.
また、前記図3Aにおける車両の走行方向を示す表示、すなわち、図中の矢印「301」は、前記図3Bの「302」のように、車両が走行経路上にある交差点に接近するにつれて拡大表示される。   Further, the display indicating the traveling direction of the vehicle in FIG. 3A, that is, the arrow “301” in the drawing is enlarged as the vehicle approaches an intersection on the traveling route as indicated by “302” in FIG. 3B. Is done.
そのため、本発明に係る交差点案内装置は、車両が走行経路上にある交差点に接近することにより、ターンバイターン情報を、実際に撮影された前方映像と自然にオーバーレイして提供する。   Therefore, the intersection guidance device according to the present invention provides turn-by-turn information with a natural overlay on the actually captured front image when the vehicle approaches the intersection on the travel route.
図4は、本発明が適用される3次元上における仮想カメラを用いてターンバイターン情報を表す例を示す図である。   FIG. 4 is a diagram illustrating an example of turn-by-turn information using a three-dimensional virtual camera to which the present invention is applied.
同図は、他の例を示したものであって、3次元上における仮想カメラを用いてターンバイターン情報を表し、これを実際のカメラで撮影した映像に合成する方法によってターンバイターン情報を表すものである。   This figure shows another example, which represents turn-by-turn information using a virtual camera on a three-dimensional image, and the turn-by-turn information is synthesized by a method of synthesizing this information with an image captured by an actual camera. It represents.
同図に示すように、カメラが車両の天井に設置されており、交通標識の認識がない場合は、カメラが道路に対して平行な方向を向いていると仮定する。また、交通標識の認識がある場合は、実際のカメラが交通標識の映像座標を向いているときの角度を求め、仮想カメラをその角度だけ回転した方向に向かうようにする。   As shown in the figure, when the camera is installed on the ceiling of the vehicle and the traffic sign is not recognized, it is assumed that the camera is oriented in a direction parallel to the road. If there is a traffic sign recognition, the angle when the actual camera is facing the video coordinates of the traffic sign is obtained, and the virtual camera is turned in the direction rotated by that angle.
仮想カメラは、実際のカメラと同じ画角を有し、交差点までの距離は、GPS受信部220の現在位置情報と、航法情報部230の交差点位置情報とを用いて求める。   The virtual camera has the same angle of view as the actual camera, and the distance to the intersection is obtained using the current position information of the GPS receiving unit 220 and the intersection position information of the navigation information unit 230.
カメラの位置は、任意で地面からの車両の高さを用いて定め[例えば、(0,2,0)など]、交差点が3次元でz軸上にあると仮定し[例えば、(0,0,交差点までの距離)]、仮想カメラを用いて、ターンバイターン情報をレンダリングして映像を獲得し、実際のカメラで撮影した映像に合成してターンバイターン情報を表す。このように、仮想カメラとの距離情報を用いて3次元の仮想オブジェクトを構成した後、これをカメラで撮影した2次元映像に合成することは、3次元オブジェクトを扱う映像処理(例えば、OpenGLを用いた映像処理)に係る当業者であれば容易に理解することができるため、詳細な説明は省略する。   The position of the camera is arbitrarily determined using the height of the vehicle from the ground [eg (0, 2, 0) etc.], and the intersection is assumed to be three-dimensional and on the z-axis [eg (0, 0, the distance to the intersection)]], using a virtual camera, render turn-by-turn information to acquire a video, and synthesize it with a video shot by an actual camera to represent the turn-by-turn information. Thus, after constructing a three-dimensional virtual object using distance information with the virtual camera and synthesizing it with a two-dimensional video imaged by the camera, video processing that handles the three-dimensional object (for example, OpenGL is used). A person skilled in the art relating to the video processing used) can easily understand it, and thus detailed description thereof is omitted.
付加的に、図5A及び図5Bを参照して、本発明の交差点案内装置において、距離に応じたターンバイターン情報を表す他の実施形態について説明する。   In addition, with reference to FIG. 5A and FIG. 5B, another embodiment representing turn-by-turn information according to distance in the intersection guide device of the present invention will be described.
これらの図は、本発明の他の実施形態に係る交差点案内装置において、距離に応じたターンバイターン情報を表す前方映像の出力画面の一例を示す図である。このとき、出力画面は、480×272の画面を例に挙げて説明する。   These diagrams are diagrams illustrating an example of an output screen of a front image representing turn-by-turn information according to a distance in an intersection guide device according to another embodiment of the present invention. At this time, the output screen will be described by taking a 480 × 272 screen as an example.
また、出力画面において最下位の真ん中にある座標情報「(240,272)」は、車両の現在位置に該当する座標点を表す。   The coordinate information “(240, 272)” in the middle of the lowest position on the output screen represents a coordinate point corresponding to the current position of the vehicle.
このとき、左方向ターンバイターン情報において、座標情報「(240,0≦y≦272)」は、交差点のターンバイターン情報の方向を示すための出発点であり、座標情報「(0,0≦y≦272)」は、交差点のターンバイターン情報の方向を示すための終点である。右方向ターンバイターン情報において、座標情報「(240,0≦y≦272)」は、交差点のターンバイターン情報の方向を示すための出発点であり、座標情報「(480,0≦y≦272)」は、交差点のターンバイターン情報の方向を示すための終点である。そして、前記出発点及び前記終点は等しいことが好ましい。   At this time, in the left turn-by-turn information, the coordinate information “(240, 0 ≦ y ≦ 272)” is a starting point for indicating the direction of the turn-by-turn information at the intersection, and the coordinate information “(0, 0 ≦ y ≦ 272) ”is an end point for indicating the direction of turn-by-turn information at the intersection. In the right turn-by-turn information, the coordinate information “(240, 0 ≦ y ≦ 272)” is a starting point for indicating the direction of the turn-by-turn information at the intersection, and the coordinate information “(480, 0 ≦ y ≦ 272)”. 272) "is an end point for indicating the direction of turn-by-turn information at the intersection. The starting point and the end point are preferably equal.
これらの図に示すように、前記交差点案内装置は、距離に応じたターンバイターン情報を、下記のように提供することもできる。   As shown in these drawings, the intersection guide device can also provide turn-by-turn information according to distance as follows.
前記交差点案内装置は、距離に応じたターンバイターン情報をオーバーレイするため、ターンバイターン情報を距離に応じて表示する画面の座標情報[すなわち、(x,y)]を予め指定して格納し、これを映像入力部200で撮影された実際の映像にオーバーレイする。このため、前記交差点案内装置は、図2Aに示されていない座標情報格納部を備える。   In order to overlay the turn-by-turn information according to the distance, the intersection guidance device preliminarily designates and stores the coordinate information [that is, (x, y)] of the screen displaying the turn-by-turn information according to the distance. This is overlaid on the actual video shot by the video input unit 200. For this reason, the said intersection guidance apparatus is provided with the coordinate information storage part which is not shown by FIG. 2A.
前記座標情報格納部は、車両の位置から交差点の位置までの距離に応じて画面に表示される座標情報をテーブルに格納する。このとき、前記座標情報格納部は、車両の位置から交差点の位置までの距離に応じてターンバイターン情報の左方向又は右方向が画面上に線表示されるため、車両の位置から交差点の位置までの距離に対応する座標情報である出発点(a)及び終点(b)を予め格納する。ここで、前記座標情報格納部は、出発点(a)から終点(b)までを結ぶ線が運転者によって認識され得るように、出発点(a)から終点(b)までを結ぶ線と、出発点(a)から車両の現在位置に該当する座標点を中心に、その表示範囲を「±α」で上下の画素が更に表示され得るようにすることが好ましい。このとき、前記表示範囲の「±α」は、ユーザによって調整可能である。   The coordinate information storage unit stores coordinate information displayed on the screen in a table according to the distance from the position of the vehicle to the position of the intersection. At this time, the coordinate information storage unit displays the left or right direction of the turn-by-turn information on the screen according to the distance from the vehicle position to the intersection position. The starting point (a) and the end point (b), which are coordinate information corresponding to the distance up to, are stored in advance. Here, the coordinate information storage unit includes a line connecting from the starting point (a) to the end point (b) so that a line connecting the starting point (a) to the end point (b) can be recognized by the driver, It is preferable that the upper and lower pixels can be further displayed with a display range of “± α” around the coordinate point corresponding to the current position of the vehicle from the starting point (a). At this time, “± α” of the display range can be adjusted by the user.
以下、前記座標情報格納部は、これらの図に示すような、ターンバイターン情報を表すためのテーブルを、下記[表1]のように示すことができる。
Hereinafter, the coordinate information storage unit can show a table for representing turn-by-turn information as shown in these drawings as shown in [Table 1] below.
制御部280は、GPS受信部220から車両の現在位置情報を確認し、航法情報部230から交差点位置情報を確認する。これにより、前記制御部280は、車両の現在位置から交差点の位置までの距離を確認する。例えば、前記制御部280は、車両の前方に位置する交差点まで、100m、90m、80mなどのように近づいてくることを確認することができる。前記制御部280は、航法情報部230により交差点のターンバイターン情報を確認する。すなわち、前記制御部280は、航法情報部230により交差点のターンバイターン情報が左側なのか右側なのかを確認することができる。   The control unit 280 confirms the current position information of the vehicle from the GPS receiving unit 220 and confirms the intersection position information from the navigation information unit 230. Accordingly, the controller 280 confirms the distance from the current position of the vehicle to the position of the intersection. For example, the control unit 280 can confirm that an intersection located in front of the vehicle approaches 100m, 90m, 80m, or the like. The controller 280 confirms turn-by-turn information of the intersection by the navigation information unit 230. That is, the control unit 280 can confirm whether the turn-by-turn information of the intersection is on the left side or the right side by the navigation information unit 230.
更に、制御部280は、車両の現在位置から交差点の位置までの距離及びターンバイターン情報を確認すると、座標情報格納部に格納されたテーブルから、前記距離に応じて画面に表示される出発点、終点、及び表示範囲を確認する。その後、前記制御部280は、確認された出発点、終点、及び表示範囲を用いて、左方向ターンバイターン情報又は右方向ターンバイターン情報を、実際に撮影される前方映像にオーバーレイする。   Further, when the control unit 280 confirms the distance from the current position of the vehicle to the position of the intersection and the turn-by-turn information, the starting point displayed on the screen according to the distance from the table stored in the coordinate information storage unit. Check the end point and display range. Thereafter, the controller 280 overlays the left turn-by-turn information or the right turn-by-turn information on the actually captured forward image using the confirmed start point, end point, and display range.
図6は、本発明の一実施形態に係るカメラを用いた車両用ナビゲーションの交差点案内方法を示すフローチャートである。   FIG. 6 is a flowchart showing an intersection guidance method for vehicle navigation using a camera according to an embodiment of the present invention.
同図に示すように、本発明に係る交差点案内装置は、ナビゲーションが動作すると、目的地及び主要経由地情報を設定して最適な走行経路を設定する(S501)。このとき、前記交差点案内装置は、走行経路上に位置する交差点を抽出して設定し、このとき抽出された交差点のターンバイターン情報及びGPS情報もともに生成する。また、前記交差点案内装置は、交差点認識距離を予め設定する。   As shown in the figure, when the navigation operates, the intersection guide device according to the present invention sets the destination and main waypoint information and sets the optimum travel route (S501). At this time, the intersection guidance device extracts and sets an intersection located on the travel route, and generates turn-by-turn information and GPS information of the extracted intersection at this time. The intersection guidance device presets an intersection recognition distance.
その後、前記交差点案内装置は、走行が開始されると、車両の走行位置を確認し、抽出された交差点との距離を確認する(S502)。このとき、前記交差点案内装置は、GPS情報を用いて現在の位置情報を確認する。   Thereafter, when the traveling is started, the intersection guidance device confirms the traveling position of the vehicle and confirms the distance from the extracted intersection (S502). At this time, the intersection guidance device confirms the current position information using GPS information.
一方、前記交差点案内装置は、設定された最適な走行経路に沿って走行しながら、予め設定された交差点認識距離以内に接近しているか否かを確認する(S503)。   On the other hand, the intersection guidance device checks whether or not the vehicle is approaching within a preset intersection recognition distance while traveling along the set optimal travel route (S503).
その後、前記交差点案内装置は、交差点認識距離以内に接近すると(S503)、カメラを通して前方映像にある交通標識に対する認識情報があるか否かを確認する(S504)。   Thereafter, when approaching within the intersection recognition distance (S503), the intersection guide device checks whether there is recognition information for the traffic sign in the forward image through the camera (S504).
ここで、前記交差点案内装置は、交通標識に対する認識情報があれば(S504)、交通標識認識情報を用いて交差点の中心点の映像座標を確認する(S505)。   Here, if there is recognition information for the traffic sign (S504), the intersection guidance device confirms the video coordinates of the center point of the intersection using the traffic sign recognition information (S505).
反面、前記交差点案内装置は、交通標識に対する認識情報がなければ(S504)、予め設定された航法情報を用いて交差点の中心点の映像座標を確認する(S506)。   On the other hand, if there is no recognition information for the traffic sign (S504), the intersection guide device confirms the video coordinates of the center point of the intersection using the preset navigation information (S506).
その後、前記交差点案内装置は、車両の現在位置及び交差点の中心点を用いて表したターンバイターン情報を、車両の交差点への接近に応じて変動させる(S507)。このとき、前記交差点案内装置は、前記のように変動したターンバイターン情報を、実際に撮影された前方映像にオーバーレイ表示する(S508)。   Thereafter, the intersection guidance device changes the turn-by-turn information expressed by using the current position of the vehicle and the center point of the intersection according to the approach of the vehicle to the intersection (S507). At this time, the intersection guidance device overlay-displays the turn-by-turn information that has changed as described above on the actually captured forward image (S508).
次いで、前記交差点案内装置は、交差点を所定の距離以上走行した後、運転者に提供される交差点のターンバイターン情報の提供を終了する(S509)。   Next, the intersection guidance device finishes providing the turn-by-turn information of the intersection provided to the driver after traveling the intersection more than a predetermined distance (S509).
図7は、本発明の他の実施形態に係るカメラを用いた車両用ナビゲーションの交差点案内方法を示すフローチャートである。   FIG. 7 is a flowchart showing an intersection guidance method for vehicle navigation using a camera according to another embodiment of the present invention.
同図に示すように、交差点案内装置は、走行が開始されると、走行位置を確認する(S601)。このとき、前記交差点案内装置は、車両から交差点までの距離の確認を続ける。すなわち、前記交差点案内装置は、GPS受信部220から車両の現在位置を確認し、航法情報部230から交差点の位置を確認することにより、距離を確認することができる。   As shown in the figure, the intersection guide device confirms the travel position when the travel is started (S601). At this time, the intersection guidance device continues to check the distance from the vehicle to the intersection. That is, the intersection guidance device can confirm the distance by confirming the current position of the vehicle from the GPS receiver 220 and confirming the position of the intersection from the navigation information unit 230.
しかる後、前記交差点案内装置は、予め設定された交差点案内地点なのか否かを確認する(S602)。このとき、前記交差点案内装置は、交差点案内地点として確認されると、車両の現在位置から交差点の位置までの距離を確認し、交差点のターンバイターン情報を確認する(S603)。   Thereafter, the intersection guidance device checks whether or not it is a preset intersection guidance point (S602). At this time, when the intersection guide device is confirmed as an intersection guide point, the intersection guide device confirms the distance from the current position of the vehicle to the position of the intersection and confirms turn-by-turn information of the intersection (S603).
次いで、前記交差点案内装置は、前記「S603」で確認された車両の現在位置から交差点の位置までの距離及びターンバイターン情報に基づき、画面に表示される座標情報(すなわち、出発点、終点、及び表示範囲)を確認する(S604)。   Next, the intersection guidance device is configured to display coordinate information (that is, a start point, an end point, and an end point) based on the distance from the current position of the vehicle to the position of the intersection confirmed in the “S603” and the turn-by-turn information. And the display range) are confirmed (S604).
その後、前記交差点案内装置は、画面に表示されるターンバイターン情報を、確認された座標情報に基づき、実際に撮影された映像にオーバーレイ表示する(S605)。   Thereafter, the intersection guide device overlay-displays the turn-by-turn information displayed on the screen on the actually captured image based on the confirmed coordinate information (S605).
これに加え、前記交差点案内装置は、車両が交差点を一定距離以上走行したか否かを確認するが(S606)、車両が交差点を一定距離以上走行すると、交差点案内を終了する(S607)。   In addition to this, the intersection guidance device checks whether or not the vehicle has traveled the intersection more than a certain distance (S606). When the vehicle travels the intersection more than a certain distance, the intersection guidance is terminated (S607).
上記のような本発明は、カメラで撮影した実際の映像を認識して正確な交差点のターンバイターン情報を提供することにより、運転者が複雑な交差点を走行するのに寄与する効果がある。   The present invention as described above has an effect of contributing to a driver traveling at a complicated intersection by recognizing an actual image captured by a camera and providing accurate turn-by-turn information of the intersection.
また、本発明は、GPS情報の受信が円滑でない複雑な都心の交差点における交通標識などを、カメラから入力される情報を用いることにより、より正確な交差点案内に寄与する効果がある。   In addition, the present invention has an effect of contributing to more accurate intersection guidance by using information input from a camera for traffic signs and the like at complicated urban intersections where GPS information is not smoothly received.
更に、本発明は、カメラを用いて実際に撮影した映像を用いることにより、道路の地形データを構築する費用の軽減及び時間の短縮を図る一方で、地図データの更新を必要としない効果がある。   Furthermore, the present invention has the effect of reducing the cost and time for constructing road terrain data by using video actually captured using a camera, while not requiring the update of map data. .
上述した本発明の方法は、プログラムとして実現され、コンピュータで読み取り可能な形態で記録媒体(CD−ROM、RAM、ROM、フロッピーディスク、ハードディスク、光磁気ディスクなど)に格納され得る。このような過程は、本発明の属する技術分野における通常の知識を有する者が容易に実施できるため、これ以上の詳細な説明は省略する。   The above-described method of the present invention is realized as a program and can be stored in a recording medium (CD-ROM, RAM, ROM, floppy disk, hard disk, magneto-optical disk, etc.) in a computer-readable form. Such a process can be easily performed by a person having ordinary knowledge in the technical field to which the present invention belongs, and therefore, detailed description thereof is omitted.
以上で説明した本発明は、本発明の属する技術分野における通常の知識を有する者にとって、本発明の技術的思想を逸脱しない範囲内で様々な置換、変形及び変更が可能なため、上述した実施形態及び添付された図面により限定されるものではない。   The present invention described above can be variously replaced, modified, and changed by those who have ordinary knowledge in the technical field to which the present invention belongs without departing from the technical idea of the present invention. It is not limited by the form and attached drawings.
従来の車両用ナビゲーションの交差点案内方式を示すフローチャートである。It is a flowchart which shows the intersection guidance system of the conventional vehicle navigation. 本発明の一実施形態に係るカメラを用いた車両用ナビゲーションの交差点案内装置を示す構成図である。It is a block diagram which shows the intersection guidance apparatus of the navigation for vehicles using the camera which concerns on one Embodiment of this invention. 本発明の交差点中心確認部において、信号灯を用いて交差点の中心点を確認する比例式を誘導するための説明図である。In the intersection center confirmation part of this invention, it is explanatory drawing for guide | inducing the proportionality formula which confirms the center point of an intersection using a signal lamp. 本発明の一実施形態に係る交差点案内装置において、距離に応じたターンバイターン情報を表す前方映像の出力画面の一例を示す図である。It is a figure which shows an example of the output screen of the front image | video showing the turn-by-turn information according to distance in the intersection guidance apparatus which concerns on one Embodiment of this invention. 本発明の一実施形態に係る交差点案内装置において、距離に応じたターンバイターン情報を表す前方映像の出力画面の一例を示す図である。It is a figure which shows an example of the output screen of the front image | video showing the turn-by-turn information according to distance in the intersection guidance apparatus which concerns on one Embodiment of this invention. 本発明が適用される3次元上における仮想カメラを用いてターンバイターン情報を表す例を示す図である。It is a figure which shows the example showing turn-by-turn information using the virtual camera on three dimensions to which this invention is applied. 本発明の他の実施形態に係る交差点案内装置において、距離に応じたターンバイターン情報を表す前方映像の出力画面の一例を示す図である。It is a figure which shows an example of the output screen of the front image | video showing the turn-by-turn information according to distance in the intersection guidance apparatus which concerns on other embodiment of this invention. 本発明の他の実施形態に係る交差点案内装置において、距離に応じたターンバイターン情報を表す前方映像の出力画面の一例を示す図である。It is a figure which shows an example of the output screen of the front image | video showing the turn-by-turn information according to distance in the intersection guidance apparatus which concerns on other embodiment of this invention. 本発明の一実施形態に係るカメラを用いた車両用ナビゲーションの交差点案内方法を示すフローチャートである。It is a flowchart which shows the intersection guidance method of the navigation for vehicles using the camera which concerns on one Embodiment of this invention. 本発明の他の実施形態に係るカメラを用いた車両用ナビゲーションの交差点案内方法を示すフローチャートである。It is a flowchart which shows the intersection guidance method of the navigation for vehicles using the camera which concerns on other embodiment of this invention.
符号の説明Explanation of symbols
200 映像入力部
210 映像出力部
220 GPS受信部
230 航法情報部
240 映像認識部
250 交差点確認部
260 交差点中心確認部
270 方向表示部
280 制御部
200 Video Input Unit 210 Video Output Unit 220 GPS Reception Unit 230 Navigation Information Unit 240 Video Recognition Unit 250 Intersection Confirmation Unit 260 Intersection Center Confirmation Unit 270 Direction Display Unit 280 Control Unit

Claims (12)

  1. 映像入力手段、映像出力手段、GPS受信手段、車両の走行経路上に位置する交差点位置情報及びターンバイターン情報を格納する航法情報手段、及び前方映像から交通標識を認識する映像認識手段を備える車両用ナビゲーションの交差点案内装置において、
    前記GPS受信手段で測定された車両の現在位置情報と、航法情報手段からの交差点位置情報とを用いて、予め設定された距離以内の交差点に接近しているか否かを判断する交差点確認手段と、
    該交差点確認手段で予め設定された距離以内の交差点への接近が判断されることにより、前記映像認識手段からの交通標識認識情報を用いて交差点の中心点を確認する交差点中心確認手段と、
    該交差点中心確認手段で確認された交差点の中心点、前記航法情報手段の交差点位置情報、及び前記GPS受信手段で確認された現在位置を用いて表すターンバイターン情報を、車両の交差点への接近に応じて変動させる制御手段と、
    該制御手段で変動したターンバイターン情報を前方映像にオーバーレイすることにより、前記映像出力手段を介して提供する方向表示手段と
    を備えることを特徴とするカメラを用いた車両用ナビゲーションの交差点案内装置。
    Vehicle provided with video input means, video output means, GPS receiving means, navigation information means for storing intersection position information and turn-by-turn information located on the travel route of the vehicle, and video recognition means for recognizing traffic signs from the front video In the intersection guidance device for navigation,
    An intersection confirmation means for judging whether or not the vehicle is approaching an intersection within a preset distance by using the current position information of the vehicle measured by the GPS reception means and the intersection position information from the navigation information means; ,
    An intersection center confirmation means for confirming the center point of the intersection using the traffic sign recognition information from the image recognition means by determining approach to an intersection within a preset distance by the intersection confirmation means,
    The turn-by-turn information represented by using the center point of the intersection confirmed by the intersection center confirmation means, the intersection position information of the navigation information means, and the current position confirmed by the GPS receiving means is approached to the intersection of the vehicle. Control means to vary according to
    An intersection guidance device for vehicle navigation using a camera, comprising: direction display means provided via the video output means by overlaying turn-by-turn information changed by the control means on a forward video. .
  2. 前記交差点中心確認手段が、
    前記映像認識手段からの交通標識認識情報を用いて、前方映像における交通標識の高さを用いて交差点の中心点を確認することを特徴とする請求項1に記載のカメラを用いた車両用ナビゲーションの交差点案内装置。
    The intersection center confirmation means
    The vehicle navigation system using a camera according to claim 1, wherein the center point of the intersection is confirmed by using the traffic sign recognition information from the video recognition means and using the height of the traffic sign in the forward video. Intersection guide device.
  3. 前記交差点中心確認手段が、
    前記映像認識手段で交通標識を認識できない場合、前記航法情報手段から交通標識の位置情報を抽出して交差点の中心点を確認することを特徴とする請求項1に記載のカメラを用いた車両用ナビゲーションの交差点案内装置。
    The intersection center confirmation means
    2. The vehicle using a camera according to claim 1, wherein when the traffic sign cannot be recognized by the video recognition means, the position information of the traffic sign is extracted from the navigation information means and the center point of the intersection is confirmed. Navigation intersection guidance device.
  4. 前記方向表示手段が、
    前記GPS受信手段で測定された車両の現在位置から前記交差点中心確認手段で確認された交差点の中心点までの距離に応じて大きさが変化する走行方向表示を提供することを特徴とする請求項1に記載のカメラを用いた車両用ナビゲーションの交差点案内装置。
    The direction display means
    The present invention provides a traveling direction display that changes in size according to the distance from the current position of the vehicle measured by the GPS receiving means to the center point of the intersection confirmed by the intersection center confirmation means. An intersection guide apparatus for vehicle navigation using the camera according to 1.
  5. カメラによって実際に撮影された車両の前方映像を用いた車両用ナビゲーションの交差点案内方法において、
    走行経路が設定されると、車両の走行経路上にある交差点を抽出して前記交差点のターンバイターン情報を生成する第1ステップと、
    車両の走行に伴い、車両の現在位置から交差点の位置までの距離を確認して交差点のターンバイターン情報を提供するため、予め設定された臨界距離に接近すると、交通標識に対する認識情報があるか否かを確認する第2ステップと、
    交通標識に対する認識情報があれば、当該交通標識認識情報を用いて、前方映像における交差点の中心点を確認する第3ステップと、
    車両の現在位置を用いて表されたターンバイターン情報を、車両の交差点への接近に応じて変動させる第4ステップと、
    該変動したターンバイターン情報を前方映像にオーバーレイ表示し、交差点を所定の距離走行した後、交差点のターンバイターン情報の提供を終了する第5ステップと
    を含むことを特徴とするカメラを用いた車両用ナビゲーションの交差点案内方法。
    In a vehicle navigation intersection guidance method using a front image of a vehicle actually captured by a camera,
    When a travel route is set, a first step of extracting an intersection on the travel route of the vehicle and generating turn-by-turn information of the intersection;
    As the vehicle travels, to confirm the distance from the current position of the vehicle to the position of the intersection and provide turn-by-turn information of the intersection, is there any recognition information for traffic signs when approaching a preset critical distance? A second step to confirm whether or not,
    If there is recognition information for the traffic sign, the third step of confirming the center point of the intersection in the forward image using the traffic sign recognition information;
    A fourth step of changing the turn-by-turn information represented by using the current position of the vehicle according to the approach of the vehicle to the intersection;
    And a fifth step of ending provision of turn-by-turn information at the intersection after traveling the intersection for a predetermined distance and displaying the changed turn-by-turn information on the front image. Intersection guidance method for vehicle navigation.
  6. 前記第2ステップの後に、
    交通標識に対する認識情報がなければ、予め設定された航法情報を用いて交差点の中心点を確認するステップを更に含むことを特徴とする請求項5に記載のカメラを用いた車両用ナビゲーションの交差点案内方法。
    After the second step,
    6. The vehicle navigation intersection guide according to claim 5, further comprising a step of confirming a center point of the intersection using preset navigation information if there is no recognition information for the traffic sign. Method.
  7. 前記第4ステップにおいて、
    車両が交差点に接近することにより、大きさが変化する交差点の走行方向の表示を、ターンバイターン情報とともに示すことを特徴とする請求項5に記載のカメラを用いた車両用ナビゲーションの交差点案内方法。
    In the fourth step,
    6. The vehicle navigation intersection guide method using a camera according to claim 5, wherein a display of a traveling direction of the intersection whose size changes as the vehicle approaches the intersection is displayed together with turn-by-turn information. .
  8. 映像入力手段、映像出力手段、GPS受信手段、及び車両の走行経路上に位置する交差点位置情報及びターンバイターン情報を格納する航法情報手段を備える車両用ナビゲーションの交差点案内装置において、
    車両の位置から交差点の位置までの距離及びターンバイターン情報に基づき、前記映像出力手段の画面に表示される座標情報を格納する座標情報格納手段と、
    前記GPS受信手段で確認された車両の現在位置から航法情報手段で確認された交差点の位置までの距離及び前記航法情報手段で確認された交差点のターンバイターン情報に対応する前記座標情報格納手段で確認された座標情報を用いて、ターンバイターン情報を、前記映像入力手段で実際に撮影した前方映像にオーバーレイする制御手段と
    を備えることを特徴とするカメラを用いた車両用ナビゲーションの交差点案内装置。
    In an intersection guidance device for vehicle navigation comprising video input means, video output means, GPS receiving means, and navigation information means for storing intersection position information and turn-by-turn information located on the travel route of the vehicle,
    Coordinate information storage means for storing coordinate information displayed on the screen of the video output means based on the distance from the position of the vehicle to the position of the intersection and turn-by-turn information;
    The coordinate information storage means corresponding to the distance from the current position of the vehicle confirmed by the GPS receiving means to the position of the intersection confirmed by the navigation information means and the turn-by-turn information of the intersection confirmed by the navigation information means An intersection guidance device for vehicle navigation using a camera, comprising: control means for overlaying turn-by-turn information on the forward video actually captured by the video input means using the confirmed coordinate information .
  9. 前記座標情報格納手段が、
    前記座標情報を、車両の位置から交差点の位置までの距離及びターンバイターン情報に基づき、画面に表示する出発点、終点、及び表示範囲に関するテーブルに格納し、
    前記制御手段が、
    車両の位置から交差点の位置までの距離及びターンバイターン情報に対応する前記座標情報格納手段で確認された座標情報に基づき、出発点から終点までを線で結び、当該線に沿って表示範囲領域を画面に表示することを特徴とする請求項8に記載のカメラを用いた車両用ナビゲーションの交差点案内装置。
    The coordinate information storage means is
    The coordinate information is stored in a table relating to a starting point, an ending point, and a display range to be displayed on the screen based on the distance from the vehicle position to the position of the intersection and the turn-by-turn information.
    The control means is
    Based on the distance from the position of the vehicle to the position of the intersection and the coordinate information confirmed by the coordinate information storage means corresponding to the turn-by-turn information, the start point to the end point are connected by a line, and the display range area along the line Is displayed on a screen, The intersection guidance apparatus of the navigation for vehicles using the camera of Claim 8 characterized by the above-mentioned.
  10. 前記座標情報格納手段に格納された表示範囲が、ユーザによって調節可能であることを特徴とする請求項8に記載のカメラを用いた車両用ナビゲーションの交差点案内装置。   9. The intersection guide device for vehicle navigation using a camera according to claim 8, wherein the display range stored in the coordinate information storage means is adjustable by a user.
  11. カメラによって実際に撮影された車両の前方映像を用いた車両用ナビゲーションの交差点案内方法において、
    車両の走行に伴い、予め設定された経路上における交差点案内地点なのか否かを確認する第1ステップと、
    交差点案内地点として確認されると、車両の現在位置から交差点の位置までの距離及びターンバイターン情報を確認する第2ステップと、
    車両の現在位置から交差点の位置までの距離及びターンバイターン情報に基づき、画面に表示するための座標情報を確認する第3ステップと、
    前記車両の現在位置から交差点の位置までの距離及びターンバイターン情報に基づき、確認された座標情報に実際に撮影された映像をオーバーレイ表示する第4ステップと、
    車両が交差点を一定距離以上走行すると、交差点案内を終了する第5ステップと
    を含むことを特徴とするカメラを用いた車両用ナビゲーションの交差点案内方法。
    In a vehicle navigation intersection guidance method using a front image of a vehicle actually captured by a camera,
    A first step of confirming whether or not the vehicle is an intersection guide point on a predetermined route as the vehicle travels;
    A second step of confirming the distance and turn-by-turn information from the current position of the vehicle to the position of the intersection when confirmed as an intersection guide point;
    A third step of confirming coordinate information for display on the screen based on the distance from the current position of the vehicle to the position of the intersection and the turn-by-turn information;
    A fourth step of overlaying and displaying the actually captured image on the confirmed coordinate information based on the distance from the current position of the vehicle to the position of the intersection and the turn-by-turn information;
    An intersection guidance method for vehicle navigation using a camera, comprising: a fifth step of ending intersection guidance when a vehicle travels an intersection for a predetermined distance or more.
  12. 前記第4ステップにおいて、
    車両の現在位置から交差点の位置までの距離及びターンバイターン情報に対応する座標情報である出発点、終点、及び表示範囲に基づき、出発点から終点までを線で結び、当該線に沿って表示範囲領域を画面に表示することを特徴とする請求項11に記載のカメラを用いた車両用ナビゲーションの交差点案内方法。
    In the fourth step,
    Based on the start point, end point, and display range, which are coordinate information corresponding to the distance from the current position of the vehicle to the intersection and the turn-by-turn information, the start point to the end point are connected by a line and displayed along the line. 12. The vehicle navigation intersection guide method using a camera according to claim 11, wherein the range area is displayed on a screen.
JP2007290003A 2006-11-08 2007-11-07 Device and method for intersection guide in vehicle navigation using camera Pending JP2008139295A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060110117A KR100815153B1 (en) 2006-11-08 2006-11-08 Apparatus and method for guiding a cross road of car navigation using a camera

Publications (1)

Publication Number Publication Date
JP2008139295A true JP2008139295A (en) 2008-06-19

Family

ID=39411110

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007290003A Pending JP2008139295A (en) 2006-11-08 2007-11-07 Device and method for intersection guide in vehicle navigation using camera

Country Status (2)

Country Link
JP (1) JP2008139295A (en)
KR (1) KR100815153B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2299684A1 (en) 2009-09-02 2011-03-23 Sony Corporation Information providing method and apparatus, information display method and mobile terminal, program, and information providing system

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100929331B1 (en) 2008-04-30 2009-12-03 팅크웨어(주) Method and apparatus for generating 3D direction indication
DE102010014499B4 (en) * 2010-04-10 2012-01-26 Audi Ag Method for operating a lane keeping assistance system for multi-lane turning in a motor vehicle
WO2015030377A1 (en) * 2013-08-29 2015-03-05 현대엠엔소프트 주식회사 Image providing system for providing image of area ahead of vehicle in real time
KR101750876B1 (en) 2015-05-28 2017-06-26 엘지전자 주식회사 Display apparatus for vehicle and Vehicle
KR102222102B1 (en) * 2015-06-12 2021-03-03 주식회사 파인디지털 An augment reality navigation system and method of route guidance of an augment reality navigation system
KR101924061B1 (en) 2016-01-07 2018-11-30 엘지전자 주식회사 Auxiliary apparatus for vehicle and Vehicle
KR101866728B1 (en) 2016-04-25 2018-06-15 현대자동차주식회사 Navigation apparatus, vehicle and method for controlling vehicle
CN109214342A (en) * 2018-09-13 2019-01-15 百度国际科技(深圳)有限公司 Method and apparatus for obtaining image
CN110146096B (en) * 2018-10-24 2021-07-20 北京初速度科技有限公司 Vehicle positioning method and device based on image perception
KR20200117641A (en) 2019-04-05 2020-10-14 현대자동차주식회사 Apparatus and method for guiding path

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09325042A (en) * 1996-06-05 1997-12-16 Matsushita Electric Ind Co Ltd Apparatus for displaying running position
JPH10132598A (en) * 1996-10-31 1998-05-22 Sony Corp Navigating method, navigation device and automobile
JPH1123305A (en) * 1997-07-03 1999-01-29 Toyota Motor Corp Running guide apparatus for vehicle
JP2004045227A (en) * 2002-07-12 2004-02-12 Alpine Electronics Inc Instrument and method for measuring position of vehicle
JP2006284281A (en) * 2005-03-31 2006-10-19 Aisin Aw Co Ltd Own vehicle information recognition device and method

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040025150A (en) * 2002-09-18 2004-03-24 삼성전자주식회사 Route guide method in car navigation system
KR20060078205A (en) * 2004-12-30 2006-07-05 현대자동차주식회사 Car navigation system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09325042A (en) * 1996-06-05 1997-12-16 Matsushita Electric Ind Co Ltd Apparatus for displaying running position
JPH10132598A (en) * 1996-10-31 1998-05-22 Sony Corp Navigating method, navigation device and automobile
JPH1123305A (en) * 1997-07-03 1999-01-29 Toyota Motor Corp Running guide apparatus for vehicle
JP2004045227A (en) * 2002-07-12 2004-02-12 Alpine Electronics Inc Instrument and method for measuring position of vehicle
JP2006284281A (en) * 2005-03-31 2006-10-19 Aisin Aw Co Ltd Own vehicle information recognition device and method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2299684A1 (en) 2009-09-02 2011-03-23 Sony Corporation Information providing method and apparatus, information display method and mobile terminal, program, and information providing system
US8903197B2 (en) 2009-09-02 2014-12-02 Sony Corporation Information providing method and apparatus, information display method and mobile terminal, program, and information providing

Also Published As

Publication number Publication date
KR100815153B1 (en) 2008-03-19

Similar Documents

Publication Publication Date Title
JP2008139295A (en) Device and method for intersection guide in vehicle navigation using camera
US8665263B2 (en) Aerial image generating apparatus, aerial image generating method, and storage medium having aerial image generating program stored therein
US8352180B2 (en) Device with camera-info
JP4559555B2 (en) 3D map display method and navigation apparatus
US8423292B2 (en) Navigation device with camera-info
KR100745116B1 (en) Stereoscopic map-display method and navigation system using the method
JP3511570B2 (en) Map information display device and recording medium recording navigation program
US20110103651A1 (en) Computer arrangement and method for displaying navigation data in 3d
US20110109618A1 (en) Method of displaying navigation data in 3d
US20110199479A1 (en) Augmented reality maps
WO2009084135A1 (en) Navigation system
JPH10332393A (en) Navigation device
EP0875730B1 (en) Device for and method of displaying map information for vehicle navigation apparatus
JP5063871B2 (en) Map display system for portable devices
TWI426237B (en) Instant image navigation system and method
JPH10253380A (en) 3d map display device
JP2001273526A (en) Stereoscopic map display device
JP2011052960A (en) Navigation device
JP2008014754A (en) Navigation apparatus
JP5702476B2 (en) Display device, control method, program, storage medium
JP2001083872A (en) Navigation device
JP2005134489A (en) Map stereoscopic display device
JP2011022152A (en) Navigation device
JP2007101214A (en) Own vehicle position display device, its method, and program

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091104

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100204

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100209

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100304

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100305

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100330

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100629

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100716